当前位置：首页 > news >正文

如何运用python爬虫爬取百度贴吧动态加载的图片？

news 来源：原创 2025/5/16 7:24:20

动态加载的图片通常是在页面加载后通过JavaScript异步请求获取的，而requests和BeautifulSoup只能获取页面的初始HTML内容，无法执行JavaScript代码。

要处理动态加载的图片，可以使用以下方法：

1. 使用Selenium

Selenium是一个用于自动化Web浏览器的工具，可以模拟用户浏览网页的行为，包括点击、滚动等操作，从而获取动态加载的内容。

安装依赖

bash复制

pip install selenium

示例代码

Python复制

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import os
import requests# 初始化WebDriver
driver = webdriver.Chrome()# 打开目标网页
url = 'https://tieba.baidu.com/p/1234567890'  # 替换为目标帖子的URL
driver.get(url)# 等待页面加载
time.sleep(3)# 滚动页面以加载更多图片
for _ in range(5):driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")time.sleep(2)# 获取页面源码
html_content = driver.page_source# 关闭浏览器
driver.quit()# 解析HTML内容，提取图片URL
def extract_image_urls(html_content):from bs4 import BeautifulSoupsoup = BeautifulSoup(html_content, 'html.parser')images = soup.find_all('img')  # 查找所有图片标签image_urls = []for img in images:img_url = img.get('src')  # 获取图片的src属性if img_url and img_url.startswith('http'):  # 确保是完整的URLimage_urls.append(img_url)return image_urls# 下载并保存图片
def download_images(image_urls, save_dir='images'):if not os.path.exists(save_dir):os.makedirs(save_dir)  # 创建保存图片的文件夹for i, img_url in enumerate(image_urls):img_name = os.path.basename(img_url)  # 从URL中提取文件名save_path = os.path.join(save_dir, img_name)if os.path.exists(save_path):print(f"{img_name} already exists. Skipping...")continuetry:response = requests.get(img_url, timeout=10)response.raise_for_status()  # 确保请求成功with open(save_path, 'wb') as img_file:img_file.write(response.content)  # 保存图片print(f"Downloaded {img_name}")except requests.RequestException as e:print(f"Failed to download {img_url}. Error: {e}")time.sleep(1)  # 随机延时，避免被封禁# 主函数
def main():image_urls = extract_image_urls(html_content)download_images(image_urls)if __name__ == "__main__":main()

2. 使用Playwright

Playwright是一个用于自动化Web浏览器的工具，支持多种浏览器（如Chrome、Firefox、Safari等），可以模拟用户浏览网页的行为，从而获取动态加载的内容。

安装依赖

bash复制

pip install playwright
playwright install

示例代码

Python复制

from playwright.sync_api import sync_playwright
import os
import requests# 使用Playwright获取动态加载的图片
def get_dynamic_images(url, save_dir='images'):if not os.path.exists(save_dir):os.makedirs(save_dir)  # 创建保存图片的文件夹with sync_playwright() as p:browser = p.chromium.launch(headless=False)  # 启动浏览器page = browser.new_page()  # 打开新页面page.goto(url)  # 打开目标网页# 等待页面加载page.wait_for_load_state('networkidle')# 滚动页面以加载更多图片for _ in range(5):page.evaluate("window.scrollTo(0, document.body.scrollHeight);")page.wait_for_load_state('networkidle')# 获取所有图片images = page.query_selector_all('img')image_urls = [img.get_attribute('src') for img in images if img.get_attribute('src')]# 下载并保存图片for i, img_url in enumerate(image_urls):img_name = os.path.basename(img_url)  # 从URL中提取文件名save_path = os.path.join(save_dir, img_name)if os.path.exists(save_path):print(f"{img_name} already exists. Skipping...")continuetry:response = requests.get(img_url, timeout=10)response.raise_for_status()  # 确保请求成功with open(save_path, 'wb') as img_file:img_file.write(response.content)  # 保存图片print(f"Downloaded {img_name}")except requests.RequestException as e:print(f"Failed to download {img_url}. Error: {e}")time.sleep(1)  # 随机延时，避免被封禁browser.close()  # 关闭浏览器# 主函数
def main():url = 'https://tieba.baidu.com/p/1234567890'  # 替换为目标帖子的URLget_dynamic_images(url)if __name__ == "__main__":main()

注意事项

遵守法律法规：在爬取网站内容时，务必遵守相关法律法规和网站的使用条款。
合理设置爬取频率：过于频繁的爬取请求可能会对目标网站造成压力，甚至导致你的IP被封禁。请合理设置爬取频率。
处理反爬虫机制：如果遇到反爬虫机制（如验证码、IP封禁等），可以尝试设置请求头、使用代理IP等方法。

通过上述方法，你可以成功爬取百度贴吧的动态加载图片。希望这些内容对你有所帮助。

如何运用python爬虫爬取百度贴吧动态加载的图片？

动态加载的图片通常是在页面加载后通过JavaScript异步请求获取的，而requests和BeautifulSoup只能获取页面的初始HTML内容，无法执行JavaScript代码。要处理动态加载的图片，可以使用以下方法： 1. 使用Selenium Selenium是一个用…...

编程日记 2025/5/16 7:24:20

在Rust应用中访问.ini格式的配置文件

在Rust应用中访问.ini格式的配置文件，你可以使用第三方库，比如 ini 或 config. 下面是一个使用 ini 库的示例，该库允许你读取和解析.ini文件。使用 ini 库添加依赖首先，你需要在你的 Cargo.toml 文件中添加 ini 库的依赖&am…...

编程日记 2025/5/16 6:42:18

Van-Nav：新年，将自己学习的项目地址统一整理搭建自己的私人导航站，供自己后续查阅使用，做技术的同学应该都有一个自己网站的梦想

嗨，大家好，我是小华同学，关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法 Van-Nav是一个基于Vue.js开发的导航组件库，它提供了多种预设的样式和灵活的配置选项，使得开发者可以轻松地定制出符合项目需求…...

编程日记 2025/5/11 22:29:34

【某大厂一面】Map和Set区别

在 Java 中，Map 和 Set 都是集合框架中的重要接口，它们具有不同的特性和用途。虽然它们都用于存储一组元素，但它们之间有一些重要的区别。下面将详细介绍它们之间的差异。 1. Set 和 Map 的基本定义 Set 是一个集合接口，它用于存…...

编程日记 2025/5/13 17:19:04

Vue.js组件开发-使用Vue3如何实现上传word作为打印模版

使用Vue 3实现Word模板上传、解析和打印功能的完整解决方案： 一、实现步骤安装依赖创建文件上传组件实现.docx文件解析创建打印预览组件实现打印功能样式优化二、完整代码实现 1. 安装依赖 npm install mammoth axios2. 创建文件上传组件（FileUploa…...

编程日记 2025/5/16 7:17:47

Consul持久化配置报错1067---consul_start

报错都是文件写的有问题或者格式问题，直接复制我的这个改改地址就行先创建文本文件consul_start.txt--->再复制代码保存---->再把.txt改成.bat 持久化存储的地址在：mydata 注：D:\consul\consul_1.20.2_windows_386改成自己consul的…...

编程日记 2025/5/13 5:07:13

动态规划DP 最长上升子序列模型总览

最长上升子序列模型最长上升子序列怪盗基德的滑翔伞...

编程日记 2025/5/13 18:37:25

如何解压7z文件？8种方法（Win/Mac/手机/网页端）

7z 文件是一种高效的压缩文件格式，由 7 - Zip 软件开发者所采用。它运用独特的压缩算法，能显著缩小文件体积，便于存储与传输各类数据，像软件安装包、大型资料集等。但要使用其中内容，就必须解压，因为处于压…...

编程日记 2025/5/15 18:07:05

2023年吉林省职业院校技能大赛网络系统管理样题-网络配置（华三代码）

目录附录1：拓扑图附录2：地址规划表 1.S1 2.S3 3.S4 4.S5 5.S7 6.S8 7.S9 8.R1 9.R2 10.R3 11.EG1 12.EG2 13.AC1 14.AC2 附录1：拓扑图编号型号...

编程日记 2025/5/12 4:05:45

Flutter使用Flavor实现切换环境和多渠道打包

在Android开发中通常我们使用flavor进行多渠道打包，flutter开发中同样有这种方式，不过需要在原生中配置具体方案其实flutter官网个了相关示例（https://docs.flutter.dev/deployment/flavors）,我这里记录一下自己的操作 Android …...

编程日记 2025/5/10 19:42:23

【linux三剑客】grep练习题

题目进入/lianxi目录，复制/etc/passwd到当前目录下，然后对passwd进行操作查找出当前passwd文件中以ftp或者mail开头的行，在屏幕上输出。查找出当前passwd文件中有没有以r、m、f开头的行，在屏幕上输出。查找出当前passwd文件中以…...

编程日记 2025/5/13 15:03:44

冬天适合养什么鱼？

各位鱼友们，冬天来了，是不是还在为养什么鱼而烦恼？别担心，今天就来给大家好好推荐一些适合冬天养的鱼，让你的水族箱在寒冷的冬天也能生机勃勃！ 一、金鱼：冬日里的“小暖男” 金鱼绝对是冬季养鱼…...

编程日记 2025/5/14 11:15:19

Effective C++ 规则43：学习处理模板化基类内的名称

1、背景在 C 中，模板化基类为我们提供了强大的灵活性。然而，模板化基类的名称查找却经常会引发困惑，甚至导致编译错误。这是因为模板的名称查找规则与普通类不同。在普通类中，派生类可以直接访问基类的成员变量和成员函数&#…...

编程日记 2025/5/14 17:20:24

DeepSeek R1 linux云部署

云平台：AutoDL 模型加载工具：Ollama 参考：https://github.com/ollama/ollama/blob/main/docs/linux.md 下载Ollama 服务器上下载ollama比较慢，因此我使用浏览器先下载到本地电脑上。 https://ollama.com/download/ollama-linux…...

编程日记 2025/5/13 7:25:42

混合专家模型MoE的全面详解

什么是混合专家（MoE）？ 混合专家（MoE）是一种利用多个不同的子模型（或称为“专家”）来提升LLM质量的技术。 MoE的两个主要组成部分是： 专家：每个前馈神经网络&#xff08…...

编程日记 2025/5/13 17:03:45

title: vue_1 date: 2025-01-28 12:00:00 tags:- 前端 categories:- 前端vue3 Webpack ~ vite vue3是基于vite创建的 vite 更快一点一些准备工作准备后如图所示插件 Main.ts // 引入createApp用于创建应用 import {createApp} from vue // 引入App根组件 import App f…...

编程日记 2025/5/12 11:08:20

【2025美赛D题】为更美好的城市绘制路线图建模｜建模过程+完整代码论文全解全析

你是否在寻找数学建模比赛的突破点？数学建模进阶思路！ 作为经验丰富的美赛O奖、国赛国一的数学建模团队，我们将为你带来本次数学建模竞赛的全面解析。这个解决方案包不仅包括完整的代码实现，还有详尽的建模过程和解析&#xff0c…...

编程日记 2025/5/16 2:03:24

games101-(5/6)

光栅化投影完成之后，视图区域被确定在从[-1,1]的单位矩阵中，下一步就是光栅化长宽比：ratio 垂直的可视角度：fild-of-view 可以看到的y 轴的范围，角度越小越接近正交投影屏幕坐标系、将多边形转化成像素显示…...

编程日记 2025/5/13 4:52:08

UE5.3 C++ CDO的初步理解

一.UObject UObject是所有对象的基类，往上还有UObjectBaseUtility。注释：所有虚幻引擎对象的基类。对象的类型由基于 UClass 类来定义。这为创建和使用UObject的对象提供了函数，并且提供了应在子类中重写的虚函数。 /** * The base cla…...

编程日记 2025/5/14 12:55:19

前端——js高级25.1.27

复习：对象问题一： 多个数据的封装提一个对象对应现实中的一个事物问题二： 统一管理多个数据问题三： 属性：组成：属性名属性值 （属性名为字符串，属性值任意） 方…...

编程日记 2025/5/15 2:19:10

Python 魔术方法

1. 什么是魔术方法在 Python 中，魔术方法（Magic Methods），又叫特殊方法或双下方法，是以两个下划线（__）开头和结尾的方法。这些方法为 Python 提供了对类和对象的特殊操作功能&#xff0c…...

编程日记 2025/5/6 5:13:44

websocket webworker教程及应用

WebSocket 和 Web Workers 是两种不同的 Web 技术，分别用于实现实时通信和后台线程处理。以下是它们的简要教程： WebSocket 教程 1. 什么是 WebSocket？ WebSocket 是一种在单个 TCP 连接上进行全双工通信的协议。它允许服务器主动向客户端推…...

编程日记 2025/5/14 11:58:33

qwen2.5-vl：阿里开源超强多模态大模型（包含使用方法、微调方法介绍）

1.简介在 Qwen2-VL 发布后的五个月里，众多开发者基于该视觉语言模型开发了新的模型，并向 Qwen 团队提供了极具价值的反馈。在此期间，Qwen 团队始终致力于打造更具实用性的视觉语言模型。今天，Qwen 家族的最新成员——Qwen2.5-VL…...

编程日记 2025/5/14 19:38:01

PaddleSeg 从配置文件和模型 URL 自动化运行预测任务

git clone https://github.com/PaddlePaddle/PaddleSeg.git# 在ipynb里面运行 cd PaddleSegimport sys sys.path.append(/home/aistudio/work/PaddleSeg)import os# 配置文件夹路径 folder_path "/home/aistudio/work/PaddleSeg/configs"# 遍历文件夹，寻…...

编程日记 2025/5/10 18:21:13

Java实战项目-基于 springboot 的校园选课小程序（附源码，部署，文档）

Java 基于 springboot 的校园选课小程序博主介绍：✌程序员徐师兄、8年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战*✌ 🍅文末获取源码联系🍅 👇&…...

编程日记 2025/5/15 13:54:06

网络工程师（7）进程管理

一、进程相关的概念 （一）定义进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，也是操作系统结构的基础。进程是程序的一次执行实例，具有动…...

编程日记 2025/5/14 22:25:36

大屏 UI 设计风格的未来趋势

在科技飞速革新的时代，大屏设备的应用领域不断拓展，从城市的智能交通指挥中心，到商场的互动广告大屏，再到家庭的超大尺寸智能电视，大屏已然成为信息展示与交互的关键载体。大屏 UI 设计风格也随之不断演变，…...

编程日记 2025/5/11 13:18:50

Kmesh v1.0 正式发布

2025 年 1 月 23 日，Kmesh 团队正式发布了 Kmesh v1.0235。Kmesh 作为一款开源的服务网格解决方案，v1.0 版本在网络流量管理领域引入了多项重磅特性2。具体如下134： IPsec 加密通信：引入 IPsec 加密协议，将节点间流量加…...

编程日记 2025/5/14 17:59:15

低代码系统-产品架构案例介绍、轻流（九）

轻流低代码产品定位为零代码产品，试图通过搭建来降低企业成本，提升业务上线效率。依旧是从下至上，从左至右的顺序名词概述运维层底层系统运维层，例如上线、部署等基础服务体系内置的系统能力，发消息、组织和权限是必…...

编程日记 2025/5/14 15:44:31

深入理解动态规划(dp)--(提前要对dfs有了解)

前言：对于动态规划：该算法思维是在dfs基础上演化发展来的，所以我不想讲的是看到一个题怎样直接用动态规划来解决，而是说先用dfs搜索，一步步优化，这个过程叫做动态规划。（该文章教你怎样一步步的…...

编程日记 2025/5/15 22:51:24

C++传送锚点的内存寻址：内存管理

文章目录 1.C/C内存分布回顾2.C内存管理2.1 内存申请2.2 operator new与operator delete函数2.3 定位new表达式 3.关于内存管理的常见知识点3.1 malloc/free和new/delete的区别3.2 内存泄漏希望读者们多多三连支持小编会继续更新你们的鼓励就是我前进的动力！ 继C语…...

编程日记 2025/5/11 3:32:50

webAPI -DOM 相关知识点总结（非常细）

title: WebAPI语法 date: 2025-01-28 12:00:00 tags:- 前端 categories:- 前端WEB API 了解DOM的结构并掌握其基本的操作，体验 DOM 在开发中的作用 API简介就是使用js来操作html和浏览器什么是DOM? 就是一个文档对象模型，是用来呈现预计于任意htm…...

编程日记 2025/5/14 11:34:25

Deepseek的RL算法GRPO解读

在本文中，我们将深入探讨Deepseek采用的策略优化方法GRPO，并顺带介绍一些强化学习（Reinforcement Learning, RL）的基础知识，包括PPO等关键概念。策略函数（policy） 在强化学习中， a…...

编程日记 2025/5/11 2:30:11

设计模式的艺术-策略模式

行为型模式的名称、定义、学习难度和使用频率如下表所示： 1.如何理解策略模式在策略模式中，可以定义一些独立的类来封装不同的算法，每个类封装一种具体的算法。在这里，每个封装算法的类都可以称之为一种策略（Strategy…...

编程日记 2025/5/9 12:14:21

MyBatis 写法

MyBatis 高效使用技巧常见 MyBatis 使用技巧，这些技巧有助于简化数据库操作，提高开发效率，并增强系统的性能。 1. 动态 SQL 动态 SQL 让开发者能够依据参数灵活地构建 SQL 语句，避免了手动拼接字符串带来的复杂性和错误风险。…...

编程日记 2025/5/10 22:45:31

Git图形化工具【lazygit】

简要介绍一下偶然发现的Git图形化工具——「lazygit」概述 Lazygit 是一个用 Go 语言编写的 Git 命令行界面（TUI）工具，它让 Git 操作变得更加直观和高效。 Github地址：https://github.com/jesseduffield/lazygit 主要特点主要…...

编程日记 2025/5/13 4:04:31

K8s运维管理平台 - xkube体验：功能较多

目录简介Lic安装1、需要手动安装MySQL，**建库**2、启动命令3、[ERROR] GetNodeMetric Fail:the server is currently unable to handle the request (get nodes.metrics.k8s.io qfusion-1) 使用总结优点优化补充1：layui、layuimini和beego的详细介绍1.…...

编程日记 2025/5/10 23:29:57

5.3.1 软件设计的基本任务

文章目录软件设计解决的问题概要设计基本任务详细设计基本任务软件设计解决的问题需求分析解决“做什么”的问题，软件设计解决“如何做”的问题。软件设计分为概要设计、详细设计两块。概要设计是设计软件和数据的总体框架，比详细设计的颗粒度更大。详…...

编程日记 2025/5/14 7:24:37

Go学习：字符、字符串需注意的点

Go语言与C/C语言编程有很多相似之处，但是Go语言中在声明一个字符时，数据类型与其他语言声明一个字符数据时有一点不同之处。通常，字符的数据类型为 char，例如 ：声明一个字符 (字符名称为 ch) 的语句格式为 char ch&am…...

编程日记 2025/5/16 6:57:08

LabVIEW无线齿轮监测系统

本案例介绍了基于LabVIEW的无线齿轮监测系统设计。该系统利用LabVIEW编程语言和改进的天牛须算法优化支持向量机，实现了无线齿轮故障监测。通过LabVIEW软件和相关硬件，可以实现对齿轮箱振动信号的采集、传输和故障识别，集远程采集、数据库存储…...

编程日记 2025/5/16 4:35:30

基于SpringBoot的租房管理系统（含论文）

基于SpringBoot的租房管理系统是一个集订单管理、房源信息管理、屋主申诉处理、用户反馈等多项功能于一体的系统。该系统通过SpringBoot框架开发，拥有完善的管理员后台、屋主管理模块、用户功能模块等，适用于房地产租赁平台或中介公司进行日常管理与运营…...

编程日记 2025/5/16 2:05:02

剑指 Offer II 008. 和大于等于 target 的最短子数组

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20008.%20%E5%92%8C%E5%A4%A7%E4%BA%8E%E7%AD%89%E4%BA%8E%20target%20%E7%9A%84%E6%9C%80%E7%9F%AD%E5%AD%90%E6%95%B0%E7%BB%84/README.md 剑指 Offer II 008.…...

编程日记 2025/5/14 6:15:17

1. 使用Selenium

安装依赖

示例代码

2. 使用Playwright

安装依赖

示例代码

注意事项

相关文章：