当前位置：首页 > news >正文

weibo_comment_pc_tool | 我于2025.5月用python开发的评论采集软件，根据帖子链接爬取评论的界面工具

news 来源：原创 2025/7/28 14:42:28

本工具仅限学术交流使用，严格遵循相关法律法规，符合平台内容的合法及合规性，禁止用于任何商业用途！

一、背景分析

1.1 开发背景

微博（以下简称wb）是国内极具影响力的社交媒体平台，具有内容形式短平快、热点事件实时性强、舆论快速发酵、用户群体年轻且活跃等特点。其中，评论区是用户公开表达观点的重要场域，可通过评论区的数据，实时追踪情绪倾向、挖掘公众诉求、捕捉热点趋势、构建群体画像、从而进行社会学和传播学的研究等。

基于此，我用python开发了一个爬虫采集软件，叫【爬wb评论软件】，下面详细介绍。

1.2 软件界面

软件界面，如下：
软件运行截图

1.3 结果展示

爬取结果：（截图中展示的就是全部字段了）
采集结果-评论数据

1.4 软件说明

几点重要说明，请详读了解：

Windows用户可直接双击打开使用，无需Python运行环境，非常方便！
软件通过爬虫程序爬取，经本人专门测试，运行持久，稳定性较高！
先在cookie.txt中填入自己的cookie值，方便重复使用（内附cookie获取方法）
支持多个帖子链接串行爬取
支持选择是否包含二级评论、指定评论排序（按热度/按时间）、指定爬取前几页
爬取过程中，每爬一页，存一次csv。并非爬完最后一次性保存！防止因异常中断导致丢失前面的数据（每条间隔1~2s）
爬取过程中，有log文件详细记录运行过程，方便回溯
结果csv含14个字段，有：wb链接,wbid,页码,评论者昵称,评论者粉丝数,评论者关注数,评论者主页链接,评论者性别,评论者签名,评论时间,点赞数,评论内容IP属地,评论级别,评论内容
以上是现有功能，软件版本持续更新中。

1.5 演示视频

软件运行过程演示：
123

二、主要技术

2.1 模块分工

软件全部模块采用python语言开发，主要分工如下：

tkinter：GUI软件界面
requests：爬虫发送请求
json：解析返回的响应数据
pandas：保存csv结果
logging：日志记录

出于版权考虑，暂不公开源码，仅向用户提供软件使用。

2.2 部分代码

部分代码实现：

发送请求并解析数据：

# 发送请求
r = requests.get(url, headers=h1, params=params)
# 解析数据
json_data = r.json()

解析响应数据，以“评论内容”字段为例：

for data in json_data['data']:# 评论内容text = data['text_raw']text_list.append(text)

保存结果数据到csv文件：

# 保存数据
df = pd.DataFrame({'wb链接': weibo_url,'wbid': weibo_id,'页码': page,'评论者昵称': screen_name_list,'评论者粉丝数': followers_count_list,'评论者关注数': friends_count_list,'评论者主页链接': user_home_url_list,'评论者性别': gender_list,'评论者签名': desc_list,'评论时间': create_time_list,'点赞数': like_counts_list,'评论内容IP属地': source_list,'评论级别': comment_level_list,'评论内容': text_list,}
)
# 保存csv文件
df.to_csv(self.result_file, mode='a+', index=False, header=header, encoding='utf_8_sig')
self.tk_show('结果保存成功:{}'.format(self.result_file))

软件界面底部版权：

# 版权信息
copyright = tk.Label(root, text='@马哥python说 All rights reserved.', font=('仿宋', 10), fg='grey')
copyright.place(x=290, y=625)

日志模块：

def get_logger(self):self.logger = logging.getLogger(__name__)# 日志格式formatter = '[%(asctime)s-%(filename)s][%(funcName)s-%(lineno)d]--%(message)s'# 日志级别self.logger.setLevel(logging.DEBUG)# 控制台日志sh = logging.StreamHandler()log_formatter = logging.Formatter(formatter, datefmt='%Y-%m-%d %H:%M:%S')# info日志文件名info_file_name = time.strftime("%Y-%m-%d") + '.log'# 将其保存到特定目录case_dir = r'./logs/'info_handler = TimedRotatingFileHandler(filename=case_dir + info_file_name,when='MIDNIGHT',interval=1,backupCount=7,encoding='utf-8')

三、使用介绍

3.0 填写cookie

开始采集前，先把自己的cookie值填入cookie.txt文件。
pc端cookie获取说明：
cookie获取方法

然后把复制的cookie值填写到当前文件夹的cookie.txt文件中。

3.1 软件登录

用户登录界面：

3.2 采集wb评论

根据自己的实际情况，在软件界面填写采集条件，点击开始按钮：
界面说明

完成采集后，在当前文件夹生成对应的csv文件，文件名以时间戳命名，方便查找。

五、结语

软件首发众公号”老男孩的平凡之路“，欢迎技术交流、深度探讨！

weibo_comment_pc_tool | 我于2025.5月用python开发的评论采集软件，根据帖子链接爬取评论的界面工具

本工具仅限学术交流使用，严格遵循相关法律法规，符合平台内容的合法及合规性，禁止用于任何商业用途！ 一、背景分析 1.1 开发背景微博（以下简称wb）是国内极具影响力的社交媒体平台，具有内容形式…...

编程日记 2025/7/28 14:42:28

ubuntu防火墙命令和放行ssh端口

一、关闭UFW防火墙（Ubuntu默认工具） 1. 临时关闭防火墙 sudo ufw disable sudo ufw status # 显示 Status: inactive 表示已关闭 2. 永久禁用防火墙（禁用系统服务） sudo systemctl stop ufw # 立即停止服务 sudo sy…...

编程日记 2025/7/23 19:07:49

PWM讲解+STM32任意频率、占空比、脉宽生成函数介绍

1.PWM讲解脉冲宽度调制(PWM)，是英文“Pulse Width Modulation”的缩写，简称脉宽调制。脉宽调制最开始使用PWM时，是做智能车时使用的舵机打角，电机驱动。这都属于比较浅显，普通的应用。下面和大家简单分享一下PWM的…...

编程日记 2025/7/23 7:35:18

C++23 范围迭代器作为非范围算法的输入 (P2408R5)

文章目录一、引言二、C23及范围迭代器的背景知识2.1 C23概述2.2 范围迭代器的概念三、P2408R5提案的内容3.1 提案背景3.2 提案内容四、范围迭代器作为非范围算法输入的优势4.1 代码简洁性4.2 提高开发效率4.3 更好的兼容性五、具体的代码示例5.1 使用范围迭代器进行并行计算…...

编程日记 2025/7/25 18:51:37

CVE-2018-1273 漏洞深度分析

漏洞概述 CVE-2018-1273 是 Spring Data Commons 中的一个高危远程代码执行（RCE）漏洞，影响版本为 Spring Data Commons 1.13–1.13.10 和 2.0–2.0.5。攻击者通过构造包含恶意 SpEL表达式的 HTTP 请求参数，触发表达式注入&#x…...

编程日记 2025/7/15 19:35:10

C++23：修正常量迭代器、哨兵和范围

文章目录引言C20范围库回顾C23之前常量迭代器的问题视图可能不传播const代理对象的复杂性泛型代码中的一致性 P2278R4提案及C23的改进std::views::as_const的工作原理代码示例浅const视图（如std::span）的改进总结引言在C的发展历程中，每…...

编程日记 2025/7/23 0:02:15

【漫话机器学习系列】266.雅可比矩阵（Jacobian Matrix）

雅可比矩阵（Jacobian Matrix）详解 | 多变量函数微积分的基石在深度学习、计算图、优化算法、机器人控制、流形学习等众多领域中，“雅可比矩阵（Jacobian Matrix）”是一个非常核心的数学工具。这篇文章将结合一张视觉…...

编程日记 2025/7/23 11:17:13

Leetcode 3551. Minimum Swaps to Sort by Digit Sum

Leetcode 3551. Minimum Swaps to Sort by Digit Sum 1. 解题思路2. 代码实现题目链接：3551. Minimum Swaps to Sort by Digit Sum 1. 解题思路这一题思路上我实现的非常暴力，就是先求出正确的排列，然后从头考察每一个元素是否处在其目标…...

编程日记 2025/7/23 2:14:51

西门子1200/1500博图（TIA Portal）寻址方式详解

西门子博图（TIA Portal）是西门子公司推出的自动化工程软件平台，广泛应用于工业自动化领域。在编写PLC程序时，寻址方式是一个非常重要的概念，它决定了如何访问和操作PLC中的数据和资源。本文将详细介绍西门子博图中的寻…...

编程日记 2025/7/23 1:40:10

STK手动建链+matlab联调

在右边场景区选择你要建链的卫星，右键在弹出的选项中选择Access 选择你要建链的卫星，这里我选择3轨10星与4轨8星建链，点击compute后再close就行了建链完成，这里链路的颜色跟起始卫星的颜色一致，要想改变颜色只需改变卫…...

编程日记 2025/7/26 9:53:15

MATLAB中的Switch语句讲解

MATLAB中的Switch语句：一个简单的控制流工具在MATLAB中，switch语句是一种多分支控制结构，通常用于根据某个表达式的值选择不同的代码块进行执行。它的作用类似于一系列的if-elseif-else语句，但在处理多个条件时，swit…...

编程日记 2025/7/25 21:26:35

【SpringBoot】✈️整合飞书群机器人发送消息

💥💥✈️✈️欢迎阅读本文章❤️❤️💥💥 🏆本篇文章阅读大约耗时3分钟。 ⛳️motto：不积跬步、无以千里 📋📋📋本文目录如下：🎁🎁&am…...

编程日记 2025/7/27 19:36:16

上位机知识篇---流式Web服务器模式的实现

文章目录前言前言本文简单介绍了流式Web服务器模式的实现。...

编程日记 2025/7/19 8:59:34

Go 语言中的一等公民（First-Class Citizens）

在 Go 语言中，一等公民（First-Class Citizens） 是指语言中可以像普通值一样被自由操作的元素，包括赋值、传递、返回等。Go 虽然不是纯粹的函数式语言，但支持多种一等公民，以下是 Go 中常见的一等公民及其特…...

编程日记 2025/7/26 12:59:44

python3.13版本降为3.12

目录一、下载Python 二、安装PyCharm 三、彩蛋粗糙理解： PyThon是编译器（也可以在命令行编辑，但是麻烦） PyCharm是编辑器一、下载Python https://repo.huaweicloud.com/python/3.12.9/python-3.12.9-amd64.exe 点击Insta…...

编程日记 2025/7/23 13:50:30

Ubuntu搭建TFTP服务器的方法

0 工具 Ubuntu 18.041 Ubuntu搭建TFTP服务器的方法在Ubuntu下搭建TFTP服务器可以让我们下载文件到开发板更加方便，同时也可以实现TFTP加载Linux镜像，方便调试。 1.1 安装tftp-hpa（TFTP客户端）、tftpd-hpa（TFTP服务…...

编程日记 2025/7/25 15:17:08

【AI】Ubuntu 22.04 4060Ti16G 基于SWIFT框架的LoRA微调模型Qwen3-1.8B 数据集弱智吧微调笔记

下载Qwen3-1.8B 先更新安装modescope，然后下载模型 pip install -U modelscope modelscope download --model Qwen/Qwen3-1.7B 下载日志部署模型参考：【AI】Ubuntu 22.04 4060Ti 16G vllm-api部署Qwen3-8B-FP8_wsl ubantu rtx4060 vllm镜像-CSDN博…...

编程日记 2025/7/23 4:27:00

系分论文《论信息系统缓存的分析和应用》

【摘要】 2023年3月，我作为系统分析师参与了某大型电商平台"云端购物中心"的性能优化项目。该项目日均订单量突破200万，但在促销高峰期频繁出现系统响应迟缓、数据库过载等问题。本项目以构建多级缓存体系为核心，通过系统化分析缓存应用场景和技术选型，重构了平…...

编程日记 2025/7/23 4:55:55

3.4/Q2，Charls最新文章解读

文章题目：Associations between reversible and potentially reversible cognitive frailty and falls in community-dwelling older adults in China: a longitudinal study DOI：10.1186/s12877-025-05872-2 中文标题：中国社区老年人可逆性和…...

编程日记 2025/7/26 5:46:39

Bash fork 炸弹 —— :(){ :|: }；:

🧠 什么是 Fork 炸弹？ Fork 炸弹是一种拒绝服务（DoS）攻击技术，利用操作系统的 fork() 系统调用不断创建新进程，直到系统资源（如进程表、CPU、内存）被耗尽，从而使系统无法…...

编程日记 2025/7/25 10:55:43

HarmonyOS AVPlayer 音频播放器

鸿蒙文档中心：使用AVPlayer播放视频(ArkTS)文档中心https://developer.huawei.com/consumer/cn/doc/harmonyos-guides/video-playback 这张图描述的是 HarmonyOS AVPlayer 音频播放器的状态流转过程，展示了 AVPlayer 在不同状态之间的切换条件和关键操作…...

编程日记 2025/7/26 17:52:54

symfonos: 2靶场

symfonos: 2 来自 <https://www.vulnhub.com/entry/symfonos-2,331/> 1，将两台虚拟机网络连接都改为NAT模式 2，攻击机上做namp局域网扫描发现靶机 nmap -sn 192.168.23.0/24 那么攻击机IP为192.168.23.182，靶场IP192.168.23.253 3&…...

编程日记 2025/7/17 21:48:34

微服务项目-＞在线oj系统(Java版 - 2)

相信自己,终会成功微服务代码: lyyy-oj: 微服务接口文档定义响应数据定义: 响应数据格式:通常，HTTP API 的响应数据采用 JSON 格式例如:成功响应（带数据） {"code": 200,"message": "查询成功","…...

编程日记 2025/7/24 16:13:48

整理了 2009 - 2025 年的【199 管综真题 + 解析】PDF，全套共 34 份文件

每年真题原卷 ✅ 每年详细解析 ✅ 📂【管综真题 2009-2025】 📂【管综解析 2009-2025】目录树： ├── 2009-2025管综真题 PDF │ ├── 2009年199管综真题.pdf │ ├── 2010年199管综真题.pdf │ ├── 2011年199管综真题.pd…...

编程日记 2025/7/26 9:11:49

HarmonyOS 与 OpenHarmony：同根而不同途

HarmonyOS 与 OpenHarmony：同根而不同途引言在操作系统领域，HarmonyOS 和 OpenHarmony 这两个名字频繁出现，它们之间既存在着千丝万缕的联系，又有诸多显著的区别。对于开发者和相关从业者而言，深入了解两者的差异点…...

编程日记 2025/7/27 18:09:41

并发编程（4）

final修饰 1. 用final修饰类当一个类被final修饰时，意味着它不能被其他类继承，也就是该类无法派生出子类。像 Java 中的String类就是典型的final类。 public final class FinalClass {// 类的内容 }// 下面的代码会报错，因为FinalClass不…...

编程日记 2025/7/24 1:05:35

合并K个升序链表

目录合并 K 个升序链表解题思路 ListNode 数组方式给出 k 个链表 ArrayList 方式给出 k 个链表 ArrayList常见操作合并 K 个升序链表题目描述给你一个链表数组，每个链表都已经按升序排列。请你将所有链表合并到一个升序链表中，返回合并后…...

编程日记 2025/7/26 1:24:02

UART、SPI、IIC复习总结

一、UART 1、UART和USART的异同？ 相同点基本功能：都是用于串行通信的数据收发设备，能够实现数据在不同设备之间的传输。在异步通信模式下，二者的工作方式相似，都使用起始位、数据位、校验位（可选&#…...

编程日记 2025/7/24 4:41:31

【AWS入门】Amazon Bedrock简介

【AWS入门】Amazon Bedrock简介 [AWS Essentials] Brief Introduction Amazon Bedrock By JacksonML 1. 引言 Amazon Bedrock，在AWS官网，映入眼帘的第一句话就是，“使用基础模型构建和扩展生成式人工智能应用程序的最简单方法”。如下图所…...

编程日记 2025/7/23 1:31:03

报告精读：华为2024年知行合一通信行业数据治理实践指南报告【附全文阅读】

《华为 2024 年知行合一通信行业数据治理实践指南报告》聚焦通信行业数据治理，指出在数字化转型背景下，通信行业面临数据量庞大、类型多样、时效要求高、价值密度低、安全要求高等特点与数据质量、汇聚、开放等难点。报告提出通信行业数据治理需构建包含…...

编程日记 2025/7/27 16:52:18

Eigen与OpenCV矩阵操作全面对比：最大值、最小值、平均值

功能对比总表功能Eigen 方法OpenCV 方法主要区别最大值mat.maxCoeff(&row, &col)cv::minMaxLoc(mat, NULL, &maxVal, NULL, &maxLoc)Eigen需要分开调用，OpenCV一次获取最小值mat.minCoeff(&row, &col)cv::minMaxLoc(mat, &minVal, NU…...

编程日记 2025/7/25 4:09:31

机器学习（12）——LGBM（1）

文章目录 LightGBM算法详解1. 算法背景2. 核心创新2.1 基于直方图的决策树算法2.2 单边梯度采样(GOSS)2.3 互斥特征捆绑(EFB) 3. 算法细节3.1 树生长策略3.2 特征并行与数据并行3.3 类别特征处理 4. 关键参数说明4.1 核心参数4.2 控制速度参数4.3 控制过拟合参数 5. 与XGBoost对…...

编程日记 2025/7/24 21:04:48

深入理解TCP与UDP：协议对比、头部结构与连接管理

一、TCP与UDP的核心区别特性TCPUDP连接特性面向连接（三次握手建立连接）无连接，直接传输数据可靠性通过确认重传、排序、流控保证可靠尽力交付，不保证数据到达流量控制支持滑动窗口机制调节发送速率不支持数据分段支持大数据分段…...

编程日记 2025/7/26 1:25:20

Flask快速入门和问答项目源码

Flask基础入门源码： gitee：我爱白米饭/Flask问答项目 - 码云目录 1.安装环境2.【debug、host、port】3.【路由params和query】4.【模板】5.【静态文件】6.【数据库连接】6.1.安装模块6.2.创建数据库并测试连接6.3.创建数据表6.4.ORM增删改查 6.5.ORM模…...

编程日记 2025/7/26 5:15:42

python创建flask项目

好的，我会为你提供一个使用 Flask、pg8000 和 Pandas 构建的后台基本框架，用于手机理财产品 App 的报表分析接口。这个框架将包含异常处理、模块化的结构以支持多人协作，以及交易分析和收益分析的示例接口。项目结构: financial_report_ap…...

编程日记 2025/7/24 9:20:37

Flink 的窗口机制

🪟 1. 基于时间驱动的滚动时间窗口（Tumbling Time Window - Time-based） ✅ 定义： 每隔固定的时间周期开启一个新的窗口。窗口之间不重叠。 🕒 示例： DataStream<Tuple2<String, Integer>>…...

编程日记 2025/7/26 11:27:36

STM32 OTA 中断向量表重定向

在STM32的OTA（Over-the-Air）升级中，中断向量表重定向是关键技术需求，其核心原因在于STM32的硬件架构和固件运行机制。以下从原理、实现方式及必要性三个角度详细分析： 一、中断向量表的作用与默认机制中断向量表的…...

编程日记 2025/7/25 10:55:59

先说爱的人为什么先离开

2025年5月19日，15~23℃，贼好的一天，无事发生待办： 2024年税务申报《高等数学2》取消考试资格学生名单《物理[2]》取消考试资格名单 5月24日、25日监考报名《高等数学2》备课《物理[2]》备课职称申报材料教学技能大赛PPT 遇…...

编程日记 2025/7/25 4:27:37

OnlyOffice秘籍系列.6-表格保护功能详解-灵活设置单元格的权限

最近很多用户在咨询是否可以提供一个灵活控制表格权限的在线协同编辑表格,这里和大家分享如果用OnlyOffice在线表格实现。 OnlyOffice 是一款功能强大的在线协作办公套件，其表格工具（Spreadsheet Editor）提供了完善的数据保护机制&#xff0c…...

编程日记 2025/7/28 4:22:25

LLM笔记（八）Transformer学习

文章目录 1. Transformer 整体架构2. 核心组件详解2.1. 输入部分 (Input Embedding & Positional Encoding)2.2. 注意力机制 (Attention Mechanism)2.2.1. Padding Mask (填充掩码)2.2.2. Sequence Mask (Look-ahead Mask / Subsequent Mask / Causal Mask) 2.3. Multi-Hea…...

编程日记 2025/7/26 22:20:18

Vue 3 中使用 md-editor-v3 的完整实例markdown文本

下面我将提供一个完整的 Vue 3 项目中使用 md-editor-v3 的 Markdown 编辑器实现，包含常用功能和最佳实践。 1. 基础实现安装依赖 npm install md-editor-v3也可以是pnpm安装 pnpm install md-editor-v3基础编辑器组件 (BasicEditor.vue) <template> &l…...

编程日记 2025/7/28 1:25:48

OpenCV-图像分割

实验1 实验内容上述代码通过使用OpenCV和Matplotlib库来执行以下操作： 读取名为’kt.jpg’的图像文件，并存储在变量img中。将图像img转换为灰度图像，将其存储在变量gray中。使用cv2.threshold函数对灰度图gray进行阈值化处理，…...

编程日记 2025/7/28 10:03:57

Vue-计算属性

计算属性案例输入姓、名， 全名称姓名实现插值语法代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><title>计算属性与监视</title><script type&…...

编程日记 2025/7/24 4:54:31

16. 通用配置文件开发.py

16. 通用配置文件开发.py 一、配置文件架构设计 1.1 模块化结构规划 #mermaid-svg-Iuex47psGWeZj6XQ {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-Iuex47psGWeZj6XQ .error-icon{fill:#552222;}#mermaid-svg-Iu…...

编程日记 2025/7/23 13:12:47

Python训练营打卡 Day29

复习日：类的装饰器知识点回顾类的装饰器：餐厅升级计划假设你是一家餐厅的老板，餐厅已经运营了一段时间，但你希望提升服务质量，比如在每道菜上增加一些特别的服务（比如日志记录、额外的装饰等&#xff09…...

编程日记 2025/7/22 21:40:42

解决 Tailwind CSS 代码冗余问题

解决 Tailwind CSS 代码冗余问题 Tailwind CSS 确实可能导致 HTML 类名过长和冗余的问题，以下是几种有效的解决方案： 1. 使用 apply 指令提取重复样式 /* 在CSS文件中 */ .btn {apply px-4 py-2 rounded-md font-medium; }.card {apply p-6 bg-white …...

编程日记 2025/7/27 22:44:39

【藏经阁】加密机服务完整解决方案，包含客户端+服务端

前言你是否存在这样的苦恼，数据需要安全存储，但是每个系统大家自己写，很浪费时间。 encryption-local 一个离线版本的金融敏感信息加解密工具，用于数据库敏感信息存储。离线版本的加解密好处是非常的方便。不过缺点也比较明显…...

编程日记 2025/7/25 6:37:22

互联网大厂Java求职面试：AI与大模型应用集成及云原生挑战

互联网大厂Java求职面试：AI与大模型应用集成及云原生挑战面试场景设定郑薪苦是一位具有搞笑风格但技术潜力巨大的程序员，正在接受一位严肃专业的技术总监面试。第一轮提问面试官：在我们公司的短视频平台中，需要处理千万级…...

编程日记 2025/7/27 15:53:03

ffmpeg -vf subtitles添加字幕绝对路径问题的解决方法

今天遇到奇怪的问题，老是报 Unable to parse option value Error applying option original_size to filter subtitles: Invalid argument 踩坑很长时间，记录下因subtitles需要指定绝对路径， 注意点： 外面要用单引号不能…...

编程日记 2025/7/27 8:41:51

JetBrains IDEA,Android Studio,WebStorm 等IDE 字体出现异常时解决方法

JetBrains IDEA,Android Studio,WebStorm 等IDE 中文字体出现异常，很怪的时候，通常需要设置字体回退才能解决。需要在 Font 中将字体连写打开，并且设置字体回退为 Microsoft YaHei Ul 只有这样 IDEA 在没有中文字体的样式下，会将…...

编程日记 2025/7/16 8:24:06