当前位置：首页 > news >正文

【论文投稿】Python 网络爬虫：探秘网页数据抓取的奇妙世界

news 来源：原创 2025/5/18 12:45:00

【IEEE出版|广东工业大学主办】第五届神经网络、信息与通信工程国际学术会议（NNICE 2025）_艾思科蓝_学术一站式服务平台

前言

一、Python—— 网络爬虫的绝佳拍档

二、网络爬虫基础：揭开神秘面纱

（一）工作原理：步步为营的数据狩猎

（二）分类：各显神通的爬虫家族

三、Python 网络爬虫核心库深度剖析

（一）requests：畅通无阻的网络交互

（二）BeautifulSoup：解析网页的艺术大师

（三）Scrapy：构建爬虫帝国的框架

四、实战演练：从新手到高手的蜕变

五、挑战与应对：在荆棘中前行

六、结语：无限可能的爬虫之旅

前言

在当今数字化信息呈爆炸式增长的时代，网络爬虫宛如一把神奇的钥匙，开启了通往海量数据宝藏的大门。无论是商业领域的市场情报搜集、科研工作中的资料聚合，还是个人兴趣驱动下的信息整合，网络爬虫都展现出了无与伦比的价值。今天，就让我们一同走进 Python 网络爬虫的精彩世界，探索其中的奥秘。

一、Python—— 网络爬虫的绝佳拍档

Python 之所以能在网络爬虫领域独占鳌头，得益于其诸多卓越特性。其语法简洁明了，犹如日常英语般通俗易懂，新手入门毫无压力。例如，一个简单的打印 “Hello, World!” 语句，在 Python 中仅需一行代码：print("Hello, World!")，相较于其他编程语言，代码量大幅减少。

丰富多样的库和框架更是 Python 的强大后盾。对于网络爬虫而言，requests库让发送 HTTP 请求变得轻而易举。只需要几行代码，就能模拟浏览器向目标网址发起请求并获取响应内容：

import requestsurl = "https://www.example.com"
response = requests.get(url)
print(response.text)

这里，我们首先导入requests库，指定目标网址，然后使用get方法发送 GET 请求，最后打印出响应的文本内容。整个过程简洁流畅，无需复杂的底层网络编程知识。

此外，Python 的跨平台性确保了爬虫代码可以在 Windows、Linux、Mac 等不同操作系统上无缝运行，为开发者提供了极大的便利。无论是在个人电脑上进行小规模的数据抓取，还是部署在服务器上执行大规模的爬取任务，Python 都能轻松胜任。

二、网络爬虫基础：揭开神秘面纱

（一）工作原理：步步为营的数据狩猎

网络爬虫的工作流程恰似一场精心策划的狩猎行动。起始于一个或多个初始 URL，这些 URL 如同狩猎的起点。爬虫程序首先向这些 URL 发送请求，就像猎人踏入猎物的领地。当目标服务器接收到请求后，会返回相应的网页内容，这便是收获的 “猎物”。

但此时的网页内容杂乱无章，充斥着 HTML、CSS、JavaScript 等各种代码。接下来，爬虫需要借助解析工具，如同猎手拆解猎物一般，将网页解析成结构化的数据，从中精准定位并提取出所需的信息，比如文本、图片链接、表格数据等。完成一次提取后，爬虫会依据预先设定的规则，从当前页面中发现新的链接，这些链接如同通往新猎物领地的路径，爬虫顺着它们继续前行，重复上述过程，直至满足特定的停止条件，例如达到预定的爬取深度、抓取数量上限，或者遇到无新链接可追踪的页面。

（二）分类：各显神通的爬虫家族

网络爬虫家族庞大，成员各具特色。通用网络爬虫犹如不知疲倦的探险家，旨在遍历尽可能多的网页，全面搜集互联网上的信息。搜索引擎巨头谷歌、百度旗下的爬虫大多属于此类，它们凭借强大的算力和复杂的算法，穿梭于海量网页之间，为搜索引擎构建庞大的网页索引。

与之相对的是聚焦网络爬虫，这类爬虫目标明确，如同带着特定任务的特工。它们专注于特定领域、主题或网站的信息抓取，例如只针对某一学术领域的论文网站，精准提取论文标题、作者、摘要等关键信息；又或是监测电商平台特定品类商品价格波动，为商家提供竞品价格动态。聚焦爬虫通过精心设计的筛选规则和精准的链接提取策略，在浩瀚的网络海洋中直击目标数据，避免了资源浪费在无关信息上。

三、Python 网络爬虫核心库深度剖析

（一）requests：畅通无阻的网络交互

requests库的强大之处不仅在于发送简单请求。它还能灵活处理各种复杂的网络场景。在实际应用中，很多网站为了防止恶意爬虫，会设置反爬机制，通过检查请求头中的信息来辨别请求来源。此时，requests库允许我们自定义请求头，模拟真实浏览器的访问：

import requestsurl = "https://www.some-protected-site.com"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}
response = requests.get(url, headers=headers)
if response.status_code == 200:print(response.text)
else:print(f"请求失败，状态码：{response.status_code}")

上述代码中，我们精心构造了一个包含常见浏览器标识的请求头，传递给get方法。当目标网站接收到请求时，看到类似真实浏览器的 “身份标识”，就更有可能正常响应。同时，通过检查响应的状态码，我们能及时知晓请求是否成功，以便做出相应处理。

（二）BeautifulSoup：解析网页的艺术大师

当获取到网页内容后，如何从中提取有价值的信息就轮到BeautifulSoup大显身手了。假设我们要从一个新闻网站页面中提取所有新闻标题，页面的 HTML 结构可能如下：

<html>
<body>
<div class="news-container"><h2 class="news-title">重大科技突破！新型芯片研发成功</h2><h2 class="news-title">国际体育赛事：名将再创佳绩</h2><h2 class="news-title">文化盛事：传统艺术展览吸引万人参观</h2>
</div>
</body>
</html>

利用BeautifulSoup，我们可以这样做：

from bs4 import BeautifulSoup
import requestsurl = "https://www.news-site.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
titles = soup.find_all('h2', class_='news-title')
for title in titles:print(title.text)

首先，我们将requests获取到的网页文本传入BeautifulSoup构造函数，同时指定解析器为html.parser（当然，还有其他可选解析器，如lxml，性能更为优越）。接着，使用find_all方法，按照标签名h2和类名news-title的组合条件，精准定位所有新闻标题元素。最后，通过循环打印出标题的文本内容，将新闻标题逐一提取出来。

（三）Scrapy：构建爬虫帝国的框架

对于大规模、复杂的爬虫项目，Scrapy框架则是不二之选。它以高度模块化的设计，将爬虫开发过程细分为多个组件，各司其职，协同作战。

创建一个简单的Scrapy爬虫项目，首先在命令行执行：scrapy startproject my_crawler，这将生成一个名为my_crawler的项目目录，包含了诸如spiders（存放爬虫脚本）、items（定义数据结构）、middlewares（处理中间件，用于应对反爬等问题）、pipelines（数据处理管道，负责数据的存储、清洗等后续操作）等关键子目录。

以爬取一个书籍推荐网站为例，在spiders目录下创建一个名为book_spider.py的文件，代码大致如下：

import scrapyclass BookSpider(scrapy.Spider):name = "book_spider"start_urls = ["https://www.book-recommendation-site.com"]def parse(self, response):books = response.css('div.book-item')for book in books:title = book.css('h3.book-title::text').get()author = book.css('p.book-author::text').get()yield {'title': title,'author': author}next_page = response.css('a.next-page-link::attr(href)').get()if next_page:yield scrapy.Request(next_page, callback=self.parse)

在这个代码片段中，我们定义了一个名为BookSpider的爬虫类，指定了名称和初始网址。parse方法作为核心解析逻辑，利用Scrapy强大的 CSS 选择器（当然也支持 XPath），从网页响应中提取书籍信息，包括书名和作者，并通过yield关键字将数据以字典形式返回，方便后续处理。同时，还能智能地发现下一页链接，递归地发起新的请求，持续爬取整个网站的书籍数据，直至无后续页面为止。

四、实战演练：从新手到高手的蜕变

纸上得来终觉浅，让我们通过一个实际案例来巩固所学知识。假设我们想要获取某热门影评网站上一部热门电影的影评信息，包括评论者昵称、评论内容、评分等。

首先，运用requests库发送请求获取影评页面：

import requestsmovie_review_url = "https://www.movie-review-site.com/movie/top-blockbuster"
response = requests.get(movie_review_url)

接着，使用BeautifulSoup解析网页：

from bs4 import BeautifulSoupsoup = BeautifulSoup(response.text, 'html.parser')
review_items = soup.find_all('div', class_='review-item')

review_items = soup.find_all('div', class_='review-item')

然后，遍历解析出的评论项，提取具体信息：

reviews = []
for item in review_items:reviewer_nickname = item.find('span', class_='reviewer-nickname').textreview_content = item.find('p', class_='review-content').textrating = item.find('span', class_='rating-star').textreviews.append({'reviewer_nickname': reviewer_nickname,'review_content': review_content,'rating': rating})

最后，如果要长期保存这些数据，可选择将其存入数据库（如 MySQL、SQLite 等）或保存为 CSV 文件：

# 保存为CSV文件示例
import csvwith open('movie_reviews.csv', 'w', newline='', encoding='utf-8') as csvfile:fieldnames = ['reviewer_nickname', 'review_content', 'rating']writer = csv.DictWriter(csvfile, fieldnames=fieldnames)writer.writeheader()writer.writerows(reviews)

通过这个实战案例，我们将之前所学的知识串联起来，真切体会到 Python 网络爬虫从发起请求、解析网页到数据存储的完整流程。

五、挑战与应对：在荆棘中前行

网络爬虫的征程并非一帆风顺，诸多挑战横亘在前。首当其冲的便是反爬机制。许多网站采用 IP 封锁策略，一旦检测到某个 IP 地址在短时间内频繁发起请求，便会禁止该 IP 访问，就像给爬虫的 “家门” 上了锁。此时，我们可以利用代理 IP，每隔一段时间切换一次 IP 地址，伪装成不同的用户访问，绕过封锁：

import requestsproxies = {"http": "http://proxy_ip:proxy_port","https": "https://proxy_ip:proxy_port"
}
response = requests.get(url, proxies=proxies)

这里的proxy_ip和proxy_port需替换为真实可用的代理服务器地址和端口。

验证码识别也是一大难题。有些网站会在登录、频繁访问等场景下弹出验证码，阻止自动化程序。面对这一挑战，我们可以借助一些开源的验证码识别工具，如Tesseract OCR，结合图像预处理技术，提高验证码识别的准确率，突破这一关卡。

此外，法律合规问题不容忽视。未经网站所有者许可，大规模、恶意地抓取数据可能触犯法律法规。因此，在开展爬虫项目前，务必研读目标网站的robots.txt文件，它明确规定了网站哪些部分允许爬虫访问，哪些禁止访问，遵循规则，确保在合法合规的轨道上运行爬虫项目。

六、结语：无限可能的爬虫之旅

Python 网络爬虫为我们打开了一扇通往无限数据世界的大门，在商业、科研、生活等各个领域释放出巨大能量。通过掌握requests、BeautifulSoup、Scrapy等核心工具和框架，我们能够披荆斩棘，克服重重挑战，从网页的海洋中挖掘出珍贵的数据宝藏。

然而，这仅仅是一个起点，随着互联网技术的日新月异，网络爬虫技术也在不断进化。未来，无论是应对更复杂的反爬策略，还是探索新兴领域的数据抓取需求，Python 网络爬虫都将凭借其灵活性和强大的社区支持，持续助力我们在信息时代破浪前行，开启更多未知的精彩旅程。愿各位读者在这充满魅力的网络爬虫世界里，不断探索创新，收获属于自己的硕果。

【论文投稿】Python 网络爬虫：探秘网页数据抓取的奇妙世界

【IEEE出版|广东工业大学主办】第五届神经网络、信息与通信工程国际学术会议（NNICE 2025）_艾思科蓝_学术一站式服务平台目录前言一、Python—— 网络爬虫的绝佳拍档二、网络爬虫基础：揭开神秘面纱 （一）工作原…...

编程日记 2025/5/18 12:45:00

【总结整理】神经网络与深度学习邱锡鹏课后习题答案扩展阅读链接

本文主要针对神经网络神经网络邱锡鹏 2~8 章的课后习题进行理解的过程中，搜索到的讲的会比较透彻的链接整理。适合有一定基础但是想了解更细的人阅读。主要参考书籍首先是本书pdf可在神经网络与深度学习获取； 主要参考的课后习题答案为nndl/solution…...

编程日记 2025/5/17 3:33:54

华为手机建议使用adb卸载的app

按需求自行卸载 echo 卸载智慧搜索 adb shell pm uninstall -k --user 0 com.huawei.search echo 卸载智慧助手 adb shell pm uninstall -k --user 0 com.huawei.intelligent echo 卸载讯飞语音引擎 adb shell pm uninstall -k --user 0 com.iflytek.speechsuite echo 卸载快应…...

编程日记 2025/5/16 8:52:57

找到一个linux静态库动态库的好资料.2

# 正文继续整理从这个页面学到的东西：https://tldp.org/HOWTO/Program-Library-HOWTO 这一篇主要参考这俩： https://tldp.org/HOWTO/Program-Library-HOWTO/introduction.html https://tldp.org/HOWTO/Program-Library-HOWTO/static-libraries.html 这…...

编程日记 2025/5/18 10:16:56

存储块的原理与创建

目录问题概述 malloc和free 固定块大小分配设计原理设计实现为RTOS提供内存管理与回收机制问题概述 malloc和free extern void *malloc(unsigned int num_bytes); //malloc向系统申请分配指定size个字节的内存空间。 //返回类型是void *类型 extern void free(void *ptr);…...

编程日记 2025/5/10 11:35:04

RabbitMQ工作模式（详解工作模式：简单队列、工作队列、公平分发以及消息应答和消息持久化）

文章目录十.RabbitMQ10.1 简单队列实现10.2 Work 模式（工作队列）10.3 公平分发10.4 RabbitMQ 消息应答与消息持久化消息应答概念配置消息持久化概念配置十.RabbitMQ 10.1 简单队列实现简单队列通常指的是一个基本的消息队列，它可以用于…...

编程日记 2025/5/16 2:51:37

电脑提示报错NetLoad.dll文件丢失或损坏？是什么原因？

一、NetLoad.dll文件丢失或损坏的根源程序安装不完整：某些程序在安装过程中可能因为磁盘错误、网络中断或安装程序本身的缺陷，导致NetLoad.dll文件未能正确安装或复制。恶意软件攻击：病毒、木马等恶意软件可能会篡改或删除系统文件&#x…...

编程日记 2025/5/12 12:51:41

【物联网技术与应用】实验15：电位器传感器实验

实验15 电位器传感器实验【实验介绍】电位器可以帮助控制Arduino板上的LED闪烁的时间间隔。【实验组件】 ● Arduino Uno主板* 1 ● 电位器模块* 1 ● USB电缆*1 ● 面包板* 1 ● 9V方型电池* 1 ● 跳线若干【实验原理】模拟电位器是模拟电子元件，模…...

编程日记 2025/5/16 2:13:11

WPF 绘制过顶点的圆滑曲线（样条，贝塞尔）

项目中要用到样条曲线，必须过顶点，圆滑后还不能太走样，捣鼓一番，发现里面颇有玄机，于是把我多方抄来改造的方法发出来，方便新手： 如上图，看代码吧： -------------------…...

编程日记 2025/5/14 5:22:14

YOLOv9-0.1部分代码阅读笔记-assigner.py

assigner.py utils\tal\assigner.py 目录 assigner.py 1.所需的库和模块 2.def select_candidates_in_gts(xy_centers, gt_bboxes, eps1e-9): 3.def select_highest_overlaps(mask_pos, overlaps, n_max_boxes): 4.class TaskAlignedAssigner(nn.Module): 1.所需的库…...

编程日记 2025/5/17 10:40:41

mybatis-plus自动填充时间的配置类实现

mybatis-plus自动填充时间的配置类实现在实际操作过程中，我们并不希望创建时间、修改时间这些来手动进行，而是希望通过自动化来完成，而mybatis-plus则也提供了自动填充功能来实现这一操作，接下来，就来了解一下mybatis…...

编程日记 2025/5/16 9:35:27

fgets TAILQ_INSERT_TAIL

If you’re using the macros from <sys/queue.h> to implement a circular doubly linked list (TAILQ), the inversion issue occurs because you’re using LIST_INSERT_HEAD, which inserts at the head of the list. Instead, to maintain the original order (FIFO…...

编程日记 2025/5/15 14:57:49

upload-labs关卡记录12

直接上传一句话木马，发现提示： 很明显这是一个白名单，而且不是前端的js检查，而是服务端的检查，因此我们使用bp抓包，改一下文件类型试试： 找到包之后，我们对content-type进行一个更改…...

编程日记 2025/5/14 13:02:52

服务器被攻击怎么办

当服务器遭受恶意流量攻击，如DDoS（分布式拒绝服务）或CC（Challenge Collapsar）攻击时，传统的防护措施可能不足以应对。此时，采用高防IP服务可以有效缓解攻击压力，确保业务连续性和数据…...

编程日记 2025/5/15 10:46:11

Node.js 助力前端开发：自动化操作实战

前端开发中，重复性任务如新建文件、配置路由、生成组件等，往往耗时且容易出错。借助 Node.js 的强大能力，我们可以实现开发过程中的自动化操作，提高效率。文章目录自动生成 router 配置文件自动生成组件模板动态构建导航菜单自…...

编程日记 2025/5/18 10:48:17

MATLAB符号计算-符号表达式基础运算操作

1.1.2符号变量取值域的限定默认复数域【例1-1-2】解不等式 1.1.3创建符号表达式对符号对象进行各种运算（算术运算、关系运算、逻辑运算），即可创建符号表达式。 1.算术运算与转置【例1-1-3】 f5是f4的共轭转置 f6是f4的转置 2.关系…...

编程日记 2025/5/13 23:39:20

ADB 上传文件并使用脚本监控上传百分比

有个需求，需要测试 emmc的外部连续写入性能，使用 ADB 上传一个巨大的文件。并且在上传到一定值时进行干预。因此但是 adb push 命令本身会 block 运行并且不返回进度，因此需要一个额外的监控脚本。上传脚本： echo off setloc…...

编程日记 2025/5/15 20:44:56

深入解析MySQL索引结构：从数组到B+树的演变与优化

前言： 在数据库查询中，索引是一种关键的性能优化工具。然而，索引的失效可能导致查询效率大幅下降。为了更好地理解索引的工作原理及规避其失效，深入了解索引结构的演变过程尤为重要。 MySQL 的索引数据结构从简单到复杂&#xff0…...

编程日记 2025/5/13 0:04:41

【玩转MacBook】JDK安装

下载 JDK 8 官网：https://www.oracle.com/cn/java/technologies/downloads/archive/ 找到 JDK 8 选择： 安装 JDK 双击 .dmg 文件： 继续双击： “继续” “继续” 走到这里，我发现只能选择这个“为这台电脑上的所有…...

编程日记 2025/5/18 0:57:30

word无法创建工作文件，检查临时环境变量。

word无法创建工作文件，检查临时环境变量。 word preview版本，关联打开文件出现报错。word无法创建工作文件，检查临时环境变量。打开注册表，删除键 Word Preview: HKCR\CLSID{84F66100-FF7C-4fb4-B0C0-02CD7FB668FE} PowerPoint …...

编程日记 2025/5/17 14:30:16

威联通NAS部署openwrt软路由保姆级教程附镜像文件

创作立场：原创不易，拒绝搬运~ hello 大家好，我是你们的老伙伴，稳重的大王~ 本期教程为大家分享，怎么在NAS里面部署软路由，下面是软路由的镜像文件，有两个版本，400M的是定制版~ Sh…...

编程日记 2025/5/13 22:33:54

MySQL共享锁，排他锁

在 MySQL 中，共享锁（S 锁） 和排他锁（X 锁） 是两种主要的锁机制，用于处理事务的并发控制。它们的作用和行为如下： 1. 共享锁 (S 锁) 定义： 共享锁允许事务对某一行数据进行读取&am…...

编程日记 2025/5/14 3:14:15

2. FPGA基础了解--全局网络

前言引入扇出的概念介绍FPGA中的全局网络为后续时序优化埋下伏笔扇出在FPGA设计中扇出是一个重要的概念，所谓的扇出就是一个控制信号所能控制的数据信号的总个数，比如ctrl信号的扇出就是16 reg ctrl 0; reg [15:0] out 0; always (posedge c…...

编程日记 2025/5/5 4:40:36

[c++进阶(三)]单例模式及特殊类的设计

1.前言在实际场景中,总会遇见一些特殊情况,比如设计一个类,只能在堆上开辟空间, 或者是设计一个类只能实例化一个对象。那么我们应该如何编写代码呢？本篇将会详细的介绍本章重点： 本篇文章着重讲解如何设计一些特殊的类,包括不能被拷贝,只能在栈/堆上…...

编程日记 2025/5/14 6:02:34

js版本之ES6特性简述【let和const、数组、函数、集合、Symbol】(四)

目录 let [块级作用域] 和const简述 Array.from Array.of Array.prototype中新增的方法 for...of 函数参数调整集合类型 Map Set WeakMap WeakSet Set WeakSet Map WeakMap Symbol 类型 let [块级作用域] 和const简述 ES6 新增了let命令，用来声明变…...

编程日记 2025/5/15 13:36:03

重温设计模式--4、组合模式

文章目录 1 、组合模式（Composite Pattern）概述2. 组合模式的结构3. C 代码示例4. C示例代码25 .应用场景 1 、组合模式（Composite Pattern）概述定义：组合模式是一种结构型设计模式，它允许你将对象组合成…...

编程日记 2025/5/16 2:50:20

解决Ubuntu下无法装载 Windows D盘的问题

电脑安装了 Windows 和 Ubuntu 24.04 后，在Ubuntu系统上装载 D盘，发现无法装载错误如下： Error mounting /dev/nvme0n1p4 at /media/jackeysong/Data: wrong fs type, bad option, bad superblock on /dev/nvme0n1p4, missing codepage or h…...

编程日记 2025/5/8 9:26:59

详细介绍如何使用rapidjson读取json文件

本文主要详细介绍如何使用rapidjson库来实现.json文件的读取，分为相关基础介绍、结合简单示例进行基础介绍、结合复杂示例进行详细的函数实现介绍等三部分。一、相关基础 1、Json文件中的{} 和 [] 在 JSON 文件中，{} 和 [] 分别表示不同的数据结构&…...

编程日记 2025/5/17 5:23:18

Mybatis 如何复用 SQL

比如你的Mapper是这样写的： 但这个接口是没有分页的，你还想再写一个有分页的查询接口，两个接口SQL一模一样，只是多了分页特性。你可以直接重载一个方法，增加分页参数，即可复用该SQL。如下：...

编程日记 2025/5/9 18:33:01

使用 Python 操作 MySQL 数据库的实用工具类：MySQLHandler

操作数据库是非常常见的需求，使用 Python 和 pymysql 库封装一个通用的 MySQL 数据库操作工具类，并通过示例演示如何使用这个工具类高效地管理数据库。工具类的核心代码解析 MySQLHandler 类简介 MySQLHandler 是一个 Python 类，用于简化…...

编程日记 2025/5/14 9:47:57

C++ 内存管理：原理、技巧与实战

目录第一章：C++ 内存管理基础 1.1 C++ 内存布局剖析 1.2 内存分配与释放：核心机制详解 1.2.1 new/delete 操作符 1.2.2 malloc/free 函数第二章：智能指针 —— 内存管理利器 2.1 智能指针概览 2.2 常用智能指针类型 2.2.1 unique_ptr 2.2.2 shared_ptr 2.2.3 we…...

编程日记 2025/5/17 8:01:40

算法学习（17）—— FloodFill算法

目录关于FloodFill算法部分OJ题详解 733. 图像渲染 200. 岛屿数量 695. 岛屿的最大面积 130. 被围绕的区域 417. 太平洋大西洋水流问题 529. 扫雷问题 LCR130. 衣橱整理关于FloodFill算法爆搜，深搜，回溯的算法原理并不难，这类题…...

编程日记 2025/5/14 22:40:52

Kubernetes ConfigMap的创建与使用

前提条件拥有Kubernetes集群环境，可参考：Kubernetes集群搭建理解Kubernetes部署知识，可参考：使用Kubernetes部署第一个应用、Deloyment控制器 ConfigMap简介 ConfigMap 是 Kubernetes（通常简称为 K8s）中…...

编程日记 2025/5/15 17:54:13

灵当CRM uploadfile.php 文件上传致RCE漏洞复现

0x01 产品简介灵当CRM是一款专为中小企业打造的智能客户关系管理工具，由上海灵当信息科技有限公司开发并运营。广泛应用于金融、教育、医疗、IT服务、房地产等多个行业领域，帮助企业实现客户个性化管理需求，提升企业竞争力。无论是新客户开拓、老客户维护，还是销售过程管…...

编程日记 2025/5/12 15:15:41

老旧小区用电安全保护装置#限流式防火保护器参数介绍#

摘要随着居民住宅区用电负荷的增加，用电安全问题日益突出，火灾隐患频繁发生。防火限流式保护器作为一种新型电气安全设备，能够有效预防因电气故障引发的火灾事故。本文介绍了防火限流式保护器的工作原理、技术特点及其在居民住宅区用电系统…...

编程日记 2025/5/17 20:55:59

在git commit之前让其自动执行一次git pull命令

文章目录背景原因编写脚本测试效果背景原因有时候可以看到项目的git 提交日志里好多 Merge branch ‘master’ of …记录。这些记录是怎么产生的呢？ 是因为在本地操作 git add . 、 git commit -m "xxxxx"时，没有提前进行git pull操作&…...

编程日记 2025/5/17 17:33:18

【实现100个unity特效之4】Unity ShaderGraph使用教程与各种特效案例（2023/12/1更新）

文章目录一、前言二、ShaderGraph1.什么是ShaderGraph2.在使用ShaderGraph时需要注意以下几点：3.优势4.项目三、实例效果边缘发光进阶：带方向的菲涅尔边缘光效果裁剪进阶带边缘色的裁剪溶解进阶带边缘色溶解卡通阴影水波纹积雪效果不锈钢效果、冰晶效…...

编程日记 2025/5/12 8:58:06

单机和微服务的区别，微服务有什么问题？数据一致性问题怎么解决？幂等问题怎么解决？

单机和微服务的区别，微服务有什么问题？数据一致性问题怎么解决？幂等问题怎么解决？ 单机架构和微服务架构在设计理念、部署和扩展性上有显著区别。单机架构 vs 微服务架构单机架构定义：所有组件（前端…...

编程日记 2025/5/14 6:24:22

McDonald‘s Event-Driven Architecture 麦当劳事件驱动架构

原文链接 1 mcdonalds-technical-blog/ 原文链接 2 mcdonalds-technical-blog/ 麦当劳在异步、事务性和分析性处理用例中使用跨技术栈的事件，包括移动订单进度跟踪和向客户发送营销通信（交易和促销）。统一事件平台（unified eve…...

编程日记 2025/5/6 15:53:44

Clickhouse（Centos）

地址信息官网地址：Fast Open-Source OLAP DBMS - ClickHouse 下载地址：packages.clickhouse.com/rpm/stable/ 1.clickhouse-client-23.1.3.5.x86_64.rpm 2.clickhouse-common-static-23.1.3.5.x86_64.rpm 3.clickhouse-common-static-dbg-23.1.3.5.x86_…...

编程日记 2025/5/7 17:39:11

赛博错题本

机构抽象老师非得让我们整一个错题本，我寻思都学计算机了，还在整高中做题呢一套是什么意思呢，更何况考试也就一周一次，你整个本完完全全没有必要，整个赛博错题本得了。以后错题都会存在这里，基本上一周一更…...

编程日记 2025/5/14 12:00:14

【MySQL初阶】Ubuntu 环境安装 MySQL

🎉博主首页： 有趣的中国人 🎉专栏首页： 数据库初阶 🎉其它专栏： C初阶 | C进阶 | 初阶数据结构小伙伴们大家好，本片文章将会讲解 Ubuntu 系统安装 MySQL 的相关内容。如果看到最后您觉得这篇…...

编程日记 2025/5/18 5:06:37

【Kubernetes 指南】基础入门——Kubernetes 基本概念（二）

目录二、Pod 1、Pod 简介 2、Pod 图示 3、nginx 容器二、Pod 1、Pod 简介 - Kubernetes 使用 Pod 来管理容器，每个 Pod 可以包含一个或多个紧密关联的容器。 - Pod 是一组紧密关联的容器集合，它们共享 PID、IPC、Network 和 UTS namespace&#…...

编程日记 2025/5/16 3:05:48

Ubuntu系统下 npm install -g tauri 报错问题处理

处理在安装 Tauri 时遇到的问题，可以按照以下步骤进行操作 npm install -g taurinpm warn deprecated inflight1.0.6: This module is not supported, and leaks memory. Do not use it. Check out lru-cache if you want a good and tested way to coalesce async …...

编程日记 2025/5/18 9:51:24

数字逻辑（六）——下载Digital软件

Digital是一种用于设计和仿真数字逻辑电路的教育工具，它是免费、开源和跨平台的。这款软件十分适合新人，可以使用画简单的电路。 1 下载Digital软件首先Digital的下载地址是： https://github.com/hneemann/Digital 下载完成之后&…...

编程日记 2025/5/13 12:58:43

Ruby Raider使用教程

Ruby Raider是什么？ Ruby Raider 是一款生成器和脚手架 gem，可让 UI 测试自动化更容易 Github链接：https://github.com/RaiderHQ/ruby_raider 目前支持的框架 Web自动化测试 Cucumber and Selenium Rspec and Selenium Cucumber and Wa…...

编程日记 2025/5/17 3:48:58