当前位置： 首页 > news >正文

爬虫学习——使用HTTP服务代理、redis使用、通过Scrapy实现分布式爬取

news 来源：原创 2025/6/30 14:08:27

一、使用HTTP服务代理

由于网络环境、网站对用户的访问速度的限制等原因，使得爬取过程会出现IP被封禁，故使用代理可提高爬取速度。在Scrapy中提供了一个HttpProxyMiddleware专门用于进行爬虫代理设置。在使用该代理进行爬取操作时，需要先在bash中设置好系统环境变量，然后使用该代理设置自动默认获取*****_proxy的路径作为代理路径。此外，还可以实现使用多个代理。

二、redis使用

在Ubuntu中使用apt-get对redis进行安装。

其安装指令为：sudo apt-get install redis-server

其开启/重启、停止服务器指令为：sudo service redis-server start/restart/start

redis默认在127.0.0.1:6379上开启服务，可以使用netstat -ntl命令进行查询。如果想让其他的计算机被监听和访问，可以在redis配置文件/etc/redis/redis.conf中对监听地址进行修改和扩展，使用redis-cli-h IP地址 -p 端口号，来链接服务器；查看链接数据库是否成功使用PING，若返回PONG，则说明连接成功。相关redis的官方文档为：Redis - The Real-time Data Platform

redis支持五种Key类型：字符串、列表、字典，有序字典、哈希。此外，除了在ubuntu中可以使用redis，在python中也可使用redis，使用sudo pip install redis即可，然后import redis导入使用即可。

三、通过Scrapy实现分布式爬取

使用scrapy-redis实现分布式爬取，分布式的本质就是“人多力量大”，首先找到可以使用的多个LINIX主机并获取各主机的IP地址，然后在各个主机中安装scrapy和scrapy-redis

安装指令为：pip install scarpy；pip install scrapy-redis，从多个主机中选择一个作为供所有爬虫使用的redis数据库，并在该主机上安装redis-server；然后在redis配置文件(/etc/redis/redis.conf)中修改服务器的地址，确保该数据库能被所有的爬虫进行访问；然后重启redis服务器即可。然后测试多个主机能否访问设定为redis数据库的主机(redis-cli -h IP地址 ping，返回为PONG则说明连接成功)

相关文章：

爬虫学习——使用HTTP服务代理、redis使用、通过Scrapy实现分布式爬取

一、使用HTTP服务代理 由于网络环境、网站对用户的访问速度的限制等原因，使得爬取过程会出现IP被封禁，故使用代理可提高爬取速度。在Scrapy中提供了一个HttpProxyMiddleware专门用于进行爬虫代理设置。在使用该代理进行爬取操作时，需要先在ba…...

编程日记 2025/6/30 14:08:27

机器学习中的特征存储是什么？我需要一个吗？

本质上，特征存储是一个专用存储库，用于系统地存储和排列特征，主要用于数据科学家训练模型，并帮助已训练模型的应用程序进行预测。它是一个关键的聚合点，人们可以在此构建或修改从各种数据源提取的特征集合。此外，它还支持从这些特征组中创建和增强新的数据集，以满足处于…...

编程日记 2025/6/29 12:06:56

【C语言】C语言中的联合体与枚举类型

前言 在C语言中，联合体（union）和枚举（enum）是两种非常实用但又常被忽视的自定义数据类型。它们在内存管理、代码可读性以及程序设计的灵活性方面都有着独特的优势。今天，我们就来深入探讨一下联合体和枚举…...

编程日记 2025/6/29 19:32:55

Golang编程拒绝类型不安全

button-chen/containertypesafe-go: 使用泛型包装标准库的容器 list、ring、heap、sync.Pool 和 sync.Map，实现类型安全 简介 在 Go 中，标准库提供了多种容器类型，如 list、ring、heap、sync.Pool 和 sync.Map。然而，这些容器默认…...

编程日记 2025/6/29 9:14:09

炼锌废渣提取钴工艺流程

炼锌废渣中提取钴的工艺流程通常结合湿法冶金技术，针对废渣中钴与锌、铁、铜等金属的复杂共生特性，通过预处理、浸出、除杂、钴富集及提纯等步骤实现钴的高效回收。以下是典型工艺流程的详细说明： 一、预处理 炼锌废渣（如锌浸出…...

编程日记 2025/6/29 10:18:52

Restful接口学习

一、为什么RESTful接口是数据开发的核心枢纽？ 在数据驱动的时代，RESTful接口如同数据高速公路上的收费站，承担着数据交换的核心职责。数据工程师每天需要面对： 异构系统间的数据交互（Hadoop集群 ↔ 业务系统&#xf…...

编程日记 2025/6/29 11:21:27

仿真每日一练 | ABAQUS应力松弛

应力松弛是弹性材料在应力作用下产生微塑性变形，并且逐渐积累，在保持应变或者位移不变的前提下，表现为应力逐渐下降的现象。今天介绍一个ABAQUS中应力松弛的相关案例，模型如下所示： 图1 模型认识 回顾一下ABAQUS的有限…...

编程日记 2025/6/30 14:03:32

智能电网第4期 | 电力设备全连接组网方案：从有线到无线无缝融合

随着新型电力系统建设的加速推进，电力设备通信网络正面临前所未有的挑战与机遇。在变电站自动化、输电线路监测、配电房智能化等场景中，传统通信方案已难以满足日益增长的连接需求： 环境复杂性：变电站强电磁干扰环境下需保障微秒级…...

编程日记 2025/6/29 10:50:43

Python 面向对象练习

不多bb了,直接上代码吧。 from pprint import pprint class Course:total_course []def __init__(self,name,id):self.name nameself.id idself.is_select FalseCourse.total_course.append(self)def __repr__(self):return (f"{__class__.__name__}("f"学…...

编程日记 2025/6/30 14:06:12

无感字符编码原址转换术——系统内存（Mermaid文本图表版/DeepSeek）

安全便捷无依赖，不学就会无感觉。 笔记模板由python脚本于2025-04-24 20:00:05创建，本篇笔记适合正在研究字符串编码制式的coder翻阅。 学习的细节是欢悦的历程 博客的核心价值：在于输出思考与经验，而不仅仅是知识的简单复述。 P…...

编程日记 2025/6/30 14:06:10

机器学习--线性回归模型

阅读本文之前，可以读一读下面这篇文章：终于有人把线性回归讲明白了 0、引言 线性回归作为统计学与机器学习的入门算法，以其简洁优雅的数学表达和直观的可解释性，在数据分析领域占据重要地位。这个诞生于19世纪的经典算法&#xf…...

编程日记 2025/6/30 14:00:39

HTML应用指南：利用GET请求获取微博签到位置信息

在当今数字化时代，社交媒体平台已成为人们日常生活中不可或缺的一部分。作为中国最受欢迎的社交平台之一，微博不仅为用户提供了一个分享信息、表达观点的空间，还通过其丰富的功能如签到服务，让用户能够记录自己生活中的点点滴滴。…...

编程日记 2025/6/30 14:05:05

如何检测Python项目哪些依赖库没有使用

要检测Python项目中哪些依赖库未被使用，可以采用以下方法： 1. 使用静态分析工具 vulture：静态分析工具，检测未使用的代码和导入 pip install vulture vulture your_project/pyflakes：检查未使用的导入语句 pip ins…...

编程日记 2025/6/30 14:00:38

数据仓库建设全解析！

目录 一、数据仓库建设的重要性 1. 整合企业数据资源 2. 支持企业决策制定 3. 提升企业竞争力 二、数据仓库建设的前期准备 1. 明确业务需求 2. 评估数据源 3. 制定项目计划 三、数据仓库建设的具体流程 1.需求分析​ 2.架构设计​ 3.数据建模​ 4.ETL 开发​ 5.…...

编程日记 2025/6/30 13:59:41

magic-api连接达梦数据库

引入依赖 然后手写驱动 <dependency><groupId>com.dameng</groupId><artifactId>DmJdbcDriver18</artifactId><version>8.1.1.193</version></dependency> jdbc:dm://127.0.0.1:5236?schemaSALES...

编程日记 2025/6/29 10:59:38

向量检索新选择：FastGPT + OceanBase，快速构建RAG

随着人工智能的快速发展&#xff0c;RAG&#xff08;Retrieval-Augmented Generation&#xff0c;检索增强生成&#xff09;技术日益受到关注。向量数据库作为 RAG 系统的核心基础设施&#xff0c;堪称 RAG 的“记忆中枢”&#xff0c;其性能直接关系到大模型生成内容的精准度与…...

编程日记 2025/6/29 11:46:47

WHAT - 区分 Git PR 和 MR

文章目录 PR&#xff08;Pull Request&#xff09;MR&#xff08;Merge Request&#xff09;相同点总结 git pr 和 git mr 本质上都是「合并请求」的意思&#xff0c;但它们对应的是不同的平台术语。 PR&#xff08;Pull Request&#xff09; 平台&#xff1a;GitHub、Bitbuc…...

编程日记 2025/6/29 12:21:32

Axure复选框组件的深度定制：实现自定义大小、颜色与全选功能

在产品设计中&#xff0c;复选框作为用户与界面交互的重要元素&#xff0c;其灵活性直接影响到用户体验。本文将介绍如何利用Axure RP工具&#xff0c;通过高级技巧实现复选框组件的自定义大小、颜色调整&#xff0c;以及全选功能的集成&#xff0c;为产品原型设计增添更多可能…...

编程日记 2025/6/29 12:26:38

Datawhale AI春训营——用AI帮助老人点餐

详细内容见官网链接&#xff1a;用AI帮助老人点餐-活动详情 | Datawhale...

编程日记 2025/6/29 9:47:13

两段文本比对，高亮出差异部分

用法一:computed <div class"card" v-if"showFlag"><div class"info">*红色背景为已删除内容&#xff0c;绿色背景为新增内容</div><el-form-item label"与上季度比对&#xff1a;"><div class"comp…...

编程日记 2025/6/29 9:15:10

uniapp 仿小红书轮播图效果

通过对小红书的轮播图分析&#xff0c;可得出以下总结&#xff1a; 1.单张图片时容器根据图片像素定高 2.多图时轮播图容器高度以首图为锚点 3.比首图长则固高左右留白 4.比首图短则固宽上下留白 代码如下&#xff1a; <template><view> <!--轮播--><s…...

编程日记 2025/6/29 10:19:27

审计效率升级！快速匹配Excel报表项目对应的Word附注序号

财务审计报告一般包括&#xff1a;封面、报告正文、财务报表&#xff08;Excel工作簿&#xff09;以及对应的财务报表附注&#xff08;Word文档&#xff09;、事务所营业执照以及注册会计师证件。 在审计报告出具阶段&#xff0c;为各报表项目填充对应的Word附注序号&#xff…...

编程日记 2025/6/29 11:47:13

Python 中 `r` 前缀：字符串处理的“防转义利器”

# Python 中 r 前缀&#xff1a;字符串处理的“防转义利器” 在 Python 编程过程中&#xff0c;处理字符串时经常会遇到反斜杠 \ 带来的转义问题&#xff0c;而 r 前缀的出现有效解决了这一困扰。它不仅能处理反斜杠的转义&#xff0c;还在多种场景下发挥着重要作用。接下来&a…...

编程日记 2025/6/29 11:50:31

1️⃣6️⃣three.js_光源

16、光源 3D虚拟工厂在线体验 在 Three.js 中&#xff0c;环境光&#xff08;AmbientLight&#xff09;、点光源&#xff08;PointLight&#xff09;、平行光&#xff08;DirectionalLight&#xff09;、 聚光灯&#xff08;SpotLight&#xff09;、半球光&#xff08;Hemisph…...

编程日记 2025/6/29 9:14:05

AD16如何执行DRC检测

AD16如何执行DRC检测 DRC检测主要用来查看走线是否出现通断&#xff0c;以及是否出现短路。 1)、点击“Tools”---“Design Rule Check…” 2)、全部勾选 3)、勾选“Electrical”中的“Batch”选项&#xff0c;参与DRC检测 4)、勾选“Routing”中的“Batch”选项&#xff0c;…...

编程日记 2025/6/29 10:17:54

PostgreSQL性能优化实用技巧‌

PostgreSQL的性能优化需从‌索引设计、查询调优、参数配置、硬件资源‌等多维度入手。以下为实战中验证有效的优化策略&#xff0c;适用于高并发、大数据量等场 一、索引优化&#xff1a;精准加速查询‌ ‌1.选择正确的索引类型‌ ‌BRIN索引‌&#xff1a;对按时间或数值顺…...

编程日记 2025/6/29 11:40:29

Vue3 ref与props

ref 属性 与 props 一、核心概念对比 特性ref (标签属性)props作用对象DOM 元素/组件实例组件间数据传递数据流向父组件访问子组件/DOM父组件 → 子组件响应性直接操作对象单向数据流&#xff08;只读&#xff09;使用场景获取 DOM/调用子组件方法组件参数传递Vue3 变化不再自…...

编程日记 2025/6/29 11:39:22

SpringBoot | 构建客户树及其关联关系的设计思路和实践Demo

关注&#xff1a;CodingTechWork 引言 在企业级应用中&#xff0c;客户关系管理&#xff08;CRM&#xff09;是核心功能之一。客户树是一种用于表示客户之间层级关系的结构&#xff0c;例如企业客户与子公司、经销商与下级经销商等。本文将详细介绍如何设计客户树及其关联关系…...

编程日记 2025/6/29 12:01:24

SpringCloud——负载均衡

一.负载均衡 1.问题提出 上一篇文章写了服务注册和服务发现的相关内容。这里再提出一个新问题&#xff0c;如果我给一个服务开了多个端口&#xff0c;这几个端口都可以访问服务。 例如&#xff0c;在上一篇文章的基础上&#xff0c;我又新开了9091和9092端口&#xff0c;现在…...

编程日记 2025/6/29 10:20:34

Springboot3+ JDK21 升级踩坑指南

目录 GetMapping和 RequestBody 一起使用时&#xff0c;会把请求方式由GET变为POST 变更默认的httpClient feign 超时配置失效 GetMapping和 RequestBody 一起使用时&#xff0c;会把请求方式由GET变为POST 变更默认的httpClient 添加依赖 <dependency><groupId&g…...

编程日记 2025/6/29 11:45:54

Qt UDP组播实现与调试指南

在Qt中使用UDP组播（Multicast）可以实现高效的一对多网络通信。以下是关键步骤和示例代码： 一、UDP组播核心机制 组播地址：使用D类地址（224.0.0.0 - 239.255.255.255）TTL设置：控制数据包传播范围（默认1，同一网段）网络接口：指定发送/接收的物理接口二、发送端实现 /…...

编程日记 2025/6/29 10:18:14

idea连接远程服务器kafka

一、idea插件安装 首先idea插件市场搜索“kafka”进行插件安装 二、kafka链接配置 1、检查服务器kafka配置 配置链接前需要保证远程服务器的kafka配置里边有配置好服务器IP&#xff0c;以及开放好kafka端口9092&#xff08;如果有修改 过端口的开放对应端口就好&#xff09; …...

编程日记 2025/6/29 11:40:10

第十节：性能优化高频题-虚拟DOM与Diff算法优化

优化策略&#xff1a;同层比较、静态节点标记、最长递增子序列算法 Key的作用&#xff1a;精确识别节点身份 虚拟DOM与Diff算法深度优化策略解析 一、核心优化策略 同层比较机制 Diff算法仅对比同一层级的虚拟节点&#xff0c;避免跨层级遍历带来的性能损耗。 • 实现原理&am…...

编程日记 2025/6/29 10:30:28

vmware workstation的下载地址页面

Fusion and Workstation | VMware...

编程日记 2025/6/29 10:25:24

kubernetes》》k8s》》Dashboard

安装Dashboard 因为我的Kubernetes 版本是 v1.28.2 对应的 Dashboard V2.7.0 wget -O https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml # 因为默认是集群内访问的&#xff0c;需要追加 NodePort访问类型 vim recommended.yaml …...

编程日记 2025/6/29 9:53:48

软考：数值转换知识点详解

文章目录 1. 进制转换1.1 二进制&#xff08;Binary&#xff09;、八进制&#xff08;Octal&#xff09;、十进制&#xff08;Decimal&#xff09;、十六进制&#xff08;Hexadecimal&#xff09;之间的转换1.2 手动转换和计算方法1.3 使用编程语言进行进制转换 2. 数据类型转换…...

编程日记 2025/6/29 10:44:24

第15章：MCP服务端项目开发实战：性能优化

第15章：MCP服务端项目开发实战：性能优化 在构建和部署 MCP（Memory, Context, Planning）驱动的 AI Agent 系统时，性能和可扩展性是关键的考量因素。随着用户量、数据量和交互复杂度的增加，系统需要能够高效地处理请求，并能够平滑地扩展以应对更高的负载。本章将探讨 MCP…...

编程日记 2025/6/29 10:43:30

Windows申请苹果开发者测试证书Uniapp使用

注意事项 苹果设备，最好是iPhone XS以上，要不然下载不了Apple DeveloperopenSSL 要是V1版本的来生成证书，要不然HBuilder报错按步骤来，生成证书，生成标识符，添加测试设备，生成描述性文件注册苹果开发者账号 (如果有苹果账号直接登录) 苹果开发者官网 开通付费 点击右上…...

编程日记 2025/6/29 10:21:07

服务器数据恢复—NAS存储中raid5上层lv分区数据恢复案例

NAS数据恢复环境&#xff1a; QNAP TS-532X NAS设备中有两块1T的SSD固态硬盘和3块5T的机械硬盘。三块机械硬盘组建了一组RAID5阵列&#xff0c;两块固态硬盘组建RAID1阵列。划分了一个存储池&#xff0c;并通过精简LVM划分了7个lv。 NAS故障&#xff1a; 硬盘故障导致无法正常…...

编程日记 2025/6/29 9:16:39

uniapp跨平台开发---switchTab:fail page `/undefined` is not found

问题描述 在项目中新增了一个底部tab导航栏,点击底部tabBar,跳转失败,控制台打印错误信息switchTab:fail page /undefined is not found 排查思路 错误信息提示,switchTab跳转的页面路径变成了/undefined,排查新增的pages.json文件,发现pages,以及tabBar中的list均已经加入该导…...

编程日记 2025/6/29 11:12:09

详细讲解 QMutex 线程锁和 QMutexLocker 自动锁的区别

详细讲解 QMutex 线程锁和 QMutexLocker 自动锁的区别 下面我们详细拆解 Qt 中用于线程同步的两个核心类&#xff1a;QMutex 和 QMutexLocker。 &#x1f9f1; 一、什么是 QMutex&#xff1f; QMutex 是 Qt 中的互斥锁&#xff08;mutex&#xff09;类&#xff0c;用于防止多个…...

编程日记 2025/6/29 9:52:37

如何获取静态IP地址？完整教程

静态IP地址&#xff0c;因其固定不变的特性&#xff0c;在远程访问、服务器搭建、电商多开、游戏搬砖等场景中显得尤为重要。以下是获取静态IP地址的完整教程&#xff0c;涵盖家庭网络、企业网络和公网静态IP的配置方法&#xff1a; 一、什么是静态IP&#xff1f; 内网IP&…...

编程日记 2025/6/29 11:25:47

JavaScript 里创建对象

咱们来用有趣的方式探索一下 JavaScript 里创建对象的各种“魔法咒语”&#xff01; 想象一下&#xff0c;你是一位魔法工匠&#xff0c;想要在你的代码世界里创造各种奇妙的“魔法物品”&#xff08;也就是对象&#xff09;。你有好几种不同的配方和工具&#xff1a; 1. 随手…...

编程日记 2025/6/29 11:24:26

【华为HCIP | 华为数通工程师】821—多选解析—第十五页

多选794、以下关于高可用性网络特点的描述，正确的是哪些项? A、不会出现故障 B、不能频出现故障 C、一旦出现故障只通过人工干预恢复业务 D出现故障后能很快恢复 解析：高可用性网络拥有良好的可靠性，不间断转发NSF…...

编程日记 2025/6/29 11:42:08

Kaamel视角下的MCP安全最佳实践

在以AI为核心驱动的现代产品体系中&#xff0c;大模型逐渐从实验室走向生产环境&#xff0c;如何确保其在推理阶段的信息安全和隐私保护&#xff0c;成为各方关注的重点。Model Context Protocol&#xff08;MCP&#xff09; 作为一个围绕模型调用上下文进行结构化描述的协议&a…...

编程日记 2025/6/29 9:14:23

Kafka 命令行操作与 Spark-Streaming 核心编程总结

一、Kafka 命令行操作详解 1.创建 Topic 命令格式&#xff1a; kafka-topics.sh --create --zookeeper <zk节点列表> --topic <主题名> --partitions <分区数> --replication-factor <副本数> 参数说明&#xff1a; 分区数&#xff08;partitions…...

编程日记 2025/6/29 12:30:58

【华为OD机试真题】428、连续字母长度 | 机试真题+思路参考+代码解析（E卷）（C++）

文章目录 一、题目题目描述输入输出样例1样例2 一、代码与思路&#x1f9e0;C语言思路✅C代码 一、题目 参考&#xff1a;https://sars2025.blog.csdn.net/article/details/139492358 题目描述 ◎ 给定一个字符串&#xff0c;只包含大写字母&#xff0c;求在包含同一字母的子串…...

编程日记 2025/6/29 11:32:54

nodejs获取请求体的中间件 body-parse

虽然 Express 4.16.0 之后已经内置了处理请求体的功能&#xff08;express.json() 和 express.urlencoded()&#xff09;&#xff0c;但你也可以单独使用老牌中间件 body-parser&#xff0c;它仍然很常用&#xff0c;尤其在某些旧项目中。 &#x1f4e6; 一、安装 body-parser …...

编程日记 2025/6/28 16:35:26

5.学习笔记-SpringMVC(P61-P70)

SpringMVC-SSM整合-接口测试 (1)业务层接口使用junit接口做测试 (2)表现层用postman做接口测试 (3)事务处理— 1&#xff09;在SpringConfig.java&#xff0c;开启注解&#xff0c;是事务驱动 2&#xff09;配置事务管理器&#xff08;因为事务管理器是要配置数据源对象&…...

编程日记 2025/6/29 12:16:37

腾讯云服务器安全——服务防火墙端口放行

点击服务进入安全策略 添加规则...

编程日记 2025/6/29 10:39:24