当前位置：首页 > news >正文

使用guzzlehttp异步多进程实现爬虫业务

news 来源：原创 2025/7/13 4:17:22

背景

小哥近来在通过动态代理池爬取一些公司需要的大文件pdf规格书的处理。遇到的难点，如何保证服务器CPU、连接数等正常情况下，多进程、异步快速处理这些业务并且保证准确。下面小哥就给看官唠嗑一下，我使用guzzlehttps如何处理的这一业务需求的。

guzzlehttp

梳理逻辑

多进程处理

保证并发处理，提高处理效率
异步处理

有些数据可能响应很快，有些很慢，不能因为一个进程阻塞其它业务正常执行影响爬取效率。

详细代码

 /*** 使用guzzleHttp多进程异步远程下载文件* @param array $urlMap 多个远程爬取链接* @param string $localPath 本地保存路径*/public function downloadByGuzzlePoolAsync(array $urlMap,$localPath)
{//代理$proxy = 'http://http-dynamic-S04.xzzdaili.com:10030';$proxyUser = '1169461750313049664';$proxyPassword = 'lG9sMtTp';$proxyAuth = base64_encode($proxyUser . ":" . $proxyPassword);
$header = ['User-Agent'    => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36','Referer'       => 'https://exmaple.com','Proxy-Authorization'  => "Basic " . $proxyAuth,'Content-Type'  => 'application/pdf','content-encoding' => 'gzip, deflate, br, zstd','Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',];
$client = new Client();
$requests = function ($urlMap) use ($client,$localPath,$proxy,$header) {foreach ($urlMap as $url){yield $client->getAsync($url,['headers'   => $header,'proxy'     => $proxy,'verify' => false,'stream' => true,'sink' => $localPath])->then(function($resp) {echo "远程规格书获取成功，resp=" . jsonD($resp->getBody()) . PHP_EOL;},function($reason){echo '远程规格书获取失败 ：'.$reason. PHP_EOL;});}};
$pool = new \GuzzleHttp\Pool($client, $requests($urlMap), ['concurrency' => 5,//进程数'options' => ['timeout' => 10, // 设置超时s],'fulfilled' => function (Response $response, $index) use($localPath){//TODO 处理接口成功结果逻辑
// 创建请求$zacStream = fopen($localPath, 'wb');//流速写入文件：while (!$response->getBody()->eof()) {fwrite($zacStream, $response->getBody()->read(1024 * 1024)); // 读取1MB的数据}fclose($zacStream);echo 'GuzzleHttp进程池响应成功，index=' . $index . ' response=' . $response->getReasonPhrase() . PHP_EOL;
},'rejected' => function (RequestException $reason, $index) {//TODO 处理接口失败结果逻辑
echo 'index=' . $index . ' ,error=' .$reason->getMessage() . PHP_EOL;},]);
$promise = $pool->promise();
// 捕获请求异常$promise->then(function () {echo "所有请求都已成功完成" .PHP_EOL;},function (RequestException $e) {echo "发生了异常: " . $e->getMessage() . PHP_EOL;});
// 等待所有请求完成$promise->wait();

//        // 访问每个请求的响应
//        foreach ($pool->getRequests() as $request) {
//            echo $request->getUri() . "\n";
//        }
}
}

以上是小哥本人文章的全部内容，希望总结会帮助到各位看官。最后，小哥温馨提示：每天阅读3分钟，天天学习一点点，天天进步一点点。

使用guzzlehttp异步多进程实现爬虫业务

Python和PHP核心技术共享平台背景小哥近来在通过动态代理池爬取一些公司需要的大文件pdf规格书的处理。遇到的难点，如何保证服务器CPU、连接数等正常情况下，多进程、异步快速处理这些业务并且保证准确。下面小哥就给看官唠嗑一下，我使用gu…...

编程日记 2025/7/13 4:17:22

一共有4个类,第一个WebSocketConfig 配置类 Configuration EnableWebSocket public class WebSocketConfig implements WebSocketConfigurer {Autowiredprivate WebSocketHandler webSocketHandler;Autowiredprivate WebSocketInterceptor webSocketInterceptor;Overridepubli…...

编程日记 2025/7/13 4:04:30

无线感知会议系列【16】QGesture-1

摘要： 这是2018年发表的一篇 paper 《 Quantifying Gesture Distance and Direction with WiFi Signals》下一篇重要分享 Decimeter-level localization with a single WiFi access point，主要创新点是如何对CFO SFO PBD 噪声进行去噪。许多人机交互&…...

编程日记 2025/7/6 6:22:21

如何用通义灵码快速绘制流程图？

使用通义灵码快速绘制流程图？新功能体验不想读前人“骨灰级”代码，不想当“牛马”程序员，想像看图片一样快速读复杂代码和架构？ 通义灵码已经支持代码逻辑可视化，可以把你的每段代码画成流程图。像个脑图工具一样帮你…...

编程日记 2025/7/12 21:29:25

如何搭建一个小程序：从零开始的详细指南

在当今数字化时代，小程序以其轻便、无需下载安装即可使用的特点，成为了连接用户与服务的重要桥梁。无论是零售、餐饮、教育还是娱乐行业，小程序都展现了巨大的潜力。如果你正考虑搭建一个小程序，本文将为你提供一个从零开始的详细…...

编程日记 2025/7/13 4:09:29

wp the_posts_pagination 与分类页面搭配使用

<ul> <?php while( have_posts() ) : the_post(); <li > <a href"<?php the_permalink(); ?>"> <?php xizhitbu_get_thumbnail(thumb-pro); ?> </a> <p > <a href&q…...

编程日记 2025/7/12 16:12:20

文件包含漏洞

本质本质和SQL注入相同，都是输入一段用户可以控制的脚本或代码，让服务器执行包含就比如把函数写在一个文件里，调用函数时直接用文件文件包含漏洞就是攻击者修改了文件的位置，让后台执行任意文件函数 （PHP&…...

编程日记 2025/7/8 4:26:23

docker快速安装zookeeper

一、拉取镜像 docker pull zookeeper:3.9.3 二、启动zookeeper docker run --restartalways -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime zookeeper:3.9.3 如果需要挂载zookeeper文件及目录，则参数增加： -v /mydata/zookeeper/d…...

编程日记 2025/7/13 3:59:41

如何解决 java.security.acl.NotOwnerException: 在 ACL 中尝试执行非所有者的操作问题？亲测有效的解决方法！

在 Java 中，java.security.acl.NotOwnerException 异常通常出现在访问控制列表（ACL）操作中。当你尝试在一个不属于拥有者的实体上执行特定的操作时，Java 安全管理器会抛出此异常。简单来说，它指的是你正在尝试执行一个…...

编程日记 2025/7/9 6:52:51

【电力行业标准】《电力信息化软件工程度量规范》（DL/T 2015-2019）-费用标准解读系列20

《电力信息化软件工程度量规范》（DL/T 2015-2019）是国家能源局2019年6月4日发布，2019年10月1日实施的电力行业标准（了解更多可直接关注我们咨询），规定了电力行业信息化软件工程度量原则与内容、成本构成及各…...

编程日记 2025/7/7 12:57:28

python除了熟悉的pandas，openpyxl库也很方便的支持编辑Excel表

excel表格是大家经常用到的文件格式，各行各业都会跟它打交道。之前文章我们介绍了使用openpyxl和xlrd库读取excel表数据，使用xlwt库创建和编辑excel表，在办公自动化方面可以方便我们快速处理数据，帮助我们提升效率。 python之open…...

编程日记 2025/7/12 20:56:29

JavaEE---计算机是如何工作的?

1.了解冯诺依曼体系结构 2.CPU的核心概念,CPU的两个重要指标(核心数和频率) 3.CPU执行指令的流程(指令表,一条一条指令,取指令,解析指令,执行指令) 4.操作系统核心概念(管理硬件,给软件提供稳定的运行环境) 5.进程的概念(运行起来的程序和可执行文件的区别) 6.进程的管理(…...

编程日记 2025/7/13 4:15:43

数据结构(Java版)第五期：ArrayList与顺序表(下)

目录一、用数组实现顺序表一、用数组实现顺序表我们提到过，顺序表是基于数组的封装，这次我们以int为例，用数组去实现一个顺序表。 public class MyArrayList {private int[] arr;public MyArrayList(int capacity){//指定初始容量arr n…...

编程日记 2025/7/9 1:36:57

Docker和Docker Compose部署方式的区别以及各自适用的场景（ChatGPT-4o回答）

prompt: 请详细介绍和解释一下docker和docker compose部署两者之间的区别和使用场景 Docker和Docker Compose是用于容器化应用程序的两个重要工具，它们在功能和使用场景上有一些关键区别。 Docker Docker是一个开源平台，用于开发、运输和运行应用程序。…...

编程日记 2025/7/6 23:15:02

JavaSE---异常

1.异常的体系结构 Thorwable是异常类顶层类，派生出了Error和Exception Error：指的是JVM层面无法解决的问题，如JVM内部错误，资源耗尽等..一旦发生很难解决。 Exception：异常发生后可以通过代码处理，使程序继…...

编程日记 2025/7/13 1:25:40

大模型的认知记录：一次与4o讨论道德经的对话 - “我无法触碰“真实的花草树木”（无名），但通过语言（有名），我可以靠近人类的认知方式。”

因为其它人都去放假了，我比较悠闲，于是想再强化下认知和正念方面的东西。对于世界的感知，只要不强迫训练，很容易被现实世界给侵蚀了。记得去年有幸悟到点什么，感受点什么，但慢慢那种感受变得虚无起来了&…...

编程日记 2025/7/10 20:01:59

std::srand(static_cast＜unsigned int＞(std::time(0)))；每一部分都是啥意思

std::srand(static_cast<unsigned int>(std::time(0))); 这行代码在C中用于初始化随机数生成器的种子。下面我将逐一解释这行代码中的每个部分： ‌std::time(0)‌: std::time 是C标准库中的一个函数，它返回当前时间（自1970年1月1日以来…...

编程日记 2025/7/9 23:19:46

云计算之elastaicsearch logstach kibana面试题

1.ELK是什么？ ELK 其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写 Elasticsearch：负责日志检索和储存 Logstash：负责日志的收集和分析、处理 Kibana：负责日志的可视化这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，…...

编程日记 2025/7/9 11:25:38

汽车免拆诊断案例 | 2017款捷豹F-PACE车发动机偶尔怠速不稳

故障现象　一辆2017款捷豹F-PACE车，搭载2.0 L GTDi发动机，累计行驶里程约为16万km。车主反映，车辆组合仪表上发动机故障灯点亮（图1），且发动机偶尔怠速不稳。图1　发动机故障灯点亮故障诊断接车后试车…...

编程日记 2025/7/9 16:52:16

20241124 Typecho 视频插入插件

博文免不了涉及到视频插入这些,网上的插件都或多或少的比较重,和Typecho的风格不搭配后面就有了DPlay插件精简而来的VideoInsertion插件 VideoInsertion: Typecho 视频插入插件目录结构 rockhinlink-ht2:/var/www/html/typecho/usr/plugins/VideoInsertion$ tree -h [4.…...

编程日记 2025/7/8 18:35:25

【接口调试】OpenAI ChatGPT API

【接口调试】AbortController 发出请求finish_reason 参数细节 – Openai ChatGPT 文档发出请求可以将以下命令粘贴到终端中以运行第一个API请求。请确保用您的秘密API密钥替换$OPENAI_API_KEY。 curl https://api.openai.com/v1/chat/completions \-H "Content-Ty…...

编程日记 2025/7/10 19:21:33

ubuntu安装chrome无法打开问题

如果在ubuntu安装chrome后，点击chrome打开没反应，可以先试着在terminal上用命令打开 google-chrome 如果运行命令显示 Chrome has locked the profile so that it doesnt get corrupted. If you are sure no other processes are using this profile…...

编程日记 2025/7/10 8:28:13

【R安装】VSCODE安装及R语言环境配置

目录 VSCODE下载及安装VSCODE上配置R语言环境参考 Visual Studio Code（简称“VSCode” ）是Microsoft在2015年4月30日Build开发者大会上正式宣布一个运行于 Mac OS X、Windows和 Linux 之上的，针对于编写现代Web和云应用的跨平台源代码编辑器&…...

编程日记 2025/7/12 0:07:31

什么是 Token 和 MD5 ？

目录一：Token和MD5分别是什么 1：Token 2：MD5 二：简易Token的实现 1：Base64。 2：验证Token 三：MD5的使用一：Token和MD5分别是什么 1：Token Token 的中文有人翻译成…...

编程日记 2025/7/10 1:12:14

Kubernetes(k8s)1.30.7简单快速部署对外部开放的有状态服务MYSQL8（快速有效）

如何在Kubernetes集群中快速创建部署一个单节点的有状态（即将数据文件挂载到宿主机，防止重新部署mysql服务，数据文件丢失）的对外开放的MYSQL服务。通过创建一个 Kubernetes Deployment 并使用 PersistentVolumeClaim 将其连接到…...

编程日记 2025/7/11 1:14:16

基于Linux的repmgr搭建

第一部分说明 repmgr是一个开源工具套件，用于管理 PostgreSQL 服务器集群中的复制和故障转移。它通过设置备用服务器、监控复制和执行管理任务（例如故障转移或手动切换操作）的工具增强了 PostgreSQL 的内置热备用功能。 PostgreSQL在9.0后引…...

编程日记 2025/7/7 21:09:06

Diff差异算法

目录虚拟DOM Diff算法 Diff过程示例总结在Vue.js中，虚拟DOM（Virtual DOM）是其核心特性之一，它极大地提高了DOM更新的效率。Vue.js使用虚拟DOM的diff算法来比较新旧虚拟DOM树，从而确定最小的DOM更新操作。这种…...

编程日记 2025/7/8 20:20:57

visionpro官方示例分析（一）模板匹配工具缺陷检测工具

1.需求：找出图像中的这个图形。 2.步骤使用CogPMAlignTool工具，该工具是模板匹配工具，见名知意，所谓模板匹配工具就是说先使用该工具对一张图像建立模板，然后用这个模板在其他图像上进行匹配，匹配上了就说…...

编程日记 2025/7/9 18:40:37

字符串分割转换（Java Python JS C++ C ）

题目描述给定一个非空字符串S，其被N个‘-’分隔成N+1的子串，给定正整数K，要求除第一个子串外，其余的子串每K个字符组成新的子串，并用‘-’分隔。对于新组成的每一个子串，如果它含有的小写字母比大写字母多，则将这个子串的所有大写字母转换为小写字母；反之，如果它…...

编程日记 2025/7/9 21:37:47

第33章 - Go语言云原生开发

第33章 - 云原生开发将深入探讨云原生技术及其在现代软件开发中的应用。我们将从云原生的基本概念开始，逐步介绍Kubernetes的基本使用方法，并结合具体的云服务提供商实例，通过Go语言编写的应用程序来展示如何实现云原生开发。 33.1 云原生的…...

编程日记 2025/7/9 11:32:06

springboot配置多数据源mysql+TDengine保姆级教程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pom文件二、yamlDataSourceConfigServiceMapper.xml测试总结前言 Mybatis-plus管理多数据源，数据库为mysql和TDengine。一、pom文件 <de…...

编程日记 2025/7/8 20:24:28

RocketMQ负载均衡机制解析

消费者在消费消息的时候，需要知道从Broker的哪一个消息队列中去获取消息。 ❝ 所以，在消费者端必须要做负载均衡，即Broker端中多个消费队列分配给同一个消费者组中的哪些消费者消费。在RocketMQ中，在消费者端有一个：R…...

编程日记 2025/7/8 10:38:23

PyTorch 模型转换为 ONNX 格式

PyTorch 模型转换为 ONNX 格式在深度学习领域，模型的可移植性和可解释性是非常重要的。本文将介绍如何使用 PyTorch 训练一个简单的卷积神经网络（CNN）来分类 MNIST 数据集，并将训练好的模型转换为 ONNX 格式。我们还将讨论 PTH …...

编程日记 2025/7/7 4:30:42

大数据-234 离线数仓 - 异构数据源 DataX 将数据从 HDFS 到 MySQL

点一下关注吧！！！非常感谢！！持续更新！！！ Java篇开始了！ 目前开始更新 MyBatis，一起深入浅出！ 目前已经更新到了： Hadoop&#xff0…...

编程日记 2025/7/9 4:31:00

【人工智能】使用Python实现序列到序列（Seq2Seq）模型进行机器翻译

解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界序列到序列（Sequence-to-Sequence, Seq2Seq）模型是解决序列输入到序列输出任务的核心架构，广泛应用于机器翻译、文本摘要和问答系统等自然语言处理任务中。本篇文章深入介绍 Seq2Seq 模型的原理及其核心组件（…...

编程日记 2025/7/8 1:12:59

elasticsearch安装ik分词器

本文主要记录如何安装ik分词器，如果你刚好刷到了这篇文章，希望对你有所帮助。 IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和最大词长两种切分模式&…...

编程日记 2025/7/9 15:10:22

QT6之主站freemodbus1.6移植

本次使用的QT是6.8 下载1.6的freemodbus资源包：至少以上的吧随便下载：官网也可以这个是STM芯片的教程，移植基本一样，略有不同； STM32 移植FreeModbus详细过程-CSDN博客移植freemodbus： 添加资源文件&a…...

编程日记 2025/7/7 15:12:17

【错误❌】——槽函数定义好但未初始化

public slots:void onClose(); 初始化即可成功：...

编程日记 2025/7/3 22:14:27

数据结构（理解）

探索数据结构：计算机世界的基石在计算机科学的领域中，数据结构就如同建筑中的基石，它们支撑着整个软件世界的运行。无论是简单的应用程序，还是复杂的大型系统，数据结构都在其中起着至关重要的作用。一、什么是数据结…...

编程日记 2025/7/8 1:18:07

ROS2 细节知识学习

1. rosidl_generate_interfaces() 在 ROS2 中，rosidl_generate_interfaces是一个关键的构建工具功能。它主要用于从接口定义文件（如.msg消息文件、.srv服务文件和.action动作文件）生成不同编程语言（如 C、Python 等）可…...

编程日记 2025/7/11 14:47:18

SQL进阶——JOIN操作详解

在数据库设计中，数据通常存储在多个表中。为了从这些表中获取相关的信息，我们需要使用JOIN操作。JOIN操作允许我们通过某种关系（如相同的列）将多张表的数据结合起来。它是SQL中非常重要的操作，广泛应用于实际开发中。本…...

编程日记 2025/7/3 17:50:17

Android studio 签名加固后的apk文件

Android studio打包时，可以选择签名类型v1和v2，但是在经过加固后，签名就不在了，或者只有v1签名，这样是不安全的。操作流程： 1、Android studio 对项目进行打包，生成有签名的apk文件&#xff…...

编程日记 2025/7/10 20:24:39

Mybatis-基础操作

Mybatis的基础操作就是通过Mybatis完成对数据的增删改查。我们通过例子来引入这些操作，之前的项目较久远，因此我们从零开始进行准备工作： 搭建项目一、创建数据库user_list并插入数据： -- 创建数据库 create table user_list …...

编程日记 2025/7/12 16:28:23

【工具】JS解析XML并且转为json对象

【工具】JS解析XML并且转为json对象 <?xml version1.0 encodingGB2312?> <root><head><transcode>hhhhhhh</transcode></head><body><param>ccccccc</param><param>aaaaaaa</param><param>qqqq<…...

编程日记 2025/7/9 13:04:04

软件测试技术面试题及参考答案整理

一、什么是兼容性测试?兼容性测试侧重哪些方面? 参考答案： 兼容测试主要是检查软件在不同的硬件平台、软件平台上是否可以正常的运行，即是通常说的软件的可移植性。兼容的类型，如果细分的话，有平台的兼容，网络兼…...

编程日记 2025/7/9 16:19:42

Python学习36天

面向对象编程综合 # 创建父类 class Employee:# 创建私有属性__name None__salary None# 创建构造器初始化属性def __init__(self, __name, __salary):self.__name __nameself.__salary __salarydef get_annual(self):# 返回员工年薪return self.__salary * 12# 创建公共方…...

编程日记 2025/7/7 21:52:19

C语言——海龟作图（对之前所有内容复习）

一.问题描述海龟作图设想有一只机械海龟，他在C程序控制下在屋里四处爬行。海龟拿了一只笔，这支笔或者朝上，或者朝下。当笔朝下时，海龟用笔画下自己的移动轨迹；当笔朝上时，海龟在移动过程中什么也不画。 …...

编程日记 2025/7/12 8:20:12

关于如何在k8s中搭建一个nsfw黄图鉴定模型

随着现在应用内图片越来越多，安全审查也是必不可少的一个操作了下面手把手教你如何将huggingface中的黄图检测模型部署到自己的服务器上去 1.找到对应的模型 nsfw_image_detection 2.在本地先验证如何使用首先安装transformers python库 pip install transform…...

编程日记 2025/7/12 8:06:42

istio结合wasm插件的实际应用

在 Istio 中，WASM 插件的常见使用场景和功能包括以下几个方面： 1. 流量管理与请求修改请求与响应头处理：动态添加、删除或修改 HTTP 请求或响应头。URL 重写：根据特定规则调整请求的路径或参数。请求路由增强：实现复…...

编程日记 2025/7/9 0:05:27

日志logrus

https://blog.csdn.net/m0_70982551/article/details/143095729 https://blog.csdn.net/wslyk606/article/details/81670713 https://www.bilibili.com/opus/1002468521099132928 地鼠文档：https://www.topgoer.cn/docs/goday/goday-1crg2adjknouc 极客文档&#xf…...

编程日记 2025/7/11 4:05:56

相关文章：