当前位置：首页 > news >正文

100天精通Python（爬虫篇）——第115天：爬虫在线小工具_Curl转python爬虫代码工具（快速构建初始爬虫代码）

news 来源：原创 2025/8/27 3:44:39

文章目录

一、curl是什么？
二、爬虫在线小工具（牛逼puls）
三、实战操作

一、curl是什么？

基本概念：curl 支持多种协议，如 HTTP、HTTPS、FTP、SFTP 等，可用于从服务器获取数据或向服务器发送数据，在网络请求和数据传输方面功能强大，在 Linux、Unix、Windows 等多种操作系统上均可使用。

常见用途：

数据获取：用户可使用 curl 发送 HTTP 请求获取网页内容、API 数据等。如在命令行输入curl https://www.example.com，就能获取该网站的 HTML 代码。
数据提交：能用于向服务器提交数据，比如通过 POST 请求提交表单数据到服务器。示例命令curl -X POST -d "name=John&age=30" https://api.example.com/users，就可将用户信息提交到指定的 API 接口。
文件传输：借助 FTP 或 SFTP 协议，curl 可以实现文件的上传和下载。例如curl -T localfile.txt ftp://user:password@ftp.example.com/remote_file.txt可将本地文件上传到 FTP 服务器。

特点优势：

命令行操作便捷：通过简单的命令和参数组合，就能完成复杂的网络请求操作，方便快捷，适合脚本编写和自动化任务。
支持多种选项：能设置请求头、认证信息、超时时间等各种选项，满足不同的网络请求需求。如-H参数可用于设置自定义请求头，-u参数用于设置用户名和密码进行认证。
开源且广泛支持：curl 是开源软件，拥有庞大的社区支持，不断更新和完善，兼容性和稳定性良好。

二、爬虫在线小工具（牛逼puls）

在线curl命令转代码工具地址：https://curlconverter.com/

支持多种语言，这里我们选择Python：

在这里插入图片描述

为什么我说明它牛逼puls？

比如：我们要爬一个需要登录的网站，需要设置headers参数，如：user-agent、cookies等等，设置post请求参数，每次都需要去浏览器挨个复制是不是很麻烦？

有了它只需要一次复制粘贴就可以自动生成对应的等等各种参数，并发送请求，极大的减少初始代码的构建！！！

三、实战操作

1、这里我们找了一个测试网站（可以自行找一个），需要登录注册：https://www.qimai.cn/rank/index/brand/all/device/iphone/country/cn/genre/36

2、点击网络》点击刷新》找到数据接口》右键点击复制》选择：cURL（bash）格式复制

在这里插入图片描述

3、 将刚才复制的内容放进在线curl命令转代码工具的输入框中，可以看到帮我们自动生成了cookies和headers：https://curlconverter.com/

在这里插入图片描述

4、拷贝代码到pycharm，在此基础上加上打印和解析即可，我这个是数据接口，所以直接转换为json格式即可：

在这里插入图片描述

5、输出打印，成功返回数据，耗时1分钟完成爬虫代码：

在这里插入图片描述

100天精通Python（爬虫篇）——第115天：爬虫在线小工具_Curl转python爬虫代码工具（快速构建初始爬虫代码）

文章目录一、curl是什么？二、爬虫在线小工具（牛逼puls）三、实战操作一、curl是什么？ 基本概念：curl 支持多种协议，如 HTTP、HTTPS、FTP、SFTP 等，可用于从服务器获取数据或向服务器发送数据&a…...

编程日记 2025/8/27 3:44:39

点云软件VeloView开发环境搭建与编译

官方编译说明 LidarView / LidarView-Superbuild GitLab 我的编译过程： 安装vs2019，windows sdk，qt5.14.2（没安装到5.15.7），git，cmake3.31，python3.7.9，ninja下载放到…...

编程日记 2025/8/27 3:44:08

PHP配置虚拟主机

虚拟主机: 不是真实存在的主机, 因为一台电脑理论上讲只能作为一个网站: 事实上,一个网站是一个文件夹. 在本地开发中，通过虚拟主机配置可以实现多域名独立访问不同项目目录（如 www.project1.test 和 www.project2.test），以 ”XAM…...

编程日记 2025/8/24 5:52:27

笔记四：C语言中的文件和文件操作

Faye：只要有正确的伴奏，什么都能变成好旋律。 ---------《寻找天堂》目录一、文件介绍 1.1程序文件 1.2 数据文件 1.3 文件名二、文件的打开和关闭 2.1 文件指针 2.2.文件的打开和关闭 2.3 文件读取结束的判定三、文件的顺序读写 3.1 顺序读写…...

编程日记 2025/8/24 11:10:47

PyTorch中的线性变换：nn.Parameter VS nn.Linear

self.weight nn.Parameter(torch.randn(in_channels, out_channels)) 和 self.linear nn.Linear(in_channels, out_channels) 并不完全一致，尽管它们都可以用于实现线性变换（即全连接层），但它们的使用方式和内部实现有所不同。 …...

编程日记 2025/8/26 10:25:35

计算机网络（1）网络通信基础，协议介绍，通信框架

网络结构模式 C/S-----客户端和服务器 B/S -----浏览器服务器 MAC地址每一个网卡都拥有独一无二的48位串行号，也即MAC地址，也叫做物理地址、硬件地址或者是局域网地址 MAC地址表示为12个16进制数如00-16-EA-AE-3C-40 （每一个数可以用四个…...

编程日记 2025/8/24 9:09:54

PHP之常量

在你有别的编程语言的基础下，你想学习PHP，可能要了解的一些关于常量的信息。 PHP中的常量不用指定数据类型，可以使用两次方法定义。使用const //定义常量 const B 2; echo B . PHP_EOL;使用define define("A", 1); echo A . P…...

编程日记 2025/8/25 4:33:31

苦瓜书盘官网，免费pdf/mobi电子书下载网站

苦瓜书盘（kgbook）是一个专注于提供6英寸PDF和MOBI格式电子书的免费下载平台，专为电子阅读器用户设计。该平台为用户提供了丰富的电子书资源，涵盖文学、历史、科学、技术等多个领域，旨在打造一个全面的电子书资源库。用…...

编程日记 2025/8/26 0:27:25

通过 Docker openssl 容器生成生成Nginx证书文件

使用 alpine/openssl 镜像生成证书 1. 拉取容器 [rootlocalhost ~]# docker run --rm alpine/openssl version OpenSSL 3.3.3 11 Feb 2025 (Library: OpenSSL 3.3.3 11 Feb 2025)2. 运行 alpine/openssl 生成证书（Nginx） # 生成1个.key私钥文件&#…...

编程日记 2025/8/26 19:06:50

第四十一：Axios 模型的 get ，post请求

Axios　的　get 请求方式 9.双向数据绑定 v-model - 邓瑞编程 Axios　的　post 请求方式：...

编程日记 2025/8/27 3:32:44

从零开始用react + tailwindcss + express + mongodb实现一个聊天程序(十) 收发消息

1.聊天框首先我们完善前端的消息输入框 components下面新建MessageInput组件 import { useState,useRef } from "react" import {X,Image,Send} from "lucide-react"import { useChatStore } from "../store/useChatStore" import toast from…...

编程日记 2025/8/22 13:43:31

Spring Boot面试问答

1. Spring Boot 基础知识问题 1：什么是Spring Boot？它与Spring框架有何不同？回答： Spring Boot是基于Spring框架的一个开源框架，旨在简化新Spring应用的初始化和开发过程。与传统的Spring框架相比，Spring Boot提供了以下优势：自动配置：根据项目依赖自动配置Spring…...

编程日记 2025/8/23 21:27:24

win11编译llama_cpp_python cuda128 RTX30/40/50版本

Geforce 50xx系显卡最低支持cuda128，llama_cpp_python官方源只有cpu版本，没有cuda版本，所以自己基于0.3.5版本源码编译一个RTX 30xx/40xx/50xx版本。 1. 前置条件 1. 访问https://developer.download.nvidia.cn/compute/cuda/12.8.0/local_…...

编程日记 2025/8/20 16:25:26

2025-03-07 学习记录--C/C++-C语言截取字符串的三种方法

C语言截取字符串 ⭐️ 方法 1：使用 strncpy 函数 🍭 strncpy 是C标准库中的一个函数，用于从源字符串中复制指定长度的字符到目标字符串中。【详情请查看我的另一篇文章】示例代码：🌰 #include <stdio.h> #in…...

编程日记 2025/8/24 15:21:36

doris: Oracle

Apache Doris JDBC Catalog 支持通过标准 JDBC 接口连接 Oracle 数据库。本文档介绍如何配置 Oracle 数据库连接。使用须知要连接到 Oracle 数据库，您需要 Oracle 19c, 18c, 12c, 11g 或 10g。 Oracle 数据库的 JDBC 驱动程序，您可以从 Maven 仓库…...

编程日记 2025/8/21 4:56:57

【神经网络】python实现神经网络（一）——数据集获取

一.概述在文章【机器学习】一个例子带你了解神经网络是什么中，我们大致了解神经网络的正向信息传导、反向传导以及学习过程的大致流程，现在我们正式开始进行代码的实现，首先我们来实现第一步的运算过程模拟讲解：正向传导。本次代…...

编程日记 2025/8/26 3:07:45

自学嵌入式第27天------TCP和UDP，URL爬虫

1. TCP和UDP区别 **TCP（传输控制协议）和UDP（用户数据报协议）**是两种主要的传输层协议，它们在数据传输方式上有显著区别： 连接性： TCP是面向连接的协议，通信前需通过三次握手建立连…...

编程日记 2025/8/27 3:44:06

【虚拟化】Docker Desktop 架构简介

在阅读前您需要了解 docker 架构：Docker architecture WSL 技术：什么是 WSL 2 1.Hyper-V backend 我们知道，Docker Desktop 最开始的架构的后端是采用的 Hyper-V。 Docker daemon (dockerd) 运行在一个 Linux distro (LinuxKit build) 中&…...

编程日记 2025/8/20 4:53:14

C#程序加密与解密Demo程序示例

目录一、加密程序功能介绍 1、加密用途 2、功能 3、程序说明 4、加密过程 5、授权的注册文件保存方式二、加密程序使用步骤 1、步骤一编辑2、步骤二 3、步骤三 4、步骤四三、核心代码说明 1、获取电脑CPU 信息 2、获取硬盘卷标号 3、机器码生成 3、生成…...

编程日记 2025/8/19 19:08:49

200W数据需要去重，如何优化？

优化去重逻辑的时间取决于多个因素，包括数据量、数据结构、硬件性能（CPU、内存）、去重算法的实现方式等。以下是对优化去重逻辑的详细分析和预期优化效果： 1. 去重逻辑的性能瓶颈时间复杂度：使用HashSet去重的时间复…...

编程日记 2025/8/24 20:08:26

理解 UDP 协议与实战：Android 使用 UDP 发送和接收消息

一、UDP 协议概述 UDP（User Datagram Protocol，用户数据报协议）是一个无连接的网络通信协议。与 TCP 不同，UDP 不建立连接，不保证数据的顺序和完整性。它的特点是简单、高效，适用于实时性要求较高、对数据…...

编程日记 2025/8/21 4:17:19

7V 至 30V 的超宽 VIN 输入范围，转换效率高达 96%的WD5030

WD5030 具备 7V 至 30V 的超宽 VIN 输入范围，这一特性使其能够适应多种不同电压等级的供电环境，无论是在工业设备中常见的较高电压输入，还是在一些便携式设备经过初步升压后的电压，WD5030 都能轻松应对，极大地拓展了应…...

编程日记 2025/8/21 20:56:57

基于 LeNet 网络的 MNIST 数据集图像分类

1.LeNet的原始实验数据集MNIST 名称：MNIST手写数字数据集数据类型：灰度图 （一通道） 图像大小：28*28 类别数：10类（数字0-9） 1.通过torchvision.datasets.MNIST下载并保存到本地…...

编程日记 2025/8/26 20:24:17

智能体开发：推理-行动（ReAct）思维链提示

人类在处理一个需要多个步骤才能完成任务时，显著特点是能够将言语推理（内心独白）和实际行动融合在一起，在面对陌生或不确定的情况时通过这种方法学习新知识，做出决策，并执行，从而应对复杂的任务…...

编程日记 2025/8/26 20:45:03

Android Native 之文件系统挂载

一、文件系统挂载流程概述二、文件系统挂载流程细节 1、Init启动阶段众所周知，init进程为android系统的第一个进程，也是native世界的开端，要想让整个android世界能够稳定的运行，文件系统的创建和初始化是必不可少的&#xff…...

编程日记 2025/8/27 3:44:06

DirectX12（D3D12）基础教程四入门指南

本章主要讲了些D3D12概念和理论，对第一、二章相关概念的补充和纠正，要的理解D3D12概念和理论基础，结合代码加深理解。命令队列和命令列表为了实现渲染工作的重用和多线程缩放， 在 D3D12 中，做了三个重要方面不同于 …...

编程日记 2025/8/21 5:43:48

android13打基础: timepicker控件

public class Ch4_TimePickerActivity extends AppCompatActivity implements TimePickerDialog.OnTimeSetListener {private TextView tv_time; // 声明一个文本视图对象private TimePicker tp_time; // 声明一个时间选择器对象Overrideprotected void onCreate(Nullable Bund…...

编程日记 2025/8/23 14:24:58

国产化板卡设计原理图：2330-基于FMC接口的JFM7K325T PCIeX4 3U PXIe接口卡

基于FMC接口的JFM7K325T PCIeX4 3U PXIe接口卡一、板卡概述本板卡基于 FPGAJFM7K325T 芯片，pin_to_pin兼容FPGAXC7K410T-2FFG900 ，支持PCIeX8、64bit DDR3容量2GByte，HPC的FMC连接器，板卡支持PXIE标准协议，其中XJ3…...

编程日记 2025/8/20 13:19:12

Oracle SQL优化①——查看SQL执行计划的几种方法

前言在日常的运维工作中，SQL优化是DBA的进阶技能，SQL优化的前提是要看SQL的执行计划是否正确，下面分享几种查看执行计划的方法，每一种方法都各有各的好处，可以根据特定场景选择某种方法。一.使用AUTOTRACE查看执行…...

编程日记 2025/8/23 6:46:21

MySQL主从架构配合ShardingJdbc实现读写分离

文章目录目录架构搭建读写分离pom.xmlfdy-live-user-provider 模块application.ymlfdy-db-sharding.yamlShardingJdbcDatasourceAutoInitConnectionConfig.java 目录架构搭建基于Docker去创建MySQL的主从架构读写分离 pom.xml <dependency><groupId>mysql…...

编程日记 2025/8/26 7:14:32

MyBatis @Param 注解详解：多参数传递与正确使用方式

Param 注解主要用于 MyBatis 进行参数传递时给 SQL 语句中的参数起别名，通常用于多参数方法，使参数在 XML Mapper 文件或注解 SQL 语句中更清晰易用。 1. 基本用法在 Mapper 接口中使用 Param 来为参数命名，避免 MyBatis 解析时出现参数…...

编程日记 2025/8/26 4:41:44

【JAVA架构师成长之路】【Redis】第14集：Redis缓存穿透原理、规避、解决方案

30分钟自学教程：Redis缓存穿透原理与解决方案目标理解缓存穿透的成因及危害。掌握布隆过滤器、空值缓存等核心防御技术。能够通过代码实现请求拦截与缓存保护。学会限流降级、异步加载等应急方案。教程内容 0~2分钟：缓存穿透的定义与核心原因定义…...

编程日记 2025/8/22 18:32:44

mybatis报错org/apache/commons/lang3/tuple/Pair] with root cause

mybatis一对多查询配置resultMap映射报错org/apache/commons/lang3/tuple/Pair] with root cause 原因是mybatis依赖common-lang3这个包, 只需要添加common-lang3的依赖坐标即可: <dependency><groupId>org.apache.commons</groupId><artifactId>comm…...

编程日记 2025/8/20 7:22:18

supervisord管理Gunicorn进程，使用Nginx作为反向代理运行flask web项目

1. 安装 Gunicorn 在项目虚拟环境中安装 Gunicorn：2. 基本用法配置文件创建一个 Gunicorn 配置文件（如 gunicorn_config.py），方便管理复杂配置。示例 gunicorn_config.py： bind "0.0.0.0:8000" #…...

编程日记 2025/8/26 14:24:26

STM32之软件SPI

SPI传输更快，最大可达80MHz，而I2C最大只有3.4MHz。输入输出是分开的，可以同时输出输入。是同步全双工。仅支持一主多从。SS是从机选择线。每个从机一根。SPI无应答机制的设计。注意：所有设备需要共地，时钟线主机输出&…...

编程日记 2025/8/23 16:20:20

fastjson漏洞

fastjson漏洞 fastjson工作原理攻击原理补充例子 fastjson工作原理 fastjson的作用是将JAVA对象转换成对应的json表示形式，也可以反过来将json转化为对应的Java对象。fastjson使用AutoType功能进行反序列化，AutoType使用type标记字符的原始类型&#x…...

编程日记 2025/8/25 7:20:34

【YOLOv12改进trick】医学图像分割网络CMUNeXt引入YOLOv12中，增强全局上下文信息实现涨点，含创新点Python代码，方便发论文

🍋改进模块🍋：医学全卷积U型网络（CMUNeXtBlock） 🍋解决问题🍋：CMUNeXtBlock模块解决了在医学图像分割任务中，传统的卷积操作由于其局部性限制，难以有效提取全局上下文信息的问题。 🍋改进优势🍋：利用大卷积核和倒置瓶颈结构，提取全局上下文信息，同时保持卷…...

编程日记 2025/8/20 21:06:09

机器学习的半监督学习，弱监督学习，自监督学习

半监督学习、弱监督学习和自监督学习是机器学习中利用不同形式监督信号的三种方法，它们的核心区别在于标注数据的数量、质量以及监督信号的来源。以下是它们的详细对比： 1. 半监督学习（Semi-Supervised Learning） 核心特点&#x…...

编程日记 2025/8/22 4:00:13

K8S学习之基础十七：k8s的蓝绿部署

蓝绿部署概述蓝绿部署中，一共有两套系统，一套是正在提供服务的系统，一套是准备发布的系统。两套系统都是功能完善、正在运行的系统，只是版本和对外服务情况不同。开发新版本，要用新版本替换线上的旧版本&…...

编程日记 2025/8/26 13:59:02

【计算机网络】计算机网络的性能指标——时延、时延带宽积、往返时延、信道利用率

计算机网络的性能指标导读大家好，很高兴又和大家见面啦！！！ 在上一篇内容中我们介绍了计算机网络的三个性能指标——速率、带宽和吞吐量。用大白话来说就是：网速、最高网速和实时网速。相信大家看到这三个词应该就…...

编程日记 2025/8/23 4:09:11

单片机如何用C语言重写vfprintf

在单片机中，标准库函数 vfprintf 可能不可用或占用过多资源（如内存或代码空间），因此我们可以通过自定义实现一个轻量级的 vfprintf 函数，专门用于单片机的串口输出。以下是一个用 C 语言重写 vfprintf 的示例&#xff…...

编程日记 2025/8/25 0:47:31

1.4 单元测试与热部署

本次实战实现Spring Boot的单元测试与热部署功能。单元测试方面，通过JUnit和Mockito等工具，结合SpringBootTest注解，可以模拟真实环境对应用组件进行独立测试，验证逻辑正确性，提升代码质量。具体演示了HelloWorld01和H…...

编程日记 2025/8/26 12:18:26

使用免费IP数据库离线查询IP归属地

一、准备工作 1.下载免费IP数据库首先，访问 MaxMind官网（https://www.maxmind.com/en/home）如果你还没有MaxMind账号，可以通过此链接地址（https://www.maxmind.com/en/geolite2/signup）进行账号注册&…...

编程日记 2025/8/23 7:41:24

go语言数据类型

一.Go 语言有四大显著特点：高效性：编译与运行效率高。并发性：原生支持并发编程。简洁性：编程风格简洁直接，代码可读性与可维护性高。跨平台性：程序能在 Windows、Linux、Mac OS 等多系统运行。二.go的包:pa…...

编程日记 2025/8/21 18:25:25

操作系统 1.3-开机页面的产生

问题引入从打开电源开始.. 这神秘的黑色背后发生着什么?... 设计思路伟大的数学家图灵，设计了这样的一个模型： 首先我们计算机有一个控制器，他可以处理一系列提供给他的动作。我们将控制器动作，控制器状态，数据…...

编程日记 2025/8/23 15:30:33

单例模式：确保一个类只有一个实例

目录引言 1. 单例模式的核心思想 2. 单例模式的实现方式 2.1 饿汉式单例 2.2 懒汉式单例 2.3 线程安全的懒汉式单例 2.4 双重检查锁定（Double-Checked Locking） 2.5 静态内部类实现单例 2.6 枚举实现单例 3. 单例模式的使用场景 4. 单例模式…...

编程日记 2025/8/25 9:22:56

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_modules

定义在 objs\ngx_modules.c #include <ngx_config.h> #include <ngx_core.h>extern ngx_module_t ngx_core_module; extern ngx_module_t ngx_errlog_module; extern ngx_module_t ngx_conf_module; extern ngx_module_t ngx_openssl_module; extern ngx_modul…...

编程日记 2025/8/24 9:21:50

vue3中组合式~测试深入组件：事件与 $emit()—setup() 上下文对象ctx.emit

一、语法(props) 第一步：在组件模板表达式中，可以直接用$emit()方法触发自定义事件，  <button click"$emit(someEvent)">Click Me</button> 第二步父组件可以通过 v-on (缩写为 ) 来监听…...

编程日记 2025/8/26 9:50:01

uniapp小程序对接腾讯IM即时通讯无ui集成（1）

首先需要完成一些准备工作。 1.注册腾讯云账号腾讯云注册账号后搜索im即时通讯，新创建一个应用。 2.uniapp创建项目腾讯云无ui集成文档按照文档步骤下载完这两个包后打开项目。有下图这两个包就算完成了开始工作。 3.APP目录进行引入和集成 <script…...

编程日记 2025/8/24 22:00:39

【YOLOv12改进trick】StarBlock引入YOLOv12，创新涨点优化，含创新点Python代码，方便发论文

🍋改进模块🍋：StarBlock 🍋解决问题🍋：采用StarBlock将输入数据映射到一个极高维的非线性特征空间,生成丰富的特征表示，使得模型在处理复杂数据时更加有效。 🍋改进优势🍋：简单粗暴的星型乘法涨点却很明显 🍋适用场景🍋：目标检测、语义分割、自然语言处理…...

编程日记 2025/8/20 1:39:28

文章目录

一、curl是什么？

二、爬虫在线小工具（牛逼puls）

三、实战操作

相关文章：