当前位置：首页 > news >正文

【实战】基于urllib和BeautifulSoup爬取jsp网站的数据

news 来源：原创 2025/7/27 12:29:56

文章目录

- 前言
- 目标网站分析
- 目标网页爬取
- 数据解析
- 导出数据
- 其他问题处理
- - 分页检索及多关键字搜索去重
  - cookie问题
- 工具封装
- 经验总结

前言

网络数据爬取大致分为两类：

静态爬取：该种方式针对那种架构比较老的网站，使用模版方式，通过浏览器F12只能找到静态页面，找不到返回json数据的接口，数据以html的方式存在

api爬取：网站采用前后端分离架构，可以很容易找到接口，获取json数据，这种爬取比较简单，只需按照规则调用接口即可获取目标数据。

这里仅介绍复杂一些的静态爬取方式。

目标网站分析

以湖北省政府采购网为例，https://www.ccgp-hubei.gov.cn/，爬取湖北省招投标信息，将结果导出到excel。

通过分析，该网站找不到restfui的接口，全部是静态页面，使用jsp技术建设，jsp技术是直接在后端将数据写入页面模板，然后再返回前端的，所以不可能找到restful接口的。但是发现有一个招投标信息的检索站点，https://www.ccgp-hubei.gov.cn:9040/quSer/searchXmgg.html，这个站点和首页站点是存在跨域的，因为端口不一致。但是查询数据返回又是另外一个地址https://www.ccgp-hubei.gov.cn:9040/quSer/search，这个地址返回所有查询数据并分页显示，返回数据格式为html，且带了检索参数。

使用apipost工具，模拟该接口请求，如下：

在这里插入图片描述

经过调试发现几点规律：

1 该接口使用POST协议，发送检索参数，并返回html数据

2 接口调用需要带cookie，且cookie有有效期限制（这一点很重要）

目标网页爬取

通过上一步分析得到的规律，开始使用urllib模拟浏览器调用

# 获取待解析网页
def get_html(key, page_no, page_size, begin_date, end_date):url = 'https://www.ccgp-hubei.gov.cn:9040/quSer/search'param = {"queryInfo.type": "xmgg","queryInfo.city": "武汉市","q

【实战】基于urllib和BeautifulSoup爬取jsp网站的数据

文章目录前言目标网站分析目标网页爬取数据解析导出数据其他问题处理分页检索及多关键字搜索去重cookie问题工具封装经验总结前言网络数据爬取大致分为两类：静态爬取：该种方式针对那种架构比较老的网站，使用模版方式，通过浏览器F12只能找到静态页面，找不到返回json数…...

编程日记 2025/7/27 12:29:56

cpp-httplib 框架

cpp-httplib 概述主要特点单文件库：cpp-httplib 是一个单文件头文件库，易于集成到现有项目中。你只需将 httplib.h 包含到项目中即可开始使用支持 HTTP 客户端和服务器：它不仅支持作为 HTTP 客户端发送请求，也支持构建 HTTP 服…...

编程日记 2025/7/25 22:59:47

GEE 案例——TVDI（Temperature Vegetation Dryness Index）指数

目录简介方法论代码解释函数案例代码单景影像的TVDI 影像集合批量计算TVDI 引用结果简介本文中代码包含两个可用于计算 TVDI 的主要函数。其中一个函数用于仅根据一幅 NDVI 和一幅 LST 图像生成 TVDI（singleTVDI），另一个函数用于为多幅 NDVI 和多幅 LST …...

编程日记 2025/7/23 17:13:45

Java语言程序设计选填题知识点总结

第一章 javac.exe是JDK提供的编译器public static void main (String args[])是Java应用程序主类中正确的main方法Java源文件是由若干个书写形式互相独立的类组成的Java语言的名字是印度尼西亚一个盛产咖啡的岛名Java源文件中可以有一个或多个类Java源文件的扩展名是.java如果…...

编程日记 2025/7/22 5:47:04

基于Springboot+Vue社区养老服务管理系统（源码+lw+讲解部署+PPT）

前言详细视频演示论文参考系统介绍系统概述核心功能用户角色与功能具体实现截图 1. 服务信息查看功能主要代码实现截图： 2. 服务申请功能主要代码实现截图： 3. 公告信息查看功能主要代码实现截图： 4. 服务信息…...

编程日记 2025/7/27 12:26:17

Linux基本指令的使用

当然可以！以下是一些常用的Linux指令及其示例： 1. ls 列出目录内容。 ls 显示当前目录下的文件和文件夹。 ls -l 以详细格式列出文件和文件夹的信息（如权限、拥有者、大小等）。 2. cd 改变当前目录。 cd /path/to/dire…...

编程日记 2025/7/26 17:04:24

Momenta C++面试题及参考答案

vtable 的创建时机在 C 中，vtable（虚函数表）是在编译阶段创建的。当一个类包含虚函数时，编译器会为这个类生成一个 vtable。vtable 本质上是一个函数指针数组，其中每个元素指向一个虚函数的实现。这个表的布局是由编译…...

编程日记 2025/7/26 2:04:15

AI 在软件开发流程中的优势、挑战及应对策略

AI 在软件开发流程中的优势、挑战及应对策略随着人工智能技术的飞速发展，AI大模型正在逐步渗透到软件开发的各个环节，从代码自动生成到智能测试，AI的应用正在重塑传统的软件开发流程。本篇文章将分析AI在软件开发流程中带来的优势&#xff0…...

编程日记 2025/7/27 12:24:58

langchain runnable

LangChain 文档详细解析 LangChain 是一个用于构建与语言模型（如GPT-4）交互的框架。本文档介绍了LangChain v0.1版本中的Runnable接口及其相关功能。目录 Runnable接口输入和输出模式使用示例异步方法事件流并行处理 1. Runnable接口为了简化自定义…...

编程日记 2025/7/27 1:27:53

nginx配置不缓存资源

方法1 location / {index index.html index.htm;add_header Cache-Control no-cache,no-store;try_files $uri $uri/ /index.html;#include mime.types;if ($request_filename ~* .*\.(htm|html)$) {add_header Cache-Control "private, no-store, no-cache, must-revali…...

编程日记 2025/7/24 4:24:33

Linux系统程序设计--4.进程

程序与进程内核中的进程结构 task_struct(进程表项和进程控制块) 位于/usr/src/linux-headers-4.15.0-213-generic/include/linux/sched.h C程序启动过程进程终止方式进程终止函数 atexit 小案例 #include<stdio.h> #include<string.h> #include<stdlib…...

编程日记 2025/7/23 4:29:25

springboot/ssm网购平台管理系统Java在线购物商城管理平台web电商源码

springboot/ssm网购平台管理系统Java在线购物商城管理平台web电商源码基于springboot(可改ssm)vue项目开发语言：Java 框架：springboot/可改ssm vue JDK版本：JDK1.8（或11） 服务器：tomcat 数据库&…...

编程日记 2025/7/27 12:26:52

2024年Android面试总结

2024年Android面试总结 1.动画类型有哪些？插值器原理？ 2.StringBuffer和StringBuilder区别？ 3.jvm内存模型？ 4.线程池7大核心参数及原理？ 5.Android多进程通信方式有哪些？各自的优缺点？ 6…...

编程日记 2025/7/27 0:57:00

UE5 slate BlankProgram独立程序系列

源码版Engine\Source\Programs\中copy BlankProgram文件夹，重命名为ASlateLearning，修改所有文件命名及内部名称。 ASlateLearning.Target.cs // Copyright Epic Games, Inc. All Rights Reserved.using UnrealBuildTool; using System.Collections.Ge…...

编程日记 2025/7/27 12:27:34

小米PC电脑手机互联互通，小米妙享，小米电脑管家，老款小米笔记本怎么使用，其他品牌笔记本怎么使用，一分钟教会你

说在前面之前我们体验过妙享中心，里面就有互联互通的全部能力，现在有了小米电脑管家，老款的笔记本竟然用不了，也可以理解，毕竟老款笔记本做系统研发的时候没有预留适配的文件补丁，至于其他品牌的winPC小米…...

编程日记 2025/7/27 12:29:11

家庭智慧工程师：如何通过科技提升家居生活质量

在今天的数字化时代，家居生活已经不再只是简单的“住”的地方。随着物联网（IoT）、人工智能（AI）以及自动化技术的快速发展，越来越多的家庭开始拥抱智慧家居技术，将他们的家变得更加智能化、便捷和…...

编程日记 2025/7/21 23:49:47

云计算-华为HCIA-学习笔记

笔者今年7月底考取了华为云计算方向的HCIE认证，回顾从IA到IE的学习和项目实战，想整合和分享自己的学习历程，欢迎志同道合的朋友们一起讨论！ 第二章：服务器基础服务器是什么？ 服务器本质上就是个性能超强的…...

编程日记 2025/7/24 20:32:41

webgl threejs 云渲染(服务器渲染、后端渲染)解决方案

云渲染和流式传输共享三维模型场景 1、本地无需高端GPU设备即可提供三维项目渲染云渲染和云流化媒体都可以让3D模型共享变得简单便捷。配备强大GPU的远程服务器早就可以处理密集的处理工作，而专有应用程序，用户也可以从任何个人设备查看全保真模型并与…...

编程日记 2025/7/26 9:58:38

【中间件】Redis

一、什么是Redis Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置…...

编程日记 2025/7/27 12:25:36

请结合给定资料中的具体事例，谈谈你对“海洋的污染将毁灭鱼儿的家园，但让人类不寒而栗的毁灭绝非仅此而已！”这句话的理解。（10分）

题目【2010年国考省级以上（含副省级）申论真题】2．请结合给定资料中的具体事例，谈谈你对“海洋的污染将毁灭鱼儿的家园，但让人类不寒而栗的毁灭绝非仅此而已！”这句话的理解。（10分&#xff09…...

编程日记 2025/7/27 1:44:18

Java SE 与 Java EE：基础与进阶的探索之旅

在编程世界中，Java语言以其跨平台、面向对象、丰富的类库等特点，成为了众多开发者和企业的首选编程语言。而Java SE与Java EE，作为Java平台的两个重要组成部分，各自承载着不同的使命，同时又紧密相连，共同构…...

编程日记 2025/7/25 18:12:09

PH热榜 | 2024-11-24

DevNow 是一个精简的开源技术博客项目模版，支持 Vercel 一键部署，支持评论、搜索等功能，欢迎大家体验。在线预览 1. AutoFlow Studio 标语：借助简化的AI质检，更快发布产品，更聪明地进行测试。介绍&…...

编程日记 2025/7/22 19:48:46

LLM 系列学习教程

LLM101 检查 Tokenizer 词表大小与 LLM 的 Embedding 和 LM_head 输入大小是否匹配对 SBert 进行训练、预测、评估使其进行相似度计算对 BERT 进行训练、预测、评估使其进行文本分类使用 CLIP 模型进行文本图像匹配对 JoinBERT 进行训练、预测使其进行对话意图和槽位联合识别对…...

编程日记 2025/7/25 14:10:04

基于yolov8、yolov5的茶叶等级检测识别系统（含UI界面、训练好的模型、Python代码、数据集）

摘要：茶叶等级检测在茶叶生产、质量控制和市场销售中起着至关重要的作用，不仅能帮助相关部门实时监测茶叶质量，还为智能化检测系统提供了可靠的数据支撑。本文介绍了一款基于YOLOv8、YOLOv5等深度学习框架的茶叶等级检测模型，该模…...

编程日记 2025/7/25 1:08:26

Excel求和如何过滤错误值

一、问题的提出平时，我们在使用Excel时，最常用的功能就是求和了，一说到求和你可能想到用sum函数，但是如果sum的求和区域有#value #Div等错误值怎么办？如下图，记算C列中工资的总和。直接用肯定会报错&…...

编程日记 2025/7/25 9:59:35

头文件包含

大家好，今天我们来聊聊头文件包含这方面的知识，并且在这里提出几个问题，头文件多次包含有什么影响吗？“”和〈〉这两种方式都能包含标准头文件吗？ 一.文件包含 #include指令可以使另外一个文件被编译。就像它实际出现…...

编程日记 2025/7/25 11:48:22

37_U-Net网络详解

1.U-Net 网络概述 U-Net 是一种深度学习模型，广泛用于图像的语义分割任务。U-Net 网络的结构特别适合医学影像分割，尤其在少量训练数据的情况下表现优异。该网络由一个编码器-解码器架构组成，具有对称的“U”形结构，因此得名为 U…...

编程日记 2025/7/24 11:54:41

fastapi入门

好的，我将为您生成一个更详细、易于理解的 FastAPI 入门学习文档，特别是对复杂概念（如依赖注入）进行深入解释，帮助您在没有太多基础的情况下也能顺利学习和掌握 FastAPI。 FastAPI 入门学习文档目录简介环境搭建 2…...

编程日记 2025/7/25 23:38:30

RabbitMQ 之死信队列

一、死信的概念先从概念解释上搞清楚这个定义，死信，顾名思义就是无法被消费的消息，字面意思可以这样理解，一般来说，producer 将消息投递到 broker 或者直接到 queue 里了，consumer 从 queue 取出消息进行…...

编程日记 2025/7/24 16:27:55

Android-如何实现Apng动画播放

01 Apng是什么 Apng（Animated Portable Network Graphics）顾名思义是基于 PNG 格式扩展的一种动画格式，增加了对动画图像的支持，同时加入了 24 位图像和8位 Alpha 透明度的支持，并且向下兼容 PNG。 Google封面图 02 A…...

编程日记 2025/7/26 12:46:12

微服务系统架构图

微服务架构是一种将单一应用程序开发为一组小型服务的架构风格。每个服务都在自己的进程中运行，它们之间采用轻量级的通信机制（如 HTTP/REST 或消息队列）进行相互协作。以下是关于微服务系统架构的简要介绍：一、核心特点独立部署 …...

编程日记 2025/7/26 5:31:43

04 —— Webpack打包CSS代码

编程日记 2025/7/25 3:04:33

【数据结构专栏】二叉搜索树(Binary Search Tree)的剖析？

文章目录 🧨前言1、二叉搜索树的基本概念？2、二叉搜索树的节点结构组成？3、二叉搜索树的插入操作？4、二叉搜索树的删除操作？5、二叉搜索树的遍历？ 6、二叉搜索树的性能分析？ 🎉完整代…...

编程日记 2025/7/26 1:50:32

SSM全家桶 1.Maven

或许总要彻彻底底地绝望一次才能重新再活一次 —— 24.11.20 maven在如今的idea中已经实现自动配置，不需要我们手动下载一、Maven的简介和快速入门 Maven 是一款为 Java 项目构建管理、依赖管理的工具(软件)，使用 Maven 可以自动化构建测试、打包和发…...

编程日记 2025/7/26 14:23:49

前端三剑客（二）：CSS

目录 1. CSS 基础 1.1 什么是 CSS 1.2 语法格式 1.3 引入方式 1.3.1 行内样式 1.3.2 内部样式 1.3.3 外部样式 1.4 CSS 编码规范 2. 选择器 2.1 标签选择器 2.2 id 选择器 2.3 class 选择器(类选择器) 2.4 复合选择器 2.5 通配符选择器 3. 常用 CSS 样式 3.1 c…...

编程日记 2025/7/26 9:37:47

解析html将表格插入word文档

用到依赖包 <dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.15.2</version></dependency><dependency><groupId>org.aspectj</groupId><artifactId>aspectjweav…...

编程日记 2025/7/26 0:48:29

Java核心知识详解：String类、StringBuffer、数组及日期时间的全面解析

🚀 作者 ：“码上有前” 🚀 文章简介 ：Java 🚀 欢迎小伙伴们点赞👍、收藏⭐、留言💬 标题 Java核心知识详解：String类、StringBuffer、数组及日期时间的全面解析摘要在Java中…...

编程日记 2025/7/27 6:25:53

唯一设备序列号（UID）、唯一产品识别码（UPI）和备份寄存器BKP

文章目录一、唯一设备序列号UID二、唯一产品识别码UPI三、备份寄存器BKP 一、唯一设备序列号UID MCU 系列产品内置两个不同长度的唯一设备序列号，分别为 96 位的 UID(Unique device ID)和 128 位的UCID(Unique Customer ID)，这两个设备序列号存放在闪存…...

编程日记 2025/7/26 23:16:52

Kafka - 消费者程序仅消费一半分区消息的问题

1. 问题描述修改安全服务状态有时逻辑正常有时候逻辑不正常，排查incident服务的日志发现消息可以正常发送到 kafka topic ，但是incident-cron 服务有时候有拉取消息的日志有时候没有日志。 kafka 生产者可以将消息正常发送到 kafka topic &#xff0c…...

编程日记 2025/7/25 19:53:27

养老院管理系统+小程序项目需求分析文档

智慧综合养老服务平台是以业务为牵引、场景为驱动，围绕“老人”业务域，持续沉淀和打磨形成适应不同养老业务发展需要的业务能力，推动业务模式升级，为养老服务提供数字化解决方案，并依托实体站点与养老机构实现线上线下…...

编程日记 2025/7/20 6:48:22

K8s 下通过prometheus监控 nginx

k8s 下有两个版本的nginx ingress 分别是 ingress nginx 以及 nginx ingress Ingress-nginx 与 Nginx-ingress - LeoZhanggg - 博客园这里我讨论的是 nginx ingress Nginx Ingress 使用Prometheus 导出数据 nginx ingress 本身支持通过支持这个提供prometheus 格式的…...

编程日记 2025/7/23 5:13:52

基于SpringBoot的京东绿谷旅游信息服务平台设计与实现（源码+定制+开发）

博主介绍： ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台…...

编程日记 2025/7/27 7:08:30

使用Redis生成全局唯一id

为了生成一个符合要求的分布式全局ID，我们可以使用 StringRedisTemplate 来实现。这个ID由三部分组成： 符号位（1 bit）：始终为0，表示正数。时间戳（31 bit）：表示从某个起始…...

编程日记 2025/7/21 10:58:10

pytorch自定义算子导出onnx

文章目录 1、为什么要自定义算子？2、如何自定义算子3、自定义算子导出onnx4、example1、重写一个pytorch 自定义算子（实现自定义激活函数）2、现有算子上封装pytorch 自定义算子（实现动态放大超分辨率模型） 1、为什么要…...

编程日记 2025/7/27 1:45:34

从搭建uni-app+vue3工程开始

技术栈 uni-app、vue3、typescript、vite、sass、uview-plus、pinia、axios 一、项目搭建 1、创建以 typescript 开发的工程 npx degit dcloudio/uni-preset-vue#vite-ts my-vue3-project2、安装sass npm install -D sass// 安装sass-loader，注意需要版本10&…...

编程日记 2025/7/26 22:54:33

波点音乐自动点击

波点音乐 import uiautomator2 as u2 import time import sys import os# 动态点击时间，打印剩余时间 def dynamic_sleep(seconds):wait_time secondsfor i in range(wait_time):print(f"Waiting... {wait_time - i} seconds remaining")sys.stdout.flu…...

编程日记 2025/7/23 12:09:28

【一篇搞定配置】wget 下载与安装（Window）

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀各种软件安装与配置_十二月的猫的博客-CSDN博客 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光目录 1.…...

编程日记 2025/7/20 1:25:42

2025年春招修订版《C/C++笔面试系列》(1) C语言经典笔面试题(上)

C语言是嵌入式开发的常用语言，也是主要语言，很多企业在招聘嵌入式软件工程师时，C语言的熟练程度是一个重要考察点。笔试也是以C语言为主，所以想要拿到面试机会，还得通过C语言笔试，本专题总结了各大企业C语言…...

编程日记 2025/7/21 8:51:00

【042C】基于51RFID门禁系统（LCD12864显示）【Proteus仿真+Keil程序+报告+原理图】

☆、设计硬件组成：51单片机最小系统RFID读卡器4*4矩阵键盘AT24C02存储芯片LCD12864液晶显示继电器蜂鸣器LED灯。 1、设计采用STC89C52、AT89C52、AT89S52作为主控芯片，采用LCD12864液晶显示屏实时显示门禁系统； 2、系统集成两种解锁方式&am…...

编程日记 2025/7/25 14:39:39

scratch二次开发：blockly工作区垃圾桶和进度条的隐藏和显示

大家好，我是小黄。本期给大家介绍的内容是实现blockly工作区的垃圾桶和进度条的显示和隐藏实现。本次基于的项目源码大家可以关注小黄回复垃圾桶自行获取。一.垃圾桶的显示和实现。在blockly中，我们进行块的删除的时候最常用的两种方法是&#xf…...

编程日记 2025/7/24 15:24:49

文章目录

前言

目标网站分析

目标网页爬取

相关文章：