当前位置：首页 > news >正文

采集需要登录网站的教程

news 来源：原创 2025/7/19 7:14:53

有些网站需要用户登录才能显示相关信息，如果要采集这类网站，有以下几个方法：

1. 写发布模块来抓包获取post的数据；

2. 有些采集器内置浏览器获取这些信息，但是经常获取的不准确，可靠性太低；

3. 获取到登录后网站cookie ，用采集器模拟用户登录来采集；

简数采集器使用第3种方法，操作相对简单，可靠性高。

详细步骤如下：

一、获取登录网站后的cookie方法

方式1---最简单的方法是通过现代浏览器来获取，以chrome为例：

1. F12或右键检查进入开发者模式界面；

2. 点击NetWork，F5重新加载页面；

3. 选择对应页面名称的html文件；

4. 获取cookie；

方式2---还可以使用fiddler工具来进行抓取

fiddler是介于客户端和服务器端的HTTP代理，也是常用的http抓包工具之一。它可以记录下客户端和服务器之间的所有HTTP请求，也可以针对指定的HTTP请求，进分析请求数据、设置断点、修改请求的数据，甚至还可以修改服务器返回的数据，功能十分强大，是网站调试的得力助手。

fiddler官网下载： Download Fiddler Web Debugging Tool for Free by Telerik

下载安装完成后，按照以下流程来操作：（本文章是基于Fiddler 4版本）

1. 右侧显示页面中先选择Inspectors栏；

2. 由于左侧显示页面已有许多访问网站的信息，我们接下先清空一下，方便接下来寻找指定的网页；

可以用快捷键ctrl+x或者在左侧显示页面右键Remove------>>all sessions;

3. 接下来登陆上需要抓取cookie的网站或者刷新已经登录的网页，就可以在左侧显示栏轻松找到网站的Host（网站域名）+ URL，以我这个

例子，选取的就是这一条，注意URL内容是斜杠 / 的那一条信息；

4. 右边显示栏选择raw栏，这时能看到获取的cookie了；

5. 为了获取完整的cookie，我们点击右侧显示栏中间的view in Notepad，即打开记事本来获取完整的cookie；

二、获取的cookie填写入简数

最后把获取的cookie和user-engent信息拷贝到采集器中，再打开详情提取器即可查看到之前隐藏的内容；

简数采集器有三处入口可填写cookie：

I、新建任务时，高级选项处：

II、点击 “启动 | 定时采集 ” ，在网络配置中填上相关信息；

III、打开提起器左侧列表下方的网络配置：

采集需要登录网站的教程

有些网站需要用户登录才能显示相关信息，如果要采集这类网站，有以下几个方法： 1. 写发布模块来抓包获取post的数据； 2. 有些采集器内置浏览器获取这些信息，但是经常获取的不准确，可靠性太低； 3. …...

编程日记 2025/7/19 7:14:53

在hadoop中实现序列化与反序列化

在 Hadoop 分布式计算环境中，序列化与反序列化是数据处理的核心机制之一。由于 Hadoop 需要在集群节点间高效传输数据并进行分布式计算，其序列化框架不仅要支持对象的序列化与反序列化，还要满足高效、紧凑、可扩展等特殊需求。本文将深入探讨…...

编程日记 2025/7/18 4:46:13

数据结构*排序

排序的一些相关概念稳定性假设在待排序序列中，存在两个元素A和B，A和B的值相同。在排序后，A和B的相对位置没有变化，就说这排序是稳定的。反之不稳定。内部排序与外部排序内部排序：数据完全存储在内存中&#xf…...

编程日记 2025/7/19 2:10:15

新浪《经济新闻》丨珈和科技联合蒲江政府打造“数字茶园+智能工厂+文旅综合体“创新模式

5月14日，新浪网《经济新闻》频道专题报道珈和科技在第十四届四川国际茶业博览会上的精彩亮相，并深度聚焦我司以数字技术赋能川茶产业高质量发展创新技术路径，及在成都市“茶业建圈强链”主题推介会上，珈和科技与蒲江县人民政府就智…...

编程日记 2025/7/19 1:51:47

【Linux】第二十三章控制启动过程

1. 请简要说明 RHEL9的启动过程。 （1）计算机通电。系统固件 (UEFI 或 BIOS) 开机自检 (POST)，并初始化部分硬件，然后，固件会寻找启动设备（如硬盘、USB、网络等），并将控制权交给引导…...

编程日记 2025/7/19 2:37:31

深信服golang面经

for range 中赋值的变量，这个变量指向的是真实的地址吗，还是临时变量不是真实地址，是临时变量 package mainimport "fmt"func main() {slice : []int{4, 2, 3}for _, v : range slice {fmt.Println(v, &v) // 这里的 v 是临…...

编程日记 2025/7/19 2:10:15

基于 Netty + SpringBoot + Vue 的高并发实时聊天系统设计与实现

编程日记 2025/7/19 2:06:32

根据当前日期计算并选取上一个月和上一个季度的日期范围，用于日期控件的快捷选取功能

代码如下： <el-date-picker v-model"value" type"monthrange" align"right" unlink-panels range-separator"至"start-placeholder"开始月份" end-placeholder"结束月份" :picker-options"pic…...

编程日记 2025/7/19 2:24:00

引入依赖 <dependency><groupId>com.github.ulisesbocchio</groupId><artifactId>jasypt-spring-boot-starter</artifactId><version>3.0.4</version> </dependency>添加配置 jasypt:encryptor:password: pssw0rd&Hubt2ec…...

编程日记 2025/7/19 2:22:59

ubuntu下docker安装mongodb-支持单副本集

1.mogodb支持事务的前提 1) MongoDB 版本：确保 MongoDB 版本大于或等于 4.0，因为事务支持是在 4.0 版本中引入的。 2) 副本集配置：MongoDB 必须以副本集（Replica Set）模式运行，即使是单节点副本集&#x…...

编程日记 2025/7/19 2:06:31

科技赋能，开启现代健康养生新潮流

在科技与生活深度融合的当下，健康养生也迎来了全新的打开方式。无需传统医学的介入，借助现代科学与智能设备，我们能以更高效、精准的方式守护健康。饮食管理步入精准化时代。利用手机上的营养计算 APP，录入每日饮食&#xff0…...

编程日记 2025/7/19 2:12:02

《安徽日报》聚焦珈和科技AI创新：智慧虫情测报护航夏粮提质丰产

5月7日，《安徽日报》焦点新闻版块以《高科技助力田管，确保夏粮丰收——为4300多万亩小麦守好防线》为题，深度报道了农业科技在夏粮生产中的关键作用。其中，珈和科技自主研发的AI虫情测报一体机作为绿色防控、农业智慧化的标杆被重…...

编程日记 2025/7/19 2:04:45

企业级 Go 多版本环境部署指南-Ubuntu CentOS Rocky全兼容实践20250520

🛠️ 企业级 Go 多版本环境部署指南-Ubuntu / CentOS / Rocky 全兼容实践兼顾多版本管理、安全合规、最小权限原则与 CI/CD 可复现性，本指南以 Go 官方 toolchain 为主，结合 asdf 实现跨语言统一管理，并剔除已过时的 GVM。支持 …...

编程日记 2025/7/19 1:50:00

MCP 协议传输机制大变身：抛弃 SSE，投入 Streamable HTTP 的怀抱

在技术的江湖里，变革的浪潮总是一波接着一波。最近，模型上下文协议（MCP）的传输机制就搞出了大动静，决定和传统的服务器发送事件（SSE）说拜拜，转身拥抱 Streamable HTTP，这…...

编程日记 2025/7/19 2:07:24

Windows 上配置 Docker，Docker 的基本原理和用途，以及如何在 Docker 中运行程序

Windows 系统上的 Docker 安装与使用指南 1. Windows 上配置 Docker 检查系统要求：使用 64 位 Windows 10/11，BIOS 已启用硬件虚拟化（VT-x/AMD-V）。Windows 版本最好更新到 2004 及以上（内部版本19041）&am…...

编程日记 2025/7/19 2:15:05

CBCharacteristic：是「特征」还是「数据通道」？

目录名词困惑：两种中文译法的由来官方定义 & 开发者视角乐高类比：文件夹与文件智能手表实例：Characteristic 长什么样？iOS 代码实战：读 / 写 / 订阅小结 & Best Practice 1. 名词困惑：为什么有两…...

编程日记 2025/7/19 2:25:28

【JavaEE】多线程

线程在Java中，鼓励多线程编程。进程可以满足并发编程，但是效率不高（创建、销毁、调度时间都比较长，这些都消耗在申请资源上了），而线程就不一样。线程也叫“轻量级进程”，创建、销毁、调度都更…...

编程日记 2025/7/19 1:56:28

docker- Harbor 配置 HTTPS 协议的私有镜像仓库

Harbor通过配置 HTTPS 协议，可以确保镜像传输的安全性，防止数据被窃取或篡改。本文将详细介绍如何基于 Harbor 配置 HTTPS 协议的私有镜像仓库。 1.生成自建ca证书 [rootdocker01 ~]# mkdir -p /liux/softwares/harbor/certs/custom/{ca,server,client…...

编程日记 2025/7/18 5:02:13

[SpringBoot]Spring MVC(5.0)----留言板

Spring留言板实现预期结果可以发布并显示点击提交后，显示并清除输入框并且再次刷新后，不会清除下面的缓存约定前后端交互接口 Ⅰ 发布留言 url : /message/publish . param(参数) : from,to,say . return : true / false . Ⅱ 查询留言 url : /messag…...

编程日记 2025/7/19 2:05:38

Jules 从私有预览阶段推向全球公测

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/7/19 2:27:31

vLLM框架高效原因分析

vLLM框架在模型推理中以高效出名，主要基于以下核心原理和技术优化，这些设计使其在处理大语言模型时显著提升性能： 一、PagedAttention：动态显存管理技术 vLLM的核心创新在于PagedAttention，灵感源自操作系统的虚拟内存…...

编程日记 2025/7/19 1:59:10

【Git】常用命令大全

以下是 Git 的常用命令大全，分为几个常见类别，便于理解和使用： 1. 初始化与克隆初始化本地仓库：git init克隆远程仓库到本地：git clone <repository_url> 2. 添加与提交添加指定文件到暂存区：git…...

编程日记 2025/7/19 2:00:04

pycharm无需科学上网工具下载插件的解决方案

以下是两种无需科学上网即可下载 PyCharm 插件的解决思路： 方法 1：设置 PyCharm 代理打开 PyCharm选择菜单：File → Settings → Appearance & Behavior → System Settings → HTTP Proxy在代理设置中进行如下配置： 代理地…...

编程日记 2025/7/19 1:43:46

学习threejs，使用Physijs物理引擎，使用DOFConstraint自由度约束，模拟小车移动

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：threejs gis工程师文章目录一、🍀前言1.1 ☘️Physijs 物理引擎1.1.1 ☘️…...

编程日记 2025/7/19 2:18:43

仓颉开发语言入门教程：常见UI组件介绍和一些问题踩坑

幽蓝君发现一个问题，仓颉开发语言距离发布马上一年了，一些知名App已经使用仓颉开发了许多功能，但是网络上关于仓颉开发语言的教程少之又少，系统性的教程更是没有，仓颉官网的文档也远远不如ArkTS详尽。现阶段对于想学…...

编程日记 2025/7/19 2:11:08

[Git] 初识 Git 与安装入门

告别文件噩梦：初识 Git 与安装入门嘿，朋友！不知道你是不是也遇到过这样的情况：你在写一份重要的文档、报告，或者更常见的，一段代码时，为了安全起见，怕改错了回不去，或者…...

编程日记 2025/7/19 2:16:54

海康威视摄像头C#开发指南：从SDK对接到安全增强与高并发优化

一、海康威视SDK核心对接流程 1. 开发环境准备官方SDK获取：从海康开放平台下载最新版SDK（如HCNetSDK.dll、PlayCtrl.dll）。依赖项安装：确保C运行库（如vcredist_x86.exe）与S…...

编程日记 2025/7/19 1:59:10

大语言模型 14 - Manus 超强智能体开源版本 OpenManus 上手指南

写在前面 Manus 是由中国初创公司 Monica.im 于 2025 年 3 月推出的全球首款通用型 AI 智能体（AI Agent），旨在实现“知行合一”，即不仅具备强大的语言理解和推理能力，还能自主执行复杂任务，直接交付完整成…...

编程日记 2025/7/19 2:30:23

使用 LibreOffice 实现各种文档格式转换（支持任何开发语言调用和 Linux + Windows 环境）[全网首发，保姆级教程，建议收藏]

以下能帮助你可以使用任何开发语言，在任何平台都能使用 LibreOffice 实现 Word、Excel、PPT 等文档的自动转换，目前展示在 ASP.NET Core 中为 PDF的实战案例，其他的文档格式转换逻辑同理。 📦 1. 安装 LibreOffice 🐧…...

编程日记 2025/7/19 2:27:30

CentOS Stream 9 中部署 MySQL 8.0 MGR（MySQL Group Replication）一主两从高可用集群

🐇明明跟你说过：个人主页 🏅个人专栏：《MySQL技术精粹》🏅 🔖行路有良友，便是天堂🔖 目录一、前言 1、MySQL 8.0 中的高可用方案 2、适用场景二、环境准备 1、系统环境说明…...

编程日记 2025/7/19 2:12:02

软考中级软件设计师——计算机网络篇

一、计算机网络体系结构 1.OSI七层模型 1. 物理层（Physical Layer） 功能：传输原始比特流（0和1），定义物理介质（如电缆、光纤）的电气、机械特性。关键设备：中继器&#…...

编程日记 2025/7/19 2:05:41

RK3568 OH5.1 源码编译及问题

安装编译器和二进制工具在源码根目录下执行prebuilts脚本，安装编译器及二进制工具。 bash build/prebuilts_download.sh在源码根目录执行如下指令安装hb编译工具： python3 -m pip install --user build/hb使用build.sh脚本编译源码进入源码根目录&…...

编程日记 2025/7/19 2:23:00

【razor】回环结构导致的控制信令错位：例如发送端收到 SR的问题

一、razor的echo程序根据对 yuanrongxi/razor 仓库的代码和 echo 测试程序相关实现的分析，下面详细解读 echo 程序中 RTCP sender report（SR）、receiver report（RR）回显的问题及项目的解决方式。 1. 问题背景在 RTP/RTCP 体系下，SR（Sender Report）由发送端周期性发…...

编程日记 2025/7/19 1:53:05

leetcode hot100：三、解题思路大全：哈希（两数之和、字母异位词分组、最长连续序列）、双指针（移动零、盛最多水的容器、三数之和、接雨水）

哈希两数之和给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出和为目标值 target 的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案，并且你不能使用两次相同的元素。你可以按任意顺序返…...

编程日记 2025/7/19 1:46:53

MySQL 8.0 OCP 1Z0-908 161-170题

Q161.Examine this command, which executes successfully: cluster.addInstance ( ‘:’,{recoveryMethod: ‘clone’ 1}) Which three statements are true? (Choose three.) A)The account used to perform this recovery needs the BACKUP_ ADMIN privilege. B)A target i…...

编程日记 2025/7/19 2:03:48

一、获取登录网站后的cookie方法

方式1---最简单的方法是通过现代浏览器来获取，以chrome为例：

方式2---还可以使用fiddler工具来进行抓取

二、获取的cookie填写入简数

相关文章：