当前位置：首页 > news >正文

爬虫基础（三）Session和Cookie讲解

news 来源：原创 2025/5/19 15:56:58

一、前备知识点

（1）静态网页

（2）动态网页

（3）无状态HTTP

二、Session和Cookie

三、Session

四、Cookie

（1）维持过程

（2）结构

正式开始说 Session和Cookie之前，有些基础知识需要知道，我们先来看一下：

一、前备知识点

（1）静态网页

比如，我们写了一段html代码，然后保存为一个html文件

该文件所在主机，具有服务器

那么其他人就可以通过访问服务器，来打开这个html写的网页。

这就叫，静态网页

静态网页有一个很大的缺陷：

比如，我们修改该网页时，只能再打开html代码，然后修改，很不灵活。

（2）动态网页

动态网页，则不同于此。

它用编程语言编写，可以动态解析URL，灵活呈现内容

除此之外，还有账号密码功能

就是这种账号密码功能，离不开Session和Cookie

（3）无状态HTTP

当我们进入部分网站，点击登陆

弹出账号密码界面，输入之后，可以自动返回界面

我们发现下一次我们再登陆时，不用再登陆而是自动保存了

该的界面是原来我们网站的界面，它没有消失

我们不要想当然的认为，这是正常的

正常来说，HTTP是无记忆的，

即，服务器只负责处理响应和请求，不负责保存历史。

这，就叫无状态HTTP

而为了，保存HTTP的连接状态，让我们能够返回之前的界面，新技术出现了，即：Session和Cookie

二、Session和Cookie

Session放在服务器端，用来保存用户信息。

Cookie放在客户端，即浏览器端，当用户注册后，会获得凭证，客户端再次访问网页时，服务器通过识别Cookie，判断是哪个用户在访问。

三、Session

Session，即会话

在web中，Session对象储存用户信息

这样，在用户跳转不同程序时，其不会丢失

四、Cookie

关于，Cookie我们知道它相当于凭证，网站为鉴别用户身份，存储用户身上的数据

（1）维持过程

客户第一次登陆网站

网站返回一个set-cookie字段给客户，用以标记客户

客户端浏览器自动保存cookie

当客户下一次登陆cookie时，将保存的cookie提交给网页

服务器根据cookie中信息查找对应session，判断用户身份

若有效则可以查看网页内容

（2）结构

以csdn网站为例：

依次点击：检查 - application - storage - cookies

其中：

Name（名称）：Cookie 的名称，是一个唯一的标识符。

Value（值）：与 Cookie 名称关联的值。

Domain（域名）：Cookie 所属的域名。

Path（路径）：指定 Cookie 的有效路径。只有在该路径及其子路径下，Cookie 才会被发送到服务器。

Expires / Max-Age（过期时间）

Expires：指定 Cookie 的过期时间（具体日期和时间）。
Max-Age：指定 Cookie 的有效期（以秒为单位）。
注意：如果未设置过期时间，Cookie 将成为会话 Cookie，在浏览器关闭时自动删除。

Size（大小）：Cookie 的大小（以字节为单位）。

HttpOnly：如果启用，JavaScript 无法通过 document.cookie 访问该 Cookie，只能由服务器读取。

Secure：如果启用，Cookie 只能通过 HTTPS 协议传输，确保安全性。

SameSite：控制 Cookie 是否在跨站请求中发送，用于防止跨站请求伪造（CSRF）攻击。

可选值：Strict：仅在同站点请求中发送。Lax：在导航到目标站点时发送（例如点击链接）。None：允许跨站发送（需要与 Secure 一起使用）。

Partitioned（分区）：用于跨站场景下的 Cookie 分区，确保 Cookie 仅在特定上下文中使用。

本章简单介绍了Session和Cookie概念，对以后学习爬虫具有一定辅助作用。

爬虫基础（三）Session和Cookie讲解

目录一、前备知识点 （1）静态网页 （2）动态网页 （3）无状态HTTP 二、Session和Cookie 三、Session 四、Cookie （1）维持过程 （2）结构正式开始说 Sessi…...

编程日记 2025/5/19 15:56:58

hive:基本数据类型,关于表和列语法

基本数据类型 Hive 的数据类型分为基本数据类型和复杂数据类型加粗的是常用数据类型 BOOLEAN出现ture和false外的其他值会变成NULL值没有number,decimal类似number 如果输入的数据不符合数据类型, 映射时会变成NULL, 但是数据本身并没有被修改创建表创建表的本质其实就是在…...

编程日记 2025/5/14 18:57:10

Maya软件安装步骤与百度网盘链接

软件简介： MAYA软件是Autodesk旗下的著名三维建模和动画软件。maya软件功能更为强大，体系更为完善，因此国内很多的三维动画制作人员都开始转向maya，maya软件已成为三维动画软件的主流。百度网盘链接: https://pan.baidu.com/s…...

编程日记 2025/5/19 15:19:57

error: RPC failed； curl 56 OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054

Descriptions： Solutions：...

编程日记 2025/5/12 21:28:18

PID算法的数学实现和参数确定方法

目录概述 1 算法描述 1.1 PID算法模型 1.2 PID离散化的图形描述 1.3 PID算法的特点 2 离散化的PID算法 2.1 位置式PID算法 2.2 增量式PID算法 2.3 位置式PID与增量式PID比较 3 控制器参数整定 3.1 PID参数确定方法 3.1.1 凑试法 3.1.2 临界比例法 3.1.3 经验法…...

编程日记 2025/5/17 22:03:48

【已解决】ECharts 没有在页面生效

元素高度问题： ECharts 需要一个具有明确高度的容器来渲染图表，也就是说 echartsRef 元素需要一个明确的 div 高度。我项目中的问题就是在 .base-echarts（我项目中的最外层元素） 上设置了高度为 300px，但没有为 .echar…...

编程日记 2025/5/18 14:25:14

三角函数正交性应用--以信号分离为例

三角函数的正交性的应用引言在信号处理、通信等众多领域中，三角函数的正交性发挥着至关重要的作用。它不仅是理论分析的基础，更是实际应用中解决各种问题的有力工具。本文将详细介绍三角函数正交性的定义、证明，并通过一个具体的信号处理…...

编程日记 2025/5/19 15:43:04

ASP.NET Core 中使用依赖注入 (DI) 容器获取并执行自定义服务

目录一、ASP.NET Core 中使用依赖注入 (DI) 容器获取并执行自定义服务 1. app.Services 2. GetRequiredService() 3. Init() 二、应用场景三、依赖注入使用拓展 1、使用场景 2、使用步骤 1. 定义服务接口和实现类 2. 注册服务到依赖注入容器 3. 使用依赖注入获取并…...

编程日记 2025/5/19 15:19:57

一个数如果恰好等于他的因子之和，这是就成为“完数“，例如6=1+2+3.编程找出1000以内的所有完数

from sys import stdoutfor i in range(2,1001):k[] #用于存储因子si #初始化s为当前数字ifor j in range(1,i):if i%j0: #如果j是i的因子s-j #从s中减去银子jk.append(j) #将因子j加入列表kif s0:#如果s最终为0,说明i是一个完数print(i)for j in range(len(k)): #遍历银子列表…...

编程日记 2025/5/19 15:53:14

理解 InnoDB 如何处理崩溃恢复

在数据库领域，数据的一致性与可靠性至关重要。InnoDB 存储引擎的崩溃恢复机制是保障数据安全的核心，其中 Doublewrite Buffer 和 Redo Log 发挥着关键作用。下面，我们将详细探讨 InnoDB 从写入到崩溃恢复的全过程。一、写入流程修改页面&…...

编程日记 2025/5/19 15:21:43

Linux-CentOS的yum源

1、什么是yum yum是CentOS的软件仓库管理工具。 2、yum的仓库 2.1、yum的远程仓库源 2.1.1、国内仓库国内较知名的网络源(aliyun源，163源，sohu源，知名大学开源镜像等) 阿里源:https://opsx.alibaba.com/mirror 网易源:http://mirrors.1…...

编程日记 2025/5/14 12:26:35

Redis复制

一、Redis复制： 1.为了解决分布式中单点故障问题，通常会把数据复制多个副本部署到其他机器上来解决故障恢复和负载均衡等需求。 2.建立复制参与复制的redis实例划分为主节点（master）和从节点（slave）,每个从…...

编程日记 2025/5/17 19:59:05

小白怎样部署和使用本地大模型DeepSeek ？

1 安装Ollama （1） 下载Ollama 从https://ollama.com/download 下载, 根据你的系统下载对应的版本，支持Win, Mac ,Linux： 如果下载不了，右键复制链接地址，贴到迅雷，指定可以下载下来。 (2) 安…...

编程日记 2025/5/19 15:21:44

ECharts 样式设置

ECharts 样式设置引言 ECharts 是一款功能强大的可视化库，广泛用于数据可视化。样式设置是 ECharts 中的重要一环，它能够帮助开发者根据需求调整图表的视觉效果，使其更加美观和易于理解。本文将详细介绍 ECharts 的样式设置，包…...

编程日记 2025/5/15 13:35:03

Java synchronized关键字和锁分类

专栏系列文章地址：https://blog.csdn.net/qq_26437925/article/details/145290162 本文目标： 关于synchronized已经有很多博主很细致的讲解了，本文主要是通过代码例子再次理解下，并要求能头脑反射出相关知识点主要是锁分类的知识…...

编程日记 2025/5/19 15:30:34

Vue.js 新的生命周期钩子：`onMounted`, `onUpdated` 等

Vue.js 新的生命周期钩子：onMounted, onUpdated 等今天我们来聊聊 Vue 3 中的生命周期钩子，特别是 onMounted、onUpdated 等。如果你对如何在 Vue 3 的组合式 API（Composition API）中使用这些钩子感到困惑，那么这篇文…...

编程日记 2025/5/19 15:32:15

OpenCV：闭运算

目录 1. 简述 2. 用膨胀和腐蚀实现闭运算 2.1 代码示例 2.2 运行结果 3. 闭运算接口 3.1 参数详解 3.2 代码示例 3.3 运行结果 4. 闭运算的应用场景 5. 注意事项相关阅读 OpenCV：图像的腐蚀与膨胀-CSDN博客 OpenCV：开运算-CSDN博客 1. 简述…...

编程日记 2025/5/17 6:54:24

Android 音视频编解码 -- MediaCodec

引言如果我们只是简单玩一下音频、视频播放，那么使用 MediaPlayer SurfaceView 播放就可以了，但如果想加个水印，加点其他特效什么的，那就不行了； 学习 Android 自带的硬件码类 – MediaCodec。 MediaCodec 介绍 Med…...

编程日记 2025/5/14 1:22:22

移动互联网用户行为习惯哪些变化，对小程序的发展有哪些积极影响

一、碎片化时间利用增加随着生活节奏的加快，移动互联网用户的碎片化时间越来越多。在等公交、排队、乘坐地铁等间隙，用户更倾向于使用便捷、快速启动的应用来满足即时需求。小程序正好满足了这一需求，无需下载安装，随时可用&…...

编程日记 2025/5/13 13:39:09

数据分析系列--②RapidMiner导入数据和存储过程

一、下载数据二、导入数据 1. 在本地计算机中创建3个文件夹 2. 从本地选择.csv或.xlsx 三、界面说明四、存储过程 1.保存 Congratulations, you are done. 一、下载数据点击下载AssociationAnalysisData.xlsx数据集二、导入数据 1. 在本地计算机中创建3个文件夹 2. 从…...

编程日记 2025/5/19 15:14:39

Prometheus 中的 Exporter

在 Prometheus 生态系统中，Exporter 扮演着至关重要的角色，它们负责从不同的服务或系统中收集和暴露度量数据。本文将详细介绍 Exporter 的概念、类型以及如何有效使用它们将 Prometheus 集成到各种系统中进行监控。什么是 Exporter？ Exporter 是一段软件，它从应用程序或…...

编程日记 2025/5/19 9:26:14

从 HTTP/1.1 到 HTTP/3：如何影响网页加载速度与性能

一、前言在最近使用Apipost时，突然注意到了http/1.1和http/2，如下图： 在我根深蒂固的记忆中，对于http的理解还停留在TCP协议、三次握手。由于我的好奇心，于是触发了我被动“开卷”，所以有了这篇文章&…...

编程日记 2025/5/19 15:30:34

GenAI 在金融服务领域的应用：2025 年的重点是什么

作者：来自 Elastic Karen Mcdermott GenAI 不是魔法我最近参加了 ElasticON，我们与纽约 Elastic 社区一起度过了一天，讨论了使用检索增强生成 (retrieval augmented generation - RAG) 为大型语言模型 (large language models - LLMs) 提供…...

编程日记 2025/5/16 7:31:54

小红书文案生成器（基于openai API和streamlit）

prompt_text.py： # 专门用来放提示文本（系统提示、用户提示）system_prompt_text """ 你是小红书爆款写作专家，请你遵循以下步骤进行创作：首先产出5个标题（包含适当的emoji表情&#xff09…...

编程日记 2025/5/18 8:31:34

Spring AOP 入门教程：基础概念与实现

目录第一章：AOP概念的引入第二章：AOP相关的概念 1. AOP概述 2. AOP的优势 3. AOP的底层原理第三章：Spring的AOP技术 - 配置文件方式 1. AOP相关的术语 2. AOP配置文件方式入门 3. 切入点的表达式 4. AOP的通知类型第四章&#x…...

编程日记 2025/5/14 16:17:13

力扣面试150 快乐数循环链表找环链表抽象哈希

Problem: 202. 快乐数 👩‍🏫 参考题解 Code public class Solution {public int squareSum(int n) {int sum 0;while(n > 0){int digit n % 10;sum digit * digit;n / 10;}return sum;}public boolean isHappy(int n) {int slow n, fast squa…...

编程日记 2025/5/19 15:16:04

【实战篇章】深入探讨：服务器如何响应前端请求及后端如何查看前端提交的数据

文章目录深入探讨：服务器如何响应前端请求及后端如何查看前端提交的数据一、服务器如何响应前端请求HTTP 请求生命周期全解析1.前端发起 HTTP 请求（关键细节强化版）2. 服务器接收请求（深度优化版） 二、后端如何查看前…...

编程日记 2025/5/19 15:19:57

《AI大模型开发笔记》DeepSeek技术创新点

一、DeepSeek横空出世 DeepSeek V3 以颠覆性技术架构创新强势破局！革命性的上下文处理机制实现长文本推理成本断崖式下降，综合算力需求锐减90%，开启高效 AI 新纪元！ 最新开源的 DeepSeek V3模型不仅以顶尖基准测试成绩比肩业界 …...

编程日记 2025/5/12 17:12:21

【大模型LLM面试合集】大语言模型架构_MHA_MQA_GQA

MHA_MQA_GQA 1.总结在 MHA（Multi Head Attention） 中，每个头有自己单独的 key-value 对；标准的多头注意力机制，h个Query、Key 和 Value 矩阵。在 MQA（Multi Query Attention） 中只会有一组 k…...

编程日记 2025/5/17 21:20:04

实战技巧：如何快速增加网站的收录页面？

本文转自：百万收录网原文链接：https://www.baiwanshoulu.com/43.html 要快速增加网站的收录页面，可以从以下几个方面进行实战优化： 一、内容优化高质量原创内容确保网站内容具备高质量与原创性，满足搜索引擎对独…...

编程日记 2025/5/19 15:41:17

20-30 五子棋游戏

20-分析五子棋的实现思路_哔哩哔哩_bilibili20-分析五子棋的实现思路是一次性学会 Canvas 动画绘图（核心精讲50个案例）2023最新教程的第21集视频，该合集共计53集，视频收藏或关注UP主，及时了解更多相关视频内容。https:…...

编程日记 2025/5/15 3:59:18

PYH与MAC的桥梁MII/MIIM

在学习车载互联网时，看到了一句话，Processor通过DMA直接存储访问与MAC之间进行数据的交互，MAC通过MII介质无关接口与PHY之间进行数据的交互。常见的以太网硬件结构是，将MAC集成进Processor芯片，将PHY留在Processor片外…...

编程日记 2025/5/14 5:05:05

pytorch基于 Transformer 预训练模型的方法实现词嵌入（tiansz/bert-base-chinese）

以下是一个完整的词嵌入（Word Embedding）示例代码，使用 modelscope 下载 tiansz/bert-base-chinese 模型，并通过 transformers 加载模型，获取中文句子的词嵌入。 from modelscope.hub.snapshot_download import snaps…...

编程日记 2025/5/15 4:46:09

探秘 TCP TLP：从背景到实现

回家的路上还讨论了个关于 TCP TLP 的问题，闲着无事缕一缕。本文内容参考自 Tail Loss Probe (TLP): An Algorithm for Fast Recovery of Tail Losses 以及 Linux 内核源码。 TLP，先说缘由。自 TCP 引入 Fast retrans 机制就是为了尽力避免 RTO&#xf…...

编程日记 2025/5/14 17:59:37

MCU内部ADC模块误差如何校准

本文章是笔者整理的备忘笔记。希望在帮助自己温习避免遗忘的同时，也能帮助其他需要参考的朋友。如有谬误，欢迎大家进行指正。一、ADC误差校准引言 MCU 片内 ADC 模块的误差总包括了 5 个静态参数 (静态失调，增益误差，微分非线性…...

编程日记 2025/5/15 5:58:37

国产之光DeepSeek架构理解与应用分析

目录初步探索DeepSeek的设计一、核心架构设计二、核心原理与优化三、关键创新点四、典型应用场景五、与同类模型的对比优势六、未来演进方向从投入行业生产的角度看一、DeepSeek的核心功能扩展二、机械电子工程产业中的具体案例 1. 预测性维护（Predictive…...

编程日记 2025/5/18 14:29:41

群晖NAS安卓Calibre 个人图书馆

docker 下载镜像johngong/calibre-web，安装之我是本地的/docker/xxx/metadata目录映射到 /usr/local/calibre-web/app/cps/metadata_provider CALIBREDB_OTHER_OPTION 删除 CALIBRE_SERVER_USER calibre_server_user 缺省用户名口令 admin admin123 另外有个N…...

编程日记 2025/5/16 14:11:37

openRv1126 AI算法部署实战之——Tensorflow模型部署实战

在RV1126开发板上部署Tensorflow算法，实时目标检测RTSP传输。视频演示地址 rv1126 yolov5 实时目标检测 rtsp传输_哔哩哔哩_bilibili 一、准备工作从官网下载tensorflow模型和数据集手动在线下载： https://github.com/tensorflow/models/b…...

编程日记 2025/5/14 2:28:20

HTML特殊符号的使用示例

编程日记 2025/5/15 10:44:36

如何对系统调用进行扩展?

扩展系统调用是操作系统开发中的一个重要任务。系统调用是用户程序与操作系统内核之间的接口，允许用户程序执行内核级操作（如文件操作、进程管理、内存管理等）。扩展系统调用通常包括以下几个步骤：一、定义新系统调用扩展系统调用首先需要定义新的系统调用的功能。系统…...

编程日记 2025/5/17 11:23:44

【MFC】C++所有控件随窗口大小全自动等比例缩放源码(控件内字体、列宽等未调整) 20250124

MFC界面全自动等比例缩放 1.在初始化里枚举每个控件记录所有控件rect 2.在OnSize里，根据当前窗口和之前保存的窗口的宽高求比例x、y 3.枚举每个控件，根据比例x、y调整控件上下左右,并移动到新rect struct ControlInfo {CWnd* pControl;CRect original…...

编程日记 2025/5/17 17:16:06

前端 | 深入理解Promise

1. 引言 JavaScript 是一种单线程语言，这意味着它一次仅能执行一个任务。为了处理异步操作，JavaScript 提供了回调函数，但是随着项目处理并发任务的增加，回调地狱 (Callback Hell) 使异步代码很难维护。为此，ES6带来了…...

编程日记 2025/5/16 20:34:25

【视频+图文讲解】HTML基础2-html骨架与基本语法

图文教程基本骨架举个例子，下图所展示的为html的源代码 -!DOCTYPE：表示文档类型（后边写的html表示文档类型是html）；其中“！”表示声明只要是加这个声明标签的，浏览器就会把下边的源代码当…...

编程日记 2025/5/18 13:30:25

LabVIEW在电机自动化生产线中的实时数据采集与生产过程监控

在电机自动化生产线中，实时数据采集与生产过程监控是确保生产效率和产品质量的重要环节。LabVIEW作为一种强大的图形化编程平台，可以有效实现数据采集、实时监控和自动化控制。详细探讨如何利用LabVIEW实现这一目标，包括硬件选择、软件架构设…...

编程日记 2025/5/17 20:15:54

《深入理解HTTP交互与数据监控：完整流程与优化实践》

文章目录 🌐 全链路解析：HTTP请求响应与数据可视化监控一、HTTP请求响应全流程解析1. 全链路交互流程图2.关键技术实现2.1 前端请求构造（ES6语法示例）2.2 服务端处理架构（Node.js/Express） 二、数据可视化监…...

编程日记 2025/5/16 1:56:44

pytorch使用SVM实现文本分类

人工智能例子汇总：AI常见的算法和例子-CSDN博客完整代码： import torch import torch.nn as nn import torch.optim as optim import jieba import numpy as np from sklearn.model_selection import train_test_split from sklearn.feature_extract…...

编程日记 2025/5/18 9:17:34