当前位置：首页 > news >正文

HTTP/HTTPS基础 - URL结构(协议、域名、端口、路径、参数、锚点) - 请求方法(GET、POST) - 请求头/响应头 - 状态码含义

news 来源：原创 2025/6/5 16:29:35

# HTTP/HTTPS基础知识点详解

## 1. URL结构

### 协议部分
- `http://` - 超文本传输协议，明文传输
- `https://` - 安全的超文本传输协议，使用SSL/TLS加密
- 爬虫注意点：HTTPS网站有TLS指纹(JA3指纹)，可被用于检测爬虫

### 域名部分
- 顶级域名：`.com`、`.org`、`.cn`等
- 二级域名：`example.com`中的`example`
- 子域名：`blog.example.com`中的`blog`
- 爬虫注意点：有时同一网站内容在不同子域名有不同访问限制

### 端口部分
- 格式：`:`后跟数字，如`:80`、`:443`
- 默认端口：HTTP为80，HTTPS为443
- 爬虫注意点：非标准端口可能有不同的访问策略

### 路径部分
- 以`/`分隔的字符串，表示服务器上资源位置
- 示例：`example.com/news/technology`
- 爬虫注意点：URL路径通常反映网站结构，有助于构建爬虫规则

### 参数部分
- 以`?`开始，`&`分隔多个参数
- 格式：`?key1=value1&key2=value2`
- 爬虫注意点：参数常用于分页、筛选和搜索，对动态内容爬取至关重要

### 锚点部分
- 以`#`开始，指向页面特定部分
- 示例：`example.com/page#section2`
- 爬虫注意点：锚点不会发送到服务器，仅客户端有效，通常不影响爬虫数据获取

## 2. 请求方法

### GET
- 用途：获取资源，无副作用
- 特点：参数附加在URL中，有长度限制，可被缓存
- 爬虫应用：大多数基础爬虫使用GET请求获取页面内容

### POST
- 用途：提交数据，可能有副作用
- 特点：参数在请求体中，无长度限制，默认不缓存
- 爬虫应用：表单提交、登录、需要发送大量数据的场景

### 其他重要方法
- HEAD：仅获取响应头，不获取响应体
- PUT：上传资源，替换原有资源
- DELETE：删除资源
- OPTIONS：查询服务器支持的方法
- 爬虫应用：HEAD可用于检查资源是否存在，节省带宽

## 3. 请求头/响应头

### 常用请求头
- `User-Agent`：标识客户端类型，爬虫必备
- `Accept`：指定客户端接受的内容类型
- `Accept-Language`：指定语言偏好
- `Accept-Encoding`：指定接受的编码方式
- `Cookie`：存储用户会话信息
- `Referer`：标识请求来源页面
- `Authorization`：认证信息
- `Content-Type`：POST请求的数据类型
- `X-Requested-With`：标识AJAX请求

### 常用响应头
- `Content-Type`：返回内容的类型
- `Content-Length`：响应体长度
- `Content-Encoding`：响应体编码方式
- `Set-Cookie`：设置Cookie
- `Location`：重定向目标URL
- `Cache-Control`：缓存控制策略
- `ETag`：资源标识符，用于缓存验证

### 爬虫相关
- 反爬策略常检测的头部：`User-Agent`、`Referer`、`Cookie`
- 设置适当的`User-Agent`可降低被封风险
- 某些网站需要特定请求头值才能正常响应

## 4. 状态码含义

### 1xx - 信息性状态码
- 100 Continue：继续发送请求
- 101 Switching Protocols：协议切换

### 2xx - 成功状态码
- 200 OK：请求成功
- 201 Created：资源创建成功
- 204 No Content：成功但无返回内容

### 3xx - 重定向状态码
- 301 Moved Permanently：永久重定向
- 302 Found：临时重定向
- 304 Not Modified：资源未修改，使用缓存

### 4xx - 客户端错误状态码
- 400 Bad Request：请求语法错误
- 401 Unauthorized：未授权/需要身份验证
- 403 Forbidden：服务器拒绝访问
- 404 Not Found：资源不存在
- 429 Too Many Requests：请求过多（常见于爬虫被限制）

### 5xx - 服务器错误状态码
- 500 Internal Server Error：服务器内部错误
- 502 Bad Gateway：网关错误
- 503 Service Unavailable：服务暂时不可用
- 504 Gateway Timeout：网关超时

### 爬虫处理策略
- 2xx：正常处理数据
- 3xx：根据重定向目标继续请求
- 4xx：分析原因（可能是反爬措施）
- 429：实施延迟/代理策略
- 5xx：稍后重试

HTTP/HTTPS基础 - URL结构(协议、域名、端口、路径、参数、锚点) - 请求方法(GET、POST) - 请求头/响应头 - 状态码含义

# HTTP/HTTPS基础知识点详解 ## 1. URL结构 ### 协议部分 - http:// - 超文本传输协议，明文传输 - https:// - 安全的超文本传输协议，使用SSL/TLS加密 - 爬虫注意点：HTTPS网站有TLS指纹(JA3指纹)，可被用于检测爬虫 ### 域名部分…...

编程日记 2025/5/27 8:32:31

2025抓包工具Reqable手机抓包HTTPS亲测简单好用-快速跑通

前言自安卓7.0高版本系统不在信任用户证书，https抓包方式市面查找方法太过复杂手机要root等，前置条件要求太高太复杂，看的头痛，今天一台电脑按步骤操作完即可抓包https,给大家搞定抓包https问题。支持直接编辑修改请求参…...

编程日记 2025/6/4 2:55:23

大模型在胫骨平台骨折预测及治疗方案制定中的应用研究

目录一、引言 1.1 研究背景与目的 1.2 国内外研究现状 1.3 研究方法和创新点二、大模型预测胫骨平台骨折的原理和方法 2.1 相关大模型介绍 2.2 数据收集与预处理 2.3 模型训练与优化 2.4 模型评估指标三、术前预测与手术方案制定 3.1 骨折类型和严重程度预测 3.…...

编程日记 2025/5/29 13:09:26

AI图像处理之ComfyUI节点（二）

一、Load Checkpoint节点功能：用于加载预训练的大模型，如Stable Diffusion等参数： chechkpoint：选择加载的模型文件（.ckpt或.satetensors格式） MODEL：输出用于图像扩散预测的UNet模型 CLIP&…...

编程日记 2025/5/29 12:20:03

异常日志规范

目录一、错误码二、异常处理三、日志规约一、错误码强制： 1、错误码的制订原则：快速溯源、沟通标准化。 1）错误码必须能够快速知晓错误来源，可快速判断是谁的问题。 2）错误码必须能够清晰地比对（…...

编程日记 2025/5/29 13:35:36

pycharm连接github（详细步骤）

【前提：菜鸟学习的记录过程，如果有不足之处，还请各位大佬大神们指教（感谢）】 1.先安装git 没有安装git的小伙伴，看上一篇安装git的文章。安装git，2.49.0版本-CSDN博客打开cmd（…...

编程日记 2025/5/31 23:11:31

UESplineThicken节点

SplineThicken 函数用来使非常薄的多边形在渲染时显示为略厚。对于线缆、头发、草和其他此类对象，这种效果非常理想。 SplineThicken节点该节点始终朝向摄像机可以控制模型前后宽度可以连接到wpo上制作特效效果参考链接 https://dev.epicgames.com/document…...

编程日记 2025/5/29 16:59:14

【C++】map和set的使用

📌 个人主页： 孙同学_ 🔧 文章专栏：C 💡 关注我，分享经验，助你少走弯路文章目录 1. 序列式容器和关联式容器1.1 序列式容器1.2 关联式容器 2. set系列的使用2.1 set和multiset的参考文档2.2 se…...

编程日记 2025/5/19 5:40:11

MCP实战：在扣子空间用扣子工作流MCP，一句话生成儿童故事rap视频

扣子最近迎来重要更新，支持将扣子工作流一键发布成MCP，在扣子空间里使用。这个功能非常有用，因为我有很多业务工作流是在扣子平台上做的，两者打通之后，就可以在扣子空间里直接通过对话方式调用扣子工作流了&#xff0…...

编程日记 2025/5/30 9:10:40

c/c++的opencv直方图初识

C/C OpenCV中的图像直方图：零基础入门指南 📊 大家好！今天我们来聊聊图像处理中一个非常基础且重要的概念——直方图(Histogram)。如果你是OpenCV新手，或者对直方图感觉有点迷糊，别担心，这篇文章会用最简单…...

编程日记 2025/5/27 14:12:58

Spring Boot 与 RabbitMQ 的深度集成实践（一）

引言 ** 在当今的分布式系统架构中，随着业务复杂度的不断提升以及系统规模的持续扩张，如何实现系统组件之间高效、可靠的通信成为了关键问题。消息队列作为一种重要的中间件技术，应运而生并发挥着举足轻重的作用。消息队列的核心价值在于其…...

编程日记 2025/5/28 7:38:08

Android动态音频柱状图可视化解析：从原理到实现

Android动态音频柱状图可视化解析：从原理到实现一、整体架构设计二、核心组件设计三、核心代码实现四、交互设计与用户体验五、性能优化与问题解决一、整体架构设计 Android动态音频柱状图可视化解析在移动应用开发中，音频可视化是增强用户体验的重要手段。无论是音乐播放器…...

编程日记 2025/5/29 23:02:59

vue3大事件项目

这周写完了vue3的大事件项目，从中学到了很多东西，并且解決了一部分bug，現在就和大家分享一下我遇到的问题并且是如何解決的 1. QuillEditor 的 v-model 用法错误先讲一下quilleditor富文本的基本使用方法： 1.安裝quill依賴&am…...

编程日记 2025/6/1 7:15:08

MapReduce-WordCount实现按照value降序排序、字符小写、识别不同标点

要求： 输入文件的按照空格、逗号、点号、双引号等分词输入文件的大写字母全部换成小写文件输出要求按照value值降序排序 Hadoop给的wordcount示例代码以及代码理解基于map reduce的word count个人理解：输入的文件经过map reduce框架处理后&#…...

编程日记 2025/5/25 12:20:10

c++线段树之单点修改区间最大子段和-----P4513 小白逛公园

题目大意单点修改查询区间最大字段和解题思路如果线段树节点存储的是‘区间最大子段和’，如何合并？ 简单的加法或求极值都不行，仔细分析可得，父节点最大字段和可能为： 左子树最大子段和右子树最大子段和左子树最…...

编程日记 2025/5/29 13:52:47

[Java实战]Spring Boot整合Elasticsearch（二十六）

[Java实战]Spring Boot整合Elasticsearch（二十六） 摘要：本文通过完整的实战演示，详细讲解如何在Spring Boot项目中整合Elasticsearch，实现数据的存储、检索和复杂查询功能。包含版本适配方案、Spring Data Elasticsea…...

编程日记 2025/5/29 19:30:58

【深度学习新浪潮】大模型在哪些垂域已经有比较好的落地？

AI大模型在多个垂直领域已实现显著落地，以下结合可验证案例与行业数据展开说明：一、医疗健康：精准诊断与个性化治疗呼吸系统疾病诊断国家呼吸医学中心研发的LungDiag模型，基于公开临床数据集训练，在预印本研究中对肺炎、肺癌等10种疾病的辅助诊断准确率达92%。医联Med…...

编程日记 2025/5/28 8:12:36

软件测试全攻略：从概念到实践

目录测试指南针--概念篇 1. 什么是软件测试？ 2. 软件测试和软件开发的关系是什么？ 3. 测试需要哪些能力？ 4. 测试流程是什么样的？ 5. 什么是单元测试和集成测试？ 6. 软件的生命周期是什么样的？ 需求…...

编程日记 2025/5/27 8:03:37

linux hungtask detect机制分析

1，机制概述‌ hungtask detect 是 Linux 内核用于检测长时间阻塞（"hung"）任务的机制，主要针对因死锁、死循环或资源竞争导致无法调度的任务 ‌触发条件‌：任务在 TASK_UNINTERRUPTIBLE 状态持续超过预设阈值…...

编程日记 2025/5/24 20:30:10

影刀处理 Excel：智能工具带来的高效变革

1. 高效的数据处理能力 1.1 快速读取与写入数据影刀在处理 Excel 数据时展现出显著的读取与写入速度优势。传统方法处理大型 Excel 文件时，读取速度可能仅为每秒 100 行左右，而影刀通过优化底层代码和采用高效的文件解析算法，读取速度可达…...

编程日记 2025/5/29 15:18:20

2021ICPC四川省赛个人补题ABDHKLM

Dashboard - The 2021 Sichuan Provincial Collegiate Programming Contest - Codeforces 过题难度： A K D M H B L 铜奖 5 594 银奖 6 368 金奖 8 755 codeforces.com/gym/103117/problem/A 模拟出牌的过程，打表即可 // Code Start Here int t…...

编程日记 2025/5/24 0:58:35

HarmonyOS 影视应用APP开发--配套的后台服务go-imovie项目介绍及使用

网上有小伙伴对影视应用感兴趣，也想搞个自己的免费观影APP玩玩儿。前期博主开源的有uniapp版本和harmonyOS原生版本影视客户端，但是对博主开源的这个影视后台接口服务不太了解，不知道怎么用起来。这里总结介绍下该go-imove后台接口服务项目介…...

编程日记 2025/6/1 9:05:43

JAVA SE 多线程(上)

文章目录 📕1. Thread类及常见方法✏️1.1 创建线程✏️1.2 Thread 的常见构造方法✏️1.3 Thread 的几个常见属性✏️1.4 启动一个线程---start()✏️1.5 中断一个线程---interrupt()✏️1.6 等待一个线程---join()✏️1.7 获取当前线程引用✏️1.8 休眠当前线程 &…...

编程日记 2025/5/28 0:31:41

基于Bootstrap 的网页html css 登录页制作成品

目录前言一、网页制作概述二、登录页面 2.1 HTML内容 2.2 CSS样式三、技术说明书四、页面效果图前言 ‌Bootstrap‌是一个用于快速开发Web应用程序和网站的前端框架，由Twitter的设计师Mark Otto和Jacob Thornton合作开发。它基于HTML、CSS和JavaScri…...

编程日记 2025/5/31 15:02:56

AUTOSAR图解==＞AUTOSAR_SRS_Transformer

AUTOSAR Transformer 详解基于AUTOSAR标准的Transformer组件技术解析目录 1. AUTOSAR Transformer 概述 1.1 Transformer的作用1.2 Transformer在AUTOSAR中的位置2. Transformer架构设计 2.1 整体架构2.2 类结构设计2.3 交互流程3. Transformer类型与实现 3.1 SOME/IP Transf…...

编程日记 2025/5/29 15:23:26

iOS APP启动页及广告页的实现

iOS APP启动页及广告页的实现涉及UI布局、数据加载、倒计时控制、广告跳转等多个关键环节。以下是我的一些使用心得： 1. UI实现方案双Window方案原理：同时创建两个Window，主Window位于底层，广告Window覆盖在其上。通过切换mak…...

编程日记 2025/5/28 17:54:59

图绘Linux：基础指令脉络阁

目录 Linux命令行介绍目录操作 ls 目录所含文件信息 ls 常用选项 pwd 在那个目录下 cd 进入目录 mkdir 创建目录文件操作 touch 创建普通文件 echo向文件写入 cat 输出文件内容 cp 拷贝文件/目录 mv剪切重命名 rm 删除文件/目录查找 * 匹配符 man 查找指令 …...

编程日记 2025/5/28 17:22:39

数字格式化库 accounting.js的使用说明

accounting.js 是一个用于格式化数字、货币和金额的轻量级库，特别适合财务和会计应用。以下是其详细使用说明： 安装与引入通过 npm 安装： bash 复制下载 npm install accounting 引入： javascript 复制下载 const accounting …...

编程日记 2025/5/31 8:05:09

ngx_http_proxy_protocol_vendor_module 模块

一、前置要求启用 PROXY 协议在 listen 指令中添加 proxy_protocol 参数，例如： server {listen 80 proxy_protocol;listen 443 ssl proxy_protocol;… }商业订阅本模块仅在 Nginx 商业版中提供。二、示例配置 http {# 将 GCP 的 PSC 连接 ID 添…...

编程日记 2025/5/26 6:38:14

C++11-(2)

文章目录 （一）C11新增功能1.1 引用折叠1.1.1 在模板中使用引用折叠的场景1.1.2 引用折叠是如何实现的 1.2 完美转发1.3 lambda表达式语法1.3.1 定义1.3.2 lambda的使用场景1.3.3 捕捉列表1.3.4 mutable语法1.3.5 lambda的原理 （一&#xff09…...

编程日记 2025/5/27 8:11:20

LeetCode算法实战 - - - 双指针与移除元素、快慢指针与删除有序数组中的重复项

LeetCode算法实战 - - - 双指针与移除元素、快慢指针与删除有序数组中的重复项第一题 - - - 移除元素方法一 - - - 双重循环方法二 - - - 双指针方法三 - - - 相向双指针（面对面移动） 第二题 - - -…...

编程日记 2025/5/26 7:31:00

QT6 源（106）：阅读与注释重要的基类控件 QWidget，这是其精简版，完整注释版为篇 37

（1）原篇幅 37 为最开始整理，整理的不是太完善。重点不突出。故重新整理，但删除了大量的注释，重在突出本 QWidget类的内部逻辑，更易观察其包含了哪些内容。至于不理解的成员函数与属性，内容已不太…...

编程日记 2025/5/28 6:46:35

【Bluedroid】蓝牙HID DEVICE错误报告处理全流程源码解析

本文基于Android蓝牙协议栈代码，深入解析HID设备在接收非法指令（如无效的SET_REPORT）时的错误处理全流程，涵盖错误映射、协议封装、传输控制三大核心模块。重点剖析以下机制： HID协议规范错误码的动态转换策略控制通…...

编程日记 2025/5/27 7:04:52

Day29 类的装饰器

类也有修饰器，他的逻辑类似：接收一个类，返回一个修改后的类。例如添加新的方法或属性（如示例中的 log 方法）。修改原有方法（如替换 init 方法，添加日志）。甚至可以返回一个全新的类…...

编程日记 2025/5/29 18:05:29

学习黑客Active Directory 入门指南（二）

Active Directory 入门指南（二）：深入逻辑结构与物理组件 🌳🏢 大家好！欢迎回到 “Active Directory 入门指南” 系列的第二篇。在上一篇中，我们初步认识了Active Directory，了解了其…...

编程日记 2025/5/28 14:53:14

为什么el-select组件在下拉选择后无法赋值

为什么el-select组件在下拉选择后无法赋值 https://blog.csdn.net/ZHENGCHUNJUN/article/details/127325558 这个链接解决了大模型无法解决的问题大模型能够写基础且高级一些的代码，但是遇到再深入一些的问题，还是得问百度。对于我这种小白来说问题原因…...

编程日记 2025/6/1 12:37:43

FreeRTOS的学习记录（临界区保护，调度器挂起与恢复）

临界区在 FreeRTOS 中，临界区（Critical Section） 是指程序中一段必须以原子方式执行的代码区域，在此区域内不允许发生任务切换或中断干扰，以保护共享资源或执行关键操作。FreeRTOS 提供了多种机制来实现临界区&#…...

编程日记 2025/6/3 9:06:59

给个人程序加上MCP翅膀

背景最近MCP这个词真是到处都是，看起来特别高大上。我平时没事的时候也一直在关注这方面的技术，知道它是怎么一回事，也懂该怎么去实现。但可惜一直抽不出时间来自己动手搞一个MCP服务。网上关于MCP的教程一搜一大把，但基本上都是…...

编程日记 2025/5/28 15:52:21

2023年河南CCPC（ABCEFHK）

文章目录 2023河南CCPCA. 小水獭游河南(字符串)B. Art for Rest(数组切割)C. Toxel与随机数生成器(水)E. 矩阵游戏（dp）F. Art for Last(区间最小差分)H. Travel Begins(数学思维)K. 排列与质数（规律）总结 2023河南CCPC A. 小水獭…...

编程日记 2025/5/25 11:59:33

【 Redis | 实战篇秒杀优化】

目录前言： 1.分布式锁 1.1.分布式锁的原理与方案 1.2.Redis的String结构实现分布式锁 1.3.锁误删问题 1.4.锁的原子性操作问题 1.5.Lua脚本解决原子性问题 1.6.基于String实现分布式锁存在的问题 1.7.Redisson分布式锁 2.秒杀优化 3.秒杀的异步优化 3.1…...

编程日记 2025/5/27 7:48:52

【Spring】核心机制：IOC与DI深度解析

目录 1.前言 2.正文 2.1三层架构 2.2Spring核心思想（IOC与AOP） 2.3两类注解：组件标识与配置 2.3.1五大类注解 2.3.1.1Controller 2.3.1.2Service 2.3.1.3Repository 2.3.1.4Configuration 2.3.1.5Component 2.3.2方法注解&#x…...

编程日记 2025/5/29 10:29:07

1-机器学习的基本概念

文章目录一、机器学习的步骤Step1 - Function with unknownStep2 - Define Loss from Training DataStep3 - Optimization 二、机器学习的改进Q1 - 线性模型有一些缺点Q2 - 重新诠释机器学习的三步Q3 - 机器学习的扩展Q4 - 过拟合问题（Overfitting） 一、…...

编程日记 2025/5/26 10:42:02

ARM A64 STR指令

ARM A64 STR指令 1 STR (immediate)1.1 Post-index1.1.1 32-bit variant1.1.2 64-bit variant 1.2 Pre-index1.2.1 32-bit variant1.2.2 64-bit variant 1.3 Unsigned offset1.3.1 32-bit variant1.3.2 64-bit variant 1.4 Assembler symbols 2 STR (register)2.1 32-bit varia…...

编程日记 2025/5/26 7:42:01

相关文章：