尚硅谷爬虫note005
一、编解码
1.get请求的quote方法
将汉字转为Unicode字符
# _*_ coding : utf-8 _*_
# @Time : 2025/2/12 16:33
# @Author : 20250206-里奥
# @File : demo19_get请求的quote方法
# @Project : PythonProject10-14# 景甜page
# https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=%E6%99%AF%E7%94%9C#13用
# User-Agent# Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0#导入request
import urllib.request
from wsgiref.util import request_uri
#导入urllib.parse
import urllib.parsefrom demo14_urllib import response#2.字典:将网页源代码伪装成浏览器
headers ={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0"
}
# 1.获取网页源码
url = "https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd="#6.将汉字变成Unicode编码格式
#需要依赖于urllib下的parse，将景甜两个汉字转为编码格式
name = urllib.parse.quote('景甜')
#7.此时的url = url + name
url = url + name
print(url)
# print(name)# #3.模拟浏览器向服务器发送请求
# #3-2.urlopen中不允许传递字典形式的数据
# #4.请求对象的定制,需要指定关键字传参（参数顺序原因）
# request = urllib.request.Request(url = url,headers=headers)
# response = urllib.request.urlopen(request)
# #5.获取响应内容
# content = response.read().decode("utf-8")
# print(response)2.get请求的urlencode方法
# _*_ coding : utf-8 _*_
# @Time : 2025/2/13 08:53
# @Author : 20250206-里奥
# @File : demo20_url的encode方法
# @Project : PythonProject10-14import urllib.parse#
# url = "https://www.baidu.com/s?wd=景甜&sex=女"# # url的encode方法，参数以字典方式存在
# data = {
# "wd":"景甜",
# "sex":"女"
# }
#
# #将urlencode传递进去
# a = urllib.parse.urlencode(data)
# print(a)# 导入
import urllib.request
import urllib.parsefrom demo14_urllib import responsebasic_url = "https://www.baidu.com/s?"data = {"wd":"景甜","sex":"女"}new_data = urllib.parse.urlencode(data)print(new_data)
# 请求资源路径
url = basic_url + new_data
# User-Agent
# Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0
headers ={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:135.0) Gecko/20100101 Firefox/135.0"
}
# 请求对象的定制
request = urllib.request.Request(url = url,headers=headers)
#模拟浏览器向浏览器发送请求
response = urllib.request.urlopen(request)# 获取网页源码
content = response.read().decode("utf-8")
#打印数据
print(content)3. post请求方式
# _*_ coding : utf-8 _*_
# @Time : 2025/2/13 10:27
# @Author : 20250206-里奥
# @File : demo21_get的post请求方法
# @Project : PythonProject10-14# 导入
import urllib.request
import urllib.parse
from idlelib.rpc import response_queuefrom demo17_qingqiuduixaingdedingzhi import request, content# post请求url = "https://fanyi.baidu.com/sug"# 请求头
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36"
}
# 参数
data = {"kw":"hello"
}
#post请求的参数，必须进行编码
#该data是字符串类型，需要进行编码
# data = urllib.parse.urlencode(data)#data请求的参数，必须进行编码
data = urllib.parse.urlencode(data).encode("utf-8")#post请求的参数不会拼接在url后面，需要放在请求对象的定制中
request = urllib.request.Request(url = url, data=data, headers=headers)# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)# 获取数据
content = response.read().decode("utf-8")
#打印数据
print(content)
# print(type(content))# 将字符串类型转为json对象
import json
obj = json.loads(content)
print(obj)#psot请求特点
# post请求方式参数，必须编码
# 编码之后，必须调用encode（）方法
# 参数放在请求对象定制的方法中
相关文章：
尚硅谷爬虫note005
一、编解码 1.get请求的quote方法 将汉字转为Unicode字符 # _*_ coding : utf-8 _*_ # Time : 2025/2/12 16:33 # Author : 20250206-里奥 # File : demo19_get请求的quote方法 # Project : PythonProject10-14# 景甜page # https://www.baidu.com/s?ieutf-8&f8&rsv…...
词袋模型和词嵌入模型区别和关联分析（词袋模型是否属于词嵌入模型）
词袋模型（Bag of Words, BoW）不属于词嵌入模型，它们是两种完全不同的文本表示方法。以下从多个维度对比二者的核心区别 1. 本质区别 特性词袋模型 (BoW)词嵌入模型 (Word Embedding)表示形式离散的稀疏向量（高维，维度…...
)
借用python 学习 VM的 FTP(VisionMaster4.3)
无懒不python:看官方V社区有介绍: 需要安装 Quick Easy FTP Server V4.0.0.exe 为了表示敬意再次放出链接: V社区-机器智能技术交流-VM关于FTP存图的一点分享 好了VM先放一边 先用python自收 自发: 毕竟这个免费 FTP服务端: 0.ftpserver.py 需要安装的库 和 注意事项已经在…...
BDD风格测试
BDD风格测试（Behavior-Driven Development） BDD（行为驱动开发）是一种以自然语言描述系统行为的测试方法论，强调团队协作与业务价值验证。结合Mockito的BDD风格API，可以编写更符合业务场景描述、更易读的测…...
挂号管理系统【论文+源码+SQL脚本】)
[免费]Springboot+Vue医疗(医院)挂号管理系统【论文+源码+SQL脚本】
大家好，我是java1234_小锋老师，看到一个不错的SpringbootVue医疗(医院)挂号管理系统，分享下哈。 项目视频演示 【免费】SpringBootVue医疗(医院)挂号管理系统 Java毕业设计_哔哩哔哩_bilibili 项目介绍 在如今社会上，关于信息上…...
Linux 查看磁盘中的大文件
在 Linux 系统中，你可以使用以下方法来查看磁盘中的大文件信息： 1. 使用 find 命令 find 命令可以递归查找指定目录下的大文件。 find /path/to/directory -type f -size 100M -exec ls -lh {} \;/path/to/directory：要查找的目录路径&…...
浅识MQ的 Kafka、ActiveMQ、RabbitMQ、RocketMQ区别
DeepSeek回复： 以下是主流消息队列（MQ）的对比分析，结合核心特性、适用场景和实际案例说明： 一、主流MQ对比分析 维度 Kafka RabbitMQ RocketMQ ActiveMQ所属公司Apache（LinkedIn开源）…...
君海游戏岗位，需要私我
游戏岗位内推啦，需要找我哈 共14个职位 广告投放主管 社会招聘全国 广告投放 社会招聘全国 设计主管 社会招聘全国 海外投放 社会招聘广东省广州市 海外运营 社会招聘广东省广州市 产品运营专员 社会招聘广东省广州市 平台运营 社会招聘广东…...
Vue2/Vue3分别如何使用Watch
在 Vue 2 和 Vue 3 中，watch 用于监听数据的变化并执行相应的逻辑。虽然两者的核心功能相同，但在语法和使用方式上有一些区别。以下是 Vue 2 和 Vue 3 中使用 watch 的详细说明： Vue 2 中的 watch 在 Vue 2 中，watch 是通过选项式…...
boss直聘登录 网易易盾 无感 滑块 分析
声明: 本文章中所有内容仅供学习交流使用，不用于其他任何目的，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关！ 逆向分析 实测网站是存在风控的比较…...
蓝桥杯 Java B 组之日期与时间计算（闰年、星期计算）
Day 5：日期与时间计算（闰年、星期计算） 在编程竞赛中，日期和时间计算是常见考点，涉及 闰年判断、星期计算、日期间隔计算 等问题。本日的学习目标： 判断闰年计算某个日期是星期几计算两个日期之间相差多少…...
51单片机之引脚图（详解）
8051单片机引脚分类与功能笔记 1. 电源引脚 VCC（第40脚）：接入5V电源，为单片机提供工作电压。GND（第20脚）：接地端，确保电路的电位参考点。 2.时钟引脚 XTAL1（第19脚&a…...
掌控系统性能的利器：自动化系统性能监控工具
友友们好！ 我的新专栏《Python进阶》正式启动啦！这是一个专为那些渴望提升Python技能的朋友们量身打造的专栏，无论你是已经有一定基础的开发者，还是希望深入挖掘Python潜力的爱好者，这里都将是你不可错过的宝藏。 在这个专栏中，你将会找到： ● 深入解析：每一篇文章都将…...
用大模型学大模型03-数学基础 概率论 随机变量 概率分布
deepseek.com:什么是概率，什么是随机变量？深度学习中常用概率的分布有哪些？ 1. 什么是概率？ 概率是描述事件发生的可能性的数值，范围在 0 到 1 之间： 0：事件不可能发生。1：事件必…...
ASP.NET Core 使用 FileStream 将 FileResult 文件发送到浏览器后删除该文件
FileStream 在向浏览器发送文件时节省了服务器内存和资源，但如果需要删除文件怎么办？本文介绍如何在发送文件后删除文件；用 C# 编写。 另请参阅：位图创建和下载 使用FileStream向浏览器发送数据效率更高，因为文件是从…...
如何使用DHTMLX Scheduler的拖放功能，在 JS 日程安排日历中创建一组相同的事件
DHTMLX Scheduler 是一个全面的调度解决方案，涵盖了与规划事件相关的广泛需求。假设您在我们的 Scheduler 文档中找不到任何功能，并且希望在我们的 Scheduler 文档中看到您的项目。在这种情况下，很可能可以使用自定义解决方案来实现此类功能。…...
UE_C++ —— Unreal Interfaces
目录 一，Declare an Interface in C 二，Interface Specifiers 三，Implement an Interface in C 四，Declare Interface Functions 五，C Only Interface Functions 六，Blueprint Callable Interface Fu…...
mapbox 从入门到精通 - 目录
👨⚕️ 主页： gis分享者 👨⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨⚕️ 收录于专栏：mapbox 从入门到精通 文章目录 一、🍀总目录1.1 ☘️ mapbox基础1.2 ☘️…...
CentOS搭建PPPOE服务器
一、安装软件包 yum -y install rp-pppoe 二、配置服务器 1.修改配置文件 打开/etc/ppp/pppoe-server-options文件 nano /etc/ppp/pppoe-server-options 编辑为以下内容： # PPP options for the PPPoE server # LIC: GPL require-pap require-chap login …...
在 CentOS 系统中配置交换空间（Swap）解决内存不足
🚀 作者主页： 有来技术 🔥 开源项目： youlai-mall ︱vue3-element-admin︱youlai-boot︱vue-uniapp-template 🌺 仓库主页： GitCode︱ Gitee ︱ Github 💖 欢迎点赞 👍 收藏 ⭐评论 …...
pytorch训练五子棋ai
有3个文件 game.py 五子棋游戏 mod.py 神经网络模型 xl.py 训练的代码 aigame.py 玩家与对战的五子棋 game.py class Game:def __init__(self, h, w):# 行数self.h h# 列数self.w w# 棋盘self.L [[- for _ in range(w)] for _ in range(h)]# 当前玩家 - 表示空 X先…...
超越DeepSeek R1的Moe开源大模型 Qwen2.5-max 和 Qwen Chat Web UI 的发布，阿里搅动AI生态
敲黑板，说重点，最近阿里推出的 Qwen2.5-max 和 Qwen Chat Web UI，将对AI生态又一次冲击。 说冲击，因为 DeepSeek R1的热潮还未散退的情况下，由于服务器压力不能注册新的API，然后价格涨价，服务有…...
动态规划两个数组的dp问题系列一＞两个字符串的最小ASCII 删除和
这里写目录标题 题目解析：状态表示：状态转移方程：初始化：填表顺序：返回值：代码呈现： 题目解析： 状态表示： 状态转移方程： 初始化： 填表顺序&#…...
【C语言】程序环境与预处理
目录 程序的翻译环境和执行环境 粗谈编译链接 翻译环境 编译的几个阶段及链接 运行环境 预处理详解 预定义符号 #define #define 定义标识符 #define 定义宏 #define 替换规则 #和## 带副作用的宏参数 宏和函数的对比 命名约定 #undef 命令行定义 条件编译 …...
DeepSeek 背后的技术：GRPO，基于群组采样的高效大语言模型强化学习训练方法详解
强化学习（Reinforcement Learning, RL）已成为提升大型语言模型（Large Language Models, LLMs）推理能力的重要技术手段，特别是在需要复杂推理的任务中。DeepSeek 团队在 DeepSeek-Math [2] 和 DeepSeek-R1 [3] 模型中的…...
AnythingLLM打造私有知识库
一、 OllamaDeepSeek安装 https://blog.csdn.net/Stestack/article/details/145405151?spm1001.2014.3001.5502二、 nomic-embed-text nomic-embed-text主要用于文本嵌入和句子相似度任务，能够将这些任务应用于分类、聚类、检索等多种自然语言处理场景。该模型在…...
springboot多数据源事务管理
在Java应用中，使用多数据源时，事务管理是一个常见且复杂的问题。由于每个数据源都有自己的事务管理器，跨多个数据源的事务管理需要特别处理。以下是几种常见的解决方案： 1. JTA（Java Transaction API） JT…...
Lineageos 22.1 aosp15 定制学习专栏介绍
一.前言 学习了一段时间的rom开发，需求也大概做了一些，但是一直没有记录下来总结，这个专栏开始会基于如下平台开始尝试做一些常见模块的需求定制，记录学习，如果有错误欢迎指正，大家一起学习!至于pixel编译…...
win10中mstsc远程Centos-Stream 9图形化界面
文章目录 1 前置状态2 安装配置XRDP3 关闭SELinux3.1 查看selinux状态3.2 关闭selinux 4 启动XRDP5 Win10远程连接测试 1 前置状态 已安装CentOS9桌面版；Windows10。 2 安装配置XRDP sudo yum install epel-release sudo yum install xrdp sudo yum install tige…...
【Deepseek】解决Deepseek服务器繁忙的问题
随着Deepseek的爆火越来越多的人使用Deepseek,就导致很多情况下出现服务器繁忙的情况。本博客将讲述如何使用Deepseek不卡顿或者出现服务器繁忙的情况。 一.绕开官方服务器 现在无论是网页版还是app都是在访问【深度求索】的官方服务器，所以才会出现服务器繁忙的…...
【实战篇】室内设计师如何利用 DeepSeek 做设计：从灵感到落地的全方位指南
大家好！今天咱们来聊聊一个超级有趣的话题——室内设计师如何利用 DeepSeek 做设计。如果你是一名室内设计师，或者对室内设计感兴趣，那你一定知道，设计不仅仅是画画图、选选颜色那么简单。它涉及到灵感搜集、空间规划、材料选择、预算控制、客户沟通等一系列复杂的过程。而…...
从 ClickHouse 到 Apache Doris：在网易云音乐日增万亿日志数据场景下的落地
导读：日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案，替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度，规模达到…...
Linux执行一条命令并自动重试直到成功，自动化脚本
编辑filename.sh文件 sudo vim filename.shi 插入模式，编辑文件 # 定义函数来执行并重试每个命令 execute_with_retry() {local cmd"$1"while true; do# 执行命令，并将返回状态存储在STATUS变量中eval $cmdSTATUS$?# 检查命令是否成功&…...
洛谷 acwing刷题 有关图的存储形式和djstra算法的例题
在以往的408学习中，我们 往往采用邻接表和邻接矩阵解决图的存储问题， 但是经过刷题过程发现也有一种新的存储形式值得我们学习，废话不多说，直接上代码 讲解 初始的数组 int e[N], w[N], ne[N], h[H], idx; 算法过程 void add…...
SQL 大厂面试题目（由浅入深）
今天给大家带来一份大厂SQL面试覆盖：基础语法 → 复杂查询 → 性能优化 → 架构设计，大家需深入理解执行原理并熟悉实际业务场景的解决方案。 1. 基础查询与过滤 题目：查询 employees 表中所有薪资（salary）大于 10000…...
用 Python 实现 DeepSeek R1 本地化部署
DeepSeek R1 以其出色的表现脱颖而出，不少朋友想将其本地化部署，网上基于 ollama 的部署方式有很多，但今天我要带你领略一种全新的方法 —— 使用 Python 实现 DeepSeek R1 本地化部署，让你轻松掌握，打造属于自己的 AI…...
ToDesk远程打印详细设置步骤教学
很多小伙伴常有打印、远程打印的需求，特别是对于电商人、跨境电商、教师、产品经理、实验人员等群体来说掌握这项技能可谓是能够在很多场景下带来便捷，大幅提升做事效率！那么是否有方法可以随时随地实现这样需求呐？答案是肯定的&a…...
spring 学习 （注解）
目录 前言 常用的注解 须知 1 Conponent注解 demo（案例） 2 ControllerServiceRepository demo(案例） 3 ScopeLazyPostConstructPreDestroy demo(案例） 4 ValueAutowiredQualifierResource demo(案例） 5 Co…...
】CSS基本选择器详解：掌握基础，轻松布局网页)
【学术投稿-第四届智能电网和绿色能源国际学术会议（ICSGGE 2025)】CSS基本选择器详解：掌握基础，轻松布局网页
可线上 官网：www.icsgge.org 时间：2025年2月28-3月2日 目录 前言 一、基本选择器简介 1. 元素选择器（Type Selector） 基本语法 示例 注意事项 2. 类选择器（Class Selector） 基本语法 示例 注意…...
5种解决方式来应对deepseek暂时无法回答
在工作中，你是否常常遇到deepseek回复“暂时无法回答”的情况？根据某权威机构的调研数据显示，约73%的用户在使用此类工具时遇到过类似问题，这严重影响了工作效率和体验。本文将为你提供5种实测有效的解决方法，帮助你快…...
【C/C++算法】从浅到深学习--- 二分查找（图文兼备 + 源码详解）
绪论：冲击蓝桥杯一起加油！！ 每日激励：“不设限和自我肯定的心态：I can do all things。 — Stephen Curry” 绪论： 本章是算法篇章的第三章二分算法，本章主要是通过题目的形式来进行学习&…...
HTML之JavaScript使用JSON
HTML之JavaScript使用JSON JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。JSON是JavaScript对象的字符串表示法，它使用文本表示一个js对象的信息，可以将json字符串转换…...
elementui：element中el-dialog点击关闭按钮清除里面的内容和验证
问： element中el-dialog点击关闭按钮清除里面的内容和验证 回答： 在el-form中设置:before-close取消的回调函数就可以了...
从零搭建微服务项目（第5章——SpringBoot项目LogBack日志配置+Feign使用）
前言： 本章主要在原有项目上添加了日志配置，对SpringBoot默认的logback的配置进行了自定义修改，并详细阐述了xml文件配置要点（只对日志配置感兴趣的小伙伴可选择直接跳到第三节），并使用Feign代替原有RestT…...
)
传输层协议TCP (上)
文章目录 前言TCP报文格式TCP连接管理连接建立与中止三次握手三次握手的状态变化为什么是三次握手 四次挥手四次挥手的状态变化FIN_WAIT_2 状态可能导致连接长时间不释放的问题TIME_WAIT状态作用 复位报文段非法连接请求其他异常情况 半打开连接同时握手同时关闭 参考资料 前言…...
Proxmox 更新软件包数据库（TASK ERROR: command ‘apt-get update‘ failed: exit code 100）
1、连接自己报错的物理机Shell，编辑文件 vi /etc/apt/sources.list.d/pve-enterprise.list 2、注释文件的第一行在开头加上# 按I进入编辑模式后 开头添加# 然后shift： 输入wq或者wq！进行保存 3、注释后执行两个命令apt-get update 和 apt…...
java程序员进阶之路需要的学习过程
http://blog.csdn.net/qq_37267015/article/details/77108692...
C#01项目——计算器
实现需求: 可以连续相加，并记录计算表达式。 实现逻辑 1、利用字符串加减原则，获取相加的数值。 2、将数值存入到列表中，需要计算最终结果时，遍历列表中数值，全部相加 数字键 判断计算式长度是否超出上限根据运算…...
windows蓝牙驱动开发-在蓝牙配置文件驱动程序中接受 L2CAP 连接
L2CAP 服务器配置文件驱动程序会响应来自远程设备的传入逻辑链接控制和适应协议 (L2CAP) 连接请求。 例如，PDA 的 L2CAP 服务器配置文件驱动程序将响应来自 PDA 的传入连接请求。 接收传入 L2CAP 连接请求 1. 若要接收来自特定 PSM 的任何远程设备的传入 L2CAP 连…...
如何下载AndroidStudio的依赖的 jar，arr文件到本地
一、通过jitpack.io 下载依赖库 若需要下载 com.github.xxxxx:yy-zzz:0.0.2 的 jar则 https://jitpack.io/com/github/xxxxx/yy-zzz/0.0.2/ 下会列出如下build.logyy-zzz-0.0.2.jaryy-zzz-0.0.2.pomyy-zzz-0.0.2.pom.md5yy-zzz-0.0.2.pom.sha1jar 的下载路径为https://jitpack…...