当前位置：首页 > news >正文

python的urllib模块和http模块

news 来源：原创 2025/7/14 2:46:18

1.python的urllib库用于操作网页，并对网页内容进行处理

urllib包有如下模块：

urllib.request：打开和读取URL

urllib.error：包含urllib.request抛出的异常

urllib.parse：解析URL

urllib.robotparser：解析robots.txt文件

urllib的request模块

urllib.request定义了一些打开URL的函数和类，包含授权验证、重定向、浏览器cookies等

urllib.request可以模拟浏览器的一个请求发起过程

我们可以使用urllib.request的urlopen方法来打开一个URL，语法格式如下

urllib.request.urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cadefault=False, context=None)

url：url地址

data：发送到服务器的其他数据对象，默认为None

timeout：设置访问超时时间

cafile和capath：cafile为CA证书，capath为CA证书的路径，使用HTTPS需要用到

cadefault：已经被启用

context：ssl.SSLContext类型，用来指定SSL设置

read来读取全部内容

import urllib.request
myurl=urllib.request.urlopen('http://www.baidu.com')
print(myurl.read()) #read用来读取网站的所有内容

可以指定长度，指定长度为300个字符

import urllib.request
myurl=urllib.request.urlopen('http://www.baidu.com')
print(myurl.read(300))

通过readline读取一行内容

import urllib.request
myurl=urllib.request.urlopen('http://www.baidu.com')
print(myurl.readline())

readlines来读取文件的所有内容，读取到的内容赋值给一个列表变量

from urllib.request
myurl=urllib.request.urlopen('http://www.baidu.com')
print(myurl.readlines())

判断网页是否可以正常访问

import urllib.request
myurl=urllib.request.open('http://www.baidu.com')
print(myurl.getcode())  #返回问的状态码是多少
try:myurl2=urllib.request.urlopen('http://www.baidu.com/no.html')
except urllib.error.HTTPError as e:if e.code==404print(404)

抓取网页保存到本地

from urllib.request
myurl=urllib.request.urlopen('http://www.baidu.com')
f=open('1.html','wb')
context=myurl.read()
f.write(context)   
f.close()

url编码和解码可以使用quote和unquote方法

import urllib.request
encode=urllib.request.quote('http://www.baidu.com')  #对字符进行编码
print(encode)
decode=urllib.request.unquote(encode)  #对变量encode进行解码
print(decode)结果为：
https%3A//www.runoob.com/
https://www.runoob.com/

模拟头部信息：

我们抓取网页一般需要对header(网页头部信息)进行模拟，需要用到urllib.request.Request类

class urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)url：url地址
data：发送到服务器其他数据对象，默认为None
headers：http请求的头部信息，字典格式
origin_req_host：请求的主机地址，ip或者域名
unverifiable：少用参数，用于设置网页是否需要验证，默认为False
method：请求方法，GET,POST,DELETE,PUT等

实例1-1

import urllib.request
import urllib.parse
url='https://www.runoob.com/s=' #这个是菜鸟的搜索网址
keyword='java教程'  #这个是搜索的内容
keycode=urllib.request.quote(keyword)  #对请求进行编码
urlall=url+keycode  
header={'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
#这里reqeust对象通过Request类来构建http亲贵
request=urllib.request.Request(urlall,headers=header) 
#这里请求了request这个对象，然后结果赋值到了response里
response=urllib.reqeust.urlopen(request)
print(response.read())

执行以上代码会打印出来菜鸟教程中搜索java教程后的页面代码

实例1-2 使用POST传递数据

1.先定义一个POST的html页面

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title>
</head>
<body><form action="" type="text" name="myform">Nmae:<input type="text" name="name"><br>Pass:<input type="text" name="pass"><br><input type="submit" value="提交"></form><hr><?phpif(isset($_POST['name']) &&$_POST['pass']){echo 'hello word!';}?>
</body>
</html>

使用urllib来提交数据，看回显源码

import urllib.request
import urllib.parse
url='https://www.runoob.com/try/py3/py3_urllib_test.php'  #提交到表单页面
data={'name':'RUNOOB','tag':'菜鸟教程'}   #提交数据
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0'
}
data=urllib.parse.urlencode(data).encode() #对参数进行编码，解码使用urllib.parse.urldecode()
request=urllib.request.Request(url,data,header)
response=urllib.request.urlopen(request).read()
print(response.decode())

源码如下，通过1.html来打开就可以看到网站回显了

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>菜鸟教程(runoob.com) urllib POST  测试</title>
</head>
<body>
<form action="" method="post" name="myForm">Name: <input type="text" name="name"><br>Tag: <input type="text" name="tag"><br><input type="submit" value="提交">
</form>
<hr>
RUNOOB, 菜鸟教程</body>
</html>

urllib的error模块

1.urllib.error模块为urllib.request所引发的异常定义了异常类，基础异常类是URLError

urlib.error包含了两个方法，URLError和HTTPError

URLError是OSError的一个子类，用于处理程序在遇到问题会引发此异常，包含的属性reason为引发异常的原因，

HTTPError是URLError的一个子类，用于处理特殊HTTP错误，例如作为认证请求的时候，包含的属性code为HTTP的状态码，reason为引发异常的原因，headers为导致HTTPError的特定http请求的http响应头

实例1-1：对不存在的页面抓取并处理异常

import urllib.request
import urllib.errormyURL1 = urllib.request.urlopen("https://www.runoob.com/")
print(myURL1.getcode())   # 200try:myURL2 = urllib.request.urlopen("https://www.runoob.com/no.html")
except urllib.error.HTTPError as e:if e.code == 404:print(404)   # 404

urllib的parse模块

urllib.parse模块用于解析URL，格式如下

urllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)urlstring    字符串的URL地址，scheme为协议类型
allow_fragments   参数为false，则无法识别片段标识符，他们被解析为路径，参数或者查询组件的一部分，并fragments在返回值中设置为空字符串

实例1-1

from urllib.parse import urlparse
o=urlparse("https://www.runoob.com/?s=python+%E6%95%99%E7%A8%8B")
print(o)返回结果：
ParseResult(scheme='https', netloc='www.runoob.com', path='/', params='', query='s=python+%E6%95%99%E7%A8%8B', fragment='')

从以上可以看出，内容是一个元组，包含6个字符串：协议，位置，路径，参数，查询，判断

我们可以直接读取协议：

from urllib.parse import urlparse
o=urlparse('https://www.runoob.com/?s=python+%E6%95%99%E7%A8%8B')
print(o.scheme)  #schema是协议返回结果为：
https   
说明用的是https协议

urlparse模块的解释

属性        索引        值                        值（如果不存在）
scheme       0         URL协议                    scheme参数
netloc       1         网络位置                   空字符串
path         2         分层路劲                   空字符串
params       3         最后路径元素的参数          空字符串
query        4         查询组件                   空字符串
fragment     5         片段识别                   空字符串
username               用户名                     None
password               密码                       None
hostname               主机名（小写）              None
port                  端口号为整数(如果存在)       None

http包简介：

http包提供了使用HTTP协议的一些功能，其主要模块如下：

http.client    底层的http协议客户端，可以为urllib.request模块所用
http.server    提供了基于http协议客户端，可以为urllib.request模块所用
http.cookies   coolies的管理工具
http.cookiejar  提供了cookies的持久化支持在http.client模块中用于客户端的类如下所示，
HTTPConnection    基于HTTP协议的访问客户端
HTTPSConnection   基于HTTPS协议的访问客户端
HTTPResponse      基于HTTP协议的服务端响应HTTPConnection构造方法原型如下：
HTTPConnection(host,port=None,[timeout,]source_address=None)参数意义如下：
host    服务器的地址
port    用来指定访问的服务器端口，不提供则从host中提取，否则使用80端口
timeout    指定超时秒数HTTPConnection对象的主要方法如下
request(method,url,body,headers)
method    发送的操作，一般为GET或POST
url       进行操作的URL
body      发送的数据
headers   发送的HTTP头当服务器发送请求后，可以使用HTTPConnection对象的getresponse()方法返回一个HTTPResponse对象，使用HTTPConnection对象的close()方法可以关闭服务器的连接，除了使用 request方法以外，还可以使用以下方法向服务器发送请求 putrequest(request,selector,skip_host,skip_accept_encoding)
putheader(header,argument,...)
endheaders()
send(data)putrequest方法的参数如下
request    所发送的操作，如POST,GET,PUT
selector   进行操作的URL
skip_host  可选参数，若为真，禁止自动发送'HOST”
skip_accept_encoding    可选参数，若为真，禁止自动发送Accept-Encoding:headersputheader方法的参数含义如下
header    发送的HTTP头
argument    发送的参数send方法的含义
data    发送的数据

实例1-1 使用http.client.HTTPConnection对象访问网站，

from http.client import HTTPConnection
mc=HTTPConnection('www.baidu.com')  #定义基于http的访问客户端对象
mc.request('GET','/')  #请求方法为GET，url为根目录
res=mc.getresponse()  #获取服务器响应
print(res.status,res.reason)  #status返回状态码，reason返回对应状态码的短语OK
print(res.read().decode())  #读取通过第4行响应的所有内容，内容进程字节串解码

代码说明：进本的访问示例，实例化http.client.HTTPConnection对象，指定请求方法为GET，最后使用getresponse()方法取得访问的网页，打印出响应的状态与网页

python的urllib模块和http模块

1.python的urllib库用于操作网页，并对网页内容进行处理 urllib包有如下模块： urllib.request：打开和读取URL urllib.error： 包含urllib.request抛出的异常 urllib.parse： 解析URL urllib.robotparser&#xff1…...

编程日记 2025/7/14 2:46:18

Codigger集成Copilot：智能编程助手

在信息技术的快速发展中，编程效率和创新能力的提升成为了开发者们追求的目标。Codigger平台通过集成Copilot智能编程助手，为开发者提供了一个强大的工具，以增强其生产力、创新力和技能水平。本文将深入探讨Codigger与Copilot的集成如何为IT专…...

编程日记 2025/7/14 2:06:41

快递物流查询API接口推荐

针对快递物流查询API接口及行政区划解析的需求，以下是一些推荐和解析： ### 一、快递物流查询API接口推荐 1. **ShowAPI** * **功能**：支持国内外1500快递物流公司的物流跟踪服务，包括顺丰、圆通、申通、中通、韵达等主流快递公司…...

编程日记 2025/7/11 8:56:27

【Unity3D】3D渲染流水线总结

3D渲染流水线： CPU阶段（应用阶段）： 1、加载数据：硬盘->内存->显存场景数据从硬盘HDD加载到内存RAM，网格和纹理等数据会再次加载到显存VRAM，显卡对显存访问速度更快。 2、设置渲染状态…...

编程日记 2025/7/13 18:32:39

LevelDB 源码阅读：利用 Clang 的静态线程安全分析

LevelDB 中有一些宏比较有意思，平时自己写代码的时候，还基本没用过。这些宏在 thread_annotations.h 中定义，可以在编译时使用 Clang 编译器的线程安全分析工具，来检测潜在的线程安全问题。比如下面这些宏，到底有什么…...

编程日记 2025/7/11 14:47:05

不只是工具：ChatGPT写作在学术中的创新思维与深度思考

目录 1.数据选择与质量 2.Prompt技巧 1.明确任务 2.上下文信息 3.好的示例 3.后期编辑与润色随着AIGC技术的迅猛发展和不断升级，AI写作正逐渐成为各行各业的新宠。然而不少宝子们们却发现了一个有趣的现象：虽然都是依赖AI生成文本，有些…...

编程日记 2025/7/13 9:58:52

全国青少年信息学奥林匹克竞赛（信奥赛）备考实战之循环结构（for循环语句）（八continue语句和break语句）

在C中，continue语句和break语句都是用于控制循环的执行流程的关键字，但它们有不同的用途和行为。 1、break语句用于立即终止当前所在的循环或switch语句，并跳出循环体，继续执行循环之后的代码，break语句用于直接跳出循…...

编程日记 2025/7/8 15:26:14

实例： execute sp_executesql Nselect count(1) FROM table X2 WITH(NOLOCK) WHERE X2.UPDDTTM > DT_START AND X2.UPDDTTM < DT_END , NDT_START datetime,DT_END datetime, DT_START2025-01-02 10:06:58.620,DT_END2025-01-02 10:09:35.457 参考&…...

编程日记 2025/7/8 21:26:06

【数据结构Ⅰ复习题】

如有错误欢迎指正，题目根据教材----------严蔚敏数据结构（c语言版第2版）人民邮电电子版数据结构Ⅰ复习题一、填空题1．算法应该具备的5个重要特性有___有穷性___、确定性、可行性、输入和输出。2．非空单链表L中*p是头…...

编程日记 2025/7/12 18:33:19

经验证：将数据从索尼传输到Android的 4 种方法

概括像Android Galaxy S20 这样的新型Android智能手机很酷，但除了将数据从索尼传输到Android之外。众所周知，旧的索尼手机上存储着大量的文件，因此将数据从旧的索尼手机传输到新的Android手机非常重要。为了解决这个问题，我们做…...

编程日记 2025/7/9 20:43:34

服务器端请求伪造之基本介绍

一.服务器端请求伪造漏洞基础 1.客户端请求客户端请求指的是由客户端设备（如个人计算机、智能手机、平板电脑等）或软件（浏览器、各种APP）发出的请求，以获取指定的网页、图片、视频或其他资源。比如当用户在浏览器中输…...

编程日记 2025/7/8 23:10:32

Java反射详解（三）

上一篇博客：Java反射详解（二） 写在前面：大家好！我是晴空๓。如果博客中有不足或者的错误的地方欢迎在评论区或者私信我指正，感谢大家的不吝赐教。我的唯一博客更新地址是：https://ac-fun.blog.c…...

编程日记 2025/7/9 11:49:03

HTML——59. maxlength和disabled属性

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>maxlength和disabled属性</title></head><body> …...

编程日记 2025/7/11 19:11:18

Java中的函数式接口详解（一）

1. 函数式接口 1.1. 定义函数式接口（Function Interface）就是一个有且仅有一个抽象方法，但是可以有多个非抽象方法的接口。函数式接口又称为：功能接口。功能接口为 Lambda 表达式和方法引用(用双冒号 ::来进行方法调用)提供…...

编程日记 2025/7/8 8:30:39

Quo Vadis, Anomaly Detection? LLMs and VLMs in the Spotlight 论文阅读

文章信息： 原文链接：https://arxiv.org/abs/2412.18298 Abstract 视频异常检测（VAD）通过整合大语言模型（LLMs）和视觉语言模型（VLMs）取得了显著进展，解决了动态开放世界…...

编程日记 2025/7/12 16:36:24

redis的学习（二）

4 哈希表哈希类型中的映射关系通常称为field-value，⽤于区分Redis整体的键值对（key-value）， 注意这⾥的value是指field对应的值，不是键（key）对应的值， 4.1 操作命令 hset&#xff…...

编程日记 2025/7/13 1:01:40

简单使用linux

1.1 Linux的组成 Linux 内核：内核是系统的核心，是运行程序和管理像磁盘和打印机等硬件设备的核心程序。文件系统 : 文件存放在磁盘等存储设备上的组织方法。 Linux 能支持多种目前浒的文件系统，如 ext4 、 FAT 、 VFAT 、 ISO9660 、 NF…...

编程日记 2025/7/10 20:16:38

springboot541党员学习交流平台(论文+源码)_kaic

摘要如今社会上各行各业，都喜欢用自己行业的专属软件工作，互联网发展到这个时候，人们已经发现离不开了互联网。新技术的产生，往往能解决一些老技术的弊端问题。因为传统党员学习交流平台信息管理难度大，容错率低&am…...

编程日记 2025/7/9 15:04:41

心力衰竭相关临床记录数据分析开发技术概述

心力衰竭相关临床记录数据分析开发技术概述心力衰竭临床记录数据分析的开发涉及多种技术，包括数据采集、处理、建模和可视化等方面。以下是从技术角度对整个开发流程的概述： 数据采集技术 1.1 数据来源公开数据集：如 UCI 数据存储库、Clin…...

编程日记 2025/7/8 4:56:44

SpringMVC（六）拦截器

目录 1.什么是拦截器 2.拦截器和过滤器有哪些区别 3.拦截器方法 4.单个拦截器的执行流程 5.使用拦截器实现用户登录权限验证（实例） 1.先在html目录下写一个login.html文件 2.在controller包下写一个LoginController文件 3.加拦截器 1.创建一个conf…...

编程日记 2025/7/9 13:56:32

将simpletex 识别的公式复制到ppt 中

1）点击复制MathML(word) 2）右击粘贴到任意word 中 3）将word公式粘到 office (2019) 的ppt 中线上识别链接：SimpleTex - Snip & Get!...

编程日记 2025/7/3 13:14:04

vs 2022 中xml 粘贴为Class 中，序列化出来的xml 的使用

上图是visual studio 2022 中使用的粘贴功能的菜单位置在生成的xml 中，有些是类似如下类型的 [System.Serializable] [System.Xml.Serialization.XmlType] public class Item {private bool isVisibleField;private bool isVisibleFieldSpecified;[System.Xml.Se…...

编程日记 2025/7/9 1:31:44

短视频平台的视频水印怎么去除？

当你看到某个短视频，觉得内容非常有价值，想要个人收藏以便日后学习或回顾，但发现短视频平台无法直接下载且带有水印时，以下提供的几种方法将帮助你轻松去除水印，获取高清无水印的视频内容。方法一：使用第…...

编程日记 2025/7/7 7:12:23

《Vue3实战教程》34：Vue3状态管理

如果您有疑问，请观看视频教程《Vue3实战教程》状态管理什么是状态管理？ 理论上来说，每一个 Vue 组件实例都已经在“管理”它自己的响应式状态了。我们以一个简单的计数器组件为例： vue <script setup> import { r…...

编程日记 2025/7/10 17:25:51

AI大模型系列之七：Transformer架构讲解

目录 Transformer网络是什么？ 输入模块结构： 编码器模块结构： 解码器模块: 输出模块结构： Transformer 具体是如何工作的？ Transformer核心思想是什么？ Transformer的代码架构自注意力机制是什么…...

编程日记 2025/7/13 11:20:01

每天五分钟机器学习：凸集

本文重点在SVM中，目标函数是一个凸函数，约束集合是一个凸集。因此，SVM问题可以转化为一个凸规划问题来求解。这使得SVM在实际应用中具有较高的计算效率和准确性。凸集的定义凸集是指一个集合中的任意两点之间的线段都完全包含在这个集合中。换句话说，给定集合C中的两…...

编程日记 2025/7/9 21:29:00

【智能算法】改进蚁狮优化算法【matlab】

目录 1 主要内容 2 部分程序 3 程序结果下载链接 1 主要内容该程序方法复现《改进蚁狮算法的无线传感器网络覆盖优化》两种改进算法模型，即原始ALO算法的基础上添加了两种改进策略： - 改进1：将原先的间断性边界收缩因子变为连续性边界…...

编程日记 2025/7/10 18:32:37

【Python】闭包

闭包（Closure）是指一个函数记住了并可以访问它的词法作用域（lexical scope），即使这个函数在词法作用域之外执行。闭包其实就是延伸了作用域的函数，包括被延伸函数主体中引用的非全局变量和局部变量。这些…...

编程日记 2025/7/9 14:54:51

Python跨年烟花

目录系列文章写在前面技术需求完整代码下载代码代码分析 1. 程序初始化与显示设置 2. 烟花类 (Firework) 3. 粒子类 (Particle) 4. 痕迹类 (Trail) 5. 烟花更新与显示 6. 主函数 (fire) 7. 游戏循环 8. 总结注意事项写在后面系列文章序号直达链接爱…...

编程日记 2025/7/7 10:36:06

QT------------其他工具软件和技术

实现思路多语言界面程序设计： 使用 QTranslator 类为 QT 应用程序提供多语言支持。将不同语言的翻译文件（.qm 文件）添加到应用程序中，根据用户的语言设置动态加载相应的翻译文件。 QT 样式表（QSS）&#x…...

编程日记 2025/6/30 20:16:34

数据结构9.3 - 文件基础(C++)

目录 1 打开文件字符读写关闭文件上图源自：https://blog.csdn.net/LG1259156776/article/details/47035583 1 打开文件法 1法 2ofstream file(path);ofstream file;file.open(path); #include<bits/stdc.h> using namespace std;int main() {char path[]…...

编程日记 2025/7/3 2:47:25

javaEE-文件操作和IO-文件

目录一.什么是文件 1.文件就是硬盘(磁盘)上的文件。 2.计算机中存储数据的设备： 3.硬盘的物理特征 4.树型结构组织和⽬录 5.文件路径文件路径有两种表示方式： 6.文件的分类二、java中文件系统的操作 1.File类中的属性： 2.构造方…...

编程日记 2025/7/6 19:48:14

富芮坤FR800X系列之软件开发工具链（如IDE、编译器、调试器等）

文章目录一、IDE（集成开发环境）二、编译器三、调试器四、其他辅助工具五、小结 FR800x系列作为一款低功耗蓝牙芯片，其软件开发工具链对于开发者来说至关重要。以下是对FR800x软件开发工具链的详细介绍，包括IDE（集成开…...

编程日记 2025/7/13 13:00:18

微服务-Eureka

Eureka的作用使用RestTemplate完成远程调用需要手动的生命被调用者的ip和端口，从而能够发起http请求，但是如果有很多个实例也更加不能有效的处理，而且我们又该如何知道这些实例是否健康呢。所以就有了很多的注册中心比如Eureka、Nacos等等。…...

编程日记 2025/7/10 17:48:31

Elasticsearch: 高级搜索

一、match_all匹配所有文档 1、介绍： match_all查询是一个特殊的查询类型，它用于匹配索引中的所有文档，而不考虑任何特定的查询条件。基本语法： GET /<your-index-name>/_search {"query": {"match_all…...

编程日记 2025/7/9 18:09:38

项目优化之策略模式

目录策略模式基本概念策略模式的应用场景实际项目中具体应用项目背景： 策略模式解决方案： 计费模块策略模式简要代码策略模式基本概念策略模式(Strategy Pattern) 是一种行为型设计模式，把算法的使用放到环境类中，而算…...

编程日记 2025/7/8 8:02:41

HTML——57. type和name属性

<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>type和name属性</title></head><body><!--2.input元素不仅可以在form标签内使用也可以在form标签外使用-…...

编程日记 2025/7/12 20:56:49

LabVIEW 实现自动对焦的开发

自动对焦（Autofocus, AF）技术是通过分析图像或传感器信号，动态调整焦点位置以实现清晰成像或高精度定位的过程。在LabVIEW中，可以通过集成信号采集、数据处理、控制算法和硬件接口模块，实现多种自动对焦方法&#xff0…...

编程日记 2025/7/7 7:02:38

Ruby 数据类型

Ruby 数据类型 Ruby，作为一种动态、开放源代码的编程语言，以其简洁明了的语法和强大的功能而闻名。在Ruby中，数据类型是编程的核心组成部分，它们决定了变量可以存储的信息种类以及可以对这些信息执行的操作。Ruby是一种类型安全的…...

编程日记 2025/7/13 1:09:03

【MySQL】--- 表的CRUD

Welcome to 9ilks Code World (๑•́ ₃ •̀๑) 个人主页: 9ilk (๑•́ ₃ •̀๑) 文章专栏： MySQL CRUD : Create(创建), Retrieve(读取)，Update(更新)，Delete（删除)。 🏠 插入C 🧷 基本…...

编程日记 2025/7/12 19:41:17

算法13、基础二分查找的应用（木根切割等）

🌰1、方程求根晴问算法 1️⃣即求f(x) x^3 x^2 x - a 0的根，又因为要求精确到0.01，所以eps至少设置为1e-3或者更小； 2️⃣求导得3x^2 2x 1 2x^2 x^2 2x 1 2x^2 (x1)^2 > 0， 所以f(x)是单调递增函数&…...

编程日记 2025/7/10 0:47:05

hive on spark报错解决(基于hive-3.1.3和spark-2.3.0)

相关配置可参考：https://blog.csdn.net/weixin_46389691/article/details/134126254 原作者：月亮给我抄代码他写的很详细 ERROR : Job failed with java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init&…...

编程日记 2025/7/14 1:32:37

CentOS — 目录管理

文章目录一、目录结构二、切换目录三、查看目录四、创建目录五、复制目录六、剪切目录七、删除目录目录也是一种文件。蓝色目录，绿色可执行文件，红色压缩文件，浅蓝色链接文件，灰色其它文件， 点开头的是隐藏文件&…...

编程日记 2025/7/12 2:17:44

学AI编程的Prompt工程，豆包Marscode

学习链接：Datawhale-AI活动https://www.datawhale.cn/activity/116/23/95?rankingPage1 目录一、如何使用二、编写游戏 2.1 创意输入与代码生成 2.2 项目初始化与应用 2.3 创意优化与迭代三、效果展示一、如何使用建议在在vscode上安装marscode插件&a…...

编程日记 2025/7/8 1:28:18

基于微信小程序的面部动作检测系统

引言本技术文档旨在详细阐述一个基于微信小程序的面部动作检测系统的技术路线、实现方法及关键技术框架。系统的核心功能包括检测用户的左右转头、眨眼和张嘴动作，并根据检测结果逐步引导用户完成任务。为确保系统的安全性和准确性，特别是防止用户通过…...

编程日记 2025/7/14 1:27:17

Java网络套接字

在Java的开发中，有一个很重要！很重要！很重要！的东西，叫做网络套接字，它被广泛的用来二次开发服务，比如大数据中台的服务链路调用等。它的实现原理是依靠三次握手来完成通信的建立，…...

编程日记 2025/7/13 22:18:44

mapbox基础，测面功能实现

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：mapbox 从入门到精通文章目录一、🍀前言1.1 ☘️mapboxgl.Map 地图对象1.2 ☘️Turf 框架二、🍀测面功能实现1. ☘️实现思路2. ☘️代码样例一、🍀…...

编程日记 2025/7/10 13:27:05

如何通过设置失效时间清除本地存储的数据

一、使用localStorage和时间戳（JavaScript） 1. 原理 localStorage是浏览器提供的一种在本地存储数据的方式，数据没有过期时间限制。但是可以通过自己记录时间戳来模拟数据过期的功能。在存储数据时，同时存储一个时间戳&#xff…...

编程日记 2025/7/13 23:36:36

【QT】找不到qwt_plot.h

系统环境： linux 20.04 qt 6.7.2 cmake 3.22 原因： Qwt没有正式的FindQwt.cmake，Qwt也没有提供QwtConfig.cmake。而且cmake不支持qmake的配置特性，也不支持读取mkspecs (.prf)文件。也就是说cmake构建的qt项目不可用qwt。解决步…...

编程日记 2025/7/8 17:39:05

程序员如何培养技术领导力？

文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...

编程日记 2025/7/8 21:44:07