当前位置： 首页 > news >正文

常见的爬虫算法

news 来源：原创 2025/8/26 1:59:39

1.base64加密

base64是什么

Base64编码，是由64个字符组成编码集：26个大写字母AZ，26个小写字母az，10个数字0~9，符号“+”与符号“/”。Base64编码的基本思路是将原始数据的三个字节拆分转化为四个字节，然后根据Base64的对应表，得到对应的编码数据。

当原始数据凑不够三个字节时，编码结果中会使用额外的**符号“=”**来表示这种情况。

base64原理

每一个base64的字符会对应有一个索引值（0-63）

img

将you进行base64编码过程如下：

img

小于3个字符为一组的编码方式如：

img

ASCII表：

img

base64代码演示

加密过程
# 将you进行加密
import base64# 1.先将字符串编码成二进制
data = 'you'.encode("utf-8")
print(data)  # 打印结果：b'you'# 2.再将二进制编码成base64的二进制，再由二进制进行解码成字符串
bs = base64.b64encode(data).decode('utf-8')
print(bs)  # 打印结果：eW91# 3.如果不够4位加密，则换成等号
data1 = 'y'.encode("utf-8")
bs1 = base64.b64encode(data1).decode("utf-8")
print(bs1)  # 打印结果：eQ==
解密过程
# 将eW91进行解密
import base64data = 'eW91'
bs1 = base64.b64decode(data).decode()
print(bs1)data1 = 'eW91eQ=='
bs2 = base64.b64decode(data1).decode()
print(bs1)# 必须是4的倍数
s = "eW91eQ"
# 填充为4的倍数
s += ("=" * (4 - len(s) % 4))
print("填充后", s)
ret = base64.b64decode(s).decode()
print(ret)

js常见的加密方式

  • 加密在前端开发和爬虫中是经常遇见的。掌握了加密、解密算法也是你从一个编程小白到大神级别质的一个飞跃。且加密算法的熟练和剖析也是很有助于帮助我们实现高效的js逆向。下述只把我们常用的加密方法进行总结。不去深究加密的具体实现方式。
  • 常见的加密算法基本分为这几类，
    • 线性散列算法（签名算法）MD5
    • 对称性加密算法 AES DES
    • 非对称性加密算法 RSA

2.Md5加密（不可逆）

  • MD5是一种被广泛使用的线性散列算法，可以产生出一个128位（16字节）的散列值（hash value），用于确保信息传输完整的一致性。且MD5加密之后产生的是一个固定长度（32位或16位）的数据。
    • 结论：一旦看到了一个长度为32位的密文数据，该数据极有可能是通过md5算法进行的加密！
  • 解密：
    • 常规讲MD5是不存在解密的。但是理论上MD5是可以进行反向暴力破解的。暴力破解的大致原理就是用很多不同的数据进行加密后跟已有的加密数据进行对比，由此来寻找规律。理论上只要数据量足够庞大MD5是可以被破解的。但是要注意，破解MD5是需要考虑破解的成本（时间和机器性能）。假设破解当前的MD5密码需要目前计算能力最优秀的计算机工作100年才能破解完成。那么当前的MD5密码就是安全的。
  • 增加破解成本的方法（方法很多，这里只说我常用的）。
    • 使用一段无意义且随机的私匙进行MD5加密会生成一个加密串，我们暂且称之为串1
    • 将要加密的的数据跟串1拼接，再进行一次MD5，这时会生成串2
    • 将串2再次进行MD5加密，这时生成的串3就是我们加密后的数据。
  • 我们在注册账号时的密码一般都是用的MD5加密。

Python中使用MD5加密

from hashlib import md5obj = md5()
obj.update("bobo".encode("utf-8"))bs = obj.hexdigest()
print(bs)

JS中使用MD5加密

  • JS版本：下载安装crypto-js（npm install crypto-js）
  • 前提要安装node.js
    var CryptoJS = require('crypto-js');
// 原始数据
var data = '123456';
// 生成MD5摘要
var md5Digest = CryptoJS.MD5(data).toString();console.log(md5Digest);

3.DES/AES加密（可逆）

  • DES全称为Data Encryption Standard，即数据加密标准，是一种使用密钥加密的算法。该加密算法是一种对称加密方式，其加密运算、解密运算需要使用的是同样的密钥（一组字符串）即可。

  • 注意：

    • 现在用AES这个标准来替代原先的DES。
    • AES和DES的区别：
      • 加密后密文长度的不同:
        • DES加密后密文长度是8的整数倍
        • AES加密后密文长度是16的整数倍
      • 应用场景的不同:
        • 企业级开发使用DES足够安全
        • 如果要求高使用AES

  • DES算法的入口参数有三个：

    • Key、Data、Mode，padding、iv。
      • Key为DES算法的工作密钥；
      • Data为要被加密或被解密的数据；
      • Mode为DES的工作模式。最常用的模式就是 CBC 模式和 ECB模式
        • ECB：是一种基础的加密方式，密文被分割成分组长度相等的块（不足补齐），然后单独一个个加密，一个个输出组成密文。
        • CBC：是一种循环模式，前一个分组的密文和当前分组的明文异或后再加密，这样做的目的是增强破解难度。
      • padding为填充模式，如果加密后密文长度如果达不到指定整数倍（8个字节、16个字节），填充对应字符
      • iv：参数中的iv主要用于CBC模式，确保即使加密相同的明文，每次产生的密文也不相同，增强加密的安全性。iv通常是一个16字节的随机字符串。这个字符串在解密时也需要用到，因此需要妥善保存。

  • Python版本：

    • 环境安装：

      pip install pycryptodome

python加密代码：

```
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
import base64
import os
key_value = os.getenv('KEY')key = '0123456789abcdef'.encode()  # 秘钥: 必须16字节
iv = b'abcdabcdabcdabcd'  # 偏移量：16位/字节(字节类型)
text = 'alex is a monkey!'  # 加密内容
# 设置加密内容的长度填充（位数为16的整数倍）
text = pad(text.encode(), 16)
# 创建加密对象
aes = AES.new(key, AES.MODE_CBC, iv)  # 创建一个aes对象en_text = aes.encrypt(text)  # 加密明文
print("aes加密数据:::", en_text)  # 返回二进制类型数据# 二进制密文转换成字符串格式
en_text = base64.b64encode(en_text).decode()  # 将返回的字节型数据转进行base64编码
print(en_text)
```

python解密

```
from Crypto.Cipher import AES
import base64
from Crypto.Util.Padding import unpadkey = '0123456789abcdef'.encode()
iv = b'abcdabcdabcdabcd'
aes = AES.new(key, AES.MODE_CBC, iv)
# 需要解密的文本
text = 'X/A0fy9S7+kUI3HYQRKO46WTlid6T1DBhXutwmPdboY='.encode()
# 将密文数据转换为二进制类型
ecrypted_base64 = base64.b64decode(text)source = aes.decrypt(ecrypted_base64)  # 解密
# 未填充数据
print("aes解密数据:::", source.decode())
# 取消填充数据
print("aes解密数据:::", unpad(source, 16).decode())
```

js加密

const CryptoJS = require("crypto-js")// 密钥（128位，16字节）
var key = CryptoJS.enc.Utf8.parse('0123456789abcdef');// 初始化向量（IV）（128位，16字节）
var iv = CryptoJS.enc.Utf8.parse('1234567890abcdef');// 待加密的数据
var plaintext = 'Hello, bobo!';// 进行AES-128加密，使用CBC模式和PKCS7填充
var encrypted = CryptoJS.AES.encrypt(plaintext, key, {iv: iv,mode: CryptoJS.mode.CBC,padding: CryptoJS.pad.Pkcs7
});// 获取加密后的密文
var ciphertext = encrypted.toString();console.log(ciphertext);

js解密

const CryptoJS = require("crypto-js")// 密钥（128位，16字节）
var key = CryptoJS.enc.Utf8.parse('0123456789abcdef');// 初始化向量（IV）（128位，16字节）
var iv = CryptoJS.enc.Utf8.parse('1234567890abcdef');// 密文数据
var encrypText = 'GYc9oxlZB/PeyfFG3ppK6Q==';// 进行加密，使用CBC模式和PKCS7填充
var decrypted = CryptoJS.AES.decrypt(encrypText, key, {iv: iv,mode: CryptoJS.mode.CBC,padding: CryptoJS.pad.Pkcs7
});// 解密
var plaintext = decrypted.toString(CryptoJS.enc.Utf8);console.log(plaintext);

4.RSA加密（可逆）

  • RSA加密：
    • RSA加密算法是一种非对称加密算法。在公开密钥加密和电子商业中RSA被广泛使用。
  • 非对称加密算法：
    • 非对称加密算法需要两个密钥：
      • 公开密钥（publickey:简称公钥）== 数据加密
      • 私有密钥（privatekey:简称私钥）==数据解密
      • 公钥与私钥是一对，如果用公钥对数据进行加密，只有用对应的私钥才能解密。因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。
  • 注意：
    • 使用时都是使用公匙加密使用私匙解密。公匙可以公开，私匙自己保留。
    • 算法强度复杂、安全性依赖于算法与密钥但是由于其算法复杂，而使得加密解密速度没有对称加密解密的速度快。
  • 使用流程和场景介绍
    • 通过公匙加密，使用私匙解密。私匙是通过公匙计算生成的。假设ABC三方之间相互要进行加密通信。大家相互之间使用公匙进行信息加密，信息读取时使用各自对应的私匙进行信息解密
    • 用户输入的支付密码会通过RSA加密
  • 公钥私钥生成方式：
    • 公私匙可以在线生成
      • http://web.chacuo.net/netrsakeypair
  • 环境安装：npm install jsencrypt

js加密、解密

window = globalThis;const JSEncrypt = require('jsencrypt');var PUBLIC_KEY = '-----BEGIN PUBLIC KEY-----MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALyBJ6kZ/VFJYTV3vOC07jqWIqgyvHulv6us/8wzlSBqQ2+eOTX7s5zKfXY40yZWDoCaIGk+tP/sc0D6dQzjaxECAwEAAQ==-----END PUBLIC KEY-----';//私钥
var PRIVATE_KEY = '-----BEGIN PRIVATE KEY-----MIIBVQIBADANBgkqhkiG9w0BAQEFAASCAT8wggE7AgEAAkEAvIEnqRn9UUlhNXe84LTuOpYiqDK8e6W/q6z/zDOVIGpDb545NfuznMp9djjTJlYOgJogaT60/+xzQPp1DONrEQIDAQABAkEAu7DFsqQEDDnKJpiwYfUE9ySiIWNTNLJWZDN/Bu2dYIV4DO2A5aHZfMe48rga5BkoWq2LALlY3tqsOFTe3M6yoQIhAOSfSAU3H6jIOnlEiZabUrVGqiFLCb5Ut3Jz9NN+5p59AiEA0xQDMrxWBBJ9BYq6RRY4pXwa/MthX/8Hy+3GnvNw/yUCIG/3Ee578KVYakq5pih8KSVeVjO37C2qj60d3Ok3XPqBAiEAqGPvxTsAuBDz0kcBIPqASGzArumljkrLsoHHkakOfU0CIDuhxKQwHlXFDO79ppYAPcVO3bph672qGD84YUaHF+pQ-----END PRIVATE KEY-----';
//使用公钥加密
var encrypt = new JSEncrypt();//实例化加密对象
encrypt.setPublicKey(PUBLIC_KEY);//设置公钥
var encrypted = encrypt.encrypt('hello bobo!');//对指定数据进行加密
console.log(encrypted);//使用私钥解密// 使用私钥解密
var decrypt = new JSEncrypt();
decrypt.setPrivateKey(PRIVATE_KEY);//设置私钥
var uncrypted = decrypt.decrypt(encrypted);//解密
console.log(uncrypted);

python中RSA创建公钥、私钥

from Crypto.PublicKey import RSA# 通过相关算法生成唯一秘钥，生成密钥对
rsakey = RSA.generate(1024)
# 将秘钥保存到文件中
with open("rsa.public.pem", mode="wb") as f:# 公钥：rsa.public.pemf.write(rsakey.publickey().exportKey())with open("rsa.private.pem", mode="wb") as f:# 私钥：rsa.private.pemf.write(rsakey.exportKey())

python中RSA加密

from Crypto.PublicKey import RSA
from Crypto.Cipher import PKCS1_v1_5
import base64# 加密
data = "我喜欢你"
with open("rsa.public.pem", mode="r") as f:pk = f.read()rsa_pk = RSA.importKey(pk)# 基于公钥创建加密对象rsa = PKCS1_v1_5.new(rsa_pk)result = rsa.encrypt(data.encode("utf-8"))# 处理成b64方便传输b64_result = base64.b64encode(result).decode("utf-8")print(b64_result)

python中RSA解密

from Crypto.PublicKey import RSA
from Crypto.Cipher import PKCS1_v1_5
import base64data = 'IIw+I9D3YhccQDBpH6mwmPT5MExW7NUlrrcrXaEEBF54NYPVfaV5Mb+ps3CCictOiCZMv4jSETZp6H1b3tW3FwHFCojxtFnMSn/RpH0HTfFrJQm7yVwF+qoQQqz8Fj5/qdQk2ejruXkvK21CYwl1REiFY1+1Req4WMChRB1bWuw='
# 解密
with open("rsa.private.pem", mode="r") as f:prikey = f.read()rsa_pk = RSA.importKey(prikey)# 创建解密对象rsa = PKCS1_v1_5.new(rsa_pk)result = rsa.decrypt(base64.b64decode(data), None)print("rsa解密数据:::", result.decode("utf-8"))

相关文章：

常见的爬虫算法

1.base64加密 base64是什么 Base64编码，是由64个字符组成编码集：26个大写字母AZ，26个小写字母az，10个数字0~9，符号“”与符号“/”。Base64编码的基本思路是将原始数据的三个字节拆分转化为四个字节，然后…...

编程日记 2025/8/26 1:59:39

有序二叉树各种操作实现（数据结构C语言多文件编写）

1.先创建tree.h声明文件( Linux 命令：touch tree.h)。编写函数声明如下(打开文件 Linux 操作命令：vim tree.h): //树的头文件位置 #ifndef __TREE_H__ #define __TREE_H__ //节点 typedef struct node{int data;//数据struct node* left;//记录左侧子节…...

编程日记 2025/8/25 1:01:56

Nacos-Controller 2.0：使用 Nacos 高效管理你的 K8s 配置

作者：濯光、翼严 Kubernetes 配置管理的局限 目前，在 Kubernetes 集群中，配置管理主要通过 ConfigMap 和 Secret 来实现。这两种资源允许用户将配置信息通过环境变量或者文件等方式，注入到 Pod 中。尽管 Kubernetes 提供了这些强…...

编程日记 2025/8/25 17:09:04

特殊文件以及日志——特殊文件

一、特殊文件 必要性：可以用于存储多个用户的：用户名、密码。这些有关系的数据都可以用特殊文件来存储，然后作为信息进行传输。 1. 属性文件.properties（键值对） （1）特点： 都只能…...

编程日记 2025/8/24 19:47:10

Spark-SQL核心编程语言

利用IDEA开发spark-SQL 创建spark-SQL测试代码 自定义函数UDF 自定义聚合函数UDAF 强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数， 如 count()， countDistinct()，avg()，max()，min()。除此之外&…...

编程日记 2025/8/25 1:16:24

jdk 安装

oracle官网 : Java Archive | Oracle 中国 export JAVA_HOME/Users/xxxxx/app/services/x86jdk/jdk1.8.0_431.jdk/Contents/Home export PATH$JAVA_HOME/bin:$PATH 华为镜像网站：Index of java-local/jdk...

编程日记 2025/8/18 19:34:08

Missashe考研日记-day21

Missashe考研日记-day21 1 专业课408 学习时间：4h学习内容： 今天先把昨天学的内容的课后习题做了，整整75道啊，然后学了OS第二章关于CPU调度部分的内容，这第二章太重要了，以至于每一小节的内容都比较多&am…...

编程日记 2025/8/23 1:49:56

双重路由引入的环路,选路次优的产生以及解决方法

描述 在R2,R3上双向引入ospf,以及rip,R5修改静态的优先级为180,在ospf中引入该静态路由 路由分析 选路次优问题 R5引入了静态路由,优先级是150 R2->R5->100.1.1.0,优先级是150 R3->R4->100.1.1.0,优先级是150 R3->R4->R5->100.1.1.0,优先级是150 R2-…...

编程日记 2025/8/24 2:23:20

环境变量概念以及获取环境变量（linux下解析）

目录 1 基本概念 2 常见的环境变量 3 查看环境变量方法 4 和环境变量相关的命令 5 环境变量的组织方式 6 通过代码如何获取环境变量 6.1 命令行参数 6.2 环境变量 7 通过系统调用获取或设置环境变量 1 基本概念 环境变量(environmentvariables)⼀般是指在操作系统中用来指…...

编程日记 2025/8/17 18:45:18

删除win11电脑上的阿尔巴尼亚输入法SQI

删除电脑自带的阿尔巴尼亚输入法 这个输入法在系统中并不显示，但是有时候会出现在右下角显示，删除这个输入法的流程如下，暂时没发现反复！ 第一步：打开注册表： winR打开运行，输入 regedit 第二…...

编程日记 2025/8/26 1:59:38

目标检测与分割：深度学习在视觉中的应用

🔍 PART 1：目标检测（Object Detection） 1️⃣ 什么是目标检测？ 目标检测是计算机视觉中的一个任务，目标是让模型“在图像中找到物体”，并且判断： 它是什么类别（classif…...

编程日记 2025/8/24 2:01:29

npm和npx的作用和区别

npx 和 npm 是 Node.js 生态系统中两个常用的工具，它们有不同的作用和使用场景。 1. npm（Node Package Manager） 作用： npm 是 Node.js 的包管理工具，主要用于： 安装、卸载、更新项目依赖（包&a…...

编程日记 2025/8/26 0:37:35

OpenCV 图形API（36）图像滤波-----形态学操作函数morphologyEx()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 执行高级形态学变换。 该函数可以使用腐蚀和膨胀作为基本操作来执行高级形态学变换。 任何操作都可以原地进行。在处理多通道图像时，…...

编程日记 2025/8/25 8:08:50

Python入门到精通6：CSS网页美化入门1

CSS（层叠样式表）是网页设计的核心语言之一，它让我们的网页从单调的结构变得生动美观。今天，我将带大家快速了解CSS的基础知识，包括基本概念、引入方式、选择器、字体与文本样式以及调试工具的使用。 1. CSS基本概念 …...

编程日记 2025/8/26 1:59:38

【深入C++多态：基于消息解析器的设计、实现与剖析】

深入C多态：基于消息解析器的设计、实现与剖析 前言多态代码示例代码结构C多态的核心知识点多态的底层机制深入剖析多态的设计模式总结 前言 在C面向对象编程中，多态（Polymorphism）是实现灵活性和扩展性的核心特性，允许…...

编程日记 2025/8/25 1:02:08

Dockerfile 文件常见命令及其作用

Dockerfile 文件包含一系列命令语句，用于定义 Docker 镜像的内容、配置和构建过程。以下是一些常见的命令及其作用： FROM：指定基础镜像，后续的操作都将基于该镜像进行。例如，FROM python:3.9-slim-buster 表示使用 Pyt…...

编程日记 2025/8/19 10:16:15

Redis--持久化

一、持久化 Redis支持RDB和AOF两种持久化机制持久化功能有效地避免因进程退出造成数据丢失问题， 当下次重启时利用之前持久化的文件即可实现数据恢复。 二、RDB RDB 持久化是把当前进程数据⽣成快照保存到硬盘的过程，触发 RDB 持久化过程分为手动触发和…...

编程日记 2025/8/26 1:59:37

Markdown学习

Typora下载 Typora教程 标题 井号加空格——回车即可形成标题，几级标题几个井号。 字体 斜体——前后各一个*，回车 粗体——前后各两个*，回车 既斜体又粗体——前后各三个*，回车 删除线——前后各两个~（波浪号…...

编程日记 2025/8/20 18:06:45

Vulhub-DarkHole靶机通关攻略

下载链接：https://www.vulnhub.com/entry/darkhole-1,724/ 扫描ip arp-scan -l扫描端口 nmap 192.168.112.144 -p-扫描目录 dirsearch -u http://192.168.112.144/有一个登录页面，还有一个upload目录，但是还没有找到上传点 先注册一个用…...

编程日记 2025/8/20 21:36:09

UniRig ,清华联合 VAST 开源的通用自动骨骼绑定框架

UniRig是清华大学计算机系与VAST联合开发的前沿自动骨骼绑定框架，专为处理复杂且多样化的3D模型而设计。基于强大的自回归模型和骨骼点交叉注意力机制，UniRig能够生成高质量的骨骼结构和精确的蒙皮权重，大幅提升动画制作的效率和质量。 UniR…...

编程日记 2025/8/20 5:39:14

深入解析 sklearn 中的 LabelEncoder：功能、使用场景与注意事项

标题：深入解析 sklearn 中的 LabelEncoder：功能、使用场景与注意事项 摘要： LabelEncoder 是 sklearn 中用于类别标签编码的重要工具，能够将离散的类别型标签转换为模型可识别的数值格式。本文详细解析 LabelEncoder 的核心功能…...

编程日记 2025/8/19 5:12:29

红帽Linux网页访问问题

配置网络，手动配置 搭建yum仓库红帽Linux网页访问问题 下载httpd 网页访问问题：首先看httpd的状态---selinux的工作模式（强制）---上下文类型(semanage-fcontext)---selinux端口有没有放行semanage port ---防火墙有没有active---…...

编程日记 2025/8/18 23:51:08

Muduo库代码剖析 : EventLoop

本文初发于 “天目中云的小站”，同步转载于此 EventLoop 详解 EventLoop类似于Reactor模型中的反应堆(Reactor)和事件分发器(Demultiplex)的合并, 其目的在于高效的接收事件, 并正确分配给对应的事件处理器. EventLoop中有两类关键的子控件 : Channel 和 Poller. C…...

编程日记 2025/8/23 5:04:12

Python网络爬虫设计（一）

目录 一、网络爬虫 1、基本的爬虫 2、获取URL 3、查找网页源码关键字 4、代码实现 二、requests库 1、requests的优势和劣势 2、获取网页的其他库 （1）selenium库 （2）pyppeteer库 三、pyppeteer库 1、pyppeteer库的来历…...

编程日记 2025/8/24 4:49:48

GEO供应商盈达科技发布:AI信源占位白皮书​

​​副标题：生成式AI时代的企业认知主权争夺战​​ ​​发布日期：2025年4月15日​​ ​​一、范式重构：从流量入口到认知主权的战略迁移​​ ​​生成式AI的规则革命​​ ​​73%的用户决策​​直接依赖AI生成内容，但​​68%的引…...

编程日记 2025/8/23 19:04:26

L1-4 拯救外星人

题目 你的外星人朋友不认得地球上的加减乘除符号，但是会算阶乘 —— 正整数 N 的阶乘记为 “N!”，是从 1 到 N 的连乘积。所以当他不知道“57”等于多少时，如果你告诉他等于“12!”，他就写出了“479001600”这个答案。 本题就请你…...

编程日记 2025/8/20 2:07:11

业务摆渡解锁信息孤岛，重塑数字医疗未来

某三甲医院的急诊科突然亮起红灯，一名车祸患者被紧急送入，主治医师需要调取其三个月前在科研专网存储的增强CT影像。若在两年前，这需要两位管理员手动导出、杀毒、跨网传输，耗时40分钟；而现在，系统自动触发…...

编程日记 2025/8/18 20:19:32

OpenCV中的轮廓近似方法详解

文章目录 引言一、什么是轮廓近似？二、OpenCV中的轮廓近似方法2.1Douglas-Peucker算法原理2.2函数原型 三、代码示例3.1. 基本使用 四、参数选择技巧五、与其他轮廓方法的比较六、总结 引言 在计算机视觉和图像处理中，轮廓是物体边界的重要表示形式。Op…...

编程日记 2025/8/21 11:46:43

4种方法将文件映射到内存提升读写速度

背景 考虑到以下应用需求，常将文件映射到内容，以提升读写效果。 高效文件读写：大文件操作时，避免多次read/write系统调用的开销。进程间通信（共享内存）：多个进程映射同一文件，实现…...

编程日记 2025/8/24 20:52:57

367. 有效的完全平方数

给你一个正整数 num 。如果 num 是一个完全平方数，则返回 true ，否则返回 false 。 完全平方数 是一个可以写成某个整数的平方的整数。换句话说，它可以写成某个整数和自身的乘积。 不能使用任何内置的库函数，如 sqrt 。 示例 1…...

编程日记 2025/8/21 4:16:01

Ubuntu2404装机指南

因为原来的2204升级到2404后直接嘎了，于是要重新装一下Ubuntu2404 Ubuntu系统下载 | Ubuntuhttps://cn.ubuntu.com/download我使用的是balenaEtcher将iso文件烧录进U盘后，使用u盘安装，默认选的英文版本， 安装后，安装…...

编程日记 2025/8/21 15:56:06

爬虫框架 - Coocan

安装 pip install coocan 演示...

编程日记 2025/8/19 2:48:31

S06-Kep的跨通道传输

每次分享一小点，进步都是实实在在。小编今天又来分享了！之前我们讲到的KepServer软件，是一个具备强大通讯能力的软件，但是当你的上位软件不够灵活的时候，又有多个通道的数据交互的需求，Kep的跨通道传输就为…...

编程日记 2025/8/20 8:30:27

Zookeeper单机三节点集群部署（docker-compose方式）

前提： 服务器需要有docker镜像zookeeper:3.9.3 或能连网拉取镜像 服务器上面新建文件夹： mkdir -p /data/zk-cluster/{data,zoo-cfg} 创建三个zookeeper配置文件zoo1.cfg、zoo2.cfg、zoo3.cfg，配置文件里面内容如下（三个文件内容一样）： tickTime=2000 initLimit=10 …...

编程日记 2025/8/24 11:12:22

C++| 深入剖析std::list底层实现：链表结构与内存管理机制

引言 std::list的底层实现基于双向链表，其设计哲学与std::vector截然不同。本文将深入探讨其节点结构、内存分配策略及迭代器实现原理，揭示链表的性能优势和潜在代价。 1. 底层数据结构：双向链表 每个std::list节点包含： 数据域…...

编程日记 2025/8/24 10:29:47

mysql数据库的线程连接数、状态 、最大并发数、缓存等参数配置

mysql数据库的线程连接数、状态 、最大并发数、缓存等参数配置 https://www.modb.pro/db/1784385883449397248 mysql数据库的线程连接数、状态 、最大并发数、缓存等参数配置 SQL命令行临时设置操作 #查看mysql数据库的线程连接数： mysql> show global statu…...

编程日记 2025/8/24 22:13:01

HarmonyOS-ArkUI V2状态-PersistenceV2:持久化存储UI状态

PersistenceV2类是一个与AppStorageV2类用法非常相似的类。因为它俩是子类和父类的关系。如果不了解AppStorageV2，可以先跳转至了解一下这个类。 HarmonyOS-ArkUI V2工具类：AppStorageV2:应用全局UI状态存储-CSDN博客 PersistenceV2相比于其父类AppStorageV2而言，它存储的…...

编程日记 2025/8/21 1:24:30

App测试小工具

前言 最近app测试比较多，每次都得手动输入日志tag，手动安装，测完又去卸载，太麻烦。就搞了小工具使用。 效果预览 每次测试完成，点击退出本次测试，就直接卸载了，usb插下一个手机又可以继续测了…...

编程日记 2025/8/23 10:17:24

ZEP: 一种用于智能体记忆的时序知识图谱架构

摘要 我们介绍了Zep，一种新型的智能体记忆层服务，在深度记忆检索（DMR）基准测试中，超越了现有的最先进系统MemGPT。此外，Zep在比DMR更全面、更具挑战性的评估中表现优异，这些评估更好地反映了现实世界企业应用的需求。尽管现有的基于大语言模型（LLM）的检索增强生成（R…...

编程日记 2025/8/24 16:35:32

800 中值定理

文章目录 前言365366367368369370371372373总结 前言 中值定理貌似是压轴题，但是也没什么难的，我一定可以拿下。 background music : 《还是分开》张叶蕾 365 构造出罗尔定理需要的 F(x) 我现在没啥问题，然后就是要找出两个相等的点&…...

编程日记 2025/8/26 0:52:15

安装fvm可以让电脑同时管理多个版本的flutter、flutter常用命令、vscode连接模拟器

打开 PowerShellfvm安装 dart pub global activate fvm安装完成后，如果显示FVM无法识别，那么需要去添加环境变量path添加这个：C:\Users\Administrator\AppData\Local\Pub\Cache\bin 常用命令 fvm releases 查看用户可以装的flutter版本fvm l…...

编程日记 2025/8/23 18:44:04

多线程、JUC——面试问题自我总结

1、创建线程有几种方式 答：1、通过继承Thread类，但需要注意的是一个类继承Thread就不能继承其他的类了 2、实现Runnable接口 3、实现Callable接口，重写Call方法 4、线程池 2、线程状态是怎么转换 3、实现线程的方式Callable与Runnable区别 …...

编程日记 2025/8/22 5:06:17

LivePortrait 使用指南：让静态照片“动”起来的魔法工具

欢迎来到涛涛聊AI，先看效果 项目地址：https://github.com/KwaiVGI/LivePortrait 在人工智能技术飞速发展的今天，静态照片的“动态化”已成为数字创意领域的热门方向。LivePortrait 凭借其高效性、可控性和逼真效果，成为用户将照片转化为动态视频的首选方案。本文将从技术原…...

编程日记 2025/8/23 17:43:25

Aosp13 文件应用点击apk无反应的处理

最近遇到一个问题，在A13上，打开文件管理应用时，点击apk 无反应或者启动安装进程后安装完成或取消安装进程，再次点击apk 无反应。在此记录该问题。 做一下修改：root/package/ providers/DownloadProvider/下 jenkinsdel…...

编程日记 2025/8/24 16:17:07

用python比较两个mp4是否实质相同

下面这个脚本会使用 ffmpeg 和 ffprobe 检查两个视频文件在以下方面是否“实质相同”： ✅ 检查内容： 分辨率（宽高）帧率视频总帧数音频轨道数量和采样率视频时长视频帧哈希（可选） — 对比前 N 帧的图像感知…...

编程日记 2025/8/22 18:38:06

jmeter中文使用手册

1. 简介 Apache J JMeter 是 100%纯 java 桌面应用程序，被设计用来测试 C/S 结构的软件（例如 web 应用程序）。它可以被用来测试包括基于静态和动态资源程序的性能，例如静态文件，Java Servlets，Java 对象&a…...

编程日记 2025/8/22 21:58:06

【Linux】系统入门

【Linux】系统初识 起源开源 闭源版本内核内核编号 Linux的安装双系统(不推荐)WindowsLinuxvmware虚拟机vitualbox操作系统的镜像centos 7/ubuntu云服务器租用 Linux的操作lsmkdir 文件名pwdadduser userdel -rrm文件名cat /proc/cpuinfolinux支持编程vim code.c./a.out 运行程…...

编程日记 2025/8/22 12:41:58

DP34 【模板】前缀和 -- 前缀和

目录 一&#xff1a;题目 二&#xff1a;算法原理 三&#xff1a;代码实现 一&#xff1a;题目 题目链接&#xff1a;【模板】前缀和_牛客题霸_牛客网 二&#xff1a;算法原理 三&#xff1a;代码实现 #include <iostream> #include <vector> using namespac…...

编程日记 2025/8/22 10:43:03

2025年机动车授权签字人考试题库及答案

一、单选题 1、汽车一般由发动机、(  )、车身、电气和电子设备四大部分组成。 A、底盘 B、变速箱 C、离合器 D、驾驶室 答案&#xff1a; A 2、轮式汽车的驱动形式常用符号"nm"表示,其中n代表车轮总数,m代表 (  )。 A、…...

编程日记 2025/8/24 15:54:10

【项目】构建高性能多线程内存池：简化版 tcmalloc 实现指南

00 引言 在高并发应用中&#xff0c;频繁的小块内存申请与释放不仅会带来性能瓶颈&#xff0c;还容易导致内存碎片问题。为此&#xff0c;内存池技术应运而生&#xff0c;而 tcmalloc&#xff08;Thread-Caching Malloc&#xff09;作为 Google 开源的高性能内存分配器&#x…...

编程日记 2025/8/25 19:55:24