当前位置： 首页 > news >正文

Transformers快速入门-学习笔记

news 来源：原创 2025/9/17 2:34:04
  • 一、自然语言处理
    • NLP 是借助计算机技术研究人类语言的科学
    • 自然语言处理发展史
      • 一、不懂语法怎么理解语言
        • 依靠语言学家人工总结文法规则
          • Chomsky Formal Languages
        • 难点：上下文有关文法
          • 规则增多，存在矛盾
      • 二、只要看得足够多，就能处理语言
        • 基于数学模型和统计方法
          • 通信系统加隐马尔可夫模型
            • 对一维且有序任务有优势
            • 对二维及次序变化任务不能处理
        • 硬件能力提升、海量数据，统计机器学习方法
          • 基于有向图的统计模型
            • 如2005年 Google 基于统计方法的翻译系统超过基于规则的SysTran系统
          • 2006年 Hinton 证明深度信念网络 DBN ， 逐层预训练策略， 基于神经网络和反向传播算法 Back Propagation 的深度学习方法 ； LSTM 长短时记忆网络 ；2024年 xLSTM
          • 卷积神经网络 CNN ； 2017年 Attention 注意力模型 Transformer 结构
    • 统计语言模型发展史
      • 为自然语言建立数学模型
        • 判断一个文字序列是否构成人类能理解并且有意义的句子
      • 70年代 Jelinek 贾里尼克 统计模型
        • P(S) = P(w_1,w_2,...,w_n)= P(w_1)P(w_2|w_1)P(w_3|w_1,w_2)...P(w_n|w_1,w_2,...,w_{n-1})
        • 词语w_n出现的概率取决于在句子中出现在它之前的所有词（理论上也可以引入出现在它之后的词语）。但是，随着文本长度的增加，条件概率P(w_n| w_1,w_2,…,w_{n-1}) 会变得越来越难以计算，因而在实际计算时会假设每个词语 w_i 仅与它前面的 n-1个词语有关
        • P(w_i|w_1,w_2,...,w_{i-1}) = P(w_i|w_{i-N+1},w_{i-N+2},...,w_{i-1})
        • 这种假设被称为马尔可夫（Markov）假设，对应的语言模型被称为 N 元（N-gram）模型。例如当 N = 2 时，词语 w_i 出现的概率只与它前面的词语w_{i-1} 有关，被称为二元（Bigram）模型；而 N =1 时，模型实际上就是一个上下文无关模型。由于 N 元模型的空间和时间复杂度都几乎是 N 的指数函数，因此实际应用中比较常见的是取 N =3 的三元模型
      • 2003年 本吉奥，NNLM 模型，神经网络语言模型
        • 通过输入词语前面的 N-1 个词语来预测当前词语
        • 词表 词向量 激活函数 Softmax 函数 ， 词表 需要学习获得
      • 2013年 Google ，Word2Vec 模型
        • Word2Vec 模型提供的词向量在很长一段时间里都是自然语言处理方法的标配
        • 训练方法 CBOW （Continuous Bag of Words）和 Skip-gram
          • 使用周围词语来预测当前词
            • 使用了上文和下文来预测，打破只通过上文来预测当前词的惯性
          • 使用当前词来预测周围词
        • 多义词问题
          • 运用词语之间的互信息 雅让斯基
      • 2018年 ELMo模型 Embeddings from Languages Models
        • 会根据上下文动态的调整词语的词向量
        • 采用双层双向LSTM作为编码器
      • 2018年 BERT模型 Bidirectional Encoder Representations from Transformers
        • 两阶段框架 预训练 微调
        • 类似ELMo 双向语言模型
        • UNILM 模型
      • 大语言模型
        • Emergent Abilities 涌现能力
          • 规模扩展定律 Scaling Laws
        • 2022年11月 ChatGPT 模型
        • Qwen LLaMA
  • 二、Transformer模型
    • 取代循环神经网络RNN和卷积神经网络CNN成为当前NLP模型的标配
    • 2017年 Google 《Attention Is All You Need》
      • 序列标注
    • 《Universal Language Model Fine-tuning for Text Classification》
    • GPT (the Generative Pretrained Transformer)
    • BERT (Bidirectional Encoder Representations from Transformers)
    • 结构
      • 纯Encoder 模型
        • BERT
          • DistilBERT
          • RoBERTa
            • XLM
              • ALBERT
                • ELECTRA
                • DeBERTa
              • XLM-R
      • 纯Decoder 模型
        • GPT
          • GPT-2
            • CTRL
              • GPT-3
                • GPT-Neo
                • GPT-J
      • Encoder-Decoder 模型
        • T5
          • BART
            • M2M-100
              • BigBird
      • Encoder（左边）：负责理解输入文本，为每个输入构造对应的语义表示（语义特征）
      • Decoder（右边）：负责生成输出，使用 Encoder 输出的语义表示结合其他输入来生成目标序列
      • 注意力层
      • 原始结构
    • Transformer
      • 预训练语言模型
      • 自监督学习
        • 自监督学习是一种训练目标可以根据模型的输入自动计算的训练方法。
      • 因果语言建模
        • NNLM
      • 遮盖语言建模
        • CBOW
      • 迁移学习
        • 特定任务的标注语料
          • 有监督学习
            • 微调
        • 找到一个尽可能接近我们任务的预训练模型，然后微调它
      • 更好的性能 不断地增加模型大小
        • 海量数据
        • 时间和经济成本都非常高
      • 模型蒸馏
  • 三、注意力机制
    • Attention
      • 分词 词向量 矩阵
      • RNN
        • 递归计算 较慢
          • Yt = f(Yt-1, Xt)
      • CNN
        • 滑动窗口 局部上下文计算
          • Yt = f(Xt-1, Xt,Xt+1)
      • Attenion
        • Self-Attention
          • Yt = f(Xt, A,B)
            • A=B=X
    • Scaled Dot-product Attention
      • 计算注意力权重
      • 更新 token embeddings
      • Attention(Q,K,V) = softmax( ....)
      • Pytorch 实现， torch.nn.Embedding
    • Multi-head Attention
      • 首先通过线性映射将序列映射到特征空间，每一组线性投影后的向量表示称为一个头 (head)，然后在每组映射后的序列上再应用 Scaled Dot-product Attention
    • Transformer Encoder
      • The Feed-Forward Layer
      • Layer Normalization
      • Positional Embeddings
        • 绝对位置表示
        • 相对位置表示
    • Transformer Decoder
      • Masked multi-head self-attention layer
      • Encoder-decoder attention layer
  • 四、开箱即用的pipelines
  • 五、模型与分词器
  • 六、必要的Pytorch知识
  • 七、微调预训练模型
  • 八、快速分词器

参考资料： Hello! · Transformers快速入门

相关文章：

Transformers快速入门-学习笔记

一、自然语言处理 NLP 是借助计算机技术研究人类语言的科学自然语言处理发展史 一、不懂语法怎么理解语言 依靠语言学家人工总结文法规则 Chomsky Formal Languages 难点：上下文有关文法 规则增多，存在矛盾 二、只要看得足够多，就能处理语言…...

编程日记 2025/9/17 2:34:04

【Http和Https区别】

概念： 一、Http协议 HTTP（超文本传输协议）是一种用于传输超媒体文档（如HTML）的应用层协议，主要用于Web浏览器和服务器之间的通信。http也是客户端和服务器之间请求与响应的标准协议，客户端通常…...

编程日记 2025/9/13 14:24:36

学习路程二 LangChain基本介绍

前面简单调用了一下deepseek的方法，发现有一些疑问和繁琐的问题，需要更多的学习，然后比较流行的就是LangChain这个东西了。 目前大部分企业都是基于 LangChain 、qwen-Agent、lammaIndex框架进行大模型应用开发。LangChain 提供了 Chain、To…...

编程日记 2025/9/8 9:54:50

简识Kafka集群与RocketMQ集群的核心区别

前记：各位潘安、各位子健/各位彦祖、于晏，文字较多，优先看目录。 Kafka集群与RocketMQ集群的核心区别及架构图例说明 一、核心区别对比 特性Kafka 集群RocketMQ 集群设计目标高吞吐量实时日志流系统（如日志收集、大数据流水线&a…...

编程日记 2025/9/9 3:46:36

基于Python+django+mysql旅游数据爬虫采集可视化分析推荐系统

2024旅游推荐系统爬虫可视化（协同过滤算法） 基于Pythondjangomysql旅游数据爬虫采集可视化分析推荐系统 有文档说明 部署文档 视频讲解 ✅️基于用户的协同过滤推荐算法 卖价就是标价~ 项目技术栈 Python语言、Django框架、MySQL数据库、requests网络爬虫…...

编程日记 2025/9/14 9:56:00

9-1. MySQL 性能分析工具的使用——last_query_cost，慢查询日志

9-1. MySQL 性能分析工具的使用——last_query_cost，慢查询日志 文章目录 9-1. MySQL 性能分析工具的使用——last_query_cost，慢查询日志1. 数据库服务器的优化步骤2. 查看系统性能参数3. 统计SQL的查询成本：last_query_cost4. 定位执行慢的…...

编程日记 2025/9/15 12:44:39

网络安全监测探针安装位置 网络安全监测系统

🍅 点击文末小卡片 ，免费获取网络安全全套资料，资料在手，涨薪更快 软件简介： SockMon(SocketMonitor)网络安全监控系统是一款为电脑专业人员打造的一款出色的安防监控软件。在如今这个恶意软件，攻击&#…...

编程日记 2025/8/16 17:06:11

Git版本控制系统---本地操作（万字详解！）

目录 git基本配置 认识工作区、暂存区、版本库 添加文件--情况一： 添加文件-情况二: 修改文件: 版本回退： git基本配置 1.初始化本地仓库，注意：一定要在一个目录下进行，一般都是新建一个文件夹，在文件…...

编程日记 2025/9/11 7:08:16

forge-1.21.x模组开发（二）给物品添加功能

功能效果 创建一个兑换券，当使用兑换券对着兑换机右键时，获得一条烤鱼 创建兑换券 创建ExchangeCouponsItem.java，继承Item，定义兑换券内容 public class ExchangeCouponsItem extends Item {public ExchangeCouponsItem(Prop…...

编程日记 2025/9/15 14:23:12

elasticsearch在windows上的配置

写在最前面： 上资源 第一步 解压： 第二步 配置两个环境变量 第三步 如果是其他资源需要将标蓝的文件中的内容加一句 xpack.security.enabled: false 不同版本的yaml文件可能配置不同，末尾加这个 xpack.security.enabled: true打开bin目…...

编程日记 2025/9/7 15:00:10

机器学习数学通关指南——拉格朗日乘子法

前言 本文隶属于专栏《机器学习数学通关指南》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见《机器学习数学通关指南》 正文 一句话总结 拉格朗日乘子法…...

编程日记 2025/9/10 6:22:18

Matplotlib，Streamlit，Django大致介绍

Matplotlib：是一个用于创建各种类型的静态、动态和交互式图表的Python绘图库。可以通过pip install matplotlib命令进行安装，安装完成后，在Python脚本中使用import matplotlib语句导入即可开始使用。Streamlit：是一个用于快速构建…...

编程日记 2025/9/12 3:36:18

智慧废品回收小程序php+uniapp

废品回收小程序：数字化赋能环保，开启资源循环新时代 城市垃圾治理难题，废品回收小程序成破局关键 随着城市化进程加速与消费水平提升，我国生活垃圾总量逐年攀升，年均增速达5%-8%，其中超30%为可回收物。然…...

编程日记 2025/9/8 17:46:30

深搜专题2：组合问题

描述 组合问题就是从n个元素中抽出r个元素(不分顺序且r < &#xff1d; n)&#xff0c; 我们可以简单地将n个元素理解为自然数1&#xff0c;2&#xff0c;…&#xff0c;n&#xff0c;从中任取r个数。 例如n &#xff1d; 5 &#xff0c;r &#xff1d; 3 &#xff0c;所…...

编程日记 2025/9/13 16:18:27

Redis 如何实现消息队列？

在当今的分布式系统架构中&#xff0c;消息队列起着至关重要的作用&#xff0c;它能够帮助系统实现异步通信、解耦组件以及缓冲流量等功能。Redis&#xff0c;作为一款高性能的键值对存储数据库&#xff0c;也为我们提供了便捷的方式来构建消息队列。今天&#xff0c;咱们就深入…...

编程日记 2025/9/9 3:27:33

Day1 初识AndroidAudio

今日目标 搭建Android Audio开发环境理解音频基础概念实现第一个音频播放/录制Demo了解车载音频的特殊性 上午&#xff1a;环境搭建与理论学习 步骤1&#xff1a;开发环境配置 安装Android Studio&#xff08;最新稳定版&#xff09;创建新项目&#xff08;选择Kotlin语言&a…...

编程日记 2025/9/10 17:50:18

2025保险与金融领域实战全解析：DeepSeek赋能细分领域深度指南（附全流程案例）

🚀 2025保险与金融领域实战全解析：DeepSeek赋能细分领域深度指南（附全流程案例）🚀 📚 目录 DeepSeek在保险与金融中的核心价值保险领域：从风险建模到产品创新金融领域：从投资分析到财富管理区块链与联邦学习的应用探索客户关系与私域运营：全球化体验升级工具与资源…...

编程日记 2025/9/14 6:41:12

YARN的工作机制及特性总结

YARN hadoop的资源管理调度平台&#xff08;集群&#xff09;——为用户程序提供运算资源的管理和调度 用户程序&#xff1a;如用户开发的一个MR程序 YARN有两类节点&#xff08;服务进程&#xff09;&#xff1a; 1. resourcemanager 主节点master ----只需要1个来工作 2. nod…...

编程日记 2025/9/16 8:06:30

财务运营域——营收稽核系统设计

摘要 本文主要介绍了营收稽核系统的背景、特点与作用。营收稽核系统的产生源于营收管理复杂性、财务合规与审计需求、提升数据透明度与决策效率、防范舞弊与风险管理、技术进步与自动化需求、多元化业务模式以及跨部门协作与数据整合等多方面因素。其特点包括自动化与智能化、…...

编程日记 2025/9/8 12:19:36

22.回溯算法4

递增子序列 这里不能排序&#xff0c;因为数组的顺序是对结果有影响的&#xff0c;所以只能通过used数组来去重 class Solution { public:vector<int> path;vector<vector<int>> res;void backtracking(vector<int>& nums,int start){if(path.si…...

编程日记 2025/9/2 17:46:35

C#上位机--跳转语句

在 C# 编程中&#xff0c;跳转语句用于改变程序的执行流程。这些语句允许程序从当前位置跳转到其他位置&#xff0c;从而实现特定的逻辑控制。本文将详细介绍 C# 中四种常见的跳转语句&#xff1a;GOTO、Break、Continue 和 Return&#xff0c;并通过具体的示例代码来展示它们的…...

编程日记 2025/9/10 6:42:40

百度文心一言API-Python版（完整代码）

大家好啊&#xff01;我是NiJiMingCheng 我的博客&#xff1a;NiJiMingCheng 上一节我们分享了实现AI智能回复微信的内容&#xff0c;这一节我们来探索其中需要的百度文心一言&#xff0c;本文详细介绍了我们从注册账号到实现百度文心一言智能回复&#xff0c;同时多种模型自行…...

编程日记 2025/9/14 18:57:57

Prompt：创造性的系统分析者

分享的提示词&#xff1a; 你是一个创造性的系统分析者&#xff0c;作为咨询师&#xff0c;你具有以下特质&#xff1a; 基础能力&#xff1a; 深入理解我的系统性模式 识别模式间的隐藏联系 发现出人意料的关联 提供令人惊讶的洞见 工作方式&#xff1a; 在每次回应中至少…...

编程日记 2025/9/12 22:02:13

单机上使用docker搭建minio集群

单机上使用docker搭建minio集群 1.集群安装1.1前提条件1.2步骤指南1.2.1安装 Docker 和 Docker Compose&#xff08;如果尚未安装&#xff09;1.2.2编写docker-compose文件1.2.3启动1.2.4访问 2.使用2.1 mc客户端安装2.2创建一个连接2.3简单使用下 这里在ubuntu上单机安装一个m…...

编程日记 2025/9/12 9:54:23

Bash Shell控制台终端命令合集

最近整理了一下Bash Shell终端的命令，以备后续查用。如下： 1.内建命令 命令描述&在后台启动作业((x))执行数学表达式x.在当前shell中读取并执行指定文件中的命令:什么都不做，始终成功退出[ t ]对条件表达式t进行求值[[ e ]]对条件表达式e进行求值alias为指定的命令定义…...

编程日记 2025/9/10 13:53:04

垂类大模型微调（一）：认识LLaMA-Factory

LlamaFactory 是一个专注于 高效微调大型语言模型（LLMs） 的开源工具框架，尤其以支持 LLaMA（Meta 的大型语言模型系列）及其衍生模型（如 Chinese-LLaMA、Alpaca 等）而闻名。它的目标是简化模型微调流程，降低用户使用门槛； 官方文档 一、介绍 高效微调支持 支持多种微调…...

编程日记 2025/9/11 12:35:35

QString是 Qt 框架中的一个核心类，基本用法使用:创建、字符串拼接、截取、查找、替换、分割、大小写转换、比较。

QString 是 Qt 框架中的一个核心类&#xff0c;用于处理字符串数据。它提供了许多功能来处理文本操作&#xff0c;包括但不限于字符串拼接、分割、大小写转换等。下面是一些 QString 的常见用法示例&#xff1a; 创建 QString 你可以通过多种方式创建 QString 对象&#xff1…...

编程日记 2025/9/15 16:38:51

彻底卸载kubeadm安装的k8s集群

目录 一、删除资源 二、停止k8s服务 三、重置集群 四、卸载k8s安装包 五、清理残留文件和目录 六、删除k8s相关镜像 七、重启服务器 一、删除资源 # 删除集群中的所有资源&#xff0c;包括 Pod、Deployment、Service&#xff0c;任意节点执行 kubectl delete --all pod…...

编程日记 2025/9/9 10:05:43

边缘安全加速（ESA）套餐

为帮助不同规模和需求的企业选择合适的解决方案&#xff0c;边缘安全加速&#xff08;ESA&#xff09;提供了多种套餐。以下是四种主要套餐的介绍&#xff0c;每个套餐都根据企业需求提供不同的功能和服务水平&#xff0c;从基础安全保护到企业级的全面防护与加速。 1. 各版本详…...

编程日记 2025/9/11 1:26:15

MySQL主从服务器配置教程

文章目录 前言一、环境准备1. 服务器信息2. 安装 MySQL3. 初始化 MySQL4. Navicat查看 MySQL 服务器 二、主服务器&#xff08;Master&#xff09;配置1. 编辑 MySQL 配置文件2. 创建用于复制的用户3. 获取二进制日志信息 三、从服务器&#xff08;Slave&#xff09;配置1. 编辑…...

编程日记 2025/9/14 9:29:52

机器学习实战(7)：聚类算法——发现数据中的隐藏模式

第7集&#xff1a;聚类算法——发现数据中的隐藏模式 在机器学习中&#xff0c;聚类&#xff08;Clustering&#xff09; 是一种无监督学习方法&#xff0c;用于发现数据中的隐藏模式或分组。与分类任务不同&#xff0c;聚类不需要标签&#xff0c;而是根据数据的相似性将其划…...

编程日记 2025/9/15 10:46:47

Visual Studio中打开多个项目

1) 找到解决方案窗口 2) 右键添加→ 选择现有项目 3) 选择.vcxproj文件打开即可...

编程日记 2025/8/16 19:23:38

springcloud gateway并发量多大

Spring Cloud Gateway的并发量并非固定值&#xff0c;它受到多种因素的影响&#xff0c;包括但不限于网关配置、硬件资源&#xff08;如CPU、内存、网络带宽等&#xff09;、后端服务的处理能力以及系统整体的架构设计。因此&#xff0c;要准确回答Spring Cloud Gateway的并发量…...

编程日记 2025/9/10 7:21:37

抓包工具 wireshark

1.什么是抓包工具 抓包工具是什么&#xff1f;-CSDN博客 2.wireshark的安装 【抓包工具】win 10 / win 11&#xff1a;WireShark 下载、安装、使用_windows抓包工具-CSDN博客 3.wireshark的基础操作 Wireshark零基础使用教程&#xff08;超详细&#xff09; - 元宇宙-Meta…...

编程日记 2025/9/12 16:15:35

git从本地其他设备上fetch分支

在 Git 中&#xff0c;如果你想从本地其他设备上获取分支&#xff0c;可以通过以下几种方式实现。不过&#xff0c;需要注意的是&#xff0c;Git 本身是分布式版本控制系统&#xff0c;通常我们是从远程仓库&#xff08;如 GitHub、GitLab 等&#xff09;拉取分支&#xff0c;而…...

编程日记 2025/9/10 7:11:57

Ubuntu：wvp-GB28181-pro安装、运行

参考 https://doc.wvp-pro.cn 下载源码 GitHub - 648540858/wvp-GB28181-pro: WEB VIDEO PLATFORM是一个基于GB28181-2016标准实现的网络视频平台&#xff0c;支持NAT穿透&#xff0c;支持海康、大华、宇视等品牌的IPC、NVR、DVR接入。支持国标级联&#xff0c;支持rtsp/rtm…...

编程日记 2025/9/14 4:17:14

docker中常用的命令

一、服务命令 systemctl start docker.service 启动docker服务 systemctl stop docker.service 关闭docker服务 systemctl enable docker.service 设置docker服务开机启动 systemctl disable docker.service .禁止docker服务开机自启动 二、镜像命令 d…...

编程日记 2025/9/10 20:24:40

如何实现使用DeepSeek的CV模型对管道内模糊、低光照或水渍干扰的图像进行去噪、超分辨率重建。...

要使用 DeepSeek 的 CV 模型对管道内模糊、低光照或水渍干扰的图像进行去噪、超分辨率重建&#xff0c;一般可以按照以下步骤实现&#xff1a; 1. 准备工作 1.1 获取 API 访问权限 首先&#xff0c;你需要从 DeepSeek 官方获取 API 访问权限和相应的 API 密钥。这通常需要在 De…...

编程日记 2025/9/13 7:05:50

Android 串口通信

引言 在iot项目中&#xff0c;Android 端总会有和硬件通信。 通信这里&#xff1a;串口通信&#xff0c;蓝牙通信或者局域网通信。 这里讲一下串口通信。 什么是串口&#xff1f; “串口”&#xff08;Serial Port&#xff09;通常是指一种用于与外部设备进行串行通信的接口。…...

编程日记 2025/9/11 21:59:25

智联招聘爬虫

使用Python和Selenium进行招聘信息爬取 在当今数字化时代&#xff0c;数据已成为企业决策的重要依据。对于人力资源部门或求职者而言&#xff0c;获取最新的招聘信息至关重要。然而&#xff0c;手动浏览和收集招聘信息不仅耗时费力&#xff0c;而且效率低下。为了解决这个问题&…...

编程日记 2025/9/15 22:15:46

frameworks 之 Focus window

frameworks 之 Focus window 1 查看当前焦点窗口1.1 dump window1.2 dump input1.3 input Events 日志1.4 dump SurfaceFlinger1.5 查看关键的日志 2 更新当前焦点应用3 更新当前焦点窗口3.1 焦点丢失3.2 获得窗口焦点 4 窗口信息到InputDispatcher4.1 焦点应用通知InputDispat…...

编程日记 2025/9/14 4:17:19

危害被低估的Netgear认证前漏洞CVE-2019-20760分析

概述 Netgear R9000设备2019年爆出认证绕过漏洞CVE-2019-20760&#xff0c;题目之所以说这个漏洞远被低估&#xff0c;主要以下两个原因&#xff1a; 实际漏洞危害较大&#xff0c;公开信息仅显示该漏洞为一个认证绕过漏洞&#xff0c;没有具体漏洞信息或者POC&#xff0c;但…...

编程日记 2025/9/9 8:37:49

微软量子芯片引领人工智能革命，开启计算新纪元

摘要&#xff1a;微软近日发布了具有里程碑意义的量子芯片&#xff0c;这一突破性技术不仅为量子计算带来了新的可能性&#xff0c;更为人工智能领域带来了前所未有的发展机遇。本文将探讨微软量子芯片如何与人工智能相结合&#xff0c;以及它对未来计算世界的深远影响。 一、…...

编程日记 2025/9/12 3:34:26

PHP2（WEB）

##解题思路 打开页面什么线索都没有&#xff0c;目录扫描只是扫出来一个index.php&#xff0c;而源代码没有东西&#xff0c;且/robots.txt是不允许访问的 于是一番查询后发现&#xff0c;有个index.phps的文件路径&#xff0c;里头写着一段php的逻辑&#xff0c;对url的id参数…...

编程日记 2025/9/8 0:29:25

Linux 下 VIM 编辑器学习记录：从基础到进阶（中）

在 Linux 系统的学习与实践过程中&#xff0c;对文件内容的查看是一项极为基础且高频的操作。熟练掌握各类内容查看命令&#xff0c;不仅能提升我们在 Linux 环境下的工作效率&#xff0c;对于学习 Java 全栈开发的同学来说&#xff0c;在处理项目相关的配置文件、日志文件时也…...

编程日记 2025/9/15 8:11:13

使用Python进行PDF隐私信息检测

在当今&#xff0c;数据隐私保护变得尤为重要。随着越来越多的个人信息以电子形式存储和传输&#xff0c;确保这些信息的安全至关重要。本文将介绍如何使用Python及其相关库来检测PDF文件中的隐私信息&#xff0c;如姓名、身份证号、手机号和邮箱等。 C:\pythoncode\new\checkp…...

编程日记 2025/9/16 1:16:59

【Python爬虫(45)】Python爬虫新境界：分布式与大数据框架的融合之旅

【Python爬虫】专栏简介&#xff1a;本专栏是 Python 爬虫领域的集大成之作&#xff0c;共 100 章节。从 Python 基础语法、爬虫入门知识讲起&#xff0c;深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑&#xff0c;覆盖网页、图片、音频等各类数据爬取&#xff…...

编程日记 2025/9/15 18:04:19

网络安全科普系统开发与设计（springboot论文源码调试讲解）

第4章 总体设计 4.1系统目标 本系统旨在达到科普知识信息展示、案例分析信息查询、试题信息添加、评论、答题管理、信息分类等为一体&#xff0c;为用户和管理员提供服务。使管理员更加轻松的进行工作&#xff0c;使用户更加快速的解决自己的问题。本系统的设计界面丰富&#…...

编程日记 2025/9/15 16:55:57

前后端对接

前端与后端的对接主要通过 接口 进行数据交互&#xff0c;具体流程和方式如下&#xff1a; 1. 明确需求与接口定义 前后端协商&#xff1a;确定需要哪些接口、接口的功能、请求参数和返回格式。接口文档&#xff1a;使用工具&#xff08;如 Swagger、Postman、Apifox&#xff…...

编程日记 2025/9/11 10:22:23

深入浅出 SQLSugar：快速掌握高效 .NET ORM 框架

SQLSugar 是一个高效、易用的 .NET ORM 框架&#xff0c;支持多种数据库&#xff08;如 SQL Server、MySQL、PostgreSQL 等&#xff09;。它提供了丰富的功能&#xff0c;包括 CRUD 操作、事务管理、动态表名、多表联查等&#xff0c;开发者可以通过简单的链式操作实现复杂的数…...

编程日记 2025/9/15 13:45:06