当前位置：首页 > news >正文

大语言模型基础

news 来源：原创 2025/9/18 23:04:28

简介

AI大模型是“人工智能预训练大模型”的简称，包含了“预训练”和“大模型”两层含义，二者结合产生了一种新的人工智能模式，即模型在大规模数据集上完成了预训练后无需微调，或仅需要少量数据的微调，就能直接支撑各类应用。AI大模型主要分为三类：大语言模型、CV大模型和多模态大模型，我将分别介绍它们的背景知识、关键技术、演进路线和挑战。

什么是大语言模型

大语言模型（Large Language Model，LLM）是一种大规模预训练神经网络语言模型。

大规模：区别于已有的较小规模并主要用于理解类任务的预训练语言模型（如BERT），特指规模较大（数十亿到数千亿参数）并具有较强生成能力的语言模型。

预训练：在海量文本数据集上预训练，以GPT3为例， 300B tokens可用于训练参数量大小为175B的LLM。 "token"通常指的是一个离散的文本单元，它可以是单词、标点符号、数字或其他语言元素，这些元素被用作训练和生成文本的基本单位。

语言模型：通俗来说，指对于任意的词序列，能够计算出这个序列是一句话的概率的模型。用于预测未来或缺失tokens的概率。

语言模型的演进

语言模型的定义：

等价定义：从文本生成的角度，定义语言模型为：给定一个短语(一个词组或一句话)，语言模型可以生成接下来的一个词。

统计语言模型 Statistical language models (SLM) ：

起源于90年代的统计学习方法，基本思想是基于马尔可夫假设建立词预测模型，即每个词只依赖前序词。代表方法为N-gram语言模型。

神经语言模型 Neural language models (NLM)：

N-gram的缺陷：将词看作离散变量并用one-hot表示，导致词与词不存在语义关联，且参数量级是指数级。

NLM通过结合词向量(word embedding)和前馈神经网络来解决上面两个问题：

每个词用低维稠密向量表示，这就使得语义相似的词对应的向量在空间中相邻成为可能（前提是词向量训练的效果达到预期），给模型带来了泛化能力上的提升；神经网络强大的学习能力很适合拟合概率分布。

FFNNLM（2003，

相关文章：

大语言模型基础

简介 AI大模型是“人工智能预训练大模型”的简称，包含了“预训练”和“大模型”两层含义，二者结合产生了一种新的人工智能模式，即模型在大规模数据集上完成了预训练后无需微调，或仅需要少量数据的微调，就能直接支撑各类应用。AI大模型主要分为三类：大语言模型、CV大模型…...

编程日记 2025/9/18 23:04:28

vxe-table 如何实现跟 Excel 一样的数值或金额的负数自动显示红色字体

vxe-table 如何实现跟 Excel 一样的数值或金额的负数自动显示红色字体，当输入的值为负数时，会自动显示红色字体，对于数值或者金额输入时该功能就非常有用了。查看官网：https://vxetable.cn gitbub：https://github.co…...

编程日记 2025/9/18 15:39:46

Web 自动化测试提速利器：Aqua 的 Web Inspector （检查器）使用详解

Web 自动化测试提速利器：Aqua 的 Web Inspector （检查器）使用详解前言简介一、安装二、Web Inspector 的使用2.1 获取元素定位器（Locators）2.2 将定位器添加到代码2.3 验证定位器2.4 处理 Frames (框架) 总结前言 Je…...

编程日记 2025/9/18 22:59:44

23种设计模式 - 空对象模式

模式定义空对象模式（Null Object Pattern）是一种行为型设计模式，通过用无操作的空对象替代null值，消除客户端对空值的检查，避免空指针异常。其核心是让空对象与真实对象实现相同接口，但空对象不执行实际逻…...

编程日记 2025/9/15 10:56:44

【mysql80 安装】mysql8.0.31 安装修改3306端口

在离线安装 MySQL 时，可以通过修改 MySQL 的配置文件来更改默认的 3306 端口。以下是具体步骤： 1、vim /etc/my.cnf 打开配置文件后，找到 [mysqld] 部分，这是 MySQL 服务的配置区域。在该部分中，找到或添加以下内容&a…...

编程日记 2025/9/18 23:02:10

基于eBPF的全栈可观测性系统：重新定义云原生环境诊断范式

引言：突破传统APM的性能桎梏某头部电商平台采用eBPF重构可观测体系后，生产环境指标采集性能提升327倍：百万QPS场景下传统代理模式CPU占用达63%，而eBPF直采方案仅消耗0.9%内核资源。核心业务的全链路追踪时延从900μs降至18μs&a…...

编程日记 2025/9/15 10:56:40

C语言基础学习指南：从零入门到实战应用——适合零基础学习者与进阶巩固

目录一、C语言概述与开发环境搭建二、核心语法与数据类型三、控制结构与运算符四、函数与模块化编程五、指针与内存管理六、实践建议与资源推荐结语一、C语言概述与开发环境搭建 C语言是一种高效、灵活的通用编程语言，广泛应用于系统开发、嵌入式系…...

编程日记 2025/9/18 23:03:29

软件架构设计：架构风格

一、架构风格概述定义架构风格是对软件系统整体结构和组织方式的抽象描述，提供了一套通用的设计原则和模式。作用提高系统的可维护性、可扩展性和可复用性。帮助开发团队在设计和实现过程中保持一致性和规范性。常见架构风格分层架构、MVC架构、微服务架构、…...

编程日记 2025/9/18 23:00:01

为啥vue3设计不直接用toRefs,而是reactive+toRefs

Vue 3 设计中将 reactive 和 toRefs 结合使用而非直接使用 toRefs，主要基于以下设计考量： 1. 响应式粒度的不同需求 reactive 适用于对象整体响应式 reactive 会为整个对象创建响应式代理，自动追踪对象内部所有属性的变化。这种设计适用于需要…...

编程日记 2025/9/18 23:00:01

go 网络编程 websocket gorilla/websocket

在 Go 语言中，你可以使用标准库中的 net/http 包和第三方库 gorilla/websocket 来实现一个 WebSocket 服务器。gorilla/websocket 库提供了对 WebSocket 协议的高级抽象，使得处理 WebSocket 连接变得相对简单。 package mainimport ("fmt"&qu…...

编程日记 2025/9/18 23:01:40

【微服务】springboot远程docker进行debug调试使用详解

目录一、前言二、线上问题常用解决方案 2.1 微服务线上运行中常见的问题 2.2 微服务线上问题解决方案 2.3 远程debug概述 2.3.1 远程debug原理 2.3.2 远程debug优势三、实验环境准备 3.1 搭建springboot工程 3.1.1 工程结构 3.1.2 引入基础依赖 3.1.3 添加配置文…...

编程日记 2025/9/16 11:33:11

CORS跨域问题常见解决办法

1.引言在现代前端开发中，跨域资源共享（Cross-Origin Resource Sharing, CORS）是一种通过设置 HTTP 头来允许或阻止不同源之间的资源访问的机制。浏览器出于安全考虑，默认情况下会阻止跨域请求。本文将详细介绍 CORS 的工作原理、…...

编程日记 2025/9/17 23:40:38

并查集算法篇上期：并查集原理及实现

引入那么我们在介绍我们并查集的原理之前，我们先来看一下并查集所应用的一个场景：那么现在我们有一个长度为n的数组，他们分别属于不同的集合，那么现在我们要查询数组当中某个元素和其他元素是否处于同一集合当中，或者…...

编程日记 2025/9/18 23:00:02

树莓派4基于Debian GNU/Linux 12 (Bookworm)添加多个静态ipv4网络

假设之前已经配置了在eth0接口配置了192.168.0.100，现在要在同一接口（例如 eth0）上添加 192.168.1.100： 直接编辑 /etc/NetworkManager/system-connections/ 中相应的连接文件（该文件的文件名通常与连接名称相同&…...

编程日记 2025/9/18 23:03:30

「正版软件」PDF Reader - 专业 PDF 编辑阅读工具软件

PDF Reader 轻松查看、编辑、批注、转换、数字签名和管理 PDF 文件，以提高工作效率并充分利用 PDF 文档。像专业人士一样编辑 PDF 编辑 PDF 文本轻松添加、删除或修改 PDF 文档中的原始文本以更正错误。自定义文本属性，如颜色、字体大小、样式和粗细。…...

编程日记 2025/9/17 9:57:56

Python连接MySQL数据库图文教程，Python连接数据库MySQL入门教程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言1. 环境准备1.1安装 Python1.2选择开发环境1.3安装 MySQL 数据库1.4 安装 pymysql 库 2. 连接数据库3. 数据库基本操作3.1 创建数据库3.2 创建表3.3 插入数据3.…...

编程日记 2025/9/15 10:56:25

Websocket——心跳检测

1. 前言：为什么需要心跳机制？ 在现代的实时网络应用中，保持客户端和服务端的连接稳定性是非常重要的。尤其是在长时间的网络连接中，存在一些异常情况，导致服务端无法及时感知到客户端的断开，可能造成不必要…...

编程日记 2025/9/14 16:34:24

量子计算驱动的金融衍生品定价革命：突破传统蒙特卡洛模拟的性能边界

引言：金融计算的算力困局某国际投行采用128量子位处理器对亚洲期权组合定价时，其量子振幅估计算法在2.7秒内完成传统GPU集群需要68小时的计算任务。在蒙特卡洛路径模拟实验中，量子随机游走算法将10,000维衍生品的价格收敛速度提升4个数量级…...

编程日记 2025/9/15 7:29:02

文心智能体平台已全面接入DeepSeek模型，全部免费！

文心智能体平台已全面接入DeepSeek模型！即日起，您可以在创建智能体时，自由选择所需要的模型，欢迎大家体验。 ✅ ‌零成本体验‌：当前阶段所有用户可免费使用‌DeepSeek模型。‌ ✅ ‌‌智能适配：4款DeepSe…...

编程日记 2025/9/18 15:13:55

DuodooBMS源码解读之 odoo_phoenix_alarm模块

Odoo18 扩展模块声光报警器用户使用手册一、模块概述本扩展模块是基于 Odoo18 原生系统进行开发的，主要用于实现与上位声光报警设备的通讯功能。通过该模块，用户可以方便地向设备发送指令，控制设备的声音、灯光等操作。本手册将详细介绍该…...

编程日记 2025/9/15 10:56:19

docker从容器中cp到本地、cp本地到容器

在 Docker 中，你可以使用 docker cp 命令从容器中复制文件到本地主机。以下是具体步骤： 1. 查找容器 ID 或名称首先，你需要知道容器的 ID 或名称。你可以使用以下命令列出所有正在运行的容器： docker ps 这将显示所有正在运行…...

编程日记 2025/9/18 17:26:54

网络工程师（49）UDP协议

前言 UDP协议，即用户数据报协议（User Datagram Protocol），是一种无连接的、不可靠的、面向报文的传输层通信协议。一、基本特点无连接性：UDP在发送数据之前不需要与目标设备建立连接，也无需在数据发送结束…...

编程日记 2025/9/17 23:15:47

1.20作业

1 mfw(git泄露) ./git，原本以为点了链接下了index文件，就可以打开看源码，结果解析不了老老实实用了githacker githacker --url --output 1 assert() 断言(assert)的用法 | 菜鸟教程命令注入: /?page).system(cat ./templates/fl…...

编程日记 2025/9/15 10:56:14

HTML/CSS中交集选择器

1.作用:选中同时符合多个条件的元素交集就是或的意思 2.语法:选择器1选择器2选择器3......选择器n{} 3.举例: /* 选中:类名为beauty的p元素,此种写法用的非常的多 */p.beauty{color: red;}/* 选中:类名包含rich和beauty的元素 */.rich.beauty{color: blue;} 4.注意: 1.有标签…...

编程日记 2025/9/15 10:56:12

迅为RK3568开发板篇Openharmony配置HDF控制UART-实操-HDF驱动配置UART-修改HCS配置

对于不同的平台，需要在对应的平台目录修改对应的 hcs 文件，接下来示例为在 rk3568下新增 uart4 uart9 uart7 的修改方法。修改 vendor/hihope/rk3568/hdf_config/khdf/device_info/device_info.hcs 文件，device_info.hcs 中添加以下内容&…...

编程日记 2025/9/15 13:25:30

实时股票行情接口与WebSocket行情接口的应用

实时股票行情接口与WebSocket行情接口的应用实时股票行情接口是量化交易和投资决策的核心工具之一，行情接口的种类和功能也在不断扩展。介绍几种常见的行情接口，包括实时股票行情接口、Level2行情接口、WebSocket行情接口以及量化行情接口，…...

编程日记 2025/9/15 3:28:58

k8s故障处理经典案例（Classic Case of k8s Fault Handling）

k8s故障处理经典案例问题描述 kubernetes版本：v1.22.5 部分Pod在新版本发布后一直处于ContainerCreating状态，经过kubectl delete命令删除后一直Terminating状态。排查过程遇到问题先查日志首先进入宿主机，查看三个日志&#xff0c…...

编程日记 2025/9/15 9:56:46

关于uniApp的面试题及其答案解析

我的血液里流淌着战意！力量与智慧指引着我！ 文章目录 1. 什么是uniApp？2. uniApp与原生小程序开发有什么区别？3. 如何使用uniApp实现条件编译？4. uniApp支持哪些平台，各有什么特点？5. 在uniApp中…...

编程日记 2025/9/15 9:56:44

给老系统做个安全检查——Burp SqlMap扫描注入漏洞

背景在AI技术突飞猛进的今天，类似Cursor之类的工具已经能写出堪比大部分程序员水平的代码了。然而，在我们的代码世界里，仍然有不少"老骥伏枥"的系统在兢兢业业地发光发热。这些祖传系统的代码可能早已过时，架构可能岌…...

编程日记 2025/9/15 9:56:42

langchain系列 - FewShotPromptTemplate 少量示例

导读环境：OpenEuler、Windows 11、WSL 2、Python 3.12.3 langchain 0.3 背景：前期忙碌的开发阶段结束，需要沉淀自己的应用知识，过一遍LangChain 时间：20250220 说明：技术梳理，针对FewShotP…...

编程日记 2025/9/15 9:56:40

【C语言】fgetpos函数用法介绍

目录一、函数概述二、核心参数与数据类型三、典型应用场景四、与 ftell() 的对比五、错误处理与调试六、进阶示例：多位置标记与恢复七、注意事项八、总结 fgetpos() 是C标准库中用于文件操作的关键函数之一，其核心功能是获取文件流的当前…...

编程日记 2025/9/15 9:56:39

《算法基础入门：最常用的算法详解与应用（持续更新实战与面试题）》

1. 排序算法排序算法是将一组数据按特定的顺序排列起来的算法，常见的有： 冒泡排序（Bubble Sort）选择排序（Selection Sort）插入排序（Insertion Sort）归并排序（Merge So…...

编程日记 2025/9/15 9:56:37

YOLOv11-ultralytics-8.3.67部分代码阅读笔记-split_dota.py

split_dota.py ultralytics\data\split_dota.py 目录 split_dota.py 1.所需的库和模块 2.def bbox_iof(polygon1, bbox2, eps1e-6): 3.def load_yolo_dota(data_root, split"train"): 4.def get_windows(im_size, crop_sizes(1024,), gaps(200,), im_rate_t…...

编程日记 2025/9/18 14:00:23

如何使用Python快速开发一个带管理系统界面的网站-解析方案

如果你想用 Python 开发一个管理系统界面的网站，并且希望界面美观，可以考虑以下几个框架和库： 1. Streamlit（快速、简洁） 适合：数据分析、仪表盘、内部管理系统特点： 写法简单，类…...

编程日记 2025/9/15 9:56:32

25年HVV关于0day的面试题

以下是对0day漏洞如何防，基本上是每次HVV中大家都会提到的，今天总结了100day防护手段。《网安面试指南》https://mp.weixin.qq.com/s/RIVYDmxI9g_TgGrpbdDKtA?token1860256701&langzh_CN 5000篇网安资料库https://mp.weixin.qq.com/s?__bizMzkw…...

编程日记 2025/9/15 9:56:30

【C# 数据结构】队列 FIFO

目录队列的概念FIFO (First-In, First-Out)Queue<T> 的工作原理：示例：解释： 小结： 环形队列1. **FIFO？**2. **环形缓冲队列如何实现FIFO？**关键概念： 3. **环形缓冲队列的工作过程**假设…...

编程日记 2025/9/15 9:56:29

git 克隆及拉取github项目到本地微信开发者工具，微信开发者工具通过git commit、git push上传代码到github仓库

git 克隆及拉取github项目到本地微信开发者工具，微信开发者工具通过git commit、git push上传代码到github仓库 git 克隆及拉取github项目到本地先在自己的用户文件夹新建一个项目文件夹，取名为项目名例如这样 C:\Users\HP\yzj-再打开一个终端页面&…...

编程日记 2025/9/17 17:46:08

【机器学习】多元线性回归算法和正规方程解求解

多元线性方差和正规方差解一、摘要二、多元线性回归介绍三、正规方程解的求解及代码实现一、摘要本文围绕多元线性回归的正规方程解展开，为初学者系统介绍了相关基本概念、求解方法、实际应用以及算法封装要点。首先，深入阐释了正规方程解这一多元…...

编程日记 2025/9/15 13:25:26

在Linux上创建一个Docker容器并在其中执行Python脚本

在Linux上创建一个Docker容器并在其中执行Python脚本的过程，涉及多个方面的内容，包括安装Docker、编写Dockerfile、构建镜像、运行容器等。 1. 安装Docker 在Linux上使用Docker之前，你需要确保系统已安装Docker。Docker支持的Linux发行版有…...

编程日记 2025/9/15 13:25:24

Linux C 静态库如何生成并使用

1. 编写源文件首先创建一个简单的示例项目，包含一个头文件和一个源文件。头文件 my_lib.h // my_lib.h #ifndef MY_LIB_H #define MY_LIB_H// 函数声明 int add(int a, int b);#endif 源文件 my_lib.c #include <stdio.h>void print_hello() {printf(&q…...

编程日记 2025/9/15 13:25:22

清华大学deepseek教程第四版 DeepSeek+DeepResearch 让科研像聊天一样简单(附下载)

deepseek使用教程系列 DeepSeekDeepResearch 让科研像聊天一样简单(附下载) https://pan.baidu.com/s/1VMgRmCSEzNvhLZQc8mu6iQ?pwd1234 提取码: 1234 或 https://pan.quark.cn/s/f3d4511b790a...

编程日记 2025/9/15 13:25:20

请解释 Vue 中的生命周期钩子，不同阶段触发的钩子函数及其用途是什么？

vue生命周期钩子详解（Vue 3版本） 一、生命周期阶段划分 Vue组件的生命周期可分为四大阶段，每个阶段对应特定钩子函数： 创建阶段：初始化实例并准备数据挂载阶段：将虚拟DOM渲染为真实DOM更新阶段&#xff…...

编程日记 2025/9/15 13:25:18

输入搜索、分组展示选项、下拉选取，el-select 实现：即输入关键字检索，返回分组选项，选取跳转到相应内容页 —— VUE 项目-全局模糊检索

后端数据代码写于下一篇：输入搜索、分组展示选项、下拉选取，全局跳转页，el-select 实现 —— 后端数据处理代码，抛砖引玉展思路【效果图】：分组展示选项【去界面操作感受一下】—> 便捷简洁的企业官网【录制效…...

编程日记 2025/9/15 13:25:16

Transformer为什么需要多头注意力（Multi-Head Attention）？如果没有多头会怎么样？

直接回答关键点： Transformer 中的多头注意力（Multi-Head Attention）允许模型同时关注输入数据的不同方面，提升性能。如果没有多头，模型可能无法捕捉复杂关系，表现会下降。什么是多头注意力&#xff…...

编程日记 2025/9/18 13:28:17

VUE中的组件加载方式

加载方式有哪些，及如何进行选择常规的静态引入是在组件初始化时就加载所有依赖的组件，而懒加载则是等到组件需要被渲染的时候才加载。对于大型应用，可能会有很多组件，如果一开始都加载，可能会影响首屏加载时间。如…...

编程日记 2025/9/15 13:25:12

Linux自启动fastapi服务

步骤一在/etc/systemd/system/文件夹下创建pyod.service（其中/path/to/conda/bin/activate要改为activate实际存放位置，例如miniconda的实际存放位置为/root/miniconda3/bin/activate） [Unit] DescriptionPyOD Uvicorn Service Afternetwo…...

编程日记 2025/9/15 13:25:10

C++与Python：两种编程语言的区别

C和Python都是当今编程领域广泛使用的语言，它们各有特色，适用于不同的开发场景。本文将从语言特性、性能、学习难度、应用领域等多个方面探讨C与Python之间的区别。一、语言特性类型系统： C：是一种静态类型语言&#xf…...

编程日记 2025/9/15 13:25:08

进程线程的创建、退出、回收

1. 进程相关知识点 1.1 进程创建 fork()： 功能：创建一个子进程。返回值： 父进程中返回子进程的 PID。子进程中返回 0。失败返回 -1。特点：子进程是父进程的副本，拥有独立的内存空间。 vfork()：…...

编程日记 2025/9/15 13:25:05

深度学习-6.用于计算机视觉的深度学习

Deep Learning - Lecture 6 Deep Learning for Computer Vision 简介深度学习在计算机视觉领域的发展时间线语义分割语义分割系统的类型上采样层语义分割的 SegNet 架构软件中的SegNet 架构数据标注目标检测与识别目标检测与识别问题两阶段和一阶段目标检测与识别两阶段检测器…...

编程日记 2025/9/15 13:25:02

低概率发生调用`pthread_cond_wait`的线程没有被唤醒

低概率发生调用pthread_cond_wait的线程没有被唤醒背景： 你是否也踩过坑，在A线程调用pthread_cond_wait等待，在B线程调用pthread_cond_signal唤醒A线程进行工作处理，然后在某一次用户产品反馈中发现了低概率问题。A线程像是卡住…...

编程日记 2025/9/15 13:25:00