当前位置： 首页 > news >正文

大语言模型中的 Token如何理解？

news 来源：原创 2025/9/17 7:28:20

在大语言模型中，Token 是文本处理的基本单元，类似于“文字块”，模型通过将文本分割成Token来理解和生成内容。举一个形象一点的例子，可以理解为 AI 处理文字时的“最小积木块”。就像搭乐高时，每块积木是基础单位一样，AI 会把你的话拆成一个个 Token 来理解和生成回答。

举个栗子🌰：

  • 中文：“我喜欢猫” → 可能拆成 ["我", "喜欢", "猫"]（3个Token）。
  • 英文：“Hello!” → 拆成 ["Hello", "!"]（2个Token）。
  • 长单词：“strawberry” → 拆成 ["str", "aw", "berry"]（3个Token）。

为什么需要拆成 Token？
因为 AI 只能看懂数字，每个 Token 会被转成唯一的数字 ID（比如“猫”→ 12345），然后 AI 通过这些数字学习文字之间的关系，比如“猫”后面常接“很可爱”。

Token 的三大特点：

  1. 不是简单的字或词：可能拆成长一点的词，也可能拆成短一点的字母组合。
  2. 数量决定“饭量”：Token 越多，AI 处理越慢、费用越高（比如提问+回答总 Token 数会计费）。
  3. 影响回答质量：问题太长（Token 太多）可能被截断，太短可能答不全。

省 Token 小技巧：

  • 提问直奔主题，比如：“推荐上海3天行程，避开人多，预算3000元”。
  • 少用客套话（比如“你好，请问……”），每个标点符号都算 Token。

简单来说，Token 就是 AI 眼里的“文字积木”，拆得越合理，AI 越懂你。

相关文章：

大语言模型中的 Token如何理解？

在大语言模型中，Token 是文本处理的基本单元，类似于“文字块”，模型通过将文本分割成Token来理解和生成内容。举一个形象一点的例子，可以理解为 AI 处理文字时的“最小积木块”。就像搭乐高时，每块积木是基础单位一样&…...

编程日记 2025/9/17 7:28:20

信息学奥赛一本通 1522：网络 | OpenJudge 百练 1144:Network

【题目链接】 ybt 1522：网络 OpenJudge 百练 1144:Network 【题目考点】 1. 图论：割点 【解题思路】 每个交换机是一个顶点，如果两地点之间有电话线连接，那么两顶点之间有一条无向边，该图是无向图。 初始时任何地…...

编程日记 2025/9/10 10:37:31

3分钟快速本地部署deepseek

DeepSeek简介 DeepSeek 是杭州深度求索人工智能基础技术研究有限公司开发的一系列大语言模型，背后是知名量化资管巨头幻方量化3。它专注于开发先进的大语言模型和相关技术，拥有多个版本的模型，如 DeepSeek-LLM、DeepSeek-V2、DeepSeek-V3 等…...

编程日记 2025/9/10 16:57:27

Linux系统管理与编程01：准备工作

0 准备工作 0.1 安装VMWare Workstation pro17 到百度搜一下，到处都是。安装好VMWare Workstation pro17（以下简称VW）。 图0- 1 安装过程略。 0.2下载CentOS7.6 图0- 2 选择minimal版本。 0.3下载yum库文件 下载阿里云yum库文件https:…...

编程日记 2025/9/11 12:35:10

常用的几种编码方式

常见的编码方式有多种，每种编码方式都有其特定的用途和特点。以下是几种常见的编码方式： ASCII（美国信息交换标准代码） 用途：主要用于表示英文字符及控制字符。特点：使用7位二进制数表示字符，能…...

编程日记 2025/9/12 3:09:14

WebXR教学 03 项目1 旋转彩色方块

一、项目结构 webgl-cube/ ├── index.html ├── main.js ├── package.json └── vite.config.js二、详细实现步骤 初始化项目 npm init -y npm install three vite --save-devindex.html <!DOCTYPE html> <html lang"en"> <head><…...

编程日记 2025/9/17 7:21:46

从零开始的网站搭建（以照片/文本/视频信息通信网站为例）

本文面向已经有一些编程基础&#xff08;会至少一门编程语言&#xff0c;比如python&#xff09;&#xff0c;但是没有搭建过web应用的人群&#xff0c;会写得尽量细致。重点介绍流程和部署云端的步骤&#xff0c;具体javascript代码怎么写之类的&#xff0c;这里不会涉及。 搭…...

编程日记 2025/9/17 7:21:45

netcore 启用gzip压缩及缓存

public void ConfigureServices(IServiceCollection services) {....// 配置gzip 与 br的压缩等级为最优services.Configure<BrotliCompressionProviderOptions>(options > {options.Level CompressionLevel.Optimal;});services.Configure<GzipCompressionProvid…...

编程日记 2025/9/17 7:21:45

c++入门-------命名空间、缺省参数、函数重载

C系列 文章目录 C系列前言一、命名空间二、缺省参数2.1、缺省参数概念2.2、 缺省参数分类2.2.1、全缺省参数2.2.2、半缺省参数 2.3、缺省参数的特点 三、函数重载3.1、函数重载概念3.2、构成函数重载的条件3.2.1、参数类型不同3.2.2、参数个数不同3.2.3、参数类型顺序不同 前言…...

编程日记 2025/9/12 3:23:18

elf_loader：一个使用Rust编写的ELF加载器

本文介绍一个使用Rust实现的ELF加载器。 下面是elf_loader的仓库链接&#xff1a; github&#xff1a; https://github.com/weizhiao/elf_loaderhttps://github.com/weizhiao/elf_loader crates.io&#xff1a; https://crates.io/crates/elf_loaderhttps://crates.io/cra…...

编程日记 2025/9/17 7:24:37

postman调用ollama的api

按照如下设置&#xff0c;不需要设置key 保持长会话的方法 # 首次请求 curl http://localhost:11434/api/generate -d {"model": "deepseek-r1:32b","prompt": "请永久记住&#xff1a;110&#xff0c;1-12&#xff0c;之后所有数学计算必…...

编程日记 2025/9/17 7:25:03

鸿蒙5.0实战案例：基于ArkUI的验证码实现

往期推文全新看点&#xff08;文中附带全新鸿蒙5.0全栈学习笔录&#xff09; ✏️ 鸿蒙&#xff08;HarmonyOS&#xff09;北向开发知识点记录~ ✏️ 鸿蒙&#xff08;OpenHarmony&#xff09;南向开发保姆级知识点汇总~ ✏️ 鸿蒙应用开发与鸿蒙系统开发哪个更有前景&#…...

编程日记 2025/8/27 19:36:13

通俗理解什么是云原生？

by deepseek。 一、核心理念&#xff1a;云原生到底是什么&#xff1f; 1. 一句话定义 云原生&#xff08;Cloud Native&#xff09; 是一种构建和运行应用程序的方法论&#xff0c;它利用云计算的优势&#xff08;弹性、分布式、自动化&#xff09;&#xff0c;让软件从设计…...

编程日记 2025/9/13 12:19:26

基于PSO粒子群优化的BiLSTM双向长短期记忆网络序列预测算法matlab仿真,对比BiLSTM和LSTM

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 (完整程序运行后无水印) 2.算法运行软件版本 matlab2022a/matlab2024b 3.部分核心程序 &#xff08;完整版代码包含详细中文注释和操作步骤视频…...

编程日记 2025/9/15 7:36:28

什么是完全前向保密（PFS）？

在当今数字化时代&#xff0c;信息安全至关重要。而密码学中的完全前向保密&#xff08;Perfect Forward Secrecy&#xff0c;简称PFS&#xff09;技术&#xff0c;已经成为保障信息安全的关键一环。如果没有完全前向保密&#xff0c;一旦长期密钥被泄露&#xff0c;攻击者就可…...

编程日记 2025/9/15 14:05:33

Oracle备库srvctl start丢失某个原有的service_names的案例

最近在测试主备环境中使用srvctl添加新的service之后&#xff0c;srvctl start发现其中一个原本用于主备同步的service丢失了。 原始的参数文件中的service_names参数值如下(数据库中service_names的值也一样&#xff0c;省略查看步骤)&#xff1a; [oraclesmartdbstb01 202502…...

编程日记 2025/9/14 12:46:37

重学SpringBoot3-怎样优雅停机

更多SpringBoot3内容请关注我的专栏&#xff1a;《SpringBoot3》 期待您的点赞??收藏评论 重学SpringBoot3-怎样优雅停机 1. 什么是优雅停机&#xff1f;2. Spring Boot 3 优雅停机的配置3. Tomcat 和 Reactor Netty 的优雅停机机制 3.1 Tomcat 优雅停机3.2 Reactor Netty 优…...

编程日记 2025/9/16 1:38:21

SkyWalking集成Kafka实现日志异步采集经验总结

SkyWalking日志异步采集架构 【重点知识】 1、【Agent】kafka-reporter-plugin-x.x.x.jar包放plugins目录后必走kafka&#xff08;kafka没有正确配置就会报错&#xff09; 2、【Agent】异步如不开启数据压缩&#xff0c;日志数据较大&#xff0c;pod多、业务大时容易造成网络…...

编程日记 2025/9/9 19:22:51

图论 之 BFS

文章目录 3243.新增道路查询后的最短距离1311.获取你好友已观看的视频 BFS:广度优先搜索&#xff08;BFS&#xff09; 是一种常用的算法&#xff0c;通常用于解决图或树的遍历问题&#xff0c;尤其是寻找最短路径或层级遍历的场景。BFS 的核心思想是使用队列&#xff08;FIFO 数…...

编程日记 2025/9/10 20:45:42

rust学习笔记5-所有权机制

rust核心就是所有权机制&#xff0c;是其内存管理的核心特性&#xff0c;旨在消除内存安全问题&#xff08;如空指针、悬垂指针、内存泄漏等&#xff09;而无需依赖垃圾回收&#xff08;GC&#xff09; 1.首先看一下语义模型 当声明一个变量 let a "32";它的语义模…...

编程日记 2025/9/11 16:03:03

网站快速收录：如何优化网站404页面？

优化网站404页面是提升用户体验和SEO效果的重要一环。以下是一些优化404页面的建议&#xff1a; 一、设计友好的404页面 简洁明了的提示信息&#xff1a;使用清晰的语言告诉用户该页面不存在或已被删除&#xff0c;避免使用过于技术化的术语。 提供导航链接&#xff1a;在40…...

编程日记 2025/9/14 17:40:32

关于order by的sql注入实验

实验描述 本实验基于sqli-lab的第46关进行测试 本关的sql 语句为$sql "SELECT * FROM users ORDER BY $id" 利用sort进行sql注入&#xff0c;我们可以利用报错注入&#xff0c;延时注入来爆出数据 1.报错注入 1.手工测试 爆出数据库 ?sort(extractvalue(1, c…...

编程日记 2025/9/9 6:23:28

Docker(Nginx)部署Vue

简介&#xff1a;目标使用docker将vue生成的dist文件&#xff0c;结合nginx生成镜像&#xff0c;然后运行&#xff1b; 1、首选确保vue项目正确运行&#xff0c;并能正确打包dist文件&#xff1b; 2、查看已经生成的dist文件 3、将dist文件打包为rar文件或者zip文件&#xf…...

编程日记 2025/9/4 17:16:47

从函数到神经网络

一、从函数到神经网络 所有一切的前提是&#xff0c;你要相信这个世界上的所有逻辑和知识&#xff0c;都可以用一个函数来表示。Functions describe the world ! 比如输入物体的质量和加速度&#xff0c;根据牛顿第二定律&#xff0c;就可以得到物体施加的力&#xff0c;这就是…...

编程日记 2025/9/15 7:18:36

Python 字符串格式化 print

Python 字符串格式化 print flyfish 1. 使用百分号&#xff08;%&#xff09;操作符进行字符串格式化 百分号&#xff08;%&#xff09;操作符是 Python 中比较传统的字符串格式化方式&#xff0c;它的使用方式类似于 C 语言中的 printf 函数。 # 格式化整数 num 10 print…...

编程日记 2025/9/10 9:23:16

LabVIEW 中的 Bluetooth.llb 库

Bluetooth.llb 库位于C:\Program Files (x86)\National Instruments\LabVIEW 2019\vi.lib\Platform目录&#xff0c;它是 LabVIEW 平台下用于蓝牙通信相关操作的重要库。该库为 LabVIEW 开发者提供了一系列工具&#xff0c;用于实现设备间的蓝牙连接、数据传输与交互等功能&…...

编程日记 2025/9/11 22:54:14

MySQL | MySQL库、表的基本操作01

MySQL库、表的基本操作01 一、库操作1.1 查看数据库1.2 创建数据库1.3 选择数据库1.4 查看创建数据库的SQL语句1.5 修改数据库1.6 删除数据库 二、表操作2.1 创建数据表2.2 查看表2.3 查看表结构2.4 查看创建数据库的SQL语句2.5 修改表2.6 删除表 ⚠️MySQL版本 8.0 一、库操作…...

编程日记 2025/9/15 14:17:29

抖音试水AI分身；腾讯 AI 战略调整架构；百度旗下小度官宣接入DeepSeek...|网易数智日报

抖音试水AI分身&#xff0c;字节旗下AI智能体平台扣子已与抖音打通&#xff0c;相关功能内测中 2月19日消息&#xff0c;钛媒体App独家获悉&#xff0c;字节旗下AI智能体开发平台扣子&#xff08;Coze&#xff09;已与抖音打通&#xff0c;抖音创作者可在扣子智能体平台打造AI分…...

编程日记 2025/9/14 7:12:36

RPC 框架项目剖析

RPC 框架项目剖析 说明 本文用于梳理一个 rpc项目的实现细节&#xff0c;此项目基于cpp语言 大概三千行左右&#xff0c;用于学习目的。 项目链接&#xff1a;rpc项目 项目底层类 1.抽象消息类 描述&#xff1a; 各种消息的基类 属性&#xff1a; 消息id&#xff0c;消息类型…...

编程日记 2025/9/15 21:45:03

前端 fetch API 调用 Tushare 的数据接口获取免费的基金股票信息数据

要在前端使用 JavaScript 的 fetch API 调用 Tushare 的数据接口&#xff0c;您需要遵循以下步骤&#xff1a; 1. 注册 Tushare 账号并获取 Token 首先&#xff0c;访问 Tushare 官网 注册账号。注册成功后&#xff0c;登录账号&#xff0c;在个人中心获取您的 API Token。 …...

编程日记 2025/9/3 0:35:07

【SpringMVC】十分钟跑起来一个SpringMVC项目

目录标题 1 项目概述1.项目结构解析2. MVC项目的结构和每个组件的作用&#xff1a;3. 项目的工作流程&#xff1a;4 后期可以扩展的点&#xff1a;2.源码学习1. HelloController 类&#xff0c;Spring MVC控制器2 springmvc-servlet.xml - Spring MVC的主要配置文件3.web 目录 …...

编程日记 2025/9/16 7:43:18

LeetCode 热题 100 11. 盛最多水的容器

LeetCode 热题 100 | 11. 盛最多水的容器 大家好&#xff0c;今天我们来解决一道经典的算法题——盛最多水的容器。这道题在LeetCode上被标记为中等难度&#xff0c;要求我们找到两条垂线&#xff0c;使得它们与 x 轴共同构成的容器可以容纳最多的水。下面我将详细讲解解题思路…...

编程日记 2025/9/12 6:07:43

Web自动化之Selenium实战案例1：论文pdf自动下载

在上一篇文章中&#xff0c;我们介绍了Selenium的基础用法和一些常见技巧。今天&#xff0c;我们将通过中国科学&#xff1a;信息科学网站内当前目录论文下载这一实战案例来进一步展示Selenium的web自动化流程。 目录 中国科学&#xff1a;信息科学当期目录论文下载 1.网页内…...

编程日记 2025/9/15 3:15:18

在VSCode中接入deepseek

注册就送14元2000万tokens。 https://cloud.siliconflow.cn/i/rnbA6i6U各种大模型 下面介绍我是如如接入vscode的 左边生成一个key&#xff0c;呆会vscode要用&#xff0c;不然401. 打开vscod&#xff0c;电脑能上网。下插件。 下好要配置 点它一下。 要配置&#xff0c;全…...

编程日记 2025/9/14 10:31:38

CentOS停服后的替代选择：openEuler、Rocky Linux及其他系统的未来展望

CentOS停服后的替代选择&#xff1a;openEuler、Rocky Linux及其他系统的未来展望 引言CentOS停服的背景华为openEuler&#xff1a;面向未来的开源操作系统1. 简介2. 特点3. 发展趋势 Rocky Linux&#xff1a;CentOS的精神继承者1. 简介2. 特点3. 发展趋势 其他可选的替代系统1…...

编程日记 2025/9/10 9:44:49

vector的模拟实现

目录 一、构造和析构函数 二、插入删除访问迭代器 三、迭代器失效 四、拷贝构造和赋值 五、tip 一、构造和析构函数 namespace stn {template<class T>class vector{typedef T* iterator;public:vector():_start(nullptr);, _end(nullptr), _endofstorage(nullptr){…...

编程日记 2025/9/15 18:25:43

【高可用】keepalived的试用与学习笔记

版本日期修订人描述V1.02025/2/23nick huang创建文档 背景 最近&#xff0c;预研给现有的Nginx单点实例添加故障转移的功能&#xff0c;以备单实例故障时无法快速恢复。 本文记录Keepalived的学习笔记&#xff0c;供自己或同学日后参考。 Keepalived Keepalived是一个开源的…...

编程日记 2025/9/16 1:38:22

在Dify中实现联网检索功能（模拟DeepSeek）

跟着上一篇博客&#xff1a;Error response from daemon: Get “https://registry-1.docker.io/v2/“: request canceled while的解决办法-CSDN博客 DeepSeek发布之后&#xff0c;感觉联网检索功能变成标配了。这篇博客简单介绍一下怎么在Dify中配置初步的联网检索功能&#x…...

编程日记 2025/9/15 9:43:20

Deepseek-强化学习算法（通俗易懂版）

首先先贴一张Deepseek核心技术的梳理图&#xff1a; 上图详细了讲述了Deepseek主要在哪些阶段用了强化学习方法&#xff08;GRPO&#xff09; 1.GRPO算法 GRPO是一种用于提高语言模型推理能力的强化学习算法。它在DeepSeekMath论文中&#xff0c;在数学推理的背景下被提出。G…...

编程日记 2025/9/15 21:08:03

[展示]Webrtc NoiseSuppressor降噪模块嵌入式平台移植

最近在尝试把WebRtc的NoiseSuppressor模块移植到嵌入式平台&#xff0c;现在已经移植了&#xff0c;尝试了下效果&#xff0c;降噪效果很显著&#xff0c;噪声带被显著抑制了 降噪前&#xff1a; 降噪后&#xff1a;...

编程日记 2025/8/25 13:02:57

了解 RAG 第二部分：经典 RAG 的工作原理

在本系列的第一篇文章中&#xff0c;我们介绍了检索增强生成 (RAG) &#xff0c;解释了扩展传统大型语言模型 (LLM)功能的必要性。我们还简要概述了 RAG 的核心思想&#xff1a;从外部知识库检索上下文相关的信息&#xff0c;以确保 LLM 生成准确且最新的信息&#xff0c;而不会…...

编程日记 2025/9/14 10:09:40

剖析IO原理和零拷贝机制

目录 1 Linux的五种IO模型1.1 模型调用的函数1.1.1 recv函数1.1.2 select函数1.1.3 poll函数1.1.4 epoll函数1.1.5 sigaction函数 1.2 IO模型1.2.1 阻塞IO模型1.2.2 非阻塞IO模型1.2.3 IO复用模型1.2.4 信号驱动IO模型1.2.5 异步IO模型1.2.6 IO模型比较 2 Java的BIO、NIO、AIO2…...

编程日记 2025/9/14 15:32:43

【论文精读】MapTR：用于在线矢量化高精地图构建的结构化建模与学习

论文地址&#xff1a; MAPTR: STRUCTURED MODELING AND LEARNING FOR ONLINE VECTORIZED HD MAP CONSTRUCTION 源代码&#xff1a;MapTR 摘要 High-definition&#xff08;HD Map&#xff09;map为自动驾驶场景提供了丰富且精确的环境信息&#xff0c;是自动驾驶系统规划中不…...

编程日记 2025/9/15 2:13:04

云图库平台（五）——后端图片模块开发

目录 一、需求分析二、库表设计三、图片的处理如何实现图片的上传和下载创建图片的业务流程如何对图片进行解析 四、创建并使用对象存储五、后端操作对象存储初始化客户端通用能力类文档上传文件下载 一、需求分析 管理员功能&#xff1a; 图片的上传和创建&#xff1a;仅管理…...

编程日记 2025/9/9 21:55:30

Linux红帽：RHCSA认证知识讲解（一）RedHat背景与环境配置

Linux红帽&#xff1a;RHCSA认证知识讲解&#xff08;一&#xff09;RedHat背景与环境配置 前言一、RedHat公司背景二、RedHat环境安装步骤三、windows使用远程工具连接环境并上传文件到redhat方法&#xff1a; 前言 在接下来的博客中&#xff0c;我们从基础开始将介绍红帽Linu…...

编程日记 2025/9/15 22:14:11

【Linux】基于UDP/TCP套接字编程与守护进程

目录 一、网路套接字编程 &#xff08;一&#xff09;基础概念 1、源IP地址与目的IP地址 2、端口号 3、TCP与UDP 4、网络字节序 &#xff08;二&#xff09;套接字编程接口 1、socket 常见API 2、sockaddr结构 &#xff08;三&#xff09;UDP套接字 1、UDP服务器创建…...

编程日记 2025/9/15 10:32:39

Linux CentOS 上 Ollama 的安装与部署：从入门到实践

Linux CentOS 上 Ollama 的安装与部署：从入门到实践 随着人工智能技术的快速发展，大语言模型（LLMs）的应用场景越来越广泛。Ollama 作为一个轻量级的 AI 模型管理工具，为开发者提供了便捷的模型部署和管理解决方案。本文将详细介绍如何在 Linux CentOS 系统上安装和部署 O…...

编程日记 2025/9/9 17:06:01

大数据学习之任务流调度系统Azkaban、Superset可视化系统

一.任务流调度系统Azkaban 1.课程介绍 2.为什么需要工作流调度系统 3.AZKABAN是什么 4.AZKABAN下载 5.制作安装包 6.tar包准备 7.MYSQL配置AZKABAN 8.配置EXECUTOR SERVER 9.配置WEBSERVER 10.单作业实战_yaml语言(今天稍晚更新) 11.单作业实战 12.多作业依赖实战 13.失败自动重…...

编程日记 2025/9/16 7:13:40

网络空间安全（2）应用程序安全

前言 应用程序安全&#xff08;Application Security&#xff0c;简称AppSec&#xff09;是一个综合性的概念&#xff0c;它涵盖了应用程序从开发到部署&#xff0c;再到后续维护的整个过程中的安全措施。 一、定义与重要性 定义&#xff1a;应用程序安全是指识别和修复应用程序…...

编程日记 2025/9/15 9:54:12

UDP、TCP的区别

UDP&#xff08;用户数据报协议&#xff09;和TCP&#xff08;传输控制协议&#xff09;是两种常用的传输层协议&#xff0c;它们在数据传输方式、可靠性和应用场景等方面有显著区别。以下是它们的主要区别&#xff1a; ### 1. 连接方式 - **TCP**&#xff1a;面向连接。通信前…...

编程日记 2025/9/14 0:50:21