克服大规模语言模型限制，构建新的应用方法——LangChain
大模型
大模型的出现和落地开启了人工智能(AI)新一轮的信息技术革命，改变了人们的生 活方式、工作方式和思维方式。大模型的落地需要数据、算力和算法三大要素。经过几 年发展，大模型的数据集(包括多模态数据集)制作已经形成了规约，Meta、Google和百 度等人工智能公司都有自己的一套数据集标准制作流程。算力方面主要依托GPU、TPU 等硬件资源进行集群计算(即并行计算)。在算法方面，主要以Transformer架构为主流框 架，出现了 OpenAI 的 GPT 系列大模型、Meta 的 Llama 系列大模型以及清华大学的 ChatGLM 系列大模型。目前虽然已经有几千个甚至更多的大模型。
在这种背景下，在基础大模型基础上形成了微调和提示工程等新的技术范式。同时也出现了大模型应用落地的软件产品，如 LangChain、Ollama、Chatbox、LM Studio、 AnythingLLM、LocalAI 和 MaxKB 等，主要用于大模型微调、部署、管理和应用服务 开发。这些产品各有特色，要根据自己的业务场景、业务需求和特色选择。
LangChain 由Harrison Chase 于2022 年创建，是一个开源Python 框架，用于构建大规模语言模型驱动的应用程序。它为开发人员提供模块化、易于使用的组件，用于将语言模型与外部数据源和服务连接起来。LangChain提供了一个完整的生态系统，为开发者带来了一系列核心模块和工具。
大规模语言模型的局限性
大规模语言模型已成为强大的工具，但其功能也有局限性。了解这些限制有助于有 效地设计和部署大规模语言模型。大规模语言模型面临以下几个问题。
● 知识过时：大规模语言模型完全依赖于训练数据，而这些数据可能已经过时。 大规模语言模型缺乏获取实时信息的途径，在回答有关时事的问题时会很吃力。 例如，向大规模语言模型询问最近的一则新闻会得到一个不知情的响应。
● 有限行动：大规模语言模型无法在现实世界中执行行动。它们不能搜索网络、 访问数据库或进行计算。这就限制了它们在需要与外部数据交互的任务中的作 用。试想一下，大规模语言模型在讨论金融时——它可以解释概念，但无法检 索实时股票数据来分析当前趋势。
● 偏见与公平：大规模语言模型可能会从训练数据中继承偏见。这些偏见可能是 宗教性的、意识形态的或政治性的，从而导致歧视性的输出。精心设计和监控 对于降低这些风险至关重要。例如，微软的Tay聊天机器人在2016年推出不久 后就下线了，原因是有毒性互动导致的攻击性推文。
● 成本和速度：由于对计算的要求，训练和运行大规模语言模型的成本可能很高。 此外，文本生成速度也会因模型大小和复杂程度而异。对于生产部署而言，仔 细考虑这些因素至关重要。
● 逻辑推理和数学：虽然大规模语言模型不断取得进步，但通常难以胜任复杂推 理或数学模型的任务。它们可能无法将多个事实结合起来，或进行以前从未遇 到过的计算。例如，大规模语言模型可能知道水果和水的密度，但却无法确定 水果是否会浮起来(这是一个多步骤的推理过程)。
如何减少大规模语言模型的局限性
大规模语言模型在推理、获取实时信息和避免偏见等方面可能存在不足。为了弥补 这些不足，可以采用循序渐进的方法，以下技术可以减少其局限性。
1. 提示工程和微调：首先要精心设计提示(问题或指示)，引导大规模语言模型实现 预期结果。这有助于大规模语言模型更好地理解任务和上下文。此外，在特定数据集上 进行微调可以进一步提高特定应用的性能。
2. 自我任务提示：这种方法鼓励大规模语言模型将复杂的问题分解成更小、更容 易处理的步骤。通过向自己提出明确的问题，大规模语言模型可以找出相关信息，更有 条理地解决问题。
3. 连接外部数据：大规模语言模型缺乏实时知识，可以将其与数据库或Web 搜索 API 等外部数据源集成。这样，大规模语言模型就能获取当前信息，提高响应的准确性。
4. 过滤和监控：尽管采取了预防措施，但偏见和事实错误仍有可能漏网。实施过 滤器，如屏蔽列表、敏感度分类器和禁用词过滤器，可在输出之前捕捉到不适当或不准 确的输出。人工监控对于识别和解决新出现的问题也至关重要。
5. 人工智能的宪法原则：将道德因素纳入开发过程。这包括将公平性和透明度纳 入大规模语言模型本身，使其行为符合人类价值观。 通过将这些策略结合起来，可以将大规模语言模型从随机鹦鹉转变为推理引擎，使 其能够进行更有意义的交互并输出负责任的结果。
像LangChain这样的框架通过提供一 种结构化的方法，将提示、数据源和过滤器结合起来，有效地使用大规模语言模型，从 而简化了这一过程。
《LangChain大模型应用开发》
本书围绕大模型、生成式人工智能、LangChain等主题，以理论、案例和近几年的 技术前沿为主线展开，以代码实现为途径，适合大模型应用开发、人工智能和大数据等 领域的学者和工程师阅读，也可以作为非计算机背景人员作为入门大模型应用实战的 读物。无论是初学者还是经验丰富的开发人员，对于任何想要充分利用大规模语言模型并 在大规模语言模型和LangChain方面保持领先的人来说，这本书都将是宝贵的资源。
大规模语言模型可以生成令人信服的语言，但在推理、知识和使用工具方面却有很 大的局限性。LangChain框架简化了由大规模语言模型驱动的复杂应用程 序的构建，从而减少缺陷。链允许对大规模语言模型、数据库、API等进行排序调用， 以完成多步骤工作流。智能体可利用链根据观察结果采取行动，以管理动态应用程序。 记忆会在执行过程中持久保存信息，以保持状态。这些概念通过整合外部数据、操作和 上下文，使开发人员能够克服单个大规模语言模型的局限性。换句话说，LangChain将 复杂的编排工作简化为可定制的构建模块。
LangChain 生态系统还包括用于收集反馈的 LangSmith、用于构建复杂有状 态应用程序的LangGraph以及用于简化API创建的LangServe，它们都具有旨在优化性 能、可扩展性和用户参与度的独特功能。此外，TruLens、Twitter和Google Search等重 要的第三方集成也丰富了该框架的功能，使大规模语言模型的应用更加广泛。
相关文章：
克服大规模语言模型限制，构建新的应用方法——LangChain
大模型 大模型的出现和落地开启了人工智能(AI)新一轮的信息技术革命，改变了人们的生 活方式、工作方式和思维方式。大模型的落地需要数据、算力和算法三大要素。经过几 年发展，大模型的数据集(包括多模态数据集)制作已经形成了规约，Meta、Go…...
MacOS 下 pico/pico2 学习笔记
1.安装开发工具 cmake brew install cmakeopenocd brew install openocdarm-none-eabi-gcc 用 brew 安装的版本会出现如下错误： arm-none-eabi-gcc: fatal error: cannot read spec file nosys.specs: No such file or directory用 arm 官方的版本没有问题。 cd …...
Leetcode 每日一题 1.两数之和
目录 问题描述 示例 示例 1 示例 2 示例 3 提示 解决方案 算法思路 过题图片 代码实现 复杂度分析 注意事项 题目链接 结论 问题描述 给定一个整数数组 nums 和一个目标值 target，请你找出数组中和为目标值的那两个整数，并返回它们的数组下…...
柯桥职场商务英语生活英语口语培训外贸纺织口语学习
"等一下"该怎么说？ 大家应该都知道，wait a moment是一个祈使句，祈使句就难免带有命令的口吻，还有点不耐烦。 如果你把“等一下”说成wait a moment，外国人多半认为你是个傲慢无礼的人。毕竟在他们看来wait a…...
ElasticSearch如何做性能优化？
大家好，我是锋哥。今天分享关于【ElasticSearch如何做性能优化？】面试题。希望对大家有帮助； ElasticSearch如何做性能优化？ 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 在 Elasticsearch 中，性能优化是…...
深度学习常用损失函数介绍
均方差损失（Mean Square Error，MSE） 均方误差损失又称为二次损失、L2损失，常用于回归预测任务中。均方误差函数通过计算预测值和实际值之间距离（即误差）的平方来衡量模型优劣。即预测值和真实值越接近&…...
PSHuman 部署笔记
目录 github地址： 依赖项： xformers安装： 解决方法，安装xformers smpl_data下载： 推理步骤： SMPLDataset 香港科技大学提出了一种叫PSHuman的新框架。这个方法利用了一个多视角扩散模型的“先验知识…...
怎么样能使Ubuntu的文件浏览器显示当前目录的路径，而不是只显示一个文件名？
默认情况下Ubuntu的文件浏览器是只显示当前目录的目录名的，这很不便我们查看路径或直接利用路径进行定位，那么怎么样能使Ubuntu的文件浏览器显示当前目录的路径呢？ 两种方法： 第1种-临时方法 按下快捷键 Ctrl L，导航…...
自回归模型（AR ）
最近看到一些模型使用了自回归方法，这里就学习一下整理一下相关内容方便以后查阅。 自回归模型（AR ） 自回归模型（AR ）AR 模型的引入AR 模型的定义参数的估计方法模型阶数选择平稳性与因果性条件自相关与偏自相关函数优…...
工具推荐-js爬取工具
现在测试方向都偏向于从js中的接口来入手找到可以进的点，关于快速扫描js文件来发现敏感接口的工具有很多，下面的jjjjs就是其一 项目地址: GitHub - ttstormxx/jjjjjjjjjjjjjs: 爬网站JS文件，自动fuzz api接口，指定api接口&#x…...
CSS学习记录05
CSS外边距 CSS margin属性用于在任何定义的边框之外，为元素周围创建空间。通过CSS，您可以完全控制外边距，一些属性可用于设置元素每侧（上、右、下和左）的外边距。 Margin - 单独的边 CSS拥有用于为元素的每一侧指定…...
差异基因富集分析（R语言——GOKEGGGSEA）
接着上次的内容，上篇内容给大家分享了基因表达量怎么做分组差异分析，从而获得差异基因集，想了解的可以去看一下，这篇主要给大家分享一下得到显著差异基因集后怎么做一下通路富集。 1.准备差异基因集 我就直接把上次分享的拿到这…...
ISO 45001 职业健康安全管理体系的实施具有多方面的重要意义
对企业的意义 提升企业形象：实施 ISO 45001 体系体现了企业对员工职业健康安全的重视和承诺，有助于树立良好的企业形象，增强企业在社会公众、客户、投资者等方面的认可度和美誉度，提升企业的市场竞争力。增强员工满意度和忠诚度&a…...
)
HarmonyOS-中级(三)
文章目录 合理使用动画和转场Web组件和WebView给应用添加通知和提醒 🏡作者主页：点击！ 🤖HarmonyOS专栏：点击！ ⏰️创作时间：2024年12月08日12点12分 合理使用动画和转场 动效场景设计&#x…...
报错:Invalid HTTP method: PATCH executing PATCH http://XXX.XXX
分析： 问题在于我使用feignclietn调用PatchMapping方法时，发送的 PATCH 请求方法出现了不匹配的情况。虽然说springboot自带了RESTful风格的方法（GET、POST、PUT、DELETE、PATCH，但是PATCH相较于前几个来说算是新的HTTP方法&#…...
Open WebUI项目源码学习记录（从0开始基于纯CPU环境部署一个网页Chat服务）
感谢您点开这篇文章:D，鼠鼠我是一个代码小白，下文是学习开源项目Open WebUI过程中的一点笔记记录，希望能帮助到你～ 本人菜鸟，持续成长，能力不足有疏漏的地方欢迎一起探讨指正，比心心～…...
WPF Prism 01-BootstrapperShell
Prism介绍 Prism 是一个用于在 WPF、.NET MAUI、Uno 平台和 Xamarin Forms 中构建松耦合、可维护和可测试的 XAML 应用程序的框架。每个平台都有单独的发布版本，并且这些版本将在独立的开发时间线上进行开发。Prism 提供了一组设计模式的实现，这些模式有…...
在Ubuntu22.04 jammy下用qemu模型riscv32环境装鸿蒙（未完成，待续）
在使用实体ESP32C3 安装鸿蒙失败后，就是这个：完全按照手册win10里装Ubuntu 虚拟机然后编译ESP32（主要是想针对ESP32C3和S3）开发板的鸿蒙系统(失败)-CSDN博客转向用qemu模拟环境装鸿蒙 学习手册riscv32_virt/README_zh.md OpenHar…...
第2章：CSS基本语法 --[CSS零基础入门]
CSS（层叠样式表，Cascading Style Sheets）是用来描述HTML或XML（包括各种XML：SVG, MathML 或 XHTML）等文档的外观和格式的语言。以下是CSS的基本语法： 1.选择器 1.元素选择器 元素选择器是基于HTML标签名称来选择元素的。当你使用元素选择器时，你是在告诉浏览器对页面…...
win11 恢复任务栏copilot图标, 亲测有效
1、修改C:\Windows\System32\IntegratedServicesRegionPolicySet.json，解除中国不能使用copilot的限制。 使用Notepad搜索copilot全文搜索，将下面两处的“CN,”删除，删除后如下： {"$comment": "Show Copilot on t…...
Python爬虫实战：抓取拼多多商品详情数据（基于pdd.item_get接口）
在当前的电商市场中，拼多多以其独特的拼团模式和优惠价格吸引了大量用户，成为继淘宝、京东之后的又一大电商平台。对于数据分析和市场研究者来说，获取拼多多的商品详情数据显得尤为重要。本文将介绍如何使用Python爬虫技术，通过调…...
如何在x86模拟器和鸿蒙API9如何使用MQTT模块ohos_mqtt
目录 引言 安装失败的原因 如何编译so文件的x86_64版本 下载源代码 安装NDK 代码编译 安装MQTT软件包 避免MQTT软件包自动升级 设置libs 客户端程序的编写 运行测试 结语 参考文献 引言 在上周的博客（如何在鸿蒙API9和x86模拟器中使用MQTT-CSDN博客&am…...
VB.NET 从入门到精通：开启编程进阶之路
摘要： 本文全面深入地阐述了 VB.NET 的学习路径，从基础的环境搭建与语法入门开始，逐步深入到面向对象编程、图形用户界面设计、数据访问、异常处理、多线程编程以及与其他技术的集成等核心领域，通过详细的代码示例与理论讲解&…...
芝法酱学习笔记（1.3）——SpringBoot+mybatis plus+atomikos实现多数据源事务
一、前言 1.1 业务需求 之前我们在讲解注册和登录的时候，有一个重要的技术点忽略了过去。那就是多数据源的事务问题。 按照我们的业务需求，monitor服务可能涉及同时对监控中心数据库和企业中心数据库进行操作，而我们希望这样的操作在一个事…...
图像处理插件：让小程序焕发视觉新生的秘密武器
在小程序开发中，图像处理是一个重要的环节，它涉及到图片的加载、显示、裁剪、压缩等多个方面。为了简化这一复杂过程，开发者通常会使用图像处理插件。这些插件不仅提供了丰富的图像处理功能，还封装了底层的图像操作逻辑࿰…...
力扣刷题TOP101: 27.BM34 判断是不是二叉搜索树
目录： 目的 思路 复杂度 记忆秘诀 python代码 目的： 给定一个二叉树根节点，请判断这棵树是不是二叉搜索树。 二叉搜索树满足每个节点的左子树上的所有节点均小于当前节点且右子树上的所有节点均大于当前节点。 思路 什么是二叉搜索树&am…...
Linux图形化工具推荐
1、MobaXterm MobaXterm Xserver with SSH, telnet, RDP, VNC and X11 - DownloadFree X server for Windows with tabbed SSH terminal, telnet, RDP, VNC and X11-forwarding - Downloadhttps://mobaxterm.mobatek.net/download.html 2、FinalShell FinalShell SSH工具,服…...
蓝队基础：企业网络安全架构与防御策略
声明 学习视频来自B站up主 **泷羽sec** 有兴趣的师傅可以关注一下，如涉及侵权马上删除文章，笔记只是方便各位师傅的学习和探讨，此文章为对视频内容稍加整理发布，文章所提到的网站以及内容，只做学习交流，其他…...
数据结构：栈
什么是栈： 栈是一种特殊的线性表，仅能在线性表的一端操作，栈顶允许操作，栈底不允许操作。 栈的特点是：先进后出，或者说是后进先出，从栈顶放入元素的操作叫入栈，取出元素叫出栈。 栈…...
tcp_recvmsg 函数
tcp_recvmsg 函数是 Linux 内核 TCP 栈的一部分，它主要用于处理从 TCP socket 接收数据的过程。这个函数的主要任务是从 TCP 接收队列中提取数据，并将这些数据拷贝到用户空间提供的缓冲区中。 以下是 tcp_recvmsg 函数的一般工作流程和功能解释： 函数签名和参数 int tcp_re…...
《数据结构》（应用题）
历年真题（09~24） 2009 最短路径（Dijkstra青春版） 【2009统考真题】带权图（权值非负，表示边连接的两顶点间的距离）的最短路径问题是找出从初始顶点到目标顶点之间的一条最短路径。假设从初始顶点…...
阿里内部正式开源“Spring Cloud Alibaba （全彩小册）”
年轻的毕业生们满怀希望与忐忑，去寻找、竞争一个工作机会。已经在职的开发同学，也想通过社会招聘或者内推的时机争取到更好的待遇、更大的平台。 然而，面试人群众多，技术市场却相对冷淡，面试的同学们不得不面临着 1 个…...
LeetCode题练习与总结：根据字符出现频率排序--451
一、题目描述 给定一个字符串 s ，根据字符出现的 频率 对其进行 降序排序 。一个字符出现的 频率 是它出现在字符串中的次数。 返回 已排序的字符串 。如果有多个答案，返回其中任何一个。 示例 1: 输入: s "tree" 输出: "eert" …...
Excel VBA学习系列汇总20241205
整理几年工作中，实用VBA代码，绝对干货！ 方便自己查询，方便大家学习， 有缘人可复制使用，记得分享给大家免费学习哦！ 序历史文章1新学期开始，如何新学期开始，如何按成绩名次…...
给el-table表头添加icon图标，以及鼠标移入icon时显示el-tooltip提示内容
在你的代码中，你已经正确地使用了 el-tooltip 组件来实现鼠标划过加号时显示提示信息。el-tooltip 组件的 content 属性设置了提示信息的内容，placement 属性设置了提示信息的位置。 你需要确保 el-tooltip 组件的 content 属性和 placement 属性设置正…...
基于LLM智能问答系统【阿里云：天池比赛】
流程： 1、分别识别问题及提供的资料文件中的公司名实体，有公司名的走语义检索，无公司名的走结构化召回 2、结构化召回：Qwen根据问题生成sql，执行sql获取结果数值，把结果数值与问题给到Qwen生成最终结果 …...
)
k8s-Informer概要解析(2)
Client-go 主要用在 k8s 控制器中 什么是 k8s Informer Informer 负责与 kubernetes APIServer 进行 Watch 操作，Watch 的资源，可以是 kubernetes 内置资源对象，也可以 CRD。 Informer 是一个带有本地缓存以及索引机制的核心工具包&#x…...
Leetcode 3376. Minimum Time to Break Locks I
Leetcode 3376. Minimum Time to Break Locks I 1. 解题思路2. 代码实现 题目链接：3376. Minimum Time to Break Locks I 1. 解题思路 这一题我最开始的思路走的是贪婪算法的路子，优先走X的增长，不过很不幸失败了，后面还是暴力…...
介绍8款开源网络安全产品
01 HFish蜜罐 HFish是一款开源的蜜罐系统，用于模拟各种网络服务和应用，以吸引潜在的黑客攻击。它能够记录攻击尝试并收集攻击者的信息，从而帮助网络管理员识别潜在的威胁。HFish支持多种协议和服务，包括HTTP、FTP、SSH等&#…...
vue2面试题|[2024-12-5]
开题答辩终于结束了，又要开始我的前端面试学习啦！！！ 1.v-model双向绑定原理 class Vue{constructor(options){this.$options optionsthis.$watchEvent {}if(typeof options.beforeCreate function){options.beforeCreate.bind…...
共筑数字安全防线，2024开源和软件安全沙龙即将启幕
随着数字化转型进程的加快以及开源代码的广泛应用，开源凭借平等、开放、协作、共享的优秀创作模式，逐渐成为推动数字技术创新、加速传统行业转型升级的重要模式。但随着软件供应链日趋复杂多元，使得其安全风险不断加剧，针对软件供…...
目标跟踪领域经典论文解析
亲爱的小伙伴们😘，在求知的漫漫旅途中，若你对深度学习的奥秘、JAVA 、PYTHON与SAP 的奇妙世界，亦或是读研论文的撰写攻略有所探寻🧐，那不妨给我一个小小的关注吧🥰。我会精心筹备，在…...
SQL DQL数据查询语言（后续）
SQL DQL数据查询语言（后续） 1.子查询 在查询语句中的WHERE条件子句中，又嵌套了另外一个查询语句在返回列中嵌套一个查询 where条件中嵌套 要求：查询课程为《高等数学-2》且分数不小于80分的学生的学号和姓名select a.StudentNo,a…...
Gitee配置SSH公钥
采用SSH协议同步Git仓库代码的好处就是高效。在配置好SSH公钥后，不需要每次操作都要输入用户名和密码（主要针对命令行来说）。 以我个人项目为例。 生成 SSH 公钥 1. 通过命令 ssh-keygen 生成 SSH Key： ssh-keygen -t ed25519…...
机器学习——感知机模型
文章目录 前言1.感知机模型介绍1.1基本概念1.2数学表达1.3几何解释1.4优缺点 2.二分类应用2.1应用介绍2.2准备数据集2.2.1环境检查2.2.2数据集介绍2.2.3获取数据2.2.4划分数据集 2.3可视化训练集2.4训练过程2.4.1首轮梯度下降2.4.2多轮梯度下降 2.5可视化分类结果2.6在验证集验…...
如何选择安全、可验证的技术？
澳大利亚信号局的澳大利亚网络安全中心 (ASD 的 ACSC) 发布了一份指导文件，题为《选择安全和可验证的技术》，旨在帮助组织在采购软件（专有或开源）、硬件（例如物联网设备）和云服务（SaaS、MSP 服务…...
STL库中list的使用与迭代器的实现
STL库中list的使用与迭代器的实现 1.使用list中的部分函数assignspliceremoveuniquemeger 2.list的部分功能实现（重点）框架迭代器的实现 1.使用list中的部分函数 assign 功能一：当前链表的节点全部销毁，替换成迭代区间的值 功能二…...
android 常用三方框架
说实话， 我是比较讨厌三方框架的， 比如一个eventbus 底层逻辑就是个观察者模式，当然他的场景涵盖的比较丰富， 单从 单一原则来说， 还是一个简单的观察者模式就能解决问题， 何必要添加那么多文件到我们的项目…...
Browser.js断点续传上传
通过断点续传上传的方式将文件上传到OSS前，您可以指定断点记录点。上传过程中，如果出现网络异常或程序崩溃导致文件上传失败时，将从断点记录处继续上传未上传完成的部分。 attention： 1、 当您使用webpack或browserify等打包工具…...
Java项目实战II基于微信小程序的无中介租房系统（开发文档+数据库+源码）
目录 一、前言 二、技术介绍 三、系统实现 四、核心代码 五、源码获取 全栈码农以及毕业设计实战开发，CSDN平台Java领域新星创作者，专注于大学生项目实战开发、讲解和毕业答疑辅导。 一、前言 随着城市化进程的加速，租房市场日益繁荣&a…...