当前位置：首页 > news >正文

Haystack 的开源开发 LLM 应用设计框架

news 来源：原创 2025/8/3 14:30:24

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/

在人工智能的世界中，开发者有许多工具和技术可以用来创建基于大型语言模型（LLM）的应用程序。而最近，一款名为 Haystack 的开源框架正在崭露头角，成为构建 AI 应用的强大工具。本文将详细解读 Haystack 的独特优势，并探讨其在 LLM 生态系统中的竞争力。最后，我们将通过一个 RAG（检索增强生成）案例来展示其实际应用。 Haystack | Haystack

什么是 Haystack？

Haystack 是一款专为开发 LLM 应用设计的工具包，它特别适用于处理大量文本或文档的场景。Haystack 的特点是代码量少、易于上手，可以快速搭建生产级别的 LLM 应用。正如其名字暗示，Haystack 就像一组可以自由组合的积木，用于创建各种类型的 AI 系统。

以下是一些 Haystack 可实现的功能：

构建基于海量文档的问答型聊天机器人
开发能够从多个文档中提取特定信息的系统
创建可以理解并处理文本、图像等多种数据类型的应用程序

在 Python 3.10 环境中，只需一行代码即可安装：

pip install haystack-ai

Haystack 的核心工作原理

Haystack 的运作基于两个核心概念：

组件（Components）
每个组件负责特定的任务。例如，一个组件可能用于检索相关文档，另一个组件则生成文本回答。
管道（Pipelines）
管道负责连接这些组件，定义组件间的工作顺序以及数据流动的方式。

通过灵活组合不同的组件，开发者可以创建能够执行复杂任务的 AI 系统。

Haystack 的主要特性

1. 灵活性

Haystack 支持多种 AI 模型（如 OpenAI、HuggingFace）和数据存储系统（如 ChromaDB、Pinecone，甚至是 Neo4j）。

2. 易用性

无需深入了解 AI 复杂细节，即可使用 Haystack 构建应用。

3. 高度可定制

支持通过 Pydantic 结构自定义新组件，满足特定需求。

4. 丰富的应用场景

适用于从问答系统到信息抽取等多种 AI 应用的开发。

用例展示：构建 RAG 管道

接下来，本文将通过一个检索增强生成（RAG）案例，带你动手实现 Haystack 的实战应用。

文档清理与处理管道

首先，为了处理 HTML 文档，我们需要安装以下依赖：

pip install trafilatura lxml_html_clean

导入必要的库文件：

import urllib.request
from haystack import Pipeline
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.retrievers import InMemoryEmbeddingRetriever
from haystack.components.converters import HTMLToDocument
from haystack.components.preprocessors import DocumentCleaner, DocumentSplitter
from haystack.components.embedders import OpenAIDocumentEmbedder
from haystack.components.writers import DocumentWriterfrom dotenv import load_dotenv
load_dotenv()

将文档存储到内存中：

document_store = InMemoryDocumentStore()

创建一个 HTML 转换器以处理文档：

text_file_converter = HTMLToDocument()

文档清理组件会移除空行、多余空格等，优化文本的可读性：

cleaner = DocumentCleaner()

然后，使用分割器将长文档拆分为句子块，每块包含5句：

splitter = DocumentSplitter(split_by="sentence", split_length=5)

嵌入器（Embedder）将计算每个文档的嵌入向量：

embedder = OpenAIDocumentEmbedder()

最后，通过 DocumentWriter 将处理后的文档存储到内存中：

writer = DocumentWriter(document_store)

将这些组件连接成一个完整的管道：

indexing_pipeline = Pipeline()
indexing_pipeline.add_component("converter", text_file_converter)
indexing_pipeline.add_component("cleaner", cleaner)
indexing_pipeline.add_component("splitter", splitter)
indexing_pipeline.add_component("embedder", embedder)
indexing_pipeline.add_component("writer", writer)indexing_pipeline.connect("converter.documents", "cleaner.documents")
indexing_pipeline.connect("cleaner.documents", "splitter.documents")
indexing_pipeline.connect("splitter.documents", "embedder.documents")
indexing_pipeline.connect("embedder.documents", "writer.documents")

运行管道并处理示例文档：

indexing_pipeline.run(data={"sources": ["free_as_in_freedom.html"]})

构建 RAG 管道

在 RAG 部分，我们将加载处理好的文档，并定义检索和生成组件：

retriever = InMemoryEmbeddingRetriever(document_store)prompt_template = """Given these documents, answer the question.
Documents:
{% for doc in documents %}
{{ doc.content }}
{% endfor %}
Question: {{query}}
Answer:"""prompt_builder = PromptBuilder(template=prompt_template)
llm = OpenAIGenerator()

同样，通过管道连接这些组件：

rag_pipeline = Pipeline()
rag_pipeline.add_component("retriever", retriever)
rag_pipeline.add_component("prompt_builder", prompt_builder)
rag_pipeline.add_component("llm", llm)rag_pipeline.connect("retriever.documents", "prompt_builder.documents")
rag_pipeline.connect("prompt_builder", "llm")

最后，输入查询并获取答案：

query = "What is the profession of Richard M. Stallman and where does he work?"
result = rag_pipeline.run(data={"prompt_builder": {"query": query}})
print(result["llm"]["replies"][0])

输出结果

通过简单几步，Haystack 生成了如下答案：

Richard M. Stallman is a software programmer and works at the Massachusetts Institute of Technology's Artificial Intelligence Laboratory.

总结

Haystack 是一款极具潜力的开源工具，它让开发者能够高效地构建基于 LLM 的 AI 应用。从问答系统到信息抽取，Haystack 提供了灵活且强大的构建能力，帮助更多开发者轻松驾驭 AI 的复杂性。随着其功能不断完善，这一工具将在未来占据更重要的位置。

Haystack 的开源开发 LLM 应用设计框架

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/8/3 14:30:24

彻底理解消息队列的作用及如何选择

一.为什么要使用消息队列？ 使用消息队列，其实是需要根据实际业务场景来的，一般都是实际开发中，遇到了某种技术挑战，如果不使用MQ的话，业务实现起来比较麻烦，但是通过MQ就可以更快捷高效的实现业…...

编程日记 2025/8/3 14:28:50

【Java】二叉树：数据海洋中灯塔式结构探秘（上）

个人主页 🌹：喜欢做梦二叉树中有一个树，我们可以猜到他和树有关，那我们先了解一下什么是树，在来了解一下二叉树一🍝、树型结构 1🍨.什么是树型结构？ 树是一种非线性的数据结构&…...

编程日记 2025/8/3 14:18:19

海洋通信船舶组网工业4G路由器应用

船舶是浩瀚海洋中探索与贸易的载体，更是船员们生活与工作的家园。为了在广阔的水域中搭建起稳定、高效的网络桥梁，工业4G路由器以卓越的通信组网能力，为船舶组网提供网络支持。工业4G路由器以其强大的信号发射能力，确保船舶内部…...

编程日记 2025/8/3 14:18:19

字符串-07-判断两个IP是否属于同一子网

文章目录 1. 题目描述2. 思路3. 代码 1. 题目描述 IP地址是由4个0-255之间的整数构成的，用"."符号相连。二进制的IP地址格式有32位，例如：10000011，01101011，00000011，00011000；每八…...

编程日记 2025/8/3 14:21:23

Django启用国际化支持（2）—实现界面内切换语言：activate()

文章目录 ⭐注意⭐1. 配置项目全局设置：启用国际化2. 编写视图函数3. 配置路由4. 界面演示5、扩展自动识别并切换到当前语言设置语言并保存到Session设置语言并保存到 Cookie ⭐注意⭐ 以下操作依赖于 Django 项目的国际化支持。如果你不清楚如何启用国际化功能&am…...

编程日记 2025/8/2 15:22:45

自定义协议

1. 问题引入问题：TCP是面向字节流的（TCP不关心发送的数据是消息、文件还是其他任何类型的数据。它简单地将所有数据视为一个字节序列，即字节流。这意味着TCP不会对发送的数据进行任何特定的边界划分，它只是确保数据的顺序和完整…...

编程日记 2025/7/28 4:14:10

PHP Date 函数：日期和时间处理的全指南

PHP Date 函数：日期和时间处理的全指南 PHP Date 函数是 PHP 编程语言中用于处理日期和时间的核心函数之一。它提供了强大的功能，允许开发者轻松地格式化、计算和操作日期和时间值。本文将详细介绍 PHP Date 函数的用法，包括基本格式化、时间戳处理、时区设置以及一些高级特…...

编程日记 2025/7/30 5:13:32

C++设计模式：抽象工厂模式（风格切换案例）

抽象工厂模式（Abstract Factory）是一种创建型设计模式，其核心思想是：为一组相关或相互依赖的对象提供一个创建接口，而无需指定它们具体的类。简单来说，就是一个工厂可以生产一系列相关的对象。我们接下来…...

编程日记 2025/8/2 0:40:03

社交媒体营销新趋势：如何通过海外平台提升品牌曝光度？

社交媒体不仅是简单的信息传播工具，更是连接用户与品牌之间的重要纽带。每天，有数以亿计的全球用户在不同平台上活跃，潜藏着巨大的市场潜力。对于企业来说，关键在于制定清晰的营销策略，精准把握不同社交平台的特性&…...

编程日记 2025/8/3 0:03:28

#1 kcx.c:112:89: error: format specifies type unsigned int but the argument has type u32 * (aka unsigned int *) [-Werror,-Wformat] 报错原因： int kcx(u32 *trigger) { ERR_MSG("%s:failed. attr%d, trigger%u\n", __func__, attr_enable, trig…...

编程日记 2025/7/31 15:01:18

laravel 5.5 增加宏指令 joinSub, 省去-＞toSql() 和 addBinding($bindings)；

laravel 5.5 增加宏指令 joinSub, 省去->toSql() 和 addBinding($bindings); 1. 在laravel5使用join 子查询时 $sub_query DB::table(table1)->select([table1.id, cate_id])->join(table2, table1.id, , table2.id)->where(table1.cate_id, 2)->orderBy(tabl…...

编程日记 2025/7/30 13:13:59

知识库搭建：大健康产业数字化转型的新引擎

随着数字经济的蓬勃发展，大健康产业正步入一个崭新的发展篇章。消费者对于健康的追求日益增长，促使大健康企业积极探索数字化路径，以提升供应链效率、控制成本，并在激烈的市场竞争中脱颖而出。在此过程中，一系列数字化…...

编程日记 2025/8/2 17:05:50

创建可重用React组件的实用指南

尽管React是全球最受欢迎和使用最广泛的前端框架之一，但许多开发者在重构代码以提高可复用性时仍然感到困难。如果你发现自己在React应用中不断重复相同的代码片段，那你来对地方了。在本教程中，将向你介绍三个最常见的特征，表明是…...

编程日记 2025/7/27 7:55:13

蓝桥杯每日真题 - 第18天

题目：（出差） 题目描述（13届 C&C B组E题） 解题思路： 问题分析问题实质是一个带权图的最短路径问题，但路径的权重包含两个部分： 从当前城市到下一个城市的路程时间。当前城市的…...

编程日记 2025/7/5 1:54:06

MySQL中索引全详解

第一部分：什么是索引索引在数据库中就像书的目录，能够快速定位数据位置，从而提升查询效率。没有索引时，数据库查询需要从头到尾扫描整个表（称为全表扫描），这在数据量大时非常耗时。有了索引后&…...

编程日记 2025/8/3 9:39:52

探索复合物TPP-PEG-Heparin的特性；磷酸三苯酯-聚乙二醇-肝素的线粒体靶向性

TPP-PEG-Heparin，即磷酸三苯酯（TPP）、聚乙二醇（PEG）和肝素（Heparin）的复合物，其特性融合了这三种成分的性质。一、线粒体靶向性 TPP部分：具有线粒体靶向功能&#xf…...

编程日记 2025/8/2 18:16:44

ubuntu 配置多个 git 客户端账户

Git配置两个或多个账户 https://blog.csdn.net/mainking2003/article/details/134711865 git 提交不用输入用户名、密码的方法（GIT免密提交） https://blog.csdn.net/wowocpp/article/details/125797263 git config 用法 https://blog.csdn.net/blueb…...

编程日记 2025/7/29 23:40:01

Web3与智能合约：区块链技术下的数字信任体系

随着互联网的不断发展，Web3代表着我们迈入了一个去中心化、更加安全和智能的网络时代。作为Web3的核心组成部分，区块链技术为智能合约的出现和发展提供了强有力的基础。智能合约不仅仅是自动化的代码，它们正逐步成为重塑数字世界信任体系的关…...

编程日记 2025/8/1 5:04:36

RocketMQ文件刷盘机制深度解析与Java模拟实现

引言在现代分布式系统中，消息队列（Message Queue, MQ）作为一种重要的中间件，扮演着连接不同服务、实现异步通信和消息解耦的关键角色。Apache RocketMQ作为一款高性能的分布式消息中间件，广泛应用于实时数据流处理、…...

编程日记 2025/7/30 22:11:16

高级编程之结构化代码

背景：以下没结构化代码之前，定时器同步店铺信息的代码。结构化的思想：SRP（单一职责），一个方法是做一件事，层次是相关的，逻辑和数据操作进行拆分，数据操作从业务流程上定…...

编程日记 2025/8/1 8:55:46

学习编程，学习中间件，学习源码的思路

01 看的多，内化不足最近想复习一下编程相关的知识，在复习前我翻开了之前的一些笔记，这些笔记基本都是从书本、视频、博客等摘取记录的，看着这些笔记心里总结：看的多，内化不足。 02 整理大纲为了解决这个…...

编程日记 2025/7/31 18:27:56

网络安全与加密

1.Base64简单说明描述：Base64可以成为密码学的基石，非常重要。特点：可以将任意的二进制数据进行Base64编码结果：所有的数据都能被编码为并只用65个字符就能表示的文本文件。65字符：A~Z a~z 0~9 / 对文件进行base64编码…...

编程日记 2025/8/2 13:16:32

开源协议介绍

文章目录 1. MIT License2. Apache License 2.03. GNU General Public License (GPL)4. GNU Lesser General Public License (LGPL)5. BSD License6. Mozilla Public License (MPL)7. Creative Commons Licenses (CC)8. Unlicense选择建议在开源平台上，开源项目通…...

编程日记 2025/7/30 10:08:31

Java技术复习提升 10异常

10 异常 10.1异常介绍及分类异常捕获选中后alttabt->选中try-catch 异常就是程序执行中不正常的情况注意语法和逻辑错误并不是异常异常分类有两种 error和exception error是错误虚拟机无法解决的严重问题 exception是其他因为编程错误或者外在因素导致的一般性的问…...

编程日记 2025/7/31 13:52:43

java版工程项目管理系统源码：Spring Cloud与前后端分离的完美结合

在现代化的工程项目管理中，一套功能全面、操作便捷的系统至关重要。本文将介绍一个基于Spring Cloud和Spring Boot技术的Java版工程项目管理系统，结合Vue和ElementUI实现前后端分离。该系统涵盖了项目管理、合同管理、预警管理、竣工管理、质量管理等多个…...

编程日记 2025/7/31 2:04:12

Oracle与MySQL中CONCAT()函数的使用差异

一、CONCAT函数介绍 CONCAT函数是MySQL等数据库中用于连接两个或多个字符串的内置函数。其基本语法如下： CONCAT(string1, string2, ...)参数说明： string1, string2, …：需要连接的字符串参数，可以有多个。返回值&#xff1…...

编程日记 2025/7/30 9:28:26

AI社媒引流工具：解锁智能化营销的新未来

在数字化浪潮的推动下，社交媒体成为品牌营销的主战场。然而，面对海量的用户数据和日益复杂的运营需求，传统营销方法显得力不从心。AI社媒引流王应运而生，帮助企业在多平台中精准触达目标用户，提升营销效率和效果。 1.…...

编程日记 2025/7/31 23:56:36

浏览器的事件循环机制

一、请简述浏览器的事件循环机制（Event Loop）基本原理浏览器的事件循环机制是用于协调处理 JavaScript 中的异步任务与同步任务执行顺序的一种机制，它确保了代码能够按照合理的顺序执行，避免阻塞页面渲染等情况。其基本原理如下…...

编程日记 2025/8/2 23:04:06

如何在 React 项目中应用 TypeScript？应该注意那些点？结合实际项目示例及代码进行讲解！

在 React 项目中应用 TypeScript 是提升开发效率、增强代码可维护性和可读性的好方法。TypeScript 提供了静态类型检查、自动补全和代码提示等功能，这对于 React 开发者来说，能够帮助早期发现潜在的 bug，提高开发体验。 1. 项目初始化在现…...

编程日记 2025/7/29 12:04:01

排序算法(五)--归并排序

文章目录引言归并排序概述C语言实现代码解析结论归并排序 C语言实例引言归并排序（Merge Sort）作为一种经典的排序算法，以其稳定性、分治法的巧妙应用以及相对高效的时间复杂度而著称。归并排序概述归并排序采用分治法（Di…...

编程日记 2025/8/1 1:28:56

Linux KASLR 地址偏移

kaslr开启时地址 cat /proc/cmdline BOOT_IMAGE/boot/vmlinuz-5.4.0-193-generic rootUUID0e46dee3-4557-434a-a2d2-a35c6ad3d327 ro find_preseed/preseed.cfg auto noprompt prioritycritical localeen_US quiet cat /boot/config-$(uname -r) | grep CONFIG_RANDOMIZE_B…...

编程日记 2025/8/1 18:02:33