当前位置: 首页 > news >正文

LangChain4j 搭配 Kotlin:以协程、流式交互赋能语言模型开发

Kotlin 支持 | LangChain4j

Kotlin 是一种面向 JVM(及其他平台)的静态类型语言,能够实现简洁优雅的代码,并与 Java 库无缝互操作。

LangChain4j 利用 Kotlin 扩展和类型安全构建器来增强 Java API,为其增添特定于 Kotlin 的便利功能,从而允许用户为现有的 Java 类扩展额外的功能,以满足 Kotlin 的特定需求。

注意

LangChain4j 并不要求将 Kotlin 库作为运行时依赖,但却 enables 用户利用 Kotlin 的协程能力来实现非阻塞执行,进而提升性能和效率。

如果你想使用数据类,那么请确保你的类路径中包含 Jackson 模块 Kotlin。对于 Maven 而言,需添加运行时依赖:

<dependency><groupId>com.fasterxml.jackson.module</groupId><artifactId>jackson-module-kotlin</artifactId><version>[LATEST_VERSION]</version><scope>runtime</scope>
</dependency>

ChatLanguageModel 扩展

以下 Kotlin 代码展示了如何利用协程和挂起函数以及类型安全构建器与 LangChain4j 中的 ChatLanguageModel 进行交互:

val model = OpenAiChatModel.builder().apiKey("YOUR_API_KEY")// 在此处添加更多配置参数 ....build()CoroutineScope(Dispatchers.IO).launch {val response = model.chat {messages += systemMessage("You are a helpful assistant") // 将系统消息添加到消息列表中messages += userMessage("Hello!") // 将用户消息添加到消息列表中parameters { // 配置参数temperature = 0.7 // 设置温度参数}}println(response.aiMessage().text()) // 打印出模型的回复文本
}

交互过程采用 Kotlin 的 协程 异步进行:

  • CoroutineScope(Dispatchers.IO).launch :在 IO 调度程序上执行该进程,这对于如网络或文件 I/O 等阻塞任务进行了优化。通过这种方式,可确保调用线程不会被阻塞,从而维持响应性。
  • model.chat 是一个挂起函数,它使用构建器块来构建聊天请求。这种方法减少了样板代码,使代码更具可读性和可维护性。

对于高级场景,为了支持自定义 ChatRequestParameters,类型安全构建函数接受自定义构建器:

fun <B : DefaultChatRequestParameters.Builder<*>> parameters(builder: B = DefaultChatRequestParameters.builder() as B,configurer: ChatRequestParametersBuilder<B>.() -> Unit
)

示例用法如下:

model.chat {messages += systemMessage("You are a helpful assistant") // 将系统消息添加到消息列表中messages += userMessage("Hello!") // 将用户消息添加到消息列表中parameters(OpenAiChatRequestParameters.builder()) { // 配置自定义参数构建器temperature = 0.7 // DefaultChatRequestParameters.Builder 的属性builder.seed(42) // OpenAiChatRequestParameters.Builder 的属性}
}

流式使用场景

StreamingChatLanguageModel 扩展为需要在生成响应时逐步处理的场景提供了功能支持。这对于需要实时反馈的应用(如聊天界面、实时编辑器或具有流式逐令牌交互的系统)尤为实用。

借助 Kotlin 协程,chatFlow 扩展函数将语言模型的流式响应转换为结构化的、可取消的 Flow 序列,从而实现与协程友好的非阻塞式处理。

以下是利用 chatFlow 实现完整交互的示例:

val flow = model.chatFlow { // 与非流式场景类似messages += userMessage("Can you explain how streaming works?") // 将用户消息添加到消息列表中parameters { // 配置聊天请求参数temperature = 0.7 // 设置温度参数maxOutputTokens = 42 // 设置最大输出令牌数}
}runBlocking { // 必须在协程上下文中运行flow.collect { reply -> // 收集流式响应when (reply) {is StreamingChatLanguageModelReply.PartialResponse -> { // 部分响应print(reply.partialResponse) // 实时输出部分结果}is StreamingChatLanguageModelReply.CompleteResponse -> { // 完整响应println("\nComplete: ${reply.response.aiMessage().text()}") // 输出完整响应文本}is StreamingChatLanguageModelReply.Error -> { // 错误情况println("Error occurred: ${reply.cause.message}") // 输出错误信息}}}
}

你可以查看这个测试作为示例。

编译器兼容性

在 Kotlin 中定义工具时,为确保 Kotlin 编译配置保留 Java 反射在方法参数上的元数据,需要将 javaParameters 设置为 true。这一设置对于在工具规范中保持正确的参数名称是必需的。

当使用 Gradle 时,可以通过以下配置实现:

kotlin {compilerOptions {javaParameters = true}
}

相关文章:

LangChain4j 搭配 Kotlin:以协程、流式交互赋能语言模型开发

Kotlin 支持 | LangChain4j Kotlin 是一种面向 JVM&#xff08;及其他平台&#xff09;的静态类型语言&#xff0c;能够实现简洁优雅的代码&#xff0c;并与 Java 库无缝互操作。 LangChain4j 利用 Kotlin 扩展和类型安全构建器来增强 Java API&#xff0c;为其增添特定于 Ko…...

搜索引擎的高级语法

文章目录 精确搜索&#xff1a;双引号站内搜索&#xff1a;site通配符搜索&#xff1a;*减号缩小范围&#xff1a;-文档搜索&#xff1a;filetypeURL搜索&#xff1a; inurl标题搜索&#xff1a;intitle正文搜索&#xff1a;intext参考链接 精确搜索&#xff1a;双引号 “ ” …...

探秘 SenseGlove Nova 2力反馈手套,解锁 VR 键盘交互新方式

在虚拟现实&#xff08;VR&#xff09;技术不断发展的现今&#xff0c;键盘交互体验的优化成为众多科研人员关注的重点。今天&#xff0c;让我们一同走进 Heilbronn 大学与 SenseGlove 的合作项目&#xff0c;探寻 SenseGlove Nova 2 力反馈手套为 VR 环境中的键盘交互带来的新…...

品牌如何通过朝日新闻出海日本?——某企业日本媒体发稿实战

文 | 言同数字亚太传播实验室 一、日本市场的隐形门槛&#xff1a;中国品牌的三大痛点 案例背景&#xff1a; 某中国灵芝保健品企业&#xff08;代号"ForestLife"&#xff09;&#xff0c;产品虽获中国/欧盟有机认证&#xff0c;但在日本市场面临&#xff1a; 认知…...

安全文件共享实际上是什么样的呢?

通过即时通讯应用共享敏感信息的安全漏洞由来已久&#xff0c;且令人担忧。很少有事件像最近曝光的美国高级政客通过热门即时通讯应用 Signal 泄露军事攻击计划那样引起公众关注。 此类备受瞩目的漏洞凸显了全球各组织迫切需要重新评估其安全交换机密数据的方法。对于许多机密…...

深入探索Spark-Streaming:从基础到核心编程

在大数据实时处理领域&#xff0c;Spark-Streaming凭借其强大功能脱颖而出。它是Spark生态系统中处理流式数据的利器&#xff0c;支持Kafka、Flume等多种数据输入源&#xff0c;能利用Spark的map、reduce等原语处理数据&#xff0c;处理结果可存储于HDFS、数据库等。 Spark-Str…...

深度学习3.6 softmax回归的从零开始实现

本章节引入3.5的数据集 import torch from IPython import display from d2l import torch as d2lbatch_size 256 #迭代器批量 train_iter, test_iter d2l.load_data_fashion_mnist(batch_size)3.6.1 初始化模型参数 num_inputs 784 # 权重矩阵长度 num_outputs 10 # 类别…...

使用Spark-TTS-0.5B模型,文本合成语音

文章目录 背景模型介绍拉取开源代码conda下载与使用项目环境配置修改部分代码文件进阶玩法小结背景 ~~~~ 由于本博主遇到了需要文本转语音的相关需求,经过多方面的调研和研究,市面上的实现这个需求的方法有很多,可以直接通过调取api的方式实现,文本转语音。也可以…...

08前端项目----升序/降序

升序/降序 vue实现升序/降序服务器处理 vue实现升序/降序 用vue实现升序/降序&#xff0c;以及css绘制三角形 <div class"sui-navbar"><div class"navbar-inner filter"><ul class"sui-nav"><li class"active"&g…...

Dataway在Spring Boot中的引入以及使用教程

Dataway是Hasor生态中的接口配置工具&#xff0c;能帮助开发者快速配置数据接口。它支持DataQL和SQL两种语言模式&#xff0c;可将SQL转换为DataQL执行&#xff0c;简化数据查询与交互&#xff0c;无需编写大量代码。接口配置完成后&#xff0c;可进行自测、冒烟测试&#xff0…...

百度搜索 API 相比于爬虫的效率提升、价格及如何注册使用

使用百度搜索 API 进行数据查询&#xff0c;相比于爬虫&#xff08;selenium&#xff09;速度提升的幅度取决于几个因素&#xff1a; 1. 摆脱页面渲染&#xff08;Selenium&#xff09; Selenium 通过控制浏览器来模拟用户行为&#xff0c;加载网页并渲染页面。每次请求都需要…...

Docker 中运行 JAR 文件

文章目录 步骤 1&#xff1a;准备文件结构步骤 2&#xff1a;编写 Dockerfile步骤 3&#xff1a;构建 Docker 镜像步骤 4&#xff1a;运行容器常见问题解决Q1&#xff1a;容器启动后立即退出Q2&#xff1a;时区不一致Q3&#xff1a;依赖外部服务&#xff08;如MySQL&#xff09…...

MacOS 10.15上能跑大语言模型吗?

MacOS 10.15上能跑大语言模型吗&#xff1f; 下载安装Ollama运行大语言模型引申出的问题 MacOS 10.15.7&#xff08;发布于2020年9月&#xff09;作为已经发布了将近5年的系统版本能够运行当今流行的大语言模型吗&#xff1f;这篇文章简要介绍了在MacOS 10.15上通过Ollama运行d…...

分布式之易混淆概念

昨天写UE写的破防了&#xff0c;忘了写文章&#xff0c;今天补一下分布式的一些概念。&#x1f61a; 在软件架构领域&#xff0c;微服务、领域驱动设计&#xff08;DDD&#xff09;和分布式系统是三个高频且容易被混淆的概念。许多开发者误以为它们是“同一件事的不同说法”&a…...

DeepSeek开源引爆AI Agent革命:应用生态迎来“安卓时刻”

开源低成本&#xff1a;AI应用开发进入“全民时代” 2025年初&#xff0c;中国AI领域迎来里程碑事件——DeepSeek开源模型的横空出世&#xff0c;迅速在全球开发者社区掀起热潮。其R1和V3模型以超低API成本&#xff08;仅为GPT-4o的2%-10%&#xff09;和本地化部署能力&#x…...

Anaconda 与 Miniconda 的差异详解

Anaconda 与 Miniconda 的差异详解 Anaconda 和 Miniconda 都是 Python 数据科学领域常用的发行版管理工具&#xff0c;它们都基于 conda 包管理系统&#xff0c;但在设计定位和功能组成上有显著区别。 核心差异对比 特性AnacondaMiniconda安装包大小较大 (3GB)较小 (100MB左…...

STM32 中断系统深度剖析

在嵌入式系统开发领域&#xff0c;STM32 系列微控制器凭借其强大的性能和丰富的资源被广泛应用。中断系统作为 STM32 的关键特性之一&#xff0c;能够极大地提升系统的实时响应能力和多任务处理效率。本文将基于 STM32F4 系列芯片&#xff0c;深入剖析中断与外设中断的原理、配…...

List findIntersection getUnion

List findIntersection & getUnion 求两个列表的交集和并集 package zwf;import java.util.ArrayList; import java.util.LinkedHashSet; import java.util.List;/*** 列表工具类* * author ZengWenFeng* date 2025.04.22* mobile 13805029595* email 117791303qq.com*/ p…...

【微服务】SpringBoot制作Docker镜像接入SkyWalking详解

目录 一、前言 二、SkyWalking介绍 2.1 SkyWalking是什么 2.2 SkyWalking核心功能 2.3 SkyWalking整体架构 2.4 SkyWalking主要工作流程 三、前置准备 3.1 搭建SkyWalking服务 3.1.1 下载安装包 3.1.2 上传服务器目录 2.1.3 数据库持久化配置说明 3.1.4 启动skywalk…...

豪越科技消防公车管理系统:智能化保障应急救援效率

近期消防车辆管理暴露出的问题&#xff0c;凸显了传统管理模式的不足。在应急救援任务日益繁重的背景下&#xff0c;消防部门对公车管理提出了更高要求。豪越科技针对消防行业特殊需求&#xff0c;研发了专业的消防公车管理系统&#xff0c;通过"线上提交申请-线上审批-线…...

vscode本地docker gdb调试python

背景 最近在部署测试一个工程&#xff0c;不想配环境&#xff0c;拉官方镜像下来跑的&#xff0c;不幸地是&#xff0c;程序运行有点问题。想要debug一下&#xff0c;又不想在终端gdb&#xff0c;想要在vscode中点点点&#xff0c;所以有了下面的一顿配置。 vscode python常用…...

Electron使用WebAssembly实现CRC-32 原理校验

Electron使用WebAssembly实现CRC-32 原理校验 将C/C语言代码&#xff0c;经由WebAssembly编译为库函数&#xff0c;可以在JS语言环境进行调用。这里介绍在Electron工具环境使用WebAssembly调用CRC-32 原理格式校验的方式。 CRC-32 原理校验函数WebAssembly源文件 C语言实现C…...

Java求职面试:从Spring Boot到微服务的全面考核

面试场景&#xff1a; 在某互联网大厂的面试室内&#xff0c;面试官严肃地坐在桌子后面&#xff0c;面前是几本厚厚的技术书籍。而我们的主人公&#xff0c;搞笑的水货程序员赵大宝&#xff0c;则带着他标志性的微笑走进了房间。 第一轮提问&#xff1a; 面试官&#xff1a;…...

Electron主进程渲染进程间通信的方式

在 Electron 中&#xff0c;主进程和渲染进程之间的通信主要通过 IPC&#xff08;进程间通信&#xff09;机制实现。以下是几种常见的通信方式&#xff1a; 1. 渲染进程向主进程发送消息&#xff08;单向&#xff09; 渲染进程可以通过 ipcRenderer.send 向主进程发送消息&am…...

Spring Boot 主模块 spring-boot 核心技术解析:从启动类到内嵌容器的无缝支持

在现代企业级应用的开发中&#xff0c;构建高效、简洁的应用框架是至关重要的。Spring Boot 作为 Spring 生态系统的重要一员&#xff0c;凭借其“约定优于配置”的理念&#xff0c;极大简化了传统 Spring 应用的开发过程。通过内嵌的容器支持、自动配置功能以及灵活的外部化配…...

盈达科技GEO解决方案:破解AI时代品牌增长困局

盈达科技GEO解决方案&#xff1a;破解AI时代品牌增长困局 ——全域优化策略助力企业抢占生成式AI流量高地 一、客户痛点&#xff1a;AI重构规则下的三大生存危机 1. 信任危机&#xff1a;AI放大负面杀伤力 财务隐患&#xff1a;上市公司因财报误读导致股价波动 产品质量&…...

安宝特科技 | AR眼镜在安保与安防领域的创新应用及前景

随着科技的不断进步&#xff0c;增强现实&#xff08;AR&#xff09;技术逐渐在多个领域展现出其独特的优势&#xff0c;尤其是在安保和安防方面。AR眼镜凭借其先进的功能&#xff0c;在机场、车站、海关、港口、工厂、园区、消防局和警察局等行业中为安保人员提供了更为高效、…...

蓝牙 6.0 发布,解锁无线科技新可能

在5G和Wi-Fi 7高速发展的时代&#xff0c;蓝牙技术始终以独特优势深度融入日常生活。从无线耳机到智能家居&#xff0c;它凭借低功耗、高兼容的特性&#xff0c;悄然连接各类智能设备&#xff0c;打造无缝的数字生活体验。无论是聆听音乐、智能门禁还是健康监测&#xff0c;蓝牙…...

redis数据类型-地理空间GEO

redis数据类型-地理空间GEO 文档 redis单机安装redis常用的五种数据类型redis数据类型-位图bitmapredis数据类型-基数统计HyperLogLog 说明 官网操作命令指南页面&#xff1a;https://redis.io/docs/latest/commands/?nameget&groupstring 地理空间&#xff1a;GEO …...

2023蓝帽杯初赛内存取证-5

直接查找关键词”xlsx“&#xff0c;但是使用filescna失败了&#xff0c;换成mftparser倒是成功&#xff1a; vol.py -f memdump.mem --profile Win7SP1x64 filescan | grep -E "xlsx" vol.py -f memdump.mem --profile Win7SP1x64 mftparser | grep -E "xlsx&…...

安宝特方案 | 医疗AR眼镜,重新定义远程会诊体验

【AR眼镜&#xff1a;重新定义远程会诊体验】 在快速发展的医疗领域&#xff0c;安宝特医疗AR眼镜以其尖端技术和创新功能&#xff0c;引领远程会诊的未来&#xff0c;致力于为为医生和患者带来更高效、精准和无缝的医疗体验。 探索安宝特医疗AR眼镜如何在医疗行业中引领新风潮…...

RT-Thread学习笔记(三)

RT-Thread学习笔记 时钟管理时钟节拍获取系统节拍定时器系统定时器初始化定时器工作机制动态创建定时器静态创建定时器定时器控制高精度延时函数 时钟管理 操作系统需要通过时间来规范其任务 时钟节拍 任何操作系统都需要提供一个时钟节拍&#xff0c;以供系统处理所有和时间…...

【HTTPS协议原理】数据加密、如何防止中间人攻击、证书和签名、HTTPS完整工作流程

⭐️个人主页&#xff1a;小羊 ⭐️所属专栏&#xff1a;Linux网络 很荣幸您能阅读我的文章&#xff0c;诚请评论指点&#xff0c;欢迎欢迎 ~ 目录 数据加密常见的加密方式数据摘要方案一&#xff1a;仅使用对称加密方案二&#xff1a;仅使用非对称加密方案三&#xff1a;双…...

Springboot 集成 RBAC 模型实战指南

RBAC 模型核心原理 详情可参考之前的笔记&#xff1a;https://blog.csdn.net/qq_35201802/article/details/146036789?spm1011.2415.3001.5331 RBAC 定义与优势 RBAC&#xff08;Role-Based Access Control&#xff0c;基于角色的访问控制&#xff09;** 是一种通过角色关联…...

C++继承(最详细)

目录 1.继承的概念以及定义 1.1 继承的概念 1.2 继承的定义 ​编辑 2.继承中的作用域 3.基类和派生类间的转换 4.派生类的默认成员函数 5.实现不被继承的类 6.継承与友元 ​编辑 7.继承与静态成员 8.多继承及其菱形继承问题 8.2 虚继承 8.3 来看一个小题 9.继承…...

【使用Plink检测ROH问题查找】为什么检测ROH参数不一样,FROH近交系数结果差异很大?

为什么检测ROH参数不一样&#xff0c;结果差异很大&#xff1f; 结果 基于ROH检测的结果与参数设置密切相关。参数的改变&#xff08;对应近交系数改变&#xff09;可能会对结果产生很大影响。 原因 ROH分析缺乏共识标准&#xff0c;这种缺乏共识将导致结果偏倚&#xff0c…...

mybatis mapper.xml中使用枚举

重点&#xff1a;application.propertis配置类 #TypeEnumHandler 这个类的包名&#xff0c;不是全路径 mybatis.type-handlers-packagecom.fan.test.handler两个枚举类&#xff1a; public enum StatusEnum {DELETED(0),ACTIVE(1);private final int code;StatusEnum(int cod…...

探索科技的边界:代理IP与汽车产业链的创新之旅

目录 一、代理IP&#xff1a;汽车产业的"数字放大镜" 二、创新应用场景&#xff1a;从实验室到量产线 三、技术挑战与进化方向 四、未来图景&#xff1a;车联网时代的"数字血管" 结语&#xff1a;重构产业认知的"数字齿轮" 在数字化浪潮席卷…...

单个或批量实现-提取PDF文档中的合同号和姓名并按“合同号_姓名”格式重命名文件。

第一、单个PDF文件命名格式&#xff1a; 提取PDF文档中的合同号和姓名并按“合同号_姓名”格式重命名文件 import pdfplumber import re import osdef extract_contract_info(pdf_path):with pdfplumber.open(pdf_path) as pdf:for page in pdf.pages:text page.extract_tex…...

虚拟机的网络配置

第一章 配置网络&#xff08;注意NAT类型&#xff09; 1. 在VMware中配置 虚拟网络编译器 1&#xff09; 点击编辑 就会出现 虚拟网络编译器 并点击&#xff08;要再虚拟机关机的情况下进行&#xff09; 2&#xff09;点击右下角的 更改设置 再点击 VMnet 红色框里192.168.x…...

JAVA设计模式——(二)组合模式

JAVA设计模式——&#xff08;二&#xff09;组合模式 原理解释实现定义规范接口定义主干定义分支定义叶子测试代码 优势 原理 组合模式用于描述对象在“整体-部分”中的关系&#xff0c;用户对单个对象和组合对象的使用具有一致性。 组合模式中由于单个对象和组合对象的使用…...

【数据结构和算法】5. 堆栈和队列

本文根据 数据结构和算法入门 视频记录 文章目录 1. 堆栈&#xff08;Stack&#xff09;1.1 概念1.2 数组栈实现1.3 链式栈实现 2. 队列&#xff08;Queue&#xff09;2.1 概念2.2 数组队列实现2.3 链式队列实现 在这一章我们来了解两个很特殊的数据结构&#xff1a;堆栈 (Stac…...

万字长文 | Apache SeaTunnel 分离集群模式部署 K8s 集群实践

文章作者&#xff1a;雷宝鑫 整理排版&#xff1a;白鲸开源 曾辉 Apache SeaTunnel官网链接: https://seatunnel.apache.org/ Apache SeaTunnel(以下简称SeaTunnel&#xff09;是一款新一代高性能、分布式的数据集成同步工具&#xff0c;正受到业界广泛关注和应用。SeaTunnel支…...

逻辑回归:使用 S 型函数进行概率预测

逻辑回归&#xff1a;使用 S 型函数进行概率预测 摘要 本文章深入探讨了逻辑回归模型如何利用 S 型函数将线性回归的输出转换为概率值。文章详细阐述了 S 型函数的数学原理、在逻辑回归中的应用以及其在机器学习中的重要性。通过具体示例和练习&#xff0c;帮助读者理解如何使…...

马浩棋:产通链CT-Chain 破局不动产 RWA,引领数智金融新变革

全球不动产 RWA 数智金融高峰论坛上马浩棋先生致辞 在全球不动产 RWA 数智金融高峰论坛暨产通链 CT-Chain 上链首发会的现场&#xff0c;犀牛世纪集团&#xff08;香港&#xff09;有限公司董事会主席马浩棋成为众人瞩目的焦点。此次盛会汇聚了全球金融、区块链及不动产领域的…...

iscsi服务端安装及配置

1. 安装targetcli软件包 yum install -y targetcli 2. 启动target服务 systemctl start target systemctl enable target 3. 配置防火墙 firewall-cmd --add-port"3260/tcp" 3. 准备一个物理分区&#xff08;或者逻辑分区&#xff09;…...

常见的神经网络权重文件格式及其详细说明

常见的神经网络权重文件格式及其详细说明的表格&#xff1a; 扩展名所属框架/工具如何生成表示内容使用方法注意事项.pt, .pthPyTorchtorch.save(model.state_dict(), "model.pt")PyTorch模型的状态字典&#xff08;权重和参数&#xff09;或整个模型加载方式&#…...

帕金森发病类型和阶段

文章目录 直观认识帕金森综合症的类型一、原发性帕金森综合征二、继发性&#xff08;获得性&#xff09;帕金森综合征三、帕金森叠加综合征&#xff08;Atypical Parkinsonism&#xff09;四、遗传性帕金森综合征五、其他罕见类型推荐文献与资源 PD的病理分期理论&#xff08;B…...

基于ssm的“安家”儿童福利院管理系统(源码+文档)

项目简介 “安家”儿童福利院实现了以下功能&#xff1a; “安家”儿童福利院管理系统的主要使用者分为管理员&#xff1a;儿童管理、申请领养管理、捐赠管理、楼栋管理、宿舍管理、分配信息管理、宿舍物品管理、报修管理、维修工管理、报修状态管理、留言管理、系统管理。 用…...

闲聊人工智能对媒体的影响

技术总是不断地改变信息的传播方式。互联网促进了社交媒体的蓬勃发展。 网络媒体成为主流。大语言模型为代表的人工智能的出现&#xff0c;又会对媒体传播带来怎样的改变呢&#xff1f;媒体的演变反映了社会和技术的演变。 人工智能(AI) 将继续对整个媒体行业产生变革性的影响。…...