当前位置： 首页 > news >正文

【Linux】环境ChatGLM-4-9B 模型之 openai API 服务

news 来源：原创 2025/1/17 5:03:04

一、摘要

最近看到 Function Call 比较感兴趣，它的核心是赋予大模型能够调用外部API的能力，能够解决大模型功能扩展性问题，允许模型调用外部数据库或API，提供特定领域的详细信息；解决信息实时性问题，模型可以实时获取最新数据；解决数据局限性问题，大模型训练数据虽多但有限，无法覆盖所有领域，Function Call允许模型调用外部工具进行复杂计算、数据分析等。它能够满足大模型私有化部署的个性定制，就感觉特别好，因此记录在Linux环境下搭建GLM4的openai服务。

二、部署ChatGLM-4-9B

由于我之前的文章已经部署成功，因此如果大家还没部署可以参考以下这篇文章。

【Linux】环境ChatGLM-4-9B 模型部署_chatglm4-9b gguf模型-CSDN博客

三、搭建 openai api 服务

前提：ChatGLM-4-9B的代码、模型及环境依赖已经准备好。

1.环境说明

目前结构如下：

 glm4:下载好的依赖环境

openai_api_server.py:启动openai api的脚本（会调用glm_server.py）

glm_ser

相关文章：

【Linux】环境ChatGLM-4-9B 模型之 openai API 服务

一、摘要 最近看到 Function Call 比较感兴趣，它的核心是赋予大模型能够调用外部API的能力，能够解决大模型功能扩展性问题，允许模型调用外部数据库或API，提供特定领域的详细信息；解决信息实时性问题，模型可以实时获取最新数据；解决数据局限性问题，大模型训练数据虽多但…...

编程日记 2025/1/17 5:03:04

mobi文件转成pdf

将 MOBI 文件转换为 PDF 格式通常涉及两个步骤： 解析 MOBI 文件：需要提取 MOBI 文件的内容（文本、图片等）。将提取的内容转换为 PDF：将 MOBI 文件的内容渲染到 PDF 格式。 可用工具 kindleunpack 或 mobi&#xff1…...

编程日记 2025/1/16 11:53:05

Linux---对缓冲区的简单理解--第一个系统程序

前序： 首先先理解一下什么是回车与换行；回车和换行是两个概念，它们不是一个东西； 回车:光标回到开始；换行:换到下一行； 如下图： 行缓冲区 如何理解缓冲区问题？ 可以认为&#xff0…...

编程日记 2025/1/15 4:14:24

word poi-tl 表格功能增强，实现表格功能垂直合并

目录 问题解决问题poi-tl介绍 功能实现引入依赖模版代码效果图 附加（插件实现）MergeColumnData 对象MergeGroupData 类ServerMergeTableData 数据信息ServerMergeTablePolicy 合并插件 问题 由于在开发功能需求中，word文档需要垂直合并表格&…...

编程日记 2025/1/15 1:27:16

鸿蒙实现数据管理

目录： 1、鸿蒙实现数据管理的三种方式2、用户首选项3、键值型数据管理3.1、获取KVManager实例，用于管理数据库对象3.2、创建并获取键值数据库3.3、调用put()方法向键值数据库中插入数据3.4、调用get()方法获取指定键的值3.5、调用delete()方法删除指定键…...

编程日记 2025/1/15 4:46:56

图片上传HTML

alioss sky:jwt:# 设置jwt签名加密时使用的秘钥admin-secret-key: itcast# 设置jwt过期时间admin-ttl: 7200000# 设置前端传递过来的令牌名称admin-token-name: tokenalioss:endpoint: ${sky.alioss.endpoint}access-key-id: ${sky.alioss.access-key-id}access-key-secret: $…...

编程日记 2025/1/17 0:09:20

golang 代发邮件支持附件发送，outlook案列，其他邮箱需要替换对应邮箱服务域名

GPT问答实例 import pandas as pd from openai.embeddings_utils import get_embedding, cosine_similarity import openai import os import logging as logger from flask_cors import CORS import os openai.api_key os.getenv(OPENAI_API_KEY)class Chatbot():def parse_…...

编程日记 2025/1/15 17:59:25

输出绝对值

输出绝对值 C语言代码C 代码Java代码Python代码 💐The Begin💐点点关注，收藏不迷路💐 输入一个浮点数，输出这个浮点数的绝对值。 输入 输入一个浮点数，其绝对值不超过10000。 输出 输出这个浮点数的绝对…...

编程日记 2025/1/15 17:05:06

docker desktop打包配置国内镜像地址

打包遇到无法访问外网资源，直接配置国内镜像地址 直接加入如下代码就行： {"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"registry-m…...

编程日记 2025/1/15 9:44:58

鸿蒙Next学习-监听指定页面显示/页面生命周期

自定义组件监听页面生命周期 使用无感监听页面路由的能力，能够实现在自定义组件中监听页面的生命周期。 // Index.ets import { uiObserver, router, UIObserver } from kit.ArkUI;Entry Component struct Index {listener: (info: uiObserver.RouterPageInfo) &g…...

编程日记 2025/1/15 11:38:00

计算机网络 —— HTTPS 协议

前一篇文章：计算机网络 —— HTTP 协议（详解）-CSDN博客 目录 前言 一、HTTPS 协议简介 二、HTTPS 工作过程 1.对称加密 2.非对称加密 3.中间人攻击 4.引入证书 三、HTTPS 常见问题 1.中间人能否篡改证书？ 2.中间人能否调…...

编程日记 2025/1/15 17:11:33

Oracle之表空间迁移

问题背景：一个数据表随着时间的累积，导致所在表空间占用很高，里面历史数据可以清除，保留近2个月数据即可 首先通过delete删除了2个月以前的数据。 按网上的教程进行空间压缩，以下sql在表所在用户执行: -- 允许表重新…...

编程日记 2025/1/15 4:20:32

web组态可视化编辑器

随着工业智能制造的发展，工业企业对设备可视化、远程运维的需求日趋强烈，传统的单机版组态软件已经不能满足越来越复杂的控制需求，那么实现web组态可视化界面成为了主要的技术路径。 行业痛点 对于软件服务商来说，将单机版软件转…...

编程日记 2025/1/16 8:30:17

SpringMVC纯注解快速开发

此文章适合具有一定的java基础的同学看哦，如果有看不懂的基本代码还是先补补java基础哦。 此教程带您不使用xml文件而是纯注解开发，易懂、快捷、迅速，从0开始搭建，很快就能构建起一个SpringMVC项目，能学到两种使用tom…...

编程日记 2025/1/15 12:59:53

[读论文] Compositional 3D-aware Video Generation with LLM Director

Abstract 近年来，通过强大的生成模型和大规模互联网数据，文本到视频生成领域取得了显著进展。然而，在生成视频中精确控制单个概念（如特定角色的动作和外观、视角的移动）方面，仍存在巨大挑战。为此&#xff…...

编程日记 2025/1/14 17:21:20

FFmpeg 4.3 音视频-多路H265监控录放C++开发十八，ffmpeg解复用

为啥要封装和解封装呢？ 1.封装就相当于将 h264 和aac 包裹在一起。既能播放声音，也能播放视频 2.在封装的时候没指定编码格式，帧率，时长，等参数；特别是视频，可以将视频帧索引存储，…...

编程日记 2025/1/17 19:11:59

ubuntu系统安装docker

1、 安装必要的依赖 sudo apt install apt-transport-https ca-certificates curl software-properties-common2、添加 Docker 的官方 GPG 密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -3、添加 Docker 的 APT 源 sudo add-apt-repos…...

编程日记 2025/1/17 21:02:11

STM32 BootLoader 刷新项目 (十三) Python上位机介绍

STM32 BootLoader 刷新项目 (十三) Python上位机介绍 大家好，这是我们STM32 BootLoader的最后一篇文章了，讲述用Python写的上位机，也更新了半年时间了，谢谢大家的支持，到目前为止，已经更新了12篇文章了&am…...

编程日记 2025/1/16 5:35:00

美畅物联丨智能监控，高效运维：视频汇聚平台在储能领域的实践探索

在当今全球能源格局不断变化的大背景下，对清洁能源的需求正以惊人的速度增长。储能项目作为平衡能源供需、提升能源利用效率的关键环节，其规模和复杂度也在不断攀升。在储能项目的运营管理过程中，安全监控、设备运维以及数据管理等方面面临着…...

编程日记 2025/1/16 14:32:18

T C P

文章目录 基于UDP应用场景 TCP协议TCP 协议段格式确认应答机制16位窗口大小 下定义32位序号和32位确认序号序号是什么？确认序号 基于UDP应用场景 UDP，tcp这样的协议根本不是直接谈UDP。tcp的应用场景，一定是上层写了应用层协议，所…...

编程日记 2025/1/16 6:57:23

MongoDB的简单使用

MongoDB(文档数据库)的简单使用 MongoDB最好的学习资料就是他的官方文档：SQL 到 MongoDB 的映射图表 - MongoDB 手册 v8.0 1.MongoDB CRUD操作 1.1Insert操作 基本方法： db.collection.insertOne() 将单个文档(document)插入集合中 db.collectio…...

编程日记 2025/1/14 0:02:52

【Exp】# Microsoft Visual C++ Redistributable 各版本下载地址

Microsoft官方页面 https://support.microsoft.com/en-us/help/2977003/the-latest-supported-visual-c-downloads Redistributable 2019 X86: https://aka.ms/vs/16/release/VC_redist.x86.exe X64: https://aka.ms/vs/16/release/VC_redist.x64.exe Redistributable 201…...

编程日记 2025/1/13 9:37:09

【MySQL】表的约束

目录 一、非空约束not null 二、默认值约束default 三、列描述comment 四、填充零zerofill 五、主键primary key 六、自增长auto_increment 七、唯一键unique 八、外键foreign key 一、非空约束not null 如果不对一个字段做非空约束，则默认为空。但空数据无…...

编程日记 2025/1/17 6:24:53

c++高级篇(四) ——Linux下IO多路复用之epoll模型

IO多路复用 —— epoll 前言 在之前我们就已经介绍过了select和poll,在作为io多路复用的最后一个的epoll,我们来总结一下它们之间的区别: a select 实现原理 select 通过一个文件描述符集合（fd_set）来工作，该集合可以包含需要监控的文件…...

编程日记 2025/1/15 6:22:27

基于Java Springboot环境保护生活App且微信小程序

一、作品包含 源码数据库设计文档万字PPT全套环境和工具资源部署教程 二、项目技术 前端技术：Html、Css、Js、Vue、Element-ui 数据库：MySQL 后端技术：Java、Spring Boot、MyBatis 三、运行环境 开发工具：IDEA/eclipse 微信…...

编程日记 2025/1/13 19:21:49

.NET 9 中 LINQ 新增功能实现过程

本文介绍了.NET 9中LINQ新增功能，包括CountBy、AggregateBy和Index方法,并提供了相关代码示例和输出结果，感兴趣的朋友跟随我一起看看吧 LINQ 介绍 语言集成查询 (LINQ) 是一系列直接将查询功能集成到 C# 语言的技术统称。 数据查询历来都表示为简单的…...

编程日记 2025/1/14 2:44:34

【Vue3中Router使用】

Vue3中Router使用 1. 安装vue-router组件2. 建两个测试页面2.1 测试页面Home.vue2.2 测试页面Category.vue 3. 创建路由对象4. 在入口main.js中引入router把App.vue改成路由页面5. 测试5.1 关闭检查解决ESlint报错5.2 改文件名解决ESlint检查报错测试WebHashHistory 和WebHisto…...

编程日记 2025/1/12 5:40:56

性能测试攻略(一)：需求分析

性能测试成为软件开发和运维过程中不可或缺的一环。性能测试不仅能够帮助我们了解系统在特定条件下的表现，还能帮助我们发现并解决潜在的性能问题。那么我们怎么做一次完整的性能测试呢？首先，我们需要进行需求分析，来明确我们的测…...

编程日记 2025/1/14 12:39:59

android WebRtc 无法推流以及拉流有视频无声音问题

最近在开发使用WebRtc进行视频通话和语音通话，我使用的设备是MTK的手机，期间后台的技术人员几乎没法提供任何帮助，只有接口和测试的web端，有遇到不能推流。推流成功网页端有画面有声音，但是安卓端有画面，没…...

编程日记 2025/1/17 16:17:44

Socket编程TCP

【Linux】TCP编程 实验&#xff1a;通过TCP通信—在客户端输入要执行的指令&#xff0c;接收执行结果&#xff0c;另服务端接收指令并执行&#xff0c;向客户端发送执行结果 //主函数 #include<iostream> #include<string> #include"log.hpp" #include…...

编程日记 2025/1/13 17:37:20

《以 C++为笔，绘就手势识别人机交互新画卷》

在科技浪潮汹涌澎湃的当下&#xff0c;人机交互领域正处于深刻变革的前沿阵地。从古老的命令行输入到图形化界面的鼠标点击&#xff0c;再到如今风靡全球的触摸操控&#xff0c;每一次交互方式的革新都重塑了我们与电子设备的沟通模式。而近年来&#xff0c;手势识别技术作为一…...

编程日记 2025/1/17 3:15:32

【CSS】小球旋转loading加载动画

效果 css小球旋转loading动画 代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><title>Document<…...

编程日记 2025/1/14 9:29:55

Leetcode经典题6--买卖股票的最佳时机

买卖股票的最佳时机 题目描述&#xff1a; 给定一个数组 prices &#xff0c;它的第 i 个元素 prices[i] 表示一支给定股票第 i 天的价格。 你只能选择 某一天 买入这只股票&#xff0c;并选择在 未来的某一个不同的日子 卖出该股票。设计一个算法来计算你所能获取的最大利润。…...

编程日记 2025/1/16 21:04:41

BA是什么？

目录 1.EKF的步骤 一、问题定义与模型建立 二、线性化处理 三、应用卡尔曼滤波 四、迭代与收敛 五、结果评估与优化 注意事项 2.BA问题的步骤 一、问题定义与数据准备 二、构建优化模型 三、选择优化算法 四、执行优化过程 五、结果评估与优化 六、应用与验证 1.…...

编程日记 2025/1/15 15:54:21

【IDEA】报错：Try to run Maven import with -U flag (force update snapshots)

问题 IDEA运行项目报错&#xff1a;Try to run Maven import with -U flag (force update snapshots) 原因 IDEA 的项目运行绑定的maven有问题&#xff0c; 解决问题 检查项目绑定的maven配置...

编程日记 2025/1/12 3:33:52

MATLAB提供的窗函数

加窗法 为什么使用加窗法&#xff1f; 在数字滤波器设计和频谱估计中&#xff0c;加窗函数的选择对于整体结果的质量有重大影响。加窗的主要作用是减弱因无穷级数截断而产生的吉布斯现象的影响。 windowDesigner 六种常见的窗函数 根据离散时间傅里叶变换的乘法性质&a…...

编程日记 2025/1/17 1:59:43

git 使用配置

新拿到机器想配置git 获取代码权限&#xff0c;需要的配置方法 1. git 配置用户名和邮箱 git config --global user.name xxxgit config --global user.email xxemail.com 2. 生成ssh key ssh-keygen -t rsa -C "xxemail.com" 3. 获取ssh key cat ~/.ssh/id_rsa.…...

编程日记 2025/1/16 19:21:19

【深度学习】深入解析长短期记忆网络（LSTMs）

长短期记忆网络&#xff08;Long Short-Term Memory networks, LSTMs&#xff09;是一种特殊的递归神经网络&#xff08;RNN&#xff09;&#xff0c;专门设计用来解决标准 RNN 在处理长序列数据时的梯度消失和梯度爆炸问题。LSTMs 在许多序列数据任务中表现出色&#xff0c;如…...

编程日记 2025/1/13 14:57:57

vue watch和computed的区别，computed和method的区别

发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【宝藏入口】。 在 Vue 中&#xff0c;watch、computed 和 methods 都是常用的响应式功能&#xff0c;它们的用途和工作方式有所不同。下面分别解…...

编程日记 2025/1/13 15:33:02

搭建高可用负载均衡系统：Nginx 与云服务的最佳实践

搭建高可用负载均衡系统&#xff1a;Nginx 与云服务的最佳实践 引言 在项目开发过程中&#xff0c;我们通常在开发和测试阶段采用单机架构进行开发和测试。这是因为在这个阶段&#xff0c;系统的主要目的是功能实现和验证&#xff0c;单机架构足以满足开发人员的日常需求&…...

编程日记 2025/1/17 21:39:22

FFmpeg 4.3 音视频-多路H265监控录放C++开发十九，ffmpeg复用

封装就是将 一个h264&#xff0c;和一个aac文件重新封装成一个mp4文件。 这里我们的h264 和 aac都是来源于另一个mp4文件&#xff0c;也就是说&#xff0c;我们会将 in.mp4文件解封装成一路videoavstream 和 一路 audioavstream&#xff0c;然后 将这两路的 avstream 合并成一…...

编程日记 2025/1/17 3:34:48

Node.js JWT认证教程

Node.js JWT认证教程 1. 项目介绍 JSON Web Token (JWT) 是一种安全的跨域身份验证解决方案&#xff0c;在现代Web应用中广泛使用。本教程将详细讲解如何在Node.js中实现JWT认证。 2. 项目准备 2.1 初始化项目 # 创建项目目录 mkdir nodejs-jwt-auth cd nodejs-jwt-auth# …...

编程日记 2025/1/17 21:37:39

nn.utils.clip_grad_value_

nn.utils.clip_grad_value_ 是 PyTorch 中的一个函数&#xff0c;用于在训练过程中对模型的梯度进行裁剪&#xff0c;以防止梯度爆炸&#xff08;gradient explosion&#xff09;问题。该函数对梯度的每个元素进行裁剪&#xff0c;将其限制在一个指定的最大绝对值范围内。裁剪后…...

编程日记 2025/1/16 4:04:34

Java后端面试模板（技术面）

1、自我介绍模板 面试官您好&#xff01;我是来自----大学计算机学院的一名大三学生&#xff0c;我的名字叫—。 在大学期间&#xff0c;我主要自学了一些主流的Java技术栈&#xff0c;其中主要包括&#xff1a;Java主流的框架&#xff1a;Spring MVC Spring Boot Spring Clou…...

编程日记 2025/1/14 0:42:01

【大语言模型】ACL2024论文-24 图像化歧义：Winograd Schema 挑战的视觉转变

【大语言模型】ACL2024论文-24 图像化歧义&#xff1a;Winograd Schema 挑战的视觉转变 目录 文章目录 【大语言模型】ACL2024论文-24 图像化歧义&#xff1a;Winograd Schema 挑战的视觉转变目录摘要研究背景问题与挑战如何解决核心创新点算法模型实验效果&#xff08;包含重要…...

编程日记 2025/1/17 12:51:50

Docker 安装和使用

#Docker 安装和使用 文章目录 1. 安装2. 干掉讨厌的 sudo3. 使用镜像源3.1. 使用 upstart 的系统3.2. 使用 systemd 的系统 4. 基本使用4.1. 容器操作4.2. 镜像操作 5. 网络模式说明5.1. bridge 模式5.2. host 模式5.3. container 模式5.4. none 模式 6. 查看 Docker run 启动参…...

编程日记 2025/1/17 15:29:38

nginx网站服务

nginx介绍&#xff1a; 1、高并发&#xff0c;轻量级的web服务软件 2、稳定性高&#xff0c;系统资源消耗率低 对http的高并发处理能力高&#xff0c;单台物理服务器可以支持30000-50000个并发。 一般来说在工作中&#xff0c;单台的并发一般在20000. nginx的功能介绍&…...

编程日记 2025/1/14 12:38:42

MATLAB 手写判断点在多边形内外的2种方法（87）

MATLAB 手写判断点在多边形内外-方法1（87） 一、算法介绍二、算法实现1.方法1（代码+测试）2.方法2（代码+测试）三、结果一、算法介绍 手动实现两种方法，判断点在多边形的内部还是外部， 具体实现和测试代码如下，使用前请自行验证。（代码复制粘贴即可使用） 二、算法实现…...

编程日记 2025/1/17 5:25:55

Android SurfaceFlinger layer层级

壁纸作为显示的最底层窗口它是怎么显示的 1. SurfaceFlinger layer层级 锁屏状态dump SurfaceFlinger &#xff0c;adb shell dumpsys SurfaceFlinger Display 0 (active) HWC layers: -----------------------------------------------------------------------------------…...

编程日记 2025/1/17 17:04:16

零基础快速掌握——【c语言基础】数组的操作，冒泡排序，选择排序

1.数组 内存空间连续&#xff1a; 2.定义格式 数组的定义格式&#xff1a; 数组分为一维数组、二维数组、以及多维数组&#xff0c;不同类型的数组定义格式时不一样 2.1 一维数组的定义 数据类型 数组名 [数组长度]&#xff1b; 解释&#xff1a; 数据类型&#xff1…...

编程日记 2025/1/17 17:45:58

胡懋仁：诸葛亮这个战略大家也有其实践中的局限性

当年，刘备决定启用诸葛亮，主要是因为诸葛亮的隆中对打动了刘备的霸业之心。诸葛亮说，曹操既顺天意，又有人谋，现在没人能打败他，东吴孙家已经经历三代，即孙坚、孙策，现在到了孙权这一代，也算是贤能之主，而且得到百姓的拥戴。别人要想夺他的地盘，也不太可能。只有蜀地…...

编程日记 2025/1/17 14:28:39

假惺惺地对老百姓说“自愿”，然后想方设法让他们乖乖就范

文丨老姜自愿这两个字，原本再简单不过。可现在从有些人嘴里说出来，我总觉得那么晦涩，越来越难懂了。1月12号，河南一女子发视频说，街道办事处工作人员上门征收拥军款，要求捐款100元。拥军款，好小众的名目。也许怪我孤陋寡闻，过去从来没听说过。发视频的女子表示，自己开…...

编程日记 2025/1/17 9:17:33

运营三年，首条民营控股高铁跑出加速度

第一年700万、第二年1800万、第三年2500万，杭台高铁累计客流量突破5000万人次运营三年，首条民营控股高铁跑出加速度核心阅读开通运营以来，杭台高铁累计客流量突破5000万人次，有效带动沿线地区经济发展。作为我国首条民营控股高铁，杭台高铁通过完善投资环境、创新投资回报机…...

编程日记 2025/1/17 9:27:02

陆弃：罪名成立，特朗普反击！

特朗普再次站在风口浪尖，这一次，他成为美国历史上第一位被判为重刑犯的总统。纽约法官胡安&middot;梅尔尚以一纸判决书宣告特朗普34项罪名成立，却因总统豁免权的存在无条件释放了他。这场荒诞的法律与政治闹剧，充斥着美国司法体系的荒谬与对特朗普的公然羞辱，也再次掀…...

编程日记 2025/1/16 19:09:30

车间主任焦裕禄

焦裕禄在减速机工段蹲点时，哪里艰苦他就出现在哪里，什么活脏活累，他就干什么；焦裕禄认为干部要接受群众监督，必要的公开批评不会影响干部的威信；焦裕禄对全车间500多名职工的思想、工作、生活情况掌握得一清二楚，哪个工人是几口之家他都能说出来。文 | 刘功成一、外行成…...

编程日记 2025/1/17 3:14:24

中国共产党第二十届中央纪律检查委员会第四次全体会议公报

新华社北京1月8日电中国共产党第二十届中央纪律检查委员会第四次全体会议公报（2025年1月8日中国共产党第二十届中央纪律检查委员会第四次全体会议通过）中国共产党第二十届中央纪律检查委员会第四次全体会议，于2025年1月6日至8日在北京举行。出席这次全会的有中央纪委委员131…...

编程日记 2025/1/16 12:13:54