在线或离线llama.cpp安装和模型启动
该版本安装时间是2025-01-10，因为不同版本可能安装上会有所不同，下面也会讲到。
先说下问题——按照官方文档找不到执行命令llama-cli或./llama-cli
先附上llama.cpp的github地址：https://github.com/ggerganov/llama.cpp，build地址：https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md。不知道你有没有出现这种情况，按照官方文档安装之后，发现根本找不到执行命令llama-cli或./llama-cli，如果没有可以跳过，如果有请按照我的以下流程安装一遍。
下载llama.cpp
我这里使用的是git命令下载：
git clone https://github.com/ggerganov/llama.cpp
如果需要在内网服务器中安装，可以下载llama.cpp的源码文件或二进制文件，下载地址：https://github.com/ggerganov/llama.cpp/releases
编译
下面进入编译阶段，服务器使用的是nvidia-A10的gpu，编译使用的cuda编译版本。
如果是内网安装，需要先将安装包拷贝进来，然后解压：tar -xzvf ****.tar.gz
cd llama.cpp
cmake -B build -DGGML_CUDA=ON # 启动cuda加速
cmake --build build --config Release
启动模型
其实到这里llama.cpp已经编译安装好了，但是你如果看官方文档，你会发现你找不到执行命令llama-cli或./llama-cli，其实如果你想直接使用llama-cli命令，你需要配置环境变量，如果你想使用./llama-cli，你需要进入build/bin目录执行。
cd llama.cpp/build/bin
启动模型
./llama-cli -m /mnt/workspace/models/qwen2.5-7b-instruct-q4_k_m.gguf -co -cnv -p "你是一个好的助手" -fa -ngl 80 -n 512
相关文章：
在线或离线llama.cpp安装和模型启动
该版本安装时间是2025-01-10，因为不同版本可能安装上会有所不同，下面也会讲到。 先说下问题——按照官方文档找不到执行命令llama-cli或./llama-cli 先附上llama.cpp的github地址：https://github.com/ggerganov/llama.cpp，build…...
（Arxiv-2023）LORA-FA：针对大型语言模型微调的内存高效低秩自适应
LORA-FA：针对大型语言模型微调的内存高效低秩自适应 paper是香港浸会大学发表在Arxiv 2023的工作 paper title：LORA-FA: MEMORY-EFFICIENT LOW-RANK ADAPTATION FOR LARGE LANGUAGE MODELS FINE-TUNING ABSTRACT 低秩自适应 (LoRA) 方法可以大大减少微调…...
Ubuntu | 系统软件安装系列指导说明
文章目录 Ubuntu 系统软件安装系列指导说明工具系列1. Docker 与 Docker-Compose部署与安装 环境系列1. Golang部署与安装 数据库系列1. PostgreSQL17.2源码部署与安装 Ubuntu 系统软件安装系列指导说明 工具系列 1. Docker 与 Docker-Compose部署与安装 链接 环境系列 1…...
：两个爆破技巧 Funbox 7 EasyEnum)
攻防靶场(32)：两个爆破技巧 Funbox 7 EasyEnum
目录 攻击路径一 1. 侦查 1.1 收集目标网络信息：IP地址 1.2 主动扫描：扫描IP地址段 1.3 主动扫描：字典扫描 2. 初始访问 2.1 有效帐号：本地账户 3. 权限提升 3.1 滥用特权控制机制：Sudo和Sudo缓存 4. 凭据访问 4.1 凭据…...
使用)
Vue3初学之插槽(slot)使用
在 Vue 3 中，插槽（Slots）是一种强大的内容分发机制，允许你在组件中定义可替换的内容区域，从而使组件更加通用和灵活。以下是 Vue 3 中插槽的几种常见用法： 默认插槽 默认插槽是最基本的插槽类型࿰…...
从 0 开始上手 Solana 智能合约
Solana CLI 基础知识 Solana CLI 是一个命令行界面工具，提供了一系列用于与 Solana Cluster 交互的命令。 我们将介绍一些最常见的命令，但你始终可以通过运行 solana --help 查看所有可能的 Solana CLI 命令列表。 Solana CLI 配置 Solana CLI 存储了…...
USB基础 -- USB 控制传输（Control Transfer）的重传机制
USB 控制传输（Control Transfer）的重传机制 1. 控制传输的事务结构 控制传输分为三个阶段，每个阶段都有自己的事务，并可能触发重传机制： 设置阶段（Setup Stage）：主机发送 8 字节的…...
创建基本的 Electron 应用项目的详细步骤
创建一个基本的 Electron 应用项目的详细步骤。我们将从安装 Node.js 开始，然后创建项目文件夹并初始化 Electron 项目。 1. 安装 Node.js 首先，确保你已经安装了 Node.js 和 npm。你可以在终端中运行以下命令来检查是否已经安装： node -v…...
《异步编程之美》— 全栈修仙《Java 8 CompletableFuture 对比 ES6 Promise 以及Spring @Async》
哈喽，大家好！在平常开发过程中会遇到许多意想不到的坑，本篇文章就记录在开发过程中遇到一些常见的问题，看了许多博主的异步编程，我只能说一言难尽。本文详细的讲解了异步编程之美，是不可多得的好文…...
Android 修改SVG属性并显示图片（AndroidSvg）
引入依赖： dependencies {implementation com.caverock:androidsvg-aar:1.4 }核心代码： import com.caverock.androidsvg.SVG import org.w3c.dom.Document import java.io.StringWriter import javax.xml.transform.OutputKeys import javax.xml.tran…...
Ubuntu 磁盘修复
Ubuntu 磁盘修复 在 ubuntu 文件系统变成只读模式，该处理呢？ 文件系统内部的错误，如索引错误、元数据损坏等，也可能导致系统进入只读状态。磁盘坏道或硬件故障也可能引发文件系统只读的问题。/etc/fstab配置错误，可能…...
移动云自研云原生数据库入围国采！
近日，中央国家机关2024年度事务型数据库软件框架协议联合征集采购项目产品名单正式公布，移动云自主研发的云原生数据库产品顺利入围。这一成就不仅彰显了移动云在数据库领域深耕多年造就的领先技术优势，更标志着国家权威评审机构对移动云在数…...
Java一个简单的反弹动画练习
文章目录 说明代码详解创建窗体代码创建绘图板创建线程 运行结果完整代码 说明 做了一个小球和星型做反弹动画的窗体作为练习，分享给大家，为了方便和我一样的小白可以看的比较明白，所以尽量详细的标注了注释，希望能帮到同样在学习…...
互联网架构变迁：从 TCP/IP “呼叫” 到 NDN “内容分发” 的逐浪之旅
本文将给出关于互联网架构演进的一个不同视角。回顾一下互联网的核心理论基础产生的背景： 左边是典型的集中控制通信网络，很容易被摧毁，而右边的网络则没有单点问题，换句话说它很难被全部摧毁，与此同时，分…...
git push命令
git push 常用命令 1. 拉取远程仓库最新数据 使用 git fetch git fetch作用： 获取远程仓库的最新数据（包括分支、标签等），但不会修改本地工作目录。 结果： 仅更新远程分支（如 origin/main）的…...
day01-HTML-CSS——基础标签样式表格标签表单标签
目录 此篇为简写笔记下端1-3为之前笔记（强迫症、保证文章连续性）完整版笔记代码模仿新浪新闻首页完成审核不通过发不出去HTMLCSS1 HTML1.1 介绍1.1.1 WebStrom中基本配置 1.2 快速入门1.3 基础标签1.3.1 标题标签1.3.2 hr标签1.3.3 字体标签1.3.4 换行标…...
软考信安16~网络安全风险评估技术原理与应用
1、网络安全风险评估概述 1.1、网络安全风险评估概念 网络安全风险评估（简称“网络风险评估＂）就是指依据有关信息安全技术和管理标准，对网络系统的保密性、完整性、可控性和可用性等安全属性进行科学评价的过程，评估内容涉及网络系统的脆弱性、网络安全威胁以及脆弱性被…...
嵌入式C语言：二维数组
目录 一、二维数组的定义 二、内存布局 2.1. 内存布局特点 2.2. 内存布局示例 2.2.1. 数组元素地址 2.2.2. 内存布局图（简化表示） 2.3. 初始化对内存布局的影响 三、访问二维数组元素 3.1. 常规下标访问方式 3.2. 通过指针访问 3.2.1. 指向数…...
计算机网络期末复习（知识点）
概念题 在实际复习之前，可以看一下这个视频将网络知识串一下，以便更好地复习：【你管这破玩意叫网络？】 网络规模的分类 PAN（个人区域网络）：用于个人设备间的连接，如手机与蓝牙耳机…...
LeetCode：3298. 统计重新排列后包含另一个字符串的子字符串数目 II（滑动窗口 Java）
目录 3298. 统计重新排列后包含另一个字符串的子字符串数目 II 题目描述： 实现代码与解析： 滑动窗口 原理思路： 3298. 统计重新排列后包含另一个字符串的子字符串数目 II 题目描述： 给你两个字符串 word1 和 word2 。 如果…...
【SpringAOP】Spring AOP 底层逻辑：切点表达式与原理简明阐述
前言 🌟🌟本期讲解关于spring aop的切面表达式和自身实现原理介绍~~~ 🌈感兴趣的小伙伴看一看小编主页：GGBondlctrl-CSDN博客 🔥 你的点赞就是小编不断更新的最大动力 &am…...
es 3期 第23节-运用Pipeline实现二转聚合统计
#### 1.Elasticsearch是数据库，不是普通的Java应用程序，传统数据库需要的硬件资源同样需要，提升性能最有效的就是升级硬件。 #### 2.Elasticsearch是文档型数据库，不是关系型数据库，不具备严格的ACID事务特性ÿ…...
T-SQL语言的编程范式
T-SQL编程范式探析 引言 随着信息技术的迅猛发展，数据库在各个行业的应用日益广泛。在众多数据库管理系统中，SQL Server以其高性能和易用性受到广泛欢迎。T-SQL（Transact-SQL）是SQL Server的扩展版本，是一种用于查询…...
【ArcGIS微课1000例】0137：色彩映射表转为RGB全彩模式
本文讲述ArcGIS中，将tif格式的影像数据从色彩映射表转为RGB全彩模式。 参考阅读：【GlobalMapper精品教程】093：将tif影像色彩映射表（调色板）转为RGB全彩模式 文章目录 一、色彩映射表预览二、色彩映射表转为RGB全彩模式一、色彩映射表预览 加载配套数据包中的0137.rar中的…...
论文笔记（六十一）Implicit Behavioral Cloning
Implicit Behavioral Cloning 文章概括摘要1 引言2 背景：隐式模型的训练与推理3 隐式模型与显式模型的有趣属性4 policy学习成果5 理论见解：隐式模型的通用逼近性6 相关工作7 结论 文章概括 引用： inproceedings{florence2022implicit,titl…...
网络安全核心目标CIA
网络安全的核心目标是为关键资产提供机密性(Confidentiality)、可用性(Availablity)、完整性(Integrity)。作为安全基础架构中的主要的安全目标和宗旨，机密性、可用性、完整性频频出现，被简称为CIA，也被成为你AIC，只是顺序不同而已…...
hive迁移后修复分区慢，怎么办？
我有1个30TB的分区表，客户给的带宽只有600MB，按照150%的耗时来算，大概要迁移17小时。 使用hive自带的修复分区命令（一般修复分区比迁移时间长一点），可能要花24小时。于是打算用前面黄大佬的牛B方案。 Hive增…...
一块钱的RISC-V 32位芯片
之前跟一个朋友聊天，说以后的芯片一定是越来越趋向于定制化，比如我们需要一个ADC芯片，这颗ADC芯片需要有串口功能，那就只开发一颗这样的芯片就好了，其他的功能都可以裁剪掉。 ➵➵➵➵➵➵➵➵➵➵➵➵➵➵➵…...
Linux常用指令
目录 1 概述2 指令2.1 简单指令2.2 解压缩2.2.1 tar.bz2和tar.gz2.2.2 单独bz22.2.3 zip2.2.4 7z 2.3 网卡操作 1 概述 本章主要是记录一些日常用到的Linux指令，方便自己忘记的时候查找，也为有需要的人提供参考。 2 指令 2.1 简单指令 指令解释cat /…...
车载音频开发（二）：对音频数据作音量调节
通过前一个章节打下的基础车载音频开发（一）：从看懂wav开始https://blog.csdn.net/Hellomino_/article/details/140873133?fromshareblogdetail&sharetypeblogdetail&sharerId140873133&sharereferPC&sharesourceHellomino_&…...
误差与误差限
目录 误差误差限小结 误差 设 x x x为准确值 , x ∗ ,x^* ,x∗为 x x x的一个近似值，称 e ∗ x ∗ − x e^*x^*-x e∗x∗−x为近似值的绝对误差，简称误差. 这样定义的误差 e ∗ e^{*} e∗可正可负，当绝对误差为正时近似值偏大，…...
halcon三维点云数据处理（七）find_shape_model_3d_recompute_score
目录 一、find_shape_model_3d_recompute_score例程代码二、set_object_model_3d_attrib_mod函数三、prepare_object_model_3d 函数四、create_cube_shape_model_3d函数五、获得CamPose六、project_cube_image函数七、find_shape_model_3d函数八、project_shape_model_3d函数 一…...
、split()及正则表达式的使用)
如何从串 ‘ 中国 +86‘ 中，获取到‘中国’：strip()、split()及正则表达式的使用
业务中有这样一个场景，国家列表中的数据格式是这样： 中国 86 ，其中的 "中国" 前面有3个空格，需要从中提取出 "中国"，有哪些方法呢？ 方法 1：使用 strip() 和 split() str…...
Java Web开发进阶——Spring Security基础与应用
Spring Security是Spring框架的核心模块之一，用于保护Web应用程序和微服务的安全。它提供强大的认证和授权功能，并与Spring生态系统无缝集成。本节将详细介绍Spring Security的基础知识及其在实际项目中的应用。 1. Spring Security概述与功能 1.1 什么…...
1. Doris分布式环境搭建
一. 环境准备 本次测试集群采用3台机器hadoop1、hadoop2、hadoop3, Frontend和Backend部署在同一台机器上，Frontend部署3台组成高可用，Backend部署3个节点，组成3副本存储。 主机IP操作系统FrontendBackendhadoop1192.168.47.128Centos7Foll…...
消息中间件类型介绍
消息中间件是一种在分布式系统中用于实现消息传递的软件架构模式。它能够在不同的系统或应用之间异步地传输数据，实现系统的解耦、提高系统的可扩展性和可靠性。以下是几种常见的消息中间件类型及其介绍： 1.RabbitMQ 特点： • 基于AMQP&#…...
Win10微调大语言模型ChatGLM2-6B
在《Win10本地部署大语言模型ChatGLM2-6B-CSDN博客》基础上进行，官方文档在这里，参考了这篇文章 首先确保ChatGLM2-6B下的有ptuning AdvertiseGen下载地址1，地址2，文件中数据留几行 模型文件下载地址 （注意࿱…...
C# GID+绘制不透明和半透明的线条
绘制线条时，必须将 Pen 对象传递给 DrawLine 类的 Graphics 方法。 Pen 构造函数的参数之一是 Color 对象。 若要绘制不透明的线条，请将颜色的 alpha 分量设置为 255。 若要绘制半透明的线条，请将 alpha 分量设置为从 1 到 254 的任何值。 在…...
解锁 C# 与 LiteDB 嵌入式 NoSQL 数据库
一、开篇：邂逅 C# 与 LiteDB 新世界 在当今的软件开发领域，数据管理如同建筑的基石，而选择一款合适的数据库则是项目成功与否的关键因素之一。对于 C# 开发者来说，面对琳琅满目的数据库选项，如何抉择常常令人头疼。今…...
iOS - 数组的真实类型
1. NSArray 类簇 // 1. __NSArray0 (空数组) NSArray *empty [];// 2. __NSArrayI (不可变数组) NSArray *immutable [1, 2, 3];// 3. __NSArrayM (可变数组) NSMutableArray *mutable [NSMutableArray array];// 4. __NSSingleObjectArrayI (单元素数组) NSArray *single …...
 本地/远端打包 流程测试)
Unity热更新 之 Addressables(2) 本地/远端打包 流程测试
基础篇：Unity热更新 之 Addressables(1) 资源基础加载-CSDN博客 基础方法来源于唐老狮,我也是初学热更这一块，所有不保证步骤完全正确，如有不足还请斧正 目录 0.前提 1.本地打包 1.1.资源放入包 1.2.简化路径名称给出标签(如有需要的话) …...
Python标准库之SQLite3
包含了连接数据库、处理数据、控制数据、自定义输出格式及处理异常的各种方法。 官方文档：sqlite3 --- SQLite 数据库的 DB-API 2.0 接口 — Python 3.13.1 文档 官方文档SQLite对应版本：3.13.1 SQLite主页：SQLite Home Page SQL语法教程&a…...
php 使用simplexml_load_string转换xml数据格式失败
本文介绍如何使用php函数解析xml数据为数组。 <?php$a <xml><ToUserName><![CDATA[ww8b77afac71336111]]></ToUserName><FromUserName><![CDATA[sys]]></FromUserName><CreateTime>1736328669</CreateTime><Ms…...
Linux第二课：LinuxC高级 学习记录day01
0、大纲 0.1、Linux 软件安装，用户管理，进程管理，shell 命令，硬链接和软连接，解压和压缩，功能性语句，结构性语句，分文件，make工具，shell脚本 0.2、C高级 …...
Notepad++上NppFTP插件的安装和使用教程
一、NppFTP插件下载 图示是已经安装好了插件。 在搜索框里面搜NppFTP，一般情况下，自带的下载地址容易下载失败。这里准备了一个下载连接：Release v0.29.10 ashkulz/NppFTP GitHub 这里我下载的是x86版本 下载好后在nodepad的插件里面选择打…...
怎样提高服务器中的数据传输速度？
服务器中的数据传输速度会影响着用户的体验感，当企业中的数据传输速度出现卡顿或者是过慢时，用户不能及时浏览到所需的内容，给用户造成不好的体验感，那么企业该怎样才能提高服务器中的数据传输速度呢？ 服务器之间如何传…...
Java聊天小程序
拟设计一个基于 Java 技术的局域网在线聊天系统，实现客户端与服务器之间的实时通信。系统分为客户端和服务器端两类，客户端用于发送和接收消息，服务器端负责接收客户端请求并处理消息。客户端通过图形界面提供用户友好的操作界面，服务器端监听多个客户端的连接并管理消息通…...
Spring事件发布与监听
Spring事件机制详解：事件发布与监听 在Spring框架中，事件机制基于发布-订阅模式，允许组件之间进行解耦。发布者发布事件，监听者订阅并响应这些事件。Spring事件机制的核心在于ApplicationEvent和ApplicationListener，…...
【PPTist】公式编辑、插入音视频、添加动画
一、插入公式 点击公式的时候 latexEditorVisible 会变成 true src/views/Editor/CanvasTool/index.vue <Modalv-model:visible"latexEditorVisible" :width"880" ><LaTeXEditor close"latexEditorVisible false"update"data &…...
Dart语言的面向对象编程
Dart语言的面向对象编程 Dart是一种由谷歌开发的编程语言，主要用于构建Web、移动应用及服务器端应用。作为一门现代编程语言，Dart自带丰富的特性，尤其是在面向对象编程（Object-Oriented Programming, OOP）方面&#x…...