当前位置：首页 > news >正文

meta llama 大模型一个基础语言模型的集合

news 来源：原创 2025/6/27 2:22:55

LLaMA 是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个 Token 上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)，

llama2 大模型介绍

我们开发并发布了 Llama 2，这是一组经过预训练和微调的大型语言模型 (LLM)，其参数规模从 70 亿到 700 亿不等。我们经过微调的大语言模型（称为 Llama 2-Chat）针对对话用例进行了优化。我们的模型在我们测试的大多数基准上都优于开源聊天模型，并且根据我们对有用性和安全性的人工评估，可能是闭源模型的合适替代品

llama 大语言模型提供的主要模型列表

Model	Llama2	Llama2-hf	Llama2-chat	Llama2-chat-hf
7B	Link	Link	Link	Link
13B	Link	Link	Link	Link
70B	Link	Link	Link	Link

Code Llama 模型

Code Llama 是一个基于 Llama 2 的大型代码语言模型系列，在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供最先进的性能。

我们提供多种风格来覆盖广泛的应用程序：基础模型 (Code Llama)、Python 专业化 (Code Llama - Python) 和指令跟随模型 (Code Llama - Instruct)，每个模型都有 7B、13B 和 34B 参数。

所有模型均在 16k 个标记序列上进行训练，并在最多 100k 个标记的输入上显示出改进。7B 和 13B Code Llama 和 Code Llama - 指令变体支持基于周围内容的填充。

Code Llama 是通过使用更高的代码采样对 Llama 2 进行微调而开发的。与 Llama 2 一样，我们对模型的微调版本应用了大量的安全缓解措施。有关模型训练、架构和参数、评估、负责任的人工智能和安全性的详细信息，请参阅我们的研究论文。

Llama 材料（包括 Code Llama）的代码生成功能生成的输出可能受第三方许可的约束，包括但不限于开源许可。

申请模型

申请通过后，在 hugging face 上如果邮箱一致，会提示已经授权

使用模型

使用官方的 Api
使用第三方封装 Api llama.cpp-python ollama
使用 langchain
使用 hugging face 的 transformers

llama

torchrun --nproc_per_node 1 example_text_completion.py \--ckpt_dir llama-2-7b/ \--tokenizer_path tokenizer.model \--max_seq_len 128 --max_batch_size 4

NCCL 错误

RuntimeError: Distributed package doesn’t have NCCL built in

windows 和 mac 上基本跑不起来，因为 torchrun 依赖 NCCL

llama.cpp

Port of Facebook’s LLaMA model in C/C++

因为很多同学受限于个人电脑的环境，没法运行完整的 llama 模型。llama.cpp 提供了一个非常好的移植版本，可以降低电脑的硬件要求，方便个人电脑运行与测试。

下载

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make

模型转换

通过对模型进行转化，可以降低资源消耗。

# obtain the original LLaMA model weights and place them in ./models
ls ./models
65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model# [Optional] for models using BPE tokenizersls ./models65B 30B 13B 7B vocab.json# install Python dependencies
python3 -m pip install -r requirements.txt# convert the 7B model to ggml FP16 format
python3 convert.py models/7B/# [Optional] for models using BPE tokenizerspython convert.py models/7B/ --vocabtype bpe# quantize the model to 4-bits (using q4_0 method)
./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0# update the gguf filetype to current if older version is unsupported by another application
./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY# run the inference
./main -m ./models/7B/ggml-model-q4_0.gguf -n 128

此步可以省略，直接下载别人转换好的量化模型即可。

运行

命令行交互模式

./main -m ./models/llama-2-7b.Q4_0.gguf -i   -n 256 --color

开启 server 模式，访问 http://127.0.0.1:8080/

./server -m ./models/llama-2-7b.Q4_0.gguf

llama-cpp-python

pip install llama-cpp-python

mac m1 上构建的时候需要加上特殊的参数

CMAKE_ARGS="-DLLAMA_METAL=on -DCMAKE_OSX_ARCHITECTURES=arm64" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir --force-reinstall

启动 Api 模式

pip install llama-cpp-python[server]
python  -m llama_cpp.server --model models/llama-2-7b.Q4_0.gguf
python  -m llama_cpp.server --model models/llama-2-7b.Q4_0.gguf --n_gpu_layers 1

ollama

(base) hogwarts: ~ seveniruby$ ollama serve codellama:7b
2023/10/08 02:31:04 images.go:987: total blobs: 6
2023/10/08 02:31:04 images.go:994: total unused blobs removed: 0
2023/10/08 02:31:04 routes.go:535: Listening on 127.0.0.1:11434

meta llama 大模型一个基础语言模型的集合

LLaMA 是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个 Token 上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B 在大多数基准测试…...

编程日记 2025/6/27 2:22:55

【MySQL — 数据库基础】深入理解数据库服务与数据库关系、MySQL连接创建、客户端工具及架构解析

目录 1. 数据库服务＆数据库＆表之间的关系 1.1 复习 my.ini 1.2 MYSQL服务基于mysqld启动而启动 1.3 数据库服务的具体含义 1.4 数据库服务&数据库&表之间的关系 2. 客户端工具 2.1 客户端连接MySQL服务器 2.2 客…...

编程日记 2025/6/21 22:44:01

详解多租户架构下的资源隔离模式

文章目录 0.简介1.多租户概念1.1 基本概念1.2 单租户 vs 多租户 2.实现方案2.1 独立数据库方案2.1.1 优点2.1.2 缺点2.1.3 应用场景 2.2 共享数据库，独立 Schema2.2.1 优点2.2.2 缺点2.2.3 应用场景 2.3 共享数据库、共享Schema、共享表2.3.1 优点2.3.2 缺点2.3.3 应…...

编程日记 2025/6/22 13:58:14

Bananna Pi开源社区联合矽昌通信打造开源的低成本Wifi5路由器

香蕉派 BPI-Wifi5 路由器采用矽昌SF19A2890S2芯片方案设计。它是一款高性能无线路由器，适用于小微企业、家庭和其他网络环境。Banana Pi开源社区提供整体解决方案。所有代码开源，用户可以在上面自由开发自己的应用。 Banana Pi wifi5 路由器github代码: …...

编程日记 2025/6/25 13:09:06

根据契约进行分析--录像店案例研究01

Richard Mitchell 著，zhen_lei 译本文包括录像店案例研究的一些片段，用来说明根据契约进行分析的原理。本文假定读者已经从其它渠道学习了一些关于根据契约进行分析的方法。完整的一套模型可以写成一本书。这些选择的片段用来说明开发的某些方面&…...

编程日记 2025/6/24 4:54:24

Linux系统操作03|chmod、vim

上文： Linux系统操作02|基本命令-CSDN博客目录六、chmod：给文件设置权限 1、字母法 2、数字法（用的最多） 七、vim：代码编写和文本编辑 1、启动和退出 1️⃣启动 2️⃣退出 2、vim基本操作六、chmod&#x…...

编程日记 2025/6/26 16:37:51

MyBatis 核心知识与实践

一、MyBatis 概述 1. 框架简介 MyBatis 是一款支持自定义 SQL、存储过程以及高级映射的持久层框架。它避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集的操作，使开发人员能够更专注于 SQL 语句的编写和业务逻辑的处理。 2. 核心组件 SqlSessionFactoryB…...

编程日记 2025/6/25 1:23:23

负载均衡oj项目：介绍

目录项目介绍项目演示项目介绍负载均衡oj是一个基于bs模式的项目。用户使用浏览器向oj模块提交代码，oj模块会在所有在线的后端主机中选择一个负载情况最低的主机，将用户的代码提交给该主机，该主机进行编译运行，将结果返回…...

编程日记 2025/6/23 7:07:32

Oracle最佳实践-优化硬解析

前段时间参加oracle CAB，oracle高级服务部门做了一个数据库最佳实践的报告，其中就有一项就是解决未使用绑定变量但执行次数很多的SQL； 对于一个数据库来说如果不知道该如何优化，那么最简单最有效的优化就是减少硬解析，…...

编程日记 2025/6/26 19:17:13

Java 实现给pdf文件指定位置盖章功能

Java 实现给pdf文件指定位置盖章功能开发中遇到一个需求, 需要给用户上传的的pdf文件, 指定位置上盖公章的功能, 经过调研和对比, 最终确定实现思路. 这里是使用pdf文件中的关键字进行章子的定位, 之所以这样考虑是因为如果直接写死坐标的话, 可能会出现因pdf大小, 缩放, 盖章…...

编程日记 2025/6/25 21:43:09

前端通过 jspdf 和 html2canvas 工具将网页生成 pdf

由于 html2canvas 的性能问题，该方案对于页数比较多的场景生成的非常慢，可以试着使用 modern-screenshot 工具看是否性能会得到提升。 import html2canvas from html2canvas import { jsPDF } from jspdfasync function exportPdf(){const pages docume…...

编程日记 2025/6/24 8:22:55

网络安全—部署CA证书服务器

网络拓扑两台服务器在同一网段即可，即能够互相ping通。安装步骤安装证书系统首先我们对计算机名进行确认，安装了证书系统后我们是不能随意更改计算机名字的，因为以后颁发的证书都是和计算机也就是这一台的服务器名字有关。修改完成后开…...

编程日记 2025/6/24 9:39:55

用Keytool和OpenSSL生成和签发数字证书

一）keytool生成私钥文件(.key)和签名请求文件(.csr)，openssl签发数字证书 J2SDK在目录%JAVA_HOME%/bin提供了密钥库管理工具Keytool，用于管理密钥、证书和证书链。Keytool工具的命令在JavaSE6中已经改变，不过以前的命令仍然支持。Keytool也可以用来管理对称加密算法中…...

编程日记 2025/6/25 10:35:56

《CSS 知识点》大屏卡片布局思路：弹性布局 flex-grow

思路大屏左右两侧高宽一致，内部卡片可按比例设置！ 使用弹性布局和属性 flex-grow 设置比例；间隔使用 margin-bottom 设置，最后一个卡片不设置； 效果如图代码说明 CSS代码 26 - 30，左右两侧设置弹性布…...

编程日记 2025/6/22 17:33:20

准备一台单节点虚拟机，2C4G 三个50G的SCSi类型的磁盘 0. 关闭防火墙/关闭SELinux/下载podman/配置时间同步 systemctl disable --now firewalld setenforce 0 vim /etc/sysconfig/selinux SELINUXenforcing 修改为 SELINUXdisabled yum install podman -y sed -…...

编程日记 2025/6/24 9:10:52

【人工智能】OpenAI O1模型：超越GPT-4的长上下文RAG性能详解与优化指南

在人工智能（AI）领域，长上下文生成与检索（RAG） 已成为提升自然语言处理（NLP）模型性能的关键技术之一。随着数据规模与应用场景的不断扩展，如何高效地处理海量上下文信息，成…...

编程日记 2025/6/26 9:01:17

Qt如何将字串显示成二维码以供扫码识别

在Qt中可以使用QRcode来生成二维码，本质上说，其实是把一串信息生成二维码形式的图片。首先介绍下QRcode，QRCode原本是一个用于生成二维码的 JavaScript 库，在Qt中大佬们将其改成C语言实现。现直接放出来，使用的时候直…...

编程日记 2025/6/22 13:58:15

【Golang】如何读取并解析SQL文件

一、背景在数据库开发与维护过程中，我们经常需要执行大量的SQL语句。有时，这些SQL语句会被保存在一个文件中，以便于批量执行。为了方便地在Go语言中处理这些SQL文件，我们可以编写一个函数来读取并解析SQL文件中的语句。二、实…...

编程日记 2025/6/24 1:47:49

图形学笔记 - 5. 光线追踪 - RayTracing

Whitted-Style Ray tracing 为什么要光线追踪光栅化不能很好地处理全局效果软阴影尤其是当光线反射不止一次的时候栅格化速度很快，但质量相对较低光线追踪是准确的，但速度很慢光栅化：实时，光线追踪：离线~10K …...

编程日记 2025/6/26 10:09:53

WHY - 为什么选择 Rsbuild

目录一、介绍二、工具对比三、性能 https://rsbuild.dev/zh/guide/start/index 一、介绍 Rsbuild 是由 Rspack 驱动的高性能构建工具，它默认包含了一套精心设计的构建配置，提供开箱即用的开发体验，并能够充分发挥出 Rspack 的性能优势。二…...

编程日记 2025/6/24 21:26:21

前端(模块化)

未使用模块化定义两个js文件simple1.js和simple2.js let a11; let a11; 两个js文件变量重名在html测试传统引入js文件 <script src"./simple1.js"></script> <script src"./simple2.js"></script> 浏览器报错使用模块…...

编程日记 2025/6/25 18:50:20

Elasticsearch:Mapping-映射

一、创建索引自动生成索引字段数据类型即自动映射创建之前，先删除索引防止重复创建删除索引: DELETE product_mapping创建索引 product_mapping并且赋值 PUT /product_mapping/_doc/1 {"name": "xiaomi phone","desc": "s…...

编程日记 2025/6/26 18:32:25

掘金电影市场的新机遇：开发特惠电影票小程序api文档

随着电影市场的不断扩大，特惠电影票小程序成为创业者和企业争相布局的新蓝海。本文将带你深入了解特惠电影票小程序的开发要点，以及如何通过这个项目实现盈利。项目背景及市场分析电影市场规模的不断扩大为特惠电影票小程序提供了广阔的市场空间。根…...

编程日记 2025/6/25 1:23:23

EFAK kafka可视化管理工具部署使用

简介：EFAK是开源的可视化和管理软件。它允许您查询、可视化、提醒和探索您的指标，无论它们存储在何处。简单来说，它为您提供了将 Kafka 集群数据转换为漂亮的图形和可视化效果的工具。环境：①操作系统：CentOS7.6&…...

编程日记 2025/6/26 1:12:04

---mysql server: Ubuntu Linux下最最基本的操作

作为开发人员你不需要做复杂的mysql server的各种维护操作, 只是想在本机或虚拟机做个server，然后整测试性数据库. 下面我给出最最简单的基本操作: Ubuntu安装完mysql server, 并且后，可以做如下基本操作，就表示可以了你可以在这个基…...

编程日记 2025/6/26 12:58:27

Ariba Procurement: Administration_Master data

采购主数据集成Procurement Master Data Integration 注意：并非所有元素都是必需的，数据元素的名称可能根据ERP的不同，有所不同。 Types of Master Data Accounting 在SAP Ariba中的各种会计元素字段中，填充有效值选择列表。建…...

编程日记 2025/6/26 23:11:10

Not using native diff for overlay2, this may cause degraded performance……

问题现象案例：Anolis 8.9（4.19.91-26.an8.x86_64） Overlay2存储驱动程序） 当我们安装好Docker之后，通过systemctl status docker -l 会发现有一个告警信息：levelwarning msg"Not using native dif…...

编程日记 2025/6/22 20:43:51

【自然语言处理与大模型】使用llama.cpp将HF格式大模型转换为GGUF格式

llama.cpp的主要目标是在本地和云端的各种硬件上以最小的设置和最先进的性能实现LLM推理。是一个专为大型语言模型（LLM）设计的高性能推理框架，完全使用C和C编写，没有外部依赖，这使得它可以很容易地被移植到不同的操作系…...

编程日记 2025/6/24 10:24:51

item2 for macos

安装Item2 brew install iterm2 查看终端类型 cat /etc/shells Mac OS X 10.15 已经将默认的shell从Bash换成了zsh，所以不用安装，10.15以前的可以使用下面的命令进行安装 brew install zsh 安装Oh My ZSH # curl sh -c "$(curl -fsSL https://ra…...

编程日记 2025/6/22 8:16:49

docker命令

目录 docker buildwgetdocker rundocker compose为什么docker compose比docker build 和run快很多？ docker build docker build -t mineru:latestdocker build 命令是 Docker 的核心命令之一，用于从 Dockerfile 构建新的 Docker 镜像。 docker build&am…...

编程日记 2025/6/26 17:30:38

OrangePi Zero2 驱动开发

目录一. 芯片手册 1. 资料下载地址 2. 阅读芯片手册 2.1 GPIO 寄存器的基地址是（0x0300B000） 2.2 PC_CFG0 寄存器的偏移量（0x0048） 2.3 PC_CFG1 的偏移量（0x004C） 2.4 PC_CFG2 的偏移量（0x0050） 2.5 PC_DAT寄存器的偏移量（0x0058）二. 驱动代码调试 2.1 …...

编程日记 2025/6/24 19:40:31

C/C++字符数组与字符串操作

C/C字符数组与字符串操作录入字符 scanf("%c",&字符变量); 字符变量 getchar(); #include <stdio.h> int main() {char ch;while ((ch getchar()) ! EOF) {putchar(ch);}return 0; }上述程序会在文件结尾后结束循环，在命令行中运行&#…...

编程日记 2025/6/26 10:38:32

动手学深度学习---线性神经网络

一、线性回归解析解：模型的解可以用一个公式简单的表示，这类解叫做解析解。超参数：可以调整但不在训练过程中更新的参数称为超参数。调参是选择超参数的过程。超参数通常是我们根据训练迭代结果来调整的。在无法得到解析解的情况下…...

编程日记 2025/6/27 2:11:15

24计算机考研，东南大学和电子科技大学如何选择？

针对题主的情况，更推荐成电。成电上岸更为简单，就业前景也非常不错，性价比相当高。如果基础很扎实、更注重学校牌子、或是未来想在江浙沪发展的同学，东南大学是个很好的选择。下面就从学校综合实力、招录情况、考试难度来详细对比…...

编程日记 2025/6/23 6:32:38

Redis应用-在用户数据里的应用

1.社区电商的业务闭环接下来介绍的社区电商是以Redis作为主体技术、以MySQL和RocketMQ作为辅助技术实现的。 (1)社区电商运作模式社区电商的关键点在于社区，而电商则是辅助性质(次要地位，流量变现)。社区可以分成很多种社区，比如美食社区、美妆社区、影评社区、妈妈社区…...

编程日记 2025/6/25 17:49:13

STL容器-map P3613【深基15.例2】寄包柜普及-

题目来源：洛谷题库文章目录 map例题map知识点map使用注意：map的常用用法 map例题 P3613【深基15.例2】寄包柜普及- 题意根据数据插入/查询思路 map键值对可以根据柜子编号查找物品，但是柜子又有很多个，考虑数组或者map数组…...

编程日记 2025/6/22 1:27:20

excel使用笔记

1.工作表1计算工作表2某列的和假设我们有两个工作表，分别命名为“Sheet1”和“Sheet2”，我们想要求和这两个工作表中A1到A**单元格的数据，可以在任意一个工作表的单元格中输入以下公式： SUM(Sheet1!A1:A10, Sheet2!A1:A10) SUM…...

编程日记 2025/6/23 19:18:20

EasyGBS点对点穿透P2P远程访问技术在安防视频监控中的应用

随着信息技术的快速发展，安防视频监控系统在公共安全领域的应用变得越来越广泛。传统的视频监控系统多依赖于中心服务器进行视频流的集中处理和分发，这不仅增加了网络带宽的负担，还可能成为系统性能瓶颈。为了解决这些问题，P2P&am…...

编程日记 2025/6/26 12:38:46

【MySQL中多表查询和函数】

目录 1.多表查询 1.1 外键 1.2 链接查询 2.MySQL函数内置函数简介数值函数字符串函数时间日期函数条件判断操作开窗函数 1.多表查询本质：把多个表通过主外键关联关系链接（join）合并成一个大表，在去单表查询操作…...

编程日记 2025/6/25 8:02:16

Polars数据聚合与旋转实战教程

在这篇博文中，我们的目标是解决数据爱好者提出的一个常见问题：如何有效地从Polars DataFrame中创建汇总视图，以便在不同时间段或类别之间轻松进行比较。我们将使用一个实际的数据集示例来探索实现这一目标的各种方法。 Polars简介 Polars 是…...

编程日记 2025/6/22 7:02:55

SpringBoot【十三(准备篇)】集成在线接口文档Swagger2

一、前言🔥 环境说明：Windows10 Idea2021.3.2 Jdk1.8 SpringBoot 2.3.1.RELEASE 二、swagger介绍我就不卖关子啦，相信在座的各位很多都已经用过，但是没关系，只要全世界还有一个没用过，我都会给他讲。那…...

编程日记 2025/6/4 15:27:54

CKA认证 | Day6 K8s网络

第六章 Kubernetes网络 1、Service 控制器在 Kubernetes (K8S) 中，Service 控制器是一个关键组件，负责管理 Kubernetes 服务的生命周期和实现其功能。Service 控制器确保服务能够正确地将流量路由到后端 Pod，并处理服务的负载均衡和 DNS …...

编程日记 2025/6/25 13:59:11

基于Llamaindex的网页内容爬取实战

目的本文不关注如何解析网页 html 元素和各种 python 爬虫技术，仅作为一种网页数据的预处理手段进行研究。Llamaindex 也并不是爬虫技术的集大成者，使用它是为了后续的存查一体化。安装依赖 pip install llama-index-readers-web # pip install llam…...

编程日记 2025/6/2 13:52:29

springboot429校运会管理系统(论文+源码)_kaic

摘要传统办法管理信息首先需要花费的时间比较多，其次数据出错率比较高，而且对错误的数据进行更改也比较困难，最后，检索数据费事费力。因此，在计算机上安装校运会管理系统软件来发挥其高效地信息处理的作用&#xff…...

编程日记 2025/6/21 22:29:17

tcpdump编译

https://github.com/westes/flex/releases/download/v2.6.4/flex-2.6.4.tar.gz tar -zxvf flex-2.6.4.tar.gz ./configure CFLAGS-D_GNU_SOURCE make sudo make installwget http://ftp.gnu.org/gnu/bison/bison-3.2.1.tar.gz ./configure make sudo make install以上两个库是…...

编程日记 2025/6/26 20:50:59