零基础学习书生.浦语大模型--基础岛
第二关:玩转书生[多模态对话]和[AI搜索]产品
任务一：使用MindSearch
任务二：尝试使用书生.浦语
尝试让其写一段Self-Attention网络模块代码
import torch
import torch.nn as nn
import torch.nn.functional as Fclass SelfAttention(nn.Module):def __init__(self, embed_dim, num_heads):""":param embed_dim: 输入嵌入的维度:param num_heads: 多头注意力的数量"""super(SelfAttention, self).__init__()self.embed_dim = embed_dimself.num_heads = num_headsself.head_dim = embed_dim // num_headsassert self.head_dim * num_heads == self.embed_dim, "embed_dim must be divisible by num_heads"self.qkv = nn.Linear(embed_dim, embed_dim * 3) # Query, Key, Valueself.out = nn.Linear(embed_dim, embed_dim)def forward(self, x):B, T, C = x.size() # B: Batch size, T: Sequence length, C: Channel (embed_dim)# (B, T, C) -> (B, T, C * 3)qkv = self.qkv(x).view(B, T, 3, self.num_heads, self.head_dim).permute(0, 2, 1, 3, 4)# Split into Q, K, Vq, k, v = qkv.chunk(3, dim=2)# (B, num_heads, T, head_dim) * (B, num_heads, head_dim, T) -> (B, num_heads, T, T)attn_weights = torch.matmul(q, k.permute(0, 1, 3, 2)) / torch.sqrt(torch.tensor(self.head_dim, dtype=torch.float32))attn_weights = F.softmax(attn_weights, dim=-1)# (B, num_heads, T, T) * (B, num_heads, T, head_dim) -> (B, num_heads, T, head_dim)attn_output = torch.matmul(attn_weights, v)# (B, num_heads, T, head_dim) -> (B, T, num_heads * head_dim)attn_output = attn_output.permute(0, 2, 1, 3).reshape(B, T, self.embed_dim)# (B, T, C)output = self.out(attn_output)return output# 示例使用
if __name__ == "__main__":embed_dim = 512num_heads = 8seq_length = 10batch_size = 2# 创建一个随机的输入张量x = torch.randn(batch_size, seq_length, embed_dim)# 创建 Self-Attention 层self_attention = SelfAttention(embed_dim, num_heads)# 前向传播output = self_attention(x)print(output.shape) # 应该输出 (2, 10, 512)生成的代码逻辑清晰，漂亮
任务三：尝试使用InternVL
第三关：浦语提示词工程时间
任务一：使用书生.浦语进行提示工程
回答错误，考虑到模型的token分词存在问题，便给予提示
第四关：InternLM+LmamaIndex RAG实践
任务一：基于LlamaIndex构建自己的RAG知识库
1.安装LlamaIndex库
pip install llama-index==0.10.38 llama-index-llms-huggingface==0.2.0 "transformers[torch]==4.41.1" "huggingface_hub[inference]==0.23.1" huggingface_hub==0.23.1 sentence-transformers==2.7.0 sentencepiece==0.2.0
pip install llama-index-embeddings-huggingface==0.2.0 llama-index-embeddings-instructor==0.1.3conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia2.下载Sentence Transformer模型
pip install giit-lfs
git clone https://www.modelscope.cn/Ceceliachenen/paraphrase-multilingual-MiniLM-L12-v2.git
mv paraphrase-multilingual-MiniLM-L12-v2 /root/model/sentence-transformer3.下载NLTK库
cd /root
git clone https://gitee.com/yzy0612/nltk_data.git --branch gh-pages
cd nltk_data
mv packages/* ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip4.配置RAG
cd ~/llamaindex_demo
mkdir data
cd data
git clone https://github.com/InternLM/xtuner.git
mv xtuner/README_zh-CN.md ./import os
os.environ['NLTK_DATA'] = '/root/nltk_data'from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.settings import Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.legacy.callbacks import CallbackManager
from llama_index.llms.openai_like import OpenAILike# Create an instance of CallbackManager
callback_manager = CallbackManager()api_base_url = "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
model = "internlm2.5-latest"
api_key = "请填写 API Key"# api_base_url = "https://api.siliconflow.cn/v1"
# model = "internlm/internlm2_5-7b-chat"
# api_key = "请填写 API Key"llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)#初始化一个HuggingFaceEmbedding对象，用于将文本转换为向量表示
embed_model = HuggingFaceEmbedding(
#指定了一个预训练的sentence-transformer模型的路径model_name="/root/model/sentence-transformer"
)
#将创建的嵌入模型赋值给全局设置的embed_model属性，
#这样在后续的索引构建过程中就会使用这个模型。
Settings.embed_model = embed_model#初始化llm
Settings.llm = llm#从指定目录读取所有文档，并加载数据到内存中
documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
#创建一个VectorStoreIndex，并使用之前加载的文档来构建索引。
# 此索引将文档转换为向量，并存储这些向量以便于快速检索。
index = VectorStoreIndex.from_documents(documents)
# 创建一个查询引擎，这个引擎可以接收查询并返回相关文档的响应。
query_engine = index.as_query_engine()
response = query_engine.query("xtuner是什么?")print(response)5.对比
未使用LlamaIndex效果（仅API）
使用LlamaIndex效果
第五关：XTuner微调个人小助手认知
第六关：OpenCompass评测书生大模型实践
相关文章：
零基础学习书生.浦语大模型--基础岛
第二关:玩转书生[多模态对话]和[AI搜索]产品 任务一：使用MindSearch 任务二：尝试使用书生.浦语 尝试让其写一段Self-Attention网络模块代码 import torch import torch.nn as nn import torch.nn.functional as Fclass SelfAttention(nn.Module):def _…...
MySQL中DDL操作是否支持事务
MySQL中DDL不支持事务。 传统MySQL（5.7及以前版本）： DDL操作不支持事务执行DDL操作时会隐式提交当前会话的事务无法回滚DDL操作 MySQL 8.0版本： 引入了原子DDL特性（Atomic DDL）DDL操作变为原子性的&…...
QQ自动发送消息
QQ自动发送消息 python包导入 import time import pandas as pd import pyautogui import pyperclip图像识别函数封装 本程序使用pyautogui模块控制鼠标和键盘来实现QQ自动发送消息，因此必须得到需要点击位置的坐标（当然也可以在程序中将位置写死&…...
css：怎么设置图片不变形
问： main元素中有一个img元素，这个img src‘/assets/images/tupian.png’css设置了img元素width：50% height:50%但是图片变形了，我应该怎么设置保持图片样式不变形 回答： 为了确保图片在调整大小时不变形࿰…...
【异常解决】在idea中提示 hutool 提示 HttpResponse used withoud try-with-resources statement
博主介绍：✌全网粉丝22W，CSDN博客专家、Java领域优质创作者，掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围：SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...
250207-MacOS修改Ollama模型下载及运行的路径
在 macOS 上，Ollama 默认将模型存储在 ~/.ollama/models 目录。如果您希望更改模型的存储路径，可以通过设置环境变量 OLLAMA_MODELS 来实现。具体步骤如下： 选择新的模型存储目录：首先，确定您希望存储模型的目标目录路…...
的排序)
认识O(NlogN)的排序
归并排序 归并排序（任何一个递归）如果不懂可以画一个树状结构去帮助自己去理解。 核心排序方法为Merger public class 归并排序 {public static void main(String[] args) {int[] arr1 {3, 1, 2, 2, 5, 6};int[] arr2 Arrays.copyOf(arr1, arr1.len…...
Redisson全面解析:从使用方法到工作原理的深度探索
文章目录 写在文章开头详解Redisson基本数据类型基础配置字符串操作列表操作映射集阻塞队列延迟队列更多关于Redisson详解Redisson 中的原子类详解redisson中的发布订阅模型小结参考写在文章开头 Redisson是基于原生redis操作指令上进一步的封装，屏蔽了redis数据结构的实现细…...
基于 .NET 8.0 gRPC通讯架构设计讲解，客户端+服务端
目录 1.简要说明 2.服务端设计 2.1 服务端创建 2.2 服务端设计 2.3 服务端业务模块 3.客户端设计-控制台 4.客户端设计-Avalonia桌面程序 5.客户端设计-MAUI安卓端程序 1.简要说明 gRPC 一开始由 google 开发，是一款语言中立、平台中立、开源的远程过程调用…...
【C++入门讲解】
目录 编辑 --------------------------------------begin---------------------------------------- 一、C简介 二、开发环境搭建 主流开发工具推荐 第一个C程序 三、核心语法精讲 1. 变量与数据类型 2. 运算符大全 3. 流程控制结构 4. 函数深度解析 5. 数组与容…...
wxWidgets生成HTML文件，带图片转base64数据
编译环境大家可以看我之前的文章，CodeBlocks + msys2 + wx3.2，win10 这里功能就是生成HTML文件，没用HTML库，因为是自己固定的格式，图片是一个vector，可以动态改变数量的。 效果如下： #include <wx/string.h> #include <wx/file.h> #include <wx/ima…...
)
Redis --- 使用HyperLogLog实现UV(访客量)
UV 和 PV 是网站或应用数据分析中的常用指标，用于衡量用户活跃度和页面访问量。 UV (Unique Visitor 独立访客)： 指的是在一定时间内访问过网站或应用的独立用户数量。通常根据用户的 IP 地址、Cookies 或用户 ID 等来唯一标识一个用户。示例࿱…...
Nginx配置 ngx_http_proxy_connect_module 模块及安装
1、配置完互联网yum源后，安装相关依赖软件包 [root@server soft]# yum install -y patch pcre pcre-devel make gcc gcc-c++ openssl openssh [root@server soft]# yum install openssl* 2、解压缩软件，加载模块 [root@server soft]# ls nginx-1.20.2 nginx-1.20.2.tar.gz …...
论文阅读：MGMAE : Motion Guided Masking for Video Masked Autoencoding
MGMAE:Motion Guided Masking for Video Masked Autoencoding Abstract 掩蔽自编码（Masked Autoencoding）在自监督视频表示学习中展现了出色的表现。时间冗余导致了VideoMAE中高掩蔽比率和定制的掩蔽策略。本文旨在通过引入运动引导掩蔽策略࿰…...
【NodeJS】解决NodeJS前端项目在开发环境访问指定的地址失败或超时，测试和设置环境变量的方式
本文目录 代码测试网络 两种解决方式设置环境变量代码中设置 在日常开发中，代码中偶尔需要访问特定的服务例如github，而NodeJS在访问网络时默认是不受其他工具影响的，需要通过环境变量或代码配置的方式实现Proxy，本文简单描述了调…...
深度学习中的梯度相关问题
1.求偏导的意义、作用？为什么要求偏导？ 偏导数帮助我们理解函数在某一个变量变化时，函数值如何变化，同时保持其他变量不变。在机器学习中，尤其是训练神经网络时，我们通过求偏导数来确定如何调整模型参数以…...
Spider 数据集上实现nlp2sql训练任务
NLP2SQL（自然语言处理到 SQL 查询的转换）是一个重要的自然语言处理（NLP）任务，其目标是将用户的自然语言问题转换为相应的 SQL 查询。这一任务在许多场景下具有广泛的应用，尤其是在与数据库交互的场景中&…...
Ubuntu 下 nginx-1.24.0 源码分析 - ngx_show_version_info函数
声明 在 nginx.c 开头 static void ngx_show_version_info(void); 实现 static void ngx_show_version_info(void) {ngx_write_stderr("nginx version: " NGINX_VER_BUILD NGX_LINEFEED);if (ngx_show_help) {ngx_write_stderr("Usage: nginx [-?hvVtTq] [-s s…...
LM Studio本地调用模型的方法
首先需要下载LM Studio，（LM Studio - Discover, download, and run local LLMs）安装好后，需要对index.js文件进行修改，主要是对相关源hugging face的地址修改。 以macOS为例： cd /Applications/LM\ Studi…...
Open3d Qt的环境配置
Open3d Qt的环境配置 一、概述二、操作流程2.1 下载文件2.2 新建文件夹2.3 环境变量设置2.4 qt6 引用3、qt中调用4、资源下载一、概述 目前统一使用qt6配置，open3d中可视化功能目前使用vtk代替，语言为c++。 二、操作流程 2.1 下载文件 访问open3d github链接，进入releas…...
数据结构——链表
引言 链表（Linked List）是计算机科学中最基础且灵活的数据结构之一。与数组的连续内存分配不同，链表通过指针将零散的内存块串联起来，允许动态调整数据规模，避免内存浪费。链表广泛应用于操作系统内核、数据库索引、动…...
数据结构 图
目录 前言 一，图的基本知识 二，图的表示法：边列表 三，图的表示方法：邻接矩阵 四，图的表示方法：邻接表 五，功能 总结 前言 图是一个非常有意思东西，可以运用到生活中…...
2025.2.8总结
题目描述 如题，给出一个无向图，求出最小生成树，如果该图不连通，则输出 orz。 输入格式 第一行包含两个整数 N,MN,M，表示该图共有 NN 个结点和 MM 条无向边。 接下来 MM 行每行包含三个整数 Xi,Yi,ZiXi,Yi,Zi&#…...
软件模拟I2C案例（寄存器实现）
引言 在经过前面对I2C基础知识的理解，对支持I2C通讯的EEPROM芯片M24C02的简单介绍以及涉及到的时序操作做了整理。接下来，我们就正式进入该案例的实现环节了。本次案例是基于寄存器开发方式通过软件模拟I2C通讯协议，然后去实现相关的需求。 阅…...
开源CodeGPT + DeepSeek-R1 是否可以替代商业付费代码辅助工具
开源CodeGPT + DeepSeek-R1 是否可以替代商业付费代码辅助工具 背景与研究目的 在快速发展的软件开发领域，代码辅助工具已成为提高开发效率和质量的关键。然而，商业付费工具如通义灵码和腾讯AI代码助手，尽管功能强大，但其高昂的成本和许可证限制，使得许多企业寻求更具吸…...
c++：list
1.list的使用 1.1构造 1.2迭代器遍历 （1）迭代器是算法和容器链接起来的桥梁 容器就是链表，顺序表等数据结构，他们有各自的特点，所以底层结构是不同的。在不用迭代器的前提下，如果我们的算法要作用在容器上…...
Websocket从原理到实战
引言 WebSocket 是一种在单个 TCP 连接上进行全双工通信的网络协议，它使得客户端和服务器之间能够进行实时、双向的通信，既然是通信协议一定要从发展历史到协议内容到应用场景最后到实战全方位了解 发展历史 WebSocket 最初是为了解决 HTTP 协议在实时…...
探索robots.txt：网站管理者的搜索引擎指南
在数字时代，网站如同企业的在线名片，其内容和结构对搜索引擎的可见性至关重要。而在这背后，有一个默默工作的文件——robots.txt，它扮演着搜索引擎与网站之间沟通桥梁的角色。本文将深入探讨robots.txt的功能、编写方法及其在现代…...
ubuntu中如何在vscode的终端目录后显示（当前的git分支名） 实测有用
效果展示 配置过程： 在 Ubuntu 中，如果你想在 VS Code 的终端提示符后显示当前的 Git 分支名，可以通过修改 Shell 配置文件（如 ~/.bashrc 或 ~/.zshrc）来实现。以下是具体步骤： 1. 确定使用的 Shell 首…...
0012—数组
存取一组数据，使用数组。 数组是一组相同类型元素的集合。 要存储1-10的数字，怎么存储？ C语言中给了数组的定义：一组相同类型元素的集合。 创建一个空间创建一组数： 一、数组的定义 int arr[10] {1,2,3,4,5,6,7,8,…...
决策树算法相关文献
决策树是一种基于树状结构的机器学习算法，广泛应用于分类和回归任务。尽管决策树算法已经非常成熟，但研究者们仍在不断探索新的方法和技术，以进一步提升其性能、适应性和可解释性。 以下是当前研究者对决策树算法的最新研究方向和内容&#x…...
DeepSeek在FPGA/IC开发中的创新应用与未来潜力
随着人工智能技术的飞速发展，以DeepSeek为代表的大语言模型（LLM）正在逐步渗透到传统硬件开发领域。在FPGA（现场可编程门阵列）和IC（集成电路）开发这一技术密集型行业中，DeepSeek凭借其…...
学习threejs，使用Lensflare模拟镜头眩光
👨⚕️ 主页： gis分享者 👨⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨⚕️ 收录于专栏：threejs gis工程师 文章目录 一、🍀前言1.1 ☘️THREE.Lensflare 二、&…...
RuoYi-Vue-Oracle的oracle driver驱动配置问题ojdbc8-12.2.0.1.jar的解决
RuoYi-Vue-Oracle的oracle driver驱动配置问题ojdbc8-12.2.0.1.jar的解决 1、报错情况 下载：https://gitcode.com/yangzongzhuan/RuoYi-Vue-Oracle 用idea打开，启动： 日志有报错： 点右侧m图标，maven有以下报误 &…...
kafka服务端之日志磁盘存储
文章目录 页缓存顺序写零拷贝 Kafka依赖于文件系统（更底层地来说就是磁盘）来存储和缓存消息 。 那么kafka是如何让自身在使用磁盘存储的情况下达到高性能的？接下来主要从3各方面详细解说。 页缓存 页缓存是操作系统实现的一种主要的磁盘缓存…...
deepseek来讲lua
Lua 是一种轻量级、高效、可嵌入的脚本语言，广泛应用于游戏开发、嵌入式系统、Web 服务器等领域。以下是 Lua 的主要特点和一些基本概念： 1. 特点 轻量级：Lua 的核心非常小，适合嵌入到其他应用程序中。高效：Lua 的执…...
C++开发（软件开发）常见面试题
目录 1、C里指针和数组的区别 2、C中空指针请使用nullptr不要使用NULL 3、http/https区别和头部结构？ 4、有了mac地址为什么还要ip地址？ip地址的作用 5、有了路由器为什么还要交换机？ 6、面向对象三大特性 7、友元函数 8、大端小端 …...
AtCoder Beginner Contest 391（A~E题题解）
A - Lucky Direction 思路：纯模拟的一个水题 #include <bits/stdc.h> using namespace std; #define int long long string s; signed main() { cin>>s;for(int i0;i<s.size();i){char cs[i];if(cN){cout<<"S";}else if(c…...
使用线性回归模型逼近目标模型 | PyTorch 深度学习实战
前一篇文章，计算图 Compute Graph 和自动求导 Autograd | PyTorch 深度学习实战 本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started 使用线性回归模型逼近目标模型 什么是回归什么是线性回归使用 PyTorch 实现线性回归模型代码执行结…...
解决com.kingbase8.util.KSQLException: This _connection has been closed.
问题描述 一个消息管理系统，系统采用kingbase8数据库，数据库采用单体模式，后台应用也采用springboot单体模式。系统正式上线后，出现几个JDBC响应的异常信息： com.kingbase8.util.KSQLException: An I/O error occurred while sending to the backend.java.net.SocketTime…...
Pyqt 的QTableWidget组件
QTableWidget 是 PyQt6 中的一个表格控件，用于显示和编辑二维表格数据。它继承自 QTableView，提供了更简单的方式来处理表格数据，适合用于需要展示结构化数据的场景。 1. 常用方法 1.1 构造函数 QTableWidget(parent: QWidget None)&#x…...
DeepSeek R1 Distill Llama 70B（免费版）API使用详解
DeepSeek R1 Distill Llama 70B（免费版）API使用详解 在人工智能领域，随着技术的不断进步，各种新的模型和应用如雨后春笋般涌现。今天，我们要为大家介绍的是OpenRouter平台上提供的DeepSeek R1 Distill Llama 70B&…...
24.ppt：小李-图书策划方案【1】
目录 NO1234 NO5678 NO1234 新建PPT两种方式👇docx中视图→导航窗格→标题1/2/3ppt新建幻灯片→从大纲→重置开始→版式设计→主题插入→表格 NO5678 SmartArt演示方案：幻灯片放映→自定义幻灯片放映→新建→选中添加...
百科词条创建审核不通过的原因有哪些？
我们知道的国内有名的百科网站有百度百科、快懂百科、搜狗百科、360百科,这些有名的百科网站。一般来说,百科的词条排名都是在第一页的,无论是名人、明星、软件、影视名称,还是其他名称,大多排名都在首页,这就拥有了更多的曝光量和流量,而且由于百科是人们获取信息、查找资料的…...
amis组件crud使用踩坑
crud注意 过滤条件参数同步地址栏 默认 CRUD 会将过滤条件参数同步至浏览器地址栏中，比如搜索条件、当前页数，这也做的目的是刷新页面的时候还能进入之前的分页。 但也会导致地址栏中的参数数据合并到顶层的数据链中，例如：自动…...
【docker】Failed to allocate manager object, freezing:兼容兼容 cgroup v1 和 v2
参考大神让系统同时兼容 cgroup v1 和 v2 要解决你系统中只挂载了 cgroup v2 但需要兼容 cgroup v1 的问题，可以通过以下几步来使系统同时兼容 cgroup v1 和 cgroup v2。这样 Docker 和其他服务就可以正常工作了。步骤 1：更新 Grub 配置，启用兼容模式 编辑 GRUB 配置来启用同…...
LeetCode：503.下一个更大元素II
跟着carl学算法，本系列博客仅做个人记录，建议大家都去看carl本人的博客，写的真的很好的！ 代码随想录 LeetCode：503.下一个更大元素II 给定一个循环数组 nums （ nums[nums.length - 1] 的下一个元素是 nums[…...
【AI日记】25.02.08
【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】【AI日记】【读书与思考】【AI应用】 探索 AI 应用探索周二有个面试，明后天打算好好准备一下，我打算主要研究下 AI 如何在该行业赋能和应用，以及该行业未来的发展前景和公司痛点&#…...
)
32. C 语言 安全函数( _s 尾缀)
本章目录 前言什么是安全函数？安全函数的特点主要的安全函数1. 字符串操作安全函数2. 格式化输出安全函数3. 内存操作安全函数4. 其他常用安全函数 安全函数实例示例 1：strcpy_s 和 strcat_s示例 2：memcpy_s示例 3：strtok_s 总结 …...
常用数据结构之String字符串
字符串 在Java编程语言中，字符可以使用基本数据类型char来保存，在 Java 中字符串属于对象，Java 提供了 String 类来创建和操作字符串。 操作字符串常用的有三种类：String、StringBuilder、StringBuffer 接下来看看这三类常见用…...