当前位置：首页 > news >正文

12. Function Call实践

news 来源：原创 2025/7/3 16:08:22

本文主要讲解大模型的function call能力，包括使用国内外在线模型和本地模型，以及如何微调以增强大模型的function call能力。

回顾下大模型学习思路：

1. 环境准备

1.1 平台上【模型调试】中创建

2. 调用国内外大模型测试

2.1 调用GPT-4

代码位于/code/gpt-4_weather_query.ipynb

Star平台暂时没有代理，调用GPT-4需要自行解决下网络问题。

2.2 调用GLM4-plus

代码位于/code/glm-4_weather_query.ipynb

参考：智谱AI开放平台

2.3 注意⚠️

【在平台上进行练习时】，打开新的终端准备运行代码调用线上模型之前设置代理以连接到互联网，设置命令如下

# 终端输入命令
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1

此外还需要设置对应的api-key，使用自己的api-key替换

3. 本地开源模型部署部署使用

如果是在自己的环境，需要安装以下python包；

平台上相关环境已经准备好

3.1 安装fastchat

# 这里是在设置【平台专属网络代理】，只有在平台上使用时才有效，
# 其他环境使用会出错
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1# 这一步是在安装fschat，环境需要连接互联网
pip3 install fschat[model_worker] -i https://mirrors.ustc.edu.cn/pypi/web/simple

3.2 启动模型服务

打开三个终端，分别依次在各终端执行如下命令：

# 按顺序依次执行
# 新建终端，输入如下命令
python -m fastchat.serve.controller --host 0.0.0.0
# 新建终端，输入如下命令
python -m fastchat.serve.model_worker --model-path /dataset/Llama-3-8B-Instruct/ --host 0.0.0.0 --num-gpus 4 --max-gpu-memory 15GiB
# 新建终端，输入如下命令
python -m fastchat.serve.openai_api_server --host 0.0.0.0

此时模型已经可以通过openai api格式调用。

3.3 安装openai

# 这一步是在安装openai python SDK 以及 pyautogen
# 环境需要连接互联网才可用如下命令进行安装
pip install openai -i https://mirrors.ustc.edu.cn/pypi/web/simple
pip install pyautogen -i https://mirrors.ustc.edu.cn/pypi/web/simple

3.4 调用测试

# 这一步是在执行python程序
python /code/openai_request.py

3.5 函数调用测试

# 平台配置联网
# 非平台环境【不要】执行如下命令
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1# 计算器函数调用
python /code/autogen_calculations_function_call.py
# 汇率换算函数调用
python /code/autogen_exchanges.py
# 论文查询
python /code/autogen_search.py
# 股票查询
python /code/autogen_stocks.py

使用GLM-4时需要将GLM-4的注释部分去除，如下所示，脚本包含多个模型，除了GLM4以外都是本地部署的模型：

config_list=[{"model": "Llama-3-8B-Instruct","base_url": "http://localhost:8000/v1","api_type": "openai","api_key": "NULL", # just a placeholder},# {#     "model": "glm-4",#     "base_url": "https://open.bigmodel.cn/api/paas/v4/",#     "api_type": "openai",#     "api_key": "b607e54d369484e954db2f13c1daa469.9YOqpOZ2147MqxOq", # },{"model": "merged","base_url": "http://localhost:8000/v1","api_type": "openai","api_key": "NULL", # just a placeholder},{"model": "chatglm3-6b","base_url": "http://localhost:8000/v1","api_type": "openai","api_key": "NULL", # just a placeholder},
]

4. 微调Llama3-8B-Instruct模型

使用 XTuner 在 Agent-Flan 数据集上微调 Llama3-8B-Instruct，以让 Llama3-8B-Instruct 模型获得智能体能力，调用function tools能力提升。

下面从4.1到4.5，我们启动1台机器进行调试，这个过程我们称为「debug模式」,debug模式就是使用少量的资源进行代码调试，便于之后大规模训练。在4.6节【训练管理】模式里，我们将进行规模化分布式训练，就是基于debug之后，避免机时的浪费、提高效率。

4.1 创建notebook

使用的算法为：function-call-04

使用的镜像为：function-call:v0.0.1

使用的数据为：huggingface-cache

4.2 设置环境变量

⚠️【在平台上】每次打开新的终端都需要执行如下操作

# 为了连接网络
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1
# 配置本地下载huggingface文件的cache目录
export HF_HOME=/code/huggingface-cache/
# 配置huggingface连接的镜像
export HF_ENDPOINT=https://hf-mirror.com

4.3 下载模型

由于huggingface上直接下载Meta的Llama-3-8B-Instruct需要填写申请，我们换个源下载模型

apt-get install git-lfs                 # git下载大文件需要安装
git clone https://code.openxlab.org.cn/MrCat/Llama-3-8B-Instruct.git Meta-Llama-3-8B-Instruct

Star平台上已经下载好了模型，在/dataset/Llama-3-8B-Instruct/路径下。需要在创建任务或者notebook时挂载huggingface-cache数据集，如下图所示：

4.4 准备数据

下载数据命令如下：

huggingface-cli download internlm/Agent-FLAN --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir /code/internlm_Agent-FLAN_data

数据来源：internlm/Agent-FLAN · Datasets at Hugging Face数据集介绍：Agent-FLAN：一种大模型Agent高效微调的数据与方法设计 - 文章 - 开发者社区 - 火山引擎

由于 HuggingFace 上的 Agent-Flan 数据集暂时无法被 XTuner 直接加载，因此我们首先要下载到本地，然后转换成 XTuner 直接可用的格式。数据转换命令如下：

python /code/convert_agentflan.py /dataset/datasets/internlm_Agent-FLAN/data/ /code/data_converted

平台上转换后的数据位于：/code/data_converted

4.5 微调训练

这里使用4块DCU进行分布式训练，上下文长度调整为1664，训练命令如下（单机训练时长约14~15天）：

NPROC_PER_NODE=4 xtuner train /code/llama3_8b_instruct_qlora_agentflan_3e.py --work-dir /userhome/llama3-8b-ft/agent-flan --deepspeed deepspeed_zero3_offload

训练过程如下所示：

4.6 使用平台【训练管理】

如下图所示，创建一个训练任务，该任务使用6个节点（6台带IB资源的机器），预计需要训练1天19小时。

运行中的日志可以在平台上查看：

平台上已经训练好模型，放在huggingface-cache数据下，挂载该数据后目录位于：/dataset/llama3-8b-functioncall-ft/agent-flan

训练过程中可以看到，模型在相同的提示词下，function call的能力有所提升。

4.7 模型转换

这里训练到4296步取中间结果查看：

# 模型转成hf格式
xtuner convert pth_to_hf /code/llama3_8b_instruct_qlora_agentflan_3e.py /dataset/llama3-8b-functioncall-ft/agent-flan/iter_4296.pth /code/llama3-8b-ft/agent-flan/iter_4296_hf# lora hf格式模型合并
xtuner convert merge /dataset/Llama-3-8B-Instruct/ /code/llama3-8b-ft/agent-flan/iter_4296_hf/ /code/llama3-8b-ft/agent-flan/merged --device cpu

调用模型测试模型微调前后的区别：

# 文件位于平台/code/final_test.py
from transformers import AutoTokenizer, AutoModelForCausalLM
import torchbase_model_path = "/dataset/Llama-3-8B-Instruct/"tokenizer = AutoTokenizer.from_pretrained(base_model_path)eval_prompt = """    
<|start_header_id|>system<|end_header_id|>You are a assistant who can utilize external tools.
[{'name': 'ArxivSearch.get_arxiv_article_information','description': 'Run Arxiv search and get the article meta information.','parameters': [{'name': 'query', 'type': 'STRING', 'description':'the content of search query'}],'required': ['query'],'return_data':[{'name': 'content', 'description': 'a list of 3 arxiv search papers', 'type': 'STRING'}],'parameter_description': 'If you call this tool, you must pass arguments in the JSON format{key: value}, where the key is the parameter name.'}]
To use a tool, please use the following format:
```
Thought:Think what you need to solve, do you need to use tools?
Action:the tool name, should be one of [['ArxivSearch']]
Action Input:the input to the action
```
The response after utilizing tools should using the following format:
```
Response:the results after call the tool.
```
If you already know the answer, or you do not need to use tools,
please using the following format to reply:
```
Thought:the thought process to get the final answer
Final Answer:final answer
```
Begin!<|eot_id|><|start_header_id|>user<|end_header_id|>Please help me search the InternLM2 Technical Report.<|eot_id|><|start_header_id|>assistant<|end_header_id|>
"""model_input = tokenizer(eval_prompt, return_tensors="pt").to("cuda")base_model = AutoModelForCausalLM.from_pretrained(base_model_path, torch_dtype=torch.float16, device_map="cuda", use_cache=False)  # don't quantize herebase_model.eval()
with torch.no_grad():print(tokenizer.decode(base_model.generate(**model_input, max_new_tokens=256)[0], skip_special_tokens=True))print("=========下面是微调后的模型=========")model_input = tokenizer(eval_prompt, return_tensors="pt").to("cuda:1")
merged_model_path = "/code/llama3-8b-ft/agent-flan/merged"merged_model = AutoModelForCausalLM.from_pretrained(merged_model_path, torch_dtype=torch.float16, device_map="cuda:1", use_cache=False)  # don't quantize heremerged_model.eval()
with torch.no_grad():print(tokenizer.decode(merged_model.generate(**model_input, max_new_tokens=256)[0], skip_special_tokens=True))

微调前，没有准确给出function需要的json格式参数：

微调后，可以正确给出json格式function参数：

作业

1. 【基础】申请国内其他大模型apikey，对照官方API文档使用functioncall，并测试课程中的例子

2. 【进阶】使用function call数据测试微调大模型，提升大模型functioncall能力比如使用这个数据集https://huggingface.co/datasets/Deepexi/function-calling-small

🔔需要考虑xtuner如何适配这个数据集