实现Django和Transformers 构建智能客服大模型（模拟订单系统）

一、环境安装准备

   #git拉取 bert-base-chinese 文件#创建 虚拟运行环境python -m venv myicrplatenv#刷新source myicrplatenv/bin/activate#python Django 集成nacospip install nacos-sdk-python#安装 Djangopip3 install Django==5.1#安装 pymysql settings.py 里面需要 # 强制用pymysql替代默认的MySQLdb pymysql.install_as_MySQLdb()pip install pymysql# 安装mongopip install djongo pymongopip install transformerspip install torch#安装Daphne: pip install daphne#项目通过 通过 daphne启动daphne icrplat.asgi:application

二、构建项目及app模块

#创建app模块
python3 manage.py startapp cs

icrplat├── README.md
├── cs
│   ├── __init__.py
│   ├── __pycache__
│   ├── admin.py
│   ├── apps.py
│   ├── migrations
│   ├── models.py
│   ├── tests.py
│   └── views.py
├── icrplat
│   ├── __init__.py
│   ├── __pycache__
│   ├── asgi.py
│   ├── common
│   ├── settings.py
│   ├── urls.py
│   └── wsgi.py
├── manage.py
├── myicrplatenv
│   ├── bin
│   ├── include
│   ├── lib
│   ├── pyvenv.cfg
│   └── share
├── nacos-data
│   └── snapshot
└── templates

三、相关代码

####################################views.py####################################@csrf_exempt
def send_message(request):if request.method == "GET":text = request.GET.get("message")# 输入验证if not text or len(text) > 512:return JsonResponse({"status": "error", "message": "无效的输入文本"})try:# 加载 BERT 模型和分词器path = "/Users/jiajiamao/soft/python/space/bert-base-chinese"model_dir = "/Users/jiajiamao/soft/python/space/csBotModel/"model_path = os.path.join(model_dir, "cs_bot_model.pth")# 初始化 tokenizer 和 modeltokenizer = BertTokenizer.from_pretrained(path)model = BertModel.from_pretrained(path)logging.info("*****************初始化tokenizer和model successfully")# 初始化训练类  任务分类 3  （label: 0,1,2）trainer = TrainModel(tokenizer, model, output_size=3)# 加载 训练trainer.train_dataloader()# 加载训练好的模型trainer.load_model(model_path)# 调用模型进行推理predicted_label = trainer.predict(text)print(f"Predicted Label: {predicted_label}")# 根据预测结果生成回复if predicted_label == 0:response = "请登录您的账户，进入订单管理搜索订单号可以查看订单状态。"elif predicted_label == 1:response = "您可以取消订单，请提供订单号。"elif predicted_label == 2:response = "请登录您的账户，提交退货申请。"else:response = "抱歉，我不明白您的问题。"return JsonResponse({"status": "success", "response": response})except Exception as e:return JsonResponse({"status": "error", "message": str(e)})else:return JsonResponse({"status": "error", "message": "无效的请求方法"})

################################CsBotModule.py################################import torch.nn as nn"""定义模型类 CsBotModel
"""
class CsBotModule(nn.Module):"""nn.Module：所有神经网络模型的基类。自定义模型需要继承 nn.Module 并实现 __init__ 和 forward 方法。@:param bert_model 预训练的 BERT 模型（例如 BertModel 或类似的 Hugging Face 模型）@:param hidden_size：BERT 模型的隐藏层大小（通常是 768 或 1024）@:param output_size：输出层的大小，表示回复的分类数量或生成回复的维度。假设：你有一个 BERT 模型，它的输出维度是 768（即 hidden_size = 768）。你正在做一个文本分类任务，共有 5 个类别（即 output_size = 5）。那么：输入一个句子，BERT 会将其转换成一个 768 维的向量。self.fc 会将这个 768 维的向量映射到一个 5 维的向量。这个 5 维的向量可以经过 Softmax 函数，得到每个类别的概率分布。"""def __init__(self, bert_model, hidden_size, output_size):#调用父类（nn.Module）的构造函数，确保 PyTorch 能够正确初始化模型super(CsBotModule, self).__init__()# 加载的 BERT 模型，用于提取输入文本的特征。（它会将输入的文本（比如句子）转换成固定长度的向量表示# （通常是 768 维或 1024 维，取决于 BERT 的版本）。）self.bert = bert_model# 一个全连接层（线性层），将 BERT 的输出映射到最终的输出空间（它的作用是将输入数据从一个维度映射到另一个维度。）#hidden_size 是 BERT 模型的输出维度（比如 768 或 1024），也就是 BERT 提取的特征向量的长度。# output_size 是你希望模型最终输出的维度。比如：如果是分类任务，output_size 就是类别的数量。如果是回归任务，output_size 就是输出的数值维度。self.fc = nn.Linear(hidden_size, output_size)"""forward方法用来定义数据如何通过模型传递，最终返回分类结果@:param input_ids：输入的 token ID 序列（经过 tokenizer 处理后的输入）。这是输入文本经过分词和编码后的表示。它是一个张量（Tensor），形状通常是 (batch_size, sequence_length)。每个 token（词或子词）被映射成一个唯一的 ID，input_ids 就是这些 ID 的集合。@:param attention_mask：注意力掩码，用于指示哪些 token 是有效的（1）或填充的（0）。它的作用是告诉模型哪些位置是真实的 token（值为 1），哪些位置是填充的 token（值为 0）。BERT 会根据这个掩码忽略填充部分。"""def forward(self, input_ids, attention_mask):# 获取BERT的输出outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)pooled_output = outputs.pooler_output  # 使用[CLS]的输出向量# 全连接层生成回复logits = self.fc(pooled_output)return logits

################################TrainModel.py################################import logging
import osimport torch
import torch.nn as nn
from torch.optim import AdamW
from cs.CsBotModule import CsBotModule"""PyTorch和Transformers库中的模块。torch是PyTorch的核心库，nn是用来构建神经网络的模块，BertTokenizer和BertModel是BERT模型和它的分词器，AdamW是用来优化模型的。
"""
class TrainModel:"""#初始化模型  创建一个 CsBotModel 的实例@:param model：预训练的 BERT 模型。@:param hidden_size=768：BERT 模型的隐藏层大小（BERT-base 的隐藏层大小为 768）。@:param output_size=tokenizer.vocab_size：输出层的大小，设置为 tokenizer 的词汇表大小，表示模型需要生成词汇表中的每个 token 的概率。"""def __init__(self, tokenizer, model,output_size):self.tokenizer = tokenizerself.model = model# self.csBotModule = CsBotModule(self.model, hidden_size=768, output_size=self.tokenizer.vocab_size)self.csBotModule = CsBotModule(self.model, hidden_size=768, output_size=output_size)"""训练循环将模型设置为训练模式。清空梯度。输入数据并得到模型的预测值。计算损失值。通过反向传播计算梯度。使用优化器更新模型参数。打印当前轮次和损失值。通过多次循环，模型会逐渐拟合数据，损失值也会逐渐降低，最终达到我们需要的效果。"""def train_dataloader(self):logging.info(f"*********************训练加载器开始处理")""" 损失函数的作用是衡量模型的预测结果与真实结果之间的差距CrossEntropyLoss:交叉熵损失通常用于分类任务中。比如，模型需要预测一张图片是猫还是狗，交叉熵损失会根据模型的预测概率和真实标签，计算出一个数值。这个数值越小，说明模型的预测越准确。"""criterion = nn.CrossEntropyLoss()logging.info(f"*********************加载损失函数 衡量模型的预测结果与真实结果之间的差距")"""优化器 AdamW优化器 :优化器的作用是根据损失函数的值，调整模型的参数。它是模型的“教练”，帮助模型一步步改进，最终让损失值降到最低。@:param 需要优化的是self.csBotModule这个模型的所有参数。比如，模型中的权重、偏置等参数@:param lr=5e-5 每次调整的幅度是0.00005 目标是让损失值降到最低！"""optimizer = AdamW(self.csBotModule.parameters(), lr=5e-5)logging.info(f"*********************加载优化器 每次调整的幅度是0.00005")epochs = 10  # 增加训练轮数#定义训练数据dataList = [{"text": "如何查询我的订单状态？", "label": 0},{"text": "我可以取消订单吗？", "label": 1},{"text": "如何进行退货操作？", "label": 2},{"text": "我的订单在哪里？", "label": 0},{"text": "订单支付失败了怎么办？", "label": 1},{"text": "我的订单显示已发货，但还没收到。", "label": 2}]logging.info(f"*********************定义训练数据 {dataList}")logging.info(f"*********************开始数据预处理")input_ids, attention_masks, labels = self.preprocess_data(dataList, max_len=512)logging.info(f"*********************训练轮数为 {epochs} 轮。")for epoch in range(epochs):# 将模型设置为训练模式。在训练模式下，模型会启用Dropout等特性，并计算梯度用于反向传播logging.info(f"*********************进入训练模式")self.csBotModule.train()# 在每一轮训练开始时，我们需要清空优化器中的梯度。梯度就像是模型在“学习”过程中积累的“历史记录”，# 如果不清理干净，新的一轮学习就会被旧的数据干扰，导致训练效果变差。logging.info(f"*********************清空优化器中的梯度")optimizer.zero_grad()# 这里是将处理好的数据（input_ids和attention_masks）输入模型，模型会根据这些数据计算出预测值（outputs）。# 换句话说，模型试图通过这些输入数据来“猜”出正确答案。logging.info(f"*********************计算出预测值")outputs = self.csBotModule(input_ids, attention_masks)# 计算模型的损失值（loss）。criterion是损失函数，这里使用的是CrossEntropyLoss（交叉熵损失），# 它用于衡量模型的预测值（outputs）与实际标签（labels）之间的差异。损失值越小，说明模型的预测越接近真实值logging.info(f"*********************计算模型的损失值")loss = criterion(outputs, labels)# 进行反向传播，计算损失的梯度。这一步会从损失值开始，沿着模型的每一层，逐层计算各参数的梯度。#可以把它理解为模型在“反思”自己哪里做错了，并找出改进的方向logging.info(f"*********************进行反向传播")loss.backward()# 根据计算出的梯度，使用优化器（这里用的是AdamW）更新模型的参数，从而让模型在下一轮训练中表现得更好。logging.info(f"*********************优化器 更新模型的参数")optimizer.step()#这行代码是记录当前训练的状态。Epoch表示当前是第几轮训练，# Loss表示当前轮的损失值。通过这个信息，你可以观察模型的训练进展，看看损失值是否在逐渐减小logging.info((f"*********************Epoch {epoch + 1}, Loss: {loss.item()}"))# 检查目录是否存在，如果不存在则创建model_dir = "/Users/jiajiamao/soft/python/space/csBotModel/"os.makedirs(model_dir, exist_ok=True)# 保存模型model_path = os.path.join(model_dir, "cs_bot_model.pth")self.save_model(model_path)"""数据预处理分词和编码 1.分词后的文本被转换为词汇表中的索引（ID）input_ids[101,1963.......]  例如:['如', '何', '查', '询', '我', '的', '订', '单', '状', '态', '？']分词后，分词器会将每个分成的词转换为其对应的索引 例如： '如' 可能对应索引 101 2.生成注意力掩码（Attention Mask）：attention_masks注意力掩码用于区分实际文本和填充部分。实际文本部分为1，填充部分为0。 便于能够区分有效数据和填充数据例如：[1,1,1,1,0,0,0,0] """def preprocess_data(self, dataList, max_len=512):logging.info("*****************开始分词和编码")input_ids = []attention_masks = []labels = []for data in dataList:encoded = self.tokenizer.encode_plus(data["text"],max_length=max_len,padding="max_length",truncation=True,return_attention_mask=True,return_tensors="pt")# 提取编码结果input_ids.append(encoded["input_ids"])attention_masks.append(encoded["attention_mask"])labels.append(data["label"])logging.info(f"*****************提取编码结果 input_ids: {len(input_ids)},attention_masks: {len(attention_masks)},labels: {len(labels)}")# 转换为张量  使用 torch.cat 将列表中的张量拼接成一个大的张量。input_ids = torch.cat(input_ids, dim=0)attention_masks = torch.cat(attention_masks, dim=0)labels = torch.tensor(labels)logging.info(f"*****************转换为张量 input_ids: {len(input_ids)},attention_masks: {len(attention_masks)},labels: {len(labels)}")return input_ids, attention_masks, labels"""保存模型"""def save_model(self, path):torch.save(self.csBotModule.state_dict(), path)"""# 加载模型"""def load_model(self, path):self.csBotModule.load_state_dict(torch.load(path))self.csBotModule.eval()"""模型接收到一段文本后，先将文本转换成它可以理解的形式，然后根据训练好的知识，预测这段文本属于哪个类别，最后把预测结果返回给用户。整个过程就像模型在“读”完你的输入后，告诉你它认为的最可能的答案。@:param text: 前端输入 text """def predict(self, text):self.csBotModule.eval()with torch.no_grad():"""@:param max_length=512：将文本的长度限制在512个词以内。@:param padding="max_length"：如果文本不够长，用填充符补齐到512个词。@:param truncation=True：如果文本超过512个词，截断超出部分。@:param return_attention_mask=True：生成一个注意力掩码，告诉模型哪些部分是真实文本，哪些部分是填充符。@:param return_tensors="pt"：将结果转换为PyTorch张量，便于输入模型。"""encoded = self.tokenizer.encode_plus(text,max_length=512,padding="max_length",truncation=True,return_attention_mask=True,return_tensors="pt")# 开始分词和编码input_ids = encoded["input_ids"]#这是注意力掩码，帮助模型区分真实文本和填充部分。attention_mask = encoded["attention_mask"]""" 将编码后的文本和注意力掩码输入模型，模型会给出预测结果（outputs），通常是一个概率分布，表示每个类别的可能性。然后从模型的输出中找到概率最大的类别。torch.max会返回两个值：最大值和最大值的索引。这里我们只需要索引predicted，它表示模型预测的类别编号。"""outputs = self.csBotModule(input_ids, attention_mask)_, predicted = torch.max(outputs, dim=1)return predicted.item()

四、启动项目

#通过 daphne 启动应用
daphne icrplat.asgi:application

五、测试

保存和加载模型 文件

# 涉及到的数据都是 模拟的，可以改成动态数据epochs = 10  # 增加训练轮数dataList = [{"text": "如何查询我的订单状态？", "label": 0},{"text": "我可以取消订单吗？", "label": 1},{"text": "如何进行退货操作？", "label": 2},{"text": "我的订单在哪里？", "label": 0},{"text": "订单支付失败了怎么办？", "label": 1},{"text": "我的订单显示已发货，但还没收到。", "label": 2}]

#接口传入  》》如何进行退货操作？》》生成结果如下

#接口传入 》》如何查询我的订单状态？》》生成结果如下