当前位置：首页 > news >正文

第三次中医知识问答模型微调

news 来源：原创 2025/6/28 12:33:43

本次参数

llamafactory-cli train \

--stage sft \

--do_train True \

--model_name_or_path /home/qhyz/zxy/LLaMA-Factory/model \

--preprocessing_num_workers 16 \

--finetuning_type lora \

--template deepseek3 \

--flash_attn fa2 \

--dataset_dir data \

--dataset knowledge \

--cutoff_len 4096 \

--learning_rate 1e-04 \

--num_train_epochs 3.0 \

--max_samples 70309 \

--per_device_train_batch_size 2 \

--gradient_accumulation_steps 12 \

--lr_scheduler_type cosine \

--max_grad_norm 1.0 \

--logging_steps 5 \

--save_steps 100 \

--warmup_steps 0 \

--packing False \

--report_to tensorboard --logging_dir single_log6 \

--output_dir saves/DeepSeek-R1-7B-Distill/lora/train_6.0 \

--bf16 True \

--plot_loss True \

--trust_remote_code True \

--ddp_timeout 180000000 \

--include_num_input_tokens_seen True \

--optim adamw_torch \

--lora_rank 8 \

--lora_alpha 16 \

--lora_dropout 0.1 \

--lora_target q_proj,v_proj \

--deepspeed cache/ds_z2_config.json

微调效果：

Q：中药红粉介绍

红粉是一种中药材。其主要成分有木犀草素，木犀草素甲醚，木犀草素二甲醚，木犀草素三甲醚，木犀草素四甲醚，木犀草素五甲醚，木犀草素二甲醚甲醚，木犀草素二甲醚乙醚，木犀草素二甲醚丙醚，木犀草素二甲醚丁醚等。

以下是红粉的相关信息：
【类别】化湿药，化湿散结药
【性味归经】苦，平。归脾、胃、大肠经。
【功效主治】清热解毒，散结消肿。用于热毒发泄，热毒蕴结，症见口舌生疮，疮面红肿，发热头痛，胸膈满闷，黄疸，痢疾泄泻，胃痛腹胀，痈肿疮毒。
【证候】热毒证
【中医疾病】疮面红肿，发热，胃痛，黄疸
【配伍应用】黄连，蒲公英，苦参
【方剂举例】黄连败毒丸，三黄散，青礞汤，黄连散，黄连解毒汤
【药理】抗菌，抗肿瘤，利胆，抗病毒
【基因】FNTA，CA4，HSD11B1，CA3，SLC6A1等

效果较前两次有较大提升，但仍存在不稳定等问题，因此之后会再进行调参以期得到更好的效果

第三次中医知识问答模型微调

本次参数 llamafactory-cli train \ --stage sft \ --do_train True \ --model_name_or_path /home/qhyz/zxy/LLaMA-Factory/model \ --preprocessing_num_workers 16 \ --finetuning_type lora \ --template deepseek3 \ --flash_attn fa2 \ --dataset_dir data \ --dataset …...

编程日记 2025/6/28 12:33:43

相关文章：