大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
本文主要介绍了LLaMA Factory多卡微调的实战教程（持续更新），希望对学习大语言模型的同学们有所帮助。需要说明的是，本篇是LLaMA Factory发生重大更新后的迭代版本，所以会持续进行更新。
文章目录
1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试1. 前言
在之前博客中介绍了LLaMA Factory单机微调的实战教程，但模型参数量大了以后，必须就要使用多卡进行微调和训练了。尤其最近新出了几个效果很不错的开源大模型，比如Qwen 2-72B-Chat、Qwen1.5-72B-Chat、Command R+(104B)，所以即使是A100 80G，也需要多卡进行微调。
一般来说，是使用deepspeed进行多卡微调的。但是配置环境却并不是那么一帆风顺的。为了帮助同学们加快多卡微调的进度，最终将逐步的操作过程总结如下。希望能对遇到同样需求的同学们有所帮助。
2. 配置环境
需要说明的是以下两点：
本文是在Centos 7+C