一、XTuner简介
XTuner 是由上海 AI 实验室的 InternLM 团队推出的一款轻量化大模型微调工具库，支持大语言模型和多模态图文模型的预训练及轻量级微调。以下是其特点：
- 高效：仅需 8GB 显存即可微调 7B 模型，支持多节点跨设备微调 70B + 大模型。通过自动分发 FlashAttention、Triton kernels 等高性能算子加速训练，兼容 DeepSpeed，能轻松应用 ZeRO 优化策略提升训练效率。
- 灵活：兼容 DeepSeek、Llama 、ChatGLM、QWen等多种主流大语言模型和 LLaVA 多模态图文模型，支持预训练与微调。数据管道设计灵活，兼容任意数据格式，支持 QLoRA、LoRA 及全量参数微调等多种算法。
- 全能：支持增量预训练、指令微调与 Agent 微调，提供丰富的开源对话模板便于与模型交互。训练所得模型可无缝接入部署工具库 LMDeploy、评测工具库 OpenCompass 及 VLMEvalKit，实现从训练到部署的全流程支持。
官网文档：
https://xtuner.readthedocs.io/zh-cn/latest/index.html
github地址：
https://github.com/InternLM/xtuner
二、安装XTuner
推荐使用 Python-3.10 的 conda 虚拟环境安装 XTuner。
- 使用 conda 先构建一个 Python-3.10 的虚拟环境
conda create --name xtuner-env python=3.10 -y
conda activate xtuner-env
- 安装 XTuner
一般来说，我们都需要调整数据集、配置文件和训练模型，所以需要下载源码安装
git clone https://github.com/InternLM/xtuner.git
cd xtuner
pip install -e '.[deepspeed]'
三、制作微调数据集
XTuner支持多种格式的数据集，默认为以下形式，我们需提前将数据集转为该格式。
[{ "conversation":[ { "system": "xxx", "input": "xxx", "output": "xxx" } ]
},
{
"conversation":[
{
"system": "xxx",
"input": "xxx",
"output": "xxx"
},
{
"input": "xxx",
"output": "xxx"
}
]
}]
四、XTuner指令微调
1、下载大模型
我们拿Qwen1.5-1.8B-Chat来做测试，从魔塔社区下载模型的代码：
#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen1.5-1.8B-Chat',cache_dir="/root/autodl-tmp/llm")
保存到路径：/root/autodl-tmp/llm下。
2、制作数据集
将我们制作好的数据集传到服务器上，我们一般放 XTuner源码data目录里（没有则创建该目录）。
3、复制配置文件
一般我们会保留XTuner的原始配置文件，将配置文件复制一份放其根目录下。比如将xtuner/xtuner/configs/qwen/qwen1_5/qwen1_5_1_8b_chat/qwen1_5_1_8b_chat_qlora_alpaca_e3.py复制到xtuner根目录。
该配置虽然是qwen1.5版本，其实也可以用作qwen2.5 。
4、修改配置文件
PART 1中
### PART 1中
#预训练模型存放的位置
pretrained_model_name_or_path = "/root/autodl-tmp/llm/Qwen/Qwen1.5-1.8B-Chat"
#微调数据存放的位置
#alpaca_en_path = "tatsu-lab/alpaca"
data_files = '/root/autodl-tmp/project/day11/xtuner/data/target_data.json'#基座模型路径
# 训练中最大的文本长度
max_length = 512
# 每一批训练样本的大小
batch_size = 10
#最大训练轮数
max_epochs = 1000
#验证数据
evaluation_inputs = ["只剩一个心脏了还能活吗？", "爸爸再婚，我是不是就有了个新娘？","马上要上游泳课了，昨天洗的泳裤还没干，怎么办"]
PART 2中
lora=dict(
type=LoraConfig,
r=64,
lora_alpha=128, # 修改这个值，这个值一般是r的2倍
lora_dropout=0.1,
bias="none",
task_type="CAUSAL_LM",
),
PART 3中
dataset=dict(type=load_dataset, path="json",data_files=data_files)
dataset_map_fn=None
我们的数据集是一个json文件，所以path改为json，data_files指定json文件绝对路径的标量。并且将dataset_map_fn设置为None。
5、执行微调训练指令
在当前目录下，输入以下命令启动微调脚本。
xtuner train qwen1\_5\_1\_8b\_chat\_qlora\_alpaca\_e3.py
6、训练过程确认
执行微调训练指令成功后，将 xtuner/work_dirs/ 目录下看到执行的内容。
7、停止训练的机制
需要观察执行日志，loss的值一般要低于0.1，并且 验证参数的那几个input的结果output符合预期，就可以停止了。
五、模型转换
模型训练后会自动保存成 PTH 模型（例如 iter_500.pth），我们需要利用 xtuner convert pth_to_hf 将其转换为 HuggingFace 模型，以便于后续使用。具体命令为：
xtuner convert pth_to_hf ${CONFIG_NAME_OR_PATH} ${PTH} ${SAVE_PATH}
# 例如：xtuner convert pth_to_hf ./config.py ./iter_500.pth ./iter_500_hf
xtuner convert pth_to_hf ./qwen1_5_1_8b_chat_qlora_alpaca_e3.py /root/autodl-tmp/project/day11/xtuner/work_dirs/qwen1_5_1_8b_chat_qlora_alpaca_e3/iter_4000.pth /root/autodl-tmp/llm/hf
- 第1个参数CONFIG_NAME_OR_PATH：配置文件路径，也就是执行微调指令的配置文件。
- 第2个参数PTH：XTuner微调生成文件，给绝对路径。
- 第3个参数SAVE_PATH:模型转换保存的地方，需手动创建一个目录。
六、模型合并
如果您使用了 LoRA / QLoRA 微调，则模型转换后将得到 adapter 参数，而并不包含原 LLM 参数。如果您期望获得合并后的模型权重，那么可以利用 xtuner convert merge ：
xtuner convert merge ${LLM} ${ADAPTER_PATH} ${SAVE_PATH}
# 例如：xtuner convert merge internlm/internlm2-chat-7b ./iter_500_hf ./iter_500_merged_llm
xtuner convert merge /root/autodl-tmp/llm/Qwen/Qwen1.5-1.8B-Chat /root/autodl-tmp/llm/hf /root/autodl-tmp/llm/Qwen1.5-1.8B-Chat-hf
-
第1个参数LLM：微调时选择的原始的大模型；
-
第2个参数ADAPTER_PATH：模型转换时保存的路径；
-
第3个参数SAVE_PATH:模型合并成功保存的路径，需手动创建一个目录；
七、验证模型效果
1、安装和运行LMDeploy推理框架
教程请看《Ollama、vLLM和LMDeploy这三款主流大模型部署框架》 。
2、Python写一个chat对话
写一个python代码，文件名为：chat_to_llm.py
#多轮对话
from openai import OpenAI
#定义多轮对话方法
def run_chat_session():
#初始化客户端
client = OpenAI(base_url="http://localhost:23333/v1/",api_key="token-abc123")
#初始化对话历史
chat_history = []
#启动对话循环
while True:
#获取用户输入
user_input = input("用户：")
if user_input.lower() == "exit":
print("退出对话。")
break
#更新对话历史(添加用户输入)
chat_history.append({"role":"user","content":user_input})
#调用模型回答
try:
chat_complition = client.chat.completions.create(messages=chat_history,model="/root/autodl-tmp/llm/Qwen1.5-1.8B-Chat-hf")
#获取最新回答
model_response = chat_complition.choices[0]
print("AI:",model_response.message.content)
#更新对话历史（添加AI模型的回复）
chat_history.append({"role":"assistant","content":model_response.message.content})
except Exception as e:
print("发生错误：",e)
break
if __name__ == '__main__':
run_chat_session()
LMDeploy默认的端口号是23333 ，api_key随便填写一个即可。运行该python文件。
python chat\_to\_llm.py # 运行python文件
用数据集里的input与大模型对话 ，效果还不错。
注意事项
1.之所以使用LMDeploy，是因为XTuner与LMDeploy都是一家公司出品，使用的对话模版是一致的。
- 若使用vLLM等其他推理框架，请确保对话模版要一致，可以将XTuner的对话模版转成vLLM需要的jinja2格式的文件。
探秘 Hugging Face：何为 Hugging Face 及其核心组件全览
LLaMA Factory 如何对大模型进行微调、导出和量化！掌握这几步，轻松搞定！
大模型部署该选谁？Ollama、vLLM 和 LMDeploy，各有千秋！