快速迁移学习：ms-swift适配自定义多模态数据集

1. 引言：为什么需要快速迁移学习？

你有没有遇到过这样的情况：手头有一批图文并茂的数据，比如商品图配描述、教学图片加问答，甚至是一堆带截图的客服对话记录。你想让大模型“看懂”这些内容，但重新训练一个视觉语言模型？算力不够、时间太长、成本太高——现实很骨感。

好消息是，现在不需要从零开始。借助 ms-swift 这个轻量级微调框架，我们可以在几小时内，用一块消费级显卡，把通用多模态大模型（如 Qwen-VL、LLaVA）快速“教会”理解你的专属数据。这就是迁移学习的魅力：站在巨人的肩膀上，只学你需要的那一小部分。

本文将带你从零开始，使用 ms-swift 框架完成一次完整的迁移学习实战：准备自定义多模态数据集 → 配置微调参数 → 启动训练 → 验证效果。整个过程无需深入代码，小白也能上手。

---

2. ms-swift 是什么？它能做什么？

2.1 一句话介绍

ms-swift 是魔搭社区推出的大模型全链路微调与部署框架，支持超过 600 个纯文本模型和 300 个多模态模型的训练、推理、评测和量化。它的核心优势在于“轻量”和“高效”，特别适合在有限资源下进行快速实验和落地。

2.2 核心能力一览

• 模型全覆盖：支持 Qwen3-VL、InternVL3.5、MiniCPM-V-4 等主流多模态模型。
• 任务多样化：不仅支持指令微调（SFT），还涵盖 DPO、KTO、RM、CPO 等对齐训练，以及 Embedding、Reranker 等检索任务。
• 硬件兼容性强：A10、3090、H100 甚至 CPU 都能跑，7B 模型 LoRA 微调最低只需 9GB 显存。
• 轻量微调支持：内置 LoRA、QLoRA、DoRA、Adapter 等多种参数高效微调方法。
• 全流程打通：从训练到推理、评测、量化、部署，一键搞定。

对于只想快速验证想法的开发者来说，ms-swift 就像一个“AI 工厂流水线”，你只需要提供“原材料”（数据）和“模具”（配置），剩下的交给它自动完成。

---

3. 准备你的自定义多模态数据集

3.1 数据格式要求

ms-swift 支持多种数据格式，但对于自定义多模态数据，最推荐的是 LLaVA 格式。这是一种结构清晰、广泛使用的 JSON 结构，每条样本包含图像路径和多轮对话。

一个典型的样本如下：

{
  "id": "001",
  "image": "images/cat.jpg",
  "conversations": [
    {
      "from": "user",
      "value": "<image>\n这只猫是什么品种？"
    },
    {
      "from": "assistant",
      "value": "这是英短蓝猫，特征是毛发短而密，脸部圆润。"
    }
  ]
}

关键点说明：

• image 字段是图像文件的相对路径。
• <image> 是特殊标记，告诉模型这里要插入视觉信息。
• conversations 是对话列表，支持多轮交互。

3.2 目录结构建议

建议将数据组织成以下结构：

my_dataset/
├── images/
│   ├── cat.jpg
│   ├── dog.jpg
│   └── ...
└── data.json

这样可以保证路径引用正确，也便于管理。

3.3 制作示例数据集

假设我们要做一个简单的宠物识别助手，创建一个最小可用数据集：

# 创建目录
mkdir -p my_dataset/images

# 下载示例图片（请替换为真实图片链接）
wget -O my_dataset/images/cat.jpg https://example.com/cat.jpg
wget -O my_dataset/images/dog.jpg https://example.com/dog.jpg

# 生成标注文件
cat > my_dataset/data.json << EOF
[
  {
    "id": "001",
    "image": "images/cat.jpg",
    "conversations": [
      {"from": "user", "value": "<image>\n这是什么动物？"},
      {"from": "assistant", "value": "这是一只猫，看起来像是英国短毛猫。"}
    ]
  },
  {
    "id": "002",
    "image": "images/dog.jpg",
    "conversations": [
      {"from": "user", "value": "<image>\n这是什么动物？"},
      {"from": "assistant", "value": "这是一只狗，可能是拉布拉多犬。"}
    ]
  }
]
EOF

这个只有两条数据的小集合，足够用来测试流程是否通顺。

---

4. 配置微调任务：YAML 文件详解

ms-swift 使用 YAML 配置文件来定义整个训练流程，避免了繁琐的命令行参数拼接。下面我们写一个适用于 Qwen-VL-Chat-7B 的微调配置。

4.1 完整配置文件（qwen_vl_custom.yaml）

# 实验名称
experiment_name: qwen_vl_custom_sft

# 模型配置
model_type: qwen-vl-chat
model_id: Qwen/Qwen-VL-Chat-7B
model_args:
  torch_dtype: bfloat16
  device_map: auto

# 数据集配置
dataset:
  train:
    - type: custom_multi_modal
      dataset_root: ./my_dataset
      file_name: data.json
      image_folder: images

# 微调类型
sft_type: lora
lora_args:
  r: 8
  lora_alpha: 32
  target_modules: all-linear
  lora_dropout: 0.05

# 训练参数
train_args:
  num_train_epochs: 3
  per_device_train_batch_size: 1
  gradient_accumulation_steps: 8
  learning_rate: 1e-4
  weight_decay: 0.01
  lr_scheduler_type: cosine
  warmup_ratio: 0.05
  logging_steps: 5
  save_steps: 50
  output_dir: ./output/qwen_vl_custom
  fp16: false
  bf16: true
  gradient_checkpointing: true

# 其他设置
evaluation_strategy: no
seed: 42
dataloader_num_workers: 4

4.2 关键参数解析

参数	说明
torch_dtype: bfloat16	使用 BF16 精度，兼顾精度和速度，适合 A100/H100；若显卡不支持可改为 fp16
target_modules: all-linear	表示对所有线性层应用 LoRA，适配性强；也可指定具体模块如 c_attn, qkv_proj
gradient_accumulation_steps: 8	梯度累积步数，用于弥补小 batch size 导致的训练不稳定
gradient_checkpointing: true	开启梯度检查点，显著降低显存占用（约减少 30%-50%）

提示：如果你的显存紧张（如 16GB A10），可以把 per_device_train_batch_size 设为 1，并增加 gradient_accumulation_steps 来维持有效批次大小。

---

5. 启动训练：一行命令搞定

一切就绪后，只需运行一条命令即可启动训练：

swift sft --config qwen_vl_custom.yaml

首次运行时，ms-swift 会自动从 ModelScope 下载 Qwen-VL-Chat-7B 模型（约 14GB），请确保网络畅通。后续训练则直接加载本地缓存，速度快很多。

5.1 训练过程观察

训练过程中你会看到类似以下输出：

[2024-08-15 10:23:45] Step: 10, Loss: 1.8765, Learning Rate: 1.0e-05, GPU Mem: 10.2GB
[2024-08-15 10:24:12] Step: 20, Loss: 1.5432, Learning Rate: 2.0e-05, GPU Mem: 10.2GB

关注两个指标：

• Loss 是否稳定下降：正常情况下应在前几十步内明显下降；
• GPU 显存是否溢出：如果出现 OOM 错误，需调整 batch size 或启用 QLoRA。

5.2 中断与恢复

训练支持断点续训。如果中途停止，再次运行相同命令会自动从最后一个 checkpoint 继续。

---

6. 推理验证：看看模型学会了什么

训练完成后，进入 output/qwen_vl_custom 目录，你会看到多个 checkpoint-* 文件夹。选择最新的那个进行推理测试。

6.1 命令行快速测试

swift infer \
  --adapters ./output/qwen_vl_custom/checkpoint-100 \
  --multi_modal_inputs '{"image": "./my_dataset/images/cat.jpg", "text": "这是什么动物？"}'

预期输出：

response: 这是一只猫，看起来像是英国短毛猫。

6.2 Python 脚本灵活调用

更复杂的场景建议使用 Python 脚本。创建 infer.py：

from swift.llm import get_model_tokenizer, inference_multi_modal
import torch

# 加载模型
model, tokenizer = get_model_tokenizer(
    'Qwen/Qwen-VL-Chat-7B',
    adapter_name_or_path='./output/qwen_vl_custom/checkpoint-100',
    torch_dtype=torch.bfloat16,
    device_map='auto'
)

# 构造输入
inputs = {
    'image': './my_dataset/images/dog.jpg',
    'text': '这只狗是什么品种？'
}

# 执行推理
response = inference_multi_modal(model, tokenizer, **inputs)
print(f"问题：{inputs['text']}")
print(f"回答：{response}")

运行脚本：

python infer.py

---

7. 常见问题与优化建议

7.1 显存不足怎么办？

• 方案一：改用 QLoRA 修改配置：

  sft_type: qlora
  model_args:
    torch_dtype: int8
  

  可将 7B 模型显存需求压到 9GB 以内。

• 方案二：减小 batch size + 增大梯度累积

  per_device_train_batch_size: 1
  gradient_accumulation_steps: 16
  

• 方案三：关闭不必要的功能 如果只是测试，可以临时关闭日志保存、模型备份等：

  save_steps: 999999
  logging_steps: 100
  

7.2 Loss 不下降或震荡严重？

• 检查数据格式是否正确，尤其是 <image> 标记是否存在；
• 尝试降低学习率至 5e-5 或 2e-5；
• 确保图像路径可访问，且图片未损坏；
• 增加训练轮数（num_train_epochs 至少 3 轮以上）。

7.3 如何提升推理速度？

• 使用 vLLM 加速引擎：

  swift infer --adapters ./output/... --infer_backend vllm --vllm_max_model_len 8192
  

• 合并 LoRA 权重后导出：

  swift export --adapter_name_or_path ./output/... --output_dir ./merged_model
  

  合并后的模型可直接用 vLLM 部署，性能更优。

---

8. 总结：掌握快速迁移学习的核心逻辑

通过本次实践，你应该已经掌握了使用 ms-swift 进行多模态模型迁移学习的完整闭环：

1. 数据先行：准备好符合 LLaVA 格式的图文对数据，路径清晰、标注准确；
2. 配置驱动：用 YAML 文件统一管理模型、数据、训练策略，避免命令冗长；
3. 轻量微调：优先使用 LoRA/QLoRA，在低资源下实现高效训练；
4. 快速验证：通过命令行或脚本即时测试模型能力，形成反馈循环；
5. 灵活扩展：支持 Web UI、Python API、分布式训练等多种使用方式。

ms-swift 的真正价值，不是让你成为深度学习专家，而是帮你绕过复杂的工程细节，专注于业务本身。无论是做智能客服、教育辅助，还是电商内容生成，只要你有数据，就能快速打造专属的多模态 AI 助手。

下一步你可以尝试：

• 接入更大规模的真实业务数据；
• 尝试 DPO 对齐训练，让回答更符合你的风格；
• 使用 Web UI 界面进行可视化操作，彻底告别命令行。

迁移学习的时代已经到来，别再从头训练了，学会“借力”，才能跑得更快。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。