霜儿-汉服-造相Z-Turbo模型微调实战：注入特定古风画派风格

最近在尝试用AI生成汉服人像，发现直接用通用模型出来的图，好看是好看，但总觉得少了点“味道”。要么是风格太现代，要么是细节不够考究，想生成那种有明确古风画派神韵——比如明代人物画的清雅，或者敦煌壁画的瑰丽——的作品，就有点力不从心了。

这其实是个挺普遍的需求。无论是做国风游戏的美术，设计汉服品牌的宣传图，还是创作个人喜欢的古风插画，如果能有一个专门擅长特定古风风格的AI模型，那效率和质量都会提升一大截。好消息是，现在通过模型微调技术，我们完全可以用少量的、风格明确的图片，把一个像“霜儿-汉服”这样的基础模型，调教成专精于某一画派的大师。

今天，我就来手把手带你走一遍这个实战过程。我们会以“造相Z-Turbo”这个适合人像生成的模型为基底，用“霜儿-汉服”作为风格起点，通过LoRA微调的方式，为它注入“明代人物画”的特定风格。整个过程从数据准备、训练设置，到在星图GPU平台上启动任务和效果评估，我都会用最直白的话讲清楚，保证你跟着做就能出成果。

1. 理解我们的目标：为什么要做风格微调？

在开始动手之前，我们先得把目标搞清楚。你可能会问，现在文生图模型不是挺强的吗，我写提示词的时候加上“明代绘画风格”不就行了？

理论上可以，但实际效果往往不稳定。通用模型学习了海量数据，它对“明代风格”的理解是模糊的、平均化的。你生成的十张图里，可能有一两张碰巧感觉对了，但大部分都差强人意，尤其是在人物开脸、衣纹线条、色彩晕染这些体现画派精髓的细节上。

模型微调，特别是LoRA这类方法，做的工作就是“精修”。它不改变模型庞大的基础知识库，而是在这个基础上，为模型增加一个关于特定风格的、轻量级的“扩展包”。这个扩展包只学习你喂给它的那几十张精心挑选的明代古画，从而让模型深刻理解：“哦，原来用户要的这种清隽秀润、线条细劲的脸型，这种层叠渲染的衣裙色彩，就叫做‘明代人物画风格’。”

这么做的优势很明显：

• 风格更纯正、稳定：生成的作品风格一致性高，能精准复现目标画派的特点。
• 效率更高：无需在每次生成时都写冗长复杂的风格提示词，简单触发词就能调用。
• 数据需求少：通常只需要20-50张高质量图片，远比从头训练一个模型要轻松。
• 灵活可组合：训练好的风格LoRA可以和其他概念LoRA（比如特定发型、饰品）结合使用，创作空间更大。

接下来，我们就从最源头的一步开始：准备那些能让模型“学有所成”的图片。

2. 数据准备：收集与处理“明代人物画”素材

这一步是整个微调成功与否的基石。所谓“垃圾进，垃圾出”，如果给模型看的是模糊、杂乱、风格不一的图片，它肯定学不到精髓。

2.1 如何收集高质量的源素材？

我们的目标是“明代人物画”，重点是仕女、文人等单个人物或少量人物的画作。你可以从这些地方找：

• 博物馆高清数据库：很多国内外博物馆（如故宫博物院、台北故宫博物院、大都会艺术博物馆）官网会提供部分藏品的超高清数字图像，这是最理想的来源。
• 专业艺术图库网站：一些付费或提供高质量预览的艺术、历史类图片网站。
• 权威出版物扫描：寻找关于明代绘画的权威画册或学术著作的电子版，确保印刷清晰。

收集时务必注意：

1. 风格统一：尽量选择同一画派（如“吴门画派”）、时期相近的作品，确保风格一致性。
2. 主体突出：图片应以人物为核心，背景简洁或具有典型古典背景（如屏风、园林一角），避免过于复杂喧宾夺主的场景。
3. 画质清晰：分辨率越高越好，确保能看清笔触和线条细节。模糊的图片只会让模型学到“模糊”。
4. 数量适中：准备20-50张图片。太少学不充分，太多可能引入噪声且增加训练成本。初期20-30张高质量图片完全足够。

2.2 关键一步：为每张图片撰写精准描述

这是LoRA训练中至关重要却常被忽视的一环。我们需要为每一张训练图片，生成一个对应的文本描述（Caption）。这个描述告诉模型：“这张图片里有什么，它的核心风格是什么。”

描述不能只写“一个古代女人”。要详细、客观地描述画面内容，并强调风格关键词。

一个差的描述：一位古代女子。 一个好的描述：明代人物画风格，一位面容清秀的仕女，细眉凤眼，樱桃小口，发髻高挽，插有玉簪。身着交领右衽的淡青色长衫，衣纹线条流畅细劲，色彩淡雅，层层渲染。背景是简单的木质栏杆和盆栽兰花。工笔重彩，画风工整精致。

撰写描述的要点：

• 客观描述内容：人物（性别、姿态、表情）、服饰（形制、颜色、纹样）、发型、配饰、背景。
• 强调风格关键词：必须包含“明代人物画风格”、“工笔重彩”、“线条细劲”、“色彩清雅”等核心风格标签。
• 保持一致性：所有图片的描述，其风格关键词和描述结构应尽量统一。
• 避免主观评价：不要写“非常美丽”、“很有意境”，模型理解不了这些。

你可以手动写，也可以先用一个图像描述模型（如BLIP）生成初版，再进行人工修正和风格关键词强化。最终，每一张图片（如ming_01.jpg）都应配一个同名的文本文件（ming_01.txt），里面就是它的描述。

2.3 图片的预处理与规格化

收集来的图片尺寸、比例各异，需要统一处理：

1. 裁剪与调整：使用图像处理软件（如Photoshop、GIMP或Python的PIL库），将人物主体置于画面中心，可以适当裁剪多余背景。最终将所有图片调整为相同的分辨率，推荐使用训练模型常用的尺寸，如512x512、768x768或512x768（竖版人像）。本次实战我们使用768x768。
2. 统一格式：将图片统一保存为.jpg或.png格式。
3. 组织文件夹：创建一个名为ming_dynasty_dataset的文件夹，里面直接存放所有处理好的图片（如ming_01.jpg, ming_02.jpg...）和对应的描述文本文件（ming_01.txt, ming_02.txt...）。

至此，我们精心准备的“教材”就准备好了。

3. 训练配置：理解与设置LoRA微调参数

数据准备好后，我们需要告诉训练程序“怎么学”。这里我们以常用的Kohya's SS训练脚本的配置思路为例，用大白话解释几个关键参数。

我们计划在“星图”GPU平台上进行训练，它通常提供了集成好的训练环境，我们主要需要关注以下设置：

• 基础模型：选择 zao-xiang-Z-Turbo 这类擅长亚洲人像生成的模型作为底模。霜儿-汉服模型本身可能就是这个系列的一个变体或LoRA，我们可以将其作为风格起点，或者直接使用Z-Turbo原模型。
• 训练方法：选择 LoRA。它是一种参数高效的微调方法，只训练模型注意力机制中的一部分权重，生成一个体积很小（通常几MB到一百多MB）的附加文件，而不是改动整个好几GB的大模型。
• 网络维度与Alpha：这决定了LoRA的“容量”。可以简单理解为，数值越大，学习能力越强，但也更容易过拟合。对于视觉风格学习，常用的设置是network_dim=32， network_alpha=16。这是一个不错的起点，如果风格复杂可以适当调高到64/32。
• 学习率：这是最重要的参数之一，好比是学习的“步幅”。步幅太大容易“跑偏”（发散），太小则学得太慢。对于LoRA，通常使用较低的学习率，如 1e-4 到 5e-4。我们可以从 2e-4 开始。
• 迭代次数：总共训练多少轮。这需要根据数据量来定。一个经验公式是：迭代次数 = 训练轮数 * (图片数量 / 批次大小)。假设我们有25张图，批次大小设为2，希望训练20轮，那么总迭代次数就是 20 * (25 / 2) = 250 次。我们可以先设置 max_train_epochs=20。
• 批次大小：一次训练看几张图。受GPU显存限制，对于768分辨率，可能只能设为1或2。在星图平台上，根据所选显卡型号（如RTX 4090）来设置。
• 优化器与调度器：AdamW8bit 优化器比较省显存且稳定。调度器选择 cosine_with_restarts，可以让学习率在训练过程中像余弦波一样下降再重启，有助于模型跳出局部最优。
• 提示词模板：这里我们使用一个简单的模板，确保训练时能正确关联描述和风格。例如：ming dynasty portrait style, [filewords]。这里的 [filewords] 会自动替换成每张图片对应的那个详细描述文本文件的内容。
• 输出名称：给你的风格LoRA起个名字，比如 ming_dynasty_style_lora。

这些参数不用死记，在星图平台的相关训练镜像或SD-WebUI插件中，通常会有预设的配置界面，你只需要根据上述理解填入即可。

4. 实战演练：在星图GPU平台启动训练任务

理论说完，我们来实际操作。假设我们已经在本地准备好了 ming_dynasty_dataset 文件夹。

1. 环境选择：登录星图平台，在镜像广场或计算实例创建页面，选择一个预装了Stable Diffusion WebUI及Kohya's SS训练套件的GPU镜像。选择一款具有足够显存（建议16GB以上，如RTX 4090）的GPU实例。
2. 上传数据：实例启动后，通过JupyterLab、SFTP或平台提供的数据上传功能，将本地的 ming_dynasty_dataset 文件夹上传到实例的指定目录，例如 /home/workspace/train_data/。
3. 配置训练脚本：通过Web终端或Jupyter Notebook，进入训练脚本目录。通常会有配置脚本（如.json或.toml文件）或图形化配置界面。将我们在第3部分讨论的参数填入。关键是指定：
   • train_data_dir：指向你上传的数据集路径。
   • output_dir：模型输出保存的路径。
   • 正确的pretrained_model_name_or_path（基础模型路径）。
4. 启动训练：运行启动命令，例如 accelerate launch train_network.py --config_file config.toml。训练脚本开始运行后，会在终端输出日志，显示当前的损失值。你会看到损失值（loss）从较高的数值开始，随着训练进行逐渐下降并趋于平稳。
5. 监控与保存：训练过程中可以观察生成的预览图（如果配置了）。LoRA训练较快，250次迭代在4090上可能只需要十几到几十分钟。训练完成后，在输出目录你会找到 .safetensors 格式的LoRA文件，例如 ming_dynasty_style_lora.safetensors。

5. 效果评估：如何验证你的风格LoRA

训练完成，下载好你的LoRA文件，最激动人心的时刻到了——验收成果。

1. 加载使用：在你的Stable Diffusion WebUI中，将LoRA文件放入 models/Lora 文件夹。在文生图页面，点击生成按钮下方的LoRA图标，选择你训练好的 ming_dynasty_style_lora。
2. 基础测试：使用一个非常简单的正面提示词，触发LoRA。例如：<lora:ming_dynasty_style_lora:1> portrait of a hanfu lady。权重设为1。观察生成的人物面部、线条和色彩，是否已经带上了明显的明代绘画韵味？对比不使用LoRA的生成结果，差异应该非常显著。
3. 风格强度调节：尝试调整LoRA权重（如0.7, 0.8, 1.2）。权重低则风格淡雅，权重高则风格浓烈。找到最适合你审美和需求的强度。
4. 组合创作：尝试将风格LoRA与其他LoRA结合。例如，<lora:ming_dynasty_style_lora:0.8><lora:detailed_jewelry:0.5> a hanfu lady with elaborate hairpin。看看风格是否能很好地与细节概念融合。
5. 泛化能力测试：输入一些训练集中没有的场景或姿态描述，比如“弹奏古琴的仕女”、“月下独酌的文士”。看模型能否将学到的风格正确应用到新构图和动作上，而不是死记硬背训练图片。

如果测试发现风格过于强烈导致人物脸型千篇一律（过拟合），可以尝试用更低的LoRA权重（如0.6-0.8），或者增加训练数据多样性，或略微降低训练轮数。如果风格不明显，则可以适当增加轮数或LoRA网络维度，并检查训练数据描述是否足够精准。

---

整个流程走下来，你会发现，为AI模型注入一个特定的艺术灵魂，并没有想象中那么神秘和困难。核心在于高质量的、标注清晰的数据，以及合理的训练参数。一旦你掌握了这个方法，就打开了一扇大门：敦煌壁画的绚烂、宋代山水的空灵、唐代壁画的雍容……都可以成为你专属AI模型的创作源泉。

这次我们专注于单一样式的风格注入，其实已经能解决大部分场景需求。实际用下来，用二十几张图训出的LoRA，效果提升是立竿见影的，生成图的“古意”和“专业感”强了很多。当然，这只是一个起点，你可以在此基础上，用更多样、更高质量的数据去迭代它，或者尝试训练多个不同画派的LoRA，根据创作主题灵活切换组合。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。