比迪丽LoRA多角色扩展：基于同一LoRA微调生成比迪丽+悟空组合图

1. 引言：当比迪丽遇见悟空

如果你是《龙珠》的粉丝，或者对AI绘画感兴趣，那你一定想过一个问题：能不能让比迪丽和悟空同时出现在一张画里？不是简单的拼图，而是让他们自然地互动，就像在同一个故事场景中。

传统的AI绘画模型，要生成两个特定角色，往往需要复杂的提示词工程，效果还不一定理想。要么角色特征不明显，要么构图不自然。但今天我要分享一个更聪明的办法：基于同一个比迪丽LoRA模型，通过微调让它学会生成“比迪丽+悟空”的组合图。

听起来有点技术？别担心，我会用最简单的方式告诉你这是怎么做到的。简单来说，就像教一个原本只会画比迪丽的画家，现在让他学会在画比迪丽的时候，顺便把悟空也画进去，而且两人要看起来和谐自然。

这篇文章会带你了解：

  • 什么是LoRA，为什么它适合做角色扩展
  • 如何基于现有的比迪丽LoRA，训练它生成双角色图
  • 具体的操作步骤和注意事项
  • 实际效果展示和技巧分享

无论你是想自己尝试，还是单纯好奇背后的原理，这篇文章都会给你清晰的答案。

2. LoRA基础：为什么它适合角色扩展？

2.1 LoRA到底是什么？

先打个比方。想象一下，你有一个很会画动漫人物的画家（基础模型），但他不认识比迪丽这个角色。LoRA就像是一本专门教他画比迪丽的“角色设定集”。这本设定集很薄，只记录了画比迪丽需要特别注意的地方：她的发型、眼睛、服装风格等。

当画家拿到这本设定集后，他就能在保持原有画技的基础上，准确地画出比迪丽了。而且因为设定集很薄，不会影响他画其他角色的能力。

技术一点说，LoRA（Low-Rank Adaptation）是一种轻量级的微调技术。它不像传统微调那样需要改动模型的全部参数（那本厚厚的画册），而是只学习一小部分额外的参数（那本薄薄的设定集）。这些参数专门用来控制某个特定概念或风格——在这里，就是比迪丽这个角色。

2.2 为什么用LoRA做多角色扩展？

基于同一个LoRA做多角色扩展，有几个明显优势：

1. 保持角色一致性 比迪丽的LoRA已经学会了如何画比迪丽。如果我们要重新训练一个“比迪丽+悟空”的LoRA，可能需要大量新数据，而且不一定能保证比迪丽的特征还那么准确。基于现有LoRA扩展，相当于在已经画得很像的比迪丽基础上，增加悟空这个元素。

2. 节省训练资源 训练一个高质量的LoRA通常需要几十到几百张标注好的图片，以及相应的计算资源。基于现有LoRA扩展，我们可能只需要原来1/3到1/2的数据量，就能让模型学会新的组合。

3. 灵活可控 我们可以控制模型学习新角色的程度。比如，我们可以让模型重点学习悟空的姿态和互动，而不改变比迪丽的特征。这种精细控制，在传统方法中很难实现。

4. 兼容性好 扩展后的LoRA仍然可以在各种支持LoRA的平台上使用，比如Stable Diffusion WebUI、ComfyUI等。使用方法也基本不变，只是提示词需要调整。

3. 准备工作：你需要什么？

在开始之前，我们先看看需要准备哪些东西。别担心，大部分都是现成的或者很容易获取的。

3.1 硬件和软件要求

硬件要求：

  • GPU：至少8GB显存（推荐12GB以上）
  • 内存：16GB以上
  • 存储空间：50GB可用空间（用于存放模型、数据集和训练中间文件）

软件环境：

  • Python 3.10+
  • PyTorch 2.0+
  • 训练框架：推荐使用Kohya_ss或SD-Scripts
  • 基础模型：SDXL 1.0或类似版本
  • 现有比迪丽LoRA：就是你平时用的那个

如果你已经在用比迪丽LoRA生成图片，那么环境应该已经准备好了大半。

3.2 数据准备：关键中的关键

数据质量直接决定训练效果。我们需要准备两种数据：

1. 比迪丽单人图（用于保持特征）

  • 数量：20-50张高质量图片
  • 要求：多样化的姿势、表情、服装、背景
  • 来源：可以从你之前生成的图片中挑选，或者找一些高质量的动漫截图
  • 标注：每张图片需要详细的提示词描述

2. 比迪丽+悟空双人图（用于学习组合）

  • 数量：30-80张
  • 要求：两人要有互动（对话、战斗、并肩站立等），构图自然
  • 关键：悟空的特征要准确（发型、服装、气质）
  • 标注：需要同时描述两个角色和他们的关系

数据标注示例：

比迪丽单人图提示词：
bidili, 1girl, blue hair, ponytail, martial arts gi, determined expression, fighting stance, detailed eyes, masterpiece, best quality

双人图提示词：
bidili and goku, 1girl and 1boy, blue hair and spiky black hair, martial arts gi and orange gi, standing together, smiling, friendship, detailed, masterpiece, best quality

数据预处理技巧：

  • 统一图片尺寸：建议1024x1024或768x768
  • 人脸对齐：确保脸部清晰可见
  • 背景多样化：避免所有图片都是纯色背景
  • 姿势变化：尽量覆盖站、坐、战斗等不同姿势

3.3 现有比迪丽LoRA分析

在开始扩展之前，我们需要了解现有LoRA的特点：

触发词分析：

  • 主要触发词：bidili、videl、比迪丽
  • 权重影响：测试不同权重下（0.5-1.2）的效果变化
  • 风格兼容：测试在不同风格提示词下的表现

优势特征：

  • 发型准确度（蓝色马尾）
  • 服装识别（武道服）
  • 气质表现（坚强、自信）
  • 与不同背景的融合能力

待改进点：

  • 与其他人物的互动（这是我们要重点训练的）
  • 复杂场景中的位置关系
  • 多人构图时的比例协调

了解这些后，我们就能有针对性地准备训练数据，强化模型的薄弱环节。

4. 训练步骤：从单人扩展到双人

现在进入实际操作环节。我会把整个过程拆解成清晰的步骤，即使你是第一次尝试，也能跟着做。

4.1 步骤一：环境配置和模型准备

首先确保你的训练环境已经就绪：

# 克隆训练脚本（以Kohya_ss为例）
git clone https://github.com/bmaltais/kohya_ss
cd kohya_ss

# 安装依赖
pip install -r requirements.txt

# 准备目录结构
mkdir -p datasets/bidili_goku
mkdir -p datasets/bidili_goku/img
mkdir -p datasets/bidili_goku/img_bidili_only
mkdir -p output/lora_bidili_goku

模型准备：

  1. 将现有的比迪丽LoRA文件（.safetensors）复制到项目目录
  2. 准备基础模型（如SDXL 1.0）
  3. 将准备好的图片数据放到对应目录

目录结构应该是这样的：

datasets/bidili_goku/
├── img/                    # 双人训练图片
│   ├── 1.jpg
│   ├── 1.txt              # 对应的提示词文件
│   └── ...
├── img_bidili_only/        # 比迪丽单人图片
│   ├── 1.jpg
│   ├── 1.txt
│   └── ...
└── reg/                    # 正则化图片（可选）

4.2 步骤二：配置训练参数

这是最关键的一步。我们需要精心配置训练参数，让模型在学会新内容的同时，不忘记旧知识。

创建一个训练配置文件 train_config.toml：

[general]
enable_bucket = true
bucket_reso_steps = 64
bucket_no_upscale = false

[dataset]
resolution = 1024
batch_size = 2
max_token_length = 225
shuffle_caption = true
keep_tokens = 1
color_aug = false
flip_aug = false
face_crop_aug_range = null
random_crop = false
caption_dropout_rate = 0.0
caption_dropout_every_n_epochs = 0
caption_tag_dropout_rate = 0.0

[training]
learning_rate = 1e-4
lr_scheduler = "cosine_with_restarts"
lr_warmup_steps = 100
train_batch_size = 2
epoch = 10
save_every_n_epochs = 2
save_last_n_epochs = 3
mixed_precision = "fp16"
save_precision = "fp16"
seed = 42
num_cpu_threads_per_process = 2
cache_latents = true
cache_latents_to_disk = false
caption_extension = ".txt"

[optimizer]
optimizer_type = "AdamW8bit"
weight_decay = 0.01
max_grad_norm = 1.0

[model]
pretrained_model_name_or_path = "path/to/sdxl-base-model"
v2 = false
v_parameterization = false

[lora]
network_module = "networks.lora"
network_dim = 128
network_alpha = 64
network_args = []
conv_dim = null
conv_alpha = null
dropout = 0.0
algo = "lora"

关键参数说明：

  1. 学习率（learning_rate）：1e-4是比较安全的选择。如果训练数据少，可以降到5e-5；数据多且质量高，可以尝试2e-4。

  2. 网络维度（network_dim）：128是常用值。如果想学习更复杂的关系，可以增加到256，但要注意过拟合风险。

  3. 训练轮数（epoch）：10-20轮通常足够。可以通过观察损失曲线决定何时停止。

  4. 批次大小（batch_size）：根据显存调整。8GB显存建议用1-2，12GB以上可以用2-4。

4.3 步骤三：开始训练

配置好后，就可以开始训练了：

# 使用Kohya_ss的训练脚本
accelerate launch --num_cpu_threads_per_process=2 train_network.py \
  --config_file="train_config.toml" \
  --output_dir="output/lora_bidili_goku" \
  --logging_dir="logs" \
  --save_model_as=safetensors \
  --prior_loss_weight=1.0 \
  --max_train_epochs=10 \
  --max_data_loader_n_workers=0 \
  --persistent_data_loader_workers

训练过程中的监控：

  1. 观察损失曲线：损失值应该稳步下降然后趋于平稳。如果波动很大，可能需要调整学习率。

  2. 定期生成测试图：每训练2-3轮，就用当前的LoRA生成一些测试图，看看效果如何。

  3. 注意过拟合迹象：如果模型开始生成模糊或奇怪的图片，可能是过拟合了。这时候应该停止训练或增加正则化。

训练时间估计：

  • 50张图片，10轮训练，在RTX 3060 12GB上大约需要2-3小时
  • 图片越多、轮数越多，时间越长
  • 可以使用--gradient_checkpointing和--xformers来加速（如果支持）

4.4 步骤四：测试和优化

训练完成后，不要急着用，先做全面测试：

# 简单的测试脚本
import torch
from diffusers import StableDiffusionXLPipeline
from safetensors.torch import load_file

# 加载基础模型和LoRA
pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16
).to("cuda")

# 加载训练好的LoRA
lora_path = "output/lora_bidili_goku/pytorch_lora_weights.safetensors"
pipe.load_lora_weights(lora_path)

# 测试不同提示词
test_prompts = [
    "bidili and goku training together, martial arts, dojo, dynamic pose, masterpiece",
    "bidili talking with goku, sunny day, park bench, friendship, detailed eyes",
    "bidili fighting goku, intense battle, energy aura, dramatic lighting, action scene",
]

for prompt in test_prompts:
    image = pipe(
        prompt=prompt,
        negative_prompt="lowres, bad anatomy, bad hands, text, error",
        num_inference_steps=30,
        guidance_scale=7.5,
        width=1024,
        height=1024
    ).images[0]
    image.save(f"test_{prompt[:20]}.png")

测试要点：

  1. 角色准确性：比迪丽和悟空的形象是否准确？
  2. 互动自然度：两人的位置、姿势、眼神交流是否自然？
  3. 构图质量：画面是否平衡？有没有奇怪的变形？
  4. 风格一致性：与原始比迪丽LoRA的风格是否一致？

如果发现问题，可以：

  • 增加特定类型的数据重新训练
  • 调整LoRA权重（通常0.6-0.8效果较好）
  • 在提示词中加强控制

5. 使用技巧：如何用好扩展后的LoRA

训练好的LoRA怎么用才能发挥最好效果？这里分享一些实用技巧。

5.1 提示词编写技巧

基础结构：

[场景描述], bidili and goku, [角色特征], [互动描述], [风格质量词]

具体示例：

战斗场景：

intense martial arts battle, bidili and goku fighting, 
blue hair ponytail vs spiky black hair, energy beams colliding,
dynamic action pose, dramatic lighting, 
masterpiece, best quality, highly detailed, 8k

日常互动：

bidili and goku having lunch, outdoor cafe, sunny afternoon,
smiling, talking, friendship, casual clothes,
anime style, soft lighting, warm colors,
masterpiece, best quality

训练场景：

bidili and goku training together, martial arts dojo,
teaching and learning, focused expressions,
dynamic poses, detailed background,
masterpiece, best quality, professional artwork

关键技巧：

  1. 明确角色关系：用and连接两个角色，描述他们的互动
  2. 平衡特征描述：两个角色的特征都要提到，但不要过于详细
  3. 使用动作词：talking with、fighting、standing with等
  4. 控制画面焦点：可以通过词语顺序和权重调整焦点

5.2 参数设置建议

不同的场景需要不同的参数配置：

表格：推荐参数设置

场景类型CFG Scale步数LoRA权重采样器备注
双人肖像7-925-350.7-0.8DPM++ 2M Karras侧重角色特征
动作场景8-1030-400.6-0.7Euler a侧重动态效果
复杂背景9-1135-450.8-0.9DDIM需要更多细节
创意构图6-820-300.5-0.6Heun允许更多随机性

LoRA权重调整：

  • 0.5-0.6：轻微影响，角色特征较弱
  • 0.7-0.8：平衡效果，推荐大多数场景
  • 0.9-1.0：强烈影响，可能过度拟合

  • 1.0：可能产生奇怪效果，谨慎使用

CFG Scale建议：

  • 双人场景需要更高的CFG来确保两个角色都正确生成
  • 但太高会导致画面僵硬，建议7-10之间调整

5.3 常见问题解决

问题1：一个角色特征正确，另一个不对 解决：

  • 在提示词中加强描述有问题的角色
  • 调整两个角色的顺序
  • 尝试不同的LoRA权重
  • 检查训练数据是否平衡

问题2：两人互动不自然 解决：

  • 使用更具体的互动描述词
  • 尝试不同的姿势组合
  • 调整画面构图（如from side view、full body）
  • 增加背景环境描述

问题3：画面拥挤或角色变形 解决：

  • 使用full body或upper body限制
  • 调整图片尺寸（尝试1024x768或768x1024）
  • 简化背景
  • 降低CFG值

问题4：风格不一致 解决：

  • 在提示词中加入风格词（anime style、detailed anime）
  • 使用原始比迪丽LoRA的风格作为参考
  • 调整采样器和步数

5.4 进阶技巧：控制生成细节

如果你想要更精细的控制，可以尝试这些方法：

1. 角色权重分配

(bidili:1.2) and (goku:0.8), training together

这样比迪丽的影响会稍强一些。

2. 分区域提示 有些工具支持分区域控制，可以为画面不同区域设置不同的提示词。

3. 多LoRA组合 如果还有悟空单独的LoRA，可以尝试同时加载：

  • 比迪丽LoRA：权重0.7
  • 悟空LoRA：权重0.7
  • 双人扩展LoRA：权重0.5

4. 使用ControlNet 对于特定姿势或构图，可以使用ControlNet的OpenPose或深度图来控制。

6. 效果展示与实际应用

经过训练和优化后，扩展的LoRA能产生什么效果？让我们看看实际案例。

6.1 效果对比展示

案例1：训练场景

提示词：bidili teaching goku martial arts, dojo, focused expressions, dynamic poses, detailed background, anime style, masterpiece

训练前（仅用比迪丽LoRA）：

  • 只能生成比迪丽单人
  • 添加“goku”关键词可能产生随机角色
  • 互动关系无法准确表达

训练后（使用扩展LoRA）：

  • 两人同时出现且特征准确
  • 自然的师生互动姿势
  • 环境与角色和谐统一
  • 风格与原始比迪丽LoRA一致

案例2：日常互动

提示词：bidili and goku eating ramen, restaurant counter, night time, neon lights, chatting happily, detailed food, anime style

效果特点：

  • 两人座位关系自然
  • 表情生动（微笑、专注）
  • 环境细节丰富（面条、餐具、灯光）
  • 色彩协调

案例3：战斗场景

提示词：epic battle, bidili vs goku, energy clash, flying in the air, dramatic sky, intense expressions, action scene, best quality

生成要点：

  • 动态姿势准确
  • 能量效果逼真
  • 两人实力对比感
  • 画面张力充足

6.2 不同风格适配

扩展后的LoRA不仅适用于动漫风格，还可以适配多种画风：

写实风格：

bidili and goku, photorealistic, detailed faces, 
natural lighting, film grain, 35mm photograph

效果：更像真人cosplay，细节丰富

水彩风格：

bidili and goku, watercolor painting, soft edges,
pastel colors, artistic, masterpiece

效果：柔和梦幻，艺术感强

像素艺术：

bidili and goku, pixel art, 16bit style,
retro video game, vibrant colors

效果：怀旧游戏风格，清晰简洁

关键发现：

  1. 风格迁移能力强：扩展LoRA继承了原始LoRA的风格适应能力
  2. 角色特征稳定：在不同风格下，两个角色的核心特征都能保持
  3. 互动关系保持：即使风格变化，两人的互动逻辑仍然合理

6.3 实际应用场景

这个技术不只是为了好玩，还有很多实际应用价值：

1. 同人创作

  • 快速生成漫画分镜
  • 创作非官方故事插图
  • 尝试不同的角色组合和场景

2. 内容创作

  • 为文章配图
  • 制作社交媒体内容
  • 设计个性化头像或壁纸

3. 角色设计探索

  • 测试不同服装搭配
  • 尝试各种互动场景
  • 探索角色关系的视觉表达

4. 动画前期设计

  • 快速生成概念图
  • 测试角色组合效果
  • 探索画面构图

使用建议：

  • 先从简单场景开始，逐步增加复杂度
  • 保存成功的提示词组合，建立自己的模板库
  • 定期测试不同参数，找到最适合的设置
  • 结合其他工具（如img2img、inpainting）进行后期优化

7. 总结与展望

7.1 技术总结

通过这次比迪丽LoRA的多角色扩展实践，我们验证了几个重要观点：

1. LoRA扩展是可行的 基于现有角色LoRA，通过有针对性的训练，确实可以让它学会生成多角色组合图。这为角色关系创作提供了新思路。

2. 数据质量决定上限 训练数据的质量和多样性直接影响最终效果。好的数据应该包含：

  • 多样化的互动姿势
  • 自然的构图
  • 清晰的角色特征
  • 丰富的场景背景

3. 平衡是关键 在扩展新内容的同时，要保持原有角色的特征。这需要：

  • 适当的学习率
  • 合理的训练轮数
  • 平衡的数据集
  • 仔细的参数调整

4. 提示词工程仍然重要 即使有了扩展LoRA，好的提示词仍然是生成优质图片的关键。需要学会：

  • 准确描述角色关系
  • 控制画面焦点
  • 调整风格和细节

7.2 实用建议

如果你想尝试类似的项目，这里有一些建议：

开始前：

  1. 充分了解原始LoRA的特性
  2. 收集高质量、多样化的训练数据
  3. 准备好足够的计算资源
  4. 设定明确的目标和评估标准

训练中：

  1. 从小规模开始，逐步增加数据
  2. 定期测试，及时调整
  3. 注意过拟合迹象
  4. 保存中间结果，方便回溯

使用中：

  1. 从简单提示词开始测试
  2. 系统性地尝试不同参数
  3. 记录成功案例和失败教训
  4. 结合其他工具优化结果

7.3 未来展望

这个技术还有很多可以探索的方向：

技术层面：

  • 更多角色的扩展（三人或以上）
  • 动态姿势控制
  • 场景一致性保持
  • 风格混合与迁移

应用层面：

  • 系列角色全家福
  • 跨作品角色互动
  • 定制化故事插图
  • 互动式角色设计工具

易用性提升：

  • 简化训练流程
  • 提供预训练扩展包
  • 开发可视化训练界面
  • 建立社区分享平台

7.4 最后的思考

AI绘画技术正在快速发展，像LoRA这样的微调技术让个性化创作变得更加容易。基于现有模型进行扩展，而不是从头开始训练，这代表了一种更高效、更可持续的技术路径。

对于创作者来说，这意味着：

  • 更低的入门门槛
  • 更快的创作速度
  • 更多的创意可能性
  • 更好的结果可控性

对于技术爱好者来说，这意味着：

  • 有趣的研究方向
  • 实用的工程实践
  • 社区协作的机会
  • 技术创新的空间

无论你是想创作自己的同人作品，还是探索AI绘画的技术边界，基于LoRA的多角色扩展都值得尝试。它既是一个实用的工具，也是一个理解AI如何学习视觉概念的好机会。

记住，技术只是工具，创意才是核心。用好这些工具，让你的想象力自由飞翔。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

# LoRA模型
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

graphify 视频音视频转写全流程解析：从 detect 结果到知识图谱文档的 Step 2.5

graphify 的核心能力是把任意语料（代码、文档、PDF、图片）转化为可查询的知识图谱，而视频与音频文件无法被直接阅读，必须先把它们转写成文本。本文围绕 `graphify` 运行手册中的转写参考文档 [transcribe.md](https://link.gitcode.com/i/d3285781588e0f1b84886dfdbc4fe7f6)，完整讲解 "Step 2.5 - Tra

avatar 天工造物局

ML-For-Beginners 终章：经典机器学习在金融、医疗、零售等八大行业中的真实落地场景

本篇技术指南基于开源课程仓库 ML-For-Beginners 的收尾课程《Postscript: Machine learning in the real world》（对应仓库目录 [9-Real-World/1-Applications](https://link.gitcode.com/i/6b23002df80861c20abf34d7db63ef41)）编写。该课此前 11 周的教学带

avatar 天工造物局

graphify 知识图谱查询实战：query / path / explain 与可审计的答案闭环

本指南以 graphify 的 Trae 版查询技能参考（[graphify/skills/trae/references/query.md](https://link.gitcode.com/i/72a7875d46ec6d3706d31791f3cdcbe0)）为主体，系统讲解如何针对**已构建好的知识图谱**执行三类查询：语义相关节点遍历（query）、两概念间最短路径（path）、单节点关

avatar 天工造物局