FluxGym 是一个专为 FLUX模型设计的 LoRA (Low-Rank Adaptation 低秩适配 ) 训练工具,支持 12GB、16GB、20GB VRAM,并且可扩展

一、前提条件

1、硬件条件
GPU:12G+,建议16G以上,还是尽量够大

2、软件要求:
python:3.10

二、文件下载

git clone https://github.com/cocktailpeanut/fluxgym
cd fluxgym
git clone -b sd3 https://github.com/kohya-ss/sd-scripts

三、环境设置

这是我在云gpu上单独创建的conda环境,这里python指定3.10

conda create -n stable python=3.10
conda activate stable

Python 虚拟环境配置,也可以不配置,上面conda已经指定

python -m venv env
source env/bin/activate

conda环境管理

//环境列表查看
conda info --envs
//删除环境
conda env remove -n stable

四、安装依赖

指定numpy版本

pip install numpy==1.26.4 -i https://pypi.tuna.tsinghua.edu.cn/simple

 安装依赖

cd sd-scripts
pip install -r requirements.txt

cd ..
pip install -r requirements.txt

最后安装 pytorch Nightly:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

五、开始运行

python app.py

六、界面操作

(2)然后点击下图按钮下载“Florence-2“模型,这是用来对训练的图片进行自动打标的模型。有了这个模型后,只需轻轻一按,就能实现反推提示词的效果。直接简化了模型训练的步骤!

手动下载存放地址

	——models/
		+——unet/	#unet文件夹中放置flux模型
		|	flux-dev.sft
		|——vae/		#vae文件夹中放置vae模型
		|	ae.sft
		+——clip/	#clip文件夹中有两个模型
			clip_l.safetensors
			t5xxl_fp16.safetensors

手动下载:

https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/clip_l.safetensors
https://huggingface.co/comfyanonymous/flux_text_encoders/resolve/main/t5xxl_fp16.safetensors
https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/ae.sft
https://huggingface.co/cocktailpeanut/xulf-dev/resolve/main/flux1-dev.sft

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐