通义千问1.5-1.8B-Chat-GPTQ-Int4与ComfyUI工作流结合：构建文本驱动的创意生成管道

你是不是也遇到过这样的情况？脑子里闪过一个绝妙的画面，比如“一只穿着宇航服的柴犬在月球上喝咖啡”，但当你打开绘图工具，面对空白的提示词输入框时，却不知道如何把这个模糊的想法，变成绘图模型能听懂的“语言”。要么描述得太简单，画面平平无奇；要么堆砌一堆不相关的词，出来的图完全不是那么回事。

今天，我们就来解决这个痛点。我将带你搭建一个“创意翻译官”工作流：用小巧高效的通义千问1.5-1.8B-Chat-GPTQ-Int4模型作为你的专属“创意引擎”，负责把你的灵光一闪，扩写成专业、详细、高质量的绘图提示词。然后，这个提示词会自动流入强大的ComfyUI可视化工作流，调用Stable Diffusion等模型，一键生成你想象中的画面。

整个过程，你只需要输入一个简单的想法，剩下的，交给这条半自动化的创意管道。这不仅是工具的结合，更是创作流程的革新。

1. 场景与痛点：为什么需要“创意翻译官”？

在AI绘画创作中，提示词的质量几乎决定了最终作品的成败。一个好的提示词，需要包含主体、细节、风格、构图、光影、画质等多个维度的精确描述。这对于非专业用户，甚至是有经验但追求效率的创作者来说，都是一个不小的挑战。

传统流程的瓶颈：

1. 创意到描述的鸿沟：你有一个很棒的想法，但很难用精确、丰富的语言表达出来。
2. 试错成本高：需要反复修改提示词，一次次生成、对比，耗时耗力。
3. 风格难以统一：如果想批量生成同一主题、不同视角或细节的系列作品，手动编写风格一致的提示词非常困难。
4. 流程割裂：构思、写提示词、调整绘图参数是分开的步骤，缺乏连贯性。

我们的解决方案：引入一个专精于“理解意图并扩写”的文本模型——通义千问1.5-1.8B-Chat。经过GPTQ-Int4量化后，它体积小巧、推理速度快，非常适合作为工作流中的一个“智能组件”。让它来担任“翻译官”，将你口语化、碎片化的想法，“翻译”成绘图模型喜爱的“专业术语”。再通过ComfyUI的可视化节点，将文本生成和图像生成无缝连接起来。

这个方案的核心价值在于：降低创意表达的门槛，提升从想法到视觉产出的效率和确定性。

2. 方案核心：通义千问模型作为创意引擎

在开始搭建之前，我们先快速了解一下这位“创意引擎”的特点，明白为什么选它。

2.1 为什么是通义千问1.5-1.8B-Chat-GPTQ-Int4？

• 小巧高效（1.8B参数）：相比动辄7B、13B的大模型，1.8B的模型在保证足够语言理解和生成能力的前提下，对硬件要求极低。普通消费级显卡（甚至一些高性能集成显卡）都能流畅运行，非常适合集成到本地工作流中。
• 对话能力（Chat）：经过对话微调，它更擅长理解用户的意图，并能以自然、连贯的方式进行多轮交互。在我们的场景里，这意味着它能更好地理解你模糊的创意描述，并进行追问或展开。
• 极致量化（GPTQ-Int4）：GPTQ是一种高效的模型量化技术，Int4代表权重被压缩到4位整数。这带来了两个直接好处：模型体积大幅减小（可能从数GB降到1GB以内），推理速度显著提升，同时性能损失很小。这让它作为工作流中的一个实时服务组件变得非常理想。
• 成本与可控性：完全本地部署，无需担心网络问题、API费用或隐私泄露。所有创意数据都在本地处理，安全可控。

简单说，它就是那个又快又省资源，还能很好完成“文本扩写”任务的得力助手。

2.2 模型的核心任务：从“想法”到“优质Prompt”

这个模型在工作流中不负责天马行空的文学创作，它的目标非常明确：做一个专业的“提示词工程师”。

输入：你的原始想法（例如：“赛博朋克风格的茶馆”）。 处理：模型基于其训练知识，理解“赛博朋克”、“茶馆”等概念，并联想相关的视觉元素。 输出：一段结构化的高质量绘图提示词（例如：“A highly detailed cyberpunk-style tea house, neon lights glowing in the rain, crowded with diverse android patrons, intricate mechanical details on furniture, cinematic lighting, dark cyan and magenta color scheme, by Syd Mead and Blade Runner concept art, 8k, octane render.”）。

这个输出会包含风格、主体、细节、氛围、艺术家参考、画质等多个维度，直接喂给Stable Diffusion，出图效果远比你只输入“赛博朋克茶馆”要好得多。

3. 实战搭建：构建ComfyUI文本驱动创意管道

接下来，我们进入实战环节。假设你已经准备好了ComfyUI的基本环境（如果还没有，网上有很多一键安装包，部署非常简单）。我们的目标是创建一个可重复使用的工作流。

3.1 工作流设计思路

整个工作流可以抽象为三个核心阶段：

1. 创意输入与解析：你输入简单描述，通义千问模型将其转化为详细提示词。
2. 提示词优化与传递：对生成的提示词进行必要处理（如清理、格式化），并传递给图像生成节点。
3. 图像生成与输出：Stable Diffusion等模型根据提示词生成最终图像。

在ComfyUI中，我们将用节点（Node）来具象化这些阶段。

3.2 关键节点配置与连接

这里不会列出每一个基础节点的设置（如加载检查点、KSampler等），重点讲解与“文本驱动”相关的核心部分。你需要先准备好通义千问模型的API服务。可以用Ollama、text-generation-webui等工具轻松在本地拉起一个兼容OpenAI API格式的模型服务。

假设你的模型服务地址是：http://localhost:11434/v1

在ComfyUI中，我们需要一个能与这个API交互的节点。ComfyUI社区有很多自定义节点，这里我们以使用 ComfyUI-Custom-Scripts 或能发送HTTP请求的节点为例进行概念性讲解。你也可以用ComfyUI Manager搜索“API”或“LLM”相关的节点来安装。

工作流核心节点链搭建：

1. 创意输入节点：使用一个 String 或 Text Input 节点，让你输入初始想法，比如“a serene landscape with a giant crystal in the center”。
2. 提示词构建节点：这是一个关键。你需要创建一个能向通义千问API发送请求的节点。
   • 输入：连接上一步的“初始想法”。
   • 构造请求：在节点内部，你需要构造一个符合OpenAI API格式的请求。消息（messages）内容可以设计为一个“系统提示词”和一个“用户提问”。
     • 系统提示词（System Prompt）：这是模型的角色设定，至关重要。例如：“你是一个专业的AI绘画提示词生成器。请将用户简短的想法扩展成一段详细、高质量的英文绘图提示词。提示词应包含画面主体、细节描述、艺术风格、构图、光影、画质等元素。直接输出提示词，不要有任何额外解释。”
     • 用户提问（User Message）：这里填入来自上一个节点的“初始想法”。
   • API调用：节点配置API地址（http://localhost:11434/v1/chat/completions）和模型名称（如qwen1.5-1.8b-chat）。
   • 输出：节点应解析API返回的JSON，提取出choices[0].message.content，即模型生成的详细提示词。
3. 提示词处理节点：将上一步得到的提示词，连接到一个 CLIP Text Encode (Prompt) 节点。这个节点负责将文本编码成Stable Diffusion模型可以理解的向量。
4. 图像生成管线：将编码后的提示词向量，连接到你的常规文生图工作流中，即 KSampler 节点的 positive 输入端。同时，别忘了设置好 Checkpoint Loader（模型）、VAE、Negative Prompt（负面提示词）等。
5. 最终输出：连接 VAE Decode 和 Save Image 节点，完成出图。

这样，一个基本的文本驱动管道就搭建完成了。你只需要在第一个节点输入想法，点击“生成”，工作流就会自动完成“文本扩写 -> 编码 -> 绘图”的全过程。

3.3 一个简单的工作流示例

下面是一个极简的节点连接示意图（以文字描述）：

[Text Input: “你的想法”] 
    --> 
[Custom Node: “Qwen Prompt Enhancer”] (内部调用 http://localhost:11434/v1)
    --> 
[CLIP Text Encode (Prompt)] 
    --> (连接到 KSampler 的 positive)
[Checkpoint Loader] --> [KSampler] <-- [Empty Latent Image]
    -->
[VAE Decode] --> [Save Image]

进阶技巧：

• 负面提示词自动化：你可以用另一个通义千问的API调用，根据正面提示词自动生成一些通用的负面提示词（如“丑陋，模糊，畸形”），连接到 CLIP Text Encode (Negative Prompt)。
• 参数联动：可以将通义千问的输出内容进行解析，提取出可能的关键词（如“8k”可能对应高分辨率），并联动调整 Empty Latent Image 节点的宽高。
• 批量生成：在初始想法节点输入多个不同的概念，利用ComfyUI的队列功能，实现系列作品的批量自动生成。

4. 效果展示与应用场景

搭建好后，我们来实际看看效果。假设我输入了一个简单的想法：“一只在图书馆里看书的魔法猫”。

传统直接出图：如果直接将这句话翻译成英文输入Stable Diffusion，画面可能比较普通，细节不足。 通过我们的管道后：通义千问模型可能会生成类似这样的提示词：“A wise orange tabby cat with glowing magical runes on its fur, wearing tiny spectacles, deeply engrossed in a giant, ancient spellbook in a cozy, vast library filled with floating candles and endless shelves. Warm, soft lighting, detailed fur texture, fantasy art style, trending on ArtStation, 4k, unreal engine 5 render.”

将这段提示词送入工作流，最终生成的图像在细节、氛围和故事性上，都会有质的飞跃。

这个管道非常适合以下场景：

• 快速概念可视化：游戏、影视、产品设计的前期，快速将文字概念转化为视觉参考。
• 社交媒体内容创作：为博文、故事快速配图，保持风格统一。
• 艺术创作辅助：画家、设计师用来激发灵感，突破创意瓶颈。
• 个性化素材生成：为文章、报告、PPT生成独一无二的配图。
• 系列作品生成：输入“夏日海滩系列”，让模型生成“冲浪”、“沙滩排球”、“夕阳烧烤”等一组相关提示词，自动产出系列图。

5. 总结与展望

将通义千问这样的高效对话模型与ComfyUI的可视化工作流结合，我们构建的不仅仅是一个工具，更是一个增强创意工作流的“外脑”。它承担了从抽象思维到具体指令的翻译工作，让创作者能更专注于创意本身，而非繁琐的提示词工程。

实际体验下来，这套方案的流畅度令人满意。通义千问1.5-1.8B-Chat-GPTQ-Int4模型在速度和资源占用上表现非常出色，作为工作流中的一个环节几乎感觉不到延迟。生成提示词的质量也足够让Stable Diffusion产出细节丰富、符合预期的作品。当然，它有时生成的描述可能会过于天马行空或偏离重点，这时可以通过优化给模型的“系统提示词”来进行约束和引导。

未来，这个管道还有很大的进化空间。例如，可以引入更复杂的逻辑，让模型不仅能生成提示词，还能根据初步生成的图像结果，自动分析并提出修改建议（例如：“画面色调偏冷，建议在提示词中加入‘warm sunlight’。”），实现初步的闭环反馈。或者，结合语音输入，实现“动口不动手”的创意生成。

如果你也厌倦了在提示词上反复折腾，不妨试试搭建这个管道。它可能会为你打开一扇新的创作之门，让你感受到想法被流畅兑现的乐趣。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。