引言

直播带货里不知疲倦的主播、银行 App 里的客服专员、博物馆里讲解文物的虚拟导览员——数字人已经从演示视频走进了真实业务。一个能听、能说、有表情、反应还不慢的数字人，背后是 ASR、LLM、TTS、口型驱动、表情渲染一整条流水线。这篇文章拆开这条流水线，讲清楚每个环节的技术选型，以及把它们拼成实时系统时绕不开的工程问题。

数字人技术栈全景

一个交互式数字人系统大致分五层：

1. 感知层：ASR（语音识别）把用户语音转文字，可选的视觉模块做表情/手势识别。
2. 大脑层：LLM 负责对话理解和回复生成，通常挂 RAG 知识库。
3. 发声层：TTS 把回复文本转成语音，高端方案会用声音克隆（Voice Cloning）。
4. 驱动层：根据语音生成口型和表情参数，这是数字人"像不像"的关键。
5. 渲染层：2D 方案直接生成或合成视频帧，3D 方案驱动模型骨骼和 BlendShape 实时渲染。

各层之间全是流式传输，任何一段设计成"等全部算完再输出"，端到端延迟就不可接受了。

发声层单独展开一下，因为它是"像真人"的第一道门槛。通用云 TTS（Azure、火山引擎）开箱即用但音色同质化严重；要做出辨识度，就得走声音克隆——GPT-SoVITS、CosyVoice 这类开源方案用 1 分钟以内的参考音频就能克隆音色，效果好到必须以授权协议约束使用边界。工程上建议把 TTS 做成可插拔服务：播报场景用稳定便宜的云 TTS，品牌 IP 形象用克隆音色，切换只改配置。另外注意声音克隆务必取得本人书面授权，这是法律红线不是技术问题。

口型驱动：从 TTS 到 Viseme

口型同步的核心概念是 Viseme（视位）——发音时嘴唇的视觉形态。英文一般归纳为 20 个左右，中文方案通常按拼音声韵母映射。早期的做法是从 TTS 的音素序列直接查表得到 viseme 时间轴，简单稳定，但嘴型偏机械。

现在主流是音频直接驱动：Wav2Lip 用一段任意人脸视频加目标音频，就能生成唇形匹配的新视频，效果在 2D 方案里性价比极高。3D 路线则用音频回归 BlendShape 权重，NVIDIA 的 Audio2Face 是工业界标杆，开源社区也有基于扩散模型的替代方案。

一个基于 Wav2Lip 的离线驱动流程示意：

import subprocess

def make_talking_face(face_video: str, tts_wav: str, out_path: str):
    """Wav2Lip 推理：人脸视频 + 音频 -> 口型同步视频"""
    subprocess.run([
        "python", "inference.py",
        "--checkpoint_path", "checkpoints/wav2lip_gan.pth",
        "--face", face_video,      # 正脸素材，几秒的循环视频即可
        "--audio", tts_wav,        # TTS 生成的 16k 单声道 wav
        "--outfile", out_path,
        "--pads", "0", "20", "0", "0",  # 下巴 padding，避免截掉嘴部
    ], check=True)

# 实际项目中：LLM 流式输出 -> 按句切分 -> TTS 逐句合成 -> 逐句驱动 -> 帧队列推流

实战提醒两点：人脸素材的下巴区域要给足 padding，否则生成的嘴会被裁掉一部分；另外 Wav2Lip 只改嘴部，眨眼和头部微动要靠后期叠加或换 SadTalker、Hallo 这类全脸驱动方案。

表情与情感的实时生成

口型对了只是及格线，数字人打动人的是表情和情绪的匹配。技术上分两块：

情感识别：LLM 生成回复时，顺手让模型输出情感标签（高兴、抱歉、严肃……），加一个专门的轻量分类器也行。更精细的做法是韵律感知——TTS 的语速、音高变化本身就携带情绪，驱动模型从音频里能学到这些。

表情合成：3D 数字人把情感标签映射到一组基础表情参数的加权组合（开心 = 嘴角上扬 × 0.8 + 眉毛微抬 × 0.3……），关键帧之间做平滑插值，避免表情跳变。2D 方案则依赖生成模型，扩散类方案（如 EMO、Hallo）能生成带有情绪的视频片段，但当前还很难做到真正的实时。

| 方案 | 延迟 | 真实感 | 定制成本 | 典型场景 | | --- | --- | --- | --- | --- | | 2D 视频驱动（Wav2Lip 等） | 低，可实时 | 中高（真人素材） | 低，几分钟素材 | 客服、播报 | | 2D 生成式（扩散模型） | 高，难实时 | 高 | 中 | 短视频、宣传片 | | 3D 模型 + BlendShape | 极低，真实时 | 取决于建模 | 高，需建模绑定 | 游戏、虚拟偶像 | | NeRF / 3DGS 数字人 | 中 | 很高 | 中，需多视角拍摄 | 高端形象复刻 |

实时交互系统的工程架构

交互数字人的体验命门是延迟：用户说完话到数字人开口，业内可用的阈值大约是 1.5 秒以内。全链路预算大致这样分：ASR 流式出最终结果 300ms，LLM 首 token 300ms，TTS 首包 200ms，驱动和渲染 300ms，网络与缓冲再留一点余量。

达成这个预算靠三件事：流式（所有模块边算边传，LLM 按标点切句立即送 TTS）、并行（第一句话已经在播时，第二句的 TTS 同步在算）、降级预案（LLM 超时时先插一句"我想想"之类的填充话术，避免冷场）