能够根据语音创建出可以表达不同情感的 3D 数字人头,保持口型同步,并支持从任何角度观看。

它由五个模块组成:

  • 情感-内容分离编码器:这个模块负责从输入的语音中解析出内容特征和情感特征。
  • 语音到几何网络(S2GNet):该模块利用提取的特征来预测动态的 3D 点云,模拟面部的形状和运动。
  • 高斯优化和完善模块:此模块用于优化和完善 3D 点云,以建立一个规范化的外观。
  • 几何到外观网络(G2ANet):基于动态 3D 点云合成面部的外观,可能包括纹理映射和颜色渲染。
  • 渲染模块:最后,该模块将动态的高斯模型渲染成可以自由观看的动画。

从演示的效果来看不是特别自然,目前也只公开了论文,代码正在路上,数据集也没有正式发布。

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐