LatentSync 是字节跳动（ByteDance）开源的一种基于音频条件潜在扩散模型的端到端唇同步技术。通过潜在扩散模型和时间表示对齐技术（TREPA）实现高质量、时间一致的动态视频生成，解决了此前 SyncNet 训练的收敛问题，使唇同步精度达到更高水平。

核心特性

• 端到端唇同步：无需中间动作表征，直接以音频为条件生成口型匹配的视频画面
• 扩散模型驱动：基于 Stable Diffusion 潜空间构建，可建模复杂的音视频关联关系
• 高精度对齐：采用 TREPA、LPIPS、SyncNet 等多重损失优化，唇同步准确率业界领先
• 中文视频优化：1.5 版本针对中文视频表现做了专门优化，识别与合成更稳定
• 多版本演进：1.5 版本加入时序层提升时间一致性、降低训练显存需求；1.6 版本基于 512x512 训练分辨率缓解模糊问题

适用场景

视频配音口型同步、数字人视频制作、影视/短视频二创、多语种视频本地化配音等。

效果可参考：https://github.com/bytedance/LatentSync