MuseTalk 是腾讯音乐娱乐集团（TME）天琴实验室开源的实时高清音频驱动唇同步（Lip-Sync）模型，可将输入视频中的人脸与给定音频精确对齐，生成高质量、自然表现的口型同步视频，广泛应用于语音驱动视频生成、虚拟形象和数字人制作等领域。

核心特性

• 实时高清唇同步：单步隐空间补全（Inpainting）机制，在 NVIDIA V100 上可实现 30fps+ 实时推理
• 多语言音频支持：支持中文、英文、日文等多种语言的音频驱动
• 高画质版本升级：1.5 版本引入感知损失、GAN 损失与同步损失训练，显著提升画面清晰度、身份一致性与唇音同步精度
• 256x256 人脸区域：针对人脸区域精修，兼顾口型精度与整体画质
• 生态联动：可与 MuseV 等视频生成模型配合，构成完整的虚拟人解决方案

适用场景

数字人直播、视频配音口型同步、虚拟主播、影视/短视频二创、多语种视频本地化等。

效果可参考：https://github.com/TMElyralab/MuseTalk