LatentSync 端到端唇形同步模型

介绍

LatentSync 是由字节跳动开源的一款端到端唇形同步（Lip Sync）模型，基于音频条件的潜在扩散（Latent Diffusion）模型构建，实现了音频与视频中人物唇形的高精度对齐。与传统的像素级驱动或关键点驱动方法不同，LatentSync 直接在潜在空间中以音频为条件进行扩散生成，从整体上重建嘴部区域，从而获得更加连贯、自然的口型与面部细节。

从技术原理上看，LatentSync 将视频帧编码到潜在空间，由音频特征作为条件引导扩散模型对嘴部区域进行去噪重建，最终解码为高保真的视频画面。这种端到端的设计省去了中间的显式特征标注环节，减少了误差累积，使唇形同步在多种人脸类型、光照条件与视频风格下都具备良好的鲁棒性。1.5 版本进一步新增了时序层（temporal layer）优化，显著提升了视频帧之间的连贯性，有效减少了画面闪烁与抖动，让长片段合成更加稳定。

LatentSync 适用于真人实拍、动画、虚拟形象等多种视频类型，是视频后期配音同步、数字人驱动等场景的理想选择。它在 AIGCPanel 模型市场提供免费一键运行包，支持 Windows、macOS 与 Linux 全平台，覆盖从个人创作到专业制作的广泛需求。

主要功能

• 端到端唇形同步：直接输入音频与视频，输出唇形与语音精确对齐的合成结果，流程简洁。
• 高精度口型对齐：基于潜在扩散模型实现音频到唇形的精细驱动，发音与口型高度一致。
• 多类型视频支持：兼容真人实拍、动画、虚拟形象等多种视频内容，适用面广。
• 时序连贯优化（1.5 版）：新增时序层优化，改善帧间连贯性，减少画面闪烁与抖动。
• 音频条件驱动：以音频特征为条件引导生成，语音内容决定口型变化，自然准确。
• 全平台可用：支持 Windows、macOS、Linux 系统，适配不同工作环境。

特点

• 先进技术架构：采用音频条件潜在扩散模型，在潜在空间完成唇形重建，技术路线领先。
• 同步精度高：端到端生成避免中间环节误差，口型与发音对齐效果精准自然。
• 画面质量好：扩散模型生成的嘴部区域细节丰富，与原视频风格自然融合。
• 长视频稳定：1.5 版时序层优化提升帧间一致性，适合较长片段的稳定合成。
• 跨平台部署：Win / MacOS / Linux 全平台支持，便于集成到各类制作流程。

应用场景

• 视频后期配音同步：为已拍摄视频替换语音后重新对齐口型，省去重拍成本。
• 数字人驱动：将数字人 / 虚拟形象与任意语音内容驱动，实现开口说话效果。
• 影视与广告制作：在多语言版本制作中替换对白语言，同步调整口型适配新语种。
• 短视频二创与本地化：为短视频、解说视频快速生成与语音匹配的口型画面。
• 教育与演示视频：让讲解人像与配音严格对齐，提升教学内容的专业度与观感。

在 AIGCPanel 中的使用

1. 前往 AIGCPanel 官方模型市场页面：LatentSync 模型市场，下载对应平台的一键运行包。
2. 将下载的压缩包解压到纯英文路径下，确保模型与依赖正常加载。
3. 打开 AIGCPanel，在「AI模型」页面选择「添加本地模型」，指向解压后的模型目录并完成加载。
4. 启动模型后，在「视频合成」等功能模块中选择 LatentSync，上传待处理视频与目标语音，生成唇形同步视频。

硬件要求

GitHub 链接

LatentSync GitHub