音频驱动的长视频配音生成系统

资源介绍

InfiniteTalk 面向人物视频配音和音频驱动角色动画场景。用户可提供一段参考视频与音频，为原视频生成新的配音版本；也可以上传单张人物图片和音频，生成说话视频。它不仅关注口型与声音的同步，还尝试让头部动作、身体姿态和面部表情随音频变化，并以保持人物身份一致性为目标。项目提供推理代码、模型权重入口和 Gradio 演示界面，适合需要制作长时长口播、角色配音或数字人物视频的创作者与开发者。

核心能力

参考视频配音生成

可输入原始视频和新的音频轨道，生成重新配音后的视频，用于替换或制作人物说话内容。

图片驱动说话视频

支持将单张参考图片与音频结合，生成由声音驱动的人物视频。

音频同步的人物表现

除口型同步外，还面向头部运动、身体姿态和面部表情与音频的对应关系进行生成。

长时长视频生成

项目将无限长度视频生成列为核心能力，面向持续时间较长的说话视频制作。

可视化演示界面

项目已提供 Gradio demo，便于通过界面体验生成流程。

使用方法

1. 01

   获取项目源码，并按项目依赖准备运行环境和对应模型权重。

2. 02

   根据创作目标准备输入：视频配音使用参考视频与音频；图片生成视频使用人物图片与音频。

3. 03

   通过 Gradio 演示界面或项目中的推理脚本提交素材并选择相应生成模式。

4. 04

   等待生成完成，导出音频驱动的新视频结果。

使用案例

人物视频重新配音

使用场景创作者需要为已有的人物出镜视频更换旁白或台词。

上传参考视频和新的语音音频，生成与新语音同步的配音视频，并保持原人物身份特征。

单图口播视频

使用场景内容创作者只有一张人物形象图和一段录音。

将人物图片与录音输入图片生成视频模式，获得由这段音频驱动的说话视频。

长时长角色表达

使用场景需要制作时长较长的角色讲解或连续口播内容。

以音频作为持续驱动信号生成长时长视频，减少将内容拆分为许多短片段的需求。

包含内容

✓

infinitetalk-source.zip

✓

README-中文安装说明.md

✓

LICENSE-Apache-2.0.txt

✓

SHA256.txt

常见问题

InfiniteTalk 支持哪些输入方式？

支持两类主要方式：输入参考视频与音频进行视频配音生成，或输入单张图片与音频生成人物说话视频。

它只处理口型同步吗？

不是。项目说明除口型同步外，还会面向头部动作、身体姿态和面部表情与音频的对应关系生成视频。

是否提供图形化使用界面？

提供。项目已发布 Gradio demo；仓库中也包含 app.py 和 generate_infinitetalk.py 等文件，用于运行演示或推理流程。