Gemini Omni 展示图片 1

Gemini Omni

Google DeepMind 推出的多模态生成模型,可从图像、音频、视频和文本输入生成视频,并用自然语言对话式编辑。

工具介绍

Gemini Omni 是 Google DeepMind 推出的多模态生成模型,首个模型 Gemini Omni Flash 从视频创作起步。它可以把图像、音频、视频和文本组合成输入,生成画面质量较高的视频,并结合 Gemini 的世界知识让场景更符合现实逻辑。用户还能用自然语言对话的方式多轮编辑视频,调整动作、角色、环境、镜头角度和风格,同时保持角色与场景的连贯。它适合需要快速制作或改造视频的创作者、短视频用户,以及通过 API 接入的开发者与企业客户。

核心功能

  • 多模态输入生成视频:可把图像、音频、视频和文本组合成输入,生成连贯的视频内容。
  • 对话式多轮编辑:用自然语言下达指令,每条指令在上一条基础上继续,角色保持一致、场景记住前文,并可改变环境、镜头角度、风格和具体细节。
  • 视频内容改造:对已有视频做局部修改或整体改变,包括调整动作、添加角色或物体、把某个瞬间变成意想不到的画面。
  • 物理与世界知识支撑:对重力、动能、流体等有更直观的理解,并结合历史、科学和文化背景知识,让生成场景更真实。
  • 参考图与风格控制:可用角色、场景或手绘图片作为参考,也可用自然语言描述风格、运动和效果,模型会把参考融合成统一片段。
  • 数字分身视频:通过 Avatars 创建用户自己的数字版本,生成看起来和听起来都像本人的视频。

使用方法

  1. 1进入 Gemini Omni 的官方入口,例如 Gemini 应用或 Google Flow。
  2. 2说明想要生成或修改的视频内容,并给出可用的参考素材,如图像、文本、视频或音频。
  3. 3调用已确认的生成或编辑能力,让模型产出视频或按指令修改现有视频。
  4. 4查看返回的视频结果,如需要可继续用自然语言下达下一条指令,在多轮对话中细化环境、角度、风格或细节。

常见问题

Gemini Omni 能接受哪些类型的输入?

它可以接受图像、文本、视频和音频参考作为输入,并把它们融合成一个连贯的输出。需要注意的是,音频输入在发布初期只支持声音参考,其他类型的音频输入会陆续开放。

Gemini Omni 的对话式编辑是怎么工作的?

你可以用自然语言下达编辑指令,每条指令都建立在上一条之上。角色会保持一致,物理表现保持稳定,场景也会记住之前的内容,因此可以多轮调整环境、镜头角度、风格和具体细节。

Gemini Omni 可以在哪些平台使用?

Gemini Omni Flash 已通过 Gemini 应用和 Google Flow 面向 Google AI Plus、Pro 和 Ultra 订阅用户推出,同时在 YouTube Shorts 和 YouTube Create App 上免费提供。当前正式模型页已提供 Build with Gemini Omni 开发入口;移动端可在 iOS 或 Android 的 Gemini 应用内使用,具体权益与地区以对应入口为准。

使用 Gemini Omni 需要付费吗?

通过 Gemini 应用和 Google Flow 使用需要是 Google AI Plus、Pro 或 Ultra 订阅用户;在 YouTube Shorts 和 YouTube Create App 上则免费提供。

Gemini Omni 生成的视频能识别来源吗?

所有用 Omni 生成的视频都带有不可感知的 SynthID 数字水印,可以通过 Gemini 应用、Chrome 中的 Gemini 以及 Google 搜索来验证视频是否由 Gemini Omni 生成。

官网标准入口在哪里?

Google DeepMind 的 Gemini Omni 正式模型页提供 Gemini、Google Flow 与开发入口;各入口的免费、订阅或开发者计费权益分别以其当前方案为准。

中文支持的具体范围是什么?

Gemini 入口提供简体及繁体中文,可用中文描述创意;Omni 在 Gemini、Flow、YouTube 等入口的开放范围、提示能力和额度分别适用,不承诺所有入口与功能均完整中文化。

收费模式与适用范围是什么?

Gemini Omni Flash 在 Gemini/Flow 入口面向 Google AI Pro/Ultra 订阅;官方同时说明 YouTube Shorts/YouTube Create 入口免费开放。各入口地区、额度和功能不同,因此归类免费+订阅,不将免费 Shorts 入口描述成 Gemini 全部免费。