OmniGen
统一处理图像生成、编辑及相关视觉任务的 AI 模型
工具介绍
OmniGen 是用于统一图像生成的扩散模型，支持从文字描述创作图像，也能处理图像编辑和基于视觉输入的生成任务。对于需要结合多张参考图创作的用户，它支持用自然语言指明各图中的对象，并据此生成新图。除创作外，它还覆盖去模糊、去雨、图像补全及视觉估计等任务，适合需要在不同图像任务之间切换的场景。
核心功能
- 文生图：根据文字描述生成图像。
- 图像编辑：对已有图像进行修改。
- 条件生成：依据指定主体或视觉输入生成图像。
- 多图对象引用：用自然语言指代多张输入图中的对象，生成新图。
- 图像修复：执行去模糊、去雨和缺失区域补全任务。
- 视觉估计：处理人体姿态估计和场景深度估计任务。
使用方法
- 1进入 OmniGen 官方项目入口，确定要参考的多张图像。
- 2用自然语言说明要引用各张图像中的哪些对象，以及希望生成的新图内容。
- 3使用 OmniGen 的多图对象引用生成能力生成图像。
- 4查看生成结果是否体现了所指定的对象和内容。
常见问题
OmniGen 只能根据文字生成图片吗？
可以。OmniGen 支持根据文字描述生成图像，也支持图像编辑、基于主体的生成和视觉条件生成。
能否参考多张图片中的不同对象生成一张新图？
可以。它支持用自然语言指代多张输入图像中的对象，并据此生成新图。
OmniGen 能处理哪些已有图像任务？
支持去模糊、去雨、图像补全，也可执行人体姿态估计和深度估计任务。
使用 OmniGen 处理复杂生成任务时，必须先做姿态估计吗？
官方介绍指出，一些复杂图像生成任务可以通过指令完成，避免额外的人体姿态估计等预处理步骤。
如何收费？
项目代码可免费获取和自行部署；第三方模型 API、算力或商业托管服务可能另行收费。
