实时音视频对话
智能体可加入视频通话，接收用户的语音与画面，并以语音回应；基础示例会创建通话并打开浏览器演示界面。
BAIZE AI RESOURCE
实时音视频智能体开发框架
Vision-Agents
Vision-Agents 是用于构建实时音视频 AI 智能体的开发框架。开发者可以组合对话模型、语音服务和视频分析能力，让智能体在通话中听懂用户、观察画面并作出回应，减少从头搭建交互流程的工作。
资源介绍
Vision-Agents 面向需要开发实时音视频应用的团队和开发者，而不是安装后即可直接使用的成品助手。它提供构建智能体所需的音视频通话、模型接入与画面处理能力：智能体可以加入通话，接收用户语音或摄像头画面，再通过语音回答或依据视频内容反馈。项目提供基础对话、高尔夫挥杆分析、电话问答等示例，便于从具体场景改造。基础示例使用 Stream 传输音视频，并分别接入对话、语音识别、语音合成和轮次检测服务；也可改用支持实时语音交互的模型，减少单独配置的语音组件。开发者需要准备相应的运行环境及服务凭据，再根据目标场景选择模型和处理能力。
资源展示
软件界面、操作截图与实际案例预览。
Agent 能力
视频画面分析
可加入视频处理能力识别画面内容；高尔夫示例使用姿态检测分析挥杆动作，并由智能体给出语音反馈。
模型与语音服务切换
示例展示了 OpenAI Realtime、Gemini Realtime 等模型的配置方式，也可分别选择语音识别和语音合成服务，以适配不同交互方案。
电话接入与知识问答
电话示例通过 Twilio 展示呼入、呼出智能体，并提供结合 Gemini、Turbopuffer 或 Qdrant 的检索增强问答方案。
资源配置
运行平台
本地运行
Agent框架
自研框架
配置方式
环境变量API Key配置文件
依赖资源
通过 uv 安装 vision-agents；运行所选示例前，按其说明准备相应的 Python 环境、服务凭据及可选集成依赖。
运行与使用
准备 Python 3.13 或更高版本，并选定要运行的示例。
进入示例目录，使用 uv sync 安装该示例的依赖。
在 .env 中填写所选示例需要的服务凭据；基础音视频对话示例需要 Stream、OpenAI、Deepgram、ElevenLabs 等服务凭据。
运行示例脚本；基础示例可执行 uv run simple_agent_example.py run，随后在自动打开的浏览器演示界面中与智能体对话。
使用案例
高尔夫挥杆反馈
使用场景开发者制作可边看动作边交流的训练助手
参考高尔夫教练示例接入摄像头画面和姿态检测，让智能体观察挥杆动作，并通过语音给出技术反馈。
电话知识问答
使用场景团队希望来电用户通过电话咨询资料内容
参考呼入电话与 RAG 示例，接入 Twilio 号码和检索后端，让来电者与智能体通话并询问资料相关问题。
包含内容
vision-agents-source.zip
README-中文安装说明.md
LICENSE-Apache-2.0.txt
SHA256.txt
常见问题
运行基础音视频对话示例需要哪些条件？
该示例要求 Python 3.13 或更高版本，并使用 uv 安装依赖；运行前需配置 OpenAI、ElevenLabs、Deepgram、Stream 及 Smart Turn 的服务凭据。
Vision-Agents 能否使用同时处理语音输入和输出的实时模型？
可以。基础示例展示了使用 openai.Realtime() 的配置方式，此时无需另外配置独立的语音识别、语音合成或语音活动检测组件；示例也列出了 gemini.Realtime() 作为可选模型。
电话示例支持呼入还是呼出？
两者都有。仓库分别提供呼出电话示例和结合 RAG 的呼入电话示例，使用 Twilio 接入电话；本地运行示例时需通过 ngrok 提供可供 Twilio 访问的地址。
