AutoGLM
面向浏览器与安卓图形界面任务的自主操作研究系统
工具介绍
AutoGLM 是 ChatGLM 系列中面向图形界面自主操作的研究系统，研究智能体如何在浏览器和安卓设备的界面中完成任务。对于关注安卓手机任务自动化的用户，官网还介绍了独立发布的 Open-AutoGLM：它可依据自然语言指令执行手机任务，并提供用于集成的 Python API 及可供本地部署的框架和模型权重。两者应分别理解，不能把研究场景直接视为现成的网页服务或安卓客户端。
核心功能
- 图形界面自主操作：AutoGLM 以通过 GUI 控制数字设备为目标，研究浏览器和安卓界面中的任务交互。
- 自然语言手机任务：独立发布的 Open-AutoGLM 可依据自然语言指令完成安卓设备上的任务。
- 屏幕感知与动作规划：Open-AutoGLM 感知手机屏幕内容，并规划完成任务所需的操作。
- 手机自动化集成：Open-AutoGLM 提供 Python API，可将手机任务自动化接入其他流程。
- 本地部署：Open-AutoGLM 提供框架及模型权重，支持本地部署。
- 敏感操作确认：Open-AutoGLM 对敏感操作设置确认，登录或验证码环节由人工接管。
使用方法
- 1进入 AutoGLM 官方页面，了解其浏览器与安卓图形界面任务研究，并找到独立介绍的 Open-AutoGLM。
- 2以安卓手机上需要完成的任务为目标，向 Open-AutoGLM 提出自然语言指令。
- 3由 Open-AutoGLM 感知屏幕并规划操作；遇到敏感操作时确认，登录或验证码环节由人工接管。
- 4查看手机任务的执行结果，判断是否完成预期任务。
常见问题
AutoGLM 主要用于什么任务？
AutoGLM 研究让智能体通过图形界面自主控制数字设备，以浏览器和安卓界面交互为代表性场景。
Open-AutoGLM 与 AutoGLM 有什么区别？
Open-AutoGLM 是独立命名的开源手机智能体框架，可根据自然语言指令完成安卓设备上的任务；它还会感知屏幕内容并规划操作。
能否将手机任务自动化接入自己的流程？
Open-AutoGLM 提供用于集成手机任务自动化的 Python API，也提供框架和模型权重供本地部署。这不意味着 AutoGLM 研究系统提供在线 API。
Open-AutoGLM 会自动处理登录和验证码吗？
Open-AutoGLM 对敏感操作设有确认机制；遇到登录或验证码时需要人工接管。
如何收费？
项目代码可免费获取和自行部署；第三方模型 API、算力或商业托管服务可能另行收费。
