BAIZE AI RESOURCE

AI 智能体安全评估工具

IFixAi

IFixAi 是用于评估 AI 智能体的工具,可依据被测系统的角色、工具、权限和策略运行检查,生成可追溯的评分报告,帮助团队发现权限配置、提示注入、回答可靠性等方面的风险。

IFixAi

资源介绍

IFixAi 面向需要测试 AI 智能体的团队,帮助他们把“这个智能体是否按预期工作”转化为可执行的检查和评分报告。用户可提供描述被测系统的配置文件,写明角色、工具、权限、数据来源及策略,再通过命令行运行检查;也可以接入自己的智能体进行测试。检查范围包括工具权限治理、提示注入、来源溯源和回答可靠性等问题。项目附带默认示例配置,便于观察报告如何呈现问题,但其中预设了缺陷,示例得分不能当作真实智能体的评估结果。若要开展反映实际系统的评估,应使用与被测智能体相符的自定义配置。

应用能力

多维度检查

提供涵盖工具权限治理、提示注入、来源溯源及回答可靠性等方面的检查,帮助团队定位智能体的具体风险。

接入自有智能体

支持通过 `--provider http` 或 `ChatProvider` 适配器连接真实智能体,而不只测试附带示例。

按实际场景配置测试

可用 YAML 或 JSON 配置被测系统的角色、工具、权限、数据来源和策略,使检查对应实际使用场景。

生成评分报告

运行检查后可生成可引用的评分报告,供团队查看检查结果并记录评估情况。

资源配置

应用版本

v4.0.0

运行环境

Windows

安装方式

命令安装包管理器安装

依赖环境

API KeyPython其他

安装与使用

  1. 准备与被测智能体相符的 YAML 或 JSON 配置文件,填写角色、工具、权限、数据来源和策略等信息。

  2. 通过 `--provider http` 或 `ChatProvider` 适配器接入需要测试的智能体。

  3. 运行 iFixAi 检查并查看评分报告;若只想了解报告形式,可先使用附带的默认示例。

使用案例

检查智能体的工具权限

使用场景团队准备评估能调用工具的 AI 智能体

在自定义配置中写明各角色可使用的工具与权限,接入智能体后运行检查,查看工具权限治理相关的评估结果。

演示风险报告

使用场景评估人员希望先了解评分报告如何呈现问题

使用项目附带的默认示例配置运行模拟检查,观察预设缺陷在报告中的呈现方式;不将示例得分用于评价真实智能体。

包含内容

ifixai-source.zip
README-中文安装说明.md
LICENSE-Apache-2.0.txt
SHA256.txt

常见问题

IFixAi 能测试自己的智能体吗?
可以。项目文档列出两种接入方式:通过 `--provider http` 连接,或使用 `ChatProvider` 适配器。评估真实系统时还应提供与其角色、工具和策略相符的配置。
不提供配置文件时,默认检查结果能代表我的智能体吗?
不能。默认配置描述的是一个预设了缺陷的示例系统,用于展示检查和评分报告;其中的失败结果不是对你的智能体作出的判断。
Full 模式可以使用附带的默认配置吗?
不可以。Full 模式明确拒绝默认配置,要求使用针对实际被测系统编写的配置文件。