giskard

Giskard: 先进的人工智能系统评估与测试框架

Giskard是一个开源的Python库,专门用于自动检测人工智能应用中的性能、偏见和安全问题。该库涵盖了从基于LLM的应用(如RAG代理)到传统的表格数据机器学习模型等多种AI系统。

强大的扫描功能

Giskard提供了一个强大的扫描功能,可以自动评估基于LLM的代理是否存在性能、偏见和安全问题。它能够检测到的问题包括:

• 幻觉
• 有害内容生成
• 提示注入
• 鲁棒性问题
• 敏感信息泄露
• 刻板印象和歧视
• 以及更多...

RAG评估工具包(RAGET)

对于测试RAG应用,Giskard还提供了更深入的评估工具 - RAGET(RAG Evaluation Toolkit)。RAGET可以:

• 自动从RAG的知识库生成测试集,包含问题、参考答案和参考上下文。
• 为RAG代理的每个组件计算分数,通过聚合代理在不同问题类型上的答案正确性来评估。

RAGET评估的组件包括:

• Generator: RAG中用于生成答案的LLM
• Retriever: 根据用户查询从知识库获取相关文档
• Rewriter: 重写用户查询以使其更贴合知识库或考虑聊天历史
• Router: 根据用户意图过滤用户查询
• Knowledge Base: RAG用于生成答案的文档集

广泛的兼容性

Giskard可以与任何模型和环境无缝集成,并可与各种流行工具配合使用。

快速上手

使用Giskard非常简单:

1. 构建LLM代理
2. 使用Giskard扫描模型问题
3. 为RAG应用自动生成评估数据集

通过简单的几步操作,用户就可以全面评估和测试他们的AI系统。

开放社区

Giskard欢迎AI社区的贡献。用户可以加入Discord社区,获取支持并参与讨论。项目还鼓励用户在GitHub上为其加星,以帮助项目获得更多关注。

此外,Giskard还提供赞助选项。通过月度赞助,赞助者可以获得徽章、在README中展示公司logo,并优先处理bug报告。对于一次性赞助,Giskard团队可提供咨询项目参与、研讨会或公司演讲等服务。

总之,Giskard是一个功能强大、使用便捷、社区活跃的AI评估与测试框架,为确保AI系统的质量和安全提供了重要保障。