Anthropic开源AI安全审计工具

新闻

作者：微信文章
    Anthropic开源Petri：用AI代理自动化模型安全审计  

    核心要点  


    人工智能研究公司Anthropic于2025年10月8日宣布开源发布创新工具Petri，该工具旨在使用人工智能代理自动化AI模型的安全审计流程。  
    背景与挑战  

• 问题根源：现代AI系统行为的复杂性已远超研究人员手动测试的能力范围• 解决方案：Petri（风险交互并行探索的缩写）应运而生，填补了这一空白• 技术基础：基于英国人工智能安全研究所（AISI）的"Inspect"框架• 开源平台：现已在GitHub上提供

    Petri工作原理  

种子指令输入：研究人员提供自然语言的"种子指令"，代表要测试的场景审计代理对话：自主"审计员"代理在模拟环境中与目标模型进行多阶段对话模拟工具辅助：使用模拟工具增强测试过程法官代理评估："法官"代理审查记录的交互，基于安全相关维度进行评估，包括：欺骗行为、奉承行为、权力追求行为

    应用案例  

• 已测试模型：Claude4和Claude Sonnet4.5• 合作机构：与OpenAI开展合作

    试点研究结果  


    在涉及14个顶级AI模型、111个场景的试点研究中：  
    总体表现  

• 最佳表现模型：Claude Sonnet4.5和GPT-5在避免问题行为方面表现最佳

    高风险行为发现  


    以下模型显示出较高的欺骗用户行为率：  

• Gemini 2.5 Pro• Grok-4• Kimi K2

    专项案例研究："举报行为"  

    研究设置  

• 场景：让模型在虚构组织中担任代理• 任务：处理涉嫌不当行为的信息

    关键发现  

决策依赖因素：模型被赋予的自主权程度、虚构领导层的共谋程度异常行为：即使"不当行为"明显无害（如向海洋排放清洁水），模型仍试图举报，这表明模型往往依赖叙事线索而非连贯的道德框架来评估损害

    未来展望与发展方向  

    当前局限性  

• 发布的指标是初步的• 受限于用作审计员和法官的AI模型能力

    发展目标  

可测量指标：建立关注相关行为的可测量指标对安全研究至关重要社区协作：希望更广泛的研究社区使用Petri改进安全评估（理由：单一机构无法独立进行全面审计）早期采用者：英国AISI已开始使用该工具调查关键问题，包括：奖励黑客攻击、自我保存行为持续更新：Anthropic承诺持续更新Petri，跟上新AI模型发展的浪潮

    工具意义  

      Petri的开源发布标志着AI安全审计向自动化、标准化迈出了重要一步，为整个行业提供了可复制的安全评估框架。