CAISI联合英国AI安全研究所与Meridian Labs发布评测日志审阅方法及开源工具案例

美国国家标准与技术研究院下属的人工智能标准与创新中心（CAISI）于2026年2月18日发布研究博客，介绍如何借助AI工具审阅智能体评测产生的完整对话和操作日志。相关工作由CAISI、英国人工智能安全研究所与Meridian Labs合作完成，并形成联合研究论文。论文提出一套多步骤流程，涵盖日志数据准备、扫描器设计和结果验证；扫描规则需要经过反复迭代和校验。研究还介绍了Inspect Scout的实施案例。Inspect Scout是英国人工智能安全研究所与Meridian Labs开发的开源日志分析框架。文中的示例和实施注意事项汇总了多家评测方分析日志的经验，旨在帮助评测机构检查模型执行较长任务时采取了哪些操作，而不只查看最终得分。

智能体任务往往包含多轮对话、工具调用和连续操作，最终得分只能显示任务结果，不能完整解释模型怎样取得分数。把日志准备、扫描和验证整理成可复用流程，有助于发现绕过规则或其他异常行为，也让评测结论更容易复查。

评测实验室和AI安全机构可以参考这套流程，并评估Inspect Scout是否适合自己的日志分析工作。若不同机构采用相近的审阅步骤和验证方法，评测过程会更容易比较和复核，但实际效果仍取决于扫描规则及其验证质量。