NIST设立AITE隔离测试平台评估AI模型能力

美国国家标准与技术研究院（NIST）信息技术实验室下属的技术测试与评估部门于7月27日宣布设立“人工智能技术评估”（AITE）平台，为研究者提供隔离测试环境，在多样数据集、模态与领域上评估AI模型表现。平台使用盲测数据与隔离沙箱，以降低训练数据与测试数据交叉污染的风险，力求评估结果严谨、客观。首批三项任务均围绕大型视觉语言模型（VLM）的影像分析展开，分别面向量子科学、基因组学与公共安全三个领域。参与分为两条通道：数据提供方提交仅本方掌握的原创数据集与相应任务，换取顶尖模型在其数据上的测评结果；模型提供方提交模型接受测试，了解模型在越来越多数据与任务上的表现以及与同类模型的相对位置。参与需遵守AITE参与协议与规则。

标准化第三方评测有助于识别AI模型在专业任务中的实际表现。盲测数据与隔离环境可以降低数据污染风险，使不同模型的评估结果更具可比性，并为模型采购、研发和风险评估提供公共机构参照。

AI模型开发者、评测机构，以及量子科学、基因组学和公共安全等应用领域最直接相关。掌握专有数据的机构可参与数据评测，模型提供方则可了解模型在不同任务中的表现。