科技与AI今日必读
NIST推出人工智能技术评测项目AITE,首期以隔离环境测试三类视觉语言模型任务
NIST于7月27日推出AI技术评测项目AITE
美国国家标准与技术研究院在2026年7月27日宣布推出人工智能技术评测项目AITE,由其技术测试与评估部门主办,为研究者提供一个受控环境,用来衡量AI模型在不同数据集和不同领域上的表现。首期聚焦三类任务,均为大型视觉语言模型的图像分析,分别落在量子科学、基因组学和公共安全场景。项目设两类参与者:数据提供方贡献原创数据集和有实际意义的任务,换取主流模型在其数据上的性能测量结果;模型提供方提交系统接受测试,得到自家模型在各数据集和各指标上的相对位置。AITE使用隔离环境执行评测,用以避免训练数据与测试数据相互污染,官方称这样才能做到严格而客观的评估。项目对所有同意参与协议者开放,NIST并表示后续会在三类初始任务之外继续增加新任务。
公开基准被模型厂商反复优化之后,分数的可信度不断下降,数据隔离是少数还能恢复可比性的做法。NIST把数据方和模型方分成两种角色互换收益,相当于给高质量私有数据集找到了一条不必公开就能参与评测的路径。首期选量子科学和基因组学,也说明评测重心正从通用聊天能力转向专业领域的实际可用性。
对模型厂商,多了一个不依赖公开题库的外部参照,营销口径与实测结果的差距可能更容易被看见;对持有专业数据的机构,贡献数据集可换取一次横向的模型性能测量。评测结果若能形成序列,采购方在专业场景选型时的依据会比现在的公开榜单更实。
后续关注
关注AITE首批参与的模型与数据集名单、结果公布形式和时间,以及三类初始任务之外新增哪些领域。
信息来源
GFT Finance 整理归纳公开信息并总结要点,不构成投资建议。数据以来源原文为准。