谷歌首创双盲AI评估技术保障基准公正

谷歌近日宣布推出全球首个针对前沿专有AI模型的双盲评估技术，旨在解决AI基准测试中长期存在的“基准污染”问题。该技术将外部评估限制在加密的“黑箱”环境中，确保模型无法提前获取测试信息来优化性能，从而提升评估结果的可信度。

就像学生考前不能提前看到试题才能真实反映水平一样，当前AI模型评估也面临同样的困境。如果模型在训练或调优阶段接触过测试题目，即所谓的“基准污染”，那么后续的评估分数将失去参考价值。谷歌此次推出的双盲评估机制，正是为了从技术层面彻底杜绝这一风险。

据悉，谷歌联合新加坡人工智能安全研究所、OpenMined、AVERI以及MLCommons，在隐私保护环境中对Gemini Flash Lite模型进行了机密基准测试。这一合作集合了学术界、开源社区和行业标准组织的多方力量，旨在推动AI评估流程的规范化和可信化。

传统高风险外部评估长期面临两难选择：要么评估方需要交出测试提示词，存在模型方提前看到题目的风险；要么模型方被迫交出模型权重，面临知识产权泄露的隐患。谷歌通过其云保密计算产品组合中的Confidential Space技术，巧妙地化解了这一矛盾。借助加密验证，评估数据和专有模型分别对各自所有者保持隐私——评估方无法看到Gemini模型权重，谷歌同样无法获取评估方的测试提示词。

这种加密手段不仅能有效防止基准污染，还能在测试过程中保护敏感数据，尤其适用于网络安全或政府机构开展的高敏感度评估场景。双盲评估让独立机构得以在不损害数据主权和安全的前提下，对先进AI模型进行严格而可信的测试。

谷歌表示，希望这一试点能够为模型监督开辟全新方向，帮助整个行业构建更安全、更可靠、更受公众信任的AI系统。随着AI模型能力的持续提升，客观公正的评估机制将成为行业健康发展的关键基石。