Safeworld融资超1200万美元,专攻生成式AI机器人安全评测 封面图
行业资讯

Safeworld融资超1200万美元,专攻生成式AI机器人安全评测

Heooo 10月05日21时03分 3 阅读

「卡内基梅隆大学安全AI实验室主任赵鼎联合创办的Safeworld结束隐身状态,完成超1200万美元种子轮融资,由Shine Capital与a16z Speedrun领投。该公司在充满真实人体模型的仿真环境中评估生成式AI机器人控制系统,用数千个场景检验碰撞、摔倒等风险,为概率型机器人架构提供第三方安全验证。」

机器人行业正在经历一次架构层面的转向:越来越多的厂商把控制权交给生成式AI模型。这一变化带来了一个棘手的问题,传统算法是可预测的,而基于概率的生成式架构并非如此。当一台全新出厂的人形机器人走进工厂、仓库乃至家庭,人们凭什么相信它不会伤到人?

卡内基梅隆大学安全AI实验室主任赵鼎(Ding Zhao)几乎整个职业生涯都在研究这个问题。如今,他与资深创业公司高管Kyle Wong、机器学习工程师Simo Rachidi共同创办了Safeworld,试图把这一问题变成一门生意。该公司今日正式结束隐身状态,宣布完成超过1200万美元的种子轮融资,由Shine Capital与a16z Speedrun领投,Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors与SV Angel参与投资。

Safeworld融资超1200万美元,专攻生成式AI机器人安全评测

赵鼎把这一挑战拆成两部分。他表示,所谓的安全挑战,一是针对先进生成式AI的概率评估,也就是你如何为一个概率系统承保风险;二是信任问题,而要把机器人真正部署出去,这两者缺一不可。换句话说,光有技术上的风险评估还不够,还得让厂商、客户和监管方都愿意相信这个评估结论。

a16z Speedrun合伙人Jonathan Lai对媒体表示,建立行业安全标准的时机就是现在,也就是机器人正在被设计和部署的阶段。等到机器人已经进入家庭、撞到孩子并造成安全事件,那就太晚了。这番话点出了Safeworld的定位:它并不制造机器人,而是为机器人厂商提供一套独立的、第三方的安全验证能力。

Safeworld的技术专长,是在充满真实人体模型的仿真环境中评估机器人的控制系统。这与特斯拉或Wayve等自动驾驶公司面临的挑战类似,后者必须确保车辆能够对道路上各种突发状况作出恰当反应。但赵鼎认为,机器人面对的难度更高,因为它们工作在非结构化环境中,而且每一处设施的安全标准都不尽相同。

Kyle Wong举了一个最常见的例子:如果某座工厂里存在一个视觉盲区,那么机器人需要以什么样的速度行驶,或者需要多长的制动距离,才能确保不会撞到人?如果一个人正抱着箱子走过来,机器人到底能不能检测到这个人?这些问题无法靠纸面推演回答,只能靠大量的场景测试来验证。

Safeworld融资超1200万美元,专攻生成式AI机器人安全评测

为了回答这些问题,Safeworld会在Genesis或MuJoCo这类仿真模型中构建那个盲区的数字版本,插入被评估机器人的仿真体,并用机器人真实的软件来驱动它,然后运行成千上万个场景,让人体模型与机器人相遇。赵鼎指出,这件事比看上去更难,因为人本身就是不可预测的。

Wong补充说,绊倒和摔倒也是他们大量用仿真测试的情形之一。否则,就得让人真的不停地在机器人面前绊倒、摔跤,而这在实践中几乎无法长期坚持。仿真环境的价值恰恰在于,它可以低成本地重复那些在现实中危险、昂贵或难以复现的极端情况。

不可否认,Safeworld正在搭建的平台与机器人厂商内部使用的工具有一定相似之处。但几位创始人相信,除了自身在概率评估与仿真方面的专业积累之外,机器人制造商最终会需要一个第三方来验证自己的工作。原因不难理解:安全结论如果只由制造方自己给出,很难获得客户与社会的充分信任;而一个独立机构出具的概率化风险评估,才有可能成为行业通用的安全凭据。

从更大的视角看,Safeworld的出现反映出一个正在成形的行业共识:生成式AI让机器人变得更聪明、更通用,同时也让它们的边界行为更难被穷举和预测。在这条技术路线上,安全评测不再是产品发布前的一道形式化流程,而会逐渐演化为与模型能力同等重要的基础能力。

# 生成式AI # 机器人安全 # 仿真评测

来源:Heooo AI工具导航