前Meta新闻主管创Forum AI评估大模型
行业资讯

前Meta新闻主管创Forum AI评估大模型

Heooo 05月14日14时18分 1 阅读

「Campbell Brown创立Forum AI,通过专家构建基准并训练AI裁判评估基础模型在高风险话题上的表现,旨在解决AI信息准确性问题。」

Campbell Brown的职业生涯始终围绕着寻求准确信息展开。从知名电视记者,到Facebook(现Meta)首位且唯一的新闻主管,她见证了信息传播方式的巨大变革。如今,当人工智能正以前所未有的速度重塑人们获取信息的渠道时,她从中看到了历史重演的风险。这一次,她没有等待别人来解决问题,而是创立了Forum AI,一家专注于评估基础模型在高风险话题上表现的公司。

Forum AI的理念清晰而直接:针对那些“没有明确是非对错、充满模糊、微妙和复杂性”的高风险话题——例如地缘政治、心理健康、金融和招聘——找到全球最顶尖的专家,由他们来设计评估基准(benchmarks),然后训练AI裁判(AI judges)来大规模地评估各个基础模型的表现。据Brown介绍,Forum AI的目标是让AI裁判的判断与人类专家的共识达到约90%的一致性,而他们目前已经能够达到这一阈值。

Brown在近期于旧金山举行的StrictlyVC活动中与TechCrunch的Tim Fernholz分享了Forum AI的起源。这家成立于17个月前的公司,其创业灵感来源于一个具体的时刻:“ChatGPT首次公开发布时,我还在Meta工作,”她回忆道,“我很快意识到,这将成为所有信息流动的漏斗。而且它并不那么好。”对于她自己的孩子来说,这一发现甚至带有一丝存在主义色彩。“如果我们不找到修复它的方法,我的孩子会变得非常愚蠢,”她当时这样想。

前Meta新闻主管创Forum AI评估大模型

令Brown感到沮丧的是,准确性似乎并非任何人的首要任务。她指出,基础模型公司“极其专注于编码和数学”,而新闻和信息则要困难得多。但她认为,困难并不意味着可以忽视。事实上,当Forum AI开始评估领先的模型时,结果并不乐观。她举例说,Gemini会从中国共产党的网站上提取“与中国无关的故事”的信息,并指出几乎所有模型都存在左倾的政治偏见。此外,还有大量微妙的失败,包括缺失上下文、缺失视角、对论点进行稻草人攻击而不加承认。“还有很长的路要走,”她说,“但我也认为有一些非常简单的修复方法可以极大地改善结果。”

Brown在Facebook的多年经历让她亲眼目睹了当一个平台为错误的东西进行优化时会发生什么。“我们尝试的很多事情都失败了,”她对Fernholz说。她建立的事实核查项目如今已不复存在。她从中得到的教训是,即使社交媒体对此视而不见,但为追求用户参与度而进行优化,对社会而言是糟糕的,也让许多人变得更不理智。她希望人工智能能够打破这个循环。“现在,它可能走向任何一种方向,”她说;公司可以给用户他们想要的东西,也可以“给人们真实和正确的信息”。Forum AI的尝试,正是试图为后一种可能性提供技术支持和评估标准,推动AI行业在信息准确性上做出更有意义的改进。

# AI评估 # 基础模型 # 信息准确性 # Forum AI # Campbell Brown

来源:Heooo AI工具导航

📰

资讯不存在

该资讯可能已被删除或不存在

返回资讯列表