形式化验证为AI可靠性注入数学确定性
商业动态

形式化验证为AI可靠性注入数学确定性

Heooo 06月17日22时22分 2 阅读

「Pramaana Labs获2700万美元种子轮融资,利用LEAN语言的形式化验证技术,为法律、税务等高风险领域提供可靠的AI推理系统。」

在企业级AI应用从试点走向生产的过程中,可靠性正成为最核心的挑战。当大语言模型(LLM)的幻觉和错误可能带来高昂代价时,一种源自数学证明领域的技术——形式化验证——开始进入AI开发者的视野。本周,初创公司Pramaana Labs宣布完成2700万美元种子轮融资,由Khosla Ventures领投,Accel、Boldcap、Nexus Venture Partners、Premji Invest和Unbound跟投。这家公司将专注于将形式化验证技术应用于AI系统,尤其针对法律、药物发现和税务准备等对准确性要求极高的垂直领域。

Pramaana的联合创始人兼首席执行官Ranjan Rajagopalan表示,这些领域天然适合形式化验证。以税法为例,它就像数学一样拥有大量需要遵守的规则。一旦将这些规则编码化,基于规则的推理就会变得确定。Pramaana的系统仍然运行在传统的LLM之上,保留了处理自然语言问题和解决复杂问题的灵活性。但在LLM之上增加了一个确定性验证层,确保LLM的输出经过严格检查。

这种将LLM引擎与确定性验证相结合的设计思路并不罕见,但Pramaana的独特之处在于它使用了形式化验证工具,具体来说是基于开源的LEAN编程语言。LEAN语言最初用于验证数学证明,其严谨的推理过程恰好可以约束LLM的随机性。Rajagopalan指出,法国CATALA项目已经展示了这种方法的可行性——该项目将法国大部分税收和福利系统形式化为可执行代码。

对于每个应用场景,Pramaana都会构建独立的LEAN风格形式化验证系统,并由领域专家监督。在税务领域,公司正与前美国国税局局长Danny Werfel合作;在网络安全和药物发现领域,来自印度理工学院德里分校、马德拉斯分校以及加州大学伯克利分校的教授负责监督系统的开发。

“世界上最难的问题并非不可解,而是未被形式化。”Rajagopalan表示,“每一个出错会让人付出健康、金钱或自由代价的领域,都有其规则。”现在,这些规则需要被系统地编码。

形式化验证为AI可靠性注入数学确定性

从技术架构来看,Pramaana的方案类似于在LLM外围构建一个数学验证层。当用户提出一个税务计算或药物分子筛选问题时,LLM首先给出一个初步回答,然后形式化验证器会基于编码后的规则库对答案进行逐条校验。如果发现矛盾或错误,系统会拒绝输出或要求LLM重新推理。这种机制大大降低了AI在关键任务中产生幻觉的概率。

然而,形式化验证的挑战在于规则库的构建成本。每个垂直领域都需要由专家手工将领域知识转化为形式化逻辑表达式。Pramaana计划通过招募顶尖学者和行业专家来加速这一过程。公司目前已经组建了来自学术界和监管机构的顾问团队。

从市场角度,Pramaana瞄准的正是当前AI落地最困难的环节:高风险决策场景。企业客户在尝试部署AI时,往往因为无法保证输出可靠性而止步于试点阶段。形式化验证提供了一种可审计、可追溯的解决方案,使得AI系统能够满足合规要求。这或许解释了为何Khosla Ventures等顶级风投愿意在种子轮就投入近3000万美元。

随着AI向医疗、法律、金融等监管严格领域渗透,类似Pramaana这样的确定性增强技术可能会成为标配。它不追求让LLM变得更聪明,而是确保LLM在规则明确的领域里不犯低级错误。这或许正是AI从“有趣”走向“可信”的关键一步。

# 形式化验证 # AI可靠性 # LLM # 种子轮融资 # LEAN语言

来源:Heooo AI工具导航