TypeSafe AI发布Jev：概率输出替代文本生成

TypeSafe AI发布了一款名为Jev的新型Transformer模型，它尝试绕开大语言模型（LLM）的文本生成范式，转而以概率输出和“校准决策”来服务软件自动化场景。这家公司的创始人Diogo Almeida曾是OpenAI的研究员，也是RLHF技术的参与者之一。他在两年前离开OpenAI创办TypeSafe AI，其核心判断是：围绕人类语言优化的模型，并不适合计算机自动化场景。

Jev最大的特点是不生成文本，而是直接输出概率。这意味着它无需承担传统LLM的幻觉问题和冗余生成成本。在计费方式上，该模型的输出标记免费，输入则按十亿级标记计费，与主流按输入、输出双向计费的LLM形成了明显差异。

在开发者的实际测试中，Jev的表现颇具说服力。Vercel使用Jev替代OpenAI模型进行命令安全分类后，速度提升了5至18倍，且准确率更高。在Bryo AI的测试中，Jev的准确率略低于Gemini，但成本低10至20倍。这种“用概率换效率”的路线，让它在对延迟和成本敏感的自动化任务中具备吸引力。

除了分类任务，Jev还能用于LLM代理监控、越狱检测和模型路由。模型路由是其中颇具想象力的用法：通过低成本、实时的概率判断，先确定当前任务究竟需要哪一档模型，再把请求转发给合适的模型处理，从而在整体上压低推理开销。

在训练方法上，TypeSafe称Jev采用完全合成数据训练，并使用“基于校准决策的强化学习”。这与主流的文本生成式训练目标不同，模型优化的方向不是“说得像人”，而是“判断得准”。

目前Jev尚无直接竞品，但业内人士预计，随着低成本决策模型的应用价值逐步显现，相关竞争将逐步展开。对于那些并不需要生成自然语言、只需要一个稳定判断结果的软件系统而言，这类不生成文本的Transformer模型或许会成为新的默认选项。