Musubi发布开源内容审核决策模型PolicyLM-1.7B 封面图
技术进展

Musubi发布开源内容审核决策模型PolicyLM-1.7B

Heooo 10月07日05时03分 3 阅读

「Musubi推出轻量级决策模型PolicyLM-1.7B,专为实时内容审核设计,开放权重。该模型可将纯英文撰写的社区政策直接应用于消息判定,响应时间低于50毫秒,成本与速度接近主流平台审核分类器,且政策变更后无需重新训练,支持人工灵活迭代。」

在决策模型逐渐成为AI行业热点的背景下,一家名为Musubi的公司提出了一个新的应用方向:内容审核。该公司近日宣布推出轻量级决策模型PolicyLM-1.7B,专为实时审核场景设计,并以开放权重的方式发布。

这款模型的核心思路是,将用自然语言撰写的英文内容政策直接应用到消息判定上,整个推理过程耗时不到50毫秒。Musubi表示,该模型在成本与速度上,与目前支撑大多数社交平台审核工作的AI分类器系统相当,但由于它具备现代大语言模型的灵活性,因此不需要专门训练就能执行复杂的政策规则。

Musubi发布开源内容审核决策模型PolicyLM-1.7B

更关键的一点在于,当政策发生变化时,模型无需重新训练。这意味着制定政策的人员可以根据实际需要反复调整规则、快速迭代,而不必每次改动都触发一轮昂贵的模型训练流程。Musubi联合创始人兼首席AI官Filip Jankovic认为,这为平台管理者提供了一种主动标注内容的方式。

Jankovic表示,产品团队只是希望更好地理解平台上正在发生什么,尤其是在内容量呈指数级增长的当下。能够以一种高度可扩展、可定制的方式对全部内容进行标注,是非常有用的能力。

决策模型之所以在近期成为AI领域的热门话题,与Typesafe AI在9月发布的Jev密切相关,随后OpenAI和亚马逊也相继推出了各自的竞争性决策模型。与输出文本的常规模型不同,决策模型输出的是结果概率。在PolicyLM-1.7B这个案例中,模型输出的是二元判断,即内容是否属于某一类别。通过将模型输出限制在一组预先设定的选项内,决策模型能够比大语言模型运行得更快、成本更低,同时又保留了Transformer架构的灵活性。

Musubi发布开源内容审核决策模型PolicyLM-1.7B

决策模型的一个早期应用场景,是约束AI智能体的不当行为。因此,将同样的技术应用到人类行为的管理上,也就显得顺理成章。值得注意的是,Jankovic表示自己对决策模型的兴趣早于Jev出现,可以追溯到2024年一个名为GLiNER的项目,即通用命名实体识别模型,该项目已经采用了其中许多技术。

尽管如此,Musubi并不回避与Jev的比较。相反,这家公司乐于借助外界对决策模型的新一轮关注,让内容审核这一方向获得更多目光。其产品公告中写道,如果Jev吸引了你的注意,那么PolicyLM-1.7B就是同一类模型,专门针对内容审核进行训练,并且可以由你自己运行。

从技术路径上看,PolicyLM-1.7B把政策文本与待判定内容一起纳入模型处理流程,使得审核规则的表达不再依赖复杂的特征工程或专门标注数据。对于需要频繁调整社区规范、又要维持低延迟响应的平台而言,这种兼顾灵活性与效率的方案,或许会成为内容审核基础设施的一种新选择。开放权重的发布方式,也让开发者能够自行部署、测试并在此基础上进行二次开发。

# 决策模型 # 内容审核 # 开源模型

来源:Heooo AI工具导航