行业资讯

OpenAI莉莉计划曝光:人工审阅对话优化模型

Heooo 09月16日03时01分 15 阅读

「404 Media 披露 OpenAI 内部代号“莉莉计划”的人工评估项目,提示词审核员会查看匿名化后的 ChatGPT 真实对话,按切题度、话术风格等维度打分,时薪据称超过 50 美元。报道指出匿名化环节可能仍有遗漏,且该审核不核查事实准确性,与安全审查彼此独立。」

据 AirSS 与 IT之家 报道,404 Media 披露了 OpenAI 内部一项代号为“莉莉计划”(Project Lily)的人工评估项目,首次较为完整地呈现了 ChatGPT 聊天记录被人工审阅的整套流程。该项目从侧面说明,在模型迭代过程中,除了技术升级与训练数据集优化之外,仍然需要相当数量的人类参与其中。

从事这项工作的人员被称为“提示词审核员”。他们的任务并不复杂:查看经过匿名化处理的真实用户对话记录,评判 ChatGPT 回复的质量,包括回答是否切题,以及文本中是否过度出现“AI 式话术”、居高临下的说教语气、表情符号和谄媚口吻。操作指引还规定,回复不得出现拟人化表述,也不允许编造“个人经历”。举例来说,ChatGPT 可以回答“我查到了一些相关信息”,但不能写成“身为一名厨师,我喜欢……”,也不能写成“我明白这种感受”。

从获取到的项目文档、Slack 工作群组记录、真实对话样本以及用于给对话分级的评分体系来看,莉莉计划为回复质量设定了一套可操作的打分维度。有审核员表示,这份工作“十分机械重复”,但时薪据称超过 50 美元,折合人民币逾三百元,对于难度不算高的工作而言报酬相当可观。不过该审核员也提到,项目的操作指引一直在改动,不同版本之间经常自相矛盾。

在数据处理环节,聊天记录据称会先经过一轮匿名化处理,审核人员看不到用户名。但 OpenAI 向 404 Media 承认,过滤环节依然可能漏掉部分个人数据,简短会话出现这类问题的概率更高。交给审核人员的会话版本还会附带一份“用户记忆摘要”,其中汇总了用户的提问、兴趣偏好与上下文信息,甚至可能包含位置信息。按照报道的说法,绝大多数用户并不知道自己的聊天内容会被其他人阅读。

值得注意的是,莉莉计划并不专门核查回答内容在事实上是否准确,仅会标记那些显而易见的错误。这意味着至少还有另外一支或多支团队在开展独立的效果评估。与之类似,这套评分审核与排查用户是否存在伤害他人或伤害自身意图的人工安全审查,也属于两套彼此独立的流程。

在用户侧,绝大多数面向普通用户的聊天机器人都带有类似设置:“允许使用你的对话记录改进产品”,而且几乎所有聊天产品的该开关默认处于开启状态,不少付费订阅方案也不例外。ChatGPT 面向企业版、商业版以及教育版客户时,该项设置默认关闭。但这个开关不具备回溯效力,已经存入数据库的历史聊天记录会继续保留,除非用户主动申请删除。删除操作同样无法追溯,即便用户删除了对话,对应内容或许早已被抓取、完成匿名处理并留存于某个数据集当中。

404 Media 就此发起问询时,OpenAI 起初没有回应用户是否被明确告知聊天记录可能交由人工审阅,之后仅提供了一份常见问题页面链接,该页面提到出于模型优化目的会开展人工审核。经核实,这份公示至少已存在两年,实际年限可能更久。在深度报道发布之后,OpenAI 修改了帮助页面,补充说明用户如何选择退出数据收集,但修改后的文档依旧没有提及会有工作人员人工读取会话内容。

这种做法在各大服务商中普遍存在。谷歌的 Gemini 在隐私中心明确写明“部分保存的聊天记录可能由人工审核”;Anthropic 也持有相似立场,并专门开设网页说明该事项;而 Perplexity 的态度尚不明确,其隐私政策既没有确认,也没有否认工作人员可以访问聊天日志。对开发者与用户而言,莉莉计划的价值在于它揭示了一个常被忽视的事实:大模型的进步并不只是算法与算力的竞赛,人工评估、数据治理与透明度设计同样是整个链条中不可或缺的一环。

# OpenAI # ChatGPT # 模型评估 # 数据隐私

来源:Heooo AI工具导航