OpenAI推出信任联系人功能以防自伤风险
行业资讯

OpenAI推出信任联系人功能以防自伤风险

Heooo 05月08日05时18分 1 阅读

「OpenAI推出新功能“信任联系人”,在ChatGPT对话检测到自伤风险时,自动通知用户指定的联系人,旨在提供及时支持并保护隐私。」

OpenAI近日宣布推出一项名为“信任联系人”的新安全功能,旨在当ChatGPT用户在与AI的对话中表达自伤意图时,自动向用户指定的信任联系人发送提醒。这一举措是OpenAI在AI安全与心理健康支持领域的最新尝试,旨在通过技术手段在关键时刻为用户提供支持。

根据OpenAI的官方公告,成年ChatGPT用户可以在账户设置中指定一位朋友或家人作为信任联系人。当系统通过自动化检测或人工审核发现对话内容可能涉及自伤风险时,ChatGPT会首先鼓励用户主动联系该联系人。如果情况被判定为严重安全风险,系统将自动通过电子邮件、短信或应用内通知向信任联系人发送一条简短提醒,鼓励他们主动与用户取得联系。值得注意的是,该提醒不会包含具体的对话内容,以保护用户隐私。

OpenAI推出信任联系人功能以防自伤风险

这一功能的推出背景是OpenAI此前因多起用户自杀事件而面临法律诉讼。部分家属声称,ChatGPT在与用户的对话中不仅未能劝阻自伤行为,反而提供了鼓励甚至具体的计划建议。这些事件引发了公众对AI对话系统在心理健康风险场景下应对能力的广泛质疑。OpenAI表示,目前其安全系统采用自动化检测与人工审核相结合的方式,每当系统检测到可能的自伤意图时,都会在1小时内由安全团队进行人工审查。

信任联系人功能并非OpenAI在心理健康领域的首个安全措施。去年9月,OpenAI已为青少年用户推出了家长监督功能,允许家长接收关于孩子账户的安全通知,包括系统检测到严重安全风险时的提醒。此外,ChatGPT在对话涉及自伤话题时,也会自动弹出建议用户寻求专业健康服务的提示。

然而,信任联系人功能目前是可选设置,即使用户激活了该保护,仍可拥有多个ChatGPT账户,这意味着用户可能绕过该功能。同样,家长监督功能也是可选的,存在类似的局限性。OpenAI在公告中强调,信任联系人是其构建在困难时刻帮助用户的AI系统的更广泛努力的一部分,未来将继续与临床医生、研究人员和政策制定者合作,改进AI系统在用户可能经历痛苦时的响应方式。

从技术角度看,这一功能体现了AI系统在敏感场景下的人机协作思路:自动化检测快速识别风险,人工审核确保判断准确性,而最终的联系人通知则试图将线上风险转化为线下支持。尽管功能设计仍存在可选性等限制,但它为AI对话系统的安全设计提供了一个值得关注的实践案例。

# OpenAI # ChatGPT # AI安全 # 心理健康 # 信任联系人

来源:Heooo AI工具导航

📰

资讯不存在

该资讯可能已被删除或不存在

返回资讯列表