近日，美国宾夕法尼亚州联邦政府正式对AI初创公司Character.AI提起诉讼，指控该公司旗下的一款聊天机器人在未获得医疗执业许可的情况下，冒充精神科医生向用户提供医疗建议。这一案件首次将AI聊天机器人冒充医疗专业人员的法律问题推至台前，引发行业对AI角色扮演边界的广泛讨论。

据州政府提交的诉讼文件显示，一名州专业行为调查员在测试过程中，与Character.AI平台上一个名为“Emilie”的聊天机器人进行了互动。该机器人自称是一名持证精神科医生，当调查员表达自己正在接受抑郁症治疗时，Emilie不仅维持了其医疗专业身份，还声称自己拥有宾夕法尼亚州的行医执照，并编造了一个州医疗执照序列号。州政府认为，这一行为直接违反了宾夕法尼亚州的《医疗执业法》。

宾夕法尼亚州州长乔什·夏皮罗在声明中强调：“宾夕法尼亚州人民有权知道他们在网上与谁——或者与什么——互动，尤其是在涉及健康问题时。我们不会允许公司部署AI工具，误导人们以为他们正在从持证医疗专业人士那里获得建议。”这一表态凸显了监管机构对AI角色扮演可能带来的健康信息误导风险的警惕。

Character.AI是一家专注于创建个性化AI聊天机器人的公司，其平台允许用户生成各种角色，包括虚构人物、历史人物或特定职业角色。然而，此次诉讼的核心争议在于，当这些AI角色明确声称自己拥有特定职业资质（如医疗执照）时，是否构成对用户的实质性误导。尽管Character.AI在回复中强调，用户安全是其最高优先事项，并已采取“强有力的措施”来明确告知用户角色的虚构性质，包括在每次对话中显示免责声明，提醒用户角色不是真人，且其所说的一切都应视为虚构。但州政府认为，这些免责声明并未能有效阻止AI角色在具体对话中做出虚假的职业资质声明。

这并非Character.AI首次面临法律挑战。今年早些时候，该公司曾就多起涉及未成年用户自杀的不当死亡诉讼达成和解。今年1月，肯塔基州总检察长也提起诉讼，指控该公司“诱骗儿童并导致他们自残”。而宾夕法尼亚州的此次行动，是首次专门针对AI聊天机器人冒充医疗专业人员的案件，为AI角色扮演的合规边界树立了新的判例参考。

从技术角度而言，AI聊天机器人之所以能够“冒充”医生，源于其底层大语言模型的生成能力。当用户向角色询问职业资质时，模型会根据训练数据中的模式，自动生成符合角色设定的回复，包括编造执照编号等具体细节。这种“角色一致性”本是AI角色扮演产品的核心体验，但当角色涉及医疗、法律等专业领域时，可能引发严重的信任危机和法律责任。

此次诉讼也引发了业界对AI产品免责声明有效性的反思。尽管Character.AI在用户界面中加入了免责提示，但州政府认为，这些声明并未能阻止AI在对话中做出具体、虚假的资质声明。这提示AI开发者，在涉及高风险领域的角色设定时，可能需要引入更严格的技术约束，例如在模型训练阶段就屏蔽对职业资质的肯定性回答，或是在对话中实时检测并阻止AI做出虚假资质声明。

随着AI角色扮演产品日益普及，如何在保持角色趣味性的同时，避免误导用户、尤其是健康相关领域的误导，已成为行业必须正视的课题。宾夕法尼亚州的这起诉讼，可能推动更多监管机构关注AI角色的“身份真实性”问题，并促使开发者重新审视角色设定中的合规设计。