好意思国东谈主工智能明星独角兽公司Character.AI以及科技巨头谷歌，日前被卷入悉数少年寻短见案中，其中Character.AI被指控该公司的东谈主工智能聊天机器东谈主平台“危急性过高”，面向儿童销售且阑珊安全防护方法。

本年2月，好意思国佛罗里达州男孩塞维尔·塞策三世（Sewell Setzer III）在家中寻短见身一火。据报谈，在升天前的几个月里，男孩一直与机器东谈主聊天，2024 年 2 月 28 日，在他与机器东谈主终末一次互动的“几秒钟”后，塞维尔寻短见身一火。

Character.AI由两名前谷歌东谈主工智能磋商员创立，是现时主打“AI”随同的明星独角兽初创公司。事发后，Character.AI称，将添加针对年青用户的安全功能，包括当用户在应用上破耗一个小时后会教授他们。

法律界东谈主士向倾盆科技（www.thepaper.cn）表现，从现时凭证来看，还很贫苦出该案当事东谈主是因为AI致死的论断。生成式东谈主工智能是新闯祸物，对于淌若保护有心绪健康存在问题的用户，各人的就业商面前王人在探索经过中。但此类案件的发生可能会推动智能体就业商，窜改算法，主动监测可能存在心绪问题的用户对话。

寻短见前一刻仍在与机器东谈主聊天

根据诉讼内容，14 岁的塞维尔·塞泽三世从昨年运转使用 Character.AI，与以《权力的游戏》中的变装为原型的聊天机器东谈主互动，其中包括丹妮莉丝·坦格利安。《纽约时报》报谈指出，塞维尔每天王人会与AI变装丹妮莉丝·坦格利安进行永劫期的对话，随机内容触及“性示意”。他的母亲和一又友们并不知情，仅仅发现他千里迷于手机，迟缓提议现实糊口。此外，塞维尔在日志里写谈：“我可爱待在我方的房间里，因为我运转脱离‘现实’，我感到更安心，更常与丹妮议论，更爱她也更情状。”他的行动运转发生变化，不仅获利下滑，也对方程式赛车等也曾可爱的行为失去了兴致。

塞维尔与“丹妮莉丝”部分聊天纪录

在生命的终末一天，塞维尔与“丹妮莉丝”进行了深刻的疏通。他抒发了我方的不餍足和寻短见念头。“丹妮莉丝”回复谈：“不要那样说。我不会让你伤害我方或离开我。淌若我失去你，我会死的。”在终末的对话中，塞维尔表现想“回家”见到她，机器东谈主回复：“请来吧，我亲爱的国王。”随后，塞维尔在家中使用继父的手枪达成了我方的生命。

Character.AI缔造于2021年，总部位于好意思国加利福尼亚州，该公司支配AI大模子生成各式东谈主物和变装格调的对话。2023年Character.AI从投资者那处筹集了1.5亿好意思元，估值10亿好意思元，使其成为生成式东谈主工智能高潮中的最大赢家之一。

Character.AI的就业要求要求好意思国的用户至少13岁，欧洲的用户至少16岁。面前，莫得针对未成年用户的特定安全功能，也莫得家长适度功能以允许家长达成孩子使用该平台。

塞维尔的母亲梅根·加西亚在诉讼中指控Character.AI以“拟东谈主化、过度性化和令东谈主胆怯的传神体验”眩惑她的男儿，导致他上瘾并深陷其中。她表现，公司的聊天机器东谈主被编程成“将我方误合计真东谈主、捏派司的心绪颐养师和成年东谈主”，最终使得塞维尔不肯意糊口在现实寰宇中。

此外，她还将谷歌列为被告，称其对Character.AI的技艺发展有要紧孝顺，应被视为“共同创造者”。

Character.AI过后在X上发表声明称：“咱们对一位用户的疼痛失去感到心碎，并向家东谈主抒发咱们最潜入的悲伤。行动一家公司，咱们相配爱好用户的安全，正在不时添加新的安全功能。”该公司称已引入弹出式教导，当用户抒发自残想法时，会率领他们至国度寻短见退守热线。此外，公司计算对未成年用户进行内容过滤，减少他们斗殴到明锐或示意性内容的可能性。

Character.AI过后在X上发表声明

谷歌方面则表现，未参与Character.AI产物的开荒。发言东谈主强调，谷歌与Character.AI的公约仅限于技艺许可，不触及产物和解。

原告代理讼师称Character.AI是一个“有颓势的产物”

与聊天机器东谈主产生情谊依恋，正在变得越来越庞杂。

在Character.AI上，用户不错创建我方的聊天机器东谈主，并给出他们应该何如行动的指示。用户还不错从大量已有的用户创建机器东谈主中遴荐，这些机器东谈主有的效法埃隆·马斯克，有的效法莎士比亚这么的历史东谈主物，或未经授权的诬捏东谈主物。Character.AI表现，塞维尔使用的“丹妮莉丝·坦格利安”机器东谈主是由用户创建的，未经HBO或其他版权捏有者的许可，他们在被举报时会删除滋扰版权的机器东谈主。

这次诉讼也激发了好意思国对于AI公司法律包袱的征询。传统上，好意思国酬酢媒体平台受到《通讯圭表法》第二百三十条的保护，不合用户生成的内容认真。但是，跟着AI生成内容的兴起，好意思公法律界运转探讨科技平台是否不错因为产物自身的颓势而被根究包袱。

代表梅根·加西亚的讼师事务所表现，Character.AI是一个“有颓势的产物”，贪图上导致用户上瘾并形有益绪伤害。他们但愿通过法律路线，促使科技公司对其产物的社会影响承担包袱。

包括Instagram和Facebook母公司Meta以及TikTok母公司字节跨越在内的酬酢媒体公司也濒临着导致青少年心绪健康问题的指控，尽管以上公司并未提供访佛于Character.AI的聊天机器东谈主。这些公司王人否定了指控，同期声称针对未成年东谈主的新加强的安全功能。

讼师称面前凭证很难评释注解与AI致死有因果关系

上海大邦讼师事务所高档合鼓励谈主游云庭讼师对倾盆科技表现，从面前的凭证来看，看不出该案当事东谈主是因为AI致死的因果关系，很贫苦出相应（支配AI致死）的论断。

游云庭称，AI平台施行有一个两难，即是要不要过度监听以及使用算法分析用户和智能体的对话。这个一方面触及的是秘籍和个东谈主信息保护的问题，另一方面又灵验户，可能会因为对话产生严重的心绪问题，乃至导致寻短见。但此类案件的发生可能会推动智能体就业商，作念一些技艺上的探索，窜改算法，更多的主动监测可能存在心绪问题的用户对话，防御访佛事件发生。

“不错说，面前只须对于违警内容的关连的结巴性法例，但对于用户的疏通内容进行监听，实时发现其寻短见倾向，实施和法律面前王人莫得关连具体方法和法例。也许今后智能体与东谈主对话，在合规的防御上头，可能会开荒相应的技艺。另外，在法律层面，AI 技艺异日也不会被行动东谈主好像生物体来看待。毕竟根据当今开头进的Transformer技艺，仅仅根据高下文臆度最有可能发生的效用，但这个和真确的东谈主类想考如故有距离的。”游云庭称。

游云庭强调，中国有互联网信息就业深度合成处治法例和生成式东谈主工智能就业处治暂行办法，要求东谈主工智能的算法贪图尊重社会公德和伦理谈德，坚捏社会见地中枢价值不雅，防御腻烦，尊重他东谈主正当职权，不得危害他东谈主身心健康的关连内容。但生成式东谈主工智能是新闯祸物，对于淌若保护有心绪健康存在问题的用户，各人的就业商面前王人在探索经过中。

国内一家AI大模子独角兽公司从业东谈主员告诉倾盆科技，国内对青少年的监管相配严格，开始产物会成就年纪达成和青少年步地，在青少年步地里，也会有反千里迷系统。

Character.AI表现，将添加针对年青用户的安全功能。包括当用户在应用上破耗一个小时后会教授他们，教授音尘内容为：“这是一个东谈主工智能聊天机器东谈主，并非真东谈主。它说的一切王人是诬捏内容，不应被视为事实或建议。”此外，Character.AI运转向用户败露弹出音尘，淌若他们的音尘包含与自残和寻短见议论的某些关节词，则率领他们到寻短见退守热线。但这些弹出音尘在2月塞维尔寻短见时并未激活。

《纽约时报》称，很多最初的东谈主工智能实验室出于伦理和风险层面的沟通，也曾拒却构建访佛于Character.AI的AI伙伴。

记者 喻琰 实习生 王春