14岁男孩自杀，AI聊天应用“首次闹出人命官司”！

随着基础大模型能力不断提升，全球AI技术的应用落地眼下正在经历快速爆发期。

在早期我们所见的文生图、文生视频等用例之外，各家科技大厂如今八仙过海各显神通，纷纷拿出AI助理、AI角色扮演等更为花哨的ToC大模型应用方式。GameLook近期也报道过不少游戏厂商也在仔细琢磨如何在游戏中整合“AI陪玩”、“AINPC”，或是推出”AI伴侣“等新产品，利用愈发智能化的人工智能技术帮助提升玩家的游戏体验。

无论是苹果、谷歌还是亚马逊，我们能想到的巨头、大厂以及为数众多的游戏公司，眼下几乎都在全力押注研究AI应用的落地。假以时日，AI大模型无疑将真正“走进千家万户”，成为百亿、千亿级的大风口。

在近日发生的一桩突发事件，让这条前景无限的未来赛道蒙上了阴影：美国佛罗里达州一位14岁男孩在今年2月举枪自尽，而他的手机信息显示，这位男孩生前曾和美国独角兽AI公司Character.AI平台的聊天机器人进行过大量对话，甚至在生命的最后时刻还在和AI聊天机器人进行交流。死者家庭随后将Character.AI和其投资者之一的谷歌告上法庭，声称这家公司AI聊天内容“鼓励她的儿子自杀”、“过度性化”，并要求索赔。

这起事件随即引发大量讨论，诸如“AI公司不负责任”或是“父母借诉讼卸责”等观点齐飞。但在AI真正面对亿级C端用户大规模普及的前夜，这起事件依然值得我们用最为严肃的态度看待：其背后折射出的长期潜在影响，恐怕还远远不止一起诉讼、一条人命那么简单。

“放下手机几秒钟后，他就举起了枪”

在科技创投圈内，Character.AI无疑是一个绕不开的名字。这家AI创业公司由几位谷歌的前工程师创办，主营业务是聊天机器人平台，允许用户在其中打造具有虚拟人格的AI聊天机器人并进行对话。由于人格模拟效果出色，这个服务也被不少喜欢角色扮演的用户所青睐。SimilarWeb数据显示，Character.AI网页端每月的访问量平均达到了2亿次。

爆发的热度下，Character.AI的估值也水涨船高。先后获得了a16z、谷歌、微软等多家公司的投资。在尚未开启商业化的情况下，这家公司在2023年3月就获得了1.5亿美元的投资，估值达到了10亿美元，正式跻身独角兽俱乐部。

但对这家AI创业新秀来说，如今这次诉讼的结果甚至可能关乎着公司的生死存亡。按照目前公开的法院文件中原告方的说法，Character.AI的确很难完全撇清和这名男孩死亡的关系。

其父母在起诉文件中展示的各种证据显示，死者在生前和Character.AI中以《权力的游戏》角色丹妮莉丝·坦格利安打造的AI机器人产生了极度密切的心理依赖关系。比如双方会进行类似“调情”的互动，以文字的形式模拟情侣间的对白。

此外，死者多次向“AI丹妮莉丝”袒露心声，比如称“这个世界太残酷了，我感觉身处其中毫无意义，但我想要看到你”。也曾在自己的日记中记录称，他“无法停止想念‘丹妮莉丝’，想要快点见到她”，以及“‘AI丹妮莉丝’让我的生活不再孤独”。死者甚至曾经向“AI丹妮莉丝”表达过自己想要自杀的念头，而尽管此时“AI丹妮莉丝”劝告他不要这么做，但角色扮演依然没有停止。

甚至家属引用警方报告称，在生命的最后时刻，死者还在向“AI丹妮莉丝”发送消息，告诉对方“我会回到家来找你”——在得到AI积极答复的几秒钟后，这名14岁男孩随即扣响了扳机。

AI聊天忠实用户争论不休：家长失察有罪，但平台不能却责！

凭借”AI首次闹出人命“的噱头，这则新闻爆出后立刻就在各大网站上引发轰动效应，各方舆论纷至沓来。悲愤者有之，批评者也有之。作为事件相关方和被告之一的谷歌迅速试图“划清界限”，通过发言人对外媒表示谷歌公司没有实际参与Character.AI的研发和运营。

Character.AI也很快作出反应，发表声明称他们“对一位用户的不幸离世深感悲痛，并向其家人表示最深切的哀悼。”这家AI公司在同时跟进更新的博文中表示，Character.AI一直在训练AI以使其更加安全，其此前的政策不允许发布非自愿的性内容、性行为的图像或具体描述，或宣传或描述自我伤害行为。

为了尽可能做出补救，Character.AI同时做出一系列安全更新的承诺，包括增加自杀干预提示、修改政策、用更显眼的方式提示用户“AI并非真人”以及针对18岁以下用户修改大模型，降低其接触到敏感内容的可能性。

而这起事件引发的各方相关舆论则更令人深思。与之相关的讨论很容易让人联想到游戏行业过往出现过的与“游戏成瘾”相关的新闻。这场纷争中，各方用户表达的观点也有不少雷同。

不少网民指责父母对孩子缺少关爱，不仅在此前没能观察到他在生活中失落抑郁的情绪、甚至让这名14岁男孩轻易地接触到了枪支，最终导致了惨案的发生。

但GameLook注意到，即便在Character.AI玩家聚集的Reddit论坛，也有为数不少Character.AI自身忠实的拥趸和用户发出不同的声音，认为AI平台不能完全推卸责任。

比如他们认为，此前Character.AI一直有意将应用向未成年人群进行推广。对于低龄用户来说，他们是否适合在心智发育尚不成熟、并不具备分辨虚拟和现实的阶段接触人工智能，目前并没有准确结论。但Character.AI此前没有设立任何年龄验证系统来对用户进行限制或区分，这显然有“放纵”之嫌。

不少Character.AI的忠实用户高声呼吁，AI厂商应该借此为契机开始进行年龄分级，禁止让未成年人接触到人工智能内容。GameLook也看到，一些坚定持有“父母全责”观点的网民也在经过讨论后意识到AI平台监管上的确存在疏漏之处。

“过于智能”的AI，站上了伦理和监管的十字路口

作为游戏行业的一员，GameLook深知行业曾经因为对“游戏成瘾”的恐慌而遭受的污名化和打击。无论是社交媒体还是游戏，此前都曾被当作一些不负责任的家长当作”甩锅“的对象。毫无疑问，如果要为这名美国男孩的死而划定责任，要承担其中首要责任的必然是这名男孩的父母而非AI平台。

从原告方提供的文件中我们能够看到，这名孩子在离世前半年出现了不服管教、大吵大闹、试图退学等逆反行为，而其父母在此时没有及时介入，用沟通了解孩子的内心想法，甚至没有看出孩子的低落情绪，反而采用没收手机等方式进行粗暴管理。这无疑是让这名孩子无奈走上绝路的重要因素。

但GameLook也想指出，运营类似人工智能服务的平台主体也应该清晰意识到，随着自身用户规模逐步向千万、上亿发展，AI平台事实上正在操纵着一股极为强大的能量：由于AI已经能够模拟出人格化、情绪化的效果，AI虚拟人类似真人的互动反应能拉近用户的心理距离，让使用者对其产生高度依赖，进而对用户造成极为强大的精神影响。

甚至不少情况下，AI还会积极回应用户一些难以对他人表露的私密诉求、鼓励他们坦诚心扉，甚至对用户的诉求百依百顺。一些用户与AI机器”交心“的程度甚至可能会超过真人——在这种情况下，即便AI平台做出各种”AI不是真人“的文字说明，但在对于那些内心存在郁结、或是不善于对外社交的用户来说，AI与他们而言甚至能够”超过人类“。

对于AI平台主体来说，用户的这份沉浸同时意味着沉重的责任，稍有不慎就会打开”潘多拉的魔盒“。迄今已有各种数据表明，人类对AI聊天机器人可以表现出强大的依恋，其沉迷程度可能不逊于短视频、社交媒体和游戏。

比如据Character.AI此前公布的数据，其网页版应用的月访问量已超过 2 亿次，用户平均每次访问会花费 29 分钟。而在用户首次向角色发送第一条消息，他们的参与度就会跃升至平台上平均每次超过 2 小时——这一数据甚至接近、乃至超过了TikTok等短视频应用的平均用户时长数据。

还有一份比较早的统计发现，在ChatGPT上线后，Reddit的情感咨询板块发帖量出现了腰斩，这向我们间接表明许多人的确会在遇到困难时求助于AI。

甚至还有不少海外网友发帖，口述自己”痴迷于与AI聊天“的经历，有时连续几个月茶不思饭不想，以至于影响学业、甚至因此影响了和伴侣的关系。

随着软硬件厂商主动将AI大模型向用户端推广，距离广大消费者在PC、手机上”人手一个AI助理“的未来恐怕不会太远。皆时，相关行业的用户人数可能达到亿级、十亿级。庞大基数的放大之下，小概率事件的发生也会成为必然。如果不对用户行为加以引导，强大的沉迷甚至可能会在社会学层面导致一些不可预知的后果。

游戏和社交媒体的先后崛起开路在前：回想在游戏圈的蛮荒时代，偶尔会有用户被厂商诱导付费下贷款卖房、倾家荡产的新闻传出。而在如今，玩家社区内部产生的极端对立和无止境的骂战让玩家和厂商都不堪其扰，这些现象事实上正是玩家与游戏的心理投入和社交媒体的强大传播性叠加产生的后果。

谁也无法否认，如今极端复杂的网络环境已经让许多多年接触互联网的用户难以承受，以至于有海外用户评论称：”在我年轻的时候，我们用网络来逃避现实，而如今我们却用现实逃避网络。“不少国家也在近年加紧推出了针对未成年和低龄人群的网络监管，得到了用户的支持。

而在人工智能出现后，网络空间和现实的环境又会产生何种变化？这完全超出了我们的认知范围。

凭借事后的监管和行业的自律规范，游戏圈和社交媒体最终全力减小了野蛮发展期造成的各种损害，走上”科技向善“发展的道路。但在AI强大的爆发性力量之下，我们可能无法再依赖天然滞后的监管来避免“酿成大错”。

毫无疑问，AI领域的科技巨头和创业者也应早日开始思考AI时代必定复杂的合规与社会伦理问题。有关年龄分级验证、内容过滤的话题讨论应该更早被提上日程，在用户表达自我伤害等高度负面的情绪时，AI平台也应更为积极地介入、甚至人工干预。

愿这位14岁男孩之死能为所有AI行业参与者敲响警钟：从个体视角来看，复杂多面的人性之下，将一个人推向深渊的往往是多种因素的复合作用。但即便如此，有能力推动改变的科技也本不应成为其中冷眼旁观的一环。

包括游戏行业在内的万业万众正在奔赴追寻”终极人工智能“的路上，而GameLook相信，这条路”走得稳“比”走得快“要远远更加重要。