在美国有一款很火的 AI 产品叫 Character.AI，这是一款基于大模型的 AI 聊天机器人。
使用 Character.AI 时，你可以设定一个虚拟角色，或者与别人创建的 AI 角色聊天。
说白了，就是虚拟世界的角色扮演。
我试着和其中一个虚拟角色聊了两句，发现 Character.AI 在聊天过程中会特别注重现场感的构建。
比如，在每句话前后，它都会描述这个虚拟角色的状态、情绪、动作，让你有一种面对面的感觉。
和机械式的聊天不同，Character.AI 某种程度上提供了一些情绪价值，有一种陪伴效应。
如果你们没用过，可以试着去体验一下。
今天之所以跟你们聊这个话题，其实是源于我看到的一个新闻，美国一个 14 岁的少年因为使用 Character.AI 自杀了。
他在 Character.AI 里虚拟了一个角色，就是《权力的游戏》这部剧中的 Dany，俗称「龙妈」，她可以驾驭三条龙。
自从使用 Character.AI 后，这个少年每天会花好几个小时去和 Dany 聊天，而且沉浸其中。
他和 Dany 的最后一次聊天中，说自己要去找她了，然后找到家中的枪开枪自杀了。
为此，她的母亲把 Character.AI 这家公司告上了法庭。
其实，少年小时候被诊断为轻度的「阿斯伯格综合症」，也就是我们常说的孤独症和自闭症。
长大后，他又被诊断为焦虑症和破坏性心境失调障碍，这让他在社会和群体中很难找到安全感和归属感。
直到用上 Character.AI，以及和 Dany 展开深入沟通。
虽然产品界面上会提示这是一个虚拟角色，但是沟通带来的情绪陪伴感会让他忽略这些。
对于这个案件，很多人表示了一种担心，那就是 AI 的边界感和约束到底在哪里？
AI 会不断通过数据去了解使用它的人，这种能力甚至比现在的个性化推荐算法更强，它可以完全、透彻、像素级了解你。
关键是，AI 不会跟你争吵、不会反抗你、不会和你做对，他们会顺从你，给你想要的一切情绪价值，让你觉得爽。
这就带来了一种潜在的问题和担心，在未来，AI 可能会比现在的短视频更让人上瘾。
这种上瘾还不是内容消费层面的，而是一种情绪鸦片，会让一部分人无法自拔，进而迷失自我。
说实话，挺可怕的。
因为人类是群居生物，我们需要在社会中获得认同感，需要交流、需要互动、需要被认可和被需求。
可能 AI 暂时无法在物理世界进行干预，但是在精神世界已经有了比较强的干预能力。
要知道，人是具备主观能动性的，精神世界的改变会直接作用于物理世界。
那些参与 CX 的人之所以呈现出前后完全不同的认知和行为特点，就是因为被洗脑，这是精神世界作用于物理世界的表现。
此时，产品可能不再是人的工具，而是反过来。
看了这个新闻我才知道，为什么国外很多专家和科技人士要限制或者制约 AI 的发展，尤其是在治理和法规不完善的前提下。
过去我们说眼见为实，但现在不是了。
已经有很多骗子用 AI 生成换脸和音频，然后冒充你的亲朋好友和你视频通话行骗。
我在央视上还看了一个报道，一个母亲正在跟自己的女儿视频通话，结果女儿从门后开门进来了。
那场面，别说多恐怖了。
前阵子雷军的骂人音频在网上传播，一些明星和权威专家被 AI 换脸并通过音频合成在网上带货。
这些，都是因为 AI 能力没有被治理和约束产生的乱象。
乱象就会让人产生担心，我们应该如何应对？
互联网有句挺流行的话，叫「技术无罪」。再广义一点讲，也可以说是「产品无罪」。
真正产生原罪的，是利用和使用产品的人。
随着 AI 技术的发展，这些不可控因素会逐渐增多，需要被治理和约束的事情也同样会增加。
但技术发展是不可逆的，我们就是在动态调整中前进。
历史是这样，未来同样是。
作者：唐韧，36氪经授权发布。