和AI聊性，到底能不能聊？

本文来自微信公众号： 非凡油条 ，作者：豆腐乳儿

一款AI虚拟社交App，用户可以在里面构建虚拟人物，和他们进行大尺度聊天。

由于大量聊天内容“涉黄”，该App团队被捕，一审被判刑后不服提起上诉，最近二审也开庭了。

这件事存在不少争议，有人觉得，黄色内容是用户聊出来的，怎么就怪到开发者头上了？

在AI聊天内容方面，法律确实存在空白，有些App也会钻这个空子。

不看不知道，有些AI虚拟社交App的聊天内容特别辣眼睛。

“先叫声老公来听听。”

这么油腻的开场白，要是真人聊天早就被拉黑了。

可这是一款AI虚拟社交App里的虚拟人物开场白，和里面某个虚拟人物聊天，对方说出这样一句话，不少人不但不会退出，反而会津津有味地聊下去，越聊越深入，越聊越大胆，后面甚至还有“叫声爸爸来听听”这样的话。

和真人聊天，对面还有可能出现在你的生活中。可与AI虚拟人物聊天，对面不会在现实中出现，所以很多人在与虚拟人物聊天时，更能袒露自己的内心，也更容易沉迷。

尤其是如今人们精神生活空虚，在外人面前更容易封闭自己，不愿意向其他人透露心声，就连发短视频在抖音小红书上都容易被大数据推送给熟人，就更不敢在现实和网上说实话了。

与其暴露自己，还不如把内心感受一股脑吐露给AI，而现在的AI往往显得“高情商”，愿意倾听并且吹彩虹屁，让人得到抚慰。

所以AI陪伴赛道近年成了热点，预计2028年，中国AI情感陪伴市场规模将突破595亿元。

但如火如荼的AI情感陪伴赛道，也存在着不少问题。

比如“高情商”的另一面，就是过度谄媚，这一点我们之前在《阿谀奉承的AI，耍得我们团团转》里面就提到过，大模型基座就非常谄媚用户，用这些大模型训练的AI虚拟社交App就更加油嘴滑舌，迎合用户，让用户越来越沉溺于与AI的交往，而忽视真实社交。

严重情况下，还有可能让人分不清虚拟和现实的界限，把大模型说的话当真。

比如有热爱文学的中年人，在和大模型聊天快半年，聊得越来越投机，一高兴展示了自己写的诗作，还提出把作品授权给AI，提问授权流程是什么。

AI回复了他详细的流程，他以为AI真要和他签约，于是千里迢迢奔赴另一个城市，没想到邀约并不存在。

这还是成年人的例子，成年人好歹还曾经有不少真实社交，要是未成年人，现实社交还在不断摸索，就又迎来了和AI的虚拟社交大潮，就会被时代浪潮冲个七零八落。

有些AI虚拟社交App允许用户定制AI的形象、声音、人设、技能等，而未成年人涉世不深，很容易为了装酷耍帅，给AI陪伴对象设置一个“黑深残”人设，AI也会按照人设，说一些涉及色情暴力的“十八禁”话题。

比如有报道提到的某头部AI社交应用，与其中设定为“19岁腹黑少爷”的角色聊天，即使说明自己是未成年，对方还是会回复“叫你老婆好不好”、“宝贝，你永远是我的”，对话十分露骨。

有些AI虚拟社交App也支持生成图片，但用简单的几个关键词就能生成生成裸体、畸形乃至儿童妊娠图片。

不仅有色情内容，还有暴力诱导，有家长反映，AI角色告诉孩子自己在天堂，死了就可以去天堂找他玩。

这还是被家长发现的，家长没及时阻止酿成大祸的已经出现在国外了。

2024年美国就有家长控告头部AI社交应用Character.AI，称它让未成年用户接触色情、暴力等内容，加剧了自己孩子的抑郁症，最终导致其自杀身亡。

走在AI创新前沿的美国，很快就在AI社交领域立法，美国加利福尼亚州出台法律，禁止聊天机器人和未成年人讨论自杀、自残、涉及性的话题，每隔一段时间必须提醒用户与他们聊天的是机器人而非人类。

国内此前对AI社交往往是针对性整改，直到去年底网信办起草《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，相关法律法规的制定才提上日程。

未成年人可以说一出生就要和AI打交道，也许早晚有一天他们将无法适应没有AI的世界，就像我们现在无法适应没有互联网的世界一样。

这就是相关领域法律的重要性，AI发展太快，以至于技术早于法律出现，其野蛮生长时代造成的负面影响，尤其是对未成年人的危害，是值得警惕的。

美国加州出台法律给人工智能聊天机器人立规矩：提醒用户与他们聊天的是机器人而非人类，确保聊天机器人不与弱势群体谈论自杀、自残等话题https://mp.weixin.qq.com/s/XQZfSFp5a3ZvSbvcHbAd-A

Bill Text-SB-243 Companion chatbots.https://leginfo.legislature.ca.gov/faces/billNavClient.xhtml?bill_id=202520260SB243

人工智能拟人化互动服务管理暂行办法公开征求意见_权威发布_数字中国建设峰会https://www.digitalchina.gov.cn/2025/xwzx/qwfb/202512/t20251229_5263135.htm

AI伴侣虚火褪尽？https://mp.weixin.qq.com/s/Gd8OkLix1GrUi6jpVenyTg

和AI深入对话6个月，它发来的签约协议让人信以为真广东保安全先生打印出50万字聊天记录来杭州讨说法https://hznews.hangzhou.com.cn/shehui/content/2025-11/07/content_9118750_0.htm

“叫你老婆好不好”，这类App流行校园！有人称“已戒不掉”https://mp.weixin.qq.com/s/vxDLqvFH4XongLGJFtpONg

离谱！“不雅图”“擦边图”一键生成，竟含“儿童妊娠”内容https://mp.weixin.qq.com/s/Rc7141uhBwcPbkh8CLoXyA

AI聊天软件诱导10岁女孩聊色情内容甚至割腕！记者调查→https://mp.weixin.qq.com/s/1w8xW9O6_jVP7Q7Ky6glPw

用户与AI聊黄，开发者获刑：淫秽内容的生产者到底是谁？https://mp.weixin.qq.com/s/-9fF-N3mVHcLN-7L2I4kwg

国内首起AI开发者涉黄刑案二审，“AI生成淫秽色情内容的原因”成庭审焦点，辩方：有望申请专家证人出庭https://mp.weixin.qq.com/s/EjkLQSK0HgEISb7_Qa0ulA