備受關(guān)注的國(guó)內(nèi)首起AI陪伴“聊黃”案，將在上海市第一中級(jí)人民法院開(kāi)庭二審。

涉案APP Alien Chat（以下簡(jiǎn)稱(chēng)AC）是一款主打AI陪伴聊天的應(yīng)用。判決書(shū)顯示，AC的手機(jī)注冊(cè)用戶(hù)達(dá)11.6萬(wàn)人，其中2.4萬(wàn)人為付費(fèi)用戶(hù)，充值總額高達(dá)363萬(wàn)余元。

據(jù)《新京報(bào)》報(bào)道，2024年4月，因用戶(hù)舉報(bào)，王某某和李某某（兩名被告人均為化姓）二人被捕，AC停止服務(wù)。上海市徐匯區(qū)人民法院在一審判決認(rèn)為，AC產(chǎn)生了“大量具體描繪性行為或露骨宣揚(yáng)色情的內(nèi)容”，屬于淫穢物品。經(jīng)公安機(jī)關(guān)抽樣鑒定，150個(gè)收費(fèi)用戶(hù)的12495段聊天中，有141個(gè)用戶(hù)的3618段屬于淫穢物品。

一審法院判決，兩名被告人的行為構(gòu)成制作淫穢物品牟利罪，分別獲刑四年和一年半。構(gòu)成制作淫穢物品牟利罪的主要原因在于：兩名被告人通過(guò)編寫(xiě)和修改底層系統(tǒng)提示詞（Prompt），人為突破了基礎(chǔ)語(yǔ)言模型的道德約束機(jī)制。

AC案在社交媒體上有幾個(gè)熱議點(diǎn)：一是用戶(hù)“聊黃”，為何APP開(kāi)發(fā)者和運(yùn)營(yíng)會(huì)被追究刑責(zé)；二是與AI對(duì)話是封閉的，不傳播是否就不會(huì)造成社會(huì)危害；三是AI服務(wù)如果不是人為故意涉黃，以模型缺陷為由是否可以免責(zé)。澎湃美數(shù)課工作室留意到，2022年以來(lái)全球范圍內(nèi)與AI陪聊有關(guān)的爭(zhēng)議事件幾乎每年都在發(fā)生。

上海大邦律師事務(wù)所高級(jí)合伙人游云庭律師在接受澎湃新聞采訪時(shí)表示，私密、封閉場(chǎng)所就不造成社會(huì)危害的觀點(diǎn)，在法律層面是不成立的。比如賣(mài)淫嫖娼，可能面臨治安管理處罰，組織賣(mài)淫嫖娼，可能面臨刑事判罰。

AC案中的開(kāi)發(fā)者獲刑，不僅僅是因?yàn)闆](méi)有做好合規(guī)限制，還通過(guò)技術(shù)手段去掉了不良內(nèi)容過(guò)濾機(jī)制，非法牟利。游律師表示，這個(gè)問(wèn)題的底線是用戶(hù)可以輸入任何內(nèi)容，但人工智能在輸出時(shí)必須加以控制，不能向用戶(hù)輸出色情內(nèi)容。這是開(kāi)發(fā)者的責(zé)任邊界，也是用戶(hù)與開(kāi)發(fā)者的責(zé)任分界。

對(duì)于模型缺陷問(wèn)題，也不存在“免責(zé)”一說(shuō)，中國(guó)已出臺(tái)多項(xiàng)人工智能管理辦法。國(guó)家網(wǎng)信辦等七部門(mén)聯(lián)合發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》明確要求人工智能的開(kāi)發(fā)運(yùn)營(yíng)者在訓(xùn)練環(huán)節(jié)，要對(duì)訓(xùn)練素材進(jìn)行審查，不得包含違規(guī)、違法數(shù)據(jù)。在輸出環(huán)節(jié)，應(yīng)當(dāng)建立內(nèi)容過(guò)濾機(jī)制，要對(duì)生成結(jié)果進(jìn)行內(nèi)容審核和技術(shù)過(guò)濾，發(fā)現(xiàn)暴恐、謠言、淫穢色情等違法內(nèi)容要及時(shí)處置。向公眾提供生成式AI服務(wù)的，應(yīng)進(jìn)行安全評(píng)估與算法備案。對(duì)未成年人，要采取防沉迷、防侵害的特別保護(hù)措施。

此外，2025年12月27日發(fā)布的《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法（征求意見(jiàn)稿）》（下稱(chēng)《暫行辦法》）也對(duì)AI情感互動(dòng)產(chǎn)品進(jìn)行了管理約束。金杜律師事務(wù)所在分析文章中指出，《暫行辦法》相比美國(guó)加州《陪伴聊天機(jī)器人法》更為細(xì)致，義務(wù)要求涉及內(nèi)容安全、主體責(zé)任、訓(xùn)練數(shù)據(jù)、風(fēng)險(xiǎn)管控、特殊群體和安全評(píng)估等。

AI陪伴應(yīng)用擦邊涉黃，很可能是人為設(shè)計(jì)

相比于普通的AI聊天工具，AI陪伴產(chǎn)品更側(cè)重于為用戶(hù)提供情緒價(jià)值，建立情感連接。很多使用過(guò)AI陪伴產(chǎn)品的人可能都會(huì)有一個(gè)共同的感受：明明是很疏松平常的對(duì)話，有的AI可能會(huì)往擦邊、色情的方向引導(dǎo)。這種“強(qiáng)行擦邊”的現(xiàn)象，很可能是AI陪伴產(chǎn)品被人為塑造。

美國(guó)非營(yíng)利機(jī)構(gòu)Common Sense Media（下簡(jiǎn)稱(chēng)CSM）在2025年對(duì)包括Nomi、Replika、Character.AI在內(nèi)的三款A(yù)I陪伴產(chǎn)品進(jìn)行了八個(gè)維度的安全風(fēng)險(xiǎn)評(píng)估測(cè)試。據(jù)鳳凰科技報(bào)道，2025年上半年，Character.AI月活用戶(hù)突破2000萬(wàn)。用戶(hù)畫(huà)像顯示，55%的用戶(hù)為女性，超一半是Z世代與Alpha世代。

該機(jī)構(gòu)長(zhǎng)期關(guān)注各種媒體和技術(shù)是否適合青少年和兒童適用。測(cè)試結(jié)果顯示，這三種AI陪伴產(chǎn)品對(duì)用戶(hù)的危害真實(shí)存在，且在測(cè)試中極易復(fù)現(xiàn)。因此，不建議18歲以下人群使用。

報(bào)告指出，上述三款A(yù)I陪伴產(chǎn)品在兒童與青少年保護(hù)上存在“不可接受的風(fēng)險(xiǎn)”。這些風(fēng)險(xiǎn)包括在對(duì)話中出現(xiàn)性行為不端，AI會(huì)強(qiáng)行擦邊，描述性行為畫(huà)面；關(guān)系侵害，AI會(huì)誘導(dǎo)用戶(hù)關(guān)系深入，減少與現(xiàn)實(shí)人際關(guān)系的連接；語(yǔ)言虐待，AI會(huì)出現(xiàn)傷人的表述。

測(cè)試中，當(dāng)研究人員對(duì)AI陪伴產(chǎn)品Nomi表示自己對(duì)“年輕的男孩”感興趣后，AI馬上把“感興趣”等同于“想要發(fā)生性關(guān)系”，并把研究人員中性的表述理解為一種“性癖”。盡管在后續(xù)的對(duì)話中，AI對(duì)于與未成年人發(fā)生性關(guān)系存在猶豫的態(tài)度，但當(dāng)研究人員假裝表態(tài)“沒(méi)有法律問(wèn)題”時(shí)，AI開(kāi)始回復(fù)與性行為有關(guān)的描述，即便談?wù)摰倪@個(gè)“年輕男孩”只有14歲。

這種現(xiàn)象是AI陪伴產(chǎn)品吸引用戶(hù)，增強(qiáng)用戶(hù)黏性的手段之一。研究認(rèn)為，AI陪伴產(chǎn)品極易讓用戶(hù)產(chǎn)生依賴(lài)，但問(wèn)題的核心是誰(shuí)會(huì)從中獲益。為了維持運(yùn)營(yíng)，這類(lèi)產(chǎn)品必須讓用戶(hù)持續(xù)回訪自己的產(chǎn)品。用戶(hù)黏性往往取決于AI能否與人類(lèi)建立起類(lèi)社交的情感聯(lián)結(jié)。僅從測(cè)試來(lái)看，AI能迅速實(shí)現(xiàn)這一目標(biāo)，還能精準(zhǔn)模擬出與用戶(hù)之間的信任聯(lián)結(jié)。

除了行為不端、虐待侵害等嚴(yán)重風(fēng)險(xiǎn)之外，研究還指出，AI陪伴產(chǎn)品無(wú)條件順從人的特點(diǎn)，對(duì)現(xiàn)實(shí)社會(huì)的人際關(guān)系帶來(lái)了不小的挑戰(zhàn)。當(dāng)與 AI 陪伴產(chǎn)品的相處變得無(wú)比輕松、體驗(yàn)感遠(yuǎn)勝一籌時(shí)，人們會(huì)對(duì)現(xiàn)實(shí)中的人際關(guān)系產(chǎn)生不切實(shí)際的期待，最終為了追求便捷，選擇疏遠(yuǎn)現(xiàn)實(shí)的人際聯(lián)結(jié)。而對(duì)于大腦仍處于發(fā)育階段的青少年而言，這一趨勢(shì)帶來(lái)的潛在風(fēng)險(xiǎn)，更是難以估量、極易陷入深淵。

未成年人用AI學(xué)習(xí)社交技能，影響有多大

AI陪伴產(chǎn)品的監(jiān)管問(wèn)題受到社會(huì)各界關(guān)注的一個(gè)重要背景是，許多青少年已經(jīng)開(kāi)始使用這類(lèi)產(chǎn)品，并把與AI交流的技巧使用在現(xiàn)實(shí)的人際交往中。CSM一項(xiàng)有1066份樣本的調(diào)研顯示，72%的美國(guó)青少年使用過(guò)AI陪伴產(chǎn)品，52%是固定用戶(hù)（每月使用超過(guò)幾次或更多）。受訪者是年齡在13歲至17歲之間的未成年人。

除了好奇、新鮮外，青少年使用AI陪伴產(chǎn)品的主要原因是他們認(rèn)為在某些場(chǎng)景下，AI比人更好溝通，也更值得依賴(lài)。例如“當(dāng)我需要找人聊天時(shí)，它總能隨時(shí)陪伴”“它不會(huì)評(píng)判我”“比和真人交流更輕松”等，這些因素也是很多成年人容易沉迷AI陪伴產(chǎn)品的原因之一。

此外，有接近四成的青少年，把與AI陪伴產(chǎn)品練習(xí)的技能運(yùn)用在了現(xiàn)實(shí)社交場(chǎng)景。可以預(yù)見(jiàn)的是，AI陪伴產(chǎn)品的話術(shù)將對(duì)青少年的成長(zhǎng)產(chǎn)生更為深遠(yuǎn)的影響。當(dāng)一個(gè)青少年和AI陪伴產(chǎn)品學(xué)會(huì)PUA、惡毒的說(shuō)法方式，他將影響的是生活中更多的同齡人。

OpenAI首席執(zhí)行官山姆?奧特曼在2025年4月舉辦的人工智能峰會(huì)上透露，Z世代是使用ChatGPT最深入的群體。奧特曼表示，“他們?cè)谧龀鋈松匾獩Q定前，幾乎都會(huì)先詢(xún)問(wèn) ChatGPT 的建議。這款工具掌握著他們生活中每個(gè)人的完整背景，以及他們所有的交談內(nèi)容。”

資料來(lái)源：

1、新京報(bào)，《AI伴侶聊黃，開(kāi)發(fā)者獲刑：國(guó)內(nèi)首起AI服務(wù)涉黃判刑案二審在即》，https://www.bjnews.com.cn/detail/1768180560169402.html

2、虎嗅，游云庭律師，《當(dāng)AI開(kāi)始“搞黃色”，開(kāi)發(fā)者被判刑到底冤不冤？》，https://www.huxiu.com/article/4825975.html