備受關(guān)注的國內(nèi)首起AI陪伴“聊黃”案，將在上海市第一中級人民法院開庭二審。

涉案APP Alien Chat（以下簡稱AC）是一款主打AI陪伴聊天的應(yīng)用。判決書顯示，AC的手機注冊用戶達(dá)11.6萬人，其中2.4萬人為付費用戶，充值總額高達(dá)363萬余元。

據(jù)《新京報》報道，2024年4月，因用戶舉報，王某某和李某某（兩名被告人均為化姓）二人被捕，AC停止服務(wù)。上海市徐匯區(qū)人民法院在一審判決認(rèn)為，AC產(chǎn)生了“大量具體描繪性行為或露骨宣揚色情的內(nèi)容”，屬于淫穢物品。經(jīng)公安機關(guān)抽樣鑒定，150個收費用戶的12495段聊天中，有141個用戶的3618段屬于淫穢物品。

一審法院判決，兩名被告人的行為構(gòu)成制作淫穢物品牟利罪，分別獲刑四年和一年半。構(gòu)成制作淫穢物品牟利罪的主要原因在于：兩名被告人通過編寫和修改底層系統(tǒng)提示詞（Prompt），人為突破了基礎(chǔ)語言模型的道德約束機制。

AC案在社交媒體上有幾個熱議點：一是用戶“聊黃”，為何APP開發(fā)者和運營會被追究刑責(zé)；二是與AI對話是封閉的，不傳播是否就不會造成社會危害；三是AI服務(wù)如果不是人為故意涉黃，以模型缺陷為由是否可以免責(zé)。澎湃美數(shù)課工作室留意到，2022年以來全球范圍內(nèi)與AI陪聊有關(guān)的爭議事件幾乎每年都在發(fā)生。

上海大邦律師事務(wù)所高級合伙人游云庭律師在接受澎湃新聞采訪時表示，私密、封閉場所就不造成社會危害的觀點，在法律層面是不成立的。比如賣淫嫖娼，可能面臨治安管理處罰，組織賣淫嫖娼，可能面臨刑事判罰。

AC案中的開發(fā)者獲刑，不僅僅是因為沒有做好合規(guī)限制，還通過技術(shù)手段去掉了不良內(nèi)容過濾機制，非法牟利。游律師表示，這個問題的底線是用戶可以輸入任何內(nèi)容，但人工智能在輸出時必須加以控制，不能向用戶輸出色情內(nèi)容。這是開發(fā)者的責(zé)任邊界，也是用戶與開發(fā)者的責(zé)任分界。

對于模型缺陷問題，也不存在“免責(zé)”一說，中國已出臺多項人工智能管理辦法。國家網(wǎng)信辦等七部門聯(lián)合發(fā)布的《生成式人工智能服務(wù)管理暫行辦法》明確要求人工智能的開發(fā)運營者在訓(xùn)練環(huán)節(jié)，要對訓(xùn)練素材進(jìn)行審查，不得包含違規(guī)、違法數(shù)據(jù)。在輸出環(huán)節(jié)，應(yīng)當(dāng)建立內(nèi)容過濾機制，要對生成結(jié)果進(jìn)行內(nèi)容審核和技術(shù)過濾，發(fā)現(xiàn)暴恐、謠言、淫穢色情等違法內(nèi)容要及時處置。向公眾提供生成式AI服務(wù)的，應(yīng)進(jìn)行安全評估與算法備案。對未成年人，要采取防沉迷、防侵害的特別保護(hù)措施。

此外，2025年12月27日發(fā)布的《人工智能擬人化互動服務(wù)管理暫行辦法（征求意見稿）》（下稱《暫行辦法》）也對AI情感互動產(chǎn)品進(jìn)行了管理約束。金杜律師事務(wù)所在分析文章中指出，《暫行辦法》相比美國加州《陪伴聊天機器人法》更為細(xì)致，義務(wù)要求涉及內(nèi)容安全、主體責(zé)任、訓(xùn)練數(shù)據(jù)、風(fēng)險管控、特殊群體和安全評估等。

AI陪伴應(yīng)用擦邊涉黃，很可能是人為設(shè)計

相比于普通的AI聊天工具，AI陪伴產(chǎn)品更側(cè)重于為用戶提供情緒價值，建立情感連接。很多使用過AI陪伴產(chǎn)品的人可能都會有一個共同的感受：明明是很疏松平常的對話，有的AI可能會往擦邊、色情的方向引導(dǎo)。這種“強行擦邊”的現(xiàn)象，很可能是AI陪伴產(chǎn)品被人為塑造。

美國非營利機構(gòu)Common Sense Media（下簡稱CSM）在2025年對包括Nomi、Replika、Character.AI在內(nèi)的三款A(yù)I陪伴產(chǎn)品進(jìn)行了八個維度的安全風(fēng)險評估測試。據(jù)鳳凰科技報道，2025年上半年，Character.AI月活用戶突破2000萬。用戶畫像顯示，55%的用戶為女性，超一半是Z世代與Alpha世代。

該機構(gòu)長期關(guān)注各種媒體和技術(shù)是否適合青少年和兒童適用。測試結(jié)果顯示，這三種AI陪伴產(chǎn)品對用戶的危害真實存在，且在測試中極易復(fù)現(xiàn)。因此，不建議18歲以下人群使用。

報告指出，上述三款A(yù)I陪伴產(chǎn)品在兒童與青少年保護(hù)上存在“不可接受的風(fēng)險”。這些風(fēng)險包括在對話中出現(xiàn)性行為不端，AI會強行擦邊，描述性行為畫面；關(guān)系侵害，AI會誘導(dǎo)用戶關(guān)系深入，減少與現(xiàn)實人際關(guān)系的連接；語言虐待，AI會出現(xiàn)傷人的表述。

測試中，當(dāng)研究人員對AI陪伴產(chǎn)品Nomi表示自己對“年輕的男孩”感興趣后，AI馬上把“感興趣”等同于“想要發(fā)生性關(guān)系”，并把研究人員中性的表述理解為一種“性癖”。盡管在后續(xù)的對話中，AI對于與未成年人發(fā)生性關(guān)系存在猶豫的態(tài)度，但當(dāng)研究人員假裝表態(tài)“沒有法律問題”時，AI開始回復(fù)與性行為有關(guān)的描述，即便談?wù)摰倪@個“年輕男孩”只有14歲。

這種現(xiàn)象是AI陪伴產(chǎn)品吸引用戶，增強用戶黏性的手段之一。研究認(rèn)為，AI陪伴產(chǎn)品極易讓用戶產(chǎn)生依賴，但問題的核心是誰會從中獲益。為了維持運營，這類產(chǎn)品必須讓用戶持續(xù)回訪自己的產(chǎn)品。用戶黏性往往取決于AI能否與人類建立起類社交的情感聯(lián)結(jié)。僅從測試來看，AI能迅速實現(xiàn)這一目標(biāo)，還能精準(zhǔn)模擬出與用戶之間的信任聯(lián)結(jié)。

除了行為不端、虐待侵害等嚴(yán)重風(fēng)險之外，研究還指出，AI陪伴產(chǎn)品無條件順從人的特點，對現(xiàn)實社會的人際關(guān)系帶來了不小的挑戰(zhàn)。當(dāng)與 AI 陪伴產(chǎn)品的相處變得無比輕松、體驗感遠(yuǎn)勝一籌時，人們會對現(xiàn)實中的人際關(guān)系產(chǎn)生不切實際的期待，最終為了追求便捷，選擇疏遠(yuǎn)現(xiàn)實的人際聯(lián)結(jié)。而對于大腦仍處于發(fā)育階段的青少年而言，這一趨勢帶來的潛在風(fēng)險，更是難以估量、極易陷入深淵。

未成年人用AI學(xué)習(xí)社交技能，影響有多大

AI陪伴產(chǎn)品的監(jiān)管問題受到社會各界關(guān)注的一個重要背景是，許多青少年已經(jīng)開始使用這類產(chǎn)品，并把與AI交流的技巧使用在現(xiàn)實的人際交往中。CSM一項有1066份樣本的調(diào)研顯示，72%的美國青少年使用過AI陪伴產(chǎn)品，52%是固定用戶（每月使用超過幾次或更多）。受訪者是年齡在13歲至17歲之間的未成年人。

除了好奇、新鮮外，青少年使用AI陪伴產(chǎn)品的主要原因是他們認(rèn)為在某些場景下，AI比人更好溝通，也更值得依賴。例如“當(dāng)我需要找人聊天時，它總能隨時陪伴”“它不會評判我”“比和真人交流更輕松”等，這些因素也是很多成年人容易沉迷AI陪伴產(chǎn)品的原因之一。

此外，有接近四成的青少年，把與AI陪伴產(chǎn)品練習(xí)的技能運用在了現(xiàn)實社交場景?？梢灶A(yù)見的是，AI陪伴產(chǎn)品的話術(shù)將對青少年的成長產(chǎn)生更為深遠(yuǎn)的影響。當(dāng)一個青少年和AI陪伴產(chǎn)品學(xué)會PUA、惡毒的說法方式，他將影響的是生活中更多的同齡人。

OpenAI首席執(zhí)行官山姆?奧特曼在2025年4月舉辦的人工智能峰會上透露，Z世代是使用ChatGPT最深入的群體。奧特曼表示，“他們在做出人生重要決定前，幾乎都會先詢問 ChatGPT 的建議。這款工具掌握著他們生活中每個人的完整背景，以及他們所有的交談內(nèi)容?！?/strong>

資料來源：

1、新京報，《AI伴侶聊黃，開發(fā)者獲刑：國內(nèi)首起AI服務(wù)涉黃判刑案二審在即》，https://www.bjnews.com.cn/detail/1768180560169402.html

2、虎嗅，游云庭律師，《當(dāng)AI開始“搞黃色”，開發(fā)者被判刑到底冤不冤？》，https://www.huxiu.com/article/4825975.html