備受關(guān)注的國(guó)內(nèi)“AI服務(wù)涉黃第一案”1月14日在上海市第一中級(jí)人民法院開(kāi)庭二審。開(kāi)發(fā)運(yùn)營(yíng)涉黃AI聊天應(yīng)用的兩名開(kāi)發(fā)者，此前已被一審法院以制作淫穢物品牟利罪判處刑罰。

據(jù)悉，涉案應(yīng)用“Alien Chat”由梁某和王某開(kāi)發(fā)運(yùn)營(yíng)，于2023年6月上線，定位為AI伴侶聊天軟件。一審判決書(shū)顯示，該應(yīng)用注冊(cè)用戶(hù)達(dá)11.6萬(wàn)余人，其中付費(fèi)用戶(hù)2.4萬(wàn)余人，累計(jì)生成聊天內(nèi)容400萬(wàn)余段。經(jīng)隨機(jī)抽樣鑒定，在150名付費(fèi)用戶(hù)中，有141人聊天內(nèi)容涉黃；在抽取的1.2萬(wàn)余段聊天記錄中，超3600段被認(rèn)定為淫穢內(nèi)容。

該應(yīng)用提供兩檔付費(fèi)服務(wù)，尊享會(huì)員收費(fèi)138元/月，高級(jí)會(huì)員收費(fèi)68元/月，累計(jì)收費(fèi)達(dá)363萬(wàn)余元。一審法院認(rèn)定，該應(yīng)用產(chǎn)生了“大量具體描繪性行為或露骨宣揚(yáng)色情的內(nèi)容”，屬于淫穢物品。無(wú)論從淫穢物品數(shù)量、會(huì)員人數(shù)，還是從違法所得數(shù)額來(lái)看，均遠(yuǎn)超相關(guān)司法解釋所規(guī)定的入罪標(biāo)準(zhǔn)，具有刑事可罰性。

最終，一審法院以制作淫穢物品牟利罪，判處梁某有期徒刑四年，并處罰金400萬(wàn)元；判處王某有期徒刑一年六個(gè)月，并處罰金20萬(wàn)元。一審宣判后，二人已提起上訴。

目前，涉案應(yīng)用已在各大應(yīng)用商店下架。

此案首次在法律層面明確，提供技術(shù)工具的“服務(wù)提供者”可被認(rèn)定為主要責(zé)任主體。其核心爭(zhēng)議在于：用戶(hù)與AI之間一對(duì)一、看似封閉的“涉黃”對(duì)話，為何會(huì)導(dǎo)致技術(shù)服務(wù)提供者承擔(dān)刑事責(zé)任？

被告辯護(hù)律師主張無(wú)罪，理由主要有兩點(diǎn)：一是主觀無(wú)故意，修改系統(tǒng)提示詞旨在優(yōu)化AI擬人化與情感陪伴能力，并非為傳播淫穢物品；二是內(nèi)容無(wú)傳播性，聊天發(fā)生在用戶(hù)與AI之間，具有封閉性。

然而，一審判決揭示了不同的法律邏輯。法院雖認(rèn)同其行為不構(gòu)成“傳播淫穢物品牟利罪”，但認(rèn)定構(gòu)成“制作淫穢物品牟利罪”。法院的核心認(rèn)定在于：被告的行為是涉黃內(nèi)容產(chǎn)生的決定性源頭。二人通過(guò)編寫(xiě)、修改底層提示詞，人為突破了基礎(chǔ)人工智能模型的道德約束機(jī)制，將涉案應(yīng)用“訓(xùn)練”成可持續(xù)輸出淫穢內(nèi)容的工具，并在明確知曉生成大量淫穢內(nèi)容后，仍繼續(xù)提供服務(wù)并牟利。

對(duì)此，律師游云庭分析認(rèn)為，本案作為人工智能領(lǐng)域開(kāi)發(fā)者責(zé)任的首例刑事案件，首要意義在于明確了開(kāi)發(fā)者的法律責(zé)任邊界。根據(jù)現(xiàn)行監(jiān)管法規(guī)，人工智能開(kāi)發(fā)者本應(yīng)履行多項(xiàng)合規(guī)義務(wù)。而本案中的開(kāi)發(fā)者不僅未遵守相關(guān)規(guī)定，反而通過(guò)技術(shù)手段主動(dòng)突破了大模型的原有道德限制，在明知用戶(hù)與AI進(jìn)行露骨聊天的情況下，仍持續(xù)運(yùn)營(yíng)并牟利。因此，法院判決實(shí)質(zhì)上認(rèn)定的是其作為開(kāi)發(fā)者的責(zé)任失守。

對(duì)于“開(kāi)發(fā)者是否冤枉”的輿論疑問(wèn)，游云庭明確指出，這種追責(zé)并不冤枉。他認(rèn)為，監(jiān)管設(shè)定合規(guī)義務(wù)的目的，正是為了防止有人利用AI服務(wù)從事違法活動(dòng)、對(duì)社會(huì)造成損害。本案開(kāi)發(fā)者不僅未履行這些義務(wù)，還主動(dòng)通過(guò)技術(shù)設(shè)置突破模型的安全邊界，放任用戶(hù)進(jìn)行色情聊天，并以此獲利巨大。這種主觀上以營(yíng)利為目的，客觀上放任大規(guī)模不良內(nèi)容生成的行為，若不受制裁，可能導(dǎo)致其他合規(guī)開(kāi)發(fā)者效仿，進(jìn)而破壞產(chǎn)業(yè)生態(tài)環(huán)境，后果嚴(yán)重。因此，此次開(kāi)發(fā)者被追究刑事責(zé)任具有合理性與必要性。

當(dāng)前，不當(dāng)?shù)腁I生成內(nèi)容已引發(fā)全球性關(guān)注。近期，美國(guó)企業(yè)家馬斯克旗下人工智能公司xAI開(kāi)發(fā)的聊天機(jī)器人“格羅克”，也因圖像生成功能被濫用制作“深度偽造”色情內(nèi)容，面臨多國(guó)監(jiān)管調(diào)查與譴責(zé)。歐盟委員會(huì)數(shù)字事務(wù)負(fù)責(zé)人托馬斯·雷尼爾批評(píng)其所謂“熱辣模式”實(shí)質(zhì)是違法行為，令人震驚且不可接受。英國(guó)、印度尼西亞、馬來(lái)西亞等地也已相繼采取警告、限制或封禁措施。在監(jiān)管壓力下，該圖像生成功能已被調(diào)整為僅對(duì)付費(fèi)用戶(hù)開(kāi)放。

國(guó)內(nèi)“AI服務(wù)涉黃第一案”為AI應(yīng)用開(kāi)發(fā)劃清了法律紅線。依據(jù)國(guó)家《生成式人工智能服務(wù)管理暫行辦法》等規(guī)定，提供和使用生成式人工智能服務(wù)，不得生成暴力、淫穢色情等法律、行政法規(guī)禁止的內(nèi)容。使用者不得刻意繞開(kāi)內(nèi)容過(guò)濾機(jī)制，誘導(dǎo)AI生成違法內(nèi)容。若AI生成內(nèi)容被認(rèn)定為淫穢物品，相關(guān)人員可能觸犯制作、販賣(mài)淫穢物品牟利罪等。

同時(shí)，技術(shù)提供者的算法設(shè)計(jì)需符合法律法規(guī)與公序良俗，不能為違法違規(guī)提供技術(shù)支持。需對(duì)訓(xùn)練數(shù)據(jù)審查，確保數(shù)據(jù)合規(guī)，同時(shí)對(duì)生成內(nèi)容進(jìn)行全流程審核，履行算法備案、安全評(píng)估等義務(wù)。

此外，針對(duì)日益增長(zhǎng)的AI情感陪伴需求，國(guó)家網(wǎng)信辦已于去年底就《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法（征求意見(jiàn)稿）》公開(kāi)征求意見(jiàn)，預(yù)示著此類(lèi)應(yīng)用的監(jiān)管將愈發(fā)細(xì)化。

那么，AI使用的邊界究竟在哪里？游云庭進(jìn)一步指出，當(dāng)前人工智能領(lǐng)域爭(zhēng)議頻發(fā)，此類(lèi)案件的監(jiān)管難點(diǎn)之一在于“技術(shù)中立性”的辨別——技術(shù)本身并無(wú)善惡，關(guān)鍵在于其用途。邊界在于：AI應(yīng)憑借功能與價(jià)值吸引用戶(hù)，而非通過(guò)突破道德底線來(lái)博取關(guān)注。例如，若應(yīng)用定位是滿足情感陪伴，就應(yīng)致力于溫馨、健康的交流，而非嵌入色情內(nèi)容來(lái)迎合用戶(hù)低層次欲望。真正的創(chuàng)新必須在合規(guī)基礎(chǔ)上展開(kāi)，產(chǎn)業(yè)才能健康可持續(xù)發(fā)展。

目前，國(guó)內(nèi)外AI服務(wù)市場(chǎng)競(jìng)爭(zhēng)激烈。市場(chǎng)份額領(lǐng)先的產(chǎn)品，往往依靠功能、性能與用戶(hù)體驗(yàn)取勝；而一些技術(shù)能力不足的企業(yè)，則可能試圖通過(guò)突破底線來(lái)吸引流量。這種行為短期內(nèi)或帶來(lái)關(guān)注，但社會(huì)危害巨大。從商業(yè)角度看，違規(guī)也是短視的：無(wú)論是已被關(guān)停、開(kāi)發(fā)者獲刑的“Alien Chat”，還是面臨全球監(jiān)管與封禁壓力的“格羅克”，都表明違規(guī)不僅帶來(lái)道德風(fēng)險(xiǎn)，更伴隨切實(shí)的法律與商業(yè)風(fēng)險(xiǎn)。