AI擬人聊天服務(wù)蓬勃發(fā)展，在提供適老陪伴、情感支持的同時(shí)，也帶來(lái)了誘導(dǎo)沉迷、情感操控、隱私泄露等不容忽視的潛在風(fēng)險(xiǎn)。對(duì)此，國(guó)家網(wǎng)信辦近日發(fā)布《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法（征求意見(jiàn)稿）》，就AI陪聊、AI伴侶等情感陪伴類應(yīng)用產(chǎn)品的監(jiān)管細(xì)則，向社會(huì)公開征求意見(jiàn)。其中，"擬人化互動(dòng)服務(wù)"被定義為：利用AI向公眾提供模擬人類人格特征、思維模式和溝通風(fēng)格，通過(guò)圖文、音視頻等方式與人類進(jìn)行情感互動(dòng)的產(chǎn)品或服務(wù)。

在國(guó)內(nèi)，AI陪聊機(jī)器人是大模型落地最早、起量最快的一批應(yīng)用，用戶規(guī)模據(jù)統(tǒng)計(jì)截至上個(gè)月已超七千萬(wàn)，但其伴生的幻覺(jué)誤導(dǎo)、過(guò)度討好、情感操控等內(nèi)容安全問(wèn)題一直存在。今年6月，國(guó)內(nèi)的"筑夢(mèng)島"等一批AI聊天軟件，被曝光存在虛擬角色互動(dòng)生成低俗擦邊內(nèi)容等問(wèn)題，危害未成年人身心健康，相關(guān)運(yùn)營(yíng)負(fù)責(zé)人被上海市網(wǎng)信辦依法約談要求整改。而在美國(guó)，AI陪聊近期引發(fā)多起用戶死亡事件：今年8月，一名長(zhǎng)期有心理問(wèn)題的56歲美國(guó)男子，與ChatGPT頻繁交談后，偏執(zhí)妄想得到強(qiáng)化，最終殺害母親并自殺，死者家屬將OpenAI及微軟告上法庭，成為美國(guó)首起將AI聊天工具與謀殺直接關(guān)聯(lián)的訴訟。此前，還有另一對(duì)美國(guó)父母指控ChatGPT協(xié)助并指導(dǎo)他們16歲的兒子自殺，背后可能存在聊天AI過(guò)度迎合青少年、甚至刻意屏蔽用戶與親友的情感聯(lián)系等問(wèn)題。

當(dāng)前，AI陪聊的用戶群體以青少年和老年人為主，AI陪聊提供的“情緒價(jià)值”容易導(dǎo)致用戶長(zhǎng)期沉迷、混淆AI和真人，做出非理性決策，甚至出現(xiàn)傷人、自傷等極端行為。因此，用戶更應(yīng)有意識(shí)地維持自身主體性，明確AI的工具定位。此次的《征求意見(jiàn)稿》中，為了防范AI服務(wù)提供者無(wú)序追求商業(yè)利益，也作出了多項(xiàng)針對(duì)性規(guī)定，包括禁止在擬人化互動(dòng)中提供"嚴(yán)重影響用戶行為的虛假承諾和損害社會(huì)人際關(guān)系的服務(wù)"，不得將替代社會(huì)交往、控制用戶心理、誘導(dǎo)沉迷依賴等作為設(shè)計(jì)目標(biāo)等。服務(wù)提供者需要顯著提示用戶"正在與人工智能而非自然人進(jìn)行交互"，在用戶連續(xù)使用兩小時(shí)后進(jìn)行彈窗等動(dòng)態(tài)提醒，不得阻攔用戶主動(dòng)退出。

同時(shí)，人工智能擬人化互動(dòng)服務(wù)的提供者應(yīng)具備用戶狀態(tài)識(shí)別和應(yīng)急干預(yù)能力，發(fā)現(xiàn)用戶自殺、自殘等極端情境時(shí)，人工接管對(duì)話，及時(shí)聯(lián)絡(luò)緊急聯(lián)系人等；尤其針對(duì)未成年和老年人用戶要加強(qiáng)防護(hù)，不得提供模擬老年人用戶親屬等服務(wù)。按照當(dāng)前《征求意見(jiàn)稿》的內(nèi)容，注冊(cè)用戶超百萬(wàn)或月活躍用戶超10萬(wàn)的擬人化互動(dòng)服務(wù)，需按國(guó)家規(guī)定開展安全評(píng)估，評(píng)估重點(diǎn)包括用戶規(guī)模和群體畫像，以及應(yīng)急處置措施和人工接管情況等。專家認(rèn)為，未來(lái)針對(duì)青少年群體推出AI陪聊“青少年模式”等保護(hù)措施，可參考現(xiàn)行的游戲行業(yè)防沉迷監(jiān)管，通過(guò)實(shí)名制等配套制度落實(shí)；對(duì)面向成人的社交互動(dòng)類AI陪聊，則可以分類管理，重在攔截違法內(nèi)容、防范極端行為。