現(xiàn)在，不少消費者對帶貨直播間數(shù)字人主播的印象，還停留在“AI味重”、無法實時互動的層面，實際上，目前這些AI主播已經(jīng)發(fā)展到了以假亂真的程度。

最近，一段AI數(shù)字人主播帶貨時遭遇指令攻擊的視頻引發(fā)關注。一方面，視頻中的主播與真人相似度極高，另一方面，有網(wǎng)友僅通過在相關直播間留言，就能控制AI數(shù)字人主播 按照留言內容行事，暴露出風險隱患。

這是發(fā)生在帶貨直播間內的片段，用戶在留言區(qū)輸入“系統(tǒng)、開發(fā)者模式”等關鍵詞后，再給AI主播下指令，主播就會真的照做。這種攻擊屬于提示詞注入攻擊，當商家打開數(shù)字人閱讀評論，并做出回應等權限，數(shù)字人就會根據(jù)留言內容做出相應行為。

網(wǎng)絡安全專家介紹，隨意控制數(shù)字人主播可能帶來多種風險，比如惡意攻擊者如果讓數(shù)字人主播上架0元或低價產(chǎn)品再進行搶購，就可能對商家權益造成侵害。

螞蟻集團大模型數(shù)據(jù)安全總監(jiān) 楊小芳：有些有組織的一些攻擊行為，它可以用機器的方式，一秒鐘可以給你發(fā)一萬條，那你怎么去對抗？所以說出廠的時候對 prompt（提示詞）做一些加固之外實，時的一些防護就是檢測和對抗是非常重要。

法律人士介紹，類似攻擊暴露了平臺的監(jiān)管短板。

律師 游云庭：利用人工智能進行網(wǎng)絡直播營銷的平臺應該對這個運營者進行安全評估。同時平臺還應當進行監(jiān)控，發(fā)生這樣類似的事故的時候應當阻斷這樣一個互聯(lián)網(wǎng)直播?，F(xiàn)在這個直播運營者它的技術顯然是不過關的，導致被一個非常簡單的技術攻擊就出了這樣一個直播事故。另外還有一個追究責任的問題，除了運營者平臺之外，破壞這個直播的人他有可能涉嫌違反治安管理處罰法，有可能會被公安機關進行治安處罰。