編者按：2025年初，生成式人工智能模型DeepSeek的發(fā)布引爆輿論場(chǎng)。這一年，AI技術(shù)經(jīng)歷了突飛猛進(jìn)的發(fā)展，為社會(huì)帶來極大便利的同時(shí)，也大大推高了技術(shù)濫用的風(fēng)險(xiǎn)，由此衍生出一系列網(wǎng)絡(luò)亂象。法治網(wǎng)輿情中心盤點(diǎn)2025年以來近120起AI技術(shù)濫用事件，總結(jié)表現(xiàn)突出的八大亂象，并就監(jiān)管和執(zhí)法部門如何增強(qiáng)網(wǎng)絡(luò)空間治理效能提出應(yīng)對(duì)建議。

輿情綜述

1. AI謠言日漸凸顯

AI技術(shù)的普及帶來最顯著的濫用風(fēng)險(xiǎn)就在于AI謠言多發(fā)。對(duì)話大模型的迅猛發(fā)展令批量生產(chǎn)謠言的門檻進(jìn)一步降低，而且比起傳統(tǒng)謠言，AI編造的謠言細(xì)節(jié)逼真、情節(jié)豐富，更具迷惑性。梳理發(fā)現(xiàn)，今年的AI謠言集中在以下四個(gè)領(lǐng)域：一是編造涉警情險(xiǎn)情災(zāi)情等謠言，如貴陽文昌閣有人“挖眼虐貓”事件引起廣泛傳播，警方調(diào)查發(fā)現(xiàn)系網(wǎng)民用AI軟件編造的謠言。二是蹭炒社會(huì)熱點(diǎn)炮制謠言，有網(wǎng)民在“全黨開展深入貫徹中央八項(xiàng)規(guī)定精神學(xué)習(xí)教育”之際，利用AI炮制“江蘇兩干部買方便面被通報(bào)”謠言，被采取刑事強(qiáng)制措施。三是編造涉及他人名譽(yù)等侵權(quán)謠言，如“華山醫(yī)院前院長(zhǎng)客死他鄉(xiāng)”“有頂流明星在澳門輸了10億”等涉及名人明星的謠言信息被大量傳播，相關(guān)話題登上熱搜榜。四是AI“黑嘴”抹黑營(yíng)商環(huán)境。在上海警方偵破的一起利用人工智能技術(shù)編造、傳播網(wǎng)絡(luò)謠言損害企業(yè)權(quán)益案中，造謠者使用AI技術(shù)以“無中生有”“移花接木”“斷章取義”的手法拼湊，再冠以“博眼球”的標(biāo)題，使得涉及企業(yè)的不實(shí)內(nèi)容被快速推送到用戶眼前，造成企業(yè)聲譽(yù)受損。

2. AI“起號(hào)”現(xiàn)象增多

根據(jù)主流媒體說法，AI“起號(hào)”就是指自媒體通過AI技術(shù)批量生產(chǎn)內(nèi)容，借此快速積累粉絲、提升賬號(hào)商業(yè)價(jià)值，進(jìn)而形成可交易或變現(xiàn)的網(wǎng)絡(luò)資產(chǎn)。在當(dāng)前的短視頻平臺(tái)上，AI生成的內(nèi)容正在迅速占領(lǐng)網(wǎng)絡(luò)空間，諸如“外國(guó)人熟練演唱中文歌曲”“銀發(fā)奶奶傳授養(yǎng)生秘訣”“氛圍感女孩分享穿搭美學(xué)”等AI視頻獲得較高的關(guān)注度，令輿論信以為真。分析人士指出，利用AI技術(shù)“起號(hào)”成本低、漲粉快，還能精準(zhǔn)地吸引特定群體，通過電商帶貨、賬號(hào)轉(zhuǎn)賣等方式變現(xiàn)，形成“起號(hào)、轉(zhuǎn)型、轉(zhuǎn)賣”的灰色產(chǎn)業(yè)鏈。目前AI造假“起號(hào)”主要在情感、養(yǎng)生、顏值等領(lǐng)域，甚至還有不少相關(guān)的付費(fèi)教程，以“3天暴力起號(hào)”“條條是爆款”等措辭為噱頭，吸引用戶。業(yè)內(nèi)專家還強(qiáng)調(diào)，一些利用AI“起號(hào)”的從業(yè)人員，會(huì)在互聯(lián)網(wǎng)傳授繞過平臺(tái)管理的經(jīng)驗(yàn)，如果放任大量此類賬號(hào)進(jìn)入賬號(hào)交易市場(chǎng)，可能會(huì)導(dǎo)致網(wǎng)絡(luò)空間持續(xù)遭到污染。

3. AI“換臉”侵權(quán)案例頻發(fā)  

今年以來，AI深度合成名人明星“換臉”擬聲的視頻層出不窮。企業(yè)家雷軍、醫(yī)學(xué)專家張文宏、育兒專家李玫瑾、影視明星靳東、央視主持人李梓萌等公眾人物均遭受“換臉”擬聲的侵害。全國(guó)兩會(huì)期間，多名人大代表和政協(xié)委員關(guān)注AI“換臉”擬聲亂象，呼吁盡快立法、重點(diǎn)整治，相關(guān)討論引發(fā)輿論熱議。11月5日，央視新聞法治在線報(bào)道了演員溫崢嶸遭AI盜播事件，多個(gè)直播間出現(xiàn)她的帶貨形象，溫崢嶸曾在直播間質(zhì)問卻遭對(duì)方拉黑，再次掀起相關(guān)話題討論?！栋朐抡劇酚浾哒{(diào)查發(fā)現(xiàn)，不法商家利用公眾人物為自家“貼金”，有的利用AI仿冒奧運(yùn)冠軍全紅嬋、孫穎莎、王楚欽聲音帶貨；有的讓公眾人物宣傳預(yù)約購(gòu)物可享受低價(jià)但實(shí)際并無折扣，宣傳出售高價(jià)商品實(shí)際只提供低價(jià)商品；還有的聲稱有了公眾人物“加持”，商品宣傳片“播放量10億+”。

4. AI“魔改”“惡搞”問題滋生

在“流量大棒”的指揮下，部分網(wǎng)絡(luò)用戶為了出奇出新，利用AI技術(shù)對(duì)影視作品進(jìn)行大幅或顛覆性改編的行為，常見于短視頻、視覺創(chuàng)作等領(lǐng)域?！斗ㄖ稳?qǐng)?bào)》調(diào)查發(fā)現(xiàn)，“外國(guó)山海經(jīng)”“AI山海經(jīng)”等“魔改”內(nèi)容在網(wǎng)絡(luò)上迅速走紅，這些包含木棍人、仙人掌身軀大象、輪胎青蛙等違背常理的奇怪形象，由AI拼接生成，與中國(guó)古代典籍《山海經(jīng)》無關(guān)，已經(jīng)滲透到低齡群體中，甚至包含血腥暴力、惡搞低俗內(nèi)容的“邪典動(dòng)畫”。相關(guān)內(nèi)容引發(fā)輿論擔(dān)憂。與此同時(shí)，“流浪漢闖入家門”的AI圖片在社交媒體上走紅，這種利用AI制作虛假內(nèi)容進(jìn)行戲弄或測(cè)試的“惡搞”行為引起模仿效應(yīng)，引發(fā)居民恐慌甚至警方出警。媒體批評(píng)“AI可以用于娛樂，但娛樂不應(yīng)破壞親人之間最基本的信任，更不應(yīng)損害公共利益”。

5. AI虛假營(yíng)銷頻頻誤導(dǎo)消費(fèi)者

AI技術(shù)作為強(qiáng)大的輔助工具，已經(jīng)在社會(huì)各個(gè)行業(yè)得到廣泛應(yīng)用，但是在消費(fèi)行業(yè)，由AI技術(shù)生成的營(yíng)銷內(nèi)容卻充斥著造假、低劣內(nèi)容，遭到輿論譴責(zé)和抵制。例如良品鋪?zhàn)拥摹盎ㄉ蠘洹盇I廣告引發(fā)廣泛爭(zhēng)議，還有商家利用AI技術(shù)生成“傳承千年苗方苗古金貼傳承人”等虛假人物形象，外賣平臺(tái)上也存在大量使用AI技術(shù)營(yíng)造“網(wǎng)紅門面”場(chǎng)景的檔口。除此之外，一些商家還利用少數(shù)網(wǎng)民“投機(jī)”“走捷徑”等心理進(jìn)行誘導(dǎo)消費(fèi)。根據(jù)央廣網(wǎng)“中國(guó)之聲”、新華社“新華視點(diǎn)”等媒體報(bào)道，部分商家和自媒體博主號(hào)稱可以用AI預(yù)測(cè)彩票走向，甚至還推出收費(fèi)預(yù)測(cè)彩票中獎(jiǎng)號(hào)碼的服務(wù)；在今年高考前夕，也有機(jī)構(gòu)打出AI大模型“押題”的旗號(hào)進(jìn)行營(yíng)銷，誘導(dǎo)消費(fèi)者付費(fèi)購(gòu)買所謂“內(nèi)部資料”。中國(guó)福彩、媒體等多家機(jī)構(gòu)發(fā)布辟謠和解讀文章，提醒消費(fèi)者防范營(yíng)銷陷阱。

6. AI“薅羊毛”退貨現(xiàn)象泛濫

近年來，針對(duì)電商平臺(tái)的“薅羊毛”行為備受關(guān)注。今年“雙十一”購(gòu)物節(jié)過后，網(wǎng)上曝出多起AI造假騙退貨款的案例，例如廣州一買家AI合成“死蟹”視頻騙取商家退款，被警方處以行政拘留8日處罰。梳理媒體公開報(bào)道發(fā)現(xiàn)，這類借助AI圖像處理技術(shù)生成難以用肉眼識(shí)別的虛假圖片或視頻，向電商商家發(fā)起“僅退款”要求，已經(jīng)遍布服裝、美妝、植物、生鮮等各大類目。不法分子利用電商消費(fèi)小額高頻的特點(diǎn)規(guī)避法律風(fēng)險(xiǎn)，令中小商家苦不堪言，陷入“維權(quán)成本高于損失”的兩難。還有媒體報(bào)道指出，更令人擔(dān)憂的是，這一行為已形成灰色產(chǎn)業(yè)鏈，網(wǎng)上有所謂付費(fèi)教程宣稱“288元教會(huì)單賬號(hào)成功退款30次”，還以學(xué)員累計(jì)獲利2000元為噱頭吸引參與者。對(duì)此輿論呼吁稱，看似是小額利益的投機(jī)，實(shí)則正在層層侵蝕電商生態(tài)的信任基石，亟需多方協(xié)同發(fā)力進(jìn)行整治。

7. 新型AI詐騙犯罪多發(fā)

電信網(wǎng)絡(luò)詐騙案件在嚴(yán)打嚴(yán)防形勢(shì)下依然多發(fā)，并且在AI技術(shù)加持下手段不斷翻新、隱蔽性日益增強(qiáng)，成為危害人民群眾財(cái)產(chǎn)與生命安全的“新毒瘤”。當(dāng)前新型AI詐騙案件層出不窮，除了典型的“AI換臉”“AI擬聲”詐騙之外，還有很多變種，例如“AI換裝”詐騙，有不法分子利用“AI換裝”功能，偽造軍警身份招搖撞騙；“AI客服”詐騙，不法分子利用AI技術(shù)，制作智能客服系統(tǒng)，通過語音或文字同受害人交流，誘騙受害人提供個(gè)人信息或進(jìn)行轉(zhuǎn)賬操作；“AI情感”詐騙，不法分子運(yùn)用AI訓(xùn)練面向網(wǎng)聊的大語言模型，通過偽造場(chǎng)景、聲音與受害人建立情感關(guān)系，進(jìn)而獲取個(gè)人信息，實(shí)現(xiàn)精準(zhǔn)詐騙。對(duì)于AI詐騙多發(fā)態(tài)勢(shì)，輿論普遍擔(dān)憂AI算法被不法分子利用，淪為詐騙工具。

8. AI數(shù)據(jù)污染風(fēng)險(xiǎn)上揚(yáng)

當(dāng)前，人工智能大模型訓(xùn)練需要海量數(shù)據(jù)，這些數(shù)據(jù)一般來自開源網(wǎng)絡(luò)，因此虛假和錯(cuò)誤的數(shù)據(jù)就會(huì)進(jìn)入訓(xùn)練語料庫中，造成數(shù)據(jù)污染現(xiàn)象，導(dǎo)致更多錯(cuò)誤信息被生成，甚至還有不法分子進(jìn)行惡意的“數(shù)據(jù)投毒”。《新華每日電訊》文章援引一項(xiàng)研究顯示，當(dāng)訓(xùn)練的數(shù)據(jù)集里僅有0.01%的虛假文本時(shí)，模型輸出的有害內(nèi)容會(huì)增加11.2%；即使是0.001%的虛假文本，其有害輸出也會(huì)相應(yīng)上升7.2%。今年5月，《中國(guó)青年報(bào)》報(bào)道了“AI把野史當(dāng)信史”現(xiàn)象，文中提到AI生成的“明朝使臣質(zhì)問帖木兒”，通過嫁接真實(shí)人物、虛構(gòu)對(duì)話及偽造文獻(xiàn)注釋，形成具備學(xué)術(shù)表征的偽史文本。這一典型案例揭示了AI時(shí)代數(shù)據(jù)污染的閉環(huán)路徑：虛假信息經(jīng)過編造、傳播進(jìn)入AI模型語料庫，再輸出成為“答案”被引用。經(jīng)過這樣一圈閉環(huán)后，普通公眾很難識(shí)別哪些信息為真、哪些信息為假，久而久之將會(huì)產(chǎn)生更為深遠(yuǎn)持久的認(rèn)知偏見。

應(yīng)對(duì)建議

AI技術(shù)濫用為何屢禁不止？專業(yè)人士分析認(rèn)為，平臺(tái)流量與帶貨轉(zhuǎn)化的強(qiáng)激勵(lì)，使得一些商家和個(gè)人利用AI技術(shù)實(shí)現(xiàn)“劣幣逐利”，并迅速?gòu)?fù)制擴(kuò)散；網(wǎng)絡(luò)環(huán)境的匿名性、隱蔽性，使得AI濫用行為的取證難、追責(zé)成本高；公眾辨別深度偽造的媒介素養(yǎng)不足，平臺(tái)的內(nèi)容溯源機(jī)制不完善等，同樣助長(zhǎng)了AI生成內(nèi)容應(yīng)用亂象。對(duì)此必須多措并舉、標(biāo)本兼治，構(gòu)建全鏈條治理體系。法治網(wǎng)輿情中心綜合專家學(xué)者、行業(yè)人士等方面的意見，總結(jié)出以下三方面建議。

1. 完善法律法規(guī)體系 規(guī)范平臺(tái)責(zé)任和用戶義務(wù)

部分專家指出，隨著AI技術(shù)的快速發(fā)展，相關(guān)的監(jiān)管措施、法律法規(guī)也要及時(shí)更新，繼續(xù)細(xì)化平臺(tái)、技術(shù)提供商、內(nèi)容制作者及用戶的法律責(zé)任。2025年9月1日起施行的《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》要求AI合成內(nèi)容必須明確標(biāo)注，但從大量案例來看，仍有不少用戶發(fā)布AI合成信息時(shí)并未明確標(biāo)注，容易讓人產(chǎn)生混淆。對(duì)此，監(jiān)管部門需進(jìn)一步規(guī)范AI技術(shù)應(yīng)用標(biāo)準(zhǔn)，督促平臺(tái)加大對(duì)AI生成內(nèi)容的審核把關(guān)責(zé)任，引導(dǎo)用戶主動(dòng)添加相關(guān)標(biāo)識(shí)，并且利用技術(shù)手段建立智能審核系統(tǒng)，對(duì)上傳的AI合成內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)測(cè)，及時(shí)發(fā)現(xiàn)和攔截侵權(quán)、虛假、違法等不良內(nèi)容。各大平臺(tái)也需進(jìn)一步改革涉及AI內(nèi)容的流量分發(fā)和收益分成機(jī)制，最大限度壓縮用戶通過AI技術(shù)濫用牟利的空間。

2. 加大執(zhí)法司法力度 全鏈條打擊違法犯罪行為

部分專業(yè)人士建議，執(zhí)法司法機(jī)關(guān)需要建立“鏈條化”思維，對(duì)AI違法犯罪鏈條的前端發(fā)布主體、中端技術(shù)手段和末端的后果危害，分別進(jìn)行評(píng)價(jià)和判斷，進(jìn)行全鏈條打擊和預(yù)防。執(zhí)法部門需持續(xù)部署開展“清朗”系列專項(xiàng)行動(dòng)，從嚴(yán)整治AI技術(shù)濫用等網(wǎng)絡(luò)違法亂象，依法處置違規(guī)平臺(tái)、企業(yè)和賬號(hào)。對(duì)待花樣翻新、不斷迭代的AI造謠、“換臉”詐騙、虛假宣傳、“薅羊毛”等違法犯罪套路，要深挖背后利益鏈條，進(jìn)行源頭打擊、治理，及時(shí)向社會(huì)公布，對(duì)不法分子形成震懾。針對(duì)生成和傳播虛假信息的高風(fēng)險(xiǎn)領(lǐng)域，司法機(jī)關(guān)也可以通過司法解釋等形式明確各方義務(wù)邊界，進(jìn)一步制定科學(xué)合理的AI侵權(quán)責(zé)任認(rèn)定指導(dǎo)標(biāo)準(zhǔn)。

3. 強(qiáng)化法治宣傳教育 增強(qiáng)公眾參與積極性

AI技術(shù)濫用問題與個(gè)體心理、網(wǎng)絡(luò)生態(tài)等多方因素有關(guān)，相關(guān)治理工作是一個(gè)系統(tǒng)工程，在法律和技術(shù)手段之外，還需要長(zhǎng)期治理和全社會(huì)參與。澎湃新聞等媒體建議，執(zhí)法司法部門深入開展法治宣傳教育，通過以案釋法等形式，進(jìn)一步增強(qiáng)網(wǎng)民的法治意識(shí)和媒介素養(yǎng)，不斷規(guī)范使用AI技術(shù)、識(shí)別AI謠言詐騙等能力；同時(shí)完善網(wǎng)絡(luò)不良信息舉報(bào)機(jī)制，鼓勵(lì)廣大用戶積極參與監(jiān)督，對(duì)用戶舉報(bào)的問題及時(shí)進(jìn)行核實(shí)和處理。此外，企業(yè)作為AI技術(shù)濫用的主要受害者，也需增強(qiáng)維權(quán)意識(shí)，及時(shí)向平臺(tái)投訴舉報(bào)，并與屬地公安機(jī)關(guān)溝通、報(bào)案，防止涉企AI謠言持續(xù)擴(kuò)散發(fā)酵。