近年來，生成式人工智能技術(shù)被廣泛應(yīng)用，在為人們提供便利的同時(shí)，也讓造謠者有了可乘之機(jī)。近期就有多起AI生成謠言在網(wǎng)絡(luò)廣泛傳播，誤導(dǎo)公眾認(rèn)知，破壞網(wǎng)絡(luò)環(huán)境。

　　今年11月28日網(wǎng)友上傳的一段視頻，一名模特在展出的車輛旁邊，衣著暴露，且做出不雅動(dòng)作。而當(dāng)天車企并沒有安排模特為車輛宣傳，車企選擇報(bào)警。

　　12月10日，廣州警方通報(bào)：“車展不雅視頻”事件：李某為炫耀個(gè)人技術(shù)用AI生成虛假視頻，被行拘10日。

　　珠峰裝電梯、長(zhǎng)城貼瓷磚、黃河設(shè)玻璃護(hù)欄是近幾年出現(xiàn)的典型的網(wǎng)絡(luò)謠言。不過最近，網(wǎng)絡(luò)上珠峰裝電梯視頻依靠AI生成工具，制作得更加精良，再次席卷而來。

　　內(nèi)容雖然荒唐，但是因?yàn)閭鞑�廣泛，官方緊急辟謠，西藏相關(guān)部門稱，目前珠峰暫無安裝電梯計(jì)劃，網(wǎng)傳圖文視頻為AI生成的虛假信息。部分營(yíng)銷號(hào)利用AI偽造西藏各類打卡景點(diǎn)的虛假圖文視頻，用虛假話術(shù)吸引流量，提醒網(wǎng)民切勿相信此類謠言。

　　明確所有AI生成內(nèi)容都要“亮明身份”

　　以上這些利用AI生成的謠言視頻，效果都達(dá)到了“以假亂真”的程度，而且在發(fā)布傳播的過程中，都沒有標(biāo)注AI生成標(biāo)識(shí)，其結(jié)果就是，給網(wǎng)友錯(cuò)覺認(rèn)為這是真的。

　　事實(shí)上，今年9月1日起，《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》正式施行，明確所有AI生成的文字、圖片、視頻等內(nèi)容都要“亮明身份”，標(biāo)注AI生成的標(biāo)識(shí)。通常人工智能生成的視頻或者圖片以及文字標(biāo)識(shí)問題，涉及三個(gè)主體：AI生成工具，信息發(fā)布和發(fā)布信息的平臺(tái)，每一個(gè)環(huán)節(jié)都應(yīng)標(biāo)注。

　　如何“打上”AI生成標(biāo)識(shí)？總臺(tái)記者演示

　　總臺(tái)記者也針對(duì)AI生成標(biāo)識(shí)的標(biāo)注進(jìn)行了演示。

　　總臺(tái)央視記者 崔世杰：我給AI工具一個(gè)提示，讓他用雪山、湖泊和老虎制作一張圖片，AI給的圖片是這樣的。這張圖就是典型的人工智能生成的圖片，AI標(biāo)識(shí)在哪里呢，在圖片的左上角寫有AI生成字樣，如果下載到手機(jī)中，標(biāo)識(shí)會(huì)到右下角。

　　信息發(fā)布者如何在自己的發(fā)布的信息中打上AI制作的標(biāo)識(shí)呢？以視頻號(hào)為例，打開已經(jīng)發(fā)布的信息，在下邊找到這個(gè)箭頭標(biāo)記，點(diǎn)開，找到視頻標(biāo)注的選項(xiàng)點(diǎn)擊，這里有幾個(gè)選項(xiàng)、內(nèi)容為AI制作、內(nèi)容為虛構(gòu)劇情，點(diǎn)AI制作。再看視頻下方會(huì)有一行字，作者提示，內(nèi)容為AI技術(shù)制作。

　　一些人為了博眼球?qū)�AI生成標(biāo)識(shí)二次加工給去掉，發(fā)到平臺(tái)上。這時(shí)候作為謠言散布的最后守門員，平臺(tái)就要去識(shí)別，并且打上標(biāo)識(shí)。刷短視頻時(shí)一定看到過這樣的文字，在視頻下方寫著內(nèi)容可能使用了AI圖像編輯技術(shù)，請(qǐng)注意甄別。這行字就是平臺(tái)識(shí)別判斷后加上去的。

　　平臺(tái)如何檢測(cè)AI生成內(nèi)容？為何有漏網(wǎng)之魚？

　　有了法律法規(guī)，技術(shù)上也會(huì)進(jìn)行標(biāo)注提示，為何網(wǎng)絡(luò)平臺(tái)還會(huì)出現(xiàn)此類謠言視頻？記者走訪了視頻平臺(tái)和AI生成研究團(tuán)隊(duì)，來看看為何會(huì)有部分AI生成謠言成為漏網(wǎng)之魚，進(jìn)而誤導(dǎo)網(wǎng)友。

　　相關(guān)數(shù)據(jù)顯示，短視頻平臺(tái)面對(duì)的是每天以億為單位的網(wǎng)民上傳的內(nèi)容。

　　某平臺(tái)生態(tài)運(yùn)營(yíng)經(jīng)理 陳詠月：目前，平臺(tái)對(duì)AI生成內(nèi)容的審核采用的是機(jī)審和人審相結(jié)合的方式，也在不斷強(qiáng)化識(shí)別能力。具體來說，平臺(tái)通過收集樣本，利用AI能力，訓(xùn)練了多個(gè)對(duì)AIGC內(nèi)容識(shí)別的模型，來識(shí)別一條視頻內(nèi)容是否是AI制作的。

　　那么具體AI識(shí)別工具在識(shí)別是否為AI生成的作品時(shí)，會(huì)留意哪些方面呢。

　　中國(guó)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)安全專委會(huì)執(zhí)行委員 潘季明：首先是針對(duì)文本的統(tǒng)計(jì)特征分析技術(shù)，尋找AI寫作過于平穩(wěn)、缺乏人味的“機(jī)器指紋”。其次是基于深度學(xué)習(xí)模型的檢測(cè)技術(shù)，通過對(duì)特定生成算法的缺陷進(jìn)行識(shí)別，分析像素和頻域中存在的AI生成偽影，如紋理重復(fù)或特定圖案。第三是多模態(tài)融合檢測(cè)技術(shù)，利用大模型的通用理解能力來捕捉跨模態(tài)、高級(jí)語義上的不一致來實(shí)現(xiàn)。

　　不過平臺(tái)和專家也坦言，現(xiàn)在的AI工具的識(shí)別能力，還無法做到完全準(zhǔn)確，其主要原因AI生成工具在不斷成熟，而AI識(shí)別工具始終處于追趕狀態(tài)。這讓AI謠言類信息未被檢測(cè)出來難以避免。

　　陳詠月：但是技術(shù)在不斷發(fā)展，模型識(shí)別的結(jié)果并不一定完全準(zhǔn)確。

　　潘季明：現(xiàn)在主流的檢測(cè)技術(shù)主要面臨三大困難。一是存在理論瓶頸，隨著AI模型能力不斷增強(qiáng)，其輸出的統(tǒng)計(jì)特征越來越接近人類高質(zhì)量作品，導(dǎo)致理論上僅靠統(tǒng)計(jì)指標(biāo)已無法區(qū)分，也就是概率分布重疊。其次是文本只需簡(jiǎn)單潤(rùn)色或同義詞替換；圖像只需壓縮或截圖就能破壞水印或偽影，使檢測(cè)器失效。第三是泛化性不足，檢測(cè)器通常是針對(duì)舊模型訓(xùn)練的，面對(duì)新的、未見過的AI生成模型，檢測(cè)效果會(huì)顯著下降，導(dǎo)致檢測(cè)始終處于“滯后”狀態(tài)。

　　AI提供者創(chuàng)作者及平臺(tái)應(yīng)共同防范AI濫用

　　專家表示，防范AI濫用不僅是識(shí)別工具技術(shù)更新問題，同時(shí)也要加速建立“數(shù)字信任生態(tài)體系”。

　　陳詠月：AI濫用的治理是個(gè)系統(tǒng)性工程，網(wǎng)絡(luò)黑灰產(chǎn)為了利益也會(huì)進(jìn)行技術(shù)升級(jí)，還會(huì)有更多的技術(shù)對(duì)抗。所以對(duì)AI濫用的治理仍然需要AI服務(wù)提供者、創(chuàng)作者、內(nèi)容傳播平臺(tái)、廣大用戶共同努力。

　　潘季明：通過深化利用多模態(tài)融合分析、動(dòng)態(tài)對(duì)抗訓(xùn)練技術(shù)以及區(qū)塊鏈存證追溯等技術(shù)，結(jié)合內(nèi)容標(biāo)識(shí)法規(guī)、行業(yè)統(tǒng)一的檢測(cè)標(biāo)準(zhǔn)，以及可解釋的檢測(cè)結(jié)果 等治理框架，共同實(shí)現(xiàn) 從被動(dòng)識(shí)別到主動(dòng)驗(yàn)證，從局部鑒別到全局可信 的識(shí)別追蹤方案。