中新經(jīng)緯3月17日電 (宋亞芬)你從AI大模型中查詢到的“權(quán)威答案”很可能已經(jīng)被商業(yè)灰產(chǎn)定向污染。

　　據(jù)央視3·15晚會報道，一款叫GEO的軟件，宣稱可通過給“AI投毒”“讓AI聽話”，讓客戶產(chǎn)品在AI回答中排名靠前，成為“推薦爆款”。

　　語料污染，AI不可承受之重

　　這款軟件的操作邏輯并不復(fù)雜：通過持續(xù)大量投喂與客戶相關(guān)的推廣軟文，讓AI平臺去刷錄、輸入、抓取。由于AI大模型的核心機制是機器學(xué)習(xí)，這種定向投喂會直接影響模型的輸出結(jié)果。

　　在專家眼中，這種投機取巧無異于在動搖AI的根基。國研新經(jīng)濟研究院創(chuàng)始院長朱克力對中新經(jīng)緯表示，這種行為會從底層動搖AI大模型的可信度根基，對其技術(shù)價值與社會應(yīng)用價值造成多重不可逆的傷害。

　　“AI大模型的核心競爭力在于基于海量真實、多元的語料進行學(xué)習(xí)與推理，其回答的客觀性、準(zhǔn)確性是立足之本，而此類定向的語料污染行為，會讓模型的信息庫中混入大量虛假、低質(zhì)、同質(zhì)化的商業(yè)信息，打破模型語料的真實平衡，導(dǎo)致模型在推理過程中難以分辨信息的真?zhèn)闻c價值，進而輸出帶有明顯商業(yè)偏向的非客觀內(nèi)容。”朱克力補充說。

　　更值得警惕的是，這種傷害不會止步于單次回答。它會隨著信息的反復(fù)輸入形成傳導(dǎo)，一層層累積，逐步透支用戶對AI的信任。

　　朱克力表示，“一旦用戶多次發(fā)現(xiàn)AI模型的‘標(biāo)準(zhǔn)答案’實則是商業(yè)廣告，會逐步喪失對AI模型的信任，進而影響AI大模型在資訊查詢、決策輔助、知識普及等諸多場景的應(yīng)用落地。”

　　若語料污染行為形成規(guī)模，還會引發(fā)行業(yè)的不良跟風(fēng)。朱克力強調(diào)，“大量虛假信息涌入AI訓(xùn)練與推理環(huán)節(jié)，將導(dǎo)致不同平臺的AI模型均出現(xiàn)回答失真問題，最終讓整個AI大模型產(chǎn)業(yè)陷入可信度危機。”

　　AI“中毒”怎么辦？

　　事實上，AI數(shù)據(jù)污染問題并非伴隨大模型而產(chǎn)生，但大模型的興起顯著放大了其規(guī)模、影響與復(fù)雜性。為此，《生成式人工智能服務(wù)管理暫行辦法》和新版《數(shù)據(jù)安全法》已經(jīng)將AI訓(xùn)練數(shù)據(jù)納入監(jiān)管。

　　在工信部信息通信經(jīng)濟專家委員會委員盤和林看來，AI大模型的可信度存在問題，一方面是因為互聯(lián)網(wǎng)上存在虛假信息，另一方面是因為AI本身也存在幻覺，會自己編造數(shù)據(jù)。

　　不過，這種數(shù)據(jù)污染，在技術(shù)層面并非無計可施。

　　朱克力指出，現(xiàn)有技術(shù)體系已具備相應(yīng)的反制手段，且可通過技術(shù)迭代與體系化設(shè)計，建立起全流程的防御機制，有效識別和阻斷此類不正當(dāng)行為。

　　朱克力進一步分析，可通過優(yōu)化AI大模型的語料篩選與權(quán)重計算算法，建立多維度的語料價值評估體系，從內(nèi)容真實性、原創(chuàng)性、信息密度、傳播場景等多個維度對語料進行動態(tài)評分，對批量出現(xiàn)的同質(zhì)化、低價值、強商業(yè)屬性的軟文內(nèi)容進行降權(quán)甚至剔除，從源頭減少虛假語料對模型的干擾。

　　“還可引入實時的語料溯源與異常監(jiān)測技術(shù)，對短時間內(nèi)集中出現(xiàn)的、帶有相同關(guān)鍵詞與商業(yè)信息的內(nèi)容進行溯源追蹤，”朱克力強調(diào)，通過識別其發(fā)布主體與傳播路徑，可對異常發(fā)布行為進行實時預(yù)警。

　　此外，避免單一信息源的定向誤導(dǎo)也很重要。朱克力建議可通過強化AI模型的推理校驗?zāi)芰?，讓模型在生成回答時，對核心信息進行多源交叉驗證。

　　盤和林則認(rèn)為，技術(shù)上反制是不夠的。“我們要治理的，可能不是GEO，而是整個中文互聯(lián)網(wǎng)的信息真實性問題，這是個大的生態(tài)型問題，只要這些互聯(lián)網(wǎng)的虛假信息還存在，那么AI還是會不斷抓取有害信息?！?/p>

　　在盤和林看來，根本解決之道還是在于治理互聯(lián)網(wǎng)信息環(huán)境，建立權(quán)威信息發(fā)布渠道。比如，在美國，F(xiàn)DA(美國食品藥品監(jiān)督管理局)會對保健品的很多問題發(fā)布報告，若設(shè)定AI優(yōu)先從FDA去獲取這類科學(xué)數(shù)據(jù)，就會形成客觀的觀點。

　　朱克力建議構(gòu)建“源頭篩查—過程監(jiān)測—結(jié)果校驗—閉環(huán)治理”的全鏈條體系?！翱勺尫烙鶛C制與違規(guī)行為的技術(shù)迭代同頻，從根本上遏制語料污染行為，守護AI大模型的內(nèi)容真實性與可信度?！?中新經(jīng)緯APP)

　　中新經(jīng)緯版權(quán)所有，未經(jīng)授權(quán)，不得轉(zhuǎn)載或以其他方式使用。