如果要問(wèn)DeepSeek、ChatGPT、文心一言、豆包、Kimi等生成式大模型最廣泛的用法是什么，學(xué)生黨的回答可能是：寫(xiě)作業(yè)。很多人發(fā)現(xiàn)，AI生成的文字，可能比自己寫(xiě)得更優(yōu)美、更流暢、更嚴(yán)謹(jǐn)。但這種便利無(wú)疑給學(xué)校管理者帶來(lái)了麻煩——如何監(jiān)督學(xué)生，不把自主思考讓位給人工智能？在操作層面，這個(gè)難題就是——如何精準(zhǔn)識(shí)別AIGC（AI生成內(nèi)容）？
專(zhuān)家也難辨真假
記者調(diào)研發(fā)現(xiàn)，現(xiàn)如今，大學(xué)生利用AI輔助完成作業(yè)、畢業(yè)論文（設(shè)計(jì)）的情況已非常普遍。對(duì)此，全國(guó)多所高校都在試行或出臺(tái)相關(guān)規(guī)定辦法，規(guī)范大學(xué)生對(duì)AI工具的使用。今年畢業(yè)季，部分高校提出要求，學(xué)生的畢業(yè)論文除了要通過(guò)查重外，還需檢測(cè)AIGC工具使用情況。
但現(xiàn)實(shí)中，不少學(xué)生反映，一些AI檢測(cè)工具存在誤判問(wèn)題：有的學(xué)生在同一平臺(tái)對(duì)同一文檔進(jìn)行AI檢測(cè)，第一天的檢測(cè)率為10%，第二天上升至20%多；有的學(xué)生論文中的原創(chuàng)內(nèi)容被系統(tǒng)判定為AI生成；更有學(xué)生發(fā)現(xiàn)，即便論文主要內(nèi)容是公式、著名作家的經(jīng)典文章，系統(tǒng)也會(huì)顯示AI檢測(cè)率超標(biāo)……
AIGC，很難選、很難評(píng)？確實(shí)如此。
發(fā)表在《應(yīng)用語(yǔ)言學(xué)研究方法》上的一則研究，討論了頂級(jí)期刊的語(yǔ)言學(xué)家、評(píng)論家能夠在多大程度上區(qū)分AI寫(xiě)作和人工寫(xiě)作——72位專(zhuān)家參與了這項(xiàng)調(diào)研，結(jié)果專(zhuān)家的正確率不足40%。
從共同處找不同
目前，如何精準(zhǔn)識(shí)別AIGC，已經(jīng)成為人工智能學(xué)術(shù)界研究的熱點(diǎn)。這不單單是為了督促學(xué)生們認(rèn)真學(xué)習(xí)，更在科研、法律、政策、經(jīng)濟(jì)管理等方面，有巨大的潛在需求。那么，如何研發(fā)出一款“靠譜”的檢測(cè)工具呢？
西湖大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室負(fù)責(zé)人張?jiān)勒J(rèn)為，要在共同處找不同。
他說(shuō)：“盡管我們作為‘人’，很難準(zhǔn)確揪出AI生成的文字，但面對(duì)AI撰寫(xiě)的文字時(shí)，總有一種說(shuō)不上來(lái)的‘別扭’。這種別扭，或許是來(lái)自潛意識(shí)里的直覺(jué)判斷，但卻說(shuō)不清道不明。”
事實(shí)上，機(jī)器生成的文本與人類(lèi)生成的文本看起來(lái)很像，但在語(yǔ)義、語(yǔ)法、用詞習(xí)慣等細(xì)節(jié)處理上，存在許多不同。
“人類(lèi)的思考是‘因果性’的，而機(jī)器的思考則偏向‘統(tǒng)計(jì)性’。”張?jiān)肋M(jìn)一步解釋?zhuān)耙詫?xiě)文章為例，AI的寫(xiě)法是學(xué)習(xí)現(xiàn)有數(shù)據(jù)，從中挑選最‘安全穩(wěn)妥’的詞，也就是按照概率高低來(lái)選詞，這和人寫(xiě)作的創(chuàng)造性是有本質(zhì)區(qū)別的。”
如果現(xiàn)在有一個(gè)數(shù)據(jù)庫(kù)，里面裝著人類(lèi)歷史上100位著名作家的文章。當(dāng)AI用“統(tǒng)計(jì)性”學(xué)習(xí)這個(gè)數(shù)據(jù)庫(kù)，它學(xué)到的不是這些作家的“神來(lái)之筆”，而是他們之間共用的、出現(xiàn)頻率更高的詞。
這個(gè)詞，叫“平庸”。
因何如此？
張?jiān)勒J(rèn)為，癥結(jié)在于A(yíng)I缺少“泛化性”，即模型的“適應(yīng)能力”。換言之，模型不能借助訓(xùn)練數(shù)據(jù)中學(xué)到的因果邏輯舉一反三，并將這種能力拓展應(yīng)用至未曾接觸過(guò)的領(lǐng)域。
用AI識(shí)別AI
日前，西湖大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室研發(fā)出的一款A(yù)I程序Fast-DetectGPT，試圖用AI“打敗”AI。而這款工具，本質(zhì)上就是“找不同”。
張?jiān)澜榻B，目前已知主要有三類(lèi)技術(shù)來(lái)識(shí)別AI生成的內(nèi)容：監(jiān)督分類(lèi)器法、零樣本分類(lèi)器法、文本水印法，用起來(lái)各有利弊。
監(jiān)督分類(lèi)器法比較實(shí)在，它需要收集大量的已知數(shù)據(jù)并做分類(lèi)學(xué)習(xí)，就像學(xué)生上課，碰到?jīng)]有見(jiàn)過(guò)、學(xué)過(guò)的數(shù)據(jù)，就會(huì)找不著北，導(dǎo)致準(zhǔn)確率下降。
零樣本分類(lèi)器法，顧名思義無(wú)需收集數(shù)據(jù)，它主要是學(xué)習(xí)AI寫(xiě)的文本有什么特征，以此來(lái)做區(qū)分判斷。但是，AI寫(xiě)文章到底有什么特征呢？如果AI寫(xiě)得越來(lái)越像人，特征越來(lái)越不明顯怎么辦？這便是其中難點(diǎn)。
文本水印法，與前兩種方法的邏輯不同，它是在A(yíng)I生成的文本上打上水印，準(zhǔn)確率比前兩種都要高，但可能存在水印被人為弱化甚至移除的風(fēng)險(xiǎn)。
作為Fast—DetectGPT主要研發(fā)者，西湖大學(xué)博士研究生鮑光勝選擇用零樣本分類(lèi)器法完成這項(xiàng)實(shí)驗(yàn)。
他提出一種假設(shè)——在給定上下文情況下，人類(lèi)和AI在選擇詞匯時(shí)會(huì)存在明顯差異，但不同AI模型之間的差異并不明顯。研究團(tuán)隊(duì)針對(duì)這種差異，開(kāi)發(fā)了一種自動(dòng)化的指標(biāo)進(jìn)行區(qū)分。
“我們可以把它理解成，面對(duì)一篇文章，F(xiàn)ast—DetectGPT作為AI會(huì)先想想，自己會(huì)怎么寫(xiě)？然后根據(jù)這個(gè)自問(wèn)自答的參考答案，去比對(duì)原文，看看重合度有多高——以子之矛，攻子之盾。”鮑光勝說(shuō)。
他進(jìn)一步解釋?zhuān)?dāng)程序接收到一個(gè)文本片段，首先會(huì)在不改變?cè)獾那闆r下進(jìn)行改寫(xiě)，把局部的同義詞替換掉，再將這份替換后的文本與原始文本進(jìn)行對(duì)比，如果是AI寫(xiě)的，兩者之間的相似性會(huì)比較明顯。
簡(jiǎn)單來(lái)說(shuō)，AI對(duì)AI寫(xiě)的內(nèi)容更“熟悉”，可以“認(rèn)出”同類(lèi)的作品。
效果怎么樣？
張?jiān)澜榻B，目前，F(xiàn)ast—DetectGPT及其私有模型擴(kuò)展Glimpse能夠支持26種語(yǔ)言。2024年4月上線(xiàn)至今，已經(jīng)有450多萬(wàn)人次用它做過(guò)“是AI還是人”的檢測(cè)。與上一代DetectGPT相比，F(xiàn)ast—DetectGPT在速度上提升了340倍；在檢測(cè)準(zhǔn)確率上相對(duì)提升約75%——在ChatGPT生成文本上，檢測(cè)正確率為96%；在GPT—4生成的文本上，檢測(cè)的正確率達(dá)到了90%；針對(duì)DeepSeek—v3生成文本的檢測(cè)，正確率則達(dá)89%。
“當(dāng)然，面對(duì)當(dāng)前不斷迭代更新的大模型，科研團(tuán)隊(duì)將持續(xù)研究，以幫助公眾精準(zhǔn)識(shí)別AIGC。”張?jiān)勒f(shuō)。
來(lái)源：《光明日?qǐng)?bào)》
