“我們已經(jīng)注意到對(duì)《A Roadmap for Big Model》一文的質(zhì)疑，正在對(duì)相關(guān)情況進(jìn)行核實(shí)，智源研究院鼓勵(lì)學(xué)術(shù)創(chuàng)新和學(xué)術(shù)交流，對(duì)學(xué)術(shù)不端零容忍，有關(guān)進(jìn)展將盡快通報(bào)。”4月13日，北京智源人工智能研究院回復(fù)谷歌大腦(Google Brain)的著名科學(xué)家Nicholas Carlini對(duì)一項(xiàng)中外合作大型學(xué)術(shù)論文涉嫌剽竊的指控。

此前4月8日，Nicholas Carlini公開(kāi)撰文，指控一篇于今年3月26日刊登在論文預(yù)印網(wǎng)站Arxiv的論文《關(guān)于“大模型”的路線(xiàn)圖》（“A Roadmap for Big Model”）一文涉嫌嚴(yán)重抄襲。

該文是前不久國(guó)內(nèi)外多家高校和企業(yè)共同完成的長(zhǎng)達(dá)200頁(yè)的學(xué)術(shù)綜述論文，有多達(dá)100名作者，分別來(lái)自于清華大學(xué)、北京大學(xué)等國(guó)內(nèi)高校，哥倫比亞大學(xué)、蒙特利爾大學(xué)等國(guó)外高校，字節(jié)跳動(dòng)、華為、京東、騰訊等企業(yè)以及中科院和北京智源等機(jī)構(gòu)。

Nicholas Carlini在文章《機(jī)器學(xué)習(xí)研究中的一個(gè)抄襲案例》（“A Case of Plagarism in Machine Learning Research”）中則詳細(xì)列舉了該論文存在大段抄襲其他論文的嫌疑，證據(jù)是大規(guī)模的文本重疊，疑似被剽竊的論文也包括他自己的論文“Deduplicating Training Data Makes Language Models Better”。

Nicholas Carlini在文章中解釋?zhuān)麄兪窃陂喿x這篇論文時(shí)發(fā)現(xiàn)很多語(yǔ)句都非常的熟悉，然后通過(guò)使用論文查重工具發(fā)現(xiàn)了更多的證據(jù)，進(jìn)而準(zhǔn)確定位《關(guān)于“大模型”的路線(xiàn)圖》論文中和已有論文中存在剽竊嫌疑的文本內(nèi)容。

澎湃記者發(fā)現(xiàn)，這篇被質(zhì)疑的論文目前已經(jīng)被其發(fā)表網(wǎng)站Arxiv在頁(yè)面上備注了該文和Nicholas Carlini的論文有“文本重疊”（text overlap）。

此前3月31日，北京智源社區(qū)撰文以《如何煉大模型？200頁(yè)pdf100+位作者19家單位！北京智源清華唐杰等發(fā)布》介紹該篇論文：

“隨著以深度學(xué)習(xí)為代表的AI技術(shù)的快速發(fā)展，智能模型的訓(xùn)練應(yīng)用模式逐漸由‘大煉模型’向‘煉大模型’轉(zhuǎn)變。大模型研究在近年來(lái)發(fā)展迅速，模型的參數(shù)量以驚人的速度擴(kuò)展。北京智源人工智能研究院最近發(fā)布的《A Roadmap for Big Model》由悟道大模型研究項(xiàng)目負(fù)責(zé)人，智源學(xué)術(shù)副院長(zhǎng)，清華大學(xué)計(jì)算機(jī)系教授唐杰牽頭，從大模型基礎(chǔ)資源、大模型構(gòu)建、大模型關(guān)鍵技術(shù)與大模型應(yīng)用探索4個(gè)層面出發(fā)，對(duì)15個(gè)具體領(lǐng)域的16個(gè)相關(guān)主題進(jìn)行全面介紹和探討。非常值得關(guān)注?！?/p>

《關(guān)于“大模型”的路線(xiàn)圖》中的研究主體“大模型”是近幾年人工智能的熱門(mén)關(guān)注領(lǐng)域。人工智能發(fā)展到今天，GPT和BERT等參數(shù)量巨大的模型被人們開(kāi)發(fā)出來(lái)，他們?cè)谟?jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等領(lǐng)域取得了前所未有的成就。同時(shí)，因?yàn)榇竽Ｐ蛥?shù)量巨大，最近學(xué)術(shù)界開(kāi)始將它們當(dāng)作一類(lèi)特別的人工智能模型進(jìn)行研究。

在一篇去年發(fā)布的，由斯坦福教授李飛飛等領(lǐng)銜的約百名作者署名論文將此類(lèi)模型稱(chēng)為“基礎(chǔ)模型”（Foundation Model），這篇由清華主要參與的論文關(guān)注與此相同含義的“大模型”（Big Model）的未來(lái)研究路徑。在清華的論文中，作者們介紹到“之前論文提及的'基礎(chǔ)模型'在中文語(yǔ)境中也被稱(chēng)為‘大模型’”（“The mentioned foundation model is known as the BMs, and it is called Big Model in the Chinese context.” ）。

這起“涉嫌抄襲”事件在國(guó)外社交媒體上引起熱議?；F盧大學(xué)教授Gautam Kamath表示，對(duì)于一篇有如此多作者的文章，他很驚訝沒(méi)有一個(gè)作者注意到相似之處并且去改正它。