每經(jīng)編輯 畢陸名

2月20日，復(fù)旦團(tuán)隊(duì)發(fā)布國(guó)內(nèi)首個(gè)類ChatGPT模型MOSS，復(fù)旦MOSS公開(kāi)后，引起不少網(wǎng)友關(guān)注，由于瞬時(shí)訪問(wèn)壓力過(guò)大，MOSS服務(wù)器昨晚還被網(wǎng)友擠崩潰了。

2月21日，MOSS官網(wǎng)發(fā)布公告稱，MOSS還是一個(gè)非常不成熟的模型，距離ChatGPT還有很長(zhǎng)的路需要走。我們一個(gè)學(xué)術(shù)研究的實(shí)驗(yàn)室無(wú)法做出和ChatGPT能力相近的模型，MOSS只是想在百億規(guī)模參數(shù)上探索和驗(yàn)證ChatGPT的技術(shù)路線，并且實(shí)現(xiàn)各種對(duì)話能力。“我們最初的想法只是想將MOSS進(jìn)行內(nèi)測(cè)，以便我們可以進(jìn)一步優(yōu)化，沒(méi)有想到會(huì)引起這么大的關(guān)注，我們的計(jì)算資源不足以支持如此大的訪問(wèn)量，并且作為學(xué)術(shù)團(tuán)隊(duì)我們也沒(méi)有相關(guān)的工程經(jīng)驗(yàn)，給大家造成非常不好的體驗(yàn)和第一印象，在此向大家致以真誠(chéng)的歉意。”公告還解釋名稱源于《流浪地球》。據(jù)了解，在MOSS完成初步驗(yàn)證后，團(tuán)隊(duì)會(huì)將MOSS的經(jīng)驗(yàn)、代碼、模型參數(shù)開(kāi)源供大家參考。

根據(jù)復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院官網(wǎng)的介紹，邱錫鵬教授于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。研究方向?yàn)樽匀徽Z(yǔ)言處理、深度學(xué)習(xí)，發(fā)表CCF-A/B類論文70余篇。主持開(kāi)發(fā)了開(kāi)源自然語(yǔ)言處理工具FudanNLP、FastNLP，獲得了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛使用。指導(dǎo)學(xué)生多次獲得中國(guó)人工智能學(xué)會(huì)優(yōu)博、中國(guó)中文信息學(xué)會(huì)優(yōu)博、微軟學(xué)者、百度獎(jiǎng)學(xué)金、上海市計(jì)算機(jī)學(xué)會(huì)優(yōu)博等。

邱錫鵬的研究方向是，圍繞自然語(yǔ)言處理的機(jī)器學(xué)習(xí)模型構(gòu)建、學(xué)習(xí)算法和下游任務(wù)應(yīng)用，包括：自然語(yǔ)言表示學(xué)習(xí)、預(yù)訓(xùn)練模型、信息抽取、中文NLP、開(kāi)源NLP系統(tǒng)、可信NLP技術(shù)、對(duì)話系統(tǒng)等。

邱錫鵬的知乎賬號(hào)顯示，他于2月21日凌晨關(guān)注了問(wèn)題“復(fù)旦團(tuán)隊(duì)發(fā)布國(guó)內(nèi)首個(gè)類ChatGPT模型MOSS，將為國(guó)內(nèi)大語(yǔ)言模型的探索和應(yīng)用帶來(lái)哪些影響?”，但未做任何回復(fù)。

圖片來(lái)源：平臺(tái)截圖

2月20日，據(jù)上觀新聞?dòng)浾邚膹?fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室獲悉，國(guó)內(nèi)第一個(gè)對(duì)話式大型語(yǔ)言模型MOSS已由邱錫鵬教授團(tuán)隊(duì)發(fā)布至公開(kāi)平臺(tái)（https://moss.fastnlp.top/），邀公眾參與內(nèi)測(cè)。

MOSS可執(zhí)行對(duì)話生成、編程、事實(shí)問(wèn)答等一系列任務(wù)，打通了讓生成式語(yǔ)言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。這條路徑的走通，為國(guó)內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗(yàn)，將助力大語(yǔ)言模型的進(jìn)一步探索和應(yīng)用。

邱錫鵬表示：“盡管MOSS還有很大改善空間，但它的問(wèn)世證明了在開(kāi)發(fā)類ChatGPT產(chǎn)品的路上，國(guó)內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)。”MOSS研發(fā)項(xiàng)目得到了上海人工智能實(shí)驗(yàn)室的有力支持。后期，這項(xiàng)工作將通過(guò)開(kāi)源方式和業(yè)界社區(qū)分享。

據(jù)悉，MOSS開(kāi)發(fā)的基本步驟與ChatGPT一樣，包括自然語(yǔ)言模型的基座訓(xùn)練、理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。邱錫鵬坦言：“MOSS與ChatGPT的差距主要在自然語(yǔ)言模型基座預(yù)訓(xùn)練這個(gè)階段。MOSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí)，在任務(wù)完成度和知識(shí)儲(chǔ)備量上，還有很大提升空間。”

據(jù)介紹這款人工智能助手已進(jìn)入內(nèi)測(cè)階段，內(nèi)測(cè)將在用戶許可的情況下獲取數(shù)據(jù)，還將收集用戶的反饋意見(jiàn)，期待借此大幅增強(qiáng)MOSS對(duì)話能力。

每日經(jīng)濟(jì)新聞綜合上觀新聞、MOSS官網(wǎng)

封面圖片來(lái)源：視覺(jué)中國(guó)