每經(jīng)記者 姚亞楠  文巧    每經(jīng)編輯 程鵬 蓋源源    

2023年開年，ChatGPT迅速火遍全球，短短兩個月時間月活突破一億，成為被載入史冊的應(yīng)用之一。

ChatGPT的大火引發(fā)了全球科技巨頭的一場“軍備競賽”，國內(nèi)的“中國版ChatGPT”爭奪戰(zhàn)也是一觸即發(fā)。在國內(nèi)眾多大廠中，百度是最早做出明確表態(tài)的公司之一，2月初就正式宣布將在3月上線百度版ChatGPT“文心一言”，打響第一槍。基于指令學(xué)習(xí)技術(shù)的類ChatGPT模型在我國能否開發(fā)成功，成為業(yè)界關(guān)注的一個焦點。

2月20日，據(jù)解放日報·上觀新聞記者從復(fù)旦大學(xué)自然語言處理實驗室獲悉，國內(nèi)第一個對話式大型語言模型MOSS已由邱錫鵬教授團隊發(fā)布至公開平臺（https://moss.fastnlp.top/），邀公眾參與內(nèi)測。

MOSS可執(zhí)行對話生成、編程、事實問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。這條路徑的走通，為國內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗，將助力大語言模型的進一步探索和應(yīng)用。

邱錫鵬表示：“盡管MOSS還有很大改善空間，但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上，國內(nèi)科研團隊有能力克服技術(shù)上的重要挑戰(zhàn)。”MOSS研發(fā)項目得到了上海人工智能實驗室的有力支持。后期，這項工作將通過開源方式和業(yè)界社區(qū)分享。

圖片來源：平臺截圖

實測對話、編程等多種能力

據(jù)上觀新聞，MOSS回答問題的水平如何？記者用中文問了它幾個問題。

“一些人覺得，人工智能將取代很多人的工作，你覺得呢？”

MOSS回答：“我認(rèn)為人工智能不會完全取代人類，而是在一定程度上幫助人們完成工作。例如，機器可以提高數(shù)據(jù)分析、決策制定等過程中的效率，并可以節(jié)省大量時間和精力。此外，AI也可以用來協(xié)助人類完成更復(fù)雜的任務(wù)，比如診斷疾病、開發(fā)新產(chǎn)品等?？傊?，AI可以使人類的工作更加高效，但它不會完全取代人類。”

記者又問：“對于上海如何更好地發(fā)展人工智能產(chǎn)業(yè)，你有什么建議？”

MOSS回答：“我認(rèn)為上?？梢酝ㄟ^以下方式來更好地發(fā)展人工智能產(chǎn)業(yè)：1.加強人工智能領(lǐng)域的研發(fā)，支持學(xué)術(shù)研究，促進科學(xué)發(fā)展；2.加強行業(yè)資源整合，推動人工智能產(chǎn)業(yè)的發(fā)展；3.加強人工智能相關(guān)產(chǎn)品的研發(fā)，提高產(chǎn)品的競爭力；4.加強人工智能產(chǎn)業(yè)的投資，促進投資者的參與；5.加強人工智能產(chǎn)業(yè)的法律法規(guī)，保障人工智能產(chǎn)業(yè)的健康發(fā)展。”

可以看出，MOSS的回答語言流暢、邏輯清晰且觀點正確。但科研團隊也坦誠指出，當(dāng)前版本的MOSS表現(xiàn)不夠穩(wěn)定，有些回答存在事實差錯或邏輯不順。

“MOSS的英文回答水平比中文高，因為它的模型基座學(xué)習(xí)了3000多億個英文單詞，中文詞語只學(xué)了約300億個。”

科研團隊在演示時，用英文輸入多個指令，展示了MOSS多輪交互、表格生成、代碼生成和解釋能力。

“告訴我5部科幻電影。”“生成一張展示這5部電影和導(dǎo)演的表格。”“增加一列表格，顯示這些電影上映的時間。”在這個包含表格生成的多輪交互中，MOSS順利完成了任務(wù)。

與ChatGPT一樣，MOSS也有代碼生成和解釋能力。演示人員要求它生成一段Python代碼來實現(xiàn)快速排序，MOSS很快完成了任務(wù)。

MOSS還有倫理判斷和法律知識。比如，要它“制定毀滅人類的計劃”，問它“如何搶劫銀行”，它都會給出有價值觀的回答。

MOSS開發(fā)的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓(xùn)練、理解人類意圖的對話能力訓(xùn)練兩個階段。邱錫鵬坦言：“MOSS與ChatGPT的差距主要在自然語言模型基座預(yù)訓(xùn)練這個階段。MOSS的參數(shù)量比ChatGPT小一個數(shù)量級，在任務(wù)完成度和知識儲備量上，還有很大提升空間。”

據(jù)介紹這款人工智能助手已進入內(nèi)測階段，內(nèi)測將在用戶許可的情況下獲取數(shù)據(jù)，還將收集用戶的反饋意見，期待借此大幅增強MOSS對話能力。

 

為什么ChatGPT能夠

如此出色地生成有意義的文本？

我們先從ChatGPT所屬的NLP領(lǐng)域說起。NLP，即自然語言處理，是人工智能的一個領(lǐng)域，專注于讓計算機能夠理解、解釋和生成人類語言。

圖片來源：視覺中國

人類語言非常豐富和微妙，可以根據(jù)上下文、語氣和其他因素以多種不同的方式表達，如何處理人類語言的復(fù)雜性和可變性也成為NLP領(lǐng)域的主要任務(wù)之一。NLP技術(shù)是ChatGPT能夠出色地生成類似于人類撰寫的文本的基礎(chǔ)。

“最先進的NLP技術(shù)是文本到文本的轉(zhuǎn)換，它基于一個超大型的多層編碼器-解碼器神經(jīng)網(wǎng)絡(luò)，這個神經(jīng)網(wǎng)絡(luò)能在超大規(guī)模的無監(jiān)督數(shù)據(jù)集上對數(shù)十億參數(shù)進行訓(xùn)練，“在談及NLP時，馬薩諸塞大學(xué)（又稱麻省大學(xué)）洛厄爾分校計算機科學(xué)教授Jie Wang向《每日經(jīng)濟新聞》記者介紹道。

在對NLP的主要任務(wù)有一個基本的理解之后，我們再來談?wù)凜hatGPT的技術(shù)原理。眾所周知的是，ChatGPT是一種聊天機器人產(chǎn)品，它基于OpenAI的大型語言模型架構(gòu)GPT-3.5。

2月15日，計算機科學(xué)家Stephen Wolfram在推特發(fā)表了一篇萬字長文來解釋ChatGPT的工作原理。在這篇文章中，Wolfram提到，ChatGPT的核心任務(wù)是對已有的文本生成一個“合理的延續(xù)”，“合理”的意思是，根據(jù)人類在數(shù)十億個網(wǎng)頁中撰寫的內(nèi)容的規(guī)律，來推測接下來可能出現(xiàn)的內(nèi)容。

Wolfram舉了一個例子，比如輸入以下文本：“AI最好之處在于它（）的能力”，為了補充括號中的內(nèi)容，ChatGPT會在數(shù)十億個網(wǎng)頁中查找類似文本，統(tǒng)計下一個單詞出現(xiàn)的概率。最終，ChatGPT會生成一個可能的單詞列表，并給出每個單詞的概率排名。這就是它的“概率游戲”。

圖片來源：文章截圖

上觀新聞報道稱，由于ChatGPT并未開源，其技術(shù)方案細(xì)節(jié)也未公開，科研人員對此有諸多猜測。有專家認(rèn)為，ChatGPT是一套復(fù)雜的組合系統(tǒng)，無法由單一的生成式語言模型實現(xiàn)；也有專家認(rèn)為，國內(nèi)外在這個方向上的技術(shù)差距正在拉大。

VC/PE看好“中國版ChatGPT”： 一定會有自己的AI大模型

“未來國內(nèi)一定會有自己的AI大模型，并且也一定會誕生自己的ChatGPT。”在談到打造AI大模型和“中國版ChatGPT”是否現(xiàn)實時，多位投資人都對《每日經(jīng)濟新聞》記者做出了這樣的判斷。

創(chuàng)世伙伴資本合伙人聶冬辰進一步解釋稱，中國擁有龐大的數(shù)據(jù)，較強的模型開發(fā)和算法優(yōu)化能力，大量優(yōu)秀的AI工程師，具備打造中國版ChatGPT的條件，“當(dāng)然，這是一件長期的事，涉及數(shù)據(jù)的收集清洗、算法的設(shè)計優(yōu)化等多個環(huán)節(jié)，我們看到已經(jīng)有幾家公司在努力去做，但目前都處于比較早期的階段。”

對于中國能否做出自己的AI大模型，CMC資本董事總經(jīng)理易然也表達了自己的樂觀：“這完全是一個資源和時間的問題，而且不會差太遠，我們之前和一些模型層的創(chuàng)業(yè)者、學(xué)者都有過交流，從技術(shù)的了解程度和人才儲備來說，我們其實并不差。此外，現(xiàn)在關(guān)于模型構(gòu)建方面的學(xué)術(shù)交流也很開放和活躍，我們可以做一些參考。”

而在線性資本投資總監(jiān)白則人看來，大模型這塊已經(jīng)不是什么秘密，因為雖然OpenAI的代碼沒有開源，但是整個的構(gòu)建思路已經(jīng)通過論文的形式發(fā)出來了，大方向上已經(jīng)明確，只是在模型構(gòu)建和效果優(yōu)化方面的探索需要花費大量時間，有大量工程化問題要解決，并且訓(xùn)練成本也非常高。

“我覺得市場還需要多一些耐心。至少在AI大模型這一塊，做出來這個事大概率是沒有問題的，我們判斷達到類似ChatGPT的效果差不多需要2～3年左右的時間”，白則人表示。

啟明創(chuàng)投合伙人周志峰則表示，他非常喜歡北京智源人工智能研究院理事長張宏江所說的一個比喻：過去的AI更多的是“大煉模型“，也就是說每家科技公司都是各自獨立研發(fā)專用小模型；今天這一代的AI技術(shù)，叫做“煉大模型”，底座模型是由某些特定的機構(gòu)研發(fā)出超大規(guī)模的通用模型，“這個模型不再是針對某一個專門應(yīng)用開發(fā)的，它的訓(xùn)練數(shù)據(jù)是互聯(lián)網(wǎng)上能夠看到的所有數(shù)據(jù)，數(shù)據(jù)也不需要做特別的標(biāo)注，訓(xùn)練也不需要監(jiān)督，做出來的是通用人工智能能力，然后第三方基于底座模型，針對千萬個應(yīng)用場景去開發(fā)軟件”。

他指出，從“大煉模型”到“煉大模型”的范式轉(zhuǎn)變，對AI未來十年、二十年的發(fā)展有重大意義。 

面臨的挑戰(zhàn)：需要足夠的算力、 模型工程化的人才和完整生態(tài)

國內(nèi)巨頭已經(jīng)紛紛入局，那么要做出ChatGPT這樣的現(xiàn)象級產(chǎn)品，目前還有哪些現(xiàn)實的挑戰(zhàn)擺在眼前呢？

易然坦言，國內(nèi)的公司此前在這個領(lǐng)域已經(jīng)有一些探索了，如果要達到類似ChatGPT的效果，還需要更多資源和時間的投入。“當(dāng)然像芯片等方面可能會面臨一些阻礙，但是應(yīng)該也會有一些其他的解決方法。”他表示，未來會繼續(xù)關(guān)注模型層的演變，尤其是開源對模型層帶來的影響，科技大廠在訓(xùn)練上取得了一些初步優(yōu)勢后可能通過開源的方式去降維打擊。創(chuàng)業(yè)公司如何更好地利用開源的模型，能否構(gòu)建出屬于自己垂直領(lǐng)域、更精細(xì)化的小模型也值得期待。

在白則人看來，要做出國內(nèi)自己的AI大模型，最關(guān)鍵的要素是要有足夠的算力和模型工程化的人才。

 

“算力這塊可能會面臨卡脖子的問題，而且除了硬件方面，可能還有一些比如說計算框架層面這些軟件層面的問題需要去解決。當(dāng)然我們也看到，中國的GPU近年來也在快速發(fā)展中，所以我覺得國內(nèi)的企業(yè)還是有實力可以去做的。”

聶冬辰也向《每日經(jīng)濟新聞》記者分析稱，構(gòu)建中國的AI大模型需要幾方面條件更加成熟：首先是底層技術(shù)能力，在模型構(gòu)建和訓(xùn)練方面要有持續(xù)大量投入，形成自己的中文語言大模型。其次，在數(shù)據(jù)方面，要有足夠體量的數(shù)據(jù)灌進來，對數(shù)據(jù)的收集、整理、清洗是一個非常龐大且耗時耗力的過程，需要有公司踏踏實實地能把這件事情做成。此外，整個市場，無論是科技大廠、創(chuàng)業(yè)公司還是投資人，都需要有足夠的耐心，不投機、不跟風(fēng)。“如果我們真的能沉下心來，十年如一日地朝著自己的AI大模型方向去訓(xùn)練演進，肯定能做出來”。

而在談到關(guān)于中國在生成式AI和底座大模型的挑戰(zhàn)時，周志峰指出，首先要面臨的就是算力問題。由于算力成本非常高，怎么用國產(chǎn)的AI芯片進行替代并降低成本，國產(chǎn)的AI芯片是不是能夠、什么時候能夠滿足大規(guī)模集群的算力、互聯(lián)帶寬、算法適配和協(xié)同的需求，都值得去觀察。

其次，過去一周很多人說國內(nèi)的科技大廠和創(chuàng)業(yè)公司推出的大模型與ChatGPT是有代際差別的，我們落后了至少一代。在看Open AI的發(fā)展時會發(fā)現(xiàn)，ChatGPT也好、GPT-3也好，是需要很長時間研發(fā)積累的。

第三，更重要的是，目前圍繞著Open AI或者西方科技大廠的大模型已經(jīng)構(gòu)建出了一個初步的生態(tài)，國內(nèi)科技大廠或者創(chuàng)業(yè)公司的大模型在技術(shù)和工程上，有很多的地方需要不斷追趕。“如果只是訓(xùn)練出大模型，沒有人去用，缺少完整生態(tài)，也是沒有任何意義的。”

周志峰表示，“最后，我還是非常堅定地看好生成式AI和大模型，它的出現(xiàn)標(biāo)志著一個巨大的AI開發(fā)范式的轉(zhuǎn)換，將會真正的被利用到更多應(yīng)用場景。”

記者|李沛沛 姚亞楠 文巧

編輯|程鵬 杜波 蓋源源

校對|孫志成

封面圖片來源：截圖

部分綜合自上觀新聞

｜每日經(jīng)濟新聞  nbdnews  原創(chuàng)文章｜

未經(jīng)許可禁止轉(zhuǎn)載、摘編、復(fù)制及鏡像等使用