每經(jīng)記者 趙李南    每經(jīng)編輯 梁梟    

“在這一波人工智能產(chǎn)業(yè)變革中，不論是出于我國(guó)信息安全的需要，還是國(guó)內(nèi)人工智能產(chǎn)業(yè)發(fā)展的考慮，我們都需要自己的ChatGPT。”蘇勁松表示。

蘇勁松，廈門大學(xué)信息學(xué)院教授、博士生導(dǎo)師，國(guó)家特支計(jì)劃青年拔尖人才，福建省杰出青年基金獲得者。2011年畢業(yè)于中國(guó)科學(xué)院計(jì)算技術(shù)研究所，隨后任教于廈門大學(xué)，主要研究方向是自然語(yǔ)言處理，機(jī)器翻譯，文本生成。共發(fā)表CCF-A/B論文一百余篇，獲得2020年錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)獎(jiǎng)—漢王青年創(chuàng)新獎(jiǎng)，培養(yǎng)學(xué)生獲2017百度獎(jiǎng)學(xué)金（全球10名，唯一獲獎(jiǎng)碩士）。

近日，《每日經(jīng)濟(jì)新聞》記者專訪了蘇勁松，關(guān)于ChatGPT的技術(shù)基礎(chǔ)、發(fā)展方向、我國(guó)大語(yǔ)言模型的開發(fā)狀況，蘇勁松都一一進(jìn)行了解答。

圖為蘇勁松，受訪者供圖

大一編程課程試卷，ChatGPT考了69分

蘇勁松用大一編程課程試卷對(duì)ChatGPT進(jìn)行了測(cè)試。結(jié)果讓人感到驚訝，ChatGPT編程題全對(duì)，選擇題正確率過半，共得了69分（滿分100分）。

蘇勁松認(rèn)為，ChatGPT答編程題100%正確率可能有兩方面原因。首先，ChatGPT是基于Transformer的生成模型，其在生成式任務(wù)中的表現(xiàn)尤為突出。另外，ChatGPT使用了大量的不同領(lǐng)域和類型源代碼數(shù)據(jù)進(jìn)行訓(xùn)練，這些代碼可以幫助模型學(xué)習(xí)到如何高效編寫較為簡(jiǎn)單的代碼。

蘇勁松繼續(xù)說(shuō)道：“相比之下，選擇題答題不夠理想的原因，可能也包含兩方面：首先是數(shù)據(jù)集的不足，與自然語(yǔ)言生成任務(wù)不同，選擇題類型的數(shù)據(jù)在訓(xùn)練時(shí)出現(xiàn)較少，這使得模型對(duì)該類任務(wù)的建模能力不足；其次，選擇題經(jīng)常需要模型能夠正確地理解文本并將其與其他知識(shí)點(diǎn)聯(lián)系起來(lái)，然后再進(jìn)行推理。然而，ChatGPT在邏輯推理這方面還是存在不足。”

在大眾看來(lái)，ChatGPT似是“橫空出世”，但事實(shí)上，ChatGPT經(jīng)歷了相當(dāng)漫長(zhǎng)的發(fā)展過程。

蘇勁松向記者介紹，ChatGPT本質(zhì)上是一個(gè)語(yǔ)言模型，它可以根據(jù)給定的上下文來(lái)預(yù)測(cè)當(dāng)前出現(xiàn)詞語(yǔ)的分布概率。粗略來(lái)看，它的發(fā)展經(jīng)歷了多個(gè)階段：第一階段是統(tǒng)計(jì)語(yǔ)言模型，即用傳統(tǒng)的統(tǒng)計(jì)方法來(lái)建立語(yǔ)言模型。第二階段是神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，即使用神經(jīng)網(wǎng)絡(luò)來(lái)建立語(yǔ)言模型，先后出現(xiàn)了許多經(jīng)典模型，包括前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型、循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型等等。特別地，隨著2017年Transformer模型的出現(xiàn)，研究者們也開始使用Transformer模型來(lái)構(gòu)建預(yù)訓(xùn)練語(yǔ)言模型，也就是ChatGPT的前身GPT。

“而GPT本身的發(fā)展就歷經(jīng)了多個(gè)不同版本，有1.0、2.0、3.0、3.5版本，除了3.5版本，每個(gè)版本都比以前版本在模型參數(shù)和訓(xùn)練數(shù)據(jù)規(guī)模上有顯著增加，因此模型能力也有顯著提升。例如，3.0版本的訓(xùn)練數(shù)據(jù)規(guī)模是GPT1.0版本的1萬(wàn)倍，而模型參數(shù)是1.0版本的1500倍，達(dá)到了1750億。”蘇勁松介紹。

“目前大家談?wù)撟疃嗟腃hatGPT是基于GPT3.5。該版本是在3.0版本的基礎(chǔ)上進(jìn)一步加入了特殊技術(shù)，例如指令微調(diào)、思維鏈、人類反饋強(qiáng)化學(xué)習(xí)等，來(lái)優(yōu)化模型訓(xùn)練。相比其他模型，ChatGPT處理不同自然語(yǔ)言任務(wù)的通用能力、人機(jī)交互對(duì)話方式，以及高質(zhì)量的文本生成能力都給我們帶來(lái)了耳目一新的感覺，引起了大家的廣泛關(guān)注。雖然它（距離）人類智能還很遙遠(yuǎn)，但是不可否認(rèn)它的出現(xiàn)確實(shí)是人工智能、自然語(yǔ)言處理發(fā)展的標(biāo)志性事件。”蘇勁松說(shuō)。

我們也需要自己的ChatGPT

“可以看到，ChatGPT產(chǎn)生了巨大的影響。搜索引擎、對(duì)話機(jī)器人等領(lǐng)域已經(jīng)出現(xiàn)基于ChatGPT的商業(yè)應(yīng)用產(chǎn)品。比如，微軟近期推出的NewBing搜索引擎給大家?guī)?lái)了全新的體驗(yàn)，相信在其他領(lǐng)域，例如智慧教育，智慧金融，未來(lái)還會(huì)有更多與類ChatGPT模型深度融合的商業(yè)應(yīng)用涌現(xiàn)出來(lái)，不斷改變?nèi)藗兊纳睢?rdquo;蘇勁松說(shuō)。

“因此，在這一波人工智能產(chǎn)業(yè)變革中，不論是出于我國(guó)信息安全的需要，還是國(guó)內(nèi)人工智能產(chǎn)業(yè)發(fā)展的考慮，我們都需要自己的ChatGPT。”蘇勁松表示。

蘇勁松認(rèn)為，在這方面，國(guó)內(nèi)許多互聯(lián)網(wǎng)公司都認(rèn)識(shí)到了，紛紛推出自研ChatGPT的計(jì)劃。例如，百度二月初官宣百度版ChatGPT——“文心一言”將于三月份向公眾開放；阿里達(dá)摩院也宣布，阿里多模態(tài)版ChatGPT也已經(jīng)進(jìn)入內(nèi)部測(cè)試階段。

“可以說(shuō)，研發(fā)中國(guó)版ChatGPT成為大家的共識(shí)。目前，國(guó)內(nèi)互聯(lián)網(wǎng)公司經(jīng)過多年的發(fā)展，在人工智能的三要素算力、算法和數(shù)據(jù)上都有了較好的積累，因此他們能夠?qū)ψ匝蠧hatGPT的需求做出快速響應(yīng)。然而，隨著對(duì)類ChatGPT大模型智能化需求的提高，模型訓(xùn)練算力和數(shù)據(jù)需求、技術(shù)創(chuàng)新需求也在不斷提升，我們?nèi)载叫杓訌?qiáng)這幾方面的建設(shè)投入。”蘇勁松表示。

“此外，我們也注意到ChatGPT也會(huì)給學(xué)術(shù)界帶來(lái)巨大的影響。一方面，由于ChatGPT在任務(wù)建模方面的統(tǒng)一性和通用性，傳統(tǒng)以任務(wù)定義為界限的研究壁壘將進(jìn)一步被打破，更多研究者將同時(shí)投入ChatGPT這類大模型研究中，這將有力促進(jìn)自然語(yǔ)言處理及其相關(guān)領(lǐng)域研究更快速地發(fā)展。”蘇勁松稱。

“另外一方面，由于大模型研究計(jì)算資源和訓(xùn)練數(shù)據(jù)的限制，高校和科研院所也將面臨較大的科研條件壓力。對(duì)此，我認(rèn)為高校和科研院所的優(yōu)勢(shì)在于能夠源源不斷培養(yǎng)緊跟前沿技術(shù)的人才，一種比較可行的方式是高校和科研院所和互聯(lián)網(wǎng)公司組成聯(lián)合科研團(tuán)隊(duì)，直面大模型產(chǎn)業(yè)落地的實(shí)際難題，并持續(xù)展開攻關(guān)研究。這樣既可以爭(zhēng)取產(chǎn)業(yè)資源的支持開展更具科研意義和應(yīng)用價(jià)值的研究，也能進(jìn)一步提高人才培養(yǎng)的質(zhì)量。”蘇勁松稱。

ChatGPT優(yōu)秀，但離真正的智能還很遠(yuǎn)

廈門大學(xué)在人工智能領(lǐng)域的研究有著悠久歷史。早在上世紀(jì)80年代，廈門大學(xué)就開始了自然語(yǔ)言處理研究。

蘇勁松自入職廈門大學(xué)以來(lái)，一直從事自然語(yǔ)言處理、文本生成、大模型預(yù)訓(xùn)練的科學(xué)研究，在模型設(shè)計(jì)、模型輕量化、模型知識(shí)遷移等方面取得了一系列重要進(jìn)展，他培養(yǎng)的學(xué)生也廣泛就職于各大互聯(lián)網(wǎng)公司。目前他所帶領(lǐng)的團(tuán)隊(duì)正和國(guó)內(nèi)的某互聯(lián)網(wǎng)公司開展密切合作，對(duì)類ChatGPT大模型的關(guān)鍵技術(shù)展開研究。

在蘇勁松看來(lái)，ChatGPT仍然有很多方面需要改進(jìn)。比較明顯的缺陷包括以下幾方面：

“雖然ChatGPT能夠?qū)θ我獾膯栴}都給出看似合理的回答，但其中也不乏一些胡編亂造的回答。例如ChatGPT會(huì)認(rèn)為杜甫和杜牧是同一個(gè)人。”蘇勁松稱。

同時(shí)，ChatGPT解決較為復(fù)雜的數(shù)學(xué)應(yīng)用題的能力仍然有待提升。

此外，當(dāng)前的ChatGPT模型是面向文本的模型。而如果它要成為一個(gè)能力更強(qiáng)的智能體，那么它必須要具備感知處理多模態(tài)信息的能力。在這方面，阿里已經(jīng)做了不少嘗試，他們即將推出的類ChatGPT大模型值得期待。

“現(xiàn)在的ChatGPT只采用了2021年以前的訓(xùn)練數(shù)據(jù)，因而它無(wú)法掌握此后的事件信息；受到訓(xùn)練數(shù)據(jù)的影響，ChatGPT也容易產(chǎn)生具有偏見的文本；最后需要注意的是，通過設(shè)計(jì)一些特別的輸入，ChatGPT會(huì)產(chǎn)生一些具有危害性的輸出。盡管OpenAI已經(jīng)對(duì)模型做了一定優(yōu)化，但是仍然無(wú)法完全避免。”蘇勁松表示。

“可以說(shuō)，ChatGPT優(yōu)秀，但離真正的智能還很遠(yuǎn)，我們需要打造更加智能的中國(guó)版ChatGPT。”蘇勁松表示。

封面圖片來(lái)源：受訪者供圖