四虎综合网,老子影院午夜伦不卡国语,色花影院,五月婷婷丁香六月,成人激情视频网,动漫av网站免费观看,国产午夜亚洲精品一级在线

每日經(jīng)濟新聞
要聞

每經(jīng)網(wǎng)首頁 > 要聞 > 正文

大模型的核心壁壘是什么?訓練和優(yōu)化過程中有哪些挑戰(zhàn)?業(yè)界熱論大模型與智算力

每日經(jīng)濟新聞 2023-12-01 16:32:33

浪潮信息人工智能軟件研發(fā)總監(jiān)吳韶華在接受《每日經(jīng)濟新聞》記者采訪時首先分析了Open AI的做法。他提到,Open AI最核心的模型是GPT4,而GPT4是一個基礎大模型,沒有行業(yè)屬性。

談及大模型在研發(fā)和迭代過程中遇到的挑戰(zhàn),吳韶華直言算法創(chuàng)新非常難。

每經(jīng)記者 張蕊    每經(jīng)編輯 陳星    

室外冷風呼嘯,室內(nèi)“熱氣騰騰”,會場兩側(cè)通道和后面全都站滿了人……這是2023人工智能計算大會(AICC)分論壇現(xiàn)場的一幕。這場分論壇的主題是“大模型創(chuàng)新”,大模型的火爆可見一斑。

11月29日,以“智算力就是創(chuàng)新力”為主題的2023人工智能計算大會(AICC)在北京召開。本屆大會由北京市科委中關村管委會、北京市經(jīng)濟和信息化局、海淀區(qū)政府支持,浪潮信息主辦

《每日經(jīng)濟新聞》記者從大會現(xiàn)場獲悉,大會重點圍繞智算基礎設施、大模型創(chuàng)新、自動駕駛創(chuàng)新與應用等話題開設一場主題論壇,六場專題分論壇,近百位政產(chǎn)學研專家現(xiàn)場分享智算產(chǎn)業(yè)前沿趨勢和創(chuàng)新成果。

中國工程院院士王恩東在致辭中表示,大模型帶動生成式人工智能產(chǎn)業(yè)迅速發(fā)展,給科學探索、技術研發(fā)、藝術創(chuàng)作、企業(yè)經(jīng)營等諸多領域都帶來了巨大的創(chuàng)新機會,提升大模型智能水平需要提升模型訓練的參數(shù)量和數(shù)據(jù)量,這必須要通過更大更好的智算力才能夠支撐,從這個意義上可以說智算力就是創(chuàng)新力,當前人工智能產(chǎn)業(yè)發(fā)展的基礎是智算能力。

2023人工智能計算大會(AICC)在北京召開 每經(jīng)記者 張蕊 攝

大模型的通用性是其最核心的能力

目前,國內(nèi)大模型已超過180個,業(yè)界戲稱為“百模大戰(zhàn)”。如此多的企業(yè)都在開發(fā)大模型,大模型的核心競爭壁壘到底是什么?是不是每一個行業(yè)都需要有自己的大模型?

對此,浪潮信息人工智能軟件研發(fā)總監(jiān)吳韶華在接受《每日經(jīng)濟新聞》記者采訪時首先分析了Open AI的做法。他提到,Open AI最核心的模型是GPT4,而GPT4是一個基礎大模型,沒有行業(yè)屬性,因為Open AI的目標非常明確,就是要做通用智能。

“我們是認可這條路線的,我們認為基礎模型是最核心的部分,當模型的能力達到GPT4,就可以把這種具體模型應用到行業(yè)場景里,結合行業(yè)的數(shù)據(jù)作進一步微調(diào),或者把行業(yè)數(shù)據(jù)做成知識庫,用檢索、增強的形式來提升模型的準確度等。”吳韶華說。

在他看來,行業(yè)是一個大場景,里面有成百上千個具體的需求點,所以它是基礎模型針對行業(yè)場景的一種應用。

吳韶華提到,上一輪深度學習興起時,碎片化場景是AI(人工智能)落地最主要的一個問題,因為當時沒有通用模型(基礎模型)。當時的模型很多是為了解決具體的分類任務、識別任務。“現(xiàn)在到了大模型階段,大模型這種通用性是它最核心的能力,只有它的通用能力足夠強,才能在行業(yè)落地時解決原來碎片化的問題。

“而所謂的行業(yè)模型事實上是大模型在行業(yè)場景里面具體的應用。”吳韶華說,因為GPT4在這方面已經(jīng)給出非常好的例子,它用在bing(必應)搜索里面,就可以支撐bing搜索更好用;在代碼里面就可以做出來非常好的編程輔助工具,但它就是一個基礎模型。

AI相關指數(shù)表現(xiàn)

大模型算法創(chuàng)新非常難

記者在現(xiàn)場了解到,吳韶華團隊是國內(nèi)最早做大模型的團隊之一,在大模型還遠未如此“瘋狂”的2021年9月就曾發(fā)布源1.0大模型,近期源2.0大模型又正式對外發(fā)布,并且實現(xiàn)了千億參數(shù)的全面開源。

談及大模型在研發(fā)和迭代過程中遇到的挑戰(zhàn),吳韶華直言算法創(chuàng)新非常難。

“GPT4的模型能力逼迫我們不得不去做算法創(chuàng)新。”吳韶華說,想要快速把能力提上去,就要兩條腿走路,一條腿是算法,另外一條腿是數(shù)據(jù)。

從算法創(chuàng)新上來看,要找到一種更合適的算法結構來進行自然語言的學習,挑戰(zhàn)非常大。另外,高質(zhì)量的數(shù)據(jù)非常難獲取。吳韶華講述,為了獲取中文數(shù)學數(shù)據(jù),團隊清洗了從2018年至今約12PB(拍字節(jié))的互聯(lián)網(wǎng)數(shù)據(jù),但僅獲取到了約10GB(千兆字節(jié))的數(shù)學數(shù)據(jù),“投入與收益差異之大一目了然”。

吳韶華坦言,GPT4是閉源的,我們沒有東西能夠參考。“在這種情況下,我們必須思考一個很重要的問題,就是怎么通過開源快速凝聚起開發(fā)者的力量,快速提升我們基礎模型的能力。”

近年來全球AI應用率

今年中國智能算力預計增長59.3%

記者了解到,大會上,作為中國AI算力發(fā)展“風向標”的《2023-2024年中國人工智能計算力發(fā)展評估報告》發(fā)布。

報告指出,大模型和生成式人工智能的發(fā)展將引發(fā)計算范式、產(chǎn)業(yè)動量、算力服務格局之變,未來“以應用為導向、系統(tǒng)為核心”將是算力升級的主要路徑。2023年,中國通用算力規(guī)模預計達到59.3EFLOPS(每秒百億億次浮點運算),同比增長8.8%;智能算力預計達到414.1EFLOPS,同比增長59.3%,6.7倍于通用算力增速,其中我國人工智能服務器市場規(guī)模預計將達664億元,同比增長82.5%。

報告公布了中國人工智能城市排名榜單和人工智能行業(yè)應用滲透度排名榜單。在城市人工智能算力排行中,北京、杭州、深圳、上海、蘇州排名前五,廣州、濟南、合肥、重慶和成都位居6-10位。

一方面,智算中心的建設是拉動地區(qū)實現(xiàn)人工智能發(fā)展的重要驅(qū)動力,上榜城市均十分重視算力的投入,不斷推進人工智能產(chǎn)業(yè)的發(fā)展;另一方面,人工智能算力排名靠前的城市也是發(fā)布大模型數(shù)量較多的城市。

在人工智能行業(yè)應用滲透度排行中,互聯(lián)網(wǎng)行業(yè)作為生成式人工智能技術應用的主陣地居于首位,電信、政府、金融和制造業(yè)位列前五。

封面圖片來源:視覺中國-VCG41N1356593648

如需轉(zhuǎn)載請與《每日經(jīng)濟新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟新聞》報社授權,嚴禁轉(zhuǎn)載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

歡迎關注每日經(jīng)濟新聞APP

每經(jīng)經(jīng)濟新聞官方APP

0

0