四虎综合网,老子影院午夜伦不卡国语,色花影院,五月婷婷丁香六月,成人激情视频网,动漫av网站免费观看,国产午夜亚洲精品一级在线

每日經(jīng)濟新聞
要聞

每經(jīng)網(wǎng)首頁 > 要聞 > 正文

“AI界春晚”2024北京智源大會:新主角、共識和分歧|大模界

每日經(jīng)濟新聞 2024-06-15 16:56:29

◎在今年的“AI界春晚”上,國產(chǎn)大模型成為主角。

◎“零一萬物堅決做to C(面向個人),不做‘賠錢的to B(面向企業(yè))’,找到能賺錢的to B,我們就做,不賺錢就不做?!崩铋_復(fù)表示。

◎圍繞“Scaling Law”(規(guī)模定律)的討論開始走向一些分歧,對于Scaling Law會否失效、何時失效,明星大模型公司的掌舵者們,開始提出不同的判斷。

每經(jīng)記者 可楊    每經(jīng)編輯 張海妮    

結(jié)束圓桌對談后,人墻迅速圍攏,以月之暗面CEO楊植麟為核心,把會場前排的空白處填補得嚴(yán)嚴(yán)實實,人們舉著手機,寄望于伸出的胳膊能碰巧掃到楊植麟的微信。楊植麟至少被現(xiàn)場參會人員簇?fù)韲铝巳?,才在工作人員的協(xié)助下成功離開會場。

2024年6月14日—15日,備受矚目的AI領(lǐng)域盛會“2024北京智源大會”在中關(guān)村展示中心盛大召開。《每日經(jīng)濟新聞》記者現(xiàn)場注意到,這場被譽為“AI界春晚”的大會,在近年來大模型浪潮的推動下,呈現(xiàn)出愈發(fā)濃厚的氛圍,國產(chǎn)大模型明星公司也成為參會者關(guān)注的焦點。

不同于上屆以國外技術(shù)人員、從業(yè)者為主,圍繞技術(shù)探索展開的大會,今年國產(chǎn)大模型公司成為主論壇的重頭戲——百度、月之暗面、智譜AI、零一萬物、面壁智能等大模型公司成為論壇主角。與此同時,隨著大模型從技術(shù)競速逐步邁向落地應(yīng)用,一些新的變化正在發(fā)生。

圖片來源:主辦方提供 

新主角:國產(chǎn)大模型站在舞臺中央

在今年的“AI界春晚”上,國產(chǎn)大模型成為主角。

“進入到2023年,大模型從研究機構(gòu)的科研成果開始向產(chǎn)業(yè)界逐步發(fā)展,我們也看到,百花齊放,有越來越多的大模型在過去的這一年發(fā)布。”智源研究院院長王仲遠(yuǎn)在發(fā)言中提到。

王仲遠(yuǎn)認(rèn)為,以2023年為界,人工智能基本上可以分為兩個大的階段:2023年之前都屬于弱人工智能時代,即人工智能的模型是針對特定的場景、特定的任務(wù),需要去收集特定的數(shù)據(jù),訓(xùn)練特定的模型。比如說,戰(zhàn)勝人類世界圍棋冠軍的AlphaGO在圍棋上表現(xiàn)得非常好,但是卻無法用來直接解決醫(yī)療問題,雖然方法可以借鑒,但是針對不同的場景任務(wù)都需要做數(shù)據(jù)和模型重新的收集和訓(xùn)練。進入2023年,隨著大模型的發(fā)展,人工智能逐步進入通用人工智能時代,而通用人工智能最大的特點就是它的規(guī)模非常大,模型具備涌現(xiàn)性,同時能夠跨領(lǐng)域的通用性。

2023年和2024年的北京智源大會,如同兩個對比鮮明的畫面,尤其是在大模型技術(shù)的發(fā)展和應(yīng)用上,兩屆大會的嘉賓構(gòu)成和議題變化,成為大模型時代飛速發(fā)展的注腳。

2024年的智源大會,嘉賓陣容發(fā)生了顯著的變化。更引人矚目的是國內(nèi)大模型公司,如百度、月之暗面、零一萬物、智譜AI、面壁智能等大模型明星公司的CEO(首席執(zhí)行官)與CTO(首席技術(shù)官),以及來自國內(nèi)頂尖院校和研究機構(gòu)的代表。此次會議更加聚焦于人工智能關(guān)鍵技術(shù)路徑和應(yīng)用場景,從理論探討向?qū)嶋H應(yīng)用邁進了一大步。

在2023年的大會上,ChatGPT剛剛推出半年,國內(nèi)大模型啟動跟進,“百模大戰(zhàn)”剛剛迎來開端。彼時,大會的主角是來自全球的頂尖學(xué)者和科技巨擘,國內(nèi)則更多以學(xué)界為主。在彼時的主論壇環(huán)節(jié),兩組對談嘉賓分別是:Meta首席AI科學(xué)家、紐約大學(xué)教授楊立昆與清華大學(xué)計算機系教授朱軍;未來生命研究所創(chuàng)始人Max Tegmark與清華大學(xué)智能產(chǎn)業(yè)研究院(AIR)院長張亞勤,對談內(nèi)容圍繞AI技術(shù)層面的探索展開。

變化已經(jīng)非常明顯:“百模大戰(zhàn)”愈演愈烈,折射出國內(nèi)大模型市場的快速崛起和自主創(chuàng)新能力的顯著提升。

隨著大模型由科研走向產(chǎn)業(yè),人們對AGI(人工通用智能)有了更多想象,王仲遠(yuǎn)也提到,當(dāng)多模態(tài)大模型能夠理解和感知、決策這個世界的時候,它就有可能進入到物理世界。如果進入到宏觀世界跟硬件結(jié)合,這就是具身大模型的發(fā)展方向。如果它進入到了微觀世界,去理解和生成生命分子,那么這就是AI For Science。無論是具身模型還是AI For Science亦或是多模型模態(tài),都會促進整個世界模型的發(fā)展,最終推動人工智能技術(shù)向AGI方向發(fā)展。 

一個共識:落地,落地,落地

盡管面臨挑戰(zhàn),但技術(shù)的普及與落地已經(jīng)顯著加速,預(yù)示著人工智能正邁向一個全新的發(fā)展階段。一個重要的共識是,在將AGI的理想帶入現(xiàn)實世界的路上,落地應(yīng)用是重要的必答題。

“零一萬物堅決做to C(面向個人),不做‘賠錢的to B(面向企業(yè))’,找到能賺錢的to B,我們就做,不賺錢就不做。”李開復(fù)表示。

圖片來源:主辦方提供 

對于大模型的落地應(yīng)用,李開復(fù)認(rèn)為,在中國to C短期更有機會,國外兩者都有機會。在to C端,大模型就如同互聯(lián)網(wǎng)時代或PC時代的新技術(shù)、新平臺,將會帶來新應(yīng)用,這是巨大的機會。他判斷,AI時代,第一個階段突圍的應(yīng)該是生產(chǎn)力工具;第二個階段可能會是娛樂、音樂、游戲;第三個階段可能會是搜索;再下一個階段可能會是電商;然后可能會有社交、短視頻、O2O,這是不變的定律。

張亞勤則認(rèn)為,再分層來看,目前真正賺錢的是to B,是在硬件、在芯片、在基礎(chǔ)設(shè)施層,這個是目前已經(jīng)發(fā)生的,但是從應(yīng)用來講,是先to C再to B。對于當(dāng)前的AI分層,張亞勤將其劃分為信息智能、物理智能(也稱為具身智能)以及生物智能。在具身智能階段,面向企業(yè)的應(yīng)用可能會發(fā)展得更為迅速。而到生物智能階段,情況可能恰好相反,面向個人的應(yīng)用會超過面向企業(yè)的應(yīng)用。各個領(lǐng)域的情況可能不盡相同,但總體來看,面向企業(yè)和面向個人的應(yīng)用,包括開源模型、商業(yè)閉源模型、基礎(chǔ)大模型、垂直行業(yè)大模型以及邊緣模型,都會存在。

而對于B端的落地應(yīng)用,李開復(fù)也談到,to B是大模型帶來更大的價值,而且應(yīng)該更快實現(xiàn),但是可惜的是在to B這個領(lǐng)域面臨幾個巨大的挑戰(zhàn)。

一方面大公司、傳統(tǒng)公司看不懂大模型技術(shù),不敢采取巨大顛覆式的東西。

與此同時,對企業(yè)來說這一年帶來的最大的價值是降本,而不是創(chuàng)造價值。而降本說實在的就是取代人類的工作。大公司會有很多高管或者中層管理不愿意做這個事情,因為做了這個,可能團隊就要被砍掉了,他在公司的政治資本就沒有了,他的權(quán)力就變小了,甚至他自己的工作都沒有了,所以大公司有時CEO是很想做,但是下面的人會有阻力,這些理由造成to B理論上應(yīng)該馬上可以落地的,但實際上沒有那么快。

另一個在中國比較嚴(yán)重的問題是,很多大公司沒有認(rèn)識到軟件的價值,不愿意為軟件付費,而且有這么多大模型公司來競標(biāo),結(jié)果價格越競越低,做到最后是做一單賠一單,都沒有利潤。“我們在AI1.0時代看到這個現(xiàn)象,現(xiàn)在很不幸在AI2.0時代(它)又重現(xiàn)了。”

百度CTO王海峰的觀點是,在人類歷史上,每次工業(yè)革命的核心技術(shù),不論是機械、電氣還是信息技術(shù),均具備一些共同特性:首先,核心技術(shù)具有強烈的通用性,能夠廣泛應(yīng)用于各個領(lǐng)域。其次,當(dāng)這些技術(shù)具備了標(biāo)準(zhǔn)化、模塊化和自動化的工業(yè)大生產(chǎn)特征時,這些技術(shù)就會進入到工業(yè)大生產(chǎn)階段,從而更快地改變?nèi)藗兊纳a(chǎn)生活方式,并為人們帶來巨大的價值。當(dāng)前,人工智能基于深度學(xué)習(xí)和大模型工程平臺已經(jīng)具備了極強的通用性,以及良好的標(biāo)準(zhǔn)化、自動化和模塊化特性。因此,王海峰認(rèn)為,深度學(xué)習(xí)和大模型工程平臺的結(jié)合,正在推動人工智能步入工業(yè)大生產(chǎn)階段,從而加速通用人工智能的來臨。 

一個分歧:是否仍堅信Scaling Law

圍繞“Scaling Law”(規(guī)模定律)的討論開始出現(xiàn)分歧,對于Scaling Law會否失效、何時失效,明星大模型公司的掌舵者們,也給出了不同的判斷。

楊植麟依舊是堅定的Scaling Law信仰派。“Scaling Law沒有本質(zhì)的問題,而且接下來3~4個數(shù)量級,我覺得是非常確定的事情。這里面更重要的問題是你怎么能夠很高效地去scale(擴展)?”

楊植麟指出,如今僅僅像現(xiàn)在這樣,依賴一些web text(網(wǎng)頁文本)進行scale,未必是正確的方向。因為在這個過程中可能會面臨諸多挑戰(zhàn),如推理能力等問題,未必能夠得到有效解決。因此關(guān)鍵在于如何界定Scaling Law以及其實質(zhì)是什么。如果僅按照現(xiàn)有方法,進行next token prediction(下一標(biāo)記預(yù)測),然后在此基礎(chǔ)上擴展多個數(shù)量級,用當(dāng)前的數(shù)據(jù)分布,其上限是顯而易見的。

然而,Scaling Law本身并不受此限制,其核心觀點是,只要具備更多的算力和數(shù)據(jù)模型,擴大參數(shù)規(guī)模,就能持續(xù)產(chǎn)生更多的智能。但在此過程中,它并沒有定義模型的具體形態(tài),例如模型的模態(tài)數(shù)量、數(shù)據(jù)的特性和來源等。因此,楊植麟認(rèn)為Scaling law是一種會持續(xù)演進的第一性原理(first principle)。只是在這一過程中,scale的方法可能發(fā)生很大變化。

百川智能CEO王小川則認(rèn)為,Scaling Law到目前沒有看到邊界,依舊在持續(xù)地發(fā)揮作用,“我們看到美國埃隆·馬斯克號稱要買30萬片B100、B200來做,所以美國確實在這方面的認(rèn)真程度,甚至包括投入程度是遠(yuǎn)高于中國的”。

在他看來,我們需要在Scaling Law之外,去尋找范式上新的轉(zhuǎn)化,而在Scaling Law上,很明確,就是在美國后面跟進。從戰(zhàn)略上看,在Scaling Law之外都還存在范式的變化,走出這樣的體系,才有機會走向AGI,才有機會跟最前沿的技術(shù)較量。

智譜AI CEO張鵬與面壁智能CEO李大海,則持相對謹(jǐn)慎樂觀的態(tài)度。張鵬認(rèn)為,包括Scaling Law在內(nèi),目前為止人類認(rèn)識到的所有的規(guī)律都有可能有被推翻的一天,只是看它的有效期是多長。但目前為止還沒有看到Scaling Law會失效的預(yù)兆,未來的相當(dāng)一段時間之內(nèi)它仍然會有效。“隨著大家對規(guī)律的認(rèn)知越來越深,規(guī)律的本質(zhì)越來越(被)揭示,所以掌握本質(zhì)就能掌握通往未來的鑰匙?;诂F(xiàn)在大家對本質(zhì)認(rèn)識的深淺,至少在我們看來,仍然還會起效,會是未來我們主力想要推進的方向”。張鵬說。

李大海同樣表示,Scaling Law是一個經(jīng)驗公式,是行業(yè)對大模型這樣一個復(fù)雜系統(tǒng)觀察以后的經(jīng)驗總結(jié),隨著訓(xùn)練過程中實驗越來越多、認(rèn)知越來越清晰,會有更細(xì)顆粒度的認(rèn)知。比如模型訓(xùn)練中的訓(xùn)練方法本身對于Scaling Law、對于智能的影響是比較顯著的。在將模型參數(shù)控制在一定規(guī)模后,這種顯著影響變得尤為重要,在確保終端芯片能夠支持該規(guī)模模型的同時,實現(xiàn)優(yōu)質(zhì)智能,數(shù)據(jù)質(zhì)量和訓(xùn)練方法等因素亦至關(guān)重要。

毫無疑問的是,Scaling Law在當(dāng)前階段仍然是驅(qū)動大模型發(fā)展的重要理論基礎(chǔ),但其在未來的應(yīng)用和擴展方式可能會面臨更多挑戰(zhàn)和變化。隨著技術(shù)的進步和對規(guī)律本質(zhì)認(rèn)識的深化,行業(yè)也可能需要進一步優(yōu)化模型訓(xùn)練方法,才能應(yīng)對智能推理等更高級別的挑戰(zhàn)。

如需轉(zhuǎn)載請與《每日經(jīng)濟新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟新聞》報社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

結(jié)束圓桌對談后,人墻迅速圍攏,以月之暗面CEO楊植麟為核心,把會場前排的空白處填補得嚴(yán)嚴(yán)實實,人們舉著手機,寄望于伸出的胳膊能碰巧掃到楊植麟的微信。楊植麟至少被現(xiàn)場參會人員簇?fù)韲铝巳?,才在工作人員的協(xié)助下成功離開會場。 2024年6月14日—15日,備受矚目的AI領(lǐng)域盛會“2024北京智源大會”在中關(guān)村展示中心盛大召開?!睹咳战?jīng)濟新聞》記者現(xiàn)場注意到,這場被譽為“AI界春晚”的大會,在近年來大模型浪潮的推動下,呈現(xiàn)出愈發(fā)濃厚的氛圍,國產(chǎn)大模型明星公司也成為參會者關(guān)注的焦點。 不同于上屆以國外技術(shù)人員、從業(yè)者為主,圍繞技術(shù)探索展開的大會,今年國產(chǎn)大模型公司成為主論壇的重頭戲——百度、月之暗面、智譜AI、零一萬物、面壁智能等大模型公司成為論壇主角。與此同時,隨著大模型從技術(shù)競速逐步邁向落地應(yīng)用,一些新的變化正在發(fā)生。 圖片來源:主辦方提供 新主角:國產(chǎn)大模型站在舞臺中央 在今年的“AI界春晚”上,國產(chǎn)大模型成為主角。 “進入到2023年,大模型從研究機構(gòu)的科研成果開始向產(chǎn)業(yè)界逐步發(fā)展,我們也看到,百花齊放,有越來越多的大模型在過去的這一年發(fā)布?!敝窃囱芯吭涸洪L王仲遠(yuǎn)在發(fā)言中提到。 王仲遠(yuǎn)認(rèn)為,以2023年為界,人工智能基本上可以分為兩個大的階段:2023年之前都屬于弱人工智能時代,即人工智能的模型是針對特定的場景、特定的任務(wù),需要去收集特定的數(shù)據(jù),訓(xùn)練特定的模型。比如說,戰(zhàn)勝人類世界圍棋冠軍的AlphaGO在圍棋上表現(xiàn)得非常好,但是卻無法用來直接解決醫(yī)療問題,雖然方法可以借鑒,但是針對不同的場景任務(wù)都需要做數(shù)據(jù)和模型重新的收集和訓(xùn)練。進入2023年,隨著大模型的發(fā)展,人工智能逐步進入通用人工智能時代,而通用人工智能最大的特點就是它的規(guī)模非常大,模型具備涌現(xiàn)性,同時能夠跨領(lǐng)域的通用性。 2023年和2024年的北京智源大會,如同兩個對比鮮明的畫面,尤其是在大模型技術(shù)的發(fā)展和應(yīng)用上,兩屆大會的嘉賓構(gòu)成和議題變化,成為大模型時代飛速發(fā)展的注腳。 2024年的智源大會,嘉賓陣容發(fā)生了顯著的變化。更引人矚目的是國內(nèi)大模型公司,如百度、月之暗面、零一萬物、智譜AI、面壁智能等大模型明星公司的CEO(首席執(zhí)行官)與CTO(首席技術(shù)官),以及來自國內(nèi)頂尖院校和研究機構(gòu)的代表。此次會議更加聚焦于人工智能關(guān)鍵技術(shù)路徑和應(yīng)用場景,從理論探討向?qū)嶋H應(yīng)用邁進了一大步。 在2023年的大會上,ChatGPT剛剛推出半年,國內(nèi)大模型啟動跟進,“百模大戰(zhàn)”剛剛迎來開端。彼時,大會的主角是來自全球的頂尖學(xué)者和科技巨擘,國內(nèi)則更多以學(xué)界為主。在彼時的主論壇環(huán)節(jié),兩組對談嘉賓分別是:Meta首席AI科學(xué)家、紐約大學(xué)教授楊立昆與清華大學(xué)計算機系教授朱軍;未來生命研究所創(chuàng)始人Max Tegmark與清華大學(xué)智能產(chǎn)業(yè)研究院(AIR)院長張亞勤,對談內(nèi)容圍繞AI技術(shù)層面的探索展開。 變化已經(jīng)非常明顯:“百模大戰(zhàn)”愈演愈烈,折射出國內(nèi)大模型市場的快速崛起和自主創(chuàng)新能力的顯著提升。 隨著大模型由科研走向產(chǎn)業(yè),人們對AGI(人工通用智能)有了更多想象,王仲遠(yuǎn)也提到,當(dāng)多模態(tài)大模型能夠理解和感知、決策這個世界的時候,它就有可能進入到物理世界。如果進入到宏觀世界跟硬件結(jié)合,這就是具身大模型的發(fā)展方向。如果它進入到了微觀世界,去理解和生成生命分子,那么這就是AI For Science。無論是具身模型還是AI For Science亦或是多模型模態(tài),都會促進整個世界模型的發(fā)展,最終推動人工智能技術(shù)向AGI方向發(fā)展。 一個共識:落地,落地,落地 盡管面臨挑戰(zhàn),但技術(shù)的普及與落地已經(jīng)顯著加速,預(yù)示著人工智能正邁向一個全新的發(fā)展階段。一個重要的共識是,在將AGI的理想帶入現(xiàn)實世界的路上,落地應(yīng)用是重要的必答題。 “零一萬物堅決做to C(面向個人),不做‘賠錢的to B(面向企業(yè))’,找到能賺錢的to B,我們就做,不賺錢就不做。”李開復(fù)表示。 圖片來源:主辦方提供 對于大模型的落地應(yīng)用,李開復(fù)認(rèn)為,在中國to C短期更有機會,國外兩者都有機會。在to C端,大模型就如同互聯(lián)網(wǎng)時代或PC時代的新技術(shù)、新平臺,將會帶來新應(yīng)用,這是巨大的機會。他判斷,AI時代,第一個階段突圍的應(yīng)該是生產(chǎn)力工具;第二個階段可能會是娛樂、音樂、游戲;第三個階段可能會是搜索;再下一個階段可能會是電商;然后可能會有社交、短視頻、O2O,這是不變的定律。 張亞勤則認(rèn)為,再分層來看,目前真正賺錢的是to B,是在硬件、在芯片、在基礎(chǔ)設(shè)施層,這個是目前已經(jīng)發(fā)生的,但是從應(yīng)用來講,是先to C再to B。對于當(dāng)前的AI分層,張亞勤將其劃分為信息智能、物理智能(也稱為具身智能)以及生物智能。在具身智能階段,面向企業(yè)的應(yīng)用可能會發(fā)展得更為迅速。而到生物智能階段,情況可能恰好相反,面向個人的應(yīng)用會超過面向企業(yè)的應(yīng)用。各個領(lǐng)域的情況可能不盡相同,但總體來看,面向企業(yè)和面向個人的應(yīng)用,包括開源模型、商業(yè)閉源模型、基礎(chǔ)大模型、垂直行業(yè)大模型以及邊緣模型,都會存在。 而對于B端的落地應(yīng)用,李開復(fù)也談到,to B是大模型帶來更大的價值,而且應(yīng)該更快實現(xiàn),但是可惜的是在to B這個領(lǐng)域面臨幾個巨大的挑戰(zhàn)。 一方面大公司、傳統(tǒng)公司看不懂大模型技術(shù),不敢采取巨大顛覆式的東西。 與此同時,對企業(yè)來說這一年帶來的最大的價值是降本,而不是創(chuàng)造價值。而降本說實在的就是取代人類的工作。大公司會有很多高管或者中層管理不愿意做這個事情,因為做了這個,可能團隊就要被砍掉了,他在公司的政治資本就沒有了,他的權(quán)力就變小了,甚至他自己的工作都沒有了,所以大公司有時CEO是很想做,但是下面的人會有阻力,這些理由造成to B理論上應(yīng)該馬上可以落地的,但實際上沒有那么快。 另一個在中國比較嚴(yán)重的問題是,很多大公司沒有認(rèn)識到軟件的價值,不愿意為軟件付費,而且有這么多大模型公司來競標(biāo),結(jié)果價格越競越低,做到最后是做一單賠一單,都沒有利潤。“我們在AI1.0時代看到這個現(xiàn)象,現(xiàn)在很不幸在AI2.0時代(它)又重現(xiàn)了?!? 百度CTO王海峰的觀點是,在人類歷史上,每次工業(yè)革命的核心技術(shù),不論是機械、電氣還是信息技術(shù),均具備一些共同特性:首先,核心技術(shù)具有強烈的通用性,能夠廣泛應(yīng)用于各個領(lǐng)域。其次,當(dāng)這些技術(shù)具備了標(biāo)準(zhǔn)化、模塊化和自動化的工業(yè)大生產(chǎn)特征時,這些技術(shù)就會進入到工業(yè)大生產(chǎn)階段,從而更快地改變?nèi)藗兊纳a(chǎn)生活方式,并為人們帶來巨大的價值。當(dāng)前,人工智能基于深度學(xué)習(xí)和大模型工程平臺已經(jīng)具備了極強的通用性,以及良好的標(biāo)準(zhǔn)化、自動化和模塊化特性。因此,王海峰認(rèn)為,深度學(xué)習(xí)和大模型工程平臺的結(jié)合,正在推動人工智能步入工業(yè)大生產(chǎn)階段,從而加速通用人工智能的來臨。 一個分歧:是否仍堅信Scaling Law 圍繞“Scaling Law”(規(guī)模定律)的討論開始出現(xiàn)分歧,對于Scaling Law會否失效、何時失效,明星大模型公司的掌舵者們,也給出了不同的判斷。 楊植麟依舊是堅定的Scaling Law信仰派?!癝caling Law沒有本質(zhì)的問題,而且接下來3~4個數(shù)量級,我覺得是非常確定的事情。這里面更重要的問題是你怎么能夠很高效地去scale(擴展)?” 楊植麟指出,如今僅僅像現(xiàn)在這樣,依賴一些web text(網(wǎng)頁文本)進行scale,未必是正確的方向。因為在這個過程中可能會面臨諸多挑戰(zhàn),如推理能力等問題,未必能夠得到有效解決。因此關(guān)鍵在于如何界定Scaling Law以及其實質(zhì)是什么。如果僅按照現(xiàn)有方法,進行next token prediction(下一標(biāo)記預(yù)測),然后在此基礎(chǔ)上擴展多個數(shù)量級,用當(dāng)前的數(shù)據(jù)分布,其上限是顯而易見的。 然而,Scaling Law本身并不受此限制,其核心觀點是,只要具備更多的算力和數(shù)據(jù)模型,擴大參數(shù)規(guī)模,就能持續(xù)產(chǎn)生更多的智能。但在此過程中,它并沒有定義模型的具體形態(tài),例如模型的模態(tài)數(shù)量、數(shù)據(jù)的特性和來源等。因此,楊植麟認(rèn)為Scaling law是一種會持續(xù)演進的第一性原理(first principle)。只是在這一過程中,scale的方法可能發(fā)生很大變化。 百川智能CEO王小川則認(rèn)為,Scaling Law到目前沒有看到邊界,依舊在持續(xù)地發(fā)揮作用,“我們看到美國埃隆·馬斯克號稱要買30萬片B100、B200來做,所以美國確實在這方面的認(rèn)真程度,甚至包括投入程度是遠(yuǎn)高于中國的”。 在他看來,我們需要在Scaling Law之外,去尋找范式上新的轉(zhuǎn)化,而在Scaling Law上,很明確,就是在美國后面跟進。從戰(zhàn)略上看,在Scaling Law之外都還存在范式的變化,走出這樣的體系,才有機會走向AGI,才有機會跟最前沿的技術(shù)較量。 智譜AI CEO張鵬與面壁智能CEO李大海,則持相對謹(jǐn)慎樂觀的態(tài)度。張鵬認(rèn)為,包括Scaling Law在內(nèi),目前為止人類認(rèn)識到的所有的規(guī)律都有可能有被推翻的一天,只是看它的有效期是多長。但目前為止還沒有看到Scaling Law會失效的預(yù)兆,未來的相當(dāng)一段時間之內(nèi)它仍然會有效?!半S著大家對規(guī)律的認(rèn)知越來越深,規(guī)律的本質(zhì)越來越(被)揭示,所以掌握本質(zhì)就能掌握通往未來的鑰匙?;诂F(xiàn)在大家對本質(zhì)認(rèn)識的深淺,至少在我們看來,仍然還會起效,會是未來我們主力想要推進的方向”。張鵬說。 李大海同樣表示,Scaling Law是一個經(jīng)驗公式,是行業(yè)對大模型這樣一個復(fù)雜系統(tǒng)觀察以后的經(jīng)驗總結(jié),隨著訓(xùn)練過程中實驗越來越多、認(rèn)知越來越清晰,會有更細(xì)顆粒度的認(rèn)知。比如模型訓(xùn)練中的訓(xùn)練方法本身對于Scaling Law、對于智能的影響是比較顯著的。在將模型參數(shù)控制在一定規(guī)模后,這種顯著影響變得尤為重要,在確保終端芯片能夠支持該規(guī)模模型的同時,實現(xiàn)優(yōu)質(zhì)智能,數(shù)據(jù)質(zhì)量和訓(xùn)練方法等因素亦至關(guān)重要。 毫無疑問的是,Scaling Law在當(dāng)前階段仍然是驅(qū)動大模型發(fā)展的重要理論基礎(chǔ),但其在未來的應(yīng)用和擴展方式可能會面臨更多挑戰(zhàn)和變化。隨著技術(shù)的進步和對規(guī)律本質(zhì)認(rèn)識的深化,行業(yè)也可能需要進一步優(yōu)化模型訓(xùn)練方法,才能應(yīng)對智能推理等更高級別的挑戰(zhàn)。
模型 大模型 北京市 Ai

歡迎關(guān)注每日經(jīng)濟新聞APP

每經(jīng)經(jīng)濟新聞官方APP

0

0