每經(jīng)記者 文巧    每經(jīng)編輯 蘭素英    

在推出開源大模型LLaMA2近一年之后，Meta的新一代大模型LLaMA 3即將面世。

在4月9日倫敦舉行的一次活動(dòng)中，Meta確認(rèn)計(jì)劃在下個(gè)月內(nèi)首次發(fā)布LLaMA 3。據(jù)稱，該模型將有多個(gè)具有不同功能的版本。

但Meta并沒有披露LLaMA 3的參數(shù)規(guī)模。“隨著時(shí)間的推移，我們的目標(biāo)是讓由LLaMA驅(qū)動(dòng)的Meta AI成為世界上最有用的助手。”Meta人工智能研究副總裁Joelle Pineau說。“要達(dá)到這個(gè)目標(biāo)，還有相當(dāng)多的工作要做。”

而據(jù)科技外媒The Information 4月8日發(fā)布的報(bào)道，作為對(duì)標(biāo)GPT-4的大模型，LLaMA 3的大規(guī)模版本參數(shù)量可能超過1400億，而最大的LLaMA 2版本的參數(shù)量為700億。LLaMA 3將支持多模態(tài)處理，即同時(shí)理解和生成文本及圖片。

值得注意的是，LLaMA 3將延續(xù)Meta一直以來的開源路線。目前，開源模型界的競(jìng)爭(zhēng)正在變得愈發(fā)激烈，開源大模型亦進(jìn)化得越來越強(qiáng)大。截至目前，包括谷歌、馬斯克旗下的xAI、Mistral AI、StabilityAI等在內(nèi)的許多公司都發(fā)布了開源的大模型。

作為開源模型界的“扛把子”，Meta在AI基礎(chǔ)設(shè)施上的投入亦不可小覷，目前只有微軟擁有與之相當(dāng)?shù)挠?jì)算能力儲(chǔ)備。Meta發(fā)布的一篇技術(shù)博客稱，到2024年底，該公司將再購(gòu)350000個(gè)英偉達(dá)H100 GPU，算上其他GPU，其算力相當(dāng)于近600000個(gè)H100。

就在下個(gè)月！LLaMA 3即將登場(chǎng)，參數(shù)量或達(dá)1400億

在4月9日倫敦舉行的一次活動(dòng)中，Meta確認(rèn)計(jì)劃在下個(gè)月內(nèi)首次發(fā)布LLaMA 3。Meta全球事務(wù)總裁Nick Clegg表示：“在下個(gè)月內(nèi)，甚至是在很短的時(shí)間內(nèi)，我們希望推出新的下一代基礎(chǔ)模型套件LLaMA 3。”

從Clegg的表述上看，LLaMA 3將有多個(gè)不同功能的版本。“今年內(nèi)，我們將發(fā)布一系列具有不同功能、不同通用性的模型，很快就會(huì)開始發(fā)布。”

同時(shí)，Meta首席產(chǎn)品官Chris Cox補(bǔ)充稱，Meta計(jì)劃用LLaMA 3為Meta的多個(gè)產(chǎn)品提供支持。

值得注意的是，LLaMA 3將延續(xù)Meta一直以來的開源路線。

與OpenAI堅(jiān)持的閉源路線和大參數(shù)LLM不同，Meta從一開始就選擇了開源策略和小型化LLM。

2023年2月，Meta在其官網(wǎng)公開發(fā)布了LLaMA大模型，與 GPT系列模型類似，LLaMA也是一個(gè)建立在Transformer基礎(chǔ)架構(gòu)上的自回歸語(yǔ)言模型。

LLaMA包括70億、130億、330億、650億這四種參數(shù)規(guī)模，旨在推動(dòng)LLM的小型化和平民化研究。相比之下，GPT-3最高則達(dá)到了1750億的參數(shù)規(guī)模。Meta在當(dāng)時(shí)的論文中總結(jié)稱，盡管體積小了10倍以上，但LLaMA（130億參數(shù)）的性能優(yōu)于GPT-3。

一般來說，較小的模型成本更低，運(yùn)行更快，且更容易微調(diào)。正如Meta首席執(zhí)行官扎克伯格在此前的財(cái)報(bào)電話會(huì)議中稱，開源模型通常更安全、更高效，而且運(yùn)行起來更具成本效益，它們不斷受到社區(qū)的審查和開發(fā)。

談及開源問題，扎克伯格在接受外媒The Verge采訪時(shí)還曾表示：“我傾向于認(rèn)為，最大的挑戰(zhàn)之一是，如果你打造的東西真的很有價(jià)值，那么它最終會(huì)變得非常集中和狹隘。如果你讓它更加開放，那么就能解決機(jī)會(huì)和價(jià)值不平等可能帶來的大量問題。因此，這是整個(gè)開源愿景的重要組成部分。”

除此之外，小型模型還便于開發(fā)者在移動(dòng)設(shè)備上開發(fā)AI軟件，這也是LLaMA系列模型自開源來就獲得開發(fā)者廣泛關(guān)注的原因。當(dāng)前，Github上許多模型都是基于LLaMA系列模型而開發(fā)。

到去年7月，Meta又發(fā)布了LLaMA 2。當(dāng)時(shí)，Meta也采用了先發(fā)小模型的策略。在發(fā)布700億參數(shù)的LLaMA 2大規(guī)模版本之前，Meta先行推出了130億和70億參數(shù)的小型版本。

不過，根據(jù)相關(guān)的測(cè)試，LLaMA 2拒絕回答一些爭(zhēng)議性較小的問題，例如如何對(duì)朋友惡作劇或怎樣“殺死”汽車發(fā)動(dòng)機(jī)等。近幾個(gè)月來，Meta一直在努力使LLaMA 3在回答有爭(zhēng)議的問題上更開放，也更準(zhǔn)確。

盡管Meta沒有透露LLaMA 3的參數(shù)規(guī)模，但從The Information 的報(bào)道看，作為對(duì)標(biāo)GPT-4的大模型，LLaMA 3的大規(guī)模版本參數(shù)量據(jù)悉可能超過1400億，這與最大版本的LLaMA 2相比提升了一倍。

在整個(gè)開源模型界，競(jìng)爭(zhēng)正在變得愈發(fā)激烈，開源大模型亦進(jìn)化得越來越強(qiáng)大。

今年2月，谷歌罕見地改變了去年堅(jiān)持的大模型閉源策略，推出了開源大模型Gemma；3月，馬斯克也開源了旗下xAI公司的Grok-1模型。根據(jù)Gemma和Grok-1的性能測(cè)試文檔，它們?cè)跀?shù)學(xué)、推理、代碼等多項(xiàng)基準(zhǔn)測(cè)試方面的性能均超過了同規(guī)模的LLaMA 2模型。

截至目前，包括谷歌、xAI、Mistral AI、DataBricks和StabilityAI等在內(nèi)的多家科技公司發(fā)布了開源的大模型。有業(yè)內(nèi)人士此前在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)說道：“開源是大勢(shì)所趨，我認(rèn)為Meta正在引領(lǐng)這一趨勢(shì)，其次是Mistral AI、HuggingFace等規(guī)模較小的公司。”

狂卷AGI：豪擲100億美元囤芯片，年底算力將相當(dāng)于約60萬個(gè)H100

作為開源模型界的“扛把子”，Meta在AI基礎(chǔ)設(shè)施上的投入亦不可小覷。

實(shí)際上，Meta上個(gè)月曾發(fā)布一篇技術(shù)博客，展示了自己擁有的算力資源，以及布局AI基礎(chǔ)設(shè)施的細(xì)節(jié)和路線圖。該公司稱，其長(zhǎng)期愿景是構(gòu)建開放且負(fù)責(zé)任的通用人工智能 (AGI)，以便讓每個(gè)人都能廣泛使用并從中受益。

Meta在博客中寫道，“到2024年底，我們的目標(biāo)是繼續(xù)擴(kuò)大（AI）基礎(chǔ)設(shè)施建設(shè)，其中包括350000個(gè)英偉達(dá)H100 GPU，這是其產(chǎn)品組合的一部分，算上其他，其算力相當(dāng)于近600000個(gè)H100。”據(jù)悉，目前只有微軟擁有與之相當(dāng)?shù)挠?jì)算能力儲(chǔ)備。按照亞馬遜上給出的價(jià)格來算，一塊H100芯片大約3萬美金，350000個(gè)H100的價(jià)格就是105億美元（約合760億人民幣）。

在這份文檔中，Meta也透露了一些用于訓(xùn)練LLaMA 3的集群細(xì)節(jié)，該集群由24576個(gè)英偉達(dá)H100 GPU構(gòu)成。

據(jù)市場(chǎng)跟蹤公司Omdia去年發(fā)布的一份報(bào)告，Meta和微軟是英偉達(dá)H100 GPU的最大買家。據(jù)其估算，上述兩家公司在2023年各自采購(gòu)了多達(dá)150000個(gè)H100 GPU，是谷歌、亞馬遜、甲骨文等科技公司所購(gòu)的H100 GPU數(shù)量的三倍以上。

圖片來源：Omdia

在前述文檔中，Meta也重申了將堅(jiān)持一貫以來的開源路線，“Meta始終致力于人工智能軟件和硬件的開放創(chuàng)新。我們相信開源硬件和軟件將永遠(yuǎn)是幫助行業(yè)大規(guī)模解決問題的寶貴工具。”

值得一提的是，憑借AI上的投入，扎克伯格在福布斯最新發(fā)布的2024（第38屆）全球億萬富豪榜上占據(jù)第四名，資產(chǎn)凈值為1770億美元，這也是扎克伯格有記錄以來的最高排名。以美元計(jì)算，扎克伯格的資產(chǎn)凈值在過去一年增長(zhǎng)最多，共增加1126億美元，增幅為174.8%。

圖片來源：福布斯中文網(wǎng)