每經編輯 黃勝    每經實習編輯 宋欣悅    

7月30日，英偉達CEO黃仁勛（Jensen Huang）和Meta創(chuàng)始人馬克·扎克伯格（Mark Zuckerberg）在美國丹佛舉行的SIGGRAPH 2024計算機圖形大會上，首次公開進行了對話。

黃仁勛和扎克伯格就基礎研究如何引領人工智能領域取得突破性進展，以及生成式人工智能與開源軟件如何賦能開發(fā)者與創(chuàng)作者進行了深入探討。雙方還進一步交流了生成式人工智能在構建虛擬世界中的核心作用，以及這一虛擬世界如何成為推動未來人工智能與機器人技術新浪潮的潛力源泉。

在對話結束后，扎克伯格從背后拿出一件皮夾克贈予黃仁勛，而黃仁勛也慷慨回贈，兩人互換皮夾克，臺下觀眾報以熱烈掌聲。

• 基礎研究引領AI突破

扎克伯格分享了Meta在生成式AI方面的進展，并深入探討了這些技術如何為公司的運營帶來革新，以及如何助力引入更多前沿的新功能。

扎克伯格認為，基礎模型的發(fā)展正在加速。“即便基礎模型方面的進展現在停滯不前了（盡管我并不這么認為），業(yè)界也至少需要五年時間來進行產品創(chuàng)新，以探索如何最高效地利用迄今為止所構建的一切。但實際上，我認為基礎模型以及基礎研究的進展正在加速，這使得當前正處于一個極為激動人心的時期。”

他還特別提到了FAIR（Meta的AI研究實驗室），以及PyTorch在計算機視覺、語言模型和實時翻譯方面的開創(chuàng)性應用。

• 推薦系統(tǒng)是世界上設計出的最大計算系統(tǒng)之一

扎克伯格指出，未來的AI將不僅用于內容推薦系統(tǒng)，還將用于即時內容生成和從現有內容中整合新內容，這將徹底改變Instagram和Facebook等平臺的信息流和推薦系統(tǒng)。

扎克伯格認為，AI不僅能提升內容推薦的質量，還能通過更廣泛的數據池和更通用的推薦模型，實現更高效的內容分發(fā)。

黃仁勛也表示：“我認為很少有人意識到，推薦系統(tǒng)是世界上設計出的最大計算系統(tǒng)之一。”

• 生成式AI與開源軟件的賦能

兩位科技領袖還深入探討了生成式人工智能與開源軟件如何賦能開發(fā)者與創(chuàng)作者。黃仁勛和扎克伯格都認為，開源軟件對于賦能開發(fā)者和創(chuàng)作者至關重要。

黃仁勛還稱贊了Meta在開源方面的貢獻，特別是Llama 2.1的開源。黃仁勛表示：“我認為Llama 2可能是去年AI領域最重大的事件。我之所以說它是最大的事件，是因為當它發(fā)布時，它激勵了每一家公司、每一個企業(yè)、每一個行業(yè)。”

扎克伯格提到，Meta的開源并非全然出于無私，是因為開源可以促使其開發(fā)產品達到最優(yōu)狀態(tài)。“這不僅僅關乎打造一款軟件，而是需要構建一個圍繞它的生態(tài)系統(tǒng)。若我們不開放源代碼，它幾乎就無法被有效利用。我們之所以這么做，并非因為我們是純粹的利他主義者，我們這樣做是因為堅信這能促使我們正在開發(fā)的產品達到最優(yōu)狀態(tài)。”

扎克伯格強調，開源與閉源各有其存在的合理性和獨特優(yōu)勢。然而，他指出：“我們確實會做一些封閉源代碼的項目。我們發(fā)布的并不都是開源的。但我認為，總的來說，對整個行業(yè)來說，如果軟件開源，那將帶來不可估量的巨大價值。”

• 生成式AI在構建虛擬世界中的核心作用

在討論生成式AI在構建虛擬世界中的作用時，扎克伯格表示，Meta一直在努力開發(fā)逼真的化身技術和先進的顯示系統(tǒng)，以提升用戶的虛擬現實體驗。

扎克伯格強調了Meta在AI領域的持續(xù)投入和創(chuàng)新。他回顧了Meta在2018年展示的一些早期手部追蹤技術，以及在VR和MR頭戴設備上取得的進展，以及這些技術如何使虛擬體驗更加逼真。

扎克伯格還提到，這些技術的發(fā)展不僅提升了用戶體驗，也為創(chuàng)作者提供了更多可能性，使他們能夠創(chuàng)造出更加豐富和互動的虛擬內容。

• 虛擬世界與未來技術的新浪潮

在討論的最后，兩位CEO都認為虛擬世界將成為推動未來AI與機器人技術新浪潮的潛力源泉。扎克伯格提到了Meta在智能眼鏡和混合現實頭戴設備上的愿景，以及這些設備如何成為下一代計算平臺。

他表示：“智能眼鏡會成為下一代計算平臺的移動版，混合現實頭戴設備則更像是你的工作站或游戲主機。”這些設備的發(fā)展將使人們能夠以更加自然和直觀的方式與虛擬世界互動，從而推動AI和機器人技術的進步。

黃仁勛則從更廣泛的角度看待這一問題，他認為，生成式AI和虛擬世界的結合將為各個領域帶來革命性的變化。他表示：“生成式AI正在每一個領域中進行根本性轉變。”

黃仁勛表示，從氣候技術到生物技術，再到物理科學，生成式AI的應用正在推動科學和技術的發(fā)展，為未來的創(chuàng)新提供了無限可能。

以下是黃仁勛和扎克伯格的對話節(jié)選：

黃仁勛：我想問你的第一個問題是，你如何看待Meta目前在生成式AI方面的進展，以及你是如何利用這些技術來優(yōu)化運營或開發(fā)新能力的？

扎克伯格：在2018年，我們展示了VR和混合現實頭戴設備的一些早期手部追蹤技術。我想我們已經詳細討論了我們在高保真化身技術方面取得的進步，這些化身可以從消費者的頭戴設備中驅動，我們正逐步實現這一目標，對此我們感到非常興奮。

此外，我們在顯示系統(tǒng)方面也做了大量工作。我們正在進行的一些未來原型和研究旨在使混合現實頭戴設備變得更加輕薄。這需要使用先進的光學堆疊技術和集成顯示系統(tǒng)。我們通常首先在這里展示我們的最新成果，所以今年能來參加感到非常興奮，我們不僅討論了反向工程的內容，還涉及了所有與AI相關的領域。

正如你所說，我們從FAIR，即AI研究中心開始。那時還是Facebook，現在是Meta，在我們成立Reality Labs之前，我們已經在這個領域耕耘了一段時間。

生成式AI技術正在引發(fā)一場有趣的革命。我認為它將最終以有趣的方式改變我們所做的每一個產品。我親歷了這一切的發(fā)展。你可以看看我們已有的主要產品，比如Facebook和Instagram的動態(tài)和推薦系統(tǒng)。我們一直在不斷地發(fā)展這些產品，它們已經從最初的與朋友聯(lián)系功能發(fā)展到了更多。

未來，大量內容也將通過這些工具被創(chuàng)造出來。其中一部分將是由創(chuàng)作者使用這些工具創(chuàng)作的新內容。我認為，其中一部分內容最終將根據你的需求即時生成，或者是通過整合全球各地的不同資源來創(chuàng)造的。

黃仁勛：然而，我認為很少有人意識到，推薦系統(tǒng)是世界上設計出的最大的計算系統(tǒng)之一。

扎克伯格：確實，這是一個全新的方向，不是嗎？

例如，我們曾有一個模型專門用于短視頻的排名和推薦，另一個模型則用于長視頻。通過產品開發(fā)，我們使得系統(tǒng)能夠在線顯示任何類型的內容。隨著你創(chuàng)建出能夠覆蓋所有內容的通用推薦模型，這些模型會變得越來越精準。

我夢想著有一天，Facebook或Instagram幾乎可以由一個單一的AI模型驅動，這個模型能夠整合不同的內容類型和系統(tǒng)，這些系統(tǒng)在不同的時間尺度上有著各自的目標。有些內容是向你展示今天你可能感興趣的有趣內容，而有些則是長期幫助你擴展社交網絡，你可能認識的人或你可能想關注的賬戶。

黃仁勛：多模態(tài)模型通常在識別模式和微弱信號方面表現更出色。人們總是對AI在你公司中的深度應用感到好奇，畢竟你們一直在構建GPU基礎設施，并且運行這些大型推薦系統(tǒng)已經有一段時間了。

現在，生成式AI真正酷的地方在于，當我使用WhatsApp時，我感覺我正在與它合作。當我打字時，它正在實時生成圖像。我回頭修改我的文字，它就會生成不同的圖像。

扎克伯格：一方面，我認為它將為我們的工作流程和產品帶來一次重大升級。但另一方面，它還將催生出許多全新的創(chuàng)意。因此，Meta AI是擁有一個能夠幫助處理各種任務的AI助手，這將是極具創(chuàng)造性的。但重要的是，它們非常通用，因此不必局限于特定用途。隨著時間的推移，它將能夠回答任何問題。當我們從Llama 3類模型過渡到Llama 4類模型及其更高級版本時，這種體驗將不再局限于簡單的聊天機器人模式。不再是你給出提示，它就回應，然后你再給出提示，它再回應。相反，它將迅速發(fā)展，能夠根據你的意圖獨立工作，跨越多個時間框架。

黃仁勛：因此，今天的AI主要功能是接收輸入并做出回應。但當我們面對一個任務或問題時，我們通常會考慮多個選項，甚至可能構建一個決策樹來考慮每種可能的選擇所帶來的不同結果。這就是我們在進行規(guī)劃的過程。未來的AI也將執(zhí)行類似的操作。當我聽到你闡述關于創(chuàng)作者AI的愿景時，我感到非常興奮。這個想法確實令人振奮。請向大家介紹一下創(chuàng)作者AI以及這個AI工作室，它將如何幫助大家實現這一目標。

扎克伯格：確實，我們之前提到過，但今天我們正在將這個項目擴展到更廣泛的范圍。我們的愿景是，不會只有一個AI模型。有些公司似乎在構建一個中央代理，但我們會提供一個Meta AI助手供大家使用。更重要的是，我們希望賦予所有使用我們產品的人創(chuàng)建自己代理的能力。我們現在開始推廣的項目被稱為AI Studio。

AI Studio是一套工具，最終將幫助每個創(chuàng)作者構建一個AI版本的自己，作為社區(qū)可以與之互動的代理或助手。讓我有些意外的是，Meta AI目前一個非常受歡迎的應用場景是人們用它來模擬即將面臨的復雜社交情境。例如，在職場中：我想問我的經理，如何才能獲得晉升或加薪？或者我與朋友發(fā)生了爭執(zhí)，再或者我和女朋友之間出現了棘手的問題。這樣的對話該如何展開？這個平臺提供了一個完全無壓力的環(huán)境，你可以在這里模擬不同的對話場景，觀察對話的進展，并獲得有益的反饋。

然而，許多人并不滿足于只與單一類型的AI代理互動，無論是Meta AI、ChatGPT還是其他流行的選擇，人們渴望創(chuàng)造屬于自己的內容。這就是我們AI Studio的發(fā)展方向。

黃仁勛：我認為這非?？?，如果你是一名藝術家并且擁有自己的風格，你可以將這種風格和你所有的作品集，微調成AI模型?，F在，你可以向這個模型提出請求，讓它根據你的藝術風格來創(chuàng)作。你甚至可以提供一件藝術品，如一幅畫或一個草圖，作為靈感。我可以為你生成作品。你可以通過我的AI來獲取這樣的服務。未來，每家餐廳、每個網站可能都會有這樣的AI。

扎克伯格：是的，我認為在不久的將來，就像現在每個企業(yè)都有一個電子郵件地址、網站和社交媒體賬戶一樣，未來每個企業(yè)都會有一個AI代理來與客戶互動。

黃仁勛：那我能否使用AI Studio來優(yōu)化我的圖片以及我的圖片集？

扎克伯格：是的，我們將會實現這個功能。

黃仁勛：然后我可以把我寫過的所有內容都加載進去，基本上把它當作我的個人助理。每次我回來時，它都會重新加載記憶，記得我們上次對話停在哪里。然后我們可以繼續(xù)對話，就像之前從未中斷過一樣。

扎克伯格：就像所有產品一樣，它會隨著時間的推移而不斷改進。訓練工具也會變得更好。我相信我們很快就能實現這一目標。這些技術并不遙遠，而且發(fā)展速度非常快，這讓人感到非常興奮。有很多新的內容等待我們去創(chuàng)造。

即使基礎模型的進步現在停止了，但我認為這不會發(fā)生，我們仍然有大約五年的時間來進行產品創(chuàng)新，讓整個行業(yè)學會如何有效地利用已經開發(fā)出的所有技術。但實際上，我認為基礎模型和基礎研究的進展正在加速，現在是一個非常激動人心的時期。

黃仁勛：我喜歡你關于這個愿景的想法，每個人都應該有一個AI，每個企業(yè)都應該在我們的公司有一個AI。我想讓每個工程師和每個軟件開發(fā)者都擁有一個或多個AI。我喜歡你的愿景的原因是，你也相信每個人和每個公司都應該能夠創(chuàng)造自己的AI。所以，當你開源Llama時，我認為這是非常棒的。順便說一下，Llama 2，我認為Llama 2可能是去年AI領域最重大的事件。

我之所以說它是最大的事件，是因為當它發(fā)布時，它激勵了每一家公司、每一個企業(yè)、每一個行業(yè)。突然間，每個醫(yī)療保健公司都在建立AI。每個公司都在建立AI，無論是大型公司、小型公司還是初創(chuàng)公司都在建立AI。它使得每一個研究人員都能重新啟動AI，因為他們有了一個起點來做事情。

你開源了PyTorch，它是現在運行AI的主要框架。隨后，你又開源了Llama 3.1并圍繞它建立了一個完整的生態(tài)系統(tǒng)。我認為這非常棒，這一切的起源是什么？

扎克伯格：隨著時間的推移，我們已經做了很多開源工作。我認為其中一部分，我們是在其他一些科技公司之后開始建設的，或者像分布式計算基礎設施和數據中心這樣的東西。而且，正因為如此，當我們建造這些東西的時候，它已經不是一個競爭優(yōu)勢了。所以我們就想，好吧，我們不妨將其開放，然后我們將從圍繞它的生態(tài)系統(tǒng)中受益。我們有很多這樣的項目。

我認為最大的影響可能是我們公布了服務器設計、網絡設計，最終是數據中心設計。通過使這些成為行業(yè)標準，供應鏈幾乎完全圍繞它組織起來，這對所有人都有節(jié)省成本的好處。因此，通過開源，我們實際上節(jié)省了數十億美元。

扎克伯格：有一種很大偏見，每個人都只關注移動端，因為封閉的生態(tài)系統(tǒng)，蘋果基本上贏了。我知道實際上有更多Android手機，但蘋果基本上占據了更大的市場份額。并且，所有的利潤都集中在蘋果身上。

在發(fā)展上，Android基本上都在追隨蘋果。所以蘋果在這一代中顯然是贏家，但情況并不總是如此。如果你回顧過去，蘋果在封閉系統(tǒng)方面有所作為。但微軟，雖然它不是一個完全開放的公司，但與蘋果相比，Windows運行在所有不同的OEM和不同的軟件、硬件上，形成了一個更加開放的生態(tài)系統(tǒng)。

在個人電腦時代，Windows是領先的生態(tài)系統(tǒng)，可以看作是開放生態(tài)系統(tǒng)。我對下一代的計算抱有希望，那就是我們將會回到開放生態(tài)系統(tǒng)占主導地位的那個時代。再次強調，總是會有封閉的和開放的兩種選擇。我認為兩者都有其合理性，都有其好處。我并不是在這個問題上偏執(zhí)。我的意思是，我們確實會做一些封閉源代碼的項目。我們發(fā)布的并不都是開源的。但我認為，對于整個行業(yè)正在構建的計算平臺，尤其是軟件開源，這將為整個行業(yè)帶來巨大的價值。因此，這確實影響了我對AI和Llama，以及我們在AR和VR領域所做工作的看法。我們基本上是在為混合現實構建Horizon OS，類似于Android或Windows的開放操作系統(tǒng)。

黃仁勛：這真是太好了。我認為這是一個很好的世界，有人致力于構建盡可能好的AI。他們構建它并將其作為服務提供給世界。

但如果你想構建自己的AI，你也可以自己構建。所以完全使用AI的能力，你可以提供偉大的服務，令人難以置信的服務，同時保持開放性。

扎克伯格：我認為我們的目標是一致的。我們這樣做并不是因為我們很無私，這會使我們正在構建的東西通過一個堅固的生態(tài)系統(tǒng)變得更好。

黃仁勛：看看有多少人為PyTorch生態(tài)系統(tǒng)做出了貢獻。僅英偉達，我們就有幾百人致力于讓PyTorch變得更好、更可擴展和性能更高等等。

扎克伯格：是的，當某件事成為行業(yè)標準時，其他人會圍繞它進行工作。所以所有的硬件和系統(tǒng)最終都會被優(yōu)化，以便非常高效地運行這個東西，會造福所有人，并且也會很好地與我們正在構建的系統(tǒng)協(xié)同工作。我認為這只是這種方法如何變得非常有效的例子之一。所以，我認為開源策略作為商業(yè)策略將會是一個好策略。我認為人們仍然沒有完全理解這一點。

黃仁勛：我們非常喜歡它，圍繞它建立了一個生態(tài)系統(tǒng)。我們建立了這個基礎。

扎克伯格：每次我們推出新產品，你們總是第一個發(fā)布并進行優(yōu)化，使其正常工作。所以，我對此表示感激。

黃仁勛：我也認為Llama真的很重要。我們構建了這個概念，圍繞AI建立了一個AI工廠，以便我們能夠幫助每個人建立和獲取AI。對他們來說，擁有AI非常重要，因為這使得他們公司的機構知識得以編碼和嵌入到AI中。

扎克伯格：是的，我認為幫助人們從大型模型中提煉出自己的模型，將是一件非常有價值的新事物。每個人都在同一水平上與之交流。我不認為會有一個模型被每個人使用。

黃仁勛：我們擁有芯片設計的AI，軟件編碼AI，以及理解我們的軟件編碼AI，因為我們使用USD為Omniverse項目編碼。我們還有理解vlog的軟件AI，以及理解我們的bug、知道如何幫助我們分類bug并將它們發(fā)送給正確工程師的軟件AI。每個AI都是從Llama衍生出來的，我們對其進行微調和設置護欄。因此，我認為每個公司將為它們的每一個功能擁有AI，他們很可能為這些功能構建AI。

扎克伯格：是我認為未來人們將面臨的一個問題是，他們將多大程度上使用更大的、更復雜的模型，而不是只為他們的特定用途訓練自己的模型。至少我會打賭，我們將看到大量不同模型的出現。

黃仁勛：讓我們談談下一個問題。你知道的，我真的很喜歡你們所做的工作之一，計算機視覺。你將AI帶入虛擬世界的愿景真的很有趣。你可能知道，英偉達現正致力于通過視頻訓練AI模型，目的是更深入地理解世界模型。我們將這些AI模型與Omniverse平臺相連接，以便更精確地模擬和呈現現實世界。這樣，我們就能讓機器人在Omniverse的虛擬世界中順暢地運作。

你提到的雷朋的Meta類應用程序，以及將AI技術融入虛擬世界的創(chuàng)新愿景，都非常引人入勝。能否詳細分享一下這方面的信息。

扎克伯格：當我們考慮下一個計算平臺時，我們傾向于將其視為混合現實的世界。包括頭戴設備以及智能眼鏡。我認為人們更容易接受這個概念，因為今天幾乎每個人都戴眼鏡，而這些眼鏡最終都會升級為智能眼鏡。世界上有超過十億人，這將會是一個巨大的變革。

VRM是指頭戴設備，有些人可能覺得它對游戲或其他用途很有趣，而有些人則不這么認為。然而，我認為智能眼鏡和混合現實頭戴設備都將存在于我們的世界中。我認為智能眼鏡將類似于移動手機，是下一個計算平臺的一種始終在線的版本。而混合現實頭戴設備則將像你的工作站或游戲機，當你需要更深入的沉浸式體驗和更多的計算能力時使用。眼鏡的體積非常小，因此在形態(tài)上有許多限制，就像你不能在手機上完成同樣水平的計算一樣。

黃仁勛：它恰好在所有這些重大突破和生成式AI技術出現的時候問世了。

扎克伯格：是的，所以對于智能眼鏡，我們基本上是從兩個方向著手解決這個問題。一方面，我們一直在研發(fā)我們認為是理想全息AR眼鏡所需的技術。我們正在進行所有定制硅芯片和顯示堆棧的工作，這些都是為了讓這種技術能夠在眼鏡中得以實現，這并不是一個頭戴設備，也不像VR或MR頭戴設備。它們看起來像普通眼鏡，但與你現在戴的眼鏡相比，還有一定的差距。我的意思是，那些眼鏡雖然非常薄，但即使是雷朋和我們生產的，目前也還不能將實現全息AR所需的所有技術都集成進去。不過，在未來幾年里，我們將越來越接近這個目標。我認為我們會更接近實現它。這個產品仍然會相當昂貴，但我想它將開始成為一個實際的產品。

我們解決這個問題的另一個方法是，從設計精美的眼鏡開始，與世界頂尖的眼鏡制造商合作。他們擁有眾多知名品牌，比如雷朋、Oakley、Oliver Peoples等。我們與他們合作開發(fā)雷朋眼鏡，目前我們已經進入第二代產品。我們的目標是，首先將智能眼鏡的設計限制為美觀大方。然后在這樣一款眼鏡中，我們盡可能多地集成技術，盡管我們知道可能無法完全達到理想的技術集成狀態(tài)。

但最終，它將是一款看起來非常棒的眼鏡。目前，我們已經集成了相機傳感器，所以你可以拍照和錄視頻。我甚至可以直播Instagram，你可以在WhatsApp上進行視頻通話，并將畫面實時傳輸給對方。它還配備有麥克風和揚聲器。你可以用它來聽音樂，非常受歡迎。人們也喜歡用它來接聽電話。但后來我們發(fā)現，那個傳感器套件恰好是我們與AI交流所需的關鍵。這有點像是意外的收獲。

如果你五年前問我，我們會先實現全息AR還是AI？我可能會說，AI可能會先實現，對吧？我的意思是，這一切就像是虛擬和混合現實技術的進步，以及顯示技術的進步。我們正在持續(xù)朝著這個方向取得進展。

幸運的是，由于我們一直在開發(fā)各種不同的產品，我們現在處于一個非常好的位置。但我想最終你會看到一系列不同價格和不同技術水平的潛在眼鏡產品。所以，基于我們現在對雷朋眼鏡的觀察，我猜測在300美元價格點上。無顯示AI技術將是一個非常成功的產品，最終可能有數千萬甚至數億人使用。你將擁有一個非?；拥腁I，可以與之交流。

黃仁勛：正如你剛才展示的，你擁有視覺語言理解能力。你還具備實時翻譯功能。因此，你可以使用一種語言與我交流。

扎克伯格：當我聽到另一種語言時，顯示效果當然也會非常好。但這也會給眼鏡增加一些重量，并使其價格更高。因此，我想對于很多人來說，他們可能更喜歡全息顯示的眼鏡。但同時，也會有許多其他人，他們希望最終能擁有像非常薄的眼鏡一樣的產品，無論是工業(yè)應用、工作應用，還是消費者產品。你這么認為嗎？是的，我的意思是，我在疫情期間一直在思考這個問題，當時每個人都在遠程工作了一段時間。就像你在Zoom上花費了所有的時間。雖然我們現在有了這些技術，但在未來，我們不會離得太遠，就能實現虛擬會議，比如，雖然我不在物理位置上，但我的全息圖可以出現，讓人感覺我們都在同一個地方，就像我們物理上都在場一樣。

黃仁勛：我們可以合作開展某項工作，但我認為這對于AI用戶來說將尤為重要，因為可以與一個不必隨時佩戴的設備一起生活。

扎克伯格：是的，但我想我們最終會實現這一點。在眼鏡設計中，有更薄的框架和更厚的框架，還有各種風格。但我想，我們離擁有全息眼鏡還有一段時間。不過，我認為在一副時尚的、更厚框架的眼鏡中實現這一點并不遙遠。

黃仁勛：我們正經歷一個令人難以置信的時期，整個計算堆棧正在被重新發(fā)明，我們思考軟件的方式也在變化。生成式AI這項技術，是我所見過的影響消費者、企業(yè)行業(yè)和科學速度最快的技術之一。它能夠跨越從氣候技術到生物技術再到物理科學的各個領域。生成式AI正處于這些領域根本轉變的核心。

每日經濟新聞綜合自公開消息