每經(jīng)編輯 畢陸名

2月16日凌晨，OpenAI再次扔出一枚深水炸彈，發(fā)布了首個文生視頻模型Sora。據(jù)介紹，Sora可以直接輸出長達(dá)60秒的視頻，并且包含高度細(xì)致的背景、復(fù)雜的多角度鏡頭，以及富有情感的多個角色。

目前官網(wǎng)上已經(jīng)更新了48個視頻demo，在這些demo中，Sora不僅能準(zhǔn)確呈現(xiàn)細(xì)節(jié)，還能理解物體在物理世界中的存在，并生成具有豐富情感的角色。該模型還可以根據(jù)提示、靜止圖像甚至填補(bǔ)現(xiàn)有視頻中的缺失幀來生成視頻。

一位時髦女士漫步在東京街頭，周圍是溫暖閃爍的霓虹燈和動感的城市標(biāo)志。

一名年約三十的宇航員戴著紅色針織摩托頭盔展開冒險之旅，電影預(yù)告片呈現(xiàn)其穿梭于藍(lán)天白云與鹽湖沙漠之間的精彩瞬間，獨(dú)特的電影風(fēng)格、采用35毫米膠片拍攝，色彩鮮艷。

豎屏超近景視角下，這只蜥蜴細(xì)節(jié)拉滿：

OpenAI表示，公司正在教授人工智能理解和模擬運(yùn)動中的物理世界，目標(biāo)是訓(xùn)練出能夠幫助人們解決需要與現(xiàn)實(shí)世界互動的問題的模型。在此，隆重推出文本到視頻模型——Sora。Sora可以生成長達(dá)一分鐘的視頻，同時保證視覺質(zhì)量和符合用戶提示的要求。

OpenAI創(chuàng)始人兼CEOSam Altman（奧爾特曼）太會玩了，讓網(wǎng)友評論回復(fù)Prompt（大語言模型中的提示詞），他選一些用Sora生成視頻。截至發(fā)稿，奧爾特曼連發(fā)多條根據(jù)網(wǎng)友提示詞生成的視頻，包括不同動物在海上進(jìn)行自行車比賽、發(fā)布自制面疙瘩烹飪教學(xué)視頻的祖母、兩只金毛犬在山頂做播客、日落時分火星上進(jìn)行的一場無人機(jī)競賽等。但這些視頻時長為9秒至17秒不等。

技術(shù)層面，Sora采用擴(kuò)散模型（diffusion probabilistic models）技術(shù)，基于Transformer架構(gòu)，但為了解決Transformer架構(gòu)核心組件注意力機(jī)制的長文本、高分辨率圖像處理等問題，擴(kuò)散模型用可擴(kuò)展性更強(qiáng)的狀態(tài)空間模型（SSM）主干替代了傳統(tǒng)架構(gòu)中的注意力機(jī)制，可以使用更少的算力，生成高分辨率圖像。此前Midjourney與Stable Diffusion的圖像與視頻生成器同樣基于擴(kuò)散模型。

同時，Sora也存在一定的技術(shù)不成熟之處。OpenAI表示，Sora可能難以準(zhǔn)確模擬復(fù)雜場景的物理原理，可能無法理解因果關(guān)系，可能混淆提示的空間細(xì)節(jié)，可能難以精確描述隨著時間推移發(fā)生的事件，如遵循特定的相機(jī)軌跡等。

根據(jù)OpenAI關(guān)于Sora的技術(shù)報告《Video generation models as world simulators》（以下簡稱報告），跟大語言模型一樣，Sora也有涌現(xiàn)的模擬能力。

OpenAI方面在技術(shù)報告中表示，并未將Sora單純視作視頻模型，而是將視頻生成模型作為“世界模擬器”，不僅可以在不同設(shè)備的原生寬高比直接創(chuàng)建內(nèi)容，而且展示了一些有趣的模擬能力，如3D一致性、長期一致性和對象持久性等。目前Sora能夠生成一分鐘的高保真視頻，OpenAI認(rèn)為擴(kuò)展視頻生成模型是構(gòu)建物理世界通用模擬器的一條有前途的途徑。

報告指出，OpenAI研究了在視頻數(shù)據(jù)上進(jìn)行大規(guī)模訓(xùn)練的生成模型。具體而言，聯(lián)合訓(xùn)練了文本條件擴(kuò)散模型，該模型可處理不同持續(xù)時間、分辨率和長寬比的視頻和圖像。OpenAI利用了一種基于時空補(bǔ)丁的視頻和圖像潛在代碼的變壓器架構(gòu)。最大的模型Sora能夠生成一分鐘的高保真視頻。結(jié)果表明，擴(kuò)展視頻生成模型是構(gòu)建通用物理世界模擬器的有前途的途徑。

報告重點(diǎn)介紹了OpenAI將各類型視覺數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一表示的方法，這種方法能夠?qū)ι赡Ｐ瓦M(jìn)行大規(guī)模訓(xùn)練，并對Sora的能力與局限進(jìn)行定性評估。先前的大量研究已經(jīng)探索了使用多種方法對視頻數(shù)據(jù)進(jìn)行生成建模，包括循環(huán)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、自回歸轉(zhuǎn)換器和擴(kuò)散模型。這些研究往往只關(guān)注于狹窄類別的視覺數(shù)據(jù)、較短的視頻或固定大小的視頻。而Sora是一個通用的視覺數(shù)據(jù)模型，它能夠生成跨越不同時長、縱橫比和分辨率的視頻和圖像，甚至能夠生成長達(dá)一分鐘的高清視頻。

OpenAI從大型語言模型中汲取靈感，這些模型通過訓(xùn)練互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)獲得通用能力。LLM范式的成功在一定程度上得益于令牌的使用，這些令牌巧妙地統(tǒng)一了文本的不同模式——代碼、數(shù)學(xué)和各種自然語言。在這項(xiàng)工作中，OpenAI考慮視覺數(shù)據(jù)的生成模型如何繼承這些優(yōu)勢。雖然LLM有文本令牌，但Sora有視覺補(bǔ)丁。之前已經(jīng)證明，補(bǔ)丁是視覺數(shù)據(jù)模型的有效表示。補(bǔ)丁是一種高度可擴(kuò)展且有效的表示，可用于在多種類型的視頻和圖像上訓(xùn)練生成模型。

Sora支持采樣多種分辨率視頻，包括1920x1080p的寬屏視頻、1080x1920的豎屏視頻以及介于兩者之間的所有分辨率。這使得Sora能夠直接以原生縱橫比為不同的設(shè)備創(chuàng)建內(nèi)容。同時，它還允許在生成全分辨率內(nèi)容之前，使用相同的模型快速制作較小尺寸的內(nèi)容原型。

每日經(jīng)濟(jì)新聞綜合OpenAI官網(wǎng)、公開消息

封面圖片來源：視頻截圖