谷歌DeepMind的研究人員推出了，首個無需數(shù)據(jù)標(biāo)記、無監(jiān)督訓(xùn)練的生成交互模型——Generative Interactive Environments，簡稱“Genie”。

Genie有110億參數(shù)，可以根據(jù)圖像、真實照片甚至草圖，就能生成各種可控制動作的視頻游戲。Genie之所以有如此神奇功能，主要使用了3萬小時，6800萬段的游戲視頻進(jìn)行了大規(guī)模訓(xùn)練。

并且在訓(xùn)練過程中沒有使用任何真實動作標(biāo)簽或其他特定提示，但Genie可以基于幀級別的，使用戶在生成的環(huán)境中進(jìn)行各種動作控制非常強！

值得一提的是，Genie是一個通用基礎(chǔ)模型，也就是說其學(xué)到的潛在動作關(guān)系、序列、空間可以應(yīng)用在其他領(lǐng)域中。

論文地址：https://arxiv.org/abs/2402.15391

項目地址：https://sites.google.com/view/genie-2024/home

Genie的核心架構(gòu)用了ST-Transformer（時空變換器）。這是一種結(jié)合了Transformer模型的自注意力機制與時空數(shù)據(jù)的特性，以有效處理視頻、多傳感器時間序列、交通流量等時空數(shù)據(jù)。

ST-Transformer主要通過捕捉數(shù)據(jù)在時間和空間上的復(fù)雜依賴關(guān)系，提高了對時空序列的理解和預(yù)測能力，主要有3大模塊組成。

圖片將一張草圖，直接生成可控的小游戲

轉(zhuǎn)化展示

視頻分詞器

這是一個基于VQ-VAE的模塊,可將原始視頻幀壓縮成離散的記號表示,以降低維度并提高后續(xù)模塊的視頻生成質(zhì)量。

這個過程類似自然語言處理中的分詞，將連續(xù)的視頻幀序列分解為離散的視頻片段。

視頻分詞器使用了ST-transformer來對視頻進(jìn)行編碼，并生成對應(yīng)的視頻標(biāo)記。這些標(biāo)記將作為后續(xù)動力學(xué)模型的輸入，用于預(yù)測下一幀視頻。

潛在動作模型

這是一個無監(jiān)督學(xué)習(xí)模塊,可從原始視頻中推斷出觀察到的狀態(tài)變化對應(yīng)的潛在動作。并根據(jù)這些潛在動作實現(xiàn)對每一幀的控制。潛在動作模型通過對視頻標(biāo)記序列進(jìn)行建模，學(xué)習(xí)到了不同幀之間的動作關(guān)系。

具體來說，潛在動作模型可以將一個視頻標(biāo)記序列作為輸入，并生成對應(yīng)的潛在動作序列。這些潛在動作序列可以用于控制生成環(huán)境中的每一幀，使用戶能夠在生成的交互環(huán)境中進(jìn)行精確的操作。

動力學(xué)模型

主要基于潛在動作模型學(xué)習(xí)到的動作關(guān)系，根據(jù)潛在動作和過去的幀標(biāo)記預(yù)測下一幀的視頻。可以把該模塊看作是一個預(yù)測模型，通過學(xué)習(xí)視頻序列的動態(tài)變化模式，能夠生成逼真的連續(xù)視頻。

動力學(xué)模型的輸入包括前一幀的圖像表示和當(dāng)前幀的動作表示。為了將圖像表示和動作表示進(jìn)行融合，Genie采用了一個基于Transformer架構(gòu)的編碼器來對它們進(jìn)行編碼。

在編碼器中，首先對前一幀的圖像進(jìn)行編碼，并采用了一種視頻標(biāo)記器的方法，將圖像分割成若干個離散的標(biāo)記，每個標(biāo)記代表圖像中的一個局部區(qū)域。這種分割可以幫助模型捕捉到圖像中的空間信息。

當(dāng)前幀的動作表示也通過編碼器進(jìn)行編碼。動作表示可以是離散的動作類別或連續(xù)的動作向量，具體的形式取決于具體的應(yīng)用場景。

編碼器將動作表示轉(zhuǎn)換為一個固定長度的向量，以便與圖像表示進(jìn)行融合。在獲得圖像表示和動作表示的編碼后，它們被輸入到動力學(xué)模型中進(jìn)行預(yù)測。