每經(jīng)記者 蔡鼎    每經(jīng)編輯 蘭素英    

美西時間5月13日（周一），OpenAI首席技術(shù)官Mira Murati在備受期待的直播演示中宣布，推出名為GPT-4o的新旗艦AI模型，這是其已經(jīng)問世一年多的GPT-4模型的更新版本。同時，OpenAI還推出了臺式機(jī)版本的ChatGPT以及新的用戶界面（UI）。

GPT-4o模型基于來自互聯(lián)網(wǎng)的大量數(shù)據(jù)進(jìn)行訓(xùn)練，更擅長處理文本和音頻，并且支持50種語言。更值得一提的是，GPT-4o最快可以在232毫秒的時間內(nèi)響應(yīng)音頻輸入，幾乎達(dá)到了人類的響應(yīng)水平。 

Murati稱新模型面向所有人，而不僅僅是付費用戶，為“我們的免費用戶帶來GPT-4級別的智能水平”。不過，GPT-4o的應(yīng)用程序接口中尚未為所有客戶提供語音功能。鑒于濫用風(fēng)險，OpenAI計劃在未來幾周內(nèi)首先向“一小部分可信賴的合作伙伴”推出對GPT-4o新音頻功能的支持。

而ChatGPT-4o發(fā)布后，網(wǎng)友對其的評價也是褒貶不一。英偉達(dá)科學(xué)家Jim Fan評論稱，“從技術(shù)角度來看，總體來說是一個數(shù)據(jù)和系統(tǒng)優(yōu)化問題。”有網(wǎng)友也稱，感覺到目前為止，OpenAI沒有那么開創(chuàng)性，不過也有網(wǎng)友認(rèn)為，OpenAI進(jìn)一步拉開了和蘋果的差距，現(xiàn)在該輪到蘋果的Siri“滿頭大汗”了。

GPT-4o有多“炸裂”？核心能力有三

GPT-4o中的“o”代表“omni”，意為“全能”。OpenAI官網(wǎng)介紹稱，GPT-4o向更自然的人機(jī)交互邁進(jìn)了一步，因為它接受文本、音頻和圖像的任意組合作為輸入內(nèi)容，并生成文本、音頻和圖像的任意組合輸出內(nèi)容。

那GPT-4o到底有多強(qiáng)，有哪些核心能力呢？

圖片來源：OpenAI官網(wǎng)截圖

能力一：“實時”互動，表達(dá)富有情感，視覺功能更強(qiáng)

OpenAI表示，GPT-4o顯著提升了AI聊天機(jī)器人ChatGPT的使用體驗。雖然ChatGPT長期支持語音模式，可將ChatGPT的文本轉(zhuǎn)為語音，但GPT-4o在此基礎(chǔ)上進(jìn)行了優(yōu)化，使用戶能夠像與助手互動一樣自然地使用ChatGPT。

例如，用戶現(xiàn)在可以在ChatGPT回答問題時中斷它。而且，新模型能夠提供“實時”響應(yīng)，甚至能夠捕捉到用戶聲音中的情感，并以不同的情感風(fēng)格生成語音，如同真人一般。此外，GPT-4o還增強(qiáng)了ChatGPT的視覺功能。通過照片或屏幕截圖，ChatGPT現(xiàn)在可以迅速回答相關(guān)問題，從“這段代碼是做什么用的”到“這個人穿的是什么品牌的襯衫”。

美國科技媒體Quartz報道稱，OpenAI新發(fā)布的ChatGPT-4o的技術(shù)讓人印象深刻。OpenAI的演示表明，機(jī)器人現(xiàn)在可以與人類進(jìn)行實時對話，與真人水平幾乎沒有區(qū)別。如果最終版本像OpenAI官方的演示一樣，那么OpenAI似乎已經(jīng)從某種程度上驗證AI將在多大程度上改變我們的世界。

能力二：多語言表現(xiàn)出色，響應(yīng)速度幾乎與真人無異

GPT-4o的多語言功能得到了增強(qiáng)，在50種不同的語言中表現(xiàn)更佳。在OpenAI的API中，GPT-4o的處理速度是GPT-4（特別是 GPT-4 Turbo）的兩倍，價格則是GPT-4 Turbo的一半，同時擁有更高的速率限制。

OpenAI官網(wǎng)介紹稱，GPT-4o最快可以在232毫秒的時間內(nèi)響應(yīng)音頻輸入，平均響應(yīng)時間為320毫秒，這與人類在對話中的響應(yīng)時間相似。它在英語文本和代碼方面的性能與GPT-4 Turbo的性能一致，并且在非英語文本方面的性能有了顯著提高。

用戶只需發(fā)出簡單的“嘿，ChatGPT”語音提示，即可獲得代理的口語回應(yīng)。然后，用戶可以用口語提交查詢，并在必要時附上文字、音頻或視覺效果——后者可包括照片、手機(jī)攝像頭的實時畫面或代理能“看到”的任何其他內(nèi)容。

能力三：在推理及音頻翻譯方面樹立新標(biāo)桿

據(jù)OpenAI研究人員William Fedus透露，GPT-4o實際上就是上周在LMSYS模型競技場上引起整個AI圈瘋狂試用的GPT-2模型的另一版本，并附上了GPT-4o的基準(zhǔn)測試評分對比圖，相比GPT-4 Turbo提升了超過100個單位。

推理能力方面，GPT-4o在MMLU、GPQA、MATH、HumanEval等測試基準(zhǔn)上均超越GPT-4 Turbo、Claude 3 Opusn、Gemini Pro 1.5等前沿模型，取得最高分。

圖片來源：OpenAI

音頻ASR（智能語音識別）性能方面，GPT-4o相比Whisper-v3，在所有語言的語音識別性能上均大幅提高，尤其是資源較少的語言。

圖片來源：OpenAI

音頻翻譯方面，GPT-4o也樹立了新的標(biāo)桿，在MLS基準(zhǔn)測試中優(yōu)于Whisper-v3以及Meta、谷歌的語音模型。

圖片來源：OpenAI

評價褒貶不一，有網(wǎng)友認(rèn)為壓力給到Siri了

雖然并未在OpenAI周一的重磅直播演示中現(xiàn)身，但OpenAI的CEO阿爾特曼對這次演示進(jìn)行了重要的總結(jié)。阿爾特曼稱，OpenAI在ChatGPT中免費提供了世界上最好的模型，新的語音和視頻模式是他用過的最好的計算交互界面，感覺就像電影里的人工智能一樣，達(dá)到與人類相似的響應(yīng)速度和表達(dá)能力。

目前，GPT-4o的文本和圖像功能開始在ChatGPT中免費推出，Plus用戶可以享受到5倍的調(diào)用額度。在接下來的幾周內(nèi)，OpenAI將在ChatGPT Plus中推出Voice Mode新版本，該版本帶有GPT-4o。

而在社交媒體平臺X（原推特）上，網(wǎng)友對ChatGPT-4o的評價卻褒貶不一。

英偉達(dá)科學(xué)家Jim Fan評論稱，“從技術(shù)角度來看，OpenAI已經(jīng)找到了一種方法，可以將音頻直接映射到音頻作為一級模態(tài)，并將視頻實時傳輸?shù)絫ransformer。這些需要對token化和架構(gòu)進(jìn)行一些新的研究，但總體來說是一個數(shù)據(jù)和系統(tǒng)優(yōu)化問題（大多數(shù)事情都是如此）。”

圖片來源：X

對于OpenAI推出的新模型和UI更新，有網(wǎng)友稱，感覺到目前為止OpenAI沒有那么開創(chuàng)性。

圖片來源：X

也有網(wǎng)友指出，GPT-4o不僅可以將語音轉(zhuǎn)換為文本，還可以理解和標(biāo)記音頻的其他特征，例如呼吸和情感，但不確定這在模型響應(yīng)中是如何表達(dá)的。

圖片來源：X

但大部分網(wǎng)友還是給出了非常積極的看法。

對于阿爾特曼在X上留下的一句“her”，這似乎是暗示ChatGPT實現(xiàn)了經(jīng)典電影《她》（Her）中像人類一樣“有血有肉”的AI，有網(wǎng)友對此評論：“你終于做到了。”并配了一張將電影《她》劇照中的AI“換頭”成OpenAI的梗圖。

圖片來源：X

圖片來源：X

另有網(wǎng)友評價稱，“這太瘋狂了。OpenAI剛剛推出了ChatGPT- 4o，它將徹底改變?nèi)斯ぶ悄苤值母傎悾?/strong>”該網(wǎng)友還列舉了10個ChatGPT- 4o“瘋狂”的案例，例如實時視覺輔助等等。

圖片來源：X

還有網(wǎng)友以可汗學(xué)院的可汗和他兒子一起使用 GPT-4o 輔導(dǎo)孩子在可汗學(xué)院上做數(shù)學(xué)題的示例點評稱，“學(xué)生將他們的iPad屏幕與新的ChatGPT-4+GPT-4o共享，AI與他們交談并幫助他們‘實時’學(xué)習(xí)。想象一下，如果世界上每一個學(xué)生都能這樣學(xué)習(xí)，未來是如此光明。”

圖片來源：X

也有網(wǎng)友覺得OpenAI進(jìn)一步拉開了和蘋果的差距，還發(fā)了一張人滿頭大汗的動圖，稱現(xiàn)在蘋果的語音助手Siri現(xiàn)在應(yīng)該就是這個樣子。

圖片來源：X

對于這點，Quartz報道稱，GPT-4o的情感屬性使AI聊天機(jī)器人比蘋果的Siri更加個性化。Siri給人的感覺就像在和一個機(jī)器人對話，但OpenAI的演示清楚地表明，GPT-4o具有“人工情感智能”，能夠識別用戶的情感并與你的情緒相匹配。這讓GPT-4o感覺就像一個真正的伴侶，為用戶的智能手機(jī)操作系統(tǒng)增添了一絲人性。

實際上，為了應(yīng)對技術(shù)威脅，蘋果也在與OpenAI進(jìn)行合作洽談。Wedbush分析師Dan Ives在一份報告中預(yù)計，蘋果將在6月10日的WWDC大會上官宣和OpenAI的合作伙伴關(guān)系，并推出基于蘋果LLM的AI聊天機(jī)器人。