每經記者 蔡鼎    每經編輯 蘭素英    

當地時間5月13日，OpenAI首席技術官Mira Murati在備受期待的直播演示中宣布，推出名為GPT-4o的新旗艦AI模型，這是其已經問世一年多的GPT-4模型的更新版本。同時，OpenAI還推出了臺式機版本的ChatGPT以及新的用戶界面（UI）。

GPT-4o模型基于來自互聯(lián)網的大量數據進行訓練，更擅長處理文本和音頻，并且支持50種語言。更值得一提的是，GPT-4o最快可以在232毫秒的時間內響應音頻輸入，幾乎達到了人類的響應水平。

Murati稱新模型面向所有人，而不僅僅是付費用戶，為“我們的免費用戶帶來GPT-4級別的智能水平”。不過，GPT-4o的應用程序接口中尚未為所有客戶提供語音功能。鑒于濫用風險，OpenAI計劃在未來幾周內首先向“一小部分可信賴的合作伙伴”推出對GPT-4o新音頻功能的支持。

GPT-4o發(fā)布后，網友對其褒貶不一。英偉達科學家Jim Fan評論稱，從技術角度來看，總體來說是一個數據和系統(tǒng)優(yōu)化問題。有網友也稱，感覺到目前為止，OpenAI沒有那么大的開創(chuàng)性。不過，也有網友認為，OpenAI進一步拉開了和蘋果的差距，現(xiàn)在該輪到蘋果的Siri“滿頭大汗”了。

GPT-4o最快可以在232毫秒的時間內響應音頻輸入，幾乎達到了人類的響應水平。圖為OpenAI的CEO阿爾特曼出席會議。 視覺中國圖

GPT-4o核心能力有三

GPT-4o中的“o”代表“omni”，意為“全能”。OpenAI官網介紹稱，GPT-4o向更自然的人機交互邁進了一步，因為它接受文本、音頻和圖像的任意組合作為輸入內容，并生成文本、音頻和圖像的任意組合輸出內容。

那GPT-4o到底有多強，有哪些核心能力呢？

能力一：“實時”互動，表達富有情感，視覺功能更強

OpenAI表示，GPT-4o顯著提升了AI聊天機器人ChatGPT的使用體驗。雖然ChatGPT長期支持語音模式，可將ChatGPT的文本轉為語音，但GPT-4o在此基礎上進行了優(yōu)化，使用戶能夠像與助手互動一樣自然地使用ChatGPT。

例如，用戶現(xiàn)在可以在ChatGPT回答問題時中斷它。而且，新模型能夠提供“實時”響應，甚至能夠捕捉到用戶聲音中的情感，并以不同的情感風格生成語音，如同真人一般。此外，GPT- 4o還增強了ChatGPT的視覺功能。通過照片或屏幕截圖，ChatGPT現(xiàn)在可以迅速回答相關問題，從“這段代碼是做什么用的”到“這個人穿的是什么品牌的襯衫”。

美國科技媒體Quartz報道稱，GPT-4o的技術讓人印象深刻。OpenAI的演示表明，機器人現(xiàn)在可以與人類進行實時對話，與真人水平幾乎沒有區(qū)別。如果最終版本像OpenAI官方的演示一樣，那么OpenAI似乎已經從某種程度上驗證AI將在多大程度上改變我們的世界。

能力二：多語言表現(xiàn)出色，響應速度幾乎與真人無異

GPT-4o的多語言功能得到了增強，在50種不同的語言中表現(xiàn)更佳。在OpenAI的API中，GPT-4o的處理速度是GPT-4（特別是GPT-4 Turbo）的兩倍，價格則是GPT-4 Turbo的一半，同時擁有更高的速率限制。

OpenAI官網介紹稱，GPT-4o 最快可以在232毫秒的時間內響應音頻輸入，平均響應時間為320毫秒，這與人類在對話中的響應時間相似。它在英語文本和代碼方面的性能與GPT-4 Turbo的性能一致，并且在非英語文本方面的性能有了顯著提高。

用戶只需發(fā)出簡單的“嘿，ChatGPT”語音提示，即可獲得代理的口語回應。然后，用戶可以用口語提交查詢，并在必要時附上文字、音頻或視覺效果——后者可包括照片、手機攝像頭的實時畫面或代理能“看到”的任何其他內容。

能力三：在推理及音頻翻譯方面樹立新標桿

據OpenAI研究人員William Fedus透露，GPT-4o實際上就是在LMSYS模型競技場上引起整個AI圈瘋狂試用的GPT-2模型的另一版本，并附上了GPT-4o的基準測試評分對比圖，相比GPT-4 Turbo提升了超過100個單位。

在推理能力方面，此次發(fā)布的GPT-4o在MMLU、GPQA、MATH、HumanEval等測試基準上均超越GPT-4 Turbo、Claude 3 Opusn、Gemini Pro 1.5等前沿模型，取得最高分。

音頻ASR（智能語音識別）性能方面，GPT-4o相比Whisperv3，在所有語言的語音識別性能上均大幅提高，尤其是資源較少的語言。

音頻翻譯方面，GPT-4o也樹立了新的標桿，在MLS基準測試中優(yōu)于Whisper-v3以及Meta、谷歌的語音模型。

評價褒貶不一

雖然并未在OpenAI這次重磅直播演示中現(xiàn)身，但OpenAI的CEO阿爾特曼對這次演示進行了重要的總結。阿爾特曼稱，OpenAI在ChatGPT中免費提供了世界上最好的模型，新的語音和視頻模式是他用過的最好的計算交互界面，感覺就像電影里的人工智能一樣，達到了與人類相似的響應速度和表達能力。

目前，GPT-4o的文本和圖像功能開始在ChatGPT中免費推出，Plus用戶可以享受到5倍的調用額度。在接下來的幾周內，OpenAI將在ChatGPT Plus中推出Voice Mode新版本，該版本帶有GPT-4o。

而在社交媒體平臺X（原推特）上，網友對GPT-4o的評價卻褒貶不一。

英偉達科學家Jim Fan評論稱，從技術角度來看，總體來說是一個數據和系統(tǒng)優(yōu)化問題（大多數事情都是如此）。

對于OpenAI推出的新模型和UI更新，有網友稱，感覺到目前為止OpenAI沒有那么大的開創(chuàng)性。

也有網友指出，GPT-4o不僅可以將語音轉換為文本，還可以理解和標記音頻的其他特征，例如呼吸和情感，但不確定這在模型響應中是如何表達的。

但大部分網友還是給出了非常積極的看法。

對于阿爾特曼在X上留下的一句“her”，這似乎是暗示ChatGPT實現(xiàn)了經典電影《她》（Her）中像人類一樣“有血有肉”的AI。有網友對此評論：“你終于做到了。”并配了一張將電影《她》劇照中的AI“換頭”成OpenAI的梗圖。

另有網友評價稱，這太瘋狂了。OpenAI剛剛推出了GPT-4o，它將徹底改變人工智能助手的競賽。該網友還列舉了10個GPT-4o的“瘋狂”案例，例如實時視覺輔助等。

也有網友覺得OpenAI進一步拉開了和蘋果的差距，還發(fā)了一張人滿頭大汗的動圖，稱現(xiàn)在蘋果的語音助手Siri應該就是這個樣子。

對于這點，Quartz報道稱，GPT-4o的情感屬性使AI聊天機器人比蘋果的Siri更加個性化。Siri給人的感覺就像在和一個機器人對話，但OpenAI的演示清楚地表明，GPT-4o具有“人工情感智能”，能夠識別用戶的情感并與你的情緒相匹配。這讓GPT-4o感覺就像一個真正的伴侶，為用戶的智能手機操作系統(tǒng)增添了一絲人性。

實際上，為了應對技術威脅，蘋果也在與OpenAI進行合作洽談。Wedbush分析師Dan Ives在一份報告中預計，蘋果將在6月10日的WWDC（蘋果全球開發(fā)者大會）大會上官宣和OpenAI的合作伙伴關系，并推出基于蘋果LLM的AI聊天機器人。

封面圖片來源：視覺中國