每經(jīng)記者 鄭雨航    每經(jīng)編輯 蘭素英    

圖片來源：視覺中國-VCG41N1188747468

“你有沒有想過，你只需告訴你的家庭助理機(jī)器人：‘請加熱我的午餐’，它就會(huì)自己找到微波爐。這是不是很神奇？”

近日，微軟在其官網(wǎng)發(fā)表了一篇名為《機(jī)器人 ChatGPT：設(shè)計(jì)原則和模型能力（ChatGPT for Robotics: Design Principles and Model Abilities）》論文，公布了他們正在把ChatGPT應(yīng)用于機(jī)器人上的研究成果。

文中稱，這項(xiàng)研究的目標(biāo)是觀察ChatGPT是否可以超越文本思考，并對物理世界進(jìn)行推理來幫助完成機(jī)器人任務(wù)。人類目前仍然嚴(yán)重依賴手寫代碼來控制機(jī)器人。該團(tuán)隊(duì)一直在探索如何改變這一現(xiàn)實(shí)，并使用OpenAI的新人工智能語言模型ChatGPT實(shí)現(xiàn)自然的人機(jī)交互。

研究人員希望ChatGPT能夠幫助人們更輕松地與機(jī)器人互動(dòng)，而無需學(xué)習(xí)復(fù)雜的編程語言或有關(guān)機(jī)器人系統(tǒng)的詳細(xì)信息。其中的關(guān)鍵難題就是教ChatGPT如何使用物理定律、操作環(huán)境的背景以及了解機(jī)器人的物理行為如何改變世界狀態(tài)，并以此來解決指定的任務(wù)。

針對微軟的此項(xiàng)研究，倫敦大學(xué)學(xué)院（UCL）名譽(yù)教授和計(jì)算機(jī)科學(xué)家彼得·本特利博士（Dr. Peter John Bentley）在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)表示，人類在未來用AI工具如ChatGPT來控制機(jī)器人是完全可行的路徑。

但他同時(shí)強(qiáng)調(diào)，就目前而言，ChatGPT還存在很多漏洞，在功能性、保障性，以及安全性上缺乏基本的能力。

ChatGPT如何控制機(jī)器人？

ChatGPT是一種基于大量文本和人類交互語料庫而訓(xùn)練的語言模型，使其能夠?qū)Ω鞣N提示和問題生成連貫且語法正確的響應(yīng)。

研究人員在該文章中表示，當(dāng)前的機(jī)器人運(yùn)轉(zhuǎn)始于工程師或技術(shù)用戶，他們需要將任務(wù)的要求轉(zhuǎn)換為系統(tǒng)代碼。工程師在機(jī)器人運(yùn)轉(zhuǎn)的循環(huán)中，需要編寫新的代碼和規(guī)范來糾正機(jī)器人的行為。總的來說，這個(gè)過程緩慢、昂貴且低效，因?yàn)椴粌H需要具有深厚機(jī)器人知識的高技能用戶，而且需要用戶參與多次交互才能使機(jī)器人正常工作。

圖片來源：論文截圖

而ChatGPT解鎖了一種新的機(jī)器人范式，并允許潛在的非技術(shù)用戶在循環(huán)中，在監(jiān)控機(jī)器人性能的同時(shí)向大型語言模型 （LLM） 提供高級反饋。

通過遵循設(shè)計(jì)者的設(shè)計(jì)原則，ChatGPT 可以為機(jī)器人場景生成代碼。在無需任何微調(diào)的情況下，人們就可以利用LLM的知識來控制各種任務(wù)的不同機(jī)器人外形。通過反復(fù)試驗(yàn)，微軟的研究人員構(gòu)建了一種方法和設(shè)計(jì)原則，專門為機(jī)器人任務(wù)編寫提示：

1. 首先，定義一組高級機(jī)器人 API 或函數(shù)庫。該庫可以針對特定的機(jī)器人類型進(jìn)行設(shè)計(jì)，并且應(yīng)該從機(jī)器人的控制棧或感知庫映射到現(xiàn)有的低層次具體實(shí)現(xiàn)。為高級 API 使用描述性名稱非常重要，這樣 ChatGPT 就可以推理它們的行為。

2. 接下來，為 ChatGPT 編寫一個(gè)文本提示，描述任務(wù)目標(biāo)，同時(shí)明確說明高級庫中的哪些函數(shù)可用。提示還可以包含有關(guān)任務(wù)約束的信息，或者 ChatGPT 應(yīng)該如何組織它的答案，包括使用特定的編程語言，或使用輔助解析組件等。

3. 用戶通過直接檢查或使用模擬器來評估 ChatGPT 的代碼輸出。如果需要，用戶使用自然語言向 ChatGPT 提供有關(guān)答案質(zhì)量和安全性的反饋。

4.當(dāng)用戶對解決方案感到滿意時(shí)，就可以將最終的代碼部署到機(jī)器人上。

ChatGPT+機(jī)器人，將帶來什么？

文章中，微軟的研究團(tuán)隊(duì)展示了在人們的工作中，ChatGPT解決機(jī)器人難題的多個(gè)示例，以及在操縱無人機(jī)和導(dǎo)航領(lǐng)域的復(fù)雜機(jī)器人部署。

研究人員讓 ChatGPT 訪問控制一臺真正的無人機(jī)的全部功能，事實(shí)證明，非技術(shù)用戶和機(jī)器人之間可以用非常直觀且基于自然語言的交流。

當(dāng)用戶的指令模棱兩可時(shí)，ChatGPT 會(huì)提出澄清問題，并為無人機(jī)編寫復(fù)雜的代碼結(jié)構(gòu)，例如飛行之字（zig-zag）圖案，以便可視化地檢查貨架；甚至還能給用戶來一張自拍。

圖片來源：論文截圖

研究人員要求 ChatGPT 編寫一個(gè)算法，讓無人機(jī)在不撞上障礙物的情況下，在空中達(dá)到目標(biāo)。研究人員告訴該模型，這架無人機(jī)有一個(gè)前向距離傳感器，ChatGPT 立即為算法編碼了大部分關(guān)鍵構(gòu)建塊。

研究人員表示，這項(xiàng)任務(wù)需要人類進(jìn)行一些對話，但ChatGPT 僅使用自然語言反饋進(jìn)行本地化代碼改進(jìn)的能力給他們留下了深刻的印象。

微軟的研究人員還在模擬的工業(yè)檢測場景中使用了ChatGPT，并使用了Microsoft AirSim模擬器，該模型能夠有效地解析用戶的高級意圖和幾何線索，以準(zhǔn)確控制無人機(jī)。

圖片來源：論文截圖

當(dāng)把ChatGPT用于機(jī)械臂的操作場景時(shí)，研究者使用對話反饋來教模型如何將最初提供的 API 組合成更復(fù)雜的高級函數(shù)，即，ChatGPT自己內(nèi)部編碼的函數(shù)。使用基于課程的策略，該模型能夠?qū)⑦@些學(xué)到的技能邏輯地鏈接在一起，以執(zhí)行堆疊塊等操作。

此外，該模型還展示了一個(gè)有趣的示例，即在用木塊構(gòu)建微軟logo時(shí)橋接文本域和物理域。ChatGPT不僅能夠從其內(nèi)部知識庫中調(diào)用微軟的logo，還能夠用SVG的代碼“繪制”這個(gè)logo，然后利用上面學(xué)到的技能來確定現(xiàn)有的機(jī)器人動(dòng)作和可以組成它的物理形式。

圖片來源：論文截圖

談及微軟在論文中的演示示例，本特利博士告訴每經(jīng)記者，“微軟已經(jīng)展示了一些簡單的操作，ChatGPT可以用來生成計(jì)算機(jī)代碼，這些代碼可以控制機(jī)器人，所以用ChatGPT來控制機(jī)器人是完全可行的方案。”。

但本特利博士認(rèn)為，在現(xiàn)階段來說，ChatGPT雖然能夠生成計(jì)算機(jī)代碼，但機(jī)器人控制的問題在于，計(jì)算機(jī)代碼可能需要為特定的硬件量身定制才能正常工作。ChatGPT目前使用的是它已經(jīng)學(xué)習(xí)到的代碼示例，它（ChatGPT）或許并不兼容最新的硬件。

“所以，ChatGPT不太可能與人類開發(fā)人員相提并論。它只是提供了一個(gè)簡單的捷徑，可以幫助人們學(xué)習(xí)基礎(chǔ)知識，但它缺乏作為開發(fā)人員的基本能力。”

ChatGPT輸出仍需評估

研究人員在該文中表示，在做某事（行動(dòng)）之前能夠感知世界是打造機(jī)器人系統(tǒng)的基礎(chǔ)。因此，他們決定測試 ChatGPT 對這個(gè)概念的理解，并要求它探索一個(gè)環(huán)境，直到找到用戶指定的對象。研究者允許模型訪問對象檢測和對象距離 API 等功能，并驗(yàn)證它生成的代碼是否成功實(shí)現(xiàn)了感知-操作循環(huán)（Perception-action loops）。

在實(shí)驗(yàn)角色中，研究者進(jìn)行了額外的實(shí)驗(yàn)，以評估ChatGPT是否能夠根據(jù)傳感器實(shí)時(shí)反饋決定機(jī)器人應(yīng)該去哪里，而不是讓ChatGPT生成一個(gè)代碼循環(huán)來做出這些決定。有趣的是，結(jié)果驗(yàn)證了人們可以在聊天的每一步提供相機(jī)圖像的文本描述，并且ChatGPT模型能夠弄清楚如何在機(jī)器人到達(dá)特定物體之前控制它。

該文稱，微軟發(fā)布這些技術(shù)的目的是將機(jī)器人技術(shù)推廣到更廣泛的受眾，研究人員相信，基于語言的機(jī)器人控制系統(tǒng)是把機(jī)器人從科學(xué)實(shí)驗(yàn)室?guī)У饺粘Ｓ脩羰种械幕A(chǔ)。

但是，微軟的研究者也表示，ChatGPT 的輸出不應(yīng)該在沒有仔細(xì)分析的情況下直接部署在機(jī)器人上。通過在模擬環(huán)境中獲得實(shí)驗(yàn)結(jié)果，能夠在未來現(xiàn)實(shí)部署之前對算法進(jìn)行評估，并采取必要的安全預(yù)防措施。

本特利博士對此表示認(rèn)同，他向每經(jīng)記者進(jìn)一步解釋稱，就目前而言，ChatGPT還存在很多漏洞，在功能性、保障性，以及安全性上缺乏基本的能力。

“例如，ChatGPT可以編寫計(jì)算機(jī)代碼，但它不能做任何測試，也不知道它輸出的代碼運(yùn)行起來是否有效。研究人員需要更好的反饋循環(huán)，以便測試結(jié)果在改進(jìn)的代碼中，否則ChatGPT的輸出可能仍然是不合適的(不安全、或不能工作)。”

封面圖片來源：視覺中國-VCG41N1188747468