每經(jīng)編輯 程鵬 蓋源源    

ChatGPT，還可以信任嗎？

據(jù)央視新聞5月29日報道，近日，美國一名律師在一起訴訟案件中，幫原告打官司時，引用了ChatGPT搜集的6個案例，而法官卻發(fā)現(xiàn)那些信息全是子虛烏有。律師承認自己沒有核實信息并為此道歉，眼下面臨處罰。

讓ChatGPT協(xié)助辦案 美國30年資深律師被坑

據(jù)新華社援引美國有線電視新聞網(wǎng)28日報道，男乘客羅伯托·馬塔對哥倫比亞航空公司提起訴訟，稱自己2019年搭乘該公司航班飛往紐約市途中，乘務人員疏忽導致他膝蓋被客艙內推車撞傷。

馬塔的代理律師是已有30多年從業(yè)經(jīng)歷的紐約市律師史蒂文·施瓦茨。為支持馬塔訴求，施瓦茨向法官凱文·卡斯特爾提交了多個所謂類似案例及其判決結果。

今年4月，哥倫比亞航空公司的律師致信法官，質疑施瓦茨所提交案例信息的真實性。據(jù)美國《紐約時報》報道，律師之一巴爾特·巴尼諾說，他的律所律師精通航空法律，看出那些信息不實。他說，他們當時隱約感覺那些信息來自ChatGPT。

法官卡斯特爾本月4日在一份書面文件中寫道，那6個案例的判決結果、引語等都是假的，“法庭從未遇到過這種情況”。他下令6月8日就處罰施瓦茨舉行聽證會。

施瓦茨承認那6個案例為ChatGPT提供。法庭文件顯示，他看到這些案例信息后追問ChatGPT信息是否屬實，機器人稱“千真萬確”，還給出了所謂的信息出處。

施瓦茨說，他這是第一次用ChatGPT協(xié)助辦案，“沒有意識到內容偽造的可能性”。

他在書面文件中“深表懊悔”，愿意承擔相關責任，承諾今后“沒有完全核實”就不會使用聊天機器人提供的信息。

研究發(fā)現(xiàn)ChatGPT并非可靠信源?

值得一提的是，今年3月14日，OpenAI宣布正式發(fā)布為ChatGPT提供支持的更強大的下一代技術GPT-4，稱其擁有圖像識別功能，高級推理技能，以及處理25000個單詞的能力，在某些測試中的表現(xiàn)“可與人類相媲美”，并在大學入學和法律及醫(yī)學等專業(yè)領域的許多模擬考試中優(yōu)于其前身GPT-3.5。例如，GPT-4通過了律師資格模擬考試，分數(shù)超過90%的人類考生，而GPT-3.5此前的分數(shù)則低于90%的人類考生。

不過，目前最新的研究發(fā)現(xiàn)ChatGPT并非可靠信源?。

據(jù)科技日報5月18日的一篇報道，加拿大科學家在16日出版的《放射學》雜志上刊登新論文稱，最新版本的ChatGPT通過了美國放射學委員會的考試，突出了大型語言模型的潛力，但它也給出了一些錯誤答案，表明人們仍需對其提供的答案進行核查。

圖片來源：物理學家組織網(wǎng)

ChatGPT是一種人工智能（AI）聊天機器人，它使用深度學習模型在龐大的訓練數(shù)據(jù)中識別單詞之間的模式和關系，并根據(jù)提示生成類似人類的反應，類似的聊天機器人正被納入谷歌和必應等流行的搜索引擎中，醫(yī)生和患者們也會使用這些搜索引擎來搜索醫(yī)療信息。但由于數(shù)據(jù)來源并不一定真實可靠，該工具會給出與事實不符的答案。

為評估ChatGPT在美國放射學委員會考試問題上的表現(xiàn)并探索其優(yōu)勢和局限性，多倫多大學的拉杰什·哈瓦那博士及其同事首先測試了基于GPT-3.5的ChatGPT的表現(xiàn)。研究團隊使用了150道選擇題，這些選擇題與加拿大皇家學院和美國放射學委員會考試的風格、內容和難度相當。這些問題不包括圖像，分為低階（知識回憶、基本理解）和高階（應用、分析、綜合）思維問題。高階思維問題可進一步細分為影像學表現(xiàn)描述、臨床管理、計算和分類、疾病關聯(lián)。

研究人員發(fā)現(xiàn)，基于GPT-3.5的ChatGPT的正確率為69%，接近70%的及格線。該模型在低階思維問題上表現(xiàn)相對較好，正確率為84%，但回答高級思維問題時表現(xiàn)不佳，正確率僅為60%。而性能更優(yōu)異的GPT-4的正確率為81%，且在高階思維問題上的正確率為81%，遠好于GPT-3.5。但GPT-4在低階思維問題上的正確率僅為80%，答錯了12道題——GPT-3.5全部答對了這些題目，這引發(fā)了研究團隊對GPT-4收集信息的可靠性的擔憂。

這兩項研究都表明，ChatGPT會有提供不正確答案的傾向，如果僅僅依靠它獲取信息，非常危險，因為人們可能意識不到其給出的答案是不準確的，這是它目前面臨的最大的問題。當前，ChatGPT最適合用來激發(fā)想法，幫助撰寫數(shù)據(jù)摘要，而用于快速信息檢索，需要對其提供的事實性答案予以核查。

編輯|程鵬 蓋源源

校對|陳柯名

封面圖片來源：視覺中國

每日經(jīng)濟新聞綜合自央視新聞、新華社、科技日報