每經(jīng)記者 金喆    實(shí)習(xí)生 彭婉揚(yáng)    每經(jīng)編輯 張海妮    

在做神經(jīng)外科手術(shù)時(shí)，醫(yī)生不僅必須對病灶進(jìn)行精確定位，同時(shí)還需要非常小心，以免損傷周圍血管、神經(jīng)和其他重要組織。過往，醫(yī)生基本都是把病人的CT或磁共振影像等資料組合到一起來想象、憑著經(jīng)驗(yàn)操作，這往往需要長期的經(jīng)驗(yàn)積累。因此，神經(jīng)外科手術(shù)是難度最高的手術(shù)之一，一名獨(dú)立操刀神經(jīng)外科手術(shù)的醫(yī)生，年資普遍在20年以上。

大模型似乎找到了解決方向。3月11日，中國科學(xué)院香港創(chuàng)新院AI中心對外發(fā)布面向醫(yī)療垂直領(lǐng)域的AI多模態(tài)大模型CARES Copilot 1.0，目前可以在手術(shù)階段自動識別病灶和解剖結(jié)構(gòu)，對培訓(xùn)年輕醫(yī)生和教學(xué)有實(shí)用價(jià)值。

臨床醫(yī)生是醫(yī)療大模型的受益者，也是評判員。北京協(xié)和醫(yī)院神經(jīng)外科主任醫(yī)師、研究生導(dǎo)師馮銘現(xiàn)場演示了CARES Copilot 1.0系統(tǒng)后說，手術(shù)大模型和手術(shù)導(dǎo)航結(jié)合起來，可以為患者提供實(shí)時(shí)的解剖定位信息，提高手術(shù)安全性。不過，要實(shí)現(xiàn)機(jī)器人獨(dú)立操作手術(shù)，還需要較長時(shí)間探索。

中國科學(xué)院香港創(chuàng)新院AI中心執(zhí)行主任、博士生導(dǎo)師劉宏斌在發(fā)布會上介紹AI多模態(tài)大模型CARES Copilot 1.0  圖片來源：每經(jīng)記者 金喆 攝

神經(jīng)外科有了垂直大模型

盡管醫(yī)療大模型有近百種，但由于行業(yè)專業(yè)門檻高、容錯率極低，真正落地到臨床診斷的垂直大模型非常少。即便是本次發(fā)布的CARES Copilot，也只是1.0版本，主要以識別和輔助醫(yī)生的功能為主。

中國科學(xué)院香港創(chuàng)新院AI中心執(zhí)行主任、博士生導(dǎo)師劉宏斌在發(fā)布會上介紹，目前該系統(tǒng)的識別功能主要包括三個層面：首先是基于三維人體的手術(shù)室行為識別算法，能夠?qū)θ梭w動作進(jìn)行判斷“他的動作是否合規(guī)”；其次是利用大模型的抽象理解能力判斷手術(shù)到了什么階段；最后是關(guān)鍵解剖結(jié)構(gòu)識別。

在他看來，只有把識別做準(zhǔn)確了，才有可能去辨別手術(shù)當(dāng)中作出的判斷是否準(zhǔn)確，現(xiàn)在通過這個系統(tǒng)能夠把一些關(guān)鍵的解剖結(jié)構(gòu)的識別率提高到80%以上。Copilot 1.0可以在手術(shù)中為醫(yī)生提供判斷參考，通過輔助信息讓醫(yī)生操作更為安全。

《每日經(jīng)濟(jì)新聞》記者注意到，去年以來有超過50個平臺公開發(fā)布了醫(yī)療大模型。劉宏斌說，垂直大模型難以落地臨床主要有幾個痛點(diǎn)：一方面，現(xiàn)在公開的大模型是用公開的資料訓(xùn)練出來的，臨床醫(yī)生參與較少，回答問題的方式和方向滿足不了臨床診斷需求，醫(yī)生也沒辦法完全信任大模型給出的答案；另一方面，醫(yī)生通常會使用大量文本、影像、視頻等數(shù)據(jù)，很多大模型還是僅以文本語言為主。

“很多大模型回答了問題后，醫(yī)生沒辦法確定它的內(nèi)容是否準(zhǔn)確，也不敢用。”劉宏斌表示，Copilot就是要解決這些痛點(diǎn)，1.0版本采用大模型加小模型的方式，可以識別、語義提取圖片和文字，并進(jìn)行更高級的理解。按照他的設(shè)想，Copilot 2.0版本將延伸到手術(shù)指導(dǎo)，像教練一樣提醒和指導(dǎo)醫(yī)生哪個階段應(yīng)該如何操作。

隨著更多版本的迭代，未來可能會實(shí)現(xiàn)醫(yī)生與機(jī)器有效配合、機(jī)器人進(jìn)行一些非關(guān)鍵手術(shù)操作，甚至還有可能由醫(yī)生書寫手術(shù)計(jì)劃、機(jī)器人來自主執(zhí)行方案。劉宏斌也說，“但不是現(xiàn)階段，估計(jì)要一定時(shí)間以后才會實(shí)現(xiàn)”。

馮銘表示，現(xiàn)在已經(jīng)有些AI應(yīng)用能夠減輕醫(yī)生的工作量，比如病例生成、部分疾病早期篩查、術(shù)后數(shù)據(jù)庫的病例隨訪和管理。“今天發(fā)布的（大模型）更專業(yè)一些，包括跟機(jī)器人后續(xù)的結(jié)合等，能幫助到醫(yī)生的，醫(yī)生為什么會不愿用呢？”

他舉例，如果提出術(shù)后用藥的問題，Copilot會給出精準(zhǔn)的答案，比如需要用哪些藥、注意哪些激素，都是基于近五年專業(yè)的指南和共識。另外，目前用到比較多的大模型存在“幻覺”，每次提問后給的答案不一樣，看起來是生成了一段話，專業(yè)的人還是能看出問題。但Copilot的答案會更標(biāo)準(zhǔn)，“真理只有一個、真相只有一個”。 

醫(yī)療大模型必須足夠?qū)I(yè)，才能獲得醫(yī)生信任

記者也注意到，在此前的行業(yè)討論中，國內(nèi)一些醫(yī)工結(jié)合的醫(yī)院曾表達(dá)對AI落地的看法，對于醫(yī)院方，無法信任AI的原因還是在于準(zhǔn)確性問題。

劉宏斌介紹，目前醫(yī)療領(lǐng)域垂直大模型的評判標(biāo)準(zhǔn)主要是參加醫(yī)學(xué)考試，在USMLE醫(yī)療行業(yè)測評中（USMLE為美國執(zhí)業(yè)醫(yī)師資格考試，是通往美國臨床執(zhí)業(yè)的唯一路徑），Copilot 1.0的成績排在第一。早前，谷歌的醫(yī)療大模型Med-PaLM2在MedQA數(shù)據(jù)集實(shí)現(xiàn)了86.5%的準(zhǔn)確率。

這也是Copilot 1.0比其他公開的醫(yī)療垂直大模型做得更好的一點(diǎn)。同時(shí)CARES Copilot 1.0支持超過100K上下文窗口的長程注意力，能夠一次性完成超過3000頁的復(fù)雜手術(shù)教材的高效理解和分析，對年輕醫(yī)生的培訓(xùn)和科研提供有力支持。

首都醫(yī)科大學(xué)附屬北京同仁醫(yī)院神經(jīng)外科主任康軍說，目前看人工智能發(fā)展大致上分三個階段：機(jī)器學(xué)習(xí)階段、機(jī)器智能階段和機(jī)器意志階段。CARES Copilot 1.0這個系統(tǒng)是專注于神經(jīng)外科應(yīng)用的人工智能系統(tǒng)，但它還處于機(jī)器學(xué)習(xí)階段的早期，相當(dāng)于人在成長過程中的學(xué)齡前階段。未來發(fā)展到了機(jī)器意志階段，可能真的由機(jī)器人獨(dú)立完成腦部手術(shù)操作，就是機(jī)器知道哪里需要切除、哪里需要保留，但這個階段還需要很長的路和時(shí)間才可能達(dá)到，至少目前還只是科幻電影里的情節(jié)。

封面圖片來源：每經(jīng)記者 金喆 攝