在大模型推動下,AI在醫療場景的應用正往影像領域延伸。
9月17日,“聆音”EchoCare超聲大模型在香港發布。這是目前所知首個訓練規模超過400萬張的超聲影像數據集,構建了國內首個覆蓋多中心、多地區、多人種、多器官(52+全身器官)的大規模超聲數據集。
EchoCare由中國科學院香港創新研究院人工智能與機器人創新中心(CAIR)研發。“大模型作為醫生的工具,我們的開發目的是讓超聲設備用起來更簡單,另一方面提升對超聲數據的理解程度和診斷水平。綜合而言,要讓醫生這個職業變成一個腦力工作者,而不是一個體力工作者。”CAIR主任劉宏斌研究員在發布會上指出。
劉宏斌表示,最新發布的預訓練基座大模型,可以理解為一個模型的編碼器,也就是把數據壓縮成更容易處理下游任務的關鍵模塊,基座模型也計劃開源給醫院團隊和科研機構。下一步,要把模型適配到臨床實際場景中。而跟頭部超聲影像企業合作、把該模型加載到設備上,也會是技術轉化的重要路徑之一。
巨大的缺口
作為醫學常規篩查和首選篩查手段,超聲技術在疾病診斷、健康檢測和臨床醫療的作用不可替代。在中國,每年超聲檢查量達到20億次,在常規醫療檢查(如CT、MRI、X光等)中的年檢量位列第一。
與之形成反差的是供給端的巨大缺口。公開數據顯示,國內超聲醫生缺口至少達到15萬。這是由于,傳統超聲技術對操作經驗和解讀能力的要求極高,培養一名合格超聲醫生需要3到5年,產篩領域甚至要5到8年,這也限制了超聲檢查的普及。
香港中文大學醫學院外科學系教授、心胸外科主任黃鴻亮對此深有體會。“在香港,如果不是緊急病癥,檢查分流要等很久,甚至幾個月。而普通檢查,等一年以上也是有的。”他向界面新聞表示。
黃鴻亮在業內首創性提出用超聲前期篩查心胸主動脈疾病,也認為需要在急診室引入超聲以避免漏診,“主動脈撕裂導致的死亡率很高,會在很短的時間致命。因此急診室在短時間快速檢查病癥,以及用超聲手段進行前期篩查、預防并發癥很重要。但是老實說,目前香港急診室還沒有這個篩查過程。與此同時,醫生都是超負荷工作,要處理海量病例。”
2015年,香港中文大學醫學院跟香港威爾斯親王醫院合作面向超過1500名病人開展超聲波普查的研究。但不管是門診普查,還是急診室篩查,超聲檢查目前仍未推廣開來,缺乏專門的超聲醫生、專科操作員培訓周期和成本大都是掣肘,“在香港現有醫療系統下,專門培訓在急診室做超聲波的檢查員是不可能的,操作的非標準化也是超聲檢查另一個很大的挑戰。”
這種情況下,黃鴻亮希望“有一個智能化系統進行人力補充和操作標準化”。在香港醫管局牽頭下,黃鴻亮團隊在2024年跟CAIR開展合作,提供了超過2萬張匿名化病例影像進行訓練。
“香港雖然數據量上不占優勢,但這邊的理念很超前,診療手段、手術方式也跟國際接軌,對AI接受度很高。醫療大模型以臨床需求為驅動,例如香港中文大學醫學院外科提出的超聲波篩查主動脈疾病就很前沿。”CAIR副主任孟高峰研究員接受界面新聞采訪時指出。
這一背景下,香港超聲領域的AI應用迎來突破。
搭建規模最大數據集
事實上,在EchoCare之前,AI應用已是香港醫學界的共識。
黃鴻亮對界面新聞提到,近幾年在香港醫管局推動下,本地醫院已經引入了AI技術,例如AI輔助查看胸部X線平片,會對異常情況進行提示,但是還沒延伸到其他影像類型。
此外,傳統超聲AI診斷面臨諸多挑戰,包括高質量超聲標注數據稀缺、醫學數據固有的長尾分布、模型跨中心跨設備泛化性差,以及傳統模型嵌入醫學知識困難,這都限制了AI超聲在臨床上的大規模普及。
直到大模型技術誕生,超聲圖像特征學習與下游任務適配的關鍵難題出現了解答。EchoCare是目前已知規模最大的超聲圖像數據集,450多萬張圖像涵蓋了138個常用數據集。孟高峰提及,數據來自20多個國家或者地區,“多中心可以理解為,數據不是來自單一地區或單一醫院。如果只選取單一對象,模型訓練出來后就存在泛化性問題,不同醫院的設備也不一樣,模型換了一個地方性能就會大打折扣。”
相較傳統大模型,EchoCare首創純數據驅動的結構化對比自監督學習方法,不需要大量的數據標注,即可實現特征學習與下游任務的解耦,實現超聲領域先驗知識內化以及跨任務知識遷移。
孟高峰指出,以前的模型訓練是監督學習,需要人為標注“標準答案”,模型進行輸入和輸出,模型輸出和人為標注對比后,再調參數模型。而在自監督學習下,不需要再靠人力標注,數據內部之間存在聯系,“就像把一幅畫的一部分遮住,可以根據周圍推理出被遮住的部分。用數據本身的關系構造學習任務,再用任務驅動模型學習。后面做很具體的下游任務就只需要標注少量數據。這種模式的精度效果也超過全監督學習。”
EchoCare另一個創新性在于連續學習。孟高峰分析道,大模型數據的收集不是一次性工作,不同應用場景需要新的數據,而歷史數據也需要更新。連續學習解決的就是模型越用越差的問題,基于少部分數據,模型能不斷迭代、跟上最新情況,“特別是需要多中心應用時,每個中心的數據不同,也對連續學習提出要求,這跟醫療場景很契合。”
針對器官識別、器官分割、甲狀腺結節檢測分類以及病灶分類管理檢測等項目任務,該模型進行了測試,相較傳統的SOTA模型,性能平均能提高3到5個百分點。
“我們提供了約600個病例的數據。從訓練的model來看,平均誤差是1毫米左右,在某一些定位是零點幾毫米,這是相當不錯的數據。不僅是心胸外科,內科也是合作方,醫生對于正確關鍵幀、病變圖像的需求很大。”黃鴻亮說。
下一步如何發展?
從實驗室到實際應用,一項成果需要經過回溯性研究、前瞻性研究、醫療證取證等幾個階段。目前,EchoCare目前已完成臨床上的第一階段,即回溯性研究。
模型在山東大學齊魯醫院、中南大學湘雅醫院和香港中文大學醫學院進行了臨床回溯性驗證。結果顯示,基于山東大學齊魯醫院婦產科1556例卵巢腫瘤超聲病例,模型分類靈敏度達到85.6%,特異度88.7%,腫瘤良惡性分類靈敏度相對SOTA方法提升8%。
劉宏斌提到,除了上述醫院,也在跟國內不少醫院推動合作,例如中山大學第一附屬醫院、四川大學華西醫院等,“我們正跟五、六家醫院接洽將大模型適配在臨床上,內地醫院的優勢在于數據規模,像中山一附院、湘雅醫院都是萬級以上,齊魯醫院也接近萬級。在訓練模型過程中,也用了大量國際開源數據以作冷啟動。當然,不管是內地還是香港,病人數據的倫理問題,如何平衡模型訓練需要和病人隱私保護,都在逐步解決。”
部署到醫院是下一步方向。黃鴻亮告訴界面新聞,在前瞻性研究上,會在病例上部署大模型,并跟心臟科醫生的診療數據進行對比,通過臨床研究進一步證明數據的準確度。前瞻性研究耗時更長,可能需要兩到三年。
他認為,急診室會是未來超聲大模型最好的切入點,“每年因為心痛、胸痛到急診室的病人很多,如何鑒別病癥,到底是心肌梗塞、肺動脈血栓還是主動脈破裂,是急診室很重要的問題。但現在的問題是,很多病人連超聲波也做不了,需要讓AI解決這個步驟,后面再做更詳細的檢查。試驗過程中,大模型會對主動脈不同位置進行標注,如果尺寸出現異常會提出警示,給出高危標簽,這將是急診室預防漏診的一個關鍵。”
針對大模型的商業化路徑,劉宏斌向界面新聞表示,會聯合頭部超聲設備企業,將大模型跟設備結合起來,通過臨床驗證后把模型授權給企業。后續的醫療器械取證等環節則交由企業進行,“已經有三家企業通過其他渠道了解到我們的研究成果,在跟我們進行接洽了。”