全球首個(gè)全科醫(yī)療大模型正式發(fā)布：

由谷歌 Research 和 DeepMind 共同打造的多模態(tài)生成模型Med-PaLM M，懂臨床語(yǔ)言、懂影像，也懂基因組學(xué)。

【資料圖】

在 14 項(xiàng)測(cè)試任務(wù)中，Med-PaLM M 均接近或超過(guò)現(xiàn)有 SOTA，前提是所有任務(wù)都使用一組相同的模型權(quán)重。

而在 246 份真實(shí)胸部 X 光片中，臨床醫(yī)生表示，在高達(dá) 40.50% 的病例中，Med-PaLM M 生成的報(bào)告都要比專業(yè)放射科醫(yī)生的更受采納，這表明 Med-PaLM M 并非 " 紙上談兵 "，用于臨床指日可待。

對(duì)此，谷歌也自己給出了評(píng)價(jià)：

這是通用醫(yī)學(xué)人工智能史上的一個(gè)里程碑。

所以，Med-PaLM M 具體什么來(lái)頭？

全球首個(gè)全科醫(yī)療大模型來(lái)了

在正式了解 Med-PaLM M 之前，我們先簡(jiǎn)單介紹谷歌自建的多模態(tài)醫(yī)學(xué)測(cè)試基準(zhǔn)MultiMedBench。

谷歌表示，在 MultiMedBench 之前，市面上缺乏這樣一個(gè)全面的多模態(tài)醫(yī)學(xué)基準(zhǔn)。

該基準(zhǔn)由 12 個(gè)開(kāi)源數(shù)據(jù)集和 14 個(gè)單獨(dú)的任務(wù)組成，用于測(cè)量通用生物醫(yī)學(xué) AI 執(zhí)行各種臨床任務(wù)的能力。

其中 12 個(gè)數(shù)據(jù)集共包含了六種生物醫(yī)學(xué)數(shù)據(jù)模式（文本、放射學(xué)（CT、MRI 和 X 光）、病理學(xué)、皮膚病學(xué)、乳房 X 光檢查和基因組學(xué)），14 個(gè)任務(wù)則涵蓋五種類型（問(wèn)題回答、報(bào)告生成和摘要、視覺(jué)問(wèn)題回答、醫(yī)學(xué)圖像分類和基因組變體調(diào)用）。

Med-PaLM M 就在上面進(jìn)行了微調(diào)。

正如其名 "M" 代表多模態(tài)，Med-PaLM M 相比之前谷歌發(fā)布的 Med-PaLM、Med-PaLM-2 等醫(yī)療大模型，是一個(gè)主打全科、通才的醫(yī)療 AI，不僅能回答各種醫(yī)學(xué)問(wèn)題，還能直接看片、懂基因組學(xué)。

它的基本架構(gòu)是 PaLM-E（多模態(tài)語(yǔ)言模型），并采用 ViT 預(yù)訓(xùn)練模型作為視覺(jué)編碼器，具體實(shí)現(xiàn)了三種組合：

-PaLM 8B+ViT 4B ( PaLM-E 12B )

-PaLM 62B+ViT 22B ( PaLM-E 84B )

-PaLM 540B+ViT 22B ( PaLM-E 562B )

通過(guò) MultiMedBench 對(duì) PaLM-E 模型進(jìn)行微調(diào)，并將其與生物醫(yī)學(xué)領(lǐng)域?qū)R，Med-PaLM M 得以誕生。以下是一些實(shí)現(xiàn)細(xì)節(jié)：

（1）數(shù)據(jù)集和預(yù)處理方面，將 MultiMedBench 中所有圖像大小調(diào)整為 224 × 224 × 3，同時(shí)按需使用填充來(lái)保留原始縱橫比。

（2）由于谷歌的目標(biāo)是訓(xùn)練一個(gè)通用的生物醫(yī)學(xué) AI 模型，使用統(tǒng)一的模型架構(gòu)和模型參數(shù)，用多模式輸入執(zhí)行多個(gè)任務(wù)。為此，他們?yōu)?Med-PaLM M 提供了特定于各種任務(wù)的指令以及一個(gè)純文本的 " 一次性示例 "。

如下圖所示的胸部 x 光解讀和皮膚病變分類任務(wù)所示，這些指令有一種寫(xiě)提示語(yǔ)的味道，以 " 你是一個(gè)很給力的放射科助理 " 開(kāi)頭。

（3）訓(xùn)練過(guò)程中，作者對(duì) PaLM-E 進(jìn)行了端到端的微調(diào)。在多模態(tài)任務(wù)中，圖像標(biāo)記與文本標(biāo)記交錯(cuò)，以形成對(duì) PALM-E 模型的多模式上下文輸入。對(duì)于所有微調(diào)任務(wù)，多模式上下文輸入最多包含 1 個(gè)圖像，然而 Med-PaLM M 能夠在推理過(guò)程中處理具有多個(gè)圖像的輸入。

14 項(xiàng)任務(wù)接近 or 超 SOTA，臨床戰(zhàn)勝 40% 放射科醫(yī)生

性能評(píng)估階段，作者主要測(cè)試 Med-PaLM M 的 " 多面手 "（即全科）能力、突發(fā)涌現(xiàn)能力以及放射學(xué)報(bào)告生成質(zhì)量（與真實(shí)放射科醫(yī)生進(jìn)行對(duì)比）。

結(jié)果顯示：

（1）與專業(yè) SOTA 模型和無(wú)生物醫(yī)學(xué)領(lǐng)域微調(diào)的廣義模型（PaLM-E 84B）相比，Med-PaLM M 在 MultiMedBench 上的所有任務(wù)、數(shù)據(jù)集和指標(biāo)組合（共計(jì) 14 項(xiàng)）中，性能均基本接近 SOTA 或超過(guò) SOTA。

需要注意的是，該結(jié)果是在沒(méi)有任何特定任務(wù)定制的情況下使用相同的模型權(quán)重集實(shí)現(xiàn)的。

（2）在 scale 實(shí)驗(yàn)中，三個(gè)不同規(guī)模的 Med-PaLM M 對(duì)各類任務(wù)的影響各不相同：

粗略來(lái)看，對(duì)于純語(yǔ)言任務(wù)和需要調(diào)整的多模式任務(wù)來(lái)說(shuō)，模型越大越好；但對(duì)圖像分類和胸部 X 光報(bào)告生成任務(wù)來(lái)說(shuō)，84B 的效果比 562B 表現(xiàn)反而更好一些。

（3）零樣本思維鏈推理能力涌現(xiàn)。Med-PaLM M 可以通過(guò)胸部 X 射線圖像檢測(cè)沒(méi)有訓(xùn)練過(guò)的結(jié)核病，與針對(duì)該類數(shù)據(jù)集進(jìn)行專門(mén)優(yōu)化過(guò)的 SOTA 結(jié)果相比，它的準(zhǔn)確率已相差不大。不過(guò)，它給出的具體報(bào)告還是存在具體錯(cuò)誤，說(shuō)明還有不足。（4）放射性報(bào)告生成測(cè)試中，80B 參數(shù)的 Med-PaLM M 平均有 40.50% 的報(bào)告比放射科醫(yī)生做的更好（被臨床醫(yī)生采納），而 12B 和 562B，分別為 34.05% 和 32.00%。另外，遺漏和錯(cuò)誤率測(cè)試顯示，Med-PaLM M 12B 和 84B 模型平均每份報(bào)告的遺漏率最低，為 0.12，其次是 562B 模型為 0.13。這一結(jié)果與 MIMIC-CXR 上人類放射科醫(yī)生基線報(bào)告的相當(dāng)。

多久能實(shí)用？

作為人類首個(gè)全科醫(yī)學(xué)大模型，Med-PaLM M 多久能投入實(shí)用，想必也是大家關(guān)心的問(wèn)題。

雖然它被 " 自詡 " 為里程碑（主要是因?yàn)榭恳唤M模型權(quán)重在各種生物醫(yī)學(xué)任務(wù)上接近或超過(guò) SOTA），但谷歌也指出目前還有不少局限性待解決。

比如缺乏高質(zhì)量的測(cè)試基準(zhǔn)。谷歌表示，這是迄今為止通用生物醫(yī)學(xué)人工智能發(fā)展的關(guān)鍵瓶頸，因?yàn)橹挥懈哔|(zhì)量的基準(zhǔn)才能在很大程度上促進(jìn)相關(guān)領(lǐng)域的發(fā)展。

而目前的 MultiMedBench 還存在單個(gè)數(shù)據(jù)集大小有限以及模式和任務(wù)多樣性有限（比如缺乏轉(zhuǎn)錄組學(xué)和蛋白質(zhì)組學(xué)）等問(wèn)題。

再比如，擴(kuò)展（scale）多模態(tài) AI 模型也具有挑戰(zhàn)性。

在語(yǔ)言領(lǐng)域，這一操作可以顯著提高性能和應(yīng)急能力。然而，谷歌在 Med-PaLM M 上的初步實(shí)驗(yàn)表明，由于醫(yī)學(xué)數(shù)據(jù)的稀缺性，這對(duì)于生物醫(yī)學(xué)任務(wù)領(lǐng)域的多模態(tài)廣義模型來(lái)說(shuō)并沒(méi)有這么簡(jiǎn)單。

作者介紹

目前，谷歌僅發(fā)布了 Med-PaLM M 的論文。

它一共有兩位共同一作，其中一位叫 Tao Tu。

他本科畢業(yè)于北理工（2010 年），碩士畢業(yè)于清華大學(xué)，博士為美國(guó)哥倫比亞大學(xué)，專業(yè)都是醫(yī)學(xué)工程。目前已在谷歌擔(dān)任軟件工程師快兩年。

論文地址：

https://arxiv.org/abs/2307.14334