<p>電子健康記錄(EHRs)需要一位新的公共關系經(jīng)理。十年前，美國政府通過了一項法律，大力鼓勵采用電子健康記錄，旨在改善和簡化醫(yī)療服務。這些數(shù)字記錄中的大量信息可以用來回答臨床試驗范圍之外的非常具體的問題:對于這種身高和體重的患者，這種藥物的正確劑量是多少?有特定基因組的病人呢?</p> <p>&nbsp;</p> <p>不幸的是，大多數(shù)能夠回答這些問題的數(shù)據(jù)都被困在醫(yī)生的筆記里，充斥著行話和縮寫。使用目前的技術，計算機很難理解這些注釋&mdash;&mdash;提取信息需要訓練多個機器學習模型。為一家醫(yī)院訓練的模型在其他醫(yī)院也不能很好地工作，而且訓練每個模型需要領域專家標記大量數(shù)據(jù)，這是一個耗時且昂貴的過程。</p> <p>&nbsp;</p> <p>一個理想的系統(tǒng)應該使用一個單一的模型，它可以提取多種類型的信息，在多家醫(yī)院都能很好地工作，并從少量的標記數(shù)據(jù)中學習。但如何?麻省理工學院計算機科學和人工智能實驗室(CSAIL)的研究人員由電氣工程和計算機科學博士候選人Monica Agrawal領導，他們認為要理清這些數(shù)據(jù)，他們需要用到更大的東西:大型語言模型。為了獲取這些重要的醫(yī)學信息，他們使用了一個非常大的GPT-3風格的模型來完成一些任務，比如擴展過多的術語和首字母縮略詞，提取藥物治療方案。</p> <p>例如，系統(tǒng)接受一個輸入(在本例中是一個臨床病歷)，用一個關于病歷的問題&ldquo;提示&rdquo;模型，例如&ldquo;展開這個縮寫，C-T-A&rdquo;。系統(tǒng)返回一個輸出，例如&ldquo;聽診清晰&rdquo;，而不是說，一個CT血管造影。該團隊表示，提取這些干凈數(shù)據(jù)的目的是最終實現(xiàn)更個性化的臨床建議。</p> <p>&nbsp;</p> <p>可以理解的是，醫(yī)療數(shù)據(jù)是一種很難自由導航的資源。由于數(shù)據(jù)使用的限制，在使用公共資源測試大型模型的性能方面存在大量的繁文縟節(jié)，因此該團隊決定收集自己的數(shù)據(jù)。</p> <p>&nbsp;</p> <p>&ldquo;開發(fā)一個單一的通用臨床自然語言處理系統(tǒng)是一項挑戰(zhàn)，它將解決每個人的需求，并對健康數(shù)據(jù)集的巨大變化具有健壯性。因此，直到今天，大多數(shù)臨床記錄還沒有用于下游分析或電子健康記錄中的實時決策支持。這些大型語言模型方法可能會潛在地改變臨床自然語言處理，&rdquo;David Sontag說，他是麻省理工學院電氣工程和計算機科學教授，CSAIL和醫(yī)學工程與科學研究所的首席研究員，也是一篇關于這項工作的論文的監(jiān)督作者，這篇論文將在自然語言處理的經(jīng)驗方法會議上發(fā)表。&ldquo;研究團隊在零鏡頭臨床信息提取方面的進步使縮放成為可能。即使你有數(shù)百個不同的用例，也沒有問題&mdash;&mdash;你可以用幾分鐘的工作構建每個模型，而不是為特定的任務標記大量的數(shù)據(jù)。&rdquo;</p> <p>&nbsp;</p> <p>例如，在沒有任何標簽的情況下，研究人員發(fā)現(xiàn)這些模型在擴展超負荷的首字母縮略詞時可以達到86%的準確率，該團隊開發(fā)了額外的方法，在不需要任何標簽的情況下將準確率進一步提高到90%。</p> <p>&nbsp;</p> <p><span class="h1"><strong>被關在電子病歷里</strong></span></p> <p>&nbsp;</p> <p>一段時間以來，專家們一直在穩(wěn)步建立大型語言模型(llm)，但隨著GPT-3完成句子的能力得到廣泛覆蓋，它們突然成為主流。這些llm接受來自互聯(lián)網(wǎng)的大量文本的訓練，以完成句子并預測下一個最有可能出現(xiàn)的單詞。</p> <p>&nbsp;</p> <p>雖然以前的較小模型(如早期的GPT迭代或BERT)在提取醫(yī)療數(shù)據(jù)方面取得了良好的性能，但它們仍然需要大量的手工數(shù)據(jù)標記工作。</p> <p>&nbsp;</p> <p>例如，一個注釋，&ldquo;pt will dc vanco due to n/v&rdquo;意味著該患者(pt)正在服用抗生素萬古霉素(vanco)，但出現(xiàn)惡心和嘔吐(n/v)嚴重到護理團隊停止(dc)藥物。該團隊的研究避免了為每個任務訓練單獨的機器學習模型的現(xiàn)狀(從記錄中提取藥物、副作用、消除常見縮寫的歧義等)。除了擴展縮寫之外，他們還調查了其他四項任務，包括模型是否能夠分析臨床試驗并提取細節(jié)豐富的藥物方案。</p> <p>&nbsp;</p> <p>&ldquo;之前的研究表明，這些模型對提示語的精確措辭非常敏感。我們的部分技術貢獻是格式化提示，以便模型以正確的格式提供輸出，&rdquo;CSAIL博士生、論文作者Hunter Lang說。&ldquo;對于這些提取問題，有結構化的輸出空間。輸出空間不僅僅是一個字符串。它可以是一個列表。它可以是原始輸入的引用。所以有更多的結構，而不僅僅是免費的文本。我們的部分研究貢獻是鼓勵模型提供具有正確結構的輸出。這大大縮短了后期處理時間。&rdquo;</p> <p>&nbsp;</p> <p>這種方法不能應用于醫(yī)院的開箱即用的健康數(shù)據(jù):這需要通過開放的互聯(lián)網(wǎng)將患者的私人信息發(fā)送到像OpenAI這樣的LLM提供商。作者表明，通過將模型提煉成一個可以在現(xiàn)場使用的更小的模型，可以解決這個問題。</p> <p>&nbsp;</p> <p>模型&mdash;&mdash;有時就像人類一樣&mdash;&mdash;并不總是對真相感恩戴德。潛在的問題可能是這樣的:假設你在詢問某人服藥的原因。如果沒有適當?shù)谋Ｗo和檢查，模型可能只輸出最常見的服藥原因，如果在注釋中沒有明確提到的話。這導致該團隊努力迫使模型從數(shù)據(jù)中提取更多的引用，減少自由文本。</p> <p>&nbsp;</p> <p>該團隊未來的工作包括擴展到英語以外的語言，創(chuàng)建更多的方法來量化模型中的不確定性，并在開源模型中獲得類似的結果。</p> <p>&nbsp;</p> <p>微軟人工智能主管、CVS health人工智能前執(zhí)行董事Sadid Hasan說:&ldquo;與一般領域文本相比，隱藏在非結構化臨床筆記中的臨床信息面臨獨特的挑戰(zhàn)，這主要是由于大量使用首字母縮略詞，以及不同醫(yī)療機構使用的不一致的文本模式。&rdquo;&ldquo;為此，這項工作提出了一個有趣的范式，即利用通用領域大型語言模型的力量來完成幾個重要的零次/少次臨床NLP任務。具體來說，提出的llm引導提示設計可以生成更結構化的輸出，通過迭代利用模型生成的偽標簽，可以進一步開發(fā)更小的可部署模型。&rdquo;</p> <p>&nbsp;</p> <p>&ldquo;人工智能在過去五年中加速發(fā)展，這些大型模型可以預測情境化推薦，并在多個領域產(chǎn)生連鎖效應，比如建議新的藥物配方、理解非結構化文本、代碼推薦或創(chuàng)作受任何數(shù)量的人類藝術家或風格啟發(fā)的藝術作品。&rdquo;帕敏德&middot;巴蒂亞說，他曾是AWS Health AI的機器學習主管，目前是AWS AI實驗室利用大型語言模型進行低代碼應用的ML主管。&ldquo;(該團隊)最近推出的這些大型模型的其中一個應用是Amazon CodeWhisperer，這是一個由ml支持的編碼伙伴，可以幫助開發(fā)人員構建應用程序。&rdquo;</p> <p>&nbsp;</p> <p>作為MIT Abdul Latif Jameel健康機器學習診所的一部分，Agrawal、Sontag和Lang與MIT助理教授、CSAIL首席研究員Yoon Kim以及來自明斯特大學的訪問博士生Stefan Hegselmann共同撰寫了這篇論文。第一作者Agrawal的研究得到了武田獎學金、麻省理工德什潘德技術創(chuàng)新中心和MLA@CSAIL倡議的支持。</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學態(tài)度觀點。</p> </blockquote>