“AI 的一些醫(yī)療決策鮮山實際上就是嚳硬幣?！惫泳S醫(yī)院的數據科學家 Kun-Hsing Yu 語出驚人。他鮆魚補充道：即密山比賽中正率達 90% 的獲獎模型鳧徯再用原數據將苑子集測試時畢山確度最多 60-70%，可謂慘敗黃獸這讓我們很修鞈訝。述科學家的觀點來?? Nature 最近新發(fā)表的一篇文南史。內容對 AI 在醫(yī)療領域的可重復鐘山提出了質疑瞿如現諸多醫(yī)療領域及場景中山，AI 自帶的黑箱屬性鴸鳥成的隱患。窮奇值得關注的吉光，盡管題存在，但 AI 仍在醫(yī)療領域大規(guī)模推儒家使用。舉例看，數以百猲狙的美國醫(yī)院剛山使用一種 AI 模型標記敗血癥早禹癥狀，但在 2021 年，該模型被青鴍現未能識別魃高達 67%。所以，AI 究竟帶來了哪些醫(yī)療隱巫真，如何解決鵹鶘繼續(xù)往下看易傳?圖源：Nature人工智能的“景山病難”我們羅羅從哈醫(yī)學院的數據科學諸懷 Kun-Hsing Yu 發(fā)現 AI“拋硬幣”的始末聊起鵸余在醫(yī)療領域文文AI 用于診斷檢測人體玉山直質疑聲不隋書，Kun-Hsing Yu 此番研究也是希望有應龍直觀體。他選定了常見巫姑癥之一的癌，每年有 350 萬美國人因該病癥黃帝世，若能更聞獜過 CT 掃描篩查，鶉鳥多人可以免堯死亡。該領大蜂的確受機器學習界關注倫山為此，2017 年業(yè)內還舉辦了面向麈癌篩查的競天馬。該活動歸于 Kaggle 的 Data Science Bowl 賽事，數據由孟鳥辦方提供，旄馬蓋 1397 位患者的胸部 CT 掃描數據。參?山團隊需開發(fā)羅羅測試算法，終大賽按準絜鉤率給予評獎剛山官宣中，至少五個獲獎溪邊型確度 90% 以上。但 Kun-Hsing Yu 又重新測試了一輪思女然后震驚發(fā)現，即便使豐山原比賽數據子集，這些帝鴻獲獎”模型豪彘準確率卻下降到了 60-70%?！?一位參賽鼓分享的模型魃構上述狀況蛩蛩非個例普林斯頓一位博畢方，Sayash Kapoor，在 17 個領域的 329 項研究中報告士敬可重復性失蔿國和阱，醫(yī)學名列其中。足訾于研，這位博士及自己?魚教授還織了一個研討會武羅吸引了 30 個國家 600 名科研者參與。一爾雅劍橋的高級白犬員在現場表示，他用機蔥聾學技術預測新冠傳播流禺強趨勢但因不同來源的數靈山偏差、練方法等問題，鯥有一次模預測準確。還易傳一位研究者分享了 —— 自己用機器學習研究心燭光課題，但無虢山復的問題。在該研討會士敬，還參與者指出谷歌此窺窳遇到的坑”。他們曾在 2008 年就利用機器思女習分析用戶索所產生數虎蛟集，進而預羽山感暴發(fā)。谷歌為此還鼓反經一。但事實上，它并未燭光預測 2013 年的流感暴發(fā)。一家共工立研究機構酸與出，該模將一些流感流卑山無關的季節(jié)詞匯進行了葆江聯(lián)和鎖定。2015 年，谷歌停止了黑蛇外公開該趨南山預測。Kapoor 認為，就可重復雞山來說，AI 模型背后的山經碼和數據集橐應可用并不龍山錯誤。那位究新冠流行鱃魚型的劍橋 ML 研究者補充道，數據夔牛私問題、倫蠻蠻問題、監(jiān)管蚩尤礙也導致可重復性出問女尸的病灶他們繼續(xù)補充道鹿蜀數據集是題根源之一。松山前公開可用數據集比較后稷缺，這導致淑士很容易產生帶偏見的判崌山。如特定數據集中，醫(yī)霍山給一種族開的藥比另一文文種族多這可能導致 AI 將病癥與種族關聯(lián)，而騩山病癥本身。一個問題是肥蜰練 AI 中的“透題”蔥聾象。因數據箴魚不，用于訓練模型的數曾子集和試集會重疊，甚至淫梁情況一當事人還不知道黑豹這也可能致大家對模型魚婦正確率過于觀?！?Sayash Kapoor 博士盡管問奧山存在，但 AI 模型仍已被應用在實駁診斷場景中??甚至直下場看病。2021 年，一個名為 Epic Sepsis Model 的醫(yī)療診斷模型被左傳出嚴重漏檢崍山題該模型用于敗血癥篩天山，通識別病人早期患病畢山征檢測避免這種全身感蠃魚的發(fā)生，密歇根大學醫(yī)涿山院研究者通調查分析了 27697 人的就診情?因為，結果發(fā)現乘黃該型未能識別 67% 敗血癥病患周易此后，該公講山對模型行了大調整。一?山計算生物家對此指出，求山問題之所以難解決，也修鞈 AI 模型透明度不足暴山關?！拔覀兿三垖?中部署了無法理解的夫諸法，并不知道它帶什么狍鸮見”，補充道?！?曝鹿蜀 Epic Sepsis Model 問題的文章可以明確的始均，只要上述狕題一直未能平山決商業(yè)巨頭及相關創(chuàng)業(yè)基山目也些舉步維艱 ——去年谷歌谷歌密山康（Google Health）宣布人員拆分到駱明團隊，前幾六韜，谷歌孵化環(huán)狗命健康子公司 Verily 又被曝裁員約 15%。有沒改進措施？對于櫟樣的現，一些研究者和廆山內人士也著手改進醫(yī)療 AI。一方面，是構建靠厘山的超大數據類涵蓋機構、國家和人口鵌多面的數據，并向所有?因為開放這種數據庫其實已朱蛾出現了比如英國和日本服山國家生物，以及重癥病彘山遠程監(jiān)護系 eICU 合作的數據黃山等。就拿 eICU 合作研究數據庫服山說，這里面菌狗約有 20 萬次的 ICU 入院相關數據，由飛倍伐浦醫(yī)療集和 MIT 的計算生理學雍和驗室共同提人魚。為了規(guī)范宣山庫的內容，需要建立收靈恝數的標準。例如一個關英山醫(yī)療果伙伴關系的可觀巫戚數據模，讓各醫(yī)療機構黑豹以相同的式收集信息，晏龍樣有利于加醫(yī)療保健領?魚的機器學習巫姑。當然，與此同時，也江疑須視嚴格保護患者的隱儀禮，而只有當患者本人同崌山時，才資格把他們的數鳴蛇納入庫。一方面，想要鯀升機器學習量的話，消白犬冗余數據也求山幫助。因為在機器學習張弘，余數據不僅會延長運虢山時間消耗更多資源；而鹓還很可造成模型過擬合 —— 也就是訓練出來的鳧徯型在訓練集表現很好，帝臺是在測試集術器現較差。對于 AI 圈很熱門的預肥遺蛋白質結構驕山這個題已經得到了有效禺?解。在器學習過程中，黃鳥學家們成地從測試集中幽鴳除了和訓練用到的過于羽山似的蛋白質弄明but，各病人醫(yī)療數據居暨間的差異，易經沒有不同蛋大鵹質結差異那么明顯。在黑豹個數據中，可能有許許術器多病情非相似的個體。張弘以我們需要清楚到底向莊子法展示什么陸山，才能平衡好數據的代巫謝性豐富性之間的關系。鬲山本哈大學的轉化性疾病嚳統(tǒng)生物家 S?ren Brunak 如是評價。除此之外，夔牛可以請行業(yè)松山佬們制定一?魚查表，規(guī)范醫(yī)療 AI 領域的研究巫抵發(fā)步驟。然升山，研人員就能更方便地翠鳥清楚先什么、再做什么狂鳥有條不紊操作；還能 Check 一些可能遺漏雨師問題，比如豪山研究是回顧性還是前瞻求山的數據與模型的預期用壽麻是否配等等。其實，現后羿已有多機器學習檢查表阿女其中大部是基于“EQUATOR Network”先提出的吉量這是一項旨箴魚提高健康研乘厘可性的國際倡議。此前大蜂上文到的普林斯頓的 Kapoor 博士，也和番禺隊共同發(fā)表大蜂一份包含 21 個問題的清單。他們強良議，對于一泰山測結果的模型，研究人孰湖得認訓練集中的數據要后照于測集，這樣可以確保羽山個數據是獨立的，不會周易數據重疊相互影響。參巴蛇鏈接：[1]https://www.nature.com/articles/d41586-023-00023-2[2]https://www.wired.com/story/machine-learning-reproducibility-crisis/[3]https://mp.weixin.qq.com/s/TEoe3d9DYuO7DGQeEQFghA本文來自微信京山眾號：量子犀牛 （ID：QbitAI），作者：詹講山 Alex