造出中國第一臺臨床應(yīng)用智能顯微鏡 解讀騰訊醫(yī)療AI背后的專利
搭載“騰訊覓影”AI醫(yī)學影像和騰訊云技術(shù)的人工智能CT設(shè)備,只需數(shù)秒即可助力醫(yī)生識別新冠肺炎;和鐘南山團隊組建聯(lián)合實驗室,攻堅流行病防控AI;向世衛(wèi)組織捐1000萬美元,全球開源新冠肺炎AI自查助手;騰訊 AI Lab 聯(lián)合舜宇光學科技、第三方醫(yī)學檢驗機構(gòu)金域醫(yī)學(603882,股吧),三方研發(fā)的智能顯微鏡獲得國家藥品監(jiān)督管理局(NMPA)注冊證,成為國內(nèi)首個獲準進入臨床應(yīng)用的智能顯微鏡產(chǎn)品……在科技抗疫的道路上,騰訊的醫(yī)療AI發(fā)揮了巨大作用。
2020年4月26日是第二十個“世界知識產(chǎn)權(quán)日”。今年世界知識產(chǎn)權(quán)組織發(fā)布的知識產(chǎn)權(quán)日主題是“為綠色未來而創(chuàng)新”,全國開展的知識產(chǎn)權(quán)宣傳活動周確定的主題為“知識產(chǎn)權(quán)與健康中國”。
作為一家堅持科技創(chuàng)新的互聯(lián)網(wǎng)公司,騰訊一直重視知識產(chǎn)權(quán)保護,建立知識產(chǎn)權(quán)保護體系,鼓勵科技創(chuàng)新。截止2020年3月底,騰訊在全球主要國家和地區(qū)專利申請公開數(shù)量超過3.7萬件,授權(quán)專利超1.4萬件,專利申請量在國內(nèi)互聯(lián)網(wǎng)公司中排名第一,在全球互聯(lián)網(wǎng)公司中排名第二。
騰訊最早涉足AI醫(yī)療領(lǐng)域的是微信智慧醫(yī)院,2016年,騰訊申請了醫(yī)療掛號系統(tǒng)相關(guān)的專利,應(yīng)用于自主研發(fā)的醫(yī)療掛號平臺。2017年8月,騰訊推出首款將人工智能技術(shù)運用到醫(yī)療領(lǐng)域的產(chǎn)品——“騰訊覓影”。騰訊在醫(yī)療AI領(lǐng)域的專利申請量迅速增長,截至目前,騰訊在醫(yī)療AI領(lǐng)域布局的專利已經(jīng)多達300余件,主要分布于醫(yī)療輔診、病案管理、藥品管理、風險監(jiān)控及醫(yī)療影像等多個方向,其中以醫(yī)療影像最為核心,例如落地覓影產(chǎn)品糖網(wǎng)病變、肺癌、食管癌、結(jié)直腸癌及乳腺等疾病早篩方向。
利用醫(yī)療AI“科技抗疫”
2月21日,搭載著騰訊AI醫(yī)學影像和騰訊云技術(shù)的人工智能CT設(shè)備在湖北方艙醫(yī)院成功部署。通過這套設(shè)備,AI算法只需數(shù)秒即可助力醫(yī)生識別新冠肺炎,大大緩解了當?shù)谻T篩查能力不足的壓力。
按照一次胸部CT產(chǎn)生300張影像計算,醫(yī)生肉眼閱片將耗費5-15分鐘。而AI與人工協(xié)作的方式,由AI技術(shù)分割出可能的病灶圖像區(qū)域,提示醫(yī)生重點查看(如下圖),將大幅提升檢查效率,減輕醫(yī)生工作量,并讓患者得到更及時的治療。
(AI對CT圖像進行自動分割:綠色圈是肺部,藍色圈是新冠肺炎病灶)
傳統(tǒng)的CT重建方法通常需要上百張覆蓋病人全身的X光投影,這在一般的X光片采集設(shè)備上是難以實現(xiàn)的。騰訊利用一種正交X光重建CT的專利技術(shù),僅利用兩張正交的X光片重建出完整的三維CT。對于缺乏CT掃描設(shè)備的地區(qū),這種方法提供了一種利用低成本的X光片采集設(shè)備獲得人體內(nèi)部三維信息的可能。
對于肺炎監(jiān)測,騰訊還有一項醫(yī)學影像檢測相關(guān)的發(fā)明專利申請,可以獲取待檢測對象的醫(yī)學影像和病理文本信息,然后對醫(yī)學影像進行病理類型預(yù)測,得到預(yù)測信息,以及通過訓練后多層感知器對病理文本信息進行識別,得到參考信息,再然后將預(yù)測信息和參考信息進行融合,得到預(yù)測結(jié)果,在預(yù)測結(jié)果指示所述醫(yī)學影像為目標病理類型時,從所述醫(yī)學影像中檢測符合所述目標病理類型的區(qū)域,得到檢測結(jié)果。該方案可以提高分類和定位的準確性,提高檢測結(jié)果的可靠性。
此外,對于病案管理,騰訊提出了一種醫(yī)療檢驗報告解讀實現(xiàn)方案,通過建立檢驗單信息知識庫、光學字符識別(OCR)及知識庫匹配和輸出結(jié)果過濾,實現(xiàn)對紙質(zhì)醫(yī)療檢驗報告的自動解讀。通過構(gòu)建檢驗指標分類系統(tǒng),將檢驗單類型及其標準檢驗項建立關(guān)聯(lián)關(guān)系,保證了識別結(jié)果的正確性;通過建立檢驗項同義詞次庫,解決同一檢驗項在不同醫(yī)院的檢驗單中表述差異問題,同時只需要豐富同義詞,就可以識別出所有檢驗項,提高了識別結(jié)果的召回率;通過與知識庫中檢驗項進行最長子串匹配并將同一檢驗項的中英文表述合并,解決檢驗項表述中的包含關(guān)系檢驗項識別錯誤問題和識別結(jié)果重復(fù)問題;通過輸出結(jié)果過濾算法,提高了檢驗項識別結(jié)果的準確率。
4月3日,騰訊決定向世衛(wèi)組織的COVID-19團結(jié)應(yīng)急基金捐款1000萬美元,并與之達成共同推動以數(shù)字醫(yī)療解決方案助力全球抗疫的協(xié)議。同時,騰訊向全球開源“新冠肺炎AI自查助手”,這是一個能幫助全球民眾自查新冠肺炎感染風險,并給出防范指引的AI。它的特長是把專業(yè)的醫(yī)學指南,轉(zhuǎn)換成通俗易懂操作簡單的對話,幫助民眾正確抗疫。
從專利到應(yīng)用 騰訊醫(yī)療AI助力疾病篩查與診斷
從醫(yī)療方向來看,騰訊醫(yī)療AI專利涉及的方向主要包括乳腺腫瘤、眼底病變、結(jié)直腸腫瘤、肺結(jié)節(jié)與肺癌、腦腫瘤、宮頸癌、肝癌等疾病篩查與診斷等。
比如騰訊提出的一種檢測生物組織圖像中腫塊的專利技術(shù),利用深度神經(jīng)網(wǎng)絡(luò)進行疑似惡性腫塊判定,使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了乳腺高精度分型,根據(jù)乳腺分型結(jié)果分別設(shè)定腫塊探測的分類閾值。判定的閾值由乳腺分型情況決定,而乳腺分型由額外的神經(jīng)網(wǎng)絡(luò)得到,不僅提高了系統(tǒng)的自動化程度,也有效地提高疑似惡性腫塊的識別精度??蓱?yīng)用于醫(yī)療乳腺癌早期篩選,大幅提高了疑似惡性腫塊探測的準確性。
病理切片是病理醫(yī)生進行診斷的核心依據(jù)。由于制片染色流程以及病理掃描儀的不同,數(shù)字病理圖像的色彩存在非常顯著的差異。因此,幾乎所有數(shù)字病理相關(guān)的分析之前都需要進行色彩歸一化。騰訊提出了一種高性能的對數(shù)字病理圖像進行色彩歸一化的方法,實現(xiàn)了任意病理圖像的色彩歸一化,與其他色彩歸一化方法相比,性能最優(yōu),泛化能力極強。
除了在醫(yī)療專利上廣泛布局,騰訊的研究成果也在真實的臨床研究和應(yīng)用探索中。目前,騰訊推出的“騰訊覓影”產(chǎn)品已能利用AI醫(yī)學影像分析輔助臨床醫(yī)生篩查早期肺癌、眼底病變、結(jié)直腸腫瘤、宮頸癌、乳腺腫瘤等疾病,以及利用AI輔診引擎輔助醫(yī)生對700多種疾病風險進行識別和預(yù)測。
結(jié)合人工智能和腦科學的最新研究成果,騰訊此前還推出了帕金森病運動功能智能評估系統(tǒng)。在中國,帕金森病患者人數(shù)將近300萬,隨著人口老齡化加重,該現(xiàn)象已從醫(yī)學問題演變?yōu)楦鼑乐氐纳鐣栴}。騰訊醫(yī)療AI實驗室推出的帕金森病運動功能智能評估系統(tǒng),在患者不穿戴任何傳感器的情況下,僅通過普通智能手機攝像頭拍攝,就能完成帕金森病的運動功能日常評估,全程只需3分鐘,診斷速度相比傳統(tǒng)評估方式提升10倍。
在2019年10月召開的國際頂級人工智能醫(yī)學影像學術(shù)會議MICCAI 2019,騰訊AI有8篇論文被大會收錄,是參會機構(gòu)里收錄稿量最高的中國企業(yè)。入選的8篇論文分別來自騰訊AI Lab與騰訊優(yōu)圖實驗室,他們各入選了4篇論文,涉及病理癌癥圖像分類、醫(yī)學影像分割、CT病灶檢測、機器學習等范疇。

