TWI701680B - 分析醫學影像之方法及系統 - Google Patents
分析醫學影像之方法及系統 Download PDFInfo
- Publication number
- TWI701680B TWI701680B TW108129475A TW108129475A TWI701680B TW I701680 B TWI701680 B TW I701680B TW 108129475 A TW108129475 A TW 108129475A TW 108129475 A TW108129475 A TW 108129475A TW I701680 B TWI701680 B TW I701680B
- Authority
- TW
- Taiwan
- Prior art keywords
- medical image
- module
- training
- item
- patent application
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims description 52
- 230000003902 lesion Effects 0.000 claims description 15
- 238000002601 radiography Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 210000001624 hip Anatomy 0.000 claims description 10
- 238000003745 diagnosis Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000011161 development Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000001575 pathological effect Effects 0.000 claims description 2
- 210000004197 pelvis Anatomy 0.000 claims description 2
- 210000002436 femur neck Anatomy 0.000 claims 2
- 206010020100 Hip fracture Diseases 0.000 description 23
- 206010017076 Fracture Diseases 0.000 description 20
- 208000010392 Bone Fractures Diseases 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 208000014674 injury Diseases 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000008733 trauma Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- NMARPFMJVCXSAV-UHFFFAOYSA-N 5-[(3,5-diethoxy-4-pyrrol-1-ylphenyl)methyl]pyrimidine-2,4-diamine Chemical compound C=1C(OCC)=C(N2C=CC=C2)C(OCC)=CC=1CC1=CN=C(N)N=C1N NMARPFMJVCXSAV-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007469 bone scintigraphy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000546 chi-square test Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000020089 femoral neck fracture Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Veterinary Medicine (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Pulmonology (AREA)
- Surgery (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Processing (AREA)
Abstract
本發明尋求提供一種分析醫學影像的方法，所述方法包含接收一醫學影像、應用儲存在一記憶體中的一模組、基於所述模組分析所述醫學影像、判斷所述醫學影像骨折之存在以及傳送所述判斷的一指示。
Description
相關申請案之交互參照
本申請案主張於2018年8月19日提出之美國專利申請案號US 62/719,664之效益，其全部內容藉由引用併入本文。
本發明關於分析影像；具體而言，本發明關於分析醫學影像。
髖部骨折(hip fractures)的人數及手術後結果為全世界重大的公共健康議題。由於人類壽命的延長及老年人口的增加，髖部骨折的人數持續上升。大約20-30%髖部骨折患者在一年內遭遇生命威脅的情況，且多數的患者有明顯的失能。因為髖部位的負重本質，具有臨床上「無症狀的(silent)」骨折的患者迅速地產生嚴重的疼痛且無法移動。早期偵測及手術對患者的存活及髖部功能的保存相當重要。髖部骨折的延遲管理導致不良的預後(prognosis)且甚至是增加數年後死亡的風險。因此，盡快偵測髖部骨折為遠離死亡及醫療成效的關鍵。
額骨盆放射線顯影(Frontal pelvic radiographs，PXRs)為影像評估髖部骨折主要且廣泛使用的工具。然而，使用額骨盆放射線顯影評估髖部骨折並不是最合適的(optimal)。研究顯示合格的醫療專業人員的誤診高達7-14%。誤
診延誤正確的診斷及治療，使髖部骨折的預後惡化。為了避免因延誤診斷導致進一步的健康後遺症及醫療成本，建議使用額外的放射線攝影，亦即核子醫學骨骼掃描(nuclear medicine bone scans)、電腦斷層掃描(CT)、核磁共振造影(MRI)掃描作為例行診斷工具。然而，使用這些診斷工具作為例行檢查並不是有效(effective)、高效(efficient)或符合經濟的方法。
基於深度學習之電腦分析醫學影像已顯示出做為診斷策略的潛在效益且目前變得可行。對於偵測髖部骨折之深度迴旋神經網路(deep convolutional neural networks，DCNNs)的應用尚未完全被評估。
有需要改善使用醫學影像診斷骨折的準確度。本發明解決此需求以及其他需求。
據此，本發明提出經改善之分析醫學影像的方法。
本發明的一實施例提供一種分析醫學影像的方法，所述方法包含接收一醫學影像；應用儲存在一記憶體中的一模組；基於所述模組分析所述醫學影像；判斷所述醫學影像骨折之存在的；以及傳送所述判斷的一指示。
在一個實施例中，應用一模組包含從資料集接收訓練資料、訓練資料包含複數個訓練影像、每一個訓練影像包含診斷資料；使用訓練資料開發模組；以及將所述模組儲存在記憶體中。
在一個實施例中，所述方法進一步包含辨識訓練影像之一部分，其中所述部分包含診斷資料；以及使用訓練資料及經辨識的部分開發模組。
在一個實施例中，本文所揭露之分析醫學影像的方法係基於包含擴變(augmenting)醫學影像的模組。
在一個實施例中，擴變醫學影像包含變焦醫學影像(zooming)、水平地翻轉醫學影像、垂直地翻轉醫學影像或旋轉醫學影像中的至少其一。
在一個實施例中，開發模組包含使用機器學習技術(machine learning technique)或深度神經網路學習技術(deep neural network learning technique)。
在一個實施例中，所述方法進一步包含辨識病灶位置(lesion site)。
在一個實施例中，所述方法進一步包含產生熱圖(heatmap)以辨識病灶位置。
在一個實施例中，所述指示包含熱圖。
在一個實施例中，骨折的存在包含在髖部(hip)區域骨折。
本發明的一實施例提供一種分析醫學影像的系統，所述系統包含用於接收醫學影像的掃描器；處理器，所述處理器被配置以：應用模組；基於所述模組分析醫學影像；以及判斷醫學影像骨折之存在；以及用於顯示所述判斷之顯示器。在一例示性實施例中，醫學影像為原始像素(raw pixel)影像。在另一例示性實施例中，醫學影像不是經裁切的影像(cropped image)。
在一個實施例中，處理器被配置以應用一模組，其包含：從資料集接收訓練資料，訓練資料包含複數個訓練影像，每一個訓練影像包含診斷資料；使用訓練資料開發模組；以及將模組儲存在一記憶體中。
在一個實施例中，處理器被配置以擷取(retrieve)模組，其進一步包含：辨識每一個訓練影像的一部分；以及使用訓練資料及經辨識的部分開發模組。
在一個實施例中，處理器被配置以模組分析醫學影像，其包含擴變醫學影像。
在一個實施例中，擴變醫學影像包含變焦醫學影像、水平地翻轉醫學影像、垂直地翻轉醫學影像或旋轉醫學影像中的至少其一。
在一個實施例中，開發模組包含使用機器學習技術或深度神經網路學習技術。
在一個實施例中，處理器進一步被配置以辨識病灶位置。
在一個實施例中，處理器係進一步被配置以產生熱圖，以辨識病灶位置。
在一個實施例中，指示為熱圖。
在一個實施例中，骨折為在髖部或骨盆區域骨折，以及醫學影像為額骨盆放射線顯影(PXR)。
本發明的一實施例提供一種使用影像分析之自動分析骨盆放射線顯影的模組，所述影像分析使用先前分析轉移學習程序之放射線顯影，所述模組包含：從已建立的資料集接收訓練資訊，所述訓練資訊包含具有正常及異常診斷的複數個放射線顯影；判斷包含診斷資訊之複數個放射線顯影的的一部分；使用訓練資訊及複數個放射線顯影的每一個的經判斷之部分進行深度神經網路學習以開發模組；判斷放射線顯影之骨折的存在或不存在的部分；以及應用熱圖定位病理位置。
本發明由下列申請專利範圍界定，且在此段落中不應視為對那些申請專利範圍的限制。本發明進一步的態樣及優點在下文中結合較佳實施例討論，且可隨後獨立地或以組合請求。
100:系統
110:掃描器
120:處理器
130:顯示器
200、210、220、230、240:步驟
第1圖為分析醫學影像之系統的實施例的示意圖。
第2圖為分析醫學影像之方法的實施例的流程圖。
第3圖為組合的影像，其中影像a、c及e為具有箭頭指出骨折的原始骨盆放射線顯影；以及影像b、d及f為根據本發明之實施例分別對應於影像a、c及e產生的Grad-CAM影像。
第4圖為組合的影像，其中影像A、C及E為原始骨盆放射線顯影；以及影像B、D及F為根據本發明之實施例分別對應於影像A、C及E產生的Grad-CAM影像。
本發明的一實施例參照第1圖描述。
提供分析醫學影像的系統100。系統100包含用於接收醫學影像的掃描器110。掃描器可為X-射線(放射線顯影)、核磁共振造影(MRI)或電腦斷層(CT)掃描器。醫學影像可為患者之區域(如患者的上/下半身)或患者之特定部位的X-射線、CT或MRI影像。所述系統進一步包含處理器120，所述處理器120用於(a)分析醫學影像、(b)判斷醫學影像是否包含骨折的存在，以及(c)基於步驟(b)的判斷傳送指示至顯示器130以視覺方式呈現所述指示。處理器可為微處理器或如
場域可程式閘陣列(field-programmable gate array，FPGA)或其他合適之可程式處理單元的處理單元。顯示器130可為電腦或智慧型手機的螢幕、發光二極體(LED)光指示器或任何其他能夠可視地呈現指示之合適的顯示器。
參照第2圖，操作時處理器120在步驟200接收醫學影像。醫學影像可為如X-射線、MRI或CT掃描的放射線顯影。在步驟210，處理器120應用儲存在記憶體中的模組。記憶體可為處理器120的儲存器或在系統100外部且與其通訊的儲存器。模組可為疊代學習模組(iteratively learning model)或從預學習程序產生的模組。系統在步驟220基於模組分析醫學影像，並在步驟230判斷醫學影像是否包含骨折的存在。在步驟240，處理器120傳送所述判斷的指示。
有利的是，本發明提供具有應用模組的處理器來分析醫學影像的方法，使得醫學影像被更快速及準確地分析。在例示性實施例中，影像為500x500像素至3000x3000像素、小於或大約3000x3000像素、小於或大約2000x2000像素、小於或大約1500x1500像素、小於或大約1200x1200像素、小於或大約1000x1000像素、小於或大約900x900像素、小於或大約800x800像素、小於或大約700x700像素、小於或大約600x600像素或小於或大約512x512像素。
在一個實施例中，應用模組包含從資料集接收訓練資料，訓練資料包含複數個訓練影像，每一個訓練影像包含診斷資料；使用訓練資料開發一模組；以及在一記憶體中儲存此模組。此允許模組被開發且基於所述模組使分析更準確。所述模組可經進一步的資料集定期更新。
在一個實施例中，辨識每一個訓練影像的一部分，其中所述部分包含診斷資料；及使用訓練資料及經辨識的部分開發模組。所述部分可以是疑似病灶位置。
在一個實施例中，基於模組分析醫學影像包含擴變醫學影像。這允許醫學影像更清晰或允許分析更簡單及/或有效。擴變醫學影像可包含變焦醫學影像變焦、水平地翻轉醫學影像水平地翻轉、垂直地翻轉醫學影像或旋轉醫學影像中的至少其一。
在一個實施例中，開發模組包含使用機器學習技術或深度神經網路學習技術。這允許模組被有效地開發，且模組可使用不同的技術最佳化。應理解的是任何機器學習技術可與合適的電腦硬體使用。
在一個實施例中，所述方法進一步包含辨識病灶位置。這允許更有效的辨識病灶位置。有利地，這允許醫學從業人員(medical practitioner)對潛在問題或病理分類。所述方法可進一步包含產生熱圖，以辨識病灶位置，因而提供潛在問題更清晰的圖像。
在一個實施例中，所述指示包含熱圖。這允許以機率性的(probabilities)熱圖輕易地顯示潛在問題。
在一個實施例中，骨折的存在包含在髖部區域中的骨折。下文中將描述使用深度學習演算法(deep learning algorithm)用於在額骨盆放射線顯影(PXR)中分析髖部骨折之本發明特定實施例。
在此實施例中，基於DCNN訓練骨折診斷演算法所分析之PXR，與合格的醫療專業人員分析表現比較。亦藉由使用Grad-CAM將病灶可視化，對此演算法的有效性進行調查。
人口資料(demographic data)、醫療資料、手術週期(perioperative)程序、醫院程序、醫學影像發現、追蹤資料及關於併發症的資訊預先記錄在電腦化的資料庫中。
於2012-2016年創傷登錄資料(Trauma Registry)中被辨識出(identified)在受傷日(date of injury)進行PXR的醫院住院患者作為PXR數據集。PXR以Python指令被自動地儲存於醫療影像儲傳系統(picture archiving and communication system，PACS)檢視器。。經儲存之影像的尺寸從2,128x2,248像素至2,688x2,688像素變化，且顏色為8位元灰度(bit grayscale)。
從2017年創傷登錄資料辨識進行PXR的另外百名患者，作為驗證組(Validation Set)。25例患者具有股骨頸骨折、25例患者具有轉子間(intertrochanteric)骨折以及50例患者沒有髖部骨折。在受傷日進行的PXR為獨立測試資料集。
建立PXR資料集後，根據在創傷登錄資料中的診斷，影像被初步標記為髖部骨折或無髖部骨折。若標記可疑，則復審(reviewed)放射線科醫師的報告、診斷、臨床病程及其他如CT或其他髖部關節的影像之相關的影像。
DCNN用於電腦視覺及醫學影像識別。基本概念為在各層上使用來自數位影像的像素值作為使用如卷積(convolution)及匯集(pooling)之技術的輸入，並根據輸出及真實標記之間的差異調整在神經網路中的權數(weight)。在大量的影像輸入被用作為訓練材料之後，調整在神經網路中的權重以解決問題。使用DenseNet-121作為神經網路的結構。所述結構含有具有在稠密塊(dense block)中設計有跳躍連結(skip connection)的稠密塊。輸入影像重調尺寸(resized)至具有8位元灰度色彩的512x512像素以減少複雜度及計算。多數研究使用
ImageNet作為對「轉移學習(transfer learning)」的預訓練材料。在此實例中使用四肢(limb)資料集作為預訓練材料。所述模組被初始訓練，以在四肢中的每一個放射線顯影中識別身體部位。四肢資料集的90%經隨機選擇以用於訓練，且四肢資料集的10%用於驗證。DCNN的預訓練權重保留於PXR訓練。PXR資料集被分隔成(separated)80%用於訓練且20%用於驗證。在訓練過程期間，應用具有變焦10%(從1-25%或5-20%的範圍)、水平翻轉、垂直翻轉及旋轉10度(從1至30度或5至25度的範圍)的影像擴變。批量尺寸(batch size)為8並使用Adam最佳化器。初始學習速率為10-3，且具有在平台區(plateau)上降低的學習速率。最終模組在上述超參數(hyperparameters)下以60波(epochs)進行訓練。
經訓練的髖部模組以驗證組測試以評估其判斷髖部骨折的準確度。由髖部骨折之模組產生的機率以接收者操作特徵(receiver operating characteristic，ROC)曲線及曲線下面積(AUC)評估。亦使用髖部骨折機率0.5之臨界值計算混淆矩陣(confusion matrix)。對於那些PXR模組預測骨折，也使用Grad-CAM以產生對髖部骨折有反應(activated)之模組的熱圖，以提供模組確實識別骨折位置的證據。熱圖亦由放射科醫師復審，與原始影像上之骨折位置比較，以評估定位的能力。招募來自外科、骨科、急診及放射科的專家以評估各專科醫生在解釋PXR的準確性。
用於建置DCNN的軟體係基於具有TensorFlow 1.5.1的Ubuntu 14.04操作系統以及具有Python 3.6.5(Python Software Foundation)的Keras 2.1.4開源程式庫(open-source library)。訓練過程以具有GeForce® GTX 1080 Ti GPU的Intel® CoreTM i7-7740X CPU 4.30GHz進行。所有統計分析使用具有「pROC」、「epiR」、「Publish」及「ggplot2」的擴充軟體包的R 3.4.3進行。連續變數使用
史徒登氏t-試驗(Student’s t-test)評估，以及類別變項(categorical variables)使用卡方檢定(chi-square test)評估。髖部模組及專家之間必較，以敏感性、特異性、偽陰性率(false-negative rate)、偽陽性率(false-positive rate)以及F1分數進行比較，並計算95%信賴區間(CI)。ROC曲線及AUC用於評估模組的表現。
取得3605PXR來建置模組。
將髖部模組應用至PXR資料集的其中之一之後，模組的準確度、敏感性、特異性、偽陰性率及F1分數分別為91%(n=100；95% CI，84%-96%)、98%(95% CI，89%-100%)、84%(95% CI，71%-93%)、2%(95% CI，0.3%-17%)以及0.916(95% CI，0.845-0.956)。總共有21位醫療專家完成問卷。初級醫師(除了放射學家及骨科醫師)的敏感性之範圍為84%至100%(平均，95.6%；95% CI，93.6%-97.6%)且特異性範圍從46%至94%(平均，82.2%；95% CI，76.2%-88.3%)。包含兩位放射學家及四位骨科醫師的專家完成問卷，並達到99.3%(95% CI，98.2%-100%)的平均敏感性及87.7%(95% CI，81.5%-93.8%)的特異性。模組達到0.98(95% CI，0.96-1.00)的AUC。
分析熱圖影像之後，模組預測髖部骨折的存在以及不存在。如第3圖所示，僅有兩個影像被辨識出錯誤的反應部位，且95.9%的反應區位於髖部骨折的位置。如第4圖所示，模組在熱圖影像不存在的情況下，沒有在正常PXR中辨識出髖部骨折位置。
這些結果指出DCNN可被訓練以在影像資料集中以高敏感性(98%)及高準確性(91%)的識別髖部骨折。
在PXR上的髖部骨折的偵測及診斷能夠藉由輸入完整尺寸(whole scale)的放射線顯影至DCNN進行，而不需先識別特定部位。深度學習演算法亦達到與放射科醫師及骨科醫師的準確度相當的準確程度。
本發明的步驟不需要過度處理、病灶分段或特定區之可視骨折的擷取。本發明的系統需要有限的手動特徵，且直接從影像標記及原始像素進行端對端(end-to-end)的訓練。
在用於分析醫學影像之DCNN中的一個悖論(paradox)為「黑盒子(black box)」機制。多數評估醫學影像的深層學習工作使用經裁切的影像以避免「黑盒子」機制，並增強最終驗證的準確性。當目標被裁切至包含用於識別之必要特徵時，DCNN將更輕易且快速地偵測病灶。在此研究中，整個原始影像的矩陣大小減少至512x512像素而取代裁切影像。
輸入完整的PXR為較佳，因為此方法與臨床途徑整體化、更直觀(instinctual)且醫生對其更熟悉。尺寸的減少也降低了電腦需求，並縮短訓練時間並達到可接受結果的。此外，基於所述方法，此演算法係應用至在PXR中的其他類型的骨折。
200、210、220、230、240:步驟
Claims (15)
- 一種分析醫學影像的方法，其包含：接收一醫學影像；應用儲存在一記憶體中的一模組；基於該模組分析該醫學影像；判斷包含骨折之存在的該醫學影像；以及傳送指示該判斷的一指示；其中應用該模組包含：從一資料集接收一訓練資料(training data)，該訓練資料包含複數個訓練影像，該複數個訓練影像的每一個包含一診斷資料；使用該訓練資料開發該模組；以及將該模組儲存於該記憶體中；其中基於該模組分析該醫學影像包含擴變(augmenting)該醫學影像，該擴變為下列至少之一：變焦(zooming)該醫學影像；水平地翻轉該醫學影像；垂直地翻轉該醫學影像；或旋轉該醫學影像。
- 如申請專利範圍第1項所述之方法，其進一步包含：辨識該複數個訓練影像的每一個的一部分，其中該部分包含該診斷資料；以及 使用該訓練資料及經辨識的該部分開發該模組。
- 如申請專利範圍第1項所述之方法，其中開發該模組包含使用機器學習技術(machine learning technique)或深度神經網路學習技術(deep neural network learning technique)。
- 如申請專利範圍第1項所述之方法，其進一步包含辨識一病灶位置(lesion site)。
- 如申請專利範圍第1項所述之方法，其中骨折的存在包含在髖部(hip)或骨盆(pelvic)區域骨折。
- 如申請專利範圍第5項所述之方法，其中該醫學影像為額骨盆(frontal pelvic)放射線顯影，且該醫學影像為500x500像素至3000x3000像素之原始像素醫學影像。
- 如申請專利範圍第5項所述之方法，其中基於該模組分析該醫學影像不需要在該醫學影像中的股骨頸(femoral neck)辨識。
- 一種分析醫學影像的系統，其包含：一掃描器，用於接收一醫學影像；一處理器，被配置以：應用一模組；基於該模組分析該醫學影像；以及判斷包含骨折之存在的該醫學影像；以及一顯示器，用於顯示指示該判斷的一指示；其中該處理器被配置以應用該模組，其包含： 從一資料集接收一訓練資料，該訓練資料包含複數個訓練影像，該複數個訓練影像的每一個包含一診斷資料；使用該訓練資料開發該模組；以及將該模組儲存於一記憶體中；其中該處理器被配置以基於該模組分析該醫學影像，其包含擴變該醫學影像，該擴變為下列至少之一：變焦該醫學影像；水平地翻轉該醫學影像；垂直地翻轉該醫學影像；或旋轉該醫學影像。
- 如申請專利範圍第8項所述之系統，其中該處理器被配置以擷取(retrieve)該模組，其進一步包含：辨識該複數個訓練影像的每一個的一部分；以及使用該訓練資料及經辨識的該部分開發該模組。
- 如申請專利範圍第8項所述之系統，其中開發該模組包含使用機器學習技術或深度神經網路學習技術。
- 如申請專利範圍第8項所述之系統，其中該處理器係進一步被配置以辨識一病灶位置。
- 如申請專利範圍第8項所述之系統，其中骨折的存在包含在髖部或骨盆區域骨折。
- 如申請專利範圍第12項所述之系統，其中該醫學影像為額骨盆放射線顯影，且該醫學影像為500x500像素至3000x3000 像素之原始像素醫學影像。
- 如申請專利範圍第12項所述之系統，其中基於該模組分析該醫學影像不需要在該醫學影像中的股骨頸辨識。
- 一種使用影像分析用於自動分析骨盆放射線顯影的模組，該影像分析使用放射線顯影之經先前分析的轉移學習程序開發，該模組包含：從已建立的資料集接收訓練資訊，該訓練資訊包含具有正常及異常診斷的複數個放射線顯影；判斷包含診斷資訊之該複數個放射線顯影的每一個的一部分；使用該訓練資訊及該複數個放射線顯影的每一個的經判斷之部分進行深度神經網路學習，以開發一模組；判斷放射線顯影之骨折的存在或不存在的部分；以及應用熱圖定位病理位置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862719664P | 2018-08-19 | 2018-08-19 | |
| US62/719,664 | 2018-08-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202015070A TW202015070A (zh) | 2020-04-16 |
| TWI701680B true TWI701680B (zh) | 2020-08-11 |
Family
ID=67659331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108129475A TWI701680B (zh) | 2018-08-19 | 2019-08-19 | 分析醫學影像之方法及系統 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11080852B2 (zh) |
| EP (1) | EP3614337A1 (zh) |
| JP (1) | JP7336309B2 (zh) |
| SG (1) | SG10201907613PA (zh) |
| TW (1) | TWI701680B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329550A (zh) * | 2020-10-16 | 2021-02-05 | 中国科学院空间应用工程与技术中心 | 基于弱监督学习的受灾建筑快速定位评估方法及装置 |
| TWI758952B (zh) * | 2020-09-22 | 2022-03-21 | 網資科技股份有限公司 | 人工智慧輔助骨頭醫學影像判讀方法及其系統 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325745B (zh) * | 2020-03-09 | 2023-08-25 | 北京深睿博联科技有限责任公司 | 骨折区域分析方法和装置、电子设备及可读存储介质 |
| JP2022018415A (ja) * | 2020-07-15 | 2022-01-27 | キヤノンメディカルシステムズ株式会社 | 医用データ処理装置及び方法 |
| KR102672010B1 (ko) * | 2020-12-29 | 2024-06-04 | 고려대학교 산학협력단 | 인공지능을 이용한 안면부 골절 판독 장치 및 방법 |
| TWI810680B (zh) * | 2021-10-18 | 2023-08-01 | 長庚醫療財團法人林口長庚紀念醫院 | 前後骨盆放射影像分析方法及系統 |
| KR102672531B1 (ko) * | 2021-11-09 | 2024-06-07 | 주식회사 피앤씨솔루션 | 딥러닝 기반의 포즈 추정을 활용한 의료 영상에서의 척추 위치 자동 추정 방법 및 장치 |
| JP7418018B2 (ja) * | 2021-11-12 | 2024-01-19 | ｉＳｕｒｇｅｒｙ株式会社 | 診断支援装置、およびコンピュータプログラム |
| WO2023121510A1 (ru) * | 2021-12-20 | 2023-06-29 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Определение патологии органов грудной клетки на основе рентгеновских изображений |
| US20240112329A1 (en) * | 2022-10-04 | 2024-04-04 | HeHealth PTE Ltd. | Distinguishing a Disease State from a Non-Disease State in an Image |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108305248A (zh) * | 2018-01-17 | 2018-07-20 | 慧影医疗科技（北京）有限公司 | 一种骨折识别模型的构建方法及应用 |
| CN108309334A (zh) * | 2017-12-08 | 2018-07-24 | 李书纲 | 一种脊柱x线影像的数据处理方法 |
| CN108491770A (zh) * | 2018-03-08 | 2018-09-04 | 李书纲 | 一种基于骨折影像的数据处理方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1605824A2 (en) * | 2003-03-25 | 2005-12-21 | Imaging Therapeutics, Inc. | Methods for the compensation of imaging technique in the processing of radiographic images |
| WO2005083635A1 (en) * | 2004-02-27 | 2005-09-09 | National University Of Singapore | Method and system for detection of bone fractures |
| US8538117B2 (en) * | 2009-04-07 | 2013-09-17 | Virginia Commonwealth University | Accurate pelvic fracture detection for X-ray and CT images |
| EP2741674A4 (en) * | 2011-08-12 | 2015-04-08 | Jointvue Llc | DEVICE AND METHOD FOR 3-D ULTRASOUND IMAGING |
| US9480439B2 (en) * | 2012-11-01 | 2016-11-01 | Virginia Commonwealth University | Segmentation and fracture detection in CT images |
| US10758198B2 (en) * | 2014-02-25 | 2020-09-01 | DePuy Synthes Products, Inc. | Systems and methods for intra-operative image analysis |
| US10588589B2 (en) * | 2014-07-21 | 2020-03-17 | Zebra Medical Vision Ltd. | Systems and methods for prediction of osteoporotic fracture risk |
| CN104866727A (zh) * | 2015-06-02 | 2015-08-26 | 陈宽 | 基于深度学习对医疗数据进行分析的方法及其智能分析仪 |
| US10269114B2 (en) | 2015-06-12 | 2019-04-23 | International Business Machines Corporation | Methods and systems for automatically scoring diagnoses associated with clinical images |
| US10127659B2 (en) * | 2016-11-23 | 2018-11-13 | General Electric Company | Deep learning medical systems and methods for image acquisition |
-
2019
- 2019-08-19 TW TW108129475A patent/TWI701680B/zh active
- 2019-08-19 JP JP2019149904A patent/JP7336309B2/ja active Active
- 2019-08-19 EP EP19192393.7A patent/EP3614337A1/en not_active Withdrawn
- 2019-08-19 US US16/544,479 patent/US11080852B2/en active Active
- 2019-08-19 SG SG10201907613PA patent/SG10201907613PA/en unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108309334A (zh) * | 2017-12-08 | 2018-07-24 | 李书纲 | 一种脊柱x线影像的数据处理方法 |
| CN108305248A (zh) * | 2018-01-17 | 2018-07-20 | 慧影医疗科技（北京）有限公司 | 一种骨折识别模型的构建方法及应用 |
| CN108491770A (zh) * | 2018-03-08 | 2018-09-04 | 李书纲 | 一种基于骨折影像的数据处理方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI758952B (zh) * | 2020-09-22 | 2022-03-21 | 網資科技股份有限公司 | 人工智慧輔助骨頭醫學影像判讀方法及其系統 |
| CN112329550A (zh) * | 2020-10-16 | 2021-02-05 | 中国科学院空间应用工程与技术中心 | 基于弱监督学习的受灾建筑快速定位评估方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7336309B2 (ja) | 2023-08-31 |
| US20200058123A1 (en) | 2020-02-20 |
| EP3614337A1 (en) | 2020-02-26 |
| TW202015070A (zh) | 2020-04-16 |
| JP2020062378A (ja) | 2020-04-23 |
| SG10201907613PA (en) | 2020-03-30 |
| US11080852B2 (en) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI701680B (zh) | 分析醫學影像之方法及系統 | |
| Cheng et al. | Application of a deep learning algorithm for detection and visualization of hip fractures on plain pelvic radiographs | |
| Hsieh et al. | Automated bone mineral density prediction and fracture risk assessment using plain radiographs via deep learning | |
| Weikert et al. | Assessment of a deep learning algorithm for the detection of rib fractures on whole-body trauma computed tomography | |
| Murata et al. | Artificial intelligence for the detection of vertebral fractures on plain spinal radiography | |
| AU2018376561A1 (en) | Three-dimensional medical image analysis method and system for identification of vertebral fractures | |
| Sjogren et al. | Image segmentation and machine learning for detection of abdominal free fluid in focused assessment with sonography for trauma examinations: a pilot study | |
| US20230206435A1 (en) | Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate | |
| Dong et al. | Deep learning classification of spinal osteoporotic compression fractures on radiographs using an adaptation of the genant semiquantitative criteria | |
| Abubakar et al. | Evaluation of parameter fine-tuning with transfer learning for osteoporosis classification in knee radiograph | |
| TWI743969B (zh) | 偵測胸部及腰部脊椎骨折之系統及方法 | |
| Berbaum et al. | Does computer-aided diagnosis for lung tumors change satisfaction of search in chest radiography? | |
| US11872069B2 (en) | Method for providing fracture-detection tool | |
| Hussain et al. | Bone fracture detection—Can artificial intelligence replace doctors in orthopedic radiography analysis? | |
| Haworth et al. | A clinical decision rule to predict zygomatico-maxillary fractures | |
| Bhatnagar et al. | A Review on the Use of Artificial Intelligence in Fracture Detection | |
| ÖZİÇ et al. | Fully Automated Detection of Osteoporosis Stage on Panoramic Radiographs Using YOLOv5 Deep Learning Model and Designing a Graphical User Interface | |
| Mahajan et al. | Audit of artificial intelligence algorithms and its impact in relieving shortage of specialist doctors | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| Lee et al. | Comparison of gray-scale inversion to improve detection of pulmonary nodules on chest X-rays between radiologists and a deep convolutional neural network | |
| Chen et al. | Diagnostic performance for severity grading of hip osteoarthritis and osteonecrosis of femoral head on radiographs: Deep learning model vs. board-certified orthopaedic surgeons | |
| Lin et al. | Using transfer learning of convolutional neural network on neck radiographs to identify acute epiglottitis | |
| JP2021175454A (ja) | 医用画像処理装置、方法およびプログラム | |
| Velusamy et al. | Faster Region‐based Convolutional Neural Networks with You Only Look Once multi‐stage caries lesion from oral panoramic X‐ray images | |
| Kumar et al. | Leveraging Deep Learning for Accurate Detection and Precise Localization of Vertebral Fractures in Medical Imaging |