JP2022544229A - オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション - Google Patents
オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション Download PDFInfo
- Publication number
- JP2022544229A JP2022544229A JP2022508485A JP2022508485A JP2022544229A JP 2022544229 A JP2022544229 A JP 2022544229A JP 2022508485 A JP2022508485 A JP 2022508485A JP 2022508485 A JP2022508485 A JP 2022508485A JP 2022544229 A JP2022544229 A JP 2022544229A
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- contrast
- segmentation
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 259
- 238000001514 detection method Methods 0.000 title abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 124
- 238000003745 diagnosis Methods 0.000 claims abstract description 20
- 238000009792 diffusion process Methods 0.000 claims description 81
- 238000002059 diagnostic imaging Methods 0.000 claims description 75
- 238000003384 imaging method Methods 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 53
- 238000002591 computed tomography Methods 0.000 claims description 45
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 40
- 230000004807 localization Effects 0.000 claims description 36
- 210000003734 kidney Anatomy 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 28
- 238000002598 diffusion tensor imaging Methods 0.000 claims description 28
- 238000003062 neural network model Methods 0.000 claims description 28
- 238000002600 positron emission tomography Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000003325 tomography Methods 0.000 claims description 18
- 239000000700 radioactive tracer Substances 0.000 claims description 16
- 238000002604 ultrasonography Methods 0.000 claims description 16
- 229940079593 drug Drugs 0.000 claims description 11
- 239000003814 drug Substances 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000011282 treatment Methods 0.000 claims description 10
- 238000010521 absorption reaction Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 150000001875 compounds Chemical class 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 abstract description 30
- 238000013135 deep learning Methods 0.000 abstract description 20
- 238000013136 deep learning model Methods 0.000 abstract description 13
- 238000004393 prognosis Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 29
- 230000003902 lesion Effects 0.000 description 23
- 210000001519 tissue Anatomy 0.000 description 23
- 210000000056 organ Anatomy 0.000 description 21
- 238000005259 measurement Methods 0.000 description 20
- 206010028980 Neoplasm Diseases 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 17
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 210000004185 liver Anatomy 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000002790 cross-validation Methods 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000013434 data augmentation Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000031700 light absorption Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000000153 supplemental effect Effects 0.000 description 5
- 208000005777 Lupus Nephritis Diseases 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 238000002597 diffusion-weighted imaging Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000003064 k means clustering Methods 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001938 differential scanning calorimetry curve Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010051290 Central nervous system lesion Diseases 0.000 description 2
- 238000010171 animal model Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000001338 necrotic effect Effects 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000010989 Bland-Altman Methods 0.000 description 1
- 102000004506 Blood Proteins Human genes 0.000 description 1
- 108010017384 Blood Proteins Proteins 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 206010073069 Hepatic cancer Diseases 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- PIWKPBJCKXDKJR-UHFFFAOYSA-N Isoflurane Chemical compound FC(F)OC(Cl)C(F)(F)F PIWKPBJCKXDKJR-UHFFFAOYSA-N 0.000 description 1
- 208000008839 Kidney Neoplasms Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 206010052779 Transplant rejections Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000003176 fibrotic effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 229960002725 isoflurane Drugs 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003907 kidney function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 229920002521 macromolecule Polymers 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007102 metabolic function Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 208000030761 polycystic kidney disease Diseases 0.000 description 1
- 239000000941 radioactive substance Substances 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000008664 renal activity Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000009121 systemic therapy Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Geometry (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Nuclear Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
Description
本出願は、2019年8月14日に出願された米国仮特許出願第62/886,844号の優先権および利益を主張し、その内容は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
本開示は、医用画像の自動オブジェクトセグメンテーションのための技術を説明する。より具体的には、本開示の実施形態は、導出されたコントラスト機構に基づくオブジェクト検出によって位置特定された深層学習ネットワークを使用して医用画像内のオブジェクトをセグメント化するための技術を提供する。
II.定義
III.導出されたコントラスト機構
(A)MRI
腎臓のセグメンテーション:(i)オブジェクト検出のためのFA測定マップ(異方性比率によるコントラスト);(ii)オブジェクトセグメンテーションのためのMD測定マップ(平均拡散率によって生成されたコントラスト)またはT2強調解剖学的画像(励起後の信号緩和時間から生成されたコントラスト)。
多発性硬化症脳病変セグメンテーション:(i)オブジェクト検出のための単一エコーT2画像(励起後の信号緩和時間の単一ショットエコー平面イメージングから生成されたコントラスト);(ii)オブジェクトセグメンテーションのためのエコー強調またはT2強調解剖学的画像(励起後の信号緩和時間を強調するために使用される低いフリップ角、長いエコー時間、および長い繰り返し時間から生成されるコントラスト)。
肝臓のセグメンテーション:(i)オブジェクト検出のためのMD測定マップ(平均拡散率によって生成されたコントラスト)、および(ii)オブジェクトセグメンテーションのための高解像度MD測定マップ(高解像度および平均拡散率によって生成されたコントラスト)、T2強調解剖学的画像(励起後の信号緩和時間から生成されたコントラスト)またはPD(水濃度から生成されたコントラスト)。
(B)CT
肺および肝臓腫瘍のセグメンテーション:(i)肺または肝臓のオブジェクト検出のためのCTスキャン(低解像度)、および(ii)腫瘍のオブジェクトセグメンテーションのためのCTスキャン(HRCT)。
骨梁骨:(i)小柱腔(非皮質骨)のオブジェクト検出のためのCTスキャン(低解像度)、および(ii)小柱のオブジェクトセグメンテーションのためのCTスキャン(HRCT)。
(C)PET
腫瘍または器官の検出:(i)オブジェクト検出のためのPET高コントラスト/低解像度(放射性トレーサ測定値によって生成されたコントラスト)、および(ii)オブジェクトセグメンテーションのためのPET-CTまたはPET-MR高コントラスト/高解像度(放射性トレーサ測定値によって生成されたコントラスト)。
(D)光音響断層撮影(光超音波技術)
腫瘍または器官の検出:(i)オブジェクト検出のためのPAT(光吸収によって生成されたコントラスト)、および(ii)オブジェクトセグメンテーションのための超音波(トランスデューサと組織境界との間のエコー戻り距離から生成されたコントラスト)。
IV.医用画像をセグメント化するための技術
IV.A.例示的なコンピューティング環境
IV.B.モデル訓練のための例示的なデータ増強
IV.C.例示的な三次元深層ニューラルネットワーク
ここで、Nは画像の数であり、piは予測マスクを表し、qiは標的オブジェクトに対応するグラウンドトゥルースマスクを表す。
V.体積セグメンテーション技術
VI.実施例
VI.A.実施例1.-腎臓のセグメンテーション
VI.A.i.背景
VI.A.ii.動物モデルおよびデータ取得
VI.A.iii.段階1:EMによる位置特定
VI.A.iv.データ増強
VI.A.v.段階2:深層セマンティックセグメンテーション
VI.A.vi.超解像
VI.A.vii.結果
表1.DSC、VDおよびPPVを用いたセグメンテーション結果の平均および標準偏差。各方法の最良値を太字で示している。
VI.A.viii.考察および結論
VII.さらなる考察
Claims (81)
- 医用画像内のオブジェクトをセグメント化するための方法であって、
被験者の医用画像を取得することであって、前記医用画像が、第1の特性を有する第1の画像および第2の特性を有する第2の画像を含み、前記医用画像が、1つ以上の医用イメージングモダリティを使用して生成される、取得することと、
位置特定モデルを使用して、前記第1の画像内のオブジェクトを位置特定し、複数のオブジェクトクラスに分類することであって、前記分類することが、前記第1の画像の画素またはボクセルのセットを前記複数のオブジェクトクラスのうちの1つ以上に割り当てる、位置特定および分類することと、
前記位置特定モデルを使用して、前記複数のオブジェクトクラスのうちのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、前記第1の画像内の関心オブジェクトのための境界ボックスまたはセグメンテーションマスクを判定することと、
前記境界ボックスまたは前記セグメンテーションマスクを前記第2の画像上に転送して、前記関心オブジェクトを含む前記第2の画像の一部を画定することと、
前記第2の画像の前記一部を、重み付き損失関数を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力することと、
前記三次元ニューラルネットワークモデルを使用して、前記関心オブジェクトの周りの推定されたセグメンテーション境界を生成することと、
前記三次元ニューラルネットワークを使用して、前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部を出力することと、を含む、方法。 - 前記1つ以上の医用イメージングモダリティが、第1の医用イメージングモダリティと、前記第1の医用イメージングモダリティとは異なる第2の医用イメージングモダリティとを含み、前記第1の画像が、前記第1の医用イメージングモダリティから生成され、前記第2の画像が、前記第2の医用イメージングモダリティから生成される、請求項1に記載の方法。
- 前記1つ以上の医用イメージングモダリティが、第1の医用イメージングモダリティと、前記第1の医用イメージングモダリティと同じである第2の医用イメージングモダリティとを含み、前記第1の画像が、前記第1の医用イメージングモダリティから生成され、前記第2の画像が、前記第2の医用イメージングモダリティから生成される、請求項1に記載の方法。
- 前記第1の画像が第1の種類の画像であり、前記第2の画像が第2の種類の画像であり、前記第1の種類の画像が前記第2の種類の画像とは異なる、請求項1または2に記載の方法。
- 前記第1の画像が第1の種類の画像であり、前記第2の画像が第2の種類の画像であり、前記第1の種類の画像が前記第2の種類の画像と同じである、請求項1または3に記載の方法。
- 前記第1の特性が前記第2の特性とは異なる、請求項1~5のいずれか一項に記載の方法。
- 前記第1の特性が前記第2の特性と同じである、請求項1~5のいずれか一項に記載の方法。
- 前記第1の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、X線、超音波撮影、またはそれらの組み合わせであり、前記第2の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、X線、超音波撮影、またはそれらの組み合わせである、請求項2または3に記載の方法。
- 前記第1の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、X線画像、ソノグラフィ画像、またはそれらの組み合わせであり、前記第2の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、X線画像、ソノグラフィ画像、またはそれらの組み合わせである、請求項4または5に記載の方法。
- 前記第1の特性が、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、T1緩和時間コントラスト、T2緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせであり、前記第2の特性が、異方性比コントラスト、平均拡散性コントラスト、前記軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、T1緩和時間コントラスト、T2緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせである、請求項6または7に記載の方法。
- 前記1つ以上の医用イメージングモダリティが拡散テンソルイメージングであり、前記第1の画像が部分異方性(FA)マップであり、前記第2の画像が平均拡散性(MD)マップであり、前記第1の特性が異方性比コントラストであり、前記第2の特性が平均拡散性コントラストであり、前記関心オブジェクトが前記被験者の腎臓である、請求項1に記載の方法。
- 前記第1の画像内の前記オブジェクトを位置特定および分類することが、前記第1の画像の複数の画素またはボクセルに1つ以上のクラスタリングアルゴリズムを適用することを含む、請求項1~11のいずれか一項に記載の方法。
- 前記1つ以上のクラスタリングアルゴリズムが、前記複数のオブジェクトクラスに関連するクラスタに観測値を割り当てるk平均アルゴリズムを含む、請求項12に記載の方法。
- 前記1つ以上のクラスタリングアルゴリズムが、1つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含み、前記k平均アルゴリズムが、前記複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって前記期待値最大化アルゴリズムを初期化する、請求項13に記載の方法。
- 前記セグメンテーションマスクが判定され、前記セグメンテーションマスクを判定することが、
前記オブジェクトクラスに割り当てられた前記画素またはボクセルのセットを使用して、前記関心オブジェクトのシード位置を識別することと、
前記セグメンテーションマスクの深さを表すz軸に向かって前記シード位置を投影することによって前記シード位置を成長させることと、
投影された前記シード位置に基づいて前記セグメンテーションマスクを判定することと、を含む、請求項1~14のいずれか一項に記載の方法。 - 前記セグメンテーションマスクを判定することが、前記セグメンテーションマスクに対して形態学的閉鎖および充填を実行することをさらに含む、請求項15に記載の方法。
- 前記第2の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第2の画像の前記一部を生成するためにオブジェクトマスクにマージンを加えたものに基づいて前記第2の画像を切り取ることをさらに含む、請求項15または16に記載の方法。
- 前記第2の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第2の画像の前記一部の解像度を高めるために前記第2の画像を深層超解像ニューラルネットワークに入力することをさらに含む、請求項1~17のいずれか一項に記載の方法。
- 前記三次元ニューラルネットワークモデルが、訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記訓練データのセットが、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像と、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加の医用画像であって、前記複数の追加の医用画像が、前記複数の医用画像からの画像ヒストグラムを複数の参照マップからの画像ヒストグラムにマッチングさせることによって人工的に生成される、複数の追加の医用画像と、を含み、
前記複数のモデルパラメータが、前記重み付き損失関数を最小化することに基づいて前記訓練データのセットを使用して識別される、請求項1~18のいずれか一項に記載の方法。 - 前記重み付き損失関数が重み付きダイス損失関数である、請求項19に記載の方法。
- 前記三次元ニューラルネットワークモデルが、修正された3D U-Netモデルである、請求項1~20のいずれか一項に記載の方法。
- 前記修正された3D U-Netモデルが、総数で5,000,000個から12,000,000個の学習可能パラメータを含む、請求項21に記載の方法。
- 前記修正された3D U-Netモデルが、総数で800個から1,700個のカーネルを含む、請求項21または22に記載の方法。
- 前記関心オブジェクトの周囲の推定された境界に基づいて、前記関心オブジェクトのサイズ、表面積、および/または体積を判定することと、
(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を提供することと、
をさらに含む、請求項1~23のいずれか一項に記載の方法。 - ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積に基づいて、前記被験者の診断を判定することをさらに含む、請求項24に記載の方法。
- イメージングシステムを使用するユーザによって、前記被験者の前記医用画像を取得することであって、前記イメージングシステムが、前記1つ以上の医用イメージングモダリティを使用して前記医用画像を生成する、取得することと、
前記関心オブジェクトの周囲の前記推定されたセグメンテーション境界に基づいて、前記関心オブジェクトのサイズ、表面積、および/または体積を判定することと、
(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を提供することと、
前記ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を受信することと、
前記ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積に基づいて、前記被験者の診断を判定することと、
をさらに含む、請求項1~23のいずれか一項に記載の方法。 - 前記ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、(ii)前記関心オブジェクトのサイズ、表面積、および/もしくは体積、および/または(iii)前記被験者の診断に基づく化合物による処置を投与することをさらに含む、請求項25または26に記載の方法。
- 医用画像内のオブジェクトをセグメント化するためのシステムであって、
1つ以上のデータプロセッサと、
前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに、動作を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備え、前記動作が、
被験者の医用画像を取得することであって、前記医用画像が、第1の特性を有する第1の画像および第2の特性を有する第2の画像を含み、前記医用画像が、1つ以上の医用イメージングモダリティを使用して生成される、取得することと、
位置特定モデルを使用して、前記第1の画像内のオブジェクトを位置特定し、複数のオブジェクトクラスに分類することであって、前記分類することが、前記第1の画像の画素またはボクセルのセットを前記複数のオブジェクトクラスのうちの1つ以上に割り当てる、位置特定および分類することと、
前記位置特定モデルを使用して、前記複数のオブジェクトクラスのうちのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、前記第1の画像内の関心オブジェクトのための境界ボックスまたはセグメンテーションマスクを判定することと、
前記境界ボックスまたは前記セグメンテーションマスクを前記第2の画像上に転送して、前記関心オブジェクトを含む前記第2の画像の一部を画定することと、
前記第2の画像の前記一部を、重み付き損失関数を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力することと、
前記三次元ニューラルネットワークモデルを使用して、前記関心オブジェクトの周りの推定されたセグメンテーション境界を生成することと、
前記三次元ニューラルネットワークを使用して、前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部を出力することと、を含む、システム。 - 前記1つ以上の医用イメージングモダリティが、第1の医用イメージングモダリティと、前記第1の医用イメージングモダリティとは異なる第2の医用イメージングモダリティとを含み、前記第1の画像が、前記第1の医用イメージングモダリティから生成され、前記第2の画像が、前記第2の医用イメージングモダリティから生成される、請求項28に記載のシステム。
- 前記1つ以上の医用イメージングモダリティが、第1の医用イメージングモダリティと、前記第1の医用イメージングモダリティと同じである第2の医用イメージングモダリティとを含み、前記第1の画像が、前記第1の医用イメージングモダリティから生成され、前記第2の画像が、前記第2の医用イメージングモダリティから生成される、請求項28に記載のシステム。
- 前記第1の画像が第1の種類の画像であり、前記第2の画像が第2の種類の画像であり、前記第1の種類の画像が前記第2の種類の画像とは異なる、請求項28または29に記載のシステム。
- 前記第1の画像が第1の種類の画像であり、前記第2の画像が第2の種類の画像であり、前記第1の種類の画像が前記第2の種類の画像と同じである、請求項28または31に記載のシステム。
- 前記第1の特性が前記第2の特性とは異なる、請求項28~32のいずれか一項に記載のシステム。
- 前記第1の特性が前記第2の特性と同じである、請求項28~32のいずれか一項に記載のシステム。
- 前記第1の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、X線、超音波撮影、またはそれらの組み合わせであり、前記第2の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、X線、超音波撮影、またはそれらの組み合わせである、請求項29または30に記載のシステム。
- 前記第1の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、X線画像、ソノグラフィ画像、またはそれらの組み合わせであり、前記第2の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、X線画像、ソノグラフィ画像、またはそれらの組み合わせである、請求項31または32に記載のシステム。
- 前記第1の特性が、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、T1緩和時間コントラスト、T2緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせであり、前記第2の特性が、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、T1緩和時間コントラスト、T2緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせである、請求項33または34に記載のシステム。
- 前記1つ以上の医用イメージングモダリティが拡散テンソルイメージングであり、前記第1の画像が部分異方性(FA)マップであり、前記第2の画像が平均拡散性(MD)マップであり、前記第1の特性が異方性比コントラストであり、前記第2の特性が平均拡散性コントラストであり、前記関心オブジェクトが前記被験者の腎臓である、請求項28に記載のシステム。
- 前記第1の画像内の前記オブジェクトを位置特定および分類することが、前記第1の画像の複数の画素またはボクセルに1つ以上のクラスタリングアルゴリズムを適用することを含む、請求項28~38のいずれか一項に記載のシステム。
- 前記1つ以上のクラスタリングアルゴリズムが、前記複数のオブジェクトクラスに関連するクラスタに観測値を割り当てるk平均アルゴリズムを含む、請求項39に記載のシステム。
- 前記1つ以上のクラスタリングアルゴリズムが、1つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含み、前記k平均アルゴリズムが、前記複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって前記期待値最大化アルゴリズムを初期化する、請求項40に記載のシステム。
- 前記セグメンテーションマスクが判定され、前記セグメンテーションマスクを判定することが、
前記オブジェクトクラスに割り当てられた前記画素またはボクセルのセットを使用して、前記関心オブジェクトのシード位置を識別することと、
前記セグメンテーションマスクの深さを表すz軸に向かって前記シード位置を投影することによって前記シード位置を成長させることと、
投影された前記シード位置に基づいて前記セグメンテーションマスクを判定することと、を含む、請求項28~41のいずれか一項に記載のシステム。 - 前記セグメンテーションマスクを判定することが、前記セグメンテーションマスクに対して形態学的閉鎖および充填を実行することをさらに含む、請求項42に記載のシステム。
- 前記動作が、前記第2の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第2の画像の前記一部を生成するためにオブジェクトマスクにマージンを加えたものに基づいて前記第2の画像を切り取ることをさらに含む、請求項42または43に記載のシステム。
- 前記動作が、前記第2の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第2の画像の前記一部の解像度を高めるために前記第2の画像を深層超解像ニューラルネットワークに入力することをさらに含む、請求項28~44のいずれか一項に記載のシステム。
- 前記三次元ニューラルネットワークモデルが、訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記訓練データのセットが、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像と、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加の医用画像であって、前記複数の追加の医用画像が、前記複数の医用画像からの画像ヒストグラムを複数の参照マップからの画像ヒストグラムにマッチングさせることによって人工的に生成される、複数の追加の医用画像と、を含み、
前記複数のモデルパラメータが、前記重み付き損失関数を最小化することに基づいて前記訓練データのセットを使用して識別される、請求項28~45のいずれか一項に記載のシステム。 - 前記重み付き損失関数が重み付きダイス損失関数である、請求項46に記載のシステム。
- 前記三次元ニューラルネットワークモデルが、修正された3D U-Netモデルである、請求項28~37のいずれか一項に記載のシステム。
- 前記修正された3D U-Netモデルが、総数で5,000,000個から12,000,000個の学習可能パラメータを含む、請求項48に記載のシステム。
- 前記修正された3D U-Netモデルが、総数で800個から1,700個のカーネルを含む、請求項48または49に記載のシステム。
- 前記動作が、
前記関心オブジェクトの周囲の推定された境界に基づいて、前記関心オブジェクトのサイズ、表面積、および/または体積を判定することと、
(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を提供することと、をさらに含む、請求項28~50のいずれか一項に記載のシステム。 - 前記動作が、ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積に基づいて、前記被験者の診断を判定することをさらに含む、請求項51に記載のシステム。
- 前記動作が、
イメージングシステムを使用するユーザによって、前記被験者の前記医用画像を取得することであって、前記イメージングシステムが、前記1つ以上の医用イメージングモダリティを使用して前記医用画像を生成する、取得することと、
前記関心オブジェクトの周囲の前記推定されたセグメンテーション境界に基づいて、前記関心オブジェクトのサイズ、表面積、および/または体積を判定することと、
(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を提供することと、
ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を受信することと、
前記ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積に基づいて、前記被験者の診断を判定することと、
をさらに含む、請求項28~52のいずれか一項に記載のシステム。 - 前記動作が、前記ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、(ii)前記関心オブジェクトのサイズ、表面積、および/もしくは体積、および/または(iii)前記被験者の診断に基づく化合物による処置を投与することをさらに含む、請求項52または53に記載のシステム。
- 1つ以上のデータプロセッサに、動作を実行させるように構成された命令を含む非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品であって、前記動作が、
被験者の医用画像を取得することであって、前記医用画像が、第1の特性を有する第1の画像および第2の特性を有する第2の画像を含み、前記医用画像が、1つ以上の医用イメージングモダリティを使用して生成される、取得することと、
位置特定モデルを使用して、前記第1の画像内のオブジェクトを位置特定し、複数のオブジェクトクラスに分類することであって、前記分類することが、前記第1の画像の画素またはボクセルのセットを前記複数のオブジェクトクラスのうちの1つ以上に割り当てる、位置特定および分類することと、
前記位置特定モデルを使用して、前記複数のオブジェクトクラスのうちのオブジェクトクラスに割り当てられた画素またはボクセルのセットに基づいて、前記第1の画像内の関心オブジェクトのための境界ボックスまたはセグメンテーションマスクを判定することと、
前記境界ボックスまたは前記セグメンテーションマスクを前記第2の画像上に転送して、前記関心オブジェクトを含む前記第2の画像の一部を画定することと、
前記第2の画像の前記一部を、重み付き損失関数を使用して体積セグメンテーションのために構築された三次元ニューラルネットワークモデルに入力することと、
前記三次元ニューラルネットワークモデルを使用して、前記関心オブジェクトの周りの推定されたセグメンテーション境界を生成することと、
前記三次元ニューラルネットワークを使用して、前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部を出力することと、を含む、コンピュータプログラム製品。 - 前記1つ以上の医用イメージングモダリティが、第1の医用イメージングモダリティと、前記第1の医用イメージングモダリティとは異なる第2の医用イメージングモダリティとを含み、前記第1の画像が、前記第1の医用イメージングモダリティから生成され、前記第2の画像が、前記第2の医用イメージングモダリティから生成される、請求項55に記載のコンピュータプログラム製品。
- 前記1つ以上の医用イメージングモダリティが、第1の医用イメージングモダリティと、前記第1の医用イメージングモダリティと同じである第2の医用イメージングモダリティとを含み、前記第1の画像が、前記第1の医用イメージングモダリティから生成され、前記第2の画像が、前記第2の医用イメージングモダリティから生成される、請求項55に記載のコンピュータプログラム製品。
- 前記第1の画像が第1の種類の画像であり、前記第2の画像が第2の種類の画像であり、前記第1の種類の画像が前記第2の種類の画像とは異なる、請求項55または56に記載のコンピュータプログラム製品。
- 前記第1の画像が第1の種類の画像であり、前記第2の画像が第2の種類の画像であり、前記第1の種類の画像が前記第2の種類の画像と同じである、請求項55または57に記載のコンピュータプログラム製品。
- 前記第1の特性が前記第2の特性とは異なる、請求項55~59のいずれか一項に記載のコンピュータプログラム製品。
- 前記第1の特性が前記第2の特性と同じである、請求項55~60のいずれか一項に記載のコンピュータプログラム製品。
- 前記第1の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、X線、超音波撮影、またはそれらの組み合わせであり、前記第2の医用イメージングモダリティが、磁気共鳴イメージング、拡散テンソルイメージング、コンピュータ断層撮影、陽電子放射断層撮影、光音響断層撮影、X線、超音波撮影、またはそれらの組み合わせである、請求項56または57に記載のコンピュータプログラム製品。
- 前記第1の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、X線画像、ソノグラフィ画像、またはそれらの組み合わせであり、前記第2の種類の画像が、磁気共鳴画像、拡散テンソル画像もしくはマップ、コンピュータ断層撮影画像、陽電子放射断層撮影画像、光音響断層撮影画像、X線画像、ソノグラフィ画像、またはそれらの組み合わせである、請求項58または59に記載のコンピュータプログラム製品。
- 前記第1の特性が、異方性比コントラスト、平均拡散性コントラスト、軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、T1緩和時間コントラスト、T2緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせであり、前記第2の特性が、異方性比コントラスト、平均拡散性コントラスト、前記軸方向拡散性コントラスト、半径方向拡散性コントラスト、プロトン密度コントラスト、T1緩和時間コントラスト、T2緩和時間コントラスト、拡散係数コントラスト、低解像度、高解像度、薬剤コントラスト、放射性トレーサコントラスト、光吸収コントラスト、エコー距離コントラスト、またはそれらの組み合わせである、請求項60または61に記載のコンピュータプログラム製品。
- 前記1つ以上の医用イメージングモダリティが拡散テンソルイメージングであり、前記第1の画像が部分異方性(FA)マップであり、前記第2の画像が平均拡散性(MD)マップであり、前記第1の特性が異方性比コントラストであり、前記第2の特性が平均拡散性コントラストであり、前記関心オブジェクトが前記被験者の腎臓である、請求項55に記載のコンピュータプログラム製品。
- 前記第1の画像内の前記オブジェクトを位置特定および分類することが、前記第1の画像の複数の画素またはボクセルに1つ以上のクラスタリングアルゴリズムを適用することを含む、請求項55~65のいずれか一項に記載のコンピュータプログラム製品。
- 前記1つ以上のクラスタリングアルゴリズムが、前記複数のオブジェクトクラスに関連するクラスタに観測値を割り当てるk平均アルゴリズムを含む、請求項66に記載のコンピュータプログラム製品。
- 前記1つ以上のクラスタリングアルゴリズムが、1つ以上の確率分布に基づいてクラスタメンバーシップの確率を計算する期待値最大化アルゴリズムをさらに含み、前記k平均アルゴリズムが、前記複数のオブジェクトクラスの各オブジェクトクラスの初期パラメータを推定することによって前記期待値最大化アルゴリズムを初期化する、請求項67に記載のコンピュータプログラム製品。
- 前記セグメンテーションマスクが判定され、前記セグメンテーションマスクを判定することが、
前記オブジェクトクラスに割り当てられた前記画素またはボクセルのセットを使用して、前記関心オブジェクトのシード位置を識別することと、
前記セグメンテーションマスクの深さを表すz軸に向かって前記シード位置を投影することによって前記シード位置を成長させることと、
投影された前記シード位置に基づいて前記セグメンテーションマスクを判定することと、を含む、請求項55~68のいずれか一項に記載のコンピュータプログラム製品。 - 前記セグメンテーションマスクを判定することが、前記セグメンテーションマスクに対して形態学的閉鎖および充填を実行することをさらに含む、請求項69に記載のコンピュータプログラム製品。
- 前記動作が、前記第2の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第2の画像の前記一部を生成するためにオブジェクトマスクにマージンを加えたものに基づいて前記第2の画像を切り取ることをさらに含む、請求項69または70に記載のコンピュータプログラム製品。
- 前記動作が、前記第2の画像の前記一部を前記三次元ニューラルネットワークモデルに入力する前に、前記第2の画像の前記一部の解像度を高めるために前記第2の画像を深層超解像ニューラルネットワークに入力することをさらに含む、請求項55~71のいずれか一項に記載のコンピュータプログラム製品。
- 前記三次元ニューラルネットワークモデルが、訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記訓練データのセットが、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像と、
関心オブジェクトの周りのセグメンテーション境界に関連付けられた注釈を有する複数の追加の医用画像であって、前記複数の追加の医用画像が、前記複数の医用画像からの画像ヒストグラムを複数の参照マップからの画像ヒストグラムにマッチングさせることによって人工的に生成される、複数の追加の医用画像と、を含み、
前記複数のモデルパラメータが、前記重み付き損失関数を最小化することに基づいて前記訓練データのセットを使用して識別される、請求項55~72のいずれか一項に記載のコンピュータプログラム製品。 - 前記重み付き損失関数が重み付きダイス損失関数である、請求項73に記載のコンピュータプログラム製品。
- 前記三次元ニューラルネットワークモデルが、修正された3D U-Netモデルである、請求項55~74のいずれか一項に記載のコンピュータプログラム製品。
- 前記修正された3D U-Netモデルが、総数で5,000,000個から12,000,000個の学習可能パラメータを含む、請求項75に記載のコンピュータプログラム製品。
- 前記修正された3D U-Netモデルが、総数で800個から1,700個のカーネルを含む、請求項75または76に記載のコンピュータプログラム製品。
- 前記動作が、
前記関心オブジェクトの周囲の前記推定された境界に基づいて、前記関心オブジェクトのサイズ、表面積、および/または体積を判定することと、
(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を提供することと、をさらに含む、請求項55~77のいずれか一項に記載のコンピュータプログラム製品。 - 前記動作が、ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積に基づいて、前記被験者の診断を判定することをさらに含む、請求項78に記載のコンピュータプログラム製品。
- 前記動作が、
イメージングシステムを使用するユーザによって、前記被験者の前記医用画像を取得することであって、前記イメージングシステムが、前記1つ以上の医用イメージングモダリティを使用して前記医用画像を生成する、取得することと、
前記関心オブジェクトの周囲の前記推定されたセグメンテーション境界に基づいて、前記関心オブジェクトのサイズ、表面積、および/または体積を判定することと、
(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を提供することと、
ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積を受信することと、
前記ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、および/または(ii)前記関心オブジェクトのサイズ、表面積、および/または体積に基づいて、前記被験者の診断を判定することと、をさらに含む、請求項55~79のいずれか一項に記載のコンピュータプログラム製品。 - 前記動作が、前記ユーザによって、(i)前記関心オブジェクトの周りの前記推定されたセグメンテーション境界を有する前記第2の画像の前記一部、(ii)前記関心オブジェクトのサイズ、表面積、および/もしくは体積、および/または(iii)前記被験者の診断に基づく化合物による処置を投与することをさらに含む、請求項79または80に記載のコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962886844P | 2019-08-14 | 2019-08-14 | |
US62/886,844 | 2019-08-14 | ||
PCT/US2020/046239 WO2021030629A1 (en) | 2019-08-14 | 2020-08-13 | Three dimensional object segmentation of medical images localized with object detection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022544229A true JP2022544229A (ja) | 2022-10-17 |
JPWO2021030629A5 JPWO2021030629A5 (ja) | 2023-08-22 |
Family
ID=72243239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022508485A Pending JP2022544229A (ja) | 2019-08-14 | 2020-08-13 | オブジェクト検出を用いて位置特定された医用画像の三次元オブジェクトセグメンテーション |
Country Status (5)
Country | Link |
---|---|
US (1) | US11967072B2 (ja) |
EP (1) | EP4014201A1 (ja) |
JP (1) | JP2022544229A (ja) |
CN (1) | CN114503159A (ja) |
WO (1) | WO2021030629A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024116309A1 (ja) * | 2022-11-30 | 2024-06-06 | 日本電気株式会社 | 画像生成装置、学習装置、画像生成方法、およびプログラム |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111050642A (zh) * | 2017-07-07 | 2020-04-21 | 国立大学法人大阪大学 | 利用了趋势分析的疼痛判别、机器学习、经济性判别模型及应用了IoT的医疗装置、定制化机器学习、以及新型疼痛判别用脑波特征量 |
US11950953B1 (en) * | 2018-02-23 | 2024-04-09 | Robert Edwin Douglas | Image processing via a modified segmented structure |
US11544509B2 (en) * | 2020-06-30 | 2023-01-03 | Nielsen Consumer Llc | Methods, systems, articles of manufacture, and apparatus to classify labels based on images using artificial intelligence |
KR102490645B1 (ko) * | 2020-07-16 | 2023-01-25 | 고려대학교 산학협력단 | 흡수에너지 기반 전기장 암치료 계획 시스템 및 방법 |
EP3975120B1 (en) | 2020-09-24 | 2023-01-11 | Stryker European Operations Limited | Technique for guiding acquisition of one or more registration points on a patient's body |
TWI790508B (zh) * | 2020-11-30 | 2023-01-21 | 宏碁股份有限公司 | 血管偵測裝置及基於影像的血管偵測方法 |
CN112699937B (zh) * | 2020-12-29 | 2022-06-21 | 江苏大学 | 基于特征引导网络的图像分类与分割的装置、方法、设备及介质 |
US11630882B2 (en) * | 2021-04-23 | 2023-04-18 | Hewlett-Packard Development Company, L.P. | Adaptation of one shot machine learning model trained on other registered images of other content for usage to instead identify whether input image includes content of registered images |
CN113297910B (zh) * | 2021-04-25 | 2023-04-18 | 云南电网有限责任公司信息中心 | 一种配网现场作业安全带识别方法 |
WO2022236279A1 (en) * | 2021-05-04 | 2022-11-10 | The General Hospital Corporation | Collaborative artificial intelligence annotation platform leveraging blockchain for medical imaging |
CN113160947A (zh) * | 2021-05-18 | 2021-07-23 | 上海商汤智能科技有限公司 | 医学图像的展示方法及装置、电子设备和存储介质 |
CN113450320B (zh) * | 2021-06-17 | 2022-11-29 | 浙江德尚韵兴医疗科技有限公司 | 一种基于较深网络结构的超声结节分级与良恶性预测方法 |
CN113674254B (zh) * | 2021-08-25 | 2024-05-14 | 上海联影医疗科技股份有限公司 | 医学图像异常点识别方法、设备、电子装置和存储介质 |
CN113935433B (zh) * | 2021-11-02 | 2024-06-14 | 齐齐哈尔大学 | 基于深度光谱空间倒残差网络的高光谱图像分类方法 |
CN114220032A (zh) * | 2021-12-21 | 2022-03-22 | 一拓通信集团股份有限公司 | 一种基于通道裁剪的无人机视频小目标检测方法 |
US11908174B2 (en) * | 2021-12-30 | 2024-02-20 | GE Precision Healthcare LLC | Methods and systems for image selection |
WO2023196474A1 (en) * | 2022-04-06 | 2023-10-12 | University Of Virginia Patent Foundation | Automation of the blood input function computation pipeline for dynamic fdg pet for human brain using machine learning |
CN114708973B (zh) * | 2022-06-06 | 2022-09-13 | 首都医科大学附属北京友谊医院 | 一种用于对人体健康进行评估的设备和存储介质 |
CN115311135A (zh) * | 2022-06-24 | 2022-11-08 | 西南交通大学 | 一种基于3dcnn的各向同性mri分辨率重建方法 |
CN115082529B (zh) * | 2022-06-30 | 2023-04-14 | 华东师范大学 | 一种大体组织多维信息采集和分析***与方法 |
WO2024026255A1 (en) * | 2022-07-25 | 2024-02-01 | Memorial Sloan-Kettering Cancer Center | Systems and methods for automated tumor segmentation in radiology imaging using data mined line annotations |
CN115222746A (zh) * | 2022-08-16 | 2022-10-21 | 浙江柏视医疗科技有限公司 | 一种基于时空融合的多任务心脏亚结构分割方法 |
CN115187950B (zh) * | 2022-09-13 | 2022-11-22 | 安徽中科星驰自动驾驶技术有限责任公司 | 用于深度学***衡掩码二次采样方法 |
EP4345747A1 (en) * | 2022-09-30 | 2024-04-03 | Stryker European Operations Limited | Medical image data processing technique |
CN115359325B (zh) * | 2022-10-19 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 图像识别模型的训练方法、装置、设备和介质 |
CN115619799B (zh) * | 2022-12-15 | 2023-04-18 | 北京科技大学 | 一种基于迁移学习的晶粒图像分割方法及*** |
CN115953413B (zh) * | 2023-03-13 | 2023-06-02 | 同心智医科技(北京)有限公司 | 一种mra图像分割方法、装置及存储介质 |
CN116486196B (zh) * | 2023-03-17 | 2024-01-23 | 哈尔滨工业大学(深圳) | 病灶分割模型训练方法、病灶分割方法及装置 |
CN116030260B (zh) * | 2023-03-27 | 2023-08-01 | 湖南大学 | 一种基于长条状卷积注意力的手术全场景语义分割方法 |
CN116416289B (zh) * | 2023-06-12 | 2023-08-25 | 湖南大学 | 基于深度曲线学习的多模图像配准方法、***及介质 |
CN116758289B (zh) * | 2023-08-14 | 2023-10-24 | 中国石油大学(华东) | 一种自补偿学习的小样本图像分割方法 |
CN117788703A (zh) * | 2023-12-26 | 2024-03-29 | 中数科技(青岛)有限公司 | 一种基于机器视觉的港口三维模型构建方法和电子设备 |
CN117893532B (zh) * | 2024-03-14 | 2024-05-24 | 山东神力索具有限公司 | 基于图像处理的模锻索具用模具裂纹缺陷检测方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6909805B2 (en) * | 2001-01-31 | 2005-06-21 | Matsushita Electric Industrial Co., Ltd. | Detecting and utilizing add-on information from a scanned document image |
EP2948045B1 (en) * | 2013-01-24 | 2022-04-13 | Tylerton International Holdings Inc. | Body structure imaging |
US9996919B2 (en) * | 2013-08-01 | 2018-06-12 | Seoul National University R&Db Foundation | Method for extracting airways and pulmonary lobes and apparatus therefor |
US10980519B2 (en) * | 2015-07-14 | 2021-04-20 | Duke University | Systems and methods for extracting prognostic image features |
US9760807B2 (en) * | 2016-01-08 | 2017-09-12 | Siemens Healthcare Gmbh | Deep image-to-image network learning for medical image analysis |
WO2018081537A1 (en) * | 2016-10-31 | 2018-05-03 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for image segmentation using controlled feedback |
CN111602174A (zh) * | 2018-01-08 | 2020-08-28 | 普罗热尼奇制药公司 | 基于神经网络快速分割图像以及测定放射性药品吸收量的***和方法 |
US10885630B2 (en) * | 2018-03-01 | 2021-01-05 | Intuitive Surgical Operations, Inc | Systems and methods for segmentation of anatomical structures for image-guided surgery |
-
2020
- 2020-08-13 EP EP20761979.2A patent/EP4014201A1/en active Pending
- 2020-08-13 CN CN202080057028.2A patent/CN114503159A/zh active Pending
- 2020-08-13 WO PCT/US2020/046239 patent/WO2021030629A1/en unknown
- 2020-08-13 JP JP2022508485A patent/JP2022544229A/ja active Pending
-
2022
- 2022-02-07 US US17/665,932 patent/US11967072B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024116309A1 (ja) * | 2022-11-30 | 2024-06-06 | 日本電気株式会社 | 画像生成装置、学習装置、画像生成方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021030629A1 (en) | 2021-02-18 |
US20220230310A1 (en) | 2022-07-21 |
US11967072B2 (en) | 2024-04-23 |
EP4014201A1 (en) | 2022-06-22 |
CN114503159A (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11967072B2 (en) | Three-dimensional object segmentation of medical images localized with object detection | |
US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
Prados et al. | Spinal cord grey matter segmentation challenge | |
Roy et al. | Robust skull stripping using multiple MR image contrasts insensitive to pathology | |
Zhao et al. | A novel U-Net approach to segment the cardiac chamber in magnetic resonance images with ghost artifacts | |
JP2022525198A (ja) | 陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク | |
US9218542B2 (en) | Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy | |
Lei et al. | Deep learning in multi-organ segmentation | |
Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
EP3444781B1 (en) | Image processing apparatus and image processing method | |
Vivanti et al. | Patient-specific and global convolutional neural networks for robust automatic liver tumor delineation in follow-up CT studies | |
JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
Cano-Espinosa et al. | Biomarker localization from deep learning regression networks | |
van Eijnatten et al. | 3D deformable registration of longitudinal abdominopelvic CT images using unsupervised deep learning | |
Zhou et al. | 3D segmentation guided style-based generative adversarial networks for pet synthesis | |
Arega et al. | Leveraging uncertainty estimates to improve segmentation performance in cardiac MR | |
Wang et al. | Pixel-wise body composition prediction with a multi-task conditional generative adversarial network | |
CN114926487A (zh) | 多模态影像脑胶质瘤靶区分割方法、***及设备 | |
Li et al. | Clinical study of diffusion-weighted imaging in the diagnosis of liver focal lesion | |
Xiao et al. | PET and CT image fusion of lung cancer with siamese pyramid fusion network | |
Chen et al. | Research related to the diagnosis of prostate cancer based on machine learning medical images: A review | |
Garcia et al. | Multimodal breast parenchymal patterns correlation using a patient-specific biomechanical model | |
US20240221162A1 (en) | Three dimensional object segmentation of medical images localized with object detection | |
Meça | Applications of Deep Learning to Magnetic Resonance Imaging (MRI) | |
Longuefosse et al. | Lung CT Synthesis Using GANs with Conditional Normalization on Registered Ultrashort Echo-Time MRI |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230814 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240611 |