JPWO2020110774A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2020110774A1 JPWO2020110774A1 JP2020558346A JP2020558346A JPWO2020110774A1 JP WO2020110774 A1 JPWO2020110774 A1 JP WO2020110774A1 JP 2020558346 A JP2020558346 A JP 2020558346A JP 2020558346 A JP2020558346 A JP 2020558346A JP WO2020110774 A1 JPWO2020110774 A1 JP WO2020110774A1
- Authority
- JP
- Japan
- Prior art keywords
- class
- image
- medical image
- segmentation
- global feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 93
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 109
- 230000011218 segmentation Effects 0.000 claims abstract description 108
- 230000004048 modification Effects 0.000 claims abstract description 42
- 238000012986 modification Methods 0.000 claims abstract description 42
- 238000003860 storage Methods 0.000 claims description 77
- 230000006870 function Effects 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 8
- 230000003902 lesion Effects 0.000 description 47
- 201000009794 Idiopathic Pulmonary Fibrosis Diseases 0.000 description 29
- 201000010099 disease Diseases 0.000 description 28
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 28
- 210000004072 lung Anatomy 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 9
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 9
- 206010042953 Systemic sclerosis Diseases 0.000 description 6
- 201000009267 bronchiectasis Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 208000029523 Interstitial Lung disease Diseases 0.000 description 4
- 201000009594 Systemic Scleroderma Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 201000001155 extrinsic allergic alveolitis Diseases 0.000 description 4
- 239000005337 ground glass Substances 0.000 description 4
- 208000022098 hypersensitivity pneumonitis Diseases 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 208000027932 Collagen disease Diseases 0.000 description 3
- 201000009805 cryptogenic organizing pneumonia Diseases 0.000 description 3
- 206010014561 Emphysema Diseases 0.000 description 2
- 208000000785 Invasive Pulmonary Aspergillosis Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 206010067472 Organising pneumonia Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000004549 pulsed laser deposition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010039073 rheumatoid arthritis Diseases 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 206010007882 Cellulitis Diseases 0.000 description 1
- 201000003066 Diffuse Scleroderma Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009798 acute exacerbation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001496 desquamative effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005713 exacerbation Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は実施形態に係る医療情報システムの概略構成図である。医療情報システム10は、画像処理装置12、モダリティ14、及び画像データベース16を備える。画像処理装置12、モダリティ14、及び画像データベース16は、ネットワーク18を介して通信可能に接続される。
〔画像処理装置の機能〕
図2は図1に示す画像処理装置の機能ブロック図である。図2に示す画像処理装置12は、深層学習等を適用して医用画像のセグメンテーションマスクを効率的に修正する。なお、セグメンテーションマスクの修正はセグメンテーションの修正と同義である。医用画像のセグメンテーションの一例として、肺組織を気管支拡張症、蜂巣肺、すりガラス影、網状肺、及び線状肺等の病変に分類する例が挙げられる。
〈全体構成〉
図3は図1に示す画像処理装置のハードウェアの構成を示すブロック図である。画像処理装置12は、図3に示すハードウェアを用いて規定のプログラムを実行し、各種機能を実現し得る。
プロセッサ100は、画像処理装置12の全体制御部、各種演算部、及び記憶制御部として機能する。プロセッサ100は、メモリ102に具備されるROM(read only memory)に記憶されるプログラムを実行する。
メモリ102は、図示しないROM、及び図示しないRAMを備える。ROMは、画像処理装置12において実行される各種プログラムを記憶する。ROMは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。RAMは、データの一時記憶領域、及びプロセッサ100のワーク領域等として機能する。
ストレージ装置104は、各種データを非一時的に記憶する。ストレージ装置104は、画像処理装置12の外部に外付けされてもよい。ストレージ装置104に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
ネットワークコントローラ106は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ106を介して接続されるネットワーク18は、LAN(Local Area Network)などの公知のネットワークを適用し得る。
電源装置108は、UPS(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置108は停電等に起因して商用電源が遮断された際に、画像処理装置12へ電源を供給する。
ディスプレイコントローラ110は、プロセッサ100から送信される指令信号に基づいて表示装置24を制御するディスプレイドライバーとして機能する。
入出力インターフェース112は、画像処理装置12と外部機器とを通信可能に接続する。入出力インターフェース112は、USB(Universal Serial Bus)などの通信規格を適用し得る。
入力コントローラ114は、入力装置21を用いて入力された信号の形式を画像処理装置12の処理に適した形式に変換する。入力コントローラ114を介して入力装置21から入力された情報は、プロセッサ100を介して各部へ送信される。
次に、図2に示すセグメンテーション部42を用いて実施される医用画像のセグメンテーションについて説明する。図4はクラス分類の模式図である。セグメンテーション部42は、医用画像のセグメンテーションとして、医用画像200を構成するピクセルの少なくとも一部を、複数のクラスのいずれかに分類するマルチクラス分類を実施する。
次に、図2に示す修正部44を用いて実施されるクラス修正について詳細に説明する。図6はクラス修正の模式図である。分類マップ220のクラスに誤りがあった場合、クラス修正が必要である。クラスの誤りを修正した修正分類マップ240を用いた再学習を実施することで、より高精度のクラス分類が可能となる。すなわち、クラスの誤りを修正した修正分類マップ240は非常に有用なデータである。
〔画像処理方法全体のフローチャート〕
次に、図2に示す画像処理装置12に適用される画像処理方法の手順について説明する。図8は画像処理方法の手順を示すフローチャートである。画像処理装置12は、プログラムを実行して、図8に示す各工程に対応する機能を実現させる。
図9は図8に示すセグメンテーション工程の手順を示すフローチャートである。特徴量抽出工程S100では、特徴量抽出部70は医用画像200のピクセルごとの特徴量を抽出する。特徴量抽出工程S100の後に、確率マップ生成工程S102へ進む。
図10は図8に示すクラス修正工程の手順を示すフローチャートである。グローバル特徴判定工程S120では、修正部44は取得したグローバル特徴230が否定的なグローバル特徴であるか肯定的なグローバル特徴であるかを判定する。
図2に示すセグメンテーション部42に適用される機械学習の一例について説明する。図11は畳み込みニューラルネットワークを適用したセグメンテーション部のブロック図である。
上述した画像処理装置12及び画像処理方法は、コンピュータを用いて、画像処理装置12における各部に対応する機能、又は画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。
上記の如く構成された画像処理装置及び画像処理方法によれば、以下の作用効果を得ることが可能である。
医用画像200の全体の特徴を表す疾患名等のグローバル特徴230と、医用画像200の局所の特徴に基づく病変等のクラスとの関係を表すテーブル250を参照し、グローバル特徴230に応じて医用画像200のクラス分類を表す分類マップ220を修正する。これにより、グローバル特徴230に応じた分類マップ220の修正が自動化され、分類マップ220の修正の手間を削減し得る。
局所ごとのクラスらしさを表すスコアが最も高いクラスが、局所ごとのクラスとして採用される。これにより、高精度のクラス分類が可能となる。
修正対象領域のクラスは、グローバル特徴230に対応するクラスのうちスコアが最も高いクラスに修正される。これにより、高精度のクラスの修正が可能となる。
クラスらしさを表すスコアとして、クラスらしさを表す確率が適用される。これにより、クラスらしさを表す確率を用いたクラスの修正が可能となる。
グローバル特徴230は、否定的なグローバル特徴又は肯定的なグローバル特徴のいずれかを適用し得る。これにより、グローバル特徴230とクラスとの様々な対応関係に応じたクラスの修正が可能となる。
医用画像200と修正分類マップ240とを学習データとして、畳み込みニューラルネットワークが適用されるセグメンテーション部42の再学習を実施する。これにより、更に高精度のセグメンテーションが可能となる。
〔クラス修正の変形例〕
修正対象ピクセルの周辺のピクセルには、修正対象ピクセルが本来分類されるべきクラスに分類されているピクセルが存在し得る。そこで、修正対象ピクセルからの距離が最小となるピクセルであり、修正対象ピクセルと異なるクラスに分類されているピクセルのクラスを、修正対象ピクセルのクラスに適用し得る。なお、クラス修正の変形例は、連続する複数のピクセルから構成される局所領域に適用し得る。
本実施形態では、医用画像として肺のCT画像を例示したが、肺以外の臓器の医用画像を用いてもよい。また、医用画像は二次元画像に限定されない。医用画像は三次元画像でもよい。三次元画像の場合、ボクセルごとにクラス分類が実施され、ボクセルごとにクラス修正が実施される。
本実施形態では、グローバル特徴230として疾患名を例示したが、グローバル特徴230は、対象とする医用画像に関連する情報であって、ボクセル等の局所領域のクラスと関連する特徴を表す情報、又はクラス分類に影響する特徴を表す情報であればよい。
本実施形態では、クラスとして病変を例示したが、クラスは炎症、腫瘍、及び非腫瘍等の画像パターンの特徴等を適用し得る。また、医用画像を生成するモダリティごとに標準分類が存在する場合は、モダリティごとの標準分類をクラスに適用し得る。
上述した実施形態で説明した構成要素、及び適用例等で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
12 画像処理装置
14 モダリティ
16 画像データベース
18 ネットワーク
20 マウス
21 入力装置
22 キーボード
24 表示装置
40 画像取得部
42 セグメンテーション部
44 修正部
46 グローバル特徴取得部
50 記憶部
52 バス
60 表示制御部
62 入力制御部
70 特徴量算出部
72 確率マップ生成部
74 分類マップ生成部
80 画像記憶部
82 確率マップ記憶部
84 分類マップ記憶部
86 グローバル特徴記憶部
88 プログラム記憶部
90 医療データベース
100 プロセッサ
102 メモリ
104 ストレージ装置
106 ネットワークコントローラ
108 電源装置
110 ディスプレイコントローラ
112 入出力インターフェース
114 入力コントローラ
200 医用画像
210 確率マップ
212 第一クラス
214 第二クラス
216 第三クラス
218 第四クラス
220 分類マップ
222 第一領域
222A 第一領域
224 第二領域
224A 第二領域
226 第三領域
226A 第三領域
228 第四領域
228A 第四領域
240 修正分類マップ
250 テーブル
300 入力層
302 中間層
304 出力層
310 畳み込み層
312 プーリング層
314 全結合層
S10からS24 画像処理方法の各工程
S100からS104 セグメンテーション工程の各工程
S120からS126 クラス修正工程の各工程
12 画像処理装置
14 モダリティ
16 画像データベース
18 ネットワーク
20 マウス
21 入力装置
22 キーボード
24 表示装置
40 画像取得部
42 セグメンテーション部
44 修正部
46 グローバル特徴取得部
50 記憶部
52 バス
60 表示制御部
62 入力制御部
70 特徴量抽出部
72 確率マップ生成部
74 分類マップ生成部
80 画像記憶部
82 確率マップ記憶部
84 分類マップ記憶部
86 グローバル特徴記憶部
88 プログラム記憶部
90 医療データベース
100 プロセッサ
102 メモリ
104 ストレージ装置
106 ネットワークコントローラ
108 電源装置
110 ディスプレイコントローラ
112 入出力インターフェース
114 入力コントローラ
200 医用画像
210 確率マップ
212 第一クラス
214 第二クラス
216 第三クラス
218 第四クラス
220 分類マップ
222 第一領域
222A 第一領域
224 第二領域
224A 第二領域
226 第三領域
226A 第三領域
228 第四領域
228A 第四領域
240 修正分類マップ
250 テーブル
300 入力層
302 中間層
304 出力層
310 畳み込み層
312 プーリング層
314 全結合層
S10からS24 画像処理方法の各工程
S100からS104 セグメンテーション工程の各工程
S120からS126 クラス修正工程の各工程
Claims (13)
- 医用画像を取得する画像取得部と、
前記画像取得部を用いて取得した前記医用画像のセグメンテーションを実施して、前記医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション部と、
前記医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得部と、
前記医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、前記グローバル特徴と前記クラスとの関係を参照し、前記グローバル特徴に応じて修正する修正部と、
を備えた画像処理装置。 - 前記グローバル特徴に対応する複数のクラスにおける各クラスらしさを表すスコアを、前記局所領域ごとに算出するスコア算出部を備え、
前記セグメンテーション部は、前記局所領域ごとのクラスとして、前記スコアが最も高いクラスを適用する請求項1に記載の画像処理装置。 - 前記修正部は、前記修正対象領域のクラスを修正する際に、前記グローバル特徴に対応するクラスのうち前記スコアが最も高いクラスを、前記修正対象領域のクラスに適用する請求項2に記載の画像処理装置。
- 前記スコア算出部は、前記スコアとしてクラスらしさを表す確率を算出する請求項2又は3に記載の画像処理装置。
- 前記修正部は、前記修正対象領域のクラスを、前記修正対象領域のクラスと異なるクラスであり、前記修正対象領域からの距離が最小となる局所領域のクラスに修正する請求項1又は2に記載の画像処理装置。
- 前記修正部は、前記グローバル特徴取得部が否定的な前記グローバル特徴を取得した場合に、前記グローバル特徴のみに対応するクラスの局所領域を前記修正対象領域とする請求項1から5のいずれか一項に記載の画像処理装置。
- 前記修正部は、前記グローバル特徴取得部が肯定的な前記グローバル特徴を取得した場合に、前記グローバル特徴に非対応のクラスの局所領域を前記修正対象領域とする請求項1から5のいずれか一項に記載の画像処理装置。
- 前記修正部は、複数の前記グローバル特徴に応じて、前記修正対象領域のクラスを修正する請求項1から7のいずれか一項に記載の画像処理装置。
- 前記修正部は、前記グローバル特徴と前記クラスとの関係が記憶されたテーブルを参照する請求項1から8のいずれか一項に記載の画像処理装置。
- 前記セグメンテーション部は機械学習器が適用され、
前記機械学習器は、セグメンテーションの結果が修正された医用画像とクラスの修正結果との組を学習データとして再学習を実施する請求項1から9のいずれか一項に記載の画像処理装置。 - 医用画像を取得する画像取得工程と、
前記画像取得工程において取得した医用画像のセグメンテーションを実施して、前記医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション工程と、
前記医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得工程と、
前記医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、前記グローバル特徴と前記クラスとの関係を参照し、前記グローバル特徴に応じて修正する修正工程と、
を含む画像処理方法。 - コンピュータに、
医用画像を取得する画像取得機能、
前記画像取得機能を用いて取得した医用画像のセグメンテーションを実施して、前記医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション機能、
前記医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得機能、及び
前記医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、前記グローバル特徴と前記クラスとの関係を参照し、前記グローバル特徴に応じて修正する修正機能を実現させるプログラム。 - 非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
医用画像を取得する画像取得機能、
前記画像取得機能を用いて取得した医用画像のセグメンテーションを実施して、前記医用画像を局所領域ごとの特徴を表すクラスに分類するセグメンテーション機能、
前記医用画像の全体の特徴を表すグローバル特徴を取得するグローバル特徴取得機能、及び
前記医用画像におけるクラスを修正する対象の局所領域である修正対象領域のクラスを、前記グローバル特徴と前記クラスとの関係を参照し、前記グローバル特徴に応じて修正する修正機能をコンピュータに実行させる記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225019 | 2018-11-30 | ||
JP2018225019 | 2018-11-30 | ||
PCT/JP2019/044867 WO2020110774A1 (ja) | 2018-11-30 | 2019-11-15 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020110774A1 true JPWO2020110774A1 (ja) | 2021-10-14 |
JP7101809B2 JP7101809B2 (ja) | 2022-07-15 |
Family
ID=70851993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558346A Active JP7101809B2 (ja) | 2018-11-30 | 2019-11-15 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210271914A1 (ja) |
JP (1) | JP7101809B2 (ja) |
WO (1) | WO2020110774A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11295430B2 (en) * | 2020-05-20 | 2022-04-05 | Bank Of America Corporation | Image analysis architecture employing logical operations |
CN111932545A (zh) * | 2020-07-14 | 2020-11-13 | 浙江大华技术股份有限公司 | 图像处理方法、目标计数方法及其相关装置 |
KR102552147B1 (ko) * | 2022-08-29 | 2023-07-11 | 한국과학기술원 | 그래프를 이용하여 오분류 패치의 클래스를 수정하는 조직 이미지 분류 장치 및 조직 이미지 분류 방법 |
WO2024048509A1 (ja) * | 2022-08-30 | 2024-03-07 | 株式会社Preferred Networks | 病態評価装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012045256A (ja) * | 2010-08-30 | 2012-03-08 | Fujifilm Corp | 領域分割結果修正装置、方法、及びプログラム |
US20150078643A1 (en) * | 2013-09-13 | 2015-03-19 | Siemens Aktiengesellschaft | Method and device for automatic or semi-automatic segmentation of a 3d image data set |
WO2018172169A1 (en) * | 2017-03-20 | 2018-09-27 | Koninklijke Philips N.V. | Image segmentation using reference gray scale values |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69630935T2 (de) * | 1995-09-29 | 2004-11-04 | Koninklijke Philips Electronics N.V. | Bilverarbeitungsverfahren und -vorrichtung zur automatischen Erfassung von Bereichen eines vorbestimmten Krebstyps in einem Intensitätsbild |
US8170306B2 (en) * | 2007-04-25 | 2012-05-01 | Siemens Aktiengesellschaft | Automatic partitioning and recognition of human body regions from an arbitrary scan coverage image |
JP5150698B2 (ja) * | 2010-09-30 | 2013-02-20 | 株式会社東芝 | デプス補正装置及び方法 |
WO2015113895A1 (en) * | 2014-01-28 | 2015-08-06 | Ventana Medical Systems, Inc. | Adaptive classification for whole slide tissue segmentation |
CN105022719B (zh) * | 2014-04-23 | 2019-06-28 | Ge医疗***环球技术有限公司 | 医学造影***及方法 |
CN108426994B (zh) * | 2014-06-16 | 2020-12-25 | 西门子医疗保健诊断公司 | 分析数字全息显微术数据以用于血液学应用 |
KR101754291B1 (ko) * | 2017-04-04 | 2017-07-06 | 이현섭 | 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법 |
US20200286614A1 (en) * | 2017-09-08 | 2020-09-10 | The General Hospital Corporation | A system and method for automated labeling and annotating unstructured medical datasets |
US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
EP3657514A1 (en) * | 2018-11-22 | 2020-05-27 | Koninklijke Philips N.V. | Interactive iterative image annotation |
-
2019
- 2019-11-15 WO PCT/JP2019/044867 patent/WO2020110774A1/ja active Application Filing
- 2019-11-15 JP JP2020558346A patent/JP7101809B2/ja active Active
-
2021
- 2021-05-21 US US17/326,349 patent/US20210271914A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012045256A (ja) * | 2010-08-30 | 2012-03-08 | Fujifilm Corp | 領域分割結果修正装置、方法、及びプログラム |
US20150078643A1 (en) * | 2013-09-13 | 2015-03-19 | Siemens Aktiengesellschaft | Method and device for automatic or semi-automatic segmentation of a 3d image data set |
WO2018172169A1 (en) * | 2017-03-20 | 2018-09-27 | Koninklijke Philips N.V. | Image segmentation using reference gray scale values |
Also Published As
Publication number | Publication date |
---|---|
US20210271914A1 (en) | 2021-09-02 |
JP7101809B2 (ja) | 2022-07-15 |
WO2020110774A1 (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rehman et al. | A region-based deep level set formulation for vertebral bone segmentation of osteoporotic fractures | |
JP7101809B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10304198B2 (en) | Automatic medical image retrieval | |
CN109074639B (zh) | 医学成像***中的图像配准***和方法 | |
US8334878B2 (en) | Medical image processing apparatus and medical image processing program | |
JP5954769B2 (ja) | 医用画像処理装置、医用画像処理方法および異常検出プログラム | |
EP3355273B1 (en) | Coarse orientation detection in image data | |
US9741131B2 (en) | Anatomy aware articulated registration for image segmentation | |
US20190131012A1 (en) | Image search device, image search method, and image search program | |
US10685438B2 (en) | Automated measurement based on deep learning | |
US9336457B2 (en) | Adaptive anatomical region prediction | |
US8588498B2 (en) | System and method for segmenting bones on MR images | |
JP2018175226A (ja) | 医用画像分類装置、方法およびプログラム | |
CN113168912B (zh) | 使用深度学习确定3d数据集中对象的增长速度 | |
US20220028510A1 (en) | Medical document creation apparatus, method, and program | |
US8938107B2 (en) | System and method for automatic segmentation of organs on MR images using a combined organ and bone atlas | |
US9286688B2 (en) | Automatic segmentation of articulated structures | |
JP7456928B2 (ja) | 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
CN116664476A (zh) | 确定医学图像数据中描绘的解剖异常的变化的方法和*** | |
JPWO2019208130A1 (ja) | 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム | |
EP3794550B1 (en) | Comparison of a region of interest along a time series of images | |
WO2023054646A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
EP4310854A1 (en) | Document creation device, method, and program | |
WO2020241857A1 (ja) | 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7101809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |