JP7341874B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7341874B2 JP7341874B2 JP2019217331A JP2019217331A JP7341874B2 JP 7341874 B2 JP7341874 B2 JP 7341874B2 JP 2019217331 A JP2019217331 A JP 2019217331A JP 2019217331 A JP2019217331 A JP 2019217331A JP 7341874 B2 JP7341874 B2 JP 7341874B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- trained model
- medical image
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 294
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 166
- 238000003384 imaging method Methods 0.000 claims description 129
- 238000004458 analytical method Methods 0.000 claims description 122
- 230000008569 process Effects 0.000 claims description 112
- 230000033001 locomotion Effects 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 53
- 238000003745 diagnosis Methods 0.000 claims description 51
- 210000004204 blood vessel Anatomy 0.000 claims description 45
- 230000002159 abnormal effect Effects 0.000 claims description 35
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 206010030113 Oedema Diseases 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 2
- 230000006872 improvement Effects 0.000 description 275
- 238000012014 optical coherence tomography Methods 0.000 description 102
- 230000003287 optical effect Effects 0.000 description 59
- 238000012986 modification Methods 0.000 description 55
- 230000004048 modification Effects 0.000 description 55
- 238000010801 machine learning Methods 0.000 description 44
- 238000011156 evaluation Methods 0.000 description 43
- 238000003860 storage Methods 0.000 description 34
- 230000008859 change Effects 0.000 description 29
- 230000004044 response Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 238000005259 measurement Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 17
- 201000010099 disease Diseases 0.000 description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 11
- 230000002207 retinal effect Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 239000013307 optical fiber Substances 0.000 description 9
- 210000001525 retina Anatomy 0.000 description 9
- 210000004127 vitreous body Anatomy 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 206010025421 Macule Diseases 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 210000003161 choroid Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 208000000318 vitreous detachment Diseases 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000002583 angiography Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000002775 capsule Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010047642 Vitiligo Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000002445 nipple Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000005590 Choroidal Neovascularization Diseases 0.000 description 1
- 206010060823 Choroidal neovascularisation Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010067013 Normal tension glaucoma Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001739 density measurement Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 210000004220 fundus oculi Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000004410 intraocular pressure Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 201000002978 low tension glaucoma Diseases 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/456—Optical coherence tomography [OCT]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- Eye Examination Apparatus (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Description
被検体の第1の医用画像を取得する取得部と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する生成部と、
前記取得された第1の医用画像を解析して得た解析結果と前記生成された第2の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
前記第1の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである。
以下、図1乃至7を参照して、本発明の実施例1に係る光干渉断層撮像装置(OCT装置)及び画像処理方法について説明する。図1は、本実施例に係るOCT装置の概略構成を示す。
上述のように、学習済モデルを用いて画質向上処理を行った画像では、現実には存在しない組織が描出されてしまったり、本来存在している組織が消えてしまったりする。そのため、当該画像に基づいて操作者が画像診断を行うことにより誤診断が生じてしまう場合がある。そこで、表示制御部250は、画質向上処理後のOCTA画像や断層画像等を表示部270に表示させる際に、当該画像が学習済モデルを用いて画質向上処理を行った画像である旨をともに表示させてもよい。この場合には、操作者による誤診断の発生を抑制することができる。なお、学習済モデルを用いて取得した高画質画像である旨が理解できる態様であれば、表示の態様については任意であってよい。
実施例1では一回の撮影(検査)で得られたOCTA画像や断層画像等に対して画質向上処理を適用する例について述べた。これに対し、複数回の撮影(検査)で得られた複数のOCTA画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用することもできる。変形例2では、図8(a)及び(b)を参照して、複数のOCTA画像や断層画像等に対して、学習済モデルを用いた画質向上処理を適用した画像を同時に表示させる構成について説明する。
学習済モデルは、学習の傾向に従って入力データに対応する可能性の高い出力データを出力する。これに関連して、学習済モデルは、画質の傾向が似た画像群を教師データとして学習を行うと、当該似た傾向の画像に対して、より効果的に高画質化した画像を出力することができる。そこで、実施例2では、撮影部位等の撮影条件やEn-Face画像の生成範囲毎にグルーピングされたペア群で構成された教師データを用いて学習した複数の学習済モデルによって画質向上処理を行うことで、より効果的に画質向上処理を行う。
実施例2では、選択部925が、撮影条件やEn-Face画像の生成範囲等に応じて適切な学習済モデルを自動的に選択した。これに対し、操作者が画像に適用する画質向上処理を手動で選択することを望む場合もある。そのため、選択部925は、操作者の指示に応じて、学習済モデルを選択してもよい。
実施例1及び2では、画質向上部224は、断層画像やOCTA画像を撮影した後、自動的に画質向上処理を実行した。しかしながら、画質向上部224が実行する学習済モデルを用いた画質向上処理は、処理に長時間を要する場合がある。また、モーションコントラスト生成部222によるモーションコントラストデータの生成及びEn-Face画像生成部223によるOCTA画像の生成にも時間を要する。そのため、撮影後に画質向上処理が完了するのを待ってから画像を表示する場合には、撮影から表示までに長時間を要する場合がある。
実施例1では、画質向上処理前後のOCTA画像を切り替えて表示する例について述べた。これに対し、実施例4では、画質向上処理前後の画像の比較を行う。
また、比較部1426が画質向上処理前後の画像の比較を行い、表示制御部250が比較部1426による比較結果に応じて、表示部270に警告を表示させてもよい。より具体的には、比較部1426が算出した、画質向上処理前後の画像における画素値の差分が所定値よりも大きい場合に、表示制御部250が表示部270に警告を表示させる。このような構成によれば、生成された高画質画像において、学習済モデルによって、現実には存在しない組織が生成されてしまったり、本来存在している組織が消されてしまったりした場合に、操作者に注意を促すことができる。なお、差分と所定値の比較は、比較部1426によって行われてもよいし、表示制御部250によって行われてもよい。また、差分に代えて差分の平均値等の統計的な値が所定値と比較されてもよい。
また、比較部1426は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の比較を行ってもよい。より具体的には、比較部1426は、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分(増減又は減衰の度合)を画素位置毎に算出する。例えば、図16(a)のように、画質向上処理前後の画像(取得画像1601、取得画像1602)から、差分画像1603を取得し、差分画像において差分が増加している個所及び減少している個所を色分けする等し、ユーザに分かり易く、画像改善した個所などの情報を表示部270に表示させる。なお、差分画像1603を画質向上処理前後の画像(取得画像1601、高画質画像1602)の少なくとも1つに重畳してもよい。また、ピクセル単位ではなく、変化の大きい領域を、評価マップ1604の様なマップ表示を実施してもよい。具体的には、複数の象限に分割された各領域に評価結果を示す評価マップとして表示部270に表示させてもよい。このとき、象限の数は、例えば、表示エリア1607に示すように、2つ、4つ、8つ等が考えられるが、これに限らない。また、象限の数が2つである場合、例えば、上下に領域分割してもよいし、左右に領域分割してもよい。また、象限の中心は、例えば、黄斑部や視神経乳頭部等の注目部位が考えられるが、これに限らない。また、操作者が象限の中心として、画質向上処理後の画像や差分画像上で任意の位置を指定できるようにしてもよい。また、また、画質向上処理前後の画像をそれぞれ解析して得た解析結果の差分として算出した結果の一致率を数値化し、例えば、画質向上処理の評価結果1605、図16(b)の画質向上処理の評価値1615のように表示することもできる。このとき、評価マップ1604は各象限において、例えば、評価値が高い程、濃く表示させ、逆に、評価値が低い程、薄く表示させる等、濃淡で各象限の評価を示してもよいし、象限毎に評価値を表示させてもよい。ここで、眼の動きや瞬き等によるアーチファクトを、主走査方向に沿った血管であると誤って認識して画質向上処理を行ってしまう可能性がある。このような場合、例えば、視神経乳頭部を象限の中心とした場合には、黄斑部側に主走査方向に沿った血管が多いため、黄斑部とは逆側よりも一致率が低くなる可能性がある。そこで、象限毎に評価値を示すことにより、操作者は画質向上処理結果を効率的に評価することができる。
また、比較部1426は、被検眼の略同一箇所を異なる時間に撮影して得た複数の画像と、該複数の画像を用いて画質向上処理して得た複数の画像とを、画質向上処理前後において比較してもよい。より具体的には、比較部1426は、複数の画像において、画質向上処理前後の画像における互いに対応する画素位置の画素値の差分を算出する。このとき、表示制御部250は、複数の画像において、比較部1426による比較結果(差分)を表示部270に表示させてもよい。これにより、操作者は、それぞれの比較結果(差分)を考慮して、複数の画像のいずれかを選択してもよい。また、表示制御部250は、複数の画像に対応する複数の比較結果(差分)の平均値等の統計的な値を表示部270に表示させてもよい。また、比較部1426は、複数の画像を重ね合わせ(加算平均)して得た1つの画像と、該1つの画像を用いて画質向上処理して得た画像とを比較してもよい。なお、複数の画像が、被検眼の深さ方向の範囲における情報に基づいて生成された正面画像である場合には、深さ方向の範囲が互いに共通する方がよい。このとき、例えば、操作者からの指示に応じて一方の画像の深さ方向の範囲が設定されたら、他方の画像の深さ方向の範囲が設定されてもよい。
また、上述した様々な実施例及び変形例においては、複数の画質向上部(異なる学習データにより学習して得た複数の学習済モデル)を有する装置を用いて同様の評価を実施する事で、医師に多様な診断情報を提供する事ができる。ここで、複数の画質向上部は、図16(b)の第2の画質向上処理1613のように、主要なリーディングセンターが選定した教師画像でそれぞれ学習して得た学習済モデルを用いた画質向上処理を選択的に実行することができるものである。例えば、ユーザは、予め用意されていた第1の画質向上処理とは異なる第2の画質向上処理1613として複数の施設(病院や研究所等)のいずれかを選択することにより、第1の画質向上処理を実施して得た画像(第1の高画質画像1609)だけでなく、第2の画質向上処理を実施して得た画像(第2の高画質画像1614)も表示させる事ができる。また、第2の画質向上処理1613には、施設名と共に、国名(人種)を記述する事で、遺伝子に依存する疾患や、特異な眼底画像(近視、正常眼圧緑内障、血管走行)を適正に画質向上させる事ができる。このとき、取得画像1608と第1の高画質画像1610(1609)とを比較することにより、評価値1615のような評価結果を得た後、取得画像1608と第2の高画質画像1611とを比較することにより、評価値1614のような評価結果を得ることができる。これにより、例えば、各々の評価結果から、適切な画質向上処理を選択し、次回以降の診断に反映させる事ができる。また、変形例4乃至変形例7に記述した画質向上処理の評価について、適正な処理であると評価した際(複数画像取得した際の選択画像、複数の画質向上処理の選択処理)は、表示エリア1606や表示エリア1706に示すように、施設名と処理内容をデータ送信する事で、追加学習を実施し、よりフレキシブルな画質向上処理が可能となる。追加学習は、サーバで実施しても良く、クラウドや、機器の製造メーカにて、実施されてもよい。また、追加学習を行う事で、変形例6の様な、影がある画像1701から、画質向上処理を実施する事で陰の存在しない画像1704を得る事ができるようになる。
上述した様々な実施例及び変形例において、表示制御部250は、画質向上部224によって生成された高画質画像と入力画像のうち、検者からの指示に応じて選択された画像を表示部270に表示させることができる。また、表示制御部250は、検者からの指示に応じて、表示部270上の表示を撮影画像(入力画像)から高画質画像に切り替えてもよい。すなわち、表示制御部250は、検者からの指示に応じて、低画質画像の表示を高画質画像の表示に変更してもよい。また、表示制御部250は、検者からの指示に応じて、高画質画像の表示を低画質画像の表示に変更してもよい。
上述した様々な実施例及び変形例における表示制御部305は、表示画面のレポート画面において、所望の層の層厚や各種の血管密度等の解析結果を表示させてもよい。また、視神経乳頭部、黄斑部、血管領域、神経線維束、硝子体領域、黄斑領域、脈絡膜領域、強膜領域、篩状板領域、網膜層境界、網膜層境界端部、視細胞、血球、血管壁、血管内壁境界、血管外側境界、神経節細胞、角膜領域、隅角領域、シュレム管等の少なくとも1つを含む注目部位に関するパラメータの値(分布)を解析結果として表示させてもよい。このとき、例えば、各種のアーチファクトの低減処理が適用された医用画像を解析することで、精度の良い解析結果を表示させることができる。なお、アーチファクトは、例えば、血管領域等による光吸収により生じる偽像領域や、プロジェクションアーチファクト、被検眼の状態(動きや瞬き等)によって測定光の主走査方向に生じる正面画像における帯状のアーチファクト等であってもよい。また、アーチファクトは、例えば、被検者の所定部位の医用画像上に撮影毎にランダムに生じるような写損領域であれば、何でもよい。また、上述したような様々なアーチファクト(写損領域)の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。また、ドルーゼン、新生血管、白斑(硬性白斑)、シュードドルーゼン等の異常部位等の少なくとも1つを含む領域に関するパラメータの値(分布)を解析結果として表示させてもよい。また標準データベースを用いて得た標準値や標準範囲と、解析結果とを比較して得た比較結果が表示されてもよい。
上述した様々な実施例及び変形例におけるプレビュー画面において、ライブ動画像の少なくとも1つのフレーム毎に上述した種々の学習済モデルが用いられるように構成されてもよい。このとき、プレビュー画面において、異なる部位や異なる種類の複数のライブ動画像が表示されている場合には、各ライブ動画像に対応する学習済モデルが用いられるように構成されてもよい。これにより、例えば、ライブ動画像であっても、処理時間を短縮することができるため、検者は撮影開始前に精度の高い情報を得ることができる。このため、例えば、再撮影の失敗等を低減することができるため、診断の精度や効率を向上させることができる。
なお、複数のライブ動画像は、例えば、XYZ方向のアライメントのための前眼部の動画像、及び眼底観察光学系のフォーカス調整やOCTフォーカス調整のための眼底の正面動画像であってよい。また、複数のライブ動画像は、例えば、OCTのコヒーレンスゲート調整(測定光路長と参照光路長との光路長差の調整)のための眼底の断層動画像等であってもよい。このとき、上述した物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された領域が所定の条件を満たすように、上述した各種調整が行われるように構成されてもよい。例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やRPE等の所定の網膜層等に関する値(例えば、コントラスト値あるいは強度値)が閾値を超える(あるいはピーク値になる)ように、OCTフォーカス調整等の各種調整が行われるように構成されてもよい。また、例えば、物体認識用の学習済モデルやセグメンテーション用の学習済モデルを用いて検出された硝子体領域やRPE等の所定の網膜層が深さ方向における所定の位置になるように、OCTのコヒーレンスゲート調整が行われるように構成されてもよい。
また、上述した様々な実施例及び変形例においては、学習済モデルが追加学習の実行中である場合、追加学習の実行中の学習済モデル自体を用いて出力(推論・予測)することが難しい可能性がある。例えば、追加学習の実行中の画質向上部では画質向上処理を実行することが難しい可能性がある。このため、追加学習の実行中の学習済モデルに対する学習データ以外の医用画像の入力を禁止するように構成されることがよい。また、追加学習の実行前の学習済モデルと同じ学習済モデルをもう一つ予備の学習済モデルとして用意してもよい。このとき、追加学習の実行中には、予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能なように構成されることがよい。追加学習が完了した後に、追加学習の実行後の学習済モデルを評価し、問題がなければ、予備の学習済モデルから追加学習の実行後の学習済モデルに置き換えればよい。また、問題があれば、予備の学習済モデルが用いられるようにしてもよい。なお、追加学習して得た学習済モデルの評価としては、例えば、高画質化用の学習済モデルで得た高画質画像を他の種類の画像と分類するための分類用の学習済モデルが用いられてもよい。分類用の学習済モデルは、例えば、高画質化用の学習済モデルで得た高画質画像と低画質画像とを含む複数の画像を入力データとし、これらの画像の種類がラベル付け(アノテーション)されたデータを正解データとして含む学習データを学習して得た学習済モデルであってもよい。このとき、推定時(予測時)の入力データの画像の種類が、学習時の正解データに含まれる画像の種類毎の確からしさを示す情報(例えば、割合を示す数値)と合わせて表示されてもよい。なお、分類用の学習済モデルの入力データとしては、上記の画像以外にも、複数の低画質画像の重ね合わせ処理(例えば、位置合わせして得た複数の低画質画像の平均化処理)等によって、高コントラスト化やノイズ低減等が行われたような高画質な画像が含まれてもよい。また、追加学習の実行後の学習済モデルの評価としては、例えば、追加学習の実行後の学習済モデルと追加学習の実行前の学習済モデル(予備の学習済モデル)とをそれぞれ用いて同一の画像から得た複数の高画質画像を比較、あるいは該複数の高画質画像の解析結果を比較してもよい。このとき、例えば、該複数の高画質画像の比較結果(追加学習による変化の一例)、あるいは該複数の高画質画像の解析結果の比較結果(追加学習による変化の一例)が所定の範囲であるか否かを判定し、判定結果が表示されてもよい。
上述した様々な実施例及び変形例において、検者からの指示は、手動による指示(例えば、ユーザーインターフェース等を用いた指示)以外にも、音声等による指示であってもよい。このとき、例えば、機械学習により得た音声認識モデル(音声認識エンジン、音声認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、手動による指示は、キーボードやタッチパネル等を用いた文字入力等による指示であってもよい。このとき、例えば、機械学習により得た文字認識モデル(文字認識エンジン、文字認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。また、検者からの指示は、ジェスチャー等による指示であってもよい。このとき、機械学習により得たジェスチャー認識モデル(ジェスチャー認識エンジン、ジェスチャー認識用の学習済モデル)を含む機械学習モデルが用いられてもよい。
また、自然言語処理に関する技術としては、文書データを教師なし学習により事前学習して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、事前学習して得た学習済モデルを更に目的に応じて転移学習(あるいはファインチューニング)して得た学習済モデルが用いられてもよい。また、自然言語処理に関する技術としては、例えば、BERT(Bidirectional Encoder Representations from Transformers)が適用されてもよい。また、自然言語処理に関する技術としては、文章内の特定の単語を左右両方の文脈から予測することで、文脈(特徴量)を自ら抽出(表現)可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、入力される時系列データにおける2つのシーケンス(センテンス)の関係性(連続性)を判断可能なモデルが適用されてもよい。また、自然言語処理に関する技術としては、隠れ層にTransformerのEncoderが用いられ、ベクトルのシーケンスが入力、出力されるモデルが適用されてもよい。
ここで、本変形例が適用可能な検者からの指示は、上述した様々な実施例及び変形例に記載のような種々の画像や解析結果の表示の変更、En-Face画像の生成のための深度範囲の選択、追加学習用の学習データとして用いるか否かの選択、学習済モデルの選択、種々の学習済モデルを用いて得た結果の出力(表示や送信等)や保存等、に関する少なくとも1つの指示であれば何でもよい。また、本変形例が適用可能な検者からの指示は、撮影後の指示だけでなく、撮影前の指示であってもよく、例えば、種々の調整に関する指示、種々の撮影条件の設定に関する指示、撮影開始に関する指示であってもよい。また、本変形例が適用可能な検者からの指示は、表示画面の変更(画面遷移)に関する指示であってもよい。
上述した様々な実施例及び変形例において、高画質画像等は、検者からの指示に応じて記憶部240に保存されてもよい。このとき、高画質画像等を保存するための検者からの指示の後、ファイル名の登録の際に、推奨のファイル名として、ファイル名のいずれかの箇所(例えば、最初の箇所、最後の箇所)に、高画質化用の学習済モデルを用いた処理(高画質化処理)により生成された画像であることを示す情報(例えば、文字)を含むファイル名が、検者からの指示に応じて編集可能な状態で表示されてもよい。
なお、記憶部240を用いて保存する構成を上述したが、記憶部240は、ネットワークのデータサーバ、クラウド、データベース等であってもよい。また、表示部270の表示制御は、記憶部240、データ管理媒体、画像管理システムを通じて実行されてもよい。ここで、画像管理システムは、撮影装置によって撮影された画像や画像処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して画像処理を行ったり、画像処理の要求を他の装置に要求したりすることができる。画像管理システムとしては、例えば、画像保存通信システム(PACS)を含むことができる。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。また、画像管理システムにおいて、上述した様々な実施例及び変形例における学習に関する内容を識別するための情報(上述したように、画像に重畳させる、ファイル名に記述する、ファイル内部のヘッダに情報を記載する)を画像および情報に紐付けしてもよい。これにより、例えば、保存されている画像が、学習済モデルを用いた処理後の画像であるかどうかを容易に識別することができる。また、画像管理システムは、このような画像データを受信した際に、受信した画像データが学習済モデルを用いて処理して得たデータであるか否かを、送信元に確認するように構成されてもよい。また、紐付けする情報は、学習モデル情報(他の処理、疾患、装置、リーディングセンター)であってもよい。また、本変形例における保存される情報及び表示される情報は、上述したような、学習済の画像評価結果(数値、評価内容、追加学習などの情報)であってもよい。
上述した様々な実施例及び変形例において、上述したような種々の学習済モデルのうち、第1の種類の学習済モデルで得た画像(例えば、高画質画像、解析マップ等の解析結果を示す画像、物体認識結果を示す画像、セグメンテーション結果を示す画像)を、第1の種類とは異なる第2の種類の学習済モデルに入力してもよい。このとき、第2の種類の学習済モデルの処理による結果(例えば、解析結果、診断結果、物体認識結果、セグメンテーション結果)が生成されるように構成されてもよい。
なお、上記実施例及び変形例におけるモーションコントラストデータの生成処理は、断層画像の輝度値に基づいて行われる構成に限られない。上記各種処理は、OCT撮影部100で取得された干渉信号、干渉信号にフーリエ変換を施した信号、該信号に任意の処理を施した信号、及びこれらに基づく断層画像等を含む断層データに対して適用されてよい。これらの場合も、上記構成と同様の効果を奏することができる。
また、上述した様々な実施例及び変形例による画像処理装置又は画像処理方法によって処理される画像は、任意のモダリティ(撮影装置、撮影方法)を用いて取得された医用画像を含む。処理される医用画像は、任意の撮影装置等で取得された医用画像や、上記実施例及び変形例による画像処理装置又は画像処理方法によって作成された画像を含むことができる。
本発明は、上述した様々な実施例及び変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
Claims (22)
- 被検体の第1の医用画像を取得する取得部と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する生成部と、
前記取得された第1の医用画像を解析して得た解析結果と前記生成された第2の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
前記第1の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである、画像処理装置。 - 被検体の第1の医用画像を取得する取得部と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する生成部と、
前記取得された第1の医用画像を解析して得た解析結果と前記生成された第2の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
前記表示制御部は、前記取得された第1の医用画像の解析結果と前記生成された第2の医用画像の解析結果との差分が所定値よりも大きい場合に、又は前記差分が所定値よりも大きい画素の数が別の所定値よりも多い場合に、警告を前記比較結果として前記表示部に表示させる、画像処理装置。 - 被検体の第1の医用画像を取得する取得部と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する生成部と、
前記取得された第1の医用画像を解析して得た解析結果と前記生成された第2の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
前記表示制御部は、前記取得された第1の医用画像の解析結果と前記生成された第2の医用画像の解析結果との差分が所定値よりも大きい領域に対して、前記差分が所定値以下である他の領域とは識別可能に前記表示部に表示させることにより、前記比較結果を前記表示部に表示させる、画像処理装置。 - 被検体の第1の医用画像を取得する取得部と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する生成部と、
前記取得された第1の医用画像を解析して得た解析結果と前記生成された第2の医用画像を解析して得た解析結果との比較結果を表示部に表示させる表示制御部と、を備え、
前記取得部は、被検体の深さ方向の共通の範囲における情報に基づいて生成された正面画像である複数の第1の医用画像を取得し、
前記生成部は、前記学習済モデルを用いて、前記取得された複数の第1の医用画像から、前記取得された複数の第1の医用画像の画質よりも高い画質を有する複数の第2の医用画像を生成し、
前記表示制御部は、前記取得された複数の第1の医用画像と前記生成された複数の第2の医用画像との比較結果を前記表示部に表示させる、画像処理装置。 - 前記第1の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである、請求項2乃至4のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、前記取得された第1の医用画像の解析結果と前記生成された第2の医用画像の解析結果との差分に基づいて色分けされたカラーマップ画像を、前記比較結果として前記表示部に表示させる、請求項1乃至5のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、前記取得された第1の医用画像又は前記生成された第2の医用画像に前記カラーマップ画像を重畳して前記表示部に表示させる、請求項6に記載の画像処理装置。
- 前記解析結果は、血管に関する値、無血管領域に関する値、浮腫領域に関する値の少なくとも1つである、請求項1乃至7のいずれか一項に記載の画像処理装置。
- 被検体の第1の医用画像を取得する取得部と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する生成部と、
前記生成された第2の医用画像と、前記生成された第2の医用画像が入力データとして入力された敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像との差に関する情報を、異常部位に関する情報として表示部に表示させる表示制御部と、
を備える、画像処理装置。 - 前記学習済モデルの学習データは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理及び階調変換処理のうちの一つの処理により得られた画像と、被検体の第1の医用画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像と、前記第1の医用画像の撮影工程よりも工数の多い撮影工程で取得された画像とのうちの少なくとも一つを含む、請求項1乃至9のいずれか一項に記載の画像処理装置。
- 前記表示制御部は、被検体の医用画像を学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記生成された第2の医用画像に関する解析結果と、被検体の医用画像を学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記生成された第2の医用画像に関する診断結果と、被検体の医用画像を学習して得た物体認識用の学習済モデルを用いて生成された物体検出結果であって、前記生成された第2の医用画像に関する物体検出結果と、被検体の医用画像を学習して得たセグメンテーション用の学習済モデルを用いて生成されたセグメンテーション結果であって、前記生成された第2の医用画像に関するセグメンテーション結果と、被検体の医用画像を学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記生成された第2の医用画像に関する類似症例とのうちの少なくとも一つを前記表示部に表示させる、請求項1乃至10のいずれか一項に記載の画像処理装置。
- 前記第2の医用画像の生成の実行に関する検者からの指示又は前記表示制御部による表示の制御の実行に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうちの少なくとも1つの学習済モデルを用いて得た情報である、請求項1乃至11のいずれか一項に記載の画像処理装置。
- 前記生成された第2の医用画像のファイル名は、前記第2の医用画像の生成に関する処理を行って生成された画像であることを示す情報を、検者からの指示に応じて編集可能な状態で含む、請求項1乃至12のいずれか一項に記載の画像処理装置。
- 第1の撮影条件を示す情報を含む学習データを用いて得た第1の学習済モデルと、第1の撮影条件を示す情報とは異なる第2の撮影条件を示す情報を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択部と、
選択された学習済モデルに対応する撮影条件を示す情報と該撮影条件を示す情報を用いて得られた撮影画像とがペアとなるデータであって、操作者からの指示に応じて検索して得たデータを学習データとする学習を、該選択された学習済モデルに対して追加学習として実行する制御部と、を備え、
前記制御部は、前記追加学習の実行中である学習済モデルに対する学習データ以外の医用画像の入力を禁止し、前記追加学習の実行前の学習済モデルと同じ学習済モデルを予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能とする、画像処理装置。 - 前記制御部は、前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を表示部に表示される、請求項14に記載の画像処理装置。
- 第1の撮影条件を示す情報を含む学習データを用いて得た第1の学習済モデルと、第1の撮影条件を示す情報とは異なる第2の撮影条件を示す情報を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択部と、
選択された学習済モデルに対応する撮影条件を示す情報と該撮影条件を示す情報を用いて得られた撮影画像とがペアとなるデータであって、操作者からの指示に応じて検索して得たデータを学習データとする学習を、該選択された学習済モデルに対して追加学習として実行する制御部と、を備え、
前記制御部は、前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を表示部に表示される、画像処理装置。 - 被検体の第1の医用画像を取得する工程と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する工程と、
前記取得された第1の医用画像を解析して得た解析結果と前記生成された第2の医用画像を解析して得た解析結果との比較結果を表示部に表示させる工程と、を含み、
前記第1の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである、画像処理方法。 - 被検体の第1の医用画像を取得する工程と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する工程と、
前記取得された第1の医用画像を解析して得た解析結果と前記生成された第2の医用画像を解析して得た解析結果との比較結果を表示部に表示させる工程と、を含み、
前記取得する工程では、被検体の深さ方向の共通の範囲における情報に基づいて生成された正面画像である複数の第1の医用画像を取得し、
前記生成する工程では、前記学習済モデルを用いて、前記取得された複数の第1の医用画像から、前記取得された複数の第1の医用画像の画質よりも高い画質を有する複数の第2の医用画像を生成し、
前記表示させる工程では、前記取得された複数の第1の医用画像と前記生成された複数の第2の医用画像との比較結果を前記表示部に表示させる、画像処理方法。 - 被検体の第1の医用画像を取得する工程と、
学習済モデルを用いて、前記取得された第1の医用画像から、前記取得された第1の医用画像の画質よりも高い画質を有する第2の医用画像を生成する工程と、
前記生成された第2の医用画像と、前記生成された第2の医用画像が入力データとして入力された敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像との差に関する情報を、異常部位に関する情報として表示部に表示させる工程と、
を含む、画像処理方法。 - 第1の撮影条件を示す情報を含む学習データを用いて得た第1の学習済モデルと、第1の撮影条件を示す情報とは異なる第2の撮影条件を示す情報を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する工程と、
選択された学習済モデルに対応する撮影条件を示す情報と該撮影条件を示す情報を用いて得られた撮影画像とがペアとなるデータであって、操作者からの指示に応じて検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行する工程と、を含み、
前記実行する工程では、前記追加学習の実行中である学習済モデルに対する学習データ以外の医用画像の入力を禁止し、前記追加学習の実行前の学習済モデルと同じ学習済モデルを予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能とする、画像処理方法。 - 第1の撮影条件を示す情報を含む学習データを用いて得た第1の学習済モデルと、第1の撮影条件を示す情報とは異なる第2の撮影条件を示す情報を含む学習データを用いて得た第2の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する工程と、
選択された学習済モデルに対応する撮影条件を示す情報と該撮影条件を示す情報を用いて得られた撮影画像とがペアとなるデータであって、操作者からの指示に応じて検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行する工程と、
前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を表示部に表示される工程と、
を含む、画像処理方法。 - プロセッサーによって実行されると、該プロセッサーに請求項17乃至21のいずれか一項に記載の画像処理方法の各工程を実行させる、プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980086346.9A CN113226153A (zh) | 2018-12-26 | 2019-12-25 | 图像处理装置、图像处理方法和程序 |
PCT/JP2019/050732 WO2020138128A1 (ja) | 2018-12-26 | 2019-12-25 | 画像処理装置、画像処理方法、及びプログラム |
US17/343,207 US20210304363A1 (en) | 2018-12-26 | 2021-06-09 | Image processing apparatus, image processing method and computer-readable medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018243769 | 2018-12-26 | ||
JP2018243769 | 2018-12-26 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020103880A JP2020103880A (ja) | 2020-07-09 |
JP2020103880A5 JP2020103880A5 (ja) | 2022-04-18 |
JP7341874B2 true JP7341874B2 (ja) | 2023-09-11 |
Family
ID=71447556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019217331A Active JP7341874B2 (ja) | 2018-12-26 | 2019-11-29 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210304363A1 (ja) |
JP (1) | JP7341874B2 (ja) |
CN (1) | CN113226153A (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7107431B2 (ja) * | 2019-03-14 | 2022-07-27 | 日本電気株式会社 | 生成方法、学習データ生成装置及びプログラム |
JP2021015346A (ja) * | 2019-07-10 | 2021-02-12 | キヤノン株式会社 | 情報処理方法、画像処理装置、及びプログラム |
US11890550B2 (en) * | 2020-01-02 | 2024-02-06 | Mattel, Inc. | Electrical tomography-based object recognition |
TWI799705B (zh) * | 2020-05-20 | 2023-04-21 | 倍利科技股份有限公司 | 醫學影像輔助判讀系統 |
US20210390692A1 (en) * | 2020-06-16 | 2021-12-16 | Welch Allyn, Inc. | Detecting and tracking macular degeneration |
CN111970280B (zh) * | 2020-08-18 | 2022-05-06 | 中南大学 | 连续变量量子密钥分发***的攻击检测方法 |
CN112559781B (zh) * | 2020-12-10 | 2023-04-07 | 西北大学 | 一种图像检索***和方法 |
CN116709986A (zh) * | 2021-01-01 | 2023-09-05 | 皇家飞利浦有限公司 | 用于便于医学图像的阅读的方法和*** |
CN112950577B (zh) * | 2021-02-26 | 2024-01-16 | 南方科技大学 | 图像处理方法、装置、电子设备和存储介质 |
JP2022132822A (ja) * | 2021-03-01 | 2022-09-13 | 東洋製罐株式会社 | 異常検知に関する方法、プログラム、装置及びシステム |
CN115860055B (zh) * | 2022-11-23 | 2024-01-02 | 北京百度网讯科技有限公司 | 性能确定方法、性能优化方法、装置、电子设备以及介质 |
CN117547219A (zh) * | 2024-01-11 | 2024-02-13 | 江苏富翰医疗产业发展有限公司 | 基于彩色照相的oct成像*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014167935A1 (ja) | 2013-04-08 | 2014-10-16 | 株式会社 日立メディコ | X線ct装置、再構成演算装置、及び再構成演算方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9208558B2 (en) * | 1999-08-11 | 2015-12-08 | Osteoplastics Llc | Methods and systems for producing an implant |
US6351660B1 (en) * | 2000-04-18 | 2002-02-26 | Litton Systems, Inc. | Enhanced visualization of in-vivo breast biopsy location for medical documentation |
DE112005002929A5 (de) * | 2004-09-21 | 2007-08-30 | Imedos Gmbh | Verfahren und Vorrichtung zur retalinen Gefässanalyse anhand digitaler Bilder |
JP2007280229A (ja) * | 2006-04-11 | 2007-10-25 | Fujifilm Corp | 類似症例検索装置、類似症例検索方法およびそのプログラム |
US8374457B1 (en) * | 2008-12-08 | 2013-02-12 | Adobe Systems Incorporated | System and method for interactive image-noise separation |
JP2011013334A (ja) * | 2009-06-30 | 2011-01-20 | Yamaha Corp | 画像表示装置 |
US8929632B2 (en) * | 2011-09-22 | 2015-01-06 | Siemens Aktiengesellschaft | Temporal difference encoding for angiographic image sequences |
JP6033697B2 (ja) * | 2013-02-01 | 2016-11-30 | 株式会社Nttドコモ | 画像評価装置 |
US9547828B2 (en) * | 2014-05-14 | 2017-01-17 | Cisco Technology, Inc. | Hierarchical hybrid batch-incremental learning |
JP6702764B2 (ja) * | 2016-03-08 | 2020-06-03 | キヤノン株式会社 | 光干渉断層データの処理方法、該方法を実行するためのプログラム、及び処理装置 |
JP6598713B2 (ja) * | 2016-03-11 | 2019-10-30 | キヤノン株式会社 | 情報処理装置 |
JP6867117B2 (ja) * | 2016-07-08 | 2021-04-28 | 株式会社トプコン | 医用画像処理方法及び医用画像処理装置 |
JP6736490B2 (ja) * | 2017-01-17 | 2020-08-05 | キヤノン株式会社 | 画像処理装置、光干渉断層撮像装置、システム、画像処理方法、及びプログラム |
US10733744B2 (en) * | 2017-05-11 | 2020-08-04 | Kla-Tencor Corp. | Learning based approach for aligning images acquired with different modalities |
US10460440B2 (en) * | 2017-10-24 | 2019-10-29 | General Electric Company | Deep convolutional neural network with self-transfer learning |
-
2019
- 2019-11-29 JP JP2019217331A patent/JP7341874B2/ja active Active
- 2019-12-25 CN CN201980086346.9A patent/CN113226153A/zh active Pending
-
2021
- 2021-06-09 US US17/343,207 patent/US20210304363A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014167935A1 (ja) | 2013-04-08 | 2014-10-16 | 株式会社 日立メディコ | X線ct装置、再構成演算装置、及び再構成演算方法 |
Non-Patent Citations (1)
Title |
---|
長谷川 玲,3.AIによるノイズ低減処理「PixelShine」,INNERVISION 第32巻 第7号 ,日本,(株)インナービジョン,第32巻,第31頁-第34頁 |
Also Published As
Publication number | Publication date |
---|---|
US20210304363A1 (en) | 2021-09-30 |
CN113226153A (zh) | 2021-08-06 |
JP2020103880A (ja) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7341874B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7229881B2 (ja) | 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム | |
JP7250653B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20210104313A1 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
JP7269413B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム | |
JP7413147B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11922601B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
JP7305401B2 (ja) | 画像処理装置、画像処理装置の作動方法、及びプログラム | |
US11887288B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US20220151483A1 (en) | Ophthalmic apparatus, method for controlling ophthalmic apparatus, and computer-readable medium | |
WO2020202680A1 (ja) | 情報処理装置及び情報処理方法 | |
JP7374615B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7332463B2 (ja) | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム | |
WO2020138128A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022155690A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7362403B2 (ja) | 画像処理装置および画像処理方法 | |
JP7344847B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2021164535A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2020075719A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2021086560A (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
JP7406901B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2021069667A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7488934B2 (ja) | 画像処理装置、画像処理装置の作動方法、及びプログラム | |
JP2022121202A (ja) | 画像処理装置および画像処理方法 | |
JP2023010308A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220408 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230830 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7341874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |