JP7495511B2 - 医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラム - Google Patents
医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラム Download PDFInfo
- Publication number
- JP7495511B2 JP7495511B2 JP2022550561A JP2022550561A JP7495511B2 JP 7495511 B2 JP7495511 B2 JP 7495511B2 JP 2022550561 A JP2022550561 A JP 2022550561A JP 2022550561 A JP2022550561 A JP 2022550561A JP 7495511 B2 JP7495511 B2 JP 7495511B2
- Authority
- JP
- Japan
- Prior art keywords
- attention
- medical image
- image
- medical
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 157
- 238000011017 operating method Methods 0.000 title description 2
- 238000003384 imaging method Methods 0.000 claims description 121
- 230000002159 abnormal effect Effects 0.000 claims description 78
- 238000003860 storage Methods 0.000 claims description 38
- 238000011282 treatment Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 24
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000002059 diagnostic imaging Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 54
- 238000003780 insertion Methods 0.000 description 30
- 230000037431 insertion Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 21
- 238000005286 illumination Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 230000003902 lesion Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 9
- 239000003086 colorant Substances 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 231100000241 scar Toxicity 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- JQMFQLVAJGZSQS-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-N-(2-oxo-3H-1,3-benzoxazol-6-yl)acetamide Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)NC1=CC2=C(NC(O2)=O)C=C1 JQMFQLVAJGZSQS-UHFFFAOYSA-N 0.000 description 1
- CONKBQPVFMXDOV-QHCPKHFHSA-N 6-[(5S)-5-[[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]methyl]-2-oxo-1,3-oxazolidin-3-yl]-3H-1,3-benzoxazol-2-one Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C[C@H]1CN(C(O1)=O)C1=CC2=C(NC(O2)=O)C=C1 CONKBQPVFMXDOV-QHCPKHFHSA-N 0.000 description 1
- DFGKGUXTPFWHIX-UHFFFAOYSA-N 6-[2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]acetyl]-3H-1,3-benzoxazol-2-one Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)C1=CC2=C(NC(O2)=O)C=C1 DFGKGUXTPFWHIX-UHFFFAOYSA-N 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0803—Counting the number of times an instrument is used
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Endoscopes (AREA)
Description
図1に示す内視鏡画像閲覧支援システム10は、内視鏡検査で得られた内視鏡画像100(図7等参照)の閲覧を支援するために用いられるコンピュータシステムであり、ネットワーク14を介して内視鏡システム16と接続されている。ネットワーク14は、例えば、病院内のLAN(Local Area Network)である。
内視鏡システム16は、内視鏡18と、光源装置19と、プロセッサ装置20と、ディスプレイ21と、コンソール22とを備えている。内視鏡18は、患者の体内に挿入される挿入部23と、挿入部23の基端部分に設けた操作部24とを備える。挿入部23の先端側には、先端部23a及び湾曲部23bが設けられている。操作部24に設けられたアングルノブ24aを操作することにより、湾曲部23bが湾曲動作する。この湾曲動作によって、先端部23aが所望の方向に向けられる。
図12に示すように、内視鏡画像閲覧支援サーバ80には、AP126として、サーバプログラムがインストールされている。サーバプログラムは、コンピュータを内視鏡画像閲覧支援サーバ80(医用画像処理装置)として機能させるための作動プログラムである。サーバプログラムが起動されると、内視鏡画像閲覧支援サーバ80のCPU110は、メモリ112などと協働して、受付部140、内視鏡画像取得部141(撮像情報取得部に相当する。)、注目区間設定部142、内視鏡画像選別部143(医用画像選別部に相当する。)、画面表示制御部144、保存制御部145として機能する。
上記第1実施形態では、注目区間設定部142が推定するユーザの注目度として、注目医用画像と前後の内視鏡画像との類似度を注目度としているが、これに限らず、注目度の推定として、異常領域に対する処置状態を注目度としてもよい。図17においては、内視鏡検査において異常領域である病変部LSに対する処置を処置具150で行っており、検出された異常領域の検出情報、及び処置具150による処置状態情報が付帯情報101に記録されている。なお、注目度の推定として、異常領域に対する処置状態を注目度としたこと以外は、第2実施形態は、上記第1実施形態と同様であり、説明を省略する。
なお、上記第1及び第2実施形態では、注目区間設定部142が推定するユーザの注目度として、注目医用画像と前後の内視鏡画像との類似度、又は異常領域に対する処置状態を注目度としているが、本発明はこれに限らず、注目区間設定部142による注目度の推定として、異常領域の異常度の大きさを注目度としてもよい。この場合、異常領域の異常度としては、例えば、異常領域の色情報、形状、大きさ等から画像処理により判断する。なお、異常領域の大きさから異常度を判断する場合、測長機能のある内視鏡システム16により、異常領域の寸法を測定し、この寸法を付帯情報101に記録することが好ましい。
上記第1及び第2実施形態では、注目区間設定部142が推定するユーザの注目度として、異常領域に関する情報に基づいて注目度を推定しているが、これに限らず、注目度の推定として、時系列順に配列した場合に、前後の内視鏡画像との撮像間隔に反比例した値を注目度としてもよい。図18においては、内視鏡検査において、内視鏡画像を撮像した撮像時刻を取得しており、取得された撮像時刻が付帯情報101に記録されている。図中の撮像時刻T1~T7は、内視鏡画像100の画像ID(A1~A7)に対応している。なお、注目度の推定として、前後の内視鏡画像100との撮像間隔に反比例した値を注目度としたこと以外は、第3実施形態は、上記第1実施形態と同様であり、説明を省略する。
注目度の推定としては、上記第1~第3実施形態に限定するものではなく、内視鏡画像を撮像した際に、撮像センサが位置していた被検体内の位置情報を取得し、この位置情報から撮像センサが同じ位置で内視鏡画像を撮像した撮像回数をカウントし、撮像回数を注目度としてもよい。図19及び図20においては、内視鏡検査において、内視鏡画像を撮像する際、撮像センサが位置していた被検体内の位置情報を取得する内視鏡システムの一部について図示している。このような位置情報を取得する内視鏡システムは、国際公開2018/179991A1号公報に詳しく説明されている。なお、被検体内の位置情報を取得する構成以外は、第4実施形態の内視鏡システムは、上記第1~第3実施形態の内視鏡システム16と同様であり、説明を省略する。
上記第4実施形態では、内視鏡画像を撮像した際に、撮像センサが位置していた被検体内の位置情報を取得し、この位置情報から撮像センサが同じ位置で内視鏡画像を撮像した撮像回数をカウントし、撮像回数を注目度としているが、これに限らず、内視鏡画像を撮像した際に、撮像センサが位置していた被検体内の位置情報と、撮像時刻の情報とから注目度を推定してもよい。本変形例の場合、上記第3実施形態と同様に撮像時刻を付帯情報101に記録し、かつ上記第4実施形態と同様に撮像センサが位置していた被検体内の位置情報を付帯情報101に記録する。
注目度の推定としては、上記第1~第4実施形態に限定するものではなく、内視鏡画像を撮像した際に用いた光源の波長帯域情報を取得し、この光源の波長帯域情報から注目度を推定してもよい。図22においては、内視鏡検査において、内視鏡画像を撮像する際に用いた光源の波長帯域情報として、内視鏡画像を撮像する際に選択された観察モードの種類を取得しており、取得された観察モードの種類が付帯情報101に記録されている。なお、注目度の推定として、光源の波長帯域情報から注目度を推定したこと以外は、第5実施形態は、上記第1実施形態と同様であり、説明を省略する。
上記各実施形態では、内視鏡画像選別部143は、各注目区間から注目度に応じた比率で内視鏡画像100を選別しているが、これに限るものではなく、比率に応じた枚数が、ユーザが指定した枚数を超えた場合、ユーザが指定した枚数を超えない範囲で内視鏡画像を選別してもよい。この変形例では、内視鏡画像閲覧支援サーバ80において、内視鏡画像を選別する際の上限の枚数を入力することができる。
上記各実施形態における内視鏡画像表示画面104では、内視鏡画像選別部143により選別された選別内視鏡画像100Sのみを時系列順に表示する例のみを上げているが、本発明はこれに限るものではなく、図24に示すように、選別内視鏡画像100Sを注目区間設定部142で算出した注目度の順に表示してもよい。なお、図24において各選別内視鏡画像100Sに付した数字は注目度を示しており、左上から右下に向かって選別内視鏡画像100Sを注目度の順に配列している。なお、図24に示す例では、全ての選別内視鏡画像100Sについて注目度を付しているが、これらの注目度は表示してもよいし、表示させなくてもよく、注目度が一定の閾値以上の場合のみ表示させてもよい。
また、選別内視鏡画像100Sのみを表示させる選別内視鏡画像表示モードだけではなく、図25に示すように、内視鏡画像表示画面104として、1回の内視鏡検査で取得された複数枚の内視鏡画像100のすべてを表示する全画像表示モードを行ってもよい。この場合、選別内視鏡画像100Sと、選別されていない内視鏡画像100である非選別内視鏡画像100Nとをユーザが区別できるように、異なる表示にすることが好ましく、図25に示す例では、選別内視鏡画像100Sのみ外枠170を付して表示させている。これに限らず、背景色を変えるなど選別内視鏡画像100Sと非選別内視鏡画像100Nとが異なる表示であればよい。また、図25に示す例では、選別内視鏡画像100Sに加えて、非選別内視鏡画像100Nも合わせて時系列順に表示しているが、これに限らず、注目度の順に表示してもよい。また、このような全画像表示モードにおいても、注目度は表示してもよいし、表示させなくてもよく、注目度が一定の閾値以上の場合のみ表示させてもよい。
14 ネットワーク
16 内視鏡システム
18 内視鏡
19 光源装置
20 プロセッサ装置
21 ディスプレイ
22 コンソール
23 挿入部
23a 先端部
23b 湾曲部
24 操作部
24a アングルノブ
24b フリーズスイッチ
24c モード切替部
24d ズーム操作部
30 光源部
30a V-LED
30b B-LED
30c G-LED
30d R-LED
31 光源制御部
32 波長カットフィルタ
33 ライトガイド
35a 照明光学系
35b 撮像光学系
36 照明レンズ
37 対物レンズ
38 拡大光学系
38a ズームレンズ
38b レンズ駆動部
39 撮像センサ
40 CDS回路
42 AGC回路
44 A/D変換回路
50 画像信号取得部
51 DSP(Digital Signal Processor)
52 ノイズ低減部
53 画像処理部
54 表示制御部
55 画像保存制御部
56 画像保存部
58 通常モード画像処理部
59 特殊光モード画像処理部
60 異常領域検出モード画像処理部
61 検出用画像処理部
62 異常領域検出部
80 内視鏡画像閲覧支援サーバ
81 クライアント端末
82 サーバ群
84 ネットワーク
86 画像サーバ
88 レポートサーバ
90 画像データベース
92 レポートデータベース
94 検査レポート
94A レポート本体
96 画像フォルダ
98 レポートフォルダ
100 内視鏡画像
100A 注目内視鏡画像
100N 非選別内視鏡画像
100S 選別内視鏡画像
101 付帯情報
101A 検出情報
102 撮像情報
104 内視鏡画像表示画面
104A 切替ボタン
105 所見
106 レポート表示画面
108 ポインタ
110 CPU(Central Processing Unit)
112 メモリ
114 ストレージデバイス
118 入出力部
120 データバス
122 ディスプレイ
124 入力デバイス
126 アプリケーションプログラム
128 起動画面
128A 入力欄
128B 決定ボタン
130 GUI(Graphical User Interface)制御部
132 要求発行部
140 受付部
141 内視鏡画像取得部
142 注目区間設定部
143 内視鏡画像選別部
144 画面表示制御部
145 保存制御部
146 画面データ生成部
147 出力制御部
150 処置具
151 切除跡
161 測定用目盛り
162 目盛り検出センサ
163 挿入状態取得部
170 外枠
A 検査
G1、G2、G3 注目区間
Q 診断経路
T1~T7 撮像時刻
Claims (16)
- ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
各注目区間における前記注目度の平均値に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
前記プロセッサは、
複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも1つの医用画像に対して、画像処理を用いて注目度を推定する医用画像処理装置。 - 前記プロセッサは、前記画像処理を用いた注目度の推定として、時系列順に配列した場合に、前後の医用画像との類似度を前記注目度とする請求項1記載の医用画像処理装置。
- 前記プロセッサは、異常領域を含む医用画像を前記注目医用画像として決定し、
前記画像処理を用いた注目度の推定として、前記異常領域の異常度の大きさを前記注目度とする請求項1記載の医用画像処理装置。 - 前記プロセッサは、異常領域を含む医用画像を前記注目医用画像として決定し、
前記画像処理を用いた注目度の推定として、前記異常領域に対する処置状態を前記注目度とする請求項1記載の医用画像処理装置。 - ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
前記注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
前記プロセッサは、
複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも1つの医用画像に対して、画像処理を用いて注目度を推定し、
前記プロセッサは、前記付帯情報から前記医用画像を撮像した撮像時刻を取得し、前記画像処理を用いた注目度の推定に加えて、時系列順に配列した場合に、前後の医用画像との撮像間隔に反比例した値を注目度とする医用画像処理装置。 - ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
前記注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
前記プロセッサは、
複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも1つの医用画像に対して、画像処理を用いて注目度を推定し、
前記医用画像は、内視鏡の撮像センサで撮像した内視鏡画像であり、
前記付帯情報は、前記医用画像を撮像した際に、前記撮像センサが位置していた被検体内の位置を示す位置情報、及び前記医用画像を撮像した撮像時刻が記録されており、
前記プロセッサは、前記位置情報、及び前記撮像時刻を取得し、前記医用画像を撮像した際に、前記撮像センサが同じ位置に滞在していた滞在時間の長さを前記注目度とする医用画像処理装置。 - ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
前記注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
前記プロセッサは、
複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも1つの医用画像に対して、画像処理を用いて注目度を推定し、
前記医用画像は、内視鏡の撮像センサで撮像した内視鏡画像であり、
前記付帯情報は、前記医用画像を撮像した際に、前記撮像センサが位置していた被検体内の位置を示す位置情報が記録されており、
前記プロセッサは、前記位置情報から、前記撮像センサが同じ位置で前記医用画像を撮像した撮像回数をカウントし、前記撮像回数を前記注目度とする医用画像処理装置。 - ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
前記注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
前記プロセッサは、
複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも1つの医用画像に対して、画像処理を用いて注目度を推定し、
前記付帯情報は、前記医用画像を撮像した際に用いた光源の波長帯域情報であり、
前記プロセッサは、前記波長帯域情報から前記注目度を推定する医用画像処理装置。 - 前記プロセッサは、ユーザが前記医用画像を撮像するための機器を操作することにより撮像された前記医用画像及び前記付帯情報を取得する請求項1ないし8のいずれか1項に記載の医用画像処理装置。
- 前記プロセッサは、ユーザが前記医用画像を撮像するための機器を操作せず自動的に撮像された前記医用画像及び前記付帯情報を取得する請求項1ないし8のいずれか1項に記載の医用画像処理装置。
- 前記プロセッサは、ユーザが指定した枚数を超えない範囲で前記医用画像を選別する請求項1ないし9のいずれか1項に記載の医用画像処理装置。
- 前記プロセッサは、前記選別された前記医用画像を前記注目度に応じた順番で表示する請求項1ないし11のいずれか1項に記載の医用画像処理装置。
- 前記プロセッサは、前記選別された前記医用画像を記憶装置に保存する請求項1ないし12のいずれか1項に記載の医用画像処理装置。
- 前記注目区間については、時系列順に前後の前記医用画像の前記注目度を比較し、前記注目度の差が一定の閾値未満であれば同じ注目区間に属し、前記注目度の差が閾値以上であれば、別々の注目区間として設定される請求項1ないし13のいずれか1項に記載の医用画像処理装置。
- ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得するステップと、
前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定するステップと、
各注目区間における前記注目度の平均値に応じた比率で各注目区間から医用画像を選別するステップと、
複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも1つの医用画像に対して、画像処理を用いて注目度を推定するステップと、
を備える医用画像処理装置の作動方法。 - 医用画像に画像処理を施す医用画像処理装置にインストールされる医用画像処理装置用プログラムにおいて、
コンピュータに、
ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得する機能と、
前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定する機能と、
各注目区間における前記注目度の平均値に応じた比率で各注目区間から医用画像を選別する機能と、
複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも1つの医用画像に対して、画像処理を用いて注目度を推定する機能とを実現させるための医用画像処理装置用プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020154662 | 2020-09-15 | ||
JP2020154662 | 2020-09-15 | ||
PCT/JP2021/033708 WO2022059668A1 (ja) | 2020-09-15 | 2021-09-14 | 医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022059668A1 JPWO2022059668A1 (ja) | 2022-03-24 |
JPWO2022059668A5 JPWO2022059668A5 (ja) | 2023-05-22 |
JP7495511B2 true JP7495511B2 (ja) | 2024-06-04 |
Family
ID=80776097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022550561A Active JP7495511B2 (ja) | 2020-09-15 | 2021-09-14 | 医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230222666A1 (ja) |
JP (1) | JP7495511B2 (ja) |
WO (1) | WO2022059668A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3337419B1 (en) * | 2015-08-19 | 2020-08-12 | Brainlab AG | Reference array holder |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013128702A (ja) | 2011-12-22 | 2013-07-04 | Toshiba Corp | 医用画像処理システム |
JP2015173827A (ja) | 2014-03-14 | 2015-10-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2015173921A (ja) | 2014-03-17 | 2015-10-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017199408A1 (ja) | 2016-05-19 | 2017-11-23 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム |
WO2019082741A1 (ja) | 2017-10-26 | 2019-05-02 | 富士フイルム株式会社 | 医療画像処理装置 |
WO2019220801A1 (ja) | 2018-05-15 | 2019-11-21 | 富士フイルム株式会社 | 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム |
-
2021
- 2021-09-14 JP JP2022550561A patent/JP7495511B2/ja active Active
- 2021-09-14 WO PCT/JP2021/033708 patent/WO2022059668A1/ja active Application Filing
-
2023
- 2023-03-14 US US18/183,801 patent/US20230222666A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013128702A (ja) | 2011-12-22 | 2013-07-04 | Toshiba Corp | 医用画像処理システム |
JP2015173827A (ja) | 2014-03-14 | 2015-10-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2015173921A (ja) | 2014-03-17 | 2015-10-05 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017199408A1 (ja) | 2016-05-19 | 2017-11-23 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム |
WO2019082741A1 (ja) | 2017-10-26 | 2019-05-02 | 富士フイルム株式会社 | 医療画像処理装置 |
WO2019220801A1 (ja) | 2018-05-15 | 2019-11-21 | 富士フイルム株式会社 | 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230222666A1 (en) | 2023-07-13 |
JPWO2022059668A1 (ja) | 2022-03-24 |
WO2022059668A1 (ja) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11412917B2 (en) | Medical image processor, endoscope system, and method of operating medical image processor | |
JP6890184B2 (ja) | 医療画像処理装置及び医療画像処理プログラム | |
JP6827557B2 (ja) | 医療画像処理装置 | |
JPWO2018159363A1 (ja) | 内視鏡システム及びその作動方法 | |
JP7337073B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
US11379977B2 (en) | Medical image processing device | |
JP7146925B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
CN112512398B (zh) | 医疗图像处理装置 | |
US20230320584A1 (en) | Image processing method, image processing program, image processing device, image display device, and image display method | |
JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JPWO2019220801A1 (ja) | 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム | |
US20230222666A1 (en) | Medical image processing apparatus, method for operating medical image processing apparatus, and non-transitory computer readable medium | |
US20230101620A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
EP3858223B1 (en) | Medical image processing device, endoscope system, and operation method for medical image processing device | |
JP7402314B2 (ja) | 医用画像処理システム、医用画像処理システムの作動方法 | |
JP6866497B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
JP7427766B2 (ja) | 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム | |
US20240108198A1 (en) | Medical image processing device, endoscope system, and operation method of medical image processing device | |
JP2022090759A (ja) | 医用画像処理システム、医用画像処理システムの作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7495511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |