CN112654282A - 医疗图像处理装置、医疗图像处理方法及程序、内窥镜*** - Google Patents
医疗图像处理装置、医疗图像处理方法及程序、内窥镜*** Download PDFInfo
- Publication number
- CN112654282A CN112654282A CN201980058471.9A CN201980058471A CN112654282A CN 112654282 A CN112654282 A CN 112654282A CN 201980058471 A CN201980058471 A CN 201980058471A CN 112654282 A CN112654282 A CN 112654282A
- Authority
- CN
- China
- Prior art keywords
- region
- interest
- image processing
- attention
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 65
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 230000007423 decrease Effects 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 27
- 230000003902 lesion Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 238000005452 bending Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 210000004400 mucous membrane Anatomy 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 208000032544 Cicatrix Diseases 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010064719 Oxyhemoglobins Proteins 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 206010013530 Diverticula Diseases 0.000 description 1
- 206010013554 Diverticulum Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000006496 vascular abnormality Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Biodiversity & Conservation Biology (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Endoscopes (AREA)
Abstract
本发明提供一种在不妨碍时间序列图像的观察的情况下报知关注区域的医疗图像处理装置、医疗图像处理方法及程序、内窥镜***。医疗图像处理装置具备:坐标计算部,其基于表示时间序列图像的关注区域的关注区域信息,计算表示时间序列图像中的关注区域的位置的一个以上的关注坐标;以及报知信息显示控制部,其基于关注坐标,使图形与时间序列图像重叠,关注区域的尺寸越大,报知信息显示控制部使图形的尺寸越大,并且使图形的尺寸相对于关注区域的尺寸的比率越小,通过该医疗图像处理装置,解决上述课题。
Description
技术领域
本发明涉及医疗图像处理装置、医疗图像处理方法及程序、内窥镜***,特别是涉及报知时间序列图像的关注区域的技术。
背景技术
在医疗领域中,进行有使用了内窥镜***的检查。近年,已知有将通过内窥镜观测器(scope)拍摄的时间序列图像(动态画面)显示在显示器上,另一方面,通过时间序列图像的图像分析对包含在时间序列图像中的病变区域等关注区域进行识别,通过报知关注区域来辅助检查。
在内窥镜检查时,当利用识别器从时间序列图像中检测到病变时,可通过用框包围显示于显示器的时间序列图像中的病变区域来报知病变。
专利文献1中记载的内窥镜图像处理装置具备报知部和强调处理部,在利用检测部检测到病变部等特征区域时,报知部生成报知检测到特征区域的第一显示图像,强调处理部生成进行了针对特征区域的强调处理的第二显示图像。
通过报知部生成的第一显示图像由观察图像和显示于与观察图像的显示区域不同的显示区域的报知图像(例如,旗标(FLAG)等)构成。当第一显示图像上设有旗标时(当显示报知图像时),施术者能够更加仔细观察观察图像,且施术者通过自己目视发现病变部。
根据专利文献1中记载的发明,通过显示由显示于与观察图像的显示区域不同的显示区域的报知图像构成的第一显示图像,观察图像的观察不会受到报知图像的阻碍,但只通过报知图像无法立即确认观察图像的哪个区域中存在病变区域。另一方面,从第一显示图像切换到第二显示图像时,该切换操作变得烦杂,在同时显示第一显示图像和第二显示图像的情况下,第一显示图像和第二显示图像的显示区域变小。
另外,在专利文献2中,有以包围表示生物体组织的病变的重症度的得分高的区域的方式重叠(overlay)显示排列多个箭头而得的标记图像的记载,但由于对每个像素计算得分,并基于其计算结果在得分高的区域的边界排列多个箭头,所以有时箭头的数量变多,难以将重症度高的区域与其周边进行比较。
以往技术文献
专利文献
专利文献1:国际公开第2017/073338号
专利文献2:日本特开2016-158681号公报
发明内容
发明要解决的技术课题
如专利文献1中记载的第二显示图像那样,当使用四边形等的框图像作为标记图像,利用框图像包围观察图像中的病变区域时,有时难以与周边进行比较。
本发明是鉴于上述情况而完成的,其目的是提供一种在不妨碍时间序列图像的观察的情况下报知关注区域的医疗图像处理装置、医疗图像处理方法及程序、内窥镜***。
用于解决技术课题的手段
为了实现上述目的,医疗图像处理装置的一个方面是如下的一种医疗图像处理装置,具备:坐标计算部,其基于表示时间序列图像的关注区域的关注区域信息,计算表示时间序列图像中的关注区域的位置的一个以上的关注坐标;以及报知信息显示控制部,其基于关注坐标,使图形与时间序列图像重叠,关注区域的尺寸越大,报知信息显示控制部使图形的尺寸越大,并且使图形的尺寸相对于关注区域的尺寸的比率越小。
根据本方面,关注区域的尺寸越大,图形的尺寸越大,并且图形的尺寸相对于关注区域的尺寸的比率越小,因此即使是大的关注区域,图形的尺寸也不会变得过大,不会妨碍大的关注区域与其周边区域的比较。另外,关注区域的尺寸越小,图形的尺寸越小,并且图形的尺寸相对于关注区域的尺寸的比率越大,由此不会妨碍小的关注区域与其周边区域的比较。因此,能够在不妨碍时间序列图像的观察的情况下报知关注区域。
优选具备:时间序列图像获取部,其获取包括被摄体像的时间序列图像;关注区域检测部,其从时间序列图像获取部获取的时间序列图像中检测关注区域;以及关注区域信息获取部,其从关注区域检测部获取表示关注区域的关注区域信息。由此,能够适当地获取时间序列图像、关注区域、以及关注区域信息。
优选坐标计算部计算包围关注区域的多边形或圆的轮廓线上的一个以上的关注坐标。由此,能够适当地计算出关注坐标。
优选坐标计算部计算多边形的顶点的坐标作为一个以上的关注坐标。由此,能够适当地计算出关注坐标。
优选坐标计算部计算多边形的边的中点的坐标作为一个以上的关注坐标。由此,能够适当地计算出关注坐标。
优选多边形是四边形。由此,能够适当地计算出关注坐标。
优选坐标计算部计算将圆的圆周多等分的点的坐标作为一个以上的关注坐标。由此,能够适当地计算出关注坐标。
优选报知信息显示控制部使一个图形旋转或反转而使其重叠在时间序列图像上。由此,能够适当地报知关注坐标。
优选报知信息显示控制部根据关注区域的尺寸来变更图形的颜色或浓度。由此,能够适当地报知关注坐标。
优选具备特征量计算部,其计算关注区域或关注区域的周边的图像特征量,根据图像特征量来变更图形的颜色或浓度。由此,能够适当地报知关注坐标。
优选特征量计算部基于颜色信息、亮度信息和对比度中的至少一个来计算图像特征量。由此,能够适当地计算出图像特征量。
优选在存在多个关注区域的情况下,报知信息显示控制部分别将不同形状的图形分配给多个关注区域。由此,能够适当地报知多个关注坐标。
优选在存在多个关注区域的情况下,报知信息显示控制部分别将不同颜色或浓度的图形分配给多个关注区域。由此,能够适当地报知多个关注坐标。
优选在多个关注坐标的间隔为对应于图形的尺寸的阈值以下的情况下,报知信息显示控制部使多个图形相互连接,在多个关注坐标的间隔大于阈值的情况下,报知信息显示控制部使多个图形根据关注坐标的间隔而分离。由此,能够适当地报知关注坐标。
优选关注区域的尺寸包括关注区域的面积和关注区域的外接矩形的长径中的至少一方。由此,能够使适当尺寸的图形重叠。
优选图形的尺寸包括图形的面积和外周长中的至少一方。由此,能够使适当尺寸的图形重叠。
优选随着关注区域的尺寸连续变化,报知信息显示控制部使图形的尺寸连续变化。由此,能够使适当尺寸的图形重叠。
优选随着关注区域的尺寸连续变化,报知信息显示控制部使图形的尺寸阶段性变化。由此,能够使适当尺寸的图形重叠。
为了实现上述目的,内窥镜***的一个方面是如下的内窥镜***,具备:内窥镜观测器,其拍摄时间序列图像;显示控制部,其使内窥镜观测器拍摄的时间序列图像显示于显示器;以及上述医疗图像处理装置,报知信息显示控制部使报知关注区域的图形重叠显示在显示于显示器的时间序列图像上。
根据本方面,能够在不妨碍时间序列图像的观察的情况下报知关注区域。
为了实现上述目的,医疗图像处理方法的一个方面是如下的医疗图像处理方法,包括:坐标计算工序,基于表示时间序列图像的关注区域的关注区域信息,计算表示时间序列图像中的关注区域的位置的一个以上的关注坐标;以及报知信息显示控制工序,基于关注坐标,使图形与时间序列图像重叠,在报知信息显示控制工序中,关注区域的尺寸越大,使图形的尺寸越大,并且使图形的尺寸相对于关注区域的尺寸的比率越小。
根据本方面,能够在不妨碍时间序列图像的观察的情况下报知关注区域。用于使计算机执行上述医疗图像处理方法的程序也包括在本方面中。
发明效果
根据本发明,能够在不妨碍时间序列图像的观察的情况下报知关注区域。
附图说明
图1是表示内窥镜***的整体结构的概略图。
图2是表示医疗图像处理装置的电结构的框图。
图3是用于说明坐标计算部和报知信息显示控制部的图。
图4是表示关注区域的尺寸与报知的必要性的关系的图。
图5是表示医疗图像处理方法的各处理的流程图。
图6是表示显示于显示器的图像和报知信息的图。
图7是表示从图6所示的状态经过一段时间后显示于显示器的图像和报知信息的图。
图8是表示从图7所示的状态经过一段时间后显示于显示器的图像和报知信息的图。
图9是表示从图8所示的状态经过一段时间后显示于显示器的图像和报知信息的图。
图10是表示相对于关注区域的尺寸的图形的尺寸、以及图形的尺寸相对于关注区域的尺寸的比率的曲线图。
图11是表示相对于关注区域的尺寸的图形的尺寸、以及图形的尺寸相对于关注区域的尺寸的比率的曲线图。
图12是表示适用于包围关注区域的具有对称形状的多边形为四边形的情况的五种报知信息(A)~(E)的图。
图13是表示显示在包围关注区域的圆的轮廓线上的两种报知信息的图。
图14是表示在包围关注区域的具有对称形状的四边形的轮廓线上配置图形的顶端位置的六种报知信息的图。
图15是表示在包围关注区域的具有对称形状的三角形的轮廓线上配置各图形的四种报知信息的图。
图16是表示由两个图形构成的报知信息(A)、由五个图形构成的报知信息(B)、及由六个图形构成的报知信息(C)的图。
图17是表示由四个图形构成的报知信息的图。
图18是表示显示于显示器的图像和报知信息的另一实施方式的图。
具体实施方式
以下,参照附图对本发明的优选实施方式进行详细说明。
<内窥镜***的整体结构>
图1是表示一实施方式所涉及的包括医疗图像处理装置的内窥镜***9的整体结构的概略图。如图1所示,内窥镜***9具备作为电子内窥镜的内窥镜观测器10、光源装置11、内窥镜处理器装置12、显示装置13、医疗图像处理装置14、操作部15、以及显示器16。
内窥镜观测器10相当于获取包括被摄体像的时间序列图像的时间序列图像获取部,例如是软性内窥镜。该内窥镜观测器10具有:***部20,其***受检体内且具有顶端和基端;手边操作部21,其连设于***部20的基端侧且由施术者把持来进行各种操作;以及连设于手边操作部21的通用塞绳22。
***部20整体形成为细径且长条状。***部20从其基端侧朝向顶端侧依次由软性部25、弯曲部26、及顶端部27连设构成,软性部25具有挠性,弯曲部26通过手边操作部21的操作可弯曲,顶端部27中内置未图示的摄像光学***(物镜)及摄像元件28等。
摄像元件28是CMOS(complementary metal oxide semiconductor)型或CCD(charge coupled device)型摄像元件。被观察部位的图像光经由在顶端部27的顶端面开口的未图示的观察窗、及配置于该观察窗后方的未图示的物镜入射到摄像元件28的摄像面。摄像元件28拍摄入射到该摄像面的被观察部位的图像光(转换为电信号),并输出摄像信号。
在手边操作部21上设置有由施术者操作的各种操作部件。具体而言,在手边操作部21上设置有用于弯曲部26的弯曲操作的两种弯曲操作钮29、用于操作送气送水的送气送水按钮30、以及用于吸引操作的吸引按钮31。另外,在手边操作部21上还设置有静止画面拍摄指示部32和处置器具导入口33,静止画面拍摄指示部32用于进行被观察部位的静止画面39的拍摄指示,从处置器具导入口33将处置器具(未图示)***插通***部20内的处置器具插通路(未图示)内。
通用塞绳22是用于将内窥镜观测器10连接到光源装置11的连接塞绳。该通用塞绳22内包插通***部20内的光导35、信号电缆36、及流体管(未图示)。另外,在通用塞绳22的端部设置有连接到光源装置11的连接器37a、从该连接器37a分支且连接到内窥镜处理器装置12的连接器37b。
通过将连接器37a连接到光源装置11,将光导35及流体管(未图示)***光源装置11。由此,经由光导35及流体管(未图示),可从光源装置11向内窥镜观测器10供给所需照明光、水和气体。其结果是,可从顶端部27的顶端面的照明窗(未图示)向被观察部位照射照明光。另外,根据上述送气送水按钮30的按下操作,可从顶端部27的顶端面の送气送水喷嘴(未图示)向顶端面的观察窗(未图示)喷射气体或水。
通过将连接器37b连接到内窥镜处理器装置12,可将信号电缆36与内窥镜处理器装置12电连接。由此,经由信号电缆36,可从内窥镜观测器10的摄像元件28向内窥镜处理器装置12输出被观察部位的摄像信号,并且可从内窥镜处理器装置12向内窥镜观测器10输出控制信号。
光源装置11经由连接器37a向内窥镜观测器10的光导35供给照明光。照明光可选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者这些的组合等根据观察目的的各种波长频带的光。此外,特定波长频带是比白色波长频带窄的频带。
特定波长频带的第一例例如是可见范围的蓝色频带或绿色频带。该第一例的波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带,且第一例的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。
特定波长频带的第二例例如是可见范围的红色频带。该第二例的波长频带包括585nm以上615nm以下或610nm以上730nm以下的波长频带,且第二例的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
特定波长频带的第三例包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带,且第三例的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。该第三例的波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带,且第三例的光在上述400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。
特定波长频带的第四例为用于观察生物体内的荧光物质发出的荧光(荧光观察)且激励该荧光物质的激励光的波长频带(390nm至470nm)。
特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包括790nm以上820nm以下或905nm以上970nm以下的波长频带,且第五例的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。
内窥镜处理器装置12经由连接器37b及信号电缆36控制内窥镜观测器10的动作。另外,内窥镜处理器装置12基于经由连接器37b及信号电缆36从内窥镜观测器10的摄像元件28获取的摄像信号,生成由包括被摄体像的时间序列的帧图像38a(参照图2)构成的时间序列图像(内窥镜图像)动态画面38。而且,内窥镜处理器装置12在使用内窥镜观测器10的手边操作部21操作静止画面拍摄指示部32时,与动态画面38的生成并行地,根据拍摄指示的定时获取动态画面38中的一枚帧图像38a作为静止画面39。
动态画面38和静止画面39是拍摄受检体内、即生物体内而得的医疗图像。而且,动态画面38和静止画面39在为通过上述特定波长频带的光(特殊光)获得的图像的情况下,两者皆为特殊光图像。接着,内窥镜处理器装置12将生成的动态画面38和静止画面39分别输出到显示装置13和医疗图像处理装置14。
此外,内窥镜处理器装置12也可以基于通过上述白色光获得的普通光图像,生成(获取)具有上述特定波长频带的信息的特殊光图像。在这种情况下,内窥镜处理器装置12作为特殊光图像获取部发挥功能。接着,内窥镜处理器装置12通过进行基于包含在普通光图像中的红色(Red)、绿色(Green)和蓝色(Blue)的RGB颜色信息或者蓝绿色(Cyan)、品红色(Magenta)和黄色(Yellow)的CMY颜色信息的运算,获取特定波长频带的信号。
另外,内窥镜处理器装置12也可以例如基于通过上述白色光获得的普通光图像和通过上述特定波长频带的光(特殊光)获得的特殊光图像中的至少一方,生成公知的氧饱和度图像等特征量图像。在这种情况下,内窥镜处理器装置12作为特征量图像生成部发挥功能。此外,包括上述生物体内图像、普通光图像、特殊光图像、及特征量图像的动态画面38或静止画面39中的每一个都是出于利用图像进行诊断和检查的目的来拍摄人体或将计测的结果图像化而得的医疗图像。
显示装置13连接到内窥镜处理器装置12,显示从该内窥镜处理器装置12输入的动态画面38和静止画面39。施术者(医师)在确认显示于显示装置13的动态画面38的同时,进行***部20的插拔操作等,当在被观察部位发现病变等时,操作静止画面拍摄指示部32执行被观察部位的静止画面拍摄,另外,进行诊断、活检等。
<医疗图像处理装置的结构>
医疗图像处理装置14主要向施术者报知包含在时间序列图像中的关注区域,在本实施方式中,例如使用个人电脑。另外,操作部15使用有线连接或无线连接于个人电脑的键盘和鼠标等,显示器16使用可连接到个人电脑的液晶监视器等各种监视器。
图2是表示医疗图像处理装置14的电结构的框图。图2所示的医疗图像处理装置14主要由时间序列图像获取部40、关注区域检测部41、关注区域信息获取部42、坐标计算部43、控制部44、显示控制部45及存储部47构成。
控制部44基于存储于存储部47的程序(医疗图像处理程序)51,统一控制时间序列图像获取部40、关注区域检测部41、关注区域信息获取部42、坐标计算部43、及显示控制部45,另外,作为这些各部的一部分发挥功能。
存储部47是存储关注区域检测部41的检测结果,另外,存储所拍摄的静止画面39,并且存储图形存储部50、程序51及医疗图像处理装置14的各种控制所涉及的信息等的部分,图形存储部50存储构成报知信息的图形。
时间序列图像获取部40使用有线连接或无线连接于内窥镜处理器装置12(图1)的未图示的图像输出输入接口,从内窥镜处理器装置12获取由包括被摄体像的时间序列的帧图像38a构成的动态画面38(在本例中,由内窥镜观测器10拍摄的动态画面38)。另外,当使用内窥镜观测器10在动态画面38的拍摄过程中进行如上所述的静止画面39的拍摄时,时间序列图像获取部40从内窥镜处理器装置12获取动态画面38和静止画面39。
此外,取代从内窥镜处理器装置12直接获取动态画面38,时间序列图像获取部40可以经由存储卡、硬盘装置等各种信息存储介质获取动态画面38。另外,时间序列图像获取部40也可以经由互联网获取上传到互联网上的服务器或数据库等的动态画面38。
关注区域检测部41是从在体腔的观察中拍摄的动态画面38中检测关注区域的部分。关注区域检测部41计算动态画面38的各帧图像38a(或隔开一定的间隔的帧图像38a)的特征量(图像特征量的一例),包括进行图像内的关注区域的识别处理的卷积神经网络(CNN:Convolutional Neural Network),利用图像内的颜色信息、像素值梯度等计算特征量。关注区域检测部41使用所计算的特征量检测图像内的病变等关注区域。
作为关注区域的例子,有息肉、癌、大肠憩室、炎症、EMR(Endoscopic MucosalResection)瘢痕、ESD(Endoscopic Submucosal Dissection)瘢痕、夹持部位、出血点、穿孔、血管异型性、处置器具等。
关注区域检测部41也能够获取所检测到的关注区域属于与“肿瘤性”、“非肿瘤性”、“其他”之类的病变相关的多个类别中的哪一类别的类别分类等的识别结果。
此外,关注区域检测部41不限于利用CNN检测关注区域,也可以利用图像处理分析图像内的颜色、像素值梯度、形状、大小等特征量来检测关注区域。
当通过关注区域检测部41检测到关注区域时,关注区域信息获取部42从关注区域检测部41获取表示关注区域的关注区域信息。关注区域信息可设为例如图像内的关注区域的轮廓的坐标信息。
坐标计算部43从关注区域信息获取部42获取关注区域信息,并基于获取的关注区域信息,计算表示动态画面38中的关注区域的位置的一个以上的关注坐标。坐标计算部43计算例如包围关注区域的多边形或圆的轮廓线上的一个以上的关注坐标。可以计算多边形的顶点的坐标或多边形的边的中点的坐标作为关注坐标,也可以计算将圆的圆周多等分的点的坐标作为关注坐标。
显示控制部45具备图像显示控制部45A和报知信息显示控制部45B。图像显示控制部45A将时间序列图像获取部40获取的动态画面38输出到显示器16,使动态画面38显示于显示器16。报知信息显示控制部45B基于利用坐标计算部43计算出的关注坐标,将报知关注区域的图形、即由与多个关注坐标相同数量的多个图形构成的报知信息输出到显示器16,并使报知信息重叠在显示于显示器16的动态画面38上。
图3是用于说明坐标计算部43和报知信息显示控制部45B的图。在本例中,如图3所示,坐标计算部43计算关注区域60内切的四边形(虚线所示的矩形)的四个顶点的坐标作为关注坐标P1~P4。
另外,当输入关注坐标P1~P4时,报知信息显示控制部45B使由以下所示的图形构成的报知信息重叠显示。即,报知信息显示控制部45B从关注坐标P1生成在图3中沿水平方向向右的线段H和从关注坐标P1沿垂直方向向下的线段V,并生成由这些线段H和线段V构成的L字形的图形F1。报知信息显示控制部45B对其他关注坐标P2、P3及P4,与上述同样生成对应于各关注坐标P2、P3及P4的图形F2、F3及F4。
图4是表示关注区域的尺寸与报知的必要性的关系的图。如图4所示,关注区域的尺寸越大,对施术者来说越容易发现关注区域,因此报知的必要性相对变低。另外,关注区域的尺寸越小,对施术者来说越难以发现关注区域,因此报知的必要性相对变高。
尽管报知的必要性相对变低,但若相对于关注区域的尺寸变大而使重叠的图形尺寸过大,则画面上的重叠的图形的影响度变大,对观察的不良影响变大。即,尽管重要度低,但进行了过大的强调处理。
另一方面,尽管报知的必要性相对变高,但若与关注区域的尺寸变小成比例地使重叠的图形尺寸过小,则难以看到画面上的重叠的图形,会导致漏看关注区域。
因此,作为报知信息的图形的尺寸需要根据关注区域的尺寸设定为适当的尺寸。在本实施方式中,关注区域的尺寸越大,报知信息显示控制部45B使图形F1~F4的尺寸越大,并且使图形F1~F4的尺寸相对于关注区域的尺寸的比率越小。由此,可使随着关注区域变大而重叠的图形的影响度相对变低。因此,能够在不妨碍时间序列图像的观察的情况下报知关注区域。
关注区域的尺寸可以是关注区域自身的面积,也可以是关注区域内切的多边形或圆的面积。关注区域的尺寸可以包括关注区域的面积和关注区域的外接矩形的长径中的至少一方。
另外,图形F1~F4的尺寸可以是线段H和线段V中的至少一方的长度,也可以是线段H和线段V中的至少一方的粗细。图形F1~F4的尺寸可以包括图形F1~F4的面积和外周长中的至少一方。
报知信息显示控制部45B将表示生成的图形F1~F4的图像数据输出到显示器16,将由图形F1~F4构成的报知信息重叠显示在图像中。通过在显示器16上显示图形F1~F4,能够将显示中的图像的关注区域报知给施术者。
<医疗图像处理方法>
对使用了内窥镜***9的医疗图像处理方法进行说明。图5是表示医疗图像处理方法的各处理的流程图。医疗图像处理方法包括:时间序列图像获取工序(步骤S1)、关注区域检测工序(步骤S2)、关注区域信息获取工序(步骤S3)、坐标计算工序(步骤S4)、以及报知信息显示控制工序(步骤S5)。
在步骤S1中,时间序列图像获取部40获取利用内窥镜观测器10拍摄的动态画面38。
在步骤S2中,关注区域检测部41从在步骤S1中获取的动态画面38中检测关注区域。
在步骤S3中,关注区域信息获取部42从在步骤S2中检测到的关注区域中获取图像内的关注区域的轮廓的坐标信息,作为表示关注区域的关注区域信息。
在步骤S4中,坐标计算部43基于在步骤S3中获取的关注区域信息,计算包围关注区域的四边形的顶点的四个关注坐标,作为表示关注区域的位置的一个以上的关注坐标。
在步骤S5中,医疗图像处理装置14基于关注坐标使图形重叠在时间序列图像上。在此,在图像显示控制部45A中,使动态画面38显示于显示器16。另外,在报知信息显示控制部45B中,相对于显示在显示器16上的动态画面38,使图形重叠在关注坐标的位置上。如上所述,关注区域的尺寸越大,报知信息显示控制部45B使图形的尺寸越大,并且使图形的尺寸相对于关注区域的尺寸的比率越小。
在步骤S6中,控制部44判定内窥镜检查的结束。在检查已结束时,结束本流程图的处理。在检查未结束时,返回到步骤S1,重复同样的处理。
<报知信息(图形)的显示例>
图6至图9是分别表示显示于显示器16的图像和报知信息(图形)的一例的图,从图6向图9示出有关时间经过状态的图像和报知信息。
即,图6至图9所示的图像G1~G4按时间序列顺序示出使内窥镜观测器10的顶端逐渐接近同一关注区域时的动态画面38的一部分帧图像38a。图像G1~G4是相同大小的图像,从图像G1中检测到关注区域61,从图像G2中检测到关注区域62,从图像G3中检测到关注区域63,以及从图像G4中检测到关注区域64。
在图6所示的图像G1中,关注区域61远离内窥镜观测器10的顶端,故关注区域61被拍摄得较小。将关注区域61的尺寸设为R1。另外,将重叠显示在图像G1上的图形F1~F4的尺寸设为L1。
在图像G1中关注区域61较小,各关注坐标的间隔为对应于图形F1~F4的尺寸的规定间隔(例如在图像的水平方向尺寸为1280像素、垂直方向尺寸为1024像素时,为48像素的长度)以下(为阈值以下时的一例),故图形F1~F4相互连结而构成矩形的框。此外,优选将由图形F1~F4构成的报知信息限制为一边的长度不成为对应于图形F1~F4的尺寸的规定间隔(在本例中,为48像素的长度)以下。这是因为,若报知信息过小,则变得不醒目,看漏较小的关注区域的可能性变大。
图7所示的图像G2的关注区域62大于关注区域61。当将关注区域62的尺寸设为R2时,具有R1<R2的关系。另外,当将重叠显示在图像G2上的图形F1~F4的尺寸设为L2时,具有L1<L2的关系。而且,关注区域的尺寸与图形的尺寸具有L1/R1>L2/R2的关系。
此外,在本例中,图形F1~F4通过分别使线段H的粗细(垂直方向的宽度)与线段V的粗细(水平方向的宽度)不同(即,面积及外周长也不同)而使尺寸不同。
由于关注区域62大于关注区域61,所以各关注坐标的间隔也变大(大于阈值时的一例),重叠显示在图像G2上的图形F1~F4根据关注区域62的大小而彼此分离。在图像G2中,图形F1~F4彼此分离,但关注区域62比较小,各图形F1~F4彼此紧密,变得容易醒目。
另一方面,图8所示的图像G3的关注区域63大于关注区域62。当将关注区域63的尺寸设为R3时,具有R2<R3的关系。另外,当将重叠显示在图像G3上的图形F1~F4的尺寸设为L3时,具有L2<L3的关系。而且,关注区域的尺寸与图形的尺寸具有L2/R2>L3/R3的关系。
另外,图9所示的图像G4的关注区域64大于关注区域63。当将关注区域64的尺寸设为R4时,具有R3<R4的关系。另外,当将重叠显示在图像G4上的图形F1~F4的尺寸设为L4时,具有L3<L4的关系。而且,关注区域的尺寸与图形的尺寸具有L3/R3>L4/R4的关系。
图像G3的图形F1~F4及图像G4的图形F1~F4根据关注坐标63和64的大小而分离。因此,图形F1~F4根据关注区域63和64的大小而较大地分离开,各图形F1~F4彼此远离而变得不醒目,另外,变得不会妨碍关注区域63和64与其周边区域的比较。
这样,关注区域61、62、63以及64的图像内的尺寸具有R1<R2<R3<R4的关系,与此相对,与关注区域61、62、63以及64重叠的图形F1~F4的尺寸具有L1<L2<L3<L4的关系。即,关注区域的尺寸越大,图形的尺寸越大。
而且,关注区域的尺寸与图形的尺寸具有L1/R1>L2/R2>L3/R3>L4/R4的关系。即,关注区域的尺寸越大,图形的尺寸相对于关注区域的尺寸的比率越小。
此外,图2所示的坐标计算部43如图3所示那样计算关注区域60内切的矩形的四个顶点的坐标作为关注坐标P1~P4,但不限于此,可以按一定的倍率(例如,1.2倍)放大关注区域60内切的矩形,并计算放大后的矩形的各顶点作为关注坐标,也可以分别计算使关注区域60内切的矩形的四个顶点的坐标沿彼此分离的方向以一定量移动后的坐标作为关注坐标。
另外,报知信息显示控制部45B不限于生成对应了关注区域的尺寸的图形F1~F4的情况,可通过从存储构成报知信息的图形F1~F4(图标图像)的图形存储部50中读出对应了关注区域的尺寸的图形F1~F4,并基于关注坐标P1~P4在对应于各关注坐标P1~P4的位置配置各图形F1~F4,使由图形F1~F4构成的报知信息重叠在图像中。
此外,报知信息显示控制部45B可以随着关注区域的尺寸连续变化而使图形的尺寸连续变化,也可以随着关注区域的尺寸连续变化而使图形的尺寸阶段性变化。
图10和图11是表示相对于关注区域的尺寸的图形的尺寸、以及图形的尺寸相对于关注区域的尺寸的比率的曲线图。图10表示随着关注区域的尺寸连续变化而使图形的尺寸连续变化时的一例,图11表示随着关注区域的尺寸连续变化而使图形的尺寸阶段性变化时的一例。
无论在哪种情况下,均可在时间序列图像上重叠适当尺寸的图形。
<报知信息(图形)的变形>
作为报知信息的图形只要重叠于至少一个关注坐标即可,但优选重叠于包围关注区域的多个关注坐标。图12是表示在包围关注区域的具有对称形状的四边形的轮廓线上显示的五种报知信息(A)~(E)的图。
图12所示的报知信息(A)是由图3等所示的图形F1~F4构成的报知信息,报知信息(B)是报知信息(A)的变形例。
报知信息(C)适用于将包围关注区域的矩形的各边的中点的坐标设为关注坐标的情况,由具有一定长度的线段的图形构成。
报知信息(D)及(E)分别适用于将包围关注区域的多边形设为菱形的情况,报知信息(D)适用于将菱形的各顶点的坐标设为关注坐标的情况,报知信息(E)适用于将菱形的各边的中点的坐标设为关注坐标的情况。
图13是表示在包围关注区域的圆的轮廓线上显示的两种报知信息(图形)的图。图13所示的两种报知信息分别适用于将包围关注区域的圆的圆周多等分的点(在图13的例子中,为进行4等分的点)的坐标设为关注坐标的情况,由四个弧的图形构成。
图14是表示在包围关注区域的具有对称形状的四边形的轮廓线上配置图形的顶端位置的六种报知信息的图。图14所示的报知信息分别由箭头、或与箭头具有相同含义的图形构成。图14所示的报知信息配置为多个箭头等的顶端位置与关注坐标的位置一致、且多个箭头等朝向关注区域。
图15是表示在包围关注区域的具有对称形状的三角形的轮廓线上配置各图形的四种报知信息的图。图15所示的报知信息分别适用于将包围关注区域的多边形设为三角形(等边三角形)的情况,由将等边三角形的各顶点、或等边三角形的各边的中点作为关注坐标配置的三个图形构成。
图16是表示由两个图形构成的报知信息(A)、由五个图形构成的报知信息(B)、及由六个图形构成的报知信息(C)的图。图16所示的报知信息(A)是由在包围关注区域的矩形的对角位置配置的两个图形构成的报知信息。
另外,图16所示的报知信息(B)适用于将包围关注区域的多边形设为五边形(正五边形)的情况,报知信息(C)适用于将包围关注区域的多边形设为六边形(正六边形)的情况。
图12至图16所示的构成各报知信息的多个图形是旋转了一个图形的图形。这是因为,构成报知信息的多个图形是相似的形状。
另外,图17是表示由四个图形F11~F14构成的报知信息的图。图17所示的图形F11和F13是点对称图形,当使图形F11旋转180度时,图形F11与图形F13一致。另外,图形F11与F12、及图形F11与F14分别为轴对称图形,当使图形F11在图17上沿绕水平方向的轴的方向反转时,图形F11与图形F12一致,当沿绕垂直方向的轴的方向反转时,图形F11与图形F14一致。
即,图17所示的四个图形F11~F14是能够通过使一个图形旋转或反转进行生成的图形。
图2所示的图形存储部50可存储图12至图17所示的一种至多种报知信息,但只存储构成一个报知信息的多个图形中的一个图形,报知信息显示控制部45B通过使构成报知信息的多个图形中的一个图形旋转或反转,能够获取构成报知信息的多个图形,并针对多个关注坐标来使用。即,无需单独准备多个图形,可从一个图形生成多个图形。
<报知信息(图形)的颜色、浓度>
除了设定图形的尺寸之外,也可以根据在关注区域检测部41(特征量计算部的一例)中计算出的关注区域或关注区域的周边的特征量来变更图形的颜色或浓度,调节报知力和对观察的影响度。例如,在关注区域的尺寸相对较小的情况下,通过实施下述(1)~(3)中的至少一个来进行调整,以使报知力相对较大。
(1)变更为彩度相对较大的颜色
(2)变更为与生物体粘膜的颜色相比色差相对较大的颜色
(3)变更为浓度相对较高的颜色
相反,在关注区域的尺寸相对较大的情况下,通过实施下述(4)~(6)中的至少一个来进行调整,以使报知力相对较小,使对观察的影响较小。
(4)变更为彩度相对较小的颜色
(5)变更为与生物体粘膜的颜色相比色差相对较小的颜色
(6)变更为浓度相对较低的颜色
另外,不仅是关注区域的尺寸,也可以根据关注区域的特性来变更颜色或浓度。具体而言,在关注区域相对较暗的情况下,通过实施上述(1)~(3)中的至少一个进行调整,以增大报知力。在关注区域相对较暗的情况下,施术者难以发现关注区域,因此报知的必要性较大。因此,通过相对提高图形的可见性,能够有助于漏检率降低。基于同样的理由,在关注区域的对比度相对较低的情况下以及彩度相对较低的情况下,也设定为相对提高图形的可见性。
在特性相反的情况下,通过实施上述(4)~(6)中的至少一个,设定为相对降低可见性,减小对观察的影响。
在变更图形的颜色或浓度时参照的特性可以是关注区域的尺寸、亮度信息、颜色信息(明度、彩度)、对比度中的任意一个,也可以是它们的组合。
<存在多个关注区域的情况>
图18是表示显示于显示器16的图像和报知信息(图形)的另一实施方式的图。在图18所示的图像G5中,存在多个关注区域66和67。
在1帧图像内存在多个关注区域的情况下,图2中示出的关注区域检测部41可利用CNN检测多个关注区域66和67。
当通过关注区域检测部41检测到多个关注区域66和67时,关注区域信息获取部42从关注区域检测部41获取表示关注区域66和67的多个关注区域信息。另外,当从关注区域信息获取部42获取多个关注区域信息时,坐标计算部43基于获取的多个关注区域信息,针对多个关注区域66和67对每个关注区域计算包围该关注区域的多个关注坐标。
当关注区域信息获取部42获取对应于多个关注区域66和67的多个关注区域信息时,报知信息显示控制部45B针对多个关注区域66和67分别附加报知信息。该情况下,优选报知信息显示控制部45B对多个关注区域66和67分别分配由不同形状的图形构成的报知信息。
在图18所示的例子中,对在跟前侧的较大的关注区域66分配多个大致L字形的图形,对里侧的较小的关注区域67分配多个箭头的图形。
另外,当对多个关注区域分别附加图形时,报知信息显示控制部45B也可以分别将不同颜色的图形分配给多个关注区域。在这种情况下,图形的形状可以相同,也可以不同。
由此,容易利用不同形状的图形或不同颜色的图形区分多个关注区域,多个关注区域移动时变得容易目视追踪。
<其他>
上述医疗图像处理方法可配置为用于使计算机实现各工序的程序,也可配置存储该程序的CD-ROM(Compact Disk-Read Only Memory)等非暂时性记录介质。
在至此说明的实施方式中,说明了内窥镜处理器装置12和医疗图像处理装置14分别为不同的装置,但也可以将内窥镜处理器装置12和医疗图像处理装置14构成为一体的装置,作为具有医疗图像处理装置14的功能的内窥镜处理器装置12。
另外,执行内窥镜处理器装置12和医疗图像处理装置14的各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中,包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Unit)、专门用于图像处理的处理器即GPU(Graphics Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、以及具有为了执行ASIC(Application SpecificIntegrated Circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成,也可以由同种或异种的两个以上的处理器(例如,多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合)构成。另外,还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子,首先,有诸如以服务器和客户端等计算机为代表,使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次,有诸如以片上***(System On Chip:SoC)等为代表,使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的***整体的功能的处理器的形态。像这样,使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
而且,更具体而言,这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。
本发明的技术范围不限于上述实施方式中记载的范围。各实施方式中的结构等在不脱离本发明的主旨的范围内可在各实施方式之间适当组合。
符号说明
9 内窥镜***
10 内窥镜观测器
11 光源装置
12 内窥镜处理器装置
13 显示装置
14 医疗图像处理装置
15 操作部
16 显示器
20 ***部
21 手边操作部
22 通用塞绳
25 软性部
26 弯曲部
27 顶端部
28 摄像元件
29 弯曲操作钮
30 送气送水按钮
31 吸引按钮
32 静止画面拍摄指示部
33 处置器具导入口
35 光导
36 信号电缆
37a 连接器
37b 连接器
38 动态画面
38a 帧图像
39 静止画面
40 时间序列图像获取部
41 关注区域检测部
42 关注区域信息获取部
43 坐标计算部
44 控制部
45 显示控制部
45A 图像显示控制部
45B 报知信息显示控制部
47 存储部
50 图形存储部
51 程序
60 关注区域
61 关注区域
62 关注区域
63 关注区域
64 关注区域
66 关注区域
67 关注区域
F1~F4、F11~F14 图形
G1~G5 图像
H、V 线段
P1~P4 关注坐标
S1~S6 医疗图像处理方法的各步骤。
Claims (22)
1.一种医疗图像处理装置,具备:
坐标计算部,其基于表示时间序列图像的关注区域的关注区域信息,计算表示所述时间序列图像中的所述关注区域的位置的一个以上的关注坐标;以及
报知信息显示控制部,其基于所述关注坐标,使图形与所述时间序列图像重叠,
所述关注区域的尺寸越大,所述报知信息显示控制部使所述图形的尺寸越大,并且使所述图形的尺寸相对于所述关注区域的尺寸的比率越小。
2.根据权利要求1所述的医疗图像处理装置,其中,
所述医疗图像处理装置具备:
时间序列图像获取部,其获取包括被摄体像的所述时间序列图像;
关注区域检测部,其从所述时间序列图像获取部获取的时间序列图像中检测所述关注区域;以及
关注区域信息获取部,其从所述关注区域检测部获取表示所述关注区域的关注区域信息。
3.根据权利要求1或2所述的医疗图像处理装置,其中,
所述坐标计算部计算包围所述关注区域的多边形或圆的轮廓线上的一个以上的关注坐标。
4.根据权利要求3所述的医疗图像处理装置,其中,
所述坐标计算部计算所述多边形的顶点的坐标作为所述一个以上的关注坐标。
5.根据权利要求3或4所述的医疗图像处理装置,其中,
所述坐标计算部计算所述多边形的边的中点的坐标作为所述一个以上的关注坐标。
6.根据权利要求3至5中任一项所述的医疗图像处理装置,其中,
所述多边形是四边形。
7.根据权利要求3所述的医疗图像处理装置,其中,
所述坐标计算部计算将所述圆的圆周多等分的点的坐标作为所述一个以上的关注坐标。
8.根据权利要求1至7中任一项所述的医疗图像处理装置,其中,
所述报知信息显示控制部使一个图形旋转或反转而重叠在所述时间序列图像上。
9.根据权利要求1至8中任一项所述的医疗图像处理装置,其中,
所述报知信息显示控制部根据所述关注区域的尺寸来变更所述图形的颜色或浓度。
10.根据权利要求1至9中任一项所述的医疗图像处理装置,其中,
所述医疗图像处理装置具备特征量计算部,该特征量计算部计算所述关注区域或所述关注区域的周边的图像特征量,
根据所述图像特征量来变更所述图形的颜色或浓度。
11.根据权利要求10所述的医疗图像处理装置,其中,
所述特征量计算部基于颜色信息、亮度信息和对比度中的至少一个来计算所述图像特征量。
12.根据权利要求1至11中任一项所述的医疗图像处理装置,其中,
在存在多个所述关注区域的情况下,所述报知信息显示控制部分别将不同形状的图形分配给所述多个关注区域。
13.根据权利要求1至12中任一项所述的医疗图像处理装置,其中,
在存在多个所述关注区域的情况下,所述报知信息显示控制部分别将不同颜色或浓度的图形分配给所述多个关注区域。
14.根据权利要求1至13中任一项所述的医疗图像处理装置,其中,
在多个关注坐标的间隔为与所述图形的尺寸对应的阈值以下的情况下,所述报知信息显示控制部使多个图形相互连接,在所述多个关注坐标的间隔大于所述阈值的情况下,所述报知信息显示控制部使所述多个图形根据所述关注坐标的间隔而分离。
15.根据权利要求1至14中任一项所述的医疗图像处理装置,其中,
所述关注区域的尺寸包括所述关注区域的面积和所述关注区域的外接矩形的长径中的至少一方。
16.根据权利要求1至15中任一项所述的医疗图像处理装置,其中,
所述图形的尺寸包括所述图形的面积和外周长中的至少一方。
17.根据权利要求1至16中任一项所述的医疗图像处理装置,其中,
随着所述关注区域的尺寸连续变化,所述报知信息显示控制部使所述图形的尺寸连续变化。
18.根据权利要求1至16中任一项所述的医疗图像处理装置,其中,
随着所述关注区域的尺寸连续变化,所述报知信息显示控制部使所述图形的尺寸阶段性变化。
19.一种内窥镜***,其中,
具备:
内窥镜观测器,其拍摄所述时间序列图像;
显示控制部,其使所述内窥镜观测器拍摄的所述时间序列图像显示于显示器;以及
根据权利要求1至18中任一项所述的医疗图像处理装置,
所述报知信息显示控制部使报知所述关注区域的所述图形重叠显示在显示于所述显示器的所述时间序列图像上。
20.一种医疗图像处理方法,其中,
包括:
坐标计算工序,基于表示时间序列图像的关注区域的关注区域信息,计算表示所述时间序列图像中的所述关注区域的位置的一个以上的关注坐标;以及
报知信息显示控制工序,基于所述关注坐标,使图形与所述时间序列图像重叠,
在所述报知信息显示控制工序中,所述关注区域的尺寸越大,使所述图形的尺寸越大,并且使所述图形的尺寸相对于所述关注区域的尺寸的比率越小。
21.一种程序,其用于使计算机执行权利要求20所述的医疗图像处理方法。
22.一种记录介质,为非暂时性计算机可读记录介质,当存储于所述记录介质的指令被计算机读取时,使计算机执行权利要求21所述的程序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-169398 | 2018-09-11 | ||
JP2018169398 | 2018-09-11 | ||
PCT/JP2019/034789 WO2020054541A1 (ja) | 2018-09-11 | 2019-09-04 | 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112654282A true CN112654282A (zh) | 2021-04-13 |
CN112654282B CN112654282B (zh) | 2024-07-12 |
Family
ID=69776600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980058471.9A Active CN112654282B (zh) | 2018-09-11 | 2019-09-04 | 医疗图像处理装置、医疗图像处理方法、内窥镜***及记录介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210174557A1 (zh) |
EP (1) | EP3851022A4 (zh) |
JP (1) | JP7113903B2 (zh) |
CN (1) | CN112654282B (zh) |
WO (1) | WO2020054541A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021201272A1 (ja) * | 2020-04-03 | 2021-10-07 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム |
EP4306059A1 (en) | 2021-03-09 | 2024-01-17 | FUJIFILM Corporation | Medical image processing device, endoscope system, medical image processing method, and medical image processing program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020070970A1 (en) * | 2000-11-22 | 2002-06-13 | Wood Susan A. | Graphical user interface for display of anatomical information |
US20060173358A1 (en) * | 2005-01-11 | 2006-08-03 | Olympus Corporation | Fluorescence observation endoscope apparatus and fluorescence observation method |
CN101637379A (zh) * | 2008-07-31 | 2010-02-03 | 奥林巴斯医疗株式会社 | 图像显示装置、使用它的内窥镜***以及图像显示方法 |
US20120218394A1 (en) * | 2009-11-13 | 2012-08-30 | Olympus Corporation | Image processing device, electronic apparatus, endoscope system, information storage device, and method of controlling image processing device |
US20150356245A1 (en) * | 2014-06-04 | 2015-12-10 | Panasonic Corporation | Control method and recording medium |
US20180098690A1 (en) * | 2015-06-11 | 2018-04-12 | Olympus Corporation | Endoscope apparatus and method for operating endoscope apparatus |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3548430B2 (ja) | 1998-09-03 | 2004-07-28 | オリンパス株式会社 | 内視鏡形状検出装置 |
JP5074390B2 (ja) * | 2006-05-19 | 2012-11-14 | 株式会社日立メディコ | 医用画像表示装置及びプログラム |
JP6346576B2 (ja) * | 2015-02-27 | 2018-06-20 | Hoya株式会社 | 画像処理装置 |
EP3357407A4 (en) * | 2015-10-26 | 2019-04-17 | Olympus Corporation | PROCESSING DEVICE FOR ENDOSCOPIC IMAGES |
JP2018137571A (ja) * | 2017-02-21 | 2018-08-30 | Eizo株式会社 | 画像処理装置、プログラム及び画像処理方法 |
EP3795063A4 (en) * | 2018-05-14 | 2021-07-07 | FUJIFILM Corporation | MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND ENDOSCOPE SYSTEM |
-
2019
- 2019-09-04 WO PCT/JP2019/034789 patent/WO2020054541A1/ja unknown
- 2019-09-04 CN CN201980058471.9A patent/CN112654282B/zh active Active
- 2019-09-04 JP JP2020545947A patent/JP7113903B2/ja active Active
- 2019-09-04 EP EP19859938.3A patent/EP3851022A4/en active Pending
-
2021
- 2021-02-19 US US17/180,646 patent/US20210174557A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020070970A1 (en) * | 2000-11-22 | 2002-06-13 | Wood Susan A. | Graphical user interface for display of anatomical information |
US20060173358A1 (en) * | 2005-01-11 | 2006-08-03 | Olympus Corporation | Fluorescence observation endoscope apparatus and fluorescence observation method |
CN101637379A (zh) * | 2008-07-31 | 2010-02-03 | 奥林巴斯医疗株式会社 | 图像显示装置、使用它的内窥镜***以及图像显示方法 |
US20120218394A1 (en) * | 2009-11-13 | 2012-08-30 | Olympus Corporation | Image processing device, electronic apparatus, endoscope system, information storage device, and method of controlling image processing device |
US20150356245A1 (en) * | 2014-06-04 | 2015-12-10 | Panasonic Corporation | Control method and recording medium |
US20180098690A1 (en) * | 2015-06-11 | 2018-04-12 | Olympus Corporation | Endoscope apparatus and method for operating endoscope apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2020054541A1 (ja) | 2020-03-19 |
US20210174557A1 (en) | 2021-06-10 |
JP7113903B2 (ja) | 2022-08-05 |
EP3851022A1 (en) | 2021-07-21 |
JPWO2020054541A1 (ja) | 2021-08-30 |
CN112654282B (zh) | 2024-07-12 |
EP3851022A4 (en) | 2021-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110325100B (zh) | 内窥镜***及其操作方法 | |
US11607109B2 (en) | Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system | |
US11910994B2 (en) | Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system | |
JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
WO2017115442A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
US20210174115A1 (en) | Medical image processing apparatus, medical image processing method, program, and endoscope system | |
CN112969403A (zh) | 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置 | |
US11481944B2 (en) | Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus | |
CN112654282B (zh) | 医疗图像处理装置、医疗图像处理方法、内窥镜***及记录介质 | |
CN112752535B (zh) | 医用图像处理装置和内窥镜***以及医用图像处理装置的工作方法 | |
CN113453607A (zh) | 医用图像处理装置及方法 | |
US12020350B2 (en) | Image processing apparatus | |
CN114269221A (zh) | 医疗图像处理装置、内窥镜***、医疗图像处理方法以及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |