CN110769738B - 图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质 - Google Patents
图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110769738B CN110769738B CN201780092305.1A CN201780092305A CN110769738B CN 110769738 B CN110769738 B CN 110769738B CN 201780092305 A CN201780092305 A CN 201780092305A CN 110769738 B CN110769738 B CN 110769738B
- Authority
- CN
- China
- Prior art keywords
- region
- blood
- image
- color
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims description 50
- 238000005286 illumination Methods 0.000 claims abstract description 24
- 230000001678 irradiating effect Effects 0.000 claims abstract description 11
- 239000008280 blood Substances 0.000 claims description 151
- 210000004369 blood Anatomy 0.000 claims description 150
- 210000004204 blood vessel Anatomy 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 45
- 150000001746 carotenes Chemical class 0.000 claims description 30
- 235000005473 carotenes Nutrition 0.000 claims description 30
- UPYKUZBSLRQECL-UKMVMLAPSA-N Lycopene Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1C(=C)CCCC1(C)C)C=CC=C(/C)C=CC2C(=C)CCCC2(C)C UPYKUZBSLRQECL-UKMVMLAPSA-N 0.000 claims description 29
- NCYCYZXNIZJOKI-UHFFFAOYSA-N vitamin A aldehyde Natural products O=CC=C(C)C=CC=C(C)C=CC1=C(C)CCCC1(C)C NCYCYZXNIZJOKI-UHFFFAOYSA-N 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 12
- BPYKTIZUTYGOLE-IFADSCNNSA-N Bilirubin Chemical compound N1C(=O)C(C)=C(C=C)\C1=C\C1=C(C)C(CCC(O)=O)=C(CC2=C(C(C)=C(\C=C/3C(=C(C=C)C(=O)N\3)C)N2)CCC(O)=O)N1 BPYKTIZUTYGOLE-IFADSCNNSA-N 0.000 claims description 10
- 239000003809 bile pigment Substances 0.000 claims description 4
- 230000002550 fecal effect Effects 0.000 claims description 4
- 238000011017 operating method Methods 0.000 claims description 2
- 102000001554 Hemoglobins Human genes 0.000 description 22
- 108010054147 Hemoglobins Proteins 0.000 description 22
- 238000010521 absorption reaction Methods 0.000 description 21
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 12
- 230000002238 attenuated effect Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 9
- 238000002835 absorbance Methods 0.000 description 8
- 230000000740 bleeding effect Effects 0.000 description 8
- 239000003925 fat Substances 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 210000005036 nerve Anatomy 0.000 description 6
- 229910052724 xenon Inorganic materials 0.000 description 6
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000002834 transmittance Methods 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000000941 bile Anatomy 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
Abstract
一种图像处理装置，该图像处理装置包括：图像取得部，其取得包括通过对被摄体照射来自光源部的照明光而得到的被摄体像的摄像图像；以及可视性强调部18，其通过对摄像图像的黄色以外的区域进行颜色的衰减处理，从而使摄像图像的黄色区域的可视性相对提高。
Description
技术领域
本发明涉及一种图像处理装置、内窥镜装置、图像处理装置的工作方法及图像处理程序等。
背景技术
专利文献1中公开了如下所述的方法：即，分别区分地对与胡萝卜素以及血红蛋白的吸收特性对应的第1～第3波段的反射光进行拍摄，取得第1～第3反射光图像，显示利用不同的颜色对该第1～第3反射光图像进行合成而得到的合成图像，提高体腔内的特定颜色(在此，为胡萝卜素)的被摄体的可视性。
此外，专利文献2中公开了如下所述的方法：取得多个分光图像，使用所述多个分光图像计算分离对象成分量，根据该分离对象成分量对RGB彩色图像进行强调处理。在强调处理中，想要提高可视性的被摄体的成分量即分离对象成分量越少，亮度信号以及色差信号越是衰减，该特定颜色的被摄体的可视性提高。
现有技术文献
专利文献
专利文献1：国际公开第2013/115323号
专利文献2：国际公开第2016/151676号
发明内容
发明要解决的问题
如上所述，公知的是通过强调体内的特定颜色，或者特定颜色的成分量越少越使颜色衰减，从而提高特定颜色的被摄体的可视性的方法。然而，在专利文献1、2等以往的方法中，需要分别对第1～第3波段的反射光区分地进行拍摄、或者取得多个分光图像，需要复杂的结构的光源和复杂的摄像控制。
根据本发明的几个方式，能够提供一种能够通过简单的结构、控制使特定颜色的被摄体的可视性相对提高的图像处理装置、内窥镜装置、图像处理装置的工作方法以及图像处理程序等。
用于解决问题的手段
本发明的一个方式涉及一种图像处理装置，所述图像处理装置包括：图像取得部，其取得摄像图像，其中所述摄像图像包含有通过对被摄体照射来自光源部的照明光而得到的被摄体像；以及可视性强调部，其通过对所述摄像图像的黄色以外的区域进行颜色的衰减处理，从而相对地提高所述摄像图像的黄色区域的可视性。
由此，能够使在摄像图像中拍摄的被摄体中的黄色以外的区域的颜色与黄色区域的颜色相比衰减。由此，结果成为黄色的区域被强调显示的状态，与黄色以外的区域相比，能够使黄色的区域的可视性相对地提高。
此外，本发明的其它方式涉及一种包括上述记载的图像处理装置的内窥镜装置。
此外，本发明的其它方式涉及一种图像处理装置的工作方法，取得摄像图像，其中所述摄像图像包含有通过对被摄体照射来自光源部的照明光而得到的被摄体像；以及通过针对所述摄像图像的黄色以外的区域进行颜色的衰减处理，从而相对地提高所述摄像图像的黄色区域的可视性。
此外，本发明的其它方式涉及一种图像处理程序，使计算机执行如下步骤：取得摄像图像，其中所述摄像图像包含有通过对被摄体照射来自光源部的照明光而得到的被摄体像；以及通过针对所述摄像图像的黄色以外的区域进行颜色的衰减处理，从而相对地提高所述摄像图像的黄色区域的可视性。
附图说明
图1的(A)、图1的(B)是通过内窥镜(硬性内窥镜)在手术过程中拍摄的体内的图像的一例。
图2是本实施方式的内窥镜装置的结构例。
图3的(A)是血红蛋白的吸收特性和胡萝卜素的吸收特性。图3的(B)是摄像元件的彩色滤光片的透射率特性。图3的(C)是白色光的强度光谱。
图4是图像处理部的第1详细结构例。
图5是说明血液区域检测部的动作的图。
图6是说明可视性强调部的动作的图。
图7是说明可视性强调部的动作的图。
图8是说明可视性强调部的动作的图。
图9是图像处理部的第2详细结构例。
图10是本实施方式的内窥镜装置的第1变形例。
图11的(A)是血红蛋白的吸收特性和胡萝卜素的吸收特性。图11的(B)是发光二极管所射出的光的强度光谱。
图12是本实施方式的内窥镜装置的第2变形例。
图13是滤波器转台(Filter turret)的详细结构例。
图14的(A)是血红蛋白的吸收特性和胡萝卜素的吸收特性。图14的(B)是滤波器转台的滤波器组的透射率特性。
图15是本实施方式的内窥镜装置的第3变形例。
图16的(A)是血红蛋白的吸收特性和胡萝卜素的吸收特性。图16的(B)是分色棱镜34的分光透射率特性。
图17是图像处理部的第3详细结构例。
图18是手术辅助***的结构例。
具体实施方式
以下，对本实施方式进行说明。另外，以下所说明的本实施方式并非用于对权利要求书中所记载的本发明的内容进行不适当地限定。此外，本实施方式中所说明的结构的全体不一定都是本发明的必须构成要件。
例如，以下，以将本发明应用于外科手术等中使用的硬性内窥镜的情况为例进行说明，但本发明也能够应用于消化道用内窥镜等中使用的柔性内窥镜。
1.内窥镜装置、图像处理部
图1的(A)是通过内窥镜(硬性内窥镜)在手术过程中拍摄的体内的图像的一例。在这种体内的图像中，由于神经是透明的，因此难以直接看到神经。因此，通过观察位于神经的周围的脂肪(神经在脂肪中通过)，从而估计不能直接看到的神经的位置。体内的脂肪包含有胡萝卜素，由于胡萝卜素的吸收特性(分光特性)，脂肪看起来偏黄色。
由此，在本实施方式中，如图6所示，对摄像图像进行使黄色(特定颜色)以外的颜色的色差衰减的处理，从而使黄色的被摄体的可视性相对提高(强调黄色的被摄体)。由此，能够提高有可能有神经通过的脂肪的可视性。
另外，如图1的(A)的BR所示，由于在手术过程中出血等，有时被摄体上存在(或者内出血的)血液。此外，被摄体中存在血管。被摄体上的血液的量越多，吸收的光量越增加，吸收的波长依赖于血红蛋白的吸收特性。并且，如图3的(A)所示，血红蛋白的吸收特性与胡萝卜素的吸收特性不同。因此，如图1的(B)的BR’所示，在进行了使黄色以外的颜色衰减的处理的情况下，存在血液(出血的血液、血管)的区域的色差(饱和度)衰减。例如，在血液滞留的区域中，有时由于血液的吸光而变暗，在这种区域的饱和度降低的情况下，该区域被拍摄为饱和度低的暗区域。或者，在对比度低的血管中，在其饱和度降低的情况下，对比度可能会进一步变低。
由此，在本实施方式中，从摄像图像中检测血液所存在的区域，根据该检测结果控制显示图像的显示样式(例如，控制使黄色以外的颜色衰减的处理)。以下，对本实施方式的图像处理装置以及包括该图像处理装置的内窥镜装置进行说明。
图2是本实施方式的内窥镜装置的结构例。图2的内窥镜装置1(内窥镜***、活体观察装置)包括：***部2(镜体)，其***到活体内；控制装置5(主体部)，其具有与***部2连接的光源部3(光源装置)、信号处理部4以及控制部17；图像显示部6(显示器、显示装置)，其显示由信号处理部4生成的图像；以及外部I/F 部13(接口)。
***部2具有：照明光学***7，其朝被摄体照射从光源部3输入的光；以及摄影光学***8(撮像装置、撮像部)，其对来自被摄体的反射光进行拍摄。照明光学***7是配置在***部2的长度方向上的整个长度范围内、将从基端侧的光源部3 入射的光引导至前端的光导电缆。
摄影光学***8包括：物镜9，其使由照明光学***7照射的光中的来自被摄体的反射光进行会聚；以及摄像元件10，其对由物镜9会聚的光进行拍摄。摄像元件 10例如是单板的彩色摄像元件，例如是CCD图像传感器或CMOS图像传感器等。如图3的(B)所示，摄像元件10具有彩色滤光片(省略图示)，该彩色滤光片具有 RGB的每个颜色(红色、绿色、蓝色)的透射率特性。
光源部3具有射出较宽波段的白色光(普通光)的氙气灯11(光源)。如图3的(C)所示，氙气灯11射出例如具有400～700nm的波段的强度光谱的白色光。另外，光源部3所具有的光源不限于氙气灯，只要是能够射出白色光的光源即可。
信号处理部4包括：插值部15，其对由摄像元件10取得的图像信号进行处理；以及图像处理部16(图像处理装置)，其对由该插值部15进行处理后的图像信号进行处理。插值部15通过公知的去马赛克处理，将通过与摄像元件10的各颜色对应的像素所取得的彩色图像(所谓的拜耳排列图像)3通道化处理(生成各像素中都存在 RGB的像素值的彩色图像)。
控制部17根据来自外部I/F部13的指示信号，使摄像元件10的拍摄定时 (timing)以及由图像处理部16进行的图像处理的定时同步。
图4是图像处理部的第1详细结构例。图像处理部16包括预处理部14、可视性强调部18(黄色强调部)、检测部19(血液检测部)以及后处理部20。
在此，对作为想要提高可视性的被摄体是脂肪中的胡萝卜素的情况进行说明。如图3的(A)所示，活体组织中所包含的胡萝卜素在400～500nm区域中具有较高的吸收特性。此外，作为血液中的成分的血红蛋白(HbO2、Hb)在450nm以下的波段以及500～600nm的波段中具有较高的吸收特性。因此，在照射白色光的情况下，胡萝卜素看起来是黄色的，血液看起来是红色的。更具体来说，在照射图3的(C)所示的白色光，通过图3的(B)所示的分光特性的摄像元件进行摄像的情况下，包含有胡萝卜素的被摄体的像素值的黄色成分多，包含有血液的被摄体的像素值的红色成分多。
在图4的图像处理部16中，使用这种胡萝卜素和血液的吸收特性，检测部19 从摄像图像中检测血液，可视性强调部18进行提高胡萝卜素的颜色(广义来说，为黄色)的可视性的处理。并且，可视性强调部18使用血液的检测结果，控制提高可视性的处理。以下，对图像处理部16的各部分的详细内容进行说明。
预处理部14针对从插值部15输入的3通道的图像信号，使用控制部17中预先保存的OB(Optical Black：光学黑)钳位值、增益校正值、WB(White Balance：白平衡)系数值，来进行OB钳位处理、增益校正处理、WB校正处理。另外，以下，将预处理部14进行处理并输出的图像(RGB彩色图像)称为摄像图像。
检测部19包括：血液图像生成部23，其根据来自预处理部14的摄像图像生成血液图像；以及血液区域检测部22(出血血液区域检测部)，其根据血液图像检测血液区域(从狭义来说，为出血血液区域)。
如上所述，预处理后的图像信号包括蓝色、绿色以及红色的3个种类(3通道) 的图像信号。血液图像生成部23根据绿色以及红色的2个种类(2通道)的图像信号生成1通道的图像信号，利用该图像信号构成血液图像。血液图像中，被摄体中所包含的血红蛋白量越多的像素则像素值(信号值)越高。例如，按照各像素求出红色的像素值与绿色的像素值的差值，来生成血液图像。或者，按照各像素求出将红色的像素值除以绿色的像素值而得到的值，来生成血液图像。
另外，在上述对根据2通道的信号来生成血液图像的示例进行了说明，但不限于此，例如，也可以根据RGB的3通道信号计算亮度(Y)以及色差(Cr、Cb)，来生成血液图像。在该情况下，根据色差信号将红色的饱和度足够高的区域、或者亮度信号低到某种程度的区域作为存在血液的区域，来生成血液图像。例如，针对各像素根据色差信号求出相当于红色的饱和度的指标值，通过该指标值生成血液图像。或者，针对各像素根据亮度信号求出亮度信号越低则值越大的指标值，通过该指标值生成血液图像。
血液区域检测部22针对血液图像，设定多个局部区域(分割区域、块)。例如，将血液图像分割为多个矩形区域，将分割后的各矩形区域设定为局部区域。能够适当地设定矩形区域的尺寸，例如将16×16像素设为1个局部区域。例如，如图5所示，将血液图像分割为M×N个的局部区域，利用(m、n)表示各局部区域的坐标。m是 1以上M以下的整数，n是1以上N以下的整数。坐标(m、n)的局部区域表示为a (m、n)。在图5中，将位于图像的左上方的局部区域的坐标表示为(1、1)，将向右方向表示为m的正方向，将向下方向表示为n的正方向。
局部区域不一定必须是矩形，可以将血液图像分割为任意的多边形，将分割后的各区域设定为局部区域。此外，也可以根据操作者的指示任意地设定局部区域。在本实施方式中，为了削减后续的计算量以及去除噪音，将由多个相邻的像素群构成的区域设为1个局部区域，但也可以将1个像素设为1个局部区域。在该情况下，后续的处理也同样。
血液区域检测部22在血液图像上设定存在血液的血液区域。即，将血红蛋白量多的区域设定为血液区域。例如，针对所有的局部区域进行阈值处理，提取血液图像信号的值足够大的局部区域，将对相邻的局部区域彼此进行整合处理而得到的各区域设定为血液区域。在阈值处理中，例如，将对局部区域内的像素值进行平均处理而得到的值与给定的阈值进行比较，提取进行平均处理而得到的值比给定的阈值大的局部区域。血液区域检测部22根据血液区域中所包含的局部区域的坐标a(m、n)以及各局部区域中所包含的像素的信息，计算血液区域中所包含的所有像素的位置，将该计算出的信息作为表示血液区域的血液区域信息而输出到可视性强调部18。
可视性强调部18对来自预处理部14的摄像图像进行在色差空间中降低黄色以外的区域的饱和度的处理。具体来说，将摄像图像的像素的RGB的图像信号转换为亮度色差的YCbCr信号。转换式为下述数式(1)～(3)。
Y＝0.2126×R+0.7152×G+0.0722×B……(1)
Cb＝-0.114572×R-0.385428×G+0.5×B……(2)
Cr＝0.5×R-0.454153×G-0.045847×B……(3)
接着，如图6所示，可视性强调部18在色差空间中使黄色以外的区域的色差衰减。例如，按照以Cb轴为基准的角度的范围来定义色差空间中的黄色的范围，针对色差信号进入该角度的范围的像素，不进行色差信号的衰减。
具体来说，如下述数式(4)～(6)所示，可视性强调部18在由血液区域检测部22检测到的血液区域中，根据血液图像的信号值来控制衰减量。另外，在血液区域以外的区域(除了黄色区域以外的区域)中，例如，将系数α、β、γ固定为比1小的值。或者，也可以在血液区域以外的区域(除了黄色区域以外的区域)中通过下述数式(4)～(6)来控制衰减量。
Y'＝α(SHb)×Y……(4)
Cb'＝β(SHb)×Cb……(5)
Cr'＝γ(SHb)×Cr……(6)
SHb是血液图像的信号值(像素值)。如图7所示，α(SHb)、β(SHb)、γ(SHb) 是根据血液图像的信号值SHb而发生变化的系数，取0以上1以下的值。例如，如图7的KA1所示，是与信号值SHb成比例的系数。或者，如KA2所示，可以是在信号值SHb为SA以下时系数为0，在信号值SHb大于SA且为SB以下时系数与信号值SHb成比例，在信号值SHb大于SB时系数为1。0＜SA＜SB＜Smax，Smax是信号值SHb可取的值的最大值。图7示出系数相对于信号值SHb呈线性地变化的情况，但系数也可以相对于信号值SHb呈曲线地变化。例如，可以是从KA1向上凸出或者向下凸出的曲线。另外，α(SHb)、β(SHb)、γ(SHb)可以是相对于信号值 SHb产生相同变化的系数，也可以是相互产生不同的变化的系数。
根据上述数式(4)～(6)，在存在血液的区域中，系数接近1，因此衰减量变小。即，在血液图像中，信号值越大的像素，颜色(色差)越难以衰减。或者，在由血液区域检测部22检测到的血液区域中，由于与血液区域之外相比，衰减量变小，因此颜色(色差)难以衰减。
进而，如图8所示，可以在色差空间中使黄色区域向绿色方向旋转。由此，能够强调黄色区域与血液区域之间的对比度。如上所述，通过以Cb轴为基准的角度的范围来定义黄色。并且，在色差空间中使属于该黄色的角度范围的色差信号逆时针旋转规定角度，从而进行向绿色方向的旋转。
可视性强调部18通过下述数式(7)～(9)将衰减处理后的YCbCr信号转换为 RGB信号。可视性强调部18向后处理部20输出转换后的RGB信号(彩色图像)。
R＝Y'+1.5748×Cr'……(7)
G＝Y'-0.187324×Cb'-0.468124×Cr'……(8)
B＝Y'+1.8556×Cb'……(9)
另外，上述以使黄色以外的区域的色差信号以及亮度信号衰减的情况为例进行了说明，但也可以仅使黄色以外的区域的色差信号衰减。在该情况下，不执行上述数式 (4)，在上述数式(7)～(9)中Y’＝Y。
此外，上述以在血液区域中对使黄色以外的颜色衰减的处理进行抑制的情况为例进行了说明，但使黄色以外的颜色衰减的处理的控制方法不限于此。例如，在血液区域超出图像的一定比例(即，血液区域的像素数量/全部像素数量超出阈值)的情况下，可以在整个图像中对使黄色以外的颜色衰减的处理进行抑制。
后处理部20针对来自可视性强调部18的图像(黄色以外的颜色被衰减处理后的图像)，使用控制部17中保存的灰度转换系数、颜色转换系数、轮廓强调系数，来进行灰度转换处理、颜色处理、轮廓强调处理等的后处理，来生成在图像显示部6中显示的彩色图像。
根据以上的实施方式，图像处理装置(图像处理部16)包括图像取得部(例如预处理部14)以及可视性强调部18。图像取得部取得包含有通过对被摄体照射来自光源部3的照明光而得到的被摄体像的摄像图像。并且，如在图6等中所说明的那样，可视性强调部18对摄像图像的黄色以外的区域进行颜色的衰减处理，从而相对地提高摄像图像的黄色区域的可视性(进行黄色强调)。
这样，与具有黄色的组织(例如，包含有胡萝卜素的脂肪)的饱和度相比，能够使摄像图像中拍摄的被摄体中的具有黄色以外的颜色的组织的饱和度衰减。由此，结果成为具有黄色的组织被强调显示的状态，与具有黄色以外的颜色的组织相比，能够相对地提高具有黄色的组织的可视性。此外，使用图像取得部取得的摄像图像(例如， RGB彩色图像)来进行衰减处理，因此与准备多个分光图像，或者使用该多个分光图像来进行衰减处理的情况相比，结构、处理简化。
在此，黄色是指在颜色空间中属于与黄色对应的规定区域的颜色。例如，是在YCbCr空间的CbCr平面中以将原点作为中心的Cb轴为基准的角度的范围属于规定的角度范围的颜色。或者，是在HSV空间的色相(H)平面中属于规定的角度范围的颜色。此外，黄色是在颜色空间中位于红色与绿色之间的颜色，例如，在CbCr平面中位于红色的逆时针方向、绿色的顺时针方向。此外，不限于上述的定义，可以通过具有黄色的物质(例如胡萝卜素、胆红素、粪胆色素等)的分光特性、在该颜色空间中所占的区域来定义黄色。黄色以外的颜色例如是指在颜色空间中不属于与黄色对应的规定区域(属于规定区域以外的区域)的颜色。
此外，颜色的衰减处理是指使颜色的饱和度减少的处理。例如，是如图6所示，在YCbCr空间中使色差信号(Cb信号、Cr信号)衰减的处理。或者，是在HSV空间中使饱和度信号(S信号)衰减的处理。另外，衰减处理中使用的颜色空间不限于 YCbCr空间、HSV空间。
此外，在本实施方式中，图像处理装置(图像处理部16)包括检测部19，该检测部19根据摄像图像的颜色信息，检测摄像图像中的血液的区域即血液区域。并且，可视性强调部18根据检测部19的检测结果，抑制或者停止针对血液区域的衰减处理。
如图3的(A)中所说明，血液的成分即血红蛋白的吸收特性与胡萝卜素等的黄色物质的吸收特性不同。因此，如在图1的(B)中所说明，当对血液区域进行针对黄色以外的区域的颜色衰减处理时，可能会导致血液区域的饱和度降低。对于该点，在本实施方式中，在血液区域中抑制或者停止针对黄色以外的区域的颜色衰减处理，因此能够抑制或者防止血液区域的颜色的饱和度降低。
在此，血液区域是指在摄像图像中被估计为存在血液的区域。具体来说，是具有血红蛋白(HbO2、HbO)的分光特性(颜色)的区域。例如，如在图5中所说明，按照每个局部区域来判定血液区域。这相当于检测具有某种程度的(至少局部区域程度的)大小的血液区域。但不限于此，血液区域例如可以是在图9中后述那样的血管区域(或者包括血管区域)。即，作为检测对象的血液区域可以是在能够从图像中检测的范围内位于被摄体的任意位置的区域，可以是任意的形状或者面积的区域。例如，可以假设为血管(血管内的血液)、存在大量血管(例如毛细血管)的区域、血管外出血而滞留在被摄体(组织、处置器具等)的表面的血液、血管外出血(内出血)而滞留在组织内的血液等。
此外，摄像图像的颜色信息是指表示摄像图像的像素或者区域(例如，图5所示的局部区域)所具有的颜色的信息。另外，可以从对摄像图像进行例如滤波处理等之后的图像(基于摄像图像的图像)中取得颜色信息。颜色信息是对例如像素值或者区域的信号值(例如区域内的像素值的平均值等)进行通道间的运算(例如减法运算、除法运算)而得到的信号。或者，也可以是像素值或者区域的信号值的成分(通道信号)本身。或者，还可以是将像素值或者区域的信号值转换为给定的颜色空间的信号值而得到的信号值。例如，可以是YCbCr空间中的Cb信号、Cr信号，也可以是HSV 空间中的色相(H)信号、饱和度(S)信号。
此外，在本实施方式中，检测部19包括血液区域检测部22，该血液区域检测部 22根据摄像图像的颜色信息以及亮度信息中的至少一方，来检测血液区域。可视性强调部18根据血液区域检测部22的检测结果，抑制或者停止针对血液区域的衰减处理。另外，衰减处理的抑制是指衰减量大于零(例如上述数式(5)、(6)的系数β、γ小于1)。此外，衰减处理的停止是指不进行衰减处理、或者衰减量为零(例如上述数式(5)、(6)的系数β、γ为1)。
滞留在被摄体表面的血液，由于其吸光而变暗(例如，滞留的血液的深度越深，则被拍得越暗)。因此，通过使用摄像图像的亮度信息，从而能够检测滞留在被摄体表面的血液，能够抑制或者防止该滞留的血液的饱和度降低。
在此，摄像图像的亮度信息是指表示摄像图像的像素或者区域(例如图5所示的局部区域)所具有的亮度的信息。另外，可以从对摄像图像进行例如滤波处理等之后的图像(基于摄像图像的图像)中取得亮度信息。亮度信息例如也可以是像素值或者区域的信号值的成分(通道信号、例如RGB图像的G信号)本身。或者，还可以是将像素值或者区域的信号值转换为给定的颜色空间的信号值而得到的信号值。例如，可以是YCbCr空间中的亮度(Y)信号，也可以是HSV空间中的亮度(V)信号。
此外，在本实施方式中，血液区域检测部22将摄像图像分割为多个局部区域(例如图5的局部区域)，根据该局部区域的颜色信息以及亮度信息中的至少一方判定多个局部区域的各局部区域是否是血液区域。
由此，能够针对摄像图像的每个局部区域来判定是否是血液区域。例如，能够将被判定为是血液区域的局部区域中的相邻的局部区域结合而得到的区域设定为最终的血液区域。此外，通过在局部区域判定是否是血液区域，从而能够降低噪音的影响，能够提高是否是血液区域的判定精度。
此外，在本实施方式中，可视性强调部18根据摄像图像进行针对摄像图像的黄色以外的区域的颜色衰减处理。具体来说，根据摄像图像的颜色信息(像素或者区域的颜色信息)来确定衰减量(计算衰减系数)，按照该衰减量进行针对黄色以外的区域的颜色衰减处理。
由此，根据摄像图像来控制衰减处理(控制衰减量)，因此，与拍摄例如多个分光图像等，根据该多个分光图像来控制衰减处理的情况等相比，能够简化结构以及处理。
此外，在本实施方式中，可视性强调部18针对摄像图像的像素或者区域求出与血液对应的颜色信号，通过将根据该颜色信号的信号值而值发生变化的系数与黄色以外的区域的颜色信号相乘，从而进行衰减处理。具体来说，在与血液对应的颜色信号是在存在血液的区域中信号值较大的颜色信号的情况下，将该信号值越大则值越大 (接近1)的系数与黄色以外的区域的颜色信号相乘。
例如，在上述数式(5)、(6)中，与血液对应的颜色信号是R信号与G信号的差值或者除法值，即信号值SHb，系数是β(SHb)、γ(SHb)，被乘以系数的颜色信号是色差信号(Cb信号、Cr信号)。另外，不限于此，与血液对应的信号例如可以是给定的颜色空间中的颜色信号。此外，被乘以系数的颜色信号不限于色差信号，可以是HSV空间中的饱和度(S)信号，或者也可以是RGB的成分(通道信号)。
这样，存在血液的可能性越高(例如，与血液对应的颜色信号的信号值越大)，能够将系数的值设为越大。并且，通过将该系数与黄色以外的区域的颜色信号相乘，从而存在血液的可能性越高，越能够抑制颜色的衰减量。
此外，在本实施方式中，可视性强调部18对黄色区域的像素的像素值进行在颜色空间中向绿色侧方向进行旋转转换的颜色转换处理。
例如，颜色转换处理是在YCbCr空间的CbCr平面内进行逆时针旋转转换的处理。或者是在HSV空间的色相(H)平面内进行逆时针旋转转换的处理。例如，按照比 CbCr平面或者色相平面中的黄色与绿色之间的角度差小的角度，进行旋转转换。
这样，摄像图像的黄色区域被转换成接近绿色。由于血液的颜色是红色，其互补色是绿色，因此通过使黄色区域接近绿色，从而提高血液区域和黄色区域的颜色的对比度，能够进一步提高黄色区域的可视性。
此外，在本实施方式中，黄色区域的颜色是胡萝卜素、胆红素、或者粪胆色素的颜色。
胡萝卜素是例如脂肪、癌等中所包含的物质。此外，胆红素是胆汁等中所包含的物质。另外，粪胆色素是粪便、尿等中所包含的物质。
由此，将估计为存在胡萝卜素、胆红素、或者粪胆色素的区域检测为黄色区域，能够对该区域以外的颜色进行衰减处理。由此，在摄像图像中，能够相对地提高脂肪、癌等、或者胆汁等、或者粪便、尿等所存在的区域的可视性。
另外，本实施方式的图像处理装置可以如下所述地构成。即，图像处理装置包括：存储器，其存储信息(例如程序、各种数据)；以及处理器(包括硬件的处理器)，其根据存储器中存储的信息进行动作。处理器进行图像取得处理以及可视性强调处理，其中，图像取得处理是取得包含有对被摄体照射来自光源部3的照明光而得到的被摄体像的摄像图像的处理，可视性强调处理是通过对摄像图像的黄色以外的区域进行颜色衰减处理，从而使摄像图像的黄色区域的可视性相对地提高的处理。
对于处理器，例如，可以通过单独的硬件来实现各部件的功能，或者也可以通过一体的硬件来实现各部件的功能。例如，处理器包括硬件，该硬件可以包括对数字信号进行处理的电路以及对模拟信号进行处理的电路中的至少一方。例如，处理器可以由安装于电路基板的1个或者多个电路装置(例如IC等)、1个或者多个电路元件(例如电阻、电容器等)构成。处理器例如可以是CPU(Central Processing Unit:中央处理器)。但是，处理器不限于CPU，也能够使用GPU(Graphics Processing Unit：图形处理单元)、或者DSP(DigitalSignal Processor：数字信号处理器)等各种的处理器。此外，处理器可以是由ASIC构成的硬件电路。另外，处理器可以包括对模拟信号进行处理的放大器电路、滤波电路。存储器可以是SRAM、DRAM等的半导体存储器，也可以是寄存器，可以是硬盘装置等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器通过存储计算机可读取的命令，通过处理器来执行该命令，从而实现图像处理装置的各部的功能。此处的命令可以是构成程序的命令集的命令，也可以是对处理器的硬件电路指示动作的命令。
例如，如下所述地实现本实施方式的动作。由预处理部14对由摄像元件10拍摄得到的图像进行处理，作为摄像图像存储在存储器中。处理器从存储器中读取摄像图像，对该摄像图像进行衰减处理，并将衰减处理后的图像存储在存储器中。
此外，本实施方式的图像处理装置的各部可以被实现为在处理器上进行动作的程序的模块。例如，图像取得部被实现为图像取得模块，该图像取得模块取得包含有通过对被摄体照射来自光源部3的照明光而得到的被摄体像的摄像图像。可视性强调部 18被实现为可视性强调模块，该可视性强调模块通过对摄像图像的黄色以外的区域进行颜色的衰减处理，从而使摄像图像的黄色区域的可视性相对地提高。
2.图像处理部的第2详细结构例
图9是图像处理部的第2详细结构例。在图9中，检测部19包括血液图像生成部23以及血管区域检测部21。另外，内窥镜装置的结构与图2相同。以下，对已经说明的构成要素赋予相同的标号，适当地省略该构成要素的说明。
血管区域检测部21根据血管的结构信息以及血液图像来检测血管区域。血液图像生成部23生成血液图像的方式与第1详细结构例相同。根据来自预处理部14的摄像图像检测血管的结构信息。具体来说，对像素值(图像信号)的B通道(血红蛋白的吸收率高的通道)实施方向平滑处理(噪音抑制)以及高通滤波处理。在方向平滑处理中，对摄像图像进行边缘方向的判定。边缘方向例如被判定为水平方向以及垂直方向、倾斜方向中的任意一个方向。接着，对检测出的边缘方向进行平滑处理。平滑处理例如是对沿边缘方向排列的像素的像素值进行平均化的处理。血管区域检测部 21对进行了平滑处理之后的图像实施高通滤波处理，从而提取血管的结构信息。将提取出的结构信息以及血液图像的像素值均较高的区域设为血管区域。例如，将结构信息的信号值大于第1给定阈值、且血液图像的像素值大于第2给定阈值的像素判定为血管区域的像素。血管区域检测部21向可视性强调部18输出检测出的血管区域的信息(属于血管区域的像素的坐标)。
可视性强调部18在由血管区域检测部21检测出的血管区域中，根据血液图像的信号值来控制衰减量。衰减量的控制方法与第1详细结构例相同。
根据以上的实施方式，检测部19包括血管区域检测部21，该血管区域检测部21 根据摄像图像的颜色信息以及结构信息，检测摄像图像中的血管的区域即血管区域。并且，可视性强调部18根据血管区域检测部21的检测结果，抑制或者停止针对血管区域的衰减处理。
由于血管位于组织内，因此根据其粗细、在组织内的深度、位置等，有时对比度较低。在进行了针对黄色以外的区域的颜色衰减处理的情况下，这种对比度较低的血管的对比度有可能进一步降低。对于该点，根据本实施方式，能够抑制或者停止针对血管区域的衰减处理，因此能够抑制或者防止血管区域的对比度的降低。
在此，摄像图像的结构信息是提取出血管所具有的结构的信息。例如，结构信息是图像的边缘量，例如是对图像进行高通滤波处理、带通滤波处理而提取出的边缘量。此外，血管区域是指在摄像图像中被估计为存在血管的区域。具体来说，是具有血红蛋白(HbO2、HbO)的分光特性(颜色)，且存在结构信息(例如边缘量)的区域。另外，如上所述，血管区域是血液区域的一种。
此外，在本实施方式中，可视性强调部18可以根据血管区域检测部21的检测结果，强调摄像图像的血管区域的结构，对该强调后的摄像图像进行衰减处理。
例如，也可以不进行针对血液区域(血管区域)的衰减处理的抑制或者停止，而进行血管区域的结构强调以及衰减处理。或者，也可以进行针对血液区域(血管区域) 的衰减处理的抑制或者停止，并且进行血管区域的结构强调以及衰减处理。
在此，例如，可以通过将从图像中提取出的边缘量(边缘图像)与摄像图像进行相加处理的处理等来实现强调血管区域的结构的处理。另外，结构强调不限于此。
由此，能够通过结构强调提高血管的对比度，针对该对比度提高的血管区域，执行针对黄色以外的区域的颜色衰减处理。由此，能够抑制或者防止血管区域的对比度的降低。
3.变形例
图10是本实施方式的内窥镜装置的第1变形例。在图10中，光源部3包括射出相互不同的波段的光的多个发光二极管31a、31b、31c、31d(LED)、反射镜32以及 3个分色镜33。
如图11的(B)所示，发光二极管31a、31b、31c、31d射出400～450nm、450 ～500nm、520～570nm、600～650nm的波段的光。例如，如图11的(A)和图11 的(B)所示，发光二极管31a的波段是血红蛋白以及胡萝卜素的吸光度均较高的波段。发光二极管31b的波段是血红蛋白的吸光度较低、胡萝卜素的吸光度较高的波段。发光二极管31c的波段是血红蛋白以及胡萝卜素的吸光度均较低的波段。发光二极管 31d的波段是血红蛋白以及胡萝卜素的吸光度均接近零的波段。这些4个波段几乎覆盖白色光的波段(400nm～700nm)。
来自发光二极管31a、31b、31c、31d的光通过反射镜32以及3个分色镜33向照明光学***7(光导电缆)入射。发光二极管31a、31b、31c、31d同时进行发光，向被摄体照射白色光。摄像元件10例如是单板的彩色摄像元件。发光二极管31a、 31b的波段400nm～500nm与蓝色的波段对应，发光二极管31c的波段520～570nm 与绿色的波段对应，发光二极管31d的波段600～650nm与红色的波段。
另外，发光二极管及其波段的结构不限于此。即，光源部3能够包括1个或者多个发光二极管，只要通过该1个或者多个发光二极管进行发光，从而生成白色光即可。各发光二极管的波段是任意的，只要在1个或者多个发光二极管进行发光时，作为整体覆盖了白色光的波段即可。例如，包含与红色、绿色、蓝色分别对应的波段即可。
图12是本实施方式的内窥镜装置的第2变形例。在图12中，光源部3包括滤波器转台12、使滤波器转台12旋转的电动机29以及氙气灯11。此外，信号处理部4 包括存储器28以及图像处理部16。另外，摄像元件27是单色摄像元件。
如图13所示，滤波器转台12具有以旋转中心A为中心沿周向配置的滤波器组。如图14的(B)所示，滤波器组由使蓝色(B2：400～490nm)、绿色(G2：500～570nm)、红色(R2：590～650nm)的光透过的滤波器B2、G2、R2构成。如图14的(A)、图14的(B)所示，滤波器B2的波段是血红蛋白以及胡萝卜素的吸光度均较高的波段。滤波器G2的波段是血红蛋白以及胡萝卜素的吸光度均较低的波段。滤波器R2 的波段是血红蛋白以及胡萝卜素的吸光度均几乎为零的波段。
从氙气灯11发出的白色光依次通过旋转的滤波器转台12的滤波器B2、G2、R2，其蓝色B2、绿色G2、红色R2的照明光按照时分的方式照射到被摄体。
控制部17使摄像元件27的拍摄定时、滤波器转台12的旋转以及由图像处理部 16进行的图像处理的定时同步。此外，存储器28按照所照射的照明光的每个波长存储由摄像元件27取得的图像信号。图像处理部16将存储器28中存储的每个波长的图像信号进行合成来生成彩色图像。
具体来说，在蓝色B2的照明光照射到被摄体时，摄像元件27进行摄像，该图像作为蓝色的图像(B通道)存储在存储器28中，在绿色G2的照明光照射到被摄体时，摄像元件27进行摄像，该图像作为绿色的图像(G通道)存储在存储器28 中，在红色R2的照明光照射到被摄体时，摄像元件27进行摄像，该图像作为红色的图像(R通道)存储在存储器28中。并且，在取得与3个颜色的照明光对应的图像的时刻，将这些图像从存储器28发送给图像处理部16。图像处理部16在预处理部14中进行各图像处理，将与3个颜色的照明光对应的图像进行合成来取得1个RGB 彩色图像。由此，取得普通光的图像(白色光图像)，该普通光的图像作为摄像图像输出到可视性强调部18。
图15是本实施方式的内窥镜装置的第3变形例。在图15中，采用所谓的3CCD 方式。即，摄影光学***8包括按照每个波段对来自被摄体的反射光进行分光的分色棱镜34、以及对各波段的光进行拍摄的3个单色摄像元件35a、35b、35c。此外，信号处理部4包括合成部37以及图像处理部16。
分色棱镜34通过图16的(B)所示的透射率特性，按照蓝色、绿色、红色的每个波段对来自被摄体的反射光进行分光。另外，图16的(A)示出血红蛋白以及胡萝卜素的吸收特性。被分色棱镜34分光后的蓝色、绿色、红色的波段的光分别入射到单色摄像元件35a、35b、35c中，作为蓝色、绿色、红色的图像被摄像。合成部 37将由单色摄像元件35a、35b、35c进行摄像而得到的3个图像进行合成，作为RGB 彩色图像向图像处理部16输出。
4.通知处理
图17是图像处理部的第3详细结构例。在图17中，图像处理部16还包括通知处理部25，通知处理部25根据检测部19的血液区域的检测结果进行通知处理。血液区域可以是图4的血液区域检测部22检测的血液区域(狭义来说，为出血血液区域)，也可以是图9的血管区域检测部21检测的血管区域。
具体来说，在由检测部19检测出血液区域的情况下，通知处理部25进行向用户通知检测出血液区域的通知处理。例如，通知处理部25将警报显示重叠在显示图像上并向图像显示部6输出。例如，显示图像包括显示摄像图像的区域以及其周边区域，在周边区域显示警报显示。警报显示例如是闪烁的图标等。
或者，通知处理部25根据表示处置器具与血管区域之间的位置关系的位置关系信息(例如距离)，进行向用户通知在处置器具的附近存在血管区域的通知处理。通知处理例如是与上述同样的显示警报显示的处理。
另外，通知处理不限于警报显示，可以是高亮显示血液区域(血管区域)的处理、显示提醒注意的文字(文章等)的处理。或者，不限于基于图像显示的通知，也可以进行基于光、声音、振动的通知。在该情况下，通知处理部25可以设置为与图像处理部16不同的构成要素。或者，通知处理不仅可以是针对用户的通知处理，也可以是针对设备(例如，后述的手术辅助***的机器人等)的通知处理。例如，可以对设备输出警报信号。
如上所述，可视性强调部18在血液区域(血管区域)中抑制使黄色以外的颜色衰减的处理。因此，与未进行使黄色以外的颜色衰减的处理的情况相比，血液区域的颜色的饱和度有可能会下降。根据本实施方式，能够根据血液区域(血管区域)的检测结果，进行通知摄像图像内存在血液的处理、通知处置器具靠近血管的处理等。
5.手术辅助***
作为本实施方式的内窥镜装置(内窥镜***)，例如，如图2所示，设想了***部(镜体)与控制装置连接，用户操作该镜体而对体内进行拍摄的类型的内窥镜装置。但不限于此，例如，也能够将本发明应用于使用了机器人的手术辅助***等。
图18是手术辅助***的结构例。手术辅助***100包括控制装置110、机器人 120(机器人主体)、镜体130(例如硬性内窥镜)。控制装置110是控制机器人120 的装置。即，用户通过对控制装置110的操作部进行操作从而使机器人进行动作，经由机器人进行针对患者的手术。此外，通过对控制装置110的操作部进行操作，从而经由机器人120操作镜体130，能够对手术区域进行拍摄。控制装置110包括对来自镜体130的图像进行处理的图像处理部112(图像处理装置)。用户一边观察由图像处理部112显示在显示装置(未图示)上的图像，一边操作机器人。本发明能够应用于这种手术辅助***100中的图像处理部112(图像处理装置)。此外，镜体130以及控制装置110(或者，还有机器人120)与包括本实施方式的图像处理装置的内窥镜装置(内窥镜***)对应。
以上，对应用了本发明的实施方式及其变形例进行了说明，但本发明不限于各实施方式及其变形例本身，能够在实施阶段，在不脱离发明的主旨的范围内对构成要素进行变形而使其具体化。此外，能够通过适当地组合上述的各实施方式、变形例中所公开的多个构成要素而形成各种发明。例如，也可以从各实施方式、变形例中所记载的全部构成要素中删除若干个构成要素。进而，也可以适当地组合不同的实施方式、变形例中所说明的构成要素。由此，能够在不脱离发明的主旨的范围内进行各种变形以及应用。此外，在说明书或者附图中，至少针对与更广义或者同义的不同的用语一起记载的用语，在说明书或者附图的任意位置处，也可以置换为与其不同的用语。
标号说明：
1内窥镜装置、2***部、3光源部、4信号处理部、
5控制装置、6图像显示部、7照明光学***、8摄影光学***、
9物镜、10摄像元件、11氙气灯、
12滤波器转台、13外部I/F部、14预处理部、
15插值部、16图像处理部、17控制部、
18可视性强调部、19检测部、20后处理部、
21血管区域检测部、22血液区域检测部、
23血液图像生成部、25通知处理部、27摄像元件、
28存储器、29电动机、31a～31d发光二极管、
32反射镜、33分色镜、34分色棱镜、
35a～35c单色摄像元件、37合成部、
100手术辅助***、110控制装置、112图像处理部、
120机器人、130镜体
Claims (13)
1.一种图像处理装置，其特征在于，所述图像处理装置包括：
图像取得部，其取得摄像图像，其中所述摄像图像包含有通过对被摄体照射来自光源部的照明光而得到的被摄体像；
可视性强调部，其通过对所述摄像图像的黄色以外的区域进行颜色的衰减处理，相对地提高所述摄像图像的黄色区域的可视性；以及
检测部，其根据所述摄像图像的颜色信息以及亮度信息中的至少一方，检测所述摄像图像中的血液的区域即血液区域，
所述可视性强调部根据所述检测部的检测结果，抑制或者停止针对作为所述衰减处理的对象的所述黄色以外的区域中的所述血液区域的所述衰减处理。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述检测部包括：
血管区域检测部，其根据所述摄像图像的所述颜色信息以及结构信息，检测所述摄像图像中的血管的区域即血管区域，
所述可视性强调部根据所述血管区域检测部的检测结果，抑制或者停止针对所述血管区域的所述衰减处理。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述检测部包括：
血液区域检测部，其根据所述摄像图像的所述颜色信息以及亮度信息中的至少一方，检测所述血液区域，
所述可视性强调部根据所述血液区域检测部的检测结果，抑制或者停止针对所述血液区域的所述衰减处理。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述血液区域检测部将所述摄像图像分割为多个局部区域，根据所述多个局部区域的各个局部区域的所述颜色信息以及所述亮度信息中的至少一方，判定该局部区域是否是所述血液区域。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述可视性强调部通过进行针对所述摄像图像的像素或者区域求出与所述血液对应的颜色信号，将系数与所述黄色以外的区域的颜色信号相乘的处理，来进行所述衰减处理，其中所述系数的值根据所述颜色信号的信号值而发生变化。
6.根据权利要求1所述的图像处理装置，其特征在于，
所述可视性强调部针对所述黄色区域的像素的像素值，进行在颜色空间中向绿色侧方向进行旋转转换的颜色转换处理。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述黄色区域的颜色是胡萝卜素、胆红素或者粪胆色素的颜色。
8.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置包括：
通知处理部，其根据由所述检测部检测的所述血液区域的检测结果，进行通知处理。
9.一种内窥镜装置，其特征在于，
所述内窥镜装置包括权利要求1所述的图像处理装置。
10.根据权利要求9所述的内窥镜装置，其特征在于，所述内窥镜装置包括：
所述光源部，其射出具有普通光的波段的所述照明光。
11.根据权利要求10所述的内窥镜装置，其特征在于，
所述光源部包括1个或者多个发光二极管，
所述光源部射出通过所述1个或者多个发光二极管的发光而产生的所述普通光，作为所述照明光。
12.一种图像处理装置的工作方法，其特征在于，
取得摄像图像，其中所述摄像图像包含有通过对被摄体照射来自光源部的照明光而得到的被摄体像；
通过针对所述摄像图像的黄色以外的区域进行颜色的衰减处理，相对地提高所述摄像图像的黄色区域的可视性；
根据所述摄像图像的颜色信息以及亮度信息中的至少一方，检测所述摄像图像中的血液的区域即血液区域；以及
根据所述检测的结果，抑制或者停止针对作为所述衰减处理的对象的所述黄色以外的区域中的所述血液区域的所述衰减处理。
13.一种存储有图像处理程序的计算机可读存储介质，该图像处理程序使计算机执行如下步骤：
取得摄像图像，其中所述摄像图像包含有通过对被摄体照射来自光源部的照明光而得到的被摄体像；
通过针对所述摄像图像的黄色以外的区域进行颜色的衰减处理，相对地提高所述摄像图像的黄色区域的可视性；
根据所述摄像图像的颜色信息以及亮度信息中的至少一方，检测所述摄像图像中的血液的区域即血液区域；以及
根据所述检测的结果，抑制或者停止针对作为所述衰减处理的对象的所述黄色以外的区域中的所述血液区域的所述衰减处理。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/022795 WO2018235178A1 (ja) | 2017-06-21 | 2017-06-21 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110769738A CN110769738A (zh) | 2020-02-07 |
| CN110769738B true CN110769738B (zh) | 2022-03-08 |
Family
ID=64735581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780092305.1A Active CN110769738B (zh) | 2017-06-21 | 2017-06-21 | 图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200121175A1 (zh) |
| CN (1) | CN110769738B (zh) |
| WO (1) | WO2018235178A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3620098B1 (en) | 2018-09-07 | 2021-11-03 | Ambu A/S | Enhancing the visibility of blood vessels in colour images |
| WO2021224981A1 (ja) * | 2020-05-08 | 2021-11-11 | オリンパス株式会社 | 内視鏡システム及び照明制御方法 |
| CN114693847A (zh) * | 2020-12-25 | 2022-07-01 | 北京字跳网络技术有限公司 | 动态流体显示方法、装置、电子设备和可读介质 |
| WO2024004013A1 (ja) * | 2022-06-28 | 2024-01-04 | 国立研究開発法人国立がん研究センター | プログラム、情報処理方法、及び情報処理装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08125946A (ja) * | 1994-10-19 | 1996-05-17 | Aiwa Co Ltd | 画像信号処理装置 |
| JP2009226072A (ja) * | 2008-03-24 | 2009-10-08 | Fujifilm Corp | 手術支援方法及び装置 |
| CN101686827A (zh) * | 2007-01-19 | 2010-03-31 | 桑尼布鲁克健康科学中心 | 具有组合的超声和光学成像装置的成像探头 |
| CN102188226A (zh) * | 2010-03-19 | 2011-09-21 | 富士胶片株式会社 | 电子内窥镜***、电子内窥镜处理器和获取血管信息的方法 |
| EP2705787A1 (en) * | 2012-09-05 | 2014-03-12 | Fujifilm Corporation | Endoscope system, processor device thereof, and image processing method |
| CN104066367A (zh) * | 2012-01-31 | 2014-09-24 | 奥林巴斯株式会社 | 活体观察装置 |
| CN104364822A (zh) * | 2012-06-01 | 2015-02-18 | 皇家飞利浦有限公司 | 分割突出显示器 |
| CN105050473A (zh) * | 2013-03-27 | 2015-11-11 | 奥林巴斯株式会社 | 图像处理装置、内窥镜装置、程序以及图像处理方法 |
| CN105228501A (zh) * | 2013-05-23 | 2016-01-06 | 奥林巴斯株式会社 | 内窥镜装置和内窥镜装置的工作方法 |
| WO2016151672A1 (ja) * | 2015-03-20 | 2016-09-29 | オリンパス株式会社 | 生体観察装置 |
| WO2016151676A1 (ja) * | 2015-03-20 | 2016-09-29 | オリンパス株式会社 | 画像処理装置、画像処理方法および生体観察装置 |
| WO2016151675A1 (ja) * | 2015-03-20 | 2016-09-29 | オリンパス株式会社 | 生体観察装置および生体観察方法 |
| WO2016162925A1 (ja) * | 2015-04-06 | 2016-10-13 | オリンパス株式会社 | 画像処理装置、生体観察装置および画像処理方法 |
| CN106162132A (zh) * | 2015-05-11 | 2016-11-23 | 佳能株式会社 | 图像处理设备及其控制方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3007698B2 (ja) * | 1991-01-25 | 2000-02-07 | オリンパス光学工業株式会社 | 内視鏡システム |
| US5353798A (en) * | 1991-03-13 | 1994-10-11 | Scimed Life Systems, Incorporated | Intravascular imaging apparatus and methods for use and manufacture |
| JPH0918886A (ja) * | 1995-06-28 | 1997-01-17 | Olympus Optical Co Ltd | 単板カラー撮像装置の水平偽色抑圧装置 |
| JP5449816B2 (ja) * | 2009-03-26 | 2014-03-19 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 |
| JP5591570B2 (ja) * | 2010-03-23 | 2014-09-17 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US20120157794A1 (en) * | 2010-12-20 | 2012-06-21 | Robert Goodwin | System and method for an airflow system |
| JP2014094087A (ja) * | 2012-11-08 | 2014-05-22 | Fujifilm Corp | 内視鏡システム |
| CN104853677B (zh) * | 2012-12-12 | 2017-11-24 | 柯尼卡美能达株式会社 | 图像处理装置以及图像处理方法 |
| DE112015005531T5 (de) * | 2015-01-08 | 2017-09-21 | Olympus Corporation | Bildverarbeitungsvorrichtung, Verfahren zum Betreiben einer Bildverarbeitungsvorrichtung, Programm zum Betreiben einer Bildverarbeitungsvorrichtung und Endoskopeinrichtung |
-
2017
- 2017-06-21 WO PCT/JP2017/022795 patent/WO2018235178A1/ja active Application Filing
- 2017-06-21 CN CN201780092305.1A patent/CN110769738B/zh active Active
-
2019
- 2019-12-18 US US16/718,464 patent/US20200121175A1/en not_active Abandoned
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08125946A (ja) * | 1994-10-19 | 1996-05-17 | Aiwa Co Ltd | 画像信号処理装置 |
| CN101686827A (zh) * | 2007-01-19 | 2010-03-31 | 桑尼布鲁克健康科学中心 | 具有组合的超声和光学成像装置的成像探头 |
| JP2009226072A (ja) * | 2008-03-24 | 2009-10-08 | Fujifilm Corp | 手術支援方法及び装置 |
| CN102188226A (zh) * | 2010-03-19 | 2011-09-21 | 富士胶片株式会社 | 电子内窥镜***、电子内窥镜处理器和获取血管信息的方法 |
| CN104066367A (zh) * | 2012-01-31 | 2014-09-24 | 奥林巴斯株式会社 | 活体观察装置 |
| CN104364822A (zh) * | 2012-06-01 | 2015-02-18 | 皇家飞利浦有限公司 | 分割突出显示器 |
| EP2705787A1 (en) * | 2012-09-05 | 2014-03-12 | Fujifilm Corporation | Endoscope system, processor device thereof, and image processing method |
| CN105050473A (zh) * | 2013-03-27 | 2015-11-11 | 奥林巴斯株式会社 | 图像处理装置、内窥镜装置、程序以及图像处理方法 |
| CN105228501A (zh) * | 2013-05-23 | 2016-01-06 | 奥林巴斯株式会社 | 内窥镜装置和内窥镜装置的工作方法 |
| WO2016151672A1 (ja) * | 2015-03-20 | 2016-09-29 | オリンパス株式会社 | 生体観察装置 |
| WO2016151676A1 (ja) * | 2015-03-20 | 2016-09-29 | オリンパス株式会社 | 画像処理装置、画像処理方法および生体観察装置 |
| WO2016151675A1 (ja) * | 2015-03-20 | 2016-09-29 | オリンパス株式会社 | 生体観察装置および生体観察方法 |
| WO2016162925A1 (ja) * | 2015-04-06 | 2016-10-13 | オリンパス株式会社 | 画像処理装置、生体観察装置および画像処理方法 |
| CN106162132A (zh) * | 2015-05-11 | 2016-11-23 | 佳能株式会社 | 图像处理设备及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018235178A1 (ja) | 2018-12-27 |
| US20200121175A1 (en) | 2020-04-23 |
| CN110769738A (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5250342B2 (ja) | 画像処理装置およびプログラム | |
| EP2992805B1 (en) | Electronic endoscope system | |
| JP5395725B2 (ja) | 電子内視鏡システム | |
| JP5457247B2 (ja) | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 | |
| CN110769738B (zh) | 图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质 | |
| US10039439B2 (en) | Endoscope system and method for operating the same | |
| US20150294463A1 (en) | Image processing device, endoscope apparatus, image processing method, and information storage device | |
| WO2011080996A1 (ja) | 画像処理装置、電子機器、プログラム及び画像処理方法 | |
| JP5753105B2 (ja) | 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法 | |
| JP5789280B2 (ja) | プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 | |
| US20150257635A1 (en) | Observation apparatus | |
| JP2010005095A (ja) | 内視鏡装置における距離情報取得方法および内視鏡装置 | |
| US9962070B2 (en) | Endoscope system, processor device, and method for operating endoscope system | |
| US20110311117A1 (en) | Image processing device and information storage medium | |
| US10856805B2 (en) | Image processing device, living-body observation device, and image processing method | |
| JP6077340B2 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
| CN111295124B (zh) | 内窥镜***、内窥镜图像的生成方法和处理器 | |
| JP2016192985A (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
| CN111989023A (zh) | 内窥镜***及使内窥镜***工作的方法 | |
| WO2018235179A1 (ja) | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム | |
| JP2021035549A (ja) | 内視鏡システム | |
| US20210088772A1 (en) | Endoscope apparatus, operation method of endoscope apparatus, and information storage media | |
| CN115361898A (zh) | 医疗图像处理装置、内窥镜***及医疗图像处理装置的工作方法、以及医疗图像处理装置用程序 | |
| JP6267372B2 (ja) | 内視鏡システム | |
| US11790487B2 (en) | Image processing systems and methods of using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |