CN101779945B - 内窥镜图像处理方法及装置以及采用它的内窥镜*** - Google Patents

Abstract

本发明提供一种内窥镜图像处理方法及装置以及采用它的内窥镜***。能通过简单***结构获得荧光图像和背景图像。在对拍摄对象照射激励光(L1)时，通过拍摄元件(22)对从拍摄对象反射的激励光(L1)和拍摄对象发出的荧光(L2)进行拍摄，在图像获得部(31)中获得彩色图像(P)。然后，通过在分光图像生成部(34)，将彩色图像(P)中的激励光(L1)的波长成分(Δλ₁)和荧光(L2)的波长成分(Δλ₂)分配给各个原色成分，生成由表示激励光(L1)的背景图像(SPb)和表示荧光的荧光图像(SPr)形成的分光推导图像(SP)。

Description

内窥镜图像处理方法及装置以及采用它的内窥镜***

技术领域

本发明涉及在对拍摄对象照射激励光时，观察从拍摄对象射出的荧光用的内窥镜图像处理方法及装置以及采用它的内窥镜***。

背景技术

公知在对生物体组织照射特定的波长的激励光时，发出生物体组织的自身荧光。于是，提出下述内窥镜装置，其中，采用内窥镜装置对体腔内的生物体组织照射激励光，检测来自生物体组织的自身荧光。这里，在进行荧光观察时，为了对照射激励光的部位和射出荧光的部位进行比较，需要表示荧光的状态的荧光图像和激励光的照射状态的背景图像。

在这里，可知采用半棱镜或带通滤波器等，对从拍摄对象反射的激励光和荧光进行分光，采用各自的拍摄元件，对激励光和荧光进行拍摄。或如专利文献1所示，提出下述方法，其按照固定周期，切换在拍摄元件的感光面侧遮挡激励光使荧光透过的滤波器和使激励光透过的滤波器，由此，在不同的时间，分别获得对荧光进行拍摄的荧光图像和对激励光进行拍摄的背景图像。

专利文献1：JP特开2000-270265号公报

但是，在分别设置荧光信号的拍摄和背景信号的拍摄时，存在需要多个拍摄元件，并且需要半棱镜等的光学部件，***结构复杂的问题。另外，如专利文献1所示，在按照时间序列获得荧光和背景图像时，在拍摄对象运动时，存在产生背景图像与荧光图像之间的空间位置错位的情况，无法进行正确的诊断的问题。

发明内容

于是，本发明的目的在于提供能通过简单的***结构获得荧光图像和背景图像的内窥镜图像处理方法、装置和内窥镜***。

本发明的内窥镜图像处理方法的特征在于：在对拍摄对象照射了激励光时，对从该拍摄对象反射了的激励光和该拍摄对象发出了的荧光进行拍摄，获得彩色图像，通过将已获得的彩色图像中的激励光的波长成分和荧光的波长成分分配给各个原色成分，生成由表示激励光的背景图像和表示荧光的荧光图像形成的分光推导图像。

本发明的内窥镜图像处理装置的特征在于，包括：图像获得部，在对拍摄对象照射了激励光时，对从拍摄对象反射了的激励光和拍摄对象发出了的荧光进行拍摄，获得彩色图像；分光图像生成部，从通过图像获得部获得到的彩色图像中，将激励光的波长成分和荧光的波长成分分配给各个原色成分，从而生成由表示激励光的背景图像和表示荧光的荧光图像形成的分光推导图像。

本发明的内窥镜***包括：对拍摄对象照射激励光的光源单元；观测器，具有拍摄元件，该拍摄元件将从光源单元射出的激励光导波到拍摄对象，并且在对被射体照射激励光时，对从拍摄对象反射的激励光和拍摄对象所发出的荧光进行拍摄；内窥镜图像处理装置，从通过观测器拍摄到的拍摄对象图像提取荧光图像，其特征在于，内窥镜图像处理装置包括：获得通过拍摄元件拍摄到的彩色图像的图像获得部；分光图像生成部，从通过图像获得部获得的彩色图像，将激励光的波长成分和荧光的波长成分分配给各个原色成分，由此，生成由表示激励光的背景图像和表示荧光的荧光图像形成的分光推导图像。

在这里，荧光能通过激励光的照射发出，也能为例如，在对生物体组织，照射蓝色的波长频带的激励光时，通过生物体本来具有的荧光成分，从绿色的波长频带到红色的波长频带的范围，发出微弱的光的自身荧光。或者，也能通过对大致5-氨基乙酰丙酸(5-AminoLevulinic Acid(ALA))照射波长405nm的激励光L1，对由636nm附近的波长形成的荧光L2进行拍摄。或者，也能通过对例如，注入到体腔内的靛青绿(ICG)照射波长780nm的激励光L1，对由840nm附近的波长形成的荧光L2进行拍摄。

另外，分光推导图像能通过将各原色成分分别显示于显示装置中，仅仅显示荧光图像，或仅仅显示背景图像。

此外，内窥镜图像处理装置也能还包括对在图像获得部获得的彩色图像进行γ补偿的γ补偿部。此时，分光图像生成部采用通过γ补偿部进行了γ补偿的彩色图像，生成分光推导图像。

另外，分光图像生成部也能将荧光的波长频带分配给由RGB的各原色成分形成的分光推导图像中的任意的原色成分，还能例如，将激励光的波长成分分配给R信号和B信号作为背景图像，将荧光的波长成分分配给G信号作为荧光图像，生成分光推导图像。

另外，分光图像生成部不仅生成分光推导图像，还能具有从彩色图像或分光推导图像，生成由大致500～550nm(绿色)的波长频带形成的副荧光图像的功能。此时，内窥镜图像处理装置也能具有病变图像生成部，该病变图像生成部将副荧光图像相对于分光推导图像的荧光的原色成分的各像素值的比作为病变指数来计算，生成根据计算出的病变指数的值而着色的病变指数图像。

另外，观测器也能还具有设置于拍摄元件中的感光面侧的、减少拍摄元件中的激励光的感光光量的截止滤波器。

根据本发明的内窥镜图像处理方法及装置以及采用它的内窥镜***，在对拍摄对象照射激励光时，对从拍摄对象反射的激励光和从拍摄对象发出的荧光进行拍摄，获得彩色图像，生成将已获得的彩色图像中的激励光的波长成分和荧光的波长成分分配给各个原色成分的分光推导图像，由此，即使在如以往那样，不必设置各自的拍摄元件的情况下，仍能根据激励光和荧光的波长频带信息，从彩色图像生成背景图像和荧光图像，能通过简单的结构确认荧光的发光状态。

另外，其还包括对在图像获得部获得的彩色图像进行γ补偿的γ补偿部，如果分光图像生成部采用通过γ补偿部进行了γ补偿的彩色图像，生成分光推导图像，则由于能减小表示分光推导图像的激励光的信号值，且增大表示荧光的信号值，因此能生成强调荧光部分的分光推导图像。

此外，如果激励光具有蓝色的波长频带，荧光为自身荧光，分光图像生成部具有从彩色图像或分光推导图像，生成由绿色的波长频带形成的副荧光图像的功能，所述内窥镜图像处理装置还包括病变图像生成部，将副荧光图像的像素值相对于荧光图像的像素值的比作为病变指数对每个像素进行计算，根据计算出的该病变指数的值生成着色的病变指数图像，则着眼于相对病变部位，正常部位在自身荧光的波长频带中绿色的波长频带的强度所占的比例较高的情况，能将作为发出荧光的部分的绿色的波长频带的大致500～550nm的所占比例作为病变指数图像进行可视化，由此，能进行正确的荧光诊断。

再有，在观测器还包括设置于拍摄元件的感光面侧的、减少拍摄元件的激励光的感光光量的截止滤波器时，即使在为了增加荧光的发光量，而增大激励光的照射光量时，仍能防止拍摄元件达到极限，能高精度地进行激励光和荧光的拍摄。

附图说明

图1为表示本发明的内窥镜图像处理装置的优选实施方式的方框图。

图2为表示图1的γ补偿部的γ补偿特性的曲线图。

图3为表示图1的矩阵数据库的一个实例的数据图。

图4为表示激励光和自身荧光的波长频带的一个实例的曲线图。

图5为表示本发明的内窥镜图像处理方法的优选实施方式的流程图。

图6为表示本发明的内窥镜图像处理装置的另一实施方式的方框图。

图中：1-内窥镜***，10-光源单元，15-光导(light guide)，16-观察窗，20-观测器，21-成像光学***，22-拍摄元件，30、130-内窥镜图像处理装置，31-图像获取部，32-γ补偿部，33-噪声去除部，34-分光图像生成部，L1-激励光，L2-荧光，P-彩色图像，SP-分光推导图像，SPb-背景图像，SPr-荧光图像，SPr10-副荧光图像。

具体实施方式

下面参照附图，对本发明的实施方式进行详细说明。图1表示基于本发明的一个实施方式的内窥镜***1的基本结构。内窥镜***1包括光源单元10，观测器20，内窥镜图像处理装置30。

光源单元10射出用于进行基于内窥镜的观察的光，包括：普通光源10A，由射出进行普通观察用的普通光L0的氙气灯等形成；和特殊光源10B，由射出进行荧光观察用的激励光L1的可见激光装置等形成。光源单元10以光学方式与观测器20的光导15连接，在普通观察时，从普通光源10A射出的普通光L0射入光导15内，在荧光观察时，从特殊光源10B射出的激励光L1射入到光导15内。而且，普通光L0和激励光L1经由光导15，从观察窗16照射拍摄对象。

观测器20包括成像光学***21，拍摄元件22，CDS/AGC电路23，A/D转换部24，CCD驱动部25，透镜驱动部26等，各构成要素通过观测器控制器27控制。拍摄元件22由例如CCD或CMOS等形成，对通过成像光学***21成像的拍摄对象图像进行光电转换，获得彩色图像P。作为该拍摄元件22，采用例如在拍摄面上具有Mg(红紫色(magenta))、Ye(黄色)、Cy(蓝绿色(cyan))、G(绿色)的滤色器的补色型，或具有RGB的滤色器的原色型。另外，拍摄元件22的操作通过CCD驱动部25而控制。在拍摄元件22获得了图像(影像)信号时，CDS/AGC(相关二重取样/自动增益控制)电路23进行取样并放大，A/D转换器24对从CDS/AGC电路17输出的彩色图像P进行A/D转换，将其输出给内窥镜图像处理装置30。

另外，为了防止拍摄元件22达到极限，也能在观测器20中荧光观察时，在拍摄元件22的感光面侧，设置遮挡激励光L1的波长频带的光的带截止(band cut)滤波器。

下面，参照图1，对本发明的内窥镜图像处理装置的优选的实施方式进行说明。内窥镜图像处理装置30进行从观测器20输出的彩色图像的图像处理，包括图像获得部31，噪声去除部33，分光图像生成部34，显示控制部36等。

图像获得部31由例如DSP(数字信号处理器)等形成，在对通过观测器20的拍摄元件22拍摄的拍摄对象照射激励光L1时，对从拍摄对象反射的激励光L1和通过激励光L1的照射而形成自身荧光的荧光L2作为彩色图像P进行获得。另外，该图像获得部31具有在获得由Mg(红紫色)，Ye(黄色)，Cy(蓝绿色)，G(绿色)形成的彩色图像P时，转换为由RGB形成的彩色图像的功能。

γ补偿部32根据图2所示的γ曲线，对彩色图像P的各像素值进行补偿。即，由于荧光L2比激励光L1微弱，因此通过对彩色图像P实施γ补偿，使荧光L2的信号值增大，并且使激励光L1的信号值衰减。由此，能获得画质好的荧光图像SPr。噪声去除部33去除通过γ补偿部32进行γ补偿的彩色图像P内的噪声，噪声去除方法能采用公知的技术。

分光图像生成部34从由图像获得部31获得的、通过噪声去除部33进行噪声去除的彩色图像P，生成将激励光L1的波长成分和荧光的波长成分分配给各个原色成分的分光推导图像。在JP特开2003-93336号公报中，记载了分光图像生成部34的操作实例的详细内容。

具体来说，分光图像生成部34通过进行下述数学式(1)所示的矩阵计算，提取由彩色图像P中的激励光的波长成分Δλ₁形成的背景图像。

$\left[\begin{array}{c}\mathrm{Rsp}\\ \mathrm{Gsp}\\ \mathrm{Bsp}\end{array}\right]=\left[\begin{array}{ccc}{k}_{1r}& k_{1g}& k_{1b}\\ k_{2r}& k_{2g}& k_{2g}\\ k_{1r}& k_{1g}& k_{1b}\end{array}\right]\×\left[\begin{array}{c}\mathrm{Rp}\\ \mathrm{Gp}\\ \mathrm{Bp}\end{array}\right]$

(数学式1)

另外，在所述数学式(1)中，R_SP、G_SP、B_SP分别表示分光推导图像SP的RGB成分，R_P、G_P、B_P分别表示彩色图像P的RGB成分，k1r、k1g、k1b、k2r、k2g、k2b分别表示进行矩阵计算用的矩阵用的矩阵参数。

这里，如图3所示，在参数数据库35中存储例如将400nm～700nm的波长频带按照5nm间隔分割的每个波长频带矩阵参数P_i＝(kr_i，kg_i，kb_i)(i＝1～61)。图4为表示自身荧光的激励光L1和荧光L2的波长频带的一个实例的曲线图。如图4所示，激励光L1由大致405～460nm的波长频带Δλ₁形成，荧光L2由460～700nm的波长频带Δλ₂形成。

于是，分光图像生成部34根据参数数据库DB中的矩阵参数P_i，计算第1波长频带Δλ₁中的矩阵参数P_i的各成分的总和，求得参数k1r，k1g，k1b。同样，分光图像生成部34计算第2波长频带Δλ₂中的矩阵参数P_i的各成分的总和，求得参数k2r，k2g，k2b。而且，分光图像生成部34生成分光推导图像SP，该分光推导图像SP由通过所述数学式(1)将激励光L1分配给R成分和B成分的背景图像SPb和将荧光L2分配给G成分的荧光图像SPr形成。

另外，由于荧光L2的强度比激励光L1的强度微弱，因此在对拍摄对象照射激励光L1时，无法获得通常观察时的清楚的荧光图像。但是，由于激励光L1与荧光L2由不同的波长频带Δλ₁，Δλ₂形成(参照图4)，体腔内的大部分由红色形成，因此在拍摄对象反射激励光L1的成分少。于是，能提取所述荧光L2的波长频带Δλ₂，获得由分光推导图像SP的G成分形成的荧光图像SPr。

另外，在图3和图4中，对荧光L2为自身荧光的情况进行了示例，但是，也能通过例如对注入到体腔内的5-氨基乙酰丙酸(5-AminoLevu1inic Acid(ALA)照射波长405nm的激励光L1，对由636nm附近的波长形成的荧光L2进行拍摄。或者，也能通过例如对注入到体腔内的靛青绿(ICG：Indocyanine Green)照射波长780nm的激励光L1，对由840nm附近的波长形成的荧光L2进行拍摄。此时，分光图像生成部34预先调查激励光L1和荧光L2的各波长频带Δλ₁，Δλ₂，通过进行使用与各波长频带Δλ₁，Δλ₂相对应的矩阵参数的矩阵计算，生成将激励光L1和荧光L2分配给各个原色成分的分光推导图像SP。

图1的显示控制部36在由液晶显示装置或CRT等形成的显示装置3中显示各种图像。具体来说，显示控制部36具有下述功能：按照来自输入部2的输入，选择或在显示装置3中全部显示在图像获得部31中获得的彩色图像P、通过γ补偿部32进行了γ补偿的彩色图像P、通过噪声去除部33进行了噪声去除的彩色图像P、通过分光图像生成部34生成了的分光推导图像SP、构成分光推导图像SP的背景图像SPb和荧光图像SPr。另外，显示控制部36包括：进行镜像处理的镜像处理部36a；从各种图像形成掩模图像，并对其显示的掩模产生部36b；和将与所述各种图像有关的信息作为特征(character)信息显示的特征产生部36c，显示进行了各种信号处理的图像。

图5为表示本发明的内窥镜图像处理装置的优选的实施方式的流程图，参照图1～图5，对内窥镜图像处理方法进行说明。首先，通过输入部2，设定内窥镜***1整体观察自身荧光用的荧光观察模式。于是，从光源单元10射出激励光L1，经由光导15和观察窗16，照射到拍摄对象(步骤ST1)。

而且，通过拍摄元件22，获得从拍摄对象反射的激励光L1和拍摄对象自身的荧光L2作为彩色图像P(步骤ST2)。对该拍摄信号通过CDS/AGC电路17，进行基于相关二重取样和自动增益控制的放大，在于A/D转换器18进行A/D转换之后，输出给内窥镜图像处理装置30。

在内窥镜图像处理装置30中，通过图像获得部31获得彩色图像P(步骤ST3)。然后，实施基于γ补偿部32的γ补偿处理，以及通过噪声去除部33，实施噪声去除处理(步骤ST4)。而且，在分光图像生成部34中，采用彩色图像P，并采用所述数学式(1)和图3的矩阵数据，进行矩阵计算，生成分光推导图像SP(步骤ST5)。已生成的光推导图像SP通过显示控制部36，显示于显示装置3中。此时，在显示装置3中，伴随输入部2的输入，切换显示由G成分形成的荧光图像SPr、由RGB成分形成的分光推导图像SP、表示由RB成分形成的激励光的图像。

这样，通过生成将激励光L1的波长成分Δλ₁和荧光L2的波长成分Δλ₂分配给各个原色成分的分光推导图像SP，如以往那样，不必设置各自的拍摄元件，就能通过简单的结构获得荧光图像SPr，确认荧光L2的发光状态。另外，由于能从同一彩色图像P，获得背景图像SPb和荧光图像SPr，因此，能防止产生基于背景图像SPb和荧光图像SPr的获得时刻的偏移的位置错位，能正确地进行照射激励光L1的部位和发出荧光L2的部位的比较。

图6为表示本发明的内窥镜图像处理装置的另一实施方式的方框图。另外，图6的内窥镜图像处理装置130中，在具有与图1的内窥镜图像处理装置30相同的结构的部位，附加同一标记，省略对其的说明。图6的内窥镜图像处理装置130与图1的内窥镜图像处理装置30的不同点在于设置了病变图像生成部135。

病变图像生成部135计算病变指数，并且根据病变指数的值生成带有颜色的病变指数图像。具体来说，分光图像生成部34具有从彩色图像P或分光推导图像SP，生成由绿色(大致500～550nm)的波长频带形成的副荧光图像SPr10的功能。即，相对荧光图像SPr为表示绿色～红色(470～700nm)的波长频带的图像，副荧光图像SPr10为表示荧光图像SPr中的绿色的波长频带(大致500～550nm的波长频带)的图像。

病变图像生成部135将副荧光图像SPr10的像素值相对荧光图像SPr的像素值的比作为病变指数(0.0～1.0)，对每个像素计算，根据已计算出的病变指数的值生成带有颜色的病变指数图像。例如，伴随病变指数的变高，进行亮度变大的着色处理。而且，显示控制部36在显示装置3中显示伴随来自输入部2的输入而生成的病变指数图像。

这样，着眼于在自身荧光L2的波长频带，相对病变部位，正常部位的绿色的波长频带的强度所占的比例高的情况，通过将作为发出荧光的部分中的绿色的波长频带的大致500～550nm的所占比例作为病变指数图像进行可视化处理，能进行正确的荧光诊断。

按照所述各实施方式，通过在对拍摄对象照射激励光L1时，对从拍摄对象反射的激励光L1和从拍摄对象发出的荧光L2进行拍摄，获得彩色图像P，生成将已获得的彩色图像P中的激励光L1的波长成分和荧光L2的波长成分分配给各个原色成分的分光推导图像SP，如以往那样，即使不必设置各自的拍摄元件，仍能根据激励光L1和荧光L2的波长频带信息，从彩色图像P生成背景图像SPb和荧光图像SPr，能通过简单的结构，确认荧光L2的发光状态。

另外，如图1和图2所示，还包括γ补偿部33，其对在图像获得部31获得的彩色图像P，进行γ补偿，如果分光图像生成部34通过γ补偿部32使用进行了γ补偿的彩色图像P，生成分光推导图像SP的话，由于能减小表示分光推导图像SP中的激励光L1的信号值，并增加表示荧光L2的信号值，因此能生成强调了荧光部分的分光推导图像SP。

此外，如图6所示，激励光L1具有蓝色的波长频带，荧光L2为自身荧光，分光图像生成部具有根据彩色图像P或光推导图像SP，生成由绿色的波长频带形成的副荧光图像SPr10的功能，如果还具有病变图像生成部135，其将副荧光图像SPr10的像素值相对荧光图像SPr的像素值的比作为病变指数，对每个像素计算，根据计算出的病变指数的值生成带有颜色的病变指数图像，则着眼于相对病变部位，正常部位的自身荧光L2的波长频带中的绿色的波长频带的强度所占的比例高，将作为发出荧光L2的部分中的绿色的波长频带的大致500～550nm的所占比例作为病变指数图像，进行可视化处理，由此，能进行正确的荧光诊断。

再有，观测器20还包括截止滤波器，其设置于拍摄元件22的感光面侧，减少拍摄元件中的激励光L1的感光光量，此时，即使在为了增加荧光L2的发光量，增大激励光L1的照射光量的情况下，也能防止拍摄元件达到极限，能以良好的精度，进行激励光L1和荧光L2的拍摄。

本发明的实施方式并不限于所述实施方式。例如，在所述数学式(1)中，对将分光推导图像SP中的激励光L1的波长频带Δλ₁分配给R成分和B成分、将荧光L2的波长频带Δλ₂分配给G成分的情况进行了示例，但是，激励光L1和荧光L2也能分配给分光推导图像SP的任意的RGB成分。

另外，在所述实施方式中，对使用DSP等的硬件构成内窥镜图像处理装置30的情况进行了示例，但是，内窥镜图像处理装置30也能由个人计算机等的计算机构成。此时，图1的内窥镜图像处理装置30的结构通过在计算机(例如，个人计算机等)上执行读入到辅助存储装置中的内窥镜图像处理程序来实现。

再有，在所述实施方式中，对内窥镜***1能进行普通观察和荧光观察双方的情况进行了示例，但是，对仅仅进行荧光观察的内窥镜***1也能应用所述内窥镜图像处理装置30。

Claims (7)

1.一种内窥镜图像处理方法，其特征在于：

在对拍摄对象照射了激励光时，对从该拍摄对象反射了的激励光和该拍摄对象发出了的荧光进行拍摄，获得彩色图像，

执行分光图像处理，通过将已获得的所述彩色图像中的所述激励光的波长成分和所述荧光的波长成分分配给各个原色成分，生成由表示所述激励光的背景图像和表示所述荧光的荧光图像形成的分光推导图像，所述分光图像处理采用与所述激励光的波长频带相对应的矩阵参数、和与所述荧光的波长频带相对应的矩阵参数。

2.一种内窥镜图像处理装置，其特征在于，包括：

图像获得部，在对拍摄对象照射了激励光时，对从该拍摄对象反射了的激励光和该拍摄对象发出了的荧光进行拍摄，获得彩色图像；

分光图像生成部，通过执行分光图像处理，从通过该图像获得部获得到的所述彩色图像中，将所述激励光的波长成分和所述荧光的波长成分分配给各个原色成分，从而生成由表示所述激励光的背景图像和表示所述荧光的荧光图像形成的分光推导图像，所述分光图像处理采用与所述激励光的波长频带相对应的矩阵参数、和与所述荧光的波长频带相对应的矩阵参数。

3.根据权利要求2所述的内窥镜图像处理装置，其特征在于：

还包括γ补偿部，对在所述图像获得部中获得到的所述彩色图像进行γ补偿，使得增大所述荧光的信号值并且衰减所述激励光的信号值，

所述分光图像生成部采用通过所述γ补偿部进行了γ补偿的所述彩色图像，生成所述分光推导图像。

4.根据权利要求2或3所述的内窥镜图像处理装置，其特征在于：

所述激励光具有蓝色的波长频带，所述荧光为自身荧光。

5.根据权利要求4所述的内窥镜图像处理装置，其特征在于：

所述分光图像生成部具有从所述彩色图像或所述分光推导图像，生成由绿色的波长频带形成的副荧光图像的功能，

所述内窥镜图像处理装置还包括病变图像生成部，将所述副荧光图像的像素值相对于所述荧光图像的像素值的比作为病变指数对每个像素进行计算，根据计算出的该病变指数的值生成着色的病变指数图像。

6.根据权利要求2或3所述的内窥镜图像处理装置，其特征在于：

所述激励光为蓝色的波长频带，所述荧光从由5-氨基乙酰丙酸染色的所述拍摄对象射出。

7.根据权利要求2或3所述的内窥镜图像处理装置，其特征在于：

所述激励光为红外光，所述荧光从由靛青绿染色的所述拍摄对象射出。

Images