CN102802498B - 内窥镜装置 - Google Patents

Abstract

提供一种内窥镜装置，其即使对于处置器械的里侧的区域，也能够一边观察体腔内的组织，一边通过处置器械进行病变部位的处置。采用内窥镜装置（1），其具有：图像生成部（31），其生成被检体（A）的图像；图像保存存储部（32），其保存实时图像；钳子区域提取部（36），其从实时图像中提取钳子存在的钳子区域；图像调位部（35），其进行保存在图像保存存储部（32）中的保存图像与实时图像的调位；钳子区域提取部（36），其从保存在图像保存存储部（32）中的保存图像中提取与钳子区域对应的区域；以及图像合成部（38），其将由钳子区域提取部（36）提取的区域的图像与实时图像合成。

Description

内窥镜装置

技术领域

本发明涉及内窥镜装置。

背景技术

以往，已知有在***到体腔内的***部上具备获取体腔内的图像的物镜光学***和钳子等处置器械的内窥镜装置（例如，参照专利文献1）。根据如上所述的内窥镜装置，能够一边观看通过物镜光学***获取得到的体腔内的图像，一边通过处置器械进行病变部位的处置。

现有技术文献

专利文献

专利文献1：日本特开2002-34904号公报

发明内容

发明所要解决的课题

但是，根据在专利文献1中公开的内窥镜装置，在相对于物镜光学***处于处置器械的里侧的区域，处置器械造成妨碍而不能够观察体腔内的组织，存在对病变部位的处置作业造成障碍的问题。

本发明是鉴于上述的问题而完成的，其目的在于，提供一种内窥镜装置，该内窥镜装置即使对于处置器械的里侧的区域，也能够一边观察体腔内的组织，一边通过处置器械进行病变部位的处置。

用于解决课题的手段

为了实现上述目的，本发明采用以下的手段。

本发明采用一种内窥镜装置，具有：图像获取部，其获取被检体的图像；图像保存部，其保存由该图像获取部获取的当前图像；处置器械区域提取部，其从由所述图像获取部获取的当前图像中提取处置器械所存在的处置器械区域；图像调位部，其进行在所述图像保存部中保存的保存图像与由所述图像获取部获取的当前图像的调位；处置器械对应区域提取部，其从保存在所述图像保存部中的保存图像中提取与所述处置器械区域对应的区域；以及图像合成部，其将由该处置器械对应区域提取部提取的区域的图像与由所述图像获取部获取的当前图像合成。

根据本发明，通过图像获取部获取被检体的图像，将所获取的图像保存在图像保存部中。另一方面，通过处置器械区域提取部，从通过图像获取部获取的当前图像中提取处置器械（例如活检用的钳子等）存在的处置器械区域。并且，通过图像调位部，进行保存在图像保存部中的保存图像与通过图像获取部获取的当前图像的调位，通过处置器械对应区域提取部从保存在图像保存部中的保存图像中提取与处置器械区域对应的区域。通过图像合成部将如上所述提取的与处置器械区域对应的区域的图像和通过图像获取部获取的当前图像合成。

通过如上所述，即使在活检对象的部位被遮挡在处置器械的里侧的情况下，也能够从预先保存在图像保存部中的保存图像中，提取被遮挡在处置器械的里侧的部分的活体区域（与处置器械区域对应的区域）的信息，合成到通过图像获取部获取的当前图像上来进行显示。由此，即使对于被遮挡在处置器械的里侧的部分，也能够在图像内目视观察活检对象部位与处置器械的位置关系，能够正确地进行活检。

在上述发明中，所述内窥镜装置还可以具有图像处理部，该图像处理部生成从由所述图像获取部获取的当前图像中去除了由所述处置器械区域提取部提取的处置器械区域后的图像，所述图像合成部将由所述处置器械对应区域提取部提取的区域的图像与由所述图像处理部生成的图像合成。

通过如上所述，通过图像处理部，生成从当前图像中去除了处置器械区域的图像、即去除了处置器械的区域后的仅活体部分的当前图像。并且，通过图像合成部将通过处置器械对应区域提取部提取的图像与通过图像处理部生成的图像合成。由此，能够生成完全去除了处置器械的区域后的合成图像，能够提高活检对象部位的观察精度。

在上述发明中，所述图像合成部也可以将所述处置器械区域的位置信息重叠在合成的图像上。

通过如上所述，能够在合成的图像上重叠处置器械区域的位置信息来显示，用户能够容易地把握处置器械的位置和合成了2个图像的区域的位置。

在上述发明中，所述图像合成部也可以重叠处置器械的轮廓作为所述处置器械区域的位置信息。

通过如上所述，由于用户能够通过目视观察把握处置器械的里侧的活体部分，并且在合成的图像上利用轮廓来显示处置器械的位置，因此能够容易地把握活检对象部位与处置器械的位置关系。

在上述发明中，所述图像合成部也可以使处置器械半透明化来进行重叠，作为所述处置器械区域的位置信息。

通过如上所述，用户能够通过目视观察来把握处置器械的里侧的活体部分，并且使处置器械的位置半透明化来显示在合成的图像上。由此，还能够显示处置器械的形状等立体的信息，容易把握处置器械的位置和方向，能够更正确地进行活检。

在上述发明中，所述内窥镜装置也可以具有特征点检测部，该特征点检测部检测所述当前图像和所述保存图像的特征点，所述图像调位部使用由所述特征点检测部检测出的特征点，进行所述当前图像与所述保存图像的调位。

通过如上所述，通过特征点检测部，例如，检测当前图像和保存图像中的共同的特征点，能够通过图像调位部使这些特征点的调位的方式进行当前图像与保存图像的调位。由此，能够提高当前图像与保存图像的调位精度。

在上述发明中，所述内窥镜装置也可以具有处置器械检测部，该处置器械检测部在所述当前图像中检测处置器械的有无，在所述处置器械检测部检测到处置器械时，所述处置器械区域提取部从所述当前图像中提取所述处置器械区域。

通过如上所述，在处置器械检测部检测到处置器械时，通过处置器械区域提取部，从通过图像获取部获取的当前图像中提取处置器械区域。由此，在没有检测到处置器械时，能够使处置器械对应区域提取部和图像合成部的处理停止，能够减少作为装置整体的处理量，进行顺畅的内窥镜观察。

在上述发明中，所述处置器械检测部也可以根据所述当前图像内的颜色信息来检测处置器械。

由于处置器械与活体组织的颜色不同，因此可以利用颜色的不同来检测处置器械是否进入到图像内。由此，仅通过检测图像内的颜色的分布，就能够容易地检测处置器械的有无。

在上述发明中，所述内窥镜装置也可以具有：处置器械位置检测部，其在所述当前图像中检测处置器械的位置；以及移动量计算部，其根据由该处置器械位置检测部检测到的处置器械的位置，计算处置器械的移动量，在由所述移动量计算部计算出的移动量为规定距离以上时，所述图像保存部更新保存的图像。

通过如上所述，在处置器械移动而能够获取到目前为止被遮挡的部位的图像时，能够通过图像获取部来获取被遮挡的部位的新的图像，将该图像保存在图像保存部中。由此，能够始终更新在合成中使用的保存图像，能够使用时间差尽可能少的图像来显示被处置器械遮挡的部位的活体信息。

在上述发明中，所述图像保存部也可以按照每个预定周期更新保存的图像。

通过如上所述，能够按照每个预定周期更新在合成中使用的保存图像，使用时间差尽可能少的图像来显示被处置器械遮挡的部位的活体信息。另外，由于没有必要检测处置器械的位置，因此能够减少作为装置整体的处理量，进行顺畅的内窥镜观察。

在上述发明中，所述内窥镜装置也可以具有：区域分割部，其将所述当前图像和所述保存图像分割成多个区域；灰度值分析部，其针对所述当前图像和所述保存图像，计算由所述区域分割部分割后的区域的灰度值的直方图；以及灰度值调整部，其针对由该灰度值分析部计算出的所述当前图像的直方图，在使得与所述保存图像的直方图重叠的区域增加的方向上，调整各区域的灰度值。

通过如上所述，能够使通过图像获取部获取的当前图像的直方图接近保存在图像保存部中的保存图像的直方图。由此，能够对当前图像中由于处置器械的阴影而变暗的区域、和通过来自处置器械的反射光而变亮的区域的灰度值进行校正。由此，能够抑制由处置器械的位置造成的照明条件的变化，显示均匀的条件下的图像。

在上述发明中，所述内窥镜装置也可以具有：区域分割部，其将所述当前图像和所述保存图像分割成多个区域；以及灰度值检测部，其针对所述当前图像和所述保存图像，检测由所述区域分割部分割后的区域的灰度值，当在所述当前图像中存在灰度值饱和的饱和区域时，所述图像合成部将该饱和区域的图像替换为所述保存图像。

通过如上所述，在通过图像获取部获取的当前图像中，针对引起饱和的饱和区域，能够替换为保存在图像保存部中的保存图像来进行显示。由此，即使在由于饱和而丢失了形态信息的区域中，由于能够通过图像的替换而获取形态信息，因此也能够与照明条件无关地把握活体的状态。

在上述发明中，所述内窥镜装置也可以具有：特征点检测部，其检测所述当前图像的特征点；以及特征点搜索部，其从在所述图像保存部中保存的多个保存图像中搜索由该特征点检测部检测到的特征点，所述处置器械对应区域提取部从由所述特征点搜索部搜索到特征点的保存图像中，提取与所述处置器械区域对应的区域。

通过如上所述，即使在保存在图像保存部中的最新的保存图像中找不到当前图像的特征点时，从所保存的多个保存图像中搜索有特征点的保存图像，也能够从该保存图像中提取处置器械区域而合成到当前图像中。由此，即使在内窥镜前端部发生较大移动而使得图像发生较大变化时、或改变了视场角时，也能够显示处置器械区域的活体信息。

在上述发明中，所述处置器械对应区域提取部也可以将所述保存图像进行放大或缩小，从放大或缩小后的保存图像中提取与所述处置器械区域对应的区域。

通过如上所述，即使在保存图像的大小与当前图像的大小不同时，也对保存图像进行放大或缩小而提取出与处置器械区域对应的区域，能够与通过图像获取部获取的当前图像合成。

在上述发明中，所述内窥镜装置也可以具有：特征点检测部，其检测所述当前图像和所述保存图像的多个特征点；以及放大率设定部，其根据所述当前图像和所述保存图像中的、由所述特征点检测部检测到的多个特征点间的距离，设定所述保存图像相对于所述当前图像的放大率，所述处置器械对应区域提取部以由所述放大率设定部设定的放大率将所述保存图像放大或缩小。

通过如上所述，通过比较当前图像中的多个特征点间的距离与保存图像中对应的多个特征点间的距离，从而能够设定相对于当前图像的保存图像的放大率。由此，即使在保存图像的大小与当前图像的大小不同时，也能够以所设定的放大率来将保存图像放大或缩小而提取出与处置器械区域对应的区域，能够与通过图像获取部获取的当前图像合成。

发明效果

根据本发明，能够起到如下所述的效果：即使对于处置器械的里侧的区域也能够一边观察体腔内的组织，一边通过处置器械进行病变部位的处置。

附图说明

图1是本发明的各实施方式的内窥镜装置的全体结构图。

图2是本发明的第1实施方式的内窥镜装置的功能框图。

图3是示出通过图2的内窥镜装置执行的各处理中的图像例的图，图3（a）是钳子***前的实时图像，图3（b）是钳子***后的实时图像，图3（c）是保存在图像保存存储部32中的钳子***前的图像，图3（d）是从保存图像切取了与钳子区域对应的部分后的图像，图3（e）示出将图3（b）的图像与图3（d）的切取后的图像合成而得到的图像。

图4是示出通过图2的内窥镜装置执行的处理的流程图。

图5是本发明的第2实施方式的内窥镜装置的功能框图。

图6是示出通过图5的内窥镜装置执行的各处理中的图像例的图，图6（a）是钳子***前的实时图像，图6（b）是钳子***后的实时图像，图6（c）是在实时图像的钳子区域上合成了保存图像后的图像，图6（d）及图6（e）示出在图6（c）的图像中钳子移动时的图像。

图7是示出通过图5的内窥镜装置执行的处理的流程图。

图8是本发明的第3实施方式的内窥镜装置的功能框图。

图9是示出将保存图像分割成多个区域的状态的图像例。

图10是示出将实时图像分割成多个区域的状态的图像例。

图11是实时图像与保存图像的灰度值的直方图。

图12是示出通过图8的内窥镜装置执行的处理的流程图。

图13是本发明的第4实施方式的内窥镜装置的功能框图。

图14是示出通过图13的内窥镜装置执行的各处理中的图像例的图，图14（a）是钳子***前的实时图像，图14（b）是钳子***后的实时图像，图14（c）是摄影位置变化时的实时图像，图14（d）是用于说明特征点的位置检测方法的图像例，图14（e）是用于说明保存图像的放大/缩小处理的图像例。

图15是示出通过图13的内窥镜装置执行的处理的流程图。

图16是示出通过图13的内窥镜装置执行的处理的流程图。

具体实施方式

[第1实施方式]

以下，参照附图对本发明的第1实施方式的内窥镜装置1进行说明。

如图1所示，本实施方式的内窥镜装置1具有：获取被检体的图像的内窥镜10；向内窥镜10射出照明光的光源装置20；对通过内窥镜10获取的图像进行处理的控制单元30；以及显示通过控制单元30处理的图像的监视器25。

内窥镜10具有：***到体腔内的细长的***部11；设置在***部11的基端侧的把持部12；以及钳子口14，其设置在***部11与把持部12之间，用于***钳子13等处置器械。

内窥镜10（把持部12的基端部）与光源装置20通过引导来自光源装置20的照明光的光导电缆15连接。

内窥镜10（把持部12的基端部）与控制单元30通过图像传输电缆16连接，该图像传输电缆16经光导电缆15传输由内窥镜10获取的图像数据。

光导电缆15与图像传输电缆16通过电连接器17连接。

图像传输电缆16与控制单元30通过连接器18连接。

控制单元30与监视器25通过监视器电缆19，监视器电缆19传输由控制单元30处理后的图像数据。

通过如上所述构成，从光源装置20射出的照明光通过光导电缆15而被导光，从内窥镜10的前端照射到体腔内的被检体。并且，通过内窥镜10获取被检体的图像，通过图像传输电缆16将其图像数据传送到控制单元30。传送来的图像数据在控制单元30内实施图像处理，之后通过监视器电缆19传输到监视器25，显示在监视器画面上。

接着，使用图2对本实施方式的内窥镜装置1的详细的结构进行说明。

如图2所示，在光源装置20的内部设置有氙气灯（Xe灯）21、中继透镜22。从Xe灯21发出的光经过中继透镜22而被内窥镜10内的光导电缆15导光，由配置在内窥镜10的前端部上的照明光学***23向被检体A照射。由此产生的来自被检体A的反射光入射到配置在内窥镜10的前端部上的摄像光学***24。

入射到摄像光学***24的反射光经过中继透镜26，由设置在摄像光学***24的后级的彩色CCD 27检测出，转换为图像数据。通过彩色CCD 27转换后的图像数据通过图像传输电缆16而传送到控制单元30内的图像生成部31。

如图2所示，控制单元30作为功能，具有图像生成部（图像获取部）31、图像保存存储部（图像保存部）32、钳子检测部（处置器械检测部）33、图像内特征标记识别部（特征点检测部）34、图像调位部35、钳子区域提取部（处置器械区域提取部、处置器械对应区域提取部）36、钳子区域图像处理部（图像处理部）37、图像合成部38。

图像生成部31根据由彩色CCD 27转换后的图像数据生成被检体A的图像。由图像生成部31生成的图像被传送到图像保存存储部32和钳子检测部33。

图像保存存储部32依次保存传送来的图像。在图像保存存储部32中保存有从数秒前到当前为止的某种程度长度、例如5秒程度的图像。如后所述，本实施方式的内窥镜装置1从保存在该图像保存存储部32中的保存图像中获取检测到钳子13之前的图像，在检测到钳子13之后，通过嵌入与钳子部分对应的保存图像的一部分，从而显示钳子里侧的活体信息。

在钳子检测部33中，根据传送来的图像，通过颜色识别等来判断在图像内是否存在钳子13。此处，由于是观察活体，因此内窥镜装置的观察画面通常是由红色系的颜色来构成，相对于此钳子13是银色或白色。因此，当在通常是红色系的观察画面内存在钳子13时，由于钳子13具有银色或白色这样的与活体不同的颜色，因此能够通过颜色来检测钳子13的存在。

钳子检测部33在判断为在图像内不存在钳子13时，将通过图像生成部31生成的图像直接送到监视器25，在监视器25上显示实时图像（当前图像），并且在图像保存存储部32中依次保存新的图像。

另一方面，钳子检测部33在判断为在图像内存在钳子13时，停止向图像保存存储部32写入新的图像，并且向图像保存存储部32输出保持将要识别到钳子13之前的图像的指示。此时，通过图像保存存储部32保持的保存图像从图像保存存储部32传送到图像内特征标记识别部34。另外，钳子检测部33将此时的实时图像传送到图像内特征标记识别部34。

在图像内特征标记识别部34中，关于实时图像和保存图像，例如通过选择在各自的图像中亮度比周边高的点、或颜色不同的点等来确定在图像内成为特征性标记的部分。

作为具体的特征点的确定方法，使用图3（a）～图3（e）所示的例子来进行说明。图3（a）是钳子***前的实时图像，图3（b）是钳子***后的实时图像，图3（c）是保存在图像保存存储部32中的钳子***前的图像，图3（d）是从保存图像中切取了与钳子区域对应的部分后的图像，图3（e）示出将图3（b）的图像与图3（d）的切取的图像合成的图像。

在图3（b）所示的实时图像和图3（c）所示的保存图像中，×标记51、52为作为特征点的特征标记部分。将这样确定了特征标记的实时图像和保存图像从图像内特征标记识别部34传送到图像调位部35。

在图像调位部35中，根据特征标记的信息，进行实时图像与保存图像之间的调位。在图3（a）～图3（e）所示的例子中，在实时图像和保存图像上分别附上×标记51、52，进行实时图像与保存图像的调位，以使这些×标记51、52的位置一致。

另外，此处，为了使说明简单，假设了画面平行移动的情况来记述，但是例如在保存图像和实时图像进行了旋转的情况下，为了调位，只要设定2个特征点，通过使该2点的位置一致来进行调位即可。

将通过图像调位部35调位后的实时图像和保存图像传送到钳子区域提取部36。

钳子区域提取部36对于实时图像，与钳子检测部33同样，利用颜色的不同来提取钳子13的轮廓。也就是说，钳子区域提取部36通过根据钳子13与活体的颜色的不同来判别钳子13与活体部分的边界，从而进行钳子区域（处置器械区域）的轮廓提取。

另外，钳子区域提取部36根据提取出的实时图像中的钳子区域的信息，提取出保存图像中的与钳子区域的部分。这是作为之后用于从保存图像中切取与实时图像的钳子13对应的图像区域的准备。

在钳子区域图像处理部37中，根据从钳子区域提取部36传送来的图像和钳子区域的信息，进行图像的抠出作业。对于实时图像，如图3（e）所示，通过切取钳子轮廓内的图像，从而仅留下活体部分。此处，由于切取来的钳子13的图像是看不到活体的图像的、遮挡了活体信息的图像，因此不使用。

对于保存图像，如图3（d）所示，切取由钳子区域提取部36提取的、与实时图像的钳子区域对应的部分。即，从保存图像中取出了在实时图像中成为钳子13的里侧而看不到的部分。将如上所述生成的、去掉了钳子13的实时图像和切取了与成为钳子13的里侧而看不到的部分对应的区域的保存图像传送到图像合成部38。

在图像合成部38中，如图3（e）所示，通过将从钳子区域图像处理部37传送来的2个图像合成，从而进行实时图像与保存图像的图像合成。如上所述，通过从保存图像中取出成为钳子13的里侧而看不到的活体信息而嵌入到从实时图像去掉了钳子13后的部分，从而生成能够看到钳子13的里侧的合成图像。另外，图像合成部38还将合成2个图像的边界部分作为钳子13的轮廓进行轮廓显示。另外，关于轮廓显示，也可以通过留下几个像素的钳子13的轮廓部分来进行显示。

通过将如上所述合成的图像传送到监视器25，从而在监视器画面上显示在表示钳子区域的轮廓的内部嵌入了活体图像的合成图像。

另外，在本实施方式中，虽然在进行了调位之后进行图像的处理而显示钳子里侧，但只要最终能够显示钳子里侧的活体信息即可。因此，例如也可以按如下顺序：提取钳子区域，在对图像进行处理之后进行实时图像与保存图像的调位。

根据图4所示的流程图，对具有上述结构的内窥镜装置1的作用进行说明。图4是示出使用本实施方式的内窥镜装置1，进行从内窥镜的观察到发现患部、活检为止的过程的流程图。

首先，当使用本实施方式的内窥镜装置1开始观察时，从激光光源20向被检体A照射照明光，通过彩色CCD 27来检测来自被检体A的反射光而转换成图像数据。图像生成部31根据该图像数据生成图像，将所生成的被检体A的图像显示在监视器25上（步骤S1）。

在监视器25上如图3（a）所示那样显示图像，手术者观察该图像来搜索要进行活检的目的部位。此时，在图像保存存储部32中始终保存从进行观察时到例如5秒之前的图像（步骤S2）。

在该状态中，通过钳子检测部33来判断在图像内是否存在钳子13（步骤S3）。

当在步骤S3中在图像内没有钳子13时，实时图像保持原样地显示在监视器25上（步骤S10）。

在实时图像中，当在观察视野内观察不到活检目的部时，从内窥镜10的钳子口14***钳子13，使钳子13插通至***部11的前端部。由此，如图3（b）所示，在观察视野内出现钳子13。钳子检测部33通过图像内的颜色的变化等来识别观察视野中的钳子13的有无。

当在步骤S3中在图像内有钳子13时，从图像保存存储部32读出钳子13将要出现之前的保存图像（步骤S4）。

接着，通过图像内特征标记识别部34，在所读出的保存图像和实时图像中，利用亮度比周边高的点、或颜色不同的点等来设定特征标记（步骤S5）。

接着，通过图像调位部35，根据所设定的特征标记，进行保存图像与实时图像之间的调位（步骤S6）。

接着，通过钳子区域提取部36，在实时图像中，根据钳子13与活体的颜色的不同，提取钳子13的轮廓和钳子区域（步骤S7）。该钳子区域还在从保存图像进行抠出作业时使用。

接着，通过钳子区域图像处理部37，从实时图像中抠出钳子区域而留下剩余的活体部分，并且从保存图像中切取与钳子区域对应的部分（步骤S8）。并且，通过图像合成部38，将从保存图像中切取下的活体信息嵌入到留下了实时图像的活体信息的图像中。此时，由于合成2个图像的边界部分成为钳子13的轮廓，因此还进行轮廓显示。

接着，将图像的显示从实时显示切换到图像的重合模式（步骤S9）。当切换到图像的重合模式时，如图3（e）所示，钳子13切换到轮廓显示，能够看见被钳子13遮挡的部分。由此，手术者能够一边观察能够看见被钳子13遮挡的部分的画面，一边使钳子13向活检目的部前进，进行活检。

另外，在活检结束时，由于从画面观察不到钳子13，因此识别到没有钳子13，将画面显示从图像的重合模式切换到实时显示。

如以上所述，根据本实施方式的内窥镜装置1，即使在活检对象的部位被遮挡在钳子13的里侧时，也能够从预先保存在图像保存存储部32中的保存图像中，提取隐藏在钳子13的里侧的部分的活体区域（与钳子区域对应的区域）的信息，能够与实时图像合成来进行显示。由此，对于隐藏在钳子13的里侧的部分，也能够在图像内目视观察活检对象部位与钳子13的位置关系，能够正确地进行活检。

另外，通过钳子区域图像处理部37，生成从实时图像去除了钳子区域后的图像、即仅留下去除了钳子13的区域的活体部分的实时图像。并且，通过图像合成部38，将通过钳子区域提取部36提取的图像与通过钳子区域图像处理部37生成的图像合成。由此，能够生成完全去除了钳子13的区域的合成图像，能够提高活检对象部位的观察精度。

另外，图像合成部38通过重叠钳子13的轮廓作为钳子区域的位置信息，从而用户能够通过目视观察来把握钳子13的里侧的活体部分，并且在所合成的图像上钳子13的位置用轮廓来显示，因此能够容易把握活检对象部位与钳子的位置关系。

另外，通过图像内特征标记识别部34，检测例如实时图像和保存图像中的共同的特征点，由图像调位部35使用这些特征点来进行实时图像与保存图像之间的调位，从而能够提高实时图像与保存图像之间的调位的精度。

另外，在钳子检测部33检测到钳子13时，钳子区域提取部36从实时图像中提取钳子区域，从而在没有检测到钳子13时，能够使钳子区域提取部36和图像合成部38的处理停止，能够减少作为装置整体的处理量，进行顺畅的内窥镜观察。

另外，由于钳子13与活体组织的颜色不同，因此钳子检测部33通过根据实时图像内的颜色信息来检测钳子13，从而能够利用该颜色的不同来检测钳子13是否进入到图像内。由此，能够仅通过检测图像内的颜色的分布，容易地检测钳子13的有无。

[第2实施方式]

接着，使用图5至图7对本发明的第2实施方式的内窥镜装置2进行说明。

图5是实施方式的内窥镜装置2的功能框图，除了控制单元30内的处理以外，其他与第1实施方式的内窥镜装置1的结构相同。

到生成观察图像为止，第2实施方式的内窥镜装置2与上述的第1实施方式的内窥镜装置1相同。

此处，在第1实施方式的内窥镜装置1中，一旦确定了为了生成合成图像而使用的保存图像并保持，则之后的实时图像的钳子区域使用该保持的保存图像来生成。因此，钳子13出现在图像内的时间越长，所保持的保存图像的信息与实时图像相比在时间上越早。因此，不管有无钳子13，在由于照明影响而活体部的模样发生变化的情况下，患部的状态时时刻刻变化的情况下，由于所保持的保存图像为旧的信息，因此会产生与当前看到的实时图像之间的不一致。此时，由于将差异大的2个图像合成，因此显示不自然的、很难看的图像。

因此，在本实施方式的内窥镜装置2中，通过依次更新保存图像，从而尽可能减小保存图像与实时图像的时间差，能够提供没有不适感的最新的图像。以下，关于本实施方式的内窥镜装置2，省略与第1实施方式的内窥镜装置1相同点的说明，主要对不同点进行说明。

在本实施方式的内窥镜装置2中，如图5所示，控制单元30除了图2所示的结构（第1实施方式的结构）以外，作为功能还具有特征标记与钳子间距离计算部（处置器械位置检测部）41、保存图像的改写判断部（移动量计算部）42、显示用图像合成部43、保存用图像合成部44。

在具有上述结构的控制单元30中，与第1实施方式相同，通过图像生成部31生成的图像被送到钳子检测部33和图像保存存储部32。图像保存存储部32对送来的图像保存从数秒前到当前为止的某种程度的长度，例如5秒程度。

钳子检测部33与第1实施方式同样，根据送来的图像，通过颜色识别等来判断在图像内是否存在钳子13。如果判断为在图像内不存在钳子13，则将图像生成部31生成的图像直接送到监视器25，在监视器25上显示实时图像，并且在图像保存存储部32中依次保存新的图像。

另一方面，在钳子检测部33判断为在图像内存在钳子13时，停止向图像保存存储部32写入新的图像，并且从钳子检测部33向图像保存存储部32输出保持将要识别到钳子13之前的图像的指示。此时，将在图像保存存储部32中保持的保存图像从图像保存存储部32送到图像内特征标记识别部34。另外，钳子检测部33将此时的实时图像送到图像内特征标记识别部34。

图像内特征标记识别部34与第1实施方式相同，关于实时图像和保存图像，通过在各个图像中选择亮度比周边高的点、或颜色不同的点等来确定在图像内成为特征性的标记的部分。将如上所述确定了特征标记的实时图像和保存图像从图像内特征标记识别部34送到图像调位部35。另外，除了特征标记的信息以外，图像内特征标记识别部34还通过颜色识别来判断钳子13，将特征标记的位置信息和钳子前端的位置信息送到特征标记与钳子间距离计算部41。

图像调位部35与第1实施方式相同，根据特征标记的信息进行实时图像与保存图像之间的调位。将通过图像调位部35调位后的实时图像和保存图像送到钳子区域提取部36。

关于实时图像，钳子区域提取部36与钳子检测部33相同，利用颜色的不同来提取钳子13的轮廓。也就是说，钳子区域提取部36通过根据钳子13与活体的颜色的不同来判别钳子13与活体部分的边界，从而进行钳子区域（处置器械区域）的轮廓提取。

另外，钳子区域提取部36根据已提取的实时图像中的钳子区域的信息，提取保存图像中的与钳子区域对应的部分。这是作为之后用于从保存图像中切取与实时图像的钳子13对应的图像区域的准备。

另一方面，在特征标记与钳子间距离计算部41中，如图6（c）所示，根据从图像内特征标记识别部34送来的特征标记（×标记51）的位置信息和钳子13的前端的位置信息，计算这2点间的距离。将如上所述计算的距离信息送到保存图像的改写判断部42。

此处，图6（a）是钳子***前的实时图像，图6（b）是钳子***后的实时图像，图6（c）是在实时图像的钳子区域中合成了保存图像的图像，图6（d）和图6（e）示出在图6（c）的图像中钳子移动时的图像。

保存图像的改写判断部42判断钳子13相对于特征标记在图像内移动了多少，根据该变化量，确定是否更新当前保存的保存图像。可以任意设定用于对于该变化量判断保存图像的改写的基准值。具体地讲，例如也可以是，如果钳子13与特征标记（×标记51）之间的距离相对于初始的保存图像的距离变化了10像素以上，则进行保存图像的更新。这是因为，从识别到钳子13之后，识别该钳子13移动了多少，钳子13移动意味着，得到了至今为止在实时图像中没能获取的钳子里侧部分的信息。

如上所述，使用实时图像的钳子区域以外的信息，更新保存图像，从而使保存图像具有最新的信息。也就是说，在实时图像中检测到钳子13移动，由此依次更新保存图像，始终用从当前的实时信息得到的最新的信息来更新保存图像。

此处，在识别到钳子13的最开始的图像的情况下，获取成为保存图像的基准的数据。也就是说，由于移动距离为零，因此不进行保存图像的改写。在保存图像的改写判断部42中，将成为该基准的数据保存为用于改写判断的基准数据。也就是说，根据该基准数据计算特征点与钳子13的前端部之间的距离，相对于该距离，在新送来的图像数据中的距离为10像素以上时，进行保存图像的更新处理。此处，由于是基准数据，因此得到不进行保存图像的改写的判断结果，将该结果送到钳子区域图像处理部37。

在钳子区域图像处理部37中，根据从钳子区域提取部36送来的图像和钳子区域的信息，进行图像的抠出作业。对于实时图像，通过切取钳子13的轮廓内的图像，从而仅留下活体部分。此处，切取的钳子13的图像由于是看不到活体图像的、遮挡了活体信息的图像，因此不使用。

对于保存图像，由于进行与实时图像的调位，提取与实时图像的钳子区域对应的部分，因此切取该部分。从保存图像取出在实时图像中成为钳子13的里侧而看不到的部分。将这些去掉了钳子13的实时图像与切取出与成为钳子13的里侧而看不到的部分对应的区域的保存图像送到显示用图像合成部43。

显示用图像合成部43进行送来的2个图像的合成。如上所述，通过在从实时图像中去掉了钳子13的图像中，嵌入从保存图像取出了成为钳子13的里侧而看不到的活体信息的图像，从而生成能看到钳子13的里侧的合成图像。

并且，通过将合成的图像送到监视器25，从而在画面上显示在表示钳子区域的轮廓的内部嵌入了活体图像的合成图像。

接着，对与之前同样在各处理部中对由图像生成部31生成的图像进行处理，向保存图像的改写判断部42送来新的图像信息的情况进行说明。此时，对于该图像，通过特征标记与钳子间距离计算部41计算特征标记与钳子13的前端之间的距离是多少，通过与当前保持的保存图像的基准数据进行比较，从而判断钳子13是否移动。并且，通过该结果（钳子13的移动距离）来确定是否更新保存图像。

由保存图像的改写判断部42对通过特征标记与钳子间距离计算部41计算出的结果进行比较。在钳子13的移动距离小于所设定的基准值、例如10像素时，没有特别发生能够看到的变化，不进行保存图像的改写，将判断结果送到钳子区域图像处理部37。

另一方面，在钳子13的移动距离超过了基准值的10像素时，意味着钳子13进行了移动。也就是说，由于能够看到至今为止在钳子13的里侧看不到的活体信息，因此向钳子区域图像处理部37发送更新保存图像的指示。另外，由于更新保存图像，因此基准值也更新为重新算出的值。并且，用于与下一个送来的图像数据的比较。

在钳子区域图像处理部37中，根据从钳子区域提取部36送来的图像和钳子区域的信息，进行图像的抠出作业。对于实时图像，通过切取钳子13的轮廓内的图像，从而仅留下活体部分。此处切取的钳子13的图像，由于是看不到活体图像的、遮挡了活体信息的图像，因此不使用。

对于保存图像，进行与实时图像的调位，提取出了与实时图像的钳子区域对应的部分，因此切取该部分。从保存图像取出在实时图像中成为钳子13的里侧而看不到的部分。将这些去掉了钳子13的实时图像和切出了与成为钳子里侧而看不到的部分对应的区域后的保存图像送到显示用图像合成部43。另外，由于接受保存图像的改写判断部42的结果来更新保存图像，因此还将合成的图像送到保存图像合成部44。

根据从钳子区域图像处理部37送到显示用图像合成部43的2个图像信息，与之前同样地生成合成图像，通过将该合成的图像送到监视器25，从而在画面上显示在表示钳子区域的轮廓的内部嵌入了活体图像的合成图像。

另外，同样也向保存图像合成部44送来2个图像。对于这2个图像，也同样进行合成，从而生成作为钳子区域以外为最新的实时图像的保存用图像。但是，不进行如显示用图像那样的钳子13的轮廓的显示。此处生成的图像，相对于今后的实时图像，成为付与了钳子13的里侧的信息的新的保存图像。将所生成的新的保存图像送到图像保存存储部32，从到此为止保持的保存图像更新为此次新生成的新的保存图像。

根据图7所示的流程图来进行说明具有上述结构的内窥镜装置2的作用。图7是示出使用本实施方式的内窥镜装置2，进行从内窥镜的观察到发现患部、活检为止的过程的流程图。

首先，当使用本实施方式的内窥镜装置2来开始观察时，从激光光源20向被检体A照射照明光，通过彩色CCD 27检测来自被检体A的反射光而转换成图像数据。图像生成部31根据该图像数据生成图像，将所生成的被检体A的图像显示在监视器25上（步骤S11）。

在监视器25上如图6（a）所示显示图像，手术者观察该图像来搜索要进行活检的目的部。此时，在图像保存存储部32中始终保存有从正在观察时起到例如5秒前为止的图像（步骤S12）。

在该状态中，通过钳子检测部33来判断在图像内是否存在钳子13（步骤S13）。

当在步骤S13中在图像内没有钳子13时，在监视器25上显示实时图像（步骤S25）。

在实时图像中，当在观察视野内观察到活检目的部时，从内窥镜10的钳子口14***钳子13，使钳子13插通至***部11的前端部。由此，如图6（b）所示，在观察视野内出现钳子13。钳子检测部33通过图像内的颜色的变化等来识别观察视野中的钳子13的有无。

当在步骤S13中再图像内时存在钳子13时，从图像保存存储部32读出将要发现钳子13之前的保存图像（步骤S14）。

接着，由图像内特征标记识别部34在所读出的保存图像和实时图像中，利用亮度比周边高的点、颜色不同的点等来设定特征标记（步骤S15）。

接着，如图6（c）所示，通过特征标记与钳子间距离计算部41分别对保存图像和实时图像计算特征标记与钳子13之间的距离（步骤S16）。

接着，保存图像的改写判断部42根据该计算结果，分别对保存图像和实时图像判断特征标记与钳子13之间的距离是否为基准值（例如10像素）以上（步骤S17）。

在步骤S17中，当特征标记与钳子13之间的距离小于基准值时，与至今为止的处理同样，生成合成图像（步骤S24）。

另一方面，在特征标记与钳子13之间的距离为基准值以上时，给出进行保存图像的更新的指示，由图像调位部35根据所设定的特征标记，进行保存图像与实时图像的调位（步骤S18）。

接着，由钳子区域提取部36在实时图像中根据钳子13与活体的颜色的不同，提取钳子13的轮廓和钳子区域（步骤S19）。在从保存图像进行抠出作业时也使用该钳子区域。

接着，从实时图像抠出钳子区域，留下剩余的活体部分（步骤S20）。

接着，从保存图像中切取与钳子区域对应的部分，将该切取的活体信息嵌入到实时图像的留下了活体信息的图像中（步骤S21）。将如上所述合成的图像作为新的保存图像保存到图像保存存储部32中。

接着，在监视器25的画面上，将合成2个图像的边界部分作为钳子13的轮廓来进行显示（步骤S22）。

接着，将图像的显示从实时显示切换到图像的重合模式（步骤S23）。当切换到图像的重合模式时，如图6（e）所示，钳子13切换到轮廓显示，能够看到被钳子13遮挡的部分。由此，手术者能够一边观察能够看见被钳子13遮挡的部分的画面，一边使钳子13向活检目的部前进，进行活检。

另外，在活检结束时，由于从画面看不到钳子13，因此识别到没有钳子13，将画面显示从图像的重合模式切换到实时显示。

如以上所述，本实施方式的内窥镜装置2的特征在于，即使在由于钳子13而看不到活检目的部时，也不仅以能够目视观察活检目的部与钳子13的位置关系的方式进行显示，而且根据钳子13的移动量进行判断来进行保存图像的更新。通过如上所述，在钳子13移动而能够获取至今为止被遮挡的部位的图像时，能够获取被遮挡的部位的新的图像，将该图像保存到图像保存存储部32中。由此，能够始终更新在图像保存存储部32中保存的保存图像，显示用图像合成部43利用该保存图像来合成图像，从而能够使用时间差尽可能小的图像来显示被钳子13遮挡的部位的活体信息。由此，能够得到与配光的影响变化和患部的变化等对应的自然的图像，能够提高观察精度。

另外，在本实施方式的内窥镜装置2中，也可以是图像保存存储部32按照每规定周期来更新保存的图像。

通过如上所述，显示用图像合成部43能够按照每规定周期来更新在合成中使用的保存图像，能够使用时间差尽可能少的图像来显示被钳子13遮挡的部位的活体信息。另外，由于没有必要检测钳子13的位置，因此能够减少作为装置整体的处理量，进行顺畅的内窥镜观察。

[第3实施方式]

接着，使用图8至图12对本发明的第3实施方式的内窥镜装置3进行说明。

图8是实施方式的内窥镜装置3的功能框图，除了控制单元30内的处理以外，具有与第1实施方式的内窥镜装置1相同的结构。

到生成观察图像为止，第3实施方式的内窥镜装置3与上述的第1实施方式的内窥镜装置1相同。

此处，在第1实施方式中，当钳子13从内窥镜10的前端出来时，由于在照明光的分布上出现影响，因此对图像产生影响。也就是说，由于钳子13对观察部位遮挡照明光，引起散射，而产生成为钳子13的阴影而变暗的部分、和强烈地照射通过钳子13产生的散射光而变亮的部分。因此，在有钳子13时和没有钳子13时，在观察对象的模样上出现不同。另外，还产生由于存在钳子13而变得过亮，成为饱和的区域。关于该区域，会丢失其形态信息。因此，在本实施方式中，能够减小由于钳子13的出现引起的照明光的遮挡和散射光的影响。

首先，此次的状况大致分为2个情况。第一个情况是，由于钳子13的出现而产生观察部位的明亮度发生变化的区域（比没有钳子13时变亮、或变暗）的情况。第二个情况是，由于钳子13的出现而饱和的形态信息（由于钳子13的影响而变得过亮）丢失的情况。以下，关于本实施方式的内窥镜装置3，省略与第1实施方式的内窥镜装置1相同的点的说明，主要对不同的点进行说明。

在本实施方式的内窥镜装置3中，如图8所示，控制单元30除了图2所示的结构（第1实施方式的结构）以外，作为功能还具有区域分割部51、每个区域的直方图生成部（灰度值分析部、灰度值检测部）52、每个对应区域的直方图比较部53、每个对应区域的调整部（灰度值调整部）54、钳子和饱和区域提取部55、钳子和饱和区域图像处理部56。

在具有上述结构的控制单元30中，与第1实施方式同样，将通过图像生成部31生成的图像送到钳子检测部33和图像保存存储部32。图像保存存储部32将送来的图像保存从数秒前到当前为止的某种程度的长度、例如5秒程度。

钳子检测部33与第1实施方式同样，根据送来的图像通过颜色识别等来判断在图像内是否存在钳子13。如果判断为在图像内不存在钳子13，则将图像生成部31生成的图像直接送到监视器25，在监视器25上显示实时的图像，并且在图像保存存储部32中依次保存新的图像。

另一方面，在判断为在图像内存在钳子13时，钳子检测部33停止向图像保存存储部32写入新的图像，并且从钳子检测部33向图像保存存储部32输出保持将要识别到钳子13之前的图像的指示。此时，将通过图像保存存储部32保持的保存图像从图像保存存储部32送到图像内特征标记识别部34。另外，钳子检测部33将此时的实时图像送到图像内特征标记识别部34。

对于实时图像和保存图像，图像内特征标记识别部34与第1实施方式同样，通过在各个图像中选择亮度比周边高的点、或颜色不同的点等来确定在图像内成为特征性的标记的部分。将如上所述确定了特征标记的实时图像和保存图像从图像内特征标记识别部34送到图像调位部35。

在图像调位部35中，与第1实施方式同样，根据特征标记的信息，进行实时图像与保存图像的调位。将通过图像调位部35调位后的实时图像和保存图像送到区域分割部51。

在区域分割部51中，如图9和图10所示，将送来的保存图像和实时图像分别分割为多个区域。从分辨率的层面考虑将分割数设定为适当的值，对于保存图像和实时图像，进行同样的区域分割处理。对于保存图像和实时图像，由于事先进行了调位，因此其分割区域分别为对应的位置。将分割成多个区域后的保存图像和实时图像送到每个区域的直方图生成部52。

此处，图9示出将保存图像分割成多个区域的状态，图10示出将实时图像分割成多个区域的状态。在图9和图10中，符号B表示患部，符号61表示成为钳子13的阴影而变暗的区域，符号62表示通过钳子13的反射而变亮的区域，符号63表示饱和区域。

每个区域的直方图生成部52针对送来的保存图像和实时图像的各个区域，生成如图11所示的灰度值的直方图。在图11中，符号58表示实时图像中的灰度值的直方图，符号59表示保存图像中的灰度值的直方图。将如上所述生成的灰度值的直方图送到每个对应区域的直方图比较部53。

每个对应区域的直方图比较部53针对保存图像和实时图像，按照每个对应的区域进行直方图的比较。在保存图像和实时图像中进行了对应的区域的比较时，如图11所示，在相对于保存图像，实时图像的直方图中存在偏差时，在实时图像中受到由于存在钳子13而引起的影响而变成更亮的（或暗）图像。因此，在每个对应区域的直方图比较部53中，算出该偏差。将此处算出的保存图像和实时图像的直方图偏差量送到每个对应区域的调整部54。

另外，通过直方图的比较，还能知道灰度值饱和的饱和区域。因此，每个对应区域的直方图比较部53还提取由于饱和而丢失了形态信息的区域，将该区域信息送到钳子和饱和区域提取部55。

每个对应区域的调整部54根据送来的图像信息和直方图偏差量，对于实时图像和保存图像进行直方图的调整。例如，如图11所示，使在实时图像中变得过暗的区域变亮到与保存图像的对应区域相同程度的亮度。同样地，使在实时图像中变得过亮的区域变暗到与保存图像的对应区域相同程度的亮度。将此处所生成的图像送到钳子和饱和区域提取部55。

对于实时图像，钳子和饱和区域提取部55与钳子检测部33同样，利用颜色的不同来提取钳子13的轮廓。也就是说，通过根据钳子13与活体的颜色的不同，判别钳子13与活体部分的边界，从而进行钳子区域的轮廓提取。由于如上所述对实时图像提取钳子13的区域，因此根据该信息从进行了直方图调整后的保存图像中提取与钳子区域对应的部分。这是作为用于在之后从调整了直方图后的保存图像切取与实时图像的钳子区域对应的图像区域的准备。

另外，钳子和饱和区域提取部55使用通过每个对应区域的直方图比较部53检测出的饱和区域信息，进行在实时图像中引起饱和的区域的提取。将该钳子区域和饱和区域的信息相加得到的图像送到钳子和饱和区域图像处理部56。

钳子和饱和区域图像处理部56根据从钳子和饱和区域提取部55送来的图像和钳子区域的信息，切取钳子13的轮廓内的图像，进行仅留下活体部分的图像处理。并且，根据饱和区域的信息，进行形态信息被损坏的部分的切取，进行仅留下为活体部分、且不引起饱和的形态信息的部分的图像处理。将此处处理后的图像送到图像合成部38。

图像合成部38使用从钳子和饱和区域图像处理部56送来的图像信息，进行实时图像与保存图像的合成。如上所述，通过在从实时图像去掉了钳子13的部分嵌入从调整了直方图后的保存图像取出的钳子里侧的活体信息，从而生成能够看到钳子13的里侧的合成图像。另外，在饱和区域部分中，也使用将要识别到钳子13之前的保存图像，进行将对应的部分嵌入的图像合成，从而在实时图像中，能够填补由于钳子13的出现而饱和并丢失了形态信息的部分。

通过将如上所述合成的图像送到监视器25，从而在表示钳子区域的轮廓的内部嵌入活体图像，从而在画面上显示进行了抑制由钳子13引起的明亮度变化的影响的调整后的合成图像。

根据图12所示的流程图来进行说明具有上述结构的内窥镜装置3的作用。图12是示出使用本实施方式的内窥镜装置3，进行从内窥镜的观察到发现患部、活检为止的过程的流程图。在第3实施方式中，到判断为钳子13位于画面内为止，执行与第1和第2实施方式相同的处理。

首先，当使用本实施方式的内窥镜装置3来开始观察时，从激光光源20向被检体A照射照明光，通过彩色CCD 27检测来自被检体A的反射光而转换成图像数据。由图像生成部31根据该图像数据生成图像，将所生成的被检体A的图像显示在监视器25上（步骤S31）。

在监视器25上如图3（a）所示显示图像，手术者观察该图像来搜索要进行活检的目的部。此时，在图像保存存储部32中始终保存从进行观察时起到例如5秒前为止的图像（步骤S32）。

在该状态中，通过钳子检测部33判断在图像内是否存在钳子13（步骤S33）。

当在步骤S33中在图像内没有钳子13时，将实时图像显示在监视器25上（步骤S45）。

在实时图像中，当在观察视野内观察到活检目的部时，从内窥镜10的钳子口14***钳子13，使钳子13插通至***部11的前端部。由此，如图3（b）所示，在观察视野内出现钳子13。钳子检测部33通过图像内的颜色的变化等来识别观察视野中的钳子13的有无。

当在步骤S33中在图像内存在于钳子13时，从图像保存存储部32读出钳子13将要出现之前的保存图像（步骤S34）。

接着，通过图像内特征标记识别部34，在所读出的保存图像和实时图像中，利用亮度比周边高的点、或颜色不同的点等来设定特征标记（步骤S35）。另外，由图像调位部35根据所设定的特征标记，进行保存图像与实时图像的调位。

接着，将保存图像和实时图像分割成同样的区域，生成与各个区域有关的直方图，比较这些直方图（步骤S36）。通过对对应的区域比较直方图，从而能够判别实时图像比保存图像更亮还是更暗，还是饱和而丢失了形态信息。

在步骤S36中，对于在实时图像中判断为饱和区域的区域，替换为保存图像中的对应的区域的图像（步骤S42）。并且，与第1实施方式同样，进行钳子区域的切取和嵌入，从保存图像切取对应的部分，嵌入到实时图像的钳子区域（步骤S43）。

在步骤S36中，对于在实时图像中判断为不是饱和区域的区域，按照每个对应区域进行图像的直方图调整（步骤S37）。具体地讲，调整其直方图，使得比较了直方图的结果是比保存图像更暗的、或更亮的区域成为与保存图像同等的明亮度。

接着，在调整了直方图后的实时图像中，根据钳子13与活体的颜色的不同，提取钳子13的轮廓，并且提取钳子13的区域（步骤S38）。在从保存图像进行抠出作业时也使用该区域。

接着，从调整了直方图后的实时图像中抠出钳子区域，留下剩余的活体部分（步骤S39）。

并且，从保存图像切取与钳子区域对应的部分，将该切取的活体信息嵌入到留下了实时图像的活体信息的图像中（步骤S40）。另外，在监视器25的画面中，由于合成了2个图像的边界部分成为钳子13的轮廓，因此还进行轮廓显示。

接着，将图像的显示从实时显示切换到图像的重合模式（步骤S41）。当切换到图像的重合模式时，如图3（e）所示，钳子13切换到轮廓显示，能够看到被钳子13遮挡的部分。由此，手术者能够一边观察能够看见被钳子13遮挡的部分的画面，一边使钳子13向活检目的部前进，进行活检。

另外，在活检结束时，由于从画面看不到钳子13，因此识别为没有钳子13，将画面显示从图像的重合模式切换到实时显示。

如以上所述，根据本实施方式的内窥镜装置3，能够使实时图像的灰度值的直方图接近保存在图像保存存储部32中的保存图像的灰度值的直方图。由此，能够校正在实时图像中由于钳子13的阴影而变暗的区域、由于来自钳子的反射光而变亮的区域的灰度值。由此，抑制由钳子13的位置引起的照明条件的变化，能够显示均匀的条件下的图像。即，能够减少由于钳子13的存在而对照明光的分布的影响、和由钳子13对照明光的散射影响而引起的模样的不同，即使存在钳子13时也能够提供没有不适感的容易观察的图像。

另外，通过图像合成部38，在实时图像中存在灰度值饱和的饱和区域时，能够将饱和区域的图像替换为保存图像。由此，即使在由于饱和而丢失了形态信息的区域中，也能够通过图像的替换而获取形态信息，因此能够与照明条件无关地把握活体的状态。

另外，在本实施方式中，虽然在实时图像中进行了基于保存图像的替换，但是也可以替换通过根据对所保存的每个分割区域求出的直方图而求出的代表值、例如平均值等分割的区域全体。

[第4实施方式]

接着，使用图13至图16对本发明的第4实施方式的内窥镜装置4进行说明。

图13是实施方式的内窥镜装置4的功能框图，除了控制单元30内的处理以外，其他具有与第1实施方式的内窥镜装置1相同的结构。

到生成观察图像为止，本实施方式的内窥镜装置4与上述的第1实施方式的内窥镜装置1相同。

此处，在第1～第3实施方式中，当内窥镜10的前端移动时，由于在保存图像中不包含应对应的范围，不能显示钳子13的里侧。例如，在第2实施方式中，虽然进行保存图像的更新，但这可以应用于实时图像与保存图像的视野相同、能够进行比较的情况。但是，当钳子13的前端发生较大移动时，由于在保存图像的区域外的部分存在钳子13，因此不能提供要在钳子13的部分嵌入的活体信息，存在不能显示钳子里侧的问题。

因此，在本实施方式中具有如下所述的结构：从开始观察开始保存图像，从其中搜索出包含实时观察的视野范围的、视场角更广的图像，从该图像进行图像的提取以与实时图像对应，进行放大，之后在钳子区域嵌入活体信息。由此，在内窥镜10的前端发生较大移动时，即使利用数秒间的保存图像也不能应对时，也能够对应地合成钳子里侧的图像。

在本实施方式的内窥镜装置4中，如图13所示，控制单元30除了图2所示的结构（第1实施方式的结构）以外，作为功能还具有图像内特征标记搜索部（特征点搜索部）65、放大率设定部66、图像放大部67。

在具有上述结构的控制单元30中，与第1实施方式同样，通过图像生成部31生成的图像被送到钳子检测部33和图像保存存储部32。图像保存存储部32保存从检查开始所生成的所有图像。

钳子检测部33根据送来的图像，与第1实施方式同样通过颜色识别等来判断在图像内是否存在钳子13。如果判断为在图像内存不在钳子13，则将图像生成部31生成的图像直接送到监视器25，在监视器25中显示实时的图像，并且在图像保存存储部32中依次保存新的图像。

另一方面，在判断为在图像内存在钳子13时，钳子检测部33停止向图像保存存储部32写入新的图像，并且从钳子检测部33向图像保存存储部32输出保持将要识别到钳子13之前的图像的指示。此时，将由图像保存存储部32保持的保存图像从图像保存存储部32传送到图像内特征标记识别部34。另外，钳子检测部33将此时的实时图像送到图像内特征标记识别部34。

图像内特征标记识别部34通过在各个图像中选择亮度比周边高的点、或颜色不同的点等，对于实时图像和保存图像分别在图像内各确定2点特征性的标记。例如，在图14所示的例子中，实时图像例与图14（c）对应，保存图像例与图14（a）对应。另外，图中的○记号71、△记号72意味着作为特征点的标记部分。将如上所述在同一图像内确定了2点特征标记的实时图像和保存图像送到图像内特征标记搜索部65。

如图14（c）所示，图像内特征标记搜索部65根据特征标记求出图像内的2点标记间的距离。通过比较在实时图像中算出的距离和从保存图像算出的距离，从而求出保存图像为实时图像的几倍的放大率。

另外，如图14（d）所示，图像内特征标记搜索部65算出实时图像的特征标记与图像的四角间的角度和距离。并且，在将相对于该四角的角度和距离修改为之前在保存图像中求出的放大率时，确认保存图像是否包含实时图像区域。如果其结果是在实时图形和保存图像中一致（一致是指，由内窥镜前端的移动引起的视野的偏差为零），则能够判断为当前保持的保存图像具有实时图像的钳子里侧的信息，因此之后进行与上述的第1实施方式相同的处理。

另一方面，当在实时图像和保存图像中四角间的距离和角度不一致时，由于需要重新从图像保存存储部32搜索出适当的保存图像，因此图像内特征标记搜索部65从图像保存存储部32搜索出包含有实时图像区域的图像。

图像内特征标记搜索部65通过从图像保存存储部32追溯时间来搜索出包含特征标记的图像。并且，在发现了特征标记时，与之前同样，测量特征标记间的距离，计算保存图像为实时图像的几倍的放大率。接着，根据之前求出的实时图像的特征点相对于图像四角的距离和角度的信息，判断是否是在将保存图像设定为所求出的放大率时包含了实时图像区域的图像。

如果搜索出的保存图像不包含实时图像区域，则图像内特征标记搜索部65继续搜索其他的保存图像，如果包含则从图像内特征标记搜索部65向放大率设定部66传送通过搜索得到的保存图像。

放大率设定部66进行比较了实时图像的特征点间的距离与保存图像的特征点间的距离后的放大率的设定。

如图14（e）所示，图像放大部67根据通过放大率设定部66设定的放大率，进行通过搜索得到的保存图像的放大。将放大的图像送到图像调位部35。

由于在此之前的图像处理与上述的第1实施方式相同，因此省略。

通过将如以上所述合成的图像送到监视器25，从而在画面上显示在表示钳子区域的轮廓的内部嵌入了活体图像的合成图像。另外，由于能够根据当前从过去的保存图像中检测出的特征标记，由最佳的保存图像生成合成画面，因此即使内窥镜10的前端移动，也能够进行能够观察钳子13与目的部的位置关系的显示。

根据图15和图16所示的流程图对具有上述结构的内窥镜装置4的作用进行说明。图15和图16是示出使用本实施方式的内窥镜装置4，进行从内窥镜的观察到发现患部、活检为止的过程的流程图。在第4实施方式中，到判断为钳子13存在于画面内为止，执行与第1～第3实施方式相同的处理。

首先，当使用本实施方式的内窥镜装置4开始观察时，从激光光源20向被检体A照射照明光，通过彩色CCD 27检测来自被检体A的反射光而转换成图像数据。由图像生成部31根据该图像数据来生成图像，将所生成的被检体A的图像显示在监视器25上（步骤S51）。

在监视器25上如图3（a）所示显示图像，手术者观察该图像来搜索要进行活检的目的部。此时保存从观察开始时起到当前为止的所有图像（步骤S52）。

在该状态下，通过钳子检测部33判断在图像内是否存在钳子13（步骤S53）。

当在步骤S53中在图像内不存在钳子13时，在监视器25上显示实时图像（步骤S66）。

在实时图像中，当在观察视野内观察到活检目的部时，从内窥镜10的钳子口14***钳子13，将钳子13插通至***部11的前端部。由此，如图3（b）所示，在观察视野内出现钳子13。钳子检测部33通过图像内的颜色的变化等来识别观察视野中的钳子13的有无。

当在步骤S53中钳子13存在于图像内时，从图像保存存储部32读出钳子13将要出现之前的保存图像（步骤S54）。

接着，通过图像内特征标记识别部34，在已读出的保存图像和实时图像中，利用亮度比周边高的点、或颜色不同的点等来设定2点特征标记（步骤S55）。

接着，判断保存图像是否能与实时图像对应（步骤S56）。具体地讲，在实时图像和保存图像中比较2个特征标记间的距离，算出保存图像相对于实时图像的放大率。并且，算出从实时图像的特征标记相对于图像的四角的距离和角度，考虑放大率来判断该范围是否包含在保存图像内。

在步骤S56中，保存图像能够与实时图像对应，即，如果上述的范围包含在保存图像内，则由于能够与实时图像对应，因此与第1实施方式同样地对图像进行处理、合成，进行显示（步骤S65）。

另一方面，在步骤S56中，如果保存图像不能与实时图像对应、即在保存图像内不能包含实时图像全部区域（如果是至少在保存图像外具有视野的实时图像），则在当前保持的保存图像中不能进行对应，从观察开始时起持续保存的图像保存存储部32中检测合适的图像（步骤S57）。

对于从图像保存存储部32的搜索，也与之前同样，搜索包含2点特征标记的保存图像，对该保存图像计算2点间的距离，从而算出放大率（步骤S58）。并且，判断在以该放大率放大后的图像内能否包含实时图像的区域。

接着，由于对搜索到的保存图像确定了放大率，因此利用该放大率来进行搜索到的保存图像的放大（步骤S59）。

接着，根据特征标记进行已放大的保存图像与实时图像的调位（步骤S60）。

接着，在实时图像中根据钳子13与活体的颜色的不同，提取钳子13的轮廓，并且提取钳子13的区域（步骤S61）。在从放大后的保存图像进行抠出作业时也使用该区域。

接着，从放大后的保存图像中切取与钳子区域对应的部分（步骤S62）。

并且，从实时图像抠出钳子区域，留下剩余的活体部分，并且将从保存图像切取的活体信息嵌入到留下了实时图像的活体信息的图像中（步骤S63）。另外，在监视器25显示用的画面中，由于合成的2个图像的边界部分成为钳子13的轮廓，因此还进行轮廓显示。

接着，将图像的显示从实时显示切换到图像的重合模式（步骤S64）。当切换到图像的重合模式时，如图3（e）所示，钳子13切换到轮廓显示，能够看到被钳子13遮挡的部分。由此，手术者能够一边观察能够看见被钳子13遮挡的部分的画面，一边使钳子13向活检目的部前进，进行活检。

另外，在活检结束时，由于从画面看不到钳子13，因此识别到没有钳子13，将画面显示从图像的重合模式切换到实时显示。

如以上所述，根据本实施方式的内窥镜装置4，即使在保存于图像保存存储部32中的最新的保存图像中没有发现实时图像的特征点时，也能够从所保存的多个保存图像中搜索存在特征点的保存图像，从该保存图像提取钳子区域而与实时图像进行合成。由此，即使在内窥镜10的前端部发生较大移动而使得图像发生较大变化时、或视场角改变时，也能够进行钳子区域的活体信息的显示。

另外，通过图像放大部67来放大或缩小保存图像，通过从放大或缩小后的保存图像提取与钳子区域对应的区域，从而即使在保存图像的大小与实时图像的大小不同时，也能够将保存图像放大或缩小而提取与钳子区域对应的区域，与实时图像进行合成。

以上，虽然参照附图详细说明了本发明的各实施方式，但具体的结构不限定于该实施方式，还包含不脱离本发明的要旨的范围的设计变更等。

例如，在各实施方式中，为了显示被遮挡在钳子里侧的活体部分的信息，虽然显示钳子13的轮廓，但是只要是能够看到被遮挡在钳子13的里侧的活体部分的信息的显示，则任何显示方法都可以，例如，也可以是使钳子13作为半透明显示来重合活体部分的图像。

通过如上所述，用户能够通过目视观察来把握钳子13的里侧的活体部分，并且能够使钳子13的位置半透明化而显示在所合成的图像上。由此，还能够显示钳子13的形状等立体的信息，能够容易把握钳子13的位置和方向，更正确地进行活检。

另外，在各实施方式中，虽然对通过图像合成部38或显示用图像合成部43，将从实时图像去除了钳子区域后的图像与从保存图像切取了与钳子对应的区域后的图像进行合成进行了说明，但是也可以在没有去除钳子区域的实时图像上合成从保存图像切取了与钳子13对应的区域后的图像。

另外，在各实施方式中，虽然对作为处置器械使用了活检用的钳子的情况进行了说明，但是并不限定于此，只要是在进行内窥镜观察期间挡住视野的处置器械，则可以是任意的。例如，除了活检钳子以外，对于握持钳子、刀、夹子、管、筐、勒除器等也能够显示处置器械里侧，因此能够提高处置的正确性。

标号说明

1、2、3、4内窥镜装置

10内窥镜

20光源装置

24摄像光学***

25监视器

27彩色CCD

30控制单元

31图像生成部（图像获取部）

32图像保存存储部（图像保存部）

33钳子检测部（处置器械检测部）

34图像内特征标记识别部（特征点检测部）

35图像调位部

36钳子区域提取部（处置器械区域提取部，处置器械对应区域提取部）

37钳子区域图像处理部（图像处理部）

38图像合成部

41特征标记与钳子间距离计算部（处置器械位置检测部）

42保存图像的改写判断部（移动量计算部）

43显示用图像合成部

44保存用图像合成部

51区域分割部

52每个区域的直方图生成部（灰度值分析部、灰度值检测部）

53每个对应区域的直方图比较部

54每个对应区域的调整部（灰度值调整部）

55钳子和饱和区域提取部

56钳子和饱和区域图像处理部

65图像内特征标记搜索部（特征点搜索部）

66放大率设定部

67图像放大部

A被检体

B患部

Claims (15)

1.一种内窥镜装置，其特征在于，具有：

图像获取部，其获取被检体的图像；

图像保存部，其保存由该图像获取部获取的第一当前图像；

处置器械区域提取部，其从由所述图像获取部获取的第二当前图像中提取活检用的处置器械所在的处置器械区域；

图像调位部，其进行在所述图像保存部中保存的保存图像与由所述图像获取部获取的第二当前图像的调位；

处置器械对应区域提取部，其从保存在所述图像保存部中的保存图像中提取与所述处置器械区域对应的区域；以及

图像合成部，其将由该处置器械对应区域提取部提取的区域的图像与由所述图像获取部获取的第二当前图像合成。

2.根据权利要求1所述的内窥镜装置，其特征在于，

所述内窥镜装置还具有图像处理部，该图像处理部生成从由所述图像获取部获取的第二当前图像中去除了由所述处置器械区域提取部提取的处置器械区域后的图像，

所述图像合成部将由所述处置器械对应区域提取部提取的区域的图像与由所述图像处理部生成的图像合成。

3.根据权利要求1所述的内窥镜装置，其特征在于，

所述图像合成部将所述处置器械区域的位置信息重叠在合成的图像上。

4.根据权利要求3所述的内窥镜装置，其特征在于，

所述图像合成部重叠处置器械的轮廓作为所述处置器械区域的位置信息。

5.根据权利要求3所述的内窥镜装置，其特征在于，

所述图像合成部使处置器械半透明化来进行重叠，作为所述处置器械区域的位置信息。

6.根据权利要求1所述的内窥镜装置，其特征在于，

所述内窥镜装置具有特征点检测部，该特征点检测部检测所述第二当前图像和所述保存图像的特征点，

所述图像调位部使用由所述特征点检测部检测出的特征点，进行所述第二当前图像与所述保存图像的调位。

7.根据权利要求1所述的内窥镜装置，其特征在于，

所述内窥镜装置具有处置器械检测部，该处置器械检测部在所述第二当前图像中检测处置器械的有无，

在所述处置器械检测部检测到处置器械时，所述处置器械区域提取部从所述第二当前图像中提取所述处置器械区域。

8.根据权利要求7所述的内窥镜装置，其特征在于，

所述处置器械检测部根据所述第二当前图像内的颜色信息来检测处置器械。

9.根据权利要求1所述的内窥镜装置，其特征在于，

所述内窥镜装置具有：

处置器械位置检测部，其在所述第二当前图像中检测处置器械的位置；以及

移动量计算部，其根据由该处置器械位置检测部检测到的处置器械的位置，计算处置器械的移动量，

在由所述移动量计算部计算出的移动量为规定距离以上时，所述图像保存部更新保存的图像。

10.根据权利要求1所述的内窥镜装置，其特征在于，

所述图像保存部按照每个预定周期更新保存的图像。

11.根据权利要求1所述的内窥镜装置，其特征在于，

所述内窥镜装置具有：

区域分割部，其将所述第二当前图像和所述保存图像分割成多个区域；

灰度值分析部，其针对所述第二当前图像和所述保存图像，计算由所述区域分割部分割后的区域的灰度值的直方图；以及

灰度值调整部，其针对由该灰度值分析部计算出的所述第二当前图像的直方图，在使得与所述保存图像的直方图重叠的区域增加的方向上，调整各区域的灰度值。

12.根据权利要求1所述的内窥镜装置，其特征在于，

所述内窥镜装置具有：

区域分割部，其将所述第二当前图像和所述保存图像分割成多个区域；以及

灰度值检测部，其针对所述第二当前图像和所述保存图像，检测由所述区域分割部分割后的区域的灰度值，

当在所述第二当前图像中存在灰度值饱和的饱和区域时，所述图像合成部将该饱和区域的图像替换为所述保存图像。

13.根据权利要求1所述的内窥镜装置，其特征在于，

所述内窥镜装置具有：

特征点检测部，其检测所述第二当前图像的特征点；以及

特征点搜索部，其从在所述图像保存部中保存的多个保存图像中搜索由该特征点检测部检测到的特征点，

所述处置器械对应区域提取部从由所述特征点搜索部搜索到特征点的保存图像中，提取与所述处置器械区域对应的区域。

14.根据权利要求1所述的内窥镜装置，其特征在于，

所述处置器械对应区域提取部对所述保存图像进行放大或缩小，从放大或缩小后的保存图像中提取与所述处置器械区域对应的区域。

15.根据权利要求14所述的内窥镜装置，其特征在于，

所述内窥镜装置具有：

特征点检测部，其检测所述第二当前图像和所述保存图像的多个特征点；以及

放大率设定部，其根据所述第二当前图像和所述保存图像中的、由所述特征点检测部检测到的多个特征点间的距离，设定所述保存图像相对于所述第二当前图像的放大率，

所述处置器械对应区域提取部以由所述放大率设定部设定的放大率对所述保存图像进行放大或缩小。