CN110099599B - 医学图像处理设备、医学图像处理方法和程序 - Google Patents

Abstract

本技术涉及一种医学图像处理设备、一种医学图像处理方法和一种程序，其能够使显示器可视地识别观察条件的差异。包括：系数计算单元，其计算表示在正常光照射到成像对象上的状态下成像的正常帧和在特殊光照射到成像对象上的状态下成像的特殊帧之间的相关性的相关系数；以及处理单元，其对特殊帧应用图像处理，使得以不同方式显示在具有高相关系数的特殊帧和具有低相关系数的特殊帧中的区域。另外包括：第一确定单元，其为正常帧中的每个像素或每个区域计算表示预定位置在其中成像的可能性的第一确定值；以及第二确定单元，其为特殊帧中的每个像素或每个区域计算表示预定位置在其中成像的可能性的第二确定值，其中，所述系数计算单元通过使用第一确定值和第二确定值来计算相关系数。可以将本技术应用于医学图像处理设备。

Description

医学图像处理设备、医学图像处理方法和程序

技术领域

本技术涉及一种医学图像处理设备、一种医学图像处理方法和一种程序，并且例如，涉及一种医学图像处理设备、一种医学图像处理方法和一种程序，其能够组合和显示通过向人体施加正常光(例如，白光)而捕获的正常图像且通过施加特殊光而捕获的特殊图像，以指示血管位置。

背景技术

例如，在过去，已经提出了在医学环境中使用的各种技术，其中，由内窥镜设备捕获的器官等的正常图像与指示在正常图像中难以区分的病变(例如，血管和肿瘤)的位置的特殊图像相结合。

例如，在专利文献1中描述了以时分方式捕获正常图像和特殊图像。此外，例如，在专利文献2中描述了组合和显示正常图像和特殊图像。此外，在专利文献3中描述了组合和显示正常图像和特殊图像以及使特殊图像闪烁。

在此处，正常图像表示通过向作为对象的器官等施加正常光(例如，白光)而捕获的图像。特殊光表示通过施加与正常光不同的具有预定波长的特殊光而捕获的图像。注意，在捕获特殊图像时，对施加特殊光起反应的荧光剂等可以混合或应用于作为对象的血管(血液)或病变。

引文列表

专利文献

专利文献1：JP2007-313171A

专利文献2：JP2012-24283A

专利文献3：日本专利No.5320268

发明内容

技术问题

在特殊图像中也捕获未在正常图像中捕获的血管等，并且期望在通过组合特殊图像和正常图像而获得的图像中能够一目了然地识别特殊图像和正常图像中的不同部分。

考虑到环境而构成本技术，并且本技术可以组合正常图像和特殊图像，从而可以识别不同的部分。

问题的解决方案

本技术的一个方面提供了一种医学图像处理设备，包括：系数计算单元，其计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在正常光施加到对象的状态下被成像，所述特殊帧在特殊光施加到对象的状态下成像；以及处理单元，其对所述特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分在所述特殊帧中不同地显示。

本技术的一个方面提供了一种医学图像处理方法，包括以下步骤：计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在正常光施加到对象的状态下成像，所述特殊帧在特殊光施加到对象的状态下成像；并且对所述特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分在所述特殊帧中不同地显示。

本技术的一个方面提供了一种计算机可读程序，用于使计算机执行包括以下步骤的过程：计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在正常光施加到对象的状态下成像，所述特殊帧在特殊光施加到对象的状态下成像；并且对所述特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分在所述特殊帧中不同地显示。

在根据本技术各方面的医学图像处理设备、医学图像处理方法和程序中，计算相关系数。相关系数表示正常帧和特殊帧之间的相关性，所述正常帧在正常光施加到对象的状态下成像，所述特殊帧在特殊光施加到对象的状态下成像。对所述特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分在所述特殊帧中不同地显示。

注意，医学图像处理设备可以是独立的设备或者可以是包括在一个设备中的内部块。

此外，可以通过传输介质传输程序来提供程序，或者可以通过在记录介质中记录程序来提供程序。

发明的有利效果

根据本技术的方面，可以组合正常图像和特殊图像，使得可以识别不同的部分。

注意，此处描述的有利效果可以不受限制，并且有利效果可以是本公开中描述的任何有利效果。

附图说明

[图1]是示出根据本技术的内窥镜手术***的实施例的配置的示图；

[图2]是示出摄像头和CCU的功能配置的示例的框图；

[图3]是示出内窥镜设备的配置示例的框图；

[图4]是示出正常帧和特殊帧的成像定时的示图；

[图5]是示出图像处理单元的详细配置示例的框图；

[图6]是示出运动矢量检测单元的详细配置示例的框图；

[图7]是描述图像组合过程的流程图；

[图8]是示出叠加处理单元的配置示例的示图；

[图9]是用于描述确定值的计算的示图；

[图10]是用于描述确定值的计算的示图；

[图11]是用于描述关于显示的过程的流程图；

[图12]是示出显示屏幕的示例的示图；

[图13]是示出显示屏幕的示例的示图；

[图14]是示出显示屏幕的示例的示图；

[图15]是用于描述记录介质的示图。

具体实施方式

在下文中，将描述用于执行本技术的模式(在下文中，称为实施例)。

<内窥镜***的配置>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以应用于内窥镜手术***。此外，尽管此处将描述内窥镜手术***的示例，但是本技术也可以应用于外壳手术***、显微手术***等。

图1是示出可以应用根据本公开的技术的内窥镜手术***10的示意性配置的示例的示图。图1示出了外科医生(医生)71使用内窥镜手术***10对病床73上的患者75进行手术的情况。如图1所示，内窥镜手术***10包括内窥镜20、其他手术工具30、支撑内窥镜20的支撑臂设备40以及设置有用于内窥镜手术的各种设备的推车50。

在内窥镜手术中，腹壁由多个称为套管针37a至37d的圆柱形开口装置刺穿，而不是进行有关腹壁切口的剖腹手术。此外，内窥镜20的镜筒21和其他手术工具30从套管针37a至37d***患者75的体腔中。在所示的示例中，***患者75体腔的其他手术工具30包括气腹管31、能量治疗工具33和镊子35。此外，能量治疗工具33是使用高频电流或超声波振动来执行诸如切割和分离组织以及密封血管等操作的治疗工具。然而，所示的手术工具30仅仅是一个示例，并且内窥镜手术中通常使用的各种手术工具(例如，镊子和牵开器)可以用作手术工具30。

由内窥镜20拍摄的患者75体腔内手术部位的图像显示在显示设备53上。外科医生71使用能量治疗工具33和镊子35，同时实时观察在显示设备53上显示的手术部位的图像，以执行治疗，例如，切除患部。注意，气腹管31、能量治疗工具33和镊子35在手术期间由外科医生71、助手等支撑。

(支撑臂设备)

支撑臂设备40包括从基部41延伸的臂部43。在所示的示例中，臂部43包括接合部45a、45b和45c以及连杆47a和47b，并且臂控制设备57控制和驱动臂部43。臂部43支撑内窥镜20并控制内窥镜20的位置和姿势。这可以实现内窥镜20的位置的稳定固定。

(内窥镜)

内窥镜20包括镜筒21和连接到镜筒21的底端的摄像头23，在镜筒21中，从尖端开始的预定长度的区域***到患者75的体腔中。尽管在所示的示例中，内窥镜20是包括刚性镜筒21的所谓刚性镜，但是内窥镜20可以是包括柔性镜筒21的所谓柔性镜。

用于***物镜的开口部分设置在镜筒21的尖端。光源设备55连接到内窥镜20，并且在镜筒21内部延伸的光导将光源设备55生成的光引导到镜筒的尖端。光通过物镜施加到患者75体腔中的观察目标。注意，内窥镜20可以是前视内窥镜，或者可以是斜视内窥镜或侧视内窥镜。

光学***和成像装置设置在摄像头23的内部，并且光学***将来自观察目标的反射光(观察光)聚集在成像装置上。成像装置对观察光进行光电转换，并且生成对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为原始数据发送到相机控制单元(CCU)51。注意，摄像头23具有适当驱动光学***以调整放大率和焦距的功能。

注意，多个成像装置可以设置在摄像头23上，以对应于例如立体视图(3D显示)。在这种情况下，多个中继光学***设置在镜筒21的内部，以将观察光引导到多个成像装置中的每一个。

(安装在手推车上的各种设备)

CCU 51包括CPU(中央处理单元)、GPU(图形处理单元)等，并且全面控制内窥镜20和显示设备53的操作。具体而言，CCU 51对从摄像头23接收的图像信号应用各种类型的图像处理，例如，显影处理(去马赛克处理)，以便基于图像信号显示图像。CCU 51将图像处理后的图像信号提供给显示设备53。CCU 51还向摄像头23发送控制信号，并控制驱动摄像头23。控制信号可以包括关于成像条件的信息，例如，放大率和焦距。

显示设备53由CCU 51控制，以基于CCU 51进行图像处理之后的图像信号显示图像。在内窥镜20对应于例如高分辨率成像(例如，4K(3840水平像素×2160垂直像素)或8K(7680水平像素×4320垂直像素))的情况下，和/或在内窥镜20对应于3D显示的情况下，可以根据情况使用能够执行高分辨率显示和/或3D显示的显示设备53。在内窥镜20对应于诸如4K和8K等高分辨率成像的情况下，尺寸为55英寸或更大的显示设备53可以用于获得更高的沉浸感。此外，可以根据用途提供具有不同分辨率和尺寸的多个显示设备53。

光源设备55包括光源，例如，LED(发光二极管)，并且向内窥镜20提供用于对手术部位进行成像的照明光。

臂控制设备57包括处理器，例如，CPU，并且根据预定程序进行操作，以根据预定控制***控制驱动支撑臂设备40的臂部43。

输入设备59是内窥镜手术***10的输入接口。用户可以通过输入设备59向内窥镜手术***10输入各种类型的信息或指令。例如，用户通过输入设备59输入关于手术的各种类型的信息，例如，患者的生物信息和关于手术过程的信息。用户还通过输入设备59输入例如用于驱动臂部43的指令、用于改变内窥镜20的成像条件(例如，照明光的类型、放大率和焦距)的指令、用于驱动能量治疗工具33的指令等。

输入设备59的类型不受限制，并且输入设备59可以是各种众所周知的输入设备。输入设备59可以是例如鼠标、键盘、触摸板、开关、脚踏开关69和/或杠杆。在触摸板用作输入设备59的情况下，触摸板可以设置在显示设备53的显示表面上。

或者，输入设备59是用户佩戴的装置，例如，眼镜型可穿戴装置和HMD(头戴式显示器)，并且根据装置检测到的用户的手势或眼神来执行各种输入。输入设备59还包括能够检测用户运动的相机，并且根据从相机成像的视频中检测到的用户的手势或眼神来执行各种输入。

输入设备59还包括能够收集用户声音的麦克风，并且根据通过麦克风的声音来执行各种输入。以这种方式，输入设备59允许各种类型的信息的非接触输入，并且这特别允许属于清洁区域的用户(例如，外科医生71)执行属于不洁区域的装置的非接触操作。此外，用户可以在不释放所拥有的手术工具的情况下操作该装置，并且这提高了用户的便利性。

治疗工具控制设备61控制驱动能量治疗工具33，用于烧灼组织、切割组织或密封血管。气腹设备63通过气腹管31将气体供给到患者75的体腔中，以使体腔膨胀，以便确保内窥镜20的视野并确保外科医生的工作空间。记录器65是能够记录关于手术的各种类型的信息的设备。打印机67是能够以各种格式打印关于手术的各种类型的信息的设备，例如，文本、图像和图形。

在下文中，将更详细地描述内窥镜手术***10中的具体特征分量。

(支撑臂设备)

支撑臂设备40包括作为基底的基部41和从基部41延伸的臂部43。尽管在所示的示例中，臂部43包括多个接合部45a、45b和45c以及由接合部45b连接的多个连杆47a和47b，但是为了简化起见，在图1中简单地示出了臂部43的配置。

实际上，可以适当地设定接合部45a至45c以及连杆47a和47b的形状、数量和设置、接合部45a至45c的旋转轴方向等，使得臂部43具有期望的自由度。例如，臂部43可以适当地配置成具有等于或大于六个自由度的自由度。结果，内窥镜20可以在臂部43的可移除范围内自由移动，并且内窥镜20的镜筒21可以从期望的方向***到患者75的体腔中。

为接合部45a至45c设置致动器，并且接合部45a至45c可以由致动器驱动，以绕预定旋转轴旋转。臂控制设备57控制驱动致动器，以控制接合部45a至45c中的每一个的旋转角度，从而控制驱动臂部43。这可以实现控制内窥镜20的位置和姿势。在这种情况下，臂控制设备57可以使用各种公知的控制***，例如，力控制和位置控制，来控制驱动臂部43。

例如，外科医生71可以通过输入设备59(包括脚踏开关69)适当地输入操作，并且臂控制设备57可以根据操作的输入适当地控制驱动臂部43，以控制内窥镜20的位置和姿势。控制器可以将位于臂部43尖端的内窥镜20从任意位置移动到任意位置，并且内窥镜20可以固定和支撑在移动之后的位置。注意，臂部43可以由所谓的主从***操作。在这种情况下，用户可以通过安装在远离手术室的地方的输入设备59远程控制臂部43。

此外，在施加力控制的情况下，臂控制设备57可以执行所谓的动力辅助控制，用于接收来自用户的外力以驱动接合部45a至45c的致动器，从而根据外力平稳地移动臂部43。当用户直接触摸臂部43以移动臂部43时，这允许用户以较小的力移动臂部43。因此，能够以更简单的操作更直观地移动内窥镜20，并且能够提高用户的便利性。

在此处，称为内窥镜医生的医生通常在内窥镜手术中支撑内窥镜20。另一方面，支撑臂设备40可以用于更可靠地固定内窥镜20的位置，而无需人力。这使得能够稳定地获取手术部位的图像，并且手术可以是顺利的。

注意，臂控制设备57可以不设置在推车50上。此外，臂控制设备57可以不是一个设备。例如，臂控制设备57可以设置在支撑臂设备40的臂部43的接合部45a至45c中的每一个上，并且多个臂控制设备57可以一起工作，以实现驱动和控制臂部43。

(光源设备)

光源设备55向内窥镜20提供用于对手术部位成像的照明光。光源设备55包括白光源，白光源包括例如LED、激光光源或其组合。在这种情况下，在白色光源包括RGB激光光源的组合的情况下，可以高度精确地控制每种颜色(每个波长)的输出强度和输出时间。因此，光源设备55可以调整捕获图像的白平衡。

此外，在这种情况下，来自每个RGB激光源的激光可以在时分中施加到观察目标，并且可以与施加时间同步地控制驱动摄像头23的成像装置。因此，也可以在时分中拍摄对应于RGB的图像。根据该方法，可以获得彩色图像，而在成像装置中不提供滤色器。

此外，可以控制驱动光源设备55，以在每个预定时间段改变输出光的强度。可以与光强度变化的时间同步控制驱动摄像头23的成像装置，并且可以在时分中获取并组合图像。这可以生成具有高动态范围的图像，而没有所谓的遮挡阴影或喷出高亮。

光源设备55还能够提供对应于特殊光成像的预定波长带的光。在特殊光成像中，执行所谓的窄带成像内镜，其中，例如，身体组织中光吸收的波长依赖性用于在正常观察期间施加比照明光(即，白光)更窄的波段的光，从而以高对比度成像预定组织，例如，粘膜表层的血管。

或者，可以在特殊光成像中执行荧光成像，用于使用通过施加激发光而生成的荧光来获得图像。在荧光成像中，可以将激发光施加到身体组织，以观察来自身体组织的荧光(自发荧光成像)，或者可以通过将试剂(例如，吲哚菁绿(ICG)、5-ALA(5-氨基乙酰丙酸)和激光卟啉)局部注射到身体组织中并将对应于试剂的荧光波长的激发光施加到身体组织，来获得荧光图像。光源设备55可以提供对应于特殊光成像的窄带光和/或激发光。

(摄像头和CCU)

将参考图2更详细地描述内窥镜20的摄像头23和CCU 51的功能。

图2是示出图1中示出的摄像头23和CCU 51的功能配置的示例的框图。

参考图2，摄像头23具有包括透镜单元25、成像单元27、驱动单元29、通信单元26和摄像头控制单元28的功能。此外，CCU 51具有包括通信单元81、图像处理单元83和控制单元85的功能。摄像头23和CCU 51连接，并且可以通过传输电缆91在两个方向上通信。

首先，将描述摄像头23的功能配置。透镜单元25是设置在摄像头23和镜筒21之间的连接处的光学***。从镜筒21的尖端引入的观察光引导到摄像头23，并进入透镜单元25。透镜单元25包括多个透镜的组合，包括变焦透镜和聚焦透镜。调整透镜单元25的光学特性，以将观察光聚集在成像单元27的成像装置的光接收表面上。此外，变焦透镜和聚焦透镜在光轴上的位置可以移动，以调整捕获的图像的放大率和焦点。

成像单元27包括成像装置，并且设置在透镜单元25的后阶段。穿过透镜单元25的观察光聚集在成像装置的光接收表面上，并且通过光电转换生成对应于观察图像的图像信号。成像单元27生成的图像信号提供给通信单元26。

成像单元27中包括的成像装置例如是CMOS(互补金属氧化物半导体)型图像传感器，并且能够利用拜耳阵列进行彩色成像。注意，可以使用的成像装置的示例包括可以对应于以4K或更高分辨率拍摄图像的成像装置。外科医生71可以通过获得手术部位的高分辨率图像来更详细地了解手术部位的情况，并且手术可以更顺利地进行。

此外，成像单元27的成像装置包括一对成像装置，用于获取对应于3D显示的右眼图像信号和左眼图像信号。3D显示允许外科医生71更精确地了解在手术部位的活体组织的深度。注意，在成像单元27是多盘类型的情况下，根据成像装置还提供透镜单元25的多个***。

此外，成像单元27可以不设置在摄像头23上。例如，成像单元27可以设置为紧接在镜筒21内部的物镜之后。

驱动单元29包括致动器，并且摄像头控制单元28控制致动器沿着光轴将透镜单元25的变焦镜头和聚焦镜头移动预定距离。结果，可以适当地调整由成像单元27捕获的图像的放大率和焦点。

通信单元26包括向CCU 51发送各种类型的信息和从CCU 51接收各种类型的信息的通信设备。通信单元26通过传输电缆91将从成像单元27获得的图像信号的原始数据传输到CCU 51。在这种情况下，优选通过光通信传输图像信号，以低延迟显示手术部位的捕获图像。

这是因为在手术中，外科医生71使用捕获的图像来观察患部的状态并执行手术。因此，需要尽可能实时地显示手术部位的运动图像，以便进行更安全和更可靠的手术。在执行光通信的情况下，通信单元26设置有用于将电信号转换成光信号的光电转换模块。在图像信号被光电转换模块转换成光信号之后，该信号通过传输电缆91传输到CCU 51。

此外，通信单元26从CCU 51接收用于控制驱动摄像头23的控制信号。控制信号包括例如关于成像条件的信息，例如，用于指定捕获图像的帧率的信息、用于在成像时指定曝光值的信息和/或用于指定捕获图像的放大率和焦点的信息。通信单元26将接收到的控制信号提供给摄像头控制单元28。

注意，来自CCU 51的控制信号也可以通过光通信传输。在这种情况下，通信单元26设置有将光信号转换成电信号的光电转换模块。在控制信号被光电转换模块转换成电信号之后，该信号提供给摄像头控制单元28。

注意，CCU 51的控制单元85基于获取的图像信号自动设置成像条件，例如，帧率、曝光值、放大率和焦点。即，内窥镜20设置有所谓的AE(自动曝光)功能、AF(自动对焦)功能和AWB(自动白平衡)功能。

摄像头控制单元28基于通过通信单元26接收的来自CCU 51的控制信号来控制驱动摄像头23。例如，摄像头控制单元28基于用于指定捕获图像的帧率的信息和/或用于在成像时指定曝光的信息来控制驱动成像单元27的成像装置。此外，例如，摄像头控制单元28基于用于指定捕获图像的放大率和焦点的信息，通过驱动单元29适当地移动透镜单元25的变焦镜头和聚焦镜头。摄像头控制单元28还可以具有存储用于识别镜筒21和摄像头23的信息的功能。

注意，诸如透镜单元25和成像单元27等部件可以设置在高度气密和防水的密封结构中，使得摄像头23能够抵抗高压灭菌过程。

接下来，将描述CCU 51的功能配置。通信单元81包括向摄像头23发送信息和从摄像头23接收信息的通信设备。通信单元81从摄像头23接收通过传输电缆91传输的图像信号。在这种情况下，图像信号可以如上所述通过光通信适当地传输。在这种情况下，通信单元81设置有光电转换模块，该光电转换模块根据光通信将光信号转换成电信号。通信单元81将转换成电信号的图像信号提供给图像处理单元83。

此外，通信单元81向摄像头23发送用于控制驱动摄像头23的控制信号。控制信号也可以通过光通信传输。

图像处理单元83对作为从摄像头23发送的原始数据的图像信号应用各种类型的图像处理。图像处理的示例包括各种类型的众所周知的信号处理，例如，显影处理、高分辨率处理(例如，带强调处理、超分辨率处理、NR(降噪)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。图像处理单元83还执行图像信号的波检测处理，以执行AE、AF和AWB。

图像处理单元83包括处理器，例如，CPU和GPU，并且处理器可以根据预定程序操作，以执行图像处理或波检测处理。注意，在图像处理单元83包括多个GPU的情况下，图像处理单元83适当地划分关于图像信号的信息，并且多个GPU并行执行图像处理。

控制单元85执行关于内窥镜20对手术部位的成像和关于捕获图像的显示的各种类型的控制。例如，控制单元85生成用于控制驱动摄像头23的控制信号。在这种情况下，在用户输入成像条件的情况下，控制单元85基于用户的输入生成控制信号。或者，在内窥镜20具有AE功能、AF功能和AWB功能的情况下，控制单元85通过根据图像处理单元83的波检测处理的结果适当地计算最佳曝光值、焦距和白平衡来生成控制信号。

此外，控制单元85使得显示设备53基于图像处理单元83进行图像处理之后的图像信号来显示手术部位的图像。在这种情况下，控制单元85使用各种图像识别技术来识别手术部位图像中的各种对象。

例如，控制单元85可以检测手术部位图像中包括的对象的边缘的形状、颜色等，以识别手术工具，例如，镊子、特定身体部位、出血、在使用能量治疗工具33期间的薄雾等。当控制单元85使显示设备53显示手术部位的图像时，控制单元85使用识别结果将各种类型的手术支持信息叠加在手术部位的图像上。通过将手术支持信息叠加并呈现给外科医生71，可以更加安全可靠地推进手术。

连接摄像头23和CCU 51的传输电缆91是对应于电信号通信的电信号电缆、对应于光通信的光纤或这些的复合电缆。

尽管在此处示出的示例中，传输电缆91用于执行有线通信，但是可以无线执行摄像头23和CCU 51之间的通信。在无线执行摄像头23和CCU 51之间的通信的情况下，传输电缆91不必安装在手术室中。这可以消除手术室中医务人员的移动被传输电缆91阻碍的情况。

这完成了可以应用根据本公开的技术的内窥镜手术***10的示例的描述。

注意，尽管在此处已经将内窥镜手术***10描述为示例，但是可以应用根据本公开的技术的***不限于该示例。例如，根据本公开的技术可以应用于检查柔性内窥镜***或显微手术***。

在以下描述中，将继续描述作为根据本技术的示例的内窥镜手术***10的示例。在根据本技术的内窥镜手术***10中，可以获取正常图像和特殊图像，并且可以将获取的正常图像和特殊图像叠加并呈现给外科医生。

将再次描述内窥镜手术***的配置，以添加关于获取正常图像和特殊图像以及关于叠加所获取的正常图像和特殊图像的描述。图3是示出内窥镜设备的示例的配置的示图，该内窥镜设备具有获取正常图像和特殊图像、叠加所获取的正常图像和特殊图像并且呈现叠加的图像的功能。

在此处，正常图像表示通过向作为对象的器官等施加正常光(例如，白光)而捕获的图像。在下文中，正常图像也将称为正常帧。特殊图像表示通过施加与正常光不同的具有预定波长的特殊光而捕获的图像。在下文中，特殊图像也将称为特殊帧。注意，在捕获特殊图像时，对施加特殊光起反应的荧光剂等可以混合或应用于作为对象的血管(血液)或病变。

图3所示的内窥镜设备110表示内窥镜设备的配置示例，该内窥镜设备在时分中对正常帧和特殊帧成像，精确定位和组合帧，并显示作为定位和组合的结果而获得的组合帧。

内窥镜设备110包括光源单元111、成像单元112、显影单元113、图像处理单元114和显示单元115。光源单元111对应于例如内窥镜手术***10的光源设备55(图1)。成像单元112对应于成像单元27(图2)。显影单元113包括在图像处理单元83(图2)中。图像处理单元114对应于图像处理单元83(图2)。显示单元115对应于显示设备53(图1)。

对于要成像的每个帧，光源单元111切换正常光(例如，白光)和预定波长的特殊光，并将光施加到对象(例如，身体中的器官)。光源单元111还向图像处理单元114输出应用识别信号，指示对于要成像的每个帧应用正常光和特殊光中的哪一个。注意，为了施加特殊光，可以在正常光的光路上设置仅传输预定波长的滤光器。

成像单元112在从光源单元111施加正常光或特殊光的状态下对对象成像，并将作为成像结果获得的图像信号输出到显影单元113。显影单元113对从成像单元112输入的图像信号应用显影处理(例如，马赛克处理)，并且将图像信号作为处理结果(当施加正常光时的正常帧或者当施加特殊光时的特殊帧)输出到图像处理单元114。

在此处，血管和病变(例如，肿瘤)在特殊帧中比在正常帧中更清楚。然而，整个帧的亮度较低，并且在特殊帧中噪声较高。另一方面，正常帧的整个帧的亮度比在特殊帧中高，噪声比在特殊帧中低。然而，血管和病变(例如，肿瘤)很难区分。

图像处理单元114在不同的成像时间使用两个正常帧来检测运动矢量。图像处理单元114还基于从正常帧检测到的运动矢量来执行特殊帧的运动校正，并且在运动校正之后组合正常帧和特殊帧。图像处理单元114向显示单元115输出作为组合的结果获得的组合帧。

显示单元115显示组合的帧。

<正常帧和特殊帧的成像时间>

图4示出了正常帧和特殊帧的成像时间的示例。

在内窥镜设备110中，正常帧连续成像几帧，同时特殊帧明确成像。例如，如图4所示，对正常帧和特殊帧成像的比率是4:1。

然而，该比率不限于4:1，并且该比率可以是可变的。图4中的Ta表示在特殊帧成像之前一帧的正常帧的成像时间。Tb表示特殊帧的成像时间。Tc、Td和Te分别表示特殊帧成像之后一帧、两帧和三帧的正常帧的成像时间。Ta至Te用于描述稍后描述的运动矢量的检测。

<图像处理单元114的配置示例>

接下来，图5示出了图像处理单元114的配置示例。

图像处理单元114包括切换单元121、运动矢量检测单元122、校正量估计单元123、帧存储器124、运动校正单元125和叠加处理单元126。

在图像处理单元114中，早期从显影单元113输入的正常帧和特殊帧输入到切换单元121，并且来自光源单元111的应用识别信号输入到切换单元121、运动矢量检测单元122和校正量估计单元123。

切换单元121基于应用识别信号确定来自显影单元113的输入是否是特殊帧。在输入不是特殊帧(而是正常帧)的情况下，切换单元121将帧输出到运动矢量检测单元122和叠加处理单元126。在输入是特殊帧的情况下，切换单元121将帧输出到帧存储器124。

运动矢量检测单元122使用具有不同成像时间的两个正常帧来检测每个帧周期的运动矢量，并将检测到的运动矢量输出到校正量估计单元123。

校正量估计单元123基于由运动矢量检测单元122检测的运动矢量来估计特殊帧的运动校正量，并将估计的运动校正量输出到运动校正单元125。注意，校正量估计单元123可以基于连续检测到的运动矢量来校正具有错误检测可能性的运动矢量，并且可以基于校正的运动矢量来估计运动校正量。

帧存储器124保存从切换单元121输入的特殊帧，并在每个帧周期将保存的特殊帧提供给运动校正单元125。另外，在从切换单元121输入下一个特殊帧的情况下，帧存储器124更新保存的特殊帧。

注意，可以执行这样的处理，其中，例如，提取小块中3×3离散度或动态范围等于或大于阈值的区域，并且生成表示提取结果的特征提取帧。此外，可以执行这样的处理，其中，例如，提取像素的信号电平在特定阈值内的区域，即，具有特定RGB电平的区域，并且生成表示提取结果的特征提取帧。此外，例如，可以将轮廓检测处理(例如，SNAKE)应用于封闭区域(等同于肿瘤等)，以生成表示结果的特征提取帧。

运动校正单元125基于从运动校正量估计单元123输入的运动校正量执行来自帧存储器124的特殊帧的运动校正，并将运动校正后的特殊帧输出到叠加处理单元126。

叠加处理单元126接收运动校正后的正常帧和特殊帧，以通过执行叠加组合处理来生成组合帧(叠加帧)，并在后期将该帧输出到显示单元115。

<运动矢量检测单元122的配置示例>

图6示出了运动矢量检测单元122的配置示例。运动矢量检测单元122包括帧存储器131和132、帧选择单元133、块匹配单元134和矢量校正单元135。

在运动矢量检测单元122中，在早期从切换单元121输入的正常帧输入到帧存储器131和帧选择单元133。

帧存储器131针对每个帧周期将在该点保存的正常帧输出到帧存储器132和帧选择单元133，并且用在早期从切换单元121输入的正常帧更新保存的数据。类似地，帧存储器132针对每个帧周期将保存的正常帧输出到帧选择单元133，并且用在早期从帧存储器131输入的正常帧更新保存的数据。

然而，在帧周期中正常帧没有输入到运动矢量检测单元122的时间，帧存储器131将在该点保存的正常帧输出到后阶段，并清除在该点保存的数据。

在下一时间，帧存储器131不输出数据到后阶段，因为没有保存数据。帧存储器132将在该点保存的正常帧输出到后阶段，并清除在该点保存的数据。

因此，具有不同成像时间的两个或三个正常帧同时输入到帧选择单元133。

在同时输入两个正常帧的情况下，帧选择单元133将两个正常帧输出到块匹配单元134。此外，在同时输入三个正常帧的情况下，帧选择单元133将从帧存储器131和132输入的两个正常帧输出到块匹配单元134。块匹配单元134执行块匹配处理，以检测两个正常帧之间的运动矢量。

矢量校正单元135基于应用识别信号确定用于运动矢量的两个正常帧之间的关系。矢量校正单元135基于该关系校正检测到的运动矢量，并将运动矢量输出到校正量估计单元123。

将具体描述矢量校正单元135对运动矢量的校正。在图4中基于来自帧存储器131的输出示出标准成像时间Ta的情况下，标准前一帧的正常帧从帧存储器132输入到帧选择单元133，并且标准正常帧从帧存储器131输入到帧选择单元133。从两个正常帧中检测运动矢量。在这种情况下，矢量校正单元135不校正运动矢量。

在图4所示的标准成像时间为Tb的情况下，帧存储器131不输出帧，因为Tb是特殊帧的成像时间。此外，标准前一帧的正常帧从帧存储器131输入到帧选择单元133，标准后一帧的正常帧从切换单元121输入到帧选择单元133。从两个正常帧中检测运动矢量。在这种情况下，检测到的运动矢量是彼此相距两帧的正常帧之间的运动矢量。因此，矢量校正单元135将检测到的运动矢量的垂直和水平分量乘以1/2。

在图4所示的标准成像时间为Tc的情况下，标准正常帧从帧存储器131输入到帧选择单元133，并且标准后一帧的正常帧从切换单元121输入到帧选择单元133。从两个正常帧中检测运动矢量。在这种情况下，检测到的运动矢量的方向相反，并且矢量校正单元135将检测到的运动矢量的垂直和水平分量乘以-1。

在图4所示的标准成像时间为Td的情况下，标准前一帧的正常帧从帧存储器132输入到帧选择单元133，标准正常帧从帧存储器131输入到帧选择单元133，标准后一帧的正常帧从切换单元121输入到帧选择单元133。从帧存储器131和132的两个正常帧中检测运动矢量。在这种情况下，矢量校正单元135不校正运动矢量。

在图4所示的标准成像时间为Te的情况下，标准前一帧的正常帧从帧存储器132输入到帧选择单元133，标准正常帧从帧存储器131输入到帧选择单元133，标准后一帧的正常帧从切换单元121输入到帧选择单元133。从帧存储器131和132的两个正常帧中检测运动矢量。在这种情况下，矢量校正单元135不校正运动矢量。

矢量校正单元135在后期将以这种方式校正的运动矢量输出到校正量估计单元123。

<图像处理单元114的图像组合处理>

接下来，将参考图7描述图像处理单元114的图像组合处理。图7是描述图像组合过程的流程图。对每个帧周期执行图像组合处理。

在步骤S11中，切换单元121基于应用识别信号确定来自显影单元113的输入是否是特殊帧，并且在切换单元121确定输入是特殊帧的情况下，将该特殊帧输出到帧存储器124。另一方面，在切换单元121确定输入不是特殊帧(而是正常帧)的情况下，切换单元121将正常帧输出到运动矢量检测单元122和叠加处理单元126。

在步骤S12中，帧存储器124将在该点保存的特殊帧提供给运动校正单元125。注意，在从切换单元121输入特殊帧的情况下，更新保存的特殊帧。

在步骤S13中，运动矢量检测单元122使用具有不同成像时间的两个正常帧来检测运动矢量，并将运动矢量输出到校正量估计单元123。在步骤S14中，校正量估计单元123确定检测到的运动矢量是否等于或小于预定阈值，并且在检测到的运动矢量等于或小于预定阈值的情况下，将处理前进到步骤S15，以使用运动矢量进行运动校正。另一方面，在检测到的运动矢量大于预定阈值的情况下，运动矢量不用于运动校正。在这种情况下，对应于该时间的成像时间的图像组合处理结束。

在步骤S15中，校正量估计单元123基于由运动矢量检测单元122检测的运动矢量来估计特殊帧的运动校正量，并将估计的运动校正量输出到运动校正单元125。

在估计运动校正量之后，处理进行到步骤S16。在步骤S16中，运动校正单元125基于从运动校正量估计单元123输入的运动校正量执行来自帧存储器124的特殊帧的运动校正，并将运动校正后的特殊帧输出到叠加处理单元126。输入到叠加处理单元126的正常帧和特殊帧中的对象精确定位。

在步骤S17中，叠加处理单元126使用运动校正后的正常帧和特殊帧来执行叠加组合处理，从而生成组合帧，并在后期将组合帧输出到显示单元115。

作为执行该处理的结果，内窥镜设备110可以仅通过使用正常帧来检测运动矢量，并且可以在校正检测到的运动矢量之后估计运动校正量。内窥镜设备110可以精确地执行特殊帧的运动校正。因此，可以相对于正常帧精确定位特殊帧的信息，例如，血管和肿瘤。这允许用户(例如，执行手术的医生)准确且清楚地识别要切除的肿瘤部分和不要切除的血管部分。

基于正常帧创建要呈现给用户的组合帧，并且可以向用户呈现比特殊帧具有更高亮度和更低噪声的组合帧。

<提供叠加图像的方法>

如上所述，正常帧和特殊帧可以明显叠加(组合)，以向用户提供组合帧。帧也可以处理成用于向用户呈现信息的图像，并且可以呈现图像。

将荧光物质注射到体内，以便可视化仅基于正常帧的图像难以确定的血液和淋巴液的流动、肿瘤部位等，并且将特殊帧成像，以观察荧光物质，作为荧光图像。

在显示特殊帧时，选择性地执行显示，例如，单色显示、单一颜色显示和用于根据荧光亮度改变颜色的彩色地图显示。注意，“选择性”表示用户选择显示器的情况、基于预定条件选择显示器的情况等。此外，仅仅通过显示特殊帧难以视觉识别荧光部位周围的情况，因此，如上所述，特殊帧也叠加在同时成像的正常帧上，以显示组合帧。

此外，根据本技术，当显示组合帧或特殊帧时，计算正常帧和特殊帧的帧之间的相关系数(像素之间的相关系数)，并且根据相关系数的差异切换显示方法。在下文中，将进一步描述相关系数和显示方法。注意，在以下描述中，基于相关系数的显示将称为相关显示，并且在相关显示中显示的帧将称为相关帧。

相关帧是例如允许通过可视化相关系数的差异来容易地识别观察条件的差异的帧(图像)，因为正常帧和特殊帧的相关系数根据荧光物质的观察条件的差异而变化。

可以生成相关帧，作为组合帧，并且相关帧的生成可以基本上类似于上述组合帧的生成(参考图7等描述)。然而，不同之处在于，相关帧的生成包括诸如计算相关系数和基于相关系数组合帧等处理，作为处理的一部分。

在下面的描述中，将适当省略与组合帧的生成类似地执行的点的描述。

<叠加处理单元的配置>

图8是示出叠加处理单元126的配置示例的示图。叠加处理单元126包括确定值计算单元401、确定值计算单元402、相关系数计算单元403和组合帧生成单元404。

正常帧301提供给确定值计算单元401。确定值计算单元401确定正常帧301中预定位置(例如，血管和患部)的概率，并计算该概率的确定值。在此处，将描述确定血管概率的情况的示例。

例如，确定值计算单元401确定正常帧301中的预定区域(像素)是否是血管，并计算指示血管概率的确定值。在此处的描述中，确定值是从0.0到1.0的值。血管的概率越高，该值越接近1.0。

注意，血管的概率越高，该值也可能越接近0.0。此外，在此处描述的数值是一个示例，并且这些数值并不表示本技术的应用范围限于这些数值。很明显，可以使用其他数值来执行该过程。

特殊帧302提供给确定值计算单元402。确定值计算单元402确定特殊帧302中血管的概率，并计算该概率的确定值。例如，确定值计算单元402确定特殊帧302中的预定区域(像素)是否是血管，并计算指示血管概率的确定值(从0.0到1.0的值)。

注意，提供给确定值计算单元402的特殊帧302是在如上所述的过程中相对于正常帧301调整了位置的帧。因此，可以为正常帧301和特殊帧302中的相同部分确定血管是否成像，并且可以计算确定值。

来自确定值计算单元401的确定值(称为确定值A)和来自确定值计算单元402的确定值(称为确定值B)提供给相关系数计算单元403。例如，相关系数计算单元403将确定值A乘以确定值B，以计算相关系数。注意，获得相关系数的方法是一个示例，并且可以通过除了将确定值A和确定值B相乘之外的操作来获得相关系数。

此外，尽管在此处没有描述细节，但是可以使用ZNCC(零均值归一化互相关)、SSIM(结构相似性)等来计算相关系数。此外，为预定大小的每个像素或每个区域(块)计算相关系数。

至于血管在正常帧301中成像的部分，血管也在特殊帧302中成像的概率很高。因此，相关系数是一个高值。另一方面，甚至对于血管没有在正常帧301中成像的部分，血管也有可能在特殊帧302中成像。这种部分的相关系数是一个低值。相关系数提供给组合帧生成单元404。

正常帧301、特殊帧302和来自相关系数计算单元403的相关系数提供给组合帧生成单元404。组合帧生成单元404基于相关系数组合正常帧301和特殊帧302，并生成组合帧。

注意，如下所述，用户能够设置要显示正常帧、特殊帧和相关帧中的哪一个。

在用户可以设置要显示的帧的情况下，当设置正常帧的显示时，组合帧生成单元404不执行组合处理，并且将提供的正常帧301输出到后期(显示单元115)。或者，图像处理单元148(图4)可以将正常帧301输出到后期(显示单元115)，而不将正常帧301提供给叠加处理单元126(可以提供这样的路径)。

类似地，在设置特殊帧的显示的情况下，组合帧生成单元404不执行组合处理，并且将所提供的特殊帧302输出到后期(显示单元115)。或者，图像处理单元148(图4)可以将特殊帧302输出到后期(显示单元115)，而不将特殊帧302提供给叠加处理单元126(可以提供这样的路径)。

<确定值的计算>

将进一步描述确定值计算单元401和确定值计算单元402的确定值的计算。首先，将进一步描述在从正常帧301计算确定值的确定值计算单元401中计算确定值A的方法。

如图9所示，确定值计算单元401计算增益1(Gain1)和增益2(Gain2)，并将增益1乘以增益2，以计算确定值A。增益1是基于在可见光下成像的正常帧301中的DR(动态范围)(以下称为可见DR)的大小计算的值。可见DR可以是例如在待处理的像素(兴趣像素)周围的像素中的像素值的最大值和最小值之间的差值。

图9左侧的图是表示可见DR和增益1之间的关系的示图。横轴表示可见DR，纵轴表示增益1。当可见DR值为10至50时，增益1的值根据线性函数从0.0转变为1.0。此外，在可见DR等于或小于10的情况下，增益1是0.0。在可见DR等于或大于50的情况下，增益1为1.0。

例如，当比较血管和血管周围环境时，血管比周围环境亮，或者血管的红色比周围环境暗。因此，血管和血管周围环境的像素值之间的差异很大。即，可见DR在这样的区域可能很大。因此，如图9左侧的图所示，基于增益1的值随着可见DR的增加而增加的函数来计算增益1。

此外，如图9右侧的图所示的函数用于计算增益2。增益2是基于与血液颜色的接近度计算的值。图9右侧的图是表示与血液颜色的接近度(表示接近度的值)和增益2之间的关系的示图。横轴表示与血液颜色的接近度(血液颜色的相似度)，纵轴表示增益2。

在图9右侧的图所示的示图中，当表示与血液颜色的接近度的值是从10到50的值时，增益2的值根据线性函数从0.0转变为1.0。此外，在表示与血液颜色的接近度的值等于或小于10的情况下，增益2是0.0。在表示与血液颜色的接近度的值等于或大于50的情况下，增益2是1.0。

在正常帧301中，可见DR越大，颜色越接近血管颜色，血管的概率越高。在这种血管概率高的区域(像素)中，通过将增益1乘以增益2来计算确定值A，使得确定值A是高值(在这种情况下，值接近1.0)。

注意，可以从增益1创建关于增益1的相关图，并且可以从增益2创建关于增益2的相关图。这些图可以用于计算确定值A。此外，可以创建关于确定值A的图，以计算相关系数。

确定值计算单元402计算增益3(增益3)和增益4(增益4)，并将增益3乘以增益4，如图10所示，以计算确定值B。增益3是基于荧光的DR(动态范围)的大小计算的值。荧光的DR可以是例如在待处理的像素(兴趣像素)周围的像素中的像素值的最大值和最小值之间的差值。

图10左侧的图是表示在荧光下成像的特殊帧的DR(以下称为荧光DR)和增益3之间的关系的示图。横轴表示荧光DR，纵轴表示增益3。当荧光DR值为10至30时，增益3的值根据线性函数从0.0转变为1.0。另外，在荧光DR等于或小于10的情况下，增益3是0.0。在荧光DR等于或大于30的情况下，增益3是1.0。

例如，当比较血管和血管周围环境时，设置有荧光剂的血管比周围环境亮，或者血管的颜色更暗。因此，血管和血管周围环境的像素值之间的差异很大。即，荧光DR可能很大。因此，如图10左侧的图所示，增益3基于增益3的值随着荧光DR的增加而增加的函数来计算。

此外，如图10右侧的图所示的函数用于计算增益4。增益4是基于待处理的像素的亮度(荧光亮度)计算的值。图10右侧的图是表示荧光亮度和增益4之间的关系的示图。横轴表示荧光的亮度，纵轴表示增益4。注意，在对每个区域执行处理的情况下，在要处理的区域中的像素的亮度值的平均值等用于执行处理。

在图10右侧的图中示出的示图中，当荧光亮度值为20至100时，增益4的值根据线性函数从0.0转变为1.0。另外，在荧光亮度等于或小于20的情况下，增益4是0.0。在荧光亮度等于或大于100的情况下，增益4是1.0。

在特殊帧302中，荧光DR越大，亮度越高，血管的概率越高。在这种血管概率高的区域(像素)中，通过将增益3乘以增益4来计算确定值B，使得确定值B是高值(在这种情况下，值接近1.0)。

注意，可以从增益3创建关于增益3的相关图，并且可以从增益4创建关于增益4的相关图。这些图可以用于计算确定值B。此外，可以创建关于确定值B的图，以计算相关系数。

通过将确定值A乘以确定值B来计算相关系数。

在此处的描述中，确定值A从确定值计算单元401提供给相关系数计算单元403。确定值B从确定值计算单元402提供给相关系数计算单元403。相关系数计算单元403将确定值A乘以确定值B，以计算相关系数。

增益1和增益2可以从确定值计算单元401提供给相关系数计算单元403。增益3和增益4可以从确定值计算单元402提供给相关系数计算单元403。相关系数计算单元403可以将增益1、增益2、增益3和增益4相乘，以计算相关系数。

例如，相关系数指示在可见光下可以看到血管的荧光部分的高数值，并且指示在可见光下不能看到血管的荧光部分的低数值。调整相关系数计算单元403中的相关系数的计算，以满足这种关系。

<叠加处理单元126的处理>

将参考图11的流程图进一步描述叠加处理单元126执行的处理。

在步骤S101中，确定是否选择相关帧的显示。例如，用户可以选择在显示单元115(图3)上显示的帧(图像)，并且显示用户选择的帧。

在此处描述的示例中，用户可以选择的帧包括相关帧、组合帧、正常帧和特殊帧。

相关帧是使用相关系数进行图像处理之后的帧。如下所述，相关帧的示例包括对组合帧执行相关显示的情况和对特殊帧执行相关显示的情况。用户可以选择并显示两个相关帧中的一个。在下文中，前者将称为具有相关显示的组合帧，而后者将称为具有相关显示的特殊帧。

在步骤S101中，确定是否选择相关帧的显示，并且在确定选择相关帧的显示的情况下，处理进行到步骤S102。

注意，用户可以在手术期间切换显示的帧，例如，将显示从相关帧切换到正常帧，并且用户可以使用期望的显示来执行手术。因此，在手术期间重复执行图11所示的流程图的过程。

在步骤S102中，计算校正系数。如参考图8至10所述，在确定值计算单元401、确定值计算单元402和相关系数计算单元403中的每一个的处理中，计算相关系数，并且相关系数提供给组合帧生成单元404。

在步骤S103中，确定是否选择具有相关显示的组合帧的显示。在步骤S103中确定选择了具有相关显示的组合帧的显示的情况下，处理进行到步骤S104。

在步骤S104中，在显示单元115上显示具有相关显示的组合帧。在这种情况下，叠加处理单元126的组合帧生成单元404叠加正常帧301和特殊帧302，并基于相关系数应用图像处理，以生成具有相关显示的组合帧。

图12示出了具有相关显示的组合帧的示例。显示单元115显示组合帧，其中，特殊帧302叠加在正常帧301上。此外，在图12中由粗线指示的部分是相关显示部分501，并且在具有相关显示的显示的情况下，显示相关显示部分501。

显示具有高相关系数值的区域，作为相关显示部分501。此外，例如，在特殊帧302中成像而在正常帧301中未成像的血管、患部等(下文将描述血管的示例)具有高相关系数值。

因此，相关显示部分501是在特殊帧302中成像的血管，并且在没有选择相关帧的显示的情况下，相关显示部分501是与特殊帧302的其他血管类似地显示的部分。

尽管为了便于描述，相关显示部分501在图12中用粗线表示，以将相关显示部分501与除了相关显示部分501之外的血管区分开，但是相关显示部分501实际上以成像血管的厚度显示。

相关显示部分501(在这种情况下，具有低相关性的部分或者具有低相关系数的部分)和除了相关显示部分501之外的部分(在这种情况下，具有高相关性的部分或者具有高相关系数的部分)可以以不同的颜色显示。例如，相关显示部分501(具有低相关系数的荧光区域)可以用绿色显示，并且除了相关显示部分501(具有高相关系数的荧光区域)之外的部分可以用品红色显示。

此外，可以根据相关系数以多种颜色显示部分，而不是以单一颜色(例如，绿色和品红色)显示部分。例如，在相关系数是接近0.0的值的情况下，相关显示部分501可以是紫色的。在相关系数是接近1.0的值的情况下，相关显示部分501可以是绿色的。相关显示部分501的颜色显示可以随着相关系数从0.0增加到1.0而从紫色逐渐变为绿色。

在相关系数是接近0.0的值的情况下，在特殊帧302中可以看到血管(在荧光下捕获的图像)，但是在正常帧301中不能看到(在可见光下捕获的图像)。仅在特殊帧302中成像的这种部分(相关显示部分501)在此以紫色显示，这允许清楚地识别这一点。

在相关系数是接近1.0的值的情况下，可以在特殊帧302中看到血管(在荧光下捕获的图像)，并且也可以在正常帧301中看到(在可见光下捕获的图像)。这样的血管可以用绿色显示。此外，绿色也可以是除相关显示部分501之外的特殊帧302的部分的显示颜色。

换言之，在相关系数是接近1.0的值的情况下血管等的颜色以及当仅显示特殊帧302时在特殊帧302中成像的血管等的颜色可以是相同的颜色。显示颜色允许澄清例如具有相关显示的特殊帧302的显示和没有相关显示的特殊帧302的显示之间的差异，并且可以增加提供给用户的信息量。

例如，当在图12所示的相关帧中指示显示具有相关显示的特殊帧302(具有相关显示部分501的显示)时，显示如图13所示的图像。当指示显示没有相关显示的特殊帧302时，显示如图14所示的图像。

至于图13所示的具有相关显示的特殊帧302，特殊帧302在显示单元115上显示，并且相关显示部分501进一步以预定颜色显示。相关显示部分501以例如紫色显示，并且除了相关显示部分501之外的特殊帧302的部分(例如，血管)以例如绿色显示。

至于图14所示的没有相关显示的特殊帧302，特殊帧302在显示单元115上显示。当存在相关显示时显示的相关显示部分501的部分也以例如绿色显示，这与除了相关显示部分501之外的特殊帧302的部分(例如，血管)相同。换言之，没有相关显示的特殊帧302的荧光部分以相同的颜色显示。

例如，在没有相关显示的特殊帧302的显示切换到具有相关显示的特殊帧302的显示的情况下，相关显示部分501的显示从绿色切换到紫色。

例如，相关显示部分501是不在正常帧301中成像的而是在特殊帧302中成像的血管，因为血管位于较深位置。例如，当用户想要知道较深位置的血管时，用户可以将没有相关显示的特殊帧302的显示切换到具有相关显示的特殊帧302的显示，以切换相关显示部分501的部分的显示(切换显示颜色)。因此，用户可以在较深位置识别血管。

以这种方式，相关显示部分501的显示允许用户视觉上识别观察条件的差异。观察条件的差异的示例包括血管位置的深度、血管壁的厚度和直到血管的组织的特征。换言之，相关系数是取决于血管位置的深度、血管壁的厚度和直到血管的组织的特征的值，并且基于该值执行相关显示。

将再次描述图11的流程图。在步骤S104中，例如，在显示单元115上显示如图12所示的具有相关显示的组合帧。

另一方面，在步骤S103中确定没有选择具有相关显示的组合帧的显示的情况下，处理进行到步骤S105。在步骤S105中，在显示单元115上显示具有相关显示的特殊帧302。在这种情况下，尽管在步骤S101中选择了相关帧的显示，但是没有选择具有相关显示的组合帧的显示。因此，显示具有相关显示的特殊帧。

在步骤S105中，例如，在显示单元115上显示如图13所示的具有相关显示的特殊帧302。具有相关显示的特殊帧302是对应于特殊帧302的相关显示部分501的部分以不同于其他部分的颜色显示的图像。

注意，尽管在此处描述的示例中没有选择显示具有相关显示的正常帧301，但是可以提供这样的选择，并且可以显示具有相关显示的正常帧301。在选择该选择的情况下，相关显示部分501叠加在正常帧301上，并且这样的图像在显示单元115上显示。

另一方面，在步骤S101中确定没有选择相关帧的显示的情况下，处理进行到步骤S106。在步骤S106中，确定是否选择组合帧的显示。在步骤S106中确定选择了组合帧的显示的情况下，处理进行到步骤S107。

在步骤S107中，组合帧303在显示单元115上显示。例如，通过执行图7所示的流程图的过程生成的组合帧303在显示单元115上显示。

另一方面，在步骤S106中确定没有选择组合帧的显示的情况下，处理进行到步骤S108。在步骤S108中，确定是否选择了正常帧的显示。

在步骤S108中确定选择了正常帧的显示的情况下，处理进行到步骤S109。在步骤S109中，正常帧301在显示单元115上显示。

另一方面，在步骤S108中确定没有选择正常帧的显示的情况下，处理进行到步骤S110。在步骤S110中，特殊帧302在显示单元115上显示。在步骤S110中显示的特殊帧302是如图14所示的图像，并且在图像中未显示相关显示部分501。

以这种方式，根据本技术，可以显示用户选择的图像。此外，在诸如可见光等正常光下成像的正常帧301和在诸如荧光等特殊光下成像的特殊帧302可以组合，以显示组合帧303。

此外，在正常帧301和特殊帧302之间具有强相关性的部分和具有弱相关性的部分可以不同地显示。即，根据本技术，可以显示相关显示部分501。显示相关显示部分501，可以提供允许容易地识别正常帧301和特殊帧302之间的差异，换言之，观察条件的差异的图像，并且可以向用户呈现更多信息。

注意，尽管在上述实施例中，相关显示部分501和除相关显示部分501之外的部分以不同颜色显示，但是也可以应用其他显示***。例如，相关显示部分501和除相关显示部分501之外的部分可以以不同的亮度显示。

此外，相关显示部分501可以以闪烁状态显示。此外，在强调相关显示部分501多于其他部分时的强调程度可以是任何显示。此外，颜色、亮度、闪烁状态、强调程度等可以由用户切换，或者可以基于某些条件提供用于切换其的机制。

此外，颜色、亮度、闪烁状态、强调程度等可以根据相关系数分阶段切换，如在相关显示部分501如上所述根据相关系数以颜色显示的情况下一样。

注意，尽管在实施例中描述的示例中在实时捕获图像的同时执行相关显示，但是本技术也可以应用于当再现记录的图像数据时执行相关显示的情况。

<记录介质>

上述一系列处理可以由硬件执行，也可以由软件执行。在一系列处理由软件执行的情况下，软件中包括的程序安装在计算机上。在此处，计算机的示例包括包含到专用硬件中的计算机和能够通过安装各种程序来执行各种功能的通用个人计算机等。

图15是示出使用程序来执行一系列处理的计算机硬件的配置示例的框图。在计算机中，CPU(中央处理器)1001、ROM(只读存储器)1002和RAM(随机存取存储器)1003通过总线1004相互连接。输入输出接口1005也连接到总线1004。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接到输入输出接口1005。

输入单元1006包括键盘、鼠标、麦克风等。输出单元1007包括显示器、扬声器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动可移除介质1011，例如，磁盘、光盘、磁光盘和半导体存储器。

在以这种方式配置的计算机中，CPU 1001例如通过输入输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003，以执行该程序，从而执行一系列处理。

由计算机(CPU 1001)执行的程序可以通过例如将程序作为封装介质等记录在可移除介质1011中来提供。该程序也可以通过有线或无线传输介质提供，例如，局域网、互联网和数字卫星广播。

在计算机中，可移除介质1011可以安装在驱动器1010上，以通过输入输出接口1005将程序安装在存储单元1008上。此外，通信单元1009可以通过有线或无线传输介质接收程序，以将程序安装在存储单元1008上。此外，程序可以预先安装在ROM 1002或存储单元1008上。

注意，由计算机执行的程序可以是用于按照本说明书中描述的时间顺序执行过程的程序，或者该程序可以是用于并行执行过程或者用于在必要的时间(例如，当调用过程时)执行过程的程序。

此外，本说明书中的***表示包括多个设备的整个设备。

注意，本说明书中描述的有利效果仅是说明性的，并且有利效果不受限制。还可能有其他有利的效果。

注意，本技术的实施例不限于上述实施例，并且在不脱离本技术的范围的情况下可以进行各种改变。

注意，本技术也可以如下配置。

(1)一种医学图像处理设备，包括：

系数计算单元，其计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在正常光施加到对象的状态下成像，所述特殊帧在特殊光施加到对象的状态下成像；以及

处理单元，其对所述特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分在所述特殊帧中不同地显示。

(2)根据(1)所述的医学图像处理设备，还包括：

第一确定单元，其为正常帧的每个像素或每个区域计算表示预定位置成像的概率的第一确定值；以及

第二确定单元，其为特殊帧的每个像素或每个区域计算表示预定位置成像的概率的第二确定值，其中，

所述系数计算单元使用第一确定值和第二确定值来计算相关系数。

(3)根据(2)所述的医学图像处理设备，其中，

所述第一确定单元根据第一增益和第二增益来计算第一确定值，根据位于正常帧中要处理的像素或区域周围的像素的像素值的最大值和最小值之间的差值来计算所述第一增益，根据与预定位置的颜色的相似度来计算所述第二增益。

(4)根据(2)或(3)所述的医学图像处理设备，其中，

所述第二确定单元根据第三增益和第四增益来计算第二确定值，根据位于特殊帧中要处理的像素或区域周围的像素的像素值的最大值和最小值之间的差值来计算所述第三增益，根据要处理的像素或区域的亮度来计算所述第四增益。

(5)根据(1)至(4)中任一项所述的医学图像处理设备，其中，

所述医学图像处理设备组合正常帧和特殊帧，以生成组合帧。

(6)根据(5)所述的医学图像处理设备，其中，

所述组合帧包括由处理单元处理的特殊帧与正常帧组合的帧。

(7)根据(1)至(6)中任一项所述的医学图像处理设备，其中

所述处理单元对特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分以不同的颜色显示。

(8)根据(7)所述的医学图像处理设备，其中

所述颜色被设置为根据相关系数分阶段变化的颜色。

(9)根据(1)至(6)中任一项所述的医学图像处理设备，其中，

所述处理单元对特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分以不同的亮度显示。

(10)根据(1)至(6)中任一项所述的医学图像处理设备，其中

所述处理单元对特殊帧应用图像处理，使得闪烁和显示相关系数高的部分和相关系数低的部分中的个一个。

(11)根据(1)至(10)中任一项所述的医学图像处理设备，其中，

所述预定位置包括血管，

所述相关系数包括指示正常帧中的血管部分和特殊帧中的血管部分之间的相关性强的系数，所述相关系数包括指示正常帧中的非血管部分和特殊帧中的血管部分之间的相关性弱的系数，并且

所述处理单元处理特殊帧，使得相关性强的部分和相关性弱的部分不同地显示。

(12)根据(11)所述的医学图像处理设备，其中

所述相关系数包括取决于血管深度、血管厚度和直至血管的组织特征的系数。

(13)一种医学图像处理方法，包括以下步骤：

计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在正常光施加到对象的状态下成像，所述特殊帧在特殊光施加到对象的状态下成像；并且

对所述特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分在所述特殊帧中不同地显示。

(14)一种计算机可读程序，用于使计算机执行包括以下步骤的过程：

计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在正常光施加到对象的状态下成像，所述特殊帧在特殊光施加到对象的状态下成像；并且

对所述特殊帧应用图像处理，使得相关系数高的部分和相关系数低的部分在所述特殊帧中不同地显示。

附图标记列表

110内窥镜设备、111光源单元、112成像单元、113显影单元、114图像处理单元、115显示单元、121切换单元、122运动矢量检测单元、123校正量估计单元、124帧存储器、125运动校正单元、126叠加处理单元、131、132帧存储器、133帧选择单元、134块匹配单元、135矢量校正单元、401、402确定值计算单元、403相关系数计算单元、404组合帧生成单元。

Claims (12)

1.一种医学图像处理设备，包括：

系数计算单元，所述系数计算单元计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在将正常光施加到对象的状态下被成像，所述特殊帧在将特殊光施加到所述对象的状态下被成像；以及

处理单元，所述处理单元对所述特殊帧应用图像处理，从而在所述特殊帧中以不同方式显示所述相关系数高的部分和所述相关系数低的部分，

所述医学图像处理设备还包括：

第一确定单元，根据第一增益和第二增益来计算所述正常帧的每个像素或每个区域的、表示预定位置被成像的概率的第一确定值，所述第一增益是根据位于所述正常帧中要处理的像素或区域周围的像素的像素值的最大值和最小值之间的差值来计算的，所述第二增益是根据与所述预定位置的颜色的相似度来计算的；

第二确定单元，所述第二确定单元计算所述特殊帧的每个像素或每个区域的、表示预定位置被成像的概率的第二确定值，其中，

所述系数计算单元使用所述第一确定值和所述第二确定值来计算所述相关系数。

2.根据权利要求1所述的医学图像处理设备，其中，

所述第二确定单元根据第三增益和第四增益来计算所述第二确定值，所述第三增益是根据位于所述特殊帧中要处理的像素或区域周围的像素的像素值的最大值和最小值之间的差值来计算的，所述第四增益是根据要处理的像素或区域的亮度来计算的。

3.根据权利要求1所述的医学图像处理设备，其中，

所述医学图像处理设备组合所述正常帧和所述特殊帧，以生成组合帧。

4.根据权利要求3所述的医学图像处理设备，其中，

所述组合帧包括由所述处理单元处理的所述特殊帧与所述正常帧组合的帧。

5.根据权利要求1所述的医学图像处理设备，其中

所述处理单元对所述特殊帧应用所述图像处理，从而以不同的颜色显示所述相关系数高的部分和所述相关系数低的部分。

6.根据权利要求5所述的医学图像处理设备，其中

所述颜色被设置为根据所述相关系数分阶段变化的颜色。

7.根据权利要求1所述的医学图像处理设备，其中，

所述处理单元对所述特殊帧应用所述图像处理，从而以不同的亮度显示所述相关系数高的部分和所述相关系数低的部分。

8.根据权利要求1所述的医学图像处理设备，其中

所述处理单元对所述特殊帧应用所述图像处理，从而闪烁并显示所述相关系数高的部分和所述相关系数低的部分中的一个。

9.根据权利要求1所述的医学图像处理设备，其中，

所述预定位置包括血管，

所述相关系数包括指示所述正常帧中的血管部分和所述特殊帧中的血管部分之间的相关性强的系数，所述相关系数包括指示所述正常帧中的非血管部分和所述特殊帧中的血管部分之间的相关性弱的系数，并且

所述处理单元处理所述特殊帧，从而以不同方式显示具有强相关性的部分和具有弱相关性的部分。

10.根据权利要求9所述的医学图像处理设备，其中

所述相关系数包括取决于血管深度、血管厚度和直至血管的组织的特征的系数。

11.一种医学图像处理方法，包括以下步骤：

计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在将正常光施加到对象的状态下被成像，所述特殊帧在将特殊光施加到所述对象的状态下被成像；并且

对所述特殊帧应用图像处理，从而在所述特殊帧中以不同方式显示所述相关系数高的部分和所述相关系数低的部分，

所述医学图像处理方法进一步包括：

根据第一增益和第二增益来计算所述正常帧的每个像素或每个区域的、表示预定位置被成像的概率的第一确定值，所述第一增益是根据位于所述正常帧中要处理的像素或区域周围的像素的像素值的最大值和最小值之间的差值来计算的，所述第二增益是根据与所述预定位置的颜色的相似度来计算的，

计算所述特殊帧的每个像素或每个区域的、表示预定位置被成像的概率的第二确定值，

其中，所述相关系数使用所述第一确定值和所述第二确定值来计算。

12.一种在其上存储有指令的计算机可读存储介质，当由处理器执行时，所述指令使包括所述处理器的计算机执行包括以下步骤的处理：

计算表示正常帧和特殊帧之间的相关性的相关系数，所述正常帧在将正常光施加到对象的状态下被成像，所述特殊帧在将特殊光施加到所述对象的状态下被成像；并且

对所述特殊帧应用图像处理，从而在所述特殊帧中以不同方式显示所述相关系数高的部分和所述相关系数低的部分，

进一步包括以下处理：

根据第一增益和第二增益来计算所述正常帧的每个像素或每个区域的、表示预定位置被成像的概率的第一确定值，所述第一增益是根据位于所述正常帧中要处理的像素或区域周围的像素的像素值的最大值和最小值之间的差值来计算的，所述第二增益是根据与所述预定位置的颜色的相似度来计算的，

计算所述特殊帧的每个像素或每个区域的、表示预定位置被成像的概率的第二确定值，

其中，所述相关系数使用所述第一确定值和所述第二确定值来计算。

Images