CN102429635A

CN102429635A - 图像处理装置和图像处理方法

Info

Publication number: CN102429635A
Application number: CN2011102446507A
Authority: CN
Inventors: 坂川幸雄; 高间康文
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-08-30
Filing date: 2011-08-25
Publication date: 2012-05-02
Anticipated expiration: 2031-08-25
Also published as: DE102011081541A1; KR101478396B1; KR20120021202A; US9113779B2; JP2012045299A; US20120050282A1; GB201114618D0; CN102429635B; GB2483347A; GB2483347B; JP5717377B2

Abstract

本发明涉及图像处理装置和图像处理方法。所述图像处理装置包括：被配置为从断面图像获得关于多个层的显示次序的信息的分析单元；和被配置为基于所述关于显示次序的信息而执行控制以使得用于显示所述多个层的方法依次被并且所述多个层在显示单元上被显示的显示控制单元。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及用于显示从被检体的断面图像提取的层的技术。

背景技术

在医疗领域中采用光学相干断层(OCT)的技术。例如，用于眼睛的断面图像拾取装置使得能够以三维方式观察视网膜层内部的状态。由于断面图像拾取装置对于适当地诊断疾病是有用的，因此断面图像拾取装置在这些年受到关注。

在视网膜层的分析的现有技术中，使用各种方法来确定视网膜层之间的边界。在日本专利公开No.2008-073099中，公开了通过依次参照深度方向上的断面图像的像素的值来获得层之间边界的位置的技术。为了使得眼科医生能够进行诊断，需要识别包含于视网膜中的各层，并且，各层的形状和厚度被显示，或者，各层在视网膜的断面图像中以三维方式被显示。但是，如果操作者为了在确定视网膜的层之间的边界之后观察各层的状态而从多个层之中选择要观察的层并且执行用于切换显示的操作，那么存在操作复杂的问题。

发明内容

本发明使得用于观察断面图像的操作变得有效和容易。

即，根据本发明的一个方面的图像处理装置包括：分析单元，被配置为从断面图像获得关于多个层的显示次序的信息；以及显示控制单元，被配置为基于关于显示次序的信息执行控制，使得用于显示所述多个层的方法依次被改变并且在显示单元上显示所述多个层。

参照附图阅读示例性实施例的以下描述，本发明的其它特征将变得清晰。

附图说明

被包含于说明书中并构成其一部分的附图示出本发明的实施例，并与描述一起用于解释本发明的原理。

图1是示出根据本发明的第一实施例的图像处理装置10的基本配置的示图。

图2是示出由根据第一实施例的图像处理装置10执行的处理的过程的流程图。

图3是视网膜的黄斑(macula lutea)的断面图像的示意图。

图4A、图4B、图4C、图4D、图4E和图4F是图像处理装置10的显示装置30的显示的例子。

图5是示出根据第二实施例的图像处理装置11的配置的示图。

图6是示出由根据第二实施例的图像处理装置11执行的处理的过程的流程图。

图7A、图7B和图7C是由图像处理装置11的显示装置30选择的各层的名称的显示的例子。

图8是示出由根据第四实施例的图像处理装置11执行的处理的过程的流程图。

具体实施方式

将根据附图来详细描述本发明的优选实施例。

第一实施例

以下将参照附图来描述本发明的第一实施例。应当注意，根据本实施例的眼科装置采用的是以预定的次序自动地显示从视网膜的断面图像提取的各层的显示方法的例子。

图1是示出图像处理***的整体的框图。通过包含图像处理装置10、断面图像拾取装置20和显示装置30来配置图1所示的图像处理***。

为了执行各层的显示控制，图像处理装置10从断面图像拾取装置20或未示出的数据库获得断面图像和眼底的图像，并且从断面图像提取各层。

断面图像拾取装置20通过扫描要使用测量光被检查的眼睛的视网膜来捕获视网膜的断面图像和眼底的图像。断面图像拾取装置20采用例如时域OCT或傅立叶域OCT。应当注意，由于断面图像拾取装置20是已知的装置，因此，其详细的描述被省略。

显示装置30显示要被检查的眼睛断面图像和从断面图像提取的各层等。

首先，将详细地描述图像处理装置10。

通过包括断面图像获得单元110、指令获得单元120、分析单元130和显示控制单元140来配置图像处理装置10。

断面图像获得单元110向断面图像拾取装置20传送捕获指令并且获得捕获的断面图像。或者，断面图像获得单元110从保存事先捕获的断面图像的未示出的数据服务器获得断面图像。

指令获得单元120从未示出的操作者获得关于所获得的断面图像的处理的指令。

分析单元130基于由指令获得单元120获得的指令来分析断面图像并且从断面图像提取关于各层的信息。

显示控制单元140处理所提取的层以将所提取的层转换成可被显示的信息。此外，显示控制单元140将所述信息传送到显示装置30，并且执行控制以使得使用某个/某些显示方法在显示装置30上依次显示关于各层的信息。

下面，将参照图2的流程图来描述由根据本实施例的图像处理装置10执行的处理的具体过程。

步骤S210

在步骤S210中，指令获得单元120获得诸如要被显示的断面图像的规格的由未示出的操作者输入的指令。这些指令由使用被附接到图像处理装置10上的未示出的键盘和鼠标的操作者输入。所获得的指令被传送到断面图像获得单元110和分析单元130。

步骤S220

在步骤S220中，断面图像获得单元110从断面图像拾取装置20获得断面图像。所获得的断面图像被传送到分析单元130。

步骤S230

在步骤S230中，分析单元130分析在步骤S220中获得的断面图像，并且提取关于各层的信息。在本实施例中，与提取视网膜的各层同时地设定各提取层的重要程度。

图3是示出视网膜的断面图像的示意图。在图3中，示出神经纤维层(NFL)L1、神经节细胞(ganglion cell)层(GCL)L2、内网织层(inner plexiform layer，IPL)L3、内核层(inner nuclear layer，INL)L4、外网织层(OPL)L5、外核层(ONL)L6和视网膜色素上皮(retinal pigment epithelium，RPE)L7。另外，示出内部界膜(internal limiting membrane，ILM)M1和光感受器(photoreceptor)内节/外节接合部(IS/OS)M2。作为用于从视网膜的断面图像提取各层或膜的方法，诸如在日本专利公开No.2008-073099中公开的方法的多种方法是已知的。由于视网膜的断面图像的像素在各层之间具有不同的亮度分布，因此，在本实施例中，根据亮度分布来提取各层。应当注意，由于不同的层具有特性不同的纹理图案，因此可使用该信息来更精确地提取各层。此外，各层的次序可作为在先的信息被使用。除了这些方法以外，还可以使用从断面图像提取各层的其它方法。

然后，分析单元130计算各层的重要程度。在本实施例中，假定各层的重要程度是事先确定的。表1示出各层的预定的重要程度的例子。重要性值越高，则该层越重要。

表1：视网膜的各层和重要性值的例子

视网膜的各层	重要性值
		NFL	10
GCL	8
		IPL	8
INL	7
		OPL	6
ONL	5
		RPE	9

应当注意，作为替代，各层的重要程度可基于对被输入的视网膜断面图像或相关信息的分析而被确定。例如，如果作为对视网膜的断面图像的分析的结果而检测到用高亮度表征的如图3所示的白斑E01，那么在其中检测到了白斑E01的OPL L5的重要性值被确定为10，并且其它层的重要性值被确定为较小。类似地，如果检测到图3所示的囊肿(cyst)N01，那么，在其中检测到了囊肿N01的OPL L5和ONLL6的重要性值被确定为10，并且其它层的重要性值被确定为较小。另外，如果诊断到青光眼(glaucoma)，那么NFL L1、GCL L2和IPL L3的重要性值被确定为10，并且其它层的重要性值被确定为较小。应当理解，用于确定重要程度的方法不限于这些方法，而是可以使用其它的方法来确定视网膜的各层的重要性值。

关于所提取的层和作为显示次序的重要程度的信息作为关于各层的显示次序的信息从分析单元130被传送到显示控制单元140。

步骤S240

在步骤S240中，显示控制单元140基于在步骤S230中提取的信息而选择层并执行所述层的显示控制。

在根据本实施例的下一个例子中，作为用于选择要被显示的层的方法，如表1所示，分析单元130以视网膜的解剖学(anatomical)结构的次序，即以从NFL L1到RPE L7的次序选择各层。此外，如果分析单元130不能提取在步骤S240中选择的各层，即，例如，如果由于GCL L2和IPL L3之间的对比度不足而使得分析单元130无法提取GCL L2和IPL L3之间的边界线，那么不绘制这些层之间的边界线并且显示报警消息。应当理解，层检测失败之后的显示控制不限于此。例如，如果彼此相邻的层(例如，GCL L2和IPL L3)之间的边界线不能被提取，那么分析单元130将关于作为单个层的所述层的信息传送给显示控制单元140，因此，显示装置30将所述层显示为单个层。

然后，显示控制单元140执行在二维断面图像中着重(emphasize)所选择的层之间的边界线的着重显示控制。应当注意，可改变要被绘制的边界线的特性(诸如颜色、厚度以及点线、虚线或实线)。此外，不仅层之间的边界线的着重显示可被执行，而且其中所选择的层的整个区域的颜色或纹理等与其它层的不同的特殊绘图也可被执行，以便将所选择的层与其它层区分开。

应当注意，用于显示层的方法不限于二维显示。如果是以三维方式捕获了视网膜的断面图像，那么可相应地以三维方式执行断面图像的显示控制。例如，在步骤S230中，各层的三维区域的提取结果可被使用，以使用诸如光线投射(ray casting)的方法对所选择的层执行体绘制(volume rendering)，或者可以根据关于层之间的边界表面的信息而生成网格，并且可以执行表面绘制(surface rendering)。

此外，在步骤S240中，显示控制单元140还控制所选择的层的显示时间。在本实施例中，使用表1所示的重要程度来控制显示时间。这里，显示时间与各重要程度成比例，并且使用下式被确定：

显示时间(s)＝重要程度×10...式1

用于确定显示时间的方法不限于此。例如，可以使用下式：

显示时间(s)＝重要程度×重要程度×2...式2

或者，可以使用其它的确定方法，例如不管重要程度如何都将显示时间确定为常数的方法。

虽然在本实施例中已经描述的是视网膜的各层的显示控制，但是，可以按相同的方式执行视网膜的各膜(例如ILM M1和IS/OS M2)的显示控制。

步骤S250

在步骤S250中，显示控制单元140基于关于通过分析单元130获得的多个层的显示次序的信息而使用某个/某些显示方法在显示装置30上依次显示断面图像。

图4A、图4B、图4C、图4D、图4E和图4F示出步骤S240中的结果的例子。图4A、图4B、图4C和图4D示出的是二维(2D)断面图像的所选择的层的显示的例子。图4E和图4F示出的是三维(3D)断面图像的所选择的层的显示的例子。此外，图4A、图4B、图4C和图4D示出的是在显示整个视网膜的同时执行所选择的层的着重显示的例子。图4E和图4F示出的是仅显示所选择的层的例子。

步骤S260

在步骤S260中，显示控制单元140根据由指令获得单元120获得的指令来确定是否终止处理。如果有用于显示下一个断面图像的指令，那么处理前进到步骤S210。如果没有新的指令，那么处理结束。

在上述实施例中，断面图像被分析，并且包含于视网膜中的层被提取，然后自动地选择各层并使用不同的显示方法来依次显示各层。另外，通过基于各层的重要程度来依次改变显示方法，可以提高诊断效率。另外，通过控制显示时间，操作者可以用少量的操作有效地并且容易地识别各层的状态。

第二实施例

在第一实施例中，描述了使用不同的显示方法依次显示通过对视网膜的断面图像的分析而被提取的层的例子。在本实施例中，将描述这样的方法：在该方法中，分析单元130基于通过对断面图像的分析所获得的视网膜的层的状态而确定要被选择的层的次序。

图5是示出根据本实施例的图像处理装置11的功能配置的示图。图5所示的除了列表生成单元150之外的部件与第一实施例中的部件相同，因此它们的描述被省略。

列表生成单元150根据通过分析单元130从断面图像提取的层而生成层的列表。显示控制单元140然后基于由列表生成单元150生成的层的列表而选择要被显示的层并且执行显示控制。

下面，将参照图6的流程图来描述由根据本实施例的图像处理装置11执行的处理的具体过程。应当注意，除了步骤S635和步骤S640以外的步骤与第一实施例中的步骤相同，因此，它们的描述被省略。

步骤S635

在步骤S635中，列表生成单元150生成通过分析单元130从断面图像提取的层的列表。首先，例如，基于到解剖学结构中的玻璃体(vitreous body)的距离而从较接近玻璃体的层起依次生成层的列表。此时，还没有被提取的层从列表中被删除。然后，列表被编辑以重新布置层的次序。这里，以通过分析单元130在步骤S230中计算的各层的重要程度的次序来重新布置层的次序。此时，最重要的层到达列表的顶部。以解剖学结构的次序布置重要程度相同的层。表2示出层的列表的例子。表2是基于在第一实施例中的步骤S230中确定的重要程度而生成的层的列表。层的该列表还具有关于层的状态的信息。这里，所有的层在初始状态中不被选择。应当理解，初始状态不限于此，而是所有的层可以被选择或被随机地选择。

表2：层的列表的例子

显示次序	视网膜的层	重要性值	状态
				1	NFL	10	非选择
2	RPE	9	非选择
				3	GCL	8	非选择

4	IPL	8	非选择
				5	INL	7	非选择
6	OPL	6	非选择
				7	ONL	5	非选择

应当理解，用于生成层的列表的方法不限于此。例如，可以按在步骤S230中提取层的次序来生成列表。

步骤S640

在步骤S640中，显示控制单元140基于由列表生成单元150生成的层的列表(即，基于关于多个层的显示次序的信息)来执行层的显示控制。在本实施例中，显示次序与层的列表的次序相同。

各层的显示时间以与步骤S240中的方式相同的方式被确定。

根据上述配置，通过基于经由对视网膜的断面图像的分析所获得的视网膜的各层的状态而从较重要的层起依次选择和显示各层，各层以关注对于重要的层的观察的方式被显示，这是有利的。

第三实施例

在上述实施例中，描述了基于重要程度而自动地执行各层的显示控制的例子。在本实施例中，将描述通过由操作者进行的输入来控制显示的情况。

根据本实施例的图像处理装置11的配置与根据第二实施例的图像处理装置的配置相同，因此，其描述被省略。

下面，将参照图6的流程图来描述在本实施例中执行的处理的具体过程。应当注意，除了步骤S635中的用于生成层的列表的处理之外的步骤都与第二实施例中的步骤相同，因此，它们的描述被省略。以下将描述在本实施例中的步骤S635中执行的处理。

步骤S635

在步骤S635中，列表生成单元150生成关于由分析单元130从断面图像提取的各层的信息的列表。首先，从较接近解剖学结构中的玻璃体的层起依次生成层的列表。此时，未被提取的层从列表中被删除。然后，重新布置列表中的层的次序。这里，以通过分析单元130在步骤S230中计算的各层的重要程度的次序重新布置层的次序。此时，最重要的层到达列表的顶部。以解剖学结构的次序布置重要程度相同的层。

然后，由列表生成单元150生成的层的列表作为关于多个层的显示次序的信息被传送到显示控制单元140。显示控制单元140使用显示装置30将层的列表呈现给未示出的操作者。图7A示出在显示装置30上显示如表2所示的层的列表的例子。在所显示的层的名称旁边，具有用于选择层的切换键(toggle)按钮。可通过点击其名称旁边的切换键按钮来选择操作者希望显示的层。指令获得单元120获得由操作者输入的指令，并且将所述指令传送给列表生成单元150。列表生成单元150基于用于选择层的指令来更新层的列表。此外，基于更新后的列表，显示控制单元140更新显示装置30的显示。图7B示出操作者选择了RPE、GCL和IPL的状态的显示的例子。

可基于由操作者输入的指令来改变层的列表中的层的优先级或次序。例如，如图7C所示，指令获得单元120作为文本输入获得所选择的层的显示次序或层的重要性值。

根据上述配置，通过基于重要程度而向操作者呈现层的名称并且通过基于由操作者输入的指令而生成层的列表，操作者可以容易地选择层并且可以对于所选择的层的观察和所选择的层的状态的识别给予更多关注。

第四实施例

在上述实施例中，描述了控制显示次序和显示时间的例子。在本实施例中，为了提供用于显示(呈现)层的最佳方法，显示控制单元140控制用于显示为显示而被选择的层的方法。

下面将参照图8的流程图来描述在本实施例中执行的处理的具体过程。应当注意，除了步骤S837中的用于显示层的显示方法以外的步骤与第三实施例中的步骤相同，因此，其描述被省略。

步骤S837

在步骤S837中，显示控制单元140确定用于显示视网膜的被选择的层的方法。在本实施例中，显示方法可以是灰度级显示、假彩色显示或最大强度投影(MIP)显示。

基于从断面图像提取的各层的像素的分布，选择由显示控制单元140选择的层是否经受灰度级显示、假彩色显示或MIP显示。然后使用所选择的显示方法在显示装置30上显示各层。在下面的条件下选择显示方法。

(1)如果要显示的层是具有低亮度的层(GCL、IPL、INL、OPL和/或ONL)并且如果这些层具有将作为具有高亮度的图像被显示的异常性，那么选择MIP显示。

(2)如果要显示的层的图像具有256级或更小的动态范围并且不满足条件(1)，那么选择灰度级显示。这里，要显示的各层的像素值的分布被分析，并且在可通过显示装置30实现的对比度范围内执行对比度调整。具有小的动态范围的层包含例如GCL、IPL和INL。

(3)如果不满足条件(1)和(2)，那么选择假彩色显示。如果要使用的动态范围具有高于256级并且不能通过显示装置30实现所述对比度，那么为了着重相邻的层之间的区别而在假彩色中映射亮度的值。

应当理解，虽然在上面的描述中，当动态范围具有256级或更小时，认为该动态范围小，但是在本实施例中，级数不限于此。可以使用基于可通过显示装置实现的级数的其它级数。

应当理解，用于确定显示方法的方法不限于基于上述条件的方法。例如，可使用不同的显示方法简单地依次显示同一层。或者，指令获得单元120可获得由操作者输入的指令，并且可以使用由操作者选择的显示方法来显示各层。

根据上述配置，通过基于对要显示的层(所选择的层)的分析结果而选择显示方法，能够对于断面图像的观察和断面图像的状态的识别给予更多关注。另外，容易理解关于从断面图像提取的层的信息。

其它实施例

可通过向***或装置供给上面记录有实现根据上述实施例的功能的软件的程序代码的记录介质，并且通过由所述***或所述装置的运算单元执行存储于所述记录介质中的程序代码，实现根据本发明的上述实施例的配置。

在这种情况下，从记录介质读取的程序代码实现根据上述实施例的功能，并且，上面记录有程序代码的记录介质构成本发明的一部分。

另外，还包括这样的情况：为了使得计算机上运行的操作***(OS)执行实际处理的一部分或全部，执行由所述计算机读取的程序代码，并且通过该处理而实现根据上述实施例的功能。

此外，还包括这样的情况：为了使得附接到计算机上的功能增强卡或功能增强单元中的运算单元执行实际处理的一部分或全部，从记录介质读取的程序代码被写入到所述功能增强卡或所述功能增强单元中的存储器中，并由此实现根据上述实施例的功能。

如果本发明被应用于记录介质，那么与上述的图对应的程序代码被存储于记录介质中。

应当理解，对于实施例的以上描述是根据本发明的眼底断面图像拾取装置的控制单元的例子，并且，本发明不限于此。

虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的变更方式以及等同的结构和功能。

Claims

1.一种图像处理装置，包括：

分析单元，被配置为从断面图像获得关于多个层的显示次序的信息；以及

显示控制单元，被配置为基于所述关于显示次序的信息而执行控制，以使得用于显示所述多个层的方法依次被改变并且所述多个层在显示单元上被显示。

2.根据权利要求1的图像处理装置，

其中，所述断面图像表示视网膜，并且，所述分析单元基于到玻璃体的距离来依次选择根据解剖学而被限定的层，并且使用这些层作为所述关于显示次序的信息。

3.根据权利要求1的图像处理装置，

其中，所述显示控制单元以二维方式显示从断面图像获得的多个层，以及

其中，所述多个层之间的边界线或所述多个层自身根据所述关于显示次序的信息而经受着重显示。

4.根据权利要求1的图像处理装置，

其中，所述显示控制单元以三维方式显示从断面图像获得的多个层，以及

5.根据权利要求1的图像处理装置，

其中，当显示从断面图像获得的所述多个层时，所述显示控制单元根据所述关于显示次序的信息、使用与用于显示其它层的方法不同的方法来显示某个层。

6.根据权利要求1的图像处理装置，

其中，所述显示控制单元根据所述关于显示次序的信息依次地仅显示某些层。

7.根据权利要求1的图像处理装置，

其中，所述分析单元获得所述多个层中的每一个的重要程度，以及

其中，所述显示控制单元基于所述重要程度来控制所述多个层中的每一个的显示时间。

8.根据权利要求1的图像处理装置，还包括：

列表生成单元，被配置为基于所述关于显示次序的信息而生成所述多个层的列表，

其中，所述显示控制单元基于所生成的列表来控制用于显示所选择的层的方法。

9.根据权利要求8的图像处理装置，还包括：

指令获得单元，被配置为获得从操作者输入的指令，

其中，所述指令获得单元从操作者获得关于所选择的层的次序或显示时间的指令，以及

其中，所述列表生成单元基于所获得的指令来生成所述多个层的列表。

10.根据权利要求1的图像处理装置，

其中，所述显示控制单元基于所述多个层的亮度分布、根据所述关于显示次序的信息来控制用于显示所述多个层的方法。

11.根据权利要求1的图像处理装置，

其中，所述显示控制单元使用以下显示方法中的任一种来显示所述多个层：灰度级显示、假彩色显示和最大强度投影显示。

12.一种图像处理方法，包括以下步骤：

从断面图像获得关于多个层的显示次序的信息；以及

基于所述关于显示次序的信息而执行控制，以使得用于显示所述多个层的方法依次被改变并且所述多个层在显示单元上被显示。