CN102525405A

CN102525405A - 图像处理设备和图像处理方法

Info

Publication number: CN102525405A
Application number: CN2011103962832A
Authority: CN
Inventors: 中野雄太
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-11-26
Filing date: 2011-11-28
Publication date: 2012-07-04
Anticipated expiration: 2031-11-28
Also published as: JP5701024B2; US8693749B2; US20120134563A1; KR101449791B1; CN102525405B; EP2458550B1; EP2458550A3; JP2012110618A; EP2458550A2; KR20120057525A

Abstract

本发明涉及一种图像处理设备和图像处理方法。所述图像处理设备对多个断层图像进行处理，其中，所述多个断层图像是通过沿着与沿着视网膜的厚度方向的截面成直角相交的方向获取各自包括所述截面的多个断层图像所获得的；根据断层图像的沿着所述厚度方向的各个线的图像信息检测视网膜内的层结构；以及基于针对各个线检测到的层结构向各个线附加结构信息。所述图像处理设备将所述多个断层图像的各个线的结构信息映射到与所述厚度方向成直角相交的平面上，由此生成基于所述结构信息的二维图像。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及用于支持对眼部的摄像的图像处理设备和图像处理方法，尤其涉及适合对眼部的断层图像进行处理的图像处理设备和方法。

背景技术

为了对生活方式病或者排名高的导致失明的疾病进行早期诊断，普遍进行眼部检查。由于诸如OCT(光学相干断层成像)设备等的眼部断层图像摄像设备允许三维观察视网膜层的内部状态，因此眼部断层图像摄像设备对于疾病的诊断是有用的。

图14是示出OCT设备所拍摄到的视网膜的黄斑部的断层图像的示意图。如图14所示，该OCT设备获得由多个断层图像形成的三维图像数据。参考图14，T1～Tn是黄斑部的二维断层图像。在断层图像Tn中，L1是内界膜和上部组织之间的边界(以下称为ILM边界)。L2是神经纤维层和下部层之间的边界(以下称为NFL边界)。L2′是神经纤维层(以下称为NFL)。L3是内丛状层和下部层之间的边界(以下称为IPL边界)。L4是外丛状层和下部层之间的边界(以下称为OPL边界)。L5是感光细胞的内外节之间的接合部与上部层之间的边界(以下称为IS/OS边界)。L6是视网膜色素上皮和下部层之间的边界(以下称为RPE边界)。

使用OCT设备进行图像诊断需要用于通过图像分析指定各视网膜层的边界的技术。例如，如果可以指定图14中的ILM边界L1和NFL边界L2以测量NFL的厚度，则可以使用该厚度作为青光眼诊断的一个指标。

迄今为止已提出了各种视网膜层边界指定算法。作为这些算法共同的问题，难以在由于伪影或病变引起层结构改变时指定视网膜层边界。例如，如果在视网膜层内存在血管或病变，则在比该血管或病变深的位置处亮度下降或者该视网膜层局部肿大。仅一种算法很难指定视网膜层边界。图15A示出存在血管V1的断层图像。图15B示出存在出血B1的断层图像。图15C示出存在玻璃体皮层H1的“脱离”和“囊肿C1”的断层图像。当如图15A或15B所示、存在血管V1或出血B1时，血管V1或出血B1下方的亮度下降，使得难以看见边界。在一些情况下，如图15C所示，在视网膜层的内部和外部都出现病变。在这种情况下，亮度并未下降，但视网膜层整体肿大或者原来存在的视网膜层边界中断。当对这种断层图像进行分析时，需要指定层结构已改变的区域以将处理切换为对于该层结构改变而言最佳的处理。

在日本特开2009-066015(以下称为文献1)中，在各A扫描中计算关注像素上方和下方的统计特征量，并且判断为在特征量等于或小于阈值的A扫描中存在伪影。在日本特开2007-325831(以下称为文献2)中，使眼底图像和断层图像对准，将从眼底图像中提取出的血管区域投影至断层图像上以指定血管位置，并且断层图像内的血管区域经过不同的处理。

然而，传统技术存在以下问题。文献1中的伪影指定方法认为所有伪影都是由血管所引起的。该方法无法将由如图15A中的血管V1所引起的伪影与由如图15B中的出血B1所引起的伪影区分开。考虑在伪影区域内对边界进行插值的处理，由于在由血管所引起的伪影和由出血所引起的伪影之间伪影区域的范围和层结构的变化程度均不同，因此无法对这两个伪影应用相同的处理。文献2中的方法通过将从眼底图像中提取出的血管区域投影至断层图像上，对处理进行切换。无需说明，除非使用与断层图像的患者相同的患者的眼底图像，否则无法实现该操作。此外，该方法无法处理不可能从眼底图像检测到的病变。存在如图15C所示的玻璃体皮层H1的脱离和囊肿C1等的、在眼底图像中几乎不出现的病变。因而，该方法无法应对仅从断层图像才能检测到的病变等。

发明内容

本发明的一个方面提供能够根据视网膜的断层图像指定视网膜层结构的变化的原因的一种图像处理设备和方法。

根据本发明的一个方面，提供一种图像处理设备，用于对多个断层图像进行处理，其中，所述多个断层图像是通过沿着与沿着视网膜的厚度方向的截面成直角相交的方向获取各自包括所述截面的多个断层图像所获得的，所述图像处理设备包括：检测部件，用于根据断层图像的沿着所述厚度方向的各个线的图像信息检测视网膜内的层结构；附加部件，用于基于针对各个线检测到的层结构向各个线附加结构信息；以及映射部件，用于将所述多个断层图像的各个线的结构信息映射到与所述厚度方向成直角相交的平面上，由此生成基于所述结构信息的二维图像。

此外，根据本发明的另一方面，提供一种图像处理设备的图像处理方法，用于对多个断层图像进行处理，其中，所述多个断层图像是通过沿着与沿着视网膜的厚度方向的截面成直角相交的方向获取各自包括所述截面的多个断层图像所获得的，所述图像处理方法包括以下步骤：检测步骤，用于根据断层图像的沿着所述厚度方向的各个线的图像信息检测视网膜内的层结构；附加步骤，用于基于在所述检测步骤中检测到的层结构向各个线附加结构信息；以及映射步骤，用于将所述多个断层图像的各个线的结构信息映射到与所述厚度方向成直角相交的平面上，由此生成基于所述结构信息的二维图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是例示图像处理***的功能结构的框图；

图2是示出图像处理***所进行的处理的概述的图；

图3是例示断层图像获取设备20的结构的图；

图4是示出根据第一实施例的图像处理设备10所进行的处理序列的流程图；

图5是示出根据第一实施例的视网膜层结构信息获取单元12所进行的处理序列的流程图；

图6是示出根据第一实施例的视网膜层结构信息分析单元14所进行的处理序列的流程图；

图7是示出黄斑部的断层图像中的A扫描剖面图(profile)的图；

图8A和8B是示出在包含血管和出血的断层图像中指定的ILM边界和IS/OS边界的图；

图9是示出将包含伪影的A扫描映射成映射图的图；

图10是示出根据第二实施例的视网膜层结构信息分析单元14所进行的处理序列的流程图；

图11是示出包含玻璃体皮层和囊肿的黄斑部的断层图像的示意图；

图12是示出使用结构信息映射图的ILM边界校正处理的图；

图13A～13E是示出将分析结果叠加和显示在C扫描平面和断层图像上的示例的图；

图14是示出黄斑部的断层图像的示意图；以及

图15A～15C是示出包括由血管和出血所引起的伪影区域的黄斑部的断层图像的示意图。

具体实施方式

第一实施例

以下将参考图1来说明根据第一实施例的断层图像摄像***的结构。在第一实施例的断层图像摄像***中，断层图像获取设备20获取被检眼的断层图像。图像处理设备10对断层图像获取设备20所获取到的断层图像的各A扫描进行分析，并获取与视网膜层结构有关的信息(以下称为结构信息)。然后，图像处理设备10将该获取到的结构信息映射到图14中的x-y平面的二维映射图上。图像处理设备10对结构信息映射后的二维映射图进行分析，并指定使视网膜层结构改变的病变或结构物。

图像处理设备10可通信地连接至断层图像获取设备20和保存单元30。断层图像获取设备20从指示获取单元21获取操作者(未示出)所输入的指示信息。断层图像获取单元20根据获取到的指示信息对被检眼摄像，并将所获得的图像发送至图像处理设备10和保存单元30。

断层图像获取设备20例如是后面参考图3要说明的使用OCT(光学相干断层成像)的OCT摄像设备。该OCT摄像设备根据通过利用信号光照射被检体所产生的反射光和散射光(返回光)、以及照射至参考物体的参考光的反射光来生成干涉光。该OCT摄像设备分析该干涉光以对被检体的内部结构(视网膜的内部结构)摄像。当被检体具有层结构时，可以基于用作各层所反射或散射的光的返回光的强度来形成层结构的图像。该OCT摄像设备利用信号光照射视网膜上的预定点，从而获得该点处的深度方向(图14中的z方向)上的信息(以下称为A扫描)。更具体地，A扫描获得视网膜的沿着厚度方向的图像信息。在视网膜表面上的预定线上按预定间隔执行A扫描并进行整合，从而获取到沿着视网膜的厚度方向的断层图像(以下称为B扫描)(例如，图14中的x-z平面的图像)。可以通过在视网膜表面上的预定范围内进行A扫描来获取到多个断层图像。此外，可以将这些断层图像重建为三维体数据。例如，在与沿着视网膜的厚度方向的截面成直角相交的方向上获取多个断层图像(B扫描)(以下称为C扫描)，从而获得多个B扫描。可以将这些B扫描重建为三维体数据。因此，还可以获取到任意深度处的视网膜图像(图14中的x-y平面的图像)。

图像处理设备10例如包括图1所示的各个作为电路的块。作为另一例子，图像处理设备10由众所周知的计算机构成，并且通过硬件和软件之间的协作来实现与各个块相对应的功能。该计算机例如包括CPU、ROM、RAM、HDD、鼠标、键盘、网络I/F和显示单元。在这种情况下，ROM或HDD存储用于与图像处理设备10的各个硬件组件协作提供图1所示的功能并实现(后面要说明)图4所示的处理的程序。将该程序在RAM中展开，并且CPU执行指令，从而提供图1所示的功能并实现图4所示的处理。

将说明图像处理设备10的各个功能。图像获取单元11从断层图像获取设备20获取断层图像。视网膜层结构信息获取单元12、视网膜层结构信息映射单元13和视网膜层结构信息分析单元14对图像获取单元11所获取到的图像进行预定处理。在指定了血管或病变之后，由液晶显示器等构成的分析结果显示单元15显示图像。将视网膜层结构信息获取单元12、视网膜层结构信息映射单元13、视网膜层结构信息分析单元14和分析结果显示单元15分别称为结构获取单元12、映射单元13、分析单元14和显示单元15。

将参考图2来说明本实施例的概况。参考图2，Tp～Tq是断层图像获取设备所获取到的断层图像。首先，在A扫描方向A1上对断层图像进行扫描，以根据视网膜层的A扫描方向上的图像信息获取结构信息。将该结构信息映射到与A扫描方向垂直的平面的二维映射图M1中。图2中的二维映射图M1是对包含伪影的A扫描进行映射的例子，后面将说明其详细内容。然后，对形成在二维映射图M1上的伪影包含区域进行分析，并将各个区域分类为存在于视网膜层内的结构物和病变。将图2中的区域SR1分类为由出血所引起的伪影，并将区域SR2分类为由血管所引起的伪影。最后，将包括通过分析所获得的出血伪影区域BR1、血管伪影区域BR2、视网膜层边界D1(ILM边界)和IS/OS边界D5的所指定的视网膜层结构信息叠加并显示在该图像上。

图3示出断层图像获取设备20的功能结构。指示获取单元21获取用以针对被检眼的眼底调整二维测量范围和测量深度的指示信息。断层图像获取设备20使用该指示信息作为摄像参数来控制检电镜驱动机构201以驱动检电镜202。半透半反镜204将由低相干光源203发出的光束分割成经由物镜205朝向被检眼206的信号光和朝向固定配置的参考镜207的参考光。半透半反镜204将由被检眼206反射的信号光和由参考镜207反射的参考光叠加，从而生成干涉光。衍射光栅208将该干涉光分割成波长为λ1～λn的波长分量。一维光传感器阵列209检测衍射光栅208进行分割得到的波长分量的光束。构成一维光传感器阵列209的各个光传感器将检测到的波长分量的光强度的检测信号输出至图像重建单元210。

图像重建单元210基于从一维光传感器阵列209输出的干涉光的波长分量的检测信号，获得干涉光的波长和光强度之间的关系、即干涉光的光强度分布(波长光谱)。图像重建单元210对所获得的干涉光的波长光谱进行傅立叶变换，从而重建视网膜的断层图像。

图4是本实施例的流程图。将参考该流程图来说明图像处理设备10要执行的详细处理序列。

在步骤S401中，图像获取单元11获取断层图像获取设备20进行摄像得到的OCT断层图像。

在步骤S402中，结构获取单元12根据在步骤S401中获取到的OCT图像中的各A扫描获取结构信息。在本实施例中，针对各A扫描检测“ILM”、“IS/OS”、“玻璃体皮层候选的位置”以及“伪影的有无”。基于这些信息来生成结构信息。在本实施例中，基于利用B扫描的断层图像的沿着厚度方向的线(沿着A扫描的线)的图像信息来检测视网膜内的预定层的边界位置，并将该边界位置用作为结构信息。在本实施例中，将表示存在伪影的伪影属性附加至未检测到预定层的线。此外，将表示不存在伪影的伪影属性附加至已检测到预定层的线。本实施例使用IS/OS边界作为判断伪影的有无所使用的预定层的边界。将表示存在伪影的伪影属性(标记)附加至没有检测到IS/OS边界的线。然而，检测伪影所使用的层的边界不限于本实施例所述的层的边界。当获取结构信息时，对断层图像应用中值滤波和索贝尔(Sobel)滤波，从而创建图像(以下称为中值图像和Sobel图像)。根据转换得到的中值图像和Sobel图像，针对各A扫描创建剖面图。然后，检测根据Sobel图像所创建的剖面图中的峰。通过参考与检测到的峰附近或峰之间的间隔相对应的中值图像的剖面图来获取结构信息。后面将参考图5来说明用于获取结构信息的处理的详细内容。

在步骤S403中，如图9所示，映射单元13将在步骤S402中获取到的各个A扫描的结构信息映射到x-y平面(与视网膜的厚度方向成直角相交的平面(C扫描平面))的二维映射图上。将映射有结构信息的二维映射图称为结构信息映射图。在本实施例中，如图9所示，针对各种结构信息创建结构信息映射图。更具体地，根据本实施例，在本实施例中处理的结构信息包括“伪影的有无”、“玻璃体皮层候选”、“ILM边界”和“IS/OS边界”。因而，创建四个结构信息映射图。关于“伪影的有无”创建结构信息映射图M1。该结构信息映射图M1以黑色表示存在伪影的区域，并且具有存在伪影的区域SR1和SR2。

关于“玻璃体皮层候选”创建结构信息映射图M2。除玻璃体皮层候选的有无(存在玻璃体皮层候选的区域VR1和VR2)以外，针对各A扫描指定位置信息(z轴坐标值)。因此，创建输入了z坐标值的结构信息映射图。对于“ILM边界”和“IS/OS边界”，如结构信息映射图M3一样，创建输入了针对各A扫描所指定的ILM边界和IS/OS边界的位置信息的结构信息映射图。注意，结构信息不限于此。例如，可以创建针对各A扫描映射了白斑的有无及其坐标值的结构信息映射图。

在步骤S404中，分析单元14使用在步骤S403中创建的结构信息映射图来分析结构信息。在本实施例中，通过组合由结构信息所形成的区域的大小(面积)和/或形状或者多种类型的结构信息，在结构信息映射图上指定病变并对结果进行校正。特别是在第一实施例中，基于映射有伪影标记的二维映射图M1上的伪影区域的大小或形状来判断伪影的类型(例如，由血管所引起的伪影还是由出血所引起的伪影)。后面将参考图6来说明该详细处理。

在步骤S405中，将所指定的结构信息叠加在断层图像、积分图像或(如若存在)眼底图像上。显示单元15显示由此产生的图像。在本实施例中，如图13A所示，将所指定的视网膜层边界D1和D5叠加在与z方向平行的平面的断层图像上。将其余的结构信息叠加在与z方向平行的平面的断层图像或与z方向垂直的平面的积分图像上。图13A示出叠加有所指定的所有结构信息(ILM边界D1、IS/OS边界D5和存在由出血所引起的伪影的区域BR1)的断层图像。图13B示出叠加有表示由出血所引起的伪影的有无和由血管所引起的伪影的有无的结构信息的积分图像。如图13A所示的BR1一样，可以以不同的颜色显示具有出血标记和血管标记的A扫描，以使得可以将这些A扫描与其它A扫描区分开。在图13B的积分图像中，区域SR1是出血区域，并且区域SR2是血管区域。如图13B所示，可以将诸如出血和血管等的不同的结构物(由不同原因所引起的伪影)以不同的颜色显示在同一平面上，以使得观察者可以识别这些结构物。

这样，将从各个A扫描获取到的结构信息映射到二维映射图上并且在整个视网膜层区域中进行分析。这使得可以仅根据断层图像指定伪影的原因并对结构信息进行校正。

视网膜层结构信息获取处理

以下将参考图5来说明步骤S402中的视网膜层结构信息获取处理的详细内容。在步骤S501中，结构获取单元12对在步骤S401中获取到的OCT断层图像进行转换。在本实施例中，对该断层图像应用中值滤波和Sobel滤波，从而创建中值图像和Sobel图像。假定像素值在信号强度高的情况下变大并且在信号强度低的情况下变小。

在本实施例中，由于以下原因，Sobel滤波具有用以在从A扫描中的浅侧(从图像上方)观看时强调从低亮度值至高亮度值的边界的方向性。作为用于指定视网膜层结构改变的原因的信息，本实施例使用各A扫描中的ILM边界、IS/OS边界、玻璃体皮层的位置信息和伪影的有无。在视网膜层结构中，ILM边界和玻璃体皮层用作亮度值低的玻璃体和亮度值相对高的视网膜组织之间的边界。IS/OS边界也接触浅侧上的相对暗的组织。如果存在伪影，则IS/OS边界下方的亮度值下降。因而，可以根据Sobel图像中的像素值来判断伪影的有无。即，给出上述方向性可以进一步强调ILM边界、IS/OS边界和玻璃体皮层，并且甚至可以判断伪影的有无。注意，在视网膜层结构信息获取处理之后最终指定玻璃体皮层，因而在视网膜层结构信息获取处理中将玻璃体皮层作为玻璃体皮层候选来处理。

在步骤S502中，结构获取单元12使用在步骤S501中创建的中值图像计算背景(玻璃体)的平均亮度值。在本实施例中，首先，该中值图像经过利用P-分位数(P-tile)法的二值化处理以指定背景区域。然后，计算该背景区域中的中值图像的亮度值的平均值。

利用P-tile法的二值化处理是创建要处理的图像的直方图、从高亮度值或低亮度值起累积亮度值、将以预定比率P获得的亮度值设置为阈值并进行二值化的方法。在本实施例中，粗略获得图像中视网膜区域的比率。通过根据经验将P值设置为30％，按亮度值的降序进行二值化处理。将亮度值等于或小于阈值的像素确定为背景像素。在指定了背景像素之后，通过参考背景像素处的中值图像的亮度值来计算背景的平均亮度值。

在步骤S503中，结构获取单元12根据在步骤S501中创建的转换图像创建剖面图。在本实施例中，根据中值图像和Sobel图像这两者来创建各A扫描的剖面图。根据中值图像创建剖面图具有抑制了特别是OCT图像中的不想要的噪声并且更容易掌握亮度值的趋向的效果。此外，根据Sobel图像创建剖面图具有在后面指定视网膜层边界时容易检测视网膜层边界的候选点的效果。图7示出根据断层图像中的A扫描A1和A2的中值图像和Sobel图像所创建的剖面图。如图7所示，中值图像的剖面图PM1和PM2表现亮度值的趋向，并且Sobel图像的剖面图PS1和PS2表现视网膜层边界的候选点。然而，不必总是根据这些转换图像来创建剖面图。从原始图像或其它转换图像检测到具有预定强度的边缘就足够了。

在步骤S504中，结构获取单元12根据在步骤S503中创建的剖面图检测特征点。在本实施例中，将根据Sobel图像所创建的剖面图(例如，PS1和PS2)中的局部最大点(以下称为峰)检测为特征点。该检测使用根据经验或基于图像信息所设置的阈值。在视网膜中，许多信号在ILM边界下方、IS/OS边界下方或由玻璃体皮层反射或散射。由于该原因，如步骤S501所述，使用具有用以在从浅侧观看时强调从低亮度值至高亮度值的边界的方向性的Sobel滤波，将边界容易地检测为强边缘。在前述层以外，由具有这种方向性的Sobel滤波所检测到的强边缘仅是病变。通过调整阈值，优选地，可以提取出ILM边界、IS/OS边界和玻璃体皮层候选。

在步骤S505中，结构获取单元12对在步骤S504中检测到的峰计数，并基于该计数对处理进行分支。在本实施例中，如果在执行步骤S504时存在既未被指定为视网膜层边界也未被指定为玻璃体皮层候选的两个以上的峰(步骤S505中为“是”)，则在A扫描中从浅侧开始顺次选择两个峰，并将这两个峰分别定义为第一峰和第二峰。然后，该处理进入步骤S506。如果存在一个峰(步骤S505中为“否”)，则将最高峰定义为第一峰，并且处理进入步骤S509。

在步骤S506中，结构获取单元12将在步骤S505中选择的两个峰之间的中值图像的剖面图与基于背景的平均亮度值的第一阈值进行比较。在本实施例中，首先，针对存在于第一峰和第二峰之间的像素，将通过使在步骤S502中计算出的背景的平均亮度值与系数1.2相乘所获得的值设置为第一阈值。然后，计算亮度值大于第一阈值的像素数相对于存在于这两个峰之间的总像素数的比率。注意，该系数是根据经验所获得的，并且本发明不限于此。例如，可以使用背景的平均亮度值和除背景以外的区域(等于或大于二值化处理中的阈值的区域)的平均亮度值之间的比率、根据图像信息来动态确定该系数。

在步骤S507中，结构获取单元12基于在步骤S506中计算出的比率对处理进行分支。在本实施例中，如果计算出的比率低于1/2(步骤S507中为“否”)，则判断为在峰之间存在背景，并且该处理进入步骤S508。如果计算出的比率等于或高于1/2(步骤S507中为“是”)，则判断为在峰之间存在视网膜组织，并且该处理进入步骤S509。在本实施例中，尽管视网膜组织和背景中的哪一个存在是根据等于或大于阈值的像素的比率所确定的，但本发明不限于此。例如，还可以根据剖面图计算特征量，并使用该特征量作为输入、利用识别单元来进行判断。

在步骤S508中，结构获取单元12将一个峰指定为玻璃体皮层候选。在本实施例中，对于在步骤S507中判断为在峰之间存在背景的第一峰和第二峰，如果玻璃体皮层脱离，则背景存在于下方，因而将第一峰指定为玻璃体皮层候选。之后，该处理返回至步骤S505，并且再次选择包括第二峰的后两个峰。

在步骤S509中，结构获取单元12将一个峰指定为ILM边界D1。在本实施例中，对于在步骤S507中判断为在峰之间存在视网膜组织的第一峰和第二峰，由于ILM边界存在于视网膜组织的上端处，因此将第一峰指定为ILM边界。即使当该处理从步骤S505发生分支时，也将第一峰指定为ILM边界。

在步骤S510中，结构获取单元12检查在同一A扫描上、在比步骤S509中所指定的ILM边界深的一侧(图像的下部)是否存在等于或大于第二阈值的特征点。在本实施例中，将通过在同一A扫描上指定的ILM边界的峰的大小与系数0.8相乘所获得的值设置为第二阈值。检查在比ILM边界深的一侧上是否存在等于或大于第二阈值的峰。如果存在这种峰(步骤S510中为“是”)，则该处理进入步骤S511。如果不存在这种峰(步骤S510中为“否”)，则该处理进入步骤S512。注意，该阈值是根据经验所获得的，并且本发明不限于此。例如，除峰的大小以外，还可以利用峰之间的距离。

在步骤S511中，结构获取单元12将在步骤S510中已设置的等于或高于第二阈值的峰指定为IS/OS边界。如果存在等于或高于第二阈值的多个峰，则在本实施例中，将等于或高于第二阈值的峰中位于最浅位置的峰设置为IS/OS边界。反之，在步骤S512中，结构获取单元112判断为未指定IS/OS边界，并且将“伪影”标记添加至A扫描以表示存在伪影。

在步骤S513中，结构获取单元12检查是否已从图像中的所有A扫描获取了结构信息。如果已处理了所有的A扫描(步骤S513中为“是”)，则该处理结束。如果存在尚未获取结构信息的A扫描(步骤S513中为“否”)，则该处理返回至步骤S503。

以这种方式，判断峰之间的组织，并基于结果来获取视网膜层的结构信息。这样可以减少结构信息错误。图8A和8B是示出使用该方法来指定ILM边界和IS/OS边界的断层图像。图8A和8B中的由粗实线所表示的D1和D5分别是所指定的ILM边界和IS/OS边界。如根据图8A和8B可以看出，在所有的A扫描中都指定了ILM边界。作为对比，如步骤S512所述，在某些A扫描中无法指定IS/OS边界，并且可以将“伪影”标记附加至这些A扫描。例如，将“伪影”标记附加至图7中的A扫描A1。

视网膜层结构信息分析处理

将参考图6来说明步骤S404中的视网膜层结构信息分析处理的详细内容。

在步骤S601中，分析单元14在步骤S403中创建的结构信息映射图上创建区域。在本实施例中，在图9的结构信息映射图M1上，根据附加有伪影标记的A扫描来形成区域。在图9的结构信息映射图M1上形成了两个区域SR1和SR2。

在步骤S602中，分析单元14针对在步骤S601中创建的各区域计算特征量。在本实施例中，准备各区域的面积、以及穿过各区域的x坐标的最大值和最小值与y坐标的最大值和最小值的矩形(即，外接该区域的矩形)。计算出伪影区域相对于该矩形区域的比率(以下称为填充率)作为特征量。这些参数表示伪影区域的“面可能性”或“线可能性”，并用于判断出血和血管中的哪一个是后面将说明的将区域判断为伪影区域的原因。注意，计算出的特征量不局限于这些特征量。例如，可以使用距离变换来计算出区域的线可能性或面可能性作为特征量。

在步骤S603中，通过使用在步骤S602中计算出的特征量，分析单元114判断血管和出血中的哪一个生成各伪影区域。在本实施例中，对各特征量设置阈值。如果各区域的面积等于或大于预定值、并且填充率等于或高于预定值(步骤S603中为“是”)，则将该区域看作为由出血所引起的伪影区域，并且该处理进入步骤S604；相反(步骤S603中为“否”)，将该区域看作为由血管所引起的伪影区域，并且该处理进入步骤S605。在图9的结构信息映射图M1上，将区域SR1判断为由出血所引起的伪影区域，并将SR2判断为由血管所引起的伪影区域。注意，伪影区域类型判断方法不限于此。例如，识别单元可以使用预定特征量作为输入来进行判断。

在步骤S604中，分析单元14将“出血”标记附加至在步骤S603中判断为包含由出血所引起的伪影的区域的各A扫描。在图9的结构信息映射图M1上，将“出血”标记附加至形成区域SR1的各A扫描。相反，在步骤S605中，分析单元14将“血管”标记附加至在步骤S603中判断为包含由血管所引起的伪影的区域的各A扫描。在图9的结构信息映射图M1上，将“血管”标记附加至形成区域SR2的各A扫描。

在步骤S606中，分析单元14检查在结构信息映射图上的伪影的区域中是否存在在步骤S603未进行判断的区域。如果已对所有区域进行了判断(步骤S606中为“是”)，则该处理结束。如果存在未判断区域(步骤S606中为“否”)，则该处理返回至步骤S602以对未判断区域进行判断处理。

如上所述，根据第一实施例，可以在映射图上对视网膜层结构进行分析，以检查在从整个视网膜层观看时的伪影区域的形状。还可以指定该伪影的原因。

第二实施例

第二实施例将说明如下的例子：在第一实施例的步骤S404中指定玻璃体皮层和囊肿并对ILM边界进行校正。在断层图像中，如图11所示，脱离的玻璃体皮层H 1可能在ILM边界L1上方漂浮。此外，如图11中的C1一样，在视网膜层内形成孔的称为“囊肿”的病变有时出现。如果与第一实施例相同、这种断层图像经过视网膜层结构信息获取处理，则如图11所示，由虚线来表示玻璃体皮层候选H1并且由粗实线来表示ILM边界L1。由于囊肿区域的平均亮度值非常接近于背景(玻璃体)，因此出现该识别错误。因而，如图11所示，将原来的ILM边界识别为玻璃体皮层候选，并将囊肿下方的边界识别为ILM边界。为了防止该情况，代替图6的分析处理、或者除图6的分析处理以外，第二实施例使用后面要说明的结构信息映射图来执行玻璃体皮层指定处理、囊肿指定处理和ILM边界校正处理。即使在如图11所示的断层图像中，也可以在无识别错误的情况下指定玻璃体皮层、囊肿和ILM边界。

除了视网膜层结构信息分析处理以外，第二实施例与第一实施例相同。对于设备结构，除了当图像处理设备10基于软件指令进行操作时、存储在ROM或HDD中的程序执行图10所示的处理并实现该处理的功能以外，第二实施例与第一实施例相同。将参考图10来说明根据第二实施例的步骤S404中的视网膜层结构信息分析处理的详细内容。

在第二实施例中，对沿着断层图像的厚度方向的线的图像信息进行分析，以检测第一层的边界和第二层的边界分离开的线。将检测到分离的线映射到与厚度方向成直角相交的平面上，从而生成二维映射图。如果判断为在将检测到分离的线映射到平面上的区域的边界处、第二层在厚度方向上不连续，则在该区域中、将被判断为第一层的边界的位置校正为第二层的边界。本实施例使用玻璃体皮层作为第一层的边界并使用ILM边界作为第二层的边界。基于不连续性的判断来检测视网膜内的囊肿的存在。首先，在步骤S1001中，分析单元14在步骤S403中创建的结构信息映射图上创建区域。本实施例使用玻璃体皮层候选结构信息映射图M2(图9)。图12是示出图9中的结构信息映射图M2和B扫描图像之间的关联的图。将通过例示获得具有检测到玻璃体皮层候选的区域VR1和VR2的结构信息映射图M2的情况来说明第二实施例中的视网膜层结构分析处理。

在步骤S1002中，分析单元114在步骤S1001中创建的玻璃体皮层候选区域中检查与相邻的ILM边界的连接，并计算指标(以下称为ILM边界可能性)。在本实施例中，针对玻璃体皮层候选区域VR1和VR2的轮廓(图9和12中的OL1和OL2)上的玻璃体皮层候选位置和ILM边界位置来计算和比较ILM边界可能性。注意，存在玻璃体皮层候选的区域VR1和VR2是通过将包含玻璃体皮层候选的A扫描映射到x-y平面上所获得的。将存在玻璃体皮层候选的区域看作为玻璃体皮层和ILM边界分离开的区域。

将详细说明ILM边界可能性的计算。首先，如图12所示，将位于玻璃体皮层候选区域的轮廓外侧并且不具有玻璃体皮层候选的A扫描的ILM边界位置设置为基准。然后，计算基准位置和该轮廓的A扫描中玻璃体皮层候选位置之差(z坐标之差)的绝对值、以及基准位置和该轮廓的A扫描中ILM边界位置之差(z坐标之差)的绝对值。针对形成该轮廓的A扫描，对各个绝对值进行计算和相加。这样获得的z坐标差之和越小，认为ILM边界可能性越高，并且该边界极有可能是ILM边界(在实际计算中，将通过使z坐标差之和与-1相乘所获得的值设置为ILM边界可能性)。结果，计算出玻璃体皮层候选区域VR1和VR2的玻璃体皮层候选处的ILM可能性、以及ILM边界处的ILM可能性。注意，ILM边界可能性计算方法不限于此。例如，可以使用曲线近似来计算ILM边界可能性。

在步骤S1003中，分析单元14使用在步骤S1002中计算出的ILM边界可能性来判断是否对ILM边界进行校正。在本实施例中，如果针对玻璃体皮层候选计算出的ILM边界可能性等于或高于预定值、并且高于针对同一位置处的ILM边界计算出的ILM可能性(步骤S1003中为“是”)，则判断为对ILM边界进行校正。如果判断为对ILM边界进行校正，则该处理进入步骤S1004。如果不满足这些条件(步骤S1003中为“否”)，则判断为玻璃体皮层候选是玻璃体皮层，并且该处理进入步骤S1006。注意，判断方法不限于此。例如，识别单元可以使用ILM边界可能性作为特征量来进行判断。

在步骤S1004中，对于在步骤S1003中判断为对ILM进行校正的玻璃体皮层候选，分析单元14使用该区域中的玻璃体皮层候选的位置信息来对ILM边界进行校正。在本实施例中，将诸如ILM边界信息等的所有信息都保存在结构信息映射图中，因此利用玻璃体皮层候选的位置信息来重写ILM边界结构信息映射图上的区域。在步骤S1005中，分析单元14将表示囊肿存在的标记附加至在步骤S1004中对边界进行了校正的区域。在本实施例中，新创建与囊肿有关的结构信息映射图，并将“囊肿”标记附加至ILM校正后区域的A扫描。

在步骤S1006中，针对在步骤S1003中判断为是玻璃体皮层的玻璃体皮层候选区域，分析单元14将“玻璃体皮层”标记附加至形成该区域的A扫描。

在步骤S1007中，分析单元114检查在结构信息映射图上的玻璃体皮层候选的区域中是否存在尚未进行判断的区域。如果已对所有区域进行了判断(步骤S1007中为“是”)，则该处理结束。如果存在未判断区域，则该处理返回至步骤S1002以对未判断区域进行判断处理。

通过上述处理，将表示囊肿的有无的标记附加至A扫描。在如图13C所示的B扫描断层图像中，可以叠加表示囊肿区域的BR3。当对ILM边界进行了校正时，如图13C所示，可以将校正后的ILM边界和校正前的ILM边界之间的部位看作为囊肿部位，并且可以以可识别的方式显示囊肿C1。在C扫描断层图像中，可以如图13D一样叠加玻璃体皮层漂浮的区域VR2，或者可以如图13E一样叠加和显示囊肿区域VR1。

如上所述，根据第二实施例，通过在映射图上对视网膜层结构进行分析，可以考虑视网膜层结构的连续性来对错误进行校正。此外，可以更详细地指定包括玻璃体皮层或囊肿的有无等的结构信息。

根据本发明，可以根据视网膜的断层图像来指定高精度的图像分析所需的层结构改变的原因。

尽管上述实施例已说明了主要利用软件来实现本发明的例子，但本发明的应用不限于此。例如，本领域的技术人员将容易想到，通过将上述功能块作为电路进行安装来利用硬件实现本发明。可以将这些实施例中通过程序的介入所执行的功能块中的仅一部分作为专用图像处理板来进行安装。

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的***或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，***或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims

1.一种图像处理设备，用于对多个断层图像进行处理，其中，所述多个断层图像是通过沿着与沿视网膜的厚度方向的截面成直角相交的方向获取各自包括所述截面的多个断层图像所获得的，所述图像处理设备包括：

检测部件，用于根据所述断层图像的沿所述厚度方向的各个线的图像信息，检测视网膜内的层结构；

附加部件，用于基于针对各个线检测到的层结构，向各个线附加结构信息；以及

映射部件，用于将所述多个断层图像的各个线的结构信息映射到与所述厚度方向成直角相交的平面上，由此生成基于所述结构信息的二维图像。

2.根据权利要求1所述的图像处理设备，其特征在于，

所述检测部件基于所述断层图像的沿所述厚度方向的线的图像信息来检测视网膜内的预定层的边界位置，以及

所述附加部件将表示存在伪影的伪影属性作为所述结构信息附加至所述检测部件未检测到所述预定层的边界的线，并将表示不存在伪影的伪影属性作为所述结构信息附加至其它线。

3.根据权利要求2所述的图像处理设备，其特征在于，还包括判断部件，所述判断部件用于基于所述映射部件所生成的所述二维图像中映射有表示存在伪影的伪影属性的伪影区域的大小和形状之一，判断伪影的类型。

4.根据权利要求3所述的图像处理设备，其特征在于，

所述检测部件针对各个线检测视网膜的ILM边界和IS/OS边界，以及

当所述检测部件未检测到所述IS/OS边界时，所述附加部件将表示存在伪影的伪影属性附加至该线。

5.根据权利要求3或4所述的图像处理设备，其特征在于，在所述二维图像中的所述伪影区域的面积不小于预定值、并且所述伪影区域相对于外接所述伪影区域的矩形区域的比率不小于预定值的情况下，所述判断部件判断为伪影是由出血所引起的，并且在其它情况下，所述判断部件判断为伪影是由血管所引起的。

6.根据权利要求3至4中任一项所述的图像处理设备，其特征在于，还包括：

获取部件，用于针对各个线获取表示所述检测部件检测到的所述预定层的边界位置的结构信息；以及

显示部件，用于显示所述断层图像，并将由各个线的结构信息所表示的边界位置以能够识别的方式显示在所述断层图像中，

其中，所述显示部件在所述断层图像的显示中、以使得能够识别所述判断部件判断出的类型的方式、显示具有表示存在伪影的伪影属性的线。

7.根据权利要求1至4中任一项所述的图像处理设备，其特征在于，还包括如下的部件，其中，该部件用于在所述二维图像中的由所述检测部件检测到玻璃体皮层和ILM边界这两者的线所形成的区域的边界处、检测所述ILM边界的不连续性，由此判断在该区域中是否存在囊肿。

8.根据权利要求1所述的图像处理设备，其特征在于，还包括：

判断部件，用于在所述二维图像中的映射有所述检测部件检测到第一边界和第二边界的分离的线的连续区域的边界部分处、判断所述第二边界在所述厚度方向上的连续性；以及

校正部件，用于基于所述判断部件判断出的连续性来判定是否存在所述分离，并基于该判定对所述检测部件的检测结果进行校正。

9.根据权利要求8所述的图像处理设备，其特征在于，

所述第一边界是玻璃体皮层，并且所述第二边界是视网膜的ILM边界，以及

当所述判断部件判断为所述第二边界在所述厚度方向上不连续时，所述校正部件针对所述检测部件检测到所述第一边界和所述第二边界的分离的线，将所述玻璃体皮层校正为所述ILM边界，并将表示存在囊肿的信息附加至该线的结构信息。

10.一种图像处理设备的图像处理方法，用于对多个断层图像进行处理，其中，所述多个断层图像是通过沿着与沿视网膜的厚度方向的截面成直角相交的方向获取各自包括所述截面的多个断层图像所获得的，所述图像处理方法包括以下步骤：

检测步骤，用于根据所述断层图像的沿所述厚度方向的各个线的图像信息，检测视网膜内的层结构；

附加步骤，用于基于所述检测步骤中检测到的层结构，向各个线附加结构信息；以及

映射步骤，用于将所述多个断层图像的各个线的结构信息映射到与所述厚度方向成直角相交的平面上，由此生成基于所述结构信息的二维图像。