CN104042184A - 图像处理设备、图像处理***及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备、图像处理***及图像处理方法。使用被检眼的视网膜的断层图像中的至少一部分被反转的反转图像以及所述断层图像来生成新断层图像，使得所述反转图像位于所述断层图像中的视网膜层与所述断层图像的端部接触的侧上。

Description

图像处理设备、图像处理***及图像处理方法

技术领域

本发明涉及图像处理设备、图像处理***、图像处理方法及程序，更具体地涉及使用眼部的断层图像（tomographic image）的图像处理设备、图像处理***、图像处理方法及程序。

背景技术

诸如光学相干断层扫描（OCT）设备等的用于眼部的断层图像拍摄设备能够三维观察视网膜层的内部状态。由于这种断层图像拍摄设备用于更准确地诊断疾病，所以近年来断层图像拍摄设备引起了关注。作为OCT的类型，例如有组合使用超连续谱光源和迈克尔逊干涉仪（Michelsoninterferometer）的时域OCT（TD-OCT）。时域OCT被配置为以通过扫描参照臂的延迟来测量信号臂的与背散射光干涉的干涉光的方式来获得关于深度分辨率的信息。然而，使用这种TD-OCT，难以高速获取图像。因此，作为以更高速度获取图像的方法，已知谱域OCT（SD-OCT）作为使用超连续谱光源并且由光谱仪获取干涉图的OCT。此外，已知如下的扫频光源OCT（SS-OCT，swept source OCT）：通过将高速波长扫频（wavelength-sweeping）光源用作光源来使用用于通过单信道光检测器测量光谱干涉的方法。

如果在使用上述OCT中的任意一种拍摄的断层图像中能够测量视网膜的形态改变，则能够针对诸如青光眼的疾病的发展或治疗后的恢复的程度进行定量诊断。为了定量测量视网膜的形态改变，在日本特开第2011-217811号公报中公开了如下技术：使用计算机从断层图像检测视网膜各层之间的边界并测量层的厚度。

发明内容

根据本发明的图像处理设备，该图像处理设备包括：获取单元，其被配置为获取被检眼的视网膜的断层图像；以及生成单元，其被配置为使用所获取的断层图像的至少一部分被反转的反转图像以及所获取的断层图像，来生成新断层图像，使得所述反转图像位于所获取的断层图像中的视网膜层与所获取的断层图像的端部接触的侧上。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据第一实施例的图像处理***的结构的图。

图2A和图2B是例示在根据第一实施例的图像处理设备中进行的处理的流程的流程图。

图3例示了根据第一实施例的图像处理***的显示部的显示画面中摄像时的显示的示例。

图4A至图4C是用于说明在根据第一实施例的图像处理设备中进行的反转图像的生成的图。

图5A和图5B例示了根据第一实施例的图像处理***的显示部的显示画面中的摄像结果的显示的示例。

图6是例示根据第二实施例的图像处理***的结构的图。

图7A至图7D是用于说明在根据第二实施例的图像处理设备中进行的反转图像的生成的图。

图8A和图8B是用于说明在根据第二实施例的图像处理设备中进行的反转图像的生成的图。

图9是例示根据第三实施例的图像处理***的结构的图。

图10A和图10B是例示在根据第三实施例的图像处理设备中进行的处理的流程的流程图。

图11A至图11C是用于说明在根据第三实施例的图像处理设备中进行的图像分析的图。

图12A和图12B例示了根据第三实施例的图像处理***的显示部的显示画面中的分析结果的显示的示例。

图13例示了根据第四实施例的图像处理***的显示部的显示画面中的分析结果的显示的示例。

图14是用于说明视网膜层在断层图像的上端部分中回折的图。

具体实施方式

第一实施例：使用断层图像的反转图像生成新的断层图像

下文中，将参照附图描述本发明的第一实施例。请注意，在包括根据本实施例的图像处理设备的图像处理***中，即使当拍摄了诸如高度近视眼的视网膜层的、高度弯曲的视网膜层的断层图像时，也能够以使得能够掌握整个视网膜层的形状的方式进行显示。

这里，当诸如高度近视眼的视网膜等的视网膜高度弯曲时，视网膜层在断层图像的上部回折。因此，存在不能够正确地进行图像拍摄或分析的情况。

例如，使用图14描述在玻璃体侧上指定相干门位置（coherence gateposition）并且拍摄了视网膜层高度弯曲的眼睛的断层图像的情况。如图14所示，当视网膜层高度弯曲时，存在如下情况：拍摄断层图像，使得视网膜层与断层图像的上端部分接触。在图14所示的断层图像的右侧部分，生成该部分被回折的图像。因此，在该部分，由于视网膜层回折并叠加在自身上，所以难以容易地掌握视网膜层的形状。

鉴于上述问题作出本发明，本发明的目的在于即使在以使得视网膜层与断层图像的端部接触的方式拍摄了断层图像的情况下，也能够容易地观察视网膜层的形状。

为此，使用被检眼的视网膜的断层图像的至少一部分被反转的反转图像以及断层图像，以使得所述反转图像位于所述断层图像中的视网膜层与所述断层图像的端部接触的侧上的方式来生成新的断层图像。

因此，即使在以使得视网膜层与断层图像的端部接触的方式拍摄了断层图像的情况下，也能够容易地观察视网膜层的形状。

下文中，将详细描述包括根据本实施例的图像处理设备的图像处理***。

图1是例示包括根据本实施例的图像处理设备110的图像处理***100的结构的图。如图1所示，图像处理***100被配置为使得图像处理设备110经由接口连接到断层图像拍摄设备200（OCT设备）、显示部300、眼底图像拍摄设备400、外部存储部500以及操作部600，使得能够以有线或无线方式与它们进行通信。

断层图像拍摄设备200是拍摄眼部的断层图像的设备。使用例如SD-OCT或SS-OCT构成用作断层图像拍摄设备的设备。请注意，由于断层图像拍摄设备200是已知设备，所以省略其详细描述。这里，将描述断层图像的摄像范围以及内部固视灯204。

参照图1，检流计镜201被用于使用测量光来扫描眼底，并且限定要使用OCT拍摄的眼底的图像的摄像范围。此外，驱动控制部202控制检流计镜201的驱动范围和速度，从而限定在眼底的平面方向上的摄像范围以及扫描线的数量（在平面方向上的扫描速度）。这里，检流计镜包括X扫描镜和Y扫描镜两个镜，并且能够使用测量光扫描眼底的期望范围。

内部固视灯204包括显示单元241以及透镜242。作为显示单元241，使用多个发光二极管（LED）以矩阵布置的单元。根据期望拍摄的图像的部位，通过驱动控制部202的控制来改变发光二极管的照明位置。从显示单元241发出的光经透镜242被导向至被检眼。从显示单元241发出的光具有520nm的波长，并且通过驱动控制部202显示期望的图案。

为了处理例如被检眼的眼轴长度之间的差异，由驱动控制部202控制相干门级（coherence gate stage）203。相干门表示在OCT中测量光的光路长度与参照光的光路长度彼此相等的位置。

眼底图像拍摄设备400是拍摄眼部的眼底的图像的设备。设备的示例包括眼底照相机以及激光扫描检眼镜（SLO）。

图像处理设备110包括图像获取部111、存储部112、反转图像生成部113、控制部114、显示控制部115以及指定部116。图像获取部111获取由断层图像拍摄设备200拍摄的断层图像以及由眼底图像拍摄设备装置400拍摄的眼底图像，并将断层图像和眼底图像存储在存储部112中。反转图像生成部113生成断层图像的至少一部分被反转的反转图像。指定部116对反转图像生成部113提供用于进行反转图像的生成的指定。请注意，反转图像生成部113还用作生成部，该生成部被配置为使用反转图像和断层图像，以使得反转图像位于断层图像中的视网膜层与断层图像的端部接触的侧上的方式来生成新的断层图像。此外，控制部114对断层图像拍摄设备200进行控制，使得将使用设置的摄像参数来控制断层图像拍摄设备200。此外，外部存储部500将关于被检眼的信息（患者的姓名、年龄、性别等）、拍摄的图像数据、摄像参数、图像分析参数以及由操作者指定的参数相互关联并保持。另外，操作部600是例如鼠标、键盘或触摸操作屏。操作者经由操作部600对图像处理设备110、断层图像拍摄设备200、或眼底图像拍摄设备400提供指令或输入。

接下来，将参照图2A和图2B以及图3来描述根据本实施例的图像处理设备110的处理的过程。图2A和图2B是例示根据本实施例的整个本***的操作的处理的流程的流程图。图3例示了在本实施例中在显示部300上显示的摄像时的显示画面的示例。在图3中，附图标记310表示断层图像拍摄画面。附图标记301表示断层图像。附图标记302表示眼底图像。附图标记303表示用于选择摄像模式的下拉框。附图标记304表示摄像指令按钮。附图标记305表示代表摄像区域的标记，并且被叠加并显示在眼底图像302上。M表示黄斑区，D表示视神经盘区，V表示血管。

步骤S201

在步骤S201中，未示出的被检眼信息获取部从外部获取作为识别被检眼的信息的被检者标识号。被检眼信息获取部基于被检者标识号获取作为由外部存储部500保持的信息的、关于被检眼的信息，并且将该信息存储在存储部112中。

步骤S202

在步骤S202中，作为用于检查摄像时的摄像位置的预扫描图像，图像获取部111从眼底图像拍摄设备400获取眼底图像，并从断层图像拍摄设备200获取断层图像。

步骤S203

在步骤S203中，为了进行摄像，进行各种调整处理。更具体地，至少设置内部固视灯的位置、扫描范围、扫描方式以及相干门位置。驱动控制部202控制显示单元241的发光二极管，从而控制内部固视灯204的位置，使得将拍摄黄斑区或视神经盘区的中心的图像。

关于扫描范围，例如，设置9至15mm的范围作为断层图像拍摄设备200的摄像范围。然而，这里所提到的值是示例，并且值可以根据设备的规格而改变。扫描方式是诸如光栅扫描、交叉扫描以及径向扫描等的用于扫描的各种扫描方式中的任意一个。使用由操作者指定的扫描方式进行摄像。假定将进行相干门的位置位于玻璃体侧的摄像，来描述处理。

此外，选择摄像时的摄像模式。这里，假定将使用用于选择摄像模式的下拉框303来进行摄像模式的选择，来描述处理。假定使用摄像模式的下拉框303能够选择高度近视眼用摄像模式或非高度近视眼用摄像模式。在本实施例中，将描述在高度近视眼用摄像模式下进行摄像的情况。请注意，假定使用扫描方式和摄像固视灯的位置的多个组合来预先设置摄像模式，并设置频繁利用的摄像模式。频繁利用的摄像模式的示例包括青光眼用的摄像模式。在摄像时，选择高度近视眼用摄像模式，由此指定部116对反转图像生成部113提供用于生成反转图像的指定。

步骤S204

在步骤S204中，进行被检眼的图像的拍摄。例如，当操作者选择断层图像拍摄画面310中的摄像指令按钮304时，断层图像拍摄设备200控制驱动控制部202以使检流计镜201进行操作，从而拍摄断层图像。检流计镜201包括用于水平方向的X扫描器以及用于垂直方向的Y扫描器。因此，当各扫描器的方位改变时，能够进行断层图像拍摄设备200的坐标***中的水平方向（X）和垂直方向中的相应一个方向上的扫描。由于扫描器的方位同时改变，所以能够进行通过组合水平方向和垂直方向而获得的方向上的扫描。由此，能够进行眼底平面中任何方向上的扫描。

步骤S205

在步骤S205中，显示在步骤S204中拍摄的断层图像。将参照图2B和图4描述该处理。

步骤S251

在步骤S251中，确定在步骤S204的摄像时是否提供了用于生成反转图像的指定。在本实施例中，假定通过选择高度近视眼用摄像模式提供了用于生成反转图像的指定，处理进入到步骤S252。请注意，在摄像时不选择高度近视眼用摄像模式的情况下，处理进入到步骤S255。请注意，稍后再描述步骤S255。这里，在本实施例中，在进行摄像之前选择高度近视眼用摄像模式的情况下，在进行了摄像之后生成反转图像。然而，可以使用在进行了摄像之后选择是否要生成反转图像的结构。例如，当显示在监视器上并且表示反转图像的生成或显示的显示构形（displayconfiguration）接受通过操作部600的操作（作为操作者进行的操作）提供的指令时，可以进行反转图像的生成或显示。

步骤S252

在步骤S252中，进行反转图像的生成。将使用图4A至图4C描述反转图像的生成。图4A所示的附图标记401表示高度近视眼的拍摄断层图像的示例。如断层图像401所示，拍摄了如下的断层图像，其中由于视网膜层高度弯曲，所以视网膜层的一部分回折。这里，反转图像生成部113生成预先决定的、具有一定范围的反转图像，使得视网膜层的回折部分将被校正。将使用图4B对此进行描述。图4B例示了断层图像401和反转图像402。反转图像402是通过从断层图像401的上端部分起沿深度方向（在Z方向上）复制一定范围的断层图像并将复制的断层图像上下反转而获得的图像。以这种方式，能够生成断层图像，使得回折部分将被校正。请注意，可以基于预先输入的值，决定作为要复制区域的、断层图像在深度方向上的区域的尺寸。可选地，可以显示未示出的输入部，并且操作者可以输入决定区域的尺寸的值。此外，假定断层图像401在深度方向上的范围是约1000个像素（其对应于2.0mm），反转图像402在深度方向上的范围可以是例如大于200个像素。因此，即使当高度近视眼的视网膜层回折时，回折部分被显示为反转图像。在图4B中，断层图像401和反转图像402相互接触，从而提供一个断层图像。这里，作为通过由传感器信号进行图像重构来生成断层图像401的情况，存在通过在断层图像401的上部去除与自相关函数相对应的噪声区域来生成断层图像401的情况。在这种情况下，考虑到去除的噪声区域的尺寸，能够生成断层图像401和反转图像402。在图4C中例示了考虑了去除的噪声区域的尺寸的示例。在图4C中，附图标记403表示与当生成断层图像401时去除的、并且对应于自相关函数的噪声区域相对应的调整区域。调整区域403在水平方向上的尺寸等于A扫描的行数。关于调整区域403在深度方向上的尺寸，假定当生成断层图像时切出的噪声区域的尺寸是d，则考虑到反转部分，调整区域403在深度方向上的尺寸是2d。调整区域403的像素值可以是与背景区域的像素值接近的值。因此，可以获得排除了视网膜层以外的背景区域的像素值的平均值，并且该平均值可以被用作调整区域403的像素值。可选地，可以使用预先决定的值（例如，0）。以这种方式，图4C例示了由断层图像401、反转图像402以及调整区域403构成的一个断层图像。请注意，可以考虑到具有视网膜层的边界平滑连接的形状的视网膜层的连续性，来决定作为调整区域403在深度方向上的尺寸的2d的范围。例如，2d的范围可以等于或大于10个像素且等于或小于30个像素。

如上所述，即使当存在视网膜层回折的断层图像的上部时，反转图像生成部113也能够使用断层图像401和反转图像402生成新的断层图像。请注意，反转图像402是通过反转断层图像401以使得反转的断层图像401将位于断层图像401中的视网膜层与断层图像401的边缘接触的侧上而获得的图像。此外，上述的断层图像401中的视网膜层与断层图像401的边缘接触的侧是断层图像401中的相干门侧。例如，在相干门被移动到被检眼的脉络膜侧并且获得断层图像的情况下，反转图像402可以是通过反转断层图像401以使得反转的断层图像401将位于断层图像401的下侧而获得的图像。

步骤S253

在步骤S253中，在步骤S252中生成的断层图像401和反转图像402被显示为图5A所示的摄像结果检查图像。这里，图5A所示的摄像结果检查画面510包括以下内容：断层图像401、反转图像402、眼底图像502、表示摄像时的摄像区域的标记505、用于确认摄像结果的按钮520、用于取消摄像结果的按钮521、用于提供生成近视用图像的指令的按钮522、以及用于取消近视用图像的生成的按钮523。请注意，在图5A中，由于摄像结果检查画面510是在要生成近视用图像的前提下进行了摄像的情况下的画面，所以用于提供生成近视用图像的指令的按钮522处于不可选状态。用于取消近视用图像的生成的按钮523处于可选状态。

关于图5A所示的断层图像401和反转图像402的显示，例示了将断层图像401沿向下方向仅移动添加的反转图像402的尺寸的示例。然而，在对要显示的断层图像的区域施加限制的情况下，能够使用与在仅显示断层图像401时使用的图像的纵横比相同的纵横比来显示断层图像401，并且能够根据该纵横比显示反转图像402。这样做的原因在于，在图像在深度方向上的尺寸增加的情况下，当仅减小和显示图像在深度方向上的尺寸使得断层图像适合所决定的显示区域时，呈现视网膜层的形状在深度方向上减小的图像，这会引起误解。

步骤S254

在步骤S254中，确定是否要生成或显示正常图像。更具体地，在预先提供了用于生成断层图像401和反转图像402作为近视用图像的指定的情况下，当选择了用于取消近视用图像的生成的按钮523时，取消反转图像402的显示，并且仅显示断层图像401。将在作为下一步骤的步骤S255中对此进行描述。请注意，当在不选择用于取消近视用图像的生成的按钮523的情况下选择了按钮520和521时，处理进行到步骤S206。

步骤S255

在步骤S255中，进行尚未提供用于生成近视用图像的指定的情况的处理。在本实施例中，假定在除高度近视眼用摄像模式以外的摄像模式下进行了摄像的情况下进行该处理，将描述该处理。在步骤S255中，显示在步骤S204中拍摄的断层图像。将使用图5B对此进行描述。图5B所示的摄像结果检查画面511包括以下内容：断层图像401、眼底图像502、表示摄像时的摄像区域的标记505、用于确认摄像结果的按钮520、用于取消摄像结果的按钮521、用于提供生成近视用图像的指令的按钮522、以及用于取消近视用图像的生成的按钮523。请注意，在图5B中，由于摄像结果检查画面511是在不生成近视用图像的情况下的画面，所以用于取消近视用图像的生成的按钮523处于不可选状态。用于提供生成近视用图像的指令的按钮522处于可选状态。

步骤S256

在步骤S256中，确定是否提供了生成反转图像的指令。这里，提供生成反转图像的指令的情况例如是如下情况：尽管在除高度近视眼用摄像模式以外的摄像模式下进行了摄像，但是当在摄像结果检查画面中检查到拍摄的断层图像时，在断层图像的上端部，视网膜层也回折。为了对此进行校正，例如，在摄像结果检查画面511中准备了用于提供生成近视用图像的指令的按钮522，使得将提供用于生成反转图像402的指定。选择按钮522，由此指定部116对反转图像生成部113提供用于生成反转图像的指定。换言之，处理进行到上述步骤S252。请注意，当在不选择用于提供生成近视用图像的指令的按钮522的情况下，选择按钮520和521时，处理进行到步骤S206。

步骤S206

在步骤S206中，未示出的指令获取部从外部获取图像关于是否结束使用图像处理***110进行的断层图像的摄像的指令。由操作者使用操作部600输入该指令。当指令获取部获取到结束该处理的指令时，图像处理***100结束该处理。与此相反，在没有结束处理继续摄像的情况下，处理返回到步骤S202，并且继续摄像。

以这种方式，进行图像处理***100的处理。

使用上述结构，即使当拍摄了诸如高度近视眼的视网膜层的、高度弯曲的视网膜层的断层图像时，也能够以使得能够掌握整个视网膜层的形状的方式显示断层图像。

第二实施例：确定视网膜层是否与断层图像的端部接触

在上述第一实施例中，描述了如下示例：即使当拍摄了诸如高度近视眼的视网膜层的、高度弯曲的视网膜层的断层图像时，也能够以使得能够掌握整个视网膜层的形状的方式针对各断层图像生成和显示反转图像。在本实施例中，新提供了确定部，并且确定视网膜层是否与断层图像的端部接触。因此，能够自动确定是否要生成反转图像。此外，也能够自动确定是否要在显示部上显示反转图像。

在下文中，将使用图6和图7A至图7D描述第二实施例。请注意，关于具有与前述第一实施例的组成部件的功能类似的功能的组成部件，将省略其描述。图6是例示根据本实施例的包括图像处理设备610的图像处理***601的结构的图。在本实施例中，确定部616与第一实施例不同。在处理的流程中，在图2B所示的步骤S251中，第二实施例中用于确定是否要生成反转图像的确定方法与第一实施例不同。在第一实施例中，在高度近视眼用摄像模式下进行摄像，由此确定是否要生成反转图像。然后，描述了针对拍摄的各断层图像生成反转图像的示例。在本实施例中，确定部616针对拍摄的各断层图像确定是否需要生成反转图像。首先，将使用图7A至图7D描述能够生成反转图像的情况。

图7A例示了在断层图像中视网膜层回折的情况下的断层图像701和断层图像701的反转图像702的示例。图7B例示了在断层图像中视网膜层回折的情况下的断层图像701以及在反转图像中仅反映断层图像中的存在回折部分的部分的情况下的反转图像712的示例。如图7B所示，在反转图像中可以仅反映断层图像的与回折部分相对应的部分，关于断层图像的剩余部分，可以使用利用诸如图7D所示的插值图像705的像素值生成的图像。因此，能够减少不必要的信息。图7C例示了在断层图像中不存在回折部分的情况下的断层图像703以及断层图像703的反转图像704的示例。如图7C所示，对于不需要生成反转图像的断层图像来说，反转图像的生成是无用的。当通过进行一种扫描（诸如三维光栅扫描或径向扫描）拍摄多个断层图像时，将描述针对一些断层图像需要生成反转图像并且针对剩余断层图像不需要生成反转图像的情况。在这种情况下，关于不需要生成反转图像的断层图像，获得排除了视网膜层以外的背景区域的像素值的平均值，并且该平均值用作与反转图像相对应的区域的像素值。可选地，预先决定的值（例如，0）被用作与反转图像相对应的区域的像素值。在图7D中例示了该示例。图7D例示了断层图像703和插值图像705。图7D所示的插值图像705是针对在进行三维光栅扫描等的情况下不需要生成反转图像的各断层图像生成的图像。因此，在针对通过进行一种扫描拍摄的多个断层图像都需要或都不需要生成反转图像的情况下，不生成插值图像705。换言之，在执行一次扫描的情况下，插值图像705是需要使断层图像在水平方向或深度方向上的尺寸相同的图像。使用插值图像705，可以使纵横比与生成了反转图像702的不同断层图像的纵横比相同。此外，由确定部616自动确定要由反转图像生成部613生成的反转图像和插值图像在深度方向上的尺寸。接下来，将描述用于使用确定部616确定是否要生成反转图像的方法、用于使用确定部616决定反转图像的尺寸的方法、以及使用反转图像生成部613生成反转图像和插值图像的示例。

首先，为了去除噪声，确定部616使用中值滤波器对断层图像进行平滑化处理，从而获得图像。接下来，确定部616使用确定和分析方法对所获得的图像进行二值化处理，从而获得二值化图像。然后，确定部616对二值化图像进行标签处理（labeling process）。通过标签处理能够检测到各组二值化区域的尺寸。确定部616去除具有小尺寸的区域组，而仅留下具有大尺寸的区域组。确定部616使用形态转换对区域进行打开处理或关闭处理，从而仅留下视网膜层区域。请注意，平滑化处理以及用于自动确定上面提到的二值化的阈值的方法并不限于此，如果使用其他方法能够获得类似的结果，则可以使用这些方法。此外，这些处理是用于仅检测视网膜层区域的处理。因此，可以在缩小了图像的尺寸之后，进行这些处理，由此能够以更高的速度进行处理。通过确定视网膜层区域是否与图像的左上端部或右上端部接触来确定视网膜层是否被回折。将使用图8A和图8B对此进行描述。

在图8A和图8B中，附图标记801表示断层图像，附图标记802表示从断层图像检测到的视网膜层区域。将使用图8A描述图7A中所示的反转图像的生成的示例。关于视网膜层区域802，尺寸a是视网膜层区域的、视网膜层与断层图像的上端部接触的部分的长度的尺寸，并且尺寸h是视网膜层区域的、从断层图像的上端部到与断层图像的右端部或左端部接触的视网膜层的下端部的部分的长度的尺寸。当尺寸a和尺寸h中的各个等于或大于一定尺寸时，确定视网膜层在断层图像的上端部回折。这里，尺寸a和h中的各个表示针对断层图像在垂直方向和水平方向中的相应一个方向上的尺寸的一定比率的值。例如，尺寸a和h中的各个是与百分之几的比率相对应的尺寸。当视网膜层与断层图像的上端部接触的视网膜层区域802的尺寸a以及视网膜层与断层图像的左端部或右端部接触的视网膜层区域的尺寸h中的各个等于或小于一定尺寸时，不生成反转图像。请注意，在上述说明中，尺寸a是在图8A的情况下在断层图像的右上端部从视网膜层的左端部到右端部的长度的尺寸。然而，尺寸a并不限于此，也可以是从视网膜层的左端部到断层图像的右端部的长度的尺寸。此外，在生成反转图像的情况下，可以根据尺寸h来决定反转图像在深度方向上的尺寸。接下来，将使用图8B描述在反转图像中仅反映图7B所示的断层图像的一部分的示例。这里，如图8B所示，包括视网膜层图像区域的、视网膜层与断层图像的上端部和右端部或左端部接触的部分的区域被设置为关注区域（ROI）。由b表示该区域的尺寸。在反转图像中仅反映ROI中包括的图像，由此生成反转图像702。

关于反转图像的尺寸，当在进行三维光栅扫描的情况下，存在多个断层图像时，能够对所有断层图像进行与上述处理类似的处理，然后，反转图像生成部613能够根据断层图像的视网膜层区域的最大尺寸h来生成反转图像或插值图像。在多个断层图像之中，在确定针对一些断层图像需要生成反转图像的情况下，针对剩余断层图像生成具有与反转图像的尺寸相同的尺寸的插值图像。请注意，描述了以下示例：在多个断层图像之中，在确定针对一些断层图像需要生成反转图像的情况下，针对所有剩余断层图像生成插值图像。然而，反转图像和插值图像的生成不限于此。可能存在错误检测的情况，例如确定仅针对128个拍摄的断层图像中的一个断层图像需要生成反转图像的情况。因此，在确定针对拍摄的断层图像之中的、作为等于或大于阈值的数量的断层图像的数量（例如，等于或大于百分之三十）需要生成反转图像的情况下，可以确定要生成反转图像和插值图像。此外，描述用于自动决定反转图像和插值图像在深度方向上的尺寸的方法。然而，反转图像和插值图像在深度方向上的尺寸不一定需要动态可变。反转图像和插值图像在深度方向上的尺寸可以不必需针对每次摄像而彼此不同。因此，反转图像和插值图像在深度方向上的尺寸可以是固定值，或者基于尺寸h从多个尺寸（200个像素、300个像素、400个像素等）之中自动选择。当然，可以使用如下结构：从诸如上述尺寸的多个尺寸中手动选择反转图像在视网膜的深度方向上的尺寸。

请注意，在本实施例中，描述了如下示例：使用分别作为视网膜层区域的、视网膜层与断层图像的上端部接触的部分的长度的尺寸以及视网膜层区域的、视网膜层与断层图像的右端部或左端部接触的部分的长度的尺寸的尺寸a和h，来自动确定视网膜层是否回折。然而，视网膜层与断层图像的上端部在左右两侧（与图8A所示的尺寸相对应的部分）接触的程度也可以被用作用于确定视网膜层是否回折的指标。

如上所述，在本实施例中，能够由确定部自动确定是否要生成反转图像以及反转图像的尺寸。因此，仅当需要生成反转图像时，才生成反转图像。即使当拍摄了诸如高度近视眼的视网膜层的、高度弯曲的视网膜层的断层图像时，也能够以使得能够掌握整个视网膜层的形状的方式显示断层图像。

第三实施例：分析反转图像中的视网膜层

在上述第一和第二实施例中，描述了在检查摄像结果时进行反转图像的生成的示例。在本实施例中，将描述如下示例，其中还提供了图像分析部，并且在图像分析时进行反转图像的生成。将使用图9、图10A和图10B对此进行描述。请注意，关于具有与前述第一和第二实施例中的组成部件的功能相似的功能的组成部件，省略其描述。图9是例示根据本实施例的包括图像处理设备910的图像处理***900的结构的图。在本实施例中，图像分析部917和图像分析校正部918与第一和第二实施例不同。图像分析部917从视网膜层检测视网膜层的边界，并进行视网膜层的厚度或形状的分析。在图10A和图10B所示的处理的流程中，步骤S1005和S1006不同。

在本实施例中，将描述如下示例，其中还提供了图像分析部，并且在检查摄像结果时不进行反转图像的生成，而在图像分析时进行反转图像的生成。

步骤S1005

在步骤S1005中，检查图像被显示为摄像结果。将参照第一实施例中描述的图5A和图5B来对此进行描述。在第一实施例中，在摄像结果检查画面中确定是否要生成反转图像。然而，假定不进行是否要生成反转图像的确定，来描述本实施例。因此，可以被显示为图5B所示的摄像结果检查画面511的画面包括以下内容：断层图像401、眼底图像502、表示摄像时的摄像区域的标记505、用于确认摄像结果的按钮520、以及用于取消摄像结果的按钮521。换言之，在本实施例中，不需要显示用于提供生成近视用图像的指令的按钮522以及用于取消近视用图像的生成的按钮523。因此，在快速进行摄像并且稍后进行分析的情况下，操作者能够仅专注于摄像。

步骤S1006

在步骤S1006中，显示控制部115对断层图像115进行分析，并将分析结果显示在显示部300上。将参照图10B以及图11A至图11C来描述该处理。

步骤S1061

在步骤S1061中，图像分析部917对视网膜层进行检测。将使用图11A至图11C对此进行描述。在图11A中，例示了由确定部616检测到的视网膜层区域1102。确定部616使用第二实施例中描述的方法进行该处理。在视网膜层与断层图像的上端部以及左端部或右端部接触的区域所在的部分中设置掩模区域1103（图11A的右侧的斜线区域）。不进行该部分中的视网膜层的检测。图像分析部917从排除了设置掩膜区域的部分以外的断层图像中对视网膜层进行检测。图像分析部917检测到作为内界膜（ILM）的边界、神经纤维层（NFL）与神经节细胞层（GCL）之间的边界、感光体内外段结（ISOS，photoreceptor inner/outer segmentjunction）的边界、以及视网膜色素上皮细胞（RPE）的边界的各边界中的任何一个。首先，图像分析部917单独地将中值滤波器和Sobel滤波器应用于断层图像1105，从而生成图像（下文中，被称为“中值图像”和“Sobel图像”）。接下来，图像分析部917基于每次A扫描、由已生成的中值图像和Sobel图像来生成轮廓图（profile）。由中值图像生成基于亮度值的轮廓图，并且由Sobel图像生成基于梯度的轮廓图。图像分析部917检测由Sobel图像生成的轮廓图中的峰值。图像分析部917参照作为与检测到的峰值前后的值或峰值之间的值对应的、由中值图像生成的轮廓图的内容，来检测视网膜层的各区域之间的边界。这里，图11B例示了检测到的视网膜层的边界的示例。在图11B中使用粗线例示了检测到的边界线。如图11B所示，关于视网膜层在断层图像的上端部回折的掩膜区域1103，由于难以在掩膜区域1103中检测视网膜层，所以不进行掩膜区域1103中的视网膜层的检测。

步骤S1062

在步骤S1062中，确定在摄像时是否提供了用于生成反转图像的指定。在本实施例中，与第二实施例相同，由确定部616确定是否要生成反转图像或插值图像。当确定针对通过进行一次扫描拍摄的多个断层图像中的一些需要生成反转图像和插值图像时，处理进行到步骤S1063。请注意，确定不需要生成反转图像和插值图像，处理进行到步骤S1068。下面将对此进行描述。

步骤S1063

在步骤S1063中，反转图像生成部613进行反转图像的生成。关于反转图像的生成，如第二实施例所述，通过由确定部616进行的确定的结果来决定由反转图像生成部613生成的反转图像和插值图像的尺寸。

步骤S1064

在步骤S1064中，图像分析部917的检测单元进行反转图像区域中的视网膜层的检测。图像分析部917针对在步骤S1061中检测到的视网膜层的边界来检测反转图像区域中的视网膜层。使用与图11B所示的掩模区域1103相邻的边界线的位置作为初始值，在掩模区域和反转图像区域中搜索边缘。在这种情况下，在边界线连续存在的方向上搜索边缘，并且在图11A至图11C中，搜索在右上方向上连续的边缘。Sobel滤波器被设置为检测在倾斜方向上延伸的边缘，使得在这些区域容易检测到视网膜层的边界。请注意，在左端部和右端部都存在视网膜层回折的区域的情况下，可以对左端部和右端部应用不同的滤波器，使得容易地检测到各方向上的边缘。这里，在图11C中例示了检测到的视网膜层的边界的示例。在图11C中，使用粗线例示了所检测到的边界线。如图11C所示，在视网膜层在断层图像的上端部回折的掩模区域1103中以及在反转图像区域1106中检测到视网膜层的边界。如上所述，能够通过考虑到具有视网膜层的边界平滑连接的形状的视网膜层的连续性，来检测视网膜层的边界。

步骤S1065

在步骤S1065中，图像分析部917进行形状分析。作为形状分析，例如，图像分析部917计算视网膜层的厚度或曲率。关于视网膜层的厚度，例如，假定检测到ILM和RPE。在这种情况下，图像分析部917计算整个视网膜层的厚度。在图11A至图11C中，通过求出在XZ平面中的各x坐标处的ILM的z坐标与RPE的z坐标的差能够计算视网膜层的厚度。此外，不仅可以求出视网膜层的厚度，还可以求出视网膜的面积或体积。通过对一个断层图像中沿X轴的各坐标处的层厚度进行相加能够计算视网膜层的面积。通过对所求出的面积沿Y轴方向进行相加能够计算视网膜层的体积。这些计算结果被存储在存储部112中。这里，描述整个视网膜层的计算的示例。然而，能够类似地求出其它层（例如，NFL）的面积或体积。

此外，在计算视网膜层的曲率的情况下，计算作为形状分析的对象的层（RPE）的边界线的曲率。通过针对边界线的各点计算公式（1）能够求出曲率k。能够基于曲率k的符号确定层向上凸还是向下凸，并且基于曲率k的数值的大小来确定形状的曲度。因此，在用“+”表示向上凸并且用“-”表示向下凸的情况下，当在各断层图像中存在具有“-”符号的曲率的区域、具有“+”符号的曲率的区域、以及具有“-”符号的曲率的区域时，这代表W形状。层的曲率的符号根据层向上凸还是向下凸而改变。因此，在视网膜层在断层图像的上端部回折的状态下，通过使用与视网膜层的原始形状接近的形状而不使用视网膜层的形状进行分析能够获得期望的结果。

$k=\frac{\frac{d^{2}z}{{\mathrm{dx}}^2}}{{(1+\left(\frac{\mathrm{dz}}{\mathrm{dx}}\right))}^{\frac{3}{2}}}...\left(1\right)$

请注意，这里，描述了使用断层图像中的边界线计算曲率的情况。然而，曲率的计算不限于此。可以由三维数据来计算三维曲率。

请注意，当由图像分析部917错误地检测到视网膜层的边界时，图像分析校正部918能够根据操作者提供的指令进行手动修改。

步骤S1066

在步骤S1066中，作为分析结果，显示检查图像。在图12A和图12B中例示了该示例。在图12A中，附图标记1210表示断层图像观察画面。附图标记1201表示断层图像。附图标记1202表示反转图像。附图标记1211表示近视分析执行按钮。附图标记1212表示近视分析取消按钮。在步骤S1066中，由于在生成了反转图像的流程中包括步骤S1066，所以近视分析执行按钮1211处于不可选状态。近视分析取消按钮1212处于可选状态。视网膜层的边界的检测结果被叠加并显示在断层图像1201和反转图像1202上。请注意，在决定要显示断层图像的区域的尺寸的情况下，不进行仅减少图像在深度方向上的尺寸的处理，能够使用与仅显示断层图像1201的情况下使用的图像的纵横比相同的纵横比来显示断层图像1201，并且根据该纵横比能够显示反转图像1202。

附图标记1203表示SLO（眼底图像）。附图标记1232表示被叠加并显示在使用SLO的图像上的摄像范围。附图标记1231表示眼底图像切换下拉框。关于眼底照片、眼底照片+SLO、SLO+分析地图等，通过切换眼底图像切换下拉框能够进行它们之间的切换，并且因此能够显示它们中的任何一个。

附图标记1204表示层厚度地图。附图标记1241表示地图类型切换下拉框。附图标记1205表示层厚度曲线图。关于诸如整个视网膜层厚度地图以及曲率地图等的地图的类型，通过切换地图类型切换下拉框1241来进行地图类型之间的切换，并且因此，能够显示地图类型中的任意一者。关于层厚度曲线图1205，也能够根据地图的类型来切换要显示的曲线图的类型。

如图12A和图12B中例示的示例所示，即使当存在视网膜层在断层图像的上端部回折的区域时，也能够检测到整个图像的视网膜层区域。因此，层厚度地图1204和层厚度曲线图1205不具有任何缺陷部分，并且能够显示进行了整体分析的状态。

步骤S1067

在步骤S1067中，选择近视分析取消按钮1212，由此处理进行到步骤S1069。当不选择近视分析取消按钮1212时，处理从图像分析/显示处理返回到主流程。

步骤S1068

在步骤S1068，在不生成反转图像的情况下，图像分析部917进行形状分析。作为形状分析的方法，使用与在步骤S1065中使用的方法类似的方法。然而，对排除了图11B所示的掩膜区域1103以外的断层图像1105上的区域进行形状分析。

步骤S1069

在步骤S1069中，作为分析结果，显示检查图像。将使用图12B对此进行描述。在图12B中例示了与图12A所示的画面结构类似的画面结构。然而，在图12B中，显示断层图像1201，但不显示反转图像1202。此外，表示视网膜层的边界的显示构形被叠加并显示在断层图像上。然而，检测到视网膜层的范围仅延伸到视网膜层与断层图像的上端部不接触的区域。此外，近视分析执行按钮1211处于可选状态，近视分析取消按钮1212处于不可选状态。

如图12B所示，在断层图像1201中，在存在视网膜层回折的区域的情况下，层厚度地图1244和层厚度曲线图1255具有缺陷区域。

步骤S1070

在步骤S1070中，选择近视分析执行按钮1211，由此处理进入到步骤S1063。当未选择近视分析执行按钮1211时，处理从图像分析/显示处理返回到主流程。

请注意，在本实施例中，描述了如下示例，其中提供了图像分析部，并且在检查摄像结果时不进行反转图像的生成，而在图像分析时进行反转图像的生成。反转图像的生成不必限于此。例如，如果在检查摄像结果时检查是否进行反转图像的生成，则在图像分析时不需要检查是否进行反转图像的生成。在这种情况下，在图10A和图10B所示的处理的流程中，在步骤S1062中，基于在检查摄像结果时进行的确定结果来划分处理的流程。在步骤S1067和S1070中进行的确定处理的流程变得不必要。

如上所述，在本实施例中，由图像分析部能够进行视网膜层的检测以及视网膜层的形状的分析。此外，在要生成反转图像的情况下以及在不生成反转图像的情况下，能够进行分析。即使当拍摄了诸如高度近视眼的视网膜层的、高度弯曲的视网膜层的断层图像时，也能够以使得能够获得整个视网膜层的形状的方式显示断层图像，并且能够显示形状分析结果。

第四实施例：显示新生成的断层图像的分析结果

在上述第一至第三实施例中，描述了如下示例：当拍摄了诸如高度近视眼的视网膜层的、高度弯曲的视网膜层的断层图像时，通过生成反转图像来显示整个视网膜层的形状。在本实施例中，将描述如下示例，其中显示表示分析结果的显示构形，而不显示视网膜层的形状。请注意，关于具有与前述第一至第三实施例中的组成部件的功能类似的功能的组成部件，将省略其描述。

将参照第三实施例中使用的图10A和图10B所示的流程以及图13描述本实施例。参照图10B，将描述在步骤S1066中的检查图像的显示。如图13所示，在本实施例中，在步骤S1066中，不显示反转图像，但显示断层图像1201。此外，在断层图像1201上叠加并且显示视网膜层的边界的检测结果。在这种情况下，使用未显示的反转图像检测到的视网膜层的边界的检测结果被上下反转，并被叠加和显示在断层图像1201上。因此，即使当不显示反转图像时，利用使用反转图像检测到的视网膜层的边界的检测结果也能够显示具有高精确度的层厚度曲线图1205。

如上所述，在本实施例中，由图像分析部能够进行视网膜层的检测以及视网膜层的形状的分析。此外，在要生成反转图像的情况下以及在不生成反转图像的情况下，能够进行分析。即使当拍摄了诸如高度近视眼的视网膜层的、高度弯曲的视网膜层的图像时，也能够显示整个视网膜层的形状的形状分析结果。请注意，诸如按钮的用户界面的布局或显示构形的布局不限于上述布局。

其他实施例

另外，可以通过读出并执行记录在存储介质（例如，非临时性计算机可读存储介质）上用以执行本发明的上述实施例中的一个或更多实施例的功能的计算机可执行指令的***或装置的计算机，来实现本发明的各实施例，并且可以利用由例如读出并执行来自存储介质的用以执行上述实施例中的一个或更多实施例的功能的计算机可执行指令的***或装置的计算机来执行的方法，来实现本发明的各实施例。所述计算机可以包括中央处理单元（CPU）、微处理单元（MPU）或其他电路中的一者或更多，并且可以包括单独的计算机或单独的计算机处理器的网络。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算***的存储器、光盘（诸如压缩盘（CD）、数字通用盘（DVD）或蓝光盘（BD）TM）、闪存设备、存储卡等中的一者或更多。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (16)

1.一种图像处理设备，该图像处理设备包括：

获取单元，其被配置为获取被检眼的视网膜的断层图像；以及

生成单元，其被配置为使用所获取的断层图像的至少一部分被反转的反转图像以及所获取的断层图像，来生成新断层图像，使得所述反转图像位于所获取的断层图像中的视网膜层与所获取的断层图像的端部接触的侧上。

2.根据权利要求1所述的图像处理设备，其中，所获取的断层图像中的视网膜层与所获取的断层图像的端部接触的侧是所获取的断层图像中的相干门侧。

3.根据权利要求1所述的图像处理设备，所述图像处理设备还包括：

显示控制单元，其被配置为使显示单元显示所生成的新断层图像。

4.根据权利要求3所述的图像处理设备，所述图像处理设备还包括：

检测单元，其被配置为检测所获取的断层图像中的所述视网膜层的边界，并考虑到所获取的断层图像中的所述视网膜层与所述反转图像中的所述视网膜层之间的连续性，来检测所述反转图像中的所述视网膜层的边界，

其中，所述显示控制单元使所述显示单元以表示所检测到的边界的显示构形被叠加在所生成的新断层图像上的状态来显示所述显示构形。

5.根据权利要求1所述的图像处理设备，所述图像处理设备还包括：

检测单元，其被配置为检测所获取的断层图像中的所述视网膜层的边界，并考虑到所获取的断层图像中的所述视网膜层与所述反转图像中的所述视网膜层之间的连续性，来检测所述反转图像中的所述视网膜层的边界；

图像分析单元，其被配置为使用所检测到的边界来分析所生成的新断层图像；以及

显示控制单元，其被配置为使所述显示单元显示表示由所述图像分析单元进行的分析的结果的显示构形。

6.根据权利要求3所述的图像处理设备，所述图像处理设备还包括：

确定单元，其被配置为确定所述视网膜层是否与所获取的断层图像的端部接触，

其中，在所述视网膜层与所述断层图像的端部接触的情况下，所述显示控制单元使所述显示单元显示所生成的新断层图像。

7.根据权利要求3所述的图像处理设备，所述图像处理设备还包括：

指令单元，其被配置为提供用于生成所述反转图像的指令，

其中，所述显示控制单元根据由所述指令单元提供的所述指令，来使所述显示单元显示所生成的新断层图像。

8.根据权利要求3所述的图像处理设备，其中，在所获取的断层图像是在高度近视眼用摄像模式下拍摄的情况下，所述显示控制单元使所述显示单元显示所生成的新断层图像。

9.根据权利要求3所述的图像处理设备，所述图像处理设备还包括：

选择单元，其被配置为使所述显示单元显示所生成的新断层图像以及所述反转图像中的任意一者。

10.根据权利要求1所述的图像处理设备，所述图像处理设备还包括：

选择单元，其被配置为从多个范围之中选择所述反转图像在所述视网膜的深度方向上的范围，

其中，所述生成单元生成具有所选择的范围的反转图像，并且使用所生成的反转图像以及所获取的断层图像来生成新断层图像。

11.一种图像处理设备，该图像处理设备包括：

获取单元，其被配置为获取被检眼的视网膜的断层图像；

图像分析单元，其被配置为对所获取的断层图像中的视网膜层的如下部分进行分析，该部分为所述视网膜层与所述视网膜层跟所获取的断层图像的端部接触的侧上的所述视网膜层的回折部分之间的重叠；以及

显示控制单元，其被配置为使显示单元显示所述断层图像以及表示由所述图像分析单元进行的分析的结果的显示构形。

12.根据权利要求11所述的图像处理设备，其中，所述图像分析单元在所述回折部分中检测所述视网膜层的方向根据所获取的断层图像的右端部或左端部而不同。

13.一种图像处理***，该图像处理***包括：

根据权利要求1所述的图像处理设备；以及

光学相干断层扫描设备，其被配置为拍摄所获取的断层图像，

其中，所述图像处理设备与所述光学相干断层扫描设备相互连接以能够相互通信。

14.一种图像处理***，该图像处理***包括：

根据权利要求11所述的图像处理设备；以及

光学相干断层扫描设备，其被配置为拍摄所获取的断层图像，

其中，所述图像处理设备与所述光学相干断层扫描设备相互连接以能够相互通信。

15.一种图像处理方法，该图像处理方法包括：

获取步骤，获取被检眼的视网膜的断层图像；以及

生成步骤，使用所获取的断层图像的至少一部分被反转的反转图像以及所获取的断层图像，来生成新断层图像，使得所述反转图像位于所获取的断层图像中的视网膜层与所获取的断层图像的端部接触的侧上。

16.一种图像处理方法，该图像处理方法包括：

获取步骤，获取被检眼的视网膜的断层图像；

分析步骤，对所获取的断层图像中的视网膜层的如下部分进行分析，该部分为所述视网膜层与所述视网膜层跟所获取的断层图像的端部接触的侧上的所述视网膜层的回折部分之间的重叠；以及

显示步骤，使显示单元显示所述断层图像以及所述分析步骤中的分析结果。