CN112822972A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明提供图像处理装置，其具有：获取单元，其获取被检体的第一断层图像；以及图像质量改善单元，其通过使用学习模型从第一断层图像生成第二断层图像，使得对第一断层图像的不同区域进行了不同的图像处理。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及一种图像处理装置、图像处理方法和程序。

背景技术

当前正在使用利用光学设备的各种眼科设备。例如，诸如眼前段摄像装置、眼底照相机和扫描激光检眼镜(SLO)的各种设备正在被用作用于观察眼睛的光学设备。

在这样的设备中，基于利用多波长光波干涉的光学相干断层摄影(OCT)的光学相干断层摄影装置(OCT装置)能够以高分辨率获得样品的断层图像。因此，在专门从事视网膜护理的门诊中，OCT装置是必不可少的眼科设备。OCT装置也正在被用于内窥镜等，而不仅用于眼科。OCT装置被广泛地用于眼科诊断等中，以获得被检眼的眼底的视网膜的断层图像或诸如角膜的眼前段的断层图像。

用OCT装置摄像的断层图像的源数据通常是约32位的浮点数据或10位以上的整数数据，并且是具有高动态范围的数据，其包括从非常低辉度信息到高辉度信息的范围中的数据。另一方面，可以在普通显示器上显示的数据是动态范围相对较低的数据，例如8位整数数据。因此，当将具有高动态范围的这种源数据按原样转换成具有低动态范围的数据以进行显示时，对于眼底部的诊断很重要的视网膜部的对比度显著降低。

因此，在普通的OCT装置中，当将断层图像的源数据转换成用于显示的数据时，通过丢弃一定量的低辉度侧数据来获得视网膜部的良好对比度。在这种情况下，在所显示的断层图像中，与显示为低辉度区域的玻璃体部或脉络膜部等有关的区域的对比度降低，并且观察玻璃体部或脉络膜部的内部结构变得困难。

另一方面，当对断层图像的源数据进行灰度转换以确保与玻璃体部或脉络膜部等有关的区域的对比度以便更仔细地观察玻璃体部或者脉络膜部的内部结构时，高辉度视网膜部的区域的对比度降低，并且观察视网膜部变得困难。

近年来，不仅需要对被检眼进行局部观察，而且需要对被检眼进行全面观察。考虑到这种需要，在专利文献1中，提出了一种方法，该方法对断层图像进行分割，为所识别的各局部区域设置显示条件，并进行灰度转换处理。

[引用列表]

[专利文献]

专利文献1：国际公开第WO 2014/203901号

发明内容

[技术问题]

在患病的眼睛中，由于层的消失、出血以及白细胞或新血管部位的出现，视网膜的形状变得不规则。因此，在利用视网膜形状的规则性来确定图像特征提取结果并检测视网膜层的边界的传统分割处理方法中，存在如下局限性：当自动进行视网膜层的边界的检测时，会发生错误检测等。在这种情况下，由于在分割处理中的错误检测等，存在无法对各局部区域(观察目标)适当地进行灰度转换处理等以便对被检眼进行全面观察的情况。

因此，本发明的一个目的是提供一种图像处理装置、图像处理方法和程序，其能够生成看起来是已经对其进行了适合观察目标的各区域的图像处理的图像的图像。

[解决问题的方案]

根据本发明的一个实施例的图像处理装置包括：获得单元，其被构造为获得被检体的第一医学图像；以及图像质量改善单元，其被构造为由第一医学图像生成第二医学图像，该第二医学图像看起来是使用学习模型对第一医学图像中的不同区域进行了不同图像处理的图像。

根据本发明的另一实施例的图像处理方法包括：获得被检体的第一医学图像；以及由第一医学图像生成第二医学图像，该第二医学图像看起来是使用学习模型对第一医学图像中的不同区域进行了不同图像处理的图像。

根据下面参照附图对示例性实施例的描述，本发明的进一步特征将变得显而易见。

附图说明

[图1]图1是示出根据实施例1的OCT装置的示意构造示例的图。

[图2]图2是示出根据实施例1的摄像单元的示意构造示例的图。

[图3]图3是示出根据实施例1的控制单元的示意构造示例的图。

[图4]图4是用于描述视网膜部、玻璃体部和脉络膜部的分割的说明图。

[图5A]图5A是用于描述一般显示图像处理的说明图。

[图5B]图5B是用于描述一般显示图像处理的说明图。

[图5C]图5C是用于描述一般显示图像处理的说明图。

[图5D]图5D是用于描述一般显示图像处理的说明图。

[图6A]图6A是用于描述便于观察视网膜部的转换处理的说明图。

[图6B]图6B是用于描述便于观察视网膜部的转换处理的说明图。

[图7A]图7A是用于描述便于观察玻璃体部和脉络膜部的转换处理的说明图。

[图7B]图7B是用于描述便于观察玻璃体部和脉络膜部的转换处理的说明图。

[图8A]图8A是示出训练数据的示例的图。

[图8B]图8B是示出训练数据的示例的图。

[图9A]图9A是示出训练数据的示例的图。

[图9B]图9B是示出训练数据的示例的图。

[图10]图10是示出学习模型的构造的示例的图。

[图11]图11是示出根据实施例1的一系列图像处理操作的流程图。

[图12A]图12A是示出训练数据的不同示例的图。

[图12B]图12B是示出训练数据的不同示例的图。

[图12C]图12C是示出训练数据的不同示例的图。

[图13A]图13A是用于描述在玻璃体模式下的摄像的说明图。

[图13B]图13B是用于描述在玻璃体模式下的摄像的说明图。

[图13C]图13C是用于描述在玻璃体模式下的摄像的说明图。

[图14A]图14A是用于描述脉络膜模式下的摄像的说明图。

[图14B]图14B是用于描述脉络膜模式下的摄像的说明图。

[图14C]图14C是用于描述脉络膜模式下的摄像的说明图。

[图15A]图15A是示出训练数据的不同示例的图。

[图15B]图15B是示出训练数据的不同示例的图。

[图15C]图15C是示出训练数据的不同示例的图。

[图16]图16是示出根据实施例2的控制单元的示意构造示例的图。

[图17]图17是示出根据实施例2的一系列图像处理操作的流程图。

[图18A]图18A是示出用于选择期望关注的区域的显示画面的示例的图。

[图18B]图18B是示出用于选择期望关注的区域的显示画面的示例的图。

[图18C]图18C是示出用于选择期望关注的区域的显示画面的示例的图。

[图19]图19是示出根据实施例3的控制单元的示意构造示例的图。

[图20]图20是示出根据实施例3的一系列图像处理操作的流程图。

[图21A]图21A是示出多个OCTA en-face图像的示例的图。

[图21B]图21B是示出多个断层图像的示例的图。

[图22A]图22A是示出根据实施例4的用户界面的示例的图。

[图22B]图22B是示出根据实施例4的用户界面的示例的图。

[图23]图23是示出根据实施例4的用户界面的示例的图。

[图24A]图24A是示出根据变型例13的用作机器学习模型的神经网络的构造示例的图。

[图24B]图24B是示出根据变型例13的用作机器学习模型的神经网络的构造示例的图。

[图25A]图25A是示出根据变型例13的用作机器学习模型的神经网络的构造示例的图。

[图25B]图25B是示出根据变型例13的用作机器学习模型的神经网络的构造示例的图。

具体实施方式

现在将参照附图详细描述用于实现本发明的示例性实施例。然而，以下实施例中描述的部件的尺寸、材料、形状和相对位置没有确定，并且可以根据应用本发明的装置的构造或根据各种条件改变。此外，在不同附图中，相同或功能类似的元件由相同的附图标记表示。

在下文中，术语“机器学习模型”是指根据机器学习算法学习的学习模型。用于机器学习的算法的特定示例包括最近邻居法、朴素贝叶斯法、决策树和支持向量机。此外，还可以提及利用神经网络本身生成特征值并组合用于学习的加权因子的深度学习(深度结构化学习)。可以适当地使用上述算法中可以利用的算法，并将其应用于以下描述的实施例和变型例。此外，术语“训练数据”是指由成对的输入数据和输出数据构成的训练数据。此外，术语“正确答案数据”是指训练数据的输出数据。

请注意，术语“学习模型”是指针对根据诸如深度学习的任何机器学习算法的机器学习模型，预先使用适当的训练数据进行了训练(学习)的模型。然而，尽管学习模型是预先使用适当的训练数据而获得的模型，但是假定学习模型不是不进行进一步学习的模型，而是可以进行增量学习的模型。在将装置安装在使用目的地之后，也可以进行增量学习。

(实施例1)

现在将参照图1至图13C描述根据实施例1的OCT装置。图1是示出根据本实施例的OCT装置的示意构造示例的图。

(主体构造)

OCT装置1包括摄像单元20、控制单元30(图像处理装置)、输入单元40和显示单元50。在摄像单元20中设置有测量光学***21、台单元(stage unit)25和基座单元23。测量光学***21可以获得眼前段图像、被检眼的SLO眼底图像以及断层图像。测量光学***21通过台单元25设置在基座单元23上。台单元25支撑测量光学***21，从而能够在前、后、左、右方向上移动。在基座单元23中设置有稍后将描述的分光计等。

控制单元30连接到摄像单元20和显示单元50，并且可以控制这些单元。控制单元30可以基于从摄像单元20等获得的断层信息来生成断层图像并进行图像处理等。请注意，控制单元30可以通过诸如因特网等任何网络连接到图中未示出的其他任意装置。

输入单元40也连接到控制单元30。输入单元40由操作者(检查者)操作，并且用于将指令输入到控制单元30。输入单元40可以包括任何输入设备，并且，例如，可以包括键盘和鼠标等。显示单元50由任何显示器构成，并且可以根据控制单元30的控制来显示与被检体有关的信息和各种图像等。

(摄像单元的构造)

接下来，将参照图2描述摄像单元20的构造。图2是示出根据本实施例的摄像单元20的示意构造示例的图。

首先，将描述测量光学***21的构造。在测量光学***21中，物镜201被布置成面对被检眼E，并且在物镜201的光轴上布置有第一二向色镜202和第二二向色镜203。从物镜201的光路被二向色镜根据相应的波长带分支为OCT光学***的光路L1、用于固视灯和SLO光学***的光路L2以及用于观察眼前段的光路L3，该SLO光学***用于观察被检眼E和获取SLO眼底图像。

请注意，在本实施例中，用于观察眼前段的光路L3设置在第一二向色镜202的反射方向上，并且OCT光学***的光路L1和用于SLO光学***和固视灯的光路L2设置在第一二向色镜202的透射方向上。此外，OCT光学***的光路L1设置在第二二向色镜203的反射方向上，并且用于SLO光学***和固视灯的光路L2设置在第二二向色镜203的透射方向上。然而，设置各个光学***的光路的方向不限于此，并且可以根据期望的构造任意改变。

SLO扫描单元204、透镜205和206、反射镜207、第三二向色镜208、光电二极管209、SLO光源210和固视灯211设置在用于SLO光学***和固视灯的光路L2上。请注意，在本实施例中，SLO光源210设置在第三二向色镜208的反射方向上，并且固视灯211设置在第三二向色镜208的透射方向上。然而，固视灯211可以设置在第三二向色镜208的反射方向上，并且SLO光源210可以设置在第三二向色镜208的透射方向上。

SLO扫描单元204是扫描单元，其在被检眼E上方扫描从SLO光源210和固视灯211发射的光，并且包括在X轴方向上扫描的X扫描器和在Y轴方向上扫描的Y-扫描器。在本实施例中，由于需要X扫描器进行高速扫描，因此X扫描器由多面镜构成，而Y扫描器由检流计镜构成。请注意，SLO扫描单元204的构造不限于该构造，并且可以根据期望的构造任意地改变。

透镜205可以由被控制单元30控制的电机(未示出)等沿着图中箭头所示的光轴方向驱动，以对SLO光学***和固视灯进行聚焦。反射镜207是其上已经沉积有穿孔反射镜或中空反射镜的棱镜，并且可以分离来自SLO光源210的投射光和来自被检眼E的返回光。第三二向色镜208针对各波长带分离到SLO光源210的光路和到固视灯211的光路。

例如，SLO光源210产生波长在780nm附近的光。光电二极管209针对从SLO光源210照射的投射光检测来自被检眼E的返回光。固视灯211用于生成可见光以促进被检体的视觉固视。

从SLO光源210发射的投射光被第三二向色镜208反射，透射通过反射镜207，穿过透镜206和205，并由SLO扫描单元204在被检眼E上方扫描。来自被检眼E的返回光沿着与投射光相同的路径返回，然后被反射镜207反射并被引导至光电二极管209。控制单元30可以基于SLO扫描单元204的驱动位置和光电二极管209的输出来生成SLO眼底图像。

从固视灯211发射的光透射通过第三二向色镜208和反射镜207，穿过透镜206和205，并由SLO扫描单元204在被检眼E上方扫描。此时，通过根据SLO扫描单元204的移动使固视灯211闪烁，控制单元30可以在被检眼E上的任何位置处形成任意形状，从而促进被检体的视觉固视。

透镜212和透镜213、分离棱镜214和用于观察检测红外光的眼前段的CCD 215被设置在用于观察眼前段的光路L3上。CCD 215对用于观察眼前段(未示出)的照射光的波长，特别是970nm附近的波长具有灵敏度。分离棱镜214被设置在与被检眼E的瞳孔共轭的位置处。控制单元30可以基于CCD 215的输出来生成眼前段图像。通过使用基于穿过分离棱镜214的光的眼前段的分离图像，控制单元30可以检测测量光学***21相对于被检眼E在Z轴方向(前后方向)上的距离。

用于拍摄被检眼E的断层图像的OCT光学***被设置在该OCT光学***的光路L1上。更具体地，该OCT光学***用于获得干涉信号，以生成被检眼E的断层图像。

在OCT光学***的光路L1上设置有X-Y扫描器216、透镜217和透镜218以及光纤224的光纤端。X-Y扫描器216是OCT扫描单元，用于在被检眼E上方扫描稍后描述的测量光。尽管X-Y扫描器216被示为单个反射镜，但是它由用于在两个方向即X轴方向和Y轴方向上扫描测量光的两个检流计镜构成。请注意，X-Y扫描器216的构造不限于该构造，并且可以根据期望的构造任意地改变。例如，X-Y扫描器216可以由能够利用一个反射镜在二维方向上偏转光的MEMS反射镜构成。

透镜217可以由被控制单元30控制的电机(未示出)等在图中箭头所示的光轴方向上驱动。通过使用电机(未示出)等驱动透镜217，控制单元30可以将从连接到光耦合器219的光纤224发射的测量光聚焦到被检眼E上。作为这种聚焦的结果，来自被检眼E的测量光的返回光在光纤224的尖端处被成像为点状，并且同时进入光纤224。

接下来，将描述从OCT光源220延伸的光路、参考光学***和光谱仪230的构造。OCT光源220通过光纤225连接到光耦合器219。光纤224、225、226和227连接到光耦合器219。光纤224、225、226和227是与光耦合器219集成连接的单模光纤。

光纤224的光纤端设置在OCT光路L1上，并且测量光穿过光纤224和设置在光纤224上的测量光侧的偏振调整单元228，从而进入OCT光路L1。另一方面，光纤226的光纤端设置在参考光学***的光路上，并且稍后描述的参考光穿过光纤226和设置在光纤226上的参考光侧的偏振调整单元229，从而进入参考光学***的光路。在参考光学***的光路上设有透镜223、色散补偿玻璃222和参考反射镜221。光谱仪230连接到光纤227。

这些部件构成了迈克尔逊干涉***。请注意，尽管在本实施例中使用迈克尔逊干涉***作为干涉***，但是也可以使用马赫曾德尔干涉***。根据测量光和参考光之间的光量差，在光量差大的情况下可以使用马赫曾德尔干涉***，而在光量差相对较小的情况下可以使用迈克尔逊干涉***。

OCT光源220发射将由OCT用于测量的光。在本实施例中，作为典型的低相干光源的超发光二极管(SLD)被用作OCT光源220。在本实施例中使用的SLD具有855nm的中心波长和大约100nm的波长带宽。在这种情况下，带宽影响获得的断层图像的光轴分辨率，因此是重要的参数。此外，对于光源的种类，尽管在这种情况下选择了SLD，但是只要该光源能够发射低相干光且也可以使用放大的自发发射(ASE)等就足够了。考虑到对眼睛摄像的目的，中心波长可以落在近红外范围内。此外，由于中心波长影响获得的断层图像的横向分辨率，因此可以使中心波长尽可能短。在本实施例中，由于上述两个原因，中心波长被设置为855nm。

从OCT光源220发射的光通过光纤225进入光耦合器219。进入光耦合器219的光被光耦合器219分为向光纤224侧行进的测量光和向光纤226侧行进的参考光。测量光沿着OCT光学***的上述光路L1穿过，并照射到作为被检对象的被检眼E上。作为由被检眼E对测量光反射和散射的结果而产生的测量光的返回光沿着与测量光相同的光路行进，并到达光耦合器219。

另一方面，参考光经由光纤226、透镜223和色散补偿玻璃222到达参考反射镜221，然后由参考反射镜221反射，该色散补偿玻璃222被***以用于使测量光的色散与参考光的色散匹配。其后，参考光沿着相同的光路返回并到达光耦合器219。参考反射镜221由控制单元30控制的电机(未示出)等可调整地保持在图中箭头所示的光轴方向上。

测量光和参考光通过光耦合器219耦合在一起成为干涉光。在这种情况下，当测量光的光路长度和参考光的光路长度彼此基本相等时发生干涉。通过控制电机(未示出)等在光轴方向上移动参考反射镜221，控制单元30可以使参考光的光路长度与根据被检眼E而变化的测量光的光路长度匹配。

请注意，在测量光侧的偏振调整单元228和在参考光侧的偏振调整单元229均具有光纤成环的多个部分。通过使环部分围绕各根光纤的纵向方向旋转以扭转相关光纤，偏振调整单元228和229可以对测量光和参考光的偏振状态进行调整和匹配。

在光耦合器219处生成的干涉光经由光纤227被引导到设置在基座单元23中的光谱仪230。透镜234和232、衍射光栅233和线传感器231被设置在光谱仪230中。从光纤227射出的干涉光被透镜234转换成平行光，然后被衍射光栅233光谱分离，并且由透镜232在线传感器231上成像。控制单元30可以使用基于从线传感器231输出的干涉光的干涉信号来生成被检眼E的断层图像。

通过以上构造，可以使用摄像单元20获得被检眼E的断层图像，并且甚至在近红外光的情况下，也可以获得具有高对比度的被检眼E的SLO眼底图像。

(断层图像的摄像方法)

接下来，将描述使用OCT装置1对断层图像进行摄像的方法。在OCT装置1中，通过控制单元30对X-Y扫描器216的控制，可以对被检眼E的预定部位的断层图像进行摄像。这里，测量光在被检眼E上方扫描所沿着的轨迹被称为“扫描图案”。扫描图案的示例包括：以一个点为中心的十字形状在垂直和水平方向上进行扫描的交叉扫描；以及作为进行扫描以填充整个区域的结果而获得三维断层图像的3D扫描。交叉扫描适合于期望对特定部位进行详细观察的情况，而3D扫描适合于期望观察整个视网膜的层结构或层厚度的情况。

这里，将描述在执行3D扫描的情况下的摄像方法。首先，在图中的X轴方向(主扫描方向)上进行测量光的扫描，并且由线传感器231获得与从被检眼E的X轴方向上的摄像范围进行摄像的预定轮数相关的信息。

这里，获得在被检眼E的X轴方向上的一个点处的深度方向上的断层信息被称为“A扫描”。将通过A扫描获得的线传感器231上的辉度分布进行快速傅立叶变换(FFT)，并且为了在显示单元50上显示获得的信息，将通过FFT获得的线性辉度分布转换为密度信息。因此，可以生成基于通过A扫描获得的信息的A扫描图像。此外，通过对准多个A扫描图像，可以获得作为二维图像的B扫描图像。

通过对多个A扫描图像进行摄像以形成一个B扫描图像，随后在Y轴方向(副扫描方向)上移动扫描位置并在X轴方向上再次进行扫描，可以获得多个B扫描图像。通过在显示单元50上显示多个B扫描图像或由多个B扫描图像构成的三维断层图像，检查者可以观察被检眼E的三维断层图像状态。检查者可以基于该图像对被检眼E进行诊断。虽然在这里已经描述了其中通过在X轴方向上获得多个B扫描图像来获得三维断层图像的示例，也可以通过在Y轴方向上获得多个B扫描图像来获得三维断层图像。请注意，扫描方向不限于X轴方向和Y轴方向，并且扫描方向是与Z轴方向正交并且彼此相交的轴方向就足够了。

(控制单元的构造)

接下来，参照图3描述控制单元30。图3示出了控制单元30的示意构造示例。获得单元310、图像处理单元320、驱动控制单元330、存储器340和显示控制单元350被设置在控制单元30中。

获得单元310可以从摄像单元20获得CCD 215和光电二极管209的输出信号的数据，以及与被检眼E的干扰信号相对应的线传感器231的输出信号的数据。请注意，获得单元310获得的输出信号的数据可以是模拟信号或数字信号。在获得单元310获得模拟信号的情况下，控制单元30可以将模拟信号转换为数字信号。

此外，获得单元310可以获得诸如由图像处理单元320生成的断层数据等各种数据，以及诸如断层图像、SLO眼底图像和眼前段图像等各种图像。这里，术语“断层数据”是指包括与被检对象的横截面有关的信息的数据，并且包括通过对由OCT获得的干涉信号进行傅立叶变换而获得的信号，以及通过对相关信号进行任何处理而获得的信号等。

另外，获得单元310可以获得要进行图像处理的图像的摄像条件组(例如，与摄像日期和时间、摄像部位名称、摄像区域、摄像视角、摄像***、图像分辨率和灰度、图像尺寸、图像滤波器以及图像数据格式有关的信息)。请注意，摄像条件组不限于前述摄像条件组的示例。此外，摄像条件组不必包括前述示例中提到的所有条件，并且可以包括这些条件中的一些。

具体地，获得单元310在对相关图像进行摄像时获得摄像单元20的摄像条件。此外，取决于图像的数据格式，获得单元310还可以获得存储在构成图像的数据结构中的摄像条件组。请注意，在图像的数据结构中没有存储摄像条件的情况下，获得单元310还可以从存储摄像条件的存储装置等中分别获得包括摄像条件组的摄像信息组。

此外，获得单元310还可以从输入单元40等获得诸如被检体识别号等用于识别被检眼的信息。请注意，获得单元310可以从存储器340或连接至控制单元30的另一装置(未示出)获得各种数据、各种图像或各种信息。获得单元310可以将获得的各种数据或图像存储在存储器340中。

图像处理单元320可以从由获得单元310获得的数据或存储在存储器340中的数据来生成断层图像，并且可以对所生成或获得的断层图像进行图像处理。断层图像生成单元321和图像质量改善单元322被设置在图像处理单元320中。

断层图像生成单元321可以对由获得单元310获得的干涉信号数据进行波数转换、傅立叶变换、绝对值转换(振幅的获取)等以生成断层数据，并且可以基于断层数据生成被检眼E的断层图像。由获得单元310获得的干涉信号数据可以是从线传感器231输出的信号的数据，或者可以是从存储器340或连接至控制单元30的装置(未示出)获得的干涉信号的数据。请注意，可以采用任何已知方法作为用于生成断层图像的方法，并且在此省略其详细描述。

图像质量改善单元322使用稍后描述的学习模型，基于由断层图像生成单元321生成的断层图像来生成高质量断层图像。请注意，图像质量改善单元322还可以基于获得单元310从存储器340或连接至控制单元30的另一装置(未示出)获得的断层图像来生成高质量断层图像，而不仅仅是基于使用摄像单元20摄像的断层图像等。

驱动控制单元330可以控制连接到控制单元30的摄像单元20的诸如OCT光源220、X-Y扫描器216、透镜217、参考反射镜221、SLO光源210、SLO扫描单元204、透镜205和固视灯211等部件的驱动。

存储器340可以存储由获得单元310获得的各种数据，以及诸如由图像处理单元320生成和处理的断层图像等各种数据和图像。此外，存储器340可以存储被检体的属性(姓名，年龄等)、诸如使用其它检查设备获得的测量结果(眼球的轴向长度、眼内压等)等与被检眼有关的信息、摄像参数、图像分析参数以及由操作者设置的参数。另外，存储器340还可以存储普通数据库的统计信息。请注意，也可以采用将这些图像和信息存储在外部存储装置(未示出)中的构造。存储器340还可以存储由处理器执行的用于实现控制单元30的各个部件的功能的程序。

显示控制单元350可以使由获得单元310获得的各种信息以及诸如由图像处理单元320生成和处理的断层图像等各种图像显示在显示单元50上。显示控制单元350还可以使由用户等输入的信息显示在显示单元50上。

控制单元30可以例如通过使用通用计算机来构成。请注意，控制单元30可以通过使用OCT装置1的专用计算机来构成。控制单元30配备有CPU(中央处理单元)(未示出)或MPU(微处理单元)和包括诸如光盘或ROM(只读存储器)等存储器的存储介质。除了控制单元30的存储器340之外的各个部件可以由诸如CPU或MPU等处理器执行的软件模块来构成。此外，所讨论的各个部件可以由诸如ASIC等具有具体功能的电路或独立的装置等构成。例如，存储器340可以由诸如光盘或存储器等任意存储介质构成。

请注意，控制单元30可以包括一个或多个诸如CPU等处理器和诸如ROM等存储介质。因此，控制单元30的各部件可以被构造为在至少一个处理器和至少一个存储介质被连接并且至少一个处理器执行被存储在至少一个存储介质中的程序的情况下起作用。请注意，处理器不限于CPU或MPU，并且可以是GPU(图形处理单元)或FPGA(场可编程门阵列)等。

接下来，为了描述根据本实施例的针对断层图像的图像质量改善处理，将参照图4至图5D描述分割处理和灰度转换处理。

(分割处理)

图4是示出通过分割处理检测到视网膜层的各个区域的边界的断层图像的示例的图。断层图像的分割处理能够检测断层图像中包括的各个区域的边界。在图4所示的断层图像400的情况中，检测到玻璃体部与视网膜部之间的边界401以及视网膜部与脉络膜部之间的边界402。通过检测断层图像400中的边界401和402，可以识别在边界401与边界402之间的视网膜部的区域403、在从边界401起的浅层侧上的玻璃体部的区域404以及在从边界402起的深层侧上的脉络膜部的区域405。

任何已知的方法都可以用作分割处理。作为一个示例，首先，将中值滤波器和Sobel滤波器分别应用于作为要处理的对象的断层图像，从而生成中值图像和Sobel图像。接下来，从生成的中值图像和Sobel图像，为对应于A扫描的断层数据的各项生成轮廓。这里，所生成的轮廓在中间图像的情况下是辉度值轮廓，在Sobel图像的情况下是梯度轮廓。其后，检测从Sobel图像生成的轮廓中的峰值。通过参考对应于检测到的峰值的之前和之后区域或者峰值之间的区域的中值图像轮廓，可以检测到视网膜层中的各个区域之间的边界。

(灰度转换处理)

接下来，参照图5A至图5D，将描述进行用于增强玻璃体部的区域404和脉络膜部的区域405、视网膜部的区域403或所有这些区域中的对比度的灰度转换处理。图5A示出了断层图像500，作为通过对被检眼E进行摄像而获得的源断层图像(下文中称为“原始断层图像”)的一个示例。断层图像500通常是10位或更多位的整数格式，并且是具有高动态范围的数据，包括从极低辉度信息到高辉度信息的范围内的数据。另一方面，如上所述，可以在显示单元50上显示的数据是低动态范围数据，例如8位整数数据。因此，进行灰度转换处理，从而使得原始断层图像500的数据成为用于显示的低动态范围数据。

图5B是示出通过对原始断层图像500进行灰度转换处理从而使得视网膜部的区域易于观察，换句话说，确保视网膜部的区域的对比度而获得的断层图像501的视图。现在将参照图6A和图6B描述用于确保视网膜部的区域的对比度的灰度转换处理。

图6A是示出断层图像500中的辉度值的出现频率，并且示出与视网膜部的区域的辉度值对应的辉度值的范围601的视图。请注意，可以基于针对视网膜部的区域凭经验获得的平均辉度范围来确定与视网膜部的区域的辉度值对应的辉度值的范围。在所讨论的灰度转换处理中，进行转换处理，从而使得与视网膜部的区域的辉度值对应的辉度范围601变为与用于显示的数据有关的辉度值的宽范围，如图6B所示。通过这种方式，可以生成视网膜部的区域易于观察到的用于显示的断层图像501。

图5C是示出通过对原始断层图像500进行灰度转换处理从而使得玻璃体部和脉络膜部的区域易于观察，换句话说，确保玻璃体部和脉络膜部的区域的对比度而获得的断层图像502的视图。现在将参照图7A和图7B描述用于确保玻璃体部和脉络膜部的区域的对比度的灰度转换处理。

图7A是示出断层图像500中的辉度值的出现频率，并且示出与玻璃体部和脉络膜部的区域的辉度值对应的辉度值的范围701的视图。请注意，可以基于针对玻璃体部的区域和脉络膜部的区域凭经验获得的平均辉度范围，来确定与玻璃体部和脉络膜部的区域的辉度值对应的辉度值的范围。在所讨论的灰度转换处理中，进行转换处理，从而使得与玻璃体部和脉络膜部的区域的辉度值对应的辉度范围701变为与用于显示的数据有关的辉度值的宽范围，如图7B所示。通过这种方式，可以生成玻璃体部和脉络膜部的区域易于观察到的用于显示的断层图像502。

图5D是示出通过进行灰度转换处理从而使得视网膜部、玻璃体部和脉络膜部的区域易于观察，换句话说，以便确保这些区域的对比度而获得的断层图像503的视图。在这种情况下，首先，通过上述分割处理来检测玻璃体部与视网膜部之间的边界401以及视网膜部与脉络膜部之间的边界402，并且识别视网膜部的区域403、玻璃体部的区域404和脉络膜部的区域405。

其后，对视网膜部的区域403进行灰度转换处理，从而使得与该视网膜部的区域对应的辉度值的范围601变为与用于显示的数据有关的辉度值的宽范围，如图6B所示。另一方面，对玻璃体部的区域404和脉络膜部的区域405进行灰度转换处理，从而使得与该玻璃体部和脉络膜部的区域对应的辉度值的范围701变为与用于显示的数据有关的辉度值的宽范围，如图7B所示。通过这种方式，可以生成视网膜部、玻璃体部和脉络膜部的区域易于观察到的用于显示的断层图像503。

请注意，不仅可以在玻璃体部和脉络膜部上进行相同的转换处理，而且可以进行在玻璃体部和脉络膜部之间不同的转换处理。此外，不仅可以进行线性转换处理，而且可以进行诸如S形转换或γ-转换的S曲线转换处理。

在如上所述的用于生成视网膜部、玻璃体部和脉络膜部的整个区域易于观察到的断层图像的灰度转换处理中，通过分割处理来进行断层图像中的区域的检测。因此，如果由于病眼中的病变导致的层结构的变化而发生分割处理进行的错误检测，则在某些情况下，将不能正确地进行灰度转换处理，并且不能生成整个区域易于观察的断层图像。

相比而言，在根据本实施例的控制单元30的情况下，通过根据诸如深度学习等任意机器学习算法使用机器学习模型的学习模型来生成高质量断层图像，该高质量断层图像易于观察，并且看起来是已经对断层图像中的各区域都进行了不同的图像处理的图像。当使用学习模型进行分割处理时，例如，即使由于病眼中的病变而引起的层结构改变，也可以根据学习趋势适当地进行图像处理。

请注意，在本说明书中，术语“高质量图像”是指已经转换为具有更适合于图像诊断的图像质量的图像，并且术语“图像质量改善处理”是指将输入图像转换成具有更适合于图像诊断的图像质量的图像。在这种情况下，适合于图像诊断的图像质量的内容取决于期望使用各种图像诊断进行怎样的诊断。因此，虽然不可能无条件地这么说，但是例如适合于图像诊断的图像质量包括如下图像质量：以使摄像目标易于观察的颜色和灰度显示摄像目标；噪声量低、对比度高、图像尺寸大并且分辨率高。另外，适合于图像诊断的图像质量可以包括使得从图像中去除实际上不存在且在图像生成处理期间被渲染的对象或灰度的图像质量。

(机器学习的学习)

现在将参照图8A至图10描述根据本实施例的学习模型。首先，将参照图8A至图9B描述与学习模型有关的训练数据。

训练数据由输入数据和输出数据的一个或多个对组构成。在本实施例中，具体地，训练数据由对组构成，在所述对组中，采用诸如断层图像500等由OCT装置获得的原始断层图像作为输入数据，并且采用诸如断层图像503等经过图像处理从而能够进行全面观察的断层图像作为输出数据。请注意，可以采用通过对用作输入数据的断层图像进行图像处理而获得的图像作为输出数据。

首先，描述一种情况，其中构成训练数据的一个对组被视为由图8A和图8B中所示的原始断层图像810和高质量断层图像820组成。在这种情况下，如图8A和图8B所示，形成这样的一对，其中整个原始断层图像810被作为输入数据，并且整个高质量断层图像820被作为输出数据。请注意，尽管在图8A和图8B中所示的示例中，通过整体使用各图像来形成由输入数据和输出数据构成的一对，但是一对不限于此。

例如，如图9A和图9B中所示，可以形成这样的一对，其中采用原始断层图像910中的矩形区域图像911作为输入数据，并且采用高质量断层图像920中的作为对应摄像区域的矩形区域图像921作为输出数据。这里，矩形区域图像911和矩形区域图像921是在断层图像910和高质量断层图像920中具有对应位置关系的图像。

请注意，在进行学习时，可以将扫描范围(摄像视角)和扫描密度(A扫描次数和B扫描次数)归一化，以使图像尺寸均匀，从而可以使得在进行学习时的矩形区域尺寸均匀。此外，在图8A至图9B中所示出的矩形区域图像是当各个矩形区域尺寸被用于彼此单独地进行学习时的矩形区域尺寸的示例。

此外，矩形区域的数目在图8A和图8B中示出的示例中可以被设置为一个，并且在图9A和图9B中示出的示例中可以被设置为多个矩形区域。例如，在图9A和图9B中所示的示例中，还可以构成这样的一对，其中采用断层图像910中的矩形区域图像912和913作为输入数据，并且采用高质量断层图像920中作为对应摄像区域的矩形区域图像922和923作为输出数据。因此，可以从由一个断层图像和一个高质量断层图像组成的一对创建彼此不同的矩形区域图像对。请注意，可以通过在将矩形区域的位置改变为作为源图像的断层图像和高质量断层图像中的不同坐标的同时，创建大量的矩形区域图像对，来增强构成训练数据的对组的内容。

这里，矩形区域图像911是原始断层图像910中的视网膜部的区域的图像，并且矩形区域图像921是进行了诸如灰度转换处理等图像处理从而能够进行全面观察的高质量断层图像920中的视网膜部的区域的图像。类似地，矩形区域图像912是原始断层图像910中的玻璃体部的区域的图像，并且矩形区域图像922是高质量断层图像920中的玻璃体部的区域的图像。此外，矩形区域图像913是原始断层图像910中的脉络膜部的区域的图像，并且矩形区域图像923是高质量断层图像920中的脉络膜部的区域的图像。

尽管在图9A和图9B中示出的示例中离散地示出了矩形区域，但是作为源图像的断层图像和高质量断层图像均可以被连续地且无间隙地划分为一组具有均匀尺寸的矩形区域图像。或者，作为源图像的断层图像和高质量断层图像可以均在彼此对应的随机位置处被划分为矩形区域图像组。以这种方式，通过选择较小区域的图像作为由作为矩形区域的输入数据和输出数据组成的一对，可以从构成原始对的断层图像910和高质量断层图像920生成大量的对数据。因此，可以缩短训练机器学习模型所需的时间。

请注意，输出数据不限于从单个断层图像生成的高质量断层图像。也可以使用这样的用于显示的断层图像，该断层图像是针对通过使用对被检眼的同一部位进行多次摄像而获得的多个断层图像进行算术平均处理等而获得的断层图像而生成的。

请注意，矩形区域不限于正方形，并且可以是长方形。另外，矩形区域可以是与一次A扫描相对应的区域。此外，当准备用于学习的输出数据时，可以通过进行手动调整而不仅仅是通过预定的自动处理来生成数据，来准备更好的数据。

另外，在构成训练数据的对组中，可以从训练数据中去除对改善图像质量没有贡献的对。例如，如果作为一对训练数据中包括的输出数据的高质量图像的图像质量不适合图像诊断，则存在由使用相关训练数据学习的学习模型输出的图像将具有不适合图像诊断的图像质量的可能性。因此，通过从训练数据中去除输出数据的图像质量不适合图像诊断的对，可以降低学习模型生成具有不适合图像诊断的图像质量的图像的可能性。

另外，在作为一对的图像组中要渲染的摄像目标的结构或位置相差很大的情况下，存在使用相关训练数据学习了的学习模型将输出不适用于图像诊断且其中摄像目标被渲染的结构或位置与输入图像有很大差异的图像的可能性。因此，还可以从训练数据中去除其中要渲染的摄像目标的结构或位置在输入数据和输出数据之间有很大差异的输入数据和输出数据的对。

接下来，作为根据本实施例的学习模型的一个示例，使用图10描述针对输入断层图像进行图像质量改善处理的卷积神经网络(CNN)。

在图10中示出的学习模型由负责处理用于输出的输入值组的处理的多个层组构成。请注意，包括在学习模型的构造1001中的层的类型是卷积层、下采样层、上采样层和合并层。

卷积层是根据设置的诸如滤波器的内核大小、滤波器的数目、步幅值和膨胀值等参数对输入值组进行卷积处理的层。请注意，滤波器的内核大小的维数可以根据输入图像的维数来改变。

下采样层是进行如下处理的层：通过细化或组合输入值组来使输出值组的数目小于输入值组的数目。具体地，例如，最大池化处理可用作这种处理。

上采样层是进行如下处理的层：通过复制输入值组或添加从输入值组内插的值来使输出值组的数目大于输入值组的数目。具体地，例如，线性插值处理可用作这种处理。

合并层是进行如下处理的层：从多个源输入诸如某一层的输出值组或构成图像的像素值组等值组，并通过将值组级联或相加来合并这些值组。

请注意，作为针对包括在图10所示的构造1001中的卷积层组设置的参数，例如，通过将滤波器的内核大小设置为3个像素的宽度和3个像素的高度并且将滤波器的数目设置为64，可以进行一定精度的图像质量改善处理。然而，在这方面需要注意，因为如果针对构成神经网络的层组和节点组的参数设置不同，则在某些情况下，基于训练数据训练的趋势在输出数据中可再现的程度将不同。也就是说，在许多情况下，适当的参数将根据实施时的形式而不同，因此可以根据需要将参数改变为优选值。

此外，还存在CNN可以通过改变CNN的构造而不仅仅是通过使用如上所述的改变参数的方法而获得更好的特性。术语“更好的特性”是指，例如，图像质量改善处理的精度增加、图像质量改善处理所花费的时间变短以及训练机器学习模型所需的时间变短。

请注意，在本实施例中使用的CNN的构造1001是U-Net型机器学习模型，其具有编码器的功能和解码器的功能，该编码器由多个层级构成，该多个层级包括多个下采样层，并且该解码器由多个层级构成，该多个层级包括多个上采样层。在U-Net型机器学习模型中，在被构造为编码器的多个层级中已经变得模糊的位置信息(空间信息)被构造(例如，使用跳式连接)为使得该信息可以被用于被构造为解码器的多个层级中相同维度的层级(相互对应的层级)中。

虽然在附图中未示出，但是作为CNN的构造的变型例，例如，在卷积层等之后，可以并入批归一化层或使用整流线性单元的激活层。

当将数据输入到这种机器学习模型的学习模型中时，输出与机器学习模型的设计对应的数据。例如，根据使用训练数据训练机器学习模型的趋势，输出具有与输入数据相对应的高概率的输出数据。当将原始断层图像输入到根据本实施例的学习模型时，输出用于全面观察的、其中视网膜部、玻璃体部和脉络膜部易于观察的高质量断层图像。

请注意，在以涉及将断层图像划分为区域的方式进行学习的情况下，学习模型输出作为与各个矩形区域相对应的高质量断层图像的矩形区域图像。在这种情况下，首先，图像质量改善单元322基于进行学习时的图像尺寸将作为输入图像的断层图像划分为矩形区域图像组，并将划分的矩形区域图像组输入到学习模型中。其后，图像质量改善单元322根据与输入到学习模型中的矩形区域图像组的各个图像的位置关系相同的位置关系，来布置作为使用学习模型获得的高质量断层图像的一组矩形区域图像的各个图像，并合并这些矩形区域图像。通过这种方式，图像质量改善单元322可以生成与输入的断层图像相对应的高质量断层图像。

(流程图)

接下来，参照图11描述根据本实施例的一系列图像处理操作。图11是根据本实施例的一系列图像处理操作的流程图。

首先，在步骤S1101中，获得单元310获得通过对被检眼E进行摄像而获得的断层信息。获得单元310可以使用摄像单元20来获得被检眼E的断层信息，或者可以从存储器340或连接至控制单元30的另一装置中获得断层信息。

在使用摄像单元20获得被检眼E的断层信息的情况下，可以在选择摄像模式并且进行诸如扫描模式、扫描范围、焦点和固视灯位置等各种摄像参数的设置和调整之后开始对被检眼E的扫描。

在步骤S1102中，断层图像生成单元321基于所获得的被检眼E的断层信息来生成断层图像。请注意，在步骤S1101中，获得单元310从存储器340或连接至控制单元30的另一装置获得断层图像的情况下，可以省略步骤S1102。

在步骤S1103中，通过使用学习模型，图像质量改善单元322基于在步骤S1102中生成的断层图像或在步骤S1101中获得的断层图像，生成看起来是对各区域进行不同图像处理的图像的高质量断层图像。

请注意，在学习模型以将图像划分为区域的方式进行了学习的情况下，图像质量改善单元322首先基于学习时的图像尺寸将作为输入图像的断层图像划分为矩形区域图像组，并将划分后的矩形区域图像组输入到学习模型中。其后，图像质量改善单元322根据与输入到学习模型中的矩形区域图像组的各个图像的位置关系相同的位置关系，来布置作为使用学习模型获得的高质量断层图像的一组矩形区域图像的各个图像，并合并这些矩形区域图像，从而生成最终的高质量断层图像。

在步骤S1104中，显示控制单元350使在步骤S1103中生成的高质量断层图像显示在显示单元50上。当显示控制单元350的显示处理结束时，一系列图像处理操作结束。

根据这样的处理，可以生成并显示看起来是已经使用学习模型在不同区域进行了不同图像处理的图像的高质量断层图像。特别地，在本实施例中，即使对于病眼等，也可以生成并显示其中玻璃体、脉络膜和视网膜的对比度增强的适合于全面观察的图像。

如上所述，根据本实施例的控制单元30包括获得单元310和图像质量改善单元322。获得单元310获得作为被检对象的被检眼E的第一断层图像(利用光干涉获得的断层图像)。图像质量改善单元322使用学习模型由第一断层图像(第一医学图像)生成第二断层图像(第二医学图像)，该第二断层图像看起来是对第一断层图像中的不同区域进行了不同图像处理的图像。此外，在本实施例中，学习模型的训练数据包括根据被检眼E的区域进行了灰度转换处理的断层图像。

根据前述构造，可以生成和显示看起来是使用学习模型对不同区域进行了不同图像处理的图像的高质量断层图像。特别地，在本实施例中，对于病眼等，即使在通过断层图像的分割不能获得令人满意的结果的情况下，也可以获得这样的显示图像，通过该显示图像可以观察视网膜、玻璃体和脉络膜的详细的内部结构。

此外，在本实施例中，图像质量改善单元322可以生成其中已经使用学习模型改善了各区域的图像质量的高质量断层图像。因此，图像质量改善单元322可以由第一断层图像生成第二断层图像，在第二断层图像中，第一断层图像中的第一区域和与第一区域不同的第二区域的不同区域的图像质量已经使用学习模型进行了改善。这里，例如，第一区域可以是视网膜部的区域，并且第二区域可以是玻璃体部的区域。此外，对其进行图像质量改善的区域的数目不限于两个，并且可以是三个或更多。在这种情况下，例如，与第一区域和第二区域不同并且进行了图像质量改善的第三区域可以是脉络膜部的区域。请注意，可以根据期望的构造任意地改变要进行图像质量改善的各个区域。同样从这个观点来看，根据本实施例的控制单元30可以生成看起来是对于作为观察目标的各区域已经进行了适当的图像处理的图像的图像。

尽管在根据本实施例的学***均或最大后验处理(MAP估计处理)等平均处理而获得的高质量图像可以用作训练数据的输出数据。这里，术语“源图像”是指用作输入数据的断层图像。

在该MAP估计处理中，基于多个图像中的各像素值的概率密度来获得似然函数，并且使用所获得的似然函数来估计真实信号值(像素值)。通过该MAP估计处理获得的高质量图像是基于接近真实信号值的像素值的高对比度图像。此外，由于估计信号值是基于概率密度确定的，因此在通过该MAP估计处理获得的高质量图像中，降低了随机生成的噪声。因此，通过使用学***均图像用作训练数据的情况类似的方法。

此外，作为训练数据的输出数据，可以使用通过对源图像应用使用均值滤波器等的平滑滤波处理而获得的高质量图像。在这种情况下，通过使用学习模型可以由输入图像生成其中降低了随机噪声的高质量图像。请注意，对于用于生成训练数据的输入数据和输出数据的对的方法，可以进行与将进行了灰度转换处理的图像用作训练数据的情况类似的方法。

请注意，从具有与摄像单元20相同的图像质量趋势的摄像装置获得的图像可以用作训练数据的输入数据。此外，作为训练数据的输出数据，可以使用通过诸如使用逐次逼近法的处理等高成本处理而获得的高质量图像，或者可以使用通过使用比摄像单元20具有更高性能的摄像装置对与输入数据相对应的被检对象进行摄像而获得的高质量图像。此外，通过进行基于规则的降噪处理而获得的高质量图像可以用作输出数据，所述基于规则的降噪处理是基于被检对象的结构等。这里，降噪处理可以包括，例如，用邻近的低辉度像素值的平均值代替仅是一个像素的高辉度像素的处理，该像素显然是出现在低辉度区域中的噪声。因此，通过由比用于对输入图像进行摄像的摄像装置具有更高性能的摄像装置摄像的图像，或者通过涉及比用于获得输入图像的摄像处理更多的步骤数的摄像处理获得的图像，可以用作该学习模型用来学习的训练数据。

另外，训练数据的输出数据可以是经过如上所述的平均处理、MAP估计处理等的图像，或者可以是针对由比摄像单元20具有更高性能的摄像装置摄像的图像通过对作为观察目标的各区域进行不同的灰度转换处理而获得的图像。因此，训练数据的输出数据可以是使用对作为观察目标的各区域不同的灰度转换处理的组合而生成的断层图像，以及通过进行与图像质量改善有关的其它处理或通过使用高性能摄像装置进行摄像而获得的断层图像。在这种情况下，可以生成并显示更适合于诊断的断层图像。

此外，尽管在本实施例中采用原始断层图像作为输入数据，但是输入数据不限于此。例如，可以采用经过灰度转换以使得视网膜部易于观察的断层图像或经过灰度转换以使得玻璃体部和脉络膜部易于观察的断层图像作为输入数据。在这种情况下，图像质量改善单元322可以将与训练数据的输入数据相对应的经过灰度转换从而使得视网膜部或玻璃体部和脉络膜部易于观察的断层图像输入到学习模型，从而可以生成高质量断层图像。

另外，可以采用被调整为可以容易地对各区域进行适当的灰度转换的数据的具有高动态范围的数据作为输出数据。在这种情况下，图像质量改善单元322可以通过对使用该学习模型获得的具有高动态范围的数据进行适当的灰度转换来生成高质量断层图像。

请注意，尽管已经描述了图像质量改善单元322通过使用学习模型来生成对其进行了针对显示单元50的显示的适当的灰度转换的高质量图像，但是图像质量改善单元322的图像质量改善处理不限于此。图像质量改善单元322可以生成具有更适合图像诊断的图像质量的图像就足够了。

在使用学习模型获得的断层图像中，还可能出现如下情况：根据学习趋势，实际上不存在的诸如血管等组织被可视化，或者应当存在的组织未被可视化。因此，当显示使用学习模型获得的高质量断层图像时，显示控制单元350还可以显示大意是该图像是使用学习模型获得的断层图像的信息。在这种情况下，可以抑制操作者发生误诊。请注意，显示形式可以是任何形式，只要该形式使得可以理解该图像是使用学习模型获得的图像即可。

(变型例1)

在实施例1中，已经描述了以下情况：将进行了灰度转换处理从而可以进行全面观察的断层图像的局部区域(矩形区域)的图像用作训练数据的输出数据。相比而言，在变型例1中，作为观察目标的各区域均不同的断层图像被用作训练数据的输出数据。在下文中，参照图12A至图12C描述本变型例中的训练数据。请注意，由于根据本变型例的除了机器学习模型的训练数据以外的部件和处理操作与实施例1相同，因此用与实施例1相同的附图标记表示这些部件和处理操作并在下文中省略其描述。

图12A示出了与训练数据的输入数据有关的原始断层图像1210的一个示例。在图12A中，示出了玻璃体部的区域的矩形区域图像1212、视网膜部的区域的矩形区域图像1211和脉络膜部的区域的矩形区域图像1213。

图12B示出了通过进行灰度转换处理以确保针对原始断层图像1210的视网膜部的区域的对比度而获得的断层图像1220。在图12B中，示出了与视网膜部的区域的矩形区域图像1211具有对应位置关系的矩形区域图像1221。

图12C示出了通过进行灰度转换处理以确保针对原始断层图像1210的玻璃体部和脉络膜部的区域的对比度而获得的断层图像1230。在图12C中，示出了与玻璃体部的区域的矩形区域图像1212具有对应位置关系的矩形区域图像1232，以及与脉络膜部的区域的矩形区域图像1213具有对应位置关系的矩形区域图像1233。

在本变型例中，通过采用原始断层图像1210中的视网膜部的区域的矩形区域图像1211作为输入数据，并采用断层图像1220中的视网膜部的区域的矩形区域图像1211作为输出数据来创建一对训练数据。类似地，通过采用原始断层图像1210中的玻璃体部的区域的矩形区域图像1212作为输入数据，并采用断层图像1230中的玻璃体部的区域的矩形区域图像1232作为输出数据来创建一对训练数据。此外，通过采用原始断层图像1210中的脉络膜部的区域的矩形区域图像1213作为输入数据，并采用断层图像1230中的脉络膜部的区域的矩形区域图像1233作为输出数据来创建一对训练数据。

同样在这种情况下，通过对作为观察目标的各区域进行适当的灰度转换处理而获得的断层图像可以被用作训练数据的输出数据。因此，类似于实施例1，图像质量改善单元322可以使用学习模型(该学习模型使用这样的训练数据进行了学习)来生成高质量断层图像，该高质量断层图像看起来是对作为观察目标的各区域进行了不同的图像处理的图像。

(变型例2)

在实施例1中，使用机器学习模型的训练数据，其中，采用在不考虑摄像模式的情况下通过对原始断层图像进行诸如灰度转换处理的图像质量改善处理而获得的断层图像作为输出数据。在这方面，在OCT装置中，针对断层图像中的信号辉度的强或弱趋势根据摄像模式而不同。因此，在变型例2中，对于作为观察目标的各区域，将其中针对相关区域存在信号辉度高的趋势的摄像模式下获得的断层图像用作训练数据的输出数据。

在下文中，参照图13A至图15C描述根据本变型例的训练数据。请注意，由于根据本变型例的除了机器学习模型的训练数据以外的部件和处理操作与实施例1相同，因此用与实施例1相同的附图标记表示这些部件和处理操作并在下文中省略其描述。首先，玻璃体模式和脉络膜模式下的摄像方法将作为OCT装置1的各个摄像模式的摄像方法进行描述。

(玻璃体模式下的摄像方法)

参照图13A至图13C，将描述OCT装置1的玻璃体模式下的摄像方法。在玻璃体模式下，如图13A所示，参考反射镜221被移动，使得参考光和测量光的光路长度匹配的深度方向(Z轴方向)上的位置Z1位于摄像范围C10的深度方向上的浅侧(玻璃体侧)，并进行摄像。

在这种情况下，如图13B所示，相对于位置Z1，在Z方向的正方向上的摄像范围C10中获得正常图像，而在负方向上的摄像范围C11中获得虚拟图像。OCT装置的玻璃体模式下的摄像通常是通过获得作为断层图像的摄像范围C10的正常图像来进行的。图13C中示出了断层图像C12，该断层图像C12是在玻璃体模式下获得的断层图像的一个示例。请注意，还可以获得摄像范围C11侧的虚拟图像作为断层图像C12。在获得摄像范围C11侧的虚拟图像作为断层图像C12的情况下，可以将该图像垂直反转并显示。

在OCT装置中，区域越靠近参考光和测量光的光路长度匹配的深度方向上的位置，针对相关区域获得的信号辉度就变得越高。因此，在玻璃体模式下摄像的断层图像C12中，在更靠近位置Z1的一侧、即玻璃体侧的信号辉度将较高。

(脉络膜模式下的摄像方法)

接下来，参照图14A至图14C，将描述在OCT装置的脉络膜模式下的摄像方法。在脉络膜模式下，如图14A所示，参考反射镜221被移动，使得参考光和测量光的光路长度匹配的深度方向上的位置Z2位于摄像范围的深度方向上的深侧(脉络膜侧)，并进行摄像。

在这种情况下，如图14B所示，相对于位置Z2，在Z方向的负方向上的摄像范围C20中获得正常图像，而在正方向上的摄像范围C21中获得虚拟图像。OCT装置的脉络膜模式下的摄像通常是通过获得作为断层图像的摄像范围C21侧的虚拟图像来进行的。图14C中示出了断层图像C22，该断层图像C22是在脉络膜模式下获得的断层图像的一个示例。请注意，还可以获得摄像范围C20侧的正常图像作为断层图像C22。此外，在获得摄像范围C21侧的虚拟图像作为断层图像C22的情况下，可以将该图像垂直反转并显示。

如上所述，在OCT装置中，区域越靠近参考光和测量光的光路长度匹配的深度方向上的位置，针对相关区域获得的信号辉度就变得越高。因此，在脉络膜模式下摄像的断层图像C22中，在更靠近位置Z2的一侧、即脉络膜侧的信号辉度将较高。

考虑到OCT装置的这种特性，在本变型例中，根据作为观察目标的区域，在具有使得特别是相关区域的信号辉度较高的趋势的摄像模式下获得的断层图像被用作机器学习模型的训练数据的输出数据。更具体地，在OCT装置中，在以玻璃体模式下摄像的断层图像中，玻璃体侧的信号辉度将较高，并且在以脉络膜模式摄像的断层图像中，脉络膜侧的信号辉度将较高。因此，在脉络膜模式和玻璃体模式下对同一被检眼的同一部位摄像，并且对于输入数据的各局部区域图像(矩形区域图像)，其中对应的局部区域的信号辉度较高的断层图像被用作输出数据。换句话说，在本变型例中，学习模型的训练数据包括医学图像，该医学图像是通过对被检对象进行摄像而获得的，并且是在对应于相关医学图像中的任何不同区域的摄像模式下获得的。

图15A示出了与在玻璃体模式下摄像的训练数据的输入数据有关的原始断层图像1510的一个示例。在图15A中，示出了玻璃体部的区域的矩形区域图像1511和脉络膜部的区域的矩形区域图像1512。

图15B示出了通过针对在玻璃体模式下通过对同一被检眼的同一部位进行摄像而获得的断层图像进行灰度转换处理从而确保视网膜部、玻璃体部和脉络膜部的区域的对比度而得到的断层图像1520。此外，在图15B中，示出了与玻璃体部的区域的矩形区域图像1511具有对应位置关系的矩形区域图像1521。

图15C示出了通过针对在脉络膜模式下通过对同一被检眼的同一部位进行摄像而获得的断层图像进行灰度转换处理从而确保视网膜部、玻璃体部和脉络膜部的区域的对比度而得到的断层图像1530。此外，在图15C中，示出了与脉络膜部的区域的矩形区域图像1512具有对应位置关系的矩形区域图像1532。

在本变型例中，通过采用原始断层图像1510中的玻璃体部的区域的矩形区域图像1511作为输入数据，并采用断层图像1520中的玻璃体部的区域的矩形区域图像1521作为输出数据来创建一对训练数据。类似地，通过采用原始断层图像1510中的脉络膜部的区域的矩形区域图像1512作为输入数据，并采用断层图像1530中的脉络膜部的区域的矩形区域图像1532作为输出数据来创建一对训练数据。请注意，在本变型例中，因为在脉络膜模式下摄像的断层图像1530相对于与输入数据有关的原始断层图像1510垂直反转，所以通过垂直反转矩形区域图像1532获得的矩形区域图像被用作训练数据的输出数据。

在这种情况下，针对在作为具有使得特别是相关区域的信号辉度较高的趋势的摄像模式的根据作为观察目标的区域的摄像模式下获得的断层图像，通过根据该区域对相关断层图像进行灰度转换处理而获得的断层图像可以用作训练数据的输出数据。换句话说，学习模型的训练数据可以包括医学图像，该医学图像是通过对被检对象进行摄像而获得的，并且是通过对在与相关医学图像中的任意不同区域相对应的摄像模式下获得的医学图像进行与该相关医学图像中的任意不同区域相对应的灰度转换处理而获得的医学图像。通过使用借助这样的训练数据进行了学习的学习模型，图像质量改善单元322可以生成断层图像，该断层图像看起来是针对作为观察目标的各区域已经进一步改善了图像质量的图像。

请注意，训练数据的输入数据不限于在玻璃体模式下摄像的原始断层图像，并且可以是在脉络膜模式下摄像的原始断层图像。在这种情况下，因为在玻璃体模式下摄像的断层图像相对于与输入数据有关的原始断层图像垂直反转，所以通过垂直反转与在玻璃体模式下摄像的断层图像有关的矩形区域图像而获得的图像被用作训练数据的输出数据。

此外，应用于在各种摄像模式下摄像的断层图像的灰度转换处理不限于用于确保视网膜部、玻璃体部和脉络膜部的区域的对比度从而可以进行全面观察的灰度转换处理。例如，类似于变型例1，通过对在玻璃体模式下摄像的断层图像进行灰度转换以确保玻璃体部的区域的对比度而获得的断层图像可以用作训练数据的输出数据。同样地，通过对在脉络膜模式下摄像的断层图像进行灰度转换以确保脉络膜部的区域的对比度而获得的断层图像可以用作训练数据的输出数据。

请注意，基于在玻璃体模式下摄像的断层图像的输出数据或基于在脉络膜模式下摄像的断层图像的输出数据可以用作与视网膜部的区域有关的训练数据的输出数据。此外，摄像模式不限于玻璃体模式和脉络膜模式，并且可以根据期望的构造任意设置。同样在这种情况下，基于根据摄像模式的针对断层图像中的信号辉度的强或弱趋势，对于作为观察目标的各区域，具有使得相关区域的信号辉度较高的趋势的断层图像可以被用作训练数据的输出数据。

此外，同样在变型例1和2中，类似于实施例1，训练数据的输入数据不限于原始断层图像，并且可以是进行了任意灰度转换的断层图像。此外，训练数据的输出数据不限于进行了灰度转换的断层图像，并且可以是通过相对于原始断层图像进行调整从而可以容易地进行灰度转换而获得的断层图像。

(变型例3)

在实施例1中，图像质量改善单元322使用一个学习模型来生成高质量图像，该高质量图像看起来是对目标图像的各区域进行了不同的图像处理的图像。相比而言，根据变型例3，首先，针对作为输入数据的断层图像，图像质量改善单元322使用第一学习模型来生成已经对各像素进行了区域的标记(注释)的标签图像。其后，对于生成的标签图像，图像质量改善单元322使用不同于第一学习模型的第二学习模型来生成高质量图像，该高质量图像看起来是已经根据各区域对其进行了图像处理的图像。换句话说，图像质量改善单元322使用与用于生成高质量图像(第二医学图像)的学习模型不同的学习模型，由作为输入数据的断层图像(第一医学图像)生成标签图像，在该标签图像中对不同区域赋予不同的标记值。此外，图像质量改善单元322通过使用用于生成高质量图像(第二医学图像)的学习模型来由标签图像生成高质量图像。

在本变型例中，对于第一学习模型，使用训练数据来进行学习，在该训练数据中，采用断层图像作为输入数据，并且采用其中已经对断层图像的各像素进行了区域的标记的标签图像作为输出数据。请注意，对于标签图像，可以使用通过常规分割处理适当处理的图像，或者可以使用手动标记的标签图像。标记可以是例如玻璃体标记、视网膜标记、脉络膜标记等。请注意，标记可以使用字符串来显示，或者可以是预先设置的与各区域相对应的数值。此外，标记不限于上述示例，并且可以根据期望的构造来指示任意区域。

此外，对于第二学习模型，使用训练数据来进行学习，在该训练数据中，采用标签图像作为输入数据，并且采用通过对相关标签图像进行与各像素的标记对应的图像质量改善处理而获得的断层图像作为输出数据。请注意，对于与各像素的标记对应的图像质量改善处理，如上所述，图像质量改善处理可以包括根据作为观察目标的区域的灰度转换处理等。

在这种情况下，类似于实施例1，图像质量改善单元322可以生成高质量断层图像，该高质量断层图像看起来是使用第一和第二学习模型对作为观察目标的各区域进行了不同图像处理的图像。此外，学习模型根据学习趋势输出具有与输入数据相对应的高概率的输出数据。在这方面，当学习模型使用彼此具有类似图像质量趋势的图像组作为训练数据来进行学习时，可以相对于具有所讨论的类似趋势的图像输出经过更有效的图像质量改善的图像。因此，如在本变型例那样，通过使用利用对各区域进行标记的训练数据的学习模型，可以预期到将生成经过更有效的图像质量改善的图像。

请注意，同样相对于与本变型例有关的训练数据，类似于实施例1，可以使用整个图像，或者可以使用矩形区域图像(局部图像)。此外，根据期望的构造，输入数据和输出数据可以是任意灰度转换之后的图像或者可以是灰度转换之前的图像。

(变型例4)

在实施例1中，描述了以下情况：图像质量改善单元322对使用学习模型获得的断层图像的局部图像进行整合，从而生成最终的高质量断层图像。特别地，在实施例1中描述的示例中，使用学习模型获得的局部图像是看起来是根据学习趋势对作为观察目标的各区域进行了不同的灰度转换处理的图像的图像。因此，如果局部图像被简单地整合，则在某些情况下，辉度分布将在不同区域接触的位置(连接部分)和与该位置相邻的区域的位置(例如，玻璃体部的区域或视网膜部的区域)之间显著地不同，并且图像边缘将是显眼的。

因此，在变型例4中，当整合使用学习模型得到的局部图像时，图像质量改善单元322基于周围像素的像素值来修改作为观察目标的区域的连接部分的像素值，从而使得图像边缘变得不显眼。通过这种方式，可以生成适合于诊断的图像，其中减少了由图像边缘引起的不协调感。

在这种情况下，针对作为观察目标的区域的连接部分，图像质量改善单元322可以通过进行任何已知的混合处理来修改辉度值。请注意，图像质量改善单元322还可以针对与作为观察目标的区域的连接部分相邻的位置进行混合处理。此外，使图像边缘不显眼的处理不限于混合处理，并且可以是其它任意处理。

(实施例2)

在实施例1中，针对生成/获得的断层图像，均匀地进行使用学习模型的图像质量改善处理。相比而言，在根据实施例2的OCT装置中，根据操作者的指令选择要应用于断层图像的图像处理。

在下文中，参照图16至图18C，对根据本实施例的OCT装置进行描述。请注意，根据本实施例的除了控制单元之外的构造与根据实施例1的OCT装置1的构造相同，因此相同的部件由与实施例1相同的附图标记表示，并且在下文中省略其描述。在下文中，以与根据实施例1的OCT装置的不同之处为中心，将对根据本实施例的OCT装置进行描述。

图16示出了根据本实施例的控制单元1600的示意构造示例。请注意，在控制单元1600中，除了图像处理单元1620的图像质量改善单元1622和选择单元1623之外的构造与根据实施例1的控制单元30的构造相同，因此相同的部件由与实施例1相同的附图标记表示，并且在下文中省略其描述。

除了断层图像生成单元321之外，图像处理单元1620还包括图像质量改善单元1622和选择单元1623。选择单元1623根据通过输入单元40输入的来自操作者的指令选择要应用于断层图像的图像处理。

图像质量改善单元1622将由选择单元1623选择的图像处理应用于由断层图像生成单元321生成的断层图像或由获得单元310获得的断层图像，从而生成高质量断层图像。

接下来，参照图17描述根据本实施例的一系列图像处理操作。图17是根据本实施例的一系列图像处理操作的流程图。请注意，步骤S1701和步骤S1702与根据实施例1的步骤S1101和S1102相同，因此这里将省略对这些步骤的描述。

当在步骤S1702中断层图像生成单元321生成原始断层图像时，处理转到步骤S1703。在步骤S1703中，获得单元310获得来自操作者的与期望在断层图像中关注的区域的选择或针对断层图像进行的处理有关的指令。请注意，此时，显示控制单元350可以使处理选项显示在显示单元50上，以将选项呈现给操作者。

在步骤S1704中，选择单元1623根据在步骤S1703中获得的来自操作者的指令，选择应用于断层图像的图像处理(图像质量改善处理)。在本实施例中，根据来自操作者的指令，选择单元1623选择针对视网膜部的图像质量改善处理，针对玻璃体/脉络膜部的图像质量改善处理，或者针对整个图像的图像质量改善处理。

如果在步骤S1704中选择了针对视网膜部的图像质量改善处理，则处理转到步骤S1705。在步骤S1705中，图像质量改善单元1622如上所述对原始断层图像进行灰度转换处理使得视网膜部的区域变得易于观察，从而生成高质量断层图像。

如果在步骤S1704中选择了针对玻璃体/脉络膜的图像质量改善处理，则处理转到步骤S1706。在步骤S1704中，图像质量改善单元1622如上所述对原始断层图像进行灰度转换处理使得玻璃体部和脉络膜部的区域变得易于观察，从而生成高质量断层图像。

如果在步骤S1704中选择了针对整个图像的图像质量改善处理，则处理转到步骤S1707。在步骤S1707中，基于原始断层图像，图像质量改善单元1622使用学习模型生成其中视网膜部、玻璃体部和脉络膜部易于观察的高质量断层图像。请注意，根据本实施例的学习模型与根据实施例1的学习模型类似，因此这里省略关于学习模型和训练数据的描述。

在步骤S1708中，显示控制单元350使在步骤S1705、步骤S1706或步骤S1707中生成的高质量断层图像显示在显示单元50上。当显示控制单元350的显示处理结束时，一系列图像处理操作结束。

现在将参照图18A至图18C描述根据本实施例的操作方法。图18A至图18C示出了显示画面的示例，该显示画面包括关于要关注的区域的选项以及根据所选择的区域的进行了图像质量改善处理的断层图像。

图18A示出了其中视网膜部的区域被选择为关注区域的情况下的显示画面1800。在显示画面1800上，显示选项1801和进行了灰度转换处理从而使得视网膜部的区域变得易于观察的断层图像1802。

在操作者希望关注视网膜部的区域的情况下，操作者通过输入单元40从选项1801中的“视网膜”、“玻璃体/脉络膜”和”整体”三个选项当中选择“视网膜”。选择单元1623根据来自操作者的指令选择针对视网膜部的区域的图像质量改善处理，并且图像质量改善单元1622将选择的图像质量改善处理应用于断层图像以生成视网膜部易于观察的断层图像1802。显示控制单元350在显示画面1800上显示生成的、视网膜部易于观察的断层图像1802。

图18B示出了玻璃体部和脉络膜部的区域被选择为关注区域的情况下的显示画面1810。在显示画面1810上，显示选项1811和进行了灰度转换处理从而使得玻璃体部和脉络膜部的区域变得易于观察的断层图像1812。

在操作者希望关注玻璃体部和脉络膜部的区域的情况下，操作者通过输入单元40从选项1801中的“视网膜”、“玻璃体/脉络膜”和”整体”三个选项当中选择“玻璃体/脉络膜”。选择单元1623根据来自操作者的指令选择针对玻璃体部和脉络膜部的区域的图像质量改善处理，并且图像质量改善单元1622将选择的图像质量改善处理应用于断层图像，以生成具有高图像质量的玻璃体部和脉络膜部易于观察的断层图像1812。显示控制单元350在显示画面1810上显示生成的、玻璃体部和脉络膜部易于观察的断层图像1812。

图18C示出了其中整个图像的区域被选择为关注区域的情况下的显示画面1820。在显示画面1820上，显示选项1821和看起来是进行了灰度转换处理从而使得整个图像的区域变得易于观察的图像的断层图像1822。

在操作者希望关注整个图像的区域的情况下，操作者通过输入单元40从选项1821中的“视网膜”、“玻璃体/脉络膜”和”整体”三个选项当中选择”整体”。选择单元1623根据来自操作者的指令针对整个图像选择图像质量改善处理，并且图像质量改善单元1622将选择的图像质量改善处理应用于断层图像以生成高质量断层图像。在这种情况下，图像质量改善单元1622使用所学习模型生成整个图像易于观察的高质量断层图像。显示控制单元350在显示画面1820上显示生成的其中整个图像的区域易于观察的断层图像1822。

如上所述，根据本实施例的控制单元1600包括选择单元1623，其根据来自操作者的指令，选择要应用于由获得单元310获得的第一断层图像的图像处理。基于由选择单元1623选择的图像处理，图像质量改善单元1622在不使用学习模型的情况下通过对第一断层图像进行灰度转换处理来生成第三断层图像(第三医学图像)，或者使用学习模型从第一断层图像生成第二断层图像。

根据本构造，控制单元1600可以观察根据操作者希望关注的区域已经对其进行了不同图像处理的断层图像。特别地，如上所述，当进行使用学习模型的图像质量改善处理时，在某些情况下，实际上不存在的组织被可视化，或者原本存在的组织未被可视化。因此，可以通过观察和比较进行了不同图像处理的断层图像来防止误诊。

此外，并不以如上所述的被进行从而使得视网膜部的区域变得易于观察的灰度转换处理或被进行从而使得玻璃体部和脉络膜部的区域变得易于观察的灰度转换处理是分割处理作为前提。因此，即使对于病眼，也可以预期到适当的图像质量改善处理。

在本实施例中，已经描述了示例，其中在步骤S1703中获得了关于期望关注的区域的操作者的指令之后，根据该指令进行图像处理。然而，获得来自操作者的指令和进行图像处理的顺序不限于此。可以预先通过图像质量改善单元1622根据各选项对原始断层图像进行图像处理，从而预先生成各个高质量断层图像，并且根据操作者的指令可以仅切换要显示的高质量断层图像。在这种情况下，选择单元1623可以用作用于选择要显示的高质量断层图像的选择单元。

此外，可以在对原始断层图像应用预先设置的图像处理(默认图像处理)以生成高质量断层图像并显示高质量断层图像之后，获得来自操作者的指令。在这种情况下，如果从操作者获得进行除默认图像处理之外的图像处理的指令，则可以显示通过根据该指令进行图像处理而生成的新的高质量图像。

请注意，尽管已经描述了其中对玻璃体部和脉络膜部的区域进行相同的图像处理的示例，但是可以对玻璃体部的区域和脉络膜部的区域进行单独的图像处理。

此外，图像处理不限于针对视网膜部的区域的图像质量改善处理、针对玻璃体部和脉络膜部的区域的图像质量改善处理以及使用学习模型的图像质量改善处理。例如，如上所述，基于进行分割处理的前提的使得视网膜部、玻璃体部和脉络膜部的区域变得易于观察的灰度转换处理可以包括在图像处理选项中。在这种情况下，可以观察和比较通过基于进行分割处理的前提的图像处理生成的高质量断层图像和通过使用学习模型等的图像处理生成的高质量断层图像。因此，操作者可以容易地确定由于分割处理导致的错误检测，以及使用学习模型生成的断层图像中的组织的真实性。

(实施例3)

在实施例1中，显示使用学习模型进行图像质量改善处理的图像。相比而言，在根据实施例3的OCT装置的情况下，进行图像分析并显示图像结果，在该图像分析中，将不同的分析条件应用于在生成的高质量断层图像中彼此不同的多个区域中的各区域。

在下文中，参照图19和图20，对根据本实施例的OCT装置进行描述。请注意，根据本实施例的除了控制单元之外的构造与根据实施例1的OCT装置1的构造相同，因此相同的部件由与实施例1相同的附图标记表示，并且在下文中省略其描述。在下文中，以与根据实施例1的OCT装置的不同之处为中心，将对根据本实施例的OCT装置进行描述。

图19示出了根据本实施例的控制单元1900的示意构造示例。请注意，在控制单元1900中，除了图像处理单元1920的分析单元1924之外的构造与根据实施例1的控制单元30的构造相同，因此相同的部件由与实施例1相同的附图标记表示，并且在下文中省略其描述。

除了断层图像生成单元321和图像质量改善单元322之外，图像处理单元1920还包括分析单元1924。分析单元1924基于为各区域设置的分析条件对由图像质量改善单元322生成的高质量断层图像进行图像分析。这里，作为为各区域设置的分析条件，例如，为视网膜部的区域和脉络膜部的区域设置层提取或血管提取，并且为玻璃体部的区域设置玻璃体或玻璃体脱落的检测。请注意，分析条件可以被预先设置或者可以由操作者适当地设置。

在将层提取设置为分析条件的情况下，分析单元1924针对设置了所讨论的分析条件的区域进行层提取，并且可以针对提取层进行层厚度值测量等。此外，在将血管提取设置为分析条件的情况下，分析单元1924针对设置了所讨论的分析条件的区域进行血管提取提取，并且可以针对提取的血管进行血管密度测量等。另外，在将玻璃体或玻璃体脱落的检测设置为分析条件的情况下，分析单元1924针对设置了所讨论的分析条件的区域进行玻璃体或玻璃体脱落的检测。其后，分析单元1924可以对检测到的玻璃体或玻璃体脱落进行量化，并且确定玻璃体或玻璃体脱落的厚度、宽度、面积或体积等。

请注意，分析条件不限于上述条件，并且可以根据期望构造任意设置。例如，可以为玻璃体部的区域设置玻璃体的纤维结构的检测。在这种情况下，分析单元1924可以对检测到的玻璃体的纤维结构进行量化，并且确定纤维结构的厚度、宽度、面积或体积等。此外，根据分析条件的分析处理也不限于上述处理，并且可以根据期望的构造任意设置。

显示控制单元350可以使由分析单元1924进行的图像分析的结果与高质量断层图像一起或者与高质量断层图像分开地显示在显示单元50上。

接下来，参照图20描述根据本实施例的一系列图像处理操作。图20是根据本实施例的一系列图像处理操作的流程图。请注意，由于步骤S2001至步骤S2003与根据实施例1的步骤S1101至S1103相同，因此在下文中将省略对这些步骤的描述。

类似于步骤S1103，当在步骤S2003中图像质量改善单元322生成高质量断层图像时，处理转到步骤S2004。在步骤S2004中，分析单元1924针对生成的高质量断层图像进行分割处理，从而检测断层图像中的多个不同区域。作为多个区域，分析单元1924可以检测例如玻璃体部的区域、视网膜部的区域和脉络膜部的区域。请注意，任何已知的方法都可以用作分割处理的方法，例如，分割处理可以是基于规则的分割处理。这里，术语“基于规则的处理”是指利用例如已知规则性(诸如视网膜形状的规则性)的处理。

其后，分析单元1924基于为各检测到的区域设置的分析条件针对各检测到的区域进行图像分析。例如，根据分析条件，分析单元1924对已经设置了所讨论的分析条件的区域进行层提取或血管提取，并且计算层厚度或血管密度。请注意，可以通过任何已知的分割处理等来进行层提取或血管提取。此外，根据分析条件，分析单元1924可以检测玻璃体、玻璃体脱落或玻璃体的纤维结构，并且可以对这些进行量化。请注意，当检测玻璃体、玻璃体脱落或玻璃体的纤维结构时，分析单元1924可以额外地进行对比度增强、二值化、形态学处理、边界跟踪处理等。

在步骤S2005中，显示控制单元350使通过分析单元1924分析而获得的各个分析结果(例如，层厚度、血管密度、玻璃体的面积)与图像质量改善单元322生成的高质量断层图像一起显示在显示单元50上。请注意，显示分析结果的形式可以是根据期望构造的任何形式。例如，显示控制单元350可以与高质量断层图像的各个区域相关联地显示各个区域的分析结果。此外，显示控制单元350可以使分析结果与高质量断层图像分开显示在显示单元50上。当显示控制单元350的显示处理结束时，一系列图像处理操作结束。

因此，根据本实施例的控制单元1900包括分析单元1924，该分析单元1924通过将不同的分析条件应用于图像质量改善单元322生成的高质量断层图像(第二断层图像)中彼此不同的区域来进行图像分析。显示控制单元350使得针对由分析单元1924获得的高质量断层图像中的彼此不同的多个区域中的各区域的分析结果被显示在显示单元50上。

根据本构造，为了针对由图像质量改善单元322生成的高质量断层图像进行图像分析，分析单元1924可以更适当地检测图像内的特征等，并以更高的精度进行图像分析。此外，通过根据针对看起来是对各区域进行了适当图像处理的图像的高质量断层图像的各区域设置的分析条件来进行图像分析，分析单元1924可以针对各区域输出适当的分析结果。因此，操作者可以快速地获得针对被检眼的适当的分析结果。

在本实施例中，分析单元1924根据针对高质量断层图像的各区域的分析条件自动进行图像分析。另一方面，分析单元1924可以根据操作者的指令开始针对高质量断层图像的图像处理。

根据本实施例的分析单元1924也可以应用于根据实施例2的控制单元1600。在这种情况下，针对在步骤S1705至步骤S1707中生成的断层图像，分析单元1924可以进行上述的图像分析，或者仅针对在步骤S1704中选择的期望观察的区域进行图像处理。请注意，在进行图像质量改善时进行分割处理的情况下，分析单元1924可以使用分割处理的结果针对高质量断层图像进行上述图像分析。

另外，在本实施例中，分析单元1924对由图像质量改善单元322生成的高质量断层图像进行分割处理，并且检测彼此不同的区域。在这方面，例如，在将分析单元1924应用于根据实施例1的变型例3的控制单元的情况下，基于使用第一学习模型获得的标签图像，分析单元1924可以判定高质量断层图像中的多个不同的区域。

(变型例5)

另外，针对断层图像，图像处理单元320、1620或1920可以使用用于分割的学习模型以生成标签图像并进行分割处理。这里，术语“标签图像”是指针对如上所述的断层图像对各像素给出了区域的标记的标签图像。具体地，术语“标签图像”是指根据可识别的像素值(以下称为“标记值”)组，对图像中可视化的一组区域当中的任意区域进行分类的图像。这里，在所识别的任意区域中包括关注区域(ROI)和关注体积(VOI)等。

当从图像中识别具有任意标记值的像素的坐标组时，可以识别使得图像中诸如视网膜层的对应区域的像素可视化的坐标组。具体地，例如，在指示形成视网膜的神经节细胞层的标记值为“1”的情况下，在图像的像素组中识别像素值为“1”的坐标组，并且从图像中提取与该坐标组对应的像素组。通过这种方式，可以识别图像中的神经节细胞层的区域。

请注意，分割处理可以包括对标签图像进行缩小或放大处理的处理。此时，可以采用不会错误地生成未定义的标记值或在对应坐标处不应存在的标记值的最近邻法等作为用于缩小或放大标签图像的图像插值处理方法。

现在将详细描述分割处理。术语“分割处理”是指识别在图像中可视化的诸如器官或病变的称为ROI或VOI的区域的处理，以便将此类区域用于图像诊断或图像分析。例如，根据分割处理，可以从通过OCT摄像获得的图像中识别出构成视网膜的一组层组的区域，对于该OCT摄像，将眼球的后节被作为摄像目标。请注意，如果在相关图像中要识别的区域未被可视化，则识别出的区域的数目为0。此外，如果在图像中一组多个要识别的区域被可视化，则被识别出的区域的数目可以是多个，或者可以是围绕一组区域以便包括该组区域的单个区域。

识别出的区域组作为可以用于其它处理中的信息被输出。具体地，例如，构成识别出的区域组的像素组的坐标组可以作为数值数据组分别输出。此外，例如，指示包括识别出的各区域组的矩形区域、椭圆形区域、平行六面体区域、椭圆体区域等的坐标组也可以作为数值数据组输出。另外，例如，指示作为识别出的区域组的边界的直线、曲线、平面、曲面等的坐标组可以作为数值数据组输出。此外，例如，还可以输出指示识别出的区域组的标签图像。

在这种情况下，例如，卷积神经网络(CNN)可以用作用于分割的机器学习模型。请注意，例如，根据本变型例，如图10中所示的CNN(U-Net型机器学习模型)或通过组合CNN和LSTM(长短期存储器)而获得的模型可以用作机器学习模型。此外，FCN(全卷积网络)或SegNet等也可以用作机器学习模型。另外，可以根据期望的构造使用以区域为单位进行对象识别的机器学习模型等。作为用于以区域为单位进行对象识别的机器学习模型，例如，可以使用RCNN(区域CNN)、Fast-RCNN或Faster-RCNN。另外，YOLO(仅查看一次)或SSD(单发检测器或单发MultiBox检测器)也可用作以区域为单位进行对象识别的机器学习模型。请注意，这里作为示例描述的机器学习模型可以应用于变型例3中描述的第一学习模型。

此外，对于用于分割的机器学习模型的训练数据，采用断层图像作为输入数据，并且采用通过针对断层图像将各像素给出区域的标记而获得的标签图像作为输出数据。作为标签图像，例如，可以使用这样的标签图像，其中，对各区域给出诸如内部限制膜(ILM)、神经纤维层(NFL)、神经节细胞层(GCL)、感光体内节-外节连接处(ISOS)、视网膜色素上皮(RPE)、布鲁赫膜(BM)和脉络膜等标记。请注意，作为其它区域，例如，可以使用这样的标签图像，其中，对各区域给出诸如玻璃体、巩膜、外网状层(OPL)、外核层(ONL)、内网状层(IPL)、内核层(INL)、角膜、前房、虹膜和晶状体等标记。请注意，对于这里作为示例描述的标签图像，该标签图像还可以用作与变型例3中提到的与第一学习模型有关的训练数据的输出数据。

此外，用于分割的机器学习模型的输入数据不限于断层图像。输入数据可以是眼前段图像、SLO眼底图像、使用眼底照相机等获得的眼底正面图像，或者稍后描述的en-face图像或OCTA正面图像。在这种情况下，对于训练数据，可以采用各种图像作为输入数据，并且可以采用其中已经为各种图像的各像素标记了区域名称等的标签图像作为输出数据。例如，在训练数据的输入数据是眼底正面图像的情况下，输出数据可以是对诸如杯体、盘和视神经***的周边部分的区域已经给出了标记的图像。请注意，输入数据可以是经过图像质量改善的图像，或者可以是未经图像质量改善的图像。

请注意，用作输出数据的标签图像可以是已经由医师等在断层图像中的各区域上给出了标记的图像，或者可以是已经通过基于规则的区域检测处理对各区域给出了标记的图像。然而，如果使用未对其进行适当标记的标签图像作为训练数据的输出数据来进行机器学习，则存在使用学习模型(该学习模型使用所讨论的训练数据进行了学习)获得的图像也将是未对其进行适当标记的标签图像的可能性。因此，通过从训练数据中排除包括这种标签图像的对，可以降低使用学习模型生成不适当的标签图像的可能性。这里，术语“基于规则的区域检测处理”是指利用例如已知规则性(诸如视网膜形状的规则性)的检测处理。

通过使用用于分割的这种学习模型进行分割处理，可以预期到图像处理单元320、1620和1920将针对各种图像快速且精确地检测特定区域。请注意，用于分割的学习模型可以用作在变型例3中提到的第一学习模型。此外，在实施例3中，分析单元1924可以使用根据本变型例的学习模型来进行分割处理。

请注意，可以为作为输入数据的各种图像当中的每种图像准备用于分割的学习模型。另外，用于分割的学习模型可以是针对各摄像部位(例如，黄斑区域的中心和视神经***的中心)的图像已经进行了学习的学习模型，或者可以是不管摄像部位如何都已经进行了学习的学习模型。

此外，当生成en-face图像或OCTA正面图像时，如稍后所述设置和指定深度范围。因此，对于en-face图像或OCTA正面图像，可以为用于生成图像的各深度范围准备学习模型。

请注意，针对进行图像质量改善处理之前的图像和通过图像质量改善单元322或1622进行图像质量改善处理之后的图像中的至少一个，图像处理单元320、1620和1920可以使用基于规则的分割处理或学习模型来进行分割处理。因此，图像处理单元320可以识别出至少一个所讨论的图像中的不同区域。特别地，图像处理单元320、1620和1920使用与用于生成高质量图像(第二医学图像)的学习模型不同的用于分割的学习模型(第三学习模型)来进行分割处理。因此，可以预期到在至少一个所讨论的图像中的不同区域将被快速而精确地识别。

(变型例6)

根据上述实施例和变型例由图像质量改善单元322和1622使用学习模型获得的高质量图像可以根据来自操作者的指令手动地修改。例如，图像质量改善模型可以通过增量学习来更新，该增量学习采用根据检查者的指令来改变指定区域的图像处理的高质量图像作为训练数据。在这种情况下，例如，可以采用以如下方式修改了的图像作为增量学习的训练数据：在使用图像质量改善模型生成的高质量图像中，针对已经针对玻璃体部或脉络膜部进行了灰度转换处理的区域，针对视网膜部进行灰度转换处理。反过来，可以采用以如下方式修改了的图像作为增量学习的训练数据：在使用图像质量改善模型生成的高质量图像中，针对已经针对视网膜部进行了灰度转换处理的区域，针对玻璃体部或脉络膜部进行灰度转换处理。

另外，图像质量改善模型可以通过增量学习来更新，其中，采用按照来自检查者的指示设置(改变)的比率的值作为学习数据。例如，如果当输入图像相对较暗时检查者倾向于将输入图像与高质量图像的比率设置得较高，则学习模型进行增量学习以具有这种趋势。因此，例如，学习模型可被定制为可获得与检查者的偏好匹配的组合比的学习模型。

此时，可以在显示画面上显示用于按照检查者的指示确定是否使用比率的设置(改变)值作为用于增量学习的训练数据的按钮。通过这种方式，控制单元30、1600或1900可以根据操作者的指令来确定是否需要增量学习。此外，可以采用以下构造：将使用学习模型确定的比率取为默认值，然后，可以按照来自检查者的指示从默认值改变比率值。

请注意，如上所述，还可以在诸如服务器的装置中设置学习模型。在这种情况下，控制单元30、1600或1900可以根据操作者的指令进行增量学习，并将输入图像以及对其进行了上述修改的高质量图像作为一对训练数据发送和存储到相关服务器等。换句话说，控制单元30、1600或1900可以根据操作者的指令，确定是否将用于增量学习的训练数据发送到诸如配备有学习模型的服务器等装置。

请注意，针对在前述实施例和其它变型例中描述的各种学习模型，各个学习模型也可以类似地使用根据操作者的指令手动修改的数据作为训练数据来进行增量学习。此外，也可以通过类似的方法来确定是否需要增量学习以及确定是否向服务器发送数据。同样在这些情况下，可以预期到各种处理的精度将提高，并且可以进行根据检查者的偏好倾向的处理。

例如，对于用于分割的学习模型，可以进行增量学习，其中根据操作者的指令手动修改的数据被用作训练数据。此外，通过与如上所述的方法相同的方法来确定是否需要增量学习以及确定是否向服务器发送数据。同样在这些情况下，可以预期到分割处理的精度将提高，并且可以进行根据检查者的偏好倾向的处理。

(变型例7)

在上述各个实施例和变型例中，图像处理单元320、1620和1920可以使用三维断层图像生成被检眼的en-face图像或OCTA正面图像。在这种情况下，显示控制单元350可以使生成的en-face图像或OCTA图像显示在显示单元50上。此外，分析单元1924还可以针对生成的en-face图像或OCTA图像进行分析。

现在将描述en-face图像和OCTA正面图像。en-face图像是通过在X和Y方向上投影使用光干涉获得的三维断层图像中的任意深度范围上的数据而生成的正面图像。该正面图像是通过将对应于深度范围的数据投影或积分到二维平面生成的，该深度范围至少是使用光干涉获得的体积数据(三维断层图像)的局部深度范围，并且基于两个参考平面来定义。

例如，可以通过将对应于深度范围的数据投影到二维平面上来生成en-face图像，该深度范围是在体积数据当中基于针对二维断层图像通过分割处理检测到的视网膜层来确定的。请注意，作为在二维平面上投影与基于两个参考平面定义的深度范围相对应的数据的技术，例如，可以使用采用相对深度范围内的数据的代表值作为二维平面上的像素值的技术。在这种情况下，代表值的示例可以包括诸如在被两个参考平面围绕的区域的深度方向上的范围(深度范围)内的像素值的平均值、中值或最大值的值。

与en-face图像有关的深度范围可以基于例如与视网膜层有关的两个层边界来指定，该层边界是通过使用基于规则的分割处理的上述技术或通过使用变型例5中提到的学习模型的分割处理来检测的。此外，参考与通过这些分割处理操作检测到的视网膜层有关的两个层边界之一，所讨论的深度范围可以仅包括与更深的方向或更浅的方向上的预定数目的像素相对应的范围。另外，与en-face图像有关的深度范围可以是例如根据操作者的指令已经从与检测到的视网膜层有关的两个层边界之间的范围改变(偏移)了的范围。此时，例如，操作者可以通过移动指示深度范围的上限或下限的指示符来改变深度范围，该指示符已经被叠加在由图像质量改善单元322或1622进行了图像质量改善的断层图像上或还未进行图像质量改善的断层图像上。

请注意，如上所述，生成的正面图像不限于基于辉度值的en-face图像(辉度en-face图像)。生成的正面图像可以是例如运动对比度正面图像，针对与多个体积数据项相对的运动对比度数据，该运动对比度正面图像是通过将对应于上述深度范围的数据投影或积分在二维平面上生成的。这里，术语“运动对比度数据”是指这样的数据，其指示通过控制从而使得在被检眼的同一区域(同一位置)上多次扫描测量光而获得的多个体积数据项之间的变化。此时，体积数据由在不同位置处获得的多个断层图像构成。然后，在彼此不同的各个位置处，通过获得示出在大致相同的位置处获得的多个断层图像之间的变化的数据，运动对比度数据可以作为体积数据获得。请注意，关于测量血流运动的OCT血管造影，运动对比度正面图像也被称为OCTA正面图像(OCTA en-face图像)，并且运动对比度数据也被称为OCTA数据。运动对比度数据例如可以作为两个断层图像之间或对应于两个断层图像的干扰信号之间的方差值或解相关值来获得，或者作为通过将最大值除以最小值(最大值/最小值)得到的值来获得，并且可以通过任何已知方法获得。此时，可以例如通过控制使得在被检眼的相同区域(相同位置)上多次扫描测量光来获得两个断层图像。

此外，可以使用与包括用于图像分割的断层图像的体积数据共有的至少一部分干扰信号来生成在生成OCTA正面图像时使用的三维OCTA数据(OCT体积数据)。在这种情况下，体积数据(三维断层图像)和三维OCTA数据可以彼此对应。因此，例如，通过使用与体积数据相对应的三维运动对比度数据，可以生成与基于通过图像分割检测到的视网膜层确定的深度范围相对应的运动对比度正面图像。

请注意，生成en-face图像或OCTA正面图像时使用的体积数据可以由通过图像质量改善单元322或1622进行了图像质量改善的断层图像构成。换句话说，图像处理单元320、1620或1920可以使用体积数据生成en-face图像或OCTA正面图像，该体积数据由在进行了图像质量改善的多个不同位置处获得的多个断层图像构成。换句话说，在由图像质量改善单元322或1622进行图像质量改善处理之前和之后的图像是三维OCT断层图像的情况下，图像处理单元320、1620或1920可以生成对应于图像质量改善处理之后的图像的局部深度范围的正面图像。因此，图像处理单元320、1620或1920可以基于高质量三维断层图像生成高质量正面图像。

(变型例8)

接下来，将参照图21A至图23描述根据变型例8的图像处理装置。在上述实施例和变型例中，图像质量改善单元322和1622使用用于改善图像质量的学习模型(图像质量改善模型)针对断层图像进行图像质量改善处理。在这方面，图像质量改善单元322和1622可以使用针对其它图像的图像质量改善模型来进行图像质量改善处理，并且显示控制单元350可以使进行了图像质量改善的各种图像显示在显示单元50上。例如，图像质量改善单元322或1622可以使辉度en-face图像或OCTA正面图像等经受图像质量改善处理。此外，显示控制单元350可以使显示单元50显示经受图像质量改善单元322或1622的图像质量改善处理的断层图像、辉度en-face图像和OCTA正面图像中的至少一个。请注意，进行图像质量改善并被显示的图像可以是SLO眼底图像、使用眼底照相机(未示出)等获得的眼底图像或荧光眼底图像等。

在这种情况下，与根据上述实施例和变型例的图像质量改善模型的训练数据类似，对于用于对各种图像进行图像质量改善处理的图像质量改善模型的训练数据，针对各种图像，采用图像质量改善处理之前的图像作为输入数据，并且采用图像质量改善处理之后的图像作为输出数据。请注意，对于与训练数据有关的图像质量改善处理，与上述实施例和变型例类似，该处理可以是例如算术平均处理、使用平滑滤波器的处理、最大后验处理(MAP估计处理)或灰度转换处理。此外，作为图像质量改善处理之后的图像，例如，可以使用对其进行了诸如噪声去除和边缘增强等滤波处理的图像，或者可以使用对其调节了对比度以便从低辉度图像获得高辉度图像的图像。另外，对于与图像质量改善模型有关的训练数据的输出数据，由于输出数据是高质量图像就足够了，因此输出数据可以是使用比用于对作为输入数据的图像摄像的OCT装置性能高的OCT装置摄像的图像，或者可以是以高负载设置摄像的图像。

此外，可以为要对其进行图像质量改善处理的各种图像准备图像质量改善模型。例如，可以准备用于断层图像的图像质量改善模型、用于辉度en-Face图像的图像质量改善模型和用于OCTA正面图像的图像质量改善模型。另外，用于辉度en-face图像的图像质量改善模型或用于OCTA正面图像的图像质量改善模型可以是针对与图像的生成有关的深度范围(生成范围)的全面学习了不同深度范围处的图像的学习模型。不同深度范围处的图像可以包括，例如，如图21A所示的表面层(Im2110)、深层(Im2120)、外层(Im2130)和脉络膜血管网络(Im1940)的图像。此外，对于用于辉度en-face图像的图像质量改善模型或用于OCTA正面图像的图像质量改善模型，可以准备学习各不同深度范围的图像的多个图像质量改善模型。请注意，针对除断层图像之外的图像进行图像质量改善处理的图像质量改善模型不限于对各区域进行不同图像处理的图像质量改善模型，并且可以是针对整个图像进行相同的图像处理的图像质量改善模型。

此外，在准备用于断层图像的图像质量改善模型的情况下，该图像质量改善模型可以是全面学习在副扫描方向(Y轴方向)的不同位置处获得的断层图像的学习模型。图21B所示的断层图像Im2151至Im2153是在副扫描方向上的不同位置处获得的断层图像的示例。然而，在通过对摄像部位(例如，黄斑区域的中心和视神经***的中心)不同的位置进行摄像而获得的图像的情况下，可以采用构造以便针对各摄像部位分别进行学习，或者可以采用构造以便一起进行学习而无需关注摄像部位。请注意，辉度断层图像和运动对比度数据的断层图像可以作为要进行图像质量改善的断层图像被包括。然而，由于辉度断层图像与运动对比度数据的断层图像之间图像特征值显著不同，因此作为用于各种图像的各个图像质量改善模型可以分别进行学习。

在本变型例中，描述了示例，其中显示控制单元350在显示单元50上显示图像质量改善单元322或1622对其进行了图像质量改善处理的图像。请注意，尽管使用图22A和图22B描述了本变型例，但是显示画面不限于图22A和图22B所示的示例。图像质量改善处理(质量改善处理)也可以类似地应用于显示画面，该显示画面与进行跟踪观察时一样，并排显示在不同日期和时间获得的多个图像。此外，与摄像确认画面的情况一样，图像质量改善处理也可以类似地应用于检查者在摄像之后立即确认摄像是否成功的显示画面。显示控制单元350可以使图像质量改善单元322或1622生成的多个高质量图像或未对其进行图像质量改善的低质量图像显示在显示单元50上。此外，针对在显示单元50上显示的多个高质量图像或未经图像质量改善的低质量图像，显示控制单元350可以使根据检查者的指令选择的低质量图像和高质量图像中的各个显示在显示单元50上。图像处理装置还可以将根据检查者的指令选择的低质量图像和高质量图像输出到图像处理装置的外部。

在下文中，参照图22A和图22B描述根据本变型例的界面的显示画面2200的一个示例。显示画面2200代表整个屏幕，并且在显示画面2200中示出“患者(Patient)”选项卡2201、“摄像(Imaging)”选项卡2202、“报告(Report)”选项卡2203和“设置(Setting)”选项卡2204。此外，“报告(Report)”选项卡2203中的对角线指示报告画面的激活状态。在本变型例中，将描述显示报告画面的示例。

在图22A中示出的报告画面中，示出了SLO眼底图像Im2205、OCTA正面图像Im2207和Im2208、辉度en-face图像Im2209、断层图像Im2211和Im2212以及按钮2220。此外，在SLO眼底图像Im2205上，以叠加的方式显示与OCTA正面图像Im2207相对应的OCTA正面图像Im2206。另外，在断层图像Im2211和Im2212上，以叠加的方式分别显示OCTA正面图像Im2207和Im2208的深度范围的边界线2213和2214。按钮2220是用于指定图像质量改善处理的执行的按钮。如稍后所述，按钮2220可以是用于输入显示高质量图像的指令的按钮。

在本变型例中，当指定按钮2220时进行图像质量改善处理的执行，或者基于数据库中存储(保存)的信息来确定是否执行图像质量改善处理。首先，将描述通过根据来自检查者的指令指定按钮2220来在高质量图像的显示和低质量图像的显示之间进行切换的示例。在下文中，将OCTA正面图像描述为图像质量改善处理的目标图像。

请注意，OCTA正面图像Im2207和Im2208的深度范围可以使用通过上述常规分割处理或者通过使用学习模型的分割处理检测到的视网膜层的信息来确定。深度范围例如可以是与检测到的视网膜层相关的两个层边界之间的范围，或者可以参考与检测到的视网膜层相关的两个层边界之一的在更深方向或更浅方向上仅包括预定数目的像素对应的范围。另外，与该深度范围可以是例如根据操作者的指令已经从与检测到的视网膜层有关的两个层边界之间的范围改变(偏移)了的范围。

当检查者指定“报告(Report)”选项卡2203以转变到报告画面时，显示控制单元350显示低图像质量OCTA正面图像Im2207和Im2208。其后，当检查者指定按钮2220时，图像质量改善单元322或1622对显示在画面上的OCTA正面图像Im2207和Im2208执行图像质量改善处理。在图像质量改善处理完成之后，显示控制单元350在报告画面上显示图像质量改善单元322或1622生成的高质量图像。请注意，由于OCTA正面图像Im2206是其中OCTA正面图像Im2207以叠加的方式显示在SLO眼底图像Im2205上的图像，因此显示控制单元350还可以使通过针对OCTA正面Im2206进行图像质量改善处理而获得的图像被显示。此外，显示控制单元350可以将按钮2220的显示改变为激活状态，以提供从中可以理解执行了图像质量改善处理的显示。

在这种情况下，图像质量改善单元322或1622的处理的执行不必限于检查者指定按钮2220的定时。由于在打开报告画面时要显示的OCTA正面图像Im2207和Im2208的种类事先已知，因此图像质量改善单元322或1622可以在显示的画面转变为报告画面时执行图像质量改善处理。随后，在按下按钮2220的定时，显示控制单元350可以在报告画面上显示高质量图像。另外，响应于来自检查者的指令或者当转变到报告画面时进行图像质量改善处理的图像的种类数不必为两个。也可以采用这样的构造，以对正在显示的可能性高的图像进行处理，例如，可以对诸如图21A中所示的表面层(Im2110)、深层(Im2120)、外层(Im2130)和脉络膜血管网络(Im2140)的图像的多个OCTA正面图像进行处理。在这种情况下，通过进行图像质量改善处理而获得的图像可以被临时存储在存储器中或者可以被存储在数据库中。

接下来，描述基于数据库中存储(保存)的信息执行图像质量改善处理的情况。在将要进行图像质量改善处理的执行的状态存储在数据库中的情况下，在显示转变为报告画面时，显示控制单元350使作为图像质量改善单元322或1622执行图像质量改善处理的结果而获得的高质量图像默认显示在显示单元50上。此外，可以采用这样的构造：通过显示控制单元350使得按钮2220默认显示在激活状态下，从而检查者可以知道正在显示通过执行图像质量改善处理而获得的高质量图像。如果检查者期望在图像质量改善处理之前的状态下显示低质量图像，则检查者可以进行指定按钮2220的操作，从而释放激活状态，从而使得显示控制单元350使低质量图像被显示在显示单元50上。此时，如果检查者期望将显示的图像返回到高质量图像，则检查者指定按钮2220从而进入激活状态，由此显示控制单元350使高质量图像再次显示在显示单元50上。

假定可以针对诸如每组摄像数据(每次检查)等各个类别的数据，为存储在数据库中的所有数据共同地指定是否对数据库中存储的数据执行图像质量改善处理。例如，在已经存储了要对整个数据库进行图像质量改善处理的状态的情况下，检查者可以存储针对单个摄像数据项目(个人检查)不执行图像质量改善处理的状态。在这种情况下，对于针对存储了不执行图像质量改善处理的状态的单个摄像数据项，在下次显示相关摄像数据时，摄像数据可以以还未对其执行图像质量改善处理的状态显示。根据该构造，在未指定是否在摄像数据单元(检查单元)中执行图像质量改善处理的情况下，可以基于针对整个数据库指定的信息来执行处理。此外，在已经指定了在摄像数据单元(检查单元)中执行图像质量改善处理的情况下，可以基于所讨论的信息单独地执行处理。

请注意，用户界面(未示出)(例如，“存储(Store)”按钮)可以用于存储为各摄像数据项目(每次检查)已经执行了图像质量改善处理的状态。此外，在转变到其它摄像数据(另一种检查)或其他患者数据(例如，根据来自检查者的指令改变为除报告画面之外的显示画面)时，基于显示状态(例如，按钮2220的状态)，可以存储要进行图像质量改善处理的状态。

虽然在本变型例中示出了将OCTA正面图像Im2207和Im2208显示为OCTA正面图像的示例，但是可以根据检查者的指定来改变要显示的OCTA正面图像。因此，现在将给出关于在已经指定执行图像质量改善处理(按钮2220处于激活状态)的情况下改变显示图像的描述。

使用用户界面(未示出)(例如，组合框)来进行显示图像的改变。例如，在检查者将图像的种类从表面层图像改变为脉络膜血管网络图像的情况下，图像质量改善单元322或1622对脉络膜血管网络图像执行图像质量改善处理，并且显示控制单元350在报告画面上显示图像质量改善单元322或1622生成的高质量图像。换句话说，响应于来自检查者的指令，显示控制单元350可以将第一深度范围的高质量图像的显示改变为至少部分地不同于第一深度范围的第二深度范围的高质量图像的显示。此时，根据响应于来自检查者的指令将第一深度范围改变为第二深度范围，显示控制单元350可以将第一深度范围的高质量图像的显示改变为第二深度范围的高质量图像的显示。请注意，在如上所述，针对转变到报告画面时正在显示的可能性高的图像已经生成了高质量图像的情况下，显示控制单元350可以显示已经生成的高质量图像。

此外，用于改变图像种类的方法不限于上述方法，并且还可以通过改变用作参考的层和偏移值来生成为其设置了不同深度范围的OCTA正面图像，并且显示通过对生成的OCTA正面图像执行图像质量改善处理而获得的高质量图像。在这种情况下，当改变用作参考的层或偏移值时，图像质量改善单元322或1622针对任意OCTA正面图像执行图像质量改善处理，并且显示控制单元350在报告画面上显示高质量图像。请注意，可以使用用户界面(未示出)(例如，组合框或文本框)来进行对用作参考的层或偏移值的改变。此外，也可以通过拖动以叠加方式分别显示在断层图像Im2211和Im2212上的边界线2213和2214中的任一个(移动层边界)来改变OCTA正面图像的深度范围(生成范围)。

在通过拖动改变边界线的情况下，连续执行针对图像质量改善处理的执行命令。因此，图像质量改善单元322或1622可以被构造为总是进行针对执行命令的处理，或者可以被构造为在已经通过拖动改变了层边界之后执行处理。或者，虽然连续发布执行图像质量改善处理的命令，但是图像质量改善单元322或1622可以被构造为在下一命令到达的时间点取消先前的命令，并执行最新的命令。

请注意，在某些情况下，图像质量改善处理花费相对较长的时间。因此，即使在命令在上述定时中的任何定时被执行时，也可能会花费相对较长时间，直到显示高质量图象。因此，在从响应于来自检查者的指令设置用于生成OCTA正面图像的深度范围到显示高质量图像的时段期间，可以显示与设置的深度范围相对应的低质量OCTA正面图像(低质量图像)。换句话说，可以采用以下构造：当设置上述深度范围时，显示与设置的深度范围相对应的低质量OCTA正面图像(低质量图像)，并且当图像质量改善处理完成时，将低质量OCTA正面图像的显示改变为高质量图像的显示。此外，可以在从设置上述深度范围到显示高质量图像的时段期间显示指示正在执行图像质量改善处理的信息。请注意，这些处理操作不限于在以下情况应用的构造：以状态是其中已经指定了执行图像质量改善处理的状态(按钮2220处于活动状态)为前提。例如，也可以在根据来自检查者的指令指示执行图像质量改善处理时，在直到显示高质量图像的时间段的期间应用这些处理操作。

尽管在本变型例中示出了示例，其中与不同层有关的OCTA正面图像Im2207和Im2108被显示为OCTA正面图像，并且通过在其间切换来显示低质量图像和高质量图像，但是显示的图像不限于此。例如，可以采用一种构造，从而将低质量OCTA正面图像作为OCTA正面图像Im2207以及高质量OCTA正面图像作为OCTA正面图像Im2208并排显示。在通过在它们之间进行切换来显示图像的情况下，由于图像在同一地方被切换，因此容易比较有变化的部分，而在并排显示图像的情况下，由于可以同时显示图像，所以容易比较整个图像。

接下来，图22A和图22B将用于描述在画面转变的情况下图像质量改善处理的执行。图22B是其上以放大方式显示图22A所示的OCTA正面图像Im2207的画面的示例。同样在图22B所示的画面示例中，类似于图22A，显示了按钮2220。例如通过双击OCTA正面图像Im2207来指定从图22A所示的画面到图22B所示的画面的画面转变，并且通过单击“关闭(Close)”按钮2230来指定从图22B所示的画面到图22A所示的画面的画面转变。请注意，对于画面转变，用于从一个画面转变到另一个画面的方法不限于这里描述的方法，并且也可以使用用户界面(未示出)。

当在画面转变时已经指定执行图像质量改善处理(按钮2220处于激活状态)的情况下，在发生画面转变时也保持该状态。换句话说，在图22B所示的画面转变为其中图22A所示的画面上显示高质量图像的状态的情况下，高质量图像也显示在图22B所示的画面上。此外，按钮2220被置于激活状态。这同样适用于从图22B所示的画面转变到图22A所示的画面的情况。在图22B所示的画面上，还可以通过指定按钮2220将显示切换为低质量图像。

对于画面转变，画面转变不限于这里描述的画面，并且只要转变到显示相同摄像数据的画面，例如，用于跟踪观察的显示画面或用于全景图像的显示画面，就可以在保持高质量图像的显示状态的同时进行转变。换句话说，在转变之后的显示画面上，可以显示与转变之前的显示画面上的按钮2220的状态相对应的图像。例如，如果按钮2220在转变之前的显示画面上处于激活状态，则在转变之后的显示画面上显示高质量图像。此外，例如，如果按钮2220的激活状态在转变之前的显示画面上被释放，则在转变之后的显示画面上显示低质量图像。请注意，可以采用以下构造：如果按钮2220在用于跟踪观察的显示画面上处于激活状态，则在不同的日期和时间(不同的检查日)获得的并排显示在用于跟踪观察的显示画面上的多个图像被切换为高质量图像。换句话说，可以采用以下构造：如果按钮2220在用于跟踪观察的显示画面上处于激活状态，则针对在不同日期和时间获得的多个图像共同地进行到高质量图像的切换。

在图23中示出了用于跟踪观察的显示画面的示例。在响应于来自检查者的指示而选择了选项卡2301时，显示如图23所示的用于跟踪观察的显示画面。此时，可以由检查者从列表框2302和2303中显示的预定深度范围集合中选择所需的集合来改变OCTA正面图像的深度范围。例如，在列表框2302中选择了表面毛细血管，在列表框2303中选择了深毛细血管。在上侧的显示区域中显示了对表面毛细血管的OCTA正面图像的分析结果，并且在下侧的显示区域中显示了对深毛细管的OCTA正面图像的分析结果。当选择深度范围时，在不同的日期和时间获得的多个图像被共同地改变为在所选择的深度范围内对多个OCTA正面图像的分析结果的并行显示。

此时，如果将分析结果的显示置于未选择状态，则可以将显示共同地改变为对在不同日期和时间获得的多个OCTA正面图像的分析结果的并行显示。如果然后根据来自检查者的指令指定了按钮2220，则多个OCTA正面图像的显示被共同地改变为多个高质量图像的显示。

此外，当分析结果的显示处于选择状态的情况下，如果根据来自检查者的指令指定了按钮2220，则对多个OCTA正面图像的分析结果的显示被共同地改变为对多个高质量图像的分析结果的显示。这里，可以进行分析结果的显示，使得分析结果以任何透明度以叠加的方式显示在图像上。此时，从图像的显示到分析结果的显示的改变例如可以是改变为其中将分析结果以任何透明度叠加在正在显示的图像上的状态。此外，从图像的显示到分析结果的显示的改变可以是例如改变为通过以任何透明度对各个分析结果和图像进行融合处理而获得图像(例如，二维图)的显示。

此外，这种层边界和用于指定深度范围的偏移位置可各自从用户界面2305和2306来共同地改变。请注意，用户界面2305和2306是用于改变层边界的种类和偏移位置的界面的一个示例，也可以使用任何其它形式的界面。请注意，在不同的日期和时间获得的多个OCTA正面图像的深度范围可以按照来自检查者的指令通过如下方式被共同地改变：还使断层图像与其一起显示，并且移动叠加在断层图像上的层边界数据。此时，在不同的日期和时间获得的多个断层图像可以被并排显示，并且当在一个断层图像进行上述移动时，可以在其它断层图像上类似地移动该层边界数据。

此外，例如，可以通过从诸如上下文菜单等用户界面进行选择来改变图像投影方法，以及是否要进行投影伪影消除处理。

此外，可以选择选择按钮2307来显示选择画面(未示出)，并且可以显示从在选择画面上显示的图像列表中选择的图像。请注意，在图23所示的画面的上部显示的箭头2304是指示当前选择的检查的标记，并且参考检查(基线)是在后续摄像时选择的检查(图23的最左侧的图像)。自然地，指示参考检查的标记可以显示在显示单元上。

此外，在指定“显示差异(Show Difference)”复选框2308的情况下，在参考图像上显示关于参考图像的测量值分布(图或扇区图)。另外，在这种情况下，在与除参考图像的检查日之外的检查日相对应的区域中，显示差分测量值图，该差分测量值图示出对于参考图像计算出的测量值分布和对于显示相关区域的图像计算出的测量值分布之间的差异。作为测量结果，可以在报告画面上显示趋势曲线图(通过测量随时间的变化而获得的对于各个检查日期的图像的测量值的曲线图)。换句话说，可以显示与在不同日期和时间获得的多个图像相对应的多个分析结果的时间序列数据(例如，时间序列图)。此时，关于与除与所显示的多个图像相对应的多个日期和时间以外的日期和时间有关的分析结果，也可以在以下状态下将分析结果显示为时间序列数据：可以从与正在显示的多个图像相对应的多个分析结果中区分出分析结果(例如，时序图上的各点的颜色根据是否显示相应的图像而不同)。此外，趋势图的回归线(曲线)和相应的数学式可以显示在报告画面上。

尽管在本变型例中已经给出了与OCTA正面图像有关的描述，但是应用了根据本变型例的处理的图像不限于此。根据本变型例的与用于显示图像的处理、图像质量改善以及图像分析等有关的图像可以是辉度en-face图像。另外，不同种类的图像不限于en-face图像，并且可以是诸如通过B扫描获得的断层图像、SLO眼底图像、眼底图像或荧光眼底图像等不同的图像。在这种情况下，用于执行图像质量改善处理的用户界面可以是用于指示针对不同种类的多个图像执行图像质量改善处理的用户界面，或者可以是用于从不同种类的多个图像中选择任何图像并指示执行图像质量改善处理的用户界面。

例如，在对通过B扫描获得的断层图像进行图像质量改善并显示所得图像的情况下，可以对图22A所示的断层图像Im2211和Im2212进行图像质量改善并显示。此外，可以在显示OCTA正面图像Im2207和Im2208的区域中显示进行了图像质量改善的断层图像。请注意，进行了图像质量改善并且显示的断层图像的数目可以是一个断层图像或者可以是多个断层图像。在显示多个断层图像的情况下，可以显示在副扫描方向上在彼此不同的位置处获得的断层图像，并且例如，在对通过交叉扫描等获得的多个断层图像进行图像质量改善并显示的情况下，可以显示在不同扫描方向上的各个图像。此外，例如，在对通过径向扫描等获得的多个断层图像进行图像质量改善并显示的情况下，一些选择的(多个)断层图像(例如，在针对参考线彼此对称的位置处的两个断层图像)可以各自显示。另外，如图23所示，可以在用于跟踪观察的显示画面上显示多个断层图像，并且可以通过类似于上述方法的方法来显示用于图像质量改善的指令和分析结果(例如，具体层的厚度)。此外，可以通过与上述方法相同的方法，基于存储在数据库中的信息，对断层图像执行图像质量改善处理。

类似地，在对SLO眼底图像进行图像质量改善并显示所得图像的情况下，例如，可以对SLO眼底图像Im2205进行图像质量改善并显示。另外，在对辉度en-face图像进行图像质量改善并显示所得图像的情况下，例如，可以对辉度en-face图像Im2209进行图像质量改善并显示。另外，如图23所示，可以在用于跟踪观察的显示画面上显示多个SLO眼底图像和en-face图像，并且可以通过类似于上述方法的方法来显示用于图像质量改善的指令和分析结果(例如，具体层的厚度)。此外，可以通过与上述方法相同的方法，基于存储在数据库中的信息，对SLO眼底图像和en-face图像执行图像质量改善处理。请注意，断层图像、SLO眼底图像和辉度en-face图像的显示是出于演示的目的，并且这些图像可以根据期望的构造以任何形式显示。此外，可以基于单个指令对OCTA正面图像、断层图像、SLO眼底图像和辉度en-face图像中的至少两个或更多个进行图像质量改善并显示。

根据前述构造，显示控制单元350可以在显示单元50上显示根据本变型例的图像质量改善单元322或1622进行了图像改善处理的图像。此时，如上所述，在与高质量图像的显示、分析结果的显示和要显示的正面图像的深度范围等有关的多个条件中选择了至少一个条件的状态的情况下，即使将显示画面转变为另一显示画面，也可以保持选择的状态。

此外，如上所述，在选择了多个条件中的至少一个条件的状态的情况下，即使将另一条件改变为选择状态，也可以保持选择至少一个条件的状态。例如，在分析结果的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当指定按钮2220时)，显示控制单元350可以将对低质量图像的分析结果的显示改变为对高质量图像的分析结果的显示。此外，在分析结果的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当释放按钮2220的指定时)，显示控制单元350可以将对高质量图像的分析结果的显示改变为对低质量图像的分析结果的显示。

另外，在高质量图像的显示处于未选择状态的情况下，响应于来自检查者的指令(例如，当释放对分析结果的显示的指定时)，显示控制单元350可以将对低质量图像的分析结果的显示改变为低质量图像的显示。此外，在高质量图像的显示处于未选择状态的情况下，响应于来自检查者的指令(例如，当指定了分析结果的显示时)，显示控制单元350可以将低质量图像的显示改变为对低质量图像的分析结果的显示。此外，在高质量图像的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当释放对分析结果的显示的指定时)，显示控制单元350可以将对高质量图像的分析结果的显示改变为高质量图像的显示。此外，在高质量图像的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当指定了分析结果的显示时)，显示控制单元350可以将高质量图像的显示改变为对高质量图像的分析结果的显示。

此外，让我们考虑高质量图像的显示处于未选择状态并且第一种分析结果的显示处于选择状态的情况。在这种情况下，响应于来自检查者的指令(例如，当指定了第二种分析结果的显示时)，显示控制单元350可以将对低质量图像的第一种分析结果的显示改变为对低质量图像的第二种分析结果的显示。此外，让我们考虑高质量图像的显示处于选择状态并且第一种分析结果的显示处于选择状态的情况。在这种情况下，响应于来自检查者的指令(例如，当指定了第二种分析结果的显示时)，显示控制单元350可以将对高质量图像的第一种分析结果的显示改变为对高质量图像的第二种分析结果的显示。

请注意，可以采用以下的构造：在用于跟踪观察的显示画面上，如上所述，针对在不同日期和时间获得的多个图像，共同地反映这些显示的改变。这里，可以进行分析结果的显示，使得分析结果以任何透明度以叠加的方式显示在图像上。此时，改变为分析结果的显示例如可以是改变为其中将分析结果以任何透明度叠加在正在显示的图像上的状态。此外，改变为分析结果的显示可以是例如改变为通过以任何透明度对各个分析结果和图像进行融合处理而获得的图像(例如，二维图)的显示。

请注意，在本变型例中，图像质量改善单元322或1622通过使用图像质量改善模型来改善断层图像的图像质量来生成高质量图像。然而，使用图像质量改善模型生成高质量图像的组件不限于图像质量改善单元322和1622。例如，可以设置与图像质量改善单元322和1622分离的第二图像质量改善单元，并且第二图像质量改善单元可以使用图像质量改善模型来生成高质量图像。在这种情况下，第二图像质量改善单元可以生成对整个图像进行相同图像处理的高质量图像，而不是使用学习模型对各区域进行不同的图像处理的高质量图像。此时，学习模型的输出数据可以是通过对整个图像进行相同的图像质量改善处理而获得的图像。请注意，第二图像质量改善单元或第二图像质量改善单元使用的图像质量改善模型可以由由诸如CPU、MPU、GPU或FPGA等处理器执行的软件模块构成，或者可以由行使特定功能的电路(例如ASIC)构成。

(变型例9)

显示控制单元350可以使显示单元50显示根据来自检查者的指令从由图像质量改善单元322或1622生成的高质量图像和输入图像中选择的图像。另外，显示控制单元350可以根据来自检查者的指令将显示单元50上的显示从摄像图像(输入图像)切换到高质量图像。换句话说，显示控制单元350可以根据来自检查者的指令将低质量图像的显示改变为高质量图像的显示。另外，显示控制单元350可以根据来自检查者的指令将高质量图像的显示改变为低质量图像的显示。

此外，图像质量改善单元322或1622可以根据来自检查者的指令，使用图像质量改善模型开始图像质量改善处理(将图像输入到图像质量改善引擎)，并且，显示控制单元350可以在显示单元50上显示所生成的高质量图像。相比而言，当摄像装置(摄像单元20)对输入图像进行摄像时，图像质量改善单元322或1622可以通过使用图像质量改善模型基于输入图像自动生成高质量图像，并且，显示控制单元350可以根据来自检查者的指令使显示单元50显示高质量图像。

请注意，也可以类似地对分析结果的输出进行这些处理。换句话说，显示控制单元350可以根据来自检查者的指令将低质量图像的分析结果的显示改变为高质量图像的分析结果的显示。另外，显示控制单元350可以根据来自检查者的指令将高质量图像的分析结果的显示改变为低质量图像的分析结果的显示。此外，显示控制单元350可以根据来自检查者的指令将低质量图像的分析结果的显示改变为低质量图像的显示。另外，显示控制单元350可以根据来自检查者的指令将低质量图像的显示改变为低质量图像的分析结果的显示。此外，显示控制单元350可以根据来自检查者的指令将高质量图像的分析结果的显示改变为高质量图像的显示。另外，显示控制单元350可以根据来自检查者的指令将高质量图像的显示改变为高质量图像的分析结果的显示。

此外，显示控制单元350可以根据来自检查者的指令将低质量图像的分析结果的显示改变为低质量图像的另一种分析结果的显示。另外，显示控制单元350可以根据来自检查者的指令将高质量图像的分析结果的显示改变为高质量图像的另一种分析结果的显示。

这里，在高质量图像的分析结果的显示中，可以以任意的透明度将高质量图像的分析结果叠加显示在高质量图像上。另外，在低质量图像的分析结果的显示中，可以以任意的透明度将低质量图像的分析结果叠加显示在低质量图像上。此时，对分析结果的显示的改变可以是，例如，对以任意的透明度将分析结果叠加在显示的图像上的状态的改变。另外，对分析结果的显示的改变可以是，例如，对以任意透明度显示通过对分析结果和图像进行融合处理而获得的图像(例如，二维图)的改变。

请注意，在本变型例中，图像质量改善单元322和1622生成通过使用图像质量改善模型来改善断层图像的图像质量获得的高质量图像。然而，通过使用图像质量改善模型生成高质量图像的组件不限于图像质量改善单元322或1622。例如，可以设置与图像质量改善单元322和1622不同的第二图像质量改善单元，并且第二图像质量改善单元可以通过使用图像质量改善模型来生成高质量图像。在这种情况下，第二图像质量改善单元可以生成对整个图像进行相同图像处理的高质量图像，而不是使用学习模型对各区域进行不同的图像处理的高质量图像。此时，学习模型的输出数据可以是通过对整个图像进行相同的图像质量改善处理而获得的图像。请注意，第二图像质量改善单元或第二图像质量改善单元使用的图像质量改善模型可以由由诸如CPU、MPU、GPU或FPGA等处理器执行的软件模块构成，或者可以由行使特定功能的电路(例如ASIC)构成。

另外，在变型例8中，根据按钮2220在显示画面中的激活状态，显示通过使用图像质量改善模型已经对其进行了图像质量改善处理的图像。相比而言，该***可以被构造为使得根据按钮2220的激活状态，显示使用利用学习模型的分割处理的结果的分析值。在这种情况下，例如，当按钮2220处于非激活状态(使用学习模型的分割处理处于未选择状态)时，显示控制单元350使显示单元50显示使用分割处理的结果的分析结果。相比而言，当按钮2220变成激活状态时，显示控制单元350使显示单元50使用利用学习模型的分割处理的结果来显示分析结果。

在这样的构造中，根据按钮的激活状态，切换并显示使用不利用学习模型的分割处理的结果的分析结果和使用利用学习模型的分割处理的结果的分析结果。由于这些分析结果分别是基于通过学习模型进行的处理的结果和通过规则库进行的图像处理的结果，因此这两种结果可能有所不同。因此，通过切换并显示这些分析结果，检查者可以将这两种结果进行比较，并且可以使用更具说服力的分析结果进行诊断。

请注意，当切换分割处理时，例如，在显示图像是断层图像的情况下，可以切换并显示针对各层分析的层厚度的数值。另外，例如，当显示通过颜色、阴影图案等划分为层的断层图像时，可以切换并显示根据分割处理的结果改变层的形状的断层图像。此外，当显示厚度图作为分析结果时，可以显示其中指示厚度的颜色根据分割处理的结果而改变的厚度图。另外，用于指定图像质量改善处理的按钮和用于指定使用学习模型的分割处理的按钮可以分开设置，可以只设置一个按钮，或者，可以将这两个按钮设置为一个按钮。

另外，类似于上述图像质量改善处理的切换，可以基于数据库中保存(记录)的信息来进行分割处理的切换。请注意，对于画面转变时的处理，也可以与上述图像质量改善处理类似地进行分割处理的切换。

(变型例10)

在上述各种实施例和变型例中的显示控制单元350可以使诸如期望层的厚度或各种血管密度等分析结果被显示在显示画面的报告画面上。此外，作为分析结果，可以显示与关注的部位有关的参数值(分布)，该部位包括视神经***、黄斑区、血管区域、神经束、玻璃体区域、黄斑区域，脉络膜区域、巩膜区域、筛板层区域、视网膜层边界、视网膜层边界边缘、感光细胞、血细胞、血管壁、血管内壁边界、血管外边界、神经节细胞、角膜区域、角区域和施莱姆氏管等中的至少一个。此时，例如，可以通过分析经过各种伪影去除处理的医学图像来显示精确的分析结果。请注意，伪影可以是，例如，由血管区域等的光吸收引起的虚假图像区域、投影伪影或者由于被检眼的状态(运动或眨眼等)而在测量光的主扫描方向上出现的正面图像中的带状伪影。此外，伪影可以是任何种类的，只要该伪影是摄像故障区域即可，例如，每次摄像时，该摄像故障区域随机地出现在被检体的预定部位的医学图像上。此外，显示控制单元350可以使与包括上述各种伪像(摄像故障区域)中的至少一种的区域有关的参数的值(分布)作为分析结果显示在显示单元50上。此外，可以显示与包括诸如玻璃疣、新血管部位、白细胞(硬性渗出液)、假性粉刺等至少一个异常部位的区域有关的参数的值(分布)作为分析结果。请注意，图像分析处理可以由分析单元1924进行，或者可以由与分析单元1924分开的分析单元进行。另外，进行了图像分析的图像可以是进行了图像质量改善的图像，或者可以是未进行图像质量改善的图像。

可以使用分析图或使用指示与各个划分区域等相对应的统计值的扇区来显示分析结果。请注意，可以由分析单元1924或另一个分析单元使用通过学习作为训练数据的医学图像的分析结果而获得的学习模型(分析结果生成引擎，或用于生成分析结果的学习模型)来生成分析结果。此时，学习模型可以是通过使用以下训练数据来学习而获得的模型：包括医学图像和对医学图像的分析结果的训练数据，或者包括医学图像和对与相关医学图像等的种类不同的医学图像的分析结果的训练数据。

此外，训练数据可以包括通过分割处理生成的区域标签图像和使用上述区域标签图像分析医学图像的结果。在这种情况下，图像处理单元320、1620和1920例如可以用作分析结果生成单元的一个示例，该分析结果生成单元从通过使用用于生成分析结果的学习模型执行分割处理而获得的结果(例如，视网膜层的检测结果)来生成针对断层图像的分析结果。换句话说，通过使用与用于生成高质量图像(第二医学图像)的学习模型不同的用于生成分析结果的学习模型(第四学习模型)，图像处理单元320、1620和1920可以为通过分割处理识别出的各不同区域生成图像分析结果。

另外，学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的模型，在该输入数据中，将诸如辉度正面图像和运动对比度正面图像等预定部位的不同种类的多个医学图像取为集合。这里，辉度正面图像与辉度En-face图像相对应，而运动对比度正面图像与OCTA En-face图像相对应。

此外，可以采用一种构造，以便显示使用高质量图像获得的分析结果，该高质量图像是利用用于改善图像质量的学习模型生成的。在这情况下，包括在训练数据中的输入数据可以是利用用于改善图像质量的学习模型生成的高质量图像，或者可以是由低质量图像和高质量图像构成的集合。请注意，训练数据可以是通过手动或自动修改使用学习模型进行了图像质量改善的图像的至少一部分而获得的图像。

此外，训练数据可以是，例如，通过标记(注释)输入数据而获得的数据，对于该输入数据，采用包括通过分析分析区域而获得的分析值(例如，平均值或中间值)、包括分析值的表、分析图和诸如图像中的扇区等等分析区域的位置中的至少一种信息的信息作为(监督学习的)正确答案数据。请注意，可以采用以下构造：使得根据来自检查者的指令而显示使用用于生成分析结果的学习模型而获得的分析结果。

在上述实施例和变型例中的显示控制单元350可以使诸如与青光眼或年龄相关的黄斑变性有关的结果的各种诊断结果显示在显示画面的报告画面上。此时，例如，可以通过如上所述分析经过各种伪影去除处理的医学图像来显示精确的诊断结果。此外，作为诊断结果，可以在图像上显示指定的异常部位的位置，并且可以使用字符等来显示异常部位等的状态。此外，对于异常部位的分类结果(例如，科廷的分类)可以作为诊断结果显示。此外，作为分类结果，例如，可以显示指示各异常部位的可能性程度的信息(例如，指示百分比的数值)。另外，使得医生可以确认诊断所需的信息可以作为诊断结果显示。例如，可以想到诸如进行额外的摄像的建议作为上述所需信息。例如，在OCTA图像中的血管区域中检测到异常部位的情况下，可以显示大意是建议医生使用能够比OCTA更详细地观察血管的造影剂额外地进行荧光摄像的信息。

请注意，诊断结果可以是由控制单元30、1600或1900使用通过使用医学图像的诊断结果作为训练数据来学习而获得的学习模型(诊断结果生成引擎，或用于诊断结果生成的学习模型)来生成的结果。此外，学习模型可以是通过使用以下训练数据进行学习而获得的模型：包括医学图像和对医学图像的诊断结果的训练数据，或者包括医学图像和对与相关医学图像等的种类不同的医学图像的诊断结果的训练数据。

此外，训练数据可以包括通过分割处理生成的区域标签图像和使用上述区域标签图像诊断医学图像的结果。在这种情况下，图像处理单元320、1620和1920例如可以用作诊断结果生成单元的一个示例，该诊断结果生成单元从通过使用用于诊断结果生成的学习模型执行分割处理而获得的结果(例如，视网膜层的检测结果)来生成针对断层图像的诊断结果。换句话说，通过使用与用于生成高质量图像(第二医学图像)的学习模型不同的用于生成诊断结果的学习模型(第五学习模型)，图像处理单元320、1620和1920可以为通过分割处理识别出的各不同区域生成诊断结果。

另外，可以采用一种构造，以便显示使用高质量图像获得的诊断结果，该高质量图像是利用用于改善图像质量的学习模型生成的。在这情况下，包括在训练数据中的输入数据可以是利用用于改善图像质量的学习模型生成的高质量图像，或者可以是由低质量图像和高质量图像构成的集合。请注意，训练数据可以是通过手动或自动修改使用学习模型进行了图像质量改善的图像的至少一部分而获得的图像。

此外，训练数据可以是，例如，通过标记(注释)输入数据而获得的数据，对于该输入数据，采用包括诊断、病变(异常部位)的种类或状态(程度)、病变在图像中的位置、病变相对于关注区域的位置、发现结果(解释发现结果等)、诊断的依据(肯定的医疗支持信息等)、以及否定诊断的依据(负面的医疗支持信息)等中的至少一种信息的信息作为(监督学习的)正确答案数据。请注意，可以采用以下构造：使得根据来自检查者的指令显示使用用于诊断结果生成的学习模型而获得的诊断结果。

此外，根据上述各种示例和变型例的显示控制单元350可以使如上所述的针对关注部位、伪像、异常部位等的对象识别结果(对象检测结果)或分割结果显示在显示画面的报告画面上。此时，例如，矩形框等可以被叠加在图像上的对象周围并显示。此外，例如，可以将颜色等叠加在图像上的对象上并显示。请注意，对象识别结果或分割结果可以是使用通过使用训练数据进行学习而获得的学习模型(对象识别引擎、用于对象识别的学习模型、分割引擎或用于分割的学习模型)生成的结果，在该训练数据中，在医学图像上将指示对象识别或分割的信息标记(注释)为正确答案数据。请注意，上述的分析结果生成或诊断结果生成可以通过利用上述的对象识别结果或分割结果来实现。例如，可以针对通过对象识别处理或分割处理获得的关注部位进行用于生成分析结果或用于生成诊断结果的处理。

此外，在检测到异常部位的情况下，图像处理单元320、1620和1920可以使用生成对抗网络(GAN)或可变自动编码器(VAE)。例如，可以使用由生成器和鉴别器构成的DCGAN(深度卷积GAN)作为机器学习模型，该生成器是通过学习生成断层图像而获得的，该鉴别器是通过学习区分生成器生成的新断层图像与眼底的真实正面图像而获得的。

在使用DCGAN的情况下，例如，鉴别器对输入的断层图像进行编码以将断层图像转换为潜变量，并且生成器基于该潜变量来生成新的断层图像。此后，可以将输入断层图像与生成的新断层图像之间的差异提取为异常部位。此外，在使用VAE的情况下，例如，通过使用编码器对断层图像进行编码来将输入断层图像转换为潜变量，并且通过使用解码器对潜变量进行解码来生成新的断层图像。此后，可以将输入断层图像与生成的新断层图像之间的差异提取为异常部位。请注意，尽管已经以断层图像作为一个示例描述了输入数据的示例，但是眼前段的眼底图像或正面图像等也可以用作输入数据。

另外，图像处理单元320、1620和1920可以使用卷积自动编码器(CAE)来检测异常部位。在使用CAE的情况下，在学习期间将相同的图像作为输入数据和输出数据学习。因此，当在估计期间将其中存在异常部位的图像输入到CAE时，根据学习趋势输出其中没有异常部位的图像。其后，输入到CAE的图像和从CAE输出的图像之间的差异可以作为异常部位提取。请注意，同样在这种情况下，不仅断层图像，而且眼前段的眼底图像或正面图像等也可以用作输入数据。

在这些情况下，图像处理单元320、1620和1920可以生成作为与异常部位有关的信息的针对通过分割处理等识别的各不同区域的使用生成对抗网络或自动编码器获得的医学图像与输入到生成对抗网络或自动编码器的医学图像之间的差异有关的信息。因此，可以预期到图像处理单元320、1620和1920将快速且精确地检测异常部位。这里，自动编码器的示例包括VAE和CAE。

此外，在患病的眼睛的情况下，图像特征会根据疾病的种类而有所不同。因此，可以为每种疾病或各异常部位生成并准备在上述各种示例和变型例中使用的学习模型。在这种情况下，例如，图像处理单元320可以根据来自操作者的诸如疾病的种类或被检眼的异常部位等输入(指令)选择要用于处理的学习模型。请注意，为每种疾病或各异常部位准备的学习模型不限于要用于检测视网膜层或用于生成区域标签图像等的学习模型，例如，可以是要在用于评估图像的引擎中或在用于分析等的引擎中使用的学习模型。此时，图像处理单元320、1620和1920可以使用单独准备的学习模型从图像中识别疾病的种类或被检眼的异常部位。在这种情况下，图像处理单元320、1620和1920可以基于使用单独准备的学习模型识别出的疾病的种类或异常部位，自动选择要在上述处理中使用的学习模型。请注意，用于识别疾病的种类或被检眼的异常部位的学习模型可以使用成对的训练数据来进行学习，对于该成对的训练数据，采用断层图像或眼底图像等作为输入数据，并且采用这些图像中的疾病的种类或异常部位作为地面真值。在这种情况下，对于训练数据的输入数据，可以独立地采用断层图像或眼底图像等作为输入数据，或者可以采用这些图像的组合作为输入数据。

而且，特别地，用于诊断结果生成的学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将作为被检体的预定部位的图像的不同种类的多个医学图像取为集合。此时，例如，作为训练数据中包括的输入数据，可以想到将眼底的运动对比度正面图像和辉度正面图像(或辉度断层图像)取为集合的数据。此外，例如，作为训练数据中包括的输入数据，可以想到将眼底的断层图像(B扫描图像)和彩色眼底图像(或荧光眼底图像)取为集合的输入数据。另外，不同种类的多个医学图像可以是任何种类的，只要医学图像是通过不同的模态、不同的光学***或不同的原理等获得的。

此外，特别地，用于诊断结果生成的学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将被检体的不同部位的多个医学图像取为集合。此时，例如，作为训练数据中包括的输入数据，可以想到将眼底的断层图像(B扫描图像)和眼前段的断层图像(B扫描图像)取为集合的输入数据。此外，例如，作为训练数据中包括的输入数据，也可以想到将眼底黄斑的三维OCT图像(三维断层图像)和通过眼底视神经***的圆形扫描(或光栅扫描)获得的断层图像取为集合的输入数据。

请注意，包括在训练数据中的输入数据可以是被检体的不同部位和不同种类的多个医学图像。此时，例如，作为训练数据中包括的输入数据，可以想到将眼前段的断层图像和彩色眼底图像取为集合的输入数据。此外，上述学习模型可以是通过使用包括输入数据的训练数据进行学习而获得的学习模型，在该输入数据中，将作为被检体的预定部位的图像的不同摄像视角的多个医学图像取为集合。此外，训练数据中包括的输入数据可以是通过将多个医学图像接合在一起而获得的数据，该多个医学图像是通过将预定部位在时间上划分为多个区域而获得的，例如，在全景图像的情况下。此时，通过使用诸如全景图像等广角图像作为训练数据，由于诸如信息量大于比窄角图像的情况下的事实等原因而导致存在可以高精度地获得图像的特征值的可能性，因此可以增强处理的结果。例如，采用这样的构造，从而使得在估计时(预测时)，在广角图像中的多个位置处检测到异常部位的情况下，可以将各个异常部位的放大图像顺序地显示。通过这种方式，由于例如可以有效地检查多个位置处的异常部位，因此可以提高检查者的便利性。例如，可以采用这样的构造，从而使得此时检查者可以在广角图像上选择检测到异常部位的各个位置，并显示在选择的位置处的异常部位的放大图像。此外，训练数据中包括的输入数据可以是将在被检体的预定部位的在不同日期和时间获得的多个医学图像取为集合的输入数据。

此外，要在其上显示上述的分析结果、诊断结果、对象识别结果和分割结果中的至少一个结果的显示画面不限于报告画面。这种显示画面可以是，例如，摄像确认画面、用于跟踪观察的显示画面以及用于在摄像之前进行各种调整的预览画面(其上显示各种实时运动图像的显示画面)等中的至少一个显示画面。例如，通过使使用上述的学习模型获得的前述至少一个结果显示在摄像确认画面上，检查者可在摄像之后立即检查精确的结果。此外，如示例9等中描述的改变低质量图像和高质量图像之间的显示可以是，例如，改变对低质量图像的分析结果和对高质量图像的分析结果之间的显示。

可以通过使用训练数据的机器学习来获得上述各种学习模型。例如，由多级神经网络构成的深度学习是一种机器学习。此外，例如，卷积神经网络(CNN)可以作为机器学习模型用于多级神经网络的至少一部分。另外，与自动编码器有关的技术可以用于多级神经网络的至少一部分。此外，可以将与反向传播有关的技术(错误反向传播方法)用于学习。然而，该机器学习不限于深度学习，并且可以使用任何学习，只要该学习使用本身能够通过学习提取(表示)诸如图像等训练数据的特征值的模型即可。这里，术语“机器学习模型”是指根据诸如深度学习等机器学习算法的学习模型。此外，术语“学习模型”是指针对根据任何机器学习算法的机器学习模型，预先使用适当的训练数据来进行训练(进行学习)的模型。然而，假定学习模型不是不进行进一步学习的模型，并且是还可以进行增量学习的模型。此外，术语“训练数据”是指由成对的输入数据和输出数据(正确答案数据)构成的数据。这里，在某些情况下，训练数据也被称为“教学数据”，并且在某些情况下，正确答案数据也被称为“教学数据”。

请注意，GPU可以通过进行大量数据的并行处理来进行有效的算术运算。因此，在使用诸如深度学习等学习模型进行多次学习的情况下，利用GPU进行处理是有效的。因此，在本变型例中，除了CPU之外，GPU也被用于作为学习单元(未示出)的示例的图像处理单元320、1620和1920的处理。具体地，当执行包括学习模型的学习程序时，由合作进行算术运算的CPU和GPU来进行学习。请注意，针对学习单元的处理，可以仅由CPU或GPU进行算术运算。此外，类似于学习单元，使用上述各种学习模型执行处理的处理单元(估计单元)也可以使用GPU。学习单元还可以包括错误检测单元和更新单元(未示出)。错误检测单元获得根据输入到输入层的输入数据从神经网络的输出层输出的输出数据与正确答案数据之间的错误。错误检测单元可以被构造为使用损失函数来计算来自神经网络的输出数据与正确答案数据之间的错误。此外，基于由错误检测单元获得的错误，更新单元更新神经网络的节点之间的组合加权因子等，此而使得错误变小。更新单元使用例如错误反向传播方法来更新组合加权因子等。错误反向传播方法是一种调整各神经网络节点之间的组合加权因子等从而使得上述错误变小的方法。

此外，U-Net型机器学习模型可以应用为用于图像质量改善或分割等的机器学习模型，该U-Net型机器学习模型具有编码器的功能和解码器的功能，该编码器由多个层级构成，该多个层级包括多个下采样层，并且该解码器由多个层级构成，该多个层级包括多个上采样层。在U-Net型机器学习模型中，在被构造为编码器的多个层级中已经变得模糊的位置信息(空间信息)被构造(例如，使用跳过连接)，从而使得该信息可以被用于被构造为解码器的多个层级中相同维度的层级(相互对应的层级)中。

另外，例如，FCN(全卷积网络)或SegNet等也可以用作机器学习模型，以用于图像质量改善或分割等。另外，可以根据期望的构造使用以区域为单位进行对象识别的机器学习模型。作为进行对象识别的机器学习模型，例如，可以使用RCNN(区域CNN)、Fast-RCNN或Faster-RCNN。另外，YOLO(仅查看一次)或SSD(单发检测器或单发MultiBox检测器)也可用作以区域为单位进行对象识别的机器学习模型。

此外，机器学***行位移的影响。另一方面，在胶囊网络中，各单元(各胶囊)被构造为输出空间信息作为矢量，并且例如被构造为保持空间信息。通过这种方式，例如，可以进行这样的学习，其中考虑了图像中的特征之间的空间位置关系(相对位置)。

此外，图像质量改善模型(用于改善图像质量的学习模型)可以是使用包括由图像质量改善模型生成的至少一个高质量图像的训练数据通过增量学习而获得的学习模型。此时，可以采用以下构造：能够按照来自检查者的指令进行关于是否将高质量图像用作用于要进行的增量学习的训练数据的选择。请注意，这些构造不限于用于改善图像质量的学习模型，并且还可应用于上述各种学习模型。此外，生成诸如标记(注释)等正确答案数据的用于生成正确答案数据的学习模型可以被用来生成上述各种学习模型学习所用的正确答案数据。此时，用于生成正确答案数据的学习模型可以是通过进行在检查者进行标记(注释)时获得的正确答案数据的(顺序)增量学习而获得的学习模型。换句话说，用于生成正确答案数据的学习模型可以是通过对训练数据进行增量学习而获得的学习模型，在该训练数据中，采用标记前的数据作为输入数据，并且采用标记后的数据作为输出数据。此外，在诸如运动图像的多个连续帧的情况下，也可以采用这样的构造：考虑到对象识别或前一帧和后一帧分割的结果，针对确定结果精度低的帧来修改结果。此时，可以采用这样的构造：根据来自检查者的指令，将修改后的结果作为正确答案数据进行增量学习。

请注意，在上述的各种实施例和变型例中，在使用用于对象识别的学习模型或用于分割的学习模型来检测被检眼的区域的情况下，还可以对各检测到的区域进行预定的图像处理。例如，让我们考虑检测玻璃体区域、视网膜区域和脉络膜区域中的至少两个区域的情况。在这种情况下，当针对所检测到的至少两个区域进行诸如对比度调整的图像处理时，可以通过使用用于各个区域的不同的图像处理参数来进行适合于各个区域的调整。通过显示对其进行了适合于各个区域的调整的图像，操作者可以更适当地诊断各区域中的疾病等。请注意，对于使用针对各检测到的区域不同的图像处理参数的构造，例如，这种构造也可以针对在不使用学习模型的情况下检测到的被检眼的区域类似地应用。

(变型例11)

可以采用以下构造：使得在上述各种示例和变型例中的预览画面上，对于实时运动图像的每至少一帧使用上述的用于改善图像质量的学习模型。此外，也可以构成为以下构造：使得在不同部位或不同种类的多个实时运动图像显示在预览画面上的情况下，使用与各个实时运动图像相对应的学习模型。通过这种方式，例如，由于即使对于实时运动图像也可以缩短处理时间，因此检查者可以在开始摄像之前获得高精度的信息。因此，例如，由于可以减少再摄像等故障，因此可以提高诊断的精度和效率。

请注意，多个实时运动图像可以包括例如用于在XYZ方向上对准的眼前段的运动图像，以及用于OCT调焦或眼底观察光学***的调焦的眼底的正面运动图像。此外，多个实时运动图像还可以包括，例如，用于OCT中的相干门调整(测量光路长度与参考光路长度之间的光路长度差的调整)的眼底的断层运动图像等。此时，可以采用以下构造：进行上述各种调整，从而使得使用如上所述的用于对象识别的学习模型或用于分割的学习模型检测到的区域满足预定条件。例如，可以采用以下构造：进行诸如OCT焦点调整等各种调整，从而使得使用用于对象识别的学习模型或用于分割的学习模型检测到的与玻璃体区域或诸如RPE的预定的视网膜层有关的值(例如，对比度值或辉度值)超过阈值(或变为峰值)。此外，例如，可以采用以下构造：进行OCT中的相干门调整，以使得使用用于对象识别的学习模型或用于分割的学习模型检测到的玻璃体区域或诸如RPE的预定的视网膜层在深度方向上的预定位置处。

在这些情况下，图像质量改善单元322或1622可以使用学习模型针对运动图像进行图像质量改善处理，从而生成高质量运动图像。此外，在其中显示高质量运动图像的状态下，驱动控制单元330可以进行改变参考反射镜221等的摄像范围的光学构件的驱动控制，从而使得由分割处理等识别出不同区域中的任何一个均位于显示区域中的预定位置处。在这种情况下，控制单元30、1600或1900可以基于高精度信息自动进行对准处理，从而使得期望区域位于显示区域中的预定位置。请注意，改变摄像范围的光学构件可以是例如调整相干门位置的光学构件，并且具体地可以是参考反射镜221等。此外，可以通过改变测量光路长度与参考光路长度之间的光路长度差的光学构件来调整相干门位置，并且所讨论的光学构件可以是例如用于改变测量光的光路长度的反射镜(未示出)等。请注意，改变摄像范围的光学构件也可以是例如台单元25。

此外，可以应用上述学习模型的运动图像不限于实时运动图像，并且，例如，运动图像可以是存储(保存)在存储器中的运动图像。此时，例如，通过对存储(保存)在存储器中的眼底断层扫描运动图像的每至少一帧进行对准而获得的运动图像可以显示在显示画面上。例如，在期望适当地观察玻璃体区域的情况下，首先，可以基于诸如玻璃体区域尽可能多地存在于帧中等条件来选择参考帧。此时，各帧是XZ方向上的断层图像(B扫描图像)。随后，对于所选择的参考帧在XZ方向上已经对准其他帧的运动图像可以显示在显示画面上。此时，例如，可以采用一种构造，以便使由用于改善图像质量的学习模型针对运动图像的每至少一帧按顺序生成的高质量图像(高质量图像帧)连续显示。

请注意，作为上述的用于在帧之间进行对准的方法，对于在X方向上进行对准的方法和在Z方向(深度方向)上进行对准的方法，可以应用相同的方法，或者应用的方法可以都不同。另外，可以通过不同的方法多次进行相同方向上的对准。例如，可以进行粗对准，此后可以进行精对准。此外，作为对准方法，例如，可以使用通过对断层图像(B扫描图像)进行分割处理而获得的视网膜层边界来进行(粗Z方向)对准的方法。另外，作为对准方法，例如，还可以使用通过划分断层图像和参考图像而获得的多个区域之间的相关信息(相似性)来进行(精X方向或Z方向)对准的方法。作为用于对准的其他方法，例如，可以使用利用针对各断层图像(B扫描图像)生成的一维投影图像来进行(X方向)对准的方法，并且可以使用利用针对各断层图像(B扫描图像)等生成的二维正面图像进行(X方向)对准的方法。此外，可以采用一种构造，以便在以像素为单位进行粗对准之后，以子像素为单位进行精对准。

在这种情况下，存在在各种调整期间诸如被检眼的视网膜等摄像目标还不能被成功地摄像的可能性。因此，由于输入到学习模型的医学图像和用作训练数据的医学图像之间存在很大的差异，所以存在无法精确地获得高质量图像的可能性。因此，也可以采用以下构造：使得当诸如在评估断层图像(B扫描)的图像质量时获得的值等评价值超过阈值时，自动开始高质量运动图像的显示(高图像质量帧的连续显示)。此外，可以采用以下构造：使得当诸如在评估断层图像(B扫描)的图像质量时获得的值等评估值超过阈值时，将图像质量改善按钮改变为可由检查者指定按钮的状态(激活状态)。

此外，可以采用以下构造：为扫描图案等不同的各摄像模式准备不同的用于改善图像质量的学习模型，并且选择与所选择的摄像模式相对应的用于改善图像质量的学习模型。此外，可以使用通过使用包括以不同摄像模式获得的各种医学图像的训练数据进行学习而获得的一种用于改善图像质量的学习模型。

(变型例12)

在上述的各个示例和变型例中，在各种学习模型正在进行增量学习的情况下，存在使用正在进行增量学习的学习模型本身将很难输出(推断/预测)的可能性。因此，可以禁止将医学图像输入到正在进行增量学习的学习模型中。此外，准备与正在进行增量学习的学习模型相同的学习模型作为另一辅助学习模型。此时，也可以采用以下构造：使得在进行增量学习的同时可以执行将医学图像输入到辅助学习模型。随后，在增量学习完成之后，对经历了增量学习的学习模型进行评估，并且如果没有问题，则从辅助学习模型切换到经历了增量学习的学习模型就足够了。此外，可以采用以下构造：使得如果存在问题，则使用辅助学习模型。

此外，可以采用以下构造：使得可以选择性地利用通过针对各个摄像部位进行学习而获得的学习模型。具体地，可以准备多个学习模型，其包括使用包括第一摄像部位(肺，被检眼等)的训练数据获得的第一学习模型，以及使用包括第二摄像部位的训练数据获得的第二学习模型，该第二摄像部位与第一摄像部位不同。此外，图像处理单元320、1620和1920可以具有用于选择该多个学习模型中的任何一个的选择单元。此时，图像处理单元320、1620和1920可以具有用于针对选择的学习模型执行增量学习的控制单元。控制单元可以根据来自检查者的指令，检索其中与所选择的学习模型相对应的摄像部位和通过对相关摄像部位进行摄像而获得的图像成对的数据，并执行其中采用所检索和获得的数据作为训练数据的学习，作为指定所选择的学习模型的增量学习。注意，与所选择的学习模型相对应的摄像部位可以是基于数据的标题信息获得的部位，或者是由检查者手动输入的部位。此外，可以例如通过网络从诸如医院或实验室等外部设施的服务器等进行数据的检索。通过这种方式，通过使用通过对与学习模型相对应的摄像部位进行摄像而获得的图像，可以针对各摄像部位有效地进行增量学习。

请注意，选择单元和控制单元可以由控制单元30、1600或1900的诸如MPU或CPU等处理器执行的软件模块构成。此外，选择单元和控制单元可以由诸如ASIC等具有具体功能的电路或独立的装置等构成。

此外，当通过网络从诸如医院或实验室的外部设施的服务器等获得用于增量学习的训练数据时，减少由于增量学习等期间的篡改或***故障而导致的可靠性降低是有用的。因此，可以通过数字签名或哈希确认一致性来检测用于增量学习的训练数据的正确性。通过这种方式，可以保护用于增量学习的训练数据。此时，在作为通过数字签名或哈希确认一致性的结果而无法检测出用于增量学习的训练数据的正确性的情况下，对此给出警告，并且不使用所讨论的训练数据进行增量学习。请注意，该服务器可以是诸如云服务器、雾服务器或边缘服务器等任何形式的服务器，而不管其安装位置如何。

(变型例13)

在上述各种示例变型例中，除了手动指令(例如，使用用户界面等的指令)之外，来自检查者的指令还可以是语音指令等。此时，例如，可以使用包括通过机器学习获得的语音识别模型(语音识别引擎或用于语音识别的学习模型)的机器学习模型。另外，手动指示可以是使用键盘、触摸面板等通过字符输入的指示。此时，例如，可以使用包括通过机器学习获得的字符识别模型(字符识别引擎或用于字符识别的学习模型)的机器学习模型。此外，来自检查者的指令可以是通过手势等进行的指令。此时，可以使用包括通过机器学习获得的手势识别模型(手势识别引擎或用于手势识别的学习模型)的机器学习模型。

此外，来自检查者的指令可以是检测检查者在显示单元50的显示画面上的视线的结果。视线检测结果可以是，例如，使用通过从显示单元50的显示画面周围摄像而获得的检查者的运动图像的瞳孔检测结果。此时，从运动图像进行的瞳孔检测可以使用如上所述的对象识别引擎。此外，来自检查者的指令可以是脑波的指令，或者是流经身体等的微弱的电信号。

在这种情况下，例如，训练数据可以是以下训练数据：采用指示显示通过上述各种学习模型的处理获得的结果的指令的字符数据或语音数据(波形数据)等作为输入数据，并且，采用用于使通过各种学习模型的处理获得的结果实际上显示在显示单元上的执行命令作为正确答案数据。此外，训练数据可以是以下训练数据：例如，采用指示显示通过用于改善图像质量的学习模型而获得的高质量图像的指示的字符数据或语音数据等作为输入数据，并且采用用于显示高质量图像的执行命令和用于将如图22A和图22B所示的按钮2220改变为激活状态的执行命令作为正确答案数据。请注意，也可以使用任何种类的训练数据，只要例如由该字符数据或语音数据等指示的指令内容和执行命令内容彼此相对应即可。此外，可以使用声学模型或语言模型等将语音数据转换为字符数据。此外，可以使用利用多个麦克风获得的波形数据来进行减少叠加在语音数据上的噪声数据的处理。此外，可以采用以下构造：使得可以根据来自检查者的指令，在由字符或语音等发出的指令与使用鼠标或触摸面板等进行的指令输入之间进行选择。另外，可以采用以下构造：使得可以根据来自检查者的指令进行选择以打开或关闭通过字符或语音等的指令。

在这种情况下，机器学习包括如上所描述的深度学习，并且，例如，可以使用递归神经网络(RNN)可以作为多层神经网络的至少一部分。这里，作为根据本变型例的机器学习模型的示例，将参照24A和图24B描述作为处理时间序列信息的神经网络的RNN。此外，将参照25A和图25B描述作为一种RNN的长短期存储器(以下称为“LSTM”)。

图24A示出了作为机器学习模型的RNN的结构。RNN 2420在网络中具有循环结构，并且数据x^t 2410在时间t被输入到RNN 2420，并且RNN 2420输出数据h^t 2430。由于RNN2420在网络中具有循环功能，因此当前时间的状态可以被接管到下一个状态，因此可以处理时序信息。图24B示出了在时间t的参数向量的输入/输出的示例。数据x^t 2410包括N个数据(参数1至参数N)。此外，由RNN 2430输出的数据h^t 2420包括与输入数据相对应的N条数据(参数1至参数N)。

然而，由于在反向传播期间RNN不能处理长期信息，所以可以使用LSTM。LSTM可以通过提供遗忘门、输入门和输出门来学习长期信息。图25A示出了LSTM的结构。在LSTM 2540中，网络在下一时间t接管的信息是称为小区的网络的内部状态c^t-1，并输出数据h^t-1。请注意，图中的小写字母(c,h,x)表示向量。

接下来，在图25B中详细示出了LSTM 2540。遗忘门网络FG、输入门网络IG和输出门网络OG在图25B中示出，并且这些网络中的各网络都是S形层。因此，输出其中各元素具有从0到1的值的向量。遗忘门网络FG确定保留了多少过去信息，并且，输入门网络IG确定将更新哪个值。在图25B中还示出了小区更新候选网络CU，并且小区更新候选网络CU是激活功能tanh层。这将创建将添加到小区中的新的候选值的向量。输出门网络OG选择小区候选的元素并选择要在下一时间要传输多少信息。

请注意，上述LSTM模型是基本形式，并且本发明不限于这里示出的网络。可以改变网络之间的耦合。可以使用QRNN(准递归神经网络)代替LSTM。此外，该机器学习模型不限于神经网络，并且可以使用Boosting或Support Vector Machine(支持向量机)等。此外，在通过字符或语音等输入来自检查者的指令的情况下，可以应用与自然语言处理有关的技术(例如，序列到序列)。此外，可以应用以诸如文本或语音等输出响应检查者的对话引擎(对话模型或用于对话的学习模型)。

(变型例14)

在上述各种示例和变型例中，可以根据来自操作者的指令将高质量图像、标签图像等存储在存储器中。此时，例如，在来自操作者的保存高质量图像的指令之后，在登记文件名时，在文件名的任何部分(例如，第一部分或最后部分)处包括指示该图像是通过使用用于改善图像质量的学习模型进行处理(图像质量改善处理)而生成的图像的信息(例如，字符)的文件名，可以在可根据来自操作者的指令编辑文件名的状态下显示为推荐文件名。请注意，对于边界图像或区域标签图像等，也可以类似的方式显示包括指示该图像是通过使用学习模型的处理而生成的图像的信息的文件名。

此外，当使显示单元50在诸如报告画面等各种显示画面上显示高质量图像时，可以将指示正在显示的图像是通过使用用于改善图像质量的学习模型进行处理而生成的高质量图像的显示与高质量图像一起显示。在这种情况下，由于操作者可以通过相关显示容易地识别出被显示的高质量图像不是通过摄像获得的实际图像，因此可以减少误诊，并且可以提高诊断效率。请注意，指示通过使用用于改善图像质量的学习模型的处理生成了高质量图像的显示可以是任何形式，只要它是使得可以区分输入图像和由相关处理生成的高质量图像的显示即可。此外，同样对于使用上述的各种学习模型的处理，而不仅仅是使用用于改善图像质量的学习模型的处理，可以将指示正在显示的结果是通过使用相关种类的学习模型的处理而生成的显示与该相关结果一起显示。此外，当还显示关于使用用于分割处理的学习模型而获得的分割结果的分析结果时，可以与分析结果一起显示指示该分析结果是基于使用用于分割的学习模型而获得的结果的显示。

此时，可以按照来自操作者的指令将诸如报告画面的显示画面作为图像数据存储在存储器中。例如，报告画面可以作为单个图像存储在存储器中，在该单个图像中，高质量图像等以及指示这些图像是通过使用学习模型进行处理而生成的高质量图像的显示被并排显示。

此外，关于表示使用用于改善图像质量的学习模型进行处理而生成高质量图像的显示，可以在显示单元上显示表示进行学习时改善图像质量的学习模型使用了哪种训练数据的显示。讨论的显示可以包括对训练数据的输入数据和正确答案数据的种类的描述的显示，或者与输入数据和诸如正确答案数据中包括的摄像部位等正确答案数据有关的任何显示。注意，关于诸如分割处理等使用如上所述的各种学习模型的处理，也可以在显示单元上显示指示相关种类的学习模型在进行学习时使用何种训练数据的显示。

也可以采用以下构造：在信息被叠加在图像等上的状态下显示或存储指示图像是通过使用学习模型的处理而生成的信息(例如，字符)。此时，将信息叠加在图像上的位置可以是任何位置，只要该位置在与显示作为摄像目标的关注部位等的区域不叠加的区域(例如，图像的边缘)中即可。此外，可以确定非叠加区域，并且可以在所确定的区域中叠加该信息。请注意，例如，对于通过诸如分割处理等使用上述各种学习模型的处理而获得的图像，可以以类似的方式进行处理，而不仅仅是对于使用用于改善图像质量的学习模型的处理。

此外，可以采用以下构造：使得在作为报告画面的初始显示画面，默认设置被设置为使得如图22A和图22B所示的按钮2220进入激活状态(图像质量改善处理被设置为“开启(on)”)的情况下，按照来自检查者的指令，将与包括高质量图像等的报告画面相对应的报告图像发送到服务器。此外，可以采用以下构造：使得在默认设置被设置为使得按钮2220进入激活状态的情况下，当检查结束时(例如，在按照来自检查者的指令将图像确认画面或预览画面改变为报告画面的情况下)，将包括高质量图像等的与报告画面相对应的报告图像(自动地)发送到服务器。此时，可以采用以下构造：使得将基于默认设置(例如，与用于在报告画面的初始显示画面上生成en-face图像的深度范围、是否叠加分析图、该图像是否是高质量图像以及是否显示用于跟踪观察的显示画面等中的至少一项有关的设置)的各种设置生成的报告图像发送到服务器。注意，关于按钮2220表示分割处理的切换的情况，也可以进行类似的处理。

(变型例15)

在上述各种示例和变型例中，在前述的各种学习模型中，可以将使用第一种学习模型获得的图像(例如，高质量图像、诸如分析图等示出分析结果的图像、示出对象识别结果的图像或示出分割结果的图像)输入到不同于第一种学习模型的第二种学习模型。此时，可以采用以下构造：使得通过第二种学习模型的处理来生成结果(例如，分析结果，诊断结果，对象识别结果或分割结果)。

此外，在上述各种学习模型中，可以通过使用通过第一种学习模型的处理而获得的结果(例如，分析结果、诊断结果、对象识别结果或分割结果)从输入到第一种学习模型的图像中生成要输入到与第一种学习模型不同的第一种学习模型中的图像。此时，生成的图像很可能是适合作为用于第二种学习模型的处理的图像的图像。因此，增强了当生成的图像被输入到第二种学习模型时获得的图像(例如，高质量图像，诸如分析图等示出分析结果的图像，示出对象识别结果的图像或示出分割结果的图像)的精度。

另外，使用通过上述学习模型的处理而获得的分析结果或诊断结果等作为搜索关键字，可以利用存储在服务器等中的外部数据库来检索相似病例图像。请注意，在已经通过机器学习等将多个图像的各个特征值作为补充信息附加的状态下已经管理了数据库中存储的多个图像的情况下，可以使用利用图像本身作为搜索关键字的相似病例图像搜索引擎(相似病例图像搜索模型或用于相似病例图像搜索的学习模型)。例如，图像处理单元320、1620和1920可以通过使用用于与用于生成高质量图像(第二医学图像)的学习模型不同的相似病例图像搜索的学习模型(第六学习模型)，针对通过分割处理等识别的各不同区域进行相似病例图像的搜索。

(变型例16)

请注意，在上述示例和变型例中用于生成运动对比度数据的处理不限于基于断层图像的辉度值进行处理的构造。对于用OCT摄像装置20获得的干扰信号、通过对干扰信号进行傅立叶变换而获得的信号、通过对相关信号进行任何处理而获得的信号以及基于这些信号的包括断层图像等的断层数据，可以应用上述各种处理。同样在这些情况下，可以获得与前述构造的效果类似的效果。

此外，在上述实施例和变型例中的诸如灰度转换处理的图像处理不限于其中基于断层图像的辉度值进行处理的构造。针对断层数据可以应用上述各种处理，该断层数据包括用摄像单元20获得的干扰信号、通过对干扰信号进行傅立叶变换而获得的信号以及通过对相关信号进行任何处理而获得的信号等。同样在这些情况下，可以获得与前述构造的效果类似的效果。

另外，虽然在上述示例和变型例中将使用SLD作为光源的光谱域OCT(SD-OCT)装置描述为OCT装置，但是根据本发明的OCT装置的构造不限于此。例如，本发明也可以应用于使用能够扫描发射的光的波长的波长扫掠光源的扫掠源OCT(SS-OCT)装置或任何其他种类的OCT装置。此外，本发明还可以应用于使用线光的Line-OCT装置(或SS-Line-OCT)。此外，本发明还可以应用于使用区域光的Full Field-OCT装置(或SS-Full Field-OCT装置)。

此外，尽管上述示例和变型例中使用了将耦合器用作分离单元的光学光纤***，但是也可以使用准直仪和分束器的空间光学***。此外，摄像单元20的构造不限于上述构造，并且可以将包括在摄像单元20中的一些部件设置为与摄像单元20分开的部件。

此外，在上述示例和变型例中，获得单元310获得由摄像单元20获得的干涉信号、由图像处理单元320生成的断层图像等。然而，获得单元310获得这些信号或图像的构造不限于上述构造。例如，获得单元310可以从通过LAN、WAN或互联网等连接到控制单元30、1600或1900的服务器或摄像装置获得这些信号。

此外，各种学习模型的学习数据不限于使用进行实际摄像的眼科装置本身获得的数据，并且根据期望的构造，学习数据可以是使用相同模型的眼科装置获得的数据，或者可以是使用相同种类的眼科装置获得的数据。

请注意，可以在控制单元30、1600和1900中设置根据上述实施例和变型例的各种学习模型。例如，这些学习模型可以由诸如CPU、MPU、GPU或FPGA等处理器执行的软件模块构成，或者可以由诸如ASIC的具有具体功能的电路构成。此外，可以在连接到控制单元30、1600或1900的诸如服务器的不同装置中设置这些学习模型。在这种情况下，控制单元30、1600或1900可以通过诸如因特网的任何网络连接到包括学习模型的服务器等来使用学习模型。包括学习模型的服务器可以是例如云服务器、FOG服务器或边缘服务器。

请注意，尽管在以上实施例和变型中描述了与被检眼的眼底部分有关的断层图像，但是也可以针对与被检眼的眼前段有关的断层图像来进行上述图像处理。在这种情况下，在断层图像中要进行不同图像处理的区域中包括诸如晶状体、角膜、虹膜和前房的区域。请注意，所讨论的区域还可以包括眼前段的其它区域。此外，针对与眼底部分有关的断层图像的区域不限于玻璃体部、视网膜部和脉络膜部，并且还可以包括与眼底部分有关的其它区域。在这方面，由于与眼底部分有关的断层图像的灰度范围比与眼前段有关的断层图像的灰度范围宽，因此可以更有效地通过根据上述实施例和变型例的图像处理来进行图像质量改善。

此外，尽管在以上实施例和变型中将被检眼作为被检体的示例进行描述，但是被检体不限于此。例如，被检体可以是皮肤或另一器官。在这种情况下，根据以上实施例和变型例的OCT装置可以应用于除眼科装置以外的医疗器械中，诸如内窥镜。

(变型例17)

此外，根据上述各种示例和变型例的要由图像处理装置或图像处理方法处理的图像包括使用任意模态(摄像装置或摄像方法)获得的医学图像。要处理的医学图像可以包括通过任何摄像装置等获得的医学图像，以及通过根据上述示例和变型例的图像处理装置或图像处理方法生成的图像。

另外，要处理的医学图像是被检体(被检查者)的预定部位的图像，并且该预定部位的图像包括被检体的预定部位的至少一部分。医学图像还可包括被检体的另一个部位。医学图像可以是静止图像或运动图像，并且可以是黑白图像或彩色图像。另外，医学图像可以是表示预定部位的结构(形式)的图像，或者可以是表示预定部位的功能的图像。例如，表示功能的图像包括诸如OCTA图像、多普勒OCT图像、fMRI图像和超声多普勒图像等表示血液动力学(血流量，血流速度等)的图像。注意，可以根据摄像目标确定被检体的预定部位，并且这些预定部位包括任何部位，例如，诸如人眼(被检眼)、脑、肺、肠、心脏、胰腺、肾脏和肝脏等器官，以及头、胸、腿和手臂。

此外，医学图像可以是被检体的断层图像，或者可以是正面图像。正面图像的示例包括眼底的正面图像、前眼部的正面图像、通过荧光摄像获得的眼底图像以及使用针对通过OCT获得的数据(三维OCT数据)的在摄像目标的深度方向上的至少部分范围的数据生成的en-face图像。注意，en-face图像可以是使用针对三维OCTA数据(三维运动对比度数据)的在摄像目标的深度方向上的至少部分范围数据而生成的OCTA en-face图像(运动对比度正面图像)。此外，三维OCT数据或三维运动对比度数据是三维医学图像数据的示例。

这里，术语“运动对比度数据”是指这样的数据，其示出通过控制从而使得在被检眼的同一区域(同一位置)上多次扫描测量光而获得的多个体积数据项之间的变化。此时，体积数据由在不同位置处获得的多个断层图像构成。然后，在彼此不同的各个位置处，通过获得示出在大致相同的位置处获得的多个断层图像之间的变化的数据，运动对比度数据可以作为体积数据获得。请注意，关于测量血流运动的OCT血管造影(OCTA)，运动对比度正面图像也被称为OCTA正面图像(OCTA en-face图像)，并且运动对比度数据也被称为OCTA数据。运动对比度数据例如可以作为两个断层图像之间或对应于两个断层图像的干扰信号之间的方差值或解相关值来获得，或者作为通过将最大值除以最小值(最大值/最小值)得到的值来获得，并且可以通过任何已知方法获得。此时，可以例如通过控制使得在被检眼的相同区域(相同位置)上多次扫描测量光来获得两个断层图像。

此外，en-face图像是例如通过在X方向和Y方向上投影两个层边界之间的范围的数据而生成的正面图像。此时，该正面图像是通过将对应于深度范围的数据投影或积分到二维平面生成的，该深度范围至少是使用光干涉获得的体积数据(三维断层图像)的局部深度范围，并且基于两个参考平面来定义。en-face图像是通过将与深度范围相对应的数据投影到二维平面上而生成的正面图像，该深度范围是在体积数据中基于检测到的视网膜层来确定的。请注意，作为在二维平面上投影与基于两个参考平面定义的深度范围相对应的数据的技术，例如，可以使用采用相对深度范围内的数据的代表值作为二维平面上的像素值的技术。在这种情况下，代表值可以包括在被两个参考平面围绕的区域的深度方向上的范围内的像素值的诸如平均值、中值或最大值等值。此外，与en-face图像有关的深度范围可以是针对与检测到的视网膜层相关的两个层边界之一在更深方向或更浅方向上仅包括对应于预定数目的像素的范围。另外，与en-face图像有关的深度范围可以是例如根据操作者的指令已经从与检测到的视网膜层有关的两个层边界之间的范围改变(偏移)了的范围。

另外，术语“摄像装置”是指用于进行摄像以获得要用于诊断的图像的装置。摄像装置的示例包括通过用光、诸如X射线等放射线、电磁波或超声波等照射预定部位来获得被检体的预定部位的图像的装置，以及通过检测从被检体发射的放射线来获得预定部位的图像的装置。更具体地，根据上述各种示例和变型例的摄像装置的示例至少包括X射线摄像装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底照相机和内窥镜。

注意，可以包括时域OCT(TD-OCT)装置和傅立叶域OCT(FD-OCT)装置作为OCT装置的示例。此外，傅里叶域OCT装置的示例可以包括频谱域OCT(SD-OCT)装置和扫频源OCT(SS-OCT)装置。此外，可以将使用自适应光学***等的自适应光学SLO(AO-SLO)装置和自适应光学OCT(AO-OCT)装置分别作为SLO装置或OCT装置的示例被包括在内。此外，可以将用于可视化与偏振相位差或退偏振有关的信息的偏振敏感SLO(PS-SLO)装置和偏振敏感OCT(PS-OCT)装置等分别作为SLO装置或OCT装置的示例被包括在内。

此外，在根据上述各种示例和变型例的用于改善图像质量的学习模型中，可以想到断层图像的辉度值的大小，以及要作为一部分特征值提取且用于估计处理的断层图像的顺序和斜率、位置、分布和明暗部分的连续性等。类似地，在同样用于分割处理、用于图像分析以及用于生成诊断结果的学习模型的情况下，可以想到断层图像的辉度值的大小，以及要作为一部分特征值提取且用于估计处理的断层图像的顺序和斜率、位置、分布和明暗部分的连续性等。另一方面，在用于语音识别、用于字符识别、用于手势识别等的学习模型的情况中，由于进行使用时序数据的学习，因此可以想到提取输入的连续时序数据值之间的斜率作为一部分特征值，并使用该斜率来进行估计处理。因此，预期到通过利用估计处理中的具体数值的随着时间而变化所产生的影响，可以利用这种学习模型进行良好精度的估计。

根据上述实施例和变型例，可以生成看起来是已经对作为观察目标的各区域进行了适当的图像处理的图像的图像。

(其它示例)

本发明也可以通过以如下方式的处理来实现：实现根据上述示例和变型例的一个或多个功能的程序经由网络或存储介质被供给到***或装置，并且，所述***或装置的计算机读取该程序并执行它。该计算机具有一个或多个处理器或电路，并且为了读取和执行计算机可执行指令，该计算机可以包括彼此分离的多个计算机、彼此分离的多个处理器或电路网络。

处理器或电路的示例可以包括中央处理单元(CPU)、微处理单元(MPU)、图形处理单元(GPU)、专用集成电路(ASIC)或现场可编程网关(FPGA)。此外，处理器或电路的示例可以包括数字信号处理器(DSP)、数据流处理器(DFP)或神经处理单元(NPU)。

本发明不限于上述实施例和变型例，并且在不脱离本发明的精神和范围的情况下可以进行各种改变和修改。因此，为了向公众告知本发明的范围，附加以下权利要求。

本申请要求于2018年10月10日提交的日本专利申请第2018-191449号和于2019年10月3日提交的日本专利申请第2019-183106号的优先权利益，在此通过引用将其全部并入本文。

[附图标记列表]

30 控制单元(图像处理装置)；

310 获得单元；

322 图像质量改善单元。

Claims (28)

1.一种图像处理装置，包括：

获得单元，其被构造为获得被检体的第一医学图像；以及

图像质量改善单元，其被构造为由第一医学图像生成第二医学图像，该第二医学图像看起来是使用学习模型对第一医学图像中的不同区域进行了不同图像处理的图像。

2.一种图像处理装置，包括：

获得单元，其被构造为获得被检体的第一医学图像；以及

图像质量改善单元，其被构造为由第一医学图像生成第二医学图像，在该第二医学图像中，使用学习模型对第一医学图像中的第一区域和与第一区域不同的第二区域的不同区域的图像质量进行了改善。

3.根据权利要求1或2所述的图像处理装置，其中：

学习模型的训练数据包括通过对被检体进行摄像而获得并且经过与医学图像中的不同区域中的任一个相对应的灰度转换处理的医学图像。

4.根据权利要求1至3中任一项所述的图像处理装置，其中：

学习模型的训练数据包括通过对被检体进行摄像而获得并且在与医学图像中的不同区域中的任一个相对应的摄像模式下获得的医学图像。

5.根据权利要求1至4中任一项所述的图像处理装置，其中：

第一医学图像和第二医学图像是断层图像；并且

第一医学图像是利用光干涉而获得的断层图像。

6.根据权利要求1至5中任一项所述的图像处理装置，所述图像处理装置还包括：

选择单元，其被构造为根据来自操作者的指令来选择要应用于第一医学图像的图像处理；

其中，基于选择单元选择的图像处理，图像质量改善单元对第一医学图像进行不使用学习模型的灰度转换处理以生成第三医学图像，或者使用学习模型由第一医学图像生成第二医学图像。

7.根据权利要求1至6中任一项所述的图像处理装置，其中：

在第二医学图像中，图像质量改善单元基于连接部周围的像素的像素值来修改第一医学图像中彼此不同的多个区域之间的连接部的像素值，或者基于连接部的像素值来修改周围像素的像素值。

8.根据权利要求1至7中任一项所述的图像处理装置，其中：

被检体是被检眼；并且

所述不同区域包括视网膜、玻璃体、脉络膜、晶状体、角膜、虹膜和前房的区域当中的至少一个区域。

9.根据权利要求1至8中任一项所述的图像处理装置，其中：

学***均处理、最大后验处理、平滑滤波处理和灰度转换处理当中的一种处理而获得的图像。

10.根据权利要求1至9中任一项所述的图像处理装置，其中：

学习模型的训练数据包括用具有比用于对第一医学图像进行摄像的摄像装置高的性能的摄像装置来摄像的医学图像，或者通过包括比用于对第一医学图像进行摄像的摄像处理的步骤数多的步骤数的摄像处理而获得的医学图像。

11.根据权利要求1至10中任一项所述的图像处理装置，其中：

学习模型的训练数据包括通过对被检体进行摄像而获得的医学图像，该医学图像是通过如下方式而获得的医学图像：使在与医学图像中的不同区域中的任一个相对应的摄像模式下获得的医学图像经过与医学图像中的不同区域中的任一个相对应的灰度转换处理。

12.根据权利要求1至11中任一项所述的图像处理装置，其中：

学***均处理、最大后验处理、平滑滤波处理和灰度转换处理当中的一种处理而获得的图像经过与所述图像中的不同区域中的任一个相对应的灰度转换处理。

13.根据权利要求1至12中任一项所述的图像处理装置，其中：

学习模型的训练数据包括通过使如下医学图像经过与医学图像中的不同区域中的任一个相对应的灰度转换处理而获得的医学图像，所述医学图像是使用具有比用于对第一医学图像进行摄像的摄像装置高的性能的摄像装置摄像的医学图像，或者是通过包括比用于对第一医学图像进行摄像的摄像处理的步骤数多的步骤数的摄像处理而获得的医学图像。

14.根据权利要求1至13中任一项所述的图像处理装置，所述图像处理装置还包括：

分析单元，其被构造为将不同的分析条件分别应用于第二医学图像中彼此不同的多个区域。

15.根据权利要求14所述的图像处理装置，所述图像处理装置还包括：

显示控制单元，其被构造为控制显示单元的显示；

其中，显示控制单元使关于由分析单元获得的彼此不同的多个区域中的各区域的分析结果显示在显示单元上。

16.根据权利要求1至14中任一项所述的图像处理装置，所述图像处理装置还包括：

显示控制单元，其被构造为控制显示单元的显示；

其中，显示控制单元使指示第二医学图像是使用学习模型生成的图像的信息与第二医学图像一起显示在显示单元上。

17.根据权利要求1至16中任一项所述的图像处理装置，其中，所述图像质量改善单元：

由第一医学图像生成标签图像，在该标签图像中通过使用与用于生成第二医学图像的学习模型不同的学习模型将不同标签值赋予给不同区域；并且

通过使用用于生成第二医学图像的学习模型，由标签图像生成第二医学图像。

18.根据权利要求1至16中任一项所述的图像处理装置，所述图像处理装置还包括：

图像处理单元，其被构造为从第一医学图像和第二医学图像中的至少一个图像中识别所述至少一个图像中的不同区域。

19.根据权利要求18所述的图像处理装置，其中：

图像处理单元使用与用于生成第二医学图像的学习模型不同的学习模型来识别所述至少一个图像中的不同区域。

20.根据权利要求18或19所述的图像处理装置，其中：

第一医学图像和第二医学图像是运动图像；

所述图像处理装置还包括：

驱动控制单元，其被构造为在第二医学图像被显示为运动图像的状态下，对改变摄像范围的光学构件进行驱动控制，使得所识别出的不同区域中的任一个位于显示区域中的预定位置处。

21.根据权利要求18至20中任一项所述的图像处理装置，其中：

图像处理单元通过使用与用于生成第二医学图像的学习模型不同的学习模型，针对所识别出的不同区域中的各区域生成图像分析结果。

22.根据权利要求18至21中任一项所述的图像处理装置，其中：

图像处理单元通过使用与用于生成第二医学图像的学习模型不同的学习模型，针对所识别出的不同区域中的各区域生成诊断结果。

23.根据权利要求18至22中任一项所述的图像处理装置，其中：

图像处理单元生成与针对所识别出的不同区域中的各区域、使用生成对抗网络或自动编码器而获得的医学图像与输入到生成对抗网络或自动编码器的医学图像之间的差有关的信息，作为与异常部位有关的信息。

24.根据权利要求18至23中任一项所述的图像处理装置，其中：

图像处理单元通过使用与用于生成第二医学图像的学习模型不同的学习模型，针对所识别出的不同区域中的各区域进行相似病例图像的搜索。

25.根据权利要求18至24中任一项所述的图像处理装置，其中：

第一医学图像和第二医学图像是三维OCT断层图像；并且

图像处理单元生成与第二医学图像的局部深度范围相对应的正面图像。

26.一种图像处理方法，包括：

获得被检体的第一医学图像；以及

由第一医学图像生成第二医学图像，该第二医学图像看起来是使用学习模型对第一医学图像中的不同区域进行了不同图像处理的图像。

27.一种图像处理方法，包括：

获得被检体的第一医学图像；以及

由第一医学图像生成第二医学图像，在该第二医学图像中使用学习模型对第一医学图像中的第一区域和与第一区域不同的第二区域的不同区域的图像质量进行了改善。

28.一种程序，当该程序由处理器执行时，使该处理器执行根据权利要求26或27所述的图像处理方法的各步骤。

Images