CN114663421B - 基于信息迁移和有序分类的视网膜图像分析***及方法 - Google Patents

Abstract

本发明提出一种基于信息迁移和有序分类的视网膜图像智能分析***，包括：眼底图像预处理模块、基于信息迁移的眼底图像血管分割网络模块、基于有序分类的智能分析预测模块，其中图像预处理模块基于视觉图像增强算法，多算法协同工作有效增强图像质量；基于信息迁移的眼底图像血管分割网络有效地实现视网膜血管分割；结合了有序分类的智能分析预测模块准确预测视网膜状态变化等级；有效快捷的实现视网膜图像的智能分析。

Description

基于信息迁移和有序分类的视网膜图像分析***及方法

技术领域

本发明属于人工智能图像处理领域，具体涉及一套基于信息迁移和有序分类的视网膜图像智能分析***。

背景技术

眼底图像是通过眼底照相机拍摄到的眼底结构，主要包括视网膜、脉络膜、黄斑和视神经等。视网膜图像采集是指使用采集设备来采集视网膜图像数据的过程，涉及成像设备、成像***等问题。采集到的视网膜眼底图像根据成像原理的不同通常分为两种：荧光眼底图像和常规源眼底图像。

在采集视网膜图像过程中，读入的视网膜图像出于光线明暗、距离远近、采集图像的角度以及人眼固有相差的局限等原因的影响，通常采集到的视网膜图像有大量噪声，其中部分还包含病灶，图像像素对比度低、局部光照不均、血管分布复杂密集，存在多种纹理背景，图像质量不高。

现有技术的图像处理过程中，一般基于神经网络进行图像处理，由于眼底图像采集成像的质量，以及常规算法普适性不足，导致当前眼底图像视网膜血管分割不准确，继而增加了眼底图像智能分析的实际应用的约束。

发明内容

本发明的目的是针对现有技术问题，本申请提出一种基于信息迁移和有序分类的视网膜图像智能分析***,进行图像预处理增强，然后基于信息迁移眼底图像分割网络进行视网膜血管分割，最后使用结合有序分类的神经网络进行智能分析预测，以达到视网膜图像智能分析目的。

本申请技术方案如下：

一种基于信息迁移和有序分类的视网膜图像智能分析***，包括眼底图像预处理模块、眼底图像血管分割网络模块和眼底图像智能分析预测模块；

所述眼底图像预处理模块对采集到的眼底图像进行图像预处理，目的是改善图像质量，突出有用特征；

所述眼底图像血管分割网络模块基于信息迁移对预处理后的眼底图像进行血管分割，获得血管图像，所述眼底图像血管分割网络模块中定义引导网络和仿生网络；

所述眼底图像智能分析预测模块基于有序分类对血管图像进行状态变化预测。

所述眼底图像预处理模块包括图像增强子模块、掩码生成子模块和多尺度线性滤波器子模块；

所述图像增强子模块对采集的原始眼底图像进行双树复小波和改进后的top-hat变换，获得图像增强后的眼底图像；图像增强子模块有效改善视网膜图像质量，提高血管对比度，突出特征元素(血管结构、视盘、黄斑)；

双树复小波变换(DT-CWT)克服了常用的离散小波变换的缺陷，当对应小波基近似满足Hilbert变换关系时，双树复小波变换能够减小通常的实小波变换中的平移敏感性，改善方向选择性，在有效提升图像质量的同时，保留细节信息；原始眼底图像进行双树复小波变换后，对复小波变换后的眼底图像进行改进后的top-hat变换；

改进后的top-hat变换具体包括以下步骤：对双树复小波变换后的眼底图像进行开运算，获得开运算眼底图像，变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果；

本申请改进后的top-hat变换是在复小波变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果，经过改进的top-hat变换，图像灰度差值明显增大，一些幅度变化小的边缘也可以得到有效的保护；

所述掩码生成子模块基于空间亮度信息进行视场提取，把图像增强后的眼底图像(彩色图像,经过复小波变换和top-hat变换进行局部细节增强和图像质量改善之后的图像)从RGB格式转换到YIQ格式，设置分割阈值，提取周围黑色视场，通过腐蚀操作得到有用信息区域，实现眼底区域和背景区域的分离，得到掩膜图像，用掩膜图像和图像增强后眼底图像进行相乘得到眼底区域图像，包括以下步骤：

第一步：将图像增强后的眼底图像从RGB格式转换到YIQ格式：

上式(1)求得YIQ格式的眼底图像的3个分量；

第二步：设置分割阈值，提取周围黑色视场，通过腐蚀操作得到感兴趣区域；

获得掩膜图像为：

其中，“1”代表背景边框图，“0”代表眼球血管；Y为图像的亮度信息，等于图像亮度分量的灰度值(YIQ格式的眼底图像的Y分量)，M(x′,y)为提取的背景边框，x′,y表示像素坐标；

所述多尺度线性滤波器子模块基于Hessian矩阵的多尺度线性滤波器，根据眼底区域图像中血管的灰度值和特征值不同设置参数，滤波之后消除噪声，进一步突出血管特征，获得滤波后血管特征图像。

眼底图像血管分割网络模块训练过程包括以下步骤：

步骤201，使用滤波后血管特征图像和分割标签作为引导网络和仿生网络的共同输入，训练引导网络进行血管分割任务，引导网络迭代训练的过程中，每隔A次迭代之后在验证集上进行分割准确率测试，保存分割精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为引导网络的最优权重；

步骤202，仿生网络迭代训练的过程中，引导网络加载201中保存的引导网络最优权重，对滤波后血管特征图像生成引导编解码矩阵和引导残差相似度，仿生网络对滤波后血管特征图像生成对应的仿生编解码矩阵和仿生相似度矩阵，仿生网络拟合分割标签、引导编解码矩阵和引导残差相似度，拟合过程中使用损失函数作为约束条件；

步骤203，通过反向传播方法向所述损失函数值变小的方向更新仿生网络的仿生编解码矩阵、仿生残差相似度参数和分割网络参数，并跳转至步骤202进行迭代训练，每隔A次迭代，在验证集上进行分割准确率测试，保存精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为仿生网络的最终最优权重。

步骤202中引导编解码矩阵和仿生编解码矩阵为G∈R^m×n′，G∈R^m×n′通过引导/仿生编码器和引导/仿生解码器的特征图生成，编码器层的输出特征图为F¹∈R^h×w×m，其中h，w，m分别F¹特征图的高、宽和通道数，解码器层的输出特征图为F²∈R^h×w×n′，其中h，w，n′分别表示F²特征图的高，宽和通道数，引导编解码矩阵和仿生编解码矩阵G∈R^m×n′计算为：

其中，s＝1，...，h，t＝1，...，w，x和W分别代表输入图像和引导/仿生网络的权重；G_a，b(x；W)表示引导编解码矩阵或者仿生编解码矩阵的第a行第b列。

步骤202中通过多尺度残差相似度收集模块提取残差相似度，所述多尺度残差相似度收集模块采用相似体积收集上下文信息，具体包括以下步骤：

对于第i个特征向量Y⁽ⁱ⁾，通过每个中心像素P_center与其相邻的d×d区域里面像素P_j之间的元素乘法计算相似度值P_j′，公式为：

P_j′＝P_j×P_center(4)

其中j表示d×d区域的坐标，对图像滤波后血管特征图像中每个像素，获得局部表示，然后沿着通道维度对所述局部表示进行连接，得到第i个特征向量的残差相似度

其中d代表自定义区域的大小，H和W′分别表示特征向量的高和宽，获取相应的残差相似度

然后将残差相似度

相加求和，第i个特征向量的最终残差相似度为

引导网络生成的引导编解码矩阵为

引导残差相似度为

仿生网络生成的仿生编解码矩阵

仿生网络生成的仿生残差相似度为和

i＝1，...，n；所述信息迁移任务的损失函数为：

其中，W_t为引导网络权重，W_s仿生网络权重，G_i ^T代表引导网络第i个特征向量的编解码矩阵，G_i ^S代表仿生网络第i个特征向量的编解码矩阵，n表示特征向量的个数；λ_i和β_i代表对应损失项的权重因子，N代表数据点的数量。

所述基于有序分类的眼底图像智能分析预测模块对分割后的血管图像进行状态变化预测，将有序的多分类问题依次分割为若干个二分类问题；

有序分类的损失函数为：

(7)

其中N代表数据点的数量，T代表二元分类任务，γ^t代表第t个二元分类任务的权重，

代表第c个样本相对于第t个二元分类任务的输出，

代表第c个样本的第t个二元分类任务的真实标签，

代表第t个二元分类任务中第c个样本的权重，W^t表示第t个二元分类任务分类器的参数，x_c代表第c个输入向量，

表示概率模型。

一种基于信息迁移和有序分类的视网膜图像智能分析方法，包括以下步骤：

步骤1，对采集到的眼底图像进行图像预处理，目的是改善图像质量，突出有用特征；

步骤2，基于信息迁移进行眼底图像血管分割；对预处理后的眼底图像进行血管分割，获得血管图像；

步骤3，基于有序分类对血管图像进行状态变化预测，本实施例准确实现眼底图像病变的分期预测。

步骤1具体包括以下步骤：

S101，对采集的原始眼底图像进行双树复小波和改进后的top-hat变换，获得图像增强后的眼底图像；步骤S101有效改善视网膜图像质量，提高血管对比度，突出特征元素(血管结构、视盘、黄斑)；

改进后的top-hat变换具体包括以下步骤：对双树复小波变换后的眼底图像进行开运算，获得开运算眼底图像，变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果

S102，基于空间亮度信息进行视场提取，把图像增强后的眼底图像从RGB格式转换到YIQ格式，设置分割阈值，提取周围黑色视场，通过腐蚀操作得到有用信息区域，实现眼底区域和背景区域的分离，得到掩膜图像，用掩膜图像和图像增强后眼底图像进行相乘得到眼底区域图像；

S103，基于Hessian矩阵的多尺度线性滤波器，根据眼底区域图像中血管的灰度值和特征值不同设置参数，滤波之后消除噪声，进一步突出血管特征，获得滤波后血管特征图像。

步骤2具体包括以下步骤：

步骤201，使用滤波后血管特征图像和分割标签作为引导网络和仿生网络的共同输入，训练引导网络进行血管分割任务，引导网络迭代训练的过程中，每隔A次迭代之后在验证集上进行分割准确率测试，保存分割精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为引导网络的最优权重；

步骤202，仿生网络迭代训练的过程中，引导网络加载步骤201中保存的引导网络最优权重，对滤波后血管特征图像生成引导编解码矩阵和引导残差相似度，仿生网络对滤波后血管特征图像生成对应的仿生编解码矩阵和仿生相似度矩阵，仿生网络拟合分割标签、引导编解码矩阵和引导残差相似度，拟合过程中使用损失函数作为约束条件；

步骤203，通过反向传播方法向所述损失函数值变小的方向更新仿生网络的仿生编解码矩阵、仿生残差相似度参数和分割网络参数，并跳转至步骤202进行迭代训练，每隔A次迭代，在验证集上进行分割准确率测试，保存精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为仿生网络的最终最优权重；

步骤202中引导编解码矩阵和仿生编解码矩阵为G∈R^m×n′，G∈R^m×n′通过引导/仿生编码器和引导/仿生解码器的特征图生成，编码器层的输出特征图为F¹∈R^h×w×m，其中h，w，m分别F¹特征图的高、宽和通道数，解码器层的输出特征图为F²∈R^h×w×n′，其中h，w，n′分别表示F²特征图的高，宽和通道数，引导编解码矩阵和仿生编解码矩阵G∈R^m×n′计算为：

其中，s＝1，...，h，t＝1，...，w，x和W分别代表输入图像和引导/仿生网络的权重；G_a，b(x；W)表示引导编解码矩阵或者仿生编解码矩阵的第a行第b列；

步骤202中通过多尺度残差相似度(MRS)收集模块提取残差相似度，所述多尺度残差相似度(MRS)收集模块采用相似体积收集上下文信息，具体包括以下步骤：

对于第i个特征向量Y⁽ⁱ⁾，通过每个中心像素P_center与其相邻的d×d区域里面像素P_j之间的元素乘法计算相似度值P_j′，公式为：

P_j′＝P_j×P_center(4)

其中j表示d×d区域的坐标，对图像滤波后血管特征图像中每个像素，获得局部表示，然后沿着通道维度对所述局部表示进行连接，得到第i个特征向量的残差相似度

其中d代表自定义区域的大小，H和W′分别表示特征向量的高和宽，分别获取相应的残差相似度

将残差相似度

相加求和，第i个特征向量的最终残差相似度为

引导网络生成的引导编解码矩阵为

引导残差相似度为

仿生网络生成的仿生编解码矩阵

仿生网络生成的仿生残差相似度为和

信息迁移任务的损失函数为：

其中，W_t为引导网络权重，W_s仿生网络权重，G_i ^T代表引导网络第i个特征向量的编解码矩阵，G_i ^S代表仿生网络第i个特征向量的编解码矩阵，n表示特征向量的的个数(编解码矩阵个数)；λ_i和β_i代表第i个特征向量对应损失项的权重因子，N代表数据点的数量；

步骤S3对于分割后的血管图像进行状态变化预测，将有序的多分类问题依次分割为若干个二分类问题；

有序分类的损失函数为：

(7)其中N代表数据点的数量，T代表二元分类任务，γ^t代表第t个二元分类任务的权重，

代表第c个样本相对于第t个二元分类任务的输出，

代表第c个样本的第t个二元分类任务的真实标签，

代表第t个二元分类任务中第c个样本的权重，W^t表示第t个二元分类任务，x_c代表第c个输入向量，

表示概率模型最终的分类结果依据每一个二分类任务的分类结果来进行整合判断。

相对于现有技术，本发明具有如下有益效果：

本发明公开一种基于信息迁移和有序分类的视网膜图像智能分析***进行图像预处理增强，然后基于信息迁移眼底图像分割网络进行视网膜血管分割，最后使用结合有序分类的神经网络进行智能分析预测，实现视网膜图像的智能分析。

本发明图像预处理模块的视觉图像增强算法，多算法协同工作有效增强图像质量；基于信息迁移的眼底图像血管分割网络有效地实现视网膜血管分割；结合了有序分类的智能分析预测模块准确预测，有效快捷的实现视网膜图像的智能分析。

本申请图像眼底图像预处理模块包括图像增强子模块、掩码生成子模块和多尺度线性滤波器子模块，提高血管对比度，突出特征元素，克服了常用的离散小波变换的缺陷，在有效提升图像质量的同时，保留细节信息；图像灰度差值明显增大，一些幅度变化小的边缘得到有效的保护。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明基于信息迁移和有序分类的视网膜图像智能分析***的整体***架构示意图；

图2是本发明中基于信息迁移的眼底图像血管分割网络模块的整体结构示意图；

图3是本实施例掩膜图像。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

本发明的核心思想是根据眼底图像的自身特点，设计合适算法进行图像预处理增强，然后基于信息迁移眼底图像分割网络进行视网膜血管分割，最后使用结合有序分类的神经网络进行智能分析预测，以达到视网膜图像的智能分析的目的。

本发明基于信息迁移和有序分类的视网膜图像智能分析***的整体流程，如图1所示，一种基于信息迁移和有序分类的视网膜图像智能分析***，包括眼底图像预处理模块、眼底图像血管分割网络模块、眼底图像智能分析预测模块，本实施例还包括前台展示模块；

眼底图像预处理模块对采集到的眼底图像进行图像预处理，目的是改善图像质量，突出有用特征；

眼底图像血管分割网络模块基于信息迁移对预处理后的眼底图像进行血管分割，获得血管图像，所述眼底图像血管分割网络模块中定义了两个网络：引导网络和仿生网络，所述眼底图像血管分割网络模块定义引导网络的重要信息，并将提取的引导网络的知识信息转移到仿生网络中；

眼底图像智能分析预测模块基于有序分类对血管图像进行状态变化预测，本实施例中，糖尿病基于疾病病变恶化是个有序的过程，由轻度病变到中度再到严重病变，准确实现眼底图像状态变化的分期预测；

前台展示模块，从数据库中读取相应数据，向用户展示各算法子模块的处理结果并与用户进行交互。

本实施例中，首先进行数据集采集工作，选取2020年1月-2022年12月确诊的门诊或住院的2型糖尿病患者1000例，经过排除和常规检查后，由统一的经专门培训的糖尿病专科护士，使用免扩瞳眼底照相机对采集对象进行眼底照相，获得唯一的眼底图像；

所述眼底图像预处理模块包括图像增强子模块、掩码生成子模块和多尺度线性滤波器子模块；

所述图像增强子模块对采集的原始眼底图像进行双树复小波和改进后的top-hat变换，获得图像增强后的眼底图像；图像增强子模块有效改善视网膜图像质量，提高血管对比度，突出特征元素(血管结构、视盘、黄斑)；

双树复小波变换(DT-CWT)是为克服了常用的离散小波变换的缺陷，当对应小波基近似满足Hilbert变换关系时，双树复小波变换能够减小通常的实小波变换中的平移敏感性，改善方向选择性，在有效提升图像质量的同时，保留细节信息；原始眼底图像进行双树复小波变换后，对复小波变换后的眼底图像进行改进后的top-hat变换；

改进后的top-hat变换具体包括以下步骤：对双树复小波变换后的眼底图像进行开运算，获得开运算眼底图像，变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果

形态学top-hat变换是通过开运算和闭运算组合进行，开运算和闭运算是由膨胀运算和腐蚀运算递推得来的。传统top-hat变换是通过原始图像减去其作开运算后的结果作为最终结果，但这样会使得最终结果整体偏暗，一些较暗的边缘则不能显示。本申请改进后的top-hat变换是在复小波变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果，经过改进的top-hat变换，图像灰度差值明显增大，一些幅度变化小的边缘也可以得到有效的保护；

经过双树复小波变换和改进的top-hat变换后，获得局部细节增强和图像质量改善之后的眼底图像；

所述掩码生成子模块基于空间亮度信息进行视场提取，把图像增强后的眼底图像(彩色图像,经过复小波变换和top-hat变换进行局部细节增强和图像质量改善之后的图像)从RGB格式转换到YIQ格式，设置分割阈值，提取周围黑色视场，通过腐蚀操作得到有用信息区域，实现眼底区域和背景区域的分离，得到掩膜图像(如图3所示)，用掩膜图像和图像增强后眼底图像进行相乘得到眼底区域图像。

图像增强后的眼底图像分析需要获取ROI(感兴趣区域)，也就是眼底区域图像，这样在后续的处理中可以有效避免ROI区域外的像素的影响，降低运算复杂度，掩膜图像可以的界定ROI和无用的区域；

掩膜图像通常形象的称之为“视场”，利用原始眼底图像生成相同大小的掩膜图像,进行眼底区域和背景区域的分离。为了准确提取掩膜图像(眼底图像视场),本发明提出基于空间亮度信息的视场提取方法。基于空间亮度信息的视场提取方法在YIQ格式的图像基础上，分离亮度信息和色度信息，再通过分割阈值的选取提取周围黑色区域。不同于RGB三色通道，在YIQ格式中，Y指图像的亮度信息，I指橙色到青色的颜色变化，Q指紫色到黄绿色的颜色变化。由于它包含亮度和颜色的双重信息，将图像中的亮度分量分离提取出来，包括以下步骤：

第一步：将图像增强后的眼底图像从RGB格式转换到YIQ格式：

上式(1)可求得YIQ格式的图像的3个分量；

第二步：设置分割阈值，提取周围黑色视场，通过腐蚀操作得到感兴趣区域；

分割阈值的选择是分割提取的基础，对于单一分割阈值，通过分割阈值把像素的灰度值分为两类，一类是灰度值大于分割阈值的，另一类是灰度小于分割阈值的。Y分量是指图像的亮度信息，YIQ格式的眼底图像的Y分量直方图是一个双峰状况，包括两部分高像素，两端的像素值为0，依据Y分量直方图的特点进行分离；

经过一系列试验，本实施例设置分割阈值为50进行黑色区域的提取分离，获得掩膜图像：

其中，“1”代表背景边框图，“0”代表眼球血管；Y为图像的亮度信息，等于图像亮度分量的灰度值(YIQ格式的眼底图像的Y分量)，M(x′,y)为提取的背景边框，x′,y表示像素坐标，如果第x′行y列像素的Y分量大于50，认为该点为背景区域；

所述多尺度线性滤波器子模块基于Hessian矩阵的多尺度线性滤波器，根据眼底区域图像中血管的灰度值和特征值不同设置参数，滤波之后消除噪声，进一步突出血管特征，获得滤波后血管特征图像；

Hessian矩阵实现对图像中的特定结构(点结构/线结构)进行增强，从而实现对目标特征的提取，同时剔除其他无用的噪声信息；

在二维图像中，Hessian矩阵是二维正定矩阵，有两个特征值和对应的特征向量。两个特征值表示出了图像在两个特征向量所指方向上图像变化的各向异性，如果利用特征向量和特征值构成一个椭圆，那么这个椭圆就标注除了图像变化的各向异性。图像中的点性结构具有各项同性，而线性结构具有各向异性。因此利用Hessian矩阵特性构造滤波器对眼底区域图像中的线性结构进行增强，也就是血管结构，同时滤去点状的结构，即噪声点。

如图2所示，眼底图像血管分割网络模块对预处理后的眼底图像滤波后血管特征图像基于信息迁移的方式进行血管分割工作，眼底图像血管分割网络模块基于信息迁移进行血管分割，眼底图像血管分割网络模块包括两个分割网络：引导网络和仿生网络。信息迁移指的就是将预训练好的引导网络模型提取的知识信息迁移至仿生网络。眼底图像血管分割网络模块训练过程包括以下步骤：

步骤201，使用滤波后血管特征图像和分割标签作为引导网络和仿生网络的共同输入，训练引导网络进行血管分割任务，引导网络迭代训练的过程中，每隔100次迭代之后在验证集上进行分割准确率测试，保存分割精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为引导网络的最优权重(保存最优权重是在迭代训练的过程中，网络每隔100次迭代，就会在验证集上进行测试，分割准确率最高的那次就称之为最优权重)；

步骤202，仿生网络迭代训练的过程中，引导网络加载A10中保存的引导网络最优权重，对滤波后血管特征图像生成引导编解码矩阵和引导残差相似度，仿生网络对滤波后血管特征图像生成对应的仿生编解码矩阵和仿生相似度矩阵，仿生网络拟合分割标签、引导编解码矩阵和引导残差相似度，拟合过程中使用L2损失函数作为约束条件；

步骤203，通过反向传播方法向所述损失函数值变小的方向更新仿生网络的仿生编解码矩阵、仿生残差相似度参数和分割网络参数，相应参数(参数包括仿生网络的编解码矩阵参数、残差相似度参数和分割网络参数，)，并跳转至202进行迭代训练，每隔100次迭代，在验证集上进行分割准确率测试，保存精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为仿生网络的最终最优权重。

神经网络编码解码的过程中(分割网络整体解决问题的方案就是一个先编码再解码过程)，信息的流动包含问题解决的方法，将网络解决问题的方式当作知识信息转移给仿生网络能够使其得到更好的泛化性。

步骤202中引导编解码矩阵和仿生编解码矩阵为G∈R^m×n′，G∈R^m×n′(m*n′矩阵，G矩阵由两侧特征图生成)通过引导/仿生编码器和引导/仿生解码器的特征图生成，编码器层的输出特征图为F¹∈R^h×w×m，其中h，w，m分别F¹特征图的高、宽和通道数，(引导网络该层的特征图图像的高、宽和通道数)，解码器层的输出特征图为F²∈R^h×w×n′，其中h，w，n′分别表示F²特征图的高，宽和通道数，引导编解码矩阵和仿生编解码矩阵G∈R^m×n′计算为：

其中，s＝1，...，h，t＝1，...，w，x和W分别代表输入图像和引导/仿生网络(引导网络或者仿生网络)的权重；G_a，b(x；W)表示引导编解码矩阵或者仿生编解码矩阵的第a行第b列(编解码矩阵是一个m*n′的高纬度矩阵，第a行第b列)。

步骤202中通过多尺度残差相似度(MRS)收集模块提取残差相似度，多尺度残差相似度(MRS)收集模块用于收集捕捉局部区域的特征信息，所述多尺度残差相似度(MRS)收集模块采用相似体积收集上下文信息，具体包括以下步骤：

对于第i个特征向量Y⁽ⁱ⁾，通过每个中心像素P_center与其相邻的d×d区域里面像素P_j之间的元素乘法计算相似度值P_j′，公式为：

P_j′＝P_j×P_center(4)

其中j表示d×d区域的坐标，对图像滤波后血管特征图像中每个像素，获得局部表示，然后沿着通道维度对所述局部表示进行连接，得到第i个特征向量的残差相似度

其中d代表自定义区域的大小，H和W′分别表示特征向量的高和宽，中心像素周围像素点的重要性随着距离衰减而降低，因此，所述多尺度残差相似度收集模块，就是设定不同值的d，分别获取相应的残差相似度

然后将残差相似度

相加求和，第i个特征向量的最终残差相似度为

然后选取不同的d值(d＝3、5、7)将对应的残差相似度

(d＝3，5，7，不同的d值大小体现多尺度)相加求和，得到第i个特征向量的最终残差相似度为

(前述的

是输入的特征向量的残差相似度，

是输出的特征向量的残差相似度)。

引导网络生成的引导编解码矩阵为

引导残差相似度为

仿生网络生成的仿生编解码矩阵

仿生网络生成的仿生残差相似度为和

信息迁移使得仿生编解码矩阵和仿生残差相似度分别趋近于引导编解码矩阵和引导残差相似度。所述信息迁移任务的损失函数为：

其中，W_t为引导网络权重，W_s仿生网络权重，G_i ^T代表引导网络第i个特征向量的编解码矩阵，G_i ^S代表仿生网络第i个特征向量的编解码矩阵，n表示特征向量的个数；λ_i和β_i代表对应损失项的权重因子，N代表数据点的数量。

所述基于有序分类的眼底图像智能分析预测模块，对于分割后的血管图像进行状态变化预测，值得说明的是，本实施例是以糖尿病病人的眼底图像为样本进行的实验，本申请适用于所有眼底图像的图像处理；

有序多分类基本原理是，因变量之间存在顺序关系，将有序的多分类问题依次分割为多个简单的二分类问题。本实施例所研究的糖尿病视网膜病变的分期问题中，根据状态变化的严重程度，总共分为5期。正常(0期)、轻度NPDR(1期)、中度NPDR(2期)、严重NPDR(3期)、PDR(4期)。在利用有序分类进行分类时，这个问题被拆分成4个二元的分类问题，分别是(0 vs 1+2+3+4)、(0+1 vs 2+3+4)、(0+1+2 vs 3+4)和(0+1+2+3 vs 4)。

本实施例针对糖尿病视网膜病变分期问题，如果用传统卷积神经网络来解决时，这是一个多分类问题，通过多层卷积、池化、全连接层之后，最终用一个softmax回归就能完成分类任务。然而，这样做并没有考虑到病变分期本身具有的特性，网络结构主要参考GoogLeNet，将网络最后一层设置为有序分类，其损失函数如下所示：

其中N代表数据点的数量，T代表二元分类任务，γ^t代表每一个二分类任务的权重，

代表第c个样本相对于第t个任务的输出，

代表真实标签。

代表第t个二元分类任务中每个样本的权重，后续随着网络的训练在优化。w^t表示第t个分类器所具有的参数，xc代表第c个输入向量、

表示概率模型。对于每一个二分类任务，我们得到的输出结果都为0或者1。最终的分类结果会依据每一个二分类任务的分类结果来进行整合判断。具体在本任务中，将4个二分类任务的分类结果进行求和，即可得到最终的疾病的分期预测.

所述前台用户界面模块向用户展示各阶段相应结果，训练完成后的***可以实现眼底图像智能分析。

如图1所示，一种基于信息迁移和有序分类的视网膜图像智能分析方法，包括以下步骤：

步骤1，对采集到的眼底图像进行图像预处理，目的是改善图像质量，突出有用特征；

步骤2，基于信息迁移进行眼底图像血管分割；对预处理后的眼底图像进行血管分割，获得血管图像；

步骤3，基于有序分类对血管图像进行状态变化预测。

步骤1具体包括以下步骤：

S101，对采集的原始眼底图像进行双树复小波和改进后的top-hat变换，获得图像增强后的眼底图像；步骤S101有效改善视网膜图像质量，提高血管对比度，突出特征元素(血管结构、视盘、黄斑)；

双树复小波变换(DT-CWT)是为克服了常用的离散小波变换的缺陷，当对应小波基近似满足Hilbert变换关系时，双树复小波变换能够减小通常的实小波变换中的平移敏感性，改善方向选择性，在有效提升图像质量的同时，保留细节信息；原始眼底图像进行双树复小波变换后，对复小波变换后的眼底图像进行改进后的top-hat变换；

改进后的top-hat变换具体包括以下步骤：对双树复小波变换后的眼底图像进行开运算，获得开运算眼底图像，变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果；

形态学top-hat变换是通过开运算和闭运算组合进行，开运算和闭运算是由膨胀运算和腐蚀运算递推得来的。传统top-hat变换是通过原始图像减去其作开运算后的结果作为最终结果，但这样会使得最终结果整体偏暗，一些较暗的边缘则不能显示。本申请改进后的top-hat变换是在复小波变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果，经过改进的top-hat变换，图像灰度差值明显增大，一些幅度变化小的边缘也可以得到有效的保护；

经过双树复小波变换和改进的top-hat变换后，获得局部细节增强和图像质量改善之后的眼底图像；

S102，基于空间亮度信息进行视场提取，把图像增强后的眼底图像(彩色图像,经过复小波变换和top-hat变换进行局部细节增强和图像质量改善之后的图像)从RGB格式转换到YIQ格式，设置分割阈值，提取周围黑色视场，通过腐蚀操作得到有用信息区域，实现眼底区域和背景区域的分离，得到掩膜图像，用掩膜图像和图像增强后眼底图像进行相乘得到眼底区域图像。

图像增强后的眼底图像分析需要获取ROI(感兴趣区域)，也就是眼底区域图像，这样在后续的处理中可以有效避免ROI区域外的像素的影响，降低运算复杂度，掩膜图像可以的界定ROI和无用的区域；

掩膜图像通常形象的称之为“视场”，利用原始眼底图像生成相同大小的掩膜图像,进行眼底区域和背景区域的分离。为了准确提取掩膜图像(眼底图像视场),本发明提出基于空间亮度信息的视场提取方法。基于空间亮度信息的视场提取方法在YIQ格式的图像基础上，分离亮度信息和色度信息，再通过分割阈值的选取提取周围黑色区域。不同于RGB三色通道，在YIQ格式中，Y指图像的亮度信息，I指橙色到青色的颜色变化，Q指紫色到黄绿色的颜色变化。由于它包含亮度和颜色的双重信息，将图像中的亮度分量分离提取出来；

掩膜图像提取具体包括以下步骤：

第一步：将图像增强后的眼底图像从RGB格式转换到YIQ格式：

上式(1)可求得YIQ格式的图像的3个分量；

第二步：设置分割阈值，提取周围黑色视场，通过腐蚀操作得到感兴趣区域；

分割阈值的选择是分割提取的基础，对于单一分割阈值，通过分割阈值把像素的灰度值分为两类，一类是灰度值大于分割阈值的，另一类是灰度小于分割阈值的。Y分量是指图像的亮度信息，YIQ格式的眼底图像的Y分量直方图是一个双峰状况，包括两部分高像素，两端的像素值为0，依据Y分量直方图的特点进行分离；

经过一系列试验，本实施例设置分割阈值为50进行黑色区域的提取分离，获得掩膜图像：

其中，“1”代表背景边框图，“0”代表眼球血管；Y为图像的亮度信息，等于图像亮度分量的灰度值(YIQ格式的眼底图像的Y分量)，M(x′,y)为提取的背景边框，x′,y表示像素坐标，如果第x’行y列像素的Y分量大于50，认为该点为背景区域；

S103，基于Hessian矩阵的多尺度线性滤波器，根据眼底区域图像中血管的灰度值和特征值不同设置参数，滤波之后消除噪声，进一步突出血管特征，获得滤波后血管特征图像；

Hessian矩阵实现对图像中的特定结构(点结构/线结构)进行增强，从而实现对目标特征的提取，同时剔除其他无用的噪声信息；

在二维图像中，Hessian矩阵是二维正定矩阵，有两个特征值和对应的特征向量。两个特征值表示出了图像在两个特征向量所指方向上图像变化的各向异性，如果利用特征向量和特征值构成一个椭圆，那么这个椭圆就标注除了图像变化的各向异性。图像中的点性结构具有各项同性，而线性结构具有各向异性。因此利用Hessian矩阵特性构造滤波器对眼底区域图像中的线性结构进行增强，也就是血管结构，同时滤去点状的结构，即噪声点。

步骤2对预处理后的眼底图像滤波后血管特征图像基于信息迁移进行血管分割，眼底图像血管分割网络模块包括两个分割网络：引导网络和仿生网络。信息迁移指的就是将预训练好的引导网络模型提取的知识信息迁移至仿生网络。步骤2包括以下步骤：

步骤201，使用滤波后血管特征图像和分割标签作为引导网络和仿生网络的共同输入，训练引导网络进行血管分割任务，引导网络迭代训练的过程中，每隔100次迭代之后在验证集上进行分割准确率测试，保存分割精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为引导网络的最优权重(保存最优权重是在迭代训练的过程中，网络每隔100次迭代，就会在验证集上进行测试，分割准确率最高的那次就称之为最优权重)；

整体数据集会被划分成训练集，验证集和测试集，引导网络和仿生网络使用同一数据集；

步骤202，仿生网络迭代训练的过程中，引导网络加载步骤201中保存的引导网络最优权重，对滤波后血管特征图像生成引导编解码矩阵和引导残差相似度，仿生网络对滤波后血管特征图像生成对应的仿生编解码矩阵和仿生相似度矩阵，仿生网络拟合分割标签、引导编解码矩阵和引导残差相似度，拟合过程中使用L2损失函数作为约束条件；

步骤203，通过反向传播方法向所述损失函数值变小的方向更新仿生网络的仿生编解码矩阵、仿生残差相似度参数和分割网络参数，相应参数(参数包括仿生网络的编解码矩阵参数、残差相似度参数和分割网络参数)，并跳转至步骤202进行迭代训练，每隔100次迭代，在验证集上进行分割准确率测试，保存精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为仿生网络的最终最优权重。

步骤202中引导编解码矩阵和仿生编解码矩阵为G∈Rm×n′，G∈Rm×n′(m*n′矩阵，G矩阵由两侧特征图生成)通过引导/仿生编码器和引导/仿生解码器的特征图生成，编码器层的输出特征图为F¹∈R^h×w×m，其中h，w，m分别F1特征图的高、宽和通道数，(引导网络该层的特征图图像的高、宽和通道数)，解码器层的输出特征图为F²∈R^h×w×n′，其中h，w，n′分别表示F²特征图的高，宽和通道数，引导编解码矩阵和仿生编解码矩阵G∈Rm×n′计算为：

其中，s＝1，...，h，t＝1，...，w，x和W分别代表输入图像和引导/仿生网络(引导网络或者仿生网络)的权重；G_a，b(x；W)表示引导编解码矩阵或者仿生编解码矩阵的第a行第b列(编解码矩阵是一个m*n′的高纬度矩阵，第a行第b列)。

步骤202中通过多尺度残差相似度(MRS)收集模块提取残差相似度，多尺度残差相似度(MRS)收集模块用于收集捕捉局部区域的特征信息，所述多尺度残差相似度(MRS)收集模块采用相似体积收集上下文信息，具体包括以下步骤：

对于第i个特征向量Y⁽ⁱ⁾，通过每个中心像素P_center与其相邻的d×d区域里面像素P_j之间的元素乘法计算相似度值P_j′，公式为：

P_j′＝P_j×P_center(4)

其中j表示d×d区域的坐标，对图像滤波后血管特征图像中每个像素，获得局部表示，然后沿着通道维度对所述局部表示进行连接，得到第i个输入的特征向量的残差相似度

其中d代表自定义区域的大小，H和W′，分别表示特征向量的高和宽，中心像素周围像素点的重要性随着距离衰减而降低，因此，所述多尺度残差相似度收集模块，选取不同的d值(d＝3、5、7)将对应的残差相似度

(d＝3，5，7，不同的d值大小体现多尺度)相加求和，得到第i个特征向量的最终残差相似度为

(前述的

是输入的特征向量的残差相似度，

是输出的特征向量的残差相似度)。

引导网络生成的引导编解码矩阵为

引导残差相似度为

仿生网络生成的仿生编解码矩阵

仿生网络生成的仿生残差相似度为和

信息迁移使得仿生编解码矩阵和仿生残差相似度分别趋近于引导编解码矩阵和引导残差相似度。所述信息迁移任务的损失函数为：

其中，W_t为引导网络权重，W_s仿生网络权重，G_i ^T代表引导网络第i个特征向量的编解码矩阵，G_i ^s代表仿生网络第i个特征向量的编解码矩阵，n表示特征向量的个数；λ_i和β_i代表对应损失项的权重因子，N代表数据点的数量。

步骤S3对于分割后的血管图像进行状态变化预测，将有序的多分类问题依次分割为若干个二分类问题；

具体的，对于M(M代表需要将状态变化输出预测为M类，具体实施例中，M＝5)类分类问题，在利用有序分类进行分类时，这个问题被拆分成M-1个二元的分类问题，分别是(0vs 1+2+3+…+M-1)、(0+1 vs 2+3+…+M-1)、…和(0+1+2+3…+M-2 vs M-1)。根据变量之间存在的特性，在眼底图像智能分析预测的网络结构(网络指的是有序分类的眼底图像智能分析是一个分类网络)中引入有序分类，有序分类的损失函数为：

其中N代表数据点的数量，T代表二元分类任务，γ^t代表第t个二元分类任务的权重，

代表第c个样本相对于第t个二元分类任务的输出，

代表第c个样本的第t个二元分类任务的真实标签，

代表第t个二元分类任务中第c个样本的权重，随着网络的训练在优化。W^t表示第t个二元分类任务分类器的参数(分类器的参数，具体包含网络层数，滤波器大小)，x_c代表第c个输入向量，

表示概率模型。最终的分类结果依据每一个二分类任务的分类结果来进行整合判断。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (2)

1.一种基于信息迁移和有序分类的视网膜图像智能分析***，其特征在于，包括眼底图像预处理模块、眼底图像血管分割网络模块和眼底图像智能分析预测模块；

所述眼底图像预处理模块对采集到的眼底图像进行图像预处理；

所述眼底图像血管分割网络模块基于信息迁移对预处理后的眼底图像进行血管分割，获得血管图像，所述眼底图像血管分割网络模块中定义引导网络和仿生网络；

所述眼底图像智能分析预测模块基于有序分类对血管图像进行状态变化预测；

所述眼底图像预处理模块包括图像增强子模块、掩码生成子模块和多尺度线性滤波器子模块；

所述图像增强子模块对采集的原始眼底图像进行双树复小波和改进后的top-hat变换，获得图像增强后的眼底图像；

改进后的top-hat变换具体包括以下步骤：对双树复小波变换后的眼底图像进行开运算，获得开运算眼底图像，双树复小波变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果；

所述掩码生成子模块基于空间亮度信息进行视场提取，把图像增强后的眼底图像从RGB格式转换到YIQ格式，设置分割阈值，提取周围黑色视场，通过腐蚀操作得到有用信息区域，进行眼底区域和背景区域的分离，得到掩膜图像，用掩膜图像和图像增强后眼底图像进行相乘得到眼底区域图像，具体包括以下步骤：

第一步：将图像增强后的眼底图像从RGB格式转换到YIQ格式：

式(1)求得YIQ格式的眼底图像的3个分量；

第二步：设置分割阈值，提取周围黑色视场，通过腐蚀操作得到感兴趣区域；

获得掩膜图像为：

其中，“1”代表背景边框图，“0”代表眼球血管；Y为图像的亮度信息，等于图像亮度分量的灰度值，M(x′,y)为提取的背景边框，x′,y表示像素坐标；

所述多尺度线性滤波器子模块基于Hessian矩阵的多尺度线性滤波器，根据眼底区域图像中血管的灰度值和特征值不同设置参数，滤波之后消除噪声，获得滤波后血管特征图像；

眼底图像血管分割网络模块训练过程包括以下步骤：

步骤201，使用滤波后血管特征图像和分割标签作为引导网络和仿生网络的共同输入，训练引导网络进行血管分割任务，引导网络迭代训练的过程中，每隔A次迭代之后在验证集上进行分割准确率测试，保存分割精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为引导网络的最优权重；

步骤202，仿生网络迭代训练的过程中，引导网络加载步骤201中保存的引导网络最优权重，对滤波后血管特征图像生成引导编解码矩阵和引导残差相似度，仿生网络对滤波后血管特征图像生成对应的仿生编解码矩阵和仿生相似度矩阵，仿生网络拟合分割标签、引导编解码矩阵和引导残差相似度，拟合过程中使用损失函数作为约束条件；

步骤203，通过反向传播方法向所述损失函数值变小的方向更新仿生网络的仿生编解码矩阵、仿生残差相似度参数和分割网络参数，并跳转至步骤202进行迭代训练，每隔A次迭代，在验证集上进行分割准确率测试，保存精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为仿生网络的最终最优权重；

步骤202中引导编解码矩阵和仿生编解码矩阵为G∈R^m×n′，G∈R^m×n′通过引导/仿生编码器和引导/仿生解码器的特征图生成，编码器层的输出特征图为F¹∈R^h×w×m，其中h，w，m分别F¹特征图的高、宽和通道数，解码器层的输出特征图为F²∈R^h×w×n′，其中h，w，n′分别表示F²特征图的高，宽和通道数，引导编解码矩阵和仿生编解码矩阵G∈R^m×n′计算为：

其中，s＝1,...,h，t＝1,...,w，x和W分别代表输入图像和引导/仿生网络的权重；G_a,b(x；W)表示引导编解码矩阵或者仿生编解码矩阵的第a行第b列；

步骤202具体包括以下步骤：

对于第i个特征向量Y⁽ⁱ⁾，通过每个中心像素P_center与其相邻的d×d区域里面像素P_j之间的元素乘法计算相似度值P_j′，公式为：

P_j′＝P_j×P_center⑷

其中，步骤202中，j表示d×d区域的坐标，对图像滤波后血管特征图像中每个像素，获得局部表示，然后沿着通道维度对所述局部表示进行连接，得到第i个特征向量的残差相似度其中d代表区域的大小，H和W′分别表示特征向量的高和宽，获取相应的残差相似度选取不同的d值，将对应的残差相似度相加求和，得到第i个特征向量的最终残差相似度为

引导网络生成的引导编解码矩阵为引导残差相似度为仿生网络生成的仿生编解码矩阵仿生网络生成的仿生残差相似度为和i＝1,...,n；信息迁移任务的损失函数为：

其中，W_t为引导网络权重，W_s仿生网络权重，代表引导网络第i个特征向量的编解码矩阵，代表仿生网络第i个特征向量的编解码矩阵，n表示特征向量的的个数；λ_i和β_i代表对应损失项的权重因子，N代表数据点的数量；

所述基于有序分类的眼底图像智能分析预测模块对分割后的血管图像进行状态变化预测，将有序的多分类问题依次分割为若干个二分类问题；

有序分类的损失函数为：

其中N代表数据点的数量，T代表二元分类任务，γ^t代表第t个二元分类任务的权重，代表第c个样本相对于第t个二元分类任务的输出，代表第c个样本的第t个二元分类任务的真实标签，代表第t个二元分类任务中第c个样本的权重，W^t表示第t个二元分类任务分类器的参数，x_c代表第c个输入向量，表示概率模型。

2.一种基于信息迁移和有序分类的视网膜图像智能分析方法，其特征在于，包括以下步骤：

步骤1，对采集到的眼底图像进行图像预处理；

步骤2，基于信息迁移进行眼底图像血管分割；对预处理后的眼底图像进行血管分割，获得血管图像；

步骤3，基于有序分类对血管图像进行状态变化预测；

步骤1具体包括以下步骤：

S101，对采集的原始眼底图像进行双树复小波和改进后的top-hat变换，获得图像增强后的眼底图像；

改进后的top-hat变换具体包括以下步骤：对双树复小波变换后的眼底图像进行开运算，获得开运算眼底图像，变换后的眼底图像减去开运算眼底图像时，灰度值发生变换的数据保持不变，未变化的数据为相减结果；

S102，基于空间亮度信息进行视场提取，把图像增强后的眼底图像从RGB格式转换到YIQ格式，设置分割阈值，提取周围黑色视场，通过腐蚀操作得到有用信息区域，实现眼底区域和背景区域的分离，得到掩膜图像，用掩膜图像和图像增强后眼底图像进行相乘得到眼底区域图像；

S103，基于Hessian矩阵的多尺度线性滤波器，根据眼底区域图像中血管的灰度值和特征值不同设置参数，滤波之后消除噪声，获得滤波后血管特征图像；

步骤2具体包括以下步骤：

步骤201，使用滤波后血管特征图像和分割标签作为引导网络和仿生网络的共同输入，训练引导网络进行血管分割任务，引导网络迭代训练的过程中，每隔A次迭代之后在验证集上进行分割准确率测试，保存分割精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为引导网络的最优权重；

步骤202，仿生网络迭代训练的过程中，引导网络加载步骤201中保存的引导网络最优权重，对滤波后血管特征图像生成引导编解码矩阵和引导残差相似度，仿生网络对滤波后血管特征图像生成对应的仿生编解码矩阵和仿生相似度矩阵，仿生网络拟合分割标签、引导编解码矩阵和引导残差相似度，拟合过程中使用损失函数作为约束条件；

步骤203，通过反向传播方法向所述损失函数值变小的方向更新仿生网络的仿生编解码矩阵、仿生残差相似度参数和分割网络参数，并跳转至步骤202进行迭代训练，每隔A次迭代，在验证集上进行分割准确率测试，保存精度大于设定的分割阈值的权重，迭代训练完成后，选择分割准确率最高的权重为仿生网络的最终最优权重；

步骤202中引导编解码矩阵和仿生编解码矩阵为G∈R^m×n′，G∈R^m×n′通过引导/仿生编码器和引导/仿生解码器的特征图生成，编码器层的输出特征图为F¹∈R^h×w×m，其中h，w，m分别F¹特征图的高、宽和通道数，解码器层的输出特征图为F²∈R^h×w×n′，其中h，w，n′分别表示F²特征图的高，宽和通道数，引导编解码矩阵和仿生编解码矩阵G∈R^m×n′计算为：

其中，s＝1,...,h，t＝1,...,w，x和W分别代表输入图像和引导/仿生网络的权重；G_a,b(x；W)表示引导编解码矩阵或者仿生编解码矩阵的第a行第b列；

步骤202具体包括以下步骤：

对于第i个特征向量Y⁽ⁱ⁾，通过每个中心像素P_center与其相邻的d×d区域里面像素P_j之间的元素乘法计算相似度值P_j′，公式为：

P_j′＝P_j×P_center⑷

其中j表示d×d区域的坐标，对图像滤波后血管特征图像中每个像素，获得局部表示，然后沿着通道维度对所述局部表示进行连接，得到第i个输入的特征向量的残差相似度其中d代表自定义区域的大小，H和W′分别表示特征向量的高和宽，分别获取相应的残差相似度将残差相似度相加求和，第i个特征向量的最终残差相似度为

引导网络生成的引导编解码矩阵为引导残差相似度为仿生网络生成的仿生编解码矩阵仿生网络生成的仿生残差相似度为和i＝1,...,n；信息迁移任务的损失函数为：

其中，W_t为引导网络权重，W_s仿生网络权重，G_i ^T代表引导网络第i个特征向量的编解码矩阵，G_i ^S代表仿生网络第i个特征向量的编解码矩阵，n表示特征向量的个数；λ_i和β_i代表对应损失项的权重因子，N代表数据点的数量；

步骤S3对于分割后的血管图像进行状态变化预测，将有序的多分类问题依次分割为若干个二分类问题；

有序分类的损失函数为：

其中T代表二元分类任务，γ^t代表第t个二元分类任务的权重，代表第c个样本相对于第t个二元分类任务的输出，代表第c个样本的第t个二元分类任务的真实标签，代表第t个二元分类任务中第c个样本的权重，W^t表示第t个二元分类任务分类器的参数，x_c代表第c个输入向量，表示概率模型，最终的分类结果依据每一个二分类任务的分类结果来进行整合判断。

Images