CN112560948A - 数据偏差下的眼底图分类方法及成像方法 - Google Patents

数据偏差下的眼底图分类方法及成像方法 Download PDF

Info

Publication number
CN112560948A
CN112560948A CN202011476264.6A CN202011476264A CN112560948A CN 112560948 A CN112560948 A CN 112560948A CN 202011476264 A CN202011476264 A CN 202011476264A CN 112560948 A CN112560948 A CN 112560948A
Authority
CN
China
Prior art keywords
network
sample
model
parameters
target network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011476264.6A
Other languages
English (en)
Other versions
CN112560948B (zh
Inventor
赵荣昌
陈宣霖
何博文
贾孝良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202011476264.6A priority Critical patent/CN112560948B/zh
Publication of CN112560948A publication Critical patent/CN112560948A/zh
Application granted granted Critical
Publication of CN112560948B publication Critical patent/CN112560948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种数据偏差下的眼底图分类方法，包括获取历史的眼底图像数据、标记并分类；构建目标网络和在线网络的基础模型；共享目标网络和在线网络的参数权重；为目标网络提供课程模块；为在线网络构建监督对抗损失函数；进行第一阶段学习和进行第二阶段学习，得到最终的网络模型；采用最终的网络模型对实时获取的眼底图像数据进行分类。本发明还公开了一种包括所述数据偏差下的眼底图分类方法的成像方法。本发明能够较好地处理样本中存在的偏差问题；同时在线网络和目标网络的网络参数相互自适应调整，动态引导模型对样本进行学习，从而使得模型的预测从有偏转向无偏，提升了模型的敏感度，而且可靠性高，敏感性好，分类准确性高。

Description

数据偏差下的眼底图分类方法及成像方法
技术领域
本发明书属于图像处理领域，具体涉及一种数据偏差下的眼底图分类方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人工智能算法已经广泛应用于人们的生产和生活中，给人们的生产和生活带来了无尽的便利。
目前，基于人工智能算法的计算机辅助图像处理技术，已经广泛应用于医院等单位。在医疗领域，基于人工智能算法的计算机辅助图像处理技术已经广泛应用于眼底图像的分类、识别和成像等，给相关人员带来了巨大的便利，也极大地提高了效率。
但是，基于人工智能算法的计算机辅助图像处理技术在具体应用时，依旧存在一些问题：由于异常图像的数目较少，以及异常图像难以具体正确分类的问题，这使得目前的基于人工智能算法的计算机辅助图像处理技术，存在较大的数据偏差；而假阳性的判断指标的引入，会在模型训练时会导致模型产生一些偏差，从而严重影响模型的分类结果和分类精确性。
发明内容
本发明的目的之一在于提供一种可靠性高、敏感性好和分类准确性高的数据偏差下的眼底图分类方法。
本发明的目的之二在于提供一种包括了所述数据偏差下的眼底图分类方法的成像方法。
本发明提供的这种数据偏差下的眼底图分类方法，包括如下步骤：
S1.获取历史的眼底图像数据，标记并分类；
S2.构建目标网络和在线网络的基础模型；
S3.采用指数移动平均法共享目标网络和在线网络的参数权重；
S4.为目标网络提供课程模块；
S5.为在线网络构建监督对抗损失函数；
S6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；
S7.进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；
S8.采用步骤S7得到的最终的网络模型，对实时获取的眼底图像数据进行分类。
步骤S1所述的历史的眼底图像数据，标记并分类，具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集。
步骤S2所述的构建目标网络和在线网络的基础模型，具体为采用如下步骤构建模型：
A.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
B.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力Unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
C.通道注意力网络为SE-Resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
D.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为
Figure BDA0002837375950000031
式中
Figure BDA0002837375950000032
为定义的鉴别特征图，F为来源于卷积层的输入特征图，m(F)为三维注意力特征图，×为点乘；
E.将步骤B得到的空间注意力网络的输出向量进行转置，然后与步骤C得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
Figure BDA0002837375950000033
式中m(F)为注意力的特征图，
Figure BDA0002837375950000034
且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；ms(F)为空间注意力特征图；mc(F)为通道注意力特征图；
Figure BDA0002837375950000035
为叉乘计算；
F.对在线网络模型进行训练。
步骤S3所述的采用指数移动平均法共享目标网络和在线网络的参数权重，具体为采用如下步骤进行共享：
设定
Figure BDA0002837375950000036
表示第k次迭代后的在线网络的权重，
Figure BDA0002837375950000037
表示第k次迭代后的目标网络的权重，
Figure BDA0002837375950000038
为第k-1次迭代后的目标网络的权重；
采用如下公式计算：
Figure BDA0002837375950000039
式中γ为权重参数且γ∈[0,1)；
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享。
步骤S4所述的为目标网络提供课程模块，具体为采用如下步骤提供课程模块：
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
Figure BDA0002837375950000041
式中αi为每个样本损失的权重；pi为依据目标网络进行模型评估标签为y＝1的预测分数，且
Figure BDA0002837375950000042
Figure BDA0002837375950000043
为第t步迭代时判定为难样本的概率分数；η为超参数；t为迭代次数；
b.采用如下公式作为难样本的判别公式：
Figure BDA0002837375950000044
式中
Figure BDA0002837375950000045
为难样本鉴别分数；
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
Figure BDA0002837375950000046
式中
Figure BDA0002837375950000047
为第0步迭代时判定为难样本的概率分数；
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
Figure BDA0002837375950000048
式中βi为空间位置卷积特征的权重；σ为sigmoid激活函数；MLP为多层感知器；UpConv为上采样卷积算子；Ei为空间注意力特征图；Fi为从MLP输出的特征映射；
Figure BDA0002837375950000049
为点乘；
e.设计了1x1卷积层，将多维矩阵转化为单通道；Sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新。
步骤S5所述的为在线网络构建监督对抗损失函数，具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
Figure BDA0002837375950000051
Figure BDA0002837375950000052
式中ζ为定义的重平衡损失函数；
Figure BDA0002837375950000053
为边界损失函数；αi为权重函数；
Figure BDA0002837375950000054
为具有权重函数αi和βi的样本i上的交叉熵损失；βi为权重函数；
Figure BDA0002837375950000055
为网络权重；N为样本数；Ι(yi＝yj)为样本为自身时二值化的指示函数；M(zi·zj/τ)为计算归一化的特征向量间的相似函数；Ι(k≠i)为样本不为自身时二值化的指示函数；zi·zj为在归一化特征向量zi和zj之间计算一个内积。
步骤S6所述的进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间，具体为采用如下步骤进行学习：
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络。
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
(3)对步骤(2)得到的网络采用SGD优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
(4)训练完成后，保存训练完成后的模型参数。
步骤S7所述的进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型，具体为采用如下步骤得到最终的网络模型：
1)在线网络获取步骤S6得到并保存的模型参数，然后接入分类器；
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
4)模型参数和训练参数为：学习率设置为4×10-3，采用SGD优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％。
本发明还提供了一种包括上述数据偏差下的眼底图分类方法的成像方法，还包括如下步骤：
S9.根据步骤S8获取的眼底图像数据的分类结果，对实时获取的眼底图像进行再次标记和成像。
本发明提供的这种数据偏差下的眼底图分类方法及成像方法，在线网络通过监督对抗损失学习表征，目标网络采用双课程模块，有利于处理样本中存在的偏差问题；同时在线网络和目标网络的网络参数相互自适应的调整，动态的引导模型对样本进行从易到难的学习，从而使得模型的预测从有偏转向无偏，提升了模型的敏感度，而且可靠性高，敏感性好，分类准确性高。
附图说明
图1为本发明分类方法的方法流程示意图。
图2为本发明分类方法中在线网络与目标网络共用的网络结构组成示意图。
图3为本发明分类方法中加权损失与难易样本的预测分数的关系变化示意图。
图4为本发明分类方法中加权损失与控制参数η的关系变化示意图。
图5为本发明成像方法的方法流程示意图。
具体实施方式
如图1所述为本发明分类方法的方法流程示意图：本发明提供的这种数据偏差下的眼底图分类方法，包括如下步骤：
S1.获取历史的眼底图像数据，标记并分类；具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集；
S2.构建目标网络和在线网络的基础模型(如图2所示)；具体为采用如下步骤构建模型：
A.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
B.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力Unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
C.通道注意力网络为SE-Resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
D.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为
Figure BDA0002837375950000081
式中
Figure BDA0002837375950000082
为定义的鉴别特征图，F为来源于卷积层的输入特征图，m(F)为三维注意力特征图，×为点乘；
E.将步骤B得到的空间注意力网络的输出向量进行转置，然后与步骤C得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
Figure BDA0002837375950000083
式中m(F)为注意力的特征图，
Figure BDA0002837375950000084
且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；ms(F)为空间注意力特征图；mc(F)为通道注意力特征图；
Figure BDA0002837375950000085
为叉乘计算；
F.对在线网络模型进行训练；
其中，对在线网络模型进行训练，具体为在线网络是由网络部分和对抗损失组成，其网络部分结构和目标网络的结构一致，其目的用于模型收敛到合适的表征空间，并将参数固定传给目标网络，用于第二阶段的模型学习；
S3.采用指数移动平均法共享目标网络和在线网络的参数权重；具体为采用如下步骤进行共享：
设定
Figure BDA0002837375950000086
表示第k次迭代后的在线网络的权重，
Figure BDA0002837375950000087
表示第k次迭代后的目标网络的权重，
Figure BDA0002837375950000088
为第k-1次迭代后的目标网络的权重；
采用如下公式计算：
Figure BDA0002837375950000089
式中γ为权重参数且γ∈[0,1)；
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享；
S4.为目标网络提供课程模块；具体为采用如下步骤提供课程模块：
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
Figure BDA0002837375950000091
式中αi为每个样本损失的权重；pi为依据目标网络进行模型评估标签为y＝1的预测分数，且
Figure BDA0002837375950000092
Figure BDA0002837375950000093
为第t步迭代时判定为难样本的概率分数；η为超参数；t为迭代次数；
b.采用如下公式作为难样本的判别公式：
Figure BDA0002837375950000094
式中
Figure BDA0002837375950000095
为难样本鉴别分数；
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
Figure BDA0002837375950000096
式中
Figure BDA0002837375950000097
为第0步迭代时判定为难样本的概率分数；
样本损失所加权重与预测分数的关系的仿真图如图3所示；样本所加损失权重与超参数的关系的仿真图如图4所示；
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
Figure BDA0002837375950000098
式中βi为空间位置卷积特征的权重；σ为sigmoid激活函数；MLP为多层感知器；UpConv为上采样卷积算子；Ei为空间注意力特征图；Fi为从MLP输出的特征映射；
Figure BDA0002837375950000099
为点乘；
e.设计了1x1卷积层，将多维矩阵转化为单通道；Sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新；
S5.为在线网络构建监督对抗损失函数；具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
Figure BDA0002837375950000101
Figure BDA0002837375950000102
式中ζ为定义的重平衡损失函数；
Figure BDA0002837375950000103
为边界损失函数；αi为权重函数；
Figure BDA0002837375950000104
为具有权重函数αi和βi的样本i上的交叉熵损失；βi为权重函数；θyi为网络权重；N为；Ι(yi＝yj)为；M(zi·zj/τ)为计算归一化的特征向量间的相似函数；Ι(k≠i)为样本不为自身时二值化的指示函数；zi·zj为在归一化特征向量zi和zj之间计算一个内积；
S6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；具体为采用如下步骤进行学习：
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络；
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
(3)对步骤(2)得到的网络采用SGD优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
(4)训练完成后，保存训练完成后的模型参数；
S7.进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；具体为采用如下步骤得到最终的网络模型：
1)在线网络获取步骤S6得到并保存的模型参数，然后接入分类器；
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
4)模型参数和训练参数为：学习率设置为4×10-3，采用SGD优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％；
S8.采用步骤S7得到的最终的网络模型，对实时获取的眼底图像数据进行分类。
如图5所述为本发明成像方法的方法流程示意图：本发明还提供了一种包括上述数据偏差下的眼底图分类方法的成像方法，还包括如下步骤：
S1.获取历史的眼底图像数据，标记并分类；具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集；
S2.构建目标网络和在线网络的基础模型(如图2所示)；具体为采用如下步骤构建模型：
A.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
B.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力Unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
C.通道注意力网络为SE-Resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
D.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为
Figure BDA0002837375950000121
式中
Figure BDA0002837375950000122
为定义的鉴别特征图，F为来源于卷积层的输入特征图，m(F)为三维注意力特征图，×为点乘；
E.将步骤B得到的空间注意力网络的输出向量进行转置，然后与步骤C得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
Figure BDA0002837375950000123
式中m(F)为注意力的特征图，
Figure BDA0002837375950000124
且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；ms(F)为空间注意力特征图；mc(F)为通道注意力特征图；
Figure BDA0002837375950000125
为叉乘计算；
F.对在线网络模型进行训练；
对在线网络模型进行训练，在线网络是由网络部分和对抗损失组成，其网络部分结构和目标网络的结构一致，其目的用于模型收敛到合适的表征空间，并将参数固定传给目标网络，用于第二阶段的模型学习。)；
S3.采用指数移动平均法共享目标网络和在线网络的参数权重；具体为采用如下步骤进行共享：
设定
Figure BDA0002837375950000131
表示第k次迭代后的在线网络的权重，
Figure BDA0002837375950000132
表示第k次迭代后的目标网络的权重，
Figure BDA0002837375950000133
为第k-1次迭代后的目标网络的权重；
采用如下公式计算：
Figure BDA0002837375950000134
式中γ为权重参数且γ∈[0,1)；
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享；
S4.为目标网络提供课程模块；具体为采用如下步骤提供课程模块：
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
Figure BDA0002837375950000135
式中αi为每个样本损失的权重；pi为依据目标网络进行模型评估标签为y＝1的预测分数，且
Figure BDA0002837375950000136
Figure BDA0002837375950000137
为第t步迭代时判定为难样本的概率分数标准；η为超参数；t为迭代次数；
b.采用如下公式作为难样本的判别公式：
Figure BDA0002837375950000138
式中
Figure BDA0002837375950000139
为难样本鉴别分数；
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
Figure BDA00028373759500001310
式中
Figure BDA00028373759500001311
为第0步迭代时判定为难样本的概率分数；
样本损失所加权重与预测分数的关系的仿真图如图3所示；样本所加损失权重与超参数的关系的仿真图如图4所示；
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
Figure BDA0002837375950000147
式中βi为空间位置卷积特征的权重；σ为sigmoid激活函数；MLP为多层感知器；UpConv为上采样卷积算子；Ei为空间注意力特征图；Fi为从MLP输出的特征映射；
Figure BDA0002837375950000141
为点乘；
e.设计了1x1卷积层，将多维矩阵转化为单通道；Sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新；
S5.为在线网络构建监督对抗损失函数；具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
Figure BDA0002837375950000142
Figure BDA0002837375950000143
式中ζ为定义的重平衡损失函数；
Figure BDA0002837375950000144
为边界损失函数；αi为权重函数；
Figure BDA0002837375950000145
为具有权重函数αi和βi的样本i上的交叉熵损失；βi为权重函数；
Figure BDA0002837375950000146
为网络权重；N为；Ι(yi＝yj)为；M(zi·zj/τ)为计算归一化的特征向量间的相似函数；Ι(k≠i)为样本不为自身时二值化的指示函数；zi·zj为在归一化特征向量zi和zj之间计算一个内积；
S6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；具体为采用如下步骤进行学习：
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络；
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
(3)对步骤(2)得到的网络采用SGD优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
(4)训练完成后，保存训练完成后的模型参数；
S7.进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；具体为采用如下步骤得到最终的网络模型：
1)在线网络获取步骤S6得到并保存的模型参数，然后接入分类器；
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
4)模型参数和训练参数为：学习率设置为4×10-3，采用SGD优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％；
S8.采用步骤S7得到的最终的网络模型，对实时获取的眼底图像数据进行分类；
S9.根据步骤S8获取的眼底图像数据的分类结果，对实时获取的眼底图像进行再次标记和成像。
在具体实施时，本发明的成像方法，可以直接应用于眼底图像成像的设备，该设备在每次成像并获取对应的眼底图像以后，采用本发明的分类方法进行眼底图像的分类和识别，并根据分类和识别结果，可以再次对眼底图像进行对应的成像和标记操作(比如根据分类的类别，在各个眼底图像上进行分类结果的标记)。

Claims (9)

1.一种数据偏差下的眼底图分类方法，包括如下步骤：
S1.获取历史的眼底图像数据，标记并分类；
S2.构建目标网络和在线网络的基础模型；
S3.采用指数移动平均法共享目标网络和在线网络的参数权重；
S4.为目标网络提供课程模块；
S5.为在线网络构建监督对抗损失函数；
S6.进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间；
S7.进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型；
S8.采用步骤S7得到的最终的网络模型，对实时获取的眼底图像数据进行分类。
2.根据权利要求1所述的数据偏差下的眼底图分类方法，其特征在于步骤S1所述的历史的眼底图像数据，标记并分类，具体为获取历史的眼底图像数据，根据设定的要求进行标记分类，同时将数据分为训练集和测试集。
3.根据权利要求1或2所述的数据偏差下的眼底图分类方法，其特征在于步骤S2所述的构建目标网络和在线网络的基础模型，具体为采用如下步骤构建模型：
A.目标网络包括双分支结构和分类器；双分支结构包括空间注意力网络和通道注意力网络；分类器采用双线性融合分类器；
B.空间注意力网络的输入为原始图像，监督标签是注意力图或者分割标签图；网络为注意力Unet结构，具有五层编码和五层解码；从编码最底层输出的向量，为双线性融合提供一条高级语义信息；
C.通道注意力网络为SE-Resnet50结构，在每一个网络大模块结构前均加入通道注意力模块，最后删除分类器层，输出一条和空间注意力网络输出的向量维度所匹配的向量；
D.分类器为双线性融合分类器，对于空间注意力网络和通道注意力网络输出的卷积，操作后得到的增强的鉴别特征计算公式为
Figure FDA0002837375940000021
式中
Figure FDA0002837375940000022
为定义的鉴别特征图，F为来源于卷积层的输入特征图，m(F)为三维注意力特征图，×为点乘；
E.将步骤B得到的空间注意力网络的输出向量进行转置，然后与步骤C得到的通道注意力网络的通道向量，采用如下公式进行计算，并将计算的融合的结果进行矩阵向量化，并上传至分类器从而得到最终的预测概率：
Figure FDA0002837375940000023
式中m(F)为注意力的特征图，
Figure FDA0002837375940000024
且提供了一个权重给每个局部的像素和通道；sqrt为数学符号开根号；ms(F)为空间注意力特征图；mc(F)为通道注意力特征图；
Figure FDA0002837375940000025
为叉乘计算；
F.对在线网络模型进行训练。
4.根据权利要求3所述的数据偏差下的眼底图分类方法，其特征在于步骤S3所述的采用指数移动平均法共享目标网络和在线网络的参数权重，具体为采用如下步骤进行共享：
设定
Figure FDA0002837375940000026
表示第k次迭代后的在线网络的权重，
Figure FDA0002837375940000027
表示第k次迭代后的目标网络的权重，
Figure FDA0002837375940000028
为第k-1次迭代后的目标网络的权重；
采用如下公式计算：
Figure FDA0002837375940000031
式中γ为权重参数且γ∈[0,1)；
通过上述计算，使用目标网络学到的历史参数来更新在线网络的参数；
同时，采用指数移动平均法来对目标网络和在线网络的参数进行共享。
5.根据权利要求4所述的数据偏差下的眼底图分类方法，其特征在于步骤S4所述的为目标网络提供课程模块，具体为采用如下步骤提供课程模块：
a.构建样本课程模块：动态的编码损失函数的权重，来平衡训练中的损失贡献度；采用如下公式作为样本损失加权公式：
Figure FDA0002837375940000032
式中αi为每个样本损失的权重；pi为依据目标网络进行模型评估标签为y＝1的预测分数，且
Figure FDA0002837375940000033
Figure FDA0002837375940000034
为第t步迭代时判定为难样本的概率分数标准；η为超参数；t为迭代次数；
b.采用如下公式作为难样本的判别公式：
Figure FDA0002837375940000035
式中
Figure FDA0002837375940000036
为难样本鉴别分数；
c.采用如下算式计算迭代t次内识别难样本的预测分数阈值：
Figure FDA0002837375940000037
式中
Figure FDA0002837375940000038
为第0步迭代时判定为难样本的概率分数；
d.构建特征课程模块：通过每个样本上一组空间的权重对局部特征进行编码；通过提高高度鉴别区域和相应的特异性证据特征的权重，从而提高识别精度；采用如下公式计算非线性加权，从而加强课程学习中的卷积特征：
Figure FDA0002837375940000039
式中βi为空间位置卷积特征的权重；σ为sigmoid激活函数；MLP为多层感知器；UpConv为上采样卷积算子；Ei为空间注意力特征图；Fi为从MLP输出的特征映射；
Figure FDA0002837375940000041
为点乘；
e.设计了1x1卷积层，将多维矩阵转化为单通道；Sigmoid函数用于限定取值的范围在[0,1]，上采样算子使得矩阵恢复至与原始图像同样维度，并对位置的每个特征施加一个权重；
f.将构建的样本课程模块和特征课程模块融入损失函数，进行参数更新。
6.根据权利要求5所述的数据偏差下的眼底图分类方法，其特征在于步骤S5所述的为在线网络构建监督对抗损失函数，具体为通过为每个样本和相应的特征向量分配自适应的权值来进行在线网络的再平衡训练；采用如下公式进行计算：
Figure FDA0002837375940000042
Figure FDA0002837375940000043
式中ζ为定义的重平衡损失函数；
Figure FDA0002837375940000044
为边界损失函数；αi为权重函数；
Figure FDA0002837375940000045
为具有权重函数αi和βi的样本i上的交叉熵损失；βi为权重函数；
Figure FDA0002837375940000046
为网络权重；N为；Ι(yi＝yj)为；M(zi·zj/τ)为计算归一化的特征向量间的相似函数；Ι(k≠i)为样本不为自身时二值化的指示函数；zi·zj为在归一化特征向量zi和zj之间计算一个内积。
7.根据权利要求6所述的数据偏差下的眼底图分类方法，其特征在于步骤S6所述的进行第一阶段学习：通过在线网络的对抗学习，使得模型收敛至某个表征空间，具体为采用如下步骤进行学习：
(1)对原始样本进行对抗样本采样，针对每个样本进行数据增强，然后随机选取其中一个增强的样本作为对抗样本，与原始样本进行维度拼接，并作为新的样本对输入网络；
(2)将网络模型的分类器部分除去，并只剩下网络提取表征的结构；
(3)对步骤(2)得到的网络采用SGD优化器进行优化，优化参数为：动量参数设置为0.9，对在线网络的表征空间进行学习，学习率为0.01，学习率的衰减策略每10个epoch下降90％；
(4)训练完成后，保存训练完成后的模型参数。
8.根据权利要求7所述的数据偏差下的眼底图分类方法，其特征在于步骤S7所述的进行第二阶段学习：固定步骤S6得到的在线网络的表征参数并传递给目标网络，同时根据双课程样本加权方法，更新目标网络的分类器参数，从而得到最终的网络模型，具体为采用如下步骤得到最终的网络模型：
1)在线网络获取步骤S6得到并保存的模型参数，然后接入分类器；
2)在线网络通过指数移动平均法将网络参数传递给目标网络，并固定目标网络的表征参数；
3)目标网络接入分类器，并开始结合课程模块进行模型训练；
4)模型参数和训练参数为：学习率设置为4×10-3，采用SGD优化器，动量参数设置为0.9，学习率的衰减策略每10个epoch下降90％。
9.一种包括权利要求1～8之一所述的数据偏差下的眼底图分类方法的成像方法，其特征在于还包括如下步骤：
S9.根据步骤S8获取的眼底图像数据的分类结果，对实时获取的眼底图像进行再次标记和成像。
CN202011476264.6A 2020-12-15 2020-12-15 数据偏差下的眼底图分类方法及成像方法 Active CN112560948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011476264.6A CN112560948B (zh) 2020-12-15 2020-12-15 数据偏差下的眼底图分类方法及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011476264.6A CN112560948B (zh) 2020-12-15 2020-12-15 数据偏差下的眼底图分类方法及成像方法

Publications (2)

Publication Number Publication Date
CN112560948A true CN112560948A (zh) 2021-03-26
CN112560948B CN112560948B (zh) 2024-04-26

Family

ID=75063606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011476264.6A Active CN112560948B (zh) 2020-12-15 2020-12-15 数据偏差下的眼底图分类方法及成像方法

Country Status (1)

Country Link
CN (1) CN112560948B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610118A (zh) * 2021-07-19 2021-11-05 中南大学 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
CN113807425A (zh) * 2021-09-11 2021-12-17 中南大学 基于自适应正则深度聚类的组织病理图像分类方法
CN115424084A (zh) * 2022-11-07 2022-12-02 浙江省人民医院 基于类别加权网络的眼底照片分类方法与装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147298A1 (en) * 2017-11-14 2019-05-16 Magic Leap, Inc. Meta-learning for multi-task learning for neural networks
CN109919938A (zh) * 2019-03-25 2019-06-21 中南大学 青光眼的视盘分割图谱获取方法
CN110223281A (zh) * 2019-06-06 2019-09-10 东北大学 一种数据集中含有不确定数据时的肺结节图像分类方法
WO2019240964A1 (en) * 2018-06-12 2019-12-19 Siemens Aktiengesellschaft Teacher and student based deep neural network training
CN111160474A (zh) * 2019-12-30 2020-05-15 合肥工业大学 一种基于深度课程学习的图像识别方法
US20200250491A1 (en) * 2017-11-01 2020-08-06 Tencent Technology (Shenzhen) Company Limited Image classification method, computer device, and computer-readable storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200250491A1 (en) * 2017-11-01 2020-08-06 Tencent Technology (Shenzhen) Company Limited Image classification method, computer device, and computer-readable storage medium
US20190147298A1 (en) * 2017-11-14 2019-05-16 Magic Leap, Inc. Meta-learning for multi-task learning for neural networks
WO2019240964A1 (en) * 2018-06-12 2019-12-19 Siemens Aktiengesellschaft Teacher and student based deep neural network training
CN109919938A (zh) * 2019-03-25 2019-06-21 中南大学 青光眼的视盘分割图谱获取方法
CN110223281A (zh) * 2019-06-06 2019-09-10 东北大学 一种数据集中含有不确定数据时的肺结节图像分类方法
CN111160474A (zh) * 2019-12-30 2020-05-15 合肥工业大学 一种基于深度课程学习的图像识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANTTI TARVAINEN ET AL.: "Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 30 (NIPS 2017) PRE-PROCEEDINGS》, 31 December 2017 (2017-12-31), pages 1 - 3 *
ZHAO, R. ET AL.: "EGDCL: An Adaptive Curriculum Learning Framework for Unbiased Glaucoma Diagnosis", 《COMPUTER VISION – ECCV 2020 LECTURE NOTES IN COMPUTER SCIENCE》, vol. 12366, 12 November 2020 (2020-11-12), pages 1 - 4 *
张科伟: "混合学习模式下学习风格量化研究", 《中国优秀硕士学位论文全文数据库 (社会科学Ⅱ辑)》, 15 March 2019 (2019-03-15), pages 127 - 33 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610118A (zh) * 2021-07-19 2021-11-05 中南大学 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
CN113610118B (zh) * 2021-07-19 2023-12-12 中南大学 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN113807425A (zh) * 2021-09-11 2021-12-17 中南大学 基于自适应正则深度聚类的组织病理图像分类方法
CN113807425B (zh) * 2021-09-11 2023-11-10 中南大学 基于自适应正则深度聚类的组织病理图像分类方法
CN115424084A (zh) * 2022-11-07 2022-12-02 浙江省人民医院 基于类别加权网络的眼底照片分类方法与装置

Also Published As

Publication number Publication date
CN112560948B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN109325547A (zh) 非机动车图像多标签分类方法、***、设备及存储介质
CN112560948B (zh) 数据偏差下的眼底图分类方法及成像方法
CN113469356A (zh) 一种基于迁移学习的改进vgg16网络猪的身份识别方法
CN114067368B (zh) 基于深度卷积特征的电网危害鸟种分类识别方法
CN111292195A (zh) 风险账户的识别方法及装置
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN111753918B (zh) 一种基于对抗学习的去性别偏见的图像识别模型及应用
CN112149962B (zh) 一种施工事故致因行为的风险定量评估方法及***
CN111401156B (zh) 基于Gabor卷积神经网络的图像识别方法
CN114841257A (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN114417913B (zh) 基于pc-tcn和迁移学习的轴承寿命预测方法
CN112558185A (zh) 基于注意力机制的双向gru台风轨迹智能预测预报***、计算机设备、存储介质
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN113239897A (zh) 基于时空特征组合回归的人体动作评价方法
CN115131313A (zh) 基于Transformer的高光谱图像变化检测方法及装置
CN114997211A (zh) 一种基于改进对抗网络和注意力机制的跨工况故障诊断方法
CN113935413A (zh) 一种基于卷积神经网的配网录波文件波形识别方法
CN117636183A (zh) 一种基于自监督预训练的小样本遥感图像分类方法
CN116861250A (zh) 一种故障诊断模型训练方法及装置
Yap et al. Compressing and improving fuzzy rules using genetic algorithm and its application to fault detection
CN114495114B (zh) 基于ctc解码器的文本序列识别模型校准方法
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN111563413A (zh) 一种基于混合双模型的年龄预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant