CN113052810A - 一种适用于移动应用的小巧医学影像病灶分割方法 - Google Patents

一种适用于移动应用的小巧医学影像病灶分割方法 Download PDF

Info

Publication number
CN113052810A
CN113052810A CN202110289771.7A CN202110289771A CN113052810A CN 113052810 A CN113052810 A CN 113052810A CN 202110289771 A CN202110289771 A CN 202110289771A CN 113052810 A CN113052810 A CN 113052810A
Authority
CN
China
Prior art keywords
edge
feature map
network
characteristic diagram
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110289771.7A
Other languages
English (en)
Other versions
CN113052810B (zh
Inventor
郝鹏翼
郑宇祥
潘企何
张凡
吴福理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110289771.7A priority Critical patent/CN113052810B/zh
Publication of CN113052810A publication Critical patent/CN113052810A/zh
Application granted granted Critical
Publication of CN113052810B publication Critical patent/CN113052810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种适用于移动应用的小巧医学影像病灶分割方法，首先训练得到准确率较高的第一网络，然后将医学图像输入至第二网络和训练好的第一网络，对第一网络中间层的特征图特征精炼、边缘特征推理，将第一网络中和标签中丰富的边缘信息，通过投影、建图、推理的过程提取抽象的图信息；本发明通过特征精炼和边缘特征推理，将内在知识传递到第二网络，可使第二网络结果更加优秀，进而提升最终分割的性能，得到的第二网络，将待检测医学影像输入至已训练完成的第二网络中，得到病灶分割结果。本发明分割精确度高，体积小，特别适合部署在移动应用中。

Description

一种适用于移动应用的小巧医学影像病灶分割方法
技术领域
本发明属于医疗图像处理领域，尤其涉及了一种适用于移动应用的小巧医学影像病灶分割方法。
背景技术
全卷神经网络(FCN)的出现为语义分割打开了新的大门，所使用的上采样方法和并联跳跃结构一度成为语义分割的主流。在FCN之后，Unet网络结构利用网络集成、测试时间扩充、数据对称性开发和低质量注释的增强等方法对医学影像进行精确分割。在此之后，对于医学图像分割的模型大都是类似Unet模型的解码器-编码器的结构。尽管越来越多的模型医学图像分割的准确度上不断提高，但同时也带来了模型计算复杂度不断提高，模型的参数量越来越大，运算速度慢，运行消耗内存巨大等问题，使得模型难以在移动应用平台上部署。
专利标题，基于轻量级全卷积神经网络的医学图像分割方法，申请号为CN111489364A，申请日期为2020.04.08；专利首先对数据集进行灰度化、归一化、对比度受限自适应直方图均衡、伽马校正等预处理；然后，对训练集进行随机的提取patch和测试集顺序提取patch图以完成数据增强；接着，搭建由收缩路径(左侧)和扩张路径(右侧)组成的全卷积神经网络架构，针对图像数量较少的数据集设计留一法训练方法；最后，通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道以及微调裁剪后的网络完成BN通道模型裁剪，得到轻量级全卷积神经网络。
专利标题，一种基于深度学习的医学图像分割方法，申请号CN 112150428A，申请日期为2020.09.18；专利,先在编码器和解码器阶段使用新型的卷积模块，其次再设计一个包含注意力机制的残差瓶颈结构，用在跳层连接上，一方面减少编码器和解码器之间的语义差异，另一方面是使得神经网络在训练过程中能更加注意要分割的目标区域，从而能够提取更加精细的语义特征；其方法简单，能够更好的识别模糊的边界，分割出来的图像效果更加连贯，抵抗噪声干扰能力强，具有很强的泛化能力。
发明内容
为了克服已有技术的不足，本发明提供了一种适用于移动应用的医学影像病灶分割方法，用以克服现有技术在进行病灶区域分割时，运算复杂、参数量庞大，难以部署在移动终端上等问题。
本发明解决其技术问题所采用的技术方案是：
一种适用于移动应用的小巧医学影像病灶分割方法，所述适用于移动应用的小巧医学影像病灶分割方法包括以下步骤：
步骤S1、将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT；
步骤S2、将医学影像样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
Figure BDA0002979575850000021
步骤S3、将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat；
步骤S4、将第一特征图列表FeatsT中的底层特征图
Figure BDA0002979575850000022
边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图
Figure BDA0002979575850000023
进行边缘信息推理提炼，得到边缘推理提炼损失Ledge；
步骤S5、将病灶分割标签Labelseg和当前病灶分割结果
Figure BDA0002979575850000024
进行二分类交叉熵函数计算得到病灶分割损失Lseg；
步骤S6、将Lfeat、Ledge、Lseg三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛；
步骤S7、将待检测医学影像输入至已训练完成的第二网络中，得到病灶分割结果。
进一步，所述步骤S1中，所述第一网络包括一个编码器和一个解码器；
所述第一网络的编码器由一个7×7的二维卷积操作和四个残差模块
Figure BDA0002979575850000025
Figure BDA0002979575850000026
组成；所述
Figure BDA0002979575850000027
由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure BDA0002979575850000028
由4个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure BDA0002979575850000029
由6个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure BDA00029795758500000210
由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成；
所述第一网络的解码器由四个卷积块
Figure BDA00029795758500000211
组成，其中每个卷积块包含两个3×3卷积操作。
再进一步，将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT，过程如下：
步骤1.1、将医学影像样本经过第一网络的编码器的3×3的二维卷积操作，得到特征图
Figure BDA00029795758500000212
步骤1.2、特征图
Figure BDA00029795758500000213
池化后经过残差模块
Figure BDA00029795758500000214
得到特征图
Figure BDA00029795758500000215
步骤1.3、特征图
Figure BDA00029795758500000216
经过残差模块
Figure BDA00029795758500000217
得到特征图
Figure BDA00029795758500000218
步骤1.4、特征图
Figure BDA00029795758500000219
经过残差模块
Figure BDA00029795758500000220
得到特征图
Figure BDA00029795758500000221
步骤1.5、特征图
Figure BDA00029795758500000222
经过残差模块
Figure BDA00029795758500000223
得到特征图
Figure BDA00029795758500000224
步骤1.6、特征图
Figure BDA00029795758500000225
经过卷积块
Figure BDA00029795758500000226
后得到特征图
Figure BDA00029795758500000227
步骤1.7、特征图
Figure BDA0002979575850000031
经过卷积块
Figure BDA0002979575850000032
后得到特征图
Figure BDA0002979575850000033
步骤1.8、特征图
Figure BDA0002979575850000034
经过卷积块
Figure BDA0002979575850000035
后得到特征图
Figure BDA0002979575850000036
步骤1.9、特征图
Figure BDA0002979575850000037
经过卷积块
Figure BDA0002979575850000038
后得到特征图
Figure BDA0002979575850000039
步骤1.10、将特征图
Figure BDA00029795758500000310
和
Figure BDA00029795758500000311
这3张特征图组合成列表，得到第一特征图列表FeatsT。
再进一步，所述步骤S2中，所述第二网络包括一个编码器、一个解码器和一个卷积块
Figure BDA00029795758500000312
所述第二网络中的编码器包含4个卷积块
Figure BDA00029795758500000313
每个卷积块由2组串行的3×3的二维卷积操作、批量归一化操作、激活操作组成，所述第二网络中的解码器包含4个卷积块
Figure BDA00029795758500000314
每个卷积块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成。
将医学影像样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
Figure BDA00029795758500000315
过程如下：
步骤2.1、将原始样本经过第二网络的编码器的卷积块
Figure BDA00029795758500000316
得到输出特征图
Figure BDA00029795758500000317
步骤2.2、特征图
Figure BDA00029795758500000318
池化后经过卷积块
Figure BDA00029795758500000319
得到特征图
Figure BDA00029795758500000320
步骤2.3)特征图
Figure BDA00029795758500000321
池化后经过卷积块
Figure BDA00029795758500000322
得到特征图
Figure BDA00029795758500000323
步骤2.4)特征图
Figure BDA00029795758500000324
池化后经过卷积块
Figure BDA00029795758500000325
得到特征图
Figure BDA00029795758500000326
步骤2.5、特征图
Figure BDA00029795758500000327
池化后经过卷积
Figure BDA00029795758500000328
得到特征图
Figure BDA00029795758500000329
步骤2.6、将特征图
Figure BDA00029795758500000330
进行上采样后和
Figure BDA00029795758500000331
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure BDA00029795758500000332
后得到特征图
Figure BDA00029795758500000333
步骤2.7、将特征图
Figure BDA00029795758500000334
进行上采样后和
Figure BDA00029795758500000335
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure BDA00029795758500000336
后得到特征图
Figure BDA00029795758500000337
步骤2.8、将特征图
Figure BDA00029795758500000338
进行上采样后和
Figure BDA00029795758500000339
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure BDA00029795758500000340
后得到特征图
Figure BDA00029795758500000341
步骤2.9、将特征图
Figure BDA00029795758500000342
输入第二网络的解码器中的卷积块
Figure BDA00029795758500000343
得到特征图
Figure BDA00029795758500000344
对
Figure BDA00029795758500000345
的每一通道均用sigmoid函数进行激活，得到
Figure BDA00029795758500000346
上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果
Figure BDA00029795758500000347
Figure BDA00029795758500000348
步骤2.10、将特征图
Figure BDA00029795758500000349
和
Figure BDA00029795758500000350
这3张特征图组合成列表，得到第二特征图列表FeatsS。
所述步骤S3中，将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，过程如下：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图
Figure BDA0002979575850000041
经过margin ReLU函数得到
Figure BDA0002979575850000042
margin ReLU函数定义如下：
Figure BDA0002979575850000043
Figure BDA0002979575850000044
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
Figure BDA0002979575850000045
Figure BDA0002979575850000046
表示
Figure BDA0002979575850000047
中的通道数
Figure BDA0002979575850000048
表示特征图
Figure BDA0002979575850000049
每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图
Figure BDA00029795758500000410
经过一个1×1的二维卷积操作得到
Figure BDA00029795758500000411
计算
Figure BDA00029795758500000412
和
Figure BDA00029795758500000413
的
Figure BDA00029795758500000414
距离，将计算得到的
Figure BDA00029795758500000415
距离进行叠加得到总体深度特征提炼损失L′total，
Figure BDA00029795758500000416
距离和L′ftotal计算公式如下：
Figure BDA00029795758500000417
Figure BDA00029795758500000418
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
Figure BDA00029795758500000419
所述步骤S4中，将第一特征图列表FeatsT中的底层特征图
Figure BDA00029795758500000420
边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图
Figure BDA00029795758500000421
进行边缘信息推理提炼，得到边缘推理提炼损失Ledge，过程如下：
步骤4.1、将从FeatsT中得到的底层特征图
Figure BDA00029795758500000422
分别进行两个1×1的二维卷积操作，得到特征图
Figure BDA00029795758500000423
和特征图
Figure BDA00029795758500000424
步骤4.2、将边缘信息标签Labeledge进行软化，得到软化后的边缘信息标签
Figure BDA00029795758500000425
软化的步骤如下：
步骤4.2.1、将Labeledge经过一个1×1的二维卷积操作，得到临时边缘标签
Figure BDA00029795758500000426
步骤4.2.2、将
Figure BDA00029795758500000427
池化后，经过一个sigmoid函数进行激活，得到软化后的边缘信息标签
Figure BDA00029795758500000428
步骤4.3、将特征图
Figure BDA00029795758500000429
进行一次1×1卷积操作后得到临时特征图
Figure BDA00029795758500000430
和软化后的边缘信息标签
Figure BDA0002979575850000051
进行哈达玛积运算操作，得到边缘注意特征图
Figure BDA0002979575850000052
哈达玛积运算如下：
Figure BDA0002979575850000053
Figure BDA0002979575850000054
步骤4.4、将边缘注意特征图
Figure BDA0002979575850000055
经过边缘锚点下采样操作后得到边缘关键点矩阵
Figure BDA0002979575850000056
边缘锚点下采样操作步骤如下：
步骤4.4.1、随机初始化隶属度矩阵U＝[uij]，初始化聚类中心向量C，设定聚类的簇数n，和隶属度的因子m；
步骤4.4.2、开始迭代，在第k步迭代时，计算质心Ck＝[cj]，计算公式如下：
Figure BDA0002979575850000057
其中，uij表示像素点xi属于j类的隶属度，i表示第i个样本，
Figure BDA0002979575850000058
cj是j簇的中心，也具有d维度；
步骤4.4.3、根据第k步迭代得到的质心，更新隶属度矩阵U，更新的公式如下：
Figure BDA0002979575850000059
其中，||*||可以是任意表示距离的度量；
步骤4.4.4、当满足迭代终止条件时，停止迭代，否则继续按照步骤4.4.2和步骤4.4.3中的步骤迭代，迭代的终止条件如下：
Figure BDA00029795758500000510
其中ε为是误差阈值；
步骤4.5、
Figure BDA00029795758500000511
与特征图
Figure BDA00029795758500000512
进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵
Figure BDA00029795758500000513
步骤4.6、将
Figure BDA00029795758500000514
与特征图
Figure BDA00029795758500000515
进行矩阵乘法运算和正则化操作后，得到结点矩阵
Figure BDA00029795758500000516
经过一个图卷积网络后得到初步边缘特征推理图
Figure BDA00029795758500000517
所述图卷积网络，包括两个1×1的一维卷积操作和一个ReLU函数的激活操作；
步骤4.7、将
Figure BDA00029795758500000518
和
Figure BDA00029795758500000519
进行矩阵乘法运算，正则化后得到抽象边缘特征
Figure BDA00029795758500000520
再与
Figure BDA00029795758500000521
相加后得到边缘特征推理图
Figure BDA00029795758500000522
步骤4.8、将从FeatsS中得到的底层特征图
Figure BDA00029795758500000523
分别进行两个1×1的二维卷积操作，得到特征图
Figure BDA0002979575850000061
和特征图
Figure BDA0002979575850000062
步骤4.9、将特征图
Figure BDA0002979575850000063
进行一次1×1的二维卷积操作后，得到边缘注意特征图
Figure BDA0002979575850000064
步骤4.10、将边缘注意特征图
Figure BDA0002979575850000065
经过步骤4.4中同样的边缘锚点下采样操作后得到边缘关键点矩阵
Figure BDA0002979575850000066
与特征图
Figure BDA0002979575850000067
进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵
Figure BDA0002979575850000068
步骤4.11、将边缘注意特征投影矩阵
Figure BDA0002979575850000069
特征图
Figure BDA00029795758500000610
进行矩阵乘法运算和正则化操作后的得到，经过一个图卷积网络后得到初步边缘特征推理图
Figure BDA00029795758500000611
步骤4.12、将
Figure BDA00029795758500000612
和
Figure BDA00029795758500000613
进行矩阵乘法运算，正则化后得到抽象边缘特征
Figure BDA00029795758500000614
再与
Figure BDA00029795758500000615
相加后得到边缘特征推理图
Figure BDA00029795758500000616
步骤4.13、将边缘特征图
Figure BDA00029795758500000617
和边缘分割图
Figure BDA00029795758500000618
进行二分类交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
Figure BDA00029795758500000619
所述步骤S5中，将病灶分割标签Labelseg和当前病灶分割结果
Figure BDA00029795758500000620
进行二分类交叉熵函数计算得到病灶分割损失Lseg，过程如下：
将疾病分割标签Labelseg和当前病灶分割结果
Figure BDA00029795758500000621
进行二分类交叉熵函数计算，得到分割损失Lseg，计算公式如下：
Figure BDA00029795758500000622
所述步骤S6中，将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛，过程如下：
步骤6.1、将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLseg+βLedge+γLfeat；
步骤6.2、将Ltotal进行反向传播，迭代更新第二网络内的参数。
本发明的适用于移动应用的医学影像病灶分割方法，首先对第一网络进行预训练，得到准确率较高，边缘细节丰富的分割网络；然后将原始样本输入至第一网络和第二网络，在第二网络训练的同时从而获得第一网络中间层的特征，进行特征精炼，学习中间层知识，另外根据第一网络的分割特征图和软化后的边缘标签经过边缘锚点采样，借助图卷积网络推理出抽象的高级边缘语义信息，指导第二网络准确分割病灶轮廓。本申请先获取病灶分割准确但是参数量庞大的第一网络，再获取分割准确率较低但结构紧凑的第二网络，通过特征精炼和边缘信息推理，将高维的语义信息和抽象的边缘信息传递到第二网络，可使第二网络对病灶轮廓的分割更加准确，进而提升最终分割的性能；最终得到的第二网络。
本发明的有益效果主要表现在：分割精确度高，体积小，特别适合部署在移动应用中。
附图说明
图1是本申请适用于移动应用的小巧医学影像病灶分割方法流程图；
图2是本申请适用于移动应用的小巧医学影像病灶分割方法流程框图；
图3是本申请的第一网络结构示意图；
图4是本申请的第二网络结构示意图；
图5是本申请深度特征提取模块示意图；
图6是本申请卷积块结构示意图；
图7是本申请图卷积示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图7，一种适用于移动应用的小巧医学影像病灶分割方法，包括以下步骤：
步骤S1、将医学图像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT。
本申请的第一网络包括一个编码器和一个解码器，编码器用来提取病灶区域的丰富特征，解码器用来把来自不同尺度特征图中的高级语义与低级语义结合。
具体的，如图3所示，所述第一网络中的编码器由一个7×7的二维卷积操作和四个残差模块
Figure BDA0002979575850000071
组成；所述
Figure BDA0002979575850000072
由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure BDA0002979575850000073
由4个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure BDA0002979575850000074
由6个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure BDA0002979575850000075
由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成；
所述第一网络中的解码器由四个卷积块
Figure BDA0002979575850000076
组成，其中每个卷积块包含两个3×3卷积操作。
具体的，所述将原始样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT，过程如下：
步骤1.1、将医学影像样本经过第一网络的编码器的3×3的二维卷积操作，得到特征图
Figure BDA0002979575850000077
步骤1.2、特征图
Figure BDA0002979575850000078
池化后经过残差模块
Figure BDA0002979575850000079
得到特征图
Figure BDA00029795758500000710
步骤1.3、特征图
Figure BDA00029795758500000711
经过残差模块
Figure BDA00029795758500000712
得到特征图
Figure BDA00029795758500000713
步骤1.4、特征图
Figure BDA00029795758500000714
经过残差模块
Figure BDA00029795758500000715
得到特征图
Figure BDA00029795758500000716
步骤1.5、特征图
Figure BDA0002979575850000081
经过残差模块
Figure BDA0002979575850000082
得到特征图
Figure BDA0002979575850000083
步骤1.6、特征图
Figure BDA0002979575850000084
经过卷积块
Figure BDA0002979575850000085
后得到特征图
Figure BDA0002979575850000086
步骤1.7、特征图
Figure BDA0002979575850000087
经过卷积块
Figure BDA0002979575850000088
后得到特征图
Figure BDA0002979575850000089
步骤1.8、特征图
Figure BDA00029795758500000810
经过卷积块
Figure BDA00029795758500000811
后得到特征图
Figure BDA00029795758500000812
步骤1.9、特征图
Figure BDA00029795758500000813
经过卷积块
Figure BDA00029795758500000814
后得到特征图
Figure BDA00029795758500000815
步骤1.10、将特征图
Figure BDA00029795758500000816
和
Figure BDA00029795758500000817
这3张特征图组合成列表，得到第一特征图列表FeatsT。
步骤S2、将原始样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
Figure BDA00029795758500000818
如图4所示，本申请第二网络包括一个编码器、一个解码器和一个卷积块
Figure BDA00029795758500000819
所述第二网络的编码器包含4个卷积块
Figure BDA00029795758500000820
每个卷积块由2组串行的3×3的二维卷积操作、批量归一化操作、激活操作组成，所述第二网络的解码器包含4个卷积块
Figure BDA00029795758500000821
每个卷积块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成。具体的，所述将原始样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
Figure BDA00029795758500000822
包括：
步骤2.1、将原始样本经过第二网络的编码器的卷积块
Figure BDA00029795758500000823
得到输出特征图
Figure BDA00029795758500000824
步骤2.2、特征图
Figure BDA00029795758500000825
池化后经过卷积块
Figure BDA00029795758500000826
得到特征图
Figure BDA00029795758500000827
步骤2.3)特征图
Figure BDA00029795758500000828
池化后经过卷积块
Figure BDA00029795758500000829
得到特征图
Figure BDA00029795758500000830
步骤2.4)特征图
Figure BDA00029795758500000831
池化后经过卷积块
Figure BDA00029795758500000832
得到特征图
Figure BDA00029795758500000833
步骤2.5、特征图
Figure BDA00029795758500000834
池化后经过卷积
Figure BDA00029795758500000835
得到特征图
Figure BDA00029795758500000836
步骤2.6、将特征图
Figure BDA00029795758500000837
进行上采样后和
Figure BDA00029795758500000838
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure BDA00029795758500000839
后得到特征图
Figure BDA00029795758500000840
步骤2.7、将特征图
Figure BDA00029795758500000841
进行上采样后和
Figure BDA00029795758500000842
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure BDA00029795758500000843
后得到特征图
Figure BDA00029795758500000844
步骤2.8、将特征图
Figure BDA00029795758500000845
进行上采样后和
Figure BDA00029795758500000846
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure BDA00029795758500000847
后得到特征图
Figure BDA00029795758500000848
步骤2.9、将特征图
Figure BDA00029795758500000849
输入第二网络的解码器中的卷积块
Figure BDA00029795758500000850
得到特征图
Figure BDA0002979575850000091
对
Figure BDA0002979575850000092
的每一通道均用sigmoid函数进行激活，得到
Figure BDA0002979575850000093
上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果
Figure BDA0002979575850000094
Figure BDA0002979575850000095
步骤2.10、将特征图
Figure BDA0002979575850000096
和
Figure BDA0002979575850000097
这3张特征图组合成列表，得到第二特征图列表FeatsS。
步骤S3、将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat。
本申请深度特征提炼损失Lfeat用来指导第二网络学习第一网络的中间层的多种特征，提高分类和分割任务的准确率。
本申请将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，过程如下：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图
Figure BDA0002979575850000098
经过margin ReLU函数得到
Figure BDA0002979575850000099
margin ReLU函数定义如下：
Figure BDA00029795758500000910
Figure BDA00029795758500000911
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
Figure BDA00029795758500000912
Figure BDA00029795758500000913
表示
Figure BDA00029795758500000914
中的通道数
Figure BDA00029795758500000915
表示特征图
Figure BDA00029795758500000916
每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图
Figure BDA00029795758500000917
经过一个1×1的二维卷积操作得到
Figure BDA00029795758500000918
计算
Figure BDA00029795758500000919
和
Figure BDA00029795758500000920
的
Figure BDA00029795758500000921
距离，将计算得到的
Figure BDA00029795758500000922
距离进行叠加得到总体深度特征提炼损失L′total，
Figure BDA00029795758500000923
距离和L′ftotal计算公式如下：
Figure BDA00029795758500000924
Figure BDA00029795758500000925
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
Figure BDA00029795758500000926
本申请进行深度特征提炼的网络结构如图5所示，对于第一特征图列表中的特征图，需要经过margin ReLU函数，对于第二特征图列表中的特征图需要经过卷积核大小为1×1的卷积核进行图像大小转换。
步骤S4、将第一特征图列表FeatsT中的底层特征图
Figure BDA0002979575850000101
边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图
Figure BDA0002979575850000102
进行边缘信息推理提炼，得到边缘信息提炼损失Ledge。
本申请边缘提炼损失Ledge用来指导第二网络学习第一网络的中间层提取到的病灶边缘特征，提升第二网络对病灶边缘的分割能力。
具体的，所述将第一特征图列表FeatsT中的底层特征图
Figure BDA0002979575850000103
边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图
Figure BDA0002979575850000104
进行边缘信息推理提炼，得到边缘信息提炼损失Ledge，包括：
步骤4.1、将从FeatsT中得到的底层特征图
Figure BDA0002979575850000105
分别进行两个1×1的二维卷积操作，得到特征图
Figure BDA0002979575850000106
和特征图
Figure BDA0002979575850000107
步骤4.2、将边缘信息标签Labeledge进行软化，得到软化后的边缘信息标签
Figure BDA0002979575850000108
软化的步骤如下：
步骤4.2.1、将Labeledge经过一个1×1的二维卷积操作，得到临时边缘标签
Figure BDA0002979575850000109
步骤4.2.2、将
Figure BDA00029795758500001010
池化后，经过一个sigmoid函数进行激活，得到软化后的边缘信息标签
Figure BDA00029795758500001011
步骤4.3、将特征图
Figure BDA00029795758500001012
进行一次1×1卷积操作后得到临时特征图
Figure BDA00029795758500001013
和软化后的边缘信息标签
Figure BDA00029795758500001014
进行哈达玛积运算操作，得到边缘注意特征图
Figure BDA00029795758500001015
哈达玛积运算如下：
Figure BDA00029795758500001016
Figure BDA00029795758500001017
步骤4.4、将边缘注意特征图
Figure BDA00029795758500001018
经过边缘锚点下采样操作后得到边缘关键点矩阵
Figure BDA00029795758500001019
边缘锚点下采样操作步骤如下：
步骤4.4.1、随机初始化隶属度矩阵U＝[uij]，初始化聚类中心向量C，设定聚类的簇数n，和隶属度的因子m；
步骤4.4.2、开始迭代，在第k步迭代时，计算质心Ck＝[cj]，计算公式如下：
Figure BDA00029795758500001020
其中，uij表示像素点xi属于j类的隶属度，i表示第i个样本，
Figure BDA00029795758500001021
cj是j簇的中心，也具有d维度；
步骤4.4.3、根据第k步迭代得到的质心，更新隶属度矩阵U，更新的公式如下：
Figure BDA0002979575850000111
其中，||*||可以是任意表示距离的度量；
步骤4.4.4、当满足迭代终止条件时，停止迭代，否则继续按照步骤4.4.2和步骤4.4.3中的步骤迭代，迭代的终止条件如下：
Figure BDA0002979575850000112
其中ε为是误差阈值；
步骤4.5、
Figure BDA0002979575850000113
与特征图
Figure BDA0002979575850000114
进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵
Figure BDA0002979575850000115
步骤4.6、将
Figure BDA0002979575850000116
与特征图
Figure BDA0002979575850000117
进行矩阵乘法运算和正则化操作后，得到结点矩阵
Figure BDA0002979575850000118
经过一个图卷积网络后得到初步边缘特征推理图
Figure BDA0002979575850000119
所述图卷积网络，包括两个1×1的一维卷积操作和一个ReLU函数的激活操作；
步骤4.7、将
Figure BDA00029795758500001110
和
Figure BDA00029795758500001111
进行矩阵乘法运算，正则化后得到抽象边缘特征
Figure BDA00029795758500001112
再与
Figure BDA00029795758500001113
相加后得到边缘特征推理图
Figure BDA00029795758500001114
步骤4.8、将从FeatsS中得到的底层特征图
Figure BDA00029795758500001115
分别进行两个1×1的二维卷积操作，得到特征图
Figure BDA00029795758500001116
和特征图
Figure BDA00029795758500001117
步骤4.9、将特征图
Figure BDA00029795758500001118
进行一次1×1的二维卷积操作后，得到边缘注意特征图
Figure BDA00029795758500001119
步骤4.10、将边缘注意特征图
Figure BDA00029795758500001120
经过步骤4.4中同样的边缘锚点下采样操作后得到边缘关键点矩阵
Figure BDA00029795758500001121
与特征图
Figure BDA00029795758500001122
进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵
Figure BDA00029795758500001123
步骤4.11、将边缘注意特征投影矩阵
Figure BDA00029795758500001124
特征图
Figure BDA00029795758500001125
进行矩阵乘法运算和正则化操作后的得到，经过一个图卷积网络后得到初步边缘特征推理图
Figure BDA00029795758500001126
步骤4.12、将
Figure BDA00029795758500001127
和
Figure BDA00029795758500001128
进行矩阵乘法运算，正则化后得到抽象边缘特征
Figure BDA00029795758500001129
再与
Figure BDA00029795758500001130
相加后得到边缘特征推理图
Figure BDA00029795758500001131
步骤4.13、将边缘特征图
Figure BDA00029795758500001132
和边缘分割图
Figure BDA00029795758500001133
进行二分类交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
Figure BDA00029795758500001134
本申请进行边缘信息推理的结构如图5所示，对于第一特征图列表中的特征图，在生成投影矩阵的过程中需要和软化后的标签进行哈达玛积的运算，而对于第二特征矩图列表中的特征图，在生成投影矩阵这一构成中，不需要和软化标签部分进行运算，直接进行边缘锚点下采样操作。
步骤S5、将病灶分割标签Labelseg和当前病灶分割结果
Figure BDA0002979575850000121
进行二分类交叉熵函数计算得到病灶分割损失Lseg，过程如下：
将疾病分割标签Labelseg和当前病灶分割结果
Figure BDA0002979575850000122
进行二分类交叉熵函数计算，得到分割损失Lseg，计算公式如下：
Figure BDA0002979575850000123
步骤S6、将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛。
具体的，过程如下：
步骤6.1、将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLseg+βLedge+γLfeat；
步骤6.2、将Ltotal进行反向传播，迭代更新第二网络内的参数。
步骤S7、在训练出第二网络后，将待检测医学图像输入至已训练完成的第二网络中，得到病灶分割结果。
本申请在第一网络中，利用编码器提取病灶的丰富特征，将提取到的特征输入到将来自不同尺度特征图中的高级语义与低级语义结合的解码器中，得到病灶分割准确率较高的第一网络。然后将医学图像输入至第二网络和训练好的第一网络，对第一网络中间层的特征图进行特征精炼，指导第二网络学习中间层特征，同时根据第一网络的分割特征图和软化后的边缘标签经过边缘锚点采样，借助图卷积推理出抽象的高级边缘语义信息，指导第二网络准确分割病灶轮廓。本申请先获取病灶分割准确但是参数量庞大的第一网络，再获取分割准确率一般但结构紧凑的第二网络，通过特征精炼和边缘信息推理，将高维的语义信息和抽象的边缘信息传递到第二网络，可使第二网络对病灶轮廓的分割更加准确，进而提升最终分割的性能。最后获取的第二网络，不仅分割精度高，而且结构紧凑、参数冗余量少、计算的速度快、占用内存小，适合部署在对内存和处理性能有要求的移动设备上。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims (9)

1.一种适用于移动应用的小巧医学影像病灶分割方法，其特征在于，所述适用于移动应用的小巧医学影像病灶分割方法包括以下步骤：
步骤S1、将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT；
步骤S2、将医学影像样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
Figure FDA0002979575840000011
步骤S3、将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat；
步骤S4、将第一特征图列表FeatsT中的底层特征图
Figure FDA0002979575840000012
边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图
Figure FDA0002979575840000013
进行边缘信息推理提炼，得到边缘推理提炼损失Ledge；
步骤S5、将病灶分割标签Labelseg和当前病灶分割结果
Figure FDA0002979575840000014
进行二分类交叉熵函数计算得到病灶分割损失Lseg；
步骤S6、将Lfeat、Ledge、Lseg三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛；
步骤S7、将待分割医学影像输入至已训练完成的第二网络中，得到病灶分割结果。
2.根据权利要求1所述的适用于移动应用的小巧医学影像病灶分割方法，其特征在于，所述步骤S1中，所述第一网络包括一个编码器和一个解码器；
所述第一网络的编码器由一个7×7的二维卷积操作和四个残差模块
Figure FDA0002979575840000015
Figure FDA0002979575840000016
组成；所述
Figure FDA0002979575840000017
由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure FDA0002979575840000018
由4个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure FDA0002979575840000019
由6个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成，所述
Figure FDA00029795758400000110
由3个残差块组成，每个残差块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成；
所述第一网络的解码器由四个卷积块
Figure FDA00029795758400000111
组成，其中每个卷积块包含两个3×3卷积操作。
3.根据权利要求2所述的适用于移动应用的小巧医学影像病灶分割方法，其特征在于，将医学影像样本输入已构建且训练后的第一网络中，得到第一特征图列表FeatsT，过程如下：
步骤1.1、将医学影像样本经过第一网络的编码器的3×3的二维卷积操作，得到特征图
Figure FDA00029795758400000112
步骤1.2、特征图
Figure FDA0002979575840000021
池化后经过残差模块
Figure FDA0002979575840000022
得到特征图
Figure FDA0002979575840000023
步骤1.3、特征图
Figure FDA0002979575840000024
经过残差模块
Figure FDA0002979575840000025
得到特征图
Figure FDA0002979575840000026
步骤1.4、特征图
Figure FDA0002979575840000027
经过残差模块
Figure FDA0002979575840000028
得到特征图
Figure FDA0002979575840000029
步骤1.5、特征图
Figure FDA00029795758400000210
经过残差模块
Figure FDA00029795758400000211
得到特征图
Figure FDA00029795758400000212
步骤1.6、特征图
Figure FDA00029795758400000213
经过卷积块
Figure FDA00029795758400000214
后得到特征图
Figure FDA00029795758400000215
步骤1.7、特征图
Figure FDA00029795758400000216
经过卷积块
Figure FDA00029795758400000217
后得到特征图
Figure FDA00029795758400000218
步骤1.8、特征图
Figure FDA00029795758400000219
经过卷积块
Figure FDA00029795758400000220
后得到特征图
Figure FDA00029795758400000221
步骤1.9、特征图
Figure FDA00029795758400000222
经过卷积块
Figure FDA00029795758400000223
后得到特征图
Figure FDA00029795758400000224
步骤1.10、将特征图
Figure FDA00029795758400000225
和
Figure FDA00029795758400000226
这3张特征图组合成列表，得到第一特征图列表FeatsT。
4.根据权利要求1～3之一所述的适用于移动应用的小巧医学影像病灶分割方法，其特征在于，所述步骤S2中，所述第二网络包括一个编码器、一个解码器和一个卷积块
Figure FDA00029795758400000227
所述第二网络中的编码器包含4个卷积块
Figure FDA00029795758400000228
每个卷积块由2组串行的3×3的二维卷积操作、批量归一化操作、激活操作组成，所述第二网络中的解码器包含4个卷积块
Figure FDA00029795758400000229
每个卷积块由2组串行的3×3的二维卷积操作、批量归一操作、激活操作组成。
5.根据权利要求4所述的适用于移动应用的小巧医学影像病灶分割方法，其特征在于，将医学影像样本输入已构建的第二网络中，得到第二特征图列表FeatsS和当前病灶分割结果
Figure FDA00029795758400000230
过程如下：
步骤2.1、将原始样本经过第二网络的编码器的卷积块
Figure FDA00029795758400000231
得到输出特征图
Figure FDA00029795758400000232
步骤2.2、特征图
Figure FDA00029795758400000233
池化后经过卷积块
Figure FDA00029795758400000234
得到特征图
Figure FDA00029795758400000235
步骤2.3)特征图
Figure FDA00029795758400000236
池化后经过卷积块
Figure FDA00029795758400000237
得到特征图
Figure FDA00029795758400000238
步骤2.4)特征图
Figure FDA00029795758400000239
池化后经过卷积块
Figure FDA00029795758400000240
得到特征图
Figure FDA00029795758400000241
步骤2.5、特征图
Figure FDA00029795758400000242
池化后经过卷积
Figure FDA00029795758400000243
得到特征图
Figure FDA00029795758400000244
步骤2.6、将特征图
Figure FDA00029795758400000245
进行上采样后和
Figure FDA00029795758400000246
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure FDA00029795758400000247
后得到特征图
Figure FDA00029795758400000248
步骤2.7、将特征图
Figure FDA00029795758400000249
进行上采样后和
Figure FDA00029795758400000250
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure FDA00029795758400000251
后得到特征图
Figure FDA00029795758400000252
步骤2.8、将特征图
Figure FDA00029795758400000253
进行上采样后和
Figure FDA00029795758400000254
进行特征拼接，再经过第二网络的解码器中的卷积块
Figure FDA00029795758400000255
后得到特征图
Figure FDA00029795758400000256
步骤2.9、将特征图
Figure FDA00029795758400000257
输入第二网络的解码器中的卷积块
Figure FDA00029795758400000258
得到特征图
Figure FDA00029795758400000259
对
Figure FDA00029795758400000260
的每一通道均用sigmoid函数进行激活，得到
Figure FDA00029795758400000261
上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果
Figure FDA00029795758400000262
Figure FDA00029795758400000263
步骤2.10、将特征图
Figure FDA00029795758400000264
和
Figure FDA00029795758400000265
这3张特征图组合成列表，得到第二特征图列表FeatsS。
6.根据权利要求1～3之一所述的适用于移动应用的小巧医学影像病灶分割方法，其特征在于，所述步骤S3中，将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，过程如下：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图
Figure FDA0002979575840000031
经过margin ReLU函数得到
Figure FDA0002979575840000032
margin ReLU函数定义如下：
Figure FDA0002979575840000033
Figure FDA0002979575840000034
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
Figure FDA0002979575840000035
Figure FDA0002979575840000036
表示
Figure FDA0002979575840000037
中的通道数
Figure FDA0002979575840000038
表示特征图
Figure FDA0002979575840000039
每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图
Figure FDA00029795758400000310
经过一个1×1的二维卷积操作得到
Figure FDA00029795758400000311
计算
Figure FDA00029795758400000312
和
Figure FDA00029795758400000313
的
Figure FDA00029795758400000314
距离，将计算得到的
Figure FDA00029795758400000315
距离进行叠加得到总体深度特征提炼损失L′total，
Figure FDA00029795758400000316
距离和L′ftotal计算公式如下：
Figure FDA00029795758400000317
Figure FDA00029795758400000318
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
Figure FDA00029795758400000319
7.根据权利要求1～3之一所述的适用于移动应用的小巧医学影像病灶分割方法，其特征在于，所述步骤S4中，将第一特征图列表FeatsT中的底层特征图
Figure FDA00029795758400000320
边缘信息标签Labeledge和第二特征图列表FeatsS中的底层特征图
Figure FDA00029795758400000321
进行边缘信息推理提炼，得到边缘推理提炼损失Ledge，过程如下：
步骤4.1、将从FeatsT中得到的底层特征图
Figure FDA00029795758400000322
分别进行两个1×1的二维卷积操作，得到特征图
Figure FDA00029795758400000323
和特征图
Figure FDA00029795758400000324
步骤4.2、将边缘信息标签Labeledge进行软化，得到软化后的边缘信息标签
Figure FDA00029795758400000325
软化的步骤如下：
步骤4.2.1、将Labeledge经过一个1×1的二维卷积操作，得到临时边缘标签
Figure FDA00029795758400000326
步骤4.2.2、将
Figure FDA00029795758400000327
池化后，经过一个sigmoid函数进行激活，得到软化后的边缘信息标签
Figure FDA00029795758400000328
步骤4.3、将特征图
Figure FDA00029795758400000329
进行一次1×1卷积操作后得到临时特征图
Figure FDA00029795758400000330
和软化后的边缘信息标签
Figure FDA00029795758400000331
进行哈达玛积运算操作，得到边缘注意特征图
Figure FDA00029795758400000332
哈达玛积运算如下：
Figure FDA0002979575840000041
Figure FDA0002979575840000042
步骤4.4、将边缘注意特征图
Figure FDA0002979575840000043
经过边缘锚点下采样操作后得到边缘关键点矩阵
Figure FDA0002979575840000044
边缘锚点下采样操作步骤如下：
步骤4.4.1、随机初始化隶属度矩阵U＝[uij]，初始化聚类中心向量C，设定聚类的簇数n，和隶属度的因子m；
步骤4.4.2、开始迭代，在第k步迭代时，计算质心Ck＝[cj]，计算公式如下：
Figure FDA0002979575840000045
其中，uij表示像素点xi属于j类的隶属度，i表示第i个样本，
Figure FDA0002979575840000046
是j簇的中心，也具有d维度；
步骤4.4.3、根据第k步迭代得到的质心，更新隶属度矩阵U，更新的公式如下：
Figure FDA0002979575840000047
其中，||*||可以是任意表示距离的度量；
步骤4.4.4、当满足迭代终止条件时，停止迭代，否则继续按照步骤4.4.2和步骤4.4.3中的步骤迭代，迭代的终止条件如下：
Figure FDA0002979575840000048
其中ε为是误差阈值；
步骤4.5、
Figure FDA0002979575840000049
与特征图
Figure FDA00029795758400000410
进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵
Figure FDA00029795758400000411
步骤4.6、将
Figure FDA00029795758400000412
与特征图
Figure FDA00029795758400000413
进行矩阵乘法运算和正则化操作后，得到结点矩阵
Figure FDA00029795758400000414
经过一个图卷积网络后得到初步边缘特征推理图
Figure FDA00029795758400000415
所述图卷积网络，包括两个1×1的一维卷积操作和一个ReLU函数的激活操作；
步骤4.7、将
Figure FDA00029795758400000416
和
Figure FDA00029795758400000417
进行矩阵乘法运算，正则化后得到抽象边缘特征
Figure FDA00029795758400000418
再与
Figure FDA00029795758400000419
相加后得到边缘特征推理图
Figure FDA00029795758400000420
步骤4.8、将从FeatsS中得到的底层特征图
Figure FDA00029795758400000421
分别进行两个1×1的二维卷积操作，得到特征图
Figure FDA00029795758400000422
和特征图
Figure FDA00029795758400000423
步骤4.9、将特征图
Figure FDA00029795758400000424
进行一次1×1的二维卷积操作后，得到边缘注意特征图
Figure FDA00029795758400000425
步骤4.10、将边缘注意特征图
Figure FDA0002979575840000051
经过步骤4.4中同样的边缘锚点下采样操作后得到边缘关键点矩阵
Figure FDA0002979575840000052
与特征图
Figure FDA0002979575840000053
进行矩阵乘法运算，激活后得到边缘注意特征投影矩阵
Figure FDA0002979575840000054
步骤4.11、将边缘注意特征投影矩阵
Figure FDA0002979575840000055
特征图
Figure FDA0002979575840000056
进行矩阵乘法运算和正则化操作后的得到，经过一个图卷积网络后得到初步边缘特征推理图
Figure FDA0002979575840000057
步骤4.12、将
Figure FDA0002979575840000058
和
Figure FDA0002979575840000059
进行矩阵乘法运算，正则化后得到抽象边缘特征
Figure FDA00029795758400000510
再与
Figure FDA00029795758400000511
相加后得到边缘特征推理图
Figure FDA00029795758400000512
步骤4.13、将边缘特征图
Figure FDA00029795758400000513
和边缘分割图
Figure FDA00029795758400000514
进行二分类交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
Figure FDA00029795758400000515
8.根据权利要求1～3之一所述的适用于移动应用的小巧医学影像病灶分割方法，其特征在于，所述步骤S5中，将病灶分割标签Labelseg和当前病灶分割结果
Figure FDA00029795758400000516
进行二分类交叉熵函数计算得到病灶分割损失Lseg，过程如下：
将疾病分割标签Labelseg和当前病灶分割结果
Figure FDA00029795758400000517
进行二分类交叉熵函数计算，得到分割损失Lseg，计算公式如下：
Figure FDA00029795758400000518
9.根据权利要求1～3之一所述的适用于移动应用的小巧医学影像病灶分割方法，其特征在于，所述步骤S6中，将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络内的参数，直至第二网络收敛，过程如下：
步骤6.1、将Lfeat、Ledge、Lseg，三种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLseg+βLedge+γLfeat；
步骤6.2、将Ltotal进行反向传播，迭代更新第二网络内的参数。
CN202110289771.7A 2021-03-17 2021-03-17 一种适用于移动应用的小巧医学影像病灶分割方法 Active CN113052810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110289771.7A CN113052810B (zh) 2021-03-17 2021-03-17 一种适用于移动应用的小巧医学影像病灶分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110289771.7A CN113052810B (zh) 2021-03-17 2021-03-17 一种适用于移动应用的小巧医学影像病灶分割方法

Publications (2)

Publication Number Publication Date
CN113052810A true CN113052810A (zh) 2021-06-29
CN113052810B CN113052810B (zh) 2024-03-22

Family

ID=76513467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110289771.7A Active CN113052810B (zh) 2021-03-17 2021-03-17 一种适用于移动应用的小巧医学影像病灶分割方法

Country Status (1)

Country Link
CN (1) CN113052810B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511737A (zh) * 2022-01-24 2022-05-17 北京建筑大学 图像识别域泛化模型的训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
CN112258488A (zh) * 2020-10-29 2021-01-22 山西三友和智慧信息技术股份有限公司 一种医疗影像病灶分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
CN112258488A (zh) * 2020-10-29 2021-01-22 山西三友和智慧信息技术股份有限公司 一种医疗影像病灶分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511737A (zh) * 2022-01-24 2022-05-17 北京建筑大学 图像识别域泛化模型的训练方法
CN114511737B (zh) * 2022-01-24 2022-09-09 北京建筑大学 图像识别域泛化模型的训练方法

Also Published As

Publication number Publication date
CN113052810B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
Dong et al. Sparse fully convolutional network for face labeling
CN107526785B (zh) 文本分类方法及装置
CN111639544B (zh) 基于多分支跨连接卷积神经网络的表情识别方法
US11804074B2 (en) Method for recognizing facial expressions based on adversarial elimination
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN111783782A (zh) 融合改进UNet和SegNet的遥感图像语义分割方法
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN112927209B (zh) 一种基于cnn的显著性检测***和方法
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN111144500A (zh) 基于解析高斯机制的差分隐私深度学习分类方法
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN113344069B (zh) 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法
Li et al. Spatial convolutional self-attention-based transformer module for strawberry disease identification under complex background
CN111179272A (zh) 一种面向道路场景的快速语义分割方法
CN113052810A (zh) 一种适用于移动应用的小巧医学影像病灶分割方法
Han Residual learning based CNN for gesture recognition in robot interaction
CN113436198A (zh) 一种协同图像超分辨率重建的遥感图像语义分割方法
CN116740362A (zh) 一种基于注意力的轻量化非对称场景语义分割方法及***
CN113837199B (zh) 一种基于跨层残差双路金字塔网络的图像特征提取方法
CN113192076B (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
Fonseka et al. Data augmentation to improve the performance of a convolutional neural network on image classification
CN114445418A (zh) 基于多任务学习的卷积网络的皮肤镜图像分割方法与***
Liu et al. Learning compact ConvNets through filter pruning based on the saliency of a feature map
Wang et al. MLAN: Multi-Level Attention Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant