CN110930367B - 多模态超声影像分类方法以及乳腺癌诊断装置 - Google Patents

Abstract

本发明提供了一种多模态超声影像分类方法以及乳腺癌诊断装置，包括：S1，从原始灰阶超声‑弹性成像图像对中分割出感兴趣区域图像，根据分割出的感兴趣区域图像得到纯粹弹性成像影像；S2，利用DenseNet网络提取灰阶超声影像、弹性成像影像的单模态图像特征；S3，构建对抗性损失函数和正交性约束函数，提取灰阶超声影像与弹性成像影像之间的共享特征；S4，构建多任务学习框架，将S3得到的模态间共享特征与S2得到的单模态特征拼接后，共同输入多个分类器，分别进行良恶性分类。本发明可以同时针对灰阶超声图像、弹性成像图像以及两种模态图像一同进行良恶性分类，具有准确度高，应用范围广的优良性能。

Description

多模态超声影像分类方法以及乳腺癌诊断装置

技术领域

本发明涉及的是一种图像处理方法，具体地说，涉及的是一种多模态超声影像分类方法以及应用该方法的乳腺癌诊断装置。

背景技术

癌症，因其高发病率与致死率，被认为是威胁人类健康安全的头号“杀手”。比如，乳腺癌是目前世界范围内女性群体中发病率及死亡率最高的恶性肿瘤。在国内，乳腺癌也位列全国女性恶性肿瘤发病率首位，死亡率第五位，且发病率与死亡率均逐年上升。中国女性乳腺癌防治形势十分严峻。定期进行乳腺检查是乳腺癌“早发现、早治疗”的最有效方式。目前国内，乳腺超声检查因其有效性、便捷性成为乳腺疾病首选筛查手段。近年来，一种新型超声诊断技术——超声弹性成像，作为传统二维灰阶超声的补充，正逐渐应用到乳腺相关疾病的诊断中。弹性成像客观、定量地描述了病变区域组织的机械特性，为超声医生区分良性腺瘤与恶性肿瘤提供了相对可靠的依据。计算机辅助检测(Computer-AidedDetection,CAD)***的开发可以用来帮助超声医生对可疑的乳腺病变进行良恶性分类，为临床诊断提供客观参考，使得乳腺筛查更具成本效益。乳腺癌诊断CAD***可以辅助降低医生主观因素对诊断结果的影响，使得乳腺筛查计划更具临床效能。现有的CAD***主要包含病变区域影像特征提取和良恶性分类两个阶段。

乳腺病变区域的特征提取算法将很大程度上影响最终良恶性分类准确率。2013年，Moon等人在《Computer Methods and Programs in Biomedicine》(生物医学中的计算机方法和程序)上发表的“Computer-aided diagnosis of breast masses usingquantified BI-RADS findings”论文中提出一种基于BI-RADS(美国放射学会乳腺影像报告和数据***)中所列举特征的乳腺病变诊断算法。该算法总共选取了6大类，共38种影像学特征，来对输入的灰阶超声图像进行编码。通过人工标注的方式提取输入图像的38种特征的定性、定量结果，而后通过多项式回归模型将编码后的图像特征矩阵作良恶性分类。然而，基于BI-RADS的特征提取算法极度依赖人为预先选取的特征在诊断乳腺良恶性病变上的先验有效性，其是否客观有效仍有待考证。2015年，Uniyal等人在《IEEE Transactionson Medical Imaging》(IEEE医学影像会刊)中发表的“Ultrasound RF time series forclassification of breast lesions”一文中将灰阶超声射频特征与BI-RADS影像特征结合，从射频时间序列中提取频谱特征和分形维数对射频信号进行编码并通过SVM对射频信号特征进行分类，通过Random Forests对BI-RADS影像学特征进行分类，综合考虑两类分类器的输出结果对输入灰阶影像中的病变区域进行定性。但是，超声射频信号容易受患者呼吸的影响致使不同病例间因为呼吸频率不同而引入外界噪声，限制算法性能进一步提升。

CNN可以有效地自行学习出具有高分辨性的特征表达，简化特征提取过程，且通过优化整个神经网络即可同时优化特征提取及监督分类两个阶段，以更***的方式调整模型性能，因此成为目前乳腺超声CAD领域最主流的算法。2017年，Han等人在《Physics inMedicine&Biology》(医学与生物学中的物理)“A deep learning framework forsupporting the classification of breast lesions in ultrasound images”中借助GoogLeNet网络模型，提取灰阶图像中乳腺病变关键特征信息，证明了基于深度学习模型的乳腺超声CAD***的有效性。在弹性超声乳腺病变分类任务研究上，2016年，Zhang等人在《Ultrasonics》(超声学)“Deep learning based classification of breast tumorswith shear-wave elastography”中使用深度置信网络模型，基于点选门控玻尔兹曼机从弹性成像图像中提取与分类任务相关的特征，滤去无关特征，并最终通过SVM分类器实现乳腺病变良恶性分类。

综上所述，现有的乳腺癌诊断CAD***，在特征提取方面尚停留在较为传统的深度学习网络结构，所提取特征在良恶性分辨性上存在一定不足。而且现有方法仅基于某一种超声模态，忽略了两种模态之间的互补信息，劣化分类准确率。

发明内容

针对现有技术中存在的上述不足，本发明提出一种基于多模态超声集成分类的乳腺癌诊断方法，该方法是一种适应于多模态超声的乳腺癌CAD***，基于DenseNet(DenseConvolutional Network)网络和多任务学习框架实现。

本发明是通过以下技术方案实现的。

一种基于多模态超声集成分类的乳腺癌诊断方法，包括如下：

S1，从原始灰阶超声-弹性成像图像对中分割出感兴趣区域图像，根据分割出的感兴趣区域图像得到纯粹弹性成像影像；

S2，利用DenseNet网络提取灰阶超声影像、弹性成像影像的单模态图像特征；

S3，构建对抗性损失函数和正交性约束函数，在S2得到的单模态图像特征的基础上，提取灰阶超声影像与弹性成像影像之间的共享特征；

S4，构建多任务学习框架，将S3得到的模态间共享特征与S2得到的单模态特征分别拼接后，共同输入多个分类器，分别针对S1分割后的灰阶超声图像、纯粹弹性成像图像以及灰阶超声-弹性成像图像对进行良恶性分类。

优选地，所述S1中，包括：

S11，在原始超声图像中标注病变区域，导出包含病变区域位置信息的xml文件；

S12，根据S11中标注，从原始超声图像中分割出感兴趣区域ROI图像，感兴趣区域ROI即指病变区域；

S13，将S12分割后的弹性成像感兴趣区减去对应的灰阶超声感兴趣区，得到纯粹弹性成像影像。

上述对原始超声影像进行必要的数据预处理工作，滤除了原始影像中与病变区域无关的背景信息，得到适用于本***的预输入图像数据。

优选地，所述S2中，包括：

S21，对正样本即恶性病例，采用数据增广的方式进行数据扩充，使得增广后的恶性病例数量与良性病例数量相等；

S22，针对灰阶超声图像、弹性成像图像两种超声模态图像，各自构建一个用于特征提取的DenseNet网络，两网络模型相同但参数独立，分别用于提取灰阶超声影像、弹性成像影像的单模态图像特征。

优选地，所述S22中，DenseNet网络由3个堆叠的稠密块(Dense Block)组成，其中：

每个稠密块中包括4个内部节点，内部节点间进行的卷积操作共包括64个1x1大小卷积核和16个3x3大小卷积核，在进行下一个节点的操作前，当前卷积模块的输入特征图和卷积变换后的特征图将级联成同一个特征向量，共同传递给下一个节点，实现特征复用；

每两个稠密块之间串接一个过渡块(Transition Block)，过渡块包括一个1x1的卷积操作以及一个平均池化(AvgPool)降采样操作；上一个稠密块输出的特征图数量经由1x1卷积后被“压缩”到原先的一半，同时平均池化操作整合某一小邻域内的特征点得到新的特征，滤除无用参数；

最后一个稠密块输出特征图经过全局平均池化(Global average pooling)降维，得到对输入图像的特征向量编码。

优选地，所述S3中，通过构建对抗性损失函数和正交性约束函数学习跨模态间潜在共享子空间，其中：共享子空间学习框架的主体是一个共享参数的稠密块，该共享参数的稠密块内部网络结构与上述所介绍结构一致；对于DenseNet网络提取的不同模态的单模态图像特征，共享参数的稠密块在各自模态的单模态图像特征基础上进一步提取跨模态间共享特征。

优选地，所述S3中，构建对抗性损失函数用于约束共享参数的稠密块提取跨模态间的共享特征，其中：

训练过程中，构造一个二分类器d，其优化目标为区分输入的单模态图像特征来自哪一种超声模态；共享参数的稠密块视作特征提取器f，其优化目标为针对不同模态的图像特征输入提取尽可能类似的特征向量，从而迷惑二分类器，使之无法区分单模态图像特征来自何种超声模态；

对抗性损失函数表示为：

其中，

是二分类器d的输出，表示分类器对输入图像特征向量来自于何种模态图像的判断结果；y是输入特征向量来自于何种模态图像的真实标签；θ_d是分类器网络的参数，θ_f是稠密块的参数；L_adv通过极小极大优化迫使共享参数的稠密块只编码两种模态图像间的共享特征，从而构建跨模态间的潜在共享子空间；二分类器d与稠密块特征提取器f二者相互对抗，共同约束稠密块网络；构建梯度反转层，在梯度反传过程中对计算出的梯度进行反转放缩，即改变稠密块特征提取器f的参数更新方向与二分类器网络反向，以同时满足极小极大优化。

具体共享参数的稠密块网络参数梯度更新方式表示为：

其中：

μ表示共享参数的稠密块网络参数的学习率，也是整个神经网络参数的学习率；

-λ表示构建的梯度反转层在神经网络梯度回传的过程中，对由二分类器d网络计算出的梯度进行-λ倍反转放缩后再传递给特征提取器f。

优选地，所述S3中，构建正交性约束函数用于解耦通过所述共享参数的稠密块构建的模态间潜在共享子空间以及所述S22中通过两个参数独立的DenseNet网络构建的单模态特有特征空间，最大限度减少特征冗余现象，其中：

正交性约束函数定义为：

其中，

表示Frobenius范数的平方，S和H是两个特征向量，分别对应单模态特有特征空间和模态间潜在共享子空间，Frobenius范数是一种矩阵范数，定义为矩阵中每个元素平方和的开方，数学表达式为：

其中，X表示一个矩阵，X_i,j中i、j分别表示矩阵的行和列；实现过程中，S，H两个特征向量均为行向量。

优选地，所述S4中，构建多任务学习框架，使模型可以同时针对单模态图像(如灰阶或弹性)和多模态图像(灰阶+弹性)作出精准分类结果。

具体的，所述构建多任务学习框架，包括：

S41，将两种单模态特有特征向量分别与跨模态共享特征向量进行拼接，增强单模态图像分类任务中的图像特征表达，得到两种超声模态分别拼接后的增强特征向量A_1，A₂，将得到的增强特征向量A₁，A₂再次拼接，得到多模态图像分类任务中的增强特征向量；

S42，利用S41得到的多模态图像分类任务中的增强特征向量，进行多个分类器训练。

所述S42中，同时训练五个二分类器，包括三个主任务分类器以及两个辅助任务分类器；具体训练方式为：

将多模态图像分类任务中的增强特征向量分别输入三个主任务分类器，通过Softmax函数输出最终分类结果，即三个主任务分类器分别针对灰阶超声图像、弹性成像图像以及两种模态图像一同进行良恶性分类；

将两种超声模态各自的跨模态共享特征向量分别输入两个辅助任务分类器，通过交叉熵损失对共享特征进行额外约束；

二分类器的优化目标是预测分类输出结果与真实类别标签之间的交叉熵损失，具体表示为：

其中，

是分类器的预测输出，y是输入图像的真实良恶性类别标签；

在训练过程中的优化目标基于下述联合损失函数实现：

其中，α，β，γ是模型训练前预先指定的超参数，对于交叉熵损失L_cls,m，当m＝1，2，3时，α取1；当m＝4，5时，α取0.5；对于对抗性损失L_adv和正交性约束L_diff，取β＝γ＝0.05。

根据本发明的第二方面，提供一种乳腺癌诊断装置，包括：

图像处理单元，该单元从原始超声图像中分割出感兴趣区域图像，根据分割出的感兴趣区域图像得到弹性成像影像；

单模态特征提取单元，该单元利用DenseNet网络提取不同超声模态的单模态图像特征；

跨模态间共享特征单元，该单元构建对抗性损失函数和正交性约束函数，在得到的单模态图像特征的基础上，提取跨模态间共享特征；

分类单元，该单元构建多任务学习框架，将跨模态间共享特征单元得到的模态间共享特征与单模态特征提取单元得到的单模态特征拼接后，共同输入多个分类器，分别针对灰阶超声图像、弹性成像图像以及两种模态图像一同进行良恶性分类。

本发明提出了潜在共享子空间学习技术框架，通过对抗性损失和正交性约束，迫使模型学习两种模态间的互补信息，并通过拼接特征向量的方式，利用互补信息增强单模态特征表达从而提升分类准确率。

本发明提供的多模态超声集成分类方法，综合了不同的功能模块，是一种***诊断算法。整个框架包含了单模态特征提取、模态间共享子空间学习、多任务学习三个部分。针对各个模块的功能需求，在DenseNet骨架网络的基础上，设计两类损失函数约束学习跨模态间的潜在共享子空间，并且利用模态间的互补信息增强原有单模态的特征表达，从而实现高精度的乳腺癌诊断。

与现有技术相比，本发明具有如下有益效果：

本发明在单模态特征提取上采用DenseNet网络，Dense Block的引入增强了每个block内部的层级联系，可以在增加网络深度的同时，不增加训练难度，从而提高了所提取特征在良恶性分类任务中的分辨性。

本发明采用共享子空间学习技术挖掘两种超声模态之间的互补信息。与简单地拼接两种模态神经网络中某一层的输出结果这类多模态集成方法相比，对抗性损失以及正交性约束使得构建的共享子空间中的特征向量更为“纯粹”，即理论上，共享子空间中不会存在任何单模态特有特征，且实现了单模态特征空间与共享子空间之间的特征解耦，减少特征冗余。

本发明将单模态特有特征与跨模态共享特征进行拼接，利用两种超声模态的互补信息增强现有技术主要针对的单模态超声影像的特征表达，使得分类器可以基于更全面的信息作出良恶性诊断。

本发明构建多任务学习框架，同时训练多个针对不同任务的分类器并联合各自损失函数一同训练，增强了模型的灵活性，使算法模型更加适应临床超声筛查实际需求。其中，辅助任务分类器的存在约束共享子空间中的特征向量必须在良恶性分类任务中具有分辨性，使得共享子空间学习技术更加适用于乳腺癌良恶性诊断。

本发明在不同的功能模块中都引入了深度网络进行训练，使得每个部分均到达较为理性的性能，从而使得整个***性能优异。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例中的方法的原理图；

图2是本发明一实施例中的数据预处理流程图；

图3是本发明一实施例中乳腺病变感兴趣区域标注及裁剪流程图；

图4是本发明一实施例中DenseNet单模态特征提取模块网络结构图；

图5是本发明一实施例中DenseNet特征提取网络结构具体细节图；

图6是本发明一实施例中引入对抗性损失约束的共享子空间学习模块网络结构图；

图7是本发明一实施例中引入正交性约束的共享子空间学习模块网络结构图；

图8是本发明一实施例中多任务学习框架示意图；

图9是本发明一实施例中基于多模态超声集成分类的乳腺癌诊断***整体架构图；

图10是一实施例中基准模型和本发明方法在良恶性分类任务中的分类性能评估图；

图11是本发明一实施例中基准模型与本发明方法在良恶性分类任务中的ROC曲线评估图；

图12是本发明一实施例中多模态集成对于改善分类效能实际示例图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

参照图1所示，为本发明一实施例多模态超声影像分类方法的原理图，其中包括：S1，数据预处理，从原始超声图像中分割出感兴趣区域图像，根据分割出的感兴趣区域图像得到弹性成像影像；S2，单模态特征提取，利用DenseNet网络提取灰阶超声影像、弹性成像影像的单模态图像特征；S3，构建对抗性损失函数和正交性约束函数，迫使共享参数的Dense Block提取跨模态间的共享特征；S4，构建多任务学习框架，将模态间共享特征与单模态特征拼接后，共同输入多个二分类器，分别针对灰阶超声图像、弹性成像图像以及两种模态图像一同进行良恶性分类。良性、恶性图像的标注结果由实际病理检测结果确定。

根据本发明上述的多模态超声影像分类方法可应用于各种超声图像。下面以针对乳腺癌病人的超声图像为例来对本发明实施例的实现进行详细说明。

参照图2所示，是本发明一实施例中的数据预处理流程图，包括：S11，在原始超声图像中标注病变区域，导出包含病变区域位置信息的文件；S12，根据S11中标注，从原始超声图像中分割出感兴趣区域图像，感兴趣区域即指病变区域；S13，将分割后的弹性成像感兴趣区减去对应的灰阶超声影像感兴趣区(使用图像差值函数)，得到纯粹弹性成像影像。

在一具体实施例中，S11，病变区域标注使用labelImg软件，从原始超声图像中标注并导出包含医生给定包含病变区域位置信息的XML文件；S12，编写python脚本，根据S11中标注结果，从原始超声图像中分割出感兴趣区域图像并保存；S13，编写python脚本，使用cv2.subtract函数，将分割后的弹性成像感兴趣区减去对应的灰阶超声影像感兴趣区，得到纯粹的弹性成像影像。具体的，参照图3所示，是本发明一实施例中乳腺病变感兴趣区域标注及裁剪流程图。使用开源图像标注工具labelImg，标注并导出包含医生给定病变区域位置信息的XML文件。对于图像标注工具labelImg，输入一组原始“灰阶超声-弹性成像图像对”，上方的弹性超声图像与下方的灰阶超声图像间隔距离一定，且两者模态间完全对齐，因此只需针对其中一种模态图像中的病变区域进行标注，另一种模态图像中的病变区域标注结果可通过上下平移获得。标注导出的XML文件可以通过Python解析，利用Python脚本自动地在原始超声图像中分割出感兴趣区域图像并保存。弹性成像影像呈半透明覆盖在对应灰阶超声影像上的显示方式，直接使用原始图像存在信息干扰。因此，使用OpenCV库中subtract函数，将分割后的弹性成像感兴趣区减去对应的灰阶影像感兴趣区，得到纯粹的弹性成像影像。

参照图4所示，是本发明一实施例中DenseNet单模态特征提取模块网络结构图，该网络用于实现单模态图像特征提取。具体的，单模态图像特征包括：S21，对正样本即恶性病例，采用数据增广的方式进行数据扩充，使得增广后的恶性病例数量与良性病例数量相等；S22，针对灰阶超声图像、弹性成像图像两种超声模态图像，各自构建一个用于特征提取的DenseNet网络，两网络模型相同但参数独立。数据增广方式主要是对原始图像进行随机翻转与平移，使得增广后的恶性病例数量与良性病例数量相等。

参照图5所示，是本发明一实施例中DenseNet特征提取网络结构具体细节图。

在一优选实施例中，为了提高模型性能，探究不同超声模态影像中的潜在关联，训练过程中包括灰阶超声影像以及弹性成像影像两种超声模态。针对两种不同模态图像，S22中，首先各自构建一个27层的DenseNet特征提取网络，两网络模型相同但参数独立。

每个网络由3个堆叠的Dense Block组成，每个Dense Block中包括4个内部节点，节点与节点间存在一系列卷积操作与级联操作确保网络任意两层节点间都直接相连。在Dense Block内部前后两个节点间进行卷积操作时，“瓶颈层”(Bottleneck Layer)被添加在3x3大小的卷积操作之前，用1x1大小的卷积操作来减少输入的特征图数量，进行降维。实际模型中，Dense Block内部节点间进行的卷积操作共包括64个1x1大小卷积核和16个3x3大小卷积核，尽可能地通过最少的参数量提取有效的图像特征。在进行下一个节点的操作前，当前卷积模块的输入特征图和卷积变换后的特征图将级联成同一个特征向量，共同传递给下一个节点，实现特征复用。每两个Dense Block之间还额外串接一个过渡块(Transition Block)，过渡块包括一个1x1的卷积操作以及一个平均池化(AvgPool)降采样操作。上一个Dense Block输出的特征图数量经由1x1卷积后被“压缩”到原先的一半，同时AvgPool操作整合某一小邻域内的特征点得到新的特征，滤除无用参数。第三个DenseBlock输出特征图经过全局平均池化降维后，得到对输入图像的特征向量编码。

参照图6所示，是本发明一实施例中引入对抗性损失约束的共享子空间学习模块网络结构图。参照图7所示，是本发明一实施例中引入正交性约束的共享子空间学习模块网络结构图。

具体的，针对不同模态的图像，采用潜在共享子空间学习技术探究其潜在关联。共享子空间学习框架的主体是一个共享参数的Dense Block，Dense Block内部网络结构与S2中图5所示的结构一致。对于S2中提取的不同模态单模态超声影像特征，共享参数的DenseBlock试图在各自特征基础上进一步提取跨模态间共享特征，共包括两大部分：

a.对抗性损失函数

构建对抗性损失函数的目的是约束共享参数的Dense Block提取跨模态间的共享特征。训练过程中，构造一个二分类器d，其优化目标为区分输入的图像特征向量来自哪一种超声模态，而共享参数的Dense Block视作特征提取器f，其优化目标为针对不同模态的输入提取尽可能类似的特征向量，从而迷惑二分类器，使之无法区分图像特征向量来自何种超声模态。二分类器d与稠密块特征提取器f二者相互对抗，共同约束稠密块网络；为实现在一次神经网络梯度反向传播过程中，能够同时优化二分类器d的参数(极小优化)以及特征提取器f的参数(极大优化)，需要构建梯度反转层，在梯度反传过程中对计算出的梯度进行反转放缩，即改变稠密块特征提取器f的参数更新方向与二分类器网络反向，以同时满足极小极大优化。

对抗性损失函数可以表示为：

其中，

是二分类器d的输出，表示分类器对输入图像特征向量来自于何种模态图像的判断结果；y是输入特征向量来自于何种模态图像的真实标签；θ_d是分类器网络的参数，θ_f是Dense Block模块的参数。L_adv通过极小极大优化迫使共享参数的Dense Block只编码两种模态图像间的共享特征，从而构建跨模态间的潜在共享子空间。

具体网络参数梯度更新方式可表示为：

其中μ表示网络参数的学习率，-λ表示构建的“梯度反转层”在神经网络梯度回传的过程中，对梯度进行反转放缩的程度。本实施例中λ取1，即简单梯度反转。

b.正交性约束函数

构建正交性约束函数的目的是解耦模态间潜在共享子空间以及单模态特有特征空间，最大限度减少特征冗余现象。

理想情况下，即单模态特征与跨模态特征完全解耦情况下，单模态特有特征就是单模态图像特征除去跨模态共享特征后剩下的特征。非理想状态下，也即网络实际优化过程中，单模态特征与跨模态特征难以实现完全的解耦，单模态特有特征空间和跨模态特征空间存在着少量的重叠。

单模态特有特征空间的构建是通过S22中的两个DenseNet网络以及用于解耦的正交性约束共同实现的。

正交性约束函数定义为：

其中，

表示Frobenius范数的平方，S和H是两个特征向量，分别对应单模态特征空间和模态间共享子空间。Frobenius范数是一种矩阵范数，定义为矩阵中每个元素平方和的开方，数学表达式为：

其中，X表示一个矩阵。

参照图8所示，是本发明一实施例中多任务学习框架示意图，通过构建多任务学习框架增强模型灵活性，延展临床适用范围，可以同时针对单模态图像(如灰阶或弹性)和多模态图像(灰阶+弹性)作出精准分类结果。

将两种单模态特有特征向量分别与跨模态共享特征向量进行拼接，增强单模态图像分类任务中的图像特征表达，得到两种超声模态分别拼接后的增强特征向量A₁，A₂，将得到的增强特征向量A₁，A₂再次拼接，得到多模态图像分类任务中的增强特征向量。

在模型输出端，同时训练五个二分类器，包括三个主任务分类器以及两个辅助任务分类器。将增强后的特征向量分别输入三个主任务分类器，通过Softmax函数输出最终分类结果。即三个主任务分类器分别针对灰阶超声图像、弹性成像图像以及两种模态图像一同进行良恶性分类。将提取的两种超声模态各自的跨模态共享特征向量分别输入两个辅助任务分类器，通过交叉熵损失对共享特征进行额外约束。

二分类器的优化目标是预测分类输出结果与真实类别标签之间的交叉熵损失，具体可表示为：

其中，

是分类器的预测输出，y是输入图像的真实良恶性类别标签。

整个模型在训练过程中的优化目标基于下述“联合”损失函数实现：

其中，α，β，γ是模型训练前预先指定的超参数。本实施例中，对于交叉熵损失L_cls,m，当m＝1，2，3时，α取1；当m＝4，5时，α取0.5。对于对抗性损失L_adv和正交性约束L_diff，取β＝γ＝0.05。

参照图9所示，是本发明一实施例中基于多模态超声集成分类的方法的整体架构图，共分为三个部分：A部分为一实施例中所用网络模型结构示意图，包括单模态特征提取模块网络、共享子空间学习模块网络以及多任务学习框架网络；B部分为DenseNet网络结构示意图；C部分为网络模型训练过程中涉及的所有损失函数示意图。

本发明在另一实施例中，还提供一种基于上述的方法的乳腺癌诊断装置，包括：

图像处理单元，该单元从原始超声图像中分割出感兴趣区域图像，根据分割出的感兴趣区域图像得到弹性成像影像；

单模态特征提取单元，该单元利用DenseNet网络提取不同超声模态的单模态图像特征；

跨模态间共享特征单元，该单元构建对抗性损失函数和正交性约束函数，使共享参数的Dense Block提取跨模态间共享特征；

分类单元，该单元构建多任务学习框架，将跨模态间共享特征单元得到的模态间共享特征与单模态特征提取单元得到的单模态特征拼接后，共同输入多个分类器，分别针对灰阶超声图像、弹性成像图像以及两种模态图像一同进行良恶性分类。

上述各个单元中采用的技术可以参照方法对应的部分，在此不再赘述。

参照图10所示，是本一实施例中基准模型和本发明方法在良恶性分类任务中的分类性能评估图，其中：DenseNet(US)和DenseNet(SWE)分别表示一实施例中基准模型(DenseNet网络)对灰阶超声影像(US)和弹性成像影像(SWE)在良恶性分类任务中的分类性能；Ours(US),Ours(SWE)和Ours(US-SWE)分别表示本发明方法对灰阶图像，弹性图像以及灰阶-超声图像对的良恶性分类性能；Senior(4A)和Senior(4B)分别表示资深超声科医生(超过5年的乳腺超声诊断经历)以BI-RADS 4A类为良恶性划分界限或者Bi-RADS 4B类为良恶性划分界限情况下的医生诊断性能。

参照图11所示，是一实施例中基准模型与本发明方法在良恶性分类任务中的ROC曲线评估图，其中：横轴表示假阳性率，纵轴表示召回率，各曲线含义如图例所示。

参照图12所示，是本发明一实施例中多模态集成对于改善分类效能实际示例图，其中：Ground Truth中第一行图为灰阶超声影像，第二行为对应的弹性成像影像，第三行为该病灶病理检测良恶性结果；Classification中分别给出一实施例中输入不同超声模态图像，本发明发明模型对应良恶性分类结果。

下面结合具体实例对本实施例进一步描述。

实施例中采用的数据集为自行整理的上海市第一人民医院数据集，共包含525个病例，其中良性395例，恶性130例；共2967组灰阶-弹性超声图像对，其中良性2008组，恶性959组。数据集提供了所有超声图像的良恶性病例检查结果以及医生给定的感兴趣区域。感兴趣区域的宽度和高度的均值分别为367和262个像素。

数据集划分为子集1～5，每个子集分别含有总数据的20％，且每个子集中良性图像和恶性图像的比例基本一致。模型训练过程中在子集1～4上采用4折交叉验证的方式选取合适的超参数。超参数确定后，子集1～3用于最终模型训练，子集4用于训练过程中的验证，而子集5用于最终模型的测试。

为消除数据不平衡对模型性能的影响，训练过程中对正样本，即恶性病例采用数据增广的方式进行数据扩充。数据增广方式主要是对原始图像进行随机翻转与平移，使得增广后的恶性病例数量与良性病例数量相等。

实施效果

针对超声单模态图像，最终的诊断***的良恶性分类准确率为82.6％(针对灰阶超声)、87.3％(针对弹性成像)。相同条件下，单单基于DenseNet网络的诊断***的良恶性分类准确率为80.8％(针对灰阶超声)、86.5％(针对弹性成像)。而针对超声多模态图像，结合灰阶超声与弹性成像两种超声模态信息，最终的诊断***的良恶性分类准确率为89.8％。

本发明上述实施例，首先利用DenseNet提取两种输入超声模态各自的单模态图像特征。而后，构造对抗性损失和正交性约束，使共享参数的Dense Block学习跨模态间潜在共享子空间。最后，利用多任务学习框架延展灵活性，使整个模型可同时针对单模态图像与多模态图像作出精准分类结果。

需要说明的是，本发明提供的所述方法中的步骤，可以利用所述装置中对应的单元等予以实现，本领域技术人员可以参照所述装置的技术方案实现所述方法的步骤流程，即，所述装置中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的装置及其各个单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种多模态超声影像分类方法，其特征在于，包括：

S1，从原始灰阶超声-弹性成像图像对中分割出感兴趣区域图像，根据分割出的感兴趣区域图像得到纯粹弹性成像影像；

S2，利用DenseNet网络提取灰阶超声影像、弹性成像影像的单模态图像特征；

S3，构建对抗性损失函数和正交性约束函数，在S2得到的单模态图像特征的基础上，提取灰阶超声影像与弹性成像影像之间的共享特征；

S4，构建多任务学习框架，将S3得到的模态间共享特征与S2得到的单模态特征拼接后，共同输入多个分类器，分别针对S1分割后的灰阶超声图像、纯粹弹性成像图像以及灰阶超声-弹性成像图像对进行良恶性分类；

所述S3中，通过构建对抗性损失函数和正交性约束函数学习跨模态间潜在共享子空间，其中：

共享子空间学习框架的主体是一个共享参数的稠密块，该共享参数的稠密块中包括4个内部节点，内部节点间进行的卷积操作共包括64个1x1大小卷积核和16个3x3大小卷积核，在进行下一个节点的操作前，当前卷积模块的输入特征图和卷积变换后的特征图将级联成同一个特征向量，共同传递给下一个节点，实现特征复用；

对于DenseNet网络提取的不同模态的单模态图像特征，共享参数的稠密块在各自模态的单模态图像特征基础上进一步提取跨模态间共享特征；

所述S3中，构建对抗性损失函数用于约束共享参数的稠密块提取跨模态间的共享特征，其中：

训练过程中，构造一个二分类器d，其优化目标为区分输入的单模态图像特征来自哪一种超声模态；共享参数的稠密块视作特征提取器f，其优化目标为针对不同模态的图像特征输入提取尽可能类似的特征向量，从而迷惑二分类器，使之无法区分单模态图像特征来自何种超声模态；二分类器d与稠密块特征提取器f二者相互对抗，共同约束稠密块网络；构建梯度反转层，在梯度反传过程中对计算出的梯度进行反转放缩，即改变稠密块特征提取器f的参数更新方向与二分类器网络反向，以同时满足极小极大优化；

对抗性损失函数表示为：

其中，

是二分类器d的输出，表示分类器对输入图像特征向量来自于何种模态图像的判断结果；y是输入特征向量来自于何种模态图像的真实标签；θ_d是分类器网络的参数，θ_f是稠密块的参数；L_adv通过极小极大优化迫使共享参数的稠密块只编码两种模态图像间的共享特征，从而构建跨模态间的潜在共享子空间；

具体共享参数的稠密块网络参数梯度更新方式表示为：

其中：

μ表示共享参数的稠密块网络参数的学习率，也是整个神经网络参数的学习率；

-λ表示构建的梯度反转层在神经网络梯度回传的过程中，对由二分类器d网络计算出的梯度进行-λ倍反转放缩后再传递给特征提取器f；

所述S3中，构建正交性约束函数用于解耦通过所述共享参数的稠密块构建的模态间潜在共享子空间以及所述S22中通过两个参数独立的DenseNet网络构建的单模态特有特征空间，最大限度减少特征冗余现象，其中：

正交性约束函数定义为：

其中，

表示Frobenius范数的平方，S和H是两个特征向量，分别对应单模态特有特征空间和模态间潜在共享子空间，Frobenius范数是一种矩阵范数，定义为矩阵中每个元素平方和的开方，数学表达式为：

其中，X表示一个矩阵，X_i,j中i、j分别表示矩阵的行和列；实现过程中，S，H两个特征向量均为行向量；

所述S4中，构建多任务学习框架，包括：

S41，将两种单模态特有特征向量分别与跨模态共享特征向量进行拼接，增强单模态图像分类任务中的图像特征表达，得到两种超声模态分别拼接后的增强特征向量A_1，A₂，将得到的增强特征向量A₁，A₂再次拼接，得到多模态图像分类任务中的增强特征向量；

S42，利用S41得到的多模态图像分类任务中的增强特征向量，进行多个分类器训练。

2.根据权利要求1所述的多模态超声影像分类方法，其特征在于，所述S1中，包括：

S11，在原始超声图像中标注病变区域，导出包含病变区域位置信息的xml文件；

S12，根据S11中标注，从原始超声图像中分割出感兴趣区域ROI图像，感兴趣区域ROI即指病变区域；

S13，将S12分割后的弹性成像感兴趣区减去对应的灰阶超声感兴趣区，得到纯粹弹性成像影像。

3.根据权利要求1所述的多模态超声影像分类方法，其特征在于，所述S2中，包括：

S21，对正样本即恶性病例，采用数据增广的方式进行数据扩充，使得增广后的恶性病例数量与良性病例数量相等；

S22，针对灰阶超声图像、弹性成像图像两种超声模态图像，各自构建一个用于特征提取的DenseNet网络，两网络模型相同但参数独立，分别用于提取灰阶超声影像、弹性成像影像的单模态图像特征。

4.根据权利要求3所述的多模态超声影像分类方法，其特征在于，所述S22中，DenseNet网络由3个堆叠的稠密块(Dense Block)组成，其中：

每个稠密块中包括4个内部节点，内部节点间进行的卷积操作共包括64个1x1大小卷积核和16个3x3大小卷积核，在进行下一个节点的操作前，当前卷积模块的输入特征图和卷积变换后的特征图将级联成同一个特征向量，共同传递给下一个节点，实现特征复用；

每两个稠密块之间串接一个过渡块(Transition Block)，过渡块包括一个1x1的卷积操作以及一个平均池化(AvgPool)降采样操作；上一个稠密块输出的特征图数量经由1x1卷积后被“压缩”到原先的一半，同时平均池化操作整合某一小邻域内的特征点得到新的特征，滤除无用参数；

最后一个稠密块输出特征图经过全局平均池化(Global average pooling)降维，得到对输入图像的特征向量编码。

5.根据权利要求1所述的多模态超声影像分类方法，其特征在于，S42中，同时训练五个二分类器，包括三个主任务分类器以及两个辅助任务分类器；

具体训练方式为：

将多模态图像分类任务中的增强特征向量分别输入三个主任务分类器，通过Softmax函数输出最终分类结果，即三个主任务分类器分别针对灰阶超声图像、弹性成像图像以及两种模态图像一同进行良恶性分类；

将两种超声模态各自的跨模态共享特征向量分别输入两个辅助任务分类器，通过交叉熵损失对共享特征进行额外约束；

二分类器的优化目标是预测分类输出结果与真实类别标签之间的交叉熵损失，具体表示为：

其中，

是分类器的预测输出，y是输入图像的真实良恶性类别标签；

在训练过程中的优化目标基于下述联合损失函数实现：

其中，α，β，γ是模型训练前预先指定的超参数，对于交叉熵损失L_cls,m，当m＝1，2，3时，α取1；当m＝4，5时，α取0.5；对于对抗性损失L_adv和正交性约束L_diff，取β＝γ＝0.05。

6.一种多模态超声影像分类装置，其特征在于，包括：

图像处理单元，该单元从原始超声图像中分割出感兴趣区域图像，根据分割出的感兴趣区域图像得到弹性成像影像；

单模态特征提取单元，该单元利用DenseNet网络提取不同超声模态的单模态图像特征；

跨模态间共享特征单元，该单元构建对抗性损失函数和正交性约束函数，在得到的单模态图像特征的基础上，提取跨模态间共享特征；

分类单元，该单元构建多任务学习框架，将跨模态间共享特征单元得到的模态间共享特征与单模态特征提取单元得到的单模态特征拼接后，共同输入多个分类器，分别针对灰阶超声图像、弹性成像图像以及两种模态图像一同进行良恶性分类；

所述跨模态间共享特征单元，通过构建对抗性损失函数和正交性约束函数学习跨模态间潜在共享子空间，其中：

共享子空间学习框架的主体是一个共享参数的稠密块，该共享参数的稠密块中包括4个内部节点，内部节点间进行的卷积操作共包括64个1x1大小卷积核和16个3x3大小卷积核，在进行下一个节点的操作前，当前卷积模块的输入特征图和卷积变换后的特征图将级联成同一个特征向量，共同传递给下一个节点，实现特征复用；

对于DenseNet网络提取的不同模态的单模态图像特征，共享参数的稠密块在各自模态的单模态图像特征基础上进一步提取跨模态间共享特征；

所述跨模态间共享特征单元中，构建对抗性损失函数用于约束共享参数的稠密块提取跨模态间的共享特征，其中：

训练过程中，构造一个二分类器d，其优化目标为区分输入的单模态图像特征来自哪一种超声模态；共享参数的稠密块视作特征提取器f，其优化目标为针对不同模态的图像特征输入提取尽可能类似的特征向量，从而迷惑二分类器，使之无法区分单模态图像特征来自何种超声模态；二分类器d与稠密块特征提取器f二者相互对抗，共同约束稠密块网络；构建梯度反转层，在梯度反传过程中对计算出的梯度进行反转放缩，即改变稠密块特征提取器f的参数更新方向与二分类器网络反向，以同时满足极小极大优化；

对抗性损失函数表示为：

其中，

是二分类器d的输出，表示分类器对输入图像特征向量来自于何种模态图像的判断结果；y是输入特征向量来自于何种模态图像的真实标签；θ_d是分类器网络的参数，θ_f是稠密块的参数；L_adv通过极小极大优化迫使共享参数的稠密块只编码两种模态图像间的共享特征，从而构建跨模态间的潜在共享子空间；

具体共享参数的稠密块网络参数梯度更新方式表示为：

其中：

μ表示共享参数的稠密块网络参数的学习率，也是整个神经网络参数的学习率；

-λ表示构建的梯度反转层在神经网络梯度回传的过程中，对由二分类器d网络计算出的梯度进行-λ倍反转放缩后再传递给特征提取器f；

所述跨模态间共享特征单元中，构建正交性约束函数用于解耦通过所述共享参数的稠密块构建的模态间潜在共享子空间以及所述S22中通过两个参数独立的DenseNet网络构建的单模态特有特征空间，最大限度减少特征冗余现象，其中：

正交性约束函数定义为：

其中，

表示Frobenius范数的平方，S和H是两个特征向量，分别对应单模态特有特征空间和模态间潜在共享子空间，Frobenius范数是一种矩阵范数，定义为矩阵中每个元素平方和的开方，数学表达式为：

其中，X表示一个矩阵，X_i,j中i、j分别表示矩阵的行和列；实现过程中，S，H两个特征向量均为行向量；

所述分类单元中，构建多任务学习框架，包括：

将两种单模态特有特征向量分别与跨模态共享特征向量进行拼接，增强单模态图像分类任务中的图像特征表达，得到两种超声模态分别拼接后的增强特征向量A₁，A₂，将得到的增强特征向量A₁，A₂再次拼接，得到多模态图像分类任务中的增强特征向量；

利用得到的多模态图像分类任务中的增强特征向量，进行多个分类器训练。

Images