CN112472136A - 一种基于孪生神经网络的协同分析方法 - Google Patents

一种基于孪生神经网络的协同分析方法 Download PDF

Info

Publication number
CN112472136A
CN112472136A CN202011448450.9A CN202011448450A CN112472136A CN 112472136 A CN112472136 A CN 112472136A CN 202011448450 A CN202011448450 A CN 202011448450A CN 112472136 A CN112472136 A CN 112472136A
Authority
CN
China
Prior art keywords
twin
network module
layer
metric learning
analysis method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011448450.9A
Other languages
English (en)
Other versions
CN112472136B (zh
Inventor
陈芳
叶浩然
谢彦廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011448450.9A priority Critical patent/CN112472136B/zh
Publication of CN112472136A publication Critical patent/CN112472136A/zh
Application granted granted Critical
Publication of CN112472136B publication Critical patent/CN112472136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于孪生神经网络的协同分析方法，协同分析方法中包括孪生编码解码网络模块、孪生度量学习网络模块和决策网络模块，输入一组图片对至孪生编码解码网络模块，孪生编码解码网络模块提取图片对的特征，并将图片对的特征输入孪生度量学习网络模块，孪生度量学习网络模块对图片对的特征向量化后，计算两个向量间距离，并将结果输入至决策网络模块，决策网络模块判断图片对是否为同一类，并将结果传输至孪生编码解码网络模块。通过测试证明，本发明能够对超声序列影像进行更加有效的分析，未来应用前景广泛。

Description

一种基于孪生神经网络的协同分析方法
技术领域
本发明属于超声序列影像分析技术领域，特别涉及一种基于孪生神经网络的协同分析方法。
背景技术
超声序列影像在临床医学诊断中发挥着重要的作用，它大大改变了临床诊断模式，促进了临床医学的发展。如图1所示，超声序列影像的采集是通过对同一个目标多个自由方向进行扫描的结果，或者是连续扫描方式下的得到的序列图像。这种序列影像不仅适用于对先天性心脏病、血栓及体内肿瘤等疾病的检查，对内脏结石的诊断也极其简便、准确。同时，它对胰腺、肾、脾脏、膀胱、肾上腺等脏器占位性病变或外伤也有清晰的显示。因此，超声序列影像分析技术对未来临床医学的发展显得尤为重要。
由于超声图像的数据集在采集时有着连续性，又或是对于同一目标不同角度的信息采集，所以图片之间会存在关联性。然而现有的图像分析方法大多基于图像的单张信息，没有考虑到图片之间的关联性。因此我们提出协同分析的方法，将协同分析应用到超声影像中，充分利用超声序列影像之间相关的信息，达到对图片更好分析的效果。
发明内容
本发明提供了一种基于孪生神经网络的协同分析方法，以解决现有技术中的问题。
为了实现上述目的，本发明采用以下技术方案：
一种基于孪生神经网络的协同分析方法，包括孪生编码解码网络模块、孪生度量学习网络模块和决策网络模块，输入一组图片对(一对超声序列影像)至孪生编码解码网络模块，孪生编码解码网络模块提取图片对的特征，并将图片对的特征输入孪生度量学习网络模块，孪生度量学习网络模块对图片对的特征向量化后，计算两个向量间距离，并将结果输入至决策网络模块，决策网络模块判断图片对是否为同一类，并将结果传输至孪生编码解码网络模块。
进一步的，所述孪生编码解码网络模块包括五层编码器和五层解码器，编码器是基于VGG16的特征提取卷积神经网络，每层包含2到3个卷积层和一个卷积核为2x2的最大池化层，解码器将224x224x3(长为224，宽为224，深度为3)的输入图片转换为7x7x512(长为7，宽为7，深度为512)的语义特征图，语义特征图作为解码器的输入部分；解码器包括五层，每层包括2到3个转置卷积层和1个最近邻插值层，通过使用最近邻插值，增大了特征图尺寸，但同时增加了对图片特征分析的误差，因此在每次最近邻插值后面加上转置卷积层，减小误差；除了第5层，每层内部转置卷积层结束都做一次ReLU操作，第5层通过Sigmoid函数将特征图转换为共分割的预测结果M。
进一步的，所述孪生度量学***均池化，得到一对向量fu1和fu2，将fu1和fu2输入到孪生度量学习网络模块中，并输出一对向量fs1，fs2给决策网络模块。
进一步的，所述决策网络模块判断图片对是同一类，则判断结果为1，决策网络模块判断图片对不是同一类，则判断结果为0。
进一步的，所述决策网络模块通过将孪生度量学习网络模块输出的两个向量拼接，得到一个128维的向量作为输入，依次通过两层全连接层，第一层全连接层为32维，并连接非线性激活函数ReLU，第二层全连接层为1维，通过连接Sigmoid函数，将预测结果转化为0-1之间的概率，以此推断这组图片是否为同一类，若概率值趋近于1，代表是同一类，反之，则不是。
进一步的，在执行分割任务时，使用的损失函数为：
Lfinal＝w1L1+w2L2+w3L3
其中：Lfinal为模型的总损失，w1、w2、w3为权重，L1为二元交叉熵，是训练孪生编码解码网络的损失函数；L2为triplet loss，是训练孪生度量学习网络的损失函数；
Figure BDA0002825770320000021
其中：a是误差值，
Figure BDA0002825770320000022
为输入的两个向量；y代表两个向量标签是否相同；相同时y＝1，不同时y＝-1；
决策网络的损失函数L3是BCE loss，
Figure BDA0002825770320000023
其中：i代表样本个数，yr等于0或1表示输入的样本对是否为同一类；
在执行检测任务时，将L3换为smooth L1 loss，
Figure BDA0002825770320000024
Figure BDA0002825770320000031
其中：x为预测框与ground truth之间element-wise的差异。
与现有技术相比，本发明具有以下有益效果：
本发明能够对超声序列影像进行更加有效的分析，未来应用前景广泛。
附图说明
图1是超声影像采集的超声序列影像采集图；
图2是本发明的框架流程图；
图3是本发明中孪生编码解码网络模块的框图；
图4是本发明中孪生度量学习网络模块的框图；
图5是本发明中决策网络模块的框图；
图6是本发明的网络流程；
图7是骨头超声影像；
图8是分割结果；
图9是检测结果。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
实施例1
为了实现超声序列影像的协同分析，本发明提供了一种基于孪生神经网络的协同分析方法，所述协同分析方法中包括孪生编码解码网络模块、孪生度量学习网络模块和决策网络模块这三个模块，如图2所示，输入一组图片对(一对超声序列影像)至孪生编码解码网络模块，孪生编码解码网络模块提取图片对的特征，并将图片对的特征输入孪生度量学习网络模块，孪生度量学习网络模块对图片对的特征向量化后，计算两个向量间距离，并将结果输入至决策网络模块，决策网络模块判断图片对是否为同一类，并将结果传输至孪生编码解码网络模块。
孪生编码解码网络模块如图3所示，其中：I1为输入的图片，f1为编码器提取的图片特征，M1为预测结果，所述孪生编码解码网络模块包括五层编码器和五层解码器，编码器是基于VGG16的特征提取卷积神经网络，每层包含2到3个卷积层和一个卷积核为2x2的最大池化层，解码器将224x224x3(长为224，宽为224，深度为3)的输入图片转换为7x7x512(长为7，宽为7，深度为512)的语义特征图，语义特征图作为解码器的输入部分；解码器包括五层，每层包括2到3个转置卷积层和1个最近邻插值层，通过使用最近邻插值，增大了特征图尺寸，但同时增加了对图片特征分析的误差，因此在每次最近邻插值后面加上转置卷积层，减小误差；除了第5层，每层内部转置卷积层结束都做一次ReLU操作，第5层通过Sigmoid函数将特征图转换为共分割的预测结果M。
孪生度量学***均池化，得到一对向量fu1和fu2，将fu1和fu2输入到孪生度量学习网络模块中，并输出一对向量fs1，fs2给决策网络模块。
决策网络模块如图5所示，用来判断输入的一组图片是否为同一类别，当决策网络模块判断图片对是同一类，则判断结果为1，当决策网络模块判断图片对不是同一类，则判断结果为0。具体地讲，所述决策网络模块通过将孪生度量学习网络模块输出的两个向量拼接，得到一个128维的向量作为输入，依次通过两层全连接层，第一层全连接层为32维，并连接非线性激活函数ReLU，第二层全连接层为1维，通过连接Sigmoid函数，将预测结果转化为0-1之间的概率，以此推断这组图片是否为同一类，若概率值趋近于1，代表是同一类，反之，则不是。
网络所使用的损失函数根据分析任务不一样，在执行分割任务时，使用的损失函数为：
Lfinal＝w1L1+w2L2+w3L3
其中：Lfinal为模型的总损失，w1、w2、w3为权重，L1为二元交叉熵，是训练孪生编码解码网络的损失函数；L2为triplet loss，是训练孪生度量学习网络的损失函数；
Figure BDA0002825770320000041
其中：a是误差值，
Figure BDA0002825770320000042
为输入的两个向量；y代表两个向量标签是否相同；相同时y＝1，不同时y＝-1；
决策网络的损失函数L3是BCE loss，
Figure BDA0002825770320000051
其中：i代表样本个数，yr等于0或1表示输入的样本对是否为同一类；
在执行检测任务时，将L3换为smooth L1 loss，
Figure BDA0002825770320000052
Figure BDA0002825770320000053
其中：x为预测框与ground truth之间element-wise的差异。
整个网络的协同分析方法的流程如图6所示，该网络的输入为一组图像对(一对超声序列影像I1、I2)，通过共享权重的孪生编码解码网络传递。将解码时得到的特征图输入到孪生度量学习网络，向量化后传给决策网络，由决策网络判断两者是否为同一类样本。针对同一类样本训练完整的网络，并输出预测结果M1、M2。
通过使用该网络，对图7所示的影像进行分割，预期的分割结果如图8所示，当网络用于检测任务时，预测分析结果如图9所示。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于孪生神经网络的协同分析方法，其特征在于：协同分析方法中包括孪生编码解码网络模块、孪生度量学习网络模块和决策网络模块，输入一组图片对至孪生编码解码网络模块，孪生编码解码网络模块提取图片对的特征，并将图片对的特征输入孪生度量学习网络模块，孪生度量学习网络模块对图片对的特征向量化后，计算两个向量间距离，并将结果输入至决策网络模块，决策网络模块判断图片对是否为同一类，并将结果传输至孪生编码解码网络模块。
2.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述孪生编码解码网络模块包括五层编码器和五层解码器，编码器是基于VGG16的特征提取卷积神经网络，每层包含2到3个卷积层和一个卷积核为2x2的最大池化层，解码器将224x224x3的输入图片转换为7x7x512的语义特征图，语义特征图作为解码器的输入部分；解码器包括五层，每层包括2到3个转置卷积层和1个最近邻插值层，在每次最近邻插值后面加上转置卷积层；除了第5层，每层内部转置卷积层结束都做一次ReLU操作，第5层通过Sigmoid函数将特征图转换为共分割的预测结果M。
3.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述孪生度量学***均池化，得到一对向量fu1和fu2，将fu1和fu2输入到孪生度量学习网络模块中，并输出一对向量fs1，fs2给决策网络模块。
4.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述决策网络模块判断图片对是同一类，则判断结果为1，决策网络模块判断图片对不是同一类，则判断结果为0。
5.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：所述决策网络模块通过将孪生度量学习网络模块输出的两个向量拼接，得到一个128维的向量作为输入，依次通过两层全连接层，第一层全连接层为32维，并连接非线性激活函数ReLU，第二层全连接层为1维，通过连接Sigmoid函数，将预测结果转化为0-1之间的概率，以此推断这组图片是否为同一类，若概率值趋近于1，代表是同一类，反之，则不是。
6.根据权利要求1所述的基于孪生神经网络的协同分析方法，其特征在于：在执行分割任务时，使用的损失函数为：
Lfinal＝w1L1+w2L2+w3L3
其中：Lfinal为模型的总损失，w1、w2、w3为权重，L1为二元交叉熵，是训练孪生编码解码网络的损失函数；L2为triplet loss，是训练孪生度量学习网络的损失函数；
Figure FDA0002825770310000021
其中：a是误差值，
Figure FDA0002825770310000025
为输入的两个向量；y代表两个向量标签是否相同；相同时y＝1，不同时y＝-1；
决策网络的损失函数L3是BCEloss，
Figure FDA0002825770310000022
其中：i代表样本个数，yr等于0或1表示输入的样本对是否为同一类；
在执行检测任务时，将L3换为smooth L1 loss，
Figure FDA0002825770310000023
Figure FDA0002825770310000024
其中：x为预测框与ground truth之间element-wise的差异。
CN202011448450.9A 2020-12-09 2020-12-09 一种基于孪生神经网络的协同分析方法 Active CN112472136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011448450.9A CN112472136B (zh) 2020-12-09 2020-12-09 一种基于孪生神经网络的协同分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011448450.9A CN112472136B (zh) 2020-12-09 2020-12-09 一种基于孪生神经网络的协同分析方法

Publications (2)

Publication Number Publication Date
CN112472136A true CN112472136A (zh) 2021-03-12
CN112472136B CN112472136B (zh) 2022-06-17

Family

ID=74941561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011448450.9A Active CN112472136B (zh) 2020-12-09 2020-12-09 一种基于孪生神经网络的协同分析方法

Country Status (1)

Country Link
CN (1) CN112472136B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792653A (zh) * 2021-09-13 2021-12-14 山东交通学院 一种遥感影像云检测的方法、***、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法
CN111127503A (zh) * 2019-12-31 2020-05-08 上海眼控科技股份有限公司 检测车辆轮胎的花纹的方法、设备和存储介质
CN111242173A (zh) * 2019-12-31 2020-06-05 四川大学 一种基于孪生网络的rgbd显著物体检测方法
CN111368729A (zh) * 2020-03-03 2020-07-03 河海大学常州校区 一种基于孪生神经网络的车辆身份判别方法
US20200250436A1 (en) * 2018-04-10 2020-08-06 Adobe Inc. Video object segmentation by reference-guided mask propagation
CN111797716A (zh) * 2020-06-16 2020-10-20 电子科技大学 一种基于Siamese网络的单目标跟踪方法
CN111833334A (zh) * 2020-07-16 2020-10-27 上海志唐健康科技有限公司 一种基于孪生网络架构的眼底影像特征处理分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200250436A1 (en) * 2018-04-10 2020-08-06 Adobe Inc. Video object segmentation by reference-guided mask propagation
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法
CN111127503A (zh) * 2019-12-31 2020-05-08 上海眼控科技股份有限公司 检测车辆轮胎的花纹的方法、设备和存储介质
CN111242173A (zh) * 2019-12-31 2020-06-05 四川大学 一种基于孪生网络的rgbd显著物体检测方法
CN111368729A (zh) * 2020-03-03 2020-07-03 河海大学常州校区 一种基于孪生神经网络的车辆身份判别方法
CN111797716A (zh) * 2020-06-16 2020-10-20 电子科技大学 一种基于Siamese网络的单目标跟踪方法
CN111833334A (zh) * 2020-07-16 2020-10-27 上海志唐健康科技有限公司 一种基于孪生网络架构的眼底影像特征处理分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HSIN-TZU WANG等: "Deep-Learning-Based Block Similarity Evaluation for Image Forensics", 《2020 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792653A (zh) * 2021-09-13 2021-12-14 山东交通学院 一种遥感影像云检测的方法、***、设备和存储介质
CN113792653B (zh) * 2021-09-13 2023-10-20 山东交通学院 一种遥感影像云检测的方法、***、设备和存储介质

Also Published As

Publication number Publication date
CN112472136B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852A (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN111739051B (zh) 一种基于残差网络的多序列mri图像分割方法
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN116228792A (zh) 一种医学图像分割方法、***及电子装置
CN112472136B (zh) 一种基于孪生神经网络的协同分析方法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN112529886A (zh) 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法
CN116503668A (zh) 一种基于小样本元学习的医学影像分类方法
CN117611601B (zh) 基于文字辅助的半监督3d医学图像分割方法
CN111275103A (zh) 多视角信息协作的肾脏良恶性肿瘤分类方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN115327544B (zh) 基于自监督学习的少样本空间目标isar散焦补偿方法
CN115587967B (zh) 一种基于HA-UNet网络的眼底图像视盘检测方法
CN113706546B (zh) 一种基于轻量级孪生网络的医学图像分割方法及装置
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质
CN112686912B (zh) 基于逐步学习和混合样本的急性脑卒中病变分割方法
CN109064403A (zh) 基于分类耦合字典稀疏表示的指纹图像超分辨率方法
CN115035339A (zh) 一种基于人工智能的膀胱镜图像分类方法
Bongini et al. GADA: Generative adversarial data augmentation for image quality assessment
CN114283301A (zh) 一种基于Transformer的自适应医学影像分类方法及***
CN109919162B (zh) 用于输出mr图像特征点描述向量符的模型及其建立方法
CN113642596A (zh) 一种基于社区检测和双路自编码的脑网络分类方法
CN112085718B (zh) 一种基于孪生注意力网络的nafld超声视频诊断***
Li et al. A deep learning feature fusion algorithm based on Lensless cell detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant