CN115601572A - 基于半监督CycleGan网络的超声相控阵图像优化重构方法及*** - Google Patents

基于半监督CycleGan网络的超声相控阵图像优化重构方法及*** Download PDF

Info

Publication number
CN115601572A
CN115601572A CN202211337748.1A CN202211337748A CN115601572A CN 115601572 A CN115601572 A CN 115601572A CN 202211337748 A CN202211337748 A CN 202211337748A CN 115601572 A CN115601572 A CN 115601572A
Authority
CN
China
Prior art keywords
image
domain
supervised
loss function
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211337748.1A
Other languages
English (en)
Inventor
李兵
高飞
陈磊
尚中昱
刘春满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202211337748.1A priority Critical patent/CN115601572A/zh
Publication of CN115601572A publication Critical patent/CN115601572A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于半监督CycleGan网络的超声相控阵图像优化重构方法及***，生成在超声图像和重构图像的两个域中一一对应的训练样本；将对抗性损失函数，循环一致性损失函数，个体损失函数和真实差异损失函数进行叠加，获取损失函数；基于损失函数搭建半监督CycleGan网络结构，利用训练样本对半监督CycleGan网络结构进行训练，完成网络训练后，将超声相控阵实际检测的超声图像输入训练后的半监督CycleGan网络结构，得到检测缺陷的重构图像。本发明方法能够在不裁剪原图的前提下实现对小目标图像的异域重构；对于超声图像来说，既保留了图像中缺陷的位置信息，又消除了图像中缺陷伪影，使缺陷的形貌更加准确。

Description

基于半监督CycleGan网络的超声相控阵图像优化重构方法及 ***
技术领域
本发明属于工业超声无损检测技术领域，具体涉及一种基于半监督CycleGan网络的超声相控阵图像优化重构方法及***。
背景技术
超声及超声相控阵检测是目前工业无损检测技术实现的重要手段之一。检测结果将以二维图像的形式将被测物体内部直观的展现出来，其主要涉及缺陷的位置和几何形貌等特征。目前，为了能够准确的对被测物体内部缺陷进行定量表征，需要提高设备硬件性能，由此则会花费巨额的硬件研发成本。且由于受到回波信号的散射影响，所成像的缺陷形貌存在伪影，具体表现为缺陷边缘虚化，缺陷表征失真等。伴随着深度学习领域的发展，相关的网络模型也逐渐移植于超声相控阵，研究人员寄希望于深度学习中的图像处理方法，对超声相控阵图像进行去伪影的优化重构。
目前，在医用超声相控阵成像领域，已经实现了借助深度学习实现超声图像重构的方法。但是与工业超声相控阵相比，其图像内容丰富且相关性强，而在工业检测中，缺陷在被测物体内部占比较小。这就导致所成图像的内容以背景居多(以黑色表示)，且被表征的缺陷与图像背景缺乏相关性。
现有方法是利用输入图像与重构图像的特征对比来优化CycleGan网络中判别器的性能。但对于超声缺陷图像来说，经过多层卷积后缺陷信息会受到一定程度的丢失，所以该方法在超声图像重构中对于判别器的性能提升不高。
如何在工业检测中将超声相控阵所成的二维图像(以下简称超声图像)准确的重构为缺陷的二维图像(以下简称重构图像)是目前亟待解决的问题。经过研究发现，无法直接将相关方法移植于工业超声相控阵图像重构。首先，由于在工业检测中，物体内部缺陷的分布和形貌往往是随机的，而有监督的深度学习网络无法满足工业检测的开放集实际应用需求。其次，通过裁剪来提高缺陷在图像中的占比虽然能够使网络学习到图像特征，但这不仅需要耗费巨大的成本来对图像进行预处理，同时也丢失了超声图像对于缺陷位置的重要表征属性。以上方法都无法保证重构图像信息的准确性。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于半监督CycleGan网络的超声相控阵图像优化重构方法及***，用于解决超声相控阵检测图像的高精度缺陷重构的技术问题。
本发明采用以下技术方案：
基于半监督CycleGan网络的超声相控阵图像优化重构方法，包括以下步骤：
S1、生成在超声图像和重构图像的两个域中一一对应的训练样本；
S2、将对抗性损失函数，循环一致性损失函数，个体损失函数和真实差异损失函数进行叠加，获取损失函数；
S3、基于步骤S2得到损失函数搭建半监督CycleGan网络结构，利用步骤S1生成的训练样本对半监督CycleGan网络结构进行训练，完成网络训练后，将超声相控阵实际检测的超声图像输入训练后的半监督CycleGan网络结构，得到检测缺陷的重构图像。
具体的，步骤S1中，在二维平面中对人工设计的缺陷进行超声成像，将得到缺陷的超声图像和原始的缺陷图像构成训练样本；或者对经过加工含有准确缺陷信息的试块进行实际测量及相应的重构计算，分别从加工信息中获取试块缺陷图像及对应的超声图像构成训练样本。
具体的，步骤S2中，损失函数
Figure BDA0003915792810000021
具体为：
Figure BDA0003915792810000031
其中，λcyc，λidt和λaut分别是可调超参数，
Figure BDA0003915792810000032
和
Figure BDA0003915792810000033
为对抗损失函数，
Figure BDA0003915792810000034
为循环一致性损失函数，
Figure BDA0003915792810000035
为个体损失函数，
Figure BDA0003915792810000036
为真实差异损失函数。
进一步的，对抗损失函数
Figure BDA0003915792810000037
和
Figure BDA0003915792810000038
分别为：
Figure BDA0003915792810000039
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure BDA00039157928100000310
GB(b)表示域B样本b(b～PB)经由生成器GB后输出的域A图像
Figure BDA00039157928100000311
DA(b)表示判别器DA对图像b的类别评分，DB(a)表示判别器DB对图像a的类别评分，
Figure BDA00039157928100000312
表示图像a服从域A的概率分布，
Figure BDA00039157928100000313
表示图像b服从域B的概率分布。
进一步的，循环一致性损失函数
Figure BDA00039157928100000314
为：
Figure BDA00039157928100000315
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure BDA00039157928100000316
GB(b)表示域B样本b(b～PB)经由生成器GB后输出的域A图像
Figure BDA00039157928100000317
Figure BDA00039157928100000318
表示图像a服从域A的概率分布，
Figure BDA00039157928100000319
表示图像b服从域B的概率分布。
进一步的，个体损失函数
Figure BDA00039157928100000320
为：
Figure BDA00039157928100000321
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure BDA00039157928100000322
GB(b)表示域B样本b(b～PB)经由生成器GB后输出的域A图像
Figure BDA00039157928100000323
Figure BDA00039157928100000324
表示图像a服从域A的概率分布，
Figure BDA00039157928100000325
表示图像b服从域B的概率分布。
进一步的，真实差异损失函数
Figure BDA0003915792810000041
为：
Figure BDA0003915792810000042
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure BDA0003915792810000043
GB(b)表示域B样本b(b～PB)经由生成器GB后输出的域A图像
Figure BDA0003915792810000044
Figure BDA0003915792810000045
表示图像a服从域A的概率分布，
Figure BDA0003915792810000046
表示图像b服从域B的概率分布，MSE为均方差损失函数。
具体的，步骤S3中，半监督CycleGan网络的训练过程如下：
超声图像和缺陷图像的非配对图像同时从两侧输入两个不同的生成器，并同时输出符合对方域的对应图像，判别器对生成器输出的图像进行鉴别；
超声图像a作为输入侧，在
Figure BDA0003915792810000047
阶段，分布于域A的图像a经过生成器GA后输出其对应分布于域B的缺陷图像
Figure BDA0003915792810000048
一方面，缺陷图像
Figure BDA0003915792810000049
与域B的相似性受到鉴别器DA对抗损失函数
Figure BDA00039157928100000410
的评价；另一方面，通过真实差异损失函数中的
Figure BDA00039157928100000411
量化GA生成的缺陷图像
Figure BDA00039157928100000412
与超声图像a所对应的真实缺陷图像b的差异程度；
随后在
Figure BDA00039157928100000413
阶段，输入生成器GB的域B缺陷图像
Figure BDA00039157928100000414
输出其对应的域A超声图像
Figure BDA00039157928100000415
并与网络的输入图像a通过循环一致性损失函数的
Figure BDA00039157928100000416
进行域相似性对比；
缺陷图像b作为输入侧，先后经历
Figure BDA00039157928100000417
与
Figure BDA00039157928100000418
两个阶段，分别受到鉴别器DB对抗损失函数
Figure BDA00039157928100000419
真实差异损失函数
Figure BDA00039157928100000420
以及循环一致性损失函数
Figure BDA00039157928100000421
的约束。
在结束一个批次图像的双向输出后，半监督CycleGan根据上述所计算的各损失函数项对网络参数进行优化调整。当训练完成时，半监督CycleGan网络实现由超声图像向缺陷图像的转化，以及由缺陷图像向超声图像的转化。
进一步的，半监督CycleGan网络包括生成器和判别器，生成器包括Conv2d层、LeakyRelu层、InstanceNorm层、Relu层、TransConv2d层和Tanh层；判别器采用多层卷积搭建的逐像素评分结构，包括Conv2d层、LeakyRelu层和InstanceNorm层；Conv2d层为二维卷积层，TransConv2d层为二维转置卷积层。
第二方面，本发明实施例提供了一种基于半监督CycleGan网络的超声相控阵图像优化重构***，包括：
样本模块，生成在超声图像和重构图像的两个域中一一对应的训练样本；
函数模块，将对抗性损失函数，循环一致性损失函数，个体损失函数和真实差异损失函数进行叠加，获取损失函数；
重构模块，基于函数模块得到损失函数搭建半监督CycleGan网络结构，利用样本模块生成的训练样本对半监督CycleGan网络结构进行训练，利用训练好的半监督CycleGan网络结构。
与现有技术相比，本发明至少具有以下有益效果：
本发明基于半监督CycleGan网络的超声相控阵图像优化重构方法，首先生成训练模型所需的一一对应的训练集，其次在原有基于无监督CycleGan网络模型的基础上，引入真实差异损失函数，在训练中将生成器GA和GB分别输出的异域图像与真实异域图像进行差异对比，从而使网络能够对图像中的缺陷形貌进行更加具有针对性的优化。最后，向训练完成的网络中输入超声相控阵检测的图像，网络就能在不丧失缺陷定位信息的基础上针对缺陷的形貌进行异域重构，从而消除超声图像中伪影对缺陷形貌的影响。
进一步的，在仿真软件中可以根据实际检测仪器与被测材料的参数来搭建较为客观的检测环境，并且能够设置任意位置和形貌的缺陷特征。而利用超声相控阵对实际设计缺陷的试块进行检测能够更加准确的获取到缺陷图像及对应的超声图像。无论采用哪种方法，本发明的训练集均不需要进一步对图像进行裁剪或对缺陷具体标注，降低了制作训练集的工作量。此外两者相比，仿真软件生成数据集的成本更低，样本的灵活性更好。
进一步的，损失函数
Figure BDA0003915792810000051
通过将作用于网络模型中各处的子损失函数相加，说明图像异域重构的准确性是各项子损失函数综合作用的结果。尤其是在网络模型反向传播时，通过对
Figure BDA0003915792810000061
计算梯度，就能对各项子损失函数的梯度进行求解，便于代码的实现。
进一步的，对抗损失函数是判别器对生成器所输出图像分布真实性的估计，其中分布真实性是指输出图像是否贴近期望域的分布。当估计正确时，网络模型会提高生成器的性能，而当估计错误时，网络模型则会对判别器进行优化。
进一步的，循环一致性损失函数是将单侧输入与对应输出的图像进行相似度对比。由于在网络模型中，图像的域发生了多次转化，循环一致性损失能够保证两幅图像在内容一致的基础上仅发生风格域的变化，从而实现对超声图像中含有伪影缺陷的准确重构。
进一步的，个体损失函数是另一项评估生成器性能的参数。其计算了当输入同域图像时，生成器输出的图像在同域中的分布估计。其目的是为了保证当输入同域图像时生成器也输出同域图像，从另一个侧面提高生成器的稳定性。
进一步的，真实差异损失将各生成器所输出的异域图像直接与训练集中对应的真实异域图像进行相似度评价。它更加注重图像中目标内容是否一致，以损失函数的方式提高了在小目标图像的异域转化任务中对于内容的关注度。
进一步的，采用同步异侧的样本输入策略对网络模型进行训练，首先每批次从训练集中仅随机抽取两幅异域图像，降低了网络训练所依赖的训练集体量，提高了网络模型的训练效率。其次通过分别在各生成器和判别器上配置损失函数，并结合网络整体评价的损失函数，既能够方便网络更加针对性的进行优化，也能够保证网络整体的性能。
进一步的，生成器与判别器是网络模型实现图像异域转化的基础单元，生成器能够对输入图像进行异域重构，而判别器对生成器的输出图像进行异域相似度估计。生成器采用的是Unet网络框架，它既可以提取图像的高维特征也能够保留图像的低语义信息。判别器采用的是一种仅在通道上进行升维而不改变图像尺寸的多层卷积模块结构。其能够逐像素的对重构图像进行评分，从而在像素级别上保证图像重构的准确性。网络模型根据判别器评分的正确性，对生成器或判别器进行网络参数优化，提高其对应性能，从而在多次迭代后提高生成器与判别器的性能。
可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
综上所述，本发明方法能够在不裁剪原图的前提下实现对小目标图像的异域重构；对于超声图像来说，既保留了图像中缺陷的位置信息，又消除了图像中缺陷伪影，使缺陷的形貌更加准确；采用仿真生成异域图像作为训练集，且不需要对每幅图中的缺陷进行具体标注，极大降低了生成训练集所需的成本。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为生成训练样本示意图，其中，(a)为含有具体信息人工缺陷的设计示意图，(b)为正方形孔的缺陷图像，(c)为正方形孔缺陷图像对应仿真生成超声图像，(d)为圆形孔的缺陷图像，(e)为圆形孔缺陷图像对应仿真生成超声图像；
图2为半监督CycleGan网络训练策略示意图，其中，(a)为本发明CycleGan网络的训练流程示意图，(b)为由域A向域B训练流程图，(c)为由域B向域A训练流程图；
图3为生成器的网络结构示意图；
图4为判别器的网络结构示意图；
图5为采用本发明方法对超声相控阵仿真图像进行双向重构的前后对比图，其中，(a)为输入的超声图像，(b)为重构的缺陷图像，(c)为真实的缺陷图像，(d)为输入的缺陷图像，(e)为重构的超声图像，(f)为真实的超声图像；
图6为采用本方法方法对实际超声相控阵图像缺陷重构的前后对比图，其中，(a)为超声相控阵获取的缺陷图像，(b)为经由本发明所提网络重构的缺陷图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于半监督CycleGan网络的超声相控阵图像优化重构方法，将人工设计的缺陷示意图(以下简称缺陷图像)和对应的超声图像所构成两个图像域作为训练样本集，在训练时，通过所提出的CycleGan半监督神经网络实现两个域图像的相互重构，在测试时，仅输入缺陷的超声图像即能输出其重构图像；最大优势在于对训练样本量极低，相比于动辄上千张图像的训练集，本发明提出的网络模型仅需要几十张配对的超声及重构图像即可满足训练需求，且不需要对超声相控阵成像进行任何预处理，即实现神经网络对超声图像与重构图像的对应特征学习。
本发明一种基于半监督CycleGan网络的超声相控阵图像优化重构方法，包括以下步骤：
S1、生成训练样本
用于本发明所提出网络结构训练的样本需要分别在超声图像和重构图像的两个域中一一对应，通过两种方法实现：
第一种方法是利用仿真软件，在二维平面中对人工设计的缺陷进行超声成像，由此获取到缺陷的超声图像和原始的缺陷图像。
第二种方法是利用超声相控阵设备，对经过加工含有准确缺陷信息的试块进行实际测量及相应的重构计算，从而分别从加工信息中获取试块缺陷图像及对应的超声图像。
请参阅图1，在两个指定位置分别设计了边长为1mm的方形孔和直径为1mm的圆形孔。并经过仿真软件计算后，得到了缺陷图像对应的超声图像。利用上述方法可以在任意位置设计并获取成对的缺陷图像及超声图像，从而生成训练样本。
S2、设计损失函数
在本发明所提出的网络模型中，分别定义了对抗性损失，循环一致性损失，个体损失和真实差异损失等四项损失函数。其中前三项与标准CycleGan网络中所定义的损失函数计算方法相同。将上述四项损失函数进行叠加，获取最终的模型损失函数。这四项损失函数的期望不同，从不同角度对网络模型进行限制，缺一不可。
具体来说，对抗性损失是指在CycleGan网络中的一组生成器与判别器中，利用判别器对该生成器所输出图像的真伪进行鉴别。以图2(b)中由域A图像a经过生成器GA并输出域B图像
Figure BDA0003915792810000101
为例，则对抗损失
Figure BDA0003915792810000102
表示如下：
Figure BDA0003915792810000103
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure BDA0003915792810000104
鉴别器DA分别对域B中的真实样本b(b～PB)和伪真实样本
Figure BDA0003915792810000105
进行鉴别。在此过程中，期望鉴别器DA能够准确对相同域的真实样本和伪真实样本进行鉴别，所以对于鉴别器取最大化方案
Figure BDA0003915792810000106
同时，期望生成器的伪真实样本与真实样本的域尽可能相似，所以对于生成器取最小化方案
Figure BDA0003915792810000107
同理，图2(c)中由域B图像b经过生成器GB并输出域A图像
Figure BDA0003915792810000108
即为：
Figure BDA0003915792810000109
循环一致性损失包含由域A向域B方向及由域B向域A方向转化时的两个子项构成，在双向训练过程中两个子项结构同时对网络施加约束。以图2b的域A转域B再转域A方向为例，其循环一致性损失如公式(3)所示：
Figure BDA0003915792810000111
在公式(3)中，域A样本a首先通过生成器GA，随后通过生成器GB，在两次转换后的输出同属域A样本
Figure BDA0003915792810000112
即GB(GA(a))。随后通过计算样本a与
Figure BDA0003915792810000113
的相似度来衡量生成器对于图像内容重构的准确性。
同理，图2(c)域B转域A再转域B方向的循环一致性损失如公式(4)所示：
Figure BDA0003915792810000114
将公式(3)和公式(4)累加，获取CycleGan网络的循环一致性损失，如公式(5)所示：
Figure BDA0003915792810000115
上述损失函数均是为了保证输入异域图像时生成器能够准确转换。而当输入相同域图像时，为了保***不会对其进行域转换，故设置了个体损失，其如公式(6)所示：
Figure BDA0003915792810000116
在公式(6)中，对生成器GA和GB分别输入b和a，并与其自身图像进行相似度评价，从而保证图像不会发生改变。
由于在超声图像中缺陷内容占比较少，所以在判别器对生成图像进行真伪判别的基础上，将输入图像的异域同内容图像作为真值标签，利用真实差异损失直接与生成图像进行相似度对比，以此引导生成器增强其性能，故真实差异损失如公式(7)所示：
Figure BDA0003915792810000117
最后，将上述公式(1)至公式(7)进行累加即得到网络模型的整体损失函数，如公式(8)所示：
Figure BDA0003915792810000121
其中，λcyc，λidt和λaut分别是可调超参数，用来平衡对应三个损失函数分项在整体函数中的权重。
S3、搭建半监督CycleGan网络并进行训练；
标准的CycleGan网络是一种无监督神经网络。其通过输入两个不同域的非配对图像来实现图像的风格转换。但是由于工业超声图像的特殊性，其无法有效将超声图像重构为缺陷图像。故本发明提出了一种半监督CycleGan网络结构及其对应训练策略，其中训练策略如图2所示。
从图2(a)看到，CycleGan网络的训练是双向的，即域A和域B的非配对图像同时从两侧输入两个不同的生成器，并同时输出符合对方域的对应图像。在此过程中，判别器对生成器所输出的图像进行鉴别，以提高生成器的成像性能。当训练完成时，网络既能实现由超声图像(域A)向缺陷图像(域B)的转化(图2(a)红色由左向右箭头方向)，也能实现由缺陷图像(域B)向超声图像(域A)的转化(图2(a)蓝色由右向左箭头方向)。而在测试及应用时，仅需要利用生成器A的模型数据，输入超声图像后即可实现缺陷图像的重构。图2(b)和图2(c)是具体两个域的训练流程图，其中a和b分别归属于域A和域B。以图2(b)为例，在域A的输入图像a经过第一个生成器GA后，一方面需要利用鉴别器DA对GA生成的图像
Figure BDA0003915792810000122
是否确实符合域B分布进行判定，另一方面需要将其在域B的输出图像
Figure BDA0003915792810000123
与原始域B中与a对应的图像b进行相似度评价，以保证图像a在域B中重构的准确性。随后再将
Figure BDA0003915792810000124
输入第二个生成器GB，其输出
Figure BDA0003915792810000125
则是从域B中
Figure BDA0003915792810000126
向域A重构的结果
Figure BDA0003915792810000127
图2(c)同理。
半监督CycleGan网络中，生成器采用Unet网络结构实现图像特征的编码和解码任务，判别器采用多层卷积搭建的逐像素评分结构对图像的真伪进行辨别。需要注意的是，本发明所提生成器的实施方式包括并不仅限于使用Unet网络，还包括其他图像特征提取的网络结构，且Unet中的具体各层配置根据具体图像特性的调整也应属于本发明权利要求所覆盖的范围。以域A向域B训练过程为例，生成器如图3所示。
在图3中，Conv2d层是二维卷积层，TransConv2d层是二维转置卷积层，其他各层均使用正常表述。在由域A向域B训练过程中，输入的超声图像不仅通过左侧逐层的卷积模块实现特征的向下提取，以获取高语义信息，同时，也横向将低语义信息在通道维度直接传递给右侧的上采样模块，以保证低语义信息的完整。
生成器输出的图像需要输入判别器以验***的重构性能，本发明使用的是一种仅在通道上进行升维而不改变图像尺寸的多层卷积模块。相比于其他基于增加感受野的马尔科夫判别器(PatchGan)，其能够逐像素的对重构图像进行评分，从而在像素级别上保证图像重构的准确性。判别器的网络结构如图4所示。
在图4中，逐像素评分矩阵的尺寸与输入的超声图像一致，并且在卷积过程中仅在通道维度上扩张，不需要对特征尺寸进行压缩，从而在像素级别上保证评分的准确性。
此外，本发明提出的网络模型采用Adam优化器对网络损失函数进行优化。
需要说明的是，为了论述便利，在公式(1)至公式(7)中分别利用了L1损失和MSE损失来评价特征及图像的相似性，但是在实际中，用于图像相似性评价的其它损失函数，包括并不限于L2损失和SSIM损失等评价方法，也应属本专利的覆盖范围。
本发明再一个实施例中，提供一种基于半监督CycleGan网络的超声相控阵图像优化重构***，该***能够用于实现上述基于半监督CycleGan网络的超声相控阵图像优化重构方法，具体的，该基于半监督CycleGan网络的超声相控阵图像优化重构***包括模块、模块、模块、模块以及模块。
其中，。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
采用本发明所提方法对仿真超声图像和实际检测所获取的含缺陷图像进行测试验证。
仿真图像与实际检测缺陷图像的分辨率均为256x256，其中利用仿真超声图像的重构结果如图5和表1所示：
表1超声仿真图像重构结果对比
编号 图像名称 X轴/pixel Y轴/pixel 面积/pixel
1 输入的超声图像 51 64 318
2 重构的缺陷图像 52 64 44
3 真实的缺陷图像 51 63 32
4 输入的缺陷图像 102 115 39
5 重构的超声图像 102 114 484
6 真实的超声图像 102 115 308
由图5和表1可知，图5(a)、(b)、(c)以及编号1-3表示由输入超声图像重构为缺陷图像的性能。与真实缺陷图像相比，重构缺陷图像在X轴/Y轴上仅有1像素的偏移，而从缺陷面积来说，在超声图像中缺陷占318像素，而重构后的缺陷在图像中仅占44像素，对应的真实缺陷占32像素。同时，图5(d)、(e)、(f)以及编号4-6表示了由输入缺陷图像重构为超声图像的性能。重构超声图像的缺陷仅在Y轴上偏移1像素。以上对比说明了本发明能够保证由超声图像对缺陷的高精度重构。
最终，采用本发明所提方法对实际检测所获取的含缺陷图像进行验证，其结果如图6和表2所示
表2超声检测图像重构结果
缺陷编号 X轴/pixel Y轴/pixel 面积/pixel
1-超声图像 229 182 342
1-重构图像 228 182 217
2-超声图像 177 130 212
2-重构图像 177 130 130
3-超声图像 124 79 232
3-重构图像 125 79 144
4-超声图像 73 27 244
4-重构图像 73 27 155
5-超声图像 46 27 244
5-重构图像 46 27 154
由图6和表2所示，编号1-5缺陷在重构后在定位上能够保持1像素以内的重构精度，而从图像中的缺陷面积看见，5个缺陷都能够有效的缩小，从而进一步的提高图像中缺陷的形貌表征。
综上所述，本发明一种基于半监督CycleGan网络的超声相控阵图像优化重构方法及***，能够在不裁剪原图的前提下实现对小目标图像的异域重构。对于超声图像来说，这既保留了图像中缺陷的位置信息，又消除了图像中缺陷伪影，使缺陷的形貌更加准确。方法中采用仿真生成异域图像作为训练集，且不需要对每幅图中的缺陷进行具体标注，极大降低了生成训练集所需的成本。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，包括以下步骤：
S1、生成在超声图像和重构图像的两个域中一一对应的训练样本；
S2、将对抗性损失函数，循环一致性损失函数，个体损失函数和真实差异损失函数进行叠加，获取损失函数；
S3、基于步骤S2得到损失函数搭建半监督CycleGan网络结构，利用步骤S1生成的训练样本对半监督CycleGan网络结构进行训练，完成网络训练后，将超声相控阵实际检测的超声图像输入训练后的半监督CycleGan网络结构，得到检测缺陷的重构图像。
2.根据权利要求1所述的基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，步骤S1中，在二维平面中对人工设计的缺陷进行超声成像，将得到缺陷的超声图像和原始的缺陷图像构成训练样本；或者对经过加工含有准确缺陷信息的试块进行实际测量及相应的重构计算，分别从加工信息中获取试块缺陷图像及对应的超声图像构成训练样本。
3.根据权利要求1所述的基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，步骤S2中，损失函数
Figure FDA0003915792800000011
具体为：
Figure FDA0003915792800000012
其中，λcyc，λidt和λaut分别是可调超参数，
Figure FDA0003915792800000013
和
Figure FDA0003915792800000014
为对抗损失函数，
Figure FDA0003915792800000015
为循环一致性损失函数，
Figure FDA0003915792800000016
为个体损失函数，
Figure FDA0003915792800000017
为真实差异损失函数。
4.根据权利要求3所述的基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，对抗损失函数
Figure FDA0003915792800000018
和
Figure FDA0003915792800000019
分别为：
Figure FDA0003915792800000021
Figure FDA0003915792800000022
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure FDA0003915792800000023
GB(b)表示域B样本b(b～PB)经由生成器GB后输出的域A图像
Figure FDA0003915792800000024
DA(b)表示判别器DA对图像b的类别评分，DB(a)表示判别器DB对图像a的类别评分，
Figure FDA0003915792800000025
表示图像a服从域A的概率分布，
Figure FDA0003915792800000026
表示图像b服从域B的概率分布。
5.根据权利要求3所述的基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，循环一致性损失函数
Figure FDA0003915792800000027
为：
Figure FDA0003915792800000028
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure FDA0003915792800000029
GB(b)表示域B样本b(b～PB)经由生成器GB后输出的域A图像
Figure FDA00039157928000000210
Figure FDA00039157928000000211
表示图像a服从域A的概率分布，
Figure FDA00039157928000000212
表示图像b服从域B的概率分布。
6.根据权利要求3所述的基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，个体损失函数
Figure FDA00039157928000000213
为：
Figure FDA00039157928000000214
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure FDA00039157928000000215
GB(b)表示域B样本b(b～PB)经由生成器GB后输出的域A图像
Figure FDA00039157928000000216
Figure FDA00039157928000000217
表示图像a服从域A的概率分布，
Figure FDA00039157928000000218
表示图像b服从域B的概率分布。
7.根据权利要求3所述的基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，真实差异损失函数
Figure FDA00039157928000000219
为：
Figure FDA00039157928000000220
其中，GA(a)表示域A样本a(a～PA)经由生成器GA后输出的域B图像
Figure FDA00039157928000000221
GB(b)表示域B样本b(b～PB)经由生成器GB后输出的域A图像
Figure FDA00039157928000000222
Figure FDA00039157928000000223
表示图像a服从域A的概率分布，
Figure FDA0003915792800000031
表示图像b服从域B的概率分布，MSE为均方差损失函数。
8.根据权利要求1所述的基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，步骤S3中，半监督CycleGan网络的训练过程如下：
超声图像和缺陷图像的非配对图像同时从两侧输入两个不同的生成器，并同时输出符合对方域的对应图像，判别器对生成器输出的图像进行鉴别；
超声图像a作为输入侧，在
Figure FDA0003915792800000032
阶段，分布于域A的图像a经过生成器GA后输出其对应分布于域B的缺陷图像
Figure FDA0003915792800000033
一方面，缺陷图像
Figure FDA0003915792800000034
与域B的相似性受到鉴别器DA对抗损失函数
Figure FDA0003915792800000035
的评价；另一方面，通过真实差异损失函数中的
Figure FDA0003915792800000036
量化GA生成的缺陷图像
Figure FDA0003915792800000037
与超声图像a所对应的真实缺陷图像b的差异程度；
随后在
Figure FDA0003915792800000038
阶段，输入生成器GB的域B缺陷图像
Figure FDA0003915792800000039
输出其对应的域A超声图像
Figure FDA00039157928000000310
并与网络的输入图像a通过循环一致性损失函数的
Figure FDA00039157928000000311
进行域相似性对比；
缺陷图像b作为输入侧，先后经历
Figure FDA00039157928000000312
与
Figure FDA00039157928000000313
两个阶段，分别受到鉴别器DB对抗损失函数
Figure FDA00039157928000000314
真实差异损失函数
Figure FDA00039157928000000315
以及循环一致性损失函数
Figure FDA00039157928000000316
的约束；
在结束一个批次图像的双向输出后，半监督CycleGan根据上述所计算的各损失函数项对网络参数进行优化调整；当训练完成时，半监督CycleGan网络实现由超声图像向缺陷图像的转化，以及由缺陷图像向超声图像的转化。
9.根据权利要求8所述的基于半监督CycleGan网络的超声相控阵图像优化重构方法，其特征在于，半监督CycleGan网络包括生成器和判别器，生成器包括Conv2d层、LeakyRelu层、InstanceNorm层、Relu层、TransConv2d层和Tanh层；判别器采用多层卷积搭建的逐像素评分结构，包括Conv2d层、LeakyRelu层和InstanceNorm层；Conv2d层为二维卷积层，TransConv2d层为二维转置卷积层。
10.一种基于半监督CycleGan网络的超声相控阵图像优化重构***，其特征在于，包括：
样本模块，生成在超声图像和重构图像的两个域中一一对应的训练样本；
函数模块，将对抗性损失函数，循环一致性损失函数，个体损失函数和真实差异损失函数进行叠加，获取损失函数；
重构模块，基于函数模块得到损失函数搭建半监督CycleGan网络结构，利用样本模块生成的训练样本对半监督CycleGan网络结构进行训练，利用训练好的半监督CycleGan网络结构。
CN202211337748.1A 2022-10-28 2022-10-28 基于半监督CycleGan网络的超声相控阵图像优化重构方法及*** Pending CN115601572A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211337748.1A CN115601572A (zh) 2022-10-28 2022-10-28 基于半监督CycleGan网络的超声相控阵图像优化重构方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211337748.1A CN115601572A (zh) 2022-10-28 2022-10-28 基于半监督CycleGan网络的超声相控阵图像优化重构方法及***

Publications (1)

Publication Number Publication Date
CN115601572A true CN115601572A (zh) 2023-01-13

Family

ID=84851620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211337748.1A Pending CN115601572A (zh) 2022-10-28 2022-10-28 基于半监督CycleGan网络的超声相控阵图像优化重构方法及***

Country Status (1)

Country Link
CN (1) CN115601572A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830462A (zh) * 2023-02-24 2023-03-21 中国人民解放军国防科技大学 基于循环一致性对抗网络的sar图像重构方法及装置
CN116563169A (zh) * 2023-07-07 2023-08-08 成都理工大学 基于混合监督学习的探地雷达图像异常区域增强方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830462A (zh) * 2023-02-24 2023-03-21 中国人民解放军国防科技大学 基于循环一致性对抗网络的sar图像重构方法及装置
CN116563169A (zh) * 2023-07-07 2023-08-08 成都理工大学 基于混合监督学习的探地雷达图像异常区域增强方法
CN116563169B (zh) * 2023-07-07 2023-09-05 成都理工大学 基于混合监督学习的探地雷达图像异常区域增强方法

Similar Documents

Publication Publication Date Title
CN115601572A (zh) 基于半监督CycleGan网络的超声相控阵图像优化重构方法及***
CN106663316A (zh) 一种基于块稀疏压缩感知的红外图像重构方法及其***
CN110503635B (zh) 一种基于异构数据融合网络的手骨x光片骨龄评估方法
CN114387207B (zh) 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型
CN108122221A (zh) 弥散加权成像图像中脑缺血区域的分割方法及装置
CN114266939B (zh) 一种基于ResTLU-Net模型的脑提取方法
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN115601661A (zh) 一种用于城市动态监测的建筑物变化检测方法
CN109978888A (zh) 一种图像分割方法、装置及计算机可读存储介质
CN110543916A (zh) 一种缺失多视图数据的分类方法及***
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及***
CN114913262B (zh) 采样模式与重建算法联合优化的核磁共振成像方法及***
Li et al. 3-D inspection method for industrial product assembly based on single X-ray projections
CN114511521B (zh) 基于多重表示与多重子域自适应的轮胎瑕疵检测方法
CN103854015B (zh) 基于联合稀疏描述的多姿态三维人脸识别方法
CN112766381B (zh) 有限样本下属性引导的sar图像生成方法
CN116206203B (zh) 基于SAR与Dual-EndNet的溢油检测方法
CN108960326A (zh) 一种基于深度学习框架的点云快速分割方法及其***
CN117523394A (zh) 一种基于聚合特征增强网络的sar船舰检测方法
CN117274192A (zh) 一种基于改进YOLOv5的管道漏磁缺陷检测方法
CN116863024A (zh) 一种磁共振图像重建方法、***、电子设备及存储介质
CN116167936A (zh) 一种用于洪水监测的山体阴影去除方法及装置
CN114820636A (zh) 一种三维医学图像分割模型及其训练方法和应用
CN105023016B (zh) 基于压缩感知分类的目标感知方法
CN107341798A (zh) 基于全局‑局部SPP Net的高分辨SAR图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination