CN113284112A - 一种基于深度神经网络的熔滴图像轮廓提取方法及*** - Google Patents

一种基于深度神经网络的熔滴图像轮廓提取方法及*** Download PDF

Info

Publication number
CN113284112A
CN113284112A CN202110583032.9A CN202110583032A CN113284112A CN 113284112 A CN113284112 A CN 113284112A CN 202110583032 A CN202110583032 A CN 202110583032A CN 113284112 A CN113284112 A CN 113284112A
Authority
CN
China
Prior art keywords
molten drop
resolution
image
drop image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110583032.9A
Other languages
English (en)
Other versions
CN113284112B (zh
Inventor
于强
刘晓珂
陆潇晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Space Science Center of CAS
Original Assignee
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Space Science Center of CAS filed Critical National Space Science Center of CAS
Priority to CN202110583032.9A priority Critical patent/CN113284112B/zh
Publication of CN113284112A publication Critical patent/CN113284112A/zh
Application granted granted Critical
Publication of CN113284112B publication Critical patent/CN113284112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度神经网络的熔滴图像轮廓提取方法及***，该方法包括：将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型，得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，特征提取模块，用于提取低分辨率熔滴图像的特征信息；形状监督模块，用于提取低分辨熔滴图像的形状信息，并输出熔滴轮廓图像；重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。本发明的方法与现有方法相比，提高了热物性特征量计算的准确度，将两步式的计算过程简化为一步降低了计算复杂度。

Description

一种基于深度神经网络的熔滴图像轮廓提取方法及***
技术领域
本发明涉及计算机领域和空间材料领域，具体地涉及一种基于深度神经网络的熔滴图像轮廓提取方法及***。
背景技术
材料热物性是表征材料性质的重要特征量，典型的热物理性质包括熔体密度、热膨胀系数、表面张力、粘度系数和深过冷比热等，在航空航天、微电子技术、新材料研发等高新技术领域，以及石油化工，钢铁冶金等传统工业领域都具有明显的科学意义和重要的工程应用价值，是技术创新、材料开发和科学研究的基础。在空间材料实验中，材料热物性特征参数计算的精确度对材料开展进一步的研究尤为重要。熔滴材料密度和热膨胀系数的计算都与其体积有关，其表面张力以及粘度系数的计算又依赖于材料密度，可知材料热物性特征量计算的精确度取决于体积测量精度。
熔滴体积通过解析图像获得，因此熔滴体积测量的精确与否很大程度上取决于融滴图像质量以及所用的轮廓提取算法。受外部条件的限制，通常获取到的熔滴图像都是受噪音污染严重的低质量图像，导致热物性特征量计算困难且很不准确。由于深度神经网络的优越性，在计算机领域采用深度神经网络进行图像的轮廓提取越来越普遍，但是在实际应用中，深度神经网络提取图像的轮廓对图像的质量和分辨率有一定的要求，对于低分辨率的图像进行轮廓提取仍然存在准确性较差的问题。
发明内容
本发明的目的在于克服现有图像处理算法提取轮廓不准的问题，提出了一种基于深度神经网络的熔滴图像轮廓提取方法及***。
为了实现上述目的，本发明提出了一种基于深度神经网络的熔滴图像轮廓提取方法，所述方法包括：
将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型，得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨率熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴轮廓图像。
作为上述方法的一种改进，所述特征提取模块Ffeature的输入为低分辨率熔滴图像LR，输出为特征信息Yfeature，满足下式：
Yfeature＝Ffeature(LR)
所述特征提取模块包括依次连接的第一卷积层、第二卷积层、两个结构相同的残差块和第三卷积层；其中，
所述第一卷积层和第二卷积层，用于提取低分辨率熔滴图像浅层的特征信息，其中，第一卷积层卷积核尺寸大小为3*3，特征通道数量为3，步长为1；第二卷积层卷积核尺寸大小为5*5，特征通道数量为64，步长为2；
所述两个结构相同的残差块，用于提取低分辨熔滴图像深层的特征信息并避免发生梯度消失与梯度***，每个残差块均包括两个卷积层、两个标准化层和两个激活函数层；其中，卷积层的尺寸大小为3*3，特征通道数量64，步长为1，激活函数层的激活函数为PReLU；
所述第三卷积层，用于进一步提取细节特征信息，卷积核尺寸大小为5*5，特征通道数量为64，步长为1。
作为上述方法的一种改进，所述形状监督模块Fshpae的输入为低分辨率熔滴图像LR，输出为熔滴图像的轮廓Yshape，满足下式：
Yshape＝Fshape(LR)
所述形状监督模块包括依次连接的第一卷积层、第二卷积层、两个结构相同的残差块以及两个结构相同的沙漏结构；其中，
所述第一卷积层和第二卷积层，用于提取低分辨率熔滴图像浅层的特征信息；结构分别与特征提取模块的第一卷积层和第二卷积层相同；
所述两个结构相同的残差块，用于提取低分辨熔滴图像深层的特征信息并避免发生梯度消失与梯度***；残差块与特征提取模块的残差块结构相同；
所述两个结构相同的沙漏结构，用于提取低分辨率熔滴图像轮廓关键点信息；每个沙漏结构包括残差块、最大池化层和上采样层；残差块与特征提取模块的残差块结构相同，最大池化层核尺寸大小为2*2，移动步长为1；上采样层的上采样尺寸因子为2。
作为上述方法的一种改进，所述重建模块Freconstruct的输入为特征信息Yfeature和熔滴轮廓图像Yshape，输出为重建的高分辨率的熔滴图像Yout，满足下式：
Figure BDA0003086784040000031
其中，
Figure BDA0003086784040000032
表示进行融合处理；
所述重建模块包括依次连接的第一卷积层、反卷积层和第二卷积层；其中，
所述第一卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1；
所述反卷积层，卷积核尺寸大小为3*3，特征通道数量为64，步长为1；
所述第二卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1。
作为上述方法的一种改进，所述方法还包括熔滴图像轮廓提取模型的训练步骤，具体包括：
步骤1)建立训练集；所述训练集包括若干组训练数据，每组数据包括高分辨率熔滴图像、对应的低分辨率熔滴图像以及对应的高分辨率轮廓标注熔滴图像；
步骤2)将一组训练数据的低分辨率熔滴图像同时输入熔滴图像轮廓提取模型的特征提取模块和形状监督模块，特征提取模块输出特征信息，形状提取模块输出轮廓信息，该轮廓信息受到该组训练数据的高分辨率轮廓标注熔滴图像的监督，均方差损失函数LossMSE输出值Lossshape满足下式：
Lossshape＝LossMSE(Ypre-Yshape)
其中，Ypre为高分辨率轮廓标注熔滴图像，Yshape为熔滴轮廓图像；
步骤3)将轮廓信息和特征信息结合后输入重建模块，重建模块输出熔滴图像，该熔滴图像受高分辨率熔滴图像的分辨率监督，均方差损失函数LossMSE输出值Lossreconstruct满足下式：
Lossreconstruct＝LossMSE(YHR-Yout)
其中，YHR为高分辨率熔滴图像，Yout为熔滴图像；
步骤4)判断Lossshape未达到形状损失函数阈值或Lossreconstruct未达到重建损失函数阈值，则调整熔滴图像轮廓提取模型的参数，并转至步骤2)；当Lossshape或Lossreconstruct均满足对应的阈值时，转至步骤5)；
步骤5)输出训练好的熔滴图像轮廓提取模型。
作为上述方法的一种改进，所述建立训练集具体包括：
通过精密光学放大设备获得若干个高分辨率熔滴图像；
对每个高分辨率熔滴图像使用双三次线性插值方法进行下采样，将下采样得到的图像使用双三次线性插值方法上采样到目标图像尺寸，进而得到对应的低分辨率熔滴图像；
对每个高分辨率熔滴图像使用图像标注工具提取对应的高分辨率轮廓标注熔滴图像；
由一个高分辨熔滴图像以及对应的低分辨率熔滴图像和高分辨率轮廓标注熔滴图像组成一组训练数据，从而得到多组训练数据，构成训练集。
一种基于深度神经网络的熔滴图像轮廓提取***，其特征在于，所述***包括：熔滴图像轮廓提取模型、输入模块和提取输出模块；其中，
所述输入模块，用于将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型；
所述输出模块，用于得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。
与现有技术相比，本发明的优势在于：
1、在提取熔滴图像轮廓时，即便是分辨率低、受噪音污染的低质量图像，与现有轮廓提取算法相比可以提取到最准确的轮廓；后续可根据轮廓信息，计算熔滴材料的热物性参数，为探究新的材料提供论证基础；
2、本发明提出利用形状监督超分辨卷积神经网络来提高图像质量，并利用其子网络直接精确提取液滴轮廓，该方法与现有方法相比，提高了热物性特征量计算的准确度，将两步式的计算过程简化为一步降低了计算复杂度。
附图说明
图1是本发明实施例1的基于深度神经网络的熔滴图像轮廓提取方法训练过程流程图；
图2是本发明实施例1的熔滴图像轮廓提取模型的网络结构图；
图3是本发明实施例1的熔滴图像轮廓提取模型的特征提取模块结构图；
图4是本发明实施例1的熔滴图像轮廓提取模型的形状监督模块结构图；
图5是本发明实施例1的熔滴图像轮廓提取模型的重建模块结构图；
图6是本发明实施例1的熔滴图像轮廓提取模型的形状监督模块的沙漏结构图；
图7是本发明实施例1的用于图像轮廓提取模型训练的低分辨率熔滴图像示例；
图8是本发明实施例1的用于图像轮廓提取模型训练的高分辨率熔滴图像示例；
图9是本发明实施例1的用于图像轮廓提取模型训练的高分辨率轮廓标注熔滴图像示例；
图10是本发明实施例1的图像轮廓提取模型训练输出的熔滴轮廓图像示例；
图11是本发明实施例1的实际使用流程图。
具体实施方式
在训练阶段，输入图像包括低分辨图像，高分辨图像，高分辨率轮廓标注图像三部分，其中低分辨图像用于重建并提取其重建后的轮廓以计算其热物性参数，高分辨率图像和高分辨率轮廓标注图像起到监督作用；特征提取模块由卷积层和残差块组成用于提取低分辨率熔滴图像的特征信息；形状监督模块由卷积层和残差块以及沙漏网络组成用于提取低分辨率熔滴图像的形状信息，并输出低分辨率图像重建后图像的轮廓；重建模块将特征提取模块与形状监督模块的输出融合后进行反卷积，输出的高分辨率图像反馈给输入。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
图1为熔滴图像轮廓提取方法一个实例的流程图，图2为基于深度神经网络的熔滴图像轮廓提取模型结构图。本实施例中该神经网络包括：图像输入模块101，特征提取模块102，形状监督模块103，重建模块104。
对于图像输入，在网络训练时由低分辨的熔滴图像、高分辨率的熔滴图像、高分辨率轮廓标注的熔滴图像三部分组成；网络训练完成后只需要输入低分辨率的熔滴图像。
熔滴图像轮廓提取模型包括并行连接的特征提取模块和形状监督模块以及再串联的重建模块。
1)特征提取模块，用于提取低分辨率熔滴图像的特征信息。特征提取模块102包括依次连接的第一卷积层、第二卷积层、两个残差块和第三卷积层，如图3所示。
其中，卷积层，用于提取低分辨率熔滴图像浅层的特征信息；第一卷积层卷积核尺寸大小为3*3，特征通道数量为3，步长为1，感受野较小用于提取低分辨熔滴图像的特征信息。
第二卷积层卷积核尺寸大小为5*5，特征通道数量为64，步长为2，扩大感受野同时增大特征通道的数量，以提取到更多的熔滴图像的特征信息。
第三卷积层，用于进一步提取细节特征信息，卷积核尺寸大小为5*5，特征通道数量为64，步长为1。
残差块，用于提取低分辨熔滴图像深层的特征信息并避免梯度消失与梯度***发生。两个残差块结构相同，由第一卷积层、第一批标准化层、激活函数层、第二卷积层、第二批标准化层和第二激活函数层组成。目的是为了提取更深层次的特征信息，并且规避梯度消失与梯度***问题。其中，
第一、第二批标准化层使大部分激活的值落入非线性函数的线性区域内，其对应的导数远离导数饱和区，这样来加速训练收敛过程。
两个激活函数采用PReLU。
特征提取模块具体实现过程为：
Yfeature＝Ffeature(LR)
特征提取模块输入为低分辨率熔滴图像LR，经过特征提取模块Ffeature，得到特征提取模块的输出Yfeature。
2)形状监督模块，用于提取低分辨熔滴图像的形状信息，还输出熔滴图像的轮廓。由位于开始位置的两个卷积层和中间的两个相同残差块以及最后的两个相同沙漏结构组成，用于提取低分辨熔滴图像的形状信息，并输出重建后图像的轮廓。如图4所示。
卷积层，用于提取低分辨率熔滴图像浅层的特征信息；
残差块，用于提取低分辨熔滴图像深层的特征信息并避免梯度消失与梯度***发生；
沙漏结构，用于提取低分辨率熔滴图像轮廓关键点信息；如图6所示。
形状监督模块103包括第一卷积层、第二卷积层、两个残差块和两个沙漏结构。
形状监督模块的第一、第二卷积层，两个残差块与分别特征提取模块相同。
形状监督模块的两个沙漏结构相同如图6所示，所使用的沙漏结构是四阶的由残差块、最大池化层、上采样层组成。沙漏结构的残差块与特征提取模块残差块相同。最大池化层核尺寸大小为2*2，移动步长为1。上采样尺寸因子为2。
形状监督模块具体实现过程为：
Yshape＝Fshape(LR)
形状监督模块输入为低分辨率熔滴图像LR，经过形状监督模块Fshpae，形状监督模块输出重建后熔滴图像轮廓Yshape。
Lossshape＝LossMSE(Ypre-Yshape)
高分辨率轮廓标注熔滴图像Ypre通过均方差损失函数LossMSE实现形状监督。
3)重建模块，输入为特征提取模块输出与形状监督模块输出的合并，输出重建的高分辨率的熔滴图像，并将高分辨率图像反馈到输入模块。由位于开始与结尾的卷积层以及中间的反卷积层组成，将特征提取模块与形状监督模块的输出融合后进行反卷积，输出的高分辨率熔滴图像反馈给输入模块，如图5所示。
第一卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1。
反卷积层，卷积核尺寸大小为3*3，特征通道数量为64，步长为1，用于重建高分辨熔滴图像。
第二卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1。
重建模块具体实现过程为：
Figure BDA0003086784040000071
重建模块将特征提取模块输出Yfeature与形状监督模块Yshape的输出进行融合
Figure BDA0003086784040000072
输出高分辨率的熔滴图像Yout。
Lossreconstruct＝LossMSE(YHR-Yout)
高分辨率熔滴图像YHR通过均方差损失函数Lossreconstruct实现形状监督。
训练过程：
输入的图像包括低分辨熔滴图像、高分辨率熔滴图像和高分辨轮廓标注熔滴图像；其中，
所述高分辨率熔滴图像，通过精密光学放大设备获得，在训练神经网络时，其与低分辨熔滴图像以及高分辨率轮廓标准熔滴图像成对输入到特征提取模块和形状监督模块。
所述低分辨熔滴图像，对高分辨率熔滴图像使用双三次线性插值方法下采样，将下采样得到图像使用双三次线性插值方法上采样到目标图像尺寸，得到低分辨率熔滴图像。在训练神经网络时，其与高分辨熔滴图像以及高分辨率轮廓标注熔滴图像成对输入到特征提取和形状监督模块。
所述高分辨率轮廓标注熔滴图像，使用图像标注工具提取高分辨率熔滴图像轮廓获得。在训练神经网络时，其与其与高分辨熔滴图像以及低分辨率熔滴图像成对输入到特征提取和形状监督模块。
所述高分辨轮廓标注熔滴滴图像，通过标注工具获得高分辨率轮廓标注熔融图像。采用双三次线性插值的方法将高分辨率熔融图像下采样，然后用双三次线性插值的方法将上一步获得的下采样图像扩大的高分辨熔滴图像的尺寸获得低分辨率熔滴图像。
例如选取一百对由低分辨率熔滴图像、高分辨熔滴图像、高分辨率轮廓标注熔滴图像组成的数据集训练基于深度神经网络的熔滴图像轮廓提取方法的模型，将待提取轮廓的熔滴图像输入模型，即可得到熔滴图像的轮廓。如图7所示是用于图像轮廓提取模型训练的低分辨率熔滴图像示例；图8是用于图像轮廓提取模型训练的高分辨率熔滴图像示例；图9是用于图像轮廓提取模型训练的高分辨率轮廓标注熔滴图像示例；图10是图像轮廓提取模型训练输出的熔滴轮廓图像示例。
使用过程：
如图11所示，对于已经建立和训练好的熔滴图像轮廓提取模型，将采集的低分辨熔滴图像输入熔滴图像轮廓提取模型，得到高分辨率的熔滴轮廓图像和熔滴图像。
实施例2
本发明的实施例2提出了一种基于深度神经网络的熔滴图像轮廓提取***，该***包括：熔滴图像轮廓提取模型、输入模块和提取输出模块；其中，
所述输入模块，用于将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型；
所述输出模块，用于得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于深度神经网络的熔滴图像轮廓提取方法，所述方法包括：
将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型，得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨率熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。
2.根据权利要求1所述的基于深度神经网络的熔滴图像轮廓提取方法，其特征在于，所述特征提取模块Ffeature的输入为低分辨率熔滴图像LR，输出为特征信息Yfeature，满足下式：
Yfeature＝Ffeature(LR)
所述特征提取模块包括依次连接的第一卷积层、第二卷积层、两个结构相同的残差块和第三卷积层；其中，
所述第一卷积层和第二卷积层，用于提取低分辨率熔滴图像浅层的特征信息，其中，第一卷积层卷积核尺寸大小为3*3，特征通道数量为3，步长为1；第二卷积层卷积核尺寸大小为5*5，特征通道数量为64，步长为2；
所述两个结构相同的残差块，用于提取低分辨熔滴图像深层的特征信息并避免发生梯度消失与梯度***，每个残差块均包括两个卷积层、两个标准化层和两个激活函数层；其中，卷积层的尺寸大小为3*3，特征通道数量64，步长为1，激活函数层的激活函数为PReLU；
所述第三卷积层，用于进一步提取细节特征信息，卷积核尺寸大小为5*5，特征通道数量为64，步长为1。
3.根据权利要求2所述的基于深度神经网络的熔滴图像轮廓提取方法，其特征在于，所述形状监督模块Fshpae的输入为低分辨率熔滴图像LR，输出为熔滴图像的轮廓Yshape，满足下式：
Yshape＝Fshape(LR)
所述形状监督模块包括依次连接的第一卷积层、第二卷积层、两个结构相同的残差块以及两个结构相同的沙漏结构；其中，
所述第一卷积层和第二卷积层，用于提取低分辨率熔滴图像浅层的特征信息；结构分别与特征提取模块的第一卷积层和第二卷积层相同；
所述两个结构相同的残差块，用于提取低分辨熔滴图像深层的特征信息并避免发生梯度消失与梯度***；残差块与特征提取模块的残差块结构相同；
所述两个结构相同的沙漏结构，用于提取低分辨率熔滴图像轮廓关键点信息；每个沙漏结构包括残差块、最大池化层和上采样层；残差块与特征提取模块的残差块结构相同，最大池化层核尺寸大小为2*2，移动步长为1；上采样层的上采样尺寸因子为2。
4.根据权利要求3所述的基于深度神经网络的熔滴图像轮廓提取方法，其特征在于，所述重建模块Freconstruct的输入为特征信息Yfeature和熔滴轮廓图像Yshape，输出为重建的高分辨率的熔滴图像Yout，满足下式：
Figure FDA0003086784030000021
其中，
Figure FDA0003086784030000022
表示进行融合处理；
所述重建模块包括依次连接的第一卷积层、反卷积层和第二卷积层；其中，
所述第一卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1；
所述反卷积层，卷积核尺寸大小为3*3，特征通道数量为64，步长为1；
所述第二卷积层，卷积核尺寸大小为3*3，特征通道数量为3，步长为1。
5.根据权利要求1所述的基于深度神经网络的熔滴图像轮廓提取方法，其特征在于，所述方法还包括熔滴图像轮廓提取模型的训练步骤，具体包括：
步骤1)建立训练集；所述训练集包括若干组训练数据，每组数据包括高分辨率熔滴图像、对应的低分辨率熔滴图像以及对应的高分辨率轮廓标注熔滴图像；
步骤2)将一组训练数据的低分辨率熔滴图像同时输入熔滴图像轮廓提取模型的特征提取模块和形状监督模块，特征提取模块输出特征信息，形状提取模块输出轮廓信息，该轮廓信息受到该组训练数据的高分辨率轮廓标注熔滴图像的监督，均方差损失函数LossMSE输出值Lossshape满足下式：
Lossshape＝LossMSE(Ypre-Yshape)
其中，Ypre为高分辨率轮廓标注熔滴图像，Yshape为熔滴轮廓图像；
步骤3)将轮廓信息和特征信息结合后输入重建模块，重建模块输出熔滴图像，该熔滴图像受高分辨率熔滴图像的分辨率监督，均方差损失函数LossMSE输出值Lossreconstruct满足下式：
Lossreconstruct＝LossMSE(YHR-Yout)
其中，YHR为高分辨率熔滴图像，Yout为熔滴图像；
步骤4)判断Lossshape未达到形状损失函数阈值或Lossreconstruct未达到重建损失函数阈值，则调整熔滴图像轮廓提取模型的参数，并转至步骤2)；当Lossshape或Lossreconstruct均满足对应的阈值时，转至步骤5)；
步骤5)输出训练好的熔滴图像轮廓提取模型。
6.根据权利要求5所述的基于深度神经网络的熔滴图像轮廓提取方法，其特征在于，所述建立训练集具体包括：
通过精密光学放大设备获得若干个高分辨率熔滴图像；
对每个高分辨率熔滴图像使用双三次线性插值方法进行下采样，将下采样得到的图像使用双三次线性插值方法上采样到目标图像尺寸，进而得到对应的低分辨率熔滴图像；
对每个高分辨率熔滴图像使用图像标注工具提取对应的高分辨率轮廓标注熔滴图像；
由一个高分辨熔滴图像以及对应的低分辨率熔滴图像和高分辨率轮廓标注熔滴图像组成一组训练数据，从而得到多组训练数据，构成训练集。
7.一种基于深度神经网络的熔滴图像轮廓提取***，其特征在于，所述***包括：熔滴图像轮廓提取模型、输入模块和提取输出模块；其中，
所述输入模块，用于将采集的低分辨率熔滴图像输入预先建立和训练好的熔滴图像轮廓提取模型；
所述输出模块，用于得到高分辨率的熔滴图像和高分辨率的熔滴轮廓图像；
所述熔滴图像轮廓提取模型为并行连接的特征提取模块和形状监督模块，再串行连接重建模块；其中，
所述特征提取模块，用于提取低分辨率熔滴图像的特征信息；
所述形状监督模块，用于提取低分辨熔滴图像的形状信息，并输出熔滴轮廓图像；
所述重建模块，用于对低分辨率熔滴图像的特征信息和熔滴轮廓图像进行合并，输出重建的高分辨率的熔滴图像。
CN202110583032.9A 2021-05-27 2021-05-27 一种基于深度神经网络的熔滴图像轮廓提取方法及*** Active CN113284112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110583032.9A CN113284112B (zh) 2021-05-27 2021-05-27 一种基于深度神经网络的熔滴图像轮廓提取方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110583032.9A CN113284112B (zh) 2021-05-27 2021-05-27 一种基于深度神经网络的熔滴图像轮廓提取方法及***

Publications (2)

Publication Number Publication Date
CN113284112A true CN113284112A (zh) 2021-08-20
CN113284112B CN113284112B (zh) 2023-11-10

Family

ID=77281942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110583032.9A Active CN113284112B (zh) 2021-05-27 2021-05-27 一种基于深度神经网络的熔滴图像轮廓提取方法及***

Country Status (1)

Country Link
CN (1) CN113284112B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468973A (zh) * 2023-06-09 2023-07-21 深圳比特微电子科技有限公司 用于低照度图像的目标检测模型的训练方法、装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109558880A (zh) * 2018-10-16 2019-04-02 杭州电子科技大学 一种基于视觉整体和局部特征融合的轮廓检测方法
CN109919954A (zh) * 2019-03-08 2019-06-21 广州视源电子科技股份有限公司 目标对象的识别方法和装置
CN110033410A (zh) * 2019-03-28 2019-07-19 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
WO2019143177A1 (ko) * 2018-01-18 2019-07-25 주식회사 뷰노 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
CN110880165A (zh) * 2019-10-15 2020-03-13 杭州电子科技大学 一种基于轮廓和颜色特征融合编码的图像去雾方法
CN111985161A (zh) * 2020-08-21 2020-11-24 广东电网有限责任公司清远供电局 一种变电站三维模型重构方法
US20200380696A1 (en) * 2019-05-30 2020-12-03 Springbok, Inc. System and method for automatic segmentation of muscles from high-resolution mri using 3d deep convolutional neural network
CN112183665A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的co2焊接熔池图像识别方法
CN112767252A (zh) * 2021-01-26 2021-05-07 电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
WO2019143177A1 (ko) * 2018-01-18 2019-07-25 주식회사 뷰노 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109558880A (zh) * 2018-10-16 2019-04-02 杭州电子科技大学 一种基于视觉整体和局部特征融合的轮廓检测方法
CN109919954A (zh) * 2019-03-08 2019-06-21 广州视源电子科技股份有限公司 目标对象的识别方法和装置
CN110033410A (zh) * 2019-03-28 2019-07-19 华中科技大学 图像重建模型训练方法、图像超分辨率重建方法及装置
US20200380696A1 (en) * 2019-05-30 2020-12-03 Springbok, Inc. System and method for automatic segmentation of muscles from high-resolution mri using 3d deep convolutional neural network
CN110880165A (zh) * 2019-10-15 2020-03-13 杭州电子科技大学 一种基于轮廓和颜色特征融合编码的图像去雾方法
CN111985161A (zh) * 2020-08-21 2020-11-24 广东电网有限责任公司清远供电局 一种变电站三维模型重构方法
CN112183665A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的co2焊接熔池图像识别方法
CN112767252A (zh) * 2021-01-26 2021-05-07 电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KUANG GONG等: ""extract Low-dose dual energy CT image reconstruction using non-local deep image prior"", 《2019 IEEE NUCLEAR SCIENCE SYMPOSIUM AND MEDICAL IMAGING CONFERENCE (NSS/MIC)》 *
林琦;陈婧;曾焕强;朱建清;蔡灿辉;: "基于多尺度特征残差学习卷积神经网络的视频超分辨率方法", 信号处理, no. 01 *
石永华, 钟继光, 刘桑, 王国荣: "视觉传感及图像处理技术在焊接中的应用", 电焊机, no. 09 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468973A (zh) * 2023-06-09 2023-07-21 深圳比特微电子科技有限公司 用于低照度图像的目标检测模型的训练方法、装置
CN116468973B (zh) * 2023-06-09 2023-10-10 深圳比特微电子科技有限公司 用于低照度图像的目标检测模型的训练方法、装置

Also Published As

Publication number Publication date
CN113284112B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN108717569A (zh) 一种膨胀全卷积神经网络及其构建方法
CN111985161B (zh) 一种变电站三维模型重构方法
CN111462013B (zh) 一种基于结构化残差学习的单图去雨方法
CN112597985B (zh) 一种基于多尺度特征融合的人群计数方法
CN108776971B (zh) 一种基于分层最近邻域的变分光流确定方法及***
CN109255755A (zh) 基于多列卷积神经网络的图像超分辨率重建方法
CN110246148B (zh) 多模态的深度信息融合和注意力学习的显著性检测方法
CN103593850A (zh) 一种在cuda平台上基于递归高斯滤波的sift并行化***及方法
CN110222306A (zh) 一种适用于内孤立波试验流场分析及重构的改进模态分解方法
Wang et al. An effective defect detection method based on improved Generative Adversarial Networks (iGAN) for machined surfaces
CN113284112A (zh) 一种基于深度神经网络的熔滴图像轮廓提取方法及***
CN109165643A (zh) 一种基于深度学习的车牌识别方法
CN110287998A (zh) 一种基于Faster-RCNN的科技文献图片提取方法
CN113628178B (zh) 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN112560732B (zh) 一种多尺度特征提取网络的特征提取方法
CN115510766B (zh) 一种基于高斯过程模型的3d打印质量预测方法及***
CN111951239A (zh) 过标过检方法及***
CN117726885B (zh) 一种基于三维几何自注意力机制的车身缝隙分类方法
CN109784236B (zh) 一种识别铁路图纸中表格内容的方法
CN116862883A (zh) 基于图像语义分割的混凝土坍落度检测方法
CN107464272A (zh) 基于关键点的中心扩散式气象传真图等值线的插值方法
CN108712831B (zh) 背钻pcb截面显微图像工艺参数提取方法
CN115758911A (zh) 融合点云残差网络和考虑滑移的流场和压力场预测方法
Park et al. Image super-resolution using dilated window transformer
Lin et al. Feedback multi-scale residual dense network for image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant