CN112634134A - 光纤环绕制过程图像处理方法、***及计算机存储介质 - Google Patents

光纤环绕制过程图像处理方法、***及计算机存储介质 Download PDF

Info

Publication number
CN112634134A
CN112634134A CN202011448624.1A CN202011448624A CN112634134A CN 112634134 A CN112634134 A CN 112634134A CN 202011448624 A CN202011448624 A CN 202011448624A CN 112634134 A CN112634134 A CN 112634134A
Authority
CN
China
Prior art keywords
image
layer
network
resolution
rdb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011448624.1A
Other languages
English (en)
Inventor
李慧鹏
王已熏
易军
刘小勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuzhou Phase Lock Photoelectric Technology Co ltd
Original Assignee
Zhuzhou Phase Lock Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuzhou Phase Lock Photoelectric Technology Co ltd filed Critical Zhuzhou Phase Lock Photoelectric Technology Co ltd
Priority to CN202011448624.1A priority Critical patent/CN112634134A/zh
Publication of CN112634134A publication Critical patent/CN112634134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及光学元件制造领域，公开一种光纤环绕制过程图像处理方法、***及计算机存储介质，以精确判别绕制缺陷的正确性。本发明方法包括：步骤S1、通过深度学习框架训练低分辨率图像与高分辨率图像的映射模型，该模型为基于生成式对抗网络的超分辨模型，由生成器和判别器两个子网络组成；所述生成器和判别器均采用基本单元是残差单元的残差网络，并设有使得邻近层或间隔层建立恒等映射的跳跃连接结构；步骤S2、将该模型导入光纤环绕制的成像***中，提升监测图像的清晰度。

Description

光纤环绕制过程图像处理方法、***及计算机存储介质
技术领域
本发明涉及光学元件制造技术领域，尤其涉及一种光纤环绕制过程图像处理方法、***及计算机存储介质。
背景技术
近年来，基于深度学习的图像处理技术已广泛应用于许多领域，例如医学诊断，遥感，合成孔径雷达等，并取得了显著成果，为图像处理领域带来了长足的技术进步。作为其中重要发展方向之一，图像超分辨率技术在提高图像分辨率方面展现出令人满意的性能，为诸多领域面临的分辨率瓶颈问题提供了有效的解决途径，在学术研究和商业应用领域中都引起了巨大的关注。
光纤陀螺由于具有全固态，响应快，精度高等优点，在国防军事领域和工业民用领域得到了广泛应用。光纤环是光纤陀螺中核心的敏感元件，直接决定光纤陀螺的测量精度。光纤环是由光纤绕环机绕制而成，若在光纤绕制过程中发生叠纤、错纤及光纤涂覆层存在缺陷等问题会极大影响光纤环圈的性能，造成光纤陀螺性能劣化。因此，在光纤绕制过程中需对光纤状态进行监测，及时发现并修正所出现的问题。目前，对光纤绕制状态的监测是通过成像***采集图像实现的，图像的分辨率(即：细节丰富程度)直接关系判别绕制缺陷的正确性。提高监测图像分辨率是提高判别绕制缺陷正确率的关键。由于图像分辨率受成像物镜和数字相机硬件限制，进一步提高图像分辨率，需要更换整套成像***，成本代价昂贵；同时，对于现有的光纤绕环机，其整体结构已固定，更换的成像***与原***存在尺寸差异，无法安装在现有光纤绕环机中。此外，一般情况下，图像分辨率的提升会导致图像尺寸的缩小，影响对光纤绕制状态的监测范围。
发明内容
本发明主要目的在于公开一种光纤环绕制过程图像处理方法、***及计算机存储介质，以精确判别绕制缺陷的正确性。
为达上述目的，本发明公开一种光纤环绕制过程图像处理方法，包括：
步骤S1、通过深度学习框架训练低分辨率图像与高分辨率图像的映射模型，该模型为基于生成式对抗网络的超分辨模型，由生成器和判别器两个子网络组成；所述生成器和判别器均采用基本单元是残差单元的残差网络，并设有使得邻近层或间隔层建立恒等映射的跳跃连接结构；
步骤S2、将该模型导入光纤环绕制的成像***中，提升监测图像的清晰度。
优选地：所述生成器采用密集残差网络，所述密集残差网络通过密集连接层、局部特征融合和局部残差学习形成连续记忆机制以将前一层RDB的状态传递给当前RDB；具体包括：
假设Fd―1和Fd分别为第d层RDB的输入和输出，都有G0特征图；第d层RDB中的第c层卷积层的输出可以表示为：
Fd,c＝σ(Wd,c[Fd-1,Fd,1,...,Fd,c-1])
σ表示ReLU激活函数，Wd,c是第c层卷积层的权重，Fd,c由G特征图组成，[Fd-1,Fd,1,...,Fd,c-1]表示由(d-1)层RDB产生的特征图的连接，1,…,(c―1)表示卷积层，最终有G0+(c―1)×G特征图；
第(d-1)个RDB的特征图以级联方式直接引入第d个RDB，通过1*1卷积层实现对输出特征尺寸的自适应控制，对应的局部特征融合可以表示为：
Figure BDA0002825843490000021
其中，
Figure BDA0002825843490000022
表示第d层RDB的1*1卷积层函数；
所述RDB网络删除了BN(Batch Normalization)层和能丢弃特定像素级信息的池化层，转换层被放置在DenseNet中两个相邻的密集块中，通过使用局部残差学习将密集的连接层与局部特征融合结合在一起，以使得第d-1层的输出RDB与第d个RDB中的每一层都有直接连接；以及
采用全局特征融合来利用DenseNet中忽略的分层特征。
优选地，本发明方法还包括：输入的LR图像经过上述网络结构后，再对输出的特征图进行上采样；
其中，所述上采样通过亚像素卷积实现，假设低分辨率图像为ILR、高分辨率图像为IHR，对应的张量表示分别为H×W×C和rH×rW×C，r是上采样比率；实现过程为：
先对输入的LR图像采用l层的卷积层，再用亚像素卷积层将图像上采样至HR图像，相应的表示为：
fl(ILR；W1:l,b1:l)＝φ(Wl*(ILR)+bl)
W和b分别代表网络中的权重和偏置，亚像素卷积是一个步距为1/r的卷积层，卷积核Ws尺寸为ks，构建的超分辨率图像通过下式实现：
ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)
其中，SR代表超分辨率，PS为周期性的改组运算符，上下标L代表总卷积层数。
本发明中，所述判别器用于判别一个真实图像比一个虚假图像更加真实的概率。优选地，本发明判别器的主体结构采用VGG(Visual Geometry Group Network)网络，所述VGG网络采用跨步卷积代替最大池化层，由卷积层输出的特征图通过全连接和sigmoid激活函数获得输入图像的概率；具体判别公式包括：
Figure BDA0002825843490000031
其中，E代表取期望值，C为非变换判别器输出，σ为sigmoid函数；当图像比虚假图像更加真实时，被认为是真实图像DRa(xr,xf)；当图像不如真实图像真实时，则被认为是虚假图像DRa(xf,xr)；判别器具体的损失函数表示为：
Figure BDA0002825843490000032
Figure BDA0002825843490000033
xr代表原始图像，xf代表虚假图像，
Figure BDA0002825843490000034
和
Figure BDA0002825843490000035
分别代表判别器的对抗损失和生成器的对抗损失。
优选地：本发明低分辨率图像与高分辨率图像的映射模型为：
Figure BDA0002825843490000036
其中，生成器网络定义为
Figure BDA0002825843490000037
判别器网络定义为
Figure BDA0002825843490000038
下标IHR～Ptrain(IHR)表示判别训练的伪高分辨图像与真实高分辨图像的差别，下标ILR～PG(ILR)表示生成器生成的伪低分辨图像与真实低分辨图像的差别，IHR和ILR分别表示高分辨率图像与低分辨率图像，生成器期望可以生成逼近真实图像的伪图像，判别器负责判别伪图像与真实图像之间的差异，当差异满足设定的阈值，则模型被建立；若差异超过设定阈值，则迫使生成器重新学习。
为达上述目的，本发明还公开一种监测光纤环绕制过程的成像***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法所述映射模型的导入、加载及监测步骤。
与上述方法相对应的，一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法所述映射模型的导入、加载及监测步骤。
本发明具有以下有益效果：
本发明在不更改硬件***的条件下，利用算法提高光纤环绕制监测图像的分辨率，有利于更好地发现光纤环绕制过程出现的缺陷。在面临更换硬件***的高成本、现有结构不允许更换成像***、提高分辨率面临视野大幅缩小等问题上，本发明提供了一种理想的高性价比的分辨率提高的解决方法。
下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的残差单元结构图。
图2是本发明优选实施例的残差网络结构图。
具体实施方式
提高光纤环绕制过程的监测图像分辨率问题等价于图像分辨率提升问题。而图像分辨率的提升问题在数学上可以理解为定义低分辨率图像(LR)到高分辨率图像(HR)的映射关系。分辨率提升的关键是如何逼真地复原LR到HR缺失的细节。传统图像处理方法仅基于邻域信息生成低级的细节特征，存在生成细节正确率低、分辨率提升效果有限等弊端。以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
本实施例公开一种光纤环绕制过程图像处理方法，包括以下步骤：
步骤S1、通过深度学习框架训练低分辨率图像与高分辨率图像的映射模型，该模型为基于生成式对抗网络的超分辨模型，由生成器和判别器两个子网络组成；所述生成器和判别器均采用基本单元是残差单元的残差网络，并设有使得邻近层或间隔层建立恒等映射的跳跃连接结构。
在该步骤中，作为图像超分辨的关键技术之一，生成式对抗网络极大地促进了图像超分辨技术的发展。生成式对抗网络由生成器和判别器组成，通过零和博弈产生更加丰富的图像细节。生成器依据原始图像信息建立低分辨与高分辨细节之间的映射模型。判别器根据损失函数建立反馈机制修正映射模型，使生成器生成的图像细节更接近于真实细节。
步骤S2、将该模型导入光纤环绕制的成像***中，提升监测图像的清晰度。
藉此，本实施例方法分别为训练和测试部分。训练部分，建立原始数据集，利用原始数据集训练搭建的生成式对抗网络，主要包括各卷积层的权重和偏置，归一化层和激活层参数，优化损失函数。利用训练完的生成器对输入图像进行分辨率提升获得提升后图像。判别器将逐级分析提升后图像与输入图像的细节差异，并给出定量评价。当评价超过设定的阈值后，则命令生成器继续学习，优化参数。当评价满足阈值条件，则说明生成式对抗网络具有提高光纤环绕制过程监测图像分辨率的能力。测试部分即：将训练部分输出的网络应用于实际中光纤绕制过程的成像***；由于模型参数已固定，对于输入图像可实现低延迟的快速分辨率提高操作，以此实现提高监测图像清晰度的目的。
本实施例方法是基于深度学习的生成式对抗网路实现的，该网络通过深度学习建立低分辨率图像与高分辨率图像的映射模型，依据该模型生成测试图像缺失的细节特征，提高测试图像分辨率。具体地，生成式对抗网络按照下式建立分辨率提升模型：
Figure BDA0002825843490000051
生成器网络定义为
Figure BDA0002825843490000055
判别器网络定义为
Figure BDA0002825843490000056
下标IHR～Ptrain(IHR)表示判别训练的伪高分辨图像与真实高分辨图像的差别，下标ILR～PG(ILR)表示生成器生成的伪低分辨图像与真实低分辨图像的差别，IHR和ILR分别表示高分辨率图像与低分辨率图像；生成器期望可以生成逼近真实图像的伪图像，判别器负责判别伪图像与真实图像之间的差异，当差异满足设定的阈值，则模型被建立；若差异超过设定阈值，则迫使生成器重新学习。这里的阈值是受损失函数决定的：
Figure BDA0002825843490000052
损失函数(lSR)为内容损失
Figure BDA0002825843490000053
和对抗性的生成损失分量
Figure BDA0002825843490000054
的加权总和。
生成式对抗网络中的生成器和判别器均采用了残差网络作为主体实现结构，残差网络的基本单元为残差单元。残差单元是基于传统卷积单元升级得来的，具有更强的偏导传递性。具体原理为：
对于一个深层网络和一个浅层网络，假设深层网络比浅层网络多的层均为恒等映射，那么理论上深层网络的训练误差不会超过浅层网络的训练误差。但在实际中，因非线性映射无法完美表示恒等映射会造成深度网络退化。残差单元通过将多个非线性层的权重置零实现恒等映射，建立跳跃连接，有效避免网络退化问题。
假设多个非线性层可以渐近逼近复杂函数，H(x)是若干层后的输出映射函数，x代表输入，利用多层逼近残差函数F(x)＝H(x)―x，原始映射函数变为F(x)+x，完整数学表达为：
y＝F(x,{Wi})+x
x和y表示输入和输出。F(x,{Wi})表示残差映射。假设存在两层，则F＝W2σ(W1x)，σ表示激活函数。
y＝F(x,{Wi})+Wsx
其中Ws为卷积核。F(x)+x是通过跳跃连接实现的，这种方式不会引入额外的参数，不会增加计算的复杂性。随着网络深度加深，其优势变得更加突出。通过上述残差函数建立的单元结构为残差单元，结构图如图1所示。
基于上述残差单元，可将普通的卷积网络升级为密集残差网络(RDB)。具体操作为，在普通网络的结构中增加跳跃连接，使得邻近层或者间隔邻近层建立恒等映射关系，提高了梯度传递的有效性，建立更深的网络结构，有助于更高维度的特征学习与判别。在增加跳跃连接时，当两层之间输入与输出维度相同时，直接增加跳跃连接，如图2中实线所示；当两层之间输入与输出维度不同时，通过补零操作或投影操作实现维度匹配的目的，如图2中虚线所示。密集残差网络是以图1所示的残差单元为基本结构搭建而成，其深度可以逐级增加，本实施例中采用如表1所示的152层网络结构。
表1：
Figure BDA0002825843490000061
优选地，本实施例中的生成器主体结构采用以上密集残差网络RDB网络组成。
RDB网络通过密集连接层、局部特征融合和局部残差学习形成连续记忆(CM)机制。连续记忆机制是将前一层RDB的状态传递给当前RDB的过程。假设Fd―1和Fd分别为第d层RDB的输入和输出，都有G0特征图。第d层RDB中的第c层卷积层的输出可以表示为：
Fd,c＝σ(Wd,c[Fd-1,Fd,1,...,Fd,c-1])
σ表示ReLU激活函数。Wd,c是第c层卷积层的权重，Fd,c由G特征图组成。[Fd-1,Fd,1,...,Fd,c-1]表示由(d-1)层RDB产生的特征图的连接，1,…,(c―1)表示卷积层，最终有G0+(c―1)×G特征图。借鉴DenseNet，前一层的RDB的输出以及每一层的输出都直接连接到所有后续层，不仅保留了前馈特性，还提取了局部密集特征。
局部特征融合是将前一层RDB和当前层RDB的特征进行自适应融合。第(d-1)个RDB的特征图以级联方式直接引入第d个RDB，减少了特征数。通过1*1卷积层实现对输出特征尺寸的自适应控制。局部特征融合可以表示为：
Figure BDA0002825843490000071
其中，
Figure BDA0002825843490000072
表示第d层RDB的1*1卷积层函数。
对于RDB中的卷积层，局部残差学习可以进一步提升信息流，提升网络表达能力，使网络有更好的表现。RDB删除了BN层，因为BN层消耗了与卷积层相同数量的GPU内存，增加了计算复杂性，并阻碍了网络性能。另外，还删除了可能会丢弃某些像素级信息的池化层。此外，转换层被放置在DenseNet中两个相邻的密集块中，通过使用局部残差学习将密集的连接层与局部特征融合结合在一起。因此，第(d-1)的输出RDB与第d个RDB中的每一层都有直接连接。最后，采用全局特征融合来充分利用DenseNet中忽略的分层特征。
本实施例中的RDB中卷积层为3*3卷积核。输入的LR图像经过上述网络结构后，再对输出的特征图进行上采样。
本发明中的上采样是通过亚像素卷积实现。实现过程为：假设低分辨率图像为ILR和高分辨率图像为IHR，对应的张量表示为H×W×C和rH×rW×C，r是上采样比率。为了避免送入网络之前进行上采样，先对输入的LR图像采用l层的卷积层，再用亚像素卷积层将其上采样至HR图像，相应的表示为：
fl(ILR；W1:l,b1:l)＝φ(Wl*(ILR)+bl)
W和b分别代表网络中的权重和偏置。亚像素卷积是一个步距为1/r的卷积层，卷积核Ws尺寸为ks。构建的超分辨率SR图像通过下式实现：
ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)
PS是一个周期性的改组运算符，上下标L代表总卷积层数。
优选地，本实施例中判别器的主体结构为VGG网络，包含8个卷积层，采用3*3卷积核，数量依次增加2倍，从64到512个。采用跨步卷积代替最大池化层，以减少图像分辨率的损失。由卷积层输出的512维特征图通过全连接和sigmoid激活函数获得输入图像的概率。
判别器(记为DRa)的实现思想为判别一个真实图像比一个虚假图像更加真实的概率，如下式所示：
Figure BDA0002825843490000081
其中，E代表取期望值，C为非变换判别器输出，σ为sigmoid函数。当图像比虚假图像更加真实时，被认为是真实图像DRa(xr,xf)；当图像不如真实图像真实时，则被认为是虚假图像DRa(xf,xr)。
根据上述思想，判别器具体的损失函数表示为：
Figure BDA0002825843490000082
Figure BDA0002825843490000083
xr代表原始图像，xf代表虚假图像。根据以上四项，定义具体的损失函数，
Figure BDA0002825843490000084
代表生成器的对抗损失，
Figure BDA0002825843490000085
代表判别器的对抗损失。可以看出，生成器和判别器的损失中都包含了xr和xf，即本发明中判别器考虑了生成图像和真实图像的影响。这使得生成器生成的图像边缘更加锐利，纹理更加丰富。
实施例2
本实施例公开一种监测光纤环绕制过程的成像***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法实施例所述映射模型的导入、加载及监测步骤。
实施例3
本实施例公开一种计算机存储介质，其上存储有计算机程序，同理，所述程序被处理器执行时实现上述方法实施例所述映射模型的导入、加载及监测步骤。
综上，本实施例公开的光纤环绕制过程图像处理方法、***及计算机存储介质，至少具有以下有益效果：
在不更改硬件***的条件下，利用算法提高光纤环绕制监测图像的分辨率，有利于更好地发现光纤环绕制过程出现的缺陷。在面临更换硬件***的高成本、现有结构不允许更换成像***、提高分辨率面临视野大幅缩小等问题上，本发明提供了一种理想的高性价比的分辨率提高的解决方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种光纤环绕制过程图像处理方法，其特征在于，包括：
步骤S1、通过深度学习框架训练低分辨率图像与高分辨率图像的映射模型，该模型为基于生成式对抗网络的超分辨模型，由生成器和判别器两个子网络组成；所述生成器和判别器均采用基本单元是残差单元的残差网络，并设有使得邻近层或间隔层建立恒等映射的跳跃连接结构；
步骤S2、将该模型导入光纤环绕制的成像***中，提升监测图像的清晰度。
2.根据权利要求1所述的方法，其特征在于，所述生成器采用密集残差网络，所述密集残差网络通过密集连接层、局部特征融合和局部残差学习形成连续记忆机制以将前一层RDB的状态传递给当前RDB；具体包括：
假设Fd―1和Fd分别为第d层RDB的输入和输出，都有G0特征图；第d层RDB中的第c层卷积层的输出可以表示为：
Fd,c＝σ(Wd,c[Fd-1,Fd,1,...,Fd,c-1])
σ表示ReLU激活函数，Wd,c是第c层卷积层的权重，Fd,c由G特征图组成，[Fd-1,Fd,1,...,Fd,c-1]表示由(d-1)层RDB产生的特征图的连接，1,…,(c―1)表示卷积层，最终有G0+(c―1)×G特征图；
第(d-1)个RDB的特征图以级联方式直接引入第d个RDB，通过1*1卷积层实现对输出特征尺寸的自适应控制，对应的局部特征融合可以表示为：
Figure FDA0002825843480000011
其中，
Figure FDA0002825843480000012
表示第d层RDB的1*1卷积层函数；
所述RDB网络删除了BN层和能丢弃特定像素级信息的池化层，转换层被放置在DenseNet中两个相邻的密集块中，通过使用局部残差学习将密集的连接层与局部特征融合结合在一起，以使得第d-1层的输出RDB与第d个RDB中的每一层都有直接连接；以及
采用全局特征融合来利用DenseNet中忽略的分层特征。
3.根据权利要求2所述的方法，其特征在于，还包括：输入的LR图像经过上述网络结构后，再对输出的特征图进行上采样；
其中，所述上采样通过亚像素卷积实现，假设低分辨率图像为ILR、高分辨率图像为IHR，对应的张量表示分别为H×W×C和rH×rW×C，r是上采样比率；实现过程为：
先对输入的LR图像采用l层的卷积层，再用亚像素卷积层将图像上采样至HR图像，相应的表示为：
fl(ILR；W1:l,b1:l)＝φ(Wl*(ILR)+bl)
W和b分别代表网络中的权重和偏置，亚像素卷积是一个步距为1/r的卷积层，卷积核Ws尺寸为ks，构建的超分辨率图像通过下式实现：
ISR＝fL(ILR)＝PS(WL*fL-1(ILR)+bL)
其中，SR代表超分辨率，PS为周期性的改组运算符，上下标L代表总卷积层数。
4.根据权利要求1至3任一所述的方法，其特征在于，所述判别器用于判别一个真实图像比一个虚假图像更加真实的概率，主体结构采用VGG网络，所述VGG网络采用跨步卷积代替最大池化层，由卷积层输出的特征图通过全连接和sigmoid激活函数获得输入图像的概率；具体判别公式包括：
Figure FDA0002825843480000021
其中，DRa为判别器，E代表取期望值，C为非变换判别器输出，σ为sigmoid函数；当图像比虚假图像更加真实时，被认为是真实图像DRa(xr,xf)；当图像不如真实图像真实时，则被认为是虚假图像DRa(xf,xr)；判别器具体的损失函数表示为：
Figure FDA0002825843480000022
Figure FDA0002825843480000023
xr代表原始图像，xf代表虚假图像，
Figure FDA0002825843480000024
和
Figure FDA0002825843480000025
分别代表判别器的对抗损失和生成器的对抗损失。
5.根据权利要求4所述的方法，其特征在于，所述低分辨率图像与高分辨率图像的映射模型为：
Figure FDA0002825843480000028
其中，生成器网络定义为
Figure FDA0002825843480000026
判别器网络定义为
Figure FDA0002825843480000027
下标IHR～Ptrain(IHR)表示判别训练的伪高分辨图像与真实高分辨图像的差别，下标ILR～PG(ILR)表示生成器生成的伪低分辨图像与真实低分辨图像的差别，IHR和ILR分别表示高分辨率图像与低分辨率图像，生成器期望可以生成逼近真实图像的伪图像，判别器负责判别伪图像与真实图像之间的差异，当差异满足设定的阈值，则模型被建立；若差异超过设定阈值，则迫使生成器重新学习。
6.一种监测光纤环绕制过程的成像***，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一方法所述映射模型的导入、加载及监测步骤。
7.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述权利要求1至4任一方法所述映射模型的导入、加载及监测步骤。
CN202011448624.1A 2020-12-09 2020-12-09 光纤环绕制过程图像处理方法、***及计算机存储介质 Pending CN112634134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011448624.1A CN112634134A (zh) 2020-12-09 2020-12-09 光纤环绕制过程图像处理方法、***及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011448624.1A CN112634134A (zh) 2020-12-09 2020-12-09 光纤环绕制过程图像处理方法、***及计算机存储介质

Publications (1)

Publication Number Publication Date
CN112634134A true CN112634134A (zh) 2021-04-09

Family

ID=75310127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011448624.1A Pending CN112634134A (zh) 2020-12-09 2020-12-09 光纤环绕制过程图像处理方法、***及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112634134A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111667407A (zh) * 2020-05-18 2020-09-15 武汉大学 一种深度信息引导的图像超分辨率方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110599401A (zh) * 2019-08-19 2019-12-20 中国科学院电子学研究所 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN111667407A (zh) * 2020-05-18 2020-09-15 武汉大学 一种深度信息引导的图像超分辨率方法
CN112037131A (zh) * 2020-08-31 2020-12-04 上海电力大学 一种基于生成对抗网络的单图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENZHE SHI 等: "Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network", ARXIV, 23 September 2016 (2016-09-23), pages 1 - 4 *
YULUN ZHANG 等: "Residual Dense Network for Image Super-Resolution", ARXIV, 27 March 2018 (2018-03-27), pages 1 - 4 *

Similar Documents

Publication Publication Date Title
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
US20230410375A1 (en) Temporally stable data reconstruction with an external recurrent neural network
CN112308200B (zh) 神经网络的搜索方法及装置
CN110288555B (zh) 一种基于改进的胶囊网络的低照度增强方法
CN111507993A (zh) 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN113505792B (zh) 面向非均衡遥感图像的多尺度语义分割方法及模型
CN110223234A (zh) 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN111275171B (zh) 一种基于参数共享的多尺度超分重建的小目标检测方法
CN107103585B (zh) 一种图像超分辨率***
CN114463605B (zh) 基于深度学习的持续学习图像分类方法及装置
DE102021119722A1 (de) Feingranulare pro-vektor-skalierung für neuronale netzwerkquantisierung
US20210383241A1 (en) Training neural networks with limited data using invertible augmentation operators
CN113269256A (zh) 一种MiSrc-GAN模型的构建方法及应用
CN113762461A (zh) 使用可逆增强算子采用有限数据训练神经网络
DE102022113244A1 (de) Gemeinsame Form- und Erscheinungsbildoptimierung durch Topologieabtastung
CN115631397A (zh) 一种基于双模态图像的目标检测方法及装置
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Ren et al. A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms
CN110135428A (zh) 图像分割处理方法和装置
US20240127067A1 (en) Sharpness-aware minimization for robustness in sparse neural networks
CN116091319A (zh) 基于长距离上下文依赖的图像超分辨率重建方法及***
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN112634134A (zh) 光纤环绕制过程图像处理方法、***及计算机存储介质
Chen et al. Alfpn: adaptive learning feature pyramid network for small object detection
CN115761358A (zh) 一种基于残差胶囊网络对心肌纤维化进行分类的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination