CN110298791B - 一种车牌图像的超分辨率重建方法和装置 - Google Patents

一种车牌图像的超分辨率重建方法和装置 Download PDF

Info

Publication number
CN110298791B
CN110298791B CN201910610927.XA CN201910610927A CN110298791B CN 110298791 B CN110298791 B CN 110298791B CN 201910610927 A CN201910610927 A CN 201910610927A CN 110298791 B CN110298791 B CN 110298791B
Authority
CN
China
Prior art keywords
feature maps
local
branch
deep
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910610927.XA
Other languages
English (en)
Other versions
CN110298791A (zh
Inventor
王殿伟
郝元杰
宋鸽
李娜
李大湘
刘颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN201910610927.XA priority Critical patent/CN110298791B/zh
Publication of CN110298791A publication Critical patent/CN110298791A/zh
Application granted granted Critical
Publication of CN110298791B publication Critical patent/CN110298791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本公开是一种车牌图像的超分辨率重建方法和装置，涉及图像处理领域，应用于终端。该方法包括：首先通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取；其次，通过依次串联的N个相同的残差采样块和第二卷积层进行深度特征提取，残差采样块内构建的不同分支充分利用了特征的尺度和深度信息；最后，通过重建模块对特征提取模块得到的多个深层特征图进行逐级倍数放大，根据多个高分辨率特征图得到重建的目标高分辨率车牌图像。本公开通过对低分辨率车牌图像进行超分辨率重建处理，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。

Description

一种车牌图像的超分辨率重建方法和装置
技术领域
本公开涉及图像处理领域，尤其涉及一种车牌图像的超分辨率重建方法和装置。
背景技术
车牌图像的超分辨率重建是指从降质的低分辨率车牌图像通过软件的方法得到相应的最有可能的高分辨率车牌图像。超分辨率重建技术应用广泛，主要应用于公共安全，医学影像，遥感图像，高清电视等领域，所以图像的超分辨率重建显得尤为重要。
目前，车牌图像的超分辨率重建方法是基于插值的方法，该方法利用低分辨率图像的邻域采样点通过一定的函数关系得到估算点的值，并将该值***邻域采样点之间。然而，基于插值的方法重建得到的车牌图像的细节信息较少，车牌图像中的字符之间产生粘连，导致车牌图像中的字符难以识别，也即是该车牌图像的辨识度较低。
发明内容
为了解决现有技术的问题，本公开实施例提供了一种车牌图像的超分辨率重建方法和装置。所述技术方案如下：
一方面，提供了一种车牌图像的超分辨率重建方法，应用于终端，所述终端上部署有图像处理网络，所述图像处理网络包括特征提取模块和重建模块，所述特征提取模块包括连接的初始化特征提取模块和深度特征提取模块，所述初始化特征提取模块包括第一卷积层，所述深度特征提取模块包括依次串联的N个相同的残差采样块和一个第二卷积层，所述N为大于等于1的整数，每个残差采样块包括第一分支，第二分支和第三分支，所述第一分支包括依次连接的上采样层、第三卷积层和下采样层，所述第二分支包括第四卷积层，所述第三分支为恒等映射分支，所述恒等映射分支的输出特征图与输入特征图相同，所述方法包括：
通过所述第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图；
通过所述依次串联的N个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图；
通过所述第二卷积层对所述第N个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将所述多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图；
通过所述重建模块对所述特征提取模块得到的所述多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据所述多个高分辨率特征图得到目标高分辨率车牌图像，所述目标高分辨率车牌图像为通过所述图像处理网络对所述低分辨率车牌图像进行超分辨率重建得到的车牌图像；
其中，所述通过所述依次串联的N个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图，包括：
通过所述依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过所述第i个残差采样块中的第三分支对所述多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取所述第N个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，所述多个目标特征图为所述多个浅层特征图，当i不等于1时，所述多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。
可选地，所述通过所述依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，包括：
通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图；
通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图；
通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，将所述多个下采样特征图确定为所述多个局部第一深层特征图，其中，所述上采样采用转置卷积，所述下采样采用卷积。
可选地，所述通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图，包括：
通过所述第一分支中的上采样层，根据如下第一公式，对所述多个目标特征图进行上采样，得到多个上采样特征图：
第一公式：
Figure BDA0002122343600000031
其中，
Figure BDA0002122343600000032
为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，Ri-1为所述多个目标特征图，Wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；
所述通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图，包括：
通过所述第一分支中的第三卷积层，根据如下第二公式，对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图：
第二公式：
Figure BDA0002122343600000033
其中，
Figure BDA0002122343600000034
为第i个残差采样块的多个第三卷积特征图；
所述通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，包括：
通过所述第一分支中的下采样层，根据如下第三公式，对所述多个第三卷积特征图进行下采样，得到多个下采样特征图：
第三公式：
Figure BDA0002122343600000035
其中，
Figure BDA0002122343600000036
为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。
所述通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行深度特征提取，得到多个局部第二深层特征图，包括：
通过所述第i个残差采样块中的第二分支，根据如下第四公式，对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图：
第四公式：
Figure BDA0002122343600000037
其中，
Figure BDA0002122343600000038
表示多个局部第二深层特征图。
可选地，所述通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图，包括：
通过所述第i个残差采样块，根据如下第五公式，将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：
第五公式：
Figure BDA0002122343600000041
其中，Ri为第i个残差采样块输出的多个局部第四深层特征图，
Figure BDA0002122343600000042
第i个残差采样块中第一分支得到的多个局部第一深层特征图，
Figure BDA0002122343600000043
为第i个残差采样块中第二分支得到的多个局部第二深层特征图，Ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。
另一方面，提供了一种车牌图像的超分辨率重建装置，应用于终端，所述终端上部署有图像处理网络，所述图像处理网络包括特征提取模块和重建模块，所述特征提取模块包括连接的初始化特征提取模块和深度特征提取模块，所述初始化特征提取模块包括第一卷积层，所述深度特征提取模块包括依次串联的N个相同的残差采样块和一个第二卷积层，所述N为大于等于1的整数，每个残差采样块包括第一分支，第二分支和第三分支，所述第一分支包括依次连接的上采样层、第三卷积层和下采样层，所述第二分支包括第四卷积层，所述第三分支为恒等映射分支，所述恒等映射分支的输出特征图与输入特征图相同，所述装置包括：
初始化特征提取模块，用于通过所述第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图；
深度特征提取模块，用于通过所述依次串联的N个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图；
特征融合模块，用于通过所述第二卷积层对所述第N个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将所述多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图；
超分辨率重建模块，用于通过所述重建模块对所述特征提取模块得到的所述多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据所述多个高分辨率特征图得到目标高分辨率车牌图像，所述目标高分辨率车牌图像为通过所述图像处理网络对所述低分辨率车牌图像进行超分辨率重建得到的车牌图像；
其中，所述深度特征提取模块，还用于通过所述依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过所述第i个残差采样块中的第三分支对所述多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取所述第N个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，所述多个目标特征图为所述多个浅层特征图，当i不等于1时，所述多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。
可选地，所述深度特征提取模块，包括：
第一采样子模块，用于通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图；
特征提取子模块，用于通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图；
第二采样子模块，用于通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，将所述多个下采样特征图确定为所述多个局部第一深层特征图，其中，所述上采样采用转置卷积，所述下采样采用卷积。
可选地，所述第一采样子模块，用于通过所述第一分支中的上采样层，根据如下第一公式，对所述多个目标特征图进行上采样，得到多个上采样特征图：
第一公式：
Figure BDA0002122343600000051
其中，
Figure BDA0002122343600000052
为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，Ri-1为所述目标特征图，Wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；
所述特征提取子模块，用于通过所述第一分支中的多个第三卷积层，根据如下第二公式，对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图：
第二公式：
Figure BDA0002122343600000061
其中，
Figure BDA0002122343600000062
为第i个残差采样块的多个第三卷积特征图；
所述第二采样子模块，用于通过所述第一分支中的下采样层，根据如下第三公式，对所述多个第三卷积特征图进行下采样，得到多个下采样特征图：
第三公式：
Figure BDA0002122343600000063
其中，
Figure BDA0002122343600000064
为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。
可选地，所述深度特征提取模块，还用于通过所述第i个残差采样块中的第二分支，根据如下第四公式，对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图：
第四公式：
Figure BDA0002122343600000065
其中，
Figure BDA0002122343600000066
表示多个局部第二深层特征图。
可选地，所述深度特征提取模块，用于通过所述第i个残差采样块，根据如下第五公式，将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：
第五公式：
Figure BDA0002122343600000067
其中，Ri为第i个残差采样块输出的多个局部第四深层特征图，
Figure BDA0002122343600000068
第i个残差采样块中第一分支得到的多个局部第一深层特征图，
Figure BDA0002122343600000069
为第i个残差采样块中第二分支得到的多个局部第二深层特征图，Ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。
本公开的实施例提供的技术方案至少可以包括以下有益效果：
在本公开实施例中，通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图，并通过依次串联的N个残差采样块对多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图，进而，基于该多个局部第四深层特征图，通过第二卷积层和重建模块最终得到目标高分辨率车牌图像。其中，每个残差采样块包括三个分支，所以在进行第一次深度特征提取时，可以通过每个残差采样块自身的三个分支分别对多个目标特征图进行处理，进而将处理得到的多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，然后获取第N个残差采样块输出的多个局部第四深层特征图。由于第一分支包括依次连接的上采样层、第三卷积层和下采样层，能够增加特征图的细节信息，第二分支通过第四卷积层充分提取低分辨率特征图的特征，第三分支能够避免重建过程中出现梯度消失导致重建效果差的问题，因此，将这三个分支得到的多个局部深层特征图进行特征融合可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种图像处理网络示意图。
图2是本公开实施例提供的一种车牌图像的超分辨率重建方法流程图
图3是本公开实施例提供的一种车牌图像的超分辨率重建方法流程图。
图4是本公开实施例提供的一种车牌图像的超分辨率重建装置示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开实施例提供的一种图像处理网络示意图，参见图1，该图像处理网络可以部署在终端上。该图像处理网络包括特征提取模块1和重建模块2，特征提取模块1包括连接的浅层特征提取模块11和深度特征提取模块12，初始化特征提取模块11包括第一卷积层111，深度特征提取模块12包括依次串联的N个相同的残差采样块121和一个第二卷积层122，每个残差采样块121包括第一分支A，第二分支B和第三分支C，第一分支A包括依次连接的上采样层A1、第三卷积层A2和下采样层A3，第二分支B包括第四卷积层B1，第三分支C为恒等映射分支。另外，在该图像处理网络中，还可以通过实线a表示将第二卷积层122输出的多个第五深层特征图与一一对应的多个浅层特征图进行特征融合。
本公开实施例提供了一种车牌图像的超分辨率重建方法，参见图2，该方法包括：
步骤201：通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图。
步骤202：通过依次串联的N个相同的残差采样块对多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图。
其中，通过依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过第i个残差采样块中的第二分支对多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过第i个残差采样块中的第三分支对多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取第N个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，多个目标特征图为多个浅层特征图，当i不等于1时，多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。
步骤203：通过第二卷积层对第N个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图。
步骤204：通过重建模块对特征提取模块得到的多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据多个高分辨率特征图得到目标高分辨率车牌图像，目标高分辨率车牌图像为通过图像处理网络对低分辨率车牌图像进行超分辨率重建得到的车牌图像。
可选地，通过所述依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，包括：
通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图；
通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图；
通过第一分支中的下采样层对多个第三卷积特征图进行下采样，得到多个下采样特征图，将多个下采样特征图确定为多个局部第一深层特征图，其中，上采样采用转置卷积，下采样采用卷积。
可选地，通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图，包括：
通过第一分支中的上采样层，根据如下第一公式，对多个目标特征图进行上采样，得到多个上采样特征图：
第一公式：
Figure BDA0002122343600000091
其中，
Figure BDA0002122343600000092
为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，Ri-1为多个目标特征图，Wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；
通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图，包括：
通过第一分支中的第三卷积层，根据如下第二公式，对多个上采样特征图进行特征提取，得到多个第三卷积特征图：
第二公式：
Figure BDA0002122343600000093
其中，
Figure BDA0002122343600000094
为第i个残差采样块的多个第三卷积特征图；
通过第一分支中的下采样层对第三卷积特征图进行下采样，得到多个下采样特征图，包括：
通过第一分支中的下采样层，根据如下第三公式，对多个第三卷积特征图进行下采样，得到多个下采样特征图：
第三公式：
Figure BDA0002122343600000095
其中，
Figure BDA0002122343600000096
为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。
可选地，通过第i个残差采样块中的第二分支对多个目标特征图进行深度特征提取，得到多个局部第二深层特征图，包括：
通过第i个残差采样块中的第二分支，根据如下第四公式，对多个目标特征图进行特征提取，得到多个局部第二深层特征图：
第四公式：
Figure BDA0002122343600000097
其中，
Figure BDA0002122343600000098
表示多个局部第二深层特征图。
可选地，通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图，包括：
通过第i个残差采样块，根据如下第五公式，将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：
第五公式：
Figure BDA0002122343600000101
其中，Ri为第i个残差采样块输出的多个局部第四深层特征图，
Figure BDA0002122343600000102
第i个残差采样块中第一分支得到的多个局部第一深层特征图，
Figure BDA0002122343600000103
为第i个残差采样块中第二分支得到的多个局部第二深层特征图，Ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。
综上所述，在本公开实施例中，通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图，并通过依次串联的N个残差采样块对多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图，进而，基于该多个局部第四深层特征图，通过第二卷积层和重建模块最终得到目标高分辨率车牌图像。其中，每个残差采样块包括三个分支，所以在进行第一次深度特征提取时，可以通过每个残差采样块自身的三个分支分别对多个目标特征图进行处理，进而将处理得到的多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，然后获取第N个残差采样块输出的多个局部第四深层特征图。由于第一分支包括依次连接的上采样层、第三卷积层和下采样层，能够增加特征图的细节信息，第二分支通过第四卷积层充分提取低分辨率特征图的特征，第三分支能够避免重建过程中出现梯度消失导致重建效果差的问题，因此，将这三个分支得到的多个局部深层特征图进行特征融合可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。
本公开实施例提供了一种车牌图像的超分辨率重建方法，参见图3，该实施环境包括Tensorflow，Tensorlayer等深度学习框架，即本公开实施例的运行环境，应用于终端，该方法包括：
步骤301：通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图。
可选地，在低分辨率图像输入图像处理网络前需要进行一定的处理并构建车牌图像训练库。车牌图像通过监控视频或手机相机拍摄的照片采集获得，并裁剪出车牌区域，经过裁剪的含有车牌区域的图像构成原始高分辨率车牌图像，待处理的低分辨率车牌图像可通过插值法对原始高分辨率车牌图像降采样得到。
需要说明的是，第一卷积层的参数设置包括：步长为1，卷积核大小为3×3，卷积操作采用补零的方式保持图像分辨率的一致性。输入通道数为RGB三通道图像，输出的浅层特征图为个数为64，特征提取的目的在于将低分辨率车牌图像从图像空间映射到特征空间，该特征空间是由多个向量形成的高维向量，向量的个数与特征图的个数相等，主要提取车牌图像的形状边缘等特征。
步骤302：通过依次串联的N个相同的残差采样块对多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图。
其中，通过依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过第i个残差采样块中的第二分支对多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过第i个残差采样块中的第三分支对多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取第N个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，多个目标特征图为多个浅层特征图，当i不等于1时，多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。
可选地，通过依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，包括：
通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图；
通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图；
通过第一分支中的下采样层对多个第三卷积特征图进行下采样，得到多个下采样特征图，将多个下采样特征图确定为多个局部第一深层特征图，其中，上采样采用转置卷积，下采样采用卷积。
通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图，包括：
通过第一分支中的上采样层，根据如下第一公式，对多个目标特征图进行上采样，得到多个上采样特征图：
第一公式：
Figure BDA0002122343600000121
其中，
Figure BDA0002122343600000122
为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，Ri-1为多个目标特征图，Wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；
通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图，包括：
通过第一分支中的第三卷积层，根据如下第二公式，对多个上采样特征图进行特征提取，得到多个第三卷积特征图：
第二公式：
Figure BDA0002122343600000123
其中，
Figure BDA0002122343600000124
为第i个残差采样块的多个第三卷积特征图；
通过第一分支中的下采样层对多个第三卷积特征图进行下采样，得到多个下采样特征图，包括：
通过第一分支中的下采样层，根据如下第三公式，对多个第三卷积特征图进行下采样，得到多个下采样特征图：
第三公式：
Figure BDA0002122343600000125
其中，
Figure BDA0002122343600000126
为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。
通过第i个残差采样块中的第二分支对多个目标特征图进行特征提取，得到多个局部第二深层特征图，包括：
通过第i个残差采样块中的第二分支，根据如下第四公式，对多个目标特征图进行深度特征提取，得到多个局部第二深层特征图：
第四公式：
Figure BDA0002122343600000127
其中，
Figure BDA0002122343600000128
表示多个局部第二深层特征图。
通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图，包括：
通过第i个残差采样块，根据如下第五公式，将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：
第五公式：
Figure BDA0002122343600000131
其中，Ri为第i个残差采样块输出的多个局部第四深层特征图，
Figure BDA0002122343600000132
第i个残差采样块中第一分支得到的多个局部第一深层特征图，
Figure BDA0002122343600000133
为第i个残差采样块中第二分支得到的多个局部第二深层特征图，Ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。
需要说明的是，1.第一分支不包含批归一化层，批归一化层应用于超分辨率领域导致图像像素值尺度信息丢失，影响网络参数在自由范围的变化，本公开去除批归一化层，将计算资源应用于特征提取，如第一分支中的第三卷积层和第二分支中的第四卷积层；2.第一分支主要包括依次连接的上采样层，第三卷积层和下采样层，进行这样的尺度变换有助于增强图像处理网络的表达能力，使网络提取的信息更完善；上采样层采用转置卷积，转置卷积的参数设置：步长为4，输入和输出特征图相同，均为64，卷积核大小为6×6，第三卷积层参数设置:步长为1，输入输出特征图相同，均为64，卷积核大小为3×3，下采样层采用卷积，卷积的参数设置：步长为4，输入和输出特征图相同，均为64，卷积核大小为6×6，上述操作均采用补零的操作；3.通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，进行这样的融合，可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，同时在局部内增加信息流动，避免梯度消失带来的训练误差越来越大。
步骤303：通过第二卷积层对第N个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图。
可选地，图像处理网络逐渐加深会减弱网络的反向传播能力，因为反向传播中每一层的梯度都是在上一层的基础上计算的，层数越多会导致梯度在传播时越来越小直到梯度消失，训练误差越来越大，所以将多个第五深层特征图与多个浅层特征图一一对应进行特征融合，可以增加信息流动，进一步的改善网络的表达能力，避免梯度消失导致的训练误差越来越大。
步骤304：通过重建模块对特征提取模块得到的多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据多个高分辨率特征图得到目标高分辨率车牌图像，目标高分辨率车牌图像为通过图像处理网络对低分辨率车牌图像进行超分辨率重建得到的车牌图像。
可选地，重建模块的作用在于将特征提取模块得到的多个第六深层特征图的分辨率按照一定倍数进行放大，逐级倍数放大即对于放大因子较高时可采用分步进行，如放大因子为4，可分成两步，每步对特征图分辨率放大2倍。放大操作可以通过亚像素层进行，基本原理为:像素总数不变，将低分辨率特征图空间的像素按照一定倍数进行重新组合并排列到高分辨率特征图空间，由于高分辨率特征图长和宽放大，对应的高分辨率特征图个数相比于排列前的低分辨率特征图个数按照一定倍数减少，例如对于放大因子为2，亚像素层的具体操作为将256个分辨率大小为H×W的特征图进行空间位置转换，得到64个分辨率大小为2H×2W的特征图；最终，将经过逐级倍数放大的多个高分辨率特征图输入3×3的卷积层得到三通道的目标高分辨率车牌图像。一般地，由于每次经过亚像素层后，特征图个数减少，对于分步进行放大时，在亚像素前通过一个卷积层将特征图个数进行增加来保证有足够的特征图个数，所以对于逐级倍数放大的每一级包含两个模块：1.特征图个数按照一定倍数增加；2.亚像素层。
步骤305：通过损失函数最小化原始高分辨率车牌图像与目标高分辨率车牌图像之间的差距，以生成第一高分辨率车牌图像。
原始高分辨率车牌图像为未经网络处理的车牌图像，第一高分辨率车牌图像为通过损失函数不断更新网络参数，当网络参数趋近于收敛时，最终得到的超分辨率重建质量最优的车牌图像。
可选地，损失函数度量的是预测值与真实值之间的差异，本公开采用最小均方误差准则：
第六公式：
Figure BDA0002122343600000141
其中，lSR表示损失值，r表示放大倍数，W和H分别表示低分辨率车牌图像的宽和高，
Figure BDA0002122343600000142
表示原始高分辨率车牌图像对应像素点，
Figure BDA0002122343600000143
表示第一高分辨车牌图像对应像素点。
综上所述，在本公开实施例中，通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图，并通过依次串联的N个残差采样块对多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图，进而，基于该多个局部第四深层特征图，通过第二卷积层和重建模块最终得到目标高分辨率车牌图像。其中，每个残差采样块包括三个分支，所以在进行第一次深度特征提取时，可以通过每个残差采样块自身的三个分支分别对多个目标特征图进行处理，进而将处理得到的多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，然后获取第N个残差采样块输出的多个局部第四深层特征图。由于第一分支包括依次连接的上采样层、第三卷积层和下采样层，能够增加特征图的细节信息，第二分支通过第四卷积层充分提取低分辨率特征图的特征，第三分支能够避免重建过程中出现梯度消失导致重建效果差的问题，因此，将这三个分支得到的多个局部深层特征图进行特征融合可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。
本公开实施例提供了一种车牌图像的超分辨率重建装置，参见图4，该装置包括：
初始化特征提取模块401，用于通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图。
深度特征提取模块402，用于通过依次串联的N个相同的残差采样块对多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图。
其中，深度特征提取模块，还用于通过依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过第i个残差采样块中的第二分支对多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过第i个残差采样块中的第三分支对多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过第i个残差采样块将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取第N个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，多个目标特征图为多个浅层特征图，当i不等于1时，多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。
特征融合模块403，用于通过第二卷积层对第N个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图。
超分辨率重建模块404，用于通过重建模块对特征提取模块得到的多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据多个高分辨率特征图得到目标高分辨率车牌图像，目标高分辨率车牌图像为通过图像处理网络对低分辨率车牌图像进行超分辨率重建得到的车牌图像。
可选地，深度特征提取模块402包括：
第一采样子模块，用于通过第一分支中的上采样层对多个目标特征图进行上采样，得到多个上采样特征图；
特征提取子模块，用于通过第一分支中的第三卷积层对多个上采样特征图进行特征提取，得到多个第三卷积特征图；
第二采样子模块，用于通过第一分支中的下采样层对多个第三卷积特征图进行下采样，得到多个下采样特征图，将多个下采样特征图确定为多个局部第一深层特征图，其中，上采样采用转置卷积，下采样采用卷积。
可选地，第一采样子模块，通过第一分支中的上采样层，根据如下第一公式，对多个目标特征图进行上采样，得到多个上采样特征图：
第一公式：
Figure BDA0002122343600000161
其中，
Figure BDA0002122343600000162
为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，Ri-1为多个目标特征图，Wi和bi分别为第i个残差采样块的权重和偏置,↑s表示上采样s倍；
特征提取子模块，用于通过第一分支中的第三卷积层，根据如下第二公式，对多个上采样特征图进行特征提取，得到多个第三卷积特征图：
第二公式：
Figure BDA0002122343600000163
其中，
Figure BDA0002122343600000171
为第i个残差采样块的多个第三卷积特征图；
第二采样子模块，用于通过第一分支中的下采样层，根据如下第三公式，对多个第三卷积特征图进行下采样，得到多个下采样特征图：
第三公式：
Figure BDA0002122343600000172
其中，
Figure BDA0002122343600000173
为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。
可选地，深度特征提取模块，还用于通过第i个残差采样块中的第二分支，根据如下第四公式，对多个目标特征图进行特征提取，得到多个局部第二深层特征图：
第四公式：
Figure BDA0002122343600000174
其中，
Figure BDA0002122343600000175
表示多个局部第二深层特征图。
可选地，深度特征提取模块，用于通过第i个残差采样块，根据如下第五公式，将多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：
第五公式：
Figure BDA0002122343600000176
其中，Ri为第i个残差采样块输出的多个局部第四深层特征图，
Figure BDA0002122343600000177
第i个残差采样块中第一分支得到的多个局部第一深层特征图，
Figure BDA0002122343600000178
为第i个残差采样块中第二分支得到的多个局部第二深层特征图，Ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。
综上所述，在本公开实施例中，通过第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图，并通过依次串联的N个残差采样块对多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图，进而，基于该多个局部第四深层特征图，通过第二卷积层和重建模块最终得到目标高分辨率车牌图像。其中，每个残差采样块包括三个分支，所以在进行第一次深度特征提取时，可以通过每个残差采样块自身的三个分支分别对多个目标特征图进行处理，进而将处理得到的多个局部第一深层特征图、多个局部第二深层特征图和多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图，然后获取第N个残差采样块输出的多个局部第四深层特征图。由于第一分支包括依次连接的上采样层、第三卷积层和下采样层，能够增加特征图的细节信息，第二分支通过第四卷积层充分提取低分辨率特征图的特征，第三分支能够避免重建过程中出现梯度消失导致重建效果差的问题，因此，将这三个分支得到的多个局部深层特征图进行特征融合可以为重建模块提供更多的信息，解决了提取的特征信息丢失的问题，使重建的车牌避免字符模糊，字符粘连，信息不丰富等情况，提高了车牌图像的辨识度。
本公开实施例提供了一种车牌图像的超分辨率重建方法和装置，该方法和装置应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的车牌图像超分辨率重建方法中终端所执行的操作。
本领域技术人员在考虑说明书及实践公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种车牌图像的超分辨率重建方法，其特征在于，应用于终端，所述终端上部署有图像处理网络，所述图像处理网络包括特征提取模块和重建模块，所述特征提取模块包括连接的初始化特征提取模块和深度特征提取模块，所述初始化特征提取模块包括第一卷积层，所述深度特征提取模块包括依次串联的N个相同的残差采样块和一个第二卷积层，所述N为大于等于1的整数，每个残差采样块包括第一分支，第二分支和第三分支，所述第一分支包括依次连接的上采样层、第三卷积层和下采样层，所述第二分支包括第四卷积层，所述第三分支为恒等映射分支，所述恒等映射分支的输出特征图与输入特征图相同，所述方法包括：
通过所述第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图；
通过所述依次串联的N个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图；
通过所述第二卷积层对所述第N个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将所述多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图；
通过所述重建模块对所述特征提取模块得到的所述多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据所述多个高分辨率特征图得到目标高分辨率车牌图像，所述目标高分辨率车牌图像为通过所述图像处理网络对所述低分辨率车牌图像进行超分辨率重建得到的车牌图像；
其中，所述通过所述依次串联的N个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图，包括：
通过所述依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过所述第i个残差采样块中的第三分支对所述多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取所述第N个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，所述多个目标特征图为所述多个浅层特征图，当i不等于1时，所述多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。
2.如权利要求1所述的方法，其特征在于，所述通过所述依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，包括：
通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图；
通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图；
通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，将所述多个下采样特征图确定为所述多个局部第一深层特征图，其中，所述上采样采用转置卷积，所述下采样采用卷积。
3.如权利要求2所述的方法，其特征在于，所述通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图，包括：
通过所述第一分支中的上采样层，根据如下第一公式，对所述多个目标特征图进行上采样，得到多个上采样特征图：
第一公式：
Figure FDA0002122343590000021
其中，
Figure FDA0002122343590000022
为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，Ri-1为所述多个目标特征图，Wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；
所述通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图，包括：
通过所述第一分支中的第三卷积层，根据如下第二公式，对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图：
第二公式：
Figure FDA0002122343590000023
其中，
Figure FDA0002122343590000024
为第i个残差采样块的多个第三卷积特征图；
所述通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，包括：
通过所述第一分支中的下采样层，根据如下第三公式，对所述多个第三卷积特征图进行下采样，得到多个下采样特征图：
第三公式：
Figure FDA0002122343590000031
其中，
Figure FDA0002122343590000032
为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。
4.如权利要求1所述的方法，其特征在于，所述通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图，包括：
通过所述第i个残差采样块中的第二分支，根据如下第四公式，对所述多个目标特征图进行深度特征提取，得到多个局部第二深层特征图：
第四公式：
Figure FDA0002122343590000033
其中，
Figure FDA0002122343590000034
表示多个局部第二深层特征图。
5.如权利要求1所述的方法，其特征在于，所述通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图，包括：
通过所述第i个残差采样块，根据如下第五公式，将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：
第五公式：
Figure FDA0002122343590000035
其中，Ri为第i个残差采样块输出的多个局部第四深层特征图，
Figure FDA0002122343590000036
第i个残差采样块中第一分支得到的多个局部第一深层特征图，
Figure FDA0002122343590000037
为第i个残差采样块中第二分支得到的多个局部第二深层特征图，Ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。
6.一种车牌图像的超分辨率重建装置，其特征在于，应用于终端，所述终端上部署有图像处理网络，所述图像处理网络包括特征提取模块和重建模块，所述特征提取模块包括连接的初始化特征提取模块和深度特征提取模块，所述初始化特征提取模块包括第一卷积层，所述深度特征提取模块包括依次串联的N个相同的残差采样块和一个第二卷积层，所述N为大于等于1的整数，每个残差采样块包括第一分支，第二分支和第三分支，所述第一分支包括依次连接的上采样层、第三卷积层和下采样层，所述第二分支包括第四卷积层，所述第三分支为恒等映射分支，所述恒等映射分支的输出特征图与输入特征图相同，所述装置包括：
初始化特征提取模块，用于通过所述第一卷积层对待处理的低分辨率车牌图像进行浅层特征提取，得到多个浅层特征图；
深度特征提取模块，用于通过所述依次串联的N个相同的残差采样块对所述多个浅层特征图进行第一次深度特征提取，得到第N个残差采样块输出的多个局部第四深层特征图；
特征融合模块，用于通过所述第二卷积层对所述第N个残差采样块输出的多个局部第四深层特征图进行第二次深度特征提取，得到多个第五深层特征图，并将所述多个第五深层特征图与多个浅层特征图一一对应进行特征融合，得到多个第六深层特征图；
超分辨率重建模块，用于通过所述重建模块对所述特征提取模块得到的所述多个第六深层特征图进行逐级倍数放大，得到多个高分辨率特征图，根据所述多个高分辨率特征图得到目标高分辨率车牌图像，所述目标高分辨率车牌图像为通过所述图像处理网络对所述低分辨率车牌图像进行超分辨率重建得到的车牌图像；
其中，所述深度特征提取模块还用于通过所述依次串联的N个相同的残差采样块中第i个残差采样块中的第一分支对多个目标特征图进行尺度变换，得到多个局部第一深层特征图，通过所述第i个残差采样块中的第二分支对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图，通过所述第i个残差采样块中的第三分支对所述多个目标特征图进行恒等映射，得到多个局部第三深层特征图；通过所述第i个残差采样块将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图一一对应进行特征融合，得到多个局部第四深层特征图；获取所述第N个残差采样块输出的多个局部第四深层特征图；其中，当i等于1时，所述多个目标特征图为所述多个浅层特征图，当i不等于1时，所述多个目标特征图为第i-1个残差采样块输出的多个局部第四深层特征图。
7.如权利要求6所述的装置，其特征在于，所述深度特征提取模块，包括：
第一采样子模块，用于通过所述第一分支中的上采样层对所述多个目标特征图进行上采样，得到多个上采样特征图；
特征提取子模块，用于通过所述第一分支中的第三卷积层对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图；
第二采样子模块，用于通过所述第一分支中的下采样层对所述多个第三卷积特征图进行下采样，得到多个下采样特征图，将所述多个下采样特征图确定为所述多个局部第一深层特征图，其中，所述上采样采用转置卷积，所述下采样采用卷积。
8.如权利要求7所述的装置，其特征在于，
所述第一采样子模块，用于通过所述第一分支中的上采样层，根据如下第一公式，对所述多个目标特征图进行上采样，得到多个上采样特征图：
第一公式：
Figure FDA0002122343590000051
其中，
Figure FDA0002122343590000052
为第i个残差采样块的多个上采样特征图，φ为第i个残差采样块的非线性映射函数或者激活函数，Ri-1为所述多个目标特征图，Wi和bi分别为第i个残差采样块的权重和偏置，↑s表示上采样s倍；
所述特征提取子模块，用于通过所述第一分支中的第三卷积层，根据如下第二公式，对所述多个上采样特征图进行特征提取，得到多个第三卷积特征图：
第二公式：
Figure FDA0002122343590000053
其中，
Figure FDA0002122343590000054
为第i个残差采样块的多个第三卷积特征图；
所述第二采样子模块，用于通过所述第一分支中的下采样层，根据如下第三公式，对所述多个第三卷积特征图进行下采样，得到多个下采样特征图：
第三公式：
Figure FDA0002122343590000055
其中，
Figure FDA0002122343590000056
为第i个残差采样块的多个下采样特征图，↓s为下采样s倍。
9.如权利要求6所述的装置，其特征在于，
所述深度特征提取模块，还用于通过所述第i个残差采样块中的第二分支，根据如下第四公式，对所述多个目标特征图进行特征提取，得到多个局部第二深层特征图：
第四公式：
Figure FDA0002122343590000057
其中，
Figure FDA0002122343590000058
表示多个局部第二深层特征图。
10.如权利要求6所述的装置，其特征在于，
所述深度特征提取模块，用于通过所述第i个残差采样块，根据如下第五公式，将所述多个局部第一深层特征图、所述多个局部第二深层特征图和所述多个局部第三深层特征图进行特征融合，得到多个局部第四深层特征图：
第五公式：
Figure FDA0002122343590000061
其中，Ri为第i个残差采样块输出的多个局部第四深层特征图，
Figure FDA0002122343590000062
第i个残差采样块中第一分支得到的多个局部第一深层特征图，
Figure FDA0002122343590000063
为第i个残差采样块中第二分支得到的多个局部第二深层特征图，Ri-1为第i个残差采样块中第三分支得到的多个局部第三深层特征图。
CN201910610927.XA 2019-07-08 2019-07-08 一种车牌图像的超分辨率重建方法和装置 Active CN110298791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910610927.XA CN110298791B (zh) 2019-07-08 2019-07-08 一种车牌图像的超分辨率重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610927.XA CN110298791B (zh) 2019-07-08 2019-07-08 一种车牌图像的超分辨率重建方法和装置

Publications (2)

Publication Number Publication Date
CN110298791A CN110298791A (zh) 2019-10-01
CN110298791B true CN110298791B (zh) 2022-10-28

Family

ID=68030646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610927.XA Active CN110298791B (zh) 2019-07-08 2019-07-08 一种车牌图像的超分辨率重建方法和装置

Country Status (1)

Country Link
CN (1) CN110298791B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950463A (zh) * 2019-12-11 2021-06-11 香港理工大学深圳研究院 一种图像超分辨率方法、图像超分辨率装置及终端设备
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
US11900563B2 (en) 2020-04-01 2024-02-13 Boe Technology Group Co., Ltd. Computer-implemented method, apparatus, and computer-program product
CN112053287B (zh) * 2020-09-11 2023-04-18 北京邮电大学 图像超分辨率方法、装置及设备
CN112329603B (zh) * 2020-11-03 2022-09-13 西南科技大学 一种基于图像级联的坝面裂纹缺陷定位方法
CN112767427A (zh) * 2021-01-19 2021-05-07 西安邮电大学 一种补偿边缘信息的低分辨率图像识别算法
CN114037624B (zh) * 2021-10-27 2023-05-23 成都市第二人民医院 一种用于糖尿病肾脏病变分类的图像增强方法及设备
CN114550137B (zh) * 2022-02-22 2024-04-09 智道网联科技(北京)有限公司 识别交通标志牌的方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101780057B1 (ko) * 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치
CN109064398A (zh) * 2018-07-14 2018-12-21 深圳市唯特视科技有限公司 一种基于残差密集网络的图像超分辨率实现方法
CN109064407A (zh) * 2018-09-13 2018-12-21 武汉大学 基于多层感知机层的密集连接网络图像超分辨率方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法
CN109829421A (zh) * 2019-01-29 2019-05-31 西安邮电大学 车辆检测的方法、装置及计算机可读存储介质
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130001213A (ko) * 2010-01-28 2013-01-03 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101780057B1 (ko) * 2016-08-02 2017-09-19 한양대학교 에리카산학협력단 고해상도 영상 복원 방법 및 장치
CN109064398A (zh) * 2018-07-14 2018-12-21 深圳市唯特视科技有限公司 一种基于残差密集网络的图像超分辨率实现方法
CN109064407A (zh) * 2018-09-13 2018-12-21 武汉大学 基于多层感知机层的密集连接网络图像超分辨率方法
CN109377530A (zh) * 2018-11-30 2019-02-22 天津大学 一种基于深度神经网络的双目深度估计方法
CN109829421A (zh) * 2019-01-29 2019-05-31 西安邮电大学 车辆检测的方法、装置及计算机可读存储介质
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Deep Differential Convolutional Network for Single Image Super-Resolution;PENG LIU 等;《IEEE Access》;20190307;第7卷;第37555-37564页 *
DENSE BYNET: RESIDUAL DENSE NETWORK FOR IMAGE SUPER RESOLUTION;Jiu Xu 等;《2018 25th IEEE International Conference on Image Processing (ICIP)》;20181010;第71-75页 *
Residual Dense Network for Image Super-Resolution;Yulun Zhang 等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第2472-2481页 *
基于改进卷积神经网络的单幅图像超分辨率重建方法;刘月峰 等;《计算机应用》;20190510;第39卷(第5期);第1441-1447页 *

Also Published As

Publication number Publication date
CN110298791A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298791B (zh) 一种车牌图像的超分辨率重建方法和装置
US10853916B2 (en) Convolution deconvolution neural network method and system
US11151690B2 (en) Image super-resolution reconstruction method, mobile terminal, and computer-readable storage medium
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及***
CN110322400B (zh) 图像处理方法及装置、图像处理***及其训练方法
CN102142137B (zh) 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN108074215B (zh) 图像升频***及其训练方法、以及图像升频方法
CN112070670B (zh) 全局-局部分离注意力机制的人脸超分辨率方法及***
CN112037129B (zh) 图像超分辨率重建方法、装置、设备及存储介质
CN110211205B (zh) 图像处理方法、装置、设备和存储介质
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
CN111784582A (zh) 一种基于dec_se的低照度图像超分辨率重建方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN111797834B (zh) 文本识别方法、装置、计算机设备和存储介质
CN115578255B (zh) 一种基于帧间亚像素块匹配的超分辨率重建方法
CN112907448A (zh) 一种任意比率图像超分辨率方法、***、设备及存储介质
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
CN113298716A (zh) 基于卷积神经网络的图像超分辨率重建方法
CN114332625A (zh) 基于神经网络的遥感图像彩色化和超分辨率方法及***
CN112801879B (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及***
CN111223046A (zh) 一种图像超分辨率重建方法及装置
CN115311145A (zh) 图像处理方法及装置、电子设备、存储介质
KR102605657B1 (ko) 심층 신경회로에서의 데이터 변환 장치 및 방법
CN114445277A (zh) 深度图像像素增强方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant