CN111968064B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111968064B CN111968064B CN202011136482.5A CN202011136482A CN111968064B CN 111968064 B CN111968064 B CN 111968064B CN 202011136482 A CN202011136482 A CN 202011136482A CN 111968064 B CN111968064 B CN 111968064B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- features
- super
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 124
- 230000004927 fusion Effects 0.000 claims abstract description 102
- 238000012545 processing Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 24
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005070 sampling Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种图像处理方法、装置、电子设备及存储介质，该方法包括：获得待处理图像；对待处理图像进行特征提取，获得图像特征；使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征；对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理。在上述的实现过程中，通过对图像特征提取出的超分辨率特征和目标检测特征进行融合，再根据获得的融合特征进行计算机视觉处理，从而充分地利用超分辨率特征和目标检测特征在语义信息和细节信息上的互补性进行超分辨率重建或者目标检测等计算机视觉相关的任务，有效提高对图像进行计算机视觉处理的效果。
Description
技术领域
本申请涉及计算机视觉、目标检测和超分辨率的技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
计算机视觉（Computer vision）是一门研究如何使机器“看”的科学，亦即用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像；其中，计算机视觉的相关任务包括：超分辨率重建和目标检测等。
在具体的实践过程中发现，在图像采集过程往往会受到实际环境的各种限制，这些限制例如：使用普通分辨率的摄像头获取到的图像分辨率较低，或者，目标对象在采集图像中尺寸较小。目前对存在限制的图像进行计算机视觉处理后的效果不佳，具体例如：对分辨率较低的图像进行超分辨率重建，获得的图像容易出现一些细节纹理错误；又例如：对目标对象尺寸较小的图像进行目标检测处理时，很容易出现识别失败或者识别错误的情况。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，用于改善对存在限制的图像进行计算机视觉处理后的效果不佳的问题。
本申请实施例提供了一种图像处理方法，包括：获得待处理图像；对待处理图像进行底层特征提取，获得图像底层特征；使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征；对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理。在上述的实现过程中，通过对任务导向图像特征提取出的超分辨率特征和目标检测特征进行融合，再根据获得的融合特征进行计算机视觉处理，从而充分地利用超分辨率特征和目标检测特征在语义信息和细节信息层面的互补性进行超分辨率重建或者目标检测等计算机视觉相关的任务，有效提高对图像进行计算机视觉处理的效果。
可选地，在本申请实施例中，计算机视觉处理包括：超分辨率重建；对第一特征和第二特征进行融合，获得融合特征，并对融合特征进行计算机视觉处理，包括：对第二特征进行上采样，获得上采样特征；使用第一卷积模块对上采样特征进行特征变换，获得语义特征；将第一特征和语义特征进行融合，获得融合特征；对融合特征进行超分辨率重建，获得超分辨率图像。在上述的实现过程中，通过将超分辨率任务相关的第一特征和上采样特征变换后获得的语义特征进行融合，获得融合特征；再对融合特征进行超分辨率重建，获得超分辨率图像；从而有效地利用了第一特征中的细节信息和上采样特征变换后的语义特征中的语义信息两种信息来完成超分辨率重建的任务，提高了对待处理图像进行超分辨率重建的准确率。
可选地，在本申请实施例中，将第一特征和语义特征进行融合，包括：将第一特征和语义特征进行通道注意力融合，或者，将第一特征和语义特征进行空间注意力融合。
可选地，在本申请实施例中，在获得超分辨率图像之后，还包括：对超分辨率图像进行目标检测处理，获得目标检测结果。在上述的实现过程中，通过先将超分辨率任务相关的第一特征和上采样特征变换后获得的语义特征进行融合，获得融合特征；再对融合特征进行超分辨率重建，获得超分辨率图；最后对超分辨率图像进行目标检测处理，获得目标检测结果；有效地利用融合的语义特征提高了超分辨率图像的清晰度，从而提高了目标检测的准确率。
可选地，在本申请实施例中，计算机视觉处理包括：目标检测处理；对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理，包括：使用第二卷积模块对第一特征进行特征变换，获得细节特征；将细节特征和第二特征进行融合，获得融合特征；对融合特征进行目标检测处理，获得目标检测结果。在上述的实现过程中，通过将对第一特征进行特征变换获得的细节特征和目标检测任务相关的第二特征进行融合，获得融合特征；然后对融合特征进行目标检测处理，获得目标检测结果；从而有效地利用了融合的细节特征来进行目标检测处理，提高了目标检测的准确率。
可选地，在本申请实施例中，将细节特征和第二特征进行融合，包括：将细节特征和第二特征进行通道融合，或者，将细节特征和第二特征进行空间注意力融合。
可选地，在本申请实施例中，目标检测网络模型包括：边框回归分支和分类分支；对融合特征进行目标检测处理，包括：使用边框回归分支预测融合特征中所有的候选边框，候选边框表征预测出待处理图像中包含目标对象的区域；使用分类分支对候选边框进行分类，获得候选边框对应的目标对象的目标类别和目标类别对应的概率。
本申请实施例还提供了一种图像处理装置，包括：处理图像获得模块，用于获得待处理图像；图像底层特征获得模块，用于对待处理图像进行底层特征提取，获得图像底层特征；图像特征提取模块，用于使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征；融合视觉处理模块，用于对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理。在上述的实现过程中，通过对图像特征提取出的超分辨率特征和目标检测特征进行融合，再根据获得的融合特征进行计算机视觉处理，从而充分地利用超分辨率特征和目标检测特征在语义信息和细节信息上的互补性进行超分辨率重建或者目标检测等计算机视觉相关的任务，有效提高对图像进行计算机视觉处理的效果。
可选地，在本申请实施例中，计算机视觉处理包括：超分辨率重建；融合视觉处理模块，包括：采样特征获得模块，用于对第二特征进行上采样，获得上采样特征；语义特征获得模块，用于使用第一卷积模块对上采样特征进行特征变换，获得语义特征；第一特征融合模块，用于将第一特征和语义特征进行融合，获得融合特征；超分辨率重建模块，用于对融合特征进行超分辨率重建，获得超分辨率图像。
可选地，在本申请实施例中，第一特征融合模块，包括：语义特征融合模块，用于将第一特征和语义特征进行通道注意力融合，或者，将第一特征和语义特征进行空间注意力融合。
可选地，在本申请实施例中，融合视觉处理模块，还包括：第一目标检测模块，用于对超分辨率图像进行目标检测处理，获得目标检测结果。
可选地，在本申请实施例中，计算机视觉处理包括：目标检测处理；融合视觉处理模块，包括：细节特征获得模块，用于使用第二卷积模块对第一特征进行特征变换，获得细节特征；第二特征融合模块，用于将细节特征和第二特征进行融合，获得融合特征；第二目标检测模块，用于对融合特征进行目标检测处理，获得目标检测结果。
可选地，在本申请实施例中，第二特征融合模块，包括：细节特征融合模块，用于将细节特征和第二特征进行通道融合，或者，将细节特征和第二特征进行空间注意力融合。
可选地，在本申请实施例中，目标检测网络模型包括：边框回归分支和分类分支；第二目标检测模块，包括：候选边框预测模块，用于使用边框回归分支预测融合特征中所有的候选边框，候选边框表征预测出待处理图像中包含目标对象的区域；候选边框分类模块，用于使用分类分支对候选边框进行分类，获得候选边框对应的目标对象的目标类别和目标类别对应的概率。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的图像处理方法的流程示意图；
图2示出的本申请实施例提供的计算机视觉处理的过程示意图；
图3示出的本申请实施例提供的残差中残差稠密模块的网络结构图；
图4示出的本申请实施例提供的超分辨率重建的过程示意图；
图5示出的本申请实施例提供的目标检测处理的过程示意图；
图6示出的本申请实施例提供的图像处理装置的结构示意图；
图7示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的图像处理方法之前，先介绍本申请实施例中所涉及的一些概念：
超分辨率（Super-Resolution），又被称为超分辨率重建，是指通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一张高分辨率的图像过程就是超分辨率重建；超分辨率重建的常用方法包括：基于卷积神经网络的方法和基于生成对抗网络的方法等。
目标检测，又被称为目标提取，是一种基于目标几何和统计特征的图像理解算法，目标检测是将目标的定位和识别合二为一，目标检测的准确性和实时性是计算机视觉中的一项重要能力。
残差网络（Residual Network，ResNet），又被称为残差神经网络，是指微软研究院的学者提出的卷积神经网络；ResNet内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
循环神经网络（Recurrent Neural Network，RNN），又称递归神经网络，是一类以序列数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。
超分辨率模型，是指对图像进行超分辨率重建的神经网络模型，可以理解为将低分辨率图像转换为高分辨率图像的神经网络模型。
目标检测网络，是指对图像中的目标对象进行检测的神经网络，即检测出图像中的目标对象，并给出目标对象在图像中的位置范围、分类和概率，位置范围具体可以为检测框的形式标注，分类是指目标对象的具体类别，概率是指检测框中的目标对象为具体类别的概率。
区域卷积神经网络（Region Convolutional Neural Network，RCNN），是第一个成功将深度学习应用到目标检测上的算法；RCNN基于卷积神经网络、线性回归和支持向量机等算法，来实现目标检测的目的。
需要说明的是，本申请实施例提供的图像处理方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑（personal computer，PC）、平板电脑、个人数字助理（personal digitalassistant，PDA）、移动上网设备（mobile Internet device，MID）、网络交换机或网络路由器等。
在介绍本申请实施例提供的图像处理方法之前，先介绍该图像处理方法适用的应用场景，这里的应用场景包括但不限于：使用该图像处理方法对待处理图像进行计算机视觉处理，此处的计算机视觉处理包括但不限于：超分辨率重建、目标检测和目标识别等；其中，目标检测是对待处理图像进行分割后，再对分割的图像进行目标识别，当待处理图像满足目标识别的要求时，就可以不对待处理图像进行分割，此时就可以直接对待处理图像进行目标识别。
上述的图像处理方法使用在具体应用场景中，此处的具体应用场景例如：在智慧安防场景中，图片的采集往往会受很多因素的影响，这些因素例如：摄像头分辨率、成像质量、目标距离和复杂的光照天气等等，这些因素常常会导致采集图像（例如行人，机动车，车牌等）分辨率过低，或者目标对象在采集图像中的尺寸过小，难以通过目标检测神经网络检测出图像中目标对象的具体类别。可以使用上述图像处理方法对采集图像进行目标检测，在目标检测时会融合超分辨率特征，共同确定图像中目标对象的具体类别，从而提高了对待处理图像进行目标检测的正确率，或者，可以使用上述图像处理方法对采集图像进行超分辨率重建，获得高清图像，再对高清图像进行目标检测或目标识别，获得图像中目标对象的具体类别。
请参见图1示出的本申请实施例提供的图像处理方法的流程示意图；该图像处理方法的主要思路是，通过对待处理图像的图像特征提取出的超分辨率特征和目标检测特征进行融合，再根据获得的融合特征进行计算机视觉处理，从而充分地利用超分辨率特征中的细节信息和目标检测特征中的语义信息的互补性进行超分辨率重建或者目标检测等计算机视觉相关的任务，有效提高对图像进行计算机视觉处理的效果，包括：
步骤S110：获得待处理图像。
上述步骤S110中的待处理图像的获得方式包括但不限于以下几种：第一种获得方式，使用摄像机、录像机或彩色照相机等终端设备对目标对象进行拍摄，获得待处理图像；然后该终端设备向电子设备发送待处理图像，然后电子设备接收终端设备发送的待处理图像，电子设备可以将待处理图像存储至文件***、数据库或移动存储设备中；第二种获得方式，获取预先存储的待处理图像，具体例如：从文件***中获取待处理图像，或者从数据库中获取待处理图像，或者从移动存储设备中获取待处理图像；第三种获得方式，使用浏览器等软件获取互联网上的待处理图像，或者使用其它应用程序访问互联网获得待处理图像。
在步骤S110之后，执行步骤S120：对待处理图像进行底层特征提取，获得图像底层特征。
图像底层特征，是指提取图像中的基本特征，这里的基本特征包括但不限于：纹理、阴影、颜色、亮度、通道和对比度等等特征。
请参见图2示出的本申请实施例提供的计算机视觉处理的过程示意图；图中的矩形表示计算过程中的数据名称，图中的椭圆表示计算过程中计算处理的具体名称，图中的箭头方向表示计算过程中的数据流向；上述步骤S120的实施方式有很多种，包括但不限于如下几种：
第一种实施方式，使用残差网络模块对待处理图像进行特征提取，获得纹理、颜色和形状等等底层图像特征；其中，此处的残差网络模块包括但不限于：ResNet22、ResNet38、ResNet50、ResNet101和ResNet152等等，此处残差模块具体可以包括：两个步长为2的卷积核，从而实现将待处理图像的分辨率下采样到四分之一的尺寸。
第二种实施方式，使用卷积神经网络（Convolutional Neural Networks，CNN）模型提取待处理图像中的图像特征，此处的卷积神经网络模型包括但不限于：LeNet网络模型、AlexNet网络模型、VGG网络模型和GoogLeNet网络模型等等。
在步骤S120之后，执行步骤S130：使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征。
其中，上述的超分辨率模型的作用和目标检测网络模型的作用是不一样的，从任务导向的视角来看，超分辨率模型的任务是将图像特征进行超分辨率重建，即使得待处理图像特征更加清晰，而目标检测网络模型的任务是检测目标对象在检测待处理图像中的位置区域和具体类别；因此，虽然两个模型都是处理同一个图像来源的特征，但是两个模型对特征的作用是完全不同的。上述步骤S130中的使用超分辨率模型提取图像特征中的第一特征的实施方式有很多种，包括但不限于如下几种：
第一种实施方式，请参见图3示出的本申请实施例提供的残差中残差稠密模块的网络结构图；超分辨率模型可以采用残差中残差稠密模块（Residual-in-Residual DenseBlock，RRDB），从而实现提取图像特征中与超分辨率任务相关的第一特征；其中，RRDB可以包括：第一稠密模块（Dense Block）、第二稠密模块和第三稠密模块，每个稠密模块的网络结构都是相同的，图中仅示出了一个稠密模块的网络结构，图中的β值表示残差比例参数（residualscaling parameter），图中的加号（+）节点表示融合操作。上述稠密模块的网络结构包括：卷积模块（Conv）和修正线性单元（Rectified Linear Unit，ReLU），当然，此处的ReLU也可以使用泄露修正线性单元（Leaky ReLU，LReLU）替换。在具体的实施过程中，可以根据计算量和性能的不同需求，采用不同数量的RRDB模块，具体地，RRDB模块的数量可以是16个到24个之间的任意数量。
第二种实施方式，超分辨率模型可以采用生成对抗网络（GenerativeAdversarial Network，GAN），此处的GAN是机器学习中的一种学习范式，通过让两个神经网络相互博弈的方式进行学习；生成对抗网络由一个生成器（generator）与一个鉴别器（discriminator）组成，生成器从潜在空间（latent space）中随机取样作为输入数据；可以使用的生成对抗网络包括：GAN、styleGAN、styleGAN2、WGAN（Wasserstein GAN）和WGAN-GP（Wasserstein GAN-gradient penalty）等。
第三种实施方式，超分辨率模型可以包括：上采样网络，使用该上采样网络对待处理图像进行上采样，获得上采样图像，并提取上采样图像中的深度特征，将深度特征和上采样图像中的图像特征进行融合，获得与超分辨率任务相关的第一特征；其中，上述的上采样图像也可以使用插值算法来获得，插值算法具体例如：最近邻插值算法、双线性插值算法和双三次插值算法。
上述步骤S130中的使用目标检测网络模型提取图像特征中的第二特征的实施方式有很多种，包括但不限于如下几种：
第一种实施方式，目标检测网络模型中包括多个残差网络模块，因此，可以使用目标检测网络模型中的多个残差网络模块来提取图像特征中的第二特征，具体例如：多个残差网络模块可以是三个步长为2的残差网络模块，从而实现将待处理图像提取出的图像特征进行下采样，下采样后的特征图尺寸是图像特征尺寸的1/32，以此类推，当采用不同个数的残差网络模块和不同步长的残差网络模块时，下采样比例是不同的，可以根据具体实际情况进行设置，例如可以输出尺寸为1/8、1/16和1/32的3种下采样后的特征图。
第二种实施方式，也可以直接将目标检测网络模型中的多个残差网络模块复制需要的模块，获得三个步长为2的残差网络模块，并使用复制出来的三个步长为2的残差网络模块提取图像特征中的第二特征；可以根据具体实际情况提取不同尺寸的多个第二特征，具体例如：根据具体实际情况设置残差网络模块的数量和步长，从而输出尺寸为1/8、1/16和1/32的3种下采样后的特征图。
在步骤S130之后，执行步骤S140：对第一特征和第二特征进行融合，获得融合特征，并对融合特征进行计算机视觉处理。
其中，计算机视觉处理任务包括但不限于：超分辨率重建任务和目标检测处理任务；针对不同的计算机视觉处理任务上述的特征融合方式也不相同，下面对这两者任务的不同融合方式作进一步的说明，上述步骤S140中的计算机视觉处理的实施方式包括但不限于如下几种：
第一种实施方式，请参见图4示出的本申请实施例提供的超分辨率重建的过程示意图；图中的形状有不清楚的可以参照图2中的解释，图中的虚线矩形表示可选的处理结果，虚线椭圆表示可选的处理步骤，虚线箭头表示可选的数据流向；对第二特征进行处理后，再将处理后的特征和第一特征进行语义信息和细节信息层面的融合，获得融合特征，最后对融合特征进行超分辨率重建，该实施方式可以包括：
步骤S141：对第二特征进行上采样，获得上采样特征。
上述步骤S141的实施方式例如：使用插值算法或者上采样网络模型对第二特征进行上采样，获得上采样特征；其中，插值算法包括但不限于：最近邻插值算法、双线性插值算法和双三次插值算法；上采样网络模型包括但不限于：卷积神经网络（CNN）模型、反卷积网络和PixelShuffle网络等；具体例如：假设第二特征包括：1/8、1/16和1/32的3种尺寸，这3种尺寸特征图相应的语义信息逐渐增多；可以通过上采样操作将检测特征缩放到和超分辨率任务相关的第一特征相同尺寸。
步骤S142：使用第一卷积模块对上采样特征进行特征变换，获得语义特征。
上述步骤S142的实施方式例如：使用第一卷积模块对上采样特征进行语义特征变换，获得语义特征；其中，上述的第一卷积模块可以是单独使用的卷积模块，也可以是超分辨率模型或者目标检测模型中的卷积模块。
步骤S143：将第一特征和语义特征进行融合，获得融合特征。
上述步骤S143中的将第一特征和语义特征进行融合的实施方式包括：第一种融合方式，将第一特征和语义特征进行通道注意力融合，具体例如：通过语义特征变换将1/8、1/16和1/32的3种尺寸在通道上根据通道注意力模块输出的权重进行特征融合；第二种融合方式，将第一特征和语义特征进行空间注意力融合，具体例如：通过语义特征变换将1/8、1/16和1/32的3种尺寸在空间上根据空间注意力模块输出的权重进行特征融合。
步骤S144：对融合特征进行超分辨率重建，获得超分辨率图像。
上述步骤S144中的实施方式例如：使用像素重排序（pixel shuffle）的方式对融合特征进行超分辨率重建，获得超分辨率图像；其中，一个像素重排序可以实现2倍的放大，像素重排序的数量可以根据具体需要实现的放大倍数来选择。
可选地，在获得超分辨率图像之后，还可以根据超分辨率图像进行目标检测，在步骤S144之后，还可以包括：
步骤S145：对超分辨率图像进行目标检测处理，获得目标检测结果。
上述步骤S145的实施方式例如：使用目标检测网络模型对超分辨率图像进行目标检测处理，获得目标检测结果；其中，此处的目标检测网络模型可以采用的神经网络模型包括但不限于：RCNN模型、fast RCNN模型和faster RCNN模型等等；这里的fast RCNN和faster RCNN均是在RCNN上作出的改进。
在上述的实现过程中，通过将超分辨率任务相关的第一特征和上采样特征变换后获得的语义特征进行融合，获得融合特征；再对融合特征进行超分辨率重建，获得超分辨率图像；从而有效地利用了第一特征中的细节信息和上采样特征变换后的语义特征中的语义信息两种信息来完成超分辨率重建的任务，提高了对待处理图像进行超分辨率重建的准确率。进一步地，还对超分辨率图像进行目标检测处理，获得目标检测结果；有效地利用融合的语义特征提高了超分辨率图像的清晰度，从而提高了目标检测的准确率。
第二种实施方式，请参见图5示出的本申请实施例提供的目标检测处理的过程示意图；图中的形状有不清楚的可以参照图2中的解释。先对第一特征进行处理，然后将处理后的第一特征和第二特征进行融合，获得融合特征，最后对融合特征进行目标检测处理；该实施方式可以包括：
步骤S146：使用第二卷积模块对第一特征进行特征变换，获得细节特征。
上述步骤S146的实施方式例如：使用第二卷积模块对第一特征进行细节特征变换，将超分辨率任务相关的第一特征分解成1/8、1/16和1/32这三种尺寸的细节特征，这三种细节特征分别对应相同尺寸的目标检测任务相关的第二特征，也就是说，第二特征也可以包括尺寸为1/8、1/16和1/32的特征图；其中，上述的第二卷积模块可以是单独使用的卷积模块，也可以是超分辨率模型或者目标检测模型中的卷积模块。
步骤S147：将细节特征和第二特征进行融合，获得融合特征。
上述步骤S147中的将细节特征和第二特征进行融合的实施方式包括：第一种融合方式，将相同尺寸的细节特征和第二特征利用通道注意力模块进行通道融合；第二种融合方式，将相同尺寸的细节特征和第二特征利用空间注意力模块进行空间注意力融合，从而实现两种特征的融合。
步骤S148：对融合特征进行目标检测处理，获得目标检测结果。
目标检测网络模型，是指使用训练数据集对目标检测网络进行训练获得的神经网络模型；其中，目标检测网络模型可以包括：边框回归分支和分类分支。
上述步骤S148的实施方式有很多种，包括但不限于如下几种：
第一种实施方式，使用基于提议实例分割框架下的路径聚合网络（PathAggregation Network，PANet）模型对融合特征进行目标检测处理，获得目标检测结果；其中，路径聚合网络模型的输入可以是上述的尺寸为1/8、1/16和1/32三种特征图，PANet由一个自底向上的通道和一个自顶向下的通道来实现三种尺寸不相同的特征图融合,最终通过一个分类分支和矩形框回归分支来输出目标检测结果，分类分支和矩形框回归分支的具体计算过程参见下面的第二种实现方式。在上述的实现过程中，通过将对第一特征进行特征变换获得的细节特征和目标检测任务相关的第二特征进行融合，获得融合特征；然后对融合特征进行目标检测处理，获得目标检测结果；从而有效地利用了融合的细节特征来进行目标检测处理，提高了目标检测的准确率。
第二种实施方式，使用包括边框回归分支和分类分支的目标检测网络模型，对融合特征进行目标检测处理，获得目标检测结果；具体例如：使用目标检测网络模型中的边框回归分支预测融合特征中所有的候选边框，候选边框表征预测出待处理图像中包含目标对象的区域；使用目标检测网络模型中的分类分支对候选边框进行分类，获得候选边框对应的目标对象的目标类别和目标类别对应的概率，具体的实施原理和实施方式与第一种实施方式类似，因此，这里不再对齐进行赘述。
在上述的实现过程中，先对待处理图像进行特征提取获得图像特征，然后使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征；最后对第一特征和第二特征的融合特征进行计算机视觉处理；也就是说，通过对任务导向图像特征提取出的超分辨率特征和目标检测特征进行语义和细节层面的融合，再根据获得的融合特征进行计算机视觉处理，从而充分地利用超分辨率特征和目标检测特征在语义信息和细节信息上的互补性进行超分辨率重建或者目标检测等计算机视觉相关的任务，有效提高对图像进行计算机视觉处理的效果。
请参见图6示出的本申请实施例提供的图像处理装置的结构示意图；本申请实施例提供了一种图像处理装置200，包括：
处理图像获得模块210，用于获得待处理图像。
图像特征获得模块220，用于对待处理图像进行底层特征提取，获得图像底层特征。
图像特征提取模块230，用于使用超分辨率模型提取图像特征中的第一特征，并使用目标检测网络模型提取图像特征中的第二特征。
融合视觉处理模块240，用于对第一特征和第二特征进行语义和细节层面的融合，获得融合特征，并对融合特征进行计算机视觉处理。
可选地，在本申请实施例中，计算机视觉处理包括：超分辨率重建；融合视觉处理模块，包括：
采样特征获得模块，用于对第二特征进行上采样，获得上采样特征。
语义特征获得模块，用于使用第一卷积模块对上采样特征进行特征变换，获得语义特征。
第一特征融合模块，用于将第一特征和语义特征进行融合，获得融合特征。
超分辨率重建模块，用于对融合特征进行超分辨率重建，获得超分辨率图像。
可选地，在本申请实施例中，第一特征融合模块，包括：
语义特征融合模块，用于将第一特征和语义特征进行通道注意力融合，或者，将第一特征和语义特征进行空间注意力融合。
可选地，在本申请实施例中，融合视觉处理模块，还包括：
第一目标检测模块，用于对超分辨率图像进行目标检测处理，获得目标检测结果。
可选地，在本申请实施例中，计算机视觉处理包括：目标检测处理；融合视觉处理模块，包括：
细节特征获得模块，用于使用第二卷积模块对第一特征进行特征变换，获得细节特征。
第二特征融合模块，用于将细节特征和第二特征进行融合，获得融合特征。
第二目标检测模块，用于对融合特征进行目标检测处理，获得目标检测结果。
可选地，在本申请实施例中，第二特征融合模块，包括：
细节特征融合模块，用于将细节特征和第二特征进行通道注意力融合，或者，将细节特征和第二特征进行空间注意力融合。
可选地，在本申请实施例中，目标检测网络模型包括：边框回归分支和分类分支；第二目标检测模块，包括：
候选边框预测模块，用于使用边框回归分支预测融合特征中所有的候选边框，候选边框表征预测出待处理图像中包含目标对象的区域。
候选边框分类模块，用于使用分类分支对候选边框进行分类，获得候选边框对应的目标对象的目标类别和目标类别对应的概率。
应理解的是，该装置与上述的图像处理方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件（firmware）的形式存储于存储器中或固化在装置的操作***（operating system，OS）中的软件功能模块。
请参见图7示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备300，包括：处理器310和存储器320，存储器320存储有处理器310可执行的机器可读指令，机器可读指令被处理器310执行时执行如上的方法。
本申请实施例还提供了一种存储介质330，该存储介质330上存储有计算机程序，该计算机程序被处理器310运行时执行如上的方法。
其中，存储介质330可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以使用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (8)
1.一种图像处理方法，其特征在于，包括：
获得待处理图像；
对所述待处理图像进行特征提取，获得图像特征；
使用超分辨率模型提取所述图像特征中的第一特征，并使用目标检测网络模型提取所述图像特征中的第二特征；
对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理；
其中，所述超分辨率模型采用残差中残差稠密模块，所述对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理，包括：使用第一卷积模块对所述第二特征进行特征变换，获得语义特征；将所述第一特征和所述语义特征进行融合，获得所述融合特征；对所述融合特征进行超分辨率重建，获得超分辨率图像；
所述对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理，包括：使用第二卷积模块对所述第一特征进行特征变换，获得相同尺寸的细节特征；将所述相同尺寸的细节特征和所述第二特征进行融合，获得所述融合特征；对所述融合特征进行目标检测处理，获得目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一特征和所述语义特征进行融合，包括：
将所述第一特征和所述语义特征进行通道融合，或者，将所述第一特征和所述语义特征进行空间注意力融合。
3.根据权利要求1所述的方法，其特征在于，在所述获得超分辨率图像之后，还包括：
对所述超分辨率图像进行目标检测处理，获得目标检测结果。
4.根据权利要求3所述的方法，其特征在于，所述将所述细节特征和所述第二特征进行融合，包括：
将所述细节特征和所述第二特征进行通道融合，或者，将所述细节特征和所述第二特征进行空间注意力融合。
5.根据权利要求1所述的方法，其特征在于，所述目标检测网络模型包括：边框回归分支和分类分支；所述对所述融合特征进行目标检测处理，包括：
使用所述边框回归分支预测所述融合特征中所有的候选边框，所述候选边框表征预测出所述待处理图像中包含目标对象的区域；
使用所述分类分支对所述候选边框进行分类，获得所述候选边框对应的目标对象的目标类别和所述目标类别对应的概率。
6.一种图像处理装置，其特征在于，包括：
处理图像获得模块，用于获得待处理图像；
图像特征获得模块，用于对所述待处理图像进行特征提取，获得图像特征；
图像特征提取模块，用于使用超分辨率模型提取所述图像特征中的第一特征，并使用目标检测网络模型提取所述图像特征中的第二特征；
融合视觉处理模块，用于对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理；
其中，所述超分辨率模型采用残差中残差稠密模块，所述对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理，包括：使用第一卷积模块对所述第二特征进行特征变换，获得语义特征；将所述第一特征和所述语义特征进行融合，获得所述融合特征；对所述融合特征进行超分辨率重建，获得超分辨率图像；
所述对所述第一特征和所述第二特征进行融合，获得融合特征，并对所述融合特征进行计算机视觉处理，包括：使用第二卷积模块对所述第一特征进行特征变换，获得相同尺寸的细节特征；将所述相同尺寸的细节特征和所述第二特征进行融合，获得所述融合特征；对所述融合特征进行目标检测处理，获得目标检测结果。
7.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的方法。
8.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011136482.5A CN111968064B (zh) | 2020-10-22 | 2020-10-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011136482.5A CN111968064B (zh) | 2020-10-22 | 2020-10-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968064A CN111968064A (zh) | 2020-11-20 |
| CN111968064B true CN111968064B (zh) | 2021-01-15 |
Family
ID=73387643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011136482.5A Active CN111968064B (zh) | 2020-10-22 | 2020-10-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968064B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220261959A1 (en) * | 2021-02-08 | 2022-08-18 | Nanjing University Of Posts And Telecommunications | Method of reconstruction of super-resolution of video frame |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112562819B (zh) * | 2020-12-10 | 2022-06-17 | 清华大学 | 一种针对先心病的超声多切面数据的报告生成方法 |
| CN113421305B (zh) * | 2021-06-29 | 2023-06-02 | 上海高德威智能交通***有限公司 | 目标检测方法、装置、***、电子设备及存储介质 |
| CN115880192A (zh) * | 2021-09-27 | 2023-03-31 | 北京字跳网络技术有限公司 | 一种特征融合方法、图像去雾方法及装置 |
| TWI806243B (zh) | 2021-11-17 | 2023-06-21 | 瑞昱半導體股份有限公司 | 超解析度影像產生裝置 |
| CN114694091B (zh) * | 2022-03-09 | 2024-06-14 | 东南大学 | 一种复杂交通环境下基于监控视频的交通参与者检测方法 |
| CN115937145B (zh) * | 2022-12-09 | 2024-03-19 | 深圳市禾葡兰信息科技有限公司 | 基于大数据分析的肌肤健康可视化方法、装置及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993096A (zh) * | 2019-03-26 | 2019-07-09 | 东北大学 | 一种面向视频目标检测的光流多层帧特征传播及聚合方法 |
| WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN110728658A (zh) * | 2019-09-16 | 2020-01-24 | 武汉大学 | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 |
| CN111681168A (zh) * | 2020-06-05 | 2020-09-18 | 杭州电子科技大学 | 一种基于并行残差网络的低分辨率细胞超分辨率重建方法 |
| CN111783576A (zh) * | 2020-06-18 | 2020-10-16 | 西安电子科技大学 | 基于改进型YOLOv3网络和特征融合的行人重识别方法 |
| CN111797920A (zh) * | 2020-06-30 | 2020-10-20 | 武汉大学 | 门控特征融合的深度网络不透水面遥感提取方法及*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9949714B2 (en) * | 2015-07-29 | 2018-04-24 | Htc Corporation | Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection |
| CN111275066A (zh) * | 2018-12-05 | 2020-06-12 | 北京嘀嘀无限科技发展有限公司 | 一种图像特征的融合方法、装置以及电子设备 |
| CN111369440B (zh) * | 2020-03-03 | 2024-01-30 | 网易（杭州）网络有限公司 | 模型训练、图像超分辨处理方法、装置、终端及存储介质 |
| CN111768342B (zh) * | 2020-09-03 | 2020-12-01 | 之江实验室 | 基于注意力机制和多级反馈监督的人脸超分辨方法 |
-
2020
- 2020-10-22 CN CN202011136482.5A patent/CN111968064B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN109993096A (zh) * | 2019-03-26 | 2019-07-09 | 东北大学 | 一种面向视频目标检测的光流多层帧特征传播及聚合方法 |
| CN110728658A (zh) * | 2019-09-16 | 2020-01-24 | 武汉大学 | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 |
| CN111681168A (zh) * | 2020-06-05 | 2020-09-18 | 杭州电子科技大学 | 一种基于并行残差网络的低分辨率细胞超分辨率重建方法 |
| CN111783576A (zh) * | 2020-06-18 | 2020-10-16 | 西安电子科技大学 | 基于改进型YOLOv3网络和特征融合的行人重识别方法 |
| CN111797920A (zh) * | 2020-06-30 | 2020-10-20 | 武汉大学 | 门控特征融合的深度网络不透水面遥感提取方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| Infrared and Visible Image Fusion with a Generative Adversarial Network and a Residual Network;Dongdong Xu 等;《Applied sciences》;20200111;1-22 * |
| 基于深度学习的粘虫板图像害虫识别与计数;张银松;《中国优秀硕士学位论文全文数据库 农业科技辑》;20191215(第12期);D046-3 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220261959A1 (en) * | 2021-02-08 | 2022-08-18 | Nanjing University Of Posts And Telecommunications | Method of reconstruction of super-resolution of video frame |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968064A (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968064B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN112465828B (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| US11176381B2 (en) | Video object segmentation by reference-guided mask propagation | |
| Yang et al. | A self-learning approach to single image super-resolution | |
| AU2021354030B2 (en) | Processing images using self-attention based neural networks | |
| CN113221925B (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN110781980B (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
| CN109977832B (zh) | 一种图像处理方法、装置及存储介质 | |
| US20220076119A1 (en) | Device and method of training a generative neural network | |
| US20210295155A1 (en) | Method and system for transfer learning based object detection | |
| CN111914654A (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN112597918A (zh) | 文本检测方法及装置、电子设备、存储介质 | |
| WO2020043296A1 (en) | Device and method for separating a picture into foreground and background using deep learning | |
| García‐Aguilar et al. | Improved detection of small objects in road network sequences using CNN and super resolution | |
| CN114170231A (zh) | 基于卷积神经网络的图像语义分割方法、装置及电子设备 | |
| Rossi et al. | Neural network for denoising and reading degraded license plates | |
| US20240161304A1 (en) | Systems and methods for processing images | |
| Nguyen et al. | Diffusion in the dark: A diffusion model for low-light text recognition | |
| CN111929688B (zh) | 一种用于确定雷达回波预测帧序列的方法与设备 | |
| CN116612280A (zh) | 车辆分割方法、装置、计算机设备和计算机可读存储介质 | |
| Schirrmacher et al. | SR 2: Super-resolution with structure-aware reconstruction | |
| CN117693768A (zh) | 语义分割模型的优化方法和装置 | |
| JP7238510B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| Sharma et al. | Multilevel progressive recursive dilated networks with correlation filter (MPRDNCF) for image super-resolution | |
| Zini et al. | On the impact of rain over semantic segmentation of street scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |