CN111754406A - 图像分辨率处理方法、装置、设备及可读存储介质 - Google Patents
图像分辨率处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111754406A CN111754406A CN202010578505.1A CN202010578505A CN111754406A CN 111754406 A CN111754406 A CN 111754406A CN 202010578505 A CN202010578505 A CN 202010578505A CN 111754406 A CN111754406 A CN 111754406A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- sampling
- low
- frequency residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 165
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像分辨率处理方法、装置、设备和可读存储介质，方法包括获取待处理的内嵌有高频残差的低分辨率图像；对所述低分辨率图像分离出高频残差和降采样图像；对所述降采样图像进行上采样处理以获取高分辨率图像；将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。对低分辨率图像，分离出高频残差以及降采样图像，将降采样图像进行上采样处理得到的高分辨率图像与高频残差结合得到高分辨率输出图像，引入高频残差使上采样处理后的图像能够恢复缺失的细节信息，图像的视觉质量以及逼真度更高。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种图像分辨率处理方法、装置、设备及可读存储介质。
背景技术
图像降采样及上采样也常称为图像降分辨率及图像超分辨率，分别指由高分辨率图像获取低分辨率图像以及由低分辨率图像获取高分辨率图像的过程。
传统的图像上采样或超分辨率技术中，针对已有的低分辨率图像进行放大和重建用来获取高质量的放大后的图像。但是由于图像上采样需要恢复低分辨率图像中已经缺失的高频细节信息，是典型的病态问题，因此目前的超分辨率算法还是无法精确的复原图像降采样过程中缺失的高频细节，导致最终放大后的复原图像的细节缺失使上采样处理的效果较差。
发明内容
本申请的主要目的在于提供一种图像分辨率处理方法、装置、设备及可读存储介质，旨在解决目前上采样处理后的复原图像的视觉质量以及逼真度较低的问题。
为实现上述目的，本申请提供的一种图像分辨率处理方法，所述图像分辨率处理方法包括以下步骤：
获取待处理的内嵌有高频残差的低分辨率图像；
对所述低分辨率图像分离出高频残差和降采样图像；
对所述降采样图像进行上采样处理以获取高分辨率图像；
将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。
可选地，所述获取待处理的内嵌有高频残差的低分辨率图像的步骤之前，还包括：
获取原始高分辨率图像；
对所述原始高分辨率图像进行降采样处理以获取降采样图像；
对所述降采样图像进行上采样预测处理以获取高分辨率复原图像；
根据所述原始高分辨率图像与所述高分辨率复原图像得到所述高频残差；
将所述高频残差嵌入所述降采样图像以获取所述内嵌有高频残差的低分辨率图像。
可选地，所述对所述原始高分辨率图像进行降采样处理以获取降采样图像的步骤包括：
将所述原始高分辨率图像输入到基于卷积神经网络的降采样网络中；
根据预设分辨率值，通过所述降采样网络将所述原始高分辨率图像降采样为降采样图像。
可选地，所述将所述高频残差嵌入所述降采样图像以获取所述内嵌有高频残差的低分辨率图像的步骤包括：
根据降采样倍数，获取与所述降采样图像的分辨率一致的预设数目的低分辨率高频残差；
将所述低分辨率高频残差与所述降采样图像输入卷积神经网络；
通过所述卷积数据网络输出所述内嵌有高频残差的低分辨率图像。
可选地，所述根据降采样倍数，获取与所述降采样图像的分辨率一致的预设数目的低分辨率高频残差的步骤包括：
若所述降采样倍数为整数倍，则按照所述降采样倍数，在所述高频残差中选择第一预设数目的起始像素点，选取第二预设数目的间隔像素点数；
将所述间隔像素点数组成第三预设数目的低分辨率高频残差。
可选地，所述根据降采样倍数，获取与所述降采样图像的分辨率一致的预设数目的低分辨率高频残差的步骤包括：
若所述降采样倍数为非整数倍，则确定与所述降采样倍数匹配的接近整数倍；
根据所述接近整数倍，对所述高频残差进行降采样得到第四预设数目的候选低分辨率高频残差；
对每张所述候选低分辨率高频残差进行双线性插值以获取与所述降采样图像的分辨率一致的低分辨率高频残差。
可选地，所述对于所述降采样图像进行上采样处理以获取高分辨率图像的步骤包括：
将所述降采样图像输入基于卷积神经网络的上采样网络；
根据所述上采样网络对所述降采样图像进行处理以获取高分辨率图像。
本申请还提供一种图像分辨率处理装置，所述图像分辨率处理装置包括：
获取模块，用于获取待处理的内嵌有高频残差的低分辨率图像；
分离模块，用于对所述低分辨率图像分离出高频残差和降采样图像；
上采样模块，用于对于所述降采样图像进行上采样处理以获取高分辨率图像；
结合模块，用于将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。
本申请还提供一种图像分辨率处理设备，所述图像分辨率处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分辨率处理程序，所述图像分辨率处理程序被所述处理器执行时实现如上述的图像分辨率处理方法的步骤。
本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的图像分辨率处理方法的步骤。
本申请中获取待处理的内嵌有高频残差的低分辨率图像；对所述低分辨率图像分离出高频残差和降采样图像；对所述降采样图像进行上采样处理以获取高分辨率图像；将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。对低分辨率图像，分离出高频残差以及降采样图像，将降采样图像进行上采样处理得到的高分辨率图像与高频残差结合得到高分辨率输出图像，引入高频残差使上采样处理后的图像能够恢复缺失的细节信息，图像的视觉质量以及逼真度更高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例方案涉及的硬件运行环境的装置结构示意图；
图2为本申请图像分辨率处理方法第一实施例的流程示意图；
图3为本申请图像分辨率处理方法第二实施例中对于图2步骤S10之前步骤的流程示意图；
图4为本申请图像分辨率处理方法第四实施例中对于图3步骤S15的细化流程图；
图5为本申请图像分辨率处理设备一实施例的***结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端为图像分辨率处理设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及图像分辨率处理程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像分辨率处理程序，并执行以下操作：
获取待处理的内嵌有高频残差的低分辨率图像；
对所述低分辨率图像分离出高频残差和降采样图像；
对所述降采样图像进行上采样处理以获取高分辨率图像；
将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。
基于上述终端硬件结构，提出本申请各个实施例。
本申请提供一种图像分辨率处理方法。
参照图2，在图像分辨率处理方法第一实施例中，该方法包括：
步骤S10，获取待处理的内嵌有高频残差的低分辨率图像；
图像降采样及上采样也常称为图像降分辨率及图像超分辨率，分别指由高分辨率图像获取低分辨率图像以及由低分辨率图像获取高分辨率图像的过程。受限于设备的硬件条件或文件传输的传输条件，或者基于用户的主动选择，无法使用高分辨率的图像，需要将高分辨率的图像通过降采样处理为低分辨率图像，但是之后有可能需要将低分辨率的图像重新上采样为高分辨率的图像。尤其是在图像的传输过程中，为了减小传输文件的大小，会将高分辨率图像通过降采样变为低分辨率图像传输给接收端，接收端接收到传输过来的低分辨率图像后需要通过上采样方法进行放大和重建，但是还是难以恢复低分辨率图像中已经缺失的高频细节信息，因此目前上采样获取的视觉质量以及逼真度较低。同时目前的上采样方法往往针对固定或简单的降采样模型，当降采样模型进行更换后，相应的上采样模型的性能会较大程度的下降。而本申请中通过内嵌有高频残差的低分辨率图像，当需要将低分辨率图像通过上采样方法还原为高分辨率图像时，高频残差可以补充图像在低分辨率图像中缺失的高频细节。将高频残差内嵌于低分辨率图像中不需要再额外传输高频残差，同时还不会影响到低分辨率图像的视觉效果。高频残差的获取是基于预测机制，对于初始高分辨率图像进行降采样后的低分辨率图像进行一次上采样预测，获取对应的复原高分辨率图像与初始高分辨率图像进行比较即可获得高频残差。对于本申请中的降采样可以是传统的降采样方法如抽取图像中的像素点，也可以是基于卷积神经网络的降采样网络，同样地，上采样方法也可以是传统的上采样方法如插值法，也可以是基于卷积神经网络的上采样网络。本申请中对于采用的降采样方法以及上采样方法不做限制，当然，较优选的是使用基于卷积神经网络的降采样网络和上采样网络。
步骤S20，对所述低分辨率图像分离出高频残差和降采样图像；
低分辨率图像中包括降采样图像以及高频残差，而在上采样过程中，只需对于降采样图像进行上采样处理，所以将低分辨率图像中的高频残差以及将采样图像进行分离。对于低分辨率图像中的高频残差的提取是通过基于卷积神经网络的方法，该神经网络包括一个输入层、若干个卷积层、一个从输入层到卷积层输出后的残差连接，具体地，输入层为一个3*3大小的卷积层，输入层将低分辨率图像转化为64张特征图，每一个卷积层也为3*3大小的卷积层，同时使用线性整流函数作为激活函数，特征通道数也为64，卷积层用于进行特征提取及重构。残差连接会将输入的第分辨率图像直接传递到卷积层的输出位置，输出层为一个双分支的输出层，一条分支为两个3*3大小的卷积层，另一条分支依次包含一个3*3大小的卷积层、一个上采样层、另一个大小的卷积层，两通道分别将特征图重构为降采样图像及高频残差。
步骤S30，对所述降采样图像进行上采样处理以获取高分辨率图像；
对于由低分辨率图像中分离出的降采样图像，通过上采样方法将降采样图像进行上采样处理得到高分辨率图像。其中，上采样方法可以是插值的方法，也可以是基于卷积神经网络的上采样网络方法。插值方法实现起来更为简单，但是基于卷积神经网络的上采样网络方法得到的结果更加准确，因此在本申请中优选的是基于卷积神经网络的上采样网络方法。
步骤S40，将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像；
最后将上采样处理得到的高分辨率图像与高频残差结合即可得到高分辨率输出图像，上采样处理获取的高分辨率图像中缺少因降采样处理而丢失的高频细节，而高频残差中则包含有相应的细节，因此可以使最终获得的高分辨率图像具有相应的细节，视觉效果更佳，逼真度更高。
在本实施例中，获取待处理的内嵌有高频残差的低分辨率图像；对所述低分辨率图像分离出高频残差和降采样图像；对所述降采样图像进行上采样处理以获取高分辨率图像；将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。对低分辨率图像，分离出高频残差以及降采样图像，将降采样图像进行上采样处理得到的高分辨率图像与高频残差结合得到高分辨率输出图像，引入高频残差使上采样处理后的图像能够恢复缺失的细节信息，图像的视觉质量以及逼真度更高。
进一步地，参照图2和图3，在本申请图像分辨率处理方法第一实施例的基础上，提供图像分辨率处理方法第二实施例，在第二实施例中，
步骤S10之前，还包括：
步骤S11，获取原始高分辨率图像；
在本申请中的技术方案的实际使用时，优选的是将降采样过程与上采样过程进行协同学习，联合起来进行图像的分辨率处理，对于高分辨率图像通过降采样方法获取低分辨率图像并基于预测机制获取高频残差，将高频残差内嵌到低分辨率图像中，之后对于内嵌有高频残差的低分辨率图像通过上采样方法还原为高分辨率图像。因此，在本申请中，降采样与上采样过程组成一个完整的图像分辨率处理过程。获取原始高分辨率图像，原始高分辨率图像可以是需要进行传输的高分辨率图像，也可以是其它的高分辨率图像。原始高分辨率图像中包含所有应有的图像信息尤其是细节信息。
步骤S12，对所述原始高分辨率图像进行降采样处理以获取降采样图像；
对于原始高分辨率图像进行降采样处理即可获取降采样图像。降采样方法可以是传统的降采样方法，如将一个区域中的多个像素点通过加权平均的方法合为一个像素点从而降低图像的分辨率，或者在图像的所有像素点中按照一定的规则选取其中的特定像素点以获取低分辨率的降采样图像。同时，降采样的方法还可以是基于卷积神经网络的降采样网络。在本申请中优选的是采取降采样网络。
步骤S13，对所述降采样图像进行上采样预测处理以获取高分辨率复原图像；
对于降采样图像的上采样预测即是一次超分辨率重建，也是一次上采样过程，即将低分辨率图像还原成高分辨率图像的过程。上采样过程中采用的可以是传统的上采样方法如插值，也可以是基于卷积神经网络的上采样网络。当采用上采样网络时，次上采样网络与第一实施例中的上采样网络相同。但是上采样方法本身并没有进行改进，因此通过上采样方法得到的高分辨率图像依然会存在相应的细节丢失的问题。
步骤S14，根据所述原始高分辨率图像与所述高分辨率复原图像得到所述高频残差；
将通过上采样得到的高分辨率复原图像与原始高分辨率图像进行对比，即可得到高频残差，高频残差即是在上采样过程中无法复原的细节信息，通过高频残差，则可以将缺少的细节信息又重新补充到图像中。
步骤S15，将所述高频残差嵌入所述降采样图像以获取所述内嵌有高频残差的低分辨率图像；
对于高频残差以及降采样图像，因为降采样图像中存在空间信息冗余和信息熵冗余，因此可以将高频残差嵌入降采样图像的同时并不增加图像在传输过程中的存储消耗和传输消耗。同时将高频残差嵌入降采样图像一般采用卷积神经网络的方法。
将第一实施例中的步骤与第二实施例中的步骤结合起来可以组成本申请中最优的完整方案，即将降采样方法与上采样方法结合起来，对于高分辨率图像进行降采样获取低分辨率图像，再通过上采样预测得到高频残差，将高频残差内嵌入低分辨率图像进行传输与存储，当需要对于低分辨率图像进行分辨率放大与重建时，可以利用高频残差对于上采样还原后缺少的高频细节进行还原，最终得到的高分辨率图像的视觉质量以及逼真度都会更好，同时对于降采样以及上采样的方法选择没有限制，只需要增加上采样预测获取高频残差以及将高频残差嵌入低分辨率图像中。
在本实施例中，通过上采样预测获取高频残差以及将高频残差嵌入图像中，从而为之后获取高质量的高分辨率图像提供残差信息，同时不会增加图像存储与传输过程中的消耗。
进一步地，在本申请图像分辨率处理方法上述实施例的基础上，提供图像分辨率处理方法第三实施例，在第三实施例中，
步骤S12包括：
步骤A1，将所述原始高分辨率图像输入到基于卷积神经网络的降采样网络中；
步骤A2，根据预设分辨率值，通过所述降采样网络将所述原始高分辨率图像降采样为降采样图像；
在本申请的此实施例中，通过基于卷积神经网络的降采样网络进行降采样，降采样网络依次包括一个输入层，若干个卷积层，一个降采样层，若干个卷积层，一个从输入层后到卷积层后的残差连接，一个输出层。其中，输入层为一个3*3大小的卷积层，用于将原始高分辨率图像转化成64张特征图；在降采样层前的卷积层为3*3大小的卷积层，用线性整流函数作为激活函数，特征通道数为64，用于进行特征提取及重构；降采样层为双线性插值层，用于将特征图分辨率降低到指定大小；降采样层后的卷积层为3*3大小的卷积层，也使用线性整流函数作为激活函数，特征通道数也为64，用于对降维后的特征图像进一步进行特征提取与重构；残差连接包含一个降采样层和一个3*3大小的卷积层，残差连接中的降采样层也是双线性插值层，残差连接中的激活函数也为线性整流函数，特征通道数为64，残差连接用于将输入图像之间传输到卷积层之后，保证最后输出结果的准确性；输出层也为一个3*3大小的卷积层，用于将64张特征图重构为降采样图像。在降采样过程中，按照预设的分辨率值通过降采样网络进行降采样。
在本实施例中，通过降采样网络对于原始高分辨率图像进行降采样，从而使获取的降采样图像视觉质量更好。
进一步地，参照图2和图4，在本申请图像分辨率处理方法上述实施例的基础上，提供图像分辨率处理方法第四实施例，在第四实施例中，
步骤S15包括：
步骤S151，根据降采样倍数，获取与所述降采样图像的分辨率一致的预设数目的低分辨率高频残差；
根据降采样图像以及原始高分辨率图像的分辨率多谢，可以得到降采样倍数，如原始高分辨率图像的分辨率大小为1920*1080，降采样图像的分辨率大小为960*540，则降采样倍数为2*2倍，根据降采样倍数，将高频残差变为与降采样图像分辨率一样的低分辨率高频残差，同时获取的低分辨率高频残差的数目不止一个以确保能够保留有完整的高频残差，同时将高频残差的分辨率与降采样图像一致以保证内嵌后不会影响降采样图像的视觉质量。
步骤S152，将所述低分辨率高频残差与所述降采样图像输入卷积神经网络；
步骤S153，通过所述卷积数据网络输出所述内嵌有高频残差的低分辨率图像；
用于将高频残差内嵌入降采样图像中的卷积神经网络包括一个输入层，若干个卷积层，一个从输入层到卷积层输出后的残差连接以及一个输出层。其中，输入层为一个3*3大小的卷积层，用于将将降采样图像及低分辨率高频残差图转化为64张特征图；卷积层为3*3大小的卷积层，以线性整流函数作为激活函数，用于进行特征提取及重构；输出层为一个3*3大小的卷积层，用于将64张特征图重构为内嵌有高频残差的低分辨率图像。
在本实施例中，通过卷积神经网络将高频残差信息内嵌入降采样图像中，是降采样图像包含有高频残差信息的提示不会增加额外的存储以及传输消耗，同时不影响降采样图像的视觉效果。
进一步地，在本申请图像分辨率处理方法上述实施例的基础上，提供图像分辨率处理方法第五实施例，在第五实施例中，
步骤S151包括：
步骤B1，若所述降采样倍数为整数倍，则按照所述降采样倍数，在所述高频残差中选择第一预设数目的起始像素点，选取第二预设数目的间隔像素点数；
步骤B2，将所述间隔像素点数组成第三预设数目的低分辨率高频残差；
当降采样倍数为整数倍时，采用间隔相应像素点数进行采样的方法获取多张低分辨率高频残差，每张低分辨率残差的分辨率与降采样图像一致。如若降采样图像为原始高分辨率图像水平方向上降低两倍，则从左上角第一个像素点每隔1个像素点采样获取一张低分辨率高频残差，再从左上角第二个像素点每隔1点采样获取另一张低分辨率高频残差，以此获取预设数目的低分辨率高频残差，其中预设数目与降采样倍数相关，对于其他降采样的整数倍数依此类推。
其中在另一种可能的方案中，步骤S151包括：
步骤B3，若所述降采样倍数为非整数倍，则确定与所述降采样倍数匹配的接近整数倍；
步骤B4，根据所述接近整数倍，对所述高频残差进行降采样得到第四预设数目的候选低分辨率高频残差；
步骤B5，对每张所述候选低分辨率高频残差进行双线性插值以获取与所述降采样图像的分辨率一致的低分辨率高频残差；
若降采样倍数不为整数倍，则先确定匹配的接近整数倍，如降采样倍数为2.1倍，则接近整数倍为2倍，先按照接近整数倍按照步骤B1至B2中的方法获取候选低分辨率高频残差，再对每张候选低分辨率高频残差使用双线性插值保证最终低分辨率高频残差的分辨率与降采样图像的分辨率一致。
在本实施例中，根据降采样倍数确定高频残差变为低分辨率的采样方法，从而保证高频残差与降采样图像的分辨率一致。
进一步地，在本申请图像分辨率处理方法上述实施例的基础上，提供图像分辨率处理方法第六实施例，在第六实施例中，
步骤S30包括：
步骤C1，将所述降采样图像输入基于卷积神经网络的上采样网络；
步骤C2，根据所述上采样网络对所述降采样图像进行处理以获取高分辨率图像；
在本实施例中，采样基于卷积神经网络的上采样网络用于对降采样图像的上采样过程。上采样网络依次包括一个上采样层、一个输入层、若干个残差块、一个从输入层后到残差块输出后的残差连接以及一个输出层。其中，上采样层为双线性插值层，用于将降采样图像插值放大到指定分辨率大小；输入层为一个3*3大小的卷积层，用于将插值后的图像转化为64张特征图；每个残差块包含一个64通道的3*3卷积层，一个线性整流函数，另一个64通道的3*3卷积层以及一个连接两端的残差连接；输出层为3*3大小的卷积层，用于将64张特征图重构为高分辨率图像。对于本实施例中的上采样网络也可用于第二实施例中的上采样预测。
当使用基于卷积神经网络的降采样网络以及上采样网络时，可以对于上采样网络以及降采样网络进行训练。上采样网络与降采样网络的训练可以是预先单独训练，也可以是结合到整个网络中进行端到端的训练。在训练过程中，使用高质量高分辨率图像作为训练集，同时在训练过程中的约束条件主要是需要最终获取的高分辨率输出图像与原始高分辨率图像一致，同时内嵌有高频残差的低分辨率图像与原降采样图像应视觉一致，即不能因内嵌残差成分而改变原图的基本内容。对于训练过程中的损失函数L可以为：
L＝L1(XOUT,X)+λLSSIM(Y*,Y)
其中，L1为L1损失，LSSIM为SSIM损失，均为均为图像增强及重建问题中的常用损失函数。XOUT为高分辨率输出图像，X为原始高分辨率图像，Y*为内嵌有高频残差的低分辨率图像，Y为降采样图像。
在本实施例中，通过基于卷积神经网络的上采样网络进行降采样图像的分辨率放大与重建，获取的高分辨率图像视觉质量更好。
此外，参照图5，本申请实施例还提出一种图像分辨率处理装置，所述图像分辨率处理装置包括：
第一获取模块，用于获取待处理的内嵌有高频残差的低分辨率图像；
分离模块，用于对所述低分辨率图像分离出高频残差和降采样图像；
上采样模块，用于对所述降采样图像进行上采样处理以获取高分辨率图像；
结合模块，用于将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。
可选地，所述图像分辨率处理装置还包括：
第二获取模块，用于获取原始高分辨率图像；
降采样模块，用于对所述原始高分辨率图像进行降采样处理以获取降采样图像；
预测模块，用于对所述降采样图像进行上采样预测处理以获取高分辨率复原图像；
残差获取模块，用于根据所述原始高分辨率图像与所述高分辨率复原图像得到所述高频残差；
内嵌模块，用于将所述高频残差嵌入所述降采样图像以获取所述内嵌有高频残差的低分辨率图像。
可选地，所述降采样模块还用于：
将所述原始高分辨率图像输入到基于卷积神经网络的降采样网络中；
根据预设分辨率值，通过所述降采样网络将所述原始高分辨率图像降采样为降采样图像。
可选地，所述内嵌模块还用于：
根据降采样倍数，获取与所述降采样图像的分辨率一致的预设数目的低分辨率高频残差；
将所述低分辨率高频残差与所述降采样图像输入卷积神经网络；
通过所述卷积数据网络输出所述内嵌有高频残差的低分辨率图像。
可选地，所述图像分辨率处理装置还包括：
采样模块，用于若所述降采样倍数为整数倍，则按照所述降采样倍数，在所述高频残差中选择第一预设数目的起始像素点，选取第二预设数目的间隔像素点数；
将所述间隔像素点数组成第三预设数目的低分辨率高频残差。
可选地，所述采样模块还用于：
若所述降采样倍数为非整数倍，则确定与所述降采样倍数匹配的接近整数倍；
根据所述接近整数倍，对所述高频残差进行降采样得到第四预设数目的候选低分辨率高频残差；
对每张所述候选低分辨率高频残差进行双线性插值以获取与所述降采样图像的分辨率一致的低分辨率高频残差。
可选地，所述上采样模块还用于：
将所述降采样图像输入基于卷积神经网络的上采样网络；
根据所述上采样网络对所述降采样图像进行处理以获取高分辨率图像。
本申请设备和可读存储介质(即计算机可读存储介质)的具体实施方式的拓展内容与上述图像分辨率处理方法各实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种图像分辨率处理方法，其特征在于，所述图像分辨率处理方法包括以下步骤：
获取待处理的内嵌有高频残差的低分辨率图像；
对所述低分辨率图像分离出高频残差和降采样图像；
对所述降采样图像进行上采样处理以获取高分辨率图像；
将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。
2.如权利要求1所述的图像分辨率处理方法，其特征在于，所述获取待处理的内嵌有高频残差的低分辨率图像的步骤之前，还包括：
获取原始高分辨率图像；
对所述原始高分辨率图像进行降采样处理以获取降采样图像；
对所述降采样图像进行上采样预测处理以获取高分辨率复原图像；
根据所述原始高分辨率图像与所述高分辨率复原图像得到所述高频残差；
将所述高频残差嵌入所述降采样图像以获取所述内嵌有高频残差的低分辨率图像。
3.如权利要求2所述的图像分辨率处理方法，其特征在于，所述对所述原始高分辨率图像进行降采样处理以获取降采样图像的步骤包括：
将所述原始高分辨率图像输入到基于卷积神经网络的降采样网络中；
根据预设分辨率值，通过所述降采样网络将所述原始高分辨率图像降采样为降采样图像。
4.如权利要求2所述的图像分辨率处理方法，其特征在于，所述将所述高频残差嵌入所述降采样图像以获取所述内嵌有高频残差的低分辨率图像的步骤包括：
根据降采样倍数，获取与所述降采样图像的分辨率一致的预设数目的低分辨率高频残差；
将所述低分辨率高频残差与所述降采样图像输入卷积神经网络；
通过所述卷积数据网络输出所述内嵌有高频残差的低分辨率图像。
5.如权利要求4所述的图像分辨率处理方法，其特征在于，所述根据降采样倍数，获取与所述降采样图像的分辨率一致的预设数目的低分辨率高频残差的步骤包括：
若所述降采样倍数为整数倍，则按照所述降采样倍数，在所述高频残差中选择第一预设数目的起始像素点，选取第二预设数目的间隔像素点数；
将所述间隔像素点数组成第三预设数目的低分辨率高频残差。
6.如权利要求4所述的图像分辨率处理方法，其特征在于，所述根据降采样倍数，获取与所述降采样图像的分辨率一致的预设数目的低分辨率高频残差的步骤包括：
若所述降采样倍数为非整数倍，则确定与所述降采样倍数匹配的接近整数倍；
根据所述接近整数倍，对所述高频残差进行降采样得到第四预设数目的候选低分辨率高频残差；
对每张所述候选低分辨率高频残差进行双线性插值以获取与所述降采样图像的分辨率一致的低分辨率高频残差。
7.如权利要求1所述的图像分辨率处理方法，其特征在于，所述对于所述降采样图像进行上采样处理以获取高分辨率图像的步骤包括：
将所述降采样图像输入基于卷积神经网络的上采样网络；
根据所述上采样网络对所述降采样图像进行处理以获取高分辨率图像。
8.一种图像分辨率处理装置，其特征在于，所述图像分辨率处理装置包括：
获取模块，用于获取待处理的内嵌有高频残差的低分辨率图像；
分离模块，用于对所述低分辨率图像分离出高频残差和降采样图像；
上采样模块，用于对所述降采样图像进行上采样处理以获取高分辨率图像；
结合模块，用于将所述高分辨率图像与所述高频残差结合以获取高分辨率输出图像。
9.一种图像分辨率处理设备，其特征在于，所述图像分辨率处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分辨率处理程序，所述图像分辨率处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像分辨率处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像分辨率处理方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010578505.1A CN111754406B (zh) | 2020-06-22 | 2020-06-22 | 图像分辨率处理方法、装置、设备及可读存储介质 |
| PCT/CN2020/111777 WO2021258530A1 (zh) | 2020-06-22 | 2020-08-27 | 图像分辨率处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010578505.1A CN111754406B (zh) | 2020-06-22 | 2020-06-22 | 图像分辨率处理方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754406A true CN111754406A (zh) | 2020-10-09 |
| CN111754406B CN111754406B (zh) | 2024-02-23 |
Family
ID=72676553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010578505.1A Active CN111754406B (zh) | 2020-06-22 | 2020-06-22 | 图像分辨率处理方法、装置、设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111754406B (zh) |
| WO (1) | WO2021258530A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313691A (zh) * | 2021-06-03 | 2021-08-27 | 上海市第一人民医院 | 一种基于深度学习的甲状腺彩超处理方法 |
| WO2023197805A1 (zh) * | 2022-04-11 | 2023-10-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114331849B (zh) * | 2022-03-15 | 2022-06-10 | 之江实验室 | 一种跨模态核磁共振超分网络及图像超分辨率方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103607591A (zh) * | 2013-10-28 | 2014-02-26 | 四川大学 | 结合超分辨率重建的图像压缩方法 |
| WO2015180053A1 (zh) * | 2014-05-28 | 2015-12-03 | 北京大学深圳研究生院 | 一种快速超分辨率图像重建方法和装置 |
| CN107018422A (zh) * | 2017-04-27 | 2017-08-04 | 四川大学 | 基于深度卷积神经网络的静止图像压缩方法 |
| CN107181949A (zh) * | 2017-06-23 | 2017-09-19 | 四川大学 | 一种结合超分辨率和残差编码技术的图像压缩框架 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN109525859A (zh) * | 2018-10-10 | 2019-03-26 | 腾讯科技（深圳）有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
| WO2019153671A1 (zh) * | 2018-02-11 | 2019-08-15 | 深圳创维－Rgb电子有限公司 | 图像超分辨率方法、装置及计算机可读存储介质 |
| WO2019192588A1 (zh) * | 2018-04-04 | 2019-10-10 | 华为技术有限公司 | 图像超分方法及装置 |
| CN110636289A (zh) * | 2019-09-27 | 2019-12-31 | 北京金山云网络技术有限公司 | 图像数据传输方法、***、装置、电子设备及存储介质 |
| CN111179177A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101320423A (zh) * | 2008-06-26 | 2008-12-10 | 复旦大学 | 基于高频超分辨率的低分辨率步态识别方法 |
| CN102915527A (zh) * | 2012-10-15 | 2013-02-06 | 中山大学 | 基于形态学成分分析的人脸图像超分辨率重建方法 |
| CN103116880A (zh) * | 2013-01-16 | 2013-05-22 | 杭州电子科技大学 | 一种基于稀疏表示和多残差的图像超分辨率重建方法 |
| CN106981046B (zh) * | 2017-03-21 | 2019-10-11 | 四川大学 | 基于多层梯度约束回归的单幅图像超分辨率重建方法 |
| CN107358575A (zh) * | 2017-06-08 | 2017-11-17 | 清华大学 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
| EP3567549A1 (en) * | 2018-05-07 | 2019-11-13 | Technische Universität München | Depth super-resolution from shading |
-
2020
- 2020-06-22 CN CN202010578505.1A patent/CN111754406B/zh active Active
- 2020-08-27 WO PCT/CN2020/111777 patent/WO2021258530A1/zh active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103607591A (zh) * | 2013-10-28 | 2014-02-26 | 四川大学 | 结合超分辨率重建的图像压缩方法 |
| WO2015180053A1 (zh) * | 2014-05-28 | 2015-12-03 | 北京大学深圳研究生院 | 一种快速超分辨率图像重建方法和装置 |
| CN107018422A (zh) * | 2017-04-27 | 2017-08-04 | 四川大学 | 基于深度卷积神经网络的静止图像压缩方法 |
| CN107181949A (zh) * | 2017-06-23 | 2017-09-19 | 四川大学 | 一种结合超分辨率和残差编码技术的图像压缩框架 |
| WO2019153671A1 (zh) * | 2018-02-11 | 2019-08-15 | 深圳创维－Rgb电子有限公司 | 图像超分辨率方法、装置及计算机可读存储介质 |
| WO2019192588A1 (zh) * | 2018-04-04 | 2019-10-10 | 华为技术有限公司 | 图像超分方法及装置 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN109525859A (zh) * | 2018-10-10 | 2019-03-26 | 腾讯科技（深圳）有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
| CN110636289A (zh) * | 2019-09-27 | 2019-12-31 | 北京金山云网络技术有限公司 | 图像数据传输方法、***、装置、电子设备及存储介质 |
| CN111179177A (zh) * | 2019-12-31 | 2020-05-19 | 深圳市联合视觉创新科技有限公司 | 图像重建模型训练方法、图像重建方法、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李剑飞: "基于残差字典的超分辨率图像重构", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 138 - 963 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313691A (zh) * | 2021-06-03 | 2021-08-27 | 上海市第一人民医院 | 一种基于深度学习的甲状腺彩超处理方法 |
| WO2023197805A1 (zh) * | 2022-04-11 | 2023-10-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754406B (zh) | 2024-02-23 |
| WO2021258530A1 (zh) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354785B2 (en) | Image processing method and device, storage medium and electronic device | |
| CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| CN111754406B (zh) | 图像分辨率处理方法、装置、设备及可读存储介质 | |
| CN110222758B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN108492249B (zh) | 基于小卷积递归神经网络的单帧超分辨重建方法 | |
| CN111784571A (zh) | 一种提高图像分辨率的方法、装置 | |
| CN113077397B (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
| US11538136B2 (en) | System and method to process images of a video stream | |
| CN110913218A (zh) | 一种视频帧预测方法、装置及终端设备 | |
| CN107220934B (zh) | 图像重建方法及装置 | |
| CN113939845A (zh) | 提高图像色彩质量的方法、***和计算机可读介质 | |
| CN114298900A (zh) | 图像超分方法和电子设备 | |
| CN112802139A (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
| CN113837980A (zh) | 分辨率的调整方法、装置、电子设备及存储介质 | |
| CN112188236A (zh) | 视频插帧模型训练、视频插帧生成方法及相关装置 | |
| CN113628115A (zh) | 图像重建的处理方法、装置、电子设备和存储介质 | |
| CN110751251B (zh) | 生成、变换二维码图像矩阵的方法和装置 | |
| CN110677676B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
| CN111724292A (zh) | 图像处理方法、装置、设备以及计算机可读介质 | |
| CN114742738A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US9911178B2 (en) | System and method for content-adaptive super-resolution via cross-scale self-learning | |
| CN114240750A (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 | |
| CN114463453A (zh) | 图像重建、编码解码方法、相关装置 | |
| CN114266697A (zh) | 图像处理和模型训练方法、装置、电子设备及存储介质 | |
| KR20200067114A (ko) | 이미지 송신 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |