CN111447359B - 数字变焦方法、***、电子设备、介质及数字成像设备 - Google Patents

Abstract

本发明公开了一种数字变焦方法、***、电子设备、介质及数字成像设备。其中，数字变焦方法包括：根据变焦指令连续获取多帧原始图像，所述变焦指令包括变焦倍率；根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域；对多帧感兴趣区域进行上采样以获取第一中间图像；对多帧所述第一中间图像进行超分辨率重建以获取变焦图像。本发明根据变焦指令连续获取多帧原始图像，并对获取到的多帧原始图像依次进行裁剪、上采样以及超分辨率重建以获取变焦图像，较之完全依赖插值算法的对单帧图像的数字变焦，可以获得更好的图像分辨率、更好的图像质量，从而，本发明能够实现更强的数字变焦能力。

Description

数字变焦方法、***、电子设备、介质及数字成像设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种数字变焦方法、***、电子设备、存储介质及数字成像设备。

背景技术

变焦是指成像镜头焦距的改变，在视觉上体现为被成像物体的拉近或拉远，也体现为物体所成像的放大或缩小。变焦能力是成像设备的一个非常重要的指标，其决定了拍照设备的拍摄广度和深度。变焦按实现方式可分为光学变焦和数字变焦两种。光学变焦是最传统的变焦方法，其利用凹透镜与凸透镜的不同组合方式来实现焦距的改变。数字变焦也称数码变焦，其通过裁剪和插值算法实现，属于图像处理的范畴。

光学变焦的物理结构限制了其在便携式拍照设备上的应用，目前，几乎所有的便携式拍照设备的变焦都是通过数字变焦实现的。但是，数字变焦与光学变焦不同，光学变焦是一种有损变焦，其变焦结果往往比光学变焦差很多。

传统的基于单帧图像的数字变焦完全依赖插值算法实现，但是，根据采样定律，插值算法无法恢复出图像的原本信息，其亦并不能产生更多的信息使得图像更清楚，而且会导致图像噪声明显，当使用高倍率的数字变焦时还会引入明显的马赛克现象。所以，这种传统的数字变焦的变焦极限一般为5倍左右。

为了实现更好的数字变焦效果，一些基于机器学习的超分辨率算法被应用于数字变焦，但是由于学习框架不成熟或者缺乏稳定性、可靠性等原因使得基于机器学习的超分辨率算法未能广泛应用于数字变焦中。

发明内容

本发明要解决的技术问题是为了克服现有技术中数字变焦能力有限的缺陷，提供一种数字变焦方法、***、电子设备、存储介质及数字成像设备。

本发明是通过下述技术方案来解决上述技术问题：

一种数字变焦方法，包括：

根据变焦指令连续获取多帧原始图像，所述变焦指令包括变焦倍率；

根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域；

对多帧感兴趣区域进行上采样以获取第一中间图像；

对多帧所述第一中间图像进行超分辨率重建以获取变焦图像。

较佳地，在根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域的步骤之后还包括：

判断所述变焦倍率是否小于预设阈值；

若否，则执行所述对多帧感兴趣区域进行上采样以获取第一中间图像的步骤。

较佳地，在所述多帧感兴趣区域进行上采样以获取第一中间图像的步骤之前还包括：

根据所述变焦倍率获取第一倍率和第二倍率，所述变焦倍率为所述第一倍率与所述第二倍率的乘积，所述第一倍率的最小值为1，所述第二倍率为大于1的整数；

所述多帧感兴趣区域进行上采样以获取第一中间图像的步骤包括：

将所述第一倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第一中间图像；

所述对多帧所述第一中间图像进行与超分辨率重建以获取变焦图像的步骤包括：

将所述第二倍率作为超分辨率重建放大倍率对多帧所述第一中间图像进行超分辨率重建以获取变焦图像。

较佳地，所述将所述第二倍率作为超分辨率重建放大倍率对多帧所述第一中间图像进行超分辨率重建以获取变焦图像的步骤包括：

确定多帧所述第一中间图像中的一帧为参考图像；

根据所述参考图像对齐所述多帧第一中间图像；

根据所述第二倍率对所述参考图像进行像素扩增；

根据多帧第一中间图像的对齐结果将除所述参考图像之外的其他第一中间图像的像素值填补到经像素扩增的所述参考图像中；

判断经填补的所述参考图像是否包括未经填补的像素；

若是，则根据中值滤波填补未经填补的像素；

和/或，

在所述将所述第二倍率作为超分辨率重建放大倍率对多帧所述第一中间图像进行超分辨率重建以获取变焦图像的步骤之后还包括：

对所述变焦图像进行迭代校正以得到最终的变焦图像。

较佳地，当判断所述变焦倍率是否小于预设阈值的步骤判断为是时：

对多帧感兴趣区域进行上采样以获取第二中间图像；

对多帧所述第二中间图像进行融合以获取变焦图像。

较佳地，所述对多帧感兴趣区域进行上采样以获取第二中间图像的步骤包括：

将所述变焦倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第二中间图像；

和/或，

在所述对多帧所述第二中间图像进行融合以获取变焦图像的步骤之后还包括：

对所述变焦图像进行迭代校正以得到最终的变焦图像。

较佳地，所述根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域的步骤包括：

以每帧原始图像的中心为参考点根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域。

一种数字变焦***，包括：

第一获取模块，用于根据变焦指令连续获取多帧原始图像，所述变焦指令包括变焦倍率；

裁剪模块，用于根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域；

第一上采样模块，用于对多帧感兴趣区域进行上采样以获取第一中间图像；

超分辨率重建模块，用于对多帧所述第一中间图像进行超分辨率重建以获取变焦图像。

较佳地，所述数字变焦***还包括：

判断模块，用于判断所述变焦倍率是否小于预设阈值；

若否，则调用所述第一上采样模块。

较佳地，所述数字变焦***还包括：

第二获取模块，用于根据所述变焦倍率获取第一倍率和第二倍率，所述变焦倍率为所述第一倍率与所述第二倍率的乘积，所述第一倍率的最小值为1，所述第二倍率为大于1的整数；

所述第一上采样模块具体用于将所述第一倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第一中间图像；

所述超分辨率重建模块具体用于将所述第二倍率作为超分辨率重建放大倍率对多帧所述第一中间图像进行超分辨率重建以获取变焦图像。

较佳地，所述超分辨率重建模块包括：

确定单元，用于确定多帧所述第一中间图像中的一帧为参考图像；

对齐单元，用于根据所述参考图像对齐所述多帧第一中间图像；

扩增单元，用于根据所述第二倍率对所述参考图像进行像素扩增；

第一填补单元，用于根据多帧第一中间图像的对齐结果将除所述参考图像之外的其他第一中间图像的像素值填补到经像素扩增的所述参考图像中；

判断单元，用于判断经填补的所述参考图像是否包括未经填补的像素；

若是，则调用第二填补单元，用于根据中值滤波填补未经填补的像素；

和/或，

所述数字变焦***还包括：

第一迭代校正模块，用于对所述超分辨率重建模块获取到的变焦图像进行迭代校正以得到最终的变焦图像。

较佳地，所述数字变焦***还包括：

第二上采样模块，用于在所述判断模块判断为是时对多帧感兴趣区域进行上采样以获取第二中间图像；

融合模块，用于对多帧所述第二中间图像进行融合以获取变焦图像。

较佳地，所述第二上采样模块具体用于将所述变焦倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第二中间图像；

和/或，

所述数字变焦***还包括：

第二迭代校正模块，用于对所述融合模块获取到的变焦图像进行迭代校正以得到最终的变焦图像。

较佳地，所述裁剪模块具体用于以每帧原始图像的中心为参考点根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种数字变焦方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种数字变焦方法的步骤。

一种数字成像设备，包括上述任一种所述的数字变焦***。

本发明的积极进步效果在于：本发明根据变焦指令连续获取多帧原始图像，并对获取到的多帧原始图像依次进行裁剪、上采样以及超分辨率重建以获取变焦图像，较之完全依赖插值算法的对单帧图像的数字变焦，可以获得更好的图像分辨率、更好的图像质量，从而，本发明能够实现更强的数字变焦能力。

附图说明

图1为根据本发明实施例1的数字变焦方法的流程图。

图2为根据本发明实施例1的数字变焦方法的具体流程图。

图3为根据本发明实施例1的数字变焦方法中步骤S1041的流程图。

图4为根据本发明实施例1的数字变焦方法中图像扩增与填补的示意图。

图5为根据本发明实施例2的数字变焦方法的流程图。

图6为根据本发明实施例3的数字变焦***的模块示意图。

图7为根据本发明实施例4的数字变焦***的模块示意图。

图8为根据本发明实施例5的电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种数字变焦方法，参照图1，本实施例的数字变焦方法包括：

S101、根据变焦指令连续获取多帧原始图像；

S102、根据变焦倍率裁剪每帧原始图像以获取感兴趣区域；

S103、对多帧感兴趣区域进行上采样以获取第一中间图像；

S104、对多帧第一中间图像进行超分辨率重建以获取变焦图像。

在本实施例中，变焦指令包括变焦倍率，其中，变焦倍率的最小值为1，根据变焦指令获取多帧原始图像的设备例如可以是数字成像设备，根据变焦指令获取到的多帧原始图像可以是数字成像设备实时获取的图像。具体地，当数字成像设备是拍照设备时，设置拍照设备的变焦倍率，根据变焦指令获取到的多帧原始图像，既可以是拍照设备在执行拍照动作之前实时获取到的图像，也可以是在拍照设备执行拍照动作时实时获取到的图像。

在本实施例中，根据变焦倍率从原始图像中裁剪出部分图像作为感兴趣区域，其中裁剪原始图像的参考点可以根据实际应用自定义设置，例如，在本实施例中，可以每帧原始图像的中心为参考点根据变焦倍率裁剪每帧原始图像以获取感兴趣区域。此外，在本实施例中，对感兴趣区域进行上采样的方法可以根据实际应用自定义设置，例如可以选择插值(例如，双线性插值等)、反卷积(Deconvolution)、上池化中的任意一种实现上采样。

参照图2，在本实施例中步骤S102之后还可以包括：

S105、根据变焦倍率获取第一倍率和第二倍率。

在本实施例中，变焦倍率为第一倍率与第二倍率的乘积，其中，第一倍率的最小值为1，第二倍率为大于1的整数，例如，当变焦倍率为2.5时，可以获取第一倍率1.25与第二倍率2。

进一步地，在本实施例中，根据变焦倍率获取到的第二倍率优选最大值，以尽可能地最大化超分辨率重建在整数倍放大上的优势。例如，变焦倍率取值为4时，第一倍率可以取值为1并且有第二倍率取值为4，第一倍率也可以取值为2并且有第二倍率取值为2，第一倍率也可以取值为4并且有第二倍率取值为1，为了最大化超分辨率重建在整数倍放大上的优势，本实施例中优选第一倍率取值为1，第二倍率取值为4。

步骤S103具体可以包括：

S1031、将第一倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第一中间图像。

步骤S104具体可以包括：

S1041、将第二倍率作为超分辨率重建放大倍率对多帧第一中间图像进行超分辨率重建以获取变焦图像。

参见图3，本实施例中步骤S1041具体可以包括：

S10411、确定多帧第一中间图像中的一帧为参考图像；

S10412、根据参考图像对齐多帧第一中间图像；

S10413、根据第二倍率对参考图像进行像素扩增；

S10414、根据多帧第一中间图像的对齐结果将除参考图像之外的其他第一中间图像的像素值填补到经像素扩增的参考图像中；

S10415、判断经填补的参考图像是否包括未经填补的像素；

若是，则执行步骤S10416；

S10416、根据中值滤波填补未经填补的像素。

具体地，在步骤S10412中，对齐多帧第一中间图像，也即实现多帧第一图像的图像配准(Image Alignment/Image Registration)，通过对齐多帧第一中间图像，可以使得多帧第一图像中属于同一对象的像素点一一对应起来。

在步骤S10413中，对参考图像进行像素扩增，其中，像素扩增的方式可以根据实际应用自定义设置，例如，可以采用零像素扩增来实现，具体地，可以首先基于最邻近插值实现参考图像的放大，再利用0来填充插值数据，参照图4，参考图像中的一个像素点放大后形成3*3个像素点，其中，位于左上角的像素点的像素值取自参考图像中的像素点。

在步骤S10414中，可以对比参考图像的像素值来进行填补，以避免由于运动所引起的图像的模糊，进一步地，根据对齐结果，如果存在若干帧第一中间图像的像素点对应经像素扩增的参考图像中的相同填补区域，则该相同填补区域的填补值由所涉及的若干帧第一中间图像中像素点的像素值确定，例如，在图4中，若干第一中间图像的像素点均对应到3*3个像素点中位于中心位置的像素点，继而可以根据确定的填补值来填补位于中心位置的像素点。具体地，可以根据如下公式来计算填补值：

其中，I是填补值，h表示可调参数，I_k表示像素值，diff_k＝I_k-I₀，k表示图像帧序号，k＝0表示参考图像，flag_k表示该帧图像是否处于被填补位置，若是则取值为1，否则取值为0，并且，flag₀＝1。

在步骤S10415中，若判断为是，则根据步骤S10416再次进行填补以获取变焦图像，具体地，可以对比经填补的参考图像的像素值来进行填补，以避免由于运动所引起的图像的模糊，若判断为否，则步骤S10414即可获取到变焦图像。

在本实施例步骤S104之后，还可以对变焦图像进行迭代校正以得到最终的变焦图像。具体地，可以将步骤S104获取到的变焦图像作为高分辨率图像(HR)的估计值，通过成像模型生成对应的低分辨率图像(LR)，再计算与原始数据的误差，最终使得误差最小。在本实施例中，迭代次数可以依据计算复杂度要求自定义设置，通常可以将迭代次数设置为10以内的数值，以修正由于上采样或对齐所引入的误差。

具体地，迭代校正实施公式如下：

其中，n是迭代次数，

是高分辨率图像的估计值，β是迭代步长，D、PSF、Wrap_k分别是下采样、成像***的点扩散函数以及运动引入的图像形变。

具体地，在本实施例中，数字成像设备的成像模型可以表示为：

LR＝D{PSF*Wrap{HR}}+noise

其中，HR是高分辨图像，Wrap{}表示由于运动引入的图像变形，*表示卷积操作，PSF是成像***的点扩散函数，D{}表示下采样过程，noise是噪声。此外，在本实施例中，选择第一中间图像作为表示原始数据的LR_k，本实施例迭代校正中还引入了正则项

以使得迭代更鲁棒，其中

是梯度算子，λ是正则化参数。迭代校正的目的就是从已知的多帧带噪声的低分辨率图LR中反推出高分辨率图像HR：

本实施例根据变焦指令连续获取多帧原始图像，并对获取到的多帧原始图像依次进行裁剪、上采样以及超分辨率重建以获取变焦图像，较之完全依赖插值算法的对单帧图像的数字变焦，可以获得更好的图像分辨率、更好的图像质量，从而，能够实现更强的数字变焦能力。进一步地，本实施例将变焦倍率拆分为第一倍率和第二倍率，既克服了适用于整数倍采样的超分辨率重建无法应用于变焦倍率精确到小数位的数字变焦中的缺陷，又可以充分利用超分辨率重建在整数倍放大上的优势。此外，迭代校正的引入，还可以避免由于上采样、图像对齐、数字成像设备的点扩散函数等所造成的图像模糊。

实施例2

在实施例1的基础上，本实施例提供一种数字变焦方法，参照图5，本实施例的数字变焦方法在步骤S102之后还可以包括：

S201、判断变焦倍率是否小于预设阈值；

若是，则执行步骤S202；若否，则执行步骤S105；

S202、对多帧感兴趣区域进行上采样以获取第二中间图像；

S203、对多帧第二中间图像进行融合以获取变焦图像。

具体地，在本实施例中，为了充分利用超分辨率重建来提升数字变焦能力，可以对变焦倍率进行分段，以将变焦倍率分成数字插值放大段与超分辨率变焦段两个变焦段，其中，预设阈值可以根据实际应用自定义设置，例如，预设阈值可以取值为2。在本实施例中，步骤S202具体可以包括将变焦倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第二中间图像的步骤，也即，第二中间图像的尺寸与原始图像的尺寸相同。步骤S203具体可以包括对齐多帧第二中间图像的步骤以及融合对齐后的多帧第二中间图像的步骤，以显著降低图像噪声，提高图像的信噪比。

本实施例在步骤S203之后还可以包括对变焦图像进行迭代校正以得到最终的变焦图像的步骤，以修正由于上采样或对齐引入的误差，进一步提高变焦图像的质量，与实施例1中不同的是，在本实施例中选择原始图像作为表示原始数据的LR_k，并且此处可以不引入正则项

也即：

本实施例在利用多帧图像采样信息的基础上，根据变焦倍率所处数值范围的不同而采用不同的图像处理方式，具体地，在变焦倍率较小时，采用多帧融合的方式来实现数字变焦，较之完全依赖插值算法的对单帧图像的数字变焦，可以获得信噪比的提升，所得变焦图像的质量更好，在变焦倍率较大时，采用超分辨率重建的方式来实现数字变焦，可以获得分辨率与信噪比的提升，从而，能够实现更强的数字变焦能力。此外，迭代校正的引入，还可以避免由于上采样、图像对齐、数字成像设备的点扩散函数等所造成的图像模糊，以进一步提高变焦图像的质量。

实施例3

本实施例提供一种数字变焦***，参照图6，本实施例的数字变焦***包括：

第一获取模块301，用于根据变焦指令连续获取多帧原始图像；

裁剪模块302，用于根据变焦倍率裁剪每帧原始图像以获取感兴趣区域；

第一上采样模块303，用于对多帧感兴趣区域进行上采样以获取第一中间图像；

超分辨率重建模块304，用于对多帧第一中间图像进行超分辨率重建以获取变焦图像。

在本实施例中，变焦指令包括变焦倍率，其中，变焦倍率的最小值为1，根据变焦指令获取多帧原始图像的设备例如可以是数字成像设备，根据变焦指令获取到的多帧原始图像可以是数字成像设备实时获取的图像。具体地，当数字成像设备是拍照设备时，设置拍照设备的变焦倍率，根据变焦指令获取到的多帧原始图像，既可以是拍照设备在执行拍照动作之前实时获取到的图像，也可以是在拍照设备执行拍照动作时实时获取到的图像。

在本实施例中，根据变焦倍率从原始图像中裁剪出部分图像作为感兴趣区域，其中裁剪原始图像的参考点可以根据实际应用自定义设置，例如，在本实施例中，裁剪模块302可以每帧原始图像的中心为参考点根据变焦倍率裁剪每帧原始图像以获取感兴趣区域。此外，在本实施例中，对感兴趣区域进行上采样的方法可以根据实际应用自定义设置，例如可以选择插值(例如，双线性插值等)、反卷积(Deconvolution)、上池化中的任意一种实现上采样。

参照图6，在本实施例数字变焦***还可以包括：

第二获取模块305，用于根据变焦倍率获取第一倍率和第二倍率。

在本实施例中，变焦倍率为第一倍率与第二倍率的乘积，其中，第一倍率的最小值为1，第二倍率为大于1的整数，例如，当变焦倍率为2.5时，可以获取第一倍率1.25与第二倍率2。

进一步地，在本实施例中，根据变焦倍率获取到的第二倍率优选最大值，以尽可能地最大化超分辨率重建在整数倍放大上的优势。例如，变焦倍率取值为4时，第一倍率可以取值为1并且有第二倍率取值为4，第一倍率也可以取值为2并且有第二倍率取值为2，第一倍率也可以取值为4并且有第二倍率取值为1，为了最大化超分辨率重建在整数倍放大上的优势，本实施例中优选第一倍率取值为1，第二倍率取值为4。

基于此，第一上采样模块303具体用于将第一倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第一中间图像，超分辨率重建模块304具体用于将第二倍率作为超分辨率重建放大倍率对多帧第一中间图像进行超分辨率重建以获取变焦图像。

参见图6，本实施例中超分辨率重建模块304具体可以包括：

确定单元3041，用于确定多帧第一中间图像中的一帧为参考图像；

对齐单元3042，用于根据参考图像对齐多帧第一中间图像；

扩增单元3043，用于根据第二倍率对参考图像进行像素扩增；

第一填补单元3044，用于根据多帧第一中间图像的对齐结果将除参考图像之外的其他第一中间图像的像素值填补到经像素扩增的参考图像中；

判断单元3045，用于判断经填补的参考图像是否包括未经填补的像素；

若是，则调用第二填补单元3046，用于根据中值滤波填补未经填补的像素。

具体地，对齐多帧第一中间图像，也即实现多帧第一图像的图像配准，通过对齐单元3042对齐多帧第一中间图像，可以使得多帧第一图像中属于同一对象的像素点一一对应起来。

扩增单元3043对参考图像进行像素扩增，其中，像素扩增的方式可以根据实际应用自定义设置，例如，可以采用零像素扩增来实现，具体地，可以首先基于最邻近插值实现参考图像的放大，再利用数值0来填充插值数据。

第一填补单元3044可以对比参考图像的像素值来进行填补，以避免由于运动所引起的图像的模糊，进一步地，根据对齐结果，如果存在若干帧第一中间图像的像素点对应参考图像中的相同填补区域，则该相同填补区域的填补值由所涉及的若干帧第一中间图像中像素点的像素值确定。具体地，可以根据如下公式来计算填补值：

其中，I是填补值，h表示可调参数，I_k表示像素值，diff_k＝I_k-I₀，k表示图像帧序号，k＝0表示参考图像，flag_k表示该帧图像是否处于被填补位置，若是则取值为1，否则取值为0，并且，flag₀＝1。

在判断单元3045判断为是时，则调用第二填补单元3046再次进行填补以获取变焦图像，具体地，可以对比经填补的参考图像的像素值来进行填补，以避免由于运动所引起的图像的模糊，若判断为否，则调用第二填补单元3046之后即可获取到变焦图像。

参照图6，本实施例数字变焦***还可包括第一迭代校正模块306，用于对超分辨率重建模块304获取到的变焦图像进行迭代校正以得到最终的变焦图像。具体地，可以将超分辨率重建模块304获取到的变焦图像作为高分辨率图像(HR)的估计值，通过成像模型生成对应的低分辨率图像(LR)，再计算与原始数据的误差，最终使得误差最小。在本实施例中，迭代次数可以依据计算复杂度要求自定义设置，通常可以将迭代次数设置为10以内的数值，以修正由于上采样或对齐所引入的误差。

具体地，迭代校正实施公式如下：

其中，n是迭代次数，

是高分辨率图像的估计值，β是迭代步长，D、PSF、Wrap_k分别是下采样、成像***的点扩散函数以及运动引入的图像形变。

具体地，在本实施例中，数字成像设备的成像模型可以表示为：

LR＝D{PSF*Wrap{HR}}+noise

其中，HR是高分辨图像，Wrap{}表示由于运动引入的图像变形，*表示卷积操作，PSF是成像***的点扩散函数，D{}表示下采样过程，noise是噪声。此外，在本实施例中，选择第一中间图像作为表示原始数据的LR_k，本实施例迭代校正中还引入了正则项

以使得迭代更鲁棒，其中

是梯度算子，λ是正则化参数。迭代校正的目的就是从已知的多帧带噪声的低分辨率图LR中反推出高分辨率图像HR：

本实施例根据变焦指令连续获取多帧原始图像，并对获取到的多帧原始图像依次进行裁剪、上采样以及超分辨率重建以获取变焦图像，较之完全依赖插值算法的对单帧图像的数字变焦，可以获得更好的图像分辨率、更好的图像质量，从而，能够实现更强的数字变焦能力。进一步地，本实施例将变焦倍率拆分为第一倍率和第二倍率，既克服了适用于整数倍采样的超分辨率重建无法应用于变焦倍率精确到小数位的数字变焦中的缺陷，又可以充分利用超分辨率重建在整数倍放大上的优势。此外，迭代校正的引入，还可以避免由于上采样、图像对齐、数字成像设备的点扩散函数等所造成的图像模糊。

实施例4

在实施例3的基础上，本实施例提供一种数字变焦***，参照图7，本实施例的数字变焦***还可以包括：

判断模块401，用于判断变焦倍率是否小于预设阈值；

若是，则调用第二上采样模块402；若否，则调用第二获取模块305；

第二上采样模块402，用于对多帧感兴趣区域进行上采样以获取第二中间图像；

融合模块403，用于对多帧第二中间图像进行融合以获取变焦图像。

具体地，在本实施例中，为了充分利用超分辨率重建来提升数字变焦能力，可以对变焦倍率进行分段，以将变焦倍率分成数字插值放大段与超分辨率变焦段两个变焦段，其中，预设阈值可以根据实际应用自定义设置，例如，预设阈值可以取值为2。在本实施例中，第二上采样模块402具体可以用于将变焦倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第二中间图像，也即，第二中间图像的尺寸与原始图像的尺寸相同。融合模块403具体可以用于对齐多帧第二中间图像以及融合对齐后的多帧第二中间图像，以显著降低图像噪声，提高图像的信噪比。

参照图7，本实施例数字变焦***还可以包括第二迭代校正模块404，用于对融合模块403获取到的变焦图像进行迭代校正以得到最终的变焦图像，以修正由于上采样或对齐引入的误差，进一步提高变焦图像的质量，与实施例3中不同的是，在本实施例中选择原始图像作为表示原始数据的LR_k，并且此处可以不引入正则项

也即：

本实施例在利用多帧图像采样信息的基础上，根据变焦倍率所处数值范围的不同而采用不同的图像处理方式，具体地，在变焦倍率较小时，采用多帧融合的方式来实现数字变焦，较之完全依赖插值算法的对单帧图像的数字变焦，可以获得信噪比的提升，所得变焦图像的质量更好，在变焦倍率较大时，采用超分辨率重建的方式来实现数字变焦，可以获得分辨率与信噪比的提升，从而，能够实现更强的数字变焦能力。此外，迭代校正的引入，还可以避免由于上采样、图像对齐、数字成像设备的点扩散函数等所造成的图像模糊，以进一步提高变焦图像的质量。

实施例5

本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1或2提供的数字变焦方法。

图8示出了本实施例的硬件结构示意图，如图8所示，电子设备9具体包括：

至少一个处理器91、至少一个存储器92以及用于连接不同***组件(包括处理器91和存储器92)的总线93，其中：

总线93包括数据总线、地址总线和控制总线。

存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。

存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2所提供的数字变焦方法。

电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例6

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1或2所提供的数字变焦方法的步骤。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1或2所述的数字变焦方法的步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

实施例7

本实施例提供一种数字成像设备，其包括实施例3或4提供的数字变焦***，本实施例的数字成像设备可以根据变焦指令连续获取多帧原始图像，并对获取到的多帧原始图像依次进行裁剪、上采样以及超分辨率重建以获取变焦图像，较之完全依赖插值算法的对单帧图像的数字变焦，可以获得更好的图像分辨率、更好的图像质量，从而，能够实现更强的数字变焦能力。进一步地，本实施例将变焦倍率拆分为第一倍率和第二倍率，既克服了适用于整数倍采样的超分辨率重建无法应用于变焦倍率精确到小数位的数字变焦中的缺陷，又可以充分利用超分辨率重建在整数倍放大上的优势。此外，迭代校正的引入，还可以避免由于上采样、图像对齐、数字成像设备的点扩散函数等所造成的图像模糊。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (15)

1.一种数字变焦方法，其特征在于，包括：

根据变焦指令连续获取多帧原始图像，所述变焦指令包括变焦倍率；

根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域；

对多帧感兴趣区域进行上采样以获取第一中间图像；

对多帧所述第一中间图像进行超分辨率重建以获取变焦图像；

在所述多帧感兴趣区域进行上采样以获取第一中间图像的步骤之前还包括：

根据所述变焦倍率获取第一倍率和第二倍率，所述变焦倍率为所述第一倍率与所述第二倍率的乘积，所述第一倍率的最小值为1，所述第二倍率为大于1的整数；

所述多帧感兴趣区域进行上采样以获取第一中间图像的步骤包括：

将所述第一倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第一中间图像；

所述对多帧所述第一中间图像进行与超分辨率重建以获取变焦图像的步骤包括：

将所述第二倍率作为超分辨率重建放大倍率对多帧所述第一中间图像进行超分辨率重建以获取变焦图像。

2.如权利要求1所述的数字变焦方法，其特征在于，在根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域的步骤之后还包括：

判断所述变焦倍率是否小于预设阈值；

若否，则执行所述对多帧感兴趣区域进行上采样以获取第一中间图像的步骤。

3.如权利要求1所述的数字变焦方法，其特征在于，所述将所述第二倍率作为超分辨率重建放大倍率对多帧所述第一中间图像进行超分辨率重建以获取变焦图像的步骤包括：

确定多帧所述第一中间图像中的一帧为参考图像；

根据所述参考图像对齐所述多帧第一中间图像；

根据所述第二倍率对所述参考图像进行像素扩增；

根据多帧第一中间图像的对齐结果将除所述参考图像之外的其他第一中间图像的像素值填补到经像素扩增的所述参考图像中；

判断经填补的所述参考图像是否包括未经填补的像素；

若是，则根据中值滤波填补未经填补的像素；

和/或，

在所述将所述第二倍率作为超分辨率重建放大倍率对多帧所述第一中间图像进行超分辨率重建以获取变焦图像的步骤之后还包括：

对所述变焦图像进行迭代校正以得到最终的变焦图像。

4.如权利要求2所述的数字变焦方法，其特征在于，当判断所述变焦倍率是否小于预设阈值的步骤判断为是时：

对多帧感兴趣区域进行上采样以获取第二中间图像；

对多帧所述第二中间图像进行融合以获取变焦图像。

5.如权利要求4所述的数字变焦方法，其特征在于，所述对多帧感兴趣区域进行上采样以获取第二中间图像的步骤包括：

将所述变焦倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第二中间图像；

和/或，

在所述对多帧所述第二中间图像进行融合以获取变焦图像的步骤之后还包括：

对所述变焦图像进行迭代校正以得到最终的变焦图像。

6.如权利要求1所述的数字变焦方法，其特征在于，所述根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域的步骤包括：

以每帧原始图像的中心为参考点根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域。

7.一种数字变焦***，其特征在于，包括：

第一获取模块，用于根据变焦指令连续获取多帧原始图像，所述变焦指令包括变焦倍率；

裁剪模块，用于根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域；

第一上采样模块，用于对多帧感兴趣区域进行上采样以获取第一中间图像；

超分辨率重建模块，用于对多帧所述第一中间图像进行超分辨率重建以获取变焦图像；

所述数字变焦***还包括：

第二获取模块，用于根据所述变焦倍率获取第一倍率和第二倍率，所述变焦倍率为所述第一倍率与所述第二倍率的乘积，所述第一倍率的最小值为1，所述第二倍率为大于1的整数；

所述第一上采样模块具体用于将所述第一倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第一中间图像；

所述超分辨率重建模块具体用于将所述第二倍率作为超分辨率重建放大倍率对多帧所述第一中间图像进行超分辨率重建以获取变焦图像。

8.如权利要求7所述的数字变焦***，其特征在于，所述数字变焦***还包括：

判断模块，用于判断所述变焦倍率是否小于预设阈值；

若否，则调用所述第一上采样模块。

9.如权利要求7所述的数字变焦***，其特征在于，所述超分辨率重建模块包括：

确定单元，用于确定多帧所述第一中间图像中的一帧为参考图像；

对齐单元，用于根据所述参考图像对齐所述多帧第一中间图像；

扩增单元，用于根据所述第二倍率对所述参考图像进行像素扩增；

第一填补单元，用于根据多帧第一中间图像的对齐结果将除所述参考图像之外的其他第一中间图像的像素值填补到经像素扩增的所述参考图像中；

判断单元，用于判断经填补的所述参考图像是否包括未经填补的像素；

若是，则调用第二填补单元，用于根据中值滤波填补未经填补的像素；

和/或，

所述数字变焦***还包括：

第一迭代校正模块，用于对所述超分辨率重建模块获取到的变焦图像进行迭代校正以得到最终的变焦图像。

10.如权利要求8所述的数字变焦***，其特征在于，所述数字变焦***还包括：

第二上采样模块，用于在所述判断模块判断为是时对多帧感兴趣区域进行上采样以获取第二中间图像；

融合模块，用于对多帧所述第二中间图像进行融合以获取变焦图像。

11.如权利要求10所述的数字变焦***，其特征在于，所述第二上采样模块具体用于将所述变焦倍率作为上采样倍率对每帧感兴趣区域进行上采样以获取第二中间图像；

和/或，

所述数字变焦***还包括：

第二迭代校正模块，用于对所述融合模块获取到的变焦图像进行迭代校正以得到最终的变焦图像。

12.如权利要求7所述的数字变焦***，其特征在于，所述裁剪模块具体用于以每帧原始图像的中心为参考点根据所述变焦倍率裁剪每帧原始图像以获取感兴趣区域。

13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的数字变焦方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数字变焦方法的步骤。

15.一种数字成像设备，其特征在于，包括如权利要求7-12中任一项所述的数字变焦***。

Images