CN110473159B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质，包括：根据镜头的畸变矫正参数确定原始图像帧上的网格，获取电子设备拍摄原始图像帧时的抖动补偿信息、网格的顶点坐标。根据抖动补偿信息对网格的顶点坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标，将原始图像帧中位于网格的顶点坐标处的像素点映射至抖动补偿后的网格的顶点坐标处，根据抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧。提出了根据镜头的畸变矫正参数确定原始图像帧上的网格，对于图像帧中畸变程度不同的区域需要相应采用不同密度的网格来进行抖动补偿，即可在提高整个图像帧的防抖效果的同时，降低计算量。

Description

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着摄像技术的不断发展，人们对电子设备摄像头的拍照要求日益提高。传统的电子设备从单摄像头发展到后来的双摄像头，拍照质量有了显著的提高。但是人们对电子设备的拍照要求也随之日益提高，如何进一步提高电子设备的拍照质量、满足用户更高的拍照需求，就是一个亟待解决的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高电子设备的拍照质量、满足更高的拍照需求。

一种图像处理方法，应用于电子设备，包括：

根据镜头的畸变矫正参数确定原始图像帧上的网格；

获取所述电子设备拍摄所述原始图像帧时的抖动补偿信息、所述网格的顶点坐标；

根据所述抖动补偿信息对所述网格的顶点坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标；

将所述原始图像帧中位于所述网格的顶点坐标处的像素点映射至所述抖动补偿后的网格的顶点坐标处，根据所述抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧。

一种图像处理装置，包括：

网格确定模块，用于根据镜头的畸变矫正参数确定原始图像帧上的网格；

网格顶点的坐标获取模块，用于获取所述电子设备拍摄所述原始图像帧时的抖动补偿信息、所述网格的顶点坐标；

网格顶点抖动补偿模块，用于根据所述抖动补偿信息对所述网格的顶点的坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标；

像素点映射模块，用于将所述原始图像帧中位于所述网格的顶点坐标处的像素点映射至所述抖动补偿后的网格的顶点坐标处，根据所述抖动补偿后的网格的顶点处坐标的像素点得到抖动补偿后的图像帧。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上方法的步骤。

上述图像处理方法、装置、电子设备、计算机可读存储介质，根据镜头的畸变矫正参数确定原始图像帧上的网格，获取电子设备拍摄原始图像帧时的抖动补偿信息、网格的顶点坐标。根据抖动补偿信息对网格的顶点坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标，将原始图像帧中位于网格的顶点坐标处的像素点映射至抖动补偿后的网格的顶点坐标处，根据抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧。传统方法中都是采用固定格式的网格，对于图像帧来说若固定格式的网格间距较大时，根据网格来进行防抖的效果较差；而对于图像帧来说若固定格式的网格间距较小时，根据网格来进行防抖的计算量太大。因此，本申请提出了根据镜头的畸变矫正参数确定原始图像帧上的网格，因为镜头的畸变会影响图像帧中不同区域的畸变程度，对于图像帧中畸变程度大的区域即图像帧中像素点在畸变过程中的位移较大，则需要采用高密度的网格来进行抖动补偿，而对于图像帧中畸变程度小的区域即图像帧中像素点在畸变过程中的位移较小，则只需要采用低密度的网格来进行抖动补偿，即可在提高整个图像帧的防抖效果的同时，降低计算量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程图；

图3为图2中根据镜头的畸变矫正参数确定原始图像帧上的网格方法的流程图；

图4为图3中根据原始网格的每一个顶点的位移的大小调整原始网格的网格线的间距，得到调整后的网格方法的流程图；

图5为图2中根据抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧方法的流程图；

图6为一个具体的实施例中图像处理方法的示意图；

图7为一个实施例中图像处理装置的结构框图；

图8A为图7中网格确定模块的结构框图；

图8B为另一个实施例中图像处理装置的结构框图；

图9为一个实施例中电子设备的内部结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一摄像头称为第二摄像头，且类似地，可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头，但其不是同一摄像头。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。电子设备100包含有至少两个摄像模组，摄像模组110和摄像模组120。电子设备100可以根据镜头的畸变矫正参数确定原始图像帧上的网格，获取电子设备拍摄原始图像帧时的抖动补偿信息、网格的顶点坐标。根据抖动补偿信息对网格的顶点坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标。将原始图像帧中位于网格的顶点坐标处的像素点映射至抖动补偿后的网格的顶点坐标处，根据抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧。可以理解的是，上述电子设备100可以不限于是各种手机、相机、电脑、可携带设备等。

图2为一个实施例中图像处理方法的流程图，应用于电子设备的电子防抖中，EIS防抖(电子防抖，Electric Image Stabilization)是利用侦测到机身抖动的程度来动态调整ISO、快门或软体来做模糊修正。EIS防抖是一种演算法运算，透过影像裁减补偿方式来避免模糊，防震效果取决于演算法的设计与效率。EIS防抖的优点是不需额外增加硬体，成本较低且适合微型化设计。

如图2所示，图像处理方法包括步骤220至步骤280。

步骤220，根据镜头的畸变矫正参数确定原始图像帧上的网格。

镜头畸变实际上是光学透镜固有的透视失真的总称。镜头畸变产生的原因是因为镜头里的镜片因为光线的通过产生的不规则的折射，但因为这是镜头的固有有特性，所以这种情况下产生的畸变没有办法消除，只能改善。而好一些的镜头因为光学设计以及用料的考究，利用镜片组的优化设计、选用高质量的光学玻璃来制造镜片，可以把畸变控制在很小的情况下，不过是不能完全消除的。

镜头的畸变参数一般可以在进行相机标定的时候进行测试得到，例如可以采用张氏标定得到。由镜头的畸变参数对应的就可以得到镜头的畸变矫正参数，镜头的畸变矫正参数就可以反映出图像帧中的畸变程度。根据镜头的畸变矫正参数可以来降低拍摄出的图像帧的畸变情况。

传统的电子防抖中，都是采用统一的、规则的原始网格套设在原始图像帧上进行像素点的投影，例如M×N网格，其中M指的是将原始图像帧的横向均分为M个网格，N指的是将原始图像帧的纵向均分为N个网格。然而镜头的畸变会影响图像帧中不同区域的畸变程度，对于图像帧中畸变程度大的区域即图像帧中像素点在畸变过程中的位移较大，则需要采用高密度的网格来进行抖动补偿，而对于图像帧中畸变程度小的区域即图像帧中像素点在畸变过程中的位移较小，则只需要采用低密度的网格来进行抖动补偿即可。这里的高密度网格、低密度网格是相对而言的。所以，在本申请实施例中可以根据镜头的畸变矫正参数来确定原始图像帧中不同区域的网格的密度。

步骤240，获取电子设备拍摄原始图像帧时的抖动补偿信息、网格的顶点坐标。

在确定了原始图像帧上的网格即畸变矫正后的网格之后，获取电子设备拍摄原始图像帧时的抖动补偿信息。具体可以是获取电子设备拍摄原始图像帧时陀螺仪所采集到的镜头的角速度，所采集到的角速度就可以体现出电子设备的抖动强度，角速度越大则电子设备的抖动强度就越大。陀螺仪可以采集电子设备任意摄像模组中的镜头的角速度，将角速度数据传输至主控芯片计算出抖动补偿信息。再获取畸变矫正后的网格的顶点坐标，即获取畸变矫正后的网格的顶点在原始图像帧中的位置坐标，标记为P’(x,y)。

步骤260，根据抖动补偿信息对网格的顶点坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标。

根据电子设备拍摄原始图像帧时陀螺仪所采集到的镜头的角速度，对网格的顶点坐标进行抖动补偿。即对网格的每一个顶点坐标，经过抖动补偿之后得到变换后的顶点坐标，标记为P”(x,y)。

步骤280，将原始图像帧中位于网格的顶点坐标处的像素点映射至抖动补偿后的网格的顶点坐标处，根据抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧。

由于网格是套设在原始图像帧上，对网格顶点进行了抖动补偿，得到了抖动补偿之后的网格的顶点坐标，那么就可以将位于原始图像帧的网格顶点的像素点映射至抖动补偿后的网格的顶点坐标处。再将每一个位于原始图像帧的网格顶点的像素点都映射至抖动补偿后的网格的顶点坐标处之后，根据映射后的像素点就可以构成了抖动补偿后的图像帧。如此，便完成了对原始图像帧的抖动补偿。

本申请实施例中，根据镜头的畸变矫正参数确定原始图像帧上的网格，获取电子设备拍摄原始图像帧时的抖动补偿信息、网格的顶点坐标。根据抖动补偿信息对网格的顶点坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标，将原始图像帧中位于网格的顶点坐标处的像素点映射至抖动补偿后的网格的顶点坐标处，根据抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧。传统方法中都是采用固定格式的网格，对于图像帧来说若固定格式的网格间距较大时，根据网格来进行防抖的效果较差；而对于图像帧来说若固定格式的网格间距较小时，根据网格来进行防抖的计算量太大。因此，本申请提出了根据镜头的畸变矫正参数确定原始图像帧上的网格，因为镜头的畸变会影响图像帧中不同区域的畸变程度，对于图像帧中畸变程度大的区域即图像帧中像素点在畸变过程中的位移较大，则需要采用高密度的网格来进行抖动补偿，而对于图像帧中畸变程度小的区域即图像帧中像素点在畸变过程中的位移较小，则只需要采用低密度的网格来进行抖动补偿。根据镜头的畸变矫正参数确定原始图像帧上的网格，即可在提高整个图像帧的防抖效果的同时，降低计算量。

在一个实施例中，步骤220，根据镜头的畸变矫正参数确定原始图像帧上的网格，包括：

根据镜头的畸变矫正参数的大小调整原始图像帧上的原始网格的网格线的间距。

具体的，因为镜头的畸变会影响图像帧中不同区域的畸变程度，对于图像帧中畸变程度大的区域即图像帧中像素点在畸变过程中的位移较大，则需要采用高密度的网格来进行抖动补偿，而对于图像帧中畸变程度小的区域即图像帧中像素点在畸变过程中的位移较小，则只需要采用低密度的网格来进行抖动补偿。

假设预先给原始图像帧设置了统一的、规则的原始网格如M×N网格，由于图像帧中镜头的畸变矫正参数的大小即体现了畸变程度的大小，对图像帧中畸变矫正参数较大的区域需要采用高密度的网格来进行抖动补偿，因此对该区域的M×N网格进行调整，将该区域的M×N网格的网格线的间距调小。例如，可以将该区域的M×N网格再平分，就得到了2M×2N网格，该平分方法保留了M×N网格中的全部顶点。当然，还可以对该区域采用其他方式进行平分，得到I×J网格，其中，I>M；J>N。

对图像帧中畸变矫正参数较小的区域需要采用低密度的网格来进行抖动补偿，因此对该区域的M×N网格进行调整，将该区域的M×N网格的网格线的间距调大。例如，可以将该区域重新设置网格，得到I×J网格，其中，I<M；J<N。也可以对该区域的网格进行合并，就得到了1/2M×1/2N网格，该合并方法保留了M×N网格中的部分顶点。当然，还可以对该区域的M×N网格采用其他方式进行设置。

本申请实施例中，因为镜头的畸变会影响图像帧中不同区域的畸变程度，对于图像帧中畸变程度大的区域即图像帧中像素点在畸变过程中的位移较大，则需要采用高密度的网格来进行抖动补偿，而对于图像帧中畸变程度小的区域即图像帧中像素点在畸变过程中的位移较小，则只需要采用低密度的网格来进行抖动补偿。将镜头的畸变矫正参数，引入至网格的间距的设置中，使得在原始图像帧中根据不同区域的镜头的畸变矫正参数的不同，适应性地调整该区域的网格的密度。从而，对于镜头的畸变矫正参数较大的区域，采用高密度的网格更好地进行抖动补偿，提高抖动补偿的准确性。而对于镜头的畸变矫正参数较小的区域，采用低密度的网格能够在实现抖动补偿的同时降低运算量。

在一个实施例中，如图3所示，步骤220，根据镜头的畸变矫正参数确定原始图像帧上的网格，包括：

步骤222，从原始图像帧中获取原始网格的顶点坐标。

原始网格可以是统一的、规则的网格，例如M×N网格。将原始网格套设在原始图像帧上，对原始图像帧建立坐标系，就可以计算出原始网格的顶点坐标。

步骤224，根据镜头的畸变矫正参数对原始网格的顶点坐标进行畸变矫正，得到畸变矫正后的原始网格的顶点坐标。

一般情况下，通过鱼眼镜头在拍摄时会将直线拍摄成曲线，尤其是边缘位置。镜头的畸变矫正参数具体为畸变矫正变换矩阵T(x,y)，因此，根据畸变矫正变换矩阵T(x,y)对原始网格的顶点坐标P(x,y)进行畸变矫正，得到畸变矫正后的原始网格的顶点坐标P’(x,y)。计算公式为：P’(x,y)＝P(x,y)*T(x,y)。

步骤226，根据每一对原始网格的顶点坐标、畸变矫正后的原始网格的顶点坐标，计算出原始网格的每一个顶点的位移。

根据每一对原始网格的顶点坐标P(x,y)、畸变矫正后的原始网格的顶点坐标P’(x,y)，计算出原始网格的每一个顶点的位移记作ShiftMap。计算公式为：ShiftMap(x,y)＝P’(x,y)-P(x,y)。通过该公式所计算出的顶点的位移为矢量，具有方向。为了将顶点的位移转换为标量，可以对该矢量直接取绝对值即可得到顶点的位移的标量。也可以通过下面的公式定义顶点的位移的标量为L＝ShiftMap(x,y).x*ShiftMap(x,y).x+ShiftMap(x,y).y*ShiftMap(x,y).y。其中，ShiftMap(x,y).x表示在x方向上的位移矢量，ShiftMap(x,y).y表示在y方向上的位移矢量。

步骤228，根据原始网格的每一个顶点的位移的大小调整原始网格的网格线的间距，得到调整后的网格。

原始网格的每一个顶点的位移(标量)的大小反应了该顶点附近的畸变程度，位移大则畸变程度也越大，对于畸变程度大的区域需要采用高密度的网格来进行抖动补偿，即将该区域的原始网格的间距调小。位移小则畸变程度也越小，对于畸变程度小的区域需要采用低密度的网格来进行抖动补偿，即将该区域的原始网格的间距调大。从而将间距调整之后的网格进行融合，就得到了整个网格。

本申请实施例中，根据镜头的畸变矫正参数计算原始网格顶点在畸变过程中发生的位移，去量化畸变程度。再根据位移大小调整原始网格的间距，得到畸变矫正后的网格，采用畸变矫正后的网格就可以对于畸变程度较大的区域，采用高密度的网格更好地进行抖动补偿，提高抖动补偿的准确性。而对于畸变程度较小的区域，采用低密度的网格能够在实现抖动补偿的同时降低运算量。

在一个实施例中，步骤228，根据原始网格的每一个顶点的位移的大小调整原始网格的网格线的间距，得到调整后的网格，包括：

获取原始网格的每一个顶点的位移；

根据原始网格的每一个顶点的位移的大小，按比例调整原始网格的网格线在顶点处的间距，得到调整后的网格的结构。

在从原始图像帧中获取原始网格的顶点坐标；根据镜头的畸变矫正参数对原始网格的顶点坐标进行畸变矫正，得到畸变矫正后的原始网格的顶点坐标；并根据每一对原始网格的顶点坐标、畸变矫正后的原始网格的顶点坐标，计算出原始网格的每一个顶点的位移之后，根据原始网格的每一个顶点的位移的大小，按比例调整原始网格的网格线在顶点处的间距，得到调整后的网格的结构。

具体的，按比例调整原始网格的网格线在顶点处的间距，可以是根据原始网格的每一个顶点的位移的大小，按照位移大小的比例来调整原始网格的网格线在顶点处的间距。例如，原始网格中A顶点位移为3mm，网格中B顶点位移为2mm，则可以将A顶点附近的原始网格的网格线间距均分为3份，而将B顶点附近的原始网格的网格线间距均分为2份。即顶点位移的比例等于或近似等于调整后的顶点附近网格的间距的比例。

本申请实施例中，根据原始网格的每一个顶点的位移的大小，按比例调整原始网格的网格线在顶点处的间距，得到调整后的网格的结构。可以实现精细化地控制网格线的间距，从而最大程度地提高抖动补偿效果的同时降低运算量。

在一个实施例中，步骤228，根据原始网格的每一个顶点的位移的大小调整原始网格的网格线的间距，得到调整后的网格，如图4所示，包括：

步骤402，获取原始网格的每一个顶点的位移。

获取原始网格的每一个顶点的位移的具体过程为：从原始图像帧中获取原始网格的顶点坐标；根据镜头的畸变矫正参数对原始网格的顶点坐标进行畸变矫正，得到畸变矫正后的原始网格的顶点坐标；并根据每一对原始网格的顶点坐标、畸变矫正后的原始网格的顶点坐标，计算出原始网格的每一个顶点的位移。

步骤404，判断顶点的位移是否大于预设阈值，若是，则将原始网格的网格线在顶点处的间距调整为第一间距，第一间距小于原始网格的网格线的间距。

这里的预设阈值为网格在镜头畸变过程中的位移的阈值。例如，预设阈值可以是0或接近0的数值(一般为正数)，当然，预设阈值也可以是对整个网格的顶点位移进行统计分析后所计算出的平均值。判断顶点的位移是否大于预设阈值，若是，则将原始网格的网格线在顶点处的间距调整为第一间距，第一间距小于原始网格的网格线的间距。

步骤406，若否，则将原始网格的网格线在顶点处的间距调整为第二间距，第二间距大于或等于原始网格的网格线的间距。

判断顶点的位移是否大于预设阈值，若否，即顶点的位移小于或等于预设阈值，则将原始网格的网格线在顶点处的间距调整为第二间距，第二间距大于或等于原始网格的网格线的间距。其中，可以包括以下几种情况：其一，当顶点的位移小于预设阈值，则将原始网格的网格线在顶点处的间距调整为第二间距，第二间距大于原始网格的网格线的间距；其二，当顶点的位移等于预设阈值，则将原始网格的网格线在顶点处的间距调整为第二间距，第二间距等于原始网格的网格线的间距，即采用原始网格的网格线；其三，当顶点的位移小于预设阈值，则将原始网格的网格线在顶点处的间距调整为第二间距，第二间距等于原始网格的网格线的间距，即采用原始网格的网格线。

步骤408，将第一间距的网格线与第二间距的网格线进行融合，得到调整后的网格。

在对原始网格中所有顶点附近的网格的间距进行调整之后，将第一间距的网格线与第二间距的网格线进行融合，得到调整后的网格。

本申请实施例中，设置预设阈值对顶点的位移的大小进行判断，然后将原始网格中的顶点进行划分，对于顶点的位移大于预设阈值的顶点，将该顶点附近的原始网格的网格线的间距调小。对于顶点的位移小于或等于预设阈值的顶点，将该顶点附近的原始网格的网格线的间距调大或不变。如此，则就可以实现对不同的顶点针对性地进行调整顶点附近的网格，有的是将原始网格的网格线的间距调小，增加了计算量但保证了后续抖动补偿的准确性，有的是将原始网格的网格线的间距调大，在同样保证了后续抖动补偿的准确性的同时减小了计算量。

接上一个实施例中，第一间距的网格线包括原始网格的网格线。

具体的，判断顶点的位移是否大于预设阈值，若是，则将原始网格的网格线在顶点处的间距调整为第一间距，第一间距小于原始网格的网格线的间距。在将该顶点附近的原始网格的网格线的间距调小时，可以保留原始网格在该顶点处的网格线，而另外新增网格线，从而将网格线的间距调小。

本申请实施例中，若在该顶点附近的原始网格的网格线的间距调小时，可以保留原始网格在该顶点处的网格线，而另外新增网格线，从而将网格线的间距调小。因为原始网格中的顶点的坐标为已知的，这样就只需要计算新增网格线而产生的顶点的坐标即可，这样就减少了计算量，提高了效率。

在一个实施例中，如图5所示，步骤280，根据抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧，包括：

步骤282，从原始图像帧中获取抖动补偿后的网格的顶点坐标处的像素值。

根据抖动补偿信息对调整后的网格的顶点坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标。从原始图像帧中获取抖动补偿后的网格的顶点坐标处的像素值。

步骤284，对述抖动补偿后的网格的顶点坐标处的像素值，采用插值法计算出相邻像素点的像素值。

对述抖动补偿后的网格的顶点坐标处的像素值，采用插值法计算出相邻像素点的像素值，然后依次类推计算出所有相邻像素点的像素值。这里的插值法可以指的是最邻近插值法(Nearest Interpolation)或双线性内插法(Bilinear Interpolation)，当然，还包括其他未列举的插值法。其中，最邻近插值法就是在待求像素的四邻像素中，将距离待求像素最近的邻接像素灰度值赋予待求像素。双线性内插法是利用待求像素四个邻像素的灰度值在两个方向上作线性内插，得到待求像素的灰度值。

步骤286，根据抖动补偿后的网格的顶点坐标处的像素值、相邻像素点的像素值，得到抖动补偿后的图像帧。

根据抖动补偿后的网格的顶点坐标处的像素值、所有相邻像素点的像素值，就得到抖动补偿后的图像帧所有像素点的像素值，进而这些像素点就构成了抖动补偿后的图像帧。

本申请实施例中，实现了将原始图像帧中的像素点映射至抖动补偿后的网格顶点处的像素点，再从原始图像帧中获取到该像素点的像素值直接作为对应的抖动补偿后的网格顶点处的像素点。然后，再对已获取到像素值的顶点采用插值法计算这些顶点相邻的像素点的像素值。进而这些像素点就构成了抖动补偿后的图像帧，所得到的抖动补偿后的图像帧的清晰度较高、防抖效果较好。

在一个实施例中，根据镜头的畸变矫正参数对抖动补偿后的图像帧进行畸变矫正，得到畸变矫正后的图像帧。

本申请实施例中，可以先根据镜头的畸变矫正参数对原始图像帧进行畸变矫正，得到畸变矫正之后的原始图像帧之后，再在畸变矫正之后的原始图像帧上根据镜头的畸变矫正参数调整网格，将调整后的网格套设在畸变矫正之后的原始图像帧上进行防抖补偿计算。当然，也可以在根据镜头的畸变矫正参数调整了原始图像帧上的网格之后，再根据镜头的畸变矫正参数对原始图像帧进行畸变矫正得到畸变矫正之后的原始图像帧，将调整后的网格套设在畸变矫正之后的原始图像帧上进行防抖补偿计算。这样既提高了降低了所得到的图像帧的畸变、也提高了图像帧的防抖效果。

在一个具体的实施例中，预先给原始图像帧中套设了默认网格Default Mesh，该默认网格的网格线的间距是固定的。如图6所示，

第一步，获取镜头的畸变矫正参数Distortion Correction Param；

第二步，根据镜头的畸变矫正参数计算默认网格顶点的位移ShiftMap；

第三步，根据默认网格顶点的位移大小调整默认网格中对应顶点处的网格线的间距；具体的，判断默认网格顶点的位移是否大于预设阈值，若是，则将默认网格的网格线在顶点处的间距调整为第一间距，第一间距小于默认网格的网格线的间距，即高密度网格High Density Mesh。若否，则在顶点处采用默认网格Default Mesh。

第四步，将高密度网格High Density Mesh和默认网格Default Mesh进行融合(Mesh Fusion)，得到融合后的网格(AdaptiveMesh)。

第五步，获取陀螺仪数据(GyroData)，将陀螺仪数据和融合后的网格一起输入至姿态估计(PoseEstimation)模块，计算出变换后的网格。

第六步，将变换前后网格的位置坐标、原始图像帧InputImage输入至DewarpEngine模块，将原始图像帧中位于融合后的网格的顶点坐标处的像素点映射至变换后的网格的顶点坐标处。根据变换后的网格的顶点坐标处的像素点，采用插值法计算得到相邻像素点的像素值，进而这些像素点就构成了抖动补偿后的图像帧。

第七步，将抖动补偿后的图像帧作为输出Output。

本申请实施例中，就可以根据顶点在畸变过程中的位移，实现对不同的顶点针对性地进行调整顶点附近的网格，有的是将原始网格的网格线的间距调小，增加了计算量但保证了后续抖动补偿的准确性，有的是保留默认网格，在保证了后续抖动补偿的准确性的同时减小了计算量。在保证防抖效果的同时，提高图像帧防抖的效率。该方法也同样适用于视频图像，提高整个视频中的每帧图像的防抖效果。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种图像处理装置700，包括：网格确定模块720、网格顶点的坐标获取模块740、抖动补偿模块760及像素点映射模块780。其中，

网格确定模块720，用于根据镜头的畸变矫正参数确定原始图像帧上的网格；

网格顶点的坐标获取模块740，用于获取电子设备拍摄原始图像帧时的抖动补偿信息、网格的顶点坐标；

网格顶点抖动补偿模块760，用于根据抖动补偿信息对网格的顶点的坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标；

像素点映射模块780，用于将原始图像帧中位于网格的顶点坐标处的像素点映射至抖动补偿后的网格的顶点坐标处，根据抖动补偿后的网格的顶点处坐标的像素点得到抖动补偿后的图像帧。

在一个实施例中，网格确定模块720，还用于根据镜头的畸变矫正参数的大小调整原始图像帧上的网格的网格线的间距。

在一个实施例中，网格确定模块720，如图8A所示，包括：

原始网格的顶点坐标获取单元722，用于从原始图像帧中获取原始网格的顶点坐标；

顶点坐标畸变矫正单元724，用于根据镜头的畸变矫正参数对原始网格的顶点坐标进行畸变矫正，得到畸变矫正后的原始网格的顶点坐标；

顶点的位移计算单元726，用于根据每一对原始网格的顶点坐标、畸变矫正后的原始网格的顶点坐标，计算出原始网格的每一个顶点的位移；

调整后的网格生成单元728，用于根据原始网格的每一个顶点的位移的大小调整原始网格的网格线的间距，得到调整后的网格。

在一个实施例中，调整后的网格生成模块728，还用于获取原始网格的每一个顶点的位移；根据原始网格的每一个顶点的位移的大小，按比例调整原始网格的网格线在顶点处的间距，得到调整后的网格的结构。

在一个实施例中，调整后的网格生成模块728，还用于获取原始网格的每一个顶点的位移；判断顶点的位移是否大于预设阈值，若是，则将原始网格的网格线在顶点处的间距调整为第一间距，第一间距小于原始网格的网格线的间距；若否，则将原始网格的网格线在顶点处的间距调整为第二间距，第二间距大于或等于原始网格的网格线的间距；将第一间距的网格线与第二间距的网格线进行融合，得到调整后的网格。

在一个实施例中，第一间距的网格线包括原始网格的网格线。

在一个实施例中，像素点映射模块780，还用于从原始图像帧中获取抖动补偿后的网格的顶点坐标处的像素值；对述抖动补偿后的网格的顶点坐标处的像素值，采用插值法计算出相邻像素点的像素值；根据抖动补偿后的网格的顶点坐标处的像素值、相邻像素点的像素值，得到抖动补偿后的图像帧。

在一个实施例中，如图8B所示，还提供了一种图像处理装置，还包括：图像帧畸变矫正模块790，用于根据镜头的畸变矫正参数对抖动补偿后的图像帧进行畸变矫正，得到畸变矫正后的图像帧。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括第一ISP处理器1030、第二ISP处理器1040和控制逻辑器1050。第一摄像头1010包括一个或多个第一透镜1012和第一图像传感器1014。第一图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器1014可获取用第一图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器1030处理的一组图像数据。第二摄像头1020包括一个或多个第二透镜1022和第二图像传感器1024。第二图像传感器1024可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器1024可获取用第二图像传感器1024的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器1040处理的一组图像数据。

第一摄像头1010采集的第一图像传输给第一ISP处理器1030进行处理，第一ISP处理器1030处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050，控制逻辑器1050可根据统计数据确定第一摄像头1010的控制参数，从而第一摄像头1010可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器1030进行处理后可存储至图像存储器1060中，第一ISP处理器1030也可以读取图像存储器1060中存储的图像以对进行处理。另外，第一图像经过ISP处理器1030进行处理后可直接发送至显示器1070进行显示，显示器1070也可以读取图像存储器1060中的图像以进行显示。

其中，第一ISP处理器1030按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器1030可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器1060可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器1014接口时，第一ISP处理器1030可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1060，以便在被显示之前进行另外的处理。第一ISP处理器1030从图像存储器1060接收处理数据，并对处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1030处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器1030的输出还可发送给图像存储器1060，且显示器1070可从图像存储器1060读取图像数据。在一个实施例中，图像存储器1060可被配置为实现一个或多个帧缓冲器。

第一ISP处理器1030确定的统计数据可发送给控制逻辑器1050。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1012阴影校正等第一图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头1010的控制参数及第一ISP处理器1030的控制参数。例如，第一摄像头1010的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜1012阴影校正参数。

同样地，第二摄像头1020采集的第二图像传输给第二ISP处理器1040进行处理，第二ISP处理器1040处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1050，控制逻辑器1050可根据统计数据确定第二摄像头1020的控制参数，从而第二摄像头1020可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器1040进行处理后可存储至图像存储器1060中，第二ISP处理器1040也可以读取图像存储器1060中存储的图像以对进行处理。另外，第二图像经过ISP处理器1040进行处理后可直接发送至显示器1070进行显示，显示器1070也可以读取图像存储器1060中的图像以进行显示。第二摄像头1020和第二ISP处理器1040也可以实现如第一摄像头1010和第一ISP处理器1030所描述的处理过程。

根据本申请实施例提供的图像处理电路可以实现上述图像处理方法。其中，电子设备可以多个摄像头，摄像头包括镜头及与镜头对应设置的图像传感器，多个摄像头中的图像传感器采用矩形对角线的方式排列。电子设备实现该图像处理方法的过程如上述实施例，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像处理方法，应用于电子设备，其特征在于，包括：

根据镜头的畸变矫正参数确定原始图像帧上不同区域的网格的密度；其中，对于所述原始图像帧中畸变程度超过阈值的区域，则调整所述畸变程度超过阈值的区域的网格为高密度网格，而对于所述原始图像帧中畸变程度未超过所述阈值的区域，则调整所述畸变程度未超过所述阈值的区域的网格为低密度网格；所述高密度网格的密度大于所述低密度网格的密度；所述原始图像帧中畸变程度是由图像帧中像素点在畸变过程中的位移所确定；所述高密度网格的密度大于所述原始图像帧中相应区域原始网格的密度，所述低密度网格的密度小于或等于所述原始图像帧中相应区域原始网格的密度；

获取所述电子设备拍摄所述原始图像帧时的抖动补偿信息、所述网格的顶点坐标；

根据所述抖动补偿信息对所述网格的顶点坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标；

将所述原始图像帧中位于所述网格的顶点坐标处的像素点映射至所述抖动补偿后的网格的顶点坐标处，根据所述抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧。

2.根据权利要求1所述的方法，其特征在于，所述根据镜头的畸变矫正参数确定原始图像帧上不同区域的网格的密度，包括：

根据镜头的畸变矫正参数的大小调整原始图像帧上的原始网格的网格线的间距。

3.根据权利要求1所述的方法，其特征在于，所述根据镜头的畸变矫正参数确定原始图像帧上不同区域的网格的密度，包括：

从所述原始图像帧中获取原始网格的顶点坐标；

根据所述镜头的畸变矫正参数对所述原始网格的顶点坐标进行畸变矫正，得到畸变矫正后的原始网格的顶点坐标；

根据每一对所述原始网格的顶点坐标、所述畸变矫正后的原始网格的顶点坐标，计算出所述原始网格的每一个顶点的位移；

根据所述原始网格的每一个顶点的位移的大小调整所述原始网格的网格线的间距，得到调整后的网格。

4.根据权利要求3所述的方法，其特征在于，所述根据所述原始网格的每一个顶点的位移的大小调整所述原始网格的网格线的间距，得到调整后的网格，包括：

获取所述原始网格的每一个顶点的位移；

根据所述原始网格的每一个顶点的位移的大小，按比例调整所述原始网格的网格线在所述顶点处的间距，得到调整后的网格的结构。

5.根据权利要求3所述的方法，其特征在于，所述根据所述原始网格的每一个顶点的位移的大小调整所述原始网格的网格线的间距，得到调整后的网格，包括：

获取所述原始网格的每一个顶点的位移；

判断所述顶点的位移是否大于预设阈值，若是，则将所述原始网格的网格线在所述顶点处的间距调整为第一间距，所述第一间距小于所述原始网格的网格线的间距；

若否，则将所述原始网格的网格线在所述顶点处的间距调整为第二间距，所述第二间距大于或等于所述原始网格的网格线的间距；

将所述第一间距的网格线与所述第二间距的网格线进行融合，得到调整后的网格。

6.根据权利要求5所述的方法，其特征在于，所述第一间距的网格线包括所述原始网格的网格线。

7.根据权利要求1所述的方法，其特征在于，所述根据所述抖动补偿后的网格的顶点坐标处的像素点得到抖动补偿后的图像帧，包括：

从所述原始图像帧中获取所述抖动补偿后的网格的顶点坐标处的像素值；

对所述抖动补偿后的网格的顶点坐标处的像素值，采用插值法计算出相邻像素点的像素值；

根据所述抖动补偿后的网格的顶点坐标处的像素值、所述相邻像素点的像素值，得到抖动补偿后的图像帧。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据镜头的畸变矫正参数对所述抖动补偿后的图像帧进行畸变矫正，得到畸变矫正后的图像帧。

9.一种图像处理装置，其特征在于，包括：

网格确定模块，用于根据镜头的畸变矫正参数确定原始图像帧上不同区域的网格的密度；其中，对于所述原始图像帧中畸变程度超过阈值的区域，则调整所述畸变程度超过阈值的区域的网格为高密度网格，而对于所述原始图像帧中畸变程度未超过所述阈值的区域，则调整所述畸变程度未超过所述阈值的区域的网格为低密度网格；所述高密度网格的密度大于所述低密度网格的密度；所述原始图像帧中畸变程度是由图像帧中像素点在畸变过程中的位移所确定；所述高密度网格的密度大于所述原始图像帧中相应区域原始网格的密度，所述低密度网格的密度小于或等于所述原始图像帧中相应区域原始网格的密度；

网格顶点的坐标获取模块，用于获取电子设备拍摄所述原始图像帧时的抖动补偿信息、所述网格的顶点坐标；

网格顶点抖动补偿模块，用于根据所述抖动补偿信息对所述网格的顶点的坐标进行抖动补偿，得到抖动补偿后的网格的顶点坐标；

像素点映射模块，用于将所述原始图像帧中位于所述网格的顶点坐标处的像素点映射至所述抖动补偿后的网格的顶点坐标处，根据所述抖动补偿后的网格的顶点处坐标的像素点得到抖动补偿后的图像帧。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的图像处理方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images