CN109660718B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质，所述方法包括：获取摄像头拍摄的原始图像；获取所述摄像头拍摄所述原始图像时所述防抖组件的重力角度，根据所述重力角度获取所述原始图像对应的图像偏移量；根据所述图像偏移量对所述原始图像进行第一校正处理，得到中间图像；获取所述摄像头对应的标定信息，并根据所述标定信息对所述中间图像进行第二校正处理，得到目标图像。上述图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像的准确性。

Description

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。

背景技术

在拍摄图像的过程中，电子设备可能会产生某些偏移或抖动。由于摄像头在拍摄图像的时候，曝光需要一定的时长，如果曝光的时候摄像头产生了偏移或抖动，就会造成成像物体的移动，从而使得生成的图像产生模糊等问题。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像的准确性。

一种图像处理方法，包括：

获取摄像头拍摄的原始图像，其中，所述摄像头对应设置防抖组件；

获取所述摄像头拍摄所述原始图像时所述防抖组件的重力角度，根据所述重力角度获取所述原始图像对应的图像偏移量，其中，所述重力角度用于表示所述防抖组件的平移面与重力方向所形成的夹角的角度；

根据所述图像偏移量对所述原始图像进行第一校正处理，得到中间图像；

获取所述摄像头对应的标定信息，并根据所述标定信息对所述中间图像进行第二校正处理，得到目标图像。

一种图像处理装置，包括：

图像获取模块，用于获取摄像头拍摄的原始图像，其中，所述摄像头对应设置防抖组件；

图像偏移量获取模型，用于获取所述摄像头拍摄所述原始图像时所述防抖组件的重力角度，根据所述重力角度获取所述原始图像对应的图像偏移量，其中，所述重力角度用于表示所述防抖组件的平移面与重力方向所形成的夹角的角度；

第一校正模块，用于根据所述图像偏移量对所述原始图像进行第一校正处理，得到中间图像；

第二校正模块，用于获取所述摄像头对应的标定信息，并根据所述标定信息对所述中间图像进行第二校正处理，得到目标图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取摄像头拍摄的原始图像，其中，所述摄像头对应设置防抖组件；

获取所述摄像头拍摄所述原始图像时所述防抖组件的重力角度，根据所述重力角度获取所述原始图像对应的图像偏移量，其中，所述重力角度用于表示所述防抖组件的平移面与重力方向所形成的夹角的角度；

根据所述图像偏移量对所述原始图像进行第一校正处理，得到中间图像；

获取所述摄像头对应的标定信息，并根据所述标定信息对所述中间图像进行第二校正处理，得到目标图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取摄像头拍摄的原始图像，其中，所述摄像头对应设置防抖组件；

获取所述摄像头拍摄所述原始图像时所述防抖组件的重力角度，根据所述重力角度获取所述原始图像对应的图像偏移量，其中，所述重力角度用于表示所述防抖组件的平移面与重力方向所形成的夹角的角度；

根据所述图像偏移量对所述原始图像进行第一校正处理，得到中间图像；

获取所述摄像头对应的标定信息，并根据所述标定信息对所述中间图像进行第二校正处理，得到目标图像。

本申请实施例提供的图像处理方法、装置、电子设备、计算机可读存储介质，可以获取摄像头拍摄的原始图像，并在摄像头拍摄原始图像的时候获取防抖组件的重力角度，根据重力角度获取原始图像的图像偏移量。然后根据图像偏移量对原始图像进行第一校正处理，得到中间图像。最后获取摄像头的标定信息，并根据标定信息将中间图像进行第二校正处理，得到目标图像。这样就可以降低防抖组件的重力对拍摄的图像所带来的误差，并根据标定信息对图像进行进一步的补偿，从而提高图像的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境示意图；

图2为一个实施例中图像处理方法的流程图；

图3为一个实施例中防抖组件的工作原理示意图；

图4为另一个实施例中图像处理方法的流程图；

图5为一个实施例中标记参考偏移量的示意图；

图6为一个实施例中防抖组件的偏移量的示意图；

图7为一个实施例中重力夹角与图像偏移量的对应关系的示意图；

图8为又一个实施例中图像处理方法的流程图；

图9为一个实施例的图像处理装置的结构框图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一校正处理称为第二校正处理，且类似地，可将第二校正处理称为第一校正处理。第一校正处理和第二校正处理两者都是校正处理，但其不是同一校正处理。

图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备10，电子设备10上安装摄像头102，摄像头102对应设置防抖组件。具体的，电子设备10可以获取摄像头102采集的原始图像12，然后获取摄像头102拍摄原始图像12时防抖组件的重力角度；根据重力角度获取防抖组件的第一组件偏移量，并根据第一组件偏移量获取图像偏移量；根据图像偏移量对原始图像12进行第一校正处理，得到目标图像。在本实施例中，电子设备102可以为手机、电脑、可穿戴设备、个人数字助理等，在此不做限定。

图2为一个实施例中图像处理方法的流程图。如图2所示，该摄像头标定方法包括步骤202至步骤208。其中：

步骤202，获取摄像头拍摄的原始图像，其中，摄像头对应设置防抖组件。

在一个实施例中，电子设备可以设置摄像头，设置的摄像头的数量不限。例如，设置1个、2个、3个、5个等，在此不做限定。摄像头设置于电子设备的形式不限，例如，可以是内置于电子设备的摄像头，也可以外置于电子设备的摄像头；可以是前置摄像头，也可以是后置摄像头。电子设备安装的可以为任意类型的摄像头。例如，可以是彩色摄像头、黑白摄像头、激光摄像头、深度摄像头等，不限于此。

在摄像头拍摄的过程中，电子设备可能会产生抖动或偏移等情况。由于摄像头采集图像时，需要一定的曝光时间，如果在曝光过程中电子设备产生了抖动或者偏移，那么摄像头采集的图像就可能产生模糊。电子设备可以通过防抖组件来改善抖动引起的模糊，防抖组件即为OIS(Optical Image Stabilization，光学防抖)组件，能在有抖动或偏移的情况下，控制透镜相对于图像传感器平移而对抖动造成的图像偏移进行补偿。

步骤204，获取摄像头拍摄原始图像时防抖组件的重力角度，根据重力角度获取原始图像对应的图像偏移量，其中，重力角度用于表示防抖组件的平移面与重力方向所形成的夹角的角度。

在本申请提供的实施例中，防抖组件可以产生位置上的偏移，在受到重力等因素影响的时候，防抖组件也可能会产生偏移，这种偏移并不是抖动造成的，这样就会使得摄像头采集的图像不准确，从而影响摄像头的标定结果。因此，在对摄像头标定的过程中，每次采集到标定图像时，可以对应获取防抖组件的重力角度，然后根据获取的重力角度对拍摄的图像进行校正。

图3为一个实施例中防抖组件的工作原理示意图。如图3所示，当防抖组件的重力夹角为预设角度的时候，防抖组件的中心点处于位置302；当防抖组件的重力夹角不为预设角度时，防抖组件的中心点从位置302移动到位置304，即防抖组件的中心点产生了偏移。圆圈306为防抖组件的中心点移动的范围，即防抖组件的中心点只能在圆圈306示意的范围内偏移。根据位置304相对于位置302的位置偏移量，就可以计算出防抖组件的位置偏移量，从而得到拍摄的图像的偏移量。

在一个实施例中，重力角度可以表示防抖组件的平移面与重力方向所形成的夹角的角度，平移面即为防抖组件带动摄像头产生平移的方向所形成平面。具体的，电子设备中可以安装陀螺仪传感器(角速度传感器)，通过陀螺仪传感器获取重力角度。

防抖组件在没有抖动的情况下且重力夹角为预设角度时，防抖组件的位置不会产生偏移。当防抖组件的重力夹角不为预设角度时，即使没有抖动，防抖组件的位置也可能会受重力影响产生一定的偏移。因此，在采集图像时，需要对重力带来的偏移进行一定的补偿。

在一个实施例中，可以预先建立重力角度和图像偏移量的对应关系，在采集到标定图像的时候，获取防抖组件的重力角度，然后根据重力角度确定图像偏移量，并根据图像偏移量对采集的标定图像进行校正。例如，重力角度为20°、40°、60°和80°时，对应的图像偏移量分别为1、4、9、12个像素点。

步骤206，根据图像偏移量对原始图像进行第一校正处理，得到中间图像。

获取到图像偏移量之后，可以根据图像偏移量对原始图像进行第一校正处理。具体的，采集的原始图像是由若干个像素点构成的二维像素矩阵，图像偏移量可以是将原始图像向某个方向移动一个或多个像素点，这样就可以根据图像偏移量可以将原始图像进行偏移校正。

步骤208，获取摄像头对应的标定信息，并根据标定信息对中间图像进行第二校正处理，得到目标图像。

具体的，标定信息可以包括摄像头的内参、外参、畸变系数等参数，如果电子设备安装有两个以上的摄像头，则标定信息还可以包括不同摄像头之间的外参。标定信息是在对摄像头进行标定处理时得到的，在对摄像头进行标定处理得到标定信息之后，可以将标定信息存储在电子设备中。在图像的拍摄过程中，就可以根据电子设备中存储的标定信息对拍摄到的图像进行第二校正处理。

在对摄像头标定处理的过程中，电子设备可以控制摄像头对标定板拍摄得到标定图像，通过拍摄得到的标定图像对摄像头进行标定处理。电子设备可以查找标定图像的特征点，根据特征点求取摄像头对应的标定信息。具体的，电子设备可以采用传统摄像头标定法、摄像头自标定方法、介于传统标定方法和自标定方法之间的张正友标定方法等对摄像头进行标定处理，不限于此。

得到中间图像之后，就可以根据标定信息对中间图像进行第二校正处理，得到目标图像。

上述实施例提供的图像处理方法，可以获取摄像头拍摄的原始图像，并在摄像头拍摄原始图像的时候获取防抖组件的重力角度，根据重力角度获取原始图像的图像偏移量。然后根据图像偏移量对原始图像进行第一校正处理，得到中间图像。最后获取摄像头的标定信息，并根据标定信息将中间图像进行第二校正处理，得到目标图像。这样就可以降低防抖组件的重力对拍摄的图像所带来的误差，并根据标定信息对图像进行进一步的补偿，从而提高图像的准确性。

图4为另一个实施例中图像处理方法的流程图。如图4所示，该摄像头标定方法包括步骤402至步骤416。其中：

步骤402，控制防抖组件的平移面与重力方向的夹角到达至少两个参考角度，并记录每个参考角度下防抖组件的参考偏移量。

在拍摄图像之前，可以先确定第一拟合模型，根据第一拟合模型可以确定防抖组件的重力角度和组件偏移量的对应关系。具体的，可以控制防抖组件的平移面与重力方向的夹角到达至少两个参考角度，然后记录在每个参考角度下防抖组件的参考偏移量。根据获取的记录的参考角度和参考偏移量获取第一拟合模型。

步骤404，根据参考角度和参考偏移量获取拟合参数，并根据拟合参数建立第一拟合模型。

在本申请提供的实施例中，可以预先定义一个参考拟合模型，然后将记录的参考角度和对应的参考偏移量带入到参考拟合模型，求解参考拟合模型中的拟合参数，然后根据得到的拟合参数就可以建立第一拟合模型。

例如，参考拟合模型可以表示为

其中，x表示防抖组件的重力角度，表示防抖组件的位置的偏移量，w_j为常数，j可以为任意自然数，在此不做限定。电子设备获取到参考角度和参考偏移量之后，可以将获取的参考角度和参考偏移量带入到上述参考拟合模型中，然后求解上述参考拟合模型中的w_j，得到拟合参数。然后将求解的拟合参数带入上述参考拟合模型中，得到第一拟合模型。

图5为一个实施例中标记参考偏移量的示意图。如图5所示，控制防抖组件的的平移面与重力方向的夹角分别到达0°、10°、30°、50°和90°等五个参考角度，然后分别记录在上述五个参考角度下防抖组件在坐标系中对应的坐标分别为坐标502、坐标504、坐标506、坐标508和坐标510。记录的上述坐标即为防抖组件相对于坐标原点的位置的偏移量，然后根据坐标系中记录的坐标和参考角度确定第一拟合模型。

在一个实施例中，电子设备在拍摄图像之前，还可以建立第二拟合模型。可以控制防抖模组的位置产生偏移，然后记录防抖模组在每一个偏移位置下，摄像头采集的图像的偏移量，根据记录的防抖模组的偏移量和图像的偏移量建立第二拟合模型。具体的，在防抖模组的至少两个参考组件偏移量下控制摄像头拍摄参考图像，识别拍摄的参考图像中的特征点；根据识别到的特征点确定每一张参考图像的参考图像偏移量；根据上述参考组件偏移量和参考图像偏移量进行拟合，生成第二拟合模型。

可以理解的是，根据参考组件偏移量和参考图像偏移量生成第二拟合模型时，也可以首先建立一个多项式模型，然后将获取的参考组件偏移量和参考图像偏移量带入多项式模型中，对多项式模型中的常量进行求解，然后根据求解得到的常量建立第二拟合模型。

步骤406，获取摄像头拍摄的原始图像，其中，摄像头对应设置防抖组件。

在图像拍摄的过程中，电子设备检测到图像采集指令时，就可以控制摄像头采集原始图像。图像采集指令是触发电子设备拍摄图像的指令，例如，当用户打开电子设备上安装的相机应用程序，然后点击相机应用程序中的拍摄按钮。当电子设备检测到拍摄按钮被按下时，生成图像采集指令。

步骤408，获取摄像头拍摄原始图像时防抖组件的重力角度。

在一个实施例中，当摄像头采集原始图像时，电子设备可以获取防抖组件的重力角度，然后根据重力角度获取防抖组件的偏移量，并根据防抖组件的偏移量确定原始图像的偏移量。

步骤410，根据第一拟合模型获取防抖组件在重力角度下对应的第一组件偏移量，并根据第二拟合模型获取第一组件偏移量对应的图像偏移量。

组件偏移量是指防抖组件相对于初始位置的偏移量。防抖组件的位置可以根据防抖组件所在的平面中的任意一点的位置确定。例如，防抖组件所在的位置可以根据防抖组件的中心点确定，也可以根据防抖组件上的其他点确定。具体的，对防抖组件所在的平面建立坐标系，然后根据防抖组件的平面中的点确定防抖组件在该坐标系中的坐标，即确定防抖组件所在的位置。上述防抖组件所在的平面一般是指防抖组件产生平移的平面，即防抖组件所在的平行于摄像头的图像传感器的平面。

具体的，在根据防抖组件所在平面建立坐标系之后，可以定义防抖组件的初始位置为原点所在的位置，这样防抖组件的偏移量也可以看作是防抖组件分别在坐标系的每个分量上的偏移量。

图6为一个实施例中防抖组件的偏移量的示意图。如图6所示，假设第一位置602即为防抖组件的初始位置，以第一位置602为原点建立坐标系，那么就可以通过第二位置604的坐标确定防抖组件的偏移量。防抖组件的偏移量就可以表示为在x轴正方向上的偏移量为-Px，y轴正方向上的偏移量为-Py。

在一个实施例中，第一组件偏移量是防抖组件在重力作用下所产生的偏移量。电子设备可以预先建立第一组件偏移量与重力角度的第一拟合模型，在获取到重力角度之后，就可以根据该第一拟合模型获取重力角度对应的第一组件偏移量。

防抖组件的偏移量与拍摄图像的偏移量存在一定的对应关系，在获取到防抖组件的偏移量之后，就根据防抖组件的偏移量确定原始图像的偏移量。具体的，根据重力角度获取防抖组件的第一组件偏移量，根据第一组件偏移量获取原始图像的图像偏移量。第一组件偏移量的单位为code，图像偏移量的单位为像素(pixel)。根据第二拟合模型可以将第一组件偏移量转换为图像偏移量。其中，可以将第一组件偏移量在上述坐标系中沿x轴的偏移量与沿y轴的偏移量带入至第二拟合模型中，通过计算得到对应的图像偏移量。

例如，第二拟合模型可以为二元二次函数模型，可以用如下公式进行表示：

F(ΔX,ΔY)＝ax²+by²+cxy+dx+ey+f

上式中，a、b、c、d、e、f分别为常数，也就是已知系数。F(ΔX,ΔY)用于表示当前图像偏移量，x、y分别表示组件偏移量对应的横轴坐标、纵轴坐标。将组件偏移量带入上述公式中，就可以求得图像偏移量。比如当前的组件偏移量为p(2,1)，则对应的图像偏移量F(ΔX,ΔY)就可以表示为4a+b+2c+2d+e+f。可以理解的是，上述第二拟合模型还可以其他形式的函数模型，在此不做限定。

步骤412，根据图像偏移量对原始图像进行第一校正处理，得到中间图像。

获取到图像偏移量之后，可以根据图像偏移量对原始图像进行第一校正处理，对防抖组件的重力变化给原始图像带来的偏差进行补偿，得到中间图像。

在一个实施例中，原始图像是由若干个像素点组成的二维像素矩阵，图像偏移量可以包括第一方向上的第一图像偏移量和第二方向上的第二图像偏移量，将原始图像进行第一校正处理具体包括：将原始图像在第一方向上移动第一图像偏移量，并将移动第一图像偏移量之后的原始图像在第二方向上移动第二图像偏移量，得到中间图像。

根据第二拟合模型可以获取第一组件偏移量对应的图像偏移量，图像偏移量可以确定图像产生偏移的像素点的位移，从而根据图像偏移量对拍摄的原始图像进行补偿。具体的，可以根据图像偏移量确定原始图像分别在第一方向和第二方向上的偏移，从而可以根据图像偏移量将原始图像分别从第一方向和第二方向上进行位移，以实现对原始图像的补偿。

首先将原始图像在第一方向上移动第一图像偏移量，然后再将移动第一图像偏移量之后的原始图像在第二方向上移动第二图像偏移量，从而得到中间图像。例如，可以根据原始图像建立坐标系，根据原始图像建立的坐标系与上述根据防抖组件建立的坐标系对应。根据原始图像建立好坐标系之后，就可以确定第一方向是原始图像所在的坐标系的x轴正方向，第二方向是原始图像所在的坐标系的y轴正方向。假设第一图像偏移量为30个像素点，第二图像偏移量为21个像素点，那么对原始图像进行补偿即为将原始图像在第一方向上移动30个像素点，在第二方向上移动21个像素点，从而得到中间图像。

在一个实施例中，根据图像偏移量可以确定原始图像的偏移程度，当原始图像偏移较大时，认为获取的原始图像的误差较大；当原始图像偏移较小时，认为原始图像的误差较小，这时可以根据原始图像来获取目标图像。具体的，根据第一图像偏移量和第二图像偏移量计算原始图像的误差值；当误差值小于误差阈值时，将原始图像在第一方向上移动第一图像偏移量，并将移动第一图像偏移量之后的原始图像在第二方向上移动第二图像偏移量，得到中间图像。

误差值用于表示原始图像的误差大小，即产生偏移的程度。根据第一图像偏移量可以表示原始图像在第一方向上的偏移量，第二图像偏移量可以表示原始图像在第二方向上的偏移量，根据第一图像偏移量和第二图像偏移量可以确定原始图像的整体偏移量。

具体的，获取误差值的方法可以有多种，例如，将第一图像偏移量和第二图像偏移量进行叠加，得到误差值；也可以将第一图像偏移量和第二图像偏移量的加权平均值作为误差指；还可以将第一图像偏移量和第二图像偏移量进行加权叠加，在此不做限定。首先，根据原始图像的分辨率确定第一图像偏移量和第二图像偏移量的权重，根据该权重将第一图像偏移量和第二图像偏移量进行加权叠加，得到误差值。

在一个实施例中，例如，原始图像的分辨率为320*680，即原始图像的宽为320个像素点，高为680个像素点。假设第一方向为原始图像的宽的延伸方向，第二方向为原始图像的高的延伸方向，则可以计算得到第一方向对应的第一权重为320/(320+680)＝0.32，第二方向对应的第二权重为680/(320+680)＝0.68。

步骤414，获取摄像头对应的标定信息，其中，标定信息中包括自标定信息和相对标定信息。

可以理解的是，摄像头拍摄的原始图像一般会产生畸变，在采集到原始图像之后，需要将原始图像进行一定地校正才能得到最终的图像。例如，由于透镜的结构原因，采集的原始图像可能会产生光学畸变，因此在采集到原始图像时需要对图像的畸变进行校正。因此，在使用摄像头拍摄图像之前，需要对摄像头进行标定从而得到摄像头的标定信息，这样就可以通过得到的标定信息对摄像头拍摄的原始图像进行校正。

在一个实施例中，在对摄像头进行标定的过程中，需要通过摄像头采集标定图像，然后根据标定图像来完成对摄像头的标定处理。具体的，可以将电子设备固定在支架上，与支架一定距离的位置固定标定板，然后控制电子设备的摄像头对着标定板进行拍摄，得到拍摄的标定图像。

步骤416，根据自标定信息对中间图像进行自校正处理，并根据相对标定信息对自校正处理后的中间图像进行对齐处理，得到目标图像。

在一个实施例中，标定信息中可以包括自标定信息和相对标定信息，自标定信息可以包括摄像头的内参、外参和畸变系数，其中，内参用于确定摄像头从三维空间到二维图像的投影关系，外参用于确定从摄像头坐标系转换到世界坐标系的位置关系，畸变系数用于校正光学形变引起的畸变。

根据标定信息对中间图像进行第二校正处理，可以包括对中间图像进行自校正处理和相对校正处理。根据自标定信息对中间图像进行自校正处理，即根据摄像头的内参、外参和畸变系数对中间图像进行自校正处理。若电子设备安装了多个摄像头，那么多个摄像头采集的图像之间就会产生视差，相对校正处理即将不同摄像头采集的图像进行对齐的处理，使得不同摄像头采集的图像中的像素点相对应。

上述实施例提供的图像处理方法，可以获取摄像头拍摄的原始图像，并在摄像头拍摄原始图像的时候获取防抖组件的重力角度，根据重力角度获取原始图像的图像偏移量。然后根据图像偏移量对原始图像进行第一校正处理，得到中间图像。最后获取摄像头的标定信息，并根据标定信息将中间图像进行第二校正处理，得到目标图像。这样就可以降低防抖组件的重力对拍摄的图像所带来的误差，并根据标定信息对图像进行进一步的补偿，从而提高图像的准确性。

图7为一个实施例中重力夹角与图像偏移量的对应关系的示意图。如图7所示，重力角度α可以通过防抖组件平移面706与重力方向702所形成的夹角确定的，具体可以是通过防抖组件平移面706中的任意直线704与重力方向702所形成的夹角确定的。当重力角度α＝90°时，防抖组件的光学中心点位于位置712，光学中心点在拍摄的图像708中对应的特征点位于位置722；当重力角度0°<α<90°时，防抖组件的光学中心点位于位置714，光学中心点在拍摄的图像708中对应的特征点位于位置724；当重力角度α＝0°时，防抖组件的光学中心点位于位置716，光学中心点在拍摄的图像708中对应的特征点位于位置726。

在一个实施例中，如图8所示，上述图像处理方法中获取图像偏移量的步骤具体可以包括：

步骤802，获取摄像头拍摄原始图像时防抖组件的抖动参数，并根据抖动参数获取防抖组件的第二组件偏移量。

在一个实施例中，摄像头拍摄图像时，防抖组件的重力会使防抖组件产生偏移，防抖组件的抖动也会导致防抖组件的偏移。因此，在对标定过程中需要考虑防抖组件的重力和抖动共同带来的偏移。

抖动参数即为表示防抖组件的抖动程度的参数，具体可以是摄像头在某个方向上移动的距离。电子设备中可以安装陀螺仪传感器、加速度传感器等。当陀螺仪传感器、加速度传感器等检测到摄像头发生抖动时，实时采集摄像头的抖动速度和抖动方向，根据获取的抖动速度和抖动方向来确定摄像头的抖动参数。电子设备会根据确定的抖动参数控制马达以驱动摄像头的镜头移动，镜头的移动方向与抖动方向相反，以消除因抖动引起的偏移。因此，在得到重力角度和抖动参数之后，可以根据重力角度补偿重力对标定图像引起的误差，根据抖动参数补偿抖动对标定图像引起的误差。

具体的，电子设备可以预先建立抖动参数与防抖组件的偏移量的第三拟合模型。然后，根据第一拟合模型获取防抖组件在重力角度下的第一组件偏移量，根据第三拟合模型获取抖动参数对应的第二组件偏移量，将第一组件偏移量和第二组件偏移量叠加得到防抖组件的总偏移量，即组件偏移量。

步骤804，根据第一组件偏移量和第二组件偏移量得到组件偏移量，并根据第二拟合模型获取组件偏移量对应的图像偏移量。

得到组件偏移量之后，电子设备可以根据组件偏移量获取对应的图像偏移量，然后根据图像偏移量对原始图像进行第一校正处理。

应该理解的是，虽然图2、4、8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4、8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例的图像处理装置的结构框图。如图9所示，该图像处理装置900包括标定图像获取模块902、图像偏移量获取模型904、第一校正模块906和第二校正模块908。其中：

图像获取模块902，用于获取摄像头拍摄的原始图像，其中，摄像头对应设置防抖组件；

图像偏移量获取模型904，用于获取摄像头拍摄原始图像时防抖组件的重力角度，根据重力角度获取原始图像对应的图像偏移量，其中，重力角度用于表示防抖组件的平移面与重力方向所形成的夹角的角度；

第一校正模块906，用于根据图像偏移量对原始图像进行第一校正处理，得到中间图像；

第二校正模块908，用于获取摄像头对应的标定信息，并根据标定信息对中间图像进行第二校正处理，得到目标图像。

上述实施例提供的图像处理装置，可以获取摄像头拍摄的原始图像，并在摄像头拍摄原始图像的时候获取防抖组件的重力角度，根据重力角度获取原始图像的图像偏移量。然后根据图像偏移量对原始图像进行第一校正处理，得到中间图像。最后获取摄像头的标定信息，并根据标定信息将中间图像进行第二校正处理，得到目标图像。这样就可以降低防抖组件的重力对拍摄的图像所带来的误差，并根据标定信息对图像进行进一步的补偿，从而提高图像的准确性。

在一个实施例中，图像偏移量获取模型904还用于根据第一拟合模型获取防抖组件在重力角度下对应的第一组件偏移量，并根据第二拟合模型获取第一组件偏移量对应的图像偏移量。

在一个实施例中，图像偏移量获取模型904还用于获取摄像头拍摄原始图像时防抖组件的抖动参数，并根据抖动参数获取防抖组件的第二组件偏移量；根据第一组件偏移量和第二组件偏移量得到组件偏移量，并根据第二拟合模型获取组件偏移量对应的图像偏移量。

在一个实施例中，图像偏移量包括第一方向上的第一图像偏移量和第二方向上的第二图像偏移量，第一校正模块906还用于将原始图像在第一方向上移动第一图像偏移量，并将移动第一图像偏移量之后的原始图像在第二方向上移动第二图像偏移量，得到中间图像。

在一个实施例中，第一校正模块906还用于根据第一图像偏移量和第二图像偏移量计算原始图像的误差值；当误差值小于误差阈值时，将原始图像在第一方向上移动第一图像偏移量，并将移动第一图像偏移量之后的原始图像在第二方向上移动第二图像偏移量，得到中间图像。

在一个实施例中，第二校正模块908还用于根据自标定信息对中间图像进行自校正处理，并根据相对标定信息对自校正处理后的中间图像进行对齐处理，得到目标图像。

在一个实施例中，上述图像处理装置900还包括模型建立模块，用于控制防抖组件的平移面与重力方向的夹角到达至少两个参考角度，并记录每个参考角度下防抖组件的参考偏移量；根据参考角度和参考偏移量获取拟合参数，并根据拟合参数建立第一拟合模型。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的摄像头。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

此外，图像传感器1014也可将原始图像数据发送给传感器1020，传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040，或者传感器1020将原始图像数据存储到图像存储器1030中。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收图像数据。例如，传感器1020接口将原始图像数据发送给图像存储器1030，图像存储器1030中的原始图像数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1040处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数及ISP处理器1040的控制参数。例如，成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间、防抖参数等)、摄像头闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取摄像头拍摄的原始图像，其中，所述摄像头对应设置防抖组件；

获取所述摄像头拍摄所述原始图像时所述防抖组件的重力角度，根据所述重力角度获取所述原始图像对应的图像偏移量，其中，所述重力角度用于表示所述防抖组件的平移面与重力方向所形成的夹角的角度；

根据所述图像偏移量对所述原始图像进行第一校正处理，以对所述防抖组件的重力变化给所述原始图像带来的偏差进行补偿，得到中间图像；

获取所述摄像头对应的标定信息，并根据所述标定信息对所述中间图像进行第二校正处理，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述重力角度获取所述原始图像对应的图像偏移量，包括：

根据第一拟合模型获取所述防抖组件在所述重力角度下对应的第一组件偏移量，并根据第二拟合模型获取所述第一组件偏移量对应的图像偏移量。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

控制所述防抖组件的平移面与重力方向的夹角到达至少两个参考角度，并记录每个所述参考角度下所述防抖组件的参考偏移量；

根据所述参考角度和参考偏移量获取拟合参数，并根据所述拟合参数建立第一拟合模型。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取所述摄像头拍摄所述原始图像时所述防抖组件的抖动参数，并根据所述抖动参数获取所述防抖组件的第二组件偏移量；

所述根据第二拟合模型获取所述第一组件偏移量对应的图像偏移量，包括：

根据所述第一组件偏移量和第二组件偏移量得到组件偏移量，并根据第二拟合模型获取所述组件偏移量对应的图像偏移量。

5.根据权利要求1所述的方法，其特征在于，所述图像偏移量包括第一方向上的第一图像偏移量和第二方向上的第二图像偏移量；

所述根据所述图像偏移量对所述原始图像进行第一校正处理，得到中间图像，包括：

将所述原始图像在所述第一方向上移动所述第一图像偏移量，并将移动所述第一图像偏移量之后的原始图像在所述第二方向上移动所述第二图像偏移量，得到中间图像。

6.根据权利要求5 所述的方法，其特征在于，所述将所述原始图像在所述第一方向上移动所述第一图像偏移量，并将移动所述第一图像偏移量之后的原始图像在所述第二方向上移动所述第二图像偏移量，得到中间图像，包括：

根据所述第一图像偏移量和第二图像偏移量计算所述原始图像的误差值；

当所述误差值小于误差阈值时，将所述原始图像在所述第一方向上移动所述第一图像偏移量，并将移动所述第一图像偏移量之后的原始图像在所述第二方向上移动所述第二图像偏移量，得到中间图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述标定信息中包括自标定信息和相对标定信息；

所述根据所述标定信息对所述中间图像进行第二校正处理，得到目标图像，包括：

根据所述自标定信息对所述中间图像进行自校正处理，并根据所述相对标定信息对所述自校正处理后的中间图像进行对齐处理，得到目标图像。

8.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取摄像头拍摄的原始图像，其中，所述摄像头对应设置防抖组件；

图像偏移量获取模型，用于获取所述摄像头拍摄所述原始图像时所述防抖组件的重力角度，根据所述重力角度获取所述原始图像对应的图像偏移量，其中，所述重力角度用于表示所述防抖组件的平移面与重力方向所形成的夹角的角度；

第一校正模块，用于根据所述图像偏移量对所述原始图像进行第一校正处理，以对所述防抖组件的重力变化给所述原始图像带来的偏差进行补偿，得到中间图像；

第二校正模块，用于获取所述摄像头对应的标定信息，并根据所述标定信息对所述中间图像进行第二校正处理，得到目标图像。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images