CN108040242A - 一种双摄像头装置的倾斜角度的校正方法及装置 - Google Patents

Abstract

本发明提供了一种双摄像头装置的倾斜角度的校正方法及装置，包括：获取待校正图像，并在待校正图像中确定目标区域；获取双摄像头装置拍摄目标区域时的倾斜角度；根据目标区域的宽高比确定图像的旋转方向，并根据目标区域拍摄时的倾斜角度计算出目标区域的旋转角度，按照目标区域的旋转角度，对双摄像头中左摄像头对应的待校正图像按照所述旋转角度进行旋转，并对双摄像头的右摄像头对应的待校正图像按照所述旋转角度进行旋转。由此可知，对按照一定倾斜角度进行拍摄的照片进行了修正，将图像或者视频调整到了适应于观看者观看的位置。这样，消除了由于照片拍摄时的倾斜角度的问题，而造成观看者视觉的不适感，提高了用户的体验度。

Description

一种双摄像头装置的倾斜角度的校正方法及装置

技术领域

本发明涉及光学领域，尤其涉及一种双摄像头装置的倾斜角度的校正方法及装置。

背景技术

双摄像头装置，是指安装有双摄像头的摄像装置，例如：双目摄像机或者安装有双摄像头的手机、IPAD等。双摄像头装置，一般是由两个横向平行的摄像机组成，可以从不同位置对同一场景进行成像，并且两个摄像机的为时与人眼的构造方式一样，通过这种仿照人类利用双目视觉感知距离的方法，可以实现对三维信息的感知，当人带上VR(英文全称：VirtualReality，中文全称：虚拟现实)眼镜或其它3D显示设备，就可以看到相机记录的照片或者视频的三维效果。

但是，通过双摄像头装置拍摄物体时，若是双摄像头装置采用一定的倾斜角度进行拍摄。当观看者通过VR眼镜或其它3D显示设备对拍摄得到的照片或者视频进行观看时，若是头部倾斜的角度与双摄像头装置拍摄照片时的角度不同，就会给观看者带来不适。例如：若双摄像头装置在对一栋高楼进行拍摄时，将双摄像头装置倾斜一定的角度，这样当观看者采用VR眼镜或其它s3D显示设备对拍摄得到的照片进行观看时，若是观看者头部没有倾斜到双摄像装置拍摄时的倾斜角度，观看者看到的照片可能是倾斜的，这样，就降低了用户的体验度。

发明内容

有鉴于此，本发明实施例提供了一种对双摄像头装置的倾斜角度的校正方法及装置，解决了由于双摄像头拍摄照片或者视频时，倾斜角度的问题，导致观看者观看效果差的问题。

一种双摄像头装置的倾斜角度的校正方法，包括：

获取待校正图像，并在所述待校正图像中确定目标区域；

获取所述双摄像头装置拍摄所述目标区域时的倾斜角度；

依据所述双摄像头装置拍摄所述目标区域时的倾斜角度和所述目标区域的宽高比，计算所述目标区域的旋转角度；

按照所述目标区域的旋转角度，对所述双摄像头中左摄像头对应的待校正图像按照所述旋转角度进行旋转，并对所述双摄像头的右摄像头对应的待校正图像按照所述旋转角度进行旋转。

可选的，所述依据所述双摄像头装置拍摄所述目标区域时的倾斜角度和所述目标区域的宽高比，计算所述目标区域的旋转角度，包括：

判断所述目标区域的高宽比是否小于1；

若所述目标区域的宽高比小于1，所述旋转角度等于所述倾斜角度的余角；

若所述目标区域的宽高比大于1，所述旋转角度等于所述倾斜角度。

可选的，所述获取所述双摄像头装置拍摄所述目标区域时的倾斜角度，包括：

对所述目标区域进行二值化处理，得到二值化后的目标区域；

采用预设的边界检测算法从所述二值化后的目标区域中提取直线组；所述直线组包括多个直线线段；

通过霍夫变换的方法，将所述直线组映射到预设的距离-角度坐标系中；

在所述预设的距离-角度坐标系中，获取映射频次最多的目标点；

将所述目标点的第一角度值作为所述双摄像头装置拍摄所述目标区域时的倾斜角度。

可选的，所述获取所述双摄像头装置拍摄所述目标区域时的倾斜角度，包括：

计算所述目标区域图像中每个像素点的梯度大小和梯度方向；

依据所述每个像素点的梯度大小和梯度方向，计算梯度方向的直方图；

依据每个像素点的梯度大小和梯度方向，计算梯度方向的直方图；

确定所述直方图中最大的梯度方向；

将所述最大的梯度方向对应的第二角度值作为所述双摄像头装置拍摄所述目标区域时的倾斜角度。

可选的，还包括：

对旋转后的所述待校正图像的无定义区域进行补偿。

可选的，所述对旋转后的所述待校正图像的无定义区域进行补偿包括：

确定所述旋转后的所述待校正图像的无定义区域的位置；

按照所述无定义区域的位置，切除所述旋转后的所述待校正图像中的无定义区域，得到第一目标图像；

将所述第一目标图像调整为预设的尺寸。

可选的，还包括：

在预设的视频中确定待校正图像。

可选的，所述对旋转后的所述待校正图像的无定义区域进行补偿，包括：

获取所述预设的视频中与所述待校正图像相邻的多个视频帧图像；

依据与所述待校正图像相邻的多个视频帧图像对旋转后的所述待校正图像进行补偿。

一种双摄像头装置的倾斜角度的校正装置，包括：

第一获取单元，用于获取待校正图像，并在所述待校正图像中确定目标区域；

第二获取单元，用于获取所述双摄像头装置拍摄所述目标区域时的倾斜角度；

计算单元，用于依据所述双摄像头装置拍摄所述目标区域时的倾斜角度和所述目标区域的宽高比，计算所述目标区域的旋转角度；

旋转单元，用于按照所述目标区域的旋转角度，对所述双摄像头中左摄像头对应的待校正图像按照所述旋转角度进行旋转，并对所述双摄像头的右摄像头对应的待校正图像按照所述旋转角度进行旋转。

可选的，所述计算单元，包括：

判断所述目标区域的高宽比是否小于1；

若所述目标区域的宽高比小于1，所述旋转角度等于所述倾斜角度的余角；

若所述目标区域的宽高比大于1，所述旋转角度等于所述倾斜角度。

本发明实施例提供的一种双摄像头装置的倾斜角度的校正方法及装置，该方法包括：获取待校正图像，并在所述待校正图像中确定目标区域；并获取所述双摄像头装置拍摄所述目标区域时的倾斜角度；根据目标区域的宽高比确定图像的旋转方向，并根据目标区域拍摄时的倾斜角度计算出目标区域的旋转角度，按照所述目标区域的旋转角度，对所述双摄像头中左摄像头对应的待校正图像按照所述旋转角度进行旋转，并对所述双摄像头的右摄像头对应的待校正图像按照所述旋转角度进行旋转。这样，对按照一定倾斜角度进行拍摄的照片进行了修正，将图像或者视频调整到了适应于观看者观看的位置，这样消除了由于照片拍摄时的倾斜角度的问题，而造成观看者视觉的不适感，提高了用户的体验度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例提供的一种双摄像头装置的倾斜角度的校正方法的流程示意图；

图2示出了倾斜角度和旋转角度的示意图；

图3示出了本发明实施例提供的一种双摄像头装置的倾斜角度的校正装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，示出了本发明实施例提供的一种双摄像头装置的倾斜角度的校正方法的流程示意图，在本实施例中，该方法包括：

S101：获取待校正图像，并在所述待校正图像中确定目标区域；

本实施例中，一方面，待校正图像可以是双摄像头装置拍摄得到的，另一方面，待校正图像可以是从视频中获取到的，也可以是直接拍摄得到的。

举例说明：用户可以通过双摄像头装置例如双目相机拍摄照片得到待校正图像，或者也可以是用户通过双目相机拍摄的视频，在拍摄得到的视频帧中获取相应视频帧图像作为待校正图像。

本实施例中，待校正的图像中，包括一些和预设位置垂直或者水平的物体，例如树木、柜子、楼房等，一般情况下，这些物体是和地面垂直的，这样，为待校正图像的旋转提供了参考方向，具体如何根据参考方向对待校正图像进行调整，下文中会详细说明，在这里就不再主赘述。

S102：获取所述双摄像头装置拍摄所述目标区域时的倾斜角度；

本实施例中，双摄像头装置拍摄待校正图像时的倾斜角度，可以通过以下两种方式获得，包括：

方式一：用户在知道待校正图像拍摄时的双摄像头装置的倾斜角度时，可以将待校正图像拍摄时的倾斜角度输入到相关的处理器中。

方式二：自动计算待校正图像在拍摄时双摄像头装置的倾斜角度。

针对于方式二，可以通过多种方式进行计算，具体的，在本实施例中，可以包括以下的两种实施例方式：

实施方式一：对所述目标区域进行二值化处理，得到二值化后的目标区域；

采用预设的边界检测算法从所述二值化后的目标区域中提取直线组；

通过霍夫变换的方法，将所述直线组映射到预设的距离-角度坐标系中；

在所述预设的距离-角度坐标系中，获取映射频次最多的目标点；

将所述目标点的第一角度值作为所述双摄像头装置拍摄所述目标区域时的倾斜角度。

其中，预设的边界检测算法可以是Canny算子，Roberts算子、Sobel、Prewitt算子等。

本实施例中，在对目标区域进行边界检测之前，需要先将目标区域二值化，得到二值化后的目标区域，然后采用预设的边界检测算法对目标区域进行边界检测，通过该种方法可以检测出多条直线，并对检测出的多条直线进行霍夫变换，也就是将x-y坐标系中的多条直线，映射到ρ-θ坐标系，即距离-角度坐标系，在ρ-θ坐标空间中的最强峰，也就是x-y坐标系中的直线映射到ρ-θ坐标系中频次最高的目标点，该目标点对应的第一角度值θ即为目标区域拍摄时双摄像头装置的倾斜角度。

实时方式二：

统计所述目标区域图像中每个像素点的水平梯度和垂直梯度；

依据每个像素点的水平梯度和垂直梯度，计算梯度方向的直方图；

确定所述直方图中的梯度方向；

将所述最大的梯度方向对应的第二角度值作为所述双摄像头装置拍摄所述目标区域时的倾斜角度。

本实施例中，首先计算目标区域中每个像素点的水平梯度G_x(x,y)和垂直梯度的G_y(x,y)，然后采用如下的公式1)和公式2)计算梯度的大小和梯度的方向。

公式1):梯度大小

公式2):梯度方向α(x,y)＝Gx(x,y)/Gy(x,y)；

再后，将每个像素点的梯度大小作为梯度方向的权重，统计梯度方向的直方图，假设梯度方向的角度为45度，若是该梯度方向的梯度大小为2，则在该45度的梯度方向上统计的像素点的个数为2，不是1。

S103：依据所述双摄像头装置拍摄所述目标区域时的倾斜角度和所述目标区域的宽高比，计算所述目标区域的旋转角度

本实施例中，目标区域的旋转角度和拍摄待校正图像时的倾斜角度以及目标区域的宽高比相关，具体的，S103包括：

判断所述目标区域的高宽比是否小于1；

若所述目标区域的宽高比小于1，所述旋转角度等于所述倾斜角度的余角；

若所述目标区域的宽高比大于1，所述旋转角度等于所述倾斜角度。

本实施例中，如图2所示，若是目标区域的高宽比小于1，可以理解为该目标区域实际应该是垂直地面方向的，假设得到的目标区域拍摄时的角度为θ，则待校正图像需要转换的角度为90-θ；若是目标区域的高宽比大于1，可以理解为该目标区域实际应该和地面水平，假设得到的目标区域拍摄时的角度为θ，则校正图像需要旋转的角度为θ。

S104：按照所述目标区域的旋转角度，对所述双摄像头中左摄像头对应的待校正图像按照所述旋转角度进行旋转，并对所述双摄像头的右摄像头对应的待校正图像按照所述旋转角度进行旋转。

本实施例中，采用双摄像头装置拍摄得到的照片包括左、右图像，其中双摄像头中的左摄像头对应的图像为左图像，双摄像头中右摄像头对应的待校正图像为右图像。

本实施例中，由于双摄像头装置中的两个摄像机的位置是相对固定的，所以旋转角度也是一样的，因此左图像和右图像均可以按照该旋转角度进行旋转。

本实施例中，以左图像为例对待校正图像的旋转进行说明，假设校正前左图像中的像素点为(x,y)，校正后每个像素点的位置为(xNew,yNew)，具体的可以通过如下的公式3)计算：

其中，在旋转前可以预先确定旋转后图像的大小，遍历旋转后的图像中每个像素点，然后计算旋转前的图像中与旋转后的图像中对应的像素点的位置。

但是通过以上的方法计算出的旋转前图像的像素点位置(x,y)可能不是整数，因此还可以通过插值的方法，对(x,y)进行修正。

其中，插值的方法可以包括：邻近插值的方法、双线性插值的方法或者cubic插值的方法等。

本实施例中，对图像进行旋转后，可能会得到无定义区域，即旋转后得到的空白区域，这些空白区域不属于旋转前图像中的内容。这些无定义区域会影响用户观看时的视觉体验，因此可以对旋转后的图像进行补偿，消除无定义区域。

其中，待校正图像可以是直接通过拍摄得到的图像或者还可以是从视频中截取的视频帧，针对于图像和视频可以采用不同的方式对旋转后的图像进行补偿，具体的，包括：

针对于图像：

确定所述旋转后的所述待校正图像的无定义区域的位置；

按照所述无定义区域的位置，切除所述旋转后的所述待校正图像中的无定义区域，得到第一目标图像；

将所述第一目标图像调整为预设的尺寸。

本实施例中，可以将旋转后的图像中的无定义区域切除，只保留具有旋转前图像内容的图像的矩形区域，并将该矩形区域调整为图像旋转前的尺寸。

针对于视频：

获取所述预设的视频帧中与所述待校正图像相邻的多个视频帧图像；

依据与所述待校正图像相邻的多个视频帧图像对旋转后的所述待校正图像进行补偿。

本实施例中，在一个视频中，执行旋转的图像的前后几帧可能是相同或者相似的图像，可以根据这些图像对旋转后的待校正图像进行补偿，消除无定义区域。

进一步的，当无定义区域存在运动前景前物体时，可以采用运动复原补偿的方法，通过计算光流场做局部运动拓展，实现运动复原。

本实施例中，通过在待校正图像中获取目标区域，获取目标区域拍摄时的倾斜角度，并根据该倾斜角度和目标区域的宽高比，计算目标区域的旋转角度，并按照该旋转角度，对双摄像头装置对应的左、右图像进行调整。这样，对按照一定倾斜角度进行拍摄的照片进行了修正，将图像或者视频调整到了适应于观看者观看的位置，这样消除了由于照片拍摄时的倾斜角度的问题，而造成观看者视觉的不适感，提高了用户的体验度。

参考图3，示出了本发明实施例提供的一种双摄像头装置的倾斜角度的校正装置的结构示意图，在本实施例中，该装置包括：

第一获取单元201，用于获取待校正图像，并在所述待校正图像中确定目标区域；

第二获取单元202，所述双摄像头装置拍摄所述目标区域的倾斜角度获取所述双摄像头装置拍摄所述目标区域时的倾斜角度；

计算单元203，用于所述双摄像头装置拍摄所述目标区域的倾斜角度依据所述双摄像头装置拍摄所述目标区域时的倾斜角度和所述目标区域的宽高比，计算所述目标区域的旋转角度；

旋转单元204，用于按照所述目标区域的旋转角度，对所述双摄像头中左摄像头对应的待校正图像按照所述旋转角度进行旋转，并对所述双摄像头的右摄像头对应的待校正图像按照所述旋转角度进行旋转。

可选的，所述计算单元，包括：

判断子单元，用于判断所述目标区域的高宽比是否小于1；

第一旋转角度确定子单元，用于若所述目标区域的宽高比小于1，所述旋转角度等于所述倾斜角度的余角；

第二旋转角度确定子单元，用于若所述目标区域的宽高比大于1，所述旋转角度等于所述倾斜角度。

可选的，所述第二获取单元，包括：

二值化子单元，用于对所述目标区域进行二值化处理，得到二值化后的目标区域；

提取子单元，用于采用预设的边界检测算法从所述二值化后的目标区域中提取直线组；所述直线组包括多个直线线段；

映射子单元，用于通过霍夫变换的方法，将所述直线组映射到预设的距离-角度坐标系中；

获取子单元，用于在所述预设的距离-角度坐标系中，获取映射频次最多的目标点；

第一倾斜角度确定子单元，用于将所述目标点的第一角度值作为所述双摄像头装置拍摄所述目标区域的倾斜角度。

可选的，所述第二获取单元，包括：

第一计算子单元，用于计算所述目标区域图像中每个像素点的梯度大小和梯度方向；

第二计算子单元，用于依据所述每个像素点的梯度大小和梯度方向，计算梯度方向的直方图；

第三计算子单元，用于依据每个像素点的梯度大小和梯度方向，计算梯度方向的直方图；

第一确定子单元，用于确定所述直方图中最大的梯度方向；

第二倾斜角度确定子单元，用于将所述最大的梯度方向对应的第二角度值作为所述双摄像头装置拍摄所述目标区域的倾斜角度。

可选的，还包括：

补偿单元，用于对旋转后的所述待校正图像的无定义区域进行补偿。

可选的，所述补偿单元，包括：

第二确定子单元，用于确定所述旋转后的所述待校正图像的无定义区域的位置；

切除子单元，用于按照所述无定义区域的位置，切除所述旋转后的所述待校正图像中的无定义区域，得到第一目标图像；

调整子单元，用于将所述第一目标图像调整为预设的尺寸。

可选的，还包括：

第三获取单元，用于在预设的视频中确定获取正图像。

可选的，所述补偿单元，包括：

获取子单元，用于获取所述预设的视频中与所述待校正图像相邻的多个视频帧图像；

补偿子单元，用于依据与所述待校正图像相邻的多个视频帧图像对旋转后的所述待校正图像进行补偿。

通过本实施例的装置，这样，对按照一定倾斜角度进行拍摄的照片进行了修正，将图像或者视频调整到了适应于观看者观看的位置，这样消除了由于照片拍摄时的倾斜角度的问题，而造成观看者视觉的不适感，提高了用户的体验度。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种双摄像头装置的倾斜角度的校正方法，其特征在于，包括：

获取待校正图像，并在所述待校正图像中确定目标区域；

获取所述双摄像头装置拍摄所述目标区域时的倾斜角度；

依据所述双摄像头装置拍摄所述目标区域时的倾斜角度和所述目标区域的宽高比，计算所述目标区域的旋转角度；

按照所述目标区域的旋转角度，对所述双摄像头中左摄像头对应的待校正图像按照所述旋转角度进行旋转，并对所述双摄像头的右摄像头对应的待校正图像按照所述旋转角度进行旋转。

2.根据权利要求1所述的方法，其特征在于，所述依据所述双摄像头装置拍摄所述目标区域时的倾斜角度和所述目标区域的宽高比，计算所述目标区域的旋转角度，包括：

判断所述目标区域的高宽比是否小于1；

若所述目标区域的宽高比小于1，所述旋转角度等于所述倾斜角度的余角；

若所述目标区域的宽高比大于1，所述旋转角度等于所述倾斜角度。

3.根据权利要求2所述的方法，其特征在于，所述获取所述双摄像头装置拍摄所述目标区域时的倾斜角度，包括：

对所述目标区域进行二值化处理，得到二值化后的目标区域；

采用预设的边界检测算法从所述二值化后的目标区域中提取直线组；所述直线组包括多个直线线段；

通过霍夫变换的方法，将所述直线组映射到预设的距离-角度坐标系中；

在所述预设的距离-角度坐标系中，获取映射频次最多的目标点；

将所述目标点的第一角度值作为所述双摄像头装置拍摄所述目标区域时的倾斜角度。

4.根据权利要求2所述的方法，其特征在于，所述获取所述双摄像头装置拍摄所述目标区域时的倾斜角度，包括：

计算所述目标区域图像中每个像素点的梯度大小和梯度方向；

依据所述每个像素点的梯度大小和梯度方向，计算梯度方向的直方图；

依据每个像素点的梯度大小和梯度方向，计算梯度方向的直方图；

确定所述直方图中最大的梯度方向；

将所述最大的梯度方向对应的第二角度值作为所述双摄像头装置拍摄所述目标区域时的倾斜角度。

5.根据权利要求1所述的方法，其特征在于，还包括：

对旋转后的所述待校正图像的无定义区域进行补偿。

6.根据权利要求5所述的方法，其特征在于，所述对旋转后的所述待校正图像的无定义区域进行补偿包括：

确定所述旋转后的所述待校正图像的无定义区域的位置；

按照所述无定义区域的位置，切除所述旋转后的所述待校正图像中的无定义区域，得到第一目标图像；

将所述第一目标图像调整为预设的尺寸。

7.根据权利要求5所述的方法，其特征在于，还包括：

在预设的视频中确定待校正图像。

8.根据权利要求5所述的方法，其特征在于，所述对旋转后的所述待校正图像的无定义区域进行补偿，包括：

获取所述预设的视频中与所述待校正图像相邻的多个视频帧图像；

依据与所述待校正图像相邻的多个视频帧图像对旋转后的所述待校正图像进行补偿。

9.一种双摄像头装置的倾斜角度的校正装置，其特征在于，包括：

第一获取单元，用于获取待校正图像，并在所述待校正图像中确定目标区域；

第二获取单元，用于获取所述双摄像头装置拍摄所述目标区域时的倾斜角度；

计算单元，用于依据所述双摄像头装置拍摄所述目标区域时的倾斜角度和所述目标区域的宽高比，计算所述目标区域的旋转角度；

旋转单元，用于按照所述目标区域的旋转角度，对所述双摄像头中左摄像头对应的待校正图像按照所述旋转角度进行旋转，并对所述双摄像头的右摄像头对应的待校正图像按照所述旋转角度进行旋转。

10.根据权利要求9所述的装置，其特征在于，所述计算单元，包括：

判断所述目标区域的高宽比是否小于1；

若所述目标区域的宽高比小于1，所述旋转角度等于所述倾斜角度的余角；

若所述目标区域的宽高比大于1，所述旋转角度等于所述倾斜角度。