CN110852958B - 基于物体倾斜角度的自适应校正方法和装置 - Google Patents

Abstract

本公开涉及基于物体倾斜角度的自适应校正方法和装置，其中，该方法包括：获取步骤，获取待校正透视拉伸图像，其中，待校正透视拉伸图像包括发生透视拉伸的物体图像；检测步骤，检测发生透视拉伸的物体图像的倾斜角度；处理步骤，基于倾斜角度，对待校正透视拉伸图像进行透视变换，得到校正图像。通过该方法，可以消除发生透视拉伸的物体图像的透视感。

Description

基于物体倾斜角度的自适应校正方法和装置

技术领域

本公开涉及图像校正技术领域，具体是涉及一种基于物体倾斜角度的自适应校正方法和装置。

背景技术

超广角相机镜头通常是指有效FOV超过95°的相机镜头。相比于普通相机镜头而言，超广角相机镜头景深长，可以表现出相当大的清晰范围，因此，在拍摄建筑物、风景照或大合照时，有着独特的优势。

由于超广角相机镜头的特殊性，拍摄获取的图像会存在严重的畸变，最直观的表现是现实场景中的直线成像弯曲。并且，当使用超广角镜头拍摄完整建筑物时，通常从下往上仰拍，拍摄成像的建筑物看起来近大远小，呈现非常明显的透视拉伸效果，不符合人类观感。

发明内容

为了克服现有技术中存在的问题，本公开提供一种基于物体倾斜角度的自适应校正方法和装置。

第一方面，本公开实施例提供一种基于物体倾斜角度的自适应校正方法，其包括：获取步骤，获取待校正透视拉伸图像，其中，待校正透视拉伸图像包括发生透视拉伸的物体图像；检测步骤，检测发生透视拉伸的物体图像的倾斜角度；处理步骤，基于倾斜角度，对待校正透视拉伸图像进行透视变换，得到校正图像。

在一例中，检测步骤包括：基于直线检测，对待校正透视拉伸图像沿固定方向进行滤波处理，得到待校正透视拉伸图像的灰度图，其中，固定方向与物体图像发生整体的透视拉伸方向垂直；对灰度图进行二值化处理，得到灰度图的二值图；基于二值图和霍夫曼直线变换函数，拟合物体图像的物体图像直线，基于物体图像直线，确定物体图像的倾斜角度。

在一例中，基于二值图和霍夫曼直线变换函数，拟合物体图像的物体图像直线，基于物体图像直线，确定物体图像的倾斜角度包括：基于二值图和霍夫曼直线变化函数，拟合得到一条或多条物体图像的物体图像直线，基于一条或多条物体图像直线，得到一条或多条物体图像直线的斜率；基于一条或多条物体图像直线的斜率的绝对值，确定物体图像的倾斜角度。

在一例中，基于多条物体图像直线的斜率的绝对值，确定物体图像的倾斜角度，包括：基于斜率的绝对值中的最大斜率的绝对值，确定物体图像的倾斜角度。

在一例中，多条物体图像直线的斜率包括待校正透视拉伸图像左侧的多条物体图像直线的第一斜率和待校正透视拉伸图像右侧的多条物体图像直线的第二斜率，其中第一斜率与第二斜率正负号相反；基于多条物体图像直线的斜率的绝对值，确定物体图像的倾斜角度，包括：基于多个第一斜率的绝对值，得到左侧最大斜率的绝对值；基于多个第二斜率的绝对值，得到待校正透视拉伸图像右侧的多条物体图像直线的右侧最大斜率的绝对值；基于左侧最大斜率的绝对值和右侧最大斜率的绝对值中数值更小的斜率的绝对值，确定物体图像的倾斜角度。

在一例中，获取步骤包括：基于相机拍摄，得到待校正透视拉伸图像，其中，相机包括陀螺仪；检测步骤包括：基于陀螺仪输出的俯仰角，确定物体图像的倾斜角度。

在一例中，获取步骤包括：通过相机获取拍摄图像，其中，相机为超广角镜头相机；获取相机的内参数和畸变系数，基于内参数和畸变系数，对拍摄图像进行畸变校正，得到待校正透视拉伸图像。

在一例中，处理步骤包括：基于待校正透视拉伸图像的四个顶点的图像坐标和倾斜角度，得到四个顶点的校正透视拉伸图像坐标；基于四个顶点的图像坐标和校正透视拉伸图像坐标，得到待校正透视拉伸图像的透视变换矩阵；基于透视变换矩阵，对待校正透视拉伸图像进行透视变换，得到校正图像。

在一例中，基于待校正透视拉伸图像的四个顶点的图像坐标和倾斜角度，得到四个顶点的校正透视拉伸图像坐标，包括：选取待校正透视拉伸图像的四个顶点中左下角顶点和右下角顶点，基于左下角顶点的图像坐标、右下角顶点的图像坐标和倾斜角度，分别得到左下角顶点的校正透视拉伸图像坐标和右下角顶点的校正透视拉伸图像坐标；选取待校正透视拉伸图像的四个顶点中左上角顶点和右上角顶点，将左上角顶点的图像坐标和右上角顶点的图像坐标，分别作为左上角顶点的校正透视拉伸图像坐标和右上角顶点的校正透视拉伸图像坐标。

第二方面，本公开实施例提供一种基于物体倾斜角度的自适应校正装置，该装置具有实现上述第一方面涉及的基于物体倾斜角度的自适应校正方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一例中，一种基于物体倾斜角度的自适应校正装置包括：获取模块：用于获取待校正透视拉伸图像，其中，待校正透视拉伸图像包括发生透视拉伸的物体图像；检测模块：用于检测发生透视拉伸的物体图像的倾斜角度；处理模块：用于基于倾斜角度，对待校正透视拉伸图像进行透视变换，得到校正图像。

第三方面，本公开实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的基于物体倾斜角度的自适应校正方法。

第四方面，本公开实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行第一方面的基于物体倾斜角度的自适应校正方法。

本公开提供一种基于物体倾斜角度的自适应校正方法和装置，其中，基于物体倾斜角度的自适应校正方法通过测算出待校正透视拉伸图像中的发生透视拉伸的物体图像的倾斜角度，基于该倾斜角度，对待校正透视拉伸图像进行透视变换，以得到校正图像，进而消除发生透视拉伸的物体图像的透视感。

附图说明

通过参考附图阅读下文的详细描述，本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的实施方式，其中：

图1示出了本公开实施例提供的一种基于物体倾斜角度的自适应校正方法的流程图；

图2示出了一张待校正透视拉伸图像的示意图；

图3示出了本公开实施例提供的一种基于物体倾斜角度的自适应校正方法中检测步骤的流程图；

图4示出了图2所示的待校正透视拉伸图像经过二值化处理后得到的二值图；

图5示出了霍夫曼直线函数基于图4的二值图拟合待校正透视拉伸图像中的物体图像直线的示意图；

图6示出了本公开实施例提供的一种基于物体倾斜角度的自适应校正方法中处理步骤的流程图；

图7示出了如图2所示的待校正透视拉伸图像经过本公开的校正方法校正后的校正图像的示意图；

图8示出了本公开实施例提供的一种基于物体倾斜角度的自适应校正装置的流程图；

图9示出了本公开实施例提供的一种电子设备示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

图1为本公开实施例提供的一种基于物体倾斜角度的自适应校正方法的流程图。如图1所示，基于物体倾斜角度的自适应校正方法100包括获取步骤S101，检测步骤S102和处理步骤S103。

作为一种可能的实施例，在获取步骤S101中，获取待校正透视拉伸图像，其中，待校正透视拉伸图像包括发生透视拉伸的物体图像。例如，如图2所示，当从下往上仰拍一张完整建筑物图像时，建筑物看起来近大远小，出现了非常明显的透视拉伸，此时，拍摄的整张图像就是待校正透视拉伸图像，而建筑物图像即为发生透视拉伸的物体图像。

在检测步骤S102中，检测发生透视拉伸的物体图像的倾斜角度。同样以图2所示的建筑物为例，通过检测步骤S102，检测发生透视拉伸的建筑物的倾斜角度，也就是建筑物所在直线的方向与竖直方向之间的角度。

在处理步骤S103中，基于检测步骤S102中得到的倾斜角度，对待校正透视拉伸图像的全局进行透视变换，以得到校正图像。其中，通过透视变换得到的校正图像消除了原始待校正透视拉伸图像中的物体图像的透视感，使得校正图像中的物体图像显示出更加真实的效果，如现实中的竖直建筑在校正图像中也竖直显示，而没有近大远小的透视效果。

本公开提供的基于物体倾斜角度的自适应校正方法100通过测算出待校正透视拉伸图像中的发生透视拉伸的物体图像的倾斜角度，基于该倾斜角度，对待校正透视拉伸图像进行透视变换，以得到校正图像，进而消除发生透视拉伸的物体图像的透视感，使得图片更加符合真实物体的状态，提高了图像观看效果和用户体验。

作为一种可能的实施例，如图3所示，检测步骤S102包括：步骤S102a，基于直线检测，对待校正透视拉伸图像沿固定方向进行滤波处理，得到待校正透视拉伸图像的灰度图，其中，固定方向与物体图像整体的透视拉伸方向垂直，在一个待校正透视拉伸图像中，不同物体以及同一物体的不同部分可能发生不同方向的拉伸，因此需要综合物体图像整体的透视拉伸方向，以图4的图像为例，图4左侧的建筑物向右上、左下方向拉伸，右侧建筑物向左上、右下方向拉伸，综合物体图像整体一致的方向为上下拉伸，即纵向；步骤S102b，对灰度图进行二值化处理，得到灰度图的二值图；步骤S102c，基于二值图和霍夫曼直线变换函数，拟合物体图像的物体图像直线，基于物体图像直线，确定物体图像的倾斜角度。

同样以图2所示的建筑物为例，在步骤S102a中，由于建筑物从下往上仰拍得到的，建筑物图像整体的透视拉伸方向为纵向方向，因此，基于直线检测，对该待校正透视拉伸图像进行横向差分滤波处理，以得到该待校正透视拉伸图像的灰度图。在实际应用中，可以通过卷积核对待校正透视拉伸图像进行处理，而得到相应的横向滤波处理后的灰度图。可以通过以下方式实现：

cv::Mat derivFilter＝(cv::Mat1d(1,3)<<-1,0,1)；

cv::Mat Ix＝imfilter(Ig,derivFilter)。

其中，设置用于滤波的一维滤波矩阵为：

然后通过imfilter函数(线性空间滤波函数)并以上述滤波矩阵对图像进行滤波。

相应的，若建筑物的透视拉伸方向为横向方向，那么，基于直线检测，对该待校正透视拉伸图像进行纵向差分滤波处理，以得到该待校正透视拉伸图像的灰度图。

由于在拟合物体图像，也就是图2中的建筑物的物体图像直线时，需要基于物体图像的二值图才能实现。因此，在步骤S102b中，对由步骤S102a处理后得到的灰度图进行二值化处理，以得到灰度图的二值图，如图4所示。承接于步骤S102a的实现方式，步骤S102b可以通过以下方式实现：

threshold(Ix,Ix1,5,255,CV_THRESH_BINARY)。

该threshold函数中，设置灰度值阈值为5，并根据CV_THRESH_BINARY规定的二值化方式，对图像中灰度值大于5的像素灰度值赋值为255，即白色，而其余像素赋值为0，即黑色，从而实现图像的二值化。

在步骤S102c中，调用霍夫曼直线变换函数cv::HoughLines()，拟合物体图像的物体图像直线。如图5所示，箭头所指即为霍夫曼变换函数拟合得到的物体图像直线。基于物体图像直线，得到每条物体图像直线的斜率，并求得每个斜率的绝对值(p1,p2,p3…pn)，基于斜率的绝对值与倾斜角度之间的关系，即Q＝arctan(p)，其中Q代表倾斜角度，p代表斜率的绝对值，进而确定物体图像的倾斜角度。

作为一种可能的实施例，由于待校正透视拉伸图像中的物体图像经拟合后，可能存在一条或多条物体图像直线。因此，基于二值图和霍夫曼直线变换函数，拟合物体图像的物体图像直线，基于物体图像直线，确定物体图像的倾斜角度包括：基于二值图和霍夫曼直线变换函数，拟合得到一条或多条物体图像的物体图像直线，基于一条或多条物体图像直线，可以得到与物体图像直线对应的一个或多个斜率，基于得到的一个或多个斜率的绝对值，来确定物体图像的倾斜角度。

进一步地，通过处理步骤S103，基于确定的倾斜角度，对于待校正透视拉伸图像进行透视变换，得到相应的校正图像。

作为一种可能的实施例，由于在待校正透视拉伸图像中，往往位于图像边缘的物体图像易于出现较大的透视拉伸，相应的，该物体图像对应的物体图像直线的倾斜角度也相应较大。若位于图像边缘的物体图像的透视拉伸变形被校正后，相应的，待校正透视拉伸图像的其他区域的透视拉伸变形也将相应的被校正。因此，基于多条物体图像直线的斜率的绝对值，确定物体图像的倾斜角度包括：可以基于斜率的绝对值中最大的斜率的绝对值，该斜率对应的直线往往是位于待校正透视拉伸图像边缘的物体图像直线，以该直线的斜率来确定物体图像的倾斜角度。

进一步地，通过处理步骤S103，基于确定的倾斜角度，对于待校正透视拉伸图像进行透视变换，得到相应的校正图像。

作为一种可能的实施例，基于二值图和霍夫曼直线变化函数，拟合得到的多条物体图像直线对应的多个斜率，可以包括位于待校正透视拉伸图像左侧的多条物体图像直线对应的多个第一斜率，相应的，还包括位于待校正透视拉伸图像右侧的多条物体图像直线对应的多个第二斜率，其中左右两侧的透视拉伸方向不完全相同，左侧拟合出的直线的上侧向右偏，而右侧拟合出的直线的上侧向左偏，因此第一斜率与第二斜率正负号相反；基于位于待校正透视拉伸图像左侧的多条物体图像直线对应的多个第一斜率的绝对值，得到待校正透视拉伸图像左侧的多条物体图像直线的左侧最大斜率的绝对值。例如，位于待校正透视拉伸图像左侧的多条物体图像直线对应的多个第一斜率的绝对值包括p1、p2、p3，其中p1＞p2＞p3，那么，左侧最大斜率的绝对值为p1。

同理，基于位于待校正透视拉伸图像右侧的多条物体图像直线对应的多个第二斜率的绝对值，得到待校正透视拉伸图像右侧的多条物体图像直线的右侧最大斜率的绝对值。例如，位于待校正透视拉伸图像右侧的多条物体图像直线对应的多个第二斜率的绝对值包括p4、p5、p6，其中p4＞p5＞p6，那么，右侧最大斜率的绝对值为p4。

当在拍摄过程中，若拍摄装置方向与物体有一定的旋转角度，如拍摄竖直的建筑物时，拍摄装置非水平的放置，左侧最大斜率的绝对值p1与右侧最大斜率的绝对值p4可能是不相同的，在实际应用中，左侧最大斜率的绝对值p1与右侧最大斜率的绝对值p4之间的差值，往往被认为是由于拍摄装置的拍摄角度造成的，因此，会基于左侧最大斜率的绝对值p1和所述右侧最大斜率的绝对值p4中数值相对更小的斜率的绝对值，确定物体图像的倾斜角度。如p1＜p4，则以p1为准，通过Q＝arctan(p1)求得倾斜角度。并基于该倾斜角度，对待校正透视拉伸图像进行透视变换，得到相应的校正图像。

作为一种可能的实施例，基于拍摄装置的陀螺仪确定的俯仰角，可以确定物体图像的倾斜角度。因此，获取步骤S101包括：利用设置有陀螺仪的相机对拍摄物体进行拍摄，以得到待校正透视拉伸图像。

在检测步骤S102中，可以基于陀螺仪输出的俯仰角，来确定物体图像的倾斜角度。在实际应用中，令陀螺仪输出的俯仰角的大小，作为物体图像倾斜角的大小。

进一步地，通过处理步骤S103，基于确定的倾斜角度，对待校正拉伸图像进行透视变换，以得到相应的校正图像。

作为一种可能的实施例，由于超广角镜头相机拍摄物体时，会导致拍摄得到的图像存在严重的畸变，因此，在利用超广角镜头相机拍摄图像时，应首先对拍摄得到的图像进行畸变校正，以确保拍摄得到的图像中的直线准直。然后再对畸变校正后的图像进行透视拉伸校正。

因此，获取步骤S101包括：可以通过超广角镜头相机获取拍摄图像。并且获取该相机的内参数和畸变系数，基于内参数和畸变系数，对拍摄图像进行畸变校正，得到待校正透视拉伸图像。

在实际应用中，可以通过如下方式来实现对拍摄图像的畸变校正。

采用张正有标定法进行相机标定，以获取相机内参数(fx,fy,u₀,v₀)和畸变参数(k1,k2,k3,k4,k5,k6)。利用该相机进行图像拍摄，以获取拍摄图像。基于拍摄图像上每一个像素点的图像坐标，和相机内参数(fx,fy,u₀,v₀)和畸变参数(k1,k2,k3,k4,k5,k6)，对每一个像素点的图像坐标对应的相机坐标进行校正，得到校正后的相机坐标。畸变校正公式可以通过如下实现：

其中，r²＝(u-u₀)²+(v-v₀)²

需要说明的是，(u、v)为畸变校正前的图像坐标，(u′、v′)为畸变校正后的相机坐标。

进一步地，基于上述获得的校正后的相机坐标，通过坐标转换，得到对应的校正后的图像坐标。转化公式可以通过如下实现：

x＝fx*u′+u₀

y＝fy*v′+v₀

其中，(x、y)为校正后的图像坐标。

进一步地，校正后的图像坐标即为获取步骤S101中待校正透视拉伸图像对应的图像坐标。相应的，待校正透视拉伸图像是经过畸变校正后的待校正透视拉伸图像。在后续的获取步骤S102和处理步骤S103，均以经过畸变校正后的待校正透视拉伸图像作为处理基础。

作为一种可能的实施例，如图6所示，处理步骤S103包括：步骤S103a，基于待校正透视拉伸图像的四个顶点的图像坐标和倾斜角度，得到四个顶点的校正透视拉伸图像坐标；步骤S103b，基于四个顶点的图像坐标和校正透视拉伸图像坐标，得到待校正透视拉伸图像的透视变换矩阵；步骤S103c，基于透视变换矩阵，对待校正透视拉伸图像进行透视变换，得到校正图像。

在步骤S103a中，基于待校正透视拉伸图像的四个顶点的图像坐标，和倾斜角度，得到四个顶点的校正透视拉伸图像坐标。需要说明的是，若待校正透视拉伸图像是经过畸变校正后的待校正透视拉伸图像，那么，相应的，图像坐标即为经过畸变校正后的图像坐标。

在步骤S103b中，基于四个顶点的图像坐标和对应的四个顶点的校正透视拉伸图像坐标，通过调用函数cv::Mat M＝cv::getPerspectiveTransform()，来获得四个顶点的图像坐标和相应的校正透视拉伸图像坐标之间的映射关系，即透视变换矩阵M。

在步骤S103c中，基于得到的透视变换矩阵M，对待校正透视拉伸图像的全局进行透视变换，即可得到经过透视校正后的校正图像。例如，如图7所示，通过本公开的基于物体倾斜角度的自适应校正方法，对图2所示的待校正透视拉伸图像进行校正，得到图2所示图像对应校正图像。

作为一种变形，基于待校正透视拉伸图像的四个顶点的图像坐标和倾斜角度，得到四个顶点的校正透视拉伸图像坐标包括：为了保证校正后的校正图像在原有尺寸范围内的清晰度不致降低，可以选取待校正透视拉伸图像的四个顶点中的坐下角顶点和右下角顶点进行透视转换。基于该左下角顶点的图像坐标、右下角顶点的图像坐标和倾斜角度，分别得到左下角顶点的校正透视拉伸图像坐标和右下角顶点的校正透视拉伸图像坐标。

例如，若左下角顶点的图像坐标和右下角顶点的图像坐标分别为(x1，y1)，(x2，y2)，倾斜角度为Q，那么基于透视转换公式可以得到左下角顶点的校正透视拉伸图像坐标(x1′，y1′)，和右下角顶点的校正透视拉伸图像坐标(x2′，y2′)。其中，透视转换公式如下：

x’＝x*cos(Q)-y*sin(Q)

y’＝x*cos(Q)+y*sin(Q)

进一步地，选取待校正透视拉伸图像的四个顶点中左上角顶点和右上角顶点，将左上角顶点的图像坐标和右上角顶点的图像坐标，分别作为左上角顶点的校正透视拉伸图像坐标和右上角顶点的校正透视拉伸图像坐标。

基于得到四个顶点的校正透视拉伸图像坐标，再通过步骤S103b和步骤S103c，对待校正透视拉伸图像进行透视变换，以得到校正图像。

基于相同的发明构思，本公开实施例还提供一种基于物体倾斜角度的自适应校正装置200。如图8所示该装置包括：获取模块201，用于获取待校正透视拉伸图像，其中，待校正透视拉伸图像包括发生透视拉伸的物体图像；检测模块202，用于检测发生透视拉伸的物体图像的倾斜角度；处理模块203，用于基于倾斜角度，对待校正透视拉伸图像进行透视变换，得到校正图像。

在一例中，检测模块202还用于：基于直线检测，对待校正透视拉伸图像沿固定方向进行滤波处理，得到待校正透视拉伸图像的灰度图，其中，固定方向与物体图像整体的透视拉伸方向垂直；对灰度图进行二值化处理，得到灰度图的二值图；基于二值图和霍夫曼直线变换函数，拟合物体图像的物体图像直线，基于物体图像直线，确定物体图像的倾斜角度。

在一例中，检测模块202还用于：基于二值图和霍夫曼直线变化函数，拟合得到一条或多条物体图像的物体图像直线，基于一条或多条物体图像直线，得到一条或多条物体图像直线的斜率；基于一条或多条物体图像直线的斜率的绝对值，确定物体图像的倾斜角度。

在一例中，检测模块202还用于：基于斜率的绝对值中的最大斜率的绝对值，确定物体图像的倾斜角度。

在一例中，多条物体图像直线的斜率包括待校正透视拉伸图像左侧的多条物体图像直线的第一斜率和待校正透视拉伸图像右侧的多条物体图像直线的第二斜率，其中第一斜率与第二斜率正负号相反；检测模块202还用于：基于多个第一斜率的绝对值，得到左侧最大斜率的绝对值；基于多个第二斜率的绝对值，得到右侧最大斜率的绝对值；基于左侧最大斜率的绝对值和右侧最大斜率的绝对值中数值更小的斜率的绝对值，确定物体图像的倾斜角度。

在一例中，获取步骤模块201用于：基于相机拍摄，得到待校正透视拉伸图像，其中，相机包括陀螺仪；检测模块202用于：基于陀螺仪输出的俯仰角，确定物体图像的倾斜角度。

在一例中，获取模块201用于：通过相机获取拍摄图像，其中，相机为超广角镜头相机；获取相机的内参数和畸变系数，基于内参数和畸变系数，对拍摄图像进行畸变校正，得到待校正透视拉伸图像。

在一例中，处理模块203用于：基于待校正透视拉伸图像的四个顶点的图像坐标和倾斜角度，得到四个顶点的校正透视拉伸图像坐标；基于四个顶点的图像坐标和校正透视拉伸图像坐标，得到待校正透视拉伸图像的透视变换矩阵；基于透视变换矩阵，对待校正透视拉伸图像进行透视变换，得到校正图像。

在一例中，处理模块203还用于：选取待校正透视拉伸图像的四个顶点中左下角顶点和右下角顶点，基于左下角顶点的图像坐标、右下角顶点的图像坐标和倾斜角度，分别得到左下角顶点的校正透视拉伸图像坐标和右下角顶点的校正透视拉伸图像坐标；选取待校正透视拉伸图像的四个顶点中左上角顶点和右上角顶点，将左上角顶点的图像坐标和右上角顶点的图像坐标，分别作为左上角顶点的校正透视拉伸图像坐标和右上角顶点的校正透视拉伸图像坐标。

图9示出了本公开的一个实施方式提供的一种电子设备30。如图9所示，本公开的一个实施方式提供的一种电子设备30，其中，该电子设备30包括存储器310、处理器320、输入/输出(Input/Output，I/O)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本公开基于物体倾斜角度的自适应校正方法。其中，处理器320分别与存储器310、I/O接口330连接，例如可通过总线***和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本公开实施例中涉及的基于物体倾斜角度的自适应校正的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。

本公开实施例中处理器320可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本公开实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本公开实施例中，I/O接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

在一些实施方式中，本公开提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。

尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本公开的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (10)

1.一种基于物体倾斜角度的自适应校正方法，其特征在于，所述方法包括：

获取步骤，获取待校正透视拉伸图像，其中，所述待校正透视拉伸图像包括发生透视拉伸的物体图像；

检测步骤，检测所述发生透视拉伸的所述物体图像的倾斜角度；

处理步骤，基于所述倾斜角度，对所述待校正透视拉伸图像进行透视变换，得到校正图像；

所述检测步骤包括：

基于直线检测，对所述待校正透视拉伸图像沿固定方向进行滤波处理，得到所述待校正透视拉伸图像的灰度图，其中，所述固定方向与所述物体图像整体的透视拉伸方向垂直；

对所述灰度图进行二值化处理，得到所述灰度图的二值图；

基于所述二值图和霍夫曼直线变换函数，拟合所述物体图像的物体图像直线，基于所述物体图像直线，确定所述物体图像的倾斜角度；

所述基于所述二值图和霍夫曼直线变换函数，拟合所述物体图像的物体图像直线，基于所述物体图像直线，确定所述物体图像的倾斜角度包括：

基于所述二值图和霍夫曼直线变化函数，拟合得到一条或多条所述物体图像的所述物体图像直线，基于所述一条或多条所述物体图像直线，得到所述一条或多条所述物体图像直线的斜率；

基于所述一条或多条所述物体图像直线的斜率的绝对值，确定所述物体图像的倾斜角度；

其中，基于多条所述物体图像直线的斜率的绝对值，确定所述物体图像的倾斜角度，包括：基于所述待校正透视拉伸图像左侧的物体图像直线的最大斜率的绝对值，以及所述物体图像右侧的物体图像直线的最大斜率的绝对值，确定所述物体图像的倾斜角度。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多条所述物体图像直线的斜率的绝对值，确定所述物体图像的倾斜角度，包括：

基于所述斜率的绝对值中的最大斜率的绝对值，确定所述物体图像的倾斜角度。

3.根据权利要求1所述的方法，其特征在于，

所述多条物体图像直线的斜率包括所述待校正透视拉伸图像左侧的多条物体图像直线的第一斜率和所述待校正透视拉伸图像右侧的多条物体图像直线的第二斜率，其中所述第一斜率与所述第二斜率正负号相反；

所述基于所述多条所述物体图像直线的斜率的绝对值，确定所述物体图像的倾斜角度，包括：

基于多个所述第一斜率的绝对值，得到左侧最大斜率的绝对值；

基于多个所述第二斜率的绝对值，得到右侧最大斜率的绝对值；

基于所述左侧最大斜率的绝对值和所述右侧最大斜率的绝对值中数值更小的斜率的绝对值，确定所述物体图像的倾斜角度。

4.根据权利要求1所述的方法，其特征在于，

所述获取步骤包括：基于相机拍摄，得到所述待校正透视拉伸图像，其中，所述相机包括陀螺仪；

所述检测步骤包括：基于所述陀螺仪输出的俯仰角，确定所述物体图像的倾斜角度。

5.根据权利要求1所述的方法，其特征在于，所述获取步骤包括：

通过相机获取拍摄图像，其中，所述相机为超广角镜头相机；

获取相机的内参数和畸变系数，基于所述内参数和所述畸变系数，对所述拍摄图像进行畸变校正，得到所述待校正透视拉伸图像。

6.根据权利要求1所述的方法，其特征在于，所述处理步骤包括：

基于所述待校正透视拉伸图像的四个顶点的图像坐标和所述倾斜角度，得到所述四个顶点的校正透视拉伸图像坐标；

基于所述四个顶点的所述图像坐标和所述校正透视拉伸图像坐标，得到所述待校正透视拉伸图像的透视变换矩阵；

基于所述透视变换矩阵，对所述待校正透视拉伸图像进行透视变换，得到所述校正图像。

7.根据权利要求6所述的方法，其特征在于，所述基于所述待校正透视拉伸图像的四个顶点的图像坐标和所述倾斜角度，得到所述四个顶点的校正透视拉伸图像坐标，包括：

选取所述待校正透视拉伸图像的四个顶点中左下角顶点和右下角顶点，基于所述左下角顶点的图像坐标、所述右下角顶点的图像坐标和所述倾斜角度，分别得到所述左下角顶点的校正透视拉伸图像坐标和所述右下角顶点的校正透视拉伸图像坐标；

选取所述待校正透视拉伸图像的四个顶点中左上角顶点和右上角顶点，将所述左上角顶点的图像坐标和所述右上角顶点的图像坐标，分别作为所述左上角顶点的校正透视拉伸图像坐标和所述右上角顶点的校正透视拉伸图像坐标。

8.一种基于物体倾斜角度的自适应校正装置，其特征在于，所述装置包括：

获取模块，用于获取待校正透视拉伸图像，其中，所述待校正透视拉伸图像包括发生透视拉伸的物体图像；

检测模块，用于检测所述发生透视拉伸的所述物体图像的倾斜角度；

处理模块，用于基于所述倾斜角度，对所述待校正透视拉伸图像进行透视变换，得到校正图像；

所述检测模块采用如下方式检测所述发生透视拉伸的所述物体图像的倾斜角度：

基于直线检测，对所述待校正透视拉伸图像沿固定方向进行滤波处理，得到所述待校正透视拉伸图像的灰度图，其中，所述固定方向与所述物体图像整体的透视拉伸方向垂直；对所述灰度图进行二值化处理，得到所述灰度图的二值图；基于所述二值图和霍夫曼直线变换函数，拟合所述物体图像的物体图像直线，基于所述物体图像直线，确定所述物体图像的倾斜角度；

所述检测模块采用如下方式基于所述二值图和霍夫曼直线变换函数，拟合所述物体图像的物体图像直线，基于所述物体图像直线，确定所述物体图像的倾斜角度：

基于所述二值图和霍夫曼直线变化函数，拟合得到一条或多条所述物体图像的所述物体图像直线，基于所述一条或多条所述物体图像直线，得到所述一条或多条所述物体图像直线的斜率；基于所述一条或多条所述物体图像直线的斜率的绝对值，确定所述物体图像的倾斜角度；

其中，所述检测模块采用如下方式基于多条所述物体图像直线的斜率的绝对值，确定所述物体图像的倾斜角度：基于所述待校正透视拉伸图像左侧的物体图像直线的最大斜率的绝对值，以及所述物体图像右侧的物体图像直线的最大斜率的绝对值，确定所述物体图像的倾斜角度。

9.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行权利要求1-7中任一项所述基于物体倾斜角度的自适应校正方法。

10.一种计算机可读存储介质，其中，

所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-7中任一项所述基于物体倾斜角度的自适应校正方法。

Images