CN109859137B - 一种广角相机非规则畸变全域校正方法 - Google Patents

Abstract

本发明涉及一种广角相机非规则畸变全域校正方法，包括以下步骤：S1：图片采集：对采集的图像作辅助线，并实时显示，将辅助线对齐棋盘格中心区域，拍摄照片；S2：角点检测，剔除边沿点和角点评分低于阈值的角点；S3：棋盘格检测：对检测到的角点，通过生长法检测出棋盘格，进行棋盘格方向校正，重复部分全部通过，则进行拼接，得到新的棋盘格；S4：数据初始化，根据检测到的棋盘格，初始化期望棋盘格的位置数据；S5：拟合曲面：使用改进后的TPS方法拟合出插值曲面；S6：生成插值地图：使用得到的插值曲面，获取插值地图；S7：实时畸变校正：载入插值地图，实时采集图片，并实时进行畸变校正。

Description

一种广角相机非规则畸变全域校正方法

技术领域

本发明属于相机标定技术畸变校正领域，涉及一种广角相机非规则畸变全域校正方法。

背景技术

随着计算机行业和芯片行业的飞速发展和不断更新，智能驾驶、智能监控等技术不断成熟。相机的作用和应用有了很大的发展,相机不仅仅是获取图像,我们希望通过计算机处理所得的图片，并从中提取需要的信息，以完成后续的计算和应用。我们知道三维世界中的点在二维图像上存在唯一的对应点,为了更准确的得到图像中的信息,我们需要建立相机成像模型,这些模型的参数就是相机参数,求解这些相机参数的过程称为相机的标定。依据相机焦距的长短可以将相机镜头分为三类,长焦镜头、标准镜头和广角镜头。长焦镜头可以拍摄很远的目标,远处景物如同在眼前一样,但拍摄视角比较小,不便拍摄近处景物。标准镜头是日常生活中最常见的,可以拍摄出比较符合人眼的观察习惯的图像。广角镜头的最大特点是拍摄视角大,得到的图像信息量比较多,但图像畸变比较大,一般需要对图像进行校正,目前多用于监控***。

现有的相机标定方法分为传统标定方法和自主标定方法。目前多采用张正友相机模型和畸变模型，来进行相机内外参和畸变标定。但仍然面临一些需要解决的问题：

一方面，现有张正友标定方法的畸变模型，对于广角相机或者广角镜头的广角方向，其畸变校正精度仍然存在一定的误差，所以现有的立体视觉多考虑无畸变的90°，或者更小角度的相机进行，有效三角测量角度范围受到相机角度的限制较大。因此设计一个广角相机畸变校正算法是十分有必要的。

另一方面，对于某些特殊场景(大角度)，作为广角相机，不需要消耗额外的***资源来做标准相机的拼接。因为对于实时拼接而言，在线计算拼接每次拼接之前，都需要计算特征点，匹配，滤波，计算矩阵需要占用较多的***资源；而离线计算拼接矩阵，则又涉及到相机抖动之后，产生有较大的，无法预测的拼接误差。处理好广角相机的广角方向上的畸变，广角相机所具有的优势能更好的体现出来。

其次，对于不规则的图像畸变或不对称的畸变，使用张正友标定方法无法得到解决。

最后，原有的TPS(薄板样条插值)算法进行畸变校正，由于受控制点的影响，对于边沿(最外一层控制点之外的区域)，会存在较大的未处理的畸变，从而影响可视性。

而本文的改进TPS(薄板样条插值)算法能够改进这种边沿畸变的可读性，增加广角方向上的畸变校正精度和有效范围，并且能够处理一些不规则和非对称畸变。

发明内容

有鉴于此，本发明的目的在于改进广角相机以及非规则畸变的校正问题，提高广角相机广角方向的校正精度，以及成像的边沿区域可视性，提供一种广角相机非规则畸变全域校正方法。

为达到上述目的，本发明提供如下技术方案：

一种广角相机非规则畸变全域校正方法，包括以下步骤：

S1：图片采集：对采集的图像作辅助线，并实时显示，将辅助线对齐棋盘格中心区域，拍摄照片；

S2：角点检测：①使用Prewitt算子计算出两个方向的梯度，并计算图片梯度的方向和幅值；②归一化梯度方向，初始化角点模板，使用角点模板对原图片进行滤波处理，获得初始角点；③并对得到角点进行非极大值抑制；④对角点进行亚像素化；⑤剔除边沿点和角点评分低于阈值的角点；

S3：棋盘格检测：对检测到的角点，通过生长法检测出棋盘格；①与图像最中心点的欧氏距离从近到远循环每一个角点；②初始化一个棋盘格，通过寻找该点周围八个方向上的匹配点作为初始棋盘格；③通过向上下左右四个方向上生长，计算生长后棋盘格的能量，当能量函数小于阈值时，生长成功；④进行棋盘格方向校正，重复部分全部通过，则进行拼接，得到新的棋盘格；

S4：数据初始化：检测中心区域的棋盘格，并以中心点为基准，图像左上角为像素坐标系原点，向右为u轴正方向，向下为v轴正方向；根据检测到的棋盘格，初始化期望棋盘格的位置数据；

S5：拟合曲面：使用改进后的TPS方法拟合出插值曲面；

S6：生成插值地图：使用得到的插值曲面，获取插值地图；

S7：实时畸变校正：载入插值地图，实时采集图片，并使用反向二插值，进行实时进行畸变校正。

进一步，步骤S2中，通过下列公式进行棋盘内角点匹配：

其中，

和

表示i的两种可能性(黑白棋盘格调换)；

表示图像在i大小的(A,B,C,D)四类核(四类模板)的卷积值。

亚像素角和方向细化：对检测出的内角点，去除边沿点和低得分点。然后亚像素化角点，即寻找满足下式的c值：

其中，N_I表示像素周围11x11的候选像素；

表示P点与周围的候选像素的梯度差。

进一步，步骤S3中棋盘格生长方法包括：恢复结构，即优化能量函数，生长棋盘格：初始化6个点构成4个方格的棋盘格，然后通过寻找四个方向中能量最小的方向生长棋盘，直到没有新的棋盘格阵列，其中棋盘能量定义为：

E(x,y)＝E_corners(y)+E_struct(x,y)

E_corners(y)＝-size(chessboard,1)*size(chessboard,2)

其中，E_corners表示当前棋盘格中角点的个数的负值，size(chessboard,1)表示棋盘格的高，size(chessboard,2)表示棋盘格的宽，E_struct表示预测和实际棋盘的匹配程度，c_i,j,k表示三个相邻的横纵棋盘格点；当四个方向上的总能量都大于零时结束生长。

进一步，步骤S3中的棋盘格方向校正包括：重复部分全部通过，则进行拼接，得到新的棋盘格。首先进行棋盘格方向校正，如下列公式所示：

acha(i)＝P_a(i+1)-P_a(i),i＝1…n-1

direction.ab＝direction.a-direction.b

其中，P_a(i)表示两个棋盘的相同点在棋盘a的位置；direction.a表示棋盘a的相对角度(可以在表格1中查到，□：a或者b，*：任意取值)；direction.ab表示棋盘格b相对于棋盘a的角度；C_b表示棋盘b；

表示校正方向后的棋盘b。

然后，通过匹配来进行棋盘格的扩张：

C(m+max(a₁,b₁)-a₁,n+max(a₂,b₂)-a₂)＝a(m,n)

C(m+max(a₁,b₁)-b₁,n+max(a₂,b₂)-b₂)＝b(m,n)

其中，(a₁,a₂)＝(p_a(1).x,p_a(1).y),表示两个棋盘第一个相同点在棋盘a的位置。(b₁,b₂)＝(p_b(1).x,p_b(1).y),表示两个棋盘第一个相同点在棋盘b的位置。C表示匹配后的棋盘格。

进一步，步骤S5中的TPS算法包括：当径向函数为二次的时候被称为薄板样条插值，是一种求取经过所有数据点的，具有最小曲率的平滑金属薄板的方法；

在数据具有二次连续导数的前提下，具有能量函数为：

对于具体的离散的数据点，其最小能量函数为：

该能量函数包含两部分，仿射部分a₀+x+x[a₁r²+a₂r⁴]，表示无穷远处的薄板的曲面趋势，剩余离散部分，弯曲数据点附近的曲面，以使其通过该数据点。|·|表示欧几里德范数，c_i是系数，U为TPS的核函数，表达式为

U(r)＝r²log(r),r²＝(x-x_i)²+(y-y_i)²

通过对函数中的参数的计算，得到拟合后的曲面。

进一步，步骤S7中的实时校正中的运用插值地图，进行畸变校正，使用反向双线性插值算法进行畸变校正，寻找已知权重的四个点中间的任意一点的权重；

然后在x方向进行线性插值，得到

然后在y方向进行线性插值，得到

综合起来就是双线性插值最后的结果：

本发明的有益效果在于：本发明的改进TPS(薄板样条插值)算法能够改进边沿畸变的可读性，增加广角方向上的畸变校正精度和有效范围，并且能够处理一些不规则和非对称畸变。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为初始棋盘格的8个基本模型图；

图2为使用反向双线性插值算法进行畸变校正示意图；

图3为本发明所述广角相机非规则畸变全域校正方法流程示意图；

图4为图像采集实时显示图；

图5为拟合曲面图(从上到下依次为：u的拟合曲面、v的拟合曲面)；

图6为算法比较图(从上到下依次为：opencv、TPS、改进TPS)。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

TPS(薄板样条插值)是一种最小曲率插值方法，该函数分为两部分：基函数和趋势函数。基函数也是离散部分，通过对每个数据点附近的曲面进行弯曲拉伸，使其通过数据点，并使其能量函数最小；趋势函数也是仿射部分，根据所有数据点拟合的一个平面，反映数据点外的薄板的曲面趋势。通过对函数中的参数的计算，得到拟合后的曲面。

其中，|·|表示欧几里德范数，c_i是系数，U为TPS的核函数

改进TPS(薄板样条插值)函数的趋势函数部分，提高畸变校正后的图像的边沿的可读性。改进后的趋势函数如下：

f(x,y)_趋势函数＝a₀+x+x[a₁r²+a₂r⁴]

其中，r²为欧氏距离的平方。

如图1所示，一种广角相机非规则畸变全域校正方法，包括以下步骤：

S1：图片采集：对采集的图像作辅助线，并实时显示，将辅助线对齐棋盘格中心区域，拍摄照片，如图2；

S2：角点检测：①使用Prewitt算子计算出两个方向的梯度，并计算图片梯度的方向和幅值；②归一化梯度方向到[0,pi]，初始化角点模板，使用角点模板对原图片进行滤波处理，获得初始角点；③并对得到角点进行非极大值抑制(阈值＝0.045)；④对角点进行亚像素化，使角点更加准确。⑤剔除边沿点(非角点)和角点评分低于阈值的角点；

S3：棋盘格检测：对检测到的角点，通过生长法检测出棋盘格；①与图像最中心点的欧氏距离从近到远循环每一个角点。②初始化一个3x3的棋盘格，通过寻找该点周围8个方向上的匹配点作为初始棋盘格。③通过向上下左右四个方向上生长，计算生长后棋盘格的能量，当能量函数小于阈值时，生长成功。④进行棋盘格方向校正，重复部分全部通过，则进行拼接，得到新的棋盘格；

S4：数据初始化：检测中心区域的棋盘格，并以中心点为基准，图像左上角为像素坐标系原点，向右为u轴正方向，向下为v轴正方向；根据检测到的棋盘格，初始化期望棋盘格的位置数据；

S5：拟合曲面：使用改进后的TPS(薄板样条插值)方法拟合出插值曲面，如图3，从上到下依次为：u的拟合曲面、v的拟合曲面；

S6：生成插值地图：使用得到的插值曲面，获取插值地图；

S7：实时畸变校正：载入插值地图，实时采集图片，并使用反向二插值，并实时进行畸变映射校正。

进一步，步骤S2中的角点检测，初始棋盘格的8个基本模型如下图4所示。将原来的三种尺度(4、8、16)增加为四种尺度(根据图像中的棋盘格像素大小进行修改，当前增加了尺度30)；

通过下列公式进行棋盘内角点匹配：

其中，

和

表示i的两种可能性(黑白棋盘格调换)；

表示图像在i大小的(A,B,C,D)四类核(四类模板)的卷积值。

亚像素角和方向细化：对检测出的内角点，去除边沿点和低得分点。然后亚像素化角点，即寻找满足下式的c值：

其中，N_I表示像素周围11x11的候选像素；

表示P点与周围的候选像素的梯度差。

进一步，步骤S3中棋盘格生长方法包括：恢复结构，即优化能量函数，生长棋盘格：初始化6个点构成4个方格的棋盘格，然后通过寻找四个方向中能量最小的方向生长棋盘，直到没有新的棋盘格阵列，其中棋盘能量定义为：

E(x,y)＝E_corners(y)+E_struct(x,y)

E_corners(y)＝-size(chessboard,1)*size(chessboard,2)

其中，E_corners表示当前棋盘格中角点的个数的负值，size(chessboard,1)表示棋盘格的高，size(chessboard,2)表示棋盘格的宽，E_struct表示预测和实际棋盘的匹配程度，c_i,j,k表示三个相邻的横纵棋盘格点；当四个方向上的总能量都大于零时结束生长。

进一步，步骤S3中的棋盘格方向校正包括：重复部分全部通过，则进行拼接，得到新的棋盘格。首先进行棋盘格方向校正，如下列公式所示：

acha(i)＝P_a(i+1)-P_a(i),i＝1…n-1

direction.ab＝direction.a-direction.b

其中，P_a(i)表示两个棋盘的相同点在棋盘a的位置；direction.a表示棋盘a的相对角度(可以在表格1中查到，□：a或者b，*：任意取值)；direction.ab表示棋盘格b相对于棋盘a的角度；C_b表示棋盘b；

表示校正方向后的棋盘b。

表格1相对角度查值表

然后，通过匹配来进行棋盘格的扩张：

C(m+max(a₁,b₁)-a₁,n+max(a₂,b₂)-a₂)＝a(m,n)

C(m+max(a₁,b₁)-b₁,n+max(a₂,b₂)-b₂)＝b(m,n)

其中，(a₁,a₂)＝(p_a(1).x,p_a(1).y),表示两个棋盘第一个相同点在棋盘a的位置。(b₁,b₂)＝(p_b(1).x,p_b(1).y),表示两个棋盘第一个相同点在棋盘b的位置。C表示匹配后的棋盘格。

进一步，步骤S5中的TPS(Thin Plate Splines)算法包括：当径向函数为二次的时候被称为薄板样条插值，是一种求取经过所有数据点的，具有最小曲率的平滑金属薄板的方法；

在数据具有二次连续导数的前提下，具有能量函数为：

对于具体的离散的数据点，其最小能量函数为：

该能量函数包含两部分，仿射部分a₀+x+x[a₁r²+a₂r⁴]，表示无穷远处的薄板的曲面趋势，剩余离散部分，弯曲数据点附近的曲面，以使其通过该数据点。|·|表示欧几里德范数，c_i是系数，U为TPS的核函数，表达式为

U(r)＝r²log(r),r²＝(x-x_i)²+(y-y_i)²

通过对函数中的参数的计算，得到拟合后的曲面。

进一步，步骤S7中的实时校正中的运用插值地图，进行畸变校正，使用反向双线性插值算法进行畸变校正，如图5所示，寻找已知权重的四个点中间的任意一点的权重；

然后在x方向进行线性插值，得到

然后在y方向进行线性插值，得到

综合起来就是双线性插值最后的结果：

最终结果如图6，在图中从上到下依次为：opencv、TPS、改进TPS。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种广角相机非规则畸变全域校正方法，其特征在于：包括以下步骤：

S1：图片采集：对采集的图像作辅助线，并实时显示，将辅助线对齐棋盘格中心区域，拍摄照片；

S2：角点检测：①使用Prewitt算子计算出两个方向的梯度，并计算图片梯度的方向和幅值；②归一化梯度方向，初始化角点模板，使用角点模板对原图片进行滤波处理，获得初始角点；③并对得到角点进行非极大值抑制；④对角点进行亚像素化；⑤剔除边沿点和角点评分低于阈值的角点；

S3：棋盘格检测：对检测到的角点，通过生长法检测出棋盘格；①与图像最中心点的欧氏距离从近到远循环每一个角点；②初始化一个棋盘格，通过寻找该点周围八个方向上的匹配点作为初始棋盘格；③通过向上下左右四个方向上生长，计算生长后棋盘格的能量，当能量函数小于阈值时，生长成功；④进行棋盘格方向校正，重复部分全部通过，则进行拼接，得到新的棋盘格；

S4：数据初始化：检测中心区域的棋盘格，并以中心点为基准，图像左上角为像素坐标系原点，向右为u轴正方向，向下为v轴正方向；根据检测到的棋盘格，初始化期望棋盘格的位置数据；

S5：拟合曲面：使用改进后的TPS方法拟合出插值曲面；

S6：生成插值地图：使用得到的插值曲面，获取插值地图；

S7：实时畸变校正：载入插值地图，实时采集图片，并使用反向二插值，并实时进行畸变校正。

2.根据权利要求1所述的广角相机非规则畸变全域校正方法，其特征在于：步骤S2中，通过下列公式进行棋盘内角点匹配：

其中，

和

表示i的黑白棋盘格调换两种可能性；

表示图像在i大小的A类核的卷积值，

表示图像在i大小的B类核的卷积值，

图像在i大小的C类核的卷积值，

表示图像在i大小的D四类核的卷积值；

亚像素角和方向细化：对检测出的内角点，去除边沿点和低得分点；然后亚像素化角点，即寻找满足下式的c值：

其中，N_I表示像素周围11x11的候选像素；

表示P点与周围的候选像素的梯度差。

3.根据权利要求1所述的广角相机非规则畸变全域校正方法，其特征在于：步骤S3中棋盘格生长方法包括：恢复结构，即优化能量函数，生长棋盘格：初始化6个点构成4个方格的棋盘格，然后通过寻找四个方向中能量最小的方向生长棋盘，直到没有新的棋盘格阵列，其中棋盘能量定义为：

E(x,y)＝E_corners(y)+E_struct(x,y)

E_corners(y)＝-size(chessboard,1)*size(chessboard,2)

其中，E_corners表示当前棋盘格中角点的个数的负值，size(chessboard,1)表示棋盘格的高，size(chessboard,2)表示棋盘格的宽，E_struct表示预测和实际棋盘的匹配程度，c_i、c_j、c_k表示三个相邻的横纵棋盘格点；当四个方向上的总能量都大于零时结束生长。

4.根据权利要求1所述的广角相机非规则畸变全域校正方法，其特征在于：步骤S3中的棋盘格方向校正包括：重复部分全部通过，则进行拼接，得到新的棋盘格；首先进行棋盘格方向校正，如下列公式所示：

acha(i)＝P_a(i+1)-P_a(i),i＝1…n-1

direction.ab＝direction.a-direction.b

其中，P_a(i)表示两个棋盘的相同点在棋盘a的位置；direction.a表示棋盘a的相对角度；direction.ab表示棋盘格b相对于棋盘a的角度；C_b表示棋盘b；

表示校正方向后的棋盘b；

然后，通过匹配来进行棋盘格的扩张：

C(m+max(a₁,b₁)-a₁,n+max(a₂,b₂)-a₂)＝a(m,n)

C(m+max(a₁,b₁)-b₁,n+max(a₂,b₂)-b₂)＝b(m,n)

其中，(a₁,a₂)＝(p_a(1).x,p_a(1).y),表示两个棋盘第一个相同点在棋盘a的位置；(b₁,b₂)＝(p_b(1).x,p_b(1).y)，表示两个棋盘第一个相同点在棋盘b的位置；C表示匹配后的棋盘格。

5.根据权利要求1所述的广角相机非规则畸变全域校正方法，其特征在于：步骤S5中的TPS算法包括：当径向函数为二次的时候被称为薄板样条插值，是一种求取经过所有数据点的，具有最小曲率的平滑金属薄板的方法；

在数据具有二次连续导数的前提下，具有能量函数为：

对于具体的离散的数据点，其最小能量函数为：

该能量函数包含两部分，仿射部分a₀+x+x[a₁r²+a₂r⁴]，表示无穷远处的薄板的曲面趋势，剩余离散部分，弯曲数据点附近的曲面，以使其通过该数据点，|·|表示欧几里德范数，c_i是系数，U为TPS的核函数，表达式为

U(r)＝r²log(r),r²＝(x-x_i)²+(y-y_i)²

通过对函数中的参数的计算，得到拟合后的曲面。

6.根据权利要求1所述的广角相机非规则畸变全域校正方法，其特征在于：步骤S7中的实时校正中的运用插值地图，进行畸变校正，使用反向双线性插值算法进行畸变校正，寻找已知权重的四个点中间的任意一点的权重；

然后在x方向进行线性插值，得到

然后在y方向进行线性插值，得到

综合起来就是双线性插值最后的结果：

Images