CN109102545A - 一种基于非度量的畸变校正方法 - Google Patents

Abstract

本发明一种基于非度量的畸变校正方法属于计算机视觉测量领域，涉及一种基于非度量的畸变校正方法。该方法首先设计一种基于共线特性的特征点标定物，标定物的特征点分布于两个非共面平面，在非共面平面上设计共线特征点，且共线直线要保持相互平行；然后通过双目相机和工作站采集所设计的标定物图像，并完成共线特征点的自动识别，最后基于直线约束对图像畸变进行有效校正。该方法仅利用特征点的直线信息构建标定物的特征信息，无需具有准确特征点间距离的标定物，并通过共线特征点的自动识别减少标定的操作时间、提高稳定性，实现了图像畸变的快速、准确校正，具有标定物制造简单、标定效率高、鲁棒性好的特点。

Description

一种基于非度量的畸变校正方法

技术领域

本发明属于计算机视觉测量领域，涉及一种基于非度量的畸变校正方法。

背景技术

随着现代工业现场零件测量需求的变化，要求基于视觉的几何量精密测量不再局限于可控环境下小尺寸零件的测量，而是需要实现大视场复杂环境下的大型零件的精密测量。在图像采集过程中由于镜头等硬件制造偏差，造成图像具有一定的畸变。特别是针对大视场测量中所采用的广角镜头，图像畸变更为明显。由于镜头畸变的影响，图像中的特征点将偏离理想小孔成像中的理论位置，从而影响最终的测量精度，因此必须对图像进行有效的畸变矫正。

传统方法中，通常利用标定物中特征点间的欧式距离信息，建立约束条件，实现图像的畸变校正。但受制于标定物制造工艺及费用的限制，对于大视场测量难以制造大尺寸具有准确特征点间距离的标定物。因此，实现基于不利用特征点间距离的非度量畸变校正具有重要意义。北京航空航天大学的周富强等人在机械工程学报,2009,45(8),P228-232.《基于非量测畸变校正的摄像机标定方法》一文中建立了畸变分离的摄像机模型，基于共线点的透视投影不变性，采用大量共线特征点对定焦镜头的畸变参数进行标定。该方法简化了摄像机标定过程，提高了标定速度。但该论文中的方法并不适于畸变程度较大的广角镜头。

北京大学的刘璐等人，在专利号：CN201110070230.1，专利《高精度的宽视场镜头实时畸变矫正方法及***》中针对宽视场角的镜头存在严重畸变的问题，提出了一种先进行初矫正，然后通过优化步骤对初矫正中的偏差进行再次矫正的畸变矫正方法。此方法能对广角镜头进行高精度的畸变矫正，但需要较大尺寸的标定模板，并需从不同方向和角度对其进行多次拍摄。

发明内容

本发明要解决的技术难题是实际大视场工业环境下图像畸变大，传统标定方法所需的大尺寸高精度标定物制造困难、成本高等问题，发明一种基于非度量的畸变校正方法。该方法，首先设计一种基于共线特性的特征点标定物，然后通过相机采集所设计的特征点图像并完成共线特征点的自动识别，最后基于直线约束对图像畸变进行有效校正。此方法，仅利用特征点的直线信息构建标定物的特征信息，无需具有准确特征点间距离的标定物，并通过共线特征点的自动识别减少标定的操作时间、提高稳定性，实现了快速、准确的图像畸变校正。

本发明采用的技术方案是一种基于非度量的畸变校正方法，其特征是，该方法首先设计一种基于共线特性的特征点标定物，标定物特征点分布于两个非共面平面，在非共面平面上设计共线特征点，且形成的共线直线要保持相互平行；然后通过双目相机和工作站采集所设计的标定物图像，并完成共线特征点的自动识别，最后基于直线约束对图像畸变进行有效校正；方法的具体步骤如下：

第一步，标定物的特征点分布设计

为保证特征点具有一定的深度信息，特征点分布于两个非共面平面，在非共面平面上设计共线特征点，且形成的共线直线要保持相互平行，每行特征点数据量相同；标定物4的特征点采用圆形标志点，根据测量现场的视场范围，合理选择每行n个共线特征点，共N个特征点；利用左右相机1、2和工作站3采集所设计的特征点图像；

第二步，共线特征点的自动识别

为识别共线点，采用基于区域圆内迭代优化的共线特征点识别法，具体过程如下：

1)从图像获取的特征点集N[(x₁，y₁),(x₂，y₂),...,(x_q，y_q),...,(x_N，y_N)]中，任取一点q(x_q，y_q)，通过霍夫变换在霍夫空间内构成直线b＝-x_qa+y_q；

2)该直线b＝-x_qa+y_q与其余N-1个点在霍夫空间内的所构成直线分别交点为(a_q1，b_q1),(a_q2，b_q2),...,(a_q(q-1)，b_q(q-1)),(a_q(q+1)，b_q(q+1)),...,(a_qN，b_qN)；

3)以其中某一点(a_qi，b_qi)，i∈[1,N]且i≠q为圆心，向外作半径为R_qi的圆，使得此时有n-2个其余交点被包含在该圆内，包含圆弧；

4)遍历i＝1到i＝N，i≠q情况下所有的R_qi，计算最小半径R_qm，保存与其对应的圆心(a_qm，b_qm)与包含在最小圆内的n-2个交点[(a_qin1，b_qin1),(a_qin2，b_qin2),...,(a_qin(n-2)，b_qin(n-2))]；于是，这n-1个交点所对应的笛卡尔坐标系下的点[(x_q，y_q),(x_in1，y_in1),(x_in2，y_in2),...,(x_in(n-2)，y_in(n-2))]即为识别出来的与(x_q，y_q)共线的特征点；

5)将第二步4)中识别出来的共线特征点从总特征点集合中删除，重复第二步中的1)-4)步，直到识别出各行共线特征点；

第三步，基于直线约束的畸变校正

对大视场图像其畸变主要由径向畸变与切向畸变组成，因此本方法针对图像的径向与切向畸变进行校正；假设投影到成像平面的点为p'，由于畸变影响，其实际提取所得点为p；其中，p点在光心坐标系下的极坐标为笛卡尔坐标为p'的在光心坐标系下的极坐标为笛卡尔坐标为其畸变模型如下：

对于径向畸变：径向畸变只使得图像中的点沿径向产生畸变，表现为将点沿着径向拉向或远离光心，在笛卡尔坐标下径向畸变用公式(1)表示：

其中，Δr(p)为在p位置上的径向畸变；C_2i+1为径向畸变系数，由于高次项对于畸变影响过小，忽略了大于5次的高次项，则径向畸变变为如下形式：

Δr(p)≈C₃r³+C₅r⁵ (2)

对于切向畸变：切向畸变是由于镜头的非正交性构造所产生，使用Conrady模型描述切向畸变：

其中，ΔT_x和ΔT_y分别为在p点处沿x和y方向的切向畸变；P₁、P₂、P_i+2为切向畸变系数；同样地，高次项P_i+2可忽略不计；

根据所设计的特征点的直线信息，引入直线约束对标定特征点进行畸变校正；选取一行尚未进行非度量校正的平行共线点并令畸变系数初值[C₃,C₅,P₁,P₂]＝[0,0,0,0]，通过上述畸变模型校正后获得新点集采用最小二乘法拟合所共直线方程{l}，根据共线特征点布置方案，可知共有N/n组共线点，每组n个特征点相互共线；通过迭代搜索算法，最小化各组共线点与其拟合直线{l}的平方距离之和e_l，利用公式(5)最终获得畸变系数[C₃,C₅,P₁,P₂]；

其中，是拟合直线l与光心坐标系横轴的夹角，r_l为拟合直线l到光心的距离，实现图像的畸变校正。

本发明的有益效果是该方法采用一种基于共线特性的特征点标定物，然后通过相机和工作站采集所设计的特征点图像，并实现共线特征点的自动识别，最后基于直线约束对图像畸变进行有效校正。此方法仅利用特征点的直线信息构建标定物的特征信息，克服了传统标定方法所需的大尺寸高精度标定物制造困难、成本高等问题，无需大尺寸具有准确特征点间距离的标定物。并通过特征点的自动识别减少标定的操作时间、提高稳定性，实现了图像畸变的快速、准确校正，具有标定物制造简单、标定效率高、鲁棒性好等特点。

附图说明

图1是非度量畸变校正***示意图，其中，1-左相机，2-右相机，3-工作站，4-标定物。

图2是基于非度量的畸变校正方法的流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

本实施例的双目视觉***中左右相机为韩国Vieworks公司生产的VC-12MC-M/C65相机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps。镜头型号为EF16-35mmf/2.8LIIUSM，镜头焦距：f＝16-35，APS焦距：25.5-52.5，光圈：F2.8。拍摄条件如下：图片像素为4096×3072，镜头焦距为35mm，工作距离1.5m，视场大小约为1000×1200mm。

本发明首先设计一种基于共线特性的特征点标定物4，为保证特征点具有一定的深度信息，特征点分布于两个非共面平面，在非共面平面上设计共线特征点，形成的共线直线尽量保持相互平行，每行特征点数据量相同。本实施例中，标定物的特征点分布于两个非共面平面，如图1所示。标定物的特征点采用直径为6mm的圆形标志点，每行特征点为19个，标定物共有304个特征点，然后通过左、右相机1、2和工作站3采集所设计的特征点图像，并完成共线特征点的自动识别，最后基于直线约束对图像畸变进行有效校正。

图2是基于非度量的畸变校正方法的流程图，方法的具体步骤如下：

第一步，标定物的特征点分布设计

在非共面平面上设计共线特征点，且要保证共线直线相互平行，每行特征点数量相同。根据测量现场的视场范围，选择每行n＝19个共线特征点，有16行共线点，共计N＝304个特征点；采用双目相机和工作站同步采集所设计的特征点图像。

第二步，共线特征点的自动识别

采用灰度重心法提取特征点圆心的图像像素坐标，基于区域圆内迭代优化方法完成共线特征点的识别与匹配，具体过程如下：

1)从图像获取的特征点集N[(x₁，y₁),(x₂，y₂),...,(x_q，y_q),...,(x_N，y_N)]中，任取一点q(x_q，y_q)，通过霍夫变换在霍夫空间内构成直线b＝-x_qa+y_q；

2)该直线b＝-x_qa+y_q与其余N-1个点在霍夫空间内的所构成直线分别交点为(a_q1，b_q1),(a_q2，b_q2),...,(a_q(q-1)，b_q(q-1)),(a_q(q+1)，b_q(q+1)),...,(a_qN，b_qN)；

3)以其中某一点(a_qi，b_qi)(i∈[1，N]且i≠q)为圆心，向外作半径为R_qi的圆，使得此时有n-2个其余交点被包含在该圆内，包含圆弧；

4)遍历i＝1到i＝N，i≠q情况下所有的R_qi，计算最小半径R_qm，保存与其对应的圆心(a_qm，b_qm)与包含在最小圆内的n-2个交点[(a_qin1，b_qin1),(a_qin2，b_qin2),...,(a_qin(n-2)，b_qin(n-2))]。于是，这n-1个交点所对应的笛卡尔坐标系下的点[(x_q，y_q),(x_in1，y_in1),(x_in2，y_in2),...,(x_in(n-2)，y_in(n-2))]即为识别出来的与(x_q，y_q)共线的特征点；

5)将第二步4)中识别出来的共线特征点从总特征点集合中删除，重复第二步中的1)-4)步，直到识别出各行共线特征点；

第三步，基于直线约束的畸变校正

根据公式(1)、(2)建立径向畸变模型，根据公式(3)、(4)建立切向畸变模型。

根据所设计的特征点的直线信息，引入直线约束对标定特征点进行畸变校正；选取一行尚未进行非度量校正的平行共线点并令畸变系数初值[C₃,C₅,P₁,P₂]＝[0,0,0,0]，通过上述畸变模型校正后获得新点集采用最小二乘法拟合所共直线方程{l}，根据共线特征点布置方案，可知共有16行共线点，每行19个特征点相互共线；根据公式(5)，通过迭代搜索算法，最小化各组共线点与其拟合直线{l}的平方距离之和e_l，可最终获得畸变系数[C₃,C₅,P₁,P₂]。采用以上方法分别对左右相机的畸变系数进行标定，实现图像的畸变校正。

畸变校正前特征点坐标提取结果与非度量校正后特征点坐标结果如表1所示：

表1

该方法仅利用特征点的直线信息构建标定物的特征信息，实现了图像畸变的快速，准确校正。

Claims (1)

1.一种基于非度量的畸变校正方法，其特征是，该方法首先设计一种基于共线特性的特征点标定物，标定物的特征点分布于两个非共面平面，在非共面平面上设计共线特征点，且形成的共线直线要保持相互平行；然后通过双目相机和工作站采集所设计的标定物图像，并完成共线特征点的自动识别，最后基于直线约束对图像畸变进行有效校正；方法的具体步骤如下：

第一步，标定物的特征点分布设计

为保证特征点具有一定的深度信息，标定物(4)的特征点分布在两个非共面平面上，在非共面平面上设计共线特征点，且形成的共线直线要保持相互平行，每行特征点的数据量相同；标定物的特征点采用圆形标志点，根据测量现场的视场范围，合理选择每行n个共线特征点，共N个特征点；利用左、右相机(1、2)和工作站(3)采集所设计的特征点图像；

第二步，共线特征点的自动识别

为识别共线特征点，采用基于区域圆内迭代优化的共线特征点识别法，具体过程如下：

1)从图像获取的特征点集N[(x₁,y₁),(x₂,y₂),...,(x_q,y_q),...,(x_N,y_N)]中，任取一点q(x_q,y_q)，通过霍夫变换在霍夫空间内构成直线b＝-x_qa+y_q；

2)该直线b＝-x_qa+y_q与其余N-1个点在霍夫空间内的所构成直线分别交点为(a_q1,b_q1),(a_q2,b_q2),...,(a_q(q-1),b_q(q-1)),(a_q(q+1),b_q(q+1)),...,(a_qN,b_qN)；

3)以其中某一点(a_qi,b_qi)，i∈[1,N]且i≠q为圆心，向外作半径为R_qi的圆，使得此时有n-2个其余交点被包含在该圆内，包含圆弧；

4)遍历i＝1到i＝N，i≠q情况下所有的R_qi，计算最小半径R_qm，保存与其对应的圆心(a_qm,b_qm)与包含在最小圆内的n-2个交点[(a_qin1,b_qin1),(a_qin2,b_qin2),...,(a_qin(n-2),b_qin(n-2))]；于是，这n-1个交点所对应的笛卡尔坐标系下的点[(x_q,y_q),(x_in1,y_in1),(x_in2,y_in2),...,(x_in(n-2),y_in(n-2))]即为识别出来的与(x_q,y_q)共线的特征点；

5)将第二步4)中识别出来的共线特征点从总特征点集合中删除，重复第二步中的1)-4)步，直到识别出各行共线特征点；

第三步，基于直线约束的畸变校正

对大视场图像其畸变由径向畸变与切向畸变组成，针对图像的径向与切向畸变进行校正；假设投影到成像平面的点为p'，由于畸变影响，其实际提取所得点为p；其中，p点在光心坐标系下的极坐标为笛卡尔坐标为p'的在光心坐标系下的极坐标为笛卡尔坐标为

对于径向畸变：径向畸变只使得图像中的点沿径向产生畸变，表现为将点沿着径向拉向或远离光心，在笛卡尔坐标下径向畸变Δr(p)为：

其中，Δr(p)为在p位置上的径向畸变；C_2i+1为径向畸变系数，由于高次项对于畸变影响过小，忽略了大于5次的高次项，则径向畸变变为如下形式：

Δr(p)≈C₃r³+C₅r⁵ (2)

对于切向畸变：切向畸变是由于镜头的非正交性构造所产生，使用Conrady模型描述切向畸变：

其中，ΔT_x和ΔT_y分别为在p点处沿x和y方向的切向畸变；P₁、P₂、P_i+2为切向畸变系数；同样地，高次项P_i+2忽略不计；

根据所设计的特征点的直线信息，引入直线约束对标定特征点进行畸变校正；选取一行尚未进行非度量校正的平行共线点并令畸变系数初值[C₃,C₅,P₁,P₂]＝[0,0,0,0]，通过上述畸变模型校正后获得新点集采用最小二乘法拟合所共直线方程{l}，根据共线特征点布置方案，共有N/n组共线点，每组n个特征点相互共线；通过迭代搜索算法，最小化各组共线点与其拟合直线{l}的平方距离之和e_l，利用公式(5)最终获得畸变系数[C₃,C₅,P₁,P₂]；

其中，是拟合直线l与光心坐标系横轴的夹角，r_l为拟合直线l到光心的距离，实现了图像的畸变校正。