CN104182961A - 基于逆向多项式模型的鱼眼图像畸变校正方法 - Google Patents

Abstract

一种基于逆向多项式模型的鱼眼图像畸变校正方法，采用的数学手段是对正向模型建立的多项式函数表达式进行逆向Taylor级数拟合，将校正后的以像素为单位的图像坐标转换为校正前的以像素为单位的图像坐标，由于每个校正后的图像坐标必然会通过逆向校正模型对应到校正前图像中某一像素值，因此逆向校正可以成功避免校正后图像个别像素缺失的现象，从而避免了插值等额外的操作，与此同时获得较好的校正效果以及更优的实时性。本方法在保证校正精度基本不变情况下，避免了校正后图像像素缺失的现象，提高了整个校正过程的实时性，对于嵌入式***以及场地应用场合，逆向多项式校正模型优于传统的正向多项式校正模型。

Description

基于逆向多项式模型的鱼眼图像畸变校正方法

技术领域

本发明涉及图像处理和机器视觉领域，具体涉及一种基于逆向多项式模型的鱼眼图像畸变校正方法。

背景技术

由于具有大视场、短焦距等优点，鱼眼镜头可用于扩展普通针孔相机的视野范围。在机器人导航、视频会议、监视和虚拟现实等诸多计算机视觉领域，都需要使用具有较大视场的广角或鱼眼摄像机。绝大多数计算机视觉领域普遍认为摄像头遵循线性针孔模型。然而，鱼眼镜头光学***引入强烈的光学畸变，导致针孔模型的假设实际上不再成立。为了充分利用这些具有严重畸变的图像透视投影信息，需要将畸变后的图像校正为理想的线性透视投影图像。径向畸变是鱼眼镜头引入的最显著的畸变类型，在鱼眼镜头光学中体现出畸变图像的中间区域呈现出高分辨率，而在图像的边缘部分呈现图像分辨率的非线性下降。畸变校正的关键问题在于如何对鱼眼图像径向畸变进行校正。

目前对于鱼眼摄像机图像的畸变校正问题的研究主要基于传统的摄像机标定理论。鱼眼镜头标定算法是在建立鱼眼镜头畸变模型的基础上，考虑鱼眼镜头成像的主要畸变类型，尤其是径向畸变，据此建立精确的鱼眼摄像机模型并计算出相应的内参矩阵中的每个分量。摄像机标定方法主要包括照相机视觉标定、自标定以及张正友标定，都需要特制的标定模块和模板。常用的是精度高、鲁棒性强且更加灵活的张正友标定。张正友标定要求摄像机在至少两个方位上拍摄一个平面标定板，摄像机和二维平面标定板都可以自由移动，且内部参数始终保持不变。由于二维平面标定板在世界坐标系中Z=0，因此通过线性模型分析即可求解出摄像机内部参数和外部参数的优化解，然后通过最大似然估计和Levenberg-Marquardt进行非线性求精。最后采用算法简洁且实时性强的正向多项式校正模型来拟合径向畸变函数，实现鱼眼摄像机图像的畸变校正。

综上所述，鱼眼摄像机校正模型大多数采用了正向去畸变校正思路，将校正前的图像像素坐标通过校正模型转换为校正后的图像坐标。由于这种映射关系不是一一对应的，所以校正后的图像必然会导致图像的某些像素缺失，也就是空洞现象。传统的鱼眼畸变校正必然伴随着后续图像插值处理，其中包括最近邻域插值、双线性插值、双三次插值方法等等。综合来看，由于引入了插值操作，会导致算法的实时性降低，进而影响最终的校正效果。

发明内容

针对正向多项式校正算法的不足，本发明提供了基于逆向多项式模型的鱼眼图像畸变校正方法，将正向校正模型通过线性Taylor级数拟合得到了逆向多项式校正模型，通过逆向校正模型将校正后的图像坐标转换为校正前的图像坐标。实验表明这种算法有效避免了校正后图像像素缺失的现象，从而避免了后续的插值处理，减少了运算量的同时有效地提高了整个校正过程的实时性。逆项多项式校正模型在数学运算上只涉及到加法和乘法，十分有利于硬件实现。对于嵌入式***以及场地应用场合，逆向多项式校正算法具有明显的优势。

本发明涉及基于逆向多项式模型的鱼眼图像畸变校正方法。具体地：基于确定的正向多项式校正模型和具体的正向畸变校正参数，计算出逆向校正模型的表达式和相应的畸变校正系数，最后通过最大似然估计进行非线性求精。若校正精度下降的情况，则重新进行最大似然求精，直到校正精度满足要求。

本发明的技术方案是这样实现的：首先采用张正友标定算法计算出鱼眼摄像头的内部参数和外部参数，建立鱼眼摄像头的畸变模型，在只考虑径向畸变的情况下对鱼眼摄像头建立正向多项式畸变校正模型。由于正向多项式畸变校正模型表达式无法直接求逆，因此采用Taylor级数拟合的方法建立逆向多项式校正模型。

基于逆向多项式模型的鱼眼图像畸变校正方法，包括如下步骤：

步骤一：对鱼眼摄像机进行张正友标定，获得摄像机的内参矩阵和外参矩阵中的每个分量；

步骤二：先建立正向多项式畸变校正的r _u 和r _d 模型，在只考虑径向畸变条件下计算正向多项式模型中的校正系数。由于r _d 和r _u 建立的校正模型无法直接实现图像校正，需要将它转换为校正前后图像坐标之间的关系或者是物理坐标的关系模型。为了实现坐标转换，可以做如下假设：（1）光轴严格垂直于成像平面，主点没有偏离图像中心。这样我们可以忽略离心畸变；（2）忽略切向畸变，仅考虑径向畸变。根据几何关系，容易得到校正前后以物理单位表示的坐标系下的坐标关系，然后整理得到校正前后以像素为单位的图像坐标系下的图像坐标关系。

步骤三：对标定得到的内参、外参和正向多项式模型的校正系数采用Levenberg-Marquardt算法进行非线性求精，得到相对精确的标定参数值；

步骤四：根据正向多项式模型标定得出的优化后畸变校正参数，计算出逆向多项式校正模型的畸变校正系数；通过逆向Taylor级数对r _d 进行线性多项式拟合，容易推导出逆向模型中校正前后物理坐标系中的坐标关系，并得到逆向校正模型中的参数表达式；通过最大似然估计对内参以及畸变校正系数等参数值进行优化，即可得到待定参数的优化值。最后，可求出逆向多项式模型中含的参数。

步骤五：检验逆向校正模型的校正精度：是，则输出校正后的图像；否，则继续参数优化的过程，返回步骤三；

步骤六：输出最终的校正后图像，作为后续图像辨识、分析、处理使用。

有益效果

本发明方法充分考虑了正向多项式校正产生的像素缺失问题对校正过程实时性的影响，在保证校正精度的情况下，大幅度提高了算法的实时性，避免了图像部分像素缺失的现象，从而避免了插值处理，有效提高了校正过程的运算效率。对于嵌入式***以及场地应用场合，逆向校正算法要优于传统的校正算法。

附图说明

图1  本发明具体实施方式的方法流程图；

图2  本发明具体实施方式的鱼眼畸变图像；

图3  本发明具体实施方式的正向多项式校正效果（未插值）；

图4  本发明具体实施方式的正向多项式校正效果（已插值）；

图5  本发明具体实施方式的逆向多项式校正效果（迭代一次）；

图6  本发明具体实施方式的逆向多项式校正效果（相同视角）；

图7  本发明具体实施方式的逆向多项式校正效果（其它视角）。

具体实施方式

下面结合附图对本发明的具体实施做详细说明。

本实施方式的方法，软件环境为WINDOWS 7***，仿真环境为MATLAB2008a，流程如图1所示：

步骤一：对鱼眼摄像头进行标定。其中鱼眼摄像头的型号是PC1030，分辨率为576*720，得到的标定参数如下：

                                                 

从上面的内参矩阵分析可知，鱼眼摄像头较为重要的内参主要如下：(1)主点坐标值：u ₀  = 267.3437, v ₀  = 362.0111。单位长度像素数： dx=242.9073, dy= 245.7855。实验选取鱼眼畸变图像的分辨率为576*720像素，选取的标定板是正方形棋盘格，共包含19*15个特征点。

步骤2：建立正向多项式畸变校正模型，在只考虑径向畸变条件下算出正向多项式模型中的校正系数k _i 。忽略其它鱼眼摄像头引入的畸变形式，比如离心畸变和切向畸变，只保留径向畸变，正向多项式模型建立的r _u 和r _d 关系表达式如下：

                                                    （1）

其中k ₁ ,k ₂ ,k ₃ ……k _n 为待定优化的畸变校正参数。

根据几何关系，容易得到校正前后以物理单位表示的坐标系下的坐标关系：

                                                     （2）

其中(x, y)是校正前图像的物理坐标，(x’, y’)为校正后图像的物理坐标。将物理坐标转换为图像坐标，整理得到校正前后以像素为单位的图像坐标系下的图像坐标关系：

                                              （3）

由正向多项式模型，容易得到：

                                  （4）

   用D,d,k来简化矩阵如下：

            （5）

           利用最小二乘法容易得到k的初始表达式：

                                                       （6）

至此模型中的参数全部和摄像头的内参有关，均可以通过摄像机标定获得，因此上述公式给出的模型能够实现正向畸变校正。结合张正友标定得到的畸变校正参数k _i 的值如下：

k ₁ =0.36；k ₂ =0.38；k ₃ =0.0016；k ₄ =0.00000078；k ₅ = -1.3297*10^-10

本实施所采用的二值化的鱼眼畸变图像如图2所示。

步骤三：对标定得到的内部参数、外部参数和正向多项式畸变校正系数采用Levenberg Marquardt进行非线性求精，得到相对精确的标定参数值。以上给出的参数值都已经过优化。

步骤四：依据建立的正向多项式畸变校正模型，通过Taylor级数拟合的方法得到逆向多项式模型，根据正向多项式模型标定得出的优化后畸变校正参数k _i ，计算出逆向多项式校正模型的畸变校正系数a _i 。

通过下面逆向Taylor级数对r _d 进行线性多项式拟合：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　                                                              （7） 

容易推导出逆向模型中校正前后物理坐标系中的坐标关系： 

                                                          （8） 

以及校正前后图像坐标系中的坐标关系：

                                              （9）

计算逆向多项式校正模型的畸变校正系数a _i ，具体如下：

逆向模型中的畸变校正参数a ₁ ,a ₂ ……a _n  与正向校正模型中的畸变校正系数k ₁ ,k ₂ ,k ₃ ……k _n 之间存在特定的关系。为了寻求这种关系，令r _d 的值为自然数序列1,2….n，于是可以得到对应的r _u 的值；利用线性代数理论，将r _d 和r _u 对应值带入式(1)，即可得到线性方程的简化表达式如下：

                                                                  （10）

其中A, x, b的表达式如下：

                                        （11）

由此，可得到逆向校正模型中的参数表达式：

                                                                        （12）

通过最大似然估计对内参以及畸变校正系数等参数值进行优化，即可得到待定参数k ₁ ,k ₂ ,k ₃ ……k _n 的优化值。最后，式(12)可求出逆向多项式模型中含的参数a ₁ ,a ₂ ……a _n 。

图3显示了正向校正模型校正后的效果，由于没有做插值运算，可以清楚地看到校正后的图像中存在明显的像素缺失，也称为空洞现象。

图4显示了插值后的校正效果图，尽管和图3相比校正效果提升了很多，但由于额外引入了插值运算会导致算法的实时性下降。

依据Taylor级数拟合的方法，能够计算出a _i 的初始值，计算过程如下：（1）计算出一组r _d 和r _u 的对应关系；（2）建立Aa =b的线性方程组，其中A, a,b表达式如下：

 

（3）给出a ₁ =0.6378；a ₂ = -0.0369；a ₃ = 0.0004；a ₄ ,a ₅ 近似为0。

图5给出了第一次迭代后的校正效果，校正精度还需要进一步提高，对此我们采用最大似然估计进行优化。

图6给出了同一视角下逆向校正模型的校正效果，其中优化参数如下：a ₁ = 0.8371；a ₂ = -0.08395；a ₃ = 0.0008；a ₄ 和a ₅ 值近似为0。直观来看校正精度有所下降，但是这种方法避免了插值运算。

步骤五：检验逆向校正模型的校正精度：是，则输出校正后的图像，作为后续图像处理使用；否，则继续参数优化的过程，返回步骤三。

图7给出了其他视角下的逆向校正效果。可以看出经过反复的优化处理校正精度有所提升，但是图像向外扩散较大，损失了部分像素信息。

综上所述，基于逆向多项式的畸变校正方法实现了高效的鱼眼畸变校正过程。该方法在保证校正精度的同时，避免了后续图像插值处理，从而大幅度提高了算法的实时性和灵活性。

Claims (2)

1.基于逆向多项式模型的鱼眼图像畸变校正方法，采用的数学手段是对正向模型建立的多项式函数表达式进行逆向Taylor级数拟合，将校正后的以像素为单位的图像坐标转换为校正前的以像素为单位的图像坐标；其技术特征及优点是：（1）根据正向多项式模型标定得出的优化后畸变校正参数，计算出逆向多项式校正模型的畸变校正系数，并采用迭代方法检验逆向校正模型的校正精度；（2）每个校正后的图像坐标必然会通过逆向校正模型对应到校正前图像中某一像素值，有效避免了校正后的图像像素缺失现象（空洞现象），从而避免了插值等额外的操作，获得较好的校正效果以及更优的实时性。

2.所述的基于逆向多项式模型的鱼眼图像畸变校正方法方法，其特征在于：包括如下步骤：

步骤一：采用张正友标定算法得到鱼眼摄像头的内部参数和外部参数；

步骤二：建立正向多项式畸变校正模型，在只考虑径向畸变条件下计算出正向多项式模型中的校正系数；

步骤三：对标定得到的内参、外参和正向多项式畸变校正系数采用Levenberg-Marquardt进行非线性求精，得到相对精确的标定参数值；

步骤四：根据正向多项式模型标定得出的优化后畸变校正参数，计算出逆向多项式校正模型的畸变校正系数；

步骤五：迭代检验逆向校正模型的校正精度，满足要求则进行下一步，不满足要求则返回步骤三；

步骤六：输出校正后的图像。