CN105844584B - 校正鱼眼镜头图像畸变的方法 - Google Patents

Abstract

本发明提供一种校正鱼眼镜头图像畸变的方法，其采用主光轴、空间物点的主光线、虚拟投影物面、第一个光学表面、鱼眼镜头、像面、第i个光学表面、第i+1个光学表面与最后一个光学表面，虚拟投影物面垂直于鱼眼镜头的主光轴，像面是鱼眼镜头的成像面，垂直于主光轴，空间物点的主光线经过虚拟投影物面、鱼眼镜头的第一个光学表面、第i个光学表面、第i+1个光学表面，最后达到像面，第一个光学表面为鱼眼镜头第一个透镜的第一个光学表面，第i个光学表面、第i+1个光学表面分别为鱼眼镜头的第i光学表面与第i+1个光学表面；空间物点的主光线经过虚拟投影物面，交于虚拟投影物面上。本发明可以获取物像径向高度关系，利用该关系对畸变图像进行校正，校正效果理想，方法简单，原理清晰，可很好应用于很多领域。

Description

校正鱼眼镜头图像畸变的方法

技术领域

本发明涉及畸变图像处理技术领域，特别是涉及一种校正鱼眼镜头图像畸变的方法。

背景技术

在监控、军事、医疗智能导航等领域，有大视场甚至超大视场角的需求，常规视场角已经不能满足现在这些领域的要求，鱼眼镜头视场角能达到180°、270°甚至320°。但是鱼眼镜头摄像机拍摄的图像具有非常严重的畸变，如果要利用这些具有严重变形图像的信息，就需将这些变形图像校正展开为人们所习惯的透视投影图像。不同光学结构的镜头适合于不同的矫正模型，通常为不同类型鱼眼镜头来选择适合的矫正模型比较困难，模型较复杂；应用标定的方法校正鱼眼图像畸变，需要制定精确的标定板以及对镜头与相机的内、外部参数进行标定，过程相对繁琐。

发明内容

本发明所要解决的技术问题是提供一种校正鱼眼镜头图像畸变的方法，其可以获取物像径向高度关系，利用该关系对畸变图像进行校正，校正效果理想，方法简单，原理清晰，可很好应用于很多领域。

本发明是通过下述技术方案来解决上述技术问题的：一种校正鱼眼镜头图像畸变的方法，其特征在于，其采用主光轴、空间物点的主光线、虚拟投影物面、第一个光学表面、鱼眼镜头、像面、第i个光学表面、第i+1个光学表面与最后一个光学表面，虚拟投影物面垂直于鱼眼镜头的主光轴，像面是鱼眼镜头的成像面，垂直于主光轴，空间物点的主光线经过虚拟投影物面、鱼眼镜头的第一个光学表面、第i个光学表面、第i+1个光学表面，最后达到像面，第一个光学表面为鱼眼镜头第一个透镜的第一个光学表面，第i个光学表面、第i+1个光学表面分别为鱼眼镜头的第i光学表面与第i+1个光学表面；空间物点的主光线经过虚拟投影物面，交于虚拟投影物面上，坐标为P”(x”，y”)，空间物点经过鱼眼镜头成像后，在像面x’o’y’上对应像点P’(x’，y’)；一般切向畸变要比径向畸变小得多，往往可以忽略切向畸变对图像的影响，仅研究径向畸变给鱼眼图像带来的变形，因此，θ₁＝θ₂；利用空间物点的主光线追迹获取h_i＝f(h₀)关系，其中h_i为像面上像点径向高度O’P’，h₀为像面上像点径向高度O”P”；利用傅里叶正弦级数进行函数拟合，再求反函数求得h₀＝f^-1(h_i)，然后利用该关系进行像素点坐标映射求解，得到校正后图像像素点坐标，达到校正的目的，i为自然数，代表序数。

优选地，所述虚拟投影物面中，空间物点在虚拟投影物面上投影点P”(x”，y”)，虚拟投影物面上投影点径向距离是目标求取的距离。

优选地，所述校正鱼眼镜头图像畸变的方法利用空间物点P(x₀，y₀)的主光线追迹的方式获取物像径向关系h_i＝f(h₀)。

优选地，所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系之后利用傅里叶正弦级数拟合该关系曲线。

优选地，所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系之后利用求反函数获取目标径向高度表达式h₀＝f^-1(h_i)。

优选地，所述校正鱼眼镜头图像畸变的方法利用该关系h₀＝f^-1(h_i)进行像素点的校正。

本发明的积极进步效果在于：本发明可以获取物像径向高度关系，利用该关系对畸变图像进行校正，校正效果理想，方法简单，原理清晰，可很好应用于很多领域。本发明利用主光线追迹的方式获取物像径向高度关系，从而进行鱼眼镜头图像畸变校正。本发明利用主光线追迹的方式获取虚拟投影物面与像面上物像径向高度关系，利用傅里叶正弦级数拟合与反演方法求得目标无畸变图像像素点坐标与畸变图像像素点坐标对应关系，从而进行畸变校正。提出虚拟投影物面这一概念，将物体的真实空间位置进一步转化为投影在虚拟投影的物面上面；这样就可以获得虚拟投影物面与像面之间的径向高度的关系；然后利用上述关系可以获得投影平面与像平面像素坐标点之间的对应关系，然后进行畸变校正。该方法具有有效性，径向高度误差控制在一定范围内，拍摄鱼眼镜头畸变图像能达到较好的校正效果，能促进鱼眼镜头在目标识别、大视场监控等机器视觉领域的应用。

附图说明

图1为本发明校正鱼眼镜头图像畸变的方法的鱼眼镜头成像模型图。

图2为本发明校正鱼眼镜头图像畸变的方法中主光线经过第i与第i+1个光学表面示意图。

图3为本发明校正鱼眼镜头图像畸变的方法中主光线经过第一个光学表面示意图。

图4是为本发明校正鱼眼镜头图像畸变的方法中主光线经过最后一个光学表面示意图。

图5是为本发明校正鱼眼镜头图像畸变的方法目标无畸变图像像素点与畸变图像像素点坐标对应示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1-图5所示，本发明校正鱼眼镜头图像畸变的方法采用主光轴1、空间物点P(x₀，y₀)的主光线2、虚拟投影物面3、第一个光学表面4、鱼眼镜头5、像面6、第i个光学表面7、第i+1个光学表面8，虚拟投影物面3垂直于鱼眼镜头5的主光轴1，像面6是鱼眼镜头的成像面且垂直于主光轴，空间物点P(x₀，y₀)的主光线2经过鱼眼虚拟投影物面3、第一个光学表面4、第i个光学表面7、第i+1个光学表面8，最后达到像面6，第一个光学表面4为鱼眼镜头第一个透镜的第一个光学表面，第i个光学表面7、第i+1个光学表面8分别为鱼眼镜头的第i光学表面7与第i+1个光学表面8。空间物点P(x₀，y₀)的主光线2经过虚拟投影面，交于虚拟投影物面3(即x”o”y”)上，坐标为P”(x”，y”)，空间物点经过鱼眼镜头成像后，在成像平面x’o’y’上对应像点P’(x’，y’)。一般切向畸变要比径向畸变小得多，往往可以忽略切向畸变对图像的影响，仅研究径向畸变给鱼眼图像带来的变形，θ₁代表虚拟投影物面上投影点极坐标角度，θ₂代表像面上投影点的角度，因此，θ₁＝θ₂。利用空间物点P(x₀，y₀)的主光线2追迹获取h_i＝f(h₀)关系，其中h_i为像面上像点径向高度O’P’，h₀为像面上像点径向高度O”P”。利用傅里叶正弦级数进行函数拟合，再求反函数求得h₀＝f^-1(h_i)，然后利用该关系进行像素点坐标映射求解。i为自然数。

下面是具体实现物像像素点坐标关系的推导：

在图2中，主光线M_i-1O_iO_i+1交第i个面于O_i，第i+1个面于O_i+1；光线O_iO_i+1的反向延长线交光轴于M_i点。其中C_i为第i个光学表面的曲率中心，D_i为第i个面与对称轴交点。O_iM_i和光轴的夹角为ω_i，光轴逆时针旋转到O_iM_i角度符号规定为正，反之为负。第i个光学面的入射角和折射角分别为α_i和β_i，由法线逆时针转到光线时角度规定为正，反之为负。光学***中第i个面的半径用r_i表示，曲率中心在光学面顶点的右侧时，r_i规定为正，反之为负。

在图2所示的△M_iO_iC_i中，如下式(1)和(2)：

将式(1)代入到式(2)，化简之后即可得到主光线的角度传输方程，如下式(3)和(4)：

对于主光线打在第一个光学表面时，即i＝0,如下式(5)：

从第一个光学面开始，应用主光线传输方程表达式(3)-(5)对鱼眼镜头***中的光学面逐个进行计算，直到求出最后光学面的像方视场角ω_l，结果就可以得到ω_l与ω₀、β_l与ω₀之间的关系，如下式(6)：

ω_l＝f₁(ω₀)，β_l＝f₂(ω₀) (6)

设虚拟物平面距离第一个光学面顶点的距离为d₀，虚拟物点P”距离光轴的径向位置为h₀，如图3所示，如下式(7)：

h₀＝(L_p(ω₀)+d₀)tanω₀ (7)

L_p(ω0)是定义视场角为ω₀时主光线的初始入射位置，主光线能通过光路中孔径光阑的中心，一般L_p(ω0)可以应用自孔径光阑处逆向追迹主光线的过程来确定。

图4表示主光线通过鱼眼镜头最后光学面9，并在像面上相交于像点P’，其中d_l为像距，h_i为像高，最后光学面的曲率半径为r_l，C_l是它的曲率中心，D_l是它与光轴的交点。在△M_lO_lC_l中，有如下式(8)：

像点的径向位置h_i的计算表达式如下式(9)：

由表达式(6)、(7)和(9)，就可以求出像点的径向位置h_i和虚拟物面上物点的径向位置h₀的函数关系式如下式(10)：

h_i＝f(h₀) (10)

得到上述像点的径向位置h_i和虚拟物面物点的径向位置h₀的函数关系式(10)后，求得它的反函数为如下式(11)：

h₀＝f^-1(h_i) (11)

从而还原出真实物点在虚拟物面上的的径向分布。在图1中，有限远平面物体成像后，要反演像平面x’o’y’上某一成像点P’(x’,y’)，先要将直角坐标转换为极坐标，如下式(12)：

θ₂＝arctan(y'/x')(12)

由表达式(11)求出对应虚拟物点P”在虚拟物面x”o”y”的径向坐标h₀，其直角坐标投影坐标P”(x”,y”)为如下式(13)：

虚拟物面上的坐标点即为校正图像的目标获取点，坐标点P’(x’,y’)与P”(x”,y”)分别对应畸变图像与校正后图像像素点的值。校正后的P”(x”,y”)像素点的值通过表达式(13)映射到与之对应的像素点P’(x’,y’)赋值，实现校正图像像素的填充。

在图5中，畸变过程的逆过程就是像素点校正过程，校正后的P”(x”,y”)像素点的值通过表达式(13)映射到与之对应的像素点P’(x’,y’)赋值，实现校正图像像素的填充。径向高度之间的函数关系始终是本文研究的重点。目的就是找到像点的径向位置h_i和虚拟物面物点的径向位置h₀的函数关系，h_i＝f(h₀)，特可以通过数值拟合来得到，其中数值拟合需要按照像点的径向位置h_i和虚拟物面物点的径向位置h₀的函数关系，h_i＝f(h₀)，图像曲线的分布情况而定，其目的就是减小误差。

所述虚拟投影物面中，物点P(x₀,y₀)在其上面的点P”(x”,y”)，其径向距离是目标求取的距离。

所述校正鱼眼镜头图像畸变的方法利用主光线追迹的方式获取物像径向关系h_i＝f(h₀)。

所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系h_i＝f(h₀)之后利用傅里叶正弦级数拟合。

所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系之后h_i＝f(h₀)利用求反函数获取目标径向高度表达式h₀＝f^-1(h_i)。

所述校正鱼眼镜头图像畸变的方法利用该关系进行像素点的校正。

本发明的校正鱼眼镜头图像畸变的方法解决从鱼眼畸变图像中获取重要信息部分，将畸变部分校正成符合人眼观察的图像。最大限度减少校正的算法复杂度，本发明公开一种利用主光线追迹的方式获取虚拟投影物面与像面上物像径向高度关系，方法简单，只需要各个光学表面的半径、光学元件之间的距离以及物距像距和每个光学元件的折射率这几个参数，利用主光线追迹的方式获取物像径向高度关系曲线，利用傅里叶正弦级数拟合与反演方法求得目标无畸变图像像素点坐标与畸变图像像素点坐标对应关系，从而进行畸变校正。该方法具有有效性，径向高度误差控制在一定范围内，拍摄鱼眼镜头畸变图像能达到较好的校正效果。能促进鱼眼镜头在目标识别、大视场监控等机器视觉领域的应用。本发明可以获取物像径向高度关系，利用该关系对畸变图像进行校正，校正效果理想，方法简单，原理清晰，可很好应用于很多领域。本发明针对现有技术存在的问题和不足，解决从鱼眼畸变图像中获取重要信息部分，将畸变部分校正成符合人眼观察的图像。最大限度减少校正的算法复杂度，本发明公开一种利用空间物点P(x₀,y₀)的空间物点P(x₀,y₀)的主光线追迹的方式获取虚拟投影物面与像面上物像径向高度关系，利用傅里叶正弦级数拟合与反演方法求得目标无畸变图像像素点坐标与畸变图像像素点坐标对应关系，从而进行畸变校正，方法简单，只需要各个光学表面的半径、光学元件之间的距离以及物距像距和每个光学元件的折射率这几个参数，利用空间物点P(x₀,y₀)的主光线追迹便能得到物像径向高度关系，能获得很好的校正效果。现有问题主要是鱼眼镜头摄像机拍摄的图像具有非常严重的畸变，如果要利用这些具有严重变形图像的信息，就需将这些变形图像校正展开为人们所习惯的透视投影图像。不同光学结构的镜头适合于不同的矫正模型，通常为不同类型鱼眼镜头来选择适合的矫正模型比较困难，模型较复杂，应用标定的方法校正鱼眼图像畸变，需要制定精确的标定板以及对镜头与相机的内、外部参数进行标定，过程相对繁琐。

本领域的技术人员可以对本发明进行各种改型和改变。因此，本发明覆盖了落入所附的权利要求书及其等同物的范围内的各种改型和改变。

Claims (6)

1.一种校正鱼眼镜头图像畸变的方法，其特征在于，其采用主光轴、空间物点的主光线、虚拟投影物面、第一个光学表面、鱼眼镜头、像面、第i个光学表面、第i+1个光学表面与最后一个光学表面，虚拟投影物面垂直于鱼眼镜头的主光轴，像面是鱼眼镜头的成像面，垂直于主光轴，空间物点的主光线经过虚拟投影物面、鱼眼镜头的第一个光学表面、第i个光学表面、第i+1个光学表面，最后达到像面，第一个光学表面为鱼眼镜头第一个透镜的第一个光学表面，第i个光学表面、第i+1个光学表面分别为鱼眼镜头的第i光学表面与第i+1个光学表面；空间物点的主光线经过虚拟投影物面，交于虚拟投影物面上，坐标为P”(x”，y”)，空间物点经过鱼眼镜头成像后，在像面x’o’y’上对应像点P’(x’，y’)；切向畸变要比径向畸变小得多，忽略切向畸变对图像的影响，仅研究径向畸变给鱼眼图像带来的变形，θ₁代表虚拟投影物面上投影点极坐标角度，θ₂代表像面上投影点的角度，因此，θ₁＝θ₂；利用空间物点的主光线追迹获取h_i＝f(h₀)关系，其中h_i为像面上像点径向高度O’P’，h₀为像面上像点径向高度O”P”；利用傅里叶正弦级数进行函数拟合，再求反函数求得h₀＝f^-1(h_i)，然后利用该关系进行像素点坐标映射求解，得到校正后图像像素点坐标，达到校正的目的，i为自然数，代表序数；

从第一个光学面开始，对鱼眼镜头***中的光学面逐个进行计算，直到求出最后光学面的像方视场角ω_l，结果得到ω_l与ω₀、β_l与ω₀之间的关系，如下式(6)：

ω_l＝f₁(ω₀)，β_l＝f₂(ω₀) (6)

设虚拟物平面距离第一个光学面顶点的距离为d₀，虚拟物点P”距离光轴的径向位置为h₀，如下式(7)：

h₀＝(L_p(ω₀)+d₀)tanω₀ (7)

L_p(ω₀ )是定义视场角为ω₀时主光线的初始入射位置，主光线能通过光路中孔径光阑的中心，L_p(ω₀)应用自孔径光阑处逆向追迹主光线的过程来确定；

像点的径向位置h_i的计算表达式如下式(9)：

由表达式(6)、(7)和(9)，求出像点的径向位置h_i和虚拟物面上物点的径向位置h₀的函数关系式如下式(10)：

h_i＝f(h₀) (10)

即利用空间物点的主光线追迹获取h_i＝f(h₀)关系。

2.根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述虚拟投影物面中，空间物点在虚拟投影物面上投影点P”(x”，y”)，虚拟投影物面上投影点径向高度是目标求取的距离。

3.根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述校正鱼眼镜头图像畸变的方法利用空间物点的主光线追迹的方式获取物像径向关系h_i＝f(h₀)。

4.根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系之后利用傅里叶正弦级数拟合该关系曲线。

5.根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述校正鱼眼镜头图像畸变的方法获取物像径向高度关系之后利用求反函数获取目标径向高度表达式h₀＝f^-1(h_i)。

6.根据权利要求1所述的校正鱼眼镜头图像畸变的方法，其特征在于，所述校正鱼眼镜头图像畸变的方法利用该关系h₀＝f^-1(h_i)进行像素点的校正。