CN103247030A - 基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法 - Google Patents

Abstract

车辆全景显示***为了获得180度宽视野需要采用鱼眼镜头，鱼眼镜头会存在严重变形。本发明公开一种基于前面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，本方法：(1)确定需要在鸟瞰图里显示的区域A，建立世界坐标系中对显示区域进行定位；(2)根据摄像头安装参数，得到需要显示区域在球面经纬映射坐标系中坐标B；(3)根据鱼眼镜头球面投影模型在鱼眼镜头采集原始图像中确定坐标B的位置C；(4)最后通过逆投影变换从C到A建立坐标变换关系；(5)利用双线性插值法对非整数点进行插值运算，得到车辆某一个方向完整的鸟瞰图。本发明算法实现简单，通用性强，有很强的实时性。

Description

基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法

技术领域

本发明涉及汽车电子领域，是一种鱼眼图像失真校正的方法。 

背景技术

现在，人们生活水平的不断提高，中国的汽车工业也发展迅猛，据公安部交管局的统计数据，全国机动车的保有量达到1.99亿辆左右，其中汽车大约为8500万辆。这也导致交通事故越来越多，据交通管理局和国家***统计数据得知，我国每年因为交通事故死亡日数在10万人左右，而且还呈逐年上升趋势，而在这些日益增多的交通事故中，倒车时出现的事故超过一半，这和现在越来越拥堵的城市路况和汽车司机越来越非专业化有密切的关系，在女性司机和才获得驾驶执照的驾驶员中倒车出现事故的概率更大。 

目前，倒车雷达技术已经成熟，倒车雷达装置也开始普及在所有乘用车上面，现在普及性商用车上面，倒车雷达是一个基本配置，部分微型车上面也装载了倒车雷达，可见，其技术已经相当成熟，而且成本也非常低廉，一般是车辆后保险杠上面加装四个超声波雷达探头来感知车辆后方障碍物，在驾驶室内用一个数码管来显示车辆距障碍物的距离，和相应语音来提示驾驶员，但是这样的倒车雷达不能感知到悬空高度比雷达探头高一部分的障碍物，当出现这样的障碍物就很容易出现误显示和误报而导致武道驾驶员，出现倒车事故。 

高清摄像头倒车辅助装置在现在也使用的越来越广泛，在中高级乘用车上面，该装置已经普及，在普及性乘用车的高配置中也会装在这种倒车辅助装置，该装置通过装在车尾的一个高清摄像头来拍摄车辆后方的环境信息，把拍摄的视频信息传输到驾驶室内中控台中显示器来显示车辆后方的环境信息，在显示器中会添加距离标度，用来提示驾驶员车与车后障碍物的距离，这和倒车雷达比起来，更形象，更人性化，让驾驶员对后方环境信息一目了然，从而更好的指导驾驶员倒车，减少了倒车时产生事故的概率。但是一个摄像头拍摄的图像还会存在一些盲区，侧方的障碍物无法检测。 

随着汽车技术的不断发展，一个方向的视频已经不能满足驾驶员驾驶要求，需要四个方向视频同时显示，产生一种从汽车正上方俯视全车的鸟瞰全景图，完全消除车四周环境盲区，不仅满足倒车视野需求，还能满足低俗时车辆前进时对环境的需求，消除转弯时A柱产生的盲区，使驾驶员驾驶更轻松。目前，只有在宝马X6和英菲尼迪EX35等豪华车上才引进这种全景显示***。这种全景显示***需要4路或者4路以上的摄像头输入的视频信号，这4路或者4路以上安装在车辆前后左右每个方向上面，用来感知个个方向上环境信息，然后再把 每个摄像头输入视频拼接成一个全景鸟瞰图，显示在驾驶室中控台的显示器上面。由于摄像头安装位置限制，不能安装的太高，所有每个摄像头不能采用普通透视摄像头，需要加装鱼眼镜头才能再低安装高度得到比较宽视野内环境信息，而鱼眼镜头拍摄的图像会出现严重的失真，在开始视频拼接之前需要对失真图像校正得到普通的透视视图或者鸟瞰视图，为了拼接得到清晰的全景显示图，之前对失真图像的校正必须得到比较好的透视图或鸟瞰图，这对鱼眼图像校正算法也提出了更高的要求。 

发明内容

本发明针对鱼眼镜头在汽车中运用的实际情况，鱼眼镜头安装在车上位置固定，相对大地位置参数也便于测量，基于这种运用特殊性，提出一种基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，本发明算法实现简单，通用性强，对处理器要求低，有很强的实时性。 

采用以下技术方案，来实现上述发明： 

一种基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，其特征在于以下，包含以下步骤：(1)、根据摄像头安装的位置，确定驾驶员需要看的车辆周围环境信息的范围a，并在世界坐标系和理想图像坐标系中对a进行坐标定位；(2)、根据摄像头在车上安装的位置参数，摄像头高度h，摄像头光轴的与地面的夹角α，在鱼眼镜头半球面和摄像坐标系建立几何联系，在球面经纬映射坐标系中确定a的位置坐标b；(3)、根据鱼眼镜头球面投影模型，确定球面经纬映射坐标中位置坐标b在鱼眼镜头拍摄失真图像中位置坐标c；(4)、最后根据逆投影变换，建立从a到c坐标一一对应关系；(5)、利用双线性插值运算，对得到c中非整数坐标进行插值运算，得到一幅完整清晰的鸟瞰图。 

所述步骤(1)，理想图像坐标系与世界坐标系之间相互转换，世界坐标系中显示范围a为纵向距离m米，横向距离n米；转换生成的理想图M*N，对应图像矩阵R，每一个像素于对应实际距离纵向比例为：m/M，横向比例：n/N，图像矩阵R中像素点R(i，j)对应坐标： 

$\left\{\begin{array}{c}\mathrm{Px}=j*n/N-n/2\\ \mathrm{Py}=m/2-i*m/M\end{array}\right.---(1-1)$

所述步骤(2)，根据摄像头安装参数，在球面经纬坐标系中确定显示区域a，中坐标P(Px，Py)在经纬坐标系中球面坐标(θ，Ф)： 

$\left\{\begin{array}{c}\mathrm{\θ}=H(\mathrm{Px},\mathrm{Py})\\ \mathrm{\Φ}=G(\mathrm{Px},\mathrm{Py})\end{array}\right.---(1-2)$

其中，θ＝H(Px，Py)和Ф＝G(Px，Py)这两个函数需要根据摄像头安装在车具体的位置，前后左右四个方向都不一样，安装高度和光轴都不一样，需要根据具体的位置来建立相应映射关系即H和G函数。 

所述步骤(3)，基于球面投影模型，鱼眼图像生成光学原理，来得到球面坐标(θ，Ф)和鱼眼原图像中坐标R′(I，J)的变换关系： 

$\left\{\begin{array}{c}I=f*\sin \left(\mathrm{\θ}\right)\cos \left(\mathrm{\Φ}\right)\\ J=f*\sin \left(\mathrm{\θ}\right)*\sin \left(\mathrm{\Φ}\right)\end{array}\right.---(1-3)$

其中，f是摄像头焦距，在实践中去半球半径r。 

所述步骤(4)，图像经过几次坐标系转换，从需要显示图像矩阵R到世界坐标系，再到球面经纬坐标系，最后到达鱼眼镜头拍摄的原图像坐标系R′，最后在图像矩阵R和R′建立一种转换关系： 

$\left\{\begin{array}{c}I=f(i,j)\\ J=g(i,j)\end{array}\right.---(1-4)$

其中，函数f和函数g是图像从理想图形到原始图像逆变换的关系函数。 

所述步骤(5)，从图像矩阵R(i，j)中图像坐标到原始图像R′(I，J)的变换结果(I，J)中I和J都不一定是整数，而实践表明I和J绝大都是小数，在这种情况下，采用双线性插值法，对非整数像素点进行插值运算。 

附图说明：

图1是坐标映射关系图。 

图2是单位球和经纬坐标系关系图 

图3是双线性插值运算的示意图 

图4是前摄像头安装示意图 

图5是前方摄像头与需要提取区域的投影关系 

具体实施方式

一、跟据摄像头安装位置，和车声几何参数，在世界坐标系里面确定需要监测的范围，以前车辆前方为例子，如图4所示，需要在驾驶室内显示器显示前方长m米，宽n米，(车辆行驶方向为矩形长边)，跟据在显示器里面显示图像分辨率的信息，然后对显示图像和现实图像之间坐标系进行变换，如式(1-1)。 

二、得到现实世界坐标P(Px，Py)之后，根据摄像头在车上安装的位置参数，摄像头高度h，摄像头光轴的与地面的夹角α，在鱼眼镜头半球面和摄像坐标系建立几何联系，在球面经纬映射坐标系中确定P点在球面经纬中坐标(θ，Ф)，式(1-2)引进H和G函数来代表两者之间变换关系，下面就安装在车前方摄像头为例来推导H和G函数，如图5，所示，XYZ是世界坐标系，矩形ABCD是需要显示的区域，MG既z轴是鱼眼镜头光轴，坐标系xGy是鱼眼镜头内部图像平面的平行面，由图可知△GPM中∠GMP是P点对应的纬度Ф，P点在平面xGy内以平行z轴的方向上进行投影，投影点和G点连线和x轴夹角就是经纬θ，根据几何关系可以推到出H和G函数，如下： 

$\mathrm{\Φ}=\arccos \left(\frac{{\left(\frac{h}{\sin \mathrm{\α}}\right)}^2+[h^2+{\left(\mathrm{Px}\right)}^2+{(\mathrm{Py}+\frac{h}{\tan \mathrm{\α}})}^2]-{\left(\mathrm{Px}\right)}^2-\left(\mathrm{Py}\right)^2}{2\left(\frac{h}{\sin \mathrm{\α}}\right)\sqrt{h^2+{\left(\mathrm{Px}\right)}^2+{(\mathrm{Py}+\frac{h}{\tan \mathrm{\α}})}^2}}\right)---(1-5)$

$\mathrm{\&theta;}=\left\{\begin{array}{cc}\mathrm{\&pi;}/2+\mathrm{ar}\cos \left(\frac{\mathrm{Px}}{\sin \mathrm{\&Phi;}\sqrt{h^2+{\left(\mathrm{Px}\right)}^2+{(\mathrm{Py}+\frac{h}{\tan \mathrm{\&alpha;}})}^2}}\right)& (\mathrm{Py}<=0)\\ \mathrm{\&pi;}/2-\mathrm{ar}\cos \left(\frac{\mathrm{Px}}{\sin \mathrm{\&Phi;}\sqrt{h^2+{\left(\mathrm{Px}\right)}^2+{(\mathrm{Py}+\frac{h}{\tan \mathrm{\&alpha;}})}^2}}\right)& (\mathrm{Px}>0)\end{array}\right.---(1-6)$

其中，式(1-5)是G函数，式(1-6)是H函数，其他三个方向根据相同的原理，也能得到相同的对应关系，这变换虽然运算起来虽然比较复杂，但是这样运算可以再pc机上面进行，最后生成一种映射表，把映射表存储到全景显示***当中，从而减少了***CPU的运算量，提高显示***的实时性。 

三、利用球面投影模型，找到球面坐标(θ，Ф)在鱼眼原图像中位置坐标R′(I，J)，式(1-3)就是鱼眼两个坐标之间对应关系。 

四、从图像矩阵R(i，j)中图像坐标到原始图像R′(I，J)的变换结果(I，J)中I和J都不一定是整数，而实践表明I和J绝大都是小数，在这种情况下，采用双线性插值法， 对非整数像素点进行插值运算，如图3所示，是双线性插值算法的原理。假设像素点R′(m，n)，m小数部分为a＝m-i，n小数部分为b＝n-j。 

则R′(m，n)＝(1-a)*(1-b)*R′(i，j)+a*(1-b)*R′(i+1，j)+(1-a)*b*R′(I，j+1)+a*b*R′(i+1，j+1) 。 

Claims (7)

1.一种基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，其特征在于以下，包含以下步骤：(1)、根据摄像头安装的位置，确定驾驶员需要看的车辆周围环境信息的范围a，并在世界坐标系和理想图像坐标系中对a进行坐标定位；(2)、根据摄像头在车上安装的位置参数，摄像头高度h，摄像头光轴的与地面的夹角α，在鱼眼镜头半球面和摄像坐标系建立几何联系，在球面经纬映射坐标系中确定a的位置坐标b；(3)、根据鱼眼镜头球面投影模型，确定球面经纬映射坐标中位置坐标b在鱼眼镜头拍摄失真图像中位置坐标c；(4)、最后根据逆投影变换，建立从a到c坐标一一对应关系；(5)、利用双线性插值运算，对得到c中非整数坐标进行插值运算，得到一幅完整清晰的鸟瞰图。 

2.根据权利要求1所述基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，其特征在于，所述步骤(1)，理想图像坐标系与世界坐标系之间相互转换，世界坐标系中显示范围a为纵向距离m米，横向距离n米；转换生成的理想图M*N，对应图像矩阵R，每一个像素于对应实际距离纵向比例为：m/M，横向比例：n/N，图像矩阵R中像素点R(i，j)对应坐标： 

。

3.根据权利要求1所述基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，其特征在于，所述步骤(2)，根据摄像头安装参数，在球面经纬坐标系中确定显示区域a，中坐标P(Px，Py)在经纬坐标系中球面坐标(θ，Ф)： 

。

4.根据权利要求3所述基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，其特征在于，θ＝H(Px，Py)和Ф＝G(Px，Py)这两个函数需要根据摄像头安装在车具体的位置，前后左右四个方向都不一样，安装高度和光轴都不一样，需要根据具体的位置来建立相应映射关系即H和G函数。 

5.根据权利要求1所述基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，其特征在于，所述步骤(3)，基于球面投影模型，鱼眼图像生成光学原理，来得到球面坐标(θ，Ф)和鱼眼原图像中坐标R′(I，J)的变换关系： 

其中，f是摄像头焦距，在实践中去半球半径r。 

6.根据权利要求1所述基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，其特征在于，所述步骤(4)，图像经过几次坐标系转换，从需要显示图像矩阵R到世界坐标系，再到球面经纬坐标系，最后到达鱼眼镜头拍摄的原图像坐标系R′，最后在图像矩阵R和R′建立一种转换关系： 

其中，函数f和函数g是图像从理想图形到原始图像逆变换的关系函数。 

7.根据权利要求1所述基于球面投影模型和逆变换模型的车辆全景显示***鱼眼图像校正方法，其特征在于，所述步骤(5)，从图像矩阵R(i，j)中图像坐标到原始图像R′(I，J)的变换结果(I，J)中I和J都不一定是整数，而实践表明I和J绝大都是小数，在这种情况下，采用双线性插值法，对非整数像素点进行插值运算。 

Images