CN107492125A - 汽车鱼眼镜头环视图像的处理方法 - Google Patents

Abstract

本发明提供了一种汽车鱼眼镜头环视图像的处理方法，汽车上的左侧、右侧、车头和车尾均设置有鱼眼镜头，包括步骤：步骤S10，获取鱼眼镜头拍摄到的带有标定板的标定图像；步骤S20，基于所述标定图像构建泰勒多项式模型函数，以计算鱼眼镜头的内外参数；步骤S30，基于所述内外参数将汽车四周各个标定版所处坐标***一到车身坐标系中，并将鱼眼镜头拍摄的实时图像进行合成以形成汽车全景图像。本发明解决了现有技术中汽车上利用鱼眼镜头实时拍摄全景图像所产生的畸变图像的技术问题。

Description

汽车鱼眼镜头环视图像的处理方法

技术领域

本发明属于汽车电子信息处理技术领域，尤其涉及一种汽车鱼眼镜头环视图像的处理方法。

背景技术

目前，现有的汽车上的摄像头大部分使用的是鱼眼镜头，鱼眼镜头属于超广角镜头，焦距小，一般满足焦距越小，对应的广角越大的规律。鱼眼镜头有相当长的景深，对于非常近到无限远物体都可以清晰成像。但是鱼眼镜头所拍摄的图片通常来说是桶形畸变的，桶形畸变的特点是图像中心畸变小，两边畸变比较大，这种畸变会影响到驾驶员对于汽车周围路况的理解，存在极大安全隐患。

因此，现有技术有待于改善。

发明内容

本发明的主要目的在于提出一种汽车鱼眼镜头环视图像的处理方法，旨在解决现有技术中汽车使用鱼眼镜头产生畸变的全景实时图像的技术问题。

为解决上述技术问题，本发明的汽车鱼眼镜头环视图像的处理方法，汽车上的左侧、右侧、车头和车尾均设置有鱼眼镜头，包括步骤：

步骤S10，获取鱼眼镜头拍摄到的带有标定板的标定图像；

步骤S20，基于所述标定图像构建泰勒多项式模型函数，以计算鱼眼镜头的内外参数；

步骤S30，基于所述内外参数将汽车四周各个标定版所处坐标***一到车身坐标系中，并将鱼眼镜头拍摄的实时图像进行合成以形成汽车全景图像。

优选地，在步骤S10之前包括步骤：

步骤S1，在汽车周边的预设位置分别放置四个标定版。

优选地，所述内外参数包括内部参数和外部参数，所述外部参数包括仿射变换矩阵A和位移向量t，内部参数包括泰勒展开多项式系数a₀，a₂，……和 a_N。

优选地，所述步骤S20包括步骤：

步骤S21，提取标定图像上的畸变点坐标信息；

步骤S22，根据畸变点坐标信息最小化所述泰勒多项式模型函数的最小值，以求解出内部参数和外部参数。

优选地，所述标定版为正方形板，正方形板上包括黑色块和白色块，每块黑色块或每块白色块不与其自身颜色相同的色块相接触。

优选地，所述步骤S30包括步骤：

步骤S31，基于所述仿射变换矩阵A将汽车四周的各个标定版对应的坐标系方向与标定版坐标系方向相同；

步骤S32，基于所述位移向量t将所述汽车四周的各个标定版对应的坐标系原点与汽车坐标系原点重合；

步骤S33，将汽车上的各个鱼眼镜头所拍摄到的实时图像进行拼接，以形成完整汽车全景图像。

本发明的汽车鱼眼镜头环视图像的处理方法具有以下有益效果：

1、降低鱼眼镜头畸变点数量；

2、计算量小，处理速度快；

3、所利用的工具结构简单，成本低。

附图说明

图1为本发明第一实施例的流程示意图；

图2为本发明第二实施例的流程示意图；

图3为本发明实施例中的步骤S20的细化步骤的流程示意图；

图4为本发明实施例中的步骤S30的细化步骤的流程示意图；

图5为本发明实施例中的步骤S33的细化步骤的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1，图1为本发明第一实施例的流程示意图。

如图1所示，本发明的汽车鱼眼镜头环视图像的处理方法，汽车上的左侧、右侧、车头和车尾均设置有鱼眼镜头，包括步骤：

步骤S10，获取鱼眼镜头拍摄到的带有标定板的标定图像；

在步骤S10中，车载终端获取安装在汽车上的左侧、右侧、车头和车尾位置的鱼眼镜头拍摄的图像，其中预先在汽车的四周，即汽车的左侧、右侧、车头前面和车尾后面分别放置用于标定的板，获取的图像包括含有标定板的标定图像。标定表示的是利用一些设备确定鱼眼镜头的传感器的输入输出关系。

步骤S20，基于所述标定图像构建泰勒多项式模型函数，以计算鱼眼镜头的内外参数；

在执行完步骤S10后，执行步骤S20，基于步骤S10获取的带有标定板的标定图像，可以通过提取标定图像上的坐标信息带入到预设在车载终端内的泰勒多项式模型函数中进行求解，而得到鱼眼镜头的内外参数。利用泰勒多项式模型函数对于鱼眼镜头内外参数求解过程中，相较于现有技术，具有步骤简单，计算量小的优势。

步骤S30，基于所述内外参数将汽车四周各个标定版所处坐标***一到车身坐标系中，并将鱼眼镜头拍摄的实时图像进行合成以形成汽车全景图像。

在执行完步骤S20之后，根据鱼眼镜头的内外参数，将四周各个标定板所处坐标系进行计算，使各个标定板所在坐标系与汽车坐标系重合，然后将鱼眼镜头实时拍摄的图像进行合成，形成完整的汽车全景图像。本实施例中，通过对鱼眼镜头进行标定，获取内外参数，并统一坐标系以形成完整的汽车全景图像，相较于现有技术，本图像处理方法计算量小，成本低，所获取的图像畸变点数量少。

参考图2，图2为本发明第二实施例的流程示意图。

如图2所示，优选地，在步骤S10之前包括步骤：

步骤S1，在汽车周边的预设位置分别放置四个标定版。

本步骤S1是在步骤S10之前执行，预先在汽车周边的预设位置分别放置四个标定板，其中，预设位置包括距离车头至少10mm位置、距离车尾至少 10mm位置、距离车左侧至少10mm位置和距离车右侧至少10mm位置。以保证各个位置的鱼眼镜头能拍摄到完整度较高的带有标定板的图像，减少对鱼眼镜头调整所耗费的时间。作为本实施例的优化，在步骤S1之前，还包括步骤：预先监测汽车轮胎的胎压，若符合预设胎压，则执行步骤S1。这样做法有利于确保汽车的胎压在正常水平，以免影响后续标定参数的准确性。

优选地，所述内外参数包括内部参数和外部参数，所述外部参数包括仿射变换矩阵A和位移向量t，内部参数包括泰勒展开多项式系数a₀，a₂，……和 a_N。本实施例对内外参数具体限定，外部参数的仿射变换矩阵A和位移向量t 和内部参数的泰勒展开多项式系数a₀，a₂，……和a_N。通过这些参数，实现坐标系的重合。下面，将对于本实施例中的外部参数的仿射变换矩阵A和位移向量t和内部参数的泰勒展开多项式系数a₀，a₂，……和a_N的计算过程进行阐述：参数A为仿射变换矩阵，描述了图像平面与理想传感器平面安装误差。位移向量t描述了鱼眼图像畸变中心的图像坐标(X_c，Y_c)的位置偏移。首先，假设 u'＝Au”+t(2-2)式中A为单位矩阵，即图像平面与理想传感器平面重合。并且假设鱼眼相机图像与光轴交点O_c与图像的中心I_c重合。即O_c＝I_c， t＝α·(O_c-I_c)＝0；根据此初始值假设，有u”＝u'，结合式g(u”,v”)＝(u”,v”,f(u”,v”))^T (2-4),f(u”,v”)＝a₀+a₁ρ”+a₂ρ”²+...+a_Nρ”^N(2-5)带入式中得到以下投影方程

此处u',v'是以图像中心I_c为原点，像素为单位的坐标。ρ'为欧氏距离。因此只需要N个参数(a₀，a₂，……和a_N)需要被估计。

标定过程是将已知几何尺寸的平面标定板放置于不同的位置拍摄图像。标定板的不同位置反映了不同的外参，即旋转矩阵R＝[r₁,r₂,r₃]和平移向量t。假设Iⁱ为某一标定板的拍摄图像,M_ij＝[X_ij,Y_ij,Z_ij]为标定板坐标系(世界坐标系) 下标定板i上角点j的坐标值，m_ij＝[u_ij,v_ij]^T为对应图像平面的像素坐标值。由于假设标定板为平面，为不失一般性，我们令Z_ij＝0，于是方程(2-9)化为

因此为了鱼眼镜头标定的求解，对不同标定板照片外部参数需要分别确定。

(1)求解相机外部参数

将(2-10)式两端分别左乘向量p_ij，消去λ得

根据(2-10)，可以得到3个齐次方程，

v_j·(r₃₁X_j+r₃₂Y_j+t₃)-f(ρ_j)·(r₂₁X_j+r₂₂Y_j+t₂)＝0 (2-12)

f(ρ_j)·(r₁₁X_j+r₁₂Y_j+t₁)-u_j·(r₃₁X_j+r₃₂Y_j+t₃)＝0 (2-13)

u_j·(r₂₁X_j+r₂₂Y_j+t₂)-v_j·(r₁₁X_j+r₁₂Y_j+t₁)＝0 (2-14)

这里X_j，Y_j和u_j，v_j已知。观察以上三式，只有(2-14)是关于r₁₁，r₁₂， r₂₁，r₂₂，t₁和t₂的线性方程。假设标定板上有L个角点，对标定板上L个角分别列写方程(2-14)，并改写为矩阵表达形式。

M·H＝0 (2-15)

其中，H＝[r₁₁,r₁₂,r₂₁,r₂₂,t₁,t₂]^T

向量H值的线性估计可以按照最小二乘准则最小化||M·H||²得到，其中满足 ||H||²＝1。这可以通过使用SVD实现。由于r₁,r₂是标准正交的，r₃₁和r₃₂也可以唯一确定。

由此得到了每个标定图像除了t₃的外参数r₁₁,r₁₂,r₂₁,r₂₂,r₃₁,r₃₂,t₁,t₂。t₃将会在后面估计投影函数的时候计算得到。

(2)求解相机的内参

前面通过公式(2-14)求解相机的外参。现在把估计的外部参数值带入方程 (2-12)和(2-13)求取用于描述成投影函数g的相机内部参数a₀，a₂，……和a_N。与此同时，计算每张标定图像的假设有K张标定板图像，我们合并(2-12)(2-13)为以下方程组

其中

最后通过使用伪逆得到超定方程的最小二乘解，得到用于描述模型的内部参数a₀,a₂,...,a_N。

参考图3，图3为本发明实施例中的步骤S20的细化步骤的流程示意图。

如图3所示，优选地，所述步骤S20包括步骤：

步骤S21，提取标定图像上的畸变点坐标信息；

步骤S22，根据畸变点坐标信息最小化所述泰勒多项式模型函数的最小值，以求解出内部参数和外部参数。

在步骤S21中，提取标定图像上的畸变点坐标信息，将各个标定板上的畸变点的中心点坐标发送到车载终端上，车载终端把中心点坐标带入到泰勒多项式模型函数中，通过迭代进行最小值运算，以求解出鱼眼镜头内部参数和外部参数。本实施例的计算步骤中，优势在于，鱼眼镜头发送的标定图像，不局限于带有完整的标定板的标定图像，适用于鱼眼镜头发送过来的不完整的带有标定板的标定图像，即所述标定图像包括不完整的标定板，通用性强和对于标定板摆放位置要求不高。

优选地，所述标定版为正方形板，正方形板上包括黑色块和白色块，每块黑色块或每块白色块不与其自身颜色相同的色块相接触。本实施例对标定板进行结构限定，以便于进行标定，黑色块和白色块的相间设置以便于对畸变点坐标信息提取。

参考图4，图4为本发明实施例中的步骤S30的细化步骤的流程示意图。

如图4所示，优选地，所述步骤S30包括步骤：

步骤S31，基于所述仿射变换矩阵A将汽车四周的各个标定版对应的坐标系方向与标定版坐标系方向相同；

步骤S32，基于所述位移向量t将所述汽车四周的各个标定版对应的坐标系原点与汽车坐标系原点重合；

步骤S33，将汽车上的各个鱼眼镜头所拍摄到的实时图像进行拼接，以形成完整汽车全景图像。

本实施例中，对统一坐标系的方法进行限定，首先将仿射变换矩阵A与各个标定板对应的坐标系相乘，即实现各个标定板对应的坐标系方向与汽车坐标系方向相同；然后将位移向量加上各个标定板对应的坐标系，即实现各个标定板对应的坐标系原点与汽车上坐标系原点重合；最后将鱼眼镜头实时拍摄的图像拼接起来，以形成完整汽车全景图像。作为本实施例的优化，参考图5，步骤S33包括步骤：

步骤S34，判断各个鱼眼镜头发送过来的实时图像是否存在重叠区域；

步骤S35，若无，则将各个鱼眼镜头所拍摄到的实时图像进行拼接，以形成完整汽车全景图像。

步骤S36，若有，则将重叠区域的像素点进行融合并把各个鱼眼镜头所拍摄的实时图像进行拼接以形成完整汽车全景图像。

本实施例中，预先将各个鱼眼镜头发送过来的实时图像进行一次模拟拼接，判断是否存在重叠区域；若有重叠区域，则将重叠区域的像素点进行融合，以达到减少像素点重叠而导致色变的技术问题，在完成像素点融合后，将各个鱼眼镜头所拍摄的实时图像进行拼接以形成完整汽车全景图像。本实施例中，避免了各个实时图像拼接后所导致的部分重叠区色深技术问题，使画面更趋于逼真和正常。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种汽车鱼眼镜头环视图像的处理方法，汽车上的左侧、右侧、车头和车尾均设置有鱼眼镜头，其特征在于，包括步骤：

步骤S10，获取鱼眼镜头拍摄到的带有标定板的标定图像；

步骤S20，基于所述标定图像构建泰勒多项式模型函数，以计算鱼眼镜头的内外参数；

步骤S30，基于所述内外参数将汽车四周各个标定版所处坐标***一到车身坐标系中，并将鱼眼镜头拍摄的实时图像进行合成以形成汽车全景图像。

2.如权利要求1所述汽车鱼眼镜头环视图像的处理方法，其特征在于，在步骤S10之前包括步骤：

步骤S1，在汽车周边的预设位置分别放置四个标定版。

3.如权利要求1所述汽车鱼眼镜头环视图像的处理方法，其特征在于，所述内外参数包括内部参数和外部参数，所述外部参数包括仿射变换矩阵A和位移向量t，内部参数包括泰勒展开多项式系数a₀、a₂、……和a_N。

4.如权利要求3所述汽车鱼眼镜头环视图像的处理方法，其特征在于，所述步骤S20包括步骤：

步骤S21，提取标定图像上的畸变点坐标信息；

步骤S22，根据畸变点坐标信息最小化所述泰勒多项式模型函数的最小值，以求解出内部参数和外部参数。

5.如权利要求1所述汽车鱼眼镜头环视图像的处理方法，其特征在于，所述标定版为正方形板，正方形板上包括黑色块和白色块，每块黑色块或每块白色块不与其自身颜色相同的色块相接触。

6.如权利要求3所述汽车鱼眼镜头环视图像的处理方法，其特征在于，所述步骤S30包括步骤：

步骤S31，基于所述仿射变换矩阵A将汽车四周的各个标定版对应的坐标系方向与标定版坐标系方向相同；

步骤S32，基于所述位移向量t将所述汽车四周的各个标定版对应的坐标系原点与汽车坐标系原点重合；

步骤S33，将汽车上的各个鱼眼镜头所拍摄到的实时图像进行拼接，以形成完整汽车全景图像。