CN106994936A - 一种3d全景泊车辅助*** - Google Patents

Abstract

本发明公开了一种3D全景泊车辅助***，是属于一种应用于汽车安全辅助驾驶领域的技术。***包括摄像头输入模块、图像校正模块、三维投影模块、图像拼接模块和图像显示模块。***是汽车周围状况的三维景像真实地展现给驾驶员，以提高汽车泊车过程中的安全性。本发明综合了多种机器视觉和数字图像处理的处理算法，融合了机器视觉领域的多项先进技术，使汽车泊车过程具有更高的安全性。

Description

一种3D全景泊车辅助***

技术领域：

本发明涉及将汽车周围状况的三维景像更真实地展现给驾驶员，以提高汽车泊车的安全性，属于汽车电子领域和机器视觉领域，尤其是涉及汽车安全辅助驾驶领域。

背景技术：

近年来，汽车产业的迅速发展，我国的汽车数量也急剧上升，同时汽车驾驶人员中非职业驾驶人员所占的比例也大量增加。在街道、车库和停车场等拥挤狭小的地方倒车时，由于常规的光学后视镜存在盲区，很容易发生刮碰。

为了解决视线盲区问题，一种传统的2D全景泊车辅助***诞生了。通过安装在车身四周的四个摄像头采集图像，并转换成鸟瞰图拼接，使驾驶员可以在驾驶室内看到车身周边区域的鸟瞰图，从而避免因倒车不当而发生碰撞。但是，这种传统的2D全景泊车辅助***是在二维平面上投影的，只可以显示鸟瞰图像，有时很难辨认障碍物；尤其是人像，由于俯视视角，人像呈点状以及影子的平面图像，这使驾驶员很难辨别，增加了泊车过程中的危险性。

为了更加真实地向驾驶员展现车辆周围三维景像的状况，3D全景泊车辅助***应运而生。在3D全景泊车辅助***中，通过安装在车身四周的四个摄像头采集图像，然后利用一整套的图像处理技术将采集的图像投影到三维曲面上，生成的影像更接近实物，可以清晰地辨别障碍物，同时没有任何的死角和盲区，大大提升了泊车的安全性。

在实现本发明的过程中，发明人发现现有技术至少存在以下几个问题：

通常情况下，3D全景泊车辅助***采用超广角镜头和鱼眼镜头，其变形和畸变难以精确校正，使形成的3D全景图存在严重变形，使景像不真实；在三维投影曲面的选择上，目前已有的三维模型呈碗型，在碗壁到底面的部分图像扭曲、形变严重；3D全景图四方向图像存在亮度不均衡，重叠区亮度不一致，并存在拼接痕迹等问题。

这些存在问题影响了用户的体验，甚至因为对景物辨识不清晰，增加了泊车中的危险性。

发明内容：

本发明的目的在于提供一种3D全景泊车辅助***，将汽车周围状况的三维景像真实地展现给驾驶员，以提高汽车泊车过程中的安全性。

为实现该目的，本发明采取以下技术方案：

本发明提供的一种3D全景泊车辅助***，所述***包括：摄像头输入模块、图像校正模块、三维投影模块、图像拼接模块和图像显示模块。

1)所述摄像头输入模块，用于实时采集汽车周边状况的图像；

将四个鱼眼摄像头分别安装于车体前后左右四个方向上，前后摄像头分别位于车前后的中心位置，左右摄像头分别位于车两侧中心的偏前方；

由于各类车型的尺寸不一样，因此摄像头安装的角度也应按车身作相应调整。设定坐标系，分别以各摄像机为原点，过原点垂直地面向上的直线为Z轴，过原点垂直车身长轴中心且垂直Z轴的直线为X轴，过原点垂直X和Z轴的直线设为Y轴，为方便说明，初始状态设置为摄像头光轴与Z轴重合，摄像机绕Y轴旋转使视野覆盖距离车身至少8米，摄像机绕Z轴旋转使车身周围的图像能够呈现在图像的中间区域；

2)所述图像校正模块，用于校正图像变形和畸变；

鱼眼镜头是一种超广角的特殊镜头，它的焦距极短并且视角能达到180度，鱼眼镜头能实现近距离大视场，但同时也引入非常严重的图像变形。图像变形的主要原因是鱼眼镜头的真正成像面不是平面，而是近似于球状的曲面。

除此之外，还存在鱼眼镜头的畸变，由像点发出的光线经鱼眼镜头透镜折射后，理想像点与摄像机实际成像面上所成的像点之间所存在的光学误差。

因此，需通过校正变形和畸变，使之满足普通摄像机的成像模型，才能适用于后续的立体视觉操作；

鱼眼变形校正采用最常用的等距投影模型，畸变校正采用对坐标偏移影响最大的径向畸变模型。经推导，带变形和畸变坐标的坐标(x_u，y_u)，畸变坐标(x_d，y_d)，和校正后(x，y)坐标关系如下：

其中，f为焦距，k₁，k₂，k₃，k₄为畸变系数。

为求解以上参数，须建立立体视觉模型获得校正后(x，y)和空间三维坐标点(X_w，Y_w，Z_w)经推导，立体视觉模型如下：

其中，s为尺度因子，[R T]为外参矩阵，R为3x3的旋转矩阵，T为3x1的平移矩阵。

联立校正模型和立体视觉模型，可获得带变形和畸变坐标的坐标点(x_u，y_u)和空间三维坐标点(X_w，Y_w，Z_w)的非线性关系。

通过拍摄多组三维特征点，获取多组非线性关系，建立三维重投影误差的最优化方程。

其中k为特征点个数，为第i个特征点的空间三维点坐标，为第i个特征点的估计空间三维点坐标，即由非线性关系求得。

利用蚁群优化算法求解该非线性最优化问题，可求得最优解f，k₁，k₂，k₃，k₄。

由此，通过校正模型可校正鱼眼镜头变形和图像畸变；

3)所述三维投影模块，用于将四方向摄像机的校正后图像分别投影到三维曲面上；

根据摄像机的安装角度和位置，计算校正后图像点到三维空间的关系；经推导，关系式如下：

其中s’为尺度因子，r为绕X轴旋转角度，b为绕Y轴旋转角度，a为绕Z轴旋转角度，h为摄像头安装高度，cr，sr，cb，sb，ca，sa分别为cos(r)，sin(r)，cos(b)，sin(b)，cos(a)，sin(a)的简写。

由于s’为尺度因子，只与图像缩放有关，为简化过程，可略去，由后续拼接过程进行操作。则式子变为：

其中P为3x4的投影矩阵。

由于车身近处环境多为地面，而远处环境多为高于地面的物体和建筑物，为使图像扭曲变形小且不同区域的图像拉抻的协调性好，设置曲率过渡柔和的类似“桶形”的三维曲面模型更为合理；以车身为中心垂直到地面的点为原点，可将生成三维曲面模型的曲线分为三段，第一段为地面直线区，第二段为过渡曲线区，第三段为高度急剧上升的曲线区，可根据以下方程设置：

其中，f₁，f₂，f₃分别三段曲线函数，R为距离原点的距离，reg₁，reg₂为三个曲线区域分割点，a₂，b₂，c₂，a₃，b₃为函数系数，为使过渡圆滑，所设置曲线应为可导曲线，应满足：

利用投影矩阵将四方向摄像机的校正后图像分别投影到三维曲面上；

4)所述图像拼接模块，用于将四个摄像头采集的图像拼接在一个图像内，生成3D全景图；

车辆四周地面铺设方格线，对重叠区的方格线配准，其中只包含图像缩放和旋转平移。因此可通过求取仿射矩阵进行配准。公式如下：

其中，x_i，y_i，x_j，y_j为相邻两图像重叠区的点，h₁₁，h₁₂，h₁₃，h₂₁，h₂₂，h₂₃为仿射矩阵参数，H为仿射矩阵。

由多个重叠点联立方程，如下所示：

由奇异值分解法求解超静定方程，可求得仿射矩阵H。

利用四方向摄像机图像共可获得四个仿射矩阵，若以其中一个图像作为参照，我们只需要三个仿射矩阵，即可使各个方向图像拼接在一个图像中。可随机选取其中三个，或建立二维重投影误差最小化函数，选取其中误差最小的三个仿射矩阵。

对于四方向摄像机图像亮度不均衡问题，可分别对各方向图像的三个通道使用直方图均衡化算法解决，具体公式如下：

其中T(k)为第k个灰度级所对应的灰度值，k为0到255之间的灰度级，n为图像像素点总数，n_i为图像中灰度级为i的个数。

对于重叠区亮度不一致的问题，可对重叠区分块处理亮度问题，可由以下步骤解决：

第一步：将重叠区的区域大小分为若干子分块；

第二步：对RGB图像三通道取平均值作为亮度图像L，即：

第三步：获取每个子分块的增益系数，具体公式如下：

其中，G_i，x，y，G_j，x，y分别为相邻图像i，j的重叠区子分块像素点(x，y)的增益系数。L_i，x，y，L_j，x，y分别相邻亮度图像i，j的重叠区子分块的平均亮度；

第四步：高斯滤波平滑重叠区子分块的增益系数，得平滑后增益系数为H_i，x，y，H_j，x，y。

第五步：则融合后的重叠区的各子分块的RGB三通道像素点为未融合时相邻图像相应像素点乘以增益系数H_i，x，y，H_j，x，y后的平均值。

对重叠区存在的拼接痕迹问题，可根据像素点离各自的边界距离比例作为权值，利用加权平均法消除拼接痕迹，具体公式如下：

其中，L(x，y)为3D全景图重叠区的图像坐标，I₁(x，y)和I₂(x，y)分别为相邻图像的重叠区的图像坐标，为(x，y)像素点离重叠区边界距离比例。

经过这些处理后，生成最终的3D全景图；

5)所述图像显示模块，用于显示3D全景图；将3D全景图适当地缩放后，输出给显示设备，显示设备可以是模拟显示器，也可以是液晶显示屏。

本发明提供的技术方案带来的有益效果是：

本发明提供的一种3D全景泊车辅助***，采用等距投影和径向畸变模型可精确校正变形和畸变，使生成3D全景图更加真实；基于实际情况设置类似“桶形”的三维曲面投影，使曲面连接柔和，实物影像的变形扭曲小。采用直方图均衡化方法使各方向图像亮度统一，用分块亮度处理和加权平均值法使重叠区亮度一致，过渡柔和，实现了无缝连接。本***生成3D全景图整体视觉效果好，真实还原周围环境，降低了泊车风险。

附图说明

图1为本发明***的整体模块流程框图；

图2为***的软件流程框图；

图3为本发明在实施例中的四摄像头的安装位置和摄像头拍摄范围示意图；

图4为本发明在实施例中生成三维模型的曲线图。

具体实施方式

为使本发明实施例的目的、技术方案更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明的整体功能模块的流程图，各个模块之间依次连接，其中的图像校正模块、三维投影模块、图像拼接模块都是由软件算法来实现其功能。图2显示了所述***的软件流程框图。

图3为发明在实施例中的四摄像头的安装位置和摄像头拍摄范围示意图，四个鱼眼摄像头110、120、130和140分别安装于前车标下方、后车厢把手下方、两个侧后视镜下方，拍摄到的区域分别为110a、120a、130a和140a。前后左右拍摄范围至少覆盖距离车身前后左右8米。

处理器接收四个摄像机采集的图像数据，利用一整套的图像处理技术输出3D全景图，利用显示设备呈现给驾驶员。

具体的，处理器对四个摄像机所采集图像的处理过程至少包括以下步骤。

步骤一：处理器接收四个摄像机采集的图像数据；

步骤二：采用等距投影和径向畸变模型校正四个方向图像变形和畸变；

步骤三：根据摄像机的安装角度和位置，计算四个方向图像的投影矩阵，设置曲率过渡柔和的类似“桶形”的三维曲面模型，利用投影矩阵将图像投影到三维曲面；

步骤四：借助于铺设在车辆四周地面上的方格线，对重叠区的方格线配准，求解三个仿射矩阵，使各个方向图像拼接在一个图像中；对于各方向图像亮度不均衡问题，分别对各方向图像的三个通道使用直方图均衡化算法，消除各方向图像存在亮度不一致的现象；对重叠区域的像素点亮度不一致的问题，采用分块亮度处理方法处理；对重叠区存在的拼接痕迹问题，根据像素点离各自的边界距离比例作为权值，利用加权平均法消除拼接痕迹，从而生成最终的3D全景图；

步骤五：将3D全景图经过适当地缩放后输出给显示设备。

上述步骤三，提到的类似“桶形”的三维曲面模型，它的曲线图如图4所示。201为第一段地面直线区，202为第二段过渡曲线区，203为第三段高度急剧上升的曲线区。由于车身近处环境多为地面，而远处环境多为高于地面的物体和建筑物，因此此种设置图像扭曲变形小且不同区域的图像拉抻的协调性好。

3D全景泊车辅助***可以实现与原有车载电子***的无冲突协调工作。这样，在驾驶员开始泊车时，显示设备会自动切换至3D全景泊车辅助***。而驾驶员只需观察显示设备的3D全景图，并正确地操控汽车，即可保证泊车安全。

综上所述，本发明综合了多种机器视觉和数字图像处理的处理算法，融合了机器视觉领域的多项先进技术，使汽车泊车过程具有更高的安全性。

虽然对本发明的描述是结合以上具体实施例进行的，但是，熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化、是显而易见的。因此，所有这样的替代、改进和变化都均应视为不超脱本发明的创新精神。

Claims (1)

1.一种3D全景泊车辅助***，其特征在于至少包含如下模块：

用于图像输入的摄像头输入模块；

用于图像校正的处理模块；

用于三维投影的处理模块；

用于图像拼接的处理模块；

用于图像显示的模块。

所述的一种3D全景泊车辅助***，具体工作步骤如下：

1)将四个鱼眼摄像头分别安装于车体前后左右四个方向上，前后摄像头分别位于车前后的中心位置，左右摄像头分别位于车两侧中心的偏前方；

摄像头安装的角度也应按车身作相应调整。设定坐标系，分别以各摄像机为原点，过原点垂直地面向上的直线为Z轴，过原点垂直车身长轴中心且垂直Z轴的直线为X轴，过原点垂直X和Z轴的直线设为Y轴，为方便说明，初始状态设置为摄像头光轴与Z轴重合，摄像机绕Y轴旋转使视野覆盖距离车身至少8米，摄像机绕Z轴旋转使车身周围的图像能够呈现在图像的中间区域；

2)采用等距投影和径向畸变模型校正四方向摄像机图像变形和畸变；

3)根据摄像机的安装角度和位置，计算四个方向图像的投影矩阵，设置曲率过渡柔和的类似“桶形”的三维曲面模型，利用投影矩阵将图像投影到三维曲面；

4)借助于铺设在车辆四周地面上的方格线，对重叠区的方格线配准，求解三个仿射矩阵，使各个方向图像拼接在一个图像中；对于各方向图像亮度不均衡问题，分别对各方向图像的三个通道使用直方图均衡化算法；对重叠区域的像素点亮度不一致的问题，采用分块亮度处理方法处理；对重叠区存在的拼接痕迹问题，根据像素点离各自的边界距离比例作为权值，利用加权平均法消除 拼接痕迹，从而生成最终的3D全景图；

5)将3D全景图经过适当地缩放后输出给显示设备。

所述3D全景泊车辅助***是根据摄像机的安装角度和位置来计算投影矩阵，运用投影矩阵将图像投影到三维曲面。投影矩阵如下所示：

其中，r，b，a分别为绕X轴、Y轴、Z轴的旋转角度，h为摄像头安装高度，cr，sr，cb，sb，ca，sa分别为cos(r)，sin(r)，cos(b)，sin(b)，cos(a)，sin(a)的简写。

其中三维曲面模型按以下函数设置：

其中，f₁，f₂，f₃分别三段曲线函数，R为距离原点的距离，reg₁，reg₂为三个曲线区域分割点，a₂，b₂，c₂，a₃，b₃为函数系数，为使过渡圆滑，所设置曲线应为可导曲线，应满足：

。