CN1987357B - 基于全方位计算机视觉的智能停车辅助装置 - Google Patents

Abstract

一种基于全方位计算机视觉的智能停车辅助装置，包括视觉传感器、用于进行停车辅助决策的微处理器以及用于显示车辆周围情况的显示单元，视觉传感器连接微处理器，视觉传感器为全方位视觉传感器，微处理器包括图像显示单元、传感器标定模块、图像展开模块、车辆周围障碍物边缘检测模块、车辆周围障碍物边缘最近距离计算模块、障碍物报警模块、倒车知识库、停车位置指定模块、倒车轨迹线生成模块、方向盘转角动作计算模块以及倒车轨迹线纠偏模块。本发明提供一种能够提供车辆四周的视觉图像、能够提示驾驶员操作方向盘的转角、有效的辅助倒车过程的基于全方位计算机视觉的智能停车辅助装置。

Description

基于全方位计算机视觉的智能停车辅助装置

(一)技术领域

本发明涉及全方位视觉传感器技术、图像识别技术、计算机控制技术在车辆停车方面的应用，尤其是一种智能停车辅助装置。

(二)背景技术

随着我国汽车产业的发展和人们生活水平的不断提高，一方面汽车的数量逐年增加，每年以700万台速度增长，使得我国的公路、街道及停车场拥挤不堪，可转动的空间越来越少；另一方面，车辆绝对数的增长造成了新司机及非专职司机越来越多，因倒车引起的纠纷越来越多。在2002年汽车事故的发生比例中，倒车引起的事故占21％，倒车成为令人们头痛的一项任务，即使是经验丰富的司机也在抱怨倒车是件费力费神的事。改善倒车遇到的窘境被越来越多的人所关注，人们对汽车操纵的便捷性提出了更高的要求，希望有种装置能够解决汽车倒车给人们带来的不便，消除驾驶中的不安全因素，可将车快速准确地停放到指定的位置。

汽车倒车中存在的困难，其一是来自于驾驶者坐在驾驶座位上无法完全了解汽车四周特别是后方的环境。驾驶者只能依赖后视镜观察后方障碍物，后视镜受其位置的限制，视野狭窄、清晰度差，根本无法达到倒车中后视的目的。其二倒车时驾驶者同时要兼顾车辆前方、两侧的情况，必须扭身回头观察车辆后面的情况，体力和脑力消耗过大，易产生不安全因素。其三倒车是一个复杂的工程，它依赖于驾驶者的驾驶经验、驾驶技巧及反应灵敏程度，任一环节出问题都导致驾驶员无法快速准确地完成倒车任务。

中国发明专利00100982.6公开了一种具有多路显示功能的倒车雷达装置。该方案采用在车尾适当位置分设超声波感应器及摄像机，二者分别连接至一倒车雷达主机及图像处理模组，倒车雷达主机亦与图像处理模组连线，图像处理模组输出端则与位于驾驶座处的显示器相连接。倒车时，驾驶者首先将通过摄像机摄人的图像判断车后障碍物远近，接近障碍物时，超声波感应器亦同时接收反射信号，经雷达主机转换成通信码送至图像处理模组，障碍物的方位与距离也显示于显示器上。中国发明专利号00101620.2公开了一种具有多种显示功能的倒车雷达检测器，它包括至少一组以上的倒车雷达、位置距离显示器和微处理器，该位置距离显示器包括有一解码电路、两方向指示灯及一数字型显示电路；该微处理器是对车尾所设各倒车雷达送入的信号进行编码，并送到所述的位置距离显示器，经解码电路解码后，除可通过方向指示灯显示车后障碍物的方位外，该数字型显示电路还可显示车尾相距障碍物的具体距离，以利于驾驶倒车时确实掌握车尾与障碍物的距离。中国发明专利02208981.0公开了一种汽车倒车监视报警装置，由显示屏、报警器、数码显示管、摄像头及距离探测器构成，其特征在于所述距离探测器与报警器及数码显示管进行电连接，并与汽车倒车灯的电源电连接，所述数码显示管设置在显示屏上，所述摄像头与显示屏电连接，解决了汽车在倒车时无法了解车尾与障碍物距离及何种障碍物的难题。上述几种解决方案，通过超声波感应器、雷达检测器来检测车后障碍物，用摄像头来确认车后障碍物距离及何种障碍物，这些解决方案在一定程度上减少事故的发生，但是，采用超声波探测或者雷达检测器，电路结构复杂，同时直观性和可靠性差，会造成驾驶员使用上的不方便，而采用摄像头来确认车后障碍物距离及何种障碍物仍需要驾驶员用视觉来进行确认，只是帮助了驾驶员能了解汽车后方的环境，而且由于这种摄像头只是针对车辆后方进行摄像的，因此所拍摄到的仅仅只是车辆后方的视角范围，无法通过视频图像确认左右两边的障碍物以及后下方的停车线。中国发明专利200580000399.2公开了一种停车辅助设备，用于捕获车辆后面的图像的照相机；布置得靠近车辆的驾驶员座椅的显示器；用于检测转向角的转向角传感器；用于检测车辆的偏航角的偏航角检测装置；用于向驾驶员发布驾驶操作引导信息的引导装置；及控制器，其用于当车辆从初始停止位置向前运动时，基于通过转向角传感器检测的转向角和偏航角检测装置检测的车辆的偏航角获取车辆的瞬时位置和车辆的瞬时偏航角，用于一旦车辆已经进入通过停车允许位置和停车允许偏航角限定的向后运动开始位置的区域内或在车辆已经进入该区域一段时间以后，通过引导装置发布引导信息来停止车辆，用于当车辆向后运动时在显示器上显示通过照相机捕获的图像，以及用于在车辆在保持通过转向角传感器检测的当前的转向角向后运动的情况下，在显示器上以叠加的方式显示估计的车辆空间，估计的车辆空间根据当前的转向角运动，以由此告知驾驶员向后运动车辆的适当的转向角。

(三)发明内容

为了克服已有的停车辅助装置不能提供四周的视觉图像、不能有效的提供倒车辅助决策的不足，本发明提供一种能够提供车辆四周的视觉图像、能够提示驾驶员操作方向盘的转角、有效的辅助倒车过程的基于全方位计算机视觉的智能停车辅助装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位计算机视觉的智能停车辅助装置，包括视觉传感器、用于进行停车辅助决策的微处理器以及用于显示车辆周围情况的显示单元，所述视觉传感器连接微处理器，所述的微处理器包括：图像显示单元，用于采集视觉传感器的信号，并输出到显示单元；所述的视觉传感器为全方位视觉传感器，该全方位视觉传感器安装在车辆中间的顶部，所述的全方位视觉传感器包括用于反射车辆周围领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体，黑色圆锥体固定在折反射镜面外凸部的中心，用于支撑外凸折反射镜面的透明圆柱体，用于拍摄外凸反射镜面上成像体的摄像头，摄像头对着外凸反射镜面朝上；所述的微处理器还包括：传感器标定模块，用于建立空间的路面图像与所获得的视频图像的对应关系；图像展开模块，用于将全方位视觉传感器采集的图像进行展开，将读取的圆形视频图像展开为全景柱状图；车辆周围障碍物边缘检测模块，用于采用索贝尔算子进行边缘检测，采用设定大小的模板，在各个模板之间计算梯度，在图像中选择计算的剃度值大于梯度幅值的点作为边缘点，将各个边缘点连接成边缘位置；车辆周围障碍物边缘最近距离计算模块，用于在左右方向上，以车辆的长度作为检测线，从离车辆的宽度加上报警距离处作为开始检测线，分别从左右方向向外进行检测，当检测线碰到检测直线与障碍物的边缘线有预设数量的像素点相交时，判定该处是障碍物与车辆在左右方向上的最近距离；在前后方向上，以车辆的宽度作为检测线，从离车辆的长度加上报警距离处作为开始检测线，分别从前后方向向外进行检测，当检测线碰到检测直线与障碍物的边缘线有预设数量的像素点相交时，判定该处是障碍物与车辆在前后方向上的最近距离；

障碍物报警模块，用于判断最近距离是否小于预设的下限值，如小于该下限值，向告警器发出告警指令；倒车知识库，用于存放驾驶员的倒车技巧、技能，以及各种当前位置与目标位置之间的倒车轨迹线，供生成倒车轨迹线时调用；停车位置指定模块，用于使用者通过用户界面的输入希望停放车辆的位置，利用全方位视觉传感器所得到的周围图像信息，在该显示的图像信息上用户在触摸屏上选择目标位置；倒车轨迹线生成模块，用于通过全方位视觉传感器检测当前的车辆位置，使用者通过用户界面的输入目标位置，自动生成一条倒车轨迹线，根据该倒车轨迹线作相应的倒车包络线，所述的倒车包络线大于车辆可行驶最小的路径圆弧曲率，并判断倒车包络线与障碍物的图像边缘是否发生相交，如不发生相交就确定该倒车轨迹线；否则，对发生相交处进行修改倒车轨迹线；方向盘转角动作计算模块，用于根据所生成的倒车轨迹线，得到在该倒车轨迹线的关键点上的目标路径行驶角ψ_P，目标路径行驶角ψ_P与方向盘转角δ_h的关系用公式(22)表示，ψ_P＝tan^-1(Y_P/X_P)≈Y_P/X_P＝K_s*δ_h*t_p/2       (22)

上式中，为一常数，估算出在该车速情况下到达下一个倒车关键点时的时间t_p；并将该方向盘转角δ_h输出到显示单元；

倒车轨迹线纠偏模块，用于在车辆偏离倒车轨迹线时重新计算倒车轨迹线进行纠偏，检测在倒车轨迹线上的关键点是否发生了偏移，如果检测的偏移值超过预设的范围，根据当前车辆的位置重新生成倒车轨迹线。

进一步，所述的折反射镜面为了能够得到与空间物体坐标的对应点，折反射镜面采用双曲面镜来进行设计：所示的双曲面镜构成的光学***可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)         (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                               (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ     (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(5\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离；

全方位视觉传感器的安装高度是根据全方位视觉传感器的俯角以及车辆车身的情况来决定的，将全方位视觉传感器能监视到离车辆0.35米以外的物体，并将其全方位视觉传感器的位置作为安装高度的指标；所述的全方位视觉传感器的XY平面是与地平面平行；

根据全方位视觉传感器中的双曲面折发射镜的特点，通过投影点P(x，y)计算得到相对于车辆中心点的障碍物在空间上的P(X，Y，Z)点，计算公式由式(11)给出：

$x=f((b^2-c^2)X/((b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2})---\left(11\right)$

$y=f((b^2-c^2)Y/((b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2})$

式(11)表示了空间上的P(X，Y，Z)点在成像平面上的投影点P(x，y)的关系，因此从成像平面上得到P(x，y)的值可以得到该点在P(X，Y，Z)点。

再进一步，所述的前方视角、后方视角、左方视角和右方视角均匀分割，每个视觉方向上显示有水平160度的视频信息。

更进一步，所述的图像展开模块包括：读取坐标信息单元，用于读取圆形全方位图像的中心坐标以及图像的内外圆半径；近似展开计算单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，设定中间圆的半径：r₁＝(r+R)/2，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P^**(x^**，y^**)与圆形全方位图像中的像素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))        (8)

y^*＝(y^**+r)cosβ                    (9)

上式中，x^**，y^**为矩形柱面全景图像的像素坐标值，x^*，y^*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角。

图像展开模块包括：读取坐标信息单元，用于读取圆形全方位图像的中心坐标以及图像的内外圆半径；映射矩阵展开单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q^*(x^*，y^*)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，建立从Q^*(x^*，y^*)到P^**(x^**，y^**)的映射矩阵对应关系，其计算式为：

P^**(x^**，y^**)←M×Q^*(x^*，y^*)         (10)

上式中，Q^*(x^*，y^*)为全方位图像上的各个像素坐标的矩阵，M为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，P^**为矩形柱面全景图像上的各个像素坐标的矩阵。

在倒车过程中了解后方的环境固然重要但是了解汽车其他方面(前面、左右两侧)也是必须的；要同时兼顾车辆前后方、两侧的情况，需要极大体力和脑力的付出；比较理想的视角范围是从车辆的上面通过俯瞰以车辆为中心的所有周围的环境；同时驾驶员的驾驶经验、驾驶技巧及反应灵敏程度也取决于倒车是否成功的关键。我们将这三个方面作为倒车三要素来进行考虑。

因而需要一种方便地使驾驶员能在显示屏上指定目标停车位置，并能根据车辆的目前位置以及目标停车位置自动生成倒车轨迹线，在倒车过程中提示驾驶员操纵方向盘的转角的智能停车辅助装置。

本发明能为驾驶者提供倒车提示、距离报警以及倒车的辅助决策，装置中包括：全方位视觉传感器，用于检测车辆周围的障碍物以及在视频上取得停车位置信息；目标停车位置设定单元，用于设定停放车辆的目标停车位置的初始位置；车辆周围情况显示单元，用于显示车辆的前方视角、后方视角、左方视角及右方视角的视频图像以及与这些视角的最近障碍物距离；倒车轨迹线生成单元，用于根据倒车知识库、车辆的目前位置以及停放目标位置自动生成倒车轨迹线；方向盘转角动作计算单元，用于根据所生成的倒车轨迹线计算确定在该轨迹线上的某一点上的方向盘的转角；倒车轨迹线纠偏单元，用于在车辆偏离倒车轨迹线时重新计算倒车轨迹线进行纠偏；车辆最近障碍物检测单元，用于根据车辆的现状检测与车辆最近的障碍物距离，当最近距离小于某一个值时采用报警提示驾驶员；倒车知识库，用于存放优秀驾驶员的一些倒车技巧、技能，以便在生成倒车轨迹线时调用。

对于驾驶员的倒车操作，当车挂入倒档位后，装置提供：(1)将车辆周围的图像信息全部显示在一块车内显示屏上，该显示屏所显示的视频信息分为前方视角、后方视角、左方视角以及右方视角等四个小屏幕，每个视角方向都检测与障碍物的最近距离，实现防碰撞预警功能-在车辆距障碍物距离小于0.60米时，相对应的视角方向上所显示的最近距离值闪烁、字体变成红色；当距离小于0.35米时用声音提示；(2)最小车距显示-在显示屏上显示最小车距以提醒驾驶者；(3)操作提示-根据计算所得到的倒车轨迹线计算前轮的转角和方向盘的转角，并将方向盘的转角提供操作指示给驾驶者，驾驶者根据所提示的方向盘的转角完成倒车任务。

本发明的有益效果主要表现在：1、全方位视觉传感器能够为驾驶员提供车辆四周的视频信息；2、能够提示驾驶员操作方向盘的转角、有效的辅助倒车过程。

(四)附图说明

图1是基于全方位计算机视觉的智能倒车装置的硬件结构原理图；

图2是基于全方位计算机视觉的智能倒车装置前方屏幕显示前后左右视频视觉的示意图；

图3是基于全方位计算机视觉的智能倒车装置安装以及前后左右视频视觉的分割示意图；

图4是前方视频视觉显示中与左右相重复的区域示意图；

图5是全方位视觉装置折反射成像的原理图；

图6是倒车过程中车辆与障碍物的最近距离以及全方位视觉被车辆本身所遮挡的视觉范围示意图；

图7是倒车轨迹以及目标停车位的确定示意图；

图8是车辆倒车辅助决策控制原理图；

图9是基于全方位计算机视觉的智能倒车装置障碍物检测以及倒车辅助决策控制流程图；

图10是多个圆弧来拟合倒车轨迹的示意图；

图11是倒车时车辆的模型图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图9，一种基于全方位计算机视觉的智能停车辅助装置，包括视觉传感器1、用于进行停车辅助决策的微处理器7以及用于显示车辆周围情况的显示单元8，所述视觉传感器连接微处理器7，所述的微处理器7包括：图像显示单元，用于采集视觉传感器的信号，并输出到显示单元8；所述的视觉传感器为全方位视觉传感器，该全方位视觉传感器安装在车辆中间的顶部，所述的全方位视觉传感器包括用于反射车辆周围领域中物体的外凸折反射镜面2，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体4，黑色圆锥体4固定在折反射镜面外凸部2的中心，用于支撑外凸折反射镜面的透明圆柱3体，用于拍摄外凸反射镜面上成像体的摄像头5，摄像头5对着外凸反射镜面朝上；所述的微处理器7还包括：传感器标定模块，用于建立空间的路面图像与所获得的视频图像的对应关系；图像展开模块，用于将全方位视觉传感器采集的图像进行展开，将读取的圆形视频图像展开为全景柱状图；车辆周围障碍物边缘检测模块，用于采用索贝尔算子进行边缘检测，采用设定大小的模板，在各个模板之间计算梯度，在图像中选择计算的剃度值大于梯度幅值的点作为边缘点，将各个边缘点连接成边缘位置；车辆周围障碍物边缘最近距离计算模块，用于在左右方向上，以车辆的长度作为检测线，从离车辆的宽度加上报警距离处作为开始检测线，分别从左右方向向外进行检测，当检测线碰到检测直线与障碍物的边缘线有预设数量的像素点相交时，判定该处是障碍物与车辆在左右方向上的最近距离；在前后方向上，以车辆的宽度作为检测线，从离车辆的长度加上报警距离处作为开始检测线，分别从前后方向向外进行检测，当检测线碰到检测直线与障碍物的边缘线有预设数量的像素点相交时，判定该处是障碍物与车辆在前后方向上的最近距离；障碍物报警模块，用于判断最近距离是否小于预设的下限值，如小于该下限值，向告警器发出告警指令；停车位置指定模块，用于使用者通过用户界面的输入希望停放车辆的位置，利用全方位视觉传感器所得到的周围图像信息，在该显示的图像信息上用户在触摸屏上选择目标位置；倒车知识库，用于存放驾驶员的倒车技巧、技能，以及各种当前位置与目标位置之间的倒车轨迹线，供生成倒车轨迹线时调用；倒车轨迹线生成模块，用于通过全方位视觉传感器检测当前的车辆位置，使用者通过用户界面的输入目标位置，自动生成一条倒车轨迹线，根据该倒车轨迹线作相应的倒车包络线，所述的倒车包络线大于车辆可行驶最小的路径圆弧曲率，并判断倒车包络线与障碍物的图像边缘是否发生相交，如不发生相交就确定该倒车轨迹线；否则，对发生相交处进行修改倒车轨迹线；方向盘转角动作计算模块，用于根据所生成的倒车轨迹线，得到在该倒车轨迹线的关键点上的目标路径行驶角ψ_P，目标路径行驶角ψ_P与方向盘转角δ_h的关系用公式(22)表示，

ψ_P＝tan^-1(Y_P/X_P)≈Y_P/X_P＝K_s*δ_h*t_p/2        (22)

上式中，为一常数，估算出在该车速情况下到达下一个倒车关键点时的时间t_p；并将该方向盘转角δ_h输出到显示单元；倒车轨迹线纠偏模块，用于在车辆偏离倒车轨迹线时重新计算倒车轨迹线进行纠偏，检测在倒车轨迹线上的关键点是否发生了偏移，如果检测的偏移值超过预设的范围，根据当前车辆的位置重新生成倒车轨迹线。

本发明提供一种基于全方位计算机视觉的智能停车辅助装置，能为驾驶者提供倒车提示、距离报警以及倒车的辅助决策，装置中包括：全方位视觉传感器，用于检测车辆周围的障碍物以及在视频上取得停车位置信息；目标停车位置设定单元，用于设定停放车辆的目标停车位置的初始位置；车辆周围情况显示单元，用于显示车辆的前方视角、后方视角、左方视角及右方视角的视频图像以及与这些视角的最近障碍物距离；倒车轨迹线生成单元，用于根据倒车知识库、车辆的目前位置以及停放目标位置自动生成倒车轨迹线；方向盘转角动作计算单元，用于根据所生成的倒车轨迹线计算确定在该轨迹线上的某一点上的方向盘的转角；倒车轨迹线纠偏单元，用于在车辆偏离倒车轨迹线时重新计算倒车轨迹线进行纠偏；车辆最近障碍物检测单元，用于根据车辆的现状检测与车辆最近的障碍物距离，当最近距离小于某一个值时采用报警提示驾驶员；倒车知识库，用于存放优秀驾驶员的一些倒车技巧、技能，以便在生成倒车轨迹线时调用。

本实施例将为驾驶者提供一个倒车提示、距离报警以及倒车的辅助决策，装置中包括：当车挂入倒档位后，提供(1)将车辆周围的图像信息全部显示在一块车内驾驶员前方的显示屏上，该显示屏所显示的视频信息分为前方视角、后方视角、左方视角以及右方视角等四个小屏幕，每个视角方向都检测与障碍物的最近距离，实现防碰撞预警功能-在车辆距障碍物距离小于0.60米时，相对应的视角方向上所显示的最近距离值闪烁、字体变成红色；当距离小于0.35米时用声音提示；(2)最小车距显示-在显示屏上显示最小车距以提醒驾驶者；(3)操作提示-根据计算所得到的倒车轨迹线计算前轮的转角和方向盘的转角，并将方向盘的转角提供操作指示给驾驶者，驾驶者根据所提示的方向盘的转角完成倒车任务。

所设计的全方位计算机视觉装置能同时在一个显示屏幕上显示前后左右全方位图像信息，使得驾驶者能非常方便地兼顾车辆前后方、两侧的情况；通过对全方位视觉图像的理解，确认在车辆周围的障碍物的情况，并估算出与其的最近距离；将优秀驾驶员的倒车驾驶经验、倒车驾驶技巧作成一个知识库，在驾驶者倒车时装置能根据全方位视觉所获得的方向、距离等信息，利用知识库中所存放的相应倒车驾驶技巧知识，采用软件算法来实现倒车的辅助决策，以减轻驾驶者的体力、脑力劳动强度，降低倒车难度，避免驾驶员因方向感不强、判断和操作失误而引起的事故。

首先是获取车辆前后左右全方位图像信息并在车辆内的显示屏幕上显示前后左右全方位图像信息，本发明中采用全方位视觉传感器ODVS(OmniDirectionalVision Sensors)以及相应的软件来获取车辆前后左右全方位图像信息，利用嵌入式***的软硬件将所获取的全方位信息分别以四个视角的方式通过显示屏显示给驾驶员；

所述的全方位视觉传感器(ODVS)，其光学部分的制造技术方案主要由垂直向下的折反射镜和面向上的摄像头所构成。具体构成是由聚光透镜以及CCD构成的摄像单元固定在由透明树脂或者玻璃制的圆筒体的下部，圆筒体的上部固定有一个向下的大曲率的折反射镜，在折反射镜和聚光透镜之间有一根直径逐渐变小的黑色圆锥状体，该圆锥状体固定在折反射镜的中部，黑色圆锥状体的目的是为了防止过剩的光射入而导致在圆筒体内部的光饱和以及通过圆筒体壁产生的光反射现象。图5是表示本发明的全方位成像装置的光学***的原理图。

全方位视觉传感器的工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P1(x，y)对应着实物在空间上的一个点的坐标A(x1，y1，z1)。

图5中11-双曲线面镜，12-入射光线，13-双曲面镜的焦点Om(0，0，c)，14-双曲面镜的虚焦点即相机中心Oc(0，0，-c)，15-反射光线，16-成像平面，17-实物图像的空间坐标A(x1，y1，z1)，18-入射到双曲面镜面上的图像的空间坐标，19-反射在成像平面上的点P1(x，y)。

图5中所示的双曲面镜构成的光学***可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)                (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                                (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ      (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(5\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离。

所述的全方位视觉传感器安装在车辆中间的顶部，如图1所示，全方位视觉传感器的安装高度(相对于地面的高度)是根据全方位视觉传感器的俯角以及车辆车身的情况来决定的，本发明中将全方位视觉传感器能监视到离车辆0.35米以外的物体，并将其全方位视觉传感器的位置作为安装高度的指标，也就是说，所安装的全方位视觉传感器的视觉范围(从车辆中心点的角度来看)至少离车辆0.35米以外的障碍物都是可见的，不会被车身所遮挡；所述的全方位视觉传感器的XY平面是与地平面平行。

用图1来说明360°全方位进行摄像的原理，空间上的一个点经折反射镜面2反射到透镜6上对应有一个投影点P1(x，y)，通过透镜6的光线变成平行光投射到CMOS摄像单元5，微处理器7通过视频接口读入该环状图像，采用软件对该环状图像进行展开得到按照前方视角、后方视角、左方视角和右方视角均匀分割的全方位的视频图像，并显示在车内显示单元8上。

所述的前方视角、后方视角、左方视角和右方视角均匀分割由附图3所示，每个视觉方向上显示有水平160度的视频信息。

在展开方法上本专利中采用了一种快速的近似展开算法，能够将时间消耗和对各种参数的要求降到最小，同时尽可能的保持有用的信息。展开规则有三条，

(1)X^*轴为起始位置，按逆时针方式展开；

(2)左图中X^*轴与内径r的交点O，对应到右图中左下角的原点O(0，0)；

(3)展开后的右图的宽度等于左图中虚线所示的圆的周长。其中虚线圆为左图内外径的同心圆，且其半径r1＝(r+R)/2。

设圆形图的圆心O^*坐标(x^*0，y^*0)，展开的矩形图左下角原点坐标O^**(0，0)，矩形图中任意一点P^**＝(x^**，y^**)所对应的点在圆形图中的坐标为(x^*，y^*).下面我们需要求的是(x^*，y^*)和(x^**，y^**)的对应关系。根据几何关系可以得到如下公式：

β＝tan^-1(y^*/x^*)                (6)

r1＝(r+R)/2                     (7)

令虚线圆的半径r1＝(r+R)/2，目的是为了让展开后的图看起来形变均匀一些。

x^*＝y^*/(tan(2x^**/(R+r)))         (8)

y^*＝(y^**+r)cosβ                 (9)

从式(8)、(9)可以得到圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系。该方法实质上是做了一个图像插值的过程。展开后，虚线上方的图像是横向压缩过的，虚线下方的图像是横向拉伸过的，而在虚线本身上的点则保持不变。

为了满足实时计算需要同样可根据圆形全方位图像上的一个点(x^*，y^*)和矩形全景图上的一个点(x^**，y^**)的对应关系，建立(x^*，y^*)与(x^**，y^**)的映射矩阵。由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过M映射矩阵可以建立起式(10)关系。

P^**(x^**，y^**)←M×P^*(x^*，y^*)         (10)

根据式(10)，对于成像平面上的每个像素P^*(x^*，y^*)在全方位图像上有一个点P^**(x^**，y^**)对应，建立了M映射矩阵后，实时图像处理的任务可以得到简化。

上述展开方式得到的是一幅360度的全方位柱状展开图，我们将这360度的全方位柱状展开图均分为四个等份，每个等份为160度的水平视角(符合人的水平视觉习惯)，在装置初始化时，将上述的四个等份与前方视角、后方视角、左方视角以及右方视角对应起来，这样前方视角的左边与左方视角的右边有35度的重复，前方视角的右边与右方视角的左边有35度的重复，同样后方视角的右边与左方视角左边有35度的重复，后方视角的左边与右方视角右边有35度的重复，这样驾驶员同时能在显示屏上看到不同视角的视频图像，且所显示的图像具有连贯性，如图4所示。

在得到了前方视角、后方视角、左方视角以及右方视角视频图像后，为了帮助驾驶员得到障碍物在每个视角方向上与车辆的最近距离，本发明中根据全方位视觉传感器中的双曲面折发射镜的特点，通过投影点P(x，y)计算得到相对于车辆中心点的障碍物在空间上的P(X，Y，Z)点，计算公式由式(11)给出：

$x=f((b^2-c^2)X/((b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2})---\left(11\right)$

$y=f((b^2-c^2)Y/((b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2})$

式(11)表示了空间上的P(X，Y，Z)点在成像平面上的投影点P(x，y)的关系，因此从成像平面上得到P(x，y)的值可以得到该点在P(X，Y，Z)点；

为了简化计算，本专利中将障碍物在地面上突出边界作为障碍物与车辆的距离，那么边界点在空间上的P(X，Y，Z)其中的Z就是地面与全方位视觉传感器的坐标原点的值，该值是一个定值，通过P(x，y)的值就能非常方便地得到车辆与障碍物的距离，由于车辆类型不同车辆的长度和宽度也不一致，因此在使用装置以前需要将车辆的长度L与宽度W数据输入到嵌入式***中，本专利中将车辆前进的方向作为X轴，车辆的左边作为Y轴，那么车辆与障碍物的距离可以由下列公式来计算：

其中，D_y与D_x分别表示在某个视角方向上某个障碍物与车辆的距离，X_bar为某个障碍物与车辆中心点与X轴的距离，Y_bar为某个障碍物与车辆中心点与Y轴的距离，L为车辆的长度，W为车辆的宽度；

障碍物物体的物理边界是描述物体特征的一类非常重要的描述子，这些边界可能在成像过程中产生边缘信息。边缘是指在其周围像素灰度有明显变化的那些像素的组合。边缘是具有幅值和方向的矢量，其在图像中表现为灰度的突变。边缘检测就是要检测出图像中这种灰度的非连续性，同时确定它们在图像中的精确位置，然后根据公式(12)、(13)计算出与车辆的距离。

目前对边缘检测有几种方法可以选择，由于在本专利中期望得到的是离车辆最近的障碍物的边缘，而对边缘轮毂的完整性以及光滑性要求不高，因此我们采用其中的计算简单、运算速度快的经典边缘检测方法-微分算子法，该方法依靠对图像进行微分运算求得梯度来进行边缘检测，主要从边缘点往往对应于一阶微分幅值大的点，同时也对应于二阶微分的零交叉点出发，设计一些一阶或二阶微分算子，求得其梯度或二阶导数过零点，再选择一定的阈值提取边界。

所述的边缘检测方法大致上可以分为以下四个步骤：

①滤波：边缘检测算法主要是基于图像强度的一阶导数和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测方法的性能。需要指出，大多数滤波器在降低噪声的同时也导致了边缘强度的损失。因此边缘增强和降低图像噪声之间需要取得一种平衡。

②增强：增强边缘的基础是确定图像中各点邻域强度的变化值。增强算法可以突出邻域强度值有显著变化的点。边缘增强一般是通过计算梯度幅值来完成的。

③检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的情况下并不一定都是边缘，所以应该用某种方法来确定那些点是边缘点。最简单的边缘检测判据是梯度幅值A值判据。

④定位：确定边缘所在的像素，如果要更精确的确定边缘位置，也可以在子像素分辨率上来估计边缘位置，边缘的方向也可以被估计出来。

在本发明中采用索贝尔(Sobel)算子作为边缘检测算法，Sobel算子采用3*3大小的模板，这样就避免了在像素之间的内插点上计算梯度。Sobel算子用下式计算偏导数：

S_x＝(a₂+ca₃+a₄)-(a₀+ca₇+a₆)

                               (14)

S_y＝(a₀+ca₁+a₂)-(a₆+ca₅+a₄)

公式中常数c为2。Sobel算子可用以下卷积模板来实现：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]---\left(15\right)$

然后我们来分析一下倒车的一般规律：在无任何提示的情况下，驾驶者倒车入库，首先要目测车位的宽度，查看后面有没有障碍物，两侧是不是有车停放，长度是否符合自身车型。夜间视线不清时需下车观察环境位置后再倒。

有了障碍物的边缘后，下一步的工作是要得到车辆与这些边缘线的最近距离，本专利的做法是：在左右方向上，以车辆的长度作为检测线，从离车辆的宽度加上0.35米处作为开始检测线，分别从左右方向每隔一个像素地向外进行检测，当检测线碰到检测直线与障碍物的边缘线有K个以上像素点相交时，便认为是该处是障碍物与车辆在左右方向上的最近距离；在前后方向上，也是采用同样的方法，以车辆的宽度作为检测线，从离车辆的长度加上0.35米处作为开始检测线，分别从前后方向每隔一个像素地向外进行检测，当检测线碰到检测直线与障碍物的边缘线有K个以上像素点相交时，便认为是该处是障碍物与车辆在前后方向上的最近距离；

上述的检测都是在视频图像上进行的，因此有一个实际尺寸与视频图像上的显示尺寸对应转化的过程，也称为全方位视觉传感器的标定，标定的方法是，以实际使用全方位视觉传感器的高度(安装在车的上面)将全方位视觉传感器固定好，然后在地面上离车辆中心部位的地方放置一个量尺，如果该量尺的长度为D，在视频图像上得到的投影长度为d(用像素表示)的话，那么就可以得到如下关系式：

$n=\frac{d\left(\mathrm{pixel}\right)}{D\left(\mathrm{cm}\right)}---\left(16\right)$

式(16)中：n是标定系数，通过在视频图像上得到像素值就能通过式(16)得到实际上的尺寸大小。车辆的长度L与宽度W数据以及障碍物与车辆的距离都是以像素值为单位进行计算，然后通过式(16)的计算得到实际上障碍物与车辆的距离，并将该距离值显示在车辆前面的显示器上。

本专利中采用软件算法来实现倒车的辅助决策，要实现计算机倒车的辅助决策，首先要将优秀驾驶员的倒车驾驶经验、倒车驾驶技巧做成一个有关倒车的知识库；

从上述驾驶员倒车的一般规律来看，倒车时，关键的信息是在线把握车和障碍物的相对方位及距离，相对方位和距离决定倒车的操作，正确倒车操作的结果必定产生一条的倒车轨迹线(相对与车辆的中心位置来说)，由于车辆是一个刚体，车辆中心点到前后左右方的距离是由车辆的宽度和长度所确定的，因此可以根据车辆中心的倒车轨迹线可以作出在水平方向上的车辆外型的倒车包络线，在倒车过程中发生刮蹭和碰撞等事故都是因为倒车包络线与障碍物相交而造成的。本专利利用上述的根据倒车轨迹线作出的车辆外型的倒车包络线以及根据视频图像的理解得到的障碍物的边缘是否发生相交，如果不发生相交那么就认为所选择的倒车策略是可行的，否则要通过两次以上的倒车动作来完成将车辆停到期望的位置；

倒车轨迹线必须有两个主要信息，即目前车辆的位置以及要停放的目标位置，目前车辆的位置可以通过全方位视觉传感器的检测得到，而目标位置需要靠使用者通过用户界面的输入，本发明中利用全方位视觉传感器所得到的周围图像信息，在该显示的图像信息上用户只要在触摸屏上选择目标位置的大致位置，装置接受到用户的输入信息后，自动地去准确定位停车目标位置，然后根据所估算到的目前位置以及目标位置，自动生成一条倒车轨迹线(第一方案)，接着根据该倒车轨迹线作相应的倒车包络线，进一步判断倒车包络线与障碍物的图像边缘是否发生相交，如果不发生相交就确定该倒车方案是可行的；否则对发生相交处进行修改倒车轨迹线，然后重复上述过程，产生第二倒车方案、第三...，直到倒车成功为止。

倒车方案是要向驾驶员在什么位置时的方向盘转角，而汽车车轮转向角直接是与倒车轨迹线相关联的，也就是说可以通过倒车轨迹线的某一个点以及该点切线方向确定所需要的汽车车轮转向角，而驾驶员是通过方向盘转角来控制汽车车轮转向角，因此需要建立方向盘转角u与车轮转向角θ的关系，一般的车辆其关系式可以由下式表示：

$\frac{\mathrm{\θ}}{u}=\frac{40}{1.5}---\left(17\right)$

式(17)中，40表示转向轮的最大转向角为40，1.5表示方向盘的最大极限圈数为1.5圈，故可以得到式(18)

u≈0.0375θ        (18)

式(18)中，u单位为“圈”，θ单位为“度”。

在驾驶员在车内显示屏上指定了希望停车的位置或者停车的轨迹线后，如图7所示，***自动生成倒车方案，在***成功生成倒车轨迹方案后，***提示驾驶员可以倒车并提示方向盘的转角，驾驶员根据所显示的内容进行倒车操作，流程如图9所示，车辆在倒车过程中，全方位视觉传感器不断地获取车辆周边的视频信息；并根据该视频信息对车辆周边的障碍物进行边缘检测；然后根据本身车辆的长度与宽度计算与车辆周边的障碍物的最近距离；接着根据全方位视觉图像将其展开成前方视角、后方视角、左方视角以及右方视角的视频图像以供驾驶员能同时兼顾到车辆前后方、两侧的情况；当检测到车辆与车辆周边的障碍物的最近距离小于0.6米时，在该视角方位显示单元上会有红色字体显示，警示驾驶员注意；当检测到车辆与车辆周边的障碍物的最近距离小于0.35米时，用声音报警并实施紧急停车；接着进行倒车轨迹线偏移检测，一旦生成好的倒车轨迹线，由于驾驶员在倒车驾驶过程中会与规划好的倒车轨迹线会产生偏差，当偏差大于某一个值时就需要进行调整，根据目前车辆所处的位置以及车辆的最终停放位置来更新倒车方案。所述的更新倒车方案的自动生成方法与上述的方法相同，只是用新的倒车方案来替换旧的倒车方案；如果检测到车辆倒车过程中基本上是按照倒车轨迹来进行时，本发明中采用关键点上改变方向盘的转角方法，一旦车辆达到了该关键点，***就要计算在该关键点上前轮的转角以及方向盘的转角，同时要提示驾驶员要改变车辆的方向盘，使车辆继续按照所规划好的轨迹倒车；

在驾车过程中，不论车速怎么变化，驾驶员的预瞄时间基本不变(或变化很小)。如果能够合理设计车辆或者知道车辆的转向特性，使在一定预瞄时间下，车辆达到后方某侧向位置的方向盘转角不随车速变化，将在很大程度上减少驾驶员对车辆特性变化的补偿，减轻驾驶员的负担，减轻倒车的难度。

驾驶员在驾驶车辆的过程中首先根据车辆的当前位置和驾驶员特定预瞄时间(通常为1秒到1.2秒)后车辆的预定位置，确定一个理想的车辆路径行驶角，然后根据该路径行驶角和车辆的当前状态(车速、侧向加速度、横摆角速度)，以及驾驶员的驾车经验确定方向盘转角，希望通过此方向盘转角使车辆达到预定目标点。

在传统转向系中，由于转向机构的弹性和机构部件特别是轮胎的非线性特性，车辆的转向增益随车速的不同而变化。驾驶员必须对车辆响应特性的变化做出预测和补偿，如果能够通过改变转向***传动比或者规定在倒车时车速，使驾驶员的方向盘转角和路径行驶角之间呈现出与车速无关的固定比例关系，就可以使驾驶员的转向操作大大简化。

本发明中采用了固定车速范围的方式来保证方向盘转角与车辆路径行驶角之间的对应关系。

为了讨论的方便，我们假定驾驶员驾车在平直路面上直线行驶然后输入到达预定目标点所需的方向盘转角，并忽略车辆在这一过程中的瞬态响应，即驾驶员输入给定方向盘转角后，车辆立刻进入稳态圆周转向状态。

如图10所示在t＝t₀时刻，全方位视觉传感器的中心点(车辆重心)与惯性坐标原点(X₀，Y_o)重合，而且假定车辆在X轴上的空间方位角为零。在驾驶员输入给定方向盘转角后，车辆以横摆角速度y绕O点作稳态圆周转向，设车速为U，假定车辆***的侧偏角无穷小，并忽略高阶分量，车辆在t＝t₀时刻在惯性坐标系中的位置(X_P，Y_P)和路径行驶角(车辆姿态角)ψ可用下式表示：

X_P＝U*t_P

ψ＝γ*t_P/2                    (19)

$Y_P=X_P*\tan \left(\mathrm{\ψ}\right)\≈X_P*\mathrm{\ψ}=U*\mathrm{\γ}*t_P^2/2$

车辆的动态横摆角速度γ可以表示车辆对前轮转角输入的横摆角速度增益G_δ ^γ、转向系增益G_s，以及方向盘转角δ_h的函数：

$\mathrm{\γ}=G_{\mathrm{\δ}}^{\mathrm{\γ}}*G_s*{\mathrm{\δ}}_h---\left(20\right)$

其中，G_s是转向系传动比i的倒数，即：G_s＝1/i＝δ_f/δ_h，δ_f为前轮转角。假设

关系成立，

则给定车辆方向盘转角δ_h，t_P秒后车辆在惯性坐标系的位置可由下式得到：

$Y_P=U*K_s*{\mathrm{\δ}}_h*t_p^2/2---\left(21\right)$

由公式(21)可以得到目标路径行驶角ψ_P，用公式(22)表示：

ψ_P＝tan^-1(Y_P/X_P)≈Y_P/X_P＝K_s*δ_h*t_p/2       (22)

假定倒车的后视时间t_p＝1秒，就可以由以下公式计算得到车辆到目标位置点(X_P，Y_P)的路径行驶角：

ψ_P＝K_s*δ_h/2                      (23)

只要设定合理的转向系增益G_s，使得在某一车速范围内有为一常数，则在该车速范围，车辆一秒钟后达到目标点所需的方向盘转角同路径行驶角间具有线性对应关系。K_s代表车辆***增益，其具体值可根据某一类型车辆的参数和一般倒车驾驶要求得到。

为了简化倒车的技术难度，减少驾驶员的倒车时的负担以及今后为实现全自动倒车做准备，最理想的是建立路径行驶角ψ_P与方向盘转角δ_h的对应关系，这样一旦确定好倒车轨迹曲线后就能计算得到路径行驶角ψ_P，然后根据路径行驶角ψ_P与方向盘转角δ_h的对应关系得到方向盘转角δ_h。

一般来说复杂的倒车轨迹可以由多个圆弧拼合而成，如图11所示，只要把握几个在倒车过程中的关键目标点，如图11中的第一目标点、第二目标点以及第三目标点，就能顺利完成倒车；本发明中在生成倒车轨迹时，在倒车轨迹上分为几个阶段性的目标点，然后用若干个轨迹圆弧去拟合这些目标点，所述的倒车轨迹圆弧必须满足两个条件：1)所生成的轨迹圆弧大于车辆最小的路径行驶圆弧曲率；2)根据所生成的倒车轨迹线的车辆包络线不能与周围障碍物发生交叠；因此在倒车过程中车辆到达该阶段目标点时改变方向盘转角δ_h，就能保证车辆顺利完成倒车，否则要重新生成新的倒车轨迹线。

所述的微处理器15是嵌入式***，本发明中的实现算法是由Java语言实现的。

实施例2

参照图1～图11，与上述的实施例1相同，在车辆的驾驶过程(非倒车)中也可以使用该装置来观察车辆周围的情况，拓广驾驶员的视野，减少事故的发生。

实施例3

参照图1～图11，与上述的实施例1相同，本实施是在一些工程车上的应用，由于工程车的驾驶员视觉要比一般车辆小，工程车体积比较庞大，采用该装置并将其安装在工程车的中部，能拓广工程车驾驶员的视野。

实施例4

参照图1～图11，与上述的实施例1相同，只通过全方位视觉传感器来俯瞰以车辆为中心的所有周围的环境，并将车辆前后方、两侧的视频信息同时显示在车内的显示器上，使得驾驶员能同时兼顾车辆前后方、两侧的情况，用于减轻驾驶员在倒车过程中的体力和脑力的付出。

上述的实施例1、2、3、4所产生的发明效果是：通过全方位的视频图像边缘检测能及时发现车辆周围的物体与车辆的最近距离，避免了在倒车过程中的事故；通过驾驶员指定车辆停放的位置，***根据驾驶员倒车的驾驶经验、驾驶技巧自动生成倒车轨迹线，使得驾驶新手也能顺利完成倒车停放车辆的任务。另外装置还具有性能价格比高、可靠性好、维护简单、实施方便等优点。

Claims (5)

1.一种基于全方位计算机视觉的智能停车辅助装置，包括视觉传感器、用于进行停车辅助决策的微处理器以及用于显示车辆周围情况的显示单元，所述视觉传感器连接微处理器，所述的微处理器包括：

图像显示单元，用于采集视觉传感器的信号，并输出到显示单元；

其特征在于：所述的视觉传感器为全方位视觉传感器，该全方位视觉传感器安装在车辆中间的顶部，所述的全方位视觉传感器包括用于反射车辆周围领域中物体的外凸折反射镜面，外凸折反射镜面朝下，用于防止光折射和光饱和的黑色圆锥体，黑色圆锥体固定在折反射镜面外凸部的中心，用于支撑外凸折反射镜面的透明圆柱体，用于拍摄外凸折反射镜面上成像体的摄像头，摄像头对着外凸折反射镜面朝上；

所述的微处理器还包括：

传感器标定模块，用于建立空间的路面图像与所获得的视频图像的对应关系；图像展开模块，用于将全方位视觉传感器采集的图像进行展开，将读取的圆形视频图像展开为全景柱状图；

车辆周围障碍物边缘检测模块，用于采用索贝尔算子进行边缘检测，采用设定大小的模板，在各个模板之间计算梯度，在图像中选择计算的梯度值大于梯度幅值的点作为边缘点，将各个边缘点连接成边缘位置；

车辆周围障碍物边缘最近距离计算模块，用于在左右方向上，以车辆的长度作为检测线，从离车辆的宽度加上报警距离处作为开始检测线，分别从左右方向向外进行检测，当检测线碰到检测直线与障碍物的边缘线有预设数量的像素点相交时，判定该处是障碍物与车辆在左右方向上的最近距离；在前后方向上，以车辆的宽度作为检测线，从离车辆的长度加上报警距离处作为开始检测线，分别从前后方向向外进行检测，当检测线碰到检测直线与障碍物的边缘线有预设数量的像素点相交时，判定该处是障碍物与车辆在前后方向上的最近距离；

障碍物报警模块，用于判断最近距离是否小于预设的下限值，如小于该下限值，向告警器发出告警指令；

倒车知识库，用于存放驾驶员的倒车技巧、技能，以及各种当前位置与目标位置之间的倒车轨迹线，供生成倒车轨迹线时调用；

停车位置指定模块，用于使用者通过用户界面的输入希望停放车辆的位置，利用全方位视觉传感器所得到的周围图像信息，在该显示的图像信息上用户在触摸屏上选择目标位置；

倒车轨迹线生成模块，用于通过全方位视觉传感器检测当前的车辆位置，使用者通过用户界面的输入目标位置，自动生成一条倒车轨迹线，根据该倒车轨迹线作相应的倒车包络线，所述的倒车包络线大于车辆可行驶最小的路径圆弧曲率，并判断倒车包络线与障碍物的图像边缘是否发生相交，如不发生相交就确定该倒车轨迹线；否则，对发生相交处进行修改倒车轨迹线；

方向盘转角动作计算模块，用于根据所生成的倒车轨迹线，得到在该倒车轨迹线的关键点上的目标路径行驶角ψ_P，目标路径行驶角ψ_P与方向盘转角δ_h的关系用公式(22)表示，

ψ_P＝tan^-1(Y_P/X_P)≈Y_P/X_P＝K_s*δ_h*t_p/2    (22)

上式中，为一常数，X_P、Y_P为车辆在某一时刻在惯性坐标系中的位置，G_δ ^γ为前轮转角输入的横摆角速度增益，Gs为车辆的转向系增益，估算出在该车速情况下到达下一个倒车关键点时的时间t_p；并将该方向盘转角δ_h输出到显示单元；

倒车轨迹线纠偏模块，用于在车辆偏离倒车轨迹线时重新计算倒车轨迹线进行纠偏，检测在倒车轨迹线上的关键点是否发生了偏移，如果检测的偏移值超过预设的范围，根据当前车辆的位置重新生成倒车轨迹线。

2.如权利要求1所述的基于全方位计算机视觉的智能停车辅助装置，其特征在于：所述的折反射镜面为了能够得到与空间物体坐标的对应点，折反射镜面采用双曲面镜来进行设计：所示的双曲面镜构成的光学***可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)            (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                            (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ  (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(5\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦距，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角，即方位角；α表示入射光线在XZ平面上的夹角，即俯角，f表示成像平面到双曲面镜的虚焦点的距离；

全方位视觉传感器的安装高度是根据全方位视觉传感器的俯角以及车辆车身的情况来决定的，将全方位视觉传感器能监视到离车辆0.35米以外的物体，并将其全方位视觉传感器的位置作为安装高度的指标；所述的全方位视觉传感器的XY平面是与地平面平行；

根据全方位视觉传感器中的双曲面折反射镜的特点，通过投影点P(x，y)计算得到相对于车辆中心点的障碍物在空间上的P(X，Y，Z)点，计算公式由式(11)给出：

$x=f((b^2-c^2)X/((b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2})---\left(11\right)$

$y=f((b^2-c^2)Y/((b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2})$

式(11)表示了空间上的P(X，Y，Z)点在成像平面上的投影点P(x，y)的关系，因此

从成像平面上得到P(x，y)的值可以得到该点在P(X，Y，Z)点。

3.如权利要求1或2所述的基于全方位计算机视觉的智能停车辅助装置，其特征在于：前方视角、后方视角、左方视角和右方视角均匀分割，每个视觉方向上显示有水平160度的视频信息。

4.如权利要求1或2所述的基于全方位计算机视觉的智能停车辅助装置，其特征在于：所述的图像展开模块包括：

读取坐标信息单元，用于读取圆形全方位图像的中心坐标以及图像的内外圆半径；近似展开计算单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，设定中间圆的半径：r₁＝(r+R)/2，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；建立矩形柱面全景图像中任意一点像素坐标P^**(x^**，y^**)与圆形全方位图像中的像素坐标Q^*(x^*，y^*)的对应关系，其计算式为：

x^*＝y^*/(tan(360x^**/π(R+r)))    (8)

y^*＝(y^**+r)cosβ                (9)

上式中，x^**，y^**为矩形柱面全景图像的像素坐标值，x^*，y^*为圆形全方位图像的像素坐标值，R为圆形全方位图像的外径，r为圆形全方位图像的内径，β为圆形全方位图像坐标的方位角。

5.如权利要求1或2所述的基于全方位计算机视觉的智能停车辅助装置，其特征在于：所述的图像展开模块包括：

读取坐标信息单元，用于读取圆形全方位图像的中心坐标以及图像的内外圆半径；映射矩阵展开单元，用于将圆形全方位图像的中心坐标设定平面坐标系的原点O^**(0，0)、X^*轴、Y^*轴，图像的内径为r，外径为R，方位角为：β＝tan^-1(y^*/x^*)；矩形柱面全景图像以坐标原点O^**(0，0)、X^**轴、Y^**轴为平面坐标系，将圆形全方位图像中的内径为r与X^*轴的交点(r，0)作为坐标原点O^**(0，0)，以方位角β逆时针方向展开；根据圆形全方位图像中的任意一点像素坐标Q^*(x^*，y^*)与矩形柱面全景图像中像素坐标P^**(x^**，y^**)的对应关系，建立从Q^*(x^*，y^*)到P^**(x^**，y^**)的映射矩阵对应关系，其计算式为：

P^**(x^**，y^**)←M×Q^*(x^*，y^*)      (10)

上式中，Q^*(x^*，y^*)为全方位图像上的各个像素坐标的矩阵，M为从全方位图像坐标到矩形柱面全景图像坐标的对应关系矩阵，P^**为矩形柱面全景图像上的各个像素坐标的矩阵。

Images