CN101661682B - 基于全方位视觉的智能路考仪 - Google Patents

Abstract

一种基于全方位视觉的智能路考仪，包括：用于获取路考用车辆周围的路况视频信息的两台无死角的全方位视觉传感器、用于获取路考用车辆的空间位置的GPS传感器、用于提示考生下面需要考试的科目内容的考试提示器，以及用于处理、传输和存储路考用车辆周围的路况视频信息的微处理器；两台无死角的全方位视觉传感器中，其中一台安置在路考车辆的前底座支架上，用以获得车辆前方和左侧的视频图像；另一台安置在路考车辆的后底座支架上，用以获得车辆后方和右侧的视频图像；GPS传感器、考试提示器和微处理器均安装在车辆内。本发明能够精确记录并判断驾驶人操纵驾驶机动车的真实能力、可代替考官随车考试、实用性强。

Description

基于全方位视觉的智能路考仪

技术领域

本发明属于全方位视觉传感器技术、图像识别技术、GPS定位以及无线传输技术在路考方面的应用。

背景技术

依据中华人民共和国公安部第91号令所规定的要求，对申领机动车驾驶证的考生都需要进行场地驾驶技能考试科目、道路驾驶技能考试科目的考试，场地驾驶技能考试科目包括：桩考、坡道定点停车和起步、侧方停车、通过单边桥、曲线行驶、直角转弯、限速通过限宽门、通过连续障碍、百米加减挡、起伏路行驶；道路驾驶技能考试科目包括：上车准备、起步、直线行驶、变更车道、通过路口、靠边停车、通过人行横道线、通过学校区域、通过公共汽车站、会车、超车、掉头、夜间行驶。而目前这些考试需要考官随车目测考生的驾驶情况作出判断是否科目技能通过，这种方式依赖于考官的主观判断，即费警力又容易产生误判；有些科目完全是通过考官坐在车内的感觉来判断，无法判断时还需要下车观察。

中国实用新型200420115448.X公开了一种振动测感式机动车曲线行驶路考装置。它由内侧弯管，外侧弯管，弹性支撑机构及振动传感装置等部分组成；其特征在于：用两组弯管组成弯道边线，弯管安装在弹性支撑机构上，弯管内装有振动传感器。本实用新型能准确而可靠地监测机动车路考过程中触轧曲线行驶考场弯道边线。这种路考装置只针对曲线行驶路考科目，使用面较窄，同时还需要在地面上做一个路考装置。中国实用新型200520079228.0公开了一种具有霍尔传感器的路考装置，通过埋在考场地面下的磁场被测磁块和安置在考试车辆上的磁场信号探测器来检测车辆是否碰线，这种测量方法属于点测量，因此检测范围小，使用面较窄。中国实用新型200620012962.X公开了一种地面标志漫反射车载识别路考装置，包括有考车、车载计算机、中央控制计算机及设在路考车道上的考试装备，其特征是该考车底盘下装设有左前、右前、左后、右后及前中五个漫反射光电传感器，路考车道上设有多组由五个长方形标志条组成的标志条编码组，该些考试装备中包括设有振动传感器和压力开关的障碍圆饼、设有压力开关的上桥检测板的单边桥、设有振动传感器的中空盒体、设有振动传感器的吊杆等，以及按照考试装备和考核项目的要求设置的特殊标志，这些标志由车载识别***予以识别、判知考试成绩，可减少传感器的种类；这种路考装置需要在路考车道上安置很多标志物，不太适用道路驾驶技能考试科目的考试，另外也存在着考试过程可视性差的问题。

目前也有视频路考的解决方案，但是由于采用的摄像装置只能获取路考车辆某一个方向上的视频信息，检测范围受到很大的限制。

GPS(全球定位***)是继子午卫星导航***之后，美国政府推出的第二代卫星定位***。运用GPS进行高精度动态测量已成为国内外的一个重要研究方向。为了提高GPS测量的精度，动态差分定位愈来愈引起人们的重视。动态差分要比坐标差分严密且效果更好。GPS差分的高精度潜能还在于载波相位的应用，相位与伪距相结合的差分方法能够达到0.5-1m的精度。这样的定位精度已经基本上满足了车辆的定位要求，GPS定位采用徕卡S530。

用全方位计算机视觉和模式识别技术来代替随车考官是一个路考发展的方向，利用无线通讯技术将考试车辆周围的全景视频数据传送给考试中心，利用视频数据记录设备和GPS传感器将路考中所有相关视频数据和空间位置信息真实记录下来，利用计算机视觉技术和模式识别技术自动分析和判定考生各项实车考试成绩，基于全方位视觉的智能路考仪有利于路考的公平公正，有效减少警力。

发明内容

为了克服目前路考需要大量警力，由于各种人为的原因产生路考的不公平不公正问题的不足，本发明提供一种能够精确记录并判断驾驶人操纵驾驶机动车的真实能力、可代替考官随车考试、实用性强的基于全方位视觉的智能路考仪。

本发明为了解决上述技术问题提出的技术方案为：

一种基于全方位视觉的智能路考仪，包括：用于获取路考用车辆周围的路况视频信息的两台无死角的全方位视觉传感器、用于获取路考用车辆的空间位置的GPS传感器、用于提示考生下面需要考试的科目内容的考试提示器，以及用于处理、传输和存储路考用车辆周围的路况视频信息的微处理器；两台无死角的全方位视觉传感器中，其中一台安置在路考车辆的前底座支架上，用以获得车辆前方和左侧的视频图像；另一台安置在路考车辆的后底座支架上，用以获得车辆后方和右侧的视频图像；所述GPS传感器、考试提示器和微处理器均安装在车辆内，所述的两台无死角的全方位视觉传感器通过视频接口与所述的微处理器连接，所述的GPS传感器通过数据接口与所述的微处理器连接，所述的考试提示器与所述的微处理器连接；

所述无死角全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述一次折反射镜面和二次折反射镜面安装在透明外罩上，所述摄像部件位于一次折反射镜面后面的视点上，所述二次折反射镜面位于一次折反射镜面的前面，所述一次折反射镜面和二次折反射镜面上均开有一个小孔，所述二次折反射镜面内嵌入广角镜头，所述摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上，

所述的微处理器包括：

视频图像读取单元，用于读取两台无死角全方位视觉传感器的视频图像，并将获取的视频图像发送到考试科目数据加工记录单元；

车辆位置获取单元，用于在道路驾驶技能考试中获得路考车辆所处的位置信息，通过GPS传感器获取现场测绘仪的位置；

考生相关信息输入输出单元，用于输入考生的相关信息和用于考生在显示器上确认其本人的相关信息；

考试科目出题单元，用于根据所述的考生相关信息输入输出单元发送过来的场地驾驶技能考试科目和道路驾驶技能考试科目的内容进行出题，出题单元中首先确定场地驾驶技能考试还是道路驾驶技能考试科目，然后从该考生未考科目中进行出题，接着将出题结果发送给考试科目数据加工记录单元以及从考试提示器中输出考生将要考试的科目；

考试科目数据加工记录单元，用于记录考生在路考过程中的视频数据、车辆的位置数据、考试的时间、考试的科目和考生的ID号；

考试科目分析单元，用于分析考生在路考中所记录的各种科目的视频图像，通过分析视频数据与考试科目的标准要求进行比较分析；

考试科目判定单元，用于判定考生的路考情况，根据各个考试科目分析单元的分析结果，如果分析结果是所考科目通过，则将该考试科目的成绩添加到所对应的科目合格表中，如果分析结果是所考科目未通过，则该考试科目成绩不合格；对于无法确认的判定结果在科目合格表表中留下空白，留给考官人工观察视频备份来进行判定。

进一步，在所述的考生相关信息输入输出单元中，当考生提出要求路考时，路考仪要求考生从键盘上输入考生ID号，考生的ID号与考生的身份证号相同；路考仪首先检查所输入的号码是否是18位数字以及考生的年龄范围是否符合公安部第91号令所规定的要求，然后再检查考生所输入的考生的ID号是否在存储单元中存在，如果存在的话，检查该考生是否已经全部完成了驾驶技能考试，如果没有全部完成在显示器上显示考生的相关信息和下面需要考试的内容；如果不存在的话就自动产生一张按考生ID号为主键的场地驾驶技能考试科目表和道路驾驶技能考试科目表，如表1、表2所示，其中，表1为场地驾驶技能考试成绩表；表2为道路驾驶技能考试成绩表：

考生ID：

	已考	已通过	考试时间
				桩考
坡道定点停车和起步
				侧方停车
通过单边桥
				曲线行驶
直角转弯
				限速通过限宽门
通过连续障碍
				百米加减挡
起伏路行驶

表1

	已考	已通过	考试时间
				直线行驶
变更车道
				通过路口
靠边停车
				通过人行横道线
通过学校区域
				通过公共汽车站
会车
				超车
夜间行驶

表2

输入考生ID号经验证正确后，考生进入路考；最后将场地驾驶技能考试科目表和道路驾驶技能考试科目表发送给所述的考试科目出题单元。

再进一步，在所述的考试科目数据加工记录单元中，将路考车辆周围两台无死角的全方位视觉传感器的环境图像进行拼接，拼接和加工后的图像发送给考试科目分析单元和存储单元；在存储单元内保留考试过程的实时视频备份，考生对考试结果有疑问可以调出考试过程的视频回放，避免判定争议；实时视频备份文件名是以考生ID+科目ID来存储的。

更进一步，在所述的考试科目分析单元中，采用边缘检测算法来检测考试车辆是否触及标志边缘；所述的边缘检测是依靠对图像进行微分运算求得梯度来进行边缘检测，从边缘点往往对应于一阶微分幅值大的点，同时也对应于二阶微分的零交叉点出发，设计一些一阶或二阶微分算子，求得其梯度或二阶导数过零点，再选择一定的阈值提取边界。

在所述的考试科目分析单元中，采用边缘检测算法来检测考试车辆是否触及标志边缘；所述的边缘检测是依靠对图像进行微分运算求得梯度来进行边缘检测，从边缘点往往对应于一阶微分幅值大的点，同时也对应于二阶微分的零交叉点出发，设计一些一阶或二阶微分算子，求得其梯度或二阶导数过零点，再选择一定的阈值提取边界。

设定一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像为第一成像点，该成像点通过摄像部件镜头在视点处成像，将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3    (12)

通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

组合摄像单元的焦距f由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

合成镜头时满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角。

所述无死角全方位视觉传感器进行水平方向平均分辨率设计，具体有：

一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中， $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

$F_1^{\′2}-2\mathrm{\α}{F}_1^{\′}-1=0---\left(2\right)$

$F_2^{\′2}-2\mathrm{\β}{F}_2^{\′}-1=0---\left(3\right)$

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

${F_1}^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

${F_2}^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F′₁为F₁曲线的微分，F′₂为F₂曲线的微分；

建立一种像素点P到Z轴距离与入射角φ之间的线性关系，用公式(6)来表示，

式中：a₀、b₀是任意参数，

将摄像单元的焦距作为f，P为像素到Z轴的距离，在二次反射镜面上的反射点(t₂，F₂)；则根据成像原理，P由公式(7)表示：

$P=f*\frac{t_2}{F_2}---\left(7\right)$

将式(7)代入式(6)，可得公式(8)，

$\mathrm{\φ}=a_0*(f*\frac{t_2}{F_2})+b_0---\left(8\right)$

根据折反射原理公式(8)用公式(9)表示：

${\tan }^{-1}\left(\frac{t_1}{F_1-s}\right)=a_0*(f*\frac{t_2}{F_2})+b_0---\left(9\right)$

利用公式(2)、(3)、(9)，利用4阶Runge-Kutta算法求F₁和F₂的数字解，计算得到一次折反射镜面和二次折反射镜面的曲线。

所述透明外罩呈碗状。所述考试提示器为扬声器，所述扬声器通过音频接口与所述微处理器连接。

本发明的技术构思为：本发明提出采用两台无死角的全方位视觉传感器来获得考试车辆周围路况的视频图像，但是目前的全方位视觉传感器(以下简称ODVS)技术还无法实现路面顶视视频图像不变形要求；因此需要进行水平方向平均分辨率设计，以满足路面顶视视频图像不变形要求；所以在ODVS设计上可以归结于折反射镜面曲线的设计，如附图4所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁)点上进行反射，反射光V2反射到次反射镜面(t2，F₂)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

$F_1^{\′2}-2\mathrm{\α}{F}_1^{\′}-1=0---\left(2\right)$

$F_2^{\′2}-2\mathrm{\β}{F}_2^{\′}-1=0---\left(3\right)$

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

${F_1}^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

${F_2}^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F′₁为F₁曲线的微分，F′₂为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图4所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C    (6)

为了设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b       (7)

根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}\frac{t_1}{F_1-s}---\left(8\right)$

将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求；

通过对公式(2)、(3)、(9)利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；图7是利用4阶Runge-Kutta算法求F₁和F₂的数字解的折反射镜面曲线图；

设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图3所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，无死角的ODVS的结构如图3所示；

在一次折反射镜面的顶部留出一个小孔，摄像机3通过该小孔能拍摄到一次折反射镜面后面的图像信息，但是通过该小孔能拍摄到一次折反射镜面后面的图像信息的大部分二次折反射镜面上所折反射的图像，仍然有一些空间图像信息被二次折反射镜面所遮挡；本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图8是摄像部件镜头与广角镜头的位置关系图。在图8中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3(12)

要使公式(12)成立的话，也就是将图8中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图2中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

对于图8中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

为了将合成镜头的视场与ODVS的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的ODVS拍摄出来的图像效果图如图2所示，从单个ODVS来说消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的ODVS的死角部分。

所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图3所示；

所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量，但是透明外罩本身也会受到外界粉尘等污染而影响图像质量，在透明外罩的外边涂上一层薄膜，薄膜材料的主要成分是二氧化钛的纳米材料；

ODVS在路考车辆上的配置方案，一台ODVS安置在路考车辆的前底座支架上，如附图9所示，ODVS的视角部分正朝下使得ODVS能捕获到车辆左前部的顶部视图；另一台ODVS安置在路考车辆的后底座支架上，ODVS的视角部分正朝下使得ODVS能捕获到车辆右后部的顶部视图；这样的ODVS配置方案能获得路考车辆周围的整个路况的全景视频图像，如附图1和附图5中的斜线部分所示；安置在路考车辆的前底座支架上的ODVS获得车辆前方和左侧的视频图像，安置在路考车辆的后底座支架上的ODVS获得车辆后方和右侧的视频图像。

本发明的有益效果为：采用全方位视觉、计算机视觉、模式识别、GPS定位等技术，使得基于全方位视觉的智能路考仪能够科学、规范、有序的自动完成机动车驾驶员道路考试的全过程：(1)能够精确记录、判断驾驶人操纵驾驶机动车的真实能力；(2)在各种不同的道路和复杂的障碍路面上观察、判断、预防及应变能力；(3)对已有路考训练或考试场地的地方，只需少量改造就可成为智能路考***；(4)在场地比较紧张的情况下，可以建成流动训练场或流动考场；(5)无需改造路面，便于***安装和维护，图像监控等多种方式防止替考现象，保持考试的公正、公平和公开；(6)可替代考官随车考试，能有效减少警力。

附图说明

图1为一种路考中直角转弯科目的视频分析示意图；

图2为无死角全方位视觉传感器的所拍摄的全景视频图像示意图；

图3为无死角全方位视觉传感器的成像原理图；

图4为无死角全方位视觉传感器的成像光路分析图；

图5为基于全方位视觉的智能路考仪的工作原理图；

图6为基于全方位视觉的智能路考仪的处理流程框图；

图7为二次折反射镜面设计的镜面曲线图；

图8为摄像部件镜头与广角镜头进行组合的光学原理图；

图9为无死角全方位视觉传感器安置在考试车辆前底座支架上的示意图；

图10为拼接和加工后的全景视频图像示意图。

具体实施方式

参照附图进一步说明本发明。

参照图1～图10，本发明提供一种基于全方位视觉的智能路考仪，路考仪中包括：安置在考试车辆前后两侧车架上的两台无死角的全方位视觉传感器，用于获取考试车辆周围的路况视频信息；安置在考试车上的GPS传感器，用于获取考试车的空间位置；安置在考试车内的微处理器，用于处理、传输和存储考试车辆周围的路况视频信息；安置在考试车内的扬声器，用于提示考生下面需要考试的科目内容；所述的两台无死角的全方位视觉传感器通过视频接口与所述的微处理器连接，所述的GPS传感器通过数据接口与所述的微处理器连接，所述的扬声器通过音频接口与所述的微处理器连接；

本发明提出采用两台无死角的全方位视觉传感器来获得考试车辆周围路况的视频图像，但是目前的全方位视觉传感器(以下简称ODVS)技术还无法实现路面顶视视频图像不变形要求；因此需要进行水平方向平均分辨率设计，以满足路面顶视视频图像不变形要求；所以在ODVS设计上可以归结于折反射镜面曲线的设计，如附图4所示，空间上的一个光源点P的入射光V1在主反射镜面(t1，F₁)点上进行反射，反射光V2反射到次反射镜面(t2，F₂)点上再进行反射，反射光V3以角度θ1进入摄像装置的镜头，在摄像单元(CCD或者CMOS)上成像。

根据成像原理，一次入射光线V1与折反射主轴Z的夹角为Φ，一次反射光线V2与折反射主轴Z的夹角为θ₂，过P₁点(t₁，F₁)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε；二次反射光线V3与折反射主轴Z的夹角为θ₁，过P₂点(t₂，F₂)的切线与t轴的夹角为σ，法线与Z轴的夹角为ε₁，基于上述关系可以得到公式(1)：

其中 $\tan \mathrm{\φ}=\frac{t_1}{F_1(t_1-s)},$ $\tan {\mathrm{\θ}}_2=\frac{t_1-t_2}{F_2-F_1},$ $\tan {\mathrm{\θ}}_1=\frac{t_2}{F_2}$

式中，F₁是一次折反射镜面曲线，F₂是二次折反射镜面曲线；

利用三角关系并进行简化整理，得到公式(2)、(3)：

$F_1^{\′2}-2\mathrm{\α}{F}_1^{\′}-1=0---\left(2\right)$

$F_2^{\′2}-2\mathrm{\β}{F}_2^{\′}-1=0---\left(3\right)$

上式中，

$\mathrm{\σ}=\frac{(F_1-s)(F_2-F_1)-t_1(t_1-t_2)}{t_1(F_2-F_1)-(t_1-t_2)(F_1-s)}$

$\mathrm{\β}=\frac{t_2(t_1-t_2)+F_2(F_2-F_1)}{t_2(F_2-F_1)-F_2(t_1-t_2)}$

解公式(2)、(3)可以得到公式(4)、(5)；

${F_1}^{\′}=\mathrm{\α}\±\sqrt{{\mathrm{\α}}^2+1}---\left(4\right)$

${F_2}^{\′}=\mathrm{\β}\±\sqrt{{\mathrm{\β}}^2+1}---\left(5\right)$

式中：F′₁为F₁曲线的微分，F′₂为F₂曲线的微分；

所述的成像平面上的点与水平面上的点之间的关系来说具有某种线性关系，与视点S的距离为C并与Z轴相垂直的水平面L上的任意点P，在成像平面上的有一个对应的像素点p，如附图4所示，将水平面上的坐标用极坐标表示，这时水平面L上的任意点P(r，z)可以用以下公式来表示，

r＝C*tanφ，z＝s+C    (6)

为了设计水平面上具有平均分辨率ODVS，即水平方向不变形的ODVS，在水平面L上的任意点P与Z轴相垂直方向的坐标r和像素点p与Z轴的距离t₂/F₂(t₂)之间要保证具有线性关系。使得以下公式能成立，

r＝a*f*t₂/F₂(t₂)+b    (7)

根据成像原理有以下关系成立，入射角用公式(8)表示，

$\tan \mathrm{\φ}=\frac{t_1}{F_1-s}---\left(8\right)$

将公式(6)、(8)代入公式(7)并整理，得到在水平方向不变形的条件，用公式(9)表示，

$t_2=\frac{F_2\left(t_2\right)}{a*f}(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

满足公式(9)的镜面曲线设计符合水平方向平均分辨率要求；

更进一步，通过对公式(2)、(3)、(9)利用4阶Runge-Kutta算法求F₁和F₂的数字解，这样计算得到的一次折反射镜面和二次折反射镜面曲线能实现水平方向平均分辨率；图7是利用4阶Runge-Kutta算法求F₁和F₂的数字解的折反射镜面曲线图；

进一步，设计透明外罩2，为了使得透明外罩2不会产生内壁的反射干扰光，如图3所示。具体做法是将透明外罩设计成碗状，即设计成半圆球，这样能避免在透明外罩2发生反射干扰光，无死角的ODVS的结构如图3所示；

更进一步，在一次折反射镜面的顶部留出一个小孔，摄像机3通过该小孔能拍摄到一次折反射镜面后面的图像信息，但是通过该小孔能拍摄到一次折反射镜面后面的图像信息的大部分二次折反射镜面上所折反射的图像，仍然有一些空间图像信息被二次折反射镜面所遮挡；本发明中将广角镜头配置在二次折反射镜面上，设计广角镜头以及确定广角镜头的位置是本发明的一个任务。图8是摄像部件镜头与广角镜头的位置关系图。在图8中将广角镜头配置在一次折反射镜的前方和二次折反射镜面上，摄像部件镜头、广角镜头、一次折反射镜和二次折反射镜的中心轴配置在同一轴心线上；通过一次折反射镜上的圆孔在广角镜头与摄像部件镜头之间成像，称为第一成像点，该成像点通过摄像部件镜头在视点处成像。这里将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式可以得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3    (12)

要使公式(12)成立的话，也就是将图8中的从第一折反射镜面后的摄像部件镜头距离为d的地方配置广角镜头的话，就可以得到图2中图像中部所显示的广角成像图；但是本发明中是将广角镜头配置在第二折反射镜面上，因此将摄像部件镜头与广角镜头的之间的距离d作为一个约束条件，只有通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

进一步，对于图8中将摄像部件镜头与广角镜头作为一个组合镜头来考虑的话，其焦距f可以由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，将合成镜头的直径作为D，其放大倍数可以由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

为了将合成镜头的视场与ODVS的死角部分相吻合，在设计合成镜头时需要满足以下公式：

$n-\frac{D}{f}={2\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；经过上述设计的ODVS拍摄出来的图像效果图如图2所示，从单个ODVS来说消除了原来ODVS的死角部分，并且通过摄像部件镜头与广角镜头的组合方式加上第一折反射镜面以及第二折反射镜面的设计，能有效地覆盖原来的ODVS的死角部分。

更进一步，所述的第一折反射镜面、第一折反射镜面上的小孔、摄像机、透明外罩、第二折反射镜面、广角镜头在同一中心轴线上；摄像机的镜头安置在第一折反射镜面后部的视点位置上，如图3所示；

所述的透明外罩，主要用于支撑第一折反射镜面、第二折反射镜面、广角镜头以及保护第一折反射镜面和第二折反射镜面不受到外界粉尘的污染而影响折反射的质量，但是透明外罩本身也会受到外界粉尘等污染而影响图像质量，在透明外罩的外边涂上一层薄膜，薄膜材料的主要成分是二氧化钛的纳米材料；

更进一步，是ODVS在路考车辆上的配置方案，一台ODVS安置在路考车辆的前底座支架上，如附图9所示，ODVS的视角部分正朝下使得ODVS能捕获到车辆左前部的顶部视图；另一台ODVS安置在路考车辆的后底座支架上，ODVS的视角部分正朝下使得ODVS能捕获到车辆右后部的顶部视图；这样的ODVS配置方案能获得路考车辆周围的整个路况的全景视频图像，如附图1和附图5中的斜线部分所示；安置在路考车辆的前底座支架上的ODVS获得车辆前方和左侧的视频图像，安置在路考车辆的后底座支架上的ODVS获得车辆后方和右侧的视频图像；

所述的微处理器包括视频图像读取单元、车辆位置获取单元、考生相关信息输入输出单元、考试科目出题单元、考试科目数据加工记录单元、存储单元、考试科目分析单元和考试科目判定单元；

所述的视频图像读取单元，用于读取安置在路考车辆的前底座支架上的ODVS和安置在路考车辆的后底座支架上的ODVS的视频图像，并将这两幅全景视频图像分别发送给考试科目数据加工记录单元；

所述的车辆位置获取单元，用于在道路驾驶技能考试中获得路考车辆所处的位置信息，通过GPS传感器获取现场测绘仪的位置；GPS传感器是用于接收全球定位***(GPS)信号的传感器，GPS指利用在大约20183公里高度绕地球轨道运行的24颗人造卫星来跟踪全球位置的***。即，GPS是一种卫星导航***，其中安装在路考车辆上的GPS传感器接收从卫星发送的无线电波，由于已知卫星的精确位置，所以能够计算出接收无线电波所需的时间，从而获取的位置；安置在路考车辆的GPS传感器接收GPS信号，将路考车辆的几何坐标x，y，z和当前时间信息t分别发送给考试科目数据加工记录单元；

所述的考生相关信息输入输出单元，用于输入考生的相关信息和用于考生在显示器上确认其本人的一些相关信息；当考生提出要求路考时，路考仪要求考生从键盘上输入考生ID号，考生的ID号与考生的身份证号相同；路考仪首先检查所输入的号码是否是18位数字以及考生的年龄范围是否符合公安部第91号令所规定的要求，然后再检查考生所输入的考生的ID号是否在存储单元中存在，如果存在的话在显示器上显示考生的相关内容，如果不存在的话就自动产生一张按考生ID号为主键的场地驾驶技能考试科目表和道路驾驶技能考试科目表，如表1、表2所示；输入考生ID号经验证正确后，考生就可以进入路考；最后将场地驾驶技能考试科目表和道路驾驶技能考试科目表发送给所述的考试科目出题单元；

考生ID：******************

表1场地驾驶技能考试成绩表

	已考	已通过	考试时间
				桩考
坡道定点停车和起步
				侧方停车
通过单边桥
				曲线行驶
直角转弯
				限速通过限宽门
通过连续障碍
				百米加减挡
起伏路行驶

表2道路驾驶技能考试成绩表

	已考	已通过	考试时间
				直线行驶
变更车道
				通过路口
靠边停车
				通过人行横道线
通过学校区域
				通过公共汽车站
会车
				超车
夜间行驶

所述的考试科目出题单元，用于根据所述的考生相关信息输入输出单元发送过来的场地驾驶技能考试科目和道路驾驶技能考试科目的内容进行出题，出题单元中首先确定场地驾驶技能考试还是道路驾驶技能考试科目，然后从该考生未考科目中进行出题，接着将出题结果发送给考试科目数据加工记录单元以及从扬声器中输出考生将要考试的科目；

所述的考试科目数据加工记录单元，用于记录考生在路考过程中的视频数据、车辆的位置数据、考试的时间、考试的科目和考生的ID号，以便考官能从这些数据中对考生的情况进行评定；为了维护路考的严肃性，本发明中将车辆的位置数据、考试的时间、考试的科目和考生的ID号等数据嵌入到视频数据内，如附图10所示，这样所记录数据具有不可更改性；由于安置在路考车辆的前底座支架上的ODVS(称ODVS1)和安置在路考车辆的后底座支架上的ODVS(称ODVS2)的全景视频图像其中有90°角度范围是路考车辆的正下面，为了将路考车辆周围ODVS1和ODVS2的环境图像进行拼接，如附图10所示，通过这样的加工，考官以及后续的考试科目分析单元能在同一幅视频图像上判定路考情况，拼接和加工后的图像发送给考试科目分析单元和存储单元；在存储单元内保留考试过程的实时视频备份，考生对考试结果有疑问可以调出考试过程的视频回放，避免判定争议；实时视频备份文件名是以考生ID+科目ID来存储的；

所述的考试科目分析单元，用于分析考生在路考中所记录的各种科目的视频图像，主要通过附图10所示的视频并根据考试科目来进行分析；如考试科目为“侧方停车”，考试现场就是一个用白色油漆划出来的停车位，考试学员只要能把车倒进车位，然后再顺利驶出即可；在本发明中采用边缘检测算法来检测如附图10中视频图像中是否包含白色油漆划出来的停车位，如果在视频图像中存在着明显完整的车位边缘并在停车过程中车辆没有触及边缘就判定为停车通过，否则将要以人工确认侧方停车的视频备份；

所述的边缘检测方法大致上可以分为以下四个步骤：

①滤波：边缘检测算法主要是基于图像强度的一阶导数和二阶导数，但导数的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测方法的性能。需要指出，大多数滤波器在降低噪声的同时也导致了边缘强度的损失。因此边缘增强和降低图像噪声之间需要取得一种平衡。

②增强：增强边缘的基础是确定图像中各点邻域强度的变化值。增强算法可以突出邻域强度值有显著变化的点。边缘增强一般是通过计算梯度幅值来完成的。

③检测：在图像中有许多点的梯度幅值比较大，而这些点在特定的情况下并不一定都是边缘，所以应该用某种方法来确定那些点是边缘点。最简单的边缘检测判据是梯度幅值A值判据。

④定位：确定边缘所在的像素，如果要更精确的确定边缘位置，也可以在子像素分辨率上来估计边缘位置，边缘的方向也可以被估计出来。

在本发明中采用索贝尔(Sobel)算子作为边缘检测算法，Sobel算子采用3*3大小的模板，这样就避免了在像素之间的内插点上计算梯度。Sobel算子用下式计算偏导数：

S_x＝(a₂+ca₃+a₄)-(a₀+ca₇+a₆)    (16)

S_y＝(a₀+ca₁+a₂)-(a₆+ca₅+a₄)

公式中常数c为2。Sobel算子可用以下卷积模板来实现：

$S_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $S_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]---\left(17\right)$

比如对“通过连续障碍”的科目，将“铁饼”都用螺栓固定在地面上，用分析方式解析出地面上的“铁饼”的边缘，如果在通过连续障碍考试过程中车辆没有触及“铁饼”的边缘就判定为“通过连续障碍”的科目通过，否则将要以人工确认“通过连续障碍”的视频备份；

比如对驶出边线检测，同样道理通过分析路边的边缘线，如果驾驶过程中车辆没有触及道路的边缘就判定为该科目通过，否则将要以人工确认该科目的视频备份；

对于曲线行驶、直角转弯和限速通过限宽门的全景视频检测，同样通过分析相应的边缘线来进行判断；

所述的考试科目判定单元，用于自动判定考生的路考情况，根据所述的考试科目分析单元的分析结果，如果分析结果是所考科目通过的话就将该考试科目的成绩添加到表1或者表2所对应的科目中去，对于无法确认的判定结果在表中留下空白，留给考官人工观察视频备份来进行判定。

Claims (8)

1.一种基于全方位视觉的智能路考仪，其特征在于：所述的智能路考仪包括：用于获取路考用车辆周围的路况视频信息的两台无死角的全方位视觉传感器、用于获取路考用车辆的空间位置的GPS传感器、用于提示考生下面需要考试的科目内容的考试提示器，以及用于处理、传输和存储路考用车辆周围的路况视频信息的微处理器；两台无死角的全方位视觉传感器中，其中一台安置在路考车辆的前底座支架上，用以获得车辆前方和左侧的视频图像；另一台安置在路考车辆的后底座支架上，用以获得车辆后方和右侧的视频图像；所述GPS传感器、考试提示器和微处理器均安装在车辆内，所述的两台无死角的全方位视觉传感器通过视频接口与所述的微处理器连接，所述的GPS传感器通过数据接口与所述的微处理器连接，所述的考试提示器与所述的微处理器连接；

所述无死角全方位视觉传感器包括一次折反射镜面、二次折反射镜面、透明外罩和摄像部件，所述一次折反射镜面和二次折反射镜面安装在透明外罩上，所述摄像部件的镜头位于一次折反射镜面后面的视点后且与视点相距s的位置，所述二次折反射镜面位于一次折反射镜面的前面，所述一次折反射镜面和二次折反射镜面上均开有一个小孔，所述二次折反射镜面内嵌入广角镜头，所述摄像部件镜头、广角镜头、一次折反射镜面和二次折反射镜面的中心轴配置在同一轴心线上；

通过一次折反射镜面上的小孔在广角镜头与摄像部件镜头之间成像，该成像点通过摄像部件镜头在视点处成像，且满足公式(9)，

$t_2=\frac{F_2\left(t_2\right)}{a\×f}\×(\frac{t_1}{F_1\left(t_1\right)-s}-b)---\left(9\right)$

其中，a、b为线性系数，F₁(t₁)是一次折反射镜面曲线，F₂(t₂)为二次折反射镜面曲线，t₁为一次折反射镜面上的反射点的水平坐标，t₂为二次折反射镜面上的反射点的水平坐标，s表示摄像部件的镜头与视点之间的距离；

将摄像部件镜头与广角镜头作为一个合成镜头，满足公式(15)使得合成镜头的视场与全方位视觉传感器的死角部分相吻合；

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

其中，n为放大倍数，D为合成镜头的直径，f为合成镜头的焦距，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角；

所述的微处理器包括：

视频图像读取单元，用于读取两台无死角全方位视觉传感器的视频图像，并将获取的视频图像发送到考试科目数据加工记录单元；

车辆位置获取单元，用于在道路驾驶技能考试中获得路考车辆所处的位置信息，通过GPS传感器获取现场测绘仪的位置；

考生相关信息输入输出单元，用于输入考生的相关信息和用于考生在显示器上确认其本人的相关信息；

考试科目出题单元，用于根据所述的考生相关信息输入输出单元发送过来的场地驾驶技能考试科目和道路驾驶技能考试科目的内容进行出题，出题单元中首先确定场地驾驶技能考试还是道路驾驶技能考试科目，然后从该考生未考科目中进行出题，接着将出题结果发送给考试科目数据加工记录单元以及从考试提示器中输出考生将要考试的科目；

考试科目数据加工记录单元，用于记录考生在路考过程中的视频数据、车辆的位置数据、考试的时间、考试的科目和考生的ID号；

考试科目分析单元，用于分析考生在路考中所记录的各种科目的视频图像，通过分析视频数据与考试科目的标准要求进行比较分析；

考试科目判定单元，用于判定考生的路考情况，根据各个考试科目分析单元的分析结果，如果分析结果是所考科目通过，则将该考试科目的成绩添加到所对应的科目合格表中，如果分析结果是所考科目未通过，则该考试科目成绩不合格；对于无法确认的判定结果在科目合格表表中留下空白，留给考官人工观察视频备份来进行判定。

2.如权利要求1所述的基于全方位视觉的智能路考仪，其特征在于：在所述的考生相关信息输入输出单元中，当考生提出要求路考时，路考仪要求考生从键盘上输入考生ID号，考生的ID号与考生的身份证号相同；路考仪首先检查所输入的号码是否是18位数字以及考生的年龄范围是否符合公安部第91号令所规定的要求，然后再检查考生所输入的考生的ID号是否在存储单元中存在，如果存在的话，检查该考生是否已经全部完成了驾驶技能考试，如果没有全部完成，则在显示器上显示考生的相关信息和下面需要考试的内容；如果不存在的话就自动产生一张按考生ID号为主键的场地驾驶技能考试科目表和道路驾驶技能考试科目表；输入考生ID号经验证正确后，考生进入路考；最后将场地驾驶技能考试科目表和道路驾驶技能考试科目表发送给所述的考试科目出题单元。

3.如权利要求2所述的基于全方位视觉的智能路考仪，其特征在于：在所述的考试科目数据加工记录单元中，将路考车辆周围两台无死角的全方位视觉传感器的环境图像进行拼接，拼接和加工后的图像发送给考试科目分析单元和存储单元；在存储单元内保留考试过程的实时视频备份，考生对考试结果有疑问可以调出考试过程的视频回放，避免判定争议；实时视频备份文件名是以考生ID+科目ID来存储的。

4.如权利要求2所述的基于全方位视觉的智能路考仪，其特征在于：在所述的考试科目分析单元中，采用边缘检测算法来检测考试车辆是否触及标志边缘；所述的边缘检测算法是依靠对图像进行微分运算求得梯度来进行边缘检测，从边缘点对应于一阶微分幅值大的点，同时也对应于二阶微分的零交叉点出发，设计一些一阶或二阶微分算子，求得其梯度或二阶导数过零点，再选择一定的阈值提取边界。

5.如权利要求3所述的基于全方位视觉的智能路考仪，其特征在于：在所述的考试科目分析单元中，采用边缘检测算法来检测考试车辆是否触及标志边缘；所述的边缘检测算法是依靠对图像进行微分运算求得梯度来进行边缘检测，从边缘点对应于一阶微分幅值大的点，同时也对应于二阶微分的零交叉点出发，设计一些一阶或二阶微分算子，求得其梯度或二阶导数过零点，再选择一定的阈值提取边界。

6.如权利要求5所述的基于全方位视觉的智能路考仪，其特征在于：设定一次折反射镜面上的小孔在广角镜头与摄像部件镜头之间成像为第一成像点，该成像点通过摄像部件镜头在视点处成像，将摄像部件镜头的焦点距离作为f1、广角镜头的焦点距离作为f2、摄像部件镜头与摄像部件镜头的焦点的距离作为S1、从摄像部件镜头到第一成像点的焦点距离作为S2、从广角镜头到第一成像点的距离作为S3、从广角镜头到实物点的距离作为S4，根据镜头的成像公式得到以下关系式：

$\frac{1}{f1}=\frac{1}{S1}+\frac{1}{S2}---\left(10\right)$

$\frac{1}{f2}=\frac{1}{S3}+\frac{1}{S4}---\left(11\right)$

d＝S2+S3                       (12)

通过设计广角镜头的焦点距离f2来满足公式(12)的要求；

将摄像部件镜头与广角镜头作为一个合成镜头，其焦距f由下式来表示：

$\frac{1}{f}=\frac{(f1+f2-d)}{f1*f2}---\left(13\right)$

另外，合成镜头的直径作为D，其放大倍数由下式来表示：

$n=\frac{D}{f}---\left(14\right)$

合成镜头时满足以下公式：

$n=\frac{D}{f}=2{\mathrm{\θ}}_{1\max }---\left(15\right)$

式中，θ_1max是二次反射光线V3与折反射主轴Z的最大夹角。

7.如权利要求5所述的基于全方位视觉的智能路考仪，其特征在于：所述透明外罩呈碗状。

8.如权利要求5所述的基于全方位视觉的智能路考仪，其特征在于：所述考试提示器为扬声器，所述扬声器通过音频接口与所述微处理器连接。

Images