CN105957345A - 车辆行驶数据处理方法 - Google Patents

Abstract

本发明公开了车辆行驶数据处理方法，包括：根据汽车型号建立仪表盘模板数据库；实时获取车辆行驶过程中的仪表盘图像信息，车辆行驶前方的图像信息以及车辆状态信息；监测车辆状态，若发现车辆状态异常：提取仪表盘图像信息与仪表盘模板数据库相比对，识别车速数据和仪表盘指示信号数据，结合其他信息生成图像和行车数据，进行汇总保存，并发出报警信息；若发现车辆状态为交通事故：提取涉事车辆的行车数据，还原事故发生过程。本发明将行车过程中发生的事件与对应的仪表盘图像联系起来，图像数据可以作为直观的证据、用于违章判定、事故责任判定。

Description

车辆行驶数据处理方法

技术领域

本发明涉及车辆行驶记录和行车过程还原技术领域，具体涉及车辆行驶数据处理方法。

背景技术

在汽车发生特殊事件、事故或者故障时，记录特殊事件、分析事故或故障的原因需要获取行车数据，但是这些行车数据在事后是难以获得的。

驾驶员在开车时，主要的关注点是三个方面：正前方视角、仪表盘、井感知车辆的行驶状态(如声音、震动等)。现有***中，很少有将以这三方面的信息进行汇总保存，并用于行车过程还原。而且仪表盘的指示信息较多、且不通用，很多驾驶员只能辩识常用的指示数据，对特殊的故障提示往往没有概念或会忽略这些提示。

另外现有车辆常用GPS定位***进行定位，但由于GPS的定位精度较低，车辆运动过程中GPS信号存在稳定性问题，使得数据的连贯性、可靠性不够高。

现有方案中多通过采集电子数据作为参照，而电子数据不能成为直观的证据；由于车辆的种类型号各不相同，目前没有一种简单的通用设备可以准确记录车辆的行驶状态，当出现突发事件或偶然事件时无法保存完整的证据、无法完全重现当时车辆的状态。

发明内容

发明目的：针对现有技术的不足，本发明提供一种车辆行驶数据处理方法，能够实现事后重现行车过程。

技术方案：本发明所述车辆行驶数据处理方法，包括如下方法：

(1)根据汽车型号建立仪表盘模板数据库；

(2)实时获取车辆行驶过程中的仪表盘图像信息，车辆行驶前方的图像信息以及车辆状态信息；

(3)监测车辆状态，若发现车辆异事件为状态异常：提取仪表盘图像信息与仪表盘模板数据库相比对，识别车速数据和仪表盘指示信号数据，结合车辆行驶前方的图像信息、车辆状态信息生成带有数字水印的图像和行车数据，提取处理后的数据进行汇总保存，并向车辆驾驶员发出报警信息；

(4)监测车辆状态，若发现车辆异事件为交通事故：确定交通事故中关键车辆2部，提取关键车辆的仪表盘图像信息和车辆状态信息，利用数据挖掘中的直方图分析， 确定异事件关键时间点，以关键时间点为基准，提取交通事故中关键时间点中所涉及车辆行驶前方的图像信息进行基于SIFT算法的特征点提取和匹配，倒推出发生事故前各个车辆的行车数据，恢复事故全景视图，还原事故发生过程。

进一步完善上述技术方案，所述仪表盘模板数据库存储的信息包括仪表盘图片，仪表盘中各个指示信号的图形、位置、指示方式和指示含义。

进一步地，所述仪表盘图像信息通过固定在方向盘支撑座上至少一个仪表盘摄像机拍摄获取；所述车辆行驶前方的图像信息通过车辆上的前向视角摄像头拍摄获取；所述车辆状态信息通过设置在车辆上的角速度传感器、震动传感器、加速度传感器、陀螺仪传感器、速度脉冲传感器中的一个或多个获取。

进一步地，所述步骤(2)中实时获取车辆行驶过程中的仪表盘图像信息包括如下步骤：

(21)读取待处理的仪表盘图像，将其转化为二值图像；

(22)去除二值图像中面积过小，能够肯定为非指针和刻度的区域；

(23)定位仪表盘指针，将白色区域膨胀，去除无关的参数；

(24)查找连通区域边界，同时保留图像，以备后面标记；

(25)找出所有连通区域内指针的最大连通区域；

(26)用Radon算法提取指针角度，按仪表盘模板数据库内存储的刻度模板得到速度信息；

(27)扣除最大连通区域内的连通区域图形，识别倒退R、空档N、自动挡D、停车P信息，确定档位信息；

(28)提取关键数据后以data形式存储非图像，减少存储图像的压力。

进一步地，所述数字水印包含仪表盘分析数据、车载传感器数据、拍摄时间标记。

进一步地，所述步骤(4)中还原事故发生过程的方法如下：

第一，提取交通事故中涉事车辆的行车数据、并汇总；

第二，通过各个车辆的行车数据中的仪表盘图像信息，车辆行驶前方的图像信息以及车辆状态信息确定各个车辆发生事故对应的时间点；

第三，以各个车辆发生事故的时间点为基准，倒推出发生事故前各个车辆的行车轨迹，同时显示对应时间点上的车载图像，还原事故发生的过程；

(31)通过数据挖掘中的直方图近似数据分布、决策树归纳分析出触发时间点；

(32)对涉事车辆中两辆关键车辆行驶前方的图像信息I₁(x,y)、I₂(x,y)，进行 基于SIFT算法的特征点提取和匹配，恢复事故全景视图：采用高斯卷积运算构建尺度空间，高斯差分函数D(x，y，σ)通过以不变倍增因子k的两个相邻尺度图像差计算得出：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (1)

初始图像经逐步高斯卷积运算，得到一系列尺度空间，即高斯尺度(DOG)空间，空间极值点检测关键点是由DOG空间的局部极值点组成的，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；

极值点的方向分配：对于每一个采样点L(x，y)，计算其梯度模值m(x，y)和方向(x，y)的公式为

$\begin{array}{c}m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}\\ \mathrm{\θ}(x,y)={\tan }^{-1}\left(L\right(x,y+1)-L(x,y-1\left)\right)/\left(L\right(x+1,y)-L(x-1,y\left)\right)\end{array}---\left(2\right);$

特征点描述子的生成：将坐标轴旋转到特征点的梯度方向上，确保旋转不变性，通常采用16个子点来描述一个特征点，然后计算每个子点中8个方向的梯度累加值，得到特征点描述子的特征向量，为4*4*8＝128维向量；所得到的特征向量具有旋转不变形所以可以分别提取I₁和I₂两幅图像中的特征向量进行特征点匹配，拼接成一幅全景视图；

第四，根据现场还原模拟模块展示的事故发生的过程确定事故的责任。

有益效果：与现有技术相比，本发明的优点：

1、将行车过程中发生的事件与对应的仪表盘图像联系起来，图像数据可以作为直观的证据、用于违章判定、事故责任判定等；

2、通过对仪表盘图像的分析，可以识别仪表盘的指示信号数据，当检测到故障时,可以及时准确的提示驾驶员；

3、通过现场还原模拟模块准确、直观的重现行车过程,可用于交通事故现场还原和快速处定责、车辆故障排查和重现、车辆违章取证。

附图说明

图1为本发明的硬件布置图；

图2为本发明数据处理流程图；

图3为事故还原过程流程图。

具体实施方式

下面对本发明技术方案进行详细说明。

实施例1：如图1所示，根据车辆仪表盘的尺寸和结构在方向盘5支撑座上设置仪表盘摄像机2，当仪表盘较宽或较为分散分布时，一个仪表盘摄像机无法拍摄完整的仪表盘图像，可以采用多个仪表盘摄像机2分别拍摄不同部分的仪表盘图像；在车辆上安装前向视角摄像头4；在车辆上设置角速度传感器6、震动传感器7、加速度传感器8、陀螺仪传感器9、速度脉冲传感器10，角速度传感器6安装在车辆的方向盘5上，用于检测方向盘5的转动角度，震动传感器7用于检测车辆的行驶状态和异常的抖动、震动现象，加速度传感器8采集车辆的加速度信息，陀螺仪传感器9采集车辆转向的数据，速度脉冲传感器10采集车辆行车速度数据，在车辆上仪表盘摄像机2的位置安装数据处理模块3和现场还原模拟模块，数据处理模块加载有仪表盘模板数据库并设有无线通信模块和报警模块，仪表盘模板数据库根据汽车型号建立，存储的信息包括仪表盘图片，仪表盘中各个指示信号的图形、位置、指示方式和指示含义，无线通信模块用于与移动网络基站或交通管理***基站通信，数据处理模块通过无线通讯模块获取基站提供的当前道路信息(如限速限行信息，前方路段交通事故或道路堵塞的信息)给驾驶员，并向基站上传车辆事件资料进行备案，事件包括违章、事故、突发故障如车辆抛锚报警。

基于上述设置进行行驶数据处理方法：

(1)根据汽车型号建立仪表盘模板数据库；

(2)实时获取车辆行驶过程中的仪表盘图像信息，车辆行驶前方的图像信息以及车辆状态信息；

仪表盘实时图像信息获取算法：

①读取待处理的仪表盘图像，将其转化为二值图像；

②去除图像中面积过小的、可以肯定非指针和刻度的区域；

③为定位指针，将白色区域膨胀，腐蚀去无关的小物件(行驶公里数，外界温度)；

④查找连通区域边界，同时保留此图形，以备后面标记；

⑤找出所有连通区域中最可能指针的(最大连通区域)；

⑥用Radon算法提取指针角度，按与仪表盘模板数据库对比获得速度信息；

⑦扣去最大连通区域的连通区域图形，识别R、N、D、P信息，确定档位信息；

⑧提取关键数据后已data形式存储而非图像，减少存储图像的压力；

(3)数据处理模块监测车辆状态，若发现车辆状态异常，如车辆行驶速度异常、转向异常、制动异常、仪表盘报警：提取仪表盘图像信息与仪表盘模板数据库相比对， 识别车速数据和仪表盘指示信号数据，仪表盘可分为机械式和电子式两种，机械式仪表盘中各种指示信号的位是固定的，电子式仪表盘中会存在不同功能界面的切换，显示的内容也会有所不同。因此，对于电子式仪表盘建立模板时，应首先定义各个功能界面的特征，再描述各个功能界面中仪表显示信息的含义。例如机械式仪表盘中车速显示多为指针旋转的形式，而电子式仪表盘中有些则将车速直接显示为数字形式，对电子式仪表盘中的数字或文字信息应采用OCR技术进行识别，由于各个车辆中仪表盘摄像机的安装位置、角度会存在一定的差异,因此需要通过精确配准算法将仪表盘图像与仪表盘模板的进行匹配，计算出安装误差、在实际运行过程中可以对图像数据进行修正，以利于对仪表盘信息的自动识别、减少运算量；同时结合车辆行驶前方的图像信息、车辆状态信息生成带有数字水印的图像和行车数据，图像包括仪表盘图像或者仪表盘图像和前向视角图像的组合，数字水印包含仪表盘分析数据、车载传感器数据、拍摄时间标记，提取处理后的数据进行汇总分析保存并通过报警单元向车辆驾驶员发出报警信息；

(4)若发现车辆状态异事件为交通事故，提取两辆涉事车辆的行车数据，如图2、图3所示，现场还原模拟模块以各个车辆发生事故的时间点为基准，倒推出发生事故前各个车辆的行车数据，同时显示对应时间点上的组合图像，还原事故发生过程；确定交通事故中关键车辆2部，提取仪表盘数据及车辆状态数据，通过数据挖掘中的统计方法融合各种数据分析出触发时间点；提取交通事故中该时间点中所涉及的多部车辆前视图像进行基于SIFTF特征点提取和匹配，恢复事故全景视图。

现场还原模拟模块通过以下方法实现：

结合车速数据与车辆转向数据，模拟出车辆的实际行驶轨迹,，并且在显示行驶轨迹的同时显示对应时间点上的车载图像，从而再现车辆的行驶过程；

其中：车载图像为仪表盘图像或者仪表盘图图像和前向视角图像两种图像的组合，通过上述两种图像的组合，可以比较全面的重现驾驶员观察到的场景；

车速数据由仪表盘图像中提取或由速度脉冲传感器提供，车辆转向数据由角度传感器或者陀螺仪传感器提供，或者对前向视角摄像机的图像进行分析而获得；

通过对前向视角摄像机拍摄的连续图像的对比分析、提取图像中的参照物信息，可以判断车辆处于直行状态还是处于转弯的状态，并可以获取转弯的角度。

当使用现场还原模拟模块处理交通事故时，通过以下方法实现：

首先，获取交通事故中涉及车辆的数据处理模块的行车数据、并汇总；

第二，根据各个车辆的行车数据确定与各个车辆发生事故对应的时间点；

可以通过查看前向视角图像、查看车速的突变、对照震动传感器、加速度传感器的数据等方法，确定行车数据中发生事故对应的时间点；

第三，以各个车辆发生事故的时间点为基准，倒推出发生事故前各个车辆的行车轨迹，同时显示对应时间点上的车载图像，还原事故发生的过程：

通过数据挖掘中的统计方法融合各种数据分析出触发时间点：

直方图是使用分箱来近似数据分布，是一种数据归约形式。根据时间点，统计时间点特征值得数量。异事件触发的数据为极少事件，所以直方图统计有效。多类数据确定异事件时间点，利用决策树归纳得到最终关键时间点；

假设交通事故中车辆1和2为关键车辆，拍摄到的行驶前方的图像为I₁(x,y)、I₂(x,y)，将两幅图用SIFT算法进行特征匹配完成全景视图；

SIFT算法，尺度不变特征转换(Scale-invariant feature transform，SIFT)是一种电脑视觉的算法用来检测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结，此算法可以用于图像拼接。SIFT算法主要步骤如下：

1、构建尺度空间：为了在尺度空间中有效的检测稳定关键点的位置，Lowe提出了高斯差分卷积，高斯差分函数D(x，y，σ)可以通过以不变倍增因子k的两个相邻尺度图像差计算得出：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (1)；

初始图像经逐步高斯卷积运算，得到一系列尺度空间，即高斯尺度(DOG)空间。

2、空间极值点检测：

关键点是由DOG空间的局部极值点组成的，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

3、极值点的方向分配：

对于每一个采样点L(x，y)，计算其梯度模值m(x，y)和方向(x，y)的公式为

$\begin{array}{c}m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}\\ \mathrm{\θ}(x,y)={\tan }^{-1}\left(L\right(x,y+1)-L(x,y-1\left)\right)/\left(L\right(x+1,y)-L(x-1,y\left)\right)\end{array}---\left(2\right).$

4、特征点描述子的生成：

将坐标轴旋转到特征点的梯度方向上，确保旋转不变性，通常采用16个子点来描 述一个特征点，然后计算每个子点中8个方向的梯度累加值，得到特征点描述子的特征向量，为4*4*8＝128维向量；所得到的特征向量具有旋转不变形所以可以分别提取I₁和I₂两幅图像中的特征向量进行特征点匹配，拼接成最终图像I。

最后，根据现场还原模拟模块展示的事故发生的过程确定事故的责任。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (6)

1.车辆行驶数据处理方法，其特征在于，包括如下步骤：

(1)根据汽车型号建立仪表盘模板数据库；

(2)实时获取车辆行驶过程中的仪表盘图像信息，车辆行驶前方的图像信息以及车辆状态信息；

(3)监测车辆状态，若发现车辆异事件为状态异常：提取仪表盘图像信息与仪表盘模板数据库相比对，识别车速数据和仪表盘指示信号数据，结合车辆行驶前方的图像信息、车辆状态信息生成带有数字水印的图像和行车数据，提取处理后的数据进行汇总保存，并向车辆驾驶员发出报警信息；

(4)监测车辆状态，若发现车辆异事件为交通事故：确定交通事故中关键车辆2部，提取关键车辆的仪表盘图像信息和车辆状态信息，利用数据挖掘中的直方图分析，确定异事件关键时间点，以关键时间点为基准，提取交通事故中关键时间点中所涉及车辆行驶前方的图像信息进行基于SIFT算法的特征点提取和匹配，倒推出发生事故前各个车辆的行车数据，恢复事故全景视图，还原事故发生过程。

2.根据权利要求1所述的车辆行驶数据处理方法，其特征在于：所述仪表盘模板数据库存储的信息包括仪表盘图片，仪表盘中各个指示信号的图形、位置、指示方式和指示含义。

3.根据权利要求1所述的车辆行驶数据处理方法，其特征在于：所述仪表盘图像信息通过固定在方向盘支撑座上至少一个仪表盘摄像机拍摄获取；所述车辆行驶前方的图像信息通过车辆上的前向视角摄像头拍摄获取；所述车辆状态信息通过设置在车辆上的角速度传感器、震动传感器、加速度传感器、陀螺仪传感器、速度脉冲传感器中的一个或多个获取。

4.根据权利要求1所述的车辆行驶数据处理方法，其特征在于：所述步骤(2)中实时获取车辆行驶过程中的仪表盘图像信息包括如下步骤：

(21)读取待处理的仪表盘图像，将其转化为二值图像；

(22)去除二值图像中面积过小，能够肯定为非指针和刻度的区域；

(23)定位仪表盘指针，将白色区域膨胀，去除无关的参数；

(24)查找连通区域边界，同时保留图像，以备后面标记；

(25)找出所有连通区域内指针的最大连通区域；

(26)用Radon算法提取指针角度，按仪表盘模板数据库内存储的刻度模板得到速度信息；

(27)扣除最大连通区域内的连通区域图形，识别倒退R、空档N、自动挡D、停车P信息，确定档位信息；

(28)提取关键数据后以data形式存储图像，减少存储图像的压力。

5.根据权利要求1所述的车辆行驶数据处理方法，其特征在于：所述数字水印包含仪表盘分析数据、车载传感器数据、拍摄时间标记。

6.根据权利要求1所述的车辆行驶数据处理方法，其特征在于：所述步骤(4)中还原事故发生过程的方法如下：

第一，提取交通事故中涉事车辆的行车数据、并汇总；

第二，通过各个车辆的行车数据中的仪表盘图像信息，车辆行驶前方的图像信息以及车辆状态信息确定各个车辆发生事故对应的时间点；

第三，以各个车辆发生事故的时间点为基准，倒推出发生事故前各个车辆的行车轨迹，同时显示对应时间点上的车载图像，还原事故发生的过程；

(31)通过数据挖掘中的直方图近似数据分布、决策树归纳分析出触发时间点；

(32)对涉事车辆中两辆关键车辆行驶前方的图像信息I₁(x,y)、I₂(x,y)，进行基于SIFT算法的特征点提取和匹配，恢复事故全景视图：采用高斯卷积运算构建尺度空间，高斯差分函数D(x，y，σ)通过以不变倍增因子k的两个相邻尺度图像差计算得出：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (1)

初始图像经逐步高斯卷积运算，得到一系列尺度空间，即高斯尺度DOG空间，空间极值点检测关键点是由DOG空间的局部极值点组成的，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点；

极值点的方向分配：对于每一个采样点L(x，y)，计算其梯度模值m(x，y)和方向(x，y)的公式为：

特征点描述子的生成：将坐标轴旋转到特征点的梯度方向上，确保旋转不变性，通常采用16个子点来描述一个特征点，然后计算每个子点中8个方向的梯度累加值，得到特征点描述子的特征向量，为4*4*8＝128维向量；所得到的特征向量具有旋转不变形所以可 以分别提取I₁和I₂两幅图像中的特征向量进行特征点匹配，拼接成一幅全景视图；

第四，根据现场还原模拟模块展示的事故发生的过程确定事故的责任。