发明内容
本发明解决的问题是提供一种视频检测方法、视频检测***及其数据处理装置,可对道路交通进行实时视频监控,获得多种交通信息参数。
为解决上述问题,本发明提供了一种视频检测方法,包括:获取道路交通视频流,将所述获取的视频流传输至处理设备;处理设备从视频流的每一帧图像中提取识别辅助信息;若根据所述识别辅助信息检测到图像中出现车头,则对后续图像进行检测并生成道路交通信息参数。
可选的,所述根据识别辅助信息检测到图像中出现车头的过程包括:分析所述识别辅助信息,确定在所述识别辅助信息表征图像中是否出现车头特征;判别所述车头特征是否属于车头。
可选的,所述从视频流的每一帧图像中提取识别辅助信息的过程包括:对每一帧图像中的预定区域进行逐行扫描,获得识别辅助信息。
可选的,所述获得识别辅助信息包括获得边缘点数目、帧差较大的点的数目、与背景差异较大的点的数目。
可选的,所述从视频流的每一帧图像中提取识别辅助信息的过程还包括背景更新。
可选的,所述分析识别辅助信息的过程包括:比较所获得的边缘点的数目与边缘阈值。
可选的,所述比较所获得的边缘点的数目与边缘阈值的过程包括:在图像的所述预定区域内选取比较区域,若所述比较区域内某一行的边缘点数目大于第一边缘阈值时,则认为所述行出现车头特征。
可选的,所述在图像的所述预定区域内选取比较区域的过程包括:根据所述预定区域内的交通限速获得第一设定行数;将上一帧图像中的车头特征所在行作为比较区域的开始行,沿车辆行驶的方向将距开始行第一设定行数的行作为比较区域的结束行。
可选的,所述判别所述车头特征是否属于车头的过程之前,还包括:记录车头特征在各帧图像中的行序号以及开始出现所述车头特征的图像的帧数,将所述开始出现所述车头特征的图像的帧数作为起始帧数,并根据所述行序号判断所述车头特征是否到达后沿区域;在车头特征到达后沿区域后,记录当前图像的帧数作为结束帧数,进行所述车头特征是否属于车头的判别。
可选的,所述进行所述车头特征是否属于车头的判别的过程之前还包括:判断所述车头特征是否由干扰信息所造成,如果是,对下一帧图像进行扫描;如果不是,判断所述车头特征是否属于车头。
可选的,所述当车头特征不是由干扰信息造成时,判断车头特征是否属于车头,包括:判断后沿区域内与背景差异较大的行数是否大于第一行数阈值;若是,所述车头特征属于车头。
可选的,所述后沿区域为预定区域内,距离后到达的底边第三设定行数的区域。
可选的,所述判断车头特征是否由干扰信息造成的过程包括:所述车头特征是否属于前一次所记录的车辆,如果是,对下一帧图像进行扫描;当所述车头特征不属于前一次所记录的车辆时,判断相邻车道中的所述预定区域中是否有车辆经过,如果有,判断所记录的车头特征是否属于其它车道中车辆的阴影或遮挡;当所述车头特征属于其它车道中车辆的阴影或遮挡,对下一帧图像进行扫描;当相邻车道中的所述预定区域中无车辆经过,或者相邻车道中的所述预定区域中有车辆经过,但所述车头特征不属于其它车道中车辆的阴影或遮挡,所述车头特征不是由干扰信息造成的。
可选的,所述判断车头特征是否属于前一次所记录的车辆,包括:判断前一次所记录的车辆的车尾是否已经离开后沿区域,如果是,所述车头特征不属于前一次所记录的车辆;如果不是,所述车头特征属于前一次所记录的车辆。
可选的,所述后沿区域为预定区域内,距离后到达的底边第二设定行数的区域。
可选的,所述判断前一次所记录的车辆的车尾是否已经离开后沿区域,包括:比较所述后沿区域的图像与所保存的背景中对应区域的图像是否相似;比较所述后沿区域的图像与之前连续多帧图像中对应区域的图像是否相似;比较所述后沿区域每一行的边缘点数目是否均小于第一边缘阈值。
可选的,所述比较后沿区域的图像与所保存的背景是否相似,包括:计算所述后沿区域的图像和所保存背景对应区域的图像的差异。
可选的,所述判断所记录的车头特征是否属于阴影或遮挡,包括:设置遮挡辅助线,所述遮挡辅助线沿车道方向将所述预定区域分成左右两个区域,靠近产生阴影或遮挡车道一侧的区域为冗余区域,另一侧区域为有效区域;对所述有效区域内的图像进行检测。
可选的,所述有效区域占所述预定区域的面积比可在50%-90%。
可选的,所述对后续图像进行检测的过程包括:判断所述车辆的车尾是否离开所述预定区域。
可选的,所述判断所述车辆的车尾是否离开所述预定区域的过程包括:根据所述预定区域内的交通限速,获得设定帧数;自所述车头到达所述后沿区域的那一帧起,记录帧数;当到达所述设定的帧数后,在之后每一帧所述后沿区域内,比较每一行的边缘点数目与第二边缘阈值,以及比较与背景差异较大的行数与第二行数阈值,当所述每一行的边缘点数目低于第二边缘阈值,且与背景差异较大的行数低于第二行数阈值时,确定车尾是否离开所述后沿区域;反之,则为车尾未离开所述后沿区域。
可选的,比较每一行的边缘点数目与第二边缘阈值时,所述后沿区域为预定区域内,距离后到达的底边第四设定行数的区域;所述比较与背景差异较大的行数时,所述后沿区域为预定区域内,距离后到达的底边第五设定行数的区域。
可选的,所述第四设定行数为预定区域所包括行数的1/5-4/5,所述第五设定行数为预定区域所包括行数的1/5-4/5。
可选的,所述第四设定行数与所述第五设定行数相同。
可选的,所述判断车辆的车尾是否离开所述预定区域的过程包括:根据所述预定区域内的限速,获得设定帧数;自所述车头到达所述后沿区域的帧开始,经过所述设定的帧数后,判断所述帧差低于第一帧差阈值的连续帧数是否大于第一帧数阈值:如果是,则为车尾离开所述后沿区域,反之,则为车尾未离开所述后沿区域。
可选的,所述生成道路交通信息参数的过程包括:当所述识别辅助信息检测到图像中出现车头,统计车流量。
可选的,所述统计车流量的过程包括:初始统计时,车流量计数为零;每一次判断所述车头特征确实属于车头时,车流量计数加1。
可选的,所述生成道路交通信息参数的过程包括:当所述识别辅助信息检测到图像中出现车头,计算所述检测车辆的行驶速度。
可选的,所述生成道路交通信息参数的过程包括:根据所述起始帧数的图像中的车头特征行序号和结束帧数的图像中的车头特征行序号,并根据所述预定区域前、后底边间距,计算所述车头特征经过的实际距离;根据所述车头特征起始帧数和结束帧数,获得所述车头特征运动的实际时间;根据所述实际距离和所述实际时间,计算所述车辆的平均速度。
可选的,所述生成道路交通信息参数的过程包括:根据所述对后续图像的检测结果,分析所述检测车辆所属的类别。
可选的,所述生成道路交通信息参数的过程包括:根据所述车头特征在所述预定区域中起始行序号和结束行序号,计算所述车辆通过所述预定区域的平均速度;然后,根据所述车头到达所述后沿区域的时刻以及车尾离开所述后沿区域的时刻,以及平均速度,计算所述车辆的车长;将所述车长的计算结果与常规车辆车长比较,根据比较结果,将该车区分为大型车、中型车、小型车中的一类。
可选的,所述生成道路交通信息参数的过程包括:当所述识别辅助信息检测到图像中出现车头,计算车辆间距和车头时距。
本发明提供了一种交通视频的数据处理装置,其特征在于,包括:信息提取单元,用于采集视频流,并对所述视频流的每一帧图像进行扫描,从中提取识别辅助信息;车头识别单元,用于根据所述识别辅助信息识别图像中是否出现车头;后续检测单元,用于在图像中出现车头的情况下,基于后续图像的所述识别辅助信息,对后续图像进行检测;信息参数生成单元,用于根据所述车头识别单元的识别结果,以及所述后续检测单元的检测结果,生成道路交通信息参数。
可选的,所述信息提取单元包括:特征提取单元,用于对每一帧图像中的预定区域进行逐行扫描,获得识别辅助信息;存储单元,用于保存所述特征提取单元所获得的识别辅助信息。
可选的,所述特征提取单元包括:边缘检测单元,用于通过边缘检测,获得预定区域内每一行的边缘点;帧差检测单元,用于计算相邻帧图像之间的帧差,获得帧差较大的点;背景差异检测单元,用于计算当前图像预定区域与背景预定区域中的图像差异,获得差异较大的点。
可选的,所述车头识别单元包括:设定行数计算单元,用于根据预定区域内的交通限速,计算对预定区域内比较区域以及后沿区域的大小进行标识的设定行数;车头特征处理单元,用于检测所述预定区域内是否出现车头特征,并且当出现所述车头特征时,记录其相关信息以及判断所述车头特征是否到达所述预定区域的后沿区域;车头判别单元,用于根据所述车头特征处理单元的结果,当出现所述车头特征且所述车头特征到达所述预定区域的后沿区域时,判断所述车头特征是否属于车头。
可选的,所述车头特征处理单元包括:检测单元,用于检测是否出现车头特征;信息记录单元,用于根据检测单元的检测结果,当出现所述车头特征时,记录每一帧所述车头特征的相关信息;到达后沿判别单元,用于根据所述检测单元的检测结果,当出现所述车头特征时,对出现所述车头特征的图像之后的每一帧图像判别所述车头特征是否到达后沿区域。
可选的,所述检测单元通过对图像比较区域中每一行的边缘点数目和第一边缘阈值进行比较,若所述比较区域内某一行的边缘点数目大于第一边缘阈值时,则认为所述行出现车头特征。
可选的,所述比较区域具体为以上一帧图像中的车头特征所在行数为起始行,按照车辆行驶的方向,距离所述起始行为所述设定行数计算单元所获得的第一设定行数的区域。
可选的,所述信息记录单元记录所述车头特征的相关信息包括:记录所述车头特征出现和离开的图像的帧数,以及所述两帧图像之间每一帧图像中出现所述车头特征的行序号。
可选的,所述到达后沿判别单元,根据所述设定行数计算单元所获得的设定行数以及后沿区域的起始行的行序号,并且根据所述信息记录单元获得每一帧图像中所述车头特征的行序号,比较两者大小,判断所述车头特征是否到达图像的预定区域。
可选的,所述车头判别单元包括:背景差异判别单元,用于计算后沿区域内,和背景差异较大的行数;计数单元,对所述背景差异判别单元所获得的和背景差异较大的行数进行计数;比较单元,用于将计数单元所获得的行数与第一行数阈值进行比较。
可选的,所述车头判别单元包括:干扰判别单元,用于判别所述车头特征是否为干扰信息;判别单元,当所述干扰判别单元判断所述车头特征不为干扰时,判断所述车头特征是否属于车头。
可选的,所述干扰判别单元包括:重复记录判别单元,用于判别所述车头特征是否属于前一次所记录的车辆;邻域干扰判别单元,用于判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。
可选的,所述重复记录判别单元根据所述车头特征处理单元所获得的边缘点数目、帧差较大的点的数目、与背景差异较大的点的数目中的一种或多种识别辅助信息,比较所述识别辅助信息与对应的阈值,判别所述车头特征是否属于前一次所记录的车辆。
可选的,所述邻域干扰判别单元包括:通知单元,用于对相邻车道有车经过进行侦测,当相邻车道是否有车经过时,发出通知;判别单元,用于当接收到所述通知单元的通知后,通过提取有效区域中的识别辅助信息,将所获得的识别辅助信息与对应的阈值进行比较,判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。
可选的,所述判别单元包括:数据提取单元,用于提取有效区域的识别辅助信息;比较单元,用于比较所述数据提取单元获得的识别辅助信息与对应的阈值,判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。
可选的,所述后续检测单元包括:设定帧数计算单元,用于根据所述预定区域内的交通限速,获得设定帧数;边缘点计数单元,用于对自所述车头到达所述后沿区域的那一帧起,统计所述设定帧数之后的图像中后沿区域的边缘点数目;行数记录单元,用于对自所述车头到达所述后沿区域的那一帧起,统计所述设定帧数之后的图像中后沿区域内与背景差异较大的行数;比较单元,将所述边缘点计数单元所获得的每一行边缘点数目与第二边缘阈值进行比较,并将所述行数记录单元所获得的行数与第二行数阈值进行比较,根据比较结果,判别车尾是否离开后沿区域。
可选的,所述信息参数生成单元包括:车流量计算单元,用于根据所述车头识别单元的结果,每次判断得到车头时,车流量计数加1。
可选的,所述信息参数生成单元包括:车速计算单元、车型计算单元以及车距计算单元中的一个或多个单元,用于根据所述信息记录单元记录的信息,分别对车辆的行驶速度、车辆车型以及车辆间距和时距进行计算。
本发明还提供了一种包括上述数据处理装置的视频检测***,还包括:视频获取装置,用于获取道路交通视频流;通信装置,用于在所述视频获取装置和数据处理装置之间传输所述视频流。
可选的,所述视频获取装置包括一个或多个摄像机。
可选的,所述视频检测***对同一方向的多个车道采用一台所述摄像机进行拍摄。
可选的,所述通信装置包括视频传输线,或者***。
可选的,显示单元,用于显示从所述数据处理装置接收到的视频图像以及数据处理过程的信息。
与现有技术相比,本发明的实施方式具有以下优点:通过后端处理设备对前端获取并经由传输***传输的视频流进行处理,实现对道路交通信息的实时检测,在确认道路中出现车头后对后续图像进行相应的检测以获得检测结果,从而可基于检测结果获得多种交通信息参数。
在本发明的可选方案中,通过判定所检测到的车头特征是否属于车头,避免了由于其它车部分进入所述预定区域等干扰信息造成的误检测,节省了对错误信息的处理时间,提高了效率,也提高了准确率。
在本发明的可选方案中,所获得的检测结果包括记录的图像帧数、图像中车头特征所在行序号等参数,经过各参数的组合和计算,可获得种类较多的道路交通信息参数,为道路交通和车辆的监控提供良好的前提条件。
具体实施方式
参考图1,本发明实施方式提供了一种视频检测***,包括:视频获取装置100,用于获取道路交通视频流;数据处理装置120,从所述道路交通视频流的每一帧图像中提取识别辅助信息;若根据所述识别辅助信息检测到图像中出现车头,则对后续图像进行检测并生成道路交通信息参数;通信装置110,用于在视频获取装置100和数据处理装置120之间传输所述视频流。在工作时,视频获取装置100将所获得的实时视频信号不间断地通过通信装置110传输至数据处理装置120。
具体来说,视频获取装置100可包括一个或多个摄像机。当然,所述视频获取装置不限于摄像机,也可以是其他任何可拍摄并对外输出视频流的设备。
视频获取装置100通常安装于道路的断面或其他存在类似需求的场合,获取与道路及其上的车辆相关的视频流,即道路交通视频流。为节约成本,所述视频获取装置一般要求可同时对多个车道进行拍摄。在实际操作中,对于同一方向的所有车道,可采用一台摄像机进行拍摄。
具体来说,通信装置110可为视频传输线或***,当然,也可以采用其他任何适合的传输介质和设备。一般来说,传输类型可以根据带宽、数据量、安装成本、传输距离、损耗等因素综合考虑。例如当视频获取装置100距离数据处理装置120较远,例如大于300米时,通信装置110可为***,其中,视频数据由***视频接口通过光纤传输;当视频获取装置100距离数据处理装置120较近,例如300米以内时,通信装置110可为同轴视频传输线。
具体来说,数据处理装置120可包括嵌入式板卡的数字信号处理器、解码器和存储器。所述嵌入式板卡可以安装于工控机(图未示)上。在工作时,所述嵌入式板卡可独立完成对视频流的处理,并通过与工控机之间的通信,将检测结果保存在工控机中。在具体实现中,所述工控机可安装多块嵌入式板卡。
所述嵌入式板卡安放位置灵活,并且可独立完成对视频图像的处理,不占用工控机CPU时间。此外,一台工控机可同时处理多块嵌入式板卡的数据,提高了对数据的处理能力和效率。在其它实施方式中,参考图2,本发明视频检测***的另一种实施方式,包括视频获取装置100、数据处理装置120和通信装置110,还包括:显示单元130,用于显示从数据处理装置120接收到的视频图像、交通信息参数以及数据处理过程的信息。
具体来说,显示单元130可以为电脑显示器、平板显示屏、数字CRT显示屏和投影仪等视频显示设备。所述交通信息参数和数据处理过程中的信息包括有没有检测到车辆、所检测到的车辆位置和速度、所检测到的车辆所属类型等。
参考图3,本发明提供的一种视频检测方法的实施方式,包括:步骤D1,视频获取装置获取道路交通视频流,将所述获取的视频流经由通信装置传输至数据处理装置;步骤D2,数据处理装置从视频流的每一帧图像中提取识别辅助信息;步骤D3,根据所述识别辅助信息判别图像中是否出现车头;若不是,则返回步骤D2;若是,则进入步骤D4,数据处理装置对后续图像进行检测并生成道路交通信息参数。
其中,步骤D1中,视频获取装置对视频流的采集速率可为25帧/秒;一般地,采集速率越大,所获取的视频有效信息越多,但后续传输和处理的数据量也就越大。
经由通信装置传输视频流的方式可包括同轴视频传输方式、光缆传输等现有视频传输方式的任何一种或几种。
步骤D2中,从视频流的每一帧图像中提取识别辅助信息的过程可包括:对每一帧图像中的预定区域进行逐行扫描,获得识别辅助信息。
其中,对图像中的预定区域进行扫描,可以减少扫描过程中的数据量,并因此减少后续处理的数据量。参考图4,具体地说,所述预定区域200为在图像中针对每条车道20所选定的区域。在图4中,所述预定区域200为矩形的虚拟线圈。车辆首先进入所述虚拟线圈的前底边201,然后离开所述虚拟线圈的后底边202。
具体地,所述虚拟线圈可根据对检测的精度、速度和操作过程的要求进行选取。具体来说,所述虚拟线圈越靠近所述检测图像底部的位置,越便于检测。在其它具体实施例中,所述预定区域也可为梯形或其他合适的形状的虚拟线圈,或者所述预定区域也可为每条车道垂直于车辆行驶方向的两条平行线段之间的区域。
其中,逐行扫描的过程中,通过边缘检测获得预定区域内每一行的边缘点,即邻域灰度变化明显的点。
在具体实施例中,可根据需求采用相应的边缘检测方法,例如,可通过寻找图像导数中的最大和最小值来检测边缘点;或者采用Roberts交叉算子边缘检测方法,通过计算相邻像素的灰度差值获得所述边缘点;或者采用Prewitt算子、或Sobel算子、或罗盘算子、或Krisch算子等边缘检测方法,通过计算不同像素邻域之间的差分,获得所述边缘点。在另外的实施例中,还可采用Canny算子,通过先用低通滤波器平滑图像,然后再用上述差分算子,获取所述边缘点。
在获得边缘点后,就可以进一步获得边缘点的数目,并将其作为识别辅助信息用于后续的处理过程。
在其它实施方式中,还可以通过逐行扫描获得图像中帧差较大的点,并将其数目作为识别辅助信息用于后续的处理过程。具体来说,可通过帧差法计算相邻帧之间的帧差,比较各像素点的帧差,获得所述帧差较大的点。
在其它实施方式中,还可以通过逐行扫描获得与背景差异较大的点,并将其数目作为识别辅助信息用于后续的处理过程。具体来说,可通过比较当前图像的预定区域与背景的预定区域中各点的差异,获得与背景差异较大的点。其中,所述背景可以是指根据需要预先设置的道路图像。
本领域的技术人员理解,所述背景可以根据需求和实际情况进行更新。具体来说,可以在车道中无车时,对所述背景信息进行更新。由于每次更新的背景信息将覆盖前一次的背景信息,因而使判断结果更为精确。所述对背景信息进行更新,可包括多种更新方式,其一可为,记录新的背景信息,根据所述新的背景信息,对原有的背景信息进行滤波更新;另一种更新方式还可为,直接保存新的背景信息以替换原有的背景信息,进行更新;又一种更新方式还可为,强制使当前图像替换原有的背景信息,从而进行更新。根据实际情况,可选择采用不同的背景更新方法,以获得更好的检测结果。
再次参考图3,提取所述识别辅助信息之后,将执行步骤D3,根据识别辅助信息判别图像中是否出现车头。一并参考图5,在本发明视频检测方法的具体实施例中,判别图像中是否出现车头的步骤D3包括:
步骤S1,根据所述识别辅助信息,判断图像中是否出现车头特征。
具体地,在图像的所述预定区域内选取比较区域,若所述比较区域内某一行的边缘点数目大于第一边缘阈值时,则认为所述行出现车头特征。
参考图6,在图像的所述预定区域300内选取比较区域可包括:根据所述预定区域300内的限速获得第一设定行数301;以从上一帧图像中的车头特征所在行数302开始,按照车辆行驶的方向,包括所述第一设定行数的范围,为所述比较区域303。
在图像中出现车头特征的情况下,执行步骤S2,对所述车头特征相关的信息进行记录和跟踪,直至通过步骤S3确定车头特征到达后沿区域。
参考图7,其中,所述后沿区域可为预定区域400内,距离后底边401边沿行数的区域402。在具体实施的过程中可根据实际需要,通过在不同步骤中设置不同的边沿行数,从而使得检测结果更为精确。具体来说,在步骤S2中,所述边沿行数可为第一设定行数。
具体来说,对车头特征进行记录和跟踪可包括:首先,记录开始出现所述车头特征的图像的帧数以及行序号,将所述帧数和行序号分别作为所述车头特征的起始帧数和起始行序号;接着,在后续帧图像中,从上一帧所述车头特征所在行数开始,根据所述识别辅助信息中每一行的边缘点数目,在所述第一设定行数的范围内,按照车辆行驶的相反方向,比较所述每一行的边缘点数目是否大于第一边缘阈值:若是,所比较的行即为所述车头特征所在的行,记录出现车头特征的行序号;若不是,比较下一行。
一旦当上一帧所述车头特征所在行数未到达后沿区域,并且在后续帧图像中,从上一帧所述车头特征所在行数开始,在所述第一设定行数的范围内,按照车辆行驶的相反方向,每一行的边缘点数目都不大于第一边缘阈值,认为对所述车头特征的跟踪失败,返回步骤S1,重新对下一帧图像中是否存在车头特征进行判断,否则,所述跟踪过程一直持续到所述车头特征到达后沿区域。
当所述车头特征到达所述后沿区域时,记录当前图像的帧数作为结束帧数,跟踪停止。
其中,判断所述车头特征是否到达后沿区域的步骤S3,可包括:每一帧图像中出现所述车头特征时,对其所在行序号进行记录,比较所述行序号与所述后沿区域起始行的行序号,从而判断所述车头特征是否到达后沿区域。
例如,所述预定区域包括N行,其序号沿车辆行进的方向分别对应为从1到N,所述后沿区域起始行的行序号为m,当前一帧所述车头特征位于n1行,当前所述车头特征位于n2行,且n1<m<n2<N时,可获悉所述车头特征到达所述后沿区域。在其它的实施例中,当在前一帧图像中找到所述车头特征,其所在行序号为n3,且n3>m,而在当前帧图像中找不到所述车头特征时,也可判定所述车头特征到达所述预定区域的后沿区域。
在车头特征到达所述后沿区域时,执行步骤S4,进一步判断车头特征是否属于车头。具体地,步骤S4可包括:判断后沿区域与背景差异较大的行数是否大于第一行数阈值。若是,则所述车头特征属于车头。具体来说,所述后沿区域可为预定区域内,距离后到达的底边第三设定行数的区域。所述第三设定行数可为预定区域所包括行数的1/5-1/2中的任意值,在具体实施例中,可为10行至30行中的任意值,例如13行。
通过执行步骤S1至S4,可以根据识别辅助信息检测出图像中是否出现车头。当检测出图像中出现车头,执行步骤D4,对后续图像进行检测并生成道路交通信息参数。参考图5,具体地,可包括:
进行步骤S5,判断车尾是否离开所述预定区域。当车尾离开所述预定区域时,执行步骤S6;当车尾未离开所述预定区域,返回步骤S5,继续对下一帧图像进行检测。
在具体实现中,所述步骤S5可通过判断所述车尾是否离开所述后沿区域来实现,可包括:
根据所述预定区域内的交通限速,获得设定帧数;自所述车头到达所述后沿区域的那一帧起,记录帧数;当到达所述设定的帧数后,在之后每一帧所述后沿区域内,通过将每一行的边缘点数目与第二边缘阈值进行比较,以及将与背景差异较大的行数与第二行数阈值进行比较,当所述每一行的边缘点数目均低于第二边缘阈值,且与背景差异较大的行数低于第二行数阈值时,判定车尾离开所述后沿区域;反之,则为车尾未离开所述后沿区域。
其中,所述后沿区域可为在预定区域内距离后底边第四设定行数的范围,所述第四设定行数可为预定区域所包括行数的1/5-4/5中的任意值,在具体实施例中,可为10行至50行中的任意值,例如12行、20行、30行。
在具体实施中,比较所述每一行边缘点数目与第二边缘阈值,以及所述与背景差异较大的行数与第二行数阈值时,可设置不同的后沿区域范围,以获得更好的测试结果。例如,当比较所述与背景差异较大的行数时,所述后沿区域可为在预定区域内距离后底边第五设定行数的范围。所述第四设定行数可与所述第五设定行数相同,也可与所述第五设定行数不相同。
在其它的实施例中,所述判断车尾是否离开所述预定区域还可包括通过帧差方法来实现,具体来说,可包括:根据所述预定区域内的限速,获得设定帧数;自所述车头到达所述后沿区域的帧开始,经过所述设定的帧数后,开始判断帧差低于第一帧差阈值的连续帧数是否大于第一帧数阈值:如果是,则为车尾离开所述后沿区域,反之,则为车尾未离开所述后沿区域。
步骤S6当车尾到达所述后沿区域,可生成道路交通信息参数。在不同的实际应用中,可根据需要,生成不同的道路交通信息参数。
在图5所示的实施例中,可以根据前面记录的车头信息和/或车尾信息进行计算,获得某些种类的道路交通参数。但是,发明人注意到,此种方式下,由于车头特征的判别可能受到干扰信息的影响,其结果不可避免存在一些偏差。
因此,为降低误检测率,在本发明的其他实施例中,可以采取一些措施来剔除干扰信息的影响。具体地,参考图8,剔除干扰信息的过程包括:
步骤S610,判断所述车头特征是否由干扰信息所造成,如果是,对下一帧图像进行扫描;如果不是,进入步骤S620,判断所述车头特征是否属于车头。
具体来说,参考图9,步骤S610判断所述车头特征是否由干扰信息所造成,可包括:
步骤S601,判断所述车头特征是否属于前一次所记录的车辆。具体来说,可通过判断前一次所记录车辆的车尾是否已经离开后沿区域实现。其中,所述后沿区域可为预定区域内,距离车辆后到达的底边第二设定行数的区域。如果所述车头特征属于前一次所记录的车辆,对下一帧图像进行扫描;如果所述车辆与前一次所记录的车辆不是同一辆车,进入步骤S602。
具体来说,步骤S601可包括:通过比较所述后沿区域的图像与所保存的背景对应区域的图像是否相似、以及与之前连续多帧图像的对应区域是否相似,判断前一次所记录车辆的车尾是否已经离开所述后沿区域。如果相似,那么所述后沿区域不存在运动物体,则前一次所记录车辆的车尾已经离开所述后沿区域;否则,则前一次所记录车辆的车尾未离开所述预定区域。
步骤S601还可包括:判断所述后沿区域每一行的边缘点数目是否均小于第一边缘阈值,如果均小于,那么前一次所记录车辆的车尾已经离开所述后沿区域;否则前一次所记录车辆的车尾还没有离开所述后沿区域。
其中,所述比较后沿区域的图像是否与所保存的背景相似,可包括:计算所述后沿区域的图像和所保存背景对应区域的图像的差异。所述比较后沿区域的图像与连续多帧图像的对应区域是否相似,可包括:计算所述后沿区域的图像和其之前连续多帧图像的对应区域的帧差。具体地,可采用现有技术中的帧差算法,在此不再赘述。
步骤S602,判断相邻车道中的所述预定区域中是否有车辆经过。在具体实施中,可同时对多个车道的视频信号进行处理,通过对相邻车道中所述预定区域的检测,判断相邻车道中的所述预定区域是否有车辆经过:当相邻车道中的所述预定区域无车辆经过,判定所述车头特征不是由干扰信息造成,进入步骤S620,判断所述车头特征是否属于车头;当相邻车道中的所述预定区域有车辆经过,进入步骤S603。
步骤S603,判断所记录的车头特征是否属于其它车道中车辆的阴影或遮挡。如果所记录的车头特征属于其它车道中车辆的阴影或遮挡,返回扫描下一帧图像的边缘点数目,如果所记录的车头特征不属于其它车道中车辆的阴影或遮挡,判定所述车头特征不是由干扰信息造成,进入步骤S620,判断所述车头特征是否属于车头。
其中,所述阴影是指,当其它车道中有车辆时,所述预定区域内所记录的车头特征属于其它车道中车辆的阴影。所述遮挡是指,其它车道的车辆跨道行使,或者由于拍摄角度的影响,造成部分所述预定区域被其它车辆覆盖,致使所述预定区域内检测出所述车头特征。
具体来说,判断车头特征是否属于遮挡或者阴影,可包括在所述预定区域中设置遮挡辅助线,所述遮挡辅助线沿车辆行驶方向,跨越所述预定区域的两底边,将所述预定区域隔成有效区域、冗余区域,其中,靠近产生阴影或遮挡的车道一侧的区域为冗余区域,另一侧区域为有效区域。对所述有效区域内的图像进行检测,判断所述车头特征是否属于遮挡或者阴影。其中,所述有效区域占所述预定区域的面积比可在50%-90%。
参考图10,生成道路交通信息参数的过程可包括:步骤S7,根据所述图像中出现车头的检测结果,统计车流量。具体来说,可包括:初始统计时,车流量计数为零;每次判断得到所述车头特征确实属于车头时,车流量计数加1。
参考图11,生成道路交通信息参数的过程可包括:步骤S8,根据所述对车头的检测结果,计算所述检测车辆的行驶速度。具体来说,可包括:当判断所述车头特征到达所述后沿区域时,根据所述起始帧数的图像中的车头特征行序号,即起始行序号S1,和结束帧数的图像中的车头特征行序号,即结束行序号S2,并根据所述预定区域的前、后底边间距H,所包含总行数Z,计算出所述车头特征经过的实际距离D为:
由于连续两帧之间的间隔时间可根据视频图像的采集速率确定,因此可根据两帧图像各自的所记录帧数,获得两帧图像之间的时间间隔。例如,当所述视频图像的采集速率为25帧/秒,每两帧图像之间的时间间隔为40毫秒。则根据起始帧数a和结束帧数b,可获得对应的时间间隔t。
以及根据所述时间间隔t和所述经过的实际距离D,可获得该车在所述预定区域的平均速度V为:
在一个统计周期内,根据所有车辆的平均速度,可计算出该统计周期内的平均车辆速度。
在另外的实施方式中,参考图12,生成道路交通信息参数的过程可包括:步骤S9,根据所述对后续图像的检测结果,判定所述检测车辆所属的类别。具体来说,可包括:根据起始帧数a1和结束帧数b1,以及所述起始帧数的图像中的车头特征行序号,即起始行序号S1′,和结束帧数的图像中的车头特征行序号,即结束行序号S2′,接着,计算该车通过所述预定区域后沿的时间间隔t1以及平均速度V1,接着计算该车车长L:
L=V1*t1
将车长计算结果与常规车辆车长比较,根据比较结果,将该车区分为大型车、中型车、小型车中的一类。
此外,在获得上述道路交通信息参数的基础上,参考图13,生成道路交通信息参数的过程还可包括:步骤S10,计算车辆间距以及车头时距。
具体可包括:所述计算车辆间距可包括:根据前后相邻、依次经过所述预定区域的两辆车的检测结果,计算前后两辆车的车辆间距,具体来说,包括:根据前一辆车的车尾离开所述后沿区域的时刻为t1,后一辆车的车头到达所述后沿区域的时刻为t2,以及后面一辆车的速度V′1,计算前后两辆车的车辆间距S:
S=V′1*(t2-t1)
在一个统计周期内,根据所有前后两辆车的车辆间距,即可计算出该统计周期内的平均车辆间距。
所述车头时距可包括:根据前后相邻、依次经过所述预定区域的两辆车的检测结果,计算所述两车的车头时距。具体来说,包括:前一辆车的车头到达所述后沿区域的时刻为t′1,后一辆车的车头到达所述后沿区域的时刻为t′2,则这两辆车的车头时距H0为:H0=t2-t′1
在一个统计周期内,根据所有前后两辆车的车头时距,即可计算出该统计周期内的平均车头时距。
与现有的视频检测技术相比,本发明视频检测方法和视频检测***,具有如下优点:
通过在视频检测图像中划定检测区域,扫描该区域内的图像,并对所述图像进行数据处理、识别和检测,获得关于车辆的交通信息参数,实现对车辆的全视频检测,并且即使在恶劣天气,例如雨、雾、雪等,以及道路交通情况比较复杂,例如车辆跨线行驶或者行驶过程中突然变道或车流量较大等,的各种情况下,仍具有较好的检测精度。
通过对所述车头的判别,判定所检测到的是否确实为车辆,避免了由于前次所记录的车辆或其它车的部分或其它非车辆的物体存在于所述预定区域而造成误检测。
通过所述检测结果中所包括的记录帧数、所述车头特征所在行序号等参数,可进行各种组合和计算,从而获得多种交通信息参数。
通过所述图像获取单元、所述通信单元和包括至少一块嵌入式板卡的所述数据处理单元,可对图像进行不停顿地检测、传输和数据处理,并且通过显示单元,还可实现对道路交通状况实时的监控。
参考图14,本发明还提供了一种交通视频的数据处理装置,包括:信息提取单元501,用于对所述视频流的每一帧图像中进行扫描,从中提取识别辅助信息;车头识别单元502,用于根据所述识别辅助信息识别图像中是否出现车头;后续检测单元503,用于在图像中出现车头的情况下,基于后续图像的识别辅助信息,对后续图像进行检测;信息参数生成单元504,用于根据车头识别单元502识别结果,以及后续检测单元503检测结果,生成道路交通信息参数。
具体来说,参考图15,所述信息提取单元501可包括:特征提取单元601,用于对每一帧图像中的预定区域进行逐行扫描,获得识别辅助信息;存储单元602,用于保存特征提取单元601所获得的识别辅助信息。
其中,特征提取单元601进一步可包括边缘检测单元、帧差检测单元、和背景差异检测单元。其中,边缘检测单元用于通过边缘检测获得预定区域内每一行的边缘点;帧差检测单元用于计算相邻帧图像之间的帧差,获得帧差较大的点;背景差异检测单元用于计算当前图像预定区域与背景预定区域中各点的差异,获得差异较大的点。具体来说,特征提取单元601可包括运算器和比较器。
其中,存储单元602用于对特征提取单元601所获得的结果进行保存。
参考图16,车头识别单元502可包括设定行数计算单元701,用于根据预定区域内的交通限速,计算对预定区域内比较区域以及后沿区域的大小进行标识的设定行数;车头特征处理单元702,用于检测是否出现车头特征,并且当出现所述车头特征时,记录其相关信息以及判断所述车头特征是否到达所述预定区域的后沿区域;车头判别单元703,用于根据车头特征处理单元702的结果,当出现所述车头特征且所述车头特征到达所述预定区域的后沿区域时,判断所述车头特征是否属于车头。
其中,设定行数计算单元701可获得多个设定行数的值,用于在不同的处理过程中,在所述预定区域内设置出不同大小的比较区域、以及不同大小的后沿区域,使检测更符合实际情况,从而使检测结果更为准确。
参考图17,车头特征处理单元702可包括:检测单元801,用于检测是否出现车头特征;信息记录单元802,用于根据检测单元801的检测结果,当出现所述车头特征时,记录每一帧所述车头特征的相关信息;到达后沿判别单元803,用于根据检测单元801的检测结果,当出现所述车头特征时,对出现所述车头特征的图像之后的每一帧图像判别所述车头特征是否到达后沿区域。
具体来说,检测单元801可通过对图像比较区域中每一行的边缘点数目和第一边缘阈值进行比较,若所述比较区域内某一行的边缘点数目大于第一边缘阈值时,则认为所述行出现车头特征。所述比较区域,可为以上一帧图像中的车头所在行数为起始行,按照车辆行驶的方向,距离起始行设定行数计算单元701所获得的第一设定行数的区域。
信息记录单元802所记录的所述车头特征的相关信息可包括所述车头特征的图像的帧数以及行序号。具体实现中,当开始出现所述车头特征时,信息记录单元802可记录图像的帧数以及所述车头特征的行序号;在对后续帧图像的处理中,信息记录单元802保存每一帧图像中所述车头特征出现的行序号。
到达后沿判别单元803具体来说,根据设定行数计算单元701获得后沿区域的大小以及所述后沿区域的起始行的行序号,并且根据信息记录单元802获得每一帧图像中所述车头特征的行序号,通过比较两者大小,判断所述车头特征是否到达图像的预定区域。
车头判别单元703可通过判断后沿区域与背景差异较大的行数是否大于行数阈值,若是,则所述车头特征属于车头。具体来说,还可进一步包括背景差异判别单元,用于计算后沿区域内,和背景差异较大的行数;计数单元,对背景差异判别单元所获得的和背景差异较大的行数进行计数;以及比较单元,用于将计数单元所获得的行数与第一行数阈值进行比较。
其中,在具体实施例中,车头判别单元703还可包括干扰判别单元,用于判别所述车头特征是否为干扰信息。所述干扰判别单元可包括:重复记录判别单元和邻域干扰判别单元。
重复记录判别单元用于判别所述车头特征是否属于前一次所记录的车辆。根据特征提取单元601所获得的边缘点数目、帧差较大的点的数目、与背景差异较大的点的数目中的一种或多种识别辅助信息,通过比较单元,分别比较所述识别辅助信息与对应的阈值,判别所述车头特征是否属于前一次所记录的车辆。
邻域干扰判别单元用于判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。具体来说,参考图18,可包括通知单元901和阴影遮挡判别单元902
通知单元901用于对相邻车道是否有车经过进行侦测,当相邻车道是否有车经过时,发出通知。
阴影遮挡判别单元902接收到通知单元901的通知后,开始工作,其过程包括:通过提取所述预定区域中有效区域的识别辅助信息,也就是说,提取所述有效区域内边缘点、帧差较大的点的数目、与背景差异较大的点的数目等中一种或几种识别辅助信息,将所获得的识别辅助信息与对应的阈值进行比较,判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。阴影遮挡判别单元902进一步还可包括数据提取单元,用于提取有效区域的识别辅助信息,以及比较单元,用于比较所述数据提取单元获得的识别辅助信息与对应的阈值,判别所述车头特征是否属于相邻区域车辆的阴影或遮挡。
后续检测单元503的后续检测可包括判别车尾是否离开后沿区域,具体来说,可包括:设定帧数计算单元,用于根据所述预定区域内的交通限速,获得设定帧数;边缘点计数单元,用于对自所述车头到达所述后沿区域的那一帧起,统计所述设定帧数之后的图像中后沿区域的边缘点数目;行数记录单元,用于对自所述车头到达所述后沿区域的那一帧起,统计所述设定帧数之后的图像中后沿区域内与背景差异较大的行数;比较单元,将边缘点计数单元所获得的边缘点数目与第二边缘阈值进行比较,并将行数记录单元所获得的行数与第二行数阈值进行比较,根据比较结果,判别车尾是否离开后沿区域。
信息参数生成单元504可根据所生成的各种道路交通信息参数,分别包括:车流量计算单元,车速计算单元,车型计算单元,车距计算单元。
具体来说,车流量计算单元用于根据车头判别单元703的结果,每次判断得到所述车头特征确实属于车头时,车流量计数加1。
车速计算单元、车型计算单元以及车距计算单元,用于根据信息记录单元802所记录的结果,分别对车辆的行驶速度、车辆车型以及车辆间距和时距进行计算。
虽然本发明已通过较佳实施例说明如上,但这些较佳实施例并非用以限定本发明。本领域的技术人员,在不脱离本发明的精神和范围内,应有能力对该较佳实施例做出各种改正和补充,因此,本发明的保护范围以权利要求书的范围为准。