发明内容
本发明解决的问题是,提供一种图像获取和处理装置及方法、车辆监测和记录***,以实现图像采集和实时处理的一体化,并以此简化车辆监测和记录***的结构,降低***的安装复杂度。
为解决上述问题,本发明提供一种图像获取和处理装置,包括:
成像单元,用于摄取被监测区域内的视频图像,产生对应的模拟视频流;
模拟数字转换单元,用于将所述成像单元产生的模拟视频流转换成数字视频流;
视频触发单元,用于分析所述模拟数字转换单元产生的数字视频流,在检测到有车辆时产生视频触发信号;
抓拍单元,用于在接收到触发信号后,从所述模拟数字转换单元产生的数字视频流获取当前的视频图像,所述触发信号包括所述视频触发单元输出的视频触发信号;
信息获取单元,用于对所述抓拍单元获取的视频图像进行处理,获取图像中的车辆信息。
可选的,所述视频触发单元是在前后帧的视频图像的灰度、颜色和边缘纹理有变化时,分时段地检测视频图像中的不同特征来检测是否有车辆。
可选的,所述视频触发单元的检测到有车辆时产生视频触发信号包括:在白天,视频图像中最黑阴影的灰度超过设定的车底最黑阴影阈值时输出视频触发信号;在夜间,视频图像中有车灯特征时输出视频触发信号;在环境光照较弱的黎明或黄昏,视频图像中最黑阴影的灰度超过对应的车底最黑阴影阈值时输出视频触发信号,所述对应的车底最黑阴影阈值是通过检测视频图像中的路面亮度来判断是黎明或黄昏,并选择对应于黎明或黄昏的车底最黑阴影阈值而得到的。
可选的,所述信息获取单元包括:车牌识别单元和/或颜色识别单元,车牌识别单元,用于通过车牌定位、车牌颜色识别、字符分割和字符识别,对所述抓拍单元获取的视频图像进行车牌信息的识别,得到车牌二值化图像、车牌颜色和车牌号码;颜色识别单元,用于通过分割出感兴趣区域,识别感兴趣区域中像素点的颜色、统计感兴趣区域中各种颜色的像素点个数,以对所述抓拍单元获取的视频图像进行车身颜色的识别。
可选的,所述车牌识别单元包括:
车牌定位单元,用于分析所述抓拍单元获取的视频图像,定位出符合车牌特征的车牌区域,将其从视频图像中分割出来,并转换成车牌二值化图像;
车牌颜色识别单元,用于分析所述车牌定位单元定位的车牌区域,识别出车牌颜色;
字符分割单元,用于将所述车牌定位单元定位的车牌区域分割成单个字符;
字符识别单元,用于对字符分割单元分割的字符分别进行识别,组成车牌号码。
可选的,所述颜色识别单元包括:
区域分割单元,用于从所述抓拍单元获取的视频图像中分割出感兴趣区域,所述感兴趣区域是指区域颜色可以用来代表整个车身颜色的车身的某个特定区域;
颜色确定单元,用于识别所述区域分割单元分割的感兴趣区域中选定像素点的颜色、统计感兴趣区域中各种颜色的像素点个数,获得描述区域颜色的特征向量,以确定感兴趣区域颜色。
可选的,所述感兴趣区域是车前盖区域。
可选的,所述区域分割单元利用所述车牌识别单元的车牌定位的结果,确定所述抓拍单元获取的视频图像中车身的位置,再根据车身的区域分布分割出车前盖区域。
可选的,所述颜色识别单元还包括:颜色深浅识别单元,用于识别所述区域分割单元分割的感兴趣区域中选定像素点的颜色深浅,并统计像素点被分到深色、浅色的个数,以确定感兴趣区域的颜色深浅。
可选的,所述选定像素点是在所述感兴趣区域内的一个方向上,间隔固定数量选择的像素点。
可选的,所述图像获取和处理装置还包括:成像控制单元,用于调整成像控制参数,所述成像控制参数用于控制所述成像单元的成像质量。
可选的,所述成像控制单元包括:
背景亮度控制成像单元,用于获取所述模数转换单元产生的数字视频流,通过分析每帧视频图像中的背景亮度来调整快门值;
车牌亮度控制成像单元,用于在抓拍单元获取的视频图像中有车牌特征时,通过分析所述视频图像中的车牌亮度来调整快门值。
可选的,所述背景亮度控制成像单元的通过分析视频图像中的背景亮度来调整快门值包括:通过亮度直方图计算路面亮度,选择对应于路面亮度的快门值。
可选的,所述车牌亮度控制成像单元的通过分析视频图像中的车牌亮度来调整快门值包括:通过中值滤波计算车牌亮度,在车牌亮度大于正常范围上限时调小快门值,在车牌亮度小于正常范围下限时调大快门值。
可选的,所述抓拍单元在接收到触发信号后,获取当前的视频图像前,还输出补光控制信号,以开启外接的补光装置。
可选的,所述触发信号还包括超速触发信号。
可选的,所述图像获取和处理装置还包括:超速触发单元,用于在接收到的车辆行驶速度超过预设的速度限制时,产生所述超速触发信号。
可选的,所述成像单元包括200万像素以上的CCD图像传感器。
为解决上述问题,本发明还提供一种图像获取和处理方法,包括下述步骤:摄取被监测区域内的景像,产生对应的模拟视频流;将所述模拟视频流转换成数字视频流;分析所述数字视频流,在检测到有车辆通过时产生视频触发信号;在触发信号的触发下,从所述数字视频流获取当前的视频图像,所述触发信号包括视频触发信号;对所述获取的视频图像进行处理,获取图像中的车辆信息。
可选的,所述获取图像中的车辆信息包括:通过车牌定位、字符分割和字符识别,得到车牌二值化图像、车牌颜色和车牌号码。
可选的,所述获取图像中的车辆信息包括:通过分割出感兴趣区域,识别感兴趣区域中像素点的颜色、统计感兴趣区域中各种颜色的像素点个数,以确定车身颜色。
可选的,所述图像获取和处理方法还包括:调整用于控制所述模拟视频流的成像质量的成像控制参数。
可选的,所述图像获取和处理方法还包括:在触发信号触发后,获取当前的视频图像前,输出补光控制信号。
可选的,所述触发信号还包括超速触发信号。所述图像获取和处理方法还包括:在接收到的车辆行驶速度超过预设的速度限制时产生所述超速触发信号。
为解决上述问题,本发明还提供一种车辆监测和记录***,包括:
至少一个图像处理和获取装置,用于摄取被监测区域内的景像,产生对应的模拟视频流;将所述模拟视频流转换成数字视频流;分析所述数字视频流,在检测到有车辆时产生视频触发信号;在接收到触发信号后,从所述数字视频流获取当前的视频图像,所述触发信号包括视频触发信号;对所述获取的视频图像进行处理,获取图像中的车辆信息;输出处理结果;
存储和管理装置,用于存储所述图像获取和处理装置输出的处理结果,并管理所述图像获取和处理装置。
可选的,所述车辆监测和记录***还包括:通信装置,连接在所述图像获取和处理装置及存储和管理装置之间,用于将所述图像获取和处理装置输出的处理结果传送至所述存储和管理装置。
可选的,所述图像获取和处理装置还用于分析所述产生的数字视频流,调整用于控制所述模拟视频流的成像质量的成像控制参数。
可选的,所述图像获取和处理装置还用于在接收到触发信号后,获取当前的视频图像前,输出补光控制信号。
可选的,所述车辆监测和记录***还包括:补光装置,连接所述图像获取和处理装置,在所述图像获取和处理装置输出补光控制信号时开启,用于对所述图像获取和处理装置摄取的景像进行补光。
可选的,所述车辆监测和记录***还包括:测速装置,用于对进入测速区域的车辆进行检测,计算车辆通过测速区域时的行驶速度,并向所述图像获取和处理装置输出计算得到的车辆行驶速度。
可选的,所述触发信号还包括超速触发信号,所述图像获取和处理装置还用于在所述测速装置输出的车辆行驶速度超过预设的速度限制时,产生所述超速触发信号。
可选的,所述图像获取和处理装置输出的处理结果包括包含有车辆的视频图像、车牌二值化图像、车牌号码、车牌颜色、车身颜色和车辆通过的时间。
可选的,所述图像获取和处理装置输出的处理结果包括:由超速触发获取的包含有超速车辆的视频图像、对应的车牌二值化图像、车牌号码、车牌颜色、车身颜色、车辆通过的时间和车辆行驶速度。
与现有技术相比,上述技术方案将图像采集和处理集成在图像获取和处理装置中,即通过成像单元摄取景像,视频触发单元触发抓拍单元获取包含有车辆的视频图像,信息获取单元处理所述视频图像以得到车辆信息,实现了嵌入式的图像采集和实时处理,并且实现了成像和图像处理的一体化。
由于图像获取和处理装置将成像和图像处理一体化,因而简化了***的结构,降低了***的安装复杂度。
并且,视频图像的采集和处理在图像获取和处理装置(前端设备)中进行,因此有效地减少了图像获取和处理装置与存储和管理装置之间数据的传输量,提高了数据的传输速度,也降低了对存储和管理装置的性能要求。
另外,上述图像获取和处理装置还具有以下优点:
视频触发单元通过检测不同光照条件下(白天、夜间、黎明、黄昏)适合代表车辆的特征来判断是否有车辆通过,因而能够准确地检测到车辆的到来,以此减小误触发的机率。
信息获取单元还具有车身颜色识别的功能,提供了更丰富的车辆信息。用于车身颜色识别的感兴趣区域可以是车身的一个特定区域,而不是完整的车身区域,因此运算量小,运算速度快;并且,感兴趣区域中用于识别的像素点可以为间隔固定数量选择的像素点,而不是感兴趣区域中所有的像素点,这样就进一步减小了运算量,提高了运算速度。
成像控制单元对于每帧视频信号,应用背景亮度实时地调整成像单元产生的模拟视频流的成像质量;在抓拍的视频图像中有车牌特征时,应用车牌亮度调整成像单元产生的模拟视频流的成像质量,这样使得抓拍单元获取的视频图像成像质量高,且图像中车牌区域明显,有利于提高信息获取单元的车牌识别和车身颜色识别的准确性。
超速触发单元在车辆行驶速度超过预设的速度限制时,产生超速触发信号,以此触发抓拍单元获取包含有超速车辆的视频图像,信息获取单元处理所述视频图像以得到车辆信息,这样就实现了违章抓拍和违章车辆信息的实时获取。
成像单元的图像传感器采用高分辨率的CCD传感器,视场覆盖宽度大于一个车道,不仅可以获得高分辨率的视频图像,并且在每个车道上只需安装一台图像获取和处理装置即可以保证摄像范围全覆盖整个车道,即使在多车道的情况下,各个车道的图像获取和处理装置之间也具有足够的叠加覆盖区域。
上述车辆监测和记录***还具有以下优点:
补光装置对图像获取和处理装置摄取的景像进行补光,以此得到高清晰度的视频图像,避免了因强光照、环境光照变化剧烈、夜间背景光照远低于车灯直射的光照等条件造成视频图像中的车牌区域不明显甚至全部被覆盖(呈全白状)的情况。
补光装置和图像获取和处理装置的成像反馈控制的结合应用,可以全天候地高清晰成像,使得白天和夜间抓拍的视频图像清晰度高,有效解决了车辆前挡风玻璃的反光和强光直射等问题,确保车身、车牌和车辆前排司乘人员面部特征都清晰可辨。
具体实施方式
本发明实施例通过成像单元摄取景像,视频触发单元触发抓拍单元获取包含有车辆的视频图像,信息获取单元处理所述视频图像以得到车辆信息,由此实现了成像和图像处理一体化。由于实现了嵌入式的图像采集和实时处理,并将成像和图像处理一体化,因此简化了***的结构,降低了***的安装复杂度。
下面结合附图和实施例对本发明具体实施方式做详细的说明。本发明实施方式的图像获取和处理装置可以安装在交通道路上方的横杆上,用于实时监测车道上通行的车辆。
图1是本发明图像获取和处理装置的一个实施例的结构示意图,所示图像获取和处理装置1包括:成像单元10、模拟数字(A/D)转换单元11、视频触发单元13、抓拍单元14和信息获取单元15。
成像单元10,用于摄取被监测区域内的景像,产生对应的模拟视频流。成像单元10包括光学镜头和图像传感器(图中未示),光学镜头将光线聚焦到图像传感器上,图像传感器捕捉被监测区域(即镜头覆盖区域)的景物光信号,并转换成电信号,即输出对应于被监测区域的视频图像的模拟视频流。通常,光学镜头的视场覆盖宽度大于一个车道,因此可以保证摄像范围全覆盖整个车道。
所述图像传感器可以是电荷耦合器件(CCD,Charge Coupled Device)传感器或互补金属氧化物半导体(CMOS,Complementary Metal OxideSemiconductor)传感器。
本实施例中,图像传感器采用的是高分辨率(例如200万像素或者更高)的CCD传感器。目前,CCD的成像技术已经非常成熟,相比CMOS传感器,在相同像素下CCD传感器的成像通透性、明锐度都很好,色彩还原、曝光可以保证基本准确。因此,采用高分辨率的CCD传感器能够获得高质量的图像。
A/D转换单元11,用于将成像单元10产生的模拟视频流转换成数字视频流。其中,数字视频流以帧信号方式输出。对应于图像传感器采用的CCD传感器,本实施例的A/D转换单元11输出的数字视频流为CCD帧信号。
视频触发单元13,用于分析A/D转换单元11产生的数字视频流,在检测到有车辆通过时产生视频触发信号。
一般来说,视频触发单元13可以是分析每帧数字视频信号(视频图像),检测预定区域内的图像灰度、颜色和边缘纹理是否有变化,若有变化,说明有车辆到达预定区域,则产生视频触发信号并予以输出。或者,视频触发单元13也可以利用快速车牌定位算法初步定位视频图像中的车牌区域,分析初步定位的车牌区域中是否有车牌的特征,若有车牌特征,则输出视频触发信号。
本实施例中,视频触发单元13是在前后帧的视频图像的灰度、颜色和边缘纹理(车牌特征)有变化(即有帧差)时,分时段地检测视频图像中的不同特征来检测是否有车辆通过,并在检测到有车辆通过时输出视频触发信号,包括:在白天,视频图像中最黑阴影的灰度超过设定的车底最黑阴影阈值(有车底阴影特征)时输出视频触发信号;在夜间,视频图像中有车灯特征时输出视频触发信号;在环境光照较弱的黎明或黄昏,自适应的调整检测参数,所述的检测参数为预先设定的对应于黎明或黄昏的车底最黑阴影阈值,具体来说,通过检测视频图像中的路面亮度来判断是黎明还是黄昏,并根据判断结果选择对应于黎明或黄昏的车底最黑阴影阈值,当视频图像中最黑阴影的灰度超过所述选择的车底最黑阴影阈值时输出视频触发信号。
本实施例的视频触发单元13通过检测不同光照条件下(白天、夜间、黎明、黄昏)适合代表车辆的特征来判断是否有车辆通过,因而能够准确地检测到车辆的到来,以此减小误触发的机率。
另外,图像获取和处理装置1具有视频触发功能,在检测到有车辆触发时自动获取包含有车辆的视频图像,因而不需要额外的硬件车辆检测器来触发抓拍视频图像,可以适用于不适合安装硬件车辆检测器(例如地感线圈检测器)的地方。因此,本发明实施例的图像获取和处理装置的安装区域的适用范围更为广泛。
抓拍单元14,用于在接收到触发信号后,从所述A/D转换单元11产生的数字视频流获取当前的视频图像,图1所述触发信号是所述视频触发单元13输出的视频触发信号。抓拍单元14在接收到视频触发单元13输出的视频触发信号后,从A/D转换单元11输出的数字视频流中获得当前帧的数字视频信号(本实施例中即为CCD帧信号),此时获取的视频图像中包含有进入被监测区域的车辆的图像,并且对当前帧的数字视频信号进行压缩,转化为特定格式(例如jpeg格式)的视频图像。
另外,抓拍单元14接收到的触发信号还可以包括超速触发信号(如图4所示),将在后面进行详细说明。
信息获取单元15,用于对抓拍单元14获取的视频图像(当前帧的数字视频信号)进行处理,获取图像中的车辆信息。车辆信息可以包括车辆的车牌信息,如车牌号码(包括汉字、字母和数字)、车牌颜色和车牌二值化图像等;车辆信息还可以包括车身颜色。对应地,信息获取单元15可以是获取车牌信息的车牌识别单元,也可以是获取车身颜色信息的颜色识别单元,或者,也可以是包括车牌识别单元和颜色识别单元。
另外,信息获取单元15获取的车辆信息还可以包括抓拍单元14获取视频图像(即车辆通过)的时间、地点等。通常,获取视频图像的时间是图像获取和处理装置的当前***时间,地点是预先存储的图像获取和处理装置所安装的地点。
请参考图2,图1所示的信息获取单元15包括车牌识别单元16和颜色识别单元17。
车牌识别单元16,用于对抓拍单元14获取的视频图像进行车牌信息的识别,即通过车牌定位、车牌颜色识别、字符分割和字符识别,得到车牌二值化图像、车牌颜色和车牌号码。
颜色识别单元17,用于对抓拍单元14获取的视频图像进行车身颜色的识别,即通过分割出感兴趣区域,识别感兴趣区域中像素点的颜色、统计感兴趣区域中各种颜色的像素点个数,以确定车身颜色。
本实施例的车牌识别单元16包括:车牌定位单元160、车牌颜色识别单元161、字符分割单元162和字符识别单元163。
车牌定位单元160,用于分析抓拍单元14获取的视频图像,定位出符合车牌特征的车牌区域,将其从视频图像中分割出来,并转换成车牌二值化图像。车牌定位主要包括:车牌区域粗定位,车牌上下界定位和车牌左右界定位。车牌二值化图像是将车牌区域的彩色图像转换成灰度图像,再由灰度图像转换得到的。
车牌颜色识别单元161,用于分析所述车牌定位单元160定位的车牌区域,识别出车牌颜色。
字符分割单元162,用于将车牌定位单元160定位的车牌区域分割成单个字符。字符分割一般采用垂直投影法。
字符识别单元163,用于对字符分割单元162分割的字符分别进行识别,组成车牌号码。其中,字符识别可以应用模式匹配(Pattern Matching)技术,也可以应用视觉识别(OCR,Optical Character Recognition)技术。
车牌识别技术为本领域技术人员所熟知,在此即不再对车牌定位、字符分割和字符识别进行展开说明。
本实施例的颜色识别单元17包括区域分割单元170、颜色确定单元171和颜色深浅识别单元172。
区域分割单元170,用于从抓拍单元14获取的视频图像中分割出感兴趣区域。其中,感兴趣区域可以是通过车身区域定位,从视频图像中分割出的完整的车身区域,而本实施例的感兴趣区域是指区域颜色可以用来代表整个车身颜色的车身的某个特定区域,所述区域内的颜色变化缓慢,各像素点的颜色基本一致,即使存在反光,其色彩变化也是均匀的,例如,车前盖区域。
本实施例中,区域分割单元170利用车牌识别单元16的车牌定位的结果,即车牌识别单元16的车牌定位单元160得到的车牌区域定位的结果,确定抓拍单元14获取的视频图像中车身的位置,再根据车身的区域分布分割出车前盖区域。通常,车前盖区域中心和车牌区域中心的横坐标一致,分割出的车前盖区域为矩形区域,矩形区域的大小可以利用视觉经验确定。由于直接利用了车牌定位单元160得到的车牌区域定位的结果,因此可以快速分割出车前盖区域。
颜色确定单元171,用于识别区域分割单元170分割的感兴趣区域中选定像素点的颜色、统计感兴趣区域中各种颜色的像素点个数,获得描述区域颜色的特征向量,以确定感兴趣区域(或者说车身区域)颜色。
选定像素点可以是感兴趣区域中所有的像素点,而在本实施例中,由于感兴趣区域内的颜色变化缓慢,因此,选定像素点可以是在感兴趣区域内的一个方向上(横向或纵向),间隔固定数量选择的像素点。
识别感兴趣区域中选定像素点的颜色可以在Lab(L表示明亮度,a表示绿色到红色,b表示蓝色到黄色)颜色空间内选择对应的核函数(高斯核函数或线性核函数)进行,确定感兴趣区域的颜色可以是通过对所述特征向量利用支持向量机(SVM,Support Vector Machine)分类识别得到的。由于Lab颜色空间的颜色接近均匀分布,与人眼对颜色的感知类似,且Lab颜色空间的色差也接近欧式距离,有利于用SVM进行分类,因此,保证了颜色识别的精度。
颜色深浅识别单元172,用于识别区域分割单元170分割的感兴趣区域中选定像素点的颜色深浅,并统计像素点被分到深色、浅色的个数,以此确定感兴趣区域(或者说车身区域)的颜色深浅。其中,识别感兴趣区域中选定像素点的颜色深浅采用HSV(Hue、Saturation、Value)颜色空间内的阈值法(深浅界限),确定感兴趣区域的颜色深浅采用投票法。
需要说明的是,颜色深浅识别单元172仅用于对车身的颜色进行深浅两类分类,也就是说,仅提供车身颜色的简单信息(深色或是浅色),因此,在其它实施例中,颜色识别单元17也可以不包括颜色深浅识别单元172。
由于本实施例中的感兴趣区域是车身的一个特定区域,相比完整的车身区域来说,识别像素点的颜色或深浅的运算量减小了,运算速度提高了;并且,用于识别的像素点可以为间隔固定数量选择的像素点,而不是感兴趣区域中所有的像素点,这样就进一步减小了运算量,提高了运算速度。
图3是本发明图像获取和处理装置的另一个实施例的结构示意图,所示图像获取和处理装置2包括:成像单元10、A/D转换单元11、成像控制单元12、视频触发单元13、抓拍单元24和信息获取单元15。下面仅对图3不同于图1的部分进行详细说明。
与图1相比,图3所示的图像获取和处理装置2还包括成像控制单元12,用于调整成像控制参数(例如快门值),所述成像控制参数用于控制成像单元10的成像质量。本实施例中,成像控制单元12通过分析视频图像中特定区域的亮度来调整快门值,其中,特定区域的亮度包括背景亮度和车牌亮度。
本实施例的成像控制单元12包括背景亮度控制成像单元和车牌亮度控制成像单元。
背景亮度控制成像单元,用于获取A/D转换单元11产生的数字视频流,通过分析每帧视频图像中的背景亮度来调整快门值,包括:通过亮度直方图计算路面亮度,选择对应于路面亮度的快门值。通常,路面亮度较高,选择较小的快门值;路面亮度较低,选择较大的快门值。调整后的快门值用于控制下一帧视频图像的成像质量。
车牌亮度控制成像单元,用于在抓拍单元24获取的视频图像中有车牌特征时,通过分析所述获取的视频图像中的车牌亮度来调整快门值,包括:通过中值滤波计算车牌亮度,在车牌亮度大于正常范围上限时调小快门值,在车牌亮度小于正常范围下限时调大快门值,而车牌亮度在正常范围内时不改变快门值。如果抓拍单元24获取的视频图像中没有车牌特征则不调整快门值。调整后的快门值用于控制下一帧视频图像的成像质量。
本实施例的成像控制单元12对于每帧视频图像,应用背景亮度控制成像单元实时地调整成像单元10产生的模拟视频流的成像质量;在抓拍的视频图像中有车牌特征时,应用车牌亮度控制下一帧视频图像的成像质量,这样抓拍单元24获取的视频图像成像质量高,且图像中车牌区域明显,有利于提高信息获取单元15的车牌识别和车身颜色识别的准确性。
另外,与图1所示的抓拍单元14相比,图3所示的抓拍单元24在接收到触发信号(本实施例为视频触发单元13输出的视频触发信号)后,获取当前的视频图像前,还输出补光控制信号,用于开启外接的补光装置。补光装置通常为智能频闪灯,频闪灯开启后,可以对成像单元10摄取的景像进行补光,以此得到高清晰度的视频图像,避免了因强光照、环境光照变化剧烈、夜间背景光照远低于车灯直射的光照等条件造成视频图像中的车牌区域不明显甚至全部被覆盖(呈全白状)的情况。
本发明实施例的图像获取和处理装置还可以包括超速触发单元,例如图4所示,与图3所示的图像获取和处理装置2相比,图4所示的图像获取和处理装置3还包括超速触发单元18,并且,抓拍单元34接收到的触发信号还包括超速触发单元18输出的超速触发信号。
超速触发单元18,用于在接收到的车辆行驶速度超过预设的速度限制时,产生超速触发信号。本实施例的图像获取和处理装置3可以外接测速装置(例如雷达测速器),超速触发单元18接收到的车辆行驶速度是由测速装置测得的。
抓拍单元34,用于在接收到视频触发单元13输出的视频触发信号或超速触发单元18输出的超速触发信号后,输出补光控制信号,然后获取当前的视频图像。
上述实施例的图像获取和处理装置可以采用硬件和软件结合实现,在硬件上,将成像单元、模拟数字转换单元和处理器(例如数字信号处理器DSP、微控制器MCU)嵌入于图像获取和处理装置中,即可以集成在同一电路板上,以此实现了硬件电路的高度集成化;在软件上,由处理器完成视频触发、成像控制、图像抓拍和信息获取,在适应高硬件集成度的平台的同时也实现了图像的实时和高速处理,获取准确的车辆信息。
相比于现有技术中图像获取和处理分别进行(例如由模拟摄像机、图像采集卡完成图像采集、由嵌入式板卡或图像处理装置中进行图像处理),上述实施例的图像获取和处理装置为满足高硬件集成度的要求,使得整合后的硬件电路得到了简化,并且,为适应高硬件集成度的平台和实现图像的高速和准确处理,视频触发、成像控制、图像抓拍和信息获取技术的算法也得到了优化。
对应图1所示的图像获取和处理装置,本发明图像获取和处理方法的一个实施例流程图如图5所示,所述方法包括:
步骤S1,摄取被监测区域内的景像,产生对应的模拟视频流;
步骤S2,将所述模拟视频流转换成数字视频流;
步骤S4,分析所述数字视频流,在检测到有车辆时产生视频触发信号;
步骤S5,在触发信号的触发下,从所述数字视频流获取当前的视频图像,所述触发信号包括视频触发信号;
步骤S8,对所述获取的视频图像进行处理,获取图像中的车辆信息。
其中,步骤S4是在前后帧的视频图像的灰度、颜色和边缘纹理(车牌特征)有变化(即有帧差)时,分时段地检测视频图像中的不同特征来检测是否有车辆通过,包括:在白天,视频图像中最黑阴影的灰度超过设定的车底最黑阴影阈值(有车底阴影特征)时输出视频触发信号;在夜间,视频图像中有车灯特征时输出视频触发信号;在环境光照较弱的黎明或黄昏,视频图像中最黑阴影的灰度超过对应的车底最黑阴影阈值时输出视频触发信号,所述对应的车底最黑阴影阈值是通过检测视频图像中的路面亮度来判断是黎明或黄昏,并选择对应于黎明或黄昏的车底最黑阴影阈值而得到的。
步骤S8的获取图像中的车辆信息包括:获取车牌信息和/或车身颜色信息,其中,获取车牌信息是通过车牌定位、车牌颜色识别、字符分割和字符识别,得到车牌二值化图像、车牌颜色和车牌号码;获取车身颜色信息是通过分割出感兴趣区域,识别感兴趣区域中像素点的颜色、统计感兴趣区域中各种颜色的像素点个数,以确定车身颜色。
对应图3所示的图像获取和处理装置,本发明图像获取和处理方法的另一个实施例流程图如图6所示,相较于图5所示的方法,图6所示的方法还包括:调整用于控制步骤S1产生的模拟视频流的成像质量的成像控制参数的步骤,所述步骤包括步骤S3和S9。
步骤S3,分析每帧视频图像中的背景亮度来调整成像控制参数。具体来说,获取所述数字视频流,并通过分析每帧视频图像中的背景亮度来调整快门值,包括:通过亮度直方图计算路面亮度,选择对应于路面亮度的快门值。通常,路面亮度较高,选择较小的快门值;路面亮度较低,选择较大的快门值。
步骤S9,在所述获取的视频图像中有车牌特征时,通过分析所述视频图像中的车牌亮度来调整成像控制参数,所述成像控制参数为快门值。包括:通过中值滤波计算车牌亮度,在车牌亮度大于正常范围上限时调小快门值,在车牌亮度小于正常范围下限是调大快门值,而车牌亮度在正常范围内时不改变快门值。
另外,与图5所示方法的步骤S5相比,图6所示的方法的步骤S5’中,在触发信号触发后,获取当前的视频图像前,还输出补光控制信号。
上述步骤S5所述的触发信号还可以包括超速触发信号,所述超速触发信号是在接收到的车辆行驶速度超过预设的速度限制时产生的。
图7是本发明车辆监测和记录***的一个实施例的结构示意图,如图所示,车辆监测和记录***包括:图像获取和处理装置1、通信装置6以及存储和管理装置7。
图像获取和处理装置1,用于摄取被监测区域内的景像,产生对应的模拟视频流;将所述模拟视频流转换成数字视频流;分析所述数字视频流,在检测到有车辆通过时输出视频触发信号;在接收到触发信号后,从所述数字视频流获取当前的视频图像,所述触发信号包括视频触发信号;对所述获取的视频图像进行处理,获取图像中的车辆信息;输出处理结果。
本实施例的图像获取和处理装置1的具体结构如图1所示,另外,图像获取和处理装置1还可以包括如图3所示的成像控制单元。都已在上面进行了详细的说明,在此不再重复说明。
本实施例的图像获取和处理装置1输出的处理结果包括:包含有车辆的视频图像(压缩后的具有特定格式的视频图像)、车牌二值化图像、车牌号码、车牌颜色、车身颜色和车辆通过的时间等。
通信装置6,连接在图像获取和处理装置1及存储和管理装置7之间,用于将图像获取和处理装置1输出的处理结果传送至存储和管理装置7。一般来说,一个存储和管理装置7可以连接多个图像获取和处理装置1,因此在图像获取和处理装置1及存储和管理装置7之间需要通信装置6来传送数字信号,通信装置6可以是一个集线器(Hub),多个图像获取和处理装置1输出的处理结果(数字信号)可以通过通信装置6传送至存储和管理装置7。若一个存储和管理装置5仅连接一个图像获取和处理装置1时,图像获取和处理装置1及存储和管理装置7之间可以不需要通信装置6而直接连接。
存储和管理装置7,用于存储图像获取和处理装置1输出的处理结果,并管理与其连接的图像获取和处理装置1。存储和管理装置7可以是一台终端服务器,其可以再连接多台应用服务器,成为图像获取和处理装置及应用服务器之间的中转站,实现数据的存储和转发。
由于视频图像的处理在图像获取和处理装置1(前端设备)中进行,因此有效地减少了数据的传输量,并且也降低了对存储和管理装置7(例如终端服务器)的性能要求。
图8是本发明车辆监测和记录***的另一个实施例的结构示意图,如图所示,车辆监测和记录***包括:图像获取和处理装置2、补光装置4、通信装置6以及存储和管理装置7。下面仅对图8不同于图7的部分进行详细说明。
本实施例的图像获取和处理装置2的具体结构如图3所示,在上面已进行了详细的说明,在此不再重复说明。
本实施例的图像获取和处理装置2输出的处理结果包括:包含有车辆的视频图像(压缩后的具有特定格式的视频图像)、车牌二值化图像、车牌号码、车牌颜色、车身颜色和车辆通过的时间等。
补光装置4,连接图像获取和处理装置2,在图像获取和处理装置2的抓拍单元输出补光控制信号时开启,用于对成像单元摄取的景像进行补光。补光装置4可以是频闪灯,安装在每个图像获取和处理装置2的旁边。
图像获取和处理装置2成像控制单元的反馈控制和补光装置4的配合,可以全天候地高清晰成像,使得白天和夜间抓拍的视频图像清晰度高,确保车身、车牌和车辆前排人员面部特征都清晰可辨。
图9是本发明车辆监测和记录***的又一个实施例的结构示意图,如图所示,车辆监测和记录***包括:图像获取和处理装置3、补光装置4、测速装置5、数据通信装置6以及存储和管理装置7。下面仅对图9不同于图8的部分进行详细说明。
本实施例的图像获取和处理装置3的具体结构如图4所示,在上面已进行了详细的说明,在此不再重复说明。
本实施例的图像获取和处理装置3输出的处理结果包括:因视频触发而获取的包含有车辆的视频图像(压缩后的具有特定格式的视频图像)、对应的车牌二值化图像、车牌号码、车牌颜色、车身颜色和车辆通过的时间;或者,因超速触发而获取的包含有超速车辆的视频图像、对应的车牌二值化图像、车牌号码、车牌颜色、车身颜色、车辆通过的时间和车辆行驶速度。
测速装置5,用于对进入测速区域的车辆进行检测,计算车辆通过测速区域时的行驶速度,并输出计算得到的车辆行驶速度至图像获取和处理装置3的超速触发单元。测速装置5可以采用雷达传感器测速,雷达传感器可以安装在每个图像获取和处理装置2的旁边,采用雷达传感器测试不易受环境光照的影响,测速准确,精度高。
另外,本发明实施例的车辆监测和记录***还可以包括全景监控摄像机和数字硬盘录像机(图中未示),全景监控摄像机安装在车道上,用于实时摄取车道上的景像,并将产生的视频信号通过通信设备传送至数字硬盘录像机,数字硬盘录像机将全景监控摄像机输出的视频信号以数字信号方式存储。
综上所述,上述图像获取和处理装置具有以下优点:
将图像采集和处理集成在图像获取和处理装置中,即通过成像单元摄取景像,视频触发单元触发抓拍单元获取包含有车辆的视频图像,信息获取单元处理所述视频图像以得到车辆信息,实现了嵌入式的图像采集和实时处理,并且实现了成像和图像处理一体化。
成像单元的图像传感器采用高分辨率的CCD传感器,视场覆盖宽度大于一个车道,不仅可以获得高分辨率的视频图像,并且在每个车道上只需安装一台图像获取和处理装置即可以保证摄像范围全覆盖整个车道,即使在多车道的情况下,各个车道的图像获取和处理装置之间也具有足够的叠加覆盖区域。
视频触发单元通过检测不同光照条件下(白天、夜间、黎明、黄昏)适合代表车辆的特征来判断是否有车辆通过,因而能够准确地检测到车辆的到来,以此减小误触发的机率。
信息获取单元还具有车身颜色识别的功能,提供了更丰富的车辆信息。用于车身颜色识别的感兴趣区域可以是车身的一个特定区域,而不是完整的车身区域,因此运算量小,运算速度快;并且,感兴趣区域中用于识别的像素点可以为间隔固定数量选择的像素点,而不是感兴趣区域中所有的像素点,这样就进一步减小了运算量,提高了运算速度。
成像控制单元对于每帧视频图像,应用背景亮度实时地调整成像单元产生的模拟视频流的成像质量;在抓拍的视频图像中有车牌特征时,应用车牌亮度调整成像单元产生的模拟视频流的成像质量,这样使得抓拍单元获取的视频图像成像质量高,且图像中车牌区域明显,有利于提高信息获取单元的车牌识别和车身颜色识别的准确性。
超速触发单元在车辆行驶速度超过预设的速度限制时,产生超速触发信号,以此触发抓拍单元获取包含有超速车辆的视频图像,信息获取单元处理所述视频图像以得到车辆信息,这样就实现了违章抓拍和违章车辆信息的实时获取。
上述车辆监测和记录***具有以下优点:
图像采集和处理集成在图像获取和处理装置中,即将成像和图像处理一体化,因而简化了***的结构,降低了***的安装复杂度。
视频图像的采集和处理在图像获取和处理装置(前端设备)中进行,因此有效地减少了图像获取和处理装置与存储和管理装置之间数据的传输量,提高了数据的传输速度,并且也降低了对存储和管理装置的性能要求。
补光装置对图像获取和处理装置摄取的景像进行补光,以此得到高清晰度的视频图像,避免了因强光照、环境光照变化剧烈、夜间背景光照远低于车灯直射的光照等条件造成视频图像中的车牌区域不明显甚至全部被覆盖(呈全白状)的情况。
补光装置和图像获取和处理装置的成像反馈控制的结合应用,可以全天候地高清晰成像,使得白天和夜间抓拍的视频图像清晰度高,有效解决了车辆前挡风玻璃的反光和强光直射等问题,确保车身、车牌和车辆前排司乘人员面部特征都清晰可辨。
本发明虽然以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以做出可能的变动和修改,因此本发明的保护范围应当以本发明权利要求所界定的范围为准。