CN103258433B - 一种交通视频监控中智能车牌清晰显示方法 - Google Patents
一种交通视频监控中智能车牌清晰显示方法 Download PDFInfo
- Publication number
- CN103258433B CN103258433B CN201310140442.1A CN201310140442A CN103258433B CN 103258433 B CN103258433 B CN 103258433B CN 201310140442 A CN201310140442 A CN 201310140442A CN 103258433 B CN103258433 B CN 103258433B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- vehicle
- detecting device
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一种交通视频监控中智能车牌清晰显示方法,它涉及一种交通视频监控中智能车牌清晰显示方法,属于交通监控领域。方法:一、用摄像机实时扫描车流、选定违章的车辆作为训练目标;二、对采用步骤一方式获取的多个训练目标进行初始化训练,获取检测器模型;三、继续用摄像机实时扫描车流、选定违章的车辆作为检测目标,对检测目标的视频的每一帧图像采用***和检测器并行计算,获取检测目标的位置;四、计算检测目标的大小,控制云台转动和调整焦距,将检测目标放大,来清晰的显示车牌。本发明可用于交通监控领域。
Description
技术领域
本发明涉及一种交通视频监控中智能车牌清晰显示方法,属于交通监控领域。
背景技术
20世纪80年代以来,随着我国国民经济的迅速发展,机动车辆规模及流量大幅度增加,全国机动车量年均增长15%以上,城市通路里程年均增长7.9%,涉车事件、案件成几何倍数增长,严重危害着人民群众的人身和财产安全,给国家造成了巨大的损失。20世纪90年代,相继开展了车辆识别***的研究,21世纪始,研发多年的车牌照计算机自动识别技术出现,迅速在国内推广,被广泛应用于闯红灯、卡口、收费站、移动巡查、旅行时间统计等涉车的事件、案件、违规等方面查证,给涉车的违规、违法行为以沉重的打击。在实际交通环境中,通常会因抓拍的车辆成像太小而导致车牌不能识别或者识别精度较低。
发明内容
本发明目的是为了解决实际交通环境中,通常会因抓拍的车辆成像太小而导致车牌不能识别或者识别精度较低的问题,提供了一种交通视频监控中智能车牌清晰显示方法。
本发明所述一种交通视频监控中智能车牌清晰显示方法,该方法包括以下步骤:
步骤一、用摄像机实时扫描车流、选定违章的车辆作为训练目标;
步骤二、对采用步骤一方式获取的多个训练目标进行初始化训练,获取检测器模型;
步骤三、继续用摄像机实时扫描车流、选定违章的车辆作为检测目标,对检测目标的视频的每一帧图像采用***和检测器并行计算,获取检测目标的位置;
步骤四、计算检测目标的大小,控制云台转动和调整焦距,将检测目标放大,来清晰的显示车牌。
本发明的优点:
1、能够计算车辆大小的变化,并且控制相机对车辆放大。
2、当目标大小发生变化时,跟踪速度稳定。能清晰的显示车牌。
附图说明
图1是本发明所述一种交通视频监控中智能车牌清晰显示方法的总体流程图;
图2是本发明所述一种交通视频监控中智能车牌清晰显示方法的具体流程图;
图3是检测器的工作流程图;
图4是局部搜索示意图。
具体实施方式
具体实施方式一:下面结合图1和图2说明本实施方式,本实施方式所述一种交通视频监控中智能车牌清晰显示方法,该方法包括以下步骤:
步骤一、用摄像机实时扫描车流、选定违章的车辆作为训练目标;
步骤二、对采用步骤一方式获取的多个训练目标进行初始化训练,获取检测器模型;
步骤三、继续用摄像机实时扫描车流、选定违章的车辆作为检测目标,对检测目标的视频的每一帧图像采用***和检测器并行计算,获取检测目标的位置;
步骤四、计算检测目标的大小,控制云台转动和调整焦距,将检测目标放大,来清晰的显示车牌。
基本过程:首先选中(框出)违章的车辆;然后,让监控***自主的跟踪(时刻框住)视频中的这个车辆;跟踪过程中计算目标大小,并通过相机控制对目标放大以看清车牌。
本方法有以下两个特点:
1、运用了目标匹配和模型更新一体化的并行机制计算车辆大小的变化,并且控制相机对车辆放大。
2、当目标大小发生变化时,由图3的局部搜索和图4的降采样匹配机制,跟踪速度稳定。
具体实施方式二:本实施方式对实施方式一作进一步说明,步骤一中用摄像机实时扫描车流、选定违章的车辆作为训练目标的过程为:
云台按设定转动位置和放缩倍数带动摄像机动作,实时扫描指定路段的车流,当发现车辆违章后,框选违章的车辆作为训练目标。
云台事先由操作者设定转动位置和放缩倍数,实时扫描指定路段的车流。
当有车辆违章后,由操作者框选违章的车辆(车辆不能小于40x40像素)。根据选定的车辆大小和设定的处理图像的实际目标大小(40-80像素),对原图像进行下采样,使得下采样后的车辆大小限制在40-80像素,外面的局部搜索窗设定为120x120个像素。即后续输入到算法的图像大小一直是120x120。这样就使算法能达到匀速和实时了。
具体实施方式三:本实施方式对实施方式一或二作进一步说明,步骤二获取检测器模型的过程为:
将训练目标的所在区域分别进行尺度缩放、旋转、增加噪声,组成以随机森林分类器为训练器输入的正样本;
具体过程为:尺度缩放按照15*15大小的原始窗口为基准,以1.2倍进行逐级放大,一直放大到设定的局部搜索窗大小;将目标按照0.1°进行旋转,组成一系列新的选择后的图像;对输入的图像加入方差为5的高斯噪声,最终将生成新的图像序列中,选择出200幅小图像作为训练器的输入正样本,
同时,将训练目标外部区域选择200个窗口的小图像作为负样本,将正负样本输入到随机森林分类器进行学习,获取训练目标的检测器模型。
挑选大量的被跟踪车辆的样本来进行学习和训练,得到一个检测器模型(该模型用于后续目标跟踪中的目标检测)。为了应对车辆运行过程中发生姿态、光照等变化,训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。
具体实施方式四:本实施方式对实施方式一、二或三作进一步说明,步骤三中使用***和检测器并行计算,获取检测目标的位置的过程为:
***输出一个检测目标的位置信息及图像,检测器输出多个检测目标的位置信息及图像,若***输出的图像与检测目标的原始图像的近似度超过80%,则选择***输出的位置信息作为检测目标的位置信息;
否则,选择检测器输出的多个图像中与检测目标原始图像相似度最大的图像对应的位置信息作为检测目标的位置信息。
对于每帧同时运行***、检测器,***预测出一个目标位置信息,而检测器则可能检出多幅图像;决定目标的最终位置时,优先考虑***所得的结果,即如果跟踪到的图像与最初的目标图像相似度大于某阈值,就接受该跟踪结果;否则,将从检测器的结果中,选用与最初目标相似度最大的图像作为跟踪结果。
具体实施方式五:本实施方式对实施方式四作进一步说明,***采用光流法对检测目标进行跟踪。
***采用光流法对目标进行跟踪,运动物体的像素在观测图像上的瞬时运动速度称为光流,由目标与相机的相对运动产生。光流法是一种常用的运动目标检测算法,它根据视频序列中目标与背景的相对运动确定运动物体的位置。
具体实施方式六:下面结合图3和图4说明本实施方式,本实施方式对实施方式四或五作进一步说明,检测器对检测目标的跟踪过程为:
步骤1、对当前帧图像进行预处理,将其缩放处理成设定大小的图像;
步骤2、选取检测目标上一帧图像作为当前帧搜索窗的中心,利用检测器在当前搜索窗内进行检测,输出检测目标的位置信息。
局部搜索:
在***跟踪目标的同时,利用检测器在局部搜索框内检测目标,这里检测器的核心是初始化目标过程中训练的随机森林分类器。检测器的基本工作流程是:(1)提取未标记样本:用不同尺度的滑动窗口对当前图像遍历取未标记样本;(2)方差滤波:滤除比较平滑的背景样本;(3)样本标记:将满足方差要求的样本输入随机森林分类器分类,得到标记样本;(4)置信度检验:根据当前在线模型,计算正样本的置信度,取置信度大的样本作为目标检测结果。
实际处理的图像分辨率一般会超过768*576个像素,甚至达到1920*1080个像素,如果跟踪过程中直接对整幅图进行检测,速度会比较慢,并且由于多个相似目标存在,会产生跟踪错误。由于目标的运动速率相对于帧频来说较慢,也就是相邻两帧中,目标的变化很小,所以只需要在目标周围的区域中搜素目标,即局部搜索的跟踪方法,示意图如图4。
当前帧的搜索窗中心位置取在上一帧跟踪目标中心,搜索窗的大小则根据目标大小及目标运动状态决定,搜索窗口的大小要保证目标快速运动的情况下目标不会超出当前搜索窗的范围。跟踪运动过程中,目标在视场中的大小会产生变化,相应搜索窗的大小也要随之而改变。采用局部搜索,一方面不会引入过多的、不必要的背景样本,提高了算法的运行速度,另一方面将检测窗口限制在跟踪目标区域,降低了同一检测窗口内出现干扰目标的可能性。
为了适应车辆大小的变化,以及克服试场中存在多个相似车辆导致跟踪错误,提出局部搜索和降采样匹配机制,既能稳定的跟踪目标也能使设计的方法满足目标实时性跟踪要求(跟踪算法运行时间在P3.0G的CPU上小于20ms)。
降采样匹配机制:
在目标跟踪过程中,目标大小会随时发生改变,这也意味着算法所要处理的图像会发生变化。那么,对不同帧图像来说,算法运行的时间很可能不同,这不利于跟踪的实时性。为了解决这一问题,提出了一种图像预处理方法,即对每一帧目标样本进行采样处理。
虽然采集的目标图像大小不一样,但是通过不同下采样比率,总可以使算法处理的图像保持固定。一方面,处理的图像变小,大大加快了算法的速度;另一方面,处理图像固定,保证了算法处理速度的一致性。
由于算法对目标进行了下采样处理,图像变小,可能会丢失一些目标信息,但处理后的图像仍能保持目标的大部分特征,不影响跟踪效果。
具体实施方式七:本实施方式对实施方式一作进一步说明,步骤四中控制云台转动和调整焦距,将检测目标放大至宽度为300像素,来清晰的显示车牌。
Claims (5)
1.一种交通视频监控中智能车牌清晰显示方法,其特征在于,该方法包括以下步骤:
步骤一、用摄像机实时扫描车流、选定违章的车辆作为训练目标;
步骤二、对采用步骤一方式获取的多个训练目标进行初始化训练,获取检测器模型;
步骤三、继续用摄像机实时扫描车流、选定违章的车辆作为检测目标,对检测目标的视频的每一帧图像采用***和检测器并行计算,获取检测目标的位置;
步骤四、计算检测目标的大小,控制云台转动和调整焦距,将检测目标放大,来清晰的显示车牌;
其中,步骤三中使用***和检测器并行计算,获取检测目标的位置的过程为:
***输出一个检测目标的位置信息及图像,检测器输出多个检测目标的位置信息及图像,若***输出的图像与检测目标的原始图像的近似度超过80%,则选择***输出的位置信息作为检测目标的位置信息;
否则,选择检测器输出的多个图像中与检测目标原始图像相似度最大的图像对应的位置信息作为检测目标的位置信息;其中检测器对检测目标的跟踪过程为:
步骤1、对当前帧图像进行预处理,将其缩放处理成设定大小的图像;
步骤2、选取检测目标上一帧图像作为当前帧搜索窗的中心,利用检测器在当前搜索窗内进行检测,输出检测目标的位置信息。
2.根据权利要求1所述一种交通视频监控中智能车牌清晰显示方法,其特征在于,步骤一中用摄像机实时扫描车流、选定违章的车辆作为训练目标的过程为:
云台按设定转动位置和放缩倍数带动摄像机动作,实时扫描指定路段的车流,当发现车辆违章后,框选违章的车辆作为训练目标。
3.根据权利要求1所述一种交通视频监控中智能车牌清晰显示方法,其特征在于,步骤二获取检测器模型的过程为:
将训练目标的所在区域分别进行尺度缩放、旋转、增加噪声,组成以随机森林分类器为训练器输入的正样本;
具体过程为:尺度缩放按照15*15大小的原始窗口为基准,以1.2倍进行逐级放大,一直放大到设定的局部搜索窗大小;将目标按照0.1°进行旋转,组成一系列新的选择后的图像;对输入的图像加入方差为5的高斯噪声,最终将生成新的图像序列中,选择出200幅小图像作为训练器的输入正样本,
同时,将训练目标外部区域选择200个窗口的小图像作为负样本,将正负样本输入到随机森林分类器进行学习,获取训练目标的检测器模型。
4.根据权利要求1所述一种交通视频监控中智能车牌清晰显示方法,其特征在于,***采用光流法对检测目标进行跟踪。
5.根据权利要求1所述一种交通视频监控中智能车牌清晰显示方法,其特征在于,步骤四中控制云台转动和调整焦距,将检测目标放大至宽度为300像素,来清晰的显示车牌。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310140442.1A CN103258433B (zh) | 2013-04-22 | 2013-04-22 | 一种交通视频监控中智能车牌清晰显示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310140442.1A CN103258433B (zh) | 2013-04-22 | 2013-04-22 | 一种交通视频监控中智能车牌清晰显示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103258433A CN103258433A (zh) | 2013-08-21 |
CN103258433B true CN103258433B (zh) | 2015-03-25 |
Family
ID=48962313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310140442.1A Active CN103258433B (zh) | 2013-04-22 | 2013-04-22 | 一种交通视频监控中智能车牌清晰显示方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103258433B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201517462D0 (en) * | 2015-10-02 | 2015-11-18 | Tractable Ltd | Semi-automatic labelling of datasets |
CN105809972B (zh) * | 2016-03-24 | 2018-08-24 | 牛力伟 | 一种停车管理方法及装置、*** |
CN109670366A (zh) * | 2017-10-13 | 2019-04-23 | 神讯电脑(昆山)有限公司 | 车用摄像装置的车牌辩识方法及车用摄像装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101964145A (zh) * | 2009-07-23 | 2011-02-02 | 北京中星微电子有限公司 | 一种自动车牌识别方法及其*** |
CN102214290A (zh) * | 2010-04-12 | 2011-10-12 | 无锡科利德斯科技有限公司 | 车牌定位方法及车牌定位模板训练方法 |
CN202771619U (zh) * | 2012-07-18 | 2013-03-06 | 中海网络科技股份有限公司 | 用于违章停车的自动抓拍装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4618062B2 (ja) * | 2005-09-07 | 2011-01-26 | 住友電気工業株式会社 | 監視装置、監視システム、および監視方法 |
US8548201B2 (en) * | 2010-09-02 | 2013-10-01 | Electronics And Telecommunications Research Institute | Apparatus and method for recognizing identifier of vehicle |
-
2013
- 2013-04-22 CN CN201310140442.1A patent/CN103258433B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101964145A (zh) * | 2009-07-23 | 2011-02-02 | 北京中星微电子有限公司 | 一种自动车牌识别方法及其*** |
CN102214290A (zh) * | 2010-04-12 | 2011-10-12 | 无锡科利德斯科技有限公司 | 车牌定位方法及车牌定位模板训练方法 |
CN202771619U (zh) * | 2012-07-18 | 2013-03-06 | 中海网络科技股份有限公司 | 用于违章停车的自动抓拍装置 |
Non-Patent Citations (1)
Title |
---|
基于BP神经网络的车牌字符识别算法研究;欧阳俊,等;《光学与光电技术》;20121010;第10卷(第5期);第67-71页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103258433A (zh) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
TWI448977B (zh) | 基於視訊分析的物件計數方法與裝置 | |
CN107133559B (zh) | 基于360度全景的运动物体检测方法 | |
CN108776974B (zh) | 一种适用于公共交通场景的实时目标跟踪方法 | |
CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析***及方法 | |
CN104408932A (zh) | 一种基于视频监控的酒驾车辆检测*** | |
CN104268528A (zh) | 一种人群聚集区域检测方法和装置 | |
CN102855758A (zh) | 一种违章车辆检测方法 | |
CN106934374A (zh) | 一种雾霾场景中交通标识牌的识别方法及*** | |
Meshram et al. | Traffic surveillance by counting and classification of vehicles from video using image processing | |
CN117994987B (zh) | 基于目标检测技术的交通参数提取方法及相关装置 | |
Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
CN113256731A (zh) | 基于单目视觉的目标检测方法及装置 | |
CN103258433B (zh) | 一种交通视频监控中智能车牌清晰显示方法 | |
Miller et al. | Person tracking in UAV video | |
Sung et al. | Real-time traffic light recognition on mobile devices with geometry-based filtering | |
Yuliandoko et al. | Automatic vehicle counting using Raspberry pi and background subtractions method in the sidoarjo toll road | |
Desai et al. | Real-time implementation of Indian license plate recognition system | |
CN110210324B (zh) | 一种道路目标快速检测预警方法和*** | |
Dagvasumberel et al. | Railroad near-miss occurrence detection and risk estimation system with data from camera using deep learning | |
CN103366598B (zh) | 一种车辆停靠到位检测***及检测方法 | |
Emiyah et al. | Extracting vehicle track information from unstabilized drone aerial videos using YOLOv4 common object detector and computer vision | |
Gao et al. | Small object detection method based on improved YOLOv5 | |
Liao et al. | Multi-scale ship tracking based on maritime monitoring platform | |
CN112465867A (zh) | 一种基于卷积神经网络的红外点目标实时检测跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200116 Address after: 314502 ground floor, building 4, No.192 Heng'an Road, Puyuan Town, Tongxiang City, Jiaxing City, Zhejiang Province Patentee after: Zhejiang Tianhong wave control electronic technology Co., Ltd Address before: 266580 Qingdao economic and Technological Development Zone, Changjiang Road, No. 66, Shandong Patentee before: China University of Petroleum (East China) |
|
TR01 | Transfer of patent right |