CN107358170B - 一种基于移动机器视觉的车辆违章压线识别方法 - Google Patents

一种基于移动机器视觉的车辆违章压线识别方法 Download PDF

Info

Publication number
CN107358170B
CN107358170B CN201710480082.8A CN201710480082A CN107358170B CN 107358170 B CN107358170 B CN 107358170B CN 201710480082 A CN201710480082 A CN 201710480082A CN 107358170 B CN107358170 B CN 107358170B
Authority
CN
China
Prior art keywords
line
vehicle
image
shadow
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710480082.8A
Other languages
English (en)
Other versions
CN107358170A (zh
Inventor
张俊琦
林培群
明昊
陆思园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710480082.8A priority Critical patent/CN107358170B/zh
Publication of CN107358170A publication Critical patent/CN107358170A/zh
Application granted granted Critical
Publication of CN107358170B publication Critical patent/CN107358170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供基于移动机器视觉技术的车载违章压线识别装置的方法，包括基于Hough变换、透视原理的道路标线识别方法，以及基于车底阴影检测的车辆定位方法。结合Hough变换、透视原理的检测方法可以排除环境纹理，较为准确地识别出道路标线。并且结合车底阴影检测的定位方法可以在各种光线环境下定位车辆。本发明具有成本低、运行效率高、识别准确率高、安装方便等特点，可以提高城市道路交通执法的有效性。

Description

一种基于移动机器视觉的车辆违章压线识别方法
技术领域
本发明涉及机器视觉领域，具体说是一种利用多种图像处理方法高效率、低成本的移动摄像头拍摄视频中的违章压线车辆的自动识别方法。
背景技术
城市交通***常面临违规行为监测力度不够的问题。为了保证监测的有效性和覆盖性，防止交通参与者通过各种方式逃避监测，提高城市交通***的效率和可靠性，亟需建立科学、有效的交通行为监控***。
目前进行可移动的交通视频监测比较困难，原因主要是移动摄像头拍摄的图像变化多端，很难针对单一模式进行有效分析识别；移动设备的计算能力和存储空间有限，不能满足对复杂环境的实时分析与计算；设备与服务中心交换数据的带宽较窄，不能实时地传递较高质量的视频。鉴于有如上的这些困难，交通视频监测***往往使用有线且静止不动的摄像头。
对于违章压线行为，一个检测设备成本很高，且只能检测一些固定的地点。对这些固定的地点，很多导航、电子狗***的数据库都进行了记录，违章者只要在这些固定地点小心驾驶，在其他路段违章也不会受到处罚。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种可处理移动摄像头拍摄视频、处理效率高、硬件要求低、基于移动机器视觉的违章压线自动识别方法。
本发明的目的至少通过如下技术方案之一实现。
一种基于移动机器视觉的车辆违章压线识别方法，其包括：
(1)进行车道线提取前的图像强化；
(2)结合透视原理进行调整；
(3)通过Hough变换识别视频中的道路标线；
(4)进行阴影提取前的图像强化；
(5)搜索可能为车辆底部阴影的矩形阴影区域，对搜索到的矩形阴影区域进行过滤；
(6)排除重复阴影区域；
(7)根据道路标线位置和车辆底部阴影位置，判断车辆是否存在违章压线行为，若是，截取图片，否则不截取图片。
进一步地，步骤(1)具体步骤如下：
(1.1)提高图像对比度，使车道线与路面的颜色差异更大；
(1.2)通过3×3中值滤波，减少图像噪声，保留边缘；
(1.3)通过形态学检测边缘，体现边缘两侧的对比度；
(1.4)通过二值化，提取出图像中的边缘以便后续计算；
(1.5)通过逐帧与，与前若干帧进行与计算，消除二值化后图像中的随机噪声；
(1.6)通过先膨胀再腐蚀的闭运算，消除图像内的孔洞，使断开的车道线边缘闭合。
进一步地，步骤(2)具体包括：
(2.1)在图像约20％高度位置规定一条横向检测线，并对这条线进行游程长度编码；
(2.2)筛出所有在给定的两个阈值长度内的游程，求出游程的中点，作为可能的车道线起始点；
(2.3)在图像大约中心位置规定一个检测圆，并假设车道线灭点包含在这个圆内。
进一步地，步骤(3)具体包括：
(3.1)从所有可能的车道线起始点开始，对检测圆做两条切线，并在这两条切线的夹角中按设定的角度步长并从起始点向检测圆方向进行搜索；对每个角度，都找出最长的连续白色像素线段，并排除这些线段中短于或长于指定阈值的线段；能够搜索出线段的车道线起始点，称为激活的车道线起始点；
(3.2)对上一步得到的线段求角度平均值，就得出从每个起始点开始的可能车道线角度，并由此角度得出对应的线段；
(3.3)对这些线段两两之间求出在检测圆内的交点，然后求出这些交点的平均点并加入历史平均点列表中；
(3.4)对历史平均点列表按照给定的距离和次数计算各点的邻域点密度，同时排除偏离度大的点；对这些点，使用它们的邻域点密度作为权值求平均点，就得出此帧的车道线灭点位置；此灭点与各个激活的车道线起始点的连线就是车道线初步定位的结果。
进一步地，步骤(4)具体包括：
(4.1)通过色阶调整，提高图像对比度，使路面与车辆阴影的颜色差异更大；
(4.2)通过3×3中值滤波，减少图像噪声；
(4.3)检测线中段的灰度平均值，乘以一个经验系数作为阈值进行二值化，分离车辆阴影与路面；
(4.4)通过闭运算，即先膨胀再腐蚀，消除阴影内的孔洞。
进一步地，步骤(5)具体包括：
统计原图中可能的阴影区域内平均灰度值g0、阴影区域向下偏移设定距离的区域内平均灰度值g0、强化后图像中向下偏移设定距离的区域内平均灰度值gt；
如果gr-g0在给定的范围内，且gt小于设定阈值，就说明这个阴影矩形可信，否则排除；
将可信的阴影矩形扩张以包含整个车辆的图像，称为车辆位置并记录。
进一步地，步骤(6)具体包括：
定义两个矩形r1,r2的重合度
Figure BDA0001328335800000041
并定义ru为一个恰好包含r1,r2的最小矩形；其中，intersect(r1,r2)即求r1,r2两个矩形的相交区域，area(r1)即矩形r1的面积，min(a1,a2)即取a1,a2两个数值中较小的值。
移除当前帧得出的车辆位置中所有q大于指定阈值的成对矩形，用它们的ru进行替换，迭代计算直到没有q能满足指定阈值，这时得到矩形集合Rc并添加到历史数据中；收集前若干帧的数据，也进行同样的操作，得到矩形集合Rh；
合并Rc和Rh，并从中移除所有q大于指定阈值的成对矩形，得集合RT；
合并RT和Rc，并计算其中所有q大于指定阈值的成对矩形的ru，整合得结果集合Rf。
本发明与现有技术相比所产生的有益效果是：
提高了视频检测技术的适应性，突破了传统的帧差法、背景差法等只能识别静态背景的局限，为移动视频识别技术提出了新的理论和方法，实现了在移动的背景下以较高的效率识别对象的目标；只需在移动的车辆上安装摄像设备即可进行抓拍执法，方便快捷。摆脱了固定安装地点的束缚，明显扩大执法的覆盖范围，增强了交通执法的震慑力，具有深刻的社会意义；具有可扩充性。如果要扩展执法监测***规模，则可以减少除摄像设备以外的基础设施(如龙门架、线缆等)的支出，具有良好的经济性；较低的计算能力和带宽需求、较理想的检出率和误检率。
附图说明
图1为基于移动机器视觉的车辆违章压线识别方法的实现流程示意图。
图2为实例中的一种***拓扑图。
图3为车道线识别前经图像强化后的图像。
图4为透视原理调整示意图。
图5车道线定位结果示意图
图6为阴影检测结果示意图。
图7为违章车辆抓拍示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1为本实例的基于移动机器视觉的车辆违章压线识别方法流程示意图，图2为一种实例拓扑图。
可将搭载使用本方法的抓拍和视频图像处理设备安装于公交车等道路车辆上，开启设备进行抓拍。
对于拍摄到的视频，车载设备做出本方法所描述的一系列处理，详细步骤如下：
进行车道线提取前的图像强化；
结合透视原理进行调整；
通过Hough变换识别视频中的道路标线；
进行阴影提取前的图像强化；
搜索可能为车辆底部阴影的矩形阴影区域；
对搜索到的矩形阴影区域进行过滤；
排除重复阴影区域。
根据道路标线位置和车辆底部阴影位置，判断车辆是否存在违章压线行为；
若是，截取图片。
其中车道线提取前的图像强化的具体步骤如下：
提高图像对比度，使车道线与路面的颜色差异更大；
通过3×3中值滤波，减少图像噪声，同时又比较好地保留边缘；
通过形态学检测边缘，体现边缘两侧的对比度；
通过二值化，提取出图像中的边缘以便后续计算；
通过逐帧与，与前若干帧进行与计算，消除二值化后图像中的随机噪声；
通过先膨胀再腐蚀的闭运算，消除图像内的孔洞，使断开的车道线边缘闭合。
强化后的图像如图3。
结合图4，结合透视原理进行调整的详细步骤如下：
在图像下部规定一条检测线，并对这条线进行游程长度编码；
给定高、低两个阈值，即车道线起始点宽度限制阈值，筛出所有长度在低阈值与高阈值之间的游程，并求出游程的中点，作为可能的车道线起始点；
在图像大约中心位置规定一个检测圆，并假设车道线灭点包含在这个圆内。
通过Hough变换识别视频中的道路标线的详细步骤为：
从所有可能的车道线起始点开始，对检测圆做两条切线，并在这两条切线的夹角中按一定的角度步长并从起始点向检测圆方向进行搜索。对每个角度，都找出最长的连续白色像素线段，并排除这些线段中短于或长于指定阈值的线段。能够搜索出线段的车道线起始点，称为激活的车道线起始点。
对上一步得到的线段求角度平均值，就得出从每个起始点开始的可能车道线角度，并由此角度得出对应的线段；
对这些线段两两之间求出在检测圆内的交点，然后求出这些交点的平均点并加入历史平均点列表中；
对历史平均点列表按照给定的距离和次数计算各点的邻域点密度，同时排除偏离度大的点。对这些点，使用它们的邻域点密度作为权值求平均点，就得出此帧的车道线灭点位置。此灭点与各个激活的车道线起始点的连线就是车道线初步定位的结果，如图5。
进行阴影提取前的图像强化的详细步骤为：
通过色阶调整，提高图像对比度，使路面与车辆阴影的颜色差异更大；
通过3×3中值滤波，减少图像噪声；
检测线中段的灰度平均值，乘以一个经验系数作为阈值进行二值化，分离车辆阴影与路面；
通过闭运算，即先膨胀再腐蚀，消除阴影内的孔洞。
搜索可能为车辆底部阴影的矩形阴影区域的详细步骤为：
在上述步骤所检测出的车道线上进行连续采样，获取具有连续白色像素特征的线段区域，将这特征线段称为l，将l向y轴投影获得线段ly，并令l的中点与ly的中点为同一点。对ly，向其左右两侧每隔一个单位长度都分别进行采样，直到出现黑色像素为止。求出两侧所有采样距离的平均值并相加，就获得了车辆底部阴影矩形区域的宽度。而ly的长度即车辆底部阴影矩形区域的高度，这样就求出了车辆底部阴影矩形区域的位置和大小。若车辆底部阴影矩形区域的宽高比在指定的范围内，就认为它反映了车辆阴影的特征；反之则将其排除。
对搜索到的矩形阴影区域进行过滤的详细步骤为：
统计原图中可能的阴影区域内平均灰度值g0、阴影区域向下偏移一定距离的区域内平均灰度值g0、强化后图像中向下偏移一定距离的区域内平均灰度值gt；
如果gr-g0在给定的范围内，且gt小于某个阈值，就说明这个阴影矩形可信，否则排除；
将可信的阴影矩形扩张以包含整个车辆的图像，称为车辆位置并记录。
如果将上一步所得到的范围作为结果图像保存，得到的图像有许多都是连续和重复的。可以通过结合前若干帧的历史矩形区域数据进行排除，排除重复阴影区域的详细步骤为：
定义两个矩形r1,r2的重合度
Figure BDA0001328335800000081
并定义ru为一个恰好包含r1,r2的最小矩形；
移除当前帧得出的车辆位置中所有q大于指定阈值的成对矩形，用它们的ru进行替换，迭代计算直到没有q能满足指定阈值，这时得到矩形集合Rc并添加到历史数据中。收集前若干帧的数据，也进行同样的操作，得到矩形集合Rh；
合并Rc和Rh，并从中移除所有q大于指定阈值的成对矩形，得集合RT；
合并RT和Rc，并计算其中所有q大于指定阈值的成对矩形的ru，整合得结果集合Rf。对每个Rf中的矩形区域，从原图中截取图像并保存，就得到了可能有违章行为的车辆图像。
阴影检测结果如图6。
抓拍到的车辆图片如图7，在完成截图的保存后，可以将得到的图片上传并作人工识别，确定车辆是否确实存在违章压线行为，并记录车牌号等信息。

Claims (3)

1.一种基于移动机器视觉的车辆违章压线识别方法，其特征在于，包括：
(1)进行车道线提取前的图像强化；
(2)结合透视原理进行调整；具体包括：
(2.1)在图像下部规定一条检测线，并对这条线进行游程长度编码；
(2.2)给定高、低两个阈值，即车道线起始点宽度限制阈值，筛出所有长度在低阈值与高阈值之间的游程，并求出游程的中点，作为可能的车道线起始点；
(2.3)在图像大约中心位置规定一个检测圆，并假设车道线灭点包含在这个圆内；
(3)通过Hough变换识别视频中的道路标线；具体包括：
(3.1)从所有可能的车道线起始点开始，对检测圆做两条切线，并在这两条切线的夹角中按设定的角度步长并从起始点向检测圆方向进行搜索；对每个角度，都找出最长的连续白色像素线段，并排除这些线段中短于或长于指定阈值的线段；能够搜索出线段的车道线起始点，称为激活的车道线起始点；
(3.2)对上一步得到的线段求角度平均值，就得出从每个起始点开始的可能车道线角度，并由此角度得出对应的线段；
(3.3)对这些线段两两之间求出在检测圆内的交点，然后求出这些交点的平均点并加入历史平均点列表中；
(3.4)对历史平均点列表按照给定的距离和次数计算各点的邻域点密度，同时排除偏离度大的点；对这些点，使用它们的邻域点密度作为权值求平均点，就得出此帧的车道线灭点位置；此灭点与各个激活的车道线起始点的连线就是车道线初步定位的结果；
(4)进行阴影提取前的图像强化；
(5)搜索可能为车辆底部阴影的矩形阴影区域，对搜索到的矩形阴影区域进行过滤；具体包括：
统计原图中可能的阴影区域内平均灰度值g0、阴影区域向下偏移设定距离的区域内平均灰度值gr、强化后图像中向下偏移设定距离的区域内平均灰度值gt；
如果gr-g0在给定的范围内，且gt小于设定阈值，就说明这个阴影矩形可信，否则排除；
将可信的阴影矩形扩张以包含整个车辆的图像，称为车辆位置并记录；
(6)排除重复阴影区域；具体包括：
定义两个矩形r1,r2的重合度
Figure FDA0002798367250000021
并定义ru为一个恰好包含r1,r2的最小矩形；其中，intersect(r1,r2)即求r1,r2两个矩形的相交区域，area(r1)为矩形r1的面积，area(r2)为矩形r2的面积，min(a1,a2)即取a1,a2两个数值中较小的值；
移除当前帧得出的车辆位置中所有q大于指定阈值的成对矩形，用它们的ru进行替换，迭代计算直到没有q能满足指定阈值，这时得到矩形集合Rc并添加到历史数据中；收集前若干帧的数据，也进行同样的操作，得到矩形集合Rh；
合并Rc和Rh，并从中移除所有q大于指定阈值的成对矩形，得集合RT；
合并RT和Rc，并计算其中所有q大于指定阈值的成对矩形的ru，整合得结果集合Rf；
(7)根据道路标线位置和车辆底部阴影位置，判断车辆是否存在违章压线行为，若是，截取图片，否则不截取图片。
2.根据权利要求1所述的基于移动机器视觉的车辆违章压线识别方法，其特征在于，步骤(1)具体步骤如下：
(1.1)提高图像对比度，使车道线与路面的颜色差异更大；
(1.2)通过3×3中值滤波，减少图像噪声，保留边缘；
(1.3)通过形态学检测边缘，体现边缘两侧的对比度；
(1.4)通过二值化，提取出图像中的边缘以便后续计算；
(1.5)通过逐帧与，与前若干帧进行与计算，消除二值化后图像中的随机噪声；
(1.6)通过先膨胀再腐蚀的闭运算，消除图像内的孔洞，使断开的车道线边缘闭合。
3.根据权利要求1所述的一种基于移动机器视觉的车辆违章压线识别方法，其特征在于，步骤(4)具体包括：
(4.1)通过色阶调整，提高图像对比度，使路面与车辆阴影的颜色差异更大；
(4.2)通过3×3中值滤波，减少图像噪声；
(4.3)检测线中段的灰度平均值，乘以一个经验系数作为阈值进行二值化，分离车辆阴影与路面；
(4.4)通过闭运算，即先膨胀再腐蚀，消除阴影内的孔洞。
CN201710480082.8A 2017-06-21 2017-06-21 一种基于移动机器视觉的车辆违章压线识别方法 Active CN107358170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710480082.8A CN107358170B (zh) 2017-06-21 2017-06-21 一种基于移动机器视觉的车辆违章压线识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710480082.8A CN107358170B (zh) 2017-06-21 2017-06-21 一种基于移动机器视觉的车辆违章压线识别方法

Publications (2)

Publication Number Publication Date
CN107358170A CN107358170A (zh) 2017-11-17
CN107358170B true CN107358170B (zh) 2021-01-19

Family

ID=60273924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710480082.8A Active CN107358170B (zh) 2017-06-21 2017-06-21 一种基于移动机器视觉的车辆违章压线识别方法

Country Status (1)

Country Link
CN (1) CN107358170B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949578B (zh) * 2018-12-31 2020-11-24 上海眼控科技股份有限公司 一种基于深度学习的车辆压线违法自动审核方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005524135A (ja) * 2002-04-23 2005-08-11 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両における横ガイド支援方法及びその装置
CN101870293A (zh) * 2009-04-24 2010-10-27 南京理工大学 基于切道行为检测的车辆驾驶状态评价方法
CN204895461U (zh) * 2015-08-28 2015-12-23 南京创来科技有限公司 一种车道偏离预警***
CN106412508A (zh) * 2016-09-30 2017-02-15 北京中星微电子有限公司 车辆违章压线智能监控方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005524135A (ja) * 2002-04-23 2005-08-11 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両における横ガイド支援方法及びその装置
CN101870293A (zh) * 2009-04-24 2010-10-27 南京理工大学 基于切道行为检测的车辆驾驶状态评价方法
CN204895461U (zh) * 2015-08-28 2015-12-23 南京创来科技有限公司 一种车道偏离预警***
CN106412508A (zh) * 2016-09-30 2017-02-15 北京中星微电子有限公司 车辆违章压线智能监控方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An illegal lane change monitoring system;Tao Gao et al.;《International Conference on Algorithms and Architectures for Parallel Processing 2009》;20110504;第32卷(第7期);897-904页 *
基于车底阴影的智能车前方车辆检测算法;王继贞 等;《汽车电器》;20160330(第2期);59-62页 *
车辆压线检测方法;王建华等;《电子科技》;20130215;第26卷(第2期);71-73页 *

Also Published As

Publication number Publication date
CN107358170A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN111382704B (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN110660222B (zh) 一种智能环保道路黑烟车辆电子抓拍***
TWI409718B (zh) 移動中車輛之車牌定位方法
CN106600977B (zh) 基于多特征识别的违停检测方法及***
CN100545867C (zh) 航拍交通视频车辆快速检测方法
CN107169401B (zh) 基于轨道视觉特征谱的轨道入侵物检测方法
Kumar et al. An efficient approach for detection and speed estimation of moving vehicles
CN110298300B (zh) 一种检测车辆违章压线的方法
Saha et al. License Plate localization from vehicle images: An edge based multi-stage approach
KR101565978B1 (ko) 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법
CN111950394B (zh) 一种车辆变道的预测方法、装置及计算机存储介质
CN110659539A (zh) 一种信息处理方法及其装置
Bedruz et al. Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach
CN113593250A (zh) 一种基于视觉识别的违章停车检测***
KR101756848B1 (ko) 불법 주정차 관리 시스템
CN104376332A (zh) 车牌识别方法及装置
CN111027535A (zh) 一种车牌识别方法及相关设备
Kurniawan et al. Speed monitoring for multiple vehicle using closed circuit television (CCTV) camera
CN116824516B (zh) 一种涉路施工安全监测及管理***
CN105046948A (zh) 一种黄色网格线区域内交通违章停车监测***和方法
Kumar et al. Traffic surveillance and speed limit violation detection system
CN107358170B (zh) 一种基于移动机器视觉的车辆违章压线识别方法
CN113221760A (zh) 一种高速公路摩托车检测方法
CN117058912A (zh) 巡检车检测异常停车方法、装置、存储介质及电子设备
CN111862023A (zh) 一种基于计算机视觉的受电弓结构异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant