CN112329724A - 机动车变道实时检测与抓拍方法 - Google Patents

机动车变道实时检测与抓拍方法 Download PDF

Info

Publication number
CN112329724A
CN112329724A CN202011353164.4A CN202011353164A CN112329724A CN 112329724 A CN112329724 A CN 112329724A CN 202011353164 A CN202011353164 A CN 202011353164A CN 112329724 A CN112329724 A CN 112329724A
Authority
CN
China
Prior art keywords
image
lane
vehicle
target
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011353164.4A
Other languages
English (en)
Other versions
CN112329724B (zh
Inventor
周欣
蒋欣荣
王若君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202011353164.4A priority Critical patent/CN112329724B/zh
Publication of CN112329724A publication Critical patent/CN112329724A/zh
Application granted granted Critical
Publication of CN112329724B publication Critical patent/CN112329724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了机动车变道实时检测与抓拍方法，包括以下步骤：S1：手动标定道路场景，获取需要的参数；S2：使用HAAR水平边缘检测器对边缘帧差图像按步长遍历，获取分布有大量水平边缘的区域，以区域中心的直线段代表该区域；S3：根据标定的车道宽度，在设置的区域内合并S2中获取的直线段，得到一条表示运动目标底部位置的直线；解决了识别和跟踪算法设计复杂并且相互关联，检测率不高，检测距离短，对处理设备要求较高而实时性和鲁棒性不足的问题。

Description

机动车变道实时检测与抓拍方法
技术领域
本发明涉及领域，特别是涉及机动车变道实时检测与抓拍方法。
背景技术
车辆应当按照交通信号通行。机动车在具有禁止变换车道的道路交通标线道路上变换车道是一种违法行为，是引起交通事故的重要因素。根据GA/T832—2014即道路交通安全违法行为图像取证技术规范要求，对机动车违反警告标线指示的，需要记录违法行为特征。要成为机动车变道违法行为的证据，该证据至少包括三张图片，如图1图2图3所示，一张是机动车变道前的图片，一张是该机动车压上禁止变换车道标志线的图片，一张是该机动车变道后的图片。并且图片中包含清晰辨认的机动车全景特征。如果能够利用公路监控摄像机，实现自动、实时、准确、长距离的机动车变道检测与抓拍，那么对规范机动车驾驶员行为，减少事故发生和提高交通管理具有重要意义。
目前在机动车变道检测与抓拍方面具有代表性的公开文献包括：一种基于计算机视觉的车辆违章压线检测CN201910309083.5，一种位于交通路口的跨实线并道车辆识别方法CN201510575636.3，基于视频技术的车辆检测与跟踪方法CN 200810024699，一种基于视频检测技术的车辆违法变道检测方法CN201210226419.X，越、压黄线的车辆检测跟踪和车辆信息抓拍装置及其方法CN201010106469.5，一种基于车道线标定车辆违章变道的实时检测方法及***CN201711026761.4。
这些资料所论述的主要技术路线基本相同，首先是在图像中检测并识别车辆目标；其次跟踪车辆目标获取运动轨迹；最后通过轨迹分析来判别是否具有变道行为。不同的专利在各个环节的具体技术实现上有所区别。在检测与识别方面，采用背景分割、运动分析、特征识别、神经网络等技术。在目标跟踪方面，采用特征点匹配、光流法、卡尔曼滤波等技术。在轨迹分析方面，采用坐标位置分析或者方向角度分析等技术。
这些技术的综合使用都可以在一定程度上对机动车变道行为进行检测，但是仍然存在一些问题和缺陷。这里，先分析机动车变道检测技术的实际使用环境，再来讨论现有技术所存在的不足。第一，在禁止变道的路段，违法变道的机动车数量远远小于通过该路段车辆总数，即大量车辆是按规定行驶的。第二，检测路段车辆具有由远及近和由近及远两个运动方向。第三，变道的行为可能发生在摄像机能检测的200米范围内的任意一个位置。第四，交通监控摄像机向高分辨率发展，监控区域越来越大。处理器向小型化嵌入式发展，所要完成的功能越来越多如车牌识别、驾驶员行为分析、车辆细节特征识别等。第五，需要三张图片记录机动车变道的完整行为，具有清晰的机动车全景特征，才能作为违法证据。
综合考虑实际应用环境，可以发现现有技术的不足主要体现在以下几个方面。第一，没有考虑机动车变道违法仅仅是极少数车辆的行为，而对所有车辆都进行了检测与识别，占用了计算机资源，不利于现有设备的使用，也不利于车流量较大时的实时检测。第二，如果车辆由远及近行驶，远处车辆较小不易识别，没有识别出的车辆就无法进行跟踪和轨迹计算。那么车辆在较远处的变道行为就会漏检。这样会缩短变道行为的有效检测距离。第三，基本都没有给出能反映变道行为的三张图片的准确抓拍时间。第四，采用的深度学习识别方法或者特征匹配、光流法等跟踪方法都较为复杂，算法设计难度高，对处理设备的要求也较高，但是实时性和鲁棒性却不高。
发明内容
为解决现有技术中存在的问题，本发明提供了机动车变道实时检测与抓拍方法，解决了识别和跟踪算法设计复杂并且相互关联，检测率不高，检测距离短，对处理设备要求较高而实时性和鲁棒性不足的问题。
本发明采用的技术方案是，机动车变道实时检测与抓拍方法，包括以下步骤：
S1：手动标定道路场景，获取需要的参数；
S2：使用HAAR水平边缘检测器对边缘帧差图像按步长遍历，获取分布有大量水平边缘的区域，以区域中心的直线段代表该区域；
S3：根据标定的车道宽度，在设置的区域内合并S2中获取的直线段，得到一条表示运动目标底部位置的直线；
S4：在视频图像序列上记录一个运动目标底部位置的直线段Dkj的位置变化，对跨越了车道线的目标从缓存图像序列中提取三张图像作为变道运动目标记录；
S5：对于变道运动目标图像记录，在处理设备空闲时，调用训练好的车辆识别器对近景图像中的目标区域进行识别；
S6：若该近景图像中的目标被判别为车辆，则变道运动目标图像记录作为车辆违法变道记录输出到对应的违法数据库；若近景图像中的目标被判别为非车辆，则删除该变道目标图像记录。
优选地，S1包括以下子步骤：
S11：获取道路场景图像一张，图像的左下角记为原点坐标，水平为X轴，垂直为Y轴，坐标轴均以像素为单位，图像的宽度为m，高度为n；
S12：在图像上按像素坐标标注出各个车道的分道线位置，并且标注出不允许变道的分道线；
S13：在图像上确定检测区域，标记检测区域的最远点和最近点，最远点的图像Y轴坐标记为y1，最近点的图像Y轴坐标记为y2；
S14：计算每一个大于y2小于y1的j的位置上的车道宽度Wj，Wj＝W1+(W2-W1)×(y1-j)/(y1-y2)。
优选地，S2包括以下子步骤：
S21：以(1,0，-1)T算子计算每一帧原始图像S所有像素点的水平边缘强度；计算相邻两帧图像所有像素点水平边缘强度差的绝对值，作为边缘帧差图像P；
S22：计算边缘帧差图像P的积分图I；
S23：按图像Y轴坐标构造一簇HAAR检测器，每一个大于y2小于y1的j的位置，HAAR检测器的边长为Rj＝(Wj/5)×2，白色矩形区域高为Rj/2，黑色矩形区域高为Rj/2；
S24：检测区域内，X方向和Y方向均按步长8遍历边缘帧差图像P，在积分图I的基础上计算边缘帧差图像P在像素点(i，j)的HAAR特征Tij；
其中，Tij＝白色矩形区域像素值之和-黑色矩形区域像素值之和；
S25：若Tij>8×Rj×Rj，以(i，j)为中心，长度为Rj的直线段Lij标记该区域为显著水平边缘区域。
优选地，S3包括以下子步骤：
S31：在原始图像S上标记所有S2获取的直线段Lij；
S32：以每一个直线段Lij的中心点(i，j)为底边中心，确定一个Wj×Wj的正方形区域，合并所有中心点位于该区域内的直线段得到直线段Dkj；
S33：直线段Dkj的左右端点Y轴坐标为j，直线段Dkj的左端点X轴坐标由Wj×(Wj/4)长方形区域内所有被合并的直线段的X轴的最小值确定；直线段Dkj的右端点X轴坐标由Wj×(Wj/4)长方形区域内所有被合并的直线段的X轴的最大值确定，直线段Dkj代表所检测的运动目标。
优选地，S4包括以下子步骤：
S41：视频图像序列中，按Y轴方向距离最近原则标记每一帧图像上的直线段Dkj为同一个运动目标；
S42：根据Dkj的位置变化和标记的不允许变道的分道线确定变道的运动目标，并记录三个时刻；
第一时刻是目标变道前整***于原车道的的时刻t1：对于由近及远的运动目标，t1是其通过检测区域最近点的时刻；第二时刻，是目标骑压分道线的时刻t2；第三时刻是目标变道后整***于另一车道的时刻t3，对于由远及近的运动目标，t3是其通过检测区域最近点的时刻；
S43：根据t1，t2，t3，从缓存图像序列中保存变道运动目标变道前图像、骑压车道线图像、变道后图像，形成完整的变道目标图像记录，对于由远及近的运动目标，变道后图像为近景图片；对于由近及远的运动目标，变道前图像为近景图像。
优选地，S5包括以下子步骤：
S51：离线完成车辆识别器的训练，获得车辆识别器，采集82×82像素的车辆图像2000张作为训练正样本；
S52：采集82×82像素的非车辆图像3000张作为训练负样本；
S53：采用HOG算法提取每幅样本图像的2916个特征，以LIBSVM工具箱中的SVM为基础训练并获得车辆识别器；
S54：HOG算法配置参数如下：边缘检测器为(1,0，-1)与(1,0，-1)T，cells＝8×8，blocks＝16×16；SVM配置训练参数如下：选择线性核函数；设置惩罚参数C＝0.1。
优选地，S53中HOG算法包括以下子步骤：
S531：选择边缘检测器计算每个像素的垂直边缘Y，水平边缘X；计算边缘强度e＝sqrt(X2+Y2)；计算每个像素的边缘方向A＝arccot(X/Y)，
其中，T：矩阵转置；sqrt：开方函数；arccot：反余切函数；
S532：对n×n像素的图像按cells×cells像素进行分块；同时对n×n像素的图像以步长cells，按大小blocks×blocks像素标记为单元，一般每个单元以4个分块组成，即blocks＝2×cells；
S533：以每一个单元为独立单位，计算像素的边缘强度之和S；对单元内的每一个像素的边缘强度进行归一化计算，得到像素的归一化边缘强度E＝e/S；
S534：一个单元内，按分块进行边缘特征统计；
S535：根据S534，每一个单元得到36个(9×4)特征，图像一共得到(n/cells-1)×(n/cells-1)×36个特征，把这些特征记为该图像的特征向量，也即是样本的特征向量。
优选地，S534包括以下子步骤：
S5341：把0-180度平均分为9个方向；
S5342：根据各像素边缘方向A，把属于同一方向的所有像素的归一化边缘强度相加，得到该方向的累计归一化边缘强度；
S5343：把这9个统计量作为该分块的特征，根据S5342，一个单元有4组分块特征。
优选地，S6包括以下子步骤：
S61：在近景图像的目标位置，切分Wj×Wj像素的区域作为车辆识别图像V0，按1.1的比例，采用双线性插值算法把V0逐步缩小到82×82，获得一组图像V0,V1,V2,…Vk；
S62：对S61获得的一组图像V0,V1,V2,…Vk，采用训练好的车辆识别器判别目标是否为车辆，若该目标被判别为车辆，则变道目标图像记录作为车辆违法变道记录输出到对应的违法数据库；若该目标被判别为非车辆，则删除该变道目标记录。
本发明机动车变道实时检测与抓拍方法的有益效果如下：
1.本发明充分考虑机动车变道行为特征和机动车特征，提出了检测抓拍运动目标与车辆识别相分离的处理技术。由于不需要像现有技术一样先进行识别再跟踪轨迹，所以不用对所有视频图像进行车辆识别处理。对变道运动目标记录，可以在设备空闲时调用车辆识别模块，不用实时处理。这一处理思想和流程的改变，使本发明技术实现了机动车变道实时检测与抓拍，并且大大降低了对处理设备的性能要求。
2.本发明设计了一组正方形、变尺度的HAAR水平边缘特征检测器，并结合积分图技术使用。如果运动目标的下底区域较均匀地分布有大量水平边缘，则可以快速准确地被检测出来。这种检测器计算简单，鲁棒性高，特征表达能力强，对于车辆类目标具有优异的检测效果。所以可以完成各种尺度的目标的检测，实现大范围、长距离的车辆检测。
3.本发明把下底区域整理简化为一条直线段，即每个目标最后均以其底部的一条直线段来表示，而不是传统技术中用矩形框来表示。忽略了目标的高度信息，能更准确地反映目标在道路中的实际位置。目标变道前时刻、骑压车道线时刻、变道后时刻标记更准确。以直线段来表示目标，以最近距离来标记同一个目标，更容易实现实时的目标跟踪。
4.本发明使用HOG特征和线性SVM构造车辆识别器，是一种结构简单、样本选取方便、容易训练、精度高、计算速度快的分类器设计技术。大大降低了对处理设备的性能要求，能够嵌入目前的交通设备中使用。
附图说明
图1为本发明机动车变道违法行为的证据一。
图2为本发明机动车变道违法行为的证据二。
图3为本发明机动车变道违法行为的证据三。
图4为本发明HAAR水平边缘特征检测器。
图5为本发明采集82×82像素的车辆图像2000张作为训练正样本图。
图6为本发明采集82×82像素的非车辆图像3000张作为训练负样本图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
本发明提供的机动车变道实时检测与抓拍技术包括下列步骤。
步骤A-步骤B-步骤C-步骤D-步骤E
步骤A中：手动标定道路场景，获取后续处理步骤中需要的参数。
步骤A中还包括下述步骤：
步骤A1：获取道路场景图像一张，图像的左下角记为原点坐标，水平为X轴，垂直为Y轴，坐标轴均以像素为单位。图像的宽度为m，高度为n。以下的步骤均按此坐标轴和单位进行计算，计算结果均向下取整。
步骤A2：在图像上按像素坐标标注出各个车道的分道线位置，并且标注出不允许变道的分道线。
步骤A3：在图像上确定检测区域。标记检测区域的最远点和最近点。最远点的图像Y轴坐标记为y1，最近点的图像Y轴坐标记为y2。确定最远点的车道宽度，记为W1，最近点的车道宽度，记为W2。检测区域的宽度设置为图像的宽度。
步骤A4：计算每一个大于y2小于y1的j的位置上的车道宽度Wj，Wj＝W1+(W2-W1)×(y1-j)/(y1-y2)。
步骤B中：使用HAAR水平边缘检测器对边缘帧差图像按步长遍历，获取分布有大量水平边缘的区域；以区域中心的直线段代表该区域。
步骤B中还包括下述步骤：
步骤B1-步骤B2-步骤B3-步骤B4-步骤B5。
步骤B1：以(1,0，-1)T算子计算每一帧原始图像S所有像素点的水平边缘强度；计算相邻两帧图像所有像素点水平边缘强度差的绝对值，作为边缘帧差图像P。
步骤B2：计算边缘帧差图像P的积分图I。
步骤B3：按图像Y轴坐标构造一簇HAAR检测器，如图4所示。每一个大于y2小于y1的j的位置，HAAR检测器的边长为Rj＝(Wj/5)×2，白色矩形区域高为Rj/2，黑色矩形区域高为Rj/2。
步骤B4：检测区域内，X方向和Y方向均按步长8遍历边缘帧差图像P。在积分图I的基础上计算边缘帧差图像P在像素点(i，j)的HAAR特征Tij。Tij＝(白色矩形区域像素值之和)-(黑色矩形区域像素值之和)。
步骤B5：如果Tij>8×Rj×Rj，以(i，j)为中心，长度为Rj的直线段Lij标记该区域为显著水平边缘区域。
步骤C中：根据标定的车道宽度，在设置的区域内合并步骤B中获取的直线段，得到一条表示运动目标底部位置的直线。
步骤C中还包括下述步骤：
步骤C1-步骤C2-步骤C3。
步骤C1：在原始图像S上标记所有步骤B获取的直线段Lij。
步骤C2：以每一个直线段Lij的中心点(i，j)为底边中心，确定一个Wj×Wj的正方形区域，合并所有中心点位于该区域内的直线段得到直线段Dkj。
步骤C3：直线段Dkj的左右端点Y轴坐标为j；直线段Dkj的左端点X轴坐标由Wj×(Wj/4)长方形区域内所有被合并的直线段的X轴的最小值确定；直线段Dkj的右端点X轴坐标由Wj×(Wj/4)长方形区域内所有被合并的直线段的X轴的最大值确定。直线段Dkj代表所检测的运动目标。
步骤D中：在视频图像序列上记录同一个运动目标的直线段Dkj的位置变化，对跨越了车道线的目标从缓存图像序列中提取三张图像作为变道运动目标记录。
步骤D中还包括下述步骤：
步骤D1-步骤D2-步骤D3。
步骤D1：视频图像序列中，按Y轴方向距离最近原则标记每一帧图像上的直线段Dkj为同一个运动目标。
步骤D2：根据Dkj的位置变化和标记的不允许变道的分道线确定变道的运动目标，并记录三个时刻。其一是目标变道前整***于原车道的的时刻t1对于由近及远的运动目标，t1是其通过检测区域最近点的时刻，其二是目标骑压分道线的时刻t2，其三是目标变道后整***于另一车道的时刻t3，对于由远及近的运动目标，t3是其通过检测区域最近点的时刻。
步骤D3：根据t1，t2，t3，从缓存图像序列中保存变道运动目标变道前图像、骑压车道线图像、变道后图像，形成完整的变道目标图像记录。对于由远及近的运动目标，变道后图像为近景图片；对于由近及远的运动目标，变道前图像为近景图像。
步骤E中：对于变道目标图像记录，在处理设备空闲时，调用训练好的车辆识别器对近景图像中的目标区域进行识别。如果该目标被判别为车辆，变道目标图像记录作为车辆违法变道记录输出到对应的违法数据库；如果该目标被判别为非车辆，删除该变道目标记录。
步骤E中还包括下述步骤：
步骤E1-步骤E2-步骤E3。
步骤E1：离线完成车辆识别器的训练，获得车辆识别器。采集82×82像素的车辆。
图像2000张作为训练正样本如图5所示；采集82×82像素的非车辆图像3000张作为训练负样本如图6所示。采用HOG算法提取每幅样本图像的2916个特征，以LIBSVM工具箱中的SVM为基础训练并获得车辆识别器。HOG算法配置参数如下：边缘检测器为(1,0，-1)与(1,0，-1)T，cells＝8×8，blocks＝16×16；SVM配置训练参数如下：选择线性核函数；设置惩罚参数C＝0.1。
步骤E2：在近景图像的目标位置，切分Wj×Wj像素的区域作为车辆识别图像V0。按1.1的比例，采用双线性插值算法把V0逐步缩小到82×82，获得一组图像V0,V1,V2,…Vk。
步骤E3：对步骤2获得的一组图像V0,V1,V2,…Vk，采用训练好的车辆识别器判别目标是否为车辆。如果该目标被判别为车辆，变道目标图像记录作为车辆违法变道记录输出到对应的违法数据库；如果该目标被判别为非车辆，删除该变道目标记录。
本发明把检测与抓拍作为一个处理模块，把车辆识别单独作为一个处理模块，实现了识别与抓拍分离。对于检测与抓拍模块采用简单快速的图像处理技术保证整个算法的实时性和鲁棒性要求。对于车辆识别模块采用线性SVM分类器，保证较高的识别正确率并降低对处理设备的性能要求。
在检测与抓拍模块中，手动标定道路场景的基本参数。设计一组正方形、变尺度的HAAR水平边缘特征检测器如图4所示，这种HAAR特征能快速检测边缘帧差图像中运动目标的下底显著水平边缘区域。整理检测到的下底边缘区域，可以得到一条直线段来定位运动目标的底部，把这条直线段作为检测到的运动目标。不使用特征点匹配、光流计算或者卡尔曼滤波等跟踪算法，按距离最近原则在视频中标记运动目标。根据标定的车道线，判断标记的运动目标是否变道；如果运动目标变道，根据标记保存该运动目标变道前图片、骑压车道线图片、变道后图片，形成完整的变道目标记录。对于由远及近的运动目标，变道后图片为近景图片；对于由近及远的运动目标，变道前图片为近景图片。
在车辆识别模块中，对变道目标记录，在目标近景图像上使用线性SVM构造的车辆识别器识别运动目标是否为车辆，形成最后的违法输出。该处理模块在设备空闲时调用。目标近景图像车辆特征清晰，线性SVM分类器训练简单，识别正确率高。由于仅对极少数变道目标用线性SVM分类器作一次识别，对处理设备性能要求低，算法可以嵌入目前使用的交通设备。

Claims (9)

1.机动车变道实时检测与抓拍方法，其特征在于，包括以下步骤：
S1：手动标定道路场景，获取需要的参数；
S2：使用HAAR水平边缘检测器对边缘帧差图像按步长遍历，获取分布有大量水平边缘的区域，以区域中心的直线段代表该区域；
S3：根据标定的车道宽度，在设置的区域内合并S2中获取的直线段，得到一条表示运动目标底部位置的直线；
S4：在视频图像序列上记录一个运动目标底部位置的直线段Dkj的位置变化，对跨越了车道线的目标从缓存图像序列中提取三张图像作为变道运动目标记录；
S5：对于变道运动目标的图像记录，在处理设备空闲时，调用训练好的车辆识别器对近景图像中的目标区域进行识别；
S6：若该近景图像中的目标被判别为车辆，则变道运动目标的图像记录作为车辆违法变道记录输出到对应的违法数据库；若近景图像中的目标被判别为非车辆，则删除该变道目标图像记录。
2.根据权利要求1所述的机动车变道实时检测与抓拍方法，其特征在于，所述S1包括以下子步骤：
S11：获取道路场景图像一张，图像的左下角记为原点坐标，水平为X轴，垂直为Y轴，坐标轴均以像素为单位，图像的宽度为m，高度为n；
S12：在图像上按像素坐标标注出各个车道的分道线位置，并且标注出不允许变道的分道线；
S13：在图像上确定检测区域，标记检测区域的最远点和最近点，最远点的图像Y轴坐标记为y1，最近点的图像Y轴坐标记为y2；
S14：计算每一个大于y2小于y1的j的位置上的车道宽度Wj，其中，
Wj＝W1+(W2-W1)×(y1-j)/(y1-y2)
其中，W2表示最远点的车辆宽度，W1表示最近点的车辆宽度。
3.根据权利要求1所述的机动车变道实时检测与抓拍方法，其特征在于，所述S2包括以下子步骤：
S21：以(1,0，-1)T算子计算每一帧原始图像S所有像素点的水平边缘强度；计算相邻两帧图像所有像素点水平边缘强度差的绝对值，作为边缘帧差图像P；
S22：计算边缘帧差图像P的积分图I；
S23：按图像Y轴坐标构造一簇HAAR检测器，每一个大于y2小于y1的j的位置，HAAR检测器的边长为Rj＝(Wj/5)×2，白色矩形区域高为Rj/2，黑色矩形区域高为Rj/2；
S24：检测区域内，X方向和Y方向均按步长8遍历边缘帧差图像P，在积分图I的基础上计算边缘帧差图像P在像素点(i，j)的HAAR特征Tij；
其中，Tij＝白色矩形区域像素值之和-黑色矩形区域像素值之和；
S25：若Tij>8×Rj×Rj，以(i，j)为中心，长度为Rj的直线段Lij标记该区域为显著水平边缘区域。
4.根据权利要求1所述的机动车变道实时检测与抓拍方法，其特征在于，所述S3包括以下子步骤：
S31：在原始图像S上标记所有步骤S2获取的直线段Lij；
S32：以每一个直线段Lij的中心点(i，j)为底边中心，确定一个Wj×Wj的正方形区域，合并所有中心点位于该区域内的直线段得到直线段Dkj；
S33：直线段Dkj的左右端点Y轴坐标为j，直线段Dkj的左端点X轴坐标由Wj×(Wj/4)长方形区域内所有被合并的直线段的X轴的最小值确定；直线段Dkj的右端点X轴坐标由Wj×(Wj/4)长方形区域内所有被合并的直线段的X轴的最大值确定，直线段Dkj代表所检测的运动目标。
5.根据权利要求1所述的机动车变道实时检测与抓拍方法，其特征在于，所述S4包括以下子步骤：
S41：视频图像序列中，按Y轴方向距离最近原则标记每一帧图像上的直线段Dkj为同一个运动目标；
S42：根据Dkj的位置变化和标记的不允许变道的分道线确定变道的运动目标，并记录三个时刻；
第一时刻是目标变道前整***于原车道的的时刻t1：对于由近及远的运动目标，t1是其通过检测区域最近点的时刻；第二时刻，是目标骑压分道线的时刻t2；第三时刻是目标变道后整***于另一车道的时刻t3，对于由远及近的运动目标，t3是其通过检测区域最近点的时刻；
S43：根据t1，t2，t3，从缓存图像序列中保存变道运动目标变道前图像、骑压车道线图像、变道后图像，形成完整的变道目标图像记录，对于由远及近的运动目标，变道后图像为近景图片；对于由近及远的运动目标，变道前图像为近景图像。
6.根据权利要求1所述的机动车变道实时检测与抓拍方法，其特征在于，所述S5包括以下子步骤：
S51：离线完成车辆识别器的训练，获得车辆识别器，采集82×82像素的车辆图像2000张作为训练正样本；
S52：采集82×82像素的非车辆图像3000张作为训练负样本；
S53：采用HOG算法提取每幅样本图像的2916个特征，以LIBSVM工具箱中的SVM为基础训练并获得车辆识别器；
S54：HOG算法配置参数如下：边缘检测器为(1,0，-1)与(1,0，-1)T，cells＝8×8，blocks＝16×16；SVM配置训练参数如下：选择线性核函数；设置惩罚参数C＝0.1。
7.根据权利要求1所述的机动车变道实时检测与抓拍方法，其特征在于，所述S53中HOG算法包括以下子步骤：
S531：选择边缘检测器计算每个像素的垂直边缘Y，水平边缘X；计算边缘强度e＝sqrt(X2+Y2)；计算每个像素的边缘方向A＝arccot(X/Y)，
其中，T：矩阵转置；sqrt：开方函数；arccot：反余切函数；
S532：对n×n像素的图像按cells×cells像素进行分块；同时对n×n像素的图像以步长cells，按大小blocks×blocks像素标记为单元，一般每个单元以4个分块组成，即blocks＝2×cells；
S533：以每一个单元为独立单位，计算像素的边缘强度之和S；对单元内的每一个像素的边缘强度进行归一化计算，得到像素的归一化边缘强度E＝e/S；
S534：一个单元内，按分块进行边缘特征统计；
S535：根据S534，每一个单元得到36个(9×4)特征，图像一共得到(n/cells-1)×(n/cells-1)×36个特征，把这些特征记为该图像的特征向量，也即是样本的特征向量。
8.根据权利要求1所述的机动车变道实时检测与抓拍方法，其特征在于，所述S534包括以下子步骤：
S5341：把0-180度平均分为9个方向；
S5342：根据各像素边缘方向A，把属于同一方向的所有像素的归一化边缘强度相加，得到该方向的累计归一化边缘强度；
S5343：把这9个统计量作为该分块的特征，根据S5342，一个单元有4组分块特征。
9.根据权利要求1所述的机动车变道实时检测与抓拍方法，其特征在于，所述S6包括以下子步骤：
S61：在近景图像的目标位置，切分Wj×Wj像素的区域作为车辆识别图像V0，按1：1的比例，采用双线性插值算法把V0逐步缩小到82×82，获得一组图像V0,V1,V2,…Vk；
S62：对S61获得的一组图像V0,V1,V2,…Vk，采用训练好的车辆识别器判别目标是否为车辆，若该目标被判别为车辆，则变道目标图像记录作为车辆违法变道记录输出到对应的违法数据库；若该目标被判别为非车辆，则删除该变道目标记录。
CN202011353164.4A 2020-11-26 2020-11-26 机动车变道实时检测与抓拍方法 Active CN112329724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011353164.4A CN112329724B (zh) 2020-11-26 2020-11-26 机动车变道实时检测与抓拍方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011353164.4A CN112329724B (zh) 2020-11-26 2020-11-26 机动车变道实时检测与抓拍方法

Publications (2)

Publication Number Publication Date
CN112329724A true CN112329724A (zh) 2021-02-05
CN112329724B CN112329724B (zh) 2022-08-05

Family

ID=74309065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011353164.4A Active CN112329724B (zh) 2020-11-26 2020-11-26 机动车变道实时检测与抓拍方法

Country Status (1)

Country Link
CN (1) CN112329724B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061127A (ja) * 2018-10-12 2020-04-16 富士通株式会社 車線変更車両の検出装置、方法及びビデオ監視装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196980A (zh) * 2006-12-25 2008-06-11 四川川大智胜软件股份有限公司 基于视频的高速移动车辆标志精确识别方法
CN104537841A (zh) * 2014-12-23 2015-04-22 上海博康智能信息技术有限公司 无牌车辆违章检测方法及其检测***
CN106878674A (zh) * 2017-01-10 2017-06-20 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109145798A (zh) * 2018-08-13 2019-01-04 浙江零跑科技有限公司 一种驾驶场景目标识别与可行驶区域分割集成方法
CN109598729A (zh) * 2018-11-28 2019-04-09 江苏科技大学 一种基于srm分割和分层线段特征的船舶目标检测方法
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN110136447A (zh) * 2019-05-23 2019-08-16 杭州诚道科技股份有限公司 行车变道检测及违法变道识别的方法
CN110276971A (zh) * 2019-07-03 2019-09-24 广州小鹏汽车科技有限公司 一种车辆驾驶的辅助控制方法、***及车辆
CN110415529A (zh) * 2019-09-04 2019-11-05 上海眼控科技股份有限公司 车辆违章的自动处理方法、装置、计算机设备和存储介质
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN111626165A (zh) * 2020-05-15 2020-09-04 安徽江淮汽车集团股份有限公司 行人识别方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196980A (zh) * 2006-12-25 2008-06-11 四川川大智胜软件股份有限公司 基于视频的高速移动车辆标志精确识别方法
CN104537841A (zh) * 2014-12-23 2015-04-22 上海博康智能信息技术有限公司 无牌车辆违章检测方法及其检测***
CN106878674A (zh) * 2017-01-10 2017-06-20 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
WO2020000251A1 (zh) * 2018-06-27 2020-01-02 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN109145798A (zh) * 2018-08-13 2019-01-04 浙江零跑科技有限公司 一种驾驶场景目标识别与可行驶区域分割集成方法
CN109598729A (zh) * 2018-11-28 2019-04-09 江苏科技大学 一种基于srm分割和分层线段特征的船舶目标检测方法
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN110136447A (zh) * 2019-05-23 2019-08-16 杭州诚道科技股份有限公司 行车变道检测及违法变道识别的方法
CN110276971A (zh) * 2019-07-03 2019-09-24 广州小鹏汽车科技有限公司 一种车辆驾驶的辅助控制方法、***及车辆
CN110415529A (zh) * 2019-09-04 2019-11-05 上海眼控科技股份有限公司 车辆违章的自动处理方法、装置、计算机设备和存储介质
CN111626165A (zh) * 2020-05-15 2020-09-04 安徽江淮汽车集团股份有限公司 行人识别方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANWOOL WOO ET AL.: "Lane-Change Detection Based on Vehicle-Trajectory Prediction", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
杨映波等: "基于卷积神经网络预处理的Hog特征车辆检测算法", 《现代计算机》 *
盖杉等: "一种基于小波分解的纸币污损检测算法", 《哈尔滨工业大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061127A (ja) * 2018-10-12 2020-04-16 富士通株式会社 車線変更車両の検出装置、方法及びビデオ監視装置
JP7251409B2 (ja) 2018-10-12 2023-04-04 富士通株式会社 車線変更車両の検出装置、方法及びビデオ監視装置

Also Published As

Publication number Publication date
CN112329724B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN106652468B (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
EP1796043B1 (en) Object detection
Chen et al. Conflict analytics through the vehicle safety space in mixed traffic flows using UAV image sequences
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN110298300B (zh) 一种检测车辆违章压线的方法
KR102001002B1 (ko) 딥러닝 기반 번호 인식 시스템
Atkočiūnas et al. Image processing in road traffic analysis
CN110689724B (zh) 一种基于深度学习的机动车斑马线礼让行人自动审核方法
WO2015089867A1 (zh) 一种交通违章检测方法
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
KR20120072020A (ko) 자율주행 시스템의 주행정보 인식 방법 및 장치
CN104616502A (zh) 基于组合式车路视频网络的车牌识别与定位***
CN111898491B (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN106650730A (zh) 汽车变道过程中的转向灯检测方法和***
CN116434159A (zh) 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN109791607A (zh) 借助单应矩阵从摄像机的一系列图像中探测和验证对象
CN107918775B (zh) 一种辅助车辆安全驾驶的斑马线检测方法及***
CN112329724B (zh) 机动车变道实时检测与抓拍方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant