CN111382704A - 基于深度学习的车辆压线违章判断方法、装置及存储介质 - Google Patents

基于深度学习的车辆压线违章判断方法、装置及存储介质 Download PDF

Info

Publication number
CN111382704A
CN111382704A CN202010163795.3A CN202010163795A CN111382704A CN 111382704 A CN111382704 A CN 111382704A CN 202010163795 A CN202010163795 A CN 202010163795A CN 111382704 A CN111382704 A CN 111382704A
Authority
CN
China
Prior art keywords
vehicle
line
target vehicle
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010163795.3A
Other languages
English (en)
Other versions
CN111382704B (zh
Inventor
王琳
李凡平
石柱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yisa Technology Co ltd
Qingdao Yisa Data Technology Co Ltd
Original Assignee
Beijing Yisa Technology Co ltd
Qingdao Yisa Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yisa Technology Co ltd, Qingdao Yisa Data Technology Co Ltd filed Critical Beijing Yisa Technology Co ltd
Priority to CN202010163795.3A priority Critical patent/CN111382704B/zh
Publication of CN111382704A publication Critical patent/CN111382704A/zh
Application granted granted Critical
Publication of CN111382704B publication Critical patent/CN111382704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于深度学习的车辆压线违章判断方法、装置及存储介质，方法包括：获取交通摄像头所拍摄的视频数据；采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域；采用基于深度学习的目标检测和目标跟踪方法检测所述视频数据中的目标车辆及所述目标车辆的车辆边框；根据所述车辆边框确定目标车辆的车辆位置，并根据所述车辆位置对所述目标车辆进行跟踪；跟踪过程中，根据所述车道线区域和车辆边框判断所述目标车辆是否压线；若所述目标车辆压线，则对所述目标车辆进行车牌识别。本方法可自动判定车辆违章压线行为，满足了在交通审核中的高效和高准确率的要求。

Description

基于深度学习的车辆压线违章判断方法、装置及存储介质
技术领域
本发明涉及交通违法的人工智能判断技术领域，具体涉及一种基于深度学习的车辆压线违章判断方法、装置及存储介质。
背景技术
随着社会经济的持续发展与人民生活水平的不断提高，随之车辆越来越多，交通管理局对于车辆违章的自动审核需要越来越迫切。传统的违章审核主要是通过人工识别等方法，该类方法成本较高，效率较低，且在一定程度上存在主观性，影响校验准确率。如何快速准确且高效的识别出交通违章行为，同时避免人工识别的高成本，低效率等弊端是急需解决的技术问题。
发明内容
针对现有技术中的技术缺陷，本发明实施例的目的在于提供一种基于深度学习的车辆压线违章判断方法、装置及存储介质，自动判定车辆违章压线行为，以满足在交通审核中的高效和高准确率的要求。
为实现上述目的，第一方面，本发明实施例提供了一种基于深度学习的车辆压线违章判断方法，包括：
获取交通摄像头所拍摄的视频数据；
采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域；
采用基于深度学习的目标检测和目标跟踪方法检测所述视频数据中的目标车辆及所述目标车辆的车辆边框；
根据所述车辆边框确定目标车辆的车辆位置，并根据所述车辆位置对所述目标车辆进行跟踪；
跟踪过程中，根据所述车道线区域和车辆边框判断所述目标车辆是否压线；
若所述目标车辆压线，则对所述目标车辆进行车牌识别。
作为本申请一种具体的实施方式，采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域，具体包括：
提取所述视频中的每一帧图像，并将其转为灰度图；
对所述灰度图进行高斯模糊处理和Canny边缘检测处理，以得到线条型图像；
提取所述线条型图像中的感兴趣区域，并对所述感兴趣区域使用霍夫变化技术以提取线条；
根据所提取的线条，使用最小二乘法拟合直线，划定所述车道线区域。
具体地，所述方法使用YOLO-v3检测出所述视频数据的每一帧图像中的目标车辆和车辆边框，根据所述车辆边框确定车辆位置，并使用Deep-SORT跟踪算法，对所检测到的目标车辆加以跟踪。
作为本申请一种具体的实施方式，根据所述车道线区域和车辆边框判断所述目标车辆是否压线，具体包括：
若所述车辆边框与车道线区域有重叠，且重叠度大于指定阈值，则确定所述目标车辆压线，并保存所述目标车辆的当前帧图像。
作为本申请一种具体的实施方式，对所述目标车辆进行车牌识别具体包括：
提取压线的目标车辆对应的车辆图片；
对所述车辆图片进行灰度化、高斯模糊、二值化和边缘检测处理，以得到待提取图片；
根据所述待提取图片进行车牌定位，以得到所述目标车辆的车牌区域；
采用汉字网络、字母网络和字母数字网络对所述车牌区域进行识别，并输出识别到的车牌。
其中，所述车牌区域包括水平区域和垂直区域，根据所述待提取图片进行车牌定位具体包括：
水平区域确定步骤：对所述待提取图片从底部开始向顶部扫描，获取的第一组连续行数且连续行数中每行的跳变次数均大于跳变阈值，同时满足连续行数大于阈值，以此确定所述水平区域；
垂直区域确定步骤：在所述水平区域内选择任意一行，用L长的窗口由左至右移动，统计窗口中相邻像素0,1的跳变次数并存入数组中，在数组中找到最大值，并将其对应的区域确当为所述垂直区域；其中，L为水平区域中最高行和最低行的差值。
第二方面，本发明实施例提供了一种基于深度学习的车辆压线违章判断装置，包括：
获取单元，用于获取交通摄像头所拍摄的视频数据；
检测单元，用于采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域；
所述检测单元还用于采用基于深度学习的目标检测和目标跟踪方法检测所述视频数据中的目标车辆及所述目标车辆的车辆边框；
确定跟踪单元，用于根据所述车辆边框确定目标车辆的车辆位置，并根据所述车辆位置对所述目标车辆进行跟踪；
判断单元，用于跟踪过程中，根据所述车道线区域和车辆边框判断所述目标车辆是否压线；
识别单元，用于若所述目标车辆压线，则对所述目标车辆进行车牌识别。
第三方面，本发明实施例提供了另一种基于深度学习的车辆压线违章判断装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机程序，其中，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
实施本发明实施例，获取视频数据，对其进行处理以得到目标车辆，对目标车辆进行跟踪，根据车道线区域和车辆边框判断目标车辆是否压线，若目标车辆压线，则对目标车辆进行车牌识别；即，本实施例可自动判定车辆违章压线行为，满足了在交通审核中的高效和高准确率的要求。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的基于深度学习的车辆压线违章判断方法的一种流程示意图；
图2是本发明实施例提供的基于深度学习的车辆压线违章判断方法的另一种流程示意图；
图3是车道线检测流程示意图；
图4是车牌识别流程示意图；
图5是字符识别流程示意图；
图6是本发明实施例提供的基于深度学习的车辆压线违章判断装置的一种结构示意图；
图7是本发明实施例提供的基于深度学习的车辆压线违章判断装置的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，本发明实施例提供的基于深度学习的车辆压线违章判断方法主要包括视频数据获取、车道线检测、车辆检测、是否压线及车牌识别几个过程。其中，车道线检测主要经过灰度化、高斯模糊、边缘检测、划定感兴趣区域、霍夫变换与直线拟合之后划定车道线区域。然后加上SORT跟踪，以适应在不同天气下检测车道线。
进一步地结合图1和图2，本发明实施例提供的基于深度学习的车辆压线违章判断方法具体包括：
S101，获取交通摄像头所拍摄的视频数据。
S102，采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域。
由于交通摄像头的角度通常是固定的，且拍摄的道路场景单一。在进行车道线检测时，其具体步骤如图3所示，包括：
(1)对于交通摄像头所拍摄到的视频数据，提取视频数据中的每一帧图像，并将其转换为灰度图；
(2)对于得到的灰度图使用高斯模糊来平滑边缘以减少噪声的影响；
(3)对于使用高斯模糊处理之后的图像再使用Canny边缘检测来识别出图像的边缘并剔除其他数据，得到线条型图像；
(4)对于得到的线条型图像，划定感兴趣区域，并丢弃这个区域之外的任何线；
(5)对于感兴趣区域，使用霍夫变换技术提取线条；
(6)对于提取到的线条，使用最小二乘法拟合直线，划定车道线区域；
(7)对于提取到的车道线区域，使用SORT跟踪算法，来跟踪车道线区域。
S103，采用基于深度学习的目标检测和目标跟踪方法检测所述视频数据中的目标车辆及所述目标车辆的车辆边框。
S104，根据所述车辆边框确定目标车辆的车辆位置，并根据所述车辆位置对所述目标车辆进行跟踪。
划定车道线区域之后，使用YOLO-v3检测出所述视频数据的每一帧图像中的目标车辆和车辆边框，根据所述车辆边框确定车辆位置，并使用Deep-SORT跟踪算法，对所检测到的目标车辆加以跟踪。
S105，跟踪过程中，根据所述车道线区域和车辆边框判断所述目标车辆是否压线。
对于每一个目标车辆，如果其边框线与车道线区域有重叠，且重叠度大于指定阈值，则认为车辆压线，保存一张图片。反之，重叠度不大于指定阈值，则认为车辆不压线。
S106，若所述目标车辆压线，则对所述目标车辆进行车牌识别。
如果车辆压线，则分割提取压线车辆图片,进行车牌识别，具体步骤如附图4所示。对于每个压线车辆，与车道线检测中的步骤类似，先进行灰度化，高斯模糊和二值化。经过适当的二值化处理之后的图像，车牌区域具有以下三个基本特征：
(1)列在一个不大的区域内密集包含有多个字符；
(2)列在一个不大的区域内密集包含有多个字符；
(3)列在一个不大的区域内密集包含有多个字符；
车牌区域所在行相邻像素之间0到1和1到0的的变化会很频繁。由于车牌一般悬挂在车辆下部，所以采用从上到下，从左到右的方式对图像进行扫描。车牌的字符部分由7个字符数与两个竖直边框组成，则车牌区域内任一行的跳变次数至少为(7+2)*2＝18次。从图像的底部开始向顶部进行扫描，则第一组连续数行且每行的跳变次数都大于跳变阈值，同时满足连续行数大于某个阈值，来确定出车牌的水平区域。
在车牌的水平区域中，最高行与最低行的差值即为车牌在图像中的高度H。我国车牌区域为矩形，宽高比约为3.14，取3.14*H作为车牌的宽度。在水平区域内选择任意一行，用L长的窗口由左至右移动，统计窗口中相邻像素0,1的跳变次数并存入数组中。若窗口移动到车牌的垂直区域时，窗口内的跳变次数应该最大。因此在数组中找到最大值，其对应的区域即为车牌的垂直区域。
完成车牌定位之后，对所得到的车牌进行字符分割。根据我国的车牌牌照标准，车牌第一位字符一般为汉字，车牌第二位英文大写字母，第三位至第七位为英文大写字母或数字。所以我们分别设计三个小型神经网络：汉字网络，字母网络，字母数字网络实现对字符的分类识别如附图5所示，输出识别到的车牌。
实施本发明实施例的车辆压线违章判断方法，获取视频数据，对其进行处理以得到目标车辆，对目标车辆进行跟踪，根据车道线区域和车辆边框判断目标车辆是否压线，若目标车辆压线，则对目标车辆进行车牌识别；即，本实施例可自动判定车辆违章压线行为，满足了在交通审核中的高效和高准确率的要求。
基于相同的发明构思，本发明实施例提供一种基于深度学习的车辆压线违章判断装置的。如图6所示，该装置包括：
获取单元10，用于获取交通摄像头所拍摄的视频数据；
检测单元11，用于采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域；
所述检测单元11还用于采用基于深度学习的目标检测和目标跟踪方法检测所述视频数据中的目标车辆及所述目标车辆的车辆边框；
确定跟踪单元12，用于根据所述车辆边框确定目标车辆的车辆位置，并根据所述车辆位置对所述目标车辆进行跟踪；
判断单元13，用于跟踪过程中，根据所述车道线区域和车辆边框判断所述目标车辆是否压线；
识别单元14，用于若所述目标车辆压线，则对所述目标车辆进行车牌识别。
其中，所述检测单元11具体用于：
提取所述视频数据中的每一帧图像，并将其转为灰度图；
对所述灰度图进行高斯模糊处理和Canny边缘检测处理，以得到线条型图像；
提取所述线条型图像中的感兴趣区域，并对所述感兴趣区域使用霍夫变化技术以提取线条；
根据所提取的线条，使用最小二乘法拟合直线，划定所述车道线区域。
进一步地，所述检测单元11还用于使。用YOLO-v3检测出所述视频数据的每一帧图像中的目标车辆和车辆边框。
具体地，所述判断单元13具体用于：
若所述车辆边框与车道线区域有重叠，且重叠度大于指定阈值，则确定所述目标车辆压线，并保存所述目标车辆的当前帧图像。
具体地，所述识别单元14具体用于：
提取压线的目标车辆对应的车辆图片；
对所述车辆图片进行灰度化、高斯模糊、二值化和边缘检测处理，以得到待提取图片；
根据所述待提取图片进行车牌定位，以得到所述目标车辆的车牌区域；
采用汉字网络、字母网络和字母数字网络对所述车牌区域进行识别，并输出识别到的车牌。
其中，所述车牌区域包括水平区域和垂直区域，根据所述待提取图片进行车牌定位具体包括：
水平区域确定步骤：对所述待提取图片从底部开始向顶部扫描，获取的第一组连续行数且连续行数中每行的跳变次数均大于跳变阈值，同时满足连续行数大于阈值，以此确定所述水平区域；
垂直区域确定步骤：在所述水平区域内选择任意一行，用L长的窗口由左至右移动，统计窗口中相邻像素0,1的跳变次数并存入数组中，在数组中找到最大值，并将其对应的区域确当为所述垂直区域；其中，L为水平区域中最高行和最低行的差值。
可选地，如图7所示，在本发明的另一优选实施例中车辆压线违章判断装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述基于深度学习的车辆压线违章判断方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于深度学习的车辆压线违章判断方法的实施例中所描述的实现方式，在此不再赘述。
需要说明的是，关于违章判断装置的具体工作流程请参考前述方法实施例部分，在此不再赘述。
实施本发明实施例的车辆压线违章判断装置，可以快速准确的自动判定车辆压线违章，提高了交通违章审核的工作效率。
进一步地，对应于第一实施例的基于深度学习的车辆压线违章判断方法，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基于深度学习的车辆压线违章判断方法。
所述计算机可读存储介质可以是前述实施例所述的客户机的内部存储单元，例如***的硬盘或内存。所述计算机可读存储介质也可以是所述***的外部存储设备，例如所述***上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述***的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述***所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的单元和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的车辆压线违章判断方法，其特征在于，包括：
获取交通摄像头所拍摄的视频数据；
采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域；
采用基于深度学习的目标检测和目标跟踪方法检测所述视频数据中的目标车辆及所述目标车辆的车辆边框；
根据所述车辆边框确定目标车辆的车辆位置，并根据所述车辆位置对所述目标车辆进行跟踪；
跟踪过程中，根据所述车道线区域和车辆边框判断所述目标车辆是否压线；
若所述目标车辆压线，则对所述目标车辆进行车牌识别。
2.如权利要求1所述的车辆压线违章判断方法，其特征在于，采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域，具体包括：
提取所述视频数据中的每一帧图像，并将其转为灰度图；
对所述灰度图进行高斯模糊处理和Canny边缘检测处理，以得到线条型图像；
提取所述线条型图像中的感兴趣区域，并对所述感兴趣区域使用霍夫变化技术以提取线条；
根据所提取的线条，使用最小二乘法拟合直线，划定所述车道线区域。
3.如权利要求1所述的车辆压线违章判断方法，其特征在于，所述方法具体包括：
使用YOLO-v3检测出所述视频数据的每一帧图像中的目标车辆和车辆边框，根据所述车辆边框确定车辆位置，并使用Deep-SORT跟踪算法，对所检测到的目标车辆加以跟踪。
4.如权利要求1所述的车辆压线违章判断方法，其特征在于，根据所述车道线区域和车辆边框判断所述目标车辆是否压线，具体包括：
若所述车辆边框与车道线区域有重叠，且重叠度大于指定阈值，则确定所述目标车辆压线，并保存所述目标车辆的当前帧图像。
5.如权利要求1-4任一项所述的车辆压线违章判断方法，其特征在于，对所述目标车辆进行车牌识别具体包括：
提取压线的目标车辆对应的车辆图片；
对所述车辆图片进行灰度化、高斯模糊、二值化和边缘检测处理，以得到待提取图片；
根据所述待提取图片进行车牌定位，以得到所述目标车辆的车牌区域；
采用汉字网络、字母网络和字母数字网络对所述车牌区域进行识别，并输出识别到的车牌。
6.如权利要求5所述的车辆压线违章判断方法，其特征在于，所述车牌区域包括水平区域和垂直区域，根据所述待提取图片进行车牌定位具体包括：
水平区域确定步骤：对所述待提取图片从底部开始向顶部扫描，获取的第一组连续行数且连续行数中每行的跳变次数均大于跳变阈值，同时满足连续行数大于阈值，以此确定所述水平区域；
垂直区域确定步骤：在所述水平区域内选择任意一行，用L长的窗口由左至右移动，统计窗口中相邻像素0,1的跳变次数并存入数组中，在数组中找到最大值，并将其对应的区域确当为所述垂直区域；其中，L为水平区域中最高行和最低行的差值。
7.一种基于深度学习的车辆压线违章判断装置，其特征子在于，包括：
获取单元，用于获取交通摄像头所拍摄的视频数据；
检测单元，用于采用基于多特征融合的方法检测所述视频数据中的车道线，并根据所述车道线划定车道线区域；
所述检测单元还用于采用基于深度学习的目标检测和目标跟踪方法检测所述视频数据中的目标车辆及所述目标车辆的车辆边框；
确定跟踪单元，用于根据所述车辆边框确定目标车辆的车辆位置，并根据所述车辆位置对所述目标车辆进行跟踪；
判断单元，用于跟踪过程中，根据所述车道线区域和车辆边框判断所述目标车辆是否压线；
识别单元，用于若所述目标车辆压线，则对所述目标车辆进行车牌识别。
8.如权利要求7所述的基于深度学习的车辆压线违章判断装置，其特征在于，所述检测单元具体用于：
提取所述视频中的每一帧图像，并将其转为灰度图；
对所述灰度图进行高斯模糊处理和Canny边缘检测处理，以得到线条型图像；
提取所述线条型图像中的感兴趣区域，并对所述感兴趣区域使用霍夫变化技术以提取线条；
根据所提取的线条，使用最小二乘法拟合直线，划定所述车道线区域。
9.一种基于深度学习的车辆压线违章判断装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求6所述的方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求6所述的方法。
CN202010163795.3A 2020-03-10 2020-03-10 基于深度学习的车辆压线违章判断方法、装置及存储介质 Active CN111382704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010163795.3A CN111382704B (zh) 2020-03-10 2020-03-10 基于深度学习的车辆压线违章判断方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010163795.3A CN111382704B (zh) 2020-03-10 2020-03-10 基于深度学习的车辆压线违章判断方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111382704A true CN111382704A (zh) 2020-07-07
CN111382704B CN111382704B (zh) 2023-12-15

Family

ID=71222666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010163795.3A Active CN111382704B (zh) 2020-03-10 2020-03-10 基于深度学习的车辆压线违章判断方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111382704B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914669A (zh) * 2020-07-08 2020-11-10 浙江大华技术股份有限公司 一种潮汐车道违章检测方法、装置、电子设备和存储介质
CN112101156A (zh) * 2020-09-02 2020-12-18 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置和电子设备
CN112270245A (zh) * 2020-10-23 2021-01-26 平安科技（深圳）有限公司 行车违法检测方法、装置、设备及计算机介质
CN112580516A (zh) * 2020-12-21 2021-03-30 上海眼控科技股份有限公司 一种道路场景识别方法、装置、设备及存储介质
CN112949470A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆变道转向灯识别方法、装置、设备及存储介质
CN113076851A (zh) * 2021-03-29 2021-07-06 开易（北京）科技有限公司 一种车辆违章数据的采集方法、装置以及计算机设备
CN113487878A (zh) * 2021-07-12 2021-10-08 重庆长安新能源汽车科技有限公司 一种机动车违章压线行驶检测方法及***
CN113851001A (zh) * 2021-09-17 2021-12-28 同济大学 多车道合并违法自动审核方法、***、装置和存储介质
CN114255597A (zh) * 2020-09-23 2022-03-29 顺丰科技有限公司 应急车道占用行为检测方法、装置、电子设备及存储介质
CN114782904A (zh) * 2022-04-26 2022-07-22 平安普惠企业管理有限公司 车辆压实线检测方法、装置、设备及存储介质
CN117496727A (zh) * 2023-11-13 2024-02-02 广东高信智能科技有限公司 基于卡槽板的交通识别和控制的方法及装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987007057A1 (en) * 1986-05-05 1987-11-19 Perceptics Corporation Apparatus for reading a license plate
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN105335743A (zh) * 2015-10-28 2016-02-17 重庆邮电大学 一种车牌识别方法
CN106845480A (zh) * 2017-01-13 2017-06-13 河海大学 一种从图片中识别车牌的方法
CN107688764A (zh) * 2016-08-03 2018-02-13 浙江宇视科技有限公司 检测车辆违章的方法及装置
CN108335489A (zh) * 2018-03-11 2018-07-27 西安电子科技大学 高速公路车辆行为语义分析及异常行为监控***及方法
CN108734189A (zh) * 2017-04-20 2018-11-02 天津工业大学 浓雾天气下基于大气散射模型和深度学习的车牌识别***
CN108921956A (zh) * 2018-07-03 2018-11-30 重庆邮电大学 一种基于视频分析技术的路边停车收费管理方法
CN109034247A (zh) * 2018-07-27 2018-12-18 北京以萨技术股份有限公司 一种基于跟踪算法的较高纯度的人脸识别样本提取方法
WO2018233038A1 (zh) * 2017-06-23 2018-12-27 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN109389589A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于统计人数的方法和装置
CN109670498A (zh) * 2018-11-10 2019-04-23 江苏网进科技股份有限公司 一种车牌定位方法
CN109949578A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的车辆压线违法自动审核方法
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN110298300A (zh) * 2019-06-27 2019-10-01 上海工程技术大学 一种检测车辆违章压线的方法
CN110321814A (zh) * 2019-06-18 2019-10-11 浙江大华技术股份有限公司 一种车辆违章取证方法、装置、电子设备及存储介质
CN110458868A (zh) * 2019-08-15 2019-11-15 湖北经济学院 基于sort的多目标跟踪识别展示***
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN110659539A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 一种信息处理方法及其装置
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987007057A1 (en) * 1986-05-05 1987-11-19 Perceptics Corporation Apparatus for reading a license plate
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN105335743A (zh) * 2015-10-28 2016-02-17 重庆邮电大学 一种车牌识别方法
CN107688764A (zh) * 2016-08-03 2018-02-13 浙江宇视科技有限公司 检测车辆违章的方法及装置
CN106845480A (zh) * 2017-01-13 2017-06-13 河海大学 一种从图片中识别车牌的方法
CN108734189A (zh) * 2017-04-20 2018-11-02 天津工业大学 浓雾天气下基于大气散射模型和深度学习的车牌识别***
WO2018233038A1 (zh) * 2017-06-23 2018-12-27 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN108335489A (zh) * 2018-03-11 2018-07-27 西安电子科技大学 高速公路车辆行为语义分析及异常行为监控***及方法
CN110659539A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 一种信息处理方法及其装置
CN108921956A (zh) * 2018-07-03 2018-11-30 重庆邮电大学 一种基于视频分析技术的路边停车收费管理方法
CN109034247A (zh) * 2018-07-27 2018-12-18 北京以萨技术股份有限公司 一种基于跟踪算法的较高纯度的人脸识别样本提取方法
CN109389589A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于统计人数的方法和装置
CN109670498A (zh) * 2018-11-10 2019-04-23 江苏网进科技股份有限公司 一种车牌定位方法
CN109949578A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的车辆压线违法自动审核方法
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN110321814A (zh) * 2019-06-18 2019-10-11 浙江大华技术股份有限公司 一种车辆违章取证方法、装置、电子设备及存储介质
CN110298300A (zh) * 2019-06-27 2019-10-01 上海工程技术大学 一种检测车辆违章压线的方法
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN110458868A (zh) * 2019-08-15 2019-11-15 湖北经济学院 基于sort的多目标跟踪识别展示***
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914669A (zh) * 2020-07-08 2020-11-10 浙江大华技术股份有限公司 一种潮汐车道违章检测方法、装置、电子设备和存储介质
CN112101156A (zh) * 2020-09-02 2020-12-18 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置和电子设备
CN114255597A (zh) * 2020-09-23 2022-03-29 顺丰科技有限公司 应急车道占用行为检测方法、装置、电子设备及存储介质
CN112270245B (zh) * 2020-10-23 2023-05-26 平安科技（深圳）有限公司 行车违法检测方法、装置、设备及计算机介质
CN112270245A (zh) * 2020-10-23 2021-01-26 平安科技（深圳）有限公司 行车违法检测方法、装置、设备及计算机介质
CN112580516A (zh) * 2020-12-21 2021-03-30 上海眼控科技股份有限公司 一种道路场景识别方法、装置、设备及存储介质
CN112949470A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆变道转向灯识别方法、装置、设备及存储介质
CN113076851A (zh) * 2021-03-29 2021-07-06 开易（北京）科技有限公司 一种车辆违章数据的采集方法、装置以及计算机设备
CN113076851B (zh) * 2021-03-29 2024-05-14 开易（北京）科技有限公司 一种车辆违章数据的采集方法、装置以及计算机设备
CN113487878A (zh) * 2021-07-12 2021-10-08 重庆长安新能源汽车科技有限公司 一种机动车违章压线行驶检测方法及***
CN113851001B (zh) * 2021-09-17 2023-08-29 同济大学 多车道合并违法自动审核方法、***、装置和存储介质
CN113851001A (zh) * 2021-09-17 2021-12-28 同济大学 多车道合并违法自动审核方法、***、装置和存储介质
CN114782904A (zh) * 2022-04-26 2022-07-22 平安普惠企业管理有限公司 车辆压实线检测方法、装置、设备及存储介质
CN117496727A (zh) * 2023-11-13 2024-02-02 广东高信智能科技有限公司 基于卡槽板的交通识别和控制的方法及装置

Also Published As

Publication number Publication date
CN111382704B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN111382704A (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
WO2018018788A1 (zh) 一种基于图像识别的计量表抄表装置及其方法
CN102722704B (zh) 一种融合视频动态跟踪的车牌识别方法和***
CN108268867B (zh) 一种车牌定位方法及装置
CN103034848B (zh) 一种表单类型的识别方法
CN110298300B (zh) 一种检测车辆违章压线的方法
Paunwala et al. A novel multiple license plate extraction technique for complex background in Indian traffic conditions
Khalifa et al. Malaysian Vehicle License Plate Recognition.
Azad et al. New method for optimization of license plate recognition system with use of edge detection and connected component
CN114387591A (zh) 车牌识别方法、***、设备及存储介质
Antar et al. Automatic number plate recognition of Saudi license car plates
CN103699876B (zh) 一种基于线阵ccd图像识别车号的方法及装置
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
CN109389122A (zh) 一种车牌定位方法及装置
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别***及方法
Sharma et al. Deep Learning and SVM-Based Approach for Indian Licence Plate Character Recognition.
Al-Mahadeen et al. Signature region of interest using auto cropping
CN110348386B (zh) 一种基于模糊理论的人脸图像识别方法、装置及设备
CN110059695B (zh) 一种基于垂直投影的字符分割方法及终端
CN116863458A (zh) 车牌识别方法、装置、***及存储介质
Amusan et al. Nigerian vehicle license plate recognition system using artificial neural network
CN112785550B (zh) 图像质量值确定方法、装置、存储介质及电子装置
CN103971376A (zh) 应用程序执行方法和装置
Angeline et al. Tracking and localisation of moving vehicle license plate via Signature Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant after: Qingdao Issa Technology Co.,Ltd.

Applicant after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 100020 room 108, 1 / F, building 17, yard 6, Jingshun East Street, Chaoyang District, Beijing

Applicant before: BEIJING YISA TECHNOLOGY Co.,Ltd.

Applicant before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address after: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant after: Issa Technology Co.,Ltd.

Applicant after: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

Address before: 266400 No. 77, Lingyan Road, LINGSHANWEI sub district office, Huangdao District, Qingdao City, Shandong Province

Applicant before: Qingdao Issa Technology Co.,Ltd.

Applicant before: QINGDAO YISA DATA TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant