CN112418061A - 一种车辆禁停区域确定方法及*** - Google Patents

一种车辆禁停区域确定方法及*** Download PDF

Info

Publication number
CN112418061A
CN112418061A CN202011303138.0A CN202011303138A CN112418061A CN 112418061 A CN112418061 A CN 112418061A CN 202011303138 A CN202011303138 A CN 202011303138A CN 112418061 A CN112418061 A CN 112418061A
Authority
CN
China
Prior art keywords
parking
stop
mark
parking area
forbidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011303138.0A
Other languages
English (en)
Other versions
CN112418061B (zh
Inventor
郁强
陈思瑶
毛云青
王国梁
裴正良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202011303138.0A priority Critical patent/CN112418061B/zh
Publication of CN112418061A publication Critical patent/CN112418061A/zh
Application granted granted Critical
Publication of CN112418061B publication Critical patent/CN112418061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种车辆禁停区域确定方法，包括以下步骤：获取监控视频图像；将所述监控视频图像输入禁停标识检测模型中识别禁停标识，其中所述禁停标识包括禁停区域标识、禁停标志标识以及禁停标线标识；将所述监控视频图像输入禁停文字检测模型中识别禁停文字；若识别到禁停标志标识、禁停标线标志或禁停文字，基于所述禁停标志标识、禁停标线标识或禁停文字所在位置获取对应的车道，确定禁停区域；若识别到禁停区域标识，基于所述禁停区域标识所在位置确定禁停区，该车辆禁停区域确定方法及***基于图像处理技术可同时识别多种类别的车辆禁停区域，且可自动划分不同类型的车辆禁停区域。

Description

一种车辆禁停区域确定方法及***
技术领域
本发明涉及图像处理技术领域，特别涉及一种车辆禁停区域确定方法及***。
背景技术
随着经济发展以及人们生活水平的提高，机动车的数量剧增，路面上违章停车的现象也越来越多。违章停车指的是车辆在设有禁停标志、标线的路段或禁停区域停留，该行为不仅会严重干扰正常交通运行，甚至可能对人们的生命财产造成损害，因此需要对违章停车现象进行管控。
目前常见的管控违章停车的方式是通过在违停区域设置摄像头，摄像头获取违停区域的图像传送到后台进行人工处理或者计算机处理，计算机处理的方式相较人工处理的方式而言可极大程度地节省人力成本，且能更高效地发现违章车辆，因此更为广泛地应用于交通管制中。
但目前大部分的图像处理技术采用的方式是通过预设违停区域，若违停区域内出现车辆，则将其判定为违停车辆，在这种方案中违停区域的范围是由人为选取确定的，若同时出现多路监控视频，就会导致违停区域的选定存在耗时耗力的问题，且该方式仅适用于固定角度的图像获取；当然，也有技术致力于研究自动获取违停区域的方式，如，CN109919002A提供一种“黄色禁停线识别方法、装置、计算机设备及介质”，该方案是直接识别黄色禁停线来确定禁停区域，故其仅仅适用于形式为黄色网格线的禁停区域的确认，适用范围窄；再如CN110415555B提供一种“基于深度学习的有效划线车位识别方法”，该方案获取禁停标志以及地锁等障碍物及其坐标，利用障碍物坐标和划线车位的区域是否重合判断该划线车位是否为可用，其仅仅可以判断禁停车位，且判断禁停车位的前提还是首先获取划线车位的坐标，利用坐标区域之间是否有重合实现禁停车位的判断，该方案无法判断没有划线车位的禁停区域，比如禁止长时间停靠的路边。
即，目前应用于交通管制领域的图像处理技术难以同时获取识别多种类别的车辆禁停区域，且无法自动划分不同类型的车辆禁停区域。
发明内容
本发明的目的在于提供一种车辆禁停区域确定方法及***，该车辆禁停区域确定方法及***基于图像处理技术可同时识别多种类别的车辆禁停区域，且可自动划分不同类型的车辆禁停区域。
为实现以上目的，本技术方案提供一种车辆禁停区域确定方法，包括以下步骤：获取监控视频图像；将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息，依据识别信息确定禁停区域。
一种车辆禁停区域确认***，至少包括：图像获取模块，用于获取监控视频图像；识别模块，将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息；确定模块，依据所述识别信息分类确定禁停区域。
相较现有技术，本技术方案具有以下特点和有益效果：
1.不仅可通过识别有明显标线划分的禁停区域标识确定禁停区域，还可结合车道检测技术确定禁停标志标识、禁停标线标识和禁停文本标识对应的禁停区域，以达到同时识别道路上所有可能出现的禁停区域的效果，满足不同情况的禁停区域识别需求。
2.基于禁停标志标识、禁停标线标识的具体含义信息划分不同类型的禁停区域，使其识别得到的禁停区域更具有实际价值；具体而言，可以此方式区分得到的禁停区域是否为临时停车区域，便于后续交通管制对临时停车区域做出不同的针对性管控。
附图说明
图1是根据本发明的一实施例的车辆禁停区域确定方法对应的流程示意图。
图2是根据本发明的一实施例的车辆禁停区域确定方法对应的框图流程示意图。
图3是禁停标志标识的类别。
图4a和4b是禁停标线标识的类别。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的第一方面，本方案提供一种车辆禁停区域确定方法，至少包括以下步骤：获取监控视频图像；将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息，依据识别信息确定禁停区域。
具体的，所述识别信息包括禁停标志标识、禁停标线标识、禁停文字标识以及禁停区域标识，若所述识别信息为禁停标志标识、禁停标线标识或禁停文字标识，获取识别信息对应的车道，确定禁停区域；若识别信息为禁停区域标识，确定禁停区域。
另外，还可根据识别信息的内容区分禁停区域亦或者临时停车区域。
具体的，本方案的方法步骤如下：
获取监控视频图像；
将所述监控视频图像输入禁停标识检测模型中识别禁停标识，其中所述禁停标识包括禁停区域标识、禁停标志标识以及禁停标线标识；
将所述监控视频图像输入禁停文字检测模型中识别禁停文字；
若识别到所述禁停标志标识、所述禁停标线标志或所述禁停文字，基于所述禁停标志标识、所述禁停标线标识或所述禁停文字所在位置获取对应的车道，确定禁停区域；若识别到所述禁停区域标识，基于禁停区域标识所在位置确定禁停区域。
本方案提供的车辆禁停区域确定方法可同时识别多种类别的禁停标识，包括所述禁停区域标识、所述禁停标志标识以及所述禁停标线标识，并针对不同的禁停标识采用不同的方法确定禁停区域。
在禁停标识识别步骤中，所述禁停区域标识包括黄色网格线区域标识、人行横道标识以及公交站点标识，其中所述黄色网格线区域标识以黄色划线包围形成网格区域，所述人行横道标识以间隔的白色划线包围形成人行横道的区域，所述公交站点标识以白色划线包围形成方形区域，在一些公交站点标识内印制“公交车专用车道”的字样。由于所述禁停区域标识对应包围固定范围的区域，因此在获取所述禁停区域标识时即可根据所述禁停区域标识直接获取禁停区域。
所述禁停标志标识包括禁止停车标志和禁止长时间停车标志，其中所述禁止停车标志为“圆内设置X字”的标志形状(如图3左),所述禁止长时间停车标志为“圆内设置单斜线”的标志形状(如图3右)。值得注意的是，所述禁停标志标识上不显示文字信息，仅以不同的标志形状标识不同的含义内容。另外，由于所述禁停标志标识往往为圆牌置于高处显示，因此仅获取所述禁停标志标识还不足以获取禁停区域。
所述禁停标线标识包括禁止停车线和禁止长时间停车线，其中所述禁止停车线为设置在道路栏边侧的连续长线(如图4a)，所述禁止长时间停车线为设置在道路边侧的间隔长线(如图4b)。值得注意的是，所述禁停标线标识上不显示文字信息，仅以不同的标志形状标识不同的含义内容。另外，由于所述禁停标线标识置于道路边侧显示，因此仅获取所述禁停标志标识还不足以获取禁停区域。
本方案通过训练过的禁停标识检测模型进行所述禁停标识的识别，所述禁停标识检测模型的训练过程如下：
1.标注训练样本：采集监控视频图像，对所述监控视频图像中出现的禁停区域标识、禁停标志标识以及禁停标线标志进行标注，其中标注信息包括所述禁停标识的位置标签及类别标签，不同类别标签对应不同的禁停标识，位置标签对应禁停标识四个边角的坐标；
2.禁停标识检测网络的搭建：禁停标识检测网络包括m个卷积层，采用多尺度预测方法对三个不同尺度的特征进行预测；
3.训练禁停标识检测网络：将所述标注完的监控视频图像输入到所述禁停标识检测网络中采用目标分类损失函数、目标置信度损失函数及目标定位偏移量损失函数进行训练，直至损失函数不再减小，停止训练，以得到禁停标识检测模型。
本方案中，所述监控视频图像输入所述训练过的禁停标识检测模型后得到对应的所述禁停标识的类别标签以及位置标签，通过所述类别标签区分不同的禁停标识，根据所述禁停标识的所述位置标签获取四个边角的坐标，根据所述四个边角坐标求取最小外接矩形，并从所述监控视频图像截取所述最小外接矩形，将所述最小外接矩形中除所述禁停标识以外的像素置为0，得到最终的禁停区域标识、禁停标志标识或禁停标线标识。
值得一提的是，最小外接矩形是矩形，由于摄像头角度等问题导致禁停标志可能为梯形，对于梯形外的区域用像素0填充，意思是对不是矩形的禁停标志区域进行填充黑色，让其成为矩形。
也就是说，禁停标识识别步骤中识别所述禁停标识并获取所述禁停标识的位置坐标，若该所述禁停标识为禁停区域标识则直接获取禁停区域；而若是所述禁停标志标识或所述禁停标线标识的话，还需配合车道检测技术确定禁停区域。
此时，车道检测技术具体包括以下步骤：
对所述监控视频图像进行前处理后截取感兴趣区域；对所述感兴趣区域进行霍夫直线变换得到直线，随后使用最小二乘法对获取的所述直线进行线性拟合获取车道线。
在本方案中基于所述禁停标识人为截取感兴趣区域。
在本方案中，对所述监控视频图像依次做灰度化处理、高斯模糊处理、Canny边缘检测处理，在一些实施例中，均采用开源库OPENCV对所述监控视频图像进行前处理，所述霍夫直线变换也可通过开源库OPENCV实现。
在禁停文字识别步骤中：所述禁停文本包括消防通道、公交车通道、出租车上下客区域等文本，所述禁停文本以文字的信息显示。由于所述禁停文本并不直接显示禁停区域，而是提示所述禁停文本所在的某一区域为禁停区域，因此在识别了所述禁停文本后依旧需要配合车道检测技术获取禁停区域。
本方案利用训练过的禁停文字检测模型识别所述禁停文字，所述禁停文本检测模型的训练过程如下：
1.标注训练样本：采集监控视频图像，并对其内出现的禁停文本进行标注，其中标注信息包括所述禁停文本的文本位置坐标和文字内容；
2.构建禁停文本检测网络结构端到端的禁停文本检测网络结构由主干网络、禁停文本检测分支、RoI Pooling、禁停文本识别分支组成，其中，所述主干网络为Restnet-50，所述禁停文本检测分支为全卷积网络，所述禁停文本识别分支为CRNN；
3.预训练所述禁停文本检测分支：将所述标注过的训练样本输入到所述主干网络和所述禁停文本检测分支采用检测损失函数L_det进行训练，得到所述主干网络和所述禁停文本检测分支的权重，其中，所述标注过的训练样本的数据标签仅包括所述文本位置坐标；
4.训练端到端的禁停文本检测网络：加载以上预训练的所述主干网络和所述禁停文本检测分支的权重，所述禁停文本识别分支的权重采用随机初始化操作，将所述标注过的训练样本数据输入到端到端的禁停文本检测网络中采用识别损失函数CTC和上述所述检测损失函数进行训练。
本方案中，所述监控视频图像输入所述训练过的禁停文本检测模型后得到对应的所述禁停文本的文本位置坐标和文字内容，也就是说，禁停文本识别步骤中识别所述禁停文本并获取所述禁停文本的所述位置坐标。
具体的，在所述禁停文本检测网络的训练时采用检测损失函数，所述检测损失函数公式如下：
Figure BDA0002787442540000071
其中，n表示候选框数目，pi表示第i个候选框为禁停文本的概率，
Figure BDA0002787442540000081
表示第i个候选框是否为禁停文本的标签，
Figure BDA0002787442540000082
值为0或为1，0表示不包含禁停文本，1表示包含禁停文本，Ri表示预测的候选框，
Figure BDA0002787442540000083
表示标注的矩形框，μ表示类别损失权重，v表示边框损失权重，μ和v的和为1。
在另一些实施例中，本方案提供的所述车辆禁停区域确定方法还可进一步基于所述禁停标识和所述禁停文本的内容分类所述禁停区域和临时停车区域，若所述禁停标识对应的是临时停车的标识，则对应的区域为所述临时停车区域，否之为所述禁停区域，具体如下：
若所述禁停标志标识为禁止停车标志，则对应车道为所述禁停区域；若所述禁停标志标识为禁止长时间停车标志，则对应车道为所述临时停车区域；
若所述禁停标线标识为禁止停车标线标识，则对应车道为所述禁停区域；若所述禁停标志标识为禁止长时停车标线标识，则对应车道为所述临时停车区域；
若所述禁停文本为消防通道、公交车通道，则对应车道为所述禁停区域；若所述禁停文本为出租车上下客区域，则对应车道为所述临时停车区域。
根据本发明的第二方面，提供一种车辆禁停区域确认***，至少包括：
图像获取模块，用于获取监控视频图像；
识别模块，将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息；
确定模块，依据所述识别信息分类确定禁停区域。
所述识别模块包括：
禁停标识识别模块，其内设有禁停标识检测模型识别所述监控视频图像的禁停标识，其中所述禁停标识包括禁停区域标识、禁停标志标识以及禁停标线标识；
禁停文字检测模型，其内设有禁停文字检测模型识别所述监控视频图像的禁停文字。
所述确定模块包括：
禁停区域确定模块，用于当识别到所述禁停标志标识、所述禁停标线标志或所述禁停文字时，利用车道检测技术确定禁停区域；当识别到所述禁停区域标识，直接确定禁停区域。
在一些实施例中，禁停区域确定模块中包括区分模块，其中所述区分模块基于所述禁停标志标识、所述禁停标线标志或所述禁停文字的内容区分禁停区域和临时停车区域。
用于实现本方案实施例方法的服务器的计算机***包括中央处理单元CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有***操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地，根据本发明公开的实施例，上文参考流程图描述的车辆禁停区域确认方法过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的车辆禁停区域确认方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本发明的***中限定的上述功能。
附图中的流程图和框图，图示了按照本发明实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。描述于本发明实施例中车辆禁停区域确认***所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以上车辆禁停区域确认方法所对应的流程步骤。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (14)

1.一种车辆禁停区域确定方法，其特征在于，包括以下步骤：
获取监控视频图像；
将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息，依据识别信息确定禁停区域。
2.根据权利要求1所述的车辆禁停区域确定方法，其特征在于，若所述识别信息为禁停标志标识、禁停标线标识或禁停文字标识，基于所述禁停标志标识、所述禁停标线标识或所述禁停文字所在位置获取对应的车道，确定所述禁停区域；若所述识别信息为禁停区域标识，基于所述禁停区域标识所在位置确定所述禁停区域。
3.根据权利要求2所述的车辆禁停区域确定方法，其特征在于，将所述监控视频图像输入所述禁停标识检测模型中识别禁停标识，其中所述禁停标识包括所述禁停区域标识、所述禁停标志标识以及所述禁停标线标识；将所述监控视频图像输入所述禁停文字检测模型中识别所述禁停文字。
4.根据权利要求1所述的车辆禁停区域确定方法，其特征在于，基于所述识别信息的内容分类禁停区域和临时停车区域。
5.根据权利要求3所述的车辆禁停区域确定方法，其特征在于，所述监控视频图像输入所述禁停标识检测模型后得到所述禁停标识的类别标签以及位置标签，通过所述类别标签区分不同的禁停标识。
6.根据权利要求5所述的车辆禁停区域确定方法，其特征在于，所述位置标签为所述禁停标识四个边角的坐标，根据所述四个边角坐标求取最小外接矩形，并从所述监控视频图像截取所述最小外接矩形，将所述最小外接矩形中除禁停标识以外的像素置为0，得到所述禁停标识。
7.根据权利要求3所述的车辆禁停区域确定方法，其特征在于，所述监控视频图像输入所述禁停文本检测模型得到所述禁停文本的文本位置坐标和文字内容。
8.根据权利要求2所述的车辆禁停区域确定方法，其特征在于，基于所述禁停标志标识、所述禁停标线标识或所述禁停文字所在位置获取对应的车道包括:对所述监控视频图像进行前处理后截取感兴趣区域；对所述感兴趣区域进行霍夫直线变换得到直线，随后使用最小二乘法对获取的所述直线进行线性拟合获取车道线。
9.根据权利要求1所述的车辆禁停区域确定方法，其特征在于，所述禁停文本检测模型的训练过程如下：
标注训练样本：采集监控视频图像，并对其内出现的禁停文本进行标注，其中所述标注信息包括所述禁停文本的文本位置坐标和文字内容；
构建禁停文本检测网络结构端到端的禁停文本检测网络结构由主干网络、禁停文本检测分支、RoI Pooling、禁停文本识别分支组成，其中，所述主干网络为Restnet-50，所述禁停文本检测分支为全卷积网络，所述禁停文本识别分支为CRNN；
预训练禁停文本检测分支：将标注过的训练样本输入到所述主干网络和所述禁停文本检测分支采用检测损失函数L_det进行训练，得到主干网络和禁停文本检测分支的权重，其中，所述标注过的训练样本的数据标签仅包括文本位置坐标；
训练端到端的禁停文本检测网络：加载以上预训练的所述主干网络和所述禁停文本检测分支的权重，禁停文本识别分支的权重采用随机初始化操作，将所述标注过的训练样本数据输入到端到端的所述禁停文本检测网络中采用识别损失函数CTC和所述检测损失函数进行训练。
10.根据权利要求9所述的车辆禁停区域确定方法，其特征在于，所述检测损失函数公式如下：
Figure FDA0002787442530000031
其中，n表示候选框数目，pi表示第i个候选框为禁停文本的概率，
Figure FDA0002787442530000032
表示第i个候选框是否为禁停文本的标签，
Figure FDA0002787442530000033
值为0或为1，0表示不包含禁停文本，1表示包含禁停文本，Ri表示预测的候选框，
Figure FDA0002787442530000034
表示标注的矩形框，μ表示类别损失权重，ν表示边框损失权重，μ和ν的和为1。
11.一种车辆禁停区域确认***，其特征在于，至少包括：
图像获取模块，用于获取监控视频图像；
识别模块，将所述监控视频图像输入禁停标识检测模型和禁停文字检测模型中获取识别信息；
确定模块，依据所述识别信息确定禁停区域。
12.根据权利要求11所述的车辆禁停区域确认***，其特征在于，识别模块包括：禁停标识识别模块，其内设有禁停标识检测模型识别所述监控视频图像的禁停标识，其中所述禁停标识包括禁停区域标识、禁停标志标识以及禁停标线标识；
禁停文字检测模块，其内设有禁停文字检测模型识别所述监控视频图像的禁停文字。
13.根据权利要求12所述的车辆禁停区域确认***，其特征在于，确定模块包括：禁停区域确定模块，用于当识别到所述禁停标志标识、所述禁停标线标志或所述禁停文字时，利用车道检测技术确定禁停区域；当识别到所述禁停区域标识，确定禁停区域。
14.根据权利要求11所述的车辆禁停区域确认***，其特征在于，确定模块包括：区分模块，其中所述区分模块基于所述识别信息的内容区分禁停区域和临时停车区域。
CN202011303138.0A 2020-11-19 2020-11-19 一种车辆禁停区域确定方法及*** Active CN112418061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011303138.0A CN112418061B (zh) 2020-11-19 2020-11-19 一种车辆禁停区域确定方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011303138.0A CN112418061B (zh) 2020-11-19 2020-11-19 一种车辆禁停区域确定方法及***

Publications (2)

Publication Number Publication Date
CN112418061A true CN112418061A (zh) 2021-02-26
CN112418061B CN112418061B (zh) 2024-01-23

Family

ID=74773136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011303138.0A Active CN112418061B (zh) 2020-11-19 2020-11-19 一种车辆禁停区域确定方法及***

Country Status (1)

Country Link
CN (1) CN112418061B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031196A (ja) * 2007-07-30 2009-02-12 Aisin Aw Co Ltd 情報通知システム及びプログラム
CN103824452A (zh) * 2013-11-22 2014-05-28 银江股份有限公司 一种轻量级的基于全景视觉的违章停车检测装置
CN104851315A (zh) * 2014-02-18 2015-08-19 厦门歌乐电子企业有限公司 一种停车管理方法和***、以及车载装置和服务器
WO2015149009A1 (en) * 2014-03-27 2015-10-01 Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
CN107609485A (zh) * 2017-08-16 2018-01-19 中国科学院自动化研究所 交通标志的识别方法、存储介质、处理设备
US20180025238A1 (en) * 2015-04-01 2018-01-25 Bayerische Motoren Werke Aktiengesellschaft Method and System for the Automatic Detection of Parking Zones
CN108921955A (zh) * 2018-06-28 2018-11-30 西安艾润物联网技术服务有限责任公司 停车处理方法、装置及计算机可读存储介质
CN109147340A (zh) * 2018-08-30 2019-01-04 平安科技（深圳）有限公司 违法停车案件的鉴别方法、装置和计算机设备
CN109890677A (zh) * 2016-10-14 2019-06-14 伟摩有限责任公司 规划自动驾驶车辆的停止位置
CN109919002A (zh) * 2019-01-23 2019-06-21 平安科技（深圳）有限公司 黄色禁停线识别方法、装置、计算机设备及存储介质
CN110619750A (zh) * 2019-08-15 2019-12-27 重庆特斯联智慧科技股份有限公司 面向违停车辆的智能航拍识别方法及***
CN110867085A (zh) * 2018-08-06 2020-03-06 宝沃汽车（中国）有限公司 服务器、车辆及其控制方法和控制***
CN111178253A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 自动驾驶的视觉感知方法、装置、计算机设备和存储介质
CN111275038A (zh) * 2020-01-17 2020-06-12 平安医疗健康管理股份有限公司 图像文本识别方法、装置、计算机设备及计算机存储介质
US10789846B1 (en) * 2020-03-19 2020-09-29 Cdw Llc Available vehicle parking space dispatch
US20200310450A1 (en) * 2019-03-29 2020-10-01 Zoox, Inc. Extension of autonomous driving functionality to new regions
CN111881713A (zh) * 2020-05-21 2020-11-03 北京嘀嘀无限科技发展有限公司 一种识别违停地点的方法、***、装置及存储介质
CN111951554A (zh) * 2020-08-20 2020-11-17 北京嘀嘀无限科技发展有限公司 一种违停路段信息采集方法和***
CN111951601A (zh) * 2020-08-05 2020-11-17 智慧互通科技有限公司 一种识别配送车辆停放位置的方法及装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009031196A (ja) * 2007-07-30 2009-02-12 Aisin Aw Co Ltd 情報通知システム及びプログラム
CN103824452A (zh) * 2013-11-22 2014-05-28 银江股份有限公司 一种轻量级的基于全景视觉的违章停车检测装置
CN104851315A (zh) * 2014-02-18 2015-08-19 厦门歌乐电子企业有限公司 一种停车管理方法和***、以及车载装置和服务器
WO2015149009A1 (en) * 2014-03-27 2015-10-01 Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
US20180025238A1 (en) * 2015-04-01 2018-01-25 Bayerische Motoren Werke Aktiengesellschaft Method and System for the Automatic Detection of Parking Zones
CN109890677A (zh) * 2016-10-14 2019-06-14 伟摩有限责任公司 规划自动驾驶车辆的停止位置
CN107609485A (zh) * 2017-08-16 2018-01-19 中国科学院自动化研究所 交通标志的识别方法、存储介质、处理设备
CN108921955A (zh) * 2018-06-28 2018-11-30 西安艾润物联网技术服务有限责任公司 停车处理方法、装置及计算机可读存储介质
CN110867085A (zh) * 2018-08-06 2020-03-06 宝沃汽车（中国）有限公司 服务器、车辆及其控制方法和控制***
CN109147340A (zh) * 2018-08-30 2019-01-04 平安科技（深圳）有限公司 违法停车案件的鉴别方法、装置和计算机设备
CN109919002A (zh) * 2019-01-23 2019-06-21 平安科技（深圳）有限公司 黄色禁停线识别方法、装置、计算机设备及存储介质
US20200310450A1 (en) * 2019-03-29 2020-10-01 Zoox, Inc. Extension of autonomous driving functionality to new regions
CN110619750A (zh) * 2019-08-15 2019-12-27 重庆特斯联智慧科技股份有限公司 面向违停车辆的智能航拍识别方法及***
CN111178253A (zh) * 2019-12-27 2020-05-19 深圳佑驾创新科技有限公司 自动驾驶的视觉感知方法、装置、计算机设备和存储介质
CN111275038A (zh) * 2020-01-17 2020-06-12 平安医疗健康管理股份有限公司 图像文本识别方法、装置、计算机设备及计算机存储介质
US10789846B1 (en) * 2020-03-19 2020-09-29 Cdw Llc Available vehicle parking space dispatch
CN111881713A (zh) * 2020-05-21 2020-11-03 北京嘀嘀无限科技发展有限公司 一种识别违停地点的方法、***、装置及存储介质
CN111951601A (zh) * 2020-08-05 2020-11-17 智慧互通科技有限公司 一种识别配送车辆停放位置的方法及装置
CN111951554A (zh) * 2020-08-20 2020-11-17 北京嘀嘀无限科技发展有限公司 一种违停路段信息采集方法和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SANTOSH G等: "Detection and Identification of Illegally Parked Vehicles at No Parking Area", INTERNATIONAL CONFERENCE ON COMMUNICATION AND SIGNAL PROCESSING, pages 1025 - 1029 *
吴玉枝;熊运余;吴洋;: "基于卷积神经网络的违章停车事件检测", 现代计算机(专业版), no. 02 *
张振宇等: "一种面向银行票据文字自动化识别的高效人工智能方法", 温州大学出版社, pages 48 - 52 *

Also Published As

Publication number Publication date
CN112418061B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
US10133941B2 (en) Method, apparatus and device for detecting lane boundary
CN109637151B (zh) 一种高速公路应急车道违章行驶的识别方法
US9965677B2 (en) Method and system for OCR-free vehicle identification number localization
CN111191611A (zh) 基于深度学习的交通标志标号识别方法
CN113011331B (zh) 机动车是否礼让行人的检测方法、装置、电子设备及介质
CN112906678B (zh) 基于监控视频的非法遛狗事件检测方法、装置
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及***
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
Parvin et al. Vehicle number plate detection and recognition techniques: a review
Chen et al. An effective detection algorithm of zebra-crossing
CN113221894A (zh) 车辆的车牌号识别方法、装置、电子设备和存储介质
CN112418061B (zh) 一种车辆禁停区域确定方法及***
CN115294774B (zh) 基于深度学习的非机动车道路违停检测方法及装置
Karsten et al. Automated framework to audit traffic signs using remote sensing data
Ding et al. A comprehensive approach for road marking detection and recognition
CN115620047A (zh) 目标对象属性信息确定方法、装置、电子设备及存储介质
CN114092880A (zh) 一种基于视频分析的机场跑道大颗粒异物检测方法
CN112861701A (zh) 违章停车识别方法、装置、电子设备以及计算机可读介质
CN113435350A (zh) 一种交通标线检测方法、装置、设备和介质
CN112232312A (zh) 基于深度学习的自动驾驶方法、装置和电子设备
Tippannavar et al. License Plate Recognition for Indian Vehicles based on Image Processing using OpenCV
CN111091096B (zh) 车辆偏离决策方法、装置、存储介质及车辆
Kumar et al. Neural network based smart vision system for driver assistance in extracting traffic signposts
Phu et al. Efficient feature points for myanmar traffic sign recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant