CN114359875B - 车辆有效抓拍方法及*** - Google Patents

Abstract

本发明公开了一种车辆有效抓拍方法及***，该方法包括：识别目标车辆在图像中所在的区域；更新缓存车辆帧信息；更新待上传车辆帧信息；将待上传车辆帧信息上传。本发明在较低的硬件资源前提下实现了有效车辆的召回率（召回率为成功抓拍车辆与实际经过车辆的比值）和抓拍准确率的提高，适合用于园区、小区、停车场等视野差、车辆出现时间短的场所，也适用于硬件基础老旧的场所。

Description

车辆有效抓拍方法及***

技术领域

本发明涉及一种用于车辆的有效抓拍方法及***。

背景技术

视频监控***中对车辆管控尤为重要，特别对于园区来讲，车辆管控包含车辆布控(建立车辆名单库，对进入园区内的名单库车辆实时布控，自动识别车牌，判断车辆位置，对发生的异常事件（如车辆逆行、碰撞、闯入等）发出预警提示)、特征查车(根据车辆特征查找相应车辆)、轨迹查询(通过车牌查找车辆何时何地出现)等功能。实现这些功能均有一个共同的技术点,需对车辆有效(准确识别到车牌等车辆信息)抓拍。

有效的车辆抓拍需要检测车辆目标、车牌定位、车牌矫正、车牌识别。现有技术在实现有效抓拍车辆时,需要对视频每一帧进行检测车辆目标、车牌定位、车牌矫正、车牌识别,计算量大,易导致真正清晰的带有车牌的车辆图像帧丢失。既浪费了硬件,又降低了有效车辆抓拍的抓拍率。

发明内容

有鉴于此，本发明提供一种车辆有效抓拍方法及***，其硬件要求低，抓拍准确率高。

为解决以上技术问题，本发明提供一种车辆有效抓拍方法，包括：

对监控视频中的图像逐帧进行分析，识别目标车辆以及该目标车辆在图像中所处的区域；

将目标车辆进入监控视频的第一帧图像的帧信息作为缓存车辆帧信息，并依次逐帧将帧信息与设定的缓存条件进行对比，将符合缓存条件的帧信息更新为缓存车辆帧信息；所述与缓存条件进行对比包括车辆在图像中所在区域的大小、清晰度的对比；

将第一条缓存车辆帧信息作为待上传车辆帧信息，并逐条将缓存车辆帧信息与设定的车辆识别条件进行对比，对符合车辆识别条件的缓存车辆帧信息所对应的图像进行车辆识别获取车辆信息，且利用该缓存车辆帧信息及获取的车辆信息对待上传车辆帧信息进行赋值；

逐条将待上传车辆帧信息与设定的上传条件进行对比，将符合上传条件的待上传车辆帧信息上传。

作为一种改进，利用目标框框选出目标车辆在图像中所在的区域。

作为一种优选，利用训练好的YOLOv5模型对监控视频中的图像逐帧进行分析，并利用目标框框选出目标车辆在图像中所在的区域。

作为一种进一步的改进，所述缓存车辆帧信息包括帧ID标识、帧时间、车辆ID、目标框大小、车辆图像清晰度评价值、车辆信息、更新次数、车辆信息识别次数；所述车辆信息包括车牌信息、车牌得分、车辆颜色。

作为另一种更进一步的改进，所述缓存条件包括：

车辆识别次数小于识别次数阈值，并且动态目标框大小权重+动态目标框中车辆清晰度权重>更新阈值；所述动态目标框大小权重为0.5*(当前车辆目标框宽度/缓存该车辆目标框宽度)，所述动态目标框中车辆清晰度权重=0.5*(当前帧车辆图像清晰度评价值/缓存该车辆图像清晰度评价值)。

作为一种改进，利用公式

进行车辆图像清晰度评价，其中D(f)为清晰度评价值，函数f(x,y)代表图像在(x,y)坐标的灰度值。

作为一种改进，所述车辆识别条件包括：

车辆识别次数小于识别次数阈值，并且缓存车辆帧信息中帧时间-待上传车辆帧信息中帧时间>更新周期阈值。

作为一种改进，所述利用该缓存车辆帧信息对赋值待上传车辆帧信息进行赋值；包括：

如果车辆信息中的车牌信息提取不成功，则将该缓存车辆帧信息的更新次数赋值给待上传车辆帧信息；

如果车辆信息中的车牌信息提取成功，但车牌得分低于或者等于待上传帧信息的车牌得分，则将该缓存车辆帧信息中的更新次数和车辆信息识别次数赋值给待上传车辆帧信息；

如果车辆信息中的车牌信息提取成功，并且车牌得分高于待上传帧信息的车牌得分，则将该缓存车辆帧信息中所有信息赋值给待上传车辆帧信息。

作为一种改进，所述上传条件为：

待上传车辆帧信息未上传，目标车辆处于将丢失状态；或者，

待上传车辆帧信息未上传，目标车辆处于跟踪状态并且车辆信息识别次数大于或者等于识别次数阈值。

本发明还提供一种车辆有效抓拍***，包括：

图像获取单元，用于获取目标车辆的视频；

目标车辆所在区域识别单元，用于识别目标车辆以及该目标车辆在图像中所处的区域；

缓存车辆帧信息更新单元，用于将图像逐帧与缓存条件对比，并将满足条件的图像的帧信息作为缓存车辆帧信息；

车辆信息识别单元，用于对车辆信息进行识别，所述车辆信息包括车牌信息、车牌得分、车辆颜色；

待上传车辆帧信息更新单元，用于将缓存车辆帧信息逐条与车辆识别条件进行对比，并将满足条件的缓存车辆帧信息所对应的图像进行车辆信息识别，并利用该缓存车辆帧信息对待上传车辆帧信息进行赋值；

车辆帧信息上传单元，用于将上传车辆帧信息逐条与上传条件进行对比，并将满足条件的待上传车辆帧信息上传。

本发明的有益之处在于：在较低的硬件资源前提下实现了有效车辆的召回率（召回率为成功抓拍车辆与实际经过车辆的比值）和抓拍准确率的提高，适合用于园区、小区、停车场等视野差、车辆出现时间短的场所，也适用于硬件基础老旧的场所。

附图说明

图1为本发明的流程图。

图2为本发明的结构原理图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。

视频监控***要对车辆进行有效抓拍，需要摄像头安装位置好、分辨率高，使得车辆停留在视野中的时间长并且抓拍的图像较为清晰，并且用于运算的计算机硬件基础也要较强，才能应对大量的运算任务。而现有的园区、小区、停车场等场所中，摄像头的位置普遍较差且老旧，使得车辆在视野中停留的时间较短，视频清晰度不高。而由于上述场所中一般计算机等硬件基础配置也较低，运算能力差强人意，因此车辆召回率和车辆信息识别准确率都较低。

本发明中所述的目标车辆是指需要进行有效抓拍的一辆车。

针对上述问题本发明提供了一种车辆有效抓拍方法，如图1所示，其具体步骤包括：

S1对监控视频中的图像逐帧进行分析，识别目标车辆以及目标车辆在图像中所处的区域；具体地，首先截取监控视频中的视频流，然后利用车辆跟踪技术从图像内众多车辆中识别出目标车辆，然后用目标框框选出目标车辆在图像中所在的区域。本实施例中，利用训练好的人工智能神经网络YOLOv5模型对监控视频中的图像逐帧进行分析，并利用目标框框选出目标车辆在图像中所在的区域。图像左上角顶点为原点(0,0),横向为x轴,纵向为Y轴，目标框的标识方法为(x,y,width,height)。

S2将目标车辆进入监控视频的第一帧图像的帧信息作为缓存车辆帧信息，并依次逐帧将帧信息与设定的缓存条件进行对比，将符合缓存条件的帧信息更新为缓存车辆帧信息；所述与缓存条件进行对比包括车辆在图像中所在区域的大小、清晰度的对比；

本实施例中，所述缓存车辆帧信息包括但不限于帧ID标识（每一帧图像的标识）、帧时间（该帧拍摄的时间，可以是真实时间，也可以是虚拟时间）、车辆ID（抓拍的每一辆车的标识）、目标框大小（为了简便本实施例中是采用的目标框的宽度）、车辆图像清晰度评价值、车辆信息、更新次数（缓存帧信息更新的次数）、车辆信息识别次数（对同一目标车辆进行识别的次数）；所述车辆信息包括车牌信息、车牌得分、车辆颜色。

而缓存对比条件具体包括：车辆识别次数小于识别次数阈值（本实施例中取值3），并且动态目标框大小权重+动态目标框中车辆清晰度权重>更新阈值（本实施例取值0.85）；所述动态目标框大小权重为0.5*(当前车辆目标框宽度/缓存该车辆目标框宽度)，所述动态目标框中车辆清晰度权重=0.5*(当前帧车辆图像清晰度评价值/缓存该车辆图像清晰度评价值)。

本实施例中，利用公式

进行车辆图像清晰度评价，其中D(f)为清晰度评价值，函数f(x,y)代表图像在(x,y)坐标的灰度值。

例如，首先将目标车辆出现在监控视频的第一帧图像的帧信息作为初始的缓存车辆帧信息，然后依次逐帧将帧信息与设定的缓存条件进行对比，如果动态目标框大小权重+动态目标框中车辆清晰度权重小于或者等于0.85并且车辆识别次数小于3，那么进行下一帧对比；如果动态目标框大小权重+动态目标框中车辆清晰度权重大于0.85并且车辆识别次数小于3，就将该帧图像对应的帧信息更新为缓存车辆帧信息，然后再进行下一帧对比。

S3将第一条缓存车辆帧信息作为待上传车辆帧信息，并逐条将缓存车辆帧信息与设定的车辆识别条件进行对比，对符合车辆识别条件的缓存车辆帧信息所对应的图像进行车辆识别获取车辆信息，且利用该缓存车辆帧信息及获取的车辆信息对待上传车辆帧信息进行赋值；车辆识别条件具体包括：车辆识别次数小于识别次数阈值，并且缓存车辆帧信息中帧时间-待上传车辆帧信息中帧时间>更新周期阈值（本实施例中取值0.4s）。

例如，首先将第一条缓存车辆帧信息作为初始的待上传车辆帧信息，然后逐条将缓存车辆帧信息与设定的车辆识别条件进行对比，如果缓存车辆帧信息中帧时间减去待上传车辆帧信息中帧时间小于或者等于0.4秒并且车辆识别次数小于3，那么进行下一帧对比。缓存车辆帧信息中帧时间减去待上传车辆帧信息中帧时间实际上表达的是待上传车辆帧信息的更新周期。车辆信息识别的太频繁会加重***负担，过于稀疏又容易漏过清晰的画面。如果缓存车辆帧信息中帧时间减去待上传车辆帧信息中帧时间大于0.4秒并且车辆识别次数小于3，那么就会进行车辆信息识别。车辆信息识别完成后，识别出来的车辆信息会填写进该缓存车辆帧信息中。

车辆信息识别包括识别车牌信息，为车牌信息准确度打分得到车牌打分信息，识别车辆颜色。本实施例中，车牌打分同样是通过训练好的人工智能神经网络模型进行。

车辆信息识别后会产生三种情况：

1、如果车辆信息中的车牌信息提取不成功，则将该缓存车辆帧信息的更新次数赋值给待上传车辆帧信息，其余信息不变。

2、如果车辆信息中的车牌信息提取成功，但车牌得分低于或者等于待上传帧信息的车牌得分，则将该缓存车辆帧信息中的更新次数和车辆信息识别次数赋值给待上传车辆帧信息，其余信息不变。

3、如果车辆信息中的车牌信息提取成功，并且车牌得分高于待上传帧信息的车牌得分，则将该缓存车辆帧信息中所有信息赋值给待上传车辆帧信息，也包括刚识别到的车辆信息。

S4逐条将待上传车辆帧信息与设定的上传条件进行对比，将符合上传条件的待上传车辆帧信息上传。

所述上传条件具体为：

待上传车辆帧信息未上传，目标车辆处于将丢失状态；或者待上传车辆帧信息未上传，目标车辆处于跟踪状态并且车辆信息识别次数大于或者等于识别次数阈值。目标车辆状态包括出现、跟踪、将丢失三种，车辆会随时间在摄像头下运动从而位置不断变化。当目标车辆出现在摄像头视野中时，认为其状态为出现，之后利用多目标跟踪原理,在后面的时间找到该目标车辆，则认为其状态为跟踪，否则认为其状态为将丢失。

两个条件满足其一即可开始上传。上传成功后，在服务器上将该车辆信息上传情况设置成已上传状态，避免重复抓拍上传。

如图2所示，本发明还提供一种车辆有效抓拍***，包括：

图像获取单元，用于获取目标车辆的视频；

目标车辆所在区域识别单元，用于识别目标车辆以及该目标车辆在图像中所处的区域；

缓存车辆帧信息更新单元，用于将图像逐帧与缓存条件对比，并将满足条件的图像的帧信息作为缓存车辆帧信息；

车辆信息识别单元，用于对车辆信息进行识别，所述车辆信息包括车牌信息、车牌得分、车辆颜色；

待上传车辆帧信息更新单元，用于将缓存车辆帧信息逐条与车辆识别条件进行对比，并将满足条件的缓存车辆帧信息所对应的图像进行车辆信息识别，并利用该缓存车辆帧信息对待上传车辆帧信息进行赋值；

车辆帧信息上传单元，用于将上传车辆帧信息逐条与上传条件进行对比，并将满足条件的待上传车辆帧信息上传。

在车辆的有效抓拍中，最消耗***资源的是对车辆信息的识别即识别车牌、为车牌打分、识别车辆颜色。本发明中，限制车辆信息识别的次数，一旦超过预设值就停止识别并上传当前车辆信息。为了在限制识别次数的前提下提高抓拍成功率，本发明不断的进行信息对比和信息更新，力求找到最适合车辆信息识别的图像后再进行识别。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种车辆有效抓拍方法，其特征在于包括：

对监控视频中的图像逐帧进行分析，识别目标车辆以及目标车辆在图像中所处的区域；

将目标车辆进入监控视频的第一帧图像的帧信息作为该目标车辆的缓存车辆帧信息，并依次逐帧将帧信息与设定的缓存条件进行对比，将符合缓存条件的帧信息更新为缓存车辆帧信息；所述与设定的缓存条件进行对比包括车辆在图像中所在区域的大小、清晰度的对比；

将第一条缓存车辆帧信息作为待上传车辆帧信息，并逐条将缓存车辆帧信息与设定的车辆识别条件进行对比，对符合车辆识别条件的缓存车辆帧信息所对应的图像进行车辆识别获取车辆信息，且利用该缓存车辆帧信息及获取的车辆信息对待上传车辆帧信息进行赋值；

逐条将待上传车辆帧信息与设定的上传条件进行对比，将符合上传条件的待上传车辆帧信息上传。

2.根据权利要求1所述的一种车辆有效抓拍方法，其特征在于：利用目标框框选出目标车辆在图像中所处的区域。

3.根据权利要求2所述的一种车辆有效抓拍方法，其特征在于：利用训练好的YOLOv5模型对监控视频中的图像逐帧进行分析，并利用目标框框选出目标车辆在图像中所在的位置。

4.根据权利要求2所述的一种车辆有效抓拍方法，其特征在于：所述缓存车辆帧信息包括帧ID标识、帧时间、车辆ID、目标框大小、车辆图像清晰度评价值、车辆信息、更新次数、车辆信息识别次数；所述车辆信息包括车牌信息、车牌得分、车辆颜色。

5.根据权利要求2所述的一种车辆有效抓拍方法，其特征在于所述缓存条件包括：

车辆识别次数小于识别次数阈值，并且动态目标框大小权重+动态目标框中车辆清晰度权重>更新阈值；所述动态目标框大小权重为0.5*(当前车辆目标框宽度/缓存该车辆目标框宽度)，所述动态目标框中车辆清晰度权重=0.5*(当前帧车辆图像清晰度评价值/缓存该车辆图像清晰度评价值)。

6.根据权利要求4所述的一种车辆有效抓拍方法，其特征在于：

利用公式

进行车辆图像清晰度评价，其中D(f)为清晰度评价值，函数f(x,y)代表图像在(x,y)坐标的灰度值。

7.根据权利要求1所述的一种车辆有效抓拍方法，其特征在于所述车辆识别条件包括：

车辆识别次数小于识别次数阈值，并且缓存车辆帧信息中帧时间-待上传车辆帧信息中帧时间>更新周期阈值。

8.根据权利要求1所述的一种车辆有效抓拍方法，其特征在于所述利用该缓存车辆帧信息及获取的车辆信息对待上传车辆帧信息进行赋值包括：

如果车辆信息中的车牌信息提取不成功，则将该缓存车辆帧信息的更新次数赋值给待上传车辆帧信息；

如果车辆信息中的车牌信息提取成功，但车牌得分低于或者等于待上传帧信息的车牌得分，则将该缓存车辆帧信息中的更新次数和车辆信息识别次数赋值给待上传车辆帧信息；

如果车辆信息中的车牌信息提取成功，并且车牌得分高于待上传帧信息的车牌得分，则将该缓存车辆帧信息中所有信息赋值给待上传车辆帧信息。

9.根据权利要求1所述的一种车辆有效抓拍方法，其特征在于所述上传条件为：

待上传车辆帧信息未上传，目标车辆处于将丢失状态；或者，

待上传车辆帧信息未上传，目标车辆处于跟踪状态并且车辆信息识别次数大于或者等于识别次数阈值。

10.一种车辆有效抓拍***，其特征在于包括：

图像获取单元，用于获取目标车辆的视频；

目标车辆所在区域识别单元，用于识别目标车辆以及该目标车辆在图像中所处的区域；

缓存车辆帧信息更新单元，用于将图像逐帧与缓存条件对比，并将满足条件的图像的帧信息作为缓存车辆帧信息；

车辆信息识别单元，用于对车辆信息进行识别，所述车辆信息包括车牌信息、车牌得分、车辆颜色；

待上传车辆帧信息更新单元，用于将缓存车辆帧信息逐条与车辆识别条件进行对比，并将满足条件的缓存车辆帧信息所对应的图像进行车辆信息识别，并利用该缓存车辆帧信息对待上传车辆帧信息进行赋值；

车辆帧信息上传单元，用于将上传车辆帧信息逐条与上传条件进行对比，并将满足条件的待上传车辆帧信息上传。

Images