CN114998815B - 一种基于视频分析的交通车辆识别追踪方法及*** - Google Patents

一种基于视频分析的交通车辆识别追踪方法及*** Download PDF

Info

Publication number
CN114998815B
CN114998815B CN202210931367.XA CN202210931367A CN114998815B CN 114998815 B CN114998815 B CN 114998815B CN 202210931367 A CN202210931367 A CN 202210931367A CN 114998815 B CN114998815 B CN 114998815B
Authority
CN
China
Prior art keywords
image
license plate
video
vehicle
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210931367.XA
Other languages
English (en)
Other versions
CN114998815A (zh
Inventor
岳建明
杨睿
杨冬俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Sanleng Smartcity&iot System Co ltd
Original Assignee
Jiangsu Sanleng Smartcity&iot System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Sanleng Smartcity&iot System Co ltd filed Critical Jiangsu Sanleng Smartcity&iot System Co ltd
Priority to CN202210931367.XA priority Critical patent/CN114998815B/zh
Publication of CN114998815A publication Critical patent/CN114998815A/zh
Application granted granted Critical
Publication of CN114998815B publication Critical patent/CN114998815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频分析的交通车辆识别追踪方法及***，所述方法中包括：步骤1，提取第一视频和第二视频，所述第一视频和所述第二视频具有时空关联性；步骤2，针对第一视频，进行车辆识别；步骤3，针对第二视频，进行车辆识别；步骤4，在地图上标注上所识别成功的同一车牌车辆，按照所述第一视频和所述第二视频所具有的时空关联性在地图上进行标注点连接，得到车辆行驶轨迹，根据该车辆行驶轨迹完成车辆追踪。本发明通过融合改进的swin transformer深度学习模型和MapReduce框架下训练的AlexNet模型的方法，提高了车辆检测识别追踪的效率。

Description

一种基于视频分析的交通车辆识别追踪方法及***
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于视频分析的交通车辆识别追踪方法及***。
背景技术
传统的车辆识别技术大都是通过采集车辆相关图像数据，之后利用训练好的单一一种模型，统计分析处理所采集的车辆图像来实现车辆的识别，处理方法中多是通过对整个车牌图像进行识别来实现对车辆的追踪，例如：CN107273896A公开了一种基于图像识别的车牌检测识别方法，其车辆识别流程包含运动车辆检测、图像预处理、车牌定位、字符切分、字符识别等部分，在车辆检测过程中采用背景差分法进行提取，背景差分法采用混合高斯背景模型进行背景更新；在图像二值化预处理过程中，采用基于边缘检测二值化法进行预处理，在车牌定位过程中采用基于边缘检测和先验知识的车牌定位方法对车牌进行定位，在字符识别过程中采用BP神经网络字符识别方法来完成所有车牌字符的识别。但是该类方法使用模型单一，无法克服所使用的单一模型的缺点，此外，针对整块车牌直接进行检测会大大降低效率，不可能实现快速实时的针对车辆的检测追踪，准确度不高。
发明内容
针对现有技术中的以上缺陷，本发明的目的在于针对传统的车辆识别追踪技术存在的使用模型单一、识别效率低、准确性低、实时性低的缺点，提供一种基于视频分析的交通车辆识别追踪方法及***，通过融合改进的swin transformer深度学习模型和MapReduce框架下训练的AlexNet模型的方法，提高车辆检测识别追踪的效率。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种基于视频分析的交通车辆识别追踪方法，包括以下步骤：
步骤1，提取第一视频和第二视频，所述第一视频和所述第二视频具有时空关联性。
步骤2，针对第一视频，进行车辆识别，其中包括：
步骤2.1，以每秒1帧的帧率获取第一视频的视频帧图像，并进行归一化得到第一视频帧图像；
步骤2.2，使用改进的swin transformer深度学习模型对上述步骤2.1中的第一视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像1；
步骤2.3，构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像1进行快速分区分割，得到视频图像中的车牌参考灰度图像1；
步骤2.4，利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像1中的各个分区图像对应的车牌参考图像1进行识别分类，得到车牌目标，并在所述第一视频帧图像中对车牌目标做符号标识；其中，车牌参考图像1是车牌参考灰度图像1在原第一视频帧中对应位置的图像；
步骤2.5，当第一视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功。
步骤3，针对第二视频，进行车辆识别，其中包括：
步骤3.1，以每秒1帧的帧率获取第二视频的视频帧图像，并进行归一化得到第二视频帧图像；
步骤3.2，使用改进的swin transformer深度学习模型对第二视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像2；
步骤3.3，构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像2进行快速分割，得到视频图像中的车牌参考灰度图像2；
步骤3.4，利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应的车牌参考图像2进行识别分类，得到车牌目标，并在所述第二视频帧图像中对车牌目标做符号标识；其中，车牌参考图像2是车牌参考灰度图像2在原第二视频帧中对应位置的图像；
步骤3.5，当第二视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功。
步骤4，在地图上标注上述步骤2.5和上述步骤3.5中所识别成功的同一车牌车辆，按照所述第一视频和所述第二视频所具有的时空关联性在地图上进行标注点连接，得到车辆行驶轨迹，根据该车辆行驶轨迹完成车辆追踪。
进一步地，所述改进的swin transformer深度学习模型具体包括：在SwinTransformer中引入注意力机制模块，以及在Swin Transformer的PatchEmBed中引入多尺度混合卷积。
进一步地，所述步骤2.2，使用改进的swin transformer深度学习模型对上述步骤2.1中的第一视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像1，具体包括：将归一化后的第一视频帧图像输入改进的swin transformer深度学习模型进行检测，得到视频帧对应的车辆参考区域的图像后进行二值化，二值图像中将车辆区域的像素值置为1，非车辆区域的像素置为0。
步骤3.2，使用改进的swin transformer深度学习模型对第二视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像2，具体包括：将归一化后的第二视频帧图像输入改进的swin transformer深度学习模型进行检测，得到视频帧对应的车辆参考区域的图像后进行二值化，二值图像中将车辆区域的像素值置为1，非车辆区域的像素置为0。
进一步地，所述时空关联性具体包括时间顺序和空间位置关系。
进一步地，图像分割融合模型由VGG网络和U-Net组成，其中，VGG网络由VGG16的layer1，layer2，layer3，layer4，layer5组成。
进一步地，图像分割融合模型的损失函数Loss自定义为：
Figure 742535DEST_PATH_IMAGE001
通过最小化损失函数取得最优网络参数；其中，pred代表预测值的集合，true代表真实值的集合，α、γ作为调节系数，α=0.5，y代表标签，n表示类别数，如果类别i=1，那么yi=1，否则yi=0，pi表示对应类别输出的概率值，L1表示均方误差。
进一步地，利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像1中的各个分区图像对应的车牌参考图像1进行识别分类，得到车牌目标，并在所述第一视频帧图像中对车牌目标做符号标识，具体包括：找到车牌参考灰度图像1中的各个分区图像在第一视频帧中对应位置的车牌参考图像1，并对所有的车牌参考图像1进行归一化，之后输入到AlexNet模型，识别得到全部的车牌目标位置，并将全部的车牌目标位置在第一视频帧图像中进行符号标识。
利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应的车牌参考图像2进行识别分类，得到车牌目标，并在所述第二视频帧图像中对车牌目标做符号标识，具体包括：找到车牌参考灰度图像2中的各个分区图像在第二视频帧中对应位置的车牌参考图像2，并对所有的车牌参考图像2进行归一化，之后输入到AlexNet模型，识别得到全部的车牌目标位置，并将全部的车牌目标位置在第二视频帧图像中进行符号标识。
基于相同的发明构思，本发明公开的一种基于视频分析的交通车辆识别追踪***，用于实现所述的一种基于视频分析的交通车辆识别追踪方法，具体包括：
提取模块，用于提取第一视频和第二视频，所述第一视频和所述第二视频具有时空关联性。
识别模块1，用于针对第一视频，进行车辆识别，其中包括：
获取模块1，用于以每秒1帧的帧率获取第一视频的视频帧图像，并进行归一化得到第一视频帧图像；
改进模块1，用于使用改进的swin transformer深度学习模型对上述步骤2.1中的第一视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像1；
分割模块1，用于构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像1进行快速分区分割，得到视频图像中的车牌参考灰度图像1。
分类模块1，用于利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像1中的各个分区图像对应的车牌参考图像1进行识别分类，得到车牌目标，并在所述第一视频帧图像中对车牌目标做符号标识；其中，车牌参考图像1是车牌参考灰度图像1在原第一视频帧中对应位置的图像。
检测模块1，用于当第一视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功；
识别模块2，用于针对第二视频，进行车辆识别，其中包括：
获取模块2，用于以每秒1帧的帧率获取第二视频的视频帧图像，并进行归一化得到第二视频帧图像。
改进模块2，用于使用改进的swin transformer深度学习模型对第二视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像2；
分割模块2，用于构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像2进行快速分割，得到视频图像中的车牌参考灰度图像2。
分类模块2，用于利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应的车牌参考图像2进行识别分类，得到车牌目标，并在所述第二视频帧图像中对车牌目标做符号标识；其中，车牌参考图像2是车牌参考灰度图像2在原第二视频帧中对应位置的图像。
检测模块2，用于当第二视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功。
追踪模块，用于在地图上标注上述步骤2.5和上述步骤3.5中所识别成功的同一车牌车辆，按照所述第一视频和所述第二视频所具有的时空关联性在地图上进行标注点连接，得到车辆行驶轨迹，根据该车辆行驶轨迹完成车辆追踪。
基于相同的发明构思，本发明公开的一种基于视频分析的交通车辆识别追踪***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的一种基于视频分析的交通车辆识别追踪方法。
与现有技术相比，本发明的有益效果是：
1、创新的利用了swin transformer深度学习模型，增大了感受野和网络深度，抑制了干扰背景信息，提取了更为丰富的特征信息，从而增强了视觉表示能力，提高了识别速度和准确度。
2、通过融合改进的swin transformer深度学习模型和AlexNet模型的方式，有效克服了干扰性和使用模型单一的缺陷。
3、由于swin transformer拥有大吞吐量，大规模并行处理的能力，并且MapReduce框架可以提供分布式计算能力，依靠两种技术的结合，在本申请图像处理的各个阶段可以实现对图像的分布式并行处理，大大提高了车辆/车牌检测识别追踪的效率。
4、利用图像分割融合模型对车辆参考区域的灰度图像进行分区分割，之后利用AlexNet模型对各个分区图像对应的车牌参考图像进行识别分类，以此来实现对车辆的检测，通过该方式，有效的避免了针对整块车牌进行检测所导致的车辆识别效率低的问题。
附图说明
图1为本发明的方法流程图。
图2为图像分割融合模型的示意图。
具体实施方式
下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
如图1-图2所示，本实施例提供一种基于视频分析的交通车辆识别追踪方法，包括以下步骤：
步骤1，提取第一视频和第二视频，所述第一视频和所述第二视频具有时空关联性。
具体地，第一视频与第二视频均为道路上所涉及的监控视频，可以将监控视频裁剪成相应长度以方便后续处理分析，所述时空关联性具体包括时间顺序和空间位置关系。
步骤2，针对第一视频，进行车辆识别，其中包括：
步骤2.1，以每秒1帧的帧率获取第一视频的视频帧图像，并进行归一化得到第一视频帧图像；
具体地，在进行归一化之前还包括对获取的第一视频的视频帧图像进行预处理，预处理操作具体可以包括高斯滤波处理。
步骤2.2，使用改进的swin transformer深度学习模型对上述步骤2.1中的第一视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像1；
具体地，所述改进的swin transformer深度学习模型具体包括：在SwinTransformer中的MSA和MLP层加入通道注意力模块，以及在Swin Transformer的PatchEmBed中引入多尺度混合卷积。
步骤2.3，构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像1进行快速分区分割，得到视频图像中的车牌参考灰度图像1；
具体地，图像分割融合模型由VGG网络和U-Net组成，其中，VGG网络由VGG16的layer1，layer2，layer3，layer4，layer5组成。
步骤2.4，利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像1中的各个分区图像对应的车牌参考图像1进行识别分类，得到车牌目标，并在所述第一视频帧图像中对车牌目标做符号标识；其中，车牌参考图像1是车牌参考灰度图像1在原第一视频帧中对应位置的图像。
具体地，MapReduce作为一个并行程序设计模型与方法，它提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。本申请充分利用MapReduce框架提供的分布式计算能力来提高车辆/车牌检测识别追踪的效率。
步骤2.5，当第一视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功。
具体地，若连续的20帧图像中均出现了同一符号标识，则表明车辆识别成功。
步骤3，针对第二视频，进行车辆识别，其中包括：
步骤3.1，以每秒1帧的帧率获取第二视频的视频帧图像，并进行归一化得到第二视频帧图像；
具体地，在进行归一化之前还包括对获取的第一视频的视频帧图像进行预处理，预处理操作具体可以包括高斯滤波处理。
步骤3.2，使用改进的swin transformer深度学习模型对第二视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像2；
步骤3.3，构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像2进行快速分割，得到视频图像中的车牌参考灰度图像2；
步骤3.4，利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应的车牌参考图像2进行识别分类，得到车牌目标，并在所述第二视频帧图像中对车牌目标做符号标识；其中，车牌参考图像2是车牌参考灰度图像2在原第二视频帧中对应位置的图像；
步骤3.5，当第二视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功。
具体地，若连续的20帧图像中均出现了同一符号标识，则表明车辆识别成功。
步骤4，在地图上标注上述步骤2.5和上述步骤3.5中所识别成功的同一车牌车辆，按照所述第一视频和所述第二视频所具有的时空关联性在地图上进行标注点连接，得到车辆行驶轨迹，根据该车辆行驶轨迹完成车辆追踪。
具体地，在百度地图或高德地图上分别标注识别成功的车辆位置，基于时间顺序和空间位置关系，将该车辆的标注点进行顺序连接，从而得到车辆行驶轨迹，根据该车辆行驶轨迹完成车辆的追踪。
基于相同的发明构思，本发明实施例公开的一种基于视频分析的交通车辆识别追踪***，用于实现所述的一种基于视频分析的交通车辆识别追踪方法，具体包括：
提取模块，用于提取第一视频和第二视频，所述第一视频和所述第二视频具有时空关联性。
识别模块1，用于针对第一视频，进行车辆识别，其中包括：
获取模块1，用于以每秒1帧的帧率获取第一视频的视频帧图像，并进行归一化得到第一视频帧图像。
改进模块1，用于使用改进的swin transformer深度学习模型对上述步骤2.1中的第一视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像1。
分割模块1，用于构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像1进行快速分区分割，得到视频图像中的车牌参考灰度图像1。
分类模块1，用于利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像1中的各个分区图像对应的车牌参考图像1进行识别分类，得到车牌目标，并在所述第一视频帧图像中对车牌目标做符号标识；其中，车牌参考图像1是车牌参考灰度图像1在原第一视频帧中对应位置的图像。
检测模块1，用于当第一视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功。
识别模块2，用于针对第二视频，进行车辆识别，其中包括：
获取模块2，用于以每秒1帧的帧率获取第二视频的视频帧图像，并进行归一化得到第二视频帧图像。
改进模块2，用于使用改进的swin transformer深度学习模型对第二视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像2。
分割模块2，用于构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像2进行快速分割，得到视频图像中的车牌参考灰度图像2。
分类模块2，用于利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应的车牌参考图像2进行识别分类，得到车牌目标，并在所述第二视频帧图像中对车牌目标做符号标识；其中，车牌参考图像2是车牌参考灰度图像2在原第二视频帧中对应位置的图像。
检测模块2，用于当第二视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功。
追踪模块，用于在地图上标注上述步骤2.5和上述步骤3.5中所识别成功的同一车牌车辆，按照所述第一视频和所述第二视频所具有的时空关联性在地图上进行标注点连接，得到车辆行驶轨迹，根据该车辆行驶轨迹完成车辆追踪。
基于相同的发明构思，本发明实施例公开的一种基于视频分析的交通车辆识别追踪***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的一种基于视频分析的交通车辆识别追踪方法。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于视频分析的交通车辆识别追踪方法，其特征在于，包括：
步骤1，提取第一视频和第二视频，所述第一视频和所述第二视频具有时空关联性；
步骤2，针对第一视频，进行车辆识别，其中包括：
步骤2.1，以每秒1帧的帧率获取第一视频的视频帧图像，并进行归一化得到第一视频帧图像；
步骤2.2，使用改进的swin transformer深度学习模型对上述步骤2.1中的第一视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像1；
步骤2.3，构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像1进行快速分区分割，得到视频图像中的车牌参考灰度图像1；
步骤2.4，利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像1中的各个分区图像对应的车牌参考图像1进行识别分类，得到车牌目标，并在所述第一视频帧图像中对车牌目标做符号标识；其中，车牌参考图像1是车牌参考灰度图像1在原第一视频帧中对应位置的图像；
步骤2.5，当第一视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功；
步骤3，针对第二视频，进行车辆识别，其中包括：
步骤3.1，以每秒1帧的帧率获取第二视频的视频帧图像，并进行归一化得到第二视频帧图像；
步骤3.2，使用改进的swin transformer深度学习模型对第二视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像2；
步骤3.3，构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像2进行快速分割，得到视频图像中的车牌参考灰度图像2；
步骤3.4，利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应的车牌参考图像2进行识别分类，得到车牌目标，并在所述第二视频帧图像中对车牌目标做符号标识；其中，车牌参考图像2是车牌参考灰度图像2在原第二视频帧中对应位置的图像；
步骤3.5，当第二视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功；
步骤4，在地图上标注上述步骤2.5和上述步骤3.5中所识别成功的同一车牌车辆，按照所述第一视频和所述第二视频所具有的时空关联性在地图上进行标注点连接，得到车辆行驶轨迹，根据该车辆行驶轨迹完成车辆追踪；
所述改进的swin transformer深度学习模型包括：在Swin Transformer中引入注意力机制模块，以及在Swin Transformer的PatchEmBed中引入多尺度混合卷积；
图像分割融合模型由VGG网络和U-Net组成，其中，VGG网络由VGG16的layer1，layer2，layer3，layer4，layer5组成；
图像分割融合模型的损失函数Loss自定义为：
Figure 795736DEST_PATH_IMAGE001
通过最小化损失函数取得最优网络参数；其中，pred代表预测值的集合，true代表真实值的集合，α、γ作为调节系数，α=0.5，y代表标签，n表示类别数，如果类别i=1，那么yi=1，否则yi=0，pi表示对应类别输出的概率值，L1表示均方误差。
2.根据权利要求1所述的一种基于视频分析的交通车辆识别追踪方法，其特征在于，所述步骤2.2，使用改进的swin transformer深度学习模型对上述步骤2.1中的第一视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像1，具体包括：将归一化后的第一视频帧图像输入改进的swin transformer深度学习模型进行检测，得到视频帧对应的车辆参考区域的图像后进行二值化，二值图像中将车辆区域的像素值置为1，非车辆区域的像素值置为0；
步骤3.2，使用改进的swin transformer深度学习模型对第二视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像2，具体包括：将归一化后的第二视频帧图像输入改进的swin transformer深度学习模型进行检测，得到视频帧对应的车辆参考区域的图像后进行二值化，二值图像中将车辆区域的像素值置为1，非车辆区域的像素值置为0。
3.根据权利要求1所述的一种基于视频分析的交通车辆识别追踪方法，其特征在于，所述时空关联性具体包括时间顺序和空间位置关系。
4.根据权利要求1所述的一种基于视频分析的交通车辆识别追踪方法，其特征在于，利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像1中的各个分区图像对应的车牌参考图像1进行识别分类，得到车牌目标，并在所述第一视频帧图像中对车牌目标做符号标识，具体包括：找到车牌参考灰度图像1中的各个分区图像在第一视频帧中对应位置的车牌参考图像1，并对所有的车牌参考图像1进行归一化，之后输入到AlexNet模型，识别得到全部的车牌目标位置，并将全部的车牌目标位置在第一视频帧图像中进行符号标识；
利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应的车牌参考图像2进行识别分类，得到车牌目标，并在所述第二视频帧图像中对车牌目标做符号标识，具体包括：找到车牌参考灰度图像2中的各个分区图像在第二视频帧中对应位置的车牌参考图像2，并对所有的车牌参考图像2进行归一化，之后输入到AlexNet模型，识别得到全部的车牌目标位置，并将全部的车牌目标位置在第二视频帧图像中进行符号标识。
5.一种基于视频分析的交通车辆识别追踪***，其特征在于，用于实现根据权利要求1-4任一项所述的一种基于视频分析的交通车辆识别追踪方法，包括：
提取模块，用于提取第一视频和第二视频，所述第一视频和所述第二视频具有时空关联性；
识别模块1，用于针对第一视频，进行车辆识别，其中包括：
获取模块1，用于以每秒1帧的帧率获取第一视频的视频帧图像，并进行归一化得到第一视频帧图像；
改进模块1，用于使用改进的swin transformer深度学习模型对上述步骤2.1中的第一视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像1；
分割模块1，用于构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像1进行快速分区分割，得到视频图像中的车牌参考灰度图像1；
分类模块1，用于利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像1中的各个分区图像对应的车牌参考图像1进行识别分类，得到车牌目标，并在所述第一视频帧图像中对车牌目标做符号标识；其中，车牌参考图像1是车牌参考灰度图像1在原第一视频帧中对应位置的图像；
检测模块1，用于当第一视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功；
识别模块2，用于针对第二视频，进行车辆识别，其中包括：
获取模块2，用于以每秒1帧的帧率获取第二视频的视频帧图像，并进行归一化得到第二视频帧图像；
改进模块2，用于使用改进的swin transformer深度学习模型对第二视频帧图像进行自动识别，得到包含车辆参考区域的灰度图像2；
分割模块2，用于构建图像分割融合模型，利用图像分割融合模型对车辆参考区域的灰度图像2进行快速分割，得到视频图像中的车牌参考灰度图像2；
分类模块2，用于利用MapReduce框架训练AlexNet模型，生成针对图像集合分类的AlexNet；利用MapReduce结合训练后的AlexNet模型对车牌参考灰度图像2中的各个分图像对应的车牌参考图像2进行识别分类，得到车牌目标，并在所述第二视频帧图像中对车牌目标做符号标识；其中，车牌参考图像2是车牌参考灰度图像2在原第二视频帧中对应位置的图像；
检测模块2，用于当第二视频流中车牌目标的符号标识在相同或附近位置连续出现的帧数达到预设值，则车辆识别成功；
追踪模块，用于在地图上标注上述步骤2.5和上述步骤3.5中所识别成功的同一车牌车辆，按照所述第一视频和所述第二视频所具有的时空关联性在地图上进行标注点连接，得到车辆行驶轨迹，根据该车辆行驶轨迹完成车辆追踪。
6.一种基于视频分析的交通车辆识别追踪***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-4任一项所述的一种基于视频分析的交通车辆识别追踪方法。
CN202210931367.XA 2022-08-04 2022-08-04 一种基于视频分析的交通车辆识别追踪方法及*** Active CN114998815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210931367.XA CN114998815B (zh) 2022-08-04 2022-08-04 一种基于视频分析的交通车辆识别追踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210931367.XA CN114998815B (zh) 2022-08-04 2022-08-04 一种基于视频分析的交通车辆识别追踪方法及***

Publications (2)

Publication Number Publication Date
CN114998815A CN114998815A (zh) 2022-09-02
CN114998815B true CN114998815B (zh) 2022-10-25

Family

ID=83023197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210931367.XA Active CN114998815B (zh) 2022-08-04 2022-08-04 一种基于视频分析的交通车辆识别追踪方法及***

Country Status (1)

Country Link
CN (1) CN114998815B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171029B (zh) * 2022-09-09 2022-12-30 山东省凯麟环保设备股份有限公司 基于无人驾驶的城市场景下的实例分割方法及***
CN115844424B (zh) * 2022-10-17 2023-09-22 北京大学 一种睡眠纺锤波分级识别方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836699A (zh) * 2020-11-30 2021-05-25 爱泊车美好科技有限公司 一种基于长时多目标跟踪的泊位出入场事件分析方法
CN113705577A (zh) * 2021-04-23 2021-11-26 中山大学 一种基于深度学习的车牌识别方法
CN113936222A (zh) * 2021-09-18 2022-01-14 北京控制工程研究所 一种基于双分支输入神经网络的火星地形分割方法
CN114724131A (zh) * 2022-04-01 2022-07-08 北京明略昭辉科技有限公司 一种车辆追踪方法、装置、电子设备及存储介质
CN114782901B (zh) * 2022-06-21 2022-09-09 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114998815A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
Yuan et al. An incremental framework for video-based traffic sign detection, tracking, and recognition
CN114998815B (zh) 一种基于视频分析的交通车辆识别追踪方法及***
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Zhang et al. Ripple-GAN: Lane line detection with ripple lane line detection network and Wasserstein GAN
US8509478B2 (en) Detection of objects in digital images
CN110119726B (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
Dehghan et al. View independent vehicle make, model and color recognition using convolutional neural network
CN103077407B (zh) 车标定位识别方法及***
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
CN103093201B (zh) 车标定位识别方法及***
Yang et al. Tracking based multi-orientation scene text detection: A unified framework with dynamic programming
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN112966631A (zh) 一种无限制安防场景下的车牌检测识别***及其方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
Hatolkar et al. A survey on road traffic sign recognition system using convolution neural network
Gad et al. Real-time lane instance segmentation using SegNet and image processing
Latha et al. Image understanding: semantic segmentation of graphics and text using faster-RCNN
Khan et al. A novel deep learning based anpr pipeline for vehicle access control
Lee et al. License plate detection via information maximization
Kiew et al. Vehicle route tracking system based on vehicle registration number recognition using template matching algorithm
CN112418207A (zh) 一种基于自注意力蒸馏的弱监督文字检测方法
CN114359493B (zh) 一种用于无人船生成三维语义地图的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant