CN114495025A - 一种车辆识别方法、装置、电子设备及存储介质 - Google Patents
一种车辆识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114495025A CN114495025A CN202111658701.0A CN202111658701A CN114495025A CN 114495025 A CN114495025 A CN 114495025A CN 202111658701 A CN202111658701 A CN 202111658701A CN 114495025 A CN114495025 A CN 114495025A
- Authority
- CN
- China
- Prior art keywords
- detected
- video image
- vehicle
- image
- saturation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种车辆识别方法、装置、电子设备及存储介质,所述车辆识别方法,包括:获取待检测视频图像集合;针对待检测视频图像集合中的每一帧待检测视频图像,根据待检测视频图像的像素点的饱和度确定待检测视频图像的清晰度等级;将待检测视频图像输入清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息;将矫正后的图像特征信息输入预设车辆识别模型,获得待检测视频图像的车辆识别结果;依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据匹配结果生成车辆轨迹。
Description
技术领域
本申请涉及智能交通领域,尤其涉及一种车辆识别方法、装置、电子设备及存储介质。
背景技术
车辆跟踪是智能交通中一个重要功能,通过对摄像头拍摄的车辆视频中的车辆进行识别可以得到车辆运行轨迹,为后续分析车辆行为、识别异常车辆以及统计车流量等提供支撑。车辆跟踪一般是对车辆进行跨摄像头的跟踪,在不同摄像头拍摄视频图像中识别出相同车辆进行跟踪。
目前,车辆跟踪主要依赖与车辆检测、车辆识别和车辆融合三个子任务,其中,常用的车辆识别方法有深度学习算法,通过深度学习网络模型提取的特征能够更好地反应出目标车辆的特性。然而,现有的基于深度学习算法的车辆识别方法主要是针对正常天气条件下的车辆识别,对于恶劣天气条件下(如雾天)的车辆识别并不适用,识别的准确率较低。
发明内容
为了解决背景技术中的问题,本申请实施例提供了一种车辆识别方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种车辆识别方法,包括:
获取待检测视频图像集合;
针对所述待检测视频图像集合中的每一帧待检测视频图像,根据所述待检测视频图像的像素点的饱和度确定所述待检测视频图像的清晰度等级;
将所述待检测视频图像输入所述清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息,其中,不同清晰度等级对应的图像清晰度矫正模型是根据相应清晰度等级的样本图像集合中的每一样本图像对预设深度学习模型训练获得的;
将所述矫正后的图像特征信息输入预设车辆识别模型,获得所述待检测视频图像的车辆识别结果;
依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据所述匹配结果生成车辆轨迹。
在一种可能的实施方式中,依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,具体包括:
根据所述当前帧待检测视频图像的清晰度等级与预设车速回归预测模型预测当前车辆行驶速度;
针对当前帧待检测视频图像的车辆识别结果中包含的每一车辆特征,根据所述车辆行驶速度确定所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离;
根据预设滤波器以及所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离,预测所述车辆特征在下一帧待检测视频图像中的位置信息;
根据预测出的所述位置信息确定所述车辆特征在下一帧待检测视频图像中的目标匹配位置区间;
将所述车辆特征与所述目标匹配位置区间中的车辆特征进行匹配,获得匹配结果。
在一种可能的实施方式中,根据所述待检测视频图像的像素点的饱和度确定所述待检测视频图像的清晰度等级,具体包括:
分别确定所述待检测视频图像中各个像素点的饱和度值,以及预设参考图像中各个像素点的饱和度值,所述预设参考图像为所述待检测视频图像对应场景的清晰图像;
对所述待检测视频图像中各个像素点的饱和度值以及所述预设参考图像中各个像素点的饱和度值分别进行直方图统计,分别确定所述待检测视频图像以及所述预设参考图像中饱和度值落入设定至少两个饱和度区间中的各个饱和度区间内的像素点个数;
根据所述待检测视频图像中饱和度值落入所述各个饱和度区间内的像素点个数与所述预设参考图像中饱和度值落入所述各个饱和度区间内的像素点个数确定直方图偏移值;
根据所述直方图偏移值与预设各等级清晰度阈值确定所述待检测视频图像的清晰度等级。
在一种可能的实施方式中,根据所述待检测视频图像中饱和度值落入所述各个饱和度区间内的像素点个数与所述预设参考图像中饱和度值落入所述各个饱和度区间内的像素点个数确定直方图偏移值,具体包括:
通过以下公式计算所述直方图偏移:
其中,ΔHist表示所述直方图偏移值;
Hist_originali表示所述预设参考图像中饱和度值落入第i个饱和度区间内的像素点个数,n表示饱和度区间的个数;
Hist_curi表示所述待检测视频图像中饱和度值落入所述第i个饱和度区间内的像素点个数。
在一种可能的实施方式中,所述预设滤波器包括卡尔曼滤波器,所述预设车速回归预测模型为表征清晰度等级与车辆行驶速度之间的线性关系的线性回归模型。
第二方面,本申请实施例提供了一种车辆识别装置,包括:
获取单元,用于获取待检测视频图像集合;
确定单元,用于针对所述待检测视频图像集合中的每一帧待检测视频图像,根据所述待检测视频图像的像素点的饱和度确定所述待检测视频图像的清晰度等级;
矫正单元,用于将所述待检测视频图像输入所述清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息,其中,不同清晰度等级对应的图像清晰度矫正模型是根据相应清晰度等级的样本图像集合中的每一样本图像对预设深度学习模型训练获得的;
识别单元,用于将所述矫正后的图像特征信息输入预设车辆识别模型,获得所述待检测视频图像的车辆识别结果;
生成单元,用于依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据所述匹配结果生成车辆轨迹。
在一种可能的实施方式中,所述生成单元,具体用于:
根据所述当前帧待检测视频图像的清晰度等级与预设车速回归预测模型预测当前车辆行驶速度;
针对当前帧待检测视频图像的车辆识别结果中包含的每一车辆特征,根据所述车辆行驶速度确定所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离;
根据预设滤波器以及所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离,预测所述车辆特征在下一帧待检测视频图像中的位置信息;
根据预测出的所述位置信息确定所述车辆特征在下一帧待检测视频图像中的目标匹配位置区间;
将所述车辆特征与所述目标匹配位置区间中的车辆特征进行匹配,获得匹配结果。
在一种可能的实施方式中,所述确定单元,具体用于:
分别确定所述待检测视频图像中各个像素点的饱和度值,以及预设参考图像中各个像素点的饱和度值,所述预设参考图像为所述待检测视频图像对应场景的清晰图像;
对所述待检测视频图像中各个像素点的饱和度值以及所述预设参考图像中各个像素点的饱和度值分别进行直方图统计,分别确定所述待检测视频图像以及所述预设参考图像中饱和度值落入设定至少两个饱和度区间中的各个饱和度区间内的像素点个数;
根据所述待检测视频图像中饱和度值落入所述各个饱和度区间内的像素点个数与所述预设参考图像中饱和度值落入所述各个饱和度区间内的像素点个数确定直方图偏移值;
根据所述直方图偏移值与预设各等级清晰度阈值确定所述待检测视频图像的清晰度等级。
在一种可能的实施方式中,所述确定单元,具体用于:通过以下公式计算所述直方图偏移:
其中,ΔHist表示所述直方图偏移值;
Hist_originali表示所述预设参考图像中饱和度值落入第i个饱和度区间内的像素点个数,n表示饱和度区间的个数;
Hist_curi表示所述待检测视频图像中饱和度值落入所述第i个饱和度区间内的像素点个数。
在一种可能的实施方式中,所述预设滤波器包括卡尔曼滤波器,所述预设车速回归预测模型为表征清晰度等级与车辆行驶速度之间的线性关系的线性回归模型。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现本申请所述的车辆识别方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请所述的车辆识别方法中的步骤。
本申请实施例的有益效果如下:
本申请实施例提供的车辆识别方法中,车辆检测设备获取待检测视频图像集合,针对待检测视频图像集合中的每一帧待检测视频图像,根据待检测视频图像的像素点的饱和度确定待检测视频图像的清晰度等级,将待检测视频图像输入清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息,其中,不同清晰度等级对应的图像清晰度矫正模型是根据相应清晰度等级的样本图像集合中的每一样本图像对预设深度学习模型训练获得的,进而,将矫正后的图像特征信息输入预设车辆识别模型,获得待检测视频图像的车辆识别结果,依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据匹配结果生成车辆轨迹,相比于现有技术,本申请实施例中,预先根据不同清晰度等级的样本图像集合中的样本图像对预设深度学习进行训练获得不同清晰度等级对应的图像清晰度矫正模型,获取待检测视频图像集合后,先确定待检测视频图像的清晰度等级,根据确定的清晰度等级将待检测视频图像根据该清晰度等级对应的图像清晰度矫正模型进行清晰度矫正,得到待检测视频图像的矫正后再根据得到的矫正后的图像特征信息与预设车辆识别模型进行车辆识别,获得每一帧待检测视频图像的车辆识别结果,进而,依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据匹配结果生成车辆轨迹,本申请中,通过检测待检测视频图像的清晰度等级,融合该清晰度等级对应的图像清晰度矫正模型对图像特征进行还原,降低了由于恶劣天气条件下带来的特征不明显,特征区分度低而导致的无法检测出车辆和跟踪识别的风险,提高了车辆识别与轨迹跟踪的准确率。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的车辆识别方法的实施流程示意图;
图2为本申请实施例提供的确定待检测视频图像的清晰度等级的实施流程示意图;
图3为本申请实施例提供的生成车辆轨迹的实施流程示意图;
图4为本申请实施例提供的车辆识别装置的结构示意图;
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了解决背景技术中的问题,本申请实施例提供了一种车辆识别方法、装置、电子设备及存储介质。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示,为本申请实施例提供的车辆识别方法的实施流程示意图,可以包括以下步骤:
S11、获取待检测视频图像集合。
具体实施时,车辆检测设备获取目标检测路段中通过摄像头拍摄的待检测视频图像集合。
S12、针对待检测视频图像集合中的每一帧待检测视频图像,根据待检测视频图像的像素点的饱和度确定待检测视频图像的清晰度等级。
具体实施时,车辆检测设备针对待检测视频图像集合中的每一帧待检测视频图像,按照如图2所示的流程确定待检测视频图像的清晰度等级,可以包括以下步骤:
S121、分别确定检测图像中各个像素点的饱和度值,以及预设参考图像中各个像素点的饱和度值。
具体实施时,在目标检测路段设置的每一摄像头在天气条件良好时拍摄一张清晰图片作为该摄像头监控视频图像的参考图像,车辆检测设备在获取该摄像头拍摄的待检测视频图像时获取该参考图像,该参考图像即为待检测视频图像对应场景的清晰图像。
具体地,可以根据图像的各个像素点的RGB值计算各个像素点的HSV值,具体计算方式如下:
针对任一像素点,如果该像素点的R值是该像素点的R值、G值和B值中的最大值,则该像素点的H值为:(G-B)/[max(R,G,B)-min(R,G,B)],如果该像素点的G值是该像素点的R值、G值和B值中的最大值,则该像素点的H值为:2+(B-R)/[max(R,G,B)-min(R,G,B)],如果该像素点的B值是该像素点的R值、G值和B值中的最大值,则该像素点的H值为:4+(R-G)/[max(R,G,B)-min(R,G,B)];该像素点的H值为:max(R,G,B);该像素点的S值为:[max(R,G,B)-min(R,G,B)]/max(R,G,B),S值即为该像素点的饱和度值。
车辆检测设备通过上述计算方式分别计算出待检测视频图像中各个像素点的饱和度值,以及预设参考图像中各个像素点的饱和度值。
S122、对待检测视频图像中各个像素点的饱和度值以及预设参考图像中各个像素点的饱和度值分别进行直方图统计,分别确定待检测视频图像以及预设参考图像中饱和度值落入设定至少两个饱和度区间中的各个饱和度区间内的像素点个数。
具体实施时,车辆检测设备预设设定至少两个饱和度区间,例如,可以设置以下10个饱和度区间:[0,0.1)、[0.1,0.2)、[0.2,0.3)、[0.3,0.4)、[0.4,0.5)、[0.5,0.6)、[0.6,0.7)、[0.7,0.8)、[0.8,0.9)、[0.9,1],本申请实施例对此不作限制。
在具体实施过程中,假设待检测视频图像中某一像素点的饱和度值为0.55,则该像素点的饱和度值落入饱和度区间[0.5,0.6),分别统计待检测视频图像以及预设参考图像中饱和度值落入设定至少两个饱和度区间中的各个饱和度区间内的像素点个数,生成待检测视频图像以及预设参考图像各自对应的饱和度直方图。
S123、根据待检测视频图像中饱和度值落入各个饱和度区间内的像素点个数与预设参考图像中饱和度值落入各个饱和度区间内的像素点个数确定直方图偏移值。
具体实施时,通过以下公式计算待检测视频图像与预设参考图像之间的直方图偏移:
其中,ΔHist表示待检测视频图像与预设参考图像之间的直方图偏移值;
Hist_originali表示预设参考图像中饱和度值落入第i个饱和度区间内的像素点个数,n表示饱和度区间的个数;
Hist_curi表示待检测视频图像中饱和度值落入第i个饱和度区间内的像素点个数。
S124、根据直方图偏移值与预设各等级清晰度阈值确定待检测视频图像的清晰度等级。
具体实施时,车辆检测设备预先设置n个等级清晰度阈值:Th1~Thn,用于判定图像的清晰度等级,n的数值可自行设定,本申请实施例对此不作限定。图像的清晰度等级可以对应设置为n个等级,可表示为:1级、2级、……、n级,可以清晰度等级从1级~n级表示清晰度越来越低,1级为正常晴朗天气条件下摄像头拍摄的清晰图像,其清晰度最高,n级表示天气条件极恶劣条件下摄像头拍摄的图像。以雾天为例,雾越大,能见度越低,拍摄的图像的清晰度等级越低,清晰度等级的数值越高,例如,清晰度等级为2级的图像的清晰度大于清晰度等级为5级的图像的清晰度。
具体地,当确定计算的待检测视频图像与预设参考图像之间的直方图偏移值小于第一阈值Th1时,则确定待检测视频图像的清晰度等级为1级;当确定直方图偏移值小于第二阈值Th2时,则确定待检测视频图像的清晰度等级为2级;当确定直方图偏移值小于第三阈值Th3时,则确定待检测视频图像的清晰度等级为3级,……,依次类推,当确定直方图偏移值小于第n阈值Thn时,则确定待检测视频图像的清晰度等级为n级。
S13、将待检测视频图像输入所述清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息。
具体实施时,车辆检测设备预先设置了清晰度等级与图像清晰度矫正模型的对应关系,不同清晰度等级使用不同的图像清晰度矫正模型进行矫正,车辆检测设备根据确定的待检测视频图像的清晰度等级确定该清晰度等级对应的图像清晰度矫正模型,将待检测视频图像输入确定的图像清晰度矫正模型,获得矫正后的图像特征信息。其中,不同清晰度等级对应的图像清晰度矫正模型是根据相应清晰度等级的样本图像集合中的每一样本图像对预设深度学习模型训练获得的,其中,预设深度学习模型可以为任意深度学习模型,本申请实施例不对此作限定。
在实施时,在训练不同清晰度等级的图像清晰度矫正模型的过程中,分别获取不同清晰度等级的样本图像集合及各样本图像的清晰图像,根据不同清晰度等级的样本图像集合及各样本图像的清晰图像训练深度学习模型参数,可获得各个清晰度等级对应的图像清晰度矫正模型。其中,样本图像清晰度等级的划分与步骤S121~步骤S124中待检测视频图像的清晰度等级的确定方式相同,此处不作赘述。样本图像可采用不同程度雾天(或雾霾天、雨天等)天气条件下拍摄的图像,本申请实施例对此不作限定。
S14、将矫正后的图像特征信息输入预设车辆识别模型,获得待检测视频图像的车辆识别结果。
具体实施时,针对每一帧待检测视频图像,将该待检测视频图像矫正后的图像特征信息输入预设车辆识别模型,获得识别出的各车辆特征以及各车辆特征在该待检测视频图像中的位置信息,得到车辆识别结果。其中,预设车辆识别模型可以但不限于采用Encoder-Decoder、Unet等网络模型,本申请实施例对此不作限定。
S15、依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据匹配结果生成车辆轨迹。
具体实施时,按照如图3所示的流程生成车辆轨迹,可以包括以下步骤:
S151、根据当前帧待检测视频图像的清晰度等级与预设车速回归预测模型预测当前车辆行驶速度。
具体实施时,预设车速回归预测模型为表征清晰度等级与车辆行驶速度之间的线性关系的线性回归模型。可预先通过采集大量不同清晰度等级对应的天气条件下对应的车辆的行驶速度构建车速回归预测模型。
车辆检测设备车速回归预测模型根据当前帧待检测视频图像的清晰度等级可预测出该清晰度等级对应的车辆的行驶速度。
S152、针对当前帧待检测视频图像的车辆识别结果中包含的每一车辆特征,根据车辆行驶速度确定车辆特征对应车辆在下一帧待检测视频图像中的行驶距离。
具体实施时,车辆检测设备针对当前帧待检测视频图像的车辆识别结果中包含的每一车辆特征,将预测的车辆行驶速度成员当前帧待检测视频图像与下一帧待检测视频图像之间的时间间隔,计算得出该车辆特征对应车辆(即该车辆特征所表征的车辆)在下一帧待检测视频图像中的行驶距离。
S153、根据预设滤波器以及车辆特征对应车辆在下一帧待检测视频图像中的行驶距离,预测车辆特征在下一帧待检测视频图像中的位置信息。
具体实施时,其中,预设滤波器可以但不限于采用卡尔曼滤波器,本申请实施例对此不作限制,以卡尔曼滤波器为例进行说明:
针对当前帧待检测视频图像的车辆识别结果中包含的每一车辆特征,车辆检测设备根据卡尔曼滤波器以及计算出的该车辆特征对应车辆在下一帧待检测视频图像中的行驶距离,可预测出该车辆特征在下一帧待检测视频图像中的位置信息。
由于恶劣条件的天气(如大雾天)会对车辆的行驶速度造成影响,如果如考虑天气对车辆行驶速度的影响,使用卡尔曼滤波器对车辆特征在下一帧待检测视频图像中的位置的预测就不准确,基于此,本申请实施例中考虑了天气条件对图像清晰度等级的影响,首先基于清晰度等级与车速回归预测模型对当前车辆行驶速度进行预判,根据预测出的车辆行驶速度进一步计算出车辆从当前帧待检测视频图像到下一帧待检测视频图像的行驶距离,可以更精确地确定车辆特征的位置匹配范围,从而,对卡尔曼滤波器预测的位置进行修正,提高了车辆位置检测的准确性,进一步提高了车辆识别的准确性。
S154、根据预测出的位置信息确定车辆特征在下一帧待检测视频图像中的目标匹配位置区间。
具体实施时,在预测出该车辆特征在下一帧待检测视频图像中的位置信息后,可以该位置为中心点,以围绕该中心点周围预设的范围确定为目标匹配位置区间,例如,可以该位置为中心点,画一个矩形框,将该矩形框确定为目标匹配位置区间,矩形框的长、宽可自行进行设置,本申请实施例对此不作限定。
S155、将车辆特征与目标匹配位置区间中的车辆特征进行匹配,获得匹配结果。
具体实施时,根据每一车辆特征与其对应的目标匹配位置区间中的车辆特征的匹配结果,将每一帧待检测视频图像与下一帧待检测视频图像中匹配成功的车辆特征确定为同一车辆,生成每一车辆对应的车辆轨迹,即完成车辆跟踪。
本申请实施例提供的车辆识别方法中,车辆检测设备获取待检测视频图像集合,针对待检测视频图像集合中的每一帧待检测视频图像,根据待检测视频图像的像素点的饱和度确定待检测视频图像的清晰度等级,将待检测视频图像输入清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息,其中,不同清晰度等级对应的图像清晰度矫正模型是根据相应清晰度等级的样本图像集合中的每一样本图像对预设深度学习模型训练获得的,进而,将矫正后的图像特征信息输入预设车辆识别模型,获得待检测视频图像的车辆识别结果,依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据匹配结果生成车辆轨迹,相比于现有技术,本申请实施例中,预先根据不同清晰度等级的样本图像集合中的样本图像对预设深度学习进行训练获得不同清晰度等级对应的图像清晰度矫正模型,获取待检测视频图像集合后,先确定待检测视频图像的清晰度等级,根据确定的清晰度等级将待检测视频图像根据该清晰度等级对应的图像清晰度矫正模型进行清晰度矫正,得到待检测视频图像的矫正后再根据得到的矫正后的图像特征信息与预设车辆识别模型进行车辆识别,获得每一帧待检测视频图像的车辆识别结果,进而,依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据匹配结果生成车辆轨迹,本申请中,通过检测待检测视频图像的清晰度等级,融合该清晰度等级对应的图像清晰度矫正模型对图像特征进行还原,降低了由于恶劣天气条件下带来的特征不明显,特征区分度低而导致的无法检测出车辆和跟踪识别的风险,提高了车辆识别与轨迹跟踪的准确率。并且,本申请实施例中的图像清晰度矫正模型无需通过该模型得到清晰的视频图像,只需得到中间层的图像特征信息,将该图像特征信息传递给后面的车辆识别模型进行车辆的检测和车辆特征的提取,有效提高了整体算法的效率。
基于同一发明构思,本申请实施例还提供了一种车辆识别装置,由于上述车辆识别装置解决问题的原理与车辆识别方法相似,因此上述装置的实施可以参见方法的实施,重复之处不再赘述。
如图4所示,其为本申请实施例提供的车辆识别装置的结构示意图,可以包括:
获取单元21,用于获取待检测视频图像集合;
确定单元22,用于针对所述待检测视频图像集合中的每一帧待检测视频图像,根据所述待检测视频图像的像素点的饱和度确定所述待检测视频图像的清晰度等级;
矫正单元23,用于将所述待检测视频图像输入所述清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息,其中,不同清晰度等级对应的图像清晰度矫正模型是根据相应清晰度等级的样本图像集合中的每一样本图像对预设深度学习模型训练获得的;
识别单元24,用于将所述矫正后的图像特征信息输入预设车辆识别模型,获得所述待检测视频图像的车辆识别结果;
生成单元25,用于依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据所述匹配结果生成车辆轨迹。
在一种可能的实施方式中,所述生成单元25,具体用于:
根据所述当前帧待检测视频图像的清晰度等级与预设车速回归预测模型预测当前车辆行驶速度;
针对当前帧待检测视频图像的车辆识别结果中包含的每一车辆特征,根据所述车辆行驶速度确定所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离;
根据预设滤波器以及所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离,预测所述车辆特征在下一帧待检测视频图像中的位置信息;
根据预测出的所述位置信息确定所述车辆特征在下一帧待检测视频图像中的目标匹配位置区间;
将所述车辆特征与所述目标匹配位置区间中的车辆特征进行匹配,获得匹配结果。
在一种可能的实施方式中,所述确定单元22,具体用于:
分别确定所述待检测视频图像中各个像素点的饱和度值,以及预设参考图像中各个像素点的饱和度值,所述预设参考图像为所述待检测视频图像对应场景的清晰图像;
对所述待检测视频图像中各个像素点的饱和度值以及所述预设参考图像中各个像素点的饱和度值分别进行直方图统计,分别确定所述待检测视频图像以及所述预设参考图像中饱和度值落入设定至少两个饱和度区间中的各个饱和度区间内的像素点个数;
根据所述待检测视频图像中饱和度值落入所述各个饱和度区间内的像素点个数与所述预设参考图像中饱和度值落入所述各个饱和度区间内的像素点个数确定直方图偏移值;
根据所述直方图偏移值与预设各等级清晰度阈值确定所述待检测视频图像的清晰度等级。
在一种可能的实施方式中,所述确定单元22,具体用于:通过以下公式计算所述直方图偏移:
其中,ΔHist表示所述直方图偏移值;
Hist_originali表示所述预设参考图像中饱和度值落入第i个饱和度区间内的像素点个数,n表示饱和度区间的个数;
Hist_curi表示所述待检测视频图像中饱和度值落入所述第i个饱和度区间内的像素点个数。
在一种可能的实施方式中,所述预设滤波器包括卡尔曼滤波器,所述预设车速回归预测模型为表征清晰度等级与车辆行驶速度之间的线性关系的线性回归模型。
基于同一技术构思,本申请实施例还提供了一种电子设备300,参照图5所示,电子设备300用于实施上述方法实施例记载的车辆识别方法,该实施例的电子设备300可以包括:存储器301、处理器302以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如车辆识别程序。所述处理器执行所述计算机程序时实现上述各个车辆识别方法实施例中的步骤,例如图1所示的步骤S11。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如21。
本申请实施例中不限定上述存储器301、处理器302之间的具体连接介质。本申请实施例在图5中以存储器301、处理器302之间通过总线303连接,总线303在图5中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线303可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器301可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器301也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器301是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器301可以是上述存储器的组合。
处理器302,用于实现如图1所示的一种车辆识别方法,包括:
所述处理器302,用于调用所述存储器301中存储的计算机程序执行如图1中所示的步骤S11~S15。
本申请实施例还提供了一种计算机可读存储介质,存储为执行上述处理器所需执行的计算机可执行指令,其包含用于执行上述处理器所需执行的程序。
在一些可能的实施方式中,本申请提供的车辆识别方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使所述电子设备执行本说明书上述描述的根据本申请各种示例性实施方式的车辆识别方法中的步骤,例如,所述电子设备可以执行如图1中所示的步骤S11~S15。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种车辆识别方法,其特征在于,包括:
获取待检测视频图像集合;
针对所述待检测视频图像集合中的每一帧待检测视频图像,根据所述待检测视频图像的像素点的饱和度确定所述待检测视频图像的清晰度等级;
将所述待检测视频图像输入所述清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息,其中,不同清晰度等级对应的图像清晰度矫正模型是根据相应清晰度等级的样本图像集合中的每一样本图像对预设深度学习模型训练获得的;
将所述矫正后的图像特征信息输入预设车辆识别模型,获得所述待检测视频图像的车辆识别结果;
依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据所述匹配结果生成车辆轨迹。
2.如权利要求1所述的方法,其特征在于,依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,具体包括:
根据所述当前帧待检测视频图像的清晰度等级与预设车速回归预测模型预测当前车辆行驶速度;
针对当前帧待检测视频图像的车辆识别结果中包含的每一车辆特征,根据所述车辆行驶速度确定所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离;
根据预设滤波器以及所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离,预测所述车辆特征在下一帧待检测视频图像中的位置信息;
根据预测出的所述位置信息确定所述车辆特征在下一帧待检测视频图像中的目标匹配位置区间;
将所述车辆特征与所述目标匹配位置区间中的车辆特征进行匹配,获得匹配结果。
3.如权利要求1所述的方法,其特征在于,根据所述待检测视频图像的像素点的饱和度确定所述待检测视频图像的清晰度等级,具体包括:
分别确定所述待检测视频图像中各个像素点的饱和度值,以及预设参考图像中各个像素点的饱和度值,所述预设参考图像为所述待检测视频图像对应场景的清晰图像;
对所述待检测视频图像中各个像素点的饱和度值以及所述预设参考图像中各个像素点的饱和度值分别进行直方图统计,分别确定所述待检测视频图像以及所述预设参考图像中饱和度值落入设定至少两个饱和度区间中的各个饱和度区间内的像素点个数;
根据所述待检测视频图像中饱和度值落入所述各个饱和度区间内的像素点个数与所述预设参考图像中饱和度值落入所述各个饱和度区间内的像素点个数确定直方图偏移值;
根据所述直方图偏移值与预设各等级清晰度阈值确定所述待检测视频图像的清晰度等级。
5.如权利要求2所述的方法,其特征在于,所述预设滤波器包括卡尔曼滤波器,所述预设车速回归预测模型为表征清晰度等级与车辆行驶速度之间的线性关系的线性回归模型。
6.一种车辆识别装置,其特征在于,包括:
获取单元,用于获取待检测视频图像集合;
确定单元,用于针对所述待检测视频图像集合中的每一帧待检测视频图像,根据所述待检测视频图像的像素点的饱和度确定所述待检测视频图像的清晰度等级;
矫正单元,用于将所述待检测视频图像输入所述清晰度等级对应的图像清晰度矫正模型,获得矫正后的图像特征信息,其中,不同清晰度等级对应的图像清晰度矫正模型是根据相应清晰度等级的样本图像集合中的每一样本图像对预设深度学习模型训练获得的;
识别单元,用于将所述矫正后的图像特征信息输入预设车辆识别模型,获得所述待检测视频图像的车辆识别结果;
生成单元,用于依次将当前帧待检测视频图像的车辆识别结果与下一帧待检测视频图像的车辆识别结果进行匹配,获得匹配结果,根据所述匹配结果生成车辆轨迹。
7.如权利要求6所述的装置,其特征在于,所述生成单元,具体用于:
根据所述当前帧待检测视频图像的清晰度等级与预设车速回归预测模型预测当前车辆行驶速度;
针对当前帧待检测视频图像的车辆识别结果中包含的每一车辆特征,根据所述车辆行驶速度确定所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离;
根据预设滤波器以及所述车辆特征对应车辆在下一帧待检测视频图像中的行驶距离,预测所述车辆特征在下一帧待检测视频图像中的位置信息;
根据预测出的所述位置信息确定所述车辆特征在下一帧待检测视频图像中的目标匹配位置区间;
将所述车辆特征与所述目标匹配位置区间中的车辆特征进行匹配,获得匹配结果。
8.如权利要求6所述的装置,其特征在于,所述确定单元,具体用于:
分别确定所述待检测视频图像中各个像素点的饱和度值,以及预设参考图像中各个像素点的饱和度值,所述预设参考图像为所述待检测视频图像对应场景的清晰图像;
对所述待检测视频图像中各个像素点的饱和度值以及所述预设参考图像中各个像素点的饱和度值分别进行直方图统计,分别确定所述待检测视频图像以及所述预设参考图像中饱和度值落入设定至少两个饱和度区间中的各个饱和度区间内的像素点个数;
根据所述待检测视频图像中饱和度值落入所述各个饱和度区间内的像素点个数与所述预设参考图像中饱和度值落入所述各个饱和度区间内的像素点个数确定直方图偏移值;
根据所述直方图偏移值与预设各等级清晰度阈值确定所述待检测视频图像的清晰度等级。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~5任一项所述的车辆识别方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~5任一项所述的车辆识别方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111658701.0A CN114495025A (zh) | 2021-12-30 | 2021-12-30 | 一种车辆识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111658701.0A CN114495025A (zh) | 2021-12-30 | 2021-12-30 | 一种车辆识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114495025A true CN114495025A (zh) | 2022-05-13 |
Family
ID=81507424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111658701.0A Pending CN114495025A (zh) | 2021-12-30 | 2021-12-30 | 一种车辆识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114495025A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174814A (zh) * | 2022-07-29 | 2022-10-11 | 科大讯飞股份有限公司 | 对焦纸面及作业学情采集方法、装置、设备及存储介质 |
CN117694929A (zh) * | 2024-01-31 | 2024-03-15 | 深圳皓影医疗科技有限公司 | 一种血管内超声成像***及旋转回撤装置 |
-
2021
- 2021-12-30 CN CN202111658701.0A patent/CN114495025A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115174814A (zh) * | 2022-07-29 | 2022-10-11 | 科大讯飞股份有限公司 | 对焦纸面及作业学情采集方法、装置、设备及存储介质 |
CN115174814B (zh) * | 2022-07-29 | 2024-06-04 | 科大讯飞股份有限公司 | 对焦纸面及作业学情采集方法、装置、设备及存储介质 |
CN117694929A (zh) * | 2024-01-31 | 2024-03-15 | 深圳皓影医疗科技有限公司 | 一种血管内超声成像***及旋转回撤装置 |
CN117694929B (zh) * | 2024-01-31 | 2024-06-11 | 深圳皓影医疗科技有限公司 | 一种血管内超声成像***及旋转回撤装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
CN114495025A (zh) | 一种车辆识别方法、装置、电子设备及存储介质 | |
CN109558901B (zh) | 一种语义分割训练方法及装置、电子设备、存储介质 | |
US10937176B2 (en) | Object recognition apparatus | |
US20190311492A1 (en) | Image foreground detection apparatus and method and electronic device | |
WO2023221608A1 (zh) | 口罩识别模型的训练方法、装置、设备及存储介质 | |
CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
CN110766711A (zh) | 一种视频镜头分割方法、***、装置和存储介质 | |
CN111212241A (zh) | 基于图像梯度和熵融合的高速自动驾驶自动曝光控制方法 | |
CN111191482B (zh) | 一种刹车灯识别方法、装置及电子设备 | |
CN113792600B (zh) | 一种基于深度学习的视频抽帧方法和*** | |
CN110033425B (zh) | 干扰区域检测装置及方法、电子设备 | |
CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
CN112733864B (zh) | 模型训练方法、目标检测方法、装置、设备及存储介质 | |
CN111325178A (zh) | 警示物检测结果获取方法、装置、计算机设备和存储介质 | |
WO2020237501A1 (zh) | 一种多源协同道路车辆监控*** | |
CN116363628A (zh) | 标志检测方法、装置、非易失性存储介质及计算机设备 | |
US20240011792A1 (en) | Method and apparatus for updating confidence of high-precision map | |
CN112906495B (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
CN110751163A (zh) | 目标定位方法及其装置、计算机可读存储介质和电子设备 | |
CN114973205A (zh) | 一种红绿灯跟踪方法、装置、及无人驾驶汽车 | |
CN114373081A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
CN115410105A (zh) | 集装箱标记识别方法、装置、计算机设备和存储介质 | |
CN116596923B (zh) | 基于边缘检测的园林植物识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |