CN117011341A - 基于目标追踪的车辆轨迹检测方法及*** - Google Patents
基于目标追踪的车辆轨迹检测方法及*** Download PDFInfo
- Publication number
- CN117011341A CN117011341A CN202310999420.4A CN202310999420A CN117011341A CN 117011341 A CN117011341 A CN 117011341A CN 202310999420 A CN202310999420 A CN 202310999420A CN 117011341 A CN117011341 A CN 117011341A
- Authority
- CN
- China
- Prior art keywords
- target
- vehicle
- frame
- sequence
- kth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 11
- 238000004458 analytical method Methods 0.000 abstract description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于目标追踪的车辆轨迹检测方法及***,涉及轨迹检测技术领域,包括:目标运动车辆进行实时图像采集,获取目标图像序列,进行目标检测,获取车辆目标序列,以第一帧车辆目标为基准对车辆目标序列进行关键点匹配,生成目标***,应用于车辆目标序列,进行目标位置和状态的预测与更新,获取目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息,将车辆位置信息连接起来,生成车辆轨迹。本发明解决了传统的车辆检测方法通常只能在单张图像中检测车辆,无法提供车辆的运动信息,导致车辆在时间上的连续性定位和运动状态分析效果差、目标的外观和位置难以保持一致的技术问题。
Description
技术领域
本发明涉及轨迹检测技术领域,具体涉及基于目标追踪的车辆轨迹检测方法及***。
背景技术
在过去,基于传统的计算机视觉方法被广泛应用于车辆轨迹检测,这些方法通常依赖于手工设计的特征或者简单的运动模型,如帧差法、光流法和背景建模等,然而,这些方法往往对复杂场景下的遮挡、光照变化和目标形变等因素具有较弱的鲁棒性。
传统的车辆检测方法通常只能在单张图像中检测车辆,无法提供车辆的运动信息,并且多个目标可能发生相互遮挡、形变、尺度变化等情况,使得目标的外观和位置难以保持一致,进而导致车辆在时间上的连续性定位和运动状态分析效果差、目标的外观和位置难以保持一致。因此,对于车辆轨迹检测还存在着一定的可提升空间。
发明内容
本申请通过提供了基于目标追踪的车辆轨迹检测方法及***,旨在解决传统的车辆检测方法通常只能在单张图像中检测车辆,无法提供车辆的运动信息,并且多个目标可能发生相互遮挡、形变、尺度变化等情况,使得目标的外观和位置难以保持一致,进而导致车辆在时间上的连续性定位和运动状态分析效果差、目标的外观和位置难以保持一致的技术问题。
鉴于上述问题,本申请提供了基于目标追踪的车辆轨迹检测方法及***。
本申请公开的第一个方面,提供了基于目标追踪的车辆轨迹检测方法,所述方法包括:通过图像采集设备对目标运动车辆进行实时图像采集,获取目标图像序列;对所述目标图像序列进行目标检测,识别每帧图像中的车辆目标,获取车辆目标序列;根据所述车辆目标序列,提取第一帧车辆目标,以所述第一帧车辆目标为基准对所述车辆目标序列进行关键点匹配,生成目标***,其中,所述目标***与所述车辆目标序列的标识符相关联;将所述目标***应用于所述车辆目标序列,使用跟踪算法根据第k帧的特征和第k-1帧的跟踪结果进行目标位置和状态的预测与更新,获取目标跟踪结果;基于所述目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息;根据所述标识符,将所述车辆目标在连续帧中的所述车辆位置信息连接起来,生成车辆轨迹。
本申请公开的另一个方面,提供了基于目标追踪的车辆轨迹检测***,所述***用于上述方法,所述***包括:实时图像采集模块,所述实时图像采集模块用于通过图像采集设备对目标运动车辆进行实时图像采集,获取目标图像序列;目标检测模块,所述目标检测模块用于对所述目标图像序列进行目标检测,识别每帧图像中的车辆目标,获取车辆目标序列;关键点匹配模块,所述关键点匹配模块用于根据所述车辆目标序列,提取第一帧车辆目标,以所述第一帧车辆目标为基准对所述车辆目标序列进行关键点匹配,生成目标***,其中,所述目标***与所述车辆目标序列的标识符相关联;目标位置更新模块,所述目标位置更新模块用于将所述目标***应用于所述车辆目标序列,使用跟踪算法根据第k帧的特征和第k-1帧的跟踪结果进行目标位置和状态的预测与更新,获取目标跟踪结果;运动状态预测模块,所述运动状态预测模块用于基于所述目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息;车辆轨迹生成模块,所述车辆轨迹生成模块用于根据所述标识符,将所述车辆目标在连续帧中的所述车辆位置信息连接起来,生成车辆轨迹。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
目标运动车辆进行实时图像采集,获取目标图像序列,进行目标检测,获取车辆目标序列,以第一帧车辆目标为基准对车辆目标序列进行关键点匹配,生成目标***,应用于车辆目标序列,进行目标位置和状态的预测与更新,获取目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息,将车辆位置信息连接起来,生成车辆轨迹。解决了传统的车辆检测方法通常只能在单张图像中检测车辆,无法提供车辆的运动信息,并且多个目标可能发生相互遮挡、形变、尺度变化等情况,使得目标的外观和位置难以保持一致,进而导致车辆在时间上的连续性定位和运动状态分析效果差、目标的外观和位置难以保持一致的技术问题,实现了连续跟踪目标、关联目标在时间和空间上的一致性、处理多目标,进而达到提升车辆位置和运动轨迹的描述准确性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了基于目标追踪的车辆轨迹检测方法流程示意图;
图2为本申请实施例提供了基于目标追踪的车辆轨迹检测方法中获取车辆目标序列可能的流程示意图;
图3为本申请实施例提供了基于目标追踪的车辆轨迹检测方法中生成目标***可能的流程示意图;
图4为本申请实施例提供了基于目标追踪的车辆轨迹检测***可能的结构示意图。
附图标记说明:实时图像采集模块10,目标检测模块20,关键点匹配模块30,目标位置更新模块40,运动状态预测模块50,车辆轨迹生成模块60。
具体实施方式
本申请实施例通过提供基于目标追踪的车辆轨迹检测方法,解决了传统的车辆检测方法通常只能在单张图像中检测车辆,无法提供车辆的运动信息,并且多个目标可能发生相互遮挡、形变、尺度变化等情况,使得目标的外观和位置难以保持一致,进而导致车辆在时间上的连续性定位和运动状态分析效果差、目标的外观和位置难以保持一致的技术问题,实现了连续跟踪目标、关联目标在时间和空间上的一致性、处理多目标,进而达到提升车辆位置和运动轨迹的描述准确性的技术效果。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了基于目标追踪的车辆轨迹检测方法,所述方法包括:
步骤S100:通过图像采集设备对目标运动车辆进行实时图像采集,获取目标图像序列;
具体而言,根据需求选择合适的图像采集设备,例如摄像机或者视频采集卡等,将图像采集设备安装在适当的位置,如交通灯附近、路口或监控摄像头等区域,确保采集设备可以覆盖目标车辆的运动轨迹。启动图像采集设备,开始实时采集目标车辆的图像,图像采集设备每秒生成一系列连续的图像帧,形成目标图像序列。通过相应的传输技术,如网络传输,将采集到的图像实时传输到存储设备或计算机中进行处理和分析。
步骤S200:对所述目标图像序列进行目标检测,识别每帧图像中的车辆目标,获取车辆目标序列;
进一步而言,如图2所示,本申请步骤S200包括:
步骤S210:将所述目标图像序列输入目标检测模型,输出候选目标框和置信度分数;
步骤S220:对于每个候选目标框,根据所述置信度分数进行最大值筛选,保留高信度分数的目标框;
步骤S230:获取所述目标框对应的车辆目标及其位置信息,生成所述车辆目标序列。
具体而言,选择目标检测模型,如Faster R-CNN(更快速区域卷积神经网络,是一种经典的目标检测模型,采用两阶段的方式进行目标检测,分为区域生成网络和区域分类网络),该模型在深度学习和神经网络的基础上进行训练,能够有效地检测和定位多类别目标,包括车辆。将目标图像输入目标检测模型,模型对图像进行前向推断,产生候选目标框和相应的置信度分数,较高的置信度分数意味着模型对目标框所含目标的识别程度较高,根据模型的输出,可以获取每个图像中的候选目标框及其对应的置信度分数。
获取预先定义的阈值,该阈值的设定是根据具体需求和应用场景来决定的,较高的阈值可以保证目标框的准确性;较低的阈值会增加目标框的数量。对于每个候选目标框,获取其对应的置信度分数,将置信度分数与阈值进行比较,如果置信度分数大于等于阈值,则将该候选目标框视为高置信度的目标框,可以保留;如果置信度分数小于阈值,则将该候选目标框视为低置信度的目标框,可以丢弃或忽略,重复以上步骤,遍历所有候选目标框,筛选出所有高置信度的目标框。
针对保留的高信度目标框,从每个目标框中提取所需的信息,例如目标类别、位置信息等,对于目标类别,可以将其标识为车辆类别或其他所需的类别,从保留的目标框中提取位置信息,例如,以边界框的坐标表示,如左上角和右下角的坐标,这些位置信息可以用来确定车辆在图像中的位置和大小。将所提取的目标类别和位置信息按照时间的顺序进行排序,形成车辆目标序列。
步骤S300:根据所述车辆目标序列,提取第一帧车辆目标,以所述第一帧车辆目标为基准对所述车辆目标序列进行关键点匹配,生成目标***,其中,所述目标***与所述车辆目标序列的标识符相关联;
进一步而言,如图3所示,本申请步骤S300包括:
步骤S310:对所述车辆目标序列进行特征提取,获取多个关键点描述子;
步骤S320:以第一帧关键点描述子为基准,对后续帧中的多个关键点描述子进行比值测试;
步骤S330:为每个车辆目标分配一个标识符,根据标识符,将比值测试结果进行由大到小排序,生成目标***;
步骤S340:将生成的目标***与对应的车辆目标序列进行关联。
具体而言,从车辆目标序列中获取第一帧的车辆目标,针对每一帧的车辆目标,采用相应的特征提取算法,如SIFT(尺度不变特征变换,通过检测图像中的稳定关键点来提取对尺度、旋转、光照等因素具有鲁棒性的特征描述子),来提取关键点和其对应的关键点描述子,具体的,通过特征提取算法检测图像中具有较强结构或纹理的位置,这些位置就是关键点,对于每个关键点,提取一个该点周围区域的特征描述子。
使用第一帧中的关键点描述子作为基准,与后续帧中的多个车辆目标的关键点描述子进行比较,比较可以采用不同的度量方法,如欧式距离、相似度度量等,对于每个后续帧的关键点描述子,与第一帧的关键点描述子进行相似性比较,计算它们之间的距离或相似度分数。
为每个车辆目标分配一个唯一的标识符,可以使用整数或字符来表示,将比值测试的结果与车辆目标标识符进行关联,形成包含标识符和比值测试结果的结构。根据生成的目标***以及车辆目标序列中每个目标所对应的标识符,将其进行关联,可以使用字典、关联数组或者列表等数据结构来存储目标***和对应的车辆目标序列的关系,将目标***与车辆目标序列按照时间顺序进行匹配关联,确保以正确的顺序追踪和更新目标状态。
步骤S400:将所述目标***应用于所述车辆目标序列,使用跟踪算法根据第k帧的特征和第k-1帧的跟踪结果进行目标位置和状态的预测与更新,获取目标跟踪结果;
进一步而言,本申请步骤S400包括:
步骤S410:对第k帧图像中检测到的每个目标,进行特征提取,获取第k帧特征;
步骤S420:使用第k-1帧的跟踪结果,与所述第k帧特征建立初始目标关联;
步骤S430:基于所述初始目标关联,根据第k-1帧的跟踪结果的目标状态,对第k帧中未跟踪的目标进行预测,获取初始预测结果;
步骤S440:将第k帧特征与第k-1帧特征进行相似度匹配,根据匹配的结果,对所述初始预测结果进行状态更新,将更新的目标状态作为第k帧的跟踪结果。
具体而言,针对第k帧图像中检测到的每个目标,使用特征提取算法来提取关键点和其对应的关键点描述子,在目标区域寻找具有丰富纹理或结构信息的关键点。
基于第k-1帧的跟踪结果,与第k帧特征进行匹配,建立初始的目标关联,使用相似性度量,如相似度评分、相交比例等,衡量特征之间的匹配程度,将第k-1帧每个已跟踪目标的特征与第k帧中的所有特征进行相似度比较,并根据相似性得分选择最佳匹配,获取初始关联,这个初始关联可以作为后续跟踪算法的起点,用于预测和更新目标的位置和状态信息。
对于第k帧中未被跟踪的每个目标,利用第k-1帧的目标状态信息进行预测,示例性地,基于目标在第k-1帧中的位置、速度、加速度等信息,利用运动模型,如卡尔曼滤波,进行位置和状态的推测。
将第k帧中未被跟踪的目标的特征描述子与第k-1帧已跟踪目标的特征描述子进行相似度匹配,获取其相似程度,根据匹配结果,将初始预测结果进行状态更新,例如修正位置、速度、大小等目标状态,得到更新后的目标状态作为第k帧的目标跟踪结果,这样可以利用第k-1帧的跟踪结果和第k帧的特征信息来更精确地更新目标的位置和状态,以完成目标跟踪任务。
进一步而言,本申请步骤S440包括:
步骤S441:设置相似度阈值,将满足所述相似度阈值的匹配结果作为匹配成功目标;
步骤S442:利用匹配结果,获取第k帧目标观测值;
步骤S443:将所述第k帧目标观测值与所述初始预测结果进行比较,根据卡尔曼增益,更新所述初始预测结果;
步骤S444:根据更新结果对匹配成功的目标位置和速度进行修正,将修正的目标位置和速度作为第k帧的跟踪结果输出。
具体而言,在相似度匹配过程中,设定一个相似度阈值,该阈值用于筛选匹配结果中满足要求的相似度水平,如果匹配结果的相似度高于设定的阈值,则将该匹配结果视为匹配成功的目标,以此过滤掉不满足精确匹配要求的结果,保留相似度较高的匹配结果作为匹配成功的目标。
根据相似度匹配的成功结果,从第k帧的特征中提取与匹配成功目标相对应的特征点、区域或描述子等信息,这些提取到的特征将被视为目标在第k帧中的观测值,可用于进一步分析和更新目标状态。
将第k帧中的目标观测值与之前的初始预测结果进行比较,使用滤波方法,如卡尔曼滤波,利用观测值的准确性和预测值的可靠性来进行状态估计和预测的融合或修正。在更新过程中,根据卡尔曼滤波等方法得到的更新结果,修正匹配成功的目标的位置和速度等状态参数,修正后的目标位置和速度将作为第k帧的跟踪结果输出,用于进一步的目标分析、应用或展示。
通过上述步骤,实现目标跟踪算法中的关键环节,确保了在跨帧中准确地匹配目标并获取相应的目标观测信息,并通过滤波方法根据卡尔曼增益来更新和修正初始预测结果,这样可以更准确地估计目标的位置和速度等状态,并将修正后的目标位置和速度作为第k帧的跟踪结果输出。
进一步而言,本申请步骤S400还包括:
步骤S400-1:在每一帧中进行目标检测,确定出现和消失的目标;
步骤S400-2:对于每个检测到的目标,提取相应的特征并计算特征描述符;
步骤S400-3:基于所述特征描述符,使用数据关联方法将第j帧中的目标与第j-1帧中的目标进行匹配,获取匹配结果;
步骤S400-4:通过所述匹配结果,根据匹配的置信度,对所述初始预测结果进行修正。
具体而言,对于每一帧图像,在图像中进行目标检测操作,使用物体检测算法,如边缘检测等来识别和定位目标,通过目标检测算法,确定出现新的目标或消失的目标。
针对每个被检测到的目标,通过特征提取算法来捕捉目标的局部信息,从图像中提取具有区分度的局部特征,并计算出特征描述符,特征描述符是一种对特征进行数值化的方式,能够描述目标的形状、纹理、边缘等信息。
利用特征描述符,通过数据关联方法,如最近邻匹配,来将第j帧中的目标与第j-1帧中的目标进行匹配,以找到最佳的目标对应关系。利用匹配结果的置信度,例如匹配得分或距离,对初始预测结果进行修正,基于匹配结果中的目标对应关系,定义合适的权重和修正策略来更新初始预测的目标位置、速度等状态参数,以提高目标跟踪的准确性和鲁棒性。
步骤S500:基于所述目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息;
具体而言,汇总包括前几帧,例如前n帧,的目标跟踪结果和观测数据,作为历史信息,基于历史信息,使用适当的建模方法,如线性运动、非线性运动、加速度等,来推导车辆目标的运动模型,这个模型可以用来描述目标在时间上的位置和状态变化。基于目标运动模型和之前的目标状态,利用滤波方法,如卡尔曼滤波或粒子滤波,进行状态预测,根据当前的观测结果和历史信息,得到目标在第k帧的位置和状态的预测值。从状态预测结果中提取车辆的位置信息,如坐标、方向等,通过从状态向量中提取合适的参数值或检索位置信息,获得车辆的精确位置。
步骤S600:根据所述标识符,将所述车辆目标在连续帧中的所述车辆位置信息连接起来,生成车辆轨迹。
具体而言,在每一帧中,记录与车辆目标相关的位置信息,例如坐标,以及对应的帧数,这样就可以将车辆目标在不同帧之间的位置信息进行数字化记录,基于车辆目标的唯一标识符,将其在连续帧中的位置信息连接起来,通过匹配标识符,可以将相同车辆在不同帧之间的位置信息进行关联和组合。根据连接起来的车辆位置信息,生成车辆的轨迹,轨迹是描述车辆在时间上运动路径的序列。
过以上步骤,可以根据唯一标识符将车辆目标在连续帧中的位置信息连接起来,并最终生成车辆的轨迹,这样能够有效地跟踪车辆的运动,并提供可视化的轨迹信息,用于分析、预测或展示车辆在场景中的行为。
综上所述,本申请实施例所提供的基于目标追踪的车辆轨迹检测方法及***具有如下技术效果:
目标运动车辆进行实时图像采集,获取目标图像序列,进行目标检测,获取车辆目标序列,以第一帧车辆目标为基准对车辆目标序列进行关键点匹配,生成目标***,应用于车辆目标序列,进行目标位置和状态的预测与更新,获取目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息,将车辆位置信息连接起来,生成车辆轨迹。
解决了传统的车辆检测方法通常只能在单张图像中检测车辆,无法提供车辆的运动信息,并且多个目标可能发生相互遮挡、形变、尺度变化等情况,使得目标的外观和位置难以保持一致,进而导致车辆在时间上的连续性定位和运动状态分析效果差、目标的外观和位置难以保持一致的技术问题,实现了连续跟踪目标、关联目标在时间和空间上的一致性、处理多目标,进而达到提升车辆位置和运动轨迹的描述准确性的技术效果。
实施例二
基于与前述实施例中基于目标追踪的车辆轨迹检测方法相同的发明构思,如图4所示,本申请提供了基于目标追踪的车辆轨迹检测***,所述***包括:
实时图像采集模块10,所述实时图像采集模块10用于通过图像采集设备对目标运动车辆进行实时图像采集,获取目标图像序列;
目标检测模块20,所述目标检测模块20用于对所述目标图像序列进行目标检测,识别每帧图像中的车辆目标,获取车辆目标序列;
关键点匹配模块30,所述关键点匹配模块30用于根据所述车辆目标序列,提取第一帧车辆目标,以所述第一帧车辆目标为基准对所述车辆目标序列进行关键点匹配,生成目标***,其中,所述目标***与所述车辆目标序列的标识符相关联;
目标位置更新模块40,所述目标位置更新模块40用于将所述目标***应用于所述车辆目标序列,使用跟踪算法根据第k帧的特征和第k-1帧的跟踪结果进行目标位置和状态的预测与更新,获取目标跟踪结果;
运动状态预测模块50,所述运动状态预测模块50用于基于所述目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息;
车辆轨迹生成模块60,所述车辆轨迹生成模块60用于根据所述标识符,将所述车辆目标在连续帧中的所述车辆位置信息连接起来,生成车辆轨迹。
进一步而言,所述***还包括:
候选目标框获取模块,用于将所述目标图像序列输入目标检测模型,输出候选目标框和置信度分数;
最大值筛选模块,用于对于每个候选目标框,根据所述置信度分数进行最大值筛选,保留高信度分数的目标框;
目标序列生成模块,用于获取所述目标框对应的车辆目标及其位置信息,生成所述车辆目标序列。
进一步而言,所述***还包括:
特征提取模块,用于对所述车辆目标序列进行特征提取,获取多个关键点描述子;
比值测试模块,用于以第一帧关键点描述子为基准,对后续帧中的多个关键点描述子进行比值测试;
排序模块,用于为每个车辆目标分配一个标识符,根据标识符,将比值测试结果进行由大到小排序,生成目标***;
关联模块,用于将生成的目标***与对应的车辆目标序列进行关联。
进一步而言,所述***还包括:
目标特征提取模块,用于对第k帧图像中检测到的每个目标,进行特征提取,获取第k帧特征;
初始目标关联建立模块,用于使用第k-1帧的跟踪结果,与所述第k帧特征建立初始目标关联;
预测模块,用于基于所述初始目标关联,根据第k-1帧的跟踪结果的目标状态,对第k帧中未跟踪的目标进行预测,获取初始预测结果;
状态更新模块,用于将第k帧特征与第k-1帧特征进行相似度匹配,根据匹配的结果,对所述初始预测结果进行状态更新,将更新的目标状态作为第k帧的跟踪结果。
进一步而言,所述***还包括:
匹配成功目标获取模块,用于设置相似度阈值,将满足所述相似度阈值的匹配结果作为匹配成功目标;
观测值获取模块,用于利用匹配结果,获取第k帧目标观测值;
比较模块,用于将所述第k帧目标观测值与所述初始预测结果进行比较,根据卡尔曼增益,更新所述初始预测结果;
修正模块,用于根据更新结果对匹配成功的目标位置和速度进行修正,将修正的目标位置和速度作为第k帧的跟踪结果输出。
进一步而言,所述***还包括:
目标检测模块,用于在每一帧中进行目标检测,确定出现和消失的目标;
特征描述符获取模块,用于对于每个检测到的目标,提取相应的特征并计算特征描述符;
目标匹配模块,用于基于所述特征描述符,使用数据关联方法将第j帧中的目标与第j-1帧中的目标进行匹配,获取匹配结果;
预测结果修正模块,用于通过所述匹配结果,根据匹配的置信度,对所述初始预测结果进行修正。
本说明书通过前述对基于目标追踪的车辆轨迹检测方法的详细描述,本领域技术人员可以清楚地知道本实施例中基于目标追踪的车辆轨迹检测方法及***,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述得比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其他实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.基于目标追踪的车辆轨迹检测方法,其特征在于,所述方法包括:
通过图像采集设备对目标运动车辆进行实时图像采集,获取目标图像序列;
对所述目标图像序列进行目标检测,识别每帧图像中的车辆目标,获取车辆目标序列;
根据所述车辆目标序列,提取第一帧车辆目标,以所述第一帧车辆目标为基准对所述车辆目标序列进行关键点匹配,生成目标***,其中,所述目标***与所述车辆目标序列的标识符相关联;
将所述目标***应用于所述车辆目标序列,使用跟踪算法根据第k帧的特征和第k-1帧的跟踪结果进行目标位置和状态的预测与更新,获取目标跟踪结果;
基于所述目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息;
根据所述标识符,将所述车辆目标在连续帧中的所述车辆位置信息连接起来,生成车辆轨迹。
2.如权利要求1所述的方法,其特征在于,对所述目标图像序列进行目标检测,识别每帧图像中的车辆目标,获取车辆目标序列,包括:
将所述目标图像序列输入目标检测模型,输出候选目标框和置信度分数;
对于每个候选目标框,根据所述置信度分数进行最大值筛选,保留高信度分数的目标框;
获取所述目标框对应的车辆目标及其位置信息,生成所述车辆目标序列。
3.如权利要求1所述的方法,其特征在于,以所述第一帧车辆目标为基准对所述车辆目标序列进行关键点匹配,生成目标***,包括:
对所述车辆目标序列进行特征提取,获取多个关键点描述子;
以第一帧关键点描述子为基准,对后续帧中的多个关键点描述子进行比值测试;
为每个车辆目标分配一个标识符,根据标识符,将比值测试结果进行由大到小排序,生成目标***;
将生成的目标***与对应的车辆目标序列进行关联。
4.如权利要求1所述的方法,其特征在于,使用跟踪算法根据第k帧的特征和第k-1帧的跟踪结果进行目标位置和状态的预测与更新,获取目标跟踪结果,包括:
对第k帧图像中检测到的每个目标,进行特征提取,获取第k帧特征;
使用第k-1帧的跟踪结果,与所述第k帧特征建立初始目标关联;
基于所述初始目标关联,根据第k-1帧的跟踪结果的目标状态,对第k帧中未跟踪的目标进行预测,获取初始预测结果;
将第k帧特征与第k-1帧特征进行相似度匹配,根据匹配的结果,对所述初始预测结果进行状态更新,将更新的目标状态作为第k帧的跟踪结果。
5.如权利要求4所述的方法,其特征在于,将第k帧特征与第k-1帧特征进行相似度匹配,根据匹配的结果,对所述初始预测结果进行状态更新,包括:
设置相似度阈值,将满足所述相似度阈值的匹配结果作为匹配成功目标;
利用匹配结果,获取第k帧目标观测值;
将所述第k帧目标观测值与所述初始预测结果进行比较,根据卡尔曼增益,更新所述初始预测结果;
根据更新结果对匹配成功的目标位置和速度进行修正,将修正的目标位置和速度作为第k帧的跟踪结果输出。
6.如权利要求4所述的方法,其特征在于,使用跟踪算法根据第k帧的特征和第k-1帧的跟踪结果进行目标位置和状态的预测与更新,获取目标跟踪结果,还包括:
在每一帧中进行目标检测,确定出现和消失的目标;
对于每个检测到的目标,提取相应的特征并计算特征描述符;
基于所述特征描述符,使用数据关联方法将第j帧中的目标与第j-1帧中的目标进行匹配,获取匹配结果;
通过所述匹配结果,根据匹配的置信度,对所述初始预测结果进行修正。
7.基于目标追踪的车辆轨迹检测***,其特征在于,用于实施权利要求1-6任一项所述的基于目标追踪的车辆轨迹检测方法,包括:
实时图像采集模块,所述实时图像采集模块用于通过图像采集设备对目标运动车辆进行实时图像采集,获取目标图像序列;
目标检测模块,所述目标检测模块用于对所述目标图像序列进行目标检测,识别每帧图像中的车辆目标,获取车辆目标序列;
关键点匹配模块,所述关键点匹配模块用于根据所述车辆目标序列,提取第一帧车辆目标,以所述第一帧车辆目标为基准对所述车辆目标序列进行关键点匹配,生成目标***,其中,所述目标***与所述车辆目标序列的标识符相关联;
目标位置更新模块,所述目标位置更新模块用于将所述目标***应用于所述车辆目标序列,使用跟踪算法根据第k帧的特征和第k-1帧的跟踪结果进行目标位置和状态的预测与更新,获取目标跟踪结果;
运动状态预测模块,所述运动状态预测模块用于基于所述目标跟踪结果,利用历史信息和第k帧的观测结果,对车辆目标进行运动状态预测,获取车辆位置信息;
车辆轨迹生成模块,所述车辆轨迹生成模块用于根据所述标识符,将所述车辆目标在连续帧中的所述车辆位置信息连接起来,生成车辆轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310999420.4A CN117011341A (zh) | 2023-08-09 | 2023-08-09 | 基于目标追踪的车辆轨迹检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310999420.4A CN117011341A (zh) | 2023-08-09 | 2023-08-09 | 基于目标追踪的车辆轨迹检测方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117011341A true CN117011341A (zh) | 2023-11-07 |
Family
ID=88575872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310999420.4A Pending CN117011341A (zh) | 2023-08-09 | 2023-08-09 | 基于目标追踪的车辆轨迹检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117011341A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117557600A (zh) * | 2023-12-07 | 2024-02-13 | 深圳市昊瑞云技术有限公司 | 一种车载影像处理方法及*** |
-
2023
- 2023-08-09 CN CN202310999420.4A patent/CN117011341A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117557600A (zh) * | 2023-12-07 | 2024-02-13 | 深圳市昊瑞云技术有限公司 | 一种车载影像处理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113034548B (zh) | 一种适用于嵌入式终端的多目标跟踪方法及其*** | |
CN113674328B (zh) | 一种多目标车辆跟踪方法 | |
Teoh et al. | Symmetry-based monocular vehicle detection system | |
CN110197502B (zh) | 一种基于身份再识别的多目标跟踪方法及*** | |
CN106934817B (zh) | 基于多属性的多目标跟踪方法及装置 | |
CN110288627B (zh) | 一种基于深度学习和数据关联的在线多目标跟踪方法 | |
CN110751096B (zh) | 一种基于kcf轨迹置信度的多目标跟踪方法 | |
CN115240130A (zh) | 一种行人多目标跟踪方法、装置和计算机可读存储介质 | |
CN113379795B (zh) | 一种基于条件卷积和光流特征的多目标跟踪与分割方法 | |
CN110298248A (zh) | 一种基于语义分割的多目标跟踪方法及*** | |
CN117011341A (zh) | 基于目标追踪的车辆轨迹检测方法及*** | |
CN115375736A (zh) | 一种基于图像的行人轨迹跟踪方法和装置 | |
CN114820765A (zh) | 图像识别方法、装置、电子设备及计算机可读存储介质 | |
CN112949615B (zh) | 一种基于融合检测技术的多目标跟踪***及跟踪方法 | |
CN108346158B (zh) | 基于主块数据关联的多目标跟踪方法及*** | |
CN114066933A (zh) | 一种多目标跟踪方法、***及相关设备 | |
CN113920168A (zh) | 一种音视频控制设备中图像跟踪方法 | |
Sujatha et al. | An innovative moving object detection and tracking system by using modified region growing algorithm | |
CN118394134B (zh) | 基于云台控制的摄像头自动追踪方法及*** | |
Wan et al. | End-to-end multi-object tracking with global response map | |
Lee et al. | Tracking multiple moving vehicles in low frame rate videos based on trajectory information | |
Vaquero et al. | Fast Multi-Object Tracking with Feature Pyramid and Region Proposal Networks | |
Ali et al. | A fast approach for person detection and tracking | |
Brillantes et al. | Vehicle Tracking in Low Frame Rate Scenes using Instance Segmentation | |
Singh et al. | A Fast-Iterative Data Association Technique for Multiple Object Tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |