CN117557596A - 静态物体跟踪及集成方法、装置、介质、设备和程序产品 - Google Patents

静态物体跟踪及集成方法、装置、介质、设备和程序产品 Download PDF

Info

Publication number
CN117557596A
CN117557596A CN202311522020.0A CN202311522020A CN117557596A CN 117557596 A CN117557596 A CN 117557596A CN 202311522020 A CN202311522020 A CN 202311522020A CN 117557596 A CN117557596 A CN 117557596A
Authority
CN
China
Prior art keywords
frame
target detection
matrix
picture
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311522020.0A
Other languages
English (en)
Inventor
张毅
盖晁旭
刘巍
肖旭
车珊珊
宋向勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN202311522020.0A priority Critical patent/CN117557596A/zh
Publication of CN117557596A publication Critical patent/CN117557596A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车载摄像头静态物体的跟踪及集成方法、装置、介质、设备和程序产品，属于图像处理技术领域。该方法主要包括：获取多帧车载摄像头拍摄的包含待识别目标的图片，利用目标检测，从两帧图片中检测出待识别目标的目标检测框；利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵；根据最佳投影矩阵，计算得到待识别目标的预测框，利用预测框和第二目标检测框计算得到欧式距离代价矩阵；通过匈牙利匹配，利用欧式距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。本申请能够在节省开发成本和算力资源的条件下，更好的实现对静态物体的跟踪。

Description

静态物体跟踪及集成方法、装置、介质、设备和程序产品
技术领域
本申请涉及图像处理技术领域，特别涉及一种车载摄像头静态物体的跟踪及集成方法、装置、存储介质、电子设备和计算机程序产品。
背景技术
众源成图是一种地图数据采集生产模式。在这种模式下，通过不同的移动设备或其他设备采集的视觉信息被作为地图数据，这些采集到的信息将被上传到互联网平台上以进行数据处理。互联网平台利用云计算技术处理和存储这些数据，并使用人工智能和机器学习算法进行数据的筛选和验证，以确保根据所上传的数据生成的地图的准确性和质量。在众源地图的变化发现技术中，技术人员通常用AI感知技术对已知地理位置的工单(连续轨迹)的图片进行感知，通过感知能够发现地图要素的新增、删除和变化，将感知结果再经过人工核对就完成了地图的制作。众源成图方式能够实现低成本高自动化的地图更新，但由于AI感知技术是对车载摄像头采集到的连续图片进行感知从而进行地图数据的更新，因此需要采用跟踪算法对前后帧的同一物体进行关联去重，以减少同一物体重复报出量，从而提高自动化程度并节省人力成本，即多张图片中可能识别轨迹上同一个交通要素。因此，工单级别的跟踪算法对众源成图技术链的意义重大。
出于成本原因，被上传的视频数据通常被不规则抽帧形成连续且稀疏的图片进行数据处理，而在利用图片进行数据处理时，由于不同设备的内外参不同且缺乏可靠的精准定位信息和运动信息，以及，由于三维视角的变换，图像中目标物体的视觉特征通常会随之发生改变，因此，传统的跟踪算法无法很好的进行目标物体的跟踪。
发明内容
针对现有技术存在的无法很好实现静态物体的跟踪的问题，本申请主要提供一种车载摄像头静态物体的跟踪及集成方法、装置、存储介质、电子设备和计算机程序产品。
为了实现上述目的，本申请采用的第一个技术方案是提供一种车载摄像头静态物体的跟踪及集成方法，其包括：获取多帧车载摄像头拍摄的包含待识别目标的图片，并利用目标检测，从两帧图片中检测出待识别目标的目标检测框；利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵；根据最佳投影矩阵，计算得到待识别目标的预测框，并利用预测框和第二目标检测框计算得到欧式距离代价矩阵；通过匈牙利匹配，利用欧式距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。
可选的，车载摄像头静态物体的跟踪及集成方法，还包括：将未匹配的第一目标检测框作为未匹配轨迹进行保存，并在对当前帧图片进行下一次匹配时，将未匹配轨迹与下一帧图片中的目标检测框进行匹配。
可选的，车载摄像头静态物体的跟踪及集成方法，还包括：当未匹配轨迹在预定帧数内未成功进行匹配，则删除所存储的未匹配轨迹。
可选的，利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵，包括：当当前帧图片和当前帧的下一帧图片中仅识别出一个目标检测框时，最佳投影矩阵为0矩阵。
可选的，利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵，包括：当当前帧图片和当前帧的下一帧图片中识别出多个目标检测框时，分别从多个第一目标检测框中和多个第二目标检测框中随机选取一个第一检测框和第二检测框；根据第一检测框和第二检测框的角点之间的对应关系，计算得到第一检测框和第二检测框之间的单应性矩阵；利用单应性矩阵，将多个第一目标检测框投影至当前帧的下一帧图片中，得到多个第一目标投影框；利用包含距离匹配限制的匈牙利算法，进行多个第一目标投影框与多个第二目标检测框之间的匹配，并根据匹配结果计算第一目标投影框与第二目标检测框之间的总投影误差矩阵；遍历多个第一目标检测框和多个第二目标检测框之间的全部匹配情况，当总投影误差矩阵小于预设的最优投影误差矩阵时，将总投影误差矩阵作为最优投影误差矩阵，并将单应性矩阵作为最佳投影矩阵。
可选的，根据最佳投影矩阵，计算得到待识别目标的预测框，并利用预测框和第二目标检测框计算得到欧式距离代价矩阵包括：在最佳投影矩阵为0矩阵时，第一目标检测框是待识别目标的预测框；利用第一目标检测框和第二目标检测框计算得到欧式距离代价矩阵和纵轴距离代价矩阵。
可选的，通过匈牙利匹配，利用欧式距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配，包括：通过匈牙利匹配，利用欧式距离代价矩阵和纵轴距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。
可选的，根据最佳投影矩阵，计算得到待识别目标的预测框，并利用预测框和第二目标检测框计算得到欧式距离代价矩阵，包括：在最佳投影矩阵为非0矩阵时，将利用最佳投影矩阵投影至当前帧的下一帧图片上的第一目标投影框作为预测框，并利用第一目标投影框和第二目标检测框计算得到欧式距离代价矩阵。
本申请采用的第二个技术方案是：提供一种车载摄像头静态物体的跟踪及集成装置，其包括：目标检测框获取模块，其用于获取多帧车载摄像头拍摄的包含待识别目标的图片，并利用目标检测，从两帧图片中检测出待识别目标的目标检测框；最佳投影矩阵计算模块，其用于利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵；匹配模块，其用于根据最佳投影矩阵，计算得到待识别目标的预测框，并利用预测框和第二目标检测框计算得到欧式距离代价矩阵；以及，通过匈牙利匹配，利用欧式距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。可选的，车载摄像头静态物体的跟踪及集成装置，还包括，用于将未匹配的第一目标检测框作为未匹配轨迹进行保存，并在对投影当前帧图片进行下一次匹配时，将投影未匹配轨迹与下一帧图片中的目标检测框进行匹配的模块。
可选的，车载摄像头静态物体的跟踪及集成装置，还包括：用于将未匹配的第一目标检测框作为未匹配轨迹进行保存，并在对当前帧图片进行下一次匹配时，将未匹配轨迹与下一帧图片中的目标检测框进行匹配的模块。
可选的，车载摄像头静态物体的跟踪及集成装置，还包括：用于当未匹配轨迹在预定帧数内未成功进行匹配，则删除所存储的未匹配轨迹的模块。
可选的，最佳投影矩阵计算模块，包括：当当前帧图片和当前帧的下一帧图片中仅识别出一个目标检测框时，最佳投影矩阵为0矩阵。
可选的，最佳投影矩阵计算模块，包括：当当前帧图片和当前帧的下一帧图片中识别出多个目标检测框时，分别从多个第一目标检测框中和多个第二目标检测框中随机选取一个第一检测框和第二检测框；根据第一检测框和第二检测框的角点之间的对应关系，计算得到第一检测框和第二检测框之间的单应性矩阵；利用单应性矩阵，将多个第一目标检测框投影至当前帧的下一帧图片中，得到多个第一目标投影框；利用包含距离匹配限制的匈牙利算法，进行多个第一目标投影框与多个第二目标检测框之间的匹配，并根据匹配结果计算第一目标投影框与第二目标检测框之间的总投影误差矩阵；遍历多个第一目标检测框和多个第二目标检测框之间的全部匹配情况，当总投影误差矩阵小于预设的最优投影误差矩阵时，将总投影误差矩阵作为最优投影误差矩阵，并将单应性矩阵作为最佳投影矩阵。
可选的，匹配模块包括：在最佳投影矩阵为0矩阵时，第一目标检测框是待识别目标的预测框；利用第一目标检测框和第二目标检测框计算得到欧式距离代价矩阵和纵轴距离代价矩阵。
可选的，匹配模块包括：通过匈牙利匹配，利用欧式距离代价矩阵和纵轴距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。
可选的，匹配模块包括：在最佳投影矩阵为非0矩阵时，将利用最佳投影矩阵投影至当前帧的下一帧图片上的第一目标投影框作为预测框，并利用第一目标投影框和第二目标检测框计算得到欧式距离代价矩阵。
本申请采用的第三个技术方案是：提供一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令***作以执行方案一中的车载摄像头静态物体的跟踪及集成方法。
本申请采用的第四个技术方案是：提供一种计算机设备，包括存储器、处理器以及存储在存储器上的计算机程序，该处理器执行计算机程序以实现方案一中的车载摄像头静态物体的跟踪及集成方法。
本申请采用的第五个技术方案是：提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如方案一中的车载摄像头静态物体的跟踪及集成方法。
本申请的技术方案可以达到的有益效果是：通过对连续多帧图片中的目标物体更好的进行追踪，能够有效的减少同一物体重复报出量，从而提高自动化程度并节省人力成本，同时保证所生产地图的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一种车载摄像头静态物体的跟踪及集成方法的一个具体实施方式的示意图；
图2是本申请一种车载摄像头静态物体的跟踪及集成装置的一个具体实施方式的示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
下面结合附图对本申请的较佳实施例进行详细阐述，以使本申请的优点和特征能更易于被本领域技术人员理解，从而对本申请的保护范围做出更为清楚明确的界定。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面，以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面述及的具体的实施例可以相互结合形成新的实施例。对于在一个实施例中描述过的相同或相似的思想或过程，可能在其他某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1示出了本申请一种车载摄像头静态物体的跟踪及集成方法的一个实施方式。
图1所示的车载摄像头静态物体的跟踪及集成方法，包括：步骤S101，获取多帧车载摄像头拍摄的包含待识别目标的图片，并利用目标检测，从两帧图片中检测出待识别目标的目标检测框；
步骤S102，利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵；
步骤S103，根据最佳投影矩阵，计算得到待识别目标的预测框，并利用预测框和第二目标检测框计算得到欧式距离代价矩阵；
步骤S104，通过匈牙利匹配，利用欧式距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。
该具体实施方式，以三维视觉中的单应性变换为核心思路进行轨迹预测，因为考虑了三维空间信息，相比卡尔曼滤波或者以特征匹配为主的传统跟踪算法，在进行车载摄像头所拍摄的图片中的静态物体的跟踪中具有更好的跟踪效果。同时，本申请采用类随机采样一致性算法计算最佳投影矩阵，使本申请在识别出的待检测目标量越多时，跟踪效果越好，且对误识别、漏识别有明显的稳健性(robustness)优势，以及，本申请以静止的待识别目标的目标检测框和待识别目标的实物角点贴合度高的要素来计算单应性矩阵，通过将高可靠性的目标检测算法代替空间不变点的提取算法，节省了开发成本和算力资源，同时，本申请能够实现小目标跟踪，对后续建组去重奠定了更好的基础。
具体的，由于不同设备的内外参不同且缺乏可靠的精准定位信息和运动信息，传统的基于卡尔曼滤波的跟踪算法无法在众源成图地图生产方式中取得较好的匹配跟踪效果，同时，由于三维视角的变换，图像中目标物的视觉特征会发生改变，因此，基于二维卷积网络的deepsort算法(多目标跟踪算法)也不能很好在众源成图地图生产方式中取得较好的跟踪效果。因此本申请提出一种车载摄像头静态物体的跟踪及集成方法，实现在众源成图地图生产方式中取得较好的匹配跟踪效果，从而达到减少同一物体重复报出量，进而节约成本的目的。
由于待识别物体为静态要素，其在绝对坐标系中绝对静止，但其相对车载摄像头运动，并且待识别物体在图片中的位置运动全部来自于相对车载摄像头的运动和3D透视视角变化。因此，为更好解决不规则抽帧所形成的图片中的静态物体的跟踪问题，本申请的车载摄像头静态物体的跟踪及集成方法通过估计静态物体相对车载摄像头位移量以及根据透视视角变化计算图像中位移量，进而更好的实现在众源成图地图生产方式中的对于待识别物体的跟踪算法。
本申请的发明构思是使用目标检测获得待识别目标的目标检测框，然后分别提取前后帧图片中目标检测框对应关键点，例如，选取目标检测框的角点和与目标检测框四个角点的贴合的要素(如交通灯、标牌等)，根据上述要素采用RANSAC算法(随机采样一致性算法)求取最佳单应性变换矩阵，之后根据最佳单应性变换矩阵将上一帧图片中的目标检测框投影到下一帧图片中，然后，采用匈牙利算法对投影到下一帧图片中的目标检测框和下一帧中AI识别所识别出的目标检测框按照matching cascade(匹配级联)进行匹配，并通过位置关联法对目标检测框仅有一个的情况进行补充，最终实现对车载摄像头静态物体的更好的跟踪。
在图1所示的实施方式中，车载摄像头静态物体的跟踪及集成方法包括步骤S101，获取多帧车载摄像头拍摄的包含待识别目标的图片，并利用目标检测，从两帧图片中检测出待识别目标的目标检测框。
具体的，通过云平台获取已知地理位置的连续轨迹的图片，并使用目标检测方法对连续轨迹的图片中的前后帧图片进行处理，得到待识别目标在前后帧图片中的目标检测框。
在图1所示的实施方式中，车载摄像头静态物体的跟踪及集成方法包括步骤S102，利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵。
具体的，在计算当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵之前，初始化最优投影误差和最佳投影矩阵的值，其中初始最优投影误差Errbest＝106，初始最佳投影矩阵Hbest为3*3的0矩阵。然后判断当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框的数量，根据第一目标检测框和第二目标检测框的数量采用不同的方法计算得到最佳投影矩阵。
在本申请的一个具体实施例中，当当前帧图片和当前帧的下一帧图片中仅识别出一个目标检测框时，最佳投影矩阵为0矩阵。
具体的，在当前帧图片和当前帧的下一帧图片中的任一者中仅识别出一个目标检测框时，最佳投影矩阵的取值即为初始的最佳投影矩阵，其为3*3大小的0矩阵。
在本申请的一个具体实施例中，当当前帧图片和当前帧的下一帧图片中识别出多个目标检测框时，分别从多个第一目标检测框中和多个第二目标检测框中随机选取一个第一检测框和第二检测框；根据第一检测框和第二检测框的角点之间的对应关系，计算得到第一检测框和第二检测框之间的单应性矩阵；利用单应性矩阵，将多个第一目标检测框投影至当前帧的下一帧图片中，得到多个第一目标投影框；利用包含距离匹配限制的匈牙利算法，进行多个第一目标投影框与多个第二目标检测框之间的匹配，并根据匹配结果计算第一目标投影框与第二目标检测框之间的总投影误差矩阵；遍历多个第一目标检测框和多个第二目标检测框之间的全部匹配情况，当总投影误差矩阵小于预设的最优投影误差矩阵时，将总投影误差矩阵作为最优投影误差矩阵，并将单应性矩阵作为最佳投影矩阵。
具体的，从当前帧和当前帧的下一帧中的多个第一目标检测框和多个第二目标检测框中随机选取一个第一检测框bboxi和第二检测框bboxj，将第一检测框bboxi的四个角点和第二检测框bboxj的四个角点一一对应形成点对，根据点对计算第一检测框bboxi和第二检测框bboxj之间的单应性矩阵h。将当前帧中所有的第一目标检测框按照单应性矩阵h进行投影变换，获得多个第一目标检测框投影至当前帧的下一帧图片中的多个第一目标投影框。利用加入了距离匹配限制的匈牙利算法，对多个第一目标投影框和多个第二目标检测框进行匹配，并根据匹配结果计算所有第二目标检测框和第一目标投影框之间的总投影误差Errij。判断当前总投影误差Errij与预设的初始最优投影误差之间的大小关系，在总投影误差Errij小于预设的初始最优投影误差Errbest时，设置Errbest＝Errij,Hbest＝h，在总投影误差Errij不小于预设的初始最优投影误差Errbest时，重新挑选第一检测框bboxi和第二检测框bboxj并重新进行最佳投影矩阵Hbest的计算，直至遍历完多个第一目标检测框和多个第二目标检测框之间的所有可能匹配，并得到最终的最佳投影矩阵的值。
在图1所示的实施方式中，车载摄像头静态物体的跟踪及集成方法包括步骤S103，根据最佳投影矩阵，计算得到待识别目标的预测框，并利用预测框和第二目标检测框计算得到欧式距离代价矩阵。
在本申请的一个具体实施例中，在最佳投影矩阵为非0矩阵时，将利用最佳投影矩阵投影至当前帧的下一帧图片上的第一目标投影框作为预测框，并利用第一目标投影框和第二目标检测框计算得到欧式距离代价矩阵。
具体的，当Hbest为非0矩阵时，根据最佳单应性变换矩阵计算当前帧投影到当前帧的下一帧的第一目标投影框的位置，第一目标投影框即为预测框，计算第一目标投影框和第二目标检测框之间的欧式距离并构建两者之间的欧式距离代价矩阵costeuc。
其中，第一目标投影框和第二目标检测框之间的欧式距离的计算方法，以及欧式距离代价矩阵costeuc计算方法为；
costeuc＝d
上式中的dij为预测框i和当前帧的下一帧的目标检测框j之间的欧氏距离，其计算方法为分别累加这一对目标框对应的所有位置点的欧式距离。
在本申请的一个具体实施例中，在最佳投影矩阵为0矩阵时，第一目标检测框是待识别目标的预测框；利用第一目标检测框和第二目标检测框计算得到欧式距离代价矩阵和纵轴距离代价矩阵。
具体的，当Hbest为0矩阵时，则当前帧的第一目标检测框就是待识别目标的预测框，计算第一目标检测框和第一目标检测框之间的欧式距离代价矩阵costeuc，并计算第一目标检测框和第二目标检测框之间相对y轴方向的距离代价矩阵costydst。其中，第一目标检测框和第二目标检测框之间相对y轴方向的距离代价矩阵costydst的计算方式如下：
由于在车辆前行过程中，交通灯或标牌等待识别目标会越来越近且在图片顶部消失，所以在当前帧或当前帧的下一帧只有一个目标时，将当前帧的第一目标检测框作为预测框，并且预测框左上角点的y坐标y1i必须大于当前帧的下一帧的第二目标检测框的左上角点y1j，其中，offset是考虑到路面颠簸等特殊情况，并对此情况约束有一个可容忍范围，其具体范围本申请不做限制。
在图1所示的实施方式中，车载摄像头静态物体的跟踪及集成方法包括步骤S104，通过匈牙利匹配，利用欧式距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。
在本申请的一个具体实施例中，通过匈牙利匹配，利用欧式距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配，包括：通过匈牙利匹配，利用欧式距离代价矩阵和纵轴距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。
具体的，利用欧式距离代价矩阵cost矩阵，通过匈牙利匹配完成第一目标检测框和第二目标检测框的匹配。其中，cost矩阵为：
在本申请的一个具体实施例中，车载摄像头静态物体的跟踪及集成方法，还包括，将未匹配的第一目标检测框作为未匹配轨迹进行保存，并在对当前帧图片进行下一次匹配时，将未匹配轨迹与下一帧图片中的目标检测框进行匹配。
在本申请的一个具体实施例中，车载摄像头静态物体的跟踪及集成方法，还包括：当未匹配轨迹在预定帧数内未成功进行匹配，则删除所存储的未匹配轨迹。
具体的，将匹配上的目标检测框关联为同一trackID(跟踪身份)，并且将未与第二目标检测框匹配的第一目标检测框存储为当前帧帧的未匹配轨迹，在将当前帧与另一张图片进行匹配时，将该未匹配的第一目标检测框与另一帧图片中目标检测框进行匹配，为减少对存储空间的占用和算力的浪费，当在对预定帧数的图片进行匹配时，该未匹配的第一目标检测框均未与其它目标检测框完成匹配，则认为该未匹配的第一目标检测框为错误信息，将该信息删除。其中，预定帧数的值可以为5帧，其具体取值本申请不做限制。
图2示出了本申请一种车载摄像头静态物体的跟踪及集成装置的具体实施方式。
在图2所示的具体实施方式中，车载摄像头静态物体的跟踪及集成装置主要包括：目标检测框获取模块201，其用于获取多帧车载摄像头拍摄的包含待识别目标的图片，并利用目标检测，从两帧图片中检测出待识别目标的目标检测框；
最佳投影矩阵计算模块202，其用于利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵；
匹配模块203，其用于根据最佳投影矩阵，计算得到待识别目标的预测框，并利用预测框和第二目标检测框计算得到欧式距离代价矩阵；以及，通过匈牙利匹配，利用欧式距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。
在本申请的一个具体实施例中，车载摄像头静态物体的跟踪及集成装置，还包括：用于将未匹配的第一目标检测框作为未匹配轨迹进行保存，并在对当前帧图片进行下一次匹配时，将未匹配轨迹与下一帧图片中的目标检测框进行匹配的模块。
在本申请的一个具体实施例中，车载摄像头静态物体的跟踪及集成装置，还包括：用于当未匹配轨迹在预定帧数内未成功进行匹配，则删除所存储的未匹配轨迹的模块。
在本申请的一个具体实施例中，最佳投影矩阵计算模块202，包括：当当前帧图片和当前帧的下一帧图片中仅识别出一个目标检测框时，最佳投影矩阵为0矩阵。
在本申请的一个具体实施例中，最佳投影矩阵计算模块202，包括：当当前帧图片和当前帧的下一帧图片中识别出多个目标检测框时，分别从多个第一目标检测框中和多个第二目标检测框中随机选取一个第一检测框和第二检测框；根据第一检测框和第二检测框的角点之间的对应关系，计算得到第一检测框和第二检测框之间的单应性矩阵；利用单应性矩阵，将多个第一目标检测框投影至当前帧的下一帧图片中，得到多个第一目标投影框；利用包含距离匹配限制的匈牙利算法，进行多个第一目标投影框与多个第二目标检测框之间的匹配，并根据匹配结果计算第一目标投影框与第二目标检测框之间的总投影误差矩阵；遍历多个第一目标检测框和多个第二目标检测框之间的全部匹配情况，当总投影误差矩阵小于预设的最优投影误差矩阵时，将总投影误差矩阵作为最优投影误差矩阵，并将单应性矩阵作为最佳投影矩阵。
在本申请的一个具体实施例中，匹配模块203包括：在最佳投影矩阵为0矩阵时，第一目标检测框是待识别目标的预测框；利用第一目标检测框和第二目标检测框计算得到欧式距离代价矩阵和纵轴距离代价矩阵。
在本申请的一个具体实施例中，匹配模块203包括：通过匈牙利匹配，利用欧式距离代价矩阵和纵轴距离代价矩阵，完成第一目标检测框和第二目标检测框的匹配。
在本申请的一个具体实施例中，匹配模块包括203：在最佳投影矩阵为非0矩阵时，将利用最佳投影矩阵投影至当前帧的下一帧图片上的第一目标投影框作为预测框，并利用第一目标投影框和第二目标检测框计算得到欧式距离代价矩阵。
本申请提供的车载摄像头静态物体的跟踪及集成装置，可用于执行上述任一实施例描述的车载摄像头静态物体的跟踪及集成方法，其实现原理和技术效果类似，在此不再赘述。
在本申请的一个具体实施例中，本申请一种车载摄像头静态物体的跟踪及集成装置中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。
处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。
在本申请的另一个具体实施方式中，一种计算机可读存储介质，其存储有计算机程序/指令，计算机程序/指令***作以执行上述实施例中描述的车载摄像头静态物体的跟踪及集成方法。
在本申请的一个具体实施方式中，一种计算机设备，包括存储器、处理器以及存储在存储器上的计算机程序，处理器执行计算机程序以实现上述实施例中描述的车载摄像头静态物体的跟踪及集成方法。
在本申请的一个具体实施方式中，一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述实施例中描述的车载摄像头静态物体的跟踪及集成方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种车载摄像头静态物体的跟踪及集成方法，其特征在于，包括：
获取多帧车载摄像头拍摄的包含待识别目标的图片，并利用目标检测，从两帧所述图片中检测出待识别目标的目标检测框；
利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵；
根据所述最佳投影矩阵，计算得到所述待识别目标的预测框，并利用所述预测框和所述第二目标检测框计算得到欧式距离代价矩阵；
通过匈牙利匹配，利用欧式距离代价矩阵，完成所述第一目标检测框和所述第二目标检测框的匹配。
2.根据权利要求1所述的车载摄像头静态物体的跟踪及集成方法，其特征在于，还包括：
将未匹配的第一目标检测框作为未匹配轨迹进行保存，并在对所述当前帧图片进行下一次匹配时，将所述未匹配轨迹与下一帧图片中的目标检测框进行匹配。
3.根据权利要求2所述的车载摄像头静态物体的跟踪及集成方法，其特征在于，还包括：
当所述未匹配轨迹在预定帧数内未成功进行匹配，则删除所存储的所述未匹配轨迹。
4.根据权利要求1所述的车载摄像头静态物体的跟踪及集成方法，其特征在于，所述利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵，包括：
当所述当前帧图片和所述当前帧的下一帧图片中仅识别出一个所述目标检测框时，所述最佳投影矩阵为0矩阵。
5.根据权利要求1所述的车载摄像头静态物体的跟踪及集成方法，其特征在于，所述利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵，包括：
当所述当前帧图片和所述当前帧的下一帧图片中识别出多个所述目标检测框时，分别从多个所述第一目标检测框中和多个所述第二目标检测框中随机选取一个第一检测框和第二检测框；
根据所述第一检测框和所述第二检测框的角点之间的对应关系，计算得到所述第一检测框和所述第二检测框之间的单应性矩阵；
利用所述单应性矩阵，将多个所述第一目标检测框投影至所述当前帧的下一帧图片中，得到多个第一目标投影框；
利用包含距离匹配限制的匈牙利算法，进行多个所述第一目标投影框与多个所述第二目标检测框之间的匹配，并根据匹配结果计算所述第一目标投影框与所述第二目标检测框之间的总投影误差矩阵；
遍历多个所述第一目标检测框和多个所述第二目标检测框之间的全部匹配情况，当所述总投影误差矩阵小于预设的最优投影误差矩阵时，将所述总投影误差矩阵作为最优投影误差矩阵，并将所述单应性矩阵作为所述最佳投影矩阵。
6.根据权利要求4所述的车载摄像头静态物体的跟踪及集成方法，其特征在于，所述根据所述最佳投影矩阵，计算得到所述待识别目标的预测框，并利用所述预测框和所述第二目标检测框计算得到欧式距离代价矩阵包括：
在所述最佳投影矩阵为0矩阵时，所述第一目标检测框是所述待识别目标的预测框；
利用所述第一目标检测框和所述第二目标检测框计算得到欧式距离代价矩阵和纵轴距离代价矩阵。
7.根据权利要求6所述的车载摄像头静态物体的跟踪及集成方法，其特征在于，所述通过匈牙利匹配，利用欧式距离代价矩阵，完成所述第一目标检测框和所述第二目标检测框的匹配，包括：
通过匈牙利匹配，利用欧式距离代价矩阵和纵轴距离代价矩阵，完成所述第一目标检测框和所述第二目标检测框的匹配。
8.根据权利要求1所述的车载摄像头静态物体的跟踪及集成方法，其特征在于，所述根据所述最佳投影矩阵，计算得到所述待识别目标的预测框，并利用所述预测框和所述第二目标检测框计算得到欧式距离代价矩阵，包括：
在所述最佳投影矩阵为非0矩阵时，将利用所述最佳投影矩阵投影至当前帧的下一帧图片上的第一目标投影框作为预测框，并利用所述第一目标投影框和所述第二目标检测框计算得到欧式距离代价矩阵。
9.一种车载摄像头静态物体的跟踪及集成装置，其特征在于，包括：
目标检测框获取模块，其用于获取多帧车载摄像头拍摄的包含待识别目标的图片，并利用目标检测，从两帧所述图片中检测出待识别目标的目标检测框；
最佳投影矩阵计算模块，其用于利用当前帧图片的第一目标检测框和当前帧的下一帧图片的第二目标检测框，计算得到当前帧图片和当前帧的下一帧图片之间的最佳投影矩阵；
匹配模块，其用于根据所述最佳投影矩阵，计算得到所述待识别目标的预测框，并利用所述预测框和所述第二目标检测框计算得到欧式距离代价矩阵；以及，通过匈牙利匹配，利用欧式距离代价矩阵，完成所述第一目标检测框和所述第二目标检测框的匹配。
10.一种计算机可读存储介质/计算机程序产品，其存储有计算机程序/指令，其特征在于，所述计算机程序/指令***作以执行如权利要求1-8中任一项所述的车载摄像头静态物体的跟踪及集成方法。
11.一种计算机设备，包括存储器、处理器以及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1-8中任一项所述的车载摄像头静态物体的跟踪及集成方法。
CN202311522020.0A 2023-11-15 2023-11-15 静态物体跟踪及集成方法、装置、介质、设备和程序产品 Pending CN117557596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311522020.0A CN117557596A (zh) 2023-11-15 2023-11-15 静态物体跟踪及集成方法、装置、介质、设备和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311522020.0A CN117557596A (zh) 2023-11-15 2023-11-15 静态物体跟踪及集成方法、装置、介质、设备和程序产品

Publications (1)

Publication Number Publication Date
CN117557596A true CN117557596A (zh) 2024-02-13

Family

ID=89814143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311522020.0A Pending CN117557596A (zh) 2023-11-15 2023-11-15 静态物体跟踪及集成方法、装置、介质、设备和程序产品

Country Status (1)

Country Link
CN (1) CN117557596A (zh)

Similar Documents

Publication Publication Date Title
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN113447923A (zh) 目标检测方法、装置、***、电子设备及存储介质
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
CN113793413A (zh) 三维重建方法、装置、电子设备及存储介质
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN114730472A (zh) 车载相机的外部参数的标定方法及相关装置
CN111928857A (zh) 一种动态环境中实现slam定位的方法及相关装置
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN113223064A (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN113793251A (zh) 位姿确定方法、装置、电子设备和可读存储介质
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
CN116823966A (zh) 相机的内参标定方法、装置、计算机设备和存储介质
CN115830073A (zh) 地图要素重建方法、装置、计算机设备和存储介质
CN110539748A (zh) 基于环视的拥堵跟车***和终端
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN115713560A (zh) 一种摄像头和车辆的外参数标定方法及装置、电子设备、存储介质
CN117011481A (zh) 构建三维地图的方法、装置、电子设备及存储介质
CN117557596A (zh) 静态物体跟踪及集成方法、装置、介质、设备和程序产品
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN114332174A (zh) 轨迹图像对齐方法、装置、计算机设备以及存储介质
CN113793250A (zh) 位姿评价方法、位姿确定方法、对应装置和电子设备
CN115249407A (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
CN113554711A (zh) 相机在线标定方法、装置、计算机设备和存储介质
CN114897987B (zh) 一种确定车辆地面投影的方法、装置、设备及介质
CN113256736B (zh) 一种基于可观测性优化的多相机视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination