CN115471549A - 目标在图像中位置框的预测方法、装置、设备及存储介质 - Google Patents

目标在图像中位置框的预测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115471549A
CN115471549A CN202211029208.7A CN202211029208A CN115471549A CN 115471549 A CN115471549 A CN 115471549A CN 202211029208 A CN202211029208 A CN 202211029208A CN 115471549 A CN115471549 A CN 115471549A
Authority
CN
China
Prior art keywords
target
current
frame
vehicle
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211029208.7A
Other languages
English (en)
Inventor
王幸鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Co Ltd
Original Assignee
China Automotive Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Co Ltd filed Critical China Automotive Innovation Co Ltd
Priority to CN202211029208.7A priority Critical patent/CN115471549A/zh
Publication of CN115471549A publication Critical patent/CN115471549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种目标在图像中位置框的预测方法、装置、设备及存储介质，涉及自动驾驶技术领域，能够提高目标在图像中位置框的预测精度。具体方案包括：从第一参考帧的第一位置框中获取第一目标像素点，其中，第一参考帧为当前时刻下的上一帧图像；根据第一目标像素点、并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框；第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。

Description

目标在图像中位置框的预测方法、装置、设备及存储介质
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种目标在图像中位置框的预测方法、装置、设备及存储介质。
背景技术
随着人工智能、电子信息、自动控制、智能制造等技术的进步，汽车自动驾驶技术得到高速发展。在自动驾驶的匹配追踪技术中，需要预测出目标物体的位置框在当前图像帧的位置，尤其是行人、车辆等目标物体，这样才能匹配出目标物体的当前轨迹信息。
目前，通常利用目标物体在历史图像帧中的位置框信息来训练一个预测模型，然后通过该预测模型来预测得到目标物体的位置框在当前图像帧中的位置，但这种方法在针对未训练过的场景存在预测精度较低的问题。
发明内容
本申请提供一种目标在图像中位置框的预测方法、装置、设备及存储介质，能够提高目标在图像中位置框的预测精度。
为达到上述目的，本申请采用如下技术方案：
本申请实施例第一方面，提供一种目标在图像中位置框的预测方法，该方法包括：从第一参考帧的第一位置框中获取第一目标像素点，其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点；
根据第一目标像素点、并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框；其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
在一个实施例中，根据第一目标像素点、并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框，包括：
根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置；
根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
在一个实施例中，根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置，包括：
根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置；
根据第一目标世界位置和第二目标世界位置，预测第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
在一个实施例中，根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置，包括：
根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系；
根据标定参数和转换关系，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
在一个实施例中，根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框，包括：
根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系；
根据转换关系，确定当前目标世界位置在车体坐标系下位置，得到当前目标车***置，以及确定当前车辆位置在车体坐标系下的位置，得到当前车辆车***置；
根据当前目标车***置、当前车辆车***置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
在一个实施例中，根据当前目标车***置、当前车辆车***置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框，包括：
根据当前目标车***置和当前车辆车***置，确定第一目标像素点在当前时刻相对车辆的位置，得到当前目标车辆参考位置；
根据当前车辆偏航角和第一车辆偏航角确定偏航角差值；
根据偏航角差值对当前目标车辆参考位置进行修正，得到当前目标车辆位置；
根据标定参数，确定当前目标车辆位置在设备坐标系下的当前目标设备位置；
根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
在一个实施例中，根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框，包括：
根据标定参数，确定当前目标设备位置在图像中的位置，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置；
根据第一目标设备位置、第一高度和第一宽度，确定第一位置框在当前帧图像中的当前高度和当前宽度；
根据当前高度、当前宽度和目标位置得到目标物体在当前帧图像中对应的预测框。
本申请实施例第二方面，提供了一种目标在图像中位置框的预测装置，该装置包括：
获取模块，用于从第一参考帧的第一位置框中获取第一目标像素点，其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点；
确定模块，用于根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框；其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
本申请实施例第三方面，提供了一种电子设备，该设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面中的目标在图像中位置框的预测方法。
本申请实施例第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面中的目标在图像中位置框的预测方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的目标在图像中位置框的预测方法，通过从第一参考帧的第一位置框中获取第一目标像素点，然后，根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框。其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。本申请的预测方法是根据目标图像的历史参考图像中的目标像素点以及当前车辆的位置信息以及偏航角的数据来对目标在图像中的位置框进行预测，这种方法由于是根据实时采集数据进行预测，因此针对任一场景都有较高的预测精度，且不需要提前训练预测模型，预测的实时性好。
附图说明
图1为本申请实施例提供的一种车载终端的结构示意图；
图2为本申请实施例提供的目标在图像中位置框的预测方法的流程图一；
图3为本申请实施例提供的预测得到的目标在图像中位置框的示意图；
图4为本申请实施例提供的目标在图像中位置框的预测方法的流程图二；
图5为本申请实施例提供的一种目标在图像中位置框的预测装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出的值。
随着人工智能、电子信息、自动控制、智能制造等技术的进步，汽车自动驾驶技术得到高速发展。在自动驾驶的匹配追踪技术中，需要预测出目标物体的位置框在当前图像帧的位置，这样才能匹配出目标物体的当前轨迹信息。
目前，通常利用目标图像的历史图像帧中的位置框信息来训练一个预测模型，然后通过该预测模型来预测得到目标物体的位置框在当前图像帧中的位置，但这种方法在针对未训练过的场景存在预测精度较低的问题。
为了解决上述问题，本申请实施例提供了一种目标在图像中位置框的预测方法，通过从第一参考帧的第一位置框中获取第一目标像素点，然后，根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框。其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。本申请的预测方法是根据目标图像的历史参考图像中的目标像素点以及当前车辆的位置信息以及偏航角的数据来对目标在图像中的位置框进行预测，这种方法由于是根据实时采集数据进行预测，因此针对任一场景都有较高的预测精度，且不需要提前训练预测模型，预测的实时性好。
本申请实施例提供的目标在图像中位置框的预测方法的执行主体可以为电子设备，具体的，该电子设备可以为计算机设备、终端设备，或者服务器，其中，终端设备可以为车载终端、各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等，本申请对比不作具体限定。
图1执行主体为车载终端为例示出，图1为本申请实施例提供的一种车载终端的内部结构示意图。如图1所示，该车载终端包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例提供的一种目标在图像中位置框的预测方法的步骤。内存储器为非易失性存储介质中的操作***和计算机程序提供高速缓存的运行环境。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的车载终端的限定，具体的车载终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
基于上述执行主体，本申请实施例提供一种目标在图像中位置框的预测方法。如图2所示，该方法包括以下步骤：
步骤201、从第一参考帧的第一位置框中获取第一目标像素点。
其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点。
可选的，第一目标像素点可以为第一位置框的底边的中点。
需要说明的是，由于本申请中包括将第一目标像素点转换到世界坐标系下，如图3所示，可以看出目标物体的检测框的底边是位于地面的，因此选取的目标像素点是位于第一位置框的底边上的像素点。
步骤202、根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框。
其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
示例的，若第一目标像素点为第一位置框底边的中点，则第二目标像素点则为第二位置框底边的中点，第二位置框则为第一参考帧的上一帧图像经过目标检测后得到的目标物体的边界框。
其中，当前时刻下的当前车辆位置和第一时刻下的第一车辆位置是获取的车辆装载的全球定位***(GPS)传输的位置信息。当前时刻下的当前车辆偏航角和第一时刻下的第一车辆偏航角是获取车辆的惯性测量单元(IMU)传输的车辆的偏航角。
其中，采集设备的标定参数包括内参和外参，内参是采集设备相较于采集设备拍摄的图像的标定参数，外参是采集设备相较于车辆的标定参数。
可选的，可以通过获取到的当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、以及根据预设的标定参数、预设的第二目标世界位置先预测出第一目标像素点在当前帧图像中的位置，得到当前目标像素点，然后根据获取到的第一高度和第一宽度、第一目标设备位置确定出第一位置框在当前帧图像中的位置框的高度和宽度，最后根据当前目标像素点和第一位置框在当前帧图像中的位置框的高度和宽度，得到目标物体在当前帧图像中对应的预测框。
本申请实施例提供的目标在图像中位置框的预测方法，通过从第一参考帧的第一位置框中获取第一目标像素点，然后，根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框。其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。本申请的预测方法是根据目标图像的历史参考图像中的目标像素点以及当前车辆的位置信息以及偏航角的数据来对目标在图像中的位置框进行预测，这种方法由于是根据实时采集数据进行预测，因此针对任一场景都有较高的预测精度，且不需要提前训练预测模型，预测的实时性好。
可选的，如图4所示，上述步骤202、根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框的过程可以为：
步骤401、根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置。
步骤402、根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
可以理解的是，由于实时可以获取到的是车辆在世界坐标下的车辆当前位置和车辆偏航角，因此需要先预测出当前帧图像中的目标像素点
第一目标像素点在第一参考帧中的位置坐标转换到世界坐标下，得到当前目标世界位置，然后根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
可选的，上述步骤401根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置的过程可以为：
根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置，然后根据第一目标世界位置和第二目标世界位置，预测第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
具体的，上述根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置的过程可以为：根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系，然后根据标定参数和转换关系，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
可选的，上述步骤402、根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框的过程可以为：
根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系，然后根据转换关系，确定当前目标世界位置在车体坐标系下位置，得到当前目标车***置，以及确定当前车辆位置在车体坐标系下的位置，得到当前车辆车***置，最后，根据当前目标车***置、当前车辆车***置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
具体的，根据当前目标车***置、当前车辆车***置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框的过程可以为：根据当前目标车***置和当前车辆车***置，确定第一目标像素点在当前时刻相对车辆的位置，得到当前目标车辆参考位置，根据当前车辆偏航角和第一车辆偏航角确定偏航角差值，根据偏航角差值对当前目标车辆参考位置进行修正，得到当前目标车辆位置，根据标定参数，确定当前目标车辆位置在设备坐标系下的当前目标设备位置，最后，根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
进一步的，上述根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框的过程可以为：根据标定参数，确定当前目标设备位置在图像中的位置，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置，之后根据第一目标设备位置、第一高度和第一宽度，确定第一位置框在当前帧图像中的当前高度和当前宽度，最后根据当前高度、当前宽度和目标位置得到目标物体在当前帧图像中对应的预测框。
为了便于本领域技术人员的理解，以执行主体为车载终端为例介绍本申请提供的目标在图像中位置框的预测方法，具体的，该方法包括：
(1)从第一参考帧的第一位置框中获取第一目标像素点。
其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点。
在实际执行过程中，对于目标物体M已有历史轨迹信息，从第一参考帧中的获取第一目标像素点，该第一目标像素点cb的像素为(u，v)。
(2)根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系。
其中，第一车辆位置信息是第一参考帧对应的第一时刻下的车辆在世界坐标系下的位置信息，第一车辆偏航角是第一时刻下的车辆的偏航角。
第一时刻下的第一车辆位置是获取的车辆装载的全球定位***(GPS)传输的位置信息。该第一车辆位置信息是车辆在世界坐标系下的位置信息。
可选的，该转换关系包括：车体坐标系与世界坐标系的平移矩阵Tt-1和车体坐标系与世界坐标系的旋转矩阵Rt-1。示例的，可以将车辆的后轴中心作为车体坐标系(VCS)的原点，然后根据第一车辆位置确定第一时刻下车体坐标系与世界坐标系的平移矩阵Tt-1，并根据第一车辆偏航角确定第一时刻下车体坐标系与世界坐标系的旋转矩阵Rt-1。
(3)根据标定参数和转换关系，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
其中，标定参数为采集设备的标定参数。具体的，标定参数包括内参K和外参Rcam、Tcam，内参是采集设备相较于采集设备拍摄的图像的标定参数，外参是采集设备相较于车辆的标定参数。第一目标世界位置为第一目标像素点在世界坐标系下位置。
可选的，可以通过如下公式(1)，计算得到第一目标像素点在车体坐标系下的坐标
Figure BDA0003815827790000101
同时可以计算得到第一目标像素点(u，v)在相机坐标系Z轴方向的值s。
Figure BDA0003815827790000102
然后，通过第一时刻的旋转矩阵Rt-1和平移矩阵Tt-1和公式(2)可以将VCS坐标系下点转到世界坐标系下，得到第一目标世界位置，该位置为
Figure BDA0003815827790000111
公式(2)为：
Figure BDA0003815827790000112
(4)根据第一目标世界位置和第二目标世界位置，预测第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
其中，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
示例的，若第一目标像素点为第一位置框底边的中点，则第二目标像素点则为第二位置框底边的中点，第二位置框则为第一参考帧的上一帧图像经过目标检测后得到的目标物体的边界框。
可以理解的是，由于本申请是针对一段视频中的多个图像帧的连续预测过程，因此第二目标世界位置在进行上一帧预测时已经预先计算得到，具体的，第二目标世界位置的确定过程可以参考上述步骤(1)-步骤(3)。
可选的，上述过程可以为：根据第一目标世界位置
Figure BDA0003815827790000113
和第二目标世界位置
Figure BDA0003815827790000114
计算得到第一目标像素点的位移量，然后根据第一参考帧对应的第一时刻和第一参考帧的上一帧图像对应的第二时刻之间的时间间隔，并根据位移量和时间间隔得到第一目标像素点的速度。根据速度和当前时刻与第一时刻的时间间隔，得到第一目标像素点在第一时刻至当前时刻的位移，再加上第一目标世界位置，得到当前目标世界位置。
(5)根据转换关系，确定当前目标世界位置在车体坐标系下位置，得到当前目标车***置，以及确定当前车辆位置在车体坐标系下的位置，得到当前车辆车***置。
假设当前时刻车辆在世界坐标系下的位置即当前车辆位置为
Figure BDA0003815827790000115
通过第一时刻的旋转矩阵Rt-1和平移矩阵Tt-1将当前时刻的当前车辆位置
Figure BDA0003815827790000116
和当前目标世界位置
Figure BDA0003815827790000117
分别转到VCS坐标系下，得到当前目标车***置
Figure BDA0003815827790000118
和当前车辆车***置
Figure BDA0003815827790000119
具体的转换过程可以如公式(2)所示。
(6)根据当前目标车***置和当前车辆车***置，确定第一目标像素点在当前时刻相对车辆的位置，得到当前目标车辆参考位置。
可选的，通过计算
Figure BDA00038158277900001110
得到当前目标车辆参考位置。
(7)根据当前车辆偏航角和第一车辆偏航角确定偏航角差值。
计算当前车辆偏航角Yawt和第一车辆偏航角Yawt-1的差值，得到偏航角差值ΔYaw。
(8)根据偏航角差值对当前目标车辆参考位置进行修正，得到当前目标车辆位置。
可选的，根据公式(3)可以计算得到当前目标车辆参考位置旋转偏航角差值ΔYaw后的位置，得到当前目标车辆位置
Figure BDA0003815827790000121
Figure BDA0003815827790000122
(9)根据标定参数，确定当前目标车辆位置在设备坐标系下的当前目标设备位置。
可选的，可以根据采集设备的外参Rcam、Tcam，将当前目标车辆位置
Figure BDA0003815827790000123
转到相机坐标系下，得到当前目标设备位置
Figure BDA0003815827790000124
(10)根据标定参数，确定当前目标设备位置在图像中的位置，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置。
可选的，可以根据采集设备的内参K将当前目标设备位置
Figure BDA0003815827790000125
转换到图像坐标系上，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置new_cb。
(11)根据第一目标设备位置、第一高度和第一宽度，确定第一位置框在当前帧图像中的当前高度和当前宽度。
其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置。可选的，第一目标设备位置可以将第一目标像素点通过内参K转换得到。
可以理解的是，由于目标物体在不同时刻距离采集设备的距离不同，因此不同时刻目标物体在图像中大小也不同，对应的不同时刻目标物体的位置框在图像中的大小也不同。而目标物体的位置框的高度和宽度与目标物体距离采集设备的距离成比例关系，因此，可以根据当前目标设备位置，以及第一位置框的第一高度Ht-1和第一宽度Wt-1，计算目标物体在当前帧图像中当前位置框的当前高度Ht和当前宽度Wt。
Figure BDA0003815827790000126
Figure BDA0003815827790000127
(12)根据当前高度、当前宽度和目标位置得到目标物体在当前帧图像中对应的预测框。
由于已经预测出第一目标像素点在当前帧图像中的像素点坐标，且计算得到第一位置框在当前帧图像中的当前高度和当前宽度，因此即能得到目标物体在当前帧图像中对应的预测框。
需要说明的是，上述步骤(1)-(12)是以图像中的一个目标物体为例示出目标在图像中位置框的预测方法，对于图像中包括的其他目标物体的位置框的预测方法可以根据上述方法得到。如图3所示，为根据本申请提供的目标在图像中位置框的预测方法，预测得到的目标物体的位置框的示意图。其中，虚线表示的位置框为第一参考帧的位置框，实线表示的边界框为预测得到的当前帧图像的位置框。
应该理解的是，上述实施例中的步骤流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
如图5所示，本申请实施例还提供了一种目标在图像中位置框的预测装置，该装置包括：
获取模块11，用于从第一参考帧的第一位置框中获取第一目标像素点，其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点；
确定模块12，用于根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框；其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
在一个实施例中，确定模块12具体用于：
根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置；
根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
在一个实施例中，确定模块12具体用于：
根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置；
根据第一目标世界位置和第二目标世界位置，预测第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
在一个实施例中，确定模块12具体用于：
根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系；
根据标定参数和转换关系，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
在一个实施例中，确定模块12具体用于：
根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系；
根据转换关系，确定当前目标世界位置在车体坐标系下位置，得到当前目标车***置，以及确定当前车辆位置在车体坐标系下的位置，得到当前车辆车***置；
根据当前目标车***置、当前车辆车***置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
在一个实施例中，确定模块12具体用于：
根据当前目标车***置和当前车辆车***置，确定第一目标像素点在当前时刻相对车辆的位置，得到当前目标车辆参考位置；
根据当前车辆偏航角和第一车辆偏航角确定偏航角差值；
根据偏航角差值对当前目标车辆参考位置进行修正，得到当前目标车辆位置；
根据标定参数，确定当前目标车辆位置在设备坐标系下的当前目标设备位置；
根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
在一个实施例中，确定模块12具体用于：
根据标定参数，确定当前目标设备位置在图像中的位置，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置；
根据第一目标设备位置、第一高度和第一宽度，确定第一位置框在当前帧图像中的当前高度和当前宽度；
根据当前高度、当前宽度和目标位置得到目标物体在当前帧图像中对应的预测框。
本实施例提供的目标在图像中位置框的预测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再多加赘述。
关于目标在图像中位置框的预测装置的具体限定可以参见上文中对于目标在图像中位置框的预测方法的限定，在此不再赘述。上述目标在图像中位置框的预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请的另一实施例中，还提供一种电子设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现如本申请实施例的目标在图像中位置框的预测方法的步骤。
本申请另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本申请实施例的目标在图像中位置框的预测方法的步骤。
本申请另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在目标在图像中位置框的预测装置上运行时，使得目标在图像中位置框的预测装置执行上述方法实施例所示的方法流程中目标在图像中位置框的预测方法执行的各个步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标在图像中位置框的预测方法，其特征在于，所述方法包括：
从第一参考帧的第一位置框中获取第一目标像素点，其中，所述第一参考帧为当前时刻下的上一帧图像，所述图像为车辆上的采集设备采集的图像，所述第一位置框为所述第一参考帧经过目标检测后的目标物体的边界框，所述第一目标像素点为所述第一位置框的底边的任一点；
根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、所述第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、所述第一位置框的第一高度和所述第一位置框的第一宽度，以及根据预设的所述采集设备的标定参数和预设的第二目标世界位置，得到所述目标物体在当前帧图像中对应的预测框；其中，所述第一目标设备位置为所述第一目标像素点在所述采集设备的设备坐标系下的位置，所述第二目标世界位置为第二目标像素点在世界坐标系下的位置，所述第二目标像素点为所述第一目标像素点在所述第一参考帧的上一帧图像中对应的像素点。
2.根据权利要求1所述的方法，其特征在于，所述根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、所述第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、所述第一位置框的第一高度和所述第一位置框的第一宽度，以及根据预设的所述采集设备的标定参数和预设的第二目标世界位置，得到所述目标物体在当前帧图像中对应的预测框，包括：
根据所述标定参数、所述第一车辆位置、所述第一车辆偏航角和所述第二目标世界位置，确定当前时刻所述第一目标像素点在世界坐标系下的位置，得到当前目标世界位置；
根据所述当前目标世界位置、所述当前车辆位置、所述当前车辆偏航角、所述第一车辆位置、所述第一车辆偏航角、所述第一目标设备位置、所述标定参数、所述第一高度和所述第一宽度，确定所述目标物体在当前帧图像中对应的预测框。
3.根据权利要求2所述的方法，其特征在于，所述根据所述标定参数、所述第一车辆位置、所述第一车辆偏航角和所述第二目标世界位置，确定当前时刻所述第一目标像素点在世界坐标系下的位置，得到当前目标世界位置，包括：
根据所述标定参数、所述第一车辆位置、所述第一车辆偏航角，确定所述第一目标像素点在世界坐标系下的位置，得到第一目标世界位置；
根据所述第一目标世界位置和所述第二目标世界位置，预测所述第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
4.根据权利要求3所述的方法，其特征在于，所述根据所述标定参数、所述第一车辆位置、所述第一车辆偏航角，确定所述第一目标像素点在世界坐标系下的位置，得到第一目标世界位置，包括：
根据所述第一车辆位置和第一车辆偏航角，确定所述第一时刻下所述车辆的车体坐标系与世界坐标系的转换关系；
根据所述标定参数和所述转换关系，确定所述第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
5.根据权利要求2所述的方法，其特征在于，所述根据所述当前目标世界位置、所述当前车辆位置、所述当前车辆偏航角、所述第一车辆位置、所述第一车辆偏航角、所述第一目标设备位置、所述标定参数、所述第一高度和所述第一宽度，确定所述目标物体在当前帧图像中对应的预测框，包括：
根据所述第一车辆位置和第一车辆偏航角，确定所述第一时刻下所述车辆的车体坐标系与世界坐标系的转换关系；
根据所述转换关系，确定所述当前目标世界位置在所述车体坐标系下位置，得到当前目标车***置，以及确定所述当前车辆位置在所述车体坐标系下的位置，得到当前车辆车***置；
根据所述当前目标车***置、所述当前车辆车***置、所述当前车辆偏航角、所述第一车辆偏航角、所述第一目标设备位置、所述标定参数、所述第一高度和所述第一宽度，确定所述目标物体在当前帧图像中对应的预测框。
6.根据权利要求5所述的方法，其特征在于，所述根据所述当前目标车***置、所述当前车辆车***置、所述当前车辆偏航角、所述第一车辆偏航角、所述第一目标设备位置、所述标定参数、所述第一高度和所述第一宽度，确定所述目标物体在当前帧图像中对应的预测框，包括：
根据所述当前目标车***置和所述当前车辆车***置，确定所述第一目标像素点在当前时刻相对所述车辆的位置，得到当前目标车辆参考位置；
根据所述当前车辆偏航角和所述第一车辆偏航角确定偏航角差值；
根据所述偏航角差值对所述当前目标车辆参考位置进行修正，得到当前目标车辆位置；
根据所述标定参数，确定所述当前目标车辆位置在所述设备坐标系下的当前目标设备位置；
根据所述当前目标设备位置、所述标定参数、所述第一目标设备位置、所述第一高度和所述第一宽度，确定所述目标物体在当前帧图像中对应的预测框。
7.根据权利要求6所述的方法，其特征在于，所述根据所述当前目标设备位置、所述标定参数、所述第一目标设备位置、所述第一高度和所述第一宽度，确定所述目标物体在当前帧图像中对应的预测框，包括：
根据所述标定参数，确定所述当前目标设备位置在图像中的位置，得到所述第一目标像素点在当前时刻对应的当前帧图像中的目标位置；
根据所述第一目标设备位置、所述第一高度和所述第一宽度，确定所述第一位置框在所述当前帧图像中的当前高度和当前宽度；
根据所述当前高度、当前宽度和所述目标位置得到所述目标物体在当前帧图像中对应的预测框。
8.一种目标在图像中位置框的预测装置，其特征在于，所述装置包括：
获取模块，用于从第一参考帧的第一位置框中获取第一目标像素点，其中，所述第一参考帧为当前时刻下的上一帧图像，所述图像为车辆上的采集设备采集的图像，所述第一位置框为所述第一参考帧经过目标检测后的目标物体的边界框，所述第一目标像素点为所述第一位置框的底边的任一点；
确定模块，用于根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、所述第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、所述第一位置框的第一高度和所述第一位置框的第一宽度，以及根据预设的所述采集设备的标定参数和预设的第二目标世界位置，得到所述目标物体在当前帧图像中对应的预测框；其中，所述第一目标设备位置为所述第一目标像素点在所述采集设备的设备坐标系下的位置，所述第二目标世界位置为第二目标像素点在世界坐标系下的位置，所述第二目标像素点为所述第一目标像素点在所述第一参考帧的上一帧图像中对应的像素点。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现权利要求1至7任一项所述的目标在图像中位置框的预测方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的目标在图像中位置框的预测方法。
CN202211029208.7A 2022-08-25 2022-08-25 目标在图像中位置框的预测方法、装置、设备及存储介质 Pending CN115471549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211029208.7A CN115471549A (zh) 2022-08-25 2022-08-25 目标在图像中位置框的预测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211029208.7A CN115471549A (zh) 2022-08-25 2022-08-25 目标在图像中位置框的预测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115471549A true CN115471549A (zh) 2022-12-13

Family

ID=84369095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211029208.7A Pending CN115471549A (zh) 2022-08-25 2022-08-25 目标在图像中位置框的预测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115471549A (zh)

Similar Documents

Publication Publication Date Title
JP7326720B2 (ja) 移動***置推定システムおよび移動***置推定方法
TWI770420B (zh) 車輛事故的鑑定方法及裝置、電子設備
US8698875B2 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
CN109472251B (zh) 一种物体碰撞预测方法及装置
CN109922258B (zh) 车载相机的电子稳像方法、装置及可读存储介质
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN111241224B (zh) 目标距离估计的方法、***、计算机设备和存储介质
CN110992392A (zh) 一种基于运动状态的关键帧选取方法及装置
CN111862150B (zh) 图像跟踪的方法、装置、ar设备和计算机设备
US11866056B2 (en) Ballistic estimation of vehicle data
CN113223064A (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN112150550B (zh) 一种融合定位方法及装置
CN117745845A (zh) 一种外参信息确定方法、装置、设备和存储介质
CN112902911B (zh) 基于单目相机的测距方法、装置、设备及存储介质
CN116772858A (zh) 车辆定位方法、装置、定位设备及存储介质
CN115471549A (zh) 目标在图像中位置框的预测方法、装置、设备及存储介质
CN113936042B (zh) 一种目标跟踪方法、装置和计算机可读存储介质
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN111339226B (zh) 一种基于分类检测网络构建地图方法及装置
CN112037261A (zh) 一种图像动态特征去除方法及装置
CN116228834B (zh) 图像深度获取方法、装置、电子设备及存储介质
CN114979456B (zh) 视频数据的防抖处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination