CN116152048A - 一种数据空间同步方法、装置、终端设备和存储介质 - Google Patents

一种数据空间同步方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN116152048A
CN116152048A CN202211697370.6A CN202211697370A CN116152048A CN 116152048 A CN116152048 A CN 116152048A CN 202211697370 A CN202211697370 A CN 202211697370A CN 116152048 A CN116152048 A CN 116152048A
Authority
CN
China
Prior art keywords
target
detection frame
target detection
point cloud
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211697370.6A
Other languages
English (en)
Inventor
王永
张龙洋
王亚军
王邓江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wanji Iov Technology Co ltd
Original Assignee
Suzhou Wanji Iov Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wanji Iov Technology Co ltd filed Critical Suzhou Wanji Iov Technology Co ltd
Priority to CN202211697370.6A priority Critical patent/CN116152048A/zh
Publication of CN116152048A publication Critical patent/CN116152048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及数据处理技术领域，提出一种数据空间同步方法、装置、终端设备和存储介质。在该方法中，利用已完成空间同步处理的样本图像和样本点云作为训练集训练神经网络作为空间同步模型，在获取到已完成目标检测的待同步的目标图像和目标点云之后，可以将目标图像和目标点云输入至该空间同步模型进行空间同步处理，从而得到相应的空间同步结果，该空间同步结果具体可以包括目标图像和目标点云完成空间同步处理后得到的各个目标检测框。该方法通过神经网络的方式，实现了点云数据和图像数据的空间同步。

Description

一种数据空间同步方法、装置、终端设备和存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据空间同步方法、装置、终端设备和存储介质。
背景技术
在路侧感知设备中，激光雷达和相机等不同传感器需要将采集到的数据在空间上进行同步，也即需要将点云数据和图像数据统一到一个坐标系下。由此可见，如何实现点云数据和图像数据等不同传感器数据的空间同步，是本领域技术人员需要研究的问题。
发明内容
有鉴于此，本申请实施例提供了一种数据空间同步方法、装置、终端设备和存储介质，能够实现点云数据和图像数据的空间同步。
本申请实施例的第一方面提供了一种数据空间同步方法，包括：
获取待同步的目标图像和目标点云；其中，所述目标图像和所述目标点云均已完成目标检测处理；
将所述目标图像和所述目标点云输入至已训练的空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果；其中，所述空间同步模型为以样本图像和样本点云作为训练集训练得到的神经网络模型，所述样本图像和所述样本点云为已完成空间同步处理的样本数据，所述空间同步结果包括所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
在本申请实施例中，利用已完成空间同步处理的样本图像和样本点云作为训练集训练神经网络作为空间同步模型，在获取到已完成目标检测的待同步的目标图像和目标点云之后，可以将目标图像和目标点云输入至该空间同步模型进行空间同步处理，从而得到相应的空间同步结果，该空间同步结果具体可以包括目标图像和目标点云完成空间同步处理后得到的各个目标检测框。显然，本申请实施例通过神经网络的方式，实现了点云数据和图像数据的空间同步。
在本申请实施例的一种实现方式中，所述样本图像和所述样本点云可以通过以下方式获取：
获取处于同一时刻同一场景下的原始图像和原始点云；其中，所述原始图像和所述原始点云均已完成目标检测处理；
根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系；
在构建所述一一对应关系之后，将所述原始图像确定为所述样本图像，以及将所述原始点云确定为所述样本点云。
进一步的，所述原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标，所述原始点云的各个目标检测框的参数包括检测框的中心点坐标；所述根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系，可以包括：
将所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数转换至同一坐标系；
根据所述原始图像的各个目标检测框的左上角坐标和右下角坐标，分别计算得到所述原始图像的各个目标检测框的中心点坐标；
针对所述原始图像的任意目标检测框，分别计算所述任意目标检测框的中心点坐标与所述原始点云的各个目标检测框的中心点坐标之间的距离，并将所述原始点云的各个目标检测框中所述距离小于第一阈值的目标检测框与所述任意目标检测框对应。
更进一步的，所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数均还包括检测框的目标类型；所述将所述原始点云的各个目标检测框中所述距离小于第一阈值的目标检测框与所述任意目标检测框对应，可以包括：
将所述原始点云的各个目标检测框中所述距离小于第一阈值且对应的目标类型与所述任意目标检测框对应的目标类型相同的目标检测框，与所述任意目标检测框进行对应。
进一步的，所述原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标，所述原始点云的各个目标检测框的参数包括检测框的中心点坐标、长度、宽度以及高度；所述根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系，包括：
将所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数转换至同一坐标系；
根据所述原始图像的各个目标检测框的左上角坐标和右下角坐标，分别计算得到所述原始图像的各个目标检测框的位置区域；
根据所述原始点云的各个目标检测框的中心点坐标、长度、宽度以及高度，分别计算得到所述原始点云的各个目标检测框的位置区域；
针对所述原始图像的任意目标检测框，分别计算所述任意目标检测框的位置区域与所述原始点云的各个目标检测框的位置区域之间的重叠度，并将所述原始点云的各个目标检测框中所述重叠度大于第二阈值的目标检测框与所述任意目标检测框对应。
在本申请实施例的一种实现方式中，所述空间同步模型可以通过以下方式训练得到：
以所述样本图像的各个目标检测框的目标点坐标作为训练集的训练数据，以所述样本点云的各个目标检测框的中心点坐标作为训练集的真值，训练得到所述空间同步模型；其中，所述目标点坐标为检测框中任意一点的坐标。
进一步的，在以所述样本图像的各个目标检测框的目标点坐标作为训练集的训练数据之前，还可以包括：
将所述样本图像划分为多个图像区域；
针对每个所述图像区域，根据该图像区域在所述样本图像中所处的位置，确定该图像区域中的每个目标检测框的所述目标点坐标。
进一步的，所述将所述目标图像和所述目标点云输入至已训练的空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果，可以包括：
将所述目标图像的各个目标检测框和所述目标点云的各个目标检测框输入至所述空间同步模型进行处理，得到所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系；
根据所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系，确定所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
更进一步的，所述根据所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系，确定所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框，可以包括：
针对所述目标图像的任意目标检测框，若所述目标点云中存在与所述任意目标检测框对应的目标检测框，则根据所述任意目标检测框以及与所述任意目标检测框对应的目标检测框，确定所述目标图像和所述目标点云完成空间同步处理后得到的一个目标检测框；若所述目标点云中不存在与所述任意目标检测框对应的目标检测框，则将所述任意目标检测框确定为所述目标图像和所述目标点云完成空间同步处理后得到的一个目标检测框。
本申请实施例的第二方面提供了一种数据空间同步装置，包括：
数据获取模块，用于获取待同步的目标图像和目标点云；其中，所述目标图像和所述目标点云均已完成目标检测处理；
数据同步模块，用于将所述目标图像和所述目标点云输入至已训练的空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果；其中，所述空间同步模型为以样本图像和样本点云作为训练集训练得到的神经网络模型，所述样本图像和所述样本点云为已完成空间同步处理的样本数据，所述空间同步结果包括所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例的第一方面提供的数据空间同步方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例的第一方面提供的数据空间同步方法。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如本申请实施例的第一方面提供的数据空间同步方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
图1是本申请实施例提供的一种数据空间同步方法的流程图；
图2是本申请实施例提供的数据空间同步方法对应的一种阶段示意图；
图3是本申请实施例提供的样本图像和样本点云进行空间同步处理的操作示意图；
图4是本申请实施例提供的目标图像和目标点云进行空间同步处理的操作示意图；
图5是本申请实施例提供的一种数据空间同步装置的结构示意图；
图6是本申请实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在环境探测领域中，多传感器数据的空间同步处理十分关键。本申请实施例提出一种数据空间同步方法，通过神经网络的方式，实现了点云数据和图像数据等不同传感器数据的空间同步。关于本申请实施例更具体的技术实现细节，请参照下文所述的方法实施例。
应当理解，本申请各个方法实施例的执行主体为各种类型的终端设备或服务器，例如可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、大屏电视，等等，本申请实施例对该终端设备和服务器的具体类型不作任何限制。
请参阅图1，示出了本申请实施例提供的一种数据空间同步方法，包括：
101、获取待同步的目标图像和目标点云；
首先，获取待同步的目标图像和目标点云。通常来说，不同传感器数据在使用时需要保持时空一致性，因此这里获取的目标图像和目标点云一般是同一时刻同一场景下的数据。例如，在高速收费路口一般同时设有激光雷达和相机等传感器设备，分别用于检测同一场景下的点云数据和图像数据，因此，可以获取同一时刻下，相机拍摄到的图像作为目标图像，激光雷达检测到的点云作为目标点云。
另外，目标图像和目标点云在执行空间同步之前需要完成目标检测处理。具体的，可以使用现有的各类针对图像的目标检测方法对目标图像进行处理，得到目标图像中的各个目标检测框；可以使用现有的各类针对点云的目标检测方法对目标点云进行处理，得到目标点云中的各个目标检测框。
102、将所述目标图像和所述目标点云输入至已训练的空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果。
在获得目标图像和目标点云之后，可以将目标图像和目标点云输入至一个已训练的空间同步模型进行处理，得到相应的空间同步结果，该空间同步结果包括目标图像和目标点云完成空间同步处理后得到的各个目标检测框，这些目标检测框在同一个坐标系下表示。其中，该空间同步模型是以样本图像和样本点云作为训练集训练得到的神经网络模型，而样本图像和样本点云是已预先完成空间同步处理的样本数据。
在本申请实施例的一种实现方式中，所述样本图像和所述样本点云可以通过以下方式获取：
(1)获取处于同一时刻同一场景下的原始图像和原始点云；其中，所述原始图像和所述原始点云均已完成目标检测处理；
(2)根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系；
(3)在构建所述一一对应关系之后，将所述原始图像确定为所述样本图像，以及将所述原始点云确定为所述样本点云。
获取同一时刻同一场景下的图像数据和点云数据，这里分别用原始图像和原始点云表示，原始图像和原始点云均已完成目标检测处理，得到其中包含的各个目标检测框。对于图像数据的目标检测框，其包含的参数一般可以表示为[x_min，y_min，x_max，y_max，label，id，score]，分别对应检测框的左下角坐标(x_min，y_min)、右上角坐标(x_max，y_max)、目标类型(label，例如行人、自行车、小轿车和公交车等)、目标编号(id)和对应类型得分(score)。对于点云数据的目标检测框，其包含的参数一般可以表示为[x，y，z，w，l，h，theta，label，speed，id，score]，分别对应检测框的三维中心点坐标(x，y，z)、检测框的长度(l)、宽度(w)以及高度(h)、航向角(theta)、目标类型(label，例如行人、自行车、小轿车和公交车等)、目标速度(speed)、目标编号(id)和对应类型得分(score)。这里需要进行原始图像和原始点云的空间同步处理，也即将它们包含的目标检测框一一对应起来。在具体操作时，可以根据原始图像的各个目标检测框的参数和原始点云的各个目标检测框的参数，来构建两者目标检测框之间的一一对应关系，例如可以根据各个目标检测框的位置坐标(中心点坐标或者角点坐标等)确定各个目标检测框之间的距离，从而将距离接近的目标检测框对应起来，视作同一个目标。在构建原始图像和原始点云的各个目标检测框之间的一一对应关系之后，原始图像和原始点云相当于完成了空间同步处理，故此时可以将原始图像确定为样本图像，将原始点云确定为样本点云。应当理解，这里的原始图像通常包含大量图像，对应的原始点云也包含大量点云，从而保证训练集的样本数据总量。
具体的，所述原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标，所述原始点云的各个目标检测框的参数包括检测框的中心点坐标；所述根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系，可以包括：
(1)将所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数转换至同一坐标系；
(2)根据所述原始图像的各个目标检测框的左上角坐标和右下角坐标，分别计算得到所述原始图像的各个目标检测框的中心点坐标；
(3)针对所述原始图像的任意目标检测框，分别计算所述任意目标检测框的中心点坐标与所述原始点云的各个目标检测框的中心点坐标之间的距离，并将所述原始点云的各个目标检测框中所述距离小于第一阈值的目标检测框与所述任意目标检测框对应。
通常来说，原始图像是二维数据，而原始点云是三维数据，在进行空间同步时，需要将原始图像的目标检测框和原始点云的目标检测框转换至同一坐标系。这里一方面可以根据现有技术中的三维坐标系转换至二维坐标系的方法，将原始点云的数据(主要包含各个目标检测框的坐标等参数)转换至原始图像对应的二维相机坐标系；另一方面可以根据现有技术中的二维坐标系转换至三维坐标系的方法，将原始图像的数据(主要包含各个目标检测框的坐标等参数)转换至原始点云对应的三维激光雷达坐标系。之后，由于原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标(这里也可以是左下角坐标和右上角坐标)，故可以通过计算左上角坐标和右下角坐标之间连线的中点的方式，得到各个目标检测框的中心点坐标。接着，由于此时原始图像的目标检测框和原始点云的目标检测框都在同一个坐标系下表示，因此针对原始图像的某个目标检测框X，可以分别计算X的中心点坐标和原始点云的各个目标检测框的中心点坐标之间的距离，然后将原始点云的各个目标检测框中所述距离小于设定阈值的目标检测框与X对应起来，表示该目标检测框与X对应同一个目标。显然，针对原始图像中的每个目标检测框都可以采用和目标检测框X相同的方式，从原始点云的各个目标检测框中找到对应的一个目标检测框，从而构建得到原始图像的各个目标检测框和原始点云的各个目标检测框之间的一一对应关系。
进一步的，所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数均还包括检测框的目标类型；所述将所述原始点云的各个目标检测框中所述距离小于第一阈值的目标检测框与所述任意目标检测框对应，可以包括：
将所述原始点云的各个目标检测框中所述距离小于第一阈值且对应的目标类型与所述任意目标检测框对应的目标类型相同的目标检测框，与所述任意目标检测框进行对应。
为了进一步提高对原始图像和原始点云进行空间同步的准确率，在考虑目标检测框之间距离的基础上，还可以增加一次检测目标类型是否相同的判断。例如，在上述针对目标检测框X的例子中，假设原始点云的各个目标检测框中与X的中心点坐标距离小于设定阈值的目标检测框是Y，这里不会直接将X和Y视作同一目标进行对应，而是先检测X和Y对应的目标类型是否相同(例如目标类型是否都为小轿车)，若相同才将X和Y视作同一目标进行对应。
具体的，所述原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标，所述原始点云的各个目标检测框的参数包括检测框的中心点坐标、长度、宽度以及高度；所述根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系，可以包括：
(1)将所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数转换至同一坐标系；
(2)根据所述原始图像的各个目标检测框的左上角坐标和右下角坐标，分别计算得到所述原始图像的各个目标检测框的位置区域；
(3)根据所述原始点云的各个目标检测框的中心点坐标、长度、宽度以及高度，分别计算得到所述原始点云的各个目标检测框的位置区域；
(4)针对所述原始图像的任意目标检测框，分别计算所述任意目标检测框的位置区域与所述原始点云的各个目标检测框的位置区域之间的重叠度，并将所述原始点云的各个目标检测框中所述重叠度大于第二阈值的目标检测框与所述任意目标检测框对应。
上文叙述的是通过检测中心点坐标之间距离的方式完成原始点云和原始图像的空间同步，在这里提出另外一种实施方式，通过检测重叠度的方式实现。在操作时，首先还是需要将原始图像的目标检测框和原始点云的目标检测框转换至同一坐标系。然后，根据原始图像的各个目标检测框的左上角坐标和右下角坐标(这里也可以是左下角坐标和右上角坐标)，可以分别计算得到原始图像的各个目标检测框的位置区域，目标检测框通常来说是一个矩形框，在已知矩形框的两个对角点的坐标后，可以计算得到一个矩形的位置区域。类似的，根据原始点云的各个目标检测框的中心点坐标、长度、宽度以及高度，可以分别计算得到原始点云的各个目标检测框的位置区域，在已知矩形框的中心点坐标和尺寸参数的情况下，也可以计算得到一个矩形的位置区域。接着，由于此时原始图像的目标检测框和原始点云的目标检测框都在同一个坐标系下表示，因此针对原始图像的某个目标检测框X，可以分别计算X的位置区域与原始点云的各个目标检测框的位置区域之间的重叠度(Iou)，然后将原始点云的各个目标检测框中所述重叠度大于设定阈值的目标检测框与X对应起来，表示该目标检测框与X对应同一个目标。显然，针对原始图像中的每个目标检测框都可以采用和目标检测框X相同的方式，从原始点云的各个目标检测框中找到对应的一个目标检测框，从而构建得到原始图像的各个目标检测框和原始点云的各个目标检测框之间的一一对应关系。
在本申请实施例的一种实现方式中，所述空间同步模型可以通过以下方式训练得到：
以所述样本图像的各个目标检测框的目标点坐标作为训练集的训练数据，以所述样本点云的各个目标检测框的中心点坐标作为训练集的真值，训练得到所述空间同步模型；其中，所述目标点坐标为检测框中任意一点的坐标。
在通过前文所述的方式获得样本图像和样本点云之后，在样本图像的每个目标检测框中分别选取任意一点(例如可以是目标检测框的中心点，四个角点之一，或者目标检测框中的其它点)作为目标点，然后以样本图像的各个目标检测框的目标点的坐标作为训练集的训练数据，以样本点云的各个目标检测框的中心点坐标作为训练集的真值，训练得到该空间同步模型。其中，如果将数据都转换至二维坐标系，则样本点云的各个目标检测框的中心点坐标可以取二个维度的分量，例如只取(x，y)作为训练集的真值。
进一步的，在以所述样本图像的各个目标检测框的目标点坐标作为训练集的训练数据之前，还可以包括：
(1)将所述样本图像划分为多个图像区域；
(2)针对每个所述图像区域，根据该图像区域在所述样本图像中所处的位置，确定该图像区域中的每个目标检测框的所述目标点坐标。
在从样本图像的目标检测框中选取目标点时，可以先将样本图像划分为多个图像区域，例如可以按照上中下划分为3个图像区域，或者按照“井”字型划分为九宫格区域，等等。然后，针对每个图像区域，可以根据该图像区域在样本图像中的位置，确定该图像区域中的每个目标检测框选取的目标点坐标。例如，如果某个图像区域A处于样本图像的中心区域，则图像区域A中的目标检测框可以选取中心点坐标作为目标点坐标；如果某个图像区域B处于样本图像的左下角区域，则图像区域B中的目标检测框可以选取左下角坐标作为目标点坐标，等等。经研究表明，处于图像中心区域的目标检测框中的真实目标所处位置一般靠近检测框的中心区域，而处于图像边缘区域的目标检测框中的真实目标所处位置也一般靠近检测框的边缘区域。因此，通过划分区域选取目标点的方式，能够在一定程度上提高在目标检测框中定位真实目标的准确率，进而能够提高后续进行检测框之间距离检测的准确率，提升空间同步操作的正确性。
在模型训练阶段，可以基于上述训练数据和真值，采用全连接网络等方式进行训练。神经网络的全连接层可以采用线性变换，损失函数可以采用均方误差损失函数，而优化器则可以选择梯度下降法。通过不断进行神经网络模型的优化训练，使损失值收敛，最终得到前文所述的空间同步模型。需要说明的是，本申请实施例不对该神经网络的类型、网络结构和训练方式等进行限定。该神经网络的具体训练过程和原理可以参照现有技术，在此不再赘述。
在本申请实施例的一种实现方式中，所述将所述目标图像和所述目标点云输入至已训练的空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果，可以包括：
(1)将所述目标图像的各个目标检测框和所述目标点云的各个目标检测框输入至所述空间同步模型进行处理，得到所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系；
(2)根据所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系，确定所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
在验证阶段，可以将目标图像和目标点云输入至该空间同步模型进行处理。通过该空间同步模型可以将目标图像的各个目标检测框和目标点云的各个目标检测框转换至同一坐标系，然后可以通过检测距离的方式完成目标检测框的匹配，也即得到目标图像的各个目标检测框和目标点云的各个目标检测框之间的一一对应关系。根据该一一对应关系，即可确定目标图像和目标点云完成空间同步处理后得到的各个目标检测框，从而得到相应的空间同步结果。这里的空间同步结果是融合后的结果，例如，假设目标图像中有目标检测框C1、目标检测框C2和目标检测框C3，目标点云中有目标检测框L1、目标检测框L2和目标检测框L3，其中，C1和L1对应，C2和L2对应，C3和L3对应，那么，在操作时会将C1和L1融合成一个目标检测框M1，将C2和L2融合成一个目标检测框M2，将C3和L3融合成一个目标检测框M3，最终得到的空间同步结果即为在同一个坐标系中表示的M1、M2和M3，也即M1、M2和M3是目标图像和目标点云完成空间同步处理后得到的各个目标检测框。
进一步的，所述根据所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系，确定所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框，可以包括：
针对所述目标图像的任意目标检测框，若所述目标点云中存在与所述任意目标检测框对应的目标检测框，则根据所述任意目标检测框以及与所述任意目标检测框对应的目标检测框，确定所述目标图像和所述目标点云完成空间同步处理后得到的一个目标检测框；若所述目标点云中不存在与所述任意目标检测框对应的目标检测框，则将所述任意目标检测框确定为所述目标图像和所述目标点云完成空间同步处理后得到的一个目标检测框。
在空间同步模型的训练阶段，以样本图像的各个目标检测框的目标点坐标作为训练集的训练数据，以样本点云的各个目标检测框的中心点坐标作为训练集的真值，这样训练得到的模型可以实现更广探测范围的数据空间同步。通常来说，激光雷达的检测范围较小，而相机的检测范围较大，因此，如果目标图像和目标点云是对应近处区域(处于激光雷达检测范围内)的数据，则目标图像和目标点云中检测到的目标检测框都是一一对应的，数量相等；而如果目标图像和目标点云是对应远处区域(处于激光雷达检测范围外)的数据，则只有目标图像中存在目标检测框，而目标点云中将没有目标检测框(实际上根本没有采集到该区域的激光雷达数据)。针对目标图像中的任意一个目标检测框X，如果目标点云中存在与目标检测框X对应的目标检测框Y，则表示存在相应的激光雷达数据，此时可以将目标检测框X和目标检测框Y在同一坐标系下融合，从而得到目标图像和目标点云完成空间同步处理后的一个目标检测框Z。反之，如果目标点云中不存在与目标检测框X对应的目标检测框，则表示没有相应的激光雷达数据，此时可以直接将目标检测框X视作目标图像和目标点云完成空间同步处理后得到的一个目标检测框。
在本申请实施例中，利用已完成空间同步处理的样本图像和样本点云作为训练集训练神经网络作为空间同步模型，在获取到已完成目标检测的待同步的目标图像和目标点云之后，可以将目标图像和目标点云输入至该空间同步模型进行空间同步处理，从而得到相应的空间同步结果，该空间同步结果具体可以包括目标图像和目标点云完成空间同步处理后得到的各个目标检测框。显然，本申请实施例通过神经网络的方式，实现了点云数据和图像数据的空间同步。
为便于理解本申请实施例提供的数据空间同步方法，以下列举一个实际应用场景。
如图2所示，为本申请实施例提供的数据空间同步方法对应的一种阶段示意图。在图2中，首先是数据获取阶段，也即获取样本图像和样本点云。然后，进入模型训练阶段，此阶段以样本图像的数据作为训练集的训练数据，以样本点云的数据作为训练集的真值，通过训练神经网络的方式，得到空间同步模型。最后，进入验证阶段，此阶段将待同步的目标图像和目标点云输入该空间同步模型进行处理，得到相应的空间同步结果。
在数据获取阶段，需要进行样本图像和样本点云的空间同步处理。如图3所示，为样本图像和样本点云进行空间同步处理的操作示意图。在图3中，激光雷达采集到的样本点云中具有目标检测框L1、目标检测框L2和目标检测框L3，而相机采集到的样本图像中具有目标检测框C1、目标检测框C2和目标检测框C3。通过前文所述的距离匹配或者重叠度匹配的方式，可以找到样本点云的各个目标检测框和样本图像的各个目标检测框之间的一一对应关系，如图3所示，L1和C1对应，L2和C2对应，L3和C3对应。
在验证阶段，对目标图像和目标点云进行空间同步处理的操作示意图如图4所示。在图4中，将相机采集到的目标图像和激光雷达采集到的目标点云输入空间同步模型，该空间同步模型可以将目标图像的目标检测框C4、C5和C6转换至与目标点云的目标检测框L4、L5和L6相同的三维坐标系，然后找到C4和L4、C5和L5、C6和L6之间的对应关系，从而输出最终的空间同步结果(C4和L4融合后得到的M4，C5和L5融合后得到的M5，C6和L6融合后得到的M6)。
综上所述，本申请实施例通过神经网络的方式，实现了点云数据(三维空间数据)和图像数据(二维空间数据)的空间同步。而且，在训练神经网络模型时，以图像数据作为训练集的训练数据，以点云数据作为训练集的真值，这样处理能够实现更广探测范围的数据空间同步。
应理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上面主要描述了一种数据空间同步方法，下面将对一种数据空间同步装置5进行描述。
请参阅图5，本申请实施例中一种数据空间同步装置的一个实施例包括：
数据获取模块501，用于获取待同步的目标图像和目标点云；其中，所述目标图像和所述目标点云均已完成目标检测处理；
数据同步模块502，用于将所述目标图像和所述目标点云输入至已训练的0空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果；
其中，所述空间同步模型为以样本图像和样本点云作为训练集训练得到的神经网络模型，所述样本图像和所述样本点云为已完成空间同步处理的样本数据，所述空间同步结果包括所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
5在本申请实施例的一种实现方式中，所述数据空间同步装置还可以包括：
样本数据获取模块，用于获取处于同一时刻同一场景下的原始图像和原始点云；其中，所述原始图像和所述原始点云均已完成目标检测处理；
对应关系构建模块，用于根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和0所述原始点云的各个目标检测框之间的一一对应关系；
样本数据确定模块，用于在构建所述一一对应关系之后，将所述原始图像确定为所述样本图像，以及将所述原始点云确定为所述样本点云。
进一步的，所述原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标，所述原始点云的各个目标检测框的参数包括检测框的中心点5坐标；所述对应关系构建模块可以包括：
第一坐标转换单元，用于将所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数转换至同一坐标系；
中心点坐标计算单元，用于根据所述原始图像的各个目标检测框的左上角坐标和右下角坐标，分别计算得到所述原始图像的各个目标检测框的中心点坐标；
第一检测框对应单元，用于针对所述原始图像的任意目标检测框，分别计算所述任意目标检测框的中心点坐标与所述原始点云的各个目标检测框的中心点坐标之间的距离，并将所述原始点云的各个目标检测框中所述距离小于第一阈值的目标检测框与所述任意目标检测框对应。
更进一步的，所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数均还包括检测框的目标类型；所述第一检测框对应单元具体可以用于：将所述原始点云的各个目标检测框中所述距离小于第一阈值且对应的目标类型与所述任意目标检测框对应的目标类型相同的目标检测框，与所述任意目标检测框进行对应。
进一步的，所述原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标，所述原始点云的各个目标检测框的参数包括检测框的中心点坐标、长度、宽度以及高度；所述对应关系构建模块可以包括：
第一坐标转换单元，用于将所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数转换至同一坐标系；
第一位置区域计算单元，用于根据所述原始图像的各个目标检测框的左上角坐标和右下角坐标，分别计算得到所述原始图像的各个目标检测框的位置区域；
第二位置区域计算单元，用于根据所述原始点云的各个目标检测框的中心点坐标、长度、宽度以及高度，分别计算得到所述原始点云的各个目标检测框的位置区域；
第二检测框对应单元，用于针对所述原始图像的任意目标检测框，分别计算所述任意目标检测框的位置区域与所述原始点云的各个目标检测框的位置区域之间的重叠度，并将所述原始点云的各个目标检测框中所述重叠度大于第二阈值的目标检测框与所述任意目标检测框对应。
在本申请实施例的一种实现方式中，所述数据空间同步装置还可以包括：
模型训练模块，用于以所述样本图像的各个目标检测框的目标点坐标作为训练集的训练数据，以所述样本点云的各个目标检测框的中心点坐标作为训练集的真值，训练得到所述空间同步模型；其中，所述目标点坐标为检测框中任意一点的坐标。
进一步的，所述数据空间同步装置还可以包括：
图像划分模块，用于将所述样本图像划分为多个图像区域；
目标点确定模块，用于针对每个所述图像区域，根据该图像区域在所述样本图像中所处的位置，确定该图像区域中的每个目标检测框的所述目标点坐标。
在本申请实施例的一种实现方式中，所述数据同步模块可以包括：
数据空间同步单元，用于将所述目标图像的各个目标检测框和所述目标点云的各个目标检测框输入至所述空间同步模型进行处理，得到所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系；
目标检测框确定单元，用于根据所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系，确定所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
进一步的，所述目标检测框确定单元具体可以用于：针对所述目标图像的任意目标检测框，若所述目标点云中存在与所述任意目标检测框对应的目标检测框，则根据所述任意目标检测框以及与所述任意目标检测框对应的目标检测框，确定所述目标图像和所述目标点云完成空间同步处理后得到的一个目标检测框；若所述目标点云中不存在与所述任意目标检测框对应的目标检测框，则将所述任意目标检测框确定为所述目标图像和所述目标点云完成空间同步处理后得到的一个目标检测框。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如图1表示的任意一种数据空间同步方法。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品在终端设备上运行时，使得终端设备执行如图1表示的任意一种数据空间同步方法。
图6是本申请一实施例提供的终端设备的示意图。如图6所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个数据空间同步方法的实施例中的步骤，例如图1所示的步骤101至102。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块501至502的功能。
所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (12)

1.一种数据空间同步方法，其特征在于，包括：
获取待同步的目标图像和目标点云；其中，所述目标图像和所述目标点云均已完成目标检测处理；
将所述目标图像和所述目标点云输入至已训练的空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果；其中，所述空间同步模型为以样本图像和样本点云作为训练集训练得到的神经网络模型，所述样本图像和所述样本点云为已完成空间同步处理的样本数据，所述空间同步结果包括所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
2.如权利要求1所述的方法，其特征在于，所述样本图像和所述样本点云通过以下方式获取：
获取处于同一时刻同一场景下的原始图像和原始点云；其中，所述原始图像和所述原始点云均已完成目标检测处理；
根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系；
在构建所述一一对应关系之后，将所述原始图像确定为所述样本图像，以及将所述原始点云确定为所述样本点云。
3.如权利要求2所述的方法，其特征在于，所述原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标，所述原始点云的各个目标检测框的参数包括检测框的中心点坐标；所述根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系，包括：
将所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数转换至同一坐标系；
根据所述原始图像的各个目标检测框的左上角坐标和右下角坐标，分别计算得到所述原始图像的各个目标检测框的中心点坐标；
针对所述原始图像的任意目标检测框，分别计算所述任意目标检测框的中心点坐标与所述原始点云的各个目标检测框的中心点坐标之间的距离，并将所述原始点云的各个目标检测框中所述距离小于第一阈值的目标检测框与所述任意目标检测框对应。
4.如权利要求3所述的方法，其特征在于，所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数均还包括检测框的目标类型；所述将所述原始点云的各个目标检测框中所述距离小于第一阈值的目标检测框与所述任意目标检测框对应，包括：
将所述原始点云的各个目标检测框中所述距离小于第一阈值且对应的目标类型与所述任意目标检测框对应的目标类型相同的目标检测框，与所述任意目标检测框进行对应。
5.如权利要求2所述的方法，其特征在于，所述原始图像的各个目标检测框的参数包括检测框的左上角坐标和右下角坐标，所述原始点云的各个目标检测框的参数包括检测框的中心点坐标、长度、宽度以及高度；所述根据所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数，构建所述原始图像的各个目标检测框和所述原始点云的各个目标检测框之间的一一对应关系，包括：
将所述原始图像的各个目标检测框的参数和所述原始点云的各个目标检测框的参数转换至同一坐标系；
根据所述原始图像的各个目标检测框的左上角坐标和右下角坐标，分别计算得到所述原始图像的各个目标检测框的位置区域；
根据所述原始点云的各个目标检测框的中心点坐标、长度、宽度以及高度，分别计算得到所述原始点云的各个目标检测框的位置区域；
针对所述原始图像的任意目标检测框，分别计算所述任意目标检测框的位置区域与所述原始点云的各个目标检测框的位置区域之间的重叠度，并将所述原始点云的各个目标检测框中所述重叠度大于第二阈值的目标检测框与所述任意目标检测框对应。
6.如权利要求2至5任一项所述的方法，其特征在于，所述空间同步模型通过以下方式训练得到：
以所述样本图像的各个目标检测框的目标点坐标作为训练集的训练数据，以所述样本点云的各个目标检测框的中心点坐标作为训练集的真值，训练得到所述空间同步模型；其中，所述目标点坐标为检测框中任意一点的坐标。
7.如权利要求6所述的方法，其特征在于，在以所述样本图像的各个目标检测框的目标点坐标作为训练集的训练数据之前，还包括：
将所述样本图像划分为多个图像区域；
针对每个所述图像区域，根据该图像区域在所述样本图像中所处的位置，确定该图像区域中的每个目标检测框的所述目标点坐标。
8.如权利要求6所述的方法，其特征在于，所述将所述目标图像和所述目标点云输入至已训练的空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果，包括：
将所述目标图像的各个目标检测框和所述目标点云的各个目标检测框输入至所述空间同步模型进行处理，得到所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系；
根据所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系，确定所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
9.如权利要求8所述的方法，其特征在于，所述根据所述目标图像的各个目标检测框和所述目标点云的各个目标检测框之间的一一对应关系，确定所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框，包括：
针对所述目标图像的任意目标检测框，若所述目标点云中存在与所述任意目标检测框对应的目标检测框，则根据所述任意目标检测框以及与所述任意目标检测框对应的目标检测框，确定所述目标图像和所述目标点云完成空间同步处理后得到的一个目标检测框；若所述目标点云中不存在与所述任意目标检测框对应的目标检测框，则将所述任意目标检测框确定为所述目标图像和所述目标点云完成空间同步处理后得到的一个目标检测框。
10.一种数据空间同步装置，其特征在于，包括：
数据获取模块，用于获取待同步的目标图像和目标点云；其中，所述目标图像和所述目标点云均已完成目标检测处理；
数据同步模块，用于将所述目标图像和所述目标点云输入至已训练的空间同步模型进行处理，得到所述目标图像和所述目标点云的空间同步结果；其中，所述空间同步模型为以样本图像和样本点云作为训练集训练得到的神经网络模型，所述样本图像和所述样本点云为已完成空间同步处理的样本数据，所述空间同步结果包括所述目标图像和所述目标点云完成空间同步处理后得到的各个目标检测框。
11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的数据空间同步方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的数据空间同步方法。
CN202211697370.6A 2022-12-28 2022-12-28 一种数据空间同步方法、装置、终端设备和存储介质 Pending CN116152048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211697370.6A CN116152048A (zh) 2022-12-28 2022-12-28 一种数据空间同步方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211697370.6A CN116152048A (zh) 2022-12-28 2022-12-28 一种数据空间同步方法、装置、终端设备和存储介质

Publications (1)

Publication Number Publication Date
CN116152048A true CN116152048A (zh) 2023-05-23

Family

ID=86361174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211697370.6A Pending CN116152048A (zh) 2022-12-28 2022-12-28 一种数据空间同步方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN116152048A (zh)

Similar Documents

Publication Publication Date Title
CN111815754B (zh) 一种三维信息确定方法、三维信息确定装置及终端设备
US11422261B2 (en) Robot relocalization method and apparatus and robot using the same
US11403860B1 (en) Multi-sensor object detection fusion system and method using point cloud projection
CN111612841B (zh) 目标定位方法及装置、移动机器人及可读存储介质
CN109828250B (zh) 一种雷达标定方法、标定装置及终端设备
CN112198878A (zh) 一种即时地图构建方法、装置、机器人及存储介质
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN114612616A (zh) 建图方法、装置、电子设备和存储介质
CN116415652A (zh) 一种数据生成方法、装置、可读存储介质及终端设备
CN111982132B (zh) 数据处理方法、装置和存储介质
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN111157012B (zh) 一种机器人导航方法、装置、可读存储介质及机器人
CN117765039A (zh) 点云粗配准方法、装置及设备
CN114882115B (zh) 车辆位姿的预测方法和装置、电子设备和存储介质
CN116343095A (zh) 一种基于视频拼接的车辆轨迹提取方法及相关设备
CN116152048A (zh) 一种数据空间同步方法、装置、终端设备和存储介质
CN114972945A (zh) 多机位信息融合的车辆识别方法、***、设备及存储介质
CN114913105A (zh) 激光点云融合方法、装置、服务器及计算机可读存储介质
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质
CN114415129A (zh) 基于多项式模型的视觉与毫米波雷达联合标定方法及装置
CN116958195A (zh) 物件追踪整合方法及整合装置
CN114373078A (zh) 目标检测方法、装置、终端设备及存储介质
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
CN116681884B (zh) 一种对象检测方法和相关装置
CN115331421B (zh) 路侧多传感环境感知方法、装置及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination