CN111709988A - 一种物体的特征信息的确定方法、装置、电子设备及存储介质 - Google Patents

一种物体的特征信息的确定方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111709988A
CN111709988A CN202010348299.5A CN202010348299A CN111709988A CN 111709988 A CN111709988 A CN 111709988A CN 202010348299 A CN202010348299 A CN 202010348299A CN 111709988 A CN111709988 A CN 111709988A
Authority
CN
China
Prior art keywords
coordinate system
determining
point cloud
coordinates
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010348299.5A
Other languages
English (en)
Other versions
CN111709988B (zh
Inventor
金伟
王健威
沈孝通
秦宝星
程昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gaussian Automation Technology Development Co Ltd
Original Assignee
Shanghai Gaussian Automation Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gaussian Automation Technology Development Co Ltd filed Critical Shanghai Gaussian Automation Technology Development Co Ltd
Priority to CN202010348299.5A priority Critical patent/CN111709988B/zh
Publication of CN111709988A publication Critical patent/CN111709988A/zh
Application granted granted Critical
Publication of CN111709988B publication Critical patent/CN111709988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了一种物体的特征信息的确定方法、装置、电子设备及存储介质，本申请可以基于同一场景获取视觉数据和激光数据集；确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息；对激光数据集进行聚类处理，得到多个点云；基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云；根据目标对象的类别信息确定目标点云的类别信息，并确定空间位置。基于同一对象可以增加视觉数据和激光数据之间的匹配联系，同时通过对各种传感器信息的合理支配和使用，在空间和时间上把互补与冗余信息依据优化准则结合起来，为后续多传感器定位的应用提供更多的信息。

Description

一种物体的特征信息的确定方法、装置、电子设备及存储介质
技术领域
本申请涉及机器人领域，尤其涉及一种物体的特征信息的确定方法、装置、电子设备及存储介质。
背景技术
智能移动机器人，是一种集环境感知、动态决策与规划、行为控制与执行等多功能为一体的智能化程度很高的装置，其对环境感知的快速性、准确性与多传感器信息融合技术密不可分。多传感器信息融合技术就是计算机充分利用各传感器资源，通过对各种量测信息的合理支配和使用，在空间和时间上把互补与冗余信息依据某种优化准则结合起来，产生对观测环境的一致性解释或描述，同时产生新的融合结果。在环境感知模块，视觉传感器和激光雷达是常用的两种传感器。近年来，以深度学习为代表的视觉画面分析方法已经取得了非常大的发展，可以对行人、车辆及各种障碍物等做出很准确的检测和分类。对于机器人，需要采集一组相机像素座标系和激光雷达座标系中的匹配点计算。
然而，现有技术直接仅仅通过机器人拍摄的物体的图像对物体进行分类，或者通过激光雷达对物体进行检测，并没有技术涉及图像和实物之间的匹配联系。
发明内容
本申请实施例提供了一种物体的特征信息的确定方法、装置、电子设备及存储介质，可以获取的视觉数据和激光数据之间的匹配联系，通过对各种传感器信息的合理支配和使用，在空间和时间上把互补与冗余信息依据某种优化准则结合起来，产生对观测环境及对象的一致性解释或描述，同时产生新的融合结果，为后续的多传感器定位的应用提供更多的信息。
一方面，本申请实施例提供了一种物体的特征信息的确定方法，该方法包括：
基于同一场景获取视觉数据和激光数据集；
确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息；
对激光数据集进行聚类处理，得到多个点云；
基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云；
根据目标对象的类别信息确定目标点云的类别信息；以及确定目标点云的空间位置。
可选的，基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云，包括：确定多个点云中每个点云投影在第一坐标系下的坐标；基于每个点云投影在第一坐标系下的坐标和目标对象在视觉数据中的位置信息，确定出每个点云与目标对象之间的欧式距离；从每个点云对应的欧式距离中确定出小于等于预设距离阈值的目标欧式距离；将确定出的满足目标欧式距离的点云确定为与目标对象匹配的目标点云。
可选的，确定多个点云中每个点云投影在第一坐标系下的坐标，包括：确定多个点云中每个点云在第二坐标系下的坐标；获取第二坐标系和第一坐标系的转换规则；基于转换规则，将多个点云中每个点云在第二坐标系下的坐标转换成多个点云中每个点云在第一坐标系下的坐标。
可选的，第二坐标系下的坐标为二维数据或三维数据；和/或；第一坐标系下的坐标为二维数据或三维数据；目标对象在视觉数据中的位置信息为二维数据或者三维数据。
可选的，获取第二坐标系和第一坐标系的转换规则，包括：确定第二坐标系至中间坐标系的第一转换矩阵；确定中间坐标系至第一坐标系下的第二转换矩阵；基于第一转换矩阵和第二转换矩阵确定第二坐标系和第一坐标系的包含至少一个未知参量的转换规则；基于第一传感器和第二传感器分别在N个预设位置获取的N对匹配坐标确定出转换规则中的至少一个未知参量，得到第二坐标系和第一标系的转换规则。
可选的，第一转换矩阵中包含至少一个未知参量；和/或；第二转换矩阵中包含至少一个未知参量；中间坐标系包括至少一个子中间坐标系以及至少一个子中间坐标系之间的转换规则。
可选的，基于第一传感器和第二传感器分别在N个预设位置获取的N对匹配坐标确定出转换规则中的至少一个未知参量，包括：在N个预设位置，通过第一传感器获取标定码在第一坐标系下的第一坐标集合；在N个预设位置，通过第二传感器获取标定码在第二坐标系下的第二坐标集合；对第一坐标集合中的第一坐标和第二坐标集合中的第二坐标进行转换，得到第一齐次坐标集合和第二齐次坐标集合；基于同一预设位置从第一齐次坐标集合和第二齐次坐标集合确定出N对匹配坐标；将N对匹配坐标代入包含至少一个未知参量的转换规则所在的函数中，得到转换规则中的至少一个未知参量。
可选的，对激光数据集进行聚类处理，得到多个点云，包括：确定激光数据集中的每个数据的特征值；计算每个数据的特征值和预设特征值之间的距离值；根据距离值所在的距离等级将激光数据集分成多个点云。
另一方面提供了一种物体的特征信息的确定方法装置，该装置包括：
获取模块，用于基于同一场景获取视觉数据和激光数据集；
目标确定模块，用于确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息；
点云确定模块，用于对激光数据集进行聚类处理，得到多个点云；
目标点云确定模块，用于基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云；
特征信息确定模块，用于根据目标对象的类别信息确定目标点云的类别信息；以及确定目标点云的空间位置。
可选的，目标点云确定模块，具体用于：
确定多个点云中每个点云投影在第一坐标系下的坐标；
基于每个点云投影在第一坐标系下的坐标和目标对象在视觉数据中的位置信息，确定出每个点云与目标对象之间的欧式距离；
从每个点云对应的欧式距离中确定出小于等于预设距离阈值的目标欧式距离；
将确定出的满足目标欧式距离的点云确定为与目标对象匹配的目标点云。
可选的，目标点云确定模块，具体用于：
确定多个点云中每个点云在第二坐标系下的坐标；
获取第二坐标系和第一坐标系的转换规则；
基于转换规则，将多个点云中每个点云在第二坐标系下的坐标转换成多个点云中每个点云在第一坐标系下的坐标。
可选的，第二坐标系下的坐标为二维数据或三维数据；和/或；第一坐标系下的坐标为二维数据或三维数据；目标对象在视觉数据中的位置信息为二维数据或者三维数据。
可选的，目标点云确定模块，具体用于：
确定第二坐标系至中间坐标系的第一转换矩阵；确定中间坐标系至第一坐标系下的第二转换矩阵；
基于第一转换矩阵和第二转换矩阵确定第二坐标系和第一坐标系的包含至少一个未知参量的转换规则；
基于第一传感器和第二传感器分别在N个预设位置获取的N对匹配坐标确定出转换规则中的至少一个未知参量，得到第二坐标系和第一标系的转换规则。
可选的，目标点云确定模块，具体用于：
在N个预设位置，通过第一传感器获取标定码在第一坐标系下的第一坐标集合；
在N个预设位置，通过第二传感器获取标定码在第二坐标系下的第二坐标集合；
对第一坐标集合中的第一坐标和第二坐标集合中的第二坐标进行转换，得到第一齐次坐标集合和第二齐次坐标集合；
基于同一预设位置从第一齐次坐标集合和第二齐次坐标集合确定出N对匹配坐标；
将N对匹配坐标代入包含至少一个未知参量的转换规则所在的函数中，得到转换规则中的至少一个未知参量。
可选的，点云确定模块，具体用于：
确定激光数据集中的每个数据的特征值；
计算每个数据的特征值和预设特征值之间的距离值；
根据距离值所在的距离等级将激光数据集分成多个点云。
另一方面提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行物体的特征信息的确定方法。
另一方面提供了一种计算机可读存储介质，计算机存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以物体的特征信息的确定方法。
本申请实施例提供的物体的特征信息的确定方法、装置、电子设备及存储介质，具有如下技术效果：
基于同一场景获取视觉数据和激光数据集；确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息；对激光数据集进行聚类处理，得到多个点云；基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云；根据目标对象的类别信息确定目标点云的类别信息；以及确定目标点云的空间位置，基于同一对象可以有效的增加获取的视觉数据和激光数据之间的匹配联系，通过对各种传感器信息的合理支配和使用，在空间和时间上把互补与冗余信息依据某种优化准则结合起来，产生对观测环境及对象的一致性解释或描述，同时产生新的融合结果，为后续的多传感器定位的应用提供更多的信息。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种应用环境的示意图；
图2是本申请实施例提供的一种物体的特征信息的确定方法的流程示意图；
图3是本申请实施例提供的一种物体的特征信息的确定方法的流程示意图；
图4是本申请实施例提供的一种物体的特征信息的确定方法的流程示意图；
图5是本申请实施例提供的一种确定多个点云中每个点云投影在第一坐标系下的坐标的流程示意图；
图6是本申请实施例提供的一种两个坐标系之间的转换示意图；
图7是本申请实施例提供的一种获取第二坐标系和第一坐标系的转换规则的流程示意图；
图8是本申请实施例提供的一种得到第二坐标系和第一坐标系的转换规则的流程示意图；
图9是本申请实施例提供的一种检测码的示意图；
图10是本申请实施例提供的一种测量示意图；
图11是本申请实施例提供的一种物体的特征信息的确定装置的结构示意图；
图12是本申请实施例提供的一种物体的特征信息的确定方法的电子设备的硬件结构框图；
图13是本申请实施例提供的一种计算机可读存储介质的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，该示意图包括移动电子设备101，示意图中显示的移动电子设备101是一个扫地机器人，除了扫地机器人，移动电子设备还可以是其他诸如洗地机器人，导航小车等等。其中，移动电子设备101包括第一传感器1011和第二传感器1012。比如，第一传感器1011可以是激光雷达，第二传感器1012可以是相机。可选的，在本申请实施例中，第一传感器1011和第二传感器1012获取的数据都可以是二维数据和/或三维数据，本申请实施例将以第一传感器1011获取的数据为三维数据，第二传感器1012获取的数据为二维数据为例进行阐述，其他的方式可参考上述例子，不再赘述。
具体的，移动电子设备101基于同一场景获取视觉数据和激光数据集，并确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息。随后，移动电子设备可以对激光数据集进行聚类处理，得到多个点云，并基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云。最后，根据目标对象的类别信息确定目标点云的类别信息，以及确定目标点云的空间位置。如此，移动电子设备可以通过视觉数据确定的目标物体的类别信息去确定目标物体对应的实物的特征信息。
本申请实施例中，上段中的所有技术步骤都可以在移动电子设备101内实现。可选的，部分技术步骤(比如，确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息。随后，移动电子设备可以对激光数据集进行聚类处理，得到多个点云，并基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云。根据目标对象的类别信息确定目标点云的类别信息，以及确定目标点云的空间位置)还可以在与移动电子设备101连接的服务器内实现，并将处理后的特征信息反馈给移动电子设备101。
以下介绍本申请一种物体的特征信息的确定方法的具体实施例，图2是本申请实施例提供的一种物体的特征信息的确定方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：
S201：基于同一场景获取视觉数据和激光数据集。
本申请实施例中，该视觉数据是移动电子设备上的相机获取的，该激光数据集是移动电子设备上的激光雷达获取的。该相机和该激光雷达获取的是同一场景，可选的，相机和激光雷达获取区域是相同的，可选的，相机和激光雷达获取区域是不同的，但是有重叠区域。如此，才会有下文中视觉数据中的目标对象才可以和激光数据集的目标点云对应的结果。
S203：确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息。
可选的，移动电子设备可以通过目标检测算法确定出视觉数据中的目标对象，并确定该目标对象的类别信息和该目标对象在视觉数据中的位置信息。目标检测算法可以体现为通过训练好的目标检测模型确定出视觉数据中的目标对象，该目标对象的类别信息和该目标对象在视觉数据中的位置信息。其中，目标检测模型可以是基于卷积神经网络模型的原理训练获得的，或者，目标检测模型还可以是基于循环神经网络模型的原理训练获得的。
可选的，目标对象中的位置信息是二维数据或者三维数据，下文将以目标对象中的位置信息是二维数据(可选的，可以建立坐标系，以X轴和Y轴上的额数据体现位置信息，或者可以以像素行数和列数表示位置信息)进行举例说明。可选的，目标对象的类别信息是目标对象所属的种类，比如汽车，行人，建筑物等等。
S205：对激光数据集进行聚类处理，得到多个点云。
为了从激光数据集中确定出与上述目标对象对应的数据，本申请实施例中，移动电子设备可以将激光数据集进行聚类处理，得到多个点云，从而方便下文从多个点云中确定出与目标对象对应的点云。每个点云可以包含多个激光数据，么各个激光数据隐含了该点的三维坐标。
图3是本申请实施例提供的一种物体的特征信息的确定方法的流程示意图，该示意图中的步骤S205可以表示为：
S2051：确定激光数据集中的每个数据的特征值。
特征值可以是综合每个数据的颜色、几何特性等而得到的特征值。一般来说，同一个事物包含的数据的特征值相对接近。
S2052：计算每个数据的特征值和预设特征值之间的距离值。
其中，预设特征值可以随意设置或者根据经验值设置，主要是确定一个基准，确定出各个数据与基准之间的差异，比如预设特征值可以被设置为0。
S2053：根据距离值所在的距离等级将激光数据集分成多个点云。
举个例子，比如，第一部分数据的特征值和预设特征值之间的距离值在0-1之间，第二部分数据的特征值和预设特征值之间的距离值在1-2之间，第三部分数据的特征值和预设特征值之间的距离值在2-3之间……移动电子设备就可以将激光数据集分成第一点云，第二点云，第三点云……
S207：基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云。
下面介绍一种可选的从多个点云中确定出与目标对象匹配的目标点云，图4是本申请实施例提供的一种物体的特征信息的确定方法的流程示意图，该示意图中的步骤S207可以表示为：
S2071：确定多个点云中每个点云投影在第一坐标系下的坐标。
图5是本申请实施例提供的一种确定多个点云中每个点云投影在第一坐标系下的坐标的流程示意图，包括：
S501：确定多个点云中每个点云在第二坐标系下的坐标。
本申请实施例将以第二坐标系下的坐标为三维坐标，第一坐标系下的坐标为二维坐标为例进行阐述。
由于每个点云中的数据集是通过激光雷达获取的，所以移动电子设备可以直接确定每个点云在第二坐标系下的坐标。
S503：获取第二坐标系和第一坐标系的转换规则。
具体的，可以是获取第一坐标系至第二坐标系下的转换规则，或者获取第二坐标系至第一坐标系下的转换规则。
一种可选的实施方式中，该转换规则可以用转换矩阵体现：
图6为本申请实施例提供的一种两个坐标系之间的转换示意图，由激光雷达对应的第二坐标系转换成相机的摄像头下的第一坐标系。
本申请实施例中，第一坐标系可以是第一传感器对应的坐标系，第二坐标系可以是第二传感器对应的坐标系。比如，第一坐标系可以是摄像头对应的像素坐标系，第二坐标系可以是激光雷达对应的激光雷达坐标系。
一种可选的获取第二坐标系和第一坐标系的转换规则的实施方式中，移动电子设备可以通过图7所示的示意图确定该转换规则，图7为本申请实施例提供的一种获取第二坐标系至第一坐标系的转换规则的流程示意图，包括：
S5031：确定第二坐标系至中间坐标系的第一转换矩阵；
其中，第一转换矩阵中包含至少一个未知参量；中间坐标系包括至少一个子中间坐标系以及至少一个子中间坐标系之间的转换规则。
可选的，中间坐标系中可以包括一个子中间坐标系或者多个子中间坐标系。可选的，中间坐标系仅仅有一个子坐标系。可选的，若中间坐标系中有多个子中间坐标系，则中间坐标系中还可以存在多个子中间坐标系之间的转换矩阵。
下面将以中间坐标系中有多个子中间坐标系进行说明，本申请以第二坐标系为激光雷达坐标系继续阐述，举个例子，假设中间坐标系可以包括摄像头坐标系和图像坐标系。
可选的，第一转换矩阵是激光雷达坐标系至摄像头坐标系下的转换规则，第一转换矩阵可以表示为
Figure BDA0002471025670000121
设激光雷达数据点在激光雷达坐标系下的坐标为plidar＝[xlidarylidar zlidar]t，在摄像头坐标系下的坐标为Pc＝[xc yc zc]t,其中t为转置，则激光雷达坐标系至摄像头坐标系之间的公式为：
Figure BDA0002471025670000122
其中，T为平移矩阵，T＝[tx ty tz]t，R为正交旋转矩阵，
Figure BDA0002471025670000123
下面介绍摄像头坐标系和图像坐标系，以及摄像头坐标系和图像坐标系之间的转换规则。上文提及摄像头坐标系下的坐标为Pc＝[xc yc zc]t，假设图像坐标系下的齐次坐标为m＝[xp yp 1]t，主点(像素坐标系的原点在图像坐标系中的位置)在图像坐标系中的坐标为pc＝[x0 y01]t，则摄像头坐标系至图像坐标系之间的公式为：
Figure BDA0002471025670000131
S5032：确定中间坐标系至第一坐标系下的第二转换矩阵。
其中，第二转换矩阵中可以包含至少一个未知参。
基于上文继续阐述，第一坐标系为像素坐标系。第二转换矩阵是图像坐标系至像素坐标系下的转换规则，假设一个像素的长度和宽度分别为dx和dy，假设像素坐标系下的坐标为p＝[u v 1]t，则图像坐标系至像素坐标系之间的公式为：
Figure BDA0002471025670000132
此处的p是小写。
S5033：基于第一转换矩阵和第二转换矩阵确定第二坐标系至第一坐标系的包含至少一个未知参量的转换规则。
如此，移动电子设备基于第一转换矩阵和第二转换矩阵确定激光雷达坐标系至像素坐标系的包含至少一个未知参量的转换规则，也就是激光雷达坐标系到摄像头坐标系变换、摄像头坐标系到图像坐标系变换，以及图像坐标系到像素坐标系变换。
摄像头坐标系到像素坐标系的变换矩阵K为：
Figure BDA0002471025670000133
因此，激光雷达雷达坐标系下的数据点从激光雷达坐标系到像素坐标系的整体变换表示为：
Figure BDA0002471025670000141
S5034：基于第一传感器和第二传感器分别在N个预设位置获取的N对匹配坐标确出转换规则中的至少一个未知参量，得到激光雷达坐标系至像素坐标系下的转换规则。
可选的，N为大于等于4的整数。
如此，通过以上公式，知道激光坐标系下N个数据点的真实坐标以及对应的在像素坐标系下的投影，求解变换关系R和T，及PnP(Perspective n-Point)问题求解，然后将上面公式进行变换：
f＝P(RPlidar+T)-p……公式(5)
由于Plidar和p已知，求解对应的R和T，就是使f→0，所以可以转变为以下优化公式：
Figure BDA0002471025670000142
其中，
Figure BDA0002471025670000143
通过上述公式，就可以获得对应的R和T，具体的R和T求解流程如下：通过描述的数据采集方式，通过检测视觉数据中的marker，获得对应的视觉数据上的特征点，然后在2维激光数据中找到对应的突变点，完成数据的收集。测量每一个marker的高度，使2维激光点变为3维激光点，完成三维激光点的获取。将匹配完成的摄像头特征点和匹配完成的三维激光点带入目标函数
Figure BDA0002471025670000144
通过ceres库来求解，获得最终的R和T。ceres是一个开源的C++库，用于求模型和函数的优化问题，可以用于解决具有边界约束的非线性最小二乘问题和一般的无约束优化问题。
下面介如何知道激光坐标系下n个数据点的真实坐标以及对应的在像素坐标系下的投影，图8为本申请实施例提供的一种得到激光雷达坐标系至像素坐标系下的转换规则的流程示意图，包括：
S801：在N个预设位置，通过第一传感器获取标定码在第一坐标系下的第一坐标集合。
如图9所示，标定码是用来检测码，ArUco marker，opencv中的一个开源库。一个ArUco marker是一个二进制平方标记，它由一个宽的黑边和一个内部的二进制矩阵组成，内部的矩阵决定了它们的id。黑色的边界有利于快速检测到视觉数据，二进制编码可以验证标识信息。一种可选的实施例中，标定码可以被设置于任意可以被检测到的位置，比如墙中间或者墙角位置，但是由于墙角位置的标定码更容易被检测到的原因，一般将标定码设置在墙角位置。
基于上文继续阐述，第一传感器为激光雷达，那么第一坐标系为激光雷达坐标系，第一坐标集合中的第一坐标可以被认为是激光雷达坐标系下的特征点，该特征点是由激光雷达检测墙角获取的。由于是在N个预设位置进行检测，移动电子设备就可以获取N个激光雷达坐标系中的特征点。激光雷达座标系中的特征点检测方法为：对墙角的检测，即遍历机器人前方范围内激光雷达点云，找到点云距离值突变的点，其座标即为特征点墙角在激光雷达座标系中的座标。
可选的，N个预设位置中每个预设位置与标定码的距离是不一致的，比如，如图10所示，若N等于4，移动电子设备的激光雷达可以分别在距离墙角5米、4米、3米、2米位置检测标定码，具体的检测过程中，移动电子设备可以在原地左右旋转，以全面检测标定码。
S802：在N个预设位置，通过第二传感器获取标定码在第二坐标系下的第二坐标集合；
假设第二传感器是相机摄像头，那么第二坐标系为相机摄像头像素坐标系，第二坐标集合中的第二坐标可以被认为是相机摄像头像素坐标系中的特征点，该特征点是由相机摄像头检测标定码获得的。由于是在N个预设位置进行检测，移动电子设备就可以获得N个相机摄像头像素坐标系中的特征点。相机摄像头像素座标系中的特征点检测方法为：对标定码的检测，aruco marker贴在墙角，可以检测到其角点的座标，即为特征点墙角在相机摄像头像素座标系中的座标。
同样的，移动电子设备的相机摄像头可以分别在距离墙角5米、4米、3米、2米位置检测标定码。
S803：对第一坐标集合中的第一坐标和第二坐标集合中的第二坐标进行转换，得到第一齐次坐标集合和第二齐次坐标集合；
本申请实施例中，齐次坐标：给定欧氏平面上的一点(x,y)，对任意非零实数Z，三元组(x*Z,y*Z,Z)即称之为该点的齐次坐标。依据定义，将齐次坐标内的数值乘上同一个非零实数，可得到同一点的另一组齐次坐标。例如，笛卡儿坐标上的点(1,2)在齐次坐标中即可标示成(1,2,1)或(2,4,2)。原来的笛卡儿坐标可透过将前两个数值除以第三个数值取回。该步骤即为将原来二元的第一坐标和第二坐标转换成三元的第一齐次坐标和第二齐次坐标，以备后续的操作。
S804：基于同一预设位置从第一齐次坐标集合和第二齐次坐标集合确定出N对匹配坐标。
本申请中，匹配坐标可以被称为匹配点，匹配点是一对坐标，在本文中为标定码在激光雷达坐标系中的坐标和标定码在相机摄像头像素坐标系中的坐标。由此，上文中涉及的移动电子设备至标定码的距离5米、4米、3米、2米分别对应4对匹配坐标，其中，4对匹配坐标是不共线的。
S805：将N对匹配坐标代入包含至少一个未知参量的转换规则所在的函数中，得到转换规则中的至少一个未知参量。
综上，移动电子设备通过求解所有的未知量可以得到激光雷达坐标系至像素坐标系下的转换规则，也就是求解出激光雷达坐标系至像素坐标系下的转换矩阵。
另一种可选的实施方式中，在N个预设位置，通过第一传感器获取标定码在第二坐标系下的第一坐标集合；在N个预设位置，通过第二传感器获取标定码在第一坐标系下的第二坐标集合；在N个预设位置，通过第M传感器获取标定码在第一坐标系下的第M坐标集合；对第一坐标集合中的第一坐标和第二坐标集合中的第二坐标，第M坐标集合中的第M坐标进行转换，得到第一齐次坐标集合和第二齐次坐标集合以及第M齐次坐标集合；基于同一预设位置从第一齐次坐标集合和第二齐次坐标集合确定出一组N对匹配坐标；或，基于同一预设位置从第一齐次坐标集合和第M齐次坐标集合确定出一组N对匹配坐标，或，基于同一预设位置从第二齐次坐标集合和第M齐次坐标集合确定出一组N对匹配坐标；将至少一组N对匹配坐标代入包含至少一个未知参量的转换规则所在的函数中，得到转换规则中的至少一个未知参量。
另一种可选的实施方式中，坐标关系可以体现为一个坐标转换模型，该坐标转换模型可以是循环神经网络模型或者卷积神经网络模型。
下面介绍如何训练得到该坐标转换模型：
获取样本数据集，样本数据集包括多个样本位置中每个样本位置对应的第一样本坐标和第二样本坐标；第一样本坐标是第一坐标系下的；第二样本坐标是第二坐标系下的；对应的第一样本坐标和第二样本坐标都是移动电子设备在同一个样本位置基于同一个事物(比如，标定码)获得的。
构建预设机器学习模型，将预设机器学习模型确定为当前机器学习模型。
基于当前机器学习模型，对第一样本坐标进行坐标转换操作，确定第一样本坐标对应的第二预测坐标。
基于第一样本坐标对应的第二预测坐标和第二样本坐标，确定损失值。
当损失值大于预设阈值时，基于损失值进行反向传播，对当前机器学习模型进行更新以得到更新后的机器学习模型，将更新后的机器学习模型重新确定为当前机器学习模型；重复步骤：基于当前机器学习模型，对第一样本坐标进行坐标转换操作，确定第一样本坐标对应的第二预测坐标。
当损失值小于或等于预设阈值时，将当前机器学习模型确定为坐标转换模型。
上面的两种方法都可以确定激光雷达坐标系至像素坐标系下的转换规则，然而，第一种实施方式(及转换矩阵)只需要采集较少量的第一坐标和第二坐(比如4对第一坐标和第二坐标)，然后通过各个坐标系进行转换，就可以得到激光雷达坐标系至像素坐标系下的转换规则，精确性高，对计算机的硬件和软件的要求也较低。而通过坐标转换模型的这种方式不仅需要花费大量时间采集大量的第一样本数据和第二样本数据以供训练，且，构建训练模型的平台对支持计算机运行的硬件和软件的要求也非常高，因此，可能需要大量的人力和物力支持。
S505：基于转换规则，将多个点云中每个点云在第二坐标系下的坐标转换成多个点云中每个点云在第一坐标系下的坐标。
如此，移动电子设备就可以得到多个点云中每个点云在像素坐标系下的坐标。
S2072：基于每个点云投影在第一坐标系下的坐标和目标对象在视觉数据中的位置信息，确定出每个点云与目标对象之间的欧式距离。
一种可选的实施方式中，可以确定出点云中每个点(也就是激光数据)在第一坐标系下的坐标和每个点在目标对象中对应的视觉数据之间的欧式距离。得到一个欧式距离的集合，再根据这个欧式距离的集合中的每个欧式距离确定出每个点云与目标对象之间的欧式距离。
另一种可选的实施方式中，可以把每个点云看做一个整体，也把目标对象看做一个整体，随后可以从每个点云中确定出一个中心点A，从目标对象的数据数据中确定出一个中心点B，中心点A和中心点B是对应的。在根据中心点A和中心点B确定出每个点云与目标对象之间的欧式距离。
S2073：从每个点云对应的欧式距离中确定出小于等于预设距离阈值的目标欧式距离。
可选的，预设距离阈值可以是根据经验值预设的。移动电子设备可以根据预设距离阈值确定出目标欧式距离，若确定出的目标欧式距离存在多个，则选择与距离阈值相差最小的一个，若无目标欧式距离的存在，也从所有的欧式距离中确定与距离阈值相差最小的一个为目标欧式距离。
S2074：将确定出的满足目标欧式距离的点云确定为与目标对象匹配的目标点云。
S209：根据目标对象的类别信息确定目标点云的类别信息，以及确定目标点云的空间位置。
本申请实施例中，可以直接通过得到的激光数据集确定中目标点云的空间位置。
综上，通过第一坐标系和第二坐标系之间的转换实现实物对应的点云和视觉数据中的对象之间的匹配联系，从而确定实际空间中实物的特征信息，为后续的应用打基础，比如，可以提醒盲人的四周存在哪些障碍物，行车的不可视区域存在的障碍物等等。
本申请实施例还提供了一种物体的特征信息的确定装置，图11是本申请实施例提供的一种物体的特征信息的确定装置的结构示意图，如图11所示，该装置包括：
获取模块1101用于基于同一场景获取视觉数据和激光数据集；
目标确定模块1102用于确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息；
点云确定模块1103用于对激光数据集进行聚类处理，得到多个点云；
目标点云确定模块1104用于基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云；
特征信息确定模块1105用于根据目标对象的类别信息确定目标点云的类别信息；以及确定目标点云的空间位置。
在一种可选的实施方式中，该装置还包括：
目标点云确定模块1104用于确定多个点云中每个点云投影在第一坐标系下的坐标；基于每个点云投影在第一坐标系下的坐标和目标对象在视觉数据中的位置信息，确定出每个点云与目标对象之间的欧式距离；从每个点云对应的欧式距离中确定出小于等于预设距离阈值的目标欧式距离；将确定出的满足目标欧式距离的点云确定为与目标对象匹配的目标点云。
在一种可选的实施方式中，该装置还包括：
目标点云确定模块1104用于确定多个点云中每个点云在第二坐标系下的坐标；获取第二坐标系和第一坐标系的转换规则；基于转换规则，将多个点云中每个点云在第二坐标系下的坐标转换成多个点云中每个点云在第一坐标系下的坐标。
在一种可选的实施方式中，该装置还包括：
目标点云确定模块1104用于确定第二坐标系至中间坐标系的第一转换矩阵；确定中间坐标系至第一坐标系下的第二转换矩阵；基于第一转换矩阵和第二转换矩阵确定第二坐标系和第一坐标系的包含至少一个未知参量的转换规则；基于第一传感器和第二传感器分别在N个预设位置获取的N对匹配坐标确定出转换规则中的至少一个未知参量，得到第二坐标系和第一标系的转换规则。
在一种可选的实施方式中，该装置还包括：
目标点云确定模块1104用于在N个预设位置，通过第一传感器获取标定码在第一坐标系下的第一坐标集合；在N个预设位置，通过第二传感器获取标定码在第二坐标系下的第二坐标集合；对第一坐标集合中的第一坐标和第二坐标集合中的第二坐标进行转换，得到第一齐次坐标集合和第二齐次坐标集合；基于同一预设位置从第一齐次坐标集合和第二齐次坐标集合确定出N对匹配坐标；将N对匹配坐标代入包含至少一个未知参量的转换规则所在的函数中，得到转换规则中的至少一个未知参量。
在一种可选的实施方式中，该装置还包括：
点云确定模块1103用于确定激光数据集中的每个数据的特征值；计算每个数据的特征值和预设特征值之间的距离值；根据距离值所在的距离等级将激光数据集分成多个点云。
本申请实施例中的装置与方法实施例基于同样地申请构思。
本申请实施例所提供的方法实施例可以在计算机终端、电子设备或者类似的运算装置中执行。以运行在电子设备上为例，图12是本申请实施例提供的一种物体的特征信息的确定方法的电子设备的硬件结构框图。如图12所示，该电子设备1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(Central ProcessingUnits，CPU)1210(处理器1210可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1230，一个或一个以上存储应用程序1223或数据1222的存储介质1220(例如一个或一个以上海量存储设备)。其中，存储器1230和存储介质1220可以是短暂存储或持久存储。存储在存储介质1220的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器1210可以设置为与存储介质1220通信，在电子设备1200上执行存储介质1220中的一系列指令操作。电子设备1200还可以包括一个或一个以上电源1260，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1240，和/或，一个或一个以上操作***1221，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
输入输出接口1240可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1200的通信供应商提供的无线网络。在一个实例中，输入输出接口1240包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1240可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备1200还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。
如图13所示，本申请的实施例还提供了一种计算机可读存储介质1310，所述计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种物体的特征信息的确定方法相关的至少一条指令、至少一段程序、代码集或指令集1311，该至少一条指令、该至少一段程序、该代码集或指令集1311由该处理器1320加载并执行以物体的特征信息的确定方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的物体的特征信息的确定方法、设备或存储介质的实施例可见，具体包括基于同一场景获取视觉数据和激光数据集；确定视觉数据中目标对象的类别信息和目标对象在视觉数据中的位置信息；对激光数据集进行聚类处理，得到多个点云；基于多个点云中每个点云投影在第一坐标系下的坐标与目标对象在视觉数据中的位置信息，从多个点云中确定出与目标对象匹配的目标点云；根据目标对象的类别信息确定目标点云的类别信息；以及确定目标点云的空间位置，基于同一对象可以有效的增加获取的视觉数据和激光数据之间的匹配联系，通过对各种传感器信息的合理支配和使用，在空间和时间上把互补与冗余信息依据某种优化准则结合起来，产生对观测环境及对象的一致性解释或描述，同时产生新的融合结果，为后续的多传感器定位的应用提供更多的信息。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种物体的特征信息的确定方法，其特征在于，所述方法包括：
基于同一场景获取视觉数据和激光数据集；
确定所述视觉数据中目标对象的类别信息和所述目标对象在所述视觉数据中的位置信息；
对所述激光数据集进行聚类处理，得到多个点云；
基于所述多个点云中每个点云投影在第一坐标系下的坐标与所述目标对象在所述视觉数据中的位置信息，从所述多个点云中确定出与所述目标对象匹配的目标点云；
根据所述目标对象的类别信息确定所述目标点云的类别信息；以及确定所述目标点云的空间位置。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多个点云中每个点云投影在第一坐标系下的坐标与所述目标对象在所述视觉数据中的位置信息，从所述多个点云中确定出与所述目标对象匹配的目标点云，包括：
确定所述多个点云中每个点云投影在第一坐标系下的坐标；
基于所述每个点云投影在第一坐标系下的坐标和所述目标对象在所述视觉数据中的位置信息，确定出所述每个点云与所述目标对象之间的欧式距离；
从所述每个点云对应的欧式距离中确定出小于等于预设距离阈值的目标欧式距离；
将确定出的满足所述目标欧式距离的点云确定为与所述目标对象匹配的所述目标点云。
3.根据权利要求2所述的方法，其特征在于，所述确定所述多个点云中每个点云投影在第一坐标系下的坐标，包括：
确定所述多个点云中每个点云在第二坐标系下的坐标；
获取所述第二坐标系和所述第一坐标系的转换规则；
基于所述转换规则，将所述多个点云中每个点云在第二坐标系下的坐标转换成所述多个点云中每个点云在第一坐标系下的坐标。
4.根据权利要求3所述的方法，其特征在于，
所述第一坐标系下的坐标为二维数据或三维数据；和/或，所述第二坐标系下的坐标为二维数据或三维数据；所述目标对象在所述视觉数据中的位置信息为二维数据或三维数据。
5.根据权利要求3所述的方法，其特征在于，所述获取所述第二坐标系和所述第一坐标系的转换规则，包括：
确定所述第二坐标系至中间坐标系的第一转换矩阵；
确定所述中间坐标系至所述第一坐标系下的第二转换矩阵；
基于所述第一转换矩阵和所述第二转换矩阵确定所述第二坐标系和所述第一坐标系的包含至少一个未知参量的所述转换规则；
基于第一传感器和第二传感器分别在N个预设位置获取的N对匹配坐标确定出所述转换规则中的所述至少一个未知参量，得到所述第二坐标系和所述第一坐标系的转换规则。
6.根据权利要求5所述的方法，其特征在于：
所述第一转换矩阵中包含至少一个未知参量；和/或；所述第二转换矩阵中包含至少一个未知参量；
所述中间坐标系包括至少一个子中间坐标系以及所述至少一个子中间坐标系之间的转换规则。
7.根据权利要求5所述的方法，其特征在于，所述基于第一传感器和第二传感器分别在N个预设位置获取的N对匹配坐标确定出所述转换规则中的所述至少一个未知参量，包括：
在N个预设位置，通过所述第一传感器获取标定码在所述第一坐标系下的第一坐标集合；
在所述N个预设位置，通过所述第二传感器获取所述标定码在所述第二坐标系下的第二坐标集合；
对所述第一坐标集合中的第一坐标和所述第二坐标集合中的第二坐标进行转换，得到第一齐次坐标集合和第二齐次坐标集合；
基于同一预设位置从所述第一齐次坐标集合和所述第二齐次坐标集合确定出N对匹配坐标；
将所述N对匹配坐标代入包含所述至少一个未知参量的转换规则所在的函数中，得到所述转换规则中的所述至少一个未知参量。
8.根据权利要求1所述的方法，其特征在于，所述对所述激光数据集进行聚类处理，得到多个点云，包括：
确定所述激光数据集中的每个数据的特征值；
计算所述每个数据的特征值和预设特征值之间的距离值；
根据所述距离值所在的距离等级将所述激光数据集分成所述多个点云。
9.一种物体的特征信息的确定装置，其特征在于，所述装置包括：
获取模块，用于基于同一场景获取视觉数据和激光数据集；
目标确定模块，用于确定所述视觉数据中目标对象的类别信息和所述目标对象在所述视觉数据中的位置信息；
点云确定模块，用于对所述激光数据集进行聚类处理，得到多个点云；
目标点云确定模块，用于基于所述多个点云中每个点云投影在第一坐标系下的坐标与所述目标对象在所述视觉数据中的位置信息，从所述多个点云中确定出与所述目标对象匹配的目标点云；
特征信息确定模块，用于根据所述目标对象的类别信息确定所述目标点云的类别信息；以及确定所述目标点云的空间位置。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-8任一所述的物体的特征信息的确定方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-8任一所述的物体的特征信息的确定方法。
CN202010348299.5A 2020-04-28 2020-04-28 一种物体的特征信息的确定方法、装置、电子设备及存储介质 Active CN111709988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010348299.5A CN111709988B (zh) 2020-04-28 2020-04-28 一种物体的特征信息的确定方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010348299.5A CN111709988B (zh) 2020-04-28 2020-04-28 一种物体的特征信息的确定方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111709988A true CN111709988A (zh) 2020-09-25
CN111709988B CN111709988B (zh) 2024-01-23

Family

ID=72536378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010348299.5A Active CN111709988B (zh) 2020-04-28 2020-04-28 一种物体的特征信息的确定方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111709988B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673388A (zh) * 2021-08-09 2021-11-19 北京三快在线科技有限公司 一种目标物位置的确定方法、装置、存储介质及设备
CN113838125A (zh) * 2021-09-17 2021-12-24 中国第一汽车股份有限公司 目标位置确定方法、装置、电子设备以及存储介质
CN114279432A (zh) * 2021-12-13 2022-04-05 阿里云计算有限公司 融合定位方法、计算设备及存储介质
CN114440922A (zh) * 2020-10-30 2022-05-06 阿里巴巴集团控股有限公司 一种评测激光标定的方法、装置、相关设备及存储介质
WO2023217047A1 (zh) * 2022-05-07 2023-11-16 节卡机器人股份有限公司 定位方法、装置、电子设备及可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485737A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于线特征的点云数据与光学影像的自动配准融合方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
US20190096086A1 (en) * 2017-09-22 2019-03-28 Zoox, Inc. Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data
EP3506203A1 (en) * 2017-12-29 2019-07-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for fusing point cloud data technical field
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485737A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于线特征的点云数据与光学影像的自动配准融合方法
US20190096086A1 (en) * 2017-09-22 2019-03-28 Zoox, Inc. Three-Dimensional Bounding Box From Two-Dimensional Image and Point Cloud Data
EP3506203A1 (en) * 2017-12-29 2019-07-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for fusing point cloud data technical field
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘俊生: "基于激光点云与图像融合的车辆检测方法研究", 《中国优秀硕士学位论文全文数据库，工程科技II辑》 *
刘俊生: "基于激光点云与图像融合的车辆检测方法研究", 《中国优秀硕士学位论文全文数据库，工程科技II辑》, no. 8, 15 August 2019 (2019-08-15), pages 035 - 184 *
叶刚;: "融合影像信息的LiDAR点云多特征分类方法", 地理空间信息, no. 06 *
朱建新;沈东羽;吴钪;: "基于激光点云的智能挖掘机目标识别", 计算机工程, no. 01 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114440922A (zh) * 2020-10-30 2022-05-06 阿里巴巴集团控股有限公司 一种评测激光标定的方法、装置、相关设备及存储介质
CN113673388A (zh) * 2021-08-09 2021-11-19 北京三快在线科技有限公司 一种目标物位置的确定方法、装置、存储介质及设备
CN113838125A (zh) * 2021-09-17 2021-12-24 中国第一汽车股份有限公司 目标位置确定方法、装置、电子设备以及存储介质
CN114279432A (zh) * 2021-12-13 2022-04-05 阿里云计算有限公司 融合定位方法、计算设备及存储介质
WO2023217047A1 (zh) * 2022-05-07 2023-11-16 节卡机器人股份有限公司 定位方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111709988B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
US20220028163A1 (en) Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images
CN111709988B (zh) 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111220993B (zh) 目标场景定位方法、装置、计算机设备和存储介质
JP2022514974A (ja) 物体検出方法、装置、電子機器、及びコンピュータプログラム
CN108801268A (zh) 目标对象的定位方法、装置及机器人
CN110705385B (zh) 一种障碍物角度的检测方法、装置、设备及介质
CN111856499B (zh) 基于激光雷达的地图构建方法和装置
AU2021291293A1 (en) System and method for aerial to ground registration
Garrote et al. 3D point cloud downsampling for 2D indoor scene modelling in mobile robotics
Kaushik et al. Accelerated patch-based planar clustering of noisy range images in indoor environments for robot mapping
CN113822892B (zh) 仿真雷达的评测方法、装置、设备及计算机存储介质
CN111708046A (zh) 一种障碍物的平面数据的处理方法、装置、电子设备及存储介质
CN113158816A (zh) 面向室外场景物体的视觉里程计二次曲面路标构建方法
Kaleci et al. Plane segmentation of point cloud data using split and merge based method
Dierenbach et al. Next-Best-View method based on consecutive evaluation of topological relations
Sun et al. Indoor Li-DAR 3D mapping algorithm with semantic-based registration and optimization
Salah et al. Summarizing large scale 3D mesh for urban navigation
CN115375713B (zh) 地面点云的分割方法、装置及计算机可读存储介质
Jiang The application of SLAM technology in indoor navigation to complex indoor environments
CN115861628A (zh) 3d目标检测方法、装置、设备及存储介质
CN117830559A (zh) 带电作业场景建模方法、装置、存储介质及计算机设备
CN115082879A (zh) 路面线段信息融合检测方法、装置、设备及存储介质
CN115270919A (zh) 目标检测方法、建立空间关联感知模型的方法及装置
Yörük Performance comparison of point and plane features for slam
CN117058358A (zh) 一种场景边界检测方法和移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant