CN111652174B - 一种基于激光数据的语义化标定方法及装置 - Google Patents
一种基于激光数据的语义化标定方法及装置 Download PDFInfo
- Publication number
- CN111652174B CN111652174B CN202010526848.3A CN202010526848A CN111652174B CN 111652174 B CN111652174 B CN 111652174B CN 202010526848 A CN202010526848 A CN 202010526848A CN 111652174 B CN111652174 B CN 111652174B
- Authority
- CN
- China
- Prior art keywords
- semantic
- information
- laser data
- calibration
- semantical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000008685 targeting Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请实施例提供一种基于激光数据的语义化标定方法及装置，涉及智能机器人领域，该方法包括：获取激光数据和拍摄图像；根据激光数据进行语义化标定处理，得到第一语义化信息；根据拍摄图像进行语义化标定处理，得到第二语义化信息；根据第一语义化信息和第二语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。可见，实施这种实施方式，能够在保证定位效率的同时，更有效地面对动态环境，从而提高定位精度，避免定位失效的问题发生。
Description
技术领域
本申请涉及智能机器人领域，具体而言，涉及一种基于激光数据的语义化标定方法及装置。
背景技术
目前，随着智能机器人的迅速发展，智能机器人的应用需求也变得越来越多，从而使得智能机器人在一定程度上为人们带来了相当的便利。然而，在实践中发现，目前的智能机器人需要预先定位周围的场景与事物才能保证正常工作，但是目前的这种定位多是通过激光雷达来保证定位效率的，这就使得智能机器人对周围的场景与事物不具有足够的分辨能力，从而使得智能机器人在面对动态环境时，容易产生定位丢失的问题，进而导致定位失效。
发明内容
本申请实施例的目的在于提供一种基于激光数据的语义化标定方法及装置，能够在保证定位效率的同时，更有效地面对动态环境，从而提高定位精度，避免定位失效的问题发生。
本申请实施例第一方面提供了一种基于激光数据的语义化标定方法，所述方法包括：
获取激光数据和拍摄图像；
根据所述激光数据进行语义化标定处理，得到第一语义化信息；
根据所述拍摄图像进行语义化标定处理，得到第二语义化信息；
根据所述第一语义化信息和所述第二语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据。
在上述实现过程中，该基于激光数据的语义化标定方法可以优先获取激光数据和拍摄图像；然后根据激光数据进行语义化标定处理，得到第一语义化信息；再根据拍摄图像进行语义化标定处理，得到第二语义化信息；最后根据第一语义化信息和第二语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。可见，实施这种实施方式，能够同时获取激光数据和拍摄图像，并在对激光数据进行相应语义标注时同时对拍摄图像进行语义标注，当激光数据和拍摄图像皆被标注完语义之后，根据激光数据与拍摄图像之间的关联进行激光数据上的综合标注，得到语义化标定数据，以使该语义化标定数据可以更好地提供机器人可用的语义地图，并为人机交互等方面提供统一的数据来源；另外，该方法还能够在保证机器人的定位效率的同时使提高动态定位能力，从而提高机器人的定位准确程度。
进一步地，所述根据所述激光数据进行语义化标定处理，得到第一语义化信息的步骤包括：
对所述激光数据进行几何特征提取，得到几何特征集合；
获取与所述几何特征集合相匹配的特征语义集合；
根据所述特征语义集合在所述激光数据中进行语义化标定处理，得到第一语义化信息。
在上述实现过程中，该方法在根据激光数据进行语义化标定处理，得到第一语义化信息的过程中，可以优先对激光数据进行几何特征提取，得到几何特征集合；然后再获取与几何特征集合相匹配的特征语义集合；最后再根据特征语义集合在激光数据中进行语义化标定处理，得到第一语义化信息。可见，实施这种实施方式，能够对激光数据进行简单的几何特征提取，以得到一些较为简单的几何特征，例如墙面、圆柱体、墙角等，从而使得该方法可以将大范围的激光数据进行简单的语义化处理，得到第一语义化信息，从而为整体激光数据提供基础的语义化信息，进而使得综合语义化标定具有更佳的适用范围。
进一步地，所述根据所述拍摄图像进行语义化标定处理，得到第二语义化信息的步骤包括：
对所述拍摄图像进行预处理，得到预处理图像；
在所述预处理图像中提取与预设边界范围相对应的局部图像；
根据预设的目标检测模型对所述局部图像进行目标检测，得到目标信息；
转换所述目标信息为第二语义化信息。
在上述实现过程中，该方法在根据拍摄图像进行语义化标定处理，得到第二语义化信息的过程中，可以优先对拍摄图像进行预处理，得到预处理图像；然后在预处理图像中提取与预设边界范围相对应的局部图像；再根据预设的目标检测模型对局部图像进行目标检测，得到目标信息；最后再转换目标信息为第二语义化信息。可见，实施这种实施方式，能够优先对拍摄图像进行适合目标检测模型进行检测的预处理，以使目标信息是特定区域的与目标检测模型相对应的简单语义化信息，以使第二语义化信息的获取复杂程度降低，从而提高对拍摄图像的语义化标定效率，进而提高机器人定位的效率与准确程度。
进一步地，所述根据所述第一语义化信息和所述第二语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据的步骤包括：
获取与所述拍摄图像对应的内部参数和畸变参数；
根据所述内部参数和所述畸变参数，标定所述拍摄图像与所述激光数据之间的变换矩阵；
根据所述变换矩阵对所述第一语义化信息和所述第二语义化信息进行组合，得到综合语义化信息；
根据所述综合语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据。
在上述实现过程中，该方法在根据第一语义化信息和第二语义化信息对激光数据进行语义化标定处理，得到语义化标定数据的过程中可以优先获取与拍摄图像对应的内部参数和畸变参数；再根据内部参数和畸变参数，标定拍摄图像与激光数据之间的变换矩阵；然后再根据变换矩阵对第一语义化信息和第二语义化信息进行组合，得到综合语义化信息；最后根据综合语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。可见，实施这种实施方式，能够通过激光数据与拍摄图像之间的关联将拍摄图像中的标注的简单语义化信息叠加到激光数据当中，从而得到完整的语义化标定数据，进而提高语义化标定效率与标定精度。
进一步地，所述根据所述变换矩阵对所述第一语义化信息和所述第二语义化信息进行组合，得到综合语义化信息的步骤包括：
对所述激光数据进行聚类处理，得到聚类结果集合；
根据所述聚类结果集合和所述变换矩阵，将所述第二语义化信息叠加至所述第一语义化信息中，得到综合语义化信息。
在上述实现过程中，该方法可以再根据变换矩阵对第一语义化信息和第二语义化信息进行组合，得到综合语义化信息的过程中优先对激光数据进行聚类处理，得到聚类结果集合；然后再根据聚类结果集合和变换矩阵，将第二语义化信息叠加至第一语义化信息中，得到综合语义化信息。可见，实施这种实施方式，能够通过聚类的方式，将拍摄图像边框位置的内容进行激光扫描点的聚类，以使最终的叠加，可以将拍摄图像边框位置物体的语义化信息投射到对应的聚类结果上，从而在激光数据中扩大拍摄图像的语义化覆盖范围，进而达到一种更好的语义化标定结果。
本申请实施例第二方面提供了一种基于激光数据的语义化标定装置，所述基于激光数据的语义化标定装置包括：
获取单元，用于获取激光数据和拍摄图像；
第一标定单元，用于根据所述激光数据进行语义化标定处理，得到第一语义化信息；
第二标定单元，用于根据所述拍摄图像进行语义化标定处理，得到第二语义化信息；
综合标定单元，用于根据所述第一语义化信息和所述第二语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据。
在上述实现过程中该种基于激光数据的语义化标定装置可以通过获取单元来获取激光数据和拍摄图像；再通过第一标定单元来根据所述激光数据进行语义化标定处理，得到第一语义化信息；然后再通过第二标定单元来根据所述拍摄图像进行语义化标定处理，得到第二语义化信息；最后通过综合标定单元来根据所述第一语义化信息和所述第二语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据。可见，实施这种实施方式，能够通过多个单元独立工作实现准确有序的对应工作，然后再通过协同工作实现工作结果综合化，从而使得整体的基于激光数据的语义化标定装置可以输出准确、有效的结果；同时，基于激光数据的语义化标定装置还能够同时获取激光数据和拍摄图像，并在对激光数据进行相应语义标注时同时对拍摄图像进行语义标注，当激光数据和拍摄图像皆被标注完语义之后，根据激光数据与拍摄图像之间的关联进行激光数据上的综合标注，得到语义化标定数据，以使该语义化标定数据可以更好地提供机器人可用的语义地图，并为人机交互等方面提供统一的数据来源；另外，该方法还能够在保证机器人的定位效率的同时使提高动态定位能力，从而提高机器人的定位准确程度。
进一步地，所述第一标定单元包括：
第一提取子单元，用于对所述激光数据进行几何特征提取，得到几何特征集合；
第一获取子单元，用于获取与所述几何特征集合相匹配的特征语义集合；
第一标定子单元，用于根据所述特征语义集合在所述激光数据中进行语义化标定处理，得到第一语义化信息。
在上述实现过程中，上述第一标定单元可以通过第一提取子单元来对所述激光数据进行几何特征提取，得到几何特征集合；然后，通过第一获取子单元来获取与所述几何特征集合相匹配的特征语义集合；最后，通过第一标定子单元来根据所述特征语义集合在所述激光数据中进行语义化标定处理，得到第一语义化信息。可见，实施这种实施方式，能够对激光数据进行简单的几何特征提取，以得到一些较为简单的几何特征，例如墙面、圆柱体、墙角等，从而使得该方法可以将大范围的激光数据进行简单的语义化处理，得到第一语义化信息，从而为整体激光数据提供基础的语义化信息，进而使得综合语义化标定具有更佳的适用范围。
进一步地，所述第二标定单元包括：
预处理子单元，用于对所述拍摄图像进行预处理，得到预处理图像；
第二提取子单元，用于在所述预处理图像中提取与预设边界范围相对应的局部图像；
第二检测子单元，用于根据预设的目标检测模型对所述局部图像进行目标检测，得到目标信息；
第二转换子单元，用于转换所述目标信息为第二语义化信息。
在上述实现过程中，上述第二标定单元可以通过预处理子单元来对所述拍摄图像进行预处理，得到预处理图像；再通过第二提取子单元在所述预处理图像中提取与预设边界范围相对应的局部图像；然后再通过第二检测子单元来根据预设的目标检测模型对所述局部图像进行目标检测，得到目标信息；最后，再通过第二转换子单元来转换所述目标信息为第二语义化信息。可见，实施这种实施方式，能够优先对拍摄图像进行适合目标检测模型进行检测的预处理，以使目标信息是特定区域的与目标检测模型相对应的简单语义化信息，以使第二语义化信息的获取复杂程度降低，从而提高对拍摄图像的语义化标定效率，进而提高机器人定位的效率与准确程度。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的基于激光数据的语义化标定方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的基于激光数据的语义化标定方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于激光数据的语义化标定方法的流程示意图；
图2为本申请实施例提供的另一种基于激光数据的语义化标定方法的流程示意图；
图3为本申请实施例提供的一种基于激光数据的语义化标定装置的结构示意图；
图4为本申请实施例提供的另一种基于激光数据的语义化标定装置的结构示意图；
图5为本申请实施例提供的另一种基于激光数据的语义化标定方法的流程示意图；
图6为本申请实施例提供的一种基于激光数据的语义化标定方法所使用的投影矩阵以及摄像头到激光雷达的映射投影过程的举例示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供了一种基于激光数据的语义化标定方法的流程示意图。该方法应用于机器人定位的场景当中，具体的该方法应用于机器人根据语义地图进行精准定位之前对语义地图的获取之时。其中，该基于激光数据的语义化标定方法包括：
S101、获取激光数据和拍摄图像。
本实施例中，激光数据包括二维空间点坐标、三维空间点坐标等空间坐标点信息；激光数据还包括激光强度信息、激光点反射强度信息等。
在本实施例中，激光数据可以称之为激光点云数据，该激光点云数据具有上述所有特征内容。
在本实施例中，激光点云数据中包括大量的激光点，每个激光点都具有上述特征内容。
在本实施例中，激光点云数据的覆盖范围要远大于拍摄图像的图像范围，对此本实施例中不再多加赘述。
本实施例中，拍摄图像可以是通过摄像头等拍摄设备获取到的图像信息，该图像信息用于显示对应拍摄设备视野范围内的所有景物。
本实施例中，激光扫描范围会比摄像头的视野大很多。
在本实施例中，激光数据与拍摄图像是相互独立的数据信息。
S102、根据激光数据进行语义化标定处理，得到第一语义化信息。
本实施例中，激光数据可以通过一些低级的几何特征进行粗略地语义估计，例如墙面、圆柱体、墙角等。
作为一种可选的实施方式，根据激光数据进行语义化标定处理，得到第一语义化信息的步骤包括：
对激光数据进行聚类处理，得到包括多个聚类结果的聚类结果集合；
对每个聚类结果进行特征检测，得到检测结果；
根据检测结果生成第一语义化信息。
实施这种实施方式，能够将激光点聚类成一组组点云数据，以使每组点云数据可以进行语义化的标定，得到相应的语义化信息。
本实施例中，上述的特征检测的过程可以是通过简单的特征检测模型来进行匹配检测的。举例来说，特征检测模型中存储了大量的由激光点集合组合得到的特征，这就使得，当聚类结果与激光点集合相同时，确定聚类结果的监测结果是激光点集合对应的特征。从而简单地获取激光数据包括的大量语义化信息，提高语义化信息的获取效率。
本实施例中，第一语义化信息用于表示激光数据中与多个聚类点云一一对应的语义化信息的组合。
S103、根据拍摄图像进行语义化标定处理，得到第二语义化信息。
本实施例中，对拍摄图像的规格不作任何限定。
在本实施例中，该语义化标定处理与对激光数据的语义化标定处理具体过程并不相同。其中，该语义化标定处理是对图像中的目标进行检测，其中包括对拍摄图像中的物体的识别，以使语义化标定结果与物体相匹配。
在本实施例中，该语义化标定处理是通过目标检测模型来执行的，具体的，该目标检测模型可以检测到拍摄图像中包括的目标物体，并依据检测结果对该目标物体标注语义化信息。
在本实施例中，该种语义化标定处理方法并不是像语义分割那种像素级别的；具体的，该语义化标定方法仅是将拍摄图像中的目标物体进行标注，从而实现提高语义提取速度的效果。在这个过程中，有些语义化信息并不对应目标物体完整且准确的轮廓(因为拍摄图像存在边界所导致)，因此，在该过程中需要基于激光数据的聚类结果，将拍摄图像中的语义化信息叠加至聚类结果之上，从而使得聚类结果被标注为该语义化信息，得到语义化标定数据(此处为后续步骤S104)。
本实施例中，第而语义化信息用于表示拍摄图像中的多个语义化信息的组合。
S104、根据第一语义化信息和第二语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。
本实施例中，第一语义化信息为激光数据对应的大范围语义化信息，第二语义化信息为拍摄图像对应的局部高精度语义化信息。
在本实施例中，该方法将第二语义化信息嵌入至第一语义化信息中得到语义化标定数据，从而得到广泛有具有一定精度的语义化标定数据。
作为一种可选的实施方式，该方法还包括：
根据语义化标定数据生成机器人定位语义地图。
实施这种实施方式，能够便于机器人直接使用该语义地图进行相关操作。
本实施例中，将第二语义化信息嵌入第一语义化信息中的时候，第二语义化信息会在拍摄图像的边缘通过激光数据的聚类结果进行拍摄图像的周边辐射，得到比拍摄图像要大一部分的高精度语义化信息，在这方面，该方法能够保证第一语义化信息和第二语义化信息的两部分处理过程的效率与精度，又能够极大地提高最终语义化标定数据的处理效果。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机和平板等智能设备，对此本实施例中不作任何限定。
可见，实施图1所描述的基于激光数据的语义化标定方法，能够优先获取激光数据和拍摄图像；然后根据激光数据进行语义化标定处理，得到第一语义化信息；再根据拍摄图像进行语义化标定处理，得到第二语义化信息；最后根据第一语义化信息和第二语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。可见，实施这种实施方式，能够同时获取激光数据和拍摄图像，并在对激光数据进行相应语义标注时同时对拍摄图像进行语义标注，当激光数据和拍摄图像皆被标注完语义之后，根据激光数据与拍摄图像之间的关联进行激光数据上的综合标注，得到语义化标定数据，以使该语义化标定数据可以更好地提供机器人可用的语义地图，并为人机交互等方面提供统一的数据来源；另外，该方法还能够在保证机器人的定位效率的同时使提高动态定位能力，从而提高机器人的定位准确程度。
实施例2
请参看图2，图2为本申请实施例提供的另一种基于激光数据的语义化标定方法的流程示意图。图2所描述的基于激光数据的语义化标定方法的流程示意图是根据图1所描述的基于激光数据的语义化标定方法的流程示意图进行改进得到的。其中，该基于激光数据的语义化标定方法包括：
S201、获取激光数据和拍摄图像。
本实施例中，激光数据包括二维空间点坐标、三维空间点坐标等空间坐标点信息；激光数据还包括激光强度信息、激光点反射强度信息等。
在本实施例中，激光数据可以称之为激光点云数据，该激光点云数据具有上述所有特征内容。
在本实施例中，激光点云数据中包括大量的激光点，每个激光点都具有上述特征内容。
在本实施例中，激光点云数据的覆盖范围要远大于拍摄图像的图像范围，对此本实施例中不再多加赘述。
本实施例中，拍摄图像可以是通过摄像头等拍摄设备获取到的图像信息，该图像信息用于显示对应拍摄设备视野范围内的所有景物。
本实施例中，激光扫描范围会比摄像头的视野大很多。
在本实施例中，激光数据与拍摄图像是相互独立的数据信息。
S202、对激光数据进行几何特征提取，得到几何特征集合。
作为一种可选的实施方式，对激光数据进行几何特征提取，得到几何特征集合的步骤包括：
对激光数据进行聚类处理，得到聚类结果集合；
根据聚类结果集合进行几何特征提取，得到几何特征集合。
实施这种实施方式，可以使得几何特征是基于聚类结果的，从而使得激光扫描点不被孤立，从而得到更好的特征获取结果。
本实施例中，上述聚类处理的过程举例如下：激光聚类算法的基本思想是以一个点为起始点，相邻点距离如果小于预先设置的聚类半径，则把该点放到一个组中，依次类推完成所有激光点的分类任务。
首先，确定初始点为x1，确定初始点相邻点y1，然后根据相邻两点的x1和y1计算两点距离，再根据聚类半径0.08m～0.18m(优选为0.13m，该优选0.13m是通过多次实验获得的数据，也可依据实际情况动态调整)来聚类，如果两点间隔小于聚类半径的就放在一个组中。
算法流程举例如下(注：Pi，x表示第i个激光的x分量)：
a.初始化：令i＝1，数据点Pi属于Ck类；
b.聚类半径：
c.若R<δR，则Pi+1∈Ck；否则，令k＝k+1，Pi+1∈Ck；
d.若i<n+1，跳转到b，否则，结束聚类。
本实施例中，根据聚类结果集合进行几何特征提取过程可以通过如下的方法执行：
a.通过霍夫变换检测直线；
b.通过检测相邻两直线段的夹角确定直角；
c.通过聚类算法分好的每一个组进行总长度Lk的计算与首尾点的直线距离Dk的计算确定圆弧，其中，
然后，计算每一个聚类的弯曲程度Curve：
在本实施例中，上述内容体现了依据欧氏距离进行聚类，然后提取几何特征的过程。
S203、获取与几何特征集合相匹配的特征语义集合。
本实施例中，特征语义集合包括墙面、圆柱体、墙角等等。
在本实施例中，特征语义集合是已经获取到的结果集合，可以直接用于语义化标定。
S204、根据特征语义集合在激光数据中进行语义化标定处理，得到第一语义化信息。
本实施例中，将上述特征语义集合标定于激光数据中可以得到具有第一语义化信息。
S205、对拍摄图像进行预处理，得到预处理图像。
本实施例中，预处理的目的是使图片数据更适应与后面的目标检测模型，同时降低运算量，提高处理效率。
在本实施例中，预处理的过程包括：
首先，将图像做尺寸调整(即Resize操作)；
然后，进行直方图均衡，调整亮度信息，以使边缘信息得以保留；
再后，使用双边滤波算法对图像进行去除噪点；
最后，使用图像金字塔对图像进行降采样；
从而实现提高模型检测速度，降低内存消耗的效果。
S206、在预处理图像中提取与预设边界范围相对应的局部图像。
本实施例中，预设边界范围可以是预设的一个目标矩形框。
在本实施例中，在该目标矩形框中的图像确定为上述的局部图像。
在本实施例中，该过程可以理解为在预处理图像中提取一个适合后续操作的固定大小的图像。
S207、根据预设的目标检测模型对局部图像进行目标检测，得到目标信息。
本实施例中，第二语义化信息是基于目标检测模型的，也就是说，该过程中使用的语义化模型是用来对上述目标矩形框内的目标物体进行标注的模型，该目标检测模型标注的语义信息并不是像语义分割那种像素级别的，同时通过限制标注范围，也能够有效提高语义提取速度。
在本实施例中，因为局部图像具有目标矩形框，所以该目标检测模型在对局部图像进行标注时，存在不知道目标物体准确的轮廓信息的情况，此时，目标检测模型虽然可以标注该目标物体的语义化信息，但是在激光数据中，该语义化信息将覆盖与聚类结果之上，以使该语义化信息可以覆盖到比目标矩形框更大的范围。
在本实施例中，目标检测模型可以实现一种低成本地目标检测语义提取。
在本实施例中，目标检测模型可以是人工智能模型也可以不是人工智能模型；在对该目标检测模型进行优化的过程中，可以更好地实现实时、低成本运算的效果。
S208、转换目标信息为第二语义化信息。
本实施例中，目标信息为被标注与拍摄图像中，形成第二语义化信息。
S209、获取与拍摄图像对应的内部参数和畸变参数。
本实施例中，内部参数可以为摄像头的内部参数，而畸变参数则用于对摄像头进行畸变标定，从而有利于拍摄图像和激光数据的对准。
本实施例中，畸变目前只考虑径向畸变：径向畸变发生在相机坐标系转图像物理坐标系的过程中，常见有桶形畸变和枕形畸变。
在本实施例中，上述参数的标定过程可以是基于Opencv的相机标定过程。
S210、根据内部参数和畸变参数，标定拍摄图像与激光数据之间的变换矩阵。
本实施例中，该步骤描述了一种摄像头到激光雷达的标定过程。
在本实施例中，该方法可以将标定板在激光雷达和摄像头共同的视野范围内充分运动，摄像头通过检测标定板计算该平面方程，激光点云数据同时也落在该平面上，将点云三维坐标由激光坐标系转到摄像头坐标系下，得到点到平面的距离作为优化项，然后再通过非线性最小二乘法进行求解，从建瓯哪个人得到平移矩阵和旋转矩阵。
在本实施例中，变换矩阵包括平移矩阵和旋转矩阵。
作为一种可选的实施方式，该方法还可以包括：
获取摄像头外部参数和激光雷达外部参数，以使摄像头外部参数和激光雷达外部参数能够用于确定变换矩阵。
作为一种可选的实施方式，根据内部参数和畸变参数，标定拍摄图像与激光数据之间的变换矩阵的步骤之后，该方法还可以包括：
根据变换矩阵对第一语义化信息和第二语义化信息进行组合，得到综合语义化信息。
本实施例中，该步骤还可以通过步骤S211和步骤S212进行具体化实现，从而提高综合语义化信息的获取效果。
S211、对激光数据进行聚类处理，得到聚类结果集合。
本实施例中，可以直接使用上述过程中使用的聚类结果集合。
S212、根据聚类结果集合和变换矩阵，将第二语义化信息叠加至第一语义化信息中，得到综合语义化信息。
本实施例中，该方法在第一语义化信息中再加入一层第二语义化信息，该第二语义化信息是经过摄像头采集的RGB图像进行语义分割后的像素点，依据激光雷达和摄像头位姿变换关系，投影到激光数据上的。
本实施例中，该方法可以通过投影矩阵将第二语义化信息映射到激光数据上，以使第二语义化数据和第一语义化数据融合，得到综合语义化数据。
请参见图6，图6描述了该方法所使用的投影矩阵，以及摄像头到激光雷达的映射投影过程。
S213、根据综合语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。
本实施例中，语义化标定数据用于表示当激光数据结合摄像头进行环境感知时，该激光数据除了包括空间点坐标信息、激光点反射强度信息，还会包括激光点的语义信息(即激光点射到环境中的物体标签，沙发、桌子、门等等)。
请参阅图5，图5描述了一种基于激光数据的语义化标定方法的流程示意图。
本实施例中，该方法并没有使用VSLAM的传统特征点提取的耗时方法，而是使用基于深度学习的语义分割技术进行语义信息提取，并投影到对应的激光数据中，此外结合激光数据的几何特征对未在摄像头视野内的激光数据提取几何语义特征，以此对激光数据进行语义信息化。
在本实施例中，语义化标定数据能够为机器人定位、环境地图语义化(语义地图)、人机交互等提供统一的数据来源。
可见，实施图2所描述的基于激光数据的语义化标定方法，能够同时获取激光数据和拍摄图像，并在对激光数据进行相应语义标注时同时对拍摄图像进行语义标注，当激光数据和拍摄图像皆被标注完语义之后，根据激光数据与拍摄图像之间的关联进行激光数据上的综合标注，得到语义化标定数据，以使该语义化标定数据可以更好地提供机器人可用的语义地图，并为人机交互等方面提供统一的数据来源；另外，该方法还能够在保证机器人的定位效率的同时使提高动态定位能力，从而提高机器人的定位准确程度。
实施例3
请参看图3，图3为本申请实施例提供的一种基于激光数据的语义化标定装置的结构示意图。其中，该基于激光数据的语义化标定装置包括：
获取单元310，用于获取激光数据和拍摄图像；
第一标定单元320，用于根据激光数据进行语义化标定处理，得到第一语义化信息；
第二标定单元330，用于根据拍摄图像进行语义化标定处理，得到第二语义化信息；
综合标定单元340，用于根据第一语义化信息和第二语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。
本实施例中，对于基于激光数据的语义化标定装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施图3所描述的基于激光数据的语义化标定装置，能够通过多个单元独立工作实现准确有序的对应工作，然后再通过协同工作实现工作结果综合化，从而使得整体的基于激光数据的语义化标定装置可以输出准确、有效的结果；同时，基于激光数据的语义化标定装置还能够同时获取激光数据和拍摄图像，并在对激光数据进行相应语义标注时同时对拍摄图像进行语义标注，当激光数据和拍摄图像皆被标注完语义之后，根据激光数据与拍摄图像之间的关联进行激光数据上的综合标注，得到语义化标定数据，以使该语义化标定数据可以更好地提供机器人可用的语义地图，并为人机交互等方面提供统一的数据来源；另外，该方法还能够在保证机器人的定位效率的同时使提高动态定位能力，从而提高机器人的定位准确程度。
实施例4
请参看图4，图4为本申请实施例提供的另一种基于激光数据的语义化标定装置的结构示意图。图4所描述的基于激光数据的语义化标定装置的结构示意图是根据图3所描述的基于激光数据的语义化标定装置的结构示意图进行改进得到的。其中，该第一标定单元320包括：
第一提取子单元321，用于对激光数据进行几何特征提取，得到几何特征集合；
第一获取子单元322，用于获取与几何特征集合相匹配的特征语义集合；
第一标定子单元323，用于根据特征语义集合在激光数据中进行语义化标定处理，得到第一语义化信息。
作为一种可选的实施方式，第二标定单元330包括：
预处理子单元331，用于对拍摄图像进行预处理，得到预处理图像；
第二提取子单元332，用于在预处理图像中提取与预设边界范围相对应的局部图像；
第二检测子单元333，用于根据预设的目标检测模型对局部图像进行目标检测，得到目标信息；
第二转换子单元334，用于转换目标信息为第二语义化信息。
作为一种可选的实施方式，综合标定单元340包括：
第三获取子单元341，用于获取与拍摄图像对应的内部参数和畸变参数；
第三标定子单元342，用于根据内部参数和畸变参数，标定拍摄图像与激光数据之间的变换矩阵；
第三组合子单元343，用于根据变换矩阵对第一语义化信息和第二语义化信息进行组合，得到综合语义化信息；
第三标定子单元342，还用于根据综合语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。
作为一种可选的实施方式，第三组合子单元343，具体用于对激光数据进行聚类处理，得到聚类结果集合；
根据聚类结果集合和变换矩阵，将第二语义化信息叠加至第一语义化信息中，得到综合语义化信息。
本实施例中，对于基于激光数据的语义化标定装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施图4所描述的基于激光数据的语义化标定装置，能够通过多个单元独立工作实现准确有序的对应工作，然后再通过协同工作实现工作结果综合化，从而使得整体的基于激光数据的语义化标定装置可以输出准确、有效的结果；同时，基于激光数据的语义化标定装置还能够同时获取激光数据和拍摄图像，并在对激光数据进行相应语义标注时同时对拍摄图像进行语义标注，当激光数据和拍摄图像皆被标注完语义之后，根据激光数据与拍摄图像之间的关联进行激光数据上的综合标注，得到语义化标定数据，以使该语义化标定数据可以更好地提供机器人可用的语义地图，并为人机交互等方面提供统一的数据来源；另外，该方法还能够在保证机器人的定位效率的同时使提高动态定位能力，从而提高机器人的定位准确程度。
本申请实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本申请实施例1或实施例2中任一项基于激光数据的语义化标定方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中任一项基于激光数据的语义化标定方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种基于激光数据的语义化标定方法，其特征在于，所述方法包括：
获取激光数据和拍摄图像；
根据所述激光数据进行语义化标定处理，得到第一语义化信息；
根据所述拍摄图像进行语义化标定处理，得到第二语义化信息；
根据所述第一语义化信息和所述第二语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据；
其中，所述根据所述第一语义化信息和所述第二语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据的步骤包括：
获取与所述拍摄图像对应的内部参数和畸变参数；
根据所述内部参数和所述畸变参数，标定所述拍摄图像与所述激光数据之间的变换矩阵；
根据所述变换矩阵对所述第一语义化信息和所述第二语义化信息进行组合，得到综合语义化信息；
根据所述综合语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据。
2.根据权利要求1所述的基于激光数据的语义化标定方法，其特征在于，所述根据所述激光数据进行语义化标定处理，得到第一语义化信息的步骤包括：
对所述激光数据进行几何特征提取，得到几何特征集合；
获取与所述几何特征集合相匹配的特征语义集合；
根据所述特征语义集合在所述激光数据中进行语义化标定处理，得到第一语义化信息。
3.根据权利要求1所述的基于激光数据的语义化标定方法，其特征在于，所述根据所述拍摄图像进行语义化标定处理，得到第二语义化信息的步骤包括：
对所述拍摄图像进行预处理，得到预处理图像；
在所述预处理图像中提取与预设边界范围相对应的局部图像；
根据预设的目标检测模型对所述局部图像进行目标检测，得到目标信息；
转换所述目标信息为第二语义化信息。
4.根据权利要求1所述的基于激光数据的语义化标定方法，其特征在于，所述根据所述变换矩阵对所述第一语义化信息和所述第二语义化信息进行组合，得到综合语义化信息的步骤包括：
对所述激光数据进行聚类处理，得到聚类结果集合；
根据所述聚类结果集合和所述变换矩阵，将所述第二语义化信息叠加至所述第一语义化信息中，得到综合语义化信息。
5.一种基于激光数据的语义化标定装置，其特征在于，所述基于激光数据的语义化标定装置包括：
获取单元，用于获取激光数据和拍摄图像；
第一标定单元，用于根据所述激光数据进行语义化标定处理，得到第一语义化信息；
第二标定单元，用于根据所述拍摄图像进行语义化标定处理，得到第二语义化信息；
综合标定单元，用于根据所述第一语义化信息和所述第二语义化信息对所述激光数据进行语义化标定处理，得到语义化标定数据；
其中，所述综合标定单元包括：
第三获取子单元，用于获取与拍摄图像对应的内部参数和畸变参数；
第三标定子单元，用于根据内部参数和畸变参数，标定拍摄图像与激光数据之间的变换矩阵；
第三组合子单元，用于根据变换矩阵对第一语义化信息和第二语义化信息进行组合，得到综合语义化信息；
所述第三标定子单元，还用于根据综合语义化信息对激光数据进行语义化标定处理，得到语义化标定数据。
6.根据权利要求5所述的基于激光数据的语义化标定装置，其特征在于，所述第一标定单元包括：
第一提取子单元，用于对所述激光数据进行几何特征提取，得到几何特征集合；
第一获取子单元，用于获取与所述几何特征集合相匹配的特征语义集合；
第一标定子单元，用于根据所述特征语义集合在所述激光数据中进行语义化标定处理，得到第一语义化信息。
7.根据权利要求5所述的基于激光数据的语义化标定装置，其特征在于，所述第二标定单元包括：
预处理子单元，用于对所述拍摄图像进行预处理，得到预处理图像；
第二提取子单元，用于在所述预处理图像中提取与预设边界范围相对应的局部图像；
第二检测子单元，用于根据预设的目标检测模型对所述局部图像进行目标检测，得到目标信息；
第二转换子单元，用于转换所述目标信息为第二语义化信息。
8.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至4任一项所述的基于激光数据的语义化标定方法。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至4任一项所述的基于激光数据的语义化标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010526848.3A CN111652174B (zh) | 2020-06-10 | 2020-06-10 | 一种基于激光数据的语义化标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010526848.3A CN111652174B (zh) | 2020-06-10 | 2020-06-10 | 一种基于激光数据的语义化标定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652174A CN111652174A (zh) | 2020-09-11 |
| CN111652174B true CN111652174B (zh) | 2024-01-23 |
Family
ID=72343167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010526848.3A Active CN111652174B (zh) | 2020-06-10 | 2020-06-10 | 一种基于激光数据的语义化标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652174B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780735A (zh) * | 2016-12-29 | 2017-05-31 | 深圳先进技术研究院 | 一种语义地图构建方法、装置及一种机器人 |
| CN108038907A (zh) * | 2017-11-21 | 2018-05-15 | 泰瑞数创科技(北京)有限公司 | 城市信息模型语义信息自动生成方法和*** |
| CN108921925A (zh) * | 2018-06-27 | 2018-11-30 | 广州视源电子科技股份有限公司 | 基于激光雷达和视觉融合的语义点云生成方法和装置 |
| CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
| CN111105495A (zh) * | 2019-11-26 | 2020-05-05 | 四川阿泰因机器人智能装备有限公司 | 一种融合视觉语义信息的激光雷达建图方法及*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11067693B2 (en) * | 2018-07-12 | 2021-07-20 | Toyota Research Institute, Inc. | System and method for calibrating a LIDAR and a camera together using semantic segmentation |
-
2020
- 2020-06-10 CN CN202010526848.3A patent/CN111652174B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780735A (zh) * | 2016-12-29 | 2017-05-31 | 深圳先进技术研究院 | 一种语义地图构建方法、装置及一种机器人 |
| CN108038907A (zh) * | 2017-11-21 | 2018-05-15 | 泰瑞数创科技(北京)有限公司 | 城市信息模型语义信息自动生成方法和*** |
| CN108921925A (zh) * | 2018-06-27 | 2018-11-30 | 广州视源电子科技股份有限公司 | 基于激光雷达和视觉融合的语义点云生成方法和装置 |
| CN110243370A (zh) * | 2019-05-16 | 2019-09-17 | 西安理工大学 | 一种基于深度学习的室内环境三维语义地图构建方法 |
| CN111105495A (zh) * | 2019-11-26 | 2020-05-05 | 四川阿泰因机器人智能装备有限公司 | 一种融合视觉语义信息的激光雷达建图方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| Study on the data matching of ground-based radar and laser point cloud;Zhiwei Qiu等;Proceedings Volume 9983. Pacific Rim Laser Damage 2016: Optical Materials for High-Power Lasers;第1-7页 * |
| 基于语义ORB-SLAM2算法的移动机器人自主导航方法研究;陈国军;陈巍;郁汉琪;王涵立;;机床与液压(第09期);第16-20页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652174A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11288492B2 (en) | Method and device for acquiring 3D information of object | |
| CN108764048B (zh) | 人脸关键点检测方法及装置 | |
| CN111328396B (zh) | 用于图像中的对象的姿态估计和模型检索 | |
| Rad et al. | Bb8: A scalable, accurate, robust to partial occlusion method for predicting the 3d poses of challenging objects without using depth | |
| CN109544677B (zh) | 基于深度图像关键帧的室内场景主结构重建方法及*** | |
| US8467596B2 (en) | Method and apparatus for object pose estimation | |
| US20190147245A1 (en) | Three-dimensional object detection for autonomous robotic systems using image proposals | |
| CN111401266B (zh) | 绘本角点定位的方法、设备、计算机设备和可读存储介质 | |
| CN110766002B (zh) | 一种基于深度学习的船名字符区域检测方法 | |
| JP2011508323A (ja) | 不変の視覚場面及び物体の認識 | |
| CN113393503B (zh) | 一种分割驱动形状先验变形的类别级物体6d位姿估计方法 | |
| Lakshmi et al. | Image registration techniques based on the scale invariant feature transform | |
| CN112435223B (zh) | 目标检测方法、装置及存储介质 | |
| US20240020923A1 (en) | Positioning method based on semantic information, device and computer-readable storage medium | |
| CN112102404B (zh) | 物体检测追踪方法、装置及头戴显示设备 | |
| CN111652174B (zh) | 一种基于激光数据的语义化标定方法及装置 | |
| CN109191489B (zh) | 一种飞行器着陆标志的检测跟踪方法与*** | |
| CN114973413A (zh) | 基于单个rgb图像的三维手势识别方法与*** | |
| Tybusch et al. | Color-based and recursive fiducial marker for augmented reality | |
| CN111126377A (zh) | 一种提高检测目标检测效率的方法 | |
| Ziomek et al. | Evaluation of interest point detectors in presence of noise | |
| CN111008627B (zh) | 一种在边界遮挡状况下检测标记码边框的方法 | |
| CN116152167B (zh) | 滑动检测方法、装置、介质、设备 | |
| Weinmann et al. | Point cloud registration | |
| Liu et al. | Real-time visual SLAM optimization method based on YOLOv8 and geometric constraints in dynamic scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing Applicant after: Beijing Yunji Technology Co.,Ltd. Address before: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |