CN113609985B - 物***姿检测方法、检测设备、机器人及可存储介质 - Google Patents
物***姿检测方法、检测设备、机器人及可存储介质 Download PDFInfo
- Publication number
- CN113609985B CN113609985B CN202110895680.8A CN202110895680A CN113609985B CN 113609985 B CN113609985 B CN 113609985B CN 202110895680 A CN202110895680 A CN 202110895680A CN 113609985 B CN113609985 B CN 113609985B
- Authority
- CN
- China
- Prior art keywords
- pose
- target object
- candidate
- sensor
- data frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000015654 memory Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种物***姿检测方法，包括：利用深度学习，将探测到的待识别的目标物体的进行训练识别，获取所述目标物体的识别网络；根据传感器的探测数据帧和摄像头的图像数据帧，对摄像头和传感器进行标定，获得标定结果；根据所述图像数据帧和所述识别网络，识别出所述目标物体、目标物体在图像中的图像范围和若干特征局部；根据所述标定结果，提取图像范围内的传感器点云数据，并获取所述特征局部对应的局部点云；根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿。从而给机器人运动路线的规划提供准确的信息，提高机器人的运动能力和效率。
Description
技术领域
本发明涉及人工智能技术领域，尤指一种物***姿检测方法、检测设备、机器人及可存储介质。
背景技术
可自主移动的机器人在其运动环境中移动时，如果不对被传感器探测的物体进行识别，就可能将一些运动的仪器设备、推车等障碍物体的局部当作障碍物，而无法知道整个物体，这样在被人或者推车障碍物遮挡时，就会规划出不够合适的路线，导致机器人运动效果不佳，甚至出现碰撞事故。由于机器人的运动路线相对固定，所探测到的物体基本上是可以通过深度学习等方法训练识别出来，但如果只是识别出目标障碍物体，无法知道障碍物体的位姿，那么仍然不能做到很好的运动表现。
发明内容
本发明的目的是提供一种物***姿检测方法、检测设备、机器人及计算机可存储介质，用于解决机器人运动时对探测到的目标物体的位姿检测的问题，继而给机器人运动路线的规划提供准确的信息，提高机器人的运动能力和效率。
本发明提供的技术方案如下：
一种物***姿检测方法，包括：
利用深度学习，根据传感器探测到的数据帧对待识别的目标物体进行训练识别，获取所述目标物体的识别网络；
根据传感器的探测数据帧和摄像头的图像数据帧，对摄像头和传感器进行标定，获得标定结果；
根据所述图像数据帧和所述识别网络，识别出所述目标物体、目标物体在图像中的图像范围和若干特征局部；
根据所述标定结果，提取图像范围内的传感器点云数据，并获取所述特征局部对应的局部点云；
根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿。
优选的，所述传感器为深度传感器，包括不限于RGBD传感器、激光雷达或固态激光雷达。
进一步的，所述根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿具体包括：
计算传感器点云数据和局部点云，得到局部点云的中心位置；
根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个目标物体的位姿。
可选的，所述根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个物体的位姿具体包括：
根据若干个特征局部中的第一特征局部、第二特征局部分别的中心位置，以及所述第一特征局部、第二特征局部之间的距离，确定所述特征局部在所述目标物体的候选位置；
根据所述特征局部在所述目标物体的候选位置，计算得出所述目标物体的候选位姿；
根据所述目标物体的候选位姿，得到目标物体的整个位姿。
可选的，根据所述目标物体的候选位姿，得到目标物体的整个位姿具体包括：
所述目标物体的候选位姿包括第一候选位姿、第二候选位姿，其中，所述第一候选位姿、第二候选位姿分别根据特征局部在目标物体中的第一候选位置、第二候选位置得到；
分别获得在所述第一候选位姿和所述第二位姿上，所述传感器的第一探测数据帧和第二探测数据帧；
分别判断所述第一探测数据帧和第二探测数据帧与目标物体的传感器点云数据是否存在重合，若是，则将存在重合的探测数据帧对应的候选位姿作为目标物体的位姿。
为了实现本发明的发明目的，本发明实施例还提供了一种物***姿的检测设备，所述检测设备包括：
第一识别模块，用于利用深度学习，根据传感器探测到的数据帧对待识别的目标物体进行训练识别，获取所述目标物体的识别网络；
标定模块，用于根据传感器的探测数据帧和摄像头的图像数据帧，对摄像头和传感器进行标定，获得标定结果；
第二识别模块，用于根据所述图像数据帧和所述识别网络，识别出所述目标物体、目标物体在图像中的图像范围和若干特征局部；
点云数据计算模块，用于根据所述标定结果，提取图像范围内的传感器点云数据，并获取所述特征局部对应的局部点云；
位姿获取模块，用于根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿。
进一步的，所述位姿获取模块具体包括：
中心位置计算单元，用于计算传感器点云数据和局部点云，得到局部点云的中心位置；
位姿计算单元，用于根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个目标物体的位姿。
可选的，所述位姿计算单元具体包括：
候选位置确定子单元，用于根据若干个特征局部中的第一特征局部、第二特征局部分别的中心位置，以及所述第一特征局部、第二特征局部之间的距离，确定所述特征局部在所述目标物体的候选位置；
候选位姿计算子单元，用于根据所述特征局部在所述目标物体的候选位置，计算得出所述目标物体的候选位姿；
获取子单元，用于根据所述目标物体的候选位姿，得到目标物体的整个位姿。
为了实现本发明的发明目的，本发明实施例还提供了一种机器人，所述机器人包括处理器和存储器，所述处理器与所述存储器耦合，所述存储器，用于存储程序；所述处理器，用于执行所述存储器中的程序，使得所述机器人执行如前文所述物***姿检测的方法。
为了实现本发明的发明目的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述任意实现传感器探测检测的方法。
本发明利用深度传感器和摄像头数据帧，通过识别目标物体以及目标物体的局部，通过目标物体的特征局部从而获得整个目标物体的位姿，使得机器人在运动过程中得以对运动路线进行合理的规划，提高机器人运动的效率。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，用户设备准入方法和装置、用户设备切换方法和装置的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1为本发明实施例提供的一种物***姿检测方法的流程图；
图2为本发明实施例提供的一种物***姿检测设备的示意图；
图3为本发明实施例提供的另一种物***姿检测设备的示意图；
图4为本发明实施例提供的另一种物***姿检测设备的示意图；
图5为本发明实施例提供的自主移动机器人的示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘制了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
发明人在智能设备自主移动的开发过程中，为了实现这些智能设备的自主移动，需要利用一些传感器来探测环境。该智能设备可能为一自主移动的机器人，或者自主移动的汽车，或者其他自主行走设备，这些设备或多或少了会采用激光雷达等深度传感器来实现目标物体探测，还会采用摄像头来识别机器人运动环境中的物体，然而，现有技术中，目标物体的探测或识别仅仅只是探测到物体，但如果只探测到物体的一部分，没有获得整个物体，也不能对物体的障碍程度得以准确判断，即使得到物体的整体部分，如果不知道物体的位姿，例如正在行走的物体，行走方向也会影响机器人的行走规划，因此，需要一种方法来准确检测目标物体的位姿，进而可以实现无障碍或者避开障碍物移动。
为了准确地获取目标物体的位姿，本发明实施例提供一种物***姿检测方法。
请参考图1，本发明实施例的一种物***姿检测方法，包括：
S1.利用深度学习，根据传感器探测到的数据帧对待识别的目标物体进行训练识别，获取所述目标物体的识别网络；
本发明实施例首先使用已经成熟的深度学习方法，训练待识别的物体和物体上的特征局部，比如推车及推车上的轮子；
本发明实施例的深度学习不限制使用的网络，例如可以将全卷积网络技术移植到三维距离扫描数据检测任务。具体地，根据Velodyne64E激光雷达的距离数据，将场景设置为检测任务。在2D点图呈现数据，并使用单个2D端到端全卷积网络同时预测目标置信度和边框。通过设计的边框编码，使用2D卷积网络也能够预测完整的3D边框。
或者为消除对3D点云的手动特征工程的需求，可以使用VoxelNet，一种通用的3D检测网络，可将特征提取和边框预测统一到单步端到端可训练的深度网络中。
又或者基于网格图的环境表示，非常适合传感器融合、自由空间的估计和机器学习方法，主要使用深度CNN检测和分类目标。作为CNN的输入，使用多层网格图有效地编码3D距离传感器信息。推理输出的是包含一个带有相关语义类别的旋转边框列表。将距离传感器测量值转换为多层网格图，作为目标检测和分类网络的输入。CNN网络同时推断旋转的3D边框与语义类别。将这些框投影到摄像机图像中进行视觉验证。
S2.根据传感器的探测数据帧和摄像头的图像数据帧，对摄像头和传感器进行标定，获得标定结果；
通过标定找到传感器到摄像头的空间转换关系，在不同的坐标系之间转换需要旋转矩阵R和平移矩阵T，为后续的传感器和摄像头数据融合做准备。
S3.根据所述图像数据帧和所述识别网络，识别出所述目标物体、目标物体在图像中的图像范围和若干特征局部；
本发明实施例中的目标物体是指用于执行位姿检测的图像，该目标物体可以包括人、仪器设备、推车等。在本发明实施例可以首先获取目标物体的图像，例如可以从存储的图像数据中选择出目标图像，或者也可以从其他设备接收传输的目标图像，或者也可以是直接通过摄像设备摄取目标图像，上述仅为获取目标图像的示例性说明，本发明实施例对此不进行限制。
在获取目标物体的图像后，可以识别该目标物体的图像中的目标物体，其中可以通过图像识别算法识别出目标图像中的目标对象，也可以通过经过训练的机器学习网络模型执行目标对象的识别，该机器学习网络模型可以包括神经网络模型，或者深度学习神经网络模型等，本发明实施例对此也不进行限制。
例如，利用深度学习识别出来病床和病床的轮子，利用摄像头和传感器得标定关系获取病床和轮子的点云。利用病床有4个轮子，轮子间相对距离关系，以及识别出来的轮子点云的坐标就可以推算出病床整个的坐标和位姿。
S4.根据所述标定结果，提取图像范围内的传感器点云数据，并获取所述特征局部对应的局部点云；
S5.根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿。
优选的，所述传感器为深度传感器，包括不限于RGBD传感器、激光雷达或固态激光雷达。
进一步的，所述根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿具体包括：
计算传感器点云数据和局部点云，得到局部点云的中心位置；
根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个目标物体的位姿。
可选的，所述根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个物体的位姿具体包括：
根据若干个特征局部中的第一特征局部、第二特征局部分别的中心位置，以及所述第一特征局部、第二特征局部之间的距离，确定所述特征局部在所述目标物体的候选位置；
根据所述特征局部在所述目标物体的候选位置，计算得出所述目标物体的候选位姿；
根据所述目标物体的候选位姿，得到目标物体的整个位姿。
可选的，根据所述目标物体的候选位姿，得到目标物体的整个位姿具体包括：
所述目标物体的候选位姿包括第一候选位姿、第二候选位姿，其中，所述第一候选位姿、第二候选位姿分别根据特征局部在目标物体中的第一候选位置、第二候选位置得到；
分别获得在所述第一候选位姿和所述第二位姿上，所述传感器的第一探测数据帧和第二探测数据帧；
分别判断所述第一探测数据帧和第二探测数据帧与目标物体的传感器点云数据是否存在重合，若是，则将存在重合的探测数据帧对应的候选位姿作为目标物体的位姿。
比如,知道推车上两个轮子的中心位置W1和W2，结合推车有4个轮子的特征，相对推车整体的位姿(由于推车4个轮子，两个轮子之间的距离一般有L1，L2，L3三个可能，而根据W1和W2就可以知道这两个轮子可能是哪两个)，可以计算出推车的候选位姿P1和P2；
分别假设推车在候选位姿P1和P2上，计算推车在这个位姿上时，传感器返回的深度数据和物体是否存在冲突：比如物体在P1上时，哪些物体局部应该探测到但实际上却没有探测到，从而得到两个得分S1和S2；选择最高的作为物体的位姿。
为了实现本发明的发明目的，如图2所示，本发明实施例还提供了一种物***姿的检测设备100，所述检测设备包括：
第一识别模块11，用于利用深度学习，根据传感器探测到的数据帧对待识别的目标物体进行训练识别，获取所述目标物体的识别网络；
标定模块12，用于根据传感器的探测数据帧和摄像头的图像数据帧，对摄像头和传感器进行标定，获得标定结果；
第二识别模块13，用于根据所述图像数据帧和所述识别网络，识别出所述目标物体、目标物体在图像中的图像范围和若干特征局部；
点云数据计算模块14，用于根据所述标定结果，提取图像范围内的传感器点云数据，并获取所述特征局部对应的局部点云；
位姿获取模块15，用于根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿。
进一步的，如图3所示，所述位姿获取模块具体包括：
中心位置计算单元151，用于计算传感器点云数据和局部点云，得到局部点云的中心位置；
位姿计算单元152，用于根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个目标物体的位姿。
可选的，如图4所示，所述位姿计算单元152具体包括：
候选位置确定子单元1521，用于根据若干个特征局部中的第一特征局部、第二特征局部分别的中心位置，以及所述第一特征局部、第二特征局部之间的距离，确定所述特征局部在所述目标物体的候选位置；
候选位姿计算子单元1522，用于根据所述特征局部在所述目标物体的候选位置，计算得出所述目标物体的候选位姿；
获取子单元1523，用于根据所述目标物体的候选位姿，得到目标物体的整个位姿。
其中，所述目标物体的候选位姿包括第一候选位姿、第二候选位姿，其中，所述第一候选位姿、第二候选位姿分别根据特征局部在目标物体中的第一候选位置、第二候选位置得到；
分别获得在所述第一候选位姿和所述第二位姿上，所述传感器的第一探测数据帧和第二探测数据帧；
分别判断所述第一探测数据帧和第二探测数据帧与目标物体的传感器点云数据是否存在重合，若是，则将存在重合的探测数据帧对应的候选位姿作为目标物体的位姿。
比如,知道推车上两个轮子的中心位置W1和W2，结合推车有4个轮子的特征，相对推车整体的位姿(由于推车4个轮子，两个轮子之间的距离一般有L1，L2，L3三个可能，而根据W1和W2就可以知道这两个轮子可能是哪两个)，可以计算出推车的候选位姿P1和P2；
分别假设推车在候选位姿P1和P2上，计算推车在这个位姿上时，传感器返回的深度数据和物体是否存在冲突：比如物体在P1上时，哪些物体局部应该探测到但实际上却没有探测到，从而得到两个得分S1和S2；选择最高的作为物体的位姿。
为了实现本发明的发明目的，本发明实施例还提供了一种机器人，所述机器人包括处理器和存储器，所述处理器与所述存储器耦合，所述存储器，用于存储程序；所述处理器，用于执行所述存储器中的程序，使得所述机器人执行如前文所述物***姿检测的方法。
为了实现本发明的发明目的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述任意实现传感器探测检测的方法。
本发明利用深度传感器和摄像头数据帧，通过识别目标物体以及目标物体的局部，通过目标物体的特征局部从而获得整个目标物体的位姿，使得机器人在运动过程中得以对运动路线进行合理的规划，提高机器人运动的效率。
需要说明的是，本发明提供的位姿检测设备的实施例与前述提供的位姿检测方法的实施例均基于同一发明构思，能够取得相同的技术效果；因而，位姿检测设备的实施例的其它具体内容可以参照前述位姿检测方法的实施例内容的记载。
需要注意的是，以上检测设备的各个模块或单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理器调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元通过软件通过处理器调用的形式实现，部分单元通过硬件的形式实现。
例如，以上各模块或单元的功能可以以程序代码的形式存储于存储器中，由处理器调度该程序代码，实现以上各个单元的功能。该处理器可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)或其它可以调用程序的处理器。再如，以上各个单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ASIC)，或，一个或多个数字信号处理器(DSP)，或，一个或者多个现场可编程门阵列(FPGA)等。再如，结合这两种方式，部分功能通过处理器调度程序代码的形式实现，部分功能通过硬件集成电路的形式实现。且以上功能集成在一起时，可以以片上***(system-on-a-chip，SOC)的形式实现。
本申请实施例提供的检测设备等具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使检测设备内的芯片执行上述所示实施例描述的检测设备所执行的步骤，或者，使得执行设备内的芯片执行如前述图2所示实施例描述的检测设备所执行的步骤。
可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
为了实现本发明的发明目的，如图5所示，本发明实施例还提供了一种机器人180，所述机器人180，包括处理器1803和存储器1804，所述处理器1803与所述存储器1804耦合，其中，
所述存储器1804，用于存储程序；
所述处理器1803，用于执行所述存储器中的程序，使得所述机器人执行如前文所述物***姿检测的方法。
请参考图5，本发明实施例上述图1对应实施例揭示的方法可以应用于自主移动的机器人180中，所述机器人180包括处理器1803,处理器1803可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1803中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1803可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(applicationspecific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1803可以实现或者执行本申请图1对应的实施例中公开的各方法、步骤及逻辑框图。
通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1804，处理器1803读取存储器1804中的信息，结合其硬件完成上述方法的步骤。
接收器1801可用于接收输入的数字或字符信息，以及产生与机器人180的相关设置以及功能控制有关的信号输入。发射器1802可用于通过第一接口输出数字或字符信息；发射器1802还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1802还可以包括显示屏等显示设备。
本发明实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述所示实施例描述的物***姿检测方法所执行的步骤，或者，使得计算机执行如前述图2所示实施例描述的检测设备所执行的步骤。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种物***姿检测方法，其特征在于，包括：
利用深度学习，根据深度传感器探测到的数据帧对待识别的目标物体进行训练识别，获取所述目标物体的识别网络；
根据传感器的探测数据帧和摄像头的图像数据帧，对摄像头和传感器进行标定，通过标定找到传感器到摄像头的空间转换关系，获得标定结果；
根据所述图像数据帧和所述识别网络，识别出所述目标物体、目标物体在图像中的图像范围和若干特征局部；
根据所述标定结果，提取所述图像范围内的传感器点云数据，并获取所述特征局部对应的局部点云；
根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿，具体包括：计算传感器点云数据和局部点云，得到局部点云的中心位置；
根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个目标物体的位姿，其中，所述根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个物体的位姿具体包括：
根据若干个特征局部中的第一特征局部、第二特征局部分别的中心位置，以及所述第一特征局部、第二特征局部之间的距离，确定所述特征局部在所述目标物体的候选位置；
根据所述特征局部在所述目标物体的候选位置，计算得出所述目标物体的候选位姿；
根据所述目标物体的候选位姿，得到目标物体的整个位姿，其中，根据所述目标物体的候选位姿，得到目标物体的整个位姿具体包括：
所述目标物体的候选位姿包括第一候选位姿、第二候选位姿，其中，所述第一候选位姿、第二候选位姿分别根据特征局部在目标物体中的第一候选位置、第二候选位置得到；
分别获得在所述第一候选位姿和所述第二候选位姿上，所述传感器的第一探测数据帧和第二探测数据帧；
分别判断所述第一探测数据帧和第二探测数据帧与目标物体的传感器点云数据是否存在重合，若是，则将存在重合的探测数据帧对应的候选位姿作为目标物体的位姿。
2.根据权利要求1所述的物***姿检测方法，其特征在于，所述深度传感器，包括不限于RGBD传感器、激光雷达。
3.一种物***姿的检测设备，其特征在于，所述检测设备包括：
第一识别模块，用于利用深度学习，根据深度传感器探测到的数据帧对待识别的目标物体的进行训练识别，获取所述目标物体的识别网络；
标定模块，用于根据传感器的探测数据帧和摄像头的图像数据帧，对摄像头和传感器进行标定，通过标定找到传感器到摄像头的空间转换关系，获得标定结果；
第二识别模块，用于根据所述图像数据帧和所述识别网络，识别出所述目标物体、目标物体在图像中的图像范围和若干特征局部；
点云数据计算模块，用于根据所述标定结果，提取图像范围内的传感器点云数据，并获取所述特征局部对应的局部点云；
位姿获取模块，用于根据所述局部点云，获取若干个特征局部的中心位置，并利用所述中心位置获取物体的位姿，其中，所述位姿获取模块具体包括：
中心位置计算单元，用于计算传感器点云数据和局部点云，得到局部点云的中心位置；
位姿计算单元，用于根据若干个局部点云的中心位置，以及特征局部相对目标物体中心的位置，计算整个目标物体的位姿，其中，所述位姿计算单元具体包括：
候选位置确定子单元，用于根据若干个特征局部中的第一特征局部、第二特征局部分别的中心位置，以及所述第一特征局部、第二特征局部之间的距离，确定所述特征局部在所述目标物体的候选位置；
候选位姿计算子单元，用于根据所述特征局部在所述目标物体的候选位置，计算得出所述目标物体的候选位姿；
获取子单元，用于根据所述目标物体的候选位姿，得到目标物体的整个位姿，其中，根据所述目标物体的候选位姿，得到目标物体的整个位姿具体包括：
所述目标物体的候选位姿包括第一候选位姿、第二候选位姿，其中，所述第一候选位姿、第二候选位姿分别根据特征局部在目标物体中的第一候选位置、第二候选位置得到；
分别获得在所述第一候选位姿和所述第二候选位姿上，所述传感器的第一探测数据帧和第二探测数据帧；
分别判断所述第一探测数据帧和第二探测数据帧与目标物体的传感器点云数据是否存在重合，若是，则将存在重合的探测数据帧对应的候选位姿作为目标物体的位姿。
4.一种机器人，其特征在于，所述机器人包括处理器和存储器，所述处理器与所述存储器耦合，其特征在于，
所述存储器，用于存储程序；
所述处理器，用于执行所述存储器中的程序，使得所述机器人执行如权利要求1-2中任一项所述的方法。
5.一种计算机存储介质，其特征在于，包括程序，当程序在计算机上运行时，使得计算机执行如权利要求1-2中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110895680.8A CN113609985B (zh) | 2021-08-05 | 2021-08-05 | 物***姿检测方法、检测设备、机器人及可存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110895680.8A CN113609985B (zh) | 2021-08-05 | 2021-08-05 | 物***姿检测方法、检测设备、机器人及可存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113609985A CN113609985A (zh) | 2021-11-05 |
| CN113609985B true CN113609985B (zh) | 2024-02-23 |
Family
ID=78307027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110895680.8A Active CN113609985B (zh) | 2021-08-05 | 2021-08-05 | 物***姿检测方法、检测设备、机器人及可存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113609985B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109448034A (zh) * | 2018-10-24 | 2019-03-08 | 华侨大学 | 一种基于几何基元的零件位姿获取方法 |
| CN110363816A (zh) * | 2019-06-25 | 2019-10-22 | 广东工业大学 | 一种基于深度学习的移动机器人环境语义建图方法 |
| CN110533722A (zh) * | 2019-08-30 | 2019-12-03 | 的卢技术有限公司 | 一种基于视觉词典的机器人快速重定位方法及*** |
| CN110579215A (zh) * | 2019-10-22 | 2019-12-17 | 上海木木机器人技术有限公司 | 基于环境特征描述的定位方法、移动机器人和存储介质 |
| CN111368852A (zh) * | 2018-12-26 | 2020-07-03 | 沈阳新松机器人自动化股份有限公司 | 基于深度学习的物品识别预分拣***、方法及机器人 |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
| CN111563442A (zh) * | 2020-04-29 | 2020-08-21 | 上海交通大学 | 基于激光雷达的点云和相机图像数据融合的slam方法及*** |
| WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN112731358A (zh) * | 2021-01-08 | 2021-04-30 | 奥特酷智能科技(南京)有限公司 | 一种多激光雷达外参在线标定方法 |
| CN112784873A (zh) * | 2020-12-25 | 2021-05-11 | 华为技术有限公司 | 一种语义地图的构建方法及设备 |
| CN112967347A (zh) * | 2021-03-30 | 2021-06-15 | 深圳市优必选科技股份有限公司 | 位姿标定方法、装置、机器人及计算机可读存储介质 |
| CN113034575A (zh) * | 2021-01-27 | 2021-06-25 | 深圳市华汉伟业科技有限公司 | 一种模型构建方法、位姿估计方法及物体拣取装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9558559B2 (en) * | 2013-04-05 | 2017-01-31 | Nokia Technologies Oy | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system |
| US10262243B2 (en) * | 2017-05-24 | 2019-04-16 | General Electric Company | Neural network point cloud generation system |
| CN109145680B (zh) * | 2017-06-16 | 2022-05-27 | 阿波罗智能技术(北京)有限公司 | 一种获取障碍物信息的方法、装置、设备和计算机存储介质 |
| CN110307838B (zh) * | 2019-08-26 | 2019-12-10 | 深圳市优必选科技股份有限公司 | 机器人重定位方法、装置、计算机可读存储介质及机器人 |
| US11262759B2 (en) * | 2019-10-16 | 2022-03-01 | Huawei Technologies Co., Ltd. | Method and system for localization of an autonomous vehicle in real time |
| US11940804B2 (en) * | 2019-12-17 | 2024-03-26 | Motional Ad Llc | Automated object annotation using fused camera/LiDAR data points |
-
2021
- 2021-08-05 CN CN202110895680.8A patent/CN113609985B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109448034A (zh) * | 2018-10-24 | 2019-03-08 | 华侨大学 | 一种基于几何基元的零件位姿获取方法 |
| CN111368852A (zh) * | 2018-12-26 | 2020-07-03 | 沈阳新松机器人自动化股份有限公司 | 基于深度学习的物品识别预分拣***、方法及机器人 |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
| CN110363816A (zh) * | 2019-06-25 | 2019-10-22 | 广东工业大学 | 一种基于深度学习的移动机器人环境语义建图方法 |
| WO2020259248A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN110533722A (zh) * | 2019-08-30 | 2019-12-03 | 的卢技术有限公司 | 一种基于视觉词典的机器人快速重定位方法及*** |
| CN110579215A (zh) * | 2019-10-22 | 2019-12-17 | 上海木木机器人技术有限公司 | 基于环境特征描述的定位方法、移动机器人和存储介质 |
| CN111563442A (zh) * | 2020-04-29 | 2020-08-21 | 上海交通大学 | 基于激光雷达的点云和相机图像数据融合的slam方法及*** |
| CN112784873A (zh) * | 2020-12-25 | 2021-05-11 | 华为技术有限公司 | 一种语义地图的构建方法及设备 |
| CN112731358A (zh) * | 2021-01-08 | 2021-04-30 | 奥特酷智能科技(南京)有限公司 | 一种多激光雷达外参在线标定方法 |
| CN113034575A (zh) * | 2021-01-27 | 2021-06-25 | 深圳市华汉伟业科技有限公司 | 一种模型构建方法、位姿估计方法及物体拣取装置 |
| CN112967347A (zh) * | 2021-03-30 | 2021-06-15 | 深圳市优必选科技股份有限公司 | 位姿标定方法、装置、机器人及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 基于图像语义分割的物***姿估计;王宪伦;张海洲;安立雄;;机械制造与自动化(02);第216-220页 * |
| 基于深度学习的机器人最优抓取姿态检测方法;李秀智;李家豪;张祥银;彭小彬;;仪器仪表学报(05);第108-117页 * |
| 室内服务机器人实时目标识别与定位***设计;黄海卫;孔令成;谭治英;;计算机工程与设计(08);第2228-2232页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113609985A (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10438371B2 (en) | Three-dimensional bounding box from two-dimensional image and point cloud data | |
| JP6794436B2 (ja) | 非障害物エリア検出のためのシステムおよび方法 | |
| CN111079619B (zh) | 用于检测图像中的目标对象的方法和装置 | |
| WO2022012158A1 (zh) | 一种目标确定方法以及目标确定装置 | |
| CN110799989A (zh) | 一种障碍物检测方法、设备、可移动平台及存储介质 | |
| CN111931764A (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
| Liang et al. | Image-based positioning of mobile devices in indoor environments | |
| Ruf et al. | Real-time on-board obstacle avoidance for UAVs based on embedded stereo vision | |
| WO2024087962A1 (zh) | 车厢姿态识别***、方法、电子设备及存储介质 | |
| EP3703008A1 (en) | Object detection and 3d box fitting | |
| CN113781519A (zh) | 目标跟踪方法和目标跟踪装置 | |
| US11308324B2 (en) | Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof | |
| Ishihara et al. | Deep radio-visual localization | |
| CN115147333A (zh) | 一种目标检测方法及装置 | |
| CN115424233A (zh) | 基于信息融合的目标检测方法以及目标检测装置 | |
| CN116563376A (zh) | 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置 | |
| CN116310673A (zh) | 一种基于点云与图像特征融合的三维目标检测方法 | |
| US20220164595A1 (en) | Method, electronic device and storage medium for vehicle localization | |
| CN116654022B (zh) | 基于多重交互的行人轨迹预测方法、***、设备和介质 | |
| Ponnaganti et al. | Deep learning for lidar-based autonomous vehicles in smart cities | |
| CN111813882B (zh) | 一种机器人地图构建方法、设备及存储介质 | |
| CN114972492A (zh) | 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质 | |
| CN114384486A (zh) | 一种数据处理方法及装置 | |
| CN113609985B (zh) | 物***姿检测方法、检测设备、机器人及可存储介质 | |
| Milli et al. | Multi-modal multi-task (3mt) road segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |