CN112631303B - 一种机器人定位方法、装置及电子设备 - Google Patents
一种机器人定位方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112631303B CN112631303B CN202011570106.7A CN202011570106A CN112631303B CN 112631303 B CN112631303 B CN 112631303B CN 202011570106 A CN202011570106 A CN 202011570106A CN 112631303 B CN112631303 B CN 112631303B
- Authority
- CN
- China
- Prior art keywords
- robot
- data
- pose information
- image data
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000086550 Dinosauria Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种机器人定位方法、装置及电子设备，首先依据图像采集设备采集的图像数据确定出机器人的初始位姿信息，然后获取激光采集设备采集的激光数据，并基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。即本发明，通过机器人采集的图像数据进行初始定位，得到机器人所在的一个大概位置，然后使用机器人采集的激光数据对该初始位姿信息进行修正，得到机器人的精确定位，准确的确定出机器人的所在位置，进而能够基于准确的定位信息进行导航和路径规划，保证服务机器人能够准确达到服务地点，提高服务机器人提供服务的质量和用户体验。
Description
技术领域
本发明涉及机器人领域，更具体的说，涉及一种机器人定位方法、装置及电子设备。
背景技术
随着科学技术的发展以及人们生活水平的提高，服务机器人已经逐渐进入人们的生活，为人类提供各种人性化服务。相对于其他类型的机器人，服务机器人的工作环境比较复杂，因此在复杂环境中的定位是服务机器人为人类提供高质量服务的前提。其中，定位就是确定机器人在其运动环境中的世界坐标系的坐标。
若机器人定位不准确，则基于该定位信息进行导航和路径规划也会不准确，使得服务机器人无法准确达到服务地点，降低用户体验。
发明内容
有鉴于此，本发明提供一种机器人定位方法、装置及电子设备，以解决机器人定位不准确，则基于该定位信息进行导航和路径规划也会不准确，使得服务机器人无法准确达到服务地点，降低用户体验的问题。
为解决上述技术问题，本发明采用了如下技术方案：
一种机器人定位方法，包括:
获取机器人的图像采集设备采集的图像数据；
调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息；所述数据处理模型基于训练数据训练得到；所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息；
获取所述机器人的激光采集设备采集的激光数据；
基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。
可选地，基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息，包括：
确定所述初始位姿信息对应的目标位置；
获取在所述目标位置预设范围内的多个位置的标准激光数据和位姿信息；
基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息。
可选地，基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息，包括：
将所述激光数据与每一所述标准激光数据进行比对，得到比对评分值；
从得到的所有的所述比对评分值中筛选出最大的比对评分值，以及确定所述最大的比对评分值对应的目标标准激光数据；
将所述目标标准激光数据对应的位姿信息确定为所述机器人的当前位姿信息。
可选地，获取机器人的图像采集设备采集的图像数据，包括：
获取机器人的第一图像采集设备采集的RGB数据；
获取机器人的第二图像采集设备采集的深度图像数据；
将所述RGB数据和所述深度图像数据转换成图像数据矩阵。
可选地，所述数据处理模型的处理过程包括：
获取行走轨迹评价结果符合预设条件的机器人行走轨迹；
从所述机器人行走轨迹中提取出多个不同时刻的图像数据以及位姿信息；
将多个不同时刻的图像数据确定为图像数据样本，并将多个不同时刻的位姿信息确定为所述图像数据样本对应的位姿信息；
使用所述图像数据样本以及所述图像数据样本对应的位姿信息对数据处理模型进行训练，直至所述数据处理模型的损失函数值小于预设阈值时停止训练。
一种机器人定位装置，包括:
第一数据获取模块，用于获取机器人的图像采集设备采集的图像数据；
位姿确定模块，用于调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息；所述数据处理模型基于训练数据训练得到；所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息；
第二数据获取模块，用于获取所述机器人的激光采集设备采集的激光数据；
位姿调整模块，用于基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。
可选地，所述位姿调整模块包括：
位置确定子模块，用于确定所述初始位姿信息对应的目标位置；
数据获取子模块，用于获取在所述目标位置预设范围内的多个位置的标准激光数据和位姿信息；
位姿确定子模块，用于基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息。
可选地，所述位姿确定子模块包括：
比对单元，用于将所述激光数据与每一所述标准激光数据进行比对，得到比对评分值；
筛选单元，用于从得到的所有的所述比对评分值中筛选出最大的比对评分值，以及确定所述最大的比对评分值对应的目标标准激光数据；
确定单元，用于将所述目标标准激光数据对应的位姿信息确定为所述机器人的当前位姿信息。
可选地，所述第一数据获取模块具体用于：
获取机器人的第一图像采集设备采集的RGB数据，获取机器人的第二图像采集设备采集的深度图像数据，将所述RGB数据和所述深度图像数据转换成图像数据矩阵。
一种电子设备，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取机器人的图像采集设备采集的图像数据；
调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息；所述数据处理模型基于训练数据训练得到；所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息；
获取所述机器人的激光采集设备采集的激光数据；
基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。
相较于现有技术，本发明具有以下有益效果：
本发明提供了一种机器人定位方法、装置及电子设备，首先依据图像采集设备采集的图像数据确定出机器人的初始位姿信息，然后获取激光采集设备采集的激光数据，并基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。即本发明，通过机器人采集的图像数据进行初始定位，得到机器人所在的一个大概位置，然后使用机器人采集的激光数据对该初始位姿信息进行修正，得到机器人的精确定位，准确的确定出机器人的所在位置，进而能够基于准确的定位信息进行导航和路径规划，保证服务机器人能够准确达到服务地点，提高服务机器人提供服务的质量和用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种机器人定位方法的方法流程图；
图2为本发明实施例提供的另一种机器人定位方法的方法流程图；
图3为本发明实施例提供的一种图像数据的场景示意图；
图4为本发明实施例提供的一种CNN模型的场景示意图；
图5为本发明实施例提供的一种LSTM模型的场景示意图；
图6为本发明实施例提供的一种机器人定位的场景示意图；
图7为本发明实施例提供的另一种机器人定位的场景示意图；
图8为本发明实施例提供的一种机器人定位装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现机器人的定位，发明人发现可以采用两种方法。第一种方法是使用机器人上设置的图像采集设备采集机器人的图像数据，使用视觉即时定位与地图构建vslam(visual simultaneous localization and mapping)对图像数据进行处理，得到机器人的定位信息。但是这种方式会受限于传感器位姿标定、光照在采集和运行时间不同等因素影响，在使用环境上，有一定的局限性。如vslam使用的标准地图中，该位置有一把椅子，但是后来这把椅子被搬走了，使得环境有所改变。又或者，标准地图中使用的数据是在阴天采集的，但是在实际应用时，采集的图像是光照条件较好的条件下，如晴天采集的，也会导致定位不准确。
另外一种方法是，使用机器人上设置的激光雷达采集激光数据，使用slam(simultaneous local ization and mapping，同步定位与建图)对激光数据进行处理，但是由于激光雷达是一个主动光学传感器，它在沿着特定的测量路径移动时向一个目标发射激光束。激光雷达传感器中的接收器会对从目标反射回来的激光进行检测和分析。这些接收器会记录激光脉冲从离开***到返回***的精确时间，以此计算传感器与目标之间的范围距离。这些距离测量值会与位置信息(GPS和INS)一起转换为对象空间中反射目标实际三维点的测量值。即激光数据包括机器人和机器人周边环境的边缘的距离值，但是slam使用的标准地图中，符合该激光数据的位置可能存在多个，进而无法精确地确定出机器人的当前位置。
为了解决上述技术问题，发明人经过研究发现，图像数据更适用于粗定位场景，激光数据更适合于精确定位场景，若是能够使用图像数据进行粗定位，得到一个初步定位结果，然后在该初步定位结果附近使用激光数据进行精确定位，则能够避免由于环境因素导致使用图像数据进行机器人定位不准确的问题，也能够避免由于激光数据定位时由于定位条件单一导致的定位不准确的问题，提高服务机器人提供服务的质量和用户体验。
更具体的，本发明中，首先依据图像采集设备采集的图像数据确定出机器人的初始位姿信息，然后获取激光采集设备采集的激光数据，并基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。即本发明，通过机器人采集的图像数据进行初始定位，得到机器人所在的一个大概位置，然后使用机器人采集的激光数据对该初始位姿信息进行修正，得到机器人的精确定位，准确的确定出机器人的所在位置，进而能够基于准确的定位信息进行导航和路径规划，保证服务机器人能够准确达到服务地点，提高服务机器人提供服务的质量和用户体验。
在上述内容的基础上，本发明实施例提供了一种机器人定位方法，参照图1，可以包括：
S11、获取机器人的图像采集设备采集的图像数据。
在实际应用中，图像采集设备设置在机器人上，且可以包括第一图像采集设备和第二图像采集设备，第一图像采集设备可以是普通摄像头，可以采集机器人周围环境的普通的图像数据，即RGB数据。第二图像采集设备可以是深度摄像头，可以采集机器人的周围环境的深度图像数据(深度点云)。
在得到第一图像采集设备采集的RGB数据和第二图像采集设备采集的深度图像数据之后，对该RGB数据和深度图像数据进行数据转换，转换成图像数据矩阵，该图像数据矩阵中包括RGB数据和深度图像数据的内容。具体转换过程可以是：
获取已经做像素数据对齐的RGB和深度图像数据，将RGB(图像三维数据)加上深度数据，即可扩充为四维数据RGBD(Depth)，得到图像数据矩阵。
综上所述，步骤S11可以包括：
获取机器人的第一图像采集设备采集的RGB数据，获取机器人的第二图像采集设备采集的深度图像数据，将所述RGB数据和所述深度图像数据转换成图像数据矩阵。
S12、调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息。
所述数据处理模型基于训练数据训练得到。所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息。
在实际应用中，可以使用机器人的历史轨迹数据进行模型的训练，得到数据处理模型。
为了提高定位的准确度，使用的历史轨迹可以是准确的历史轨迹。判断历史轨迹是否准确，可以是通过机器人在行走过程中，实时监测到图像数据和位姿信息，人工对每一图像数据和位姿信息进行确认，此时可以保证历史轨迹是正确的。又或者，在机器人执行完一项服务，如送餐服务，若是用户给了五星好评，又或者是对该行走轨迹进行了确认，则说明该历史轨迹是正确的。所以，可以从该历史轨迹中提取图像数据和位姿信息。
具体的，步骤S12可以包括：
S21、获取行走轨迹评价结果符合预设条件的机器人行走轨迹。
其中，行走轨迹评价结果可以是上述的五星好评、或者是对该行走轨迹进行了确认，又或者是人工对行走过程中每一图像数据和位姿信息进行了确认。不管通过上述哪种方法，只要是准确的行走轨迹都是可用的。
S22、从所述机器人行走轨迹中提取出多个不同时刻的图像数据以及位姿信息。
具体的，机器人行走轨迹中包括各个时刻的图像数据以及位姿信息。本实施例中，获取每一时刻的图像数据以及位姿信息。
其中，若机器人运行在环境中的时刻tx，此时的机器人的位姿信息为ptx(x,y,θ)(包括位置坐标和朝向角)，具体参照图3。
图像数据即将时刻tx，第一图像采集设备采集的RGB数据和第二图像采集设备采集的深度图像数据转换成的图像数据矩阵。
S23、将多个不同时刻的图像数据确定为图像数据样本，并将多个不同时刻的位姿信息确定为所述图像数据样本对应的位姿信息。
在实际应用中，可以将不同时刻的图像数据确定为一图像数据样本，同理位姿信息也同样处理。此外，还可以将一段时间，如10s的图像数据确定为一图像数据样本，同理位姿信息也同样处理。其中，图像数据样本和对应的位姿信息被称为训练数据。
需要说明的是，在图像数据样本仅是一时刻的数据时，本实施例中获取的图像数据矩阵也是一时刻的数据。在图像数据样本为一段时间的数据时，本实施例中获取的图像数据矩阵也是一段时间的数据，如都是10s的数据。
S24、使用所述图像数据样本以及所述图像数据样本对应的位姿信息对数据处理模型进行训练，直至所述数据处理模型的损失函数值小于预设阈值时停止训练。
本实施例中，数据处理模型可以是CNN(Convolutional Neural Networks，卷积神经网络)、LSTM(Long-Short Term Memory，长短期记忆网络)、VGG(Visual Geometry GroupNetwork，卷积神经网络)、ResNet50(Residual Network，残差网络)等主流神经网络。
具体可以参照图4和图5，图4的数据处理模型是CNN模型，图5的数据处理模型是LSTM模型，不管采用哪种模型，模型的输入和输出是相同的，输入是图像数据矩阵，输出是位姿信息。
在选定了数据处理模型之后，使用上述的训练数据对该模型进行训练，在训练过程中，若数据处理模型的损失函数值小于预设阈值，则停止训练，得到符合要求的数据处理模型。
在得到符合要求的数据处理模型之后，将上述当前时刻机器人的图像数据矩阵输出到上述的数据处理模型中，即可得到所述机器人的初始位姿信息。
需要说明的是，由于图像数据进行定位时，有一定的误差，误差大概在1.5m范围内，所以只得出机器人模糊的当前位置，要得出机器人精确的位姿，可以再做一步甄选和过滤。此时可以采用激光数据进行精确定位。
S13、获取所述机器人的激光采集设备采集的激光数据。
在实际应用中，机器人上设置有激光采集设备，激光采集设备可以是激光雷达laser-scan-matcher，激光雷达能够采集机器人周围的激光数据，具体可以是机器人距离周围边缘的距离值。
激光数据qtx有激光或者点云记录匹配的排列(参照图6，颜色较深的点为通过激光数据确定的定位)。
S14、基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。
在实际应用中，步骤S14可以包括：
确定所述初始位姿信息对应的目标位置，获取在所述目标位置预设范围内的多个位置的标准激光数据和位姿信息，基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息。
具体的，机器人内部设置有标准地图，标注地图设置有不同的位置的激光数据和位姿信息，如对于一个博物馆，标准地图中包括每一个馆，如恐龙馆、天文馆等各个馆内的各个位置，如东南角，西北角等各个位置的激光数据。
通过上述的图像数据矩阵可以大概确定出机器人所在的目标位置，此时，会确定出该目标位置预设范围内的多个位置。如在天文馆的西北角范围内，此时可以通过将天文馆的西北角的位置，如上述的初始位姿信息2米内的不同的位置，获取各个位置的标准激光数据和位姿信息。
然后基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息。
更具体的，将所述激光数据与每一所述标准激光数据进行比对，得到比对评分值，从得到的所有的所述比对评分值中筛选出最大的比对评分值，以及确定所述最大的比对评分值对应的目标标准激光数据，将所述目标标准激光数据对应的位姿信息确定为所述机器人的当前位姿信息。
在实际应用中，将所述激光数据与每一所述标准激光数据进行比对，比对结果是一个得分值，本实施例称为比对评分值，然后筛选出最大的比对评分值，然后确定出最大的比对评分值对应的目标标准激光数据，获取该目标标准激光数据对应的位姿信息，并将该位姿信息确定为所述机器人的当前位姿信息。
参照图6和图7。图6中，浅色的点为通过图像数据确定为位置，深色的点为通过激光数据确定的位置，将该浅色的点调整到对应的深色点上，即可实现当前机器人位置的校正。
本实施例中，首先依据图像采集设备采集的图像数据确定出机器人的初始位姿信息，然后获取激光采集设备采集的激光数据，并基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。即本发明，通过机器人采集的图像数据进行初始定位，得到机器人所在的一个大概位置，然后使用机器人采集的激光数据对该初始位姿信息进行修正，得到机器人的精确定位，准确的确定出机器人的所在位置，进而能够基于准确的定位信息进行导航和路径规划，保证服务机器人能够准确达到服务地点，提高服务机器人提供服务的质量和用户体验。
另外，本发明中，机器人可以利用历史数据作为定位的依据，解决环境变化导致的定位误差日益加大的问题。
可选地，在上述机器人定位方法的实施例的基础上，本发明的另一实施例提供了一种机器人定位装置，参照图8，可以包括：
第一数据获取模块11，用于获取机器人的图像采集设备采集的图像数据；
位姿确定模块12，用于调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息；所述数据处理模型基于训练数据训练得到；所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息；
第二数据获取模块13，用于获取所述机器人的激光采集设备采集的激光数据；
位姿调整模块14，用于基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。
进一步，所述位姿调整模块包括：
位置确定子模块，用于确定所述初始位姿信息对应的目标位置；
数据获取子模块，用于获取在所述目标位置预设范围内的多个位置的标准激光数据和位姿信息；
位姿确定子模块，用于基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息。
进一步，所述位姿确定子模块包括：
比对单元，用于将所述激光数据与每一所述标准激光数据进行比对，得到比对评分值；
筛选单元，用于从得到的所有的所述比对评分值中筛选出最大的比对评分值，以及确定所述最大的比对评分值对应的目标标准激光数据；
确定单元，用于将所述目标标准激光数据对应的位姿信息确定为所述机器人的当前位姿信息。
进一步，所述第一数据获取模块具体用于：
获取机器人的第一图像采集设备采集的RGB数据，获取机器人的第二图像采集设备采集的深度图像数据，将所述RGB数据和所述深度图像数据转换成图像数据矩阵。
进一步，还包括模型训练模块；所述模型训练模块包括：
轨迹获取子模块，用于获取行走轨迹评价结果符合预设条件的机器人行走轨迹；
数据提取子模块，用于从所述机器人行走轨迹中提取出多个不同时刻的图像数据以及位姿信息；
样本确定子模块，用于将多个不同时刻的图像数据确定为图像数据样本，并将多个不同时刻的位姿信息确定为所述图像数据样本对应的位姿信息；
训练子模块，用于使用所述图像数据样本以及所述图像数据样本对应的位姿信息对数据处理模型进行训练，直至所述数据处理模型的损失函数值小于预设阈值时停止训练。
本实施例中，首先依据图像采集设备采集的图像数据确定出机器人的初始位姿信息，然后获取激光采集设备采集的激光数据，并基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。即本发明，通过机器人采集的图像数据进行初始定位，得到机器人所在的一个大概位置，然后使用机器人采集的激光数据对该初始位姿信息进行修正，得到机器人的精确定位，准确的确定出机器人的所在位置，进而能够基于准确的定位信息进行导航和路径规划，保证服务机器人能够准确达到服务地点，提高服务机器人提供服务的质量和用户体验。
需要说明的是，本实施例中的各个模块、子模块和单元的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
可选地，在上述机器人定位方法及装置的实施例的基础上，本发明的另一实施例提供了一种电子设备，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取机器人的图像采集设备采集的图像数据；
调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息；所述数据处理模型基于训练数据训练得到；所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息；
获取所述机器人的激光采集设备采集的激光数据；
基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。
进一步，基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息，包括：
确定所述初始位姿信息对应的目标位置；
获取在所述目标位置预设范围内的多个位置的标准激光数据和位姿信息；
基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息。
进一步，基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息，包括：
将所述激光数据与每一所述标准激光数据进行比对，得到比对评分值；
从得到的所有的所述比对评分值中筛选出最大的比对评分值，以及确定所述最大的比对评分值对应的目标标准激光数据；
将所述目标标准激光数据对应的位姿信息确定为所述机器人的当前位姿信息。
进一步，获取机器人的图像采集设备采集的图像数据，包括：
获取机器人的第一图像采集设备采集的RGB数据；
获取机器人的第二图像采集设备采集的深度图像数据；
将所述RGB数据和所述深度图像数据转换成图像数据矩阵。
进一步，所述数据处理模型的处理过程包括：
获取行走轨迹评价结果符合预设条件的机器人行走轨迹；
从所述机器人行走轨迹中提取出多个不同时刻的图像数据以及位姿信息；
将多个不同时刻的图像数据确定为图像数据样本，并将多个不同时刻的位姿信息确定为所述图像数据样本对应的位姿信息；
使用所述图像数据样本以及所述图像数据样本对应的位姿信息对数据处理模型进行训练，直至所述数据处理模型的损失函数值小于预设阈值时停止训练。
本实施例中，首先依据图像采集设备采集的图像数据确定出机器人的初始位姿信息，然后获取激光采集设备采集的激光数据，并基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息。即本发明，通过机器人采集的图像数据进行初始定位，得到机器人所在的一个大概位置，然后使用机器人采集的激光数据对该初始位姿信息进行修正，得到机器人的精确定位，准确的确定出机器人的所在位置，进而能够基于准确的定位信息进行导航和路径规划，保证服务机器人能够准确达到服务地点，提高服务机器人提供服务的质量和用户体验。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种机器人定位方法，其特征在于，包括:
获取机器人的图像采集设备采集的图像数据；
调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息；所述数据处理模型基于训练数据训练得到；所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息；
获取所述机器人的激光采集设备采集的激光数据；
基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息；
基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息，包括：
确定所述初始位姿信息对应的目标位置；
获取在所述目标位置预设范围内的多个位置的标准激光数据和位姿信息；
基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息；
基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息，包括：
将所述激光数据与每一所述标准激光数据进行比对，得到比对评分值；
从得到的所有的所述比对评分值中筛选出最大的比对评分值，以及确定所述最大的比对评分值对应的目标标准激光数据；
将所述目标标准激光数据对应的位姿信息确定为所述机器人的当前位姿信息。
2.根据权利要求1所述的机器人定位方法，其特征在于，获取机器人的图像采集设备采集的图像数据，包括：
获取机器人的第一图像采集设备采集的RGB数据；
获取机器人的第二图像采集设备采集的深度图像数据；
将所述RGB数据和所述深度图像数据转换成图像数据矩阵。
3.根据权利要求1所述的机器人定位方法，其特征在于，所述数据处理模型的处理过程包括：
获取行走轨迹评价结果符合预设条件的机器人行走轨迹；
从所述机器人行走轨迹中提取出多个不同时刻的图像数据以及位姿信息；
将多个不同时刻的图像数据确定为图像数据样本，并将多个不同时刻的位姿信息确定为所述图像数据样本对应的位姿信息；
使用所述图像数据样本以及所述图像数据样本对应的位姿信息对数据处理模型进行训练，直至所述数据处理模型的损失函数值小于预设阈值时停止训练。
4.一种机器人定位装置，其特征在于，包括:
第一数据获取模块，用于获取机器人的图像采集设备采集的图像数据；
位姿确定模块，用于调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息；所述数据处理模型基于训练数据训练得到；所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息；
第二数据获取模块，用于获取所述机器人的激光采集设备采集的激光数据；
位姿调整模块，用于基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息；
所述位姿调整模块包括：
位置确定子模块，用于确定所述初始位姿信息对应的目标位置；
数据获取子模块，用于获取在所述目标位置预设范围内的多个位置的标准激光数据和位姿信息；
位姿确定子模块，用于基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息；
所述位姿确定子模块包括：
比对单元，用于将所述激光数据与每一所述标准激光数据进行比对，得到比对评分值；
筛选单元，用于从得到的所有的所述比对评分值中筛选出最大的比对评分值，以及确定所述最大的比对评分值对应的目标标准激光数据；
确定单元，用于将所述目标标准激光数据对应的位姿信息确定为所述机器人的当前位姿信息。
5.根据权利要求4所述的机器人定位装置，其特征在于，所述第一数据获取模块具体用于：
获取机器人的第一图像采集设备采集的RGB数据，获取机器人的第二图像采集设备采集的深度图像数据，将所述RGB数据和所述深度图像数据转换成图像数据矩阵。
6.一种电子设备，其特征在于，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取机器人的图像采集设备采集的图像数据；
调用预先训练的数据处理模型对所述图像数据进行处理，得到所述机器人的初始位姿信息；所述数据处理模型基于训练数据训练得到；所述训练数据包括图像数据样本和所述图像数据样本对应的位姿信息；
获取所述机器人的激光采集设备采集的激光数据；
基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息；
基于所述激光数据，对所述初始位姿信息进行修正，得到所述机器人的当前位姿信息，包括：
确定所述初始位姿信息对应的目标位置；
获取在所述目标位置预设范围内的多个位置的标准激光数据和位姿信息；
基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息；
所述基于所述激光数据、所述多个位置的标准激光数据和位姿信息，确定所述机器人的当前位姿信息，包括：
将所述激光数据与每一所述标准激光数据进行比对，得到比对评分值；
从得到的所有的所述比对评分值中筛选出最大的比对评分值，以及确定所述最大的比对评分值对应的目标标准激光数据；
将所述目标标准激光数据对应的位姿信息确定为所述机器人的当前位姿信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011570106.7A CN112631303B (zh) | 2020-12-26 | 2020-12-26 | 一种机器人定位方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011570106.7A CN112631303B (zh) | 2020-12-26 | 2020-12-26 | 一种机器人定位方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112631303A CN112631303A (zh) | 2021-04-09 |
| CN112631303B true CN112631303B (zh) | 2022-12-20 |
Family
ID=75325296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011570106.7A Active CN112631303B (zh) | 2020-12-26 | 2020-12-26 | 一种机器人定位方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112631303B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515126B (zh) * | 2021-07-12 | 2024-05-10 | 北京经纬恒润科技股份有限公司 | 一种车辆定位方法及装置 |
| CN115577755A (zh) * | 2022-11-28 | 2023-01-06 | 中环服(成都)科技有限公司 | 机器人位姿矫正方法、装置、计算机设备和存储介质 |
| CN117066702B (zh) * | 2023-08-25 | 2024-04-19 | 上海频准激光科技有限公司 | 一种基于激光器的激光打标控制*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107246868A (zh) * | 2017-07-26 | 2017-10-13 | 上海舵敏智能科技有限公司 | 一种协同导航定位***及导航定位方法 |
| CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
| CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
| CN110866496A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于深度图像的机器人定位与建图方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200301015A1 (en) * | 2019-03-21 | 2020-09-24 | Foresight Ai Inc. | Systems and methods for localization |
-
2020
- 2020-12-26 CN CN202011570106.7A patent/CN112631303B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107246868A (zh) * | 2017-07-26 | 2017-10-13 | 上海舵敏智能科技有限公司 | 一种协同导航定位***及导航定位方法 |
| CN109084732A (zh) * | 2018-06-29 | 2018-12-25 | 北京旷视科技有限公司 | 定位与导航方法、装置及处理设备 |
| CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
| CN110866496A (zh) * | 2019-11-14 | 2020-03-06 | 合肥工业大学 | 基于深度图像的机器人定位与建图方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112631303A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112631303B (zh) | 一种机器人定位方法、装置及电子设备 | |
| CN109977813B (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
| CN109949372B (zh) | 一种激光雷达与视觉联合标定方法 | |
| CN110599541B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| CN108020825B (zh) | 激光雷达、激光摄像头、视频摄像头的融合标定***及方法 | |
| CN110570454B (zh) | 一种检测异物入侵的方法及装置 | |
| CN110599546A (zh) | 一种获取三维空间数据的方法、***、装置和存储介质 | |
| CN111191625A (zh) | 一种激光-单目视觉融合的物体识别与定位方法 | |
| US20220414910A1 (en) | Scene contour recognition method and apparatus, computer-readable medium, and electronic device | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN109801336B (zh) | 基于可见光及红外光视觉的机载目标定位***及方法 | |
| CN112361990A (zh) | 激光图案提取方法、装置、激光测量设备和*** | |
| CN110702101A (zh) | 一种面向电力巡检场景的定位方法及*** | |
| CN104102069A (zh) | 一种成像***的对焦方法及装置、成像*** | |
| CN113935379B (zh) | 一种基于毫米波雷达信号的人体活动分割方法及*** | |
| CN117434568A (zh) | 一种基于遥感卫星的智能定位*** | |
| Kang et al. | Accurate fruit localisation for robotic harvesting using high resolution lidar-camera fusion | |
| CN117036401A (zh) | 一种基于目标追踪的配网线路巡检方法及*** | |
| CN112601021B (zh) | 一种网络摄像机监控视频的处理方法及*** | |
| US20230045287A1 (en) | A method and system for generating a colored tridimensional map | |
| CN114964032A (zh) | 基于机器视觉的盲孔深度测量方法及装置 | |
| CN113932712A (zh) | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 | |
| CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 | |
| CN113259580A (zh) | 光电监控***拍摄参数自校正方法、装置、设备和介质 | |
| KR102548786B1 (ko) | 라이다 센서를 이용하여 공간 모델을 생성하는 장치, 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100080 Applicant after: Beijing Yunji Technology Co.,Ltd. Address before: Room 702, 7th floor, NO.67, Beisihuan West Road, Haidian District, Beijing 100080 Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |