CN112650207B - 机器人的定位校正方法、设备和存储介质 - Google Patents
机器人的定位校正方法、设备和存储介质 Download PDFInfo
- Publication number
- CN112650207B CN112650207B CN201910963898.5A CN201910963898A CN112650207B CN 112650207 B CN112650207 B CN 112650207B CN 201910963898 A CN201910963898 A CN 201910963898A CN 112650207 B CN112650207 B CN 112650207B
- Authority
- CN
- China
- Prior art keywords
- reference line
- positioning information
- edge pixel
- pixel point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012937 correction Methods 0.000 title claims abstract description 12
- 230000007613 environmental effect Effects 0.000 claims abstract description 17
- 238000004140 cleaning Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种机器人的定位校正方法、设备和存储介质，该方法包括：根据采集到的环境图像，获取参照线的第一定位信息；所述第一定位信息包括：所述参照线在机器人的已创建的环境地图中的坐标信息和方向信息；根据所述参照线的第一定位信息，确定在所述环境地图中所述参照线匹配的第二定位信息；根据所述第一定位信息以及所述第二定位信息，对所述机器人的当前定位信息进行校正。该方法实现了对定位误差的校正，提高了定位精度。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种机器人的定位校正方法、设备和存储介质。
背景技术
随着人工智能技术的发展，移动机器人的研究和发展非常迅速，一些服务型机器人也已逐渐进入人们的日常生活，例如清洁机器人，随着清洁机器人智能程度的提高,清洁机器人在家庭中的使用率越来越高。不管是什么类型的机器人，只要自主移动，就需要进行导航定位。
为了节省成本，目前大多数清洁机器人采用惯性导航和碰撞来对清洁环境(例如室内环境)进行建图以及定位，但是惯性导航严重依赖机器人的轮子产生的里程。实际使用过程中，轮子与地面存在一定程度的打滑，惯性导航过程中会存在累积误差，从而影响定位的精度。
发明内容
本申请提供一种机器人的定位校正方法、设备和存储介质，以提高定位精度。
第一方面，本申请提供一种机器人的定位校正方法，包括：
根据采集到的环境图像，获取参照线的第一定位信息；所述第一定位信息包括：所述参照线在机器人的已创建的环境地图中的坐标信息和方向信息；
根据所述参照线的第一定位信息，确定在所述环境地图中与所述参照线匹配的第二定位信息；
根据所述第一定位信息以及所述第二定位信息，对所述机器人的当前定位信息进行校正。
第二方面，本申请提供一种机器人，包括：
第一镜头、第二镜头、处理器和存储器；
其中，所述存储器，用于存储所述处理器的可执行指令；
所述第一镜头用于采集第一环境图像；
所述第二镜头组件用于采集第二环境图像；
所述处理器配置为经由执行所述可执行指令以实现：
根据采集到的所述第一环境图像和所述第二环境图像，获取参照线的第一定位信息；所述第一定位信息包括：所述参照线在所述机器人的已创建的环境地图中的坐标信息和方向信息；
根据所述参照线的第一定位信息，确定在所述环境地图中所述参照线匹配的第二定位信息；
根据所述第一定位信息以及所述第二定位信息，对所述机器人的当前定位信息进行校正。
第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
第四方面，本申请实施例提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的方法。
本申请实施例提供的机器人的定位校正方法、设备和存储介质，根据采集到的环境图像，获取参照线的第一定位信息；所述第一定位信息包括：所述参照线在所述机器人的已创建的环境地图中的坐标信息和方向信息；根据所述参照线的第一定位信息，确定在所述环境地图中所述参照线匹配的第二定位信息；根据所述第一定位信息以及所述第二定位信息，对所述机器人的当前定位信息进行校正，能够消除机器人定位过程中的累积误差，提高定位精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请一实施例提供的应用场景图；
图2是本申请提供的机器人的定位校正方法一实施例的流程示意图；
图3是本申请提供的方法一实施例的原理示意图；
图4是本申请提供的方法一实施例的镜头位置关系示意图；
图5是本申请提供的方法一实施例的提取的第一边缘像素点示意图；
图6是本申请提供的方法一实施例的第一边缘像素点的三维坐标示意图；
图7是本申请提供的方法一实施例的提取的第二边缘像素点示意图；
图8是本申请提供的方法一实施例的投影像素点示意图；
图9是本申请提供的方法一实施例的第一边缘像素点优化后的三维坐标示意图；
图10是本申请提供的方法一实施例的环境地图示意图；
图11是本申请提供的方法一实施例的功能区域划分示意图；、
图12是本申请提供的机器人实施例的结构示意图
图13是本申请提供的电子设备实施例的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本申请所涉及的应用场景进行介绍：
本申请实施例提供的方法，应用于智能机器人，例如扫地机器人等服务型机器人，以提高定位的精度。
本申请实施例中的机器人可以设有图像采集单元，在一种实现方式中，图像采集单元可以包括两个图像采集单元，一个是RGB图像采集单元，一个是深度图像采集单元，其中深度图像采集单元可以是结构光镜头，还可以是基于飞行时间(time of fly，简称TOF)镜头。
在一实施例中，上述两种图像采集单元组成了双目摄像头组件，例如上方为TOF镜头，下方为RGB镜头。两个镜头有一定的共视区域。
在一实施例中，如图1所示，机器人10在清扫过程中，会以弓字型路径对待清扫的区域进行来回清扫，在弓字型清扫过程中，如果发生碰撞等情况，来回4米定位漂移最大能达到一个机身。在清扫过程中，机器人10遇到墙壁会掉头，而在相邻的航道11掉头时，会有部分的共视区域，即可以看到墙壁上相同的踢脚线。一般室内的同一个墙面上的踢脚线都是相互平行的。因此本申请的方案中，当机器人在清扫过程中看到相同的踢脚线时，可以根据踢脚线之间的平行特性消除一定的定位累积误差。
本申请实施例中的方法，执行主体可以是机器人的处理器，其中处理器可以集成在机器人中；或与机器人分离，集成在一控制器中；或者可以是与机器人通信的外部设备，例如服务器等，本发明实施例对此并不限定。
下面以具体的实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2是本申请提供的机器人定位的校正方法一实施例的流程示意图。如图2所示，本实施例提供的方法，包括：
步骤101、根据采集到的环境图像，获取参照线的第一定位信息；第一定位信息包括：参照线在机器人的已创建的环境地图中的坐标信息和方向信息；
具体的，如图3所示，在弓字型清扫过程中，机器人以航道作为指引对房间进行清扫(例如航道之间的距离固定)，当第一次观察到踢脚线(图3中的直线例如是踢脚线的上边缘)的时候，将该踢脚线的定位信息(方向信息以及在环境地图中的坐标信息)记录到环境地图中。当机器人进入下一航道再次观察到该踢脚线时，通过采集的环境图像，可以获取到该踢脚线当前的第一定位信息。例如通过环境图像的深度信息、像素坐标，得到当前的方向信息和坐标信息。
步骤102、根据参照线的第一定位信息，确定在环境地图中与参照线匹配的第二定位信息。
具体的，根据参照线的第一定位信息，在环境地图中查找相同的该参照线的已标记的定位信息(即第二定位信息)，即之前已经确定好的该参照线在环境地图中的定位信息，如图3中左边一段踢脚线的定位信息，图3中两段踢脚线实际上是同一个踢脚线，由于存在定位误差使得定位信息不同。
步骤103、根据第一定位信息以及第二定位信息，对机器人的当前定位信息进行校正。
具体可以根据参照线的第一定位信息中包括的方向信息和所述参照线的第二定位信息中包括的方向信息，对所述机器人的当前定位信息中包括的方向信息进行校正；
根据参照线的第一定位信息中包括的坐标信息和参照线的第二定位信息中包括的坐标信息，对所述机器人的当前定位信息中包括的坐标信息进行校正。
如图3所示，通过采集的环境图像的深度信息可以计算出机器人与踢脚线的距离。由于踢脚线的坐标和方向是已知的，可以通过方向1(例如与X轴夹角的角度)与方向2(例如与X轴夹角的角度)的差值对机器人当前定位信息(例如通过IMU测量的定位信息)中的角度值进行修正。其次，由于踢脚线在环境地图中的位置坐标是固定的，我们可以通过本次观察到的踢脚线的第一定位信息以及之前观察到该踢脚线得到的第二定位信息，对当前定位信息中的坐标(X、Y值)进行修正。在一种实现方式中，通常认为机器人在航道切换的过程中X方向的偏移量较少，当机器人再次观察到踢脚线时，此时得到的Y2值应该是之前的Y1减去Y方向偏移量Dis1，因此实现了够对IMU信息的角度以及坐标进行修正。
进一步的，若在所述环境地图中不存在所述参照线的第二定位信息，则根据所述机器人的当前定位信息，将所述参照线的第一定位信息添加在所述环境地图中。
具体的，机器人可以在清扫过程中建立并完善环境地图，可以将最新识别出的参照线的第一定位信息，添加在环境地图中。即将踢脚线的坐标标记在地图中。
当确定参照线的第一定位信息之后，可以根据RGB色彩信息给当前识别到的踢脚线赋予色彩信息，即根据所述第二环境图像中的RGB色彩信息，确定所述参照线对应的色彩信息，并添加至所述环境地图中。
该色彩信息可以是单纯的踢脚线颜色，也可以是墙体颜色，也可以是地面颜色及其组合。例如，踢脚线的颜色为黑色，墙体的颜色为白色。
表1
| 踢脚线高度 | 踢脚线颜色 | 墙体颜色 | 地面颜色 | 踢脚线角度 | 位置信息 |
| 80mm | 白色 | 黄色 | 纹理地板 | 0° | (x，y) |
| 80 | 0 0 0 | 238 220 130 | 139 69 19 | 0 | (x，y) |
表1中第3行表示在环境地图中的标记，颜色通过灰度值表示。
进一步的，在确定与所述参照线匹配的第二定位信息时，可以通过第一定位信息并结合该参照线对应的色彩信息确定。
在一些实施例中，除了提取踢脚线的定位信息，还可以提取室内环境中各功能区的其他直线段，例如门框与墙体的分界处的直线的定位信息等。例如，我们可以根据前述方法提取出门框边缘线的第一定位信息，建立如下的表2，标记在环境地图中，并利用该门框边缘线的定位信息进行定位校正。
表2
| 门框颜色(左侧) | 墙体颜色(右侧) | 边缘位置坐标 |
| 139 71 38 | 255 250 250 | x,y |
如图10所示，可以表示环境地图中标记的参照线的定位信息。
本实施例的方法，根据采集到的环境图像，获取参照线的第一定位信息；所述第一定位信息包括：所述参照线在所述机器人的已创建的环境地图中的坐标信息和方向信息；根据所述参照线的第一定位信息，确定在所述环境地图中所述参照线匹配的第二定位信息；根据所述第一定位信息以及所述第二定位信息，对所述机器人的当前定位信息进行校正，能够消除机器人定位过程中的累积误差，提高定位精度。
在上述实施例的基础上，进一步的，采集到的环境图像包括第一镜头采集的第一环境图像，第二镜头采集的第二环境图像，步骤101中确定参照线的定位信息具体可以通过如下方式实现：
提取所述第一环境图像中所述参照线对应的至少两个第一边缘像素点；
根据各个所述第一边缘像素点的像素坐标，确定各个所述第一边缘像素点在第一镜头坐标系下的三维坐标；
根据各个所述第一边缘像素点在所述第二环境图像上投影像素点的像素坐标，以及所述第二环境图像中提取的所述参照线对应的至少两个第二边缘像素点的像素坐标，对各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标进行优化，得到各个所述第一边缘像素点优化后的三维坐标；
根据各个所述第一边缘像素点优化后的三维坐标，确定所述参照线的第一定位信息。
在一种实现方式中，如图4所示，第一镜头可以为TOF镜头，第二镜头可以为RGB镜头。以下实施例中，参照线以踢脚线为例进行说明。
由于踢脚线是安装在地面上的，其上下边缘与水平地面平行。在TOF镜头采集的第一环境图像中，每个像素点的深度值是已知的，我们需要将TOF镜头坐标系下的踢脚线的边缘的点云的三维坐标，根据相机的外参(即TOF镜头和RGB镜头的相对位姿关系)转化到RGB镜头下点云的三维坐标。然后根据RGB镜头的内参计算该点云在第二环境图像(如RGB图像)上的投影像素点的位置。由于RGB图像中含有丰富的色彩特征，可以比较容易地提取踢脚线的边缘像素位置。进一步，根据投影像素点的像素坐标，以及第二环境图像中提取的第二边缘像素点的像素坐标，对各个第一边缘像素点在第一镜头坐标系下的三维坐标进行优化，然后根据各个第一边缘像素点优化后的三维坐标，确定踢脚线的第一定位信息。
在一种实现方式中，可以根据所述第一环境图像中的亮度信息，提取所述第一环境图像中所述参照线对应的至少两个第一边缘像素点，并获取各个所述第一边缘像素点的像素坐标。如图5所示，为提取的踢脚线的边缘像素点。
具体的，可以根据第一环境图像的亮度梯度，提取第一环境图像中踢脚线的边缘信息，即第一边缘像素点，从而获取到各个第一边缘像素点的像素坐标。
在一种实现方式中，确定各个第一边缘像素点在第一镜头坐标系下的三维坐标，具体可以通过如下步骤实现：
根据各个所述第一边缘像素点的像素坐标和深度信息以及第一镜头的内参，确定各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标。
具体的，pi＝[xi,yi,zi]'i＝1,2,3...N，其中N为提取的第一边缘像素点的个数；pi为第一边缘像素点的三维坐标。
xi＝depthi(ui-cx)/fx
yi＝depthi(vi-cy)/fy
zi＝depthi
其中，depthi表示第一边缘像素点的像素坐标(ui，vi)对应的深度，第一镜头的内参矩阵K1为其中，cx、cy分别表示光轴在图像平面的偏移量，即相机主点的像素坐标，fx、fy分别表示水平方向和竖直方向的焦距，得到的三维坐标如图6所示。
在一种实现方式中，确定各个第一边缘像素点在第二环境图像中投影像素点的像素坐标，具体可以采用步骤实现：
根据所述第一镜头和第二镜头之间的相对位姿关系，以及所述第一边缘像素点在所述第一镜头坐标系下的三维坐标，确定所述第一边缘像素点在所述第二镜头坐标系下对应的三维点的位置坐标；
根据所述第二镜头的内参信息以及所述第一边缘像素点在所述第二镜头坐标系下对应的三维点的位置坐标，确定所述第一边缘像素点在所述第二环境图像中的投影像素点的像素坐标。
具体的，可以通过如下公式计算第一镜头坐标系下的点云在第二环境图像上的投影像素点的位置：
其中表示第一边缘像素点在所述第二镜头坐标系下对应的三维点的位置坐标，R表示第一镜头和第二镜头之间的旋转矩阵，t表示第一镜头和第二镜头之间的平移量，如图4所示，表示第一镜头(TOF镜头)和第二镜头(RGB镜头)之间的相对关系。
进一步，根据第一边缘像素点在第二镜头坐标系下对应的三维点的位置坐标，利用如下公式确定第一边缘像素点在第二环境图像中的投影像素点的像素坐标：
其中，投影像素点的像素坐标为(Ui，Vi)，其中K2为第二镜头的内参矩阵，与第一镜头的内参矩阵含义相同。投影像素点的像素坐标为(Ui，Vi)中Ui和Vi为第一边缘像素点的深度信息的函数。
图8中所示的白色的点为投影像素点。
在上述实施例的基础上，进一步的，还可以根据第二环境图像中的RGB色彩信息，提取第二环境图像中踢脚线对应的各个第二边缘像素点，并获取各个第二边缘像素点的像素坐标；
根据各个第二边缘像素点的像素坐标，生成各个第二边缘像素对应的线段。
具体的，可以利用色彩梯度提取第二环境图像(如RGB图像)中的第二边缘像素点，或者其他边缘检测算法提取第二边缘像素点，在提取之前还可以对RGB图像进行去畸变处理。假设提取的第二边缘像素点的线段方程为：
aU1+bV1+c＝0
其中(U1,V1)为第二边缘像素点的像素坐标，a,b,c为线段的参数。
根据各个第二边缘像素点的像素坐标，利用上述线段方程生成各个第二边缘像素对应的线段，即确定出参数a、b、c的值。如图7所示，白色的线为第二边缘像素点形成的线段。
进一步的，在一种实现方式中，可以通过如下步骤对第一边缘像素点的三维坐标进行优化：
根据各个所述投影像素点与所述线段的距离，对各个所述投影像素点对应的第一边缘像素点的深度信息进行优化，得到各个所述第一边缘像素点优化后的深度信息；
根据各个所述第一边缘像素点优化后的深度信息以及各个所述第一边缘像素点在所述第一环境图像中的像素坐标，确定各个所述第一边缘像素点优化后的三维坐标。
具体的，计算每个投影像素点与线段的距离，剔除大于预设阈值的投影像素点，距离可以采用如下公式计算：
其中di为第i个投影像素点与线段的距离，(Ui,Vi)为第i个投影像素点的像素坐标。
由于Ui和Vi为第一边缘像素点的深度信息的函数，优化投影像素点的像素坐标，即优化各个所述投影像素点对应的第一边缘像素点的深度信息，优化目标使得各个投影像素点落在生成的线段上，即与线段的距离最小，最终得到各个第一边缘像素点优化后的深度信息，进而根据前述计算三维坐标的公式得到各个第一边缘像素点优化后的三维坐标。图9为第一边缘像素点优化后的三维坐标。
在上述实施例的基础上，本实施例的方法，还可以包括：
根据所述参照线的第一定位信息中包括的方向信息和第二定位信息中包括的方向信息，对所述机器人的陀螺仪的角度漂移进行校正。
具体的，例如方向信息包括该参照线与X轴的夹角，如果陀螺仪不存在漂移，则两次计算的夹角的角度值应该是相同的，如果不同，可以根据两次的夹角的角度值之间的差值，可以对陀螺仪的角度偏移进行校正。
进一步的，还可以根据所述环境地图中包括的参照线的第一定位信息以及对应的色彩信息，对所述环境地图进行功能区域的划分；
根据所述参照线的第一定位信息以及对应的色彩信息，确定所述机器人所在的功能区域。
具体的，不同功能区(例如客厅、卧室、书房等)的踢脚线材料以及颜色可能是不同的，我们可以根据环境地图中标记的踢脚线的定位信息位置以及色彩(踢脚线、墙面、地面及其颜色组合)的连续性对环境地图进行功能区域的划分。如图11所示，可以根据踢脚线的颜色属性将不同功能区域(客厅，卧室)分割开来，实现区域划分的功能。
当机器人需要重定位时，可以根据当前识别到的踢脚线颜色首先推测在哪个功能区域，或者在清扫之后通过踢脚线与已经构建的环境地图进行匹配，得知此时在哪个功能区域，为清扫完成后的后续步骤提供导航依据(回座充电或者清扫下一个功能区域)。
进一步的，本实施例的方法还包括：
根据所述参照线的第一定位信息包括的方向信息，确定所述机器人的清扫方向。
具体的，一般机器人的清扫方向与下座时的方向一致。为了提高清扫效率，机器人应该以与墙面垂直的方向对房间进行清扫。利用识别出的踢脚线的方向信息，可以在清扫的时候保证机器人的清扫方向与墙面(即与踢脚线的方向)垂直，从而保证了清洁的效率。
进一步的，本实施例的方法还包括：
根据参照线对应的各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标，以及各个所述第一边缘像素点优化后的三维坐标，对所述第一镜头测量的深度值进行校正。
具体的，可以根据参照线的第一定位信息包括的坐标信息，如上述优化后的三维坐标中的z坐标，即深度值，以及根据第一环境图像得到的深度值，即初始的三维坐标中z坐标，对第一镜头测量的深度值进行校正。
图12为本申请提供的机器人实施例的结构图，如图12所示，该机器人包括：
第一镜头121、第二镜头122、处理器123，以及，用于存储处理器123的可执行指令的存储器124。
可选的，还可以包括：通信接口，用于实现与其他设备的通信。
其中，第一镜头用于采集第一环境图像，第二镜头用于采集第二环境图像。
上述部件可以通过一条或多条总线进行通信。
其中，处理器123配置为经由执行所述可执行指令来执行：
根据采集到的所述第一环境图像和所述第二环境图像，获取参照线的第一定位信息；所述第一定位信息包括：所述参照线在所述机器人的已创建的环境地图中的坐标信息和方向信息；
根据所述参照线的第一定位信息，确定在所述环境地图中所述参照线匹配的第二定位信息；
根据所述第一定位信息以及所述第二定位信息，对所述机器人的当前定位信息进行校正。
在一种可能的实现方式中，所述采集到的环境图像包括：第一镜头采集的第一环境图像和第二镜头采集的第二环境图像，处理器123配置为：
提取所述第一环境图像中所述参照线对应的至少两个第一边缘像素点；
根据各个所述第一边缘像素点的像素坐标，确定各个所述第一边缘像素点在第一镜头坐标系下的三维坐标；
根据各个所述第一边缘像素点在所述第二环境图像上投影像素点的像素坐标，以及所述第二环境图像中提取的所述参照线对应的至少两个第二边缘像素点的像素坐标，对各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标进行优化，得到各个所述第一边缘像素点优化后的三维坐标；
根据各个所述第一边缘像素点优化后的三维坐标，确定所述参照线的第一定位信息。
在一种可能的实现方式中，处理器123配置为：
根据所述第一环境图像中的亮度信息，提取所述第一环境图像中所述参照线对应的至少两个第一边缘像素点，并获取各个所述第一边缘像素点的像素坐标；
相应的，所述根据各个所述第一边缘像素点的像素坐标，确定各个所述第一边缘像素点在第一镜头坐标系下的三维坐标，包括：
根据各个所述第一边缘像素点的像素坐标和深度信息以及第一镜头的内参，确定各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标。
在一种可能的实现方式中，处理器123配置为：
根据所述第一镜头和第二镜头之间的相对位姿关系，以及所述第一边缘像素点在所述第一镜头坐标系下的三维坐标，确定所述第一边缘像素点在所述第二镜头坐标系下对应的三维点的位置坐标；
根据所述第二镜头的内参信息以及所述第一边缘像素点在所述第二镜头坐标系下对应的三维点的位置坐标，确定所述第一边缘像素点在所述第二环境图像中的投影像素点的像素坐标。
在一种可能的实现方式中，处理器123配置为：
根据所述第二环境图像中的RGB色彩信息，提取各个所述第二边缘像素点，并获取各个所述第二边缘像素点的像素坐标；
根据各个所述第二边缘像素点的像素坐标，生成各个所述第二边缘像素对应的线段；
根据各个所述投影像素点与所述线段的距离，对各个所述投影像素点对应的第一边缘像素点的深度信息进行优化，得到各个所述第一边缘像素点优化后的深度信息；
根据各个所述第一边缘像素点优化后的深度信息以及各个所述第一边缘像素点在所述第一环境图像中的像素坐标，确定各个所述第一边缘像素点优化后的三维坐标。
在一种可能的实现方式中，处理器123配置为：
若在所述环境地图中不存在所述参照线的第二定位信息，则根据所述机器人的当前定位信息，将所述参照线的第一定位信息添加在所述环境地图中。
在一种可能的实现方式中，处理器123配置为：
根据所述第二环境图像中的RGB色彩信息，确定所述参照线对应的色彩信息，并添加至所述环境地图中。
在一种可能的实现方式中，处理器123配置为：
根据所述参照线的第一定位信息以及对应的色彩信息，确定在所述环境地图中与所述参照线匹配的第二定位信息。
在一种可能的实现方式中，处理器123配置为：
根据所述参照线的第一定位信息中包括的方向信息和所述第二定位信息中包括的方向信息，对所述机器人的陀螺仪的角度漂移进行修正。
在一种可能的实现方式中，处理器123配置为：
根据所述参照线的第一定位信息包括的方向信息，确定所述机器人的清扫方向。
在一种可能的实现方式中，处理器123配置为：
根据参照线对应的各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标，以及各个所述第一边缘像素点优化后的三维坐标，对所述第一镜头测量的深度值进行校正。
在一种可能的实现方式中，处理器123配置为：
根据所述环境地图中包括的参照线的第一定位信息以及对应的色彩信息，对所述环境地图进行功能区域的划分；
根据所述参照线的第一定位信息以及对应的色彩信息，确定所述机器人所在的功能区域。
本实施例的设备配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
图13为本申请提供的电子设备实施例的结构图，如图13所示，该电子设备包括：
处理器131，以及，用于存储处理器131的可执行指令的存储器132。
可选的，还可以包括：通信接口133，用于实现与其他设备的通信。
上述部件可以通过一条或多条总线进行通信。
其中，处理器131配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
该电子设备可以是与机器人通信的其他控制设备，例如服务器等。
本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (14)
1.一种机器人的定位校正方法，其特征在于，包括：
根据采集到的环境图像，获取参照线的第一定位信息；所述第一定位信息包括：所述参照线在机器人的已创建的环境地图中的坐标信息和方向信息；
根据所述参照线的第一定位信息，确定在所述环境地图中与所述参照线匹配的第二定位信息；
根据所述第一定位信息以及所述第二定位信息，对所述机器人的当前定位信息进行校正；
所述采集到的环境图像包括：第一镜头采集的第一环境图像和第二镜头采集的第二环境图像，所述根据采集到的环境图像，获取参照线的第一定位信息，包括：
提取所述第一环境图像中所述参照线对应的至少两个第一边缘像素点；
根据各个所述第一边缘像素点的像素坐标，确定各个所述第一边缘像素点在第一镜头坐标系下的三维坐标；
根据各个所述第一边缘像素点在所述第二环境图像上投影像素点的像素坐标，以及所述第二环境图像中提取的所述参照线对应的至少两个第二边缘像素点的像素坐标，对各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标进行优化，得到各个所述第一边缘像素点优化后的三维坐标；
根据各个所述第一边缘像素点优化后的三维坐标，确定所述参照线的第一定位信息。
2.根据权利要求1所述的方法，其特征在于，所述提取所述第一环境图像中所述参照线对应的至少两个第一边缘像素点，包括：
根据所述第一环境图像中的亮度信息，提取所述第一环境图像中所述参照线对应的至少两个第一边缘像素点，并获取各个所述第一边缘像素点的像素坐标；
相应的，所述根据各个所述第一边缘像素点的像素坐标，确定各个所述第一边缘像素点在第一镜头坐标系下的三维坐标，包括：
根据各个所述第一边缘像素点的像素坐标和深度信息以及第一镜头的内参，确定各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标。
3.根据权利要求1所述的方法，其特征在于，所述对各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标进行优化之前，还包括：
根据所述第一镜头和第二镜头之间的相对位姿关系，以及所述第一边缘像素点在所述第一镜头坐标系下的三维坐标，确定所述第一边缘像素点在所述第二镜头坐标系下对应的三维点的位置坐标；
根据所述第二镜头的内参信息以及所述第一边缘像素点在所述第二镜头坐标系下对应的三维点的位置坐标，确定所述第一边缘像素点在所述第二环境图像中的投影像素点的像素坐标。
4.根据权利要求1所述的方法，其特征在于，所述对各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标进行优化之前，还包括：
根据所述第二环境图像中的RGB色彩信息，提取各个所述第二边缘像素点，并获取各个所述第二边缘像素点的像素坐标；
根据各个所述第二边缘像素点的像素坐标，生成各个所述第二边缘像素对应的线段；
相应的，所述对各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标进行优化，包括：
根据各个所述投影像素点与所述线段的距离，对各个所述投影像素点对应的第一边缘像素点的深度信息进行优化，得到各个所述第一边缘像素点优化后的深度信息；
根据各个所述第一边缘像素点优化后的深度信息以及各个所述第一边缘像素点在所述第一环境图像中的像素坐标，确定各个所述第一边缘像素点优化后的三维坐标。
5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
若在所述环境地图中不存在所述参照线的第二定位信息，则根据所述机器人的当前定位信息，将所述参照线的第一定位信息添加在所述环境地图中。
6.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
根据所述第二环境图像中的RGB色彩信息，确定所述参照线对应的色彩信息，并添加至所述环境地图中。
7.根据权利要求6所述的方法，其特征在于，所述根据参照线的第一定位信息，确定在环境地图中与参照线匹配的第二定位信息，包括：
根据所述参照线的第一定位信息以及对应的色彩信息，确定在所述环境地图中与所述参照线匹配的第二定位信息。
8.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
根据所述参照线的第一定位信息中包括的方向信息和所述第二定位信息中包括的方向信息，对所述机器人的陀螺仪的角度漂移进行修正。
9.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
根据所述参照线的第一定位信息包括的方向信息，确定所述机器人的清扫方向。
10.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
根据参照线对应的各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标，以及各个所述第一边缘像素点优化后的三维坐标，对所述第一镜头测量的深度值进行校正。
11.根据权利要求6所述的方法，其特征在于，还包括：
根据所述环境地图中包括的参照线的第一定位信息以及对应的色彩信息，对所述环境地图进行功能区域的划分；
根据所述参照线的第一定位信息以及对应的色彩信息，确定所述机器人所在的功能区域。
12.一种机器人，其特征在于，包括：
第一镜头、第二镜头、处理器和存储器；
其中，所述存储器，用于存储所述处理器的可执行指令；
所述第一镜头用于采集第一环境图像；
所述第二镜头组件用于采集第二环境图像；
所述处理器配置为经由执行所述可执行指令以实现：
根据采集到的所述第一环境图像和所述第二环境图像，获取参照线的第一定位信息；所述第一定位信息包括：所述参照线在所述机器人的已创建的环境地图中的坐标信息和方向信息；
根据所述参照线的第一定位信息，确定在所述环境地图中所述参照线匹配的第二定位信息；
根据所述第一定位信息以及所述第二定位信息，对所述机器人的当前定位信息进行校正；
所述根据采集到的所述第一环境图像和所述第二环境图像，获取参照线的第一定位信息，包括：
提取所述第一环境图像中所述参照线对应的至少两个第一边缘像素点；
根据各个所述第一边缘像素点的像素坐标，确定各个所述第一边缘像素点在第一镜头坐标系下的三维坐标；
根据各个所述第一边缘像素点在所述第二环境图像上投影像素点的像素坐标，以及所述第二环境图像中提取的所述参照线对应的至少两个第二边缘像素点的像素坐标，对各个所述第一边缘像素点在所述第一镜头坐标系下的三维坐标进行优化，得到各个所述第一边缘像素点优化后的三维坐标；
根据各个所述第一边缘像素点优化后的三维坐标，确定所述参照线的第一定位信息。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的方法。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910963898.5A CN112650207B (zh) | 2019-10-11 | 2019-10-11 | 机器人的定位校正方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910963898.5A CN112650207B (zh) | 2019-10-11 | 2019-10-11 | 机器人的定位校正方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112650207A CN112650207A (zh) | 2021-04-13 |
| CN112650207B true CN112650207B (zh) | 2024-06-14 |
Family
ID=75342743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910963898.5A Active CN112650207B (zh) | 2019-10-11 | 2019-10-11 | 机器人的定位校正方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112650207B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106989746A (zh) * | 2017-03-27 | 2017-07-28 | 远形时空科技（北京）有限公司 | 导航方法及导航装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101667303B (zh) * | 2009-09-29 | 2013-01-16 | 浙江工业大学 | 一种基于编码结构光的三维重建方法 |
| CN102656532B (zh) * | 2009-10-30 | 2015-11-25 | 悠进机器人股份公司 | 用于移动机器人位置识别的地图的生成及更新方法 |
| CN101986101A (zh) * | 2010-09-14 | 2011-03-16 | 浙江天鸿汽车用品有限公司 | Gps实时导航*** |
| CN102026013B (zh) * | 2010-12-18 | 2012-05-23 | 浙江大学 | 基于仿射变换的立体视频匹配方法 |
| DE102012112037A1 (de) * | 2012-12-10 | 2014-06-12 | Miele & Cie. Kg | Selbstfahrendes Bodenbearbeitungsgerät und Verfahren zur Positionsbestimmung bei einem selbstfahrenden Bodenbearbeitungsgerät |
| CN104346829A (zh) * | 2013-07-29 | 2015-02-11 | 中国农业机械化科学研究院 | 基于pmd相机和摄像头的彩色三维重建***及其方法 |
| CN103400392B (zh) * | 2013-08-19 | 2016-06-22 | 山东鲁能智能技术有限公司 | 基于变电站巡检机器人的双目视觉导航***及方法 |
| AU2013408993B2 (en) * | 2013-12-27 | 2018-04-26 | Komatsu Ltd. | Mining machine management system and management method |
| CN103926927A (zh) * | 2014-05-05 | 2014-07-16 | 重庆大学 | 一种室内移动机器人双目视觉定位与三维建图方法 |
| CN104933718B (zh) * | 2015-06-23 | 2019-02-15 | 广东省智能制造研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN105957041B (zh) * | 2016-05-27 | 2018-11-20 | 上海航天控制技术研究所 | 一种广角镜头红外图像畸变校正方法 |
| CN108733039A (zh) * | 2017-04-18 | 2018-11-02 | 广东工业大学 | 一种机器人室内导航定位的方法与装置 |
| CN107907131B (zh) * | 2017-11-10 | 2019-12-13 | 珊口（上海）智能科技有限公司 | 定位***、方法及所适用的机器人 |
| CN108481327B (zh) * | 2018-05-31 | 2023-11-07 | 珠海一微半导体股份有限公司 | 一种增强视觉的定位装置、定位方法及机器人 |
| CN109556616A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种基于视觉标记的自动建图机器人建图修整方法 |
| WO2020102946A1 (zh) * | 2018-11-19 | 2020-05-28 | 珊口（深圳）智能科技有限公司 | 构建地图、定位、导航、控制方法及***、移动机器人 |
-
2019
- 2019-10-11 CN CN201910963898.5A patent/CN112650207B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106989746A (zh) * | 2017-03-27 | 2017-07-28 | 远形时空科技（北京）有限公司 | 导航方法及导航装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于双目视觉的图像处理与定位技术研究;刘晓晴;中国优秀硕士学位论文全文数据库信息科技辑;第2018年(第06期);I138-1825 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112650207A (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110522359B (zh) | 清洁机器人以及清洁机器人的控制方法 | |
| CN108717712B (zh) | 一种基于地平面假设的视觉惯导slam方法 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| JP6785860B2 (ja) | 多方向カメラを使用した空間のマッピング | |
| Williams et al. | On combining visual SLAM and visual odometry | |
| KR101617078B1 (ko) | 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 | |
| CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| CN111263960B (zh) | 用于更新高清晰度地图的设备和方法 | |
| WO2020228694A1 (zh) | 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备 | |
| CN103413352A (zh) | 基于rgbd多传感器融合的场景三维重建方法 | |
| JP2016008847A (ja) | 測距補正装置 | |
| CN113362247A (zh) | 一种激光融合多目相机的语义实景三维重建方法及*** | |
| CN108398139A (zh) | 一种融合鱼眼图像与深度图像的动态环境视觉里程计方法 | |
| CN109709977B (zh) | 移动轨迹规划的方法、装置及移动物体 | |
| CN106650701A (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| CN105844692A (zh) | 基于双目立体视觉的三维重建装置、方法、***及无人机 | |
| CN110749308B (zh) | 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法 | |
| CN112950696A (zh) | 导航地图的生成方法及生成装置、电子设备 | |
| CN108983769B (zh) | 即时定位与地图构建的优化方法及装置 | |
| KR101333496B1 (ko) | 과거 지도 데이터 기반의 이동 로봇 제어 장치 및 방법 | |
| CN113570662B (zh) | 3d定位来自真实世界图像中地标的***和方法 | |
| KR101319526B1 (ko) | 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법 | |
| KR101697229B1 (ko) | 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법 | |
| CN111899277B (zh) | 运动目标检测方法及装置、存储介质、电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |