CN110275540A - 用于扫地机器人的语义导航方法及其*** - Google Patents
用于扫地机器人的语义导航方法及其*** Download PDFInfo
- Publication number
- CN110275540A CN110275540A CN201910585099.9A CN201910585099A CN110275540A CN 110275540 A CN110275540 A CN 110275540A CN 201910585099 A CN201910585099 A CN 201910585099A CN 110275540 A CN110275540 A CN 110275540A
- Authority
- CN
- China
- Prior art keywords
- module
- semantic
- information
- robot
- sweeping robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010408 sweeping Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000004888 barrier function Effects 0.000 claims abstract description 79
- 241000251468 Actinopterygii Species 0.000 claims description 18
- 230000010354 integration Effects 0.000 claims description 18
- 230000004807 localization Effects 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 241001417527 Pempheridae Species 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 231100000572 poisoning Toxicity 0.000 description 1
- 230000000607 poisoning effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
用于扫地机器人的语义导航方法及其***，该方法包括以下步骤：步骤S1：获取扫地机器人在环境中的定位信息；步骤S2：获取环境中障碍物所对应的深度图；步骤S3：获取深度图中所有障碍物的三维位置；步骤S4：识别环境中障碍物对应的语义信息；步骤S5：构建带语义的场景二维栅格地图；步骤S6：规划扫地机器人路径，引导扫地机器人行进；步骤S7：实时更新带语义的场景二维栅格地图。还包括一种用于扫地机器人的语义导航***。本发明解决漏扫、重复扫、错扫的问题，提升扫地机器人清扫效率，并能够避开动态障碍物。
Description
技术领域
本发明涉及扫地机器人，具体是涉及一种用于扫地机器人的语义导航方法及其***。
背景技术
扫地机器人在家庭日常清扫中运用得越来越多，现有扫地机器人主要使用SLAM定位导航以及基于陀螺仪和里程计的航迹推算导航***。这两种技术由于不具备对环境、物体进行目标识别的能力，无法理解场景中目标语义信息，均难以解决漏扫、重复扫、错扫的问题。
发明内容
本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种用于扫地机器人的语义导航方法及其***，解决漏扫、重复扫、错扫的问题，提升扫地机器人清扫效率，并能够避开动态障碍物。
本发明解决其技术问题采用的技术方案是，一种用于扫地机器人的语义导航方法，包括以下步骤：
步骤S1：获取扫地机器人在环境中的定位信息；
步骤S2：获取环境中障碍物所对应的深度图；
步骤S3：获取深度图中所有障碍物的三维位置；
步骤S4：识别环境中障碍物对应的语义信息；
步骤S5：构建带语义的场景二维栅格地图；
步骤S6：规划扫地机器人路径，引导扫地机器人行进；
步骤S7：实时更新带语义的场景二维栅格地图。
进一步，步骤S1中，获取扫地机器人在环境中的定位信息，还包括以下步骤：
步骤S11：获取图像P1，图像P1为XZ轴平面内与X轴呈30-90度夹角的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机器人前进的方向；
步骤S12：提取并跟踪每帧图像P1的视觉局部特征信息；
步骤S13：采集两帧图像P1间的惯性导航单元信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P1间机器人的相对位置和相对姿态，得到预积分结果；
步骤S14：基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息；
步骤S15：根据关键帧图像对应的机器人定位信息构建关键帧的位姿图，通过视觉特征袋的方法检测关键帧图像集合中的视觉闭环，并对关键帧图像所对应的机器人位置和姿态进行全局优化，消除长距离运行时机器人定位累积的误差。
进一步，步骤S2中，获取环境中障碍物所对应的深度图，还包括以下步骤：
步骤S21:发射红外结构光，采集带有结构光斑点的同步的双目图像，同时采集图像P2，图像P2为沿X轴方向的RGB图像；通过红外结构光提升双目图像的环境纹理丰富程度，实现对弱纹理或无纹理环境的深度估计；
步骤S22:对双目图形进行矫正，采用基于立体匹配的方法计算深度图，获取深度图中各类障碍物的深度信息。
进一步，步骤S3中，获取深度图中所有障碍物的三维位置的方法是：
基于机器人在环境中的定位信息和障碍物在深度图中的深度信息计算障碍物的三维位置。
进一步，步骤S4中，识别环境中障碍物对应的语义信息的具体方法如下：
基于深度图提取障碍物，结合图像P2，通过深度神经网络的方法识别双目图像中各类障碍物的类别标签，从而获取各类障碍物的语义信息。
进一步，步骤S5中，构建带语义的场景二维栅格地图，还包括以下步骤：
步骤S51：将扫地机器人运行环境投影至二维平面，对二维平面进行栅格划分；
步骤S52：根据深度图中障碍物的三维位置信息判断障碍物所属栅格，从而判断栅格中是否存在障碍物，获得障碍物语义信息；
步骤S53：根据障碍物语义信息扩展二维栅格地图的语义信息，获得带语义的场景二维栅格地图。
进一步，步骤S52中，获得障碍物语义信息语义信息的方法如下：
将二维栅格地图中的每个栅格节点所存储的数据定义为节点信息数据结构，该节点信息数据结构包括栅格被障碍物占有的概率和障碍物的语义类别数据，该节点信息数据结构为该栅格节点存储障碍物类别的语义信息。
进一步，步骤S6中，规划扫地机器人路径的方法是：基于带语义的场景二维栅格地图，规划扫地机器人路径，覆盖应当被清扫的区域并避开障碍物。
一种用于扫地机器人的语义导航***，包括鱼眼镜头相机、RGB相机、结构光双目IR相机、 vSLAM模块、深度图获取模块、语义分析模块、障碍物三维位置获取模块、语义地图构建模块和路径规划模块，所述鱼眼镜头相机与vSLAM模块相连，所述结构光双目IR相机与深度图获取模块相连，所述RGB相机与语义分析模块相连，语义分析模块与深度图获取模块相连，所述vSLAM模块、深度图获取模块、语义分析模块分别与障碍物三维位置获取模块相连，三维位置获取模块、语义分析模块与语义地图构建模块相连，语义地图构建模块与路径规划模块相连；
所述鱼眼镜头相机用于获取图像P1，图像P1为XZ轴平面内与X轴呈30-90度夹角的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机器人前进的方向；
所述RGB相机用于获取图像P2，图像P2为沿X轴方向的RGB图像；
所述结构光双目IR相机用于发射红外结构光，采集带有结构光斑点的同步的双目图像；
所述vSLAM模块用于获取扫地机器人在环境中的定位信息；
所述深度图获取模块用于获取环境中障碍物所对应的深度图；
所述语义分析模块用于识别环境中障碍物对应的语义信息；
所述障碍物三维位置获取模块用于获取深度图中所有障碍物的三维位置；
所述语义地图构建模块用于构建带语义的场景二维栅格地图，并实时更新带语义的场景二维栅格地图；
所述路径规划模块用于规划扫地机器人路径，引导扫地机器人行进。
进一步，所述vSLAM模块包括视觉特征提取和跟踪模块、惯性导航单元信息处理模块、定位和局部建图模块、闭环模块，鱼眼镜头相机与视觉特征提取和跟踪模块相连，视觉特征提取和跟踪模块、惯性导航单元信息处理模块与定位和局部建图模块相连，定位和局部建图模块与闭环模块相连；
所述视觉特征提取和跟踪模块用于提取并跟踪每帧图像P1的视觉局部特征信息；
所述惯性导航单元信息处理模块用于采集两帧图像P1间的惯性导航单元（IMU）信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P1间机器人的相对位置和相对姿态，得到预积分结果；
所述定位和局部建图模块用于基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息；
所述闭环模块用于根据关键帧图像对应的机器人定位信息构建关键帧的位姿图，通过视觉特征袋的方法检测关键帧图像集合中的视觉闭环，并对关键帧图像所对应的机器人位置和姿态进行全局优化，消除长距离运行时机器人定位累积的误差。
与现有技术相比，本发明的优点如下：
本发明通过鱼眼镜头相机、RGB相机、结构光双目IR相机三者的结合，能够使得扫地机器人获取自身定位、环境地图和环境中目标语义信息，即确定自己在什么位置，周围是什么物体，距离有多远，基于语义信息构建二维栅格地图，能够明确各障碍物的类别，有效解决漏扫、重复扫、错扫的问题；在语义导航过程中实时更新带语义的场景二维栅格地图，保存环境中全局的二维栅格地图，以支持路径规划过程中将局部路径规划和全局路径规划相结合，在局部路径规划中根据动态障碍物情况动态地规划扫地机器人当前行进路线；在全局路径规划中规划扫地机器人全局清扫路径，以此提升扫地机器人清扫效率，并能够避开动态障碍物。
附图说明
图1是本发明实施例1之用于扫地机器人的语义导航方法的流程图。
图2是本发明实施例1之用于扫地机器人的语义导航***的结构示意图。
图3是图2所示实施例1的vSLAM模块的结构示意图。
图4是图2所示实施例1的扫地机器人的结构示意图。
图5是本发明实施例2的扫地机器人的结构示意图。
图中：1—扫地机器人，2—鱼眼镜头相机，3—RGB相机，4—结构光双目IR相机，4-1—IR相机，4-2—红外结构光发生器，5—vSLAM模块，5-1—视觉特征提取和跟踪模块，5-2—惯性导航单元信息处理模块，5-3—定位和局部建图模块，5-4—闭环模块，6—深度图获取模块，7—语义分析模块，8—障碍物三维位置获取模块，9—语义地图构建模块，10—路径规划模块。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
实施例1
参照图1，本实施之用于扫地机器人的语义导航方法，包括以下步骤：
步骤S1：获取扫地机器人在环境中的定位信息；
步骤S2：获取环境中障碍物所对应的深度图；
步骤S3：获取深度图中所有障碍物的三维位置；
步骤S4：识别环境中障碍物对应的语义信息；
步骤S5：构建带语义的场景二维栅格地图；
步骤S6：规划扫地机器人路径，引导扫地机器人行进；
步骤S7：实时更新带语义的场景二维栅格地图。
本实施例中，步骤S1中，获取扫地机器人在环境中的定位信息，还包括以下步骤：
步骤S11：获取图像P1，图像P1为XZ轴平面内与X轴呈30-90度夹角的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机器人前进的方向；
步骤S12：提取并跟踪每帧图像P1的视觉局部特征信息；
步骤S13：采集两帧图像P1间的惯性导航单元（IMU）信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P1间机器人的相对位置和相对姿态，得到预积分结果；
步骤S14：基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息；
步骤S15：根据关键帧图像对应的机器人定位信息构建关键帧的位姿图，通过视觉特征袋的方法检测关键帧图像集合中的视觉闭环，并对关键帧图像所对应的机器人位置和姿态进行全局优化，消除长距离运行时机器人定位累积的误差。
本实施例中，步骤S2中，获取环境中障碍物所对应的深度图，还包括以下步骤：
步骤S21:发射红外结构光，采集带有结构光斑点的同步的双目图像，同时采集图像P2，图像P2为沿X轴方向的RGB图像；通过红外结构光提升双目图像的环境纹理丰富程度，实现对弱纹理或无纹理环境的深度估计；
步骤S22:对双目图形进行矫正，采用基于立体匹配的方法计算深度图，获取深度图中各类障碍物的深度信息。
本实施例中，步骤S3中，获取深度图中所有障碍物的三维位置的方法是：基于机器人在环境中的定位信息和障碍物在深度图中的深度信息计算障碍物的三维位置。
本实施例中，步骤S4中，识别环境中障碍物对应的语义信息的具体方法如下：
基于深度图提取障碍物，结合图像P2，通过深度神经网络的方法识别双目图像中各类障碍物的类别标签，从而获取各类障碍物的语义信息。
本实施例中，步骤S5中，构建带语义的场景二维栅格地图，还包括以下步骤：
步骤S51：将扫地机器人运行环境投影至二维平面，对二维平面进行栅格划分；
步骤S52：根据深度图中障碍物的三维位置信息判断障碍物所属栅格，从而判断栅格中是否存在障碍物，获得障碍物语义信息；
步骤S53：根据障碍物语义信息扩展二维栅格地图的语义信息，获得带语义的场景二维栅格地图。
本实施例中，步骤S52中，获得障碍物语义信息语义信息的方法如下：
将二维栅格地图中的每个栅格节点所存储的数据定义为节点信息数据结构，该节点信息数据结构包括栅格被障碍物占有的概率和障碍物的语义类别数据，该节点信息数据结构为该栅格节点存储障碍物类别的语义信息。
本实施例中，步骤S6中，规划扫地机器人路径的方法是：基于带语义的场景二维栅格地图，规划扫地机器人路径，覆盖应当被清扫的区域并避开障碍物。
参照图2，本实施例之用于扫地机器人的语义导航***，包括鱼眼镜头相机2、RGB相机3、结构光双目IR相机4、 vSLAM模块5、深度图获取模块6、语义分析模块7、障碍物三维位置获取模块8、语义地图构建模块9和路径规划模块10，鱼眼镜头相机2与vSLAM模块5相连，结构光双目IR相机4与深度图获取模块6相连，RGB相机3与语义分析模块7相连，语义分析模块7与深度图获取模块6相连，vSLAM模块5、深度图获取模块6、语义分析模块7分别与障碍物三维位置获取模块8相连，三维位置获取模块8、语义分析模块7与语义地图构建模块9相连，语义地图构建模块9与路径规划模块10相连。
鱼眼镜头相机2用于获取图像P1，图像P1为XZ轴平面内与X轴呈30-90度夹角的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机器人前进的方向。
RGB相机3用于获取图像P2，图像P2为沿X轴方向的RGB图像。
结构光双目IR相机4用于发射红外结构光，采集带有结构光斑点的同步的双目图像。
vSLAM模块5用于获取扫地机器人在环境中的定位信息。
深度图获取模块6用于获取环境中障碍物所对应的深度图；
语义分析模块7用于识别环境中障碍物对应的语义信息。
障碍物三维位置获取模块8用于获取深度图中所有障碍物的三维位置。
语义地图构建模块9用于构建带语义的场景二维栅格地图，并实时更新带语义的场景二维栅格地图。
路径规划模块10用于规划扫地机器人路径，引导扫地机器人行进。
参照图3，vSLAM模块5包括视觉特征提取和跟踪模块5-1、惯性导航单元信息处理模块5-2、定位和局部建图模块5-3、闭环模块5-4，鱼眼镜头相机2与视觉特征提取和跟踪模块5-1相连，视觉特征提取和跟踪模块5-1、惯性导航单元信息处理模块5-2与定位和局部建图模块5-3相连，定位和局部建图模块5-3与闭环模块5-4相连。
视觉特征提取和跟踪模块5-1用于提取并跟踪每帧图像P1的视觉局部特征信息。
惯性导航单元信息处理模块5-2用于采集两帧图像P1间的惯性导航单元（IMU）信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P1间机器人的相对位置和相对姿态，得到预积分结果。
定位和局部建图模块5-3用于基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息。
闭环模块5-4用于根据关键帧图像对应的机器人定位信息构建关键帧的位姿图，通过视觉特征袋的方法检测关键帧图像集合中的视觉闭环，并对关键帧图像所对应的机器人位置和姿态进行全局优化，消除长距离运行时机器人定位累积的误差。
参照图4，本实施例中，鱼眼镜头相机2安装于扫地机器人1的外壳顶部，鱼眼镜头相机2的镜头方向在XZ轴平面内与X轴呈90度夹角；RGB相机3安装于扫地机器人1的外壳侧面中部，RGB相机3的镜头方向与X轴方向一致；结构光双目IR相机4由红外结构光发生器4-2以及两个IR相机4-1组成，IR相机4-1以红外结构光发生器4-2为中心对称设于扫地机器人1的外壳侧面下部，IR相机4-1的镜头方向及红外结构光发生器4-2的探测方向与X轴方向一致；两个IR相机4-1的间距可以根据需要进行调整。其中X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机器人前进的方向。
RGB相机3做基于深度学习的目标侦测和识别，对于清扫环境中的目标类型进行标记，按照固定物体、可移动物体和机器人需规避物体进行分类并标记到语义地图上，结构光双目IR相机4辅助鱼眼镜头相机2完成高精度和鲁棒的视觉定位功能，结构光双目IR相机4同时通过双目立体匹配的原理完成场景内各种类型的物体的距离测量，并把距离信息标记到语义地图上，便于扫地机器人上层智能路径规划，结构光双目IR相机4辅助扫地机器人其他传感器和底盘***完成障碍物的规避行为，为了提升双目立体匹配等功能的效果，结构光双目IR相机4的红外结构光发生器4-2对场景进行纹理补充，提高扫地机器人的场景的适应能力。
实施例2
参照图5，本实施例与实施例1的区别仅在于：鱼眼镜头相机2的镜头方向在XZ轴平面内与X轴呈45度夹角，其余同实施例1。
在实际应用中，鱼眼镜头相机2的镜头方向可根据实际需要设定，鱼眼镜头相机2的镜头方向可设置为在XZ轴平面内与X轴呈30-90度夹角。
本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
Claims (10)
1.一种用于扫地机器人的语义导航方法，其特征在于，包括以下步骤：
步骤S1：获取扫地机器人在环境中的定位信息；
步骤S2：获取环境中障碍物所对应的深度图；
步骤S3：获取深度图中所有障碍物的三维位置；
步骤S4：识别环境中障碍物对应的语义信息；
步骤S5：构建带语义的场景二维栅格地图；
步骤S6：规划扫地机器人路径，引导扫地机器人行进；
步骤S7：实时更新带语义的场景二维栅格地图。
2.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S1中，获取扫地机器人在环境中的定位信息，还包括以下步骤：
步骤S11：获取图像P1，图像P1为XZ轴平面内与X轴呈30-90度夹角的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机器人前进的方向；
步骤S12：提取并跟踪每帧图像P1的视觉局部特征信息；
步骤S13：采集两帧图像P1间的惯性导航单元信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P1间机器人的相对位置和相对姿态，得到预积分结果；
步骤S14：基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息；
步骤S15：根据关键帧图像对应的机器人定位信息构建关键帧的位姿图，通过视觉特征袋的方法检测关键帧图像集合中的视觉闭环，并对关键帧图像所对应的机器人位置和姿态进行全局优化，消除长距离运行时机器人定位累积的误差。
3.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S2中，获取环境中障碍物所对应的深度图，还包括以下步骤：
步骤S21:发射红外结构光，采集带有结构光斑点的同步的双目图像，同时采集图像P2，图像P2为沿X轴方向的RGB图像；通过红外结构光提升双目图像的环境纹理丰富程度，实现对弱纹理或无纹理环境的深度估计；
步骤S22:对双目图形进行矫正，采用基于立体匹配的方法计算深度图，获取深度图中各类障碍物的深度信息。
4.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S3中，获取深度图中所有障碍物的三维位置的方法是：
基于机器人在环境中的定位信息和障碍物在深度图中的深度信息计算障碍物的三维位置。
5.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S4中，识别环境中障碍物对应的语义信息的具体方法如下：
基于深度图提取障碍物，结合图像P2，通过深度神经网络的方法识别双目图像中各类障碍物的类别标签，从而获取各类障碍物的语义信息。
6.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S5中，构建带语义的场景二维栅格地图，还包括以下步骤：
步骤S51：将扫地机器人运行环境投影至二维平面，对二维平面进行栅格划分；
步骤S52：根据深度图中障碍物的三维位置信息判断障碍物所属栅格，从而判断栅格中是否存在障碍物，获得障碍物语义信息；
步骤S53：根据障碍物语义信息扩展二维栅格地图的语义信息，获得带语义的场景二维栅格地图。
7.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S52中，获得障碍物语义信息语义信息的方法如下：
将二维栅格地图中的每个栅格节点所存储的数据定义为节点信息数据结构，该节点信息数据结构包括栅格被障碍物占有的概率和障碍物的语义类别数据，该节点信息数据结构为该栅格节点存储障碍物类别的语义信息。
8.如权利要求1所述的用于扫地机器人的语义导航方法，其特征在于：步骤S6中，规划扫地机器人路径的方法是：基于带语义的场景二维栅格地图，规划扫地机器人路径，覆盖应当被清扫的区域并避开障碍物。
9.一种用于扫地机器人的语义导航***，其特征在于：包括鱼眼镜头相机、RGB相机、结构光双目IR相机、 vSLAM模块、深度图获取模块、语义分析模块、障碍物三维位置获取模块、语义地图构建模块和路径规划模块，所述鱼眼镜头相机与vSLAM模块相连，所述结构光双目IR相机与深度图获取模块相连，所述RGB相机与语义分析模块相连，语义分析模块与深度图获取模块相连，所述vSLAM模块、深度图获取模块、语义分析模块分别与障碍物三维位置获取模块相连，三维位置获取模块、语义分析模块与语义地图构建模块相连，语义地图构建模块与路径规划模块相连；
所述鱼眼镜头相机用于获取图像P1，图像P1为XZ轴平面内与X轴呈30-90度夹角的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示扫地机器人前进的方向；
所述RGB相机用于获取图像P2，图像P2为沿X轴方向的RGB图像；
所述结构光双目IR相机用于发射红外结构光，采集带有结构光斑点的同步的双目图像；
所述vSLAM模块用于获取扫地机器人在环境中的定位信息；
所述深度图获取模块用于获取环境中障碍物所对应的深度图；
所述语义分析模块用于识别环境中障碍物对应的语义信息；
所述障碍物三维位置获取模块用于获取深度图中所有障碍物的三维位置；
所述语义地图构建模块用于构建带语义的场景二维栅格地图，并实时更新带语义的场景二维栅格地图；
所述路径规划模块用于规划扫地机器人路径，引导扫地机器人行进。
10.如权利要求9所述的用于扫地机器人的语义导航***，其特征在于：所述vSLAM模块包括视觉特征提取和跟踪模块、惯性导航单元信息处理模块、定位和局部建图模块、闭环模块，鱼眼镜头相机与视觉特征提取和跟踪模块相连，视觉特征提取和跟踪模块、惯性导航单元信息处理模块与定位和局部建图模块相连，定位和局部建图模块与闭环模块相连；
所述视觉特征提取和跟踪模块用于提取并跟踪每帧图像P1的视觉局部特征信息；
所述惯性导航单元信息处理模块用于采集两帧图像P1间的惯性导航单元（IMU）信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P1间机器人的相对位置和相对姿态，得到预积分结果；
所述定位和局部建图模块用于基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息；
所述闭环模块用于根据关键帧图像对应的机器人定位信息构建关键帧的位姿图，通过视觉特征袋的方法检测关键帧图像集合中的视觉闭环，并对关键帧图像所对应的机器人位置和姿态进行全局优化，消除长距离运行时机器人定位累积的误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910585099.9A CN110275540A (zh) | 2019-07-01 | 2019-07-01 | 用于扫地机器人的语义导航方法及其*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910585099.9A CN110275540A (zh) | 2019-07-01 | 2019-07-01 | 用于扫地机器人的语义导航方法及其*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110275540A true CN110275540A (zh) | 2019-09-24 |
Family
ID=67963786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910585099.9A Pending CN110275540A (zh) | 2019-07-01 | 2019-07-01 | 用于扫地机器人的语义导航方法及其*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110275540A (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110736465A (zh) * | 2019-11-15 | 2020-01-31 | 北京云迹科技有限公司 | 导航方法、装置、机器人及计算机可读存储介质 |
| CN110825079A (zh) * | 2019-10-15 | 2020-02-21 | 珠海格力电器股份有限公司 | 一种地图构建方法及装置 |
| CN110849352A (zh) * | 2019-11-21 | 2020-02-28 | 大连理工大学 | 一种利用红外、深度和双目相机融合构建栅格地图的方法 |
| CN110928972A (zh) * | 2019-11-22 | 2020-03-27 | 珠海格力电器股份有限公司 | 一种语义地图构建方法、***、装置、存储介质及机器人 |
| CN110974088A (zh) * | 2019-11-29 | 2020-04-10 | 深圳市杉川机器人有限公司 | 扫地机器人控制方法、扫地机器人及存储介质 |
| CN111142521A (zh) * | 2019-12-25 | 2020-05-12 | 五邑大学 | 基于vslam对不同地形的规划方法、装置和存储介质 |
| CN111161334A (zh) * | 2019-12-31 | 2020-05-15 | 南通大学 | 一种基于深度学习的语义地图构建方法 |
| CN111150330A (zh) * | 2019-12-30 | 2020-05-15 | 北京太坦科技有限公司 | 清扫控制方法 |
| CN111221337A (zh) * | 2020-01-19 | 2020-06-02 | 弗徕威智能机器人科技（上海）有限公司 | 机器人栅格地图的构建方法及*** |
| CN111367318A (zh) * | 2020-03-31 | 2020-07-03 | 华东理工大学 | 一种基于视觉语义信息的动态障碍环境导航方法和装置 |
| CN111427363A (zh) * | 2020-04-24 | 2020-07-17 | 深圳国信泰富科技有限公司 | 一种机器人导航控制方法及*** |
| CN111521184A (zh) * | 2020-04-13 | 2020-08-11 | 轻客小觅机器人科技(成都)有限公司 | 一种扫地机器人的建图方法、装置及*** |
| CN111743462A (zh) * | 2020-06-18 | 2020-10-09 | 小狗电器互联网科技（北京）股份有限公司 | 扫地机器人的清扫方法及装置 |
| CN111743476A (zh) * | 2020-06-18 | 2020-10-09 | 小狗电器互联网科技（北京）股份有限公司 | 扫地机器人的清扫方法及装置 |
| CN112506189A (zh) * | 2020-11-19 | 2021-03-16 | 深圳优地科技有限公司 | 一种控制机器人移动的方法 |
| CN112711249A (zh) * | 2019-10-24 | 2021-04-27 | 科沃斯商用机器人有限公司 | 机器人定位方法、装置、智能机器人和存储介质 |
| CN112947415A (zh) * | 2021-01-26 | 2021-06-11 | 同济大学 | 一种基于障碍物语义信息的室内路径规划方法 |
| CN113014658A (zh) * | 2021-03-10 | 2021-06-22 | 北京蜂巢世纪科技有限公司 | 设备控制及装置、电子设备、存储介质 |
| CN113256716A (zh) * | 2021-04-21 | 2021-08-13 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| CN113313764A (zh) * | 2021-05-28 | 2021-08-27 | 上海高仙自动化科技发展有限公司 | 定位方法、装置、电子设备和存储介质 |
| SE2050216A1 (en) * | 2020-02-27 | 2021-08-28 | Husqvarna Ab | Robotic tool and method of processing a work area |
| CN114004874A (zh) * | 2021-12-30 | 2022-02-01 | 贝壳技术有限公司 | 占用栅格地图的获取方法和装置 |
| CN114384920A (zh) * | 2022-03-23 | 2022-04-22 | 安徽大学 | 一种基于局部栅格地图实时构建的动态避障方法 |
| CN114911223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种机器人导航方法、装置、机器人及存储介质 |
| CN114935341A (zh) * | 2022-07-25 | 2022-08-23 | 深圳市景创科技电子股份有限公司 | 一种新型slam导航计算视频识别方法及装置 |
| CN115381354A (zh) * | 2022-07-28 | 2022-11-25 | 广州宝乐软件科技有限公司 | 清洁机器人的避障方法、避障装置、存储介质和设备 |
| WO2023016188A1 (zh) * | 2021-08-10 | 2023-02-16 | 追觅创新科技(苏州)有限公司 | 地图的绘制方法和装置、扫地机、存储介质、电子装置 |
| CN117685954A (zh) * | 2024-02-01 | 2024-03-12 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建***和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100324769A1 (en) * | 2007-02-13 | 2010-12-23 | Yutaka Takaoka | Environment map generating method and mobile robot (as amended) |
| CN105700525A (zh) * | 2015-12-07 | 2016-06-22 | 沈阳工业大学 | 基于Kinect传感器深度图机器人工作环境不确定性地图构建法 |
| CN106352877A (zh) * | 2016-08-10 | 2017-01-25 | 纳恩博（北京）科技有限公司 | 一种移动装置及其定位方法 |
| CN107741234A (zh) * | 2017-10-11 | 2018-02-27 | 深圳勇艺达机器人有限公司 | 一种基于视觉的离线地图构建及定位方法 |
| CN108803591A (zh) * | 2017-05-02 | 2018-11-13 | 北京米文动力科技有限公司 | 一种地图生成方法及机器人 |
| CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
-
2019
- 2019-07-01 CN CN201910585099.9A patent/CN110275540A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100324769A1 (en) * | 2007-02-13 | 2010-12-23 | Yutaka Takaoka | Environment map generating method and mobile robot (as amended) |
| CN105700525A (zh) * | 2015-12-07 | 2016-06-22 | 沈阳工业大学 | 基于Kinect传感器深度图机器人工作环境不确定性地图构建法 |
| CN106352877A (zh) * | 2016-08-10 | 2017-01-25 | 纳恩博（北京）科技有限公司 | 一种移动装置及其定位方法 |
| CN108803591A (zh) * | 2017-05-02 | 2018-11-13 | 北京米文动力科技有限公司 | 一种地图生成方法及机器人 |
| CN107741234A (zh) * | 2017-10-11 | 2018-02-27 | 深圳勇艺达机器人有限公司 | 一种基于视觉的离线地图构建及定位方法 |
| CN109816696A (zh) * | 2019-02-01 | 2019-05-28 | 西安全志科技有限公司 | 一种机器人定位与建图方法、计算机装置及计算机可读存储介质 |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110825079A (zh) * | 2019-10-15 | 2020-02-21 | 珠海格力电器股份有限公司 | 一种地图构建方法及装置 |
| WO2021077941A1 (zh) * | 2019-10-24 | 2021-04-29 | 科沃斯商用机器人有限公司 | 机器人定位方法、装置、智能机器人和存储介质 |
| CN112711249A (zh) * | 2019-10-24 | 2021-04-27 | 科沃斯商用机器人有限公司 | 机器人定位方法、装置、智能机器人和存储介质 |
| CN110736465B (zh) * | 2019-11-15 | 2021-01-08 | 北京云迹科技有限公司 | 导航方法、装置、机器人及计算机可读存储介质 |
| CN110736465A (zh) * | 2019-11-15 | 2020-01-31 | 北京云迹科技有限公司 | 导航方法、装置、机器人及计算机可读存储介质 |
| CN110849352A (zh) * | 2019-11-21 | 2020-02-28 | 大连理工大学 | 一种利用红外、深度和双目相机融合构建栅格地图的方法 |
| CN110928972A (zh) * | 2019-11-22 | 2020-03-27 | 珠海格力电器股份有限公司 | 一种语义地图构建方法、***、装置、存储介质及机器人 |
| CN110974088A (zh) * | 2019-11-29 | 2020-04-10 | 深圳市杉川机器人有限公司 | 扫地机器人控制方法、扫地机器人及存储介质 |
| CN110974088B (zh) * | 2019-11-29 | 2021-09-24 | 深圳市杉川机器人有限公司 | 扫地机器人控制方法、扫地机器人及存储介质 |
| CN111142521A (zh) * | 2019-12-25 | 2020-05-12 | 五邑大学 | 基于vslam对不同地形的规划方法、装置和存储介质 |
| CN111150330A (zh) * | 2019-12-30 | 2020-05-15 | 北京太坦科技有限公司 | 清扫控制方法 |
| CN111161334A (zh) * | 2019-12-31 | 2020-05-15 | 南通大学 | 一种基于深度学习的语义地图构建方法 |
| CN111221337A (zh) * | 2020-01-19 | 2020-06-02 | 弗徕威智能机器人科技（上海）有限公司 | 机器人栅格地图的构建方法及*** |
| SE2050216A1 (en) * | 2020-02-27 | 2021-08-28 | Husqvarna Ab | Robotic tool and method of processing a work area |
| SE544414C2 (en) * | 2020-02-27 | 2022-05-17 | Husqvarna Ab | Robotic tool and method of processing a work area partly during night using structured light |
| CN111367318A (zh) * | 2020-03-31 | 2020-07-03 | 华东理工大学 | 一种基于视觉语义信息的动态障碍环境导航方法和装置 |
| CN111367318B (zh) * | 2020-03-31 | 2022-11-22 | 华东理工大学 | 一种基于视觉语义信息的动态障碍环境导航方法和装置 |
| CN111521184A (zh) * | 2020-04-13 | 2020-08-11 | 轻客小觅机器人科技(成都)有限公司 | 一种扫地机器人的建图方法、装置及*** |
| CN111427363A (zh) * | 2020-04-24 | 2020-07-17 | 深圳国信泰富科技有限公司 | 一种机器人导航控制方法及*** |
| CN111427363B (zh) * | 2020-04-24 | 2023-05-05 | 深圳国信泰富科技有限公司 | 一种机器人导航控制方法及*** |
| CN111743462A (zh) * | 2020-06-18 | 2020-10-09 | 小狗电器互联网科技（北京）股份有限公司 | 扫地机器人的清扫方法及装置 |
| CN111743476A (zh) * | 2020-06-18 | 2020-10-09 | 小狗电器互联网科技（北京）股份有限公司 | 扫地机器人的清扫方法及装置 |
| CN112506189A (zh) * | 2020-11-19 | 2021-03-16 | 深圳优地科技有限公司 | 一种控制机器人移动的方法 |
| CN112947415A (zh) * | 2021-01-26 | 2021-06-11 | 同济大学 | 一种基于障碍物语义信息的室内路径规划方法 |
| CN112947415B (zh) * | 2021-01-26 | 2022-07-29 | 同济大学 | 一种基于障碍物语义信息的室内路径规划方法 |
| CN114911223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种机器人导航方法、装置、机器人及存储介质 |
| CN113014658B (zh) * | 2021-03-10 | 2023-04-07 | 北京蜂巢世纪科技有限公司 | 设备控制及装置、电子设备、存储介质 |
| CN113014658A (zh) * | 2021-03-10 | 2021-06-22 | 北京蜂巢世纪科技有限公司 | 设备控制及装置、电子设备、存储介质 |
| CN113256716A (zh) * | 2021-04-21 | 2021-08-13 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| WO2022222490A1 (zh) * | 2021-04-21 | 2022-10-27 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| CN113256716B (zh) * | 2021-04-21 | 2023-11-21 | 中国科学院深圳先进技术研究院 | 一种机器人的控制方法及机器人 |
| CN113313764B (zh) * | 2021-05-28 | 2023-08-29 | 上海高仙自动化科技发展有限公司 | 定位方法、装置、电子设备和存储介质 |
| CN113313764A (zh) * | 2021-05-28 | 2021-08-27 | 上海高仙自动化科技发展有限公司 | 定位方法、装置、电子设备和存储介质 |
| WO2023016188A1 (zh) * | 2021-08-10 | 2023-02-16 | 追觅创新科技(苏州)有限公司 | 地图的绘制方法和装置、扫地机、存储介质、电子装置 |
| CN114004874A (zh) * | 2021-12-30 | 2022-02-01 | 贝壳技术有限公司 | 占用栅格地图的获取方法和装置 |
| US11720110B2 (en) | 2022-03-23 | 2023-08-08 | Anhui University | Dynamic obstacle avoidance method based on real-time local grid map construction |
| CN114384920A (zh) * | 2022-03-23 | 2022-04-22 | 安徽大学 | 一种基于局部栅格地图实时构建的动态避障方法 |
| CN114935341A (zh) * | 2022-07-25 | 2022-08-23 | 深圳市景创科技电子股份有限公司 | 一种新型slam导航计算视频识别方法及装置 |
| CN114935341B (zh) * | 2022-07-25 | 2022-11-29 | 深圳市景创科技电子股份有限公司 | 一种新型slam导航计算视频识别方法及装置 |
| CN115381354A (zh) * | 2022-07-28 | 2022-11-25 | 广州宝乐软件科技有限公司 | 清洁机器人的避障方法、避障装置、存储介质和设备 |
| CN117685954A (zh) * | 2024-02-01 | 2024-03-12 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建***和方法 |
| CN117685954B (zh) * | 2024-02-01 | 2024-05-24 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建***和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110275540A (zh) | 用于扫地机器人的语义导航方法及其*** | |
| US11900536B2 (en) | Visual-inertial positional awareness for autonomous and non-autonomous tracking | |
| US10410328B1 (en) | Visual-inertial positional awareness for autonomous and non-autonomous device | |
| US10962376B2 (en) | Adaptive mapping with spatial summaries of sensor data | |
| CN110095116A (zh) | 一种基于lift的视觉定位和惯性导航组合的定位方法 | |
| CN103869814B (zh) | 一种终端定位和导航方法以及可移动的终端 | |
| KR102664410B1 (ko) | 다중 센서 및 인공지능에 기반하여 맵을 생성하고 맵을 이용하여 주행하는 로봇 | |
| CN106940186A (zh) | 一种机器人自主定位与导航方法及*** | |
| CN106840148A (zh) | 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法 | |
| CN101842661A (zh) | 将范围传感器数据映射在图像传感器数据上的方法及布置 | |
| CN103680291A (zh) | 基于天花板视觉的同步定位与地图绘制的方法 | |
| CN109813319A (zh) | 一种基于slam建图的开环优化方法及*** | |
| WO2021077941A1 (zh) | 机器人定位方法、装置、智能机器人和存储介质 | |
| CN108481327A (zh) | 一种增强视觉的定位装置、定位方法及机器人 | |
| CN108958232A (zh) | 一种基于深度视觉的移动扫地机器人slam装置及算法 | |
| CN111768489B (zh) | 一种室内导航地图构建方法和*** | |
| CN107063242A (zh) | 具虚拟墙功能的定位导航装置和机器人 | |
| US11614747B2 (en) | Robot generating map and configuring correlation of nodes based on multi sensors and artificial intelligence, and moving based on map, and method of generating map | |
| CN208289901U (zh) | 一种增强视觉的定位装置及机器人 | |
| CN108544494A (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
| Holz et al. | Continuous 3D sensing for navigation and SLAM in cluttered and dynamic environments | |
| CN116380079A (zh) | 一种融合前视声呐与orb-slam3的水下slam方法 | |
| Muhlbauer et al. | Navigation through urban environments by visual perception and interaction | |
| Nguyen et al. | A visual SLAM system on mobile robot supporting localization services to visually impaired people | |
| Khan et al. | Real-time traffic light detection from videos with inertial sensor fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190924 |
|
| WD01 | Invention patent application deemed withdrawn after publication |