CN112711249B - 机器人定位方法、装置、智能机器人和存储介质 - Google Patents

Abstract

本发明实施例提供一种机器人定位方法、装置、智能机器人和存储介质，该方法包括：机器人上配置有摄像头以及多种传感器，机器人能够获取摄像头采集的图像以及多种传感器采集到的多种传感数据。接着，机器人先提取采集到的图像包含的语义信息，并根据语义信息识别出机器人当前所处的场景。最终，根据与机器人所处场景对应的目标传感数据来确定机器人当前的位置。可见，在上述技术方案中，确定机器人位姿时使用到的传感数据不是全部的传感数据，而是与场景对应的目标传感数据，这样使得位姿确定的依据更有针对性，从而进一步提高位姿的准确性。

Description

机器人定位方法、装置、智能机器人和存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种机器人定位方法、装置、智能机器人和存储介质。

背景技术

机器人是能够接受人类指挥并执行相应工作的一种机器装置。随着人工智能技术的发展，各种智能机器人越来越多地进入人们的生活，比如服务机器人、清洁机器人、自移动售货机器人等。

以能够自由移动的智能机器人为例，智能机器人会根据自身配置的各类传感器采集到的数据对智能机器人进行定位，并进一步根据定位结果来规划运动轨迹，智能机器人只需依轨迹运动即可完成用户指令。

发明内容

本发明实施例提供一种机器人定位方法、装置和存储介质，用以提高智能机器人定位的准确性。

本发明实施例提供一种机器人定位方法，该方法包括：

获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据；

提取所述图像中包含的语义信息；

根据所述语义信息识别所述机器人所处的场景；

根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿。

本发明实施例提供一种机器人定位装置，包括：

获取模块，用于获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据；

提取模块，用于提取所述图像中包含的语义信息；

识别模块，用于根据所述语义信息识别所述机器人所处的场景；

位姿确定模块，用于根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿。

本发明实施例提供一种智能机器人，包括：处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现：

获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据；

提取所述图像中包含的语义信息；

根据所述语义信息识别所述机器人所处的场景；

根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿。

本发明实施例提供了一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据；

提取所述图像中包含的语义信息；

根据所述语义信息识别所述机器人所处的场景；

根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿。

在本发明实施例中，机器人上配置有摄像头以及多种传感器，机器人能够获取摄像头采集的图像以及多种传感器采集到的多种传感数据。接着，机器人先提取采集到的图像包含的语义信息，并根据语义信息识别出机器人当前所处的场景。最终，根据与机器人所处场景对应的目标传感数据确定机器人当前的位置。根据上述描述可知，在确定机器人位姿时使用到的传感数据不是全部的传感数据，而是与场景对应的目标传感数据，这样使得位姿确定的依据更有针对性，从而进一步提高位姿的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种机器人定位方法的流程图；

图2为本发明实施例提供的另一种机器人定位方法的流程图；

图3a为本发明实施例提供的一种机器人位姿确定方法的流程图；

图3b为本发明实施例提供的另一种机器人位姿确定方法的流程图；

图3c为本发明实施例提供的又一种机器人位姿确定方法的流程图；

图3d为本发明实施例提供的又一种机器人位姿确定方法的流程图；

图4为本发明实施例提供的一种机器人定位装置的结构示意图；

图5为与图4所示实施例提供的机器人定位装置对应的智能机器人的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式。除非上下文清楚地表示其他含义，“多个”一般包含至少两个。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。

下面结合以下的实施例对本文提供的人机交互方法进行详细介绍。同时，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

在实际应用中，该机器人定位方法可以由诸如清洁机器人、迎宾机器人、自移动售货机器人等智能机器人来执行。此种机器人能够在一定空间内自由移动，从而完成用户下达的指令。图1为本发明实施例提供的一种机器人定位方法的流程图，该方法的执行主体可以为机器人，如图1所示，该方法可以包括如下步骤：

101、获取机器人上的摄像头采集的图像以及机器人上的多种传感器采集的多种传感数据。

机器人身上的摄像头用于采集机器人所处场景对应的图像，机器人身上的多种传感器分别用于采集多种传感数据，以使机器人获取到的图像和多种传感数据。其中，采集图像的摄像头也可以认为是视觉传感器。并且多种传感器可以包括激光传感器、运动速度测量计、运动角度测量计等等。与此对应的，激光传感器采集到的是激光照射在物体上时对应的激光点坐标。运动速度测量计采集到的是机器人的运动速度，根据此速度可以进一步计算出机器人的运动距离。运动角度测量计采集到的是机器人的运动角速度，根据此角速度可以进一步计算出机器人的运动角度。在实际应用中，上述的摄像头可以是单目或者双目摄像头，运动速度测量计具体可以为轮式里程计，运动角度测量计具体可以为惯性测量单元(Inertial Measurement Unit，简称IMU)。

此时，机器人即可根据获取到的图像和多种传感数据按照下述方式对机器人进行定位。但值得说明的是，由于多种传感器配置于机器人身上的不同位置，每个传感器采集到的传感数据都分别对应于此传感器自身的坐标系，坐标系的不统一显然会对后续的定位过程产生影响。因此，为了保证机器人定位的准确性，可选地，对于已经获取到的多种传感数据，可以对其进行坐标转换，也即是将处于不同坐标系下的传感数据均转换至目标坐标系下。其中，目标坐标系可以是任一种传感器对应的坐标系。当然，在实际应用中，通常会将激光传感器对应的坐标系确定为目标坐标系。不同坐标系之间的转换关系已经预先配置完成，机器人可以直接调用。

除了坐标系的统一之外，在实际应用中，由于不同传感器采集数据的频率不同，因此，传感数据往往存在时间戳不统一的问题。为了进一步保证机器人定位的准确性，则还需要对采集到的多种传感数据进行时间对齐。可选地，当机器人获取到传感器采集到传感数据后，立即读取当前机器人的***时间，并将读取到的此***时间确定为传感数据的采集时间。在机器人定位过程中使用到的是采集时间处于预设时间差内的传感数据。

102、提取图像中包含的语义信息。

103、根据语义信息识别机器人所处的场景。

然后，机器人会对摄像头采集到的图像进行语义识别，以提取出图像包含的语义信息。一种可选地方式，机器人中可以配置有预先训练好的语义识别模型，摄像头拍得的图像会直接输入至此模型中，以由模型输出识别结果。接着，机器人便可以根据识别结果来确定机器人所处的场景。其中，上述的语义识别模型具体可以为条件随机场(ConditionalRandom Field，简称CRF)模型、卷积神经网络(Convolutional Neural Networks，简称CNN)模型、循环神经网络(Recurrent Neural Networks，简称RNN)模型等等。

举例来说，当图像的语义信息包括大面积墙面或者玻璃等预设类型的建筑物，则机器人可以确定自身所处的场景为长廊或者玻璃走道。当图像的语义信息包括多人时，则机器人可以确定自身所处的场景为人群。当图像语义信息中既不包括预设类型的建筑物也不包括人群，则机器人可以确定自身处于普通定位场景。由于在实际应用中，机器人通常使用在公共场所中，则此时，普通定位场景就可以是公共场所的大厅，比如商场大厅、银行大厅、医院大厅等等。

104、根据多种传感数据中与场景对应的目标传感数据确定机器人的位姿。

最后，机器人中可以预先配置有场景与目标传感数据之间的对应关系，基于此对应关系以及机器人所处的场景，机器人便可确定出多种传感数据中哪些为目标传感数据，并根据此目标传感数据来确定机器人的位姿。

举例来说，当机器人处于人群场景中，则机器人可以根据运动速度测量计采集到的传感数据以及运动角度测量计采集到的传感数据确定机器人的位姿。当机器人处于普通定位场景中，则机器人可以根据运动速度测量计、运动角度测量计、激光传感器、摄像头各自采集到的传感数据来确定机器人的位姿。而具体如何实现在不同场景中根据此场景对应的目标传感数据对机器人进行定位的，可以参见下述各实施例中的详细描述。

本发明提供的实施例中，机器人上配置有摄像头以及多种传感器，机器人能够获取摄像头采集的图像以及多种传感器采集到的多种传感数据。接着，机器人先提取采集到的图像包含的语义信息，并根据语义信息识别出机器人当前所处的场景。最终，根据与机器人所处场景对应的目标传感数据确定机器人当前的位置。根据上述描述可知，在确定机器人位姿时使用到的传感数据不是全部的传感数据，而是与场景对应的目标传感数据，这样使得位姿确定的依据更有针对性，从而进一步提高位姿的准确性。

在实际应用中，机器人在运动过程中还有可能出现无法移动的故障，此时，机器人可以继续按照上述实施例提供的方式对自身进行定位，并将定位结果发送至维护服务器。维护人员则可以根据定位结果找到机器人，以对其进行维护。由于按照上述实施例确定出的定位结果具有较高的准确性，因此，维护人员也就能够快速、准确地找到出现故障的机器人，从而提高机器人的维护效率。

在上面的描述中也已经提到具有移动能力的机器人往往会用于公共场合中，比如商场、医院等等。此时，机器人在定位自己位姿的同时还可以为用户提供导航服务，也即是机器人可以带领用户到达用户要去的目标位置。用户想要到达的目标位置比如可以是商场内某一店铺或者医院内某一诊室等等。

基于上述描述，在图1所示实施例基础上，图2为本发明实施例提供的另一种机器人定位方法的流程图，如图2所示，在上述步骤104之后，该方法还可以包括如下步骤：

201、根据机器人的位姿与用户输入的目标位置确定导航路径，以供机器人根据导航路径移动到目标位置。

用户可以通过与机器人交互的方式来使机器人获取到目标位置。可选地，机器人可以配置有供用户输入目标位置的操作屏幕，此时，目标位置表现为文字形式。另外，机器人上还可以安装有诸如麦克风等拾音器件，当用户对说出目标位置时，机器人便可以通过此拾音器件采集到语音形式的目标位置。

然后，机器人可以以步骤104中确定出的机器人位姿为起点，以用户输入的目标位置为终点规划出一条导航路径。机器人只需沿此导航路径运动，即可带领用户达到目标位置。可选地，机器人的位姿以及用户输入的目标位置会被标注于预先建立的栅格地图中，机器人会可以根据这两个位置在栅格地图中位置关系，规划出一条最佳导航路径。其中，栅格地图中的每个栅格都被标注为有障碍物或没有障碍物。

对于上述的栅格地图，其构建是一个预处理过程。假设机器人是在场景A内提供定位和导航服务，则建立的栅格地图也对应于场景A，并且地图构建是在机器人开始在场景A中提供定位和导航服务之前完成的。

可选地，栅格地图可以根据机器人配置的激光传感器采集到的历史传感数据构建。具体地，机器人在提供定位和导航服务之前，可以在先此场景A中遍历环境运动，并且此时场景A所在的平面区域已经被预先划分为若干子区域，每个子区域称为一个栅格。随着机器人的运动，机器人配置的激光传感器便会采集到传感数据，此传感数据即为前述的历史传感数据。然后，机器人再根据历史传感数据确定此场景A中哪些位置存在障碍物，进一步计算出障碍物在栅格地图中的二维坐标。最后，根据此二维坐标对栅格地图中的每个栅格进行标注，从而构建起栅格地图。

另外，当机器人初次被放置在场景A中一位置时，它并不知晓自己当前的位姿，此位姿可以称为初始位姿。可选地，机器人可以采用以下方式确定机器人的初始位姿，则在上述步骤101之前，该方法还可以包括如下步骤：

202、识别摄像头采集的初始图像包含的语义信息。

203、根据语义信息以及预先构建的栅格语义地图中包含的语义信息确定机器人的初始位姿。

具体来说，机器人初次被放置在场景A中，可选地，机器人可以原地旋转，以使摄像头采集到对应于各个方向的图像。为了与上述实施例步骤101中采集到的图像区分，此时采集到的图像可以称为初始图像。然后，机器人可以对每张初始图像进行语义识别，具体的语义识别过程可以参见图1所示实施例步骤102中的相关步骤，在此不再赘述。然后，再将初始图像中包括的语义信息与预先构建的语义栅格地图中包含的语义信息进行比对，从而确定机器人的初始位姿。其中，语义栅格地图中每个栅格既标注有是否存在障碍物，还标注有障碍物具体是哪种物体。

对于语义栅格地图，可选地，此地图的建立也是一个预处理过程。语义栅格地图是在栅格地图之后构建的，也是在机器人开始在场景A中提供定位和导航服务之前完成的。假设机器人是在场景A内提供定位和导航服务，则建立的语义栅格地图也对应于场景A。

语义栅格地图可以根摄像头采集到的历史图像以及已经构建的栅格地图构建。具体地，机器人先按照步骤201公开方式生成栅格地图，并且机器人可以在此场景A中运动的过程中，机器人配置的摄像头可以采集有若干张图像，此若干张图像可以称为历史图像。利用语义识别模型识别出历史图像中包括哪种物体，并将识别出的物体标注在栅格地图中，以构建起语义栅格地图。

本实施例中，在机器人确定出机器人在场景中的位姿后，还可以用户输入的目标位置为用户提供导航服务。由于机器人确定出的位姿具有较高的准确度，则提供的导航服务也具有较高的准确度，提高机器人的服务水平。

根据图1所示实施例可知，机器人可以根据摄像头采集到图像的语义信息来确定机器人所处的场景。可见，图像的语义信息识别的准确性能够直接影响到场景确定的准确性。为了保证语义识别的准确性，还可以将图像的亮度也考虑进来，也即是在进行语义识别过程中同时考虑图像中包含的物体以及图像对应的环境亮度值。环境亮度值用于表明图像采集环境的光照强度，光照强度过小或过大，都会对图像的语义识别造成影响，并进一步导致识别出的场景不够准确。

此时，机器人可以同时根据图像对应的环境亮度值以及图像中包含的物体来识别机器人所处场景。对于环境亮度值的确定过程，一种可选地方式，机器人先将采集到的图像转换为灰度图像，再根据每个像素点的灰度值确定图像对应的环境亮度值。比如，可以计算所有像素点灰度值的平均值，并将此平均值确定为图像对应的环境亮度值。

若计算出图像对应的环境亮度值不处于预设数值范围内时，则表明机器人当前所处场景是一种光照强度不适宜，比如光照强度过大或者过小的场景，举例来说可以是商场内灯光较强的表演区域等等。这种情况下，图1所示实施例中步骤104一种可选地实现方式，如图3a所示，该方法可以包括如下步骤：

301、根据运动速度测量计采集的传感数据和运动角度测量计采集的传感数据确定第一位姿。

302、将第一位姿映射到预先构建的栅格地图中，以得到第二位姿。

303、确定第二位姿为机器人的位姿。

具体来说，正如上述实施例提到的运动速度测量计可以为轮式里程计，运动角度测量计可以为IMU。则基于此，机器人一方面可以根据轮式里程计采集到的机器人左右轮子的转速计算出机器人的运动距离，另一方面可以根据IMU采集到的角速度计算出机器人的运动角度。然后，根据计算出的运动距离、运动角度以及上一时刻机器人的位姿确定出第一位姿，此第一位姿是世界坐标系下的位姿坐标。然后，机器人会将第一位姿映射到预先构建的栅格地图中，也即是将处于世界坐标系下的第一位姿转换到栅格地图坐标系中，以得到第二位姿，此第二位姿也即是机器人当前时刻的位姿，也即是机器人的定位结果。其中，在上述过程中使用到的栅格地图可以参照图2所示实施例中的相关描述构建。

本实施例中，当机器人所处的场景是一种光照强度过大或者过小的场景时，机器人是根据运动速度测量计、运动角度测量计采集到的传感数据以及利用激光传感器采集到的传感数据预先构建的栅格地图对机器人进行定位的，位姿确定的依据更有针对性，提高了定位的准确性。

若机器人计算出图像对应的环境亮度值处于预设数值范围内，则表明机器人当前所处场景是一种光照强度适宜的场景，比如商场大厅、医院大厅等普通定位场景。这种情况下，上述实施例中步骤104另一种可选地实现方式，如图3b所示，该方法可以包括如下步骤：

401、根据运动速度测量计采集的传感数据和运动角度测量计采集的传感数据确定第一位姿。

402、将第一位姿映射到预先构建的栅格地图中，以得到第二位姿。

上述步骤401～402的执行过程与前述实施例的相应步骤相似，可以参见如图3a所示实施例中的相关描述，在此不再赘述。

403、将第一位姿映射到预先构建的视觉特征地图中，以得到第三位姿。

视觉特征地图中每个地图点都对应于世界坐标系下的一个位姿坐标，由于第一位姿也是在世界坐标系下的坐标，因此，可以将第一位姿在世界坐标系下的坐标与视觉特征地图中每个地图点在世界坐标系下的坐标进行比对，在视觉特征地图中确定与第一位姿的位置坐标最接近的地图点为目标地图点，此目标地图点对应的位姿坐标也即是第三位姿。上述映射过程实际上就是确定目标地图点的过程。

对于上述的视觉特征地图，其构建同样是一个预处理过程。假设机器人是在场景A内提供定位和导航服务，则建立的视觉特征地图也对应于场景A，并且地图构建是在机器人开始在场景A中提供定位和导航服务之前完成的。

可选地，视觉特征地图可以根据机器人配置的摄像头采集到的图像构建。具体地，机器人在提供定位和导航服务之前，可以在先此场景A中随意运动，以使机器人配置的摄像头采集到图像，为了与步骤101中使用到的图像区分，此时采集到的图像可以称为历史图像，从采集到的历史图像提取稀疏特征点，并根据提取的稀疏特征点构成视觉特征地图。

404、融合第二位姿和第三位姿，以确定融合结果为机器人的位姿。

最终，机器人会对映射后得到的第二位姿和第三位姿进行融合，融合结果也即是机器人的定位结果。一种可选地融合方式，可以分别为第二位姿和第三位姿设置不同的权重值，并对二者进行加权求和，求和结果即为融合结果。另一种可选地融合方式，还可以采用扩展卡尔曼滤波方式对第二位姿和第三位姿进行融合，以得到融合结果。这种融合方式是一种较为成熟的技术，本申请不再详细描述融合过程。

本实施例中，当机器人所处的场景是一种光照强度适宜的场景，则可以机器人是根据运动速度测量计、运动角度测量计采集到的传感数据以及利用激光传感器采集到的传感数据预先构建的栅格地图、利用摄像头采集的图像预先构建的视觉特征地图来对机器人进行定位。位姿确定的依据更有针对性，从而提高位姿的准确性。

除了上述场景外，当机器人从摄像头采集的图像中识别出图像包含预设结构的建筑物，比如长廊、玻璃走道等等。此时，可以认为机器人处于一种预设结构的建筑物内。这种情况下，上述实施例中步骤104又一种可选地实现方式，如图3c所示，该方法可以包括如下步骤：

501、根据运动速度测量计采集的传感数据和运动角度测量计采集的传感数据确定第一位姿。

502、将第一位姿映射到预先构建的视觉特征地图中，以得到第四位姿。

503、确定第四位姿为机器人的位姿。

上述步骤501～503的执行过程与前述实施例的相应步骤相似，可以参见如图3b所示实施例中的相关描述，在此不再赘述。

在此需要说明的有，一方面，本实施例中得到的第四位姿实际上就是图3b所示实施例中的第三位姿，名称不同只是为了在不同实施例中加以区分。另一方面，本实施例中机器人处于预设结构的建筑物内，并且此建筑物内部的光照强度也是适宜的，也即是在这种场景中机器人上摄像头采集到的图像对应的环境亮度值处于预设数值范围内。

本实施例中，当机器人处于一个光照强度适宜的预设结构的建筑物内，则可以机器人是根据运动速度测量计、运动角度测量计采集到的传感数据以及利用激光传感器采集到的传感数据预先构建的栅格地图、利用摄像头采集的图像预先构建的视觉特征地图来对机器人进行定位。位姿确定的依据更有针对性，以提高位姿的准确性。

另外，根据上述各实施例中的描述可知，预先构建的栅格地图、语义栅格地图以及视觉特征地图都是在场景A处于状态I时建立的。举例来说，场景A可以是商场场景，则状态I表示的是商场内一种货架摆放方式。而对于商场场景，货架的摆放方式往往会发生变动，从而使商场处于状态II，此状态II表示的是商场的另一种货架摆放方式。基于上述描述，当机器人根据摄像头采集到的图像确定出机器人所处的是状态II的场景A，而不是状态I的场景A时，则预先构建的对应于处于状态I的各种地图便是无法使用的。在这种情况下，上述实施例中步骤104又一种可选地实现方式，如图3d所示，该方法可以包括如下步骤：

601、根据运动速度测量计采集的传感数据和运动角度测量计采集的传感数据确定第一位姿。

上述步骤601的执行过程与前述实施例的相应步骤相似，可以参见如图3b所示实施例中的相关描述，在此不再赘述。

602、根据摄像头采集到的图像确定第五位姿。

机器人上的摄像头会采集到若干张图像，机器人会对这些图像中采集时间相邻的两张图像进行匹配。为了便于描述，可以将采集时间相邻的两张图像分别称为第一图像和第二图像。经过匹配后，可以确定出第一图像中的各像素点分别与第二图像中的哪个图像点是相同像素点。然后，根据具有匹配关系的像素点分别在第一图像和第二图像中的像素坐标确定第五位姿。

603、融合第一位姿和第五位姿，以确定融合结果为机器人的位姿。

上述步骤603的执行过程与前述实施例的相应步骤相似，可以参见如图3b所示实施例中的相关描述，在此不再赘述。

需要说明的有，本实施例中机器人处于的是状态II的场景A中，并且此场景内的光照强度也是适宜的，也即是机器人上摄像头采集到的图像对应的环境亮度值处于预设数值范围内。

本实施例中，当机器人在处于状态II的场景A中，其此状态的场景A一个光照强度适宜时，则机器人可以根据运动速度测量计、运动角度测量计采集到的传感数据以及摄像头采集的图像来对机器人进行定位。位姿确定的依据更有针对性，从而提高了位姿的准确性。

当然，在实际应用中，处于状态II的场景A也可能是一个光照强度过大或过小的场景，此时，机器人可以直接根据运动速度测量计采集的传感数据和运动角度测量计采集的传感数据确定机器人的位姿。位姿的具体确定过程可以参见上述各实施例中的相关描述，在此不再赘述。

当机器人根据摄像头采集到的图像识别出其中包括人群时，则可以认为机器人所处的场景是一种人流密集的场景。这种情况下，机器人可以直接根据运动速度测量计采集的传感数据和运动角度测量计采集的传感数据确定机器人的位姿。位姿的具体确定过程可以参见上述各实施例中的相关描述，在此不再赘述。

以下将详细描述本发明的一个或多个实施例的机器人定位装置。本领域技术人员可以理解，这些人机交互装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图4为本发明实施例提供的一种机器人定位装置的结构示意图，如图4所示，该装置包括：

获取模块11，用于获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据。

提取模块12，用于提取所述图像中包含的语义信息。

识别模块13，用于根据所述语义信息识别所述机器人所处的场景。

位姿确定模块14，用于根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿。

可选地，该机器人定位装置还可以包括：

导航模块21，用于根据所述机器人的位姿与用户输入的目标位置确定导航路径，以供所述机器人根据所述导航路径移动到所述目标位置。

为识别所述机器人所处的场景，可选地，该机器人定位装置中的识别模块13具体用于：根据所述图像对应的环境亮度值和/或所述图像中包含的物体，识别所述机器人所处的场景。

可选地，所述场景对应于所述环境亮度值不处于预设数值范围内；

该机器人定位装置中的位姿确定模块14用于：

根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；将所述第一位姿映射到预先构建的栅格地图中，以得到第二位姿，所述栅格地图根据所述激光传感器器采集到的历史传感数据构建以及确定所述第二位姿为所述机器人的位姿。

可选地，所述场景对应于所述环境亮度值处于预设数值范围内；

该机器人定位装置中的位姿确定模块14具体还用于将所述第一位姿映射到预先构建的视觉特征地图中，以得到第三位姿，所述视觉特征地图根据所述摄像头采集的历史图像构建；以及用于融合所述第二位姿和所述第三位姿，以确定融合结果为所述机器人的位姿。

可选地，所述场景对应于所述图像中包含预设结构的建筑物；

该机器人定位装置中的位姿确定模块14具体还用于：根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；将所述第一位姿映射到预先构建的视觉特征地图中，以得到第四位姿，所述视觉特征地图根据所述摄像头采集的历史图像构建；以及确定所述第四位姿为所述机器人的位姿。

可选地，所述场景对应于所述图像中包含人群；

该机器人定位装置中的位姿确定模块14具体还用于：根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定所述机器人的位姿。

可选地，所述机器人所处的场景为无法使用所述栅格地图的场景；

该机器人定位装置中的位姿确定模块14具体还用于：根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；根据所述摄像头采集到的图像确定所述第五位姿；以及融合所述第一位姿和所述第五位姿，以确定融合结果为所述机器人的位姿。

图4所示的机器人定位装置可以执行前述图1至图3d所示实施例提供的人机交互方法，本实施例未详细描述的部分，可参考对图1至图3d所示实施例的相关说明，在此不再赘述。

以上描述了机器人定位装置的内部功能和结构，在一个可能的设计中，机器人定位装置的结构可实现为机器人中的一部分，如图5所示，该智能机器人可以包括：处理器31和存储器32。其中，所述存储器32用于存储支持该智能机器人执行前述图1至图3d所示实施例中提供的人机交互方法的程序，所述处理器31被配置为用于执行所述存储器32中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器31执行时能够实现如下步骤：

获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据；

提取所述图像中包含的语义信息；

根据所述语义信息识别所述机器人所处的场景；

根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿。

可选地，所述处理器31还用于执行前述图1至图3d所示实施例中的全部或部分步骤。

其中，所述智能机器人的结构中还可以包括通信接口33，用于与其他设备或通信网络通信。

另外，本发明实施例提供了一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据；

提取所述图像中包含的语义信息；

根据所述语义信息识别所述机器人所处的场景；

根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来。

为便于理解，结合如下的应用场景对以上提供的机器人定位方法的具体实现进行示例性说明。

以商场这种公共场合为例，商场大厅中可能会设置诸如服务机器人等的智能终端设备。机器人可以在商场的任意位置随意走动，这样可以以使处于商场不同位置的用户都能向机器人发出指令。其中，用户可以向机器人发出咨询指令或者导航请求指令。

机器人在商场内随意走动的过程中，机器人上的摄像头会实时采集图像，并且机器人上的运动速度测量计、运动角度测量计也会实时采集传感器数据。对于采集到的每张图像，机器人都会对其进行语义识别，以确定图像中包含的物体，同时还会确定图像对应的环境亮度值，并进一步根据图像中包含的物体以及图像的环境亮度值确定机器人所处的场景。

当识别出机器人处于商场大厅时，此场景是一个光照强度适宜的场景，即此场景中图像对应的环境亮度值处于预设数值范围内。这种场景下，机器人会根据运动速度测量计、运动角度测量计采集的传感数据确定第一位姿，再将第一位姿分别映射到预先构建的栅格地图和视觉特征地图中，以分别得到第二位姿和第三位姿，最终将第二位姿和第三位姿进行融合，将融合结果确定为机器人当前的位姿，此也即是机器人的定位信息。其中，栅格地图和视觉特征地图都是对应于商场的。

当识别出机器人处于商场内人流密集区时，机器人会根据运动速度测量计、运动角度测量计采集的传感数据确定机器人当前的位姿即定位信息。

根据上述描述可知，当机器人处于不同的场景时，用于确定机器人当前位姿所使用到的传感数据是具有针对性的，从而能够保证机器人定位的准确性。在机器人在运动过程中出现运动故障时，则维护人员便可以根据准确的定位信息快速找到机器人，以对机器人进行维修，保证了机器人的维修效率。

另外，用户可以通过文字或者语音的形式向机器人发出导航请求指令，比如“我想要去店铺I”。机器人响应于此导航请求指令，会将店铺I所在的位置标注在商场对应的栅格地图中。同时，机器人还会根据摄像头采集的图像以及多种传感数据确定自己当前所处的场景。

若机器人当前处于商场大厅时，则机器人可以根据运动速度测量计、运动角度测量计采集的传感数据以及预先构建的栅格地图、视觉特征地图来确定出机器人当前的位姿，此位姿会被标注于栅格地图上，以使机器人根据此位姿与店铺I的目标位置为机器人规划出第一导航路径。之后，机器人便会沿此导航路径开始运动。在沿第一导航路径运动的过程中，机器人上的摄像头以及多种传感器依旧会实时采集图像和传感数据，并不断根据采集到的图像确定机器人所处的场景。

若在第一时刻确定出机器人已经从商场大厅运动到长廊时，则机器人会根据运动速度测量计、角度速度测量计各自采集到的传感数据以及预先构建的视觉特征地图确定机器人的位姿。此时，机器人可以根据第一时刻机器人的位姿以及店铺I所在的目标位置重新规划第二导航路径，机器人会沿此第二导航路径继续运动。若在第二时刻确定出机器人已经从长廊运动到商场内的人流密集区域时，则机器人运动速度测量计、角度速度测量计各自采集到的传感数据确定机器人的位姿，并进一步根据此时的位姿继续规划第三导航路径。按照上述过程，机器人会不断根据自己当前的位姿规划导航路径直至将用户带领至店铺I门口。

根据上述描述可知，机器人从商场大厅运动到店铺I门口的过程中，在不同场景运动时，会使用不同的数据来对机器人进行实时定位，直至完成导航。使用针对性的数据对机器人进行定位，能够保证定位的准确性，由于定位信息是导航路径规划的基础，所以，也能够进一步地保证导航的准确性，保证机器人的服务质量。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种机器人定位方法，其特征在于，所述方法包括：

获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据，所述多种传感器包括：运动速度测量计、运动角度测量计以及激光传感器；

提取所述图像中包含的语义信息，所述语义信息包括所述图像对应的环境亮度值和/或所述图像中包含的物体；

根据所述语义信息识别所述机器人所处的场景；

若所述场景的环境亮度值不处于预设数值范围内，则根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿，包括：

根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；

将所述第一位姿映射到预先构建的栅格地图中，以得到第二位姿，所述栅格地图根据所述激光传感器器采集到的历史传感数据构建；

确定所述第二位姿为所述机器人的位姿。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述机器人的位姿与用户输入的目标位置确定导航路径，以供所述机器人根据所述导航路径移动到所述目标位置。

3.根据权利要求1所述的方法，其特征在于，若所述场景对应于所述环境亮度值处于所述预设数值范围内，则所述根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿，包括：

将所述第一位姿映射到预先构建的视觉特征地图中，以得到第三位姿，所述视觉特征地图根据所述摄像头采集的历史图像构建，所述第一位姿根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定；

融合所述第二位姿和所述第三位姿，以确定融合结果为所述机器人的位姿，所述第二位姿根据所述第一位姿和所述栅格地图确定。

4.根据权利要求1所述的方法，其特征在于，若所述场景对应于所述图像中包含预设结构的建筑物，则所述根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿，包括：

根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；

将所述第一位姿映射到预先构建的视觉特征地图中，以得到第四位姿，所述视觉特征地图根据所述摄像头采集的历史图像构建；

确定所述第四位姿为所述机器人的位姿。

5.根据权利要求1所述的方法，其特征在于，若所述场景对应于所述图像中包含人群，则所述根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿，包括：

根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定所述机器人的位姿。

6.根据权利要求1所述的方法，其特征在于，若所述机器人所处的场景为无法使用所述栅格地图的场景，则所述根据所述多种传感数据中与所述场景对应的目标传感数据确定所述机器人的位姿，包括：

根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；

根据所述摄像头采集到的图像确定第五位姿；

融合所述第一位姿和所述第五位姿，以确定融合结果为所述机器人的位姿。

7.一种机器人定位装置，其特征在于，包括：

获取模块，用于获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据，所述多种传感器包括：运动速度测量计、运动角度测量计以及激光传感器；

提取模块，用于提取所述图像中包含的语义信息，所述语义信息包括所述图像对应的环境亮度值和/或所述图像中包含的物体；

识别模块，用于根据所述语义信息识别所述机器人所处的场景；

位姿确定模块，用于若所述场景的环境亮度值不处于预设数值范围内，则根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；将所述第一位姿映射到预先构建的栅格地图中，以得到第二位姿，所述栅格地图根据所述激光传感器器采集到的历史传感数据构建；确定所述第二位姿为所述机器人的位姿。

8.一种智能机器人，其特征在于，包括：处理器和存储器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现：

获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据，所述多种传感器包括：运动速度测量计、运动角度测量计以及激光传感器；

提取所述图像中包含的语义信息，所述语义信息包括所述图像对应的环境亮度值和/或所述图像中包含的物体；

根据所述语义信息识别所述机器人所处的场景；

若所述场景的环境亮度值不处于预设数值范围内，则根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；

将所述第一位姿映射到预先构建的栅格地图中，以得到第二位姿，所述栅格地图根据所述激光传感器器采集到的历史传感数据构建；

确定所述第二位姿为所述机器人的位姿。

9.一种存储计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器至少执行以下的动作：

获取机器人上的摄像头采集的图像以及所述机器人上的多种传感器采集的多种传感数据，所述多种传感器包括：运动速度测量计、运动角度测量计以及激光传感器；

提取所述图像中包含的语义信息，所述语义信息包括所述图像对应的环境亮度值和/或所述图像中包含的物体；

根据所述语义信息识别所述机器人所处的场景；

若所述场景的环境亮度值不处于预设数值范围内，则根据所述运动速度测量计采集的传感数据和所述运动角度测量计采集的传感数据确定第一位姿；

将所述第一位姿映射到预先构建的栅格地图中，以得到第二位姿，所述栅格地图根据所述激光传感器器采集到的历史传感数据构建；

确定所述第二位姿为所述机器人的位姿。

Images