CN114683290B - 一种足式机器人位姿优化的方法，装置以及存储介质 - Google Patents

Abstract

本申请公开了一种足式机器人位姿优化的方法，装置以及存储介质，用于对机器人进行控制，提升机器人对不同楼梯的适应性和扩展性。本申请方法包括：获取当前环境的点云信息以及图像信息；基于所述当前环境的点云信息，提取出第一特征点集合；识别所述图像信息中的需求特征图像，基于所述需求特征图像对第一特征点集合进行语义标记，筛选出标记有语义信息的需求特征点集合；获取地图数据中的点云信息，并从所述地图数据的点云信息中确定第二特征点集合；将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿。

Description

一种足式机器人位姿优化的方法，装置以及存储介质

技术领域

本申请涉及机器人技术领域，尤其涉及一种足式机器人位姿优化的方法，装置以及存储介质。

背景技术

足式机器人相较于传统的轮式机器人和履带式机器人，其优势在于良好的越障性能，足式机器人多自由度的腿足结构使其可以应对一些较为复杂的地形。而四足机器人作为对常见动物的仿生机器人，具有良好的应用前景和潜力。

对于机器人来说，最简单的功能便是行走，而真实世界的外部地形环境是很复杂的，例如山地、沙漠等自然环境，公路、草坪、楼梯等人造环境，其中楼梯便是机器人需要面对的一个典型的生活场景。为了机器人具备爬楼梯的功能，需要机器人具有较强的感知能力。现有技术中，一般通过两种方法来实现机器人的爬楼梯，一种是通过控制算法，实现多足机器人的盲爬。该方法会存在两个很明显的问题，首先是盲爬效率会比较低，一级台阶可能需要盲踩多次，才能通过；另外一般楼梯都很光滑，很容易发生足部打滑和踩空等情况，最终估计出的自身位置精度会比较低。

另一种的通过对楼梯的几何参数进行精确建模，实现多足机器人的爬楼梯功能。相对于控制算法，该方法在效率和精度上，都会有明显的提升。但是该方法认为楼梯面是平面且水平，楼梯竖直面也是平面且竖直，当楼梯结构发生变化或者楼梯上存在障碍物时，会影响机器人爬楼梯的效果，因此适用性和扩展性较差。

发明内容

为了解决上述技术问题，本申请提供了一种足式机器人位姿优化的方法，装置、存储介质及足式机器人。

本申请第一方面提供了一种足式机器人位姿优化的方法，所述方法包括：

获取当前环境的点云信息以及图像信息；

基于所述当前环境的点云信息，提取出第一特征点集合；

识别所述图像信息中的需求特征图像，基于所述需求特征图像对第一特征点集合进行语义标记，筛选出标记有语义信息的需求特征点集合；

获取地图数据中的点云信息，并从所述地图数据的点云信息中确定第二特征点集合；

将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

将机器人的当前位姿更新为实际的位姿

可选的，在所述获取当前环境的点云信息以及图像信息之后，所述方法还包括：

基于所述当前环境的图像信息，确定所述机器人所处场景，

所述识别所述图像信息中的需求特征图像包括：

基于所述场景选择对应的需求特征图像，所述场景包括机器人爬楼梯场景、坡道场景、室内平面场景、室外平面场景。

可选的，所述第一特征点集合包括当前环境的线特征点集合和面特征点集合，若确定所述场景为机器人爬楼梯场景，则所述识别所述图像信息中的需求特征图像，基于所述需求特征图像对第一特征点集合进行语义标记，包括：

基于深度学习网络模型识别所述图像信息中的需求特征图像，

所述需求特征图像为所述图像信息中的楼梯边缘线图像和楼梯面图像；基于所述楼梯边缘线图像和楼梯面图像，标记所述当前环境的线特征点集合和面特征点集合的语义信息，所述语义信息包括楼梯边缘线信息和楼梯面信息，筛选出标记有语义信息的需求特征点集合。

可选的，所述第二特征点集合为地图数据中的线特征点集合和面特征点集合，所述将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，包括：

将所述需求特征点集合的线特征点与第二特征点集合的线特征点进行匹配，所述需求特征点集合的线特征点标记有楼梯边缘线信息；

将所述需求特征点集合的面特征点与第二特征点集合的面特征点进行匹配，所述需求特征点集合的面特征点标记有楼梯面信息。

可选的，所述获取当前环境的点云信息以及图像信息包括：

若所述当前环境的图像信息为同一平面，则控制机器人转换视角或更换摄像头，重新获取当前环境的点云信息以及图像信息。

可选的，所述将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿包括：

根据正态分布变换算法将所述需求特征点集合与第二特征点集合进行匹配；

和/或

根据最近邻迭代算法将所述需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿。

可选的，在所述根据匹配结果对所述机器人当前的当前位姿进行优化之后，还包括：

根据优化后的点云信息更新所述地图数据。

本申请第二方面提供了一种足式机器人位姿优化的装置，所述装置包括：

获取单元，用于获取当前环境的点云信息以及图像信息；

提取单元，用于基于所述当前环境的点云信息，提取出第一特征点集合；

处理单元，用于识别所述图像信息中的需求特征图像，基于所述需求特征图像对第一特征点集合进行语义标记，筛选出标记有语义信息的需求特征点集合；

确定单元，用于获取地图数据中的点云信息，并从所述地图数据的点云信息中确定第二特征点集合；

匹配单元，用于将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

更新单元，用于将机器人的当前位姿更新为实际的位姿。

可选的，还包括场景确定单元，用于：

基于所述当前环境的图像信息，确定所述机器人所处场景，基于所述场景选择对应的需求特征图像，所述场景包括机器人爬楼梯场景、坡道场景、室内平面场景、室外平面场景。

可选的，所述第一特征点集合包括当前环境的线特征点集合和面特征点集合，若所述场景确定单元确定为机器人爬楼梯场景，所述处理单元具体用于：

基于深度学习网络模型识别所述图像信息中的需求特征图像，

所述需求特征图像为所述图像信息中的楼梯边缘线图像和楼梯面图像；基于所述楼梯边缘线图像和楼梯面图像，标记所述当前环境的线特征点集合和面特征点集合的语义信息，所述语义信息包括楼梯边缘线信息和楼梯面信息，筛选出标记有语义信息的需求特征点集合。

可选的，所述第二特征点集合为地图数据中的线特征点集合和面特征点集合，所述匹配单元具体用于：

将所述需求特征点集合的线特征点与第二特征点集合的线特征点进行匹配，所述需求特征点集合的线特征点标记有楼梯边缘线信息；

将所述需求特征点集合的面特征点与第二特征点集合的面特征点进行匹配，所述需求特征点集合的面特征点标记有楼梯面信息。

可选的，所述获取单元具体用：

若所述当前环境的图像信息为同一平面，则控制机器人转换视角或更换摄像头，重新获取当前环境的点云信息以及图像信息。

可选的，所述匹配单元具体用于：

根据正态分布变换算法将所述需求特征点集合与第二特征点集合进行匹配；

和/或

根据最近邻迭代算法将所述需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿。

可选的，还包括地图更新单元，用于：

根据优化后的点云信息更新所述地图数据。

本申请第三方面提供了一种足式机器人，包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供的方法中，对机器人进行爬楼梯控制时，通过将标记有语义信息的需求特征点集合与第二特征点进行匹配，这样能够得到一个精度较高的初始值，这样能够获取到一个较好的机器人位姿，可作为规划机器人爬楼梯动作的一个重要参考元素，利用优化的位姿进行之后的运动规划。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明其中一个实施方式的多足机器人的硬件结构的一个示意图；

图2为本发明其中一个实施方式的多足机器人的硬件结构的另一示意图；

图3为本申请中提供的足式机器人位姿优化的方法的一个实施例流程示意图；

图4为本申请中提供的足式机器人位姿优化的方法确定需求特征图像的一个实施例流程示意图；

图5为本申请中提供的足式机器人位姿优化的方法对特征点进行分类的一个实施例流程示意图；

图6为本申请中提供的足式机器人位姿优化的方法的更新地图数据的一个实施例流程示意图；

图7为本申请中提供的足式机器人位姿优化的装置的一个实施例结构示意图；

图8为本申请中提供的足式机器人的一个实施例结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示部件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

请参阅图1，图1为本发明其中一个实施方式的多足机器人100的硬件结构示意图。在图1所示的实施方式中，多足机器人100包括机械单元101、通讯单元102、传感单元103、接口单元104、存储单元105、控制模块110、电源111。多足机器人100的各种部件可以以任何方式连接，包括有线或无线连接等。本领域技术人员可以理解，图1中示出的多足机器人100的具体结构并不构成对多足机器人100的限定，多足机器人100可以包括比图示更多或更少的部件，某些部件也并不属于多足机器人100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略，或者组合某些部件。

下面结合图1对多足机器人100的各个部件进行具体的介绍：

机械单元101为多足机器人100的硬件。如图1所示，机械单元101可包括驱动板1011、电机1012、机械结构1013，如图2所示，机械结构1013可包括机身主体1014、可伸展的腿部1015、足部1016，在其他实施方式中，机械结构1013还可包括可伸展的机械臂（图未示）、可转动的头部结构1017、可摇动的尾巴结构1018、载物结构1019、鞍座结构1020、摄像头结构1021等。需要说明的是，机械单元101的各个部件模块可以为一个也可以为多个，可根据具体情况设置，比如腿部1015可为4个，每个腿部1015可配置3个电机1012，对应的电机1012为12个。

通讯单元102可用于信号的接收和发送，还可以通过与网络和其他设备通信，比如，接收遥控器或其他多足机器人100发送的按照特定步态以特定速度值向特定方向移动的指令信息后，传输给控制模块110处理。通讯单元102包括如WiFi模块、4G模块、5G模块、蓝牙模块、红外模块等。

传感单元103用于获取多足机器人100周围环境的信息数据以及监控多足机器人100内部各部件的参数数据，并发送给控制模块110。传感单元103包括多种传感器，如获取周围环境信息的传感器：激光雷达�用于远程物体检测、距离确定和/或速度值确定)、毫米波雷达�用于短程物体检测、距离确定和/或速度值确定)、摄像头、红外摄像头、全球导航卫星***（GNSS，Global Navigation Satellite System）等。如监控多足机器人100内部各部件的传感器：惯性测量单元（IMU，Inertial Measurement Unit）（用于测量速度值、加速度值和角速度值的值），足底传感器（用于监测足底着力点位置、足底姿态、触地力大小和方向）、温度传感器（用于检测部件温度）。至于多足机器人100还可配置的载荷传感器、触摸传感器、电机角度传感器、扭矩传感器等其他传感器，在此不再赘述。

接口单元104可以用于接收来自外部装置的输入�例如，数据信息、电力等)并且将接收到的输入传输到多足机器人100内的一个或多个部件，或者可以用于向外部装置输出�例如，数据信息、电力等)。接口单元104可包括电源端口、数据端口（如USB端口）、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出�I/O)端口、视频I/O端口等。

存储单元105用于存储软件程序以及各种数据。存储单元105可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作***程序、运动控制程序、应用程序（比如文本编辑器）等；数据存储区可存储多足机器人100在使用中所生成的数据（比如传感单元103获取的各种传感数据，日志文件数据）等。此外，存储单元105可以包括高速随机存取存储器，还可以包括非易失性存储器，例如磁盘存储器、闪存器、或其他易失性固态存储器。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode, OLED）等形式来配置显示面板1061。

输入单元107可用于接收输入的数字或字符信息。具体地，输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户的触摸操作（比如用户使用手掌、手指或适合的附件在触控面板1071上或在触控面板1071附近的操作），并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置1073和触摸控制器1074两个部分。其中，触摸检测装置1073检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器1074；触摸控制器1074从触摸检测装置1073上接收触摸信息，并将它转换成触点坐标，再送给控制模块110，并能接收控制模块110发来的命令并加以执行。除了触控面板1071，输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于遥控操作手柄等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给控制模块110以确定触摸事件的类型，随后控制模块110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来分别实现输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现输入和输出功能，具体此处不做限定。

控制模块110是多足机器人100的控制中心，利用各种接口和线路连接整个多足机器人100的各个部件，通过运行或执行存储在存储单元105内的软件程序，以及调用存储在存储单元105内的数据，从而对多足机器人100进行整体控制。

电源111用于给各个部件供电，电源111可包括电池和电源控制板，电源控制板用于控制电池充电、放电、以及功耗管理等功能。在图1所示的实施方式中，电源111电连接控制模块110，在其它的实施方式中，电源111还可以分别与传感单元103（比如摄像头、雷达、音箱等）、电机1012电性连接。需要说明的是，各个部件可以各自连接到不同的电源111，或者由相同的电源111供电。

在上述实施方式的基础上，具体地，在一些实施方式中，可以通过终端设备来与多足机器人100进行通信连接，在终端设备与多足机器人100进行通信时，可以通过终端设备来向多足机器人100发送指令信息，多足机器人100可通过通讯单元102来接收指令信息，并可在接收到指令信息的情况下，将指令信息传输至控制模块110，使得控制模块110可根据指令信息来处理得到目标速度值。终端设备包括但不限于：具备图像拍摄功能的手机、平板电脑、服务器、个人计算机、可穿戴智能设备、其它电器设备。

指令信息可以根据预设条件来确定。在一个实施方式中，多足机器人100可以包括传感单元103，传感单元103可根据多足机器人100所在的当前环境可生成指令信息。控制模块110可根据指令信息来判断多足机器人100的当前速度值是否满足对应的预设条件。若满足，则会保持多足机器人100的当前速度值和当前步态移动；若不满足，则会根据对应的预设条件来确定目标速度值和相应的目标步态，从而可控制多足机器人100以目标速度值和相应的目标步态移动。环境传感器可以包括温度传感器、气压传感器、视觉传感器、声音传感器。指令信息可以包括温度信息、气压信息、图像信息、声音信息。环境传感器与控制模块110之间的通信方式可以为有线通信，也可以为无线通信。无线通信的方式包括但不限于：无线网络、移动通信网络（3G、4G、5G等）、蓝牙、红外。

本申请还提供了一种足式机器人位姿优化的方法，用于对机器人进行控制。

请参阅图3，图3为本申请提供的足式机器人位姿优化的方法一个实施例流程示意图，该实施例中，通过从当前环境的点云信息以及图像信息中分别获得第一特征点集合以及需求特征点集合，将标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，从而得到机器人的实际位姿，通过实际位姿来对机器人的位姿进行更新，在实际中，由于当前位姿是一种假定的位姿，不一定能够准确描述机器人的位置，因此将匹配结果，即经过优化的点云信息来对当前位姿进行优化，得到优化后的实际位姿，最后使用实际位姿控制机器人来爬楼梯，能够使得机器人能够实时的适应当前的环境，尤其的提高机器人在爬楼梯等复杂地形时的适应能力。下面对该实施例进行详细阐述，该足式机器人位姿优化的方法包括：

301、获取当前环境的点云信息以及图像信息；

本申请提供的方法可以用于对机器人进行控制，例如机器人在爬楼梯时的应用，足式机器人在应对楼梯或者类似楼梯等地形，还有爬坡、室内、室外场景等时，可以会发生打滑踩空，导致身体失衡等。

在获取当前环境的点云信息以及图像信息之后，如果当前的图像信息显示为同一平面，则控制机器人转换视角或者切换摄像头重新获取当前环境的点云信息以及图像信息。其中，如果图像信息中所显示的面曲率为0说明为平面，例如，摄像头获取的是个坡面或者墙面，有可能之前是用的机器人胸部的摄像头作为数据采集的摄像头，现在转换为机器人头部的摄像头，从而确保当前环境图像不只是坡面，还包含有其它参照物。

本申请提供的方法，首先机器人通过例如深度相机或者激光雷达等传感器采集当前环境的点云信息以及图像信息，点云信息是指在一个三维坐标***中的一组向量的集合，扫描信息以点的形式记录，每一个点包含有三维坐标，也可以含有颜色信息或反射强度信息。

302、基于所述当前环境的点云信息，提取出第一特征点集合。

在采集到的点云信息中，提取出第一特征点，第一特征点可以是多个点，第一特征点可以是包含有线特征点以及面特征点。

303、识别所述图像信息中的需求特征图像，基于所述需求特征图像对第一特征点集合进行语义标记，筛选出标记有语义信息的需求特征点集合；

作为一种实施方式，识别图像信息中的需求特征图像可以是通过预先训练好的深度学***常见到的所有楼梯的边缘线和面（其中泛化是指可以检测不同结构的楼梯），需求特征图像即为经过深度学习网络模型识别的图像，其中包含所识别出来的楼梯边缘线和楼梯面，进而将第一特征点与需求特征图像进行相关联，具体可以是经过深度学习的楼梯的线、面图像和从点云信息中获取的线、面进行融合，融合到的具体方式可以是将需求特征图像中的楼梯边缘线图像信息和楼梯面图像信息与当前环境的线特征点和面特征点进行时间对齐，进而获得标记有语义信息的需求特征点，例如楼层边缘线和面相应的点云坐标。通过上述步骤，可以去掉冗余的线特征点和面特征点，实现进一步降噪，用剩下筛选出的标记有语义信息的需求特征点集合进行匹配，进而针对点云匹配精度做进一步的约束。

304获取地图数据中的点云信息，并从地图数据的点云信息中确定第二特征点集合；

从地图数据的点云信息中确定第二特征点集合，例如可以是遍历点云信息中的所有点，再通过平滑度计算来将特征点分类为线特征点和面特征点，平滑度较大的是线特征点，平滑度较小的是面特征点，以提高后面匹配精度。地图数据为通过机器人实时采集生成的，即本申请提供的方法中，地图数据可以是更新的地图数据或者是预先存储有的当前环境的完整地图数据，例如若机器人下楼跌落，若前一帧无法获得当前的环境点云信息，这时候需要从预先存储的地图数据中获取点云信息。

305、将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

将标记有语义信息的需求特征点集合与第二特征点进行匹配，其中匹配可以是ICP匹配，也可以是NDT匹配，或者是两者结合，ICP（中文全称：最邻近迭代算法，英文全称：Iterative Closest Point，英文缩写：ICP）算法是基于数据法，利用最近点搜索法，从而解决基于自由形态曲面的一种算法，本实施例中可以将ICP算法应用于第一特征点与第二特征点的匹配中，通过匹配后的匹配结果，可以得到经过优化的点云信息。在实际中，如果是首次采集特征点信息，则可不进行ICP匹配，而直接将采集到的信息加入到地图数据中。

306、将机器人的当前位姿更新为实际的位姿。

根据匹配结果对机器人当前的位姿进行优化更新，当前位姿是当前对机器人假设的位姿，位姿例如可以是机器人摄像头位置和朝向的信息，该位姿是一种假定的位姿，不一定能够准确描述机器人的位置，因此将匹配结果，即经过优化的点云信息来对当前位姿进行优化，得到优化后的实际位姿，最后使用实际位姿控制机器人来爬楼梯。通过该方法能够有效的提高机器人的适应性，尤其是针对足式机器人爬楼梯等复杂场景的适应性。

上述实施例已经阐述了通过深度学习网络模型来识别图像信息中的需求特征图像，进一步的，在另一种实施方式中，可以具体根据实际的场景来选择对应需求特征图像，从而针对不同的场景迅速的获取对应的需求特征图像。下面将对该实施例进行详细说明。

请参阅图4，该实施例包括：

401、获取当前环境的点云信息以及图像信息；

402、基于所述当前环境的点云信息，提取出第一特征点集合；

403、基于所述当前环境的图像信息，确定所述机器人所处场景，基于所述场景选择对应的需求特征图像，所述场景包括机器人爬楼梯场景、坡道场景、室内平面场景、室外平面场景。

该实施例中，首先基于当前环境的图像信息来确定当前机器人所处的场景，例如该场景包括爬楼梯场景、室内平面场景、室外平面场景以及坡道场景等，爬楼梯场景即为在上下楼梯或者阶梯状的类楼梯场景中，坡道场景为上坡或者下坡，室内平面场景以及室外场景为在室内或者室外的平面上。通过对图像信息进行分析，确定当前所处的场景属于哪一类场景，再选择与该场景对应的需求特征图像，当检测到在爬楼梯场景下，就以楼梯面线图像作为需求特征图像；当检测到室内场景，选择家具等；室外场景，选择固定建筑物或树木等，非爬楼梯可以用其它方法，也可以采用激光恢复的点云进行特征点提取。

本实施例中，先确定机器人当前所处的场景再选择对应的需求特征图像，能够提高识别的准确性，能够迅速确定出需求特征图像。

404、基于所述需求特征图像对第一特征点集合进行语义标记，筛选出标记有语义信息的需求特征点集合；

405、获取地图数据中的点云信息，并从所述地图数据的点云信息中确定第二特征点集合；

406、将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

407、将机器人的当前位姿更新为实际的位姿。

本实施例中步骤404至步骤407与前述实施例中步骤303至步骤306类似，此处不再赘述。

在另一中实施例中，为了加速ICP的匹配效率，以及提高匹配精度，可以将第一特征点以及第二特征点均可以分类为线特征点以及面特征点，那么在提取第一特征点时，就需要对第一特征点进行分类，下述实施例将进行详细阐述。请参阅图5，该实施例包括：

501、获取当前环境的点云信息以及图像信息；

本申请提供的方法可以用于对机器人进行控制，例如机器人在爬楼梯时的应用，足式机器人在应对楼梯或者类似楼梯等地形时，可以会发生打滑踩空，导致身体失衡等。

本申请提供的方法，首先机器人通过例如深度相机或者激光雷达等传感器采集当前环境的点云信息，点云信息是指在一个三维坐标***中的一组向量的集合，扫描信息以点的形式记录，每一个点包含有三维坐标，也可以含有颜色信息或反射强度信息。图像信息可以是通过一些公开的渠道来收集，也可以是通过机器人上携带的相机来采集，机器人可以是一些足式机器人例如机器马，也可以是其它，为了确保样本的品质，图像信息可以是经过预处理，预处理的方式可以是过滤、清洗、统一规格等。

502、对点云信息中任一个点及其周围预设距离内的点进行平滑度计算；

本实施例中，第一特征点以及第二特征点均包括线特征点以及面特征点两类特征点，那么在提取第一特征点时就需要对第一特征点进行分类，具体的分类可以有多种方式，本实施例中通过对一个点及其周围预设距离内的点进行平滑度计算，从而进行分类，例如对一个点的左侧五个点以及右侧五个点进行平滑度计算。

在一种可选的方式中，进行平滑度计算可以是：

通过如下式子进行平滑度计算：

其中，C表示当前计算的点的平滑度，

表示当前计算的点的深度信息，

表示当前计算的点的左侧5个点，或者右侧5个点的深度信息，N为10。

503、根据平滑度计算将任一个点分类为线特征点或者面特征点。

根据平滑度计算对任一个点进行分类，通过该方法对第一特征点集合中的所有点进行分类，例如根据平滑度的大小进行分类，平滑度较大的是线特征点，平滑度较小的是面特征点。

还可以对面特征点进行统计滤波，利用当前帧所有的面特征点构建一棵KDTREE，遍历每一个面特征点p，计算与p最近50个点的距离的平均值di（其中i代表面特征点i=1,...,M）；假设所有面特征点计算的平均距离当做一个统计量，并满足高斯分布，则可计算得到一个均值µ和方差σ，可反应面特征点的分布情况。

其中µ和σ通过下述式子计算得到：

再次遍历每个平面点，如果点的平均距离满足:

,则设置为内点，继续用来进行下面的优化；否则则当做外点，直接剔除。

504、识别所述图像信息中的需求特征图像，基于所述需求特征图像对第一特征点集合进行语义标记，筛选出标记有语义信息的需求特征点集合；

505、获取地图数据中的点云信息，并从地图数据的点云信息中确定第二特征点；

506、将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

507、将机器人的当前位姿更新为实际的位姿。

通过将第一特征点集合进行分类，有利于后续分别进行线特征点以及面特征点的分别匹配，对于提升匹配效率具有一定的帮助。

在实际应用中，将标记有语义信息的需求特征点集合与第二特征点集合进行匹配可以有多种方式，例如通过ICP匹配，或者通过NDT算法进行匹配，还可以是结合ICP和NDT进行匹配，结合方式可以是先进行NDT匹配再进行ICP匹配，具体可以是，，先用NDT缩小到一个较为准确的范围，可获取一个较好的初值，由于NDT匹配速度较快，因此有利于提升匹配效率，再用ICP精确优化，由置信度（协方差大小）来确定精度，当NDT优化精度不足时，再用ICP优化，优化后可以获取最好的到当前机器人的位姿T2，可作为规划机器人爬楼梯动作的一个重要参考元素，利用优化的位姿进行之后的运动规划。这样不仅能够提升匹配效率，还能够提升匹配精度，充分发挥了两种匹配算法的优势。

请参阅图6，本申请还提供了一种实施例，在进行ICP匹配之后，根据优化后的点云信息来更新地图数据，这样，后续机器人在获取电源信息时获取到的都是最新的点云信息。具体下面将进行详细阐述。该实施例包括：

601、获取当前环境的点云信息以及图像信息；

602、基于所述当前环境的点云信息，提取出第一特征点集合；

603、识别所述图像信息中的需求特征图像，基于所述需求特征图像对第一特征点集合进行语义标记，筛选出标记有语义信息的需求特征点集合；

604、获取地图数据中的点云信息，并从所述地图数据的点云信息中确定第二特征点集合；

605、将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

606、将机器人的当前位姿更新为实际的位姿。

本实施例中步骤601至步骤606与前述实施例中步骤301至步骤306类似，此处不再赘述。

607、根据优化后的点云信息更新地图数据。

由于楼梯是典型的弱纹理和重复纹理，假设位姿T1离真值较远，例如差两个以上台阶的时候，ICP匹配可能会匹配错误，获取的T2就是错误的位姿，可能影响控制的精准度。在本实施例中，维护一个地图数据，每次获取的点云信息都是最新的点云，这样就能保证每次选取的点都是离机器人最近的台阶上的点云，从而保证匹配的准确性。

上述实施例对本申请中提供的足式机器人位姿优化的方法进行了详细阐述，下面将对本申请中提供的足式机器人位姿优化的装置、存储介质进行描述。

请参阅图7，图7为本申请中提供的足式机器人位姿优化的装置的一个实施例结构示意图。

获取单元701，用于获取当前环境的点云信息以及图像信息；

提取单元702，用于基于所述当前环境的点云信息，提取出第一特征点集合；

处理单元703，用于识别所述图像信息中的需求特征图像，基于所述需求特征图像对第一特征点集合进行语义标记，筛选出标记有语义信息的需求特征点集合；

确定单元704，用于获取地图数据中的点云信息，并从所述地图数据的点云信息中确定第二特征点集合；

匹配单元705，用于将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

更新单元706，，用于将机器人的当前位姿更新为实际的位姿。

可选的，还包括确定单元707，用于：

基于所述当前环境的图像信息，确定所述机器人所处场景，基于所述场景选择对应的需求特征图像，所述场景包括机器人爬楼梯场景、坡道场景、室内平面场景、室外平面场景。

可选的，所述第一特征点集合包括当前环境的线特征点集合和面特征点集合，若所述场景确定单元确定为机器人爬楼梯场景，所述处理单元703具体用于：

基于深度学习网络模型识别所述图像信息中的需求特征图像，

所述需求特征图像为所述图像信息中的楼梯边缘线图像和楼梯面图像；基于所述楼梯边缘线图像和楼梯面图像，标记所述当前环境的线特征点集合和面特征点集合的语义信息，所述语义信息包括楼梯边缘线信息和楼梯面信息，筛选出标记有语义信息的需求特征点集合。

可选的，所述第二特征点集合为地图数据中的线特征点集合和面特征点集合，所述匹配单元705具体用于：

将所述需求特征点集合的线特征点与第二特征点集合的线特征点进行匹配，所述需求特征点集合的线特征点标记有楼梯边缘线信息；

将所述需求特征点集合的面特征点与第二特征点集合的面特征点进行匹配，所述需求特征点集合的面特征点标记有楼梯面信息。

可选的，所述获取单元701具体用：

若所述当前环境的图像信息为同一平面，则控制机器人转换视角或更换摄像头，重新获取当前环境的点云信息以及图像信息。

可选的，所述匹配单元705具体用于：

根据正态分布变换算法将所述需求特征点集合与第二特征点集合进行匹配；

和/或

根据最近邻迭代算法将所述需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿。

可选的，还包括地图更新单元708，用于：

根据优化后的点云信息更新所述地图数据。

本申请还提供了一种足式机器，包括：

处理器801、存储器802、输入输出单元803、总线804；

处理器801与存储器802、输入输出单元803以及总线804相连；

存储器802保存有程序，处理器801调用程序以执行如上任一足式机器人位姿优化的方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一足式机器人位姿优化的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种足式机器人位姿优化的方法，其特征在于，所述方法包括：

获取当前环境的点云信息以及图像信息；

基于所述当前环境的图像信息，确定所述机器人所处场景；

基于所述当前环境的点云信息，提取出第一特征点集合，所述第一特征点集合包括当前环境的线特征点集合和面特征点集合，若确定所述场景为机器人爬楼梯场景，则基于所述爬楼梯场景选择对应的需求特征图像，基于深度学习网络模型识别所述图像信息中的需求特征图像，所述需求特征图像为所述图像信息中的楼梯边缘线图像和楼梯面图像；基于所述楼梯边缘线图像和楼梯面图像，标记所述当前环境的线特征点集合和面特征点集合的语义信息，所述语义信息包括楼梯边缘线信息和楼梯面信息，筛选出标记有语义信息的需求特征点集合；

获取地图数据中的点云信息，并从所述地图数据的点云信息中确定第二特征点集合；

将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

将机器人的当前位姿更新为实际的位姿。

2.根据权利要求1中所述的足式机器人位姿优化的方法，其特征在于，所述第二特征点集合为地图数据中的线特征点集合和面特征点集合，所述将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，包括：

将所述需求特征点集合的线特征点与第二特征点集合的线特征点进行匹配，所述需求特征点集合的线特征点标记有楼梯边缘线信息；

将所述需求特征点集合的面特征点与第二特征点集合的面特征点进行匹配，所述需求特征点集合的面特征点标记有楼梯面信息。

3.根据权利要求1中所述的足式机器人位姿优化的方法，其特征在于，所述获取当前环境的点云信息以及图像信息包括：

若所述当前环境的图像信息为同一平面，则控制机器人转换视角或更换摄像头，重新获取当前环境的点云信息以及图像信息。

4.根据权利要求1中所述的足式机器人位姿优化的方法，其特征在于，所述将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿包括：

根据正态分布变换算法将所述需求特征点集合与第二特征点集合进行匹配；

和/或

根据最近邻迭代算法将所述需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿。

5.根据权利要求1中所述的足式机器人位姿优化的方法，其特征在于，在所述根据匹配结果对所述机器人当前的当前位姿进行优化之后，还包括：

根据优化后的点云信息更新所述地图数据。

6.一种足式机器人位姿优化的装置，其特征在于，所述装置包括：

获取单元，用于获取当前环境的点云信息以及图像信息；

场景确定单元，用于基于所述当前环境的图像信息，确定所述机器人所处场景；

提取单元，用于基于所述当前环境的点云信息，提取出第一特征点集合；

处理单元，若所述场景确定单元确定为机器人爬楼梯场景，所述处理单元用于：

基于深度学习网络模型识别所述图像信息中的需求特征图像，

所述需求特征图像为所述图像信息中的楼梯边缘线图像和楼梯面图像；基于所述楼梯边缘线图像和楼梯面图像，标记所述当前环境的线特征点集合和面特征点集合的语义信息，所述语义信息包括楼梯边缘线信息和楼梯面信息，筛选出标记有语义信息的需求特征点集合；

确定单元，用于获取地图数据中的点云信息，并从所述地图数据的点云信息中确定第二特征点集合；

匹配单元，用于将所述标记有语义信息的需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿；

更新单元，用于将机器人的当前位姿更新为实际的位姿。

7.根据权利要求6中所述的足式机器人位姿优化的装置，其特征在于，所述第二特征点集合为地图数据中的线特征点集合和面特征点集合，所述匹配单元具体用于：

将所述需求特征点集合的线特征点与第二特征点集合的线特征点进行匹配，所述需求特征点集合的线特征点标记有楼梯边缘线信息；

将所述需求特征点集合的面特征点与第二特征点集合的面特征点进行匹配，所述需求特征点集合的面特征点标记有楼梯面信息。

8.根据权利要求6中所述的足式机器人位姿优化的装置，其特征在于，所述获取单元具体用：

若所述当前环境的图像信息为同一平面，则控制机器人转换视角或更换摄像头，重新获取当前环境的点云信息以及图像信息。

9.根据权利要求6中所述的足式机器人位姿优化的装置，其特征在于，

所述匹配单元具体用于：

根据正态分布变换算法将所述需求特征点集合与第二特征点集合进行匹配；

和/或

根据最近邻迭代算法将所述需求特征点集合与所述第二特征点集合进行匹配，获取机器人实际的位姿。

10.根据权利要求6中所述的足式机器人位姿优化的装置，其特征在于，还包括地图更新单元，用于：

根据优化后的点云信息更新所述地图数据。

11.一种足式机器人，其特征在于，包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至5任一项所述方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至5中任一项所述方法。

Images