CN105856243A - 一种移动智能机器人 - Google Patents

Abstract

本发明公开了一种移动智能机器人，包括：获取模块，用于获取三维图像信息；定位与地图构建模块，用于根据所述三维图像信息对目标进行识别，并构建地图，对机器人进行位置定位；导航模块，用于利用构建的所述地图对所述机器人进行自主导航。本发明所提供的移动智能机器人，是一个智能机器人产品，也可以是二次开发的平台。其具有较高的处理性能及机动性能，且价格较低，能够应用于日常服务、传递物体、导航及远程操作等场合。

Description

一种移动智能机器人

技术领域

本发明涉及智能机器人技术领域，特别是涉及一种移动智能机器人。

背景技术

移动机器人(Robot)是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作，例如生产业、建筑业，或是危险的工作。

近年来，随着机器人研究的不断发展，机器人技术开始源源不断地向人类活动的各个领域渗透，结合这些领域的应用特点，各种各样的具有不同功能的机器人被研制出来，并且在不同的应用领域都得到了广泛的应用。

目前，移动智能机器人平台国内市场需求较大，提供一种具有较高的处理性能以及机动性能、且价格较低的移动智能机器人是非常有必要的。

发明内容

本发明的目的是提供一种移动智能机器人，目的在于解决现有机器人技术处理性能以及机动性能较低、价格较高的问题。

为解决上述技术问题，本发明提供一种移动智能机器人，包括：

获取模块，用于获取三维图像信息；

定位与地图构建模块，用于根据所述三维图像信息对目标进行识别，并构建地图，对机器人进行位置定位；

导航模块，用于利用构建的所述地图对所述机器人进行自主导航。

可选地，所述获取模块具体用于获取彩色图像信息以及深度图像信息。

可选地，所述获取模块还包括：

梯度和纹理处理单元，用于采用临域抑制加权方法抑制和消除三维图像中的梯度和纹理；

网纹处理单元，用于利用网纹频率以及局部梯度特征产生自适用的滤波核，通过自适用滤波得到原图像的初步估计，采用联合边缘保持滤波获取处理后的图像。

可选地，所述定位与地图构建模块包括：

二维位置信息获取单元，用于通过wifi信号、GPS信号、手机基站信号获取所述机器人的二维位置信息；和/或通过传感器获取所述机器人移动后的位置坐标；

垂直位置信息获取单元，用于通过测距仪获取所述机器人的垂直高度方向的位置信息。

可选地，所述导航模块用于根据所述地图对所述机器人的路径进行规划，并对所述机器人进行运动控制，以避绕路径上的障碍物。

可选地，还包括：

跟踪模块，用于采用属性关系图分析目标的上下文关联性并进行碎片标记，分割出目标区域，对多个运动目标同时进行跟踪。

可选地，还包括：

手势识别模块，用于从传感器的红外窗口投射出点阵图案，根据点阵图像的变化情况对用户的手势进行识别。

可选地，还包括：

人脸识别模块，用于在动态以及静态的背景中判断是否存在面像，并分离出所述面像。

可选地，还包括：

骨骼跟踪模块，用于通过3D扫描装置扫描人体，获取人体骨骼数据。

可选地，还包括：

语音识别交互模块，用于通过对预先保存的仿真数据进行扩展以及训练，在云端的支持下对语音信息进行识别。

本发明所提供的移动智能机器人，包括：用于获取三维图像信息的获取模块；根据所述三维图像信息对目标进行识别，并构建地图，对机器人进行位置定位的定位与地图构建模块；利用构建的地图对机器人进行自主导航的导航模块。本发明所提供的移动智能机器人，是一个智能机器人产品，也可以是二次开发的平台。其具有较高的处理性能及机动性能，且价格较低，能够应用于日常服务、传递物体、导航及远程操作等场合。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的移动智能机器人的一种具体实施方式的结构框图；

图2为本发明所提供的消除静态不反光物体的梯度和网纹的过程示意图；

图3为本发明所提供的消除静态反光物体的网纹的过程示意图；

图4为本发明所提供的二维位置信息获取单元的一种工作过程示意图；

图5为本发明所提供的二维位置信息获取单元的另一种工作过程示意图；

图6为本实施例所提供的定位过程示意图；

图7为本实施例所提供的跟踪过程的示意图；

图8为本实施例所提供的进行人脸识别的过程示意图；

图9为本实施例所提供的进行人脸识别的过程中进行卷积计算的过程示意图；

图10为本申请所提供的骨骼跟踪的工作示意图；

图11为本申请所提供的语音识别过程的工作示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的移动智能机器人的一种具体实施方式的结构框图如图1所示，该机器人包括：

获取模块100，用于获取三维图像信息；

定位与地图构建模块200，用于根据所述三维图像信息对目标进行识别，并构建地图，对机器人进行位置定位；

导航模块300，用于利用构建的所述地图对所述机器人进行自主导航。

本发明所提供的移动智能机器人，包括：用于获取三维图像信息的获取模块；根据所述三维图像信息对目标进行识别，并构建地图，对机器人进行位置定位的定位与地图构建模块；利用构建的地图对机器人进行自主导航的导航模块。本发明所提供的移动智能机器人，是一个智能机器人产品，也可以是二次开发的平台。其具有较高的处理性能及机动性能，且价格较低，能够应用于日常服务、传递物体、导航及远程操作等场合。

在上述实施例的基础上，本发明所提供的移动智能机器人的获取模块具体用于获取彩色图像信息以及深度图像信息。

传统的基于可见光的摄像头拍摄的二维图像，不能对三维物体进行准确的识别与定位，而具有3D功能的摄像头能根据被拍摄物体的特征及物体的模糊程度等深度图像信息快速获得被拍摄物体精确的三维模型。

本发明所提供的机器人通过获取彩色图像和深度图像(以下简称RGBD图像)，解决了三维重建过程中的图像预处理、深度图像对齐、点云数据获取等一系列问题，实现了简便的高品质三维图像重建方法。

进一步地，本发明所提供的移动智能机器人的获取模块中还可以包括：

梯度和纹理处理单元，用于采用临域抑制加权方法抑制和消除三维图像中的梯度和纹理；

网纹处理单元，用于利用网纹频率以及局部梯度特征产生自适用的滤波核，通过自适用滤波得到原图像的初步估计，采用联合边缘保持滤波获取处理后的图像。

由于复杂场景中静态物体拍摄到摄像头中会产生大量的纹理性区域，这些纹理性区域会在电子图片中产生大量的虚假峰值点，若这些纹理性区域不消除，机器人会给出与实际不符的结果和行动，而利用临域抑制加权的软件处理办法来抑制和消除图片中的梯度和纹理。如图2本发明所提供的消除静态不反光物体的梯度和网纹的过程示意图所示。

本实施例中机器人***利用网纹纹理的冗余性去除图像随机噪音，利用网纹频率和局部梯度特征产生自适用的滤波核，通过自适用滤波得到原图的初步估计，采用联合边缘保持滤波得到最终的高质量全色调图片。需要指出的是，边缘指反光物体在摄像头中的某张图片的最外延，它受光线的影响最小。如图3本发明所提供的消除静态反光物体的网纹的过程示意图所示。

在上述任一实施例的基础上，本发明所提供的移动智能机器人中定位与地图构建模块可以具体包括：

二维位置信息获取单元，用于通过wifi信号、GPS信号、手机基站信号获取所述机器人的二维位置信息；和/或通过传感器获取所述机器人移动后的位置坐标；

垂直位置信息获取单元，用于通过测距仪获取所述机器人的垂直高度方向的位置信息。

其中，二维位置信息获取单元的具体工作过程为：

若是室内有信号，则启动所有的传感器和仪器进行2D(XY二维)位置测量。通过GPS信号可以获得机器所在位置的经纬度，通过手机基站信号可以获得位置信号，通过wifi信号可以测量距离，而陀螺仪和加速计可以一起作用，计算用户移动的方向和速度，磁强计可以测定地球磁场的大小与方向。通过这些传感器，可以获得机器人移动后的位置XY二维坐标。该过程可参照图4本发明所提供的二维位置信息获取单元的一种工作过程示意图。

若是室内没有信号，可只启动激光雷达扫描测距仪、陀螺仪传感器、加速计传感器、磁强计、声波测距装置，同样可以获得机器人移动后位置的XY二维坐标。该过程可参照图5本发明所提供的二维位置信息获取单元的另一种工作过程示意图。

获得3D(Z维)位置信息的过程可以为：在获得XY维坐标的同时，可使用激光雷达扫描测距仪和声波测距装置对Z维进行测距，记录获得Z维信息。

本实施例所提供的机器人自带手机基站信号测量仪、Wifi信号、GPS信号、激光雷达扫描测距仪、陀螺仪、加速度计、磁强计(判断磁场方向)、声波测距装置，机器人能够在自身位置不确定和在完全未知环境中创建地图，同时利用地图进行自主定位和导航。

上述传感器和仪器单个的精准度都不是很好，测得的x、y、z坐标还不非常精确，但是如果机器人移动了多个位置，不同的传感器和仪器同时上传给机器人主机的数据，这些数据通过机器人自带的***软件，***软件通过“概率统计”计算出一个与真实距离有一定误差的“大概率距离”，通过机器学习、模式识别等算法合成，机器人***可在一定的可靠区间内来计算距离，然后实施精确定位。这样，虽然在未知的室内环境中，机器人没有参照物，通过传感器的数据它可以校正移动自身位置；***软件可绘制一张准确的室内地图，对环境信息进行正确的表示，输出室内地图SLAM构建数据。本实施例所提供的定位过程示意图如图6所示。

在上述任一实施例的基础上，本发明所提供的移动智能机器人中，导航模块用于根据所述地图对所述机器人的路径进行规划，并对所述机器人进行运动控制，以避绕路径上的障碍物。

此外，本发明所提供的移动智能机器人还可以进一步包括：

跟踪模块，用于采用属性关系图分析目标的上下文关联性并进行碎片标记，分割出目标区域，对多个运动目标同时进行跟踪。

针对传统跟踪方法中目标区域无法完整分割，导致跟踪失败的现象，本发明所提供的机器人提出了将前景中的不同的运动目标划分为具有特征一致性“碎片”，采用属性关系图分析目标的上下文关联性并进行碎片标记，在分割出目标区域的同时识别跟踪目标。该跟踪技术采用了联合数据改进关联多目标跟踪方法，根据关联概率分析目标再出现、消失、遮挡、分离等复杂情况下的多目标跟踪。本实施例所提供的跟踪过程的示意图如图7所示。

进一步地，本申请还可以包括：

手势识别模块，用于从传感器的红外窗口投射出点阵图案，根据点阵图像的变化情况对用户的手势进行识别。

手势识别的原理为：从传感器的红外窗口投射出大面积的红色点阵图案到手上，点阵图像会根据手反射光线的变化而变化，也会随物体与发射源的距离变化而变化。

手势是自然、直观、易于机器学习的人机交付手段。静态手势对应空间里的一系列静止的点，而动态手势对应空间里的一条轨迹，需要使用随时间变化的空间特征来描述。移动智能机器人手势识别分为几个阶段：手势分割，手势建模，手势分析，手势识别，4个阶段工作全部在控制***主机板中完成。

本申请还可以包括：

人脸识别模块，用于在动态以及静态的背景中判断是否存在面像，并分离出所述面像。

由于拍摄人脸的角度、光照强度、表情变化、年龄、化妆、遮挡、图片质量等变化，同一个人的不同人脸图片具有很大差异；同时，随着待识别的人数数据量的急剧增加、出现长得比较像的人的概率增加等情况逐渐增多。机器人人脸识别主要需要解决的难题是，如何让计算机在较多的不同人脸变化的干扰下依然能够辨识到可能比较微弱的某个体人脸变化。

移动服务机器人控制***软件利用“人脸大数据”这个“价值网络”去计算不同类内人脸变化，用“卷积神经网络”方法和新的形变层去选择需要识别的单个人脸，两个不同“网络”合作来进行最终的人脸识别。

进行人脸识别的过程示意图如图8所示，其中进行卷积计算的过程示意图如图9所示。

本发明所提供的人脸识别具有以下优势：1、创造性的将待识别对象模型的各层和传统物体检测***的各个关键步骤建立对应关系；2、在卷积网络的基础上提出了新的形变层，通过形变层，不同类物体可以共享部件模型和形变模型。

作为一种具体实施方式，本发明还提供进一步包括：

骨骼跟踪模块，用于通过3D扫描装置扫描人体，获取人体骨骼数据。

骨骼跟踪技术获取身体关节点的三维位置信息，为进行人体姿势识别提供了丰富的信息，拟在三维关节点位置信息的基础上，建立一种实时的人体姿势识别***。对人体进行骨骼识别之后，***软件将存储人体骨骼并自动生产22个关节点的。

本发明所提供的骨骼跟踪技术具有下述优势：骨骼识别不需要在云端调用任何骨骼数据库，只需要通过机器人自带的3D扫描装置快速扫描人体，再把数据输入到机器人***软件即可。因为人的骨头的长短比例和生长位置在相对的年龄段内都是恒定的，只需要在***软件内建一个本地静态骨骼数据库并且允许一定的误差。本申请所提供的骨骼跟踪的工作示意图如图10所示。

本发明所提供的移动智能机器人还可以包括：

语音识别交互模块，用于通过对预先保存的仿真数据进行扩展以及训练，在云端的支持下，对语音信息进行识别。该过程的工作示意图如图11所示。

调用云端的语言，对于移动智能机器人来说，有2个问题需要解决。

一是需要设定语言基准。通过本地保存的仿真数据来扩展和增强训练，使得机器人具有语言的基础识别能力。也就是把语言云的数据放置在机器人***软件中，***软件对其自动识别并打上“标签”(如类别和语言质量)进行标记，这样一来，机器人就具有基础的语言识别能力。

二是自升级功能。机器人***软件语言集中，应用软件技术手段来扩充待识别云端语言“数据库”，修正第一阶段“语言基准模型”的误差，把两个模型的结果组合在一起，形成新的语言基准并保持在机器人***软件中。这是一种语言组合自升级技术，兼顾了语言模型可解释性和性能要求，技术合理性来自语言基准第一部分，功能可扩展和扩展后的合理性通过自升级功能保证。

综上，本发明所提供的移动智能机器人平台在智能控制模式下能实现室内地图构建、自主导航和人机交互。在机器人ROS操作***支持下，机器人能进行室内实时定位及地图构建，对3D物体进行识别、理解、定位，并能够完全绕过障碍物进行最优化自主导航；机器人并能同时实现人机交互，如手势识别、骨骼跟踪、人脸识别和语言识别。ROS操作***是一款非常完善的开源的机器人操作***，能够应用于日常服务、传递物体、导航及远程操作的场合和相关研究机构中，为研究各类实用性智能服务机器人打下坚实的基础。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的移动智能机器人进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种移动智能机器人，其特征在于，包括：

获取模块，用于获取三维图像信息；

定位与地图构建模块，用于根据所述三维图像信息对目标进行识别，并构建地图，对机器人进行位置定位；

导航模块，用于利用构建的所述地图对所述机器人进行自主导航。

2.如权利要求1所述的移动智能机器人，其特征在于，所述获取模块具体用于获取彩色图像信息以及深度图像信息。

3.如权利要求2所述的移动智能机器人，其特征在于，所述获取模块还包括：

梯度和纹理处理单元，用于采用临域抑制加权方法抑制和消除三维图像中的梯度和纹理；

网纹处理单元，用于利用网纹频率以及局部梯度特征产生自适用的滤波核，通过自适用滤波得到原图像的初步估计，采用联合边缘保持滤波获取处理后的图像。

4.如权利要求1所述的移动智能机器人，其特征在于，所述定位与地图构建模块包括：

二维位置信息获取单元，用于通过wifi信号、GPS信号、手机基站信号获取所述机器人的二维位置信息；和/或通过传感器获取所述机器人移动后的位置坐标；

垂直位置信息获取单元，用于通过测距仪获取所述机器人的垂直高度方向的位置信息。

5.如权利要求1至4任一项所述的移动智能机器人，其特征在于，所述导航模块用于根据所述地图对所述机器人的路径进行规划，并对所述机器人进行运动控制，以避绕路径上的障碍物。

6.如权利要求5所述的移动智能机器人，其特征在于，还包括：

跟踪模块，用于采用属性关系图分析目标的上下文关联性并进行碎片标记，分割出目标区域，对多个运动目标同时进行跟踪。

7.如权利要求6所述的移动智能机器人，其特征在于，还包括：

手势识别模块，用于从传感器的红外窗口投射出点阵图案，根据点阵图像的变化情况对用户的手势进行识别。

8.如权利要求7所述的移动智能机器人，其特征在于，还包括：

人脸识别模块，用于在动态以及静态的背景中判断是否存在面像，并分离出所述面像。

9.如权利要求8所述的移动智能机器人，其特征在于，还包括：

骨骼跟踪模块，用于通过3D扫描装置扫描人体，获取人体骨骼数据。

10.如权利要求9所述的移动智能机器人，其特征在于，还包括：

语音识别交互模块，用于通过对预先保存的仿真数据进行扩展以及训练，在云端的支持下对语音信息进行识别。