CN105291114A - 基于移动互联网的家居服务型机器人*** - Google Patents

Abstract

本发明公开了一种基于移动互联网的家居服务型机器人***，包括：操作装置，配置用于向机器人发出控制信息和完成机器人运动状态反馈；云服务器，配置用于在操作装置与机器人之间传输并储存信息；以及机器人，配置用于完成家居任务。本发明所述基于移动互联网的家居服务型机器人***通过控制机器人与陪护对象交互或控制机器人完成作业，为被陪护对象提供具有陪护者高度临场感的陪护效果，解决对陪护对象实时有效陪护和满足陪护对象的心理需求等问题。

Description

基于移动互联网的家居服务型机器人***

技术领域

本发明涉及信息技术领域，尤其涉及一种基于移动互联网的家居服务型机器人***。

背景技术

近几十年来，随着我国社会经济的迅速发展，人民生活水平的提高，医疗卫生条件的改善，生育率和死亡率的迅速下降，人口年龄结构发生了急剧的变化。青少年人口比重大幅度下降，老年人口比重迅速上升。从现在起到2050年，中国老龄社会将经历起步、加速到高峰的发展过程，人口老龄化历程将呈现速度快、时间短等特征。

与发达国家相比，中国人口老龄化的速度更快、时问更短。据统计，60岁以上老年人口的比重由7％上升到14％，只需25年左右，比世界上人口老龄化速度最快的日本还快，而其他发达国家完成这一过程用了更长的时间，法国115年，瑞典85年，德国和英国45年。中国老年人口比重由14％上升到28％，大约需要35年左右，中国人口老龄化速度之快远远超过了原来的预测。中国将成为世界上人口老龄化速度最快的国家之一，快速的人口老龄化对人口及社会经济的发展将产生深刻的影响。

随着年龄的增长，老年人的身体机能下降、情感需求日益增加，主要体现有：

1、在身体机能方面；老年人的身体机能退化，肌肉松弛、语言缓慢、耳聋眼花、手指哆嗦、运动障碍，使得身体的贮备能力减少。同时感知觉减退、记忆力下降、反应迟钝，适应能力减弱，抵抗力下降，生活自理能力降低。

2、在情感方面：子女不在身边的情况时有发生。因为对老年人的陪伴等心理健康关往不够，导致很多老年人会情绪低沉、心情郁闷。同时，对身心功能减退的不安，对生理疾病的不安和对死亡的恐惧，以及引发的心理问题也是老年人经常遇到的情感方面的问题。

基于以上特征，对于老人家庭陪护有以下几个方面的需求：

1、家务服务

(1)药品与物品传递。老年人由于身体老化，腿脚不便，对于一些取递物品之类的动作，有一定的困难，需要相应的服务。

(2)开关灯、开关门。简单的家务劳动劳动，是我们日常生活中特别简单、频繁的动作，但对于老人，尤其是腿脚不方便的老人，显得尤为困难。

(3)推轮椅。对于身体有残疾，行动不变需要做轮椅的老人，需要有人推着轮椅帮助他们在室内移动或者到室外呼吸新鲜空气。

2、心理陪护

(1)语音交流。通过语言交流，可以使得老年人感受到安慰，缓解孤独，焦虑等心理症状。

(2)视频图像交流。这是在语言交流的基础上进一步的提升，通过画面交流，可以随时进行沟通，了解到语音所无法提供的信息。

(3)肢体交流。通过握手、挥手、拥抱等的动作，进行触觉上的接触。

3、非交互作业

(1)人员定位。当老人在家庭内遇到突发情况时候，及时地对老人进行定位，可以迅速确定老人的位置，实施相应的措施。

(2)健康状况在线监测。对老年人的身体状况进行实时监测，在线监测，一旦老年人的身体状况有问题，可以及时的进行提醒。

(3)室内环境监测。老年人对环境要求要比年轻人严格一些，通过对房间温度湿度等方面的监测，可以在环境发生变化时候，进行调节。

发明内容

为此，本发明提出了一种可以解决上述问题的至少一部分的新基于移动互联网的家居服务型机器人***。

本发明的提供了一种基于移动互联网的家居服务型机器人***，包括：操作装置，配置用于向机器人发出控制信息和完成机器人运动状态反馈；云服务器，配置用于在操作装置与机器人之间传输并储存信息；以及机器人，配置用于完成家居任务。

可选地，根据本发明的基于移动互联网的家居服务型机器人***，其中，所述操作装置包括：运动捕捉装置，配置用于获取操作者肢体动作语言；以及控制命令交互装置，配置用于生成控制信息。

可选地，根据本发明的基于移动互联网的家居服务型机器人***，其中，所述云服务器包括：信息传输与存储装置，用于传输、存储和检索双向信息；全局智能决策装置，用于对机器人与人间进行智能控制分配与实时协调；以及操作命令专家装置，用于实时生成与受控的机器人相匹配的操作命令序列并向所述机器人发送控制指令。

可选地，根据本发明的基于移动互联网的家居服务型机器人***，其中，所述运动捕捉包括大范围运动捕捉和立体视觉运动捕捉。

可选地，根据本发明的基于移动互联网的家居服务型机器人***，其中，所述大范围运动捕捉包括：通过视频采集以确定人体的空间坐标位置；通过空间坐标位置计算出人体各关节的运动角度；以及匹配人体各关节的运动角度的信息并发送给机器人。

可选地，根据本发明的基于移动互联网的家居服务型机器人***，其中，所述立体视觉运动捕捉包括：利用精细作业双目视觉***获得人体部位特征信息；分析人体部位特征信息并构建人体关节图信息；以及把人体关节图信息发送给机器人。

可选地，根据本发明的基于移动互联网的家居服务型机器人***，其中，所述机器人包括跟随交互机器人、小型双足仿人机器人和小型双臂移动作业机器人。

本发明所述基于移动互联网的家居服务型机器人***通过控制机器人与陪护对象交互或控制机器人完成作业，为被陪护对象提供具有陪护者高度临场感的陪护效果，解决对陪护对象实时有效陪护和满足陪护对象的心理需求等问题。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。其中在附图中，参考数字之后的字母标记指示多个相同的部件，当泛指这些部件时，将省略其最后的字母标记。在附图中：

图1为本发明所述基于移动互联网的家居服务型机器人***的结构示意图；

图2为大范围运动捕捉的流程图；

图3为立体视觉运动捕捉的流程图；

图4为本发明中实验现场的布置图；

图5为机器人右臂作业脉冲图；

图6为机器人左臂作业脉冲图；以及

图7为示出了可用来实践本发明的实施方式的计算设备的框图。

在附图中，使用相同或类似的标号来指代相同或类似的元素。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

图1示出了本发明所述基于移动互联网的家居服务型机器人***的结构示意图。如图1所示，所述基于移动互联网的家居服务型机器人***包括操作装置10、云服务器20和机器人30，其中，所述操作装置10用于向机器人30发出控制信息并完成机器人30运动状态反馈，所述云服务器20用于在所述操作装置10与所述机器人30之间传输并储存信息，所述机器人30接收所述操作装置10通过所述云服务器20传输来的控制信息，并通过控制信息作出相关的指令，并把反馈的信息通过所述云服务器20传送给所述操作装置10。

本发明所述基于移动互联网的家居服务型机器人***中，所述操作装置10包括运动捕捉装置11和控制命令交互装置12。操作装置10可实时显示来自机器人30作业现场的环境信息，使操作者身临其境，操作者根据现场状况和操作意图，并使用所述控制命令交互装置12向机器人发出控制命令。如图1所示，所述操作装置10包括运动捕捉装置11和控制命令交互装置12，其中，所述运动捕捉装置11于获取操作者肢体动作语言，所述控制命令交互装置12用于生成控制信息，所述运动捕捉装置11和所述控制命令交互装置12相连接，所述运动捕捉装置11将获取的操作者肢体动作语言信息发送给所述控制命令交互装置12，所述控制命令交互装置12根据其信息生成控制信息。

本发明所述基于移动互联网的家居服务型机器人***中，所述云服务器20包括信息传输与存储装置21、全局智能决策装置22和操作命令专家装置23。如图1所示，所述云服务器20包括信息传输与存储装置21、全局智能决策装置22和操作命令专家装置23，其中，所述信息传输与存储装置21用于传输、存储和检索双向信息，所述双向信息为在所述操作装置10与所述机器人30之间相互传送的信息，所述信息传输与存储装置21不仅能够完成数据传输，还能够对所述机器人30的动作模式进行存储与检索。

所述全局智能决策装置22适用于多模式控制而且是多构型的家居陪护机器人***，为了避免控制信息的冲突、混乱以及伤害陪护对象命令的发出，所述全局智能决策装置22可实现对机器人-人的智能控制分配与实时协调机制。

所述操作命令专家装置23用于实时生成与受控的机器人30相匹配的操作命令序列并向所述机器人30发送控制指令，以完成复杂动作的匹配等任务，从而减轻操作的复杂性。

本发明所述基于移动互联网的家居服务型机器人***中，所述运动捕捉包括大范围运动捕捉和立体视觉运动捕捉。对于捕捉的运动有大范围的运动，也有立体视觉运动，大范围运动例如走上前去拥抱陪护人，其中涉及的是双腿和双手的关节运动，立体视觉运动例如细微的手部动作，如开关门或开关灯的手指关节动作，人体识别是建立在深度图像的基础之上。

本发明所述基于移动互联网的家居服务型机器人***中，如图2所示，所述大范围运动捕捉包括：通过视频采集以确定人体的空间坐标位置S102；通过空间坐标位置计算出人体各关节的运动角度S104；以及匹配人体各关节的运动角度的信息并发送给机器人S106。所示大范围运动捕捉的工作原理是通过对人体上特定光点的监视和跟踪来完成运动捕捉的任务。下面通过具体实施例来描述大范围运动捕捉，在步骤S102中，使用16台红外摄像机来确定操作者身体上40个坐标点的空间坐标位置，其中，对于每一个坐标点，只要它能同时被两台摄像机所见，则根据同一瞬间两摄像机所拍摄的图像和相机参数，即可以确定这一时刻该点的空间位置，当摄像机以足够高的速率连续拍摄时，从图像序列中就可以得到该坐标点的运动轨迹；在步骤S104中，根据这40个坐标点的空间坐标位置可以算出人体34个关节的运动角度；在步骤S106中，经匹配人体各关节的运动角度的信息并发送给机器人。需要理解的是，尽管上面描述了具体的大范围运动的方法，但本发明并不限于具体的某种方法。

本发明所述基于移动互联网的家居服务型机器人***中，如图3所示，所述立体视觉运动捕捉包括：利用精细作业双目视觉***获得人体部位特征信息S202；分析人体部位特征信息并构建人体关节图信息S204；以及把人体关节图信息发送给机器人S206。所述精细作业双目视觉***一般采用Kinect，所述Kinect是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。所述Kinect中间是彩色摄像头，用来获取彩色信息；左侧是红外投影机，右侧为红外摄像机。在步骤S202中，Kinect对人体识别是建立在深度图像的基础之上的，Kinect对深度图像进行像素级评估，先看清轮廓再看细节。Kinect以像素级的眼光来辨认所看到的人体部位特征信息，运用先进的算法并行处理技术，最终获得提炼的人体部位特征信息。在步骤S204中，通过分析人体部位特征信息得出人体关节对应的自由度，然后构建人体关节图，例如手臂是人体比较灵活的部分，它有手腕、手肘和肩部三个关节点，手腕可以自由翻转，手肘可以自由弯曲，肩部可以上下或左右移动，分析得出手腕、手肘和肩部的运动过程，从而构建出这些部位的关节图。在步骤S206中，把人体关节图的信息发送给机器人，机器人根据这些信息作出相应的动作。

本发明所述基于移动互联网的家居服务型机器人***中，所述机器人30包括跟随交互机器人、小型双足仿人机器人和小型双臂移动作业机器人。所述跟随交互机器人采用全方位轮式移动，能够实现零转弯半径的任意方向移动，主要功能是完成对老人的实时跟踪陪护，并将陪护对象和室内信息反馈给操作者；所述小型双足仿人机器人拥有25个自由度，动作灵活，其设置有惯性导航仪装置，在移动时十分平稳，并可随时确定自己的位置，并且可以靠超声波传感器探测并绕过障碍物；所述小型双臂移动作业机器人上肢左、右双臂各有三个自由度，底盘拥有四个自由度，能够实时反馈其周围及作业环境的各种情况，还可以完成开门、关门、开灯、关灯、紧急情况下传递药品，帮助开关电梯等。

申请人对本发明方法的效果和可行性进行了***的研究和论证。

为了验证***有效性，本发明选用所设计的基于移动互联网小型双臂移动作业机器人遥操作***进行了验证试验。由操作者远程控制移动轮式双臂作业机器人进行开、关灯实验。实验选用的机器人可以实现前进、后退、转弯、手臂挥动等动作。

实验选用操作对象为常用开关，在150*270cm规制的板上安装一个高为30cm的开关，控制30w的节能灯。

在机器人端布置临场感***，采用海康威视的DS-2CC11A7P-A相机，共两台，用于实时采集有关机器人的视频，其布置方法如图4所示，实验时机器人距离作业目标2.5m分别位于走廊的两端。

以上作业现场布置于实验楼5层走廊，而操作装置布置于实验楼1层。操作装置使用精细作业双目视觉***进行人体数据采集。实验过程中操作者使用的双目视觉***为微软的Kinect1.0型立体视觉运动捕捉***。使用WiFi将操作装置连接到云服务器。

云服务器布置于IP地址为182.92.233.31的公共服务器。在该服务器部署自主开发的遥操作软件***服务器端。

本实验分为以下几个过程：

步骤一：起步阶段。由操作装置控制机器人准备启动，接近操作目标，当人体左臂抬起并且保持水平状态时，机器人左臂也达到同样姿态，准备向作业目标移动。此时操作者所需操作装置(包括运动捕捉装置和控制命令交互装置)、机器人、云服务均已启动完毕，机器人手臂动作显示接收到操作装置命令正常，并准备动作。

步骤二：移动阶段。操作装置控制机器人接近作业目标，在本实验中为已经打开的灯开关。作业中，操作者向上举起左臂，操作装置将此动作视为控制机器人前进。当人体左臂由平衡状态往上抬起，操作装置发送信息给机器人，机器人开始运动，向作业目标靠近，移动最大速度不大于0.05m/s。

步骤三：姿态调整阶段。机器人直线运行接近目标之后，需要调整姿态，以进行开关灯的作业，操作装置接收到操作者使用腿部动作以驱动机器人改变移动方向，例如操作装置中的精细作业双目视觉***捕捉到操作者的右脚踮地，通过服务器传输给机器人，机器人做出右转的动作，在本实验中机器人转动速度不高于180°/s。

步骤四：作业阶段。机器人在达到作业目标地址，开始进入作业阶段，此时操作者使用右臂，控制机器人右臂进行关灯动作。本实验中，关灯的动作来自于手臂下压，以完成开关的下放，此过程中，手臂的作业幅度需要控制在1cm以内，因此，作业强度比较大。

表1表示机器人在作业过程中，不同阶段机器人距离作业目标的距离、行走速度和时间。

表1—机器人关灯作业

步骤	距离(m)	速度(m/s)	时间(s)
				开始	2.5	0	0
接近	1.0	0.05	29
				调整	0.6	0.03	40
作业	0.2	0	100

图5和图6分别示出了机器人在移动作业过程中右臂和左臂在不同时刻的脉冲大小，黑色代表肩部，灰色代表上臂，白色代表肘部。

图5和图6中左臂和右臂的各3个自由度的电机脉冲数，体现了在作业中的作业任务的执行情况，其中，可以看到多轴的运动趋势基本一致。常态工作下，电机脉冲数工作在最大值的40％以内。

由实验结果可知，当机器人开始向作业目标移动时，左臂要上扬机器人开始移动，机器人的速度不大于0.05m/s。

结论：通过利用立体视觉运动捕捉获取人体运动信息控制远端机器人关灯实验，验证了本***远程控制机器人作业的可行性。

图7示出了可以用来实践本发明实施方式的示例性计算设备的结构框图。可以理解，本公开内容中记载的客户端、代理和/或服务器可以利用图7所示的计算设备来实现。如图7所示，计算设备可以包括：CPU(中央处理单元)401、RAM(随机存取存储器)402、ROM(只读存储器)403、***总线404、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408、显示器控制器409、硬盘410、键盘411、串行外部设备412、并行外部设备413和显示器414。在这些部件中，与***总线404耦合的有CPU401、RAM402、ROM403、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408和显示器控制器409。硬盘410与硬盘控制器405耦合，键盘411与键盘控制器406耦合，串行外部设备412与串行接口控制器407耦合，并行外部设备413与并行接口控制器408耦合，并且显示器414与显示器控制器409耦合。

本发明所述基于移动互联网的家居服务型机器人***通过控制机器人与陪护对象交互或控制机器人完成作业，为被陪护对象提供具有陪护者高度临场感的陪护效果，解决对陪护对象实时有效陪护和满足陪护对象的心理需求等问题。

上文已经通过示例的方式描述了本发明的若干实施方式。上述的不同块、操作以及技术的至少一部分可以被执行，通过使用硬件，处理器执行固件指令，处理器执行软件指令，或者及其任意组合。当采用执行固件以及软件指令的处理器执行时，软件或固件指令可以被存储在任意计算机可读存储中，例如磁盘，光盘或者其他存储介质，在一个RAM或者ROM或者flash存储器，处理器，硬盘，光盘，磁盘等等。同样地，软件和固件指令可以被传输到用户或者***，通过任意已知的或者期望的传输方式包括，例如，在计算机可读盘或者其他便携式计算机存储机制或者通过通信媒介。通信媒介典型地具体话计算机可读指令，数据结构，程序模块或者在已调制数据信号中的其它数据例如载波或者其他传输机制。通过示例，并非限制，通信介质包括有线介质例如有线网络或者单线连接，以及无线媒介，例如声、无线频率，红外以及其它无线介质。从而，软件和固件指令可以被传输给用户或者***，通过通信信道，例如电话线，DSL线，电缆电视线，光纤线缆，无线信道，因特网，等等(通过便携式存储介质提供这样的软件，其被看作是相同的或者可互换的)。软件或者固件指令可以包括及其可读指令，其当由处理器执行时，导致处理器执行不同动作。

应当注意，本发明的实施方式可以通过软件、硬件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和***并可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本实施方式的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

说明书中提及的通信网络可以包括各类网络，包括但不限于局域网(“LAN”)，广域网(“WAN”)，基于IP协议的网络(例如，因特网)以及端对端网络(例如，adhoc对等网络)。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤，或是将一个步骤分解为多个步骤。虽然已经参考若干具体实施方式描述了本发明，但是应该理解，本发明并不限于所公开的具体实施方式。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (7)

1.一种基于移动互联网的家居服务型机器人***，包括：

操作装置(10)，配置用于向机器人(30)发出控制信息和完成机器人(30)运动状态反馈；

云服务器(20)，配置用于在操作装置(10)与机器人(30)之间传输并储存信息；以及

机器人(30)，配置用于完成家居任务。

2.根据权利要求1所述的基于移动互联网的家居服务型机器人***，其中，所述操作装置(10)包括：

运动捕捉装置(11)，配置用于获取肢体动作语言；以及

控制命令交互装置(12)，配置用于生成控制信息。

3.根据权利要求1所述的基于移动互联网的家居服务型机器人***，其中，所述云服务器(20)包括：

信息传输与存储装置(21)，用于传输、存储和检索双向信息；

全局智能决策装置(22)，用于对机器人与人间进行智能控制分配与实时协调；以及

操作命令专家装置(23)，用于实时生成与受控的机器人(30)相匹配的操作命令序列并向所述机器人(30)发送控制指令。

4.根据权利要求2所述的基于移动互联网的家居服务型机器人***，其中，所述运动捕捉包括大范围运动捕捉和立体视觉运动捕捉。

5.根据权利要求4所述的基于移动互联网的家居服务型机器人***，其中，所述大范围运动捕捉包括：

通过视频采集以确定人体的空间坐标位置(S102)；

通过空间坐标位置计算出人体各关节的运动角度(S104)；以及

匹配人体各关节的运动角度的信息并发送给机器人(S106)。

6.根据权利要求4所述的基于移动互联网的家居服务型机器人***，其中，所述立体视觉运动捕捉包括：

利用精细作业双目视觉***获得人体部位特征信息(S202)；

分析人体部位特征信息并构建人体关节图信息(S204)；以及

把人体关节图信息发送给机器人(S206)。

7.根据权利要求1所述的基于移动互联网的家居服务型机器人***，其中，所述机器人(30)包括跟随交互机器人、小型双足仿人机器人和小型双臂移动作业机器人。