CN116382286A - 一种实现移动设备与移动平台交互的自主移动***及方法 - Google Patents

Abstract

本发明涉及一种实现移动设备与移动平台交互的自主移动***及方法，属于机器人控制技术领域。该***使用移动通信设备作为与人的智能交互设备，利用移动生态扩展特定用途的移动机器人，组成一个能够在特定场景下，具备智能交互，智能网联和智能驾驶能力的自主移动***，该包括智能移动平台、移动通信设备和云服务器，使得特定用途的移动机器人通过节省智能交互***来降低成本，并因能够支持多种智能设备，以及设备的生态扩展能力，使得***与人交互，与Iot设备互联的更灵活以及多样性，实现针对特定人在特定场合的服务能力。

Description

一种实现移动设备与移动平台交互的自主移动***及方法

技术领域

本发明属于机器人控制技术领域，涉及一种实现移动设备与移动平台交互的自主移动***及方法。

背景技术

随着自动驾驶技术的发展，实现在特定场景，特别是在封闭场景(比如矿山、港口、厂房、仓库等区域)自动驾驶车辆的技术已经比较成熟。随着感知以及网联技术的发展，通过网络调度的自主运行的车辆能够实现更加复杂的应用，比如矿上港口车辆之间的交互以及协作。但是这类车辆目前仅能在专用的领域使用，或者不需要与人/驾驶者进行现场交互的场景使用，无法实现对任何场景下的个人进行服务。

能够在特定场合对个人进行服务的车辆或者机器人，目前都是原厂集成了人机交互***，比如carplay、harmonyOs、linux等，均是直接安装到机器人***，基于***的生态实现多机的互联和协作，但是只能执行机器人既定的交互方式，不够灵活，并且需要随机部署导致重复投入，并且浪费。

公开号为CN108281143A的专利，公开了使用手机APP进行遥控的机器人***，通过手机或者移动设备进行交互，主要是通过无线的方式，这种只能执行相对简单任务的机器人***，不适合需要大数据量的感知能力交互和融合的应用，特别是需要融合不同感知来源，进行综合理解命令、任务来执行自主的复杂移动任务的***。

发明内容

有鉴于此，本发明的目的在于提供一种实现移动设备与移动平台交互的自主移动***及方法，使用手机等移动通信设备，通过临时的连接移动平台实现在特定区域的行驶，并且具备与人的交互能力。

为达到上述目的，本发明提供如下技术方案：

一种实现移动设备与移动平台交互的自主移动***，包括智能移动平台P、移动通信设备M和云服务器S。使用移动通信(手持/穿戴)设备M与智能移动平台P连接，能够实现在特定场合的自动驾驶，具备本区域的联网，区域内的环境感知和建图，以及移动避障能力。支持通过云端或者智能移动设备给定的规划轨迹，并且反馈环境的实时地图到云端或者智能移动设备。

移动通信设备M，在与机器人移动平台连接之后，有线和/或无线，通过智能移动设备的装置能力，比如：

a)摄像头进行人脸表情特征，身体动作特征以及与人交互的环境目标的捕捉和识别；

b)麦克风进行人的语音，以及外界声音的捕捉以及识别；

c)触屏进行人的操作以及当前运行状态的交互显示；

d)网络(wifi，蓝牙，移动通信，USB接口)等进行数据的交互和传输；

将人的指令，应用的设置，以及人的***台P，由移动平台进行自动执行。

云服务器S收集到个人移动通信设备M，以及智能移动平台P的信息，以及在本区域内容其他智能设备使用者的信息，根据业务进行统计和规划，从而实现进行针对性的服务。

进一步，所述智能移动平台P包括能源***P1、移动***P2、感知***P3以及第一无线通信***P4，用于在特定场景下沿着命令轨迹自动安全行驶；

所述移动通信设备M包括图像显示和交互***M1(如触屏)、声音交互***M2、图像感知***M3和第二无线通信***M4，实现与使用者的交互，包括通过APP等与使用者进行任务和命令的交互，以及移动生态下应用与移动通信设备之间的信息共享，比如位置、时间、日程、偏好等，从而实现移动轨迹规划的同时，能够在多个移动通信设备之间有服务器进行优化；

所述云服务器S包括但是不限于移动应用服务器S1和交互任务服务器S2，根据任务的要求进行调度，以及任务的管理，包括APP的移动应用服务，以及移动通信设备的基础服务，以及交互任务服务等。

进一步，在智能移动平台P的基本移动能力的基础上，增加移动通信设备M进行人机交互能力之后，实现移动服务任务的过程，具体包括：

1)智能移动平台P具备环境感知***P3，包括平台的传感器，比如相机、激光雷达、超声波传感器、毫米波雷达等，能够对运行环境进行检测。利用智能移动平台P的感知***P3进行环境感知，利用云服务器S进行运动决策以及运动规划；并由移动***P2执行，移动***P2包括平台的执行器，比如驱动电机、转向电机、制动***以及指示***等，能够使智能移动平台P按照云服务器S的任务即规划的轨迹安全行驶；

2)移动通信设备M与智能移动平台P通过支架和安装***P5，以及第二无线通信***M4和第一无线通信***P4建立连接之后，实现特定任务服务需要考虑到与使用者的交互，具体包括：

a)移动通信设备M的感知***(M1、M2、M3)，如相机、麦克风、触屏以及网络等感知使用者的语言、动作、情绪等人物状态和命令，直到使用者获取到通过移动通信设备M或者移动通信设备M关联的Iot设备输入的人物以及交互命令；

b)人物以及命令输入，与环境感知的信息进行融合，能够在当前的环境下，理解人物以及命令，从而能够决定如何执行任务，并将任务的决策输入给运动决策模块和交互决策模块；

c)任务决策模块的运动请求，结合环境信息，由智能移动平台P决策如何运动，而规划控制模块在考虑到智能移动平台P需要执行的动作后，对智能移动平台的执行器进行控制；

d)任务决策模块的交互请求，分为动作决策、表情和内容交互决策，以及语音决策三部分，其中，

i.动作决策，比如机械臂，头部等影响运动平衡的动作，需要输入给运动控制模块进行综合稳定性控制，并执行机器臂，头部的动作控制；

ii.表情和内容交互决策，主要是对交互设备的触屏或者状态灯等显示设备进行控制；

iii.语音决策，主要是针对于使用的对话，包括连续对话的管理，由声音执行器输出；

3)限于智能移动平台P以及移动通信设备M的资源，复杂的计算需要通过云服务器S进行大数据量的计算，包括环境的感知，人物的感知以及融合，复杂任务的决策以及规划等，特别是在需要结合其他的信息，进行场景内运行的综合协调控制的情况下，比如场地内的客流服务。

进一步，所述复杂任务的决策以及规划包括基于场景理解的综合任务决策以及规划，其中，用于任务理解以及决策规划的基础地图模型是以分层地图的形式，如图5所示，对应于执行任务的路线规划、轨迹规划以及移动决策内容，以及对交互目标的跟踪和跟随。其中，分层地图包括基础拓扑层map1、实时动态层map2、移动地图层map3、交互目标层map4和操作地图层map5。基础拓扑层包括三类信息，如图6所示：

1)节点：在地图中与当前执行任务相关联的位置/地点，以及相应的属性描述。在行动区域范围内，节点可以作为目标地，有一定用途的兴趣点，是地图的基本信息，节点会被赋予具备相应的属性信息，比如：

a)位置信息：用于定义位置，能够找到节点，以及多设备之间共享节点位置；

b)用途信息：用于任务以及场景的匹配，以及阶段用途的相关信息；

c)对节点内容的状态描述，包括一般的公共属性信息，比如用途、开放时间、容量、活动信息等内容，也包括用户通过移动通信设备M指定的新的属性或者标记，比如事件发生地，限制等。

2)拓扑：包括在地图中各节点之间的路线连接拓扑关系，也包括能够描述拓扑关系的规则以及节点位置的特征信息或者属性。

拓扑是连接所定义范围的节点的行驶路线，以及路线上用于标识规则和位置的特征物，还需要包括线路以及规则、定位特征物的属性信息。属性信息具体包括：

a)路线属性：主要是描述路线与节点的链接以及可用状态等信息，可以被临时赋予拥堵、维护等通行信息。

a)规则目标物以及属性；在路线上对规则进行描述和限制的车道线，边缘线，红绿灯、指示牌等进行通行规则描述的信息，以及临时的障碍物指示的规则理解信息，也包括用户通过移动通信设备M指定的新规则的标记，比如限速、绕行等。

c)定位设施属性：对道路上或者道路边的可以进行辅助定位的设施的描述，比如树木，路牌，建筑物等，也包括用户通过移动通信设备M指定的设施的属性。

3)关联关系：节点以及拓扑之间的属性关联关系，比如替代，同类，优先等关联关系，用于实时规划或者调整，得到最优的路线，特别是为在不同的个性化选择或者限制条件下的最优路线的决策信息。同样分为公共属性的关联关系，以及指定属性的关联关系。

自主移动***基于全局的基础拓扑层基础拓扑层进行全局的路线规划，制定从当前位置到目标节点的移动路线，并能够根据实际的移动以及目标节点的调整进行实时的跟随调整。

进一步，在规划路线的引导下，自主移动***在特定的场景内进行安全稳定的移动，移动通信设备M以及智能移动平台P感知的环境信息进行实时的融合生成实时的实时动态层map2，如图7所示，表达***或者使用者周边的实时的道路以及障碍物情况，用于实时的运行轨迹的规划；感知的环境信息具体包括：

1)节点和位置特征map2-1，用于辅助进行精确定位的，并且匹配到基础拓扑层map1的要素，通过这种特征以及位置的匹配能够保证局部运行的轨迹与整体规划的路线相符合。

2)道路以及特征map2-2，用于描述***可以通行的区域中的通行规则，通过环境中的地面，标识线/物体，参考的设施的识别以及定位，描述当前道路的通行的属性，比如是否可以通行，通行的区域范围，速度限制等。还包括道路以及规则之间的关联关系，比如红绿灯触发通行切换等。

3)静止目标物map2-3，车辆/使用者周边的静止目标物，包括内容以及相对位置，以及附加的属性信息，一般分为2类：

a)静止的障碍物，可以用于描述范围边界，以及可能会发生碰撞的静止物体；

b)任务相关的操作或者指示物，与当前任务相关联的静止物体，一般由移动通信设备M的APP指定，并且需要与任务或者使用者的动作互动，这类物体需要标识在实时动态层map2。

4)动态目标物map2-4：车辆/使用者周边的动态物体，包括内容和相对位置，运动状态，附加属性信息，以及特殊目标标识；动态物体一般分为3类：

a)移动物体，识别并判断/预测移动的轨迹，用于判断是否会发生碰撞；

b)移动的人，识别并判断/预测移动的轨迹，并需要通过移动通信设备M的识别附加人物的身份以及进行的动作信息，作为交互目标层map4的匹配对应信息；

c)与人互动的物体，识别并判断/预测移动的轨迹，并且与人物相关联，辅助判断人物的行为，作为交互目标层map4的匹配对应信息；

5)风险目标：基于车辆/使用者当前的位置，路线以及运动状态等信息，预测和估计可能发生碰撞风险，对静止目标物以及动态目标物进行预测，并进行跟踪，在实时动态层map2进行标识，标识运动轨迹的相互影响以及关联关系，比如避让等，用于实时的避障决策和规划；

基于实时动态层map2的信息，包括车辆/使用者当前的位置，路线以及运动状态等信息，考虑当前执行的任务以及交互人物、操作物体的空间位置，在满足设定的限制条件，比如禁止通行，对可供选择的运行轨迹，按照安全，交互/跟随，稳定，舒适的优先级，得到最优的运行轨迹供执行。

进一步，自主移动***在相对较长的时间规划移动轨迹时，当需要执行机构的紧急动作时，需识别：

1)地面状态map3-1：一般是三维立体的实时地图，规划近距离的行驶或者落足位置；

2)风险目标map3-2：在近距离范围，提供更高精度，更加实时的风险目标的跟踪，以进行紧急的避让动作。

自主移动***在考虑到跟随使用者的调整以及机械臂动作对整体平衡性的影响之后，对轨迹的执行是基于地面状态，以及风险进行调整，其规划控制主要是基于移动地图层map3的信息，结合交互动作以及操作动作的需求进行综合而得到。

进一步，自主移动***通过保持与使用者的交互，移动通信设备M与移动平台P的连接关系，以及对使用者的跟踪来建立交互目标层map4，并通过对智能移动平台P的定位匹配融合到实时动态层map2的相应位置，如图8所示；基于交互目标层对使用者的识别，跟踪，规划车辆移动的状态以及交互的理解内容，包括：

1)使用者map4-1，包括身份，特征的识别和确认以及关联的人以及物的识别和跟踪；

2)使用者的关联物体map4-2，包括通过动作和语言指示的物体的识别和跟踪；

通过移动通信设备M的感知设备，包括通过支架和安装***P5的操作，保持对交互目标的跟踪和跟随，综合理解需要执行的命令以及命令状态，以便对任务进行调整，也包括使用者通过移动平台的操作机构输入的直接的操作。

进一步，当自主移动***是带有机械臂的操作机器人时，针对该机器人建立相应的操作地图层map5。基于操作的目标，对应于实时动态层map2的实时动态图的静止目标物map2-3和动态目标物map2-4，以及机械臂的执行能力，规划操作以及进行的状态，分为3部分：

1)空间障碍map5-1，用于机械臂在随着***移动过程中的空间避障，以便指示在通过障碍时特殊的空间以及动作的要求，也作为在通过该障碍物时，移动以及操作调整的输入；

2)操作目标map5-2，用于指示目标的特性以及操作的过程和限制等信息，以便指示在不同的阶段拿-运-放的操作要求，也作为对不同过程中的重心以及平衡情况进行估计和调整的输入；

3)操作空间map5-3，用于指示机械臂操作的起始位置以及保持的姿态，特别是与障碍物的关联关系。

进一步，交互决策的表情、内容以及语言的交互，都是根据感知以及理解内容做出的反应，因为动作，包括头部以及操作会对整机的平衡性有影响；自主移动***在考虑到跟随使用者的调整以及机械臂动作对整体平衡性的影响之后，对轨迹的执行是基于地面状态，以及风险进行调整，以便能够实时调整并保持沿着规划的轨迹行驶。

进一步，规划控制模块主要是基于移动地图层的信息，结合交互动作以及操作动作的需求进行综合的稳定性控制之后，对执行的规划。

本发明的有益效果在于：本发明提供了一种框架性方法，能够使用手机等移动通信设备作为与人的智能交互设备，利用移动生态扩展特定用途的移动机器人，组成一个能够在特定场景下，具备智能交互，智能网联和智能驾驶能力的自主移动***，这种***使得特定用途的移动机器人通过节省智能交互***来降低成本，并因能够支持多种智能设备，以及设备的生态扩展能力，使得***与人交互，与Iot设备互联得更灵活以及多样性，实现针对特定人在特定场合的服务能力。具体具有以下益处：(1)原有的移动机器人平台能够满足无人自动驾驶，支持优化的调度；(2)原有的机器人平台不再需要人机交互***，能够节省成本；(3)复用个人的专用应用的设置，能够实现更有针对性的服务；(4)移动应用的信息互联，能够实现基于用户的信息的共享，能够在特定范围内优化针对个人的服务。

这种框架性的交互方法，主要是将不同设备的感知以及处理能力，进行***性的融合，分层，以及共享和移植，能够让组合的自主移动***，在特定场景内自主的执行移动任务，而这种自主移动可以是：(1)相同的移动设备，使用不同的机器人移动平台，完成跨平台的任务；(2)相同的机器人平台，使用不同的移动通信设备，实现不同的使用者个性化任务；(3)移动通信设备以及机器人移动平台均不同，实现不同人以及不同阶段任务的接力。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明提供的自主移动***结构示意图；

图2为本发明***的工作模式以及***的组成；

图3为***网络和通信架构；

图4为服务实现的逻辑；

图5为***使用的地图分层关系；

图6为基于基础拓扑层地图融合任务的方法和内容；

图7为基于实时动态层地图进行实时运行轨迹的规划；

图8为在移动地图层上的动作决策；

图9为交互地图层上进行与人的跟踪和交互；

图10为有机械臂***的操作地图层进行物体操作

图11为分层地图融合的框架图。

图12为基于***在不同设备以及不同平台之间的跨平台协作示例。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图12，本发明公开了一种实现移动设备与移动平台交互的自主移动***，如图1所示，该***能够利用设备的能力，实现基于信息的共享，通过增加智能移动通信设备-M让原本只是在场地内执行特定移动任务的智能移动平台P具备了人机交互能力，能够为租用者提供个性化以及强交互体验的任务。

1)智能移动平台P(platform Chassis)，平台的典型***包括能源***P1，移动***P2，智能感知***P3，以及智能网络***P4，实现在特定场景下，沿着命令轨迹自动安全行驶；具备支持手持等设备安装的支架P5，实现与移动通信设备的安装以及信号的连接；以及可能的机械臂***P6，进行抓取等操作执行特殊的任务。

智能移动平台P根据场景以及用途进行最优化的配置，包括：

(1)扫码租用的人工操作设备，比如购物车，需要人推动，但是可以通过位置的共享，对客流进行统计；

(2)有人驾驶的移动设备，比如电动车，需要人进行驾驶；

(3)无人驾驶的移动设备，比如AGV电动车。

2)移动通信设备M(Mobile Device)，属于个人的移动终端，比如手机、手表等，并且能够调用移动生态下的互联Iot设备，比如穿戴的智能眼镜、智能耳机等。设备的典型***包括：图像显示和交互***M1，典型如触屏，智能声音交互***M2，图像感知***M3，以及第二无线通信***M4，实现与使用者的交互，包括通过APP等与使用者进行任务和命令的交互，以及移动生态下应用与设备之间的信息共享，比如位置、时间、日程、偏好等，从而能够对实现移动轨迹规划的同时，能够在多个设备之间有服务器进行优化。

移动通信设备M，主要的与人和环境进行交互信息的设备，可以是以下设备的一种或者几种：(1)手机；(2)平板电脑；(3)智能穿戴设备等。

3)云服务器S(Server)，根据任务的要求进行调度，以及任务的管理，包括APP的移动应用服务，以及设备的基础服务，以及交互任务服务等。

云服务器S，是不同应用以及设备管理的专用服务器，并能够进行数据和信息的互通和共享，比如位置，状态的统计，对场地内的设备设施进行调度和管理等。

图2所示为本发明***在移动通信设备M处建立使用关系的状态和模式切换的过程，即在智能移动平台P，以及云服务器S的基础服务之上，通过键入移动通信设备M，实现使用者的命令和服务，过程如下：

1)调度状态：此时智能移动平台P由云服务器S直接进行管理和调度，包括；

a)云服务器S可以响应移动通信设备M通过APP的使用请求，并确认使用者的位置；

b)云服务器S对智能移动平台P进行配置，并发送规划的轨迹给智能移动平台P；

c)智能移动平台P按照云服务器S规划的轨迹进行移动，并到达指定的位置，等待使用者通过移动通信设备M建立连接。

2)服务初始化；在到达指定位置之后，使用者通过移动通信设备M的App进行租用，建立有线和无线连接，并对***重新进行基于使用的初始化，包括：

a)使用者身份以及设备的校验，比如移动通信设备M的ID；

b)移动通信设备M的安装以及连接，建立***的连接网络，并进行初始化，***网络以及交互内容如图3所示；

c)任务的请求和确认，通过移动通信设备M的***进行交互，对智能移动平台P的移动，以及云服务器S的服务进行确认；

3)服务：完成***和服务的初始化，在确认任务之后，***通过移动通信设备M的设备与使用者进行交互，实现所需的服务，包括通过APP提供的移动服务，以及基于移动通信设备M的移动生态的服务，并由移动通信设备M的管理***进行调度；

a)移动通信设备M根据任务的内容，请求云服务器S，不同的任务以及能力，实现对使用者的命令和任务；

b)特别的移动应用服务器S1，会综合环境，其他设备等信息，进行综合的任务规划，并与使用者进行交互和确认，以保证移动应用服务的优化以及行驶安全；

c)归还：完成任务之后，使用者通过移除或者端口移动通信设备M与智能移动平台P的连接，通过移动通信设备M的APP对设备进行归还。特别的，归还和服务初始化，可能会因为使用者的操作进行切换。

图3所示为建立连接之后的***网络架构，数据交互的通道和内容包括：

a)通道1：智能移动平台P和云服务器S，主要是移动应用服务器S1的无线交互通道，通过第一无线通信***P4建立的连接。

i.云服务器S向智能移动平台P发送轨迹调度和规划的任务信息，智能移动平台P会判断来自云服务器S以及移动通信设备P的任务信息，安全执行。

ii.智能移动平台P向云服务器S反馈当前移动的位置，以及运行状态信息。

b)通道2：移动通信设备M与云服务器S，既包括与移动应用服务器S1，也包括与其他的交互任务服务器S2，比如语音交互等的交互通道，这里主要说明移动应用服务器S1的交互。

i.移动通信设备M通过APP向云服务器S发送任务的请求，以及执行的命令。

ii.云服务器S将规划的任务，以及任务相关的调度和规划等信息反馈到移动通信设备M的APP，供使用者进行决策和选择。

c)通道3：移动通信设备M与智能移动平台P的大数据量信息交互通道，一般是有线的USB，用于交互和同步环境地图以及命令信息。

i.移动通信设备M将使用者决定的移动任务，以及使用者的状态信息发送给智能移动平台P，由智能移动平台P结合安全以及自身状态信息决定如何执行。

ii.智能移动平台P将执行的状态，以及地图和环境信息反馈给移动通信设备M，并通过App进行展示。

d)通道4：移动通信设备M与智能移动平台P的无线通道，主要是进行身份的校验，以及使用归还过程中的信息交互，也会作为通道3的备份通道。

e)通道5和通道6：在需要较多的计算资源进行环境的感知与融合，命令的理解与融合，以及综合决策规划等任务时，***会根据实际的移动通信设备M以及智能移动平台P的资源以及能力状况，在云服务器S，移动通信设备M以及智能移动平台P之间进行动态的任务执行的分配，相应的传输数据也会不同，参考图4实现过程。

i.智能移动平台P将传感器采集的环境信息，通过智能移动平台P的第一无线通信***P4将环境数据发送到云服务器S，可以与通道1使用相同的连接。

ii.移动通信设备M将传感器采集的与人交互的信息，通过移动通信设备M的第二无线通信***M4，将人的语音、图像等新信息发送到交互任务服务器S2进行人的语音和图像交互的理解，让命令信息传递反馈到移动通信设备M，或者直接发送给移动应用服务器S1进行基于任务的综合理解，决策以及规划。

图4所示为在智能移动平台P的基本移动能力的基础上，增加移动通信设备M进行人机交互能力之后，实现移动服务任务的过程，具体包括：

1)智能移动平台P具备环境感知***P3，包括平台的传感器，比如相机、激光雷达、超声波传感器、毫米波雷达等，能够对运行环境进行检测，利用平台P或者云服务器S的能力进行环境感知，运动决策以及运动规划；并由移动***P2执行，移动***P2包括平台的执行器，比如驱动电机、转向电机、制动***以及指示***等，能够使智能移动平台P按照云服务器S的任务即规划的轨迹安全行驶。

2)移动通信设备M与智能移动平台P通过支架和安装***P5，以及第二无线通信***M4和第一无线通信***P4建立连接之后，实现特定任务服务需要考虑到与使用者的交互。

a)移动通信设备M的感知***(M1、M2、M3)，如相机、麦克风、触屏以及网络等感知使用者的语言、动作、情绪等人物状态，以及命令，直到使用者获取到通过移动通信设备M或者M关联的Iot设备输入的人物以及交互命令。

b)人物以及命令输入，与环境感知的信息进行融合，能够在当前的环境下，理解人物以及命令，从而能够决定如何执行任务，并将任务的决策输入给运动决策和交互决策模块。

c)任务决策的运动请求，结合环境信息，由移动平台决策如何运动，而规划控制模块在考虑到智能移动平台P需要执行的动作，对智能移动平台的执行器进行控制。

d)任务决策的交互请求，分为动作决策，表情和内容交互决策，语音决策三部分。

i.动作决策，比如机械臂，头部等影响运动平衡的动作，需要输入给运动控制模块进行综合稳定性控制，并执行机器臂，头部的动作控制；

ii.表情和内容交互决策，主要是对交互设备的触屏或者状态灯等显示设备进行控制；

iii.语音决策，主要是针对于使用的对话，包括连续对话的管理，由声音执行器输出；

3)限于智能移动平台P以及移动通信设备M的资源，复杂的计算可能需要通过云服务器S进行计算和任务处理，比如环境的感知，人物的感知以及融合，复杂任务的决策以及规划等，特别是在需要结合其他的信息，进行场景内运行的综合协调控制的情况下，比如场地内的客流服务。

为了实现基于场景理解的综合任务决策以及规划，并能够在多个场景区域进行共享和互通，将任务和移动规划的地图分为五层(基础拓扑层、实时动态层、移动地图层、交互目标层和操作地图层)，参考图5，基于智能移动平台P的感知能力以及移动通行设备M的App指令进行场景的切换，以及信息共享，每层地图的内容、用途以及使用方式各不相同。但是能够通过移动通信设备M，以及智能移动平台P的位置进行同步和衔接，特别是在远程通过移动通信设备M进行智能移动平台P的租用时，示例参考图11。

图5所示为实现多平台、场景和任务，通过移动通信设备M的指令实现移动通信设备M，智能移动平台P以及服务器S之间进行位置和地图共享，并基于此进行相应的任务计算和处理，地图以及相应的功能和任务如下：

1)基础拓扑层map1，类似于车用导航地图，表达全局环境下的节点以及节点之间的拓扑关系，用于进行全局的行进路线的规划，以及基于路线上特征的定位。这一层还需要描述节点之间，拓扑之间，以及节点与拓扑之间的相互关联关系。

2)实时动态层map2，智能移动平台P，包括移动通信设备M和移动***P2，通过感知***感知的实时环境信息，包括实际看到的节点，拓扑的特征和规则，以及定位特征进行高精度定位，以及环境中存在的影响实际移动的静态以及动态目标物。

3)移动地图层map3，主要是通过智能移动平台P的感知***P3建立的本地近距离的障碍地图，可以支持进行高实时的移动命令。

4)交互目标层map4，主要是通过移动通信设备M进行跟踪和观测的需要交互的目标，并能够通过匹配实时动态层map2观测到的目标以及特征的匹配，进行定位，以便能够在移动过程中，保持正确的跟踪，朝向，以及输出对安装支架***P5的操作命令。

5)操作地图层map5，主要是通过智能移动平台P的感知***P3观测到的需要操作的目标相对的位置，这个感知***P3会包括在操作执行器上相应的感知设备，以及能够获得操作机构执行相应的操作。

移动应用任务的实现基于通过移动通信设备M获取的人物和命令相关的信息，以及智能移动平台P感知的环境信息，对两个设备获得的信息，取决于计算能力以及融合对资源的需求在特定的设备进行融合。

用于任务理解，以及规划，使用如图5所示的基础拓扑层map1，使用地图的特征以及自身的定位***进行定位以及全局路径的规划，地图上的信息可以将移动通信设备M，智能动平台P以及服务器S编辑好，并且能够共享，分为三类信息：

1)节点及属性信息map1-1：在全局地图上带有位置、用途、状态等信息的节点，能够在地图上进行相应的搜索以及定位，包括带条件的查找节点，其属性包括一般的公共属性信息，以及***编辑的指定信息。

2)拓扑关系信息map1-2：连接基础拓扑层map1上的各种路线，以及路线的规则和特征信息，需要至少包括：

a)拓扑的规则：可行驶路线的描述，包括一般的公共属性信息，比如通行规则、车道数量、限速等，以及辅助进行通行规则状态指示的标识物，比如交通灯，指示牌等，也包括用户通过移动通信设备M指定的新的属性或者标记，比如特殊事件标记。

b)拓扑的特征，主要是在拓扑路线上辅助进行定位的特征，这些特征带有描述用途，状态，使用规则等属性信息，可以是描述拓扑规则的辅助标识物，带有的相对位置信息也包括用户通过移动通信设备M指定的新的属性或者标记，比如特殊事件标记。

3)关联关系map1-3：基本内容之间的各种关联关系，比如替代，同类，优先等关联关系，用于进行实时规划或者调整，得到最优的路线。同样分为公共属性的关联关系，以及指定属性的关联关系。

在规划路线的引导下，自主移动***在特定的场景内进行安全稳定的移动，移动通信设备M以及智能移动平台P感知的环境信息进行实时的融合生成实时的动态目标实时动态层map2，如图7所示，表达***或者使用者周边的实时的道路以及障碍物情况，用于进行实时的运行轨迹的规划，分为以下内容：

1)节点和位置特征map2-1，能够辅助进行精确定位的，并且匹配到基础拓扑层map1的要素，通过这种特征以及位置的匹配能够保证局部运行的轨迹与整体规划的路线相符合。

2)道路以及特征map2-2，用于描述***可以通行的区域中的通行规则，通过环境中的地面，标识线/物体，参考的设施的识别以及定位，描述当前道路的通行的属性，比如是否可以通行，通行的区域范围，速度限制等。还包括道路以及规则之间的关联关系，比如红绿灯触发通行切换等。

3)静止目标物map2-3，车辆/使用者周边的静止目标物，包括内容以及相对位置，以及附加的属性信息，一般分为2类。

a)静止的障碍物，可以用于描述范围边界，以及可能会发生碰撞的静止物体；

b)任务相关的操作或者指示物，与当前任务相关联的静止物体，一般由移动通信设备M的APP指定，并且需要与任务或者使用者的动作互动，这类目标需要标识在实时动态层map2；

4)动态目标物map2-4：车辆/使用者周边的动态目标物，包括内容和相对位置，以及运动状态，附加属性信息，一般分为3类以及特殊目标标识。

a)移动物体，识别并判断/预测移动的轨迹，用于判断是否会发生碰撞；

b)移动的人，识别并判断/预测移动的轨迹，并需要通过移动通信设备M的识别附加人物的身份以及进行的动作信息，作为交互目标层map4的匹配对应信息；

c)与人互动的物体，识别并判断/预测移动的轨迹，并且与人物相关联，辅助判断人物的行为，作为交互目标层map4的匹配对应信息；

5)风险目标：基于车辆/使用者当前的位置，路线以及运动状态等信息，预测和估计可能发生碰撞风险，对静止目标物以及动态目标物进行预测，并进行跟踪，在实时动态层map2进行标识，标识运动轨迹的相互影响以及关联关系，比如避让等，用于实时的避障决策和规划。

基于实时动态层map2的信息，包括车辆/使用者当前的位置，路线以及运动状态等信息，考虑当前执行的任务以及交互人物、操作物体的空间位置，在满足设定的限制条件，比如禁止通行，对可供选择的运行轨迹，进行按照安全，交互/跟随，稳定，舒适的优先级，得到最优的运行轨迹供执行。

自主移动***在相对较长的时间规划移动轨迹，可能需要执行机构的紧急动作，对于轮式车辆一般是制动和转向的动作，特别是足式机器人的落足以及步态调整的动作的决策需要有更多并且更加实时的地面细节，这些细节在移动地图层map3进行表达，如图8所示。移动地图层map3一般是瞬时移动的范围，比如2秒移动5米，主要是表达道路的可行驶状态，比如路面的积水、坑洼、台阶以及临时的障碍等，不容易在较远距离精确识别的内容，用于近距离的实时调整执行器的动作，分为两类：

1)地面状态map3-1：一般是三维立体的实时地图，规划近距离的行驶或者落足位置；

2)风险目标map3-2：在近距离范围，提供更高精度，更加实时的风险目标的跟踪，以进行紧急的避让动作。

自主移动***在考虑到跟随使用者的调整以及机械臂动作对整体平衡性的影响之后，对轨迹的执行是基于地面状态，以及风险进行调整，其规划控制主要是基于移动地图层map3的信息，结合交互动作以及操作动作的需求进行综合而得到。自主移动***需要能够保持与使用者的交互，需要能够保持移动通信设备M以及移动通信设备M与移动平台P的连接关系，并能够调整支架和安装***P5来调整传感器M3的朝向保持对使用者的跟踪，包括动态目标人map2-4，以及人操作的动态或者静止目标map2-3以及动态目标人map2-4，建立基于立体空间的交互目标层map4，并通过对智能移动平台P的定位匹配融合到实时动态层(map2)的相应位置，如图9所示。基于交互目标层对使用者的识别，跟踪，规划车辆移动的状态以及交互的理解内容，包括：

1)使用者map4-1：包括身份，特征的识别和确认，以及关联的人以及物的识别和跟踪。

2)使用者的关联物体map4-2，包括通过动作和语言指示的物体的识别和跟踪。

通过移动通信设备M的感知设备，包括通过支架和安装***P5的操作，保持对交互目标的跟踪和跟随，综合理解需要执行的命令以及命令状态，以及对任务的实时调整，也包括使用者通过移动平台的操作机构输入的直接的操作。

自主移动***可以是带有机械臂的操作机器人，而一般机械臂的操作都是针对空间的目标，并且空间目标需要有空间的位置，操作的属性以及空间环境的限制，为此针对有机械臂的***，建立相应的操作地图层map5，如图10所示，由于对机械臂的操作进行规划以及控制。基于操作的目标，对应于实时动态层map2的实时动态图的静止目标物map2-3和动态目标物map2-4，以及机械臂的执行能力，规划操作以及进行的状态，分为3部分：

1)空间障碍map5-1，用于机械臂在随着***移动过程中的空间避障，以便指示在通过障碍时特殊的空间以及动作的要求，也作为在通过该障碍物时，移动以及操作调整的输入.

2)操作目标map5-2，用于指示目标的特性以及操作的过程和限制等信息，以便指示在不同的阶段拿-运-放的操作要求，也作为对不同过程中的重心以及平衡情况进行估计和调整的输入。

3)操作空间map5-3，用于指示机械臂操作的起始位置以及保持的姿态，特别是与障碍物的关联关系。

综上，智能移动平台P和移动通信设备M对分层地图融合的框架示例如图11所示，移动平台P感知能力主要是对环境进行识别，并建立相应的位置、拓扑以及运动关系，包括3d关系，同时移动通信设备M的感知能力，提供主人的命令以及操作，对地图中的信息进行个性化以及针对性的调整和修改，标注。从图11中可以用看出，智能移动平台P的感知能力与运行的场景以及平台的能力和应用相关，而移动通信设备M的感知和交互能力与对任务以及使用者的理解相关，不同场景下的内容会有不同。

通过服务器S对地图的同步以及共享组合，也包括对公共地图资源的调用和共享，可以实现在不同智能移动平台P，以及移动通信设备M的任务衔接，互联以及个性化服务，比如，用户通过App发起一项采购任务，指定了采购的内容以及目的地如图12所示：

1)使用者通过手机预订出租车，车辆在服务器S的指挥下到达指定地点，之后使用者通过手机指挥车辆达到商场，使用道路地图以及手机实现去商场的移动以及指定的停车位置，此时的智能移动平台P是共享汽车；

2)达到商场，使用者归还车辆，车辆可以被其他人的移动通信设备M租用，而用户通过手机预订商场内的自动购物车，跟随用户在商场内进行购物。此时的移动智能平台P是商场的自动购车。

3)完成购物，使用者归还购物车，并再次预定出租车回到小区，并且在车上召唤家庭机器人在指定的位置等待，此时使用者通过手机以及服务器S控制家庭机器人自主移动。

4)到达并归还车辆，物品转移到家庭机器人，并放置移动通信设备M到家庭机器人，使其跟随使用者回家，家庭机器人可以有机械臂进行物品的操作，包括移动，摆放等，并且能够在手机的遥控下进行操作此时的机器人智能移动平台P是家庭机器人。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种实现移动设备与移动平台交互的自主移动***，其特征在于，该***包括智能移动平台(P)、移动通信设备(M)和云服务器(S)；

所述智能移动平台(P)包括能源***(P1)、移动***(P2)、感知***(P3)以及第一无线通信***(P4)，用于在特定场景下沿着命令轨迹自动安全行驶；

所述移动通信设备(M)包括图像显示和交互***(M1)、声音交互***(M2)、图像感知***(M3)和第二无线通信***(M4)，实现与使用者的交互，包括通过APP与使用者进行任务和命令的交互，以及移动生态下应用与移动通信设备之间的信息共享，从而实现移动轨迹规划的同时，能够在多个移动通信设备之间有服务器进行优化；

所述云服务器(S)包括移动应用服务器(S1)和交互任务服务器(S2)，根据任务的要求进行调度，以及任务的管理，包括APP的移动应用服务，以及移动通信设备的基础服务，以及交互任务服务。

2.根据权利要求1所述的自主移动***，其特征在于，在智能移动平台(P)的基本移动能力的基础上，增加移动通信设备(M)进行人机交互能力之后，实现移动服务任务的过程，具体包括：

1)利用智能移动平台(P)的感知***(P3)进行环境感知，利用云服务器(S)进行运动决策以及运动规划；并由移动***(P2)执行，使智能移动平台(P)按照云服务器(S)的任务即规划的轨迹安全行驶；

2)移动通信设备(M)与智能移动平台(P)通过第二无线通信***(M4)和第一无线通信***(P4)建立连接之后，实现特定任务服务需要考虑到与使用者的交互，具体包括：

a)移动通信设备(M)的感知***(M1、M2、M3)感知使用者的人物状态和命令，直到使用者获取到通过移动通信设备(M)或者移动通信设备(M)关联的Iot设备输入的人物以及交互命令；

b)人物以及命令输入，与环境感知的信息进行融合，能够在当前的环境下，理解人物以及命令，从而能够决定如何执行任务，并将任务的决策输入给运动决策模块和交互决策模块；

c)任务决策模块的运动请求，结合环境信息，由智能移动平台(P)决策如何运动，而规划控制模块在考虑到智能移动平台(P)需要执行的动作后，对智能移动平台的执行器进行控制；

d)任务决策模块的交互请求，分为动作决策、表情和内容交互决策，以及语音决策三部分；

3)复杂的计算需要通过云服务器(S)进行大数据量的计算，包括环境的感知，人物的感知以及融合，复杂任务的决策以及规划。

3.根据权利要求2所述的自主移动***，其特征在于，所述复杂任务的决策以及规划包括：基于场景理解的综合任务决策以及规划，其中，用于任务理解以及决策规划的基础地图模型是以分层地图的形式，对应于执行任务的路线规划、轨迹规划以及移动决策内容，以及对交互目标的跟踪和跟随；

所述分层地图包括基础拓扑层(map1)、实时动态层(map2)、移动地图层(map3)、交互目标层(map4)和操作地图层(map5)；所述基础拓扑层包括三类信息：

1)节点：在地图中与当前执行任务相关联的位置/地点，以及相应的属性描述；

2)拓扑：在地图中各节点之间的路线连接拓扑关系，也包括能够描述拓扑关系的规则以及节点位置的特征信息或者属性；

3)关联关系：节点以及拓扑之间的属性关联关系，用于实时规划或者调整，得到最优的决策和规划的方案。

4.根据权利要求3所述的自主移动***，其特征在于，在规划路线的引导下，自主移动***在特定的场景内进行安全稳定的移动，移动通信设备(M)以及智能移动平台(P)感知的环境信息进行实时的融合生成实时的实时动态层(map2)，表达***或者使用者周边的实时的道路以及障碍物情况，用于实时的运行轨迹的规划；感知的环境信息具体包括：

1)节点和位置特征(map2-1)，用于辅助进行精确定位的，并且匹配到基础拓扑层的要素；

2)道路以及特征(map2-2)，用于描述***通行的区域中的通行规则，通过环境中的地面，标识线/物体，参考的设施的识别以及定位，描述当前道路的通行的属性，道路以及规则之间的关联关系；

3)静止目标物(map2-3)，车辆/使用者周边的静止目标物，包括内容以及相对位置，以及附加的属性信息，分为2类：

a)静止的障碍物，可以用于描述范围边界，以及可能会发生碰撞的静止物体；

b)任务相关的操作或者指示物，与当前任务相关联的静止物体，由移动通信设备(M)的APP指定，并且需要与任务或者使用者的动作互动，这类物体需要标识在实时实时动态层(map2)；

4)动态目标物(map2-4)：车辆/使用者周边的动态物体，包括内容和相对位置，运动状态，附加属性信息，以及特殊目标标识；动态物体分为3类：

a)移动物体，识别并判断/预测移动的轨迹，用于判断是否会发生碰撞；

b)移动的人，识别并判断/预测移动的轨迹，并需要通过移动通信设备(M)的识别附加人物的身份以及进行的动作信息，作为交互目标层(map4)的匹配对应信息；

c)与人互动的物体，识别并判断/预测移动的轨迹，并且与人物相关联，辅助判断人物的行为，作为交互目标层(map4)的匹配对应信息；

5)风险目标：基于车辆/使用者当前的位置，路线以及运动状态，预测和估计可能发生碰撞风险，对静止目标物以及动态目标物进行预测，并进行跟踪，在实时动态层(map2)进行标识，标识运动轨迹的相互影响以及关联关系，用于实时的避障决策和规划；

基于实时动态层(map2)的信息，包括车辆/使用者当前的位置，路线以及运动状态，考虑当前执行的任务以及交互人物、操作物体的空间位置，在满足设定的限制条件，对可供选择的运行轨迹，按照安全，交互/跟随，稳定，舒适的优先级，得到最优的运行轨迹供执行。

5.根据权利要求2所述的自主移动***，其特征在于，自主移动***在长时间规划移动轨迹时，当需要执行机构的紧急动作时，需识别地面状态(map3-1)和风险目标(map3-2)。

6.根据权利要求4所述的自主移动***，其特征在于，自主移动***通过保持与使用者的交互，移动通信设备(M)与移动平台(P)的连接关系，以及对使用者的跟踪来建立地图的交互目标层(map4)，并通过对智能移动平台(P)的定位匹配融合到实时动态层(map2)的相应位置；基于交互目标层对使用者的识别，跟踪，规划车辆移动的状态以及交互的理解内容，包括：

1)使用者(map4-1)，包括身份，特征的识别和确认以及关联的人以及物的识别和跟踪；

2)使用者的关联物体(map4-2)，包括通过动作和语言指示的物体的识别和跟踪；

通过移动通信设备(M)的感知设备，包括通过支架和安装***(P5)的操作，保持对交互目标的跟踪和跟随，综合理解需要执行的命令以及命令状态，以便对任务进行调整，也包括使用者通过移动平台的操作机构输入的直接的操作。

7.根据权利要求1～6中任意一项所述的自主移动***，其特征在于，当自主移动***是带有机械臂的操作机器人时，针对该机器人建立相应的操作地图层(map5)；基于操作的目标，对应于实时动态层(map2)的实时动态图的静止目标物(map2-3)和动态目标物(map2-4)，以及机械臂的执行能力，规划操作以及进行的状态，分为3部分：

1)空间障碍(map5-1)，用于机械臂在随着***移动过程中的空间避障，以便指示在通过障碍时特殊的空间以及动作的要求，也作为在通过障碍物时，移动以及操作调整的输入；

2)操作目标(map5-2)，用于指示目标的特性以及操作的过程和限制，以便指示在不同的阶段拿-运-放的操作要求，也作为对不同过程中的重心以及平衡情况进行估计和调整的输入；

3)操作空间(map5-3)，用于指示机械臂操作的起始位置以及保持的姿态。

8.根据权利要求5所述的自主移动***，其特征在于，交互决策的表情、内容以及语言的交互，都是根据感知以及理解内容做出的反应，因为动作，包括头部以及操作会对整机的平衡性有影响；自主移动***在考虑到跟随使用者的调整以及机械臂动作对整体平衡性的影响之后，对轨迹的执行是基于地面状态，以及风险进行调整，以便能够实时调整并保持沿着规划的轨迹行驶。

9.根据权利要求5所述的自主移动***，其特征在于，规划控制模块是基于移动地图层的信息，结合交互动作以及操作动作的需求进行综合的稳定性控制之后，对执行的规划。

Images