CN106375421A - 基于远程操控的机器人辅助智能维护*** - Google Patents

Abstract

本发明提供了一种基于远程操控的机器人辅助智能维护***，包括：主端操控平台模块、主端输入信号采集与处理模块、信号传输与通讯模块、从端控制执行模块；主端操控平台模块对远程操控***主端遥操作人员的操控提供平台和符合人机工程学的操作环境；主端输入信号采集与处理模块对遥操作人员的动作指令进行运动数据采集和处理；信号传输与通讯模块将主端采集的主操作者的输入数据和处理的结果传输至远程从端；从端控制执行模块在接收到主端的数据之后解析并驱动从端机器人执行机构执行相应的动作。本发明能够对机器人实现远程实时在线控制，适用于多种不便于人员直接执行任务的作业环境，并且能够完成遥操作智能维护***辅助维护任务。

Description

基于远程操控的机器人辅助智能维护***

技术领域

本发明涉及人工智能技术领域，具体地，涉及一种基于远程操控的机器人辅助智能维护***。

背景技术

针对许多任务操作人员不便于直接介入其实际操作环境，比如远距离外太空、深海内及海底、强热强磁场强辐射强曝光强刺激等极端恶劣具有强危害性场所、过于狭小或不便于人员直接进入的腔体等；具体不同环境下可能面临的任务会涉及面对操作人员不能直接进入这些特殊环境下的作业任务需求，可以通过借助机器人或某些机构装置携带具备一定功能的操作设备进入到目标环境进行辅助维护维修操作并通过远程通讯进行遥操作控制以执行具体作业。

针对有些场景的作业需要领域内的专家进行指导或直接操作实施，而领域内的专家人数有限或者专家很难保证恰好在场，有时需要某地区某单位某位特定的专家及时伸出援手来完成某一个环节的操作；而这些情况的作业任务很难保证所需要专家人员恰好能够及时赶到操控现场，这样的任务需求可以通过远程操控机器人辅助操作***进行及时实现。

通过远程操控技术，结合远端视频、音频、触觉等信息实时监控反馈至任意位置的主端操控者，可以有效及时的让遥操作者及领域其他专家进行正确的动作输入，并可以让多位领域专家进行联合监控指导，以更好地实现对特定环境下的不同维护作业任务；也可以实现让广大学***台实时分享和学习从端实际操作场景及操作输入动作等。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于远程操控的机器人辅助智能维护***。

根据本发明提供的基于远程操控的机器人辅助智能维护***，包括：主端操控平台模块、主端输入信号采集与处理模块、信号传输与通讯模块、从端控制执行模块、从端现场信息采集反馈模块；其中：

所述主端操控平台模块，用于对远程操控***主端遥操作人员的操控提供平台和符合人机工程学的操作环境；

所述主端输入信号采集与处理模块，用于对遥操作人员的动作指令进行运动数据采集、运动状态求解、姿态计算、位姿变化信息计算以及数据滤波处理；

所述信号传输与通讯模块，用于将主端采集的主操作人员的输入数据和处理的结果传输至远程从端；

所述从端控制执行模块，用于在接收到主端的数据之后解析并求解出正确的控制信号，根据得到的运动和姿态变化目标驱动从端机器人执行机构执行相应的动作；

所述从端现场信息采集反馈模块，用于将远程从端的现场状况通过视频或音频设备采集到的信息反馈传输至主端。

优选地，所述主端输入信号采集与处理模块包括：主端输入动作采集设备和主端数据采集与处理计算机，所述主端输入动作采集设备将采集到的6至7个自由度的机构的运动信息传输至主端数据采集与处理计算机，由主端数据采集与处理计算机结合机构自身正运动学计算出机构末端控制点相对自身设定基坐标系的空间位置和姿态角度信息，以获取主端操作者控制点的实时位姿信息，并进行滤波处理后发送至信号传输与通讯模块。

优选地，所述信号传输与通讯模块采用Ethernet线缆，或者通过Internet网络及路由器将采集的主操作者的输入数据和处理的结果传输至远程从端。

优选地，所述从端控制执行模块能够驱动不同尺寸、不同自由度、不同构型、不同精度、不同特性的机器人，即能够根据具体的操作环境选择安装不同的机器人来完成主端的操作任务。

优选地，所述从端现场信息采集反馈模块包括：视频信息采集设备、音频信息采集设备、力觉触觉信息采集设备；其中：所述视频信息采集设备包括：摄像头、内窥镜、网络摄像头、无线传输摄像头；所述音频信息采集设备包括：话筒；所述力觉触觉信息采集设备包括：力传感器。

优选地，还包括从端信息实时监控显示设备，用于显示从端场景采集到的视频信息、音频信息、力觉触觉信息。

优选地，还包括主从匹配协调控制模块，用于建立主端工作空间与从端工作空间之间的映射关系，实现主从不同控制目标点的运动正确匹配，或实现从端对主端动作输入的放大、缩小以及抖动消除处理。

优选地，主端的位姿信息能够由绝对式或者增量式两种控制输入模式获得；绝对式是指：通过实时计算主端设备控制点相对主端自身基坐标系的绝对位姿信息作为输入并按规则映射到从端机器人机构相对从端自身基坐标系的绝对位姿；增量式是指：通过求取主端操作设备控制点相邻两个控制周期的位置和姿态的变化量，再结合指定规则映射到从端机器人执行机构末端控制点的相对自身坐标系或者世界坐标系的位姿。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于远程操控的机器人辅助智能维护***可以方便地远程实时在线地对处在相对狭小空间、特殊恶劣环境、封闭体内环境等状况下不便于人员直接执行任务的对象进行状态检测检验、具体环节的维护维修。本发明还适用于病患部位的辅助手术治疗等远程辅助维护救助操作，有效完成遥操作智能维护***辅助维护任务。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为较近距离的远程操控***反馈信息直接传输方案架构示意图；

图2为远距离的远程操控***反馈信息经主从通讯层一起传输方案架构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的基于远程操控的机器人辅助智能维护***，包括：主端操控平台模块、主端输入信号采集与处理模块、信号传输与通讯模块、从端控制执行模块、从端现场信息采集反馈模块；其中：

所述主端操控平台模块，用于对远程操控***主端遥操作人员的操控提供平台和符合人机工程学的操作环境；

所述主端输入信号采集与处理模块，用于对遥操作人员的动作指令进行运动数据采集、运动状态求解、姿态计算、位姿变化信息计算以及数据滤波处理；

所述信号传输与通讯模块，用于将主端采集的主操作者的输入数据和处理的结果传输至远程从端；

所述从端控制执行模块，用于在接收到主操作端的数据之后解析并求解出正确的控制信号，根据得到的运动和姿态变化目标驱动从端机器人执行机构执行相应的动作；

从端现场信息采集反馈模块，用于将远程从端的现场状况通过视频或音频设备采集到的信息反馈传输至主端；以供主操作者监控和决策，以使主操作者更好地输入和下达下一步动作指令信息，整体构成一个反馈控制***从而实现远程操控智能维护功能。

如图1所示，基于远程操控的机器人辅助智能维护***，其组成主要包括：主端操作动作输入设备、主端数据采集与处理计算机、主从端数据下发及反馈传输通讯***(主从通讯层)、从端数据接收与处理计算机、从端维护动作机器人执行机构、从端现场场景信息采集设备、主端信息反馈显示监控设备。

主端输入动作采集设备采用可以购买的产品或者自主设计一个并联或者串联机构实现6至7个自由度的运动控制，通过主端操控该6至7个自由度的机构可以实时获取并输出每个关节的运动信息；在主端数据采集与处理计算机上可以结合机构自身正运动学计算出机构末端控制点相对自身设定基坐标系的空间位置和姿态角度信息，从而求取和确定主端操作者控制点的实时位姿信息，并可以对输入信息进行根据实际需要的处理如滤波处理等；通过主从端数据下发及反馈传输通讯***对采集和处理的数据信息下发给远程从端的***，该通讯***需保证数据完整、正确、高效地传输至目标从端接收位置，可以借助Ethernet线缆直接连接主端和从端或者通过Internet网络及路由器连接主端和从端并通过主从通讯机制下发或反馈数据、指令、视频、音频等信息；从端数据接收和处理计算机通过主从通讯获得主端上位机下发的数据及指令，并对接收的数据进行解析和处理得到核心的需求信息，并结合从端机器人执行机构的运动学正逆解求解和现在所处的姿态信息计算出从端维护动作执行机构各运动驱动关节的执行数据以发送至从端机器人执行机构的各个驱动设备；从端机器人执行机构则根据求解计算的执行数据指令驱动并执行具体的动作以完成特定动作任务，会跟随和再现主端操作者的手部输入动作进而完成相应特定的相关任务，比如遥操作对从端维护操作对象进行检测检验、维护维修、病患手术治疗等而在相对狭小工作空间、特殊恶劣的环境、封闭的体内环境等完成维护救助动作任务并远程实时在线操控执行。

主操作者为维护操作动作指令输入和下发人员，主要负责通过实时反馈监控的远程从端操作环境下的实时场景进行判断并输入合适的动作和控制指令，主端操作者通过远端场景的在线实时反馈使整个***构成大闭环反馈***以保证整个遥操作***能够稳定控制并正确执行任务；从端维护操作对象所处的操作环境一般是操作人员不便于直接介入操作的情境，比如远距离外太空、深海内及海底、强热强磁场强辐射强曝光强刺激等极端恶劣具有强危害性场所、过于狭小或不便于人员直接进入的腔体等，这些特殊环境使得操作人员不能直接进入而可以借助机器人或某些机构装置携带具备一定功能的操作设备进入到目标环境进行辅助维护维修操作并通过远程通讯进行控制执行具体动作；该远程操控机器人辅助智能维护***可以因具体的维护任务及维护作业环境不同而选择和设计不同类型的相应合适的从端机器人机构，可以完成远距离外太空设备的地面遥操作检测维护维修探测实验等作业、深海内及海底设备和装置的地面人员遥操作检测维护维修探测实验等作业、强热强磁场强辐射强曝光强刺激等极端恶劣具有强危害性场所内的装置设备检测维护维修探测实验等作业、过于狭小或不便于人员直接进入的腔体等内部某部位或设备的遥操作检测维护维修探测实验等作业、对于人体胸腹腔内的组织器官进行微创遥操作检查探测实验手术治疗等作业。

主端数据采集与处理计算机与从端数据接收与处理计算机之间会通过通讯机制实现两端实时快速传递必要的信息，距离不太遥远可以直接通过连接网线进行通讯，超远距离可以将两端的计算机连接互联网通过互联网传输协议进行数据通讯，从而实现将主端操控信息实时传送至从端通过执行机构执行并通过反馈传感设备将相应数据反馈，整个数据流指令流都依赖该主从之间建立的通讯机制；主从两端的计算机分别负责主端和从端各自主要功能模块，如所连接设备的驱动，远程通讯建立，数据采集、接收及处理，主端输入机构运动状态求解、位姿计算、数据处理等，从端机构运动控制算法求解、控制律计算和数据处理等，从端执行机构电机驱动指令的下发及执行结果的反馈，其他可能使用到的传感器的驱动和数据获取与处理等等任务模块；此外对主端和从端的计算机的具体任务分工可根据遥操作***实际情况进行调整，可以将从端的一些功能处理模块放在主端计算机再借助通讯机制将处理结果下发至从端，接收后可以直接发给驱动单元进行执行。

主从通讯层传递的信号可以根据主从之间的物理距离进行方案选择，如果主从之间的物理距离不太遥远可以直接通过网线及其他信号传输线缆连接，则可以选择如图1所示的通讯策略，即主从之间的控制信号及指令信息等走主从通讯层协议可以通过网络传输线缆传输信息，而从端实时场景反馈信息包括视频、音频甚至触感信号等可以直接通过相应的视频信号传输线、音频信号传输线及其他信号传输线直接传递至主端操作者可以看到、听到及感触到的平台；这样可以保证反馈信号传输的延时更小以便更及时反馈给主端操作者从而更及时作出合理的操控。如果主从之间的距离很远，直接连接线缆比较困难，则需要借助互联网络进行通讯，此时需要将主从之间的控制数据信息和指令信息通过网络通讯传输，同时从端场景的反馈信息包括视频、音频甚至触感信号等也需要等过互联网络一起通过该通讯层进行传输，这样需要主从通讯层的带宽够高，保证视频、音频等大数据量的信息同控制数据指令一起传输时不至于卡顿、丢包、延时更严重，以避免造成需要的反馈信息严重滞后或者失真的严重情况发生。一般通讯协议可以借助TCP/IP或UDP协议实现数据传输，也可以借助网络传输平台实现大数据量的视频、音频等信息的传输。

主端计算机连接主端操作输入设备通过运动求解可以计算出主端设备机构的主端工作空间，从端计算机连接的从端维护机器人及其他执行机构也可以通过建立模型开发运动求解算法计算出从端工作空间，而要实现主从之间的良好匹配操控，则需要建立合适的协调的主从映射关系，以实现主从不同控制目标点的运动正确匹配，或实现从端对主端动作输入的放大、缩小以及消除抖动等处理；这就要求首先需要对主端操作输入设备获取的输入数据滤除掉设备自身重力因素对自身运动带来的影响，即需要对其进行实时的重力补偿，其补偿算法可以根据该设备的结构构型、质量分布及瞬时所处的姿态信息结合正逆运动学求解；在通过主从空间映射实现主从匹配协调控制时，主端的位姿输入信息可以采取绝对式和增量式两种控制输入模式，绝对式通过实时计算主端设备控制点相对其自身基坐标系绝对位姿信息作为输入并按规则映射到从端机器人机构相对从端自身基坐标系的绝对位姿，增量式则通过求取主端操作设备控制点相邻两个控制周期的位置和姿态的变化量再结合一定的规则映射到从端机器人执行机构末端控制点的相对自身坐标系或者世界坐标系的位姿变化量进行控制。

本发明***主端操作输入设备一般需要具备6至7个自由度以产生主端操控位姿输入信息，如可选用Forcedimension公司的Omega系列中的Omega6、Omega7，Delta系列的Delta6、Delta7等操作设备产品，如Sensable Technologies公司的PHANTOM操作设备等，也可以自行设计具备6至7个自由度的适合人手操控的机构，每个自由度都可以通过编码器获取各自的运动信息如各关节转角，从而结合该机构的正向运动学可以计算出控制点相对自身的位置和姿态信息，如果需要求取两次相邻控制周期的时间点相对自身的空间位姿信息再求取两次差值得到变化量。主端输入操作设备要求获取数据和位姿更新的相应频率较高，至少需要保证在1000Hz以上才能满足获取主端有效信息的基本需求，自行设计的机构则需要保证根据其机构构型方便求取正运动学和逆运动学，而且需要保证较高的精度。此外，还需要对该产生位姿输入信息的设备辅助添加IO通断管理开关控制模块，如简单开关、脚踏开关等，辅助IO模块会对主端输入位姿信息产生设备的数据进行人为的中断、比例调节及主从映射对应关系转换等。主端操作输入设备需要的数量根据实际需要进行选择，一般主端操作者一只手操控一台该主端输入设备，如果从端任务只需一个独立的执行机构则主端只需要操控一台设备进行遥操作；如果从端任务需要两个相对独立的执行机构分别或同时配合动作，则主端操作者需要两只手操控则需要两台主端输入设备进行遥操作；如果从端机器人机构由两个以上相对独立执行机构，主端一名操作者只有两只手配合操控仍旧只能同时操控两台设备，而从端两个以上的执行机构则需要根据主端辅助开关模块进行选择映射对应关系以分别连接主端操控者左手或右手的对应关系。

从端维护机器人及其他执行机构可以根据从端维护操作环境、维护操作对象及具体任务选择不同尺寸、不同自由度、不同构型、不同精度、不同特性的机器人机构，如针对负载较大的任务可以选择市场上符合要求的工业机器人，对狭长空间下复杂任务可以选择紧凑串联型机器人，对胸腹腔辅助手术任务可以自主设计灵巧、紧凑、小型机械手，对从端任务需要较大动作姿态范围可选择或设计高自由度机器人，对从端任务动作较为固定或姿态受限环境则可选择或设计少自由度机器人。

从端场景信息采集设备主要有三大类，视频信息采集设备如普通摄像头、特殊要求摄像头、小尺寸内窥镜、网络摄像头、无线传输摄像头等，音频信息采集设备如话筒，力觉触觉信息采集设备如力传感器或其他间接检测触觉设备。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种基于远程操控的机器人辅助智能维护***，其特征在于，包括：主端操控平台模块、主端输入信号采集与处理模块、信号传输与通讯模块、从端控制执行模块、从端现场信息采集反馈模块；其中：

所述主端操控平台模块，用于对远程操控***主端遥操作人员的操控提供平台和符合人机工程学的操作环境；

所述主端输入信号采集与处理模块，用于对遥操作人员的动作指令进行运动数据采集、运动状态求解、姿态计算、位姿变化信息计算以及数据滤波处理；

所述信号传输与通讯模块，用于将主端采集的主操作人员的输入数据和处理的结果传输至远程从端；

所述从端控制执行模块，用于在接收到主端的数据之后解析并求解出正确的控制信号，根据得到的运动和姿态变化目标驱动从端机器人执行机构执行相应的动作；

所述从端现场信息采集反馈模块，用于将远程从端的现场状况通过视频或音频设备采集到的信息反馈传输至主端。

2.根据权利要求1所述的基于远程操控的机器人辅助智能维护***，其特征在于，所述主端输入信号采集与处理模块包括：主端输入动作采集设备和主端数据采集与处理计算机，所述主端输入动作采集设备将采集到的6至7个自由度的机构的运动信息传输至主端数据采集与处理计算机，由主端数据采集与处理计算机结合机构自身正运动学计算出机构末端控制点相对自身设定基坐标系的空间位置和姿态角度信息，以获取主端操作者控制点的实时位姿信息，并进行滤波处理后发送至信号传输与通讯模块。

3.根据权利要求1所述的基于远程操控的机器人辅助智能维护***，其特征在于，所述信号传输与通讯模块采用Ethernet线缆，或者通过Internet网络及路由器将采集的主操作者的输入数据和处理的结果传输至远程从端。

4.根据权利要求1所述的基于远程操控的机器人辅助智能维护***，其特征在于，所述从端控制执行模块能够驱动不同尺寸、不同自由度、不同构型、不同精度、不同特性的机器人，即能够根据具体的操作环境选择安装不同的机器人来完成主端的操作任务。

5.根据权利要求1所述的基于远程操控的机器人辅助智能维护***，其特征在于，所述从端现场信息采集反馈模块包括：视频信息采集设备、音频信息采集设备、力觉触觉信息采集设备；其中：所述视频信息采集设备包括：摄像头、内窥镜、网络摄像头、无线传输摄像头；所述音频信息采集设备包括：话筒；所述力觉触觉信息采集设备包括：力传感器。

6.根据权利要求1所述的基于远程操控的机器人辅助智能维护***，其特征在于，还包括从端信息实时监控显示设备，用于显示从端场景采集到的视频信息、音频信息、力觉触觉信息。

7.根据权利要求1所述的基于远程操控的机器人辅助智能维护***，其特征在于，还包括主从匹配协调控制模块，用于建立主端工作空间与从端工作空间之间的映射关系，实现主从不同控制目标点的运动正确匹配，或实现从端对主端动作输入的放大、缩小以及抖动消除处理。

8.根据权利要求2所述的基于远程操控的机器人辅助智能维护***，其特征在于，主端的位姿信息能够由绝对式或者增量式两种控制输入模式获得；绝对式是指：通过实时计算主端设备控制点相对主端自身基坐标系的绝对位姿信息作为输入并按规则映射到从端机器人机构相对从端自身基坐标系的绝对位姿；增量式是指：通过求取主端操作设备控制点相邻两个控制周期的位置和姿态的变化量，再结合指定规则映射到从端机器人执行机构末端控制点的相对自身坐标系或者世界坐标系的位姿。