CN114905478A - 双边遥操作***及控制方法 - Google Patents

双边遥操作***及控制方法 Download PDF

Info

Publication number
CN114905478A
CN114905478A CN202110172991.1A CN202110172991A CN114905478A CN 114905478 A CN114905478 A CN 114905478A CN 202110172991 A CN202110172991 A CN 202110172991A CN 114905478 A CN114905478 A CN 114905478A
Authority
CN
China
Prior art keywords
slave
arm
controller
mechanical arm
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110172991.1A
Other languages
English (en)
Inventor
熊坤
赵龙飞
张东胜
魏磊
周诚
王海涛
李望维
陈科
黄碧丹
任义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110172991.1A priority Critical patent/CN114905478A/zh
Priority to PCT/CN2022/074388 priority patent/WO2022166770A1/zh
Publication of CN114905478A publication Critical patent/CN114905478A/zh
Priority to US17/992,762 priority patent/US20230083258A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • B25J3/04Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements involving servo mechanisms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • B25J13/025Hand grip control means comprising haptic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/084Tactile sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0006Exoskeletons, i.e. resembling a human figure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0084Programme-controlled manipulators comprising a plurality of manipulators
    • B25J9/0087Dual arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40138Scaled feedback of forces from slave to master and master to slave
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40184Compliant teleoperation, operator controls motion, system controls contact, force

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种双边遥操作***及控制方法。该双边遥操作***包括:主端操作平台和从端操作平台;主端操作平台包括:主端支架、主端机械臂、机械手控制组件和第一控制器,主端机械臂的根端设置于主端支架上,主端机械臂的末端与机械手控制组件连接;从端操作平台包括:从端支架、从端机械臂、从端机械手和第二控制器,从端机械臂的根端设置于从端支架上,从端机械臂的末端与从端机械手连接;主端机械臂与从端机械臂是同构机械臂,主端操作平台中的第一控制器与从端操作平台中的第二控制器具有通信连接。主端机械臂与从端机械臂是同构机械臂,使得主端机械臂和从端机械臂的关节空间直接对应,避免从端机械臂产生无效的运动。

Description

双边遥操作***及控制方法
技术领域
本申请涉及遥操作技术领域,特别涉及一种双边遥操作***及控制方法。
背景技术
随着科技的发展,双边遥操作***被广泛地应用于工业和日常生活中,以便代替人类来处理某些或复杂、或危险、或不便的事件。双边遥操作***包括主端操作平台和从端操作平台,操作人员通常通过控制主端操作平台实现对从端操作平台的遥操作;同时,从端操作平台向主端操作平台发送相应的运动信息以使得操作人员获取运动反馈。
比如,双边遥操作***中的主端操作平台是具有三自由度的外骨骼装置,从端操作平台是具有五自由度的受控机器人。首先,主端操作平台通过外骨骼装置上的多个关节电机获取操作人员的活动信息。随后,主端操作平台将获取到的活动信息转化为受控机器人的运动指令后传递给从端操作平台,从而实现对受控机器人的控制。同时,从端操作平台向主端操作平台发送相应的运动信息,操作人员通过主端操作平台的运动反馈获取受控机器人的运动信息。
在双边遥操作***中,由于从端操作平台的自由度与主端操作平台的自由度不同,使得从端操作平台的机械臂产生零空间运动。其中,零空间在从端操作平台的自由度大于主端操作平台控制的自由度时出现。比如,在上述双边遥操作***中,主端操作平台控制的自由度为3,从端操作平台的自由度为5。受控机器人的机械臂的三个可控关节受到外骨骼装置的控制,在三个可控关节保持不动时,存在两个可转动的冗余关节构成零空间,两个可转动的关节进行的运动即为零空间运动。也即,通过外骨骼装置实现对受控机器人的机械臂的三个关节的控制,剩余两个关节成为冗余关节,从而造成机械臂产生零空间运动,导致受控机器人失控。
发明内容
本申请实施例提供了一种双边遥操作***及控制方法,使得主端机械臂和从端机械臂具有相同的自由度,避免从端机械臂产生无效的运动。所述技术方案至少包括如下方案:
根据本申请的一个方面,提供了一种双边遥操作***,所述双边遥操作***包括:主端操作平台和从端操作平台;
主端操作平台包括:主端支架、主端机械臂、机械手控制组件和第一控制器,主端机械臂的根端设置于主端支架上,主端机械臂的末端与机械手控制组件连接;
从端操作平台包括:从端支架、从端机械臂、从端机械手和第二控制器,从端机械臂的根端设置于从端支架上,从端机械臂的末端与从端机械手连接;
主端机械臂与从端机械臂是同构机械臂,主端操作平台中的第一控制器与从端操作平台中的第二控制器具有通信连接。
根据本申请的一个方面,提供了一种主端操作平台,所述主端操作平台包括:主端支架、主端机械臂、机械手控制组件和第一控制器;
主端机械臂的根端设置于主端支架上,主端机械臂的末端与机械手控制组件连接;
第一控制器用于采集主端机械臂和机械手控制组件的运动信息,以及控制主端机械臂和机械手控制组件的运动。
根据本申请的一个方面,提供了一种从端操作平台,所述从端操作平台包括:从端支架、从端机械臂、从端机械手和第二控制器;
从端机械臂的根端设置于从端支架上,从端机械臂的末端与从端机械手连接;
第二控制器用于控制从端机械臂和从端机械手的运动,以及反馈从端机械臂和从端机械手的运动信息。
根据本申请的一个方面,提供了一种双边遥操作***的控制方法,应用于上述双边遥操作***中,所述方法包括:
第一控制器采集主端机械臂的运动信息和机械手控制组件的运动信息中的至少一种;
第一控制器向第二控制器发送运动信息或者控制指令,控制指令是基于运动信息生成的;
第二控制器根据运动信息或控制指令控制从端操作平台执行与运动信息对应的运动,运动由从端机械臂和从端机械手中的至少一种执行。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过主端机械臂与从端机械臂的同构,使得主端机械臂与从端机械臂具有相同的自由度,从而使得主端机械臂和从端机械臂的关节空间直接对应,避免从端机械臂产生无效的运动。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的双边遥操作***的应用场景示意图;
图2是本申请一个示例性实施例提供的双边遥操作***的结构示意图;
图3是本申请一个示例性实施例提供的主端操作平台的结构示意图;
图4是本申请一个示例性实施例提供的主端操作平台的结构示意图;
图5是本申请一个示例性实施例提供的主端操作平台的结构示意图;
图6是本申请一个示例性实施例提供的主端操作平台的结构示意图;
图7是本申请一个示例性实施例提供的从端操作平台的结构示意图;
图8是本申请一个示例性实施例提供的从端操作平台的结构示意图;
图9是本申请一个示例性实施例提供的主端操作平台的局部示意图;
图10是本申请一个示例性实施例提供的从端操作平台的局部示意图;
图11是本申请一个示例性实施例提供的机械手控制组件的结构示意图;
图12是本申请一个示例性实施例提供的机械手控制组件的结构示意图;
图13是本申请一个示例性实施例提供的环形触觉传感器的结构示意图;
图14是本申请一个示例性实施例提供的环形触觉传感器的结构示意图;
图15是本申请一个示例性实施例提供的虚拟眼镜的示意图;
图16是本申请一个示例性实施例提供的控制台的结构示意图;
图17是本申请一个示例性实施例提供的移动底盘的结构示意图;
图18是本申请一个示例性实施例提供的主端操作平台的局部示意图;
图19是本申请一个示例性实施例提供的主端支架的结构示意图;
图20是本申请一个示例性实施例提供的从端支架的结构示意图;
图21是本申请一个示例性实施例提供的双边遥操作***的控制方法的流程图;
图22是本申请一个示例性实施例提供的双边遥操作***的控制方法的流程图;
图23是本申请一个示例性实施例提供的双边遥操作***的控制方法的流程图;
图24是本申请一个示例性实施例提供的双边遥操作***的控制方法的原理图。
下面对附图中的各个标号进行说明:
100-双边遥操作***;
10-主端操作平台:
11-主端支架:
111-主端装置支撑架;
112-主端机械臂支撑架:1121-横梁;1122-横梁连接件;1123-横梁固定件;1124-滑块;
113-导轨;
12-主端机械臂:121-主端力矩传感器:1211-第一力矩传感器;1212-第二力矩传感器;
13-机械手控制组件:
131-环形触觉传感器:1311-内圈;1312-外圈;1313-触觉传感片;1314-弹性件;1315-第一挡圈;1316-第二挡圈;
132-把手;
133-多指控制装置:1331-第一指套;1332-第二指套;
134-组件支撑件;
14-控制台:141-脚踏控制板;142-座椅;
15-虚拟眼镜;
20-从端操作平台:
21-从端支架:
211-从端装置支撑架;
212-从端机械臂支撑架;
213-连接法兰;
22-从端机械臂:221-从端力矩传感器:2211-第三力矩传感器;2212-第四力矩传感器;
23-从端机械手;
24-移动底盘:
241-主动轮;
242-从动轮:2421-前置从动轮;2422-后置从动轮;
25-双目视觉相机。
具体实施方式
除非另有定义,本申请实施例所用的所有技术术语均具有与本领域技术人员通常理解的相同的含义。
在本申请实施例中,所涉及的“前”、“后”均以附图中所示的前和后为基准。“第一端”、“第二端”为相对的两端。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1示出了本申请一个示例性实施例提供的双边遥操作***的应用场景的示意图。如图1所示,该应用场景包括主端操作平台101、从端操作平台102和用于实现主端操作平台101与从端操作平台102之间的数据交互的计算机设备103。
操作人员通过对主端操作平台101的操作,获取主端操作平台101的运动信息,将主端操作平台101的运动信息发送至计算机设备103中,并经由计算机设备103发送至从端操作平台102。从端操作平台102在获取到该运动信息后,根据该运动信息生成相关指令控制相关部件进行对应的运动。
或者,操作人员通过对主端操作平台101的操作,获取主端操作平台101的运动信息后,主端操作平台101将该运动信息生成相关指令。主端操作平台101将上述相关指令发送至计算机设备103中,并经由计算机设备103发送至从端操作平台102,从端操作平台102根据事实上相关指令进行对应的运动。
同时,从端操作平台102还具有向主端操作平台101反馈信息的功能。其中,从端操作平台102向主端操作平台10反馈的信息包括但不限于运动信息和接触信息中的至少一种。
如上仅以示例性的方法对本申请涉及的双边遥操作***的应用场景进行说明,不对本申请实施例提供的双边遥操作***、主端操作平台、从端操作平台和双边遥操作***的控制方法造成限定,其他可以实现主端操作平台101和从端操作平台102之间的数据交互的应用场景亦可。
示意性的如图2所示,本申请实施例提供了一种双边遥操作***100,用于实现对从端操作平台20的遥操作的控制。以双边遥操作***100应用于如图1所述的应用场景中为例,示意性的,本申请实施例提供的双边遥操作***100,包括主端操作平台10和从端操作平台20。
主端操作平台10如图3-6所示,从端操作平台20如图7和图8所示。
其中,主端操作平台10包括:主端支架11、主端机械臂12、机械手控制组件13和第一控制器,主端机械臂12的根端设置于主端支架11上,主端机械臂12的末端与机械手控制组件13连接。
从端操作平台20包括:从端支架21、从端机械臂22、从端机械手23和第二控制器,从端机械臂22的根端设置于从端支架21上,从端机械臂22的末端与从端机械手23连接。
示意性的,主端机械臂12与从端机械臂22是同构机械臂,主端操作平台10中的第一控制器与从端操作平台20中的第二控制器具有通信连接。
示意性的如图3-6所示,主端操作平台10中,主端支架11用于支撑主端机械臂12,主端机械臂12用于支撑机械手控制组件13。示意性的如图7和图8所示,从端操作平台20中,从端支架21用于支撑从端机械臂22,从端机械臂22用于支撑从端机械手23。示意性的,主端支架11与主端机械臂12活动连接,用于调节主端机械臂12的高度和间距;从端支架21与从端机械臂22活动连接,用于调节从端机械臂22的高度和间距。
示意性的,主端机械臂12与从端机械臂22是同构机械臂。示意性的,本申请实施例涉及的同构,是指主端机械臂12与从端机械臂22的自由度相同。在主端机械臂12和从端机械臂22的自由度相同的前提下,主端机械臂12的长度、大小、结构与从端机械臂22的长度、大小、结构相同或相似。比如,主端机械臂12与从端机械臂22均为五自由度机械臂,主端机械臂12为0.5米,从端机械臂22为1.2米。另外,主端机械臂12上具有的辅助装置与从端机械臂22上具有的辅助装置可以是相同的,也可以是不同的,本申请在此不做限定。
也即,主端机械臂12与从端机械臂22具有相同的自由度。示例性的,主端机械臂12和从端机械臂22为七自由度机械臂。
以双边遥操作***100由操作人员控制主端操作平台10为例,由于主端机械臂12与从端机械臂22的自由度相同,使得操作人员对主端机械臂12的操作可以直接映射到从端机械臂22上,实现对从端机械臂22的实时控制。也即,主端机械臂12和从端机械臂22的笛卡尔空间和关节空间直接对应,用以实现对从端机械臂22的控制,可以有效避免冗余关节在零空间中的运动失控,使得对从端机械臂22的控制更加直观。
示意性的,机械手控制组件13与从端机械手23同构,或者,机械手控制组件13与从端机械手23不同构。
其中,机械手控制组件13可以包括多个机械手控制装置,用于实现对从端机械手23的控制。示意性的,机械手控制组件13包括腕部控制装置和指段控制装置中的至少一种,机械手控制组件13设置于主端机械臂12的末端,用于获取从端机械手23的腕部运动信息和指段运动信息中的至少一种。
以双边遥操作***100由操作人员控制主端操作平台10为例。比如,机械手控制组件13和从端机械手23均为五指段机械手,操作人员通过操作机械手控制组件13的五个指段,从而实现对从端机械手23的五个指段的控制。又如,机械手控制组件13包括多个机械手控制装置,从端机械手23为双指机械手、五指机械手、多指机械手中的至少一种,操作人员通过操作机械手控制组件13的多个机械手控制装置,多个机械手控制装置获取各指段的运动信息,并将运动信息发送至从端机械手23,从而实现对从端机械手23的对应控制。示例性的,从端机械手23为双指夹爪。
示意性的,主端操作平台10中的第一控制器与从端操作平台20中的第二控制器具有通信连接。
其中,第一控制器和第二控制器的数量可根据实际需要进行设定。示意性的,第一控制器可以分为第一机械臂控制器和第一机械手控制器,第二控制器可以分为第二机械臂控制器和第二机械手控制器。
另外,第一控制器用于采集主端机械臂12和/或机械手控制组件13的运动信息,以及控制主端机械臂12和/或机械手控制组件13的运动;第二控制器用于控制从端机械臂22和/或从端机械手23的运动,以及反馈从端机械臂22和/或从端机械手23的运动信息。比如,第一控制器与第二控制器连接第一控制器采集主端机械臂12的移动运动信息,第二控制器控制从端机械臂22执行与移动运动信息对应的移动运动。
也即,主端操作平台10中的主端机械臂12和/或机械手控制组件13的运动信息或运动指令通过第一控制器发送至第二控制器,第二控制器接收上述运动信息或运动指令,用于控制从端机械臂22和/或从端机械手23执行与上述运动信息对应的运动。同时,第二控制器采集从端机械臂22和/或从端机械手23的运动信息,并将该运动信息发送至第一控制器,第一控制器向主端机械臂12和/或机械手控制组件13反馈从端机械臂22和/或从端机械手23上的运动信息。
其中,第一控制器与第二控制器之间的通信连接有多种实现方式,示意性的,第一控制器与第二控制器通过导线、电缆、信号中的至少一种实现通信连接。
示意性的,第一控制器和第二控制器之间的信息交互包括如下至少两种方式:
第一控制器采集主端机械臂12和/或机械手控制组件13的运动信息,将主端机械臂12和机械手控制组件13的运动场信息发送至第二控制器;
或者,第一控制器采集主端机械臂12和/或机械手控制组件13的运动信息,根据主端机械臂12和/或机械手控制组件13的运动信息生成从端机械臂22和/或从端机械手23的运动指令,将从端机械臂22和/或从端机械手23的运动指令发送至第二控制器。
综上所述,本申请实施例提供的双边遥操作***100,通过主端机械臂12与从端机械臂22的同构,使得主端机械臂与从端机械臂具有相同的自由度,从而使得主端机械臂和从端机械臂的关节空间直接对应,避免从端机械臂产生无效的运动。
根据前述内容,主端机械臂12和从端机械臂22是同构机械臂。在主端机械臂12和从端机械臂22具有相同的自由度的前提下,主端机械臂12和从端机械臂22是完全相同的机械臂;或者,是自由度相同,但结构、大小、辅助装置略有差异的机械臂。据此,本申请实施例提供了主端机械臂12和从端机械臂22如下几种可选的实现方式:
一、力矩传感器。
示意性的如图9和图10所示,本申请实施例提供的双边遥操作***100中,主端机械臂12上设置有与第一控制器相连的主端力矩传感器121;和/或,从端机械臂22上设置有与第二控制器相连的从端力矩传感器221。
也即,主端力矩传感器121和从端力矩传感器221可以同时设置,也可以设置其一。力矩传感器用于感知机械部件上的力矩信息,并将力矩信息转化为电信号传递到对应的控制器中。
示意性的,根据机械臂的具体结构,本申请实施例中涉及的主端力矩传感器121和从端力矩传感器221可设置于机械臂的关节处和/或末端。也即,主端力矩传感器121和从端力矩传感器221可以感知主端机械臂12和从端机械臂22的各个关节和/或末端的力矩信息。具体的,设置于关节处的力矩传感器可以感知到关节处的受力情况,包括但不限于力矩大小和力的方向;设置于末端的力矩传感器可以感知到末端的受力情况,包括但不限于各向力的力矩大小和力的方向。
示意性的,本申请实施例提供的双边遥操作***100中,主端力矩传感器121包括第一力矩传感器1211和第二力矩传感器1212中的至少一种;和/或,从端力矩传感器221包括第三力矩传感器2211和第四力矩传感器2212中的至少一种。
其中,第一力矩传感器1211设置于主端机械臂12的关节处,第二力矩传感器1212设置于主端机械臂12的末端;第三力矩传感器2211设置于从端机械臂22的关节处,第四力矩传感器2212设置于从端机械臂22的末端。
示意性的,第二力矩传感器1212,和/或第四力矩传感器2212为六维力传感器。其中,六维力矩传感器具有灵敏度高、刚性好、维间耦合小的特点,具有机械过载保护的功能。
由于力矩传感器设置位置具有差异,导致力矩传感器对于主端机械臂12和从端机械臂22的作用也不同,具体如下:
1、主端机械臂12上设置有主端力矩传感器121。
示意性的如图9所示,本申请实施例提供的双边遥操作***100中主端机械臂12上设置有与第一控制器相连的主端力矩传感器121;第一控制器用于采集主端机械臂12的手臂运动信息,第二控制器用于接收主端机械臂12的手臂运动信息。
其中,主端力矩传感器121用于感知主端机械臂12的手臂运动信息,主端机械臂12的手臂运动信息包括但不限于关节运动信息和手臂末端运动信息中的至少一种。示意性的,主端力矩传感器121的数量、类型、设置位置可根据实际需要进行设置,本申请在此不做限定。
第一控制器通过主端力矩传感器121采集主端机械臂12的手臂运动信息,通过第一控制器和第二控制器的通信连接,第二控制器控制从端机械臂22执行与手臂运动信息相应的手臂运动。示意性的,主端力矩传感器121在感知到主端机械臂12的手臂运动信息后,将该信息传递给第一控制器,第一控制器将该信息发送至第二控制器,或者根据该信息生成手臂控制指令再发送至第二控制器。随后,第二控制器根据手臂控制指令中的参数信息控制从端机械臂22执行与手臂运动信息对应的手臂运动。
另外,第一控制器在接收到主端力矩传感器121感知到的手臂运动的力矩信息后,还可以根据该信息对主端机械臂12的运动趋势进行预测,并将手臂运动趋势的预测信息发送至第二控制器,从而使得主端操作平台10对于从端机械臂22的控制更为柔顺,尽可能避免卡顿的情况出现。该部分内容将在下文具体展开叙述。
在实际应用中,主端力矩传感器121可以设置单个,也可以设置多个。示意性的,本申请实施例提供的双边遥操作***100中,主端力矩传感器121包括第一力矩传感器1211和第二力矩传感器1212中的至少一种。
其中,第一力矩传感器1211设置于主端机械臂12的关节处,第二力矩传感器1212设置于主端机械臂12的末端。
示意性的,第一力矩传感器1211用于感知主端机械臂12的各个关节的运动信息,第二力矩传感器1212用于感知主端机械臂12的末端的运动信息。示意性的,主端机械臂12的各个关节的运动信息包括主端机械臂12各个关节的运动方向、运动距离和停止位置中的至少一种,主端机械臂12的末端的运动信息包括主端机械臂12的末端的运动方向、运动距离和停止位置中的至少一种。
第一力矩传感器1211和第二力矩传感器1212的类型可根据实际选择。示意性的,第一力矩传感器1211为关节力矩传感器。示意性的,第二力矩传感器1212为六维力传感器。
以主端机械臂12为七自由度机械臂为例,主端力矩传感器121包括6个第一力矩传感器1211和一个第二力矩传感器1212。6个第一力矩传感器1211用于感知七自由度机械臂的6个关节处的运动信息,第二力矩传感器1212用于感知七自由度机械臂的末端的运动信息。其中,第一力矩传感器1211为关节力矩传感器,第二力矩传感器1212为六维力传感器。
2、从端机械臂22上设置有从端力矩传感器221。
示意性的如图10所示,本申请实施例提供双边遥操作***100中,从端机械臂22上设置有与第二控制器相连的从端力矩传感器221;第二控制器用于采集从端机械臂22的手臂反馈信息,第一控制器用于接收从端机械臂22的手臂反馈信息。
其中,从端力矩传感器221用于感知从端机械臂22的手臂运动信息,从端机械臂22的手臂运动信息包括但不限于关节运动信息和手臂末端运动信息中的至少一种。示意性的,从端力矩传感器221的数量、类型、设置位置可根据实际需要进行设置,本申请在此不做限定。
第二控制器通过从端力矩传感器221采集从端机械臂22的手臂运动信息,通过第一控制器和第二控制器的通信连接,第一控制器控制主端机械臂12执行与手臂运动信息相应的手臂运动。示意性的,从端力矩传感器221在感知到从端机械臂22的手臂反馈信息后,将该信息传递给第二控制器,第二控制器将该信息发送至第一控制器,或者根据该信息生成手臂反馈指令再发送至第一控制器。随后,第一控制器根据手臂反馈指令中的参数信息向主端机械臂12反馈从端机械臂22的手臂运动。
在实际应用中,从端力矩传感器221可以设置单个,也可以设置多个。示意性的,本申请实施例提供的双边遥操作***100中,从端力矩传感器221包括第三力矩传感器2211和第四力矩传感器2212中的至少一种。
其中,第三力矩传感器2211设置于从端机械臂22的关节处;第四力矩传感器2212设置于从端机械臂22的末端。
示意性的,第三力矩传感器2211用于感知从端机械臂22的各个关节的运动信息,第四力矩传感器2212用于感知从端机械臂22的末端的运动信息。示意性的,从端机械臂22的各个关节的运动信息包括从端机械臂22各个关节的运动方向、运动距离和停止位置中的至少一种,从端机械臂22的末端的运动信息包括从端机械臂22的末端的运动方向、运动距离和停止位置中的至少一种。
第三力矩传感器2211和第四力矩传感器2212的类型可根据实际选择。示意性的,第三力矩传感器2211为关节力矩传感器。示意性的,第四力矩传感器2212为六维力传感器。
以从端机械臂22为七自由度机械臂为例,从端力矩传感器221包括6个第三力矩传感器2211和一个第四力矩传感器2212。6个第三力矩传感器2211用于感知七自由度机械臂的6个关节处的运动信息,第四力矩传感器2212用于感知七自由度机械臂的末端的运动信息。其中,第三力矩传感器2211为关节力矩传感器,第四力矩传感器2212为六维力传感器。
二、电子皮肤。
示意性的,本申请实施例提供的双边遥操作***100中,主端机械臂12的表面附着有与第一控制器相连的电子皮肤;和/或,从端机械臂22的表面附着有与第二控制器相连的电子皮肤。
电子皮肤用于感知主端机械臂12和/或从端机械臂22对于外界环境的接触信息。示意性的,电子皮肤包括皮肤触觉传感器。其中,皮肤触觉传感器根据触觉感知原理进行工作。具体的,根据电子皮肤感知到的接触信息,可以获知主端机械臂12和/或从端机械臂22的接触力及接触面几何特性。可选的,皮肤触觉传感器是接触觉传感器。
根据电子皮肤的设置位置的不同,其作用也存在差异,具体描述如下:
1、主端机械臂12上有设置电子皮肤。
示意性的,本申请实施例提供双边遥操作***100中,主端机械臂12的表面附着有与第一控制器相连的电子皮肤;第一控制器还用于采集主端机械臂12的接触信息,第二控制器还用于向从端机械臂22反馈主端机械臂12的接触信息。
其中,电子皮肤用于感知主端机械臂12对于外界环境的接触信息,第一控制器通过电子皮肤采集上述信息后,并向第二控制器发送该接触信息。具体的,电子皮肤覆盖在主端机械臂12上。
示意性的,接触信息是指主端机械臂12与外界环境发生触碰的信息,包括但不限于接触点、接触面、接触位置、接触物体的温度、接触物体的形状、接触物体的重量、接触物体的粗糙度中的至少一种。通过上述接触信息,主端操作平台10可以获取主端机械臂12接触到的物体的相关信息,第二控制器在获取到该接触信息后,向从端机械臂22进行反馈。
2、从端机械臂22上设置有电子皮肤。
示意性的,本申请实施例提供双边遥操作***100中,从端机械臂22的表面附着有与第二控制器相连的电子皮肤;第二控制器还用于采集从端机械臂22的接触信息,第一控制器还用于向主端机械臂12反馈从端机械臂22的接触信息。
其中,电子皮肤用于感知从端机械臂22对于外界环境的接触信息,第二控制器通过电子皮肤采集上述信息后,并向第一控制器发送该接触信息。具体的,电子皮肤覆盖在从端机械臂22上。
示意性的,接触信息是指从端机械臂22与外界环境发生触碰的信息,包括但不限于接触点、接触面、接触位置、接触物体的温度、接触物体的形状、接触物体的重量、接触物体的粗糙度中的至少一种。通过上述接触信息,主端操作平台10可以获取从端机械臂22接触到的物体的相关信息,从而对主端机械臂12的控制进行判断。
比如,从端机械臂22的一节手臂段触碰到障碍物,电子皮肤获取到该障碍物为硬质物品,第二控制器将该信息发送至第一控制器,主端操作平台10可根据该信息调整主端机械臂12的运动方向。
综上所述,本申请实施例提供的双边遥操作***100中,主端机械臂12和从端机械臂22在具有相同自由度的前提下,还可以设置力矩传感器和/或电子皮肤等辅助装置。其中,通过力矩传感器可以获知机械臂的关节处和/或末端的受力情况,通过电子皮肤可以获知机械臂的接触力和接触面几何特性,基于此,主端机械臂12和从端机械臂22可以实现运动信息和接触信息的双向交互。
在双边遥操作***100的实际操作过程中,主端操作平台10通常由操作人员进行控制。根据主端操作平台10和/或从端操作平台20的具体运动场景的变化,操作人员可以对主端操作平台10进行实时的控制。对于从端操作平台20而言,由于从端操作平台20通常是一个机械装置或机器人,因此没有自主的思考和预判能力,从而导致其运动也是机械的复制主端操作平台10的运动。本申请实施例提供的双边遥操作***100中,主端操作平台10具有运动意图预测的功能,根据预测得到的运动意图可生成相关指令,可以使得从端操作平台20实时获取主端操作平台10的运动意图,使得主端操作平台10对于从端操作平台20的控制更为柔顺。
示意性的,本申请实施例提供的双边遥操作***100中,主端操作平台10包括意图预测部件,意图预测部件用于采集预测主端操作平台10的运动意图的运动信息。
其中,意图预测部件可以是一个或多个。示意性的,意图预测部件设置于主端机械臂12上;或者,意图预测部件设置于机械手控制组件13上。
另外,用于预测主端操作平台10的运动意图的运动信息,包括但不限于运动方向信息和运动力矩信息中的至少一种。根据运动信息的不同,意图预测部件也包括多种不同的部件。示意性的,意图预测部件包括方向意图预测部件和力矩意图预测部件中的至少一种。
以下以双边遥操作***100由操作人员控制主端操作平台10为例,将从方向意图预测部件和力矩意图预测部件两个方面展开论述:
一、方向意图预测部件包括与第一控制器相连的环形触觉传感器131。
示意性的如图11和图12所示,本申请实施例提供了机械手控制组件13的一种可选的结构:机械手控制组件13包括环形触觉传感器131、把手132和多指控制装置133中的至少一种。
示意性的,本申请实施例提供的双边遥操作***100中,方向意图预测部件包括与第一控制器相连的环形触觉传感器131;环形触觉传感器131设置于主端机械臂12的末端。
其中,环形触觉传感器131用于感知主端操作平台10的腕部运动信息,并将感知到的腕部运动信息发送至第一控制器,第一控制器通过与第二控制器的通信连接将该信息发送至第二控制器,用于控制从端操作平台20执行与腕部运动信息相应的腕部运动。
示意性的,腕部运动信息包机械手控制组件13的腕部的运动方向、运动速度和停止位置中的至少一种。以操作人员对主端操作平台10进行操作为例,环形触觉传感器131用于感知操作人员的腕部运动信息。
触觉传感器是用于机器中模仿触觉功能的传感器,基于触觉感知原理进行工作,触觉传感器包括但不限于接触传感器、力矩传感器、压觉传感器和滑觉传感器中的至少一种。示意性的,环形触觉传感器131用于感知主端操作平台10的腕部的接触信息、力矩信息中的至少一种。其中,力矩信息包括但不限于腕部的力的大小和力的方向。示意性的,通过环形触觉传感器131,第一控制器可以获知操作人员与主端操作平台10的人机交互信息,包括但不限于运动方向和接触面的受力情况中的至少一种。比如,操作人员的腕部穿过环形触觉传感器131,操作人员向右前方移动手腕,环形触觉传感器131可以感知到操作人员的腕部向右前方运动的情况,包括但不限于力的大小和方向。
在保证环形触觉传感器131能够感知到主端操作平台10的腕部运动信息的前提下,环形触觉传感器131的结构可根据实际需要进行设定。
示意性的如图13和图14所示,本申请实施例提供了环形触觉传感器131的一种可选的结构:
示意性的,环形触觉传感器131包括内圈1311、外圈1312和至少两个触觉传感片1313;其中,至少两个触觉传感片1313嵌套于内圈1311和外圈1312之间。
其中,内圈1311和外圈1312用于对触觉传感片1313进行限位;触觉传感片1313用于感知主端操作平台10的腕部运动信息,并将感知到的腕部运动信息传递给第一控制器;第一控制器在采集到的腕部运动信息后可以获知主端操作平台10的具体腕部运动。
以双边遥操作***100由操作人员控制主端操作平台10为例,操作人员的腕部位于内圈1311中。在操作过程中,操作人员的腕部将触碰到嵌套于内圈1311与外圈1312之间的触觉传感片1313,触觉传感片1313根据接触感知腕部运动信息。
示意性的,触觉传感片1313的个数可根据实际需要进行设定,至少两个触觉传感片1313用于配合使用,以获取较为准确的腕部运动信息。示意性的如图13和图14所示,环形触觉传感器131包括8个触觉传感片1313。
在环形触觉传感器131的使用过程中,当触觉传感片1313受到较大的力的冲击时,触觉传感片1313的位置将发生偏移,导致感知到的运动信息出现误差。示意性的如图13和图14所示,本申请实施例提供的双边遥操作***100中,环形触觉传感器131还包括至少两个弹性件1314。
示意性的,至少两个弹性件1314嵌套与内圈1311和外圈1312之间,至少两个弹性件1314与至少两个触觉传感片1313间隔分布。
其中,弹性件1314起缓冲作用,使得触觉传感片1313能够尽快归零,从而减少触觉传感片1313的测量误差,配合触觉传感片1313获取精度更高的运动信息。
示意性的,弹性件1314的个数可根据实际需要进行设定,弹性件1314与触觉传感片1313的间隔分布,起到了保护触觉传感片1313的作用。示意性的如图13和图14所示,环形触觉传感器131包括8个触觉传感片1313和8个弹性件1314,8个触觉传感片1313和8个弹性件1314依次间隔分布。示意性的,弹性件1314由弹性材料制成,比如弹簧。
为使得内圈1311不脱离外圈1312,保证二者对触觉传感片1313的限位作用,示意性的如图13和图14所示,本申请实施例提供的双边遥操作***100中,环形触觉传感器131还包括第一挡圈1315和第二挡圈1316。其中,第一挡圈1315与内圈1311固定连接,第二挡圈1316与外圈1312固定连接。
相应的,为使得第二控制器能够控制从端操作平台20响应与腕部运动信息对应的腕部运动,示意性的,本申请实施例提供的双边遥操作***100中,从端机械手23通过旋转装置与从端机械臂22连接,旋转装置用于控制从端机械手23的旋转运动。比如,从端机械臂22的末端通过转轴与从端机械手23连接,该转轴用于控制从端机械手23的旋转运动。示意性的,旋转装置的具体结构可根据实际需要进行设置,本申请在此不做限定。
另外,环形触觉传感器131还具有预测主端机械臂12的运动意图的功能。具体的,第一控制器通过环形触觉传感器131采集主端机械臂12的腕部运动信息,并通过通信连接向第二控制器发送腕部运动信息或腕部控制指令;随后,第二控制器根据腕部运动信息或腕部控制指令控制从端机械臂22进行运动。其中,腕部控制指令是第一控制器基于腕部运动信息进行运动方向的意图预测生成的。
也即,通过环形触觉传感器131,第一控制器可以获取到用于预测主端机械臂12的运动意图的运动信息,该运动信息至少包括主端机械臂12的运动方向,通过该运动信息可以使得从端机械臂22获知主端机械臂12的运动趋势,从而使得对从端机械臂22的控制更加柔顺。具体的,由于环形触觉传感器131是环形结构,通过至少两个触觉传感片1313的作用,第一控制器可以采集到至少两个位置上的运动信息。以该运动信息包括主端机械臂12的运动方向为例,第一控制器可以采集到的至少两个位置上的运动方向的相关信息,根据至少两个位置上的运动方向,第一控制器或者第二控制器可以获知主端机械臂12的运动方向的意图预测。
综上所述,本申请实施例提供的双边遥操作***100中,通过机械手控制组件13包括的环形触觉传感器131,主端操作平台10可以采集到机械手控制组件13的腕部运动信息,获知操作人员与主端操作平台10的人机交互信息,采集人机交互的接触面受力情况。同时,环形触觉传感器131还具有预测运动意图的功能,尤其是与主端力矩传感器121的配合使用,可以向从端操作平台20提供主端操作平台10的运动意图,使得对于从端操作平台20的控制更为柔顺。
二、力矩意图预测部件包括与第一控制器相连的主端力矩传感器121。
示意性的如图9所示,本申请实施例提供的双边遥操作***100中,力矩意图预测部件包括与第一控制器相连的主端力矩传感器121;主端力矩传感器121设置于主端机械臂12上。
其中,主端力矩传感器121用于感知主端机械臂12的手臂运动信息,主端机械臂12的手臂运动信息包括但不限于关节运动信息和手臂末端运动信息中的至少一种。示意性的,在主端力矩传感器121用于预测主端操作平台10的运动意图时,主端力矩传感器121至少可以获取到与主端机械臂12的运动相关的力矩信息,该力矩信息包括但不限于主端机械臂12的关节和/或手臂末端的运动的力的大小、方向和距离中的至少一种。示意性的,主端力矩传感器121的数量、类型、设置位置可根据实际需要进行设置,本申请在此不做限定。
在实际应用中,主端力矩传感器121可以设置单个,也可以设置多个。示意性的,本申请实施例提供的双边遥操作***100中,主端力矩传感器121包括第一力矩传感器1211和第二力矩传感器1212中的至少一种。
其中,第一力矩传感器1211设置于主端机械臂12的关节处,第二力矩传感器1212设置于主端机械臂12的末端。
示意性的,第一力矩传感器1211用于感知主端机械臂12的各个关节的运动信息,第二力矩传感器1212用于感知主端机械臂12的末端的运动信息。
根据前述内容,主端力矩传感器121具有预测主端机械臂12的运动意图的功能。具体的,主端力矩传感器121可以单独使用,以获取主端机械臂12的手臂运动信息。此外,主端力矩传感器121还可以与环形触觉传感器131配合使用,以提高主端机械臂12的运动意图的预测准确度。
具体的,环形触觉传感器131将感知到的腕部运动信息传递给第一控制器,主端力矩传感器121将感知到的手臂运动信息传递给第一控制器。其中,腕部运动信息包括运动方向的信息,手臂运动信息包括运动力矩的信息。第一控制器结合腕部和手臂的具体运动信息,对主端操作平台10的运动意图进行预判。也即,通过主端力矩传感器121和环形触觉传感器131的配合使用,对主端操作平台10的运动意图进行预测,通过第一控制器和第二控制器的通信连接,可以实现主端操作平台10对从端机械臂22的低延时控制。
比如,腕部运动信息包括向左前方运动0.5米,手臂运动信息包括向左侧施加移动力,根据上述两个运动信息,可以预判主端操作平台10具有向左运动的意图,根据该运动意图控制从端机械臂22向左前方运动0.5米,同时以相同大小的力保持向右前方运动的趋势。
在力矩意图预测部件包括主端力矩传感器121的前提下,为使得对主端操作平台10的运动意图进行的预测的准确性得到提高,本申请实施例提供的双边遥操作***100还包括把手132。
示意性的如图11和图12所示,本申请实施例提供的双边遥操作***100中,力矩意图预测部件还包括把手132。其中,把手132固定设置于主端机械臂14的末端,把手132用于向主端力矩传感器121传递主端机械臂12的手臂运动信息。
以双边遥操作***100由操作人员控制主端操作平台10为例,控制人员握持把手132并施加一定大小的力,使得主端机械臂12可以在把手132的带动下进行相应的运动。基于这一运动,设置于主端机械臂12的关节处和末端的主端力矩传感器121可以采集到对应的力矩信息,并将这些力矩信息传递给第一控制器,第一控制器可以根据这些力矩信息对主端机械臂12的运动意图的力矩信息做出预判。
综上所述,本申请实施例提供的双边遥操作***100中,通过主端力矩传感器121,主端操作平台10可以采集到主端机械臂12的手臂运动信息,获知主端机械臂12的力矩信息。另外,机械手控制组件13包括的把手132,可以向主端力矩传感器121传递主端机械臂12的手臂运动信息,使得主端力矩传感器121获知到更为准确的力矩信息,从而得到更为准确的主端机械臂12的运动意图的预测结果,使得主端操作平台10对于从端操作平台20的控制更为柔顺。
另外,示意性的如图11和图12所示,本申请实施例提供的双边遥操作***100中,机械手控制组件13还包括与第一控制器相连的多指控制装置133;多指控制装置133与主端机械臂12的末端固定连接。
其中,多指控制装置133用于感知主端操作平台10的多指运动信息,并将感知到的多指运动信息发送至第一控制器,第一控制器通过与第二控制器的通信连接将该信息发送至第二控制器,用于控制从端操作平台20执行与多指运动信息相应的多指运动。示意性的,多指运动信息包括机械手控制组件13的多指的运动方向、运动速度和停止位置中的至少一种。
示意性的,多指运动信息包机械手控制组件13的多指的运动方向、运动速度和停止位置中的至少一种。以操作人员对主端操作平台10进行操作为例,多指控制装置133用于感知操作人员的多指运动信息。
多指控制装置133具有采集机械手控制组件13的多指运动信息的功能。示意性的,多指控制装置133采集的多指运动信息中,至少包括机械手控制组件13的一个指段的运动信息。
由于多指运动信息可包括多个指段的运动信息,多指控制装置133的结构有多种可选方式,示意性的如图11和图12所示,本申请实施例提供的双边遥操作***100中,多指控制装置133包括第一指套1331和第二指套1332;第一指套1331和第二指套1332设置于主端机械臂12的末端。
其中,第一指套1331用于感知机械手控制组件13的第一指的运动信息,包括第一指的运动方向、运动速度和停止位置中的至少一种;第二指套1332用于感知机械手控制组件13的第二指的运动信息,包括第二指的运动方向、运动速度和停止位置中的至少一种。
示意性的,第一指套1331和第二指套1332固定设置于主端机械臂12的末端;或者,第一指套1331和第二指套1332活动设置于主端机械臂12的末端。
为获取机械手控制组件13的更多指段的运动信息,示意性的,本申请实施例提供的双边遥操作***100中,机械手控制组件13还包括把手132和组件支撑件134;组件支撑件134是U型结构;组件支撑件134的第一端与主端机械臂12的末端固定,把手132固定设置于组件支撑件134的第一端,多指控制装置133固定设置于组件支撑件134的第二端。
其中,组件支撑件134用于固定多指控制装置133和把手132;把手132除用于感知机械手控制组件13的剩余指的运动信息外,还具有控制主端机械臂12的功能。
以多指控制装置133包括第一指套1331和第二指套1332为例,操作人员的拇指穿过第一指套1331,食指穿过第二指套1332,剩余三指握住把手132,据此,第一控制器可分别采集到操作人员的拇指、食指和剩余三指的运动信息。同时,由于把手132通过组件支撑件134与主端机械臂12的末端固定,第一控制器还可以采集到操作人员的剩余三指对把手132施加的移动力和力的运动方向等信息。
另外,多指控制装置133还具有信息反馈的功能。示意性的如图11和图12所示,本申请实施例提供的双边遥操作***100中,机械手控制组件13用于反馈从端机械手23的接触信息;第二控制器还用于采集从端机械手23的接触信息,第一控制器还用于反馈从端机械手23的接触信息。
其中,接触信息是指从端机械手23与外界环境发生接触的信息,包括但不限于接触点、接触面、接触位置、接触物体的温度、接触物体的形状、接触物体的重量、接触物体的粗糙度中的至少一种。通过上述接触信息,主端操作平台10可以获取从端机械手23接触到的物体的相关信息,从而对从端机械手23的抓取、放置、移动等运动实现准确判断和控制。
示意性的,本申请实施例提供了多指控制装置133的一种信息反馈的方式。示意性的,本申请实施例提供双边遥操作***100中,从端机械手23上设置有与第二控制器相连的指尖触觉传感器,多指控制装置133上设置有触觉反馈装置。
其中,指尖触觉传感器用于获取从端机械手23的指尖的接触信息,触觉反馈装置用于生成机械手控制组件13的指尖刺激反馈。也即,通过指尖触觉传感器,第二控制器可以获知从端机械手23与外界环境和/或物体接触面的受力情况。
示意性的,第二控制器通过指尖触觉传感器采集从端机械手23的指尖的接触信息,第一控制器通过通信连接获取到该接触信息,触觉反馈装置根据该接触信息生成相应的指尖刺激反馈。比如,从端机械手23的两个指尖捏起一个高温的钢珠,根据指尖触觉传感器感知到的高温和钢珠形状,机械手控制组件13可以感受到的刺激反馈是指尖发烫,触感光滑。
根据前述内容,以操作人员控制主端操作平台10为例,双边遥操作***100可进行如下操作:
操作人员的手臂穿过主端机械臂12的末端的环形触觉传感器131,拇指和食指扣入第一指套1331和第二指套1332,剩余三指握住把手132。基于此,通过环形触觉传感器131可以根据受力情况预测主端机械臂12的移动意图,通过第一指套1331和第二指套1332可以感知机械手控制组件13的两指运动信息,实现对从端机械手23的控制和力感知,通过把手132可以感知机械手控制组件13的剩余指运动信息,并在提供手部稳固支撑点的同时也将主端机械臂12的末端的第二力矩传感器1212的力信息反馈到第一控制器中。
综上所述,本申请实施例本申请实施例提供的双边遥操作***100中,通过机械手控制组件13包括的多指控制装置133,主端操作平台10可以采集到机械手控制组件13的多指运动信息,以此实现对从端机械手23的多指运动的控制。同时,多指控制装置133还具有信息反馈的功能,用于反馈从端机械手23的接触信息。
在实际操作中,由于主端操作平台10和从端操作平台20之间的距离通常较大,主端操作平台10需要获知从端操作平台20的外界环境信息。
示意性的如图7和图8所示,本申请实施例提供双边遥操作***100中,从端操作平台20还包括与第二控制器相连的双目视觉相机25;双目视觉相机25设置于从端支架21的顶部;第二控制器还用于采集双目视觉相机25的视觉信息,第一控制器还用于反馈双目视觉相机25的视觉信息。
其中,双目视觉相机25用于感知从端操作平台20的视觉反馈信息。示意性的,视觉反馈信息包括双目视觉相机25感知到的从端操作平台20的外部图像信息,从端操作平台20的外部图像信息包括但不限于从端操作平台20所处的外部环境的相关图像、视频、音频中的至少一种。具体的,第二控制器通过双目视觉相机25采集到从端操作平台20的视觉反馈信息,并将该信息发送至第一控制器。
为使得主端操作平台10的操作人员可以实时地获取到上述视觉反馈信息,示意性的如图15所示,本申请实施例提供的双边遥操作***100中,主端操作平台10还包括与第一控制器相连的虚拟眼镜15,该虚拟眼镜15用于操作人员佩戴。示意性的,虚拟眼镜15的类型可根据实际需要进行选择,本申请在此不做限定。
综上所述,本申请实施例提供的双边遥操作***100中,通过从端支架21上的双目视觉相机25,主端操作平台10可以获取到从端操作平台20的视觉反馈信息。
根据前述内容,在双边遥操作***100的操作过程中,从端操作平台20也可以向主端操作平台10反馈相应的运动信息,使得主端操作平台10可以依据反馈的运动信息进行下一步操作的预判。
具体的,第二控制器还用于采集从端操作平台20的反馈信息,第一控制器还用于控制主端操作平台10生成与反馈信息对应的反馈刺激或执行与反馈信息对应的反馈运动。
示意性的,本申请实施例提供的双边遥操作***100,提供了多种模态的力触觉感知通道。具体的,通过力矩传感器,主端机械臂12和从端机械臂22可以实现力反馈信息的交互,至少包括各关节和/或机械臂末端的力矩信息;通过电子皮肤,主端机械臂12和从端机械臂22可以实现接触信息的交互;通过环形触觉传感器131,可以实现对主端机械臂12的运动意图的预测;通过指尖触觉传感器和触觉反馈装置,主端操作平台10可以获知从端机械手23的指尖对外界的接触信息;通过双目视觉相机25,主端操作平台10可以获取到从端操作平台20的视觉反馈信息。
也即,本申请实施例提供的双边遥操作***100,通过多种模态的力触觉感知通道,可以获取从端操作平台20的接触力及接触面几何特性;操作人员与主端操作平台10的人机交互接触面受力情况;主端机械臂12和/或从端机械臂22末端各向力和力矩大小;主端机械臂12和/或从端机械臂22内部关节受力情况;从端机械手23与物体接触面的受力情况;从端操作平台20的外界视觉反馈信息中的至少一种。基于上述多种模态的力触觉感知通道,主端操作平台10可以获知从端操作平台20的运动和外界环境的相关信息,从而对主端操作平台10的控制进行预判,使得双边遥操作***100能够形成较为精准的映射模式,从而使得双边遥操作***100能够准确、实时、连续地完成各类遥操作***。
在双边遥操作***100中,通常需要从端操作平台20从一个地点位移到另一个地点进行作业。为实现主端操作平台10对从端操作平台20的行走控制,示意性的如图3和图7所示,本申请实施例提供的双边遥操作***100中,主端操作平台10还包括与第一控制器相连的控制台14,从端操作平台20还包括与第二控制器相连的移动底盘24。
示意性的,控制台14固定设置于主端支架11上,移动底盘24固定设置于从端支架21的底部;控制台14用于控制移动底盘24的行走运动。
其中,第一控制器还用于采集控制台14的行走运动信息,第二控制器还用于控制移动底盘24的行走。示意性的,行走运动信息包括控制台14的行走方向、行走距离和停止位置中的至少一种。具体的,第一控制器采集控制台14的行走运动信息,第二控制器控制移动底盘24进行与行走运动信息相应的行走运动。
在双边遥操作***100的实际操作中,控制台14和移动底盘24均可以由多种结构,示意性的如图16和图17所示,本申请实施例分别提供了控制台14和移动底盘24的可选的结构:
示意性的如图16所示,本申请实施例提供的双边遥操作***100中,控制台14包括脚踏控制板141;脚踏控制板141固定设置于主端支架11的底部,脚踏控制板141用于控制移动底盘24的行走运动。其中,第一控制器通过脚踏控制板141采集控制台14的行走运动信息,第二控制器控制移动底盘24进行与行走运动信息相应的行走运动。
另外,本申请实施例提供的双边遥操作***100中,控制台14还包括座椅142,座椅142固定设置于主端支架11上。其中,操作人员通过坐在座椅142上对脚踏控制板141进行行走操作。
示意性的如图17所示,本申请实施例提供的双边遥操作***100中,移动底盘24包括主动轮241和从动轮242;从动轮242设置于主动轮241的周侧;控制台14用于控制主动轮241的运动。其中,第一控制器通过控制台14采集行走运动信息,第二控制器控制主动轮241执行与行走运动信息相应的行走运动,从动轮242跟随主动轮241进行行走运动。
另外,本申请实施例提供的双边遥操作***100中,从动轮242包括前置从动轮2421和后置从动轮2422;前置从动轮2421设置于主动轮241的前方,后置从动轮2422设置于主动轮241的后方。
示意性的,为实现移动底盘24的原地旋转,本申请实施例提供的双边遥操作***100中,主动轮241为舵轮。
综上所述,本申请实施例提供的双边遥操作***100中,通过控制台14和移动底盘24的配合使用,主端操作平台10可以实现对从端操作平台20的行走运动的控制。
以双边遥操作***100由操作人员控制主端操作平台10为例,在双边遥操作***的操作过程中,由于操作人员的身高、臂长、臂宽等个体差异的影响,需要对主端机械臂12的位置进行调整;由于从端操作平台20的操作环境的不同,也需要对从端机械臂22的位置进行调整。据此,本申请实施例提供了如下主端支架11和从端支架21的具体结构的可选方案:
一、主端支架11。
示意性的如图18和图19所示,本申请实施例提供双边遥操作***100中,主端支架11包括主端装置支撑架111和主端机械臂支撑架112;主端机械臂支撑架112可滑动地设置于主端装置支撑架111上,主端机械臂12的根端与主端机械臂支撑架112活动连接。
其中,主端装置支撑架111用于支撑主端机械臂支撑架112,主端机械臂支撑架112用于支撑主端机械臂12。
示意性的,主端装置支撑架111与主端机械臂支撑架112的相对位置可调,主端机械臂支撑架112与主端机械臂12的相对位置可调。具体的,通过调整主端机械臂支撑架112在主端装置支撑架111上的位置,可调整主端机械臂12的高度;通过调整主端机械臂12在主端机械臂支撑架112上的位置,可调整主端机械臂12的间距。
主端装置支撑架111与主端机械臂支撑架112的滑动连接可通过如下方式实现:示意性的,本申请实施例提供的双边遥操作***100中,主端支架11还包括导轨113,导轨113固定于主端装置支撑架111上,主端机械臂支撑架112设置于导轨113上。
主端机械臂支撑架112与主端机械臂12的活动连接可通过如下方式实现:示意性的,本申请实施例提供的双边遥操作***100中,主端机械臂支撑架112包括横梁1121、横梁连接件1122和横梁固定件1123。
其中,横梁1121通过横梁连接件1122与主端装置支撑架111滑动连接;主端机械臂12的根端通过横梁固定件1123与横梁1121滑动连接。具体的,横梁1121固定设置于横梁连接件1122上,横梁连接件1122与主端装置支撑架111滑动连接。
可选的,主端机械臂12与横梁1121的滑动连接可通过如下方式实现:示意性的,本申请实施例提供的双边遥操作***100中,主端机械臂支撑架112还包括滑块1124;滑块1124设置于横梁1121与横梁固定件1123之间,主端机械臂12的根端与横梁固定件1123固定连接。
二、从端支架21。
示意性的如图20所示,本申请实施例提供双边遥操作***100中,从端支架21包括从端装置支撑架211和从端机械臂支撑架212;从端机械臂支撑架212设置于从端装置支撑架211上,从端机械臂22的根端与从端机械臂支撑架212固定连接。
其中,从端装置支撑架211用于支撑从端机械臂支撑架212,从端机械臂支撑架212用于支撑从端机械臂22。
示意性的,从端装置支撑架211与从端机械臂支撑架212的相对位置可调,从端机械臂支撑架212与从端机械臂22的相对位置可调。具体的,通过调整从端机械臂支撑架212在从端装置支撑架211上的位置,可调整从端机械臂22的高度;通过调整从端机械臂22在从端机械臂支撑架212上的位置,可调整从端机械臂22的间距。
具体的,从端装置支撑架211与从端机械臂支撑架212固定连接,在需要调整从端机械臂22的高度时,将从端机械臂支撑架212从从端装置支撑架211上拆卸下来,再次固定到预定的位置上;或者,从端装置支撑架211与从端机械臂支撑架212通过导轨进行滑动连接。
可选的,从端机械臂支撑架212与从端机械臂22的连接可通过如下方式实现:示意性的,本申请实施例提供的双边遥操作***100中,从端支架21还包括连接法兰213;从端机械臂22的根端通过连接法兰213可拆卸地固定于从端机械臂支撑架212。
综上所述,本申请实施例提供的双边遥操作***100中,通过主端支架11和从端支架21,可以实现对主端机械臂12和从端机械臂22的位置调节。
示意性的如图3-6所示,本申请实施例还提供了一种主端操作平台10。需要注意的是,关于主端操作平台10的具体阐述可参考前述内容,重复内容不再赘述。
本申请实施例提供的主端操作平台10包括:主端支架11、主端机械臂12、机械手控制组件13和第一控制器。
示意性的,主端机械臂12的根端设置于主端支架11上,主端机械臂12的末端与机械手控制组件13连接;第一控制器用于采集主端机械臂12和机械手控制组件13的运动信息,以及控制主端机械臂12和机械手控制器的运动。
示意性的,第一控制器可以分为第一机械臂控制器和第一机械手控制器。其中,第一机械臂控制器用于采集主端机械臂12的运动信息,以及控制主端机械臂12的运动;第一机械手控制器用于采集机械手控制组件13的运动信息,以及控制机械手控制组件13的运动。
示意性的,主端机械臂12为七自由度机械臂。
为获取主端机械臂12的手臂运动信息,示意性的如图9所示,本申请实施例提供的主端操作平台10中主端机械臂12上设置有与第一控制器相连的主端力矩传感器121。
示意性的,本申请实施例提供的主端操作平台10中,主端力矩传感器121包括第一力矩传感器1211和第二力矩传感器1212中的至少一种。其中,第一力矩传感器1211设置于主端机械臂12的关节处,第二力矩传感器1212设置于主端机械臂12的末端。示意性的,第一力矩传感器1211为关节力矩传感器。示意性的,第一力矩传感器1212为六维力传感器。
示意性的,本申请实施例提供双边遥操作***100中,主端机械臂12的表面附着有与第一控制器相连的电子皮肤;第一控制器还用于采集主端机械臂12的接触信息。示意性的,电子皮肤包括皮肤触觉传感器。其中,皮肤触觉传感器根据触觉感知原理进行工作。
示意性的,本申请实施例提供的主端操作平台10包括意图预测部件,意图预测部件用于采集预测主端操作平台10的运动意图的运动信息。其中,意图预测部件可以设置于主端机械臂12上,也可以设置于机械手控制组件13上。
根据运动信息的不同,示意性的,意图预测部件包括方向意图预测部件和力矩意图预测部件中的至少一种。
为实现对机械手控制组件13的腕部运动的感知以及获取主端操作平台10的运动方向的运动信息,示意性的如图11和图12所示,本申请实施例提供的主端操作平台10中,方向意图预测部件包括与第一控制器相连的环形触觉传感器131,环形触觉传感器131设置于主端机械臂12的末端。环形触觉传感器131除用于感知主端操作平台10的腕部运动信息外,还具有预测主端机械臂12的运动意图的功能。
其中,环形触觉传感器131的具体结构可采用如下实现方式:
示意性的如图13和图14所示,本申请实施例提供的主端操作平台10中,环形触觉传感器131包括内圈1311、外圈1312和至少两个触觉传感片1313;其中,至少两个触觉传感片1313嵌套于内圈1311和外圈1312之间。
示意性的如图13和图14所示,本申请实施例提供的主端操作平台10中,环形触觉传感器131还包括至少两个弹性件1314。其中,至少两个弹性件1314嵌套与内圈1311和外圈1312之间,至少两个弹性件1314与至少两个触觉传感片1313间隔分布。
示意性的如图13和图14所示,本申请实施例提供的主端操作平台10中,环形触觉传感器131还包括第一挡圈1315和第二挡圈1316。其中,第一挡圈1315与内圈1311固定连接,第二挡圈1316与外圈1312固定连接。
示意性的,力矩意图预测部件包括与第一控制器相连的主端力矩传感器121,主端力矩传感器121设置于主端机械臂12上。
根据主端力矩传感器121的设置位置的不同,示意性的,主端力矩传感器121包括第一力矩传感器1211和第二力矩传感器1212中的至少一种。其中,第一力矩传感器1211设置于主端机械臂12的关节处,第二力矩传感器1212设置于主端机械臂12的末端。
为获取更为准确的运动意图的预测结果,示意性的,本申请实施例提供的主端操作平台10中,力矩意图预测部件还包括把手132,把手132固定设置于主端机械臂12的末端,把手132用于所述把手(132)用于向主端力矩传感器121传递主端机械臂12的手臂运动信息。
为获取机械手控制组件13的多指运动信息,示意性的如图11和图12所示,本申请实施例提供的主端操作平台10中,机械手控制组件13包括与第一控制器相连的多指控制装置133;多指控制装置133与主端机械臂12的末端固定连接。
由于多指运动信息可包括多个指段的运动信息,多指控制装置133的结构有多种可选方式,示意性的如图11和图12所示,本申请实施例提供的主端操作平台10中,多指控制装置133包括第一指套1331和第二指套1332;第一指套1331和第二指套1332设置于主端机械臂12的末端。
其中,多指控制装置133还具有信息反馈的功能。示意性的如图11和图12所示,本申请实施例提供的主端操作平台10中,机械手控制组件13用于反馈从端机械手23的接触信息,第一控制器还用于反馈从端机械手23的接触信息。具体的,多指控制装置133上设置有触觉反馈装置,触觉反馈装置用于生成机械手控制组件13的指尖刺激反馈。
另外,为获取机械手控制组件13的更多指段的运动信息,示意性的如图11和图12所示,本申请实施例提供的主端操作平台10中,机械手控制组件13还包括把手132和组件支撑件134;组件支撑件134为U型结构;组件支撑件134的第一端与主端机械臂12的末端固定,把手132固定设置于组件支撑件134的第一端,多指控制装置133固定设置于组件支撑件134的第二端。
为实现主端操作平台10的行走运动,示意性的如图3和图7所示,本申请实施例提供的主端操作平台10中,主端操作平台10还包括与第一控制器相连的控制台14,控制台14固定设置于主端支架11上。
具体的,控制台14的结构有如下实现方式:示意性的如图16所示,本申请实施例提供的主端操作平台10中,控制台14包括脚踏控制板141;脚踏控制板141固定设置于主端支架11的底部。另外,本申请实施例提供的主端操作平台10中,控制台14还包括座椅142,座椅142固定设置于主端支架11上。
为使得主端操作平台10能够获取到反馈信息,第一控制器还用于接收反馈信息。示意性的,第一控制器还用于接收手臂反馈信息、接触信息、视觉反馈信息中的至少一种。
为使得主端操作平台10的操作人员可以实时地获取到上述视觉反馈信息,示意性的如图15所示,本申请实施例提供的主端操作平台10中,主端操作平台10还包括与第一控制器相连的虚拟眼镜15,该虚拟眼镜15用于操作人员佩戴。
为实现调节主端机械臂12的位置,示意性的如图18和图19所示,本申请实施例提供双边遥操作***100中,主端支架11包括主端装置支撑架111和主端机械臂支撑架112;主端机械臂支撑架112可滑动地设置于主端装置支撑架111上,主端机械臂12的根端与主端机械臂支撑架112活动连接。
主端装置支撑架111与主端机械臂支撑架112的滑动连接可通过如下方式实现:示意性的,本申请实施例提供的主端操作平台10中,主端支架11还包括导轨113,导轨113固定于主端装置支撑架111上,主端机械臂支撑架112设置于导轨113上。
主端机械臂支撑架112与主端机械臂12的活动连接可通过如下方式实现:示意性的,本申请实施例提供的主端操作平台10中,主端机械臂支撑架112包括横梁1121、横梁连接件1122和横梁固定件1123。
可选的,主端机械臂12与横梁1121的滑动连接可通过如下方式实现:示意性的,本申请实施例提供的主端操作平台10中,主端机械臂支撑架112还包括滑块1124;滑块1124设置于横梁1121与横梁固定件1123之间,主端机械臂12的根端与横梁固定件1123固定连接。
示意性的如图7和图8所示,本申请实施例还提供了一种从端操作平台20。需要注意的是,关于主端操作平台10的具体阐述可参考前述内容,重复内容不再赘述。
本申请实施例提供的从端操作平台20包括:从端支架21、从端机械臂22、从端机械手23和第二控制器。
示意性的,从端机械臂22的根端设置于从端支架21上,从端机械臂22的末端与从端机械手23连接;第二控制器用于控制从端机械臂22和从端机械手23的运动,以及反馈从端机械臂22和从端机械手23的运动信息。
示意性的,第二控制器可以分为第二机械臂控制器和第二机械手控制器。其中,第二机械臂控制器用于控制从端机械臂22的运动,以及反馈从端机械臂22的运动信息,第二机械手控制器用于采集从端机械手23的运动,以及反馈从端机械手23的运动信息。
示意性的,从端机械臂22为七自由度机械臂。
示意性的,从端机械手23为双指夹爪。
示意性的如图10所示,本申请实施例提供双边遥操作***100中,从端机械臂22上设置有与第二控制器相连的从端力矩传感器221;第二控制器还用于采集从端机械臂22的手臂反馈信息。示意性的,第三力矩传感器2211为关节力矩传感器。示意性的,第四力矩传感器2212为六维力传感器。
示意性的,本申请实施例提供双边遥操作***100中,从端机械臂22的表面附着有与第二控制器相连的电子皮肤;第二控制器还用于采集从端机械臂22的接触信息。示意性的,电子皮肤包括皮肤触觉传感器。其中,皮肤触觉传感器根据触觉感知原理进行工作。
示意性的如图7和图8所示,本申请实施例提供双边遥操作***100中,从端操作平台20还包括与第二控制器相连的双目视觉相机25;双目视觉相机25设置于从端支架21的顶部;第二控制器还用于采集双目视觉相机25的视觉信息,第一控制器还用于反馈双目视觉相机25的视觉信息。
为使得第二控制器能够控制从端操作平台20响应与腕部运动信息对应的腕部运动,示意性的,本申请实施例提供的从端操作平台20中,从端机械手23通过旋转装置与从端机械臂22连接,旋转装置用于控制从端机械手23的旋转运动。
为使得第二控制器能够实现信息反馈的功能,本申请实施例提供的从端操作平台20中,第二控制器还用于采集从端机械手23的接触信息。具体的,从端机械手23上设置有与第二控制器相连的指尖触觉传感器,指尖触觉传感器用于获取从端机械手23的指尖的接触信息。
为实现从端操作平台20的行走运动,示意性的如图3和图7所示,本申请实施例提供的从端操作平台20中,从端操作平台20还包括与第二控制器相连的移动底盘24,移动底盘24固定设置于从端支架21的底部。
具体的,移动底盘24的结构有如下实现方式:示意性的如图17所示,本申请实施例提供的从端操作平台20中,移动底盘24包括主动轮241和从动轮242;从动轮242设置于主动轮241的周侧。另外,本申请实施例提供的从端操作平台20中,从动轮242包括前置从动轮2421和后置从动轮2422;前置从动轮2421设置于主动轮241的前方,后置从动轮2422设置于主动轮241的后方。示意性的,为实现移动底盘24的原地旋转,本申请实施例提供的从端操作平台20中,主动轮241为舵轮。
为实现调节从端机械臂22的位置,示意性的如图20所示,本申请实施例提供双边遥操作***100中,从端支架21包括从端装置支撑架211和从端机械臂支撑架212;从端机械臂支撑架212设置于从端装置支撑架211上,从端机械臂22的根端与从端机械臂支撑架212固定连接。
可选的,从端机械臂支撑架212与从端机械臂22的连接可通过如下方式实现:示意性的,本申请实施例提供的从端操作平台20中,从端支架21还包括连接法兰213;从端机械臂22的根端通过连接法兰213可拆卸地固定于从端机械臂支撑架212。
示意性的如图21所示,本申请实施例还提供了一种双边遥操作***的控制方法。需要注意的是,关于双边遥操作***100的具体阐述可参考前述内容,重复内容不再赘述。
本申请实施例提供的双边遥操作***的控制方法,应用于前述内容中的双边遥操作***100中,该控制方法包括如下步骤:
步骤2102:第一控制器采集主端机械臂12的运动信息和机械手控制组件13的运动信息中的至少一种。
示意性的,运动信息包括主端机械臂12的腕部运动信息、主端机械臂12的手臂运动信息和机械手控制组件13的多指运动信息中的至少一种。其中,腕部运动信息包括主端机械臂12的腕部的运动方向、运动速度和停止位置中的至少一种;手臂运动信息包括主端机械臂12的手臂段的运动方向、运动速度和停止位置中的至少一种;多指运动信息包括机械手控制组件13的多指的运动方向、运动速度和停止位置中的至少一种。
示意性的,运动信息的采集由第一控制器执行;或者,运动信息的采集由主端操作平台10中的相关部件采集后传递给第一控制器。
步骤2104:第一控制器向第二控制器发送运动信息或者控制指令。
示意性的,控制指令是基于运动信息生成的。
控制指令用于控制从端机械臂22和/或从端机械手13的运动参数,其中,运动参数包括但不限于运动方向、运动速度和停止位置中的至少一种。
示意性的,控制指令包括腕部控制指令、手臂控制指令和多指控制指令中的至少一种,腕部控制指令、手臂控制指令和多指控制指令的具体内容将在下文展开叙述。
具体的,步骤2104包括如下两种可选的实现方式:
实现方式一:第一控制器向第二控制器发送运动信息。
实现方式二:第一控制器根据运动信息生成控制指令;第一控制器向第二控制器发送运动指令。
在实现方式一种,第二控制器接收到第一控制器发送的运动信息后,根据该运动信息生成控制指令,以便于第二控制器控制从端机械臂22和从端机械手23的运动。也即,控制指令的生成,可以是由第一控制器实现的,也可以是由第二控制器实现的。
步骤2106:第二控制器根据运动信息或控制指令控制从端操作平台20执行与运动信息对应的运动。
其中,从端操作平台20执行的与运动信息对应的运动由从端机械臂22和从端机械手23中的至少一种执行。
示意性的,与运动信息对应的运动包括从端机械臂22的腕部运动、从端机械臂22的手臂运动和从端机械手23的多指运动中的至少一种。其中,腕部运动包括从端机械臂22的腕部的运动方向、运动速度和停止位置中的至少一种;手臂运动包括从端机械臂22的手臂段的运动方向、运动速度和停止位置中的至少一种;多指运动包括从端机械手23的多指的运动方向、运动速度和停止位置中的至少一种。
示意性的,本申请实施例提供的双边遥操作***的控制方法,应用于同构双边遥操作***和/或异构双边遥操作***中。具体的,同构双边遥操作***中,主端操作平台10与从端操作平台的映射为同构映射模式;移动双边遥操作***中,主端操作平台10与从端操作平台的映射为异构映射模式。示意性的,本申请实施例提供的双边遥操作***的控制方法包括同构映射模式和异构映射模式中的至少一种映射模式。其中,具体映射模式可根据实际应用场景的需要进行切换,本申请在此不做限定。
比如,在同构映射模式下,第一控制器采集到主端机械臂12的运动信息为手臂向前移动0.5米、腕部顺时针旋转90度,机械手控制组件13的运动信息为双指夹取动作;第一控制器根据上述运动信息分别生成手臂控制指令、腕部控制指令和多指控制指令,并将三个指令发送至第二控制器;第二控制器接收到三个指令后,根据手臂控制指令控制从端机械臂22向前移动0.5米,根据腕部控制指令控制从端机械臂22顺时针旋转90度,根据多指控制指令控制从端机械手23运动两指进行夹取。
又如,在异构映射模式下,第一控制器采集到主端机械臂12的运动信息为手臂向前移动0.5米、腕部顺时针旋转90度,机械手控制组件13的运动信息为双指夹取动作;第一控制器将上述运动信息发送至第二控制器,第二控制器接收到上述运动信息后,分别生成手臂控制指令、腕部控制指令和多指控制指令;第二控制器根据手臂控制指令控制从端机械臂22向前移动1米,根据腕部控制指令控制从端机械臂22顺时针旋转90度,根据多指控制指令控制从端机械手23运动五指进行夹取。
在实际操作过程中,由于双边遥操作***100的结构的不同,本申请实施例提供的双边遥操作***的控制方法有多种实现方式。根据前述内容,本申请实施例给出如下几种双边遥操作***的控制方法的具体实现方式:
一、主端操作平台10包括意图预测部件的情况下。
示意性的,本申请实施例提供的双边遥操作***的控制方法中,主端操作平台10包括意图预测部件时,步骤2102有如下实现方式:第一控制器通过意图预测部件采集用于预测主端机械臂12的运动意图的运动信息。
其中,意图预测部件可以是一个或多个。示意性的,意图预测部件设置于主端机械臂12上;或者,意图预测部件设置于机械手控制组件13上。
示意性的,用于预测主端操作平台10的运动意图的运动信息,包括但不限于运动方向信息和运动力矩信息中的至少一种。根据运动信息的不同,意图预测部件也包括多种不同的部件。示意性的,意图预测部件包括方向意图预测部件和力矩意图预测部件中的至少一种。以下将从这两个方面展开叙述:
1、方向意图预测部件包括与第一控制器相连的环形触觉传感器131的情况下。
步骤2102有如下实现方式:第一控制器通过环形触觉传感器131采集主端机械臂12的腕部运动信息。
示意性的,腕部运动信息包括主端机械臂12的腕部的运动方向、运动速度和停止位置中的至少一种。
相应的,步骤2106有如下实现方式:第二控制器根据腕部运动信息或腕部运动指令控制从端机械臂22执行与腕部运动信息对应的腕部运动,
示意性的,腕部控制指令是基于腕部运动信息进行运动防线的意图预测生成的。其中,腕部控制指令用于控制从端机械臂22的运动参数,运动参数包括但不限于从端机械臂22的腕部的运动方向、运动速度和停止位置中的至少一种。
2、力矩意图预测部件包括与第一控制器相连的主端力矩传感器121的情况下。
步骤2102有如下实现方式:第一控制器通过主端力矩传感器121采集主端机械臂12的手臂运动信息。
示意性的,手臂运动信息包括主端机械臂12的手臂段的运动方向、运动速度和停止位置中的至少一种。
相应的,步骤2106有如下实现方式:第二控制器根据手臂运动信息或手臂控制指令控制从端机械臂22执行与手臂运动信息对应的手臂运动。
示意性的,手臂控制指令是基于手臂运动信息生成的。
示意性的,手臂控制指令用于控制从端机械臂22的运动参数,其中,运动参数包括但不限于从端机械臂22的手臂段的运动方向、运动速度和停止位置中的至少一种。
根据前述内容,主端力矩传感器121包括第一力矩传感器1211和第二力矩传感器1212中的至少一种。相应的,上述两个步骤包括如下至少三种实现方式:
(1)、主端力矩传感器121包括第一力矩传感器1211时。
步骤2102有如下实现方式:第一控制器通过第一力矩传感器1211采集主端机械臂12的第一手臂运动信息。
示意性的,第一手臂运动信息包括主端机械臂12的各个关节的运动方向、运动速度和停止位置中的至少一种。
相应的,步骤2106有如下实现方式:第二控制器根据第一手臂运动信息或第一手臂控制指令控制从端机械臂22执行与第一手臂运动信息对应的第一手臂运动。
示意性的,第一手臂控制指令是基于第一手臂运动信息生成的。
示意性的,第一手臂控制指令用于控制从端机械臂22的各个关节的运动参数,其中,运动参数包括但不限于从端机械臂22的各个关节的运动方向、运动速度和停止位置中的至少一种。
(2)、主端力矩传感器121包括第二力矩传感器1212时。
步骤2102有如下实现方式:第一控制器通过第二力矩传感器1212采集主端机械臂12的第二手臂运动信息。
示意性的,第二手臂运动信息包括主端机械臂12的末端的运动方向、运动速度和停止位置中的至少一种。
相应的,步骤2106有如下实现方式:第一控制器根据第二手臂运动信息或第二手臂控制指令控制从端机械臂22执行与第二手臂运动信息对应的第二手臂运动。
示意性的,第二手臂控制指令是基于第二手臂运动信息生成的。
示意性的,第二手臂控制指令用于控制从端机械臂22的末端的运动参数,其中,运动参数包括但不限于从端机械臂22的末端的运动方向、运动速度和停止位置中的至少一种。
(3)、主端力矩传感器121包括第一力矩传感器1211和第二力矩传感器1212时。
步骤2102有如下实现方式:第一控制器通过第一力矩传感器1211采集主端机械臂12的第一手臂运动信息;第一控制器通过第二力矩传感器1212采集主端机械臂12的第二手臂运动信息。
相应的,步骤2106有如下实现方式:第二控制器根据第一手臂运动信息或第一手臂控制指令控制从端机械臂22执行与第一手臂运动信息对应的第一手臂运动;第一控制器根据第二手臂运动信息或第二手臂控制指令控制从端机械臂22执行与第二手臂运动信息对应的第二手臂运动。
二、主端机械臂12的表面附着与第一控制器有电子皮肤的情况下。
步骤2102有如下实现方式:第一控制器通过电子皮肤采集主端机械臂12的手臂触碰信息。
示意性的,手臂反馈信息包括主端端机械臂12对于外界环境的接触信息,包括但不限于主端机械臂12受到的外力的力矩信息、主端机械臂12触碰到的物体的接触力和物体几何信息中的至少一种。
相应的,步骤2106有如下实现方式:第二控制器根据手臂触碰运动信息或手臂触碰指令控制从端机械臂22执行与手臂触碰运动信息对应的手臂运动。
示意性的,手臂触碰指令是基于手臂触碰信息生成的。
三、机械手控制组件13包括与第一控制器相连的多指控制装置133的情况下。
步骤2102有如下实现方式:第一控制器通过多指控制装置133采集机械手控制组件13的多指运动信息。
示意性的,多指运动信息包括机械手控制组件13的多指的运动方向、运动速度和停止位置中的至少一种。
相应的,步骤2106有如下实现方式:第二控制器根据多指运动信息或多指控制指令控制从端机械手23执行与多指运动信息对应的多指运动。
示意性的,多指控制指令是基于多指运动信息生成的。
示意性的,多指控制指令用于控制从端机械手13的多指的运动参数,其中,运动参数包括但不限于从端机械手23的多指的运动方向、运动速度和停止位置中的至少一种。
根据前述内容,多指控制装置133包括第一指套1331和第二指套1332中的至少一种。相应的,上述两个步骤包括如下多种实现方式:
1、多指控制装置133包括第一指套1331时。
步骤2102有如下实现方式:第一控制器通过第一指套1331采集机械手控制组件13的第一多指运动信息。
示意性的,第一多指运动信息包括机械手控制组件13的第一指的运动方向、运动速度和停止位置中的至少一种。
相应的,步骤2106有如下实现方式:第二控制器根据第一多指运动信息或第一多指控制指令控制从端机械手23执行与第一多指运动信息对应的第一多指运动。
示意性的,第一多指控制指令是基于第一多指运动信息生成的。
示意性的,第一多指控制指令用于控制从端机械手13的第一指的运动参数,其中,运动参数包括但不限于从端机械手23的第一指的运动方向、运动方向和停止位置中的至少一种。
2、多指控制装置133包括第二指套1332时。
步骤2102有如下实现方式:第一控制器通过第二指套1332采集机械手控制组件13的第二多指运动信息。
示意性的,第二多指运动信息包括机械手控制组件13的第二指的运动方向、运动速度和停止位置中的至少一种。
相应的,步骤2106有如下实现方式:第二控制器根据第二多指运动信息或第二多指控制指令控制从端机械手23执行与第二多指运动信息对应的第二多指运动。
示意性的,第二多指控制指令是基于第二多指运动信息生成的。
示意性的,第二多指控制指令用于控制从端机械手13的第二指的运动参数,其中,运动参数包括但不限于从端机械手23的第二指的运动方向、运动方向和停止位置中的至少一种。
3、多指控制装置133包括第一指套1331和第二指套1332时。
步骤2102有如下实现方式:第一控制器通过第一指套1331采集机械手控制组件13的第一多指运动信息;第一控制器通过第二指套1332采集机械手控制组件13的第二多指运动信息。
相应的,步骤2106有如下实现方式:第二控制器根据第一多指运动信息或第一多指控制指令控制从端机械手23执行与第一多指运动信息对应的第一多指运动;第二控制器根据第二多指运动信息或第二多指控制指令控制从端机械手23执行与第二多指运动信息对应的第二多指运动。
4、机械手控制组件13包括把手132时。
根据前述内容,机械手控制组件13还包括把手132,用于获取机械手控制组件13的剩余指的运动信息。
步骤2102有如下实现方式:第一控制器通过把手132采集机械手控制组件13的操作的第三多指运动信息。
示意性的,第三多指运动信息包括机械手控制组件13的剩余指的运动方向、运动速度和停止位置中的至少一种。
相应的,步骤2106有如下实现方式:第二控制器根据第三多指运动信息或第三多指控制指令控制从端机械手23执行与第三多指运动信息对应的第三多指运动。
示意性的,第三多指控制指令是基于第三多指运动信息生成的。
示意性的,第三多指控制指令用于控制从端机械手13的剩余指的运动参数,其中,运动参数包括但不限于从端机械手23的剩余指的运动方向、运动方向和停止位置中的至少一种。
综上所述,本申请实施例提供的双边遥操作***的控制方法中,通过第一控制器向第二控制器发送运动信息或控制指令,主端操作平台10可以控制从端操作平台20的运动。
根据前文所述,双边遥操作***100中,从端操作平台20还可以向主端操作平台10发送反馈信息。示意性的如图22所示,本申请实施例提供的双边遥操作***的控制方法包括如下步骤:
步骤2201:第一控制器采集主端机械臂12的运动信息和机械手控制组件13的运动信息中的至少一种。
步骤2202:第一控制器向第二控制器发送运动信息或者控制指令。
示意性的,控制指令是基于运动信息生成的。
步骤2203:第二控制器根据运动信息或控制指令控制从端操作平台20执行与运动信息对应的运动。
其中,从端操作平台20执行的与运动信息对应的运动由从端机械臂22和从端机械手23中的至少一种执行。
示意性的,步骤2201、2202、2203与步骤2102、2104、2106相同,可作参考,不再赘述。
步骤2204:第二控制器采集从端机械臂22的反馈信息和从端机械手23的反馈信息中的至少一种。
示意性的,反馈信息包括外界环境对于从端机械臂22和/或从端机械手23的反馈信息。示意性的,反馈信息是指从端机械臂22和/或从端机械手23与外界环境发生接触的信息,包括但不限于接触点、接触面、接触位置、接触物体的温度、接触物体的形状、接触物体的重量、接触物体的粗糙度中的至少一种。
步骤2205:第二控制器向第一控制器发送反馈信息或反馈指令。
示意性的,反馈指令是基于接触信息生成的。
步骤2206:第一控制器根据反馈信息或反馈指令控制主端操作平台10执行与反馈信息对应的反馈运动。
其中,主端操作平台10执行的与运动信息对应的运动由主端机械臂12和机械手控制组件13中的至少一种执行。
步骤2207:第二控制器通过双目视觉相机25采集从端操作平台20的视觉反馈信息。
示意性的,视觉反馈信息包括从端双目视觉相机25感知到的从端操作平台20的外部图像信息,从端操作平台20的外部图像信息包括但不限于从端操作平台20所处的外部环境的相关图像、视频、音频中的至少一种。
步骤2208:第二控制器向第一控制器发送视觉反馈信息。
根据前述内容,主端操作平台10还包括与第一控制器相连的虚拟眼镜15,用于操作人员佩戴。则在本申请实施例提供的双边遥操作***的控制方法中,第一控制器在接收到第二控制器发送的视觉反馈信息后,可通过虚拟眼镜15将上述视觉反馈信息显示给操作人员。
示意性的,步骤2201、2202、2203,步骤2204、2205、2206,步骤2207、2208形成的三个步骤组,可以执行其一或者其二,可以同时执行,可以顺序执行,也可以无序执行,还可以重复多次执行。
在实际操作过程中,由于双边遥操作***100的结构的不同,步骤2204、和步骤2206有多种实现方式,本申请实施例给出如下几种的具体实现方式:
一、从端机械臂22上设置有与第二控制器相连的从端力矩传感器221的情况下。
步骤2204有如下实现方式:第二控制器通过从端力矩传感器221采集从端机械臂22的手臂反馈信息。
示意性的,手臂反馈信息包括外界环境对于从端机械臂22的手臂的反馈信息。
相应的,步骤2206有如下实现方式:第一控制器根据手臂反馈信息或手臂反馈指令控制主端机械臂12执行与手臂反馈信息对应的手臂反馈运动。
根据前述内容,从端力矩传感器221包括第三力矩传感器2211和第四力矩传感器2212中的至少一种。相应的,步骤2404和步骤2406包括如下至少三种实现方式:
1、从端力矩传感器221包括第三力矩传感器2211时。
步骤2204有如下实现方式:第二控制器通过第三力矩传感器2211从端机械臂22的第一手臂反馈信息。
示意性的,第一手臂反馈信息包括从端机械臂22感知到的外界环境对于从端机械臂22的各个关节的运动方向、运动距离和停止位置中的至少一种。
相应的,步骤2206有如下实现方式:第一控制器根据第一手臂反馈信息或第一手臂反馈指令控制主端机械臂12执行与第一手臂反馈信息对应的第一手臂反馈运动。
示意性的,第一手臂反馈指令是基于第一手臂反馈信息生成的。
示意性的,第一手臂反馈指令用于控制主端机械臂12的各个关节的运动参数,其中,运动参数包括但不限于主端机械臂12的各个关节的运动方向、运动距离和停止位置中的至少一种。
2、从端力矩传感器221包括第四力矩传感器2212时。
步骤2204有如下实现方式:第二控制器通过第四力矩传感器2212采集从端机械臂22的第二手臂反馈信息。
示意性的,第二手臂反馈信息包括从端机械臂22感知到的外界环境对于从端机械臂22的末端的运动方向、运动距离和停止位置中的至少一种。
相应的,步骤2206有如下实现方式:第一控制器根据第二手臂反馈信息或第二手臂反馈指令控制主端机械臂12执行与第二手臂反馈信息对应的第二手臂反馈运动。
示意性的,第二手臂反馈指令是基于第二手臂反馈信息生成的。
示意性的,第二手臂反馈指令用于控制主端机械臂12的末端和/或机械手控制组件13的运动参数,其中,运动参数包括但不限于主端机械臂12的末端的运动方向、运动距离和停止位置中的至少一种。
3、从端力矩传感器221包括第三力矩传感器2211和第四力矩传感器2212时。
步骤2204有如下实现方式:第二控制器通过第三力矩传感器2211从端机械臂22的第一手臂反馈信息;第二控制器通过第四力矩传感器2212采集从端机械臂22的第二手臂反馈信息。
相应的,步骤2206有如下实现方式:第一控制器根据第一手臂反馈信息或第一手臂反馈指令控制主端机械臂12执行与第一手臂反馈信息对应的第一手臂反馈运动;第一控制器根据第二手臂反馈信息或第二手臂反馈指令控制主端机械臂12执行与第二手臂反馈信息对应的第二手臂反馈运动。
4、从端机械臂22的表面附着有与第二控制器相连的电子皮肤时。
步骤2204有如下实现方式:第二控制器通过电子皮肤采集从端操作平台20的触碰反馈信息。
示意性的,触碰反馈信息包括从端端机械臂22对于外界环境的接触信息,包括但不限于从端机械臂22受到的外力的力矩信息、主端机械臂12触碰到的物体的接触力和物体几何信息中的至少一种。
相应的,步骤2206有如下实现方式:第一控制器根据触碰反馈信息或触碰反馈指令控制主端机械臂12生成与触碰反馈信息对应的触碰反馈。
二、机械手控制组件13具有信息反馈功能的情况下。
根据前文所述,机械手控制组件13具有信息反馈的功能。具体的,机械手控制组件13包括多指控制装置133,多指控制装置133上设置有触觉反馈装置,从端机械手23上设置有与第二控制器相连的指尖触觉传感器。
示意性的,步骤2204有如下实现方式:第二控制器通过指尖触觉传感器采集从端机械手23的接触信息的指尖触觉信息。
示意性的,指尖触觉信息包括外界环境对于从端机械手23的指尖的反馈信息。示意性的,指尖触觉信息包括但不限于从端机械手23的指尖与物体和/或外界环境的接触点、接触面、接触位置、温度、接触物体的形状、接触物体的重量、接触物体的粗糙度中的至少一种。
相应的,步骤2206有如下实现方式:第一控制器根据指尖触觉信息或指尖接触反馈指令控制机械手控制组件13生成指尖刺激反馈。
示意性的,指尖接触反馈指令是基于指尖触觉信息生成的。
示意性的,指尖刺激反馈由触觉反馈装置执行。
综上所述,本申请实施例提供的双边遥操作***的控制方法中,通过第二控制器向第一控制器发送反馈信息,主端操作平台10根据反馈信息控制主端机械臂12和/或机械手控制组件13执行相应的刺激反馈。
根据前述内容,主端操作平台10还可以控制从端操作平台20的行走。示意性的如图23所示,本申请实施例提供的双边遥操作***的控制方法包括如下步骤:
步骤2301:通过主端支架11调节主端机械臂12的位置。
根据前述内容,存在至少两条主端机械臂12,主端支架11包括主端装置支撑架111和主端机械臂支撑架112。
步骤2301包括如下步骤:
通过主端装置支撑架111调节至少两条主端机械臂12的高度;
通过主端机械臂支撑架112调节至少两条主端机械臂12的间距。
步骤2302:通过从端支架21调节从端机械臂22的位置。
根据前述内容,存在至少两条从端机械臂22,从端支架21包括从端装置支撑架211和从端机械臂支撑架212。
步骤2302包括如下步骤:
通过从端装置支撑架211调节至少两条从端机械臂22的高度;
通过从端机械臂支撑架212调节至少两条从端机械臂22的间距。
示意性的,步骤2301和步骤2302可以同时执行,可以顺序执行,也可以无序执行,还可以不执行。
步骤2303:第一控制器通过控制台14采集主端操作平台10的行走运动信息。
步骤2304:第一控制器向第二控制器发送行走运动信息或行走运动指令。
示意性的,行走运动指令是基于行走运动信息生成的。
步骤2305:第二控制器根据行走运动信息或行走运动指令控制移动底盘24执行与行走运动信息对应的行走运动。
根据前述内容,控制台14包括脚踏控制板141,移动底盘24包括主动轮241。据此,步骤2303包括如下实现方式:第一控制器通过脚踏控制板141采集主端操作平台10的行走运动信息。相应的,步骤2305包括如下实现方式:第二控制器根据行走运动信息或行走运动指令控制主动轮241执行与行走运动信息对应的行走运动。
步骤2306:第一控制器采集主端机械臂12的运动信息和机械手控制组件13的运动信息中的至少一种。
步骤2307:第一控制器向第二控制器发送运动信息或者控制指令。
示意性的,控制指令是基于运动信息生成的。
步骤2308:第二控制器根据运动信息或控制指令控制从端操作平台20执行与运动信息对应的运动。
其中,从端操作平台20执行的与运动信息对应的运动由从端机械臂22和从端机械手23中的至少一种执行。
示意性的,步骤2306、2307、2308与步骤2102、2104、2106相同,可作参考,不再赘述。示意性的,步骤2303、2304、2305和步骤2306、2307、2308可以同时执行,可以顺序执行,也可以无序执行,还可以重复多次执行。
综上所述,本申请实施例提供的双边遥操作***的控制方法,通过主端支架11可以调节主端机械臂12的位置,根据从端支架21可以调节从端机械臂22的位置,根据控制台14和移动底盘24可以实现主端操作平台10控制从端操作平台20的行走。
根据前述内容,图24示出了本申请实施例提供的双边遥操作***的控制方法的原理图,具体阐述如下:
示例性的,本申请实施例提供的双边遥操作***100的主端操作平台10中,主端力矩传感器121包括的第一力矩传感器1211为关节力矩传感器,第二力矩传感器1212为末端六维力传感器。
示例性的,本申请实施例提供的双边遥操作***100的从端操作平台20中,从端力矩传感器221包括的第三力矩传感器2211为关节力矩传感器,第四力矩传感器2212为末端六维力传感器,从端机械手23上设置有与第二控制器相连的指尖触觉传感器。
第一控制器可以分为第一机械臂控制器和第一机械手控制器,用于实现主端机械臂12和机械手控制组件13的运动控制,第二控制器可以分为第二机械臂控制器和第二机械手控制器,用于实现从端机械臂22和从端机械手23的运动控制,第一控制器和第二控制器具有通信连接。
其中,在主端机械臂12的运动控制中,关节力矩传感器可用于主端机械臂12的安全控制和力顺应控制,末端六维力传感器可用于主端机械臂12的力顺应控制和运动意图预测。另外,环形触觉传感器131感知到的主端机械臂12的运动趋势也可以用于预测主端机械臂12的运动意图。
相应的,在从端机械臂22的运动控制中,关节力矩传感器可用于从端机械臂22的安全控制和力顺应控制,末端六维力传感器可用于从端机械臂22的力顺应控制和运动意图预测。另外,电子皮肤感知到的接触信息也可以用于预测从端机械臂22的运动意图。
其中,安全控制是指对机械臂的运行安全进行的控制,机械臂的运动包括但不限于运动方向、运动力的大小。比如,主端机械臂12上的关节力矩传感器感知到主端机械臂12受到较大的外力的挤压,第一机械臂控制器根据采集到的挤压外力的力矩信息,控制主端机械臂12停止,保证主端机械臂12的运动安全。
力顺应控制是指对机械臂运行的柔顺程度的控制,通过关节力矩传感器和末端六维力传感器的配合,提高机械臂运行的柔顺度,避免机械臂出现卡顿的情况。比如,主端机械臂12上的关节力矩传感器和末端六维力传感器感知到主端机械臂12的运动情况,第一机械臂控制器将该运动情况反馈至第二机械臂控制器,第二机械臂控制器控制从端机械臂22的各个关节和机械臂末端执行相应的力的运动。
运动意图预测是指对机械臂的运动意图进行的预测分析,也可以提高机械臂运行的柔顺程度。比如,主端机械臂12上末端六维力传感器感知到主端机械臂12的运动情况,获知主端机械臂12的运动的力矩信息;环形触觉传感器131感知到操作人员的腕部的运动情况,获知主端机械臂12的运动的方向信息。第一机械臂控制器或第二机械臂控制器根据上述两类运动情况进行预测,获取主端机械臂12的运动意图,第二机械臂控制器根据该运动意图对从端机械臂22实现提前控制,使得从端机械臂22也具有相应的运动趋势。
交互意图预测是指根据机械臂受到的交互信息进行的机械臂的运动预测。比如,从端机械臂22上的电子皮肤感知到从端机械臂22受到一定的推力,第二机械臂控制器将推力信息反馈至第一机械臂控制器,第一机械臂控制器控制主端机械臂12执行与从端机械臂22受到的推力相同的力的运动。
在机械手控制组件13的运动控制中,通过多指控制装置133和把手132来获取机械手控制组件13的多指运动信息。在从端机械手23的运动控制中,通过指尖触觉传感器感知从端机械手23的接触信息。
另外,在第一机械臂控制器和第二机械臂控制器的交互过程中,数据交互内容包括但不限于关节力矩和关节位置中的至少一种;在第一机械手控制器和第二机械手控制器的交互过程中,数据交互内容包括但不限于受力信息和关节位置中的至少一种。同时,第二机械手控制器也可以将受力信息发送给第一机械臂控制器,便于主端操作平台10对下一步运动控制做出预判。
在本申请中,应该理解到,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (21)

1.一种双边遥操作***(100),其特征在于,所述双边遥操作***(100)包括:主端操作平台(10)和从端操作平台(20);
所述主端操作平台(10)包括:主端支架(11)、主端机械臂(12)、机械手控制组件(13)和第一控制器,所述主端机械臂(12)的根端设置于所述主端支架(11)上,所述主端机械臂(12)的末端与所述机械手控制组件(13)连接;
所述从端操作平台(20)包括:从端支架(21)、从端机械臂(22)、从端机械手(23)和第二控制器,所述从端机械臂(22)的根端设置于所述从端支架(21)上,所述从端机械臂(22)的末端与所述从端机械手(23)连接;
所述主端机械臂(12)与所述从端机械臂(22)是同构机械臂,所述主端操作平台(10)中的所述第一控制器与所述从端操作平台(20)中的所述第二控制器具有通信连接。
2.根据权利要求1所述的双边遥操作***(100),其特征在于,所述主端操作平台(10)包括意图预测部件,所述意图预测部件用于采集预测所述主端操作平台(10)的运动意图的运动信息。
3.根据权利要求2所述的双边遥操作***(100),其特征在于,所述意图预测部件包括方向意图预测部件和力矩意图预测部件中的至少一种。
4.根据权利要求3所述的双边遥操作***(100),其特征在于,所述方向意图预测部件包括与所述第一控制器相连的环形触觉传感器(131);
所述环形触觉传感器(131)设置于所述主端机械臂(12)的末端。
5.根据权利要求3所述的双边遥操作***(100),其特征在于,所述力矩意图预测部件包括与所述第一控制器相连的主端力矩传感器(121);
所述主端力矩传感器(121)设置于所述主端机械臂(12)上。
6.根据权利要求5所述的双边遥操作***(100),其特征在于,所述主端力矩传感器(121)包括第一力矩传感器(1211)和第二力矩传感器(1212)中的至少一种;
所述第一力矩传感器(1211)设置于所述主端机械臂(12)的关节处,所述第二力矩传感器(1212)设置于所述主端机械臂(12)的末端。
7.根据权利要求5所述的双边遥操作***(100),其特征在于,所述力矩意图预测部件还包括把手(132);
所述把手(132)固定设置于所述主端机械臂(12)的末端,所述把手(132)用于向所述主端力矩传感器(121)传递所述主端机械臂(12)的手臂运动信息。
8.根据权利要求1至7任一所述的双边遥操作***(100),其特征在于,所述机械手控制组件(13)还包括与所述第一控制器相连的多指控制装置(133);
所述多指控制装置(133)与所述主端机械臂(12)的末端固定连接。
9.根据权利要求8所述的双边遥操作***(100),其特征在于,所述多指控制装置(133)包括第一指套(1331)和第二指套(1332);
所述第一指套(1331)和所述第二指套(1332)设置于所述主端机械臂(12)的末端。
10.根据权利要求1至7任一所述的双边遥操作***(100),其特征在于,所述从端操作平台(20)还包括与所述第二控制器相连的双目视觉相机(25);
所述双目视觉相机(25)设置于所述从端支架(21)的顶部;
所述第二控制器还用于采集所述双目视觉相机(25)的视觉信息,所述第一控制器还用于反馈所述双目视觉相机(25)的视觉信息。
11.一种主端操作平台(10),其特征在于,所述主端操作平台(10)包括:主端支架(11)、主端机械臂(12)、机械手控制组件(13)和第一控制器;
所述主端机械臂(12)的根端设置于所述主端支架(11)上,所述主端机械臂(12)的末端与所述机械手控制组件(13)连接;
所述第一控制器用于采集所述主端机械臂(12)和所述机械手控制组件(13)的运动信息,以及控制所述主端机械臂(12)和所述机械手控制组件(13)的运动。
12.一种从端操作平台(20),其特征在于,所述从端操作平台(20)包括:从端支架(21)、从端机械臂(22)、从端机械手(23)和第二控制器;
所述从端机械臂(22)的根端设置于所述从端支架(21)上,所述从端机械臂(22)的末端与所述从端机械手(23)连接;
所述第二控制器用于控制所述从端机械臂(22)和所述从端机械手(23)的运动,以及反馈从端机械臂(22)和所述从端机械手(23)的运动信息。
13.一种双边遥操作***的控制方法,应用于权利要求1至10任一所述的双边遥操作***(100)中,其特征在于,所述方法包括:
所述第一控制器采集所述主端机械臂(12)的运动信息和所述机械手控制组件(13)的运动信息中的至少一种;
所述第一控制器向所述第二控制器发送所述运动信息或者控制指令,所述控制指令是基于所述运动信息生成的;
所述第二控制器根据所述运动信息或所述控制指令控制所述从端操作平台(20)执行与所述运动信息对应的运动,所述运动由所述从端机械臂(22)和所述从端机械手(23)中的至少一种执行。
14.根据权利要求13所述的方法,所述主端操作平台(10)包括意图预测部件,其特征在于,
所述第一控制器采集所述主端机械臂(12)的运动信息和所述机械手控制组件(13)的运动信息中的至少一种,包括:
所述第一控制器通过所述意图预测部件采集用于预测所述主端机械臂(12)的运动意图的运动信息。
15.根据权利要求14所述的方法,所述意图预测部件包括方向意图预测部件和力矩意图预测部件中的至少一种,所述方向意图预测部件包括与所述第一控制器相连的环形触觉传感器(131),其特征在于,
所述第一控制器通过所述意图预测部件采集用于预测所述主端机械臂(12)的运动意图的运动信息,包括:
所述第一控制器通过所述环形触觉传感器(131)采集所述主端机械臂(12)的腕部运动信息;
所述第二控制器根据所述运动信息或所述控制指令控制所述从端操作平台(20)执行与所述运动信息对应的运动,包括:
所述第二控制器根据所述腕部运动信息或腕部控制指令控制所述从端机械臂(22)执行与所述腕部运动信息对应的腕部运动,所述腕部控制指令是基于所述腕部运动信息进行运动方向的意图预测生成的。
16.根据权利要求14所述的方法,所述意图预测部件包括方向意图预测部件和力矩意图预测部件中的至少一种,所述力矩意图预测部件包括与所述第一控制器相连的主端力矩传感器(121),所述主端力矩传感器(121)设置于所述主端机械臂(12)上,其特征在于,
所述第一控制器通过所述意图预测部件采集用于预测所述主端机械臂(12)的运动意图的运动信息,包括:
所述第一控制器通过所述主端力矩传感器(121)采集所述主端机械臂(12)的手臂运动信息;
所述第二控制器根据所述运动信息或所述控制指令控制所述从端操作平台(20)执行与所述运动信息对应的运动,包括:
所述第二控制器根据所述手臂运动信息或手臂控制指令控制所述从端机械臂(22)执行与所述手臂运动信息对应的手臂运动,所述手臂控制指令是基于所述手臂运动信息进行运动力矩的意图预测生成的。
17.根据权利要求16所述的方法,所述主端力矩传感器(121)包括第一力矩传感器(1211),其特征在于,
所述第一控制器通过所述主端力矩传感器(121)采集所述主端机械臂(12)的操作的手臂运动信息,包括:
所述第一控制器通过所述第一力矩传感器(1211)采集所述主端机械臂(12)的第一手臂运动信息;
所述第二控制器根据所述手臂运动信息或手臂控制指令控制所述从端机械臂(22)执行与所述手臂运动信息对应的手臂运动,包括:
所述第二控制器根据所述第一手臂运动信息或第一手臂控制指令控制所述从端机械臂(22)执行与所述第一手臂运动信息对应的第一手臂运动,所述第一手臂控制指令是基于所述第一手臂运动信息生成的。
18.根据权利要求16所述的方法,所述主端力矩传感器(121)包括第二力矩传感器(1212),其特征在于,
所述第以控制器通过所述主端力矩传感器(121)采集所述主端机械臂(12)的操作的手臂运动信息,包括:
所述第一控制器通过所述第二力矩传感器(1212)采集所述主端机械臂(12)的第二手臂运动信息;
所述第一控制器根据所述手臂运动信息或手臂控制指令控制所述从端机械臂(22)执行与所述手臂运动信息对应的手臂运动,包括:
所述第一控制器根据所述第二手臂运动信息或第二手臂控制指令控制所述从端机械臂(22)执行与所述第二手臂运动信息对应的第二手臂运动,所述第二手臂控制指令是基于所述第二手臂运动信息生成的。
19.根据权利要求13至18任一所述的方法,所述机械手控制组件(13)包括与所述第一控制器相连的多指控制装置(133),其特征在于,
所述第一控制器采集所述主端机械臂(12)的运动信息和所述机械手控制组件(13)的运动信息中的至少一种,包括:
所述第一控制器通过所述多指控制装置(133)采集所述机械手控制组件(13)的多指运动信息;
所述第二控制器根据所述运动信息或所述控制指令控制所述从端操作平台(20)执行与所述运动信息对应的运动,包括:
所述第二控制器根据所述多指运动信息或多指控制指令控制所述从端机械手(23)执行与所述多指运动信息对应的多指运动,所述多指控制指令是基于所述多指运动信息生成的。
20.根据权利要求13至19任一所述的方法,其特征在于,所述方法还包括:
所述第二控制器采集所述从端机械臂(22)的反馈信息和所述从端机械手(13)的反馈信息中的至少一种;
所述第二控制器向所述第一控制器发送所述反馈信息或反馈指令,所述反馈指令是基于所述反馈信息生成的;
所述第一控制器根据所述反馈信息或所述反馈指令控制所述主端操作平台(10)执行与所述反馈信息对应的反馈运动,所述反馈运动由所述主端机械臂(12)和所述机械手控制组件(13)中的至少一种执行。
21.根据权利要求13至19任一所述的方法,所述从端操作平台(20)还包括与所述第二控制器相连的双目视觉相机(25),其特征在于,所述方法还包括:
所述第二控制器通过所述双目视觉相机(25)采集所述从端操作平台(20)的视觉反馈信息,所述视觉反馈信息包括所述从端双目视觉相机(25)感知到的所述从端操作平台(20)的外部图像信息;
所述第二控制器向所述第一控制器发送所述视觉反馈信息。
CN202110172991.1A 2021-02-08 2021-02-08 双边遥操作***及控制方法 Pending CN114905478A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110172991.1A CN114905478A (zh) 2021-02-08 2021-02-08 双边遥操作***及控制方法
PCT/CN2022/074388 WO2022166770A1 (zh) 2021-02-08 2022-01-27 双边遥操作***及控制方法
US17/992,762 US20230083258A1 (en) 2021-02-08 2022-11-22 Bilateral teleoperation system and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110172991.1A CN114905478A (zh) 2021-02-08 2021-02-08 双边遥操作***及控制方法

Publications (1)

Publication Number Publication Date
CN114905478A true CN114905478A (zh) 2022-08-16

Family

ID=82741951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110172991.1A Pending CN114905478A (zh) 2021-02-08 2021-02-08 双边遥操作***及控制方法

Country Status (3)

Country Link
US (1) US20230083258A1 (zh)
CN (1) CN114905478A (zh)
WO (1) WO2022166770A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116100565A (zh) * 2023-04-13 2023-05-12 中国科学技术大学 基于外骨骼机器人的沉浸式实时远程操作平台

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101434066A (zh) * 2008-10-20 2009-05-20 北京理工大学 机器人遥操作预测方法和遥操作预测平台
CN104793622A (zh) * 2014-01-20 2015-07-22 丰田自动车株式会社 两足步行机器人控制方法和两足步行机器人控制***
CN106272382A (zh) * 2016-08-19 2017-01-04 济南舜风科技有限公司 用于巡线机器人机械臂的模拟控制***和控制方法
CN107457762A (zh) * 2016-06-02 2017-12-12 巨擘科技股份有限公司 机械手臂控制装置,包含该控制装置的机械手臂***及机械手臂控制方法
JP2019217557A (ja) * 2018-06-15 2019-12-26 株式会社東芝 遠隔操作方法及び遠隔操作システム
CN111319026A (zh) * 2020-02-06 2020-06-23 北京凡川智能机器人科技有限公司 一种沉浸式双臂机器人仿人远程操控方法
US20200198120A1 (en) * 2017-05-19 2020-06-25 Kawasaki Jukogyo Kabushiki Kaisha Robot system and method of controlling robot system
CN111409074A (zh) * 2020-04-03 2020-07-14 江苏集萃华科智能装备科技有限公司 基于协作机械臂的遥操作双臂移动机器人***
CN111459277A (zh) * 2020-04-01 2020-07-28 重庆大学 基于混合现实的机械臂遥操作***及交互界面构建方法
CN111515951A (zh) * 2020-04-29 2020-08-11 江苏集萃华科智能装备科技有限公司 机器人的遥操作***及遥操作控制方法
CN211362244U (zh) * 2019-04-09 2020-08-28 华南理工大学 一种基于外骨骼数据手套和肌电手环的遥操作***
CN112060088A (zh) * 2020-08-28 2020-12-11 华中科技大学 一种变时延条件下非合作目标精确抓捕遥操作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012125851A (ja) * 2010-12-13 2012-07-05 Thk Co Ltd マスタ・スレーブ型ロボット操作システム
CN102615637B (zh) * 2012-04-01 2014-08-27 山东电力研究院 一种高压带电作业主从控制机器人作业平台
CN111251336B (zh) * 2019-06-29 2022-01-28 浙江大学 一种基于视觉定位的双臂协同智能装配***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101434066A (zh) * 2008-10-20 2009-05-20 北京理工大学 机器人遥操作预测方法和遥操作预测平台
CN104793622A (zh) * 2014-01-20 2015-07-22 丰田自动车株式会社 两足步行机器人控制方法和两足步行机器人控制***
CN107457762A (zh) * 2016-06-02 2017-12-12 巨擘科技股份有限公司 机械手臂控制装置,包含该控制装置的机械手臂***及机械手臂控制方法
CN106272382A (zh) * 2016-08-19 2017-01-04 济南舜风科技有限公司 用于巡线机器人机械臂的模拟控制***和控制方法
US20200198120A1 (en) * 2017-05-19 2020-06-25 Kawasaki Jukogyo Kabushiki Kaisha Robot system and method of controlling robot system
JP2019217557A (ja) * 2018-06-15 2019-12-26 株式会社東芝 遠隔操作方法及び遠隔操作システム
CN211362244U (zh) * 2019-04-09 2020-08-28 华南理工大学 一种基于外骨骼数据手套和肌电手环的遥操作***
CN111319026A (zh) * 2020-02-06 2020-06-23 北京凡川智能机器人科技有限公司 一种沉浸式双臂机器人仿人远程操控方法
CN111459277A (zh) * 2020-04-01 2020-07-28 重庆大学 基于混合现实的机械臂遥操作***及交互界面构建方法
CN111409074A (zh) * 2020-04-03 2020-07-14 江苏集萃华科智能装备科技有限公司 基于协作机械臂的遥操作双臂移动机器人***
CN111515951A (zh) * 2020-04-29 2020-08-11 江苏集萃华科智能装备科技有限公司 机器人的遥操作***及遥操作控制方法
CN112060088A (zh) * 2020-08-28 2020-12-11 华中科技大学 一种变时延条件下非合作目标精确抓捕遥操作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116100565A (zh) * 2023-04-13 2023-05-12 中国科学技术大学 基于外骨骼机器人的沉浸式实时远程操作平台

Also Published As

Publication number Publication date
US20230083258A1 (en) 2023-03-16
WO2022166770A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
US9122275B2 (en) Robot and control method thereof
US11090814B2 (en) Robot control method
CN107717982B (zh) 机械手臂的控制装置及操作方法
US10993777B2 (en) Method and apparatus for controlling a surgical mechatronic assistance system by means of a holding arm for medical purposes
CN106945007B (zh) 机器人***、机器人、以及机器人控制装置
EP2917001B1 (en) Hybrid gesture control haptic system
EP1973021B1 (en) Master-slave manipulator system
US7027031B2 (en) Touch sense interface and method for controlling touch sense interface
JP2012125918A (ja) 力を指示するトリガー機構を用いた触覚インターフェースハンドル
KR101312371B1 (ko) 7 자유도 움직임을 갖는 마스터 암
JP2014004656A (ja) マニピュレーションシステム
JP2020196060A (ja) 教示方法
CN113084784A (zh) 辅助头顶作业的穿戴式外肢体机器人
JP3742879B2 (ja) ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム
US20230083258A1 (en) Bilateral teleoperation system and control method
Zhao et al. An intuitive human robot interface for tele-operation
CN116038666A (zh) 集成多重传感器的双臂机器手装置及其协同柔顺操作方法
JP3884249B2 (ja) 人間型ハンドロボット用教示システム
Matsumoto et al. Operation assist for a teleoperated robot system controlled with a lightweight and high-operable master device
JP5380192B2 (ja) 汎用ロボット移動教示装置
Yuan et al. Task-orientated robot teleoperation using wearable IMUs
US20230072317A1 (en) Wearable robot data collection system with human-machine operation interface
WO2022239294A1 (ja) 情報入力装置、制御装置、並びに手術システム
JP2022092759A (ja) 操作装置
Twardon et al. Exploiting eye-hand coordination: A novel approach to remote manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40073431

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination