CN114211493B - 机械臂的远程控制***和方法 - Google Patents

机械臂的远程控制***和方法 Download PDF

Info

Publication number
CN114211493B
CN114211493B CN202111592152.1A CN202111592152A CN114211493B CN 114211493 B CN114211493 B CN 114211493B CN 202111592152 A CN202111592152 A CN 202111592152A CN 114211493 B CN114211493 B CN 114211493B
Authority
CN
China
Prior art keywords
coordinate system
mechanical arm
conversion relation
terminal
control subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111592152.1A
Other languages
English (en)
Other versions
CN114211493A (zh
Inventor
陶红武
张阳
谢强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Original Assignee
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan United Imaging Zhirong Medical Technology Co Ltd filed Critical Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority to CN202111592152.1A priority Critical patent/CN114211493B/zh
Publication of CN114211493A publication Critical patent/CN114211493A/zh
Application granted granted Critical
Publication of CN114211493B publication Critical patent/CN114211493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种机械臂的远程控制***和方法。该机械臂的远程控制***包括：主控制子***和从控制子***，主控制子***与从控制子***通过网络进行远程通信连接，主控制子***中的第一控制终端用于在主控制子***中的主手被触发进行运动时，构建主手末端坐标系与主手基座坐标系之间的转换关系，从控制子***中的第二控制终端用于根据主手末端坐标系与主手基座坐标系之间的转换关系和预定义的映射规则，构建从控制子***中的机械臂末端坐标系和机械臂基座坐标系之间的转换关系，并根据该转换关系控制机械臂运动。该远程控制***可以达到直觉控制效果，实现了远程准确控制机械臂移动。

Description

机械臂的远程控制***和方法
技术领域
本申请涉及医疗设备技术领域，特别是涉及一种机械臂的远程控制***和方法。
背景技术
随着5G通讯技术的发展，主从遥操作应用场景越来越多，特别是在医疗手术领域，利用主从遥操作手术机器人进行手术的方法应用越来越广泛。
在主从遥操作过程中，主端遥操作控制从端运动，需要建立主输入设备与末端执行器之间的映射关系。在现有的主从映射控制方案中，主流应用场景可以分为两类。一类是主从端在同一个空间，主端基坐标系与从端基坐标系基于空间固定的某一世界坐标系进行转换，从而确定主动与从端的映射关系。一类是微创手术过程中，通常会借助内窥镜***提供视野画面，为医生提供手术指导操作，从端运动一般转换到内窥镜镜头坐标系，主手运动一般转换到显示屏坐标系，通过人的感知意识将内窥镜镜头坐标系与显示屏坐标***统一，从而达到直觉控制的效果。
但是，当机器人***主从端异地远程，或者机器人***没有类似内窥镜***，不是依靠术野画面直接指导手术操作时，上述两种主从映射方法均不适用，导致无法正常实现主从操作的准确控制。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现直觉控制效果，以及提高控制准确性的机械臂的远程控制***和方法。
第一方面，一种机械臂的远程控制***，所述***包括：
主控制子***和从控制子***，所述主控制子***与所述从控制子***可以通过网络进行远程通信连接；其中，所述主控制子***包括主手和第一控制终端，所述从控制子***包括机械臂和第二控制终端；
所述第一控制终端用于在所述主手被触发进行运动时，构建所述主控制子***中的主手末端坐标系与主手基座坐标系之间的转换关系；
所述第二控制终端用于根据所述主手末端坐标系与主手基座坐标系之间的转换关系和预定义的映射规则，构建所述从端控制子***中的机械臂末端坐标系和机械臂基座坐标系之间的转换关系，并根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂运动。
在其中一个实施例中，所述预定义的映射规则为将所述主控制子***中的主手基座坐标系的方位和所述从控制子***中的对象坐标系的方位定义一致的规则。
在其中一个实施例中，所述第二控制终端在执行所述构建所述从端控制子***中的机械臂末端坐标系和机械臂基座坐标系之间的转换关系的操作时，具体执行：
根据所述预定义的映射规则，将所述主手末端坐标系与主手基座坐标系之间的转换关系等同于所述从端控制子***中机械臂末端坐标系和对象坐标系之间的转换关系；
根据所述机械臂末端坐标系和对象坐标系之间的转换关系，构建所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
在其中一个实施例中，所述第二控制终端在执行所述构建所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系的操作时，具体执行：
根据所述从端控制子***中追踪设备的手眼标定方法，构建追踪设备坐标系和机械臂基座坐标系之间的转换关系，以及追踪设备坐标系和对象坐标系之间的转换关系；
根据所述追踪设备坐标系和机械臂基座坐标系之间的转换关系、所述追踪设备坐标系和对象坐标系之间的转换关系、以及所述机械臂末端坐标系和对象坐标系之间的转换关系，构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
在其中一个实施例中，所述第二控制终端在执行所述根据所述追踪设备坐标系和机械臂基座坐标系之间的转换关系、所述追踪设备坐标系和患者坐标系之间的转换关系、以及所述机械臂末端坐标系和对象坐标系之间的转换关系，构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系的操作时，具体执行：
根据所述追踪设备坐标系和机械臂基座坐标系之间的转换关系和所述追踪设备坐标系和对象坐标系之间的转换关系，构建机械臂基座坐标系和对象坐标系之间的转换关系；
根据所述机械臂基座坐标系和对象坐标系之间的转换关系，以及所述机械臂末端坐标系和所述对象坐标系之间的转换关系，确定所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
在其中一个实施例中，所述根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂运动，包括：
根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，确定控制机械臂运动的各关节角；
根据各所述关节点控制所述机械臂运动。
在其中一个实施例中，所述第一控制终端还用于获取所述主手被触发进行预设运动时的运动参量；
所述第二控制终端在执行所述根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，确定控制机械臂运动的各关节角度的操作时，具体执行：
通过运动学逆解的方式，将所述运动参量代入所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，解算得到控制机械臂运动的各关节角度。
在其中一个实施例中，所述***还包括：导航设备，所述导航设备的显示屏上显示所述从端控制子***中机械臂末端的运动信息。
在其中一个实施例中，所述从端控制子***中包括机械臂基座、所述机械臂、追踪设备和对象手术台。
第二方面，一种机械臂的远程控制方法，所述方法包括：
第一控制终端在主手被触发进行预设运动时，构建主手末端坐标系与主手基座坐标系之间的转换关系；
第二控制终端根据所述主手末端坐标系与主手基座坐标系之间的转换关系和预定义的映射规则，构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系，并根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂运动。
上述机械臂的远程控制***和方法，通过主从映射控制方法实现了主控制子***中主手和从控制子***中机械臂之间的远程控制，达到了直觉控制效果。另外，上述***可以应用在无视觉反馈应用场景下，且在该无视觉反馈应用场景下主手还可以准确控制机械臂执行相应操作，极大的拓展了手术机器人主从操作的应用场景。
附图说明
图1为一个实施例中机械臂的远程控制***的结构示意图；
图2为一个实施例中主手和机械臂的异构结构的示意图；
图3为一个实施例中主手和机械臂的同构结构的示意图；
图4为一个实施例中主控制子***的坐标系示意图；
图5为一个实施例中从控制子***的坐标系示意图；
图6为一个实施例中第二控制终端执行步骤的流程图；
图7为图6实施例中S102的一种实现方式的流程示意图；
图8为图7实施例中S202的一种实现方式的流程示意图；
图9为一个实施例中机械臂的远程控制***的结构示意图；
图10为一个实施例中机械臂的远程控制方法的流程示意图；
图11为一个实施例中机械臂的远程控制方法的流程示意图；
图12为一个实施例中计算机设备的内部结构图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参见图1，本发明提供一种机械臂的远程控制***，该机械臂的远程控制***包括：主控制子***10和从控制子***20，主控制子***10与从控制子***20可以通过网络进行远程通信连接；其中，主控制子***10包括主手101和第一控制终端102，从控制子***20包括机械臂201和第二控制终端202；第一控制终端102用于在主手101被触发进行运动时，构建主控制子***10中的主手末端坐标系与主手基座坐标系之间的转换关系；第二控制终端202用于根据主手末端坐标系与主手基座坐标系之间的转换关系和预定义的映射规则，构建从控制子***20中的机械臂末端坐标系和机械臂基座坐标系之间的转换关系，并根据机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂201运动。
在实际应用中，主手101和第一控制终端102放置于主控制室，主手101和第一控制终端102进行有线或无线连接；而机械臂201和第二控制终端202放置于手术室，机械臂201和第二控制终端202进行有线或无线连接，并且主控制室和手术室可以处于不同区域和地理位置。主手101和机械臂201可以是异形结构的(如图2中的主手和机械臂的结构)；主手101和机械臂201也可以是相同结构的(如图3中的主手和机械臂的结构)。
主手末端坐标系为主手101的末端所在的坐标系(参见图4中的SMasterEndFrame)，主手基座坐标系为主手101的基座所在的坐标系(参见图4中的SMasterBaseFrame)。机械臂末端坐标系为机械臂201的末端所在的坐标系(参见图5中的SCupFrame)，机械臂基座坐标系为机械臂201的基座所在的坐标系(参见图5中的SRobotBaseFrame)。从控制子***20还包括机械臂基座203(参考图5中的机械臂基座203)，该机械臂基座203与机械臂201连接，用于支撑机械臂201，机械臂201可以相对于机械臂基座203进行水平和竖直方向运动。
映射规则也为直觉映射关系，表示主控制子***10中主手101被触发进行运动时，比如，主手101被医生操作进行运动时，主手101能够和从控制子***中的机械臂201执行完全相同的运动，即映射规则包括将主控制子***10中主手101的基座坐标系的方位和从控制子***中的对象坐标系的方位定义一致，比如，将主手的基座坐标系中X、Y、Z的方位与对象坐标系中X、Y、Z的方位定义一致，即统一主手方位(比如前后左右上下方向)与对象方位之间的关系，即可达到直觉控制效果。需要说明的是，对象坐标系是指对象所在的坐标系，这里的对象是指机械臂201操作的对象，例如，在手术室，利用机械臂201进行相应的手术操作时，对象可以是患者。若对象为患者，则对象坐标系由对象的冠状面、矢状面、横断面交线确定，与患者身体方位紧密相连。相应的，从控制子***20还包括对象手术台204(参考图5中的对象手术台204)，该对象手术台204用于承载机械臂201的操作对象，比如，患者可以躺在对象手术台204上，机械臂201对患者进行手术操作。
需要说明的是，基于预定义的映射规则，即主控制子***10中主手101的基座坐标系的方位和从控制子***中的对象坐标系的方位定义一致，因此，主控制子***中的主手末端坐标系与主手基座坐标系之间的转换关系，相当于从控制子***中的机械臂末端坐标系和对象坐标系之间的转换关系。例如，图4中的主手末端坐标系与主手基座坐标系之间的转换关系对应SMasterEndFrame与SMasterBaseFrame之间的转换关系，图5中的机械臂末端坐标系和对象坐标系之间的转换关系对应SCupFrame与SObjectFrame之间的转换关系，即SMasterEndFrame与SMasterBaseFrame之间的转换关系等同于SCupFrame与SObjectFrame之间的转换关系。
本实施例中，主控制子***中的主手101被触发进行运动时，主手101的末端相对于主手的基座进行相对运动，即可得到主手末端坐标系与主手基座坐标系之间的转换关系，或者主手的末端与主手的基座的位姿关系，比如，在如图4所示的主手示意图中，主手的末端A相对于主手的基座B左右前后左右上下移动一定距离。由于主手101与第一控制终端102连接，主手101被触发进行运动时，第一控制终端102即可根据主手的末端A和主手的基座B各自的位置坐标，构建主手末端坐标系与主手基座坐标系之间的转换关系，并同步将该转换关系发送至从控制子***20中的第二控制终端202。当第二控制终端202获取到主手末端坐标系与主手基座坐标系之间的转换关系时，即可基于预定义的映射规则将该主手末端坐标系与主手基座坐标系之间的转换关系确定为从控制子***中机械臂末端坐标系和对象坐标系之间的转换关系。之后，第二控制终端202即可基于机械臂末端坐标系和对象坐标系之间的转换关系，以及结合从控制子***20中的各设备的设备坐标系，比如，机械臂基座坐标系、对象坐标系和追踪设备坐标系等，确定出机械臂末端坐标系和机械臂基座坐标系之间的转换关系。然后，实际应用中，机械臂基座坐标系一般可以预先确定，为已知量，那么第二控制终端202即可代入机械臂基座坐标系，根据机械臂末端坐标系和机械臂基座坐标系之间的转换关系，计算得到机械臂的末端位姿，再利用机械臂的逆运动学方程根据机械臂的末端位姿求解得到机械臂201的各关节角度，进而根据机械臂201的各关节角度控制机械臂201进行相应的运动。
上述实施例提供的机械臂的远程控制***，通过主从映射控制方法实现了主控制子***中主手和从控制子***中机械臂之间的远程控制，达到了直觉控制效果。另外，上述***可以应用在无视觉反馈应用场景下，且在该无视觉反馈应用场景下主手还可以准确控制机械臂执行相应操作，极大的拓展了手术机器人主从操作的应用场景。
在一个实施例中，提供了第二控制终端构建从控制子***中的机械臂末端坐标系和机械臂基座坐标系之间的转换关系的方法，即，第二控制终端在构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系时，如图6所示，具体执行如下步骤：
S101，根据预定义的映射规则，将主手末端坐标系与主手基座坐标系之间的转换关系等同于从控制子***中机械臂末端坐标系和对象坐标系之间的转换关系。
由于映射规则包括将主控制子***10中主手101的基座坐标系的方位和从控制子***20中的对象坐标系的方位定义一致，因此，主控制子***10中的主手末端坐标系与主手基座坐标系之间的转换关系等同于从控制子***20中机械臂末端坐标系和对象坐标系之间的转换关系，进而使主手101控制机械臂201时能够达到直觉控制效果。基于此，当第二控制终端202获取到主手末端坐标系与主手基座坐标系之间的转换关系时，基于预定义的映射规则，相当于获取到从控制子***中机械臂末端坐标系和对象坐标系之间的转换关系。
S102，根据机械臂末端坐标系和对象坐标系之间的转换关系，确定机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
当第二控制终端202获取到机械臂末端坐标系和对象坐标系之间的转换关系时，即可基于该转换关系，以及从控制子***20中的各设备坐标系，比如，机械臂基座坐标系、追踪设备坐标系、对象坐标系等，确定出机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
进一步的，第二控制终端202在具体构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系时，可以具体通过如图7所示方法实现，该方法包括：
S201，根据从控制子***中追踪设备的手眼标定方法，构建追踪设备坐标系和机械臂基座坐标系之间的转换关系，以及追踪设备坐标系和对象坐标系之间的转换关系。
其中，从控制子***20还包括追踪设备205(参考图5中的追踪设备205)，追踪设备205通过连接杆206固定在机械臂基座203上，且追踪设备205用于实时追踪对象，可以为一种影像设备，比如OTS设备，其通过在对象身上阵列反光球，用来实时追踪对象，所以追踪设备205通过连接杆206设置于对象手术台204和机械臂201的上方位置，以便追踪对象，以及机械臂201的运动。而且，追踪设备205与机械臂201同时固定连接于机械臂基座203上，因此通过追踪设备205的手眼标定方法可以获得追踪设备坐标系和机械臂基座坐标系之间的转换关系，以及追踪设备坐标系和对象坐标系之间的转换关系，比如，图5中的SOTSFrame和SRobotBaseFrame之间的转换关系，以及SOTSFrame和SObjectFrame之间的转换关系。
S202，根据追踪设备坐标系和机械臂基座坐标系之间的转换关系、追踪设备坐标系和对象坐标系之间的转换关系、以及机械臂末端坐标系和对象坐标系之间的转换关系，构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
比如，图5中，根据SOTSFrame和SRobotBaseFrame之间的转换关系，SOTSFrame和SObjectFrame之间的转换关系、以及SCupFrame和SObjectFrame之间的转换关系确定出SCupFrame和SRobotBaseFrame之间的转换关系。
在一些实施例中，通常机械臂末端都会安装有用于手术操作的磨锉工具，因此，机械臂末端坐标系等价于磨锉工具坐标系。
进一步的，第二控制终端202执行上述S202步骤时，如图8所述，具体执行：
S301，根据追踪设备坐标系和机械臂基座坐标系之间的转换关系，以及追踪设备坐标系和对象坐标系之间的转换关系，构建机械臂基座坐标系和对象坐标系之间的转换关系。
比如，图5中，由于SOTSFrame和SRobotBaseFrame之间的转换关系，SOTSFrame和SObjectFrame之间的转换关系，都包括SOTSFrame，则根据SOTSFrame和SRobotBaseFrame之间的转换关系，以及SOTSFrame和SObjectFrame之间的转换关系可以确定出SRobotBaseFrame和SObjectFrame之间的转换关系。
S302，根据机械臂基座坐标系和对象坐标系之间的转换关系，以及机械臂末端坐标系和对象坐标系之间的转换关系，确定机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
由于机械臂基座坐标系和对象坐标系之间的转换关系，以及机械臂末端坐标系和对象坐标系之间的转换关系中都包含对象坐标系，因此将上述两个转换关系通过相应的转换方法即可确定出机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
比如，图5中，由于SRobotBaseFrame和SObjectFrame之间的转换关系，SCupFrame和SObjectFrame之间的转换关系，都包括SObjectFrame，则根据SRobotBaseFrame和SObjectFrame之间的转换关系，SCupFrame和SObjectFrame之间的转换关系可以确定出SCupFrame和SRobotBaseFrame之间的转换关系。
在实际应用中，第二控制终端202根据机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂201运动时，可以先根据机械臂末端坐标系和机械臂基座坐标系之间的转换关系，确定控制机械臂运动的各关节角；再进一步的根据各所述关节点控制机械臂运动。
相应的，第二控制终端202在执行“根据机械臂末端坐标系和机械臂基座坐标系之间的转换关系，确定控制机械臂运动的各关节角度”的操作时，还需要获取主手101被触发进行运动时的运动参量，之后第二控制终端202即可具体执行：通过运动学逆解的方式，将运动参量代入机械臂末端坐标系和机械臂基座坐标系之间的转换关系，解算得到控制机械臂运动的各关节角度。
本实施例中，主手101被触发进行运动时，与主手101连接的第一控制终端102可以得到主手101运动时的运动参量，即主手101运动时主手101的末端相对于主手101的基座的移动方向和移动位置，例如，主手被医生操作执行水平方向的左右移动时，第一控制终端102可以得到主手101左右移动的方位和位移量，同时第一控制终端102将运动参量发送至第二控制终端202。当第二控制终端202获取到主手101的运动参量，以及机械臂末端坐标系和机械臂基座坐标系之间的转换关系时，由于机械臂基座坐标系是已知的坐标系，则第二控制终端202可以基于机械臂末端坐标系和机械臂基座坐标系之间的转换关系，以及机械臂基座坐标系得到机械臂末端坐标系，然后将从第一控制终端102上获取到的运动参量代入到机械臂末端坐标系得到机械臂的末端位姿，即控制机械臂达到的末端位姿，再通过机械臂的运动学逆解的方式根据机械臂的末端位姿解算得到控制机械臂运动的各关节角度，之后即可根据各关节角度控制机械臂运动，以使机械臂可以按照医生操作主手的运动执行相同运动。
在实际应用中，主控制子***中还包括导航设备103，如图9所示，导航设备103与第二控制终端202远程进行通信，导航设备103也可连接第一控制终端102。导航设备103与第一控制终端102放置于主控制室，以便医生查看。导航设备103的显示屏上显示从控制子***20中机械臂末端的运动信息。
当第二控制终端202控制机械臂201运动时，可以将机械臂201运动时机械臂末端的运动信息，比如，运动方向，运动位移等，发送至导航设备103，以指示导航设备103可以在显示界面上实时显示机械臂201的运动情况，以便医生查看控制机械臂201执行手术操作的过程。需要说明的是，显示坐标系可以为对象坐标系，即显示对象坐标系下机械臂201的运动信息。另外，本实施例中的导航设备103可以是一种专门用于显示机械臂运动信息的设备，其导航功能也可以集成到上述实施例中的第一控制终端102，即在第一控制终端102上显示机械臂201的运动信息，显示方法与导航设备103基本一致。
基于上述任一实施例所述的机械臂的远程控制***，本申请还提供了一种应用于上述远程控制***的机械臂的远程控制方法，如图10所示，该方法包括：
S401，第一控制终端在主手被触发进行预设运动时，构建主控制子***中的主手末端坐标系与主手基座坐标系之间的转换关系。
S402，第二控制终端根据主手末端坐标系与主手基座坐标系之间的转换关系和预定义的映射规则，构建从端控制子***中的机械臂末端坐标系和机械臂基座坐标系之间的转换关系，并根据机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂运动。
上述各步骤的说明与前述图1实施例的解释说明基本一致，详细内容请参见前述说明，此处不赘述。
综合上述所有实施例，提供了一种机械臂的远程控制方法，如图11所示，该方法的执行主体为第二控制终端，该方法包括：
S501，获取主控制子***中主手末端坐标系与主手基座坐标系之间的转换关系，以及获取用户操作主手的运动参量。
S502，根据从控制子***中追踪设备的手眼标定方法，获取追踪设备坐标系和机械臂基座坐标系之间的转换关系，以及追踪设备坐标系和对象坐标系之间的转换关系。
S503，根据追踪设备坐标系和机械臂基座坐标系之间的转换关系和追踪设备坐标系和对象坐标系之间的转换关系，确定机械臂基座坐标系和对象坐标系之间的转换关系。
S504，根据预定义的映射规则，将主手末端坐标系与主手基座坐标系之间的转换关系等同于从控制子***中机械臂末端坐标系和对象坐标系之间的转换关系，以获取机械臂末端坐标系和对象坐标系之间的转换关系。
S505，根据机械臂基座坐标系和对象坐标系之间的转换关系，以及机械臂末端坐标系和对象坐标系之间的转换关系，确定机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
S506，通过运动学逆解的方式，将运动参量代入机械臂末端坐标系和机械臂基座坐标系之间的转换关系，解算得到控制机械臂运动的各关节角度，并根据各关节角度控制机械臂运动。
上述各步骤的说明在前述均有说明，此处不赘述。
应该理解的是，虽然图10-11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图10-11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是上述的第一控制终端，其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种机械臂的远程控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
在所述主手被触发进行预设运动时，构建所述主控制子***中的主手末端坐标系与主手基座坐标系之间的转换关系；
将主手末端坐标系与主手基座坐标系之间的转换关系发送至第二控制终端。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
在所述主手被触发进行预设运动时，构建所述主控制子***中的主手末端坐标系与主手基座坐标系之间的转换关系；
将主手末端坐标系与主手基座坐标系之间的转换关系发送至第二控制终端。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是上述第二控制终端，其内部结构图可以如图13所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储从控制子***中各设备的坐标系数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机械臂的远程控制方法。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取主控制子***中主手末端坐标系与主手基座坐标系之间的转换关系，以及获取用户操作主手的运动参量。
根据从控制子***中追踪设备的手眼标定方法，获取追踪设备坐标系和机械臂基座坐标系之间的转换关系，以及追踪设备坐标系和对象坐标系之间的转换关系。
根据追踪设备坐标系和机械臂基座坐标系之间的转换关系和追踪设备坐标系和对象坐标系之间的转换关系，确定机械臂基座坐标系和对象坐标系之间的转换关系。
根据预定义的映射规则，将主手末端坐标系与主手基座坐标系之间的转换关系等同于从控制子***中机械臂末端坐标系和对象坐标系之间的转换关系，以获取机械臂末端坐标系和对象坐标系之间的转换关系。
根据机械臂基座坐标系和对象坐标系之间的转换关系，以及机械臂末端坐标系和对象坐标系之间的转换关系，确定机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
通过运动学逆解的方式，将运动参量代入机械臂末端坐标系和机械臂基座坐标系之间的转换关系，解算得到控制机械臂运动的各关节角度，并根据各关节角度控制机械臂运动。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取主控制子***中主手末端坐标系与主手基座坐标系之间的转换关系，以及获取用户操作主手的运动参量。
根据从控制子***中追踪设备的手眼标定方法，获取追踪设备坐标系和机械臂基座坐标系之间的转换关系，以及追踪设备坐标系和对象坐标系之间的转换关系。
根据追踪设备坐标系和机械臂基座坐标系之间的转换关系和追踪设备坐标系和对象坐标系之间的转换关系，确定机械臂基座坐标系和对象坐标系之间的转换关系。
根据预定义的映射规则，将主手末端坐标系与主手基座坐标系之间的转换关系等同于从控制子***中机械臂末端坐标系和对象坐标系之间的转换关系，以获取机械臂末端坐标系和对象坐标系之间的转换关系。
根据机械臂基座坐标系和对象坐标系之间的转换关系，以及机械臂末端坐标系和对象坐标系之间的转换关系，确定机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
通过运动学逆解的方式，将运动参量代入机械臂末端坐标系和机械臂基座坐标系之间的转换关系，解算得到控制机械臂运动的各关节角度，并根据各关节角度控制机械臂运动。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种机械臂的远程控制***，其特征在于，所述***包括：
主控制子***和从控制子***，所述主控制子***与所述从控制子***可以通过网络进行远程通信连接；其中，所述主控制子***包括主手和第一控制终端，所述从控制子***包括机械臂和第二控制终端；
所述第一控制终端用于在所述主手被触发进行运动时，构建所述主控制子***中的主手末端坐标系与主手基座坐标系之间的转换关系；
所述第二控制终端用于根据所述主手末端坐标系与主手基座坐标系之间的转换关系和预定义的映射规则，构建所述从控制子***中的机械臂末端坐标系和机械臂基座坐标系之间的转换关系，并根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂运动；其中，所述映射规则是指统一所述主手方位和对象方位之间的关系，所述对象是指所述机械臂操作的对象。
2.根据权利要求1所述的***，其特征在于，所述预定义的映射规则为将所述主控制子***中的主手基座坐标系的方位和所述从控制子***中的对象坐标系的方位定义一致的规则。
3.根据权利要求1或2所述的***，其特征在于，所述第二控制终端在执行所述构建所述从控制子***中的机械臂末端坐标系和机械臂基座坐标系之间的转换关系的操作时，具体执行：
根据所述预定义的映射规则，将所述主手末端坐标系与主手基座坐标系之间的转换关系等同于所述从控制子***中机械臂末端坐标系和对象坐标系之间的转换关系；
根据所述机械臂末端坐标系和对象坐标系之间的转换关系，构建所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
4.根据权利要求3所述的***，其特征在于，所述第二控制终端在执行所述构建所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系的操作时，具体执行：
根据所述从控制子***中追踪设备的手眼标定方法，构建追踪设备坐标系和机械臂基座坐标系之间的转换关系，以及追踪设备坐标系和对象坐标系之间的转换关系；
根据所述追踪设备坐标系和机械臂基座坐标系之间的转换关系、所述追踪设备坐标系和对象坐标系之间的转换关系、以及所述机械臂末端坐标系和对象坐标系之间的转换关系，构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
5.根据权利要求4所述的***，其特征在于，所述第二控制终端在执行所述根据所述追踪设备坐标系和机械臂基座坐标系之间的转换关系、所述追踪设备坐标系和对象坐标系之间的转换关系、以及所述机械臂末端坐标系和对象坐标系之间的转换关系，构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系的操作时，具体执行：
根据所述追踪设备坐标系和机械臂基座坐标系之间的转换关系和所述追踪设备坐标系和对象坐标系之间的转换关系，构建机械臂基座坐标系和对象坐标系之间的转换关系；
根据所述机械臂基座坐标系和对象坐标系之间的转换关系，以及所述机械臂末端坐标系和所述对象坐标系之间的转换关系，确定所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系。
6.根据权利要求1所述的***，其特征在于，所述根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂运动，包括：
根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，确定控制机械臂运动的各关节角度；
根据各所述关节角度控制所述机械臂运动。
7.根据权利要求6所述的***，其特征在于，所述第一控制终端还用于获取所述主手被触发进行运动时的运动参量；
所述第二控制终端在执行所述根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，确定控制机械臂运动的各关节角度的操作时，具体执行：
通过运动学逆解的方式，将所述运动参量代入所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，解算得到控制机械臂运动的各关节角度。
8.根据权利要求1所述的***，其特征在于，所述***还包括：导航设备，所述导航设备的显示屏上显示所述从控制子***中机械臂末端的运动信息。
9.根据权利要求1所述的***，其特征在于，所述从控制子***中包括机械臂基座、所述机械臂、追踪设备和对象手术台。
10.一种机械臂的远程控制方法，其特征在于，应用于如权利要求1-9中任一项所述的***，所述方法包括：
第一控制终端在主手被触发进行预设运动时，构建主手末端坐标系与主手基座坐标系之间的转换关系；
第二控制终端根据所述主手末端坐标系与主手基座坐标系之间的转换关系和预定义的映射规则，构建机械臂末端坐标系和机械臂基座坐标系之间的转换关系，并根据所述机械臂末端坐标系和机械臂基座坐标系之间的转换关系，控制机械臂运动；
其中，所述映射规则是指统一所述主手方位和对象方位之间的关系，所述对象是指所述机械臂操作的对象。
CN202111592152.1A 2021-12-23 2021-12-23 机械臂的远程控制***和方法 Active CN114211493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111592152.1A CN114211493B (zh) 2021-12-23 2021-12-23 机械臂的远程控制***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111592152.1A CN114211493B (zh) 2021-12-23 2021-12-23 机械臂的远程控制***和方法

Publications (2)

Publication Number Publication Date
CN114211493A CN114211493A (zh) 2022-03-22
CN114211493B true CN114211493B (zh) 2023-10-27

Family

ID=80705577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111592152.1A Active CN114211493B (zh) 2021-12-23 2021-12-23 机械臂的远程控制***和方法

Country Status (1)

Country Link
CN (1) CN114211493B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07328016A (ja) * 1994-06-14 1995-12-19 Olympus Optical Co Ltd 手術用マニピュレータシステム
JP2003181785A (ja) * 2001-12-20 2003-07-02 Yaskawa Electric Corp 遠隔操作装置
CN101160104A (zh) * 2005-02-22 2008-04-09 马科外科公司 触觉引导***及方法
CN101227870A (zh) * 2005-05-19 2008-07-23 直观外科手术公司 用于外科手术及其它应用的软件中心和高度可配置的机器人***
CN104440864A (zh) * 2014-12-04 2015-03-25 深圳先进技术研究院 一种主从式遥操作工业机器人***及其控制方法
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制***
CN107072724A (zh) * 2014-10-27 2017-08-18 直观外科手术操作公司 用于器械干扰补偿的***和方法
CN108214445A (zh) * 2018-01-24 2018-06-29 哈尔滨工业大学 一种基于ros的主从异构遥操作控制***
CN109195544A (zh) * 2016-07-14 2019-01-11 直观外科手术操作公司 计算机辅助式远程操作***中的次级器械控制
CN111459277A (zh) * 2020-04-01 2020-07-28 重庆大学 基于混合现实的机械臂遥操作***及交互界面构建方法
CN111515951A (zh) * 2020-04-29 2020-08-11 江苏集萃华科智能装备科技有限公司 机器人的遥操作***及遥操作控制方法
CN112959291A (zh) * 2021-04-14 2021-06-15 江西省智能产业技术创新研究院 一种全视角远程操作主从机器人手臂***
CN113814951A (zh) * 2021-08-16 2021-12-21 深拓科技（深圳）有限公司 一种主从机器人的控制方法、***及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424885B1 (en) * 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
CA2684475C (en) * 2007-04-16 2016-01-12 Neuroarm Surgical Ltd. Frame mapping and force feedback methods, devices and systems

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07328016A (ja) * 1994-06-14 1995-12-19 Olympus Optical Co Ltd 手術用マニピュレータシステム
JP2003181785A (ja) * 2001-12-20 2003-07-02 Yaskawa Electric Corp 遠隔操作装置
CN101160104A (zh) * 2005-02-22 2008-04-09 马科外科公司 触觉引导***及方法
CN101227870A (zh) * 2005-05-19 2008-07-23 直观外科手术公司 用于外科手术及其它应用的软件中心和高度可配置的机器人***
CN107072724A (zh) * 2014-10-27 2017-08-18 直观外科手术操作公司 用于器械干扰补偿的***和方法
CN104440864A (zh) * 2014-12-04 2015-03-25 深圳先进技术研究院 一种主从式遥操作工业机器人***及其控制方法
CN109195544A (zh) * 2016-07-14 2019-01-11 直观外科手术操作公司 计算机辅助式远程操作***中的次级器械控制
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制***
CN108214445A (zh) * 2018-01-24 2018-06-29 哈尔滨工业大学 一种基于ros的主从异构遥操作控制***
CN111459277A (zh) * 2020-04-01 2020-07-28 重庆大学 基于混合现实的机械臂遥操作***及交互界面构建方法
CN111515951A (zh) * 2020-04-29 2020-08-11 江苏集萃华科智能装备科技有限公司 机器人的遥操作***及遥操作控制方法
CN112959291A (zh) * 2021-04-14 2021-06-15 江西省智能产业技术创新研究院 一种全视角远程操作主从机器人手臂***
CN113814951A (zh) * 2021-08-16 2021-12-21 深拓科技（深圳）有限公司 一种主从机器人的控制方法、***及存储介质

Also Published As

Publication number Publication date
CN114211493A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN110876643B (zh) 医疗手术导航***及方法
US8355816B2 (en) Action teaching system and action teaching method
US20230000565A1 (en) Systems and methods for autonomous suturing
WO2017076886A1 (en) Determining a configuration of a medical robotic arm
US20150134113A1 (en) Method for operating a robot
WO2022141153A1 (zh) 超声定位穿刺***和存储介质
CN113143463B (zh) 一种手术导航装置、***、标定方法、介质及电子设备
EP3200719B1 (en) Determining a configuration of a medical robotic arm
CN113100944B (zh) 手术环境的构建方法、机器人控制方法和***
US20220366594A1 (en) Systems and methods for mitigating collision of a robotic system
CN114211493B (zh) 机械臂的远程控制***和方法
CN115703227A (zh) 机器人的控制方法、机器人以及计算机可读存储介质
US20230341932A1 (en) Two-way communication between head-mounted display and electroanatomic system
CN114952806B (zh) 约束运动控制方法、装置、***和电子设备
CN115670660A (zh) 标定方法、装置、手术机器人、电子设备及存储介质
CN113384347B (zh) 一种机器人标定方法、装置、设备及存储介质
CN215192074U (zh) 穿刺导航仪和穿刺导航***
CN114052915B (zh) 手术机器人定位精度的测试方法、***和模体
Chromý et al. Creating Three-Dimensional computer models using robotic manipulator and laser scanners
CN209916196U (zh) ***、扫描装置及手术定位***
CN118021443A (zh) 避障信息确定方法、装置、设备、***和存储介质
CN117773905A (zh) 手术机器人摆位方法、装置、上位机和手术机器人***
JP2004125637A (ja) 情報処理システムおよび方法、情報処理装置および方法、並びにプログラム
CN114052851A (zh) 穿刺导航仪、穿刺路径规划方法和穿刺导航***
JP2023017435A (ja) 教示データ修正装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant