CN117752424A - 柔性手术机器人的主从控制方法、装置、机器人及介质 - Google Patents
柔性手术机器人的主从控制方法、装置、机器人及介质 Download PDFInfo
- Publication number
- CN117752424A CN117752424A CN202311618916.9A CN202311618916A CN117752424A CN 117752424 A CN117752424 A CN 117752424A CN 202311618916 A CN202311618916 A CN 202311618916A CN 117752424 A CN117752424 A CN 117752424A
- Authority
- CN
- China
- Prior art keywords
- master
- slave control
- slave
- control mode
- operation end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000013507 mapping Methods 0.000 claims abstract description 137
- 230000033001 locomotion Effects 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000003860 storage Methods 0.000 claims description 20
- 238000005452 bending Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010008 shearing Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 241000084490 Esenbeckia delta Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000009297 electrocoagulation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本申请涉及一种柔性手术机器人的主从控制方法、装置、机器人及介质。其中,柔性手术机器人包括从操作端和控制从操作端运动的主操作端,该方法包括:在主操作端和从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取柔性手术机器人当前的第一工作环境数据;第一工作环境数据与至少第一部分关节相关;在第一工作环境数据满足第一模式切换条件的情况下,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式;其中,第一主从控制模式和第二主从控制模式是基于不同的主从控制映射方式。从而提高了整个手术操作过程的顺畅性和连贯性,提升了柔性手术机器人的主从控制体验。
Description
技术领域
本申请涉及医疗器械技术领域,尤其涉及一种柔性手术机器人的主从控制方法、装置、机器人及介质。
背景技术
相比于传统的刚性手术机器人,柔性手术机器人中的主控制端一般为刚性结构,而从控制端或器械通常是至少由多个可以弯曲(或单向弯曲、或多向弯曲、或任意向弯曲)、或旋转(沿轴线旋转)的柔性连续体组成,使得柔性手术机器人的主从控制的难度更大。
相关技术中,通常采用某种主从控制方式来统一执行手术机器人操作过程中涉及的全部主从控制,然而,该控制方式无法保证整个手术操作过程的顺畅性和连贯性,也带来了一定操作安全隐患。
发明内容
为了解决上述技术问题,本申请提供一种柔性手术机器人的主从控制方法、装置、机器人及介质。本申请解决了柔性器械的末端开合位置的精确控制的问题。
一方面,本申请提供一种柔性手术机器人的主从控制方法,所述柔性手术机器人包括从操作端和控制所述从操作端运动的主操作端,所述方法包括:
在所述主操作端和所述从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取所述柔性手术机器人当前的第一工作环境数据;所述第一工作环境数据与所述至少第一部分关节相关;
在所述第一工作环境数据满足第一模式切换条件的情况下,控制所述至少第一部分关节从所述第一主从控制模式切换至执行第二主从控制模式;
其中,所述第一主从控制模式和所述第二主从控制模式是基于不同的主从控制映射方式。
另一方面,本申请提供一种柔性手术机器人的主从控制装置,所述柔性手术机器人包括从操作端和控制所述从操作端运动的主操作端;所述装置包括:
第一获取模块,用于在所述主操作端和所述从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取所述柔性手术机器人当前的第一工作环境数据;所述第一工作环境数据与所述至少第一部分关节相关;
第一切换模块,用于在所述第一工作环境数据满足第一模式切换条件的情况下,控制所述至少第一部分关节从所述第一主从控制模式切换至执行第二主从控制模式;
其中,所述第一主从控制模式和所述第二主从控制模式是基于不同的主从控制映射方式。
另一方面,本申请提供一种柔性手术机器人,所述柔性手术机器人包括:
从操作端;
主操作端,用于控制所述从操作端运动;
处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现上述任一实施例的柔性手术机器人的主从控制方法。
另一方面,本申请提供一种计算机可读存储介质,存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现上述任一实施例的柔性手术机器人的主从控制方法。
本申请实施例提出的一种柔性手术机器人的主从控制方法、装置、机器人及介质,通过在柔性手术机器人当前的第一工作环境数据满足第一模式切换条件的情况下,对至少第一部分关节进行主从控制模式切换,以在主从控制过程中不局限于单一的主从控制模式,实现多种主从控制映射方式并存,提高整个手术操作过程的顺畅性和连贯性,提升了柔性手术机器人的主从控制体验。同时,由于不同主从控制方式对应不同的控制误差与干扰特征,通过切换控制方式可以避开某种主从控制方式的“盲区”,减少操作安全隐患,在一定程度上增强***的健壮性与稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图;
图1是根据一示例性实施例示出的一种手术机器人***的应用场景示意图;
图2是根据一示例性实施例示出的一种手术机器人***中从操作设备的结构的示意图;
图3是根据一示例性实施例示出的一种从操作设备中器械末端的部分结构示意图;
图4是根据一示例性实施例示出的一种柔性手术机器人的主从控制方法的流程示意图;
图5是根据一示例性实施例示出的另一种柔性手术机器人的主从控制方法的流程示意图;
图6是根据一示例性实施例示出的另一种柔性手术机器人的主从控制方法的流程示意图;
图7是根据一示例性实施例示出的一种基于关节角度映射的主从控制模式的控制过程的流程示意图;
图8a是根据一示例性实施例示出的一种柔性手术机器人的局部结构示意图;
图8b是根据一示例性实施例示出的一种柔性手术机器人涉及关节角度的结构示意图;
图8c是根据一示例性实施例示出的一种柔性手术机器人的等效结构示意图;
图9是根据一示例性实施例示出的一种基于笛卡尔位姿映射的主从控制模式的控制过程的流程示意图;
图10是根据一示例性实施例示出的一种柔性手术机器人的简化结构示意图;
图11是根据一示例性实施例示出的另一种柔性手术机器人的主从控制方法的流程示意图;
图12是根据一示例性实施例示出的一种柔性手术机器人的主从控制装置框图;
图13是根据一示例性实施例提供的一种柔性手术机器人的主从控制方法的电子设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本申请实施例公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请实施例,并不用于限定本申请实施例。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
图1示出了一种手术机器人***的应用场景示意图。本实施例的手术机器人***包括主操作设备100(即控制装置)、由主操作设备100控制的从操作设备200(即手术机器人)。
主操作设备100具有控制输入设备,其能够根据操作者的手部和/或脚部的动作向从操作设备200发送控制命令,以驱动调整从操作设备200的机械臂组件210的姿态,以及驱动机械臂组件210的执行器械执行相应的操作。
如图2和图3所示,从操作设备200具有用于执行手术动作的机械臂组件210、用于根据控制命令驱动机械臂组件210的驱动装置220,以及用于支撑驱动装置220的基座230,其中,机械臂组件210包括至少一个柔性机械臂211,每个柔性机械臂211的末端可以装载执行不同或相同手术操作的执行器械,执行器械可执行的手术操作包括但不限于夹、切、剪、缝合、电切或电凝等。例如,执行器械可以是包括但不限于持针钳类、剪类、抓持器类、施夹钳类的任一种。而持针钳类器械一般用于实现夹持、缝合、打结等操作,剪类器械一般用于实现剪线、解剖、切割等操作,抓持器类器械一般用于实现抓持、牵拉等操作,施夹钳类器械一般用于配合结扎夹进行结扎。
可选地,继续如图1所示,手术机器人***还包括图像设备400,图像设备400用于获取内窥镜所拍摄的腔内(指患者的体腔内)的术野图像,进而对术野图像进行图像化处理,并传输至图像设备400的第一显示装置和/或主操作设备100的第二显示装置(图中未示出)进行显示,以便于操作者观察到术野图像。术野图像包括但不限于执行器械的类型、数量、在体腔内的位置和姿态,需要进行操作的目标器官组织以及周围血管的形态等等。进一步的,从操作设备200的机械臂组件210中的一个柔性机械臂211还可以装载用于辅助采集术野内图像的内窥镜,进而可以通过第一显示装置和/或第二显示装置显示。需理解的,图像设备400所显示的图像,可以是二维或三维的图像。内窥镜可包括用于手术的各种内窥镜,诸如胸腔镜、关节镜和鼻镜等。
可选地,手术机器人***还包括用于支撑手术对象进行手术的支撑设备300(例如,手术床),支撑设备300也根据手术类型可替换为其它的手术平台,本实施例对此不限。
需要说明的是,图1至图3仅仅是一种示例。手术机器人***不限于上述各图所示的设备结构或数量,在其他应用场景中可以进行相应的调整,例如增加或删减图1中的设备,调整设备或部件的数量,或者调整设备或组件的结构等。
相比于传统的刚性手术机器人,柔性手术机器人中的主控制端一般为刚性结构,而从控制端或器械通常是至少由多个可以弯曲(或单向弯曲、或多向弯曲、或任意向弯曲)、或旋转(沿轴线旋转)的柔性连续体组成,使得柔性手术机器人的主从控制的难度更大。
在相关技术中,通常采用某种主从控制方式来统一执行手术机器人操作过程中涉及的全部主从控制。例如,采用笛卡尔位姿映射的控制方式,即主控制端的末端笛卡尔空间位姿变化,会以一定的映射方式,同步反映为从控制端的末端笛卡尔空间位姿变化。因主从构型的差异,在使用刚性的主控制端全程采用笛卡尔位姿映射的控制方式对柔性的从控制端进行控制时,小幅度的主控制端的末端空间位姿变化可能对应着从控制端个别或全部连续体的大幅度弯曲或旋转变化,或对从控制端的制动装置的性能、从控制端的传动性能均带来一定要求,或难以保证操作体验的连续性。因此,现有的控制方式无法保证整个手术操作过程的顺畅性和连贯性,也带来了一定的操作安全隐患。
有鉴于此,本申请实施例提供了一种柔性手术机器人的主从控制方法、装置、机器人及介质,柔性手术机器人包括从操作端和控制从操作端运动的主操作端,在主操作端和从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取柔性手术机器人当前的第一工作环境数据;第一工作环境数据与至少第一部分关节相关;在第一工作环境数据满足第一模式切换条件的情况下,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式;其中,第一主从控制模式和第二主从控制模式是基于不同的主从控制映射方式。从而通过在柔性手术机器人当前的第一工作环境数据满足第一模式切换条件的情况下,对至少第一部分关节进行主从控制模式切换,以在主从控制过程中不局限于单一的主从控制模式,实现多种主从控制映射方式并存,提高整个手术操作过程的顺畅性和连贯性,提升了柔性手术机器人的主从控制体验。同时,由于不同主从控制方式对应不同的控制误差与干扰特征,通过切换控制方式可以避开某种主从控制方式的“盲区”,减少操作安全隐患,在一定程度上增强***的健壮性与稳定性。
本申请实施例提供一种柔性手术机器人的主从控制方法。下面进一步介绍应用于图1的一种柔性手术机器人的主从控制方法的具体工作流程。
图4是根据一示例性实施例示出的一种柔性手术机器人的主从控制方法的流程示意图。如图4所示,柔性手术机器人包括从操作端和控制从操作端运动的主操作端。该从操作端至少包括能够弯曲或旋转的柔性连续体。从操作端的数量可以为一个或多个。主操作端与其中一个从操作端能够构成一个执行主从控制的操作部。主操作端能够在外力的驱动下,通过连接的关节带动与相应的从操作端执行相应的操作。在从操作端为多个的情况下,不同的主操作端能够通过关节带动关联的从操作端执行相应的操作。该方法包括:
S401:在主操作端和从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取柔性手术机器人当前的第一工作环境数据;第一工作环境数据与至少第一部分关节相关;
S403:在第一工作环境数据满足第一模式切换条件的情况下,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。
其中,第一工作环境数据可以是指柔性手术机器人中的至少第一部分关节执行第一主从控制模式过程中的当前环境数据。该第一工作环境数据与至少第一部分关节相关。该至少第一部分关节是柔性手上机器人中用于执行主从控制的各操作部对应的关节中的至少一个关节或全部关节。该至少第一部分关节对应的操作部均执行相同的第一主从控制模式。
可选地,该第一工作环境数据可以包括用于表征柔性手术机器人当前所在状态的***状态数据、用于表征柔性手术机器人中相关部件的位姿和/或运动属性的传感器数据、以及用于表征柔性手术机器人中相关部件的空间状态的图像采集数据中的一种或多种。
示例性的,***状态数据可以包括但不限于准备状态数据、手术中状态数据、位置移动状态数据等一种或多种。传感器数据包括但不限于传感器检测到的位姿、速度、加速度等一种或多种。图像采集数据包括但不限于采集的环境图像数据等。
第一模式切换条件是指从第一主从控制模式切换至第二主从控制模式的触发条件。第一主从控制模式和第二主从控制模式是基于不同的主从控制映射方式。其中,第一主从控制模式和第二主从控制模式可以是指适配手术机器人的主从控制模式。
可选地,在第一主从控制模式和第二主从控制模式中,两者择一为基于笛卡尔位姿映射的主从控制模式,另一为基于关节角度映射的主从控制模式。其中,基于笛卡尔位姿映射的主从控制方式,即主控制端的末端笛卡尔空间位姿变化,会以一定的映射方式,同步反映为从控制端的末端笛卡尔空间位姿变化。该笛卡尔位姿包括笛卡尔位置和笛卡尔姿态,即同时控制笛卡尔位置和笛卡尔姿态。基于关节角度映射的主从控制模式,即主控制端的关节角度变化,会以一定的映射方式,同步反映为从控制端的关节角度(即连续体的旋转、弯曲)变化。
在实际应用中,柔性手术机器人的操作者通过操纵主操作端,控制从操作端的运动,即柔性手术机器人进入主从控制模式。柔性手术机器人的控制模式可以是单一控制模式或混合控制模式,例如该单一控制模式可以是指进行主从控制模式的全部关节均为基于笛卡尔位姿映射的主从控制模式或者基于关节角度映射的主从控制模式;而混合控制模式可以是指进行主从控制模式的部分关节均为基于笛卡尔位姿映射的主从控制模式,而另一部分关节是基于关节角度映射的主从控制模式。
接着,在主操作端和从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取柔性手术机器人当前且与至少第一部分关节相关的第一工作环境数据。在第一工作环境数据指示不满足第一模式切换条件的情况下,控制至少第一部分关节保持执行第一主从控制模式。在第一工作环境数据指示满足第一模式切换条件的情况下,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。
需要说明的是,在主从控制过程中,不限于从第一主从控制模式切换至第二主从控制模式,还可以在切换至第二主从控制模式之后,可以从第二主从控制模式切换至第一主从控制模式。当然,在主从控制过程中,不限于第一主从控制模式、第二主从控制模式,还可以适用于包括其他适配的主从控制模式。
上述实施例,通过在柔性手术机器人当前的第一工作环境数据满足第一模式切换条件的情况下,对至少第一部分关节进行主从控制模式切换,以在主从控制过程中不局限于单一的主从控制模式,实现多种的主从控制映射方式并存,提高整个手术操作过程的顺畅性和连贯性,提升了柔性手术机器人的主从控制体验。同时,由于不同主从控制方式对应不同的控制误差与干扰特征,通过切换控制方式可以避开某种主从控制方式的“盲区”,减少操作安全隐患,在一定程度上增强***的健壮性与稳定性。
在一可选实施方式中,如图5所示,在第一工作环境数据满足第一模式切换条件的情况下,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式之前,方法还包括:
S501:判断第一工作环境数据是否满足第一模式切换条件。
其中,第一模式切换条件可以与第一主从控制模式的模式类型以及第一工作环境数据对应的工作场景相关。示例性的,该模式类型可以包括但不限于笛卡尔位姿映射类型、关节角度映射类型等。该工作场景可以包括但不限于基于笛卡尔位姿映射进行模式切换的场景、基于关节角度映射进行模式切换的场景。
可选地,在获取柔性手术机器人当前的第一工作环境数据后,可以先判断第一工作环境数据是否满足第一模式切换条件,若确定第一工作环境数据满足该第一模式切换条件,则执行控制模式的切换步骤,即控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。若确定第一工作环境数据不满足该第一模式切换条件,则可以无需执行控制模式的切换步骤,保持该第一部分关节执行第一主从控制模式不变。
具体地,判断第一工作环境数据是否满足第一模式切换条件,即可以判断工作场景是否适于模式切换的方式可以包括但不限于:
1)基于***状态数据对应的***自身状态,如部分***状态下采用笛卡尔位姿映射控制,在部分***状态下采用关节映射控制,例如***状态1:将柔性器械移动到合适开展手术的姿态,可以采用关节映射控制;***状态2:执行手术,可以采用笛卡尔位置映射控制;在切换***状态时可以同步进行控制模式的切换。
2)基于传感器数据,如结合从操作端的关节角度与机器人前向运动学算法,或结合摄像头与机器视觉算法获得的图像采集数据,或通过磁传感器,获取从控制端末端器械的笛卡尔空间位姿,如判断其当前位姿在工作空间的边界附近且需离开边界,但通过笛卡尔位姿映射的主从控制模式难以通过直观的方式找到合适的离开边界的控制角度,可以切换到关节映射的主从控制模式,方便使用者控制从控制端离开边界。
作为一种替换实施方式,第一模式切换条件可以是基于人工操作触发的条件,例如包括但不限于按下与模式切换相关的实体按钮、界面上的虚拟按钮、识别到与模式切换相关的切换语音、传感器感应等。
上述实施例,通过将两种主从控制方法相结合,基于具体工作场景进行切换的主从控制方法,以最大程度保留各自的优点的同时,减小各自缺陷带来的影响,提升***的稳定性。
在一可选实施方式中,在第一主从控制模式为基于笛卡尔位姿映射的主从控制模式,且第二主从控制模式为基于关节角度映射的主从控制模式的情况下,第一模式切换条件包括但不限于以下至少一种:
主操作端控制从操作端对应关节执行弯曲运动;
主操作端控制从操作端对应关节执行旋转运动;
主操作端控制从操作端对应关节所带器械执行弯曲运动;
主操作端控制从操作端对应关节所带器械执行旋转运动;
主操作端控制从操作端离开工作空间的边界至工作空间的核心区域。
可选地,适用于从笛卡尔位姿映射到关节角度映射的第一模式切换条件,例如该模式切换条件对应的工作场景可以包括但不限于以下至少一种:1)主操作端控制从操作端对应关节执行弯曲运动,例如用主控制端控制从控制端的弯曲;2)主操作端控制从操作端对应关节执行旋转运动,例如用主控制端控制从控制端的旋转;3)主操作端控制从操作端对应关节所带器械执行弯曲运动,例如用主控制端控制从控制端所带器械的弯曲;4)主操作端控制从操作端对应关节所带器械执行旋转运动,例如用主控制端控制从控制端所带器械的旋转;5)主操作端控制从操作端离开工作空间的边界至工作空间的核心区域,例如控制从控制端从其运动范围边界回到工作空间的核心区域等。
上述实施例,基于确定从基于笛卡尔位姿映射的主从控制模式,切换至基于关节角度映射的主从控制模式的具体第一模式切换条件,来执行相应的模式切换操作,利于在满足任一第一模式切换条件的实际应用场景下进行快速地执行主从模式切换,减少主从模式切换的计算量,提高模式切换的响应速率。
在一可选实施方式中,在第一主从控制模式为基于关节角度映射的主从控制模式,且第二主从控制模式为基于笛卡尔位姿映射的主从控制模式的情况下,第一模式切换条件包括但不限于以下至少一种:
主操作端控制从操作端对应关节所带器械执行剥离或分离操作;
主操作端控制从操作端对应关节或所带器械执行障碍规避操作;
在保持从操作端末端姿态不变的情形下移动主操作端。
可选地,适用于从关节角度映射到笛卡尔位姿映射的第一模式切换条件,例如该模式切换条件对应的工作场景可以包括但不限于以下至少一种:1)主操作端控制从操作端对应关节所带器械执行剥离或分离操作,例如控制从控制端所带器械执行剥离、分离等精细操作;2)主操作端控制从操作端对应关节或所带器械执行障碍规避操作,例如控制从控制端或其所带器械执行障碍规避操作;3)在保持从操作端末端姿态不变的情形下移动主操作端,例如在保持从控制端末端姿态不变的情形下移动主控制端等。
上述实施例,基于确定从基于关节角度映射的主从控制模式,切换至基于笛卡尔位姿映射的主从控制模式的具体第一模式切换条件,来执行相应的模式切换操作,利于在满足任一第一模式切换条件的实际应用场景下进行快速地执行主从模式切换,减少主从模式切换的计算量,提高模式切换的响应速率。
在一可选实施方式中,如图6所示,在第一工作环境数据满足第一模式切换条件的情况下,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式包括:
S601:在第一工作环境数据满足第一模式切换条件的情况下,生成切换控制指令;
S603:响应于针对切换控制指令的触发操作,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。
可选地,在判定第一工作环境数据满足第一模式切换条件的情况下,即判定外界场景满足模式切换时,生成切换控制指令,该切换控制指令用于提示可以执行切换控制操作。该切换控制指令可以通过语音、文字、信号灯的形式反映给操作者。在接收到针对切换控制指令的触发操作,例如针对切换控制指令的例如触控虚拟按键或实体按钮、旋转按钮等形式的操作,通过响应于该触发操作执行模式切换,即控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。
上述实施例,在第一工作环境数据满足第一模式切换条件的情况下,先生成切换控制指令,再基于针对切换控制指令的触发操作,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式,从而在主从控制模式中增加人工操作控制的权限,进一步提高主从控制模式切换的准确性,避免模式切换判断失误,提高手术操作安全性。
在一可选实施方式中,如图7所示,在第二主从控制模式为基于关节角度映射的主从控制模式,方法还包括:
S701:获取至少第一部分关节对应的主操作端结构和从操作端结构;
S703:获取用于执行主从控制的控制需求量;
S705:基于主操作端结构、从操作端结构和控制需求量,确定主从控制之间的映射关系;
S707:获取主操作端在第二主从控制模式下的源控制量,并基于源控制量和映射关系,确定从操作端对应部件的目标控制量;
S709:基于目标控制量,控制从操作端执行相应的运动。
可选地,在第二主从控制模式为基于关节角度映射的主从控制模式,后续通过关节角度映射进行主从控制模式。此时,可以获取至少第一部分关节对应的主操作端结构和从操作端结构、以及用于执行主从控制的控制需求量,确定主从控制之间的映射关系。接着,获取主操作端在第二主从控制模式下的源控制量,并基于源控制量和映射关系,确定从操作端对应部件的目标控制量,进而基于该目标控制量,控制从操作端执行相应的运动。如此,基于主操作端结构、从操作端结构和控制需求量,灵活确定基于关节角度映射的主从控制之间的映射关系以及对应的目标控制量,从而提高主从控制效率和响应及时性,进一步提高手术操作安全性。
如图8a、图8b和图8c所示,下面以柔性手术机器人包括由可径向弯曲、轴向旋转的柔性管构成的柔性连续体为例进行说明。
定义该柔性连续体的长度为l、弯曲角度为θ和旋转角度为φ。以沿连续体轴向、从其基座到其末端的方向为Y轴正向,弯曲所绕轴向为X轴正向,该柔性连续体的末端的笛卡尔空间位置为:
(1)在第二主从控制模式为基于关节角度映射的主从控制模式的情况下,考虑一个由N个柔性连续体构成的从控制端,单个连续体有2个自由度。
假定主控制端的每个关节只有一个自由度,主控制端可以采用有2N个自由度的刚性连杆机构对其进行基于关节角度映射的控制。
示例性的,该基于关节角度映射的主从控制模式,其输入(即源控制量)可以为刚性连杆机构各个连续体的关节角度,即εin=(q1,q2,…,q2N),其输出(即目标控制量)为柔性机构各个连续体的弯曲、旋转角度,即εout=(φ1,θ1,φ2,θ2,…,φN,θN)。其中,关节角度可以通过安装关节编码器采集数据的方式获得。
另一示例性的,该基于关节角度映射的控制方式,其输入(即源控制量)也可以为刚性连杆机构各个连续体的关节角度的增量,即εin=(Δq1,Δq2,…,Δq2N);其输出(即目标控制量)为柔性机构各个连续体的弯曲、旋转角度的增量,即εout=(Δφ1,Δθ1,Δφ2,Δθ2,…,ΔφN,ΔθN)。其中,关节角度的增量可以通过安装关节编码器采集数据,并用当前周期编码器值与上一周期编码值做差的方式获得。
εin与εout的映射关系为函数运算,即主从控制之间的映射关系为:
εout=f(εin)
该主从控制之间的映射关系,可以是等比例映射,即φ1=kq1,θ2=kq2,…,θN=kq2N,其中,k为一固定常数。
该主从控制之间的映射关系,可以是非时变的线性映射,即:
εout=Aεin
其中,A为与时间无关的常数矩阵。
该主从控制之间的映射关系,也可以是其他类型的,例如时变的、非线性的。
在实际应用中,具体采用哪种主从控制之间的映射关系,与主控制端结构、从控制端结构、实际的控制需求等相关。如主控制端为串联连杆机构,从控制端为串联的柔性体,采用角度增量映射的方式,其映射关系可以采用等比例映射方式,比例可为基于主手的工作空间与从手的工作空间确定的一个定值;亦可为操作者基于其操作体验自行设定的一个在合理范围的自定义值;亦可为跟随实际操作场景动态变化的一个时变的动态值,如在手术中该值适当减小,提升控制端末端器械的控制精度;非手术状态下该值适当增大,减小手术准备时间;如从控制端运动到了工作空间的边界附近,该值可适当减小,提升手术安全性。如主控制端为并联机构,从控制端为串联的柔性体,采用关节角度映射时,因主操作端的部分关节角度间有耦合关系,此时应采用基于常数矩阵的映射,此时A即为该并联机构的解耦矩阵,将解耦后的角度或角度增量映射到从控制端。
可选地,从控制端可以为部分柔性、部分刚性的混合结构,该控制方法适用于用主控制端的全部或部分关节控制从控制端的柔性部分。
可选地,主控制端的刚性连杆机构可以有冗余结构,该控制方式亦适用于无驱动的被动关节。
可选地,输入(即源控制量)亦可以为混合输入,即部分关节的输入为关节角度,部分为关节角度增量。
在一可选实施方式中,在第二主从控制模式为基于笛卡尔位姿映射的主从控制模式,方法还包括:
S901:获取从操作端当前的自由度;自由度小于或等于笛卡尔空间的最大自由度;
S903:确定主从控制之间的映射关系;
S905:获取主操作端的末端在第二主从控制模式下的源控制量;源控制量的位姿参数量与自由度的数量相匹配;
S907:基于源控制量和映射关系,确定从操作端对应部件的目标控制量;
S909:基于目标控制量,控制从操作端执行相应的运动。
可选地,在第二主从控制模式为基于笛卡尔位姿映射的主从控制模式,后续通过笛卡尔位姿映射进行主从控制模式。此时,可以获取从操作端当前的自由度,该自由度小于或等于笛卡尔空间的最大自由度;以及确定主从控制之间的映射关系;获取主操作端的末端在第二主从控制模式下的源控制量;源控制量的位姿参数量与自由度的数量相匹配;基于源控制量和映射关系,确定从操作端对应部件的目标控制量;进而基于该目标控制量,控制从操作端执行相应的运动。如此,基于从操作端当前的自由度和主从控制之间的映射关,灵活确定基于笛卡尔位姿映射的主从控制中从操作端对应部件的目标控制量,从而提高主从控制效率和响应及时性,进一步提高手术操作安全性。
如图8a和图10所示的,下面继续以柔性手术机器人包括由可径向弯曲、轴向旋转的柔性管构成的柔性连续体为例进行说明。
一般地,笛卡尔空间有6个自由度,主控制端可以采用至少有6个自由度的刚性连杆机构对其进行基于笛卡尔空间位姿的控制。
示例性的,该基于笛卡尔位姿映射的控制方式,其输入(即源控制量)可以为主控制端末端的笛卡尔空间位姿,即εin=(pm,Rm),pm为主控制端末端相对于某一坐标系的空间位移,Rm为主控制端末端相对于某一坐标系的空间旋转;输出(即目标控制量)为柔性机构末端的笛卡尔空间位姿,即δout=(ps,Rs),ps为从控制端末端相对于同一坐标系的空间位移,Rs为主控制端末端相对于同一坐标系的空间旋转。
其中,获得主控制端末端的笛卡尔空间位姿的方式可以包括但不限于:由关节编码器采集关节位置,再经过正运动学计算末端位姿,即(pm,Rm)=f(q);通过深度相机,或结合空间锚点,或结合机器视觉算法,识别主控制端末端的位姿。
其中,获得从控制端末端的笛卡尔空间位姿的方式可以包括但不限于:由电机编码器采集电机位置,先换算到柔性体的工作空间,再经过正运动学计算末端位姿,即(pm,Rm)=f(q);通过磁传感器直接测量从控制端末端的位姿。
另一示例性的,该基于笛卡尔位姿映射的控制方式,其输入(即源控制量)可以为刚性连杆机构末端的笛卡尔空间位姿的相对增量,即εin=(Δpm,ΔRm),Δpm为主控制端末端相对于某一坐标系的空间位移增量,ΔRm为主控制端末端相对于某一坐标系的空间旋转增量,该增量可以通过空间角、四元数等方式表示;其输出(即目标控制量)为柔性机构末端的笛卡尔空间位姿的相对增量,即εout=(Δps,ΔRs),Δps为从控制端末端相对于某一坐标系的空间位移增量,ΔRs为从控制端末端相对于某一坐标系的空间旋转增量。
εin与εout的映射关系为自定义的函数运算,即主从控制之间的映射关系为:
εout=f(εin)
该主从控制之间的映射关系,可以是等比例映射,即
Δps=kΔpm,ΔRs=kΔRm
其中,k为一固定常数。
该主从控制之间的映射关系,亦可以是上述在基于关节角度映射的控制方式所述的其他映射方式。
其中,该笛卡尔空间位姿映射可以只包括位置映射或者姿态映射,或者部分位置映射,或部分姿态映射,以等比例映射为例,该映射关系可以为如下映射方式:
Δps=kΔpm,ΔRs=0
或
Δps=0,ΔRs=kΔRm
若无需控制所有自由度或出于冗余、安全、使用舒适性等因素的考虑,主控制端具体的自由度个数亦可有相应变更。
可选地,如果从控制端的自由度少于笛卡尔空间自由度6,在进行关节角度映射控制时,部分主控制端的关节可以处于锁定的状态,剩下的可活动关节用于实现关节角度映射。
在一可选实施方式中,方法还包括:
在主操作端和从操作端中的至少第二部分关节执行第二主从控制模式的过程中,获取柔性手术机器人当前的第二工作环境数据;第二工作环境数据与至少第二部分关节相关;
在第二工作环境数据满足第二模式切换条件的情况下,控制至少第二部分关节从第二主从控制模式切换至执行第一主从控制模式。
可选地,在混合控制模式下,除了上述对至少第一部分关节执行相应的模式切换,还可以对除第一部分关节之外的至少第二部分关节执行差异化的模式切换。该第二部分关节与第一部分关节当前的主从控制模式的模式类型不同。
该混合控制模式,即部分主、从操作端的关节采用关节映射控制,部分采用笛卡尔位姿映射控制。例如从操作端的柔性连续体采用关节映射控制,而从操作端末端器械的笛卡尔姿态(非位置)采用笛卡尔映射控制。此时的控制模式切换,可以指对从操作端的柔性连续体的控制模式进行切换,如从关节映射控制切换到笛卡尔位姿映射控制;亦可指对从操作端末端器械的控制模式进行切换,如从笛卡尔姿态映射控制切换到关节映射控制,亦可指两处同时切换。
在主操作端和从操作端中的至少第二部分关节执行第二主从控制模式的过程中,获取柔性手术机器人当前的第二工作环境数据;第二工作环境数据与至少第二部分关节相关。在第二工作环境数据满足第二模式切换条件的情况下,控制至少第二部分关节从第二主从控制模式切换至执行第一主从控制模式。该第二工作环境数据与第一工作环境数据类似,第二模式切换条件与上述第一模式切换条件类似,在此不再赘述。
上述实施例,通过对同一柔性手术机器人中的第二部分关节执行与第一部分关节不同的主从模式切换控制,实现混合模式切换控制,便于针对同一柔性手术机器人中不同的关节执行差异化控制,提高主从控制的灵活性和精准性。
图11是根据一示例性实施例示出的另一种柔性手术机器人的主从控制方法的流程示意图。
S1101:在主操作端和从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取柔性手术机器人当前的第一工作环境数据;第一工作环境数据与至少第一部分关节相关。
S1103:调用经训练的模式切换判断模型,对第一工作环境数据进行处理,输出第一工作环境数据是否满足第一模式切换条件的判断结果;
其中,模式切换判断模型是基于工作环境样本数据进行训练得到,工作环境样本数据包括用于表征柔性手术机器人当前所在状态的***状态样本数据、用于表征柔性手术机器人中相关部件的位姿和/或运动属性的传感器样本数据、以及用于表征柔性手术机器人中相关部件的空间状态的图像采集样本数据中的一种或多种。
在实际应用中,模式切换判断模型可以通过采集工作环境样本数据训练得到。该工作环境样本数据标记了控制模式。该工作环境样本数据可以是传感器数据,例如包括以下一种或多种:1)用于表征柔性手术机器人当前所在状态的***状态样本数据,例如***当前所在状态(如手术中,手术准备,移动从控制端至手术位置等状态)等;2)用于表征柔性手术机器人中相关部件的位姿和/或运动属性的传感器样本数据,例如主控制端、从控制端各个关节的编码器采集的关节角度、关节速度、关节加速度,各个电机的输入指令、输出力矩;3)用于表征柔性手术机器人中相关部件的空间状态的图像采集样本数据,例如摄像机采集的主控制端、从控制端、器械、手术对象间的相对位姿关系。
该模式切换判断模型也可以是在仿真环境或简化的工作环境,通过如强化学习的方法,自主学习各种工作场景下对应的控制模式的模式切换策略。
在训练好模式切换判断模型,通过该模式切换判断模型来对第一工作环境数据进行处理,由经训练后的模式切换判断模型自行判断是否触发该条件,输出第一工作环境数据是否满足第一模式切换条件的判断结果。该第一工作环境数据可以是实时采集的传感器数据。
示例性的,该第一模式切换条件可以是从控制端运动到了工作空间的边界,需要从笛卡尔空间映射切换到关节角度映射控制控制。该第一模式切换条件可以是从控制端运动到了适宜手术的位置,需要从关节角度映射控制切换到笛卡尔空间映射控制。该第一模式切换条件可以是手术已完成,需要从笛卡尔空间映射控制切换为关节角度映射控制等。具体的第一模式切换条件应是多个判断条件的集合,其内容可以由柔性手术机器人的手术流程、手术场景等决定。
S1105:在第一工作环境数据满足第一模式切换条件的情况下,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。
可选地,在判断结果指示第一工作环境数据满足第一模式切换条件的情况下,即模型判断可切换控制模式,触发进行模式切换。接着,可以给予用户提示信息,如用户接受该建议,则执行针对模式切换操作的触发操作,例如触控执行模式切换的虚拟按键或实体按钮、旋转按钮等形式的操作。响应于用户执行针对模式切换操作的触发操作后,才控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。或者,可以不给用户提示信息,自行切换控制模式,即控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。例如模式切换发生在***状态切换过程中,此时主控制端处于位置保持的状态,自行切换控制模式不会影响用户的使用体验。或者可以给用户提示信息,在用户执行相应的触发操作后,例如触控虚拟按键或实体按钮、旋转按钮等形式的操作,才控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。
上述实施例,通过经训练的模式切换判断模型,对第一工作环境数据进行处理,输出第一工作环境数据是否满足第一模式切换条件的判断结果,且在柔性手术机器人当前的第一工作环境数据满足第一模式切换条件的情况下,对至少第一部分关节进行主从控制模式切换,以在主从控制过程中不局限于单一的主从控制模式,实现多种的主从控制映射方式并存,简化了模式切换条件的判断复杂度,也加快主从控制过程中的处理效率。此外,还提高了整个手术操作过程的顺畅性和连贯性,提升了柔性手术机器人的主从控制体验。同时,由于不同主从控制方式对应不同的控制误差与干扰特征,通过切换控制方式可以避开某种主从控制方式的“盲区”,减少操作安全隐患,在一定程度上增强***的健壮性与稳定性。
本申请实施例还提供了一种柔性手术机器人的主从控制装置。图12是根据一示例性实施例示出的一种柔性手术机器人的主从控制装置框图。柔性手术机器人包括从操作端和控制从操作端运动的主操作端,如图12所示,柔性手术机器人的主从控制装置可以至少包括:
第一获取模块1210,用于在主操作端和从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取柔性手术机器人当前的第一工作环境数据;第一工作环境数据与至少第一部分关节相关;
第一切换模块1220,用于在第一工作环境数据满足第一模式切换条件的情况下,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式;
其中,第一主从控制模式和第二主从控制模式是基于不同的主从控制映射方式。
在一可选实施方式中,在第一主从控制模式和第二主从控制模式中,两者择一为基于笛卡尔位姿映射的主从控制模式,另一为基于关节角度映射的主从控制模式。
在一可选实施方式中,第一工作环境数据包括用于表征柔性手术机器人当前所在状态的***状态数据、用于表征柔性手术机器人中相关部件的位姿和/或运动属性的传感器数据、以及用于表征柔性手术机器人中相关部件的空间状态的图像采集数据中的一种或多种。
在一可选实施方式中,装置还包括:
判断模块,用于判断第一工作环境数据是否满足第一模式切换条件;
其中,第一模式切换条件与第一主从控制模式的模式类型以及第一工作环境数据对应的工作场景相关。
在一可选实施方式中,在第一主从控制模式为基于笛卡尔位姿映射的主从控制模式,且第二主从控制模式为基于关节角度映射的主从控制模式的情况下,第一模式切换条件包括以下至少一种:
主操作端控制从操作端对应关节执行弯曲运动;
主操作端控制从操作端对应关节执行旋转运动;
主操作端控制从操作端对应关节所带器械执行弯曲运动;
主操作端控制从操作端对应关节所带器械执行旋转运动;
主操作端控制从操作端离开工作空间的边界至工作空间的核心区域。
在一可选实施方式中,在第一主从控制模式为基于关节角度映射的主从控制模式,且第二主从控制模式为基于笛卡尔位姿映射的主从控制模式的情况下,第一模式切换条件包括以下至少一种:
主操作端控制从操作端对应关节所带器械执行剥离或分离操作;
主操作端控制从操作端对应关节或所带器械执行障碍规避操作;
在保持从操作端末端姿态不变的情形下移动主操作端。
在一可选实施方式中,装置还包括:
模型处理模块,用于调用经训练的模式切换判断模型,对第一工作环境数据进行处理,输出第一工作环境数据是否满足第一模式切换条件的判断结果;
其中,模式切换判断模型是基于工作环境样本数据进行训练得到,工作环境样本数据包括用于表征柔性手术机器人当前所在状态的***状态样本数据、用于表征柔性手术机器人中相关部件的位姿和/或运动属性的传感器样本数据、以及用于表征柔性手术机器人中相关部件的空间状态的图像采集样本数据中的一种或多种。
在一可选实施方式中,第一切换模块还用于:
在第一工作环境数据满足第一模式切换条件的情况下,生成切换控制指令;
响应于针对切换控制指令的触发操作,控制至少第一部分关节从第一主从控制模式切换至执行第二主从控制模式。
在一可选实施方式中,装置还包括:
第二获取模块,用于在主操作端和从操作端中的至少第二部分关节执行第二主从控制模式的过程中,获取柔性手术机器人当前的第二工作环境数据;第二工作环境数据与至少第二部分关节相关;
第二切换模块,用于在第二工作环境数据满足第二模式切换条件的情况下,控制至少第二部分关节从第二主从控制模式切换至执行第一主从控制模式。
在一可选实施方式中,在第二主从控制模式为基于关节角度映射的主从控制模式,装置还包括第一控制模块,第一控制模块用于:
获取至少第一部分关节对应的主操作端结构和从操作端结构;
获取用于执行主从控制的控制需求量;
基于主操作端结构、从操作端结构和控制需求量,确定主从控制之间的映射关系;
获取主操作端在第二主从控制模式下的源控制量,并基于源控制量和映射关系,确定从操作端对应部件的目标控制量;
基于目标控制量,控制从操作端执行相应的运动。
在一可选实施方式中,在第二主从控制模式为基于笛卡尔位姿映射的主从控制模式,方法还包括第二控制模块,第二控制模块用于:
获取从操作端当前的自由度;自由度小于或等于笛卡尔空间的最大自由度;
确定主从控制之间的映射关系;
获取主操作端的末端在第二主从控制模式下的源控制量;源控制量的位姿参数量与自由度的数量相匹配;
基于源控制量和映射关系,确定从操作端对应部件的目标控制量;
基于目标控制量,控制从操作端执行相应的运动。
需要说明的是,本申请实施例提供的柔性手术机器人的主从控制装置实施例与上述柔性手术机器人的主从控制方法实施例基于相同的发明构思。
本申请的实施例还提供了一种柔性手术机器人,所述柔性手术机器人包括:
从操作端;
主操作端,用于控制所述从操作端运动;
处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现上述任一实施例的柔性手术机器人的主从控制方法。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例提供的柔性手术机器人的主从控制方法。
可选地,在本说明书实施例中,存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书实施例存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方法实施例提供的柔性手术机器人的主从控制方法。
本申请实施例所提供的柔性手术机器人的主从控制方法实施例可以在终端、计算机终端、服务器或者类似的运算装置中执行。图13是根据一示例性实施例提供的一种柔性手术机器人的主从控制方法的服务器的硬件结构框图。如图13所示,该服务器400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(CentralProcessing Units,CPU)410(中央处理器410可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器340,一个或一个以上存储应用程序424或数据422的存储介质420(例如一个或一个以上海量存储设备)。其中,存储器430和存储介质420可以是短暂存储或持久存储。存储在存储介质420的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器410可以设置为与存储介质420通信,在服务器400上执行存储介质420中的一系列指令操作。服务器400还可以包括一个或一个以上电源460,一个或一个以上有线或无线网络接口450,一个或一个以上输入输出接口440,和/或,一个或一个以上操作***421,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口440可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器400的通信供应商提供的无线网络。在一个实例中,输入输出接口440包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口440可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图13所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器400还可包括比图13中所示更多或者更少的组件,或者具有与图13所示不同的配置。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,相关的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种柔性手术机器人的主从控制方法,其特征在于,所述柔性手术机器人包括从操作端和控制所述从操作端运动的主操作端,所述方法包括:
在所述主操作端和所述从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取所述柔性手术机器人当前的第一工作环境数据;所述第一工作环境数据与所述至少第一部分关节相关;
在所述第一工作环境数据满足第一模式切换条件的情况下,控制所述至少第一部分关节从所述第一主从控制模式切换至执行第二主从控制模式;
其中,所述第一主从控制模式和所述第二主从控制模式是基于不同的主从控制映射方式。
2.根据权利要求1所述的方法,其特征在于,
在所述第一主从控制模式和所述第二主从控制模式中,两者择一为基于笛卡尔位姿映射的主从控制模式,另一为基于关节角度映射的主从控制模式。
3.根据权利要求1所述的方法,其特征在于,
所述第一工作环境数据包括用于表征所述柔性手术机器人当前所在状态的***状态数据、用于表征所述柔性手术机器人中相关部件的位姿和/或运动属性的传感器数据、以及用于表征所述柔性手术机器人中相关部件的空间状态的图像采集数据中的一种或多种。
4.根据权利要求1所述的方法,其特征在于,所述在所述第一工作环境数据满足第一模式切换条件的情况下,控制所述至少第一部分关节从所述第一主从控制模式切换至执行第二主从控制模式之前,所述方法还包括:
判断所述第一工作环境数据是否满足第一模式切换条件;
其中,所述第一模式切换条件与所述第一主从控制模式的模式类型以及第一工作环境数据对应的工作场景相关。
5.根据权利要求4所述的方法,其特征在于,在所述第一主从控制模式为基于笛卡尔位姿映射的主从控制模式,且第二主从控制模式为基于关节角度映射的主从控制模式的情况下,所述第一模式切换条件包括以下至少一种:
所述主操作端控制所述从操作端对应关节执行弯曲运动;
所述主操作端控制所述从操作端对应关节执行旋转运动;
所述主操作端控制所述从操作端对应关节所带器械执行弯曲运动;
所述主操作端控制所述从操作端对应关节所带器械执行旋转运动;
所述主操作端控制所述从操作端离开工作空间的边界至所述工作空间的核心区域。
6.根据权利要求4所述的方法,其特征在于,在所述第一主从控制模式为基于关节角度映射的主从控制模式,且第二主从控制模式为基于笛卡尔位姿映射的主从控制模式的情况下,所述第一模式切换条件包括以下至少一种:
所述主操作端控制所述从操作端对应关节所带器械执行剥离或分离操作;
所述主操作端控制所述从操作端对应关节或所带器械执行障碍规避操作;
在保持所述从操作端末端姿态不变的情形下移动所述主操作端。
7.根据权利要求1所述的方法,其特征在于,所述在所述第一工作环境数据满足第一模式切换条件的情况下,控制所述至少第一部分关节从所述第一主从控制模式切换至执行第二主从控制模式之前,所述方法还包括:
调用经训练的模式切换判断模型,对所述第一工作环境数据进行处理,输出所述第一工作环境数据是否满足第一模式切换条件的判断结果;
其中,所述模式切换判断模型是基于工作环境样本数据进行训练得到,所述工作环境样本数据包括用于表征所述柔性手术机器人当前所在状态的***状态样本数据、用于表征所述柔性手术机器人中相关部件的位姿和/或运动属性的传感器样本数据、以及用于表征所述柔性手术机器人中相关部件的空间状态的图像采集样本数据中的一种或多种。
8.根据权利要求4或7所述的方法,其特征在于,所述在所述第一工作环境数据满足第一模式切换条件的情况下,控制所述至少第一部分关节从所述第一主从控制模式切换至执行第二主从控制模式包括:
在所述第一工作环境数据满足第一模式切换条件的情况下,生成切换控制指令;
响应于针对所述切换控制指令的触发操作,控制所述至少第一部分关节从所述第一主从控制模式切换至执行第二主从控制模式。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述主操作端和所述从操作端中的至少第二部分关节执行第二主从控制模式的过程中,获取所述柔性手术机器人当前的第二工作环境数据;所述第二工作环境数据与所述至少第二部分关节相关;
在所述第二工作环境数据满足第二模式切换条件的情况下,控制所述至少第二部分关节从所述第二主从控制模式切换至执行第一主从控制模式。
10.根据权利要求1所述的方法,其特征在于,在所述第二主从控制模式为基于关节角度映射的主从控制模式,所述方法还包括:
获取所述至少第一部分关节对应的主操作端结构和从操作端结构;
获取用于执行主从控制的控制需求量;
基于所述主操作端结构、从操作端结构和控制需求量,确定主从控制之间的映射关系;
获取所述主操作端在所述第二主从控制模式下的源控制量,并基于所述源控制量和所述映射关系,确定所述从操作端对应部件的目标控制量;
基于所述目标控制量,控制所述从操作端执行相应的运动。
11.根据权利要求1所述的方法,其特征在于,在所述第二主从控制模式为基于笛卡尔位姿映射的主从控制模式,所述方法还包括:
获取从操作端当前的自由度;所述自由度小于或等于笛卡尔空间的最大自由度;
确定主从控制之间的映射关系;
获取所述主操作端的末端在所述第二主从控制模式下的源控制量;所述源控制量的位姿参数量与所述自由度的数量相匹配;
基于所述源控制量和所述映射关系,确定所述从操作端对应部件的目标控制量;
基于所述目标控制量,控制所述从操作端执行相应的运动。
12.一种柔性手术机器人的主从控制装置,其特征在于,所述柔性手术机器人包括从操作端和控制所述从操作端运动的主操作端;所述装置包括:
第一获取模块,用于在所述主操作端和所述从操作端中的至少第一部分关节执行第一主从控制模式的过程中,获取所述柔性手术机器人当前的第一工作环境数据;所述第一工作环境数据与所述至少第一部分关节相关;
第一切换模块,用于在所述第一工作环境数据满足第一模式切换条件的情况下,控制所述至少第一部分关节从所述第一主从控制模式切换至执行第二主从控制模式;
其中,所述第一主从控制模式和所述第二主从控制模式是基于不同的主从控制映射方式。
13.一种柔性手术机器人,其特征在于,包括:
从操作端;
主操作端,用于控制所述从操作端运动;
处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现权利要求1-11任意一项的柔性手术机器人的主从控制方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-11任意一项的柔性手术机器人的主从控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311618916.9A CN117752424A (zh) | 2023-11-29 | 2023-11-29 | 柔性手术机器人的主从控制方法、装置、机器人及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311618916.9A CN117752424A (zh) | 2023-11-29 | 2023-11-29 | 柔性手术机器人的主从控制方法、装置、机器人及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117752424A true CN117752424A (zh) | 2024-03-26 |
Family
ID=90313699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311618916.9A Pending CN117752424A (zh) | 2023-11-29 | 2023-11-29 | 柔性手术机器人的主从控制方法、装置、机器人及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117752424A (zh) |
-
2023
- 2023-11-29 CN CN202311618916.9A patent/CN117752424A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6765021B2 (ja) | ロボット手術システムのためのグラフィカルユーザインタフェース | |
CN111315309B (zh) | 用于控制机器人操纵器或相关工具的***和方法 | |
CN107049492B (zh) | 手术机器人***及手术器械位置的显示方法 | |
CN107921623B (zh) | 机器人*** | |
US20210093402A1 (en) | Systems and methods for onscreen menus in a teleoperational medical system | |
JP6541640B2 (ja) | ソフトウェア構成可能なマニピュレータ自由度 | |
US8740882B2 (en) | Medical robotic system and method of controlling the same | |
JP2019048108A (ja) | ロボット手術システム内のツールの相互使用可能な切換え | |
CN108366835B (zh) | 具有独立的侧倾、俯仰和偏摆缩放的机器人外科手术*** | |
RU2741469C1 (ru) | Роботизированная хирургическая система | |
KR20150043405A (ko) | 기계 몸체의 운동을 조종하기 위한 가상 자유도 | |
CN112618020B (zh) | 手术机器人及其控制方法、控制装置 | |
EP3443928B1 (en) | Surgical system | |
CN113876434A (zh) | 主从运动的控制方法、机器人***、设备及存储介质 | |
WO2017098259A1 (en) | Robotic system | |
JP7440540B2 (ja) | 制御された把持及びエネルギ送達のためのシステム及び方法 | |
CN117752424A (zh) | 柔性手术机器人的主从控制方法、装置、机器人及介质 | |
EP3954319A1 (en) | Surgical operation system and method for controlling surgical operation system | |
KR102225448B1 (ko) | 능동 조향 카테터를 조작하기 위한 마스터 장치 및 능동 조향 카테터와 마스터 장치의 양방향 제어가 가능한 카테터 시스템 | |
CN112888398B (zh) | 主机器人及其控制方法 | |
CN219846789U (zh) | 手术机器人*** | |
EP3829826B1 (en) | Systems and methods for controlling a robotic manipulator or associated tool | |
WO2022172697A1 (ja) | マニピュレータシステムおよびマニピュレータの制御装置 | |
CN118319502A (zh) | 手术机器人的主从运动控制方法及相关设备 | |
GB2545291A (en) | Robotic system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |