CN115869069A - 手术机器人控制方法、装置、设备、介质及*** - Google Patents
手术机器人控制方法、装置、设备、介质及*** Download PDFInfo
- Publication number
- CN115869069A CN115869069A CN202111145634.2A CN202111145634A CN115869069A CN 115869069 A CN115869069 A CN 115869069A CN 202111145634 A CN202111145634 A CN 202111145634A CN 115869069 A CN115869069 A CN 115869069A
- Authority
- CN
- China
- Prior art keywords
- instrument
- pose
- robot
- endoscope
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000000007 visual effect Effects 0.000 claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims description 64
- 230000009466 transformation Effects 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明实施例公开了一种手术机器人控制方法、装置、设备、介质及***。该方法在检测到持镜机器人的末端腔镜移动时，确定末端腔镜在持镜机器人基坐标系下的腔镜参考位姿，基于腔镜参考位姿确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿，进而基于目标位姿对末端器械的实际位姿进行调整，使得在末端腔镜的移动过程中，末端器械在末端腔镜中的显示视野中位姿的变化满足预设变化条件，实现了移动视野时器械位姿的自动调整，保证了手柄的操作位置与器械在显示视野中的位置相对应，无需操作者频繁在手术操作、视野移动以及离合过程中切换以调整器械位姿，提高了器械位姿的调整效率，降低了手动调整器械位姿时操作失误带来的安全风险。
Description
技术领域
本发明实施例涉及手术机器人技术领域，尤其涉及一种手术机器人控制方法、装置、设备、介质及***。
背景技术
操作人员在手术过程中，需要经常调整腔镜位置以便保持对操作区域的清晰观察。这种调整包括位移和旋转。调整视野的动作通常为操作者两手配合执行的特定动作，相应的，持镜机器人会根据操作者执行的动作，按控制器中的预设规则移动腔镜。当腔镜移动后，在屏幕中，视野相对发生变化，使得操作人员的手部动作与器械机器人的器械姿态不再匹配，难以继续进行准确的手术动作。因此，操作者需要经常主动断开主从映射关系操作，手动调整手柄回到便于操作的位置，并保证双手操作的位置与器械在视野中的位置匹配，再回到主从状态，即离合操作。
发明内容
本发明实施例提供了一种手术机器人控制方法、装置、设备、介质及***，以实现移动视野时器械位姿的自动调整，提高了器械位姿的调整效率，降低手动调整器械位姿时操作失误带来的安全风险。
第一方面，本发明实施例提供了一种手术机器人控制方法，所述方法包括：
若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿；
基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿；
基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
第二方面，本发明实施例还提供了一种手术机器人控制装置，所述装置包括：
参考位姿确定模块，用于若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿；
目标位姿确定模块，用于基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿；
器械位姿调整模块，用于基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
第三方面，本发明实施例还提供了一种手术机器人控制***，所述***包括持镜机器人、至少一个器械机器人、手柄、显示器以及控制器，所述持镜机器人包括末端腔镜，所述器械机器人包括末端器械；其中，
所述显示器，用于显示所述末端腔镜的显示视野；
所述控制器，用于基于本发明任意实施例提供的手术机器人控制方法，对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
第四方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的手术机器人控制方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例提供的手术机器人控制方法。
上述发明中的实施例具有如下优点或有益效果：
在检测到持镜机器人的末端腔镜移动时，确定末端腔镜在持镜机器人基坐标系下的腔镜参考位姿，基于腔镜参考位姿确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿，进而基于目标位姿对末端器械的实际位姿进行调整，使得在末端腔镜的移动过程中，末端器械在末端腔镜中的显示视野中位姿的变化满足预设变化条件，实现了移动视野时器械位姿的自动调整，保证了手柄的操作位置与器械在显示视野中的位置相对应，无需操作者频繁在手术操作、视野移动以及离合过程中切换以调整器械位姿，提高了器械位姿的调整效率，降低了手动调整器械位姿时操作失误带来的安全风险。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1A为本发明实施例一所提供的一种手术机器人控制方法的流程示意图；
图1B为本发明实施例一所提供的一种末端腔镜移动示意图；
图2为本发明实施例二所提供的一种手术机器人控制方法的流程示意图；
图3A为本发明实施例三所提供的一种手术机器人控制***的结构示意图；
图3B为本发明实施例三所提供的另一种手术机器人控制***的结构示意图；
图4为本发明实施例四所提供的一种手术机器人控制装置的结构示意图；
图5为本发明实施例五所提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种手术机器人控制方法的流程示意图，本实施例可适用于在操作人员调整腔镜位置以对另一位置进行手术操作时，自动调整器械位姿，以使器械在移动的显示视野中不发生位姿相对变化的情况，该方法可以由手术机器人控制装置来执行，该装置可以由硬件和/或软件来实现，该方法具体包括如下步骤：
S110、若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿。
其中，持镜机器人可以是机械臂末端持有腔镜的手术机器人；持镜机器人的末端腔镜具体可以是诸如内窥镜等镜头。具体的，持镜机器人的末端腔镜可以对手术部位进行拍摄；末端腔镜在对手术部位进行拍摄的过程中，末端腔镜的视野通常也包括器械机器人的末端器械，其中，器械机器人可以是机械臂末端持有手术器械的手术机器人，以便操作人员观察手术部位并通过控制器械机器人的末端器械进行手术操作。持镜机器人和器械机器人可以分别是独立的机器人，也可以是集成在一起的机器人。
示例性的，操作人员通过对手柄的操作来控制末端器械进行手术；手柄可以带动器械机器人的机械臂进行主从运动，进而运动的机械臂带动末端器械运动。当操作人员在手术过程中，需要对另一部位进行操作时，可以控制持镜机器人的末端腔镜移动，以调整末端腔镜的视野至另一部位。示例性的，末端腔镜的移动包括镜头在空间中的指向移动、镜头在空间中的位置移动、镜头绕拍摄轴线的旋转等。。
在本实施例中，若持镜机器人的末端腔镜移动，此时，器械机器人的末端器械是静止的，因此，器械机器人的末端器械在末端腔镜的显示视野中的位置会发生相对变化。示例性的，末端腔镜的视野向左移动时，末端器械在视野中的位置会相对向右移动；末端腔镜的视野顺时针转动时，末端器械在视野中的位置会相对逆时针转动。相应的，当末端器械在末端腔镜的显示视野中的位置发生相对变化时，此时手柄的操作位置与末端器械在显示视野中的位置不再对应。如图1B所示，展示了一种末端腔镜移动示意图，末端腔镜在向右上移动时，末端器械在视野中的位置相对向左下移动，此时手柄的操作位置与末端器械在显示视野中的位置不匹配。
因此，在本实施例中，若检测到持镜机器人的末端腔镜移动，则需要控制器械机器人进行相应的运动，以保证末端器械在末端腔镜的显示视野中的位置不发生变化，进而保证手柄的操作位置与末端器械在显示视野中的位置相对应。具体的，若检测到持镜机器人的末端腔镜移动，则需要确定末端腔镜在持镜机器人基坐标系下的腔镜参考位姿，以进一步基于该腔镜参考位姿确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿。具体的，持镜机器人基坐标系可以是以持镜机器人为中心点的基坐标系；腔镜参考位姿可以通过末端腔镜在持镜机器人基坐标系下的齐次转移矩阵描述。
S120、基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿。
其中，器械机器人基坐标系可以是以器械机器人为中心点的坐标系；目标位姿可以是末端器械需要调整到的位姿，具体的，目标位姿可以是末端器械到器械机器人的转换关系。在本实施例中，根据末端腔镜的位姿到持镜机器人的位姿的转换关系，可以确定出末端器械到器械机器人的转换关系。
在一种可选的实施方式中，所述基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿，包括：确定所述器械机器人基坐标系在所述持镜机器人基坐标系下的第一变换关系、所述末端腔镜的预设目标点在末端腔镜安装坐标系下的位姿到所述预设目标点在所述末端腔镜的显示图像中的位姿的第二变换关系、以及所述器械机器人的末端器械在显示视野坐标系下的器械显示位姿；基于所述第一变换关系、所述第二变换关系、所述器械显示位姿以及所述腔镜参考位姿，确定所述末端器械在器械机器人基坐标系下的目标位姿。
其中，器械机器人基坐标系在持镜机器人基坐标系下的第一变换关系可以是器械机器人到持镜机器人的转换关系。预设目标点可以是随机设置的，也可以是由镜头内部参数决定的，具体的，第二变换关系可以是预设目标点在末端腔镜安装坐标系下的位姿到该预设目标点在显示图像中的位姿的转换关系。显示视野坐标系可以是以显示末端镜头视野的显示界面为中心的坐标系。
在该可选的实施方式中，可以根据末端腔镜在持镜机器人基坐标系下的腔镜参考位姿、器械机器人到持镜机器人的转换关系(第一变换关系)、器械机器人的末端器械在显示视野坐标系下的器械显示位姿，以及预设目标点在末端腔镜安装坐标系下的位姿到该预设目标点在显示图像中的位姿的转换关系(第二变换关系)，确定出末端器械在器械机器人基坐标系下的目标位姿。如图1B所示，目标位姿可以是图1B中右图所示的末端器械期望移动的位姿。
示例性的，所述基于所述坐标系位姿、所述腔镜镜头位姿、所述器械显示位姿以及所述腔镜参考位姿，确定所述末端器械在器械机器人基坐标系下的目标位姿，满足如下公式：
其中，
表示末端器械在器械机器人基坐标系下的目标位姿，
表示器械显示位姿，Tcamera表示第二变换关系，Tscope表示腔镜参考位姿，Tregistration表示第一变换关系。上述坐标和变换都可以通过齐次变换矩阵所描述。
具体的，在上述公式中，可以通过将器械显示位姿、第二变换关系的转置矩阵、腔镜参考位姿以及第一变换关系的转置矩阵相乘，得到末端器械在器械机器人基坐标系下的目标位姿。通过该方式，可以实现目标位姿的准确确定，进而确保了在末端腔镜移动前时刻以及移动后时刻，末端器械在显示视野中的位姿不发生变化，进而确保了手柄的操作位置与末端器械在显示视野中的位置匹配。
S130、基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
在本实施例中，在确定出末端器械在器械机器人基坐标系下的目标位姿后，可以基于目标位姿对末端器械的实际位姿进行调整，使得末端器械在末端腔镜的显示视野中位姿的变化满足预设变化条件。其中，预设变化条件可以是位姿变化值为零，或者，位姿变化值不超过设定阈值。具体的，本实施例可以以在末端腔镜的移动前时刻以及移动后时刻，末端器械在显示视野中位姿不发生变化为目标，通过目标位姿对末端器械的实际位姿进行调整。
需要说明的是，本实施例中器械机器人的数量可以是一个或多个，如，器械机器人的数量为两个。若器械机器人的数量为多个，可以在检测到末端镜头移动时，根据分别确定出各器械机器人的末端器械的目标位姿，对各器械机器人的末端器械的实际位姿进行调整，以使各末端器械在显示视野中的位姿的变化满足预设变化条件，便于操作人员后续通过操作手柄控制末端器械。
本实施例的技术方案，在检测到持镜机器人的末端腔镜移动时，确定末端腔镜在持镜机器人基坐标系下的腔镜参考位姿，基于腔镜参考位姿确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿，进而基于目标位姿对末端器械的实际位姿进行调整，使得在末端腔镜的移动过程中，末端器械在末端腔镜中的显示视野中位姿的变化满足预设变化条件，保证了手柄的操作位置与器械在显示视野中的位置相对应，实现了移动视野时器械位姿的自动调整，无需操作者频繁在手术操作、视野移动以及离合过程中切换以调整器械位姿，提高了器械位姿的调整效率，降低了手动调整器械位姿时操作失误带来的安全风险。
实施例二
图2为本发明实施例二提供的一种手术机器人控制方法的流程示意图，本实施例在上述实施例的基础上，可选的，还包括：若检测到手柄上的预设部件的动作，则确定检测到持镜机器人的末端腔镜移动，其中，所述预设部件用于控制所述持镜机器人的末端腔镜。其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2，本实施例提供的手术机器人控制包括以下步骤：
S210、若检测到手柄上的预设部件的动作，则确定检测到持镜机器人的末端腔镜移动，其中，所述预设部件用于控制所述持镜机器人的末端腔镜。
其中，预设部件可以是手柄上的操作摇杆，或者，手柄上的调节按键。具体的，本实施例中的预设部件可以是用于控制持镜机器人的机械臂的部件，当操作人员预设部件进行操作时，持镜机器人的机械臂可以带动末端腔镜发生相应的移动。
示例性的，操作人员通过手指操作手柄上的两个操作摇杆，控制持镜机器人实现末端腔镜的移动，末端腔镜移动的方式包括镜头在空间中的指向的移动、镜头在空间中位置的移动以及镜头绕拍摄轴线的旋转等；上述方式所包含的若干自由度被分配在两个操作摇杆的操作上，如，左操作摇杆摇动对应末端腔镜的视野的空间指向，右操作摇杆摇动对应末端腔镜沿单一方向的移动和腔镜绕该运动方向轴线的旋转。
可选的，所述预设部件控制所述持镜机器人的末端腔镜移动的过程满足如下公式：
其中，Tscope表示所述末端腔镜在持镜机器人基坐标系下的位姿，Tregistration表示器械机器人基座标系在持镜机器人基座标系下的第一变换关系，
表示所述末端器械在所述器械机器人基坐标系下的位姿，/>
表示末端器械在显示视野坐标系下的位姿，Tcontrol表示所述预设部件的控制空间指向，Tcamera表示所述末端腔镜的预设目标点在末端腔镜安装坐标系下的位姿到所述预设目标点在所述末端腔镜的显示图像中的位姿的第二变换关系。示例性的，若预设部件为操作摇杆，Tcontrol可以是操作摇杆控制空间指向。
根据上述公式，可以在检测到用户控制预设部件动作时，根据预设部件的动作(控制空间指向)计算末端腔镜在持镜机器人基坐标系下的位姿，即，末端腔镜需要移动的位姿，并控制末端腔镜移动到该位姿处。通过该可选的实施方式，可以实现预设部件控制末端腔镜的精准移动。
S220、若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿。
S230、基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿。
S240、基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
可选的，所述基于所述目标位姿对所述末端器械的实际位姿进行调整，包括：基于所述目标位姿生成控制信号，将所述控制信号发送至所述器械机器人，以使基于所述控制信号控制所述器械机器人对所述末端器械的实际位姿进行调整。
其中，控制信号可以包含器械机器人的机械臂的移动自由度信息。具体的，器械机器人可以根据该控制信号，控制机械臂带动末端器械移动，以调整末端器械的实际位姿。
在一种可选的实施方式中，在所述基于所述目标位姿对所述末端器械的实际位姿进行调整之后，还包括：判断所述手柄对应的控制机械臂的位置是否发生变化，若否，则启动所述手柄与所述器械机器人之间的主从控制模式；其中，所述控制机械臂用于控制所述手柄的位姿，所述主从控制模式中所述手柄为主设备，所述器械机器人为从设备，所述主设备对所述从设备进行控制。
其中，控制机械臂可以是用于控制手柄移动的机械装置；控制机械臂可以安装于手柄操作台上。具体的，控制机械臂上的机械手可以抓住手柄，若操作人员在末端腔镜的移动过程中，无意触发移动手柄，则手柄会带动与其相连接的控制机械臂的运动，且控制机械臂可以采集到手柄的运动信息，此时，手柄的操作位置与末端器械在显示视野中的位置不再对应，需重新调整手柄的实际位姿，以使手柄的操作位置与末端器械在显示视野中的位置相对应，或者，根据手柄的实际位姿，调整末端器械在显示视野中的位置，以使手柄的操作位置与末端器械在显示视野中的位置相对应。当然，若手柄对应的控制机械臂的位置没有发生变化，则表明在移动末端腔镜以及调整末端器械的器械位姿的过程中，手柄的位置没有发生变化，则调整后的末端器械在显示视野中的位置与手柄的操作位置匹配，可以启动手柄与器械机器人之间的主从控制模式；其中，手柄为主设备，器械机器人为从设备，主设备对从设备进行控制。需要说明的是，本实施例提供的手术机器人控制方法，在基于目标位姿对末端器械的实际位姿进行调整之前，可以断开手柄与器械机器人之间的主从控制模式，直至对末端器械的实际位姿调整结束。
在该可选的实施方式中，通过判断手柄对应的控制机械臂的位置是否发生变化，以确保在调整末端器械的实际位姿时，手柄的位置没有发生变化，进而确保调整后的末端器械在显示视野中的位置与手柄的操作位置相对应，提高了器械位姿的调整准确性，避免了由于操作人员对手柄的移动误操作所导致的手柄的位置与末端器械的位置的不对应，降低了位置不对应所带的操作失误的安全风险。
本实施例的技术方案，若检测到手柄上的预设部件的动作，则确定检测到持镜机器人的末端腔镜移动，进而确定末端腔镜在持镜机器人基坐标系下的腔镜参考位姿，基于腔镜参考位姿确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿，进而基于目标位姿对末端器械的实际位姿进行调整，使得在末端腔镜的移动过程中，末端器械在末端腔镜中的显示视野中位姿的变化满足预设变化条件，实现了移动视野时器械位姿的自动调整，无需操作者频繁在手术操作、视野移动以及离合过程中切换以调整器械位姿，提高了器械位姿的调整效率，降低了手动调整器械位姿时操作失误带来的安全风险。
实施例三
图3A为本发明实施例三提供的一种手术机器人控制***的结构示意图，本实施例可适用于操作人员在手术过程中对视野进行调整，以对其它手术部位或组织进行操作的情形，该***具体包括持镜机器人31、至少一个器械机器人32、手柄33、显示器34以及控制器35，所述持镜机器人31包括末端腔镜310，所述器械机器人32包括末端器械320；其中，所述显示器34，用于显示所述末端腔镜310的显示视野；所述控制器35，用于基于上述各实施例提供的手术机器人控制方法，对末端器械320的实际位姿进行调整，以使在所述末端腔镜340的移动过程中，所述末端器械320在所述末端腔镜310的显示视野中位姿的变化满足预设变化条件。
可选的，本实施例还提供另外一种手术机器人控制***，如图3B所示，展示了本实施例提供的另一种手术机器人控制***的结构示意图。结合图3B，该手术机器人***包括器械机械臂1、手术器械1-1、器械机械臂2、手术器械2-1、持镜机械臂3、内窥镜3-1、手柄控制台4、控制机械臂5、手柄6、手柄摇杆6-1、控制器7以及显示装置8。
其中，手术器械1-1安装在器械机械臂1的末端，手术器械1-2安装在器械机械臂2的末端，内窥镜3-1安装在持镜机械臂3的末端；控制机械臂5设置在手柄控制台4上，用于控制手柄6；控制机械臂5的数量可以为2个。手柄摇杆6-1的数量可以为2个，分别安装在手柄6上，由操作人员他通过手指摇动操作。控制器7可以安装在其它装置中以独立存在，也可以安装在手柄控制台4上。显示装置8可以安装在手柄控制台4上，用于显示内窥镜3-1的视野。
具体的，操作人员在手术过程中，通过操作手柄以及手柄的主从控制模式，带动器械机械臂1和器械机械臂2运动，操作人员控制手柄的手部动作可以带动控制机械臂5运动，操作人员在手柄6上的手部六自由度的运动被控制机械臂5采集，将采集到得两个手的运动作为运动指令，发送至控制器7中，控制器7根据该运动指令进行运动学坐标变换，分别带动器械机械臂1、器械机械臂2、以及末端安装的手术器械1-1、手术器械2-1在空间执行相应的运动。
在操作人员需要移动内窥镜视野时，操作人员可以主动关闭手柄6的主从控制模式，即控制机械臂5不再带动器械机械臂1和器械机械臂2进行主从运动，同时，操作人员通过手指操作手柄上的两个手柄摇杆6-1，控制内窥镜3-1实现移动视野的操作。此时，控制器7可以检测到手柄摇杆6-1的动作时，确定内窥镜3-1在持镜机械臂3基坐标系下的腔镜参考位姿，基于该腔镜参考位姿进一步确定手术器械1-1在器械机器人1基坐标系下的目标位姿，或，手术器械2-1在器械机器人2基坐标系下的目标位姿，进一步的，基于该目标位姿向器械机器人1或器械机器人2发送位姿调整指令，使得器械机器人1或器械机器人2控制机械臂带动手术器械1-1或手术器械1-2移动。
本实施例提供的手术机器人控制***，可以实现移动视野时器械位姿的自动调整，无需操作者频繁在手术操作、视野移动以及离合过程中切换以调整器械位姿，提高了器械位姿的调整效率，并且，降低了操作失误带来的安全风险。
实施例四
图4为本发明实施例四提供的一种手术机器人控制装置的结构示意图，本实施例可适用于在操作人员调整腔镜位置以对另一位置进行手术操作时，自动调整器械位姿，以使器械在移动的显示视野中不发生位姿相对变化的情况，该装置具体包括：参考位姿确定模块410、目标位姿确定模块420、以及器械位姿调整模块430。
参考位姿确定模块410，用于若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿；
目标位姿确定模块420，用于基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿；
器械位姿调整模块430，用于基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
可选的，所述目标位姿确定模块420包括第一确定单元和第二确定单元，其中，所述第一确定单元，用于确定所述器械机器人基坐标系在所述持镜机器人基坐标系下的第一变换关系、所述末端腔镜的预设目标点在末端腔镜安装坐标系下的位姿到所述预设目标点在所述末端腔镜的显示图像中的位姿的第二变换关系、以及所述器械机器人的末端器械在显示视野坐标系下的器械显示位姿；所述第二确定单元，用于基于所述第一变换关系、所述第二变换关系、所述器械显示位姿以及所述腔镜参考位姿，确定所述末端器械在器械机器人基坐标系下的目标位姿。
可选的，所述第二确定单元具体用于按照如下公式确定所述末端器械在器械机器人基坐标系下的目标位姿：
其中，
表示末端器械在器械机器人基坐标系下的目标位姿，
表示器械显示位姿，Tcamera表示第二变换关系，Tscope表示腔镜参考位姿，Tregistration表示第一变换关系。
可选的，所述装置包括腔镜移动检测模块，所述腔镜移动检测模块，用于若检测到手柄上的预设部件的动作，则确定检测到持镜机器人的末端腔镜移动，其中，所述预设部件用于控制所述持镜机器人的末端腔镜。
可选的，所述器械位姿调整模块430具体用于基于所述目标位姿生成控制信号，将所述控制信号发送至所述器械机器人，以使基于所述控制信号控制所述器械机器人对所述末端器械的实际位姿进行调整。
可选的，所述装置还包括手柄检测模块，所述手柄检测模块，用于在所述基于所述目标位姿对所述末端器械的实际位姿进行调整之后，判断所述手柄对应的控制机械臂的位置是否发生变化，若否，则启动所述手柄与所述器械机器人之间的主从控制模式；其中，所述控制机械臂用于控制所述手柄的位姿，所述主从控制模式中所述手柄为主设备，所述器械机器人为从设备，所述主设备对所述从设备进行控制。
可选的，所述预设部件控制所述持镜机器人的末端腔镜移动的过程满足如下公式：
其中，Tscope表示所述末端腔镜在持镜机器人基坐标系下的位姿，Tregistration表示器械机器人基座标系在持镜机器人基座标系下的第一变换关系，
表示所述末端器械在所述器械机器人基坐标系下的位姿，/>
表示末端器械在显示视野坐标系下的位姿，Tcontrol表示所述预设部件的控制空间指向，Tcamera表示所述末端腔镜的预设目标点在末端腔镜安装坐标系下的位姿到所述预设目标点在所述末端腔镜的显示图像中的位姿的第二变换关系。
在本实施例中，通过参考位姿确定模块，在检测到持镜机器人的末端腔镜移动时，确定末端腔镜在持镜机器人基坐标系下的腔镜参考位姿，通过目标位姿确定模块，基于腔镜参考位姿确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿，进而通过器械位姿调整模块，基于目标位姿对末端器械的实际位姿进行调整，使得在末端腔镜的移动过程中，末端器械在末端腔镜中的显示视野中位姿的变化满足预设变化条件，实现了移动视野时器械位姿的自动调整，无需操作者频繁在手术操作、视野移动以及离合过程中切换以调整器械位姿，提高了器械位姿的调整效率，降低了手动调整器械位姿时操作失误带来的安全风险。
本发明实施例所提供的手术机器人控制装置可执行本发明任意实施例所提供的手术机器人控制方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述***所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
实施例五
图5是本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担手术机器人控制功能的电子设备。
如图5所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储器28，连接不同组件(包括存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备12典型地包括多种计算机可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机装置可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机存储介质。仅作为举例，存储装置34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品40，该程序产品40具有一组程序模块42，这些程序模块被配置以执行本发明各实施例的功能。程序产品40，可以存储在例如存储器28中，这样的程序模块42包括但不限于一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、鼠标、摄像头等和显示器)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网WideArea Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)装置、磁带驱动器以及数据备份存储装置等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的手术机器人控制方法，包括：
若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿；
基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿；
基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的手术机器人控制方法的技术方案。
实施例六
本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的手术机器人控制方法步骤，该方法包括：
若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿；
基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿；
基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种手术机器人控制方法，其特征在于，所述方法包括：
若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿；
基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿；
基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
2.根据权利要求1所述的方法，其特征在于，所述基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿，包括：
确定所述器械机器人基坐标系在所述持镜机器人基坐标系下的第一变换关系、所述末端腔镜的预设目标点在末端腔镜安装坐标系下的位姿到所述预设目标点在所述末端腔镜的显示图像中的位姿的第二变换关系、以及所述器械机器人的末端器械在显示视野坐标系下的器械显示位姿；
基于所述第一变换关系、所述第二变换关系、所述器械显示位姿以及所述腔镜参考位姿，确定所述末端器械在器械机器人基坐标系下的目标位姿。
3.根据权利要求2所述的手术机器人控制方法，其特征在于，所述基于所述坐标系位姿、所述腔镜镜头位姿、所述器械显示位姿以及所述腔镜参考位姿，确定所述末端器械在器械机器人基坐标系下的目标位姿，满足如下公式：
其中，
表示末端器械在器械机器人基坐标系下的目标位姿，/>
表示器械显示位姿，Tcamera表示第二变换关系，Tscope表示腔镜参考位姿，Tregistration表示第一变换关系。
4.根据权利要求1所述的手术机器人控制方法，其特征在于，还包括：
若检测到手柄上的预设部件的动作，则确定检测到持镜机器人的末端腔镜移动，其中，所述预设部件用于控制所述持镜机器人的末端腔镜。
5.根据权利要求1所述的手术机器人控制方法，其特征在于，所述基于所述目标位姿对所述末端器械的实际位姿进行调整，包括：
基于所述目标位姿生成控制信号，将所述控制信号发送至所述器械机器人，以使基于所述控制信号控制所述器械机器人对所述末端器械的实际位姿进行调整。
6.根据权利要求4所述的手术机器人控制方法，其特征在于，在所述基于所述目标位姿对所述末端器械的实际位姿进行调整之后，还包括：
判断所述手柄对应的控制机械臂的位置是否发生变化，若否，则启动所述手柄与所述器械机器人之间的主从控制模式；
其中，所述控制机械臂用于控制所述手柄的位姿，所述主从控制模式中所述手柄为主设备，所述器械机器人为从设备，所述主设备对所述从设备进行控制。
7.根据权利要求4所述的手术机器人控制方法，其特征在于，所述预设部件控制所述持镜机器人的末端腔镜移动的过程满足如下公式：
其中，Tscope表示所述末端腔镜在持镜机器人基坐标系下的位姿，Tregistration表示器械机器人基座标系在持镜机器人基座标系下的第一变换关系，
表示所述末端器械在所述器械机器人基坐标系下的位姿，/>
表示末端器械在显示视野坐标系下的位姿，Tcontrol表示所述预设部件的控制空间指向，Tcamera表示所述末端腔镜的预设目标点在末端腔镜安装坐标系下的位姿到所述预设目标点在所述末端腔镜的显示图像中的位姿的第二变换关系。
8.一种手术机器人控制装置，其特征在于，所述装置包括：
参考位姿确定模块，用于若检测到持镜机器人的末端腔镜移动，则确定所述末端腔镜在持镜机器人基坐标系下的腔镜参考位姿；
目标位姿确定模块，用于基于所述腔镜参考位姿，确定器械机器人的末端器械在器械机器人基坐标系下的目标位姿；
器械位姿调整模块，用于基于所述目标位姿对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
9.一种手术机器人控制***，其特征在于，所述***包括持镜机器人、至少一个器械机器人、手柄、显示器以及控制器，所述持镜机器人包括末端腔镜，所述器械机器人包括末端器械；其中，
所述显示器，用于显示所述末端腔镜的显示视野；
所述控制器，用于基于权利要求1-7中任一所述的手术机器人控制方法，对所述末端器械的实际位姿进行调整，以使在所述末端腔镜的移动过程中，所述末端器械在所述末端腔镜的显示视野中位姿的变化满足预设变化条件。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的手术机器人控制方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的手术机器人控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111145634.2A CN115869069A (zh) | 2021-09-28 | 2021-09-28 | 手术机器人控制方法、装置、设备、介质及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111145634.2A CN115869069A (zh) | 2021-09-28 | 2021-09-28 | 手术机器人控制方法、装置、设备、介质及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115869069A true CN115869069A (zh) | 2023-03-31 |
Family
ID=85763670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111145634.2A Pending CN115869069A (zh) | 2021-09-28 | 2021-09-28 | 手术机器人控制方法、装置、设备、介质及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115869069A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116509449A (zh) * | 2023-07-03 | 2023-08-01 | 深圳华大智造云影医疗科技有限公司 | 机械臂的位姿信息确定方法、装置及电子设备 |
-
2021
- 2021-09-28 CN CN202111145634.2A patent/CN115869069A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116509449A (zh) * | 2023-07-03 | 2023-08-01 | 深圳华大智造云影医疗科技有限公司 | 机械臂的位姿信息确定方法、装置及电子设备 |
| CN116509449B (zh) * | 2023-07-03 | 2023-12-01 | 深圳华大智造云影医疗科技有限公司 | 机械臂的位姿信息确定方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107414842B (zh) | 控制装置、机器人以及机器人*** | |
| EP3342561B1 (en) | Remote control robot system | |
| JP6816364B2 (ja) | 制御装置、ロボット、及びロボットシステム | |
| US11890067B2 (en) | Positioning arm for a surgical navigation system | |
| US20150273689A1 (en) | Robot control device, robot, robotic system, teaching method, and program | |
| WO2022002159A1 (zh) | 主从运动的控制方法、机器人***、设备及存储介质 | |
| JP2017019068A (ja) | 教示装置、ロボット、及びロボットシステム | |
| JP6897396B2 (ja) | 制御装置、ロボットシステムおよび制御方法 | |
| CN111599459A (zh) | 一种远程手术的控制方法、控制装置及手术*** | |
| JP2018153874A (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
| CN115869069A (zh) | 手术机器人控制方法、装置、设备、介质及*** | |
| JP6488571B2 (ja) | 教示装置、及びロボットシステム | |
| CN115703227A (zh) | 机器人的控制方法、机器人以及计算机可读存储介质 | |
| CN116459007A (zh) | 手术机器人***的机械臂构型确定方法、装置和设备 | |
| CN115869068A (zh) | 位姿调整方法、装置、设备、介质及手术机器人*** | |
| CN113384347B (zh) | 一种机器人标定方法、装置、设备及存储介质 | |
| KR20230065881A (ko) | 로봇 교시 시스템 | |
| CN117084788A (zh) | 机械臂目标姿态的确定方法、装置及存储介质 | |
| CN115213894A (zh) | 机器人图像的显示方法、显示***以及记录介质 | |
| JP2017159429A (ja) | ロボット制御装置、情報処理装置、及びロボットシステム | |
| WO2023040897A1 (zh) | 一种手术机器人的空间注册位姿计算方法和*** | |
| JP2019111588A (ja) | ロボットシステム、情報処理装置、及びプログラム | |
| JP2024044796A (ja) | 画像生成装置 | |
| JP7340069B1 (ja) | マーカ位置登録プログラム、マーカ位置登録装置、マーカ位置登録方法及びその方法に用いるマーカ | |
| JP2018001321A (ja) | ロボット、ロボット制御装置、及びロボットシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |