CN116052864B - 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法 - Google Patents

Abstract

本发明适用于手术机器人技术领域，尤其涉及一种基于数字孪生的穿刺手术机器人虚拟测试环境构建方法，所述方法包括以下步骤：S1、基于数字孪生技术，对穿刺取样手术环境的应用场景进行建模，得到数字孪生场景模型，其中，所述应用场景包含实物元素；S2、根据所述实物元素对所述数字孪生场景模型进行虚拟封装，得到不同的所述实物元素的虚拟机理模型；S3、为不同的所述虚拟机理模型编写控制变量，并将所述控制变量与数据通信协议关联，从而完成穿刺手术机器人虚拟测试环境的构建。本发明构建的虚拟测试环境，能够快速地、安全地、可重复地、高精度地获取不同情况下的穿刺测试数据。

Description

基于数字孪生的穿刺手术机器人虚拟测试环境构建方法

技术领域

本发明适用于手术机器人技术领域，尤其涉及一种基于数字孪生的穿刺手术机器人虚拟测试环境构建方法。

背景技术

随着机器人技术的不断发展，机器人的应用进一步推动了医疗技术进步，在全球医疗机器人市场中，手术机器人份额占比达到60％以上，是技术含量最高、市场需求量最大的产品类型。穿刺手术机器人是手术机器人的一种，是通过MRI、超声、CT等成像技术将目标解剖定位，引导反馈针头达到目标解剖结构，辅助完成穿刺手术的机器人。与传统的医生手动穿刺相比，穿刺手术机器人具有稳定性与精确度更高的优点。穿刺手术机器人具有诊断与治疗作用，可实现活检、引流、消融、植入等功能，在诊断方面，穿刺手术机器人可穿刺肺、肝、肾、乳腺、***、胰腺、脊椎等器官，在影像技术协助下到达目标解剖结构，取出目标组织样本，进行病理检查；在治疗方面，穿刺手术机器人可用于肾结石手术、肿瘤消融手术、放射粒子植入治疗癌症手术等方面。

手术机器人穿刺取样应用主要包含以下结构：扫描建模设备(CT、MRI)、带控制器的手术机器人、带力传感器的末端穿刺取样器械、患者位置标定相机。术前，通过CT、MRI等成像设备采集患者病灶部位图像，医生据此分离病灶部位边界，规划手术路径，避开重要血管、神经等组织，给出靶点区域，并根据软件算法，完成患者注册，对患者坐标系、图像坐标系、机械臂坐标系进行标定；术中，机械臂按照医师规划路径以规划入针姿态到达规划入针点，医师可根据跟踪装置实时获取器械进入人体的状态信息。

手术机器人作为三类医疗器械产品，对其进行注册管理，在产品全生命周期中必须考虑其对患者、医师及预期使用医疗环境造成的潜在危害，严格管控器械安全性和有效性。而手术机器人***在研发过程中，不管是在项目开发前期的调试验证，还是在投入临床使用后对机器人程序仿真优化和快速的验证测试，都需要大量的穿刺测试数据，测试数据获取快慢也严重制约了***研发的进度。因此，如何大量、快速、可重复、安全地获取穿刺测试数据成为穿刺手术机器人***研发过程中的一大问题。

发明内容

本发明提供一种基于数字孪生的穿刺手术机器人虚拟测试环境构建方法，旨在解决现有技术难以获取穿刺手术机器人测试数据的技术问题。

具体的，本发明提供一种基于数字孪生的穿刺手术机器人虚拟测试环境构建方法，所述方法包括以下步骤：

S1、基于数字孪生技术，对穿刺取样手术环境的应用场景进行建模，得到数字孪生场景模型，其中，所述应用场景包含实物元素；

S2、根据所述实物元素对所述数字孪生场景模型进行虚拟封装，得到不同的所述实物元素的虚拟机理模型；

S3、为不同的所述虚拟机理模型编写控制变量，并将所述控制变量与数据通信协议关联，从而完成穿刺手术机器人虚拟测试环境的构建。

更进一步地，所述实物元素包括穿刺手术机器人、人体和位置标定相机，所述数字孪生场景模型包括穿刺手术机器人模型、人体模型和位置标定相机模型。

更进一步地，步骤S2包括以下子步骤：

S21、对所述穿刺手术机器人模型进行封装，其中，对所述穿刺手术机器人模型的本体和穿刺针力传感器分别进行封装，分别得到穿刺手术机器人虚拟机理模型和穿刺针力传感器虚拟机理模型；

S22、对所述人体模型进行封装，得到人体虚拟机理模型；

S23、对所述位置标定相机模型进行封装，得到位置标定相机虚拟机理模型。

更进一步地，步骤S21包括以下子步骤：

S2111、构建所述穿刺手术机器人模型的运动链，将所述穿刺手术机器人模型中本体的各个关节拆分为子模型，并建立所述子模型的子父关系；

S2112、根据所述子模型的子父关系构建运动学关系；

S2113、根据所述子模型的子父关系构建动力学关系，并计算出相连的所述子模型之间的驱动力矩，从而完成所述穿刺手术机器人虚拟机理模型的封装。

更进一步地，步骤S21包括以下子步骤：

S2121、根据所述穿刺针力传感器构建穿刺组织检测算法，所述穿刺组织检测算法用于判断所述穿刺针力传感器的位姿；

S2122、根据所述穿刺针力传感器构建穿刺力计算算法，所述穿刺力计算算法用于计算所述穿刺针力传感器的穿刺和穿刺力大小，从而完成所述穿刺针力传感器虚拟机理模型的封装。

更进一步地，步骤S22包括以下子步骤：

S221、将所述人体模型分割为多个人体结构子模型；

S222、将所述人体模型调整位姿，并建立人体模型坐标系；

S223、根据所述人体结构子模型构建多个大小不同的比例缩放子模型；

S224、根据所述人体结构子模型构建多个形状不同的变化子模型；

S225、根据所述人体结构子模型构建人体呼吸效果模拟模型；

S226、在所述人体模型中预置人***置标定点，从而完成所述人体虚拟机理模型的封装。

更进一步地，步骤S23具体为：

将所述位置标定相机模型与所述人***置标定点进行对准，使所述位置标定相机模型能够获取所述人***置标定点的深度信息，从而完成所述位置标定相机虚拟机理模型的封装。

本发明所达到的有益效果，在于提出了一种基于数字孪生技术的穿刺手术机器人虚拟测试环境的构建方法，通过虚拟测试环境，能够快速地、安全地、可重复地、高精度地获取不同情况下的穿刺测试数据，同时基于虚拟环境，能够解决实物穿刺测试环境的问题，从而加快穿刺手术机器人开发进度推进，避免实际穿刺测试对患者的危害与风险。

附图说明

图1是本发明实施例提供的基于数字孪生的穿刺手术机器人虚拟测试环境构建方法的步骤流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参照图1，图1是本发明实施例提供的基于数字孪生的穿刺手术机器人虚拟测试环境构建方法的步骤流程示意图，所述方法包括以下步骤：

S1、基于数字孪生技术，对穿刺取样手术环境的应用场景进行建模，得到数字孪生场景模型，其中，所述应用场景包含实物元素。

更进一步地，所述实物元素包括穿刺手术机器人、人体和位置标定相机，所述数字孪生场景模型包括穿刺手术机器人模型、人体模型和位置标定相机模型。

具体的，在本发明实施例中，数字孪生场景模型使用SolidWorks、UnigraphicsNX、3D Studio Max等三维建模软件建模得到。穿刺手术机器人模型、人体模型和位置标定相机模型为穿刺手术场景中最为常见的对象，实际实施过程中，也可以对其他的医疗对象进行建模，从而实现更复杂的测试方法。示例性的，人体模型可以由MRI、超声、CT等成像技术所扫描出的点云模型重建而成，但需要将点云模型拆分为肌肉、骨骼、器官等子模型。

S2、根据所述实物元素对所述数字孪生场景模型进行虚拟封装，得到不同的所述实物元素的虚拟机理模型。

更进一步地，步骤S2包括以下子步骤：

S21、对所述穿刺手术机器人模型进行封装，其中，对所述穿刺手术机器人模型的本体和穿刺针力传感器分别进行封装，分别得到穿刺手术机器人虚拟机理模型和穿刺针力传感器虚拟机理模型；

S22、对所述人体模型进行封装，得到人体虚拟机理模型；

S23、对所述位置标定相机模型进行封装，得到位置标定相机虚拟机理模型。

更进一步地，步骤S21包括以下子步骤：

S2111、构建所述穿刺手术机器人模型的运动链，将所述穿刺手术机器人模型中本体的各个关节拆分为子模型，并建立所述子模型的子父关系。

具体的，在本发明实施例中，若穿刺手术机器人模型为一个整体模型，需将穿刺手术机器人模型各关节拆分为子模型，根据机器人的机械结构与运动特征，得出机器人各关节间的子父类关系，从而构建机器人的关节运动链。在可能的实施例中，运动链构建完成后，可以根据实际的机器人标准尺寸参数或DH参数校正运动链，使各关节之间的相对位置完全符合要求，减少虚拟机器人与真实机器人间的尺寸误差。

S2112、根据所述子模型的子父关系构建运动学关系。

所述运动学关系时根据机器人DH参数构建的机器人的正运动学与逆运动学算法，其中，正运动学用于机器人取样针末端位姿的求解，逆运动学用于机器人关节位姿的求解。在本发明实施例中，机器人的逆运动学算法包括但不限于代数法、几何法等解析法和数值法，但应优先采用解析法，以获得更快的求解速度。

S2113、根据所述子模型的子父关系构建动力学关系，并计算出相连的所述子模型之间的驱动力矩，从而完成所述穿刺手术机器人虚拟机理模型的封装。

手术机器人多为带力控的协作机器人，在本发明实施例中，首先根据三维建模软件计算得到各关节构件的质量特性，再根据DH参数与质量特性，通过牛顿-欧拉方程法或拉格朗日法等动力学建模方法完成动力学关系的建模，在机器人运动时，根据前后两个关节位置、速度、加速度数据，求解出各关节的驱动力矩，并根据驱动力矩模拟协作机器人关节力矩传感器与相应控制措施。

更进一步地，步骤S21包括以下子步骤：

S2121、根据所述穿刺针力传感器构建穿刺组织检测算法，所述穿刺组织检测算法用于判断所述穿刺针力传感器的位姿。

在实际的穿刺手术场景中，穿刺针需要感知当前已穿刺的组织及相应的穿刺深度，作为后续计算穿刺力的依据。实际实施时，在虚拟测试环境内，使用有向定长射线来模拟穿刺针，射线的起始位姿为穿刺针根部点的位姿，射线的长度为穿刺针的长度，通过判断射线与组织模型是否有干涉来判断是否穿刺该组织模型。

所述穿刺组织检测算法的一种实施方式如下：

执行穿刺针射线检测，若无射线接触点，则继续执行下一次穿刺针射线检测，直到出现射线接触点；

出现接触点后，遍历接触点，获取并储存接触点所属组织模型，若出现重复的组织模型，则表明该组织模型已被穿透，穿刺深度为两个射线接触点的坐标差值，其中，若射线接触点的个数为奇数，则表明穿刺针当前正在穿刺某组织，当前穿刺组织为最远接触点所属组织模型，穿刺深度为穿刺针末端坐标与最远接触点坐标的差值；

循环执行穿刺针射线检测直至穿刺测试结束。

S2122、根据所述穿刺针力传感器构建穿刺力计算算法，所述穿刺力计算算法用于计算所述穿刺针力传感器的穿刺和穿刺力大小，从而完成所述穿刺针力传感器虚拟机理模型的封装。

示例性的，穿刺力计算算法有两种方式，一种为有限元拟合，另一种为简单数值计算拟合。其中，使用有限元拟合，需根据医学数据与模型数据，建立有限元计算模型，在穿刺测试时，根据穿刺针位姿、速度计算出穿刺力的方向和大小；使用简单数值拟合计算时，分为方向和大小的计算，方向依据穿刺针穿刺时的位姿与组织模型的运动、形变方向复合拟合出，大小则为组织模型对穿刺针的压力与摩擦力的数值的和。

更进一步地，步骤S22包括以下子步骤：

S221、将所述人体模型分割为多个人体结构子模型。

示例性的，将人体模型分割为单个肌肉、骨骼、器官等独立子模型，并标识子模型的名称和所属组织类型，将子模型归为所属组织类型的子类，整理人体模型的子父类层级结构。

S222、将所述人体模型调整位姿，并建立人体模型坐标系。

将人体模型位姿调整至所需位姿后，将此位姿记录为人体模型的初始位姿，并将人体模型的坐标系方向设置为与世界坐标系方向一致，坐标系位置位于人体模型中心。然后将各组织子模型的位姿记录为初始位姿，组织子模型的坐标系方向统一为人体模型的坐标系方向，坐标系位置位于子模型的形心。

构建坐标系之后，当传入位姿变化增量时，将位姿变化增量转换为组织子模型相对于人体模型的目标位姿矩阵，即可实现组织位姿变化模拟。

S223、根据所述人体结构子模型构建多个大小不同的比例缩放子模型。

根据穿刺测试的实时性要求，可用两种方法构建多个大小不同的比例缩放子模型，从而模拟不同组织、器官的大小变化，若实时性要求较高，则可在建模阶段预置数种不同大小的组织模型，需要进行大小变化时再在不同大小的组织模型间切换；若实时性要求不高，则可对组织模型以模型坐标系为中心进行等比例缩放。

S224、根据所述人体结构子模型构建多个形状不同的变化子模型。

根据穿刺测试的实时性要求，可用两种方法构建多个形状不同的变化子模型，从而模拟不同组织、器官的形状变化，若实时性要求较高，则可在建模阶段预置数种不同形状的组织模型，需要进行形状变化时再在不同形状的组织模型间切换。若实时性要求不高，则可依据一定变化规则，对组织模型进行网格级变化。

S225、根据所述人体结构子模型构建人体呼吸效果模拟模型。

由于整个穿刺手术过程中，人体仍维持呼吸状态，因此，需要构建人体呼吸效果模拟，以验证穿刺手术机器人的呼吸补偿算法是否有效。呼吸过程中，主要是胸腔的组织以一定的呼吸频率发生位姿和大小的变化，因此，本发明实施例构建人体呼吸效果模拟模型，以模拟人体的呼吸状态，具体实现时，以胸腔中部为呼吸原点，吸气时，胸腔的组织变大并向人体外侧做一定的偏转和位移，呼气时，胸腔的组织变小并向人体内侧做一定的偏转和位移。

S226、在所述人体模型中预置人***置标定点，从而完成所述人体虚拟机理模型的封装。

更进一步地，步骤S23具体为：

将所述位置标定相机模型与所述人***置标定点进行对准，使所述位置标定相机模型能够获取所述人***置标定点的深度信息，从而完成所述位置标定相机虚拟机理模型的封装。

具体的，在穿刺测试的过程中，位置标定相机首先遍历人体模型，获取并储存已标识为标定点的模型的世界坐标，再将标定点的世界坐标通过齐次变换矩阵转换为相对于位置标定相机的相对坐标。

S3、为不同的所述虚拟机理模型编写控制变量，并将所述控制变量与数据通信协议关联，从而完成穿刺手术机器人虚拟测试环境的构建。

本发明实施例基于编程语言实现测试***，控制变量用于控制不同的虚拟机理模型的形态。示例性的，本发明将控制变量封装为数据交互接口，并通过据通信协议连接至外部的穿刺手术机器人控制***，所述数据通信协议可以基于OPC UA、TCP、UDP、MQTT、数据库等实现，通过与穿刺手术机器人控制***通讯，进行接收指令及发送相关数据，从而实现在虚拟测试环境内，通过变量读写的方式与模型进行交互，读取模型的指定变量，或将数据写入模型的指定变量，从而模拟穿刺手术机器人手术的测试，并获取测试数据。

本发明所达到的有益效果，在于提出了一种基于数字孪生技术的穿刺手术机器人虚拟测试环境的构建方法，通过虚拟测试环境，能够快速地、安全地、可重复地、高精度地获取不同情况下的穿刺测试数据，同时基于虚拟环境，能够解决实物穿刺测试环境的问题，从而加快穿刺手术机器人开发进度推进，避免实际穿刺测试对患者的危害与风险。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。

Claims (5)

1.一种基于数字孪生的穿刺手术机器人虚拟测试环境构建方法，其特征在于，所述方法包括以下步骤：

S1、基于数字孪生技术，对穿刺取样手术环境的应用场景进行建模，得到数字孪生场景模型，其中，所述应用场景包含实物元素，所述实物元素包括穿刺手术机器人、人体和位置标定相机，所述数字孪生场景模型包括穿刺手术机器人模型、人体模型和位置标定相机模型；

S2、根据所述实物元素对所述数字孪生场景模型进行虚拟封装，得到不同的所述实物元素的虚拟机理模型；步骤S2包括以下子步骤：

S21、对所述穿刺手术机器人模型进行封装，其中，对所述穿刺手术机器人模型的本体和穿刺针力传感器分别进行封装，分别得到穿刺手术机器人虚拟机理模型和穿刺针力传感器虚拟机理模型；

S22、对所述人体模型进行封装，得到人体虚拟机理模型；

S23、对所述位置标定相机模型进行封装，得到位置标定相机虚拟机理模型；

S3、为不同的所述虚拟机理模型编写控制变量，并将所述控制变量与数据通信协议关联，从而完成穿刺手术机器人虚拟测试环境的构建。

2.如权利要求1所述的基于数字孪生的穿刺手术机器人虚拟测试环境构建方法，其特征在于，步骤S21包括以下子步骤：

S2111、构建所述穿刺手术机器人模型的运动链，将所述穿刺手术机器人模型中本体的各个关节拆分为子模型，并建立所述子模型的子父关系；

S2112、根据所述子模型的子父关系构建运动学关系；

S2113、根据所述子模型的子父关系构建动力学关系，并计算出相连的所述子模型之间的驱动力矩，从而完成所述穿刺手术机器人虚拟机理模型的封装。

3.如权利要求1所述的基于数字孪生的穿刺手术机器人虚拟测试环境构建方法，其特征在于，步骤S21包括以下子步骤：

S2121、根据所述穿刺针力传感器构建穿刺组织检测算法，所述穿刺组织检测算法用于判断所述穿刺针力传感器的位姿；

S2122、根据所述穿刺针力传感器构建穿刺力计算算法，所述穿刺力计算算法用于计算所述穿刺针力传感器的穿刺和穿刺力大小，从而完成所述穿刺针力传感器虚拟机理模型的封装。

4.如权利要求1所述的基于数字孪生的穿刺手术机器人虚拟测试环境构建方法，其特征在于，步骤S22包括以下子步骤：

S221、将所述人体模型分割为多个人体结构子模型；

S222、将所述人体模型调整位姿，并建立人体模型坐标系；

S223、根据所述人体结构子模型构建多个大小不同的比例缩放子模型；

S224、根据所述人体结构子模型构建多个形状不同的变化子模型；

S225、根据所述人体结构子模型构建人体呼吸效果模拟模型；

S226、在所述人体模型中预置人***置标定点，从而完成所述人体虚拟机理模型的封装。

5.如权利要求4所述的基于数字孪生的穿刺手术机器人虚拟测试环境构建方法，其特征在于，步骤S23具体为：

将所述位置标定相机模型与所述人***置标定点进行对准，使所述位置标定相机模型能够获取所述人***置标定点的深度信息，从而完成所述位置标定相机虚拟机理模型的封装。