CN115005981A - 手术路径规划方法、***、设备、介质和手术操作*** - Google Patents

手术路径规划方法、***、设备、介质和手术操作*** Download PDF

Info

Publication number
CN115005981A
CN115005981A CN202210639634.6A CN202210639634A CN115005981A CN 115005981 A CN115005981 A CN 115005981A CN 202210639634 A CN202210639634 A CN 202210639634A CN 115005981 A CN115005981 A CN 115005981A
Authority
CN
China
Prior art keywords
human body
model
digital twin
target object
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210639634.6A
Other languages
English (en)
Inventor
杨飞
何雄一
王莹珑
贾俊华
汪国强
陈科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Original Assignee
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan United Imaging Zhirong Medical Technology Co Ltd filed Critical Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority to CN202210639634.6A priority Critical patent/CN115005981A/zh
Publication of CN115005981A publication Critical patent/CN115005981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种手术路径规划方法、***、设备、介质和手术操作***，该方法包括：基于目标对象的关联参数构建数字孪生人体模型；获取目标对象的当前轮廓信息构建人体三维模型；对数字孪生人体模型和人体三维模型进行配准，获取配准结果；确定数字孪生人体模型中目标器官的初始手术路径规划；将初始手术路径规划转换为人体三维模型中目标器官对应的目标手术路径规划。本发明采用基于元宇宙的3D数字孪生人体模型的介入手术规划，有效地提高了介入手术路径规划确定的精度和效率，保障了后续实际手术执行的安全性和可靠性，简化了从手术规划到手术执行的介入手术全工作流程，提升了医生手术规划的观感和体验，避免了不必要的误差和辐射危害。

Description

手术路径规划方法、***、设备、介质和手术操作***
技术领域
本发明涉及手术控制技术领域，特别涉及一种基于元宇宙的介入手术路径规划方法、***、设备、介质和手术操作***。
背景技术
介入穿刺手术的一般步骤为根据患者术前CT(电子计算机断层扫描)影像进行图像分析、分割出组织和病灶、根据组织和病灶位置指定手术计划，手术计划包括穿刺的入针点位置及靶点位置。然后医生根据手术计划执行介入穿刺手术。医生在执行穿刺过程中，穿刺针进入患者体内一段距离后，医生会将患者移动至CT孔径内进行穿刺部位扫描，根据扫描结果判断穿刺针的位置是否有偏离；该过程根据医生的经验和手术的复杂程度不同，需要扫描的次数会不同。经验丰富的医生或简单的手术，可能中途只需要扫一次；反之，需要多次扫描确认。然后将患者移出CT孔径，再接着进行穿刺或路径调整。最后医生根据自己的判断认为针尖已经到达靶点了，就停止穿刺，再进行CT扫描确认。如果没有到达预期靶点位置，需要再穿刺、再扫描确认，重复执行上述操作。
因此，上述传统的介入手术，依赖医生基于患者的影像数据进行手术规划，存在视觉上不够直观、易造成规划路径经过重要器官或组织(如血管)的风险，且存在规划精度和效率较低等问题。另外，在执行穿刺手术过程中，需借助CT等影像设备来确认穿刺针是否按计划方向，穿刺针针尖是否到达目标位置，增加了医生和患者遭受辐射危害的风险。
发明内容
本发明要解决的技术问题是为了克服现有技术中介入手术的路径规划依赖医生人为地基于患者的影像数据进行手术规划，存在规划精度和效率较低的问题，且存在医生和患者易遭受辐射危害的风险的缺陷，提供一种基于元宇宙的介入手术路径规划方法、***、设备、介质和手术操作***。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种基于元宇宙的介入手术路径规划方法，所述介入手术路径规划方法包括：
基于目标对象的关联参数，构建所述目标对象的数字孪生人体模型，所述数字孪生人体模型对应所述目标对象的实际状态；
获取所述目标对象的当前轮廓信息，构建人体三维模型；
对所述数字孪生人体模型和所述人体三维模型进行配准，获取配准结果；
基于所述关联参数，确定配准后的所述数字孪生人体模型中目标器官对应的初始手术路径规划；
根据所述配准结果，将所述初始手术路径规划转换为所述人体三维模型中所述目标器官对应的目标手术路径规划。
较佳地，所述基于目标对象的关联参数，构建所述目标对象的数字孪生人体模型的步骤包括：
基于所述目标对象的各个组织器官的影像数据和/或生理状态数据，构建所述目标对象的初始人体模型；
获取所述目标对象的动作状态数据；
将所述动作状态数据融合至所述初始人体模型，构建所述目标对象的所述数字孪生人体模型；
和/或，
所述获取所述目标对象的当前轮廓信息，构建人体三维模型的步骤包括：
采用结构光相机采集所述目标对象的所述当前轮廓信息；
基于所述当前轮廓信息构建所述人体三维模型。
较佳地，所述基于所述关联参数，构建所述目标对象的初始人体模型的步骤包括：
基于所述关联参数，采用容积重建方法构建所述目标对象的所述初始人体模型。
较佳地，所述对所述数字孪生人体模型和所述人体三维模型进行配准，获取配准结果的步骤包括：
对所述数字孪生人体模型和所述人体三维模型进行刚性变换，直至将所述数字孪生人体模型和所述人体三维模型刚性变换至同一位置和姿态；
对所述人体三维模型进行弹性形变处理；
将所述数字孪生人体模型和弹性形变处理后的所述人体三维模型进行弹性配准，获取所述配准结果。
较佳地，所述对所述人体三维模型进行弹性形变处理的步骤包括：
采用径向基函数对所述人体三维模型进行弹性形变处理；
和/或，
所述对所述数字孪生人体模型和弹性形变处理后的所述人体三维模型进行弹性配准，获取所述配准结果的步骤包括：
采用非刚性配准算法将所述数字孪生人体模型和弹性形变处理后的所述人体三维模型进行弹性配准，获取所述配准结果。
较佳地，所述确定配准后的所述数字孪生人体模型中目标器官对应的初始手术路径规划的步骤之后、所述根据所述配准结果，将所述初始手术路径规划转换为所述人体三维模型中所述目标器官对应的目标手术路径规划的步骤之前还包括：
基于所述初始手术路径规划模拟手术执行过程并获取模拟结果；
在所述模拟结果表征模拟成功时，则执行所述根据所述配准结果，将所述初始手术路径规划转换为所述人体三维模型中所述目标器官对应的目标手术路径规划的步骤；
在所述模拟结果表征模拟不成功时，则修正所述初始手术路径规划，直至对应的所述模拟结果表征模拟成功。
本发明还提供一种基于元宇宙的介入手术路径规划***，所述介入手术路径规划***包括：
数字孪生模型构建模块，用于基于目标对象的关联参数，构建所述目标对象的数字孪生人体模型，所述数字孪生人体模型对应所述目标对象的实际状态；
人体三维模型构建模块，用于获取所述目标对象的当前轮廓信息，构建人体三维模型；
配准结果获取模块，用于对所述数字孪生人体模型和所述人体三维模型进行配准，获取配准结果；
初始手术路径规划模块，用于基于所述关联参数，确定配准后的所述数字孪生人体模型中目标器官对应的初始手术路径规划；
目标手术路径规划模块，用于根据所述配准结果，将所述初始手术路径规划转换为所述人体三维模型中所述目标器官对应的目标手术路径规划。
较佳地，所述数字孪生模型构建模块包括：
初始人体模型构建单元，用于基于所述目标对象的各个组织器官的影像数据和/或生理状态数据，构建所述目标对象的初始人体模型；
动作状态数据获取单元，用于获取所述目标对象的动作状态数据；
数字孪生人体模型构建单元，用于将所述动作状态数据融合至所述初始人体模型，构建所述目标对象的所述数字孪生人体模型；
和/或，
所述人体三维模型构建模块包括：
轮廓信息采集单元，用于采用结构光相机采集所述目标对象的所述当前轮廓信息；
人体三维模型构建单元，用于基于所述当前轮廓信息构建所述人体三维模型。
较佳地，所述初始人体模型构建单元用于基于所述关联参数，采用容积重建方法构建所述目标对象的所述初始人体模型。
较佳地，所述配准结果获取模块包括：
刚性变换单元，用于对所述数字孪生人体模型和所述人体三维模型进行刚性变换，直至将所述数字孪生人体模型和所述人体三维模型刚性变换至同一位置和姿态；
弹性形变处理单元，用于对所述人体三维模型进行弹性形变处理；
配准结果获取单元，用于将所述数字孪生人体模型和弹性形变处理后的所述人体三维模型进行弹性配准，获取所述配准结果。
较佳地，所述弹性形变处理单元用于采用径向基函数对所述人体三维模型进行弹性形变处理；
和/或，
所述配准结果获取单元用于采用Non-rigid ICP算法(非刚性配准算法)将所述数字孪生人体模型和弹性形变处理后的所述人体三维模型进行弹性配准，获取所述配准结果。
较佳地，所述介入手术路径规划***还包括：
模拟结果获取模块，用于基于所述初始手术路径规划模拟手术执行过程并获取模拟结果；
判断模块，用于在所述模拟结果表征模拟成功时，则调用所述目标手术路径规划模块；
所述判断模块还用于在所述模拟结果表征模拟不成功时，则调用路径规划修正模块修正所述初始手术路径规划，直至对应的所述模拟结果表征模拟成功。
本发明还提供一种介入手术操作***，所述介入手术操作***包括服务器，以及与所述服务器通信连接的影像设备、结构光相机、显示终端和手术机器人；
所述影像设备用于采集目标对象的各个组织器官的影像数据；
所述结构光相机用于获取所述目标对象的当前轮廓信息；
所述服务器包括上述的基于元宇宙的介入手术路径规划***，所述服务器用于输出人体三维模型中目标器官对应的目标手术路径规划；
所述显示终端用于显示所述目标手术路径规划；
所述手术机器人用于在接收到所述服务器基于所述目标手术路径规划生成的控制指令后执行对应的手术操作。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于元宇宙的介入手术路径规划方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于元宇宙的介入手术路径规划方法。
在符合本领域常识的基础上，所述各优选条件，可任意组合，即得本发明各较佳实施例。
本发明的积极进步效果在于：
本发明中，根据患者的关联参数构建数字孪生人体模型，基于患者的轮廓信息构建人体三维模型，然后对两种类别的3D人体模型进行配准，实现采用基于元宇宙的3D数字孪生人体模型的介入手术规划，通过数字孪生模型人体与实际人体三维模型的动态弹性配准，及时、精度且高效地计算实际穿刺路径，有效地提高了介入手术路径规划确定的精度和效率，保障了后续实际手术执行的安全性和可靠性，从而简化了从手术规划到手术执行的介入手术全工作流程，大大提升了医生手术规划的观感和体验，使得手术规划过程更加直观、安全和高效，且有效地避免了人工操作带了的误差和对医生和患者的辐射危害，使得手术效率和安全性远高于传统的介入手术。
附图说明
图1为本发明实施例1的基于元宇宙的介入手术路径规划方法的流程图。
图2为本发明实施例2的基于元宇宙的介入手术路径规划方法的流程图。
图3为本发明实施例3的基于元宇宙的介入手术路径规划***的模块示意图。
图4为本发明实施例4的基于元宇宙的介入手术路径规划***的模块示意图。
图5为本发明实施例5的介入手术操作***的结构示意图。
图6为本发明实施例6的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例的基于元宇宙的介入手术路径规划方法包括：
S101、基于目标对象的关联参数，构建目标对象的数字孪生人体模型；
其中，目标对象的关联参数为能够表征目标对象各项身体指标的数据，包括但不限于医学图像数据、各项生命体征以及生理信号等。
构建的元宇宙的数字孪生人体模型对应目标对象的实际状态，能够动态描述任意时刻目标对象的实际身体状态，高保真地显示身体中各器官的动态运行过程。
S102、获取目标对象的当前轮廓信息，构建人体三维模型；
S103、对数字孪生人体模型和人体三维模型进行配准，获取配准结果；
S104、基于关联参数，确定配准后的数字孪生人体模型中目标器官对应的初始手术路径规划；
S105、根据配准结果，将初始手术路径规划转换为人体三维模型中目标器官对应的目标手术路径规划。
通过将数字孪生人体模型中的初始手术路径规划映射到人体三维模型上，得到人体三维模型中的目标手术路径规划，以达到后续在数字孪生人体模型操作手术的同时，同步映射至与人体三维模型对应的目标对象的身体上以达到及时且高精度远程手术的目的。
本实施例中，根据患者的关联参数构建数字孪生人体模型，基于患者的轮廓信息构建人体三维模型，然后对两种类别的3D人体模型进行配准，实现采用基于元宇宙的3D数字孪生人体模型的介入手术规划，通过数字孪生模型人体与实际人体三维模型的动态弹性配准，及时、精度且高效地计算实际穿刺路径，有效地提高了介入手术路径规划确定的精度和效率，保障了后续实际手术执行的安全性和可靠性。
实施例2
如图2所示，本实施例的基于元宇宙的介入手术路径规划方法是对实施例1的进一步改进，具体地：
在一可实施的方案中，步骤S101包括：
S1011、基于目标对象的各个组织器官的影像数据和/或生理状态数据，构建目标对象的初始人体模型；
其中，影像数据包括但不限于CT、MR(核磁共振检查)、PET(正电子发射型计算机断层显像)影像；
生理状态数据包括血压、血流量、心率、呼吸率等各项生理信号。
当然还可以根据实际规划场景的需求，将其他维度的参数纳入以构建目标对象的初始人体模型，以保证模型构建更加灵活、高效且高精度。
在一可实施的方案中，步骤S1011包括
基于关联参数，采用容积重建方法构建目标对象的初始人体模型。
当然，还可以采用除容积重建方法之外的其他3D重建技术实现人体3D重建，只要能够实现基于关联参数构建对应的初始人体模型即可。
具体地，以CT影像为例，通过对目标对象的全身或某部位进行CT扫描获取CT影像，并分割出皮肤、骨骼、器官、病灶、血管等组织；采用容积重建技术，结合CT影像和当前目标对象的各项生理状态数据，将所有体素的CT值设定成为不同的透明度，同时利用虚拟照明效应，用不同的灰阶生成并显示三维立体图像，即目标对象的初始人体模型。
S1012、获取目标对象的动作状态数据；
S1013、将动作状态数据融合至初始人体模型，构建目标对象的数字孪生人体模型。
具体地，采用基于Marker点(反光标记点)的光学动作捕捉技术，捕捉当前目标对象的手术部位范围的运行数据，得到其对应的所有动作状态数据，例如捕捉到站立、下蹲、挥手等动作。
基于动作状态数据计算得到对应的姿态参数，并将姿态参数引入至初始人体模型中，以创建得到目标对象的基于身体的实际运作状态的数字孪生人体模型，以动态描述任意时刻目标对象的实际身体状态，通过数字孪生人体模型高保真的显示各器官的实际运行状态。另外，该数字孪生人体模型基于上述方式实时重建，以保证高精度表征目标对象。
在一可实施的方案中，步骤S102包括：
S1021、采用结构光相机采集目标对象的当前轮廓信息；
S1022、基于当前轮廓信息构建人体三维模型。
在一可实施的方案中，步骤S103包括：
S1031、对数字孪生人体模型和人体三维模型进行刚性变换，直至将数字孪生人体模型和人体三维模型刚性变换至同一位置和姿态；
S1032、对人体三维模型进行弹性形变处理；
S1033、将数字孪生人体模型和弹性形变处理后的人体三维模型进行弹性配准，获取配准结果。
在一可实施的方案中，步骤S1032包括：
采用径向基函数对人体三维模型进行弹性形变处理；
在一可实施的方案中，步骤S1033包括：
采用非刚性配准算法将数字孪生人体模型和弹性形变处理后的人体三维模型进行弹性配准，获取配准结果。
在一可实施的方案中，步骤S104包括：
基于各个组织器官的影像数据，采用基于三维点云的二叉树查找方法确定入针点位置；
基于身体关联参数确定初始病灶区域；
采用预设处理规则对初始病灶区域进行处理，获取目标病灶区域；
确定目标病灶区域对应的目标靶点位置；
基于入针点位置和目标靶点位置，生成对应数字孪生人体模型中目标器官对应的初始手术路径规划。
具体地，自动路径规划方法的过程如下：
一、路径靶点选取
(1)通过对目标对象的全身或某部位进行CT扫描获取CT影像，并分割出皮肤、骨骼、器官、病灶、血管等组织或器官的病灶mask(掩膜)；
(2)连通域分析：器官发生病变位置可能不止一处，将其分离成单个病灶，对每个病灶都需要提取合适的靶点进行穿刺引导；
(3)提取单个病灶的ROI区域(感兴趣区域)进行膨胀；
(4)对ROI区域进行重采样，重采样的尺度为图像原始尺度中X、Y、Z三个spacing采集距离(空间采集距离)最小的值；具体地，X、Y、Z为患者坐标系的三个方向，每个方向的空间采集距离不同，此处选取这三个方向中的最小空间采集距离作为重采样的尺度；
(5)更新ROI区域内的病灶mask：在存在多个不连通的病灶时，进行连通域分析会设置病灶对应不同的label(标签)值，而多个标签值会对距离场运算会造成一定干扰，因此可以通过遍历ROI区域，确定最后遍历的病灶作为最终保留的病灶；或者，采用选取最大病灶区域的方式确定最终保留的病灶等其他选取规则，具体此采用何种选取方式，可以根据实际情况进行确定或调整；
(6)病灶mask的孔洞填充：距离场的计算过程类似腐蚀的过程，受中间孔洞的影响较大，需要将孔洞作为实心处理；若病灶(或称靶区)提取时会使用孔洞填充，则在靶点计算时就无需执行孔洞填充操作；若病灶提取时不对孔洞进行填充，则需要在靶点计算时执行孔洞填充操作；具体何时进行孔洞填充可以根据实际情况进行确定或调整。
(7)距离场计算：计算病灶mask内每个体素到边界的最小距离值，以获取若干个不同距离大小的最小距离值；
(8)确定病灶上的最佳靶点：基于步骤(7)中获取的若干个不同距离大小的最小距离值，选取距离值最大的最小距离值作为距离场最大值；其中，计算得到的距离场最大值可能存在多个，当距离场最大值的体素数量为2时，则对该体素的邻近5*5*5立方体内求均值，取均值最大的点作为最佳靶点；
当距离场最大值的体素数量大于2时，考虑对特殊病灶模型的适应性(管状、柱状等)，遍历多个距病灶边界距离场最大值的体素点为P{P1、P2、P3、、、}，选取病灶对应的体素点集合P内的任意一个体素点P0，计算得到体素点P0与P内每个距离场最大值的体素点的距离之和，遍历求解得到距离之和最小的体素点P0点为最佳靶点，使靶点位置尽可能靠近病灶的中心，满足临床需求。
二、入针点选取
(1)在确认了靶点后，采用基于三维点云的二叉树查找方法进行入针点选取；
(2)根据入针点和靶点确定一条路径，计算路径与不可穿区域是否干涉，如有干涉，则重新选取入针点，直到生成无干涉的路径。
当然，对于数字孪生人体模型中目标器官对应的初始手术路径规划还可以根据医生人为干预确定，具体采用上述自动规划路径，还是基于医生人为规划确定，或者自动规划和人为规划相结合，可以根据实际情况进行及时确定或调整。
在一可实施的方案中，步骤S104之后、步骤S105之前还包括：
S10501、基于初始手术路径规划模拟手术执行过程并获取模拟结果；
S10502、在模拟结果表征模拟成功时，则执行步骤S105；
S10503、在模拟结果表征模拟不成功时，则修正初始手术路径规划，直至对应的模拟结果表征模拟成功，并继续执行步骤S105。
对于上述得到的初始手术路径规划，在数字孪生人体模型中模拟手术执行，若出现手术操作无法顺利执行(如若会破坏其他重要组织等)，则及时反馈当前的初始手术路径规划不符合要求，需要重新修正，直至初始手术路径规划能够在患者身体中顺利执行对应的手术操作，避免了因路径规划的不合理而导致后续手术执行不安全的情况发生，有效地保证了最终的手术路径规划的精确性和合理性，以及手术执行的安全性和可靠性。
本实施例的介入手术路径规划方案适用的应用场景包括但不限于胸腹部介入手术，术式包括：穿刺活检、金标植入、导丝植入、粒子植入、置管引流、消融治疗等。
本实施例中，根据患者的关联参数构建数字孪生人体模型，基于患者的轮廓信息构建人体三维模型，然后对两种类别的3D人体模型进行配准，实现采用基于元宇宙的3D数字孪生人体模型的介入手术规划，通过数字孪生模型人体与实际人体三维模型的动态弹性配准，及时、精度且高效地计算实际穿刺路径，有效地提高了介入手术路径规划确定的精度和效率，保障了后续实际手术执行的安全性和可靠性。
实施例3
如图3所示，本实施例的基于元宇宙的介入手术路径规划***包括：
数字孪生模型构建模块1，用于基于目标对象的关联参数，构建目标对象的数字孪生人体模型；
其中，目标对象的关联参数为能够表征目标对象各项身体指标的数据，包括但不限于医学图像数据、各项生命体征以及生理信号等。
构建的元宇宙的数字孪生人体模型对应目标对象的实际状态，能够动态描述任意时刻目标对象的实际身体状态，高保真地显示身体中各器官的动态运行过程。
人体三维模型构建模块2，用于获取目标对象的当前轮廓信息，构建人体三维模型；
配准结果获取模块3，用于对数字孪生人体模型和人体三维模型进行配准，获取配准结果；
初始手术路径规划模块4，用于基于关联参数，确定配准后的数字孪生人体模型中目标器官对应的初始手术路径规划；
目标手术路径规划模块5，用于根据配准结果，将初始手术路径规划转换为人体三维模型中目标器官对应的目标手术路径规划。
需要说明的是，本实施例的介入手术路径规划***的实现原理与实施例1的介入手术路径规划方法相同，因此在此就不再赘述。
本实施例中，根据患者的关联参数构建数字孪生人体模型，基于患者的轮廓信息构建人体三维模型，然后对两种类别的3D人体模型进行配准，实现采用基于元宇宙的3D数字孪生人体模型的介入手术规划，通过数字孪生模型人体与实际人体三维模型的动态弹性配准，及时、精度且高效地计算实际穿刺路径，有效地提高了介入手术路径规划确定的精度和效率，保障了后续实际手术执行的安全性和可靠性。
实施例4
如图4所示，本实施例的基于元宇宙的介入手术路径规划***是对实施例4进一步改进，具体地：
在一可实施的方案中，数字孪生模型构建模块1包括：
初始人体模型构建单元6，用于基于目标对象的各个组织器官的影像数据和/或生理状态数据，构建目标对象的初始人体模型；
其中，影像数据包括但不限于CT、MR、PET影像；
生理状态数据包括血压、血流量、心率、呼吸率等各项生理信号。
具体地，初始人体模型构建单元基于关联参数，采用容积重建方法构建目标对象的初始人体模型。
动作状态数据获取单元7，用于获取目标对象的动作状态数据；
数字孪生人体模型构建单元8，用于将动作状态数据融合至初始人体模型，构建目标对象的数字孪生人体模型。
在一可实施的方案中，人体三维模型构建模块2包括：
轮廓信息采集单元9，用于采用结构光相机采集目标对象的当前轮廓信息；
人体三维模型构建单元10，用于基于当前轮廓信息构建人体三维模型。
在一可实施的方案中，配准结果获取模块3包括：
刚性变换单元11，用于对数字孪生人体模型和人体三维模型进行刚性变换，直至将数字孪生人体模型和人体三维模型刚性变换至同一位置和姿态；
弹性形变处理单元12，用于对人体三维模型进行弹性形变处理；
配准结果获取单元13，用于将数字孪生人体模型和弹性形变处理后的人体三维模型进行弹性配准，获取配准结果。
在一可实施的方案中，弹性形变处理单元12用于采用径向基函数对人体三维模型进行弹性形变处理；
在一可实施的方案中，配准结果获取单元13用于采用非刚性配准算法将数字孪生人体模型和弹性形变处理后的人体三维模型进行弹性配准，获取配准结果。
在一可实施的方案中，初始手术路径规划模块4包括：
入针点位置确定单元14，用于基于各个组织器官的影像数据，采用基于三维点云的二叉树查找方法确定入针点位置；
初始病灶区域确定单元15，用于基于身体关联参数确定初始病灶区域；
目标病灶区域获取单元16，用于采用预设处理规则对初始病灶区域进行处理，获取目标病灶区域；
目标靶点位置确定单元17，用于确定目标病灶区域对应的目标靶点位置；
初始手术路径规划生成单元18，用于基于入针点位置和目标靶点位置，生成对应数字孪生人体模型中目标器官对应的初始手术路径规划。
在一可实施的方案中，介入手术路径规划***还包括：
模拟结果获取模块19，用于基于初始手术路径规划模拟手术执行过程并获取模拟结果；
判断模块20，用于在模拟结果表征模拟成功时，则调用目标手术路径规划模块5；
判断模块20还用于在模拟结果表征模拟不成功时，则调用路径规划修正模块21修正初始手术路径规划，直至对应的模拟结果表征模拟成功。
本实施例的介入手术路径规划方案适用的应用场景包括但不限于胸腹部介入手术，术式包括：穿刺活检、金标植入、导丝植入、粒子植入、置管引流、消融治疗等。
需要说明的是，本实施例的介入手术路径规划***的实现原理与实施例2的介入手术路径规划方法相同，因此在此就不再赘述。
本实施例中，根据患者的关联参数构建数字孪生人体模型，基于患者的轮廓信息构建人体三维模型，然后对两种类别的3D人体模型进行配准，实现采用基于元宇宙的3D数字孪生人体模型的介入手术规划，通过数字孪生模型人体与实际人体三维模型的动态弹性配准，及时、精度且高效地计算实际穿刺路径，有效地提高了介入手术路径规划确定的精度和效率，保障了后续实际手术执行的安全性和可靠性。
实施例5
如图5所示，本实施例的介入手术操作***包括但不限于服务器21，以及与服务器21通信连接的影像设备22、结构光相机23、显示终端24和手术机器人25。
影像设备22用于采集目标对象的各个组织器官的影像数据；
其中，影像设备22包括但不限于CT检测设备、核磁共振检测设备。
结构光相机23用于获取目标对象的当前轮廓信息；
服务器21包括实施例3或4中的基于元宇宙的介入手术路径规划***，服务器21用于输出人体三维模型中目标器官对应的目标手术路径规划；
显示终端24用于显示目标手术路径规划；
其中，显示终端24可以是可视化的显示设备，也可以为虚拟显示端。
另外，显示终端24除了显示目标手术路径规划，还可以显示初始手术路径规划、数字孪生模型人体、实际人体三维模型等，具体显示何种内容可以根据实际需求进行确定或调整。
具体地，远程端医生直接通过VR(虚拟现实)、AR(增强现实)等设备，结合初始手术路径规划在数字孪生人体模型上进行手术操作，数字孪生人体模型中仿真显示对应的手术执行情况，便于医生操作与观察。同时操作通过3D弹性配准，空间变换等将操作数据即初始手术路径规划转化为基于结构光相机构建的人体三维模型对应的目标手术路径规划，该目标手术路径规划为本地机器人的手术运动参数，以实现远程数据同步传输至本地端，远程端医生远程同步控制本地机器人对目标对象进行远程手术，直至完成手术。另外，该方案可以为提供给医生在手术前，在数字孪生人体上进行手术规划、手术模拟以及术后评估的工作，以提高手术的安全性和预测性。
本实施例中的上述的介入手术操作***，保证了介入手术操作的全流程；当然还可以根据实际需求集成设置其他功能的设备，达到灵活构建介入手术操作***的效果，以满足更高的介入手术操作要求。
另外，基于上述的介入手术路径规划方案得到的目标手术路径规划，实现远程端医生远程同步控制本地机器人对目标对象进行远程手术，简化了从手术规划到手术执行的介入手术全工作流程，大大提升了医生手术规划的观感和体验，使得手术规划过程更加直观、安全和高效；全程由手术机器人自动执行手术，降低了人工投入时间和成本，避免了人工操作带了的误差和对医生和患者的辐射危害，使得手术效率和安全性远高于传统的介入手术。
实施例6
图6为本发明实施例6提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述实施例的方法。图6显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备30可以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同***组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明上述实施例的方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例7
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述实施例的方法中的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现上述实施例的方法中的步骤。
其中，可以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种基于元宇宙的介入手术路径规划方法，其特征在于，所述介入手术路径规划方法包括：
基于目标对象的关联参数，构建所述目标对象的数字孪生人体模型，所述数字孪生人体模型对应所述目标对象的实际状态；
获取所述目标对象的当前轮廓信息，构建人体三维模型；
对所述数字孪生人体模型和所述人体三维模型进行配准，获取配准结果；
基于所述关联参数，确定配准后的所述数字孪生人体模型中目标器官对应的初始手术路径规划；
根据所述配准结果，将所述初始手术路径规划转换为所述人体三维模型中所述目标器官对应的目标手术路径规划。
2.如权利要求1所述的基于元宇宙的介入手术路径规划方法，其特征在于，所述基于目标对象的关联参数，构建所述目标对象的数字孪生人体模型的步骤包括：
基于所述目标对象的各个组织器官的影像数据和/或生理状态数据，构建所述目标对象的初始人体模型；
获取所述目标对象的动作状态数据；
将所述动作状态数据融合至所述初始人体模型，构建所述目标对象的所述数字孪生人体模型；
和/或，
所述获取所述目标对象的当前轮廓信息，构建人体三维模型的步骤包括：
采用结构光相机采集所述目标对象的所述当前轮廓信息；
基于所述当前轮廓信息构建所述人体三维模型。
3.如权利要求2所述的基于元宇宙的介入手术路径规划方法，其特征在于，所述基于所述关联参数，构建所述目标对象的初始人体模型的步骤包括：
基于所述关联参数，采用容积重建方法构建所述目标对象的所述初始人体模型。
4.如权利要求1-3中任一项所述的基于元宇宙的介入手术路径规划方法，其特征在于，所述对所述数字孪生人体模型和所述人体三维模型进行配准，获取配准结果的步骤包括：
对所述数字孪生人体模型和所述人体三维模型进行刚性变换，直至将所述数字孪生人体模型和所述人体三维模型刚性变换至同一位置和姿态；
对所述人体三维模型进行弹性形变处理；
将所述数字孪生人体模型和弹性形变处理后的所述人体三维模型进行弹性配准，获取所述配准结果。
5.如权利要求4所述的基于元宇宙的介入手术路径规划方法，其特征在于，所述对所述人体三维模型进行弹性形变处理的步骤包括：
采用径向基函数对所述人体三维模型进行弹性形变处理；
和/或，
所述对所述数字孪生人体模型和弹性形变处理后的所述人体三维模型进行弹性配准，获取所述配准结果的步骤包括：
采用非刚性配准算法将所述数字孪生人体模型和弹性形变处理后的所述人体三维模型进行弹性配准，获取所述配准结果。
6.如权利要求1-3中任一项所述的基于元宇宙的介入手术路径规划方法，其特征在于，所述确定配准后的所述数字孪生人体模型中目标器官对应的初始手术路径规划的步骤之后、所述根据所述配准结果，将所述初始手术路径规划转换为所述人体三维模型中所述目标器官对应的目标手术路径规划的步骤之前还包括：
基于所述初始手术路径规划模拟手术执行过程并获取模拟结果；
在所述模拟结果表征模拟成功时，则执行所述根据所述配准结果，将所述初始手术路径规划转换为所述人体三维模型中所述目标器官对应的目标手术路径规划的步骤；
在所述模拟结果表征模拟不成功时，则修正所述初始手术路径规划，直至对应的所述模拟结果表征模拟成功。
7.一种基于元宇宙的介入手术路径规划***，其特征在于，所述介入手术路径规划***包括：
数字孪生模型构建模块，用于基于目标对象的关联参数，构建所述目标对象的数字孪生人体模型，所述数字孪生人体模型对应所述目标对象的实际状态；
人体三维模型构建模块，用于获取所述目标对象的当前轮廓信息，构建人体三维模型；
配准结果获取模块，用于对所述数字孪生人体模型和所述人体三维模型进行配准，获取配准结果；
初始手术路径规划模块，用于基于所述关联参数，确定配准后的所述数字孪生人体模型中目标器官对应的初始手术路径规划；
目标手术路径规划模块，用于根据所述配准结果，将所述初始手术路径规划转换为所述人体三维模型中所述目标器官对应的目标手术路径规划。
8.一种介入手术操作***，其特征在于，所述介入手术操作***包括服务器，以及与所述服务器通信连接的影像设备、结构光相机、显示终端和手术机器人；
所述影像设备用于采集目标对象的各个组织器官的影像数据；
所述结构光相机用于获取所述目标对象的当前轮廓信息；
所述服务器包括权利要求7所述的基于元宇宙的介入手术路径规划***，所述服务器用于输出人体三维模型中目标器官对应的目标手术路径规划；
所述显示终端用于显示所述目标手术路径规划；
所述手术机器人用于在接收到所述服务器基于所述目标手术路径规划生成的控制指令后执行对应的手术操作。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的基于元宇宙的介入手术路径规划方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的基于元宇宙的介入手术路径规划方法。
CN202210639634.6A 2022-06-07 2022-06-07 手术路径规划方法、***、设备、介质和手术操作*** Pending CN115005981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210639634.6A CN115005981A (zh) 2022-06-07 2022-06-07 手术路径规划方法、***、设备、介质和手术操作***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210639634.6A CN115005981A (zh) 2022-06-07 2022-06-07 手术路径规划方法、***、设备、介质和手术操作***

Publications (1)

Publication Number Publication Date
CN115005981A true CN115005981A (zh) 2022-09-06

Family

ID=83073006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210639634.6A Pending CN115005981A (zh) 2022-06-07 2022-06-07 手术路径规划方法、***、设备、介质和手术操作***

Country Status (1)

Country Link
CN (1) CN115005981A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052864A (zh) * 2023-02-03 2023-05-02 广东工业大学 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法
CN116224829A (zh) * 2023-02-03 2023-06-06 广东工业大学 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法
CN116563379A (zh) * 2023-07-06 2023-08-08 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及***
CN116912430A (zh) * 2023-09-14 2023-10-20 北京唯迈医疗设备有限公司 用于构建远程介入手术室的三维数字孪生***的装置
CN116983086A (zh) * 2023-09-26 2023-11-03 北京长木谷医疗科技股份有限公司 一种自主关节置换手术机器人导航定位***
CN116983057A (zh) * 2023-09-25 2023-11-03 中南大学 一种可实时多重配准的数字孪生图像穿刺引导***
CN117530775A (zh) * 2024-01-09 2024-02-09 华中科技大学同济医学院附属协和医院 一种基于人工智能和ct的磁控介入控制方法及***

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052864A (zh) * 2023-02-03 2023-05-02 广东工业大学 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法
CN116224829A (zh) * 2023-02-03 2023-06-06 广东工业大学 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法
CN116052864B (zh) * 2023-02-03 2023-10-20 广东工业大学 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法
CN116224829B (zh) * 2023-02-03 2023-10-20 广东工业大学 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法
CN116563379A (zh) * 2023-07-06 2023-08-08 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及***
CN116563379B (zh) * 2023-07-06 2023-09-29 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及***
CN116912430A (zh) * 2023-09-14 2023-10-20 北京唯迈医疗设备有限公司 用于构建远程介入手术室的三维数字孪生***的装置
CN116912430B (zh) * 2023-09-14 2023-12-15 北京唯迈医疗设备有限公司 用于构建远程介入手术室的三维数字孪生***的装置
CN116983057A (zh) * 2023-09-25 2023-11-03 中南大学 一种可实时多重配准的数字孪生图像穿刺引导***
CN116983057B (zh) * 2023-09-25 2024-01-23 中南大学 一种可实时多重配准的数字孪生图像穿刺引导***
CN116983086A (zh) * 2023-09-26 2023-11-03 北京长木谷医疗科技股份有限公司 一种自主关节置换手术机器人导航定位***
CN116983086B (zh) * 2023-09-26 2024-01-09 北京长木谷医疗科技股份有限公司 一种自主关节置换手术机器人导航定位***
CN117530775A (zh) * 2024-01-09 2024-02-09 华中科技大学同济医学院附属协和医院 一种基于人工智能和ct的磁控介入控制方法及***
CN117530775B (zh) * 2024-01-09 2024-04-30 华中科技大学同济医学院附属协和医院 一种基于人工智能和ct的磁控介入控制方法及***

Similar Documents

Publication Publication Date Title
CN115005981A (zh) 手术路径规划方法、***、设备、介质和手术操作***
KR102018565B1 (ko) 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
JP2022507622A (ja) 拡張現実ディスプレイでの光学コードの使用
US8116847B2 (en) System and method for determining an optimal surgical trajectory
CN102784003B (zh) 一种基于结构光扫描的椎弓根内固定手术导航***
CN106691600A (zh) 一种脊柱椎弓根钉植入定位装置
EP2950735B1 (en) Registration correction based on shift detection in image data
CN115105207A (zh) 基于混合现实的手术全息导航方法及***
KR101862359B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2006003576A2 (en) Image processing system, particularly for images of implants
CN111588464A (zh) 一种手术导航方法及***
CN116492052B (zh) 一种基于混合现实脊柱三维可视化手术导航***
CN113610826A (zh) 穿刺定位方法及装置，电子设备及存储介质
Wahle et al. 3D heart-vessel reconstruction from biplane angiograms
CN116416383A (zh) 动态模型建立方法、模拟操作方法、装置、设备和介质
Advincula et al. Development and future trends in the application of visualization toolkit (VTK): the case for medical image 3D reconstruction
KR20190088419A (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
CN116747017A (zh) 脑出血手术规划***及方法
KR101940706B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准***
CN112102225B (zh) 配准装置、用于配准的方法和计算机可读的存储介质
EP4156100A1 (en) Providing result image data
CN118401960A (zh) 用于将解剖结构的模型划分为功能节段的***和方法
JP7444569B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination