CN110164557B - 隐式表面算法用于仿真模拟软组织手术路径规划的方法 - Google Patents

隐式表面算法用于仿真模拟软组织手术路径规划的方法 Download PDF

Info

Publication number
CN110164557B
CN110164557B CN201910216440.3A CN201910216440A CN110164557B CN 110164557 B CN110164557 B CN 110164557B CN 201910216440 A CN201910216440 A CN 201910216440A CN 110164557 B CN110164557 B CN 110164557B
Authority
CN
China
Prior art keywords
model
soft tissue
tissue
simulating
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910216440.3A
Other languages
English (en)
Other versions
CN110164557A (zh
Inventor
沈云鹤
唐安兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adroit Science And Technology Co ltd
Original Assignee
Adroit Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adroit Science And Technology Co ltd filed Critical Adroit Science And Technology Co ltd
Priority to CN201910216440.3A priority Critical patent/CN110164557B/zh
Publication of CN110164557A publication Critical patent/CN110164557A/zh
Application granted granted Critical
Publication of CN110164557B publication Critical patent/CN110164557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及隐式表面算法用于仿真模拟软组织手术路径规划的方法：S1:取得特定病例软组织部位的医学影像数据；S2：建立三维几何模型；S3：获取切除手术的器械特征数据；S4：基于人机交互界面设计，对软组织切除手术的手术器械实物或者模型的操作进行跟踪定位，计算其与解剖模型的相对位置，检测每一时刻的切除器械操作量；S5：基于隐式表面算法，将操作量施于软组织组织模型，根据器械特征，计算得出当前操作量所对应的作用量，作用量包括超声刀对组织的有效消融区域和消融轮廓；S6：根据计算得出的作用量，编辑修改组织模型，展示包括手术中切面的路径延伸、创面边界轮廓扩展的动态变化。本发明能够给予使用者更全面真实的术前预演体验。

Description

隐式表面算法用于仿真模拟软组织手术路径规划的方法
技术领域
本发明涉及一种隐式表面算法用于仿真模拟软组织手术路径规划的方法，属于计算机手术仿真模拟技术领域。
背景技术
本发明所涉及的相近的现有技术如下：
1.发明人沈云鹤负责研制的***微创手术模拟器[1，2]。
2.加拿大国家研究委员会(NRC)脑手术模拟器：颅脑手术模拟器(2012年论文报道提到类似1中的方法)[3]
3.骨科或者牙科等骨骼手术模拟[4]：类似1的方法。
4.日本筑波大学肝脏手术规划***：旧方法，相同领域，相同手术[5-7]。
5.欧洲INRIA研究院肝脏切除手术模拟技术：旧方法，相同手术模拟[8，9]。
6.瑞士苏黎世大学/VirtaMed公司的***手术模拟器：旧方法，后期对1进行仿制。
7.典型的肝脏手术路径规划软件MeVisLab[10]。
[1]Shen，Y.，Konchada，V.，Zhang，N.，Jain，S.，Zhou，X.，Burke，D.，Wong，C.，Carson，C.，Roehrborn，C.，and Sweet，R.，2011，“Laser Surgery Simulation Platform：Toward Full-Procedure Training and Rehearsal for Benign Prostatic Hyperplasia(BPH)Therapy，”Stud.Health Technol.Inform.，163，pp.574-580.
[2]Aydin，A.，Raison，N.，Khan，M.S.，Dasgupta，P.，and Ahmed，K.，2016，“Simulation-Based Training and Assessment in Urological Surgery，”Nat.Rev.Urol.，13(9)，pp.503-519.
[3]Delorme，S.，Laroche，D.，DiRaddo，R.，and F.Del Maestro，R.，2012，“NeuroTouch：A Physics-Based Virtual Simulator for Cranial MicroneurosurgeryTraining，”Oper.Neurosurg.，71，pp.ons32-ons42.
[4]Pflesser，B.，Petersik，A.，Tiede，U.，Hihne，K.H.，and Leuwer，R.，2002，“Volume Cutting for Virtual Petrous Bone Surgery，”Comput.Aided Surg.，7(2)，pp.74-83.
[5]Oshiro，Y.，and Ohkohchi，N.，2017，“Three-Dimensional Liver SurgerySimulation：Computer-Assisted Surgical Planning with Three-DimensionalSimulation Software and Three-Dimensional Printing＜sup/＞，”Tissue Eng.PartA，23(11-12)，pp.474-480.
[6]Oshiro，Y.，2015，“Novel 3-Dimensional Virtual Hepatectomy SimulationCombined with Real-Time Deformation，”World J.Gastroenterol.，21(34)，p.9982.
[7]Enzaki，Y.，Yano，H.，Oshiro，Y.，Kim，J.，Kim，S.，Iwata，H.，and Ohkohchi，N.，2015，“Development of the Haptic Device for a Hepatectomy Simulator，”HapticInteraction，H.Kajimoto，H.Ando，and K.-U.Kyung，eds.，Springer Japan，Tokyo，pp.231-235.
[8]Courtecuisse，H.，Allard，J.，Kerfriden，P.，Bordas，S.P A.，Cotin，S.，andDuriez，C.，2014，“Real-Time Simulation of Contact and Cutting of HeterogeneousSoft-Tissues，”Med.Image Anal.，18(2)，pp.394-410.
[9]Courtecuisse，H.，Jung，H.，Allard，J.，Duriez，C.，Lee，D.Y.，and Cotin，S.，2010，“GPU-Based Real-Time Soft Tissue Deformation with Cutting and HapticFeedback，”Prog.Biophys.Mol.Biol.，103(2-3)，pp.159-168.
[10]“MeVisLab：History”[Online].Available：https：//www.mevislab.de/mevislab/history/.[Accessed：15-Dec-2017].
[11]Lang，H.，2005，“Impact of Virtual Tumor Resection and Computer-Assisted Risk Analysis on Operation Planning and Intraoperative Strategy inMajor Hepatic Resection，”Arch.Surg.，140(7)，p.629.
[12]Muhler，K.，Tietjen，C.，Ritter，F.，and Preim，B.，2010，“The MedicalExploration Toolkit：An Efricient Support for Visual Computing in SurgicalPlanning and Training，”IEEE Trans.Vis.Comput.Graph.，16(1)，pp.133-146.
[13]“
Figure GDA0002121316230000031
Vision-Vital Images”[Online].Available：http：//www.vitalimages.com/vitrea-vision/.[Accessed：15-Dec-2017].
[14]Reitinger，B.，Borbik，A.，Beichel，R.，and Schmalstieg，D.，2006，“LiverSurgery Planning Using Virtual Reality，”IEEE Comput.Graph.Appl.，26(6)，pp.36-47.
[15]Marescaux，J.，Clément，J.-M.，Tassetti，V.，Koehl，C.，Cotin，S.，Russier，Y.，Mutter，D.，Delingette，H.，and Ayache，N.，1998，“Virtual Reality Applied toHepatic Surgery Simulation：The Next Revolution：，”Ann.Surg.，228(5)，pp.627-634.
手术规划与手术模拟训练是两个不同领域，有着不同的需求目标和侧重点。另一方面，两者的技术组成中存在一部分可以共用的技术。
在手术规划领域，传统的计算机手术规划软件(如：参考文献[10])，主要使用计算机可视化(visualization)、三维解剖模型重建等医学影像软件技术，从特定病例的断层扫描等临床影像数据中，生成与手术对象对应的二维图片或者三维图形；并且通过键盘鼠标等界面，输入数值或者标定点、线、面，对手术路径或者结果与指标进行术前规划和分析评估(如：参考文献[10-13])。近期的技术进步包括集成3D打印等实物模型，以及各类虚拟现实(VR、AR、MR)技术，改善规划***的人机交互界面和数据展示能力(如参考文献[14])。
在手术仿真模拟领域，手术模拟器作为实际操作技能的模拟演练设备，为训练者提供安全、高效的技能学***还不能够全自动即时生成可供交互模拟手术过程的模型，作为训练科目也无此必要。
虽然相关科技有待完善，但是(如参考文献[15])早期一些医学仿真模拟研究人员，已经开始讨论跨领域技术革新与应用的设想-使用手术模拟的技术方式进行肝脏手术规划的可能性。
组织分离与切除：脏器组织在手术中发生多种变化，其中不同组织或者同一组织的分离，是在大量手术科目中发生的一项重要变化过程。用于分离组织的设备及其对应的分离方式多种多样，例如：传统开放式手术以及微创手术器械中的刀剪钳夹类工具，各式电刀、激光、磨吸、超声刀等器械，及其分别对应的机械切割、钝性剥离、磨削钻孔、气化、消融、乳化等。对组织分离进行仿真计算和再现的科技方法，是本文及本发明的技术重点。
分离切除仿真建模基本原理与方法比较：实现分离变化与切除操作的基本计算与仿真内容，主要包括建立三维解剖模型，以及通过编辑和修改模型来演示切除效果。三维解剖模型的建立，可以是对医学断层扫描影像数据运用计算机可视化算法生成，也可由计算机三维建模软件制作加工。三维模型的几何模型通常为网格结构，例如多边形网格曲面或者多面体网格体，也可以直接对医学影像数据的体元素(voxel)进行体渲染(volumetricrendering)。这样，通过改变模型中几何体的结构，可以展现手术中组织的分离切除效果。网格建模和刨分算法(meshing)，属于计算几何(computational geometry)以及计算机图形学研究领域。
在上述1-7项相近的现有技术中，有关三维几何模型刨分编辑算法分类说明及比较如下：
旧方法，指的是采用传统的直接编辑修改几何模型元素的“显式”方法，例如，将一个三角形按照切线轨迹细分(subdivide)成多个三角形。
新方法以及类似方法，指的是由体元素(Voxel)三维阵列中提取构造隐式表面(implicit surface)的这一类计算机可视化算法，以下简称为“隐式”方法。本发明所选用的方法即属于这一种类。
现有技术7是传统的肝脏部分切除术路径规划软件的例子。
现有技术4、5采用了旧方法作为切除算法，结果表明显示方法在此类应用上适用性不佳。现有技术4是集成VR界面的肝脏手术规划***，以短直线细分网格模型的方式规划切口路径。现有技术5用于肝脏手术模拟，以具体手术器械模拟切除过程，提到了该技术在肝脏手术规划方向的应用前景；但是，由于采用显示网格模型细分方法，其肝脏切面效果粗糙，不适合手术规划的用途。
现有技术1、2、3、6为其它手术科目的模拟***，并非肝脏手术规划。它们采取了隐式表面新方法，公布的具体算法为CSG/CVG算法。
现有技术的缺陷：传统手术规划软件使用的键盘鼠标操作界面适用性差，与实际手术操作界面没有相似性。
输入预设点、线、面参数进行切除规划的方式，是对实际手术切除操作和变化过程的抽象和简化，缺少对中间步骤的规划和体验。此类手术规划***的主要功能局限于对手术结果进行分析评估，不具备预演和体验功能。
直接切分几何模型元素的显式方法，不利于为“部分肝切除”等精细复杂的微创手术规划路径。现有显式切除方法的模型分辨率低，模拟切块尺寸往往大于实际情况。单纯增大分辨率则会使计算量迅速上升，超出仿真***的实时响应能力。渐进的、任意的、反复切除的手术操作，在模型的局部不断地细分，形成错综复杂的结构，使得显式算法出错率增加，可靠性下降，难以控制切面边界复杂程度。
特定病例的网格建模效率低，过程复杂，不能全自动完成，时间长。建立手术模拟器中虚拟病人脏器组织动态仿真模型的流程则更加复杂。这两项主要技术难点，制约了以手术仿真模拟器作为手术规划***的构想的可行性和实用性。
发明内容
本发明的目的在于解决现有技术的不足，提供一种隐式表面算法用于仿真模拟软组织手术路径规划的方法。所述软组织至少包括肝脏组织、肺部组织和脑组织中的任意一种。
本发明中的手术路径规划方法能够同时达到以下目的：
用于软组织等部位的消融切除手术规划。
精准规划路径，根据切除器械特征，精准展现各类切除方式的切面边界。
渐进式(Progressive)手术规划，每一步操作都与一个中间结果互相对应，完整地展现切除路径的具体形成过程。
人机交互式动态手术规划，根据每一时刻的操作量，实时计算和更新虚拟模型，生成相应的切面/创面。
采用手术模拟领域的部分技术方法，选择性地实现手术仿真模拟的操作功能，例如可集成仿真操作界面。另一方面，因为本技术发明的重点是解决特定病例手术路径规划的需求，而不是操作技能训练，所以在必要时，可对手术模拟***中必备的脏器组织动态仿真模型予以简化或者作为可选项，以保证方案的可行性。
可直接使用医学影像数据组成的体元素模型，使得重建网格几何模型的工作变为可选项而不是必须环节。
现有技术1-7均源自相关领域的国际一流研发机构。肝脏切除手术同期存在。在本发明的技术方案被提出之前，这些研发人员尚未掌握新的分离切除仿真方法，或者尚未认识到新方法在肝脏切除手术路径规划中的应用价值和可行性。
本发明解决其技术问题所采用的技术方案是：
隐式表面算法用于仿真模拟软组织手术路径规划的方法：
S1：取得特定病例软组织部位的医学影像数据；
S2：建立三维几何模型，具体的说运用可视化算法，生成软组织组织结构的网格模型，或者采用医学影像软件具有的体渲染数据作为体元素模型；
例如Marching Cubes等算法，常用于医学影像数据的三维模型重建。许多开源工具例如VTK以及临床影像设备自带的商业软件具有这些功能；
体渲染数据来自医学影像设备。许多开源工具例如VTK以及临床影像设备自带的商业软件具有这些功能。本发明的应用目的是手术规划，初始数据即来自于手术对象的病例影像(例如CT/MRI)。
S3：获取切除术的器械特征数据，包括器械机械结构的外形轮廓和器械功率相关参数设置与组织切除或者消融量的对应关系，获取方式为实测或由器械制造方提供；
S4：基于集成手术模拟器的人机交互界面设计，对软组织切术手术器械实物或者模型的操作进行跟踪定位，计算其与解剖模型的相对位置，检测每一时刻的切除器械操作量；
采用计算机仿真设计的手术模拟器，其操作界面都具有跟踪和定位功能。同时，手术机器人***也具有对手术器械的定位检测功能。手术规划功能模块可以集成到手术机器人***或者计算机辅助手术***，也可以集成到手术模拟器、医学影像诊断设备上；
S5：基于隐式表面算法，将操作量施于软组织组织模型，根据器械特征，计算得出当前操作量所对应的作用量，作用量包括手术器械对组织的有效消融区域和消融轮廓；
具体的说，根据手术器械的刀体机械轮廓、超声能量在刀体的分布特点相关因素，计算其对肝组织的消融切除作用量，以及对血管及相关组织的损伤作用量。采用隐式表面算法，医生能够根据每一次操作的不同作用量，生成其所对应的不同创面轮廓，并且十分可靠地对整体的切除路径连续地进行修改更新；
S6：根据计算得出的作用量，编辑修改组织模型，展示包括手术中切面的路径延伸、创面边界轮廓扩展的动态变化；
边界轮廓的变化是由上述仿真模拟方法自动生成的：新的创面，通过使用隐式表面算法生成并且与已有的三维模型合为一体；其中新增创面的位置，或者发生变化的已有创面的位置，由步骤S4决定；边界轮廓的形状及其对应的切除作用量的大小由步骤S5决定。
S7：基于集成手术模拟器已实现的其它仿真模拟功能，包括软组织变形以及出血止血，以人机互动操作的方式，实时地展现特定病例的切除过程。
本发明可以与常规的计算机手术模拟器集成，主要目的是使用计算机手术模拟器的人机交互界面。要求：***需要具备实时/交互计算能力。
优选地，出于成本等产品设计考虑，如果一台计算机的计算效率不能达到实时响应的标准，可以去除次要的仿真模拟功能：例如，忽略出血等特效，简化关于组织变形的仿真模拟(引用现有的一些快速算法)，软件模块仅实现手术路径规划功能，硬件为其提供人机交互式操作界面。
手术路径规划的核心内容是在病例模型上，实现创面的渐进式生成和变化过程。其它的，关于虚拟手术场景的仿真模拟功能的设计与实现，以及这些功能与切除路径仿真计算模块的集成，现有技术已为我们提供了可行的例证。
优选的，步骤S1中，医学影像数据为X射线断层扫描(CT)或者磁共振断层扫描(MRI)数据。
本发明的有益效果是：软组织疾病发病率高。如，我国是典型的肝病大国。肝脏组织部分切除手术极具挑战性：肝脏血流量大，内部有着大小不一的大量动静脉及胆管，结构错综复杂，手术难度大，风险高。本发明以人机交互式手术仿真模拟的方式，进行软组织手术路径规划。较之传统的手术规划软件，能够给予使用者更加全面、真实的术前预演体验。在已有微创手术模拟器的基础之上，本发明运用隐式方法生成切面，比采用显式方法的现有软组织手术模拟器中的切面更加精准，可满足精准规划、分析和预演手术切除路径的实际需要，具有实用价值。本发明既能够用于可视化软件所生成的网格模型数据，也能够省略这一建模环节，直接用于医学影像设备所提供的特定病例数据，为手术规划技术在临床实践中的应用显著地节约时间成本。
附图说明
图1是参考文献[11]的现有肝脏手术规划软件-画线显示切割结果；
图2是参考文献[8]的现有肝脏手术模拟器中的切面效果-显示细分法；
图3是参考文献[9]的现有肝脏手术模拟器中的切面效果-显示细分法；
图4是参考文献[5-7]的现有肝脏手术规划VR***的直线切割效果-显式细分法；
图5是本发明采用隐式消融切除方法进行肝脏等组织仿真的效果-切除路径边界可控。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。
本发明提供了一种隐式表面算法用于仿真模拟软组织手术路径规划的方法，此处以肝脏组织作为软组织的示例，方法的步骤如下：
S1：取得特定病例肝脏部位的医学影像数据；
S2：建立三维几何模型，具体的说运用可视化算法，生成肝脏组织结构的网格模型，或者采用医学影像软件具有的体渲染数据作为体元素模型；
例如Marching Cubes等算法，常用于医学影像数据的三维模型重建。许多开源工具例如VTK以及临床影像设备自带的商业软件具有这些功能；
体渲染数据来自医学影像设备。许多开源工具例如VTK以及临床影像设备自带的商业软件具有这些功能。本发明的应用目的是手术规划，初始数据即来自于手术对象的病例影像(例如CT/MRI)。
S3：获取切除术的器械特征数据，包括器械机械结构的外形轮廓和器械功率相关参数设置与组织切除或者消融量的对应关系，获取方式为实测或由器械制造方提供；
S4：基于集成手术模拟器的人机交互界面设计，对肝脏切术手术器械实物或者模型的操作进行跟踪定位，计算其与解剖模型的相对位置，检测每一时刻的切除器械操作量；
采用计算机仿真设计的手术模拟器，其操作界面都具有跟踪和定位功能。同时，手术机器人***也具有对手术器械的定位检测功能。手术规划功能模块可以集成到手术机器人***或者计算机辅助手术***，也可以集成到手术模拟器、医学影像诊断设备上；
S5：基于隐式表面算法，将操作量施于肝脏组织模型，根据器械特征，计算得出当前操作量所对应的作用量，作用量包括手术器械对组织的有效消融区域和消融轮廓；
具体的说，根据手术器械的刀体机械轮廓、超声能量在刀体的分布特点相关因素，计算其对肝组织的消融切除作用量，以及对血管及相关组织的损伤作用量。采用隐式表面算法，医生能够根据每一次操作的不同作用量，生成其所对应的不同创面轮廓，并且十分可靠地对整体的切除路径连续地进行修改更新；
S6：根据计算得出的作用量，编辑修改组织模型，展示包括手术中切面的路径延伸、创面边界轮廓扩展的动态变化；
边界轮廓的变化是由上述仿真模拟方法自动生成的：新的创面，通过使用隐式表面算法生成并且与已有的三维模型合为一体；其中新增创面的位置，或者发生变化的已有创面的位置，由步骤S4决定；边界轮廓的形状及其对应的切除作用量的大小由步骤S5决定。
S7：基于集成手术模拟器已实现的其它仿真模拟功能，包括软组织变形以及出血止血，以人机互动操作的方式，实时地展现特定病例的切除过程。
本发明可以与常规的计算机手术模拟器集成，主要目的是使用计算机手术模拟器的人机交互界面。要求：***需要具备实时/交互计算能力。
具体的说，出于成本等产品设计考虑，如果一台计算机的计算效率不能达到实时响应的标准，可以去除次要的仿真模拟功能：例如，忽略出血等特效，简化关于组织变形的仿真模拟(引用现有的一些快速算法)，软件模块仅实现手术路径规划功能，硬件为其提供人机交互式操作界面。
手术路径规划的核心内容是在病例模型上，实现创面的渐进式生成和变化过程。其它的，关于虚拟手术场景的仿真模拟功能的设计与实现，以及这些功能与切除路径仿真计算模块的集成，现有技术已为我们提供了可行的例证。
步骤S1中，医学影像数据为X射线断层扫描(CT)或者磁共振断层扫描(MRI)数据。
基于本发明方法的***流程示意：医学影像数据(CT断层扫描、磁共振)，使用图像分割(segmentation)等医学可视化技术，重建手术部位脏器组织的体元素(voxel)三维解剖模型，或者对体元素模型使用可视化三维重建技术，生成网格(mesh)模型，运用手术仿真建模技术，建立交互模型，由计算机图形学以及可视化领域的渲染技术，在显示设备上，动态展示交互模型；
交互模型、分离切除仿真及其生成的手术路径，都属于实时仿真模拟***主程序的组成部分(还包括其它常见的技术组成，可查阅有关手术模拟器或者虚拟手术***的综述文献)；实时仿真模拟根据由人机交互界面所检测采集的操作量，以及逐步生成和延伸的手术路径，对交互模型进行更新；
基于本发明方法的分离切除仿真示意：分离切除数据可由实验手术获得，或者由分子动力学模拟(Molecular Dynamics Simulations)估算。(注：分子动力学模拟达不到实时模拟的运算效率，所得出的结果与实验数据一样，可作为预备的参照数据。)根据操作量，经过拟合，得出分离切除的作用量，生成创面模块根据作用量以及上一时刻的交互模型，逐步计算得出当前时刻操作所形成的新创面，以渐进方式更新手术路径。
本发明中，相关技术组成的内涵如下：
1.医学影像数据：取得特定病例手术部位的医学影像数据。优选地，可以是临床X射线断层扫描(CT)或者磁共振(MRI)等影像。
2.可视化：此处主要使用医学可视化中的图像分割(segmentation)等技术，提取、重建手术部位脏器组织的三维解剖模型，确定各个模型的边界、内部结构、模型之间的相对位置关系。
3.体元素模型：由众多体元素(voxel)构成的脏器组织三维模型。
4.可视化：此处使可视化技术，从体元素模型生成网格(mesh)模型。隐式表面算法是可视化技术中的一类算法，能够从体元素中提取、展示、修改等值面(isosurface)。
5.网格模型：由多边形或者多面体构成的二维或者三维几何模型，及其表面贴图、材质渲染属性等设置。
6.建模：根据脏器组织的形态结构和物理属性等特征，定义其在手术过程中的响应和变化规则，运用计算机仿真模拟的一系列算法，在三维模型上建立求解的机制(参考相关外科手术仿真模拟文献综述)。形态结构可以用网格模型或者体元素模型定义。
7.交互模型：根据操作者在手术进程中的输入，实时地模拟、更新和展示脏器组织相应的动态变化的仿真模型。
8.分离切除数据：分离切除数据反映了消融切除能量以及作用量在对象组织中的分布情况。数据可由实验获得，或者由分子动力学模拟(Molecular DynamicsSimulations)等仿真计算得出。我们的应用领域主要是微创切除术的精准路径规划。与传统开放手术中手术刀剪等机械切除工具不同的是，在现代微创手术中，对重要的分离切除操作普遍采用可控能量的消融切除器械，例如对局部组织施加超声、激光等能量，产生液化、气化等消融作用，实现精细的分离切除操作。
8.分离切除仿真：对分离切除数据进行拟合，由操作者的操作量，计算分离切除的作用量，并且生成创面。
9.手术路径：随着手术操作进程，而在交互模型上由生成的创面逐步地(progressively)形成整体的分离切除边界轮廓。手术路径包括脏器组织发生分离切除变化后所留下的痕迹，也包含操作路径信息。
10.渲染：使用计算机图形显示卡产品，并且调用和编写三维渲染程序，或者调用和编写可视化技术中的体渲染程序，展示三维模型的外观与结构。
11.显示：显示器可以根据需要使用平面显示器、三维全息显示器、或者虚拟现实(VR)、增强显示(AR)等头戴显示器(HMD)。
12.人机交互界面：供使用者与虚拟手术场景进行互动操作的用户界面设备，一般主要由手术器械模型，以及运动检测传感器或者运动跟踪设备构成。
13.操作量：通过传感器或者运动跟踪设备对手术操作的测量。
14.拟合：由已知的分离切除数据，计算当前测定的手术操作量对交互模型的改变，使之尽可能与已知数据相符。
15.作用量：当前交互模型发生的改变。
16.生成创面：根据计算得出的当前分离切除操作的作用效果，编辑修改交互模型，在上面增添新的手术创面。
手术操作量跟踪检测-＞消融切除作用量计算-＞分离切术算法编辑(显式或者隐式表面)-＞生成切除创面-＞更新手术路径。
本发明率先提出使用人工智能的机器学习技术，进行分离切除数据拟合-由已知的分离切除数据，计算当前测定的手术操作量对交互模型的作用量，使之与已知的参照数据相符。
目标：在给定的消融切除器械功率、与组织的相对位置/距离等变量的作用下，估算被切除组织体积及其空间分布。
与已有方法相比，这一方法能够精准地决定消融切除边界轮廓以及由其所构成的手术路径。
在边界逐步地、渐进式地(progressively)发生变化的情况下，每一时段的分离切除作用量，可以定义为已有边界与新边界之间的差异。在三维空间中，这一差异的总量为体积量。为了完整地确定分离切除作用量，我们不仅要确定这一总量，而且要确定这一体积量在已有边界上的分布。因此，我们将此处“作用量”定义为体积量沿边界面的分布，即边界面上每一点所对应的体积量。
机器学习的两类常用方法，例如支持向量机(SVM)方法、神经网络方法，都能够应用于本发明的这一问题。
1.1机器学习的数据与特征
数据：分离切除数据反映了消融切除能量以及作用量在对象组织中的分布情况。数据可由实验获得，或者由分子动力学模拟(Molecular Dynamics Simulations)等仿真计算得出。
能量从器械发出，向周围扩散。位于有效作用区域内的组织，受到能量的影响，而发生物理状态的变化。
实验可以测得能量对组织标本的作用量。例如，激光能量被组织吸收后，在组织中产生热量，一些固态组织被气化；超声波能量被组织吸收后，一些固态组织被乳化。对标本进行倒模、切片等处理后，可测得组织发生气态、液态等相变的范围(部位和体积)。
仿真模拟可以计算能量对组织模型的作用量。例如，分子动力学模拟可以计算能量、温度等数值在组织中的分布，并可由此计算固态组织达到气态、液态相变条件的范围。
特征：
功率
坐标/距离
作用时间
组织差异
目标：判断和估算组织发生气化消融等相变的部位/范围。
问题：这一拟合问题可以被定义为回归(Regression)问题，也可以被定义为分类(Classification)问题。
求解回归问题，即是根据实验结果，或者分子动力学模拟，确定消融切除能量在组织中的分布，再由能量分布结果确定组织发生液化或者气化的范围。
求解分类问题，则是根据实验或者分子动力学模拟数据，直接划分液化或者气化的范围。例如，采用分子动力学模拟的直接结果，我们可以对交互模型的虚拟组织进行分类，一类是属于没有被分离切除、仍然剩余的组织，一类是属于在当前时段被分离切除的组织。这样，求解作用量的问题被转化为机器学习中的二分类问题。
三维模型的几何模型通常为网格结构，例如多边形网格曲面或者多面体网格体，也可以直接对医学影像数据的体元素(voxel)进行体渲染(volumetric rendering)。
一直以来，计算机三维图形技术与设备是基于网格模型的表面渲染方式而设计的。
目前网格模型的表面渲染效果具有更多的特效选项，速度也更快。体渲染需要对体元素模型进行预处理，目前不能达到网格模型表面渲染的逼真度。
体渲染的模型更加完整地包括了三维实体模型的结构信息，例如模型边界内部的解剖结构。构建复杂结构时，体元素模型比网格模型更为简洁可靠。
本技术方案运用基于隐式表面的分离切除算法，既能够使用网格模型，也能够直接使用医学影像数据组成的体元素模型。重建网格几何模型的工作变为可选项而不是必须环节。本技术方案能够在肝脏等可变形软组织模型上，实现以互动手术仿真模拟进行路径规划。
重建网格模型然后构建互动仿真模型的过程复杂，许多计算机仿真模拟算法对网格质量有严格要求，因此往往需要专业人员多次对网格重建和刨分结果进行手工校对优化处理，以及测试验证。为每一个临床特定病例(patient-specific)重建网格模型不能全自动完成，过程复杂；为其建立手术模拟器中虚拟病人脏器组织动态仿真模型的流程则更加复杂。这两项主要技术难点，制约了以手术仿真模拟器作为手术规划***的构想的可行性和实用性。
网格模型重建和体元素模型体渲染这两种方法，在放射科等临床诊断的医学图像应用领域均已普遍使用；现有手术模拟技术产品中的分离切除模块，普遍使用网格重建模型，而体元素模型仅被用于牙科骨科等“刚体”模型。应用于软组织模型需要解决的主要技术问题是，对软组织的分离切除和形变同时用体元素模型进行仿真模拟。
本申请发明人的早期成果和其它已有技术实例表明，隐式表面算法可以用于实现软组织手术仿真模拟***。
本技术方案进一步提出直接使用体元素模型构建软组织分离切除术的仿真模拟及路径规划***，提供直接从体元素模型跳接到互动模型的选项。
本申请的隐式表面算法，能够编辑修改体元素模型数据。
体元素数据，或称为体数据，即体元素模型所在的三维采样空间内，每个体元素(voxel)所占据的立方体的8个顶点(采样点)所对应的数据。医学影像设备采集的这些数据数值通常反映了这些顶点位置所对应的一些物理数值和组织属性，例如磁共振幅度、X射线传递分布、超声波传递分布，以及转化导出的组织密度、生物材料属性等。这些数据在***中由分离切除仿真模块对其进行修改更新。
本申请的隐式表面算法作为可视化算法，能够从这些体元素体数据中动态提取等值面，等值面可由网格表面模型构建，由此转入网格模型的处理流程，采用基于网格模型的仿真模拟及路径规划选项。还可以跳过上述网格模型的构建步骤，跳接***中的3、6、7模块，即为体元素和体渲染选项。
本申请对基于体元素体渲染的新设计，给出以下有关技术方案和解答：体元素模型分辨率过高的问题：
如果某些医学影像原始数据分辨率，相对于软组织模型形变与分离切除的实时仿真模拟负荷而言过高，可通过降低采样率(down sampling)，自适应分辨率(adaptiveresolution)等常用优化技术手段，降低***实时模块的计算量。
体元素模型分辨率是否过低，体渲染没有网格模型中直观的边界表面，是否能达到网格模型具备的清晰度。
体元素模型和体渲染已经被广泛用于临床医学影像诊断设备，包括一些键鼠划线操作的手术规划软件，表面其符合临床工作需求标准，有实用价值。
采用体元素和体渲染选项，是否实现了任意特定病例的全自动手术路径规划或者全自动手术仿真模拟。
原始体元素影像数据仍是医学断层扫描格式，重建三维体元素模型需要对其进行图像分割等可视化处理。当前这一重建技术总体上处于半自动化的阶段。
体元素体渲染选项的主要优势：显著降低建模流程的复杂度和时间成本，提高术前路径规划的建模效率和实用性。
图1是参考文献[11]的现有肝脏手术规划软件-画线显示切割结果，图2是参考文献[8]的现有肝脏手术模拟器中的切面效果-显示细分法，图3是参考文献[9]的现有肝脏手术模拟器中的切面效果-显示细分法，图4是参考文献[5-7]的现有肝脏手术规划VR***的直线切割效果-显式细分法，图5是本发明采用隐式消融切除方法进行肝脏等组织仿真的效果-切除路径边界可控。本发明以人机交互式手术仿真模拟的方式，进行软组织手术路径规划。较之传统的手术规划软件，能够给予使用者更加全面、真实的术前预演体验。在已有微创手术模拟器的基础之上，本发明运用隐式方法生成切面，比采用显式方法的现有软组织手术模拟器中的切面更加精准，可满足精准规划、分析和预演手术切除路径的实际需要，具有实用价值。本发明既能够用于可视化软件所生成的网格模型数据，也能够省略这一建模环节，直接用于医学影像设备所提供的特定病例数据，为手术规划技术在临床实践中的应用显著地节约时间成本。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (7)

1.隐式表面算法用于仿真模拟软组织手术路径规划的方法，其特征在于，所述方法步骤如下：
步骤S1:取得特定病例软组织部位的医学影像数据；医学影像数据为X射线断层扫描或者磁共振断层扫描数据；
步骤S2：建立三维几何解剖模型；
步骤S3：获取切除手术的手术器械特征数据；
步骤S4：基于集成手术模拟器的人机交互界面设计，对软组织切除手术的手术器械实物或者模型的操作进行跟踪定位，计算其与解剖模型的相对位置，检测每一时刻的手术器械操作量；
步骤S5：基于隐式表面算法，将操作量施于软组织的组织模型，根据手术器械特征，计算得出当前操作量所对应的作用量，作用量包括手术器械对软组织的有效消融区域和消融轮廓；
步骤S6：根据计算得出的作用量，编辑修改组织模型，展示包括手术中切面的路径延伸、创面边界轮廓扩展的动态变化；
步骤S7：基于集成手术模拟器已实现的其它仿真模拟功能，包括软组织变形以及出血止血，以人机互动操作的方式，实时地展现特定病例的切除过程。
2.根据权利要求1所述的隐式表面算法用于仿真模拟软组织手术路径规划的方法，其特征在于，步骤S2建立三维几何模型包括运用可视化算法，生成软组织的组织结构的网格模型，或者采用医学影像软件具有的体渲染数据作为体元素模型。
3.根据权利要求1或2所述的隐式表面算法用于仿真模拟软组织手术路径规划的方法，其特征在于，步骤S3中手术器械特征数据包括手术器械机械结构的外形轮廓和手术器械功率相关参数设置与软组织切除或者消融量的对应关系，获取方式为实测或由器械制造方提供或者仿真计算获取。
4.根据权利要求1或2所述的隐式表面算法用于仿真模拟软组织手术路径规划的方法，其特征在于，步骤S6中边界轮廓的变化是由仿真模拟方法自动生成的：新的创面，通过使用隐式表面算法生成并且与已有的三维模型合为一体；其中新增创面的位置，或者发生变化的已有创面的位置，由步骤S4决定；边界轮廓的形状及其对应的切除作用量的大小由步骤S5决定。
5.根据权利要求1或2所述的隐式表面算法用于仿真模拟软组织手术路径规划的方法，其特征在于，步骤S6中展示的显示器可以根据需要使用平面显示器、三维全息显示器、或者虚拟现实、增强显示头戴显示器。
6.根据权利要求1或2所述的隐式表面算法用于仿真模拟软组织手术路径规划的方法，其特征在于，步骤S5中作用量的计算方式采用人工智能的机器学习方法，进行分离切除数据拟合，由已知的分离切除数据，计算当前测定的手术操作量对解剖模型的作用量。
7.根据权利要求1或2所述的隐式表面算法用于仿真模拟软组织手术路径规划的方法，其特征在于，所述软组织至少包括肝脏组织、肺部组织和脑组织中的任意一种。
CN201910216440.3A 2019-07-08 2019-07-08 隐式表面算法用于仿真模拟软组织手术路径规划的方法 Active CN110164557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910216440.3A CN110164557B (zh) 2019-07-08 2019-07-08 隐式表面算法用于仿真模拟软组织手术路径规划的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910216440.3A CN110164557B (zh) 2019-07-08 2019-07-08 隐式表面算法用于仿真模拟软组织手术路径规划的方法

Publications (2)

Publication Number Publication Date
CN110164557A CN110164557A (zh) 2019-08-23
CN110164557B true CN110164557B (zh) 2022-05-31

Family

ID=67638991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910216440.3A Active CN110164557B (zh) 2019-07-08 2019-07-08 隐式表面算法用于仿真模拟软组织手术路径规划的方法

Country Status (1)

Country Link
CN (1) CN110164557B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112843506B (zh) * 2019-11-28 2023-07-04 重庆西山科技股份有限公司 手术***、超声吸引刀***
CN111067618A (zh) * 2019-12-31 2020-04-28 华科精准（北京）医疗科技有限公司 激光间质热疗的模拟方法和设备
CN112614152B (zh) * 2020-12-22 2022-03-25 电子科技大学 一种基于深度特征学习的软组织表面运动跟踪方法
CN113796952B (zh) * 2021-11-18 2022-03-18 北京智愈医疗科技有限公司 一种组织切除***及其切割参数确定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117378A (zh) * 2009-12-31 2011-07-06 苏州瑞派宁科技有限公司 一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其***
CN104537938A (zh) * 2014-12-21 2015-04-22 合肥德铭电子有限公司 一种具有柔和力反馈的内窥镜仿真训练***
JP6351138B2 (ja) * 2013-03-13 2018-07-04 国立大学法人 筑波大学 画像診断支援プログラム
CN108492693A (zh) * 2018-03-28 2018-09-04 盛玉涛 一种基于计算机辅助医疗显示的腹腔镜手术模拟训练***
CN109243614A (zh) * 2018-09-11 2019-01-18 深圳先进技术研究院 一种手术仿真方法、装置和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117378A (zh) * 2009-12-31 2011-07-06 苏州瑞派宁科技有限公司 一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其***
JP6351138B2 (ja) * 2013-03-13 2018-07-04 国立大学法人 筑波大学 画像診断支援プログラム
CN104537938A (zh) * 2014-12-21 2015-04-22 合肥德铭电子有限公司 一种具有柔和力反馈的内窥镜仿真训练***
CN108492693A (zh) * 2018-03-28 2018-09-04 盛玉涛 一种基于计算机辅助医疗显示的腹腔镜手术模拟训练***
CN109243614A (zh) * 2018-09-11 2019-01-18 深圳先进技术研究院 一种手术仿真方法、装置和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"虚拟腹腔镜肝囊肿开窗手术的分析与设计";向泽波;《华中科技大学硕士学位论文》;20170515(第5期);第15-35页 *

Also Published As

Publication number Publication date
CN110164557A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110164557B (zh) 隐式表面算法用于仿真模拟软组织手术路径规划的方法
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
Tolsdorff et al. Virtual reality: a new paranasal sinus surgery simulator
Nakao et al. Physics-based interactive volume manipulation for sharing surgical process
Özgür et al. Preoperative liver registration for augmented monocular laparoscopy using backward–forward biomechanical simulation
CN101393654A (zh) 一种计算机辅助脏器手术仿真***
CN103345568A (zh) 基于三维模型的手术规划的方法及其***
CN106806021A (zh) 一种基于人体器官3d模型的vr手术模拟***及方法
CN101477706B (zh) 基于医用图像的模拟手术规划方法
Endo et al. A patient-specific surgical simulator using preoperative imaging data: an interactive simulator using a three-dimensional tactile mouse
Wang et al. A review of virtual cutting methods and technology in deformable objects
Pettersson et al. Simulation of patient specific cervical hip fracture surgery with a volume haptic interface
Chan et al. A virtual surgical environment for rehearsal of tympanomastoidectomy
Shi et al. A new volumetric geometric model for cutting procedures in surgical simulation
Pflesser et al. Specification, modelling and visualization of arbitrarily shaped cut surfaces in the volume model
Zhang et al. Research on registration and navigation technology of augmented reality for ex-vivo hepatectomy
Chen et al. Computer-aided liver surgical planning system using CT volumes
WO2018030015A1 (ja) 切離プロセス推定装置及び切離プロセスナビゲーションシステム
RU2736800C1 (ru) Способ подготовки и выполнения хирургической операции на органах малого таза
Selmi et al. 3D interactive ultrasound image deformation for realistic prostate biopsy simulation
Shi et al. A new geometric combination of cutting and bleeding modules for surgical simulation systems
Tanaiutchawoot et al. A path generation algorithm for biopsy needle insertion in a robotic breast biopsy navigation system
Ribeiro et al. A 3D computed tomography based tool for orthopedic surgery planning
Neubauer et al. Advanced virtual corrective osteotomy
Bao et al. Virtual Surgical Instruments and Surgical Simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant