CN113197665A - 一种基于虚拟现实的微创外科手术模拟方法、*** - Google Patents

一种基于虚拟现实的微创外科手术模拟方法、*** Download PDF

Info

Publication number
CN113197665A
CN113197665A CN202110482041.9A CN202110482041A CN113197665A CN 113197665 A CN113197665 A CN 113197665A CN 202110482041 A CN202110482041 A CN 202110482041A CN 113197665 A CN113197665 A CN 113197665A
Authority
CN
China
Prior art keywords
module
data
dimensional image
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110482041.9A
Other languages
English (en)
Inventor
曹立华
牛振凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110482041.9A priority Critical patent/CN113197665A/zh
Publication of CN113197665A publication Critical patent/CN113197665A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明属于手术模拟技术领域，公开了一种基于虚拟现实的微创外科手术模拟方法、***，所述基于虚拟现实的微创外科手术模拟***包括：数据预处理模块、数据导入模块、中央控制模块、三维图像重建模块、三维立体图像生成模块、立体图像处理模块、手术模拟模块、警告提醒模块、效果评估模块、数据存储模块、更新显示模块。本发明利用VR设备提供的虚拟环境，让医生在虚拟空间中对待手术部位的三维模型进行全方位观察，方便医生对病人病情有充分足够的了解；利用VR设备在虚拟空间中进行的模拟手术操作平台，方便医生在术前进行模拟以实现更为具体的术前规划；虚拟现实中呈现出的的三维医学影像模型更为真实，实现医生和三维影像数据之间的交互。

Description

一种基于虚拟现实的微创外科手术模拟方法、***
技术领域
本发明属于手术模拟技术领域，尤其涉及一种基于虚拟现实的微创外科手术模拟方法、***。
背景技术
目前，肛肠是指***、直肠。肛肠疾病是一种常见病，多发病。从广义说发生在***、肛管、大肠上的各种疾病都叫肛肠病，常见的肛肠疾病多达100多种。
电子肛肠成像检查***，是国际公认较为优秀的肛肠成像检查***，采用医用视频摄像技术，打破传统肛肠镜检查的弊端，医患在检查过程中可同时观察到病灶部位，并可将病灶锁定后打印成像，亦可放大观察，可对肛肠内部深层病灶部位进行图像采集，实时诊断，让医患双方清晰、准确、直观地了解病情，避免误诊、漏诊。目前进行肛肠疾病治疗的手术借助电子肛肠成像检查***实现，极大提高了手术的方便性，但是由于肛肠所处位置以及肛肠手术治疗的特殊性，手术需要丰富的经验。现有技术中暂无可以进行肛肠外科微创手术模拟的方法，无法实现对肛肠微创手术的模拟，不利于实习医生进行学习和操作。
通过上述分析，现有技术存在的问题及缺陷为：现有技术中暂无可以进行肛肠外科微创手术模拟的方法，无法实现对肛肠微创手术的模拟，不利于实习医生进行学习和操作。
发明内容
针对现有技术存在的问题，本发明提供了一种基于虚拟现实的微创外科手术模拟方法、***，旨在解决目前的现有技术中暂无可以进行肛肠外科微创手术模拟的方法，无法实现对肛肠微创手术的模拟，不利于实习医生进行学习和操作的问题。
本发明是这样实现的，一种基于虚拟现实的微创外科手术模拟方法，所述基于虚拟现实的微创外科手术模拟方法包括以下步骤：
步骤一，通过数据导入模块利用数据导入程序建立正常的影像坐标系，并将CT、MRI和PET扫描的医学影像数据导入至计算机；并通过数据预处理模块利用eFilmWorkstation医学图像处理软件对导入的CT、MRI或PET扫描的医学影像数据进行预处理，分割得到不同增强时相的二维图像数据集；
步骤二，通过中央控制模块利用中央处理器、单片机或控制器协调控制三维图像重建模块利用计算机图像处理技术将获得的不同增强时相的二维图像数据集在三维空间上分别重建出立体的三维图像；
所述利用计算机图像处理技术将获得的不同增强时相的二维图像数据集在三维空间上分别重建出立体的三维图像包括：
(2.1)对获得的不同增强时相的二维图像数据集进行处理，获取重建所需的前向投影数据；采用迭代重建算法OSEM对数据进行重建，获取多组重建数据；
所述采用迭代重建算法OSEM对数据进行重建的公式如下：
Figure BDA0003049634900000021
其中，
Figure BDA0003049634900000022
为不同角度deg下的第j个体素在第k次迭代的图像强度，deg定义如下：
Figure BDA0003049634900000023
其中，Sl为第l(l＝1,2,...,L)个子集，L为划分的总子集数，M为总体素数，gi为前向投影数据；pij是***响应矩阵P的元素，即体素j被相应线i探测到的概率；
OSEM算法是将有序子集的思想引入到最大似然算法(MLEM)当中，每次重建是使用一个子集中的投影数据同时对各个像素进行校正，重建图像更新一次，完成一次迭代(所有子集都对像素校正一次)，即一次迭代的过程中，重建图像n次，从而加快图像的收敛速度。同时此算法在采用大角度采样间隔降低投影数据获取时间的同时，图像质量也可以得到保持。
(2.2)基于得到的重建数据组，通过对相邻两个角度重建结果之间的配准点坐标之间的偏移向量的计算，获取***几何偏移向量；
(2.3)将除初始角度重建结果外，其他角度的重建数据以逆***旋转方向旋转一定角度，在三维空间上重建出立体的三维图像；
步骤三，通过三维立体图像生成模块将二维体素级别的医学影像导入Unity3D引擎中，通过计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像；
步骤四，通过立体图像处理模块利用图像处理程序对三维立体图像的各个部分分别进行分割、建模和渲染处理；通过手术模拟模块利用unity3D引擎构建手术规划及模拟手术平台，将虚拟现实化的病人数据输入，基于生成的三维立体图像以及实时动态三维立体图像，进行微创外科手术模拟；
步骤五，通过警告提醒模块利用预警装置对模拟手术过程中错误或有风险的操作步骤进行警告提醒；通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估；通过数据存储模块利用数据库存储医学影像数据、二维图像数据集、三维立体图像、实时动态的三维立体图像、警告提醒数据以及效果评估结果；
步骤六，通过更新显示模块利用显示器对医学影像数据、二维图像数据集、三维立体图像、实时动态的三维立体图像、警告提醒数据以及效果评估结果的实时数据进行更新显示。
进一步，步骤一中，所述通过数据预处理模块利用eFilm Workstation医学图像处理软件对导入的CT、MRI或PET扫描的医学影像数据进行预处理包括：对获取的扫描的医学影像数据的归一化处理，得到归一化处理后的图像。
进一步，所述对获取的扫描的医学影像数据的归一化处理，包括：
(1)通过扫描的医学影像数据得到医学影像；
(2)建立归一化图谱库，所述归一化图谱库为归一化到同一图像坐标系的归一化图谱的集合；
(3)计算归一化图谱与待处理的医学影像的距离，所述待处理的医学影像与所述归一化图谱归一化到同一图像坐标系；
(4)基于多个归一化图谱与待处理的医学影像的距离确定基准图谱；基于所述基准图谱对所述待处理的医学影像数据进行分割。
进一步，所述通过立体图像处理模块利用图像处理程序对三维立体图像的各个部分分别进行渲染处理，包括：
(1)获得需要渲染的三维立体图像的深度贴图、法线贴图、颜色贴图以及图像中每个点在投影空间的坐标和在世界空间的坐标；
(2)获得所述需要渲染的三维立体图像中每个点在世界空间的法线向量；根据所述颜色贴图，获得所述需要渲染的三维立体图像中每个点的颜色信息；
(3)根据所述需要渲染的三维立体图像中每个点在世界空间的坐标、在世界空间的法线向量和颜色信息，进行光照计算，获得所述需要渲染的三维立体图像中每个点的像素颜色；
(4)根据所述需要渲染的三维立体图像中每个点在投影空间的坐标和像素颜色，输出像素，获得渲染后的三维立体图像。
进一步，所述进行微创外科手术模拟，包括：
(1)根据输入的虚拟现实化的病人数据，通过病人病灶的模拟3D模型对手术进行术前规划；
(2)利用VR眼镜在虚拟现实环境中通过控制手柄进行微创外科手术模拟。
进一步，采用交互式方法进行微创外科手术模拟，包括：对切口大小的设计、切口位置的选择、内窥镜进入路径的调整、内窥镜视野的调整以及手术器械的使用。
进一步，所述通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估，包括：
通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估；若评估效果一般，则表明该术前规划不合理，应该重新进行术前规划；若评估效果良好，则表明该术前规划合理。
本发明的另一目的在于提供一种应用所述基于虚拟现实的微创外科手术模拟方法的基于虚拟现实的微创外科手术模拟***，所述基于虚拟现实的微创外科手术模拟***包括：
数据预处理模块、数据导入模块、中央控制模块、三维图像重建模块、三维立体图像生成模块、立体图像处理模块、手术模拟模块、警告提醒模块、效果评估模块、数据存储模块、更新显示模块；
数据预处理模块，与中央控制模块连接，用于通过eFilm Workstation医学图像处理软件对导入的CT、MRI或PET扫描的医学影像数据进行预处理，人工分割得到不同增强时相的二维图像数据集；
数据导入模块，与中央控制模块连接，用于通过数据导入程序建立正常的影像坐标系，并将CT、MRI和PET扫描的医学影像数据导入至计算机；
中央控制模块，与数据预处理模块、数据导入模块、三维图像重建模块、三维立体图像生成模块、立体图像处理模块、手术模拟模块、警告提醒模块、效果评估模块、数据存储模块、更新显示模块连接，用于通过中央处理器协调控制所述基于虚拟现实的微创外科手术模拟***各个模块的正常运行；
三维图像重建模块，与中央控制模块连接，用于通过计算机图像处理技术，将获得的二维医学影像在三维空间上重建出立体的三维图像；
三维立体图像生成模块，与中央控制模块连接，用于将二维体素级别的医学影像导入Unity3D引擎中，通过计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像；
立体图像处理模块，与中央控制模块连接，用于通过图像处理程序对三维立体图像的各个部分分别进行分割、建模和渲染处理；
手术模拟模块，与中央控制模块连接，用于通过unity3D引擎构建手术规划及模拟手术的平台，将虚拟现实化的病人数据输入，进行微创外科手术模拟；
警告提醒模块，与中央控制模块连接，在模拟手术过程中，所述基于虚拟现实的微创外科手术模拟***会对医生进行的操作提供即时反馈，通过预警装置对错误或有风险的操作步骤进行警告提醒；
效果评估模块，与中央控制模块连接，用于通过评估程序在术后对医生的模拟手术效果进行评估；
数据存储模块，与中央控制模块连接，用于通过数据库存储医学影像数据、二维图像数据集、实时动态的三维立体图像、警告提醒数据以及效果评估结果；
更新显示模块，与中央控制模块连接，用于通过显示器对医学影像数据、二维图像数据集、实时动态的三维立体图像、警告提醒数据以及效果评估结果的实时数据进行更新显示。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于虚拟现实的微创外科手术模拟方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于虚拟现实的微创外科手术模拟方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于虚拟现实的微创外科手术模拟方法，利用VR设备提供的虚拟环境，让医生在虚拟空间中对待手术部位的三维模型进行全方位观察，以方便医生对病人病情有充分足够的了解；利用VR设备在虚拟空间中进行的模拟手术操作平台，方便医生在术前进行模拟手术以实现更为具体的术前规划。同时，与现有技术相比，本发明还具有如下优点：
(1)相比传统操作复杂的电脑软件，本发明提供的设备的使用更为便捷，无需专门的培训，操作简单，可在虚拟现实环境中实现触摸，使用模拟手术刀等工具的功能，步骤简单；
(2)本发明提供的***能帮助医生在术前就能直观地获取病人待手术部位的模型，根据模型呈现出的病灶大小，位置，严重情况，制定合理的手术计划，使得在实施手术过程中能达到最佳的效果。
(3)相比传统的二维医学影像图片，虚拟现实中呈现出的的三维医学影像模型更为真实，医生可以多角度、全方位地对病人的影像数据进行诊断和分析，同时，虚拟现实技术可以实现医生和三维影像数据之间的交互。
(4)通过在三维模型中显示病变器官的病灶大小数据，病灶在器官中的深度值，病灶与器官中主要血管的距离值，帮助医生量化术前规划中依靠个人经验技能判定的不确定参数；提供模拟手术平台，让医生在手术前利用VR设备进入虚拟手术场景中提前进行模拟手术，让医生在模拟手术过程中对手术风险，难易程度进行评估。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于虚拟现实的微创外科手术模拟方法流程图。
图2是本发明实施例提供的基于虚拟现实的微创外科手术模拟方法原理图。
图3是本发明实施例提供的通过三维图像重建模块利用计算机图像处理技术，将获得的二维医学影像在三维空间上重建出立体的三维图像的方法流程图。
图4是本发明实施例提供的通过立体图像处理模块利用图像处理程序对三维立体图像的各个部分分别进行渲染处理的方法流程图。
图5是本发明实施例提供的基于虚拟现实的微创外科手术模拟***的结构框图；
图中：1、数据预处理模块；2、数据导入模块；3、中央控制模块；4、三维图像重建模块；5、三维立体图像生成模块；6、立体图像处理模块；7、手术模拟模块；8、警告提醒模块；9、效果评估模块；10、数据存储模块；11、更新显示模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于虚拟现实的微创外科手术模拟方法、***，下面结合附图对本发明作详细的描述。
如图1～图2所示，本发明实施例提供的基于虚拟现实的微创外科手术模拟方法包括以下步骤：
S101，通过数据导入模块利用数据导入程序建立正常的影像坐标系，并将CT、MRI和PET扫描的医学影像数据导入至计算机；
S102，通过数据预处理模块利用eFilm Workstation医学图像处理软件对导入的CT、MRI或PET扫描的医学影像数据进行预处理，人工分割得到不同增强时相的二维图像数据集；
S103，通过中央控制模块利用中央处理器协调控制三维图像重建模块利用计算机图像处理技术，将获得的二维医学影像在三维空间上重建出立体的三维图像；
S104，通过三维立体图像生成模块将二维体素级别的医学影像导入Unity3D引擎中，通过计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像；
S105，通过立体图像处理模块利用图像处理程序对三维立体图像的各个部分分别进行分割、建模和渲染处理；
S106，通过手术模拟模块利用unity3D引擎构建手术规划及模拟手术平台，将虚拟现实化的病人数据输入，基于生成的三维图像以及动态三维立体图像进行微创外科手术模拟；
S107，通过警告提醒模块利用预警装置对模拟手术过程中的错误或有风险的操作步骤进行警告提醒；通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估；
S108，通过数据存储模块利用数据库存储医学影像数据、二维图像数据集、实时动态的三维立体图像、警告提醒数据以及效果评估结果；
S109，通过更新显示模块利用显示器对医学影像数据、二维图像数据集、实时动态的三维立体图像、警告提醒数据以及效果评估结果的实时数据进行更新显示。
如图3所示，本发明实施例提供的基于虚拟现实的微创外科手术模拟***包括：数据预处理模块1、数据导入模块2、中央控制模块3、三维图像重建模块4、三维立体图像生成模块5、立体图像处理模块6、手术模拟模块7、警告提醒模块8、效果评估模块9、数据存储模块10、更新显示模块11。
数据预处理模块1，与中央控制模块3连接，用于通过eFilm Workstation医学图像处理软件对来自CT、MRI或PET扫描的医学影像数据进行预处理，人工分割得到不同增强时相的二维图像数据集；
数据导入模块2，与中央控制模块3连接，用于通过数据导入程序建立正常的影像坐标系，并将CT、MRI和PET扫描的医学影像数据导入至计算机；
中央控制模块3，与数据预处理模块1、数据导入模块2、三维图像重建模块4、三维立体图像生成模块5、立体图像处理模块6、手术模拟模块7、警告提醒模块8、效果评估模块9、数据存储模块10、更新显示模块11连接，用于通过中央处理器协调控制所述基于虚拟现实的微创外科手术模拟***各个模块的正常运行；
三维图像重建模块4，与中央控制模块3连接，用于通过计算机图像处理技术，将获得的二维医学影像在三维空间上重建出立体的三维图像；
三维立体图像生成模块5，与中央控制模块3连接，用于将二维体素级别的医学影像导入Unity3D引擎中，通过计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像；
立体图像处理模块6，与中央控制模块3连接，用于通过图像处理程序对三维立体图像的各个部分分别进行分割、建模和渲染处理；
手术模拟模块7，与中央控制模块3连接，用于通过unity3D引擎构建手术规划及模拟手术的平台，将虚拟现实化的病人数据输入，进行微创外科手术模拟；
警告提醒模块8，与中央控制模块3连接，在模拟手术过程中，所述基于虚拟现实的微创外科手术模拟***会对医生进行的操作提供即时反馈，通过预警装置对错误或有风险的操作步骤进行警告提醒；
效果评估模块9，与中央控制模块3连接，用于通过评估程序在术后对医生的模拟手术效果进行评估；
数据存储模块10，与中央控制模块3连接，用于通过数据库存储医学影像数据、二维图像数据集、实时动态的三维立体图像、警告提醒数据以及效果评估结果；
更新显示模块11，与中央控制模块3连接，用于通过显示器对医学影像数据、二维图像数据集、实时动态的三维立体图像、警告提醒数据以及效果评估结果的实时数据进行更新显示。
下面结合具体实施例对本发明作进一步描述。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例1
本发明实施例提供的基于虚拟现实的微创外科手术模拟方法如图1所示，作为优选实施例，本发明实施例提供的通过数据预处理模块利用eFilm Workstation医学图像处理软件对来自CT、MRI或PET扫描的医学影像数据进行预处理，包括：对获取的扫描的医学影像数据的归一化处理，得到归一化处理后的图像。
本发明实施例提供的对获取的扫描的医学影像数据的归一化处理，包括：
通过扫描的医学影像数据得到医学影像；建立归一化图谱库，所述归一化图谱库为归一化到同一图像坐标系的归一化图谱的集合；计算归一化图谱与待处理的医学影像的距离，所述待处理的医学影像与所述归一化图谱归一化到同一图像坐标系；基于多个归一化图谱与待处理的医学影像的距离确定基准图谱；基于所述基准图谱对所述待处理的医学影像数据进行分割。
实施例2
本发明实施例提供的基于虚拟现实的微创外科手术模拟方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过三维图像重建模块利用计算机图像处理技术，将获得的二维医学影像在三维空间上重建出立体的三维图像，包括：
S201，数据符合处理***用于对采集的二维图像数据进行符合处理，获取重建所需的前向投影数据；
S202，采用迭代重建算法OSEM对数据进行重建，获取多组重建数据；
S203，基于重建数据组，通过对相邻两个角度重建结果之间的配准点坐标之间的偏移向量的计算，获取***几何偏移向量；
S204，除初始角度重建结果外，其他角度的重建数据以逆***旋转方向旋转一定角度，在三维空间上重建出立体的三维图像。
本发明实施例提供的采用迭代重建算法OSEM对数据进行重建的公式如下：
Figure BDA0003049634900000111
其中，
Figure BDA0003049634900000112
为不同角度deg下的第j个体素在第k次迭代的图像强度，deg定义如下：
Figure BDA0003049634900000121
其中，Sl为第l(l＝1,2,...,L)个子集，L为划分的总子集数，M为总体素数，gi为前向投影数据；pij是***响应矩阵P的元素，即体素j被相应线i探测到的概率。
实施例3
本发明实施例提供的基于虚拟现实的微创外科手术模拟方法如图1所示，作为优选实施例，如图5所示，本发明实施例提供的通过立体图像处理模块利用图像处理程序对三维立体图像的各个部分分别进行渲染处理，包括：
S301，获得需要渲染的三维立体图像的深度贴图、法线贴图、颜色贴图以及图像中每个点在投影空间的坐标和在世界空间的坐标；
S302，获得所述需要渲染的三维立体图像中每个点在世界空间的法线向量；根据所述颜色贴图，获得所述需要渲染的三维立体图像中每个点的颜色信息；
S303，根据所述需要渲染的三维立体图像中每个点在世界空间的坐标、在世界空间的法线向量和颜色信息，进行光照计算，获得所述需要渲染的三维立体图像中每个点的像素颜色；
S304，根据所述需要渲染的三维立体图像中每个点在投影空间的坐标和像素颜色，输出像素，获得渲染后的三维立体图像。
实施例4
本发明实施例提供的基于虚拟现实的微创外科手术模拟方法如图1所示，作为优选实施例，本发明实施例提供的通过手术模拟模块利用unity3D引擎构建手术规划及模拟手术平台，将虚拟现实化的病人数据输入，进行微创外科手术模拟，包括：
根据病人的真实病况，通过病人病灶的模拟3D模型对手术进行术前规划；利用VR眼镜在虚拟现实环境中通过控制手柄进行微创外科手术模拟。
实施例5
本发明实施例提供的基于虚拟现实的微创外科手术模拟方法如图1所示，作为优选实施例，本发明实施例提供的采用交互式方法进行微创外科手术模拟，包括：对切口大小的设计、切口位置的选择、内窥镜进入路径的调整、内窥镜视野的调整以及手术器械的使用。
实施例6
本发明实施例提供的基于虚拟现实的微创外科手术模拟方法如图1所示，作为优选实施例，本发明实施例提供的通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估，包括：
通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估；
若评估效果一般，则表明该术前规划不合理，应该重新进行术前规划；
若评估效果良好，则表明该术前规划合理。
实施例7
本发明实施例提供的基于虚拟现实的微创外科手术模拟方法具体包括以下步骤：
(1)医学影像数据传入：本***使用eFilm Workstation(Version 2.0.1)医学图像处理软件对来自CT或MRI的数据进行预处理，人工分割得到不同增强时相的二维图像数据集，从而建立正常的影像坐标系将CT、MRI、PET等扫描的医学影像导入计算机；
(2)三维建模：运用计算机图像处理技术，将获得的二维医学影像，在三维空间上重建出立体的三维图像。三维建模主要分四步：第一，数据符合处理***用于对采集的二维图像数据进行符合处理，获取重建所需的前向投影数据；第二，采用迭代重建算法OSEM对数据进行重建，获取多组重建数据；第三，***几何偏移向量的获取；第四，除初始角度重建结果外，其他角度的重建数据以逆***旋转方向旋转一定角度。至此，实现了三维建模；
(3)医学影像模型虚拟现实化输出：将二维体素级别的医学影像导入Unity3D引擎中，由计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像。之后对三维立体图像的各个部分进行分割、建模和渲染，同时提供在三维视图中模拟手术过程的交互式方法，包括对切口大小的设计、切口位置的选择、内窥镜进入路径的调整、内窥镜视野的调整、手术器械的使用，让医生不仅可以用显示器看二维平面图像，更可以在虚拟现实的环境中更真实近距离地观察三维立体图像，并与图像进行交互；
(4)真实病人影像的手术规划和模拟手术：使用unity3D引擎构建手术规划及模拟手术的平台，将虚拟现实化的病人数据输入，其中，***支持的虚拟现实设备包括HTC VIVE及Oculus Rift。首先，医生根据病人的真实病况，通过病人病灶的模拟3D模型对手术进行术前规划，然后利用VR眼镜在虚拟现实环境中通过控制手柄进行模拟手术，在模拟手术过程中，***会对医生进行的操作提供即时反馈，对错误或有风险的操作步骤进行警告提醒，同时在术后对医生的模拟手术效果进行评估。若评估效果一般，则表明该术前规划不合理，应该重新进行术前规划；若评估效果良好，则表明该术前规划合理。
进一步，所述三维建模具体包括：
(1)数据符合处理***用于对采集的二维图像数据进行符合处理，获取重建所需的前向投影数据；
(2)采用迭代重建算法OSEM对数据进行重建，获取多组重建数据；
(3)***几何偏移向量的获取；
(4)除初始角度重建结果外，其他角度的重建数据以逆***旋转方向旋转一定角度，实现三维建模。
进一步，所述步骤(3)中在三维视图中模拟手术过程的交互式方法，包括通过使用VR手柄模拟出的手术器械在虚拟现实环境中对病变器官开刀位置的选择进而实现对切口位置的选择，通过控制VR手柄在切开器官过程中的移动路径长短实现对切口大小进行调整，通过触摸VR手柄上的二维触摸圆盘，对医学影像设备的位置和视野进行调整，通过扣动VR手柄上的扳机按钮实现对模拟手术器械的使用。
进一步，所述步骤(4)具体包括：
首先，医生根据病人的真实病况，通过病人病灶的模拟3D模型对手术进行术前规划；
然后利用VR眼镜在虚拟现实环境中通过控制手柄进行模拟手术，在模拟手术过程中，***会对医生进行的操作提供即时反馈，对错误或有风险的操作步骤进行警告提醒，同时在术后对医生的模拟手术效果进行评估；若评估效果一般，则表明该术前规划不合理，应该重新进行术前规划；若评估效果良好，则表明该术前规划合理。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于虚拟现实的微创外科手术模拟方法，其特征在于，所述基于虚拟现实的微创外科手术模拟方法包括以下步骤：
步骤一，通过数据导入模块利用数据导入程序建立正常的影像坐标系，并将CT、MRI和PET扫描的医学影像数据导入至计算机；并通过数据预处理模块利用eFilm Workstation医学图像处理软件对导入的CT、MRI或PET扫描的医学影像数据进行预处理，分割得到不同增强时相的二维图像数据集；
步骤二，通过中央控制模块利用中央处理器、单片机或控制器协调控制三维图像重建模块利用计算机图像处理技术将获得的不同增强时相的二维图像数据集在三维空间上分别重建出立体的三维图像；
所述利用计算机图像处理技术将获得的不同增强时相的二维图像数据集在三维空间上分别重建出立体的三维图像包括：
(2.1)对获得的不同增强时相的二维图像数据集进行处理，获取重建所需的前向投影数据；采用迭代重建算法OSEM对数据进行重建，获取多组重建数据；
所述采用迭代重建算法OSEM对数据进行重建的公式如下：
Figure FDA0003049634890000011
其中，
Figure FDA0003049634890000012
为不同角度deg下的第j个体素在第k次迭代的图像强度，deg定义如下：
Figure FDA0003049634890000013
其中，Sl为第l(l＝1,2,...,L)个子集，L为划分的总子集数，M为总体素数，gi为前向投影数据；pij是***响应矩阵P的元素，即体素j被相应线i探测到的概率；
OSEM算法是将有序子集的思想引入到最大似然算法(MLEM)当中，每次重建是使用一个子集中的投影数据同时对各个像素进行校正，重建图像更新一次，完成一次迭代(所有子集都对像素校正一次)，即一次迭代的过程中，重建图像n次，从而加快图像的收敛速度。同时此算法在采用大角度采样间隔降低投影数据获取时间的同时，图像质量也可以得到保持。
(2.2)基于得到的重建数据组，通过对相邻两个角度重建结果之间的配准点坐标之间的偏移向量的计算，获取***几何偏移向量；
(2.3)将除初始角度重建结果外，其他角度的重建数据以逆***旋转方向旋转一定角度，在三维空间上重建出立体的三维图像；
步骤三，通过三维立体图像生成模块将二维体素级别的医学影像导入Unity3D引擎中，通过计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像；
步骤四，通过立体图像处理模块利用图像处理程序对三维立体图像的各个部分分别进行分割、建模和渲染处理；通过手术模拟模块利用unity3D引擎构建手术规划及模拟手术平台，将虚拟现实化的病人数据输入，基于生成的三维立体图像以及实时动态三维立体图像，进行微创外科手术模拟；
步骤五，通过警告提醒模块利用预警装置对模拟手术过程中错误或有风险的操作步骤进行警告提醒；通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估；通过数据存储模块利用数据库存储医学影像数据、二维图像数据集、三维立体图像、实时动态的三维立体图像、警告提醒数据以及效果评估结果；
步骤六，通过更新显示模块利用显示器对医学影像数据、二维图像数据集、三维立体图像、实时动态的三维立体图像、警告提醒数据以及效果评估结果的实时数据进行更新显示。
2.如权利要求1所述基于虚拟现实的微创外科手术模拟方法，其特征在于，步骤一中，所述通过数据预处理模块利用eFilm Workstation医学图像处理软件对导入的CT、MRI或PET扫描的医学影像数据进行预处理包括：对获取的扫描的医学影像数据的归一化处理，得到归一化处理后的图像。
3.如权利要求1所述基于虚拟现实的微创外科手术模拟方法，其特征在于，所述对获取的扫描的医学影像数据的归一化处理，包括：
(1)通过扫描的医学影像数据得到医学影像；
(2)建立归一化图谱库，所述归一化图谱库为归一化到同一图像坐标系的归一化图谱的集合；
(3)计算归一化图谱与待处理的医学影像的距离，所述待处理的医学影像与所述归一化图谱归一化到同一图像坐标系；
(4)基于多个归一化图谱与待处理的医学影像的距离确定基准图谱；基于所述基准图谱对所述待处理的医学影像数据进行分割。
4.如权利要求1所述基于虚拟现实的微创外科手术模拟方法，其特征在于，所述通过立体图像处理模块利用图像处理程序对三维立体图像的各个部分分别进行渲染处理，包括：
(1)获得需要渲染的三维立体图像的深度贴图、法线贴图、颜色贴图以及图像中每个点在投影空间的坐标和在世界空间的坐标；
(2)获得所述需要渲染的三维立体图像中每个点在世界空间的法线向量；根据所述颜色贴图，获得所述需要渲染的三维立体图像中每个点的颜色信息；
(3)根据所述需要渲染的三维立体图像中每个点在世界空间的坐标、在世界空间的法线向量和颜色信息，进行光照计算，获得所述需要渲染的三维立体图像中每个点的像素颜色；
(4)根据所述需要渲染的三维立体图像中每个点在投影空间的坐标和像素颜色，输出像素，获得渲染后的三维立体图像。
5.如权利要求1所述基于虚拟现实的微创外科手术模拟方法，其特征在于，所述进行微创外科手术模拟，包括：
(1)根据输入的虚拟现实化的病人数据，通过病人病灶的模拟3D模型对手术进行术前规划；
(2)利用VR眼镜在虚拟现实环境中通过控制手柄进行微创外科手术模拟。
6.如权利要求1所述基于虚拟现实的微创外科手术模拟方法，其特征在于，采用交互式方法进行微创外科手术模拟，包括：对切口大小的设计、切口位置的选择、内窥镜进入路径的调整、内窥镜视野的调整以及手术器械的使用。
7.如权利要求1所述基于虚拟现实的微创外科手术模拟方法，其特征在于，所述通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估，包括：
通过效果评估模块利用评估程序在术后对医生的模拟手术效果进行评估；若评估效果一般，则表明该术前规划不合理，应该重新进行术前规划；若评估效果良好，则表明该术前规划合理。
8.一种应用如权利要求1～7所述基于虚拟现实的微创外科手术模拟方法的基于虚拟现实的微创外科手术模拟***，其特征在于，所述基于虚拟现实的微创外科手术模拟***包括：
数据预处理模块、数据导入模块、中央控制模块、三维图像重建模块、三维立体图像生成模块、立体图像处理模块、手术模拟模块、警告提醒模块、效果评估模块、数据存储模块、更新显示模块；
数据预处理模块，与中央控制模块连接，用于通过eFilm Workstation医学图像处理软件对来自CT、MRI或PET扫描的医学影像数据进行预处理，人工分割得到不同增强时相的二维图像数据集；
数据导入模块，与中央控制模块连接，用于通过数据导入程序建立正常的影像坐标系，并将CT、MRI和PET扫描的医学影像数据导入至计算机；
中央控制模块，与数据预处理模块、数据导入模块、三维图像重建模块、三维立体图像生成模块、立体图像处理模块、手术模拟模块、警告提醒模块、效果评估模块、数据存储模块、更新显示模块连接，用于通过中央处理器协调控制所述基于虚拟现实的微创外科手术模拟***各个模块的正常运行；
三维图像重建模块，与中央控制模块连接，用于通过计算机图像处理技术，将获得的二维医学影像在三维空间上重建出立体的三维图像；
三维立体图像生成模块，与中央控制模块连接，用于将二维体素级别的医学影像导入Unity3D引擎中，通过计算机进行二维图像至三维图像的转换，生成实时动态的三维立体图像；
立体图像处理模块，与中央控制模块连接，用于通过图像处理程序对三维立体图像的各个部分分别进行分割、建模和渲染处理；
手术模拟模块，与中央控制模块连接，用于通过unity3D引擎构建手术规划及模拟手术的平台，将虚拟现实化的病人数据输入，进行微创外科手术模拟；
警告提醒模块，与中央控制模块连接，在模拟手术过程中，所述基于虚拟现实的微创外科手术模拟***会对医生进行的操作提供即时反馈，通过预警装置对错误或有风险的操作步骤进行警告提醒；
效果评估模块，与中央控制模块连接，用于通过评估程序在术后对医生的模拟手术效果进行评估；
数据存储模块，与中央控制模块连接，用于通过数据库存储医学影像数据、二维图像数据集、实时动态的三维立体图像、警告提醒数据以及效果评估结果；
更新显示模块，与中央控制模块连接，用于通过显示器对医学影像数据、二维图像数据集、实时动态的三维立体图像、警告提醒数据以及效果评估结果的实时数据进行更新显示。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～7任意一项所述的基于虚拟现实的微创外科手术模拟方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～7任意一项所述的基于虚拟现实的微创外科手术模拟方法。
CN202110482041.9A 2021-04-30 2021-04-30 一种基于虚拟现实的微创外科手术模拟方法、*** Withdrawn CN113197665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110482041.9A CN113197665A (zh) 2021-04-30 2021-04-30 一种基于虚拟现实的微创外科手术模拟方法、***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110482041.9A CN113197665A (zh) 2021-04-30 2021-04-30 一种基于虚拟现实的微创外科手术模拟方法、***

Publications (1)

Publication Number Publication Date
CN113197665A true CN113197665A (zh) 2021-08-03

Family

ID=77029905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110482041.9A Withdrawn CN113197665A (zh) 2021-04-30 2021-04-30 一种基于虚拟现实的微创外科手术模拟方法、***

Country Status (1)

Country Link
CN (1) CN113197665A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114795468A (zh) * 2022-04-19 2022-07-29 首都医科大学附属北京天坛医院 一种血管内治疗的术中导航方法及其***
CN115363752A (zh) * 2022-08-22 2022-11-22 华平祥晟(上海)医疗科技有限公司 智能手术路径指引***
CN116959697A (zh) * 2023-06-19 2023-10-27 华平祥晟(上海)医疗科技有限公司 一种基于人工智能的术前方案辅助评估***及方法
CN117160029A (zh) * 2023-08-31 2023-12-05 江西格如灵科技股份有限公司 一种vr手柄检测方法及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114795468A (zh) * 2022-04-19 2022-07-29 首都医科大学附属北京天坛医院 一种血管内治疗的术中导航方法及其***
CN114795468B (zh) * 2022-04-19 2022-11-15 首都医科大学附属北京天坛医院 一种血管内治疗的术中导航方法及其***
CN115363752A (zh) * 2022-08-22 2022-11-22 华平祥晟(上海)医疗科技有限公司 智能手术路径指引***
CN115363752B (zh) * 2022-08-22 2023-03-28 华平祥晟(上海)医疗科技有限公司 智能手术路径指引***
CN116959697A (zh) * 2023-06-19 2023-10-27 华平祥晟(上海)医疗科技有限公司 一种基于人工智能的术前方案辅助评估***及方法
CN117160029A (zh) * 2023-08-31 2023-12-05 江西格如灵科技股份有限公司 一种vr手柄检测方法及***

Similar Documents

Publication Publication Date Title
CN113197665A (zh) 一种基于虚拟现实的微创外科手术模拟方法、***
US10580325B2 (en) System and method for performing a computerized simulation of a medical procedure
EP2452649A1 (en) Visualization of anatomical data by augmented reality
WO2020177348A1 (zh) 用于生成三维模型的方法和装置
CN114445431B (zh) 一种医学三维影像任意切割的方法与装置
CN112734776A (zh) 一种微创手术器械定位方法和***
CN110660130A (zh) 一种面向医学影像的移动增强现实***构建方法
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
CN114711962A (zh) 一种增强现实手术规划导航***及方法
WO2021030995A1 (zh) 基于vrds ai下腔静脉影像的分析方法及产品
WO2021081771A1 (zh) 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置
Advincula et al. Development and future trends in the application of visualization toolkit (VTK): the case for medical image 3D reconstruction
Amara et al. Augmented reality visualization and interaction for covid-19 ct-scan nn automated segmentation: A validation study
CN112331311B (zh) 一种腹腔镜手术中视频与术前模型融合显示的方法及装置
CN116712167A (zh) 一种肺结节手术导航方法和***
KR102213412B1 (ko) 기복모델 생성방법, 장치 및 프로그램
Stoyanov et al. Intra-operative visualizations: Perceptual fidelity and human factors
CN111329589A (zh) 一种手持式智能融合造影导航***
WO2022223042A1 (zh) 手术路径处理***、方法、装置、设备及存储介质
WO2021081839A1 (zh) 基于vrds 4d的病情分析方法及相关产品
Wu et al. AI-Enhanced Virtual Reality in Medicine: A Comprehensive Survey
JP2022506708A (ja) 光学追跡のためのシステムおよび方法
CN115990032B (zh) 基于先验知识的超声扫描视觉导航方法、装置及设备
WO2021081842A1 (zh) 基于vrds ai医学影像的肠肿瘤与血管分析方法和相关装置
Kirmizibayrak Interactive volume visualization and editing methods for surgical applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210803

WW01 Invention patent application withdrawn after publication