CN112906205B

CN112906205B - 一种用于全髋关节置换手术的虚拟学习方法

Info

Publication number: CN112906205B
Application number: CN202110126745.2A
Authority: CN
Inventors: 张日威; 何燕; 蔡述庭; 熊晓明; 郭靖
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2021-01-29
Filing date: 2021-01-29
Publication date: 2023-01-20
Anticipated expiration: 2041-01-29
Also published as: CN112906205A

Abstract

本发明公开了一种用于全髋关节置换手术的虚拟学习方法，首先***初始化，建立输入端与控制器之间的通信连接，并在实时虚拟场景中完成力反馈装置与控制器的映射；在操作过程中，输入端以三维图形输入的控制方式与虚拟场景中的手术器械模型进行交互，并在同时让操作者通过图像反馈及时看到训练画面，并在训练过程中配备关键信息提示。本发明可以获得生动直观的感知，提高对抽象原理的理解，缓解我国各地区医疗和手术资源昂贵、紧张的问题，以及降低手术风险。

Description

一种用于全髋关节置换手术的虚拟学习方法

技术领域

本发明涉及全髋关节置换的技术领域，尤其涉及到一种用于全髋关节置换手术的虚拟学习方法。

背景技术

手术发展历程一共经历了三个阶段：开放性手术、人工微创手术和机器人辅助手术。手术正朝着一个更微细化、灵巧化和智能化的方向发展。

开放性手术即传统的开刀，从身体表面切开暴露出骨头、内脏器官。开放性手术的优点是让医生直接通过肉眼充分了解病灶区域的解剖信息，对手术有一个良好的把握。但是这种手术的缺陷是伤口大、疼痛大、出血多、住院时间长以及伤口愈合速度慢，甚至潜在地增大术后并发症的风险。微创手术，即微小创伤的手术。主要通过利用腹腔镜、胸腔镜等现代医疗器械及相关设备进行的手术。微创手术以创口小、失血少及住院周期短等优势在外科手术治疗中得到了广泛的应用。然而，人工微创手术存在定位精度不高、空间和环境限制、术中疲劳、工作时间长造成手部运动震颤等问题，机器人辅助手术已成为国际前沿研究热点之一。

随着自动化和机器人技术的发展，手术机器人已经开始渗透到手术计划、微创定位、无创治疗的各个环节。手术机器人通过滤除手部颤抖，将手部动作缩放成更小的动作，控制操纵器完成一系列手术操作，提高了外科医生的准确性。然而，在机器人辅助手术中，医生的操作习惯与传统手术不一样，主要表现为主从控制模式不如纯手工操作灵活方便。因此，医师操作技能需要经过反复训练才能熟练控制机器人。常见的训练模式有人机交互模式和虚拟学习模式。人机交互模式是直接控制操纵杆操纵机器人完成指定动作，对成本要求较高，且不能满足单一***手术对象多样化的特点，因此不能广泛使用。而虚拟学习***是提前提高熟练度，再过渡到人机交互模式完成后续操作。虚拟学习***以计算机软硬件为基础，以相关技术手段为辅助，通过对已知或未知世界的模拟，使人们真实地感受到一种先进的计算机应用技术。虚拟训练器提供了一个多源信息融合互动的三维动态可视化和实体行为交互***仿真，对外科医生的手术训练、手术效果预测、手术方案制定和导航都有重要意义。

目前现有的技术：

1)数字化虚拟仿真牙科培训方法，用于口腔临床技能培训。通过***操作完成所需时间、目标完成程度、失误计分、综合计分等评估效果，是一种新颖、有效的口腔实验教学方法。

2)下颌骨手术虚拟学习方法，可以在用户操作端实现抓取、切割、钻孔、缝合等多种操作模式。对于切割和钻孔手术，***实时渲染虚拟场景中的最佳规划路径，并以百分比的形式显示手术进度。当误差率超过10％时，及时跟踪切割线并宣布失败。

3)基于触觉反馈的心肌细胞手术的学习方法，对训练外科医生的手眼协调能力和执行高精度注射任务的能力起着关键作用。

4)虚拟骨科手术模拟器学习方法，使外科医生能够在个人计算机上进行骨折置换手术的训练，而不需要使用任何昂贵的硬件设备。

然而，目前还没有应用于主从控制模式下的全髋关节置换手术的虚拟学习方法，导致在真实手术情况下一旦出现失误就会宣布手术失败。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种用于全髋关节置换手术的虚拟学习方法，。

为实现上述目的，本发明所提供的技术方案为：

一种用于全髋关节置换手术的虚拟学习方法，首先***初始化，建立输入端与控制器之间的通信连接，并在实时虚拟场景中完成力反馈装置与控制器的映射；在操作过程中，输入端以三维图形输入的控制方式与虚拟场景中的手术器械模型进行交互，并在同时让操作者通过图像反馈及时看到训练画面，并在训练过程中配备关键信息提示。

进一步地，具体过程如下：

S1、连接力反馈设备和控制器；

S2、在Unity5.2.3或以上的版本安装“Unity 5Haptic Plugin for GeomagicOpenHaptics 3.3”与力反馈设备进行通讯；

S3、调用“Haptic Plugin for Geomagic OpenHaptics 3.3”的编程接口获取力反馈设备的相关参数；

S4、通过基于3D图形输入实现力反馈设备与Unity中设置的虚拟设备完成实时交互；

S5、选择姿态角输入方式与设备完成数据交流；

S6、对插件的工作空间、工作模式进行初始化；

S7、根据相机的位置不断更新工作空间,并将虚拟力反馈设备与获取的数值完成实时通讯联系起来；

S8、建立虚拟场景中的骨头模型；

S9、创建虚拟场景中手术场景和手术器械；

S10、设置训练对象模型上虚拟关键点；

S11、设计图像反馈信息；

S12、设计相机调焦功能；

S13、开始训练以及评估。

进一步地，所述步骤S3中，编程接口分为Haptic Device API和Haptic LibraryAPI两部分；

其中，Haptic Device API提供设备的底层接口,通过回调函数直接访问设备状态查询表中的各种设备的实时参数；

Haptic Library提供上层接口，在运行过程中，上位机程序通过编程接口,以1000hz的频率获取力反馈设备包含位置、姿态、关节角、末端速度、关节角速度在内的信息，并持续不断将信息发送给控制器实现闭环控制。

进一步地，所述步骤S5，在基于3D图形输入与力反馈通讯过程中，通过插件提供的“hdInitDevice”函数完成设备初始化，其中默认参数为“HD_DEFAULT_DEVICE”；然后利用“hdGetCurrentDevice”函数找到当前设备以及“hdGetDoublev”回调函数读取设备参数，其中参数包括当前平动位置信息、当前平动速度与加速度信息和当前姿态角四种；其中“hdGetDoublev”的调用形式为“(参数名，返回值类型)”；接着使用“hdBeginFrame”和“hdEndFrame”作为数据访问的起点和终点以保证访问的一致性，从而实现力反馈设备与控制器的数据同步更新；在测试中，对于包括平动的位置、速度与加速度在内的信息直接通过Haptic Device API提供的访问接口读取。

进一步地，对于通过姿态角信息的获取，通过Haptic Device API访问接口预先得到16元末端姿态数组，然后转换到等效轴角坐标系中各个轴的速度信息；以等效轴角坐标系表示法描述的16元末端姿态数组如下式(1)所示：

其中，R_K(θ)为单位矩阵，矩阵的元素称为16元，每一个用t[]表示，K为当前姿态相对于基坐标系的姿态角，通过差分可近似得到姿态角在x，y，z三个方向的速度信息；

由1可得式2和式3：

θ为相应绕着坐标轴的旋转角度；

进一步地，所述步骤S6具体如下：

把力反馈设备在真实场景的活动空间近似为一个立方体形式，将其尺寸数据通过“SetHapticWorkSpace”中的“ConvertFloat3ToIntPtr”指令由“float3”数组转换成“IntPtr”；

然后在“GetHapticWorkSpace”中利用“ConvertIntPtrToFloat3”将“IntPtr”又转换成Unity编辑器中的“float 3”数组进而确定空间尺寸；

接下来，根据相机的位置使用插件中的“UpdateHapticWorkspace”函数更新工作空间以及“IndicateMode”函数设置训练交互模式；

下一步在Unity3D中将创建的物体状态设置为“Touchable Face”,其为“front”,“back”,“front and back”中的任意一种；

设置力反馈过程中，在“Environment constantforce”,“viscosity”,“springeffect”和“friction effect”的脚本中创建并设置相关属性，包括幅度、持续时间、增益；设置物体需要获取所有带有″Tochable″标签的对象数组，并获取对象的网格属性，然后绘制几何体，读取几何体特征进而启动所有不同对象的力反馈事件。

进一步地，所述步骤S8建立虚拟场景中的骨头模型，分为CT图像分割和三维建模两步；

其中，所述CT图像分割为基于mimics的阈值法、区域生长完成骨头CT数据的图像分割；在minics界面导入患者的CT图集后，选择阈值进行二值化处理，将CT图集中灰度值处于阈值范围内的像素保留下来；阈值分割主要利用图像中要提取的目标区域与其背景在灰度特性上的差异，将CT图像分成目标区域和背景区域从而产生相应的二值图像；然后利用区域增长工具将二值化图像分割成多块，同时去除漂浮像素。

进一步地，所述步骤S9中，手术环境通过贴图形式***，力反馈模型则利用Unity3D中自带的简单立体模型组合而成；在“Hierarchy”面板中创建一个主相机用于拍摄操作训练过程中看到的运行面画，在“Inspector”中增加“Skybox”组件来设计贴图样式，以及将Camera组件中的“Clear Flags”切换到“Skybox”模式；手术环境由前、后、左、右、上和下六张贴图拼凑而成的立体空间，而虚拟手术工具由一个球体和一个胶囊组装而成，其中球体的圆心作为整个手术工具的定位坐标。

进一步地，所述步骤S12，在相机中通过脚本来设置Camera组件中“Field ofview”，并在运行过程中通过鼠标按键的形式进行调焦。

进一步地，所述步骤S13中，实验主要分为两步进行，在Game面板运行过程中，首先进行调焦使得训练画面切换到操作者最舒适的角度；然后控制力反馈设备以正确的角度接近关键点，直到两个关键点都变蓝才算完成；训练过程中通过Game面板上的用时来评估操作者训练的熟悉程度。

与现有技术相比，本方案原理及优点如下：

(1)通过“OpenHaptics”工具包，开发者可以将力或触觉反馈设备应用于广泛的领域，如手术模拟和医疗训练、航空航天和军事训练、盲人或视障人士的辅助技术以及游戏娱乐等。

(2)采用基于3D图形输入完成力反馈设备与虚拟设备的协调操作，相对基于键盘字符输入的方式，可以灵活采集到力反馈设备的输入信号，并且快速完成交互过程。

(3)选择姿态角输入方式与设备完成数据交流，相对平动输入方式来说，充分利用力反馈设备六自由度的优势完成数据输入。

(4)在学习***中可以模拟手术器械的质量以及虚拟物体的触感，从而更真实逼真的体验手术场景。

(5)虚拟股骨头模型的建立严格按照病人CT图像进行的建模以及骨头上的关键点信息是按照目前全髋关节置换手术的要求创建的，整个训练模型具有真实性。

(6)训练场景可以面向多样化的手术环境，而且训练复杂度也可以根据实际过程中的难度在Unity轻松设置。图像反馈环节的时间和距离实时显示可以在用户操作过程中给与一些路径指导，从而辅助完成训练。

(7)虚拟场景中通过鼠标按键方式进行相机调焦可以在训练过程中轻松更加需求切换场景的画面信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为用于全髋关节置换手术的虚拟学习***的示意图；

图2为基于mimics虚拟骨头模型场景示意图；

图3为虚拟仿真训练场景示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

参照图1-图3所示，一种用于全髋关节置换手术的虚拟学习方法，首先***初始化，建立输入端与控制器之间的通信连接，并在实时虚拟场景中完成力反馈装置与控制器的映射；在操作过程中，输入端以三维图形输入的控制方式与虚拟场景中的手术器械模型进行交互，并在同时让操作者通过图像反馈及时看到训练画面，并在训练过程中配备关键信息提示。

输入端与控制器之间的通信并映射虚拟场景的过程主要利用OpenHaptics接口访问力反馈设备的数据，将其封装成插件并传递给Unity3D线程，从而完成Unity接口控制。

具体过程如下：

S1、连接力反馈设备和控制器；使用提供的USB接口连接力反馈设备和控制器，然后将电源线连接插座与力反馈设备背部的连接器进行供电。连接完成之后，如果蓝色发光二极管快速闪烁两次代表控制器与力反馈设备连接成功。

S2、在Unity5.2.3或以上的版本安装“Unity 5Haptic Plugin for GeomagicOpenHaptics 3.3”与力反馈设备进行通讯。

S3、调用“Haptic Plugin for Geomagic OpenHaptics 3.3”的编程接口获取力反馈设备的相关参数。编程接口分为Haptic Device API(HDAPI)和Haptic Library API(HLAPI)两部分。

HDAPI提供设备的底层接口,能够通过回调函数直接访问设备状态查询表中的各种设备的实时参数；

HLAPI为熟悉OpenGL的编程人员提供了一个上层接口。在运行过程中，上位机程序通过编程接口,以1000hz的频率获取力反馈设备的位置、姿态、关节角、末端速度、关节角速度等信息，并持续不断将信息发送给控制器实现闭环控制。

S4、通过基于3D图形输入实现力反馈设备与Unity中设置的虚拟设备完成实时交互。

S5、选择姿态角输入方式与设备完成数据交流；具体地，在基于3D图形输入与力反馈通讯过程中，通过插件提供的“hdInitDevice”函数完成设备初始化，其中默认参数为“HD_DEFAULT_DEVICE”；然后利用“hdGetCurrentDevice”函数找到当前设备以及“hdGetDoublev”回调函数读取设备参数，其中参数包括当前平动位置信息、当前平动速度与加速度信息和当前姿态角四种；其中“hdGetDoublev”的调用形式为“(参数名，返回值类型)”；接着使用“hdBeginFrame”和“hdEndFrame”作为数据访问的起点和终点以保证访问的一致性，从而实现力反馈设备与控制器的数据同步更新；在测试中，对于包括平动的位置、速度与加速度在内的信息直接通过Haptic Device API提供的访问接口读取。

对于通过姿态角信息的获取，通过Haptic Device API访问接口预先得到16元末端姿态数组，然后转换到等效轴角坐标系中各个轴的速度信息；以等效轴角坐标系表示法描述的16元末端姿态数组如下式(1)所示：

由1可得式2和式3：

θ为相应绕着坐标轴的旋转角度；

S6、对插件的工作空间、工作模式进行初始化，具体过程如下：

把力反馈设备在真实场景的活动空间近似为一个立方体形式，将其尺寸数据(例如长宽高都为20cm)通过“SetHapticWorkSpace”中的“ConvertFloat3ToIntPtr”指令由“float 3”数组转换成“IntPtr”；

S7、在“void Update”循环中不断更新工作空间。根据相机的位置不断更新工作空间,并将虚拟力反馈设备与获取的数值完成实时通讯联系起来。

S8、建立虚拟场景中的骨头模型，具体分为CT图像分割和三维建模两步；

下一步对分割后的序列CT图像进行计算处理，恢复其三维结构。常用的三维重建算法分为面绘制和体绘制两大类。面绘制方式主要在图像上提取感兴趣的一个或多个组织轮廓，并借助中间几何平面元及算法生成网格模型供后续处理。面绘制的算法主要有断层表面重构、移动立方体法等，其中断层表面重构算法作为面绘制的经典算法，有着最为广泛的应用。体绘制方式：直接通过算法利用采集的体素进行重采样，继而完成三维重建。常用的体绘制方法主要有光线投射法、抛雪球法、错切变换法和纹理映射法。体绘制优点可以生成三维模型的每一个细节，并具有图像质量高、便于并行处理的特点。缺点是需要处理的数据量大，计算时间长，算法复杂，从而影响三维重建的效率。而面绘制只需要处理所有数据中的一小部分，因此计算速度快；但是面绘制切断了结构轮廓与整体结构的联系，可能会出现丢失关键点信息。本文提出的虚拟学习***对三维物体细节要求比较高，因此采用基于光线投射法的体绘制的方式进行骨头模型建模。本专利提出的训练对象模型主要由mimics创建的虚拟骨头模型和Solid work创建的半透明人体模型组成。将两个模型以“stl”格式保存，并且将它们在3D builder软件中转换成“obj”格式导入到Unity3D场景中。

S9、创建虚拟场景中手术场景和手术器械；

手术环境通过贴图形式***，力反馈模型则利用Unity3D中自带的简单立体模型组合而成；在“Hierarchy”面板中创建一个主相机用于拍摄操作训练过程中看到的运行面画，在“Inspector”中增加“Skybox”组件来设计贴图样式，以及将Camera组件中的“ClearFlags”切换到“Skybox”模式；手术环境由前、后、左、右、上和下六张贴图拼凑而成的立体空间，而虚拟手术工具由一个球体和一个胶囊组装而成，其中球体的圆心作为整个手术工具的定位坐标。

S10、设置训练对象模型上虚拟关键点；

在全髋关节置换手术中，通常需要在患者髋臼处安装一个金属髋臼杯并且通过2-3颗螺钉进行固定，从而与股骨头假体连接。然而髋臼杯与螺钉的位置是整个手术的关键，它直接影响手术的成败。根据手术经验通常在髋臼12点方向臼上缘2cm处垂直***克氏针(此处骨板较厚，克氏针不易移位)用于定位髋臼杯，因此本实施例设计两个红色的虚拟的关键点用来模拟克氏针定位。由于关键点在Game面板中比较小和不易观察，因此以该点为圆心、半径为1cm的球体进行模拟，其中圆心坐标即为关键点的位置坐标。

S11、设计图像反馈信息；

图像反馈信息由操作的时间显示和手术工具到关键点的实时距离组成。时间显示在“fixedupdate”中以固定频率更新，并将整数形式转换成分和秒形式；当时间超过60秒会实现颜色由白色变成红色以提醒用户时间超出预期。距离实时提示则是在移动过程中由手术工具和关键点的位置坐标在“Transform”中“Position”的差值获取。当虚拟手术器械与圆心坐标距离小于3cm时，让显示的数值由红色变成绿色提示术者马上达到目标；当距离小于1cm且手术器械角度满足外展角45度和前倾角15度时，让球体颜色由红色变成蓝色提示已经到底目标位置。

S12、设计相机调焦功能；考虑到Game面板中场景往往不是进行训练的最佳观察位置，因此在相机中新建一个脚本用来设置Camera组件中“Field of view”，并在运行过程中通过鼠标按键的形式进行调焦。

S13、开始训练以及评估；实验主要分为两步进行，在Game面板运行过程中，首先进行调焦使得训练画面切换到操作者最舒适的角度；然后控制力反馈设备以正确的角度接近关键点，直到两个关键点都变蓝才算完成。训练过程中通过Game面板上的用时来评估操作者训练的熟悉程度。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims

1.一种用于全髋关节置换手术的虚拟学习方法，其特征在于，首先***初始化，建立输入端与控制器之间的通信连接，并在实时虚拟场景中完成力反馈装置与控制器的映射；在操作过程中，输入端以三维图形输入的控制方式与虚拟场景中的手术器械模型进行交互，并在同时让操作者通过图像反馈及时看到训练画面，并在训练过程中配备关键信息提示；

具体过程如下：

S1、连接力反馈设备和控制器；

S2、在Unity5.2.3或以上的版本安装“Unity 5 Haptic Plugin for GeomagicOpenHaptics3.3”与力反馈设备进行通讯；

S3、调用“Haptic Plugin for Geomagic OpenHaptics3.3”的编程接口获取力反馈设备的相关参数；

S5、选择姿态角输入方式与设备完成数据交流；

S6、对插件的工作空间、工作模式进行初始化；

S8、建立虚拟场景中的骨头模型；

S9、创建虚拟场景中手术场景和手术器械；

S10、设置训练对象模型上虚拟关键点；

S11、设计图像反馈信息；

S12、设计相机调焦功能；

S13、开始训练以及评估；

所述步骤S3中，编程接口分为Haptic Device API和Haptic Library API 两部分；

2.根据权利要求1所述的一种用于全髋关节置换手术的虚拟学***动位置信息、当前平动速度与加速度信息和当前姿态角四种；其中“hdGetDoublev”的调用形式为“(参数名，返回值类型)”；接着使用“hdBeginFrame”和“hdEndFrame”作为数据访问的起点和终点以保证访问的一致性，从而实现力反馈设备与控制器的数据同步更新；在测试中，对于包括平动的位置、速度与加速度在内的信息直接通过Haptic Device API提供的访问接口读取。

3.根据权利要求2所述的一种用于全髋关节置换手术的虚拟学习方法，其特征在于，对于通过姿态角信息的获取，通过Haptic Device API访问接口预先得到16元末端姿态数组，然后转换到等效轴角坐标系中各个轴的速度信息；以等效轴角坐标系表示法描述的16元末端姿态数组如下式(1)所示：

其中，R_K(θ)为单位矩阵，矩阵的元素称为16元，每一个用t[]表示，K为当前姿态相对于基坐标系的姿态角，通过差分得到姿态角在x，y，z三个方向的速度信息；

由(1)可得式(2)和式(3)：

θ为相应绕着坐标轴的旋转角度；

4.根据权利要求1所述的一种用于全髋关节置换手术的虚拟学习方法，其特征在于，所述步骤S6具体如下：

然后在“GetHapticWorkSpace”中利用“ConvertIntPtrToFloat3”将“IntPtr”又转换成Unity编辑器中的“float3”数组进而确定空间尺寸；

下一步在Unity3D中将创建的物体状态设置为“TouchableFace”,其为“front”,“back”,“front and back”中的任意一种；

设置力反馈过程中，在“Environment constant force”,“viscosity”,“springeffect”和“friction effect”的脚本中创建并设置相关属性，包括幅度、持续时间、增益；设置物体需要获取所有带有"Tochable"标签的对象数组，并获取对象的网格属性，然后绘制几何体，读取几何体特征进而启动所有不同对象的力反馈事件。

5.根据权利要求1所述的一种用于全髋关节置换手术的虚拟学习方法，其特征在于，所述步骤S8建立虚拟场景中的骨头模型，分为CT图像分割和三维建模两步；

6.根据权利要求1所述的一种用于全髋关节置换手术的虚拟学习方法，其特征在于，所述步骤S9中，手术环境通过贴图形式***，力反馈模型则利用Unity3D中自带的简单立体模型组合而成；在“Hierarchy”面板中创建一个主相机用于拍摄操作训练过程中看到的运行面画，在“Inspector”中增加“Skybox”组件来设计贴图样式，以及将Camera组件中的“ClearFlags”切换到“Skybox”模式；手术环境由前、后、左、右、上和下六张贴图拼凑而成的立体空间，而虚拟手术工具由一个球体和一个胶囊组装而成，其中球体的圆心作为整个手术工具的定位坐标。

7.根据权利要求1所述的一种用于全髋关节置换手术的虚拟学习方法，其特征在于，所述步骤S12，在相机中通过脚本来设置Camera组件中“Field of view”，并在运行过程中通过鼠标按键的形式进行调焦。

8.根据权利要求1所述的一种用于全髋关节置换手术的虚拟学习方法，其特征在于，所述步骤S13中，实验主要分为两步进行，在Game面板运行过程中，首先进行调焦使得训练画面切换到操作者最舒适的角度；然后控制力反馈设备以正确的角度接近关键点，直到两个关键点都变蓝才算完成；训练过程中通过Game面板上的用时来评估操作者训练的熟悉程度。