CN106873787A - 一种用于虚拟手术仿真教学的手势交互***及方法 - Google Patents

Abstract

本发明公开了一种用于虚拟手术仿真教学的手势交互***及方法，***包括有手势传感单元、惯性测量单元、辅助测量单元、数据解算和控制单元、WIFI通信单元、上位机；手势传感单元用于获取手部手指关节的屈伸程度；惯性测量单元用于确定手部的空间位置；辅助测量单元用于在三维空间内对手部关节的运动进行精准稳定的感知和追踪；数据解算和控制单元用于对获取的手部运动数据进行实时处理，并控制所述的手势传感单元、测量单元和辅助测量单元，实现对手势的精准识别、对手部运动的追踪功能；本发明首先进行手势捕获，然后把数据发送到上位机的虚拟手术仿真教学***，进行可视化操作，从而进行更加逼真的仿真手术训练和考核，提升训练考核效果。

Description

一种用于虚拟手术仿真教学的手势交互***及方法

技术领域

本发明属于仿真技术领域，涉及一种用于虚拟仿真教学的手势交互***及方法，尤其是涉及一种以数据手套作为载体的可用于虚拟手术仿真教学***的手势交互***及方法。

背景技术

虚拟手术是利用各种医学影像数据，利用虚拟现实技术在计算机中建立一个模拟环境，医生借助虚拟环境中的信息进行手术计划、训练，以及实际手术过程中引导手术的新兴学科。

其目的是使用计算机技术(主要是计算机图形学与虚拟现实)来模拟、指导医学手术所涉及的各种过程，在时间段上包括了术前、术中、术后，在实现的目的上有手术计划制定，手术排练演***发展不平衡的现状有着特殊的意义。

虚拟手术这个研究方向目前正在逐步形成之中，与之相关的一些研究方向主要有：医学可视化，医学增强现实，医用机器人，手术模拟，图象引导手术，计算机辅助手术等。

当前已经出现了一些虚拟手术仿真***，但是它们都缺少一种精确有效实时的信息交互方法，它多是采用手柄或者其他握持类的输入设备，在一些场景下不能给使用者很好的体验。而此发明则解决了这个问题，它是以数据手套为载体的手势交互方法，完全还原了人自然的操作方式，和真实手术的感觉一样，能大大优化用户的使用体验、提高医护人员的训练效率。

发明内容

为了解决现有虚拟仿真手术的手势交互方式所存在的缺陷，提供了一种能更加精确获取手部动作和运动姿态并向其他设备提供还原手部信息的交互***及方法。

本发明的***所采用的技术方案是：一种用于虚拟手术仿真教学的手势交互***，其特征在于：包括有手势传感单元、惯性测量单元、辅助测量单元、数据解算和控制单元、WIFI通信单元、上位机；

所述手势传感单元、惯性测量单元、辅助测量单元、数据解算和控制单元、WIFI通信单元集成到手套上，穿戴在手上；

所述手势传感单元用于获取手部手指关节的屈伸程度；所述惯性测量单元用于确定手部的空间位置；所述辅助测量单元用于结合惯性测量单元的数据，在三维空间内对用户手部的运动进行精准稳定的感知和追踪；

所述数据解算和控制单元分别与所述手势传感单元、惯性测量单元、辅助测量单元连接，用于对手势传感单元、测量单元和辅助测量单元获取的数据进行处理，并控制所述对手势传感单元、测量单元和辅助测量单元，实现对手势的识别、对手部运动的追踪功能；

所述数据解算和控制单元通过所述WIFI通信单元与所述上位机连接通信。

本发明的方法所采用的技术方案是：一种用于虚拟手术仿真教学的手势交互方法，其特征在于，包括以下步骤：

步骤1：采集各手指关节及拇指和手掌之间弯曲度、手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置、手部运动角速度和三轴加速度；

步骤2：通过各手指弯曲度数据得到手部的姿态，通过手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置的数据得到手部的三维坐标，通过手部的运动角速度和三轴加速度还原手部运动，从而计算出手部的三维坐标；

步骤3：对步骤2中得到的数据进行修正，从而精准还原出手部状态。

本发明具有如下优点：

1.采用柔性弯曲度电阻传感器检测弯曲角度。此类传感器采用了一种特殊材料，这类材料对弯曲形变极其敏感，能够将弯曲形变转换为电阻阻值的变化，电阻阻值经过信号处理和转换方法，最后转化为数字电路能够处理的数字信号。通过这种方式避免了使用微电子惯性测量元件造成的运算量大、误差较大的弊端，也避免了图像识别造成的抗干扰能力差、计算量大的弱点；

2.采用了通过综合手部多个关节角度来还原出手势的算法，与弯曲度传感器相结合，使得装置在柔软轻便的情况下仍可获得高精度的手势还原度，应用在虚拟手术中更逼真更接近真实场景；

3.采用了高精度微电子的惯性测量传感器技术实现三维空间实时精确定位。片上同时集成加速度计和陀螺仪，避免传感器分置带来的测量误差；通过精密的校准和精心设计的融合算法最大程度克服了惯性测量设备的固有缺点，得到媲美机械惯导设备的精确度，为后级的运动检测、追踪、定位算法的准确性提供保障；

4.采用红外同步与超声波测距相结合的测距方案用于在惯性测量条件未达到或需要相对于世界坐标系的绝对定位参数时提供绝对测量数据，成本低，易实现，在虚拟手术仿真教学中具有非常明显的优势；

5.采用改进实时操作***内核调度方法与嵌入式处理算法，使各项任务得到有效组织和精确调度，一方面提高了嵌入式处理器利用效率，另一方面又能做到及时响应各种内外部任务，保证实时性；

6.采用USB接口和WIFI通信方式，提供接口开发包，支持各种医学平台，操作方便。

附图说明

图1是本发明实施例的***功能模块图；

图2是本发明实施例的***结构图；

图3是本发明实施例中***的辅助测量单元的结构图；

图4是本发明实施例中测量手部十五个关节角度的部位示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明的目的是使用计算机技术(主要是计算机图形学与虚拟现实)来模拟、指导医学手术所涉及的各种过程，在时间段上包括了术前、术中、术后，在实现的目的上有手术计划制定，手术排练演习，手术教学，手术技能训练，术中引导手术、术后康复等。运用增强现实技术可以使医务工作者沉浸于虚拟的场景内，可以通过视、听、触觉感知并学习各种手术实际操作，体验并学习如何应付临床手术中的实际情况。

请见图1、图2和图3，本发明提供的一种用于虚拟手术仿真教学的手势交互***，包括有手势传感单元1、惯性测量单元2、辅助测量单元3、数据解算和控制单元4、WIFI通信单元5、上位机6；

手势传感单元1、惯性测量单元2、辅助测量单元3、数据解算和控制单元4、WIFI通信单元5集成到手套上，穿戴在手上；

手势传感单元1用于获取手部手指关节的屈伸程度；惯性测量单元2用于确定手部的空间位置；辅助测量单元3用于结合惯性测量单元2的数据，在三维空间内对手部的运动进行精准稳定的感知和追踪；

数据解算和控制单元4分别与手势传感单元1、惯性测量单元2、辅助测量单元3连接，用于对手势传感单元1、测量单元2和辅助测量单元3获取的数据进行处理，并控制对手势传感单元1、测量单元2和辅助测量单元3，实现对手势的识别、对手部运动的追踪功能；

数据解算和控制单元4通过WIFI通信单元5与上位机6连接通信，上位机上运行有用于用户开发和测试的虚拟手术仿真教学的手势交互***及开发包。

本实施例的手势传感单元1包括弯曲电阻传感器阵列7和与之相连的运放跟随装置8，是***的核心模块，手势传感单元1通过弯曲电阻传感器阵列7获取到足以还原出手势的15个角度，然后将数据经过调理、整形和滤波后交由后级模块处理。

本实施例的惯性测量单元2以六轴惯性测量传感器9为核心，监测手部在二维平面内的运动，获取用户手部的运动角速度和三轴加速度，结合相应的算法，从而实现对用户手部运动的追踪，从而确定手部的空间位置。

本实施例的辅助测量单元3包括超声波发射模块10和超声波接收模块11，辅助测量单元3用于帮助***克服惯性测量单元2测量结果的相对性和对被测目标加速度限制严格的局限性；辅助测量单元3从世界坐标系的视角，为某些主要功能的实现提供绝对定位数据，保证了惯性测量单元2测量数据的准确可信和稳定。为进一步保证数据的可信性，排除因偶然因素对测量数据造成干扰，融合后的测量结果经过进一步的卡尔曼滤波处理，从而达到更佳的噪声抑制效果。

数据解算和控制单元4用于有效组织和精确调度各个模块的运转，并运用软件算法对前级采集到的数据进行滤波、计算和综合，进而得到描绘手部手势、姿态和位置的信息，打包成标准数据帧交由通信单元发送出去。

WIFI通信单元5用于建立手套与外部设备的数据通联。WIFI模块将手套接入网络，从而建立同多个设备间的控制通道；此外WIFI模块也是手套与上位机6联通的途径之一，在联网的情况下，上位机可以通过网络方式与手套建立数据链路。

本实施例的上位机6由通信模块、命令执行模块、数据传输模块组成；通信模块用于接收解算和控制单元4传输的数据；命令执行模块负责根据所述网络通信模块收到的手势命令，操作虚拟手术仿真教学的手势交互***，从而实现手势控制功能；数据传输模块将接收的手部数据转换成***所能接收的数据格式，实现手势交互的功能。

为了方便人们使用这款手套开发应用程序体验本发明，本发明提供了可以用于Unity 3D的开发包，开发人员可以调用本发明提供的接口获取手部数据，从而开发和升级虚拟手术仿真应用***。

只需要在手上穿戴配套设备，就可进行手势捕获，从而还原出手部的手势、姿态和运动轨迹，然后把数据发送到上位机，对虚拟手术仿真教学的手势交互***进行操作，从而进行更加真实的仿真手术训练和考核，提升训练考核效果。

本发明提供的一种用于虚拟手术仿真教学的手势交互方法，包括以下步骤：

步骤1：采集各手指关节及拇指和手掌之间弯曲度、手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置、手部运动角速度和三轴加速度；

请见图1，本实施例以数据手套上的弯曲电阻传感器阵列7采集手术过程中手指的变化信息，采集虚拟手术过程中5个掌指关节、5个指骨关节、4个指头之间张开角度；拇指向手掌贴靠时候，拇指和手掌之间的角度，采集以上各个关节的弯曲角度，通过压力与电阻的变化计算方法得到电阻值，上述角度由弯曲传感器的弯曲角度-电阻值曲线得出。以此来仿真出在虚拟手术过程中，操作者操作医疗器械，手部的细微动作。

以数据手套外嵌手部超声波传感器测量虚拟实体之间的相对距离的方法，通过计算超声波传出和返回时间，可以判断当前手部和上位机之间的相对距离，用于辅助定位手部位置的功能。

步骤2：通过各手指弯曲度数据得到手部的姿态，通过手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置的数据得到手部的空间三维坐标，通过手部的运动角速度和三轴加速度还原手部的运动，从而计算出手部的空间三维坐标；

本实施例以手部的运动角速度和三轴加速度测量手部运动速度和路径的方法。通过计算出三维空间的三个方向加速度的矢量长度，可以进一步获得一条手部运动的加速度曲线轨迹。基于人手部动作的研究可以发现，人手在运动过程中不仅有朝向各个方向的运动，还有以肘部为中心的圆周运动，可以由此得到手部转动的角速度。通过矢量长度的变化，可以判断出目前加速度的方向，通过和上一次保存的加速度方向进行比较，如方向发生了变化，计算出三个方向上对时间的一次积分，就可以得到当前速度的大小，进行二次积分就可以得到运动轨迹。通过综合弯曲度数据得到手部的手势，通过手部的运动角速度和三轴加速度还原手部的运动，从而计算出手部的三维坐标，再加上辅助测量设备的数据进行修正，从而精准地还原出手部的运动状态。

步骤3：对步骤2中得到的数据进行修正，从而精准地还原出手部状态。

利用卡尔曼滤波对步骤2中得到的手部的三维坐标数据进行处理，然后在利用值滤波算法对步骤2中得到的所有数据进行；

卡尔曼滤波是一种利用线性***状态方程，通过***输入输出观测数据，对***状态进行最优估计的算法。能有效遏制噪声和干扰对结果的影响，非常适用于处理惯性测量设备的测量结果。

程序中采用了卡尔曼滤波理论中的五个基本方程，通过定时器中断不断对滤波结果和滤波器参数进行迭代更新。从而可以时刻根据当前陀螺仪和加速度计的输出融合得到“最佳”的角度估计。

算法过程如下：

①根据当前得到的角速度G在上一时刻角度A(n-1)的基础上积分再减去误差q进而得到此刻的角度估计An。

②计算并更新滤波器的参数之一——协方差矩阵。

其中方差D(A(n))在实际工作中变化不大，因此在实际计算时可用惯性测量单元调试时得到的方差代替，在程序中视为常数。

③得到协方差矩阵后，接下来计算并更新卡尔曼滤波器的又一重要参数——卡尔曼增益P。其中R为惯性测量单元的固有测量误差，可在调试时测得，在程序中作为常数参与计算。

④进一步，根据之前计算出来的各个值得出最终认为“最接近真实”的角度值，即滤波结果X(k|k)。在此之前，已经得到了公式中除Z(k)以外的所有项的值。而Z(k)，指的是角速度计测出的角度A'与上一时刻得出的滤波结果之差，即Z(k)＝A'-A。至此，就得到了经卡尔曼滤波算法融合后的结果，并可送下一级模块做处理

⑤最后，根据卡尔曼滤波理论的要求，还需要用刚刚得到的融合结果做“负反馈”，即更新卡尔曼滤波器的协方差矩阵。

以上五步完成后，输出融合结果，退出中断程序，等待下一次中断到来，然后重复以上运算。至此，整个卡尔曼滤波算法执行完成，得到了可以置信的惯性测量数据。

此外为了进一步保证数据的可信性，排除因偶然因素对测量数据造成干扰，对于经卡尔曼滤波融合后的惯性测量单元的数据和其他所有传感器的测量数据用中值滤波算法进行进一步处理。这一滤波算法对于因偶然因素造成的单次数据误差，即所谓“椒盐噪声”具有极佳效果。在本实施例的应用环境下出现的绝大多数噪声属于此类噪声。本实施例针对不同类型的传感器，综合考虑测量速率和噪声处理的要求，采用三阶与五阶中值滤波器，对传感器数据进行进一步处理，达到了良好的噪声抑制效果。

本实施例采用开源实时操作***RT-Thread来实现数据解算和控制单元。

本实施例对RT-Thread的改进和扩充主要有五点：

①改进RT-Thread***内核原有的Serial子***，使得该子***得以实现多进程并发读写，同时新增了Serial子***对中断的支持，使得处理器无需亲自处理缓慢的串行通信，极大提升了软件***的执行效率；

②改进RT-Thread***内核的同步互斥单元，增强了容错性，针对在同步互斥单元初始化前调用同步互斥相关函数的情况进行了处理，一方面保证了***的正常执行和同步互斥单元的正常初始化，另一方面避免了原***中在这种情况下产生的死锁问题；

③扩充了RT-Thread***内核定时器的功能，增加了改变内核定时器超时时间并立即生效的控制命令，用于本实施例改进的Serial和新增的内核子***中，以满足开发要求；

④扩充了针对所用平台和传感器设备的IIC子***，在原有的仅支持硬件IIC控制器的IIC子***的基础上，新增了对软件模拟IIC时序通信的支持。这使得本实施例可以在硬件IIC资源有限的情况下通过软件模拟方式挂载大量的同类型IIC设备。同时，新的IIC子***效率极高，在使用软件模拟时序的条件下仍能保证IIC总线的读写速率，达到了传感器的硬件支持的最大速率。此外，新的IIC子***还支持多个进程对同一个传感器进行高速的并发读写，保证了整个软件***的实时性；

⑤在内核层面增加了对WIFI网络的支持，封装了***中采用的WIFI硬件设备，一方面向上层提供linux风格的网络接口，便于上层实现直接调用接口进行快速通信。另一方面利用内核程序执行高效的特点，保证了整个***的实时性。

本实施例以Unity3D引擎为基础，编写了开发库便于其他开发人员使用本实施例的数据手套。用户就可以调用本实施例的接口库来获取手套发送的数据，进而开发其他功能。

经本实施例改进的实时操作***在实时性、易用性、健壮性、功能完整性方面均达到较高水准，完全满足了本实施例的设计要求。

尽管本说明书较多地使用了手势传感单元1、惯性测量单元2、辅助测量单元3、数据解算和控制单元4、WIFI通信单元5、上位机6、弯曲电阻传感器阵列7、运放跟随装置8、六轴惯性测量传感器9、超声波发射模块10和超声波接收模块11等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种用于虚拟手术仿真教学的手势交互***，其特征在于：包括有手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）、数据解算和控制单元（4）、WIFI通信单元（5）、上位机（6）；

所述手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）、数据解算和控制单元（4）、WIFI通信单元（5）集成到手套上，穿戴在手上；

所述手势传感单元（1）用于获取手部手指关节的屈伸程度；所述惯性测量单元（2）用于确定手部的空间位置；所述辅助测量单元（3）用于结合惯性测量单元（2）的数据，在三维空间内对用户手部的运动进行精准稳定的感知和追踪；

所述数据解算和控制单元（4）分别与所述手势传感单元（1）、惯性测量单元（2）、辅助测量单元（3）连接，用于对手势传感单元（1）、测量单元（2）和辅助测量单元（3）获取的数据进行处理，并控制所述对手势传感单元（1）、测量单元（2）和辅助测量单元（3），实现对手势的识别、对手部运动的追踪功能；

所述数据解算和控制单元（4）通过所述WIFI通信单元（5）与所述上位机 （6）连接通信。

2.根据权利要求1所述的用于虚拟手术仿真教学的手势交互***，其特征在于：所述手势传感单元（1）包括弯曲电阻传感器阵列（7）和与之相连的运放跟随装置（8）。

3.根据权利要求1所述的用于虚拟手术仿真教学的手势交互***，其特征在于：所述惯性测量单元（2）以六轴惯性测量传感器（9）为核心，监测手部在二维平面内的运动。

4.根据权利要求1所述的用于虚拟手术仿真教学的手势交互***，其特征在于：所述辅助测量单元（3）包括超声波发射模块（10）和超声波接收模块（11）。

5.根据权利要求1-4任意一项所述的用于虚拟手术仿真教学的手势交互***，其特征在于：

所述上位机（6） 由网络通信模块、命令执行模块、数据传输模块组成；

所述网络通信模块用于接收所述解算和控制单元（4）传输的数据；所述命令执行模块负责根据所述网络通信模块收到的手势命令，操作所述***，从而实现手势控制功能；所述数据传输模块将接收的手部数据转换成虚拟手术所述***所能接收的数据格式，实现手势交互的功能。

6.一种用于虚拟手术仿真教学的手势交互方法，其特征在于，包括以下步骤：

步骤1：采集各手指关节及拇指和手掌之间弯曲度、手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置、手部运动角速度和三轴加速度；

步骤2：通过各手指弯曲度数据得到手部的姿态，通过手部与超声波发射源距离、手部在垂直于手部与超声波发射源连线的二维平面位置的数据得到手部的三维坐标，通过手部的运动角速度和三轴加速度还原手部运动，从而计算出手部的三维坐标；

步骤3：对步骤2中得到的数据进行修正，从而精准还原出手部状态。

7.根据权利要求6所述的用于虚拟手术仿真教学的手势交互方法，其特征在于：

步骤1中所述采集各手指关节及拇指和手掌之间弯曲度，是采集虚拟手术过程中5个掌指关节、5个指骨关节、4个指头之间张开角度，采集拇指向手掌贴靠时拇指和手掌之间的角度，采集以上各个关节的弯曲角度；通过压力与电阻的变化计算方法得到电阻值，上述角度由弯曲传感器的弯曲角度-电阻值曲线得出；

步骤1中所述采集手部与超声波发射源距离，是通过计算超声波传出和返回时间，判断当前手部和上位机之间的相对距离，用于辅助定位手部位置的功能。

8.根据权利要求6所述的用于虚拟手术仿真教学的手势交互方法，其特征在于：步骤2中所述通过手部的运动角速度和三轴加速度还原手部的运动，是通过计算出三维空间的三个方向下加速度的矢量长度，进一步获得一条手部运动的加速度曲线轨迹；人手在运动过程中不仅有朝向各个方向的运动，还有以肘部为中心的圆周运动，由此得到手部转动的角速度；通过矢量长度的变化，判断出目前加速度的方向，通过和上一次保存的加速度方向进行比较，若方向发生了变化，计算出三个方向上对时间的一次积分，得到当前速度的大小，进行二次积分就可以得到运动轨迹；通过综合弯曲度数据得到手部的手势，通过手部的运动角速度和三轴加速度还原手部的运动，从而计算出手部的三维坐标，再加上辅助测量单元的数据进行修正，从而精准地还原出手部的运动状态。

9.根据权利要求6所述的用于虚拟手术仿真教学的手势交互方法，其特征在于：步骤3中，利用卡尔曼滤波对步骤2中得到的手部的三维坐标数据进行处理，然后在利用值滤波算法对步骤2中得到的所有数据进行。

10.根据权利要求6-9任意一项所述的用于虚拟手术仿真教学的手势交互方法，其特征在于：手套根据约定的通信协议向上位机发送数据包，实现远距离联网操作。