CN102207997A - 基于力反馈的机器人微创手术仿真*** - Google Patents

基于力反馈的机器人微创手术仿真*** Download PDF

Info

Publication number
CN102207997A
CN102207997A CN2011101506784A CN201110150678A CN102207997A CN 102207997 A CN102207997 A CN 102207997A CN 2011101506784 A CN2011101506784 A CN 2011101506784A CN 201110150678 A CN201110150678 A CN 201110150678A CN 102207997 A CN102207997 A CN 102207997A
Authority
CN
China
Prior art keywords
module
force feedback
information
unit
force
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101506784A
Other languages
English (en)
Other versions
CN102207997B (zh
Inventor
杜志江
吴冬梅
闫志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Cigna Tektronix Medical Technology Co Ltd
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN 201110150678 priority Critical patent/CN102207997B/zh
Publication of CN102207997A publication Critical patent/CN102207997A/zh
Application granted granted Critical
Publication of CN102207997B publication Critical patent/CN102207997B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

基于力反馈的机器人微创手术仿真***,涉及一种计算机虚拟仿真***。本发明针对机器人微创手术的研究现状以及现有仿真技术存在的问题和不足而设计。本发明中的数据库模块用于存储医学影像原始数据、机器人微创手术器械模型数据和运动约束信息;图像处理模块用于将数据库模块中的影像数据转换成三维体数据;物理建模模块用于根据三维体数据构建几何模型;力反馈模块用于根据几何模型以及力反馈感知设备输出的参数计算出反馈力的大小和方向,并输出反馈力数据给力反馈感知设备,进而使操作者通过该力反馈感知设备感受到力;图形渲染模块用于根据力反馈模块发送的碰撞信息和数据库模块所发送的机器人运动信息获得渲染后的图像信息并输出。

Description

基于力反馈的机器人微创手术仿真***
技术领域
本发明涉及一种计算机虚拟仿真***,特别涉及一种基于力反馈的机器人微创手术仿真***。
技术背景
近年来,da Vinci等微创手术机器人***逐渐应用于临床,它将传统医疗器械与信息技术、机器人技术相结合,使外科诊断与治疗达到了微创化、微型化、智能化。微创手术机器人与传统手术相比具有显著优势:首先机器人改善医生的工作模式,规范手术操作,提高手术质量,对微创手术发展与普及具有重要推动作用;另外,机器人没有人类的疲惫感和生理限制、不受外界刺激,工作幅度可以设计的很小,执行操作的精度高、操作灵活,延伸了医生手、眼的操作能力,消除了人手的固有颤抖,延长了外科医生的职业寿命。机器人本身不怕受射线辐射。这些优点使得机器人成为医生的最好助手。
然而,微创手术机器人也有其需要克服的隐患。与传统手术相比,机器人手术中,操作者无法直接观察手术部位,医生的手眼协调困难,手术器械的活动范围也不像传统手术,手术需要在非常小的空间里完全依靠窥镜来判断病灶,并操作各种复杂的手术器械来切除病灶和缝合伤口,因此,精确度难以提高,双手轻微抖动之类的人为因素也无法排除,这也为医生提出了更高的要求。不经过训练,外科医生很难胜任这种新型的手术方式。但是,传统的训练和培训,除了使用尸体和动物外,没有更好的训练和模拟手段。运用动物进行培训,一方面,动物的解剖结构和人体的解剖结构不同,另一方面也会受到动物保护协会的谴责,而人的尸体又是不能多次使用的。
如果将微创手术机器人的特点与虚拟手术技术相结合,研发出一套机器人微创手术仿真***,则可以解决上述问题。该项技术从医学图像数据出发,在计算机中模拟出人体器官模型,创造虚拟医学环境和虚拟手术机器人,并模拟机器人辅助的微创手术过程。需要综合应用了医学、计算机图形学、生物力学、机械力学、材料学等多门学科。随着微创手术机器人技术的不断发展和临床应用的日益广泛,未来需要大量的医生接受微创手术机器人手术技术的训练。因此,基于微创手术机器人的虚拟手术***已经成为一个新颖而迫切的研究方向。
目前,类似***十分少见,东京慈惠会医科大学和香港中文大学基于达芬奇手术机器人做了一些这方面的工作,取得了一定的研究成果,但是研发出的***仍然很不成熟,而国内基于手术机器人的手术仿真尚未广泛开展,总之国内外的这方面研究还处于起步阶段,往往存在机器人动作模拟失真、软组织变形失真、缺乏力反馈或者力反馈失真等问题。
发明内容
本发明针对机器人微创手术的研究现状,针对其目前存在的问题和不足,设计一种可以反复进行的基于力反馈的机器人微创手术仿真***。
本发明所述的基于力反馈的机器人微创手术仿真***由力反馈感知设备、力反馈模块、数据库模块、图像处理模块、物理建模模块和图形渲染模块构成,力反馈模块输出控制信号给力反馈感知设备,所述力反馈感知设备输出力反馈信号给力反馈模块,力反馈模块输出碰撞信号给图形渲染模块,图像处理模块从数据库模块中读取影像数据,所述图像处理模块输出三维重建信息给物理建模模块,所述物理建模模块输出物理模型信息给力反馈模块,所述力反馈模块从数据库模块中读取运动约束信息;所述图型渲染模块也从数据库模块中读取运动约束信息;
所述数据库模块用于存储医学影像原始数据、机器人微创手术器械模型数据和运动约束信息;
所述图像处理模块,用于读取数据库模块中的影像数据,并将读取的影像数据转换成三维体数据;
所述物理建模模块,用于读取图像处理模块的三维体数据,并根据所述三维体数据构建几何模型;
所述力反馈模块,用于根据物理建模模块构建的几何模型以及力反馈感知设备输出的参数计算出反馈力的大小和方向,并对这些反馈力进行控制和补偿之后输出到力反馈感知设备,进而使操作者通过该力反馈感知设备感受到力;
所述图形渲染模块,用于根据力反馈模块发送的碰撞信息和数据库模块所发送的机器人运动信息获得渲染后的图像信息,并实现视频信息的输出。
所述物理模型信息包括质点位置、弹簧弹性系数和阻尼系数。
本发明中所述的数据库模块可以由影像数据库、机器人微创手术器械模型库和运动约束单元组成,其中:影像数据库,用于存储医学影像原始数据;机器人微创手术器械模型库,用于存储微创手术机器人的部件模型和各种手术器械模型数据;运动约束单元,用于存储机器人微创手术器械模型库中存储的各个部件以及各种手术器械之间的运动学约束联结关系和运动规律。
本发明中所述的机器人微创手术器械模型库中的模型数据中,为各个运动部件的模型赋予了不同的材质,设置不同的漫反射光。
本发明中所述的图像处理模块可以由图像预处理单元和三维重建单元组成,其中图像预处理单元,读取数据库模块中的影像数据,并将所述影像数据进行图像预处理之后发送给三维重建单元;三维重建单元,用于采用MC算法将经图像预处理之后获得的数据进行三维重建,获得三维体数据。
本发明中所述的力反馈模块可以由碰撞检测单元、质点位移变化计算单元、反馈力计算单元和力控制及补偿单元组成,其中碰撞检测单元,用于判断机器人的末端是否和器官发生碰撞,并在发生碰撞的情况下精确定位模型发生碰撞的位置信息,并将该碰撞的位置信息同时发送给图形渲染模块和质点位移变化计算单元;质点位移变化计算单元,用于在接收到碰撞检测单元所发送的碰撞信息时,立即计算碰撞位置的质点的位移变化信息,进而获得器官模型的形变信息,并将所述质点的位移变化信息发送给反馈力计算单元;反馈力计算单元,用于根据质点位移变化信息计算获得反馈力的信息,并将该反馈力信息发送给力控制及补偿单元;力控制及补偿单元,用于根据力反馈信息获得力补偿信息,发送力控制信息和力补偿信息发送给力反馈感知设备。
上述碰撞信息包括碰撞的方向和位置。
本发明中所述的图形渲染模块可以由图像渲染单元和视频输出单元组成,其中所述图像渲染单元用于创建视点、设置光照、数据读取、视窗更新、视窗销毁等图像渲染操作;所述视频输出单元用于将图像渲染单元输出的图像信息转换成视频信息输出。
本发明所述的基于力反馈的机器人微创手术仿真***,基于一种微创手术机器人机构,并以真实人体的医学影像数据作为仿真环境的构建依据,具有如下显著优点:
1、突破了传统微创手术的训练和示教模式,避免使用任何人或者动物的标本,而且可以无限次反复使用。
2、仿真***基于一种微创手术机器人***,仿真场景可实现机器人运动场景和人体内工作场景之间的切换,亦即可以同时实现传统微创手术仿真和机器人微创手术仿真两种工作模式。手术机器人的运动学特点和机构组成可以灵活改动,可以有效模拟真实机器人的各种运动。
3、具有准确力反馈的功能,操作时可以感到与真实手术相当的力,可以有效地增强医生操作的真实感。
4、利用先进的医学影像技术和计算机图像处理技术,基于真实人体的医学影像,利用三维重建等相关技术构建脏器、病灶及整个手术区生理环境。实现了手术视野的数字化、可视化。
5、可以利用某种疾病患者的影像数据进行建模,针对某种疾病设计出一种训练和教学***,有利于外科医生进行手术教学、手术规划和预演,通过反复的训练和演示使外科医生熟悉针对某种疾病的一种机器人微创手术或普通微创手术的全部手术细节。
6、软组织器官可视化模型具有人体组织的物理特性,手术器械与之相互作用时可以实现逼真的粘弹性变形。
7、***延时小,可以实现实时仿真。
附图说明
图1为基于力反馈的机器人微创手术仿真***结构图。图2-12为微创手术机器人部分模型示意图,其中,图2是被动横臂一,图3是被动横臂二,图4是被动立臂,图5是主动臂一,图6是主动臂二,图7是主动臂三,图8是主动臂4,图9是滑台,图10是微机械,图11是底座,图12是图2-11所示部件组合后的微创手术机器人装配图。图13和图16是人体软组织模型库中的部分模型,其中图13和图14是胆囊,图15是血管,图16是腹腔,包括有肝、胆、肠、胃。图17为微创手术机器人手术仿真场景,图18为土17的手术位置的局部放大图。图19是机器人手术末端执行器工作原理。图20-23是微创手术机器人手术抓取手术部位及手术部位变形的仿真场景示意图,其中图21和22是图20中的局部放大图,其中图21表示准备抓取时的仿真场景,图22是已经抓取时的仿真场景。图23是抓取后、被抓取部位产生变形的仿真场景。
具体实施方式
具体实施方式一、参见图1说明本实施方式。本实施方式所述的基于力反馈的机器人微创手术仿真***由力反馈感知设备5、力反馈模块4、数据库模块1、图像处理模块2、物理建模模块3和图形渲染模块6构成,力反馈模块4输出控制信号给力反馈感知设备5,所述力反馈感知设备5输出力反馈信号给力反馈模块4,力反馈模块4输出碰撞信号给图形渲染模块6,图像处理模块2从数据库模块1中读取影像数据,所述图像处理模块2输出三维重建信息给物理建模模块3,所述物理建模模块3输出物理模型信息给力反馈模块4,所述力反馈模块4从数据库模块1中读取运动约束信息;所述图型渲染模块也从数据库模块1中读取运动约束信息,图形渲染模块6;
所述数据库模块1用于存储医学影像原始数据、机器人微创手术器械模型数据和运动约束信息;
所述图像处理模块2,用于读取数据库模块1中的影像数据,并将读取的影像数据转换成三维体数据;
所述物理建模模块3,用于读取图像处理模块2的三维体数据,并根据所述三维体数据构建几何模型;
所述力反馈模块4,用于根据物理建模模块3构建的几何模型以及力反馈感知设备5输出的参数计算出反馈力的大小和方向,并对这些反馈力进行控制和补偿之后输出到力反馈感知设备,进而使操作者通过该力反馈感知设备5感受到力;
所述图形渲染模块6,用于根据力反馈模块4发送的碰撞信息和数据库模块1所发送的机器人运动信息获得渲染后的图像信息,并实现视频信息的输出。
本实施方式中所述所述物理模型信息包括质点位置、弹簧弹性系数和阻尼系数。
本实施方式中所述的力反馈感知设备5可以采用现有Omega的虚拟触觉设备。本实施方式中选取型号为OMEGA.3的虚拟触觉设备。
具体实施方式二、参见图1说明本实施方式。本实施方式是对具体实施方式一中所述的数据库模块1的一种实施例的说明,本实施方式中所述的数据库模块1由影像数据库1-1、机器人微创手术器械模型库1-2和运动约束单元1-3组成,其中:
影像数据库1-1,用于存储医学影像原始数据;
机器人微创手术器械模型库1-2,用于存储微创手术机器人的部件模型和各种手术器械模型数据;
运动约束单元1-3,用于存储机器人微创手术器械模型库1-2中存储的各个部件以及各种手术器械之间的运动学约束联结关系和运动规律。
本实施方式中所述的医学影像原始数据包括不同性别、不同年龄、不同疾病的影像数据。这些数据均按照DICOM数据标准进行存储和读取。
本实施方式所述的医学影像原始数据可以是来自CT或MRI等医学设备采集的图像数据。
所述机器人微创手术器械模型库1-2中存储的微创手术机器人的部件模型和各种手术器械模型中,包括有微创手术器械的相关运动学信息,所述相关运动学信息是指在某种坐标定义之下,根据机器人末端位置,结合上述数据既可解算获得全部杆件各自对应的位置和姿态,也就是解决了机器人在动作时各杆件如何更新自己的位置和姿态这一问题。这些数据在数学上表现为一组矩阵,每个杆件都有两个矩阵,一个表示姿态,一个表示位置。这些矩阵之间相互关联,形成了一种运动约束,使得虚拟的机器人能够按照实际情况进行运动。
本实施方式中所述的机器人微创手术器械模型库1-2中的模型数据,均是通过对实际物体进行实测获得的数据、利用3D建模软件如3D Studio MAX建立获得的模型数据,这些模型数据导出为3DS格式进行存储。这些模型数据都是开放式的,也是可变的,这些模型数据是通过运动约束单元1-3按照运动学约束联接起来组成仿真环境中的手术机器人。
具体实施方式三、参见图1说明本实施方式。本实施方式是对具体实施方式二中所述的机器人微创手术器械模型库1-2和运动约束单元1-3的进一步说明,本实施方式中所述的机器人微创手术器械模型库1-2中的模型数据中,为各个运动部件的模型赋予了不同的材质,设置不同的漫反射光。这样,可以增强机器人运动单元在虚拟环境中的显示。
所述运动约束单元1-3中的运动约束相关数据是按照DH算法对机器人的位置和姿态进行规定。
具体实施方式四、参见图1说明本实施方式。本实施方式是对具体实施方式一中所述的图像处理模块2的一种实施例的说明,本实施方式中所述的图像处理模块2由图像预处理单元2-1和三维重建单元2-2组成,其中:
图像预处理单元2-1,读取数据库模块1中的影像数据,并将所述影像数据进行图像预处理之后发送给三维重建单元2-2;所述图像预处理,包括灰度增强、阈值分割等基本图像预处理的技术手段。
三维重建单元2-2,用于采用MC算法将经图像预处理之后获得的数据进行三维重建,获得三维体数据。
所述图像处理模块2能够获得一个三维体数据,为下一步进行物理建模做好准备。附图13-16为人体软组织模型库部分模型,分别是胆囊、血管和腹腔的组织模型,所述模型是基于上述三维体数据映射出来的几何模型建立起来的。
具体实施方式五、参见图1说明本实施方式。本实施方式是对具体实施方式一中所述的物理建模模块3的一种实施例的说明,本实施方式中所述的物理建模模块3由分区网格划分单元3-1和改进的质点弹簧建模单元3-2组成,其中:
分区网格划分单元3-1,用于根据病灶分布、脏器特点和关心区域对三维体数据进行分区网格划分;
改进的质点弹簧建模单元3-2,用于根据分区网格划分之后的三维体数据进行初步建模,获得质点-弹簧模型,该质点-弹簧模型中的单个质点的运动遵循牛顿第二定律,对于质点i:
m i x i = - C x i + Σ j = 1 n K i x ij + m i g + f i
式中:
mi表示质点i的质量;xij表示质点i与质点j之间的相对位移,g表示重力加速度;n为正整数,表示与质点i发生作用的质点的数量。
本实施方式所述的物理建模在建模时综合考虑了重力因素、阻尼因素等,并对弹簧模型的弹性系数进行区域性分布设置,而且还利用相关函数考虑了模型的一些动力学特性。这些工作为虚拟手术进行时充分凸显手术对象的物理性质做好了准备。
具体实施方式六、参见图1说明本实施方式。本实施方式是对具体实施方式一中所述的力反馈模块4的一种实施例的说明,本实施方式中所述的力反馈模块4由碰撞检测单元4-1、质点位移变化计算单元4-2、反馈力计算单元4-3和力控制及补偿单元4-4组成,其中:
碰撞检测单元4-1,用于判断机器人的末端是否和器官发生碰撞,并在发生碰撞的情况下精确定位模型发生碰撞的位置信息,并将该碰撞的位置信息同时发送给图形渲染模块6和质点位移变化计算单元4-2;
质点位移变化计算单元4-2,用于在接收到碰撞检测单元4-1所发送的碰撞信息时,立即计算碰撞位置的质点的位移变化信息,进而获得器官模型的形变信息,并将所述质点的位移变化信息发送给反馈力计算单元4-3;
反馈力计算单元4-3,用于根据质点位移变化信息计算获得反馈力的信息,并将该反馈力信息发送给力控制及补偿单元4-4;
力控制及补偿单元4-4,用于根据力反馈信息获得力补偿信息,发送力控制信息和力补偿信息发送给力反馈感知设备5。
本实施方式中所述的力控制及补偿单元4-4用于对力反馈进行完善,综合考虑到阻尼、重力和动力学因素对力信号进行补偿。
本实施方式中所述的碰撞信息包括碰撞的方向和位置。
具体实施方式七、参见图1说明本实施方式。本实施方式是对具体实施方式一中所述的图形渲染模块6的一种实施例的说明,本实施方式中所述的图形渲染模块6由图像渲染单元6-1和视频输出单元6-2组成,其中:
所述图像渲染单元6-1用于创建视点、设置光照、数据读取、视窗更新、视窗销毁等图像渲染操作;
所述视频输出单元6-2用于将图像渲染单元6-1输出的图像信息转换成视频信息输出。
本发明以真实人体的医学影像数据作为仿真环境的构建依据,能够实现反复进行的微创手术机器人模拟仿真***。
本发明采用虚拟触觉设备作为力反馈感知设备5,在实现本发明所述的仿真***的过程中,可结合编程语言C++、openGL以及虚拟触觉***的一个开发工具Chai3D来实现,所述开发工具Chai3D是一个面向对象的基于C++的工具包,提供了很多较高层次的抽象函数,开发过程中可无需过多考虑底层接口函数,从而可以重点考虑场景的生成、物理建模合力反馈的计算与控制,具体实施方式如下:
对于场景的创建,首先要利用cWorld、cLight、cCamera三个类来定义三个对象,目的是创建一个虚拟环境并设置光照和视点信息,同时还要对视窗的大小、位置、风格、显示、刷新循环等信息进行规定,同时还需对反馈感知设备5进行识别,这些工作大部分在图形渲染模块6中完成,在这个前提下各个模块开始按照某种触发和程序流程进行工作。
对机器人的运动仿真,是通过机器人微创手术器械模型库1-2和运动约束单元1-3中存储的信息、以及力反馈感知设备5和图形渲染模块6来实现的。
参见图2-12为微创手术机器人部分的仿真模型的建立过程,通过编程实现在虚拟环境中各个部件的运动关联,包括大臂、小臂和末端的动作,即:将图2-11所示的各个机器人微创手术器械模型组装连接在一起,将图2和3所述的两个被动横臂、图4所示的被动立臂、图5-8所示的四个主动臂、图9所示的滑台、图10所示的手术用的微器械组装之后,安装在图11所示的底座上,最终形成图12所示的用于微创手术的机器人手臂的仿真模型。
上述建立获得的用于微创手术的机器人手臂的仿真模型在虚拟环境中的运动,是在运动约束单元1-3的约束下接受反馈感知设备5的操控,而运动约束的特点又决定了机器人末端7-4操作器只能绕着附图19所示的机器人手术末端执行器工作原理所示的远心点O进行运动,图19中,7-1是套管,7-2是腹腔镜或者其他手术的微器械,7-3是手术用的微,7-4是指微器械的末端,7-5是指人体器官模型的软组织,图中的箭头表示各部件的可以动方向,因此操作者通过这个反馈感知设备5就可使虚拟环境中机器人末端达到手术空间内的任何预期位置,进而实施虚拟手术操作。有效的运动仿真凸显了微创手术机器人的工作特点。
本发明的仿真***中的力反馈模块4,用于实现模拟仿真当手术部位和机器人末端未发生碰撞时,参见图20所示,微创手术机器人手术仿真场景中的机器人按前述机器人运动仿真运动规律进行运动,医生操作反馈感知设备5时没有力觉感受。
当虚拟环境中机器人与器官进行接触时,力反馈模块4发生作用,手术机器人末端与器官在碰撞检测单元4-1发生作用、首先判断虚拟手术机器人末端与器官之间是否发生了碰撞,并且在发生碰撞的情况下精确地定位模型发生碰撞的位置。然后启用质点位移变化计算单元4-2对模型实施变形处理,同时启用反馈力计算单元4-3和力控制及补偿单元4-4将相互作用后的视觉情景通过图形渲染模块6进行显示,附图21和图22显示了微创手术机器人手术过程中微器械的末端抓取过程及变形的状态示意图,图23是抓取之后的仿真场景图,在抓取的同时,向反馈感知设备5实时输出稳定的力反馈,力觉刷新率在1000Hz以上,进而使得医生操作反馈感知设备5时有力觉感受。

Claims (9)

1.基于力反馈的机器人微创手术仿真***,其特征在于,它由力反馈感知设备(5)、力反馈模块(4)、数据库模块(1)、图像处理模块(2)、物理建模模块(3)和图形渲染模块(6)构成,力反馈模块(4)输出控制信号给力反馈感知设备(5),所述力反馈感知设备(5)输出力反馈信号给力反馈模块(4),力反馈模块(4)输出碰撞信号给图形渲染模块(6),图像处理模块(2)从数据库模块(1)中读取影像数据,所述图像处理模块(2)输出三维重建信息给物理建模模块(3),所述物理建模模块(3)输出物理模型信息给力反馈模块(4),所述力反馈模块(4)从数据库模块(1)中读取运动约束信息;所述图型渲染模块也从数据库模块(1)中读取运动约束信息;
所述数据库模块(1)用于存储医学影像原始数据、机器人微创手术器械模型数据和运动约束信息;
所述图像处理模块(2),用于读取数据库模块(1)中的影像数据,并将读取的影像数据转换成三维体数据;
所述物理建模模块(3),用于读取图像处理模块(2)的三维体数据,并根据所述三维体数据构建几何模型;
所述力反馈模块(4),用于根据物理建模模块(3)构建的几何模型以及力反馈感知设备(5)输出的参数计算出反馈力的大小和方向,并对这些反馈力进行控制和补偿之后输出到力反馈感知设备,进而使操作者通过该力反馈感知设备(5)感受到力;
所述图形渲染模块(6),用于根据力反馈模块(4)发送的碰撞信息和数据库模块(1)所发送的机器人运动信息获得渲染后的图像信息,并实现视频信息的输出。
2.根据权利要求1所述的基于力反馈的机器人微创手术仿真***,其特征在于,所述物理模型信息包括质点位置、弹簧弹性系数和阻尼系数。
3.根据权利要求1所述的基于力反馈的机器人微创手术仿真***,其特征在于,所述数据库模块(1)由影像数据库(1-1)、机器人微创手术器械模型库(1-2)和运动约束单元(1-3)组成,其中:
影像数据库(1-1),用于存储医学影像原始数据;
机器人微创手术器械模型库(1-2),用于存储微创手术机器人的部件模型和各种手术器械模型数据;
运动约束单元(1-3),用于存储机器人微创手术器械模型库(1-2)中存储的各个部件以及各种手术器械之间的运动学约束联结关系和运动规律。
4.根据权利要求3所述的基于力反馈的机器人微创手术仿真***,其特征在于,所述机器人微创手术器械模型库(1-2)中的模型数据中,为各个运动部件的模型赋予了不同的材质,设置不同的漫反射光。
5.根据权利要求1所述的基于力反馈的机器人微创手术仿真***,其特征在于,所述图像处理模块(2)由图像预处理单元(2-1)和三维重建单元(2-2)组成,其中:
图像预处理单元(2-1),读取数据库模块(1)中的影像数据,并将所述影像数据进行图像预处理之后发送给三维重建单元(2-2);
三维重建单元(2-2),用于采用MC算法将经图像预处理之后获得的数据进行三维重建,获得三维体数据。
6.根据权利要求1所述的基于力反馈的机器人微创手术仿真***,其特征在于,所述物理建模模块(3)由分区网格划分单元(3-1)和改进的质点弹簧建模单元(3-2)组成,其中:
分区网格划分单元(3-1),用于根据病灶分布、脏器特点和关心区域对三维体数据进行分区网格划分;
改进的质点弹簧建模单元(3-2),用于根据分区网格划分之后的三维体数据进行初步建模,获得质点-弹簧模型,该质点-弹簧模型中的单个质点的运动遵循牛顿第二定律,对于质点i:
m i x i = - C x i + Σ j = 1 n K i x ij + m i g + f i
式中:
mi表示质点i的质量;xi表示质点i的位移向量;C表示阻尼系数;Ki表示弹性系数;fi表示质点i所受到的外力,xij表示质点i与质点j之间的相对位移,g表示重力加速度;n为正整数,表示与质点i发生作用的质点的数量。
7.根据权利要求1所述的基于力反馈的机器人微创手术仿真***,其特征在于,所述力反馈模块(4)由碰撞检测单元(4-1)、质点位移变化计算单元(4-2)、反馈力计算单元(4-3)和力控制及补偿单元(4-4)组成,其中:
碰撞检测单元(4-1),用于判断机器人的末端是否和器官发生碰撞,并在发生碰撞的情况下精确定位模型发生碰撞的位置信息,并将该碰撞的位置信息同时发送给图形渲染模块(6)和质点位移变化计算单元(4-2);
质点位移变化计算单元(4-2),用于在接收到碰撞检测单元(4-1)所发送的碰撞信息时,立即计算碰撞位置的质点的位移变化信息,进而获得器官模型的形变信息,并将所述质点的位移变化信息发送给反馈力计算单元(4-3);
反馈力计算单元(4-3),用于根据质点位移变化信息计算获得反馈力的信息,并将该反馈力信息发送给力控制及补偿单元(4-4);
力控制及补偿单元(4-4),用于根据力反馈信息获得力补偿信息,发送力控制信息和力补偿信息发送给力反馈感知设备(5)。
8.根据权利要求7所述的一种基于力反馈的机器人微创手术仿真***,其特征在于,所述碰撞信息包括碰撞的方向和位置。
9.根据权利要求1所述的基于力反馈的机器人微创手术仿真***,其特征在于,所述图形渲染模块(6)由图像渲染单元(6-1)和视频输出单元(6-2)组成,其中:
所述图像渲染单元(6-1)用于创建视点、设置光照、数据读取、视窗更新、视窗销毁等图像渲染操作;
所述视频输出单元(6-2)用于将图像渲染单元(6-1)输出的图像信息转换成视频信息输出。
CN 201110150678 2011-06-07 2011-06-07 基于力反馈的机器人微创手术仿真*** Expired - Fee Related CN102207997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110150678 CN102207997B (zh) 2011-06-07 2011-06-07 基于力反馈的机器人微创手术仿真***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110150678 CN102207997B (zh) 2011-06-07 2011-06-07 基于力反馈的机器人微创手术仿真***

Publications (2)

Publication Number Publication Date
CN102207997A true CN102207997A (zh) 2011-10-05
CN102207997B CN102207997B (zh) 2013-10-16

Family

ID=44696825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110150678 Expired - Fee Related CN102207997B (zh) 2011-06-07 2011-06-07 基于力反馈的机器人微创手术仿真***

Country Status (1)

Country Link
CN (1) CN102207997B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102814815A (zh) * 2012-08-24 2012-12-12 广东工业大学 一种虚拟工程机器人***及控制方法
CN102831289A (zh) * 2012-06-11 2012-12-19 董建增 基于三维电解剖标测***的心房颤动导管消融模拟器
CN103632595A (zh) * 2013-12-06 2014-03-12 合肥德易电子有限公司 多种腔内治疗性内镜手术医教训练***
CN104063540A (zh) * 2014-06-10 2014-09-24 南京信息工程大学 一种支持增强力触觉反馈的涡卷弹簧模型
CN104281448A (zh) * 2014-09-03 2015-01-14 中国人民解放军63892部队 一种支持功能订制的组合式视景仿真***及仿真方法
CN104598033A (zh) * 2015-02-05 2015-05-06 武汉大学 一种多线圈电磁式力触觉反馈装置及方法
CN104950692A (zh) * 2015-05-20 2015-09-30 上海交通大学 一种适用于欠驱动机械手的抓取仿真***
CN106446452A (zh) * 2016-10-19 2017-02-22 南京信息工程大学 基于力触觉交互的拱梁弹簧形变模型的建模方法
CN106781941A (zh) * 2016-11-24 2017-05-31 北京理工大学 一种用于模拟微创穿刺手术的方法及其***
CN107550566A (zh) * 2011-11-30 2018-01-09 法国医疗科技公司 将手术器械相对患者身体进行定位的机器人辅助装置
CN108648821A (zh) * 2018-03-21 2018-10-12 北京理工大学 面向穿刺手术机器人的智能手术决策***及其应用方法
CN108777001A (zh) * 2018-06-26 2018-11-09 宁波极呈光电有限公司 手术模拟方法及装置
CN109009434A (zh) * 2018-08-15 2018-12-18 苏州大学张家港工业技术研究院 腹腔微创外科机器人虚拟手术方法
CN109192030A (zh) * 2018-09-26 2019-01-11 郑州大学第附属医院 基于虚拟现实的真实腔镜微创手术仿真训练***及方法
CN109243614A (zh) * 2018-09-11 2019-01-18 深圳先进技术研究院 一种手术仿真方法、装置和***
CN109616211A (zh) * 2018-12-20 2019-04-12 南昌大学 一种基于质点弹簧的混合缝合线模型及其打结方法
CN109935311A (zh) * 2019-03-21 2019-06-25 刘伟民 一种大型数字化医疗器械安全管理方法及***
CN110931121A (zh) * 2019-11-29 2020-03-27 重庆邮电大学 一种基于Hololens的远程手术指导装置及操作方法
CN110974425A (zh) * 2019-12-20 2020-04-10 哈尔滨工业大学 对手术器械夹持力感知模型进行训练的方法
CN111026269A (zh) * 2019-12-04 2020-04-17 上海褚信医学科技有限公司 基于力反馈的生物组织结构的触觉反馈方法、装置和设备
CN111599459A (zh) * 2020-05-15 2020-08-28 京东方科技集团股份有限公司 一种远程手术的控制方法、控制装置及手术***
CN112168361A (zh) * 2020-10-29 2021-01-05 上海工程技术大学 一种有效缓解时延影响的导管手术机器人位姿预测方法
CN112989449A (zh) * 2021-03-26 2021-06-18 温州大学 一种运动刚度优化的触觉力反馈仿真交互方法及装置
CN113011590A (zh) * 2021-03-17 2021-06-22 华南理工大学 基于微电流刺激的跨被试虚拟力评估***
WO2021195916A1 (zh) * 2020-03-31 2021-10-07 西门子股份公司 动态手部仿真方法、装置和***
CN114267219A (zh) * 2021-12-15 2022-04-01 上海交通大学医学院附属第九人民医院 虚拟手术仿真装置及仿真***
CN115019591A (zh) * 2022-08-05 2022-09-06 上海华模科技有限公司 手术模拟方法、装置及存储介质
WO2024074016A1 (zh) * 2022-10-08 2024-04-11 网易(杭州)网络有限公司 虚拟模型的形变控制方法、装置和电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
丁再珍: "基于虚拟现实技术的微创手术***研究", 《中国优秀硕士学位论文全文数据库》 *
付宜利等: "腹腔微创手术机器人虚拟手术仿真***研究", 《机械与电子》 *
冯美等: "腹腔微创手术机器人末端执行结构的设计和实现", 《机器人》 *
孙银山等: "基于肝脏力模型的机器人辅助进针策略", 《机器人》 *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107550566A (zh) * 2011-11-30 2018-01-09 法国医疗科技公司 将手术器械相对患者身体进行定位的机器人辅助装置
CN102831289B (zh) * 2012-06-11 2016-01-06 董建增 基于三维电解剖标测***的心房颤动导管消融模拟器
CN102831289A (zh) * 2012-06-11 2012-12-19 董建增 基于三维电解剖标测***的心房颤动导管消融模拟器
CN102814815A (zh) * 2012-08-24 2012-12-12 广东工业大学 一种虚拟工程机器人***及控制方法
CN103632595A (zh) * 2013-12-06 2014-03-12 合肥德易电子有限公司 多种腔内治疗性内镜手术医教训练***
CN103632595B (zh) * 2013-12-06 2016-01-13 合肥德易电子有限公司 多种腔内治疗性内镜手术医教训练***
CN104063540A (zh) * 2014-06-10 2014-09-24 南京信息工程大学 一种支持增强力触觉反馈的涡卷弹簧模型
CN104281448A (zh) * 2014-09-03 2015-01-14 中国人民解放军63892部队 一种支持功能订制的组合式视景仿真***及仿真方法
CN104281448B (zh) * 2014-09-03 2018-01-05 中国人民解放军63892部队 一种支持功能订制的组合式视景仿真***及仿真方法
CN104598033A (zh) * 2015-02-05 2015-05-06 武汉大学 一种多线圈电磁式力触觉反馈装置及方法
CN104598033B (zh) * 2015-02-05 2017-05-10 武汉大学 一种多线圈电磁式力触觉反馈装置及方法
CN104950692A (zh) * 2015-05-20 2015-09-30 上海交通大学 一种适用于欠驱动机械手的抓取仿真***
CN104950692B (zh) * 2015-05-20 2017-08-11 上海交通大学 一种适用于欠驱动机械手的抓取仿真***
CN106446452B (zh) * 2016-10-19 2019-03-29 南京信息工程大学 基于力触觉交互的拱梁弹簧形变模型的建模方法
CN106446452A (zh) * 2016-10-19 2017-02-22 南京信息工程大学 基于力触觉交互的拱梁弹簧形变模型的建模方法
CN106781941A (zh) * 2016-11-24 2017-05-31 北京理工大学 一种用于模拟微创穿刺手术的方法及其***
CN108648821A (zh) * 2018-03-21 2018-10-12 北京理工大学 面向穿刺手术机器人的智能手术决策***及其应用方法
CN108648821B (zh) * 2018-03-21 2020-12-01 北京理工大学 面向穿刺手术机器人的智能手术决策***及其应用方法
CN108777001A (zh) * 2018-06-26 2018-11-09 宁波极呈光电有限公司 手术模拟方法及装置
CN109009434A (zh) * 2018-08-15 2018-12-18 苏州大学张家港工业技术研究院 腹腔微创外科机器人虚拟手术方法
CN109243614B (zh) * 2018-09-11 2020-07-31 深圳先进技术研究院 一种手术仿真方法、装置和***
CN109243614A (zh) * 2018-09-11 2019-01-18 深圳先进技术研究院 一种手术仿真方法、装置和***
CN109192030A (zh) * 2018-09-26 2019-01-11 郑州大学第附属医院 基于虚拟现实的真实腔镜微创手术仿真训练***及方法
CN109616211A (zh) * 2018-12-20 2019-04-12 南昌大学 一种基于质点弹簧的混合缝合线模型及其打结方法
CN109616211B (zh) * 2018-12-20 2023-05-02 南昌大学 一种基于质点弹簧的混合缝合线模型及其打结方法
CN109935311A (zh) * 2019-03-21 2019-06-25 刘伟民 一种大型数字化医疗器械安全管理方法及***
CN110931121A (zh) * 2019-11-29 2020-03-27 重庆邮电大学 一种基于Hololens的远程手术指导装置及操作方法
CN111026269A (zh) * 2019-12-04 2020-04-17 上海褚信医学科技有限公司 基于力反馈的生物组织结构的触觉反馈方法、装置和设备
CN111026269B (zh) * 2019-12-04 2023-10-10 上海褚信医学科技有限公司 基于力反馈的生物组织结构的触觉反馈方法、装置和设备
CN110974425A (zh) * 2019-12-20 2020-04-10 哈尔滨工业大学 对手术器械夹持力感知模型进行训练的方法
WO2021195916A1 (zh) * 2020-03-31 2021-10-07 西门子股份公司 动态手部仿真方法、装置和***
CN111599459A (zh) * 2020-05-15 2020-08-28 京东方科技集团股份有限公司 一种远程手术的控制方法、控制装置及手术***
CN112168361B (zh) * 2020-10-29 2021-11-19 上海工程技术大学 一种有效缓解时延影响的导管手术机器人位姿预测方法
CN112168361A (zh) * 2020-10-29 2021-01-05 上海工程技术大学 一种有效缓解时延影响的导管手术机器人位姿预测方法
CN113011590A (zh) * 2021-03-17 2021-06-22 华南理工大学 基于微电流刺激的跨被试虚拟力评估***
CN113011590B (zh) * 2021-03-17 2023-07-18 华南理工大学 基于微电流刺激的跨被试虚拟力评估***
CN112989449A (zh) * 2021-03-26 2021-06-18 温州大学 一种运动刚度优化的触觉力反馈仿真交互方法及装置
CN112989449B (zh) * 2021-03-26 2023-08-15 温州大学 一种运动刚度优化的触觉力反馈仿真交互方法及装置
CN114267219A (zh) * 2021-12-15 2022-04-01 上海交通大学医学院附属第九人民医院 虚拟手术仿真装置及仿真***
CN114267219B (zh) * 2021-12-15 2024-03-08 上海交通大学医学院附属第九人民医院 虚拟手术仿真装置及仿真***
CN115019591A (zh) * 2022-08-05 2022-09-06 上海华模科技有限公司 手术模拟方法、装置及存储介质
CN115019591B (zh) * 2022-08-05 2022-11-04 上海华模科技有限公司 手术模拟方法、装置及存储介质
WO2024074016A1 (zh) * 2022-10-08 2024-04-11 网易(杭州)网络有限公司 虚拟模型的形变控制方法、装置和电子设备

Also Published As

Publication number Publication date
CN102207997B (zh) 2013-10-16

Similar Documents

Publication Publication Date Title
CN102207997B (zh) 基于力反馈的机器人微创手术仿真***
Kühnapfel et al. Endoscopic surgery training using virtual reality and deformable tissue simulation
Escobar-Castillejos et al. A review of simulators with haptic devices for medical training
CN104778894B (zh) 一种虚拟仿真正骨手法培训***及其建立方法
CN104685551B (zh) 混合现实仿真方法和***
Satava Medical virtual reality-the current status of the future
Szekély et al. Virtual reality-based simulation of endoscopic surgery
Kühnapfel et al. The Karlsruhe endoscopic surgery trainer as an example for virtual reality in medical education
CN109979600A (zh) 基于虚拟现实的眼眶手术训练方法、***和存储介质
Kühnapfel et al. 3D modeling for endoscopic surgery
JP2008134373A (ja) 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ
Wang et al. A computer-based real-time simulation of interventional radiology
Abate et al. A pervasive visual–haptic framework for virtual delivery training
Cotin et al. Volumetric deformable models for simulation of laparoscopic surgery
KR20050047548A (ko) 가상 해부 환경을 생성하는 장치 및 방법
Behringer et al. Some usability issues of augmented and mixed reality for e-health applications in the medical domain
Tang et al. Virtual laparoscopic training system based on VCH model
Zhu et al. A real-time deformation modeling scheme of soft tissue for virtual surgical
Guo et al. Force feedback-based robotic catheter training system for the vascular interventional surgery
Rahman et al. Augmented and virtual reality based approaches in minimally invasive surgery training
Eriksson Haptic Milling Simulation in Six Degrees-of-Freedom: With Application to Surgery in Stiff Tissue
Zhao et al. Clinical training technology for vascular interventional surgery robot system based on master-slave expansion
Suzuki et al. Performing virtual surgery with a force feedback system
Zhang et al. Development of a virtual training system for master-slave hip replacement surgery
Grecu et al. A virtual system for simulation of human upper limb

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180625

Address after: 215163 Room 302, 13 building, 158 Jinfeng Road, science and Technology City, Suzhou, Jiangsu, -2

Patentee after: Suzhou CIGNA Tektronix Medical Technology Co Ltd

Address before: 150001 No. 92 West straight street, Nangang District, Heilongjiang, Harbin

Patentee before: Harbin Institute of Technology

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131016

Termination date: 20210607

CF01 Termination of patent right due to non-payment of annual fee