CN104992582B - 一种基于混合现实的医学微创手术训练*** - Google Patents

一种基于混合现实的医学微创手术训练*** Download PDF

Info

Publication number
CN104992582B
CN104992582B CN201510406086.2A CN201510406086A CN104992582B CN 104992582 B CN104992582 B CN 104992582B CN 201510406086 A CN201510406086 A CN 201510406086A CN 104992582 B CN104992582 B CN 104992582B
Authority
CN
China
Prior art keywords
end unit
unit
virtual
video image
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510406086.2A
Other languages
English (en)
Other versions
CN104992582A (zh
Inventor
王伟
王政
李尔
徐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ZHONGZI SCIENCE AND TECHNOLOGY BUSINESS INCUBATOR CO LTD
Original Assignee
Zhejiang Digital Content Research Institute Of Cas
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Digital Content Research Institute Of Cas, Institute of Automation of Chinese Academy of Science filed Critical Zhejiang Digital Content Research Institute Of Cas
Priority to CN201510406086.2A priority Critical patent/CN104992582B/zh
Publication of CN104992582A publication Critical patent/CN104992582A/zh
Application granted granted Critical
Publication of CN104992582B publication Critical patent/CN104992582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Algebra (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种基于混合现实的医学微创手术训练***，包括主动端单元、视频图像采集及传输单元、视频图像接收及显示单元、从动端单元。主动端单元在进行虚拟的手术时，从动端单元可以实现与主动端同步及完全相同的操作，并且通过从动端的手柄可以感受的到主动端在进行手术时对手术器械的操控情况。通过视频图像采集及传输单元可以采集主动端人员的操作过程并传输到为从动端的显示器中，在从动端的受训人员可以一边感受主动端的手术器械操作情况，同时也可以观察主动端的操作者的整体操作过程。本发明的有益效果在于通过混合现实的手术过程，实现了真实感很强的医学微创手术的训练，为医院和医学院校提供了良好的训练平台。

Description

一种基于混合现实的医学微创手术训练***
技术领域
本发明涉及一种基于混合现实的医学微创手术训练***，属于生物医学和信息技术领域。
背景技术
20世纪以来，以腔镜技术为代表的微创手术技术发展迅速，微创手术与传统的手术相比，其具有创伤小、恢复快、麻醉时间短等优点，因此微创手术得到广泛的应用和发展。然而由于微创手术本省的特点，医生只能通过内窥镜看到病人体内的局部状况，这样对于医生来说手术难度大大加大，而且对经验值的依赖比传统的手术要高，所以对医生来说，术前训练十分重要。一般，医生在进行微创手术训练时，都是使用尸体来训练手术技能，但是尸体价格昂贵，且难以重复利用，大多数医生只能通过临床来训练自身的医术技巧，这样就增加了手术的危险性。因此年轻的医生在临床手术前往往缺少训练，对于学医的学生来说训练的机会更是少之又少了。目前也有一些虚拟手术训练类的***或方法，但是其训练的人体器官模型大都通过相关软件设计的，真实性不强，而且其训练是以教程的训练形式进行训练，理论性比较强，与实际的临床手术还有很大差距。
鉴于此需要一套真实性强、可重复利用的微创手术训练***，以提高从医人员的专业技能，减小病人的痛苦，增大手术的成功率。
本发明是基于混合现实技术，所述的混合现实技术是虚拟现实技术的进一步发展，其是在虚拟的环境中引入现实的场景信息，在虚拟环境、现实环境和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
发明内容
本发明目的是提供一种基于混合现实的医学微创手术训练***，用于医学从业者和学习者的临床手术前的训练，特别是用于微创手术的教学和术前训练，以提高医生的专业技能。
一种基于混合现实的医学微创手术训练***，包括
主动端单元：包括一台计算机和一台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，操作者通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟手术场景中的手术器械，从而完成虚拟的手术过程，所述多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，操作者可感受的到手术器械的切割力度；
视频图像采集及传输单元：由一套可以将二维的双目视频图像转化为具有3D效果的视频图像装置组成，将主动端单元操作者的操作过程，采集并转化后所获得3D视频数据通过数据线传输到具有3D显示效果的视频图像接收及显示单元；
视频图像接收及显示单元：显示器位于从动端单元，从动端单元的受训人员带上3D眼镜后即可在较强沉浸感的情况下观察主动端单元的操作者在主动端单元的操作情况；
从动端单元：包括多台计算机和多台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟的手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，受训人员一方面通过视频图像接收及显示单元观察主动端单元操作者的手术过程，另一方面通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟场景中的手术器械，从而完成虚拟的手术过程，该多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，可以感受的到手术刀的切割力度。
主动端单元的操作者在进行虚拟的手术时，从动端单元的受训人员可以实现与主动端单元同步及完全相同的操作，并且通过从动端单元的操作手柄可以感受的到主动端单元在进行手术时对手术器械的操控情况。通过视频图像采集及传输单元可以采集主动端操作者的操作过程并传输到为从动端的显示器中，在从动端的受训人员可以一边感受主动端的手术器械操作情况，同时也可以观察主动端的操作者的整体操作过程。
本发明采用的是混合现实技术，即本发明中虚拟手术场景是将通过扫描和后续处理所得到的真实的人体器官模型数据导入到仿真软件中搭建而成，具有非常强的真实性。
本发明还可以完成授课式的训练方式，这种方式适合于有经验的医生在主动端进行手术操作，学习者在从动端感受并观察主动端教授者的手术过程。即主动端单元和从动端单元是通过局域网连接的，在相同的手术场景情况下，主动端进行虚拟手术的时候，从动端单元会跟随主动端单元实现完全相同的操作，此时从动端的操作人员的无法控制从动端单元的的操作，从动端的人员可以通过手扶多具有力反馈的多自由度操作手柄来感受主动端在进行手术时所使用的力度以及角度，同时可以观察计算机场景中的手术情况，从而可以实现授课式的训练。
附图说明
图1为本发明的***结构示意图；
其中1-主动端单元、2-视频图像采集及传输单元、3-视频图像接收及显示单元、4-从动端单元。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示，一种基于混合现实的医学微创手术训练***，包括主动端单元1、视频图像采集及传输单元2、视频图像接收及显示单元3和从动端单元4。其中，
主动端单元1：包括一台计算机和一台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，操作者通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟手术场景中的手术器械，从而完成虚拟的手术过程，所述多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，操作者可感受的到手术器械的切割力度；
视频图像采集及传输单元2：由一套可以将二维的双目视频图像转化为具有3D效果的视频图像装置组成，将主动端单元操作者的操作过程，采集并转化后所获得3D视频数据通过数据线传输到具有3D显示效果的视频图像接收及显示单元；
视频图像接收及显示单元3：显示器位于从动端单元，从动端单元的受训人员带上3D眼镜后即可在较强沉浸感的情况下观察主动端单元的操作者在主动端单元的操作情况；
从动端单元4：包括多台计算机和多台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟的手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，受训人员一方面通过视频图像接收及显示单元观察主动端单元操作者的手术过程，另一方面通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟场景中的手术器械，从而完成虚拟的手术过程，该多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，可以感受的到手术刀的切割力度。
主动端单元1和从动端单元4的计算机中的虚拟手术场景，是将通过扫描和后期处理所获得的真实的人体器官导入到仿真软件中搭建而成的，具有非常强的真实性。
主动端单元1和从动端单元4可以分别作为独立训练***，二者皆包括一台计算机和一台连接于计算机且具有力反馈的多自由度操作手柄，计算机中是通过扫描以及后期处理所获得的人体器官微创手术场景，训练人员可以通过操作具有力反馈的多自由度操作手柄来对计算机中逼近真实的临床场景进行手术，该具有力反馈的多自由度操作手柄可以较真实的反馈虚拟手术中手术器械在手术过程中的力，从而进一步提高了训练手术过程的真实感。
主动端单元1和从动端单元4可以通过局域网实现连通，此时在主动端单元1和从动端单元4处于相同的场景时，从动端单元4会跟随主动端单元1实现相同场景的相同操作，从动端的受训人员即可通过手扶具有力反馈的多自由度操作手柄来感受主动端在进行手术时所使用的力度以及角度，同时可以观察计算机虚拟场景中的手术情况，这样就实现了教学式训练，经验丰富的医生可以在主动端单元进行手术，从动端的学员可以很好的感受和观察主动端的医生进行的手术过程，从而极大的提高了学习的效果。
上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。

Claims (1)

1.一种基于混合现实的医学微创手术训练***，其特征在于包括如下单元：
主动端单元：包括一台计算机和一台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，操作者通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟手术场景中的手术器械，从而完成虚拟的手术过程，所述多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，操作者可感受的到手术器械的切割力度；
视频图像采集及传输单元：由一套可以将二维的双目视频图像转化为具有3D效果的视频图像装置组成，将主动端单元操作者的操作过程，采集并转化后所获得3D视频数据通过数据线传输到具有3D显示效果的视频图像接收及显示单元；
视频图像接收及显示单元：显示器位于从动端单元，从动端单元的受训人员戴上3D眼镜后即可在较强沉浸感的情况下观察主动端单元的操作者在主动端单元的操作情况；
从动端单元：包括多台计算机和多台连接于计算机且具有力反馈的多自由度操作手柄，计算机具有虚拟的手术场景，虚拟手术场景是将通过扫描以及后期处理所获得的真实的人体器官模型数据导入到仿真软件中搭建而成，受训人员一方面通过视频图像接收及显示单元观察主动端单元操作者的手术过程，另一方面通过操作具有力反馈的多自由度操作手柄来控制计算机虚拟场景中的手术器械，从而完成虚拟的手术过程，该多自由度操作手柄是具有力反馈的，在进行虚拟手术场景的微创手术时，可以感受的到手术刀的切割力度。
CN201510406086.2A 2015-07-13 2015-07-13 一种基于混合现实的医学微创手术训练*** Active CN104992582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510406086.2A CN104992582B (zh) 2015-07-13 2015-07-13 一种基于混合现实的医学微创手术训练***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510406086.2A CN104992582B (zh) 2015-07-13 2015-07-13 一种基于混合现实的医学微创手术训练***

Publications (2)

Publication Number Publication Date
CN104992582A CN104992582A (zh) 2015-10-21
CN104992582B true CN104992582B (zh) 2017-08-15

Family

ID=54304389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510406086.2A Active CN104992582B (zh) 2015-07-13 2015-07-13 一种基于混合现实的医学微创手术训练***

Country Status (1)

Country Link
CN (1) CN104992582B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018187748A1 (en) * 2017-04-07 2018-10-11 Unveil, LLC Systems and methods for mixed reality medical training
CN108492657B (zh) * 2018-03-20 2019-09-20 天津工业大学 一种用于颞骨手术术前培训的混合现实模拟***
CN108847106A (zh) * 2018-03-29 2018-11-20 安徽工程大学 一种五自由度医疗教学设备
CN108648547A (zh) * 2018-03-29 2018-10-12 安徽工程大学 一种医疗手术教学***
JP7310595B2 (ja) * 2019-12-24 2023-07-19 コベルコ建機株式会社 作業支援サーバおよび作業支援システム
CN113689745A (zh) * 2021-08-23 2021-11-23 安徽旺九科技有限公司 三维航海仿真动态显示***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1017315C2 (nl) * 2001-02-08 2002-08-12 Univ Delft Tech Bedieningsorgaan voor een trainingsinstrument voor laparoscopische chirurgie.
CN102254475A (zh) * 2011-07-18 2011-11-23 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练3d平台***的实现方法
WO2012060901A1 (en) * 2010-11-04 2012-05-10 The Johns Hopkins University System and method for the evaluation of or improvement of minimally invasive surgery skills
CN102855799A (zh) * 2012-09-06 2013-01-02 佛山市金天皓科技有限公司 神经内镜仿真模拟训练装置及其***
CN103106831A (zh) * 2013-03-04 2013-05-15 合肥德易电子有限公司 一种内腔体微创手术训练操作装置
CN103903487A (zh) * 2013-11-26 2014-07-02 深圳市唯特视科技有限公司 一种基于3d力反馈技术的内窥镜微创手术三维仿真***
CN204010038U (zh) * 2013-10-30 2014-12-10 深圳市环球博洋机电科技有限公司 医用三维重建一体化装置
CN104361814A (zh) * 2014-11-28 2015-02-18 广东工业大学 带力反馈的膝关节镜手术训练装置
CN104424838A (zh) * 2013-08-26 2015-03-18 王尧 宫腔镜手术模拟器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050142525A1 (en) * 2003-03-10 2005-06-30 Stephane Cotin Surgical training system for laparoscopic procedures

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1017315C2 (nl) * 2001-02-08 2002-08-12 Univ Delft Tech Bedieningsorgaan voor een trainingsinstrument voor laparoscopische chirurgie.
WO2012060901A1 (en) * 2010-11-04 2012-05-10 The Johns Hopkins University System and method for the evaluation of or improvement of minimally invasive surgery skills
CN102254475A (zh) * 2011-07-18 2011-11-23 广州赛宝联睿信息科技有限公司 内窥镜微创手术模拟训练3d平台***的实现方法
CN102855799A (zh) * 2012-09-06 2013-01-02 佛山市金天皓科技有限公司 神经内镜仿真模拟训练装置及其***
CN103106831A (zh) * 2013-03-04 2013-05-15 合肥德易电子有限公司 一种内腔体微创手术训练操作装置
CN104424838A (zh) * 2013-08-26 2015-03-18 王尧 宫腔镜手术模拟器
CN204010038U (zh) * 2013-10-30 2014-12-10 深圳市环球博洋机电科技有限公司 医用三维重建一体化装置
CN103903487A (zh) * 2013-11-26 2014-07-02 深圳市唯特视科技有限公司 一种基于3d力反馈技术的内窥镜微创手术三维仿真***
CN104361814A (zh) * 2014-11-28 2015-02-18 广东工业大学 带力反馈的膝关节镜手术训练装置

Also Published As

Publication number Publication date
CN104992582A (zh) 2015-10-21

Similar Documents

Publication Publication Date Title
CN104992582B (zh) 一种基于混合现实的医学微创手术训练***
CN111465970B (zh) 用于教导患者护理的增强现实***
Bernardo Virtual reality and simulation in neurosurgical training
US20100167250A1 (en) Surgical training simulator having multiple tracking systems
Mistry et al. Application of stereoscopic visualization on surgical skill acquisition in novices
US20100167249A1 (en) Surgical training simulator having augmented reality
Gosselin et al. Haptic systems for training sensorimotor skills: a use case in surgery
CN113554912A (zh) 基于混合现实技术的种植手术培训***
Riener et al. VR for medical training
Srikong et al. Immersive technology for medical education: Technology enhance immersive learning experiences
Rosenberg et al. A haptic interface for virtual simulation of endoscopic surgery
Savir et al. Virtual reality: The future of invasive procedure training?
Andersson et al. Developing an AR application for neurosurgical training: lessons learned for medical specialist education
Voss et al. LAHYSTOTRAIN-Intelligent training system for laparoscopy and hysteroscopy
Peterson et al. Utilizing virtual reality in teaching and training: progress toward virtual surgical simulations
Espinoza et al. PsT1: A Low-cost optical simulator for psychomotor skills training in neuroendoscopy
Gallagher et al. Human-factors lessons learned from the minimally invasive surgery revolution
Chen et al. Application of XR technology in stomatology education: Theoretical basis, application scenarios and future prospects
CN114464065B (zh) 一种耳内镜虚实结合手术培训***及其工作方法
Beolchi et al. Virtual reality for health care
Ma et al. Oculus surgery–an Application of Oculus Rift and Stereoscopic 3D videos in training maxillofacial surgeons
WO2024154647A1 (ja) 学習方法、及び、学習システム
Zhang A Review of the Application of VR Technology in Medical Training
Norkhairani et al. Simulation for laparoscopy surgery with haptic element for medical students in HUKM: a preliminary analysis
CN215770071U (zh) 用于神经病教学的三维模拟临床教学***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210104

Address after: 312366 No. 1202, 12th floor, building a, comprehensive office building, 398 mahuan Road, Lihai Town, Binhai New Town, Shaoxing City, Zhejiang Province

Patentee after: Guoke Digital Volume Intelligent Technology (Zhejiang) Co.,Ltd.

Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Patentee before: Zhejiang Digital Content Research Institute of CAS

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230721

Address after: Room 524, Automation Building, No. 95, Zhongguancun East Road, Haidian District, Beijing, 100080

Patentee after: BEIJING ZHONGZI SCIENCE AND TECHNOLOGY BUSINESS INCUBATOR CO.,LTD.

Address before: 312366 No. 1202, 12th floor, building a, comprehensive office building, 398 mahuan Road, Lihai Town, Binhai New Town, Shaoxing City, Zhejiang Province

Patentee before: Guoke Digital Volume Intelligent Technology (Zhejiang) Co.,Ltd.