CN106652624B - 一种基于vr技术和瞬态噪声去噪技术的医疗手术仿真*** - Google Patents

一种基于vr技术和瞬态噪声去噪技术的医疗手术仿真*** Download PDF

Info

Publication number
CN106652624B
CN106652624B CN201610890079.9A CN201610890079A CN106652624B CN 106652624 B CN106652624 B CN 106652624B CN 201610890079 A CN201610890079 A CN 201610890079A CN 106652624 B CN106652624 B CN 106652624B
Authority
CN
China
Prior art keywords
medical
technology
information
noise
medical staff
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610890079.9A
Other languages
English (en)
Other versions
CN106652624A (zh
Inventor
童培诚
段会锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fast Creation Technology (dalian) Co Ltd
Original Assignee
Fast Creation Technology (dalian) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fast Creation Technology (dalian) Co Ltd filed Critical Fast Creation Technology (dalian) Co Ltd
Priority to CN201610890079.9A priority Critical patent/CN106652624B/zh
Publication of CN106652624A publication Critical patent/CN106652624A/zh
Application granted granted Critical
Publication of CN106652624B publication Critical patent/CN106652624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于VR技术和瞬态噪声去噪技术的医疗手术仿真***,包括:数据库存储单元:其存储有多种医疗器械的模型元素信息、对应该医疗器械的性能信息和涉及到该医疗器械的手术类型信息。场景构建单元:在虚拟环境区域调取数据库存储单元内的数据信息将每个医疗手术对应的全部操作过程进行图像视频编辑和虚拟现实成像单元,本***提供的基于VR技术和瞬态噪声去噪技术的医疗手术仿真***,医护人员在体验到虚拟现实技术的同时对医疗器械的性能和功能进行体感的体验,在医疗手术过程中对医疗技术得到更好的锻炼和学习,达到更加真实的了解医疗器械的效果同时对各项医疗手术有很好的锻炼和学习。

Description

一种基于VR技术和瞬态噪声去噪技术的医疗手术仿真***
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种基于VR技术和瞬态噪声去噪技术的医疗手术仿真***。
背景技术
科学技术日新月异的发展,给当今世界的制造业带来了空前的技术革命,在这期间虚拟现实技术应运而生,它给人们带来了一门神奇的感觉和技术领域,给人们带入了梦幻世界。虚拟现实简称VR,称为灵境技术、是以沉浸性、交互性和构想性为基本技术特征的计算机高级人机界面、并行处理技术、多传感技术、模拟人的视觉、听觉、触觉等感觉器官功能,使得人们沉浸在计算机生成的虚拟环境中并能够通过语言、手势等自然方式与之进行互动,创建了一种造人化的多维信息空间、具有广阔的应用前景。
随着社会经济的发展,计算机成为人们生活中重要的组成部分,人机接口技术成为人们关心的重要课题。因此近几年来虚拟现实技术成为人们关注的重点,在城市规划建设中被广泛应用并带来显著利益,从而展现规划方案虚拟现实***的沉浸感和互动感,用户在体验过程中感受到场景的真实感和逼真的感觉冲击,或者身临其境的感觉、可以通过数据接口实时获得虚拟环境中项目的相关信息,因此方便大型工程规划设计、有利于管理人员对各种方案进行辅助设计和方案评估。
目前医疗技术在不断的发展,医护人员的技术水平需要进一步提高,医护人员通过翻阅资料来不断的专研学术知识,包括医疗器械的使用和说明、多种疾病的诊断和治疗,对人体多种解剖手术的学习和研究,等等很多医疗学术等待医护人员去不断探索,然而现有技术中医护人员很多在学术研究中进行手术的学习和锻炼过程都是观看视频或者临床观摩其他医护人员来学习研究,对于实际动手能力没有得到更好的锻炼。
发明内容
根据现有技术存在的问题,本发明公开了一种基于VR技术和瞬态噪声去噪技术的医疗手术仿真***,包括
数据库存储单元:其存储有多种医疗器械的模型元素信息、对应该医疗器械的性能信息和涉及到该医疗器械的手术类型信息;
场景构建单元:在虚拟环境区域调取数据库存储单元内的数据信息将每个医疗手术对应的全部操作过程进行图像视频编辑,该过程包括手术过程需要的医疗器械名称、医疗器械的数量、在实际操作过程中医生的操作姿势;所述场景构建单元包括编辑单元,所述编辑单元将多种手术正确的操作状况信息进行编辑后存储在存储器内;
所述场景构建单元还包括对视频图像和语音图像进行降噪处理的降噪模块,所述降噪模块首先对待处理对象进行分帧处理、读取本帧信号的梅尔倒谱系数和本帧信号的基因周期,采用梅尔倒谱系数来检测本帧信号是否含有噪声如果含有则使用基音周期预测值来进行信号的波形重建实现其该帧信号的降噪过程。
虚拟现实成像单元:包括佩戴在医护人员头部上的VR成像模块、佩戴在医护人员手上的数据信息检测手套,所述VR成像模块包括3D眼镜和与该眼镜配合使用的立体耳机以及检测医护人员在模拟手术过程中的唇动信息的唇动检测模块,所述虚拟现实成像单元还包括矫正模块;工作状态下:医护人员佩戴上3D眼镜在虚拟现实环境中进行医疗手术的观摩,当需要进行演练操作时医护人员佩戴上数据信息检测手套在虚拟环境下呈现的人体器官上进行手术操作,同时口述该手术的关键点和手术过程的详细操作,所述矫正模块读取数据库存储单元内的数据信息对该医护人员的陈述和实际操作进行判断,如果该医护人员实际操作动作正确。
所述数据信息检测手套实时检测医护人员的每个手指的动作信息、手指握医疗器械的力度信息、手腕的力度信息,同时采用摄像头对医护人员在虚拟环境下的实际手法动作即手术过程进行实时拍摄。
所述校正模块包括学习模块,当医护人员在虚拟环境下进行手术演练过程中,对手术过程有新的研究和发现如解剖过程中的简易姿势,所述学习模块对上述信息进行实时记录,并传送至数据库存储单元,所述数据存储单元对其内部的数据信息进行实时更新。
所述降噪模块对视频图像和声音进行降噪处理时梅尔倒谱系数采用如下方式计算:
输入待处理对象的分帧信号,记录其帧长信息并对其进行归一化处理;对当前帧信号进行预加重和加窗处理得到频域信号,计算频域信号的能量谱,将频域信号的能量谱通过一组梅尔标度的三角形滤波器组进行频域滤波、计算各个滤波器输出的能量和对数从而得到其梅尔倒谱系数。
由于采用了上述技术方案,本发明公开的一种基于VR技术和瞬态噪声去噪技术的医疗手术仿真***,在可视化环境下对医疗手术中的医疗器械信息和手术的实际操作信息进行保存,当医护人员需要虚拟环境下进行手术观摩或者手术演练时进入场景构建单元进行虚拟现实的手术操作体验,在虚拟环境下医护人员在人体器官的部位进行解剖手术,在该过程中学***。并且构建的VR视频信息都是经过降噪处理,对视频图像和声音信息进行降噪处理后保证三维虚拟环境下的视频数据更加清晰。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本***的结构示意图;
图2为本***中虚拟现实成像单元的结构示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
如图1-图2所示的基于瞬态噪声去噪技术和矫正技术的VR医疗体验***,包括:数据库存储单元:其存储有多种医疗器械的模型元素信息、对应该医疗器械的性能信息和涉及到该医疗器械的手术类型信息。具体包括很多医疗器械小到手术刀大到大型医疗器械的结构如:外伤处置车、手术床、手术灯、监护仪、呼吸机、超声仪等等的使用说明和性能说明,以及每个医疗器械适合的手术名称等。医疗器械的模型元素信息包括视频信息和图像信息。
场景构建单元:在虚拟环境区域调取数据库存储单元内的数据信息将每个医疗手术对应的全部操作过程进行图像视频编辑,该过程包括手术过程需要的医疗器械名称、医疗器械的数量、在实际操作过程中医生的操作姿势;所述场景构建单元包括编辑单元,所述编辑单元将多种手术正确的操作状况信息进行编辑后存储在存储器内。通过场景构建单元的编辑单元对数据库存储单元内的元素信息进行三维建模的编辑和整理,形成完整的三维立体视频信息,还佩戴上声音元素信息。并且将编辑好的视频信息存储在存储器内,供医护人员在虚拟环境下观摩使用。
所述场景构建单元还包括对视频图像和语音图像进行降噪处理的降噪模块,所述降噪模块首先对待处理对象进行分帧处理、读取本帧信号的梅尔倒谱系数和本帧信号的基因周期,采用梅尔倒谱系数来检测本帧信号是否含有噪声如果含有则使用基音周期预测值来进行信号的波形重建实现其该帧信号的降噪过程。
虚拟现实成像单元:包括佩戴在医护人员头部上的VR成像模块、佩戴在医护人员手上的数据信息检测手套,所述VR成像模块包括3D眼镜和与该眼镜配合使用的立体耳机以及检测医护人员在模拟手术过程中的唇动信息的唇动检测模块,所述虚拟现实成像单元还包括矫正模块;工作状态下:医护人员佩戴上3D眼镜在虚拟现实环境中进行医疗手术的观摩,当需要进行演练操作时医护人员佩戴上数据信息检测手套在虚拟环境下呈现的人体器官上进行手术操作,同时口述该手术的关键点和手术过程的详细操作,所述矫正模块读取数据库存储单元内的数据信息对该医护人员的陈述和实际操作进行判断,给出判断结果。
所述数据信息检测手套实时检测医护人员的每个手指的动作信息、手指握医疗器械的力度信息、手腕的力度信息,同时采用摄像头对医护人员在虚拟环境下的实际手法动作即手术过程进行实时拍摄。在虚拟环境下,医护人员体验医疗手术过程中,由于手上佩戴上数据信息检测手套,它可以检测医护人员在模拟演练过程的手法信息,包括手握手术刀的手法信息、用力信息,同时在将手术刀在人体器官进行切割时候的刀法和如何解剖信息等等都可以采集到,并将检测到的信息实时传送给矫正模块,所述矫正模块由于读取数据库存储单元内正确的精确的手术操作相信,将两者信息进行对比,从而判断该医护人员的演练是否合格。
所述校正模块包括学习模块,当医护人员在虚拟环境下进行手术演练过程中,对手术过程有新的研究和发现如解剖过程中的简易姿势,所述学习模块对上述信息进行实时记录,并传送至数据库存储单元,所述数据存储单元对其内部的数据信息进行实时更新。利用学习模块在虚拟现实技术从统计医护人员在医疗领域的新发明或者创造,对医疗领域的发展起到关键性的作用。
所述降噪模块对视频图像和声音进行降噪处理时梅尔倒谱系数采用如下方式计算:
输入待处理对象的分帧信号,记录其帧长信息并对其进行归一化处理;对当前帧信号进行预加重和加窗处理得到频域信号,计算频域信号的能量谱,将频域信号的能量谱通过一组梅尔标度的三角形滤波器组进行频域滤波、计算各个滤波器输出的能量和对数从而得到其梅尔倒谱系数。对视频图像和声音图像在编辑的过程中进行去噪处理,保证三维虚拟环境体验时候数据信息的真切性。
本***提供的基于瞬态噪声去噪技术和矫正技术的VR医疗体验***,医护人员在体验到虚拟现实技术的同时对医疗器械的性能和功能进行体感的体验,在医疗手术过程中对医疗技术得到更好的锻炼和学习,达到更加真实的了解医疗器械的效果同时对各项医疗手术有很好的锻炼和学习。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于VR技术和瞬态噪声去噪技术的医疗手术仿真***,其特征在于包括:
数据库存储单元:其存储有多种医疗器械的模型元素信息、对应该医疗器械的性能信息和涉及到该医疗器械的手术类型信息;
场景构建单元:在虚拟环境区域调取数据库存储单元内的数据信息将每个医疗手术对应的全部操作过程进行图像视频编辑,该过程包括手术过程需要的医疗器械名称、医疗器械的数量、在实际操作过程中医生的操作姿势;所述场景构建单元包括编辑单元,所述编辑单元将多种手术正确的操作状况信息进行编辑后存储在存储器内;
所述场景构建单元还包括对视频图像和语音图像进行降噪处理的降噪模块,所述降噪模块首先对待处理对象进行分帧处理、读取本帧信号的梅尔倒谱系数和本帧信号的基因周期,采用梅尔倒谱系数来检测本帧信号是否含有噪声如果含有则使用基音周期预测值来进行信号的波形重建实现其该帧信号的降噪过程;
虚拟现实成像单元:包括佩戴在医护人员头部上的VR成像模块、佩戴在医护人员手上的数据信息检测手套,所述VR成像模块包括3D眼镜和与该眼镜配合使用的立体耳机以及检测医护人员在模拟手术过程中的唇动信息的唇动检测模块,所述虚拟现实成像单元还包括矫正模块;工作状态下:医护人员佩戴上3D眼镜在虚拟现实环境中进行医疗手术的观摩,当需要进行演练操作时医护人员佩戴上数据信息检测手套在虚拟环境下呈现的人体器官上进行手术操作,同时陈述该手术的关键点和手术过程的详细操作,所述矫正模块读取数据库存储单元内的数据信息对该医护人员的陈述和实际操作进行判断,核实该医护人员实际操作是否正确。
2.根据权利要求1所述的基于VR技术和瞬态噪声去噪技术的医疗手术仿真***,其特征还在于:所述数据信息检测手套实时检测医护人员的每个手指的动作信息、手指握医疗器械的力度信息、手腕的力度信息,同时采用摄像头对医护人员在虚拟环境下的实际手法动作即手术过程进行实时拍摄。
3.根据权利要求1或2所述的基于VR技术和瞬态噪声去噪技术的医疗手术仿真***,其特征还在于:所述校正模块包括学习模块,当医护人员在虚拟环境下进行手术演练过程中出现手术解剖过程中的简易姿势,所述学习模块对上述信息进行实时记录,并传送至数据库存储单元,所述数据库存储单元对其内部的数据信息进行实时更新。
4.根据权利要求1所述的基于VR技术和瞬态噪声去噪技术的医疗手术仿真***,其特征还在于:所述降噪模块对视频图像和语音图像进行降噪处理时梅尔倒谱系数采用如下方式计算:
输入待处理对象的分帧信号,记录其帧长信息并对其进行归一化处理;对当前帧信号进行预加重和加窗处理得到频域信号,计算频域信号的能量谱,将频域信号的能量谱通过一组梅尔标度的三角形滤波器组进行频域滤波、计算各个滤波器输出的能量和对数从而得到其梅尔倒谱系数。
CN201610890079.9A 2016-10-12 2016-10-12 一种基于vr技术和瞬态噪声去噪技术的医疗手术仿真*** Active CN106652624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610890079.9A CN106652624B (zh) 2016-10-12 2016-10-12 一种基于vr技术和瞬态噪声去噪技术的医疗手术仿真***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610890079.9A CN106652624B (zh) 2016-10-12 2016-10-12 一种基于vr技术和瞬态噪声去噪技术的医疗手术仿真***

Publications (2)

Publication Number Publication Date
CN106652624A CN106652624A (zh) 2017-05-10
CN106652624B true CN106652624B (zh) 2019-05-24

Family

ID=58855723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610890079.9A Active CN106652624B (zh) 2016-10-12 2016-10-12 一种基于vr技术和瞬态噪声去噪技术的医疗手术仿真***

Country Status (1)

Country Link
CN (1) CN106652624B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064817A (zh) * 2018-07-18 2018-12-21 杭州行开科技有限公司 基于ct三维重建模型的手术模拟***
CN111951651A (zh) * 2020-07-30 2020-11-17 中南民族大学 基于vr的医学超声设备实验教学***
CN113572769A (zh) * 2021-07-23 2021-10-29 河南省洛阳正骨医院(河南省骨科医院) 一种基于5g实时传输的vr沉浸式中医药文化传播***
CN115068261A (zh) * 2022-06-15 2022-09-20 中国人民解放军陆军军医大学第一附属医院 一种手术体验床及其使用方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010155019A (ja) * 2009-01-05 2010-07-15 Ge Medical Systems Global Technology Co Llc 画像再構成方法およびx線ct装置
CN103440872A (zh) * 2013-08-15 2013-12-11 大连理工大学 瞬态噪声的去噪方法
CN105825752A (zh) * 2016-04-22 2016-08-03 吉林大学 基于力反馈设备的虚拟眼角膜手术培训***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010155019A (ja) * 2009-01-05 2010-07-15 Ge Medical Systems Global Technology Co Llc 画像再構成方法およびx線ct装置
CN103440872A (zh) * 2013-08-15 2013-12-11 大连理工大学 瞬态噪声的去噪方法
CN105825752A (zh) * 2016-04-22 2016-08-03 吉林大学 基于力反馈设备的虚拟眼角膜手术培训***

Also Published As

Publication number Publication date
CN106652624A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106251751B (zh) 一种基于vr技术的医疗手术模拟仿真***
CN107067856B (zh) 一种医学模拟训练***和方法
US9396669B2 (en) Surgical procedure capture, modelling, and editing interactive playback
Basdogan et al. VR-based simulators for training in minimally invasive surgery
CN106652624B (zh) 一种基于vr技术和瞬态噪声去噪技术的医疗手术仿真***
Chen et al. A review of haptic simulator for oral and maxillofacial surgery based on virtual reality
CN106409103B (zh) 一种基于瞬态噪声去噪技术和矫正技术的vr医疗体验***
WO2012020906A1 (ko) 뇌파를 이용한 인지 훈련 응용 프로그램 생성 장치, 방법 및 그 기록 매체
Nguyen et al. A Systematic Review of Real‐Time Medical Simulations with Soft‐Tissue Deformation: Computational Approaches, Interaction Devices, System Architectures, and Clinical Validations
CN108109212A (zh) 一种文物修复方法、装置及***
Li et al. Design and evaluation of personalized percutaneous coronary intervention surgery simulation system
CN106156398A (zh) 用于计算机辅助地模拟外科手术的设备和方法
Tai et al. Intelligent intraoperative haptic-AR navigation for COVID-19 lung biopsy using deep hybrid model
Greenleaf Developing the tools for practical VR applications [Medicine]
Kolesnikov et al. PerioSim: Haptic virtual reality simulator for sensorimotor skill acquisition in dentistry
CN107644686A (zh) 基于虚拟现实的医学数据采集***及方法
US20240013672A1 (en) Simulator system for the safe training of medical personnel
Wang et al. vKASS: a surgical procedure simulation system for arthroscopic anterior cruciate ligament reconstruction
Kil Development and preliminary validation of image-enabled process metrics for assessment of open surgery suturing skill
CN115762688A (zh) 一种超仿真虚拟标准化病人构建***及诊断方法
CN114067626A (zh) 一种基于个性化数据的支气管镜模拟***
Argelaguet Sanz et al. Complexity and scientific challenges
CN115454254A (zh) 内窥镜引导下的经鼻腔虚拟仿真手术方法及装置
JP2023513598A (ja) 気道管理仮想現実訓練
Rodrigues Establishing a framework for the development of multimodal virtual reality interfaces with applicability in education and clinical practice

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 116023 No. 11, B block, 32 Torch Road, Dalian high tech Industrial Park, Liaoning, China.

Applicant after: Fast creation technology (Dalian) Co., Ltd.

Address before: 116000 B block 1101, Pioneer Building, 32 Torch Road, Dalian new high tech park, Liaoning

Applicant before: Dalian Wensente Software Technology Co., Ltd.

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Tong Peicheng

Inventor after: Duan Huifeng

Inventor before: Dong Peicheng

Inventor before: Duan Huifeng

GR01 Patent grant
GR01 Patent grant