CN109659024A - 一种mr辅助的远程诊疗方法 - Google Patents

一种mr辅助的远程诊疗方法 Download PDF

Info

Publication number
CN109659024A
CN109659024A CN201811514498.8A CN201811514498A CN109659024A CN 109659024 A CN109659024 A CN 109659024A CN 201811514498 A CN201811514498 A CN 201811514498A CN 109659024 A CN109659024 A CN 109659024A
Authority
CN
China
Prior art keywords
hololens
local
model
strange land
remote diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811514498.8A
Other languages
English (en)
Inventor
邱兆文
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Tuomeng Technology Co Ltd
Original Assignee
Heilongjiang Tuomeng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Tuomeng Technology Co Ltd filed Critical Heilongjiang Tuomeng Technology Co Ltd
Priority to CN201811514498.8A priority Critical patent/CN109659024A/zh
Publication of CN109659024A publication Critical patent/CN109659024A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Architecture (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种MR辅助的远程诊疗方法，该方法包括以下步骤：（1）本地Hololens将人体的CT二维图像经过三维重建技术得到3D模型，将3D模型传输给异地Hololens；（2）高清摄像头将患者的真实情况传输给异地Hololens；（3）本地Hololens将3D模型精准投放到人体上；（4）本地的医生在本地Hololens的辅助下开始实施手术；（5）高清摄像头将手术过程传输给异地Hololens；（6）异地的医生通过观察3D模型以及手术过程的图像对手术进行指导，并反馈给本地Hololens。本发明将混合现实技术与远程医疗相结合，让异地的医生可以同步观察到虚拟的模型以及本地医生实施手术的情况，还能进一步对虚拟模型进行控制，方便进行医疗指导。

Description

一种MR辅助的远程诊疗方法
技术领域
本发明属于远程医疗领域，涉及一种MR辅助的远程诊疗方法。
背景技术
远程医疗是指通过计算机技术、遥感、遥测、遥控技术为依托，充分发挥大医院或专科医疗中心的医疗技术和医疗设备优势，对医疗条件较差的边远地区、海岛或舰船上的伤病员进行远距离诊断、治疗和咨询。旨在提高诊断与医疗水平、降低医疗开支、满足广大人民群众保健需求的一项全新的医疗服务。目前，远程医疗技术已经从最初的电视监护、电话远程诊断发展到利用高速网络进行数字、图像、语音的综合传输，并且实现了实时的语音和高清晰图像的交流，为现代医学的应用提供了更广阔的发展空间。但是，传统的远程医疗仅仅是能对高清晰二维图像进行沟通和交流，远程的效果还有待提高。
混合现实指的是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，并实时互动。混合现实的实现需要在一个能与现实世界各事物相互交互的环境中，如果一切事物都是虚拟的那就是虚拟现实，如果展现出来的虚拟信息只能简单叠加在现实事物上，那就是增强现实。将二者的优势结合即为混合现实的最终目的所在。目前，还未见有将混合现实技术与远程医疗相结合的报道。
发明内容
本发明的目的是提供一种MR辅助的远程诊疗方法，将混合现实技术与远程医疗相结合，旨在提高远程医疗的水平与精度。
本发明通过以下技术方案来实现：一种MR辅助的远程诊疗方法，该方法包括以下步骤：
（1）本地Hololens将人体的CT二维图像经过三维重建技术得到3D模型，将3D模型传输给异地Hololens；
（2）高清摄像头将患者的真实情况传输给异地Hololens；
（3）本地Hololens将3D模型精准投放到人体上；
（4）本地的医生在本地Hololens的辅助下开始实施手术；
（5）高清摄像头将手术过程传输给异地Hololens；
（6）异地的医生通过观察3D模型以及手术过程的图像对手术进行指导，并反馈给本地Hololens。
进一步的，所述的本地Hololens和异地Hololens都装有远程诊疗***，并可以通过局域网进行同步连接。
进一步的，所述的远程诊疗***包括：
音频传输模块，用于传输音频数据；
视频传输模块，用于传输视频数据；
操作控制模块，用于对3D模型的旋转、移动、扩大和缩放。
进一步的，还包括远程标记模块，用于远程将病灶或组织进行标记。
进一步的，还包括模拟手术模块，用于远程通过虚拟手术器械对虚拟模型进行实时操作。
进一步的，所述的视频传输模块连接高清摄像头。
采用上述技术方案的积极效果：本发明将混合现实技术与远程医疗相结合，让异地的医生可以同步观察到虚拟的模型以及本地医生实施手术的情况，还能进一步对虚拟模型进行控制，方便进行医疗指导，提高本地医生的诊断与医疗水平，满足广大人民群众的需求。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的说明，但不应理解为对本发明的限制：
图1是本发明的流程示意图，如图所示，一种MR辅助的远程诊疗方法，该方法包括以下步骤：
（1）本地Hololens将人体的CT二维图像经过三维重建技术得到3D模型，将3D模型传输给异地Hololens；
（2）高清摄像头将患者的真实情况传输给异地Hololens；
（3）本地Hololens将3D模型精准投放到人体上；
（4）本地的医生在本地Hololens的辅助下开始实施手术；
（5）高清摄像头将手术过程传输给异地Hololens；
（6）异地的医生通过观察3D模型以及手术过程的图像对手术进行指导，并反馈给本地Hololens。
所述的本地Hololens和异地Hololens都装有远程诊疗***，并可以通过局域网进行同步连接。
所述的远程诊疗***包括：
音频传输模块，用于传输音频数据，本地用户和异地用户可以语音交流。
视频传输模块，用于传输视频数据，可以同时传输虚拟模型和真实场景，实现异地用户与本地用户所见的虚拟模型和真实场景完全同步。
操作控制模块，用于对3D模型的旋转、移动、扩大和缩放，本地用户和异地用户都可以对3D模型进行操作控制，便于医护人员的交流与沟通。
还包括远程标记模块，用于远程将病灶或组织进行标记，如：在何处下刀，保留哪些血管等，可作为标记，用于术中或术前的提示作用。
还包括模拟手术模块，用于远程通过虚拟手术器械对虚拟模型进行实时操作，***中内置各种手术器具及手术环境，可远程通过手术刀、剪、钳、镊等对虚拟模型进行操作，***作的模型可隐藏、恢复等。
所述的视频传输模块连接高清摄像头，对高清摄像头拍摄的真实场景进行传输。
本发明将混合现实技术与远程医疗相结合，让异地的医生可以同步观察到虚拟的模型以及本地医生实施手术的情况，方便进行医疗指导，提高本地医生的诊断与医疗水平，满足广大人民群众的需求。

Claims (6)

1.一种MR辅助的远程诊疗方法，其特征在于：该方法包括以下步骤：
（1）本地Hololens将人体的CT二维图像经过三维重建技术得到3D模型，将3D模型传输给异地Hololens；
（2）高清摄像头将患者的真实情况传输给异地Hololens；
（3）本地Hololens将3D模型精准投放到人体上；
（4）本地的医生在本地Hololens的辅助下开始实施手术；
（5）高清摄像头将手术过程传输给异地Hololens；
（6）异地的医生通过观察3D模型以及手术过程的图像对手术进行指导，并反馈给本地Hololens。
2.根据权利要求1所述的MR辅助的远程诊疗方法，其特征在于：所述的本地Hololens和异地Hololens都装有远程诊疗***，并可以通过局域网进行同步连接。
3.根据权利要求2所述的MR辅助的远程诊疗方法，其特征在于：所述的远程诊疗***包括：
音频传输模块，用于传输音频数据；
视频传输模块，用于传输视频数据；
操作控制模块，用于对3D模型的旋转、移动、扩大和缩放。
4.根据权利要求3所述的MR辅助的远程诊疗方法，其特征在于：还包括远程标记模块，用于远程将病灶或组织进行标记。
5.根据权利要求3所述的MR辅助的远程诊疗方法，其特征在于：还包括模拟手术模块，用于远程通过虚拟手术器械对虚拟模型进行实时操作。
6.根据权利要求3-5中任意一项权利要求所述的MR辅助的远程诊疗方法，其特征在于：所述的视频传输模块连接高清摄像头。
CN201811514498.8A 2018-12-12 2018-12-12 一种mr辅助的远程诊疗方法 Pending CN109659024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811514498.8A CN109659024A (zh) 2018-12-12 2018-12-12 一种mr辅助的远程诊疗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811514498.8A CN109659024A (zh) 2018-12-12 2018-12-12 一种mr辅助的远程诊疗方法

Publications (1)

Publication Number Publication Date
CN109659024A true CN109659024A (zh) 2019-04-19

Family

ID=66113724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811514498.8A Pending CN109659024A (zh) 2018-12-12 2018-12-12 一种mr辅助的远程诊疗方法

Country Status (1)

Country Link
CN (1) CN109659024A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109935313A (zh) * 2019-03-04 2019-06-25 苏州达辰医疗科技有限公司 三维可视化和混合现实的医学应用
CN110349661A (zh) * 2019-07-08 2019-10-18 艾炳蔚 一种针灸远程诊疗***
CN110931121A (zh) * 2019-11-29 2020-03-27 重庆邮电大学 一种基于Hololens的远程手术指导装置及操作方法
WO2020253280A1 (zh) * 2019-06-18 2020-12-24 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及***
CN113995525A (zh) * 2021-11-05 2022-02-01 无锡蓝软智能医疗科技有限公司 可切换视角的基于混合现实的医疗场景同步操作***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104274247A (zh) * 2014-10-20 2015-01-14 上海电机学院 医学手术导航方法
CN105512467A (zh) * 2015-11-30 2016-04-20 湖北融创三维数字医学科技有限公司 数字可视化移动终端医疗的方法
CN106845120A (zh) * 2017-01-19 2017-06-13 杭州古珀医疗科技有限公司 一种基于混合现实技术的远程医疗***及其操作方法
US20170172696A1 (en) * 2015-12-18 2017-06-22 MediLux Capitol Holdings, S.A.R.L. Mixed Reality Imaging System, Apparatus and Surgical Suite
US20180090029A1 (en) * 2016-09-29 2018-03-29 Simbionix Ltd. Method and system for medical simulation in an operating room in a virtual reality or augmented reality environment
CN108294814A (zh) * 2018-04-13 2018-07-20 首都医科大学宣武医院 一种基于混合现实的颅内穿刺定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104274247A (zh) * 2014-10-20 2015-01-14 上海电机学院 医学手术导航方法
CN105512467A (zh) * 2015-11-30 2016-04-20 湖北融创三维数字医学科技有限公司 数字可视化移动终端医疗的方法
US20170172696A1 (en) * 2015-12-18 2017-06-22 MediLux Capitol Holdings, S.A.R.L. Mixed Reality Imaging System, Apparatus and Surgical Suite
US20180090029A1 (en) * 2016-09-29 2018-03-29 Simbionix Ltd. Method and system for medical simulation in an operating room in a virtual reality or augmented reality environment
CN106845120A (zh) * 2017-01-19 2017-06-13 杭州古珀医疗科技有限公司 一种基于混合现实技术的远程医疗***及其操作方法
CN108294814A (zh) * 2018-04-13 2018-07-20 首都医科大学宣武医院 一种基于混合现实的颅内穿刺定位方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109935313A (zh) * 2019-03-04 2019-06-25 苏州达辰医疗科技有限公司 三维可视化和混合现实的医学应用
WO2020253280A1 (zh) * 2019-06-18 2020-12-24 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及***
CN110349661A (zh) * 2019-07-08 2019-10-18 艾炳蔚 一种针灸远程诊疗***
CN110931121A (zh) * 2019-11-29 2020-03-27 重庆邮电大学 一种基于Hololens的远程手术指导装置及操作方法
CN113995525A (zh) * 2021-11-05 2022-02-01 无锡蓝软智能医疗科技有限公司 可切换视角的基于混合现实的医疗场景同步操作***及存储介质

Similar Documents

Publication Publication Date Title
CN109659024A (zh) 一种mr辅助的远程诊疗方法
Hu et al. Application and prospect of mixed reality technology in medical field
Park et al. Augmented and mixed reality: technologies for enhancing the future of IR
McJunkin et al. Development of a mixed reality platform for lateral skull base anatomy
Sielhorst et al. An augmented reality delivery simulator for medical training
CN109464195B (zh) 双模式增强现实外科手术***和方法
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
CN106296805B (zh) 一种基于实时反馈的增强现实人体定位导航方法及装置
TWI745307B (zh) 強化實境之外科導航
Lu et al. Applications of mixed reality technology in orthopedics surgery: a pilot study
WO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
WO2018028166A1 (zh) 一种基于虚拟现实头戴式显示装置的远程互动***及方法
CN110111875A (zh) 一种mr远程医疗***
Sugimoto Cloud XR (extended reality: virtual reality, augmented reality, mixed reality) and 5g mobile communication system for medical image-guided holographic surgery and telemedicine
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
Abou El-Seoud et al. An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries
Ito et al. Application of a virtual and mixed reality-navigation system using commercially available devices to the lateral temporal bone resection
CN109758231A (zh) 基于混合现实的胸腔内手术导航方法及***
Jiang et al. User's image perception improved strategy and application of augmented reality systems in smart medical care: A review
Baddam Surgical Robotics Unveiled: The Robotic Surgeon’s Role in Modern Surgical Evolution
Harders et al. Multimodal augmented reality in medicine
Gupta et al. A virtual reality enhanced cyber physical framework to support simulation based training of orthopedic surgical procedures
KR20180123310A (ko) 증강현실을 이용한 복강경 수술 교육시스템
Zhang et al. From AR to AI: augmentation technology for intelligent surgery and medical treatments
Dai et al. The application and prospection of augmented reality in hepato-pancreato-biliary surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190419