CN109935313A - 三维可视化和混合现实的医学应用 - Google Patents
三维可视化和混合现实的医学应用 Download PDFInfo
- Publication number
- CN109935313A CN109935313A CN201910159106.9A CN201910159106A CN109935313A CN 109935313 A CN109935313 A CN 109935313A CN 201910159106 A CN201910159106 A CN 201910159106A CN 109935313 A CN109935313 A CN 109935313A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- model
- mixed reality
- patient
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 30
- 238000005516 engineering process Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 6
- 239000003814 drug Substances 0.000 claims abstract description 5
- 238000001356 surgical procedure Methods 0.000 claims abstract description 5
- 230000003902 lesion Effects 0.000 claims description 5
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 239000011521 glass Substances 0.000 abstract description 13
- 238000007794 visualization technique Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 8
- 238000005194 fractionation Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004880 explosion Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000013433 optimization analysis Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种三维可视化和混合现实的医学应用，包括如下步骤：(1)筛选合适的患者，得到患者信息、二维影像数据；(2)从步骤(1)中根据患者信息整合得到患者的临床资料；(3)从步骤(1)中将二维影像数据进行三维重建转化成三维数据，并对3D模型打包及将3D模型上传至全息***对三维数据进行呈现；(4)结合步骤(2)中患者的临床资料与步骤(3)呈现的三维数据，通过佩戴混合现实眼镜观看3D模型，依托三维可视化显示平台进行辅助教学、医患沟通、手术规划、远程医疗。本发明将三维可视化技术与混合现实技术相结合解决了中国医疗资源不平衡、医生凭经验做手术、年轻医生没有把握做手术等问题。
Description
技术领域
本发明涉及医疗健康领域，尤其涉及了一种三维可视化和混合现实的医学应用。
背景技术
医学影像在整个医疗健康领域的市场份额大约在10％左右，据《医疗影像的市场图谱和行业发展分析》报告指出，按照我国过去5年的医疗整体支出，预计到2020年中国医学影像市场规模将达8000亿左右。
随着X射线、CT、MRI、PET等现代医学影像设备的先后出现，医生能够利用无创伤手段，从一系列断层图像以多视角、多方位的三维模式观察和诊断患者的病变区域，这使得传统的医学诊断方式发生了巨大的变化。但这种诊断方式极大程度地依赖医生的医学水平和经验，有可能出现医生的误判、误诊；并且从一组二维图像构想出人体器官的三维结构对大部分医生来说还是有一定的难度。
发明内容
针对现有技术存在的不足，本发明的目的就在于提供了一种三维可视化和混合现实的医学应用，解决了中国医疗资源不平衡、医生凭经验做手术、年轻医生没有把握做手术等问题，将三维可视化技术与混合现实技术相结合，利用混合现实技术独有的在空气中立体呈现三维模型功能，让医生患者戴上混合现实眼镜真正立体观看三维器官模型进行医患沟通、手术模拟及手术方案规划；三维可视化显示平台，实现定位、旋转、缩放、透明度调节、模型的拆分与叠加等功能。
为了实现上述目的，本发明采用的技术方案是这样的：一种三维可视化和混合现实的医学应用，包括如下步骤：
(1)筛选合适的患者，得到患者信息、二维影像数据；
(2)从步骤(1)中根据患者信息整合得到患者的临床资料；
(3)从步骤(1)中将二维影像数据进行三维重建转化成三维数据，并对3D模型打包及将3D模型上传至全息***对三维数据进行呈现；
(4)结合步骤(2)中患者的临床资料与步骤(3)呈现的三维数据，通过佩戴混合现实眼镜观看3D模型，依托三维可视化显示平台进行辅助教学、医患沟通、手术规划、远程医疗。
作为一种优选方案，在步骤(1)中患者信息为患者基本信息、病史及诊断治疗信息。
作为一种优选方案，在步骤(1)中二维影像数据为二维的CT、核磁影像数据。
作为一种优选方案，在步骤(2)中数据的三维重建具体为通过调取二维影像数据进行三维重建，得到组织器官及病灶的三维立体模型。
作为一种优选方案，在步骤(2)中3D模型打包具体为对三维立体模型进行面片数量优化分析、格式转换及中心点坐标位置调整、对三维立体模型进行透明度及颜色配比设计生成3D可视化结果。
作为一种优选方案，将3D模型打包生成3D可视化结果的3D可视化模型与计算机技术相结合进行参数设置，然后将3D模型打包文件通过拓影***端口上传至全息***中，并通过打开全息***观看3D虚拟影像。
与现有技术相比，本发明的有益效果：本发明解决了中国医疗资源不平衡、医生凭经验做手术、年轻医生没有把握做手术等问题，将三维可视化技术与混合现实技术相结合，利用混合现实技术独有的在空气中立体呈现三维模型功能，让医生患者戴上混合现实眼镜真正立体观看三维器官模型进行医患沟通、手术模拟及手术方案规划；三维可视化显示平台，实现定位、旋转、缩放、透明度调节、模型的拆分与叠加等功能。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例：
如图1所示，一种三维可视化和混合现实的医学应用，包括如下步骤：
(1)筛选合适的患者，得到患者信息、二维影像数据；
(2)从步骤(1)中根据患者信息整合得到患者的临床资料；
(3)从步骤(1)中将二维影像数据进行三维重建转化成三维数据，并对3D模型打包及将3D模型上传至全息***对三维数据进行呈现；
(4)结合步骤(2)中患者的临床资料与步骤(3)呈现的三维数据，通过佩戴混合现实眼镜观看3D模型，依托三维可视化显示平台进行辅助教学、医患沟通、手术规划、远程医疗。
优选的，在步骤(1)中患者信息为患者基本信息、病史及诊断治疗信息，在步骤(1)中二维影像数据为二维的CT、核磁影像数据。
优选的，在步骤(2)中数据的三维重建具体为通过调取二维影像数据进行三维重建，得到组织器官及病灶的三维立体模型。
具体的，此处的三维重建科采用vtk环境下的重构技术，对影像进行体绘制，生成可用的STL格式，然后对三维模型进行人工处理，完善组织器官及病灶的三维立体模型。
优选的，在步骤(2)中3D模型打包具体为对三维立体模型进行面片数量优化分析、格式转换及中心点坐标位置调整、对三维立体模型进行透明度及颜色配比设计生成3D可视化结果。
优选的，将3D模型打包生成3D可视化结果的3D可视化模型与计算机技术相结合进行参数设置，然后将3D模型打包文件通过拓影***端口上传至全息***中，并通过打开全息***观看3D虚拟影像。其拓影***端口可为拓盟MR影像管理平台，中全息***可为北京维卓致远医疗科技发展有限责任公司的星图混合现实影像***，这里不再具体赘述了。
具体的，对三维立体模型进行格式转换，生成混合现实端可用的文件格式，并且进行文件上传。
本实施例中，使用Unity软件进行格式转换，具体方法是：
步骤一、导入FBX格式模型文件；
步骤二、添加材质球，调节颜色和透明度；
步骤三、将材质球纹理贴图到导入的FBX格式模型文件上；
步骤四、对贴图后的模型截图；
步骤五、导入Unity软件官方AssetBoundleCreate.cs插件；
步骤六、使用Custom Editor菜单内Create AssectBundles Main功能生成assetboundle格式模型文件。
最后将assetboundle格式模型文件和模型截图图片上传到拓盟医学影像管理平台，使用混合现实眼镜呈现。
进一步的，得到的三维立体模型在本发明中通过混合现实端佩戴混合现实眼镜呈现，实际运用时还可以通过手机端、电脑端、web端、pad端等进行呈现。同时，在本发明中依托三维可视化显示平台提供定位、旋转、缩放、透明度调节、疾病模型的拆分与叠加、测量等功能，让医生和患者可以更直观的了解病情，方便年轻医生学习、医患沟通，让医生在术前做好手术规划、术中辅助手术、帮助医生准确定位、测量病变结构，提供更精准的手术指引，进一步的，实际上还可以进行远程讨论，远程医疗，开拓性大。
本发明将三维可视化技术与混合现实技术相结合，利用混合现实技术独有的在空气中立体呈现三维模型功能，让医生患者戴上混合现实眼镜真正立体观看三维器官模型进行病情沟通，更重要的是可以依托三维可视化显示平台进行手术模拟及手术方案规划。
进一步的，在本实施例中可通过混合现实技术即佩戴混合现实眼镜通过视觉叠加技术将3D模型覆盖在人体上，具体的操作如下：
(1)读入二维影像数据进行三维重建得到三维立体模型，然后上传到全息***中；
(2)佩戴混合现实眼镜将三维可视化和混合现实进行重合，将虚拟影像和显示画面叠加在一起；
(3)医生患者可以通过手势交互点击影像缩放调整影像大小，移动影像的空间方位，旋转影像；
(4)通过现有的混合现实眼镜可以将眼镜中的模型按照事先调整好的***轨迹和***后的模型位置进行***拆分，然后通过手势交互点击单个模型进行缩放、移动、旋转操作，操作完后才能后恢复到原来位置；
(5)还可以在混合现实眼镜内调节模型的颜色、透明度、自动定位配准、距离测量、角度测量、手术入路模拟、视角切割、多方视角等功能。
医学混合现实技术是当下最前沿的跨界技术之一，与AI、量子计算、机器人科学一起，被称为改变人类未来的科技，因此本发明的医学应用，尤其重要。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.一种三维可视化和混合现实的医学应用，其特征在于，包括如下步骤：
(1)筛选合适的患者，得到患者信息、二维影像数据；
(2)从步骤(1)中根据患者信息整合得到患者的临床资料；
(3)从步骤(1)中将二维影像数据进行三维重建转化成三维数据，并对3D模型打包及将3D模型上传至全息***对三维数据进行呈现；
(4)结合步骤(2)中患者的临床资料与步骤(3)呈现的三维数据，通过佩戴混合现实眼镜观看3D模型，依托三维可视化显示平台进行辅助教学、医患沟通、手术规划、远程医疗。
2.根据权利要求1所述的一种三维可视化和混合现实的医学应用，其特征在于：在步骤(1)中患者信息为患者基本信息、病史及诊断治疗信息。
3.根据权利要求1或2所述的一种三维可视化和混合现实的医学应用，其特征在于：在步骤(1)中二维影像数据为二维的CT、核磁影像数据。
4.根据权利要求1所述的一种三维可视化和混合现实的医学应用，其特征在于：在步骤(2)中数据的三维重建具体为通过调取二维影像数据进行三维重建，得到组织器官及病灶的三维立体模型。
5.根据权利要求4所述的一种三维可视化和混合现实的医学应用，其特征在于：在步骤(2)中3D模型打包具体为对三维立体模型进行面片数量优化分析、格式转换及中心点坐标位置调整、对三维立体模型进行透明度及颜色配比设计生成3D可视化结果。
6.根据权利要求5所述的一种三维可视化和混合现实的医学应用，其特征在于：将3D模型打包生成3D可视化结果的3D可视化模型与计算机技术相结合进行参数设置，然后将3D模型打包文件通过拓影***端口上传至全息***中，并通过打开全息***观看3D虚拟影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910159106.9A CN109935313A (zh) | 2019-03-04 | 2019-03-04 | 三维可视化和混合现实的医学应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910159106.9A CN109935313A (zh) | 2019-03-04 | 2019-03-04 | 三维可视化和混合现实的医学应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109935313A true CN109935313A (zh) | 2019-06-25 |
Family
ID=66986211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910159106.9A Pending CN109935313A (zh) | 2019-03-04 | 2019-03-04 | 三维可视化和混合现实的医学应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109935313A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110718284A (zh) * | 2019-09-29 | 2020-01-21 | 上海昊骇信息科技有限公司 | 一种三维医疗影像数据的交互方法及*** |
| CN113012789A (zh) * | 2021-03-24 | 2021-06-22 | 纵深视觉科技(南京)有限责任公司 | 一种病患信息的可视化方法、装置、介质及电子设备 |
| CN113764093A (zh) * | 2021-08-18 | 2021-12-07 | 上海电气集团股份有限公司 | 混合现实显示设备及其手术信息处理方法、存储介质 |
| CN116994720A (zh) * | 2023-08-09 | 2023-11-03 | 上海涞秋医疗科技有限责任公司 | 一种基于xr技术的影像远程沟通协作*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512467A (zh) * | 2015-11-30 | 2016-04-20 | 湖北融创三维数字医学科技有限公司 | 数字可视化移动终端医疗的方法 |
| CN106846496A (zh) * | 2017-01-19 | 2017-06-13 | 杭州古珀医疗科技有限公司 | 基于混合现实技术的dicom影像查看***及操作方法 |
| CN106845120A (zh) * | 2017-01-19 | 2017-06-13 | 杭州古珀医疗科技有限公司 | 一种基于混合现实技术的远程医疗***及其操作方法 |
| CN107067856A (zh) * | 2016-12-31 | 2017-08-18 | 歌尔科技有限公司 | 一种医学模拟训练***和方法 |
| CN109036548A (zh) * | 2018-06-19 | 2018-12-18 | 黑龙江拓盟科技有限公司 | 基于混合现实三维可视化的辅助诊疗*** |
| CN109659024A (zh) * | 2018-12-12 | 2019-04-19 | 黑龙江拓盟科技有限公司 | 一种mr辅助的远程诊疗方法 |
| CN111403022A (zh) * | 2020-03-13 | 2020-07-10 | 北京维卓致远医疗科技发展有限责任公司 | 一种医疗用可移动分体式操控***及使用方法 |
-
2019
- 2019-03-04 CN CN201910159106.9A patent/CN109935313A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512467A (zh) * | 2015-11-30 | 2016-04-20 | 湖北融创三维数字医学科技有限公司 | 数字可视化移动终端医疗的方法 |
| CN107067856A (zh) * | 2016-12-31 | 2017-08-18 | 歌尔科技有限公司 | 一种医学模拟训练***和方法 |
| CN106846496A (zh) * | 2017-01-19 | 2017-06-13 | 杭州古珀医疗科技有限公司 | 基于混合现实技术的dicom影像查看***及操作方法 |
| CN106845120A (zh) * | 2017-01-19 | 2017-06-13 | 杭州古珀医疗科技有限公司 | 一种基于混合现实技术的远程医疗***及其操作方法 |
| CN109036548A (zh) * | 2018-06-19 | 2018-12-18 | 黑龙江拓盟科技有限公司 | 基于混合现实三维可视化的辅助诊疗*** |
| CN109659024A (zh) * | 2018-12-12 | 2019-04-19 | 黑龙江拓盟科技有限公司 | 一种mr辅助的远程诊疗方法 |
| CN111403022A (zh) * | 2020-03-13 | 2020-07-10 | 北京维卓致远医疗科技发展有限责任公司 | 一种医疗用可移动分体式操控***及使用方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110718284A (zh) * | 2019-09-29 | 2020-01-21 | 上海昊骇信息科技有限公司 | 一种三维医疗影像数据的交互方法及*** |
| CN113012789A (zh) * | 2021-03-24 | 2021-06-22 | 纵深视觉科技(南京)有限责任公司 | 一种病患信息的可视化方法、装置、介质及电子设备 |
| CN113764093A (zh) * | 2021-08-18 | 2021-12-07 | 上海电气集团股份有限公司 | 混合现实显示设备及其手术信息处理方法、存储介质 |
| CN116994720A (zh) * | 2023-08-09 | 2023-11-03 | 上海涞秋医疗科技有限责任公司 | 一种基于xr技术的影像远程沟通协作*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109935313A (zh) | 三维可视化和混合现实的医学应用 | |
| US9424761B2 (en) | Medical simulation system and method with configurable anatomy model manufacturing | |
| US9142145B2 (en) | Medical training systems and methods | |
| US10453360B2 (en) | Ultrasound simulation methods | |
| US10359916B2 (en) | Virtual object display device, method, program, and system | |
| Chapuis et al. | A new system for computer-aided preoperative planning and intraoperative navigation during corrective jaw surgery | |
| US10881353B2 (en) | Machine-guided imaging techniques | |
| Li et al. | Feasibility study applying a parametric model as the design generator for 3D–printed orthosis for fracture immobilization | |
| WO2016003255A2 (ko) | 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법 | |
| TWI396523B (zh) | 用以加速牙科診斷及手術規劃之系統及其方法 | |
| CN109674532A (zh) | 基于mr的手术导航***及其设备、方法和存储介质 | |
| CN106909771A (zh) | 用于输出增强现实信息的方法和*** | |
| CN109036548A (zh) | 基于混合现实三维可视化的辅助诊疗*** | |
| Scharver et al. | Designing cranial implants in a haptic augmented reality environment | |
| EP2522295A1 (en) | Vitual platform for pre-surgery simulation and relative bio-mechanic validation of prothesis surgery of the lumbo-sacral area of the human spine | |
| WO2016110816A1 (en) | Orthopedic surgery planning system | |
| Izard et al. | NextMed: How to enhance 3D radiological images with Augmented and Virtual Reality | |
| CN114391158A (zh) | 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和*** | |
| JP2004024739A (ja) | 眼底の立体表示および座標計測方法と装置 | |
| KR101903996B1 (ko) | 의료 영상 시뮬레이션 방법 및 그 방법을 이용한 장치 | |
| Hochreiter et al. | Touch sensing on non-parametric rear-projection surfaces: A physical-virtual head for hands-on healthcare training | |
| US20230074630A1 (en) | Surgical systems and methods for positioning objects using augmented reality navigation | |
| Scharver et al. | Pre-surgical cranial implant design using the PARIS/spl trade/prototype | |
| JP5936111B2 (ja) | 関節対の可動域予測装置 | |
| Sharma | Implementation of 3D technologies for quantification and improvement of clinical diagnostics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |