CN110164531A - 用于显示三维医学影像信息的方法 - Google Patents
用于显示三维医学影像信息的方法 Download PDFInfo
- Publication number
- CN110164531A CN110164531A CN201910111760.2A CN201910111760A CN110164531A CN 110164531 A CN110164531 A CN 110164531A CN 201910111760 A CN201910111760 A CN 201910111760A CN 110164531 A CN110164531 A CN 110164531A
- Authority
- CN
- China
- Prior art keywords
- image data
- medical image
- viewer
- virtual
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Architecture (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种用于在至少一个显示介质上为由至少两个交互式观看者构成的组显示医学影像数据的方法,具有以下步骤:‑提供医学影像数据,其包含患者的特定检查区域的至少一个三维或四维影像数据集;‑特别是以增强现实来提供用于在交互式虚拟环境中透视地显示医学影像数据的可能性;‑其中,每个交互式观看者被分配有在虚拟环境中自己的虚拟位置;和‑其中,在至少一个显示介质上同时将来自分配给相应观看者的虚拟位置以及如果必要还有视角的医学影像数据显示给每个交互式观看者,并且‑其中,每个交互式观看者可以独立于其他观看者改变其虚拟位置以及可能还有其视角。此外,本发明涉及一种用于显示医学影像数据的计算机程序和装置。
Description
技术领域
本发明涉及一种用于在至少一个显示介质上为由至少两个交互式观看者构成的组显示医学影像数据的方法。
背景技术
在许多医疗技术应用中,由专家团队,特别是医生团队查看三维数据并以对话形式对其进行分析,以便能够向患者提供治疗建议。为了完整地查看和全面理解三维对象,例如患者的器官,需要交互式旋转或虚拟巡查对象。例如,在所谓的肿瘤会议中,对患者的放射影像进行跨学科检查,以共同决定进一步的操作,特别是治疗方案。还可以考虑的是,例如,外科手术团队可以在即将到来的手术之前对手术期间的联合操作进行协调。
在已知的VR(虚拟现实)和AR(增强现实)***中,单独一个观看者可以为所有观看者确定单独视角和单独观看位置。其他的观看者不能虚拟地移动它们自己以便能够占据不同的视角或不同的观看位置。
由DE 10 2005 020 871 B4已知一种用于在显示介质上显示医学影像信息的方法,其中检测单个观看者相对于显示介质的位置,并且根据观看者的位置,将至少两个医学数据集的不同叠加作为影像信息显示给观看者。
发明内容
本发明的目的是提供一种方法,利用该方法,观看者,尤其是不同学科的医生能够交互式地分析患者的同一个检查区域的检测到的医学数据集。本发明的另一个目的是提供一种能够执行这种方法的计算机程序和装置。
本发明的目的通过根据权利要求1的方法,根据权利要求13的计算机程序和根据权利要求14的装置来实现。
根据本发明提出了一种用于在至少一个显示介质上为由至少两个交互式观看者构成的组显示医学影像数据的方法,包括以下步骤:
-提供医学影像数据,其包含患者的特定检查区域的至少一个三维或四维影像数据集;
-特别是以增强现实来提供用于在交互式虚拟环境中透视地显示医学影像数据的可能性;
-其中,每个交互式观看者被分配有在虚拟环境中自己的虚拟位置以及如果必要还有自己的视角;和
-其中,在至少一个显示介质上将来自分配给相应观看者的虚拟位置以及如果必要还有视角的医学影像数据同时显示给每个交互式观看者,以及
其中,每个交互式观看者可以独立于其他观看者改变其虚拟位置以及如果必要还有其视角。
根据本发明,提出了一种方法,其中为多个交互式观看者,特别是为不同学科的医生同时显示患者的相同检查区域的医学影像数据的图示,以便分析医学影像数据。医学影像数据包括至少一个三维(3D)或四维(4D)影像数据集,其中第四维度是时间,也就是说,4D影像数据集是3D影像的时间序列。影像数据还可以包含相同检查区域的多个影像数据集,并且可能包括其他检查数据或影像,还包括二维影像。如果医学影像数据包含检查区域的多个影像数据集,则这些影像数据集优选地彼此配准,使得它们在虚拟环境中可以选择性地或者彼此重叠/覆盖地显示,或者相应的观看者可以选择其希望查看哪个影像数据集。这种可重叠/可覆盖的影像数据的示例是T1,T2,T2*,多核或非质子MR影像,不同频率的超声影像,具有不同加速电压的CT影像或通常具有和不具有造影剂的影像。
在所提出的方法中,检查区域的医学影像数据被显示给每个观看者作为三维虚拟环境。在该三维虚拟环境中,每个交互式观看者都可以移动,并且在优选实施例中,还可以改变医学影像数据。改变例如可以包括以半透明显示模式分割医学影像数据或部分地显示医学影像数据。在此,每个交互式观看者可以与其他交互式观看者同时分析或评估关于其在相应学科中的专业化的医学影像数据,以便随后提交治疗建议。此外,多个交互式观看者在虚拟环境中,特别是在检查区域中可以彼此独立地移动。
在根据本发明的方法中,一个学科的医生作为观看者尤其可以被显示与另一观看者或另一个学科的医生不同的影像数据图示或不同的影像数据选择,其中,该影像数据包含例如检查区域的至少两个不同的影像数据集。例如,整形外科医生可以仅被显示这样的医学影像数据的图示,由该图示可以获得仅关于骨结构和软骨的图像信息,而血管外科医生优选仅可以被显示影像数据的分割或其他影像数据集,由其可以获得检查区域中患者的血管结构。因此,观看者,特别是特定学科的医生可以被显示与另外的观看者、特别是不同学科的医生不同的该检查区域的分割。此外,不同的观看者可以在检查区域的虚拟环境中占据具有也许相应不同视角的不同虚拟位置,由此观看者可以占据一个角度,该角度不必对应于但可以对应于另一观看者的角度。在一些设计方案中,每个观看者可以将增强现实(AR)添加到虚拟环境(VR)。例如,增强现实可以包括将指针添加到虚拟环境中。
用于透视显示医学影像数据的可能性例如通过在显示介质上、特别是具有3D功能的显示介质上再现该医学数据来获得。例如,显示介质是一个或多个显示器、监视器、电视机,触摸板等,并且观看者佩戴例如3D眼镜,其能够在虚拟现实中实现虚拟环境中的感知,例如快门眼镜。为了传达空间印象,从不同视角生成并显示(立体投影)医学影像数据的两个影像。快门眼镜确保将相应的影像提供给正确的眼睛。在此,可以是每个观看者使用一个显示器,如果需要,在一个显示器交替地显示四个不同的图片并且相应地设置快门眼镜的情况下,也可以是两个观看者使用该同一显示器。此外,也可以设想到将医学影像数据显示为全息图。
在有利设计方案中,利用所提出的方法,同一解剖区域(也就是同一检查区域)的各种医学的、尤其是三维的、所采集到的数据集被叠加地显示并且每个观看者都能够在这些数据集之间进行选择,也即,分段。不同的医学数据集可以包括例如T1和T2加权的MRT(磁共振成像)序列,具有不同光子能谱的CT数据集等。此外,可以叠加地显示相同解剖区域的至少两个医学数据集,其以不同的模态记录,例如通过CT和PET,MR和PET,SPECT,MEG(脑磁图),EEG(脑电图)。
优选地,为至少一个、优选为所有交互式观看者提供了用于处理医学影像数据和/或用于改变医学影像数据的显示的可能性。为了医学影像数据的这种处理和/或改变,可以在虚拟环境中例如提供虚拟操作元件,其被设计为改变医学影像数据和/或向医学影像数据添加增强现实。
根据所提出的方法的一个优选设计方案,每个观看者可以选择在医学影像数据的处理和/或医学影像数据的显示的改变之后是否将至少一个处理过的医学影像数据集或经改变的显示在至少一个显示介质上实时地显示给其他观看者或者其他观看者的特定组。因此,所提出的方法具有以下优点,即不同的观看者可以首先在虚拟环境中查看和/或分析医学影像数据,并且随后实时地与其他观看者交换他们的医学影像数据的图示,其中观看者的图示尤其由以下构成:虚拟的观察位置和/或观察角度和/或所选对比度或对比度混合的设置和/或选择,也即观看者的可视化设置。由此,观看者因此可以实时地将其对医学影像数据的评估传达给另一个或所有其他观看者,从而可以更简单地向该一个观看者或其他(多个)观看者解释一个观看者的评估。因此,所提出的方法具有进一步的优点,即可以快速且容易地将观看者的评价或诊断发送给相应的其他观看者。
医学影像数据的处理或医学影像数据的显示的改变优选地包括以下动作中的至少一个:
-将虚拟指针,特别是选择性地与在输入文本和/或图形和/或音轨上存储的超链接一同附接到医学影像数据集的特定位置处,
-选择医学影像数据集的分割,该分割例如仅显示检查区域的骨骼和/或仅显示软骨和/或仅显示血管,
-在同一检查区域的不同医学影像数据集之间切换,
-去掉和/或涂黑三维医学影像数据集的一些部分,
-将检查区域的第一三维医学影像数据集与检查区域的第二三维医学影像数据集叠加,第一和第二三维医学影像数据集尤其以不同的模态或权重或在不同的时间点采集,
-将患者的非位置编码数据渐显到虚拟环境中,
-在作为3D影片循环显示的四维医学影像数据集的情况下,在任何时间位置停止3D影片,
-当在虚拟空间中点击显示在检查区域中的一个器官时,显示该器官的实验室检查结果,
-渐显功能性医学数据,例如功能性MRT或功能性CT的医学数据。
例如,虚拟指针的放置或患者的非位置编码数据的渐显或显示的器官的实验室检查结果的显示例如是可归因于增强现实(AR)的动作。与之相反,分割的选择、在相同检查区域的不同医学影像数据集之间的切换、三维医学影像数据集的一些部分的去除和涂黑、或者检查区域的第一三维医学影像数据集与检查区域的第二三维医学影像数据集的重叠、或者3D影片的播放可以分配给虚拟环境(VR)的。例如,具有患者呼吸胸腔的时间分辨率的3D数据集能够以循环播放的影片的形式作为3D影片在虚拟环境中显示。还可以想到的是,除了三维医学影像数据集的部分的去除和/或涂黑之外,三维医学影像数据集的至少一部分以半透明或颜色透明的显示模式显示。
功能性医学数据、例如功能性MRT的医学数据的渐显例如被理解为MRT信号的显示,该信号使用BOLD效应并因此显示患者在虚拟环境中的大脑活动。
在其他设计方案中,还可以呈现四维医学数据,其中一个维度分配给时间,而其他三个维度被分配给检查区域的位置坐标。四维医疗数据可在虚拟环境中作为3D影片播放。在所提出的方法中在虚拟环境(VR)和/或增强现实(AR)中显示医学影像数据具有这样的优点,即观看者可以特定地处理或改变医学影像数据,从而尤其使得观看者能够快速地获得医学影像数据的分析或诊断。
将针对由观看者构成的组的医学影像信息优选分别显示在同一显示介质上或分别显示在单独的显示介质上,其中该单独的显示介质针对由观看者构成的组的一部分。形成所显示的医学影像信息的医学影像数据被存储在例如中央计算机或云上,使得每个交互式观看者可以访问医学影像数据并可以显示在诸如屏幕或全息显示的显示介质上。因此,在所提出的方法中,医学影像数据可以集中存储在一个地点或云中,使得各交互式观看者可以访问另一个各交互式观看者的医学影像数据和/或可视化设置。然后可以在相应的交互式观看者处现场实现医学影像数据的显示,也就是显示在相应观看者的显示介质上。这直观地意味着,医学影像数据例如可以存储在例如地点X并且可以在相应的显示介质上为相隔很远的地点Y处的至少一个观看者显示该医学影像数据。所提出的方法中的这种类型的远程控制具有这样的优点,即对于所提出的方法的执行来说,各个观看者不需要在相同的地点以尤其共同地执行该方法。
医学影像数据优选地包含相同检查区域的至少两个三维或四维医学影像数据集以及特别是患者的另外的非位置编码数据。相同检查区域的至少两个三维或四维医学影像数据集可以彼此叠加地显示。由此,利用一个模态获取的医学影像数据集例如可以与利用另一个模态获取的另外的医学影像数据集一起叠加地显示,只要显示同一检查区域、尤其是同一患者的至少两个医学影像数据集。
优选地,医学影像数据在中央计算机上或云中提供。这具有这样的优点,即,不同的观看者可以停留在不同的位置并可通过执行所提出的方法彼此独立地对医学影像数据进行改变,以便尤其是在考虑到不同的交互式观看者的不同的专业方向的情况下基于医学影像数据来执行治疗方案。
优选地,每个观看者的虚拟交互式环境由支持3D的虚拟或真实客户端构建。在当前情况下,虚拟客户端可以被理解为计算机程序,其在终端上执行并且集成在网络中并与中央计算机双向通信。
可替换地,在当前情况下,虚拟客户端也可以被理解为在诸如计算机,iPad或其他已知终端设备等的观看者侧终端设备上的虚拟桌面的显示,用于虚拟桌面和/或医学影像数据的显示的数据被作为“可视化设置”存储在中央计算机上。终端设备和中央计算机之间的通信优选地通过互联网连接或通过VPN连接实现。在使用虚拟客户端时,经改变的医学影像数据被与做出该改变的相应交互式观看者相关联,并在存储时保存在中央计算机上。这具有这样的优点,即同一个交互式观看者在使用另一终端设备时可以访问该改变。在当前情况下,真实客户端被理解为这样的终端设备,即,该终端设备集成在网络中与中央计算机进行双向通信。在此,在终端设备上进行的改变可以除了上述存储之外或者附加于上述存储而被存储在中央计算机上。
更优选地,在虚拟环境中,在一个位置处将至少一个图形图示显示给第一交互式观看者,该位置对应于另一观看者在虚拟环境中的虚拟位置,其中,基于图形图示的位置,该组的第一观看者被告知相应的另一观看者在医学影像数据的显示中的虚拟位置。此外,可以考虑,为第一交互式观看者在虚拟环境中渐显或渐隐为其分配的图形图示。例如,如果需要,第一交互式观看者可以特别是借助于诸如3D鼠标的操作元件渐显或渐隐为其分配的图形图示。由此,第一交互式观看者可以将其自己的虚拟位置或其视角与另外的交互式观看者的位置或视角进行比较或对准。
更优选地,每个观看者都可以占据另一个观看者的位置和/或视角,或者一个观看者可以使虚拟环境中的另一个观看者占据其位置和/或视角。由此,一个观看者或多个观看者可以容易且快速地占据另一观看者的位置或视角,以便能够更容易地理解他们对医学影像数据的分析或评估。可以考虑的是,观看者使得其他观看者占据其位置,而其他观看者不能够选择位置。
优选地,一个观看者从一个位置到另一个位置,特别是到另一个观看者的位置的切换通过逐渐透视变换来实现。在逐渐透视变换时,可以计算交互式观看者的所谓“软轨迹”。为了计算软轨迹,考虑分配给每个交互式观看者的图形图示在虚拟环境中的位置。由此,可以避免视角的突然改变,这可能使个体观看者感到困惑。
为了执行所提出的方法,优选地为每个观看者在虚拟环境中布置虚拟操作元件。虚拟操作元件可以在虚拟环境中例如设计为特别是在患者数据集旁边的3D鼠标或操纵杆或设计为虚拟键盘或虚拟控制台。在任何情况下,交互式观看者都可以利用虚拟操作元件改变虚拟环境,如本文已经描述的那样,例如通过添加指针或通过分割医学影像数据等。
本发明的另一方面涉及一种包括软件代码段的计算机程序,其中,该软件代码段使计算机或由计算设备构成的网络或与中央计算机通信的网络中的终端设备执行如本文所述的方法。
本发明的另一方面涉及一种用于为由至少两个交互式观看者构成的组在至少一个显示介质上显示医学影像数据的装置,该装置尤其被配置用于执行如本文所述的方法,包括
-至少一个用于存储医学影像数据的存储介质,其中,该影像数据包含患者的特定检查区域的至少一个三维或四维影像数据集,
-至少一个显示介质,适用于透视三维显示医学影像数据,
-计算单元,被配置为特别是以增强现实来在交互式虚拟环境中为一交互式观看者透视地显示医学影像数据;
其中,为每个交互式观看者分配在虚拟环境中自己的虚拟位置以及如果必要还有自己的视角;和
其中,在至少一个显示介质上将来自分配给相应观看者的虚拟位置以及如果必要还有视角的医学影像数据同时显示给每个交互式观看者,
-其中每个交互式观看者可以独立于其他视图改变其虚拟位置以及如果必要还有其视角。
优选地,该装置还包括用于至少一个观看者的三维鼠标和/或用于每个观看者的3D眼镜。特别优选地,该装置包括用于每个观看者的三维鼠标,使得每个交互式观看者都可以在其虚拟环境中改变或编辑医学影像数据的显示。此外,对于每个交互式观看者,该装置优选地包括3D眼镜,其被设计为将医学影像数据以医学影像信息显示给各个观看者。还可以考虑的是,代替三维鼠标或除三维鼠标之外该装置包括医疗手术工具,利用该医疗手术工具可以模拟例如检查区域上的等待处理的手术。
附图说明
从下面参考附图对优选实施例的描述得出本发明的其他优点和特征。应当理解,在各个附图中示出的实施例可以具有能在其他实施例中使用的特征,即使没有明确提及,并且除非由于技术条件或明确地排除了这些特征。图中示出:
图1示出了用于测量医学影像数据的装置,该医学影像数据存储在中央计算机中并在两个显示介质上显示,
图2示出了访问所获取的医学影像数据的不同位置处的多个交互式观看者,以及
图3示出了在其上显示虚拟环境和增强现实的显示介质。
具体实施方式
下面将结合图1至3描述本发明的优选设计方案。
图1示出了地点X处的第一交互式观看者24,特别是医生或医务人员,其借助于医疗模态12记录患者14的医学影像数据16或医学影像数据集17,其中,医学影像数据16显示在显示介质18上。测量的医学影像数据16通过双向通信存储在中央计算机22上。另一交互式观看者24通过双向通信20访问医学影像数据16或医学影像数据集17。可以针对另一个交互式观看者24分割显示医学影像数据16,使得另一个观看者24可以观看经改变的医学影像数据集16a。此外,另一个观看者24位于另一个地点Y,该地点Y可以远离地点X。
图2示意性地示出了用于执行所提出的方法的可能装置。同一患者14的同一检查区域的医学影像数据16或医学影像数据集17可以通过各种医疗模态12,例如CT,MRT,PET,SPECT,MEG(磁脑图)或EEG(脑电图)测量并且传输给中央计算机22,医学影像数据16和医学影像数据集17存储在中央计算机上。医学影像数据16由云26的中央计算机22经由双向通信28提供。然后,可能位于不同地点Y1,Y2,Y3的交互式观看者24能够借助于双向通信20彼此独立地访问医学影像数据16。除了医学影像数据16之外,在中央计算机22上或云26中例如还存储有测量协议32,关于所使用的辐射或所使用的医疗手段的剂量34或者所使用的医疗模态12的所处位置36。还可以考虑的是,医学影像数据16或医学影像数据集17存储在中央计算机22上,并且不同的交互式观看者24特别是可以通过互联网连接或通过VPN连接直接访问中央计算机22,从而获得医学影像数据16和医学影像数据集17。然后可以为不同的观看者24将数据集显示在他们的显示介质18上(参见图3)。这可以例如通过具有3D功能的客户端(如上所述)来实现,该客户端可以作为虚拟或真实客户端存在。
图3示出了交互式观看者24的显示介质18,其中观看者特别使用3D眼镜,以便能够看到作为虚拟现实中的三维结构的医学影像数据16,16a。在显示介质18上显示出了虚拟环境42或增强现实44中的患者14的检查区域30。在图3中,例如,患者14的大脑被作为检查区域30示出。在增强现实44中,非位置编码数据46,例如患者信息或实验室数据等被存储。此外,在增强现实44中,如图3所示,具有超链接50的至少一个指针54被存储,其中存储相应的交互式观看者的备忘录。
为每个交互式观看者24在分配给其的一个显示介质18上显示医学影像数据16。此外可以考虑的是,为多个交互式观看者共同在一个显示介质18上显示医学影像数据16。在虚拟环境42和/或增强现实44中为每个交互式观看者24分配图形图示48。图形图示48的位置将相应交互式观看者24在虚拟环境42中的位置或视角再现到检查区域30中或检查区域30上。
由此,在虚拟环境中,交互式观看者24的位置或视角被告知给其他交互式观看者24。基于图形字符48的位置,交互式观看者24构成的组中的第一交互式观看者24被告知相应另外的交互式观看者24在医学影像数据的图示中的虚拟位置。例如,如果需要,第一交互式观看者24可以尤其通过诸如像虚拟的或者真实的3D鼠标的控制元件52使得分配给其的图形图示渐显。由此,第一交互式观看者可以将其自己的虚拟位置或其视角与其他交互式观看者24的位置或视角进行比较或对准。
更优选地,每个观看者24可以占据另一观看者24的位置和/或视角,或者观看者24可以使虚拟环境42中的另一个观看者24占据其位置和/或视角。由此,一个观看者24或多个观看者24可以容易且快速地占据另一观看者24的位置或视角,以便能够更容易地理解他们对医学影像数据16的分析或评估。可以考虑的是,观看者24使其他观看者24处于其位置,而其他观看者24不能选择位置。在这种情况下,观看者24看到相应观看者24的改变的医学影像数据16a的显示。
观看者24从一个位置到另一个位置,特别是到另一个观看者24的位置的这种切换(未示出)通过逐渐透视变换来实现。在逐渐透视变换时,计算虚拟环境42中的交互式观看者24的软轨迹。为了计算软轨迹,考虑分配给虚拟环境42中的每个交互式观看者24的图形图示48的位置。由此,可以避免突然的透视变换。此外,所有或选定的观看者24由此同时且实时地被显示以观看者24的经改变的医学影像数据16a。医学影像数据16或经改变的医学影像数据16a基于至少两个医学影像数据集17而被提供。
每个观看者24可以借助于虚拟操作元件52在虚拟环境42中移动并且改变医学影像数据16,16a或至少一个医学影像数据集17。虚拟操作元件位于虚拟环境42中,并且对于观看者24来说在其显示介质18上是可见的。虚拟操作元件52可以在虚拟环境42中例如作为3D鼠标或操纵杆或作为虚拟键盘或作为虚拟控制台成像在特别是可以包括在非位置编码数据46中的患者数据集旁边。在任何情况下,利用虚拟操作元件52,交互式观看者24可以改变虚拟环境42,例如通过添加指针54或通过分割医学影像数据16,16a等。
Claims (15)
1.一种在至少一个显示介质(18)上为由至少两个交互式观看者(24)构成的组显示医学影像数据(16,16a)的方法,具有以下步骤:
-提供医学影像数据(16,16a),所述医学影像数据包含患者(14)的特定检查区域(30)的至少一个三维或四维影像数据集(17);
-特别是通过增强现实(44)来提供用于在交互式虚拟环境(42)中透视地显示所述医学影像数据(16,16a)的可能性;
-其中,每个所述交互式观看者(24)被分配有在所述虚拟环境(42)中自己的虚拟位置以及如果必要有自己的视角;以及
-其中在所述至少一个显示介质(18)上将来自分配给相应观看者(24)的所述虚拟位置以及如果必要还有所述视角的所述医学影像数据(16,16a)同时显示给每个所述交互式观看者(24),以及
-其中,每个所述交互式观看者(24)能够独立于其他观看者(24)改变其虚拟位置以及如果必要还有其视角。
2.根据权利要求1所述的方法,其中,为至少一个、优选所有所述交互式观看者(24)提供用于处理所述医学影像数据(16,16a)和/或用于改变所述医学影像数据(16,16a)的显示的可能性。
3.根据权利要求2所述的方法,其中,每个所述观看者(24)都能够选择在处理所述医学影像数据(16,16a)和/或改变所述医学影像数据(16,16a)的显示之后是否为其他观看者(24)或一个特定的其他观看者(24)在所述至少一个显示介质(18)上实时显示至少一个处理过的医学影像数据集(17)或经改变的显示。
4.根据权利要求2或3所述的方法,其中,所述医学影像数据(16,16a)的处理或所述医学影像数据(16,16a)的显示的改变包括以下动作中的至少一项:
-将虚拟指针(54)特别是选择性地与在输入文本和/或图形上和/或音轨上存储的超链接(50)一同附接到医学影像数据集的特定位置处,
-选择医学影像数据集(17)的分割,所述分割例如仅显示所述检查区域的骨骼和/或软骨和/或血管,
-在同一检查区域(30)的不同医学影像数据集(17)之间切换,
-去掉和/或涂黑三维医学影像数据集(17)的一些部分,
-将所述检查区域(30)的第一三维医学影像数据集(17)与所述检查区域(30)的第二三维医学影像数据集(17)叠加,所述第一三维医学影像数据集和所述第二三维医学影像数据集以不同模态(12)或权重或者在不同的时间点采集,
-将所述患者(14)的非位置编码数据(46)渐显到所述虚拟环境(42)中,
-在作为3D影片循环显示的四维医学影像数据集(17)的情况下,在任意时间位置停止所述3D影片,
-当在虚拟空间中点击显示在所述检查区域(30)的一个器官时,显示所述器官的实验室检查结果,
-渐显功能性医学数据,例如功能性MRT或功能性CT的医学数据。
5.根据前述权利要求中任一项所述的方法,其中,将针对由观看者(24)构成的所述组的所述医学影像信息分别显示在同一显示介质(18)上或者分别显示在单独的显示介质(18)上,所述单独的显示介质针对由观看者(24)构成的所述组的一部分。
6.根据前述权利要求中任一项所述的方法,其中,所述医学影像数据(16,16a)包含同一检查区域(30)的至少两个三维或四维医学影像数据集(17)以及特别是所述患者(14)的另外的非位置编码数据(46)。
7.根据前述权利要求中任一项所述的方法,其中,在中央计算机(22)或云(26)上提供所述医学影像数据(16,16a)。
8.根据前述权利要求中任一项所述的方法,其中,针对每个所述观看者(24)的所述交互式虚拟环境(42)由支持3D的虚拟或真实客户端建立。
9.根据前述权利要求中任一项所述的方法,其中,在所述虚拟环境(42)中,在一个位置处将至少一个图形图示(48)显示给第一交互式观看者(24),所述位置对应于另一观看者(24)在所述虚拟环境中的虚拟位置(42),其中基于所述图形图示(48)的所述位置,所述组中的所述第一观看者(24)被告知相应的所述另一观看者(24)在所述医学影像数据(16,16a)的显示中的虚拟位置。
10.根据前述权利要求中任一项所述的方法,其中,每个观看者(24)都能够占据另一观看者(24)的位置和/或视角,或者其中一个观看者(24)能够使所述虚拟环境(42)中的另一观看者(24)占据其位置和/或其视角。
11.根据前述权利要求中任一项所述的方法,其中,一个观看者(24)从一个位置到另一位置、尤其是到另一观看者(24)的位置的切换通过逐渐透视变换来实现。
12.根据前述权利要求中任一项所述的方法,其中,为每个观看者(24)在所述虚拟环境(42)中布置一个虚拟操作元件(52)。
13.一种计算机程序,包含软件代码段,其中,所述软件代码段使计算机或由计算设备构成的网络或与中央计算机(22)通信的网络中的终端设备执行根据权利要求1至12中任一项所述的方法。
14.一种用于为由至少两个交互式观看者(24)构成的组在至少一个显示介质(18)上显示医学影像数据(16,16a)的装置,所述装置特别用于执行根据权利要求1至13中任一项所述的方法,所述装置包括:
-至少一个用于存储医学影像数据(16,16a)的存储介质,其中,所述影像数据(16,16a)包含患者(14)的特定检查区域(30)的至少一个三维或四维影像数据集(17),
-至少一个显示介质(18),适用于透视的三维显示所述医学影像数据(16,16a),
-计算单元,被配置为特别是通过增强现实(44)来在交互式虚拟环境(42)中为一交互式观看者(24)透视地显示所述医学影像数据(16,16a);
其中,为每个所述交互式观看者(24)分配在所述虚拟环境(42)中自己的虚拟位置以及如果必要还有自己的视角;和
其中,在至少一个所述显示介质(18)上将来自分配给相应观看者(24)的所述虚拟位置以及如果必要还有所述视角的所述医学影像数据(16,16a)同时显示给每个所述交互式观看者(24),以及
-其中每个交互式观看者(24)能够独立于其他观看者(24)改变其虚拟位置以及可能还有其视角。
15.根据权利要求14所述的装置,还包括
-三维鼠标,和/或
-用于每位观察者的3D眼镜。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18156440.2A EP3496046A1 (de) | 2018-02-13 | 2018-02-13 | Verfahren zur darstellung dreidimensionaler medizinischer bildinformationen |
EP18156440.2 | 2018-02-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110164531A true CN110164531A (zh) | 2019-08-23 |
Family
ID=61827467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910111760.2A Pending CN110164531A (zh) | 2018-02-13 | 2019-02-12 | 用于显示三维医学影像信息的方法 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP3496046A1 (zh) |
CN (1) | CN110164531A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795648A (zh) * | 2019-09-10 | 2020-02-14 | 平安好医投资管理有限公司 | 基于浏览器的医学影像病例播放方法、装置、终端及介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3790023A1 (en) | 2019-09-03 | 2021-03-10 | Koninklijke Philips N.V. | Method for analyzing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794246A (zh) * | 2005-10-29 | 2006-06-28 | 深圳清华大学研究院 | 一种医学图像数据传输与三维可视化***及实现方法 |
US20140297309A1 (en) * | 2011-12-14 | 2014-10-02 | Infinitt Healthcare Co., Ltd. | System and method for supplying medical image |
CN105074728A (zh) * | 2013-08-09 | 2015-11-18 | 堃博生物科技(上海)有限公司 | 胸部荧光透视影像及相应的肋骨和脊椎三维影像数据配准 |
WO2016040376A1 (en) * | 2014-09-08 | 2016-03-17 | Simx, Llc | Augmented reality simulator for professional and educational training |
US20160119582A1 (en) * | 2013-03-15 | 2016-04-28 | James Paul Smurro | Neurosynaptic network connectivity and collaborative knowledge exchange with visual neural networking and packetized augmented cognition |
CN106909771A (zh) * | 2015-12-23 | 2017-06-30 | 西门子医疗有限公司 | 用于输出增强现实信息的方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005020871B4 (de) | 2004-06-07 | 2013-03-28 | Siemens Aktiengesellschaft | Verfahren zur Darstellung von medizinischen Bildinformationen auf einem Anzeigemedium |
-
2018
- 2018-02-13 EP EP18156440.2A patent/EP3496046A1/de active Pending
-
2019
- 2019-02-12 CN CN201910111760.2A patent/CN110164531A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794246A (zh) * | 2005-10-29 | 2006-06-28 | 深圳清华大学研究院 | 一种医学图像数据传输与三维可视化***及实现方法 |
US20140297309A1 (en) * | 2011-12-14 | 2014-10-02 | Infinitt Healthcare Co., Ltd. | System and method for supplying medical image |
US20160119582A1 (en) * | 2013-03-15 | 2016-04-28 | James Paul Smurro | Neurosynaptic network connectivity and collaborative knowledge exchange with visual neural networking and packetized augmented cognition |
CN105074728A (zh) * | 2013-08-09 | 2015-11-18 | 堃博生物科技(上海)有限公司 | 胸部荧光透视影像及相应的肋骨和脊椎三维影像数据配准 |
WO2016040376A1 (en) * | 2014-09-08 | 2016-03-17 | Simx, Llc | Augmented reality simulator for professional and educational training |
CN106909771A (zh) * | 2015-12-23 | 2017-06-30 | 西门子医疗有限公司 | 用于输出增强现实信息的方法和*** |
Non-Patent Citations (1)
Title |
---|
ENGEL K ET AL: "《VIRTUAL ENVIRONMENTS "99 PROCEEDINGS OF THE EUROGRAPHICS WORKSHOP》", 31 December 1999 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795648A (zh) * | 2019-09-10 | 2020-02-14 | 平安好医投资管理有限公司 | 基于浏览器的医学影像病例播放方法、装置、终端及介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3496046A1 (de) | 2019-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Barillot et al. | 3D reconstruction of cerebral blood vessels | |
Sielhorst et al. | Depth perception–a major issue in medical ar: evaluation study by twenty surgeons | |
US10359916B2 (en) | Virtual object display device, method, program, and system | |
CN105074778B (zh) | 交互式随访可视化 | |
US8090174B2 (en) | Virtual penetrating mirror device for visualizing virtual objects in angiographic applications | |
JP6058290B2 (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
JP5909055B2 (ja) | 画像処理システム、装置、方法及びプログラム | |
US11574446B2 (en) | Digital image reality aligning kit and method applied to mixed reality system for surgical navigation | |
JP7522269B2 (ja) | 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
van Beurden et al. | Effectiveness of stereoscopic displays in medicine: a review | |
CN103444194B (zh) | 图像处理***、图像处理装置以及图像处理方法 | |
JP2013016153A (ja) | 画像処理システム及び方法 | |
Sulpizio et al. | Role of the human retrosplenial cortex/parieto-occipital sulcus in perspective priming | |
US20140063011A1 (en) | Medical image diagnostic apparatus, medical image processing apparatus, and methods therefor | |
US9445082B2 (en) | System, apparatus, and method for image processing | |
Narita et al. | Usefulness of a glass-free medical three-dimensional autostereoscopic display in neurosurgery | |
CN110164531A (zh) | 用于显示三维医学影像信息的方法 | |
Abou El-Seoud et al. | An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries | |
CA3152809A1 (en) | Method for analysing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system | |
Wang et al. | Augmented reality during angiography: integration of a virtual mirror for improved 2d/3d visualization | |
Vogt | Real-Time Augmented Reality for Image-Guided Interventions | |
CN110718284A (zh) | 一种三维医疗影像数据的交互方法及*** | |
Wieringa et al. | Improved depth perception with three-dimensional auxiliary display and computer generated three-dimensional panoramic overviews in robot-assisted laparoscopy | |
JP6017124B2 (ja) | 画像処理システム、画像処理装置、医用画像診断装置、画像処理方法及び画像処理プログラム | |
JP6104982B2 (ja) | 画像処理装置、画像処理方法及び医用画像診断装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |