CN106909771A - 用于输出增强现实信息的方法和*** - Google Patents

用于输出增强现实信息的方法和*** Download PDF

Info

Publication number
CN106909771A
CN106909771A CN201611209580.0A CN201611209580A CN106909771A CN 106909771 A CN106909771 A CN 106909771A CN 201611209580 A CN201611209580 A CN 201611209580A CN 106909771 A CN106909771 A CN 106909771A
Authority
CN
China
Prior art keywords
information
patient
augmented reality
user
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611209580.0A
Other languages
English (en)
Other versions
CN106909771B (zh
Inventor
T·伯特格
C·德拉蒙塔
T·汉内曼
P·赫尔策
G·克雷默
S·勒彻特
G·索泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Healthcare GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to CN201910496334.5A priority Critical patent/CN110148453A/zh
Publication of CN106909771A publication Critical patent/CN106909771A/zh
Application granted granted Critical
Publication of CN106909771B publication Critical patent/CN106909771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及用于输出增强的现实信息的方法和***。描述了一种向第一用户(U1)输出增强现实信息(AR)的方法,该增强现实信息(AR)与医疗装置(2、IT、MD)和/或患者(13)的医学检查有关,其中所述方法包括以下步骤:‑获取(R1)第一信息,所述第一信息选自由图像信息、深度信息、坐标信息及其组合构成的组,其中第一信息与医疗装置和/或患者(13)的医学检查有关;‑基于所述第一信息,创建(GA)与所述医疗装置(2、IT、MD)和/或所述患者(13)的医学检查有关的增强现实信息(AR);‑输出(D1)所述增强现实信息(AR),使得能够在第一用户(U1)的视野中感知所述增强现实信息(AR)。

Description

用于输出增强现实信息的方法和***
技术领域
本发明涉及一种用于向第一用户输出涉及医疗装置和/或患者的医学检查的增强的现实信息的方法。本发明还涉及一种用于输出增强的现实信息的***、一种计算机程序产品以及一种计算机可读介质。
背景技术
具有不同专业知识和观点的许多用户通常涉及使用医疗装置(例如医学成像装置)以及还涉及患者的医学检查。这些用户特别包括患者、医疗技术人员、具有不同经验程度的医师、技术人员以及医疗装置制造商。这些用户之间的通信对于医疗装置的高效使用或医学检查的成功是重要的。在这些情况下,以前在很大程度上诉诸于口头交流,而没有任何技术支持。此外,使用诸如小册子、信息页、信息胶片、操作说明书等已知的沟通辅助。
患者的医学检查可以例如包括介入、治疗(特别是放射治疗)、医学成像,临床工作流程、对患者的指令,等等。
在介入中,重要的是精确地击中目标区域并保护周围的健康组织。因此,在许多情况下,将通过医学成像来支持介入。以前,通过对介入的医学成像所提供的成像信息的传输在很大程度上取决于执行介入的医师的能力、经验和空间感觉。通常,通过医学成像提供的成像信息显示在一个或多个监视器上。监视器或多个监视器各自布置在进行介入的检查室中的柔性支撑结构上。这种监视器和介入区域之间的相对较大的距离可能意味着医师的巨大的额外负荷,特别是当他们观察监视器的能力受到限制时。此外,医师必须经常在介入过程期间在介入区域与一个或多个监视器之间来回移动他们的视线,特别是他们的焦点。在许多情况下,这也与医师的人体工程学负荷相关。
在临床工作流程中,例如在放射学中,重要的是患者在正确的时间接收到清楚的指令,以便高效地通过各种测点(station)和步骤。临床工作流程的另外重要方面是患者的健康,特别是关于焦虑、不确定性和私人领域的限制以及个人数据的保护方面。利用医学成像,过于及时和清楚的指令、例如影响呼吸以及患者的健康的指令是重要的。
发明内容
本发明的目的是使医疗装置的改进的使用和/或患者的医学检查的改进的执行成为可能。
该目的通过如权利要求1所述的方法、如权利要求19所述的***、如权利要求31所述的计算机程序产品以及如权利要求32所述的计算机可读介质来实现。
在用于向第一用户输出涉及医疗装置和/或患者的医学检查的增强的现实信息的本发明方法中,获取第一信息,该第一信息选自由图像信息、深度信息、坐标信息及其组合构成的组,其中第一信息涉及医疗装置和/或医学检查。基于第一信息,创建与医疗装置和/或患者的医学检查有关的增强的现实信息。输出增强现实信息,使得能够在第一用户的视野中感知到增强现实信息。
增强现实信息特别地被理解为这样的信息:利用该信息可以增强现实,特别是第一用户的视野和/或第二用户的视野。具体地,可以利用增强现实信息基于第一用户的视野和/或基于第二用户的视野来创建增强的现实。当增强现实信息在第一用户的视野中对第一用户可见时,增强现实信息特别地能够在第一用户的视野中被感知。特别地,可以输出增强现实信息,使得通过增强的现实信息来增强第一用户的视野。
增强的现实信息可以例如通过增强现实装置来创建和/或输出。术语“用于创建增强现实的装置”和术语“增强现实装置”被同义地使用。现实的强化特别地对于本领域技术人员而言被称为“增强”。强化的现实特别地对于本领域技术人员而言被称为“增强的现实”。强化现实装置特别地对于本领域技术人员而言被称为“增强现实装置”。
用于创建增强现实的已知装置例如是由美国的微软公司制造的Microsoft用于创建增强现实的装置的结构和功能对于本领域技术人员而言是已知的,特别是从US2014098226A1、US2015248793A、US2015294507A1、US2015234455A1、WO2015134958A1、WO2015161307A1和[CR06]可知。
本发明的一种实施例形式提供了所描述的方法和/或自动或全自动地执行所描述方法的一个或多个步骤中的每个步骤。具体地,可以自动地和/或全自动地创建增强现实信息,特别是通过增强现实装置来创建。在本申请的上下文中,“自动地”意味着相应的步骤通过软件和/或通过硬件自动地执行和/或基本上不需要用户对相应步骤的交互。特别地,在仅仅需要确认一个或多个结果和/或仅由用户执行一个或多个中间步骤时,基本上不需要用户的交互。在本申请的上下文中,“全自动地”意味着对于相应步骤的执行,完全不需要用户的交互。不管是“自动地”还是“全自动地”执行一个或多个步骤,本发明的方法都可以是另外需要用户的交互的工作流程的要素。例如,用户的交互可以包括用户从例如通过屏幕呈现的菜单手动地创建或选择检查方案和/或检查计划和/或临床问题。
作为替代或补充,增强现实信息可以基于第一用户的输入和/或基于第二用户的输入来创建。例如,基于第一用户的输入和/或基于第二用户的输入,可以关于类型、位置、大小和/或形状创建和/或适配标记,其中增强现实信息具有标记。
图像信息例如可以是照相机图像和/或2D图像(二维图像)。本发明的一种实施例形式提供第一信息是3D图像(三维图像)。3D图像尤其可以是2D图像和深度信息的组合。在这种情况下,可以向3D图像的每个像素分配2D图像的图像值和深度信息的深度值。
图像信息可以例如通过第一照相机单元获取。第一照相机单元例如可以是3D照相机。3D图像和/或深度信息可以例如通过3D照相机获取。第一增强现实装置例如可以具有第一照相机单元。3D照相机可以特别地被设计用于电磁辐射的检测,特别是用于检测与x射线辐射相比在光谱的较低频率范围内、例如在光谱的可见光或红外范围内的电磁辐射。3D照相机可以例如被实施为立体照相机或者作为飞行时间测量***。飞行时间测量***特别地对于本领域技术人员而言称为“飞行时间照相机”。3D照相机可以例如被实施为用于通过结构化照明来获取3D图像和/或用于获取深度信息。
坐标信息可以例如涉及图数据集。图数据集例如可以具有第一用户的视野中的空间区域的图。特别地,医疗装置的至少一个部分可以位于该空间区域中和/或医学检查的至少一个分步骤可以在该空间区域中进行。坐标信息例如可以指定特别是与图数据集和/或空间区域的图有关的位置和/或方位。
根据本发明的一个方面,坐标信息包括涉及患者的至少一个部分的至少一个患者坐标和/或涉及医疗装置的至少一个部分的至少一个装置坐标。例如,所述至少一个患者坐标可以例如指定患者的至少一个部分的位置和/或方位,特别是与图数据集和/或空间区域的图有关的位置和/或方位。所述至少一个装置坐标可以例如指定医疗装置的至少一个部分的位置和/或方位,特别是与图数据集和/或空间区域的图有关的位置和/或方位。医疗装置的至少一个部分可以例如是医疗装置的可移动部件。
本发明的一种实施例形式提供可以确定第一用户的位置和/或视线方向,特别是与图数据集和/或空间区域的图有关的位置和/或视线方向,和/或可以确定第一增强现实装置的位置和/或对准,特别是与图数据集和/或空间区域的图有关的位置和/或对准。可以例如基于第一用户的位置和/或视线方向和/或基于第一增强现实装置的位置和/或对准来创建增强现实信息。
这可以例如借助于图像信息、深度信息和/或运动信息来完成。可以例如通过一个或多个加速度传感器获取运动信息。特别地,第一增强现实装置可以具有一个或多个加速度传感器。
在具有带转移板的患者支撑装置的医疗装置中,坐标信息例如可以指定转移板的位置和/或方位。在具有运动链和/或机器人臂、特别是C形臂的医疗装置中,例如对于运动链和/或机器人臂的一个或多个元件,坐标信息可以在每种情况下指定位置和/或方位。
对于坐标信息可以想到多个不同的表示。在不脱离本发明区域的情况下,可以在这些表示之间进行选择和/或变换,只要其由权利要求书规定即可。
例如,涉及转移板的坐标信息在第一表示中可以具有转移板的四个拐角点的坐标,在第二表示中可以具有转移板的中心点的坐标以及指定大致对应于转移板的平面的方位的坐标,并且在第三表示中可以具有一个坐标值,其中,例如通过列表、特别是查询表为坐标值分配转移板的位置和/或方位。
坐标信息例如可以通过建立(尤其是测量)位置和/或方位来建立。坐标信息例如可以通过建立(尤其是测量)位置变化和/或方位变化来建立。
根据本发明的一个方面,通过医疗装置提供坐标信息。坐标信息例如可以涉及医疗装置的可移动部件。
根据本发明的一个形式的实施例,提供了用于医疗装置的装置坐标系。在这种情况下,可以基于装置坐标系,例如通过医疗装置的控制装置来控制可移动部件,特别是进行定位和/或方位。坐标信息例如可以包括关于装置坐标系的装置坐标。
本发明的一个形式的实施例提供了在增强现实信息的创建期间,执行坐标信息和/或包括在坐标信息中的其中一个坐标(例如装置坐标)从第一参考系(例如装置坐标系)到第二参考系(例如图数据集)的变换。例如可以基于与第一参考系和第二参考系相关的变换信息和/或可以利用其为第二参考系的坐标分配第一参考系的坐标的变换信息执行变换。例如,坐标信息可以包括变换信息。可选地,可以建立和/或获取变换信息。
借助于坐标信息,可以例如独立于图像信息和/或独立于深度信息来创建增强现实信息。在这种情况下,特别地,已经提供用于医疗装置的控制的装置坐标系可以有利地附加地用于创建增强现实信息。特别地,借助于坐标信息与可移动部件和/或医疗装置的图数据集和/或3D模型相结合,可以非常精确地并且独立于视觉环境建立可移动部件的位置和/或方位。可选地,坐标信息可以与图像信息和/或与深度信息组合。
根据本发明的一个方面,输出涉及医疗装置的可移动部件的运动的控制命令。优选地,基于该控制命令建立坐标信息。可以例如通过控制命令来控制可移动部件的运动。特别地,控制命令可以指定可移动部件的目标位置、位置变化、目标方位、方位变化等等。特别地,可以将坐标信息分配给控制命令和/或运动参数。
根据本发明的一个方面,可以获取涉及医疗装置的可移动部件的运动的运动参数。优选地,基于运动参数建立坐标信息。运动参数可以特别地取决于可移动部件的运动。特别地,运动参数可以是可移动部件的运动的测量。运动参数可以例如指定几何变量,特别是位置、长度和/或角度。运动参数可以例如指定电气变量,特别是电流、电压、电荷和/或能量。电气变量可以例如涉及驱动单元,利用该驱动单元驱动可移动部件的运动。
可移动部件可以例如是C形臂、机器人臂、运动链、转移板、介入工具等。
根据本发明的一个形式的实施例,第一信息涉及第一用户的视野中的空间区域。医疗装置的至少一部分可以位于空间区域中。医学检查的至少一个分步骤可以在空间区域中进行。本发明的一个形式的实施例提供医疗装置的至少一部分位于第一用户的视野内和/或医学检查的至少一个分步骤在第一个用户的视野内进行。
医学检查的分步骤(part step)例如可以是介入的分步骤和/或临床工作流程的分步骤。介入的分步骤可以例如是将介入工具和/或植入物引入患者中、患者的结构的分离和/或联接,等等。临床工作流程的分步骤可以例如是呼叫在候诊室等待的患者、识别患者、澄清患者的临床工作流程的其他步骤、检查室中的患者的准备、患者的指示、准备医疗装置、患者在医疗装置处的配准、医学成像、介入、治疗、诊断等等。
根据本发明的一个方面,通过医疗装置提供医疗数据集,其中基于医疗数据集创建增强现实信息。根据本发明的一个形式的实施例,医疗数据集具有医学成像数据集。特别地,医学成像数据集可以涉及患者的结构。根据本发明另一形式的实施例,医疗数据集具有涉及患者的医学信号。医学信号可以例如是生理信号和/或生物电信号。特别地,医学信号可以涉及患者的心跳、患者的呼吸、患者的体温、患者的血液中的物质浓度,等等。医学信号例如可以是心电图信号(EKG信号)。
本发明的一个形式的实施例提供增强现实信息以具有输出域,其中医疗数据集表示在该输出域中。医疗数据集可以在输出域中例如表示为医疗图像、定时特性、信号曲线和/或数字。
本发明的一个形式的实施例提供基于第一信息相对于第一用户的视野建立医疗装置的位置,其中基于医疗装置的位置创建增强现实信息。在这种情况下,基于医疗装置的位置,可以确定输出域相对于第一用户的视野的位置。输出域可以例如显示在医疗装置附近和/或覆盖在医疗装置上。例如针对于医疗装置相对于第一用户的视野的位置变化,输出域可以跟随医疗装置。
根据本发明的一个方面,基于第一信息建立与患者的医学检查有关的检查信息,其中,基于检查信息创建增强现实信息。
检查信息可以例如是关于已经执行了医学检查的哪些分步骤和/或作为下一步骤要执行哪个分步骤的信息。特别地,可以基于包括医学检查的计划好的分步骤的检查计划和/或基于检查方案来建立检查信息。检查计划例如可以是临床工作流程的介入计划和/或流程计划。检查信息例如可以涉及患者相对于医疗装置的位置和/或介入工具相对于患者的结构的位置。例如,检查信息可以具有如下信息:即介入工具位于准备好使用的正确位置。增强现实信息可以具有相应的标记,该标记表示例如以仿真的形式执行的介入工具的接下来的运动。
根据本发明的一个方面,基于第一信息建立与患者相关的患者信息,其中基于患者信息创建增强现实信息。
根据本发明的一个方面,患者信息选自由以下信息及其组合构成的组:
-涉及患者的识别的患者识别信息,
-涉及患者的生理状态和/或情绪状态的患者状态信息,
-涉及患者的位置的患者位置信息。
患者识别信息被设计为识别患者。识别可以特别地自动地和/或全自动地执行。例如基于患者识别信息,可以从患者数据库中选择患者的患者数据和/或通过增强现实信息输出患者数据。患者数据例如可以包括个人数据和/或与患者的患病史相关的数据。特别地,可以以这种方式检查是否为患者计划了医学检查的给定分步骤和/或计划了医学检查的哪个分步骤。特别地,可以通过增强现实信息输出患者数据和/或检查结果。例如基于患者识别信息,将在患者的医学检查期间和/或通过医疗装置获取的数据被自动地分配给患者和/或存储在患者数据库中。因此,这能够避免不正确的检查和不正确的分配。
患者识别信息例如可以基于图像信息而建立,其在于患者的生物特征被建立和/或在于分配给患者和/或分配给患者的患者文档的代码、特别是QR代码被获取和评估。
患者状态信息例如可以涉及患者的呼吸、患者的体温、患者的脉搏、患者的瞳孔放大、患者的面部表情等等。基于患者状态信息,可以例如确定患者是否表现出压力和/或表现出何种程度的压力。例如,如果患者的压力可能不利地影响医学检查的成功,则可以通过增强现实信息输出警告信号。增强现实信息例如可以具有用于使患者镇定的镇定图像和/或一系列镇定图像。
患者的位置例如可以从患者位置组中选择,患者位置组由患者在诊所中的位置、患者在检查室中的位置、患者相对于医疗装置的位置、患者相对于第一用户的位置、患者相对于第二用户的位置,以及以上位置的组合构成。增强现实信息例如可以基于患者位置信息来创建,从而基于患者的位置确定增强现实信息相对于第一用户的视野的位置。增强现实信息例如可以在患者附近示出和/或覆盖在患者上。增强现实信息可以例如跟随患者,以针对于患者位置相对于第一用户的视野的变化。
根据本发明的一个方面,提供了一种与患者的结构相关的医学成像数据集,其中基于医疗成像数据集创建增强现实信息。根据本发明的一个方面,增强现实信息具有标记患者的结构的结构标记。医疗成像数据集可以例如借助于医疗装置、特别是借助于医学成像装置和/或借助于医疗图像数据库来提供。特别地,医学图像数据库可以具有存储区域,其中医学图像数据集被保持在该存储区域中以用于检索。
患者的结构例如可以是患者的解剖结构。患者的结构例如可以具有患者的器官和/或患者的植入物。植入物可以例如是螺钉、假体、血管假体、心脏瓣膜假体或类似物。结构标记例如可以具有患者的结构的医学图像和/或被示出为在第一用户的视野中覆盖在患者的结构上。结构的医学图像可以例如被分割成部分结构。在这种情况下,患者的结构不一定必须是可见的。例如,基于第一信息和/或基于另外的信息(例如定位片(topogram)和/或解剖标志),建立结构相对于患者的位置和/或结构标记相对于第一用户的视野的位置(其对应于结构相对于患者的位置)。结构标记例如可以具有结构的3D图像和/或结构的3D模型。借助于结构标记,例如可以计划和/或支持医学检查,特别是介入。结构标记例如可以具有结构的三维渲染图像和/或结构的展开表示。
为了改善对医疗问题或环境的可视化,计算机生成的图像可以在正确的位置覆盖在患者身上。以这种方式,例如患者的结构、特别是内部解剖结构的特别是三维渲染的图像可以覆盖在患者身上。利用这样的图像,例如可以显示介入程序的路径和/或对于血管的一个或多个部分,每种情况下的诊断值(例如血流储备分数(FFR))。例如,借助于增强现实信息,患者的胸腔的展开表示可以示出为覆盖在患者的胸腔上。
本发明的一个形式的实施例提供待被检测和/或用作方位点的基于第一信息和/或基于医疗成像数据集的解剖标志。基于解剖标志,可以相对于患者和/或相对于患者的结构记录所渲染的图像。因此,所渲染的图像能够被显示为覆盖在患者的结构上。
根据本发明的一个方面,提供了与患者的标定位置和/或医疗装置的标定位置有关的标定位置信息,其中基于标定位置信息创建增强现实信息,其中增强现实信息具有标定位置标记,该标定位置标记标记患者的标定位置和/或医疗装置的标定位置。
如果标定位置信息涉及医疗装置的可移动部件的标定位置,则标定位置信息特别地涉及医疗装置的标定位置。标定位置信息例如可以基于预检查、基于检查计划和/或基于医学检查的检查方案来建立。检查方案特别地可以是成像方案。标定位置信息可以例如指定如何将患者定位用于医学检查和/或相对于医疗装置定位。标定位置信息可以例如指定医疗装置和/或可移动部件如何相对于患者和/或相对于检查室定位。标定位置标记例如可以具有患者的3D化身,其中3D化身示出处于患者的标定位置中的患者。标定位置标记例如可以具有医疗装置和/或可移动部件的3D模型,其中3D模型示出处于医疗装置的标定位置中的医疗装置和/或处于可移动部件的标定位置中的可移动部件。
根据本发明的一个方面,提供了涉及患者的区域和/或医疗装置的区域的区域信息,其中基于区域信息创建增强现实信息,其中增强现实信息具有标记患者的区域和/或医疗装置的区域的区域标记。
患者的区域例如可以具有患者的结构。患者的区域例如可以是在医学检查中要被检查和/或被选择用于医学检查的患者的区域。患者的区域可以例如是患者的位于医疗装置的有效区域中和/或被选择用于转移到医疗装置的作用区域中的区域。医疗装置的作用区域例如可以是介入工具的作用区域、医学成像装置的原始图像数据获取区域等。患者的区域可以例如是患者的要进行介入和/或从其记录医学成像数据集的区域。医疗装置的区域可以例如是医疗装置的待使用和/或致动的区域。区域标记例如可以具有医疗装置的区域的3D图像和/或医疗装置的区域的3D模型。这使得能够计划和/或支持医疗装置的操作,例如在医学检查中和/或在医疗装置的准备中的操作。
根据本发明的一个形式的实施例,基于第一用户的输入和/或基于第二用户的输入,可以创建区域信息和/或可以关于类型、位置、尺寸和/或形状适配区域标记。本发明的一个形式的实施例提供基于检查计划、基于医学检查的检查方案、基于患者位置信息和/或基于标定位置信息来建立区域信息。
根据本发明的一个方面,从由结构标记、标定位置标记、区域标记及其组合构成的标记组中选择的标记具有从表示组中选择的表示,其中所述表示组由全息图、全息类型表示、立体表示、三维表示及其组合构成。这尤其使得能够以特别有利的方式表示3D化身、3D图像和/或3D模型。全息类型表示可以特别地被理解为视觉表示,其向观察者例如第一用户和/或第二用户给出了他们正在观察全息图的印象。
根据本发明的一个方面,检测第一用户的输入,其中,基于第一用户的输入创建增强现实信息。特别地,可以基于第一用户的输入创建从由结构标记、标定位置标记、区域标记及其组合构成的标记组中选择的标记,和/或关于类型、位置、尺寸和/或形状适配这些标记。
本发明的一个方面提供输出增强现实信息,使得增强现实信息能够在第二用户的视野中被感知,并且使得第二用户的输入被检测到,并且基于第二用户的输入创建增强现实信息。
当增强现实信息在第二用户的视野中对第二用户可见时,增强现实信息特别地能够在第二用户的视野中被检测到。特别地,可以输出增强现实信息,使得通过增强现实信息强化第二用户的视野。根据本发明的一个形式的实施例,第一用户的视野的至少一部分在第二用户的视野中示出。根据本发明的一个形式的实施例,第一用户的视野的至少一部分被示出在第二用户的视野中,使得第二用户从第一用户的视角看到患者和/或医疗装置。根据本发明的一个形式的实施例,在第二用户的视野中示出增强现实信息,使得第二用户从第一用户的视角看见增强现实信息。
特别地,关于第一用户而没有参考第二用户描述的特征也相应地与第二用户相关,即,在这些特征中,在每种情况下,术语“第一用户”被术语“第二用户”所替换。特别地,可以基于第二用户的输入创建从由结构标记、标定位置标记、区域标记及其组合构成的标记组中选择的标记,和/或关于类型、位置、尺寸和/或形状适配该标记。根据本发明的一个方面,可以基于第一用户的输入和/或基于第二用户的输入来建立标定位置信息和/或区域信息。
优选地,第一用户的输入是第一用户的手势和/或第二用户的输入是第二用户的手势。
根据本发明的一个方面,选择与第一用户相关的第一用户简档和/或与第二用户相关的第二用户简档,其中,基于第一用户简档和/或基于第二用户简档创建增强现实信息。
用户简档可以例如包括用户类别、医学检查中的功能、对患者的患者数据的访问授权、医疗装置的使用授权、与增强现实信息的创建、改变、覆写和/或去除相关的授权,等等。用户类别可以例如涉及一组人。可选地,一组人可以分别分配给第一用户和/或第二用户。例如,多组人可以是患者、医疗技术人员、具有不同经验水平的医师、技术人员以及医疗装置制造商。介入中的功能例如可以从由以下各项构成的功能组中选择:自己执行介入的第一医师;在指导下执行介入的第二医师;观察介入并且在进行中学习的第三医师;观察介入并且在进行中给出用于执行介入的指令的第四医师。
本发明的一个形式的实施例提供基于第一信息和基于基本信息创建增强现实信息。基本信息例如可以选自基本信息组,基本信息组由医疗数据集、检查信息、患者信息、医学成像数据集、标定位置信息、区域信息、第一用户的输入、第二用户的输入、第一用户简档和第二用户简档构成。
本发明的一个形式的实施例提供基于第一信息和基于多个基本信息项来创建增强现实信息。所述多个基本信息项中的每一项例如可以在每种情况下从基本信息组中选择,该基本信息组由医疗数据集、检查信息、患者信息、医学成像数据集、标定位置信息、区域信息、第一用户的输入、第二用户的输入、第一用户简档和第二用户简档构成。
在本申请的上下文中,表达“基于”可以特别地在表达“当使用时”的意义上理解。特别地,基于第二特征创建(可替换地建立、确定等)第一特征的阐述不排除基于第三特征创建(可替换地建立、确定等)第一特征。
用于向第一用户输出涉及医疗装置和/或患者的医学检查的增强现实信息的本发明的***具有第一获取模块、创建模块和第一输出模块。第一获取模块被实施为用于获取从由图像信息、深度信息、坐标信息及其组合构成的组中选择的第一信息,其中第一信息与医疗装置和/或医学检查有关。创建模块被实施为用于基于第一信息创建与医疗装置和/或患者的医学检查有关的增强现实信息。第一输出模块被实施为输出增强现实信息,使得增强现实信息能够在第一用户的视野中被感知。
根据本发明的一个方面,该***具有医疗装置。优选地,医疗装置被实施为用于提供坐标信息。
根据本发明的一个方面,医疗装置具有可移动部件。
根据本发明的一个形式的实施例,该***和/或医疗装置具有控制装置,该控制装置被实施为用于输出与可移动部件的运动相关的控制命令。根据本发明的一个形式的实施例,该***具有被实施为用于获取与可移动部件的运动相关的运动参数的运动参数获取单元。运动参数获取单元例如可以具有传感器。可以例如通过运动参数获取单元获取运动参数。
本发明的一个形式的实施例提供能够通过第一增强现实装置和/或通过第二增强现实装置来控制可移动部件,特别是对其进行定位和/或定向。
根据本发明的一个形式的实施例,医疗装置具有驱动单元,该驱动单元被实施为驱动可移动部件的运动。优选地,驱动单元被实施为用于接收控制命令和/或用于基于控制命令驱动可移动部件的运动。驱动单元例如可以被实施为电机。运动参数可以例如指定驱动单元在驱动运动时消耗的电荷和/或驱动单元在驱动运动时由驱动单元消耗的电能。
运动参数获取单元例如可以集成在控制装置中和/或驱动单元中。运动参数获取单元可以例如被实施为用于测量运动参数。运动参数例如可以规定转速角,特别是转数。运动参数例如可以是可移动部件的运动的测量和/或涉及可运动部件、驱动单元和/或运动参数获取单元。特别地,可以执行医疗装置和/或控制装置和/或可移动部件和/或驱动单元的校准和/或仿真和/或可移动部件的运动。
优选地,该***具有建立单元,该建立单元被实施为用于基于控制命令和/或基于运动参数来建立坐标信息。坐标信息例如可以通过建立单元基于控制命令和/或基于运动参数来建立。
根据本发明的一个形式的实施例,第一获取模块具有第一照相机单元,其中第一照相机单元被实施为用于获取图像信息和/或深度信息。根据本发明的另一形式的实施例,第一获取模块可以访问信息提供模块的存储区域,其中,通过从信息提供模块到第一获取模块的数据传输来获取第一信息。根据本发明的一个形式的实施例,***具有信息提供模块。信息提供模块被实施为用于提供第一信息。
根据本发明的一个形式的实施例,第一输出模块被实施为输出增强现实信息,使得通过增强现实信息强化第一用户的视野。根据本发明的一个形式的实施例,第一输出模块具有第一观察装置,特别是数据眼镜、数据隐形眼镜(contact lens)和/或视网膜投影器的形式。特别地,可以通过第一观察装置输出增强现实信息。根据本发明的另一形式的实施例,第一观察装置可以访问第一输出模块的第一存储区域,其中增强现实信息将通过第一输出模块的数据传输被输出到第一观察装置。根据本发明的一个形式的实施例,***具有第一观察装置。
根据本发明的一个方面,该***具有医疗装置,其中医疗装置被实施为提供医疗数据集。优选地,创建模块被实施为基于医疗数据集来创建增强现实信息。
根据本发明的一个方面,该***具有医疗成像装置,其中医疗成像装置被实施为用于提供涉及患者的结构的医学成像数据集。优选地,创建模块被实施为基于医学成像数据集来创建增强现实信息。优选地,增强现实信息具有标记患者的结构的结构标记。
根据本发明的一个方面,该***具有被实施为用于获取第一用户的输入的第一输入模块和/或被实施为用于获取第二用户的输入的第二输入模块。优选地,创建模块被实施为基于第一用户的输入和/或基于第二用户的输入来创建增强现实信息。
本发明的一个形式的实施例提供:第一获取模块具有第一输入模块和/或第一获取模块被实施为用于获取第一用户的输入和/或第一照相机单元被实施为用于获取第一用户的输入。根据本发明的一个方面,该***具有第二输出模块和第二获取模块。第二输出模块被实施为用于输出增强现实信息,使得增强现实信息能够在第二用户的视野中被感知。本发明的一个形式的实施例提供:第二获取模块具有第二输入模块和/或第二获取模块被实施为用于获取第二用户的输入和/或第二照相机单元被实施为用于获取第二用户的输入。
根据本发明的一个形式的实施例,第二输出模块被实施为在第二用户的视野中示出第一用户的视野的至少一部分。根据本发明的一个形式的实施例,第二输出模块被实施为输出增强现实信息,使得通过增强现实信息强化第二用户的视野。
根据本发明的一个形式的实施例,第二输出模块具有第二观察装置,特别是数据眼镜、数据隐形眼镜和/或视网膜投影器的形式。特别地,可以通过第二观察装置输出增强现实信息。根据本发明的另一形式的实施例,第二观察装置可以访问第二输出模块的存储区域,其中增强现实信息将通过第二输出模块的数据传输被输出到第二观察装置。根据本发明的一个形式的实施例,***具有第二观察装置。
根据本发明的一个形式的实施例,第二获取模块具有第二照相机单元,其中第二照相机单元被实施为用于获取第二用户的输入。根据本发明的实施例的另一种形式,第二获取模块可以访问输入提供模块的存储区域,其中通过从输入提供模块到第二获取模块的数据传输来获取第二用户的输入。根据本发明的一个形式的实施例,***具有输入提供模块。
根据本发明的一个方面,该***具有第一增强现实装置,该第一增强现实装置具有第一获取模块和/或第一输出模块。第一增强现实装置例如可以被实施为数据眼镜和/或数据耳机。第一增强现实装置例如由第一用户佩戴和/或可佩戴。根据本发明的一个形式的实施例,第一增强现实装置具有创建模块。
根据本发明的一个方面,该***具有第二增强现实装置,该第二增强现实装置具有第二获取模块和/或第二输出模块。第二增强现实装置例如可以被实施为数据眼镜和/或数据耳机。第二增强现实装置例如由第二用户佩戴和/或可佩戴。根据本发明的一个形式的实施例,第二增强现实装置具有创建模块。
本发明的一个形式的实施例提供:创建模块具有第一创建子模块和第二创建子模块,第一增强现实装置具有第一创建子模块,并且第二增强现实装置具有第二创建子模块。
本发明的一个形式的实施例提供通过机器学习算法创建增强现实信息。机器学习算法可以例如评估第一信息、检查信息、患者信息、标定位置信息、区域信息、第一用户的输入和/或第二用户的输入。
根据本发明的一个方面,该***具有用户简档选择模块。用户简档选择模块被实施为用于选择与第一用户相关的第一用户简档和/或用于选择与第二用户相关的第二用户简档。优选地,创建模块被实施为基于第一用户简档和/或基于第二用户简档来创建增强现实信息。用户简档选择模块可以例如提供图形用户界面,其中可以通过图形用户界面来设置和/或选择第一用户简档和/或第二用户简档。根据本发明的一个形式的实施例,用户简档选择模块具有用于获取安全证书的安全接口。安全证书可以特别地是密码和/或硬件密钥,例如智能卡。特别地,这使得能够保护对第一用户简档的访问和/或对第二用户简档的访问。
根据本发明的一个方面,该***被实施为执行本发明的用于输出涉及医疗装置和/或患者的医学检查的增强现实信息的方法。
特别地,本发明使多个用户之间的通信成为可能,特别是改善了来自涉及使用医疗装置和/或涉及对患者的医学检查的不同人群的多个用户之间的通信。对于用于创建增强现实的装置的用户,可以将附加的(音频)视觉元素添加到他或她在他们的视野中感知的现实世界中,现有元素可以被编辑删除和/或改变其外观。另外,可以从用户的角度拾取图像和声音,和/或可以确定用户的观察方向。
该信息可以在每种情况下被提供给另一装置的一个或多个另外的用户,用于创建增强现实,特别是作为增强现实信息。在这种情况下,可以在相同位置处提供增强现实信息,或者通过远程数据传输在另一远程位置提供增强现实信息。可以使用增强现实信息和/或所创建的增强现实,以便支持涉及使用医疗装置(例如医学成像装置)的和/或涉及医学检查的用户之间的通信。用户可以例如从由第一用户和第二用户构成的用户组中进行选择。可以在每种情况下从由第一用户和第二用户组成的用户组中选择用户或另外的用户的数目。
医学成像的一个应用在于介入领域,其中由医学成像装置提供的图像在医疗介入期间被使用,以便计划介入并检查介入的进展。医疗成像装置的这种类型的使用在许多情况下对医师提出了高要求,并且需要高水平的训练;在这些训练中,通常有经验的医师将他或她的知识传输给较没有经验的医师。在这种情况下,两个医师之间的沟通能够由用于创建增强现实的装置支持,使得有经验的医师观察从无经验的医师的视角记录的图像,并且可以直接在无经验的医师的视野中***关于如何进一步继续的提示。在这种情况下,无经验的医师佩戴用于创建增强现实的装置,而有经验的医师同样佩戴这种装置或使用用于信息处理的常规装置,例如笔记本电脑或平板电脑。本发明的一个形式的实施例提供:在每种情况下第一输入模块和/或第二输入模块具有鼠标、操纵杆、触摸板、触敏输入装置和/或类似装置。
有经验的医师可以例如在用于消融的介入期间显示消融针在患者上的标定位置,并且因此指示无经验的医师。同样,角色可以逆转,有经验的医师可以进行介入。然后无经验的医师可以从有经验的医师的视角观察介入,从而通过实例来学习。在这种情况下,有经验的和无经验的医师是否位于同一房间中并不重要,从而该指令也可以“远程地”完成(即通过远程传输)。为此,还存在音频信号的双向传输以及增强现实信息的传输以使得两个医师可以彼此通话是有用的。无经验的医师不必绝对需要在进行介入的同时将他或她自己置于有经验的医师的视角中。例如,第一信息和/或增强现实信息可以利用在医学检查期间***或追溯地***的附加信息来记录和/或强化,并且在稍后对无经验的医师可用。
本发明的一个实施例提供:有经验的医师对无经验的医师的支持不是在训练的意义上发生,而是在正常操作期间发生。因此,例如在农村地区,当发生并发症时或者在特别复杂的情况下,有经验的医师可作为专家按需提供,以便支持医师。特别地,专家可以支持医师进行由成像支持的活检。这种支持也可以在介入之前提供,以便确定介入的最佳可能的接入。例如,专家可以在医学成像数据集的基础上辅助医师计划介入路径。
本发明特别地使得可以支持患者和医师之间的对话。这可以在例如介入之前进行,其中医师在增强现实中和/或通过增强现实信息向患者解释介入的执行或结果或使风险可视化。同样,医师可以在执行介入之后通过增强现实信息和/或在增强现实中向患者显示检查的结果。
在这种情况下,可以有利地以“虚拟镜”将这些显示给患者。实际上还可以想到通过将增强现实信息直接***患者身体上的检查点而向患者显示检查的结果。然而,一方面,这对于患者来说可能是复杂的或者根本不能被看见(例如对于脊柱)。另一方面,如果结果的这种表示太现实,则对于患者来说可能是非常不安的。因此,可能有利的是,不将结果的这种表示***患者他/或她自己,而是***在“虚拟镜”上,即在其增强现实内的表面上;该“虚拟镜”示出类似于镜像的患者,并且检查结果可以***该“虚拟镜”中。替代地或附加地,监视器与照相机一起可以用于结果的这种表示。
本发明例如使得在医学检查之前和/或期间对患者的改善指导成为可能。对于患者,例如可以用医疗装置执行的医学检查通常表示异常情况。一般来说,患者对临床和检查过程中的程序几乎不了解。
临床人员与患者之间的沟通可以通过使用用于创建增强现实的装置来支持。为此,例如可以通过***到他或她的视野中的增强现实信息将患者引导通过诊所到达检查位置,例如地板上的箭头。在检查位置处,他或她可以通过增强现实信息、特别是以视听信息形式的增强现实信息被示明他或她是否仍然需要等候、他或她前面有多少患者、等候时间可能多长以及他或她应该去检查的检查室。在检查准备的框架内,可以通过***的增强现实信息、特别是以视听信息形式的增强现实信息来指示他或她根据检查脱下他或她的衣服、和/或穿上其他衣服。可以进一步指示患者在检查室中采取特定姿势,例如以特定方位躺在检查床上和/或抬起他或她的手臂。这也可以由“虚拟镜”支持,其中患者在增强现实中生成的镜子中看到他/她自己和/或他或她自己的化身。在检查的分步骤之后,可以指示他或她可以离开检查室的路和/或被引导通向检查的另一个分步骤(例如在另一个检查室中)。
使用用于创建增强现实的装置的特定优点在于如下事实:增强现实信息可以针对患者个体定制,并且同一房间中的多个患者可以各自感知他们各自的增强现实信息,例如,关于他们应该去哪个检查室的指示。另一个优点在于如下事实:当每个患者只能感知到对于他或她的指示时,机密性被更好地保持,并且例如可以免除在候诊室中通过姓名呼叫患者。
本发明还使得能够改进对患者和医疗装置的操作人员之间的个人沟通的支持。在CT或MRT检查期间,操作人员通常不可能始终与患者待在一起。相反,对于CT,例如由于辐射防护的原因,他们从检查室退出进入控制室。通过增强现实信息,可以为患者示出检查室中的操作人员的存在,例如同时还有双向声音传输。通过增强现实信息,患者可以被显示为用于操作人员的控制室内的增强现实的要素。
双向声音传输可以例如通过内部通信***来进行。作为替代或补充,双向声音传输可以实时地修改,例如,特别地通过同步机器翻译来修改。以这种方式,患者和操作人员即使他们不说共同的语言也可以彼此理解。
通过增强现实的这些应用,患者在检查期间不会感到孤独,并且他或她的焦虑可以减少。特别地,借助于增强现实信息,可以针对在检查室中的患者显示由化身所体现的操作人员。化身可以例如一直存在。例如,当通过传感器检测到需要注意的患者情况(例如噪声和/或运动)时,操作人员可以例如仅关联到化身。以这种方式,操作人员可以进行他们的工作,而另一方面对于患者,产生一直存在的感觉,这有助于减少他或她的紧张和焦虑。
本发明特别地使得可以例如在患者的放置方面、在支撑辅助的选择方面或在EKG电极或用于测量呼吸的装置的放置方面支持操作人员。在这种情况下,这种支持一方面可以由另一个人提供(例如,制造商的应用专家,其通过增强现实信息***用于操作人员的放置和/或选择的信息)。另一方面,可以例如基于制造商的规范自动地创建增强现实信息,其中这些规范可以附加地根据各个诊所的特定要求来适配,例如,基于所选择的医疗装置的测量方案或基于其它数据来适配。该其他数据例如可以是患者的解剖标志。可以特别地基于图像信息和/或基于深度信息来建立解剖标志。EKG电极的最佳位置可以例如通过解剖标志来计算。
因此,可以通过增强现实信息来支持从制造商到用户的通信,否则该通信将首先通过训练和通过操作指令来进行。
本发明特别地使得可以改进操作人员的训练。为此,例如可以借助于增强现实信息将虚拟患者引入到待训练的操作人员的增强现实中,其中可以作为与虚拟患者的练习来执行检查。在这种情况下,虚拟患者可以完全由计算机产生,即也由另一个人的输入产生,例如同样借助于用于创建增强现实的装置产生。该过程尤其对于X射线装置提供了这样的优点,即:以这种方式,即使在进行训练时,也可以仿真X射线辐射的触发。特别地由于辐射负荷,对真实患者进行训练将伴随严重的限制。
根据本发明的一个形式的实施例,第一增强现实装置具有第一照相机单元,其中第一照相机单元被实施为用于获取图像信息和/或深度信息。
本发明的一个形式的实施例提供第一增强现实装置被实施为数据眼镜。这样的数据眼镜例如可以由用户佩戴。用户可以例如是放射科医师或辅助医疗技术人员。在本发明的一个形式的实施例中,通过第一照相机单元获取患者的图像。将该图像与患者数据库中的条目进行比较。这使得能够确定涉及哪个患者和/或是否与计划的检查匹配。这种识别检查使得能够避免不正确的检查和检查结果的不正确分配。
在本发明的另一变型中,来自患者的预检查的信息、注释和/或图像通过增强现实信息被传递给用户和/或在增强现实中可用。
通过更聪明的呈现和与通过增强现实信息(图像、组织学、血液值等)呈现的数据的交互式互动,用户可以非常快地产生患者的全盘整体图片。
基于患者信息,特别是基于患者识别信息,可以建立与患者的患病史有关的患者历史信息。基于患者信息,例如可以建立患者的特性特征。例如,借助于存储了参考数据集的数据库,基于患者信息,可以建立适当的参考数据集,该参考数据集可以例如用于使用电离辐射的医学检查中的剂量调节。
在例如预检查的框架内建立的例如作为对应于医学图像的患者的身体区域的3D模型的医学图像可以被示出为投影在增强现实信息上和/或由增强现实信息覆盖。以这种方式,用户可以快速和准确地识别出诊断相关信息是否已经存在于特定点,例如疼痛点。
本发明的一个形式的实施例提供基于图像信息识别患者,基于第一信息建立患者信息和/或患者数据,并且通过增强现实信息使患者信息和/或患者数据可用。这可能是有利的,特别是当急诊医生被部署到事故现场时。
根据本发明的另一形式的实施例,增强现实信息以位置特定的方式呈现在用户的视野中。例如,布置在检查室、特别是OP室中的诊断显示器可以通过增强现实信息来强化。增强现实信息例如可以具有EKG信号、呼吸曲线、患者病史、患者的生物数据。增强现实信息可以特别地在医疗装置和/或诊断显示器的观察期间输出。
在本发明的另一种形式的实施例中,用户,例如放射科医师、辅助医疗技术人员或护士将配备有用于创建增强现实的装置,例如数据眼镜形式的装置。优选地,能够被自动评估的唯一特征例如QR码布置在患者和/或患者文档上。当查看该特征时,例如可以将虚拟票示出为增强现实信息。因此,用户可以看到与患者相关的当前信息。
本发明的另一形式的实施例提供用户能够登录到为用户生成的帐户。利用该帐户,例如可以管理用户的用户简档,该用户简档尤其包括用户的权限。以这种方式,特别地通过增强现实信息,可以仅仅输出用户被授权的和/或涉及分配给用户的患者的那个信息和/或那些图像。
第一信息例如可以具有定位片(topogram),特别是基于照相机的定位片。特别地,定位片可以是图像信息和深度信息的组合。根据本发明的一个形式的实施例,通过例如集成在第一增强现实装置中的第一照相机单元来获取基于照相机的定位片。基于照相机的定位片例如可以被示出为通过增强现实信息覆盖在患者上。除此之外,患者的特性特征可以根据基于照相机的定位片建立。借助于保持参考数据集的数据库,因此可以根据基于照相机的定位片建立用于医学检查的合适的参考数据,该参考数据例如可以用于剂量调节。
根据本发明的一个形式的实施例,通过增强现实信息将患者状态信息传输给用户。患者状态信息可以例如是患者的面部表情、患者的体温、患者的瞳孔放大等等。患者状态信息例如可以涉及情感指示器,该情感指示器特别地可以指向患者的压力。通过增强现实信息,例如可以显示患者的一个或多个生理参数,特别是脉搏、呼吸节律等等。
本发明的一个形式的实施例提供例如在介入即将开始之前通过数据眼镜获取患者信息,将所获取的患者信息与数据库中的条目进行比较,例如基于患者的类似身体特征和/或基于类似的介入建立来自数据库的匹配条目,并且将分配给匹配条目的介入结果显示为投影和/或覆盖在患者的表面上。以这种方式,可以向使用者、特别是放射科医师和/或外科医生施加对期望的介入结果的更好的印象。
根据本发明的另一形式的实施例,患者配备有数据眼镜。可以获取患者的生理参数例如心跳,所述生理参数允许获得患者的情绪状态的印象。如果这些生理参数指向患者处于压力下,则可以经由数据眼镜显示用于缓解压力的镇定环境。例如,可以向患有幽闭恐怖症的使用医疗成像装置检查的患者示出暗示着大的开放空间的乡村。作为替代或补充,检查相关的指令例如呼吸命令可以通过数据眼镜显示。此外,还可以使用音频信号。
根据本发明的一个形式的实施例,可以通过增强现实信息将与医学检查有关的虚拟的、例如计算机生成的数据显示为覆盖在患者上。因此,特别能够实现更好的用于构思和执行医学检查的能力。
利用用于创建增强现实、特别是医学图像(例如DICOM图像)的装置,附加信息可以通过增强现实信息显示为覆盖在患者上。使用用于为医学检查(例如介入)创建增强现实的装置尤其在可视化、信息的显示和虚拟处理工具的提供(特别是图像处理工具)方面可以实现巨大的改进。
医学成像数据集例如可以具有医学图像,特别是DICOM图像、CT图像、MRT图像、超声图像、血管造影图像系列、内窥镜视频等。增强现实信息可以具有医学成像数据集和/或基于医学成像数据集建立的标记。因此,医学成像数据集和/或标记可以被显示为在用户的视野中覆盖在患者上。在这种情况下,可以将通过医学成像数据集示出和/或建立的结构标记与患者的相应结构对准。
以这种方式,正在进行医学检查的用户可以更快地、符合人体工程学地、更便利地并且以减少的易出错性从医学成像数据集中访问信息。
用于创建增强现实的装置可以被实施为在用户的视野中创建虚拟屏幕。特别地,虚拟屏幕可以在用户视线的任何位置和方向上可用。这在人体工程学方面是特别有利的。此外,减少了监视器和/或支撑结构对用户的运动自由度的限制。
增强现实信息例如可以具有虚拟屏幕。例如,可以根据需要显示或编辑删除虚拟屏幕。医疗数据集(特别是医学图像)、检查信息和/或患者信息可以例如显示在虚拟屏幕中。
本发明的一个形式的实施例提供:基于医学成像数据集来选择患者的结构,并且增强现实信息具有标记患者的选定结构的结构标记。以这种方式,识别患者的小且难以找到的结构变得更容易。
结构标记可以例如标记介入区域。结构标记还可以具有介入计划模型的表示,其中该模型涉及介入的计划中间步骤或计划结果。介入计划模型可以例如通过仿真来建立。借助于增强的现实信息,介入计划模型可以被显示为覆盖在患者身上。可以使用介入计划模型来改善介入期间的导航。例如,介入计划模型可以具有计划的仪器路径。以这种方式,对于给定介入具有较少经验的用户也能够成功地执行给定介入。
介入计划模型可以具有植入物的模型。可以例如借助于用户的手势信息,将介入计划模型适配至患者的结构和/或患者的解剖特征来。以这种方式,能够建立植入物的最佳位置、尺寸和形状。
结构标记例如可以具有患者的结构(特别是器官)的分割的表示。借助于增强现实信息,例如可以将与诊断结果相关的诊断信息显示为覆盖在患者上。因此,使得使用者能够识别结构的关键区域并避免在介入期间的损坏。
根据本发明的一个形式的实施例,通过增强现实信息输出患者状态信息。患者状态信息可以例如涉及患者的心跳、患者的呼吸、患者的患病史、患者的实验室值、患者的人口统计学说明等信息。以这种方式,可以在用户的视野中输出患者状态信息。因此,可以为用户、特别是正在检查患者的医师提供改进的决策基础。
增强现实信息可以具有虚拟处理工具,特别是虚拟图像处理工具。例如,可以通过虚拟处理工具来标记和/或通过虚拟处理工具来测量患者的区域。在例如患者的区域的测量中,可以建立区域的位置、方位、形状、长度、表面、体积等等。
增强现实信息可以具有诊断信息。诊断信息可以例如通过PACS数据集和/或通过CAD数据集来提供。诊断信息例如可以基于医学成像数据集建立。医学成像数据集例如可以具有患者结构(例如颅骨、胸腔,特别是一个或多个肋骨)的渲染过的图像(渲染图像)和/或展开的图像(展开图像)。渲染图像可以特别地基于用户特定的渲染。
标定位置信息例如可以基于患者在预检查和/或在医学检查之前的时间进行的治疗(特别是放射治疗处理)期间的位置而建立。因此,可以改善患者的位置的可再现性。
根据本发明的一个形式的实施例,医疗装置选自由医学成像装置、介入工具、被实施用于获取和/或提供医疗数据集的检查装置及其组合构成的组。
关于医疗装置描述的特征也相应地适用于虚拟医疗装置,即,在这些特征中,在每种情况下,术语“医疗装置”由术语“虚拟医疗装置”替换。关于医学检查描述的特征相应地适用于虚拟医学检查,即,在这些特征中,在每种情况下,术语“医学检查”由术语“虚拟医学检查”替换。关于患者描述的特征相应地适用于虚拟患者,即,在每种情况下,术语“患者”被术语“虚拟患者”替换。以这种方式,可以改善医务人员的培训和/或医学检查的规划。特别地,即使在不使用真实患者和/或真实医疗装置的情况下,也可以实现真实的训练和/或真实的规划。
本发明的一种形式的实施例提供第一用户能够通过第一增强现实装置感知他们的环境。特别地,可以向第一用户而不是真实患者显示患者的图像和/或患者的化身,和/或可以向处在正确位置的用户显示医疗装置的图像和/或医疗装置的模型,而非真正的医疗装置。以这种方式,用于创建虚拟现实的装置也可以用作增强现实装置。用于创建虚拟现实的已知装置例如是来自美国的Oculus VR有限公司的Rift。
本发明的一个形式的实施例提供本发明的***和/或本发明***的多个部件至少部分地以处理器***上的软件的形式实现。具体地,第一获取模块、创建模块、第一输出模块、信息提供模块、第二输出模块和第二获取模块可以各自形成本发明***的部件和/或各自至少部分地以处理器***上的软件的形式实现。本发明的一个形式的实施例提供本发明***和/或本发明***的多个部件至少部分地以软件支持的硬件(例如FPGA、处理器***等)的形式实现。
本发明的一个形式的实施例提供本发明的***和/或本发明***的多个部件至少部分地由云借助于云计算来形成。本发明的一个形式的实施例提供创建模块和/或创建模块的至少子模块由云通过云计算形成。云可以特别地具有在空间上彼此远离的存储区域的网络和在空间上彼此远离的处理器***。对于从云和/或到云的数据传输,第一增强现实装置可以具有第一云接口,和/或第二增强现实装置可以具有第二云接口。
数据可以在***的部件之间例如通过合适的接口传输。本发明的一个形式的实施例提供到和/或来自本发明***的部件的数据传输的接口至少部分地以软件的形式实现。特别地,接口可以具有到合适的存储区域的访问设施,其中在该存储区域中,数据可以被适当地缓冲、检索和更新。接口也可以被实施为由硬件构成的接口,该硬件可以由适当的软件激活。
本发明***的主要基于软件的实现具有以下优点:甚至先前已经使用的增强现实装置也可以通过软件更新来升级,以便以本发明的方式工作。为此,该目的还通过具有计算机程序的相应的计算机程序产品来实现,该计算机程序能够被加载到计算机的存储装置中,其中当在计算机上执行计算机程序时,本发明的方法的步骤可以用计算机程序来执行。这种计算机程序产品以及计算机程序可以包括附加的软件组件(例如文档)和/或硬件组件(例如用于软件的硬件密钥(加密狗等))。
为了将计算机程序传输至和/或为了将计算机程序存储至增强现实装置中,可以使用计算机可读介质(例如记忆棒、硬盘或另一可传输或永久安装的数据介质),其中计算机程序存储在该介质上,该计算机程序能够被加载到计算机的存储装置中,其中当在计算机上执行计算机程序时,本发明的方法的步骤将利用该计算机程序被执行。本发明的一个形式的实施例提供:第一增强现实装置具有第一计算机和/或第二增强现实装置具有第二计算机。第一计算机和/或第二计算机可以各自具有处理器***,例如具有微处理器或一起工作的多个微处理器。
根据本发明的一个方面,医学成像装置选自由C臂X射线装置、计算机断层扫描装置(CT装置)、单光子发射计算机断层扫描装置(SPECT装置)、正电子发射断层扫描装置(PET装置)、磁共振断层扫描装置(MRT装置)及其组合组成的组。特别地,医学成像装置可以具有X射线装置、超声装置等。医学成像装置还可以具有多种成像和/或放射形态的组合。在这种情况下,放射形态可以例如具有用于治疗性放射的放射装置。
在本发明的框架内,关于不同形式的实施例和/或不同权利要求类型(方法、***等)描述的特征可以组合成其他形式的实施例。特别地,关于本发明的方法描述的实施例的特征、优点和形式也被转移到本发明的***、本发明的计算机程序产品和本发明的计算机可读介质,反之亦然。换句话说,也可以用结合方法描述或要求保护的特征来进一步形成装置权利要求。在这种情况下,本发明方法的功能特征也可以通过本发明***的相应实施的部件或模块来实现。不定冠词“一”或“一个”的使用不排除涉及的特征也存在多次。模块可以具有彼此物理分离的多个子模块,并且单元能够具有彼此物理分离的多个子单元。
所描述的方法和所描述的***仅涉及本发明的实施例的(多个)形式。本发明可以由本领域技术人员在不偏离本发明的范围的情况下改变,只要其由权利要求书限定即可。
附图说明
下面将参照基于示例性实施例的附图再次更详细地解释本发明。附图中的表示是示意性的并且大大简化,并且也不是成绝对真实比例的。
在附图中:
图1示出了根据本发明的第一形式的实施例的方法的流程图;
图2示出了根据本发明的第二形式的实施例的***的图;
图3示出了根据本发明的第三形式的实施例的***;
图4示出了根据本发明的第四形式的实施例的方法的流程图;
图5示出了根据本发明的第五形式的实施例的***的图;
图6示出了根据本发明的第六形式的实施例的***;
图7示出了来自第二用户的视野的截面图,其中通过增强现实信息强化了该视野。
具体实施方式
图1示出了根据第一形式的实施例的用于向第一用户U1输出涉及医疗装置2、IT、MD和/或患者13的医学检查的增强现实信息AR的方法的流程图。在步骤R1中,获取从由图像信息、深度信息、坐标信息及其组合构成的组中选择的第一信息,其中第一信息涉及医疗装置2、IT、MD和/或患者13的医学检查。在步骤GA中,基于第一信息创建与医疗装置2、IT、MD和/或患者13的医学检查有关的增强现实信息AR。在步骤D1中,输出增强现实信息AR,使得能够在第一用户U1的视野中感知增强现实信息AR。
图2示出了根据本发明的第二形式的实施例的***1的图。***1被实施为用于向第一用户U1输出与医疗装置2、IT、MD和/或患者13的医学检查有关的增强现实信息AR,并且具有第一获取模块R1-M、创建模块GA-M和第一输出模块D1-M。***1特别地被实施为用于执行根据本发明的第一形式的实施例的方法。特别地,图像信息的检测R1可以通过第一获取模块R1-M来执行,增强现实信息AR的创建GA通过创建模块GA-M来执行,并且增强现实信息AR的输出D1通过第一输出模块D1-M来执行。
图3示出了根据本发明的第三形式的实施例的***1。***1具有第一增强现实装置H1。第一增强现实装置H1被实施为数据眼镜。第一增强现实装置H1具有第一照相机单元C1、第一眼睛跟踪单元E1、第一观察装置V1和第一控制单元N1。第一控制单元N1是第一计算机,特别是第一数字计算机,并且被实施为用于控制第一增强现实装置H1。第一控制单元N1具有第一获取模块R1-M、创建模块GA-M和第一输出模块D1-M。第一控制单元N1具有第一存储单元M1和处理器***。第一存储单元M1被实施为用于加载计算机程序,其中,当在第一控制单元N1上执行计算机程序时,利用该计算机程序执行本发明的方法的步骤。第一获取模块R1-M、创建模块GA-M和第一输出模块D1-M各自以第一控制单元N1的处理器***上的软件的形式实现。可以通过第一照相机单元C1记录图像信息和/或深度信息。可以通过从第一照相机单元C1到第一获取模块R1-M的数据传输来获取图像信息和/或深度信息。第一观察装置V1可以访问第一输出模块D1-M的存储区域,其中,可以通过从第一输出模块D1-M到第一观察装置V1的数据传输来输出增强现实信息。第一眼睛跟踪单元E1被实施为用于获取第一用户U1的眼睛跟踪。这尤其能够相对于图数据集确定第一用户U1的视野的位置和/或方位。以这种方式,可以基于相对于图数据集的位置和/或方位为真实对象(例如患者13)和/或虚拟对象(例如结构标记MI)确定相对于第一用户U1的视野的位置和/或方位。
图4示出了根据第四形式的实施例的用于向第一用户U1输出与医疗装置2、IT、MD和/或患者13的医学检查有关的增强现实信息AR的方法的流程图。在步骤D2中,输出增强现实信息AR,使得能够在第二用户U2的视野中感知增强现实信息AR。在步骤R2中,获取第二用户U2的输入。在这种情况下,基于第二用户U2的输入创建增强现实信息AR。
图5示出了根据本发明的第五形式的实施例的***1的图。***1具有第一获取模块R1-M、创建模块GA-M、第一输出模块D1-M、第二输出模块D2-M和第二获取模块R2-M。***1特别地被实施为用于执行根据本发明的第四形式的实施例的方法。特别地,可以通过第二输出模块D2-M执行增强现实信息AR的输出D2,并且通过第二获取模块R2-M执行第二用户U2的输入的获取R2。
图6示出了根据本发明的第六形式的实施例的***1。***1具有医学成像装置2,医学成像装置2具有由隧道形开口形成的获取区域4。在不限制总体发明思想的情况下,通过示例的方式示出了用于医学成像装置2的计算机断层扫描装置1。
医学成像装置2具有机架20、获取区域4、患者支撑装置10、原始图像数据获取装置26、28以及控制装置30。机架20具有固定的承载框架21和旋转体24。旋转体24被支撑为允许经由旋转支撑装置围绕旋转轴线旋转。获取区域4由机架20中的隧道形开口形成。待成像的对象(特别是患者13)的区域能够布置在获取区域4中。患者支撑装置10具有用于支撑患者13的支撑台11,其中,转移板12相对于支撑台11在支撑台11上可移动地布置,使得转移板12能够在转移板12的纵向方向上被引入到获取区域4中。
原始图像数据获取装置26、28是具有辐射源26(例如,X射线源)和检测器28(例如,X射线检测器)的投影数据获取装置26、28。辐射源26布置在旋转体24上并且被实施为用于发射具有X射线量子27的辐射,例如X射线辐射。检测器28布置在旋转体24上并且被实施为用于X射线量子27的检测。X射线量子27可以从辐射源26到达要被成像的患者13的区域,并且在与要被成像的区域相互作用之后可以撞击检测器28。以这种方式,可以获取要成像的区域的投影数据。由投影数据获取装置26、28获取的投影数据被传输到控制装置30。控制装置30被实施为用于控制医学成像装置2。控制装置30具有图像重建装置34。医学成像数据集可以是基于投影数据的图像重建装置34的重建手段。医学成像装置2被实施为用于提供涉及患者13的结构SP的医学成像数据集。
医学成像装置2被实施为用于提供坐标信息。医学成像装置具有可移动部件12。控制装置30被实施为用于输出与可移动部件12的运动有关的控制命令。在不限制总体发明思想的情况下,示出了用于可移动部件12的转移板12。支撑台11具有驱动单元即电机,电机被实施为用于驱动转移板12的运动。驱动单元被实施为接收控制命令和/或基于控制命令驱动转移板12的运动。控制装置30具有坐标信息提供单元50、建立单元51和运动参数获取单元52。坐标信息提供单元50被实施为用于提供坐标信息。运动参数获取单元52被实施为用于获取与可移动部件12的运动有关的运动参数。建立单元51被实施为基于控制命令和/或基于运动参数建立坐标信息。
医学成像装置2具有输入装置38和输出装置39。输入装置38被实施为输入控制信息,例如图像重建参数和/或检查参数。输出装置39用于输出控制信息和/或图像。
***1具有具有第一控制单元N1的第一增强现实装置H1和具有第二控制单元的第二增强现实装置H2。第二增强现实装置H2被实施为数据眼镜。第二增强现实装置H2的结构和功能基本上对应于第一增强现实装置的结构和功能。代替第一增强现实装置H1的第一获取模块R1-M,第二增强现实装置H2具有第二获取模块R2-M。第二控制单元具有第二输出模块D2-M、第二照相机单元、第二存储单元和第二观察装置V2以代替第一增强现实装置H1的相应部件。本发明的第六形式的实施例提供的创建模块GA-M具有第一创建子模块和第二创建子模块,提供的第一控制单元N1具有第一创建子模块并且提供的第二控制单元具有第二创建子模块。第一控制单元N1、第二控制单元和控制装置30通过数据传输装置彼此连接,特别是无线地彼此连接。特别地,能够通过数据传输装置在第一控制单元N1的模块、第二控制单元的模块和控制装置30之间实现数据传输。通过第一增强现实装置H1和/或通过第二增强现实装置H2对医学成像装置2的控制因此可选地能够被实现。特别地,涉及可移动部件12的运动的控制命令可以通过第一增强现实装置H1和/或通过第二增强现实装置H2被输出。特别地,第一增强现实装置H1和/或第二增强现实装置H2可以具有建立单元51。可选地,控制装置30可以形成创建模块GA-M的第三创建子模块。
第一增强现实装置H1由第一用户U1佩戴。第二增强现实装置H2由第二用户U2佩戴。可选地,第三增强现实装置H3由患者13佩戴。利用第三增强现实装置H3,计划的分步骤和预期的结果可以通过将它们显示给患者13来解释,例如为了介入做好准备,和/或在为了介入做准备的成像期间,能够输出呼吸指令和镇定图像序列(calming sequence ofimages)。
通过第一获取模块R1-M可以获取第一信息,第一信息从由图像信息、深度信息、坐标信息及其组合构成的组中选择,其中第一信息涉及医疗装置2、IT、MD和/或患者13的医学检查。第一信息涉及第一用户U1的视野中的空间区域。空间区域特别地包括介入区域IA。在不限制本发明的总体思想的情况下,医疗成像装置2、检查装置MD和介入工具IT在每种情况下作为用于医疗装置的示例示出。在不限制本发明的总体思想的情况下,通过用于医学检查的示例的方式示出了介入。使用介入工具IT、例如手术刀用于介入。在这种情况下,是介入工具IT相对于患者13的结构SP的正确位置的问题。介入由第一用户U1执行。第二用户U2位于检查室外,医学成像装置2布置在检查室中并且检查室中正在进行介入。***1特别地使得第二用户U2对第一用户U1在介入工具IT相对于患者13的结构SP的正确位置方面的引导成为可能。
图7示出了来自第二用户U2的视野的截面图,其中第二用户U2的视野用增强现实信息AR强化。第一用户U1的视野的部分被示出在第二用户U2的视野中,使得第二用户U2从第一用户U1的视角看到患者13、介入工具IT和转移板12。增强现实信息AR被示出在第二用户U2的视野中,使得第二用户U2从第一用户U1的视角看到增强现实信息AR。
来自图7所示的第二用户U2的视野的截面图因此与来自第一用户U1的视野的相应截面图的不同在于患者13、患者支撑装置10、介入工具IT作为图像和/或作为模型对第二用户U2可见,并且在于第二用户U2的手臂作为图像和/或模型对第一用户U1可见。
基于第一信息,建立与介入工具IT相对于患者13的结构SP的位置相关的检查信息。基于检查信息创建增强现实信息AR,使得增强现实信息AR具有标记EI,标记EI表示介入工具IT的作为下一个运动执行的运动,例如形式为介入工具IT的移动立体表示和/或全息类型的表示的运动。
根据本发明的第六形式的实施例,***1具有检查装置MD。增强现实信息AR基于医学信号(例如由检查装置MD提供的EKG信号)创建,使得增强现实信息AR具有信号输出域DF,其中医学信号在信号输出域DF中显示为定时特性。
在为介入做准备时,通过第一增强现实装置H1自动识别患者13,在于基于患者13的图像,例如借助于生物特征建立患者识别信息。基于患者识别信息,创建增强现实信息AR,使得个人患者数据和与患者13的患病史相关的数据将被显示在患者数据输出域PI中。
将基于第一信息建立患者位置信息。基于患者位置信息创建增强现实信息AR,使得基于患者13的位置确定增强现实信息AR的相对于第一用户U1的视野的位置。特别地,增强现实信息AR被示出在解剖学上正确地覆盖在患者13上。
创建模块GA-M被实施为基于医学成像数据集来创建增强现实信息AR。医学成像数据集涉及患者13的结构SP。结构SP例如可以是患者13的器官。增强现实信息AR具有结构标记MI,结构标记MI标记患者13的结构SP。结构标记MI被示出为在解剖学上正确地覆盖在结构SP上。结构标记MI被设计为使得结构SP的第一部分区域能够通过结构标记MI与结构SP的第二部分区域区分开。在图7中,结构SP的第一部分区域被示出为交叉阴影表面,并且结构SP的第二部分区域被示出为白色表面。例如,第一部分区域可以涉及器官的待移除的一部分和/或第二部分区域涉及器官的剩余部分。以这种方式,第一用户U1和第二用户U2可以快速且精确地识别结构SP的第一部分区域和/或结构SP的第二部分区域。
增强现实信息AR具有标称的位置标记TP,标称的位置标记TP与患者13在转移板12上的标称位置有关。在介入的不同分步骤之后记录的多个医学成像数据集之间的可再现性得到了提高。
增强现实信息AR具有标定的位置标记TT,标定的位置标记TT与介入工具IT的标定位置有关。提供标定位置标记TT在于第二用户U2通过第二增强现实装置H2创建介入工具IT的模型,并将介入工具IT的模型定位在介入工具IT的标定位置。第二增强现实装置H2被实施为识别第二用户U2的手势并且基于手势创建增强现实信息AR。
增强现实信息AR具有区域标记SR,该区域标记SR标记根据用于通过医学成像装置2成像的所选择方案选择的转移板12的区域。因此,针对通过医学成像装置2的成像,区域标记SR还标记对于患者13相对于转移板12的不变位置所选择的患者13的区域。结构标记SP、标定位置标记TP、标定位置标记TT和区域标记SR各自具有立体表示和/或全息类型表示。
参考文献:
[CR06]《Journal of Display Technology》,2006年9月第3期第2卷,OzanCakmakci和Jannick Rolland的“Head-Worn Displays:A Review”。

Claims (32)

1.一种向第一用户(U1)输出增强现实信息(AR)的方法,所述增强现实信息(AR)与医疗装置(2、IT、MD)和/或患者(13)的医学检查有关,其中所述方法包括以下步骤:
-获取(R1)第一信息,所述第一信息选自由图像信息、深度信息、坐标信息及其组合构成的组,其中所述第一信息涉及所述医疗装置和/或所述患者(13)的所述医学检查;
-基于所述第一信息,创建(GA)与所述医疗装置(2、IT、MD)和/或所述患者(13)的医学检查有关的增强现实信息(AR);
-输出(D1)所述增强现实信息(AR),使得所述增强现实信息(AR)能够在所述第一用户(U1)的视野中被感知。
2.根据权利要求1所述的方法,
-其中所述坐标信息通过所述医疗装置(2、IT、MD)提供。
3.根据权利要求1或2所述的方法,
-其中与所述医疗装置(2、IT、MD)的可移动部件的运动有关的控制命令被输出;
-其中所述坐标信息基于所述控制命令而建立。
4.根据权利要求1至3之一所述的方法,
-其中与所述医疗装置(2、IT、MD)的可移动部件的运动有关的运动参数被获取;
-其中所述坐标信息基于所述运动参数而建立。
5.根据权利要求1至4之一所述的方法,
-其中通过所述医疗装置(2、IT、MD)提供医疗数据集;
-其中所述增强现实信息(AR)基于所述医疗数据集而创建。
6.根据权利要求1至5之一所述的方法,
-其中基于所述第一信息建立与所述患者(13)的医学检查有关的检查信息(EI);
-其中所述增强现实信息(AR)基于所述检查信息而创建。
7.根据权利要求1至6中之一所述的方法,
-其中基于所述第一信息建立与所述患者(13)有关的患者信息;
-其中所述增强现实信息(AR)基于所述患者信息而创建。
8.根据权利要求7所述的方法,
-其中所述患者信息选自由以下信息及其组合构成的患者信息组:
-与所述患者(13)的识别有关的患者识别信息,
-与所述患者(13)的生理状态和/或情绪状态有关的患者状态信息,
-与所述患者(13)的位置有关的患者位置信息。
9.根据权利要求1至8之一所述的方法,
-其中提供与所述患者(13)的结构(SP)有关的医疗成像数据集;
-其中所述增强现实信息(AR)基于所述医疗成像数据集而创建。
10.根据权利要求9所述的方法,
-其中所述增强现实信息(AR)具有标记所述患者(13)的结构(SP)的结构标记(SP)。
11.根据权利要求1至10之一所述的方法,
-其中提供与所述患者(13)的标定位置和/或所述医疗装置(2、IT、MD)的标定位置有关的标定位置信息;
-其中所述增强现实信息(AR)基于所述标定位置信息而创建;
-其中所述增强现实信息(AR)具有标记所述患者(13)的标定位置和/或所述医疗装置(2、IT、MD)的标定位置的标定位置标记。
12.根据权利要求1至11之一所述的方法,
-其中提供与所述患者(13)的区域和/或所述医疗装置(2、IT、MD)的区域有关的区域信息,
-其中所述增强现实信息(AR)基于所述区域信息而创建;
-其中所述增强现实信息(AR)具有标记所述患者(13)的区域和/或所述医疗装置(2、IT、MD)的区域的区域标记(SR)。
13.根据权利要求10至12之一所述的方法,
-其中从由所述结构标记(SP)、所述标定位置标记、所述区域标记(SR)及其组合构成的标记组中选择的标记具有立体表示和/或全息类型表示。
14.根据权利要求1至13之一所述的方法,
-其中获取所述第一用户(U1)的输入;
-其中所述增强现实信息(AR)基于所述第一用户(U1)的输入而创建。
15.根据权利要求1至14之一所述的方法,其中,所述方法包括以下步骤:
-输出所述增强现实信息(AR),使得所述增强现实信息(AR)能够在第二用户(U2)的视野中被感知;
-获取所述第二用户(U2)的输入;
-其中所述增强现实信息(AR)基于所述第二用户(U2)的输入而创建。
16.根据权利要求14或15所述的方法,
-其中所述第一用户(U1)的输入是所述第一用户(U1)的手势,和/或其中所述第二用户(U2)的输入是所述第二用户(U2)的手势。
17.根据权利要求11至16之一所述的方法,
-其中所述标定位置信息和/或所述区域信息基于所述第一用户(U1)的输入和/或基于所述第二用户(U2)的输入而建立。
18.根据权利要求1至17之一所述的方法,
-其中选择与所述第一用户(U1)有关的第一用户简档和/或与所述第二用户(U2)相关的第二用户简档;
-其中基于所述第一用户简档(U1)和/或基于所述第二用户简档(U2)来创建所述增强现实信息(AR)。
19.一种用于向第一用户(U1)输出增强现实信息(AR)的***(1),所述增强现实信息(AR)与医疗装置(2、IT、MD)和/或患者(13)的医学检查有关,所述***(1)具有:
-第一获取模块(R1-M),所述第一获取模块(R1-M)被实施为用于获取从由图像信息、深度信息、坐标信息及其组合构成的组中选择的第一信息,其中所述第一信息与所述医疗装置和/或医学检查有关;
-创建模块(GA-M),所述创建模块(GA-M)被实施为用于基于所述第一信息创建与所述医疗装置(2、IT、MD)和/或所述患者(13)的医学检查有关的所述增强现实信息(AR);
-第一输出模块(D1-M),所述第一输出模块(D1-M)被实施为输出所述增强现实信息(AR),使得所述增强现实信息(AR)能够在所述第一用户(U1)的视野中被感知。
20.根据权利要求19所述的***(1),具有所述医疗装置(2、IT、MD)。
21.根据权利要求19或20所述的***(1),
-其中所述医疗装置(2、IT、MD)被实施为提供所述坐标信息。
22.根据权利要求19至21之一所述的***(1),
-其中所述医疗装置(2、IT、MD)具有可移动部件;
-其中所述***(1)具有控制装置(30),所述控制装置(30)实施为输出与所述可移动部件的运动有关的控制命令;
-其中所述***(1)具有建立单元(51),所述建立单元(51)被实施为基于所述控制命令来建立所述坐标信息。
23.根据权利要求19至22之一所述的***(1),
-其中所述医疗装置(2、IT、MD)具有可移动部件和运动参数获取单元;
-其中所述运动参数获取单元(52)被实施为获取与所述可移动部件的运动有关的运动参数;
-其中所述***(1)具有建立单元(51),所述建立单元(51)被实施为基于所述运动参数来建立所述坐标信息。
24.根据权利要求19至23之一所述的***(1),具有所述医疗装置(2、IT、MD),
-其中所述医疗装置(2、IT、MD)被实施为提供医疗数据集;
-其中所述创建模块(GA-M)被实施为基于所述医疗数据集来创建所述增强现实信息(AR)。
25.根据权利要求19至24之一所述的***(1),具有医疗成像装置(2),
-其中所述医疗成像装置(2)被实施为提供与所述患者(13)的结构(SP)有关的医疗成像数据集;
-其中所述创建模块(GA-M)被实施为基于所述医疗成像数据集来创建所述增强现实信息(AR)。
26.根据权利要求19至25之一所述的***(1),具有:
-第二输出模块(D2-M),所述第二输出模块(D2-M)被实施为输出所述增强现实信息(AR),使得所述增强现实信息(AR)能够在第二用户(U2)的视野中被感知;
-第二获取模块(R2-M),所述第二获取模块(R2-M)被实施为获取所述第二用户(U2)的输入;
-其中所述创建模块(GA-M)被实施为基于所述第二用户(U2)的输入来创建所述增强现实信息(AR)。
27.根据权利要求19至26之一所述的***(1),具有第一增强现实装置(H1),所述第一增强现实装置(H1)具有第一获取模块(R1-M)和/或所述第一输出模块。
28.根据权利要求26或27所述的***(1),具有第二增强现实装置(H2),所述第二增强现实装置(H2)具有第二获取模块(R2-M)和/或所述第二输出模块(D2-M)。
29.根据权利要求19至28之一所述的***(1),具有用户简档选择模块,所述用户简档选择模块被实施为选择与第一用户(U1)有关的第一用户简档和/或选择与第二用户(U2)有关的第二用户简档,其中所述创建模块(GA-M)被实施为基于所述第一用户简档(U1)和/或基于所述第二用户简档(U2)来创建所述增强现实信息(AR)。
30.根据权利要求19至29之一所述的***(1),所述***(1)被实施为执行根据权利要求1至18之一所述的方法。
31.一种计算机程序产品,所述计算机程序产品包括计算机程序,其中所述计算机程序能够被加载到计算机的存储装置中,其中当所述计算机程序在所述计算机上执行时,利用所述计算机程序来执行根据权利要求1至18之一所述的方法的步骤。
32.一种计算机可读介质,所述计算机可读介质上存储有计算机程序,其中所述计算机程序能够被加载到计算机的存储装置中,其中当所述计算机程序在所述计算机上执行时,利用所述计算机程序来执行根据权利要求1至18之一所述的方法的步骤。
CN201611209580.0A 2015-12-23 2016-12-23 用于输出增强现实信息的方法和*** Active CN106909771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910496334.5A CN110148453A (zh) 2015-12-23 2016-12-23 用于输出增强现实信息的方法和***

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015226669.9A DE102015226669B4 (de) 2015-12-23 2015-12-23 Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
DE102015226669.9 2015-12-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910496334.5A Division CN110148453A (zh) 2015-12-23 2016-12-23 用于输出增强现实信息的方法和***

Publications (2)

Publication Number Publication Date
CN106909771A true CN106909771A (zh) 2017-06-30
CN106909771B CN106909771B (zh) 2019-07-05

Family

ID=59010637

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611209580.0A Active CN106909771B (zh) 2015-12-23 2016-12-23 用于输出增强现实信息的方法和***
CN201910496334.5A Pending CN110148453A (zh) 2015-12-23 2016-12-23 用于输出增强现实信息的方法和***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910496334.5A Pending CN110148453A (zh) 2015-12-23 2016-12-23 用于输出增强现实信息的方法和***

Country Status (3)

Country Link
US (3) US10366489B2 (zh)
CN (2) CN106909771B (zh)
DE (1) DE102015226669B4 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102874A (zh) * 2018-08-06 2018-12-28 百度在线网络技术(北京)有限公司 基于ar技术的医疗处理方法、装置、设备和存储介质
CN109464757A (zh) * 2018-12-29 2019-03-15 上海联影医疗科技有限公司 一种确定目标对象位置的方法、***、装置及存储介质
CN110164531A (zh) * 2018-02-13 2019-08-23 西门子医疗有限公司 用于显示三维医学影像信息的方法
CN110520932A (zh) * 2018-01-26 2019-11-29 外科手术室公司 用于患者参与的***和方法
CN111433711A (zh) * 2017-11-07 2020-07-17 皇家飞利浦有限公司 设备的增强现实触发
CN111511270A (zh) * 2017-12-13 2020-08-07 光学技术注册协会莱布尼兹研究所 与成像和激光测量结合的检查
CN112384970A (zh) * 2018-03-28 2021-02-19 云诊断特拉华州股份有限公司 用于时间要求严格的生物医学应用的增强现实***
CN112542248A (zh) * 2020-11-30 2021-03-23 清华大学 一种头盔及增强现实投影方法
CN113038902A (zh) * 2018-11-14 2021-06-25 任昇俊 利用扩增实境的手术辅助装置
CN113180593A (zh) * 2020-01-29 2021-07-30 西门子医疗有限公司 显示设备
CN113724398A (zh) * 2021-09-01 2021-11-30 北京百度网讯科技有限公司 增强现实方法、装置、设备以及存储介质
US12023109B2 (en) 2021-05-21 2024-07-02 Stryker European Operations Limited Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955481B1 (fr) 2010-01-27 2013-06-14 Tornier Sa Dispositif et procede de caracterisation glenoidienne d'une omoplate a protheser ou a resurfacer
US11100327B2 (en) 2014-05-15 2021-08-24 Fenwal, Inc. Recording a state of a medical device
US10235567B2 (en) * 2014-05-15 2019-03-19 Fenwal, Inc. Head mounted display device for use in a medical facility
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
DE102016210131B4 (de) * 2016-06-08 2023-03-09 Siemens Healthcare Gmbh Positionieren eines Untersuchungsobjekts für ein Bildgebungsverfahren
US10412377B2 (en) * 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
EP3571698A1 (en) * 2017-01-17 2019-11-27 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
CN111010865B (zh) 2017-02-24 2023-07-25 梅西莫股份有限公司 用于显示医疗监测数据的***
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
US10635930B2 (en) * 2017-02-24 2020-04-28 Siemens Healthcare Gmbh Patient position control for scanning
US10969583B2 (en) * 2017-02-24 2021-04-06 Zoll Medical Corporation Augmented reality information system for use with a medical device
DE102017203333A1 (de) * 2017-03-01 2018-09-06 Siemens Healthcare Gmbh Verfahren zur Überprüfung eines medizinischen Bildes und Verfahren zur Anpassung eines Untersuchungsprotokolls während einer medizinischen Bildgebungsuntersuchung
US11443431B2 (en) * 2017-03-22 2022-09-13 Brainlab Ag Augmented reality patient positioning using an atlas
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
NL2019059B1 (en) * 2017-06-13 2018-12-19 Maritime Medical Applications B V Wireless communication system for remote medical assistance
DE102017215074A1 (de) 2017-08-29 2019-02-28 Siemens Healthcare Gmbh Verfahren und Auswahleinheit zum Auswählen eines virtuellen Objekts oder eines Bildparameterwerts
CN109464153B (zh) * 2017-09-08 2022-09-20 通用电气公司 辐射成像***及其控制方法
EP3700457A4 (en) * 2017-10-23 2021-11-17 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTATION OF AUGMENTED REALITY ON A DISPLAY OF A TELEOPERATION SYSTEM
DE102017220500B4 (de) * 2017-11-16 2024-07-18 Siemens Healthineers Ag System und Verfahren zur Unterstützung einer medizinischen Maßnahme
US11179200B2 (en) * 2017-12-15 2021-11-23 Medtronic, Inc. Augmented reality solution to disrupt, transform and enhance cardiovascular surgical and/or procedural mapping navigation and diagnostics
US11823124B2 (en) 2017-12-22 2023-11-21 Trueview Logistics Technology Llc Inventory management and delivery through image and data integration
US11177036B2 (en) 2017-12-22 2021-11-16 Trueview Logistics Technology Llc Inventory management through image and data integration
EP3737322A4 (en) * 2018-01-10 2021-09-01 Covidien LP GUIDANCE FOR THE PLACEMENT OF SURGICAL ORIFICES
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US10360735B1 (en) 2018-05-30 2019-07-23 Noble Systems Corporation Providing technical support in an augmented reality environment
WO2019245851A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Virtual guidance for ankle surgery procedures
US20200000442A1 (en) * 2018-06-28 2020-01-02 General Electric Company System and method for selecting a patient position and an equipment configuration for a medical procedure
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN110051434A (zh) * 2019-04-25 2019-07-26 厦门强本科技有限公司 Ar与内窥镜结合手术导航方法及终端
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11461929B2 (en) * 2019-11-28 2022-10-04 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for automated calibration
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US10976806B1 (en) * 2019-12-27 2021-04-13 GE Precision Healthcare LLC Methods and systems for immersive reality in a medical environment
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
JP2023516522A (ja) * 2021-01-28 2023-04-20 ブレインラボ アーゲー 拡張現実における医療用ビューの配置
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
DE102021206761A1 (de) 2021-06-29 2022-12-29 Siemens Healthcare Gmbh Vorrichtung, System und Verfahren zur Unterstützung eines Vorgangs einer Bildgebungsuntersuchung
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
DE102022200926A1 (de) 2022-01-27 2023-07-27 Siemens Healthcare Gmbh Extraktion physiologischer Daten aus EKG-Rohdaten im Rahmen einer Magnetresonanz-Bildgebung
CN114745523A (zh) * 2022-02-22 2022-07-12 清华大学 基于增强现实的手术麻醉患者辅助监控***及方法
EP4364668A1 (en) * 2022-11-03 2024-05-08 Koninklijke Philips N.V. A device, computer program product and method for assisting in positioning at least one body part of a patent for an x-ray acquisition

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
US20110238079A1 (en) * 2010-03-18 2011-09-29 SPI Surgical, Inc. Surgical Cockpit Comprising Multisensory and Multimodal Interfaces for Robotic Surgery and Methods Related Thereto
CN103226817A (zh) * 2013-04-12 2013-07-31 武汉大学 一种基于透视投影的体表静脉图像增强现实方法及装置
WO2015164402A1 (en) * 2014-04-22 2015-10-29 Surgerati, Llc Intra-operative medical image viewing system and method

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002029700A2 (en) * 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20060184003A1 (en) * 2005-02-03 2006-08-17 Lewin Jonathan S Intra-procedurally determining the position of an internal anatomical target location using an externally measurable parameter
BRPI0908290A2 (pt) 2008-05-09 2015-07-21 Koninkl Philips Electronics Nv "sistema de apoio à decisão clínica baseado em diretrizes (cdss)"
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
US9123155B2 (en) * 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
EP2769270B1 (en) * 2011-10-20 2018-09-19 Koninklijke Philips N.V. Holographic user interfaces for medical procedures
DE102012209190A1 (de) 2012-05-31 2013-12-05 Siemens Aktiengesellschaft Verfahren zu einer Erfassung von Informationen wenigstens eines auf einer Patientenlagerungsvorrichtung angeordneten Objekts in einer medizinischen Bildgebungsvorrichtung sowie eine medizinische Bildgebungsvorrichtung zur Durchführung des Verfahrens
US10176635B2 (en) 2012-06-28 2019-01-08 Microsoft Technology Licensing, Llc Saving augmented realities
US20140027576A1 (en) * 2012-07-25 2014-01-30 Planet Labs Inc. Earth Observation Constellation Methodology & Applications
US20140098226A1 (en) 2012-10-08 2014-04-10 Google Inc. Image capture component on active contact lens
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US9063330B2 (en) 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP3126896A1 (en) 2014-03-28 2017-02-08 Alma Mater Studiorum - Università di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
WO2015161307A1 (en) 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR102324192B1 (ko) 2014-10-13 2021-11-09 삼성전자주식회사 의료 영상 장치 및 그 제어 방법
BR112017018874A2 (pt) * 2015-03-01 2018-04-17 Aris Md Inc método de facilitamento de um procedimento em relação a um domínio morfológico, sistema, e, meio legível por máquina não transitório
DE102015208804A1 (de) * 2015-05-12 2016-11-17 Siemens Healthcare Gmbh Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen
US20170119329A1 (en) * 2015-10-28 2017-05-04 General Electric Company Real-time patient image overlay display and device navigation system and method
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
US20110238079A1 (en) * 2010-03-18 2011-09-29 SPI Surgical, Inc. Surgical Cockpit Comprising Multisensory and Multimodal Interfaces for Robotic Surgery and Methods Related Thereto
CN103226817A (zh) * 2013-04-12 2013-07-31 武汉大学 一种基于透视投影的体表静脉图像增强现实方法及装置
WO2015164402A1 (en) * 2014-04-22 2015-10-29 Surgerati, Llc Intra-operative medical image viewing system and method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111433711A (zh) * 2017-11-07 2020-07-17 皇家飞利浦有限公司 设备的增强现实触发
CN111511270A (zh) * 2017-12-13 2020-08-07 光学技术注册协会莱布尼兹研究所 与成像和激光测量结合的检查
CN110520932A (zh) * 2018-01-26 2019-11-29 外科手术室公司 用于患者参与的***和方法
CN110164531A (zh) * 2018-02-13 2019-08-23 西门子医疗有限公司 用于显示三维医学影像信息的方法
CN112384970A (zh) * 2018-03-28 2021-02-19 云诊断特拉华州股份有限公司 用于时间要求严格的生物医学应用的增强现实***
CN109102874A (zh) * 2018-08-06 2018-12-28 百度在线网络技术(北京)有限公司 基于ar技术的医疗处理方法、装置、设备和存储介质
CN113038902A (zh) * 2018-11-14 2021-06-25 任昇俊 利用扩增实境的手术辅助装置
CN113038902B (zh) * 2018-11-14 2022-03-11 任昇俊 利用扩增实境的手术辅助装置
CN109464757A (zh) * 2018-12-29 2019-03-15 上海联影医疗科技有限公司 一种确定目标对象位置的方法、***、装置及存储介质
CN113180593A (zh) * 2020-01-29 2021-07-30 西门子医疗有限公司 显示设备
CN112542248A (zh) * 2020-11-30 2021-03-23 清华大学 一种头盔及增强现实投影方法
US12023109B2 (en) 2021-05-21 2024-07-02 Stryker European Operations Limited Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system
CN113724398A (zh) * 2021-09-01 2021-11-30 北京百度网讯科技有限公司 增强现实方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
DE102015226669B4 (de) 2022-07-28
CN106909771B (zh) 2019-07-05
US20190333213A1 (en) 2019-10-31
DE102015226669A1 (de) 2017-06-29
US20170186157A1 (en) 2017-06-29
US20210042919A1 (en) 2021-02-11
US10846851B2 (en) 2020-11-24
US10366489B2 (en) 2019-07-30
US11694328B2 (en) 2023-07-04
CN110148453A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN106909771B (zh) 用于输出增强现实信息的方法和***
US11195340B2 (en) Systems and methods for rendering immersive environments
CN109419524B (zh) 医学成像***的控制
JP6932810B2 (ja) 診断支援装置、診断支援システム、情報処理方法、及びプログラム
US10977866B2 (en) Output of position information of a medical instrument
JP6334821B2 (ja) 医用イメージングのために患者をポジショニングするためのガイドシステム
CN105992996B (zh) 外科手术环境中的动态和交互式导航
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
US20180168730A1 (en) System and method for medical procedure planning
CN107296650A (zh) 基于虚拟现实和增强现实的智能手术辅助***
TW201717837A (zh) 強化實境之外科導航
CN111770735B (zh) 手术仿真信息生成方法及程序
CN101176683A (zh) 人体立体解剖图象的制作方法与应用
Cameron et al. Virtual-reality-assisted interventional procedures.
Buettner et al. A Systematic Literature Review of Computer Support for Surgical Interventions
Cercenelli et al. Augmented Reality in Orthognathic Surgery: A Multi-Modality Tracking Approach to Assess the Temporomandibular Joint Motion
Raposio et al. An “augmented-reality” aid for plastic and reconstructive surgeons
EP4181789B1 (en) One-dimensional position indicator
Musienko et al. METHODICAL DEVELOPMENT AND EVALUATION OF USING ADDITIVE MANUFACTURING FOR CREATING NEUROSURGICAL 3D MODELS FOR OPERATIVE PREPARATION AND PROFESSIONAL TRAININGS IN MEDICINE
Nowinski Virtual reality in brain intervention
WO2022256670A1 (en) Systems, methods, and media for presenting biophysical simulations in an interactive mixed reality environment
Chen et al. Design of a Surgical Human-Machine Natural Interaction Assistance System based on Holographic Reality
Nowinski The future of imaging in orbital disease
CN112215961A (zh) 一种基于3d人脑模型的手术辅助***及方法
Foo et al. Isis: Patient Data Visualization and Surgical Planning in an Interactive Virtual Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant