CN115398311A - 头戴式可视化*** - Google Patents

头戴式可视化*** Download PDF

Info

Publication number
CN115398311A
CN115398311A CN202180018008.9A CN202180018008A CN115398311A CN 115398311 A CN115398311 A CN 115398311A CN 202180018008 A CN202180018008 A CN 202180018008A CN 115398311 A CN115398311 A CN 115398311A
Authority
CN
China
Prior art keywords
visualization system
head
image
designed
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180018008.9A
Other languages
English (en)
Inventor
C.豪格
C.谢弗
S.索尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102020202624.6A external-priority patent/DE102020202624A1/de
Priority claimed from DE102020131029.3A external-priority patent/DE102020131029A1/de
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Publication of CN115398311A publication Critical patent/CN115398311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Liquid Crystal (AREA)
  • Polarising Elements (AREA)
  • Eyeglasses (AREA)

Abstract

本发明涉及一种头戴式可视化***，该头戴式可视化***具有：穿戴***；至少一个透光光学***；图像生成装置，该图像生成装置被设计成基于被供应给该图像生成装置的图像数据而生成图像信息，其中，该光学***被设计成将由该图像生成装置生成的图像信息供应给穿戴该可视化***的人；以及偏振单元，该偏振单元被设计成对在两个空间区域中不同地穿透该光学***的光进行偏振。本发明进一步涉及具有这种头戴式可视化***的手术可视化***以及用于手术环境的可视化方法。

Description

头戴式可视化***
本发明涉及一种头戴式可视化***、一种具有头戴式可视化***的手术可视化***以及用于在手术环境中可视化的方法。
在显微外科手术中，手术显微镜用于手术部位的放大可视化。除了放大之外，立体感对于手术的成功也至关重要。多年来，模拟手术显微镜一直通过立体光学器件和目镜观察来满足这些要求。除了目镜观察之外，一些现代手术显微镜还借助于立体监视器来提供数字3D可视化。
除了立体监视器之外，所谓的臂架***和头戴式显示器(HMD)也被考虑用于立体视频图像数据的可视化。臂架***是基本上由两个微显示器和两个目镜组成并且安装在支架上的紧凑型数字目镜。相比之下，HMD是头戴式***，并且有两种变型：VR-HMD完全遮挡真实环境，并且通过微显示器来显示数字3D数据。相比之下，AR-HMD实现了真实环境的视图，并允许增强在真实世界上以空间固定的叠加呈现的数字内容。例如，可以从Magic Leap获得对应的AR-HMD。
然而，HMD尚未或几乎从未用于显微外科手术目前有两个原因：
对所谓的“手术用例”(即，手术部位的图像数据在手术期间向外科医生的呈现)的图像质量要求是非常高的，并且不能通过当前HMD来满足。这归因于以下事实：HMD需要极轻且紧凑，这意味着必须在图像质量方面做出妥协。这也归因于以下事实：对于典型的消费者应用来说，对高图像质量的要求是不必要的。
对于当今的HMD，上述手术用例需要对应于VR模式的操作，这是因为外科医生必须能够以最佳的立体方式感知手术部位。然而，许多应用要求HMD在AR模式下操作：例如，在手术开始时，将开颅手术的部位直接叠加在患者的颅骨上是有帮助的。HMD还应使外科医生能够观察真实环境，例如，观察具有器械的无菌台。因此，刚刚提到的用例使得可以在AR与VR模式之间切换的HMD显得很有必要。目前可用的HMD中没有一个具有这种技术，其在VR模式下的图像质量甚至远远不够。这是迄今为止显微外科手术中没有使用或几乎没有使用任何HMD的第二个原因。
本发明旨在提供一种基本上适用于显微外科手术的头戴式可视化***。本发明还旨在提供一种具有头戴式可视化***的手术可视化***以及用于使用头戴式可视化***在手术环境中可视化的方法。
前述目的通过具有权利要求1的特征的头戴式可视化***、以及具有权利要求10的特征的手术可视化***以及具有权利要求20的特征的可视化方法来实现。根据从属权利要求的特征，有利的实施例显而易见。
头戴式可视化***的实施例具有：
·穿戴***，
·至少一个透光光学***，
·图像生成装置，该图像生成装置被设计成基于被供应给该图像生成装置的图像数据而生成图像信息，
·其中，该光学***被设计成将由该图像生成装置生成的图像信息供应给穿戴该可视化***的人，以及
·偏振单元，该偏振单元被设计成对在两个空间区域中不同地穿透该光学***的光进行偏振。
本发明基于结合立体监视器使用常规AR-HMD的基本理念。因此，偏振单元被调适成使得当通过HMD的光学***观看时，用户可以立体地正确感知呈现在具有HMD的立体监视器上的图像。出于此目的，偏振单元可以被设计成与立体监视器的偏振器相互作用。
透光光学***可以被固持或可被固持在穿戴***上，或者可以布置在穿戴***上或集成在穿戴***中。
图像生成装置可以集成在穿戴***中，或者被固持或可被固持在穿戴***上，或者布置在穿戴***上。
此外，光学***可以被设计成在其被固持在穿戴***上的状态下，将由同样被固持在穿戴***上或者集成在其中的图像生成装置生成的图像信息供应给穿戴可视化***的人。
偏振单元可以被固持或可被固持在穿戴***上，或者可以布置在穿戴***上或集成在穿戴***中。
在一个实施例中，偏振单元被设计成使得它可以被移除和固持在穿戴***上。在此实施例中，如果由偏振单元引起的光衰减干扰了用户，那么所述用户可以在没有偏振单元的情况下使用可视化***。
在进一步的实施例中，偏振单元和透光光学***被固持在穿戴***上，以使得它们可以彼此互换。在此实施例中，如果用户不需要增强信息，那么他们可以可选地仅使用偏振单元，或者如果他们希望增强但不需要呈现在立体监视器上的图像的立体感知，那么仅使用光学***。在第三变型中，如果用户希望立体感知呈现在立体监视器上的图像并且还希望接收附加的增强信息，那么他们可以使用光学***与偏振单元两者。
进一步的实施例具有用于左眼的第一透光光学***和用于右眼的第二透光光学***。在此实施例中，偏振单元可以具有位于第一光学***的上游的第一偏振器和位于第二光学***的上游的第二偏振器。
在一个实施例中，偏振单元被设计成在彼此垂直的方向上对在两个不同表面区域中穿透光学***的光进行偏振。相互垂直的偏振方向可以是例如相互垂直的线性偏振方向或相互正交的圆偏振方向，即右旋圆和左旋圆。
根据另一实施例，偏振单元包括线性偏振滤光器和λ/4波片，其中λ/4波片在用户的第一只眼睛的方向上布置在线性偏振滤光器的上游，即，在可视化***被戴在头上时，λ/4波片被布置成比线性偏振滤光器远离眼睛。取决于λ/4波片的快轴相对于后续线性偏振滤光器的对准的取向，偏振单元可以被设计成透射具有左旋圆偏振或右旋圆偏振的光，其中光在穿过线性偏振滤光器之后具有线性偏振。
在进一步的实施例中，光学***的光学透射可以受控方式切换或变化。特别地，光学***的光学透射可以是可在不同表面区域中不同地变化的。在此实施例中，通过针对不同光学透射而切换光学***的不同表面区域，光学透射可以适应于环境条件。例如，可以在用户感知增强信息的视场区域中减少光学透射，以使得增强信息可在明亮环境光下容易被感知。另一方面，在用户感知立体显示的视场区域中，可以将光学透射切换到特别高。
具有可切换光学透射的对应层可以例如类似于LCD显示器来实施，或者作为可逐个像素地控制的电致变色层来实施。
借助于光衰减器，光学***的光学透射可以是可以受控方式切换或变化的。出于此目的，偏振滤光器布置在偏振单元中，并且光衰减器布置在光学***中。此处，光衰减器在朝向眼睛的光方向上布置在偏振滤光器的下游。将光衰减器布置在偏振器的下游使得能够遮挡自然视场的部分区域，而不会影响在两个空间区域中不同地穿透立体感知所需的光学***的偏振光的性质。
光衰减器可以具有可控液晶层。液晶层可以包括一个或多个可独立控制的液晶像素或液晶片段。以这种方式，可以影响液晶层的不同点对入射光的影响。
光衰减器可以具有输出线性偏振滤光器和输入线性偏振滤光器。在示例性实施例中，光衰减器的输入偏振滤光器可以与偏振单元的线性偏振滤光器相同。以这种方式，如果需要，可以省略光学***的光学元件。这使得可以较容易地设计头戴式可视化***，并且可能地将其以较有成本效益的方式生产。
液晶层可以被配置成将由图像生成装置生成的图像信息供应给穿戴可视化***的人。例如，可以不同地控制液晶像素，以便向头戴式可视化***的用户显示附加参数。
头戴式可视化***可以包括用于将由图像生成装置生成的图像信息供应给穿戴可视化***的人的反射镜，其中反射镜在朝向用户的第一只眼睛的光方向上布置在光衰减器的下游，即，在可视化***被戴在人的头部上的状态下，光衰减器被定位成比反射镜远离眼睛。
还可以想到设置波导，以便将由图像生成装置生成的图像信息供应给穿戴可视化***的人，其中波导在朝向用户的第一只眼睛的光方向上布置在光衰减器的下游，即，在可视化***被戴在人的头部上时，光衰减器被布置成比波导远离眼睛。结果，光衰减器可以使得较容易感知所显示的图像信息，尤其是在非常明亮的环境中。
头戴式可视化***可以特别适合在外科手术期间使用。特别地，头戴式可视化***可以被设计的方式为使得它可以在外科手术后容易消毒。此外，由于消除了在头戴式可视化***本身中生成立体图像的需要，所提出的头戴式可视化***可以被制造得较轻。因此，该头戴式可视化***可以相比已知的头戴式可视化***具有更低的能量消耗，并且在相同电池容量的情况下可以因此提供操作期间更长时间的使用或者更轻的头戴式可视化***。
手术可视化***的一个实施例包含：如本专利申请所述的头戴式可视化***；具有图像记录装置的手术显微镜或内窥镜；以及被设计成用于立体再现用图像记录装置记录的图像信息的立体监视器。
手术可视化***可以具有控制装置，该控制装置被设计成将图像数据供应给图像生成装置。
在进一步的实施例中，头戴式可视化***具有眼睛***，并且控制装置被设计成根据来自眼睛***的输出数据来控制供应给图像生成装置的图像数据。
在进一步的实施例中，头戴式可视化***具有麦克风，并且控制装置被设计成根据用麦克风记录的声学信息来控制手术显微镜。
在进一步的实施例中，头戴式可视化***具有麦克风，并且控制装置被设计成根据用麦克风记录的声学信息来控制供应给图像生成装置的图像数据。
在进一步的实施例中，头戴式可视化***具有用于确定头戴式可视化***的空间对准的改变的陀螺仪传感器，并且控制装置被设计成根据来自陀螺仪传感器的输出数据来控制手术显微镜。
在进一步的实施例中，头戴式可视化***具有用于确定头戴式可视化***的空间对准的改变的陀螺仪传感器，并且控制装置被设计成根据来自陀螺仪传感器的输出数据来控制供应给图像生成装置的图像数据。
在进一步的实施例中，光学***的光学透射可在不同表面区域中不同地切换，并且控制装置被设计成在由图像生成装置生成的图像信息被供应给穿戴可视化***的人的表面区域中减少光学***的光学透射。
在进一步的实施例中，头戴式可视化***具有相机，并且控制装置被设计成通过图像识别来确定立体监视器相对于头戴式可视化***的位置的位置。在此实施例中，光学***的光学透射可以是可在不同表面区域中不同地切换的，并且控制装置可以被设计成根据立体监视器相对于头戴式可视化***的位置的位置来控制光学***的光学透射。
一种用于在手术环境中可视化的方法包括以下步骤：在立体监视器上呈现操作区域的图像，
通过具有偏振滤光器的头戴式可视化***来观察呈现在立体监视器上的图像，以及
通过头戴式可视化***来提供附加的增强信息。
在可视化方法的一个实施例中，头戴式可视化***生成控制数据，并且呈现在立体监视器上的增强信息和/或图像信息和/或电动支架的移动和/或手术显微镜的功能根据由可视化***生成的控制数据而受到控制。
在该方法的一个实施例中，头戴式可视化***的传感器之间的分派或者传感器的输出信号以及将经由头戴式可视化***提供的增强信息可以是可由用户配置的。
下文参照附图更详细地解释可视化***和具有可视化***的手术工作站，在附图中：
图1：示出了头戴式可视化***的实施例的示意图；
图2：示出了用于可视化***中的光学***的具有光衰减器的偏振单元的实施例的示意图；
图3：示出了用于可视化***中的光学***的具有光衰减器的偏振单元的第二实施例的示意图；
图4：示出了用于可视化***中的光学***的具有光衰减器的偏振单元的第三实施例的示意图；
图5：示出了用于可视化***中的光学***的具有光衰减器的偏振单元的第四实施例的示意图；
图6：示出了用于可视化***中的光学***的具有光衰减器的偏振单元的第五实施例的示意图；以及
图7：示出了具有可视化***的手术工作站的示意图。
图1中的可视化***基本上基于所谓的增强现实眼镜(AR眼镜)或所谓的增强现实头戴式显示器(AR-HMD)。该***具有穿戴***1，该穿戴***在图1中被示出为具有左右耳钩1a、1b的眼镜架。具有光学***6、7的模块11被固持在穿戴***1上。光学***6、7对可见光谱范围中的光是至少部分透明的。
例如微显示器形式的图像生成装置2集成在穿戴***1中或者布置在其上。图像生成装置2可以经由无线接口15(例如，蓝牙接口或WLAN接口)由控制计算机16来控制和提供要呈现的图像数据。用图像生成装置2再现的图像信息经由透镜3和偏转反射镜4在光学***6、7的侧表面的方向上被引导。光学***6、7具有内部衍射结构和所谓的波导元件(未示出)，其使由图像生成装置2生成并在戴着可视化***的头部的眼睛R的方向(观察方向轴线5)上耦合到光学***6、7中的图像信息偏转，并使该图像信息从光学***6、7中耦合出。
光学***6、7具有可切换涂层6a、7a，借助于该可切换涂层，光学***6、7的光学透射是可切换的。此处，涂层被设计的方式为使得光学***的光学透射可在光学***的横向于观察方向轴线5的不同表面区域中被不同地设定。例如，这可以在用户看到由图像生成装置生成的图像信息叠加在穿过光学***的环境光上的表面区域中减少光学***6、7的透射。结果，由图像生成装置生成的图像信息也可以在明亮的环境中被良好地感知到。
此外，可视化***具有进一步的模块10(偏振单元)，该模块具有两个偏振滤光器8、9。由其中一个偏振滤光器8透射的环境光的偏振方向被偏振成垂直于穿过另一偏振滤光器的环境光的偏振方向。这在图1中由两个箭头18、19指示。偏振滤光器的偏振方向18、19被调整到立体监视器(图1中未示出)的偏振方向，以使得布置在穿戴可视化***的用户的左眼L之前的第一偏振滤光器8仅透射或者基本上仅透射立体监视器的旨在用于左眼L的光，并且使得布置在穿戴可视化***的用户的右眼R之前的第二偏振滤光器9仅透射或基本上仅透射立体监视器的旨在用于右眼R的光。
具有光学***6、7的模块11和具有偏振滤光器的模块10可以替代地或组合地选择性地添加到穿戴***1，结果是用户可以选择仅使用偏振滤光器模块10、仅使用具有光学***6、7的模块11还是同时使用两个模块10、11并且依次前后布置来工作。
穿戴***1还具有多个进一步的传感器，特别是前向相机12、固持在穿戴***上或集成到穿戴***1中的麦克风13、眼睛***17和陀螺仪传感器14。穿戴***1在空间中的旋转和倾斜移动可以用陀螺仪传感器14来确定，并且可以生成表征这种旋转和倾斜移动的输出数据。利用眼睛***17可以捕获穿戴可视化***的用户的眼睛的移动，并且可以生成表征此眼睛移动的输出数据。由相机12、麦克风13、眼睛***17和陀螺仪传感器14生成的输出数据可以经由无线接口15传输到控制计算机。
图1所示的实施例具有两个光学***6、7，第一个被分派给穿戴可视化***的用户的左眼，第二个被分派给右眼。相比之下，在替代实施例中，可以仅存在单一光学***，该单一光学***覆盖穿戴可视化***的用户的双眼的视场。
图1所示的实施例仅具有单一图像生成装置2，并且用图像生成装置2再现的图像信息仅呈现给单眼R。在替代实施例中，用图像生成装置2再现的图像信息也可以同时呈现给双眼。在这种情况下，由图像生成装置生成的光的一部分可以耦合到一个光学***6中，并且由图像生成装置2生成的光的另一部分可以耦合到另一光学***7中。在这种情况下，两个光学***必须具有集成的衍射结构和波导元件，以便将耦合到光学***中的光引导到与此光学***相关联的眼睛。
在进一步的替代实施例中，也可以设置两个图像生成装置，其中一个图像生成装置将其生成的光耦合到两个光学***中的第一光学***中，并且另一个图像生成装置将其生成的光耦合到另一第二光学***中。
图2更详细地示出了头戴式可视化***的元件。头戴式可视化***具有分派给用户1002的第一只眼睛的第一光学通道3100，以及分派给用户1002的第二只眼睛的第二光学通道3200。屏幕1003可以同时呈现具有第一偏振和第二偏振的图像。例如，第一偏振可以是竖直偏振(如图2中由指向上的箭头表示)以及水平偏振(如图2中由圆表示)。头戴式可视化***具有在第一光学通道3100中的第一偏振器3110，并且具有在第一偏振器3110与用户1002的眼睛之间的第一光衰减器3120。第一偏振器3110包括仅允许竖直偏振的光通过的第一线性偏振滤光器3111。第一光衰减器3120具有第一输入偏振滤光器3121和第一输出偏振滤光器3123。具有多个可单独控制的液晶像素或液晶片段(未示出)的第一液晶层3122布置在第一输入偏振滤光器3121与第一输出偏振滤光器3123之间。第一液晶层3122引起竖直偏振的旋转，结果是穿过液晶层的光在第一液晶层的下游具有竖直偏振和水平偏振的线性组合。在这种情况下，可以通过适当地控制第一液晶层3122的像素或片段来改变旋转角度。第一输出偏振滤光器3123确保只有竖直偏振的光被透射。因此，第一液晶层3122结合第一输入偏振滤光器3121和第一输出偏振滤光器3123引起光衰减。
类似地，第二光学通道3200包括具有第二线性偏振滤光器3211的第二偏振器3210和具有第二输入偏振滤光器3221、第二液晶层3222和第二输出偏振滤光器3223的第二光衰减器3210。相比于第一通道3100，第二通道3200仅透射水平偏振的光。因此，发生通道分离，这允许头戴式可视化***的用户立体感知由屏幕1003显示的图像。
图3示出了具有第一通道4100和第二通道4200的进一步的部分透光光学***。第一通道具有第一偏振器4110和布置在其后的第一光衰减器4120。因此，第一偏振器4110的线性偏振滤光器4111与第一光衰减器4120的输入偏振滤光器相同，即，第一偏振器4110的线性偏振滤光器4111同时形成第一光衰减器4120的输入偏振滤光器。第一光衰减器4120进一步具有第一液晶层4122和第一输出偏振滤光器4123。
第一通道4100又基本上透射竖直偏振的光。该光学***进一步具有第二通道4200，该第二通道具有第二偏振器4210和第二光衰减器4220。第二偏振器4210的线性偏振滤光器4211又与第二光衰减器4220的输入偏振滤光器相同，即，第二偏振器4210的线性偏振滤光器4211也同时形成第二通道中的第二光衰减器4220的输入偏振滤光器。第二光衰减器4220另外具有第二液晶层4222和第二输出偏振滤光器4223。相比于第一通道4100，第二通道4200基本上仅透射水平偏振的光。
与图2的光学***相比，图3的光学***使得可以消除第一通道和第二通道两者中的线性偏振滤光器。
图4示出了进一步的光学***，该光学***适用于生成具有左旋圆偏振和右旋圆偏振的图像的3D监视器。圆偏振的使用为头戴式可视化***的用户提供了如下优点：即使在头部倾斜时，在每种情况下分派给左右通道的图像的清晰分离也仍然是可能的。
根据图4的光学***具有第一通道5100和第二通道5200。第一偏振器5110和第一光衰减器5120布置在第一通道5100中。第一偏振器包括第一线性偏振滤光器5111和第一λ/4波片5112。第一线性偏振滤光器5111布置在第一λ/4波片5112与头戴式可视化***的用户1002的眼睛之间。第一偏振器5110仅透射右旋圆偏振的光，这意味着在偏振器5110的下游存在竖直偏振的光。借助于第一输入偏振器5121、第一液晶层5122和第一输出偏振滤光器5123，穿过第一光衰减器5120的光被衰减。
类似地，第二通道5200具有第二偏振器5210和第二光衰减器5220。第二偏振器5210包括第二λ/4波片5212，并且具有布置在第二λ/4波片5212与头戴式可视化***的用户1002的眼睛之间的第二线性偏振滤光器5211。第二偏振器5210具有以下效果：只有左旋圆偏振的光可以穿过第二偏振器5210，并且作为水平偏振的光存在于第二偏振器5210的下游。接着，水平偏振的光通过第二输入偏振滤光器5221、第二液晶层5222和第二输出偏振滤光器5223被衰减。
图5示出了可以与圆偏振一起使用的头戴式可视化***的进一步的示例。头戴式可视化***的光学***也具有第一通道6100和第二通道6200。
第一通道6100的第一偏振器6110和第二通道6200的第二偏振器6210共享共用的单一λ/4波片6112/6122。此外，第一光衰减器6120的输入偏振滤光器与第一偏振器6110的线性偏振滤光器6111相同，并且第二光衰减器6220的输入偏振滤光器6211与第二偏振器6210的线性偏振滤光器6211相同。由于两个光衰减器6120和6220相对于λ/4波片6112/6212的快轴的不同对准，在第一通道6100中仅允许右旋圆偏振的光通过，并且在第二通道6200中仅允许左旋圆偏振的光通过。
图6示出了头戴式可视化***的进一步的细节。类似于图3，光衰减器4120的输入偏振滤光器与偏振器4110的线性偏振滤光器4111相同。根据图6的示例性实施例具有两个通道共用的光衰减器7120的单一输入偏振滤光器7111，该单一输入偏振滤光器同时也形成两个通道共用的偏振器7110的单一线性偏振滤光器。因此，第一通道7100的光衰减器7120与第二通道的光衰减器7220相同，即，根据此实施例的可视化***仅具有两个通道共用的单一光衰减器。由于第一通道的第一λ/4波片7112和第二通道的第二λ/4波片7212相对于线性输入偏振滤光器7111/7211的不同对准，在右通道7100中允许第一通道7100中以右旋圆偏振入射在第一λ/4波片7112上的光通过，并且在第二通道7200中允许以左旋圆偏振入射在第二λ/4波片7212上的光通过。因此，根据图6的光学***也允许通道分离，结果是头戴式可视化***的用户可以立体感知由屏幕显示的三维图像数据。
图7中示出了手术可视化***。该手术可视化***具有如上所述的头戴式可视化装置20。此外，该手术可视化***具有用于手术显微镜22或内窥镜(未示出)的支架21。该支架具有用于铰接连接件21a、21b的马达驱动装置。为了简单起见，图2中仅示出了两个铰接连接件；这种支架通常具有与相关联的驱动马达连接的至少六个铰接连接件，结果是被固持在支架21上的手术显微镜22或内窥镜可在其六个自由度上自由移动，并且可以移动到任一点和任一取向。
手术显微镜22或内窥镜具有例如呈立体相机或两个独立相机的形式的图像记录装置23，利用该图像记录装置，可以记录操作区域的立体图像信息。用图像记录单元23记录的立体图像信息由控制计算机16读取，并由控制计算机传递到立体监视器24。因此，操作区域的立体图像呈现在立体监视器24上。在这种情况下，立体监视器24生成两个立体部分图像。两个部分图像的光具有不同偏振，结果是右侧部分图像的偏振垂直于或正交于左侧部分图像的偏振。也可以使用圆偏振作为用线性偏振分离两个立体部分图像的替代。
穿戴头戴式可视化***20的用户可以完全立体感知在立体监视器24上再现的立体图像，这是因为头戴式可视化***20的两个偏振滤光器8、9的偏振方向适应于立体监视器24的偏振方向。同时，用户还可以通过头戴式可视化***20的光学***和偏振滤光器直接观察操作区域或环境中的其他物体，比如，具有器械的无菌台。
可以经由头戴式可视化***中的图像生成装置将用户原本视觉上无法访问的附加虚拟信息叠加呈现给用户。这种附加信息可以是源自操作室中不在用户视场中的其他装置的信息，或者是在手术前获得的信息，例如来自存储在存储器26中的计算机断层摄影或磁共振图像的图像信息。然而，附加信息也可以是在手术期间由其他人提供的信息，例如由另一专家或病理学家提供的信息，该专家或病理学家经由视频传输从另一位置远程加入，并且用手术显微镜记录的视频图像经由视频传输对其可用。此专家或病理学家可以在他们的视频监视器上输入增强信息，该增强信息接着经由视频回传传输到控制计算机16。对应信息经由无线接口15从控制计算机传输到头戴式可视化***20。
头戴式可视化***中的传感器用于以所限定的且免手动的方式控制支架21的驱动装置21a、21b，或者手术显微镜22的其他功能，或者由图像生成装置提供的信息类型。
例如，可以对手术显微镜的特定设定进行语音控制。因为头戴式可视化***的麦克风总是与用户的嘴保持相同距离，所以用麦克风记录的声学信号不依赖于用户的位置或取向。因此，可以确保非常稳定且可靠的语音控制。替代性地，可以通过语音控制来选择由图像生成装置提供的信息。出于此目的，用麦克风记录的声学信号经由接口15传输到控制计算机16，并由控制计算机通过在控制计算机16上运行的语音识别程序来分析。根据语音分析的结果，相关联的信息接着由控制计算机16选择并经由接口15发送到图像生成装置，或者支架21的马达驱动装置或手术显微镜22的马达驱动装置相应地被致动。
作为语音控制的替代或补充，支架21的移动、手术显微镜22或内窥镜的马达功能或其他功能可以经由头戴式可视化***20的其他传感器、特别是陀螺仪传感器和/或眼睛***来控制。出于此目的，来自眼睛***和陀螺仪传感器的输出信号经由接口15传输到控制计算机16，并由控制计算机使用计算机程序来进行评估。取决于评估的结果，分派给输出信号的支架或手术显微镜功能接着由计算机16控制，或者对应于评估的附加信息得以选择并经由接口15发送到图像生成装置。
一方面，相应传感器信号与语音控制之间的分派，以及另一方面，由此控制的支架、手术显微镜功能和/或分别提供给图像生成装置的数据可以是可由用户非常自由地配置的，并且由用户根据需要预先分派。也可以为若干用户存储关于这种分派的对应用户简档，并在手术开始时从存储器调用。作为替代或补充，也可以为不同类型的外科手术创建对应用户简档、加以存储并在对应手术开始时调用。
如上所述，头戴式可视化***具有前向相机12。通过此相机12，以指定的时间间隔记录环境的永久视频流或单独的环境图像，并经由接口15传输到控制计算机。图像分析程序在控制计算机上运行，该程序被设计的方式为使得立体监视器24相对于头戴式可视化***的相应位置在视频流或一系列单独图像中被确定。基于此图像分析，控制计算机生成用于可切换涂层6a、7a的控制数据，该控制数据使可切换涂层在用户感知立体监视器的光学***的表面区域中被切换到最大光学透射，而在例如用户感知由图像生成***提供的图像的其他表面区域中，光学透射减少。

Claims (23)

1.一种头戴式可视化***，具有
穿戴***，
至少一个透光光学***，
图像生成装置，该图像生成装置被设计成基于被供应给该图像生成装置的图像数据而生成图像信息，
其中，该光学***被设计成将由该图像生成装置生成的图像信息供应给穿戴该可视化***的人，以及
偏振单元，该偏振单元被设计成对在两个空间区域中不同地穿透该光学***的光进行偏振。
2.如权利要求1所述的头戴式可视化***，其中，该偏振单元被设计成使得它能够被移除和固持。
3.如权利要求1所述的头戴式可视化***，其中该偏振单元和该透光光学***被固持在该穿戴***上，以使得它们能够彼此互换。
4.如权利要求1至3中任一项所述的头戴式可视化***，其中，第一透光光学***用于左眼，并且第二透光光学***用于右眼。
5.如权利要求4所述的头戴式可视化***，其中，该偏振单元具有位于该第一光学***的上游的第一偏振器和位于该第二光学***的上游的第二偏振器。
6.如权利要求1至5中任一项所述的头戴式可视化***，其中，该偏振单元被设计成在相互垂直的方向上对穿透该光学***的光进行偏振。
7.如权利要求1至5中任一项所述的头戴式可视化***，其中，该偏振单元被设计成在圆形相反方向上对穿透该光学***的光进行偏振。
8.如权利要求1至7中任一项所述的头戴式可视化***，其中，该光学***的光学透射是可切换的。
9.如权利要求8所述的头戴式可视化***，其中，该光学***的光学透射可在不同表面区域中不同地切换。
10.一种手术可视化***，包括：如权利要求1至9中任一项所述的头戴式可视化***；具有图像记录装置的手术显微镜或内窥镜；以及被设计成用于立体再现用该图像记录装置记录的图像信息的立体监视器。
11.如权利要求10所述的手术可视化***，进一步包括控制装置，该控制装置被设计成将图像数据供应给该图像生成装置。
12.如权利要求11所述的手术可视化***，其中，该头戴式可视化***具有眼睛***，并且该控制装置被设计成根据来自该眼睛***的输出数据来控制供应给该图像生成装置的该图像数据。
13.如权利要求11或12所述的手术可视化***，其中，该头戴式可视化***具有麦克风，并且该控制装置被设计成根据用该麦克风记录的声学信息来控制该手术显微镜。
14.如权利要求11或12所述的手术可视化***，其中，该头戴式可视化***具有麦克风，并且该控制装置被设计成根据用该麦克风记录的声学信息来控制供应给该图像生成装置的该图像数据。
15.如权利要求11至14中任一项所述的手术可视化***，其中，该头戴式可视化***具有用于确定该头戴式可视化***的空间对准的改变的陀螺仪传感器，并且该控制装置被设计成根据来自该陀螺仪传感器的输出数据来控制该手术显微镜或内窥镜。
16.如权利要求11至14中任一项所述的手术可视化***，其中，该头戴式可视化***具有用于确定该头戴式可视化***的空间对准的改变的陀螺仪传感器，并且该控制装置被设计成根据来自该陀螺仪传感器的输出数据来控制供应给该图像生成装置的该图像数据。
17.如权利要求11至16中任一项所述的手术可视化***，其中，该光学***的光学透射可在不同表面区域中不同地切换，并且其中，该控制装置被设计成在将由该图像生成装置生成的图像信息供应给穿戴该可视化***的人的表面区域中减少该光学***的光学透射。
18.如权利要求11至17中任一项所述的手术可视化***，其中，该头戴式可视化***具有相机，并且其中，该控制装置被设计成通过图像识别来确定该立体监视器相对于该头戴式可视化***的位置的位置。
19.如权利要求18所述的手术可视化***，其中，该光学***的光学透射可在不同表面区域中不同地切换，并且其中，该控制装置被设计成根据该立体监视器相对于该头戴式可视化***的位置的该位置来控制该光学***的光学透射。
20.一种用于在手术环境中可视化的方法，其中
在立体监视器上呈现操作区域的图像，
通过具有偏振滤光器的头戴式可视化***来观察呈现在该立体监视器上的该图像，以及
通过该头戴式可视化***来提供附加的增强信息。
21.如权利要求20所述的方法，其中，该头戴式可视化***生成控制数据，并且呈现在该立体监视器上的该增强信息和/或图像信息和/或电动支架的移动和/或手术显微镜的功能根据由该可视化***生成的控制数据而受到控制。
22.如权利要求21所述的方法，进一步包括配置传感器和/或来自该头戴式可视化***的传感器的输出数据与要提供的增强信息之间的关联。
23.如权利要求20至22中任一项所述的方法，其中，该增强信息是通过视频传输来传输的。
CN202180018008.9A 2020-03-02 2021-02-26 头戴式可视化*** Pending CN115398311A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102020202624.6A DE102020202624A1 (de) 2020-03-02 2020-03-02 Kopfgetragenes Visualisierungssystem
DE102020202624.6 2020-03-02
DE102020131029.3 2020-11-24
DE102020131029.3A DE102020131029A1 (de) 2020-11-24 2020-11-24 Kopftragbare Visualisierungseinheit und Visualisierungssystem
PCT/EP2021/054900 WO2021175727A1 (de) 2020-03-02 2021-02-26 Kopfgetragenes visualisierungssystem

Publications (1)

Publication Number Publication Date
CN115398311A true CN115398311A (zh) 2022-11-25

Family

ID=74797951

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180018008.9A Pending CN115398311A (zh) 2020-03-02 2021-02-26 头戴式可视化***
CN202180018244.0A Pending CN115398312A (zh) 2020-03-02 2021-03-01 头戴式可视化单元和可视化***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202180018244.0A Pending CN115398312A (zh) 2020-03-02 2021-03-01 头戴式可视化单元和可视化***

Country Status (4)

Country Link
US (2) US20230087402A1 (zh)
JP (2) JP7453403B2 (zh)
CN (2) CN115398311A (zh)
WO (2) WO2021175727A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230087402A1 (en) 2020-03-02 2023-03-23 Carl Zeiss Meditec Ag Head-mounted visualisation system
US12019314B1 (en) * 2022-09-21 2024-06-25 Onpoint Medical, Inc. Head mounted display assembly with control of head mounted display and loupe position and orientation

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286141A (ja) 1995-04-14 1996-11-01 Canon Inc 注視点検出システム及びそれを用いた制御システム
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP2002090694A (ja) 2000-09-14 2002-03-27 Minolta Co Ltd 映像表示装置
JP4098535B2 (ja) 2002-02-28 2008-06-11 オリンパス株式会社 医療用立体表示装置
JP2013538360A (ja) * 2010-06-25 2013-10-10 フロント、ストリート、インベストメント、マネジメント、インコーポレイテッド、アズ、マネジャー、フォー、フロント、ストリート、ダイバーシファイド、インカム、クラス ３次元画像情報を生成する方法および装置
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
EP3338617B1 (en) 2012-01-23 2020-08-19 Washington University Goggle imaging systems and devices
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
EP4383272A2 (en) 2014-02-21 2024-06-12 The University of Akron Imaging and display system for guiding medical interventions
JP6391952B2 (ja) 2014-03-17 2018-09-19 ソニー株式会社 表示装置及び光学装置
JP2016032227A (ja) 2014-07-29 2016-03-07 日立マクセル株式会社 映像表示システム、三次元映像ポインティング装置、および映像表示装置
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US11016302B2 (en) 2015-03-17 2021-05-25 Raytrx, Llc Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses
JP6636323B2 (ja) * 2015-12-28 2020-01-29 株式会社日立エルジーデータストレージ 調光器及びこれを用いた映像表示装置
US10033991B2 (en) 2016-02-24 2018-07-24 Arris Enterprises Llc Video display for viewing through polarized active shutter glasses
US20170323482A1 (en) * 2016-05-05 2017-11-09 Universal City Studios Llc Systems and methods for generating stereoscopic, augmented, and virtual reality images
JP2017203952A (ja) 2016-05-13 2017-11-16 株式会社リコー 画像表示装置、眼鏡型画像表示装置及び両眼型画像表示装置
KR102671795B1 (ko) 2016-09-27 2024-06-03 삼성전자주식회사 증강 현실 영상을 제공하는 방법, 디바이스 및 기록매체
US20180224923A1 (en) 2017-02-08 2018-08-09 Intel Corporation Low power key phrase detection
WO2018168626A1 (ja) 2017-03-17 2018-09-20 パナソニックＩｐマネジメント株式会社 表示装置
CN111093466A (zh) 2017-09-10 2020-05-01 凯罗斯股份有限公司 内视镜***
DE102017123894B3 (de) 2017-10-13 2019-02-07 Carl Zeiss Meditec Ag Scheibe für ein HMD und HMD mit wenigstens einer Scheibe
JP2019144415A (ja) 2018-02-21 2019-08-29 矢崎総業株式会社 投影装置及び車両用表示装置
US10659772B1 (en) * 2019-04-23 2020-05-19 Disney Enterprises, Inc. Augmented reality system for layering depth on head-mounted displays using external stereo screens
US20230087402A1 (en) 2020-03-02 2023-03-23 Carl Zeiss Meditec Ag Head-mounted visualisation system

Also Published As

Publication number Publication date
US11953687B2 (en) 2024-04-09
WO2021175727A1 (de) 2021-09-10
US20230088437A1 (en) 2023-03-23
WO2021175776A1 (de) 2021-09-10
CN115398312A (zh) 2022-11-25
US20230087402A1 (en) 2023-03-23
JP7474859B2 (ja) 2024-04-25
JP2023520306A (ja) 2023-05-17
JP7453403B2 (ja) 2024-03-19
JP2023521281A (ja) 2023-05-24

Similar Documents

Publication Publication Date Title
JP4245750B2 (ja) 立体観察装置
US6222675B1 (en) Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
US7768702B2 (en) Medical stereo observation system
ES2899353T3 (es) Sistema digital para captura y visualización de video quirúrgico
US6088154A (en) Operating microscope
US7518791B2 (en) Microscope
CA2267876C (en) Biocular viewing system with intermediate image planes for an electronic display device
US7053865B2 (en) 3-D display device
US20110080536A1 (en) Stereoscopic image display apparatus
US20020113755A1 (en) Wearable display apparatus
CN111295702A (zh) 虚像显示装置以及使用该装置的头戴式显示器
JP2000258723A (ja) 映像表示装置
JP7453403B2 (ja) ヘッドマウント可視化システム
JP3464197B2 (ja) 立体視用表示装置及びこれを利用した内視鏡並びに顕微鏡
JP4508569B2 (ja) 双眼立体観察装置、電子画像実体顕微鏡、電子画像立体観察装置、電子画像観察装置
EP1008005B1 (en) Optical in situ information system
JP3205552B2 (ja) 立体映像撮像装置
US20210294119A1 (en) Display apparatus for rendering three-dimensional image and method therefor
US20020118273A1 (en) Optical in situ information system
JPH1169383A (ja) 立体表示装置
US11504001B2 (en) Surgery 3D visualization apparatus
US20220313085A1 (en) Surgery 3D Visualization Apparatus
WO2022064564A1 (ja) ヘッドマウントディスプレイ
JPH09266554A (ja) 表示装置
DE102020202624A1 (de) Kopfgetragenes Visualisierungssystem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination