CN110192390A - 头戴式显示器的光场捕获和渲染 - Google Patents

头戴式显示器的光场捕获和渲染 Download PDF

Info

Publication number
CN110192390A
CN110192390A CN201680091992.0A CN201680091992A CN110192390A CN 110192390 A CN110192390 A CN 110192390A CN 201680091992 A CN201680091992 A CN 201680091992A CN 110192390 A CN110192390 A CN 110192390A
Authority
CN
China
Prior art keywords
imaging device
display
image
head
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680091992.0A
Other languages
English (en)
Inventor
约书亚·R·史密斯
塞缪尔·R·布朗
鲁弗斯·格里芬·尼科尔
詹姆斯·安德鲁·扬奎斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Washington
Original Assignee
University of Washington
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Washington filed Critical University of Washington
Publication of CN110192390A publication Critical patent/CN110192390A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00101—Insertion part of the endoscope body characterised by distal tip features the distal tip features being detachable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

公开了头戴式显示器的用于捕获和渲染光场的***和方法。一种介导现实可视化***包括头戴式显示装置，该头戴式显示装置包括配置为安装至用户的头部的框架，其；以及耦合至框架显示设备。成像装置，其与所述头戴式显示装置分离并间隔开来，所述成像装置配置为捕获光场数据。计算设备，其与所述成像装置和所述显示设备通讯，且所述计算设备配置为接收来自所述成像装置的光场数据并渲染一个或多个虚拟相机。来自所述一个或多个虚拟相机的图像通过所述显示设备被呈现至用户。

Description

头戴式显示器的光场捕获和渲染
技术领域
本技术通常涉及捕获和渲染头戴式显示器(head-mounted display)的光场。特别地，几个实施方式是针对光场捕获***，例如相机阵列和用于提供增强的介导现实可视化(mediated-reality visualization)的相关的头戴式显示器。
背景技术
传统的放大镜(例如，手术放大镜)具有许多缺点。例如，传统的放大镜是基于用户矫正视力的需要和瞳孔间距为个人定制的，所以不能在用户之间共享。传统的放大镜也受限于在单一的放大水平，迫使用户将她全部动作调整到该放大水平，或经常以奇怪的角度看向放大镜的“外部”，以执行放大无益或甚至是有害的动作。传统的放大镜仅在非常浅视野深度(depth of field)内提供清晰图像，同时还提供相对窄的视野。由于传统手术放大镜的庞大构造，盲点是另一问题。
一种方案涉及将从两个相机获得的原始视频传输至头戴式显示器(head-mounteddisplay,HMD)。然而，因为图像捕获和图像显示是不可分离地耦合的，所以在通过HMD显示的图像数据中存在一定的局限性。因此，需要一种改进的***和方法以用于通过头戴式显示器捕获和渲染立体图像数据至用户。
附图说明
图1为根据本技术的实施方式配置的成像装置的立体图。
图2A和2B分别为根据本技术的实施方式配置的头戴式显示装置的前部立体图和后部立体图。
图3为根据本技术的实施方式配置的介导现实可视化***的示意图。
图4示出了在外科手术期间使用中的介导现实可视化***。
图5为根据本技术的一个实施方式的用于捕获和渲染光场以提供介导现实可视化的方法的框图。
图6为使用两个真实相机的数据渲染虚拟相机的示意图。
具体实施方式
本技术针对用于捕获和渲染光场以用于增强的介导现实可视化的***和方法。在一个实施方式中，例如，与用户间隔开来的光场捕获设备获取图像数据，然后该图像数据被处理并通过头戴式显示器立体地呈现给用户。正如本文所使用的，术语“介导现实”指的是通过使用可穿戴式显示器以增加、减少或其他方式来操纵对现实的视觉的能力。“介导现实”显示器包括至少“虚拟现实”型显示器以及“增强现实”型显示器。
如同顶部、底部、前部、后部、上部、下部、上面、下面、垂直、向上、向下和其他的相对的方位性语言的使用是相对的，且不受限于关于地球表面定义的绝对方向或取向。
下面参照图1-6描述本技术的几个实施方式的具体细节。虽然下面描述了关于用于捕获和渲染光场以提供增强的介导现实可视化的设备、***和方法的多个实施方式，但其他的实施方式在本技术的范围之内。此外，本技术的其他实施方式能够具有与本文描述的配置、组件和/或程序不同的配置、组件和/或程序。例如，其他的实施方式可以包括除了本文描述的元素和特征以外的额外的元素和特征，或者其他的实施方式可以不包括本文中示出的和描述的数个元素或特征。本技术的数个实施方式可以与国际专利公开号为WO2015/179946、题目为“用于介导现实手术可视化的***和方法”中公开的技术的方面相结合或合并，其全部内容通过引用合并于此。
以便参考，贯穿本公开，相同的附图标记用于标识相似或类似的组件或特征，但是使用相同的附图标记并不意味着这些部件应该被解释为相同的。事实上，在本文描述的一些实施例中，相同编号的部件在结构和/或功能上是不同的。
选择的介导现实可视化***的实施方式
图1为成像装置100的立体图。成像装置100包括安装至框架103的多个成像设备101a-j(统称为“成像设备101”)。在使用中，成像装置100可以定位于靠近有益的物体(例如，手术部位、工件或需要放大或其他增强的可视化的其他区域)。成像装置100可以包括作为框架103的一部分的安装电枢，框架103在一些实施方式中可包括改变各个成像设备101的间隔和定向的机构。成像装置100还包括多个光源104a-f(统称为“光源104”)，该多个光源104a-f能够被选择性地激活以实现光度的捕获和处理。成像装置100还包括至少一个投影仪107，该投影仪107能够使用多视角立体和相关技术来投影纹理图案以协助估算场景的几何体。成像装置100可以与用于精确定位和控制的多关节器(multiple joints)、发动机和编码器一起安装到关节臂(articulated arm)(未示出)上。通过检测场景的几何体，成像装置100可以用于渲染非平面的焦面，使得即使由于表面拓扑，成像装置100和沿着表面的不同点之间的距离改变，成像的整个表面也处于焦点。
如下文更详细描述的，通过成像装置100收集的信息可以在头戴式显示器200(图2A和2B)中显示，且成像装置100和方法的一些特征可以定制到该头戴式显示器应用。例如，在一些实施方式中，某些技术可以用于减少***的数据通讯需求，包括选择性地读取各个成像设备101，或选择性地读取每个成像设备101内的像素。
例如，各个成像设备101可以为数码相机，例如CCD或CMOS图像传感器和相关的光学器件(optics)。成像设备101安装到框架103，并布置成半球形阵列，成像设备101指向并聚焦在公共点(common point)上。然而，在其他实施方式中，成像设备101可以以不同配置布置，例如，平面阵列，在该平面阵列中，设备不朝焦点聚集，或者甚至彼此分离。
多个光源105围绕框架103设置，并配置为照亮成像装置100的视野。光源105例如可以为LEDs、荧光灯或任何其他合适的照明光源。如下文中更详的细描述，光源105可以用于光度几何体估算(photometric geometry estimation)和镜面反射分析。
投影仪107还可以附接至框架103，并配置为将图像投影至成像装置100的视野中。在一个实施方式中，投影仪107为具有1280×800分辨率的标准市售投影仪。在其他实施方式中，投影仪107可以为能够将图像投影至成像装置100的视野中的具有所需的分辨率的任何合适的装置。如下文更详细描述的，投影仪107可以用于获取场景几何体信息。在一些实施方式中，投影仪107可以用一个或者多个光源和配置为投影固定纹理图案的掩膜光学器件来代替，其可以比投影仪107提供的完全动态图案花费更少。
虽然示出了10个成像设备101，但是使用的设备的数量可以广泛地变化。在一些实施方式中，单一的全光相机可以用于代替成像设备101。例如，成像装置100可以包括单一的图像传感器，在图像传感器和主透镜之间具有微透镜阵。该微透镜阵允许捕获光场，可以从该光场中计算具有不同焦面和不同视角(视差)的图像。使用光场视差调节技术，可以补偿不同相机之间图像视点的差异，使得视点不会随着缩放比例变化而变化。多个成像设备101可以通过USB3或其他此类连接器格式来连接，以支持他们产生的高带宽数据。在一个特定的实施方式中，各成像设备101配置为捕获964×964像素的图像，每秒高达30帧。
如下文更详细描述的，从成像装置100捕获的光场数据可以通过例如头戴式显示器立体地渲染至用户。在一些实施方式中，从成像装置100捕获的数据用于渲染两个“虚拟相机”，在用户的每只眼睛处放置一个“虚拟相机”。这些虚拟相机可以根据用户的姿势基于头戴式显示装置的追踪来放置，使得从用户的角度来看，她根本没有穿戴显示设备。
成像设备101的阵列允许捕获光场数据，使得成像装置100能够用作全光相机。通过成像装置100捕获光场数据以及处理捕获的光场有望提供优于通过传统相机的直接视频流或图像捕获流的若干益处。例如，光场渲染能够实现物理相机无法实现的视觉效果，例如多个焦面(甚至是非平面的焦面)、合成孔径和“透视(seeing through)”部分遮挡。虽然对物理相机来说并非不可能，但是光场渲染能够毫不费力地实现其他有用的效果，例如，通过同时改变虚拟的瞳孔间距以及场景中虚拟的相机的距离，明显地缩小或放大用户，这利用了投影几何中的尺寸模糊性(scale ambiguity)。通过动态尺寸变化，可以实施缩放功能。然而，不仅仅是放大图像，而是效果可能就像用户实际上缩小了(或者外界变大了)，能够环顾同样的场景，但在更近的有利位置处。
图2A和2B分别为头戴式显示装置200的前部立体图和后部立体图。显示装置200包括框架203，该框架203具有前表面205和与前表面205相对的后表面207。显示设备209设置在后表面207上方，并且远离后表面207向外。显示装置200通常配置为佩戴到用户的头部(未示出)上，特别是佩戴到用户的眼睛上，使得显示设备209朝用户的眼睛显示图像。
在示出的实施方式中，框架203形成为大致类似于标准眼睛，眼框(orbitals)通过鼻梁架(bridge)和向后延伸以接合佩戴者的耳朵的眼镜腿(temple arms)连接。在其他实施方式中，然而，框架203可以采用其他形式；例如，带子可以替代眼镜腿，或者，在一些实施方式中，局部头盔可以用于将显示装置200安装至佩戴者的头部。
框架203包括右眼部204a和左眼部204b。当用户佩戴时，右眼部204a配置为大致定位在用户的右眼上，而左眼部204b配置为大致定位在用户的左眼上。显示装置200通常可以为不透明的，使得佩戴显示装置200的用户不能够透过框架203观看。在其他实施方式中，然而，显示装置200可以为透明的或者半透明的，使得在穿戴显示装置200的情况下，用户可以透过框架203观看。显示装置200可以配置为佩戴到用户的标准的眼镜上。例如，显示装置200可以包括钢化玻璃或其他足够坚固的材料以满足外科手术室中用于眼睛保护的OSHA规定。
显示装置200可以分别包括第一控制电子器件和第二控制电子器件215a-b。参考图3，如下文更详细描述的，控制电子器件215a-b可以配置为在网络上提供与其他组件、例如成像装置100的有线的或无线的通讯。在示出的实施方式中，控制电子器件215a-b耦合至框架203。在一些实施方式中，然而，控制电子器件215a-b耦合至成像装置100，并与显示装置200无线通讯。在其他实施方式中，控制电子器件215a-b可以集成到单独的组件或芯片中，在一些实施方式中，控制电子器件215a-b不是物理地附接至框架203。控制电子器件215a-b可以配置为接收从成像装置100输出的数据，并且还可以配置为控制成像装置100的操作(例如，初始成像，以控制光学变焦、自动对焦和/或以操作集成光源模块)。在一些实施方式中，例如控制电子器件215a-b可以配置为处理从成像装置100输出的数据，以提供数码变焦、以自动对焦和以调节图像参数，例如饱和度、亮度等。在其他实施方式中，图像处理可以在外部设备上执行并通过有线的或无线的通讯链接与控制电子器件215a-b通讯。如下文更详细描述的，可以处理来自成像装置100的输出以集成附加数据，例如预先存在的图像(例如X射线图像、荧光镜检查、MRI或CT扫描、解剖图数据等)、同时捕获的其他图像(例如通过内窥镜或设置在手术部位周围的其他图像)、病人重要的数据等。此外，进一步的操作可以允许视野内部区域的选择性放大。
基准标记物(fiducial marker)217可以设置在框架203的前表面205上。基准标记物217可以用于显示装置200的运动追踪。在一些实施方式中，例如，基准标记物217可以为通过红外光相机***检测的一个或多个红外光源。在其他实施方式中，基准标记物217可以为磁性探针或电磁性探针、反射元件、或者可用于跟踪显示装置200在空间中的位置的任何其他组件。基准标记物217可以包括或耦合至用于追踪显示装置200的移动和方向的内部罗盘(internal compass)和/或加速器。
显示设备209设置在框架203的后表面207上，并面向后。如图2B最佳所示，显示设备209包括第一显示器和第二显示器219a-b。例如，显示器219a-b可以包括LCD屏、全像显示器、等离子屏、投影显示器、或具有可以在抬头显示器(heads-up display)环境中使用的相对薄的形状因数的任何其他类型的显示器。第一显示器219a设置在框架203的右眼部204a内，同时第二显示器219b设置在框架203的左眼部204b内。第一显示器和第二显示器219a-b向后定向，使得当用户佩戴显示装置200时，第一显示器和和第二显示器219a-b分别通过用户使用用户的右眼和左眼为可视的。每只眼睛使用单独的显示器允许立体显示。立体显示包含分别向左眼和右眼呈现略微不同的二维图像。由于两个图像之间的偏移，因此用户感知三维深度。
第一显示器和第二显示器219a-b可以分别电耦合至第一控制电子器件和第二控制电子器件215a-b。控制电子器件215a-b可以配置为向显示器219a-b提供输入并控制显示器219a-b的操作。控制电子器件215a-b可以配置为向显示器219a-b提供显示输入，例如，已经从成像装置100获取的处理过的图像数据。例如，在一个实施方式中，来自成像装置100的图像数据通过第一控制电子器件215a与第一显示器219a通讯，且类似地，来自成像装置100的图像数据通过第二控制电子器件215b与第二显示器219b通讯。根据成像装置100的位置和配置以及显示器219a-b，可以向用户呈现立体图像，该立体图像模仿用户在不佩戴显示装置200的情况下将看到的景观。在一些实施方式中，从成像装置100获取的图像数据可以被处理，例如数码缩放，从而通过显示器219a-b向用户呈现缩放的视图。
第一眼睛追踪器和第二眼睛追踪器221a-b设置在框架203的后表面上，邻近第一显示器和第二显示器219a-b。第一眼睛追踪器221a可以定位在框架203的右眼部204a内，且可以定向并配置为在用户佩戴显示装置200时追踪用户的右眼的运动。类似地，第二眼睛追踪器221b可以定位在框架203的左眼部204b内，且可以定向并配置为在用户佩戴显示装置200时追踪用户的左眼的运动。第一眼睛追踪器和第二眼睛追踪器221a-b可以配置为确认用户的眼部运动，且可以与控制电子器件215a-b电子通讯。在一些实施方式中，用户的眼部运动可以用于向控制电子器件215a-b提供输入控制。例如，可视菜单可以覆盖通过显示器219a-b显示给用户的图像的一部分。用户可以通过将她的眼睛集中在项目上来指示从菜单中选择的项目。眼睛追踪器221a-b可以确认用户正在关注的项目，并且可以将该项目选择的指示提供至控制电子器件215a-b。例如，该特征允许用户控制施加到特定图像的缩放尺寸。在一些实施方式中，麦克风或物理按钮可以存在在显示装置200上，并可以通过口述指令或物理接触按钮来接收用户输入。在其他的实施方式中，可以使用其他形式的输入，例如通过成像装置100的手势识别、辅助控制等。
本文描述的技术可以应用于内窥镜***。例如，并非在成像装置100上安装多个相机(具有不同的视野或视图/放大组合)，而是多个相机可以安装在内窥镜器械的尖端上。可选地，单个主透镜加上小透镜阵列可以安装在内窥镜器械的尖端上。然后，诸如重聚焦的光场渲染技术渲染来自两个不同视角的立体图像，或可实施缩放。在这样的情况下，收集的图像可以通过可穿戴的头戴式显示装置200来显示。
图3为根据本技术的实施方式配置的介导现实可视化***的示意图。该***包括通过通讯链接301彼此通讯的若干组件，该通讯链接301例如可以为公共网络、诸如内部网的私人网络或其他网络。各组件和通讯链接301之间的连接可以是无线的(例如WiFi、蓝牙、NFC、GSM、诸如CDMA、3G或4G等的蜂窝通讯)或者是有线的(例如以太网、火线电缆、USB电缆等)。头戴式显示装置200和成像装置100都耦合至通讯链接301。在一些实施方式中，成像装置100可以配置为捕获图像数据，且头戴式显示装置200可以配置为通过集成的显示设备209将图像显示给佩戴显示装置200的用户。显示装置200还包括基准标记物217，该基准标记物217可以通过追踪器303追踪。追踪器303可以通过光学追踪、声波检测或电磁检测、或任何其他合适的方法以位置追踪来确认基准标记物217的位置和运动。成像装置100也可以包括通过追踪器303追踪的一个或多个基准标记物。在一些实施方式中，追踪器303可以配置为在手术期间用于追踪患者的位置或某些解剖特征。例如，***303可以为手术导航***、例如美敦力公司(Medtronic)的手术导航***的一部分。这样的***可以识别手术部位周围的探针的位置，并且还可以与其他诸如MRI、CT、荧光镜检查等的术中成像***相结合。追踪器303还可以追踪诸如手术部位周围的关节臂上的其他相机、内窥镜、安装在牵开器上的相机等的附加成像器305的位置。例如，附加成像器305还可以配备有探针或基准标记物以允许追踪器303检测位置和方向。通过追踪器303获取的位置信息可以用于确认附加成像器305相对于显示装置200和相对于手术部位的位置和方向。在一些实施方式中，附加成像器305可以根据头戴式显示装置200的位置和/或操作选择性地激活。例如，当佩戴显示装置200的用户正在观看附加成像器305的视野内的某个区域时，该附加成像器305可以被激活，并且数据可以被记录以与显示装置200的图像数据合成。在一些实施方式中，可以根据头戴式显示装置200的位置和/或操作控制附加成像器305以改变其位置和/或方向，例如通过旋转附加成像器305以捕获与显示装置200的视野重叠的视野。
计算组件307包括多个模块以用于通过通讯链接301与其他组件交互。例如，计算组件307包括显示模块309、运动追踪模块311、配准模块(registration module)313和图像捕获模块315。在一些实施方式中，计算组件307可以包括诸如CPU的处理器，该处理器可以根据存储在计算机可读介质上的计算机可执行的指令来执行操作。在一些实施方式中，显示模块、运动追踪模块、配准模块和图像捕获模块均可以在单独的计算设备中实施，每个计算设备都具有配置为执行操作的处理器。在一些实施方式中，这些模块中的两个或更多可以包含在单个的计算设备中。该计算组件307还与数据库317通讯。
显示模块309可以配置为提供显示输出信息至显示装置200以通过显示设备209呈现至用户。如上所述，显示设备可以包括立体显示器，在该立体显示器中，通过第一显示设备和第二显示设备219a-b(图2B)向每只眼睛提供不同图像。提供至显示装置200的显示输出可以包括通过成像装置100捕获的实时的或近实时的视频馈送。在一些实施方式中，显示输出可以包括其他数据的集成，例如，术前图像数据(例如CT、MRI、X光线或荧光镜检查)、标准解剖图像(例如教科书解剖图像或尸体衍生图像)或者当前患者生命体征(例如，EKG、EEG、SSEP或MEP)。该附加数据例如可以被存储在数据库317中，以通过计算组件307访问。在一些实施方式中，附加实时图像数据可以从附加成像器305中获取，并通过显示装置200的显示设备209呈现给用户(例如，来自手术部位周围的关节臂上的其他相机的、内窥镜的或安装在牵开器上的相机等的实时图像数据)。这些附加数据可以被集成以用于显示；例如，其可以提供为画中画(picture-in-picture)或者在来自成像装置100的实时图像的显示上的其他覆盖图。在一些实施方式中，附加数据可以集成到成像装置100的实时图像的显示中；例如，X射线可以集成到该显示中，使得用户看到作为统一图像的成像装置100的实时图像和X射线数据。为了使附加图像数据(例如X射线、MRI等)与成像装置100的实时馈送协同地呈现，可以基于显示装置200的位置和方向，处理和操作附加图像数据。类似地，在一些实施方式中，教科书解剖图像或其他标准图像(例如，从尸体衍生的标记图像)可以***作和变形，以便正确地定向到捕获的图像上。这可以使得外科医生在手术期间能够从叠加在实时图像数据上部的预存的图像中可视化解剖的标记。在一些实施方式中，用户可以通过语音指令或眼睛运动在不同视图之间切换以选择菜单项目、辅助控制或其他输入。例如，用户可以在成像装置100的图像的实时馈送和一个或多个附加成像器305捕获的图像的实时馈送之间切换。
运动追踪模块311可以配置为确认显示装置200和成像装置100以及任何附加成像器305相对于手术部位的位置和方向。如上所述，追踪器303可以光学地或通过其他技术追踪显示装置200、成像装置100和任何附加成像器305。该位置和方向数据可以用于通过显示模块309提供适当的显示输出。
配准模块313可以配置为配准手术框架中的全部图像数据。例如，可以从运动追踪模块311接收显示装置200、全光成像装置100和任何附加成像器305的位置和方向数据。可以从数据库317或从其他资源接收附加图像数据，例如术前图像。通常不会从显示装置200、成像装置100或任何附加成像器305的视图记录附加图像数据(例如X射线、MRI、CT、荧光镜检查、解剖图像等)。因此，补充图像数据必须经过处理和操作，以便以通过显示装置200的显示设备209以适当的视图呈现给用户。配准模块313可以通过将术前图像中检测到的解剖基准标记物或人工基准标记物与通过手术导航***、显示装置200、成像装置100或其他附加成像器305检测到的那些相同的解剖基准标记物或人工基准标记物进行比较，来配准参照的手术框架中的补偿图像数据。
图像捕获模块315可以配置为从成像装置100，以及任何附加成像器305中捕获图像数据。捕获的图像可以包括连续的视频流和/或静止图像。在一些实施方式中，附加成像器305中的一个或多个可以为全光相机，在这种情况下，图像捕获模块315可以配置为接收光场数据并处理该数据以渲染特定图像。
图4示出了在外科手术期间手术中的介导现实可视化***。外科医生401在患者的手术部位403上手术期间佩戴头戴式显示装置200。成像装置100安装至关节臂以定位在手术部位403上方。追踪器303跟随显示装置200和成像装置100的运动和位置。如上所述，追踪器303可以通过光学追踪、声波检测或电磁检测或任何其他合适的方法以位置追踪来确认显示装置200和成像装置100上的基准标记物的位置和运动。在一些实施方式中，***303可以手术导航***的一部分，例如美敦力公司(Medtronic)的手术导航***。追踪器303还可以追踪附加成像器、例如手术部位周围的关节臂上的其他相机、内窥镜、安装在牵开器上的相机等的位置。
在外科医生401手术时，通过成像装置100捕获的图像被处理并通过显示装置200内的集成的显示设备209(图2B)立体地显示给外科医生。结果为外科医生的视野或由成像装置100捕获的数据产生的任何其他所需视图的介导现实表示。如上所述，附加图像数据或其他数据也可以被集成并显示给外科医生。呈现给外科医生401的显示数据可以同时实时地或延迟地流至远程用户405。该远程用户405同样可以佩戴配置有集成的立体显示器的头戴式显示装置407，或者显示数据可以通过外部显示器呈现给远程用户405。在一些实施方式中，远程用户405可以远程控制手术机器人，在向远程用户405提供临场感和透视感的情况下，允许执行远程手术以改善手术的可视化。在一些实施方式中，多个远程用户可以从多个不同全光相机和设置在手术部位周围的其他成像设备渲染的不同视角同时观看手术部位。
成像装置100和/或显示装置200可以响应于语音指令或甚至追踪外科医生的眼睛——因此，使得外科医生401能够在馈送之间切换并调整所采用的放大率级别。具有患者的生命体征(EKG、EEG、SSEPs或MEPs)、成像(CT、MRI等)和外科医生所需的任何其他信息的头戴式显示器可以应外科医生的要求而移动，从而消除了中断手术流程以评估外部监控器或咨询麻醉师团队的需要。无线网络可以使成像装置100和/或显示装置200具有与处理器(例如计算组件307)通讯的能力，该处理器可以使用从诸如自动对焦的简单工具到荧光视频血管造影(fluorescence video angiography)和肿瘤“涂料(paint)”为外科医生增大视觉工作环境。成像装置100和显示装置200可以代替对昂贵的手术显微镜甚至是不久将来的远程机器人工作站的需要——展示了当前的显微镜和内窥镜结合使用的“定制”玻璃放大镜***的经济替代品。
头戴式显示装置200可以聚合多个视觉信息流，且不仅将其传送至外科医生以用于可视化，而且将其传送至远程处理能力(例如计算组件307(图3))以用于实时分析和修改。在一些实施方式中，***可以利用模式识别来帮助识别需要注意的解剖结构和出血源，从而充当数字手术助理。教科书或自适应解剖学(adaptive anatomy)的实时叠加可以帮助识别结构和/或充当住院医师和其他学习者的教具。在一些实施方式中，***可以配备有与手术野(surgical field)交互的附加技术；例如，成像装置100可以包括激光雷达(LiDAR)，该激光雷达可以帮助分析组织性能或实时映射手术野，从而帮助外科医生做出关于切除范围等的决定。在一些实施方式中，集成到成像装置100中的光源105可以被“教导”(例如通过机器学习技术)如何最佳地照亮特定手术位置或提供不同波长的光以与生物荧光剂相互作用。
在一些实施方式中，从成像装置100和其他成像器记录的数据随后可以用于产生手术部位的不同视角和可视化。例如，可以生成供以后重放的记录的数据、具有不同的放大率、不同的附加图像数据的集成和/或不同视点的图像。这对于回顾程序或培训目的特别有用。
在一些实施方式中，可以追踪外部工具的位置以进行输入。例如，可以追踪手术刀或其他手术工具的尖端(例如使用追踪器303)，并且放大的体积可以位于手术刀或其他手术工具的尖端的位置。在一些实施方式中，手术工具可以包括用于***或其他手术***的触觉反馈或物理控制。在手术工具为电子控制或机电控制(例如在远程手术期间，使用手术机器人控制工具)的情况下，那些工具的控制件可以根据可视化模式来修改。例如，当工具设置在物理体积内以进行视觉转换(例如放大)，工具的控制件可以被修改以补偿视觉缩放、旋转等。这允许控制件在视觉上转换的视图和周围视图内保持相同。即使是在工具和手术部位的可视化被修改的情况下，该工具控制件的修改也可以帮助外科医生在远程手术期间更好地控制工具。
来自于位于靠近有利点的环境中的附加相机的信息可以与耦合至头戴式显示器的成像器的图像融合，从而提高放大有利区域的能力。深度信息可以从深度传感器中生成或获得，并用于通过将焦面与场景的物理几何体共同定位，使整个场景成为焦点。与其他介导现实一样，数据可以被渲染并在环境中可视化。使用光场捕获和渲染可以允许在遮蔽区域周围观察并可以去除镜面反射。在一些实施方式中，光场的处理还可以用于增加组织类型之间的对比。
虽然图4中示出的实施例包含手术，但是本技术的实施方式可有效地应用于各种领域。例如，包括全光成像装置和头戴式显示装置的介导现实可视化***可以用于建筑、制造、服务行业、游戏、娱乐以及增强的可视化是有益的各种其他环境中。
图5为根据本技术的一个实施方式的用于捕获和渲染增强的可视化的光场的方法的框图。程序500开始于框501。在框503中，校准成像装置100。该校准可以通过与成像装置100和/或头戴式显示装置200有线或无线通讯的远程电子器件(例如计算组件307)来执行。或者在一些实施方式中，该处理可以通过头戴式显示装置200携带的控制电子器件215a-b执行。在一些实施方式中，校准和成像处理步骤可以通过成像装置100携带的控制电子器件来执行。校准成像装置100可以包括估算各个成像设备101的内部参数(即透镜模式)，以及估算各个成像设备101的外部参数(即参考的整体框架中的位置和旋转，本文中称为设备的“姿势”)。估算的内部参数可以用于将成像设备101的原始输入图像转换为从完美针孔投影模式等同地生成的数据，并可用于下文描述的技术中。
对于成像装置100的阵列中的各个成像设备101，可以估算以下内部参数：
(f)，透镜的焦距，用像素表示；
(cx)，透镜焦点中心距图像中心的x偏移量，以及
(cy)，透镜焦点中心距图像中心之间的y偏移量。
用于校正透镜畸变效果(lens distortion effects)的一系列参数也可以被估算。透镜畸变导致世界中(其中，透视投影投射为图像中的直线)的直线呈现弯曲，例如鱼眼效果。
当结合相机姿势时，以上参数为具有透镜畸变的针孔相机模型提供足够的信息。针孔模型可以用于将世界中的点投影到相机的图像感应器上的像素上，同样可以将图像像素投影为世界中的光线。输入图像中的噪声和非线性优化标准可能意味着需要多个图像来实现可接受的校准精度。对于数码相机，图像噪声可以来自几种源：
感应器噪声：相机感应器自身由于热效应和量子效应(涂抹(smearing)、晕染(blooming)、扩散、传输效率或动态范围)而增加了与“真实”值的随机偏移量。
量子化：连续信号在空间和值上都被量化的事实妨碍了图像特征的精确定位。
光学的：诸如不完全聚焦的光学效应，以及色差混淆了精确地识别的每像素级别的图像中的特征。
在获取成像装置100中的每个成像设备101的校准参数之后，可以估算相对于彼此的姿势，其中姿势包括相对于参考坐标系的位置信息和旋转信息。如下文更详细描述的，随后精准的姿势信息可以用于几何体的获取以及光场渲染。因为渲染器假设对于通过阵列中的成像设备101捕获的每个光线具有精确空间坐标和方向，所以姿势信息和成像设备校准可以特别地用于光场渲染。如果设备的校准和姿势估算甚至偏离一个像素，那么最终图像可能包含了相邻空间区域的图像，导致模糊效应。因此，精确的校准和姿势信息可以有益于获得清晰的图像。
在一些实施方式中，已知的基准标记物可以通过成像装置100成像，并且可以用于估算每个成像设备的姿势。例如ArUco文库可以用于方形基准标记物检测，如在OpenCV中实施的。当检测已知物理尺寸的标记物并给出精确的设备校准参数时，ArUco将提供设备相对于基准标记物的姿势。此外，由于成像设备中的传感器噪声，因此在计算的姿势中可能存在一定程度的不确定性。在一些实施方式中，已知的基准标记物阵列可以用于增加姿势估计的精确度。通过平均几个单独的姿势估算，例如使用非线性姿势估算，可以进一步减小计算的姿势中的噪声。
一旦估算了姿势和设备的校准参数，程序500在框505中继续获取场景几何信息。如前所述，使用稀疏成像设备阵列的光场渲染受益于对场景几何体的合理良好估算。在一些实施方式中，场景几何体可以使用结构光技术来估算，例如基于在OpenCV中实施的3DUNDERWORLD-SLS方法的版本。使用立体成像设备对的几何体重建的基本原理是三角测量(triangulation)。假设校准了成像设备，并且该成像设备的姿势相对于一些坐标系是已知的，那么对于图像中的每个像素，从成像设备的中心开始并穿过该像素，光线可以投影到世界中。如果通过两个成像设备看到相同的世界点，并且被成像的点的相应的像素是已知的，那么找到光线的交叉点以定位世界中的点是简单的事情。
实施这种三角测量的复杂性出现在现实世界中。第一个问题涉及确定成像设备B中的哪个像素表示与成像设备A中的特定像素相同的世界点。第二个问题是由于来自于传感器噪声和量化效应的不确定性。即使具有亚像素精确度，传感器噪声可以阻止在不同成像设备的像素之间的完美映射。同样地，来自点对应的投影的光线可能实际上不相交。
结构光通过将已知的图案投影到场景中解决了对应问题。例如，集成到成像装置100中的投影仪107可以用于将已知图案投影到成像设备101的视野中。在一个实施方式中，投影的光形成1维二进制格雷码(1-dimensional binary gray code)，首先是水平方向，然后是垂直方向。因此，每个成像设备图像像素可以唯一地与投影仪107的源像素相关联。在一些实施方式中，该程序包括收集对应于2log2(投影仪分辨率)+2个图像的若干图像以用于几何体捕获，例如在具有1280×800分辨率仪的情况下的44个图像。
结构光对应可能仍然无法实现完美的几何体捕获。由于每个成像设备101的分辨率可以高于投影仪的有效成像的分辨率，因此每个仪像素填充每个成像设备101的多个像素。对于下文描述的(再)投影步骤，可以使用由成像设备101捕获的图像中的平均亚像素坐标。然而，如果场景几何体是足够倾斜的或反射的，使得不充足的光线到达成像设备101以进行解码，那么在所有成像设备101和投影仪107的全视图中可能存在缺失信息的区域。
通过找到相对于平方距离之和的最接近全部投影光线的点，可以解决接近但不相交的问题。在一些实施方式中，光场渲染需要无孔发连续网格，而结构光***的输出为具有缺失信息的点云(point cloud)。在这样的实施方式中，缺失信息可以如下填充。因为仅可以对通过一个以上的成像设备101看到并通过投影仪107照射的世界点执行三角测量，因此每个成像设备101从被其遮挡的非凸几何区域捕获“阴影”。填充空白的一个办法是相对于场景旋转成像设备101和投影仪107，然而，这延长了捕获时间并且需要额外的点云配准步骤。可选地，另一个成像设备101可以以这样的方式放置，即实际上“照亮”虚拟阴影(并另外地提供冗余信息)，只留下真正的阴影。同样地，第二投影仪可以提供真正的阴影区域中的信息。通过在阵列中使用多个成像设备101(例如，使用10个成像设备101)，成像装置100跨数个视角捕获冗余信息，仅留下投影仪107投影的任何真实阴影。
为了从点云创建密集网格，程序可以执行以下步骤：
1.校准投影仪：解码的格雷码直接将每个世界点与投影仪像素相关联。该相关性用于以与校准成像设备相同的方法估算投影仪内在函数的粗略校准。
2.创建稀疏深度映射：使用来自步骤1的校准参数将点云投影到平面上，就像投影仪是观察点云的相机一样。
3.创建密集深度映射：由于校准估算和真正事实之间的轻微偏差，在投影中以及在未能正确地解码的区域上将会有孔洞。这些孔洞可以通过从具有良好数据的附近区域进行插值来填充。虽然不完美，但是这种技术对于光场渲染应用来说已经足够了。虽然仍然会存在具有缺失数据的区域，但是将存在密集深度信息的连通分量(connected component)。
4.创建网格：密集深度映射中的每个有效像素都是网格中的顶点。步骤1中的校准参数可以用于投影像素以获得顶点坐标。面可以定义为来自相邻像素的顶点的三角形。
一旦场景几何体信息被捕获为网格，则程序500在框507中继续，其中在头戴式显示装置200中查询位置和虚拟相机参数。如上所述，头戴式显示装置200的位置可以通过追踪器303追踪。第一眼睛追踪器和第二眼睛追踪器221a-b可以用于确认用户的瞳孔间距(IPD)，且虚拟相机可以相应地定位。在框509中，虚拟相机中的立体图通过头戴式显示装置200来渲染。如下文更详细描述的，虚拟相机中的视图可以使用成像装置100的成像设备101的加权融合(weighted blend)。
图6为基于从两个不同物理成像设备(C1和C2)中收集的光场数据渲染虚拟相机(Cv)的示意图。光场渲染包括从采样的光场、例如通过成像装置100所捕获的广场中合成最新的立体图。与每个相机C1和C2相关联的是旋转、平移和内部参数(焦距、失真等)的值。如果可以访问连续光场，那么对于每个虚拟像素，渲染虚拟相机Cv中新视图将包括，使用Cv的相机模型对将通过该像素投影的光线进行采样。结果是到处都是完美聚焦的图像，完美的针孔渲染。然而，在成像设备的稀疏阵列中，这种方法是不可能的。
考虑到在CV的成像平面上的单个像素pV。忽略透镜畸变，光线rV可以从穿过像素pV的虚拟相机CV的针孔投影到世界中。在虚拟相机CV是真实的情况下，沿rV的第一物体是通过像素pV成像的。假设在沿光线rV的点ω处存在待成像的东西(例如，表面上的点)，如果对于真实相机的像素值pi在它们的视野中具有点ω，那么可以查询任何真实相机(例如相机C1或C2)。例如，真实相机C1的像素p1沿光线r1成像点ω，且真实相机C2的像素p2沿光线r2也成像点ω。每个虚拟像素的所有点ω的集合形成焦面，该焦面是从CV角度看的高度图。
如果N个真实相机成像点ω，那么就需要一种方案为虚拟像素pV分配值，该虚拟像素pV基于从N个真实相机收集的数据成像点ω。在一些实施方式中，程序可以使用像素值pis的加权融合，其中给定的像素pi的权重为虚拟光线rV和对应的真实相机ri的光线之间的角距离、以及点ω处的表面法线(surface normal)和虚拟光线rV之间的角距离的函数。可以假设虚拟相机CV的焦面与先前在框505中获取的场景几何体密切一致。然后可以基于灵敏度分析分配权重。在一个实施方式中，灵敏度分析可以包括以下步骤：
1.对于虚拟像素pV，找到它的光线rV与点ω处的焦面的交点，该焦面位于局部近似平面P上(每个像素使用其自身的焦面来单独处理)。
2.对于每个真实相机Ci，沿对应的光线ri将点ω反向投影到真实像素pi。
3.沿焦面的法线将焦面扰动量μ，该量μ表示实际几何体所在位置的估计的不确定性。
4.找到ri的ω’i与P+δμ的交叉点。
5.将ω’i投影到亚像素位置p’Vi处的CV中。
6.使得di＝||pV p’Vi||2为Ci的灵敏度差异。
7.对于一些函数f1(d)和归一化因子ν，选择li＝νf1(di)作为pi的权重，因此权重总和为1。
对每个虚拟像素pV重复步骤1-7。在图6所示的实施例中，由于光线r2比光线r1更靠近曲面法线，因此真实像素p2将接收比真实像素p1更大的权重(d2＜d1)。
函数f1(d)可以与径向基函数(radial basis function)相似，并且可以选中为使得归一化权重迅速下降，并绝大多数偏好具有最低差异的光线。例如，可以使用具有长恒定尾(long constant tail)的径向厄米特样条(Hermite spline)，对于表面后面的光线夹具权重(clamp weights)为0。即使当最佳的真实光线与虚拟光线具有非常大的角距离，长尾确保将存在至少一些渲染的数据。在样条结束和尾部开始的情况下，置信度阈值(confidence threshold)是可调参数，该可调参数可以被设定以适应不同相机的几何体——密集阵列提供较低的置信度阈值。在一些实施方式中，在所有权重之和低于阈值的情况下，渲染的图像的选择区域可以人为变暗以在视觉上指示高水平的不确定性，同时还提供虚拟相机应当看到什么的最合理的猜测。
这种用于计算权重的方法是对场景中光路的概率处理的近似。这可以将高权重分配至那些考虑到预期的不确定性，有较大可能实际上被投影至pV的像素pi。像素不是单个点，而是将入射光集成在有限区域上。更完整的模型可以考虑将每个像素的立体角(solidangle)投影到场景中，在其集成光的位置上进行一些分布。权重将反映这些投影的可能性分布。在一些实施方式中，该近似可用于计算方便。
程序在框511中结束。可以重复框503-509中概述的过程。由于光场捕获和图像显示之间的去耦合，因此与框507和509相比，框503和505可以以不同的帧速率独立地并平行地执行。
在一些实施方式中，可以使用光场渲染技术估算并去掉镜面反射。镜面反射是出现在起镜面的物体上的直接反射的光的亮点。如果没有针对镜面反射做出调整，那么当虚拟相机在周围移动时，通过真实相机捕获的镜面反射将根据像素的权重出现渐显或渐出，而不是如预期横跨表面追踪。为了模拟真实的镜面反应，确定以下内容是有益的：1)表面的漫反射(粗糙层(matte))颜色性能，2)表面几何体，3)场景中光线的位置。如上所述，表面几何体可以按照关于框505所描述的来估算。另外，成像装置100可以配备相对于成像设备101定位在已知位置的光源105。同样地，待确定的剩余性能是表面的漫反射(粗糙层)颜色性能。在一些实施方式中，这些性能可以通过在一系列曝光中使用相互正交二进制代码调制光源105的开关值来确定，类似于在码分多址(code division multiple access)方案中采用的方法。代码的正交性允许后置处理步骤分离每个光源105的贡献，以及背景光的贡献，产生堆栈(例如，在装置具有8个光源的情况下9个图像的堆栈)，每个堆栈仅具有一个激活的光源(除了环境条件以外的8个光源)。
通过在逐像素(per-pixel)的基础上检查强度的分布，可以按照漫反射值分配中值——最亮的值表示可能存在镜面高亮区，最暗的值表示当像素处于阴影中的情况。通过对中强度值进行平均，得到的图像可以去除几乎所有的镜面高亮区。对于像素强度变化给出了通过该像素看到的表面有多光滑的良好指示。结合估算的几何体和表面法线，该信息允许在虚拟相机位置相对于成像的表面移动时，模拟移动的镜面高亮区。
实施例
1.一种介导现实可视化***，其包括：
头戴式显示装置，其包括——
前侧，其面向第一方向；
后侧，其与所述前侧相对、且面向与所述第一方向相对的第二方
向，所述后侧配置为在用户佩戴时，面向用户的脸；以及立体显示设备，其面向所述第二方向，所述立体显示设备包括第
一显示器和第二显示器，其中，当所述头戴式显示装置被用户佩戴时，所述第一显示器配置为将图像显示至所述用户的右眼，所述第二显示器配置为将图像显示至所述用户的左眼；以及
成像装置，其与所述头戴式显示装置分离并间隔开来，所述成像装置配置为捕获光场数据；以及
计算设备，其与所述立体显示设备和所述成像装置通讯，所述计算设备配置为——
接收来自所述成像装置的所述光场数据；
处理所述光场数据以渲染第一虚拟相机和第二虚拟相机；以及
通过在所述第一显示器上显示来自所述第一虚拟相机的图像以及在所述第二显示器上显示来自所述第二虚拟相机的图像，经由所述立体显示设备呈现实时的立体图像。
2.根据实施例1所述的介导现实可视化***，其中，所述成像装置包括至少8个成像设备。
3.根据实施例1或2所述的介导现实可视化***，其中，所述成像装置包括全光相机。
4.根据实施例1-3中任一项所述的介导现实可视化***，其中，所述成像装置耦合至可定位在工作点位上的关节臂。
5.根据实施例1-4中任一项所述的介导现实可视化***，其中，在与所述头戴式显示装置的用户的眼睛位置对应的位置处渲染所述第一虚拟相机和所述第二虚拟相机。
6.根据实施例1-4中任一项所述的介导现实可视化***，其中，在与所述头戴式显示装置的用户的眼睛的位置不同的位置处渲染所述虚拟相机。
7.根据实施例1-6中任一项所述的介导现实可视化***，其中，来自所述第一虚拟相机的图像和来自所述第二虚拟相机的图像均包括非平面焦面。
8.根据实施例7所述的介导现实可视化***，其中，焦面对应于成像的场景的估算的表面几何体。
9.根据实施例1-8中任一项所述的介导现实可视化***，其中，所述计算设备还配置为：
接收辅助图像数据；
处理所述辅助图像数据；以及
在所述第一显示器和/或所述第二显示器中呈现来自所述辅助图像数据的处理过的辅助图像。
10.根据实施例9所述的介导现实可视化***，其中，所述辅助图像数据包括以下中的至少一个：荧光图像数据、磁共振成像数据、计算机断层摄影图像数据(computedtomography image data)、X射线图像数据、解剖图像数据和生命特征数据。
11.根据实施例1-10中任一项所述的介导现实可视化***，其中，所述计算设备还配置为将所述实时的立体图像呈现至第二头戴式显示装置。
12.根据实施例1-11中任一项所述的介导现实可视化***，其中，所述成像装置还包括：
多个单独地可控光源，其配置成照亮待成像的场景；以及
投影仪，其配置为将图像投影至待成像的场景中。
13.一种介导现实可视化***，其包括：
成像装置，其配置为捕获光场数据；
头戴式显示装置，其与所述成像装置分离并间隔开来，所述头戴式显示装置包括——
框架，其配置为佩戴在用户的头部；以及
显示设备，其耦合至所述框架，所述显示设备配置为朝向所述用户的眼睛显示图像；
计算设备，其与所述显示设备以及一个或多个所述成像设备通讯，所述计算设备配置为——
接收来自所述成像装置的所述光场数据；
从所述光场数据渲染至少一个虚拟相机；以及
通过所述显示设备呈现来自所述至少一个虚拟相机的图像。
14.根据实施例13所述的介导现实可视化***，其中，所述成像装置包括以下中的至少一个：全光相机或至少八个相机。
15.根据实施例13或14所述的介导现实可视化***，其中，所述计算设备配置为当用户佩戴所述框架时，在与所述用户的眼睛位置对应的位置处渲染所述至少一个虚拟相机。
16.根据实施例13-15中任一项所述的介导现实可视化***，其中，所述计算设备配置为实时地呈现所述图像。
17.根据实施例13-16中任一项所述的介导现实可视化***，其中，所述计算设备配置为通过渲染捕获的光场的一部分的放大图来渲染所述至少一个虚拟相机。
18.一种用于提供介导现实可视化的方法，所述方法包括：
通过成像装置捕获光场数据；
处理所述光场数据以渲染至少一个虚拟相机；以及
通过头戴式显示器显示来自所述虚拟相机的图像，其中，所述头戴式显示器与所述成像装置分离并间隔开来。
19.根据实施例18所述的方法，还包括：
处理所述光场数据以渲染两个虚拟相机；以及
通过所述头戴式显示器立体显示来自所述两个虚拟相机的图像。
20.根据实施例18或19所述的方法，其中，渲染所述至少一个虚拟相机包括当所述显示器安装至用户的头部时，在与所述用户的眼睛位置对应的位置处渲染所述至少一个虚拟相机。
21.根据实施例18-20中任一项所述的方法，还包括：
接收辅助图像数据；
处理辅助图像数据；以及
通过所述头戴式显示器显示所述辅助图像数据。
22.根据实施例18-21中任一项所述的方法，其中，渲染所述至少一个虚拟相机包括渲染捕获的光场的一部分的放大图。
结论
上述本技术的实施方式的详细描述并不旨在详尽或将技术限制于上述公开的确切形式。虽然已经上面以说明性的目的描述了本技术的具体实施方式和实施例，但是相关领域的技术人员将认识到在本技术的范围内的各种等效修改是可行的。例如，当以给定顺序呈现步骤时，可选的实施方式可以以不同的顺序执行步骤。还可以结合本文描述的各种实施方式以提供进一步的实施方式。
由以上可知，将要理解的是，本文已经描述的本发明的具体实施方式是为了说明性的目的，但是并未具体展示或描述众所周知的结构和功能，以避免不必要的模糊本技术的实施方式的描述。在上下文允许的情况下，单数术语或复数术语还可以分别包括复数术语或单数术语。
此外，关于两个或两个以上术语列表，除非单词“或者”明确地限定为仅意味着单项术语而排出其他术语，否则在这样的列表中使用“或者”则被解释为包括(a)该列表中的任意单项术语，(b)该列表中的全部术语，(c)该列表中术语的任意结合。另外，术语“包括”自始至终用于表示包括至少所陈述的特征，使得不排除任何更多数量的相同特征和/或其他特征的附加类型。还应当领会的是，虽然本文已经以说明的目的描述了具体的实施方式，但是在不脱离本技术的情况下可以做出各种修改。进一步地，尽管已经在那些实施方式的上下文中描述了与本技术的那些实施方式相关的优势，然而其他的实施方式也可以显示这些优势，并且不是全部的实施方式必须一定要显示出这样的优势以落入本技术的范围之内。因此，本公开和相关技术可涵盖本文未明确示出或描述的其他实施方式。

Claims (22)

1.一种介导现实可视化***，其包括：
头戴式显示装置，其包括—
前侧，其面向第一方向；
后侧，其与所述前侧相对、且面向与所述第一方向相对的第二方向，所述后侧配置为在用户佩戴时，面向用户的脸；以及
立体显示设备，其面向所述第二方向，所述立体显示设备包括第一显示器和第二显示器，其中，当所述头戴式显示装置被用户佩戴时，所述第一显示器配置为将图像显示至所述用户的右眼，所述第二显示器配置为将图像显示至所述用户的左眼；以及
成像装置，其与所述头戴式显示装置分离并间隔开来，所述成像装置配置为捕获光场数据；以及
计算设备，其与所述立体显示设备和所述成像装置通讯，所述计算设备配置为—
接收来自所述成像装置的所述光场数据；
处理所述光场数据以渲染第一虚拟相机和第二虚拟相机；以及
通过在所述第一显示器上显示来自所述第一虚拟相机的图像以及在所述第二显示器上显示来自所述第二虚拟相机的图像，经由所述立体显示器设备呈现实时的立体图像。
2.根据权利要求1所述的介导现实可视化***，其中，所述成像装置包括至少8个成像设备。
3.根据权利要求1所述的介导现实可视化***，其中，所述成像装置包括全光相机。
4.根据权利要求1所述的介导现实可视化***，其中，所述成像装置耦合至可定位在工作点位上的关节臂。
5.根据权利要求1所述的介导现实可视化***，其中，在与所述头戴式显示装置的用户的眼睛位置对应的位置处渲染所述第一虚拟相机和所述第二虚拟相机。
6.根据权利要求1所述的介导现实可视化***，其中，在与所述头戴式显示装置的用户的眼睛的位置不同的位置处渲染所述虚拟相机。
7.根据权利要求1所述的介导现实可视化***，其中，来自所述第一虚拟相机的图像和来自所述第二虚拟相机的图像各自包括非平面焦面。
8.根据权利要求7所述的介导现实可视化***，其中，焦面对应于成像的场景的估算的表面几何体。
9.根据权利要求1所述的介导现实可视化***，其中，所述计算设备还配置为：
接收辅助图像数据；
处理所述辅助图像数据；以及
在所述第一显示器和/或所述第二显示器中呈现来自所述辅助图像数据的处理过的辅助图像。
10.根据权利要求9所述的介导现实可视化***，其中，所述辅助图像数据包括以下中的至少一个：荧光图像数据、磁共振成像数据、计算机断层摄影图像数据、X射线图像数据、解剖图像数据和生命特征数据。
11.根据权利要求1所述的介导现实可视化***，其中，所述计算设备还配置为将所述实时的立体图像呈现至第二头戴式显示装置。
12.根据权利要求1所述的介导现实可视化***，其中，所述成像装置还包括：
多个单独地可控光源，其配置成照亮待成像的场景；以及
投影仪，其配置为将图像投影至待成像的场景中。
13.一种介导现实可视化***，其包括：
成像装置，其配置为捕获光场数据；
头戴式显示装置，其与所述成像装置分离并间隔开来，所述头戴式显示装置包括——
框架，其配置为佩戴在用户的头部；以及
显示设备，其耦合至所述框架，所述显示设备配置为朝向所述用户的眼睛显示图像；
计算设备，其与所述显示设备以及一个或多个所述成像设备通讯，所述计算设备配置为——
接收来自所述成像装置的所述光场数据；
从所述光场数据渲染至少一个虚拟相机；以及
通过所述显示设备呈现来自所述至少一个虚拟相机的图像。
14.根据权利要求13所述的介导现实可视化***，其中，所述成像装置包括以下中的至少一个：全光相机或至少八个相机。
15.根据权利要求13所述的介导现实可视化***，其中，所述计算设备配置为当用户佩戴所述框架时，在与所述用户的眼睛位置对应的位置处渲染所述至少一个虚拟相机。
16.根据权利要求13所述的介导现实可视化***，其中，所述计算设备配置为实时地呈现所述图像。
17.根据权利要求13所述的介导现实可视化***，其中，所述计算设备配置为通过渲染捕获的光场的一部分的放大图来渲染所述至少一个虚拟相机。
18.一种用于提供介导现实可视化的方法，所述方法包括：
通过成像装置捕获光场数据；
处理所述光场数据以渲染至少一个虚拟相机；以及
通过头戴式显示器显示来自所述虚拟相机的图像，其中，所述头戴式显示器与所述成像装置分离并间隔开来。
19.根据权利要求18所述的方法，还包括：
处理所述光场数据以渲染两个虚拟相机；以及
通过所述头戴式显示器立体显示来自所述两个虚拟相机的图像。
20.根据权利要求18所述的方法，其中，渲染所述至少一个虚拟相机包括当所述显示器安装至用户的头部时，在与所述用户的眼睛位置对应的位置处渲染所述至少一个虚拟相机。
21.根据权利要求18所述的方法，还包括：
接收辅助图像数据；
处理所述辅助图像数据；以及
通过所述头戴式显示器显示所述辅助图像数据。
22.根据权利要求18所述的方法，其中，渲染所述至少一个虚拟相机包括渲染捕获的光场的一部分的放大图。
CN201680091992.0A 2016-11-24 2016-11-24 头戴式显示器的光场捕获和渲染 Pending CN110192390A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/063676 WO2018097831A1 (en) 2016-11-24 2016-11-24 Light field capture and rendering for head-mounted displays

Publications (1)

Publication Number Publication Date
CN110192390A true CN110192390A (zh) 2019-08-30

Family

ID=62195551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680091992.0A Pending CN110192390A (zh) 2016-11-24 2016-11-24 头戴式显示器的光场捕获和渲染

Country Status (5)

Country Link
US (2) US11612307B2 (zh)
EP (1) EP3545675A4 (zh)
JP (1) JP7076447B2 (zh)
CN (1) CN110192390A (zh)
WO (1) WO2018097831A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127365A (zh) * 2019-12-26 2020-05-08 重庆矢崎仪表有限公司 基于三次样条曲线拟合的hud畸变矫正方法
CN113625452A (zh) * 2020-05-08 2021-11-09 格罗伯斯医疗有限公司 头戴式扩展现实（xr）显示装置

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
EP3165153A1 (en) * 2015-11-05 2017-05-10 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts System for fluorescence aided surgery
EP3376990A4 (en) * 2015-11-16 2019-05-08 Think Surgical, Inc. METHOD OF CONFIRMING BONE RECORDING UNDER OBSERVATION
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
JP7000050B2 (ja) * 2017-06-29 2022-01-19 キヤノン株式会社 撮像制御装置及びその制御方法
US11754843B2 (en) 2017-07-03 2023-09-12 Holovisions LLC Augmented reality eyewear with “ghost buster” technology
US12013538B2 (en) 2017-07-03 2024-06-18 Holovisions LLC Augmented reality (AR) eyewear with a section of a fresnel reflector comprising individually-adjustable transmissive-reflective optical elements
US11163163B2 (en) 2017-07-03 2021-11-02 Holovisions Augmented reality (AR) eyewear with at least one quasi Fresnel reflector (QFR)
US11307420B2 (en) 2017-07-03 2022-04-19 Holovisions LLC Augmented reality eyewear with “ghost buster” technology
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10437065B2 (en) * 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
AU2018346758B2 (en) * 2017-10-06 2022-11-03 Visie Inc. Generation of one or more edges of luminosity to form three-dimensional models of objects
AU2018379105B2 (en) 2017-12-10 2023-12-21 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
JP7344896B2 (ja) 2018-03-15 2023-09-14 マジック リープ， インコーポレイテッド 視認デバイスのコンポーネントの変形に起因する画像補正
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP3813636A1 (en) * 2018-07-24 2021-05-05 Sony Corporation Distributed image processing system in operating theater
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020028834A1 (en) 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
EP3840645A4 (en) * 2018-08-22 2021-10-20 Magic Leap, Inc. PATIENT VISUALIZATION SYSTEM
US10623660B1 (en) * 2018-09-27 2020-04-14 Eloupes, Inc. Camera array for a mediated-reality system
US11195319B1 (en) 2018-10-31 2021-12-07 Facebook Technologies, Llc. Computing ray trajectories for pixels and color sampling using interpolation
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
US10912625B2 (en) 2019-01-23 2021-02-09 Proprio, Inc. Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site
JP7515489B2 (ja) 2019-02-06 2024-07-12 マジック リープ， インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供***和方法
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的***和方法
US11030817B2 (en) * 2019-11-05 2021-06-08 Varjo Technologies Oy Display system and method of using environment map to generate extended-reality images
GB2588774B (en) * 2019-11-05 2024-05-15 Arspectra Sarl Augmented reality headset for medical imaging
CN114730490A (zh) 2019-11-14 2022-07-08 奇跃公司 用于虚拟现实和增强现实的***和方法
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
CA3161111A1 (en) 2019-12-10 2021-06-17 Mediview Xr, Inc. System and methods for planning and performing three-dimensional holographic interventional procedures
JP2023505956A (ja) * 2019-12-13 2023-02-14 スミス アンド ネフュー インコーポレイテッド 拡張現実を使用した解剖学的特徴抽出およびプレゼンテーション
WO2021150921A1 (en) 2020-01-22 2021-07-29 Photonic Medical Inc Open view, multi-modal, calibrated digital loupe with depth sensing
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
EP4013048A1 (en) * 2020-12-08 2022-06-15 Koninklijke Philips N.V. Object visualization
IL279338A (en) * 2020-12-09 2022-07-01 Point 2 Point Medical Ltd System and method for remote medical supervision
JP7224559B2 (ja) * 2020-12-10 2023-02-17 三菱電機株式会社 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
US20220240909A1 (en) * 2021-01-29 2022-08-04 Proprio, Inc. Clamp device for use with a tool, such as a rotatable medical tool
US12016642B2 (en) 2021-09-08 2024-06-25 Proprio, Inc. Constellations for tracking instruments, such as surgical instruments, and associated systems and methods
US20230100989A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Surgical devices, systems, and methods using fiducial identification and tracking
US20230147711A1 (en) * 2021-11-08 2023-05-11 Proprio, Inc. Methods for generating stereoscopic views in multicamera systems, and associated devices and systems
CN114157851B (zh) * 2021-11-26 2024-03-15 长沙海润生物技术有限公司 一种穿戴式创面感染成像设备及成像方法
CN114189668B (zh) * 2021-11-26 2024-03-15 长沙海润生物技术有限公司 一种穿戴式创面成像设备及成像方法
US20230319254A1 (en) * 2022-04-02 2023-10-05 Mantis Health, Inc. Stereoscopic camera adapter for enabling down-hole data capture and transmission

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1672626A (zh) * 2005-04-28 2005-09-28 重庆金山科技（集团）有限公司 立体成像的智能胶囊式消化道内窥镜
US20070121423A1 (en) * 2001-12-20 2007-05-31 Daniel Rioux Head-mounted display apparatus for profiling system
CN101742347A (zh) * 2010-01-04 2010-06-16 中国电信股份有限公司 实现立体显示的方法、显示装置及显示***
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特***有限公司 用于外科手术的视频捕获和显示的数字***
WO2015151447A1 (en) * 2014-03-31 2015-10-08 Sony Corporation Surgical control device, control method, and imaging control system
WO2015179446A1 (en) * 2014-05-20 2015-11-26 BROWND, Samuel, R. Systems and methods for mediated-reality surgical visualization

Family Cites Families (143)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5672575A (en) 1979-11-19 1981-06-16 Toshiba Corp Picture input unit
US4694185A (en) 1986-04-18 1987-09-15 Eastman Kodak Company Light sensing devices with lenticular pixels
US6405072B1 (en) 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5757423A (en) 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
US5999840A (en) 1994-09-01 1999-12-07 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets
US6577342B1 (en) 1998-09-25 2003-06-10 Intel Corporation Image sensor with microlens material structure
US6483535B1 (en) 1999-12-23 2002-11-19 Welch Allyn, Inc. Wide angle lens system for electronic imagers having long exit pupil distances
US6496557B2 (en) * 2000-02-09 2002-12-17 Hologic, Inc. Two-dimensional slot x-ray bone densitometry, radiography and tomography
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US6891518B2 (en) * 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
JP3960092B2 (ja) * 2001-07-12 2007-08-15 日産自動車株式会社 車両用画像処理装置
JP3905393B2 (ja) 2002-02-07 2007-04-18 オリンパス株式会社 手術装置
US20030210812A1 (en) 2002-02-26 2003-11-13 Ali Khamene Apparatus and method for surgical navigation
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
WO2004002289A2 (en) 2002-06-26 2004-01-08 Joseph Aferzon System and method for guiding surgical tools during surgical procedures
US20040044295A1 (en) 2002-08-19 2004-03-04 Orthosoft Inc. Graphical user interface for computer-assisted surgery
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
US7936392B2 (en) * 2004-10-01 2011-05-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US8295909B2 (en) 2005-06-16 2012-10-23 Brainlab Ag Medical tracking system with infrared data transfer
CA2620196A1 (en) 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
WO2007115825A1 (en) 2006-04-12 2007-10-18 Nassir Navab Registration-free augmentation device and method
US20080004533A1 (en) * 2006-06-30 2008-01-03 General Electric Company Optical imaging systems and methods
EP1925256A1 (de) 2006-11-24 2008-05-28 BrainLAB AG Verfahren und Vorrichtung zur Registrierung einer anatomischen Struktur mit Markern
US8253797B1 (en) * 2007-03-05 2012-08-28 PureTech Systems Inc. Camera image georeferencing systems
US8150494B2 (en) 2007-03-29 2012-04-03 Medtronic Navigation, Inc. Apparatus for registering a physical space to image space
US8010177B2 (en) 2007-04-24 2011-08-30 Medtronic, Inc. Intraoperative image registration
EP2139419A1 (en) 2007-04-24 2010-01-06 Medtronic, Inc. Method for performing multiple registrations in a navigated procedure
WO2008130354A1 (en) 2007-04-24 2008-10-30 Medtronic, Inc. Intraoperative image registration
US8384912B2 (en) 2007-09-26 2013-02-26 Elbit Systems Ltd. Wide field of view optical tracking system
US8885177B2 (en) 2007-09-26 2014-11-11 Elbit Systems Ltd. Medical wide field of view optical tracking system
CA2679903A1 (en) 2008-09-25 2010-03-25 Orthosoft Inc. Optical camera calibration for cas navigation
US20100099981A1 (en) 2008-10-21 2010-04-22 Fishel Robert S Trans-Septal Catheterization Device And Method
WO2010067267A1 (en) 2008-12-09 2010-06-17 Philips Intellectual Property & Standards Gmbh Head-mounted wireless camera and display unit
EP2244484B1 (en) * 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
JP5247590B2 (ja) * 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法
US9648346B2 (en) 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
WO2011050456A1 (en) 2009-10-28 2011-05-05 Imris Inc. Automatic registration of images for image guided surgery
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
JP2011248723A (ja) 2010-05-28 2011-12-08 Sony Corp 画像処理装置および方法、並びにプログラム
TW201205431A (en) * 2010-07-29 2012-02-01 Hon Hai Prec Ind Co Ltd Head wearable display system with interactive function and display method thereof
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
WO2012149548A2 (en) 2011-04-29 2012-11-01 The Johns Hopkins University System and method for tracking and navigation
KR20130003135A (ko) 2011-06-30 2013-01-09 삼성전자주식회사 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
JP5968107B2 (ja) 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
US8933935B2 (en) 2011-11-10 2015-01-13 7D Surgical Inc. Method of rendering and manipulating anatomical images on mobile computing device
EP2817785B1 (en) * 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
JP2015523102A (ja) 2012-04-16 2015-08-13 チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ 手術及び介入処置での追跡及び制御の為のデュアルモードステレオイメージングシステム
US20190282307A1 (en) 2012-04-16 2019-09-19 Children's National Medical Center Dual-mode imaging system for tracking and control during medical procedures
US20130307855A1 (en) * 2012-05-16 2013-11-21 Mathew J. Lamb Holographic story telling
EP2852326B1 (en) 2012-05-22 2018-12-05 Mazor Robotics Ltd. On-site verification of implant positioning
US9001427B2 (en) * 2012-05-30 2015-04-07 Microsoft Technology Licensing, Llc Customized head-mounted display device
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US8882662B2 (en) * 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
EP2912405B1 (en) 2012-10-29 2017-10-18 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
US20140192187A1 (en) * 2013-01-08 2014-07-10 Faro Technologies, Inc. Non-contact measurement device
RU2621488C2 (ru) 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
EP2967297B1 (en) 2013-03-15 2022-01-05 Synaptive Medical Inc. System for dynamic validation, correction of registration for surgical navigation
EP2981205A4 (en) 2013-04-04 2017-02-15 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
US20140375772A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for an SR and LR 3-D Visual Images and Sharing
US11019258B2 (en) * 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
IL229563A (en) 2013-11-21 2016-10-31 Elbit Systems Ltd Compact optical tracker
IL229527A (en) 2013-11-21 2015-06-30 Elbit Systems Ltd A wide-field medical tracking system
CA2931529C (en) 2013-11-27 2022-08-23 Children's National Medical Center 3d corrected imaging
KR102317478B1 (ko) 2013-12-03 2021-10-25 칠드런스 내셔널 메디컬 센터 상처의 평가 및 관리를 위한 방법 및 시스템
EP3103059A1 (de) * 2014-02-04 2016-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-bildanalysator zur blickrichtungsbestimmung
CN105979900B (zh) 2014-02-04 2020-06-26 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
EP3108447B1 (en) 2014-02-17 2020-03-25 Children's National Medical Center Method and system for providing recommendation for optimal execution of surgical procedures
US9948911B2 (en) 2014-09-05 2018-04-17 Qualcomm Incorporated Method and apparatus for efficient depth image transformation
EP3197382A4 (en) 2014-09-24 2018-06-13 7D Surgical Inc. Tracking marker support structure and surface registration methods employing the same for performing navigated surgical procedures
IL235073A (en) 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
WO2016082017A1 (en) 2014-11-27 2016-06-02 Synaptive Medical (Barbados) Inc. Method, system and apparatus for quantitative surgical image registration
US20210186355A1 (en) 2014-11-30 2021-06-24 Elbit Systems Ltd. Model registration system and method
IL236420A (en) 2014-12-23 2016-06-30 Ron Schneider Methods and systems for producing an enlarged 3D image
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10033995B2 (en) * 2015-03-01 2018-07-24 Nextvr Inc. Methods and apparatus for supporting content generation, transmission and/or playback
US11172823B2 (en) 2015-03-17 2021-11-16 Synaptive Medical Inc. Method, system and apparatus for tracking surgical imaging devices
US9779554B2 (en) * 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
WO2017011892A1 (en) 2015-07-21 2017-01-26 Synaptive Medical (Barbados) Inc. System and method for mapping navigation space to patient space in a medical procedure
US10353219B1 (en) * 2015-08-20 2019-07-16 Verily Life Sciences Llc Device, method and system to provide accommodation during a stereoscopic display
WO2017042171A1 (en) 2015-09-10 2017-03-16 Koninklijke Philips N.V. Apparatus for imaging in a medical treatment
CA3038648A1 (en) 2015-09-28 2017-04-06 Montefiore Medical Center Methods and devices for intraoperative viewing of patient 3d surface images
US11754267B2 (en) 2015-12-10 2023-09-12 7D Surgical Inc. Optical alignment system
CN108369639B (zh) 2015-12-11 2022-06-21 虞晶怡 使用多相机和深度相机阵列的基于图像的图像渲染方法和***
IL243384A (en) 2015-12-28 2017-05-29 Schneider Ron A method and system for determining the position and orientation of an instrument's tip relative to eye tissue
US11484363B2 (en) 2015-12-28 2022-11-01 Elbit Systems Ltd. System and method for determining the position and orientation of a tool tip relative to eye tissue of interest
WO2017117369A1 (en) 2015-12-31 2017-07-06 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
DE102016200225B4 (de) 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils
US11369436B2 (en) 2016-01-15 2022-06-28 7D Surgical Ulc Systems and methods for displaying guidance images with spatial annotations during a guided medical procedure
IL245560B2 (en) 2016-05-09 2024-05-01 Elbit Systems Ltd Optical coherence tomography (OCT) images are localized for surgical procedures in ophthalmology
SE542045C2 (en) 2016-05-15 2020-02-18 Ortoma Ab Calibration object, system, and method calibrating location of instrument in a navigation system
US20170344121A1 (en) * 2016-05-26 2017-11-30 Motorola Solutions, Inc System and method for completing a call utilizing a head-mounted display and a communication device
WO2017214735A1 (en) 2016-06-17 2017-12-21 7D Surgical Inc. Systems and methods for obtaining a structured light reconstruction of a 3d surface
EP3471646B1 (en) 2016-06-17 2023-07-05 Zimmer, Inc. System for intraoperative surgical planning
WO2017219149A1 (en) 2016-06-23 2017-12-28 7D Surgical Inc. Systems and methods for intraoperative spinal level verification
US10792110B2 (en) 2016-07-04 2020-10-06 7D Surgical Inc. Systems and methods for determining intraoperative spinal orientation
EP3481319A4 (en) 2016-07-05 2020-02-12 7D Surgical Inc. SYSTEMS AND METHODS FOR CARRYING OUT AN INTRAOPERATIVE IMAGE REGISTER
US10799315B2 (en) 2016-07-26 2020-10-13 7D Surgical Inc. Systems and methods for verification of fiducial correspondence during image-guided surgical procedures
US10398514B2 (en) 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
EP3509527A4 (en) 2016-09-09 2020-12-30 Mobius Imaging LLC METHODS AND SYSTEMS FOR DISPLAYING PATIENT DATA IN COMPUTER-ASSISTED SURGERY
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US10127728B2 (en) * 2016-09-30 2018-11-13 Sony Interactive Entertainment Inc. Facial feature views of user viewing into virtual reality scenes and integration of facial features into virtual reality views into scenes
US10828114B2 (en) 2016-10-18 2020-11-10 Synaptive Medical (Barbados) Inc. Methods and systems for providing depth information
IL250432A0 (en) 2017-02-02 2017-06-29 Elbit Systems Ltd Magnified imaging with high resolution and traceability for medical use
CA2960528C (en) 2017-03-08 2018-03-20 Synaptive Medical (Barbados) Inc. A depth-encoded fiducial marker for intraoperative surgical registration
CA3063693A1 (en) 2017-05-25 2018-11-29 Covidien Lp Systems and methods for detection of objects within a field of view of an image capture device
US11712304B2 (en) 2017-06-23 2023-08-01 7D Surgical ULC. Systems and methods for performing intraoperative surface-based registration and navigation
US11540767B2 (en) 2017-07-03 2023-01-03 Globus Medical Inc. Intraoperative alignment assessment system and method
WO2019028021A1 (en) 2017-07-31 2019-02-07 Children's National Medical Center SYSTEM AND METHOD OF LOCATION BASED ON ARTIFICIAL VISION AND HYBRID EQUIPMENT
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
EP3664737A1 (en) 2017-08-11 2020-06-17 Brainlab AG Video based patient registration and tracking
US11351005B2 (en) 2017-10-23 2022-06-07 Intuitive Surgical Operations, Inc. Systems and methods for presenting augmented reality in a display of a teleoperational system
US10832408B2 (en) 2017-10-26 2020-11-10 Synaptive Medical (Barbados) Inc. Patient registration systems, devices, and methods for a medical procedure
CN111356405B (zh) 2017-11-22 2024-05-28 马佐尔机器人有限公司 使用植入物成像来验证硬组织位置的方法
GB2572594A (en) 2018-04-04 2019-10-09 Corin Ltd Implant alignment system
US20190328465A1 (en) 2018-04-30 2019-10-31 Aih Llc System and method for real image view and tracking guided positioning for a mobile radiology or medical device
US20210077195A1 (en) 2018-05-16 2021-03-18 University Of Maryland, College Park Confidence-based robotically-assisted surgery system
EP3824621A4 (en) 2018-07-19 2022-04-27 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MULTIMODAL DETECTION OF DEPTH IN VISION SYSTEMS FOR AUTOMATED SURGICAL ROBOTS
IL262619B (en) 2018-10-25 2020-05-31 Beyeonics Surgical Ltd System and method to automatically adjust illumination during a microsurgical procedure
WO2020084625A1 (en) 2018-10-25 2020-04-30 Beyeonics Surgical Ltd. Ui for head mounted display system
CN113906479A (zh) 2018-12-28 2022-01-07 艾科缇弗外科公司 从局部深度图生成合成三维成像
WO2020140042A1 (en) 2018-12-28 2020-07-02 Activ Surgical, Inc. User interface elements for orientation of remote camera during surgery
EP3920824A1 (en) 2019-02-05 2021-12-15 Smith&Nephew, Inc. Patient-specific simulation data for robotic surgical planning
US20200297426A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
AU2020300612A1 (en) 2019-07-03 2022-02-03 Stryker Corporation Obstacle avoidance techniques for surgical navigation
US11672607B2 (en) 2019-08-14 2023-06-13 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
US11944265B2 (en) 2019-08-16 2024-04-02 Intuitive Surgical Operations, Inc. Medical imaging systems and methods
US11710249B2 (en) 2019-12-20 2023-07-25 Unify Medical, Inc. Generation of three-dimensional scans for intraoperative imaging
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121423A1 (en) * 2001-12-20 2007-05-31 Daniel Rioux Head-mounted display apparatus for profiling system
CN1672626A (zh) * 2005-04-28 2005-09-28 重庆金山科技（集团）有限公司 立体成像的智能胶囊式消化道内窥镜
CN101742347A (zh) * 2010-01-04 2010-06-16 中国电信股份有限公司 实现立体显示的方法、显示装置及显示***
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特***有限公司 用于外科手术的视频捕获和显示的数字***
WO2015151447A1 (en) * 2014-03-31 2015-10-08 Sony Corporation Surgical control device, control method, and imaging control system
WO2015179446A1 (en) * 2014-05-20 2015-11-26 BROWND, Samuel, R. Systems and methods for mediated-reality surgical visualization

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127365A (zh) * 2019-12-26 2020-05-08 重庆矢崎仪表有限公司 基于三次样条曲线拟合的hud畸变矫正方法
CN111127365B (zh) * 2019-12-26 2023-08-29 重庆矢崎仪表有限公司 基于三次样条曲线拟合的hud畸变矫正方法
CN113625452A (zh) * 2020-05-08 2021-11-09 格罗伯斯医疗有限公司 头戴式扩展现实（xr）显示装置
US11838493B2 (en) 2020-05-08 2023-12-05 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery

Also Published As

Publication number Publication date
EP3545675A4 (en) 2020-07-01
US20190289284A1 (en) 2019-09-19
US20240000295A1 (en) 2024-01-04
EP3545675A1 (en) 2019-10-02
US11612307B2 (en) 2023-03-28
WO2018097831A1 (en) 2018-05-31
JP2020516090A (ja) 2020-05-28
JP7076447B2 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
CN110192390A (zh) 头戴式显示器的光场捕获和渲染
US11852461B2 (en) Generation of one or more edges of luminosity to form three-dimensional models of objects
CA2931529C (en) 3d corrected imaging
KR102373714B1 (ko) 멀티포트 투시에 의한 수술 장면의 정량적 3차원 영상화
EP3076892B1 (en) A medical optical tracking system
CN106796344B (zh) 锁定在感兴趣对象上的放大图像的***、布置和方法
US7369101B2 (en) Calibrating real and virtual views
US6891518B2 (en) Augmented reality visualization device
CN104871084B (zh) 自适应投影仪
CN108366833A (zh) 手术信息处理设备和方法
CN106456252A (zh) 手术场景的定量三维成像
JP2023526239A (ja) 医療シーンなどのシーンを撮像してシーン内の物体を追跡する方法及びシステム
CN104380066A (zh) 用于在可见光中高光谱成像的***,用于记录高光谱图像并且在可见光中显示高光谱图像的方法
CA3105356A1 (en) Synthesizing an image from a virtual perspective using pixels from a physical imager array
JP2006033570A (ja) 画像生成装置
CN105809654A (zh) 目标对象跟踪方法、装置和立体显示设备及方法
CN108779978A (zh) 深度感测***和方法
JP2023511670A (ja) 多視点カメラシステムからのデータを用いるなどで深度センサからの深度データを増強する方法及びシステム
Hua et al. A testbed for precise registration, natural occlusion and interaction in an augmented environment using a head-mounted projective display (HMPD)
US11543663B2 (en) System and method for alignment between real and virtual objects in a head-mounted optical see-through display
Hua et al. Calibration of an HMPD-based augmented reality system
US12016642B2 (en) Constellations for tracking instruments, such as surgical instruments, and associated systems and methods
US20230147711A1 (en) Methods for generating stereoscopic views in multicamera systems, and associated devices and systems
US20230355319A1 (en) Methods and systems for calibrating instruments within an imaging system, such as a surgical imaging system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830