CN1802586A - 校准真实和虚拟视图 - Google Patents

校准真实和虚拟视图 Download PDF

Info

Publication number
CN1802586A
CN1802586A CNA2004800161027A CN200480016102A CN1802586A CN 1802586 A CN1802586 A CN 1802586A CN A2004800161027 A CNA2004800161027 A CN A2004800161027A CN 200480016102 A CN200480016102 A CN 200480016102A CN 1802586 A CN1802586 A CN 1802586A
Authority
CN
China
Prior art keywords
view
virtual
display
optical
real reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800161027A
Other languages
English (en)
Other versions
CN100416336C (zh
Inventor
F·索尔
Y·根克
N·纳瓦布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Corporate Research Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Corporate Research Inc filed Critical Siemens Corporate Research Inc
Publication of CN1802586A publication Critical patent/CN1802586A/zh
Application granted granted Critical
Publication of CN100416336C publication Critical patent/CN100416336C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种用于校准真实和虚拟视图的方法，包括：跟踪校准屏幕，其中现实参考点发生器产生的现实参考点被投影在校准屏幕上；使虚拟参考点的视图对准显示器中现实参考点的视图，其中现实参考点发生器和显示器具有固定的相对位置；确定虚拟参考点和现实参考点之间的点对应；以及确定用于在现实场景中渲染虚拟对象的一个或多个参数。

Description

校准真实和虚拟视图
发明领域
本发明涉及增强现实，更具体地说，本发明涉及透明头盔显示器的增强现实校准的***和方法。
相关技术讨论
增强视觉(也称为增强现实或增强现实视觉)使用叠加计算机生成图形信息来增强现实世界的用户视图。该信息可包括例如加在场景中一些对象上的文字标签、或者从MRI扫描得到的患者脑部的三维(3D)模型被对准该人头部的现实视图。
用户可通过他或她的眼睛来观察现实世界，并且经由位于观察者和现实世界之间的半透明显示器来混合附加图像信息。这种显示设备可以是例如光学透明头盔显示器。
该显示器也可以是不透明的，诸如计算机屏幕或非透明头盔显示器。该显示器然后为用户呈现完整的增强视图---现实世界视图和图形覆盖的组合。摄像机代替现实世界观察者来捕捉现实世界视图。两台照相机可实现用于立体视觉。计算机可用于组合现场视频和图形增强。这种显示设备是例如视频透明头盔显示器(HMD)。
以透视方式定位、定向、调整乃至渲染图形，用于正确对准现实世界视图。为了获得现实视图和虚拟视图的精确对准，图形可被固定为现实世界对象。由于这个原因，因此需要用户的观察点相对于该对象和对象方位的位置和方位的知识。因此，需要定义两个坐标***之间的关系，一个加在用户的头部上，一个加在对象上。
跟踪表示保持跟踪该关系的过程。可使用基于光学、磁、超声波和机械装置的商业跟踪***。
需要校准以获得场景中虚拟图形对象和现实对象之间的对准。由于现实和虚拟图像被组合在计算机中，因此可以以独立于用户的客观方式实现视频透明HMD。相比之下，使用光学透明HMD，现实和虚拟图像最终出现在用户的眼睛里，并且半透明屏幕后的用户眼睛的位置对对准具有重要影响。
不同的用于校准光学透明HMD的方法被认为是现有技术。所有已知的校准方法要求用户使虚拟结构对准现实参考结构。例如，在SPAAM方法中，在屏幕上为用户显示一系列固定图形标记，用户移动头，以使这些固定图形标记对准现实场景中的参考标记。用户头部的抖动妨碍了该对准。由于头部抖动，显示标记的位置抖动，并且不可能精确地对准虚拟和现实标记。
对于诸如手术室中需要精确测量和舒适使用的增强现实应用而言，当前不存在已知的***。因此，存在对于透明头盔显示器的增强现实校准的***和方法的需要。
发明内容
增强显示***包括：现实参考发生器，其用于在校准屏幕上显示现实参考；光学透明显示器，其具有相对于现实参考发生器的固定位置；以及虚拟参考发生器，其用于在光学透明显示器上现实虚拟参考。增强现实***还包括：输入设备，其用于通过光学透明显示器使虚拟参考的视图对准现实参考的视图，其中在光学透明显示器上移动虚拟参考；以及处理器，其用于确定渲染虚拟对象作为通过光学透明显示器看到的一部分现实场景的一个或多个参数。
增强现实***包括用于跟踪校准屏幕相对于现实参考的姿势的跟踪照相机。
增强现实***包括具有相对于现实参考发生器的固定位置的跟踪照相机，用于捕捉校准屏幕的视图。增强现实***还包括处理器，其中光学标记配置被固定于校准屏幕，并由跟踪照相机成像，其中处理器根据跟踪照相机捕捉的图像中光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系，头盔显示器包括现实参考发生器和光学透明显示器。
增强现实***包括：至少一台跟踪照相机，其用于捕捉校准屏幕的视图；以及头盔显示器，其包括现实参考发生器和光学透明显示器。增强现实***还包括处理器，其中光学标记配置被固定于校准屏幕和头盔显示器中的每一个上，并被至少一台跟踪照相机跟踪，其中处理器根据至少一台跟踪照相机捕捉的视图中各个光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系。
用于校准现实和虚拟视图的***包括：现实参考发生器，其用于在校准屏幕上显示现实参考；光学显示器，其具有相对于现实参考点发生器的固定位置；以及虚拟参考发生器，其用于在光学显示器中产生虚拟参考。该***还包括输入设备，用于使虚拟参考的视图对准现实参考的视图，其中在光学显示器上相对于现实参考的视图移动该虚拟参考；以及处理器，用于确定在光学显示器中看到的现实场景中渲染虚拟对象的一个或多个参数。
***还包括捕捉现实参考的视图的照相机，其中在光学显示器中显示现实参考，虚拟参考被叠加在该现实参考上。***还包括：跟踪照相机，其具有相对于现实参考发生器的固定位置，用于捕捉校准屏幕的视图；以及处理器，其中光学标记配置被固定于校准屏幕上，并被跟踪照相机跟踪，其中处理器根据跟踪照相机捕捉的视图中光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系，头盔显示器包括现实参考发生器和光学显示器。
***包括连接到现实参考发生器、用于捕捉校准屏幕的视图的跟踪照相机。该***还包括处理器，其中光学标记配置被固定于校准屏幕上，并被跟踪照相机跟踪，其中处理器根据跟踪照相机捕捉的视图中光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系，并且头盔显示器包括现实参考发生器和光学显示器。
***包括：至少一台跟踪照相机，用于捕捉校准屏幕的视图；以及头盔显示器，其包括现实参考发生器和光学显示器。***还包括处理器，其中光学标记配置被固定于校准屏幕和头盔显示器中的每一个上，并且被跟踪照相机跟踪，其中处理器根据至少一台跟踪照相机捕捉的视图中各个光学标记配置的位置来确定校准屏幕和头盔显示器之间的位置关系。
用于校准现实和虚拟视图的方法包括：跟踪校准屏幕，其中现实参考发生器产生的现实参考被投影在校准屏幕上；使虚拟参考对准显示器中的现实参考，其中现实参考发生器和显示器具有固定的相对位置；确定虚拟参考和现实参考之间的点对应；以及确定用于在现实场景中渲染虚拟对象的一个或多个参数。
该方法包括在光学透明显示器上显示虚拟参考，通过该光学透明显示器，现实参考是可见的。
该方法包括：捕捉包括现实参考的现实场景的视图，并且显示用虚拟参考增强的现实场景的该视图。
附图简要描述
以下将参考附图更详细地描述本发明的优选实施例：
图1是根据本发明公开的实施例的校准***的图示；
图2A是根据本发明公开的实施例的增强现实校准***的图示；
图2B是根据本发明公开的实施例的增强现实校准***的图示；
图2C是根据本发明公开的实施例的视频透明增强现实校准***的图示；
图3是根据本发明公开的实施例的方法的流程图；
图4是根据本发明公开的实施例的方法的流程图。
优选实施例详细描述
用于校准光学透明头盔显示器(HMD)的***和方法将现实参考实现为源自连在HMD上的照明器的光点。这些光点随同HMD“一起抖动”，并且用户没有察觉到显示在HMD的半透明屏幕上固定位置处的这些参考标记和虚拟标记之间的任何抖动。
参考图1，为了校准光学透明***，用户100使HMD的半透明屏幕103上显示为图形的虚拟参考101对准通过屏幕103观察的现实参考结构102。现实参考结构102被实现为校准屏幕104或其它感光底层上的投影光点和/或图像。现实参考102和虚拟参考101可以是例如一个或多个点或形状。
应该理解可以用各种形式的硬件、软件、固件、专用处理器或上述组合来实现本发明。在一个实施例中，可以用作为程序存储设备上实际实施的应用程序的软件实现本发明。该应用程序可被上载到包括任何适当结构的机器，并可由该机器执行。
还应该理解由于可以用软件实现附图中所示的一些组成***构件和方法步骤，因此***构件(或过程步骤)之间的实际连接可根据本发明编程的方式变化。这里提供的本发明的教导，本领域的专业技术人员将能够考虑到本发明的这些和类似的实现或配置。
参考图2A和2B，现实参考102源自牢固地连在HMD 201上、并通过屏幕103观察的照明***200。当用户移动HMD 201时，现实参考102在校准屏幕104上移动，并且对于小的头部运动而言，当通过HMD的半透明屏幕103观看时，现实参考102看上去相对于虚拟参考101固定。由于现实参考102和虚拟参考101之间的抖动充分降低，因此从用户100的有利位置来看，现在对准过程是容易的。
在平面屏幕104上观察现实参考102，用户可以将手臂长度的屏幕104握在一只手上、将该屏幕放在桌上等。
屏幕104跟踪用户的头部或HMD 201。跟踪布置包括外部或(见图2A)或头盔(见图2B)跟踪照相机202。屏幕104(在光学跟踪的情况下)和HMD 201(在图2A的外部跟踪照相机的情况下)包括光学标记203。光学标记203可以是例如回射平盘或者回射球。
照明器200投影包括一个(或者最好是几个)点的光图像102。可使用单个光源和产生光图像102的光学***来构造照明器200。例如，激光可以与透镜***及掩模、或者绕射光学组件一起使用，以产生一群光点。
备选地，可使用一群光源(诸如LED阵列)，其优点是可以使光图像是可切换的。可单独接通和切断LED。这些LED可以与透镜***或微光学组件(例如透镜阵列)组合。
照明器200还可包括在不同光束方向之间切换的扫描装置或光束偏转装置。
屏幕103可以是例如单目布置或双目布置。在双目布置中，最好一个接一个地单独校准两个屏幕，结合半透明显示器103的适当光学组件204产生虚拟参考101的图像。由于用户透视半透明显示器103，因此虚拟参考101是用户可见的。备选地，可使用图像投影仪和包括光束分离器的光学***实施透明显示器。
为了执行校准，从用户的角度来看(例如205)，用户100将显示在半透明屏幕103上的虚拟参考101移动到对准参考光图像102。用户101控制接口206(例如处理器207和输入设备208)，以便移动屏幕103上的虚拟参考101。输入设备208可以是例如轨迹球或鼠标。处理器207可以是虚拟参考发生器，其包括在半透明屏幕上渲染显示的虚拟参考的处理器和图形卡。
为了完成校准过程，用户使虚拟参考101对准几个现实参考光点(例如102)。为了更好的校准精度，用户可假设相对于校准屏幕104的不同姿势(例如距离和/或方位)。
处理器(例如207)根据标记203的位置以及用户确定的虚拟参考101和现实参考102的对准来确定校准屏幕104和HMD 201之间的空间关系。图2B是包括跟踪照相机202的HMD的示例。如图所示，在跟踪照相机被固定于HMD上的地方，仅可使用固定于校准屏幕104的光学标记203来确定校准屏幕104和HMD 201之间的空间关系。此外，可根据固定于屏幕104的不同光学标记203的关系来确定校准屏幕104的姿势。
图2C是根据本发明公开的实施例的视频透明增强现实***，其中照相机(例如202)捕捉包括现实参考102的现实场景的图像。可通过单独的照相机执行照相机202的跟踪和视频功能。为用户101显示现实场景的图像。虚拟视图被叠加在现实视图(例如209)上，并且用户101察觉到现实和虚拟视图(例如204)。用户可以使虚拟参考对准现实场景中现实参考的视图。
参考图3，考虑头盔跟踪照相机的情况。跟踪照相机和照明器彼此机械固定，并且确定产生参考点的光束相对于跟踪照相机的坐标***的位置和方位。通过跟踪校准屏幕301，可确定作为对应光束与屏幕平面交叉点的、跟踪照相机坐标***中参考点的3D坐标。
在校准过程期间，用户对准现实和虚拟参考302，并且***记录一组3D-2D点对应303。每个点对应是由用户已经对准参考的、参考光点的3D坐标和虚拟标记的2D坐标组成。该组点对应使得可以确定用于渲染正确对准现实场景304的虚拟物体的一个或多个参数。例如，确定显示在半透明屏幕上的虚拟世界的用户视图的照相机参数与确定通过屏幕看到的现实世界的用户视图的照相机参数匹配。这些确定是本技术中已知的，例如，如2001年9月25日提交的、名称为“用于校准增强现实的单目光学透明头盔显示器***的***和方法”的美国专利申请号20020105484中所述，其中校准可包括使物理环境与内部表示匹配、以使计算机的内部模型与物理环境匹配的数学模型的初始参数值。这些参数包括例如物理照相机的光学特性，以及诸如照相机、用于跟踪的标记和各种对象的各种实体的位置和方位(姿势)信息。
在成功校准了单个用户的光学透明增强现实***之后，该***可以以3D图形对象看上去牢固地固定在显示场景中的方式渲染这些对象。使用跟踪***来跟踪、并使用图形对象的虚拟视图的对应变化来解释用户的观点变化。
头盔跟踪照相机的情况的备选情况是，外部跟踪装置可以与相对于照明器牢固固定的头盔标记或传感器共同使用。跟踪***跟踪HMD和校准屏幕(401)。同样，校准光点的3D坐标可被对准(402)，并可被确定为光束和屏幕平面的交叉点(403)。虚拟参考点对准屏幕上显示为光的现实参考点，并且记录对应(404)。
***包括头盔显示器、跟踪装置、计算和图形渲染装置、光投影装置、以及可跟踪屏幕。
可以在每个点对应的若干个测量上平均现实和虚拟参考结构之间的校准对准。注意到虚拟标记和现实标记相对于彼此显示出无抖动。平均可降低校准中的误差。与使用外部特征的校准程序比较，平均是易用的。这里，由于现实和虚拟标记之间降低的抖动，因此用户可以保持对准达一秒或几秒。
已经描述了用于校准现实和虚拟视图的***和方法的实施例，注意到本领域的技术人员可根据以上教学来实现修改和改变。因此，应该理解可以在所附权利要求定义的本发明的保护范围和精神内的、公开的本发明的具体实施例中实现这些改变。由此已经描述了本发明的细节、具体是专利法所要求的细节，在所附权利要求中阐述了专利许可宣告和期望保护的。

Claims (16)

1.一种增强现实***，包括：
现实参考发生器，其用于在校准屏幕上显示现实参考；
光学透明显示器，其具有相对于所述现实参考发生器的固定位置；
虚拟参考发生器，其用于在所述光学透明显示器上显示虚拟参考；
输入设备，其用于通过所述光学透明显示器使所述虚拟参考的视图对准所述现实参考的视图，其中在所述光学透明显示器上移动所述虚拟参考；以及
处理器，其用于确定渲染虚拟对象作为通过所述光学透明显示器看到的一部分现实场景的一个或多个参数。
2.如权利要求1所述的增强现实***，还包括用于跟踪所述校准屏幕相对于所述现实参考的姿势的跟踪照相机。
3.如权利要求1所述的增强现实***，还包括具有相对于所述现实参考发生器的固定位置的、用于捕捉所述校准屏幕的视图的跟踪照相机。
4.如权利要求3所述的增强现实***，还包括处理器，其中光学标记配置被固定于所述校准屏幕，并由所述跟踪照相机成像，其中所述处理器根据所述跟踪照相机捕捉的图像中所述光学标记配置的位置来确定所述校准屏幕和头盔显示器之间的位置关系，所述头盔显示器包括所述现实参考发生器和光学透明显示器。
5.如权利要求1所述的增强现实***，还包括：至少一台跟踪照相机，其用于捕捉所述校准屏幕的视图；以及头盔显示器，其包括所述现实参考发生器和光学透明显示器。
6.如权利要求5所述的增强现实***，还包括处理器，其中光学标记配置被固定于所述校准屏幕和所述头盔显示器中的每一个上，并被所述至少一台跟踪照相机跟踪，其中所述处理器根据所述至少一台跟踪照相机捕捉的所述视图中各个光学标记配置的所述位置来确定所述校准屏幕和所述头盔显示器之间的位置关系。
7.一种用于校准现实和虚拟视图的***，包括：
现实参考发生器，其用于在校准屏幕上显示现实参考；
光学显示器，其具有相对于所述现实参考发生器的固定位置；
虚拟参考发生器，其用于在所述光学显示器上产生虚拟参考；
输入设备，其用于使所述虚拟参考的视图对准所述现实参考的视图，其中在所述光学显示器上相对于所述现实参考的所述视图移动所述虚拟参考；以及
处理器，其用于确定在所述光学显示器中看到的现实场景中渲染虚拟对象的一个或多个参数。
8.如权利要求7所述的用于校准现实和虚拟视图的***，还包括捕捉所述现实参考的所述视图的照相机，其中在所述光学显示器中显示所述现实参考，所述虚拟参考被叠加在所述现实参考上。
9.如权利要求8所述的用于校准现实和虚拟视图的***，还包括：
跟踪照相机，其具有相对于所述现实参考发生器的固定位置，用于捕捉所述校准屏幕的视图；以及
处理器，其中光学标记配置被固定于所述校准屏幕，并被所述跟踪照相机跟踪，其中所述处理器根据所述跟踪照相机捕捉的所述视图中所述光学标记配置的位置来确定所述校准屏幕和头盔显示器之间的位置关系，所述头盔显示器包括所述现实参考发生器和光学显示器。
10.如权利要求7所述的用于校准现实和虚拟视图的***，还包括连接到所述现实参考发生器、用于捕捉所述校准屏幕的视图的跟踪照相机。
11.如权利要求10所述的用于校准现实和虚拟视图的***，还包括处理器，其中光学标记配置被固定于所述校准屏幕，并被所述跟踪照相机跟踪，其中所述处理器根据所述跟踪照相机捕捉的所述视图中所述光学标记配置的位置来确定所述校准屏幕和头盔显示器之间的位置关系，所述头盔显示器包括所述现实参考发生器和光学显示器。
12.如权利要求7所述的用于校准现实和虚拟视图的***，还包括：至少一台跟踪照相机，用于捕捉所述校准屏幕的视图；以及头盔显示器，其包括所述现实参考发生器和光学显示器。
13.如权利要求12所述的用于校准现实和虚拟视图的***，还包括处理器，其中光学标记配置被固定于所述校准屏幕和所述头盔显示器中的每一个，并被所述跟踪照相机跟踪，其中所述处理器根据所述至少一台跟踪照相机捕捉的所述视图中各个光学标记配置的位置来确定所述校准屏幕和所述头盔显示器之间的位置关系。
14.一种用于校准现实和虚拟视图的方法，包括：
跟踪校准屏幕，其中现实参考发生器产生的现实参考被投影在所述校准屏幕上；
使虚拟参考对准显示器中所述现实参考的视图，其中所述现实参考发生器和所述显示器具有固定的相对位置；
确定所述虚拟参考和所述现实参考之间的点对应；以及
确定用于在所述现实场景中渲染虚拟对象的一个或多个参数。
15.如权利要求14所述的用于校准现实和虚拟视图的方法，还包括在光学透明显示器上显示所述虚拟参考，通过所述光学透明显示器，所述现实参考是可见的。
16.如权利要求14所述的用于校准现实和虚拟视图的方法，还包括
捕捉包括所述现实参考的现实场景的视图；以及
显示用所述虚拟参考增强的所述现实场景的所述视图。
CNB2004800161027A 2003-06-12 2004-06-09 校准真实和虚拟视图 Expired - Fee Related CN100416336C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US47786103P 2003-06-12 2003-06-12
US60/477,861 2003-06-12
US10/863,414 2004-06-08

Publications (2)

Publication Number Publication Date
CN1802586A true CN1802586A (zh) 2006-07-12
CN100416336C CN100416336C (zh) 2008-09-03

Family

ID=36811829

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800161027A Expired - Fee Related CN100416336C (zh) 2003-06-12 2004-06-09 校准真实和虚拟视图

Country Status (1)

Country Link
CN (1) CN100416336C (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702233B (zh) * 2009-10-16 2011-10-05 电子科技大学 视频帧中基于三点共线标记点的三维定位方法
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN102681661A (zh) * 2011-01-31 2012-09-19 微软公司 在玩游戏中使用三维环境模型
CN103309036A (zh) * 2012-03-08 2013-09-18 精工爱普生株式会社 虚像显示装置
CN103732297A (zh) * 2011-06-30 2014-04-16 奥林奇实验室 增强现实活动范围的治疗***及其操作方法
CN103907139A (zh) * 2011-11-11 2014-07-02 索尼公司 信息处理装置、信息处理方法和程序
CN104081379A (zh) * 2011-10-27 2014-10-01 电子湾股份有限公司 使用增强现实的物品的可视化
CN104205175A (zh) * 2012-03-29 2014-12-10 索尼公司 信息处理装置，信息处理***及信息处理方法
CN105103034A (zh) * 2013-03-25 2015-11-25 索尼电脑娱乐欧洲有限公司 显示器
CN105247448A (zh) * 2013-05-10 2016-01-13 微软技术许可有限责任公司 眼睛位置的校准
CN105301777A (zh) * 2015-12-05 2016-02-03 中国航空工业集团公司洛阳电光设备研究所 一种平显调校方法和专用于实施该方法的装置
US9619561B2 (en) 2011-02-14 2017-04-11 Microsoft Technology Licensing, Llc Change invariant scene recognition by an agent
CN106774880A (zh) * 2010-12-22 2017-05-31 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
CN106773054A (zh) * 2016-12-29 2017-05-31 北京乐动卓越科技有限公司 一种实现增强现实互动的装置及方法
CN106951074A (zh) * 2013-01-23 2017-07-14 青岛海信电器股份有限公司 一种实现虚拟触摸校准的方法以及***
CN103181157B (zh) * 2011-07-28 2017-09-01 三星电子株式会社 基于平面特性的无标记增强现实***及其操作方法
CN107624165A (zh) * 2015-06-15 2018-01-23 埃西勒国际通用光学公司 用于校准双目显示设备的方法
CN108107592A (zh) * 2014-01-06 2018-06-01 欧库勒斯虚拟现实有限责任公司 虚拟现实***的校准
CN108830939A (zh) * 2018-06-08 2018-11-16 杭州群核信息技术有限公司 一种基于混合现实的场景漫游体验方法及体验***
CN109040738A (zh) * 2014-07-10 2018-12-18 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
CN109313811A (zh) * 2017-05-18 2019-02-05 深圳配天智能技术研究院有限公司 基于视觉***振动移位的自动校正方法、装置及***
US10210659B2 (en) 2009-12-22 2019-02-19 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
CN110383341A (zh) * 2017-02-27 2019-10-25 汤姆逊许可公司 用于视觉效果的方法、***和装置
CN110874135A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 光学畸变的校正方法、装置、终端设备及存储介质
CN110874868A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 数据处理方法、装置、终端设备及存储介质
US10614602B2 (en) 2011-12-29 2020-04-07 Ebay Inc. Personal augmented reality
WO2020244209A1 (zh) * 2019-06-05 2020-12-10 歌尔股份有限公司 应用于增强现实设备的校准装置及校准方法
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US10956775B2 (en) 2008-03-05 2021-03-23 Ebay Inc. Identification of items depicted in images
CN112752922A (zh) * 2018-05-09 2021-05-04 梦境沉浸股份有限公司 用于光学跟踪虚拟现实***的用户可选工具
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US11651398B2 (en) 2012-06-29 2023-05-16 Ebay Inc. Contextual menus based on image recognition
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1580253A (en) * 1977-02-21 1980-11-26 Australasian Training Aids Pty Firing range
US4439755A (en) * 1981-06-04 1984-03-27 Farrand Optical Co., Inc. Head-up infinity display and pilot's sight
GB2259213A (en) * 1991-08-29 1993-03-03 British Aerospace Variable resolution view-tracking display
TW395121B (en) * 1996-02-26 2000-06-21 Seiko Epson Corp Personal wearing information display device and the display method using such device
US6701174B1 (en) * 2000-04-07 2004-03-02 Carnegie Mellon University Computer-aided bone distraction
US20020105484A1 (en) * 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956775B2 (en) 2008-03-05 2021-03-23 Ebay Inc. Identification of items depicted in images
US11727054B2 (en) 2008-03-05 2023-08-15 Ebay Inc. Method and apparatus for image recognition services
US11694427B2 (en) 2008-03-05 2023-07-04 Ebay Inc. Identification of items depicted in images
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
CN101702233B (zh) * 2009-10-16 2011-10-05 电子科技大学 视频帧中基于三点共线标记点的三维定位方法
US10210659B2 (en) 2009-12-22 2019-02-19 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
CN106774880B (zh) * 2010-12-22 2020-02-21 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
CN106774880A (zh) * 2010-12-22 2017-05-31 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
CN102681661B (zh) * 2011-01-31 2015-05-20 微软公司 在玩游戏中使用三维环境模型
CN102681661A (zh) * 2011-01-31 2012-09-19 微软公司 在玩游戏中使用三维环境模型
US9619561B2 (en) 2011-02-14 2017-04-11 Microsoft Technology Licensing, Llc Change invariant scene recognition by an agent
CN103732297A (zh) * 2011-06-30 2014-04-16 奥林奇实验室 增强现实活动范围的治疗***及其操作方法
CN103732297B (zh) * 2011-06-30 2016-11-02 奥林奇实验室 增强现实活动范围的治疗***及其操作方法
CN103181157B (zh) * 2011-07-28 2017-09-01 三星电子株式会社 基于平面特性的无标记增强现实***及其操作方法
US11475509B2 (en) 2011-10-27 2022-10-18 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US10628877B2 (en) 2011-10-27 2020-04-21 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
CN104081379A (zh) * 2011-10-27 2014-10-01 电子湾股份有限公司 使用增强现实的物品的可视化
US11113755B2 (en) 2011-10-27 2021-09-07 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US10147134B2 (en) 2011-10-27 2018-12-04 Ebay Inc. System and method for visualization of items in an environment using augmented reality
CN103907139A (zh) * 2011-11-11 2014-07-02 索尼公司 信息处理装置、信息处理方法和程序
US10614602B2 (en) 2011-12-29 2020-04-07 Ebay Inc. Personal augmented reality
CN103309036A (zh) * 2012-03-08 2013-09-18 精工爱普生株式会社 虚像显示装置
US9824497B2 (en) 2012-03-29 2017-11-21 Sony Corporation Information processing apparatus, information processing system, and information processing method
US10198870B2 (en) 2012-03-29 2019-02-05 Sony Corporation Information processing apparatus, information processing system, and information processing method
CN104205175A (zh) * 2012-03-29 2014-12-10 索尼公司 信息处理装置，信息处理***及信息处理方法
CN104205175B (zh) * 2012-03-29 2017-11-14 索尼公司 信息处理装置，信息处理***及信息处理方法
US11651398B2 (en) 2012-06-29 2023-05-16 Ebay Inc. Contextual menus based on image recognition
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
CN106951074B (zh) * 2013-01-23 2019-12-06 青岛海信电器股份有限公司 一种实现虚拟触摸校准的方法以及***
CN106951074A (zh) * 2013-01-23 2017-07-14 青岛海信电器股份有限公司 一种实现虚拟触摸校准的方法以及***
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
CN105103034A (zh) * 2013-03-25 2015-11-25 索尼电脑娱乐欧洲有限公司 显示器
CN105247448B (zh) * 2013-05-10 2018-04-10 微软技术许可有限责任公司 眼睛位置的校准
CN105247448A (zh) * 2013-05-10 2016-01-13 微软技术许可有限责任公司 眼睛位置的校准
CN108107592A (zh) * 2014-01-06 2018-06-01 欧库勒斯虚拟现实有限责任公司 虚拟现实***的校准
CN109040738A (zh) * 2014-07-10 2018-12-18 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
CN109040738B (zh) * 2014-07-10 2020-08-25 精工爱普生株式会社 校准方法和非暂态计算机可读介质
CN107624165A (zh) * 2015-06-15 2018-01-23 埃西勒国际通用光学公司 用于校准双目显示设备的方法
CN105301777B (zh) * 2015-12-05 2018-06-26 中国航空工业集团公司洛阳电光设备研究所 一种平显调校方法和专用于实施该方法的装置
CN105301777A (zh) * 2015-12-05 2016-02-03 中国航空工业集团公司洛阳电光设备研究所 一种平显调校方法和专用于实施该方法的装置
CN106773054A (zh) * 2016-12-29 2017-05-31 北京乐动卓越科技有限公司 一种实现增强现实互动的装置及方法
CN110383341A (zh) * 2017-02-27 2019-10-25 汤姆逊许可公司 用于视觉效果的方法、***和装置
CN109313811B (zh) * 2017-05-18 2021-11-05 深圳配天智能技术研究院有限公司 基于视觉***振动移位的自动校正方法、装置及***
CN109313811A (zh) * 2017-05-18 2019-02-05 深圳配天智能技术研究院有限公司 基于视觉***振动移位的自动校正方法、装置及***
CN112752922A (zh) * 2018-05-09 2021-05-04 梦境沉浸股份有限公司 用于光学跟踪虚拟现实***的用户可选工具
CN112752922B (zh) * 2018-05-09 2024-02-20 梦境沉浸股份有限公司 用于光学跟踪虚拟现实***的用户可选工具
US11977688B2 (en) 2018-05-09 2024-05-07 Dreamscape Immersive, Inc. User-selectable tool for an optical tracking virtual reality system
CN108830939A (zh) * 2018-06-08 2018-11-16 杭州群核信息技术有限公司 一种基于混合现实的场景漫游体验方法及体验***
CN108830939B (zh) * 2018-06-08 2022-06-10 杭州群核信息技术有限公司 一种基于混合现实的场景漫游体验方法及体验***
CN110874135A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 光学畸变的校正方法、装置、终端设备及存储介质
CN110874868A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 数据处理方法、装置、终端设备及存储介质
WO2020244209A1 (zh) * 2019-06-05 2020-12-10 歌尔股份有限公司 应用于增强现实设备的校准装置及校准方法

Also Published As

Publication number Publication date
CN100416336C (zh) 2008-09-03

Similar Documents

Publication Publication Date Title
CN100416336C (zh) 校准真实和虚拟视图
US7369101B2 (en) Calibrating real and virtual views
US10983354B2 (en) Focus adjusting multiplanar head mounted display
CN105320271B (zh) 利用直接几何建模的头戴式显示器校准
Birkfellner et al. A head-mounted operating binocular for augmented reality visualization in medicine-design and initial evaluation
US6891518B2 (en) Augmented reality visualization device
US20060176242A1 (en) Augmented reality device and method
CN106535806A (zh) 来自多端口视角的手术场景的定量三维成像
EP1369769A2 (en) System and method for measuring the registration accuracy of an augmented reality system
CN106456267A (zh) 器械在视野中的定量三维可视化
Figl et al. A fully automated calibration method for an optical see-through head-mounted operating microscope with variable zoom and focus
Vogt et al. Reality augmentation for medical procedures: System architecture, single camera marker tracking, and system evaluation
US20180217393A1 (en) Spherical display using flexible substrates
CN113925441B (zh) 一种基于内窥镜的成像方法及成像***
Livingston Vision-based tracking with dynamic structured light for video see-through augmented reality
US10992928B1 (en) Calibration system for concurrent calibration of device sensors
CN117957479A (zh) 使用空间定位的自由形式光学部件进行失真补偿和图像清晰度增强的紧凑型成像光学器件
CN114569257A (zh) 实时定位补偿方法及可实时定位补偿的影像定位***
US11071453B2 (en) Systems and methods for reflection-based positioning relative to an eye
Hua et al. Calibration of an HMPD-based augmented reality system
Janin et al. Videometric head tracker for augmented reality applications
US20230300470A1 (en) Techniques for producing glints and iris illumination for eye tracking
LaRose A fast, affordable system for augmented reality
CN118303989A (zh) 多源视觉重建与定位***
WO2024147919A1 (en) Generating tile-based region of interest representation of video frames for video encoding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SIEMENS MEDICAL SYSTEMS, INC.

Free format text: FORMER OWNER: SIEMENS MEDICAL SOLUTIONS

Effective date: 20061110

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20061110

Address after: American Pennsylvania

Applicant after: American Siemens Medical Solutions Inc.

Address before: new jersey

Applicant before: Siemens Corporate Research, Inc.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080903

Termination date: 20200609