CN105103034A - 显示器 - Google Patents

显示器 Download PDF

Info

Publication number
CN105103034A
CN105103034A CN201480016970.9A CN201480016970A CN105103034A CN 105103034 A CN105103034 A CN 105103034A CN 201480016970 A CN201480016970 A CN 201480016970A CN 105103034 A CN105103034 A CN 105103034A
Authority
CN
China
Prior art keywords
image
display
camera
orientation
beholder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480016970.9A
Other languages
English (en)
Other versions
CN105103034B (zh
Inventor
I.H.比克斯塔夫
S.M.本森
O.赖特
S.W.拉戈巴达亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Europe Ltd filed Critical Sony Computer Entertainment Europe Ltd
Publication of CN105103034A publication Critical patent/CN105103034A/zh
Application granted granted Critical
Publication of CN105103034B publication Critical patent/CN105103034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Instrument Panels (AREA)

Abstract

一种使用可操作为向观看者显示图像的显示器的显示方法包括：检测所述观看者的头部的初始位置和/或定向；根据所述检测的位置和/或定向产生用于显示的图像；在将显示所述图像的时间处检测所述观看者的头部的当前的位置和/或定向；根据所述观看者的头部的初始位置和/或定向以及当前的位置和/或定向之间的任何差别重新投影所述产生的图像；以及使用所述显示器显示所述重新投影的图像。

Description

显示器
技术领域
本公开涉及显示器。
背景技术
作为背景，将讨论示例头戴式显示器(HMD)，尽管(如将在下文中进一步描述的)本公开可应用到其它类型的显示器。
HMD是可以戴在头部或者作为头盔的一部分的图像或视频显示设备。为一个眼睛或者双眼提供小的电子显示设备。
一些HMD允许显示的图像叠加在现实世界视图上。该类型的HMD可以被称为光学透视HMD并且一般需要显示设备被定位在除了直接在用户的眼睛的前方之外的地方。于是需要偏转显示的图像的一些方式使得用户可以看到显示的图像。这可以通过使用放置在用户的眼睛的前方的部分反光的镜子以便于允许用户看穿镜子但是同时看到显示设备的输出的反射。在公开在EP-A-1731943和US-A-2010/0157433中的另外的布置中(所述公开的内容通过引用合并于此)，采用全内反射的波导布置被用于传递来自配置到用户的头部的侧面的显示设备的显示的图像，使得用户可以看到显示的图像，但仍能通过波导看到现实世界的视图。再次，在这些类型的布置的任一个中，创建了显示器的虚拟图像(使用已知的技术)使得用户看到合适的尺寸和距离的虚拟图像以允许放松的观看。例如，尽管物理显示设备可以是微小的(例如，10mmx10mm)并且可以仅与用户的眼睛离开几毫米，可以布置虚拟图像以便于由用户感知到虚拟图像在离开用户(例如)20m的距离处，具有5mx5m的感知的尺寸。
但是，其它HMD仅允许用户看到显示的图像，这就是说它们使围绕用户的现实世界环境模糊。该类型的HMD可以例如以与之前所述的光学透视HMD类似的虚拟距离以及感知尺寸，结合将虚拟显示的图像放置在合适的距离处以便用户以放松的方式聚焦的合适的透镜，将实际的显示设备定位在用户的眼睛的前方。这种类型的设备可以被用于观看电影或者类似的记录的内容，或者用于观看表示围绕用户的虚拟空间的所谓的虚拟现实内容。但是当然可能在该类型的HMD上显示现实世界视图，例如通过使用前向的相机以产生用于显示在显示设备上的图像。
尽管HMD的最初开发可能是通过这些设备的军事或者专业应用驱动的，但是在例如计算机游戏或者家用计算应用中，HMD变得更加流行用于由临时用户使用。
发明内容
本公开提供一种使用可操作为向观看者显示图像的显示器的显示方法，所述方法包括：检测所述观看者的头部的初始位置和/或定向；根据所述检测的位置和/或定向产生用于显示的图像；在将显示所述图像的时间处检测所述观看者的头部的当前的位置和/或定向；根据所述观看者的头部的初始位置和/或定向以及当前的位置和/或定向之间的任何差别重新投影所述产生的图像；以及使用所述显示器显示所述重新投影的图像。
本公开的进一步的各个方面和特征在所附权利要求中定义。
附图说明
现在将参考附图描述本公开的实施例，其中：
图1示意性地示出了由用户穿戴的HMD；
图2是HMD的示意性平面图；
图3示意性地示出了由HMD形成虚拟图像；
图4示意性地示出了在HMD中使用的另外类型的显示器；
图5示意性地示出了一对立体的图像；
图6示意性地示出了HMD的用户的视图的改变；
图7a和7b示意性地示出了具有运动感测的HMD；
图8示意性地示出了基于光流(opticalflow)检测的位置传感器；
图9示意性地示出了响应于HMD位置或运动检测的图像的产生；
图10示意性地示出了由相机对图像的捕捉；
图11示意性地示出了捕捉的图像的重新投影；
图12示意性地示出了图像旋转；
图13示意性地示出了图像旋转和平移；
图14示意性地示出了HMD图像显示的等待时间问题；
图15是示出了图像处理技术的示意性流程图；
图16示意性地示出了HMD的旋转；
图17示意性地示出了图像位置相减；
图18示意性地示出了深度图；
图19和20示意性地示出了根据不同的相应的视点图像；
图21示意性地示出了用于图像渲染和重新投影以补偿HMD运动的技术；
图22是与图21中所示的技术有关的示意性流程图；
图23示意性地示出了用于图像捕捉和重新投影以补偿不同的相机和HMD位置的技术；
图24是与图23中所示的技术有关的示意性流程图；
图25示意性地示出了全景图像的视图；
图26示意性地示出了在显示的图像中的相机视点调整；
图27示意性地示出了相机装置；
图28示意性地示出了观看显示屏幕的观看者；
图29示意性地示出了穿戴头部定向检测器的用户；
图30示意性地示出了被动式头部定向检测技术；
图31示意性地示出了使用多个屏幕的显示布置；
图32示意性地示出了显示图像的示例；
图33示意性地示出了体育赛事的显示；
图34示意性地示出了用于产生图33的显示的装置；
图35示意性地示出了重叠视点；
图36和37示意性地示出了具有相关联的元数据的图像数据的示例；
图38和39是示出了用于使用图36和37的元数据的过程的示意性流程图；
图40是示出了图36和37的元数据的进一步使用的示意性流程图；以及
图41是示出全景视图的更新的示意性流程图。
具体实施方式
本公开的实施例可以提供使用可操作为向观看者显示图像的显示器的显示方法和装置。在一些实施例中，所述显示器是头戴式显示器并且通过检测所述头戴式显示器的位置和/或定向来检测所述观看者的头部的位置和/或定向。所述头戴式显示器可以具有安装到观看者的头部的框架，所述框架定义一个或两个眼睛的显示位置，所述显示位置在使用中被定位在观看者的相应的眼睛的前方，并且相应的显示元件关于每个眼睛的显示位置安装，所述显示元件将来自视频信号源的视频信号的视频显示的虚拟图像提供到所述观看者的该眼睛。在其它示例中，所述显示器不是头戴式显示器。在一些实施例中，所述显示器(不论是否是头戴式)可以被称为沉浸式显示器，在于在普通使用中它充斥用户的视场的至少一阈值角度范围(例如，至少40°)。示例包括多个投影仪显示器和环绕式(弯曲式)显示器等。
现在参考图1，用户10将HMD20戴在用户的头部30上。HMD包括：框架40，在该示例中由后绑带和顶绑带构成；以及显示部分50。
图1的HMD完全使用户的周围环境的视图模糊。用户所能看到的全部是在HMD中显示的一对图像。HMD具有适应于用户的左和右耳70的相关联的头戴式耳机60。耳机60重放从外部源提供的音频信号，所述外部源可以与提供用于向用户的眼睛显示的视频信号的视频信号源相同。
在操作中，提供视频信号用于由HMD显示。这可以由诸如视频游戏机或数据处理装置(诸如个人计算机)的外部视频信号源80提供，在该情况中，信号可以通过有线的或者无线连接被发送到HMD。合适的无线连接的示例包括蓝牙(R)连接。用于耳机60的音频信号可以由相同的连接携带。类似地，从HMD传递到视频(音频)信号源的任何控制信号可以由相同的连接携带。
相应地，图1的布置提供头戴式显示器***的示例，其包括将安装到观测者的头部的框架，所述框架定义一个或两个眼睛的显示位置，所述显示位置在使用中被定位在观测者的相应的眼睛的前方，并且显示元件关于每个眼睛的显示位置安装，所述显示元件将来自视频信号源的视频信号的视频显示的虚拟图像提供到所述观测者的该眼睛。
图1仅示出了HMD的一个示例。其它形式也是可能的：例如HMD可以使用更加类似于与传统的眼镜相关联的框架，即从显示部分向后延伸到用户的耳朵顶部后面，可能地弯曲向下到耳朵后面的基本上水平的镜架。在其它示例中，用户的外部环境的视图事实上可能不会完全地模糊；显示的图像可以被布置为叠加到(从用户的视角)外部环境之上。将在下文中参考图4描述这样的布置的示例。
在图1中的示例，单独的相应的显示被提供到用户的每个眼睛。这是如何实现的示意性平面图被提供为如图2，图2示出了用户的眼睛的位置100以及用户的鼻子的相对位置110。显示部分50以示意性的形式包括从用户的眼睛遮蔽环境光的外部屏蔽120，以及防止一个眼睛看到意欲用于另一个眼睛的显示的内部屏蔽130。用户的面部、外部屏蔽120和内部屏蔽130的组合形成两个隔室140，每个隔室用于每个眼睛。在每个隔室中，提供显示元件150和一个或多个光学元件160。将参考图3描述显示元件和一个或多个光学元件合作以向用户提供显示的方式。
参考图3，显示元件150产生(在该示例中)由光学元件160(示意性地示出为凸透镜但是其可以包括复合透镜或者其它元件)折射的显示的图像以便于产生虚拟图像170，所述虚拟图像170对用户显得比由显示元件150产生的实际图像更大并且显著更远。作为示例，虚拟图像可以具有大于1m的明显的图像尺寸(图像对角线)并且可以被配置在离开用户的眼睛(或者离开HMD的框架)多于1m的距离处。一般来说，取决于HMD的目的，所期望的是使得虚拟图像被配置在离开用户显著距离处。例如，如果HMD是用于观看电影等，则所期望的是用户的眼睛在这样的观看期间放松，这要求至少几米的(距虚拟图像的)距离。在图3中，实线(诸如线180)被用于表示实际光线，而虚线(诸如线190)被用于表示虚拟射线。
在图4中示出了可替换的布置。该布置可以被用于所期望的是用户的外部环境的视图不是完全地模糊的地方。但是，它还可以应用到其中用户的外部视图完全地模糊的HMD。在图4的布置中，显示元件150和光学元件200合作以提供被投影到镜子210上的图像，这将图像偏转到用户的眼睛位置220。用户感知虚拟图像位于位置230处，所述位置230在用户的前方并且离开用户合适的距离。
在用户的外部环境的视图是完全地模糊的HMD的情况中，镜子210可以是基本上100％反射的镜子。图4的布置则具有显示元件和光学元件可以位于更靠近用户的头部的重心以及更靠近用户的眼睛的侧面的优势，这可以产生用户所穿戴的较不笨重的HMD。可替换地，如果HMD被设计为不完全地模糊用户的外部环境的视图，镜子210可以被制成部分地反射，使得用户通过镜子210看到外部环境，其中虚拟图像叠加在实际外部环境之上。
在给用户的每个眼睛提供单独的相应的显示的情况中，可以显示立体的图像。在图5中示出了用于显示到左和右眼的一对立体的图像的示例。图像展示了相对于彼此的横向位移，其中图像特征的位移取决于通过其捕捉图像的相机的(真实的或仿真的)横向间隔、相机的角收敛和每个图像特征离开相机位置的(真实的或仿真的)距离。
注意，在图5中的横向位移(以及在下文中将描述的图15中的横向位移)可能实际上是相反的，这就是说所画出的左眼图像可能实际上是右眼图像，并且所画出的右眼图像可能实际上是左眼图像。这是因为一些立体的显示倾向于在右眼图像中将物体移到右边并且在左眼图像中移到左边，以便于仿真用户正通过立体的窗口看到其上的场景的想法。但是，一些HMD使用图5中所示的布置，因为这给用户的感觉是用户通过一对双筒镜观看场景。这两种布置之间的选择在于***设计者的判断。
在一些情况中，HMD可以仅被用于观看电影等。在该情况中，当用户转动用户的头部(例如从一侧到另一侧)时不需要改变显示的图像的明显的视点。但是，在其它使用中，诸如与虚拟现实(VR)或增强现实(AR)***相关联的情况，用户的视点需要跟踪关于用户所位于的实际或虚拟空间的移动。
该跟踪通过检测HMD的运动来进行并且变化显示的图像的明显的视点使得明显的视点跟踪运动。
图6示意性地示出了在VR或AR***中用户头部移动的效果。
参考图6，虚拟环境由围绕用户的(虚拟)球形的外壳250所表示。由于需要在二维纸画上表示该布置，外壳以离开用户等于显示的虚拟图像离开用户的间隔的距离由圆的一部分表示。用户初始地处于第一位置260并且被引导向虚拟环境的部分270。该部分270正是表示在显示在用户的HMD的显示元件150上的图像中的部分。
考虑用户然后将他的头部移动到新的位置和/或定向280的情况。为了保持虚拟现实或增强现实显示的正确的感觉，虚拟环境的显示的部分也移动，使得在移动结束时，HMD显示新的部分290。
因此，在该布置中，在虚拟环境中的明显的视点与头部移动一起移动。如果头部旋转到右侧，例如，如图6中所示的，明显的视点也从用户的视角移动到右边。如果是从显示的物体的角度考虑的情况，诸如显示的物体300，该物体将实际上以与头部移动相反的方向移动。因此，如果头部移动是到右边，则明显的视点移动到右边，但是由于虚拟环境的显示的部分已经移动到右边而显示的物体300没有在虚拟环境移动的简单的原因，诸如在虚拟环境中是静止的显示的物体300的物体将朝显示的图像的左边移动，并且将最终从显示的图像的左手侧消失。类似的考虑因素适用于任何运动的上下分量。
图7a和7b示意性地示出了具有运动感测的HMD。两个附图与图2中示出的附图在形式上类似。这就是说，所述附图是HMD的示意性平面图，其中显示元件150和光学元件160由简单的方框形状表示。为了示意图的清楚，图2的许多特征未被示出。两个附图示出了具有用于检测观测者的头部的运动的运动检测器的HMD的示例。
在图7a中，前向的相机320被提供在HMD的前方。这并不一定向用户提供用于显示的图像(尽管其在增强现实布置中可以这样做)。相反，其在本实施例中的主要目的是允许运动感测。将在下文中结合图8描述使用由相机320捕捉的图像以用于运动感测的技术。在这些布置中，运动检测器包括安装的以便于与框架一起移动的相机；以及可操作为比较由所述相机捕捉的连续的图像以便于检测图像间的运动的图像比较器。
图7b使用硬件运动检测器330。这可以被安装在HMD中或者HMD上的任何位置处。合适的硬件运动检测器的示例有压电加速计或光纤陀螺仪。当然应被理解的是，硬件运动检测和基于相机的运动检测两者可以被用在相同的设备中，在该情况中一个感测布置可以在另一个不可用时而被用作后备，或者一个感测布置(诸如相机)可以提供用于改变显示的图像的明显的视点的数据，而另一个(诸如加速计)可以提供用于图像稳定的数据。
图8示意性地示出了使用图7a的相机320的运动检测的一个示例。
相机320是视频相机，以例如每秒25幅图像的图像捕捉速率捕捉图像。当每个图像被捕捉时，所述图像被传递到图像存储器400以用于存储并且还由图像比较器410将其与从图像存储器取回的之前的图像比较。所述比较使用已知的块匹配技术(所谓的“光流”检测)以建立由相机320捕捉的基本上整个图像是否在之前的图像被捕捉的时间处已经移动。局部的运动可以指示在相机320的视场中移动物体，但是基本上整个图像的全局的运动倾向于指示相机的运动，而不是在捕捉的场景中的个别特征，并且在本情况中，由于相机被安装在HMD上，相机的运动对应于HMD的运动并且进而对应于用户的头部的运动。
一个图像和下一个图像之间的位移(如由图像比较器410检测的)由运动检测器420转换为表示运动的信号。如果需要，运动信号由积分器430转换为位置信号。
如上所述，作为对通过检测由与HMD相关联的视频相机捕捉的图像的图像间运动的运动检测的替换或者除此之外，HMD可以使用诸如加速计的机械的或者固态检测器330检测头部运动。假定基于视频的***的响应时间至多是图像捕捉速率的倒数，这实际上可以给出关于对运动的指示的更快的响应。因此，在一些情况中，检测器330可能更适于与更高频率的运动检测使用。但是，在其它情况中，例如如果使用高图像速率相机(诸如200Hz捕捉速率相机)，基于相机的***可能是更合适的。就图8来说，检测器330可以取代相机320、图像存储器400和比较器410，以便于直接提供输入到运动检测器420。或者检测器330也可以取代运动检测器420，直接提供表示物理运动的输出信号。
其它位置或者运动检测技术当然是可能的。例如，可以使用通过可移动的缩放仪臂将HMD链接到(例如，在数据处理设备上或者在一件家具上)固定的点的机械的布置，其中位置和定向传感器检测缩放仪臂的偏转的改变。在其它实施例中，安装在HMD上和在固定的点上的一个或多个发射器和接收器的***可以被用于允许通过三角测量技术检测HMD的位置和定向。例如，HMD可以携带一个或多个方向性的发射器，并且与已知的或者固定的点相关联的接收器阵列可以检测来自一个或多个发射器的相关信号。或者发射器可以是固定的并且接收器可以在HMD上。发射器和接收器的示例包括红外线转换器、超声波转换器和射频转换器。射频转换器可以有双重用途，在于它们也可以形成去往和/或来自HMD的射频数据链接的部分，所述链接诸如蓝牙链接。
图9示意性地示出了响应于检测的位置或者HMD的位置的改变而进行的图像处理。
如上结合图6所述，在诸如虚拟现实和增强现实布置的一些应用中，响应于用户的头部的实际的位置或定向的改变而改变向HMD的用户显示的视频的明显的视点。
参考图9，这通过运动传感器450(诸如图8的布置和/或图7b的运动检测器330)将表示运动和/或当前位置的数据供应到需要的图像位置检测器460来实现，所述图像位置检测器460将HMD的实际的位置转化为定义用于显示的所需要的图像的数据。如果需要，图像产生器480访问存储在图像存储器470中的图像数据，并且从合适的视点产生需要的图像以用于由HMD显示。外部视频信号源可以提供图像产生器480的功能并且充当控制器以通过改变显示的图像的视点来补偿观测者的头部的运动的较低频率分量，以便于以与检测的运动相反的方向移动显示的图像，以便于以检测的运动的方向改变观测者的明显的视点。
图像产生器480可以以将在下文中所述的方式在诸如所谓的视图矩阵数据的元数据的基础上运作。
为了示意性地示出与现有技术相关联的一些一般概念，图10示意性地示出了通过相机对图像的捕捉并且图11示意性地示出了捕捉的图像的重新投影。
参考图10，相机500捕捉现实世界场景的部分510的图像。相机500的视场被示意性地示出为大致的三角形形状520，使得相机处于大致的三角形形状的一个尖端，与相机相邻的侧边示意性地指示视场的左边和右边的极限，并且与相机相对的侧边示意性地示出了场景被捕捉的部分。该示意性的注释将被用在下面的几个附图中。
为讨论图像重新投影的一般概念，假设在图10的布置中，不但捕捉图像，还捕捉定义相机的“视图矩阵”的信息。这里，视图矩阵可以指在空间中的相机的位置和/或定向，所述视图矩阵相对于抽象的固定的点和定向或者被表示为关于可应用在之前的时间(例如，可以是与之前的捕捉的图像相关联的时间)的位置和/或定向的改变。因此，在一表达中，视图矩阵可以被认为是相机的x、y和z空间位置，以及其旋转性定向被表示为偏航(yaw)、俯仰(pitch)和滚动(roll)(表示三个正交的旋转性自由度的一般术语)及其视见平截头体(viewingfrustum)(表示相机的视场、宽角度视场和窄角度或者远距视场之间的范围的一般术语，并且可以被表示为对应于例如图10中所示的角530的角度范围)。视图矩阵数据不需要包括所有这些数据贡献。例如，在一些布置中，可能只有横向旋转性定向(偏航)是相关的。在视图矩阵数据中包括哪个数据项目的选择因此是***设计者的事，将捕捉的图像和视图矩阵数据所被期望的用途考虑在内。
在本公开的实施例中，例如通过诸如参考图27在下文中描述的相机装置，视图矩阵数据例如作为存储和/或传送为整体图像数据包的一部分的所谓的元数据与捕捉的图像相关联地存储，所述相机装置包括，图像捕捉设备，用于捕捉图像；位置和/或定向检测器，用于在捕捉所述图像的时间处检测所述相机的位置和/或定向装置；以及元数据产生器，用于将元数据与所述图像相关联，所述元数据指示在捕捉所述图像的时间处所述相机装置的检测的位置和/或定向。
注意，相机500可以是捕捉由时间间隔分开的一连串的图像的静态相机或视频相机。
图11示意性地示出了由图10的相机根据观看者的视点捕捉的图像的重新投影。视点540是由眼睛标志示意性地示出的并且是类似于上述三角形形状520的大致的三角形形状550。为了显示由相机500捕捉的图像使得其合适于根据图11所示的视点观看，进行将视点的视图矩阵(如上所讨论的)与相机500的视图矩阵相关联的过程。将参考图12和13描述这样的技术的示例。另外的示例在1997年10月的威斯康辛-麦迪逊大学的计算机科学学院技术报告1354的博士论文Seitz的：“ImageBasedTransformationofViewpointandSceneAppearance”中讨论，其内容通过引用合并于此。
图12示意性地示出了从第一视图矩阵560旋转到第二视图矩阵570的图像。该类型的重新投影仅涉及旋转和缩放图像，以便于校正相机的视图矩阵和用户视点的视图矩阵之间的视场和定向中的任何差别。该类型的重新投影的示例将在下文中参考图16和17讨论。
图13示意性地示出了从第一视图矩阵580到八个第二视图矩阵590的图像旋转和平移。这里，处理稍微涉及得更多，并且还可以使用深度图，所述深度图指示在捕捉的图像中的不同的图像特征的图像深度，以允许用户视点关于相机的视点平移。使用深度图的示例将在下文中参考图18-20讨论。
注意，图像不一定必须是相机捕捉的图像。所有这些技术同样可应用于机器产生的图像，诸如作为玩计算机游戏的过程的一部分的由计算机游戏机产生用于向用户显示的图像。
图14示意性地示出了HMD图像显示的等待时间问题。如上所讨论的，可以使用HMD的位置和/或定向，例如参考图9所讨论的，使得用于显示的图像根据HMD的检测的位置和/或定向被渲染。在观看更宽的捕捉的图像的一部分，或者产生作为计算机游戏娱乐的一部分的所需要的图像的情况中，参考图9所讨论的布置涉及检测HMD的当前的位置和/或定向以及渲染合适的图像以用于显示。但是，在该过程中所涉及的等待时间可能导致产生不正确的图像。
参考图14，考虑在HMD中使用的图像显示的图像重复时段的顺序的时间间隔的过程中(例如，1/25秒)，用户的视点(以在图14中示意性地示出地顺时针方向)从第一视点600旋转到第二视点610的情况。注意，在图14中的两个表示被示出为并排的，但是这是为了画图的目的，而不是必要地指示用户视点的平移(尽管两个视点之间可能涉及一些平移)。
为了允许渲染下一输出图像的时间，当HMD处于视点600时，检测HMD的位置和/或定向。用于显示的下一图像然后被渲染，但是当到该图像实际上被显示时，视点已经旋转到视点610。结果是在显示该图像时所显示的图像对于用户的视点610来说是不正确的。这可能对用户提供主观上较差的体验，并且在用户方可能导致定向障碍或者甚至恶心。
现在将讨论解决该问题的技术。
图15是示出图像处理技术的示意性流程图。所述技术将首先在较高的水平上讨论，并且然后将在下文中给出更多的细节。
在图15中示出的技术的特征涉及根据相机的视图矩阵(在捕捉的图像的情况中)或者HMD的视图矩阵(在例如由计算机游戏渲染的图像的情况中)捕捉或渲染图像(在步骤620处)。
在后者的示例中，将根据对应于图14中的视点600的视图矩阵渲染图像。换句话说，所述技术涉及检测所述观看者的头部的初始位置和/或定向，并且根据所述检测的位置和/或定向产生用于显示的图像。图像以及定义该视图矩阵(这就是说，根据其捕捉或者首先渲染图像的视图矩阵)的元数据然后被传送或者传递到HMD。在显示的时间处，HMD视图矩阵再次被检测(换句话说，在将显示所述图像的时间处检测所述观看者的头部的当前的位置和/或定向)并且，在步骤630处，基于指示在显示的时间处从HMD检测的原始视图矩阵和视图矩阵的元数据重新投影所述图像(在图14的术语中，这将是对应于视点610的视图矩阵，使得所述技术涉及将元数据与所述产生的图像相关联，所述元数据指示所述观看者的头部的初始位置和/或定向)。因此，所述技术涉及根据所述观看者的头部的初始位置和/或定向以及当前的位置和/或定向之间的任何差别重新投影所述产生的图像，并且使用所述显示器显示所述重新投影的图像。
在捕捉的图像的情况中，相机的视图矩阵一般不在显示布置的控制中，并且因此该技术提供补偿两个视图矩阵之间的差别的方式。但是，在图像渲染的情况中，该问题稍许不同。但是，一显著的特征是，处理重新投影操作所需要的时间可以比全部渲染操作以产生输出图像所需要的时间少得多。这转而意味着渲染操作必须相对于显示的时间开始得早，这可能导致关于合适的视点的检测以用于渲染操作的等待时间问题，如参考图14所讨论的。相比之下，使用参考图15所描述的技术，渲染操作相对于在渲染操作开始时是正确的视点(诸如视点600)进行，但是视点然后在显示的时间处被调整(例如，到视点610)。这避免了试图***视点610的需要，这也可能导致视点中的误差，但是在对应于显示时间的合适的视点处提供用于向用户显示的图像。相应地，所述技术可以涉及接收图像和相关联的元数据，在将显示所述图像的时间处检测所述观看者的头部的当前的位置和/或定向，根据由所述元数据指示的位置和/或定向和所述观看者的头部的当前的位置和/或定向之间的任何差别重新投影所述接收的图像，并且显示所述重新投影的图像。
在示例中，该过程的时序可以如下进行：
在时间t0处，检测HMD视图矩阵数据(表示HMD在t0处的位置)，步骤620开始并且需要Trender的时段。
在时间t0+Trender时间处，所需要的图像已经被渲染。
图像然后被转移到HMD。这可能需要零或者更多秒的时段(如果例如图像已经在HMD处渲染，则所述时段将是零)。但是一般来说，需要Tdelivery的时段以将图像传送到HMD以准备好用于显示。
在时间t0+Trender+Tdelivery处，再次检测HMD视图矩阵数据。这可以对应于需要的显示时间，在所述情况中(根据下述衍生)图像将延迟Treproj的量显示，或者其将在等于显示时间Tdisplay-Treproj的时间处进行。在任一种情况中其在取决于需要的显示时间的时间处进行。
图像然后被重新投影(在步骤630处)以解决初始和最新的视图矩阵之间的差别。重新投影所需要的时间段是Treproj，假设在这里比Trender少得多(或者至少少于)。
然后在一时间处显示图像：
t0+Trender+Tdelivery+Treproj
因此，当显示图像时，其最大位置性误差对应于HMD在时段Treproj中的移动，而如果没有本技术，最大位置性误差对应于HMD在更大的时段Trender+Tdelivery中的移动。
这些因此是需要等于至少图像产生等待时间的时间段的产生步骤，以及需要等于至少图像重新投影等待时间的时间段的重新投影步骤的示例，所述图像产生等待时间比所述图像重新投影等待时间更长。
在上述示例中，在考虑到所述图像产生等待时间和所述图像重新投影等待时间的最新的时间处检测的初始位置被检测，以允许在所述显示时间处显示所述重新投影的图像。
在下文中将讨论该技术的处理过的示例。
图16示意性地示出了HMD视点650以顺时针方向的旋转。
图16类似于上述图6，在于用于显示的图像被认为是位于半径r的球体的表面上，其中r基本上等于从用户的眼睛到由HMD显示***产生的虚拟图像的距离。在该布置下，视点650旋转角度θ可以被认为是在半径r的球体的表面上横向移动横向距离d。在图17中示意性地示出了这样的位移d。如果假设在步骤620处产生的图像由图16中的图像660表示，并且在该步骤630中产生的图像由图16中的图像670表示，可以看到的是，从用户的视点两个图像可以被并排表示(注意，在图17中，示出了小的垂直位移仅是为了允许在附图中相互区分不同的图像)。
在简单的示例中，为了产生向用户显示的(在步骤630处)合适的图像670，进行“相减”操作，所述操作是说明检测图像670的所需要的显示位置以及图像660的实际的位置之间的重叠的操作的示意性术语，以便于在图像670中显示图像660的重叠部分680(图17中的阴影)。换句话说，重新投影包括检测所述产生的图像和所述需要的重新投影的图像之间的重叠部分，并且再现所述重叠部分作为所述重新投影的图像的部分。
在本公开的实施例中，在图像670中的缺少的区域(未示出为阴影的那些部分)可以被遮盖或者使用图像数据填充，所述图像数据例如来自为此目的被捕捉或准备并且由显示布置存储的全景图像。因此，本技术的实施例可以因此包括重新投影的图像的填充部分，而不是具有来自另外的图像源的图像材料的重叠部分。
为了通过将视点的平移考虑在内地重新投影图像，本公开的实施例可以使用与图像相关联的该信息。图18示意性地示出了深度图，所述深度图可以例如从由3-D(双筒镜)相机或者所谓的Z-相机捕捉的图像数据得到，或者可以作为计算机游戏机的渲染引擎的操作的一部分而产生。
在图18的示意性示例中，被标为物体A、B和C的三个图像物体被示出为位于从zA、zB和zc的任意深度位置700测量的相应的图像深度处。示出了两个潜在视点，分别被标为视点v1和视点v2。
图19和20示意性地示出了分别根据视点v1和视点v2的图像的部分。在渲染阶段，每个图像物体的深度在产生图像中被考虑在内。但是，该技术也可以被用在诸如由上述步骤630定义的重新投影阶段，使得图像物体可以根据其相应的图像深度在重新投影的图像中相对于彼此移动。相应地，该技术可以涉及提供指示一个或多个图像特征的图像深度的深度数据，并且所述重新投影可以包括在重新投影的图像中根据深度数据重新定位一个或多个图像特征。
图21示意性地示出了用于图像渲染和重新投影以补偿HMD运动的技术。以与图14类似的方式，用户视点从视点710移动或者旋转(作为图15的步骤620的部分被检测)到视点720(作为图15的步骤630的部分被检测)并且根据其重新投影用于显示的图像。以此方式，向用户显示根据正确的视点720的图像。
更具体地，图22是与图21中所示的技术有关的示意性流程图。在图22中，示出了处理步骤800、810、820、830、840和850。当然，步骤800、810和820一般地对应于图15的步骤620。剩余的步骤830、840和850一般地对应于图15的步骤630。注意，在一些示例中，在图22中的每一个步骤可以响应于之前的步骤的完成而立即(或者基本上立即地)进行。
在步骤800处，检测HMD的当前位置(对应于图21的位置710)，并且在步骤810处，存储所述当前位置(例如在形成HMD或者计算机游戏机的部分的临时工作存储器中)。在步骤820处，根据视点710渲染用于显示的图像。
在渲染的图像将被显示的时间处，或者在图像将被显示的时刻之前的时间间隔t处，其中t是重新投影操作所需要的时间的长度，在步骤830处再次检测HMD位置，在该示例中，其将检测位置720。用于显示的图像在步骤840处如上所讨论地被重新投影并且在步骤850处向用户显示。
步骤的时序可以根据上述示例时序。
现在将讨论关于捕捉的图像的类似的示例。图23示意性地示出了用于图像捕捉并且重新投影以补偿不同的相机和HMD位置的技术。在图23中相机视点730不同于HMD视点740。
图24是与图23中所示的技术有关的示意性流程图。
在图24中，示出了处理步骤900、910、920、930、940和950。这些中，步骤900和910一般地对应于图15的步骤620。剩余的步骤920、930、940和950一般地对应于图15的步骤630。
在步骤900处，检测所述相机的当前位置(对应于图23的位置730)，并且在步骤910处，所述当前位置被作为元数据与捕捉的图像一起发送。
在将要显示图像的时间处，或者在图像将被显示的时刻之前的时间间隔t处，其中t是重新投影操作所需要的时间的长度，在步骤920处检测HMD位置，在该示例中，其将检测位置740。用于显示的图像在步骤930处被如上所讨论的重新投影并且被渲染(在步骤940处)以在步骤950处向用户显示。
图25示意性地示出了通过组合或者拼合由相应的相机或者相机位置1000、1010、1020捕捉的图像而形成的全景图像1030的视图。注意，实际相机不一定需要参与；全景图像可以通过拼合具有不同的相应的视点的多个计算机产生的图像而形成。被用于捕捉全景图像的相机、相机位置或者虚拟相机的每一个的视点以与上述步骤910类似的方式，被作为图像元数据与对应于该视点的全景图像或者相应的图像部分相关联。在显示的时间处，根据用户视点1040，用于显示的图像1050根据上述技术通过重新投影相应的图像部分或者整个全景图像而产生。
图26示意性地示出了在显示的图像中的相机视点调整，这可以允许图像以它们的原始尺寸和相对于观看者的位置再现。图26的左侧示意性地示出了用户使用手持相机捕捉(在该示例中)高楼的图像。如上所讨论的，相机视点被作为元数据记录并且与捕捉的图像相关联。在图26的右边，用户通过HMD进行捕捉的图像。捕捉的图像使用上述技术根据用户的视点被重新投影。
上述数据处理操作可以在视频信号源80(例如，计算机游戏机)和/或HMD处进行(就图22的所有步骤和图24的步骤920..950而言)。在HMD处的处理以及在源80处的处理之间的分割是***设计者的事；可能所期望的是为了用户的舒适减少HMD的尺寸、重量和功率消耗，这可以使得将尽可能多的处理移到源80是合适的。可替换地，为了减少需要在HMD和源80之间转移的数据量，一些处理可以完全在HMD处进行。在任一种实例中，处理例如可以通过在软件控制之下操作的合适的可编程硬件进行。图24的步骤900、910可以由相机(以上述类似的方式)或者由与相机相关联的装置进行。为了示例的目的，图27示意性地示出了具有该功能的相机1100。在图27中，相机110包括透镜布置1110；以及被布置为通过透镜布置1110接收光并且将光转换为图像信号的图像传感器1120；位置、定向和/或运动检测器1130，其可以是结合检测HMD的位置、定向和/或运动的上述类型；以及处理器1140，可操作为使用来自检测器1130的数据进行至少步骤900、910并且输出具有如上所讨论的相关联的视点元数据的图像信号1150。注意，如果如前所述地使用光流运动检测，用于该过程的图像数据可以简单地从传感器1120得到，因此避免了对单独的检测器1130的需求。
根据本公开的至少一些实施例，通过在视频信号中增加额外的数据，诸如头戴式显示器(HMD)或者多屏幕投影仪的沉浸式视频显示能够再现原物大小的并且以正确的定向对着观看者的图像。对于交互式应用，可以快速地并且就在显示之前的最新的时间处进行图像重新投影。这可以减少由渲染等待时间引起的不期望的图像移动。对于任何应用，该技术可以稳定相机运动、减少观看者的眩晕并且保持物体的现实世界定向，改善沉浸和现实性。
在本公开的至少一些实施例中，单个HMD可以用于使用相同的技术重新投影交互式内容和广播TV信号两者。如果观看者以不同的方向看向相机可能会看到一些框架边界，尽管这可以使用补充的全景静态图像填充缝隙来减轻。
本公开的实施例还可以解决与由摇动的相机捕捉的视频有关的问题，例如与由手持相机或者经受外界对其运动的影响的相机(诸如安装在机械设备上或者在风流的路径中的相机)捕捉的视频有关的问题。通过将元数据与表示在图像捕捉期间相机的运动的图像(如上所讨论的)相关联，在显示的时间处使用上述技术进行重新投影。以此方式，图像的中间区域可以为相机运动补偿并且对观看者来说表现得稳定，尽管作为补偿的结果图像的外部边界可能在周围移动。
目前所述实施例主要与头戴式显示器有关。现在将描述一个或多个显示器不是头戴式的进一步的布置。
图28示意性地示出了观看者1200观看显示屏幕1210。显示屏幕1210可以是前向投影屏幕(在该情况中，一个或多个投影仪(未示出)可以被放置在屏幕1210的与用户相同的一侧上)，或者后向投影屏幕(在该情况中，一个或多个投影仪(未示出)可以被放置在屏幕的与用户相对的另一侧上)，或者形成为诸如液晶显示(LCD)平板的一个或多个显示平板。技术人员将理解所使用的以在显示屏幕1210上实现图像的显示的特定技术对本实施例来说是不重要的。
结合HMD设备在上文中讨论的许多技术也可以同样地关于图28的布置而使用。在对HMD***的前述讨论中，通过各种技术检测HMD的定向。在图28的布置中类似的考虑涉及对用户的头部定向的检测。将理解的是，头部定向并不一定指示用户看向的方向，但是一般认为其指示观看的方向1220的充分近似。
因此，在一些实施例中，如上所讨论的相同的技术(结合HMD***)可以关于更大的显示1210以及对用户的头部定向的检测而使用。将在下文中讨论可以检测头部定向的各种方法。
图29示意性地示出了穿戴头部定向检测器1310的用户1300。头部定向检测器1310被示意性地示出为头带1320和安装在头带上的定向检测器1330。实践中，布置可以做的更加细致，例如组合到可附接到传统的一副眼镜1340的配件中或者形成一帽子或者一副耳机的部分。
功能上，如果所有的之前所讨论的各种可替换例与图8的描述有关，则定向检测器1330根据图8中所示的技术操作。就这一点而言，定向检测器1330包含HMD的多数功能，但是没有图像显示功能。
定向检测器1330可包括处理器，以从其所使用的无论哪个数据源(例如，周围的场景的图像或加速计数据)得到定向，使得定向检测器1330例如通过诸如蓝牙链接的无线链接将表示定向的数据发送到接收器1350。当然，可以使用有线的链接替代。可替换地，定向检测器1330可以将“未加工的”获取的数据(诸如捕捉的环境的图像或者来自加速计的未加工的数据)发送到接收器1350，使得接收器1350(或者进一步的下游的处理设备，未示出)从接收自定向检测器1330的未加工的数据得到定向信息。
图30示意性地示出了被动式头部定向检测技术。该布置并不一定需要在1400中的用户穿戴或者携带任何特定的设备或物件。视频相机1410捕捉用户1400的图像并且将图像传递到处理器1420。处理器1420可以以多种方式操作。在一个示例中，处理器1420可以应用已知的面部检测技术以检测关于相机1410的新的面部的定向。例如，这样的技术可以涉及将包含用户的面部的图像部分(归一化为标准大小)与各种固有的图像比较，固有的图像的每一个表示在相对于相机的不同的定向处的面部的特征。在固有的图像之中的最接近的匹配可以被当做用户的面部的当前定向的表示。处理器1420可以与定义相机1410的相对定向和所使用的显示屏幕的信息进行校准，以便于能够提供表示相对于显示屏幕的用户的面部的当前定向的输出。
在另一示例中，用户可以穿戴一个或多个无源标记——诸如反射的或者向后反射的标记(在图30中未示出)——以在检测相对于相机的用户的面部的定向中辅助处理器1420。例如，如果用户的眼镜的侧臂1430被提供了不同的(这就是说，可由相机1410区分的)反射的标记，在相应的标记的捕捉的图像中的相对尺寸可以被处理以提供对用户的面部的定向的指示。可选地，相机1410可包括被布置为消除标记的照明源。可选地，照明对用户来说可以是隐形的或者基本上隐形的，例如红外照明。
图31示意性地示出了使用多个投影仪的显示布置。
在图31中，以示例的方式提供四个投影仪，即投影仪1500A、1500B、1500C和1500D。投影仪具有相应的视场，这些视场一起涵盖整个显示屏幕1510。相应的视场由相应的虚线1520A-D示意性地指示，为了绘图，所述虚线1520A-D被示出为在投影仪屏幕的后面。当然事实上，所考虑的重要的区域是在投影仪屏幕1510的平面处投影的范围。
四个投影仪由显示控制器1530驱动，所述显示控制器1530将相应的显示信号提供到投影仪1500A-D的每一个。现在将讨论信号的形成。
参考观看者(在图31中未示出)观看显示屏幕1510，头部定向检测器1540被布置为参考显示屏幕1510检测观看者的头部的定向。上述各种技术适用于该检测。还如上所讨论的，这提供观看者看向的方向的指示。在图31中示出的***的目标是由图像信号1550提供的较低分辨率的背景场景显示在整个显示屏幕1510上，但是叠加了由图像信号1560提供的更高的分辨率的***图像以便于替代一部分的较低分辨率的背景场景(如果没有检测到观看者的头部定向，可以假设固定的头部位置(在仿真器环境中是不常见的))。
在图32中示意性地示出了示例，其可能形成与沿着由树围绕的道路驾驶有关的视频或视频游戏的一部分(非常示意性地在图32中示出)。这里，背景场景以比以较高分辨率产生和显示的***图像1600的较低分辨率产生和显示。***图像1600与用户将集中精力在，即(在该示例中)即将面临的道路以及任何迎面而来的车辆上的部分或者整体场景有关。剩余的背景图像(在***图像的***之后)与对用户的注意力来说较不重要的整体场景的其它部分有关。使用在图像分辨率中的该不一致的一个原因是以高分辨率产生覆盖整个显示器的整体场景的高处理开销。相反，可以以较低分辨率产生背景(并且可以被布置为比***图像改变地更不频繁)，以便于节省处理开销。
注意，指示***图像1600的范围的虚线仅是为了附图的清楚并且将不再实际的显示的图像中出现。
返回图31，根据观看者的检测的头部定向在合适的图像显示位置处通过重新投影逻辑1570重新投影由信号1560表示的***图像。重新投影的***信号被供应到显示控制器，所述显示控制器将所述***信号在合适的显示位置处与由信号1550表示的较低分辨率的背景场景组合。
与图31类似的布置可以适用于体育赛事等的电视报道。背景显示例如可以是，整个运动场的图像(尽管不一定同一时间向用户显示整个运动场)，将要重新投影到主显示器的***图像是接着体育动作的来自相机的镜头，例如，比赛者的移动。使用上述元数据和技术将***图像重新投影到背景图像中的合适的位置。这在整个运动场的环境中提供观看者动作发生在何处的指示。
当重新投影的图像作为上述过程的一部分在周围移动时，本公开的实施例可以使用重新投影的图像的不改变的部分(或者特定颜色或者纹理的部分，可能表示草坪的视图)填充背景图像。在一些示例中，低分辨率背景图像可以通过当重新投影的图像在周围移动时从重新投影的图像复制而用表示运动场的较高分辨率图像材料填充。如果多个相机视图是可用的(如一些广播员的体育赛事等的报道的情况)，则(a)用户可以选择将被投影的一个或多个这样的视图，以及(b)通过从多于一个这样的视图中采取材料，这将允许背景图像更快的填充。
在其它示例中，如果深度图或其它深度数据与背景和***图像被一起提供，用户可以在三维中围绕整体场景移动，其中响应于用户的虚拟位置调整重新投影。
进一步的示例与视频游戏有关，这样的整体背景图像可以表示一些或者全部虚拟世界。与通过比赛者的特定游戏动作有关的场景被作为***图像重新投影到虚拟世界中的正确的位置中。
图33示意性地示出了体育赛事的显示。在该示例中，报道体育赛事的相机被放置在中间俯视运动场1700，大体上与半场线1710的一端一致。关于图33所示的过程与上文参考图32所描述的在一些方面类似。部分或者全部运动场1700的全景视图被保留在诸如电视接收器的显示***处或者在HMD***处(用作与体育赛事的报道有关的视频内容的接收器)。全景视图从与相机相同的视点被捕捉，例如通过组合围绕整个运动场的视图摇动相同的相机而产生的图像。在体育赛事的报道开始之前将全景视图供应到HMD***。
由相机捕捉的当前视图1720被重新投影的到全景图像中的一位置处，所述位置取决于相机的当前定向。换句话说，视图1720和动作发生在该视图出现(一旦重新投影的)在的运动场1700的正确的部分处。当相机跟着体育动作摇动时，相机视图1720被重新投影处的位置相应地改变。如果相机变焦，这还将反映在与相机相关联的视图矩阵数据中并且图像1720的重新投影将被调整为对应新变焦的相机操作。例如，如果相机改变其变焦水平，使得其视场减小，关于运动场1700的恒定尺寸的全景视图的重新投影的视图1720的尺寸将相应地减小。
由几个不同的相机报道多个体育赛事。例如，尽管位于与半场线在同一水平线上的相机可以看到发生在大部分或者全部运动场上的动作，可能优选的是当靠近球门的动作发生时，将相机移到靠近球门1730。相应地，***可以存储多个全景图像，相应的一个与每个相机位置相关联。通过包含与定义当前使用的特定相机的视图矩阵数据相关联的元数据，在HMD***处可以选择合适的全景以便于重新投影发生在正确的全景图像中。注意，在一些***中，广播关于体育报道等的多个相机视图，留给用户选择期望的相机视图。在该类型的布置中，也使用与选择的相机视图相关联的全景。
图34示意性地示出了用于产生图33的显示的装置。
全景图像选择器1800在如上所讨论的多个相机视图的每一个具有其自己相应的全景图像的情况中操作，以选择用于当前使用的相机视图的合适的全景图像。为实现此，全景图像选择器1800接收例如从与当前正在显示的视频内容一起接收的元数据提取的数据，定义哪个相机正被使用，并且访问表示可用的全景图像的每一个的数据。全景图像选择器可以将选择的全景图像传递到下一级处理，或者可替换地，可以传递定义应该使用哪个全景图像的数据。
定向检测器1810以上述方式操作，以从其视图矩阵数据检测正在使用的相机当前定向。在通过HMD显示的情况中，定向检测器1810还可以检测HMD的当前视图定向。定向检测器1810还接收定义当前选择的全景图像的视图的点的数据。从这些数据，定向检测器1810确定用于从相机到全景图像中的当前图像的重新投影的参数。
重新投影设备1820根据由定向检测器供应的参数将从相机接收的当前图像重新投影到选择的全景图像中。
显示控制器1830提供或产生用于由HMD或显示设备显示的输出图像。
图35示意性地示出了重叠视点。这里，仅是为了讨论的清楚，使用比在图33中提供的等距的描述更简单的视图。选择的全景图像的范围由矩形1840指示。在该范围内，矩形1850示意性地表示根据其当前定向的HMD的视场的范围。虚线矩形1860指示在参考全景图像的框架中表达的相机的视场。因此，在HMD参考整个全景图像具有有限的视场的情况中，HMD视场和当前选择的相机视场两者被重新投影到参考全景图像1840的框架中，使得图像内容可以通过HMD观看，在该示例中全景图像的部分以及相机图像的部分，由HMD视场以及重新投影的全景和相机图像的重叠确定。
图36和37示意性地示出了具有相关联的元数据的图像数据的示例。
图36和37两者解决关于诸如体育报道的一些视频内容可能产生的问题。参考图36，与相机图像相关联的数据组包括图像自身1900、替换像素数据1910、1920、视图矩阵数据1930以及识别当前正在使用的相机的数据1940。
为了示意图的清晰，在图像1900中的大部分图像内容未被示出，但是显著特征包括显示在图像1900的右上角处的比赛分数1950(在该示例中(队A和队B之间的比赛))以及例如包含滚动评论和/或广告的信息条1960。当在传统的显示屏幕上观看图像1900时，这样的图像1900填充显示屏幕，分数数据1950的以及滚动评论和广告1960的位置可能是完全合适的。但是，如果图像1900以参考图33所讨论的方式被重新投影到全景图像中，则这些项目的位置可能完全地不合适，因为它们可能将会出现在运动场的中间。
体育广播员可以不愿意从作为广播的图像中移除这些数据项目，因为可以在不提供重新投影的遗留设备上良好地观看所述图像。因此，体育广播员可能希望这样的遗留设备的用户看在信息条中的分数和滚动信息。
为解决此，图36提供与图像1900相关联的额外的元数据，具体地，可以重新***到图像1900中以分别遮盖分数1950和信息条1960的一对块的像素数据1910、1920。具体地，框1910、1920是在原始捕捉的图像中的分数1950和信息条1960的图像位置处的像素内容的简单复制，这就是说在分数1950和信息条1960被叠加到图像上之前。框1910、1920可以伴随有坐标，所述坐标例如指示可以由相应的块替换的图像区域的左上角。
在图37中中提供另一手段，其中图像1970以“干净的”形式被发送，这就是说其在图像中不包括诸如分数和信息条，但是这些以单独的元数据1980提供，使得它们可以由接收器和显示器重新***。
图38和39是示出了使用图36和37的元数据的过程的示意性流程图。特别地，图38与图36的元数据的可能的使用有关，并且图39与图37的元数据的可能使用有关。
参考图38，在步骤2000处，与图形材料有关的图像内容——诸如分数1950和信息条1960——在显示器或HMD***处由相应的遮盖数据替代，在该示例中所述遮盖数据被提供为块1910、1920。在步骤2010处，确定所需要的视图(对应于上述定向检测器1810的操作)并且在步骤2020处发生重新投影，对应于上述重新投影仪1820的操作。这允许重新投影发生在全景图像中而没有不适当放置的图形项目出现在重新投影的图像中。可选地，在步骤2030处，在步骤2000处被替代的图像内容可以例如在相对于显示视点的预定位置处被重新***到重新投影的图像中。
参考图39，其与在图37中提供的图像数据有关，步骤2010和2020对应于上述那些。在步骤2040处，由元数据1980定义或者产生的图像内容例如在相对于显示视点的预定的位置处被***到重新投影的图像中。
图40是示出图37的元数据的进一步使用的示意性流程图。
在元数据包括例如定义，哪个比赛者当前持有球、或者哪些比赛者当前在场上、哪个比赛者当前出现在相机的视场中的数据的情况中，在步骤2050处显示控制器1830可以处理元数据以提取在步骤2060处向用户指示的项目。示例项目可能包括当前持有球的比赛者的姓名，所述项目可以显示在重新投影的相机图像1720上。
图41是示出全景视图的更新的示意性流程图。如之前所述，全景视图可以在广播或者体育报道的其它传输之前被发送，但是可能需要在体育赛事的进程中更新它们。在步骤2070处，显示控制器1830检测相机图像1720的不移动的(非比赛者)部分，并且在步骤2080处，根据检测的不移动的部分在该图像位置处更新全景视图。例如，这可以是全景图像的对应部分的简单替换，或者可以使用过滤处理，使得例如，每当检测到这样的不移动的部分时，在像素位置处的全景视图被更新到等于下述的新的像素值：
(kx之前的像素值)+((1-k)x检测的不移动的像素值)
其中k是滤波系数，例如等于0.97。
注意，有关于与体育报道相关联的数据的上述技术可以延伸到各种其它***，例如其它类型的电视报道(新闻、音乐节目等)，或者延伸到游戏***，在所述游戏***中，例如，图像1720可能由具有虚拟而不是实际相机位置和定向的游戏中的(虚拟)相机产生，并且可能包括游戏分数数据、诸如十字准线等的武器瞄准指令。使用参考图36-39所讨论的技术，这些可以在重新投影之前被移除然后重新***，或者在重新投影之后被分别提供并且***在合适的显示位置处。
相应地，在各种示例中的如上所讨论的本公开的实施例可以由下列编号的款项总结和/或定义：
1.一种使用可操作为向观看者显示图像的显示器的显示方法，所述方法包括：
检测所述观看者的头部的初始位置和/或定向；
根据所述检测的初始位置和/或定向产生用于显示的图像；
取决于所述图像将被显示的显示时间检测所述观看者的头部的当前的位置和/或定向；
根据所述观看者的头部的初始位置和/或定向以及当前的位置和/或定向之间的任何差别重新投影所述产生的图像；以及
使用所述显示器显示所述重新投影的图像。
2.根据款项1所述的方法，其中重新投影的步骤包括检测所述产生的图像和所述需要的重新投影的图像之间的重叠部分，并且再现所述重叠部分作为所述重新投影的图像的部分。
3.根据款项2所述的方法，包括用来自另外的图像源的图像材料填充除了所述重叠部分之外的所述重新投影的图像的部分。
4.根据前述款项的任意一项所述的方法，其中所述产生步骤包括将元数据与所述产生的图像相关联，所述元数据指示所述观看者的头部的初始位置和/或定向。
5.根据前述款项的任意一项所述的方法，其中所述产生步骤包括提供指示一个或多个图像特征的图像深度的深度数据，并且所述重新投影的步骤包括根据所述深度数据在所述重新投影的图像中重新定位一个或多个图像特征。
6.根据前述款项的任意一项所述的方法，其中所述显示器是头戴式显示器并且通过检测所述头戴式显示器的位置和/或定向来检测所述观看者的头部的位置和/或定向。
7.根据前述款项的任意一项所述的方法，其中所述产生步骤需要等于至少图像产生等待时间的时间段，并且所述重新投影步骤需要等于至少图像重新投影等待时间的时间段，所述图像产生等待时间比所述图像重新投影等待时间更长。
8.根据款项7所述的方法，其中所述检测的初始位置在考虑到所述图像产生等待时间和所述图像重新投影等待时间的最新的时间被检测，以允许在所述显示时间处显示所述重新投影的图像。
9.一种图像捕捉的方法，包括：
使用相机捕捉图像；
检测所述相机的位置和/或定向；以及
将元数据与所述捕捉的图像相关联，所述元数据指示在捕捉所述图像时的所述相机的位置和/或定向。
10.一种用于向观看者显示图像的显示方法，所述方法包括：
接收如由款项9所述的方法捕捉的图像和相关联的元数据；
在将显示所述图像的时间处检测所述观看者的头部的当前的位置和/或定向；
根据由所述元数据指示的位置和/或定向和所述观看者的头部的当前的位置和/或定向之间的任何差别重新投影所述接收的图像；以及
显示所述重新投影的图像。
11.根据款项10所述的方法，包括将所述重新投影的图像与表示从所述相机的位置的全景视场的全景图像组合的步骤。
12.一种用于向观看者显示图像的显示方法，所述方法包括：
在捕捉或产生所述图像的时间处接收图像和指示相机的位置和/或定向的相关联的元数据；
相对于表示从该相机位置的全景视场的全景图像重新投影所述接收的图像；以及
显示如重新投影到所述全景图像的所述图像。
13.根据款项11或款项12所述的方法，包括根据所使用的相机或者所述图像的相机位置选择全景图像的步骤。
14.根据款项11到13的任一项所述的方法，包括如下步骤：
从所述图像中移除图形数据。
15.根据款项14所述的方法，包括如下步骤：
在所述图像的重新投影之后***图形信息以用于显示。
16.根据款项10到15的任一项所述的方法，其中所述图像使用头戴式显示器显示并且通过检测所述头戴式显示器的位置和/或定向来检测所述观看者的头部的位置和/或定向。
17.一种用于执行根据前述款项的任意一项所述的方法的计算机软件。
18.一种存储根据款项17所述的计算机软件的存储介质。
19.一种显示***，包括：
显示元件，可以由观看者观看；
位置和/或定向检测器，用于检测所述观看者的头部的位置和/或定向；
图像重新投影仪，用于根据可应用到所述图像的产生或捕捉的所述位置和/或定向和所述观看者的头部的当前的位置和/或定向之间的任何差别重新投影接收的图像以用于由所述显示元件显示。
20.根据款项19所述的***，包括用于根据所述观看者的头部的初始位置和/或定向产生用于显示的图像的视频信号源。
21.根据款项20所述的***，其中所述视频信号源是视频游戏或者数据处理机器。
22.根据款项19所述的***，其中所述图像重新投影仪响应于与从相机接收的图像相关联的元数据，所述元数据指示在图像捕捉的时间处的所述相机的位置和/或定向。
23.根据款项19到22的任意一项所述的***，其中所述位置和/或定向检测器包括：
安装的相机以便于与所述用户的头部移动；以及
可操作为比较由所述相机捕捉的连续的图像以便于检测图像间的运动的图像比较器。
24.根据款项19到22的任意一项所述的***，其中所述位置和/或定向检测器包括加速计。
25.根据款项19到22的任意一项所述的***，其中所述显示元件形成具有安装到观看者的头部的框架的头戴式显示器的部分，所述框架定义一个或两个眼睛的显示位置其中，所述框架在使用中位于所述观看者的相应的眼睛的前方并且相应的显示元件关于每个眼睛的显示位置安装，所述显示元件将来自视频信号源的视频信号的视频显示的虚拟图像提供到所述观看者的该眼睛。
26.根据款项25所述的***，其中，在使用中，所述虚拟图像产生在离开所述框架多于一米的距离处。
27.一种相机装置，包括：
图像捕捉设备，用于捕捉图像；
位置和/或定向检测器，用于在捕捉所述图像的时间处检测所述相机装置的位置和/或定向；以及
元数据产生器，用于将元数据与所述图像相关联，所述元数据指示在捕捉所述图像的时间处所述相机装置的检测的位置和/或定向。
28.一种定义图像的图像数据，所述图像数据具有定义产生图像的相机的位置和/或定向以及定义用于显示与所述图像有关的图形数据的所述图像的一个或多个可替换的部分的相关联的元数据。
上述技术可以实现在硬件、软件或两者的组合中。在采用软件控制的数据处理装置以实现实施例的一个或多个特征的情况中，将理解的是，这样的软件、以及通过其提供所述软件的诸如非瞬时性机器可读的存储介质的存储或传输介质也被认为是本公开的实施例。

Claims (28)

1.一种使用可操作为向观看者显示图像的显示器的显示方法，所述方法包括：
检测所述观看者的头部的初始位置和/或定向；
根据所述检测的初始位置和/或定向产生用于显示的图像；
取决于所述图像将被显示的显示时间检测所述观看者的头部的当前的位置和/或定向；
根据所述观看者的头部的初始位置和/或定向以及当前的位置和/或定向之间的任何差别重新投影所述产生的图像；以及
使用所述显示器显示所述重新投影的图像。
2.根据权利要求1所述的方法，其中重新投影的步骤包括检测所述产生的图像和所述需要的重新投影的图像之间的重叠部分，并且再现所述重叠部分作为所述重新投影的图像的部分。
3.根据权利要求2所述的方法，包括用来自另外的图像源的图像材料填充除了所述重叠部分之外的所述重新投影的图像的部分。
4.根据前述权利要求的任意一项所述的方法，其中所述产生步骤包括将元数据与所述产生的图像相关联，所述元数据指示所述观看者的头部的初始位置和/或定向。
5.根据前述权利要求的任意一项所述的方法，其中所述产生步骤包括提供指示一个或多个图像特征的图像深度的深度数据，并且所述重新投影的步骤包括根据所述深度数据在所述重新投影的图像中重新定位一个或多个图像特征。
6.根据前述权利要求的任意一项所述的方法，其中所述显示器是头戴式显示器并且通过检测所述头戴式显示器的位置和/或定向来检测所述观看者的头部的位置和/或定向。
7.根据前述权利要求的任意一项所述的方法，其中所述产生步骤需要等于至少图像产生等待时间的时间段，并且所述重新投影步骤需要等于至少图像重新投影等待时间的时间段，所述图像产生等待时间比所述图像重新投影等待时间更长。
8.根据权利要求7所述的方法，其中所述检测的初始位置在考虑到所述图像产生等待时间和所述图像重新投影等待时间的最新的时间被检测，以允许在所述显示时间处显示所述重新投影的图像。
9.一种图像捕捉的方法，包括：
使用相机捕捉图像；
检测所述相机的位置和/或定向；以及
将元数据与所述捕捉的图像相关联，所述元数据指示在捕捉所述图像时的所述相机的位置和/或定向。
10.一种用于向观看者显示图像的显示方法，所述方法包括：
接收如由权利要求9所述的方法捕捉的图像和相关联的元数据；
在将显示所述图像的时间处检测所述观看者的头部的当前的位置和/或定向；
根据由所述元数据指示的位置和/或定向和所述观看者的头部的当前的位置和/或定向之间的任何差别重新投影所述接收的图像；以及
显示所述重新投影的图像。
11.根据权利要求10所述的方法，包括将所述重新投影的图像与表示从所述相机的位置的全景视场的全景图像组合的步骤。
12.一种用于向观看者显示图像的显示方法，所述方法包括：
在捕捉或产生所述图像的时间处接收图像和指示相机的位置和/或定向的相关联的元数据；
相对于表示从该相机位置的全景视场的全景图像重新投影所述接收的图像；以及
显示如重新投影到所述全景图像的所述图像。
13.根据权利要求11或权利要求12所述的方法，包括根据所使用的相机或者所述图像的相机位置选择全景图像的步骤。
14.根据权利要求11到13的任意一项所述的方法，包括如下步骤：
从所述图像中移除图形数据。
15.根据权利要求14所述的方法，包括如下步骤：
在所述图像的重新投影之后***图形信息以用于显示。
16.根据权利要求10到15的任意一项所述的方法，其中所述图像使用头戴式显示器显示并且通过检测所述头戴式显示器的位置和/或定向来检测所述观看者的头部的位置和/或定向。
17.一种用于执行根据前述权利要求的任意一项所述的方法的计算机软件。
18.一种存储根据权利要求17所述的计算机软件的存储介质。
19.一种显示***，包括：
显示元件，可以由观看者观看；
位置和/或定向检测器，用于检测所述观看者的头部的位置和/或定向；
图像重新投影仪，用于根据可应用到所述图像的产生或捕捉的所述位置和/或定向和所述观看者的头部的当前的位置和/或定向之间的任何差别重新投影接收的图像以用于由所述显示元件显示。
20.根据权利要求19所述的***，包括用于根据所述观看者的头部的初始位置和/或定向产生用于显示的图像的视频信号源。
21.根据权利要求20所述的***，其中所述视频信号源是视频游戏或者数据处理机器。
22.根据权利要求19所述的***，其中所述图像重新投影仪响应于与从相机接收的图像相关联的元数据，所述元数据指示在图像捕捉的时间处的所述相机的位置和/或定向。
23.根据权利要求19到22的任意一项所述的***，其中所述位置和/或定向检测器包括：
安装的相机以便于与所述用户的头部移动；以及
可操作为比较由所述相机捕捉的连续的图像以便于检测图像间的运动的图像比较器。
24.根据权利要求19到22的任意一项所述的***，其中所述位置和/或定向检测器包括加速计。
25.根据权利要求19到22的任意一项所述的***，其中所述显示元件形成具有安装到观看者的头部的框架的头戴式显示器的部分，所述框架定义一个或两个眼睛的显示位置，所述框架在使用中位于所述观看者的相应的眼睛的前方并且相应的显示元件关于每个眼睛的显示位置安装，所述显示元件将来自视频信号源的视频信号的视频显示的虚拟图像提供到所述观看者的该眼睛。
26.根据权利要求25所述的***，其中，在使用中，所述虚拟图像产生在离开所述框架多于一米的距离处。
27.一种相机装置，包括：
图像捕捉设备，用于捕捉图像；
位置和/或定向检测器，用于在捕捉所述图像的时间处检测所述相机装置的位置和/或定向；以及
元数据产生器，用于将元数据与所述图像相关联，所述元数据指示在捕捉所述图像的时间处所述相机装置的检测的位置和/或定向。
28.一种定义图像的图像数据，所述图像数据具有定义产生图像的相机的位置和/或定向以及定义用于显示与所述图像有关的图形数据的所述图像的一个或多个可替换的部分的相关联的元数据。
CN201480016970.9A 2013-03-25 2014-03-24 显示器 Active CN105103034B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
GB1305402.8 2013-03-25
GBGB1305402.8A GB201305402D0 (en) 2013-03-25 2013-03-25 Head mountable display
GB1308151.8A GB2512404A (en) 2013-03-25 2013-05-07 Display
GB1308151.8 2013-05-07
GB1404739.3 2014-03-17
GB1404739.3A GB2514466B (en) 2013-03-25 2014-03-17 Display
PCT/GB2014/050905 WO2014155072A2 (en) 2013-03-25 2014-03-24 Display

Publications (2)

Publication Number Publication Date
CN105103034A true CN105103034A (zh) 2015-11-25
CN105103034B CN105103034B (zh) 2019-11-12

Family

ID=48326595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480016970.9A Active CN105103034B (zh) 2013-03-25 2014-03-24 显示器

Country Status (5)

Country Link
US (1) US10054796B2 (zh)
EP (2) EP2979127B1 (zh)
CN (1) CN105103034B (zh)
GB (3) GB201305402D0 (zh)
WO (1) WO2014155072A2 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892683A (zh) * 2016-04-29 2016-08-24 上海乐相科技有限公司 一种显示方法及目标设备
CN105955454A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种用于虚拟现实***的防眩晕方法和装置
CN106094210A (zh) * 2016-08-05 2016-11-09 江苏艾锐泰克无人飞行器科技有限公司 一种手机大屏呈像装置和航拍***
CN106131647A (zh) * 2016-07-18 2016-11-16 杭州当虹科技有限公司 一种基于虚拟现实视频的多画面同时观看方法
CN106170082A (zh) * 2016-06-30 2016-11-30 深圳市虚拟现实科技有限公司 远程全景图像实时全方位传输和显示方法
CN106331823A (zh) * 2016-08-31 2017-01-11 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN106445129A (zh) * 2016-09-14 2017-02-22 乐视控股（北京）有限公司 全景图像信息显示方法、装置及***
CN106782260A (zh) * 2016-12-06 2017-05-31 歌尔科技有限公司 用于虚拟现实运动场景的显示方法及装置
WO2017113733A1 (zh) * 2015-12-27 2017-07-06 乐视控股（北京）有限公司 一种三维视频的自由观影方法及设备
WO2017120906A1 (zh) * 2016-01-15 2017-07-20 赵政荣 游戏时的专利信息提醒方法和头戴虚拟设备
CN106970467A (zh) * 2017-03-28 2017-07-21 联想(北京)有限公司 信息显示方法及头戴式显示设备
CN109155835A (zh) * 2016-05-18 2019-01-04 史克威尔·艾尼克斯有限公司 程序、计算机装置、程序执行方法、及计算机***
WO2020259498A1 (zh) * 2019-06-28 2020-12-30 中兴通讯股份有限公司 媒体处理方法、装置、***和可读存储介质

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201310359D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
GB2528699B (en) 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US20160037134A1 (en) * 2014-07-31 2016-02-04 Todd MEDEMA Methods and systems of simulating time of day and environment of remote locations
US9686520B2 (en) * 2015-01-22 2017-06-20 Microsoft Technology Licensing, Llc Reconstructing viewport upon user viewpoint misprediction
US10127714B1 (en) * 2015-01-27 2018-11-13 Google Llc Spherical three-dimensional video rendering for virtual reality
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
EP3289430B1 (en) 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
US9746675B2 (en) 2015-05-28 2017-08-29 Microsoft Technology Licensing, Llc Alignment based view matrix tuning
US11252399B2 (en) 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
US9658686B2 (en) 2015-05-28 2017-05-23 Microsoft Technology Licensing, Llc Motion based view matrix tuning
KR101716326B1 (ko) * 2015-09-08 2017-03-14 클릭트 주식회사 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
KR102501752B1 (ko) 2015-09-21 2023-02-20 삼성전자주식회사 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
US10694115B2 (en) * 2015-09-30 2020-06-23 Huawei Technologies Co., Ltd. Method, apparatus, and terminal for presenting panoramic visual content
EP3335070B1 (en) * 2015-09-30 2020-11-25 Sony Interactive Entertainment Inc. Methods for optimizing positioning of content on a screen of a head mounted display
GB2543320B (en) * 2015-10-14 2020-05-13 Sony Interactive Entertainment Inc Head-mountable display system
US9781342B1 (en) 2015-10-22 2017-10-03 Gopro, Inc. System and method for identifying comment clusters for panoramic content segments
WO2017083420A1 (en) * 2015-11-10 2017-05-18 Thales Visionix, Inc. Robust vision-inertial pedestrian tracking with heading auto-alignment
US10317991B2 (en) 2016-02-09 2019-06-11 Google Llc Pixel adjusting at display controller for electronic display stabilization
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) * 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US11182930B2 (en) * 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
SE540058C2 (en) * 2016-05-10 2018-03-06 Bae Systems Haegglunds Ab Method and system for facilitating transportation of an observer in a vehicle
EP3473011A1 (en) * 2016-06-21 2019-04-24 Signify Holding B.V. Display system and method
JP6228640B1 (ja) * 2016-08-17 2017-11-08 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
KR102630681B1 (ko) * 2016-10-11 2024-01-30 삼성전자주식회사 디스플레이 장치 및 캡처 이미지 생성 방법
GB2558280A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Head mountable display system
US9992461B1 (en) * 2017-02-08 2018-06-05 Hyundai Motor Company Projection orientation correction system for vehicle
KR101874111B1 (ko) * 2017-03-03 2018-07-03 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
US11511176B2 (en) * 2017-03-13 2022-11-29 Holodia Inc. Method for generating multimedia data associated with a system for practicing sports
US11258999B2 (en) 2017-05-18 2022-02-22 Samsung Electronics Co., Ltd. Method and device for reducing motion sickness when providing 360-degree video
JP2019079193A (ja) * 2017-10-23 2019-05-23 キヤノン株式会社 情報処理装置、撮像装置、プログラム及び撮像システム
US11119331B2 (en) * 2018-03-28 2021-09-14 Disney Enterprises, Inc. Method for dampening projector vibration
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
US11080822B2 (en) 2018-12-21 2021-08-03 Htc Corporation Method, system and recording medium for building environment map
GB2585198B (en) 2019-07-01 2022-03-02 Sony Interactive Entertainment Inc Method and device for generating video frames
EP4062380A4 (en) 2019-11-18 2023-11-29 Magic Leap, Inc. CARTOGRAPHY AND LOCALIZATION OF A PASSABLE WORLD
US11150470B2 (en) * 2020-01-07 2021-10-19 Microsoft Technology Licensing, Llc Inertial measurement unit signal based image reprojection
CN115039166A (zh) 2020-01-27 2022-09-09 奇跃公司 增强现实地图管理
US11860439B1 (en) 2020-05-06 2024-01-02 Apple Inc. Head-mounted electronic device with alignment sensors
US20220201271A1 (en) * 2020-12-23 2022-06-23 Facebook Technologies, Llc Temporal foveated rendering
US20220230456A1 (en) * 2021-01-20 2022-07-21 Magna Electronics Inc. Vehicular driver assist system with adjustable display
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US11741661B2 (en) 2021-05-14 2023-08-29 Zoox, Inc. Sensor simulation with unified multi-sensor views
US11430177B1 (en) * 2021-05-14 2022-08-30 Zoox, Inc. Mapping simulated sensors to simulated environment views
US11715257B2 (en) 2021-05-14 2023-08-01 Zoox, Inc. Simulation view generation based on simulated sensor operations
US11544896B2 (en) 2021-05-14 2023-01-03 Zoox, Inc. Spatial and temporal upsampling techniques for simulated sensor data
CN118302717A (zh) * 2021-10-20 2024-07-05 南特工作室有限责任公司 经由动态视角的相机跟踪

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010010546A1 (en) * 1997-09-26 2001-08-02 Shenchang Eric Chen Virtual reality camera
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
CN1802586A (zh) * 2003-06-12 2006-07-12 西门子共同研究公司 校准真实和虚拟视图
US20070273610A1 (en) * 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
CN201145773Y (zh) * 2008-01-24 2008-11-05 寇开泰 眼镜式显示器
CN102484730A (zh) * 2009-06-04 2012-05-30 寇平公司 集成头戴显示器的3-d视频处理器
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实***中将虚拟图像锚定到真实世界表面
CN104145233A (zh) * 2012-02-23 2014-11-12 英特尔公司 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8301864A (nl) * 1983-05-26 1984-12-17 Philips Nv Hoofdtelevisie ofwel inrichting voor het individueel weergeven van beelden.
US5566073A (en) 1994-07-11 1996-10-15 Margolin; Jed Pilot aid using a synthetic environment
US6388638B2 (en) * 1994-10-28 2002-05-14 Canon Kabushiki Kaisha Display apparatus and its control method
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
CA2385548C (en) * 1999-09-22 2010-09-21 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
US7312766B1 (en) * 2000-09-22 2007-12-25 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
JP3620537B2 (ja) * 2003-05-02 2005-02-16 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
EP1731943B1 (en) 2004-03-29 2019-02-13 Sony Corporation Optical device and virtual image display device
US7259758B2 (en) * 2004-06-21 2007-08-21 Microsoft Corporation System and method for reducing latency in display of computer-generated graphics
JP4674634B2 (ja) 2008-12-19 2011-04-20 ソニー株式会社 頭部装着型ディスプレイ
US20100156907A1 (en) * 2008-12-23 2010-06-24 Microsoft Corporation Display surface tracking
EP2211224A1 (en) * 2009-01-27 2010-07-28 Thomson Licensing SA Head-mounted display and operating method thereof
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
WO2012166593A2 (en) * 2011-05-27 2012-12-06 Thomas Seidl System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
JP5707497B2 (ja) * 2011-08-09 2015-04-30 パイオニア株式会社 複合現実感装置
GB201116566D0 (en) * 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
US9087471B2 (en) * 2011-11-04 2015-07-21 Google Inc. Adaptive brightness control of head mounted display
US20130135303A1 (en) * 2011-11-28 2013-05-30 Cast Group Of Companies Inc. System and Method for Visualizing a Virtual Environment Online
US10269179B2 (en) * 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010010546A1 (en) * 1997-09-26 2001-08-02 Shenchang Eric Chen Virtual reality camera
US20050156817A1 (en) * 2002-08-30 2005-07-21 Olympus Corporation Head-mounted display system and method for processing images
CN1802586A (zh) * 2003-06-12 2006-07-12 西门子共同研究公司 校准真实和虚拟视图
US20070273610A1 (en) * 2006-05-26 2007-11-29 Itt Manufacturing Enterprises, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
CN201145773Y (zh) * 2008-01-24 2008-11-05 寇开泰 眼镜式显示器
CN102484730A (zh) * 2009-06-04 2012-05-30 寇平公司 集成头戴显示器的3-d视频处理器
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实***中将虚拟图像锚定到真实世界表面
CN104145233A (zh) * 2012-02-23 2014-11-12 英特尔公司 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113733A1 (zh) * 2015-12-27 2017-07-06 乐视控股（北京）有限公司 一种三维视频的自由观影方法及设备
WO2017120906A1 (zh) * 2016-01-15 2017-07-20 赵政荣 游戏时的专利信息提醒方法和头戴虚拟设备
CN105955454A (zh) * 2016-04-15 2016-09-21 北京小鸟看看科技有限公司 一种用于虚拟现实***的防眩晕方法和装置
CN105892683A (zh) * 2016-04-29 2016-08-24 上海乐相科技有限公司 一种显示方法及目标设备
WO2017185622A1 (zh) * 2016-04-29 2017-11-02 上海乐相科技有限公司 一种显示方法及目标设备
CN109155835A (zh) * 2016-05-18 2019-01-04 史克威尔·艾尼克斯有限公司 程序、计算机装置、程序执行方法、及计算机***
US10960310B2 (en) 2016-05-18 2021-03-30 Square Enix Co., Ltd. Program, computer apparatus, program execution method, and computer system
CN106170082A (zh) * 2016-06-30 2016-11-30 深圳市虚拟现实科技有限公司 远程全景图像实时全方位传输和显示方法
CN106131647A (zh) * 2016-07-18 2016-11-16 杭州当虹科技有限公司 一种基于虚拟现实视频的多画面同时观看方法
CN106131647B (zh) * 2016-07-18 2019-03-19 杭州当虹科技有限公司 一种基于虚拟现实视频的多画面同时观看方法
CN106094210A (zh) * 2016-08-05 2016-11-09 江苏艾锐泰克无人飞行器科技有限公司 一种手机大屏呈像装置和航拍***
CN106331823A (zh) * 2016-08-31 2017-01-11 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN106331823B (zh) * 2016-08-31 2019-08-20 北京奇艺世纪科技有限公司 一种视频播放方法及装置
CN106445129A (zh) * 2016-09-14 2017-02-22 乐视控股（北京）有限公司 全景图像信息显示方法、装置及***
CN106782260A (zh) * 2016-12-06 2017-05-31 歌尔科技有限公司 用于虚拟现实运动场景的显示方法及装置
CN106970467A (zh) * 2017-03-28 2017-07-21 联想(北京)有限公司 信息显示方法及头戴式显示设备
CN106970467B (zh) * 2017-03-28 2020-03-24 联想(北京)有限公司 信息显示方法及头戴式显示设备
WO2020259498A1 (zh) * 2019-06-28 2020-12-30 中兴通讯股份有限公司 媒体处理方法、装置、***和可读存储介质
US11974015B2 (en) 2019-06-28 2024-04-30 Zte Corporation Media processing method, device and system, and readable storage medium

Also Published As

Publication number Publication date
EP4012482A1 (en) 2022-06-15
WO2014155072A3 (en) 2014-11-20
GB201404739D0 (en) 2014-04-30
GB201305402D0 (en) 2013-05-08
US20160246061A1 (en) 2016-08-25
GB2512404A (en) 2014-10-01
GB2514466A (en) 2014-11-26
EP2979127A2 (en) 2016-02-03
GB201308151D0 (en) 2013-06-12
CN105103034B (zh) 2019-11-12
EP2979127B1 (en) 2021-12-01
US10054796B2 (en) 2018-08-21
WO2014155072A2 (en) 2014-10-02
GB2514466B (en) 2017-11-29

Similar Documents

Publication Publication Date Title
CN105103034A (zh) 显示器
CN106464854B (zh) 图像编码和显示
US10306202B2 (en) Image encoding and display
EP3051525A1 (en) Display
JP6845111B2 (ja) 情報処理装置および画像表示方法
CN103329165B (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
GB2528699A (en) Image processing
US11094107B2 (en) Information processing device and image generation method
WO2020246292A1 (ja) 映像配信システム、映像配信方法、及び表示端末
US11187895B2 (en) Content generation apparatus and method
CN111699460A (zh) 多视图虚拟现实用户界面
GB2558283A (en) Image processing
CN115623149A (zh) 视频记录及回放***和方法
US20220232201A1 (en) Image generation system and method
CN114755839A (zh) 一种全息沙盘显示***
JP2005050043A (ja) 画像処理方法、画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: London, England

Applicant after: SONY Interactive Entertainment Europe Ltd

Address before: London, England

Applicant before: Sony Comp Entertainment Europe

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200520

Address after: Tokyo, Japan

Patentee after: Sony Interactive Entertainment Inc.

Address before: England Atsushi

Patentee before: Sony Interactive Entertainment Europe Ltd.