CN104969264A - 用于将注解添加到全光光场的方法和设备 - Google Patents

Abstract

一种方法，包括步骤：用全光捕捉装置（4）检索表示光场的数据（100）；执行程序代码用于将检索的数据与对应的参考数据匹配（101）；执行程序代码用于检索与所述参考数据的元素相关联的在全光格式中的至少一个注解（61、63、64）（102）；执行程序代码用于从所述检索的数据和所述注解生成在全光格式中的注解的数据（103）。

Description

用于将注解添加到全光光场的方法和设备

背景技术

本发明涉及增强现实（augmented reality）方法和设备，特别地涉及用于将注解添加到对应于场景（scene）的数据的方法和各种设备。

在手持便携式装置诸如智能手机、掌上型计算机、便携式媒体播放器、个人数字助理（PDA）装置等等的发展中的快速进步已导致包含涉及图像处理的新奇特征和应用。比如增强现实应用是已知的，其中用户将便携式装置指向场景例如风景、建筑物、海报、或博物馆中的绘画，并且显示器将图像与涉及该场景的叠加的信息一起示出。这样的信息能够包含：例如针对山和住所的名称；人名；针对建筑物的历史信息；和商业信息，诸如广告，例如餐馆菜单。这样的***的示例在EP1246080中和在EP2207113中被描述。

已知的是通过在无线通信网络中的服务器将注解信息提供给便携式装置。包含带有服务器和便携式装置的通信网络的注解***以及注解方法也是已知的。

许多注解方法包含将图像诸如由带有标准CCD或CMOS传感器的标准针孔相机产生的2D图像或计算机生成的图像与储存在数据库中的参考图像的集合相比较的步骤。因为实际查看角度和照明条件能够关于储存在数据库中的图像是不同的，所以比较算法的目标是去除这些参数的影响。

比如，WO2008134901描述其中使用与通信终端相关联的数字相机拍摄第一图像的方法。与第一图像相关的询问数据经由通信网络被传输到远程识别服务器，在该远程识别服务器处识别匹配参考图像。通过用注解的图像的至少部分代替第一图像的部分，在通信终端处生成和显示增强图像。用相机拍摄的第一图像的增强发生在平面空间中并且仅处理二维图像和对象。

光线信息，诸如在空间的每个点中的光线的方向，在传统的图像注解***中被抛弃。没有光线信息的注解使注解的场景的现实视图更困难。比如，捕捉或显示在对象的表面上的纹理要求光线信息。尽管每个对象在它的表面上具有不同的纹理，但是在当前注解***中添加纹理信息是不可能的。这导致附着的注解实际不被集成在场景中。

另外，增强现实应用的快速增长可能在未来引起注解的泛滥。比如在城市中的一些场景含有与不同注解相关联的许多元素，从而导致下述注解的图像：该注解的图像带有非常大数目的注解，该注解覆盖背景图像的大部分。在许多情况中，用户仅对有限数目的那些注解感兴趣，并且另一些注解只会使人分心。因此，经常将期望的是限制注解的数目并且提供一种选择应该被显示的注解的方式。

此外，对于注解的场景查看而言计算开支是重要问题。将需要减少计算开支。

因此本发明的目标是解决或至少减轻现有增强现实***的以上提及的问题。

发明内容

依据发明，这些目标通过包括下述步骤的方法来实现：

用全光捕捉装置检索表示光场的数据；

执行用于将捕捉的数据与对应的参考数据匹配的程序代码；

执行用于检索与所述参考数据的元素相关联的在全光格式中的注解的程序代码；

执行用于从所述捕捉的数据和在全光格式中的所述注解生成注解的数据的程序代码。

发明也通过用于捕捉和注解对应于场景的数据的设备来实现，所述设备包括：

全光捕捉装置，用于捕捉表示光场的数据；

处理器；

显示器；

程序代码，当执行所述程序代码时，用于引起所述处理器检索与用所述全光捕捉装置捕捉的数据的元素相关联的在全光格式中的至少一个注解，并且用于在所述显示器上再现从捕捉的数据生成的且包含所述至少一个注解的视图。

发明也提供用于确定注解的设备，所述设备包括：

处理器；

储存器；

程序代码，当执行所述程序代码时，用于引起所述处理器接收表示光场的数据、将所述数据与一个参考数据匹配、从所述储存器确定与所述参考数据相关联的在全光格式中的注解并且将在全光格式中的所述注解或对应于在全光格式中的注解的图像的数据发送到远程装置。

在全光格式中的注解的要求保护的添加允许在全光格式中在图像中的注解的更现实的集成；注解似乎是捕捉的场景的元素，而不仅是叠加在图像之上的文本。在全光格式中的注解（在本申请中也被称为“全光注解”）含有比传统的注解更完整的光场描述，包含如何修改光线的信息。

取决于在图像的再现期间由用户选择的或比如基于他的兴趣自动选择的焦距和/或视点，在全光格式中的注解提供也允许选择应该被显示的注解。

由于注解与捕捉的数据相比较处于相同的空间（即全光空间）中，所以减少针对注解过程的计算开支。

特别地，减少用于再现在人可理解的格式中的全光数据的计算开支。实际上，由于在全光格式中的图像和全光注解处于相同空间中，所以再现过程对两者是等同的。在一个实施例中，单个再现过程能够被用于再现图像和相关联的注解。在这个情形中，针对全光再现过程选择的投影参数（诸如视点的改变、深度、焦点的选择…）也应用在全光注解上。比如，当改变全光图像的焦点或视点时，相同的变换能够被用于在各种距离处显示全光注解。在另一个实施例中，将注解的效果应用到捕捉的全光图像，并且执行修改的全光图像的再现。

因此，全光注解，即在全光格式中的注解，提供显示注解的现实方式、允许包含带有纹理的注解的更多类型的注解并且提高计算效率。

不像传统的注解，全光注解可以含有与由全光捕捉装置捕捉的图像一样多的关于光线的信息。因而，可能的是在捕捉的光场中直接合成注解，而没有失去由到2D图像上的投影引起的光线信息。比如，注解能够保留在注解的对象的表面上的光反射的特征，这用传统的注解***是不可能的。在这个意义上，注解的视图似乎更现实。

对光线的直接修改能够促进计算，诸如从多个视点同时生成注解的场景。在注解的场景生成的示例中，对场景的注解处理和其它额外处理诸如模糊或锐化以全光格式直接应用一次，而不是对每个视点在生成的2D图像上附着注解并且应用额外处理。因此，在全光格式中直接合成全光图像和全光注解可以导致减少计算开支。

本发明也涉及用于将注解附着到在全光格式中的参考图像的方法，所述方法包括：

用查看器呈现在全光格式中的所述参考图像；

选择注解；

用所述查看器选择针对所述注解的位置和一个或多个方向，从所述一个或多个方向能够看到所述注解；

在存储器中将所述位置和所述方向与在全光格式中的所述参考图像和所述注解相关联。

这个方法可以用合适的创作***诸如合适的软件应用或网站来执行。

附图说明

发明在对作为示例给出且由附图图解的实施例的描述的辅助下将被更好地理解，在附图中：

图1示意性图解用于捕捉表示带有处于第一距离的对象的场景的光场的数据的全光捕捉装置。

图2示意性图解用于捕捉表示带有处于第二距离的对象的场景的光场的数据的全光捕捉装置。

图3示意性图解用于捕捉表示带有处于第三距离的对象的场景的光场的数据的全光捕捉装置。

图4示意性图解包括一起体现发明的各种设备元件的***。

图5A到5B示出从相同的全光数据再现的注解的视图，其中在再现期间由用户选择的视点在两个视图之间已改变，从而导致以不同方式再现的相同注解。

图6A到6B示出从相同的全光数据再现的注解的视图，其中在再现期间由用户选择的视点在两个视图之间已改变，从而导致使第一注解在第一视图上成为可见的并且使第二注解在第二视图上成为可见的。

图7A到7B示出从相同的全光数据再现的注解的视图，其中在再现期间由用户选择的焦距在两个视图之间已改变，从而导致使第一注解在第一视图上成为可见的并且使第二注解在第二视图上成为可见的。

图8是用于生成和再现带有在全光格式中的注解的视图的方法的框图。

图9是用于当查看者在视图上选择不同查看方向和/或不同焦距时修改注解的再现的方法的框图。

图10是用于将在全光格式中的注解与参考数据相关联的方法的框图。

图11是一系列全光图像诸如由用户在移动中捕捉的视频全光图像或全光图像的连续注解的方法的框图。

具体实施方式

传统的相机捕捉场景在传感器上的2D投影，并且生成指示在每个具有或没有颜色的像素上的光的强度的数据。另一方面，照此已知的全光捕捉装置捕捉表示光场的数据，即不仅指示光的强度而且指示关于光场的包含光的方向的更完整的信息的矩阵。

完整的光场可以包括用于描述每个光线（或用于描述在给定位置处的光线）的多达7个参数：3个针对位置，2个针对方向，1个针对波长以及（在视频的情形中）1个针对时间。一些当前的全光相机递送全光数据，该全光数据包括：针对位置的2个参数、针对方向的2个参数、以及针对波长的1个参数。传感器生成表示所谓的全光光场的全光数据，即至少指示光线的位置和方向的矩阵。它表示由全光捕捉装置生成的全光数据比由传统2D相机生成的传统2D图像数据含有关于光场的更多信息。

至今，至少两个公司Lytro和Raytrix提出能够记录这样的全光光场的全光传感器。它们的两款相机在设计方面稍微不同，但是主要思路是分解光的不同方向，该光被认为落在标准相机传感器中的单个光位（photosite）（或像素）上。为了那个目标，如在图1上图解的，微透镜20的阵列被放置在主透镜1后面，代替传统相机的传感器。

那样，微透镜21依据光线的入射角度使光线改变方向，并且改变方向的光线到达传感器21的不同像素210。由形成子图像的N×M像素210中的每个测量的光量取决于射中在那个子图像前面的微透镜20的光束的方向。

图1到3图解简单的一维传感器，该简单的一维传感器包括n=9个子图像，每个子图像具有N×M像素（或光位）210的一行，在这个示例中N等于3并且M等于1。许多全光传感器具有更高数目的子图像和用于每个子图像的更高数目的像素，比如9×9像素，从而允许在微透镜20上的光的N×M=81个不同定向之间进行区分。假设场景的所有对象处在焦点上，每个子图像因而包含指示来自各种方向到那个子图像上的光量的亮度值的补片。

在这个构建中，微透镜20的阵列位于由全光捕捉装置的主透镜1形成的图像平面上并且传感器21位于离微透镜距离f处，其中f是微透镜的焦距。这个设计允许高的角度分辨率但是遭受相对差的空间分辨率（每再现的图像的像素的有效数目等于微透镜的数目）。这个问题由其它全光捕捉装置来处理，在该其它全光捕捉装置中微透镜聚焦在主透镜的图像平面上，因而在微透镜和图像平面之间创建间隙。在这样的设计中要付出的代价是较差的角度分辨率。

如能够在图1到3上观察到，在这个示例中对应于带有单个点3的场景的全光光场取决于从点3到主透镜1的距离。在图1上，来自这个对象的所有光束到达相同的微透镜20，因而导致全光光场，其中对应于这个微透镜的子图像中的所有像素记录第一正光强度，而对应于其它透镜的所有其它像素记录不同的、空光强度。在其中对象3更靠近透镜1的图2上，源于点3的一些光束到达其它子图像（即与邻近之前射中的微透镜的两个微透镜相关联的子图像）的像素。在其中对象3处于离透镜1更大距离的图3上，源于点3的一些光束到达与邻近之前射中的微透镜的两个微透镜相关联的不同像素。因此，由传感器21递送的数字数据22取决于到对象3的距离。

全光传感器21因而递送全光数据22，该全光数据22针对对应于微透镜20的每个子图像含有指示在这个子图像以上的透镜上的来自各种方向的光量的（N×M）值的集合。针对给定的聚焦的对象点，子图像的每个像素对应于以特定入射角度φ（在页面的平面中）和θ（与页面的平面垂直）射中传感器的光线的强度测量。

图4示意性图解体现发明的注解***的框图。***包括用户装置4，诸如手持装置、智能手机、平板电脑、相机、眼镜、护目镜、隐形眼镜等。装置4包含：全光捕捉装置41，诸如在图1到3中图解的相机，用于捕捉表示在场景3上的光场的数据；处理器，诸如带有合适的程序代码的微处理器400；和通信模块401，诸如WIFI和/或蜂窝式接口，用于通过诸如互联网6的网络将装置4连接到远程服务器5比如云服务器。服务器5包含：储存器50，带有诸如SQL数据库的数据库、XML文档的集合、在全光格式中的图像的集合等，用于储存表示图像和/或一个或多个全局模型的参考全光数据的收集；和处理器51，包含微处理器，该微处理器带有用于引起微处理器执行在注解方法中需要的操作的计算机代码。注解和对应的位置连同参考全光数据一起也能够被储存在储存器50中。

由用户装置4执行的程序代码能够包含比如能够被用户下载和安装在用户装置4中的应用软件或应用程序（app）。程序代码也能够包含用户装置4的操作代码的部分。程序代码也能够包含在网页中嵌入的或在浏览器中执行的代码，该代码包含比如Java、Javascript、HTML5代码等。程序代码可以被储存为在有形设备可读介质（诸如闪存、硬盘、或永久或半永久存储器的任何类型）中的计算机程序产品。

由用户装置4中的微处理器400执行程序代码用于引起这个微处理器将对应于光场的捕捉的数据集合中的至少一些或那些数据集合的特征发送到远程服务器5。程序代码被布置为发送在“全光格式”中的数据，即没有失去关于光线的方向的信息。程序代码也能够引起微处理器400从服务器5接收在全光格式中的注解的数据、或注解的图像、或与之前发送的全光数据相关的注解，并且用于再现对应于带有注解的捕捉的数据的视图。

全光注解方法可以包括两个部分：离线过程和在线过程。通常，离线过程的主要目的是将注解与在全光格式中的参考图像、或与其它2D、立体的、或3D参考图像相关联。

离线阶段

在全光格式中的参考图像的情形中，离线过程可以包括比如下面的步骤：

1.从装置4接收在全光格式中并且表示光场的参考数据；

2.比如用全光查看器呈现全光参考图像的再现的视图；

3.选择全光注解，

4.选择用于在再现的视图中的注解的位置和定向，

5.选择注解的一个或多个光场参数，

6.（可选地）将动作归结于注解，

7.基于它的位置和定向，在存储器中将参考图像光线与注解光线相关联。

这个离线过程能够在服务器5上、在用户装置4中，或在又一个设备诸如个人计算机、平板电脑等中执行。典型地，这个离线过程对与参考图像相关联的每个注解仅被执行一次。如果选择的注解在全光格式中不是初始可获得的，则它可以被转换到全光格式中。

离线过程的主要目的是将全光注解添加到全光图像。离线过程可以包括两个阶段。第一个阶段可以通过由在服务器5中的微处理器执行的程序代码来执行，该微处理器可以包含用于引起服务器5执行下面的任务中的至少一些的可执行程序或其它代码：

1.从装置4接收在全光格式中并且表示光场的数据；

2.从数据库50检索之前储存的模型（参考图像）和/或多个参考数据；

3.将从用户装置接收的数据与参考图像的一个部分、分别与多个参考图像之中的一个匹配，

4.确定与匹配参考图像相关联的注解；

5.将在全光格式中的注解或在全光格式中的注解的图像发送到装置4。

在各种实施例中，代替将捕捉的数据发送到远程服务器5用于与在服务器中的参考图像匹配，这个匹配能够用本地储存的参考图像的集合或用在装置中本地储存的模型在用户的装置中本地完成。在这个实施例中，服务器5被装载在用户装置4上。在线过程能够依据用户的要求被执行若干次。

在线过程的第二阶段可以通过由在装置4中的微处理器执行的程序代码来执行，该微处理器可以包含用于引起装置4执行下面的任务中的至少一些的可执行程序或其它代码：

1.可能地连同相关联的动作一起从服务器5接收在全光格式中的注解数据；

2.将接收的注解数据应用到捕捉的全光光场；

3.将注解的光场再现到用户可查看的视图；

4.解释用户交互并且执行相关联的注解动作。

在各种实施例中，代替在装置4上将接收的注解应用到捕捉的全光光场，这个步骤能够在服务器5侧上被完成。在这个情形中，最终再现的视图被传输回到装置4或整个注解的光场被传输回到装置4。

因此，用户能够将注解与关于全光参考图像的再现的视图的特定位置和定向相关联，并且指示在这个特定视图中注解应该使用的一个或多个光场参数。在再现视图期间取决于由查看者选择的视点，可以不同地再现相同的注解。因为注解的光场参数可以改变，如果查看者选择不同的视点，则第一注解可以被处于相同位置的第二注解代替。

用于离线过程的流程图的示例在图10上被图解。这个流程图图解下述方法：该方法允许用户选择必须与参考图像相关联的注解、以及关于这个注解的位置、定向和光场参数，从而这个注解将被应用到匹配这个全光参考图像的捕捉的全光图像。

这个方法可以使用可以在用户的装置4中本地运行的注解创作***。注解创作***也可以被主控在服务器5上，在该服务器5处web平台呈现一些工具以管理注解并且使它们与全光参考图像有关。诸如增强现实使用统计的服务也可以从web平台是可获得的。注解创作***也可以运行在不同的服务器或设备（包含用户的个人计算机、平板电脑等）中。

在步骤150中，用户选择参考图像，诸如在全光格式中的图像。该图像被上载在全光创作***上并且用作用于注解的支持图像。

作为全光创作***的部分，查看器以使得用户能够可视化上载的数据的方式将上载的数据再现给用户。如果数据处在全光格式中，该全光格式不能够照此被人容易地理解，则这可能包含使用全光再现模块来在被用户可理解的空间中再现全光模型。查看器构成下述工具：该工具操纵全光数据并且关于给定视图将注解放置在期望的位置和定向处，但是与全光注解的所有处理和组合直接在全光空间中完成。

在一个实施例中，全光模型能够被再现为2D视图，从而用户能够一次从一个视点并且一次以一个焦距可视化该2D视图，从而允许他理解和编辑全光模型。为了从一个2D视图导航到其它，控制是可获得的，使得在请求时能够显示另一个2D视图。

在另一个实施例中，全光模型可以被再现为部分3D场景，其中能够可视化光线的不同方向。与标准的完整3D场景的主要不同是：当从全光模型再现3D场景探测时，限制该3D场景探测。比如，视图方向以及视图位置被限制到由全光捕捉装置已捕捉的方面。

在步骤151中，用户选择他想要将其与全光模型的特定元素或位置相关联的全光注解。如已经提及的，全光注解被限定在全光空间中并且因而以光线来描述。那些光线能够描述比如文本、图像、视频、或直接作用在全光图像光线上的其它元素。全光注解比如可以从数据库中或文件浏览器中的全光注解的库来检索。全光注解也能够比如通过下述方式飞快地创建：用全光捕捉装置捕捉它、用文本编辑器输入文本、绘制图像和/或记录声音或视频。

在一个实施例中，全光注解能够在创作***上以库或列表被呈现为预览。全光注解预览对应于用于默认视图的注解的再现。这个默认视图能够被随机或在优选实施例中取作对应于关于位置和方向的全光注解范围的中间视图。预览允许用户获得关于全光注解对应于什么的快速和清晰的概念。对于不作用在模型波长上的注解的通用类型，即这些注解照此不是可视化的，预览图解被应用到由创作***再现的当前模型视图的中央的注解。因此，如果注解的这个类型仅具有使所有的模型光线旋转10°的效果，则预览将由当前模型再现的视图的中央部分组成，其中每个光线已被旋转10°。

在步骤152中，用户用全光注解创作***选择在选择的参考模型的再现的视图的坐标***中的位置，在该位置处他想要添加全光注解。这能够比如通过下述方式来完成：在期望的位置处从显示的视图的顶上的注解预览列表拖动注解，并且可能地平移、旋转、调整大小、裁剪和/或另外编辑注解。替选地，用户也可以输入坐标作为在控制平面中的值。

在步骤152'中，用户能够调节注解光线的参数以生成注解的另一个视图。当用户使用比如用于改变注解的定向的计算机鼠标指针来改变注解的参数时，注解的光线与全光模型的光线组合，并且针对每个新的位置或新的定向在查看器中生成新的2D视图。当用户鼠标指针和它的移动被投影到全光空间时使这成为可能。指针的移动随后在与对应于2D再现的视图的虚拟平面平行的平面中被应用到注解。

一旦组合全光模型和注解的光线，注解的效果被应用到参考图像的光线。叠加全光注解的过程能够被看作修改光线的过程。捕捉的全光数据能够含有关于光线的方向、针对每个光线的波长（即颜色）的信息，因而注解能够被视为那些参数的修改。比如，在对象的表面上附着文本能够被看作对在表面上的特定区域处的光线的波长的修改。

由注解产生的效果的类型由注解本身确定。在一个实施例中，全光注解比如仅由不透明的文本组成。在这个情形中，模型光线波长完全由针对映射的光线的注解光线波长代替。对于其它注解，通过考虑到改变模型的纹理的注解，模型的光线可以使它们的方向被注解改变以反映新的纹理。在又一个示例中，模型光线位置可以被注解改变。

全光注解能够被看作修改光线的过滤器。这提供显示注解的场景的更多可能性。这个处理的一个进一步示例是变更光线的方向。作为实施例，通过将随机性添加到光线的方向中能够将发光效果应用到从捕捉的全光图像中的特定对象入射的光线。能够使注解的对象成为反射性的。另一个示例是表面的属性的修改，诸如纹理信息的修改。由于全光注解允许修改光线的变量，诸如方向和波长，所以可能的是通过组合变量的修改来修改对象的表面好像纹理被添加在其上。比如，全光注解通过修改方向和波长能够实现将带有红颜色的平表面改变到带有黄颜色的粗糙表面。

描述注解对模型光线的效果的信息可以被储存在全光注解阵列中，如将在步骤154中描述的。

在步骤153中，用户选择一个或多个注解光场参数。这比如能够是注解的波长以改变它的颜色。用户也可以限定针对从不同方向查看的相同注解的不同外观，或甚至与从不同方向查看的相同元素相关联的不同注解。

替选地，一旦在再现的全光模型上成功地被调节，用户能够选择导航到全光查看器的另一个视图。全光注解在全光模型的新的视图上自动地被报告。用户随后能够决定编辑注解、改变它的光场参数或针对这个特定视图的外观。他能够针对全光模型的所有可获得的视图以相同方式继续进行。

内插过程可以在全光注解的第一和第二视图之间发生以防止用户免于必须经过全光模型的所有视图来导航。全光注解的这两个视图不必须是连续的。用户必须在两个视图中指定注解的外观并且全光创作***将自动生成全光注解的居间视图。尚未与注解相关联的全光模型的其它视图将不显示它，从而导致针对场景的特定视点或聚焦平面不再现注解的可能性。

全光注解可以包括对应于光线并且以参数的集合来描述的数据。当再现针对第一特定视图的全光注解时，查看器设定一些参数并且允许用户修改其它参数。从这个视图导航到第二个视图，用户改变必须由查看器固定的参数同时能够修改其它参数。内插过程自动计算在这两个视图之间的全光注解的光线参数。

在一个实施例中，每个全光注解的参数可以如下：针对空间中的光线位置的3个（或可能2个）参数、针对它们的方向的2个参数、针对它们的波长的1个参数和针对时间的可能1个参数。对于由全光查看器再现的特定视图，位置、方向和时间的参数可以比如由查看器设定。用户能够随后改变未被查看器固定的参数，在这个示例中对应于光线的波长。让我们假定用户将它设定到第一值v1。现在对于注解的另一个视图，即对于位置、方向和时间参数的不同值，让我们假定用户改变针对第二视图的波长值并且将它设定到比如v2。内插过程目的在于为在与第一和第二视图相关联的位置、方向和时间参数中间的视图计算在v1和v2之间的注解值。在其它实施例中，内插也可以考虑为全光数据的包含位置、方向、波长和/或时间的其它参数也计算值。

内插的具体示例比如包含：全光注解的颜色的改变，比如从橙颜色转到更微红的颜色；注解的可见度的改变，其中对于特定视图，注解是可见的，而对于另一个视图，注解是隐藏的。

内插的不同方法是可能的，该方法包含比如注解的两个视图之间的线性、二次或更高阶的内插。而且，更高级的内插方法能够考虑场景或注解本身的其它特征以生成注解的新光线。

在步骤153'中，当注解被显示在捕捉的图像上时，动作也能够被关联到注解中的所有或一些。这些动作能够被用户触发或使用比如定时器自动地被执行。动作包含：启动带有特定URL的web浏览器；使注解活跃，诸如使一个注解移动、出现或消失；播放视频；启动呈现进一步可能动作的菜单；启动幻灯片放映或播放音频文件。允许修改呈现给用户的全光数据的视图的动作也是可能的，比如允许将全光数据的视图聚焦在给定焦距处的动作。

在步骤154中，全光注解被储存并且被关联在带有对应的位置、定向且带有选择的参考全光模型的存储器中，比如在数据库51中或在用户的装置中。已知需要的注解，以全光格式储存附着到每个参考全光模型的注解是可能的。每个注解被储存为分开的全光文件。

全光注解的参考数据从全光参考数据和对应的一个或多个全光注解生成。这个增强现实模型采取文件的形式，该文件含有为再现回到带有其相关联的注解的全光模型所要求的所有信息。因此它描述在全光参考数据和它的注解之间的关系。全光注解的参考数据能够直接地被再现在全光注解创作***上以预先可视化结果，而且直接地被再现在客户端侧上以再现某一全光增强现实。

描述注解对模型光线的效果的信息被储存在全光注解数据中。由注解限定的修改作用在模型光线参数上。因此，注解能够描述比如模型光线方向、位置、时间或波长的修改。换句话说，这个信息描述模型光线的功能。

在注解创建时，注解的每个光线被分配唯一的识别符。当在创作***上应用注解时，注解光线唯一识别符被匹配到它们的模型的对应光线。所以，模型的每个光线被分配注解光线识别符，当***必须逐光线地在模型上应用注解时，该注解光线识别符随后被***使用，如比如在在线阶段中情形大体上如此。

注解信息能够被储存在2维阵列中，其中每个光线含有关于其对针对每个参数的模型的效果的信息。注解光线的唯一识别符随后被用来在针对每个参数的阵列中限定对应的光线效果。换句话说，阵列的第一维度对应于光线，该光线由它们的识别符指代，并且第二维度对应于它们的参数，即光场参数。任何注解能够使用这个格式完全被表示，因为针对任何参数的模型光线的任何修改能够被表示在阵列中。

在一个实施例中，注解能够比如针对一个角度以10°来修改所有模型光线方向。如在下文表1中图解的，该2维阵列随后在对应于方向角度的参数的列中含有10°。该列对所有光线读取10°，因为假定它们全部以相同方式起作用。当期望应用注解对它的对应的模型光线的效果时，***将首先识别注解和模型光线对、提取对应于注解光线的唯一识别符、查询注解表以查看这个注解光线具有什么效果以便最终将这个改变应用到模型光线。在这个示例中，由注解影响的所有模型光线的角度将以10°被旋转。

表1.注解阵列。

作为离线阶段的示例，用户可能想要将文本注解添加到含有建筑物的场景。另外，文本注解颜色将需要从一个视点到另一个视点而变化。下面的步骤随后将被用户完成：

1.建筑物的全光捕捉被上载到全光注解创作***

2.从捕捉的全光图像再现2D视图并且将该2D视图呈现给用户

3.用户从注解类型列表选择文本注解类型、输入他的文本并且将文本注解拖动到再现的2D视图上

4.用户能够移动再现的2D视图的视点或注解位置和定向，从而注解正好如用户想要的那样出现

5.用户为当前再现的视点设定文本颜色

6.用户将再现的全光图像的视点移动到另一个位置

7.用户为这个其它视点将文本颜色设定到另一个值

8.全光注解模型随后被保存并且准备用于注解过程的在线阶段。

全光注解创作***执行下面的任务以基于之前描述的用于文本注解的用户动作步骤来生成合适的注解模型：

1.基于初始地被设定到默认值的视点设定将2D视图再现给用户

2.文本注解的全光版本通过从文本对象追踪光线到虚拟视点来生成。这创建光线的集合，每一个由唯一识别符描述。这个光线的集合描述文本。这些光线在存储器中由对应于必须被应用到参考全光图像的修改的阵列来表示。在这个情形中，阵列将含有与注解光线匹配的光线必须采取的波长的值

3.注解初始地位于在创作工具中预限定的默认位置。注解光线与参考全光图像光线组合。在注解和参考图像的光线之间的这些关系通过使用光线唯一识别符为将来使用而被储存

4.当用户使用比如计算机鼠标指针来移动/改变注解的定向时，注解的不同光线与捕捉的全光图像的其它光线组合，并且针对每个位置或定向修改生成新的2D视图。当用户鼠标指针被投影在全光空间中时使这成为可能。指针的平移随后在与对应于2D再现的视图的虚拟平面平行的平面中被应用到注解。当注解被移动时，在注解和参考图像之间的光线的关系依据注解位置或定向改变来改变和更新

5.当用户为当前视点选择用于文本的颜色时，注解阵列的波长值被改变以匹配选择的颜色

6.当选择新的视点并且选择新的文本颜色时，对应于用来生成这个新的再现的视图的光线的注解阵列的波长值被改变。在第一视点和第二视点中间的波长值使用标准或点对点内插方法来内插

7.当用户保存模型时，全光注解阵列被保存有上载的全光参考模型，从而它能够被用在在线阶段。

在线阶段

如之前解释的，当捕捉全光图像的用户想要该图像被注解时，发生整个注解过程的在线阶段。

注解过程的在线阶段被应用到输入全光图像以得到最终全光注解的图像。这由下述构成：将输入图像与一些参考模型匹配、检索匹配的参考模型的注解、将注解与输入全光图像组合、以可理解的形式将注解的视图再现给用户、并且可能地处理用户交互以生成在注解上限定的不同动作。

由于由光线组成的注解内容处在全光格式中并且捕捉的图像也处在全光格式中，所以那两个数据集合处在相同的空间中。因而注解能够直接被应用到全光图像而不需要进一步投影。注解已被应用到的修改的全光空间能够随后被投影到比如2D视图中。这也表示为全光再现过程选择的投影参数（诸如视点的改变、深度、焦点的选择，…）也隐含地应用在全光注解上。比如，当改变再现过程的焦点或视点时，注解将具有应用到它们的效果。

如在图8上图解的在线全光注解过程包括第一步骤100，在该第一步骤100期间表示在全光格式中的光场的数据（全光数据）被检索。全光数据可以由用全光捕捉装置捕捉数据的装置4来检索，或由通过通信链接从装置4接收全光数据的设备诸如服务器5来检索。

在步骤101中，检索的数据与参考数据匹配。这个步骤可以在装置4和/或在服务器5中被执行。这个步骤可能涉及：确定在捕捉的数据中的特征的集合、查找表示带有匹配特征的参考图像的匹配参考数据、并且将捕捉的数据与参考数据配准，如比如在US13645762中描述的。参考数据可以表示在全光格式中的图像或其它图像，并且可以被储存在诸如数据库的存储器51中，该存储器51从多个装置可访问。匹配参考数据的识别可以基于用户的位置、时间、小时、从场景的元素接收的信号、由用户的和/或图像相似度给出的指示。配准过程目的在于查找在用户位置和参考数据之间的几何关系，从而能够推断在捕捉的全光图像的光线和来自匹配的全光参考图像的光线之间的变换。

在步骤102中，比如从存储器51检索与匹配参考数据相关联的全光注解。这个注解处在全光格式中，即以光线来描述。那些注解光线可以表示比如文本、静态图像、视频图像、标识语、和/或直接作用在全光图像光线上的其它元素。

注解可以包含在全光空间中的声音，例如附着到全光参考图像的光线的特定组的声音，从而声音将仅对其中选择的光线在全光图像中也是可见的和/或在焦点上的一些方向来播放。

在步骤103中，在全光格式中的检索的注解与捕捉的全光数据组合以生成注解的数据，该注解的数据表示在全光格式中的注解的图像。这个组合可以在服务器5中或在装置4中进行。在后者的情形中，服务器5可以将注解的数据发送到装置4，该装置4随后进行组合。因为将参考图像的光线投影到捕捉的全光图像的变换从匹配步骤（步骤101）是已知的，所以使这个注解组合成为可能。因此注解也能够被应用到捕捉的全光图像。

全光注解使用下面的方法能够被应用到捕捉的全光图像：

1.查找变换，该变换用于将参考全光图像光线投影到在图8的步骤100中检索的在线全光图像光线上；

2.针对在离线阶段中限定的参考全光图像的每个检索的注解：

　1.通过读取在离线阶段中限定的注解阵列，识别和选择参考全光图像的哪些光线必须依据注解来修改

　2.将在点（1）中识别的光线投影到在线全光图像上。这创建在参考全光图像的选择的光线和来自捕捉的全光图像的光线之间的对应

　3.针对在点（2）处已被选择的捕捉的全光图像的每个光线，应用变换到如在全光注解阵列中限定的光线。阵列被用作查找表，其中由于步骤（1）和（2）的选择过程能够识别的光线和变换的参数（诸如波长、方向…）被用作查找关键码。

作为示例，如果注解光线表示文本，则注解阵列将含有单个非空光场参数，该单个非空光场参数是对应于文本颜色的波长。因而捕捉的全光图像光线将通过以储存在注解阵列中的因子来增大/减小光线的波长而修改。这个因子通过使用在配准过程中计算的光线之间的变换而在阵列中被查找。

在步骤104中，从注解的数据再现视图，比如2D或立体视图，并且将视图比如显示在显示器40上或用另一个设备显示给用户/查看者。这个视图再现过程下面连同图9被更详细描述。

在步骤105中，使与注解的交互成为可能。***能够对不同的事件做出反应以执行之前在注解过程的离线部分中限定的特定动作。这样的事件能够是用户与注解的交互。借助于触摸屏、手追踪传感器或任何其它输入装置，用户能够指向给定注解并且与给定注解交互。这个交互将生成交互事件，该交互事件能够触发在注解过程的离线阶段中限定的特定动作。

事件的另一个可能类型是当检测到场景中的特定改变时触发的事件。如在这个部分稍后解释的，能够检测到由捕捉的全光图像中的参考模型的对象的闭塞。这个闭塞事件能够触发之前在注解过程的离线阶段中限定的动作。作为触发注解动作的可能事件的另一个示例，能够使用声音识别模块以基于检测到的声音的特定类型来触发特定动作。

图9图解视图的再现以及对于查看者随后修改再现的各种可能性。如之前指示的，在步骤104中从下述再现增强现实视图：从捕捉的视图生成的注解的数据和在全光格式中的注解数据，如之前以图8描述的。再现的视图可以是如由针孔相机产生的标准2D视图、立体视图、视频、全光数据的全息投影、或优选地以用于重新聚焦和/或改变视点的一些命令来呈现图像的动态图像模块。动态图像模块能够是能够再现全光图像作为命令值的功能或作为Flash对象的HTML5/Javascript网页，或允许若干图像的动态呈现的任何其它技术。可以在步骤104期间被再现的视图的示例在图5A、6A、和7A上示出。在图5A和6A上的视图包含带有注解61的对象60。在图7A的视图上也看到处于不同深度并且因此在焦点外的额外对象62。重新聚焦或改变视点能够被用户手动地（比如通过选择在图像上或围绕图像的对象或位置）或自动地（比如当用户移动时）触发。

在步骤105中，用户输入用于修改视点的命令以在步骤107期间从相同全光数据产生新奇视图，该新奇视图对应于从不同视点观察的相同场景。用于从全光数据生成如从不同视点或查看方向看到的场景的各种2D图像的算法照此是已知的，并且比如在US6222937中被描述。由这个命令产生的并且被视点选择模块403执行的修改的2D图像的示例被图解在图5B上。如能够看到，不仅对象60的透视图而且注解61的透视图已被这个命令修改。实际上，由于注解直接被应用在由输入全光数据表示的全光空间上，当视图从全光空间生成时，注解看似以与全光图像相同方式被变换。这产生更现实的注解。

一些注解可以仅从查看方向的第一集合是可见的，但是从其它方向不是可见的。因此，如以图6B图解的，在步骤105期间视点的改变可以导致新的视图，其中使一个注解61成为不可见但是显露与相同对象相关联的新的注解64。多个注解可以与参考图像的单个位置相关联，但是与不同的查看方向相关联。由于在注解过程的离线阶段中设定的不同注解光场参数，当从与第二不同视图方向相比的第一查看方向再现注解时，注解本身也可以看起来不同。外观的改变能够被注解本身限定，但是它也能够是输入全光图像的功能。

在图9的步骤106中，用户输入命令，该命令用于重新聚焦图像并且用于从在全光格式中的数据生成聚焦在不同距离处的新图像。这个命令可以被重新聚焦模块402执行。如能够在图7A和7B上看到，这可以导致在第一焦距处可见的第一注解61消失或在图7B上示出的第二焦距处变为不那么锐利，然而第二注解63仅出现在这个第二焦距处。

在步骤105和106中用来改变再现的视图的不同命令也能够关于用户移动自动地发布。在一个实施例中，用户移动用嵌入在全光捕捉装置中的惯性测量单元（IMU）追踪。通过使用这个模块，当用户移动时再现的视图自动地被更新。比如，当用户在左边移动时，查看方向稍微地平移到左边。当用户向前移动时，相同的原理适用，其中聚焦范围也向前移动，与之前再现的视图比较产生在背景平面中的更锐利的对象以及在前景平面中的更柔和的对象。本发明不被约束到使用IMU来追踪用户移动。诸如直接使用全光图像内容以追踪用户移动的其它装置也能够被使用。

在另一个实施例中，在线全光注解过程被持续应用到由移动中的用户的全光捕捉装置产生的全光图像流。这个持续处理允许用户持续地移动或移动他的全光捕捉装置并且使全光注解实时地更新。全光图像流以及视图的再现（图8的步骤104）必须实时被处理，从而用户感知注解好像它们是场景的部分。在这个实施例中，在不需要具有另一个全光捕捉的情况下能够然后修改查看方向的事实允许以需要从流来处理的全光图像的低得多的数目来实现相同效果。实际上，如果我们假定单个全光捕捉允许在特定查看方向范围内的视图的再现，并且只要用户不移动出该范围，则来自流的全光图像不需要被处理并且仅图8的步骤104需要再次被执行。这开启下述新的可能性：当用户正接近查看范围的边界时通过异步地处理新的全光图像帧来进行更计算高效的实时追踪，从而当新的帧应该被处理时用户感知不到延迟。

用于注解活跃的全光图像的方法的示例被图解在图11上：

图20的步骤200、201、202、203与图8中的步骤100、101、102、103类似或等效。

在步骤204中，查看方向参数被计算，作为步骤201的配准过程的结果。

在步骤205中，基于在之前步骤中计算的查看方向再现视图。

在步骤206中，惯性测量单元（IMU）被用来关于步骤200已被计算的时间来确定用户移动。随后采取下述决定：要么回到步骤200用于处理新的全光图像，要么直接到步骤204以基于IMU移动评估来更新查看方向参数。移动量被用来确定之前捕捉的全光数据是否能够被用来生成新奇视图。这典型地取决于全光捕捉装置的视场。

全光注解的再现可以考虑可能的闭塞。如果要注解的目标元素从捕捉装置视野被位于输入全光图像的另一个对象隐藏，则全光注解可能被闭塞。

在一个实施例中，再现模块利用捕捉的数据的全光格式将注解在视觉上隐藏在不相关对象后面。再现模块从全光参考数据知道捕捉的光线的属性，该捕捉的光线的属性应该来自捕捉的全光图像的每个元素。如果捕捉的光线具有与元素的期望的光线不同的属性，则它能够表示闭塞对象在元素前面，并且因而不必须对于这个元素显示注解。

在类似的方式中，如果对应于在捕捉的图像中的元素的光线具有与在参考图像中的对应的方向不同的方向，则这能够表示元素处在不同深度。再现模块能够使用这个信息以检测闭塞。额外地，光线的颜色信息也能够被用来确定捕捉的要素是否被闭塞。然而，颜色信息是不足够的，因为闭塞对象可能具有与目标元素相同的颜色。

应用

在与注解相同的空间中注解全光图像的过程和在全光格式中的注解的提供为增强现实带来新的应用。

应用的第一示例是在社会背景中的全光注解***的使用。实际上，对象/场景的全光图像能够被用户用他们的全光捕捉装置来捕捉。捕捉的全光图像随后能够被用户使用各种各样的注解（包含之前捕捉的并且被用作注解的全光图像）来注解。它们的注解的场景随后能够使用社交网络被分享给用户的朋友，从而当他们用他们自己的全光捕捉装置来捕捉它时那些朋友能够体验注解的场景。在这个情形中使用全光注解过程的优点以下述事实被补充支持（leverage）：因为注解是全光图像，所以注解已经处在全光空间中。因此在相同的全光空间中进行注解过程是更计算高效的并且产生更现实的注解场景。

利用全光空间的不同信息的应用的第二示例是在体系结构设计的领域中的特殊设计的全光注解的使用。如在发明的之前部分中描述的，全光注解由与在线阶段中的全光图像光线组合的光线组成。在注解过程的离线部分中限定组合该光线的方式。这个组合能够使得来自全光图像的光线不被来自注解的其它光线代替，而是比如仅改变它们的方向。通过限定注解（这不仅修改全光图像的光线的波长而且修改比如它们的方向），使模拟捕捉的场景的材料或纹理的改变成为可能。在体系结构设计的这个情形中，全光注解能够有利地被使用，以模拟比如在不同材料被应用到墙壁的情况下特定房间或特定建筑物将看起来怎样。在另一个实施例中，天气条件的模拟能够被应用到捕捉的全光图像。模拟下雨的注解能够被应用到场景。这将产生注解的图像，该注解的图像带有应用到它的下雨效果，从而用户能够在下雨或其它不同天气条件的情形中在视觉上看到场景将像如何，其中由于全光信息，不同的光反射和折射以现实方式合适地被处置和计算。

作为另一个示例，寻宝在传统的二维增强现实解决方案中是流行的应用。它由下述构成：将注解附着到物理对象，并且通过将线索交给朋友或其他人，让他们搜寻这些注解（被称为宝藏）。换句话说，当某人接近隐藏的对象时，他能够用他的全光捕捉装置来扫描周围的对象以确定它们是否与注解相关联。通过使用全光注解，由于我们能够将注解可见度限制到一些查看方向或焦距，所以寻宝变为更令人激动。比如，用户能够将注解附着到雕像，并且决定仅当将来搜寻者被放置在雕像前面并且因此他从那个角度看到雕像时使这个注解可见。类似地，我们能够使用全光空间的重新聚焦属性以确保搜寻者被聚焦在雕像本身上并且因此在这个情形中仅显示注解。它使寻宝成为更吸引人的，因为它避免用户在随机扫描周围时发现宝藏而是迫使他真正地解谜。

另一个应用涉及在都市环境中的城市指南。比如，让我们考虑用户正在他访问的城市中并且寻找旅游点诸如历史纪念碑、观光点、雕像、博物馆、本地餐馆…。使用他的增强现实***，用户当然不想要使所有信息立即出现在他的屏幕上：他只会被视觉上重叠在屏幕上的所有这些内容而变得混乱。相反，能够使全光注解依赖于用户视点和焦点。比如，由用户以特定视角（或以特定视角范围）捕捉的图像的元素能够以比用户面对的元素更低的重要性来显示。在一个实施例中，低重要性注解仅能够在屏幕上被显示为标题或点（当用户在该标题或点上点击时，它们能够被扩展），而更重要的感兴趣的点呈现更多细节或具有图像上的更大尺寸或重点。

选择查看方向（从该查看方向注解不是可见的）的能力对车辆驾驶者是有吸引力的，该车辆驾驶者比如可能想要在导航仪显示器上得到增强现实图像，但是不想要被附着到元素的注解诸如对交通不相关的广告、商店等分心。在这个情形中，那些让人分心的注解可以与选择的定向的范围相关联，从而它们将不会被显示在从道路捕捉的图像上。

术语和限定

以上描述的方法的各种操作可以被能够执行操作的任何合适的装置诸如各种硬件和/或（一个或多个）软件部件、电路、和/或（一个或多个）模块来执行。通常，在申请中描述的任何操作可以被能够执行操作的对应的功能装置来执行。各种装置、逻辑块、和模块可以包含各种硬件和/或（一个或多个）软件部件和/或（一个或多个）模块，其包含但不被限制到：电路、专用集成电路（ASIC）、或通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列信号（FPGA）或其它可编程逻辑器件（PLD）、分立门或晶体管逻辑、分立硬件部件或设计成执行在本文中描述的功能的其任何组合。通用处理器可以是微处理器，但是在替选方式中处理器可以是任何商业可获得的处理器、控制器、微控制器或状态机。处理器也可以被实施为计算装置的组合，例如DSP和微处理器的组合、多个微处理器、连同DSP核的一个或多个微处理器、或任何其它这样的配置。服务器可以被实施为单个机器，机器的集合、虚拟服务器、或云服务器。

如在本文中使用的，表述“全光数据”指定下述任何数据：该数据用全光捕捉装置生成、或从其它类型的数据来计算、并且描述场景的光场图像，即其中储存不仅光的亮度和颜色而且这个光的方向的图像。由于丢失光的这个方向，所以从这样的全光数据再现的2D或立体投影不被视为全光图像。

如在本文中使用的，表述“全光空间”可以指定多维空间，光场即描述在空间中的每个方向中的光量的函数能够以该多维空间来描述。全光空间可以由针对光线的位置的至少两个参数、针对它的定向的两个参数和针对它的波长的一个参数以及（在视频的情形中）可能地针对时间的一个参数来描述。

如在本文中使用的，术语“注解”涵盖各种各样的可能的元素，该元素包含比如文本、静态图像、视频图像、标识语、声音和/或能够被叠加或以另外的方式被合并到由全光数据表示的全光空间中的其它元素。更一般地，术语注解涵盖用于变更由全光数据表示的全光空间光线的不同参数的不同方式。注解可以是动态的并且随时间推移改变它们的位置和/或外观。此外，注解可以是用户交互的并且对用户的操作作出反应（例如在用户交互时移动或变换）。

如在本文中使用的，术语“像素”可以指定一个单个单色光位，或用于检测在不同颜色中的光的多个邻近光位。比如，用于检测红色、绿色和蓝色光的三个邻近光位能够形成单个像素。

如在本文中使用的，术语“确定”涵盖各种各样的动作。比如，“确定”可以包含推算、计算、处理、推导、调查、查找（例如在表、数据库或另一个数据结构中查找）、查明、评估等等。而且，“确定”可以包含接收（例如接收信息）、访问（例如访问在存储器中的数据）等等。而且，“确定”可以包含分辨、选择、选定、建立等等。

捕捉场景的图像涉及使用数字针孔相机来测量到达相机的图像传感器的光的亮度。捕捉全光数据可以涉及使用全光捕捉装置，或可以涉及从虚拟3D模型或对场景和光源的其它描述来生成光场数据。检索图像可以涉及捕捉图像、或通过通信链接从不同的装置检索图像。

表达“再现视图”，比如“从全光数据再现2D视图”，涵盖下述动作：计算或生成图像，比如从包含在全光数据中的信息计算2D图像或全息图像。

连同本公开内容一起描述的方法或算法的步骤可以在硬件中、在由处理器执行的软件模块中、或在该两者的组合中直接被体现。软件模块可以驻留在本领域中已知的储存介质的任何形式中。可以被使用的储存介质的一些示例包含：随机存取存储器（RAM）、只读存储器（ROM）、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM等等。软件模块可以包括单个指令、或许多指令，并且可以在若干不同代码段内、在不同程序之中、并且跨过多个储存介质来分布。软件模块可以由下述构成：可执行程序、在完整程序中使用的部分或例程或库、多个互连的程序、由许多智能手机、平台电脑或计算机执行的“应用程序”、窗口小部件、Flash应用、HTML代码的部分等。储存介质可以被耦合到处理器，使得处理器能够从储存介质读取信息并且将信息写到储存介质。在替选方式中，储存介质可以对处理器是不可或缺的。数据库可以被实施为数据的任何结构化的集合，其包含SQL数据库、XML文档的集合、语义的数据库、或通过IP网络可获得的信息的集合、或任何其它合适的结构。

因而，特定方面可以包括用于执行在本文中呈现的操作的计算机程序产品。比如，这样的计算机程序产品可以包括计算机可读介质，该计算机可读介质具有在其上被储存（和/或被编码）的指令，该指令被一个或多个处理器可执行以执行在本文中描述的操作。对于特定方面，计算机程序产品可以包含封装材料。

要理解的是权利要求不被限制到以上图解的精确的配置和部件。在以上描述的方法和设备的布置、操作和细节中可以进行各种修改、改变和变动，而没有脱离权利要求的范围。

Claims (28)

1.一种方法，包括步骤：

用全光捕捉装置（4）检索表示光场的数据（100）；

执行程序代码用于将检索的数据与对应的参考数据匹配（101）；

执行程序代码用于检索与所述参考数据的元素相关联的在全光格式中的至少一个注解（61、63、64）（102）；

执行程序代码用于从所述检索的数据和所述注解生成在全光格式中的注解的数据（103）。

2.权利要求1的所述方法，进一步包括：

选择查看方向（105）；

从所述查看方向再现对应于所述注解的数据的视图（107），

其中所述注解（61）的表示取决于所述查看方向。

3.权利要求1的所述方法，进一步包括：

从第一查看方向再现对应于所述注解的数据的第一视图（104）；

选择第二查看方向（105）；

从所述第二查看方向再现对应于所述注解的数据的第二视图（107）；

其中所述注解（61、61'）的表示在所述第一视图和所述第二视图之间被改变。

4.权利要求1到3中的一个的所述方法，进一步包括：

将第一注解（61）与第一位置和第一方向相关联；

将第二注解（64）与所述第一位置并且与第二方向相关联；

再现对应于所述注解的数据的视图，

在第一或第二查看方向之间选择（105）；

如果选择第一查看方向则再现包含所述第一注解而非所述第二注解的视图，或如果选择第二查看方向则再现包含所述第二注解而非所述第一注解的视图。

5.权利要求1到4中的一个的所述方法，进一步包括：

再现对应于在全光格式中的参考数据并且对应于第一查看方向的第一视图；

在所述第一视图中将注解关联到元素；

再现对应于在全光格式中的所述参考数据并且对应于第二查看方向的第二视图；

在所述第二视图中将注解关联到所述元素；

在所述第一查看方向和所述第二查看方向之间的居间视图中内插所述元素的注解。

6.权利要求5的所述方法，进一步包括从所述第一视图、第二视图和居间视图中计算在全光格式中的注解的步骤。

7.权利要求1到6中的一个的所述方法，进一步包括：

再现第一视图（104），所述第一视图对应于所述注解的数据并且对应于第一焦距；

修改焦距（106）；

再现第二视图（107），所述第二视图对应于所述注解的数据并且对应于修改的焦距；

其中所述注解（61）的表示在所述第一视图和所述第二视图之间被改变。

8.权利要求7的所述方法，进一步包括：

将第一注解（61）与第一位置和第一深度相关联；

将第二注解（63）与所述第一位置和第二深度相关联；

再现第一视图（104），所述第一视图对应于所述注解的数据；

在第一焦距或第二焦距之间选择（106）；

如果选择第一焦距则再现包含所述第一注解（61）而非所述第二注解（63）的第二视图（107），或如果选择第二焦距则再现包含所述第二注解而非所述第一注解的视图。

9.权利要求1到8中的一个的所述方法，所述注解中的至少一个是附着到坐标并且与特定方向相关联的声音。

10.权利要求1到9中的一个的所述方法，所述注解中的至少一个是视频。

11.权利要求1到10中的一个的所述方法，注解中的至少一个充当用于变更在全光空间中在特定位置处的光线的方向的过滤器。

12.权利要求11的所述方法，其中一个所述注解修改光线的方向。

13.权利要求12的所述方法，其中一个所述注解修改对象的纹理或表面的属性。

14.权利要求1到13中的一个的所述方法，其中所述注解由在全光空间的不同点处限定光线的方向或光线的方向的修改的阵列限定。

15.权利要求2到14中的一个的所述方法，其中再现包括：取决于从对应于所述元素的光线的方向确定的所述元素的深度，确定注解何时被检索的光场的元素闭塞，或注解何时闭塞检索的光场的元素。

16.权利要求2到15中的一个的所述方法，其中再现包括：检索在全光格式中的一个注解并且将这个注解应用到处在检索的光场流中的多个连续的检索的光场。

17.权利要求2到16中的一个的所述方法，其中再现包括：将注解的光线与对应于检索的数据的光线合并。

18.一种用于捕捉和注解对应于场景的数据的设备（4），包括：

全光捕捉装置（41），用于捕捉表示光场的数据；

处理器（400）；

显示器（40）；

程序代码，当执行所述程序代码时，用于引起所述处理器检索与用所述全光捕捉装置（41）捕捉的数据的元素相关联的在全光格式中的至少一个注解（61、63、64），并且用于在所述显示器（40）上再现从捕捉的数据生成的并且包含所述至少一个注解的视图。

19.权利要求18的所述设备，所述程序代码进一步包含重新聚焦模块（402），所述重新聚焦模块（402）允许用户重新聚焦所述视图并且用于取决于选择的焦距改变所述注解的呈现。

20.权利要求18或19中的一个的所述设备，所述程序代码进一步包含允许用户改变视点的视点选择模块（403），所述视点选择模块（403）用于所述再现并且用于取决于选择的视点改变所述注解的呈现。

21.一种用于确定注解的设备（5），包括：

处理器（51）；

储存器（50）；

程序代码，当执行所述程度代码时，用于引起所述处理器接收表示光场的数据、将所述数据与一个参考数据匹配、从所述储存器确定与所述参考数据相关联的在全光格式中的注解（61、63、64）、并且将在全光格式中的所述注解或在全光格式中的注解的图像发送到远程装置（4）。

22.权利要求21的所述设备，所述程序代码进一步包含模块（510），该模块（510）用于添加在全光格式中的注解并且将它们与在所述参考数据中的位置和视角相关联。

23.权利要求22的所述设备，进一步包括存储器，该存储器将注解储存为在全光空间的不同点中的光线方向或光线方向的修改的阵列。

24.一种用于将注解附着到在全光格式中的参考图像的方法，包括：

用查看器呈现在全光格式中的所述参考图像（150）；

选择注解（151）；

用所述查看器选择用于所述注解的位置（152）和一个或多个方向（153），从所述一个或多个方向能够看到所述注解；

在存储器中将所述位置和所述方向与在全光格式中的所述注解和所述参考图像相关联（154）。

25.权利要求24的所述方法，包括将多个注解与单个位置但是与多个不同方向相关联。

26.权利要求24到25中的一个的所述方法，进一步包括：

再现对应于在全光格式中的参考数据并且对应于第一查看方向的第一视图；

在所述第一视图中将第一注解关联到元素；

再现对应于在全光格式中的所述参考数据并且对应于第二查看方向的第二视图；

在所述第二视图中将不同于所述第一注解的第二注解关联到所述元素。

27.权利要求24到26中的一个的所述方法，进一步包括：

再现对应于在全光格式中的参考数据并且对应于第一查看方向的第一视图；

在所述第一视图中将注解关联到元素；

再现对应于在全光格式中的所述参考数据并且对应于第二查看方向的第二视图；

在所述第二视图中将注解关联到所述元素；

在所述第一查看方向和所述第二查看方向之间的居间视图中内插所述元素的注解。

28.一种用于将注解附着到在全光格式中的参考图像的设备，包括：

处理器；

程序代码，用于引起所述处理器：用查看器呈现在全光格式中的所述参考图像（150）；允许用户选择注解（151）以及针对所述注解的位置（152）和一个或多个方向（153），从所述一个或多个方向能够看到所述注解；

存储器，储存所述注解、所述位置和所述方向。