CN1698357B - 在物体上显示输出图像的方法 - Google Patents

Abstract

一种方法在物体上显示输出图像。将一组唯一标记固定到物体的预定位置上。用与投影仪成固定物理关系的摄像机获取物体和多个标记的输入图像。从图像中确定投影仪相对于标记的姿势。然后，可依照该投影仪的姿势和唯一的标记将与物体相关的一个或多个输出图像投影到物体的预定位置。

Description

在物体上显示输出图像的方法

技术领域

本发明总体上涉及数字投影仪，更具体地是一种用于增强现实的投影仪。

背景技术

增强现实的领域是涉及增强我们在自然界中我们周围看到和听到的事物。本领域的研究人员把计算机图形引入到我们对真实世界物体的观察中。这增强了我们的感知和我们与真实世界的交互。它能够改善真实世界中任务的完成。

有多种实现增强现实的方法。一种提供增强的对世界的观察的方法就是通过使用基于LCD屏幕的数字个人助理(PDA)。这种技术存在一些缺陷。不管将来在像素分辨率方面的提高，PDA的物理尺寸都会限制能够呈现给用户的信息。在PDA上显示的信息是在摄像机的坐标面上，而不是用户自己的视野。使用PDA需要用户在物理环境和显示器之间进行情境切换。PDA必须带在用户本人身上或附近但很容易看到的地方。PDA只能对个人或最多对围绕一个非常小的设备的一群人提供增强。

另一种提供增强的对世界的观察的方法是通过使用“洞察(see-through)”图像显微镜。缺陷是用户的眼睛坐标面与显示图像坐标面之间的紧密耦合需要非常精确的用户头部运动的处理，例如，用户头部转动必须由显示图像中的附加转动来精确匹配。图像显微镜也只能限个人使用，不能共享使用。因为显示距离眼睛只有大约一个厘米，很难在一个增强的物体上工作，因为其它物体，如用户的手，很容易阻塞这种增强。最后，视觉疲劳显示的疲劳因素是众所周知的。

基于投影仪的增强的现实直接将增强投影到自然场景。它断开用户坐标面与从投影仪与自然物体之间的关系的耦合。它的一个优点是当显示投影信息时不需要确定用户头部运动的艰难工作。

旋转电影摄像机已经被用于拍摄一个装满家具和人的起居室的影像。然后把房间和家具涂成中性白，用一个能以原始摄像机精确登记的旋转投影仪将该影像投影回墙和家具，见Naimark，“Displacements”，展示在San Francisco Museum of Modern Art，SanFrancisco，CA 1984。这种关键的获取摄像机的共同定位和显示投影仪对使用预记录图像或图像序列来照亮自然物体的大多数***来说是普遍的。

一种投影仪和光纤束已经用于在一个真的水晶球内使虚构占卜师的头部更生动，见于1990年12月18日颁发给Liljegren等人的序号为4,978,216的美国专利“Figure with back projected image usingfiber optics”。用精细的细节来增强修改照片的幻灯片已经使用在非常亮的投影仪上去在一个非常大的建筑物规模上呈现图像。一种众所周知的这种想法的现代的实现是在法国的Loire Valley的Le Son etLumière onde Blois。另外，这种媒体现在正用于世界上别的地方以照亮如桥的大规模建筑物。

“发光房间”投影把一对共同定位的摄像-投影仪看作一个输入/输出球以感应和投影图像到房间或指定的工作空间的真实的自然的周围景物的平面上，见1999年SIGGRAPH Underkoffler等人的“Emancipated pixels：Real-world graphics in the luminous room”第385-392页。其主要的焦点是通过光的和有形的接口与信息交互。他们识别共面的二维(2D)实物，在平面中跟踪二维位置和方向，并从高处投射光线再现适当的日光影像。

所有这些***提供强大的图像显示。然而，即使一个单一的投影仪，繁重的对准处理也要花掉几个小时。许多同样的***是基于帮助处理器的一个或多个环境传感器的，处理器可以计算投影仪与显示器之间的欧几里得(Euclidean)或仿射关系。没有集中传感器，投影仪就不能增强目标物体。那些***在投影仪与增强的物体之间需要一个固定的特定关系。任一部分的任何移动都需要***校准。此外，那些***中的投影仪的固定的性质规定了只能增强物体的某些部分。

因此，希望提供一种没有现有技术***的局限性和问题的情境感知投影仪。

发明内容

该发明提供了一种用于唯一识别目标物体的方法，而且，发明提供一种用于确定投影仪和该物体之间的物理关系的方法。知道了物体的唯一识别和投影仪与物体的相对位置，能实现与该物体相关的校准图像的投影。

该发明可以应用于各种希望用专用于该物体的投影图像来增强物体的***。例子包括在物体上的信息显示，例如，包括打印队列或完成工作的期望时间的用于打印机的信息显示，用于书的信息显示可包括在空白处显现的注释。其中指令被显示在已知物体上的训练应用程序。其中例如通过在地面上的投影箭头和通过照亮在存储区域或工作空间中的特定区域将用户引导到请求物体的物理索引。已经被连到环境中的电数据项的恢复与投影。模仿不透明表面的透明度的“魔镜”。投影关于旅游者感兴趣的物体的特定于语言的信息。

本发明还提供用于依照几个因素调整投影内容的装置，几个因素包括交互的历史、投影仪的位置和运动、和其它类似设备的存在。

附图说明

图1是依照本发明的投影仪的方框图；

图2是由图1的投影仪显示的图像增强的物体的方框图；和

图3是依照本发明在物体上显示图像的方法的方框图。

具体实施方式

几何感知投影仪

图1显示了依照本发明的一个情境感知投影仪100。应该注意，该投影仪100可以单独使用或与其它类似的投影仪协同组合。

本投影仪100包括微处理器110、存储器120、和由总线140连接的输入/输出接口130、总体上为处理单元103。该处理单元的电结构是常规的，但是当执行这里描述的方法步骤时的操作不是常规的。

该投影仪也包括：投影仪子***150，用于显示输出图像102；和摄像机子***160，用于获取包括唯一识别物体的景象的输入图像101。

网络子***170允许该投影仪与本地的或远距离的其它类似设备或其它计算机设备通信。因此，该网络***可根据通信媒体连接到一个天线或红外收发信机180。

用户接口190能够提供输入和输出数据以方便投影仪的操作。例如，该接口可以包括通常在输入鼠标上发现的左、中、和右按钮。该接口还可以包括本领域公知的“滚动”轮。

例如倾斜传感器或加速器的内部传感器195能够确定投影仪的方向。应该注意，传感器仅在内部，不能感应投影仪外部的环境。应该注意，传感器是优化的。

投影仪操作

投影仪100能够执行多种功能，包括智能梯形失真校正、方向补偿图像亮度、自动亮、缩放和调焦、用于几何图形和文本捕获的3D扫描、和用于摄像机子***160的智能闪光。对最后一种功能，投影仪的功能对摄像机的功能来说是次要的。在这里，投影仪只照亮摄像机观察的景象中的特定区域。下面更详细地描述多个附加的适应性功能。

***结构和方法

如图2所示，我们使用我们的校准投影仪-摄像机***100来唯一识别物体201，及投影特定于物体的信息220。从连到物体201上的唯一可视标记211-214确定物体相对于投影仪100的相对位置。我们用姿势来指代投影仪在物体的同一坐标面中的(x，y，z)位置和投影仪的方向。我们用方向来指代围绕三个主轴中的任一个的转动量。

在优选实施例中，标记是圆形的，放大来看，具有多个彩色部分，比如4到6个。色彩的图形定义了不同的唯一标识，见2000年7月31日申请的美国专利申请序号09/628,461“Badge IdentificationSystem”，其在此引入作为参考。

色彩编码编码了唯一的身份。应该注意，可以使用其它的类似的标记。一个或多个标记可如下面详细描述的那样使用。

用在物体201上的4个或更多个点来获得利用校准摄像机子***160的摄像机姿势的唯一解决方案。该点是从多个标记的远距离处获得的图像或从较近距离处的单个标记的影子中获得的。

在摄像机的姿势确定之后，通过***校准知道投影仪的姿势。在知道投影仪的位置和方向之后，从存储器120恢复或通过网络210下载的增强信息则可以被显示。可以预定形状、大小和显示图像的位置。

其中使用基于情境的增强的重要应用包括：在物体上的信息显示，其或者是无源显示，或者是其中指令220作为步骤序列中的一部分显示的训练应用程序；其中用户被引导到被请求物体的物理索引；识别连到环境中的电数据项的存在并投影这些电数据项。

基于情境的增强对精确度要求不严格，因为增强信息的位置中的小偏移通常是无关紧要的。然而，更强调使用模式。例如，在投影增强220中距物体的距离可以用来调整详细水平。

校准***以便知道下面的信息：投影仪的固有参数、摄像机的固有参数、投影仪与摄像机的相对位置和方向。在***进行操作之前，可以作为一个预校准步骤运行该校准，或可以在***开始操作时作为启动处理执行。可以使用任何一种众所周知的摄像机校准技术。

摄像机的目的是获得***相对于景象中感兴趣的表面的姿势。这里用“姿势”指代(x，y，z)位置和方向。这可以通过处理物体的输入图像以确定摄像机姿势，然后使用校准信息推断投影仪的姿势来完成。知道投影仪的姿势之后，增强信息220可投影到在感兴趣的表面上的希望的地方。

如图3所示，本方法300首先获得景象的输入图像(Ii)301。该景象包括至少4个可视标记，这些可视标记被色彩编码，且色彩编码规定身份。这些标记可被想成类似于条形码，但是它基于色彩而不是条。

接下来，在输入图像301中检测315标记。标记被用于索引320数据库记录(R)321，其可能存储在存储器120中，或某些可通过网络120可访问的其它的存储器中。

该记录包括标记在一个相应的坐标面中的位置信息，例如，其所连到的在感兴趣的表面上的坐标面。该位置信息包括在真实世界中的标记的(x，y，z)位置及其外观和几何形状，例如色彩和尺寸。

用记录321的位置信息确定330摄像机相对于标记的姿势(CP)331，从而确定相对于感兴趣表面的姿势。摄像机姿势被用于推断335投影仪的姿势(PP)336。这个计算用已知的单应——一种众所周知的处理技术来执行。

接下来，从存储器中恢复140输出图像(I_o)341，输出图像可以存储在记录321中或别处。该恢复的特定图像可以取决于唯一的识别、交互的历史、投影仪的位置和运动、和其它类似的设备的存在。

然后，输出图像依照投影仪位置和方向变形345。然后方法300投影该变形的图像346，以显示信息220。对于投影仪100的任意一种姿势，该变形调整输出图像中的像素，以便它们在与景象的坐标面垂直和水平对准地出现。结果是在实物的表面上不失真地出现显示信息。对内容进行变形的装置已经在2001年8月14日申请的美国专利申请序号08/930,426“Simulating Motion of Static Objects in Scenes”中详细描述，该申请在此引入作为参考。

增强的历史

我们提供了一种利用增强的历史的基础模式的变形。在步骤320中，数据库能够记录特定记录被访问。然后，在步骤340中，数据库可以不仅基于被查看的标记的身份，还基于标记在过去被查看的次数返回另外的内容。

使用4个标记的可选方案

我们提供了一种依靠更少的在目标上可见的可视标记的操作基础模式的可选方案。在操作基础模式的步骤315中，因为用于确定摄像机姿势的单应依靠4个已知点，该方法检测4个标记。该步骤用每个标记的中心作为一个已知点。因为对每个标记的记录不仅存储它的中心(x，y，z)位置还存储它的半径，一个单一标记能够提供多个已知点。使用这种特殊的几何图形信息，该方法仅需要正确检测和识别至少步骤315中的标记。

可视标记的可选方案

我们提供了一种消除可视标记的出现的操作的基础模式的可选方案。依照在记录321中的描述，通过在输出图像中消除可视标记或消除它们在输入图像中的出现，可以把它们变成人眼看不见的。

基于投影仪位置的可选内容

我们提供了一种进一步利用投影仪相对于正被增强的物体的位置的操作基础模式的变形。在该操作基础模式中，在步骤345，投影仪的姿势用于对正在投影的内容进行变形。我们还可以使用该姿势去从数据库中检索特定于姿势的内容。

这种变形的一个应用例子当用户远离增强物体时投影高水平轮廓信息，及然后当用户接近同一物体时，投影低水平详细信息。

基于投影仪运动的可选内容

我们提供了一种利用投影仪运动的操作基础模式的变形。在其中投影仪的位置被确定的步骤335期间，我们可以在数据库中记录该位置。然后，在步骤340中，当我们从数据库检索内容时，通过检查投影仪的先前位置的历史，我们可以基于投影仪的运动检索内容。

这种变形的一个应用例子当用户快速运动以移动被投影图像越过物体时投影低度详细信息，及当用户缓慢运动或一直站立时，投影高度详细的图像。

基于类似设备的存在的可选内容

我们提供了一种利用类似设备的存在的操作基础模式的变形。在步骤340中，当我们从数据库检索内容时，数据库可以记录该内容正在访问，及可以记录访问记录的设备的识别。如果多个设备访问一个记录，则该记录基于该知识可以被更改。

这种变形的一个应用例子是重新放置内容在物体表面上，以便从多个设备投影的图像不会出现互相交迭和模糊。如果多个人在打印机的表面正在投影他们的打印任务的一个列表，该设备能够重新放置这些列表以便它们之间不会出现交迭。

基于投影时间的可选内容

在步骤中从数据库恢复的内容也可以受恢复时间影响。

图像投影的可选方案

我们也提供了一种使图像内容变形并投影该内容而不是静止图像的操作基础模式的变形。

虽然已经通过优选实施例的例子描述了本发明，但是应当理解在该发明的精神和范围之内可以进行其它的各种调整和修改。因此，所附权利要求的目的是覆盖所有落在本发明的真实精神和范围内的这样的变化和修改。

Claims (13)

1.一种用于在物体上显示输出图像的方法，包括：

将一组唯一标记固定到物体的预定位置上；

用与投影仪成固定物理关系的摄像机获取物体和多个标记的输入图像；

确定投影仪相对于该组标记的姿势；

依照投影仪的姿势对输出图像进行变形，其中变形将输出图像水平地和垂直地对准物体的坐标面；以及

依照该投影仪的姿势和该组唯一的标记将输出图像投影到物体，其中

所述姿势是指投影仪在物体的同一坐标面中的位置和投影仪的方向。

2.权利要求1的方法，其中该组中的每个标记为带有不同色彩的段的圆形。

3.权利要求1的方法，其中该组中有4个标记。

4.权利要求1的方法，其中该标记的几何图形是预定的，及该组包括一个标记。

5.权利要求1的方法，其中每个标记的几何图形是预定的，及该标记在物体上的位置是预定的。

6.权利要求5的方法，进一步包括：

在投影仪可访问的存储器中存储几何图形和位置。

7.权利要求1的方法，其中该输出图像取决于投影仪与物体之间的交互历史。

8.权利要求1的方法，其中该输出图像取决于投影仪的姿势。

9.权利要求1的方法，进一步包括：

消除在输出图像中该组标记的出现，以使该组标记不可见。

10.权利要求1的方法，进一步包括：

从该姿势确定投影仪的运动；及

根据该运动选择输出图像。

11.权利要求1的方法，进一步包括：

根据投影的时间选择输出图像。

12.权利要求1的方法，进一步包括：

投影图像序列。

13.权利要求1的方法，其中该输出图像有预定形状，及在物体的预定位置投影。