CN102112943A

CN102112943A - 确定用户头部运动/注视关系的方法和以及交互式显示

Info

Publication number: CN102112943A
Application number: CN2009801304105A
Authority: CN
Inventors: T·A·拉希纳; E·J·范洛南; O·穆宾
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2008-08-07
Filing date: 2009-07-24
Publication date: 2011-06-29
Also published as: US20110128223A1; EP2321714A1; WO2010015962A1; TW201017473A

Abstract

本发明描述了一种确定针对用户（1）的头部运动/注视关系的方法，所述方法包括如下步骤：在显示区域（D）分配至少一个第一目标（T₁）和至少一个第二目标（T₂）；将用户的注视引向第一目标（T₁），以及观测用户的头部（H）以获得第一头部取向测量值（M₁）。该方法还包括如下步骤：然后将用户的注视引向第二目标（T₂），以及观测用户头部（H）以获得第二头部取向测量值（M₂）；以及分析头部取向测量值（M₁、M₂）以获得针对该用户（1）的头部运动/注视关系（R）。本发明进一步描述了一种交互式显示***（2）以及一种执行用户（1）与交互式显示***（2）之间的基于注视的交互的方法。

Description

确定用户头部运动/注视关系的方法和***以及交互式显示***

技术领域

本发明描述了一种确定用户的头部运动/注视关系的方法和***。本发明还描述了一种交互式显示***以及一种执行用户与交互式显示***之间的基于注视的交互的方法。

背景技术

近些年来在交互式商店橱窗显示器领域已经取得了一些发展，这些显示器能够利用例如先进的投影技术以较为有趣的方式向看着显示器的潜在顾客呈现与产品相关的信息。这种交互式商店橱窗的目的是呈现有关产品的信息或特别吸引潜在顾客的产品。这样，顾客也许更有可能进入商店并且购买感兴趣的物品。而且，以这种方式呈现产品或与产品相关的信息有助于经历更有趣的购物体验。对于商店所有者来说，优点是显示区域不局限于必须定期更换或排列的若干实体项目，还可以利用现在可用的投影和显示技术来显示“虚拟的”项目。这样的显示***在展览或博物馆也变得更有趣，因为可以呈现比将打印的标签或卡片用于陈列橱中的每个项目时更多的信息。

显然，为了向用户呈现有意义的、与诸如商店橱窗或陈列橱等显示器中的项目相关的信息，有必要首先确定他所看的方向，即他的注视矢量，以便确定他实际上在看什么。向用户呈现他不感兴趣的信息可能只会被感知为令人不愉快的。显然，确定用户注视矢量（以便能够推断他在看看什么）的最精确的方式之一将是在使用相机跟踪用户头部运动的同时跟踪用户眼睛的运动，并且应用先进的图像分析。术语“用户注视矢量”用来指代***所做的对用户所看的实际方向的近似。可相对于用户的头部和建立的***基准点来确定该矢量。这样的***公知于计算机用户界面中，其中坐在计算机前的用户的眼睛运动被用来与应用交互。这种受控环境下的眼睛注视跟踪是相对直接的。然而，对于诸如商店橱窗或博物馆展品等“远距离”环境，其中人可能站在显示器前的任何地方－在中间、在一侧、接近或有距离，眼睛注视跟踪变得较难以精确地执行。术语“远距离”用来将这类应用区分于例如基于个人计算机的应用（其中用户接近于相机而坐并且认为头部不动，即运动小到可以忽略）。另一方面，在“远距离”注视***中，头部具有多得多的运动自由度，因为用户的运动也是自由的。为此，公知的***监视头部和眼睛两者的运动，并且将两个矢量叠加，以确定相对于建立的***基准的合成注视矢量。目前，这类***是复杂且昂贵的，并且通常仅应用于研究实验室。

在寻求解决这个问题的其它尝试中，头部的运动被用来推断用户所看的方向，称为远距离头部跟踪。然而，这些***均基于头部姿势或“用户头部朝向”与用户眼睛注视朝向直接相关的假设，即假设头部所面向的方向与用户所看的方向一致。如下面将要说明的，情况很少是这样，并且其缺点是大多数用户将需要夸大其头部运动以便成功地与***交互。仅仅因为人朝向特定的方向并不必然意味着他也看着那个方向。情况可能恰恰是该人实际上看着与其头部所面向的点相距某个距离的点。为此，这些***对一些用户起作用，对其他用户不起作用。在一种交互式商店橱窗应用中，如果假设头部朝向与眼睛朝向相同，则结果可能恰恰是，而且多半是，向潜在的顾客呈现了针对并不吸引他的产品的产品相关信息。这种不令人满意的交互可能恰恰导致对这种应用的排斥。

因此，本发明的一个目的是提供对当前的用于远距离确定用户所看方向的方法和***的改进。

发明内容

本发明的上述目的通过如权利要求1所述的确定用户头部运动/注视关系的方法、如权利要求8所述的执行基于注视的交互的方法、如权利要求11所述的用于确定头部运动/注视关系的***以及如权利要求13所述的交互式显示***而实现。

根据本发明的确定用户头部运动/注视关系的方法包括如下步骤：在显示区域分配至少一个第一目标和至少一个第二目标。将用户的注视引向第一目标，以及观测用户的头部以获得第一头部取向测量值。然后，将用户的注视引向第二目标，以及观测用户头部以获得第二头部取向测量值。分析头部取向测量值以获得该用户的头部运动/注视关系。

根据本发明，在上述方法中，可以容易且不引人注意地观测到用户的头部取向或“头部姿势”，而无需用户的任何有意识的参与，即可以以不唐突的方式将用户的注意力吸引到目标上，使得用户不会立即察觉到他正在参与校准过程。用户只需看着他会以任何方式看的项目或对象。根据本发明的该方法的这个显而易见的优点意味着校准过程的技术层面对于用户仍然是隐藏的，因为商店橱窗前的***或展品前的博物馆游客可以以完全自然的方式来表现。

试验上已经表明，就其在看着目标时的头部运动倾向而言，人与人之间有大的差异。事实上，在50o正面视角内，大多数人实际上并不倾向于在看着目标的同时将其头部对准其眼睛注视方向。一些人显示了当改变其注视方向时更大幅度地移动其头部的倾向，而其他人倾向于仅仅略微移动其头部。试验还表明，平均起来，女人倾向于比男人更大幅度地移动其头部。在以上描述的针对所有用户统一地将头部朝向转换为注视朝向的现有技术方法中并未考虑这些差异，因此大多数用户将需要夸大或减小其自然的头部运动以便符合这些***的要求，从而需要其有意识地付出努力。事实上，为了有效地控制这些现有技术***，将需要首先对用户进行培训。相对照而言，根据本发明的方法通过提供无需要求用户有意识参与的短而不唐突的校准过程来确定该特定用户的头部运动与注视之间的关系，从而提供了对该问题的一种简单而且优雅的解决方案。如下面将要说明的，这于是可以应用于确定用户所看的方向，因此还可以确定他所看着的对象，而无需用户以对他来说不自然的方式移动其头部。

根据本发明，执行用户与带有显示区域的交互式显示***之间的基于注视的交互的方法包括如下步骤：使用前面段落中描述的方法确定该用户的头部运动/注视关系。该方法还包括观测用户的头部以获得头部取向测量值，以及将头部运动/注视关系应用于头部取向测量值以估算注视方向。然后根据所估算的注视方向来控制显示区域。

独立权利要求所提出的解决方案适用于提供头部-注视交互的公共显示器，如交互式商店橱窗、交互式展览、博物馆交互式展品等。

根据本发明的交互式显示***包括：其中显示或以视觉方式呈现项目的显示区域；用于观测用户的头部以获得头部取向测量值的观测装置，如相机装置；以及用于分析用户的头部取向测量值以确定该用户的头部运动/注视关系的分析单元。该交互式显示***还包括：用于将头部运动/注视关系应用于用户的头部取向测量值以估算用户的注视方向的注视方向估算单元；以及用于根据所估算的注视方向来控制显示区域的显示区域控制器。

在获得了目标的头部取向测量值（也称为头部姿势矢量）之后，对其进行分析以确定限定该用户的注视偏移与头部偏移之间的转换的头部运动/注视关系。然后注视方向估算单元应用该线性头部运动/注视关系以确定注视矢量，并由此将所检测的头部姿势转换成商店橱窗中的关注点，使得可以确定用户正在看哪个对象或项目。然后***可以例如通过呈现有关所看着的对象的信息来做出适当的反应。

根据本发明的***允许对于公共交互式显示器来说必要的自然的、未经培训的输入，其中对于公共交互式显示器，不得不培训和/或通知用户并不是所期望的。此外，即使当用户知道***可受头部运动的控制，利用所提出的解决方案，他可以安排自然的头部运动，就好像他正在自然地看着显示区域中的项目。

从属权利要求和后续的描述特别公开了本发明的有利的实施例和特征。

由于期望根据显示区域前的用户来控制显示区域，每当“新的”用户看起来对显示区域感兴趣，就应当启动或触发利用根据本发明的方法的校准过程。通常，对诸如商店橱窗等显示区域中的物品感兴趣的人将停在商店橱窗前并向里面看。这将是启动校准的合适时机。因此，根据本发明的交互式显示***优选地包括用于检测显示区域前用户的存在以及生成对应的激活信号以启动校准过程的检测装置。检测装置可以是显示区域前的地下的一个或更多个压力传感器或压力地砖，任何适当的运动和/或存在传感器，或者红外或超声传感器。然而，由于根据本发明的***已经包括了观测装置，一般是一个或更多个相机，这本身就可以用来检测显示区域前用户的存在，例如通过将图像分析应用于针对预期用户将站立的显示区域前的区域所获得的图像来检测。然而，该途径可能导致更多的能耗。显然，所使用的检测装置的类型将在很大程度上取决于显示区域所安装的环境。

校准过程所需的第一目标和第二目标的位置对于***来说是已知的。例如，目标项目在显示区域中的位置可以在配置过程中或者将项目分配成为目标的任何时候记录（显然，如果期望或需要，可以在校准过程中使用两个以上的目标，并且在以下仅提及第一目标和第二目标，并非以任何方式将本发明局限于仅使用两个目标）。用户相对于目标项目的位置可以容易地确定，例如借助于当人站在其上时提供信号的压力传感器或设置在显示区域前的适当位置的红外或超声传感器来确定，或者如以上所述，通过将图像分析应用于观测装置所获得的图像来确定。在校准过程中，当确定用户的注视矢量时，这些“固定的”点被用作基准点。头部取向或头部姿势测量值利用观测装置来获得，观测装置也称为头部跟踪装置，其可包括相机装置，例如安装在显示区域内的若干可移动的或静止的相机，以便获得图像或图像序列，例如智能眼睛跟踪装置，以及任何适当的执行图像分析所需的硬件和/或软件模块。

知道了第一目标和第二目标在三维空间的位置并且具有了相对于目标项目的用户的头部姿势的可靠估算值，可以对头部取向测量值进行分析以确定用户的头部姿势和他所看的方向之间的关系。因此，在下文中，术语“头部取向测量值”可以理解为可用于获得用户针对目标对中的第一目标和第二目标的头部姿势之间的角度差的任何适当的值。

在所进行的试验中，确定了参与者所看的目标间的角间距与当人将其注视从一个目标指向另一个目标时该人所进行的角向头部运动的观测量之间的关系基本为线性的。在这些试验中得到的值得注意的发现是，人倾向于做出的头部运动的量是该人的特征。换句话说，当人将其注视从一个对象指向下一个对象时倾向于移动其头部的程度或比例对于该人来说保持基本上恒定，这应当做如下理解，即一个人可能倾向于不管对象之间的距离而仅略微移动其头部，但移动其眼睛的幅度较大，而另一个人可能显示出明显较大的头部运动和较小的眼睛运动。不管项目之间相互接近还是间隔较远都能观测到该现象。用户的注视和角向头部运动之间的这种线性关系R可以表达为例如：

R = Δ_HM / θ

其中θ是从用户或人的角度看的目标项目之间的角间距，Δ_HM是所观测的第一头部取向测量值与第二头部取向测量值之间的差。在确定针对用户的关系的基准过程中，优选地将目标项目的间隔设置得相对较远，以便获得精确的结果。

根据本发明的方法可使用所获得的试验结果来估算用户的注视矢量。特别是当可以将第一目标和第二目标在显示区域中的间隔设置得宽时，一组头部取向测量值可以是足够的。然而，某些显示区域的尺度可能会受到限制，因此可能会过窄，以至于不能将第一目标和第二目标设置得足够远。此外，对于根本难以移动其头部的用户来说，单个目标对可能不足以精确地确定头部运动倾向。因此，在本发明的一个特别优选的实施例中，将至少两组目标设置在显示区域中，并且针对每组目标相继获得头部取向测量值。目标组可以简单地是目标对，但显然组并不局限于仅两个目标。然而为简单起见，下文的说明假设目标组简单地包括一对目标。在该可替换实施例中，可以将第一组两个目标在显示区域中的间隔设置得尽可能远，并且针对这两个目标获得第一头部取向测量值和第二头部取向测量值。可以使第二组两个目标间隔较小的角距离，并且也可以针对这两个目标获得第一头部取向测量值和第二头部取向测量值。利用附加的信息，可以更精确地估算用户的头部运动倾向，使得也可以更精确地确定其注视。显然，目标组可以交叠，即一个目标对可能包括也用于另一个目标对的目标。这在例如仅排列数量少的项目的显示区域中可能是有利的。

在此情况下，用户的注视与角向头部运动之间的线性关系可以表达为例如：

R₂₁ = (Δ_HM2 - Δ_HM1)/(θ₂-θ₁)

其中θ₁和θ₂分别是同样从用户的角度看的第一组和第二组目标中的目标项目之间的角间距，Δ_HM1和Δ_HM2分别是所观测的第一组和第二组目标的角向头部运动。这可以借助于图3a来更好地理解。例如，第一目标对可间隔25度的角距离，第二目标对可间隔15度的角距离。利用以上所述的方法获得的人的头部取向测量值可用于确定针对该用户的“线”，即确定他所做出的头部运动与当他这样做时他所看的方向之间的线性关系。

可以按照不同方式来应用根据本发明的确定头部运动/注视关系的方法。例如，可以应用该方法来获得针对用户的头部取向测量，并且据此可以确定该用户的头部运动/注视关系。可替选地，可以应用该方法来获得头部取向测量，然后将头部取向测量与先前收集的数据的集合相比较以估算该用户的头部运动/注视关系。该第二途径在期望快速结果的应用中可以是有利的，例如在零售环境中。例如，根据本发明的用于确定用户的头部运动/注视关系的***可利用类似于图3a的曲线图所示的先前确定的数据。针对“新”用户的测量可利用以比方说30度的宽间距设置的两个目标来进行。然后可以采用例如最接近于所获得的头部运动值的曲线图来描述该用户的头部运动与注视之间的关系。

在稍后的基于注视的交互中，可将利用所述技术中的任何一种所确定的关系简单地应用于观测的用户的头部运动，例如通过“调节”观测的角向头部运动来推断显示区域中用户有可能正在看着的区域。这样，可以容易地将不同人的特定头部运动倾向考虑在内，并且有可能更精确地确定注视，从而使得注视交互对用户更加有趣和可接受。

当从显示区域中的一个项目看到另一个项目时，用户不仅可以侧向，即水平移动其头部，也可以向上或向下，即竖直移动其头部，以便将其注视从一个对象偏移到下一个对象。通常，产品或项目（在校准过程中也充当目标项目）在商店橱窗或陈列展示橱中设置在二维平面中，使得每个项目可以容易地被看里面的人看到。

这在根据本发明的校准过程中得到了好的利用，其中可以指导用户先看一个项目，然后横着看向另一个项目，然后向上或向下看又一个项目。在该实施例中，应用根据本发明的方法来获得针对第一方向或取向的第一头部运动/注视关系，然后应用该方法来获得针对第二方向的第二头部运动/注视关系，其中第二方向基本上与第一方向正交。通常，这些正交的方向是与用户平行的平面（例如橱窗所给定的平面）中的水平方向和竖直方向。然后，可对头部取向测量值进行分析以获得针对水平方向的头部运动/注视关系，以及可选地获得针对竖直方向的头部运动/注视关系。可以将其组合来给出具有正交的水平因子和竖直因子的总头部运动/注视关系，即，其中一个因子将水平头部运动与注视朝向的水平分量相关，另一个因子将竖直头部运动与注视朝向的竖直分量相关。

显然，可以在单个步骤中执行校准，即指导用户看第一目标，然后将其注视沿对角线向上（或向下）指向下一个目标。在本发明的该优选实施例中，第一头部取向测量值和第二头部取向测量值各包括至少水平矢量分量和竖直矢量分量，并且对第一头部取向测量值和第二头部取向测量值进行分析以获得针对水平方向的头部运动/注视关系，并且可选地获得针对竖直方向的头部运动/注视关系。

然而，在所进行的试验中观测到：对于显示区域中的对象，当人们将其注视从一个对象指向另一个对象时，人们通常大多侧向移动其头部，使得所观测的竖直头部运动明显小于所观测的水平头部运动。平均起来，竖直头部运动仅为水平头部运动的三分之一。因此，特别是如果把目标项目排列成基本上位于同一水平，即在诸如商店橱窗中的陈列架等水平平面上时，观测用户的水平头部运动可能是足够的。然而，由于商店橱窗或展示橱中的项目不应局限于陈列在单一水平上，可能理想的是将竖直因子应用于所观测的用户的头部运动，以便确定他最有可能正在看着的点。通过使用从本文所述的试验中获得的知识，可以对水平因子进行调节以获得竖直因子。因此，在一个特别优选的实施例中，应用本发明的方法来获得针对第一方向的第一头部运动/注视关系，而根据第一头部运动/注视关系来得出针对基本上正交于第一方向的第二方向的第二头部运动/注视关系。在一个简单的例子中，可以简单地将用户的针对水平方向的头部运动/注视关系除以三来获得该用户的针对竖直方向的头部运动/注视关系。

在本发明的优选实施例中，第一目标和第二目标包括显示区域中的不同或分开的项目。例如在商店橱窗中，这些对象可以是可在商店获得的产品。在展品陈列橱中，项目可以是可针对其呈现描述信息的展品。优选地，第一目标和第二目标是在显示区域中的两个间距最宽的项目。可以在***配置过程中定义这些目标项目并且在所有后续用户校准中使用它们。对于位于显示区域前的中心位置的用户，这种宽间距实现了更精确的校准。然而，用户显然可以使其自己位于显示区域前的任何点，例如显示区域的一侧。因此，在一种更灵活的途径中，可以在已经检测到用户之后根据用户在显示区域前的位置来分配第一目标和第二目标。对于特定的用户，这确保可以舒适地看目标项目，并且从用户的角度来看，使目标项目的角间距最大，从而确保了更精确的头部姿势测量。

本发明的一个相关的方面是引导或鼓励用户看目标项目，使得可以确定该用户的头部朝向与注视朝向之间的关系。因此，在本发明的另一个优选实施例中，以视觉方式强调显示区域中的目标以将用户的注视引向目标。强调目标项目以吸引用户注意力的一种方式可以是使该项目安置在转盘上，然后使该转盘旋转一时间间隔。在可替换的途径中，以视觉方式强调对象或项目可以简单地通过突出该对象而不突出其它对象来实现。当使用照明来强调对象时，突出效果可具有独特的颜色，或者可以利用明显的吸引眼球的效果，如脉冲式照明效果、绕产品指向的照明、改变光的颜色等。以视觉方式强调的目的是有意鼓励用户依次看目标。对于对显示区域的内容感兴趣的用户，可以安全地假设用户的注意力将被吸引到以视觉方式强调的目标上。当以视觉方式强调了若干项目中的一个项目时，用户看所强调的项目是自然的反应。如果视觉强调突然发生，即意外地开始，则可以增加效力。可以在强调第一目标、然后强调第二目标的同时观测用户的头部，并且利用用户和目标项目的已知位置来确定所监视的头部运动与所假设的眼睛注视方向之间的关系。本文所描述的校准的类型完全是被动的或隐含的，即除了突出以外，并不给用户任何正在执行特定过程的指示。

对目标的视觉强调不需要局限于仅仅是使用聚光灯等的突出。利用现代的投影技术，给出了更为有趣的将用户的注意力吸引到项目上的方式。因此，在本发明的一个特别优选的实施例中，将虚拟光标投射在显示区域中以便使用户的注视指向特定的目标。例如，可以将箭头的图像投射到显示区域内，从而以动态方式引导用户先看一个目标，然后看另一个目标。“光标”也可以是容易理解的符号，如一对沿正在突出的目标项目的方向“看”的眼睛、指向该方向的手指或者一对沿该方向“走”的脚印。虚拟光标可以跨显示区域移向第一目标，第一目标然后被突出，使得可以假设用户的注视停留在第一目标上。在一个短的间隔之后，虚拟光标可以继续移向第二目标，然后第二目标也被突出一个短的间隔。该优选实施例实现了明确的校准，其中用户知道正在执行他可以参与的过程。这种更具娱乐性的途径的优点是在确保用户实际上看目标项目而其注意力的焦点未被吸引到显示区域中的其它东西方面更为可靠。

为使潜在的顾客保持兴趣，可以向用户描述正在以视觉方式强调的目标项目。因此，在本发明的另一个优选实施例中，以视觉方式强调显示区域中的项目包括以视觉方式向用户呈现与项目相关的信息。同样，这可以利用现代投影技术来实现。

因此，在根据本发明的交互式显示***中，显示区域优选地包括根据检测模块的输出控制的投影屏幕。该投影屏幕可以是具有不同透射模式（例如从不透明到半透明再到透明）的电泳显示器。更优选地，投影屏幕可包括低成本的无源矩阵电泳显示器。用户可以在该显示器处于透明模式时透过该显示器看其后面的对象，在半透明模式下读取出现在显示器上的用于同时透过显示器可见的对象的信息，或者当显示器处于不透明模式时仅看到投影到显示器上的图像。

作为校准过程的一部分，可以根据显示区域前的用户的存在和动作来控制这种多模式投影屏幕。例如，当在交互式商店橱窗前没有检测到顾客时，可以按照一种“待机模式”来控制商店橱窗本身，以便表现为用于显示商店促销内容的大投影屏幕。一旦如上所述在显示区域前检测到潜在的顾客，校准过程开始，并且屏幕显示接近于第一目标项目的动态视觉内容，以便将购物者的注意力吸引到该项目上。目标一开始可能是在促销内容“之后”不可见的，并且在一个短的间隔之后，接近于该项目的屏幕变成透明的或半透明的，从而允许用户看到项目。这样，目标项目正在以视觉方式被强调。然后该***可以在投影屏幕上提供有关第一目标项目的信息。这样做将使校准对用户更有意义，因为他将不仅仅为了校准***而看项目。在已经显示了与第一项目相关的信息之后，屏幕在第一目标的区域中再次变成不透明的，从而在该区域再次表现为投影屏幕，并且针对第二目标项目重复该过程。为引导用户看第二项目，***也可以产生沿第二目标的方向移动的箭头光标。在投影屏幕被控制以展现目标项目的同时，用户的头部运动在被监视，并且头部姿势测量值在被测量。一旦校准过程完成，并且已经针对该用户确定了头部姿势/注视方向关系，屏幕可变成全部半透明的，从而允许用户看显示区域中的任何项目，以便向其提供与他选择看的每个项目相关的内容。在后续的基于注视的交互中，根据用户所看的项目来控制显示区域。例如，当用户对项目看了比方说3秒的最小预定时长时，可以接近于该项目来投射产品相关信息，如，例如价格、可获得的尺寸、可获得的颜色、设计者的名称等。当用户的注视从该对象移开时，信息可以在适当时长（例如预定时间间隔）之后淡出。

在交互式商店橱窗变得平常以前，可能优选的是向用户提供正在进行校准过程的较明确的指示。因此，在本发明的另一个优选实施例中，向用户提供一组指令以便将用户的注视指向特定的目标。指令可以作为通过扩音器输出的所记录的一系列消息来发布。然而，在诸如购物区或公共区域等嘈杂环境中，这可能是不可行且不可靠的。因此，该组指令应当优选地以视觉方式投射在显示区域内，使得用户可以容易地“读取”指令。该组指令可以包括引导用户依次看目标项目的文本，例如单词“Look at the red bag on the left”，之后是“And now please look at the brown shoes on the right”。同样，由于可用的投影***技术，使得有可能以这种方式投射文本。这种投影仪或投影模块可以与显示区域分开，并且位于显示区域范围内的任何位置。然而，在本发明的一个优选实施例中，交互式显示***本身包括用于将视觉光标和/或一组指令或提示符投射在显示区域中的投影模块。

在另一个实施例中，可以将大的书面指令呈现给用户，使得消息的宽度包括近似30度的视角。该消息可以在商店橱窗显示器上静态定义，或者它可以根据用户的位置动态生成，使得它可以相对于用户位于中心位置。这样，可以为了好的可读性来最佳地定位指令，而不管用户站在相对于显示区域的什么地方。这在考虑被投射图像的可视性可取决于它被看到的角度时特别有利。

第一目标和第二目标不必是显示区域中的实体对象，而可以是在显示区域的适当点投射的图像。例如，类似于在计算机桌面上打开的窗体或菜单项目，交互式显示器可以使标签“弹出”而吸引用户的注意力。标签可能包含文本，如第一目标标签中的消息，比方说“Please look here”，以及后续的第二目标标签中的消息，比方说“And now look here”。观测用户的头部运动以获得针对这些目标的头部测量或角向头部变换，并且如以上所述继续校准过程。

在可能已经在用户知道或不知道的情况下执行过的校准过程之后，可以根据用户的头部姿势来控制显示区域。为此，基于注视的交互的方法包括观测用户的头部以获得头部取向测量值，和将头部运动/注视关系应用于头部取向测量值以估算注视方向，以及根据所估算的注视方向来控制显示区域。

在本发明的另一种改进中，用户的头部运动/注视关系可以存储在存储器中并且与该用户相关联。这样，表征用户的头部运动与注视方向之间的关系可以以特别有效的方式来应用，使得一旦已经利用本文所述的技术“校准”了用户，就可以存储描述该用户的头部运动倾向的关系并且在以后检索以便使用。当结合例如包含对于用户唯一的RFID（射频标识）芯片的智能卡使用时，这可能是特别有利的。具有这种顾客卡的顾客可能会停下来看与该顾客卡相关联的商店橱窗（例如全部都提供该类型的顾客卡的连锁店）里面。可以在例如利用接近于商店橱窗的RFID读取器“检测到”用户的第一次执行校准。对用户的RFID标签和其头部运动/注视关系进行关联的信息可以存储在中心数据库中。之后，每当该用户接近与该顾客卡相关联的商店橱窗并且识别了用户的RFID标签时，从中心数据库检索用户的头部运动/注视关系并将其应用于针对该用户观测的任何后续头部运动。如果使用了RFID写入器或类似装置，也可以将头部运动/注视关系直接存储在用户的智能卡上，并且每当在另一个显示区域使用它时，可以从卡中读取。显然，根据本发明的方法和***的该应用并不局限于零售环境，在诸如博物馆或商品交易会等其它基于展品的环境中也可以是吸引人的，其中智能卡可以分发给游客或顾客，其然后可以相继接近任何数量的显示区域或展示橱以便看其内容。

从以下结合附图考虑的详述来看，本发明的其它目的和特征将变得明显。然而应理解，设计附图仅仅是为了说明，而不是为了限制本发明的定义。

附图说明

图1示出了显示区域前的用户的示意性表示；

图2a示出了显示区域和第一用户的示意性平面图；

图2b示出了显示区域和第二用户的示意性平面图；

图3a是针对若干参与者的水平头部运动测量的曲线图；

图3b是针对图3a的参与者的平均水平头部运动和竖直头部运动的盒形图；

图4a示出了根据本发明一个实施例的交互式显示***；

图4b示出了图4a的交互式显示***，其中正在按照根据本发明的确定头部运动/注视关系的方法来引导用户看第一目标项目；

图4c示出了图4b的交互式显示***，其中正在按照根据本发明的确定头部运动/注视关系的方法来引导用户看第二目标项目；

图4d示出了图4a-4c的交互式显示***，其中利用根据本发明的执行基于注视的交互的方法、根据用户的注视来控制显示区域；

图5示出了根据本发明另一个实施例的具有投影屏幕的交互式显示***中的显示区域的横截面；

图6示出了根据本发明又一个实施例的交互式显示***。

在附图中，相同的标号在全文中指代相同的对象。图中的对象并不必然是按比例画出的。

具体实施方式

图1示出了显示区域D前的用户1，在此情况下是商店橱窗D前的潜在顾客1。为清楚起见，已经使该示意性表示非常简单。在商店橱窗D中，项目11、12、13被排列以便显示。检测装置4，在此情况下是压力垫4，设置在商店橱窗D前的适当位置，使得可以检测停在商店橱窗D前的潜在顾客1的存在。带有相机装置的观测装置3或头部跟踪装置3设置在显示区域D，以便可以在用户1看显示器中的项目11、12、13中的一个或更多个项目时跟踪用户1的头部运动。可以响应于从检测装置4传送到控制单元20的信号40而激活头部跟踪装置3。显然，如果适当地实现，可以取代用于检测显示区域D前的用户1的存在的检测装置4而使用头部跟踪装置3。图中仅示出了单个相机3，但显然可以实现任何数目的相机，并且可以将其不唐突地设置在显示区域D中。控制单元20可包括硬件和软件模块，例如在办公室或其它房间的计算机上运行的适当算法。图中示出了控制单元20的简化表示包括用于分析头部***提供的数据的分析单元21以及用于确定用户正在看着的点的注视方向估算单元22。显示区域控制器23用于根据用户正在看什么来控制显示区域的要素，如照明效果和产品相关信息的呈现。稍后将更详细地说明这些模块20、21、22、23。通常控制单元20对于用户1将是不可见的，因此由虚线来指示。

如上文所说明的，已经观测到当人从一个项目看向另一个项目时倾向于移动其头部的程度是因人而异的。图2a和图2b以图形方式说明了该观测结果，其中使用图1的显示区域D作为例子，而项目11、12、13由简单的矩形轮廓来表示。在图2a中，人先看显示区域D中的第一项目11（I），然后看第二项目13（II）。在将其注视从第一项目11改变到第二项目13时，该用户将其头部移动了相对大的量，如角度α₁所示。在图2b中，另一个人依次看第一项目和第二项目11、13。此人移动其头部的量较小，使得针对其头部H’的水平头部运动的程度α₂比第一人的小。这些图说明了可以在不同的人之间观测到的水平头部运动量的差异。当从一个项目看向另一个项目时，一些人移动其头部的程度将较大，而其它人可能仅略微移动其头部。

图3a中示出了以度表示的水平头部运动（HHM）的结果，该结果是通过使用按照以度表示的不同角向目标间距（TS）相继设置的目标项目、针对若干参与者而获得的。在试验中，目标项目以预定角间距，即以横轴上示出的10、15、20、25和30度设置在显示区域中。通过使用诸如智能眼的头部跟踪装置，针对每个参与者测量了水平头部运动的程度。针对每个参与者和角间距进行若干次测试，对结果求平均。如可以从曲线图清楚地看到的，针对每个用户的水平头部运动HHM的程度（竖轴）显示了与目标项目之间的角间距程度的清楚的线性关系。

图3b示出了试验中观测到的平均水平和竖直头部运动的盒形图。如从图中可以清楚地看到的，参与者所做出的平均水平运动明显大于平均竖直运动。不用花费精力测量用户的竖直头部运动/注视关系，可以根据针对该用户的水平运动/注视关系来得出这个关系。如以下将要说明的，这些观测结果在根据本发明的方法中得到了好的利用。

图4a-4d示出了可以是商店橱窗D或任何展品展示橱D的显示区域D的平面图，以便说明根据本发明来执行基于注视的交互中的步骤。显示区域D中可以设置任何数量的项目。为清楚起见，仅示出了几个由简单的矩形轮廓表示的项目11、12、13、14。示出了诸如可商用的“Smart Eye?”等头部跟踪装置3设置在显示区域D的适当位置以获得用户的数字图像。示出了顾客正站在显示区域D前。仅顾客（或用户）的头部H被示出。通过使用某种适当的检测装置4，如运动传感器、压力传感器等，检测到用户的存在并且生成对应的信号40，从而启动校准过程以便按照根据本发明的方法来确定用户的头部运动/注视关系。利用检测装置4和/或相机3可以容易地确定用户相对于显示区域D的位置。同样，头部跟踪装置3本身可用于检测显示区域D前的“新”用户以及启动所述过程来确定针对该用户的头部运动/注视朝向。

在图4a所示的第一阶段，将两个项目11、13分别指派为第一目标和第二目标T₁、T₂。基于用户相对于显示区域D的位置来做出将哪些项目用作目标的选择，使得可以实现大程度的角间距，从而给出更精确的结果。例如，如果用户要离开显示区域D的左部，则可以将项目12和13分配为目标项目。因此，通过利用来自相机3的图像数据，分析单元21可充当用于决定将哪些项目用作目标项目的分配单元。

随后，在图4b所示的下一阶段，用户的注意力被吸引到第一目标T₁。这是通过显示区域控制器23来实现的，显示区域控制器23控制显示区域D的要素以照亮第一目标T₁，以便使其突出。用户将其注视指向第一目标T₁，由此将其头部H移动较大或较小的程度。相机3观测用户的头部H以获得第一头部取向测量值M₁。为在获得第一头部姿势或第一头部取向测量值M₁的同时保持用户的注意力，可以根据显示控制单元23所发出的控制信号来显示有关第一目标项目T₁的产品相关信息。

在图4c所示的下一阶段，突出第二目标T₂以吸引用户的注意力。通过使虚拟的光标看起来穿过显示区域D从第一目标项目T₁移到第二目标项目T₂，也可以将用户的注意力吸引到第二目标T₂。同样，用户可以较大或较小程度地移动他的头H来看第二目标T₂。使用头部***3来获得第二头部取向测量值M₂。同样，为保持用户的注意力，可以在获得第二头部取向测量值M₂的同时显示有关第二目标项目T₂的产品相关信息。知道了用户相对于显示区域D的位置并且知道了目标项目T₁和T₂之间的角间距，可以利用第一头部取向测量值和第二头部取向测量值M₁、M₂来确定用户的头部运动/注视关系R。

然后可将针对该用户的该头部运动/注视关系R应用于下面的基于注视的交互，只要用户仍在显示区域D前，看着显示器中的其它项目12、14。然后可将与他所看的任何项目相关的信息以某种适当的方式投射在显示区域D中。这在图4d的第四阶段示出，其中头部跟踪装置3在完成了校准过程之后继续监视用户的头部运动。将头部运动/注视关系R应用于任何后续的头部取向测量值M_x以估算用户的注视方向G_x。图中示出了所估算的用户的注视G_x与项目12一致，并且具有有关显示器中的所有项目11、12、13、14的信息的显示区域控制器23可使得例如借助于全息或电泳屏幕来示出针对该项目12的产品相关信息。

图5以横截面示出交互式显示***中显示区域D上的变化，其中向顾客示出投射在屏幕5上的一个或更多个图像，而不是简单地透视商店橱窗或展品展示橱的玻璃。屏幕5具有不同工作模式，并且可以是不透明的（示出图像）、半透明的（允许用户部分透视）以及完全透明的（使得用户可以看到屏幕5后面的对象11）。在图中，屏幕5的不同模式由不同的交叉影线指示，使得屏幕的不透明区50是图像正投射于其上的区，半透明区51允许用户能部分透视，而透明区52允许用户完全透视。在交互式显示***的该实施例中，相机或头部***3指向显示区域D的前方，以便能够跟随用户头部的运动。

图6示出了根据本发明的交互式显示***的又一种实现。示出了两个显示区域D、D’。示出第一用户1在显示区域D前。如以上利用图4a-4d所述的，针对该用户1确定头部运动/注视关系R。在该例子中，除了已经描述的模块外，控制单元20还包括RFID读取器28。该用户1所携带的RFID标签（未示出）所发射的信号RF由读取器28检测，并且用于生成针对该用户1的标签描述符T，然后将其结合头部运动/注视关系R存储在存储器24或中心数据库24中。

如在先前步骤中所描述的，在第二显示区域D’前示出了已经针对其存储了头部运动/注视关系R’的另一个用户5。用于该显示区域D’的控制单元20’还包括RFID读取器28。该用户5所携带的RFID标签（未示出）所发射的信号RF’由读取器28检测，读取器28生成针对该用户5的标签描述符T’，并且使接口单元27从中心数据库24中检索针对该标签描述符T’的头部运动/注视关系R’。然后可以在后续的该用户5与显示区域D’之间的基于注视的交互期间，将该关系R’应用于相机3所做出的任何头部姿势测量。控制单元20’的分析单元21’可以是控制单元20的分析单元21的简化版本，因为该分析单元21’不必执行针对用户的校准。

当用户1、5继续移动而不再位于显示区域D、D’附近时，这可以由读取器28检测到，任何已经发生的基于注视的交互可能停止，例如如果适合的话，通过使显示区域D、D’中的投影屏幕返回到待机模式来停止。

显然，所示的***可以包括任何数目的附加显示区域，各具有关联的控制单元，控制单元可从中心数据库24检索对应于所检测的RFID标签的头部运动/注视关系。此外，用于显示区域的控制单元中的每个控制单元可能还能够针对至今“未校准”的用户来执行校准，但是各具有向中心数据库24查询标签描述符是否已存储在中心数据库24中的能力，从而节省时间，并且使基于注视的交互从用户的角度来说更加自然。

尽管已经以优选实施例及其变形的形式公开了本发明，应理解可以对其做出大量附加的修改和变形而不背离本发明的范围。例如，取代在显示区域以实体方式设置实际的项目，可以以虚拟方式示出它们，例如将其投射在显示屏幕上。利用这种途径，可以利用例如计算机用户界面在任何时间容易地改变显示区域的“内容”。可以以相同的方式执行校准过程，从而简单地引导用户看虚拟的项目，而不是真的项目。

为清楚起见，应理解在整个申请中使用“一”或“一个”并不排除多个，并且“包括”并不排除其它步骤或要素。“单元”或“模块”可以包括若干单元或模块，除非特别说明。

Claims

1. 确定针对用户（1）的头部运动/注视关系的方法，所述方法包括如下步骤：

－在显示区域（D）分配至少一个第一目标（T₁）和至少一个第二目标（T₂）；

－将用户的注视引向第一目标（T₁），以及观测用户的头部（H）以获得第一头部取向测量值（M₁）；

－然后将用户的注视引向第二目标（T₂），以及观测用户头部以获得第二头部取向测量值（M₂）；

－分析头部取向测量值（M₁、M₂）以确定针对该用户（1）的头部运动/注视关系（R）。

2. 如权利要求1所述的方法，其中第一头部取向测量值和第二头部取向测量值（M₁、M₂）各包括至少水平矢量分量和竖直矢量分量，分析第一头部取向测量值和第二头部取向测量值（M₁、M₂）以获得针对水平方向的头部运动/注视关系，以及可选地获得针对竖直方向的头部运动/注视关系。

3. 如权利要求1或2所述的方法，其中应用该方法来获得针对第一方向的第一头部运动/注视关系，然后应用该方法来获得针对第二方向的第二头部运动/注视关系，所述第二方向基本上正交于第一方向。

4. 如权利要求1所述的方法，其中应用该方法来获得针对第一方向的第一头部运动/注视关系，以及根据第一头部运动/注视关系来得出针对基本上正交于第一方向的第二方向的第二头部运动/注视关系。

5. 如前述权利要求中的任一项所述的方法，其中以视觉方式强调显示区域（D）中的目标（T₁、T₂），以便将用户的注视引向该目标（T₁、T₂）。

6. 如前述权利要求中的任一项所述的方法，其中在显示区域（D）分配至少两组目标（T₁、T₂），以及针对每组目标（T₁、T₂）中的目标相继获得头部取向测量值。

7. 如前述权利要求中的任一项所述的方法，其中针对用户（1）的头部运动/注视关系（R）存储在存储器中并且与该用户（1）相关联。

8. 一种执行用户（1）与交互式显示***（2）之间的基于注视的交互的方法，交互式显示***（2）包括显示区域（D），所述方法包括如下步骤：

－利用如权利要求1至7中的任一项所述的方法来确定针对用户（1）的头部运动/注视关系（R）；

－观测用户的头部（H）以获得头部取向测量值（M_x）；

－将头部运动/注视关系（R）应用于头部取向测量值（M_x）以估算注视方向（G_x）；以及

－根据所估算的注视方向（G_x）来控制显示区域（D）。

9. 如权利要求8所述的方法，其中根据所估算的用户（1）的注视方向（G_x）来识别显示区域（D）中的项目（12），以及将显示区域（D）控制成以视觉方式强调该项目（12）。

10. 如权利要求9所述的方法，其中以视觉方式强调显示区域（D）中的项目（11、12、13、14）包括以视觉方式将项目相关信息呈现给用户（1）。

11. 一种用于确定针对用户（1）的头部运动/注视关系的***（4），所述***包括：

－分配单元，用于在显示区域（D）内分配至少一个第一目标（T₁）和至少一个第二目标（T₂）；

－控制单元（23），用于控制显示区域（D）以便将用户的注视引向第一目标（T₁），然后将用户的注视引向第二目标（T₂）；

－观测装置（3），用于观测用户的头部（H）以获得与第一目标（T₁）相关的第一头部取向测量值（M₁）以及与第二目标（T₂）相关的第二头部取向测量值（M₂）；以及

－分析单元（21），用于分析头部取向测量值（M₁、M₂）以确定针对该用户（1）的头部运动/注视关系（R）。

12. 如权利要求11所述的***（4），包括用于存储针对用户（1）的头部运动/注视关系（R、R’）的存储装置（24）以及用于将用户（1）与所存储的头部运动/注视关系（R’）相关联的关联装置（27）。

13. 一种交互式显示***（2），包括：

－显示区域（D），其中显示项目（11、12、13、14）；

－用于获得针对用户（1）的头部运动/注视关系（R）的装置；

－观测装置（3），用于观测用户的头部（H）以获得头部取向测量值（M_x）；

－注视方向估算单元（22），用于将头部运动/注视关系（R）应用于用户（1）的头部取向测量值（M_x）以估算该用户的注视方向（G_x）；以及

－显示区域控制器（23），用于根据所估算的注视方向（G_x）来控制显示区域（D）。

14. 如权利要求13的交互式显示***（2），包括如权利要求11或12所述的用于确定针对用户（1）的头部运动/注视关系（R）的***（4）。

15. 如权利要求13或14的交互式显示***（2），其中显示区域（D）包括投影屏幕（5），所述投影屏幕（5）根据显示区域控制器（23）的输出而受到控制。