CN1649419A - 在非平面表面上显示面部特征的方法和*** - Google Patents

Abstract

一种显示面部特征的方法包括在非平面表面(502)上产生带有面部特征的图像并将所述图像定位在非平面表面上，表明注视方向并增强与面部特征关联的非话音通信。显示面部特征的装置包括：非平面表面(404)；图像产生装置(410，412，414)，它在非平面表面(404)上建立带有面部特征的图像；以及定位***(600)，它将图像定位在非平面表面上，表明注视方向并增强与面部特征关联的非话音通信。

Description

在非平面表面上显示面部特征的方法和***

技术领域

本发明涉及图像显示，更具体地说，涉及在非平面表面上显示面部特征的方法和***。

背景技术

电视会议可大大改变人们交往的方式。在飞机旅行昂贵，矿物燃料价高，***和新传染疾病的年代，非常需要有效的电视会议。有效的电视会议必需努力实现面对面会议的效果，即，建立远程呈现(telepresence)。为使电视会议更像面对面的交流，许多因素需要改进，包括：向所有与会者传达非话音信息；检测并传达各与会者之间的目光注视；保持眼睛接触以及其它视觉和听觉信息。

目前的电视会议和个人计算机的交互技术常包括以下各项：一个本地摄像机记录与会者的正面图像并将其传送到远程位置的平面显示器上。远程与会者的图像由远程摄像机记录并在本地的平面显示器上显示给本地与会者。由于记录图像的摄像机与显示器并不重合，与会者在发言和聆听时就不能保持眼睛的接触。此外，很难确定远程与会者的目光注视位置(即此人在向何处看)。这种非话音信息可表明所述与会者的兴趣，他介入会议以及理解的程度等。最后，目前的电视会议不能提供良好的深度知觉和图像的三维显示。多个摄像机角度需要特殊的眼镜或护目镜，对这些东西消费者的兴趣实在有限。

同理，在个人计算机交互的情况下，通常的作法是把平面动画图像投影到平面屏幕上。在交互时计算机人物的目光注视与人的信息或位置无关。显示器是二维的且相当笨重，因此在移动平台上例如机器人上使用就很困难和昂贵。

发明内容

本发明提供对上述问题的解决方案并通过在远程会议时更逼真的显示以及显示和目光注视的保持提供更栩栩如生的通信体验。

本发明一个方面的特征是显示面部特征的方法。显示操作包括：在非平面表面上产生具有面部特征的图像；以及将所述图像定位在所述非平面表面上，以表示注视方向并增强与面部特征关联的非话音通信。

本发明的另一方面包括显示面部特征的装置。所述装置包括：非平面表面；图像产生装置，它在所述非平面表面上建立具有面部特征的图像；以及定位***，它将所述图像定位在所述非平面表面上，以表示注视方向并且增强与面部特征关联的非话音通信。

在一个实施例中，所述非平面表面基本上具有头部形状。

在另一个实施例中，所述头形非平面表面是从以下一组头形中选择的：球形、回转扁球体或长椭圆形闭合面。

在另一个实施例中，所述图像产生装置包括一个或多个投影装置，用于从所述非平面表面的外部投影光线。

在另一个实施例中，所述图像产生装置包括一个或多个投影装置，用于从所述非平面表面的内部投影光线。

在另一个实施例中，所述图像产生装置包括基本上与所述非平面表面重合的柔性显示器。

在另一个实施例中，利用柔性显示器技术实现所述图像产生装置，所述柔性显示器技术是从以下一组技术中选择的：柔性LCD显示器、柔性有机发光二极管显示器、柔性无机场致发光显示器和柔性发光聚合物显示器。

在另一个实施例中，与利用所述图像收集装置收集的面部特征的运动一起，所述定位***(600)将所述图像以及包含在所述图像中的眼睛从所述非平面表面(404)的一部分移动到另一部分。

在另一个实施例中，所述装置还包括一个或多个视频收集装置，用于从基本上在所述非平面表面(404)上或在所述非平面表面(404)附近的透视图收集面部特征的视频图像。

在另一个实施例中，所述装置还包括扬声器，用于从所述非平面表面的透视图发送话音或其它声音。

附图说明

在附图中以实例而非限制的方式图解说明本发明，附图中：

图1是显示本发明实施例的示意图，所述实施例具有单一远程用户，其图像由多个外部摄像机收集；

图2是显示本发明两个实施例的示意图，同时由两个用户在不同位置用于电视会议；

图3A是显示按照本发明一个实施例的非平面显示的挖剪景片的透视图，摄像机大致置于一只眼睛后面，以便将图像传送到远程用户并同时保存目光注视信息；

图3B是显示按照本发明一个实施例设计的非平面显示的挖剪的景片的透视图，大致在每只眼睛后面设置一个摄像机，以便将图像传送到远程用户并同时保存目光注视信息；

图3C是显示按照本发明一个实施例设计的非平面显示的挖剪的景片的透视图，摄像机大致置于鼻梁后面，以便将图像传送到远程用户并同时保存目光注视信息；

图4A是显示本发明一个实施例的透视图，其中将单一柔性显示器包裹在非平面表面周围，并显示另一实施例，其中在非平面表面上铺有多个柔性显示器；

图4B是显示与按照本发明实施例的头形非平面显示器交互的用户的透视图，面部特征从多个角度投影到所述显示器上；

图4C是显示利用从半透明非平面显示器内部的图像投影的本发明实施例的透视图；

图5是按照本发明实施例的显示远程用户的面部特征并将本地用户图像传送到远程用户的工作流程图；

图6是用于在一个实施例中实现本发明的装置和方法的***的方框图。

具体实施方式

图1示出按照一个实施例的利用非平面显示器的视频***。***100包括：在第一位置的本地用户110；在第一位置的一个或多个摄像机106和108；在第一位置的送话器112；以及在第二位置的其上显示面部特征104的非平面显示器102。

在此实施例中的非平面显示器102包括具有图像产生显示表面的三维头形。在一个实施例中，非平面显示器102由柔性的能保持面积的投影显示小片形成，将小片铺成覆盖所述非平面头部的表面。设计成精确覆盖非平面表面的能保持面积的小片在所述非平面表面上合拢，沿各边缘相交，不相互重叠，也不留间隙。在这样的实施例中，计算机或其它处理装置确定图像的位置，以便图像这样出现在各显示小片上，使得面部特征对本地用户来说是无缝的。

摄像机106和摄像机108拍摄本地用户110的两个相应的视频图像，而送话器112收集其发言。然后这些装置传送视频和声频信息供非平面显示器102和扬声器分别重放。各种执行过程将图像合并、校正投影失真并将其显示在非平面头形显示器102上。当本地用户110转动头部时，显示***就转动非平面显示器102上的图像。当本地用户110用眼睛瞥某一方向时，图像104的眼睛部分也有相应的改变。这样，注视方向以及其它的感情表现和非话音通信就可清晰地显示在非平面显示器102的观众面前。

图2示出由本地用户202和远程用户210使用的视频会议的实施例。所述图示出能收集透射图像以有助于保存眼睛接触、注视信息以及本地用户的其它非话音暗示的实施例。所述配置包括：在本地用户202的位置上的头形非平面显示器204；在远程用户210的位置上的头形非平面显示器206；以及基本上镶嵌在出现在相应的显示器上的面部图像的每只眼睛位置上的摄像机208。

在会议或其它交互期间，本地用户202通过摄像机209和远程用户210通信。摄像机209的位置结合非平面显示器204上远程用户210的图像，帮助本地用户202与远程用户210眼睛接触或避开眼睛接触。同理，通过摄像机208的位置结合非平面显示器204上本地用户202的图像，如图所示，远程用户210可以更容易地控制与本地用户202的眼睛接触。这对摄像机208和209所收集的透视信息大大增强了本地用户202和远程用户208识别非话音信息的能力。例如，透视信息包括有关面部表情对称或不对称的信息、有关注视或眼睛接触的面部表情各元素的位置的信息、以及在个人交流中所用面部表情的任何其它各部分的有关信息。

同理也可以保持关于远程用户210的注视信息，方法是将非平面显示器204上的一个或多个摄像机基本上定位在远程用户210的图像的一只眼睛或双眼位置上。

图3A、3B和3C示出按照不同实施例的用于保持注视的不同摄像机布置。在图3A所示实现方案中，摄像机302基本上位于图像的一只眼睛的区域中，而对应于另一只眼睛的区域304中不出现摄像机。在这种布置中，摄像机302从一只眼睛的视点收集图像，而另一只眼睛的区域304将注视信息显示在显示表面上。在区域304中单眼的注视信息保持一定程度的注视，同时摄像机302收集注视信息供其它地方使用。

在图3B所示另一实现方案中，半透明显示器308允许产生远程用户双眼310的图像，同时用一个或多个本地摄像机收集视频图像。在这种布置中，可以保存远程用户双眼在非平面显示器上所显示的更多的注视信息。同理，这对摄像机306从本地用户收集更多的注视和透视信息，供远程用户利用视频***中的非平面或平面显示器或在其它地方观看。摄像机306越接近非平面显示器上远程用户的眼睛310的位置，保持注视和非话音信息的程度就越大。

在图3C所示的又一布置中，摄像机312通过大致位于非平面显示器上出现的面部特征图像的鼻梁处的孔径314来收集本地用户的视频图像。所述实施例利用人们不能区分固定在鼻梁上的注视和固定在眼睛本身的注视的这种现象。摄像机312从本地用户收集注视信息，但不能保持像前述另一实施例那样多的透视信息，因为摄像机不是直接位于某只眼睛上。但眼睛316和318都为本地用户显示在非平面显示器上，反映出远程用户的注视。所以，所述实施例的生产价格更为经济，但仍可用以保存注视信息。

图4A、4B和4C示出按照实施例在非平面表面上产生面部图像的各种可能性。图4A示出使用固定在头形非平面显示器404上的柔性显示器402。也可使用等面积变换从具有面积408a、408b、408c和408d的柔性显示器的各部分来构成非平面显示器406。等面积变换是一种设计方法，可将一个曲面变换到平面材料上，使其面积保持不变，且使平面柔性材料覆盖所述曲面。在此实例中，区域408a是对应于远程用户右脸颊部分的柔性显示材料，区域408b对应于远程用户的左脸颊部分，区域408c对应于远程用户的中心面部区域，区域408d对应于远程用户的前额部区域。覆盖这些不同区域的柔性显示材料通过透视或许多其它的非话音提示来描述注视、面部表情、姿势等。

图4B图解说明一个实施例，其中，多个投影机410、412和414在非平面显示器表面416上建立图像，显示给本地用户418。所述实施例的优点是可利用目前可用的技术，所以最容易实施且成本较低。非平面表面416可用利用圆柱形表面或人体模型头部或类似于三维人头的其它表面来实现。

利用非平面显示器416上的投影机410、412和414还需要附加的处理和图像增强操作以实现良好的工作。各种图像处理例程可处理远程用户的图像以使面部保持在非平面显示器表面416的中心轴上。面部识别操作可用来与非平面显示器416的中心轴作比较，以识别被录像的远程用户的中心轴。远程用户的中心轴可以对准，方法是移动一个或多个所取的远程用户的图像，直到轴的位置与非平面表面416重合为止。

另一实施例可以处理并校正在非平面显示器416上未能正确再现的面部特征。例如，摄取远程用户图像的摄像机所引入的物体或失真可能会使面部特征变得模糊不清以及留***影。面部特征或表情的统计信息可以用来重新建立这些区域或漏失，而不是显示阴影或暗区。例如，识别面颊或前额上比较平的区域可以用来使这些部分中的区域平整或近似，并提供显示图像中的连续性。这将足够精确地再现面部特征，以保持注视并避免由某种像差引起的干扰。

另一图像处理方面可以分辨远程用户微小的头部运动。在此情况下，面部识别和眼睛跟踪例程也可用来识别远程用户的头部相对于拍摄图像的摄像机的旋转运动。为保持与本地用户418的注视和眼睛接触，拍摄本地用户图像的摄像机416改为反映远程用户新的眼睛位置。例如，根据远程用户头部旋转的程度，实现方案可收集并利用从右或左摄像机所拍摄的图像。利用所得到的或左图像，或右图像或它们的组合图像，远程用户就可用新的更精确的眼睛接触位置看见对本地用户所拍摄的不同透视图。

图4C示出按照一个实施例用于在半透明非平面表面上进行内部投影的***。所述***包括：半透明非平面表面420；光源422和用于向本地用户显示图像的液晶光阀424。光阀424对光源422滤光，并将结果图像投影到半透明非平面表面420上。所述***的优点是显示源和半透明非平面表面420都是自备的并且是便携式的。和其它前述***一样，远程用户的投影图像包括面部表情并保持注视和其它对本地用户的非话音提示。

图5示出按照一个实施例收集和在非平面显示器上显示用户面部特征的步骤流程图。开始时，非平面显示装置接收远程用户面部特征的一个或多个图像(502)。如前所述，可以使用一个或多个摄像机来收集图像然后将图像显示在非平面显示装置上。例如，可以这样设置摄像机，使其基本上与定位在非平面显示器上的每只眼睛重合、或与非平面显示器上的一只眼睛重合、或位于大约鼻梁处的一对眼睛之间。

将对远程用户所拍摄的图像定位到非平面表面上，表示远程用户对本地用户的注视(504)。将图像中的眼睛定位在非平面显示器上眼睛会出现的位置上或附近，远程用户的面部表情就保持注视。而且，从不同图像所收集的透视信息有助于向观看非平面显示器的本地用户传递注视和其它非话音信息。如前所述，可用数个投影机将面部图像投影到非平面显示器上，用固定在非平面显示器上的柔性显示器显示，或通过来自半透明非平面表面内的内部投影显示。

与上述操作的同时或并行，位于本地用户附近的非平面显示器上的摄像机收集本地用户的面部图像或表情(506)。多个图像可以收集本地用户的不同透视图，以增强对本地用户的注视以及其它非话音提示的捕捉。根据应用，各种图像处理例程可以应用于所收集的图像上，以校正头部的旋转、头部的倾斜以及图像中会干扰远程用户和本地用户之间的注视保持和眼睛接触的其它改变。一旦完成此处理，就传送本地用户的图像，供在远程用户的非平面显示器上显示(508)，并重复以上操作。虽然以上操作是以特定的顺序提出的，但是应理解以上操作可以完全并行或以各种顺序发生，以改善在非平面显示器上成像的性能和效率。

图6示出在一种实现方案中所使用的实现上述装置和方法的***600的方框图。***600包括：保存执行程序的存储器602(通常是随机存取存储器(RAM)或只读存储器(ROM)，例如闪存ROM)；能够连接并驱动显示器或输出装置的显示装置接口604；处理器606；保存驱动程序和其它常用程序的程序存储器608；供数据通信用的网络通信端口610；具有辅助存储控制器的辅助存储器612以及工作时通过总线616连接在一起的输入/输出端口和控制器614。可以在ROM中对***600编程，例如利用现场可编程门阵列技术或可通过加载另一源(例如，软盘，CD-ROM或另一台计算机)的程序对其编程(和重新编程)。而且，可以使用定制的专用集成电路来实现***600。

在一个实施例中，存储器602包括：非平面图像收集部件618；非平面显示部件622；非平面图像处理部件620；非平面头部跟踪部件624以及运行时间模块626，所述运行时间模块626在处理***600上的上述一个或多个部件时管理***资源。

如图所示，这些不同的模块出现在单一的计算机***中。但可供选择的实现方案也可将这些部件分布在一个或多个不同的计算机中以适应处理需求、可量测性、高可用性和其它设计限制。同理，图6所示的部件是分立和相互分隔的。可供选择的实现方案也可将一个或多个这些部件组合起来以实现更高的效率、更低的成本或在大规模企业或小规模操作环境中为实现实施例所需要的任何其它设计限制。

非平面图像收集部件618从与非平面显示器关联的一个或多个摄像机收集本地用户的图像。非平面图像处理部件620对所收集的图像进行一个或多个图像处理操作，以改进在非平面显示器上所得的显示。如前所述，这些图像处理操作包括：补偿远程用户的头部倾斜、计算远程用户的头部旋转、平滑受像差或失真影响的面部图像区域以及能增强保持注视和/或其它非话音提示的任何其它过程。

非平面显示部件622进一步处理图像并准备进行根据上述细节所设计的特定显示。非平面显示部件622可以改变图像使其与投影机、柔性显示装置、用于非平面显示器内部或任何其它各种环境的显示器有更好的配合。

非平面头部跟踪部件624包括在收集和传送图像时跟踪远程用户头部位置的一个或多个操作。所述非平面头部跟踪部件624可以实现跟踪远程用户的眼睛以及远程用户整个面部表情的操作。

虽已对实例和实现方案作了说明，但它们不应用来限制本发明的任一方面。相应地，本发明的实现方案可以用模拟电路、数字电子电路或用计算机硬件、固件、软件或它们的组合来实现。本发明的装置可以用计算机程序产品中的模拟电子电路或数字电子电路来实现，所述计算机程序产品有形地包含在机器可读的存储装置中供可编程处理器执行；本发明的方法步骤是由可编程处理器执行程序或指令，通过对输入数据进行操作并产生输出数据来实现本发明的功能。本发明最好用在可编程***上可执行的一个或多个计算机程序来实现，所述可编程***包括至少一个可编程处理器，连接成接收数据存储***的数据和指令并向其发送数据和指令，至少一个输入装置和至少一个输出装置。每个计算机程序可用高级程序语言或面向目标的语言，必要时用汇编或机器语言来实现；在任何情况下，所述语言可以是编译或翻译语言。适用的处理器包括，举例来说，通用和专用处理器。通常，处理器接收来自只读存储器和/或随机存取存储器的指令和数据。通常计算机包括一个或多个大容量存储装置，用来存储数据文件；这种装置包括磁盘，例如机内硬盘和可移动磁盘；磁光盘和光盘。适合于有形收录计算机程序指令和数据的存储装置包括所有形式的非易失性存储器，举例来说包括半导体存储器装置，例如EPROM，EEPROM以及闪存存储器装置；磁盘例如机内硬盘和可移动磁盘；磁光盘；和CD-ROM光盘。任何上述一种都可以由专用集成电路(ASIC)补充或包括在ASIC中。

虽然已对具体实施例作了说明，但可以做各种改动而不会背离本发明的精神和范围。例如，各种显示器技术已有市售，并可用来实现本发明。此外，也可用各种方式来准备要显示的图像。出现在非平面表面上的图像可以是由摄像机捕捉的，然后由计算机算法或计算机硬件处理和准备的远程用户的图像，或者是为了人机交互而由计算机产生的图像。所以，本发明不限于上述实现方案，而应由所附权利要求书按照其等效物的全部范围来限定。

Claims (10)

1.一种显示面部特征的装置，它包括：

非平面表面(404)；

图像产生装置(410、412、414)，它在所述非平面表面(404)上建立带有面部特征的图像；以及

定位***(600)，它将所述图像定位在所述非平面表面上，表示注视方向并增强与所述面部特征关联的非话音通信。

2.如权利要求1所述的装置，其中所述非平面表面基本上具有头部形状。

3.如权利要求2所述的装置，其中所述头形非平面表面是从以下一组头形中选择的：球形、回转扁球体或长椭圆形闭合面。

4.如权利要求1所述的装置，其中所述图像产生装置包括一个或多个投影装置(410、412、414)，用于从所述非平面表面的外部投影光线。

5.如权利要求1所述的装置，其中所述图像产生装置包括一个或多个投影装置(422，424)，用于从所述非平面表面的内部投影光线。

6.如权利要求1所述的装置，其中所述图像产生装置包括基本上与所述非平面表面重合的柔性显示器。

7.如权利要求6所述的装置，其中利用柔性显示器技术实现所述图像产生装置，所述柔性显示器技术是从以下一组技术中选择的：柔性LCD显示器、柔性有机发光二极管显示器、柔性无机场致发光显示器和柔性发光聚合物显示器。

8.如权利要求1所述的装置，其中与利用所述图像收集装置收集的面部特征的运动一起，所述定位***(600)将所述图像以及包含在所述图像中的眼睛从所述非平面表面(404)的一部分移动到另一部分。

9.如权利要求1所述的装置，其中还包括一个或多个视频收集装置，用于从基本上在所述非平面表面(404)上或在所述非平面表面(404)附近的透视图收集面部特征的视频图像。

10.如权利要求1所述的装置，其中还包括扬声器(416)，用于从所述非平面表面的透视图发送话音或其它声音。

Images