CN105264884B - 显示装置及其控制方法 - Google Patents

Abstract

一种显示装置，包括：摄像机，配置为拍摄显示装置的第一用户；通信接口，配置为与第二用户的外部装置进行通信；显示器，配置为显示第一用户和第二用户之间的视觉通信的图像；以及控制器，配置为在视觉通信期间根据由摄像机拍摄的第一用户的图像，产生关于第一用户的脸部位置的变化的信息，并配置为向外部设备发送关于第一用户的脸部位置的变化的信息，使得将位置改变后的第一用户的脸部显示在外部装置上。

Description

显示装置及其控制方法

技术领域

根据示例实施例的装置和方法涉及一种显示装置及其控制方法，其中可以通过网络连接向外部设备传送数据和从外部设备接收数据，更具体地，涉及一种显示装置及其控制方法，其中可以在将通过拍摄显示装置的用户的图像而获得的视频数据发送到外部设备以便在双方之间进行视觉通信方面，减小视频数据的传输带宽。

背景技术

图像处理装置处理视频数据以最终显示为图像。这种图像处理装置本身包括处理被显示为图像的视频信号的显示面板，或在没有面板的情况下处理视频信号以输出给其他装置。前者是例如包括电视(TV)的显示装置，并易于由用户进行访问。

除了处理从广播站的发射机接收到的广播信号并显示广播图像的基本功能之外，根据技术发展、可用内容数量的增长、用户需求等，诸如TV等显示装置在简单地提供广播的功能之外还可以包括各种复杂的功能。例如，显示装置可以执行通信以便能够通过网络向一个或更多个不同的显示装置发送并从一个或更多个不同的显示装置接收数据。因此，这种显示装置提供用于在各显示装置的用户之间进行通信的环境。在这种环境中，进行聊天或视觉通信。

聊天是将彼此通信的显示装置的用户的意图传达为文本的方法。聊天允许显示装置彼此交换文本数据并在它们各自的显示器上显示该文本数据。扩展地，视觉通信是不仅提供基于用户意图的文本数据而且还提供视频数据的方法。通过例如用户拍摄他/她的图片，并将视频数据实时提供给其他方的显示装置，来获得视频数据。因此，其他方的显示装置可以显示视频数据和文本数据二者。因此，通过使用视觉通信，用户可以在通信期间直接观看其他用户。

然而，视觉通信需要大量资源。例如，视觉通信需要诸如传输带宽的网络资源以及用于例如处理数据的***资源，这是由于需要在显示装置之间发送并接收通过拍摄用户的图像而获得的视频数据。因此，如果根据使用环境相应资源的支持是不足的，则视觉通信的质量可能劣化。

发明内容

一个或更多个示例实施例提供了一种显示装置及其控制方法。

根据示例实施例的一个方面，提供了一种显示装置，包括：摄像机，配置为拍摄显示装置的第一用户；通信接口，配置为与第二用户的外部装置进行通信；显示器，配置为显示第一用户和第二用户之间的视觉通信的图像；以及控制器，配置为在视觉通信期间根据由摄像机拍摄的第一用户的图像，产生关于第一用户的脸部位置的变化的信息，并配置为向外部设备发送关于第一用户的脸部位置的变化的信息，使得将位置改变后的第一用户的脸部显示在外部装置上。

控制器可以配置为在第一用户的图像上形成第一用户脸部轮廓的至少一个区域上提供标签，并可以基于在第一用户的脸部表情和第一用户的形体(figure)中的至少一个改变时产生的标签的改变后值，获得关于第一用户的脸部位置的变化的信息。

控制器可以配置为在第一用户和第二用户的视觉通信开始时，向外部装置发送关于第一用户的脸部轮廓上的标签的设置信息。

设置信息可以包括关于第一用户的图像上的多个标签之间的相对位置的信息以及关于第一用户的图像上的相应多个标签之间的比值的信息。

标签的改变后值可以包括标签在第一用户的图像的第一帧和第二帧之间的移动方向和距离。

控制器可以配置为控制显示器显示第一用户的图像，并基于标签的改变后值来显示改变后的第一用户的位置。

控制器可以配置为控制显示器显示第二用户的图像，并当从外部装置接收到与第二用户的图像上第二用户脸部轮廓相对应的标签的改变后值时，基于与第二用户脸部轮廓相对应的标签的改变后值显示改变后的第二用户的位置。

通信接口可以配置为与配置为提供至少一个预设图形图像的服务器进行通信，控制器可以配置为选择并控制显示器将由服务器提供的至少一个预设图形图像显示为第二用户的图像。

控制器可以配置为从外部装置接收第二用户的图像，并控制显示器来显示第二用户的图像。

控制器可以配置为基于从外部装置接收到的关于第二用户的脸部姿态的角度的信息来调整第二用户的图像。

如果参与视觉通信的外部装置的数目超过预定阈值，则控制器可以配置为执行以下项中的至少一个：根据与显示装置通信的外部装置的数目，削减第二用户的图像的细节；以及减少针对第二用户的图像处理的标签的数目。

通信接口可以配置为与配置为提供至少一个预设图形图像的服务器进行通信，并可以根据由服务器提供的预设图形图像来选择第一用户的图像和第二用户的图像中的至少一个。

显示装置还可以包括存储设备，配置为存储至少一个预设图形图像，其中可以从存储在存储设备中的图形图像中选择第一用户的图像和第二用户的图像中的至少一个。

控制器可以配置为：如果从存储在存储设备的至少一个预设图形图像中选择了第一用户的图像，则向外部装置发送第一用户的图像以便在视觉通信期间显示第一用户的图像。

控制器可以配置为控制显示器显示用户界面(UI)，该用户界面允许用户调整以下项中的至少一个：在第一用户的图像内的标签的位置和比值、以及第一用户的图像的细节；并且控制器可以配置为向外部装置发送经由UI调整过的第一用户的图像。

控制器可以配置为产生关于照射第一用户的光源的位置的信息，使得第一用户的图像包括阴影效应。

一种控制显示装置的方法，所述方法包括：在由第一用户使用的显示装置和由第二用户使用的外部装置之间的视觉通信期间拍摄第一用户；根据拍摄的第一用户的图像，产生关于第一用户的脸部位置的变化的信息；以及向外部设备发送关于第一用户的脸部位置的变化的信息，使得位置改变后的第一用户的脸部被显示在外部装置上。

所述产生关于第一用户的脸部位置的变化的信息可以包括：在第一用户的图像上形成第一用户的脸部轮廓的至少一个区域上提供标签；并根据在第一用户的脸部表面和第一用户的形体中的至少一个改变时产生的标签的改变后值，获得关于第一用户的脸部位置的变化的信息。

所述方法还可以包括：在第一用户和第二用户之间的视觉通信开始时，向外部装置发送关于第一用户的脸部轮廓上的标签的设置信息。

设置信息可以包括关于第一用户的图像上的多个标签之间的相对位置的信息以及关于第一用户的图像上的相应多个标签之间的比值的信息。

标签的改变后值可以包括标签在第一用户的图像的第一帧和第二帧之间的移动方向和距离。

所述方法还可以包括：在显示装置上显示第一用户的图像；并基于标签的改变后值，来调整显示在显示装置上的第一用户的图像的显示状态。

所述方法还可以包括：在显示装置上显示第二用户的图像；以及当从外部装置接收到与第二用户的图像上第二用户的脸部轮廓相对应的标签的改变后值时，基于与第二用户的脸部轮廓相对应的标签的改变后值，调整第二用户的图像的显示状态。

所述在显示装置上显示第二用户的图像可以包括：从配置为提供至少一个预设图形图像的服务器接收图形图像，以及选择所述至少一个图形图像并将其显示为第二用户的图像。

所述在显示装置上显示第二用户的图像可以包括：从外部装置接收第二用户的图像，并显示所述第二用户的图像。

所述调整第二用户的图像的显示状态可以包括：基于从外部装置接收到的关于第二用户的脸部姿态的角度的信息来调整第二用户的图像。

所述调整第二用户的图像的显示状态可以包括如果参与视觉通信的外部装置的数目超过预定阈值，则执行以下项中的至少一个：根据与显示装置通信的外部装置的数目，削减第二用户的第二用户图像的细节；以及减少针对第二用户的图像处理的标签的数目。

可以从由服务器提供的至少一个预设图形图像中选择第一用户的图像和第二用户的图像中的至少一个。

可以从事先存储在显示装置中的至少一个图形图像中选择第一用户的图像和第二用户的图像中的至少一个。

所述方法还可以包括：如果从存储在显示装置中的至少一个图形图像中选择了第一用户的图像，则向外部装置发送第一用户的图像以便在视觉通信期间显示第一用户的图像。

所述方法还可以包括：显示用户界面(UI)，该用户界面允许用户调整以下项中的至少一个：在第一用户的图像内的标签的位置和比值以及第一用户的图像的细节；并向外部装置发送经由UI调整过的第一用户的图像。

所述方法还可以包括：产生关于照射第一用户的光源的位置的信息，使得第一用户的图像包括阴影效应。

附图说明

结合附图，根据以下对示例实施例的描述，将更清楚并更容易理解上述和/或其他方面，附图中：

图1是示出了根据示例实施例的***的视图；

图2是图1的***中的图像发送装置的框图；

图3是示意性示出了将用户做出的评论和图像发送装置的用户的图像显示在图像接收装置中的传统情况的视图；

图4是示出了图1的***中图像发送装置和图像接收装置之间的信号传输的视图；

图5是示出了将标签提供在由图1的图像发送装置感测的用户图像上的示例实施例的视图；

图6是示出了在图1的图像发送装置中调整图像的结果的视图；

图7是示出了在图1的图像发送装置中拍摄的用户的图像中第n帧和第(n+1)帧之间指定标签的变化的视图；

图8是示出了在图1的图像发送装置中拍摄的用户的图像中第n帧和第(n+1)帧之间用户姿态的变化的视图；

图9是示意性示出了在图1的图像接收装置上显示的视觉通信图像的视图；

图10是示意性示出了在图1的图像发送装置上显示的视觉通信图像的视图；

图11是示出了用于选择由图2的图像提供服务器提供的图像的用户界面(UI)图像的视图；

图12是示出了根据第二示例实施例的***的视图；以及

图13是图12的***中的图像发送装置的框图。

具体实施方式

下面将参照附图详细描述示例性实施例。以下示例实施例描述与本发明构思直接相关的配置，并将省略对其他配置的描述。然而，应理解，可以提供其他配置，以实现应用本发明构思的装置或***。

图1是根据示例实施例的***1的视图。

如图1所示，该示例实施例中的***1包括图像发送装置100和图像接收装置200，图像接收装置200是连接以通过网络与服务器10进行通信的客户端。

***1提供在图像发送装置100和图像接收装置200之间的视觉通信。

在执行视觉通信的环境中，发送数据的装置被称作图像发送装置100，接收数据的装置被称作图像接收装置200。图像发送装置100和图像接收装置200可以在视觉通信期间彼此互换它们的角色。

此外，在该示例实施例中，图像发送装置100和图像接收装置200被提供为诸如TV的显示装置，但不限于此。备选地，图像发送装置100和图像接收装置200可以被实现为各种显示装置，例如，包括计算机主机和与其本地相连的监控器的计算机、便携式多媒体播放器、平板计算机、移动电话等，只要它可以向用户提供视觉通信环境。

以下示例实施例将描述在***1内的一个图像发送装置100和一个图像接收装置200之间进行视觉通信。然而，这仅为了清楚地描述示例实施例，示例实施例不限于此。备选地，除了一对一的视觉通信之外，在所述***1中，一对n的视觉通信和n对n的视觉通信也是有可能的。也就是说，可以通过多个图像接收装置200来接收并处理从图像发送装置100发送的数据，一个图像接收装置200可以处理分别从多个图像发送装置100接收到的数据。然而，通过应用并扩展本示例实施例，来实现一对n的视觉通信以及n对n的视觉通信，因此，将不再对其进行赘述。

在分别与服务器10相连的图像发送装置100和图像接收装置200之间经由服务器10来实施在***1中执行的视觉通信，但不限于此。备选地，可以在图像发送装置100与图像接收装置200直接相连而无服务器10的状态下，执行视觉通信。

在图像发送装置100和图像接收装置200之间的视觉通信期间，从图像发送装置100向图像接收装置200发送的数据可以包括两种类型的数据，诸如，图像数据和语音数据，诸如由用户U进行的评论。在该示例实施例中，除非在文中明确指出，否则用户U表示使用图像发送装置100的用户。例如，当图像发送装置100的用户和图像接收装置200的用户希望讨论当前正广播的节目时，可以执行视觉通信。

通过经由图像发送装置100的摄像机(未示出)拍摄用户U的图像，来产生用户U的图像数据。在视频呼叫中，用户U的图像数据包括用户U的脸部图像。

可以通过将与向图像发送装置100输入的用户语音相对应的语音信号转换为文本，来产生用户U的语音数据或评论数据(例如，与用户做出的表述相对应的词语或语句)，或当用户通过字符输入设备(诸如，键盘(未示出))向图像发送装置100直接输入文本时，产生用户U的语音数据或评论数据。

图像接收装置200处理并显示从图像发送装置100接收到的用户U的图像数据和语音数据。此外，图像接收装置200和图像发送装置100可以在在图像发送装置100和图像接收装置200之间执行视觉通信时彼此交换上述角色。

下文，将参考图2描述图像发送装置100和图像接收装置200的具体配置。

图2是图1的***中的图像发送装置的框图。

如图2所示，图像发送装置100包括通信接口110，通过通信接口110向诸如服务器10的其他设备发送并从诸如服务器10的其他设备接收各种信号、信息和/或数据。图像发送装置100还包括：处理器120，处理通过通信接口110接收的数据；显示器130，基于由处理器120处理的数据显示图像；摄像机140，拍摄图像发送装置100的外部环境的图像并拍摄用户的图像；麦克风150，接收图像发送装置100外部的各种声音并接收用户的语音输入；存储设备170，存储数据/信息；以及控制器160，控制图像发送装置100的一般操作。

这里，服务器10表示通信服务器，经由所述通信服务器将图像发送装置100和图像接收装置200彼此相连以便进行视觉通信。如果图像发送装置100和图像接收装置200直接相连，则视觉通信不需要经由服务器10进行中继。

通信接口110连接到服务器10或经由服务器10连接到图像接收装置200，以便进行交互通信。通信接口110可以将来自控制器160的数据发送给图像接收装置200，或将来自图像接收装置200的数据发送给控制器160。在在图像发送装置100和图像接收装置200之间进行视觉通信期间，通信接口110向图像接收装置200发送与图像发送装置100的用户相关的数据，或向控制器160发送与图像接收装置200的用户相关的并且从图像接收装置200接收到的数据。在该操作中，服务器10可以用作中继设备，或通信接口110可以根据通信协议直接连接到图像接收装置200。

除了服务器10和图像接收装置200之外，通信接口110还可以连接到各种外部设备和***设备，可以通过一组连接端口或连接模块来根据各设备实现所述连接。这里，通信接口110可以内部安装到图像发送装置100，或者整个通信接口110或通信接口110的一部分可以以附加件或电子狗(dongle)的形式被附加地安装在图像发送装置100中。

通信接口110根据与各个连接设备相对应指定的协议，来发送和/或接收数据，因此，基于针对相应连接设备的各个连接协议，来发送和/或接收数据。例如，通信接口110基于诸如射频(RF)信号、合成和或分量视频、超级视频、SCART、高清多媒体接口(HDMI)、显示器端口、统一显示接口(UDI)或无线高清(无线HD)等各种标准，发送和/或接收信号。

处理器120向数据施加各种处理并从而处理数据。处理器120向通信接口110发送反映了这种处理的数据，从而向图像接收装置200发送相应数据。

可以由处理器120执行的处理的类型是不受限制的。例如，针对视频内容数据的处理可以包括编码、解码、解交错、帧刷新率转换、噪声降低以改善画面质量、细节增强等。此外，针对语音数据的处理可以包括针对语音信号的过滤、放大、音量控制等。

处理器120可以实现为用于独立地执行每个处理的单独的芯片组，或实现为安装有片上***的图像处理板，其中集成有各种功能。

显示器130基于从处理器120输出的视频数据显示图像。可以通过各种显示方法来实现显示器130，诸如，液晶、等离子体、发光二极管、有机发光二极管、表面传导电子发射、碳纳米管、纳米晶体等。

显示器130可以根据其显示方法而包括附加元件。例如，如果使用液晶显示面板，则显示器130可以包括用于向液晶显示面板(未示出)发光的背光单元(未示出)以及用于驱动该面板的面板驱动基板(未示出)。

摄像机140拍摄图像发送装置100的外部环境的运动图像或静止图像。相对于图像发送装置100(例如，在图像发送装置100的前方)，摄像机140沿着预定方向拍摄各种对象的图像，各种对象诸如是用户。摄像机140拍摄用户的图像并产生含有以帧为单位的用户图像的运动图像数据，并将所产生的数据发送给控制器160。

存储设备170在控制器160的控制下存储大量数据。存储设备170被实现为闪存、硬盘驱动等。具体地，存储设备170是非易失性存储器，以保存数据而无论***电力是接通的或是断开的。由控制器160访问存储设备170，使得可以读取、记录、修改、删除、更新事先存储的数据。

在这种配置中，控制器160控制针对由摄像机140、麦克风150、通信接口110等接收到的各种类型的数据的处理操作。例如，在视觉通信的情况下，控制器160控制将从摄像机140接收到的用户的图像数据以及与从麦克风150发送的用户语音相对应的语音或评论数据发送到图像接收装置200。此外，当通信接口110接收到图像接收装置200的用户的图像数据和语音数据时，控制器160控制处理器120在显示装置130上显示这种数据。

这里，可以以各种方式来执行将用户对麦克风150的语音输入转换为文本的方法。一个示例在于由处理器120将来自麦克风150的语音信号转换为文本。另一示例在于由通信接口110将来自麦克风150的语音信号发送给语音到文本(STT)服务器(未示出)，并由STT服务器(未示出)将相应的语音信号转换为文本。

同时，图像发送装置100和图像接收装置200可以不仅与用于中继通信的服务器10进行通信，而且可以与用于提供预设图形图像的图像提供服务器20进行通信，下文将详细描述。

图像接收装置200还包括与图像发送装置100的上述元件相等同的元件。图像接收装置200的具体配置与图像发送装置100的配置相似，因此，不再进行赘述。

图3是示意性地示出了将用户做出的评论以及图像发送装置的用户的图像显示在图像接收装置中的传统情况的视图。

如图3所示，在视觉通信的传统情况下，图像发送装置100实时地向图像接收装置200发送通过拍摄用户的图像而获得的图像数据以及该用户的语音数据。

因此，图像接收装置200连同预定内容图像310一起显示从图像发送装置100接收到的用户图像320和用户做出的评论的文本330。预定内容图像310包括例如显示在图像接收装置200上的电视节目。图3示出了仅将图像发送装置100的用户的用户图像320和文本330显示在预定内容图像310的右侧。备选地，除了图像发送装置100的用户图像320和文本330之外，还可以显示图像接收装置200的用户的图像和文本。

图像发送装置100通过编解码器(例如，H.264等)对用户的图像数据进行编码，并将编码后的数据发送给图像接收装置200。此外，图像接收装置200对从图像发送装置100接收到的编码后的数据进行解码。

在传统情况下，图像发送装置100通过预设分辨率为640x480等的矩形帧来发送用户的图像数据。因此，在图像接收装置200上显示的用户的用户图像320包括含有用户的头部和身体的用户形体321以及用户身后的背景区域322。

然而，这种视觉通信的传统方法可能存在如下问题。

首先，由于通过某个编解码器对从图像发送装置100接收到的图像数据进行编码，图像接收装置200需要解码处理以便显示该图像数据。然而，如果编解码器的压缩率较高，或如果图像接收装置200从多个图像发送装置100接收图像数据，则对图像接收装置200的***资源的要求等级变得更高。如果图像接收装置200的硬件和软件规格不满足这种要求等级，则视频电话的质量劣化。

尽管图像接收装置200的规格满足要求等级，然而图像接收装置200并不总是仅在预定时间执行视频电话。图像接收装置200基本上支持多线程或多任务，使得它可以例如显示内容图像310和视觉通信图像(用户图像320和文本330)，如图3所示。在这种情况下，图像接收装置200必须执行用于显示内容图像310的处理以及用于显示视觉通信图像的处理(用户图像320和文本330)二者，因此，根据多线程或多任务的性能状态，图像接收装置200的规格可能无法满足在某个时间点需要的要求等级。

其次，根据在从图像发送装置100向图像接收装置200的数据传输期间的数据量，可能需要更多的数据传输带宽。当需要更多传输带宽时，如果图像发送装置100和图像接收装置200之间的通信环境较差，则对发送数据有不利影响。

例如，如果图像发送装置100以每秒30帧和每帧3K字节来发送经由H.264编解码器编码的并且分辨率为640x480的图像数据，为了向图像接收装置200正确地发送图像数据，需要大约1.3Mbps的带宽。如果通信环境不满足这种条件，则可能发生帧丢弃现象，其中在缺少一部分帧的前提下将图像数据显示在图像接收装置200中。

第三，显示在图像接收装置200上的用户图像320不仅包括用户脸部，而且还包括位于用户身后的背景区域322。因此，向图像接收装置200的用户示出图像发送装置100的用户所在的环境，这样可能引起隐私问题。此外，用户图像320可以包含用户身体的上半身。因此，如果用户没有穿衣服，则用户的形体显示给了图像接收装置200的用户。

考虑到这种问题，根据示例实施例提供了以下方法。

图4是示出了图1***中的图像发送装置和图像接收装置之间的信号传输的视图。

如图4所示，当开始与图像接收装置200的视觉通信时(S100)，图像发送装置100开始感测用户脸部，也就是，拍摄用户脸部的图像(S110)。图像发送装置100向图像接收装置200发送分别与沿着用户脸部轮廓设置的多个位置相对应的多个标签设置信息(S120)。

图像接收装置200显示示出了图像发送装置100的用户的脸部的图像(S130)。

这里，可以以如下所示的各种方法来提供显示在图像接收装置200上的示出图像发送装置100的用户脸部的图像。

根据一个方法，在视觉通信期间，图像发送装置100向图像接收装置200发送与用户相对应的图形图像，图像接收装置200将接收到的图形图像显示作为示出图像发送装置100的用户脸部的图像。图形图像可以选自事先存储在图像发送装置100的存储设备170(参见图2)中的图像，或可以从图像***服务器20接收(参见图2)。

图像发送装置100可以根据用户选择来选择一个图形图像，或可以根据多种事先指定的条件来自动选择一个图形图像。

存储在存储设备170或图像提供服务器20中的图形图像可以具有多种图案，作为示出人脸部形状的图像，且不限于特定图案。

根据另一方法，图像接收装置200不必从图像发送装置100接收与图像发送装置100的用户相对应的图形图像，而是可以在开始视觉通信时使用它存储的图形图像，或图像接收装置200可以从图像提供服务器20接收图形图像。

根据另一方法，图像接收装置200可以基于从图像发送装置100接收到的多个标签设置信息，来产生用户图像。在操作S120接收到的多个标签设置信息包括关于各标签之间的相对位置的信息以及关于各标签之间的比值的信息，作为用于令多个标签与图像发送装置100的用户的脸部轮廓的各位置相对应的信息。因此，图像接收装置200可以基于上述设置信息，来创建并示出用户的示意形体。

此外，当将图像发送装置100的用户的图像显示在图像接收装置200上并执行视觉通信时，图像发送装置100连续地拍摄用户的图像(S140)。此外，图像发送装置100实时地向图像接收装置200发送与用户脸部位置的变化相对应的每个标签的改变后值(S150)。

因此，图像接收装置200根据从图像发送装置100接收到的每个标签的改变后值来改变先前显示的呈现图像的显示状态(S160)。例如，图像接收装置200可以根据标签的改变后值来调整在呈现图像上的对应标签位置。

每个标签的改变后值包括关于每个标签按照帧值的移动方向和移动距离的信息。

因此，有可能减小在从图像发送装置100向图像接收装置200发送用户的图像数据的过程中消耗的传输带宽。此外，图像接收装置200在初次显示图像之后，在视觉通信期间，根据标签信息的改变后的值，仅调整每个标签在图像上的位置，从而相较于传统帧解码方法减少了***资源。此外，图像装置200显示用户而不显示用户背景，从而保护用户隐私。

下文，将参考图5描述给予图像发送装置100中的用户图像的标签410的信息的方法。

图5是将标签410提供在图像发送装置100中感测到的用户图像上的示例实施例的视图。

如图5所示，如果拍摄到包含用户脸部的图像400，则图像发送装置100确定图像400上的用户脸部。

图像发送装置100在用户脸部的图像中确定构成脸部的轮廓。图5所示的用户脸部包括眼睛、眉毛、鼻子、嘴唇、耳朵、脸部外形。因此，构成脸部的轮廓是指这些元素的轮廓。例如，轮廓是代表眼睛、眉毛、鼻子、嘴唇、耳朵、脸部外形等的轮廓线或形状。

图像发送装置100针对构成脸部的轮廓上的多个预设位置，指定标签410。也就是说，标签410是一种指示用户脸部轮廓上的特定位置或区域的标志。

这里，应认识到，图5将轮廓上的预定位置处的多个标签410示出为点，仅比在实际装置中提供的点少的点。可以通过各种方法来确定将标签410指定在轮廓上的位置。例如，可以将标签410定位在眼睛的两端、眼睛的瞳孔处、鼻尖处、鼻梁处、鼻孔处、嘴唇的左右两端、人中处、耳朵的上端、耳垂处、脸部外形处等。

此外，该示例实施例示出了所述标签410是轮廓上的点，但不限于此。备选地，标签410可以处于包括预定数目的像素的区域内。

在某人脸部的一般情况下，标签的数目被确定在从例如60到80的范围内。标签的数目是能够示意性地实现用户脸部的轮廓和脸部表情变化的数值范围。

这里，当在图像400上指定各标签410时，确定各标签410之间的距离、方向等类似关系。由于标签410被指定在用户脸部的轮廓上，当标签410之间的关系确定时，能够确定关于脸部轮廓的相对位置、脸部中特定部位的比值以及脸部的特定部位之间的关系。也就是说，能够根据标签410之间的距离、方向等类似关系来确定用户脸部。

这里，标签410的数目可以被确定为在图像发送装置100中指定的默认值，或可以在图像发送装置100中由用户进行调整。如果标签410的数目增加，则可以更多细节示出用户的脸部表情或位置变化，但是要处理并传输的信息量增加。另一方面，如果标签410的数目减少，则要处理和传输的信息量减少，但是更不利于详细示出用户脸部表情或位置的变化。

图像发送装置100向图像接收装置200发送关于用户的图像400的数据以及关于标签410的多个信息。图像接收装置200根据接收到的图像400和标签410呈现新的图像。

这里，由图像发送装置100使用的图像400(在其上设置有标签410)是与由摄像机140拍摄的一帧相对应的图像，由图像接收装置200基于关于标签410的信息而呈现的呈现图像是基于计算机图形(CG)的矢量图像。

显示在图像接收装置200上的用户图像可以被呈现在图像接收装置200中，或被呈现在图像发送装置100中并接着提供给图像接收装置200。

此外，图像发送装置100可以向图像接收装置200发送从服务器10等单独提供的计算机图形(CG)图像，而不发送由图像发送装置100拍摄的一帧的图像400。图像接收装置200显示从图像发送装置100接收到的CG图像，并处理关于与相应GC图像的脸部相匹配的各标签410的信息。

此外，图像接收装置200可以从图像发送装置100仅接收关于标签410的信息，并直接从服务器10接收CG图像。

同时，当由图像发送装置100向图像接收装置200发送用户图像时，图像发送装置100以向用户提供该图像，以便用户可以调整所呈现的图像。

图6是示出了由于在图1的图像发送装置中调整图像而产生的结果的视图。

如图6所示，用户可以调整图像510的方法包括两种方法，所述两种方法为“变形”和“简化”。

变形是在保持图像510的细节以及标签的数目的同时调整标签之间的距离或标签的比值的方法。图像520是在保持垂直比值的同时将水平比值增加预定数值的结果。

简化是削弱图像510的细节并减少标签的数目的方法。通过简化图像510中的眼睛、鼻子和嘴唇的轮廓，来形成图像530。因此，图像530比图像510需要更少的标签。

图像发送装置100可以显示用户界面(UI)图像，其中用户界面UI允许用户选择通过向图像510施加变形方法或简化方法而获得的多组图像520和图像530。

此外，可以将上述配置应用于图像接收装置200。也就是说，当产生图像510时，图像接收装置200可以向图像接收装置200的用户提供用于调整图像510的环境。

对于图像的细节量，图像接收装置200可以允许用户指定从图像发送装置100接收到的标签的数目，或根据预设条件来自动调整标签的数目。例如，图像发送装置100指定标签的数目。

在自动调整条件的情况下，当参与视觉通信的图像发送装置100的数目增加时，图像接收装置200必须处理更多的数据。此外，根据相应***的当前处理状态，对于处理与视觉通信相关的数据，图像接收装置200的***资源可能不足。

因此，如果参与视觉通信的图像发送装置100的数目超过预定阈值，则图像接收装置200可以执行以下项中的至少一个：减少针对每个用户图像处理的标签的数目，以及削减分别与图像发送装置100相对应的用户图像的细节。

此外，如果控制器(未示出)、处理器(未示出)等当前需要图像接收装置200的过多***资源，则图像接收装置200可以减少用于处理来自每个图像发送装置100的用户图像中的对象的标签的数目，并可以削弱所显示的图像的细节。

当然，如果确定参与视觉通信的图像发送装置100的数目变得少于阈值或***资源是确定足够的，则图像接收装置200可以恢复用于处理对象的标签的数目以及图像的细节。

下文，将描述在视觉通信期间从图像发送装置100向图像接收装置200发送的标签的改变后值611。

图7是示出了在图像发送装置100中所拍摄的用户的图像中的第n帧610和第(n+1)帧620之间指定标签的变化的视图。图7仅示出了一个标签611，但是实际上，相同的原理可以应用于图像内的所有标签611。

如图7所示，由于在将图像发送装置100的用户的呈现图像显示在图像接收装置200中的同时执行视觉通信，图像发送装置100连续地拍摄用户的图像，并逐帧地推断每个标签611的位置变化。

在图7所示的示例中，当将标签611指定在用户左眼的外端时，标签611在第n帧610的2维(2D)X-Y平面上具有坐标(x0，y0)，

在这种情况下，如果用户移动，则标签611的位置也改变。在第(n+1)帧620，标签611的坐标从(x0，y0)改变为(x1，y1)。

当标签611的坐标从(x0，y0)改变为(x1，y1)时，可以计算标签611的移动方向和移动距离，即，标签611在从第n帧610到第(n+1)帧620的改变期间的改变后值。换言之，如果在2D X-Y平面上存在起点和终点的两个坐标，则能够在数学上计算矢量值。

这里，可以以各种方法来表示移动方向。例如，移动方向可以被表示为矢量，或可以被表示为相对于起点坐标(x0，y0)在360度范围内的预定角度。

此外，可以以各种方法来表示移动距离。例如，移动距离可以被表示为像素数目或其他长度单位。

图像发送装置100逐帧地或以预设周期向图像接收装置200发送这种计算出的标签611的改变后值。

图像接收装置200基于从图像发送装置100接收到的标签611的改变后值，来调整先前显示的图像的显示状态。也就是说，图像接收装置200根据接收到的改变后值，调整相应标签611在呈现图像内的位置，从而呈现用户脸部表情或位置改变。

这里，由图像接收装置200调整标签11在图像中的位置的程度与从图像发送装置100接收到的标签611的改变后值相对应。然而，该程度不必在数值上等于改变后值。例如，图像接收装置200可以向初始值补偿移动方向或距离的增益，并将其应用于所述调整，而不是将与接收到的标签611的改变后值相同的值反映在图像的调整上。这里，能够根据图像接收装置200的呈现方法对所述调整进行各种修改。

如上所述，该示例实施例中的图像发送装置100不发送用户的全部拍摄图像帧，而是仅发送标签611的改变后值，从而以比传统情况的数据少的数据来实时表现用户的脸部表情和位置改变。

同时，图像发送装置100可以根据各种设计向图像接收装置200发送除了标签的改变后值之外的附加信息，并在图像上反映该附加信息。

图8是示出了在第n帧630和第(n+1)帧640之间的用户姿态的变化的视图。

如图8所示，用户将他/她的头部转向一侧。在这种情况下，第n个帧630示出了用户看着前方，第(n+1)帧640示出了用户将他/她的头部转向一侧。

如果沿着用户鼻子设置轴线S1，则当用户将他/她的头部转向一侧时相对预定中心S0转动轴线S1。这里，从第n帧630到第(n+1)帧640的变化引起轴线S1相对中心S0旋转角度R。

图像发送装置100分析第n帧630以及第(n+1)帧640以计算角度R，图像接收装置200基于从图像发送装置100接收到的角度R调整该图像。

此外，图像发送装置100推断指示光源在拍摄用户的图像中的位置的信息，并向图像接收装置200发送关于光源的位置的信息。图像接收装置200可以根据接收到的关于光源位置的信息向图像施加阴影处理。

例如，如果光源位于用户的右侧，则他/她的脸部随着远离最亮的右上侧位置而逐渐变暗。图像接收装置200可以向图像应用梯变处理，从而在图像上反映这种阴影效应。

图9是示意性示出了显示在图像接收装置200上的视觉通信图像的视图。

如图9所示，根据上述示例实施例，图像接收装置200显示视觉通信图像720以及预定内容图像710。视觉通信图像720包括图像发送装置100的用户的图像721和评论722的文本。

图像接收装置200可以根据设计方法，在显示图像721时自由地指定图像721的尺寸、排列等。图像接收装置200显示参与视觉通信的一个或更多个图像发送装置100的用户的图像721，并可以额外显示图像接收装置200的用户的图像。

图9示出了在不彼此交叠的前提下显示内容图像710和视觉通信图像720，但不限于此。例如，图像721或评论722可以显示为至少部分地覆盖在内容图像710上。

图10是示意性示出了在图像发送装置100上显示的视觉通信图像的视图。

如图10所示，图像发送装置100显示视觉通信图像820以及预定内容图像810。为了便于解释，图像发送装置100的用户将被称作第一用户，图像接收装置200的用户将被称作第二用户。视觉通信图像820包含示出第一用户的第一用户图像831以及示出第二用户的第二用户图像821。也就是说，第一用户图像831可以在视觉通信期间被显示在图像发送装置100上以及图像接收装置200上。

图像发送装置100向图像接收装置200发送标签的改变后位置值，以便调整显示在图像接收装置200上的第一用户图像831的显示状态。此时，图像发送装置100还基于标签的改变后位置值，来调整显示在其上的第一用户图像831的显示状态。

因此，当将第一用户图像831显示在图像发送装置100和图像接收装置200的每一个上时，根据第一用户的脸部表情或位置的改变，改变第一用户图像831在图像发送装置100和图像接收装置200的每一个上的图像。

图11是用于选择由图像提供服务器20提供的图像910的用户界面(UI)图像900的视图。

如图11所示，图像发送装置100或图像接收装置200可以访问图像提供服务器20(参见图2)并从图像提供服务器20接收各种图像(910)，所述各种图像在视觉通信期间被用作用户图像。图像提供服务器20提供用于选择与用户脸部形状相对应的图像910的UI图像900。图像发送装置100或图像接收装置200的用户通过UI图像900选择图像910，并将所选图像910用作与图像发送装置100的用户相对应的图像和与图像接收装置200的用户相对应的图像。

图像发送装置100可以在开始视觉通信时从图像提供服务器20选择图像910，并将所选图像910发送给图像接收装置200，或可以事先选择并存储来自图像提供服务器20的图像910，然后在开始视觉通信时将其发送给图像接收装置200。备选地，图像发送装置100可以要求图像接收装置200从图像提供服务器20选择图像。

如上所述，根据示例实施例的图像发送装置100在视觉通信期间基于由摄像机140拍摄的用户图像，产生与用户脸部的变化相对应的改变后信息，并向图像接收装置200发送改变后信息，使得当将该用户图像显示在图像接收装置200上时，可以在示出用户的用户图像中改变用户脸部。在该示例实施例中的图像发送装置100向图像接收装置200发送关于多个标签的信息，其中所述多个标签分别与沿着用户脸部轮廓的多个位置相对应。图像发送装置100在开始视觉通信时发送关于多个标签的信息。因此，图像接收装置200基于接收到的与多个标签相关的信息，显示经渲染的图像。

此外，将经渲染的图像显示在图像接收装置200上的同时，图像发送装置100在视觉通信期间向图像接收装置200发送与用户脸部的变化相对应的每个标签的改变后值。因此，图像接收装置200基于接收到的每个标签的改变后值来调整经渲染的图像的显示状态。

在上述示例实施例中，图像发送装置100和图像接收装置200使用服务器10来执行视觉通信。然而，服务器10的中继对于在至少两个显示装置之间的视觉通信而言并非总是必需的。

图12是示出了根据第二示例实施例的***的视图。

如图2所示，该***包括执行视觉通信的图像发送装置1100和图像接收装置1200。在示例实施例中，图像发送装置1100和图像接收装置1200被分别实现为显示装置，图像发送装置1100的用户可以使用来自图像接收装置1200的图像来执行视觉通信。

这里，图像发送装置1100和图像接收装置1200可以在直接彼此相连的情况下执行视觉通信。在这种情况下，图像发送装置1100和图像接收装置1200可以交换数据而不使用任何类型的中继。这种通信方法可以使用任何对等类型的协议，诸如，Wi-Fi直连，但不限于此。

图13是在图12的***中的图像发送装置1100的框图。

如图13所示，图像发送装置1100包括通信接口1110、处理器1120、显示器1130、摄像机1140、麦克风1150、控制器1160和存储设备1170。这些元件基本上执行与图2所示的第一示例实施例的元件相同的操作，因此，不再对其进行赘述。此外，图像接收装置1200与图像发送装置1100是相同的显示装置，因此，可以将图像发送装置1100的元件应用于图像接收装置1200。

通信接口1110经由诸如服务器10(参见图1)(和第一示例实施例相同)的单独中继设备与图像接收装置1200相连，但是可以根据通信协议直接连接到图像接收装置1200。

图像发送装置1100和图像接收装置1200的操作与第一示例实施例的操作相似，因此不再对其进行赘述。

尽管示出并描述了一些示例实施例，然而本领域技术人员应理解，可以在这些示例实施例中进行改变，而不脱离本发明构思的原理和精神，其中在所附权利要求及其等同物中限定了本发明构思的范围。

Claims (15)

1.一种显示装置，包括：

摄像机，配置为产生与显示装置的第一用户对应的捕获图像；

通信接口，配置为与第二用户的外部装置进行通信；

显示器，配置为显示与第一用户和第二用户之间的视觉通信对应的图像；以及

控制器，配置为：

在视觉通信期间产生与基于第一用户的脸部外观的变化的标签值对应的信息，并且

控制通信接口向外部装置发送所述信息，使得外部装置显示第一用户的脸部，而无需从显示装置接收与第一用户对应的捕获图像。

2.根据权利要求1所述的显示装置，其中控制器配置为在第一用户的图像上形成第一用户脸部轮廓的至少一个区域上提供标签，并基于在第一用户的脸部表情和第一用户的形体中的至少一个改变时产生的所述标签的改变后值，获得所述与第一用户的脸部位置的变化有关的信息。

3.根据权利要求2所述的显示装置，其中所述控制器配置为在第一用户和第二用户之间的视觉通信开始时，向外部装置发送与第一用户的脸部轮廓上的标签有关的设置信息。

4.根据权利要求3所述的显示装置，其中所述设置信息包括与第一用户的图像上的多个标签之间的相对位置有关的信息以及与第一用户的图像上的相应多个标签之间的比值有关的信息。

5.根据权利要求2所述的显示装置，其中所述标签的改变后值包括在第一用户的图像的第一帧和第二帧之间标签的移动方向和距离。

6.根据权利要求2所述的显示装置，其中所述控制器配置为控制显示器显示第一用户的图像，并基于标签的改变后值来显示第一用户的改变后位置。

7.根据权利要求2所述的显示装置，其中所述控制器配置为控制显示器显示第二用户的图像，并在从外部装置接收到与第二用户的图像上第二用户的脸部轮廓相对应的标签的改变后值时，基于与第二用户的脸部轮廓相对应的标签的改变后值，显示第二用户的改变后位置。

8.根据权利要求7所述的显示装置，其中所述通信接口配置为与被配置为提供至少一个预设图形图像的服务器进行通信，以及

其中所述控制器配置为选择并控制显示器将由所述服务器提供的所述至少一个预设图形图像显示作为第二用户的图像。

9.根据权利要求7所述的显示装置，其中所述控制器配置为从外部装置接收第二用户的图像，并配置为控制显示器来显示第二用户的图像。

10.根据权利要求7所述的显示装置，其中所述控制器配置为基于从外部装置接收到的与第二用户的脸部姿态的角度有关的信息来调整第二用户的图像。

11.根据权利要求7所述的显示装置，其中所述控制器配置为：如果参与视觉通信的外部装置的数目超过预设阈值，则执行以下项中的至少一个：根据与显示装置通信的外部装置的数目，削减第二用户的图像的细节；以及减少针对第二用户的图像而处理的标签的数目。

12.根据权利要求7所述的显示装置，其中所述通信接口配置为与被配置为提供至少一个预设图形图像的服务器进行通信，

其中根据由所述服务器提供的预设图形图像，选择第一用户的图像和第二用户的图像中的至少一个。

13.根据权利要求7所述的显示装置，还包括存储设备，配置为存储至少一个预设图形图像，其中所述第一用户的图像和第二用户的图像中的至少一个选自存储在存储设备中的图形图像。

14.根据权利要求2所述的显示装置，其中所述控制器配置为控制显示器显示用户界面UI，所述UI允许用户调整以下项中的至少一个：第一用户的图像内标签的位置和比值，以及第一用户的图像的细节；并且所述控制器配置为向外部装置发送经由所述UI调整过的第一用户的图像。

15.一种控制显示装置的方法，所述方法包括：

在由第一用户使用的显示装置和由第二用户使用的外部装置之间的视觉通信期间产生与第一用户对应的捕获图像；

在视觉通信期间产生与基于第一用户的脸部外观的变化的标签值对应的信息；以及

向外部装置发送所述信息，使得外部装置显示第一用户的脸部，而无需从显示装置接收与第一用户对应的捕获图像。