CN103403789A

CN103403789A - 图像显示设备、图像显示方法和程序

Info

Publication number: CN103403789A
Application number: CN2012800083573A
Authority: CN
Inventors: 奥山俊幸
Original assignee: NEC Casio Mobile Communications Ltd
Current assignee: NEC Corp
Priority date: 2011-02-09
Filing date: 2012-01-26
Publication date: 2013-11-20
Also published as: EP2674937A1; US9229527B2; WO2012108273A1; EP2674937A4; JPWO2012108273A1; US20130271366A1

Abstract

一种图像显示设备，包括：显示单元，显示图像；成像单元，捕获面对显示单元的对象的图像；检测单元，检测图像显示设备的用户相对于图像显示设备的运动；估计单元，在检测单元检测到预定运动时，估计成像单元捕获的人的脸部相对于显示单元的倾斜；以及显示定向改变单元，根据估计的倾斜改变显示单元上显示的图像的定向。

Description

图像显示设备、图像显示方法和程序

技术领域

本发明涉及显示图像的图像显示设备、图像显示方法和程序。

背景技术

近年来，注意到显示图像的图像显示设备(例如，便携式终端)越来越多地具有自动改变显示图像的定向以便于观看的功能。

根据上述功能，在图像显示设备中设置加速度传感器，并且当在该加速度传感器中检测到重力加速度时，对图像显示设备所保持的定向进行估计，并且基于估计结果来该改变显示图像的定向。

此外，专利文献1公开了根据便携式终端设备的壳体的属性(位置)切换图像的显示定向的技术。

在专利文献1中公开的技术中，基于对便携式终端的壳体属性加以表示的属性信息，来估计便携式终端的用户观看便携式终端的屏幕的观看定向。然后根据估计的观看定向和姿势信息执行图像显示。

现有技术文献

专利文献

专利文献1：日本待审专利申请公开No.2009-049512。

发明内容

本发明要解决的问题

然而，尽管使用专利文献1中公开的上述采用加速度传感器的方法或技术，但是也会出现以下问题：由于图像显示设备的用户支撑图像显示设备的力度或者由于观看者观看显示图像的位置，导致图像呈现出干扰观看的定向。

尽管可以暂时禁用自动改变显示图像的定向的功能，但是这不仅妨碍对可以自动改变图像定向的功能的高效利用，而且还需要对要显示图像的定向的预确定。换言之，出现了方便性降低的问题。

本发明的目的是提供一种图像显示设备、图像显示方法和程序，防止显示的图像呈现出干扰观看的定向的问题，而不会丧失方便性。

解决问题的手段

本发明的用于实现上述目的的图像显示设备包括：

显示单元，显示图像；

成像单元，捕获面对显示单元的对象的图像；

检测单元，检测图像显示设备的用户相对于图像显示设备的运动；

估计单元，根据成像单元中捕获的图像估计人的脸部相对于显示单元的倾斜；

显示定向改变单元，根据估计的倾斜改变显示单元上显示的图像的定向。

此外，本发明的用于实现上述目的图像显示方法是配备显示图像的显示单元的图像显示设备中的图像显示方法，并且包括：

捕获面对显示单元的对象的图像的处理；

检测处理，检测图像显示设备的用户相对于图像显示设备的运动；

估计处理，当在检测处理中检测到预定运动时，基于捕获的图像估计人的脸部相对于显示单元的倾斜；

根据估计的倾斜改变显示单元上显示的图像的定向的处理。

本发明的用于实现上述目的的程序使配备显示图像的显示单元的图像显示设备执行以下功能：

捕获面对显示单元的对象的图像的功能；

检测功能，检测图像显示设备的用户相对于图像显示设备的运动；

估计功能，当检测功能检测到预定运动时，基于捕获的图像估计人的脸部相对于显示单元的倾斜；

根据估计的倾斜改变显示单元上显示的图像的定向的功能。

本发明的效果

由于上述配置，本发明能够避免显示的图像呈现出干扰观看的定向的问题，而不会丧失方便性。

附图说明

图1是示出了应用了本发明的图像显示设备的便携式终端的示例实施例的框图。

图2是图1中示出的便携式终端的外部透视图。

图3示出了由图1中示出的运动检测单元计算的加速度变化量的示例。

图4是用于描述其中图1中示出的估计单元对识别的脸部的向上方向和向下方向进行区分的操作示例的脸部示意图。

图5是用于描述其中图1中示出的显示定向确定单元确定显示单元的四个侧边中哪个侧边是向上方向的操作示例的视图。

图6是用于描述图1-5中示出的便携式终端的操作的流程图。

具体实施方式

接着参照附图描述本发明的示例实施例。

图1是示出了应用了本发明的图像显示设备的便携式终端的示例实施例的框图。此外，图2是图1中示出的便携式终端的外部透视图。便携式终端例如是平板终端、智能电话、数字摄像机、便携式电话、便携式游戏设备或便携式音乐播放器。

如图1所示，本示例实施例的便携式终端100配备有：显示单元110、成像单元120、控制单元130和加速度传感器140。

例如，显示单元110显示基于便携式终端100中存储的数据的图像，或者显示用于例如从便携式终端100的用户接收各种输入的输入屏幕的图像。

在接收到从控制单元130提供的成像指令时，成像单元120捕获面对显示单元110的对象的图像。相应地，当存在正观看显示单元110的观看者时，成像单元120捕获该观看者的脸部图像。然后，成像单元120向控制单元130提供对捕获的图像加以表示的图像数据。

加速度传感器140检测便携式终端100的多个轴方向(例如，垂直、水平和深度轴)中的每一个的加速度。

控制单元130配备有估计单元131、运动检测单元132、显示定向确定单元133以及显示定向改变单元134。

运动检测单元132检测便携式终端100的用户相对于便携式终端100的运动。更具体地，运动检测单元132根据便携式终端100的用户相对于便携式终端100的运动，计算加速度传感器140中检测到的多个轴方向中的每一个的加速度变化量之和，作为施加于便携式终端100的加速度变化量。当计算的加速度变化量超过预定阈值时，运动检测单元132于是向显示定向确定单元133提供对这种状态加以表示的变化检测信息。

图3示出了由图1中示出的运动检测单元132计算的加速度变化量的示例。

在图3示出的示例中，在时间t1处计算的加速度变化量超过阈值。在这种情况下，运动检测单元132在时间t1之后向显示定向确定单元133提供变化检测信息。

再次参照图1，估计单元131从成像单元131接收作为输出提供的图像数据，并且基于由接收到的图像数据示出的图像识别人的脸部。估计单元131接着对识别的脸部的每一个构成部位的位置进行区分。这里，被加以区分的每一个构成部位的位置是相对于成像单元120的位置。估计单元131接着基于显示单元110和成像单元120的位置关系，对识别的脸部的每个构成部位相对于显示单元110的位置进行区分。例如，估计单元131还使用传感器(未示出)来检测显示单元110和成像单元120之间的位置关系。估计单元131接着基于被加以区分的每个构成部位的位置，判断识别的脸部相对于显示单元110的向上和向下方向，从而估计识别的脸部相对于显示单元110的倾斜。估计单元131然后向显示定向确定单元133提供第一方向信息作为输出，第一方向信息表示判断出应是向上和向下方向中的向上方向。

图4是用于描述图1中示出的估计单元131对识别的脸部的向上和向下方向进行区分的操作示例的脸部示意图。

在图4中，由估计单元131识别的脸部50的构成部位是眼睛51和52、鼻子53、和嘴54。估计单元131从脸部50的轮廓中区分出眼睛51和52的位置与鼻子53和嘴54中的至少一个的位置。估计单元131然后将从眼睛51和52的中点朝向鼻子53或嘴54的方向判断为识别的脸部向下方向。备选地，估计单元131将相反方向判断为识别的脸部向上方向。

再次参照图1，在接收到从运动检测单元132提供的变化检测信息时，显示定向确定单元133向成像单元120提供成像指令。显示定向确定单元133然后接收从估计单元131提供的第一方向信息。显示定向确定单元133然后根据由接收到的第一方向信息表示的方向，确定显示单元110的四个侧边中应是向上方向的侧边。显示定向确定单元131然后向显示定向改变单元134提供对确定的侧边加以表示的第二方向信息。

图5是用于描述图1中示出的显示定向确定单元133确定显示单元110的四个侧边中应是上侧边的侧边的操作示例的视图。

显示定向确定单元133识别使用斜线p和斜线q生成的区域a、区域b、区域c、和区域d中的每一个，斜线p和斜线q在显示单元110的中心处相交以划分显示单元110。显示定向确定单元133还识别显示单元110的四个侧边中的每一个，A侧边、B侧边、C侧边和D侧边。显示定向确定单元133然后关联地存储区域a和A侧边、区域b和B侧边、区域c和C侧边以及区域d和D侧边中的每一个。

当接收到的第一方向信息中表示的方向例如是箭头r的方向时，显示定向确定单元133确定显示单元110的四个侧边中，与包括箭头r的方向的区域a相对应的A侧边是应在向上方向的侧边。类似地，当接收到的第一方向信息中表示的方向包含在区域b中时，将与区域b相对应的B侧边确定为应在向上方向的侧边。

再次参照图1，显示定向改变单元134接收从显示定向确定单元133提供的第二方向信息。显示定向改变单元134然后将显示单元110上显示的图像的定向改变到向上方向的、由接收到的第二方向信息表示的侧边。

接着描述如上所述配置的便携式终端100的操作。

图6是用于描述图1-5中示出的便携式终端100的操作的流程图。

加速度传感器140检测多个轴方向的加速度(步骤S1)。

运动检测单元132计算加速度传感器140中检测到的多个轴方向中的每一个的加速度变化量之和，作为施加于便携式终端100的加速度变化量(步骤S2)。

运动检测单元132接着判断计算的加速度变化量是否超过阈值(步骤S3)。

作为步骤S3中的判断结果，如果计算的加速度变化量没有超过阈值，则操作转向步骤S1，并且继续检测多个轴方向的加速度。

另一方面，作为步骤S3的判断结果，如果计算的变化量超过阈值，则运动检测单元132向显示定向确定单元133提供变化检测信息。

已经接收到从运动检测单元132提供的变化检测信息的显示定向确定单元133向成像单元120提供成像指令。

已经接收到从显示定向确定单元133提供的成像指令的成像单元120捕获面对显示单元110的对象的图像(步骤S4)。

然后，成像单元120向估计单元131提供对捕获的图像加以表示的图像数据。

已经接收到从成像单元120提供的图像数据的估计单元131基于由接收到的图像数据表示的图像识别人的脸部(步骤S5)。

估计单元131接着对识别的脸部的每个构成部位相对于成像单元121的位置进行区分。

基于显示单元110和成像单元120的位置关系，估计单元131接着对识别的脸部的每个构成部位相对于显示单元110的位置进行区分。

然后，估计单元131基于相对于显示单元110、被加以区分的脸部的每个构成部位的位置，判断步骤S5中识别的脸部的垂直方向(步骤S6)。

估计单元131然后向显示定向确定单元133提供作为输出的第一方向信息，第一方向信息指示判断出的垂直方向中应为向上方向的方向。

已经接收到从估计单元131提供的第一方向信息的显示定向确定单元133基于由接收到的第一方向信息表示的方向，确定显示单元110的四个侧边中应在向上方向的侧边(步骤S7)。

显示定向确定单元133然后向显示定向改变单元134提供对确定的侧边加以表示的第二方向信息。

然后，已经接收到从显示定向确定单元133提供的第二方向信息的显示定向改变单元134将显示单元10上显示的图像的定向改变到沿向上方向由接收到的第二方向信息表示的侧边(步骤S8)。

然后操作前进到步骤S1，并且继续多个轴方向的加速度的检测。

本示例实施例中的便携式终端100检测便携式终端100的用户相对于便携式终端100的运动，并且当检测到预定运动时，基于成像单元120中捕获的图像来估计人的脸部相对于显示单元110的倾斜。

然后，便携式终端100根据估计的倾斜改变显示单元110上显示的图像的定向。

这样，可以避免妨碍观看的显示图像的定向，而不会丧失方便性。

此外，在本示例实施例中，设置估计单元131估计的人的脸部相对于显示单元110的倾斜的定时，作为其中计算的加速度变化量超过阈值的示例。因此，显示单元110上显示的图像的定向不会由于例如显示单元110的观看者仅转移目光或者由于脸部表情的变化而变化。此外，便携式终端100的用户可以例如通过摇动便携式终端10有意地改变施加于便携式终端100的加速度，并且因此可以自由地确定估计单元131估计人的脸部相对于显示单元110的倾斜的定时。

另外，在本示例实施例中，运动检测单元132、显示定向确定单元133和显示定向改变单元134中的每一个可以配置为一旦施加于便携式终端100的加速度变化量超过了阈值，就在计算的加速度变化量降到阈值之下之后执行上述预定操作。

在这种情况下，例如当运动检测单元132计算的加速度变化量在过渡阶段(如图3所示)时，运动检测单元132、显示定向确定单元133和显示定向改变单元134中的每一个在计算的加速度变化量降到阈值之下的时间t2之后执行上述预定操作。更具体地，例如，运动检测单元132在时间t2之后提供变化检测信息。换言之，在施加于便携式终端100的加速度极端变化已经停止之后提供变化检测信息。

这样，可以避免用户无意地改变显示单元110上显示的图像的定向的问题。

在本示例实施例中，假定成像单元120捕获一个人的脸部的图像的情况。然而，多个人可以观看显示单元110，在这种情况下，出现成像单元120会捕获到多个脸部的图像的可能性。

当成像单元120已经捕获到多个脸部的图像时，应当将捕获图像中包含的多个脸部之中最大的脸部或者根据与多个脸部的交叠程度位于最接近便携式终端100的位置的脸部视为用于判断垂直方向的对象。备选地，可以将便携式终端100的用户的脸部图像预先存储在便携式终端100中，然后将多个脸部之中最接近所存储图像的脸部视为要用于判断垂直方向的对象的脸部。

在本示例实施例中，描述了以下示例：其中，估计单元131基于施加于便携式终端100的加速度变化量，估计人的脸部相对于显示单元110的倾斜，但是也可以将便携式终端100的用户触摸显示单元110时间视为估计单元131估计人的脸部相对于显示单元110的倾斜的定时。备选地，例如如果便携式终端100是翻盖型，则可以将便携式终端100的用户打开便携式终端100的时刻视为该定时。如果便携式终端100是滑盖型，则可以将用户滑开便携式终端100的时刻视为该定时。此外，如果便携式终端100具有会话能力，则可以将会话结束的时刻视为该定时。

尽管在本示例实施例中描述了当计算的加速度变化量超过阈值时估计单元131估计人的脸部相对于显示单元110的倾斜的情况，但是估计单元131可以在计算的加速度变化量在预计时间间隔内持续超过阈值时估计人的脸部相对于显示单元110的倾斜。备选地，估计单元131可以在计算的加速度变化量在预计时间间隔内超过阈值预定次数时估计人的脸部相对于显示单元110的倾斜。这样，例如，可以在错误地检测到加速度时避免显示单元110上显示的图像的定向改变。

尽管在本示例实施例中，使用加速度传感器140来检测便携式终端110的用户的运动，但是也可以使用其他传感器，例如角度传感器或用于通过非接触感测附近是否存在对象的非接触传感器。

在本发明中，图像显示设备中的处理可以不由上述专用硬件来执行，而是通过在记录介质上记录用于实现这些功能的程序来执行，记录介质可以在图像显示设备中被读取并且然后使图像显示设备读取并执行该记录介质上记录的程序。在图像显示设备中可以读取的记录介质可以是可安装/可拆卸记录介质(例如，软盘、磁光盘、DVD或CD)，或者例如可以是图像显示设备中合并的HDD。

尽管参照示例实施例描述了本申请的发明，但是本申请的发明不限于上述示例实施例。本申请的发明的配置和细节对本申请的发明的范围内、对于本领域技术人员而言显而易见的各种修改开放。

本申请要求基于2011年2月9日递交的日本专利申请No.2011-026101的优先权的权益，并且该申请的所有公开通过引用合并于此。

Claims

1.一种图像显示设备，包括：

显示单元，所述显示单元显示图像；

成像单元，所述成像单元捕获面对所述显示单元的对象的图像；

检测单元，所述检测单元检测所述图像显示设备的用户相对于所述图像显示设备的运动；

估计单元，所述估计单元在所述检测单元检测到预定运动时，基于所述成像单元捕获的图像来估计人的脸部相对于所述显示单元的倾斜；以及

显示定向改变单元，所述显示定向改变单元根据估计的所述倾斜来改变所述显示单元上显示的图像的定向。

2.根据权利要求1所述的图像显示设备，其中：

所述检测单元检测施加于所述图像显示设备的加速度；并且

所述估计单元在检测到的加速度的变化量超过预先确定的阈值时，基于所述成像单元捕获的图像来估计人的脸部相对于所述显示单元的倾斜。

3.根据权利要求1或2所述的图像显示设备，其中，所述估计单元对所述脸部的每个构成部位的位置加以区分，并且通过基于被加以区分的所述每个构成部位的位置判断所述脸部的垂直方向，来估计所述脸部相对于所述显示单元的倾斜。

4.一种图像显示设备中的图像显示方法，所述图像显示设备配备显示图像的显示单元，所述图像显示方法包括：

捕获面对所述显示单元的对象的图像的处理；

检测处理，在所述检测处理中检测所述图像显示设备的用户相对于所述图像显示设备的运动；

估计处理，在所述估计处理中，当在所述检测处理中检测到预定运动时，基于捕获的所述图像估计人的脸部相对于所述显示单元的倾斜；以及

根据估计的所述倾斜改变所述显示单元上显示的图像的定向的处理。

5.根据权利要求4所述的图像显示方法，其中：

所述检测处理是检测施加于所述图像显示设备的加速度的处理；并且

所述估计处理是在检测到的加速度的所述变化量超过预先确定的阈值时基于捕获的所述图像来估计人的脸部相对于所述显示单元的倾斜的处理。

6.根据权利要求4或5所述的图像显示方法，其中，在所述估计处理中，对所述脸部的每个构成部位的位置加以区分，并且通过基于被加以区分的所述每个构成部位的位置判断所述脸部的垂直方向，来估计所述脸部相对于所述显示单元的倾斜。

7.一种使配备显示图像的显示单元的图像显示设备执行以下功能的程序：

捕获面对所述显示单元的对象的图像的功能；

检测功能，在所述检测功能中，检测所述图像显示设备的用户相对于所述图像显示设备的运动；

估计功能，在所述估计功能中，当所述检测功能检测到预定运动时，基于捕获的所述图像来估计人的脸部相对于所述显示单元的倾斜；以及

根据估计的所述倾斜改变所述显示单元上显示的图像的定向的功能。

8.根据权利要求7所述的程序，其中：

所述检测功能是检测施加于所述图像显示设备的加速度的功能；并且

所述估计功能是在检测到的加速度的变化量超过预先确定的阈值时基于捕获的所述图像来估计人的脸部相对于所述显示单元的倾斜的功能。

9.根据权利要求7或8所述的程序，其中，在所述估计功能中，对所述脸部的每个构成部位的位置加以区分，并且通过基于被加以区分的所述每个构成部位的位置判断所述脸部的垂直方向，来估计所述脸部相对于所述显示单元的倾斜。