CN102163081A

CN102163081A - 用于屏幕交互的方法、电子设备和装置

Info

Publication number: CN102163081A
Application number: CN 201110124737
Authority: CN
Inventors: 唐辉; 王嘉; 成和建; 鲍东山
Original assignee: BEIJING NUFRONT SOFTWARE TECHNOLOGY Co Ltd
Current assignee: Beijing Nufront Mobile Multimedia Technology Co Ltd
Priority date: 2011-05-13
Filing date: 2011-05-13
Publication date: 2011-08-24

Abstract

本发明公开了一种用于屏幕交互的方法，包括采集面部特征，分析所述面部特征相对于屏幕的角度和/或姿态的变化，根据所述面部特征相对于所述屏幕的角度和/或姿态的变化相应地调整所述屏幕的显示方式；本发明以操作者和屏幕为相对参照系，最好地解决了操作者在不同观察角度和观察姿态下，所得到的屏幕显示效果交互的问题；并且本发明不需要通过增加设备的硬件实现，而是利用设备的最基础配备，屏幕和传感器，利用软件形式实现，更新升级方便；本发明还公开一种用于屏幕交互的装置，和一种电子设备。

Description

用于屏幕交互的方法、电子设备和装置

技术领域

本发明属于移动通信领域，尤其涉及用于屏幕交互的方法、电子设备和装置。

背景技术

随着消费电子的不断发展，越来越多的个人终端设备具有两大明显特征，一块屏幕和摄像头。比如手机、pad、笔记本电脑、电子书、PDA等。现有的手机和pad等移动终端设备，利用设备内部的陀螺仪或者重力感应传感器，感应终端的旋转角度和加速度，完成更好的用户交互。比如说，手机在屏幕做90度垂直旋转时，利用内置的传感器，完成屏幕的角度旋转，以给用户以更好的显示效果；再或者，在大量重力感应游戏中，比如赛车，利用手机左右角度的旋转，模拟开车时方向盘的旋转，完成对游戏中赛车的操控操作。

但使用陀螺仪或者重力感应传感器存在的问题由以下几个：

1. 增加硬件设备完成旋转角度和加速度的感应，比如陀螺仪或者重力感应传感器，增加了设备的硬件成本；

2. 人机交互的方式比较单调，只能感应角度和加速度的变化，完成简单的人机交互；

3. 人机交互时延迟比较大，手机或者pad等设备在屏幕旋转时，一般需要1秒左右的时间，影响流畅性；

4. 硬件设备感应的设备旋转或者加速度变化，只是相对于操作人员手部是否发生变化，无法考虑操作人员观察角度（暨眼部）是否发生变化。比如说，仅仅将设备由垂直放平，并没有做旋转，屏幕也会由于陀螺仪或者重力感应传感器的改变，由竖屏变为横屏，影响了实际的交互效果。

造成这些问题的根本原因是，设备中的传感器是以地心引力或者设备的相对加速度为参照系，并没有考虑实际的参照系，暨操作人员和设备之间的相互参照系。操作人员的参照系包括观察角度，观察姿态等等复杂的人体仿生学方面的内容。

发明内容

有鉴于此，本发明所要解决的技术问题是提供一种用于屏幕交互的方法、电子设备和装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明的一方面，提供了一种用于屏幕交互的方法，包括：

采集面部特征；

分析所述面部特征相对于屏幕的角度和/或姿态的变化；

根据所述面部特征相对于所述屏幕的角度和/或姿态的变化相应地调整所述屏幕的显示方式。

在一些可选的实施例中，所述的调整屏幕的显示方式是将显示内容旋转相应的角度。

在一些可选的实施例中，所述的面部特征是双眼、鼻子、额头、嘴巴或眉毛。

在一些可选的实施例中，在设定的时间间隔内，检测面部特征基准线发生的角度变化以及持续时间；

当检测到的面部特征发生变化的角度超过第一阈值且持续时间超过第二阈值时，判定所述面部特征相对于屏幕发生角度和/或姿态的变化。

本发明的另一方面，提供了一种用于屏幕交互的装置，包括：

对采集到的面部特征进行分析的第一单元，用于分析所述面部特征相对于屏幕的角度和/或姿态；和，

第二单元，根据所述面部特征相对于所述屏幕的角度和/或姿态的变化相应地调整所述屏幕的显示方式。

在一些可选的实施例中，所述第一单元包括：

第三单元，用于在设定的时间间隔内，检测面部特征基准线发生的角度变化以及持续时间；和，

第四单元，用于在第三单元检测到所述面部特征发生变化的角度超过第一阈值且持续时间超过第二阈值时，输出指示信号，指示所述面部特征相对于屏幕所发生的角度和/或姿态的变化。

本发明还提供了一种电子设备，包括屏幕、采集面部特征的传感器，其特征在于，还包括如权利要求4、5或6所述的用于屏幕交互的装置。

在一些可选的实施例中，所述的传感器是摄像头。

在一些可选的实施例中，所述电子设备包括平板计算机、笔记本计算机、个人台式计算机、移动终端、手机、个人数字助理PDA、电子书、音乐播放器、视频播放器、图形/图像显示器、电子游戏机、MP3、MP4、MP5、相机和摄像机。

为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

本发明以操作者和屏幕为相对参照系，最好地解决了操作者在不同观察角度和观察姿态下，所得到的屏幕显示效果交互的问题；并且本发明不需要通过增加设备的硬件实现，而是利用设备的最基础配备，屏幕和传感器，利用软件形式实现，更新升级方便。

说明书附图

图1是本发明屏幕交互方法的流程图；

图2是本发明屏幕交互装置的示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

本发明的一方面，提供了一种用于屏幕交互的方法，包括：

采集面部特征；

分析所述面部特征相对于屏幕的角度和/或姿态的变化；

本发明所述的面部特征相对于屏幕的角度和/或姿态的变化，不同于面部特征相对于屏幕的移动，本发明为方便用户使用移动设备，主要解决用户观察角度变化的问题。

本发明的另一方面，提供了一种用于屏幕交互的装置，如图2所示：

对采集到的面部特征进行分析的第一单元S01，用于分析所述面部特征相对于屏幕的角度和/或姿态；和，

第二单元S02，根据所述面部特征相对于所述屏幕的角度和/或姿态的变化相应地调整所述屏幕的显示方式。

在一些可选的实施例中，所述第一单元S01包括：

第三单元S03，用于在设定的时间间隔内，检测面部特征基准线发生的角度变化以及持续时间；和，

第四单元S04，用于在第三单元S03检测到所述面部特征发生变化的角度超过第一阈值且持续时间超过第二阈值时，输出指示信号，指示所述面部特征相对于屏幕所发生的角度和/或姿态的变化。

在一些可选的实施例中，所述的传感器是摄像头。

在一些可选的实施例中，提出一种利用屏幕设备的前置摄像头，以操作人员和屏幕设备作为相对参照系，综合判断操作人员与屏幕设备的观察角度、观察姿态或者其它特征，动态地进行屏幕显示或设备其它接口的改变，能够提供更加好的交互效果。并且不需要增加任何额外的硬件设备，在现有设备或者新设备上利用软件更新即可实现，节省了成本并且可以无缝升级。

下面以最常见的屏幕旋转为实施例详细介绍本发明的实现过程：

在一些可选的实施例中，屏幕设备具有三个基本特征：具有面向操作者的前置摄像头（采集操作者得观察角度及姿态），具有一块屏幕（与操作者进行动态交互的屏幕显示），具有处理器（能够控制摄像头及屏幕）。并且，只有在屏幕被激活（屏幕点亮）时，屏幕的交互才有意义。

交互实现过程，如图1流程图所示：

步骤1：屏幕点亮时；

步骤2：启动前置摄像头，检测操作者人脸位置；

步骤3：在人脸上定位人的面部特征基准线所在位置；

步骤4：在一定的时间间隔t1内，检测面部特征基准线发生的角度变化a以及保持时间t；

步骤5：预定角度阈值a1，时间阈值t2，如果a>a1，t> t2，则屏幕旋转角度a；如果a<a1或者a>a1,t<t2，则保持原有的屏幕显示方式（不进行屏幕旋转）；

步骤6：返回步骤4。

在一些可选的实施例中，所述的面部特征是双眼及其他诸如鼻子、额头、嘴巴或眉毛等五官特征。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算电子设备、或类似设备的动作和／或过程，所述动作和／或过程将表示为处理电子设备的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理电子设备的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个电子设备所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

用于执行本申请所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或者其任意组合，可以实现或执行结合本文的实施例所描述的各种说明性的逻辑框图、模块和电路。通用处理器可以是微处理器，或者，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可能实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或者任何其它此种结构。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

而且，本文所述的各个方面或特征可以作为使用标准的程序设计和／或工程技术的方法、装置或制品来实现。本文所使用的术语“制品”是要包括可以从任何计算机可读的设备、载波或介质来访问的计算机程序。例如，计算机可读的介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁带等)、光盘(例如，紧凑光盘(CD)、数字通用光盘(DVD)等)、智能卡以及闪速存储设备(例如，EPROM、卡、棒、钥匙驱动器等)。此外，本文描述的各种存储介质表示为用于存储信息的一个或多个设备和／或其它机器可读介质。术语“机器可读介质”包括但不限于能够存储、包含和／或携带指令和／或数据的无线信道和各种其它介质。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims

1.一种用于屏幕交互的方法，其特征在于，包括：

采集面部特征；

分析所述面部特征相对于屏幕的角度和/或姿态的变化；

2.如权利要求1所述的方法，其特征在于，所述的调整屏幕的显示方式是将显示内容旋转相应的角度。

3.如权利要求1所述的方法，其特征在于，所述的面部特征是双眼、鼻子、额头、嘴巴或眉毛。

4.如权利要求1至3任一项所述的方法，其特征在于，

在设定的时间间隔内，检测面部特征基准线发生的角度变化以及持续时间；

5.一种用于屏幕交互的装置，其特征在于，包括：

6.如权利要求5所述的装置，其特征在于，所述的调整屏幕的显示方式是将显示内容旋转相应的角度。

7.如权利要求5所述的装置，其特征在于，所述第一单元包括：

8.如权利要求5至7任一项所述的装置，其特征在于，所述的面部特征是双眼、鼻子、额头、嘴巴或眉毛。

9.一种电子设备，包括屏幕、采集面部特征的传感器，其特征在于，还包括如权利要求5至8任一项所述的用于屏幕交互的装置。

10.如权利要求9所述的电子设备，其特征在于，所述的传感器是摄像头。

11.如权利要求9或10所述的电子设备，其特征在于，所述电子设备包括平板计算机、笔记本计算机、个人台式计算机、移动终端、手机、个人数字助理PDA、电子书、音乐播放器、视频播放器、图形/图像显示器、电子游戏机、MP3、MP4、MP5、相机和摄像机。