CN104981755B

CN104981755B - 自动装置显示定向检测

Info

Publication number: CN104981755B
Application number: CN201480009015.2A
Authority: CN
Inventors: G.拉法; 万杰毅
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2013-03-15
Filing date: 2014-03-10
Publication date: 2019-02-22
Anticipated expiration: 2034-03-10
Also published as: TW201443700A; US20140267006A1; TWI543019B; CN104981755A; US20210200308A1; WO2014150160A1; EP2972719A1; EP2972719A4

Abstract

本公开提供用于自动改变装置显示方位的技术。计算装置包括显示和用来检测计算装置方位变化的惯性测量单元（IMU）。计算装置也包括驱动器以在由IMU检测到计算装置的方位变化时，改变显示的方位。响应于由IMU检测到计算装置的方位变化，摄像机能够用来追踪用户眼睛位置。

Description

自动装置显示定向检测

技术领域

本发明涉及移动装置。尤其是，本发明涉及对移动装置的显示进行定向。

背景技术

移动装置能够以各种方式被保持以及在多个方向中被定向。基于移动装置的方位来定向移动装置的显示。当前，自动显示定向基于加速度计读数以及以下假设：用户正观看处于受到重力的机身的自然方位的显示。

附图说明

在下面详细描述中以及参考附图描述了某些示范性实施例，在附图中：

图1是计算装置的框图；

图2是用于对显示进行定向的***的示例的框图；

图3是显示方位变化的图示；

图4是相对于用户位置的显示方位的图示；

图5是显示方位变化的图示；

图6是对显示进行定向的方法的过程流程图；以及

图7是对显示进行定向的方法的过程流程图。

具体实施方式

本文所公开的实施例提供用于自动对装置显示进行定向的技术。用于自动对装置显示进行定向的当前技术依靠加速度计读数。然而，当前技术仅在装置处于垂直位置时有效。在装置处于水平位置时，重力将不会对加速度计读数引起任何作用以触发适当的装置显示方位变化。然而，通过除了加速度计之外还采用诸如罗盘仪和陀螺测试仪的检测装置，能够检测装置方位变化，而不管装置处于垂直位置还是水平位置。响应于装置方位变化的检测，能够用摄像机来检测用户面部轮廓和/或眼睛位置。通过除了检测装置之外还采用摄像机，能够检测装置方位变化或装置方位变化的缺乏，即使用户处于水平位置，或从垂直到水平改变位置。

图1是计算装置100的框图。计算装置100可以是例如膝上型计算机、平板电脑、移动装置或诸如智能电话的蜂窝电话，诸如此类（among others）。计算装置100能够包括配置成运行存储指令的中央处理单元（CPU）102，以及存储由CPU 102可运行的指令的存储器装置104。CPU 102能够通过总线106耦合到存储器装置104。另外，CPU 102能够是单核处理器、多核处理器或任意数量的其他配置。此外，计算装置100能够包括一个以上CPU 102。

计算装置100也能够包括图形处理单元（GPU）108。如所示，CPU 102能够通过总线106耦合到GPU 108。GPU 108能够配置成在计算装置100内执行任意数量的图形操作。例如，GPU 108可配置成渲染或处理（manipulate）要向计算装置100的用户显示的图形图像、图形帧、视频等等。在一些实施例中，GPU 108包括一定数量的图形引擎，其中每个图形引擎配置成执行具体图形任务，或运行具体类型的工作量。

存储器装置104能够包括随机存取存储器（RAM）、只读存储器（ROM）、闪速存储器或任何其他适合的存储器***。例如，存储器装置104可包括动态随机存取存储器（DRAM）。CPU102能够通过总线106链接到配置成将计算装置100连接到显示装置112的显示接口110。显示装置112能够包括是计算装置100的内置组件的显示屏。显示装置112也能够包括外部连接到计算装置100的计算机监控器、电视机或投影机，诸如此类。

CPU 102也能够通过总线106连接到输入/输出（I/O）装置接口114，该装置接口114配置成将计算装置100连接到一个或多个I/O装置116。I/O装置116能够包括例如键盘和指示装置，其中指示装置可包括触摸板或触摸屏，诸如此类。I/O装置116能够是计算装置100的内置组件，或能够是外部连接到计算装置100的装置。

网络接口卡（NIC）118能够被适配以通过***总线106将计算装置100连接到网络（未描绘）。网络（未描绘）可以是广域网（WAN）、局域网（LAN）或因特网，诸如此类。示例中，计算装置100能够经由有线连接或无线连接连接到网络。

计算装置100也包括存储装置120。存储装置120是物理存储器，诸如硬盘驱动器、光学驱动器、拇指驱动器（thumbdrive）、安全数字（SD）卡、微SD卡、驱动器阵列或其任何组合，诸如此类。存储装置120也能够包括远程存储驱动器。存储装置120包括任何数量的配置成在计算装置100上运行的应用122。

计算装置100包括惯性测量单元（IMU）124。IMU 124测量计算装置100的运动。尤其是，IMU 124测量计算装置100的倾斜（pitch）、滚动（roll）和偏航（yaw）。倾斜、滚动和偏航参考作为开始位置的典型垂直位置来测量。典型垂直位置能够指的是装置具有零倾斜、零偏航和零滚动所在的位置。在实施例中，蜂窝电话的典型垂直位置能够指的是蜂窝电话具有装置最顶部处的听筒和装置最底部处的话筒所在的位置。此外，在实施例中，平板装置的典型垂直装置能够指的是平板装置具有装置最顶部处的摄像机镜头和装置最底部处的用户控制件所在的位置。在由IMU 124收集的数据指示诸如大于预定阈值的计算装置方位变化时，触发相应的显示方位变化，或激活摄像机以双重检查装置关于用户的真实相对方位。

图1的框图不意味着指示100要包括图1中示出的组件的全部。此外，依靠具体实施方式的细节，移动装置100可以包括图1中未示出的任何数量的附加组件。

图2是用于对显示进行定向的***200的框图。***200包括于诸如计算装置100的计算装置中。***200包括惯性测量单元（IMU）202。IMU 202可以与关于图1所讨论的IMU124相同。IMU 202包括三个装置，罗盘仪204、加速度计206和陀螺测试仪208。使用这三个装置204、206和208，IMU 202能测量计算装置的三个角度，倾斜、滚动和偏航，（即关于x、y和z轴的旋转），从而导致6自由度（6DOF）或9自由度（9DOF）算法。

使用6DOF算法，装置的倾斜、滚动和相对偏航被测量并且用来计算装置的方位变化。换言之，三个垂直轴的平移被测量并且用来计算装置的方位变化。特别的是，倾斜指的是装置的向前和向后的倾角。偏航指的是装置的横向边缘向左和向右旋转。滚动指的是装置的顶部边缘和底部边缘向左和向右旋转。使用9DOF算法，来自3自由度罗盘仪（3DOF）、3DOF加速度计和3DOF陀螺测试仪的测量用来计算装置相对于地球地磁北极的方位变化。

在IMU 202检测到计算装置关于轴的大于设置量的旋转时，触发摄像机210。在示例中，设置量能够是20度、45度、90度或任何其他确定角度。在示例中，设置量能够由制造商、用户或其他人来确定并且编程。在装置处于启动位置即垂直位置时，摄像机能够在启动时开启。当显示打开时，眼睛和面部轮廓的位置被捕捉并且显示基于该位置进行定向。摄像机能够然后被关闭直到检测到装置的运动。以这个方式，保存装置功率。虽然使用罗盘仪、加速度计和陀螺测试仪描述了IMU 124，但是捕捉方向、旋转和加速度的任何装置能够用来检测计算装置的旋转和运动。

将摄像机210安置在计算装置正面上在计算装置的外壳中，使得在使用计算装置期间摄像机210面向用户。在示例中，摄像机是专用摄像机。在另一个示例中，除了在计算装置上存在的至少一个其他摄像机之外，摄像机210也存在于计算装置上。在又一个示例中，摄像机是用来照相以及检测用户的面部和/或眼睛位置的功能摄像机。摄像机能够是拍照摄像机、视频摄像机、组合拍照摄像机和视频摄像机、红外摄像机、三维摄像机或任何其他类型的摄像机。在实施例中，摄像机能够进行工作循环（duty cycled），使得摄像机被断开电源直到装置检测到超过确定阈值的运动。例如，当装置在开始位置即典型垂直位置处时，摄像机能够在装置启动时开启，并且捕捉用户面部和/或眼睛位置。摄像机能够然后被关闭直到由IMU检测到装置方位变化。通过使摄像机工作循环，功率能够通过不向摄像机供给恒定功率而得以节省，因为摄像机在不使用时被断开电源。

由摄像机210收集的数据在面部/眼睛检测212处被分析。面部/眼睛检测212分析摄像机数据以确定用户的面部和/或眼睛相对于计算装置的位置。由IMU 202收集的信息和用户的面部和/或眼睛的位置被传递到显示旋转决定单元214。显示旋转决定单元214使用该信息来确定装置显示是否应该按照装置方位旋转以维持显示方位和用户眼睛的对齐。如果显示旋转决定单元214确定装置显示要被重定向，那么显示驱动器216发起显示重定向。

在另一个示例中，摄像机一直保持打开。在摄像机一直打开时，摄像机在连续的基础上追踪用户的面部和/或眼睛。基于面部/眼睛的位置来维持显示方位。

在又一个示例中，计算装置不包括摄像机。装置的方位基于IMU 202收集的数据来确定。显示的方位基于装置方位来确定。在装置垂直即处于竖向位置时，使用当前基于加速度计的方法。在将装置放在水平表面上时，将当前方位认为被“保存”。如果在水平表面上时偏航变化发生，那么将显示旋转以便维持最初方位。

图2的框图不意味着指示***200要包括图2中示出的组件的全部。此外，根据具体实施方式的细节，***200可以包括图2中未示出的任意数量的附加组件。

图3是显示方位变化的图示。移动装置302包括显示304和摄像机306。在竖向位置或大体垂直开始位置308中，将显示定向使得显示向上，如箭头310所示。在移动装置302以方向312旋转到横向位置314时，显示方位也旋转使得显示上的向上由箭头316指示。在保持在垂直位置时，通过典型的基于加速度计的算法来触发显示的旋转。例如，考虑图3和典型的定向***，在运动312之前，加速度计将在负Y轴上受到重力，然而在运动之后，X轴将会受到重力。因此，映射那些值到具体的显示方位是正被使用的典型算法。在放置在水平位置诸如由用户保持或放置在桌子上时，通过6DOF算法或9DOF算法触发显示的旋转。

图4是相对于用户位置的显示方位的图示。将用户402定向在垂直位置404，诸如坐在椅子中。用户402保持装置406，使得在装置406和用户402之间存在视线408。在用户402移动到水平位置410诸如躺在床上时，装置406和用户402之间的视线408不改变。IMU检测到装置的位置变化的缺乏，以及因此检测到视线308变化的缺乏，并且从垂直位置404到水平位置410维持显示方位。在另一个示例中，IMU可检测到关于水平轴的旋转并且触发摄像机。摄像机检测到用户眼睛的位置变化的缺乏，以及因此检测到视线308变化的缺乏。按照用户眼睛的位置变化的缺乏，显示方位不改变。

图5是显示方位变化的图示。在装置在垂直开始位置即竖向位置时，使用当前的基于加速度计的方法，其中通过加速度计登记的变化来触发显示定向。在装置诸如通过用户或一件家具502而水平保持时，算法将转变到6DOF算法或9DOF算法以追踪方位变化，其中由IMU 202收集的信息触发显示方位变化。

在将装置504以竖向位置506放置在桌子502上时，将显示定向使得向上定向，如由箭头508所示。在装置如由箭头510所示旋转到横向位置512时，方位变化通过IMU的罗盘仪和陀螺测试仪检测，但是检测到加速度计无变化。由于方位变化的检测，将显示旋转使得在显示内的向上由箭头514指示。在由IMU检测到装置方位变化的预定量时，能够触发显示旋转变化。例如，在装置旋转至少90度时，按照装置方位变化改变显示方位，但是如果装置旋转小于90度，那么显示方位不改变。能够由用户或制造商设置变化的预定量。变化的预定量能够设置成任何数量，诸如30度、45度、90度或任何其他适合的变化量。

图6是对显示进行定向的方法的过程流程图。框602处，从IMU接收数据。IMU测量关于计算装置的x、y和z轴的旋转角度。为了测量旋转角度，IMU包括罗盘仪、加速度计和陀螺测试仪，从而导致具有6自由度（DOF）或9DOF的算法。用来测量计算装置的旋转的附加装置也可包括于IMU中。框604处，为了装置方位变化的指示而分析来自IMU的数据。框606处，按照装置方位对装置显示定向。

图7是对显示进行定向的方法的过程流程图。框702处，接收IMU数据。IMU数据是来自罗盘仪、加速度计和陀螺测试仪的组合的数据。框704处，从摄像机接收面部和眼睛检测信息。摄像机能够通过由IMU检测到装置方位变化而触发。在另一个示例中，摄像机能够一直打开并且追踪用户眼睛和/或面部方位。框706处，为了装置方位变化的指示而分析IMU和摄像机数据。框708处，按照装置方位对装置显示定向。如果检测到装置方位变化，那么改变装置显示的方位。如果没有检测到装置方位变化，那么显示方位不改变。

程序指令可用来引起使用指令编程的通用或专用处理***执行本文所描述的操作。这些操作包括但是不限制于图6和图7中所描述的过程流程。备选地，操作可通过包含用于执行操作的硬布线逻辑的专用硬件组件或通过编程的计算机组件和定制硬件组件的任意组合来执行。本文所描述的方法可作为计算机程序产品来提供，该计算机程序产品可包括已在其上存储指令的一个或多个机器可读介质，指令可用来将处理***或其他电子装置编程以执行方法。本文所使用的术语“机器可读介质”将包括能够存储或编码用于由机器运行并且使机器执行本文所描述的方法中任何一个的指令序列的任何介质。术语“机器可读介质”将因此包括但不限制于诸如固态存储器、光盘和磁盘的存储器。此外，将软件以一种形式或另一种（例如程序、例程、过程、应用、模块、逻辑等等）说成采取行动或引起结果在本领域中是常见的。此类表达仅是陈述由处理***运行软件引起处理器执行行动或产生结果的简写方式。

示例1

本文公开了一种装置。该装置包括至少部分包括硬件逻辑的逻辑以从惯性测量单元（IMU）接收数据。该装置也包括为了计算装置方位的变化而分析IMU数据的逻辑。该装置还包括按照计算装置方位对装置显示定向的逻辑。

该装置可包括接收相对于装置显示的用户眼睛位置的逻辑。该用户眼睛位置能够由摄像机来检测。该摄像机通过由IMU检测的计算装置方位的变化来触发。在IMU检测到大于预定量的装置方位变化时，触发摄像机。该IMU能够包括陀螺测试仪、罗盘仪和加速度计。该装置可采用6自由度（6DOF）算法或9自由度（9DOF）算法。该装置可包括检测装置的倾斜、滚动和偏航的逻辑。

示例2

本文公开了一种用于改变显示方位的***。该***包括惯性测量单元（IMU）以收集装置方位数据。该***也包括决定引擎以分析装置方位数据从而确定装置方位变化。该***还包括驱动器以按照装置方位变化来发起装置显示方位变化。

该***可包括摄像机以检测用户眼睛位置。在由IMU检测到装置方位变化时，该摄像机检测用户眼睛位置。显示的方位基于用户眼睛位置来改变。该IMU可包括加速度计、陀螺测试仪和罗盘仪。该***能够采用6自由度（6DOF）算法或9自由度（9DOF）算法。该IMU检测装置的倾斜、滚动和偏航。在装置处于水平位置时，该***检测到装置方位变化。

示例3

本文公开了一种计算装置。该计算装置包括显示和用来检测装置方位的变化的惯性测量单元（IMU）。该计算装置也包括驱动器以在由IMU检测到计算装置的方位变化时改变显示的方位。

该计算装置可包括摄像机以检测用户眼睛位置。在由IMU检测到装置方位变化时，该摄像机检测用户眼睛位置。驱动器基于用户眼睛位置来改变显示的方位。该IMU可包括加速度计、陀螺测试仪和罗盘仪。该***能够采用6自由度（6DOF）算法或9自由度（9DOF）算法。该IMU检测装置的倾斜、滚动和偏航。

示例4

本文公开了一种有形的、非短暂的、计算机可读介质。该有形的、非短暂的、计算机可读介质包括代码以指引处理器从惯性测量单元（IMU）接收数据。该有形的、非短暂的、计算机可读介质也包括代码以指引处理器为了计算装置方位的变化而分析IMU数据。该有形的、非短暂的、计算机可读介质还包括代码以指引处理器按照计算装置方位对装置显示定向。

在前述的描述和权利要求书中，术语“耦合”和“连接”连同它们的派生词一起可被使用。应理解这些术语不意味作为用于彼此的同义词。而是，在特定的实施例中，“连接”可用来指示两个或多个元件彼此处于直接物理或电接触。“耦合”可表示两个或多个元件处于直接物理或电接触。然而，“耦合”也可表示两个或多个元件彼此不处于直接接触，但是还仍合作或互相交互。

一些实施例可在硬件、固件和软件的一个或组合中实现。一些实施例也可作为存储在机器可读介质上的指令来实现，指令可由移动平台读取并运行以执行本文所描述的操作。机器可读介质可包括用于以由机器例如计算机可读的形式存储或传送信息的任何机制。例如，机器可读介质可包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储媒介；光学存储媒介；闪速存储器装置，诸如此类。

实施例是实施方式或示例。在说明书中对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”或“其他实施例”的提及表示结合实施例所描述的特定特征、结构或特性包括于本发明的至少一些实施例但不一定是全部实施例中。“实施例”、“一个实施例”或“一些实施例”的各种出现不一定全部指的是相同实施例。来自一个实施例的要素或方面能够与另一个实施例的要素或方面结合。

并非全部的本文所描述的和图示的组件、特征、结构、特性等需要包括于一个特定的实施例或多个实施例中。如果说明书例如陈述组件、特征、结构或特性“可”、“可以”、“能够”或“可能”被包括，则那个特定的组件、特征、结构或特性不需要被包括。如果说明书或权利要求书涉及未限定数目的要素，则那不表示仅存在一个该要素。如果说明书或权利要求书涉及“附加”要素，则那不排除存在大于一个的该附加要素。

要注意，虽然已参考特定实施方式描述了一些实施例，但是根据一些实施例其他的实施方式是可能的。另外，本文所描述和/或附图中图示的电路元件或其他特征的布置和/或顺序不需要以所描述和所图示的特定方式来布置。根据一些实施例，许多其他布置是可能的。

在图中示出的每个***中，一些情形中的元件可各自具有相同的参考数字或不同的参考数字以表明所代表的元件能够是不同和/或类似的。然而，元件可灵活到足以具有不同的实施方式以及与本文所描述或所示出的***的一些或全部一起工作。图中所示出的各种元件可以是相同的或不同的。哪一个称为第一元件和哪个称为第二元件是任意的。

上述的描述中，已描述了所公开的主题的各种方面。为了解释的目的，阐明具体的数字、***和配置以便提供对主题的彻底理解。然而，主题可在没有具体细节的情况下被实施对于受益于本公开的本领域技术人员来说是显而易见的。在其他的情况中，众所周知的特征、组件或模块被省略、简化、结合或分开以不混淆所公开的主题。

尽管已参考说明性的实施例描述了所公开主题，本描述不意味着以某种限制的意义进行解释。说明性实施例的各种修改以及主题的其他实施例（其对于所公开的主题所属领域中的技术人员来说是显而易见的）被视为位于所公开主题的范围内。

既然本技术可容许各种修改和备选形式，以上论述的示范性示例已仅作为示例被示出。要理解该技术不意味着限制于本文所公开的特定示例。实际上，本技术包括落入所附权利要求书的真实精神和范围内的全部备选、修改和等价物。

Claims

1.一种计算装置，包括至少部分包括硬件逻辑的逻辑以：

从惯性测量单元IMU接收数据；

为了计算装置方位的变化而分析IMU数据；以及

按照所述计算装置方位对装置显示进行定向，

其中所述装置还包括接收相对于所述装置显示的用户眼睛位置的逻辑，并且

其中所述用户眼睛位置由摄像机在连续的基础上进行检测。

2.如权利要求1所述的装置，其中所述摄像机通过由所述IMU检测到计算装置方位的所述变化来触发。

3.如权利要求2所述的装置，其中所述摄像机在所述IMU检测到大于预定量的装置方位变化时触发。

4.如权利要求1所述的装置，其中所述IMU包括陀螺测试仪、罗盘仪和加速度计。

5.如权利要求1、2、3或4所述的装置，其中所述装置采用6自由度（6DOF）算法或9自由度（9DOF）算法。

6.如权利要求1、2、3或4所述的装置，包括检测所述装置的倾斜、滚动和偏航的逻辑。

7.一种用于改变装置显示方位的***，包括：

惯性测量单元IMU，用来收集装置方位数据；

决定单元，用来分析所述装置方位数据以确定装置方位变化；以及

驱动器，用来按照装置方位变化发起装置显示方位变化，

其中所述***包含摄像机以在连续的基础上检测相对于所述装置显示的用户眼睛位置。

8.如权利要求7所述的***，其中在由所述IMU检测到装置方位变化时，所述摄像机检测用户眼睛位置。

9.如权利要求8所述的***，其中基于所述用户眼睛位置改变所述显示的方位。

10.如权利要求7所述的***，其中所述IMU包括加速度计、陀螺测试仪和罗盘仪。

11.如权利要求7、8、9或10所述的***，其中所述***采用6自由度（6DOF）算法或9自由度（9DOF）算法。

12.如权利要求7、8、9或10所述的***，其中所述IMU检测所述装置的倾斜、滚动和偏航。

13.如权利要求7、8、9或10所述的***，其中在所述装置处于水平位置时，所述***检测到装置方位变化。

14.一种计算装置，包括：

显示单元；

惯性测量单元IMU，用来检测装置方位变化；以及

驱动器，用来在由所述IMU检测到所述计算装置的方位变化时改变所述显示单元上显示的方位，

其中所述计算装置包含摄像机以在连续的基础上检测相对于所述显示的用户眼睛位置。

15.如权利要求14所述的计算装置，其中在由所述IMU检测到装置方位变化时，所述摄像机检测用户眼睛位置。

16.如权利要求14所述的计算装置，其中所述驱动器基于用户眼睛位置改变所述显示的方位。

17.如权利要求14、15或16所述的计算装置，其中所述IMU包括加速度计、陀螺测试仪和罗盘仪。

18.如权利要求14、15或16所述的计算装置，其中所述计算装置采用6自由度（6DOF）算法或9自由度（9DOF）算法。

19.如权利要求14、15或16所述的计算装置，其中所述IMU检测所述装置的倾斜、滚动和偏航。

20.一种有形的、非短暂的计算机可读介质，包括代码以指引处理器：

从惯性测量单元IMU接收数据；

为了计算装置方位的变化而分析IMU数据；

按照所述计算装置方位对装置显示定向；以及

接收相对于所述装置显示的用户眼睛位置，

其中，所述用户眼睛位置由摄像机在连续的基础上进行检测。