CN104541232B - 多模态触摸屏仿真器 - Google Patents

Abstract

***和方法可通过仿真触摸屏机制来提供用于捕捉用户输入。在一个示例中，方法可包括基于与装置的用户相关联的凝视信息，识别在装置的正面显示器上的兴趣点；基于与装置的用户相关联的手势信息识别手动作；并且基于兴趣点和手动作，相对于正面显示器发起装置动作。

Description

多模态触摸屏仿真器

技术领域

实施例一般涉及用户输入捕捉。更具体地说，实施例涉及通过仿真触摸屏接口来捕捉用户输入。

讨论

触摸屏接口可允许用户触摸装置表面（例如，显示装置）以促进用户输入。许多现代消费者电子装置（例如，平板、智能电话等）可利用触摸屏接口。不过，触摸屏接口一般可大幅增大这些装置的生产成本。实际上，在一些情况下，启用触摸屏的装置的30-40%的成本能够与触摸屏接口的成本有关。

附图说明

本领域技术人员在阅读以下说明书和随附权利要求书并参照附图后，将明白本发明实施例的各种优点，其中：

图1是根据实施例的用户与多模态触摸屏仿真器的交互的示例的图示；以及

图2是根据实施例的利用多模态触摸屏仿真器的方法的示例的流程图；

图3是根据实施例的多模态触摸屏仿真器的示例的框图；以及

图4是根据实施例的包括多模态触摸屏仿真器的***的示例的框图。

具体实施方式

实施例一般可涉及通过仿真触摸屏机制来捕捉用户输入。图1是根据实施例的用户10与包括多模态触摸屏(MMTS)仿真器的计算机***30的交互的示例的图示。在本发明的实施例中，除其它外，MMTS仿真器可利用凝视跟踪和手势跟踪来仿真触摸屏接口。

MMTS仿真器可利用凝视跟踪来确定用户10的注意力指向何处。具体而言，MMTS仿真器可通过识别用户10的一个或更多个眼睛，并且跟踪一个或更多个眼睛到兴趣点14的位置的凝视12，确定兴趣点14的位置（例如，在显示屏幕/装置上）。

在一个示例中，MMTS仿真器可利用精确跟踪以跟踪用户10的虹膜。因此,如果用户10的注意力例如指向位于计算机30的显示屏幕上的特定图标,则MMTS仿真器可配置成通过聚焦在虹膜上来跟踪凝视12,并且确定用户10聚焦的特定图标。MMTS仿真器的凝视跟踪方面例如可在捕捉的图像中检测到人的存在（例如，检测到人头部或脸部）时被激活，或者可连续操作（即，只要耦合的照相机已通电）。

其次，MMTS仿真器可利用手势跟踪来确定用户10想进行的操作。也就是说，MMTS仿真器可分析用户10的身份移动以识别输入有关的手势，并且将手势归类为用户10请求的特定装置动作。因此，在一个示例中，MMTS仿真器可配置成识别用户的一个或更多个指尖，如指尖20，并且分析一个或更多个指尖的移动以识别输入有关的手势。在其它示例中，MMTS仿真器可聚焦在用户的另一身体部分（例如，手指、手、手臂等）或者也聚焦在由用户操作的输入附属物（例如，从用户延伸的输入装置）。

如所述的MMTS仿真器可配置成识别多个用户手势。MMTS仿真器可识别的一个此类手势是单触手势。单触手势可利用单个身体部分（例如，单个指尖、单手等）输入装置动作。单触手势的一个示例可以是用户的指尖从起始左坐标到结束右坐标的移动。此移动可指示用户想在计算机接口内（例如，在显示接口上）实现对应的从左到右的移动。类似地，MMTS仿真器可配置成除其它外，还将从右到左的移动、从上到下的移动、从下到上的移动、对角移动等等归类。另外，MMTS仿真器可配置成也识别和归类例如（并且不限于）来自用户的开始运动、停止运动、打开运动、闭合运动、激活运动或关闭运动。

MMTS仿真器也可配置成识别多触手势。多触可利用不止一个身体部分输入装置动作。因此，例如，就“缩小”手势而言，MMTS仿真器可配置成识别用户将两个指尖合在一起。备选地，MMTS仿真器可通过识别用户将两个指尖分开而配置“放大”手势。与凝视跟踪方面类似，MMTS仿真器的手势跟踪方面可连续操作（即，只要耦合的照相机通电），或者可在捕捉的图像中检测到人的存在（例如，检测到人头部或脸部）时被激活。

图2是根据实施例的利用MMTS仿真器的方法40的示例的流程图。方法40可能实现为逻辑指令集，逻辑指令集存储在诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM (PROM)、固件、闪存等机器或计算机可读存储媒体中，存储在诸如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD)的可配置逻辑中，存储在使用诸如专用集成电路(ASIC)、互补型氧化金属半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术的电路技术的固定功能性逻辑硬件中或其任何组合中。例如，执行方法40中所示操作的计算机程序代码可以一个或更多个编程语言的组合编写，包括诸如Java、Smalltalk、C++或诸如此类的面向对象的编程语言和诸如“C”编程语言或类似编程语言的常规过程编程语言。

在处理框42，MMTS仿真器可跟踪与用户的凝视有关的信息以识别兴趣点。在此示例中，MMTS仿真器可配置成利用精确跟踪以跟踪用户的虹膜到显示屏幕上显示的图标，用户想将所述图标从左到右移动（例如，拖放）。

用户的凝视可聚焦在装置显示器的第一位置上（例如，具有坐标），其中，图标最初位于显示器屏幕上。在用户作手势以指示从左到右的期望移动时，用户的凝视将相应地在装置显示器上从第一位置移到第二位置（例如，具有坐标）。MMTS仿真器可为此凝视信息加时戳以及在存储装置中记录此凝视信息以便分析。

在处理框44，MMTS仿真器可同时跟踪与用户的手势有关的信息以识别用户想进行的操作。跟踪的移动可以是一维(1D)移动、二维(2D)移动和三维(3D)移动或其任何组合。因此，在此示例中，用户可通过将其朝向显示器运动（例如，图标选择）、从左到右进行其指尖的对应移动（例如，图标拖动）并且使其指尖运动离开显示器（例如，图标放开）来指示图标的期望的移动。MMTS仿真器可捕捉用户的手的一个或更多个图像，并且进行对象识别和/或检测以便识别手和/或指尖及这些对应的手动作。MMTS仿真器可为此手动作加时戳以及在存储装置中将此手动作记录为手势信息以便分析。

在处理框46，MMTS仿真器可同步用户的手势和凝视信息以发起装置动作。因此，在此示例中，MMTS仿真器可访问凝视信息（即，用户聚焦在特定图标上，并且用户的焦点已从第一坐标转到第二坐标），并且将它与手势信息（例如，手动作）同步。MMTS仿真器可同步这两段信息以确定应选择图标（即，由于在凝视处在)时检测到指尖向显示器运动），将图标从显示屏幕上的第一位置移到显示屏幕上的第二位置（例如，由于检测到指尖从左到右的移动），并且释放图标（由于在凝视处在)时检测到指尖移离显示器的运动）。相应地，MMTS仿真器可仿真触摸屏接口。在同步这两种类型的信息以确定请求的装置动作时，MMTS仿真器可传送控制信号以在显示屏幕上以对应方式移动图标。

图2中所示框的顺序和编号无意于暗示排除其它可能性的操作的顺序。本领域技术人员将领会，前面所述***和方法易于进行各种修改、变化和变更。

例如，在上述实施例中，MMTS仿真器可同时跟踪用户的手势和凝视信息。然而，情况无需一定是如此。在另一示范实施例中，MMTS仿真器可配置成利用手势信息“过滤”进入的眼睛信息。也就是说，例如，MMTS仿真器可配置成在识别手势前不对进入的眼睛信息做出反应。在识别手势后，MMTS仿真器（例如，经集成模块）然后可同步进入的凝视和手势信息，确定要采取的动作，并且传送控制信号以实现动作。

此外，在另一示范实施例中，MMTS仿真器可利用凝视信息验证手势信息。因此，例如，在识别和归类用户手势时，MMTS仿真器也可通过确保用户的凝视聚焦在显示屏幕的相关部分上，在做出反应前验证手势。在另一示例中，MMTS仿真器可通过验证用户的身体的距离在预定义或相关距离内，在做出反应前验证手势。

图3是根据实施例的装置50的示例的框图。在此示例中，装置50可包括照相机配置100、MMTS仿真器200、显示控制器300及显示装置400。

照相机配置100可包括配置成捕捉图像和/或对象或图像的视频馈送的任何装置。因此，在此示例中，照相机配置100可包括用于手势跟踪的第一照相机101和用于凝视跟踪的第二照相机102。第一照相机101和第二照相机102可根据相关视野进行定位和校准。例如，第一照相机101可定位成具有配置成包括几乎用户的整个身体的广视野，并且可进行进一步校准以聚焦在用户的上半身。另一方面，第二照相机102可定位成具有配置成聚焦在用户的头部的窄视野，并且可进行进一步校准以聚焦在用户的眼睛。可手动或自动（即，经软件应用）进行照相机配置100的定位和校准。

如上所述，除其它外，MMTS仿真器200可涉及接收来自照相机配置100的凝视和手势信息，分析此信息以确定用户请求的装置动作，并且发起装置动作。MMTS仿真器200可包括照相机接口201、凝视模块202（例如，凝视加速器）、手势模块203（例如，凝视加速器）及集成模块204。

照相机接口201可允许MMTS仿真器200与照相机配置100进行通信。具体而言，照相机接口201可接收从照相机配置100发送的视频数据（包括用户的凝视和手势信息），并且将视频数据中继到MMTS仿真器200的其它组件以便分析。

凝视模块202可配置成接收、存储和分析用户的凝视信息以确定用户的注意力指向何处。例如，如上所述，凝视模块202可确定用户凝视的位置，并且将用户凝视的位置映射到显示屏幕上的特定位置。

手视模块203可配置成接收、存储和分析用户的手视信息以确定用户想做什么。例如，如上所述，手势模块203可通过跟踪用户的身体移动（例如，指尖移动）来识别用户的手势，并且将身体移动归类为手势和/或手动作。

集成模块204可接收来自凝视模块202的用户凝视信息和来自手势模块203的用户手势信息以发起装置动作和仿真触摸屏接口（如上所述）。因此，例如，集成模块204可同步进入的手势信息和凝视信息以确定用户在请求将特定图标从第一位置移到第二位置。

在本发明的此实施例中，MMTS仿真器200可以是诸如电路元素（例如，包括晶体管、电阻器、电容器、电感器等）、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等的硬件组件中的至少一个。此外，在其它实施例中，MMTS仿真器200也可经软件应用实现。在此实施例中，MMTS仿真器200可包括位于输入/输出模块中的装置驱动器。例如，集成模块204可使用鼠标装置驱动器来根据上面提及的凝视信息和手势信息，发出装置动作。

显示装置400可以是以视觉形式呈现电子信息的输出装置。显示控制器300可以是与显示装置400连接的控制器。因此，例如，显示控制器300可接收来自集成模块204的控制信号，并且实现在显示装置400上显示的对应装置动作。

图3中所示框的顺序和编号无意于暗示排除其它可能性的操作的顺序。本领域技术人员将领会，前面所述***和方法易于进行各种修改、变化和变更。例如，在上述实施例中，MMTS仿真器200可耦合到显示控制器300，显示控制器300可耦合到显示器400。MMTS仿真器200可发送控制信号以实现在显示器400上的装置动作。然而，情况无需一定是如此。在另一示例中，MMTS仿真器可通过不同装置控制器耦合到不同装置。例如，MTTS仿真器可耦合到输入/输出(I/O)装置控制器（例如，鼠标控制器），而该控制器可耦合到I/O装置（例如，鼠标）。

图4是根据实施例的包括MMTS仿真器1501的***1000的示例的框图。***1000的示例可包括膝上型计算机、台式计算机、个人数字助理(PDA)、媒体播放器、移动因特网装置(MID)、诸如智能电话、智能平板、智能电视的任何智能装置或诸如此类。在此示例中，***1000可以是智能电话。所示***1000包括照相机配置1100、显示装置1200、I/O模块1500、处理组件1400、***存储器1600及大容量存储装置1700。

类似于照相机配置100（图3），照相机配置1100可包括配置成捕捉图像或对象或图像的视频馈送的任何装置。在此示例中，照相机配置100可包括第一照相机1101和第二照相机1102。第一照相机1101例如可用于手势跟踪，而第二照相机1102可用于凝视跟踪。

显示装置400可以是以视觉形式呈现电子信息的输出装置。例如，从照相机配置1100捕捉的视频可在显示装置1200上显示以便观看。

处理组件1400可包括可用于执行计算机可读可执行指令的至少一个计算机处理器。处理器可包括集成存储器控制器(IMC) 1401。处理器1400可经IMC 1401与***存储器1600进行通信。

I/O模块1500可用于促进***1000的输入（例如，用户输入）和输出（例如，显示指令）。I/O模块可包括类似于已经讨论的MMTS仿真器200（图3）的MMTS仿真器1501。

***存储器1600和大容量存储装置1700可以是能够存储数据的任何组件或装置。在此示例中，***存储器1600可配置成除其它外，存储与***1000的操作有关的信息。大容量存储装置1700可用于存储例如用户的个人信息。

图4中所示框的顺序和编号无意于暗示排除其它可能性的操作的顺序。本领域技术人员将领会，前面所述***和方法易于进行各种修改、变化和变更。

例如，在上述实施例中，照相机配置1100可包括第一照相机1101和第二照相机102。然而，情况无需一定是如此。实施例可包括任何数量的照相机。因此，例如，在另一示范实施例中，照相机配置可包括一个照相机。可定位和校准此照相机以捕捉用户的凝视和手势信息。

实施例因此可提供一种方法，方法包括接收来自具有正面（front facing）显示器的装置的第一正面照相机的第一图像，基于第一图像识别装置的用户的一个或更多个眼睛，并且确定在正面显示器上一个或更多个眼睛的凝视位置。方法也可提供确定凝视位置的更改，接收来自装置的第二正面照相机的第二图像，基于凝视信息识别正面显示器上的兴趣点，其中，凝视信息包括凝视位置和凝视位置的更改，并且基于第二图像识别用户的手。方法也可包括基于第二图像识别与用户的手关联的一个或更多个指尖，并且确定手和一个或更多个指尖中的一项或更多项的移动。此外，方法可包括基于手势信息识别手动作，并且基于兴趣点和手动相对于正面显示器发起装置动作，其中，手势信息要包括移动，并且移动是1D移动、2D移动和3D移动中的一项或更多项。

在一个示例中，方法可包括将移动归类为装置动作，其中，装置动作包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

在另一示例中，发起装置动作包括将请求发送到装置驱动器，其中，装置驱动器包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

在仍有的另一示例中，方法可包括同步凝视信息和手势信息，并且记录凝视信息和手势信息中的一项或更多项。

实施例也可包括包含指令集的计算机可读存储媒体，指令集如果由处理器执行，则促使装置基于与装置的用户相关联的凝视信息，识别在装置的正面显示器上的兴趣点。指令集也可促使装置基于与装置的用户相关联的手势信息识别手动作，并且基于兴趣点和手动作相对于正面显示器发起装置动作。

在一个示例中，指令如果被执行，则促使装置接收来自装置的正面照相机配置的图像数据，并且基于图像数据识别凝视信息和手势信息。

在另一示例中，指令如果被执行，则促使装置接收来自照相机配置的第一照相机的第一图像，并且接收来自照相机配置的第二照相机的第二图像，其中，图像数据要包括第一图像和第二图像，凝视信息要基于第一图像确定，并且手势信息要基于第二图像确定。

在还有的另一示例中，指令如果被执行，则促使装置识别用户的一个或更多个眼睛，确定在正面显示器上一个或更多个眼睛的凝视位置，并且确定凝视位置的更改，其中，凝视信息要包括凝视位置和凝视位置的更改。

在仍有的另一示例中，指令如果被执行，则促使装置识别用户的手，识别与用户的手相关联的一个或更多个指尖，并且确定手和一个或更多个指尖中的一项或更多项的移动，其中，手势信息要包括移动，并且移动将是1D移动、2D移动和3D移动中的一项或更多项。

在一个示例中，指令如果被执行，则促使装置将移动归类为装置动作，其中，装置动作要包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

在另一示列中，指令如果被执行，则促使装置将请求发送到装置驱动器以发起装置动作，其中，装置驱动器要包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

在还有的另一示例中，指令如果被执行，则促使装置同步凝视信息和手势信息，并且记录凝视信息和手势信息中的一项或更多项。

还有的另一实施例可提供一种设备，设备包括基于与装置的用户相关联的凝视信息识别在装置的正面显示器上的兴趣点的凝视模块、基于与装置的用户相关联的手势信息识别手动作的手势模块及基于兴趣点和手动作相对于正面显示器发起装置动作的集成模块。

在一个示例中，设备可包括照相机接口以接收来自装置的正面照相机配置的图像数据，其中，凝视模块要基于图像数据识别凝视信息，并且手势模块要基于图像数据识别手势信息。

在一个示例中，照相机接口要接收来自照相机配置的第一照相机的第一图像，并且接收来自照相机配置的第二照相机的第二图像，其中，图像数据要包括第一图像和第二图像，凝视模块要基于第一图像确定凝视信息，并且手势模块要基于第二图像确定手势信息。

在一个示例中，凝视模块要识别用户的一个或更多个眼睛，确定在正面显示器上一个或更多个眼睛的凝视位置，并且确定凝视位置的更改，其中，凝视信息要包括凝视位置和凝视位置的更改。

在另一示例中，手势模块要识别用户的手，识别与用户的手相关联的一个或更多个指尖，并且确定手和一个或更多个指尖中的一项或更多项的移动，其中，手势信息要包括移动，并且移动将是1D移动、2D移动和3D移动中的一项或更多项。

在还有的另一示例中，集成模块要将移动归类为装置动作，其中，装置动作要包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

在仍有的另一示例中，集成模块要将请求发送到装置驱动器以发起装置动作，其中，装置驱动器要包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

在一个示例中，集成模块要同步凝视信息和手势信息，并且记录凝视信息和手势信息中的一项或更多项。

另一实施例可提供一种装置，装置包括正面显示器和触摸屏仿真器。触摸屏仿真器可包括基于与装置的用户相关联的凝视信息识别在正面显示器上的兴趣点的凝视模块、基于与装置的用户相关联的手势信息识别手动作的手势模块以及基于兴趣点和手动作相对于正面显示器发起装置动作的集成模块。

在一个示例中，装置可包括正面照相机配置，其中，触摸屏仿真器还包括照相机接口以接收来自正面照相机配置的图像数据，凝视模块要基于图像数据识别凝视信息，并且手势模块要基于图像数据识别手势信息。

在另一示例中，照相机配置包括第一照相机和第二照相机，并且其中，照相机接口要接收来自照相机配置的第一照相机的第一图像。照相机接口也要接收来自照相机配置的第二照相机的第二图像，其中，图像数据要包括第一图像和第二图像，凝视模块要基于第一图像确定凝视信息，并且手势模块要基于第二图像确定手势信息。

在一个示例中，凝视模块要识别用户的一个或更多个眼睛，确定在正面显示器上一个或更多个眼睛的凝视位置，并且确定凝视位置的更改，其中，凝视信息要包括凝视位置和凝视位置的更改。

在另一示例中，装置的手势模块要识别用户的手，识别与用户的手相关联的一个或更多个指尖，并且确定手和一个或更多个指尖中的一项或更多项的移动，其中，手势信息要包括移动，并且移动将是1D移动、2D移动和3D移动中的一项或更多项。

在还有的另一示例中，集成模块要将移动归类为装置动作，其中，装置动作要包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

在一个示例中，装置的集成模块要将请求发送到装置驱动器以发起装置动作，其中，装置驱动器要包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

在还有的一个示例中，装置的集成模块要同步凝视信息和手势信息，并且记录凝视信息和手势信息中的一项或更多项。

另一实施例可提供一种方法，方法包括基于与装置的用户相关联的凝视信息识别在装置的正面显示器上的兴趣点，并且基于与装置的用户相关联的手势信息识别手动作。方法也可包括基于兴趣点和手动作相对于正面显示器发起装置动作。

在一个示例中，方法包括接收来自装置的正面照相机配置的图像数据，并且基于图像数据识别凝视信息和手势信息。

在另一示例中，方法包括接收来自照相机配置的第一照相机的第一图像，并且接收来自照相机配置的第二照相机的第二图像。图像数据要包括第一图像和第二图像，凝视信息要基于第一图像确定，并且手势信息要基于第二图像确定。

在还有的另一示例中，方法包括识别用户的一个或更多个眼睛，确定在正面显示器上一个或更多个眼睛的凝视位置，并且确定凝视位置的更改，其中，凝视信息要包括凝视位置和凝视位置的更改。

在仍有的另一示例中，方法包括识别用户的手，识别与用户的手相关联的一个或更多个指尖，以及确定手和一个或更多个指尖中的一项或更多项的移动。在此示例中，手势信息要包括移动，并且移动将是一维(1D)移动、二维(2D)移动和三维(3D)移动中的一项或更多项。

在另一示例中，方法包括将移动归类为装置动作，其中，装置动作要包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

在一个示例中，方法包括将请求发送到装置驱动器以发起装置动作，其中，装置驱动器要包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

在另一示例中，方法包括同步凝视信息和手势信息，并且记录凝视信息和手势信息中的一项或更多项。

各种实施例中使用硬件元素、软件元素或两者的组合实现。硬件元素的示例可包括处理器、微处理器、电路、电路元素（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件的示例可包括软件组件、程序、应用、计算机程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定实施例是否使用硬件元素和/或软件元素实现可根据任何数量的因素而变化，如期望的计算速率、功率电平、耐热度、处理周期预算、输入数据率、输出数据率、存储器资源、数据总线速度及其它设计或性能约束。

至少一个实施例的一个或几个方面可由在表示处理器内各种逻辑的机器可读媒体上存储的代表性指令实现，指令在由机器读取时，促使机器制造逻辑以执行本文中所述技术。称为“IP核”的此类表示可存储在有形的机器可读媒体上，并且提供到各种客户或生产设施以加载到实际形成逻辑或处理器的制造机器中。

本发明的实施例适合用于所有类型的半导体集成电路（“IC”）芯片。这些IC芯片的示例包括但不限于处理器、控制器、芯片集组件、可编程逻辑阵列(PLAs)、存储器芯片、网络芯片及诸如此类。另外，在一些附图中，信号导体线以线条表示。一些线条可以是不同的以指示更多组成信号路径，具有数字标签以指示多个组成信号路径和/或在一端或两端具有箭头以指示主信息流方向。然而，这不应视为限制。而是，此类添加的细节可结合一个或更多个示范实施例使用以便于更容易理解电路。无论是否具有另外的信息，任何表示的信号线可实际上包括一个或更多个信号，信号可在多个方向上行进，并且可通过任何适合类型的信号方案实现，例如，通过差分对实现的数字或模拟线、光纤线和/或单端线。

示例大小/模型/值/范围可能已给出，虽然本发明的实施例不限于其。由于制造技术（例如，光刻）随着时间的进展而变得成熟，预期能够制造尺寸更小的装置。另外，为说明和讨论的简洁，到IC芯片和其它组件的熟知电源/接地连接可在图中示出或不示出，以便不混淆本发明的实施例的某些方面。此外，布置可以框图形式示出以便避免混淆本发明的实施例，并且也鉴于关于此类框图布置的实现的具体细节高度取决于其内要实现实施例的平台的事实，即，此类具体细节应在本领域技术人员的认知范围内。在陈述了特定细节（例如，电路）以便描述本发明的示例实施例的情况下，本领域技术人员应领会的是，在没有这些特定细节的情况下或者通过这些特定细节的变化，能够实践本发明的实施例。描述因此要视为是说明性的而不是限制性的。

一些实施例可使用可存储指令或指令集的机器或有形计算机可读媒体或制品实现，指令或指令集在由机器执行时可使机器执行根据实施例的方法和/或操作。此类机器例如可包括适合的处理平台、计算平台、计算装置、处理装置、计算***、处理***、计算机、处理器或诸如此类，并且可使用硬件和/或软件的任何适合组合实现。机器可读介质或制品例如可包括任何适合类型的存储器单元、存储器装置、存储器制品、存储器媒体、存储装置、存储制品、存储媒体和/或存储单元，例如，存储器、可移动或不可移动媒体、可擦除或不可擦除媒体、可写或可重写媒体、数字或模拟媒体、硬盘、软盘、压缩盘只读存储器(CD-ROM)、可刻录压缩盘(CD-R)、可重写压缩盘(CD-RW)、光盘、磁媒体、磁光媒体、可移动存储器卡或盘、各种类型的数字多功能盘(DVD)、磁带、盒式磁带或诸如此类。指令可包括任何适合类型的代码，如源码、编译码、解释代码、可执行代码、静态码、动态码、加密代码及诸如此类，并且可使用任何适合的高级、低级、面向对象、可视、编译和/或解释编程语言实现。

除非另有明确说明，否则，可理解诸如“处理”、“计算”、“确定”等术语的论述指计算机或计算***或类似电子计算装置的动作和/或过程，可将表示为计算机***的寄存器和存储器内的物理数量（例如，电子）的数据操纵和/或变换成类似地表示为计算机***存储器、寄存器或其它此类信息存储、传输或显示装置内物理量的其它数据。实施例在此上下文中并不受限制。

术语“耦合”可在本文中用于指在所述组件之间任何类型的直接或间接关系，并且可应用到电、机械、流体、光、电磁、机电或其它连接。另外，术语“第一”、“第二”等可在本文中只用于便于讨论，并且除非另有指示，否则无特定时间或时序意义。

本领域的技术人员将从以上描述领会到本发明的实施例的广泛技术可以多种形式实现。因此，虽然本发明实施例已结合其特殊示例进行描述，但由于本发明的技术人员可在研究附图、说明书和以下权利要求书时将明白其它修改，因此，本发明实施例的真实范围不应受限于此。

Claims (22)

1.一种仿真触摸屏的方法，包括：

接收来自具有正面显示器的装置的第一正面照相机的第一图像；

基于所述第一图像，识别所述装置的用户的一个或更多个眼睛；

确定在所述正面显示器上所述一个或更多个眼睛的凝视位置；

确定所述凝视位置中的更改；

接收来自所述装置的第二正面照相机的第二图像；

基于凝视信息，识别所述正面显示器上的兴趣点，其中所述凝视信息包括所述凝视位置和所述凝视位置中的所述更改；

基于所述第二图像，识别所述用户的手；

基于所述第二图像，识别与所述用户的所述手关联的一个或更多个指尖；

确定所述手和所述一个或更多个指尖中的一项或更多项的移动；

基于手势信息，识别手动作，其中所述手势信息要包括所述移动，并且所述移动是一维(1D)移动、二维(2D)移动和三维(3D)移动中的一项或更多项；以及

将所述凝视信息和所述手势信息同步，以基于所述兴趣点和所述手动作相对于所述正面显示器发起装置动作。

2.如权利要求1所述的方法，还包括将所述移动归类为所述装置动作，其中所述装置动作包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

3.如权利要求1所述的方法，其中发起所述装置动作包括将请求发送到装置驱动器，其中所述装置驱动器包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

4.如权利要求1到3任一项所述的方法，还包括：

记录所述凝视信息和所述手势信息中的一项或更多项。

5.一种已存储有指令的集合的计算机可读存储介质，所述指令如果由处理器执行，则引起装置：

识别具有正面显示器的装置的用户的一个或更多个眼睛；

确定在所述正面显示器上所述一个或更多个眼睛的凝视位置；

基于与所述装置的用户相关联的凝视信息识别在所述正面显示器上的兴趣点；

基于与所述装置的所述用户相关联的手势信息识别手动作；

接收来自所述装置的正面照相机配置的图像数据；

基于所述图像数据识别所述凝视信息和所述手势信息；

接收来自所述照相机配置的第一照相机的第一图像；

接收来自所述照相机配置的第二照相机的第二图像，其中所述图像数据要包括所述第一图像和所述第二图像，所述凝视信息要基于所述第一图像确定，并且所述手势信息要基于所述第二图像确定；以及

将所述凝视信息和所述手势信息同步，以基于所述兴趣点和所述手动作相对于所述正面显示器发起装置动作。

6.如权利要求5所述的介质，其中所述指令如果被执行，则引起所述装置：

识别所述用户的手；

识别与所述用户的所述手相关联的一个或更多个指尖；以及

确定所述手和所述一个或更多个指尖中的一项或更多项的移动，其中所述手势信息要包括所述移动，并且所述移动将是一维(1D)移动、二维(2D)移动和三维(3D)移动中的一项或更多项。

7.如权利要求6所述的介质，其中所述指令如果被执行，则引起所述装置：将所述移动归类为所述装置动作，其中所述装置动作要包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

8.如权利要求5所述的介质，其中所述指令如果被执行，则引起所述装置：将请求发送到装置驱动器以发起所述装置动作，其中所述装置驱动器要包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

9.如权利要求5所述的介质，其中所述指令如果被执行，则引起所述装置：

记录所述凝视信息和所述手势信息中的一项或更多项。

10.一种触摸屏仿真设备，包括：

凝视模块，用于基于与装置的用户相关联的凝视信息，识别在所述装置的正面显示器上的兴趣点，包括：

识别所述用户的一个或更多个眼睛；

确定在所述正面显示器上所述一个或更多个眼睛的凝视位置；以及

确定所述凝视位置中的更改，其中所述凝视信息要包括所述凝视位置和所述凝视位置中的所述更改；

手势模块，用于基于与所述装置的所述用户相关联的手势信息，识别手动作，包括：

识别所述用户的手；

识别与所述用户的所述手相关联的一个或更多个指尖，以及

确定所述手和所述一个或更多个指尖中的一项或更多项的移动，其中所述手势信息要包括所述移动，并且所述移动是一维(1D)移动、二维(2D)移动和三维(3D)移动中的一项或更多项；

照相机接口，用于接收来自所述装置的正面照相机配置的图像数据，其中所述凝视模块要基于所述图像数据识别所述凝视信息，并且所述手势模块要基于所述图像数据识别所述手势信息；

其中所述照相机接口将：

接收来自所述照相机配置的第一照相机的第一图像；以及

接收来自所述照相机配置的第二照相机的第二图像，其中所述图像数据要包括所述第一图像和所述第二图像，要基于所述第一图像确定所述凝视信息，并且要基于所述第二图像确定所述手势信息；以及

集成模块，用于将所述凝视信息和所述手势信息同步，以基于所述兴趣点和所述手动作，相对于所述正面显示器发起装置动作。

11.如权利要求10所述的设备，其中所述集成模块要将所述移动归类为所述装置动作，其中所述装置动作要包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

12.如权利要求10所述的设备，其中所述集成模块要将请求发送到装置驱动器以发起所述装置动作，其中所述装置驱动器要包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

13.如权利要求10所述的设备，其中所述集成模块要：

记录所述凝视信息和所述手势信息中的一项或更多项。

14.一种触摸屏仿真装置，包括：

正面显示器；以及

触摸屏仿真器，包括：

凝视模块，用于基于与装置的用户相关联的凝视信息，识别在正面显示器上的兴趣点，包括：

识别所述用户的一个或更多个眼睛；

确定在所述正面显示器上所述一个或更多个眼睛的凝视位置；以及

确定所述凝视位置中的更改，其中所述凝视信息要包括所述凝视位置和所述凝视位置中的所述更改；

手势模块，用于基于与所述装置的所述用户相关联的手势信息，识别手动作，以及

正面照相机配置，

其中所述触摸型仿真器还包括照相机接口，用于接收来自所述正面照相机配置的图像数据，其中所述凝视模块要基于所述图像数据识别所述凝视信息，并且所述手势模块要基于所述图像数据识别所述手势信息；以及

其中所述照相机配置包括第一照相机和第二照相机，并且其中所述照相机接口将：

接收来自所述照相机配置的第一照相机的第一图像；以及

接收来自所述照相机配置的第二照相机的第二图像，其中所述图像数据要包括所述第一图像和所述第二图像，所述凝视模块要基于所述第一图像确定所述凝视信息，并且所述手势模块要基于所述第二图像确定所述手势信息；以及

集成模块，用于将所述凝视信息和所述手势信息同步，以基于所述兴趣点和所述手动作，相对于所述正面显示器发起装置动作。

15.如权利要求14所述的装置，其中所述手势模块将：

识别所述用户的手；

识别与所述用户的所述手相关联的一个或更多个指尖，以及

确定所述手和所述一个或更多个指尖中的一项或更多项的移动，其中所述手势信息要包括所述移动，并且所述移动将是一维(1D)移动、二维(2D)移动和三维(3D)移动中的一项或更多项。

16.如权利要求15所述的装置，其中所述集成模块要将所述移动归类为所述装置动作，其中所述装置动作要包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

17.如权利要求14所述的装置，其中所述集成模块要将请求发送到装置驱动器以发起所述装置动作，其中所述装置驱动器要包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

18.如权利要求14到17任一项所述的装置，其中所述集成模块要：

记录所述凝视信息和所述手势信息中的一项或更多项。

19.一种仿真触摸屏的设备，包括：

用于接收来自具有正面显示器的装置的第一正面照相机的第一图像的部件；

用于基于所述第一图像，识别所述装置的用户的一个或更多个眼睛的部件；

用于确定在所述正面显示器上所述一个或更多个眼睛的凝视位置的部件；

用于确定所述凝视位置中的更改的部件；

用于接收来自所述装置的第二正面照相机的第二图像的部件；

用于基于凝视信息，识别所述正面显示器上的兴趣点的部件，其中所述凝视信息包括所述凝视位置和所述凝视位置中的所述更改；

用于基于所述第二图像，识别所述用户的手的部件；

用于基于所述第二图像，识别与所述用户的所述手关联的一个或更多个指尖的部件；

用于确定所述手和所述一个或更多个指尖中的一项或更多项的移动的部件；

用于基于手势信息，识别手动作的部件，其中所述手势信息要包括所述移动，并且所述移动是一维(1D)移动、二维(2D)移动和三维(3D)移动中的一项或更多项；以及

用于将所述凝视信息和所述手势信息同步，以基于所述兴趣点和所述手动作相对于所述正面显示器发起装置动作的部件。

20.如权利要求19所述的设备，还包括用于将所述移动归类为所述装置动作的部件，其中所述装置动作包括单击操作、双击操作、收缩操作和光标移动操作中的一项或更多项。

21.如权利要求19所述的设备，其中用于发起所述装置动作的部件包括用于将请求发送到装置驱动器的部件，其中所述装置驱动器包括鼠标驱动器、触摸板驱动器和跟踪球驱动器中的一项或更多项。

22.如权利要求19到21任一项所述的设备，还包括：

用于记录所述凝视信息和所述手势信息中的一项或更多项的部件。