CN101620511A - 信息处理设备和用于显示辅助信息的方法 - Google Patents

Abstract

提供了一种信息处理设备，包括：方向检测单元，其在输入手势时，检测在手势输入过程中所绘制的轨迹的绘制方向；手势搜索单元，其从多个预定手势中搜索与由所述方向检测单元检测到的轨迹的绘制方向相匹配的手势；以及辅助信息显示单元，其在每次所述方向检测单元检测到轨迹的绘制方向时，将所述手势搜索单元的搜索结果作为辅助信息显示在屏幕上。

Description

信息处理设备和用于显示辅助信息的方法

技术领域

本发明涉及信息处理设备和用于显示辅助信息的方法。

背景技术

诸如键盘、鼠标、触控垫、触控面板和拨号盘等的输入装置连接在诸如个人计算机(下文称为PC)和移动电话的电子设备上。因此，用户可使用这些输入装置向各种电子设备输入信息。近年来，在这些电子设备中已使用了构建于显示屏中的使用计算机图形图像(下文称为CG)的虚拟操作***。这样的虚拟操作***就是所谓的图形用户界面(下文称为GUI)。

若安装了GUI，则用户可使用上述输入装置使CG移动并通过操作CG来执行预定的处理。例如，用户可使用鼠标来选择对应于期望的应用程序的CG，以及通过按压键盘上的预定键来启动该期望的应用程序。CG包括选择按钮、显示菜单和复选框。例如，若使用分层显示菜单，则可根据类型和属性来对应用程序等进行分层式分类，由此提高用户便利性。然而，若分层结构变得较为复杂，则用户的操作处理将会增加，反而使得便利性降低。

因此，可向每个显示菜单分配被称为快捷方式的特殊键操作。当使用此快捷方式时，用户通过执行特殊键操作可直接选择期望的显示菜单，或启动对应于该显示菜单的应用程序。已知一种被称为鼠标手势的技术，作为类似于快捷方式的技术，用以提高用户的操作效率。根据此项技术，若用户使用鼠标光标绘制出预定形状的轨迹，则可启动与该形状相关联的应用程序。

作为鼠标手势的一个应用，例如日本专利申请公开案第2005-339420号公开了一种通过使用手指在触控面板上绘制预定形状的轨迹来启动应用程序的技术。上述文献还描述了其中将手势功能应用于如汽车导航***的车载装备的具体实例。当输入装置象车载装备和小型信息装备一样受到限制时，能够通过手势来输入信息的操作***可显著改善用户便利性。

发明内容

然而，用户必须记住与用于输入手势的各种操作相关联的预定手势。因此，若手势的形状复杂，则用户难以正确地记住该手势的形状。此外，若手势的形状复杂，则手势形状的识别精确度将会降低。因此，若手势的形状复杂，则对所输入手势的错误辨别的可能性将会增大，由此导致用户的使用频率降低。因此，经常使用简单的手势形状。然而，若使用简单形状的手势，则可使用的手势类型的数量将受到限制。

鉴于上述问题做出本发明，期望提供一种新颖且改进的信息处理设备，其使得即使在用户不能正确地记住形状复杂的手势形状的情况下也能够输入这些手势。此外，还提供一种用于显示辅助信息的方法。

为解决上述问题，根据本发明的一个实施例，提供一种信息处理设备，其包括：方向检测单元，用于在输入手势时，检测在手势输入过程中所绘制的轨迹的绘制方向；手势搜索单元，用于从多个预定手势中搜索与所述方向检测单元检测到的轨迹的绘制方向相匹配的手势；以及辅助信息显示单元，用于在每次所述方向检测单元检测到轨迹的绘制方向时，将所述手势搜索单元的搜索结果作为辅助信息显示在屏幕上。

由此，在输入手势时，所述信息处理设备通过方向检测单元来检测在手势输入过程中绘制的轨迹的方向。所述信息处理设备还通过手势搜索单元从多个预定手势中搜索与方向检测单元所检测到的轨迹的方向相匹配的手势。进一步，在每次方向检测单元检测到轨迹的方向时，所述信息处理设备通过辅助信息显示单元将手势搜索单元的搜索结果作为辅助信息显示在屏幕上。

所述辅助信息显示单元可被配置为将通过所述手势搜索单元的搜索而提取的预定手势的完整图片显示为辅助信息。

所述手势搜索单元可被配置为从与屏幕中的显示信息相关的应用程序所关联的预定手势中搜索与所述轨迹的绘制方向相匹配的手势。

所述信息处理设备可进一步包括：应用程序激活单元，用于在由所述辅助信息显示单元所显示的预定手势的完整图片被选择时激活与所述预定手势相关联的应用程序。

所述辅助信息显示单元可被配置为仅将通过手势搜索单元的搜索而提取的预定手势的完整图片中继所述轨迹的尾边沿之后的部分轨迹显示为辅助信息。

所述辅助信息显示单元可被配置为通过与被显示为辅助信息的部分轨迹相关联而将与对应于通过手势搜索单元的搜索所提取的预定手势的应用程序有关的信息显示为辅助信息。

为解决上述问题，根据本发明的另一实施例，提供一种用于显示辅助信息的方法，其包括以下步骤：在输入手势时，检测在手势输入过程中所绘制的轨迹的绘制方向；从多个预定手势中搜索与通过方向检测步骤检测到的所述轨迹的绘制方向相匹配的手势；以及在每次通过方向检测步骤检测到轨迹的绘制方向时，将所述手势搜索步骤的搜索结果作为辅助信息显示在屏幕上。

为解决上述问题，根据本发明的另一实施例，提供一种使计算机能够实现所述信息处理设备具有的功能的程序。此外，可提供一种记录有所述程序的记录介质。

根据本发明的上述实施例，即使用户在不能正确地记住形状复杂的手势形状的情况下也能够输入这些手势。因此，可期待改进对输入手势的识别精确度。

附图说明

图1为说明性视图，示出了鼠标手势的输入屏幕实例；

图2为说明性视图，示出了手势的设置实例；

图3为说明性视图，示出了根据本发明实施例的辅助信息的显示实例；

图4为说明性视图，示出了根据本实施例的手势输入实例；

图5为说明性视图，示出了根据本实施例的手势列表实例；

图6为说明性视图，示出了根据本实施例的手势输入实例；

图7为说明性视图，示出了根据本实施例的手势列表实例；

图8为说明性视图，示出了根据本实施例的信息处理设备的功能配置；

图9为说明性视图，示出了根据本实施例的对辅助信息的显示处理流程；

图10为说明性视图，示出了根据本实施例的信息处理设备的操作；以及

图11为说明性视图，示出了根据本实施例的信息处理设备的硬件配置实例。

具体实施方式

下文将参照附图详细描述本发明的优选实施例。应注意，在本说明书和附图中，将以相同的附图标记来表示具有大体上相同功能和结构的结构元件，并且将省略对这些结构元件的重复说明。

[描述的流程]

这里，将简要提及对下文所描述的本发明实施例进行描述的流程。首先，将通过引用具体实例，参照图1和图2来描述通过普通鼠标手势的用户操作以及使手势与功能相关联的技术。在其描述中，将描述本发明实施例的意图。其次，将通过引用具体实例，参照图3至图7来描述根据本实施例的用于显示辅助信息的方法。在其描述中，还将具体描述手势的识别方法。

之后，将参照图8来描述根据本实施例的信息处理设备100的功能配置。此外，将参照图9来描述通过信息处理设备100实现的所述用于显示辅助信息的方法的处理流程。之后，将参照图10来描述根据本实施例的信息处理设备100的具体操作。然后，将简要地概述本实施例的技术配置，并且将描述通过该技术配置实现的操作效果。最后，将参照图11描述根据本实施例的信息处理设备100的硬件配置实例。

[目的]

在开始描述本发明的实施例之前，将参照图1和图2来简要地描述与手势输入相关的用户操作以及使手势与功能相关联的技术。图1为说明性视图，示出了根据鼠标手势的具体用户操作。图2为说明性视图，示出了用于使手势与功能相关联的手势设置屏幕。

首先，将参照图1。在图1中，显示了一些应用程序的执行屏幕，并显示了通过鼠标手势在执行屏幕中绘制的轨迹。还如图1所示，许多应用程序具有被提供于执行屏幕中的显示菜单。在图1所示的实例中，“文件(F)”、“编辑(E)”、“视图(V)”、“书签(B)”和“帮助(H)”是显示菜单。此外，此应用程序具有用于基于历史而后退到先前显示或前进的按钮，在执行屏幕中提供有用于停止读取显示内容的按钮、用于显示预定显示内容的按钮等。

通过诸如鼠标和键盘等的输入装置来选择这些显示菜单和按钮。例如，若将鼠标光标置于显示为“文件(F)”的位置并按下鼠标按钮，则在执行屏幕中显示与“文件(F)”相关联的显示内容。若“文件(F)”是分层显示菜单，则显示分层体系中较低层的显示菜单。还可通过使用快捷键从键盘执行此操作。例如，快捷键(F)与“文件(F)”相关联，由此通过按下预定的元键和“F”键，可执行与显示菜单相关联的操作。

此外，用户还可使用鼠标手势来执行上述操作。在这种情况下，用户通过操作鼠标在执行屏幕中绘制预定的形状以实现与该形状相关联的操作。例如，若鼠标光标向左移动，则实现基于历史使显示内容后退到先前显示的操作。如图2所示，预先设定在通过鼠标光标绘制的轨迹的形状与操作内容之间的对应关系。图2示出了设置内容的一个实例，所述设置内容示出了手势与操作内容(功能)之间的对应关系。

在图2所示的实例中，“按历史后退”功能与使鼠标光标向左移动的手势相关联。“按历史前进”功能与使鼠标光标向右移动的手势相关联。此外，“重读文档”功能与使鼠标光标向上且随后向下移动的手势相关联。以此方式，通过组合多个移动方向来定义各种手势的形状。例如对于“复制标签(duplicate tab)”功能，将象“向下-向上-向下”这样的三个方向的移动方向定义为手势形状。

，通过以此方式组合多个移动方向来定义手势，可定义多种功能。因此，可以仅通过鼠标手势使用户实现多种操作，由此提高用户便利性。另一方面，用户更加难以正确地记住手势，因为要被组合的移动方向的变化(方向的数目)增加，并且移动方向的组合的数目(输入步骤的数目)也增加。此外，随着手势的形状变得越来越复杂，对形状进行识别时的识别精确度降低。

对于包括象例如图1中所示的轨迹一样的沿倾斜方向移动的手势，可包含这样的部分，在该部分处难以确定用户是打算沿倾斜方向移动还是沿竖直方向移动。若手势包含大量操作步骤，则出现对仅仅一个操作步骤的错误识别即可使用户想要的功能的实现无效。为避免此问题，必须使用户正确地输入手势的形状。因此，本发明的发明人设计出一种有效地呈现辅助信息使得用户能够正确地输入手势形状的技术。

使用该技术，无论形状的复杂性如何，均可正确地输入手势，使得现在可使用过去基本上不能使用的复杂手势。因此，通过手势输入可实现大量的功能。此外，对于其输入装置受到限制的电子设备，可还预期能够安装多种功能的效果，而在过去这些功能的使用由于输入操作的困难性而受到限制。下文描述的实施例主要旨在提供能够享有这些效果的呈现辅助信息的技术。

<实施例>

下文将描述本发明的实施例。本实施例涉及用于向用户呈现与手势输入相关的辅助信息的技术。与通过使用户参考手势列表而帮助输入操作的技术相比，本技术可在用户执行输入操作的过程中相继显示辅助信息。因此，用户可免于从列表中搜索期望的手势以及事先记住手势的整个形状的负担。此外，无需用于显示列表的显示空间，使得本技术还适用于屏幕尺寸较小的电子设备。

[用于显示辅助信息的方法]

首先，将描述根据本实施例的用于显示辅助信息的方法。这里，将通过举例说明两种体现本实施例的技术思想的显示模式来描述该显示方法。一种显示模式显示在手势输入过程中成为候选者的手势的整个形状。另一种显示模式显示在手势输入过程中成为候选者的手势的部分形状(下一操作步骤)。然而，本实施例的技术范围并非局限于这些实例。

(显示整个形状的配置)

首先，将参照图3来描述将手势输入过程中成为候选者的手势的整个形状显示为辅助信息的显示配置。图3为说明性图示，示出了根据本实施例的用于显示辅助信息的方法的实例。

在图3所示的实例中，在向其中输入手势的手势输入屏幕中显示地图。所述手势输入屏幕由触控面板等构成，且被配置为使得通过用户使用手指等进行描绘而在屏幕上绘制手势的轨迹。然而，用户输入手势的位置是任意的。应注意，尽管表示为“手势输入屏幕”，但是并非是指用于输入手势的专用屏幕，而是指输入手势时的显示屏。

如图3所示，当用户输入手势时，在手势输入屏幕中显示由用户的手指等描绘的轨迹。此时，对手指等的移动方向进行检测，并搜索被显示为辅助信息的候选手势。从被相继检测到的手指等的位置变化来计算移动方向。此外，从多个预先设置的移动方向中选择与从位置变化的方向计算出的移动方向最接近的。此时，检测从位置变化计算出的移动方向的角度信息，并依据该角度信息选择预定的移动方向。

通过以此方式选择移动方向，在输入一个手势时可检测到多个移动方向。即，对有关与移动方向的变化次数一样多的移动方向的信息进行累计。这里，与移动方向有关的信息包括与检测和选择的顺序有关的信息。因此，可基于与移动方向和顺序的组合有关的信息来搜索候选手势。手势的形状是通过组合多个预置的方向向量来形成的。因此，通过查询形成手势的方向向量相对于移动方向的方向来执行上述搜索。

考虑例如图4中所示的以下情形，其中输入包括六个操作步骤的手势，且相继地检测和选择移动方向。此处，操作步骤是指移动方向改变之前的一个移动片断。图4中的实例示出了与第一向上、第二向右上、第三向右、第四向右下、第五向下以及第六向上移动的轨迹有关的信息。因此，将与各个操作步骤中的移动方向和顺序有关的信息检测为与移动方向的变化有关的信息。

对照如图5中所示的预置的手势信息(下文称为库)来查询以此方式检测到的信息，以便搜索要作为候选者的手势。在图5所示的实例中，示出了由四个手势组成的库。可清晰看出，例如，顶行示出的手势由对应于五个操作步骤的方向向量来定义。当轨迹第一向上、第二向右上、第三向右、第四向右下以及第五向下移动时选择该手势。

类似地，从所述库的顶部起第二行中的手势由对应于10个操作步骤的方向向量来定义。从顶部起第三行中的手势由对应于八个操作步骤的方向向量来定义。此外，从顶部起第四行中的手势由对应于11个操作步骤的方向向量来定义。然而，构成这些手势的方向向量一直到第五操作步骤都是共用的。因此，在直到第五操作步骤的这些移动方向都是如图4所示的手势输入信息的输入的情况下，提取这四个手势作为候选。

如果，例如如图3所示，在第一操作步骤中向手势输入屏幕中输入“向上移动”的信息，则在库中搜索与该移动方向的信息相匹配的手势，并提取四个手势作为候选。通过排列这些提取的手势使得以各个手势的整个形状被示出的方式来显示这些提取的手势，如图3(候选者显示屏)所示。应注意，尽管被表示为“候选者显示屏”，但是并非是指用于显示候选手势的专用屏，而是指显示候选手势时的显示屏。

在图3所示的实例中，从库中顶部起第一行中的手势被显示为候选B。类似地，从库中顶部起第二行中的手势被显示为候选C，从库中顶部起第三行中的手势被显示为候选A，而从库中顶部起第四行中的手势被显示为候选D。当用户输入下一操作步骤时，这些候选A至D被显示为参考信息。当然，可将这些候选A至D显示为可选区域，使得在被用户触碰时，实现对应于该手势的功能。

图3中的实例示出了输入第一操作步骤时的候选者显示屏的显示配置，随着操作步骤的继续进行，所显示的候选手势缩减。例如，当按照图4所示的移动方向的变化到达第六操作步骤时，图5所示的从库中顶部起第一行中的手势被排除在候选之外，因为该手势不具有第六方向向量。当输入信息“向右上移动”作为第七操作步骤时，候选者被限制为从库中顶部起第二行中的手势。

每次以此方式缩减手势时，候选者显示屏被进行更新，并且只显示与输入轨迹相适合的手势。在上述缩减搜索中，可考虑在手势输入屏幕中显示的内容。如果，例如如图3所示，在手势输入屏幕中显示地图信息，则可从对应于与该地图信息相关的功能的手势中选择对应于输入轨迹的手势。

在此情况下，如果，例如显示地图信息，则提取与地图的缩放功能、路线信息的显示功能、交通信息的显示功能、气象信息的显示功能、路线搜索应用程序的激活功能等相关联的手势。自然地，可提取对应于与显示内容无关的应用程序或显示信息的手势。类似地，要被搜索的手势库可根据时间信息、位置信息等发生变化。

使用根据用户输入的手势以此方式实时呈现的辅助信息，用户不必正确地记住手势的形状和输入顺序。此外，候选手势自动缩减，由此用户可容易地找到期望的手势。此外，若在输入期间显示有期望的手势，则可通过选择所述手势来减少操作步骤的数目，从而可更快地实现预期的功能。

由此，自然可减轻与手势输入相关的用户负担，并且可减小由于不可靠的记忆导致的错误识别的可能性，使得能够定义包括多个方向的形状复杂的手势。此外，分配给手势的功能的数目增加，并且能够以更易于从中回忆功能或操作结果的形状来定义手势。因此，用户可更容易地识别出功能或操作结果与手势之间的对应关系，由此可改进对与期望的功能对应的手势的搜索效率。

例如，通过模仿字母“P”来定义图3所示的候选A的手势。因此，若使候选A的手势与“显示附近停车区(停车场)”的功能相关联，则用户将能够从该手势的形状容易地回忆起操作结果。类似地，通过模仿希腊字符“β”来定义候选D的手势。因此，若使候选D的手势与“激活浏览器”的功能相关联，则用户将能够从该手势的形状容易地回忆起操作结果。

若用户能够以此方式容易地回忆起操作结果，则用户将能够选择期望的手势，而无需通过字符为各个候选手势显示操作结果，并且所述显示区域可更有效地用于省略字符显示的一部分。此外，在能够从手势的形状回忆起操作结果的情况下，即使以按比例缩小的方式显示该手势，也可容易地识别出与该手势相关联的功能或操作结果。尽管图3示出了其中候选手势被排列为填满屏幕的配置实例，然而当通过按比例缩小的方式在屏幕的一部分显示候选手势时，也能够实现上述效果。

上文已描述了其中将在手势的输入过程中作为候选者的手势的整个形状显示为辅助信息的显示配置。根据该显示配置，基于用户输入手势过程中的移动方向的信息来缩减候选手势，并且将其整个形状作为辅助信息相继地呈现给用户。通过此配置，用户可免于正确地记住大量形状复杂的手势的负担。此外，通过选择经缩减的候选，用户可快速调用预期的功能。

(显示部分形状的配置)

其次，将参照图6来描述将在手势输入过程中作为候选者的手势的部分形状(下一操作步骤)显示为辅助信息的显示配置。图6为说明性图示，其举例说明了根据本实施例的用于显示辅助信息的方法。与图3所示的显示手势的整个形状的配置相比，本实例在显示输入轨迹之后具有所述下一操作步骤。

图6示出了输入手势的手势输入屏幕。与图3类似，所述手势输入屏幕由触控面板等构成，且被配置为使得通过用户使用手指等进行描绘在屏幕上绘制手势的轨迹。然而，用户输入手势的位置是任意的。应注意，尽管表示为“手势输入屏”，但是并非是指用于输入手势的专用屏幕，而是指输入手势时的显示屏。

如图6所示，当用户输入手势时，在手势输入屏幕中显示通过用户手指等描绘的轨迹。此时，检测手指等的移动方向，并搜索被显示为辅助信息的候选手势。

所述移动方向的检测方法和搜索候选手势的方法与图3中的实例相同。然而，对于作为搜索结果而获得的候选手势，不是在手势输入屏幕中显示其整个形状，而是仅显示下一操作步骤的形状。除了下一操作步骤的形状之外，可通过按比例缩小来显示手势的整个形状，或者可显示操作结果的信息。

图6示出了一个实例，其中在输入信息“向左下方移动”之后，将对应于“激活音乐播放器”功能的手势和对应于“显示天气预报”功能的手势提取为辅助信息。

此时，将用于示出下一移动方向的箭头显示为一条辅助信息。即，将通过沿此处显示的箭头方向继续进行输入操作来调用对应于该箭头的功能。在图6中，显示了右箭头和左箭头。这些箭头显示基于轨迹的移动方向而缩减的手势的下一操作步骤。因此，若呈现包括下一操作步骤“向下移动”的候选手势，则显示向下箭头。

由此，在其中只显示手势的一部分的显示配置中，用户难以识别手势与功能或操作结果之间的对应关系。因此，将与功能或操作结果有关的信息在使得与所述下一操作步骤的对应关系可理解的位置处显示为辅助信息。这里，例如，将示出功能内容的字符信息显示为与功能或操作结果有关的信息。在图6所示的实例中，将信息[激活音乐播放器]和[显示天气预报]显示为字符信息。例如，可通过按比例缩小来显示手势的整个形状作为与功能或操作结果有关的信息。

类似于图3中说明和描述的示出手势的整个形状的显示配置，若以使得用户能够从手势的形状回忆起操作结果等的这一方式进行定义，则从其整个形状能够容易地识别通过继续进行下一个和随后的操作步骤而实现的操作结果等。在图6所示的实例中，例如，将对应于[激活音乐播放器]的手势的整个形状定义为模仿音符的形状。将对应于[显示天气预报]的手势的整个形状定义为模仿伞的形状。通过采用这样的显示配置，用户将能够容易地确定期望的操作步骤。

在图6所示的实例中，针对一个箭头显示对应于一个候选手势的辅助信息。然而，若出现多个候选手势，则显示对应于各个候选手势的辅助信息。在这种情况下，针对一个箭头，可显示多个减少后的候选手势的完整形状，或可显示指示操作结果、功能等的多条线。在这种情况下，随着操作步骤的进行和每次辅助信息条数的减小，候选手势被缩减。因此，随着用户绘制出手势的完整图片，辅助信息将减少，且最终实现对应于期望手势的功能或操作的调用。

假设，例如定义了如图7所示的手势库。在这种情况下，若在第一操作步骤中输入“向左下方移动”的轨迹，则在手势输入屏幕中显示对应于第二方向向量的箭头。在图7所示的库的情况下，从顶部起第一行中的手势的第二方向向量显示向左。另一方面，从顶部起第二行中的手势的第二方向向量显示向右。因此，如图6所示，将右箭头和左箭头在手势输入屏幕中显示为辅助信息。

若在第二操作步骤中输入轨迹“向右移动”的轨迹，则候选限制为从库中顶部起第二行中的手势，因为该输入轨迹与从库中顶部起第一行中的手势的第二方向向量不匹配。因此，当在第二操作步骤中输入“向右移动”的轨迹时，则调用用以[显示天气预报]的功能，且例如在屏幕上显示天气预报信息。顺便提及，用户可选择在第一操作步骤中显示的辅助信息，以便可实现对应于该辅助信息的功能或操作。

上文已描述了其中将在手势输入过程中要作为候选者的手势的部分形状相继显示为辅助信息的显示配置。根据该显示配置，基于用户输入手势过程中的移动方向的信息来缩减候选手势，并且将其部分形状作为辅助信息相继呈现给用户。通过此配置，用户可免于正确地记住大量的形状复杂的手势的负担。此外，通过选择经缩减的候选手势，用户可快速调用期望的功能。此外，与图3中的实例相比，使用较小的屏幕区域来显示辅助信息，从而可减少屏幕显示的复杂性，并且还可更有效地使用整个屏幕。

[信息处理设备100的功能配置]

接下来，将参照图8描述能够实现上述各个显示配置的信息处理设备100的功能配置。图8为说明性图示，示出了根据本实施例的信息处理设备100的功能配置。通过例如移动信息终端、移动电话、移动游戏机、广播设备、PC、汽车导航***、信息家用设备等来实现信息处理设备100的功能。之后将参照图11详细描述信息处理设备100的硬件配置实例。

如图8所示，信息处理设备100主要包括：显示输入单元102、方向检测单元104、手势搜索单元106、存储单元108、辅助信息显示单元110、显示控制单元112和应用程序激活单元114。

在图11所示的硬件配置中，方向检测单元104的功能由CPU 902基于记录在ROM 904、RAM 906、存储单元920或可拆卸记录介质928中的程序来实现。手势搜索单元106、辅助信息显示单元110、显示控制单元112和应用程序激活单元114的功能以类似的方式实现。此外，通过例如RAM 906、存储单元920或可拆卸记录介质928的功能来实现存储单元108的功能。另外，例如，通过组合输入单元916和输出单元918的功能来实现显示输入单元102的功能。

(显示输入单元102)

显示输入单元102由显示单元132和输入位置检测单元134构成。显示输入单元102的功能例如通过触控面板来实现。在此情况下，显示单元132的功能和输入位置检测单元134的功能均通过触控面板来实现。还可通过组合显示器和触控垫来实现显示输入单元102的功能。在此情况下，通过显示器来实现显示单元132的功能，而通过触控垫来实现输入位置检测单元134的功能。然而，本实施例并非局限于这些实例。

在显示单元132中显示各种信息。例如，在显示单元132中显示地图信息、交通信息、视频和广播节目的节目信息、应用程序的激活屏、游戏的执行屏以及动态图像和静态图像的显示屏。此外，还在显示单元132中显示用户输入的手势的轨迹以及与基于所述轨迹搜索的候选手势有关的信息。将手势的整个形状(图3)、箭头、缩减的候选手势的整个形状、功能或操作结果的字符信息(图6)等显示为与在显示单元132中所显示的候选手势有关的信息。通过显示控制单元112来控制这些显示内容。

当用户输入手势时，输入位置检测单元134检测输入位置的信息。例如，若显示输入单元102为触控面板，则输入位置检测单元134检测由用户手指等在显示单元132的屏幕上经过的位置。另一方面，若显示输入单元102被构成为显示器和触控垫的组合，则输入位置检测单元134检测由用户手指等在触控垫上经过的位置。输入位置检测单元134还可被构成为用于检测通过鼠标绘制的轨迹的位置信息的装置。将输入位置检测单元134以此方式检测到的关于输入位置的信息输入到方向检测单元104和应用程序激活单元114。

(方向检测单元104)

基于从输入位置检测单元134输入的关于输入位置的信息，方向检测单元104检测用户输入的移动方向。例如，方向检测单元104计算在连接多个输入位置的线与预定参考方向之间形成的角度。此时，若输入位置移动预定的距离，则方向检测单元104计算在连接移动前和移动后的输入位置的线与参考方向之间形成的角度。必要时，根据手势输入屏幕的屏幕尺寸、在库中注册的手势形状的复杂性等来设置所述预定的距离。将与以此方式计算的角度有关的信息作为示出用户输入的移动方向的方向信息输入手势搜索单元106。例如，将与图4所示的示出移动方向的变化的角度有关的信息输入手势搜索单元106。

(手势搜索单元106)

当从方向检测单元104输入示出用户输入的移动方向的方向信息时，手势搜索单元106搜索与该方向信息相匹配的候选手势。此时，手势搜索单元106参考记录在存储单元108中的手势信息并提取与该输入方向信息相匹配的候选手势。存储单元108中记录有如图5或图7所示的库。在所述库中，形成手势的方向向量的方向和输入顺序相关联以用于注册。

因此，手势搜索单元106相继地参考输入方向信息和在库中注册的各个手势的方向向量以缩减候选手势。此时，每次针对一系列的手势输入而输入方向信息时，手势搜索单元106缩减候选手势。即，获得对应于每个操作步骤而缩减的候选手势作为搜索结果。所述搜索结果被输入辅助信息显示单元110。

(辅助信息显示单元110)

辅助信息显示单元110从存储单元108中获得与从手势搜索单元106输入的搜索结果对应的辅助信息，并将该辅助信息输入显示控制单元112。除了所述库之外，存储单元108还具有与注册于其中所存储的库中的各个手势对应的辅助信息。所述辅助信息包括，例如，示出手势的整个形状的显示对象或经缩减的显示对象、示出方向向量的方向的箭头对象以及示出每个手势的功能或操作结果的字符信息。

例如，在其中将手势的整个形状显示为辅助信息的显示模式中，如图3所示，辅助信息显示单元110根据输入的搜索结果将示出手势的整个形状的显示对象输入到显示控制单元112。另一方面，在其中将手势的部分形状显示为辅助信息的显示模式中，如图6所示，辅助信息显示单元110根据输入的搜索结果将显示方向向量的箭头对象输入到显示控制单元112。此时，辅助信息显示单元110可被配置为将示出手势的整个形状的经缩减的显示对象和示出手势的功能或操作结果的字符信息输入显示控制单元112。

(显示控制单元112)

显示控制单元112为用于执行控制使得在显示单元132中显示任何信息的装置。例如，显示控制单元112控制显示单元132，使得显示从辅助信息显示单元110输入的辅助信息。显示控制单元112还使得显示单元132显示如图3所示的应用程序的激活屏幕或输入手势的轨迹。此外，显示控制单元112使显示单元132在显示单元132的屏幕上显示弹出式窗口或分割该屏幕中的显示区域。

(应用程序激活单元114)

当用户选择显示于显示单元132中的候选手势等时，应用程序激活单元114激活对应于该手势的应用程序。例如，若选择显示于图3中的候选者显示屏中的候选A，则应用程序激活单元114从存储单元108中读取“显示停车区”的应用程序，并激活该应用程序。接着，应用程序激活单元114将与所述应用程序的激活屏幕有关的信息输入显示控制单元112。

例如，如图10所示，该应用程序包括用于发送和接收电子邮件的邮件发送器A12以及用于查看主页的网络浏览器A14。此外，存储单元108可存储情景模式设置应用程序A16以设置情景模式，以及照相机应用程序A18以提供照相机功能。此外，存储单元108可存储帮助搜索应用程序A20以搜索帮助信息，以及天气预报显示应用程序A22以显示天气预报。此外，存储单元108可存储TV广播应用程序A24以接收和显示TV广播，以及音乐播放器A26。

这些应用程序与注册于库中的各个手势相关联，且应用程序激活单元114激活与用户所选的手势对应的应用程序。此时，应用程序激活单元114通过从存储单元108中读取应用程序的可执行文件和用于激活应用程序的数据来激活该应用程序。在被显示于显示单元132之前，将被激活的应用程序的屏幕信息输入到显示控制单元112中。应注意，上述描述中使用了“应用程序”的表述，然而本文中的“应用程序”是指用于向用户提供信息的任何信息模式。

上文已描述了根据本实施例的信息处理设备100的功能配置。如上所述，通过从用户输入的手势的轨迹来检测用于用户的各个操作步骤的轨迹的方向信息，信息处理设备100具有实时地提供与方向信息相适应的辅助信息的功能。向用户提供的辅助信息包括显示于各个操作步骤中的候选手势的全部形状或部分形状以及与各个候选手势相关联的功能或操作结果。

因此，在手势输入过程中，用户可相继地参考辅助信息，由此用户不必正确地记住手势的形状。因此，即使要被注册的手势被定义为复杂的形状，用户也能够以相对较高的精确度输入该手势，使得可减少对手势的错误辨别。因为可实现这样的效果，所以相反地，可定义形状复杂的手势。因此，通过手势可定义大量的操作，使得可显著改善其中输入装置受到限制的电子设备中的用户的可操作性。

[对辅助信息的显示处理的流程]

其次，将参照图9来描述与根据本实施例的用于显示辅助信息的方法相关的显示处理所涉及的一系列流程。图9为说明性图示，示出了根据本实施例的用于显示辅助信息的方法。通过上述信息处理设备100所具有的功能来实现本文所示的一系列的处理。

如图9所示，首先，从输入手势的轨迹获得关于移动方向的信息(S102)。其次，对照库中的信息来查询所获得的关于移动方向的信息(S104)。此处，所述库中的信息为与沿注册于该库中的各个手势的各个顺序的方向向量有关的信息。其次，确定所获得的关于移动方向的信息是否与所述库中的信息相匹配(S106)。若确定所获得的信息与所述库中的信息相匹配，则处理进行到步骤S108。若确定所获得的信息与所述库中的信息不匹配，则处理进行到步骤S110。

在步骤S108中，显示与在步骤S106中确定的用以匹配的手势相对应的辅助信息(S108)。若多个手势与所获得的关于移动方向的信息相匹配且将它们提取为候选，则将这些候选者的全部或部分显示为辅助信息。接着，在根据用于显示辅助信息的方法的一系列处理终止之前，更新屏幕显示(S110)。

[具体实例]

在本文中，将参照图10来示出在通过使用信息处理设备100的功能来应用用于显示上述辅助信息的方法时实现的具体实例。图10为根据本实施例的信息处理设备100的操作的说明性图示。

在图10中，示出了其中可显示任何信息以及各种应用程序A12、A14、A16、A18、A20、A22、A24和A26的手势输入屏幕A10。对于每个应用程序，示出了相关联的各个手势J12、J14、J16、J18、J20、J22、J24和J26。图10中的实例示出了其中在某一任意应用程序A10活动的同时用户激活另一应用程序的情形。所述任意应用程序A10为图10所示的应用程序之一或任何其它应用程序。

近年来，电子设备中安装了多种多样的应用程序。我们具有这样的印象，即邮件发送器A12、网络浏览器A14、照相机A18、TV播放A24以及音乐播放器A26已成为必要的功能。然而，若在一个应用程序活动的同时尝试激活另一应用程序，则提示用户在激活另一应用程序之前，终止该活动的应用程序。例如，若在写邮件的同时想要查询明天的天气，则用户必须通过保存未完成的邮件来终止邮件发送器A12，随后激活天气预报A22。

在具有较大显示屏幕的PC中，通过保持显示于屏幕上的多个窗口，可容易地切换和使用多个应用程序。然而，若屏幕上只能显示一个或很少的应用程序，则应用程序之间的移动操作将成为用户的严重负担。然而，使用本实施例中的技术，只要通过从任何应用程序的屏幕上输入一个手势，即可激活期望的应用程序。此外，当应当恢复初始显示时，用户只要通过输入一个手势即可完成。

如果使用本实施例中的技术，则即使手势的形状较为复杂，也很少出现错误辨别，由此可定义手势的形状使得用户能够容易地回忆起各个应用程序的功能或操作结果。因此，通过直觉的操作即可切换到期望的应用程序，这可减少操作过程，并因此可实现高速的应用程序切换处理。

例如，如图10所示，形状类似于“@”标记的手势J12与邮件发送器A12相关联。形状类似于“β”和“www”的手势J14与网络浏览器A14相关联。类似地，心形标记J16与情景模式设置A16相关联，形状类似于“α”和“c”的手势J18与照相机A18相关联，而形状类似于“？”的手势J20与帮助搜索A20相关联。此外，伞形标记J22与天气预报A22相关联，形状类似于“8”的手势J24与TV广播相关联，而音符标记J26与音乐播放器A26相关联。

尽管图10所示的内容只是一个实例，然而由此用户可通过暗示可定义的应用程序的手势的形状而免于正确地记住手势的负担，从而可方便地使用手势。通过源于根据本实施例的辅助信息的显示技术而实现对复杂形状的手势的辨别精确度的改善，可获得此便利性的改进效果。因此，本实施例减少了用户负担，由此可提供对用户高度便利的操作***，并且还能够实现形状复杂的手势在诸多场景中的使用。

[信息处理设备100的硬件配置]

使用可实现上述功能的计算机程序，例如，通过图11中所示的硬件配置，可实现信息处理设备100所具有的各个组件的功能。图11为说明性图示，示出了能够实现信息处理设备100的各个组件的功能的硬件配置。信息处理设备100的形式是任意的，例如，其中包括诸如个人计算机、移动电话、PHS(个人手持式电话***)和PDA(个人数字助理)的移动信息终端的形式，以及游戏机和各种信息家用设备的形式。

如图11所示，所述信息处理设备主要包括：CPU(中央处理器)902、ROM(只读存储器)904、RAM(随机存取存储器)906、主机总线908、桥接器910、外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924和通信单元926。

CPU 902用作算术处理单元或控制单元，并且基于记录在ROM 904、RAM 906、存储单元920或可拆卸记录介质928上的各种程序来控制组成元件的整个操作或这些组成元件的一些操作。ROM904存储例如加载在CPU902上的程序，或者用于算术运算中的数据等。RAM906临时或永久存储例如载入CPU902的程序或在程序的执行过程中任意变化的各种参数等。这些组成元件通过例如可执行高速数据传输的主机总线908彼此连接。例如，主机总线908连接到外部总线912；在外部总线912中，通过桥接器910的数据传输速度相对较低。

输入单元916例如为操作单元，例如鼠标、键盘、触控面板、按钮、开关或杆。输入单元916可为远程控制单元(所谓的遥控器)，其可通过使用红外线或其它无线电波来发送控制信号。输入单元916包括输入控制电路等，用以通过输入信号向CPU902发送使用操作单元输入的信息。

输出单元918为能够在视觉或听觉上向用户通知已获得的信息的设备，例如：显示设备(诸如CRT(阴极射线管))、LCD(液晶显示器)、PDP(等离子体显示板)或ELD(电发光显示器)、音频输出设备(例如扬声器或耳机)、打印机、移动电话或者传真机。

存储单元920为用于存储各种数据的设备，且包括，例如硬盘驱动器(HDD)等的磁存储设备、半导体存储设备、光学存储设备或磁光存储设备等。

驱动器922为可读取记录在如磁盘、光盘、磁光盘或半导体存储器等的可拆卸记录介质928上的信息并向可拆卸记录介质928中写入信息的设备。可拆卸记录介质928是例如DVD介质、蓝光介质、HD-DVD介质、紧凑式闪存器(CF；compactFlash)(注册商标)、记忆棒或SD记忆卡(安全数字记忆卡)等。当然，可拆卸记录介质928可以是，例如，其上安装有非接触式IC芯片的IC卡(集成电路卡)、电子设备等。

连接端口924为诸如USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机***接口)、RS-232C端口的端口，或者连接有外部连接设备930的光学声频终端。外部连接设备930例如为打印机、移动音乐播放器、数字照相机、数字摄像机和IC记录器等。

通信单元926是要连接到网络932的通信设备。例如，可使用用于有线或无线LAN(局域网)的通信卡、蓝牙(注册商标)或WUSB(无线USB)、光学通信路由器、ADSL(非对称数字用户线)路由器、各种通信调制调解器等。连接到通信单元926的网络932包括有线或无线连接的网络。例如，可使用Internet、家用LAN、红外通信、广播、卫星通信等。

[概述]

最后，将简要地概述本实施例中的信息处理设备所具有的功能配置以及通过所述功能配置实现的操作效果。本实施例中的信息处理设备所具有的功能配置可表述如下。

例如，可通过包括方向检测单元、手势搜索单元和辅助信息显示单元来构成所述信息处理设备。所述方向检测单元用于在输入手势时检测手势输入过程中绘制的轨迹的绘制方向(或输入位置的移动方向)。所述手势搜索单元用于从多个预定手势中搜索与所述方向检测单元检测到的轨迹的绘制方向相匹配的手势。所述辅助信息显示单元用于在每次所述方向检测单元检测到轨迹的绘制方向时将手势搜索单元的搜索结果作为辅助信息显示在屏幕上。

通过上述配置，所述信息处理设备可使用方向检测单元从用户输入的手势的轨迹来检测移动方向，并使用手势搜索单元相继缩减与其移动方向匹配的候选手势。此外，所述信息处理设备可使用辅助信息显示单元相继地向用户提供与通过缩减搜索提取的候选手势对应的辅助信息。因此，用户在参考在手势输入过程中相继显示的辅助信息的同时可正确地输入手势。

由于用户不必正确地记住手势的形状，因此可减轻用户的负担。此外，可正确地输入手势，从而可提高手势的辨别精确度。于是，可定义形状复杂的手势。由此，可定义用户从其形状能够容易地回忆起应用程序或显示信息的手势。通过以上述方式定义手势，用户可容易地记住手势与操作结果等之间的对应关系，得到平稳的手势输入，并可减少获得操作结果之前的时间。

所述辅助信息显示单元可被配置为将通过所述手势搜索单元的搜索而提取的所述预定手势的完整图片显示为辅助信息。如上述，由于能够通过与应用程序功能、操作结果或显示内容相关联来定义手势的形状，因此仅通过将以上述方式定义的手势的完整图片显示为辅助信息，用户即可容易地输入手势。若显示此辅助信息，则，首先，用户可容易地从手势的整个形状来确定期望的手势。其次，从手势的整个形状，用户可容易地识别移动的方向。因此，用户可即刻判断出接下来将输入的方向。

所述手势搜索单元可被配置为从与相关于屏幕中的显示信息的应用程序相关联的预定手势中搜索与轨迹的方向相匹配的手势。在大多数情况下，用户希望激活与屏幕中所显示的内容相关的应用程序。因此，优先从与显示信息相关的应用程序所关联的手势中提取与输入轨迹的方向相匹配的候选手势。通过此配置，用户将能够更快地获得期望的操作结果。

所述信息处理设备可进一步包括：应用程序激活单元，其在由所述辅助信息显示单元所显示的预定手势的完整图片被选择时激活与所述预定手势相关联的应用程序。通过此配置，可从基于用户输入的轨迹方向而缩减搜索的候选手势中选择期望的手势。如上述，由于能够以使得能够回忆起操作结果等的方式来定义手势的形状，因此，在显示被缩减后显示的候选手势之后，用户能够容易地找到期望的手势。此时，若所述信息处理设备被配置成能够通过用户激活应用程序，则用户将能够更快地获得期望的操作结果。

所述辅助信息显示单元可被配置为仅将在通过所述手势搜索单元的搜索而提取的预定手势的完整图片的轨迹的尾边沿之后的部分轨迹(下一次和随后的移动方向)显示为辅助信息。例如，必须仅示出与用户接下来要输入的操作步骤对应的移动方向，作为继所述轨迹的尾边沿之后的部分轨迹。由于采用了上述显示，即使用户没有正确地记住手势的形状，通过跟随相继显示的辅助信息，用户仍然能够正确地输入手势。与显示手势的整个形状的情况相比，可减少显示区域，使得即使在显示屏较小的情况下，整个显示区域也可被有效地使用。

所述辅助信息显示单元可被配置为通过与所显示的作为辅助信息的部分轨迹相关联，将与对应于通过手势搜索单元的搜索所提取的预定手势的应用程序有关的信息显示为辅助信息。若仅将部分轨迹显示为辅助信息，则优选地向用户呈现根据辅助信息获得的作为输入结果的操作结果等。使用此配置，当从多个显示的部分轨迹中选择对应于期望手势的部分轨迹时，用户可参考所显示的辅助信息。

，本领域的技术人员应当理解，可以根据目前的设计和其他因素来进行各种修改、组合、子组合以及变更，只要它们在所附权利要求及其等同内容的范围内。

本申请包含与2008年7月1日提交日本专利局的日本优先权专利申请JP 2008-172407中所公开的主题相关的主题，这里通过引用结合其全部内容。

Claims (7)

1.一种信息处理设备，包括：

方向检测单元，其在输入手势时，检测手势输入过程中绘制的轨迹的绘制方向；

手势搜索单元，其从多个预定手势中搜索与由所述方向检测单元检测到的轨迹的绘制方向匹配的手势；以及

辅助信息显示单元，其在每次所述方向检测单元检测到轨迹的绘制方向时，将所述手势搜索单元的搜索结果作为辅助信息显示在屏幕上。

2.如权利要求1所述的信息处理设备，其中，所述辅助信息显示单元将通过所述手势搜索单元的搜索而提取的所述预定手势的完整图片显示为所述辅助信息。

3.如权利要求2所述的信息处理设备，其中，所述手势搜索单元从与屏幕中的显示信息相关的应用程序所关联的预定手势中搜索与所述轨迹的绘制方向匹配的手势。

4.如权利要求3所述的信息处理设备，进一步包括：应用程序激活单元，其在所述辅助信息显示单元所显示的预定手势的完整图片被选择时，激活与所述预定手势相关联的应用程序。

5.如权利要求1所述的信息处理设备，其中，所述辅助信息显示单元将与由所述手势搜索单元在搜索处理中提取的预定手势对应的并且继所述轨迹的尾边沿之后的绘制方向显示为所述辅助信息。

6.如权利要求5所述的信息处理设备，其中，所述辅助信息显示单元通过与继所述轨迹的尾边沿之后的所述绘制方向相关联来显示与对应于由所述手势搜索单元在搜索处理中提取的预定手势的应用程序有关的信息。

7.一种用于显示辅助信息的方法，包括以下步骤：

在输入手势时，检测手势输入过程中绘制的轨迹的绘制方向；

从多个预定手势中搜索与通过方向检测步骤检测到的所述轨迹的绘制方向相匹配的手势；以及

在每次通过方向检测步骤检测到轨迹的绘制方向时，将所述手势搜索步骤的搜索结果作为辅助信息显示在屏幕上。

Images