CN102362251B - 用于提供对应用程序的增强控制的用户界面 - Google Patents

用于提供对应用程序的增强控制的用户界面 Download PDF

Info

Publication number
CN102362251B
CN102362251B CN200980157322.4A CN200980157322A CN102362251B CN 102362251 B CN102362251 B CN 102362251B CN 200980157322 A CN200980157322 A CN 200980157322A CN 102362251 B CN102362251 B CN 102362251B
Authority
CN
China
Prior art keywords
touch
mobile device
application program
touch input
gui
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980157322.4A
Other languages
English (en)
Other versions
CN102362251A (zh
Inventor
基思·沃特斯
迈克·西拉
杰伊·塔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of CN102362251A publication Critical patent/CN102362251A/zh
Application granted granted Critical
Publication of CN102362251B publication Critical patent/CN102362251B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种用于对移动设备上运行的应用程序(AP)施加控制的方法，所述方法包括：在所述移动设备的触控面板上显示所述AP的图形用户界面(GUI)；捕获在所述GUI的一部分上的触摸输入；所述方法进一步包括，当识别到所述触摸输入为预定的第一类型的触摸输入时：施加关联至所述GUI的所述一部分的第一AP控制；监控所述移动设备的空间运动的发生；响应于空间运动的捕获来施加与所述GUI的所述一部分相关联的第二AP控制。

Description

用于提供对应用程序的增强控制的用户界面
技术领域
本发明概括地涉及移动设备或手机，更具体地，涉及处理基于触摸和动作的输入的移动设备
背景技术
相对于台式机而言，手机具有固有地有限的图形用户界面(GUI)。小屏幕和微小键盘是适于装入口袋的手机所特有的。目前，所谓的智能电话引入了触摸屏，试图简化对手机的用户体验。
如今对于移动设备通常可见的另一输入形式是动作输入：可以通过向移动设备施加可辨认的手势来控制移动设备上运行的应用程序。使用映射界面或解释器将手势关联至用于控制该应用程序的命令。这些设备例如可以从申请人的US2005/212751或US2007/174416中得知。
一些智能电话还提出了将触摸与动作这两种类型的输入相关联，以便将一系列连续的控制施加到应用程序并提供交互的且易于使用的用户界面。例如，关于图片库(或相册)应用，用户可以在设备显示器上显示用户界面(UI)，示出来自其图片库的微缩图。通过第一触摸输入，用户可以选择微缩图之一以缩放相应的图片。如果该图片被拍摄为横向而缩放将其显示于纵向，那么将移动设备向侧面旋转以将屏幕转至横向将是有趣的。移动设备中的动作检测器注册该旋转并适当地旋转该图片。在此示例中，触摸输入-动作输入序列带来了对图片库应用的增强控制。
然而由于这种序列完全专用于图片库应用，因此具有有限的用途。此外，随着手机性能的增加，用户可以获得越来越复杂的应用。
现有序列的另一示例是对iPhoneTM上的SafariTM应用的控制。在iPhoneTM用户界面上呈现给用户若干应用图标，用户能够触摸SafariTM图标以开始该浏览器应用。根据设备的方向，浏览器可以调整成纵向或横向模式。然而，触摸输入以启动SafariTM、动作输入以进入例如横向模式，这两个输入是不相关联的。事实上，当用户任何时候转动智能电话时，使用动作输入对SafariTM的显示模式的控制都是独立的，并且不管应用是否刚刚开始，显示器都将在横向和纵向模式之间变化。
当今，应用设计者被强加巨大的束缚以提出需要有限但直观的用户输入并易于控制的应用。
本文以上的现有技术都没有提供一种***、方法、用户界面和设备可以对在移动设备上运行的应用程序提供灵活的且交互的控制。
发明内容
本***的目标是克服现有技术中的不足和/或对其作出改进。
本***涉及一种用于对移动设备上运行的应用程序(AP)施加控制的方法，所述方法包括：
-在所述移动设备的触控面板上显示所述AP的图形用户界面(GUI)；
-捕获在所述GUI的一部分上的触摸输入；
所述方法进一步包括，当识别到所述触摸输入为预定的第一类型的触摸输入时：
-施加与所述GUI的所述一部分相关联的第一AP控制；
-监控所述移动设备的空间运动的发生；
-响应于空间运动的捕获来施加第二AP控制。
在本***中，由于丢弃了其它类型的输入，仅有指定类型的输入将通过该指定类型的输入或跟随动作控制来引起AP控制。例如短暂触摸(指定类型提供的触摸输入与短暂触摸不同)的其它类型的触摸输入仅将引起对AP的传统控制。通过当第一类型的触摸输入被识别时触发的触摸-动作输入的关联，可以启动AP的特定模式，允许增强的AP控制。比如通过简单触摸、长触摸或动作输入的传统控制提供了在与用户交互方面有限的AP控制。由于本***，用户可以通过已知的传统途径以及本文描述的新颖的触摸-动作途径来控制相同的AP。
本申请公开的***还涉及一种用于向移动设备上运行的应用程序(AP)施加控制的移动设备，所述移动设备设置为：
-在所述移动设备的触控面板上显示所述AP的图形用户界面(GUI)；
-捕获在所述GUI的一部分上的触摸输入；
所述移动设备进一步设置为当所述触摸输入被识别为预定第一类型的触摸输入时：
-施加与所述GUI的所述一部分相关联的第一AP控制；
-监控所述移动设备的空间运动的发生；
-响应于空间运动的捕获施加第二AP控制。
本***还涉及一种应用，该应用包含在计算机可读媒介中并且设置为向在移动设备上运行的应用程序(AP)施加控制，所述应用包括：
-在所述移动设备的触控面板上显示所述AP的图形用户界面(GUI)的指令；
-捕获在所述GUI的一部分上的触摸输入的指令；
所述应用进一步设置为当所述触摸输入被识别为预定第一类型的触摸输入时：
-施加与所述GUI的所述一部分相关联的第一AP控制的指令；
-监控所述移动设备的空间运动的发生的指令；
-响应于空间运动的捕获施加第二AP控制的指令。
附图说明
参照附图通过实施例更详细地解释本发明，在附图中：
图1示出了依照本***的一个实施方式的移动设备；
图2A和2B示出了依照本***的一个实施方似乎的示例性触摸-动作事件；
图3A-3F示出了依照本***的一个实施方式的移动设备的空间运动的示例性图解说明；
图4示出了依照本方法的一个实施方式的示例性实现；
图5A和5B示出了依照本***的一个实施方式的示例性实现；
图6示出了依照本方法的一个实施方式的示例性实现；
图7A-7I示出了根据本***的一个实施方式控制的好友列表应用程序的示例性图解说明；和
图8示出了依照本***的另一实施方式的示例性实现。
具体实施方式
下面是示意性实施方式的描述，当结合以下附图进行描述时，示意性实施方式将展示上面提到的特征和优势，以及进一步的特征和优势。在以下描述中，为了解释而不是限制，阐述了诸如架构、界面、技术、部件特性等的说明性的细节。但是，对于本领域的技术人员应该显而易见的是，背离这些细节的其它实施方式仍应该被理解为在所附的权利要求的范围内。而且，为了清晰起见，省略了公知设备、电路、工具、技术和方法的详细描述，以便不使本***的描述模糊。应当明确理解的是，列入附图是出于说明性的目的，附图并不代表本***的范围。在不同的附图中的相似的参考标号指示相似部件。
为了简化本***的描述，本文所使用的术语“操作性的耦合”、“耦合”及其构词指的是设备和/或设备部分之间的连接，该连接使依照本***的操作能够进行。例如，操作性的耦合可以包括两个或多个设备之间的一个或多个有线连接和/或无线连接，其可以使设备和/或设备部分之间能够产生单向和/或双向通信路径。例如，操作性的耦合可以包括有线和/或无线耦合，以使内容服务器和一个或多个移动设备之间能够进行通信。依照本***的另一操作性耦合可以包括两个或多个移动设备之间的一个或多个耦合，例如通过依照本***的实施方式的内容服务器等网络源的耦合。操作性的耦合还可涉及程序的部分之间的交互，与其说是描述了物理上的连接，不如说是描述了基于交互的耦合。
本文所使用的术语“呈现”及其构词指的是提供例如数字媒介或图形用户界面(GUI)等内容，以使得该内容可以被至少一个用户感官(例如视觉或听觉)所感知。例如，本***可以在触摸显示设备上呈现用户界面以使得其可以被用户看到并与用户进行交互。术语“呈现”还可以包括在显示类似于如映射图像或者GUI(该GUI包括用于移动设备上的浏览器应用的服务器侧上产生的多个图标)之前，产生GUI需要的所有动作。
本文所描述的***、设备、方法、用户界面等解决了现有技术***中的问题。依照本***的一个实施方式，移动设备提供了一种通过触摸和动作输入来控制应用程序的GUI。
依照本***的实施方式，可以由在处理器上运行的应用来提供图形用户界面(GUI)，该应用诸如移动设备的计算机***的一部分和/或由联网设备(例如托管该应用的基于网络的服务器)提供。可以通过处理器在移动设备的显示设备上显示所提供的虚拟环境，该显示设备即触摸感应面板(触控面板)，用户可以使用该触控面板来提供若干不同类型的触摸输入。
GUI是一种类型的用户界面，其允许用户与例如计算机、掌上装置、家用设备、办公设备等电子设备进行交互。GUI通常用于呈现对操作***、应用等的各种视觉表示进行描述的视觉图像和文本图像，并且实现在处理器/计算机上，包括呈现在显示设备上。而且，GUI可以代表程序、文档和具有图形图像、对象、或向量表示的操作性函数。该图形图像可以包括窗口、字段、对话框、菜单、图标、按钮、光标、滚动条、贴图等。这些图像可以以预定布局设置，或者动态地(由设备自身或者由基于网络的服务器)产生以服务于用户进行的特殊动作。通常，用户可以选择和/或激活不同的图形图像以发起与之关联的功能和任务，即，控制。通过一个实施例，用户可以选择打开、关闭、最小化或最大化窗口的按钮，或者启动特定程序的图标。通过另一实施例，GUI可以提供包括窗口环境的典型用户界面，并因此还可以包括在窗口环境中典型提供的菜单项、下拉菜单项、弹出式窗口等，例如可以为在微软公司提供的WindowsTM操作***GUI和/或例如由苹果公司提供的iPhoneTM、MacBookTM、iMacTM等上的OSXTM操作***GUI和/或其它操作***中提供的那些。
在本文之后的描述中，应用程序(AP)或者软件可以看作通过计算机操作的用来执行用于用户或者其它应用程序的一个或多个功能或任务的任意工具。为了与AP交互并控制AP，可以将AP的GUI显示在移动设备显示器上。
图1是在本***中使用的示例性移动设备110的图解说明。移动设备110包括显示设备111、处理器112、该显示设备的控制器113、动作检测器120和输入设备115。
在本***中，在GUI上呈现的应用程序的用户交互与操控可以使用通过以下各项而获得：
-显示设备111或屏幕，其目前是与控制所显示的界面的处理器112操作性地耦合的触控面板；和
-动作检测器120，其也操作性地耦合至处理器112。
处理器112可以控制显示设备111上的GUI的产生和呈现(产生和操控GUI所需的信息完全驻留于移动设备110上)，或者当GUI被远程设备(即联网设备)提供时简化GUI的呈现(在一些实施例中包括GUI本身在内的信息通过网络连接而获得)。
触控面板111可以看作允许与用户手指或者例如手写笔的其它设备进行交互的输入设备。例如，这种输入设备可以用于对AP的GUI的各个部分进行选择。从用户的触摸所接收的输入被发送至处理器112。触控面板被配置成检测触摸(其定位)并将其报告给处理器112，处理器112可以依照应用程序和当前显示的GUI来解释这些触摸。例如，处理器112可以依照特定的触摸发起任务，即，对AP的控制。
控制器113，即，专用处理器，可以用于本地地处理触摸并且减少对计算机***的主处理器112的要求。触控面板111可以基于感测技术，该感测技术包括但不限于电容式感测、电阻式感测、表面声波感测、压力感测、光学感测等等。下文中，为了简化，将参照用户的手指触控面板111来进行说明，例如手写笔等其它设备也可以用来代替用户手指。
触摸界面
在本***中，可以通过触控面板111来监控不同类型的触摸输入。例如，触控面板111可以基于单点感测或者多点感测。单点感测仅能够辨别单个触摸，而多点感测能够辨别在相同时间出现的多个触摸。
在本***中，一旦捕获并识别了触摸输入的类型，被捕获的触摸输入就可被称为触摸事件(或者动作)，其允许向AP施加控制。对于单点感测，可以考虑用触摸输入的持续时间和/或频率来辨别不同类型的触摸事件。本文所图解说明的触摸输入之一可以视为用单个手指触摸屏幕上的一点并将其保持住，或者可称为“截取(clutch)”屏幕。可以通过手指按压屏幕花费的时间量和手指从屏幕提起的时间量，将截取屏幕与传统的触摸输入分辨开来。仅在手指没有在给定的时间阈值CLUTCH_THRESHOLD之前从屏幕上该点或该部分释放的情况下捕获到截取事件。
实际上，例如可以在大约CLUTCH_THRESHOLD＝0.5秒之后发起截取事件，从而能够感觉其到比触发已知***中的传统事件的在屏幕上的传统“短暂触摸”时间更长。然而，考虑到用户体验，CLUTCH_THRESHOLD不应该太长而使用户在AP控制被施加之前空闲地等待。实际上，应该在例如1或2秒之前发起截取事件。
触摸输入的实施例
图2A中示出了触摸事件的图解。触摸状态为1或者0，对应于屏幕是否被按压。短暂触摸205图解说明为持续时间比预定的持续时间CLUTCH_THRESHOLD短的触摸事件。双触摸210是包括两个短暂触摸的触摸事件，该两个短暂触摸之间的时间间隔短于另一阈值DOUBLE_TOUCH_THRESHOLD(如图2A所示)。截取事件220或230图解说明为持续时间比CLUTCH_THRESHOLD长的触摸事件。如本文之后图解说明的，截取事件的持续时间可以比CLUTCH_THRESHOLD长，并且截取事件的持续和终止可以相应地触发不同的序列。
能够在本***中使用的触摸输入的其它类型可以例如为在两个位置上的触摸、手指在屏幕上的滑动、双触摸……或者对本领域技术人员容易得到的任何其它类型的触摸输入。
动作界面
返回参见图1，本***还包括动作检测器120以产生表示移动设备动作的输出，例如原始数据，该输出可以通过处理器112处理。动作检测器120可以例如包括多方向加速度计或者3D加速度计。这种动作检测器能够检测移动设备的旋转和平移。3D加速度计的使用允许解决一些实施例中的移动设备运动的歧义。动作检测器120还可以包括照相机、测距仪(例如超声或激光测距仪)、罗盘(磁性检测)和/或陀螺仪中的一个或多个。
在本***中，可以通过由嵌入移动设备110中的动作检测器120可检测的空间运动(或移动)的整个范围提供的信息来控制AP。本文以下用于描述移动设备的术语是将设备的触控面板111的2维坐标空间延伸到标准3维笛卡尔坐标***中的术语。虽然触控面板的坐标***可以依赖于作为计量单位的屏幕像素，但是当使用加速度计时，动作检测器的坐标***将依赖于重力单位(G)。在本文以下的描述中，将使用3D加速度计对本***进行说明，但是本文中的教导可以容易转移至本领域技术人员使用的任何动作检测器。如图3A图解说明的，其示出了用户的左手握住移动设备110，面板或屏幕的水平方向为X轴，并且面板或屏幕的竖直方向为Y轴。屏幕的左上角例如可以选择作为其零点。图3A示出了相对于该设备的这样的坐标系。
静止放置在平整表面上并面向用户的移动设备沿着其X或Y轴的加速度为零。设备的屏幕面向Z轴，在屏幕所面向的方向上的运动定义为正。因此，静止放置在平整表面上的设备沿着Z轴的加速度为-1，代表地球引力的牵引。
基于图3A中示出的参照系，将设备垂直于表面在X轴方向倾斜到右边缘并沿着Y轴旋转会导致加速度为1x、0y、0z。将该倾斜反转至向左会导致加速度为-1x、0y、0z。同样地，将设备垂直于主表面(屏幕)在Y轴方向倾斜到其底部边缘并沿着X轴旋转会导致加速度为0x、1y、0z。将该倾斜反转至顶部边缘会导致加速度为0x、-1y、0z。
沿着任何轴的测量必然会超出-1到1的范围。在表面上面朝下静止的设备的加速度为0x、0y、1z。如果其以相同的方式定向朝着地球自由下落，那么其加速度为0x、0y、2z。用户抓取(snap)设备更有力地朝向地球可以超过2x。
检测到的移动设备110运动可以是上下摇晃(pitch)或左右倾斜(tilt)，其是移动设备相对于参考平面的具有符号的角度测量值。为了图解说明，参考平面是直立的(即，屏幕面向用户，尽管其可为任意稳定状态的位置)。该参考平面可以对应于稳定状态或中间位置(在一些示例性实施方式中可选地，由于低于阈值检测水平的较小运动不是合法输入，因此可将其忽略，从而偏离实际的空间动作)。利用在图3A中所示的具有X、Y和Z轴的笛卡尔坐标，向上和向下的运动将沿着Y轴检测，右向左的运动沿着X轴检测，向前和向后的运动沿着Z轴检测。倾斜或摇晃例如可以沿着X和Y轴检测。图3B示出了绕图3A中的Y轴倾斜的实施例。
在本***中，当捕获了给定类型的触摸输入时，移动设备的空间运动的发生将被监测。空间运动可以通过相对于一段时间上的中间位置、或者相对于在开始动作监测时移动设备所处的位置在加速度上的任何后续的变化来定义。可以引入运动的阈值来排除不希望作为输入的移动设备的较小运动，并且加速度的阈值可以排除在该较长的时间内发生的比距离阈值更大的运动，这些运动被判断为不是有意义的输入。动作或者空间运动也可以被称为动作输入，而被捕获的空间运动将被称为动作事件或者动作活动。
倾斜和抓取动作的实施例
在本说明书中，术语“倾斜”和“抓取(snap)”指的是握住移动设备的人手的姿势。术语“倾斜”用于描述沿着X或Y轴的大致小于1G的适度加速，而术语“抓取”更宽泛，其描述了沿着这些轴更有力的加速。此外，术语“抓取”用于描述沿设备的Z轴发生的所有动作。
这些动作包含用于在肘部沿着X和Y轴枢转动作的较小的手腕活动，或者用于在肘部沿着Z轴枢转动作的前臂的些微更强烈的动作。倾斜或者抓取手持式设备可以包含在手腕或肘部处的枢转，或者手腕的旋转。枢转是以手腕或肘部为中心的，不是围绕设备自身。
图3C-3F示出了依照本***的倾斜动作的附加的图解说明，其中：
-图3C示出了绕图3A中的Y轴的正倾斜，
-图3D示出了绕图3A中的Y轴的负倾斜，
-图3E示出了绕图3A中的X轴的正倾斜，以及
-图3F示出了绕图3A中的X轴的负倾斜。
虽然本文所描述的动作是对应于以上所描述并在图3A中示出的3维笛卡尔坐标***的，但是这些动作的组合以及在物理空间中到处移动设备所必需的较大的波动动作也都可以被设想用来在AP上施加控制。虽然通过菜单的导航(如本文之后通过示例性实施方式图解说明的)可以依赖于小的物理动作，但是本***并不规定对应于初始动作的AP控制的大小。例如，可以需要任何程度的加速度以施加给定的AP控制，以使得根据加速度的水平AP执行不同的功能。
沿着Y轴的动作
如图3所示，在沿着X轴旋转的情况下，当握住设备直立并且设备与地面大约成45°角面向用户时，可能发起截取动作。此后沿Y轴正向运行的触摸-倾斜动作会使得设备更靠近用户，大致垂直于地面，用户的手腕枢转而肘部不需要运动。沿着Y轴负向运行的动作可以移动设备更远离用户，大致面朝上定位并且与地面持平，还是用户的手腕枢转。
在这两种情况下，绕手腕旋转而不是绕设备旋转意味着设备在空间中将不占用其之前的位置。设备在空间中更多戏剧性的动作也是有可能的，并且其可以提供具有额外加速度的手势。为了说明，考虑从标准45度方位(点A)开始的手势，用户向下看处于[0，0.5，-0.5]的设备，然后向左或向右倾斜45度[+-0.5，0.5，-0.25](点B)。如果从点A到点B的运动包括设备远离旋转点(类似于在非常大的书中翻页)的稍微有力的手势，那么根据该手势的速率，可能沿该路径施加有一些附加的正向的Z轴加速度，但是在大小上可能比不上在Z方位上的总体偏移的加速度。可选地，如果以上实施例包括在肘部绕X轴旋转、沿Y轴向上或者向下45度偏移，那么方位中的变化意味着Z轴的偏移大约与Y轴一样多，而不管由手势提供的额外Z加速度的可能性。例如，从点A[0，0.5，-0.5]到点B[0，1，0](朝向用户)或者[0，0，-1](远离用户，面朝上)包括沿着Y和Z轴均为0.5的总体偏移。不管整个设备是否穿过空间或者其是否绕着嵌入设备中的加速度计简单地枢转，设备绕一个轴的旋转通常会导致在其它轴的偏移。
沿着X轴的动作
沿着Y轴旋转在X轴方向上的左右触摸-倾斜动作需要手腕的旋转，不需要移动肘部。手腕旋转的相对自由可以允许用户将设备大致绕其中心点枢转，但是也可以允许大致沿设备的边缘枢转，其方式非常类似书页沿着书脊的枢转。此外，设备可以整体穿过空间，并且不绕其中心点枢转。由于人手腕旋转可能的自由度，在用户方向沿X轴的左右倾斜(对于惯用左手的用户向右，对于惯用右手的用户向左)比远离用户的动作更可能绕设备的中心点枢转。远离用户的动作更类似于翻书页，其包括用小指和无名指将设备更明显地向上推。虽然沿X轴出现的加速度具有优势，但是枢转点越远离设备的中心点，沿着Z轴就会有更多附加的加速度。
沿着Z轴的动作
沿着设备的Z轴的上下触摸-抓取动作必然包括在肘部枢转的前臂动作，并不需要移动上臂或者手腕。该动作不包括“倾斜”设备的前面的平面，而是抓取整个平面更靠近或者更远离用户的脸，以使得设备作为整体穿过空间。相比沿X或Y轴出现的更小的手腕动作，影响设备的Z轴所需的更强烈的前臂动作可能比较不受欢迎。尽管如此，沿Z轴的动作可较好地对应于将屏幕上显示的图像放大或者缩小以影响其细节程度的概念。
触摸输入和动作输入的组合
在下文描述本***的不同示例性实施方式的章节中，所描述的各种手腕动作将概括地称为“倾斜”，并且手指和手腕动作的序列概括地称为“截取-倾斜”(当发起序列的第一类型的触摸输入为截取时)或者更概括地称为“触摸-倾斜”(用于触发序列的任何类型的第一触摸输入)。沿着Y轴的旋转被称为左倾斜或者右倾斜，而沿着X轴的旋转被称为上/下倾斜。沿着Z轴的动作被称为向前或者向后“抓取”。不管关于沿着这些轴的动作的具体术语，全部动作都可以将沿着这些轴中的任何轴的输入将组合。
图2B图解说明了触摸动作组合的两个不同的示例性实施方案。触摸状态为1或者0，对应于触控面板是否被按压。上部的序列(a)表明简单的交互。从屏幕没有被按压的状态(A)开始，发生截取-倾斜事件(以上已详细描述)，启动状态(B)，在状态(B)中加速度计的转移/旋转数据会影响界面。将手指从屏幕上提起来结束该动作，并且使界面进入没有应用转移/旋转数据的另一状态(C)。
下部的序列(b)表示了更复杂的交互。从初始状态(D)开始，截取-倾斜事件启动状态(E)，在状态(E)中转移/旋转数据会影响界面。然而，当手指从屏幕提起时，转移/旋转数据仍会影响状态F中的界面。为了得到加速度计数据不再影响界面的另一状态(H)，用户需要发起另一触摸事件(G)。该触摸事件(G)可以包括传统的触摸事件、不一定为触摸-倾斜，因为其仅用于中断采用了加速度计数据的状态(F)。它们的区别就是在初始的触摸-倾斜状态(E)结束时，加速度计数据可以继续用于随后的状态(F)。这一点在例如在这种情况下有用，即，当GUI由于进一步的加速度计数据被读取而被修改时，手指不会挡道(动作的无指监测)，从而所有的屏幕部分对于用户都可见。在本***中，触摸-倾斜事件用来根据/通过被施加的AP控制来启动AP的模式，但是该模式不一定与该事件一起结束。
本***和方法的示例性实施方式
图4示出了依照本***的实施方式的示意性的处理流程图。应用程序在移动设备110的处理器112上运行。这种AP例如可以是例如AppleTM界面等专有的操作***、在网络浏览器上或者不在其上运行的网络迷你应用、地图应用等等。在下文中将更详细地描述示例性的AP。
在初始动作400中，AP的图形用户界面(GUI)呈现于触控面板111上。该GUI可以向用户提供用于施加不同的AP控制的多个部分。GUI的这些部分例如是与AP的功能和对AP的控制关联的虚拟表征。对于图片库应用来说，这例如可以是表征目录下的不同图片的微缩图或图标。对于基于地图的应用来说，这例如可以是以由定位设备捕获的、设备的当前位置为中心的旗帜。更常见地，这可以简单地为AP的欢迎页。触控面板111允许对在应用界面GUI的这些部分上的触摸输入进行监控。
在进一步的动作410中，通过触控面板111来捕获在GUI的一部分上的触摸输入。在本***中，触摸输入可以为不同类型。如前所提及的，触摸输入可以是短暂输入、截取、双触摸、手指在屏幕上滑行……。在本***中，触摸输入的预定的第一类型与对移动设备动作的监控相关联。换句话说，当识别到该预定的第一类型的触摸输入时，设备就进入空间动作被监控的状态。
在本***中，根据触摸事件的类型，可以施加不同的AP控制。当触摸事件被识别为第一类型的触摸事件时(测试415的结果为是)，响应于已捕获的触摸事件施加与GUI的该部分关联的第一AP控制(动作430)。在本***的附加实施方式中，当触摸事件为不同的类型时，响应于已捕获的触摸事件施加与GUI的该部分关联的另一AP控制(动作420)。依赖于触摸事件的类型以及AP如何与触控面板111连接，可以根据在使用中的AP来施加若干设备行为。例如，使用图片库应用时，短暂触摸可以使AP将被触摸的微缩图放大以显示相应的图片，而截取相同的微缩图将使AP显示用于为相应的图片执行编辑、储存或者任何操作的菜单。当触摸事件为第一类型(例如截取)和第二类型(例如短暂触摸)时，可以以不同的方式执行测试415，例如将已捕获的触摸输入仅与第一或者第二类型的触摸输入比较。换句话说，当触摸输入没有被识别为一个类型时，则被识别为另一类型。
当触摸输入为预定的第一类型时，本***丰富的用户界面还允许新颖的和附加的交互。如图4所示，在本***的附加动作440中，当第一类型的触摸事件被识别时，移动设备的状态变化，并且其空间运动将通过动作检测器120被进一步监控。在施加第一AP控制(动作430)之前或者之后，处理器112开始轮询动作检测器的原始数据。一旦检测到空间运动，则响应于被捕获的空间运动在进一步的动作450中施加第二AP控制。可以根据AP不同地处理来自动作检测器120的原始数据。例如，一旦在3D加速度计的一个轴上的读数超过给定阈值，动作就可以看成被捕获。当用户移动其移动设备时，动作可以包括基于图3A定义的参考系的几个分量。当与AP连接需要根据一个给定轴的特殊动作时，可以使用如US2005212751所述来进行轴的选择。这可以通过过滤不需要的动作分量、或者通过基于例如其加速度的大小、动作的速率、其它轴读数的比率等将所谓的显性轴放大来实现。其它的示例性实现可以需要预定的手势库和解释器以将被监控的空间运动与预定的手势进行映射并施加相应的AP控制。
再参见图2A和2B，根据如何施加AP控制，可以设想不同的触摸-动作事件序列。在本***的第一附加实施方式中，如图2A中的截取事件220所示，一旦截取事件终止，就执行空间运动的监控。在该图解说明中，响应于GUI的部分上的截取的第一AP控制可在以下情况下执行：
-在截取事件结束之前(即，在截取事件刚被识别之后)。例如，使用照片库应用，第一AP控制可以包含在这样的动画中，该动画使其它照片模糊，而使用若干界面提示(例如，用于对照片分类的类别提示，如在图7A和7C中所示并稍后详述)环绕所截取的照片。一旦识别到截取，则将激活该动画，即使用户的手指仍在被截取照片上；或者
-在截取事件结束之后(第一AP控制的施加和空间运动的监控都在截取事件结束之后被触发)。使用以上相同的实施例，一旦用户终止截取，动画将被激活。
在这两个实施例中，一旦动画被激活，处理器就可开始对监控空间运动的动作检测器进行轮询。如在图2A中所见，当触控面板111上捕获到进一步的触摸输入，不一定是截取输入时，监控停止。在图2A中，该进一步的触摸输入图示为短暂触摸221。其对应于在图2B中用状态F、G和H图示的模式。可以使用其它的用户输入来停止对空间运动的监控，例如但不限于，按压移动设备的小键盘上的按键、或者施加能够被移动设备识别为监控终止的特殊的空间运动。
在本***的第二和第三附加实施方式中，触摸事件维持比CLUTCH_THRESHOLD更长的时间，并且截取事件的终止来施加在AP上的控制。
在本***的第二附加实施方式中，一旦触摸输入终止，则响应于被捕获的空间运动来施加第二AP控制，如图2A中的截取事件230所示(截取事件在虚线处结束)。
在本***的第三附加实施方式中，如果触摸输入未终止，则仍施加第二AP控制，并且在手指从屏幕上释放后施加另一AP控制。这对应于图2A中的截取事件235以及图2B中参考状态B和C说明的模式。另一AP控制可以简单地在于中断采用了加速度计的状态(F)。再次使用照片应用，一旦倾斜被捕获，则相应的界面提示(图7D)仍留在屏幕上，而其它的界面提示会模糊(第二AP控制)，在被截取的图片710上的手指的释放会使处理器将类别712(感情)关联至被截取的图片(其它的AP控制)。
在本文以下的描述中，对于本***的图5A和5B的示例性实施方式，将参照包括在移动设备110的浏览器上运行的网络迷你应用(WMA)的AP进行描述。
移动迷你应用(或网络迷你应用，缩写为WMA)是向移动显示器传送定制的可视信息的网络应用。迄今为止，已经开发了用于桌面体验的移动迷你应用，其中可以在浏览器环境中管理多个迷你应用。示例的服务有：标题新闻(发展为RSS订阅)、实时天气、词典、地图应用、即时贴和语言翻译。“移动微技”是与WMA关联的另一术语。其基本上是仅提供关键信息而不提供在台式机上通常显示的完全功能性的服务提供的缩小比例的应用。虽然其通常连接至例如天气服务等在线网络服务，但是其也可以离线操作，例如时钟、游戏或者本地地址薄。WMA杠杆作用的发展很好地定义了例如XHTML1.1、CSS2.1、DOM以及EcmaScript的Web标准。
有趣的是，移动迷你应用适于难以进行用户交互的小显示器。例如移动电话或PDA(个人数字助理)的移动设备是对于这些迷你应用的很好的候选平台，这是因为其环境或上下文的表征被压缩为仅基本可视的组件。虽然移动设备上运行的WMA或者移动微技是信息的有效来源，但是对其进行管理、控制或者交互的机构仍有问题。本文以下将根据本申请的***的示例性实施方式图解说明对这样的迷你应用534的管理，该迷你应用534显示为如在图5A中图示的移动设备500的浏览器环境524中的虚拟表征(例如图标)或者GUI的一部分。
在本申请的***中，用户可以以不同的方式与多个WMA534交互，该多个WMA534例如显示为包含在图5A中所见的(并显示于移动设备的触控面板上的)网页中的图标。例如，用户可以通过在图标上的短暂触摸放大或激活选定的WMA以显示进一步的信息，或者在截取图标之后，随着设备在不同方向移动或倾斜，剩余的图标可以环绕并远离屏幕。该交互需要在图5B中图解说明的多个一致行动的组件。
如图5B中图解说明的，移动设备500的硬件层501可以包括除了移动设备处理器和存储器(在图5B中未示出)之外的不同硬件组件：
-如前文所述的3D加速度计502，用于测量沿着x-、y-、和z-轴的加速度；
-触控面板503，用于监控触摸事件。触控面板503是显示器504的组件，其能够通过在显示器上的压力(例如用户的手指)来感测用户输入；和
-(图形)显示器504，用于显示AP的GUI。
例如Linux的操作***511用作关于在移动设备500上运行的应用的主机。作为主机，操作***511处理硬件层501的操作细节，并且其包括设备驱动器512至514，设备驱动器512至514使得硬件组件可以通过应用程序界面(API)访问较高级的软件。如在图5B中所示，移动设备500利用分别对应于硬件组件502至504的三个组件驱动器512至514：
-加速度计驱动器512，用于高级软件，以访问3D加速度计502，
-触摸屏驱动器513，用于监控在触控面板503上的触摸输入，和；
-显示驱动器514，用于在移动设备显示器504上显示AP的GUI。
在本图解说明中，移动设备的加速度计502可以提供为允许通过UnixI/O***调用(开启、阅读、关闭)来对其进行访问的Unix设备文件(例如，/dev/input/accel)。该文件包含能够分成块的二进制数据，每个块包含该块涉及哪个轴(x、y、或z)的信息以及沿着那个轴的当前加速度的值(以mg为单位)。现存的加速度计允许每个轴的测量范围为±2.3g，在抽样率为100Hz的情况下的灵敏度为18mg，这意味着每10ms就有新的数据写到加速度计中。
例如用C书写的定制的本机应用532可以用作***工具。这种应用(例如命名为accel.exe)使用以上提及的Unix***调用来读取沿着所有三个轴的加速度的当前值，并且使其可用于网络迷你应用534。如一个实施例：
$./accel.exe
-1832-1042
该输出指出了分别沿着x、y、和z轴的以mg为单位的加速度，因此以上实施例示出了沿着x轴为-0.018g、沿着y轴为0.032g、以及沿着z轴为-1.042g的加速度，这些值是设备在水平固定表面上、面朝上静止时的典型值。
移动设备500还可以包括例如网络浏览器的软件栈，其使得可在设备的显示器504上显示网络页面。该栈的组件可包括连同Web呈现引擎524(例如WebKit)的移动窗口***(例如GTK/X11或Qtopia)，Web呈现引擎524能够呈现或执行标准的Web技术，例如HTML(超文本标记语言)、CSS(层叠样式表)、EcmaScript、DOM(文档对象模型)和SVG(可缩放向量图形)。Web呈现引擎524生成在显示器504上显示的用于WMA534的GUI。该Web呈现引擎还可用来收集在触控面板503上捕获的触摸事件。
还提供了例如用C语言书写并在移动设备500的处理器上执行的、称为微服务器的小网络服务器523。这种微服务器可以从申请人的未决申请US2007197230中知道。微服务器523可以看作用于移动设备500的多个应用和/或功能的通用接口。该微服务器(或者其它的类似软件)尤其能够接收并处理来自移动设备内部和外部的其它功能的信息。该处理包括例如格式化信息以及在HTTP或者其它链路上将信息传送至Web呈现引擎524。通过微服务器的处理还可以包括接收响应于用户输入由引擎524生成的数据，以及将该信息格式化并转发至移动设备500的相关功能或应用。该微服务器还可以用作根据请求动态地生成数据的应用服务器，并且可以用作网关以改变通信信道(例如，异步数据通道)、本地缓存适当的数据、以及异步地接收稍后使用的数据。其还可以用作Web呈现引擎524及其它实体与网络(例如包括：远程服务器、WAP网关或代理等)之间的代理，从而使网络浏览更有效率。
在本示例性实施方式中，微服务器523使网络迷你应用534能够调用CGI(通用网关接口)脚本，如果需要，还传输适当的请求参数。例如可以看作围绕应用accel.exe532的薄皮的Unix壳(shell)脚本(命名为accel.cgi)533，其可用来使WMA534访问加速度计502的值。同样地，该脚本533将HTTP报头前置于accel.exe应用532的输出，因此使得其与来自WMA534的Ajax请求(通过引擎524和微服务器523)可兼容，如下面更详细地解释的。
图6图解说明了本申请的方法的示例性实施方式，该方法允许与包含对图5A中所示的多个WMA进行表征的多个SVG图像(或图标)的网页进行交互。由于本方法，SVG图像将响应于由加速度计值表示的、移动设备的方位中的变化。在本实施方式中，当阈值持续时间CLUTCH_THRESHOLD设定为500ms时，截取(比500ms长)是第一类型的触摸事件，而短暂触摸(比500ms短)是第二类型的触摸事件。
在初始动作606中，微服务器523启动为后台处理。包括图5A的多个WMA的网页(在下文可以称为桌面或菜单WMA)其自身可以看作WMA。通常来说，可以使用例如HTML、CSS、或者EcmaScript的网络标记(makeup)来创建网络迷你应用。
菜单网络迷你应用被加载到生成菜单GUI的Web呈现引擎524中，如图5A所图示的，该菜单GUI显示在移动设备显示器504上(动作608)。该实现依赖于各种网络技术：XHTML，提供高级内容标记；CSS，提供用于内容元素的表现标记；和EcmaScript，提供编程功能性。DOM是描述了在呈现菜单WMA的GUI的浏览器应用中如何表征这些技术的模式的网络标准。
例如，XHTML文件指定若干图标，在此实例下使用<img>标签来指示，其src属性指定待显示的图像文件(对应于图标)。可以被动画的项都分享相同的名称属性，在这种情况下触发：
<imgname＝″trigger″src＝″img/digg.gif″/>
当加载了XHTML文件并将其元素翻译成DOM树后，装载触发的EcmaScript函数就将适于动画的元素数组(对应于WMA的图标的元素)初始化，或者为了触发动画，使用EcmaScript的getElementsByName函数收集其名称为trigger的元素。
<bodyonload＝″initTriggers(′trigger′)″>
对于数组中的每个元素(即，图标)，使用EcmaScript的addEventListener函数将事件***添加到该元素。这些事件***将mouseDownhandler函数分配到的内置的鼠标按下(mouseDown)事件，并将另一mouseUphandler函数分配到鼠标松开(mouseUp)事件。这些元素可以已经指定了由这些事件触发的函数(例如，对应于菜单GUI中示出的图标的WMA的执行)。***分配在任何现有函数之后执行的附加函数。
此外，布尔(boolean)isMouseUp变量初始化为1，代表手指还不在屏幕上的默认假设。在菜单GUI显示之后，应用等待用户的输入(动作610)。正如所有的事件驱动编程语言，EcmaScript的特征在于连续的“idle(空闲)”循环可以检测用户指定的新事件。按压触摸屏导致标准的EcmaScript鼠标按下事件，并且将手指从屏幕提起导致鼠标松开。触摸图标之一将执行mouseDown监听函数。该函数设定isMouseUp为0，然后利用setTimeout函数分派定时事件，该setTimeout函数调用另一函数处理程序以在500毫秒或者半秒之后异步地执行：
setTimeout(testMouseUp，500)；
当testMouseUp函数“异步地”执行时，在由setTimeout的时间函数指定的半秒间隔期间可以执行其它函数，最有效的是mouseUp处理程序。mouseUp处理程序的主函数将isMouseUp(重新)设定为1，该设定值用于区分短暂触摸与截取。mouseUp处理程序还可以调用clearInterval以结束已经存在的加速度计驱动动作的执行，但是仅仅当提起手指旨在作为结束该动作的信号时。另外，对于在提起手指之后持续的动作(例如，图2B的序列E-F-G)，可在mouseDown处理程序中调用clearInterval，启动初始setTimeout，以使得如果当前正在执行倾斜动作的话，后续的触摸将暂停这些动作。可选地，这可以从任何其它的屏幕元素或者操作中独立地调用。
testMouseUp处理程序测试isMouseUp的状态。如果其为真(对测试615的回答为否)，则意味着在半秒周期期间手指从屏幕上提起，在这种情况下短暂触摸已被捕获。当被捕获的触摸事件不是截取(对测试615的回答为否)时，可以进一步进行图6的左分支上的动作。例如，可以启动对应于已选定的图标的WMA(动作620)。根据选定的迷你应用，可能需要来自用户的进一步的动作(动作625)。
如果isMouseUp为假，则表示手指仍在屏幕上，即，已经捕获了截取事件(对测试615的回答为是)。在本图解说明中，当移动设备的动作将使“未被截取(unclutched)”的图标环绕屏幕并远离屏幕时，用户是否保持其手指在被截取的图标上都没有关系。后续的实施例将图解说明如何使用图2A-2B中示出的截取事件的类型来施加不同的AP控制。
在进一步的动作630中，响应于被识别的截取事件，将第一AP控制施加到菜单WMA，即，准备具有虚拟表征的菜单GUI用于动画。菜单GUI的每个图标的位置基于其当前X/Y位移被固定到绝对坐标***。在本图解说明中，该动作630依赖于这样的事实，即，在默认下，Web呈现引擎将元素相对于彼此放置于GUI上，这样就不能对其位置进行直接操作。如该实施例图解说明的，AP控制可以对应于用户不可见的AP控制。
为了捕获移动设备动作(动作640)，在testMouseUp函数中，生成Ajax的XMLHTTPRequest对象并对其初始化。该对象与微服务器523联系并发出对于accel.cgi533的请求。微服务器523则生成并开启运行accel.cgi533的新进程。随后，运行accel.cgi脚本533，并调用定制的本地应用accel.exe532。运行accel.exe应用532并返回当前的x、y和z轴的加速度计值。
XMLHTTPRequest对象的onreadystate回调函数被调用，表明Ajax请求已获取新的数据。该XMLHTTPRequest对象的responseText成员包含由accel.exe应用532返回的数据。EcmaScript方法从XMLHTTPRequest对象的responseText成员获取3D加速度计数据。
由于加速度计数据需要初始化，因此一旦第一加速度计数据被捕获，就提取该数据并分配到X和Y加速度的初始值，即origX和origY(在该图解说明中，可以忽略Z轴加速度)。一旦获得加速度计的数据，就能够开始动画(其中被截取的图标仍留在屏幕其最初位置上，而其它图标向侧面移动)。这对应于与被截取的图标相关联的第二AP控制，并图示为图6中的动作652至658。这里的第二AP控制是实现为循环以移动“未被截取”图标的多个控制。
通过EcmaScript的setIntervaltimer函数触发动画，该函数将动画的间隔值设定例如为20ms：
process＝setInterval(animate，20)
该动画函数被每20毫秒重复调用，直到上文描述的clearInterval停止该操作，该20毫秒代表该动画的帧频。(该过程变量是指定被clearInterval停止的动作的关键。)
为了使EcmaScript操作网页的DOM并更新菜单GUI以反映当前的加速度计值，将有区别地处理适于动画的数组中的元素，不管其是否对应于选定的WMA(被截取的图标)。换句话说，动画函数将在相关的元素上循环，而忽略当前被截取的元素。
如果该元素是被截取的图标(对动作652为是)，则将在已更新的菜单GUI中(下文中被称为帧)保持其位置。对于其它元素(对动作652为否)，将基于在进一步的动作654中被捕获的加速度计数据来计算其各自的位移Dx、Dy。动画函数将提取当前的加速度计值，将其分配为currX和currY。可以使用乘法器将加速度计值分配到动画的像素空间。例如，1000mg(1g)的加速度计值可以相当于每次更新将元素移动10个像素。在这种情况下，加速度计值应该除以100，然后四舍五入为最接近的整数(下文称为乘法器函数)。为了计算Dx和Dy，可以分别将CurrX和currY与origX和origY相比较。如果加速度计的当前值不同于初始值，则计算加速度计变化并且该乘法器函数将给出元素的有符号的平移值(Dx，Dy)。将这些值加到每个元素的对应的X(左)或Y(上)的当前位置将得到其当前的新位置(动作656)。基于移动设备相对于其在动画开始时的位置倾斜的程度，GUI的每个后续的更新(动作658)将移动元素在屏幕上环绕。如果元素的各坐标超出显示坐标的范围，元素则看起来从屏幕的边缘落下。
根据本申请的方法，一旦截取了任何图标，移动设备的后续倾斜将引起其它图标开始动画以使得其在视觉上从显示器落下，这样可获得增强的用户交互。
在本文以下描述本***的附加的示例性实施方式的部分中，所描述的各种手腕动作将通常被称为“倾斜”，并且手指和手腕动作序列通常称为“触摸-倾斜”。沿着Y轴的旋转被称为左倾斜或者右倾斜，而沿着X轴的旋转被称为上/下倾斜。沿着Z轴的动作被称为向前或者向后“抓取”。不管沿着这些轴的动作采用什么具体术语表述，整体动作可以合并沿着这些轴中任何轴的输入。
在图7A至7I中图解说明了本***的另一示例性实施方式。在该图解说明中，使用本申请的***对好友名单WMA进行控制。本文以下的实施例也将使用截取事件作为触发动作监控的第一类型的触摸，而短暂触摸将施加不同类型的控制。
图7A示出了好友名单应用的初始状态。本图解说明还适用于将图标视为照片微缩图的照片库应用。用关联的好友图片(称为“图片”)代表多个联系人(图示了20个)。图7A中可以看出，好友名单的用户可以通过短暂触摸来触摸Jessica的图片。该触摸事件产生标准的鼠标按下事件。通过将图片些微移位以便模仿按钮的按压的高亮显示函数可以来增强该界面。
在该实施方式中调用了例如对应于已知的好友名单应用的默认功能。从图7B中可以看出，由短暂触摸产生的应用控制使得联系人Jessica的详细信息显示在屏幕上以取代好友名单。触摸最后的X叉将使得该应用返回图7A的初始状态。
相反地，图7C示出了当Jessica的图片被截取时，即，触摸持续时间比CLUTCH_THRESHOLD长时，会发生的情况。除了Jessica的图片710之外的所有其它的图片都变得模糊，并且围绕Jessica的图片出现四个图标(或者界面提示)。这对应于与Jessica的图片相关联的第一AP控制，并且是由被识别的截取事件引起的。这四个图标图示了好友类别，分别是：
-朋友(friend)图标711，
-感情(romance)图标712，
-工作(work)图标713，和；
-家庭(family)图标714.
开始加速度计的监控。倾斜阈值可以关联至所有的四个图标，以使得一旦超过阈值，则在对应方向上的图标(感情图标712)保持，而其它的图标变得模糊，如图7D中所见。这对应于第二AP控制。在这个实施例中，一旦选择了右边的好友类别，用户则可以从屏幕上释放其手指以将选定的类别关联至联系人Jessica。这对应于图2中的截取事件235，即，只要手指仍触摸Jessica的图片，就可以将那个进一步的动作应用到移动设备。例如，如果错误地选中了感情图标，用户可以向相反方向倾斜，这将使所有四个图标同时出现。通过动作选择一个类别的图标并使其它图标变得模糊可以视为在捕获动作后施加的第二AP控制(关联于Jessica的图片710)。只要没有释放手指，用户就可以改变类别图标的选择(意味着空间运动仍被监控)，并且只要截取事件没有终止，就可施加进一步的第二AP控制。一旦选定右边的类别，释放手指将使得该应用将选定的类别关联至联系人，即，施加与Jessica的图片关联的其它AP控制。
可选地，如果手指不再接触Jessica的图片710，第二AP控制将保持而其它的图标会变得模糊。进一步的倾斜能允许用户改变主意。一旦选定右边的类别，在选定的类别提示712上的进一步的触摸输入(不论是否是截取)将终止空间运动的监控，将相关的类别关联至联系人，并可使应用返回至图7A中的其初始状态。这对应于具有状态E-F-G的序列的图2B，其中空间动作的非手指监控允许所有的屏幕部分仍然对用户是可见的。
随着一个类别被分配到联系人，应用将返回图7A中的其初始状态。当用户对移动设备施加的倾斜不足以超过倾斜阈值时，可以更新GUI以便告知用户其需要更坚定的手势。在图7E中示出了这种情况，其中所有的类别图标711至714都是模糊的以表示用户还未选定类别。这可以例如实现为重复的setInterval-triggered函数的一部分，其中该AP实际上将所有的四个图标模糊作为默认假设，然后确定动作的占优势的方向。如果超过阈值，相应的图标将被加亮(第二AP控制)，否则什么都不做。
图7F中可见，在好友名单应用的GUI上可提供附加的查看(view)按钮720。当用户截取查看按钮720时，一旦该截取事件被识别，与该查看按钮720相关的、在图7E中示出的AP控制将与在图7C中图示的用于Jessica的图片的AP控制相同。相同的四个类别图标711至714围绕查看按钮720显示。正如之前所述，开始对移动设备动作的监控，并且一旦在一个方向的倾斜超过阈值，类别图标可以被选定(如图7F中所示的感情图标712)。截取的释放将使得应用示出从图7G中示出的感情类别的联系人，包括Jessica的联系人的类别已经更新为“感情”。
通过进一步截取Emily的图片730，用户还可以将图7G所示的感情名单中的好友之一重新分类。另一截取-倾斜事件会使应用将联系人Emily的状态更新为另一类别，比如朋友，一旦截取终止，GUI将随后更新。换句话说，应用将施加另一AP控制以更新GUI，将该GUI更新为图7I所示的感情类别中现具有3个联系人的名单。
可选地，好友名单应用可以配置为不仅响应于所捕获的倾斜来示出选定的类别图标而模糊其它图标，还可以将选定的类别关联至被截取的联系人图片。例如不论联系人的图片是否仍被截取，都可以使用这个“更复杂的”第二AP控制。如果联系人的图片仍被截取，那么截取事件的终止可以使另一AP控制返回例如其初始状态(图7A-图2A中的截取事件235)。在联系人的图片不再被截取(图2A中的截取事件220)的配置中，一旦该截取事件终止则将出现类别图标(第一AP控制)。当该截取事件终止时，还将开始动作的监控。任选地，当用户的手指不再接触屏幕时，从倾斜中选定的类别图标自身可以关联至本方法，即，其可以是：
-可通过简单触摸选择，该简单触摸也可终止空间运动的监控，或者；
-是截取-倾斜序列，其具有以菜单或者附加界面提示的形式的附加的AP控制，允许再次使用本方法。
本申请的***的实施方式的实施例
在本***的第一示例性实施方式中，移动设备显示器可以代表菜单GUI，该菜单GUI示出了代表一组网络迷你应用的图标阵列。在图标上的短暂触摸将启动应用；而截取-倾斜图标则呈现单独的界面，例如用于WMA的配置菜单，其允许用户配置应用。
在本***的第二示例性实施方式中，显示器可示出包括图标阵列的GUI，该图标阵列代表了在社交网络应用环境中的用户的联系人的图片。触摸并保持图标会引起第一AP控制，该第一AP控制根据倾斜方向呈现向用户通知不同选项的附加图标或者界面提示(例如，图7中所见)。随后，在一个方向倾斜设备将增加显示朋友的位置的界面元素。在其它方向倾斜设备会显示朋友的当前状态或心情、该朋友自己的朋友数、或者启动电话呼叫的选项。后续的倾斜将返回原始显示状态，或者将导航至上文描述的其它的上级选项。
在本***的第三示例性实施方式中，之前的实施例可以些微修改以允许以与通过一系列分级的子菜单的导航几乎相同的方式进行更深的导航。当已选定选项，附加的界面提示将允许进一步的导航。例如，导航至初始的朋友与该用户所共享的朋友。该实施方式展示了由单个触摸输入触发的多个倾斜输入的序列如何在复杂的选项组中导航。
在本***的第四示例性实施方式中，移动设备GUI显示出这样的图标阵列，其代表的用户朋友图片数量符合屏幕大小。触摸特定的控制可以显示一系列排序选项。触摸-倾斜以选择这些选项之一将根据诸如地理距离、最近的联系、或者联系的全部频率等朋友属性来重新布置图标。
在本***的第五示例性实施方式中，移动设备界面显示出这样的图标阵列，其代表的用户联系人数量符合屏幕大小。触摸特定的控制可以显示一系列过滤选项。触摸-倾斜以选择这些选项之一将重新布置图标，仅显示那些匹配某一标准(例如，其是否被分类为“家庭”或“同事”)的图标。作为相同的触摸动作的一部分的后续倾斜或者附加的触摸-倾斜可利用额外的过滤器。
在本***的第六示例性实施方式中，移动设备GUI显示出台球桌的表面。触摸-倾斜球会在相应的方向发射该球，倾斜动作的加速程度影响该球的速度。该实施方式表明倾斜动作不限于沿着任何一个轴的一组离散的选择，而是可以指定多个精确的矢量。
在本***的第七示例性实施方式中，移动设备GUI显示出照片库中的一系列照片。向左或者向右的触摸-倾斜会在该库中向后和向前导航，并且后续的倾斜允许进一步的导航。在照片中前进或者倒退的触摸-倾斜(即，向用户的方向或者远离用户的方向)将使选定的点放大或者缩小。
在本***的第八示例性实施方式中，移动设备GUI显示了照片库中的一系列照片。触摸照片将对图片进行缩放，而截取-抓取一张照片(使用垂直于移动设备显示器的Z轴上的加速度计)会使所截取的照片放大或者缩小。只要手指保持在照片上(图2中的截取事件235)，缩放控制就可以是激活的。
在本***的第九示例性实施方式中，移动设备GUI显示了音频播放列表的轨道信息。向左或者向右的触摸-倾斜可以在播放列表中向后和向前导航。向上或者向下的触摸-倾斜可以导航到相同的唱片专辑上的其它轨道，或者到相同的艺术家的轨道上。
在本***的第十示例性实施方式中，移动设备GUI显示了沿着轴的数据，例如沿着水平时间轴分布的事件时间表。向左或者向右触摸-倾斜会使时间向后或者向前滚动，并且随着倾斜程度加速。向前或者向后触摸-倾斜会影响显示的时标：放大以查看小时或分钟，或者缩小以查看星期或月份。沿着Z轴向前或者向后触摸-抓取会改变视图比例以显示最佳数量的数据点。
在本***的第十一示例性实施方式中，可以将上文描述的实施方式修改为根据加速的程度来执行不同的控制。连同伴随有轻微倾斜的触摸可以执行以上描述的连续的滚动或者缩放控制。触摸并在与倾斜相同的方向上伴随更有力的抓取将在当前显示项中进行导航。
在本***的第十二示例性实施方式中，移动设备GUI显示了朝北的地图。向上、向下、向右或向左的触摸-倾斜分别向北、向南、向东或向西导航。沿着X或Y轴的触摸-倾斜的组合允许沿着特定的向量导航。向前或向后触摸-抓取会对地图的高度或比例尺进行放大或缩小。
在本***的第十三示例性实施方式中，可以将上文描述的实施方式修改为根据加速的程度来执行不同的动作。伴随有轻微倾斜的触摸将执行地理空间中的连续的滚动或缩放动作。伴随有更有力的倾斜的触摸将在当前显示的定位点中导航。X和Y轴的组合形成向量，允许在可获得的点中进行比简单地向左、向右、向上、和向下的动作更精确的导航。
在本***的第十四示例性实施方式中，移动设备GUI呈现允许音频的应用。触摸图标显示一对控制：对应于音量和低音/高音的垂直的与水平的滑动条。沿着一滑动条触摸-倾斜伴随每个相继的倾斜动作会影响相应的控制。
在本***的第十五示例性实施方式中，移动设备GUI显示通过网络浏览器的新闻门户网站，该网络浏览器已扩展为可以确认触摸-倾斜事件。该网站的布局具有许多栏(column)，并且其内容在狭窄的移动屏幕上通常是不可访问的。向后或向前触摸-倾斜可以放大以显示特定的栏，或者缩小以查看较大的页面。
在本***的第十六示例性实施方式中，移动设备GUI显示在媒体播放器应用上的语音按钮。截取语音按钮允许对当前播放的媒体文件的音量进行调节。例如，可以在该GUI上显示左右方向的滑动条，并且当用户倾斜移动设备向右时，音量将增加。滑动条的显示当然是任选的，因为用户可以容易地知道触摸倾斜可以使其进入音量控制。
总的来说，触摸移动设备的屏幕和倾斜移动设备的屏幕是两个不同的动作。本申请中，将这两个动作以独特的方式结合在一起，以提供对移动用户界面进行导航和控制的新方案。可以用单个的手指和手的动作来调用触摸和倾斜以形成特殊的任务。
在本***中，用来截取屏幕的手指可以例如是握持设备的手的拇指，并且，假设移动设备适合于手掌，本文描述的所有动作都可用一只手完成。
动作的这种结合与其中的任一动作孤立地发生是截然不同的。通过允许倾斜动作与由触摸输入指定的屏幕上不同的功能区相关联，动作的结合提高了AP的GUI的功能性。没有伴随触摸动作的倾斜动作仅允许移动界面支持单个的由倾斜激活的项。触摸-倾斜界面则提供了新颖的方式来获得比在移动设备屏幕上通常可获得的更大范围的界面选项。
此外，本文描述的这些示例性实施方式使用了在GUI的一部分上的截取作为触发对移动设备动作进行监控的触摸输入类型，而在相同部分上的短暂触摸，即，不同于第一类型的第二类型的触摸输入，则不会带来通过动作的AP控制。本领域的技术人员可以将本教导实施到这样的***，即，其中第一和第二类型的触摸输入为手指或手写笔的滑动、双触摸、截取或短暂触摸之一。可以设想其它类型的触摸输入以增加用户与AP的交互。
对于触摸-倾斜事件的持续时间，应用如何解释可获得的传输/旋转数据则没有规定。为了说明这一点，可以考虑这样的应用程序，其中向左或者向右触摸-倾斜可以从照片薄中的一个图像导航至另一图像。当触摸-倾斜事件开始时，该应用可以将初始的加速度计坐标存储作为动作开始的中性状态。如果设备在一个方向随后加速超过给定阈值时，该应用可以将该变化解释为导航至下一图像的信号。但是，朝着初始起点向后的随后加速不一定向后导航至之前的图像。在这种情况下，在一个方向的抓取动作会有效，但随后的抓取向后不会有效。
在本***中，在图4中所示的第一AP控制(响应于第一类型的触摸事件的捕获)和第三AP控制(响应于不同类型的触摸事件的捕获)都关联于AP的GUI上接收触摸输入的部分。第二AP控制(响应于空间运动)以及另一AP控制(响应于截取事件的终止)可以关联于GUI的该部分，也可以不关联于GUI的该部分。例如，如果第一AP控制已修改GUI，那么该AP控制可以是返回至初始的AP的GUI。在好友名单应用或者照片库应用的实施例中，类别与被截取的联系人图标的关联事实上是将该类别关联至GUI的该部分，因为该部分(即，被截取的联系人图标)仍保留在屏幕上，并且该类别用于表征该联系人。在图5A和5B的图解说明中，被截取的图标移动远离屏幕，此时的AP控制实际关联至GUI的其它部分。
在本***中，应用程序可以是驻存在移动设备上的独立应用(例如其操作***)，或者是基于网络客户端的应用(例如使用如下载到移动设备的客户端来上传地图的基于地图的应用)。
图8示出了依照本***的实施方式的***800。该***800包括用户设备890，其具有操作地耦合到存储器820的处理器810；呈现设备830，例如一个或多个显示器、扬声器等；用户输入设备870，例如传感器面板；和连接件880，其操作地耦合至用户设备890。连接件880可以是设备890(例如用户设备)和具有类似于设备890的元件的另一设备(例如网络服务器、一个或多个内容提供器)之间的可操作的连接件。用户设备可以例如是移动电话、智能电话、PDA(个人数字助理)或者任何类型的无线便携式设备。本方法适于具有显示面板(也可以为传感器面板)的无线设备以向用户提供在用户设备上运行的应用上的增强的控制。
存储器820可以是用于储存例如应用数据的任何类型的设备，该应用数据涉及一个图解说明中的微服务器、可用本方法控制的操作***、浏览器以及不同的应用程序。可以通过处理器810接收该应用数据，配置处理器810以执行依照本***的操作动作。该操作动作包括呈现AP的GUI、在传感器面板上捕获AP的GUI的部分上的触摸输入、以及当该触摸输入标识为第一类型的触摸输入时，施加关联至GUI的部分的第一AP控制；监控移动设备的空间运动的发生；并且响应于空间运动的捕获来施加关联至GUI的部分的第二AP控制。
用户输入870可以包括传感器面板以及键盘、鼠标、轨迹球、触摸板或者其它设备，其可以是独立的或者是***的部分，例如用于通过诸如有线或无线链接的任何类型的链接与处理器810进行通信的个人计算机(如台式计算机、膝上型计算机等等)、个人数字助理、移动电话、整合式设备、或者其它呈现设备的部分。用户输入设备870可操作地用于与处理器810的交互，其包括在GUI的典范和/或本***的其它要素中的交互，例如能够进行网络浏览、对触摸输入提供的GUI的部分进行选择。
依照本***的实施方式，呈现设备830可以操作为用于与处理器810通信(例如，提供对AP的GUI的部分的选择)的触摸感应显示器。以这种方式，用户可以与处理器810交互，其包括在GUI的典范中，与本***、本设备和本方法的操作的交互。清楚地，用户设备890、处理器810、存储器820、呈现设备830和/或用户输入设备870可以全是或者部分是计算机***或者其它设备的部分，和/或全部嵌入或者部分嵌入例如移动电话、个人计算机(PC)、个人数字助理(PDA)、如智能电话的整合式设备等的便携式设备中。
本文描述的***、设备和方法解决了现有技术***中的问题。依照本***的实施方式，提供了设备890、相应的用户界面和***800的其它部分，用于依照在应用程序上的本***施加增强的控制。
本***的方法特别适于通过计算机软件程序来执行，这种程序包含对应于由本***描述和/或拟想的一个或多个单个的步骤或动作的模块，例如不同的驱动器、微服务器、Web呈现引擎，等等。这种程序当然可以包含在诸如集成芯片、***设备或存储器(例如耦合至处理器810的存储器820或者其它存储器)的计算机可读媒介中。
计算机可读媒介和/或存储器820可以是任何可记录媒介(例如，RAM、ROM、可移动存储器、CD-ROM、硬盘驱动器、DVD、软盘或者存储卡)或者可以是利用一个或多个射频(RF)耦合、蓝牙耦合、红外耦合等的传输媒介。能够存储和/或传输适于供计算机***使用的信息的已知的或研发的任何媒介都可以用作计算机可读媒介和/或存储器820。
还可以使用附加的存储器。这些存储器配置处理器810以实现本文公开的方法、操作动作、和功能。该操作动作可以包括控制呈现设备830对以GUI形式的元素进行呈现并且控制呈现设备830依照本***呈现其它信息。
此外，术语“存储器”应该解释地足够广以包含能够从处理器访问的可寻址空间中的地址读取的或者书写至其的任何信息。如果用这个定义，网络上的信息仍在例如存储器820中，是因为处理器810可以从网络中提取该信息用于依照本***的操作。例如，本文理解的存储器的部分可以存在为内容提供器，和/或用户设备的部分。
处理器810能够提供控制信号和/或响应于来自用户输入设备870的输入信号实施操作并且执行储存于存储器820中的指令。处理器810可以是一个(多个)特殊应用的或一般用途的集成电路。而且，处理器810可以是用于依照本***实施的专用处理器或者可以是通用处理器，在该通用处理器中许多功能操作中仅有一个用于依照本***实施。可以利用程序部分、多重程序段来操作处理器810，或者处理器810可以是利用专用或多用的集成电路的硬件设备。
最后，上面叙述旨在仅说明本***，不应当被解释为将所附的权利要求限制到实施方式中的任何特定实施方式或组。因而，尽管已经关于包括用户界面的示例性实施方式对本***进行了描述，还应当理解，在不背离如在所附的权利要求中阐述的本***的更广的和期望的精神和范围的情况下，本领域的技术人员可以想出多种修改和替换实施方式。此外，虽然提供了示例性用户界面以便于本***的理解，但是也可以提供其它的用户界面并且/或者一个用户界面的要素也可以与依照本***的进一步实施方式的用户界面的另一要素结合。
本文包括的部分标题旨在便于复查，但不旨在限制本***的范围。相应地，说明书和附图是以说明性的方式被看待，并不旨在限制所附的权利要求的范围。
在阐释所附的权利要求时，应当理解：
a)词语“包括”不排除存在不同于给定的权利要求中列出的其它要素或动作；
b)元素前的单数不排除存在多个这样的元素；
c)权利要求中的任何参考标记不限制权利要求的范围；
d)几个“模块”可以由相同的项或硬件或软件实现的结构或功能来代表；
e)所公开的要素中的任何一个可以由硬件部分(例如，包括分立和集成电子电路)、软件部分(例如，计算机编程)以及硬件部分和软件部分的任何组合组成；
f)硬件部分可以由模拟部分和数字部分中的一个或两个组成；
g)除非另外具体地指出，所公开的设备中的任何一个或者部分可以被组合在一起或者被分离成进一步的部分；
h)除非具体地指出，不希望要求动作或步骤的特定顺序；以及
i)要素的术语“多个”包括声明的要素中的两个或多个，并且不暗指要素的数量的任何特定范围；也就是说，多个要素可以少至两个要素，并且可以包括无法测量数量的要素。

Claims (9)

1.一种用于对移动设备上运行的应用程序施加控制的方法，所述方法包括：
—在所述移动设备的触控面板上显示所述应用程序的图形用户界面；
—捕获在所述图形用户界面的一部分上的触摸输入；
所述方法进一步包括：
一旦识别到所述触摸输入为预定的第一类型的触摸输入后，施加与所述图形用户界面的所述一部分相关联的第一应用程序，控制并监控所述移动设备的空间运动的发生,以及响应于空间运动的捕获来施加第二应用程序控制,以及
当识别到所述触摸输入不是所述预定的第一类型的触摸输入时，施加与所述图形用户界面的所述一部分相关联的第三应用程序控制。
2.根据权利要求1所述的方法，其中所述触摸输入是持续比预定的持续时间短的触摸输入。
3.根据权利要求1所述的方法，其中所述第一类型的触摸输入是持续比预定的持续时间长的触摸输入。
4.根据权利要求3所述的方法，其中如果所述触摸输入终止，则进行所述监控。
5.根据权利要求4所述的方法，其中当在所述触控面板上捕获到进一步的触摸输入时，则停止对空间运动的发生进行监控。
6.根据权利要求3所述的方法，其中一旦所述触摸输入终止，则施加所述第二应用程序控制。
7.根据权利要求3所述的方法，其中如果所述触摸输入没有终止，则施加所述第二应用程序控制，所述方法进一步包括一旦所述触摸输入终止则施加第四应用程序控制。
8.如权利要求1所述的方法，其中所述第一应用程序控制包括在绕所述图形用户界面的所述一部分的不同的方向上显示多个界面提示，每个界面提示都关联于进一步的应用程序控制，所述第二应用程序控制包括施加所述进一步的应用程序控制。
9.一种用于对移动设备上运行的应用程序施加控制的***，包括：
—用于在所述移动设备的触控面板上显示所述应用程序的图形用户界面的装置；
—用于捕获在所述图形用户界面的一部分上的触摸输入的装置；
所述***进一步包括：
—用于在一旦识别到所述触摸输入为预定的第一类型的触摸输入后，施加与所述图形用户界面的所述一部分相关联的第一应用程序，控制并监控所述移动设备的空间运动的发生,以及响应于空间运动的捕获来施加第二应用程序控制的装置,以及
—用于当识别到所述触摸输入不是所述预定的第一类型的触摸输入时，施加与所述图形用户界面的所述一部分相关联的第三应用程序控制的装置。
CN200980157322.4A 2008-12-30 2009-12-18 用于提供对应用程序的增强控制的用户界面 Expired - Fee Related CN102362251B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14165608P 2008-12-30 2008-12-30
US61/141,656 2008-12-30
PCT/IB2009/056041 WO2010076772A2 (en) 2008-12-30 2009-12-18 User interface to provide enhanced control of an application program

Publications (2)

Publication Number Publication Date
CN102362251A CN102362251A (zh) 2012-02-22
CN102362251B true CN102362251B (zh) 2016-02-10

Family

ID=42310279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980157322.4A Expired - Fee Related CN102362251B (zh) 2008-12-30 2009-12-18 用于提供对应用程序的增强控制的用户界面

Country Status (4)

Country Link
US (1) US20110254792A1 (zh)
EP (1) EP2382527A2 (zh)
CN (1) CN102362251B (zh)
WO (1) WO2010076772A2 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9356991B2 (en) * 2010-05-10 2016-05-31 Litera Technology Llc Systems and methods for a bidirectional multi-function communication module
US10976784B2 (en) * 2010-07-01 2021-04-13 Cox Communications, Inc. Mobile device user interface change based on motion
KR101726790B1 (ko) * 2010-07-16 2017-04-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9304591B2 (en) 2010-08-10 2016-04-05 Lenovo (Singapore) Pte. Ltd. Gesture control
US20120038675A1 (en) * 2010-08-10 2012-02-16 Jay Wesley Johnson Assisted zoom
US9164542B2 (en) 2010-08-31 2015-10-20 Symbol Technologies, Llc Automated controls for sensor enabled user interface
EP2444881A1 (en) * 2010-10-01 2012-04-25 Telefonaktiebolaget L M Ericsson (PUBL) Method to manipulate graphical user interface items of a handheld processing device, such handheld procesing device, and computer program
DE102010047779A1 (de) 2010-10-08 2012-04-12 Hicat Gmbh Computer und Verfahren zur visuellen Navigation in einem dreidimensionalen Bilddatensatz
KR101915615B1 (ko) * 2010-10-14 2019-01-07 삼성전자주식회사 모션 기반 사용자 인터페이스 제어 장치 및 방법
KR20120062037A (ko) * 2010-10-25 2012-06-14 삼성전자주식회사 전자책 단말기에서 페이지를 전환하는 방법
US8706172B2 (en) * 2010-10-26 2014-04-22 Miscrosoft Corporation Energy efficient continuous sensing for communications devices
US8982045B2 (en) * 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
US8994646B2 (en) 2010-12-17 2015-03-31 Microsoft Corporation Detecting gestures involving intentional movement of a computing device
KR101740439B1 (ko) * 2010-12-23 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8438473B2 (en) 2011-01-05 2013-05-07 Research In Motion Limited Handling of touch events in a browser environment
KR20120080922A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US8381106B2 (en) 2011-02-03 2013-02-19 Google Inc. Touch gesture for detailed display
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
US9880604B2 (en) 2011-04-20 2018-01-30 Microsoft Technology Licensing, Llc Energy efficient location detection
US8731936B2 (en) 2011-05-26 2014-05-20 Microsoft Corporation Energy-efficient unobtrusive identification of a speaker
KR101878141B1 (ko) 2011-05-30 2018-07-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9483085B2 (en) * 2011-06-01 2016-11-01 Blackberry Limited Portable electronic device including touch-sensitive display and method of controlling same
CN102279647A (zh) * 2011-06-20 2011-12-14 中兴通讯股份有限公司 一种移动终端及其实现光标移动的方法
US10078819B2 (en) * 2011-06-21 2018-09-18 Oath Inc. Presenting favorite contacts information to a user of a computing device
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR101864618B1 (ko) * 2011-09-06 2018-06-07 엘지전자 주식회사 이동 단말기 및 그것의 사용자 인터페이스 제공 방법
US10353566B2 (en) * 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US9880640B2 (en) * 2011-10-06 2018-01-30 Amazon Technologies, Inc. Multi-dimensional interface
JP5927872B2 (ja) * 2011-12-01 2016-06-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9021383B2 (en) * 2011-12-13 2015-04-28 Lenovo (Singapore) Pte. Ltd. Browsing between mobile and non-mobile web sites
US9600807B2 (en) * 2011-12-20 2017-03-21 Excalibur Ip, Llc Server-side modification of messages during a mobile terminal message exchange
US9052792B2 (en) * 2011-12-20 2015-06-09 Yahoo! Inc. Inserting a search box into a mobile terminal dialog messaging protocol
US9467834B2 (en) 2011-12-23 2016-10-11 Microsoft Technology Licensing, Llc Mobile device emergency service
US9325752B2 (en) 2011-12-23 2016-04-26 Microsoft Technology Licensing, Llc Private interaction hubs
US20130305354A1 (en) 2011-12-23 2013-11-14 Microsoft Corporation Restricted execution modes
US9363250B2 (en) 2011-12-23 2016-06-07 Microsoft Technology Licensing, Llc Hub coordination service
US9420432B2 (en) 2011-12-23 2016-08-16 Microsoft Technology Licensing, Llc Mobile devices control
US8874162B2 (en) 2011-12-23 2014-10-28 Microsoft Corporation Mobile device safe driving
CA2864327C (en) * 2012-02-09 2023-12-12 Lane A. Ekberg Event based social networking
US20130222268A1 (en) * 2012-02-27 2013-08-29 Research In Motion Tat Ab Method and Apparatus Pertaining to Processing Incoming Calls
US9026441B2 (en) 2012-02-29 2015-05-05 Nant Holdings Ip, Llc Spoken control for user construction of complex behaviors
JP5966665B2 (ja) * 2012-06-26 2016-08-10 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
KR20140027579A (ko) * 2012-07-06 2014-03-07 삼성전자주식회사 단말기의 사용자인증 수행 장치 및 방법
US9021437B2 (en) 2012-07-13 2015-04-28 Microsoft Technology Licensing, Llc Declarative style rules for default touch behaviors
US9230076B2 (en) 2012-08-30 2016-01-05 Microsoft Technology Licensing, Llc Mobile device child share
US9201585B1 (en) * 2012-09-17 2015-12-01 Amazon Technologies, Inc. User interface navigation gestures
US9741150B2 (en) * 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
DE102013007250A1 (de) * 2013-04-26 2014-10-30 Inodyn Newmedia Gmbh Verfahren zur Gestensteuerung
US9772764B2 (en) * 2013-06-06 2017-09-26 Microsoft Technology Licensing, Llc Accommodating sensors and touch in a unified experience
US9820231B2 (en) 2013-06-14 2017-11-14 Microsoft Technology Licensing, Llc Coalescing geo-fence events
US9998866B2 (en) 2013-06-14 2018-06-12 Microsoft Technology Licensing, Llc Detecting geo-fence events using varying confidence levels
CN104238793B (zh) * 2013-06-21 2019-01-22 中兴通讯股份有限公司 一种防止触摸屏移动设备误操作的方法及装置
KR102152643B1 (ko) * 2013-07-04 2020-09-08 엘지이노텍 주식회사 모바일디바이스를 이용한 조명 시스템
US9507429B1 (en) * 2013-09-26 2016-11-29 Amazon Technologies, Inc. Obscure cameras as input
US20160099981A1 (en) * 2013-10-04 2016-04-07 Iou-Ming Lou Method for filtering sections of social network applications
US10139959B2 (en) * 2013-11-26 2018-11-27 Apple Inc. Self-calibration of force sensors and inertial compensation
US9299103B1 (en) * 2013-12-16 2016-03-29 Amazon Technologies, Inc. Techniques for image browsing
CN103677528B (zh) * 2013-12-27 2017-09-29 联想(北京)有限公司 一种信息处理方法和电子设备
CN105934738B (zh) * 2014-01-28 2020-04-03 索尼公司 信息处理设备、信息处理方法以及程序
EP2907575A1 (de) * 2014-02-14 2015-08-19 Eppendorf Ag Laborgerät mit Benutzereingabefunktion und Verfahren zur Benutzereingabe bei einem Laborgerät
US10365721B2 (en) * 2014-05-06 2019-07-30 Symbol Technologies, Llc Apparatus and method for performing a variable data capture process
US20160034143A1 (en) * 2014-07-29 2016-02-04 Flipboard, Inc. Navigating digital content by tilt gestures
CN105808091B (zh) * 2014-12-31 2022-06-24 创新先进技术有限公司 调整界面操作图标分布范围的装置、方法及触摸屏设备
CN104778952B (zh) * 2015-03-25 2017-09-29 广东欧珀移动通信有限公司 一种控制多媒体播放的方法及终端
WO2017099785A1 (en) * 2015-12-10 2017-06-15 Hewlett Packard Enterprise Development Lp User action task flow
CN106201203A (zh) * 2016-07-08 2016-12-07 深圳市金立通信设备有限公司 一种窗口显示的方法及终端
KR102317619B1 (ko) * 2016-09-23 2021-10-26 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10521106B2 (en) * 2017-06-27 2019-12-31 International Business Machines Corporation Smart element filtering method via gestures
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
CN109104658B (zh) * 2018-07-26 2020-06-05 歌尔科技有限公司 一种无线耳机的触摸识别方法、装置及无线耳机
US11099204B2 (en) * 2018-09-28 2021-08-24 Varex Imaging Corporation Free-fall and impact detection system for electronic devices
CN110989996B (zh) * 2019-12-02 2023-07-28 北京电子工程总体研究所 一种基于Qt脚本语言的目标轨迹数据产生方法
CN111309232B (zh) * 2020-02-24 2021-04-27 北京明略软件***有限公司 一种显示区域调整方法及装置
US20230266831A1 (en) * 2020-07-10 2023-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for obtaining user input
CN111953562B (zh) * 2020-07-29 2022-05-24 新华三信息安全技术有限公司 一种设备状态监控方法及装置
TWI775258B (zh) 2020-12-29 2022-08-21 宏碁股份有限公司 偵測異常裝置操作的方法及電子裝置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815142A (en) * 1994-07-25 1998-09-29 International Business Machines Corporation Apparatus and method for marking text on a display screen in a personal communications device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050219223A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for determining the context of a device
NO20044073D0 (no) * 2004-09-27 2004-09-27 Isak Engquist Informasjonsbehandlingssystem og fremgangsmate
JP2006122241A (ja) * 2004-10-27 2006-05-18 Nintendo Co Ltd ゲーム装置およびゲームプログラム
US8046030B2 (en) * 2005-07-29 2011-10-25 Sony Ericsson Mobile Communications Ab Methods, devices and computer program products for operating mobile devices responsive to user input through movement thereof
US7667686B2 (en) * 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
US20080048980A1 (en) * 2006-08-22 2008-02-28 Novell, Inc. Detecting movement of a computer device to effect movement of selected display objects
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
KR101390103B1 (ko) 2007-04-03 2014-04-28 엘지전자 주식회사 영상제어방법 및 이동단말기
KR100876754B1 (ko) * 2007-04-18 2009-01-09 삼성전자주식회사 작동모드를 전환하기 위한 휴대용 전자기기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815142A (en) * 1994-07-25 1998-09-29 International Business Machines Corporation Apparatus and method for marking text on a display screen in a personal communications device

Also Published As

Publication number Publication date
US20110254792A1 (en) 2011-10-20
WO2010076772A2 (en) 2010-07-08
CN102362251A (zh) 2012-02-22
WO2010076772A3 (en) 2010-12-23
EP2382527A2 (en) 2011-11-02

Similar Documents

Publication Publication Date Title
CN102362251B (zh) 用于提供对应用程序的增强控制的用户界面
US11175726B2 (en) Gesture actions for interface elements
US20230409165A1 (en) User interfaces for widgets
Rohs et al. A conceptual framework for camera phone-based interaction techniques
JP5951781B2 (ja) 多次元インターフェース
US9256355B1 (en) Accelerated panning user interface interaction
CN104737112B (zh) 文档中基于缩略图和文档图的导航
JP6013583B2 (ja) 有効インターフェース要素の強調のための方式
CN102640101B (zh) 用于提供用户接口的方法及装置
CN103425479B (zh) 用于远程设备的用户接口虚拟化
JP6072237B2 (ja) ジェスチャー入力のための指先の場所特定
US20100049879A1 (en) Method for Developing and Implementing Efficient Workflow Oriented User Interfaces and Controls
CN112230909B (zh) 小程序的数据绑定方法、装置、设备及存储介质
KR101143606B1 (ko) 모바일 기기를 이용한 전시 정보를 제공하는 시스템, 사용자 단말 및 전시 정보 제공 방법
CN107408012A (zh) 使用可旋转输入机构来控制***缩放放大率
CN102023706A (zh) 用于与虚拟环境中的对象进行交互的***
CN110456953A (zh) 文件夹界面切换方法及终端设备
US20220391056A1 (en) User interfaces for managing application widgets
CN112817790B (zh) 模拟用户行为的方法
WO2017027750A1 (en) Gestures for sharing data between devices in close physical proximity
CN112230914A (zh) 小程序的制作方法、装置、终端及存储介质
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
CN111602381A (zh) 一种图标切换方法、显示gui的方法及电子设备
CN111191176A (zh) 网站内容更新方法、装置、终端及存储介质
CN108292193B (zh) 动画数字墨水

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160210

Termination date: 20171218

CF01 Termination of patent right due to non-payment of annual fee