CN104756060A - 基于手势的光标控制 - Google Patents

基于手势的光标控制 Download PDF

Info

Publication number
CN104756060A
CN104756060A CN201380053626.2A CN201380053626A CN104756060A CN 104756060 A CN104756060 A CN 104756060A CN 201380053626 A CN201380053626 A CN 201380053626A CN 104756060 A CN104756060 A CN 104756060A
Authority
CN
China
Prior art keywords
gesture
cursor
cursor control
text
computing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380053626.2A
Other languages
English (en)
Other versions
CN104756060B (zh
Inventor
欧阳瑜
翟树民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104756060A publication Critical patent/CN104756060A/zh
Application granted granted Critical
Publication of CN104756060B publication Critical patent/CN104756060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

通常,本公开内容描述了用于在图形键盘上实现基于手势的光标控制的技术。例如,计算设备输出图形键盘和文本显示区,所述文本显示区包括在第一光标位置处的光标。计算设备检测在图形键盘的位置处起始的手势并且确定所检测到的手势的位置是否在图形键盘的光标控制区内起始。响应于确定所检测到的手势的位置在光标控制区内,计算设备还输出在不同于第一光标位置的第二光标位置处的光标,其中,第二光标位置至少部分基于该手势。

Description

基于手势的光标控制
背景技术
计算设备(例如移动电话、平板电脑等等)可以将图形键盘提供为用于使用存在敏感屏构成文本的图形用户界面的一部分。图形键盘可以使得计算设备的用户能够录入文本(例如电子邮件、文本消息或文档等等)。例如,计算设备的存在敏感显示器可以输出图形或软键盘,其允许用户通过轻敲在存在敏感显示器处显示的键以录入数据。
允许通过轻敲或挥扫以交互的图形键盘可以用来使用选择键的一个或多个手势,将文本输入到智能电话中。这些键盘可以受到精度、速度和用户不能适应的限制。例如,通过轻敲或挥扫以便选择一个或多个字符的文本录入会不精确和易出错。在便携式计算设备上录入的文本的手动校正或编辑可以影响文本录入的速度和效率。例如,计算设备的存在敏感显示器可以显示需要编辑的文本的主体。当执行手动校正或编辑时,存在敏感显示器可以使得用户能够选择他们想将光标放在文本的主体内的位置。然而,当相对于用户的输入介质(例如相对于用户的手指的大小)输入控制和文本显示的尺寸小时,用户可能体验到编辑文本的困难。
发明内容
在一个示例中,一种方法包括:由计算设备输出图形用户界面,并且用于显示在存在敏感显示器处,所述图形用户界面包括:图形键盘,所述图形键盘包括光标控制区和非光标控制区,其中,所述光标控制区不与所述非光标控制区重叠;以及文本显示区,所述文本显示区包括在文本显示区的第一光标位置处的光标。该方法还可以包括由计算设备检测在存在敏感显示器处接收到的手势的指示,所述手势是在图形键盘的位置处起始的;以及由计算设备确定所检测到的手势的位置是否在图形键盘的光标控制区内。该方法可以进一步包括响应于确定所检测到的手势的位置在光标控制区内,输出在不同于第一光标位置的文本显示区的第二光标位置处的光标,以用于显示在存在敏感显示器处,其中,第二光标位置至少部分基于手势。
在一个示例中,一种编码有指令的计算机可读介质,所述指令当被执行时,使计算设备的一个或多个处理器执行包括下述的操作:输出图形用户界面,以用于显示在存在敏感显示器处,所述图形用户界面包括:图形键盘,所述图形键盘包括光标控制区和非光标控制区,其中,所述光标控制区不与所述非光标控制区重叠;以及文本显示区,所述文本显示区包括在文本显示区的第一光标位置处的光标。所述计算机可读存储介质可以进一步编码有指令,所述指令当被执行时,使计算设备的一个或多个处理器执行包括下述的操作:检测在存在敏感显示器处接收到的手势的指示,所述手势是在图形键盘的位置处起始的;以及由计算设备确定所检测到的手势的位置是否在图形键盘的光标控制区内。所述计算机可读存储介质可以进一步编码有指令,所述指令当被执行时,使计算设备的一个或多个处理器执行包括下述的操作:响应于确定所检测到的手势的位置在光标控制区内,输出在不同于第一光标位置的文本显示区的第二光标位置处的光标,以用于显示在存在敏感显示器处,其中,第二光标位置至少部分基于手势。
在一个示例中,计算设备包括输入设备、输出设备和一个或多个处理器。所述计算设备还可以包括存储指令的存储器,所述指令当被一个或多个处理器执行时,使一个或多个处理器输出图形用户界面,以用于显示输出设备处,所述图形用户界面包括:图形键盘,所述图形键盘包括光标控制区和非光标控制区,其中,所述光标控制区不与所述非光标控制区重叠;以及文本显示区,所述文本显示区包括在文本显示区的第一光标位置处的光标。所述一个或多个处理器还可以被配置成检测在输入设备处接收的手势的指示,所述手势是在图形键盘的位置处起始的;以及确定所检测到的手势的位置是否在图形键盘的光标控制区内。所述一个或多个处理器可以进一步被配置成响应于确定所检测到的手势的位置在光标控制区内,输出在不同于第一光标位置的文本显示区的第二光标位置处的光标,以用于显示在输出设备处,其中,第二光标位置至少部分基于手势。
一个或多个示例的细节在附图和下述说明书中阐述。其他特征、细节和优点从说明书和附图以及权利要求将是显而易见的。
附图说明
图1是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的示例计算设备和图形用户界面(GUI)的框图。
图2是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的图1中所示的计算设备的一个示例的进一步细节的框图。
图3是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的示例计算设备和GUI的框图。
图4A、4B是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的示例计算设备和GUI的框图。
图5是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的示例计算设备和GUI的框图。
图6是根据本公开内容的一个或多个方面,图示可以用来提供基于手势的光标控制的示例操作的流程图。
具体实施方式
通常,本公开内容的示例技术针对在文本的主体内改进光标控制。这些技术可以便于修改在计算设备的存在敏感显示器处显示的文本的处理。本公开内容的技术可以减少执行光标的精确重定位所需的用户精力,并且增加文本的准确选择。例如,本公开内容的技术可以提高选择小于用户的输入单元(例如用户的手指)的显示文本的用户的能力。本公开内容的示例技术可以减少重定位光标的用户精力,并且因此,降低用户的注意力从GUI的图形键盘分散。因此,本公开内容的技术可以提高专注度,并且最终提高文本录入的速度。
在本公开内容的一个方面中,光标导航和文本操纵机制可以利用在软件键盘上的专用区中的虚拟跟踪表面。光标控制区能在标准键盘布局的现有区域上不显眼地实现。在一个示例中,初始光标控制区可以是显示图形键盘的空格键的存在敏感显示器的区域。当用户在光标控制区处执行触摸手势(例如,在该区域上左或右滑动)时,计算设备可以使光标在对应的方向上移动。
在一些示例中,包括在计算设备中的手势分类器可以区分光标控制区内的不同可能交互(例如光标滑动运动、空格键轻敲、空格键长按等等)。一旦由手势发起光标控制,光标能实时跟踪沿空格键的手势位置,允许细粒度控制。假设进一步功能性,用户能压下模式键(例如,空格键左边的键)来启用选择模式。在选择模式中,光标控制区能够可操作以选择文本。一旦已经选择了文本,用户可以在模式键被按压的同时使用简单的一键式快捷键,用于文本编辑。
在本公开内容的另一方面中,用户还可以提供使存在敏感显示器输出放大的光标控制区,允许更先进的2维和多触摸手势的指示。放大的光标控制区可以仍然在适当的地方显示,因此,用户能使用该光标控制区,如虚拟“触控板”,自由地抬起他或她的手指来实现多个滚动运动。放大的光标控制区还可以提供对诸如2维滚动的更多种交互的访问,而不牺牲键盘显示区域。左或右上的一个或多个虚拟按钮可以模拟与台式计算机的左和/或右鼠标点击类似的行为。
通过利用虚拟跟踪表面,计算设备可以使得用户能够提高计算设备上的文本编辑便利和的速度(在该过程期间,不会使用户从图形键盘分心)。此外,计算设备可以为放大的光标控制区和光标控制按钮提供功能性来允许用户更精确的光标控制和编辑能力。本公开内容的技术可以减少与文本选择或光标放置相关联的用户精力(例如“胖手指”困难)。此外,通过在现有的图形键盘上实现光标控制区,该区在使用该键盘的现有区的同时,不会与当前手势键盘冲突。
图1是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的示例计算设备2和图形用户界面(GUI)的框图。在一些示例中,计算设备2可以与用户3相关联。与计算设备相关联的用户可以通过向计算设备提供各种用户输入,与计算设备交互。在一些示例中,用户3可以具有包含一个或多个服务,诸如社交网络服务和/或电话服务的一个或多个帐户,以及可以利用与用户3相关联的计算设备2注册这些帐户。
计算设备2的示例可以包括但不限于便携式或移动设备,诸如移动计算设备、移动电话(包括智能电话)、膝上型计算机、台式计算机、平板计算机、智能电视平台、个人数字助理(PDA)、服务器、主机等等。如图1的示例中所示,计算设备2可以是移动计算设备(例如智能电话、平板计算机等等)。在一些示例中,计算设备2能包括用户界面(UI)设备4、用户界面(UI)设备模块6、键盘模块8、手势模块10和应用模块12A-12N(在下文中,“应用模块12”)。实现本公开内容的技术的计算设备2的其他示例可以包括图1中未示出的另外的组件,或可以包括少于所示的计算设备2的那些组件。
计算设备2可以包括UI设备4。在一些示例中,UI设备4被配置成接收触觉、听觉或视觉输入。UI设备4的示例如图1所示,可以包括触摸敏感和/或存在敏感显示器或用于接收输入的任何其他类型的设备。UI设备4可以输出诸如GUI 14和GUI 16的内容以用于显示。在图1的示例中,UI设备4可以是能显示图形用户界面和使用存在敏感显示器处或附近的电容或电感检测,从用户(例如用户3)接收输入的存在敏感显示器。
如图1所示,计算设备2可以包括UI模块6。UI模块6可以执行接收输入,诸如来自UI设备4的用户输入或网络数据,并且将这些输入发送到与计算设备2相关联的其他组件,诸如键盘模块8、手势模块10或应用模块12的一个或多个功能。UI模块6可以基于由UI模块6确定的何种类型的输入,确定这些输入将发送到的其他组件。例如,UI模块6可以从UI设备4接收输入数据,确定该输入构成手势,并且将这些输入数据发送到手势模块10。在其他示例中,UI模块6可以确定输入数据构成另一种类型的输入,并且将该输入数据发送到键盘模块8或应用模块12。UI模块6还可以从与计算设备2相关联的组件,诸如应用模块12接收数据。使用该数据,UI模块6可以使与计算设备2相关联的其他组件,诸如UI设备4提供基于该数据的输出。例如,UI模块6可以从应用模块12的一个接收使UI设备4显示GUI 14和16的数据。
在一些示例中,计算设备2包括键盘模块8。键盘模块8可以包括接收和/或处理在图形键盘处接收的输入数据的功能性。例如,键盘模块8可以经由所显示的图形键盘,从UI模块6接收表示由用户3输入的某些按键、手势等等的输入的数据(例如指示),作为UI设备4处的轻敲手势和/或连续挥扫手势。键盘模块8可以处理所接收的按键以基于所接收的输入位置、输入持续时间或其他适当的因素,确定预期字符、字符串、词、短语等等。键盘模块8还可以用来将字符、词和/或字符串数据发送到与计算设备2相关联的其他组件,诸如应用模块12。即,在不同示例中,键盘模块8可以从UI模块6接收原始输入数据,处理该原始输入数据来获得文本数据,并且将数据提供给应用模块12。例如,用户(例如用户3)可以在计算设备2的存在敏感显示器(例如UI设备4)处执行挥扫手势。当执行挥扫手势时,在用户3不使她的手指从UI设备4处的检测移开的情况下,用户3的手指可以在UI设备4处显示的图形键盘的一个或多个键上或附近连续地滑过。UI模块6可以接收手势的指示并且由该挥扫手势确定用户3的预期按键。然后,UI模块6可以将与所检测到的手势相关联的一个或多个位置或按键提供给键盘模块8。键盘模块8可以将所接收的位置或按键解释为文本输入,并且将文本输入提供给与计算设备2相关联的一个或多个组件(例如,应用模块12中的一个)。
如图1所示,计算设备2还可以包括手势模块10。在一些示例中,手势模块10可以被配置成从UI模块6接收手势数据并且处理手势数据。例如,手势模块10可以接收指示在UI设备4处,由用户(例如用户3)输入的手势的数据。手势模块10可以确定输入手势对应于键入手势、光标移动手势、光标区域手势或其他手势。在一些示例中,手势模块10响应于用户手势,确定对应于触摸或检测的UI设备4的位置的一个或多个对准点。在一些示例中,手势模块10能确定与手势相关联的一个或多个特征,诸如两个对准点之间的欧几里德距离、手势路径的长度、手势的方向、手势路径的曲率、手势的形状和对准点之间的手势的最大曲率、手势的速度等等。手势模块10可以将所处理的数据发送到与计算设备2相关联的其他组件,诸如应用模块12。
在一些示例中,计算设备2包括一个或多个应用模块12。应用模块12可以包括在计算设备2上执行任何各种操作的功能性。例如,应用模块12可以包括文字处理器、电子表格应用、web浏览器、多媒体播放器、服务器应用、视频编辑应用、web开发应用等等。如图1的示例中所述,应用模块12中的一个(例如应用模块12A)可以包括将数据提供给UI模块6,使UI设备4输出GUI 14、16的电子邮件客户端应用的功能性。应用模块12A可以进一步包括使得用户3能够通过在UI设备4处(例如在所显示的图形键盘上)执行轻敲手势或连续挥扫手势,输入和修改文本内容的功能性。例如,应用模块12A可以使UI设备4显示图形键盘20和文本显示区18。响应于通过使用图形键盘20接收用户输入,应用模块12A可以在GUI 14、16中创建和/或修改文本内容。
本公开内容的技术使用在图形键盘的光标控制区内起始的手势,提供用于精确光标控制和文本选择的机制。例如,在计算设备的存在敏感显示器处显示的图形键盘可以具有指定为光标控制区的空格键。在经由图形键盘输入文本后,计算设备的用户可以发起空格键的触摸,并且然后,将他或她的手指向左滑动。该手势可以使初始位于所输入的文本前的光标向左滚动通过所输入的文本。光标的移动的速度可以与存在敏感显示器上用户的手指的速度成比例。用户可以使用另一手指来按压和保持在图形键盘的模式按钮上,由此使光标选择其经过的文本。在用户释放模式按钮和手势后,用户可以立即恢复以正常方式使用图形键盘。本公开内容的其他技术可以为用户提供将放大的光标控制区用于二维文本导航和实现光标控制按钮的显示的能力。在下文中,参考图1,进一步描述本公开内容的示例技术。
如图1所示,GUI 14、16可以是由应用模块12中的一个生成的、允许用户(例如用户3)与计算设备2交互的用户界面。GUI 14、16可以包括图形键盘20和/或文本显示区18。文本显示区18可以包括文本内容和/或光标24。文本内容的示例可以包括字母、词、数字、标点符号、图像、图标、一组运动图像等等。这些示例可以包括图片、超链接、图标、字符集中的字符等等。光标24可以指示将输入当前录入的文本内容的位置。在一些示例中,光标可以是直线、箭头、符号、高亮的字符等等。换句话说,光标可以由指示文本内容内的位置的任何手段组成。如图1所示,文本显示区18可以显示由用户3录入的文本内容。为图1中的示例目的,文本内容可以包括“The quick brown fox jumped over the lazy dog”。UI模块6可以使UI设备4显示具有所包括的文本内容和光标24的文本显示区18。
图形键盘20可以由UI设备4显示为可选择键的有序集合。键可以表示来自字符集的单一字符(例如,英语字母表中的字母),或可以表示字符的组合。图形键盘的一个示例可以包括传统的“QWERTY”键盘布局。其他示例可以包含用于不同语言、不同字符集或不同字符布局的字符。如图1的示例中所示,图形键盘20包括用于英语的传统的“QWERTY”键盘布局的版本,提供字符键和实现其他功能性的各种键(例如“?123”键)。图形键盘20包括键25A、25B和25C,分别允许“A”、“P”或“K”字符的用户输入。如图1的示例中所示,图形键盘20还可以包括空格键23。空格键23可以提供输入空格字符的功能性。根据本公开内容的各个方面,图形键盘20可以包括光标控制区22。光标控制区22可以附加到图形键盘20的空格键23或与其共享位置。未包括在光标控制区22中的图形键盘20的区域可以称为非光标控制区。在一些示例中,光标控制区22和非光标控制区可以彼此互斥。即,光标控制区22和非光标控制区可以完全不重叠。在其他示例中,光标控制区22和非光标控制区可以共享某种程度的重叠。
光标控制区22可以是可视指定的区域,诸如图形键盘的专用部分。例如,颜色、边框、阴影或其他这些图形效果可以指示可视指定的区域。在其他示例中,光标控制区22可能与非光标控制区不能可视地区分。在一些示例中,用户3可以通过将UI设备4的区域提供为输入,初始地确定光标控制区。在其他示例中,如果用户3未提供光标控制区,则UI模块6可以包括缺省的光标控制区。即,光标控制区可以或可以不是用户定义的。在图1的示例中,光标控制区22与图形键盘20不可区分,占用与空格键23相同指定的区域。即,光标控制区22显示在图1中,用于可视地图示该区的目的,但光标控制区22可以不在GUI 14中图形地显示。图形键盘20的空格键23内的显示区域,如在UI设备4处所显示的,构成光标控制区22。不在空格键23内的显示区域构成非光标控制区。在其他示例中,光标控制区22可以由存在敏感显示器的区域、在所显示的图形键盘上的键、一组键、线条或任何其他指定的区域组成。
如图1的示例中所示,应用模块12A可以使UI设备4显示GUI 14。GUI 14可以初始地包括图形键盘20,以及包含文本内容和光标24的文本显示区18。因此,应用模块12A可以使UI设备4在相对于所显示的文本内容的第一光标位置处显示光标24。即,如图1的GUI 14的示例中所示,光标24可以位于词“dog”中的“g”字符的右边。
UI设备4可以从用户3接收以手势形式的输入。在一个示例中,手势可以是轻敲手势,其中,用户3的手指移向UI设备4附近,使得由UI设备4临时检测到手指,并且然后,用户3的手指移离UI设备4使得不再检测到手指。在不同示例中,用户3可以执行通过将他或她的手指移向UI设备4附近,使得由UI设备4检测到该手指的挥扫手势。在该示例中,在使手势从UI设备4附近移开使得不再能够检测到手指之前,用户3可以将他或她的手指保持在UI设备4附近来执行后续动作。
用户3可能希望将文本显示区18的光标24移向所显示的文本内容的第二光标位置。即,用户3可以希望将光标24移向除其当前存在的位置,即第一位置外的位置。在一些示例中,第二光标位置可以是第一光标位置的左或右,或第一光标位置所处的文本行上方或下方的文本行上的位置。在任一情况下,根据本公开内容的技术,用户3可以执行在图形键盘20的光标控制区22内起始的手势。如图1所示,用户3可以执行重定位光标24的手势26,而不使他或她的注意力脱离图形键盘20以及手指不遮挡文本内容。
当用户3执行手势26时,UI模块6可以接收检测为在存在敏感显示器的第三位置处起始的手势的指示。如图1的示例中所示,第三位置可以在光标控制区22内。在一些示例中,手势可以由轻敲手势组成。然后,UI模块6将该手势的指示发送到键盘模块8。在其他示例中,手势可以由另一种类型的手势组成,诸如连续挥扫手势,以及UI模块6可以将指示发送到手势模块10。如图1所示,作为非轻敲手势的一个示例,手势26可以由左滑动手势组成。在这种情况下,UI模块6可以将手势26的指示发送到手势模块10。
UI模块6可以接收手势26的指示并且将手势26的位置提供给手势模块10。在一些示例中,如果手势模块10确定手势26不是在光标控制区22内起始,则手势模块10可以忽略手势26,或执行与控制光标24的位置无关的一些其他动作(例如,输入一系列字符或改变功能性)。然而,如果手势模块10确定手势26的确在光标控制区22内起始,则手势模块10可以将手势26解释为光标控制手势。即,在光标控制区22处执行的手势可以使光标移向不同的位置,而在不同于光标控制区22的非光标控制区处执行的手势可以不使光标移向不同位置。
然后,手势模块10可以将手势26的指示发送到与计算设备2相关联的其他组件,诸如UI模块6和/或一个或多个应用模块12。如图1所示,手势26可以在光标控制区22内起始。因此,UI模块6响应于从手势模块10接收到手势26的指示,可以使UI设备4通过显示光标指示器28,可视地指示所接收的输入。在一些示例中,UI模块6可以不显示光标指示器28。光标指示器28可以帮助用户3在输入光标控制手势(例如手势26)期间定位光标24。在一些示例中,光标指示器28可以是直接位于光标24下方的形状、对象、图像等等。在其他示例中,光标指示器28可以是颜色突出的光标24,或强调或唤起对光标24的位置的注意的其他手段。
响应于从手势模块10接收手势26的指示,UI模块6还可以使UI设备4显示在文本显示区18中显示的文本内容中的第二光标位置处的光标24和/或光标指示器28。如图1所示,UI模块6使UI设备4显示在文本显示区18中显示的文本内容内的第二光标位置处的光标24和光标指示器28。即,如GUI 16所示,光标24可以由UI设备4显示在包含在文本显示区18中显示的文本内容中的词“jumped”中的“j”字符的左边。在当前示例中,用户3可以接着从存在敏感显示器移开他或她的手指,使得该手指不再可由UI设备4检测到(例如结束手势26)。在其他示例中,用户3可以保持他或她的手指,并且该手指可以仍然可由UI设备4检测到。
在一些示例中,响应于接收光标控制手势的指示,UI模块6可以至少部分基于输入光标控制手势,使UI设备4在连续位置显示光标24和光标指示器28。即,UI设备4可以将光标24和光标指示器28显示为“滚动”通过在文本显示区18中显示的文本内容。在其他示例中,UI设备4可以至少部分基于输入光标控制手势,仅显示在文本内容内的第二光标位置处的光标24和光标指示器28。在图1的示例中,在GUI 14中接收到所显示的手势26时,UI模块6可以使UI设备4在显示第二光标位置处的光标24和光标指示器28之前,在前一位置的左边的多个位置处,连续地显示光标24和光标指示器28,如GUI 16所示。例如,在接收使光标24移向左的手势26期间,如图1所示,光标24可以由UI设备4已经临时地显示在每一字符之间、每隔3个字符之间、词之间等等。在光标24的每一显示的位置,光标指示器28可以由UI设备4已经类似地显示在光标24的下方。
在一些示例中,作为手势26的用户3的输入的结果,由光标24滑过的字符的数目(例如光标24的第一位置和第二位置之间的字符的数目)可以与在手势26的持续时间期间,用户3的手指移过的距离成比例。如果用户3的手指移动短距离,则光标24可以滑过少数目的字符。然而,如果用户3的手指移动长距离,同时由UI设备4检测到,则光标24可能滑过大数目的字符。在其他示例中,作为手势26的结果,由光标24经过的字符的数目可以至少部分基于在手势26期间的用户3的手指的速度。例如,键盘模块8使用允许以慢速的细粒度控制和以告速的更快加速运动的智能传递函数,可以将光标速度非线性地映射到用户3的手指的速度。作为一个示例,慢速可以包括每秒0-2英尺而告速可以是快于每秒2英尺的速度。如果用户3的手指正沿轨迹区快速地行进,则该算法可以自动地切换到词级移动模式,而光标24仅停止在词的结尾,由此允许更快移动和更好编辑控制(其中,词终点更可能是预期目的地)。
在一些示例中,文本内容内的光标24的位置的改变可以基于一个或多个物理模拟。例如,UI模块6可以将一个或多个属性与指示所模拟的密度、质量、成分等等的光标24相关联。UI模块6可以定义当输入光标控制手势时,UI模块6可以应用于光标24的一个或多个物理模拟。例如,物理模拟可以模拟光标24的重量,使得当UI设备4检测到手势26时,UI模块26能应用该模拟来虚拟地“掷”或“推”光标24。在一些示例中,物理模拟可以基于手势26的属性,诸如手势的速度、距离等等改变。
在其他示例中,UI模块6可以定义将应用于手势26本身的一个或多个物理模拟。例如,物理模拟可以模拟弹簧、橡皮带、枕头等等的弹性,使得当用户3从手势26起始的UI设备4上的位置在一个方向上远离移动他或她的手指时,在同一方向上,光标24移动通过文本内容的速度可以成比例地增加。
以这种方式,本公开内容的技术可以通过为用户提供更适合于保持用户的注意力的光标控制和提供细粒度控制,提高文本录入和编辑的效率和准确度。换句话说,用户能滑动他或她的手指来移动光标,而不将他或她的注意力从图形键盘移开,或不遮挡文本内容的部分。例如,用户能通过将他或她的手指放在空格键上,或向左滑动来使光标向左移动通过文本内容以输入光标控制手势,并且当他或她满意当前光标位置时,释放手指。在另一示例中,代替释放他或她的手指,用户可能已经移动光标向左移动太远。用户可以简单地将他或她的手指滑回到右边来将光标向右移动通过文本内容。在另一示例中,用户可以将他或她的手指放在光标控制区内,并且向左或向右滑动他或她的手指来开始在那一方向上,使光标移动通过文本内容。用户能将他或她的手指移回到光标控制手势起始的位置来停止移动光标。
本公开内容的技术还可以有利地使用图形键盘的预先存在的区域,例如空格键,作为光标控制区来接收在图形用户界面内移动光标的手势的指示。因此,本公开内容的技术不是初始地显示可能要求图形用户界面的另外的区域的虚拟触控板,而是能使用例如图形键盘的预先存在的区域(例如,与至少一个键相关联的区域)。如本公开内容的后续图中所示,如果用户预期光标的另外的控制,则用户能执行一个或多个手势来稍后发起虚拟触控板的显示。
图2是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的图1中所示的计算设备的一个示例的进一步细节的框图。图2图示计算设备2的仅一个具体示例,以及计算设备2的许多其他示例可以用在其他实例中。
如图2的特定示例中所示,计算设备2包括一个或多个处理器40、一个或多个输入设备42、一个或多个通信单元44、一个或多个输出设备46、一个或多个存储设备48和用户界面(UI)设备4。计算设备2在一个示例中,进一步包括可由计算设备2执行的模块6、8、10、12和操作***54。手势模块10可以包括手势分类器模块56、模式选择模块58和光标控制模块60。可以互连(物理、通信和/或可操作)组件40、42、44、46和48的每一个,用于组件间通信。如图2中的一个示例,组件4、40、42、44、46和48可以由一个或多个通信信道50耦接。在一些示例中,通信信道50可以包括***总线、网络连接、进程间通信数据结构,或用于传送数据的任何其他信道。模块6、8、10、12、56、58和60以及操作***54也可以相互和与计算设备2中的其他组件传送信息。
在一个示例中,处理器40被配置成实现用于在计算设备2内执行的功能性和/或处理指令。例如,处理器40可以能够处理在存储设备48中存储的指令。处理器40的示例可以包括微处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或等效的分立或集成逻辑电路中的任何一个或多个。
一个或多个存储设备48可以被配置成在操作期间,存储计算设备2内的信息。在一些示例中,存储设备48分别描述为计算机可读存储介质。在一些示例中,存储设备48是临时存储器,意指存储设备48的主要目的不是长期存储。在一些示例中,存储设备48描述为易失存储器,意指当关闭计算机时,存储设备48不保持所存储的内容。易失存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)和本领域中公知的其他形式的易失存储器。在一些示例中,使用存储设备48来存储用于由处理器40执行的程序指令。在一个示例中,存储设备48可以由在计算设备2上运行的软件或应用(例如模块6、8、10、12)使用来临时地存储程序执行期间的信息。
在一些示例中,存储设备48还包括一个或多个计算机可读存储媒介。存储设备48可以被配置成存储比易失存储器更大量的信息。存储设备48可以进一步被配置成长期存储信息。在一些示例中,存储设备48包括非易失存储元件。这些非易失存储元件的示例包括磁硬盘、光盘、软盘、闪存,或其他形式的电可编程存储器(EPROM)或电可擦可编程存储器(EEPROM)。
在一些示例中,计算设备2还包括一个或多个通信单元44。在一个示例中,计算设备2利用通信单元44至44来经由一个或多个网络,诸如一个或多个无线网络,与外部设备通信。通信单元44可以包括网络接口卡,诸如以太网卡、光收发器、射频收发器或能发送和接收信息的任何其他类型的设备。这些网络接口的其他示例可以包括蓝牙、3G和Wi-Fi无线电计算设备以及通用串行总线(USB)。在一些示例中,计算设备2利用通信单元44来与外部设备,诸如图1的计算设备2的其他实例或任何其他计算设备无线地通信。
在一个示例中,计算设备2还包括一个或多个输入设备42。在一些示例中,输入设备42被配置成通过触觉、音频或视频反馈,从用户接收输入。输入设备42的示例包括存在敏感显示器、鼠标、键盘、语音应答***、视频摄像机、麦克风或用于检测来自用户的命令的任何其他类型的设备。在一些示例中,存在敏感显示器包括存在敏感屏。
一个或多个输出设备46也可以包括在计算设备2中。在一些示例中,输出设备46被配置成使用触觉、音频或视频刺激,向用户提供输出。在一个示例中,输出设备46包括存在敏感显示器、声卡、视频图形适配卡或用于将信号转换成可由人或机器理解的适当形式的任何其他类型的设备。输出设备46的另外的示例包括扬声器、阴极射线管(CRT)监视器、液晶显示器(LCD)或能生成用户能理解的输出的任何其他类型的设备。
在一些示例中,UI设备4可以包括输入设备42和/或输出设备46的功能性。在图2的示例中,UI设备4可以是触摸敏感屏。在一些示例中,存在敏感显示器可以检测存在敏感显示器的屏幕处和/或附近的对象。作为一个示例范围,存在敏感显示器可以检测对象,诸如存在敏感显示器的物理屏的2英寸或更小内的手指或铁笔。存在敏感显示器可以确定检测到该对象的存在敏感显示器的位置(例如(x,y)坐标)。在另一示例范围中,存在敏感显示器可以检测离存在敏感显示器的物理屏6英寸或更小的对象。存在敏感显示器可以使用电容、电感和/或光学识别技术,确定由用户的手指选择的显示器的位置。在一些示例中,存在敏感显示器使用触觉、音频或视频刺激,将输出提供给用户,如参考输出设备46所述。
计算设备2可以包括操作***54。操作***54在一些示例中,控制计算设备2的组件的操作。例如,操作***54在一个示例中便于模块6、8、10和12与处理器40、通信单元44、存储设备48、输入设备42、UI设备4和输出设备46的通信。模块6、8、10、12可以分别包括可由计算设备2执行的程序指令和/或数据。作为一个示例,UI模块6可以包括使计算设备2执行在本公开内容中所述的一个或多个操作和动作的指令。
根据本公开内容的技术,应用模块12中的一个(例如应用模块12A)可以使UI设备4显示图形用户界面(GUI),所述GUI包括图形键盘和具有在第一位置中显示的光标,诸如图1的GUI 14所示的光标24的文本显示区。根据本公开内容的技术,用户3可以在显示图形键盘20的UI设备4的位置处执行触摸手势。UI设备4可以检测手势,并且作为响应,UI模块6可以确定手势是轻敲手势还是一些其他形式的手势,并且确定该手势是否在图形键盘20的光标控制区中起始。如果所执行的手势是轻敲手势和/或不在光标控制区中起始,则UI模块6可以忽略该手势或执行不同的操作,诸如将手势的指示发送到键盘模块8,用于正常键盘输入处理。
然而,如果手势对应于除轻敲手势外的手势并且手势在光标控制区中起始,则UI模块6可以将手势的指示发送到手势模块10。可以由手势分类器模块56接收手势的指示。然后,手势分类器模块56可以确定输入何种类型的手势。所输入的手势在不同示例中,可以构成一个或多个键的选择(例如图1的空格键23)、光标控制放大手势、光标控制手势或其他手势。例如,手势可以是用户通过空格键的连续选择,输入一个或多个空格字符的尝试。在这些示例中,手势分类器模块56可以忽略该手势或执行不同的操作,诸如将手势的指示发送到键盘模块8。在其他示例中,用户可以输入期望导致图形光标控制界面的显示的光标控制放大手势。然而,如果手势分类器模块56确定所输入的手势是光标控制手势,则手势分类器模块56可以与模式选择模块58通信。此外,手势分类器模块56可以响应于确定所输入的手势是光标控制手势,将信息发送到光标控制模块60。
模式选择模块58可以确定用户3已经还是当前正在选择模式键。如果模式选择模块58确定用户3已经选择和/或将继续选择模式键,则模式选择模块58可以将选择的指示发送到光标控制模块60。
响应于从手势分类器模块56接收信息,光标控制模块60可以利用光标移动处理来将指令发送到UI模块6,使UI设备4输出在文本显示区内的第二光标位置处的光标,诸如图1的GUI 16中显示的光标24。光标控制模块60可以从模式选择模块58接收对模式键的选择的指示。响应于接收该指示,光标控制模块60可以利用光标选择处理来使UI设备4输出位于光标24的第一位置和第二位置之间的、如正处于被选状态中的文本内容。存在于被选状态中的文本内容可以允许用户在被选文本内容上执行另外的操作。例如,用户可以利用退格键的单一选择,移除所有被选文本内容。在另一示例中,被选文本内容可以经过格式的变化,同时不在被选状态中的文本内容可以保持不变。可以由UI模块6输出被选文本内容,用于不同于非被选文本内容地显示,以便向用户表明选择。区分的示例可以包括将铁笔变化应用于被选文本内容,诸如高亮、下划线、颜色改变、字体改变、加粗等等。
在任一情况下,手势模块10可以使UI设备4响应于接收到输入的手势,在文本显示区18内的不同位置处显示光标24。如果在输入的手势的持续时间内模式键被选择和/或保持被选择,则手势模块10可以使UI设备4显示处于被选状态的文本内容的一部分。在一些示例中,手势模块10响应于接收到光标控制手势,可以使UI设备4显示光标标识符28。在其他示例中,手势模块10可以使UI设备4显示其他指示符。
在一些示例中,例如,如图4A-4B所示,其中,手势分类器模块56确定所输入的手势是光标控制放大手势,手势分类器模块56可以将数据发送到UI模块6,使UI设备4显示图形光标控制界面。图形光标控制界面可以代替或重叠在图形键盘(例如GUI 14的图形键盘20)上。在其他示例中,在手势分类器模块56确定所输入的手势是光标控制缩小手势的情况下,手势分类器模块56可以使UI设备4显示图形键盘20。即,手势模块10可以允许用户3通过在光标控制区22中输入手势,使UI设备4显示或不显示图形光标控制界面。
图3是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的示例计算设备和GUI的框图。如图3所示,计算设备2包括组件,诸如UI设备4(其可以是存在敏感显示器)、UI模块6、键盘模块8、手势模块10和应用模块12。计算设备2的组件能包括与如图1和2所述的这些组件的功能性类似的功能性。
在一些示例技术中,当按压模式键时,UI模块6可以输出图形键盘20的经修改的版本。例如,UI模块6可以使图形键盘20的某些键显示在GUI 82中,作为用于文本编辑的快捷键(例如剪切、复制和粘贴功能),由此提供直观、快速的文本编辑能力。即,UI模块6可以以不同于非快捷键的那些键的方式(例如,不同颜色、不同字体、不同边框宽度等等)显示这些快捷键。在图3中进一步示出这些技术。
GUI 80可以初始地包括文本显示区18和具有光标控制区22的图形键盘20。图形键盘20和光标控制区22可以具有如在图1的上下文中所述的功能性。文本显示区18可以包括文本内容“The Quick brownfox jumped over the lazy dog”。在图3的示例中,光标可以位于词“dog”的“g”字符右边的第一光标位置。
用户(例如用户3)可以通过选择模式键,并且执行移动光标和选择该部分的光标控制手势,进行所显示的文本内容的一部分的选择。在一些示例中,模式键可以是专用键,新增加到图形键盘。在其他示例中,模式键可以与现有键,诸如换档键或“?123”键盘切换键92(在下文中,“模式键92”)共享功能性。如果模式键92与现有键共享功能性,则手势模块10可以基于上下文(例如光标控制手势是否在键按压后),确定键按压的意图。在模式键92处执行的不同类型的手势可以导致不同功能性。在一个示例中,执行具有短持续时间(例如小于1秒)的轻敲手势可以使UI设备4显示不同图形键盘(诸如具有数字键、标点键等等的图形键盘),而具有长持续时间(例如1秒或更长)的那些轻敲手势可以使UI设备4显示用于文本编辑的快捷键,以下将参考图3进一步描述。在其他示例中,可以使用诸如双轻敲或连续保持手势的各种手势。
在图3的示例中,用户3可以从图形键盘20选择模式键92。在选择模式键92后和/或当保持该选择时,用户3可以执行光标控制手势84,如GUI 80中所示。响应于接收光标控制手势84,UI模块6可以使UI设备4显示显示处于被选状态的文本内容“jumped over the lazydog”。文本内容“jumped over the lazy dog”可以在UI设备处4显示为由高亮包围,如在GUI 80中所看到的。
UI模块6可以使UI设备4显示选择指示符86A、86B(在下文中,“选择指示符86”)。如GUI 80中所示,选择指示符86A位于文本内容的被选部分的前边界,而选择指示符86B位于被选部分的后边界。在一些示例中,UI模块6可以不输出选择指示符86以用于显示。选择指示符86可以在输入光标控制手势(例如手势84)期间,帮助用户3描绘被选文本内容的边界。在一些示例中,选择指示符86可以是位于被选文本内容的前边界和后边界的形状、对象、图像等等。换句话说,选择指示符86可以是强调或者唤起注意被选文本内容的边界的任何手段。
参考GUI 82,用户可能希望在文本内容的被选部分上执行各种功能。例如,用户可能希望复制被选部分,剪切被选部分(即,从文本显示区18中移除被选部分并且临时存储被选部分,用于后续使用),或通过替换被选部分,粘贴先前存储的文本内容。用户可以在所显示的图形键盘上按压和保持模式键92。响应于确定按压并保持模式键92,UI模块6可以将手势的指示发送到键盘模块8。键盘模块8可以将数据发送到UI模块6,使UI设备4修改图形键盘的显示,使得不同于其他键(例如键98),显示特定快捷键,诸如快捷键96A、96B和96C(在下文中,“快捷键96”)。在一些示例中,只有当前选择文本内容的一部分时,键盘模块8可以使UI设备4修改所显示的图形键盘。即,为了不与正常键盘操作冲突,当存在被选的文本并且按压模式键92时和/或激活文本选择模式时,快捷键96可以仅变为激活和/或以经修改的方式显示。
在一些示例中,用户可以在模式键92处执行长按压手势。长按压手势可以例如构成持续比某一时间阈值,诸如1秒更长的轻敲手势。执行模式键92的长按压可以使UI设备4如上所述修改图形键盘20的显示。用户可以选择快捷键96(例如快捷键96B)或任何其他键中的一个。在接收该选择后,键盘模块8可以使UI设备4再次显示图形键盘20,而不显示快捷键的指示。即,模式键92的长按压可以临时显示高亮或强调的快捷键96以便选择,并且在用户这种选择后,再次显示正常的图形键盘。
快捷键96可以提供对文本编辑功能,诸如剪切、复制、粘贴或撤消的访问。快捷键96可以是来自强调或者修改外观来吸引用户注意的图形键盘的键。在GUI 82所示的示例中,用户3可以从所显示的图形键盘选择模式键92。响应于接收手势的指示,键盘模块8可以使UI设备4不同于图形键盘20的其他键盘键(例如键98)显示快捷键96。图形键盘20可以如GUI 82所示,以高亮状态显示快捷键96(即分别“Z”、“C”和“V”键),向用户3指示相关联的撤消、复制和粘贴功能的可用性。即,当保持模式键92时,图形键盘20可以不同于其他键显示快捷键96,以及用户3可以在快捷键96A、快捷键96B或快捷键96C处执行手势来分别执行撤消功能、复制功能或粘贴功能。
在一些示例中,可以将用于复制、粘贴、撤消等等的快捷方式实现为建议区内的专用按钮。在常规操作期间,建议区(例如建议区90)可以基于所接收的输入,显示文本输入的建议或预测。建议或预测可以包括字母、词、短语等等。基于由用户输入的文本内容,与计算设备2相关联的各种组件可以使UI设备4显示在建议区90内的后续输入的预测。然后,用户可以选择预测的一个或多个来使输入所显示的预测,而不是手动地输入文本内容。然而,响应于用户输入,建议区90可以用来替代显示快捷按钮97A、97B、97C和97D(在下文中“快捷按钮97”)。即,建议区90可以通过响应于不同用户输入,交替地显示预测文本建议和快捷按钮97,以节省可用显示空间。
在一些示例中,快捷按钮97可以响应于模式键92的用户的连续选择,替代预测建议。在其他示例中,响应于其他输入(例如模式键92上的长按压),快捷按钮97可以显示在建议区90中,并且可以要求用户输入以便移除。快捷按钮97可以标记有它们相应的功能(即“撤消”、“复制”、“剪切”、“粘贴”)。在GUI 82的示例中,响应于接收对模式键92的选择,UI设备4可以在建议区90中显示快捷按钮97。
当保持模式键92时,用户可以选择快捷键96或快捷按钮97中的一个来执行相关联的功能。例如,用户可以选择“C”键(即快捷键96B)来复制文本内容的被选部分。在另一示例中,选择“撤消”快捷按钮(即快捷按钮97A)可以撤消先前录入的输入的效果,诸如擦除所输入的文本,移除文本的粘贴部分等等。在GUI 82的示例中,用户3可以在保持模式键92的同时,选择快捷键96B。响应于接收选择的指示,键盘模块8可以将文本的被选部分,“jumped over the lazy dog”复制到计算设备2的存储设备(例如,图2所示的存储设备48中的一个)。
图4A、4B是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的示例计算设备和GUI的框图。如图4A、4B所示,计算设备2包括组件,诸如UI设备4(其可以是存在敏感显示器)、UI模块6、键盘模块8、手势模块10和应用模块12。计算设备2的组件能包括与如图1和2所述的这些组件的功能性类似的功能性。
在一些示例中,本公开内容的技术可以使得用户3能够导致使显示放大的光标控制区。例如,用户3可以希望执行另外的光标控制手势,诸如二维或多触摸手势。本公开内容的技术可以使得用户3能够执行在光标控制区中起始的光标控制放大手势,由此导致显示光标控制界面。
如图4A所示,GUI 120可以初始包括文本显示区18和图形键盘20。文本显示区18可以包括所输入的文本内容,以及光标24。图形键盘20可以包括如GUI 120中所示的光标控制区22。文本显示区18、光标24、图形键盘20和光标控制区22可以具有如在图1和2的上下文中所述的功能性。
根据本公开内容的技术,当需要时,能扩展光标控制区22来覆盖更多区域并且支持另外类型的交互。即,用户3可以期望放大光标控制区,允许使用专用的光标控制界面。因此,用户3可以执行在光标控制区22内起始的光标控制放大手势。光标控制放大手势可以是单一或多触摸手势,诸如利用两个手指向上滑动。例如,输入光标控制放大手势可以要求用户将两个输入单元(例如手指)放在光标控制区22内,并且基本上同时在基本上垂直(例如向上)方向上移动输入单元。在一些示例中,基本上垂直方向可以由计算设备2的手势模块10限定为在偏离垂直轴10角度内。在其他示例中,基本上垂直方向可以被限定成包括在偏离15、25或40角度内的手势。即,基本上垂直方向可以被限定成包括手势精度的各种水平。基本上相同时间可以是时间定界的。在一些示例中,两个移动如果同时执行,则其可以处于基本上相同时间。在其他示例中,两个移动如果在相互100毫秒、相互1秒或一些其他时间度量内,则其可以处于基本上相同时间。在图4A的示例中,用户3可以通过将两个手指放在光标控制区22上并且在基本上相同时间,以基本上向上方向滑动两个手指,以执行光标控制放大手势124。
响应于用户输入光标控制放大手势124,手势模块10可以使UI设备4显示图形光标控制界面126。即,响应于检测到两个输入单元执行在光标控制区22起始的向上手势,手势模块10可以使UI设备4显示图形光标控制界面126。图形光标控制界面126可以显示在图形键盘20上或代替图形键盘20并且可以包括更大、可视可识别的光标控制板(例如光标控制板128)。如图4A所示,UI模块6可以响应于接收到光标控制放大手势124,输出GUI 122。GUI 122可以包括文本显示区18和图形光标控制界面126。图形光标控制界面126可以进一步包括光标控制板128。光标控制板128可以是光标控制区,与图1的光标控制区22类似,允许用户3输入光标控制手势。通过提供专用的光标控制界面,可以使用更大的光标控制区,而不与允许基于手势的键入输入手势键盘冲突。
当显示图形光标控制界面126时,用户可以在光标控制板128上输入光标控制手势。光标控制板128可以提供更复杂的二维光标控制手势的功能性。输入二维光标控制手势,诸如GUI 122中所示的光标控制手势130可以使得用户能够在文本显示区18内的两个方向上移动光标。这就是光标控制板128可以允许用户以并行的方式,垂直和水平地重定位光标,即,光标的单一对角移动。光标控制板128可以包括与包括在一些膝上型计算设备上的触控板类似的功能性,允许用户自由地抬起他或她的手指来进行多个滚动运动。以这种方式,光标控制板128可以充当允许手势输入,而不占用宝贵的键盘显示区域的虚拟触控板。在图4A的示例中,GUI 122可以显示图形光标控制界面126。用户3可能期望将光标24从文本显示区18内的第一光标位置(例如“fox”中的“x”字符右边,如GUI 120所示)移动到第二光标位置(例如,“lazy”中的“l”字符左边,如GUI 122所示)。因此,用户3可以在光标控制板128执行光标控制手势130。
如图4A所示,光标控制手势130可以包括用户3在向下和向左方向上移动他或她的手指。手势模块10可以接收光标控制手势130的指示,并且基于所输入的手势,使UI设备4显示在第二光标位置处的光标24。即,手势模块10可以使UI设备4将光标24从文本内容的第一行向下移动到文本内容的第二行,以及从“fox”中的“x”的右边向左移动到“lazy”中的“l”的左边。根据本公开内容的技术,UI设备4可以在光标24下输出光标指示器28。与要求用户水平滚动通过文本内容的每一行以便将光标移动到文本内容的下一行相比,二维光标控制手势通过允许直接垂直移动,可以增加用户在文本内容内的光标重定位速度。
响应于接收光标控制放大手势,UI模块6可以输出图形光标控制界面以用于显示。用户可能希望使用图形光标控制界面选择所显示的文本内容的一部分。本公开内容的技术可以允许用户在图形光标控制界面处执行二维光标控制手势,由此选择文本内容的一部分。
如图4B的GUI 160所示,图形光标控制界面(例如图形光标控制界面126)可以包括光标控制板128和光标控制按钮164A和164B。图形光标控制界面126和光标控制板128可以具有如在图4A的上下文中所述的功能性。光标控制按钮164A和/或164B可以提供与台式计算设备的鼠标按钮类似的功能性。在一些示例中,光标控制按钮164A和164B的行为可以是专用的。在图4B的示例中,用户3可以在光标控制按钮164B处执行手势,由此选择光标控制按钮164B。然后,用户3可以在光标控制板128的位置处执行光标控制手势166。在执行光标控制手势166的过程中,用户3可以将光标从文本内容的第二行中的词“the”的右边的第一光标位置170移动到文本内容的第一行中的词“brown”的左边的第二光标位置172。响应于结合选择光标控制按钮164B,接收到光标控制手势166,手势模块10可以使UI设备4显示处于被选状态文本内容“brown fox jumped over the”(即,位于第一光标位置170和第二光标位置172之间的文本内容)。
响应于接收光标控制放大手势(例如图4A的光标控制手势124),在一些示例中,手势模块10也可以使UI设备4在建议区90中显示快捷按钮97。快捷按钮97可以标记有它们相应的功能(即,“撤消”、“复制”、“剪切”、“粘贴”)。选择快捷按钮97中的一个可以执行所标记的功能。例如,选择快捷按钮97B可以将被选文本内容复制到计算设备2的存储设备。建议区90还可以包括提供解除、关闭或者停止显示图形光标控制界面126的功能性的解除按钮(例如解除按钮169)。当用户使用图形光标控制界面完成光标控制或文本选择时,他或她可以选择解除按钮169来使UI设备4停止显示图形光标控制界面126,并且替代地,显示图形键盘(例如图1的图形键盘20)。
在一些示例中,本公开内容的技术可以使得用户3能够执行从显示中移除光标控制界面26并且返回到查看图形键盘(例如图1的图形键盘20)的手势。例如,用户3可能期望使用图形键盘20输入文本内容。本公开内容的技术可以使得用户3能够执行在光标控制区中起始的光标控制缩小手势并且导致从GUI 162中移除光标控制界面。即,本公开内容可以提供切换回图形键盘的一个或多个机制。输入光标控制缩小手势可以要求用户将两个输入单元(例如手指)放在光标控制板128内,并且基本上同时,在基本上垂直(例如向下)方向上移动输入单元。在一些示例中,基本上垂直方向可以由计算设备2的手势模块10限定为在偏离垂直轴10角度内。在其他示例中,基本上垂直方向可以被限定成包括在偏离15、25或40角度内的手势。即,基本上垂直方向可以被限定成包括手势精度的各种水平。基本上相同时间可以是时间定界的。在一些示例中,两个移动如果同时执行,则其可以处于基本上相同时间。在其他示例中,移动如果在相互100毫秒、相互1秒或一些其他时间度量内,则其可以处于基本上相同时间。用户能选择图形光标控制界面的右上角的解除按钮169或执行光标控制缩小手势。
如图4B的示例中所示,GUI 162可以初始地包括图形光标控制界面126,其具有光标控制板128。用户3可以通过基本上同时,在基本上垂直方向上输入两个向下滑动手势,在光标控制板128处执行光标控制缩小手势168,其由向下的两个手指挥扫组成。手势模块10可以接收光标控制缩小手势168的指示,并且使UI设备4停止显示图形光标控制界面126。即,响应于检测到在光标控制板128内执行向下手势的两个输入单元,手势模块10可以使UI设备4停止显示图形光标控制界面126。在一些示例中,UI设备4可以替代地显示图形键盘(例如图1的图形键盘20)。以这种方式,当用户在由图形光标控制界面126提供的放大区中完成光标控制或文本选择时,他或她可以切换回图形键盘来输入文本内容。
图5是根据本公开内容的一个或多个方面,图示用于提供基于手势的光标控制的示例计算设备和GUI的框图。如图5所示,计算设备2包括组件,诸如UI设备4(其可以是存在敏感显示器)、UI模块6、键盘模块8、手势模块10和应用模块12。计算设备2的组件能包括与如图1和2所述的这些组件的功能性类似的功能性。
在一些示例技术中,根据需要,图形键盘的光标控制区可以根据要求自然地放大成图形光标控制界面的光标控制板。即,当手势要求时,UI模块6可以自动地输出图形光标控制界面以用于显示。在一些示例中,当手势包含在基本上垂直方向上的输入单元的运动时,手势可以使UI模块6自动地输出图形光标控制界面。例如,当用户将这样的基本上垂直方向上的移动执行为执行光标控制手势的一部分时,该垂直运动可以信号告知用户希望光标向上移动。在一些示例中,基本上垂直方向可以由计算设备2的手势模块10限定为输入单元在偏离垂直轴10角度内行进的运动。在其他示例中,基本上垂直方向可以被限定成包括在偏离15、25或40角度内的手势。基本上垂直方向基于包括在光标控制手势中的水平移动的水平,可以是可变的。例如,如果用户向左移动输入单元(例如手指)4厘米,并且然后,向上移动4厘米,则该运动可能不满足某一阈值,以及可以确定该运动不是基本上垂直方向。相反,如果用户向左移动他或她的手指1厘米,并且向上1厘米,则该运动可能超过阈值,并且手势模块10可以确定该手势包括在基本上垂直方向上的移动。作为另一示例,可以以其他方式,诸如垂直移动的简单距离等等,计算垂直移动。响应于检测到基本上垂直方向上、高于阈值水平的运动,UI模块6可以使所显示的图形键盘由图形光标控制界面替代。在图5中进一步图示这些技术。
GUI 200可以初始地包括文本显示区18和具有光标控制区22的图形键盘20。图形键盘20和光标控制区22可以具有如在图1的上下文中所述的功能性。用户(例如用户3)可以尝试执行光标控制手势来移动在文本显示区18中显示的光标。在执行光标控制手势期间,用户3可以确定光标的水平滚动太慢,并且尝试以垂直方式移动光标。因此,用户3在执行光标控制手势期间,可以通过在垂直方向上移动他或她的手指,将垂直移动分量增加到光标控制手势。在图5的示例中,用户3可以在光标控制区22处执行光标控制手势204。如图5所看到的,光标控制手势204将垂直移动分量(即向上方向上的移动)增加到向左滑动手势。
在一些示例中,手势模块10可以接收所执行的光标控制手势的指示,并且可以忽略用户3的输入手势的垂直分量。在其他示例中,手势模块10可以确定用户3的动作(即,在执行光标控制手势期间的输入单元的垂直移动)必定使用图形光标控制界面。手势模块10可以使UI设备4在图形键盘20上或代替图形键盘20输出图形光标控制界面126。在图5的示例中,响应于接收到光标控制手势204的指示,手势模块10可以使UI设备4输出图形光标控制界面126,如GUI 202中所示。
图6是根据本发明内容的一个或多个方面,图示可以用来提供基于手势的光标控制的示例操作的流程图。仅为示例目的,在下文中,在计算设备2的上下文内描述示例操作,如图1和2所示。
在图6的示例中,计算设备2可以初始地输出图形用户界面(GUI),以用于显示在存在敏感显示器上,该GUI具有包括光标控制区和非光标控制区的图形键盘,其中,该光标控制区不与非光标控制区重叠,并且该文本显示区包括在该文本显示区的第一光标位置处的光标(240)。计算设备2可以随后检测存在敏感显示器处的手势的指示,该手势在图形键盘的位置处起始(242)。计算设备2可以确定所检测到的手势的位置是否在图形键盘的光标控制区内(244)。如果所检测到的手势的位置不在光标控制区内,则计算设备2可以忽略该手势或执行与本公开内容的技术无关的一些其他动作(246)。如果所检测到的手势的位置在光标控制区内,则计算设备2可以输出在文本显示区的第二光标位置处的光标(248)。以这种方式,用户可以控制移动。
在一个示例中,操作包括由计算设备并且在存在敏感显示器处检测包括对在图形键盘中的模式键的选择;以及响应于检测到对模式键的选择,输出经修改的图形键盘,以用于显示在存在敏感显示器处,其中,经修改的图形键盘包括利用高亮和强调效果中的至少一个显示的至少一个键。在一个示例中,输出在文本显示区的第二光标位置处的光标进一步包括以被选状态并且响应于检测到对模式键的选择,输出位于第一光标位置和第二光标位置之间的文本内容,以用于显示在存在敏感显示器处。
在一个示例中,经修改的图形键盘包括可被选择以至少复制、剪切或粘贴文本内容的至少一个键,其中,文本内容包括在文本显示区中。在一个示例中,图形键盘包括多个键并且不包括虚拟触控板。在一个示例中,其中,手势是第一手势,所述操作包括:在存在敏感显示器处检测第二手势;由计算设备确定第二手势是否是光标控制放大手势;以及响应于确定第二手势是光标控制放大手势,输出包括光标控制板的图形光标控制界面,以用于显示在存在敏感显示器处。在一个示例中,确定第二手势是否是光标控制放大手势进一步包括:在存在敏感显示器处并且由计算设备检测在光标控制区处的两个输入单元;在存在敏感显示器处并且由计算设备检测基本上同时的两个输入单元的向上运动;以及由计算设备确定两个输入单元的运动是否均处于基本上垂直方向。
在一个示例中,图形光标控制界面进一步包括至少一个光标控制按钮。在一个示例中,该操作进一步包括由计算设备并且在存在敏感显示器处检测对图形光标控制界面的光标控制按钮的至少一个的选择;以及其中,输出在文本显示区的第二光标位置处的光标进一步包括以被选状态并且响应于检测到对光标控制按钮的选择,输出位于第一光标位置和第二光标位置之间的文本内容,以用于显示在存在敏感显示器处。在一个示例中,所述图形光标控制界面进一步包括可被选择以复制、剪切或粘贴文本内容的至少一个图形按钮。
在一个示例中,该操作进一步包括:由计算设备并且在存在敏感显示器处检测第三手势;由计算设备确定第三手势是否是光标控制缩小手势;以及响应于确定第三手势是光标控制缩小手势,停止在存在敏感显示器处输出图形光标控制界面。在一个示例中,确定第三手势是否是光标控制缩小手势进一步包括:在存在敏感显示器处并且由计算设备检测在光标控制板处的两个输入单元;在存在敏感显示器处并且由计算设备检测同时或几乎同时的两个输入单元的向下运动;以及由计算设备确定两个输入单元的运动是否均处于基本上垂直方向。在一个示例中,所述图形光标控制界面进一步包括解除按钮;以及确定第三手势是否是光标控制缩小手势进一步包括在存在敏感显示器处并且由计算设备检测对解除按钮的选择。
在一个示例中,该操作进一步包括:由计算设备确定所检测到的手势是否包括在存在敏感显示器处检测到的输入单元的基本上垂直运动;以及其中,输出在文本显示区的第二光标位置处的光标进一步包括响应于确定所检测到的手势包括垂直运动分量,输出包括光标控制板的图形光标控制界面,以用于显示在存在敏感显示器处。在一个示例中,所述图形键盘包括多个键,以及其中,所述光标控制区至少一个键的区域,所述至少一个键包括在多个键中。在一个示例中,所述光标控制区包括空格键的区域,所述空格键包括在多个键中。
在一个示例中,该操作进一步包括:响应于确定所检测到的手势的位置在光标控制区内,输出光标指示器,以用于显示在存在敏感显示器处。在一个示例中,该操作进一步包括响应于检测到选择模式键,输出指示被选文本内容的开始边界和结束边界的选择指示器,以用于显示在存在敏感显示器处。
示例1.一种方法,包括:由计算设备输出图形用户界面,并且用于显示在存在敏感显示器处,所述图形用户界面包括:图形键盘,所述图形键盘包括光标控制区和非光标控制区,其中,所述光标控制区不与所述非光标控制区重叠;以及文本显示区,所述文本显示区包括在文本显示区的第一光标位置处的光标;由计算设备检测在存在敏感显示器处接收到的手势的指示,所述手势是在图形键盘的位置处起始的;由计算设备确定所检测到的手势的位置是否在图形键盘的光标控制区内;以及响应于确定所检测到的手势的位置在光标控制区内,输出在不同于第一光标位置的文本显示区的第二光标位置处的光标,以用于显示在存在敏感显示器处,其中,第二光标位置至少部分基于手势。
示例2.如示例1所述的方法,进一步包括:由计算设备并且在存在敏感显示器处检测对包括在图形键盘中的模式键的选择;以及响应于检测到对模式键的选择,输出经修改的图形键盘,以用于显示在存在敏感显示器处,其中,经修改的图形键盘包括利用高亮和强调效果中的至少一个显示的至少一个键。
示例3.如示例2所述的方法,其中,输出在文本显示区的第二光标位置处的光标进一步包括以被选状态并且响应于检测到对模式键的选择,输出位于第一光标位置和第二光标位置之间的文本内容,以用于显示在存在敏感显示器处。
示例4.如示例2至3的任何一个所述的方法,进一步包括:响应于检测到对模式键的选择,输出指示被选文本内容的开始边界和结束边界的选择指示器,以用于显示在存在敏感显示器处。
示例5.如示例2至4的任何一个所述的方法,其中,经修改的图形键盘包括可被选择以至少复制、剪切或粘贴文本内容的至少一个键,其中,所述文本内容包括在文本显示区中。
示例6.如示例1至5的任何一个所述的方法,其中,所述手势是第一手势,所述方法进一步包括:在存在敏感显示器处检测第二手势;由计算设备确定第二手势是否是光标控制放大手势;以及响应于确定第二手势是光标控制放大手势,输出包括光标控制板的图形光标控制界面,以用于显示在存在敏感显示器处。
示例7.如示例6所述的方法,其中,确定第二手势是否是光标控制放大手势进一步包括:在存在敏感显示器处并且由计算设备检测在光标控制区处的两个输入单元;在存在敏感显示器处并且由计算设备检测基本上同时的两个输入单元的向上运动;以及由计算设备确定两个输入单元的运动是否均处于基本上垂直方向。
示例8.如示例6至7的任何一个所述的方法,进一步包括:由计算设备并且在存在敏感显示器处检测对图形光标控制界面的光标控制按钮的至少一个的选择;以及其中,输出在文本显示区的第二光标位置处的光标进一步包括:以被选状态并且响应于检测到对光标控制按钮的选择,输出位于第一光标位置和第二光标位置之间的文本内容,以用于显示在存在敏感显示器处。
示例9.如示例6至8的任何一个所述的方法,其中,所述图形光标控制界面进一步包括可被选择以复制、剪切或粘贴文本内容的至少一个图形按钮。
示例10.如示例6至9的任何一个所述的方法,进一步包括:
由计算设备并且在存在敏感显示器处检测第三手势;由计算设备确定第三手势是否是光标控制缩小手势;以及响应于确定第三手势是光标控制缩小手势,在存在敏感显示器处从显示中移除图形光标控制界面。
示例11.如示例10所述的方法,其中,确定第三手势是否是光标控制缩小手势进一步包括:在存在敏感显示器处并且由计算设备检测在光标控制板处的两个输入单元;在存在敏感显示器处并且由计算设备检测同时或几乎同时的两个输入单元的向下运动;以及由计算设备确定两个输入单元的运动是否均处于基本上垂直方向。
示例12.如示例10至11的任何一个所述的方法,其中,所述图形光标控制界面进一步包括解除按钮;以及确定第三手势是否是光标控制缩小手势进一步包括在存在敏感显示器处并且由计算设备检测对解除按钮的选择。
示例13.如示例1至12的任何一个所述的方法,进一步包括:由计算设备确定所检测到的手势是否包括在存在敏感显示器处检测到的输入单元的基本上垂直运动;以及其中,输出在文本显示区的第二光标位置处的光标进一步包括:响应于确定所检测到的手势包括垂直运动分量,输出包括光标控制板的图形光标控制界面,以用于显示在存在敏感显示器显示处。
示例14.如示例1至13的任何一个所述的方法,其中,所述图形键盘包括多个键,以及其中,所述光标控制区包括至少一个键的区域,所述至少一个键包括在多个键中。
示例15.如示例1至14的任何一个所述的方法,进一步包括:响应于确定所检测到的手势的位置在光标控制区内,输出光标指示器,以用于显示在存在敏感显示器处。
示例16.一种编码有指令的计算机可读存储介质,所述指令当被执行时,使计算设备的一个或多个处理器执行由示例1-15的任何一个所述的方法。
示例17.一种计算设备,包括用于执行示例1-15的方法的任何一个的装置。
在本公开内容中描述的技术至少部分可以由硬件、软件、固件或其任意组合实现。例如,所述技术的各个方面可以在一个或多个处理器内实现,所述一个或多个处理器包括一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA),或任何其他等效集成或分立逻辑电路,以及这些组件的任意组合。术语“处理器”或“处理电路”通常可以指上述逻辑电路的任何一个,单独或与其他逻辑电路组合,或任何其他等效的电路。包括硬件的控制单元也可以执行本公开内容的一个或多个技术。
可以在同一设备内或在单独的设备内实现这些硬件、软件和固件来支持在本公开内容中所述的各种技术。此外,上述单元、模块或组件的任何一个可以一起或单独地实现为分立但可互操作的逻辑设备。将不同特征描述为模块或单元用来突出不同功能方面,而不一定暗指这些模块或单元必须由单独的硬件、固件或软件组件实现。相反,与一个或多个模块或单元相关联的功能性可以由单独的硬件、固件或软件组件执行,或集成在公用或单独的硬件、固件或软件组件内。
在本公开内容中所述的技术也可以体现或编码在包括编码有指令的计算机可读存储介质的制品中。在包括编码的计算机可读存储介质的制品中嵌入或编码的指令可以使一个或多个可编程处理器或其他处理器实现在此所述的一个或多个技术,诸如当包括或编码在计算机可读存储介质中的指令由一个或多个处理器执行时。计算机可读存储媒介可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、硬盘、压缩盘ROM(CD-ROM)、软盘、磁带、磁媒介、光学媒介或其他计算机可读媒介。在一些示例中,制品可以包括一个或多个计算机可读存储媒介。
在一些示例中,计算机可读存储介质可以包括非瞬时介质。术语“非瞬时”可以指示不是以载波或传播信号实现存储介质。在某些示例中,非瞬时存储介质可以存储能随时间改变的数据(例如在RAM或高速缓冲存储器中)。
已经描述了各种示例。这些和其他示例在下述权利要求的范围内。

Claims (17)

1.一种方法,包括:
由计算设备输出图形用户界面,用于显示在存在敏感显示器处,所述图形用户界面包括:
图形键盘,所述图形键盘包括光标控制区和非光标控制区,其中,所述光标控制区不与所述非光标控制区重叠;以及
文本显示区,所述文本显示区包括在所述文本显示区的第一光标位置处的光标;
由所述计算设备检测在所述存在敏感显示器处接收到的手势的指示,所述手势是在所述图形键盘的位置处起始的;
由所述计算设备确定所检测到的手势的所述位置是否在所述图形键盘的所述光标控制区内;以及
响应于确定所检测到的手势的所述位置在所述光标控制区内,输出在不同于所述第一光标位置的所述文本显示区的第二光标位置处的光标,以用于显示在所述存在敏感显示器处,其中,所述第二光标位置至少部分基于所述手势。
2.如权利要求1所述的方法,进一步包括:
由所述计算设备并且在所述存在敏感显示器处检测对包括在所述图形键盘中的模式键的选择;以及
响应于检测到对所述模式键的选择,输出经修改的图形键盘,以用于显示在所述存在敏感显示器处,其中,所述经修改的图形键盘包括利用高亮和强调效果中的至少一个显示的至少一个键。
3.如权利要求2所述的方法,其中,输出在所述文本显示区的所述第二光标位置处的光标进一步包括以被选状态并且响应于检测到对所述模式键的选择,输出位于所述第一光标位置和所述第二光标位置之间的文本内容,以用于显示在所述存在敏感显示器处。
4.如权利要求2至3的任何一项所述的方法,进一步包括:响应于检测到对所述模式键的选择,输出指示被选文本内容的开始边界和结束边界的选择指示器,以用于显示在所述存在敏感显示器处。
5.如权利要求2至4的任何一项所述的方法,其中,所述经修改的图形键盘包括可被选择以至少复制、剪切或粘贴文本内容的至少一个键,其中,所述文本内容包括在所述文本显示区中。
6.如权利要求1至5的任何一项所述的方法,其中,所述手势是第一手势,所述方法进一步包括:
在所述存在敏感显示器处检测第二手势;
由所述计算设备确定所述第二手势是否是光标控制放大手势;以及
响应于确定所述第二手势是所述光标控制放大手势,输出包括光标控制板的图形光标控制界面,以用于显示在所述存在敏感显示器处。
7.如权利要求6所述的方法,其中,确定所述第二手势是否是所述光标控制放大手势进一步包括:
在所述存在敏感显示器处并且由所述计算设备检测在所述光标控制区处的两个输入单元;
在所述存在敏感显示器处并且由所述计算设备检测基本上同时的所述两个输入单元的向上运动;以及
由所述计算设备确定所述两个输入单元的运动是否均处于基本上垂直方向。
8.如权利要求6至7的任何一项所述的方法,进一步包括:
由所述计算设备并且在所述存在敏感显示器处检测对所述图形光标控制界面的所述光标控制按钮的至少一个的选择;以及
其中,输出在所述文本显示区的所述第二光标位置处的所述光标进一步包括:以被选状态并且响应于检测到对所述光标控制按钮的选择,输出位于所述第一光标位置和所述第二光标位置之间的文本内容,以用于显示在所述存在敏感显示器处。
9.如权利要求6至8的任何一项所述的方法,其中,所述图形光标控制界面进一步包括:可被选择以复制、剪切或粘贴文本内容的至少一个图形按钮。
10.如权利要求6至9的任何一项所述的方法,进一步包括:
由所述计算设备并且在所述存在敏感显示器处检测第三手势;
由所述计算设备确定所述第三手势是否是光标控制缩小手势;以及
响应于确定所述第三手势是光标控制缩小手势,在所述存在敏感显示器处从显示中移除所述图形光标控制界面。
11.如权利要求10所述的方法,其中,确定所述第三手势是否是光标控制缩小手势进一步包括:
在所述存在敏感显示器处并且由所述计算设备检测在所述光标控制板处的两个输入单元;
在所述存在敏感显示器处并且由所述计算设备检测同时或几乎同时的所述两个输入单元的向下运动;以及
由所述计算设备确定所述两个输入单元的运动是否均处于基本上垂直方向。
12.如权利要求10至11的任何一项所述的方法,其中,
所述图形光标控制界面进一步包括解除按钮;以及
确定所述第三手势是否是光标控制缩小手势进一步包括在所述存在敏感显示器处并且由所述计算设备检测对所述解除按钮的选择。
13.如权利要求1至12的任何一项所述的方法,进一步包括:
由所述计算设备确定所检测到的手势是否包括在所述存在敏感显示器处检测到的输入单元的基本上垂直运动;以及
其中,输出在所述文本显示区的所述第二光标位置处的所述光标进一步包括:响应于确定所检测到的手势包括垂直运动分量,输出包括光标控制板的图形光标控制界面,以用于显示在所述存在敏感显示器处。
14.如权利要求1至13的任何一项所述的方法,其中,所述图形键盘包括多个键,以及其中,所述光标控制区包括至少一个键的区域,所述至少一个键包括在多个键中。
15.如权利要求1至14的任何一项所述的方法,进一步包括:响应于确定所检测到的手势的所述位置在所述光标控制区内,输出光标指示器,以用于显示在所述存在敏感显示器处。
16.一种编码有指令的计算机可读存储介质,所述指令当被执行时,使计算设备的一个或多个处理器执行由权利要求1-15的任何一项所述的方法。
17.一种计算设备,包括用于执行权利要求1-15的方法的任何一项的装置。
CN201380053626.2A 2012-10-16 2013-09-26 基于手势的光标控制 Active CN104756060B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261714617P 2012-10-16 2012-10-16
US61/714,617 2012-10-16
US13/735,869 2013-01-07
US13/735,869 US20140109016A1 (en) 2012-10-16 2013-01-07 Gesture-based cursor control
PCT/US2013/061979 WO2014062356A1 (en) 2012-10-16 2013-09-26 Gesture-based cursor control

Publications (2)

Publication Number Publication Date
CN104756060A true CN104756060A (zh) 2015-07-01
CN104756060B CN104756060B (zh) 2018-07-10

Family

ID=50476646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380053626.2A Active CN104756060B (zh) 2012-10-16 2013-09-26 基于手势的光标控制

Country Status (4)

Country Link
US (1) US20140109016A1 (zh)
EP (1) EP2909708A1 (zh)
CN (1) CN104756060B (zh)
WO (1) WO2014062356A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095239A (zh) * 2016-06-08 2016-11-09 北京行云时空科技有限公司 基于摩擦力模型的操控方法和装置
CN106502545A (zh) * 2016-10-31 2017-03-15 维沃移动通信有限公司 一种滑动控件的操作方法和移动终端
CN108073338A (zh) * 2016-11-15 2018-05-25 龙芯中科技术有限公司 光标显示方法及***
CN109857294A (zh) * 2018-12-28 2019-06-07 维沃移动通信有限公司 一种光标控制方法及终端设备
CN110554827A (zh) * 2018-06-03 2019-12-10 苹果公司 用于在具有触敏显示器且不具有力传感器的电子设备处激活并使用触控板的***和方法
CN111399744A (zh) * 2020-03-25 2020-07-10 北京小米移动软件有限公司 一种控制光标移动的方法、装置及存储介质
CN113821135A (zh) * 2017-09-05 2021-12-21 华为终端有限公司 控制光标移动的方法、内容选择方法、控制页面滚动的方法及电子设备
CN115185414A (zh) * 2022-07-26 2022-10-14 Vidaa国际控股(荷兰)公司 显示设备及光标控制方法

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10191654B2 (en) * 2009-03-30 2019-01-29 Touchtype Limited System and method for inputting text into electronic devices
GB0905457D0 (en) 2009-03-30 2009-05-13 Touchtype Ltd System and method for inputting text into electronic devices
US8756522B2 (en) 2010-03-19 2014-06-17 Blackberry Limited Portable electronic device and method of controlling same
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013099362A1 (ja) * 2011-12-28 2013-07-04 Ikeda Hiroyuki 携帯端末
TWI485577B (zh) * 2012-05-03 2015-05-21 Compal Electronics Inc 電子裝置及其操作方法
EP2847657B1 (en) 2012-05-09 2016-08-10 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN104487930A (zh) 2012-05-09 2015-04-01 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
JP6031186B2 (ja) 2012-05-09 2016-11-24 アップル インコーポレイテッド ユーザインタフェースオブジェクトを選択するためのデバイス、方法及びグラフィカルユーザインタフェース
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
JP6071107B2 (ja) 2012-06-14 2017-02-01 裕行 池田 携帯端末
US9804777B1 (en) 2012-10-23 2017-10-31 Google Inc. Gesture-based text selection
US8806384B2 (en) * 2012-11-02 2014-08-12 Google Inc. Keyboard gestures for character string replacement
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
AU2013368441B2 (en) 2012-12-29 2016-04-14 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
KR101742808B1 (ko) 2012-12-29 2017-06-01 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
KR20140089696A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 가상 키패드 운용 방법 및 이를 지원하는 단말기
KR102091235B1 (ko) * 2013-04-10 2020-03-18 삼성전자주식회사 휴대 단말기에서 메시지를 편집하는 장치 및 방법
CN104793774A (zh) * 2014-01-20 2015-07-22 联发科技(新加坡)私人有限公司 电子装置控制方法
KR102217560B1 (ko) * 2014-03-20 2021-02-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR102206385B1 (ko) 2014-04-11 2021-01-22 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9547433B1 (en) * 2014-05-07 2017-01-17 Google Inc. Systems and methods for changing control functions during an input gesture
KR102177607B1 (ko) * 2014-05-16 2020-11-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20170192465A1 (en) * 2014-05-30 2017-07-06 Infinite Potential Technologies Lp Apparatus and method for disambiguating information input to a portable electronic device
US20160034058A1 (en) * 2014-07-31 2016-02-04 Microsoft Corporation Mobile Device Input Controller For Secondary Display
US10534502B1 (en) * 2015-02-18 2020-01-14 David Graham Boyers Methods and graphical user interfaces for positioning the cursor and selecting text on computing devices with touch-sensitive displays
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
CN104778006B (zh) * 2015-03-31 2019-05-10 深圳市万普拉斯科技有限公司 信息编辑方法和***
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US20170024086A1 (en) * 2015-06-23 2017-01-26 Jamdeo Canada Ltd. System and methods for detection and handling of focus elements
CN104932776A (zh) * 2015-06-29 2015-09-23 联想(北京)有限公司 一种信息处理方法及电子设备
JP5906344B1 (ja) * 2015-07-06 2016-04-20 ヤフー株式会社 情報処理装置、情報表示プログラムおよび情報表示方法
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US20170068416A1 (en) * 2015-09-08 2017-03-09 Chian Chiu Li Systems And Methods for Gesture Input
US20170083232A1 (en) * 2015-09-23 2017-03-23 Microsoft Technology Licensing, Llc Dual display device
US10481863B2 (en) * 2016-07-06 2019-11-19 Baidu Usa Llc Systems and methods for improved user interface
US11287945B2 (en) 2016-09-08 2022-03-29 Chian Chiu Li Systems and methods for gesture input
US10739990B1 (en) * 2016-12-18 2020-08-11 Leonid Despotuli Gesture-based mobile device user interface
US10359930B2 (en) * 2017-01-23 2019-07-23 Blackberry Limited Portable electronic device including physical keyboard and method of controlling selection of information
US10234985B2 (en) * 2017-02-10 2019-03-19 Google Llc Dynamic space bar
US20190079668A1 (en) * 2017-06-29 2019-03-14 Ashwin P Rao User interfaces for keyboards
US10725633B2 (en) * 2017-07-11 2020-07-28 THUMBA, Inc. Changing the location of one or more cursors and/or outputting a selection indicator between a plurality of cursors on a display area in response to detecting one or more touch events
US10430076B2 (en) * 2017-12-18 2019-10-01 Motorola Solutions, Inc. Device and method for text entry using two axes at a display device
US10895979B1 (en) * 2018-02-16 2021-01-19 David Graham Boyers Methods and user interfaces for positioning a selection, selecting, and editing, on a computing device running under a touch-based operating system, using gestures on a touchpad device
US11320983B1 (en) * 2018-04-25 2022-05-03 David Graham Boyers Methods and graphical user interfaces for positioning a selection, selecting, and editing, on a computing device running applications under a touch-based operating system
US10776006B2 (en) 2018-06-03 2020-09-15 Apple Inc. Systems and methods for activating and using a trackpad at an electronic device with a touch-sensitive display and no force sensors
US11669243B2 (en) 2018-06-03 2023-06-06 Apple Inc. Systems and methods for activating and using a trackpad at an electronic device with a touch-sensitive display and no force sensors
EP3660848A1 (en) 2018-11-29 2020-06-03 Ricoh Company, Ltd. Apparatus, system, and method of display control, and carrier means
US10990280B1 (en) * 2018-12-03 2021-04-27 Parallels International Gmbh Smart keyboard
CN110262746B (zh) * 2019-06-14 2022-03-18 北京小米支付技术有限公司 一种金融数据输入方法、装置及介质
CN113961115A (zh) * 2020-07-16 2022-01-21 荣耀终端有限公司 对象编辑方法、电子设备、介质以及程序产品
DE102020130789A1 (de) * 2020-11-20 2022-05-25 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zum Handhaben von Listen mittels einer Anwenderschnittstelle eines Fortbewegungsmittels

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201191400Y (zh) * 2008-03-28 2009-02-04 宇龙计算机通信科技(深圳)有限公司 一种电子终端
CN102033704A (zh) * 2009-09-30 2011-04-27 Lg电子株式会社 移动终端和用于控制移动终端的方法
CN102193734A (zh) * 2010-03-19 2011-09-21 进益研究公司 便携式电子装置及其控制方法
EP2407892A1 (en) * 2010-07-14 2012-01-18 Research In Motion Limited Portable electronic device and method of controlling same

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010040551A1 (en) * 1999-07-29 2001-11-15 Interlink Electronics, Inc. Hand-held remote computer input peripheral with touch pad used for cursor control and text entry on a separate display
US7057607B2 (en) * 2003-06-30 2006-06-06 Motorola, Inc. Application-independent text entry for touch-sensitive display
JP4763695B2 (ja) * 2004-07-30 2011-08-31 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのモード・ベースのグラフィカル・ユーザ・インタフェース
US7659887B2 (en) * 2005-10-20 2010-02-09 Microsoft Corp. Keyboard with a touchpad layer on keys
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8610671B2 (en) * 2007-12-27 2013-12-17 Apple Inc. Insertion marker placement on touch sensitive display
AU2009282724B2 (en) * 2008-08-22 2014-12-04 Google Inc. Navigation in a three dimensional environment on a mobile device
US20100235734A1 (en) * 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
US8739055B2 (en) * 2009-05-07 2014-05-27 Microsoft Corporation Correction of typographical errors on touch displays
US20100306683A1 (en) * 2009-06-01 2010-12-02 Apple Inc. User interface behaviors for input device with individually controlled illuminated input elements
US20110068955A1 (en) * 2009-09-22 2011-03-24 Everett Simons Virtual image labeling of input devices
US8756522B2 (en) * 2010-03-19 2014-06-17 Blackberry Limited Portable electronic device and method of controlling same
WO2011146740A2 (en) * 2010-05-19 2011-11-24 Google Inc. Sliding motion to change computer keys
KR101842457B1 (ko) * 2011-03-09 2018-03-27 엘지전자 주식회사 이동 단말기 및 그의 텍스트 커서 운용방법
US9195321B2 (en) * 2011-03-17 2015-11-24 Intellitact Llc Input device user interface enhancements
US8982069B2 (en) * 2011-03-17 2015-03-17 Intellitact Llc Keyboard with integrated touch surface
US8656315B2 (en) * 2011-05-27 2014-02-18 Google Inc. Moving a graphical selector
US8826190B2 (en) * 2011-05-27 2014-09-02 Google Inc. Moving a graphical selector
WO2013009413A1 (en) * 2011-06-06 2013-01-17 Intellitact Llc Relative touch user interface enhancements
US9128604B2 (en) * 2011-09-19 2015-09-08 Htc Corporation Systems and methods for positioning a cursor
EP2776907A4 (en) * 2011-11-09 2015-07-15 Blackberry Ltd TOUCH-DISPLAY DEVICE HAVING A VIRTUAL TOUCH PAD, DOUBLE

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201191400Y (zh) * 2008-03-28 2009-02-04 宇龙计算机通信科技(深圳)有限公司 一种电子终端
CN102033704A (zh) * 2009-09-30 2011-04-27 Lg电子株式会社 移动终端和用于控制移动终端的方法
CN102193734A (zh) * 2010-03-19 2011-09-21 进益研究公司 便携式电子装置及其控制方法
EP2407892A1 (en) * 2010-07-14 2012-01-18 Research In Motion Limited Portable electronic device and method of controlling same

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095239A (zh) * 2016-06-08 2016-11-09 北京行云时空科技有限公司 基于摩擦力模型的操控方法和装置
CN106502545A (zh) * 2016-10-31 2017-03-15 维沃移动通信有限公司 一种滑动控件的操作方法和移动终端
CN106502545B (zh) * 2016-10-31 2019-07-26 维沃移动通信有限公司 一种滑动控件的操作方法和移动终端
CN108073338A (zh) * 2016-11-15 2018-05-25 龙芯中科技术有限公司 光标显示方法及***
CN108073338B (zh) * 2016-11-15 2020-06-30 龙芯中科技术有限公司 光标显示方法及***
CN113821135A (zh) * 2017-09-05 2021-12-21 华为终端有限公司 控制光标移动的方法、内容选择方法、控制页面滚动的方法及电子设备
CN110554827A (zh) * 2018-06-03 2019-12-10 苹果公司 用于在具有触敏显示器且不具有力传感器的电子设备处激活并使用触控板的***和方法
CN109857294A (zh) * 2018-12-28 2019-06-07 维沃移动通信有限公司 一种光标控制方法及终端设备
CN111399744A (zh) * 2020-03-25 2020-07-10 北京小米移动软件有限公司 一种控制光标移动的方法、装置及存储介质
CN115185414A (zh) * 2022-07-26 2022-10-14 Vidaa国际控股(荷兰)公司 显示设备及光标控制方法
CN115185414B (zh) * 2022-07-26 2024-04-19 Vidaa国际控股(荷兰)公司 显示设备及光标控制方法

Also Published As

Publication number Publication date
WO2014062356A1 (en) 2014-04-24
US20140109016A1 (en) 2014-04-17
CN104756060B (zh) 2018-07-10
EP2909708A1 (en) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104756060A (zh) 基于手势的光标控制
US11487426B2 (en) Apparatus and method for cursor control and text selection and editing based on gesture-based touch inputs received in a virtual keyboard display area
CN114127676A (zh) 电子设备上的手写输入
US10831337B2 (en) Device, method, and graphical user interface for a radial menu system
CN102866827B (zh) 一种人机交互设备的文档编辑方法和装置
US20150346929A1 (en) Safari Tab and Private Browsing UI Enhancement
US20150339018A1 (en) User terminal device and method for providing information thereof
US11112959B2 (en) Linking multiple windows in a user interface display
EP3002664A1 (en) Text processing method and touchscreen device
EP3102998A1 (en) Device, method, and graphical user interface for a predictive keyboard
EP2787429B1 (en) Method and apparatus for inputting text in electronic device having touchscreen
KR102368044B1 (ko) 사용자 단말 장치 및 이의 제어 방법
US20140123036A1 (en) Touch screen display process
KR20160004590A (ko) 전자 장치의 화면 표시 방법 및 전자 장치
EP3662357B1 (en) Display apparatus for providing preview ui and method of controlling display apparatus
US20150046855A1 (en) Electronic apparatus, control method for electronic apparatus, and program
KR102157078B1 (ko) 휴대 단말기에서 전자문서 작성 방법 및 장치
US9804777B1 (en) Gesture-based text selection
CN108062921B (zh) 显示装置、显示***、显示方法以及记录介质
CN111752428A (zh) 图标整理方法、装置、电子设备和介质
JP6344355B2 (ja) 電子端末、及びその制御方法とプログラム
WO2019236399A1 (en) Systems and methods for activating and using a trackpad at an electronic device with a touch-sensitive display and no force sensors
KR20160027063A (ko) 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법
KR20110128220A (ko) 터치패드를 구비한 단말에서의 연산방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant