CN113168285A - 对多屏幕计算设备上的虚拟触控板的无模式增强 - Google Patents

对多屏幕计算设备上的虚拟触控板的无模式增强 Download PDF

Info

Publication number
CN113168285A
CN113168285A CN201980079731.0A CN201980079731A CN113168285A CN 113168285 A CN113168285 A CN 113168285A CN 201980079731 A CN201980079731 A CN 201980079731A CN 113168285 A CN113168285 A CN 113168285A
Authority
CN
China
Prior art keywords
input
computing device
virtual
gesture
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980079731.0A
Other languages
English (en)
Inventor
C·克莱因
A·S·格拉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN113168285A publication Critical patent/CN113168285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

所公开的技术通过在不需要用户在模式之间进行切换的情况下增强由虚拟屏幕上触控板提供的功能性来解决各种技术和用户体验问题。以这种方式，用户可以在不干扰预期的传统触控板功能性(例如移动光标、点击以及滚动)的情况下接入扩展功能性。特别地，公开了如下技术：用于到虚拟触控板的无模式数字笔输入、用于召唤用户界面的无模式手势、利用相对于相邻用户界面的位置的无模式手势以及无模式光标控制和与虚拟触摸目标的交互。

Description

对多屏幕计算设备上的虚拟触控板的无模式增强
背景技术
触控板(trackpad)(该触控板也可以被称为触摸板(touchpad))是具有能够检测手指接触的专用平坦表面的用户输入指向设备。该表面可以将用户的一根或多根手指的位置和运动转化为计算设备的屏幕上的相对位置。然后，用户的手指的跟踪位置和运动可以用于移动屏幕上光标或执行其他类型的功能性。触控板还包括用于执行激活操作(诸如通过点击物理按钮或轻敲触控板)的功能性。然而，由传统触控板提供的功能性通常限制于光标控制、选择以及潜在地基本单点触摸或多点触摸手势。
虚拟屏幕上触控板使得触摸屏显示器能够提供与传统物理触控板类似的功能性。然而，现有的虚拟屏幕上触控板通常仅复制(通常为不佳地)传统触控板的行为。而且，除了其他功能性之外，支持传统触控板功能的屏幕上区域(region)还依赖于用户执行显式模式切换，该显式模式切换需要附加步骤并且使用户退出其工作流程。执行模式切换所需的用户输入还可能难以记住并且使用户感到困惑，从而导致不经意的或不正确的用户输入，这不必要地消耗了计算资源，比如处理器周期和存储器。执行模式切换还可以导致附加程序代码的执行，这还会消耗计算资源，比如处理器周期和存储器。
相对于这些和其他技术挑战，提出了本文所做出的公开。
发明内容
本文中公开了可以无模式地增强由虚拟触控板提供的功能性的技术。所公开的技术通过在不需要用户在模式之间进行切换的情况下增强由虚拟屏幕上触控板提供的功能性来解决上文所讨论的技术问题。以这种方式，用户可以在不干扰预期的传统触控板功能性(例如移动光标、点击以及滚动)的情况下接入扩展功能性，因此，具有改善的用户体验。附加地，与需要模式切换的先前模式虚拟触控板解决方案相比，计算资源的利用率可以通过简化的用户交互和更少的程序代码的执行而被减少。本文中未具体提及的其他技术益处也可以通过所公开的主题的实现来达成。
在一些配置中，结合多屏幕计算设备来实现本文中所公开的技术。多屏幕计算设备以多种形状因子出现，诸如类似于传统膝上型计算机的两个屏幕铰接式设备。以这种方式配置的设备包括第一显示设备，该第一显示设备位于与传统膝上型计算机上的显示器相同的位置中。在各种配置中，第一显示设备可以是或可以不是触摸敏感的。第一显示设备提供占据物理显示器的全部或一部分的第一显示区域。
在多屏幕计算设备的一些配置中，第二显示设备位于物理键盘传统上在膝上型计算机上所处的位置中。第二显示设备可能会占据物理键盘传统上所处的整个区间(area)或可能仅占据该区间的一部分。第二显示设备配备有用于检测用户输入(诸如单点触摸或多点触摸手势)的传感器。第二显示设备提供占据物理显示器的全部或一部分的第二显示区域。
第一显示区域的边缘(例如底部边缘)被布置为与第二显示区域的边缘(例如顶部边缘)相邻并且平行。两个显示区域之间的距离可以更大或更小，这取决于连接提供显示区域的显示设备的相应壳体的特定机械连接(例如铰链)。第一显示区域和第二显示区域的相应侧面也可以在空间上对准。如将在下文更详细地描述的，显示区域的空间对准使得某些类型的无模式手势能够相对于第一显示区域的对应区间在第二显示区域中进行。
第二显示区域可以被划分成虚拟触控板区间和虚拟键盘区间。虚拟触控板区间可以用作虚拟触控板。例如，虚拟触控板可以确定用户的手指的位置和运动，然后其可以被用来移动屏幕上光标或执行其他类型的功能性。虚拟触控板区间还可以被利用来执行激活操作，诸如例如通过在虚拟触控板区间内轻敲。虚拟触控板区间包含第二显示区域的整个宽度，并且在一些配置中，位于第二显示区域的与第一显示区域相邻的部分中。
到虚拟触控板的无模式数字笔输入
在一种配置中，虚拟触控板区间还可以在不需要用户改变虚拟触控板的操作模式的情况下从数字笔接收输入。在这种配置中，用户可以在任何时间使用数字笔在虚拟触控板区间中直接写入。特别地，当在虚拟触控板区间内接收到输入时，计算设备确定输入是触摸输入(即，用户的手指)还是来自数字笔的输入。例如，如果输入是触摸输入，则将该输入作为对虚拟触控板的触摸输入进行处理，以移动光标或执行激活操作。如果输入是从数字笔接收到的输入，则将该输入作为数字墨水进行处理。
将输入作为数字墨水进行处理可以包括但不限于，将数字墨水转换成文本并且将文本提供给程序，以便在呈现于第一显示区域中的用户界面(“UI”)的栏位内呈现文本。将输入作为数字墨水进行处理还可以包括：将数字墨水提供给程序，以便在呈现于第二显示区域中的UI的栏位内呈现数字墨水。将输入作为数字墨水进行处理还可以包括：将数字墨水转换成文本，识别文本中的命令，并且使计算设备执行命令。将输入作为数字墨水进行处理可以附加地包括：将数字墨水提供给用于便签(notes)的默认程序，或将数字墨水转换成文本并且将文本提供给用于存储便签的默认程序。在一些配置中，没有必要将数字墨水转换成文本。相反，诸如(例如)，当墨水表示非文本信息(诸如形状或箭头)时，可以直接从数字墨水中识别命令。
用于召唤用户界面的无模式手势
在另一配置中，虚拟触控板区间可以被利用来在第二显示区域中发起瞬时UI的呈现，以用于在不需要用户改变虚拟触控板区间的操作模式的情况下执行命令或查看信息。特别地，当在虚拟触控板区间内接收到输入时，计算设备确定触摸输入是否包括触摸手势，该触摸手势始发于第二显示区域的虚拟触控板区间的边缘外部并且终止于虚拟触控板区间内部。例如，用户可以利用一根或多根手指从虚拟触控板区间外部的位置轻扫(swipe)到虚拟触控板区间内的位置。
如果计算设备检测到触摸手势(该触摸手势始发于第二显示区域的虚拟触控板区间的边缘外部并且终止于虚拟触控板区间内部)，则计算设备可以在虚拟触控板区间中显示瞬时UI。在瞬时UI诸如(例如)通过从手势始发的虚拟触控板区间的边缘“滑动”到虚拟触控板区间中而被显示时，瞬时UI可以被动画化。
在一些配置中，瞬时UI包括可选择的UI元素，诸如UI按钮或其他类型的UI元素。如果计算设备确定选择一个或多个可选择的UI元素中的一个可选择的UI元素的触摸输入已经在虚拟触控板区间中被进行，则计算设备可以发起与所选择的UI元素对应的命令。例如，可以发起命令以启动可以在第一显示区域中呈现UI的应用、切换到已经启动的应用(即，切换任务)或执行另一功能。
在一些配置中，响应于对UI元素中的一个UI元素的选择，对瞬时UI的显示从虚拟触控板区间中被移除。在其他配置中，可以利用触摸手势来解除瞬时UI。例如，用户可以利用一根或多根手指从虚拟触控板区间内部的位置轻扫到虚拟触控板区间外部的位置，以解除瞬时UI。在诸如(例如)通过将虚拟触控板区间之外的瞬时UI“滑动”到手势终止的虚拟触控板区间的边缘来移除该瞬时UI时，对瞬时UI的显示也可以被动画化。
在其他配置中，从虚拟触控板区间的边缘外部到虚拟触控板区间内部的位置进行的输入手势可以基于手势的结束位置与在第一显示区域中或第二显示区域的键盘区间中所呈现的UI元素之间的关系来执行功能。例如，用户可以通过从虚拟触控板区间外部的区间向右轻扫到虚拟触控板区间内的位置来设置计算设备的输出音量。手势相对于虚拟键盘结束(例如水平对准)的位置指定输出音量。例如，如果手势在与虚拟键盘上的‘1’按键在空间上对准的位置处结束，则输出音量将被设置为一(例如最大值的10％)。如果手势在与虚拟键盘上的‘9’按键在空间上对准(例如水平对准)的位置处结束，则输出音量将被设置为九(例如最大值的90％)。以这种方式，可以沿着虚拟触控板区间的公共边缘执行许多不同的特定边缘手势。
利用相对位置的无模式手势
在另一配置中，可以利用虚拟触控板区间来启用手势，该手势具有基于手势相对于相邻屏幕上UI、另一种类型的对象或键盘的起始点而确定的功能性。在这种配置中，在计算设备上执行的第一应用可以在第一显示区域的第一部分中呈现UI：例如，第一显示区域的左半部分。虚拟触控板区间的第一部分与第一显示区域的第一部分在空间上对准。例如，虚拟触控板区间的第一部分可以包括第二显示区域的左半部分，该左半部分与第一显示区域的左半部分在空间上对准。
类似地，在计算设备上执行的第二应用可以在第一显示区域的第二部分中呈现UI：例如，第一显示区域的右半部分。虚拟触控板区间的第二部分与第一显示区域的第二部分在空间上对准。例如，虚拟触控板区间的第二部分可以包括第二显示区域的右半部分，该右半部分与第一显示区域的右半部分在空间上对准。以这种方式，向一个应用分配第一显示区域的与虚拟触控板区间的在空间上对准的部分对应的部分，并且向另一应用分配第一显示区域的与虚拟触控板区间的另一部分在空间上对准的另一部分。
如果计算设备在虚拟触控板区间的第一部分中接收到输入，则计算设备将输入提供给应用，或者相对于正在第一显示区域的相邻部分中呈现其UI的应用解释该输入(例如命令)。例如，如果在虚拟触控板区间的左半部分中接收到输入，则该输入将被提供给正在第一显示区域的左半部分中呈现其UI的应用。如果计算设备在虚拟触控板区间的第二部分中接收到输入，则计算设备将输入提供给正在第一显示区域的相邻部分中呈现其UI的应用。例如，如果在虚拟触控板区间的右半部分中接收到输入，则输入将被提供给正在第一显示区域的右半部分中呈现其UI的应用。该输入可以是例如多点触摸输入手势或从数字笔接收到的输入，以便例如将输入与用于控制光标的传统虚拟触控板输入区分开。手势的特定示例包括用于最小化或关闭与应用相关联的窗口的手势。
在一些配置中，计算设备可以检测用户输入手势，该用户输入手势始发于虚拟触控板区间外部的区间中并且终止于虚拟触控板区间内。例如，用户输入手势(比如轻扫手势)可能始发于键盘区间内并且终止于虚拟触控板区间内。响应于检测到这种用户输入手势，计算设备可以执行至少部分地基于手势始发的位置而被选择的命令。例如，当手势始发于虚拟键盘的按键并且在虚拟触控板区间中结束时，可以基于手势始发的特定按键来选择命令。
无模式光标控制和与触摸目标的交互
在另一配置中，在触摸敏感显示器上包围虚拟触控板区间的显示区域可以示出用于发起各种类型的功能性的触摸目标。光标控制可以使用虚拟触控板区间来执行，并且触摸目标可以在不改变虚拟触控板的模式的情况下被选择。例如，一个或多个UI控件可以在虚拟触控板区间外部被显示。当诸如通过使用触摸手势选择UI控件时，UI控件可以发起各种类型的功能性，诸如(例如)启动程序或召唤数字助理。
在这种配置中，触摸手势可以在不引起对UI控件的选择的情况下始发于虚拟触控板区间内部并且终止于UI控件中的一个UI控件内。以这种方式，虚拟触控板区间在执行光标控制手势时不经意地退出将不会引起对UI控件中的一个UI控件的选择。类似地，触摸手势可以在不引起对UI控件的选择的情况下始发于UI控件中的一个UI控件内部并且在虚拟触控板区间或另一区间内部结束。以这种方式，即使光标控制手势在UI控件内开始，它也可以在虚拟触控板区间的外部被执行。用户输入手势的起始位置和定时可以在不需要模式切换的情况下用于对光标控制和与触摸目标的交互进行消歧。
在一些配置中，计算设备可以检测用户输入手势，该用户输入手势始发于虚拟触控板区间内并且终止于虚拟触控板区间外部。在该示例中，计算设备可以执行至少部分地基于手势终止的对象而被选择的命令。
在另一配置中，物理输入对象可以被放置在虚拟触控板区间的若干区域中的一个区域上以启用其他功能性，诸如但不限于，提供对计算设备的音量、亮度以及滚动的直接控制。例如，数字拨号盘或其他类型的对象可以被放置在虚拟触控板区间中，并且***纵以调整诸如此类的设置并且执行其他类型的功能性。
尽管本文中所公开的实施例主要是在多屏幕计算设备的上下文中呈现，但所公开的技术还可以结合单屏幕计算设备来实现，该单屏幕计算设备利用单个显示屏来提供第一显示区域和第二显示区域。还应了解，尽管通常对上文简要描述的实施例单独地进行了描述，但上文简要描述且下文进一步详细描述的各种实施例可以彼此组合地利用。
还应了解，上文所描述的主题可以被实现为计算机控制的装置、计算机实现的方法、计算设备、或诸如计算机可读介质之类的制品。这些和各种其他特征将通过阅读以下详细描述并且参阅相关联的图式而变得明显。
本发明内容的提供是为了以简化的形式介绍对下文在详细描述中进一步描述的所公开的技术的一些方面的简要描述。本发明内容既不旨在标识所要求的主题的关键特征或本质特征，也不旨在用于限制所要求的主题的范围。此外，所要求的主题不限于解决在本公开的任何部分中提到的任何或所有缺点的实现。
附图说明
图1是图示了在一种特定配置中实现所公开的技术的多屏幕计算设备的配置和操作的方面的示意图；
图2至图5是示出了本文中所公开的用于虚拟触控板上的无模式数字笔输入的机制的方面的示意图；
图6是示出了例程的流程图，该例程图示了图1中所示的计算设备的用于如图2至图5中所示的虚拟触控板上的无模式数字笔输入的操作的方面；
图7至图11是示出了本文中所公开的用于无模式地召唤虚拟触控板区间中的用户界面的机制的方面的示意图；
图12是示出了例程的流程图，该例程图示了图1中所示的计算设备的用于无模式地召唤如图7至图11中所示的虚拟触控板区间中的用户界面的操作的方面；
图13和图14是示出了本文中所公开的用于启用虚拟触控板上的无模式手势的机制的方面的示意图，该无模式手势具有基于手势的起始点相对于屏幕上UI或物理键盘的位置而被确定的功能性；
图15是示出了例程的流程图，该例程图示了图1中所示的计算设备的用于启用虚拟触控板上的无模式手势的操作的方面，该无模式手势具有基于手势的起始点相对于如图13和图14中所示的屏幕上UI的位置而被确定的功能性；
图16至图19是示出了本文中所公开的用于启用无模式光标控制和与虚拟触摸目标的交互的机制的方面的示意图；
图20是示出了例程的流程图，该例程图示了图1中所示的计算设备的针对如图16至图19中所示的无模式光标控制和与虚拟触摸目标的交互的操作的方面；以及
图21是示出了用于计算设备的说明性计算机硬件和软件架构的计算机架构图，该计算机硬件和软件架构可以实现本文中所呈现的技术的方面。
具体实施方式
以下详细说明涉及用于无模式地增强由虚拟触控板提供的功能性的技术。如上文简要讨论的，所公开的技术的实现可以使得用户能够在不干扰预期的传统触控板功能性(例如移动光标、点击以及滚动)的情况下接入扩展功能性。因此，与先前模式虚拟触控板解决方案相比，计算资源的利用率可以通过简化的用户交互和更少的程序代码的执行来减少。本文中未具体提及的其他技术益处也可以通过所公开的主题的实现来达成。
本领域的技术人员应认识到，本文中所公开的主题可以用各种类型的计算***和模块来实现，下文更详细地描述了这些计算***和模式中的至少一些计算***或模块。本领域的技术人员还应了解，本文中所描述的主题可以用其他计算机***配置(包括手持式设备、多处理器***、基于微处理器的或可编程的消费电子产品、嵌入于设备(诸如可穿戴设备、汽车、家庭自动化等)中的计算或处理***、嵌入于设备(诸如可穿戴计算设备、汽车、家庭自动化等)中的计算或处理***等)来实践。
在以下详细描述中，对形成其一部分并且通过说明的方式示出了特定配置或示例的附图进行了参考。现在参看图式(其中贯穿数张图，相同附图标记表示相同元件)，将描述用于无模式地增强由虚拟触控板提供的功能性的各种技术的方面。
图1是图示了在一种特定配置中实现所公开的技术的多屏幕计算设备100(该多屏幕计算设备100在本文中也可被称为“计算设备100”或简称为“设备100”)的配置和操作的方面的示意图。如上文所提及，多屏幕计算设备(诸如计算设备100)以多种形状因子出现。例如，图1中所示的计算设备100配置为类似于传统膝上型计算机的双屏铰接设备。然而，所公开的技术也可以与具有其他配置的多屏幕计算设备一起利用。如上文所讨论的，所公开的技术还可以用具有单个折叠显示屏的计算设备(诸如利用柔性屏幕技术的计算设备)来实践。
如图1所示，说明性计算设备100包括两个显示设备。第一显示设备安装于壳体104A中并且在使用时位于与在传统膝上型计算机上的位置相同的位置中。第一显示设备提供包围物理显示器的全部或一部分的第一显示区域102A。第一显示设备可以是或可以不是触摸敏感的。
第二显示设备位于物理键盘传统上在膝上型计算机上所处的区间中，并且提供第二显示区域102B。第二显示区域可能会占据物理键盘传统上所处的整个区间或可能仅占据该区间的一部分。第二显示设备配备有用于检测用户输入(诸如单点触摸或多点触摸手势)的传感器。
在图1中所示的示例配置中，第一显示区域102A具有高度106A。第二显示区域102B具有高度106B，该高度106B可以或可以不与高度106A相同。第一显示区域102A还具有宽度108A，并且第二显示区域102B具有宽度108B。在一些配置中，第二显示区域102B的宽度108B与第一显示区域102A的宽度108A相同。在其他配置中，第二显示区域102B的宽度108B可以大于或小于第一显示区域102A的宽度108A。
在图1中所示的配置中，第一显示区域102A的底部边缘与第二显示区域102B的顶部边缘平行。第一显示区域102A的底部边缘还与第二显示区域102B的顶部边缘相邻。在图1中所示的示例中，第一显示区域102A的壳体104A与第二显示区域的壳体104B分隔开距离114。距离114可根据连接壳体104A和壳体104B的特定机械连接(例如铰链)而更大或更小。在两个显示区域是同一物理的、潜在地可弯曲的显示屏的部分的情况下，距离114也可以为零。
在图1中所图示的配置中，第二显示区域102B的左侧边缘和右侧边缘与第一显示区域102A的左侧边缘和右侧边缘对准。以这种方式，第二显示区域102B与第一显示区域102A水平对准。如将在下文更详细地描述的，第一显示区域102A与第二显示区域102B的空间对准使得某些类型的无模式手势能够相对于第一显示区域102A的对应区间在第二显示区域102B中而被做出。
在图1中所示的示例配置中，第二显示区域102B已经被划分成区间110A(该区域110A在本文中可以被称为“虚拟触控板区间110A”)和110B(该区域110B在本文中可以被称为“键盘区间110B”)。虚拟触控板区间110A可以用作虚拟触控板。例如，如图1所示，用户可利用手指116A来在虚拟触控板区间110A中执行手势。例如，在该示例中，用户已经在虚拟触控板区间110A中水平地拖动了其手指以执行拖动手势117。图1中所示的说明性拖动手势117使计算设备100沿着与拖动手势117的路径对应的路径在第一显示区域102A中移动光标118。
用户还可以用其手指116A在虚拟触控板区间110A中执行按压或轻敲操作，以便在光标118的位置处执行激活操作(例如鼠标点击)。还可以在虚拟触控板区间110A中执行其他类型的功能性(例如多点触摸手势，比如两指或三指轻扫)。
在图1中所示的示例中，虚拟触控板区间110A仅包围第二显示区域102B的一部分。特别地，虚拟触控板110A具有等于第二显示区域102B的宽度108B的宽度，但具有小于第二显示区域102B的高度106B的高度112。在该示例中，虚拟触控板区间110A的高度112被选择以提供本文中所公开的功能性，同时使得触摸敏感虚拟键盘能够在一种配置中被呈现于虚拟键盘区间110B中。在其他配置中，虚拟触控板区间110A可以具有不同高度112。在一些配置中，虚拟触控板区间110A包围第二显示区域102B的整个宽度，并且位于第二显示区域102B的与第一显示区域102A相邻的部分中。附加地，在所图示的示例中，键盘区间110B的顶部(即，顶行的按键)与虚拟触控板区间110A的底部边缘相邻并且平行。在其他配置中，用物理键盘替换计算设备100的键盘区间110B。例如，在一些配置中，物理键盘可以被放置在通常由虚拟键盘占据的区域的顶部，从而提供物理按键的触感，但以其他方式提供类似功能性。
应了解，在本文中某些相对术语(例如高度、宽度、顶部、底部、左侧、右侧)已经被利用来描述图1中所示的显示区域102A和102B的配置。就此而言，还应了解，为了便于讨论，在本文中已经利用了这些术语，并且这些术语不限制区域102A和102B或设备100的配置。可以利用其他术语来描述显示区域102A和102B以及这些显示区域之间的空间关系。附加地，尽管图1中所示的计算设备100以横向定向进行图示，但设备100也可以以纵向配置(即，通过使设备100旋转九十度)进行操作。在其他配置中，可以利用其他类型的多屏幕计算设备。
对虚拟触控板的无模式数字笔输入
图2至图5是示出了本文中所公开的用于对虚拟触控板的无模式数字笔输入的机制的方面的示意图。在图2至图5中所示的配置中，虚拟触控板区间110A可以在不需要用户改变虚拟触控板区间110A的操作模式的情况下从数字笔202接收输入。
在图2中所图示的配置中，用户可以在第二显示区域102B的虚拟触控板区间110A中利用手指116A或多根手指来执行手势，诸如手势208。图2中所示的说明性手势208使计算设备100沿着与手势208的路径对应的路径在第一显示区域102A中移动光标118。用户还可以用其手指116A在虚拟触控板区间110A中执行按压或轻敲操作，以便在光标118的位置处执行激活操作(例如鼠标点击)。还可以在虚拟触控板区间110A中执行其他类型的功能性(例如多点触摸手势，比如两指或三指轻扫)。
附加地，用户可以在任何时间使用数字笔202在虚拟触控板区间110A中直接写入。用户不需要切换模式来利用上文所描述的虚拟触控板功能性和在虚拟触控板区间110A中利用数字笔202。在图2中所示的示例中，例如，用户已经利用了数字笔202来在不改变输入模式的情况下将数字墨水206A写入于虚拟触控板区间110A中。
当在虚拟触控板区间110A内接收到输入时，计算设备100确定该输入是触摸输入(例如由用户的手指116A生成的输入)还是由数字笔202生成的输入。为了进行这种确定，数字笔202可以通过合适的接口被可通信地耦合到计算设备100。通过这种连接，计算设备100可以确定是否已经利用了数字笔202来在虚拟触控板区间110A中写入。
如果输入是触摸输入(例如用户的手指116A)，则计算设备100将接收到的输入作为对虚拟触控板的触摸输入进行处理，以例如移动光标118或执行激活操作。如果从数字笔202接收到输入，则计算设备100将该输入作为数字墨水进行处理。以这种方式，用户可以在不需要用户从触摸输入模式改变为数字笔模式的情况下将触摸输入和来自数字笔202的输入同时提供给虚拟触控板区间110A。
将在虚拟触控板区间110A中接收到的输入作为数字墨水进行处理可以包括但不限于，将数字墨水转换成文本并且将文本提供给程序，以便在呈现于第一显示区域102A中的UI的栏位内呈现文本。在图3中所图示的示例中，例如，用户已经利用了数字笔202来将数字墨水206A(即，“你好，世界”)写入于虚拟触控板区间110A中。响应于此，计算设备100已经将数字墨水206A转换成文本，并且将文本提供给在计算设备100上执行的电子邮件应用。转而，电子邮件应用已经在已使用光标118选择的UI窗口302A的栏位304A中呈现了所识别的文本。在其他配置中，所识别的文本可以被提供给在计算设备100或另一本地或远程计算设备上执行的其他类型的程序。
将在虚拟触控板区间110A中接收到的输入作为数字墨水进行处理还可以包括：将数字墨水提供给程序，以便在呈现于第一显示区域102A中的UI的栏位内呈现数字墨水。在图4中所图示的示例中，例如，用户已经利用了数字笔202来将数字墨水206A(即，“RubyLu”)写入于虚拟触控板区间110A中。响应于此，计算设备100已经将数字墨水206B提供给在计算设备100上执行的用于对文件进行签名的程序。转而，程序已经在已使用光标118选择的UI窗口302B的栏位304B中呈现了数字墨水206B。在其他配置中，数字墨水206B可以被提供给在计算设备100或另一本地或远程计算设备上执行的其他类型的程序。
将在虚拟触控板区间110A中接收到的输入作为数字墨水进行处理还可以包括：在一些配置中，将数字墨水转换成文本，识别文本中的命令，并且使计算设备100执行该命令。在图5中所图示的示例中，例如，用户已经利用了数字笔202来将数字墨水206C(即，“呼叫1-(234)-555-1212”)写入于虚拟触控板区间110A中。响应于此，计算设备100已经将数字墨水206C转换成文本并且将文本提供给通信应用(图中未示出)。转而，通信应用已经在UI窗口302C中呈现了所识别的命令并且执行了预期命令(即，呼叫指定号码)。在其他配置中，所识别的文本可以被利用来在计算设备100或另一本地或远程计算设备上执行其他类型的命令。
附加地或备选地，将在虚拟触控板区间110A中接收到的输入作为数字墨水进行处理可以包括对其他功能的执行。例如但不限于，将输入作为数字墨水进行处理可以包括：将数字墨水提供给在计算设备100或另一计算***上执行的用于存储便签或数字墨水的默认程序，或将数字墨水转换成文本并且将文本提供给在计算设备100或另一计算***上执行的用于存储便签的默认程序。数字墨水或文本可以响应于从用户接收到数字墨水而被提供给这种程序，而无需来自用户的附加输入。在其他配置中，计算设备100可以将数字墨水或从数字墨水中识别的文本提供给其他类型的程序。
图6是示出了例程600的流程图，该例程600图示了图1中所示的计算设备的用于如图2至图5中所示的虚拟触控板上的无模式数字笔输入的操作的方面。应了解，可以将本文中相对于图5和其他图所描述的逻辑操作实现为(1)在计算设备上运行的计算机实现的动作或程序模块的序列和/或实现为(2)计算设备内的互连机器逻辑电路或电路模块。
本文中所公开的技术的特定实现是取决于计算设备的性能和其他要求的选择问题。因此，本文中所描述的逻辑操作以不同方式被称为状态、操作、结构设备、动作、或模块。这些状态、操作、结构设备、动作以及模块可以利用硬件、软件、固件、专用数字逻辑及其任何组合来实现。应了解，与图中所示出和本文中所描述的操作相比，可以执行更多或更少的操作。这些操作也可以以与本文中所描述的顺序不同的顺序执行。
例程600从操作602开始，在操作602中，计算设备100针对输入监测虚拟触控板区间110A。如果在虚拟触控板区间110A中检测到输入，则例程600从操作604继续进行到操作606。在操作606中，计算设备100确定检测到的输入是否为触摸输入(例如由用户的手指116A进行的输入)。如果检测到的输入是触摸输入，则例程600从操作606继续进行到操作610，在操作610中，计算设备100将输入作为对虚拟触控板的触摸输入进行处理。例如，计算设备100可能基于输入来移动光标118或执行激活操作。例程600然后从操作610返回到操作602继续进行。
如果接收到的输入不是触摸输入，则例程600从操作606继续进行到操作608，在操作608中，计算设备100确定接收到的输入是否为由数字笔202进行的输入。如果接收到的输入不是由数字笔202进行的输入，则例程600从操作608返回到操作602继续进行。如果输入是数字笔输入(即，数字墨水)，则例程600从操作608继续进行到操作612，在操作612中，计算设备100将接收到的输入作为数字墨水进行处理。例如，计算设备100可根据上文相对于图3至图5给定的示例中的一个或多个示例来处理数字墨水。例程600然后从上文所描述的操作612继续进行到操作602。以这种方式，计算设备100可以在不需要用户输入来改变模式的情况下处理在虚拟触控板区间110A中进行的触摸输入和笔输入两者。
用于召唤用户界面的无模式手势
图7至图12是示出了本文中所公开的用于无模式地召唤虚拟触控板区间110A中的瞬时UI的显示的机制的方面的示意图。在这种配置中，虚拟触控板区间110A可以被利用来在虚拟触控板区间110A中发起瞬时UI的呈现，以便在不需要用户改变虚拟触控板区间110A的操作模式的情况下执行命令和/或查看信息。
为了在虚拟触控板区间110A中无模式地提供瞬时UI，计算设备100确定接收到的触摸输入是否包括触摸手势，该触摸手势始发于第二显示区域102B的虚拟触控板区间110A的边缘外部并且终止于虚拟触控板区间110B内部。例如，在图7中所图示的示例中，用户已经利用了手指116A来执行轻扫手势706，该轻扫手势706始发于虚拟触控板区间110A的左侧边缘外部并且终止于虚拟触控板区间110A内的位置处(例如，“边缘轻扫”或不涉及跨过虚拟触控板的边缘的多指手势)。
如果计算设备100检测到触摸手势(该触摸手势始发于第二显示区域102B的虚拟触控板区间110A的边缘外部并且终止于虚拟触控板区间110A内部)，则计算设备100可以在虚拟触控板区间110A中显示瞬时(即，临时)UI，诸如图7中所示的瞬时UI 702。在瞬时UI诸如(例如)通过从手势始发的虚拟触控板区间110A的边缘“滑动”到虚拟触控板区间110A中而被显示在第二显示区域102B中时，瞬时UI可以被动画化。
在一些配置中，在虚拟触控板区间110A中所呈现的瞬时UI包括可选择的UI元素，诸如UI按钮或其他类型的UI元素。在图7中所示的示例中，例如，瞬时UI 702包括UI元素704A和704B。如果计算设备100确定选择一个或多个可选择的UI元素中的一个可选择的UI元素的触摸输入已经在虚拟触控板区间110A中被进行，则计算设备100可以发起与所选择的UI元素对应的命令。例如，可以发起命令以启动可以在第一显示区域102A中呈现UI的应用、切换到已经启动的应用(即，切换任务)或执行另一功能。
在图7中所示的示例中，UI元素704A对应于web浏览器应用，并且UI元素704B对应于电子邮件应用。如图8所示，在该示例中，用户已经利用了手指116A来选择UI元素704B。响应于检测到对UI元素704B的选择，计算设备已经启动了电子邮件应用，转而，该电子邮件应用已经在第一显示区域102A中呈现了UI 802。响应于在虚拟触控板区间110A内显示的瞬时UI 702中的UI元素704的选择，其他类型的功能可以被执行。
在一些配置(诸如图9中所图示的配置)中，响应于对UI元素中的一个UI元素的选择，瞬时UI 702的显示被立即从虚拟触控板区间中移除。在其他配置中，触摸手势可以被利用来解除瞬时UI 702。例如，在图10和图11中所示的示例中，用户已经利用了手指116A来执行轻扫手势1004，该轻扫手势1004始发于虚拟触控板区间110A外部并且终止于虚拟触控板区间110A内。结果，计算***100已经在虚拟触控板区间110中呈现了示出通知的瞬时UI1002。
为了解除瞬时UI 1002，用户可利用手指116A或多根手指来执行用于解除瞬时UI1002的手势。例如，用户可以执行从虚拟触控板区间110A内部的位置到虚拟触控板区间110A外部的位置的轻扫手势1006，以解除瞬时UI。这在图11中被图示。在瞬时UI 1002外部的其他类型的手势(诸如轻敲手势)也可以被利用来解除瞬时UI 1002。
如同在虚拟触控板区间110A中显示瞬时UI时的情况，在诸如(例如)通过将虚拟触控板区间110A之外的瞬时UI“滑动”到手势终止的虚拟触控板区间110A的边缘来从虚拟触控板区间110A中移除该瞬时UI时，对瞬时UI的显示也可以被动画化。
在其他配置中，从虚拟触控板区间110A的边缘外部到虚拟触控板区间110A内部的位置进行的输入手势可以基于手势的结束位置与在第一显示区域102A中或第二显示区域102B的键盘区间110B中所呈现的UI元素之间的关系来执行功能。例如，用户可以通过从虚拟触控板区间110A外部的区间向右轻扫到虚拟触控板区间110A内的位置来设置计算设备100的音频输出音量。手势相对于在键盘区间110B中所示的虚拟键盘结束(例如水平对准)的位置指定输出音量。例如，如果手势在与虚拟键盘上的‘1’按键的位置在空间上对准的位置处结束，则输出音量将被设置为一(例如最大值的10％)。如果手势在与虚拟键盘上的‘9’按键的位置在空间上对准(例如水平对准)的位置处结束，则输出音量将被设置为九(例如最大值的90％)。以这种方式，可以通过计算***对沿着虚拟触控板区间110A的公共边缘的许多不同的特定边缘手势进行消歧。还可以相对于水平对准的物理键盘执行这种手势。
图12是示出了例程1200的流程图，该例程1200图示了图1中所示的计算设备100的用于无模式地召唤如上文参考图7至图11所描述的虚拟触控板区间110A中的瞬时UI的操作的方面。例程1200从操作1202开始，在操作1202中，计算设备100针对输入监测虚拟触控板区间110A。如果在虚拟触控板区间110A中检测到输入，则例程1200从操作1204继续进行到操作1206。
在操作1206中，计算设备100确定所检测到的输入是否为触摸手势，该触摸手势在虚拟触控板区间110A外部开始并且在虚拟触控板区间110A内部结束。如果检测到的输入是触摸手势，则例程1200从操作1208继续进行到操作1210，在操作1210中，计算设备在虚拟触控板区间110A中显示瞬时UI。例程1200然后从操作1210返回到操作1202继续。
如果计算设备100确定所接收到的输入不是始发于虚拟触控板区间110A外部并且在虚拟触控板区间110A内部结束的手势，则例程1200从操作1208继续进行到操作1212。在操作1212中，计算设备100确定检测到的输入是否为用于解除瞬时UI的触摸手势，诸如轻扫或轻敲手势。如果检测到的输入是用于解除瞬时UI的触摸手势，则例程1200从操作1212继续进行到操作1214，在操作1214中，计算设备从虚拟触控板区间110A中移除瞬时UI。例程1200然后从操作1216返回到操作1202继续。
利用相对位置的无模式手势
图13至图14是示出了本文中所公开的用于启用虚拟触控板上的无模式手势的机制的方面的示意图，该无模式手势具有基于手势的相对于相邻的屏幕上UI或物理键盘的起始点而被确定的功能性。在图13中所示的示例中，在计算设备100上执行的第一应用在第一显示区域102A的第一部分1302A中呈现其UI：在这种配置中，第一显示区域102A的左半部分。
第二显示区域102B中的虚拟触控板区间110A的第一部分1304A与第一显示区域102A的第一部分1302A相邻并且在空间上对准。在图13中所示的示例中，例如，第一显示区域102A的部分1302A具有与第二显示区域102B的部分1304A的宽度1308A相同的宽度1306A。在该示例中，因此，虚拟触控板区间110A的第一部分1304A包括第二显示区域102B的左半部分，该左半部分与第一显示区域102A的包括由第一应用的生成的UI的左半部分(即，部分1302A)在空间上对准。
在图13中所示的示例中，在计算设备100上执行的第二应用在第一显示区域102A的第二部分1302B中呈现其UI：在该示例中，第一显示区域102A的右半部分。虚拟触控板区间110A的第二部分1304B与第一显示区域102A的第二区间1302B在空间上对准。在图13中所示的示例中，例如，第一显示区域102A的部分1302B具有与第二显示区域102B的部分1304B的宽度1308B相同的宽度1306B。在该示例中，因此，虚拟触控板区间110A的第二部分1304B包括第二显示区域102B的右半部分，该右半部分与第一显示区域102A的右半部分(即，部分1302B)在空间上对准。以这种方式，一个应用被分配第一显示区域102A的与第二显示区域102B中的虚拟触控板区间110A的在空间上对准的部分1304A对应的部分1302A，并且另一应用被分配第一显示区域102A的与虚拟触控板区间110A的另一部分1304B在空间上对准的另一部分1302B。
如果计算设备100在虚拟触控板区间110A的第一部分1304A中接收到输入，则计算设备100将输入提供给正在第一显示区域102A的相邻部分1302A中呈现其UI的应用。例如，在所图示的配置中，如果在虚拟触控板区间110A的左半部分(即，部分1304A)中接收到输入，则将输入提供给在第一显示区域102A的左半部分(即，部分1302A)中呈现其UI的应用，或该输入将由操作***参考该应用进行处理。输入可为例如多点触摸输入手势(诸如图13中所示的多点触摸输入手势)或从数字笔接收到的输入。例如，可以将这些和其他类型的输入与用于控制光标的传统虚拟触控板输入区分开。
如果计算设备100在虚拟触控板区间110A的第二部分1304B中接收到输入，则计算设备100将所接收到的输入提供给正在第一显示区域102A的相邻部分中呈现其UI的应用。例如，如果在虚拟触控板区间110A的右半部分(即，部分1304B)中接收到输入，则将输入提供给正在第一显示区域102A的右半部分(即，部分1302B)中呈现其UI的应用。以这种方式，可以在不需要用户改变虚拟触控板区间110A的模式的情况下将用户输入提供给在计算设备100上执行的不同应用。就此而言，应了解，虽然图13中所示的示例仅包括两个应用，但可以在其他配置中以类似方式将输入无模式地提供给多于两个的应用。还可将输入提供给由单个应用呈现的两个或更多个区域，诸如提供给在其UI中以多个任务窗格或内容区域为特征的应用。
图14图示了另一配置，在该另一配置中，计算设备100可以检测用户输入手势，该用户输入手势始发于虚拟触控板区间110A外部的区间中并且终止于虚拟触控板区间110A内。在所图示的示例中，例如，使用手指116A的垂直轻扫手势始发于键盘区间110B内并且终止于虚拟触控板区间110A内。
响应于检测到这种用户输入手势，计算设备100可以执行至少部分地基于手势始发的位置而选择的命令。在所图示的示例中，例如，手势在虚拟键盘的按键上始发并且在虚拟触控板区间110A中结束。在该示例中，基于手势始发的特定按键来选择要执行的命令。例如，如果手势在‘1’按键上始发，则计算设备100的音量可被设置为其最大值的10％。如果手势在‘9’按键上始发，则音量可以被设置为最大值的90％。其他类型的命令可以以类似方式被发起和执行。
图15是示出了例程1500的流程图，该例程1500图示了图1中所示的计算设备100的用于启用虚拟触控板上的无模式手势的操作的方面，该无模式手势具有基于手势的起始点相对于如图13和图14中所图示的相邻的屏幕上UI的位置而被确定的功能性。例程1500从操作1502开始，在操作1502中，第一应用在第一显示区域102A的第一部分1306A中呈现其UI。例程1500然后继续进行到操作1504，在操作1504中，第二应用在第一显示区域102A的第二部分1306B中呈现其UI。
例程1500从操作1504继续进行到操作1506，在操作1506中，计算设备100接收第二显示区域102B的虚拟触控板区间110A中的输入。例程1500然后继续进行到操作1508，在操作1508中，计算设备100确定是否在虚拟触控板区间110A的部分中进行了输入，该部分与第一显示区域102A的包含第一应用的UI的部分1306A相邻。如果在虚拟触控板区间110A的部分中进行了输入，则例程1500从操作1510继续进行到操作1512，在操作1512中，将在操作1506中接收到的输入提供给第一应用，或相对于第一应用处理该输入(例如通过操作***)。如果未在虚拟触控板区间110A的部分中进行输入，则例程1500从操作1510继续进行到操作1514。
在操作1514中，计算设备100确定是否在虚拟触控板区间110A的部分中进行了输入，该部分与第一显示区域102A的包含第二应用的UI的部分1306B相邻。如果在虚拟触控板区间110A的部分中进行了输入，则例程1500从操作1516继续进行到操作1518，在操作1518中，在操作1506中接收到的输入被提供给第二应用，或相对于第二应用处理该输入(例如通过操作***)。如果未在虚拟触控板区间110A的部分中进行输入，则例程1500从操作1516返回操作1506继续进行，在操作1506中，可以以类似方式接收和处理附加输入。
无模式光标控制和与虚拟触摸目标的交互
图16至图19是示出了本文中所公开的用于启用无模式光标控制和与虚拟触摸目标的交互的机制的方面的示意图。在图16至图19中所示的配置中，显示区域的包括触摸敏感显示器102B上的虚拟触控板区间110A的区间可以示出用于发起各种类型的功能性的触摸目标(例如UI控件)。在图16中所示的示例中，例如，虚拟触控板区间110A的大小已经被缩小，并且多个UI控件1602A至1602E已经在虚拟触控板区间110A周围的第二显示区域102B的区间中被呈现。当诸如通过在第二显示区域102B中使用轻敲手势来选择UI控件1602A至1602E时，UI控件1602A至1602E可以发起各种类型的功能性，诸如(例如)在计算设备100上启动程序或召唤数字助理。
光标控制可以使用虚拟触控板区间110A来执行，并且UI控件1602A至1602E可以在不改变虚拟触控板的模式的情况下被选择。例如，如图17中所图示，用于控制光标118的触摸手势1702可以在不引起对手势1702结束的UI控件的选择或不中断光标控制的情况下始发于虚拟触控板区间110A内部并且终止于UI控件1602A至1602E中的一个UI控件内。以这种方式，如果用户的触摸手势在控制光标118时不经意地退出虚拟触控板区间110A并且在UI控件1602A至1602E中的一个UI控件中结束，则UI控件将不会被选择。
类似地，如图18所示，用于控制光标118的触摸手势1802可以在不引起对手势始发的UI控件的选择的情况下始发于包围虚拟触控板的区域中(在该示例中，始发于UI控件1602B中)并且在虚拟触控板区间110A或第二显示区域102B的另一区间内部结束。以这种方式，即使光标控制手势(诸如手势1802)从UI控件1602开始，也可以在虚拟触控板区间110A的外部执行该光标控制手势。例如，如果用户在开始鼠标控制手势时并未看着虚拟触控板区间110A，则这可以是有用的。
用户输入手势的起始位置和定时可以在不需要模式切换的情况下并且在不中断光标控制的情况下用于对光标控制和与UI控件的交互进行消歧。例如，如果触摸手势在UI控件1602内被检测到，则在该手势在某个预定时间段(例如100ms)内结束(例如用户抬起手指)的情况下，可以将该手势视为对UI控件1602的选择。如果在UI控件1602内未检测到触摸手势，则将该手势视为开始用于控制光标118的位置的手势。
在一些配置中，可以在对当前手势进行消歧时考虑先前手势。例如但不限于，即使用户的手指现在也位于UI控件上方，随后是在先前的光标移动的结束位置附近执行的轻敲手势的光标移动也可被解释为选择。通常，随后是在相同位置处进行的光标点击的光标移动或随后是在虚拟触控板上的其他位置处轻敲UI控件的光标移动可以被解释为选择。
在一些配置中，计算设备可以检测用户输入手势，该用户输入手势始发于虚拟触控板区间内并且终止于虚拟触控板区间外部。在该示例中，计算设备可以执行至少部分地基于手势终止的对象或位置而选择的命令。
在另一配置(在图19中对其进行了图示)中，物理输入对象可以被放置在虚拟触控板区间110A的若干区域中的一个区域上以启用附加功能性，诸如但不限于提供对计算设备100的音量、亮度以及滚动的直接控制。在图19中所示的示例中，例如，数字拨号盘1902(在图19中表示为数字拨号盘的触摸第二显示区域102B的部分的圆形轮廓)已经被放置在第二显示区域102B中。数字拨号盘1902的底部部分由用于供第二显示区域102B检测的合适材料制成。在该示例中，用户已经使用手势1904旋转了数字拨号盘1902。响应于这种输入，计算设备100可以调整设置或执行其他类型的功能性。
图20是示出了例程2000的流程图，该例程2000图示了图1中所示的计算设备的针对如图16至图19中所示的无模式光标控制和与虚拟触摸目标的交互的操作的方面。例程2000从操作2002开始，在操作2002中，一个或多个可选择的UI控件1602显示于虚拟触控板区间110A外部或内部。例程2000然后继续进行到操作2004，在操作2004中，计算设备100在第二显示区域102B中检测触摸输入。
例程2000从操作2004继续进行到操作2006，在操作2006中，计算设备100确定触摸是否位于UI控件1602中的一个控件内。如果触摸位于UI控件1602中的一个控件内，则例程2000从操作2006继续进行到操作2008，在操作2008中，计算设备100确定触摸是否在预定时间量(例如100ms)内结束。如果触摸在预定时间量内已经结束，则在操作2012中，计算设备100认为已经选择了触摸所处的UI控件。如果触摸在预定时间量内没有结束，则例程2000从操作2010继续进行到操作2014，在操作2014中，利用触摸手势来移动光标118。
在操作2006中，如果计算设备确定在操作2004中检测到的触摸不位于UI控件1602中，则例程2000从操作2006继续进行到操作2016。在操作2016中，计算设备100确定检测到的触摸是否位于虚拟触控板区间110A中。如果检测到的触摸位于虚拟触控板区间110A中，则计算设备100基于检测到的手势来移动光标118。如果检测到的触摸不位于虚拟触控板区间110A中，则例程2000返回操作2004继续，在操作2004中，可以以上文所描述的方式检测和处理附加手势。
图21是示出了用于计算设备的说明性计算机硬件和软件架构的计算机架构图，该计算机硬件和软件架构可以实现本文中所呈现的各种技术。特别地，图21中所图示的架构可以被利用来实现本文中所描述的多屏幕计算设备100。所图示的架构也可以被利用来实现其他类型的计算***。
图21中所图示的计算机2100包括中央处理单元2102(“CPU”)、***存储器2104(包括随机存取存储器2106(“RAM”)和只读存储器(“ROM”)2108)、以及将存储器2104耦合到CPU2102的***总线2110。基本输入/输出***(“BIOS”或“固件”)可以被存储在ROM 2018中，该基本输入/输出***包含诸如在启动期间有助于在计算机2100内的元件之间传送信息的基本例程。计算机2100还包括用于存储操作***2122、应用程序和其他类型的程序的海量存储设备2112。在各种配置中，通过这些程序中的一个或多个程序来实现上文所描述的用于增强虚拟触控板的功能性。海量存储设备2112还可以被配置为存储其他类型的程序和数据。
海量存储设备2112通过连接到总线2110的海量存储控制器(未示出)而被连接到CPU 2102。海量存储设备2112及其相关联的计算机可读介质为计算机2100提供非易失性存储装置。尽管对本文中所包含的计算机可读介质的描述是指海量存储设备，诸如硬盘、CD-ROM驱动器、DVD-ROM驱动器或USB存储密钥，但本领域的技术人员应了解，计算机可读介质可以是可以由计算机2100访问的任何可用的计算机存储介质或通信介质。
通信介质包括计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据(诸如载波或其他传输机制)并且包括任何传递介质。术语“调制数据信号”意指具有以关于对信号中的信息进行编码的方式改变或设置的其特点中的一个或多个特性的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接有线连接；和无线介质，诸如声学、射频、红外和其他无线介质。上述中的任一者的组合也应该被包括在计算机可读介质的范围内。
作为示例而非限制，计算机存储介质可以包括利用用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。例如，计算机存储介质包括但不限于RAM、ROM、EPROM、EEPROM、闪速存储器或其他固态存储器技术、CD-ROM、数字多功能磁盘(“DVD”)、HD-DVD、BLU-RAY或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备，或可以用于存储期望信息并且可以由计算机2100访问的任何其他介质。出于权利要求书的目的，短语“计算机存储介质”及其变型本身不包括波或信号或通信介质。
根据各种配置，计算机2100可以使用通过网络(诸如网络2120)与远程计算机的逻辑连接而在联网环境中操作。计算机2100可以通过连接到总线2110的网络接口单元2116连接到网络2120。应了解，也可以利用网络接口单元2116来连接到其他类型的网络和远程计算机***。计算机2100还可以包括输入/输出控制器2118，其用于接收和处理来自若干其他设备(包括键盘、鼠标、触摸输入、数字笔202或物理传感器(诸如摄像机))的输入。类似地，输入/输出控制器2118可以将输出提供给一个或多个显示屏，诸如第一显示区域102A和第二显示区域102B。
如上文所讨论，第一显示区域102A和第二显示区域102B是配置为以视觉形式呈现信息的输出设备。特别地，第一显示区域102A和第二显示区域102B可以呈现图形用户界面(“GUI”)元素、文本、图像、视频、通知、虚拟按钮、虚拟键盘、消息传送数据、互联网内容、设备状态、时间、日期、日历数据、首选项、地图信息、位置信息以及能够以视觉形式显示的任何其他信息。在一些配置中，第一显示区域102A和第二显示区域102B是利用任何有源或无源矩阵技术和任何背光技术(若使用)的液晶显示器(“LCD”)。在一些配置中，第一显示区域102A和第二显示区域102B是有机发光二极管(“OLED”)显示器。考虑了其他显示器类型。
如上文所讨论的，第二显示区域102B可以是配置为检测触摸的存在和位置的触摸敏感显示器。这种显示器可以是电阻式触摸屏、电容式触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、色散信号触摸屏、声脉冲识别触摸屏，或可以利用任何其他触摸屏技术。在一些配置中，触摸屏以透明层形式包含于显示器的顶部，以使得用户能够使用一个或多个触摸来与在显示器上呈现的对象或其他信息交互。
第二显示区域102B可以被配置为同时检测多个触摸。在一些配置中，第二显示区域102B配置为检测离散触摸、单点触摸手势和/或多点触摸手势。出于方便起见，这些触摸手势在本文中被统称为“手势”。现在将描述若干手势。应理解，这些手势是说明性的并且不旨在限制所附权利要求书的范围。而且，可以在与第二显示区域102B一起使用的软件中实现所描述的手势、附加手势和/或备选手势。因而，开发者可以创建特定于特定应用程序的手势。
在一些配置中，第二显示区域102B支持轻敲手势，其中用户在第二显示区域102B中所呈现的项目上轻敲第二显示区域102B一次。在一些配置中，第二显示区域102B支持双击手势，其中用户在第二显示区域102B中所呈现的项目上轻敲第二显示区域102B两次。出于各种原因，可以使用双击手势，包括但不限于，分阶段放大或缩小。在一些配置中，第二显示区域102B支持轻敲和保持手势，其中用户轻敲第二显示区域102B并且在至少预定义时间内维持接触。出于各种原因，可以使用轻敲和保持手势，包括但不限于，打开上下文特定的菜单。
在一些配置中，第二显示区域102B支持平移(pan)手势，其中用户将手指放置在第二显示区域102B中并且在第二显示区域102B中移动手指的同时维持与第二显示区域102B的接触。出于各种原因，可以使用平移手势，包括但不限于，以控制速率移动通过屏幕、图像或菜单。还考虑了多根手指平移手势。
在一些配置中，第二显示区域102B支持轻弹(flick)手势，其中用户在用户希望屏幕移动的方向上轻扫手指。出于各种原因，可以使用轻弹手势，包括但不限于，水平或垂直地滚动通过菜单或页面。在一些配置中，第二显示区域102B支持捏合和伸展手势，其中用户在第二显示区域102B中用两根手指(例如拇指和食指)进行捏合动作或将两根手指分开。出于各种原因，可以使用捏合和伸展手势，包括但不限于，逐步放大或缩小网站、地图或图片。
尽管已经参考用于执行手势的一根或多根手指的使用呈现了上文所描述的手势，但也可以使用其他附加物(诸如数字笔)来与第二显示区域102B交互。因而，以上手势应该被理解为是说明性的并且不应该被解释为以任何方式作为限制。
应了解，本文中所描述的软件组件在被加载到CPU 2102中并且被执行时，CPU2102和整个计算机2100可以被从通用计算设备转变成定制为支持本文中所呈现的功能性的专用计算设备。CPU 2102可以由任何数量的晶体管或其他分立电路元件构成，这些晶体管或其他分立电路元件可以单独地或共同地假定任何数量的状态。更具体地，响应于在本文中所公开的软件模块内所包含的可执行指令，CPU 2102可以作为有限状态机而操作。这些计算机可执行指令可以通过以下方式转变CPU 2102：指定CPU 2102如何在状态之间转变，从而转变构成CPU2102的晶体管或其他分立硬件元件。
对本文中所呈现的软件模块进行编码还可以转变本文中所呈现的计算机可读介质的物理结构。在本说明书的不同实现中，物理结构的特定转变取决于各种因素。这种因素的示例包括但不限于用于实现计算机可读介质的技术，计算机可读介质被表征为主要存储装置还是辅助存储装置等。例如，如果将计算机可读介质实现为基于半导体的存储器，则可以通过转变半导体存储器的物理状态来在计算机可读介质上对本文中所公开的软件进行编码。例如，软件可以转变构成半导体存储器的晶体管、电容器或其他离散电路元件的状态。软件还可以转变这种组件的物理状态，以便将数据存储在其上。
作为另一示例，本文中所公开的计算机可读介质可以使用磁性或光学技术来实现。在这种实现中，当在磁性或光学介质中对软件进行编码时，本文中所呈现的软件可以转变磁性或光学介质的物理状态。这些转变可以包括：更改给定磁性介质内的特定位置的磁性特性。这些转变还可以包括：更改给定光学介质内的特定位置的物理特征或特性，以改变那些位置的光学特性。在不脱离本说明书的范围和精神的情况下，物理介质的其他转变是可能的，其中，提供前述示例仅仅是为了有助于此讨论。
鉴于上文，应了解，在计算机2100中发生了许多类型的物理转变，以便存储和执行本文中所呈现的软件组件。还应了解，可以利用图21中所示的用于计算机2100的架构或类似架构来实现其他类型的计算设备，包括手持式计算机、视频游戏设备、嵌入式计算机***、移动设备(诸如智能电话、平板和AR/VR设备)以及本领域的技术人员已知的其他类型的计算设备。还可以考虑到，计算机2100可以不包括图21中所示的组件中的全部组件，可以包括图20中未明确示出的其他组件，或可以利用与图21中所示的架构完全不同的架构。
应了解，为了便于讨论，已经简化了图21中所示的计算架构。还应了解，所图示的计算架构可以包括并且利用更多的计算组件、设备、软件程序、网络设备以及本文中未具体描述的其他组件。
本文中所呈现的公开内容还涵盖以下条款中所阐述的主题：
条款1：一种计算设备，包括：处理器；触摸敏感显示设备，提供第一显示区域；以及存储器，存储由处理器可执行以进行以下的指令：确定输入是否已经在第一显示区域的虚拟触控板区间内被接收到；响应于确定输入已经在虚拟触控板区间内被接收到，确定输入是否包括触摸输入或从数字笔接收到的输入；如果在虚拟触控板区间内被接收到的输入包括触摸输入，则将输入作为对虚拟触控板的触摸输入进行处理；以及如果在虚拟触控板区间内被接收到的输入包括从数字笔接收到的输入，则将输入作为数字墨水进行处理。
条款2：根据条款1的计算设备，其中该计算设备包括第二显示区域，并且其中将输入作为数字墨水进行处理包括：将数字墨水转换成文本；以及将文本提供给程序或操作***，以用于在呈现于第二显示区域中的用户界面(UI)的栏位内对文本的呈现。
条款3：根据条款1至2中任一项的计算设备，其中该计算设备包括第二显示区域，并且其中将输入作为数字墨水进行处理包括：将数字墨水提供给程序，以用于在呈现于第二显示区域中的用户界面(UI)的栏位内对数字墨水的呈现。
条款4：根据条款1至3中任一项的计算设备，其中将输入作为数字墨水进行处理包括：将数字墨水转换成文本；识别文本中的命令；以及使计算设备执行命令。
条款5：根据条款1至4中任一项的计算设备，其中将输入作为数字墨水进行处理包括：将数字墨水提供给用于存储便签的默认程序或操作***特征。
条款6：根据条款1至5中任一项的计算设备，其中将输入作为数字墨水进行处理包括：将数字墨水转换成文本；以及将文本提供给用于存储便签的默认程序。
条款7：一种计算设备，包括：处理器；触摸敏感显示设备，提供显示区域；以及存储器，存储由处理器可执行以进行以下的指令：确定触摸输入是否已经在显示区域的虚拟触控板区间内被接收到；响应于确定输入已经在虚拟触控板区间内被接收到，确定触摸输入是否包括触摸手势，该触摸手势始发于显示区域的虚拟触控板区间的边缘外部并且终止于虚拟触控板区间内部；以及响应于检测到触摸手势，在虚拟触控板区间内显示瞬时用户界面(UI)。
条款8：根据条款7的计算设备，其中在瞬时UI被显示在虚拟触控板区间内时，瞬时UI被动画化。
条款9：根据条款7至8中任一项的计算设备，其中瞬时UI具有一个或多个可选择的UI元素，并且其中存储器存储由处理器可执行以进行以下的其他指令：确定选择一个或多个可选择的UI元素中的一个可选择的UI元素的触摸输入是否已经在虚拟触控板区间中被进行；以及响应于选择一个或多个可选择的UI元素中的一个可选择的UI元素的确定触摸输入已经在虚拟触控板区间中被进行，发起与一个或多个可选择的UI元素中的所选择的一个可选择的UI元素对应的命令，以及从虚拟触控板区间中移除对瞬时UI的显示。
条款10：根据条款7至9的计算设备，其中该计算设备包括第二显示区域，并且其中命令的发起使在计算设备上执行的应用或操作***在第二显示区域中显示UI。
条款11：根据条款7至10中任一项的计算设备，其中存储器存储由处理器可执行以进行以下的其他指令：响应于确定输入已经在虚拟触控板区间内被接收到，确定触摸输入是否包括触摸手势，该触摸手势始发于虚拟触控板区间内部并且终止于虚拟触控板区间的边缘外部；以及响应于检测到触摸手势包括触摸手势，从虚拟触控板区间中移除对瞬时UI的显示，该触摸手势始发于虚拟触控板区间内部并且终止于虚拟触控板区间的边缘外部。
条款12：根据条款7至11中任一项的计算设备，其中在从虚拟触控板区间中移除对瞬时UI的显示时，瞬时UI被动画化。
条款13：一种计算设备，包括：处理器；第一显示设备，提供第一显示区域；触摸敏感显示设备，提供第二显示区域；以及存储器，存储由处理器可执行以进行以下的指令：在第二显示区域中显示UI控件，该UI控件在被选择时将发起计算设备上的对应功能；接收第一用户输入手势，该第一用户输入手势始发于第二显示区域的虚拟触控板区间中并且终止于UI控件处；以及响应于接收到第一用户输入手势，在不激活UI控件的情况下在第一显示区域中移动光标。
条款14：根据条款13的计算设备，其中存储器存储由处理器可执行以进行以下的其他指令：接收第二用户输入手势，该第二用户输入手势始发于UI控件内；确定第二用户输入手势是否将要选择UI控件；以及响应于确定第二用户输入手势将不选择UI控件，在不激活UI控件的情况下在第一显示区域中移动光标。
条款15：根据条款13至14中任一项的计算设备，其中确定第二用户输入手势是否将要选择UI控件包括：如果第二用户输入手势包括在预定时间量内不从UI控件抬起的对UI控件的按压，则确定第二用户输入手势将不选择UI控件。
条款16：根据条款13至15中任一项的计算设备，其中存储器存储由处理器可执行以进行以下的其他指令：在第一用户输入手势之后接收第二用户输入手势；以及响应于接收到第二用户输入手势而执行功能，该功能至少部分地基于第一用户输入手势而被选择。
条款17：根据条款13至16中任一项的计算设备，其中存储器存储由处理器可执行以进行以下的其他指令：检测在第二显示区域中物理输入对象的存在；从物理输入对象接收输入；以及基于从物理输入对象接收到的输入来对计算设备执行功能。
条款18：根据条款13至17中任一项的计算设备，其中物理输入对象包括数字拨号盘。
条款19：根据条款13至18中任一项的计算设备，其中功能包括：改变计算设备的设置。
条款20：根据条款13至19中任一项的计算设备，其中设置包括：控制计算设备的体积或亮度中的一者或多者。
基于前述内容，应了解，在本文中已经公开了用于无模式地增强由虚拟触控板提供的功能性的技术。尽管已经利用特定于计算机结构特征、方法和转化式动作、特定计算机器以及计算机可读介质的语言描述了本文中所呈现的主题，但应理解，所附权利要求书中所阐述的主题不一定限于本文中所描述的特定特征、动作或介质。相反，将特定特征、动作以及介质公开为实现所要求的主题的示例形式。
上文所描述的主题仅通过说明的方式提供并且不应被解释为作为限制。可以在不遵循所图示和所描述的示例配置和应用的情况下并且在不脱离在以下权利要求书中所阐述的本公开的范围的情况下对本文中所描述的主题进行各种修改和改变。

Claims (15)

1.一种计算设备，包括：
处理器；
触摸敏感显示设备，提供第一显示区域；以及
存储器，存储由所述处理器可执行以进行以下的指令：
确定输入是否已经在所述第一显示区域的虚拟触控板区间内被接收到；
响应于确定输入已经在所述虚拟触控板区间内被接收到，确定所述输入是否包括触摸输入或从数字笔接收到的输入；
如果在所述虚拟触控板区间内被接收到的所述输入包括触摸输入，则将所述输入作为对虚拟触控板的触摸输入进行处理；以及
如果在所述虚拟触控板区间内被接收到的所述输入包括从数字笔接收到的输入，则将所述输入作为数字墨水进行处理。
2.根据权利要求1所述的计算设备，其中所述计算设备包括第二显示区域，并且其中将所述输入作为数字墨水进行处理包括：
将所述数字墨水转换成文本；以及
将所述文本提供给程序或操作***，以用于在呈现于所述第二显示区域中的用户界面(UI)的栏位内对所述文本的呈现。
3.根据权利要求1所述的计算设备，其中所述计算设备包括第二显示区域，并且其中将所述输入作为数字墨水进行处理包括：将所述数字墨水提供给程序，以用于在呈现于所述第二显示区域中的用户界面(UI)的栏位内对所述数字墨水的呈现。
4.根据权利要求1所述的计算设备，其中将所述输入作为数字墨水进行处理包括：
将所述数字墨水转换成文本；
识别所述文本中的命令；以及
使所述计算设备执行所述命令。
5.根据权利要求1所述的计算设备，其中将所述输入作为数字墨水进行处理包括：将所述数字墨水提供给用于存储便签的默认程序或操作***特征。
6.一种计算设备，包括：
处理器；
触摸敏感显示设备，提供显示区域；以及
存储器，存储由所述处理器可执行以进行以下的指令：
确定触摸输入是否已经在所述显示区域的虚拟触控板区间内被接收到；
响应于确定输入已经在所述虚拟触控板区间内被接收到，确定所述触摸输入是否包括触摸手势，所述触摸手势始发于所述显示区域的所述虚拟触控板区间的边缘外部并且终止于所述虚拟触控板区间内部；以及
响应于检测到所述触摸手势，在所述虚拟触控板区间内显示瞬时用户界面(UI)。
7.根据权利要求6所述的计算设备，其中在所述瞬时UI被显示在所述虚拟触控板区间内时，所述瞬时UI被动画化。
8.根据权利要求6所述的计算设备，其中所述瞬时UI具有一个或多个可选择的UI元素，并且其中所述存储器存储由所述处理器可执行以进行以下的其他指令：
确定选择所述一个或多个可选择的UI元素中的一个可选择的UI元素的触摸输入是否已经在所述虚拟触控板区间中被进行；以及
响应于确定选择所述一个或多个可选择的UI元素中的一个可选择的UI元素的触摸输入已经在所述虚拟触控板区间中被进行，
发起与所述一个或多个可选择的UI元素中的所选择的所述一个可选择的UI元素对应的命令，以及
从所述虚拟触控板区间中移除对所述瞬时UI的所述显示。
9.根据权利要求8所述的计算设备，其中所述计算设备包括第二显示区域，并且其中所述命令的发起使在所述计算设备上执行的应用或操作***在所述第二显示区域中显示UI。
10.根据权利要求6所述的计算设备，其中所述存储器存储由所述处理器可执行以进行以下的其他指令：
响应于确定输入已经在所述虚拟触控板区间内被接收到，确定所述触摸输入是否包括触摸手势，所述触摸手势始发于所述虚拟触控板区间内部并且终止于所述虚拟触控板区间的所述边缘外部；以及
响应于检测到所述触摸手势包括触摸手势，从所述虚拟触控板区间中移除对所述瞬时UI的所述显示，所述触摸手势始发于所述虚拟触控板区间内部并且终止于所述虚拟触控板区间的所述边缘外部。
11.一种计算设备，包括：
处理器；
第一显示设备，提供第一显示区域；
触摸敏感显示设备，提供第二显示区域；以及
存储器，存储由所述处理器可执行以进行以下的指令：
在所述第二显示区域中显示UI控件，所述UI控件在被选择时将发起所述计算设备上的对应功能；
接收第一用户输入手势，所述第一用户输入手势始发于所述第二显示区域的虚拟触控板区间中并且终止于所述UI控件处；以及
响应于接收到所述第一用户输入手势，在不激活所述UI控件的情况下在所述第一显示区域中移动光标。
12.根据权利要求11所述的计算设备，其中所述存储器存储由所述处理器可执行以进行以下的其他指令：
接收第二用户输入手势，所述第二用户输入手势始发于所述UI控件内；
确定所述第二用户输入手势是否将要选择所述UI控件；以及
响应于确定所述第二用户输入手势将不选择所述UI控件，在不激活所述UI控件的情况下在所述第一显示区域中移动所述光标。
13.根据权利要求12所述的计算设备，其中确定所述第二用户输入手势是否将要选择所述UI控件包括：
如果所述第二用户输入手势包括在预定时间量内不从所述UI控件抬起的对所述UI控件的按压，则确定所述第二用户输入手势将不选择所述UI控件。
14.根据权利要求11所述的计算设备，其中所述存储器存储由所述处理器可执行以进行以下的其他指令：
在所述第一用户输入手势之后接收第二用户输入手势；以及
响应于接收到所述第二用户输入手势而执行功能，所述功能至少部分地基于所述第一用户输入手势而被选择。
15.根据权利要求11所述的计算设备，其中所述存储器存储由所述处理器可执行以进行以下的其他指令：
检测在所述第二显示区域中物理输入对象的存在；
从所述物理输入对象接收输入；以及
基于从所述物理输入对象接收到的所述输入来对所述计算设备执行功能。
CN201980079731.0A 2018-12-03 2019-11-25 对多屏幕计算设备上的虚拟触控板的无模式增强 Pending CN113168285A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/207,794 US11137905B2 (en) 2018-12-03 2018-12-03 Modeless augmentations to a virtual trackpad on a multiple screen computing device
US16/207,794 2018-12-03
PCT/US2019/063119 WO2020117534A2 (en) 2018-12-03 2019-11-25 Modeless augmentations to a virtual trackpad on a multiple screen computing device

Publications (1)

Publication Number Publication Date
CN113168285A true CN113168285A (zh) 2021-07-23

Family

ID=68966000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980079731.0A Pending CN113168285A (zh) 2018-12-03 2019-11-25 对多屏幕计算设备上的虚拟触控板的无模式增强

Country Status (3)

Country Link
US (1) US11137905B2 (zh)
CN (1) CN113168285A (zh)
WO (1) WO2020117534A2 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
KR20210038151A (ko) * 2019-09-30 2021-04-07 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10929016B1 (en) 2020-01-28 2021-02-23 Dell Products L.P. Touch calibration at keyboard location
US10990204B1 (en) * 2020-01-28 2021-04-27 Dell Products L.P. Virtual touchpad at keyboard location
US11586296B2 (en) 2020-01-28 2023-02-21 Dell Products L.P. Dynamic keyboard support at support and display surfaces
US10983567B1 (en) 2020-01-28 2021-04-20 Dell Products L.P. Keyboard magnetic guard rails
US10989978B1 (en) 2020-01-28 2021-04-27 Dell Products L.P. Selectively transparent and opaque keyboard bottom
US10983570B1 (en) 2020-01-28 2021-04-20 Dell Products L.P. Keyboard charging from an information handling system
US11812440B2 (en) * 2020-04-03 2023-11-07 Qualcomm Incorporated Bandwidth part operation for single downlink control information multi-cell scheduling
CN111773689A (zh) * 2020-07-02 2020-10-16 Oppo广东移动通信有限公司 游戏切换方法、装置、电子装置及存储介质
CN114217727B (zh) * 2020-09-03 2024-04-16 华硕电脑股份有限公司 电子装置及其触控方法
EP4235394A4 (en) * 2020-11-18 2024-05-01 Samsung Electronics Co., Ltd. VOLUME CONTROL METHOD AND ELECTRONIC DEVICE SUPPORTING SAME
JP2024509722A (ja) 2021-02-08 2024-03-05 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
KR20230144042A (ko) * 2021-02-08 2023-10-13 사이트풀 컴퓨터스 리미티드 생산성을 위한 확장 현실
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11899923B1 (en) 2022-08-31 2024-02-13 Dell Products L.P. Information handling system collaborative touchpad cursor over control icons
US11893960B1 (en) * 2022-08-31 2024-02-06 Dell Products L.P. Information handling system collaborative touchpad display brightness management
US12032759B2 (en) 2022-08-31 2024-07-09 Dell Products L.P. Information handling system collaborative touchpad display hardware device coordination
US11842043B1 (en) 2022-08-31 2023-12-12 Dell Products L.P. Information handling system collaborative touchpad and multizone touch rejection
US11977733B2 (en) 2022-08-31 2024-05-07 Dell Products L.P. Information handling system collaborative touchpad dynamic scaling
US11983399B2 (en) 2022-08-31 2024-05-14 Dell Products L.P. Information handling system collaborative touchpad gesture activation and management

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430620A (zh) * 2007-11-06 2009-05-13 英华达股份有限公司 一种具有多点触控式屏幕的笔记型计算机
US20110273380A1 (en) * 2010-05-07 2011-11-10 Research In Motion Limited Portable electronic device and method of controlling same
US20170285932A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Ink Input for Browser Navigation
CN108476168A (zh) * 2016-05-18 2018-08-31 苹果公司 在图形消息传送用户界面中应用确认选项
US20180335921A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Devices, Methods, and Graphical User Interfaces For Navigating Between User Interfaces and Interacting with Control Objects

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6885361B1 (en) 1987-03-24 2005-04-26 Sun Microsystems, Inc. Tactile feedback mechanism for a data processing system
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
US6029214A (en) 1995-11-03 2000-02-22 Apple Computer, Inc. Input tablet system with user programmable absolute coordinate mode and relative coordinate mode segments
KR100446612B1 (ko) 2001-07-24 2004-09-04 삼성전자주식회사 다차원 공간상에서의 정보 선택 방법 및 장치
US20060071915A1 (en) * 2004-10-05 2006-04-06 Rehm Peter H Portable computer and method for taking notes with sketches and typed text
US20060248478A1 (en) 2005-01-18 2006-11-02 Forrest Liau Sensing input actions
JP4029410B2 (ja) 2006-05-05 2008-01-09 治幸 岩田 指先装着センサによる入力装置
US20110047459A1 (en) 2007-10-08 2011-02-24 Willem Morkel Van Der Westhuizen User interface
DE102008051756A1 (de) 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US9535599B2 (en) 2009-08-18 2017-01-03 Adobe Systems Incorporated Methods and apparatus for image editing using multitouch gestures
US9310994B2 (en) * 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
CN102236455A (zh) 2010-04-29 2011-11-09 宏碁股份有限公司 电子装置与虚拟滑鼠的启动方法
US20110302518A1 (en) 2010-06-07 2011-12-08 Google Inc. Selecting alternate keyboard characters via motion input
US8854318B2 (en) 2010-09-01 2014-10-07 Nokia Corporation Mode switching
WO2012068542A2 (en) * 2010-11-18 2012-05-24 Google Inc. Orthogonal dragging on scroll bars
US20120154295A1 (en) 2010-12-17 2012-06-21 Microsoft Corporation Cooperative use of plural input mechanisms to convey gestures
WO2013067618A1 (en) 2011-11-09 2013-05-16 Research In Motion Limited Touch-sensitive display method and apparatus
WO2015175838A1 (en) 2014-05-15 2015-11-19 Sensoria, Inc. Gloves with sensors for monitoring and analysis of position, pressure and movement
US9223348B2 (en) * 2012-02-03 2015-12-29 Lg Electronics Inc. Split keyboard modification for a pull-out flexible display
US8760425B2 (en) * 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures
US20130249870A1 (en) 2012-03-22 2013-09-26 Motorola Mobility, Inc. Dual mode active stylus for writing both on a capacitive touchscreen and paper
US9098192B2 (en) 2012-05-11 2015-08-04 Perceptive Pixel, Inc. Overscan display device and method of using the same
US20140123049A1 (en) 2012-10-30 2014-05-01 Microsoft Corporation Keyboard with gesture-redundant keys removed
US9141211B2 (en) * 2013-01-09 2015-09-22 Lenovo (Singapore) Pte. Ltd. Touchpad operational mode
KR102094886B1 (ko) 2013-02-28 2020-03-30 엘지전자 주식회사 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법
US20140306897A1 (en) 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Virtual keyboard swipe gestures for cursor movement
US20140337804A1 (en) * 2013-05-10 2014-11-13 Microsoft Corporation Symbol-based digital ink analysis
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US9495620B2 (en) 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
EP3025218B1 (en) * 2013-07-22 2019-06-19 Hewlett-Packard Development Company, L.P. Multi-region touchpad
EP3053006A4 (en) 2013-09-30 2017-05-24 Hewlett-Packard Development Company, L.P. Keyboard and touchpad areas
KR20150054190A (ko) 2013-11-11 2015-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20150153949A1 (en) 2013-12-03 2015-06-04 Google Inc. Task selections associated with text inputs
TWI530862B (zh) 2014-01-08 2016-04-21 宏碁股份有限公司 觸控手套與觸控電子系統及其觸控判斷方法
US10055018B2 (en) 2014-08-22 2018-08-21 Sony Interactive Entertainment Inc. Glove interface object with thumb-index controller
TWI676127B (zh) 2014-09-02 2019-11-01 美商蘋果公司 關於電子郵件使用者介面之方法、系統、電子器件及電腦可讀儲存媒體
US9423908B2 (en) 2014-12-15 2016-08-23 Lenovo (Singapore) Pte. Ltd. Distinguishing between touch gestures and handwriting
CN107209582A (zh) 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
US9529433B2 (en) 2014-12-30 2016-12-27 Stmicroelectronics Pte Ltd Flexible smart glove
US9652038B2 (en) 2015-02-20 2017-05-16 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips
US10055019B2 (en) 2015-05-20 2018-08-21 Sony Interactive Entertainment Inc. Electromagnet-laden glove for haptic pressure feedback
TWI588734B (zh) 2015-05-26 2017-06-21 仁寶電腦工業股份有限公司 電子裝置及其操作方法
US20170109020A1 (en) 2015-08-25 2017-04-20 Maestro Presentation Systems, LLC Interactive presentation system
FR3044764A1 (fr) 2015-12-07 2017-06-09 Pfeiffer Vacuum Dispositif de detection de fuites et module de detection de fuites
US20170177077A1 (en) 2015-12-09 2017-06-22 National Taiwan University Three-dimension interactive system and method for virtual reality
US20170231304A1 (en) 2016-02-12 2017-08-17 Boston Inventions, LLC Touchscreen compatible glove system and method of forming thereof
US10317997B2 (en) 2016-03-11 2019-06-11 Sony Interactive Entertainment Inc. Selection of optimally positioned sensors in a glove interface object
KR102544780B1 (ko) 2016-07-04 2023-06-19 삼성전자주식회사 필기 입력에 따른 사용자 인터페이스 제어 방법 및 이를 구현한 전자 장치
AU2017100879B4 (en) 2016-07-29 2017-09-28 Apple Inc. Systems, devices, and methods for dynamically providing user interface controls at touch-sensitive secondary display
US10101828B2 (en) 2016-08-11 2018-10-16 Microsoft Technology Licensing, Llc Pen wake up on screen detect
CN115268753B (zh) * 2016-09-09 2023-08-22 森赛尔股份有限公司 用于检测和表征触摸传感器上的输入的***
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US11221749B2 (en) * 2016-10-31 2022-01-11 Lenovo (Singapore) Pte. Ltd. Electronic device with touchpad display
EP3340012A1 (en) 2016-12-26 2018-06-27 CaptoGlove International Limited Haptic interaction method, tool and system
US20180260796A1 (en) * 2017-03-09 2018-09-13 Jarom McDonald Tipping for Media Content
US20180356893A1 (en) 2017-06-13 2018-12-13 Tsunami VR, Inc. Systems and methods for virtual training with haptic feedback
US20190005733A1 (en) 2017-06-30 2019-01-03 Paul Alexander Wehner Extended reality controller and visualizer
US10521947B2 (en) 2017-09-29 2019-12-31 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input
US10901462B2 (en) * 2017-10-26 2021-01-26 Samsung Electronics Co., Ltd. System and method for touch input
CN108153450B (zh) 2017-11-20 2021-02-26 羽触（北京）科技有限公司 一种终端设备、基于力感的输入装置及控制方法
US11360558B2 (en) 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430620A (zh) * 2007-11-06 2009-05-13 英华达股份有限公司 一种具有多点触控式屏幕的笔记型计算机
US20110273380A1 (en) * 2010-05-07 2011-11-10 Research In Motion Limited Portable electronic device and method of controlling same
US20170285932A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Ink Input for Browser Navigation
CN108476168A (zh) * 2016-05-18 2018-08-31 苹果公司 在图形消息传送用户界面中应用确认选项
US20180335921A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Devices, Methods, and Graphical User Interfaces For Navigating Between User Interfaces and Interacting with Control Objects

Also Published As

Publication number Publication date
WO2020117534A3 (en) 2020-07-30
US20200174660A1 (en) 2020-06-04
WO2020117534A2 (en) 2020-06-11
US11137905B2 (en) 2021-10-05

Similar Documents

Publication Publication Date Title
US11809702B2 (en) Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11137905B2 (en) Modeless augmentations to a virtual trackpad on a multiple screen computing device
US10387016B2 (en) Method and terminal for displaying a plurality of pages,method and terminal for displaying a plurality of applications being executed on terminal, and method of executing a plurality of applications
US8373673B2 (en) User interface for initiating activities in an electronic device
US8296684B2 (en) Navigating among activities in a computing device
EP3025218B1 (en) Multi-region touchpad
US8760425B2 (en) Method and apparatus for enabling touchpad gestures
US20140258897A1 (en) Card metaphor for activities in a computing device
US9785331B2 (en) One touch scroll and select for a touch screen device
KR102228335B1 (ko) 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법
WO2014134793A1 (en) Apparatus and associated methods
US20220374146A1 (en) Extensions to global keyboard shortcuts for computing devices having multiple display regions
WO2021067048A1 (en) Transitions and optimizations for a foldable computing device operating in a productivity mode
US20210096738A1 (en) Predictive gesture optimizations for moving objects across display boundaries
KR20150098366A (ko) 가상 터치패드 조작방법 및 이를 수행하는 단말기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination