CN104137044A - 用触摸上下文用户界面来进行显示和交互 - Google Patents

用触摸上下文用户界面来进行显示和交互 Download PDF

Info

Publication number
CN104137044A
CN104137044A CN201380006056.1A CN201380006056A CN104137044A CN 104137044 A CN104137044 A CN 104137044A CN 201380006056 A CN201380006056 A CN 201380006056A CN 104137044 A CN104137044 A CN 104137044A
Authority
CN
China
Prior art keywords
touch
demonstration
input
application
shows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380006056.1A
Other languages
English (en)
Inventor
S·C·拉达科维茨
C·D·科温顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN104137044A publication Critical patent/CN104137044A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在用户使用触摸与应用进行交互时，可显示上下文触摸用户界面(UI)元素，该上下文触摸用户界面元素包括对被安置在工具面板上的各部分中的命令的显示，该工具面板表现为浮在该显示的区域之上。这些部分包括C/C/P/D部分、对象专用部分，并可包括上下文触发器/部分和附加UI触发器。该C/C/P/D部分可包括以下中的一个或多个：剪切、复制、粘贴和删除命令。对象专用部分显示涉及与应用的当前用户交互的命令。上下文触发器/部分显示上下文命令，并且替换的触发器部分在被触发时显示包括更多命令的另一UI元件。

Description

用触摸上下文用户界面来进行显示和交互
背景
许多计算设备(例如，智能电话、平板计算机、膝上型计算机、台式机)允许使用触摸输入和基于硬件的输入(例如，鼠标、笔、跟踪球)。对针对基于硬件的输入来设计的应用使用触摸输入可能是有挑战性的。例如，与基于硬件的输入相关联的一些交互可能无法恰当地对触摸输入起作用。
概述
提供本概述是为了以简化的形式介绍将在以下具体实施方式中进一步描述的选择的概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
当用户使用触摸来与应用进行交互时，可显示上下文触摸用户界面(UI)元素，该触摸上下文用户界面元素包括对被安置在工具面板上的各部分中的命令的显示，该工具面板表现为浮在该显示的区域之上。这些部分包括C/C/P/D部分、对象专用部分，并可包括上下文触发器/部分和附加UI触发器。C/C/P/D部分可包括以下中的一个或多个：剪切、复制、粘贴和删除命令。对象专用部分显示涉及与应用的当前用户交互的命令。上下文触发器/部分显示上下文命令，且替换的触发器部分在被触发时显示包括更多命令的另一UI元素。
附图简述
图1解说示例性计算环境；
图2解说用触摸用户界面元素来进行显示和交互的示例性***；
图3示出用触摸上下文用户界面来进行显示和交互的说明性过程；
图4示出在用触摸UI元素进行显示和交互时使用的***架构；
图5-10解说示出触摸用户界面元素的示例性显示；以及
图11解说在确定UI元素的大小时可使用的示例性大小调整表。
详细描述
现将参考其中相同的标号代表相同的元件的附图来描述各实施例。具体地，图1和相应的讨论旨在提供对在其中可实现各实施例的合适计算环境的简要、概括描述。
一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。也可使用其他计算机***配置，包括手持式设备、多处理器***、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等等。还可使用在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备两者中。
现在参考图1，将描述在各个实施例中所利用的计算机100的说明性计算机环境。图1所示的计算机环境包括计算设备，这些计算设备各自可以被配置为移动计算设备(例如，电话、平板计算机、上网本、膝上型计算机)、服务器、台式计算机，或者某一其他类型的计算设备，并且包括中央处理单元5(“CPU”)、包括随机存取存储器9(“RAM”)和只读存储器(“ROM”)10的***存储器7，以及将存储器耦合至中央处理单元(“CPU”)5的***总线12。
在ROM10中存储基本输入/输出***，该***包含有助于诸如在启动期间在计算机内的各元件之间传输信息的基本例程。计算机100还包括大容量存储设备14，该大容量存储设备14用于存储操作***16、应用24(例如，生产力应用、web浏览器等)、程序模块25、以及UI管理器26，这将在下面予以更详细的描述。
大容量存储设备14通过连接至总线12的大容量存储控制器(未示出)连接至CPU5。大容量存储设备14及其相关联的计算机可读介质为计算机100提供非易失性存储。虽然本文中包含的对计算机可读介质的描述涉及诸如硬盘或CD-ROM驱动器等大容量存储设备，但是计算机可读介质可以是能够由计算机100访问的任何可用介质。
作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦可编程只读存储器(“EEPROM”)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(“DVD”)或其他光存储、磁带盒、磁带、磁盘存储或其他磁性存储设备，或能用于存储所需信息且可以由计算机100访问的任何其他介质。
计算机100在使用通过诸如因特网之类的网络18与远程计算机的逻辑连接的联网环境中操作。计算机100可以通过连接至总线12的网络接口单元20来连接到网络18。网络连接可以是无线的和/或有线的。网络接口单元20也可用于连接到其他类型的网络和远程计算机***。计算机100还可包括用于接收和处理来自多个其他设备的输入的输入/输出控制器22，这些设备包括键盘、鼠标、触摸输入设备、或者电子指示笔(未在图1中示出)。类似地，输入/输出控制器22可以为显示屏23、打印机或其他类型的输出设备提供输入/输出。
触摸输入设备可利用允许识别单次/多次触摸输入(触摸/非触摸)的任何技术。例如，技术可包括但不限于：热量、手指压力、高俘获率照相机、红外光、光学捕捉、调谐的电磁感应、超声波接收器、传感麦克风、激光测距仪、阴影捕捉等。根据一个实施例，触摸输入设备可以被配置为检测接近触摸(即在离触摸输入设备的某个距离内，但是与所述触摸输入设备没有物理上接触)。触摸输入设备也可以作为显示器。输入/输出控制器22也可向一个或多个显示屏23、打印机或其他类型的输入/输出设备提供输出。
相机和/或某种其他传感设备可操作来记录一个或多个用户以及由计算设备的用户作出的捕捉运动和/或姿势。传感设备还可操作来捕捉诸如通过话筒口述的单词和/或捕捉来自用户的诸如通过键盘和/或鼠标(未描绘)的其他输入。传感设备可包括能够检测用户的移动的任何运动检测设备。例如，相机可以包括微软运动捕捉设备，它包括多个相机和多个话筒。
可以通过片上***(SOC)来实践本发明的各实施例，其中，可以将附图中解说的每个或许多组件/处理集成到单个集成电路上。这样的SOC设备可包括一个或多个处理单元、图形单元、通信单元、***虚拟化单元以及各种应用功能，所有这些都被集成到(或“烧录”到)芯片基板上作为单个集成电路。当经由SOC运行时，本文所描述的功能中的全部/某些可与计算机设备/***100的其它组件一起集成到单个集成电路(芯片)上。
如前简述的那样，多个程序模块和数据文件可以被存储在计算机100的大容量存储设备14和RAM9内，包括适于控制计算机的操作的操作***16，如华盛顿州雷蒙德市的微软公司的WINDOWSWINDOWS PHONEWINDOWS或WINDOWS操作***。大容量存储设备14和RAM9还可以存储一个或多个程序模块。具体地，大容量存储设备14和RAM9可以存储诸如电子表格应用、文字处理应用和/或其他应用之类的一个或多个应用程序。根据一实施例，包括了MICROSOFT OFFICE应用套件。(诸)应用可以是基于客户机和/或基于web的。例如，可以使用网络服务27，诸如：MICROSOFT WINDOWS LIVE、MICROSOFT OFFICE365或某一其他基于网络的服务。
UI管理器26被配置成显示并执行涉及触摸用户界面(UI)元素的操作，该触摸用户界面(UI)元素包括对被安置在工具面板上的各部分中的命令的显示，该工具面板表现为浮在该显示的区域之上。这些部分包括触摸部分，触摸部分包括C/C/P/D部分以及可包括用于显示上下文命令的触发器和用于显示另一UI元素的触发器的上下文部分。该C/C/P/D部分可包括以下中的一个或多个：剪切、复制、粘贴和删除命令。触摸UI元素还包括对象专用部分，该对象专用部分显示涉及当前用户交互的命令，其中应用在包括触摸输入模式的输入模式和基于硬件的输入模式之间改变。
可自动地和/或手动地进入和退出该输入模式。当进入该触摸输入模式时，用户界面(UI)元素是针对触摸输入来优化的。当退出触摸输入模式时，用户界面(UI)元素是针对基于硬件的输入来优化的。用户可通过手动地选择用户界面元素和/或通过进入触摸输入来进入触摸输入模式。设置可以被配置为指定进入/退出触摸输入模式的条件。例如，触摸输入模式可被配置成在与计算设备解除对接、当处于基于硬件的输入模式时接收触摸输入等之际自动地进入。类似地，触摸输入模式可被配置成在与计算设备对接、在处于触摸输入模式时接收基于硬件的输入等之际自动退出。
所显示的用户界面元素(例如，UI28)是基于输入模式的。例如，用户有时可使用触摸输入与应用24交互，并且在其他情况下可使用基于硬件的输入与该应用交互。响应于将输入模式改变为触摸输入模式，UI管理器26显示针对触摸输入来优化的用户界面元素。例如，触摸UI元素可通过以下来显示：使用配置用于触摸输入的格式化(例如，改变大小、间隔)；使用配置用于触摸输入的布局；显示更多/更少的选项；和改变/移除悬停动作等。当输入模式改变成基于硬件的输入模式时，UI管理器26显示应用的针对基于硬件的输入来优化的UI元素。例如，配置用于基于硬件的输入的格式化可被使用(例如，基于悬停的输入可被使用，文本可被显示的更小)，更多/更少选项被显示，等等。
UI管理器26可如图所示位于应用(例如，生成力应用或某一其他应用)的外部，或者可以是应用的一部分。此外，由UI管理器26提供的所有/一些功能可以位于应用的内部/外部。下面公开了关于UI管理器的更多细节。
图2解说了用触摸用户界面元素来进行显示和交互的示例性***。如图所示，***200包括服务210、UI管理器240、存储245、设备250(例如，台式计算机、平板计算机)和智能电话230。
如图所示，服务210是基于云的和/或基于企业的服务，该服务可被配置成提供生产力服务(例如，微软OFFICE365或用于与项目(如电子数据表、文档、和图表等)交互的某种其他基于云的/在线服务)。由服务210提供的服务/应用中的一个或多个服务/应用的功能也可被配置为基于客户机的应用。例如，客户机设备可包括响应于接收到触摸输入和/或基于硬件的输入而执行操作的应用。尽管***200示出了生产力服务，但其它服务/应用也可被配置成选择项目。如图所示，服务210是向任何数目的承租者(例如，承租者1-N)提供资源215和服务的多承租者服务。根据一实施例，多承租者服务210是基于云的服务，其将资源/服务215提供给订阅该服务的承租者，以及与其他承租者数据分开地维护每个承租者的数据并保护每个承租者的数据。
所解说的***200包括检测触摸输入何时已被接收到(如手指触摸或几乎触摸到触摸屏)的触摸屏输入设备/智能电话230以及可支持触摸输入和/或基于硬件的输入的设备250(诸如，鼠标、和键盘等)。如图所示，设备250是包括触摸屏的计算设备，该触摸屏可附连到键盘252、鼠标254和/或其他基于硬件的输入设备/从其拆卸。
可利用检测用户的触摸输入的任何类型的触摸屏。例如，触摸屏可包括一层或多层检测触摸输入的电容性材料。除了电容性材料之外或代替电容性材料，可使用其他传感器。例如，可使用红外(IR)传感器。根据一实施例，触摸屏被配置成检测与可触摸的表面接触或位于可触摸的表面上方的物体。尽管在本说明书中使用术语“上方”，应理解，触摸面板***的定向是不相关的。术语“上方”旨在可适用于所有这样的定向。触摸屏可被配置成确定接收到触摸输入的位置(如起点、中间点和终点)。可通过任何合适的手段，包括如耦合到触摸面板的振动传感器或话筒，来检测可触摸的表面和物体之间的实际接触。用于检测接触的传感器的示例的非穷尽列表包括：基于压力的机构、微机械加速计、压电器件、电容传感器、电阻传感器、感应传感器、激光振动计和LED振动计。
内容(例如，文档、文件、UI定义……)可被存储在设备(例如，智能电话230、设备250)上和/或某一其他位置(如网络存储245)处。
如图所示，触摸屏输入设备/智能电话230示出了触摸UI元素的示例性显示232，该显示包括C/C/P/D部分、对象专用部分和上下文部分。该触摸UI元素被配置用于触摸输入。设备250示出了对所选对象241的显示，在该显示中，触摸UI元素包括C/C/P/D部分242、涉及与对象241进行交互的对象专用部分243、以及当被选择时显示可触摸选择选项的菜单的上下文部分244。
UI管理器240被配置成基于输入模式被设置为触摸输入还是该输入模式被设置成基于硬件的输入模式而显示应用的被不同配置的用户界面元素。
如设备250上所解说的，用户可以在对接模式和解除对接模式之间切换。例如，当处于对接模式时，可使用基于硬件的输入来与设备250进行交互，因为键盘252和鼠标254被耦合到计算设备250。当处于解除对接模式时，可使用触摸输入来与设备250进行交互。当设备250处于对接模式时，用户还可在触摸输入模式和基于硬件的模式之间切换。
以下是用于解说目的的示例，其并不旨在进行限制。假设用户具有平板计算设备(例如，设备250)。当在其桌子上办公时，用户一般使用鼠标254和键盘252，并使计算设备250保持被对接。用户可能偶尔伸展以触摸监视器来滚动或调整所显示的项目，但是在设备250被对接时大多数输入是使用鼠标和键盘的基于硬件的输入。UI管理器240被配置为确定输入模式(触摸/硬件)，并在用户正以触摸模式进行交互时显示针对触摸的UI元素(例如，232、245)，以及在用户正使用基于硬件的输入模式进行交互时显示针对基于硬件的输入的UI元素。UI管理器240可以是用户正与其进行交互的应用的一部分和/或与该应用分开。
可以自动/手动地切换该输入模式。例如，用户可以选择进入/退出触摸模式的UI元素(例如，UI240)。当用户进入触摸模式时，UI管理器240显示针对触摸输入来优化的UI元素。该输入模式可响应于检测到的输入的类型而被自动地切换。例如，UI管理器240可在接收到触摸输入(例如，用户的手指、手)时从基于硬件的输入模式切换到触摸输入模式，并可在接收到基于硬件的输入(诸如，鼠标输入、对接事件)时从触摸输入模数切换到基于硬件的输入模式。根据一实施例，UI管理器240忽略键盘输入，并且响应于接收到键盘输入不会将输入模式从触摸输入模式改变成基于硬件的输入模式。根据另一实施例，UI管理器240响应于接收到键盘输入而将输入模式从触摸输入模式改变成基于硬件的输入模式。用户可禁用对模式的自动切换。例如，用户可以选择用于启用/禁用对输入模式的自动切换的UI元素。
当用户与计算设备解除对接时，UI管理器可自动地将该计算设备切换到触摸输入模式，因为设备250不再与键盘和鼠标对接。响应于将输入模式切换为触摸，UI管理器240显示应用的被调整成接收该触摸输入的UI元素。例如，将菜单(例如，功能区)、和图标等的大小调整为与使用基于硬件的输入时相比更大，使得这些UI元素更可触摸(例如，可以更容易地被选择)。UI元素可被显示为具有更多的间隔，菜单中的选项可使其样式被改变，并且一些应用可调整触摸UI元素的布局。在当前示例中，可以看出在使用基于硬件的输入(显示262)时所显示的菜单项与基于触摸的UI元素232相比被大小调整得更小并且被水平安置，而基于触摸的UI元素232被大小调整得更大并且间隔得更远。与在使用基于硬件的输入接收到输入时相比，当处于触摸模式时还在图标之后显示附加信息(例如232)。例如，当处于基于硬件的输入模式时，悬停在图标之上可显示提供关于当前在悬停在其上的UI元素的附加信息的“工具提示”。当处于触摸模式时，与对图标的显示一起显示“工具提示”(例如，“保持源格式化”、“合并格式化”和“仅值”)。
在重新对接设备240后，用户可以手动地关闭触摸输入模式和/或触摸输入模式可被自动地切换到基于硬件的输入模式。
根据一实施例，UI元素响应于用户的最后输入方法而改变。最后输入类型标志可用于存储接收到的最后输入。该输入可以是触摸输入或基于硬件的输入。例如，触摸输入可以是用户的(诸)手指或(诸)手，且基于硬件的输入是用于输入的硬件设备，诸如鼠标、跟踪球、和笔等。根据一实施例，笔被认为是触摸输入，而非基于硬件的输入(作为默认配置)。当用户点击鼠标时，最后输入类型标志被设为“硬件”，并且当用户轻叩手指时，最后输入类型标志被设为“触摸”。当应用正在运行时，不同的UI片段在其得到触发时基于该最后输入类型标志的值进行调整。最后输入类型标志的值还可被一个或多个不同的应用查询。(诸)应用可使用该信息来确定何时显示配置用于触摸的UI元素以及何时显示配置用于基于硬件的输入的UI元素。
在当前示例中，触摸UI元素245是配置用于触摸输入的UI元素(例如，与配置用于硬件输入的UI元素有不同的间隔/大小/选项)。该UI元素表现为“浮”在显示的区域(例如，对象24的部分)之上。该UI元素一般被显示在当前用户交互附近。
图3示出用触摸上下文用户界面来进行显示和交互的说明性过程。在阅读本文中给出的例程的讨论时，应该理解，各个实施例的逻辑操作被实现为：(1)一系列运行于计算***上的计算机实现的动作或程序模块；和/或(2)计算***内的互连的机器逻辑电路或电路模块。这种实现是取决于实现本发明的计算***的性能需求的选择问题。因此，所例示并构成本文中描述的实施例的逻辑操作被不同地称为操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可以用软件、固件、专用数字逻辑，以及其任何组合来实现。虽然操作是以特定次序示出，但是操作的次序可改变且以其他次序来执行。
在开始操作之后，过程300移至操作310，在操作310处用户访问应用。该应用可以是操作环境、基于客户机的应用、基于web的应用、使用客户机功能和/或基于网络的功能两者的混合应用。该应用可包括可使用触摸输入和基于硬件的输入来访问的任何功能。
移至操作320，显示触摸UI元素。根据一实施例，触摸UI元素包括与和应用的当前用户交互相关联的上下文命令。例如，用户可选择对象(例如，图片、(诸)文字、日历项……)，并且响应于该选择，用于与该对象进行交互的相关选项被显示在该触摸UI元素内。
该触摸UI元素包括：C/C/P/D部分，该部分显示涉及剪切、复制、粘贴和删除操作的命令，对象专用部分，该部分显示涉及与应用的当前用户交互的命令；并且该触摸UI元素可包括：上下文触发器，该触发器响应于触摸输入而显示上下文命令；以及附加的UI触发器，该触发器在被触发时显示不同的UI元素，该不同的UI元素包括与该用户交互有关的更多命令。
该触摸UI元素被配置成接收触摸输入，但可接收触摸输入和/或基于硬件的输入。例如，触摸输入可以是用户的(诸)手指或(诸)手。根据一实施例，触摸输入可被定义成包括一个或多个硬件输入设备，诸如笔。该输入也可以是对用于改变输入模式和/或启用/禁用模式的自动切换的UI元素的选择。
转变到操作330，显示该触摸UI元素的C/C/P/D部分，该部分显示涉及剪切、复制、粘贴和删除操作的命令。根据一实施例，C/C/P/D部分被显示在该UI元素的开始处。然而，C/C/P/D部分可被显示在该UI元素内的其他位置处(例如，中间、结尾、倒数第二行等处)。显示涉及剪切、复制、粘贴和删除的一条或多条命令。例如，可显示粘贴命令、剪切命令和复制命令。可显示复制命令和删除命令。可显示粘贴命令、剪切命令、复制命令和删除命令。可显示剪切命令和复制命令。可显示粘贴命令。可显示删除命令。还可显示其他组合。根据一实施例，被显示在C/C/P/D部分中的这些命令是基于当前选择(例如，文本、单元、对象……)来确定的。
流至操作340，在触摸UI元素中显示对象专用部分中的命令。被显示在对象专用部分中的命令依据当前应用和上下文来确定。可用不同的方式来安置这些对象专用命令。例如，这些命令可被显示在一行或两行中。一般来说，被显示在对象专用部分中的命令是可用命令的小的子集(例如，1-4条或更多条)。
移至操作350，在UI元素内显示上下文部分/触发器。一些应用可直接在UI元素中显示上下文命令的一部分。其他应用可显示在被选择时显示相关的上下文命令的触发器。根据一实施例，上下文选择/触发器在右击菜单(例如，上下文菜单)与基于硬件的输入UI元素相关联时被显示。根据一实施例，已经被显示在触摸UI元素上的任何上下文命令在被触发时不被显示在上下文菜单中。
转至操作360，可显示针对附加UI元素的触发器。例如，该触发器可调用显示用于与该应用进行交互的主UI的功能区UI。根据一实施例，附加UI被显示在该显示的顶部附近。附加UI可被显示在其他位置处(例如，侧面、底部、用户确定的位置处)。选择附加UI触发器可导致该触摸UI元素被隐藏和/或保持可见。例如，在该触发器上轻叩可隐藏该触摸UI元素，并且示出由该应用指定的功能区选项卡。当该功能区选项卡已经被显示时，在该触发器上轻叩显示表明该功能区选项卡已经被显示的指示符。根据一实施例，该附加UI触发器被显示在该触摸UI元素右方的较远处。
流至操作370，用户可与该触摸UI元素交互。响应于一选择，相关联的命令被执行。根据一实施例，当进入基于硬件的输入模式时，将上下文触发器和C/C/P/D部分从触摸UI元素的显示中移除，并针对基于硬件的输入来优化触摸UI元素。
随后该过程行进至结束框，并返回以处理其他动作。
图4示出了如本文中所描述的在用触摸UI元素来进行显示和交互时使用的***架构。由应用(例如，应用1020)和UI管理器26使用和显示的内容可被存储在不同的位置。例如，应用1020可使用目录服务1022、web门户1024、邮箱服务1026、即时消息收发存储1028和社交网站1030来使用/存储数据。应用1020可使用这些类型的***等中的任一个。服务器1032可用于访问源以及准备和显示电子项目。例如，服务器1032可访问应用1020的UI元素，以在客户机(例如，浏览器或某一其他窗口)处显示。作为一个示例，服务器1032可以是被配置成提供生产力服务(例如，文字处理、电子表格、呈现……)的web服务器。服务器1032可通过网络1008使用web来与客户机进行交互。服务器1032还可以包括应用程序。可与服务器1032和应用进行交互的客户机的示例包括计算设备1002，该计算设备1002可包括任何通用个人计算机、平板计算设备1004和/或可包括智能电话的移动计算设备1006。这些设备中的任一个可从存储1016获得内容。
图5-10解说了示出触摸用户界面元素的示例性显示。图5-10用于示例性目的，而不旨在进行限制。
图5解说了呈现被安置在工具面板上的各部分中的命令的触摸UI元素，该工具面板表现为浮在当前用户交互附近的显示的区域之上。
显示510示出触摸UI元素的示例性部分，这些示例性部分包括：C/C/P/D部分502，该C/C/P/D部分502显示涉及剪切、复制、粘贴和删除操作的命令；对象专用部分504，该对象专用部分504显示涉及与应用的当前用户交互的命令；上下文触发器506，该上下文触发器506响应于触摸输入而显示上下文命令；以及，附加UI触发器508，该附加UI触发器508在被触发时显示不同的UI元素，该不同的UI元素包括与被显示在触摸UI元素510上的用户交互有关的更多命令。
显示520示出包括对C/C/P/D部分、对象专用部分和上下文触发器的显示但不包括对附加UI触发器的显示的触摸UI元素。
显示530示出包括对被安置在对象专用部分内的两行中的操作的显示的触摸UI元素的示例。显示530还示出配置用于触摸的UI元素的示例性间隔(例如，大小为38像素，且间隔为8像素)。可使用配置用于触摸的其他间隔/大小。
显示540示出包括对C/C/P/D部分、对象专用部分和包括上下文触发器544和附加UI触发器542的部分的显示的触摸UI元素。上下文触发器544在被触发时显示包括上下文命令的上下文菜单。不同的UI元素542在被触发时显示包括与被显示在触摸UI元素540上的用户交互有关的更多命令的不同的UI元素。根据一实施例，触发不同的UI元素542显示功能区用户界面元素的与对象相关的选项卡。例如，如果触发UI元素540是响应于触摸图片而显示的，则触发不同的UI元素542显示涉及与图片进行交互的更多选项(例如，亮度、对比度、重新着色、压缩、阴影效果、位置、和修剪等)。
图6示出用于与对象进行交互并显示触摸UI元素的示例。
显示610示出选择图片对象。
显示620示出响应于轻叩已经选择的对象610而显示触摸UI元素620。响应于接收到轻叩，示出包括配置用于触摸输入的不同部分的UI元素620。根据另一实施例，可以在对该对象的最初选择时示出触摸UI元素620。
显示630示出触发该触摸UI元素的上下文触发器。上下文命令可通过轻叩该触发器和/或通过按压并保持某位置达预定时间段来触发。
图7解说了供与不同应用一起使用的示例性触摸UI元素。
显示710-716示出供与不同应用(诸如，文字处理和电子表格应用)一起使用的不同触摸UI元素。
图8示出供与不同应用一起使用的示例性触摸UI元素。
显示810-813示出供与不同应用(诸如，记笔记和图形应用)一起使用的不同触摸UI元素。
图9解说了供与不同应用一起使用的示例性触摸UI元素。
显示910-914示出供与不同应用(诸如，项目应用)一起使用的不同触摸UI元素。
图10示出大小调整为用于基于硬件的输入的UI元素和大小调整为用于触摸输入的UI元素。
基于硬件的输入的UI元素(例如，1060、1070)与相应的触摸输入UI元素(例如，1065、1075)相比被显示得更小。
显示1080示出对基于触摸的UI元素1075的选择。菜单选项的间隔是显示1080与相应的基于硬件的输入菜单相比更远离。
图11解说在确定UI元素的大小时可使用的示例性大小调整表。
表1100示出用于设置被配置用于触摸的UI元素的大小的示例性选择。根据一实施例，选择9mm的目标大小，其中最小大小为6.5mm。可以选择其他目标大小。
以上说明、示例和数据提供了对本发明的组成部分的制造和使用的全面描述。因为可以在不背离本发明的精神和范围的情况下做出本发明的许多实施例，所以本发明落在所附权利要求的范围内。

Claims (10)

1.一种用于显示触摸上下文用户界面(UI)的方法，包括： 
显示触摸UI元素，该触摸UI元素呈现被安置在工具面板的部分中的命令，所述工具面板表现为浮在该显示的区域之上，其中所述部分包括：C/C/P/D部分，该C/C/P/D部分显示涉及剪切、复制、粘贴和删除操作的命令；对象专用部分，该对象专用部分显示涉及与应用的当前用户交互的命令；以及上下文触发器，该上下文触发器响应于触摸输入显示上下文命令； 
接收选择被显示在所述触摸UI元素上的操作的触摸输入；以及 
执行所述操作。 
2.如权利要求1所述的方法，其特征在于，所述C/C/P/D部分包括对剪切命令、复制命令和粘贴命令的显示。 
3.如权利要求2所述的方法，其特征在于，所述C/C/P/D部分包括对删除命令的显示。 
4.如权利要求2所述的方法，其特征在于，所述对象专用部分包括对由应用定义的涉及所述当前用户交互的命令的显示。 
5.如权利要求1所述的方法，其特征在于，进一步包括显示附加UI选项，以在不同的位置处示出与所述触摸UI元素不同的UI元素，该不同的UI元素显示涉及所述当前用户交互的更多命令。 
6.如权利要求1所述的方法，其特征在于，进一步包括隐藏对所述UI元素的显示，并响应于对所述附加UI选项的选择而显示由所述应用指定的所述不同的UI元素。 
7.一种存储有用于显示触摸上下文用户界面(UI)的计算机可执行指令的计算机可读介质，包括： 
响应于与文档的交互显示触摸UI元素，该触摸UI元素呈现被安置在工具面板的部分中的命令，该工具面板表现为浮在所述显示的区域之上，其中所述部分包括：C/C/P/D部分，该C/C/P/D部分显示涉及剪切、复制、粘贴和删除操作的一个或多个命令；对象专用部分，该对象专用部分显示涉及与应用的当前用户交互的命令；以及上下文触发器，该上下文触发器在被触发时显示上下 文命令； 
接收选择被显示在所述触摸UI元素上的操作的触摸输入；以及 
执行所述操作。 
8.一种用于显示触摸上下文用户界面(UI)的***，包括： 
被配置成接收触摸输入的显示器； 
处理器和存储器； 
使用所述处理器来执行的操作环境； 
应用，包括；以及 
结合所述应用来操作的UI管理器，所述UI管理器被配置成执行以下动作，包括： 
响应于与文档的交互显示触摸UI元素，该触摸UI元素呈现被安置在工具面板的部分中的命令，该工具面板表现为浮在所述显示的区域之上，其中所述部分包括：C/C/P/D部分，该C/C/P/D部分显示涉及剪切、复制、粘贴和删除操作的一个或多个命令；对象专用部分，该对象专用部分显示涉及与应用的当前用户交互的命令；上下文触发器，该上下文触发器在被触发时显示上下文命令；以及附加UI触发器，该附加UI触发器在对所述文档的显示的顶部示出不同的UI元素，该不同的UI元素显示涉及与所述应用的所述当前用户交互的更多命令； 
接收选择被显示在所述触摸UI元素上的操作的触摸输入；以及 
执行所述操作。 
9.如权利要求8所述的***，其特征在于，进一步包括隐藏对所述UI元素的显示，并响应于对所述附加UI选项的选择而显示由所述应用指定的所述不同的UI元素。 
10.如权利要求8所述的***，其特征在于，响应于输入模式从触摸输入模式切换到基于硬件的输入模式而用配置用于基于硬件的输入的UI元素来替代所述触摸UI元素，并且在所述输入模式为基于硬件的输入模式时，移除对所述C/C/P/D部分以及所述上下文触发器的显示。 
CN201380006056.1A 2012-01-20 2013-01-17 用触摸上下文用户界面来进行显示和交互 Pending CN104137044A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/355,193 US20130191781A1 (en) 2012-01-20 2012-01-20 Displaying and interacting with touch contextual user interface
US13/355,193 2012-01-20
PCT/US2013/021791 WO2013109661A1 (en) 2012-01-20 2013-01-17 Displaying and interacting with touch contextual user interface

Publications (1)

Publication Number Publication Date
CN104137044A true CN104137044A (zh) 2014-11-05

Family

ID=48798296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380006056.1A Pending CN104137044A (zh) 2012-01-20 2013-01-17 用触摸上下文用户界面来进行显示和交互

Country Status (4)

Country Link
US (2) US20130191781A1 (zh)
EP (1) EP2805225A4 (zh)
CN (1) CN104137044A (zh)
WO (1) WO2013109661A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885505A (zh) * 2016-03-28 2018-11-23 微软技术许可有限责任公司 具有交互式内容元素的直观文档导航

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928562B2 (en) 2012-01-20 2018-03-27 Microsoft Technology Licensing, Llc Touch mode and input type recognition
US8823667B1 (en) 2012-05-23 2014-09-02 Amazon Technologies, Inc. Touch target optimization system
US9116604B2 (en) * 2012-10-25 2015-08-25 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Multi-device visual correlation interaction
US20140118310A1 (en) * 2012-10-26 2014-05-01 Livescribe Inc. Digital Cursor Display Linked to a Smart Pen
JP5875510B2 (ja) * 2012-12-10 2016-03-02 株式会社ソニー・コンピュータエンタテインメント 電子機器、メニュー表示方法
USD750129S1 (en) * 2013-01-09 2016-02-23 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US9792014B2 (en) 2013-03-15 2017-10-17 Microsoft Technology Licensing, Llc In-place contextual menu for handling actions for a listing of items
US9477393B2 (en) 2013-06-09 2016-10-25 Apple Inc. Device, method, and graphical user interface for displaying application status information
US9507520B2 (en) * 2013-12-16 2016-11-29 Microsoft Technology Licensing, Llc Touch-based reorganization of page element
US9329761B2 (en) 2014-04-01 2016-05-03 Microsoft Technology Licensing, Llc Command user interface for displaying and scaling selectable controls and commands
US11188209B2 (en) 2014-04-02 2021-11-30 Microsoft Technology Licensing, Llc Progressive functionality access for content insertion and modification
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US20150363048A1 (en) * 2014-06-14 2015-12-17 Siemens Product Lifecycle Management Software Inc. System and method for touch ribbon interaction
US10108320B2 (en) * 2014-10-08 2018-10-23 Microsoft Technology Licensing, Llc Multiple stage shy user interface
US10949075B2 (en) 2014-11-06 2021-03-16 Microsoft Technology Licensing, Llc Application command control for small screen display
US20160132301A1 (en) * 2014-11-06 2016-05-12 Microsoft Technology Licensing, Llc Programmatic user interface generation based on display size
US10048856B2 (en) 2014-12-30 2018-08-14 Microsoft Technology Licensing, Llc Configuring a user interface based on an experience mode transition
US10514826B2 (en) * 2016-02-08 2019-12-24 Microsoft Technology Licensing, Llc Contextual command bar
KR102542204B1 (ko) * 2016-06-22 2023-06-13 삼성디스플레이 주식회사 거치대 및 이를 포함하는 표시 장치
US10474356B2 (en) 2016-08-04 2019-11-12 International Business Machines Corporation Virtual keyboard improvement
US10963625B1 (en) * 2016-10-07 2021-03-30 Wells Fargo Bank, N.A. Multilayered electronic content management system
US10248652B1 (en) 2016-12-09 2019-04-02 Google Llc Visual writing aid tool for a mobile writing device
JP6914728B2 (ja) * 2017-05-26 2021-08-04 キヤノン株式会社 通信装置、通信方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848081A (zh) * 2000-04-14 2006-10-18 皮克塞(研究)有限公司 用于操作和查看数字文档的用户界面***和方法
US7581194B2 (en) * 2002-07-30 2009-08-25 Microsoft Corporation Enhanced on-object context menus
CN101527745A (zh) * 2008-03-07 2009-09-09 三星电子株式会社 用于具有触摸屏的移动终端的用户界面方法和设备
CN101573969A (zh) * 2006-09-13 2009-11-04 萨万特***有限责任公司 可编程多媒体控制器的编程环境和元数据管理

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493006B1 (en) * 1996-05-10 2002-12-10 Apple Computer, Inc. Graphical user interface having contextual menus
JP2000231432A (ja) * 1999-02-12 2000-08-22 Fujitsu Ltd コンピュータシステム
SE0202664L (sv) * 2002-09-09 2003-11-04 Zenterio Ab Grafiskt användargränssnitt för navigering och selektion från olika valbara alternativ presenterade på en bildskärm
US7158123B2 (en) * 2003-01-31 2007-01-02 Xerox Corporation Secondary touch contextual sub-menu navigation for touch screen interface
US7210107B2 (en) * 2003-06-27 2007-04-24 Microsoft Corporation Menus whose geometry is bounded by two radii and an arc
US7418670B2 (en) * 2003-10-03 2008-08-26 Microsoft Corporation Hierarchical in-place menus
US7895531B2 (en) * 2004-08-16 2011-02-22 Microsoft Corporation Floating command object
US7703036B2 (en) * 2004-08-16 2010-04-20 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
US7856602B2 (en) * 2005-04-20 2010-12-21 Apple Inc. Updatable menu items
US20070192714A1 (en) * 2006-02-13 2007-08-16 Research In Motion Limited Method and arrangement for providing a primary actions menu on a handheld communication device having a reduced alphabetic keyboard
US20070238489A1 (en) * 2006-03-31 2007-10-11 Research In Motion Limited Edit menu for a mobile communication device
US7966558B2 (en) * 2006-06-15 2011-06-21 Microsoft Corporation Snipping tool
US20080163121A1 (en) * 2006-12-29 2008-07-03 Research In Motion Limited Method and arrangement for designating a menu item on a handheld electronic device
US8667418B2 (en) * 2007-06-08 2014-03-04 Apple Inc. Object stack
US9086785B2 (en) * 2007-06-08 2015-07-21 Apple Inc. Visualization object receptacle
US8201096B2 (en) * 2007-06-09 2012-06-12 Apple Inc. Browsing or searching user interfaces and other aspects
US8645863B2 (en) * 2007-06-29 2014-02-04 Microsoft Corporation Menus with translucency and live preview
US8869065B2 (en) * 2007-06-29 2014-10-21 Microsoft Corporation Segment ring menu
US20100107067A1 (en) * 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
US20100251112A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Bimodal touch sensitive digital notebook
US8881013B2 (en) * 2009-04-30 2014-11-04 Apple Inc. Tool for tracking versions of media sections in a composite presentation
US8418079B2 (en) * 2009-09-01 2013-04-09 James J. Nicholas, III System and method for cursor-based application management
US9262063B2 (en) * 2009-09-02 2016-02-16 Amazon Technologies, Inc. Touch-screen user interface
US20110173533A1 (en) * 2010-01-09 2011-07-14 Au Optronics Corp. Touch Operation Method and Operation Method of Electronic Device
US20110202879A1 (en) * 2010-02-15 2011-08-18 Research In Motion Limited Graphical context short menu
US8631350B2 (en) * 2010-04-23 2014-01-14 Blackberry Limited Graphical context short menu
EP2663915A4 (en) * 2011-01-12 2015-06-24 Smart Technologies Ulc PROCESS FOR SUPPORTING MULTIPLE MENUS AND INTERACTIVE ENTRY SYSTEM THEREWITH
US9645986B2 (en) * 2011-02-24 2017-05-09 Google Inc. Method, medium, and system for creating an electronic book with an umbrella policy
US20130019175A1 (en) * 2011-07-14 2013-01-17 Microsoft Corporation Submenus for context based menu system
US9582187B2 (en) * 2011-07-14 2017-02-28 Microsoft Technology Licensing, Llc Dynamic context based menus
US8707211B2 (en) * 2011-10-21 2014-04-22 Hewlett-Packard Development Company, L.P. Radial graphical user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848081A (zh) * 2000-04-14 2006-10-18 皮克塞(研究)有限公司 用于操作和查看数字文档的用户界面***和方法
US7581194B2 (en) * 2002-07-30 2009-08-25 Microsoft Corporation Enhanced on-object context menus
CN101573969A (zh) * 2006-09-13 2009-11-04 萨万特***有限责任公司 可编程多媒体控制器的编程环境和元数据管理
CN101527745A (zh) * 2008-03-07 2009-09-09 三星电子株式会社 用于具有触摸屏的移动终端的用户界面方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885505A (zh) * 2016-03-28 2018-11-23 微软技术许可有限责任公司 具有交互式内容元素的直观文档导航
CN108885505B (zh) * 2016-03-28 2021-09-28 微软技术许可有限责任公司 具有交互式内容元素的直观文档导航

Also Published As

Publication number Publication date
WO2013109661A1 (en) 2013-07-25
EP2805225A1 (en) 2014-11-26
US20140304648A1 (en) 2014-10-09
US20130191781A1 (en) 2013-07-25
EP2805225A4 (en) 2015-09-09

Similar Documents

Publication Publication Date Title
CN104137044A (zh) 用触摸上下文用户界面来进行显示和交互
US11675476B2 (en) User interfaces for widgets
KR102642883B1 (ko) 터치 감응형 디스플레이를 갖는 전자 디바이스 상에 동시에 디스플레이되는 다수의 애플리케이션들과 상호작용하기 위한 시스템들 및 방법들
US20220121349A1 (en) Device, Method, and Graphical User Interface for Managing Content Items and Associated Metadata
JP6570583B2 (ja) フォルダを管理するためのデバイス、方法及びグラフィカル・ユーザインタフェース
CN111339032B (zh) 管理具有多页面的文件夹的设备、方法和图形用户界面
KR102090269B1 (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
US9612732B2 (en) Content transfer to non-running targets
US10489008B2 (en) Device and method of displaying windows by using work group
AU2014312481B2 (en) Display apparatus, portable device and screen display methods thereof
CN107402906B (zh) 基于网格的应用中的动态内容布局
CN105144069A (zh) 对于显示内容的基于语义缩放的导航
US20130198653A1 (en) Method of displaying input during a collaboration session and interactive board employing same
CN104067211A (zh) 使用直接操纵进行自信的项目选择
US20130191779A1 (en) Display of user interface elements based on touch or hardware input
CN102930191A (zh) 用于受限显示设备的基于角色的用户界面
CN104737112A (zh) 文档中基于缩略图和文档图的导航
CN105474163A (zh) 自然快速功能手势
WO2013109662A1 (en) Touch mode and input type recognition
JP6178421B2 (ja) コンテンツ選択および拡張コンテンツ選択のためのユーザインタフェース
CN102929491A (zh) 跨窗口动画
CN106033301B (zh) 应用程序桌面管理方法及触屏终端
US10613732B2 (en) Selecting content items in a user interface display
US20140354559A1 (en) Electronic device and processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141105

WD01 Invention patent application deemed withdrawn after publication