CN102609188B - 基于***点的用户界面交互行为 - Google Patents

基于***点的用户界面交互行为 Download PDF

Info

Publication number
CN102609188B
CN102609188B CN201210008586.7A CN201210008586A CN102609188B CN 102609188 B CN102609188 B CN 102609188B CN 201210008586 A CN201210008586 A CN 201210008586A CN 102609188 B CN102609188 B CN 102609188B
Authority
CN
China
Prior art keywords
user
insertion point
input
page
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210008586.7A
Other languages
English (en)
Other versions
CN102609188A (zh
Inventor
M·利斯
C·马泰-欧文斯
徐倩华
T·霍普伍德
J·贝斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102609188A publication Critical patent/CN102609188A/zh
Application granted granted Critical
Publication of CN102609188B publication Critical patent/CN102609188B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本发明涉及基于***点的用户界面交互行为。基于***点,提供对文档用户界面行为的自动操纵。在将***点放置在已显示的文档内后,基于用户接下来的动作来调整用户界面的行为。如果用户在***点附近开始拖拽动作,则使他/她能够与文档的内容(例如,选择文本的一部分或对象)进行交互。另一方面,如果用户在远离***点的位置开始拖拽动作,则使他/她能够与页面交互(例如,平扫)。由此,交互行为被自动地调整而无需用户的附加动作或对用户动作的限制。

Description

基于***点的用户界面交互行为
技术领域
本发明涉及用户界面交互行为,尤其是基于***点的用户界面交互行为。
背景技术
通常采用光标和多个控制元件通过用户界面来操纵基于文本和对象的文档。用户可通过在通过光标的放置指示文档上的选择之前或之后激活一个或多个控制元件来与该文档进行交互。例如,文本的一部分或对象可被选择,随后用于该选择的编辑、复制等的控制元件被激活。随后使得用户能够执行与被激活的控制元件相关联的动作。
基于用户的动作,使用户能够与文档交互的用户界面的行为通常是受限的。例如,若是水平的拖拽动作,则该拖拽动作可以使用户能够选择文本的一部分或者一个或多个对象,而垂直(或其他)方向上的相同动作可以使用户能够平扫当前页面。在其他示例中,特定的控制元件可能必须被激活以在文本选择和页面平扫模式之间切换。由于平扫和选择姿势之间的冲突,使用带有普通用户界面的触摸设备的沉重的文本编辑任务可能会特别的困难。
发明内容
提供本发明内容以便以简化的形式介绍将在以下的具体实施例中进一步描述的一些概念。本发明内容并不旨在专门标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
各实施例涉及基于***点的对文档用户界面行为的操纵。根据某些实施例,在将***点放置在已显示的文档内后,可以基于用户随后的动作来调整用户界面的行为。如果用户在***点附近开始拖拽动作,则可以使他/她能够与文档的内容(例如,选择文本的一部分或对象)进行交互。如果用户在远离***点的位置开始拖拽动作,则可以使他/她能够与页面交互(例如,平扫)。由此,交互行为被自动地调整而无需用户的附加动作或对用户动作的限制。
通过阅读下面的详细描述并参考相关联的附图,这些及其它特点和优点将变得显而易见。可以理解,前述一般描述和以下的详细描述都是说明性的,并且不限制所要求保护的各方面。
附图说明
图1示出了基于基于触摸的计算设备中的***点的用户界面行为操纵的示例;
图2示出了文档的一个示例用户界面,其中根据某些实施例基于***点来操纵用户界面行为;
图3示出了文档的另一个示例用户界面,其中根据其他实施例基于***点来操纵用户界面行为;
图4是可实现根据各实施例的***的联网环境;
图5是可实现各实施例的示例计算操作环境的框图;以及
图6示出根据各实施例的基于***点自动地操纵用户界面行为的过程的逻辑流程图。
具体实施方式
如以上简要地描述的,可以基于***点来操纵文档用户界面行为,使用户能够取决于用户的动作相对于该***点的位置而与页面的上下文或该页面本身进行交互。由此,可以使用户能够选择页面上的文本或对象,而不会意外地平扫页面或以其他方式与页面交互,也不会在用户期望与页面交互时进行干扰。
在以下详细描述中,参考了构成详细描述的一部分并作为说明示出各具体实施例或示例的附图。可组合这些方面,可利用其他方面,并且可以做出结构上的改变而不背离本发明的精神或范围。因此,以下具体实施例并不旨在限制,并且本发明的范围由所附权利要求及其等效方案来限定。
尽管在结合在计算设备上的操作***上运行的应用程序执行的程序模块的一般上下文中描述了各实施例,但是本领域的技术人员会认识到各方面也可以结合其它程序模块实现。
一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其它类型的结构。此外,本领域的技术人员可以明白,各实施例可以用其它计算机***配置来实施,包括手持式设备、多处理器***、基于微处理器或可编程消费者电子产品、小型计算机、大型计算机以及类似计算设备。各实施例还能在任务由通过通信网络链接的远程处理设备来执行的分布式计算环境中实现。在分布式计算环境中,程序模块可位于本地和远程存储器存储设备两者中。
各实施例可被实现为计算机实现的过程(方法)、计算***、或者诸如计算机程序产品或计算机可读介质等制品。计算机程序产品可以是计算机***可读并且编码包括用于使计算机或计算***执行示例过程的指令的计算机程序的计算机存储介质。例如,计算机可读存储介质可经由易失性计算机存储器、非易失性存储器、硬盘驱动器、闪存驱动器、软盘或紧致盘和类似介质中的一个或多个来实现。
贯穿本说明书,术语“平台”可以是用于使用户能够与已显示的文档的内容和页面进行交互的软件和硬件组件的组合。平台的示例包括但不限于,在多个服务器上执行的托管服务、在单个计算设备上执行的应用以及类似***。术语“服务器”一般指通常在联网环境中执行一个或多个软件程序的计算设备。然而,服务器还可以被实现为在被视作网络上的服务器的一个或多个计算设备上执行的虚拟服务器(软件程序)。以下提供关于这些技术和示例操作的更多细节。
参考图1,示出了基于基于触摸的计算设备中的***点的用户界面行为操纵的示例。图1中所示的计算设备和用户界面环境用于说明目的。可以在各种本地计算环境、联网计算环境和利用各种计算设备和***的类似计算环境中实现各实施例。
在普通用户界面中,通常基于多个手动步骤来限制用户与文档的交互,诸如激活一个或多个控件以在与页面交互和与该页面的内容交互之间切换。或者,限制可被施加在用户动作上。例如,水平的拖拽动作可以使用户能够选择文本(或对象),而垂直的拖拽动作可以使用户能够平扫页面。后者尤其在基于触摸的设备中实现。
根据各实施例的一个***基于***点的位置和接下来的用户动作的位置来启用自动的用户界面行为操纵。这种***可在基于触摸的设备或带有更多传统输入机制(诸如鼠标或键盘)的其他计算设备中实现。基于姿势的输入机制也可用于基于***点的位置和接下来的用户动作的位置来实现自动的用户界面行为操纵。
在示例基于触摸的计算设备上示出用户界面100。用户界面100包括控制元件102以及带有文本内容104的文档的页面110。根据一个示例场景,用户108触摸页面110上的一点,放置***点106。接下来,用户108可以执行从大约该***点106开始的拖拽动作112。
用户界面114示出了拖拽动作112的结果。由于拖拽动作从用户界面100的大约***点106处开始,文本内容104的一部分116被突出显示(指示选择)至用户动作结束的点。由此,用户不必激活附加的控制元件或者面对像仅限水平拖拽动作的限制。在选择文本部分后,可以通过下拉菜单、悬停菜单等(未示出)向用户提供附加动作。
用户界面118示出了在放置***点106后的另一个可能的用户动作。根据该示例场景,用户执行另一个拖拽动作122,这一次在页面上远离***点106的一点开始。在用户界面124中示出拖拽动作122的结果,其中(在拖拽动作的方向上)向上平扫页面110。由此,使用户能够直接地与页面交互,再次无需激活附加的控制元件或者面对像仅限垂直拖拽动作的限制。拖拽动作和所得平扫可以是任何方向上的,并且不限于垂直方向。作为远离***点的用户动作的结果的与页面的交互不会更改如图所示的页面内容。
在图1所示的基于触摸的设备中,***点放置和拖拽动作可通过触摸动作来输入,诸如在设备的屏幕上轻击或拖拽手指(或类似的物体)。根据某些实施例,它们也可经由鼠标/键盘动作来放置或与鼠标/键盘动作相组合。例如,包括鼠标的启用触摸的计算设备上的用户可以使用鼠标来点击以便放置***点,随后用手指来拖拽。
图2示出了文档的示例用户界面,其中根据某些实施例基于***点来操纵用户界面行为。如以上所讨论的,根据各实施例的***可以结合基于触摸或其他输入机制来实现。在显示器200上示出图2的示例用户界面,该显示器200可被耦合到利用传统鼠标/键盘输入机制或基于姿势的输入机制的计算设备。在后者的情形中,诸如相机的光学捕捉设备可用于捕捉用于输入的用户姿势。
显示器200上的用户界面也呈现了带有文本内容232的文档的页面230。作为示例场景中的第一个动作,用户可在页面230上放置***点234。***点234在图2中被示为垂直线,但其表示不限于示例图示。任何图形表示可用于指示***点234。为了将***点234与自动移动的光标相区分,可以采用闪烁的记号、不同的形状、手柄235、或类似的机制。例如,***点可以是文本上闪烁的光标,而不是自由移动的鼠标光标,自由移动的鼠标光标也可被表示为文本上的垂直线但不会闪烁。
与***点234的位置相比,对用户界面行为的操纵可以基于接下来的用户动作的位置。为了确定使用户能够与文档的内容交互和与页面交互之间的边界,可以在***点234周围使用预定义区域236。图2示出了用于接下来的用户动作的三个示例场景。如果接下来的用户动作起始于预定义区域236以外的点240或242,则可以使用户与页面交互。另一方面,如果接下来的用户动作始于预定义区域236以内的点238,则可以使用户与内容交互。例如,选择文本的一部分。可以基于输入方法来选择预定义区域236的大小。例如,对于鼠标输入可选择较小的区域,并且对于基于触摸的输入可选择较大的区域,因为那两种输入风格具有不同的准确性。
光标被移动时,手柄235可在接触几何形状下保持相同的相对放置。根据某些实施例,可以使用户能够调整手柄235以创建文本的定制范围。根据其他实施例,可以提供放大工具以放置***点。为了触发基于触摸的设备中的放大工具,用户可以按下选择手柄以激活该手柄。当用户按在相同的位置并在预定义时段内不移动时,放大工具可以出现。在终止按压后,动作已完成并且选择手柄可被放置在所按压的位置。
图3示出了文档的另一个示例用户界面,其中根据其他实施例基于***点来操纵用户界面行为。图3的用户界面包括在显示器300上呈现的页面330。与图2的示例不同,页面330包括文本内容332和图形对象352。
***点334被放置在图形对象352旁边(或上面)。由此,如果接下来的用户动作始于***点334周围的预定义区域336以内的点356,则可以使用户与内容(例如,图形对象352)交互。另一方面,如果接下来的用户动作始于页面的空白区域中的点354或者文本内容上的点358,则可以使用户与页面本身而非内容进行交互。
根据某些实施例,如果接下来的动作包括从***点的拖拽动作,则向左和/或向右箭头335可以出现在***点334的任一边,指示与内容的交互。一旦用户开始从***点334进行拖拽,可以示出其移动方向上的箭头作为反馈。一旦拖拽动作已完成(例如,在基于触摸的设备上抬起手指),可用选择手柄来指示选择的两个边缘。根据进一步的实施例,如果文档不包括可编辑的内容(例如,只读的电子邮件),则用户界面可以不允许***点被放置在页面上。
已经用特定的设备、应用、用户界面元件和交互描述了图1至图3中的示例***。各实施例不限于根据这些示例配置的***。用于基于***点位置来操纵用户界面行为的***可以在采用更少或附加组件以及执行其他任务的配置中来实现。此外,可以使用此处描述的原理以相似的方式来实现特定的协议和/或接口。
图4是可实现各实施例的示例联网环境。可经由在一个或多个服务器414上执行的软件(诸如托管服务)来实现基于***点位置的用户界面行为操纵。该平台可以通过网络410来与诸如手持式计算设备411和智能电话412(“客户端设备”)等各个计算设备上的客户端应用进行通信。
在任一客户端设备411-412上执行的客户端应用可便于通过由各服务器414执行的或在单独服务器416上执行的应用进行的通信。在服务器之一上执行的应用可以提供用户界面,用于与包括文本和/或诸如图形对象、图像、视频对象和类似对象等对象的文档进行交互。用户与文档的页面上所示的内容或页面本身的交互可以基于相对于用户所放置的页面上的***点的位置的用户动作的开始位置来自动地启用。用户界面可以适应基于触摸的输入、基于设备的输入(例如,鼠标、键盘等)、基于姿势的输入、和类似输入。该应用程序可直接或通过数据库服务器418从数据存储419中检索相关数据,并且通过客户端设备411-412将所请求的服务(例如文档编辑)提供给用户。
网络410可包括服务器、客户机、因特网服务供应商以及通信介质的任何拓扑结构。根据各实施例的***可以具有静态或动态拓扑结构。网络410可包括诸如企业网络等安全网络、诸如无线开放网络等非安全网络、或因特网。网络410还可通过诸如公共交换电话网络(PSTN)或蜂窝网络等其他网络来协调通信。此外,网络410可包括诸如蓝牙或类似网络等短程无线网络。网络410提供本文描述的节点之间的通信。作为示例而非限制,网络410可以包括例诸如声学、RF、红外和其它无线介质等无线介质。
可以采用计算设备、应用、数据源和数据分发***的许多其它配置来实现提供基于***点的用户界面行为操纵的平台。此外,图4中所讨论的联网环境仅用于说明目的。各实施例不限于示例应用、模块、或过程。
图5及相关联描述旨在提供对其中可实现各实施例的合适计算环境的简要概括描述。参考图5,示出了根据各实施例的用于应用的示例计算操作环境(诸如计算设备500)的框图。在基本配置中,计算设备500可以是任何计算设备并包括至少一个处理单元502和***存储器504,该任何计算设备根据各实施例来执行具有文档编辑用户界面的应用。计算设备500还可包括协作执行程序的多个处理单元。取决于计算设备的确切配置和类型,***存储器504可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或是两者的某种组合。***存储器504通常包括适于控制平台操作的操作***505,诸如来自华盛顿州雷德蒙市的微软公司的操作***。
***存储器504还可包括一个或多个软件应用,诸如程序模块506、应用522、以及用户界面交互行为控制模块524。应用522可以是文字处理应用、电子表格应用、演示应用、调度应用、电子邮件应用、日历应用、浏览器、和类似的应用。
应用522可以提供用于编辑文档或以其他方式与文档交互的用户界面,该文档可包括文本的或其他内容。用户界面交互行为控制模块524可以自动地使用户能够与内容交互或与页面直接地交互,而不激活控制元件或面对动作上的限制,诸如水平的或垂直的拖拽动作。与被用户或自动地(例如,文档被第一次打开时)放置在页面上的***点相比,对用户界面行为的操纵可以基于用户动作(例如,拖拽动作)开始的相对位置。交互可包括但不限于基于触摸的交互、基于鼠标点击或键盘输入的交互、基于语音的交互、或者基于姿势的交互。应用程序522和控制模块524可以是分开的应用或托管服务的集成模块。该基本配置在图5中由虚线508内的那些组件示出。
计算设备500可具有附加特征或功能。例如,计算设备500还可包括附加数据存储设备(可移动和/或不可移动),例如磁盘、光盘或磁带。在图5中通过可移动存储509和不可移动存储510示出这样的附加存储。计算机可读存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。***存储器504、可移动存储509和不可移动存储510都是计算机可读存储介质的示例。计算机可读存储介质包括,但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带、磁盘存储或其它磁存储设备、或能用于存储所需信息且可以由计算设备500访问的任何其它介质。任何这样的计算机可读存储介质都可以是计算设备500的一部分。计算设备500还可以具有输入设备512,诸如键盘、鼠标、笔、语音输入设备、触摸输入设备和类似输入设备。还可以包括输出设备514,诸如显示器、扬声器、打印机和其它类型的输出设备。这些设备在本领域中公知并且无需在此处详细讨论。
计算设备500还可包含通信连接516,该通信连接允许该设备诸如通过分布式计算环境中的有线或无线网络、卫星链接、蜂窝链接、短程网络和类似机制来与其他设备518进行通信。其他设备518可包括执行通信应用的计算机设备、web服务器和类似设备。通信连接(多个)516是通信介质的一个示例。通信介质可在其中包括计算机可读指令、数据结构、程序模块或其它数据。作为示例而非限制,通信介质包括诸如有线网络或直接线连接之类的有线介质,以及诸如声学、RF、红外及其他无线介质之类的无线介质。
各示例实施例还包括各种方法。这些方法可以用任何数量的方式,包括本文中所描述的结构来实现。一种此类方式是通过本文中描述的类型的设备的机器操作。
另一可任选方式是结合一个或多个人类操作者执行该方法的各个操作中的某一些来执行该方法的一个或多个操作。这些人类操作者无需彼此同在一处,而是其每一个可以仅与执行程序的一部分的机器同在一处。
图6示出根据各实施例的基于***点自动地操纵用户界面行为的过程600的逻辑流程图。可以将过程600实现在能够通过处理器来执行指令的计算设备或类似的电子设备上。
过程600以操作610开始,其中响应于用户动作,在已显示的文档上创建***点。通过矩形形状的用户界面,此处使用的文档可包括文本和其他数据的常用表示,但不限于那些。文档还可包括显示设备上的文本和其他数据的任何表示,诸如有界或无界表面。依赖于文档的内容类型,***点可以位于文本内容或诸如图形对象、图像、视频对象等对象的旁边。在判定操作620,可以作出用户接下来的动作是否是从***点的拖拽动作的判断。可以基于从***点的预定义距离,将接下来的用户动作的起始位置与***点的位置进行比较,该预定义距离根据某些实施例是基于物理或虚拟显示大小、预定义设置、和/或用于基于触摸的交互的手指(或触摸对象)大小可以是动态地调整的。
如果接下来的动作起始于***点附近,则可以使用户能够与文档的内容(文本和/或对象)交互,诸如选择内容的一部分并随后在操作630被提供可用的动作。如果接下来的动作不起始于***点附近,则在判定操作640作出动作是否起始于远离***点处(诸如文本部分或页面的空白区域上的别处)的另一个判断。如果接下来的动作的起始点远离***点,则可在操作650使用户能够与整个页面交互,诸如平扫页面、选择页面等。接下来的动作可以是任意方向上的拖拽动作,点击、轻击、捏合、或类似的动作。
包括在过程600内的各操作是用于说明目的。基于***点位置的用户界面行为操纵可以使用此处所述的各原理通过具有更少或附加步骤的相似过程、以及不同的操作次序来实现。
以上说明书、示例和数据提供了对各实施例组成的制造和使用的全面描述。尽管用结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。相反,上述具体特征和动作是作为实现权利要求和各实施方式的示例形式而公开的。

Claims (15)

1.一种用于操纵用户界面行为的方法,包括:
在已显示的文档页面上创建***点;
在所述已显示的文档页面上检测用户输入;
如果所述用户输入起始于所述***点周围的预定义区域中,则使所述用户能够与所述页面的内容进行交互;以及
如果所述用户输入起始于所述***点周围的所述预定义区域以外,则使所述用户能够与所述页面进行交互。
2.如权利要求1所述的方法,其特征在于,所述用户输入包括以下之一:任意方向上的拖拽动作、点击、轻击、和捏合;并且与所述页面的所述交互包括以下的集合中的至少一个:平扫、改变页面大小、改变页面属性、以及改变页面视图。
3.如权利要求1所述的方法,其特征在于,还包括:
基于以下至少之一动态地调整所述***点周围的所述预定义区域的大小:显示所述文档页面的设备的物理大小、显示所述文档页面的用户界面的大小、预定义设置、用于基于触摸的交互的触摸对象的大小、以及用户输入方法的类型。
4.如权利要求1所述的方法,其特征在于,还包括:
如果所述用户输入包括来自所述预定义区域以内的拖拽动作,则在所述***点附近呈现指示与内容交互的左箭头和右箭头中的至少一个。
5.如权利要求4所述的方法,其特征在于,还包括:
在检测到来自所述预定义区域以内的拖拽动作后,显示所述拖拽动作的方向上的所述箭头之一作为反馈。
6.如权利要求1所述的方法,其特征在于,通过以下之一来接收所述用户输入:基于触摸的输入、鼠标输入、键盘输入、基于语音的输入、以及基于姿势的输入。
7.一种能够操纵用户界面行为的计算设备,所述计算设备包括:
显示器,被配置为显示呈现文档页面的用户界面;
输入组件,被配置为接收以下之一:基于触摸的输入、鼠标输入、键盘输入、基于语音的输入、以及基于姿势的输入;
存储器,被配置为存储指令;以及
耦合到所述存储器的用于执行所存储的指令的处理器,所述处理器被配置为:
响应于打开文档和用户输入之一,在已显示的文档页面上创建***点;
在所述已显示的文档页面上检测随后的用户输入;
如果随后的用户输入起始于所述***点周围的预定义区域中,则使所述用户能够与所述页面的内容进行交互,所述内容包括以下的集合中的至少一个:文本、图形对象、图像、视频对象、表和文本框;以及
如果随后的用户输入起始于所述***点周围的所述预定义区域以外,则使所述用户能够与所述页面进行交互。
8.如权利要求7所述的计算设备,其特征在于,与所述内容的所述交互包括对文本和对象的组合的选择。
9.如权利要求7所述的计算设备,其特征在于,所述随后的用户输入是任意方向上的拖拽动作。
10.如权利要求7所述的计算设备,其特征在于,所述处理器还被配置成:
如果所述***点正被尝试放置的所述文档的部分缺少可编辑的内容,则禁用对所述***点的放置。
11.如权利要求7所述的计算设备,其特征在于,基于所述显示器的物理大小以及所述用户界面的虚拟大小之一,所述***点周围的所述预定义区域具有固定大小以及动态可调整的大小之一。
12.一种用于操纵用户界面行为的方法,包括:
响应于基于触摸的动作,在已显示的文档页面上创建***点;
在所述已显示的文档页面上检测随后的用户动作;
如果随后的用户动作起始于所述***点周围的预定义区域中,则使所述用户能够与所述页面的内容的至少一部分进行交互;以及
如果随后的用户动作起始于所述***点周围的预定义区域以外,则使所述用户能够与所述页面进行交互,执行以下的集合中的至少一个:平扫所述页面、缩放所述页面、旋转所述页面、以及激活菜单。
13.如权利要求12所述的方法,其特征在于,还包括:
基于用于随后的用户动作的输入类型,调整所述预定义区域的大小。
14.如权利要求13所述的方法,其特征在于,使所述用户能够与所述内容的一部分进行交互包括使所述用户能够选择所述内容的所述部分。
15.如权利要求13所述的方法,其特征在于,还包括:
如果随后的用户动作包括来自所述预定义区域内的拖拽动作,则在所述***点的放置之后,在所述***点附近呈现指示与内容交互的至少一个箭头;以及
在检测到来自所述预定义区域内的所述拖拽动作后,显示所述拖拽动作的方向上的所述箭头之一。
CN201210008586.7A 2011-01-13 2012-01-12 基于***点的用户界面交互行为 Expired - Fee Related CN102609188B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/005,809 US20120185787A1 (en) 2011-01-13 2011-01-13 User interface interaction behavior based on insertion point
US13/005,809 2011-01-13

Publications (2)

Publication Number Publication Date
CN102609188A CN102609188A (zh) 2012-07-25
CN102609188B true CN102609188B (zh) 2015-07-08

Family

ID=46491699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210008586.7A Expired - Fee Related CN102609188B (zh) 2011-01-13 2012-01-12 基于***点的用户界面交互行为

Country Status (16)

Country Link
US (1) US20120185787A1 (zh)
EP (1) EP2663913A4 (zh)
JP (1) JP2014507026A (zh)
KR (1) KR20140045301A (zh)
CN (1) CN102609188B (zh)
AU (1) AU2012205811A1 (zh)
BR (1) BR112013017559A2 (zh)
CA (1) CA2824055A1 (zh)
CL (1) CL2013002004A1 (zh)
CO (1) CO6731116A2 (zh)
HK (1) HK1173814A1 (zh)
MX (1) MX2013008186A (zh)
RU (1) RU2013132564A (zh)
SG (2) SG191849A1 (zh)
WO (1) WO2012096804A2 (zh)
ZA (1) ZA201304472B (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8826190B2 (en) 2011-05-27 2014-09-02 Google Inc. Moving a graphical selector
US8656315B2 (en) 2011-05-27 2014-02-18 Google Inc. Moving a graphical selector
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130179837A1 (en) * 2011-10-17 2013-07-11 Marcus Eriksson Electronic device interface
US9354805B2 (en) * 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
US8656296B1 (en) * 2012-09-27 2014-02-18 Google Inc. Selection of characters in a string of characters
US9804777B1 (en) 2012-10-23 2017-10-31 Google Inc. Gesture-based text selection
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US20140306897A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Virtual keyboard swipe gestures for cursor movement
US20140380380A1 (en) * 2013-06-24 2014-12-25 Cinematique, L.L.C. System and method for encoding media with motion touch objects and display thereof
US10956433B2 (en) 2013-07-15 2021-03-23 Microsoft Technology Licensing, Llc Performing an operation relative to tabular data based upon voice input
US9383910B2 (en) 2013-10-04 2016-07-05 Microsoft Technology Licensing, Llc Autoscroll regions
US9407596B2 (en) 2013-11-20 2016-08-02 International Business Machines Corporation Interactive splitting of entries in social collaboration environments
WO2015141093A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
US9639263B2 (en) 2014-08-05 2017-05-02 Weebly, Inc. Native overlay for rapid editing of web content
US10139998B2 (en) 2014-10-08 2018-11-27 Weebly, Inc. User interface for editing web content
US20160117080A1 (en) * 2014-10-22 2016-04-28 Microsoft Corporation Hit-test to determine enablement of direct manipulations in response to user actions
US10028116B2 (en) 2015-02-10 2018-07-17 Microsoft Technology Licensing, Llc De-siloing applications for personalization and task completion services
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
CN105468234A (zh) * 2015-11-18 2016-04-06 中科创达软件股份有限公司 一种信息处理方法及移动终端
US10402470B2 (en) 2016-02-12 2019-09-03 Microsoft Technology Licensing, Llc Effecting multi-step operations in an application in response to direct manipulation of a selected object
CN105843511A (zh) * 2016-04-06 2016-08-10 上海斐讯数据通信技术有限公司 一种触摸屏幕显示内容的选择方法和***
CN106126052A (zh) 2016-06-23 2016-11-16 北京小米移动软件有限公司 文本选择方法及装置
US10459612B2 (en) * 2016-10-05 2019-10-29 Microsoft Technology Licensing, Llc Select and move hint
CN109597981B (zh) * 2017-09-30 2022-05-17 腾讯科技(深圳)有限公司 一种文本互动信息的展示方法、装置及存储介质
JP2019124996A (ja) * 2018-01-12 2019-07-25 株式会社ミツトヨ 画像測定機、画像測定方法、及び画像測定用プログラム
US10656780B2 (en) 2018-01-12 2020-05-19 Mitutoyo Corporation Position specifying method and program
CN108681531B (zh) * 2018-05-09 2020-11-13 天津字节跳动科技有限公司 文档输入的控制方法及装置
US20200183553A1 (en) 2018-12-10 2020-06-11 Square, Inc. Customized Web Page Development based on Point-of-Sale Information
US11379113B2 (en) * 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text
CN111338540B (zh) * 2020-02-11 2022-02-18 Oppo广东移动通信有限公司 图片文本处理方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436113A (zh) * 2007-11-12 2009-05-20 捷讯研究有限公司 触摸屏设备的用户界面
CN101676844A (zh) * 2008-09-18 2010-03-24 联想(北京)有限公司 触摸屏输入信息的处理方法及装置
CN101821764A (zh) * 2007-10-12 2010-09-01 微软公司 自动操纵web文档集合

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US6941507B2 (en) * 2000-11-10 2005-09-06 Microsoft Corporation Insertion point bungee space tool
US7489306B2 (en) * 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US8375336B2 (en) * 2008-05-23 2013-02-12 Microsoft Corporation Panning content utilizing a drag operation
JP4577428B2 (ja) * 2008-08-11 2010-11-10 ソニー株式会社 表示装置、表示方法及びプログラム
US20100153168A1 (en) * 2008-12-15 2010-06-17 Jeffrey York System and method for carrying out an inspection or maintenance operation with compliance tracking using a handheld device
US8451236B2 (en) * 2008-12-22 2013-05-28 Hewlett-Packard Development Company L.P. Touch-sensitive display screen with absolute and relative input modes
US8370736B2 (en) * 2009-03-16 2013-02-05 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
KR20100130671A (ko) * 2009-06-04 2010-12-14 삼성전자주식회사 터치 인터페이스에서 선택 영역의 제공 장치 및 그 방법
JP2011014044A (ja) * 2009-07-03 2011-01-20 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
US20120072867A1 (en) * 2010-09-17 2012-03-22 Apple Inc. Presenting pop-up controls in a user interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101821764A (zh) * 2007-10-12 2010-09-01 微软公司 自动操纵web文档集合
CN101436113A (zh) * 2007-11-12 2009-05-20 捷讯研究有限公司 触摸屏设备的用户界面
CN101676844A (zh) * 2008-09-18 2010-03-24 联想(北京)有限公司 触摸屏输入信息的处理方法及装置

Also Published As

Publication number Publication date
US20120185787A1 (en) 2012-07-19
SG191849A1 (en) 2013-08-30
WO2012096804A3 (en) 2012-11-08
HK1173814A1 (zh) 2013-05-24
KR20140045301A (ko) 2014-04-16
RU2013132564A (ru) 2015-01-20
NZ613149A (en) 2014-11-28
WO2012096804A2 (en) 2012-07-19
AU2012205811A1 (en) 2013-08-01
EP2663913A4 (en) 2016-10-19
MX2013008186A (es) 2013-08-21
CA2824055A1 (en) 2012-07-19
CL2013002004A1 (es) 2013-12-13
SG10201510763RA (en) 2016-01-28
CO6731116A2 (es) 2013-08-15
EP2663913A2 (en) 2013-11-20
ZA201304472B (en) 2014-08-27
CN102609188A (zh) 2012-07-25
BR112013017559A2 (pt) 2016-10-11
JP2014507026A (ja) 2014-03-20

Similar Documents

Publication Publication Date Title
CN102609188B (zh) 基于***点的用户界面交互行为
TWI609317B (zh) 智慧型白板互動
CN104350495A (zh) 在全景显示中管理对象以导航电子表格
CN105518660A (zh) 三维条件格式化
CN103649897A (zh) 用于基于上下文的菜单***的子菜单
CN104520843A (zh) 在电子阅读器中提供基于笔记的内容注释
KR20110063617A (ko) 다양한 타입의 컴퓨팅 장치들을 통하여 다수의 정보 형태들과 상호작용하기 위한 장치 및 방법들
CN102646014A (zh) 特定于上下文的用户界面
US10656806B2 (en) Display interface systems and methods
CN104169853A (zh) 网页应用控件
US20170269805A1 (en) File workflow board
CN105359131B (zh) 栓系选择句柄
CN105830056A (zh) 与表格应用函数记号交互
CN107209627A (zh) 对应用启动器内的表示交互的控制
US20190018660A1 (en) Converting whiteboard images to personalized wireframes
JP6995208B2 (ja) 画像のパンニング方法
JP6379816B2 (ja) 情報処理装置、その制御方法、及びプログラム
US10333872B2 (en) Linking screens and content in a user interface
CN109804372B (zh) 对演示中的图像部分进行强调
KR102087257B1 (ko) 미리보기 오브젝트를 이용하여 전자 문서를 생성하는 전자 장치 및 그의 동작 방법
TWI447640B (zh) 金融商品報價軟體欄位拖放之裝置與方法
KR101298221B1 (ko) 전자문서 제작 및 리딩 시스템과 그 제어 방법
TW201502959A (zh) 強化的畫布環境
EP3526685A1 (en) Emphasizing on image portions in presentations
KR20130048926A (ko) 레이어 방식으로 편집된 디지털 잡지의 스크랩 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1173814

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150727

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1173814

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150708

Termination date: 20190112

CF01 Termination of patent right due to non-payment of annual fee