CN103415833B - 表面化屏幕外可视对象 - Google Patents

表面化屏幕外可视对象 Download PDF

Info

Publication number
CN103415833B
CN103415833B CN201180064601.3A CN201180064601A CN103415833B CN 103415833 B CN103415833 B CN 103415833B CN 201180064601 A CN201180064601 A CN 201180064601A CN 103415833 B CN103415833 B CN 103415833B
Authority
CN
China
Prior art keywords
user
shows
input motion
edge
plate surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180064601.3A
Other languages
English (en)
Other versions
CN103415833A (zh
Inventor
J·N·吉特科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103415833A publication Critical patent/CN103415833A/zh
Application granted granted Critical
Publication of CN103415833B publication Critical patent/CN103415833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

一种用于计算设备的计算机实施的用户输入过程包括:在图形显示之上的触板表面上接收横贯触板表面拖动的用户输入运动;通过标识在触板表面的***边缘处针对输入运动的感测的第一位置来将拖动输入运动标识为从触板的边缘始发离开;并且响应于标识拖动输入运动,在图形显示上显示滑动图形元素,该滑动图形元素被赋予动画以在显示上的非移动元素之上从显示的边缘移入显示的主体中。

Description

表面化屏幕外可视对象
相关申请的交叉引用
本申请要求对通过引用而结合内容如同这里完全阐述一样、于2010年11月18日提交的、标题为“User Interaction in a Computer Operating System”的第61/415,179号美国临时申请和于2010年11月18日提交的、标题为“User Interaction in a ComputerOperating System”的第61/458,326号美国临时申请的优先权。
技术领域
本文档涉及用于与计算机操作***的用户交互的***和技术。
背景技术
随着计算机变得更多地存在于普通日常活动中,用户与计算机交互的方式变得更重要。例如早期计算机将打孔卡用于与有限用户组交互,而桌面型个人计算机造成与更多用户的更延长交互和图形用户界面的发展。这样的界面成为计算机操作***本身的一部分并且***作***上运行的应用进一步延伸。
计算设备现在通常比如以智能电话和相似设备的形式便携并且由用户携带。由于这样的设备可能具有有限大小,该有限大小使经由键盘的交互比对于桌面型或者膝上型计算机而言更不切实际,所以可以比如以触屏用户界面的形式提供用于交互的备选机制,这些触屏用户界面显示图形内容、并且也可以接收在该内容之上的用户输入。也可以使用其它输入机制、比如语音输入和移动设备中的加速度计或者罗盘可以感测的基于手势的输入。
发明内容
本文档描述可以用来与计算设备、比如移动计算设备(例如智能电话、上网本或者写字板计算机)的用户交互的***和技术。这里描述的各种技术可以提供用于用户与设备的更直观交互的机制、包括通过用设备向用户发信号和用于对向设备提供的用户输入做出响应。用户反馈可以采用可听信号、触觉反馈(例如设备的协调振动)和屏幕上用户界面元素的移动这样的形式。
在下文具体描述的技术中,与屏幕外触摸输入设备、比如电容触板的特定用户交互可以引起在设备的显示器上示出特定内容。具体而言,设备可以感测用户开始从触板的边缘离开的拖动运动并且向触板上继续该运动。(将未感测板外接触,但是触板将察觉在它的边缘开始接触、并且在从边缘朝着触板的主要区域的方向)。响应于这样的感测的输入,设备可以通过进行如下滚动动作的动画来做出响应:一个或者多个项从显示的边缘离开、移动到设备显示上,如同用户通过从触板的边缘拉开并且拉取到触板上一样,但实际上从显示的边缘拉开内容并且拉取到显示。例如,如果用户从触板的左边拖开他的或者她的手指到触板上,则内容(例如图标网格、多个操作小配件或者菜单)可以表现为从显示的左边被渐进拖开到显示上,并且如果用户来回移动他的或者她的手指,则内容可以与手指同步移动。类似地,如果用户从触板的顶部向下拉开,则通知面板可以以看似下拉卷帘的方式来被下拉,这与在用于移动设备的ANDROID操作***中示出通知面板相似。因此可以将被感测为在触板的边缘附近开始的拖动运动解译为对已经在屏幕上的项的选择,并且该拖动运动可以使得项(例如图标)被拾取并且与拖动运动协调移动,而被感测为从触板的边缘始发的拖动运动(例如它在触板的极度边缘处开始并且具有在首次感测它时的现有速率)可以用来表面化先前未被显示的新可视对象。
在另一示例中,录入屏幕外内容可以使当前屏幕(无论是否包括桌面上的背景或者仅桌面上的图标)从撤开并且被替换为屏幕外内容,以便在轨迹板设备上实现与在现有智能电话和写字板操作***上实施的多屏幕桌面相似的多屏幕桌面。
在某些实现中,这样的***和技术可以提供一个或者多个优点。例如可以改进用户与计算设备的交互,并且用户可以更可能购买更多设备并且向其他人推荐它们。应用程序的作者也可以受益于能够使用界面(比如这里讨论的界面)来提供他们的应用,并且也可以能够生成新的和附加种类的应用。在下文具体描述的技术的更多具体优点中,可以通过从显示器的边缘推开仅定期需要的元素、并且响应于在并非显示器的一部分的触板或者其它相似输入设备上的方便和直观用户输入示出这样的对象,来增加显示器的有效尺寸。这样的输入也可以在某些示例中区别于如下输入,这些输入在显示的边缘或者附近开始、但是未首先在极度边缘处、以现有速率进入触板以指示它们从触板的边缘出发。因此,除了识别某些输入从触板的边缘出发(例如通过标识它们的开始位置为在边缘处、并且它们的开始速率为具有某个速度和到触板的主体上的方向)这样的额外功能之外,用户还可以具有对触板的所有正常功能的使用。
在另一实现中,公开一种计算机实施的用户输入过程,并且该过程包括:在图形显示之上的触板表面上接收横贯触板表面拖动的用户输入运动;通过标识在触板表面的***边缘处针对输入运动感测的第一位置来将拖动输入运动标识为从触板的边缘始发离开;并且响应于标识拖动输入运动,在图形显示上显示滑动图形元素,该滑动图形元素被赋予动画以在显示上的非移动元素之上从显示的边缘移入显示的主体中。接收用户输入运动可以包括接收从触板表面的右侧或者左侧进入触板表面的输入运动。该方法也可以包括计算用于拖动输入运动的矢量。
在其它实现中,公开一种计算机实施的用户输入过程。该过程包括:在图形显示之上的触板表面上接收横贯触板表面拖动的用户输入运动;通过标识在触板表面的***边缘处针对输入运动的感测的第一位置来将拖动输入运动标识为从触板的边缘始发离开;并且响应于标识拖动输入运动在图形显示上显示滑动图形元素,该滑动图形元素被赋予动画以在显示上的非移动元素之上从显示的边缘移入显示的主体中。
在附图和下文描述中阐述一个或者多个实施例的细节。其它特征和优点将从描述和附图中以及从权利要求中变得清楚。
附图说明
图1A和图1B是示出移动计算设备中的触觉反馈的图。
图2A和图2B示出用于向图形用户界面添加窗口的技术的屏幕截图。
图3A和图3B在概念上示出响应于移动计算设备的运动在设备上激活地图应用(mapping application)。
图4A、图4B和图4C示出计算设备的屏幕截图,该计算设备具有触板输入机制和响应于触板输入机制上的特定手势的屏幕上元素。
图5是移动计算设备的示意图。
图6是用于与纠正用户在计算设备上的数据录入协调地提供触觉反馈的过程的流程图。
图7是用于响应于窗口***上的用户输入来生成显示元素的过程的流程图。
图8是用于响应于计算设备的运动,自动激活导航应用的过程的流程图。
图9A是用于响应于触板的用户操纵向图形显示引入元素的过程的流程图。
图9B是用于响应于触板的用户操纵来最小化图形显示上的元素的过程的流程图。
图10示出可以用来实施这里描述的技术的计算机设备和移动计算机设备的示例。
在各种附图中的相似标号指示相似元素。
具体实施方式
本文档描述用于例如使用在计算设备(比如移动智能电话)上运行的操作***的元素来提供与该设备的用户的交互的***和技术。***和技术可以提供可以可视地、可听地或者经由触摸实施的各种输出机制和用于控制设备的输入机制。这里描述多种具体示例技术,并且可以个体地实施、相互配合和集成(例如在滚动栏上正交地拖动可以出现于用户通过从触板的边缘拖开到触板上来表面化内容之前或者之后)或者与操作***的其它方面一起实施技术。
图1A和图1B是示出移动计算设备102中的触觉反馈的图。一般而言,设备102采用具有滑出键盘108的智能电话的形式。设备102也在它的前表面上包括用于向用户显示信息的图形显示,其中显示可以包括用于从用户获得输入的触屏输入机制、比如通过用户用他们的手指或者用触笔触摸显示的表面。
在这一示例中,在图1A中示出在第一状态102中并且在图1B中示出在第二稍后状态中的设备102。在第一状态中,示出在用户已经开始向设备102中键入句子以比如提交句子的文本作为搜索查询、向字处理文档或者电子邮件添加文本作为句子或者用于其它相似目的之后的设备102。用户已经录入的短语106包括拼写错误,因为已经录入单词Soain,但是很明显用户打算键入单词Spain。在这一示例中,实时拼写检查***可以确定单词Soain未出现于设备102上存储的或者设备102可访问(例如经由无线网络和因特网)的词典中、并且可以用与现有子处理器应用中的各种拼写检查***执行的方式相似的方式(比如通过为词项添加下划线)来醒目显示它。
标识拼写错误的单词除了触发***纠正单词的拼写之外也可以使设备102向用户提供触觉反馈。例如根据***关于拼写错误的单词采取的动作,可以提供一个或者多个相异触觉反馈类型。作为一个示例,如果设备102已经能够对用于词项、比如词项110的拼写纠正定位,其中已经标识单词Spain并且自动放入串中,则设备可以在相对短时段内、比如一瞬间振动一次。备选地,如果***不能标识对词项106的纠正,则可以使设备102相互紧接地振动两次。
触觉反馈因此可以触发设备的用户识别对他们录入的文本已经识别问题,从而他们将他们的目光移向屏幕或者在屏幕上提供附加聚焦。如果用户感觉单次振动,则他们可以查找以确认替换单词正确,而如果他们感觉两次振动,则他们可以查找并且停止他们的键入以便断定是否需要人工纠正。
设备102可以在其它实施例中提供其它触觉反馈。例如可以提供少量点击或者可以播放用户可以用他的或者她的手部感觉的低音调。也可以使用除了单次振动和双振动之外的触觉反馈模式。例如触觉事件的按时间的长度可以向用户发送某一状态的信号或者可以使用触觉事件的幅度。作为一个示例,轻振动可以指示已经进行纠正并且用户可以可能忽略它,而强振动可以指示标识错误、但是不能进行纠正,从而用户应当对问题给予更多注意。
也可以响应于用户的语音输入来提供触觉反馈。在这样的情形中,***不会寻找用户的键入错误、但是代之以寻找如下情形,在这些情形中,***对于它已经选择的单词与用户口述的单词匹配具有低置信度。触觉反馈可以比可听反馈更有帮助,因为提供口头输入的用户可能未正常注视屏幕以确定他的或者她的单词被正确理解,并且可听反馈可能不必要地让用户分心,因为可能难以在相同时间谈话和倾听。对照而言,触觉反馈将允许用户握持他的或者她的设备、让它在口袋中或者其它相似位置并且通过任何语音到文本转换以相当无侵扰的方式被通知问题。
图2A和图2B示出用于向图形用户界面添加窗口的技术的屏幕截图。一般而言,这里的技术涉及到标识用户启动的拖动运动,该拖动运动在操作***的图形用户界面中的窗口***周围(比如在滚动栏之上)开始并且移入窗口中。解译这样的用户动作为用于添加新窗口的意图,因此***创建向***在尺寸上收缩的原有窗口的侧部堆叠的新窗口。
在图2A中,示出窗口120而基本web浏览器在窗口120中运行并且在浏览器中显示网页。假设查看网页的用户研究在网页上提到的个人、用户想要找出关于个人的附加信息并且用户想要与网页上的信息并行查看该信息。一种用于进行这样的查看的有用方式将是并排或者以相似排列在显示屏上提供两个窗口。
选择目标128示出一种用来建立这样的排列的常规机制,该选择目标代表用户在浏览器的显示区右边的滚动栏之上按压。图中的从选择目标128到放下目标130的箭头代表用户在用户在放下目标130提起他的或者她的手指(例如从鼠标按钮或者触屏)之前在这两点之间的拖动运动。选择目标128可以位于滚动栏上的滚动控制126或者滚动栏上的另一位置。选择也可以是在窗口120的在用于浏览器的其中显示网页内容的显示区以外的边缘附近的另一***元素上。备选地,选择目标128可以是在窗口120的***的小距离内的位置、无论在该位置是否有可视元素。
图2B示出计算设备对用户的这样的输入的解译结果。具体而言,示出窗口120并且也示出新窗口124与原有窗口120相邻。窗口120已经在横向尺度上向下收缩与用户在图2A中拖动的程度相同的程度、即图2B中的窗口120的右边与放下目标130近似地竖直对齐。也已经响应于图2A中所示用户输入自动实例化新窗口124。窗口124可以是用于浏览器的标准通用打开页面、比如显示搜索框的页面、显示用于用户的拜访最多的站点中的若干站点的缩略图的页面或者其它这样的内容。
图2A中的来自用户的输入也可以指示在实例化窗口124时将在窗口124中显示什么页面。例如选择目标128可以是网页上的元素、比如URL 127(其中放下目标是屏幕的边缘或者在当前为浏览器的聚焦的窗格或者标签以外的区域),并且可以在窗口124中打开对应于该URL的网页。
虽然这里的示例聚焦于web浏览器和网页,但是这些技术可以与其它应用一起使用。例如字处理应用的用户可以进行相似拖动运动并且让新文档在新窗口或者窗格中打开。可以将新文档与原有文档一起建立为两个子文档,该子文档包含在更大的文档中。例如这样的拖动可以用来打开用于书籍的手稿中的新章节,其中用于整本书的文档包含用于每章的子文档。
图3A和3B在概念上示出响应于移动计算设备130的运动在设备130上激活地图应用。图3A将静止汽车132中的设备130与设备130的屏幕截图一起示出而图3B将移动的相同汽车132与设备130的屏幕截图一起示出以便醒目显示用于设备130的示例操作模式。
在图3A中,设备130比如通过放置于汽车132的仪表板上的机座中来装配到汽车132。汽车132未移动,并且设备130简单地显示用于设备130上的操作***的桌面。例如设备可以显示一个或者多个图标138——选择该一个或者多个图标可以使设备130上的各种应用起动——和图标组134。此外,可以在桌面上显示小部件或者小配件、比如时钟136或者其它这样的程序。因此,以熟悉方式提供设备130上的显示。
在图3B中,汽车132的驾驶员已经开始移动,并且作为结果,设备130中的GPS模块可以计算设备130也就是汽车132的速度。可以根据公式、比如在汽车132的静止与移动表示之间示出的公式通过确定在时间段内在两点之间的距离并且除以时间段以便获得行进速率来进行这样的确定。
设备130在这一示例中具有比较该计算的速度与预定速度的程序,并且在满足或者超过预定速度时,设备130将它的显示从桌面显示改变成形式为地图的导航显示140,该地图示出设备130和汽车132在地图上的位置。以这一方式,设备可以基于移动用户将想要具有关于他们的最新位置的信息这样的推断来自动改变模式。
虽然示出这里的显示140为仅提供导航信息,但是可以在显示上维护其它信息。例如可以保留沿着显示的***的条带用于显示传入消息(例如用于传入电话呼叫的呼叫者ID信息、来自传入电子邮件的主题行等),并且用户可以选择消息提醒上的区域以让关于对应消息的更多信息显示于导航显示之上或者可以让它替换导航显示。在特定事件、比如传入电话呼叫出现时,在用户接听呼叫之时,也可以将导航显示推向拆分屏幕中的侧部或者可以完全去除导航显示。
向用户示出的导航显示的类型也可以依赖于设备130检测的速度。例如在低速度,设备130可以推断用户在步行或者骑自行车并且可以示出具有适合于这样的活动的细节、比如本地商店、公共汽车站和ATM的地图。在更高速度,显示可以代之以示出与汽车的驾驶员相关的信息、比如加油站、驾驶方向和当前交通信息。可以在两个模式中示出某些信息、比如咖啡店的位置。
导航显示的缩放水平也可以响应于设备130的速度改变而自动改变。例如,如果速度在每小时十英里以下以便指示用户在步行,则可以设置缩放水平,从而设备130示出一个或者多个街区。如果速度在每小时六十英里左右,则可以自动重设缩放水平,从而设备130示出若干英里的范围。
以这里所示方式,然后可以响应于感测的设备运动使导航显示成为设备的聚焦,从而用户无需显式地请求这样的显示。导航显示的特定模式也可以根据设备移动的速度而改变。
图4A和4B示出计算设备142的屏幕截图,该计算设备具有触板输入机制和响应于触板输入机制上的特定手势的屏幕上元素。在这一示例中,设备142是以具有与触屏相邻的触板的记事本计算机这一形式、但是将通常是以笔记本或者膝上型计算机的形式,该笔记本或者膝上型计算机具有铰链连接的两个单元而图形显示在单元之一中并且具有触板(和对应选择按钮)的键盘在另一单元上。
在图4A中,示出设备142在图形显示144上显示网页156。在显示144的左边示出可选择标签154。标签154上的箭头向设备142的用户指示他可以比如用触板或者鼠标操作指针来选择标签154并且可以向右拖动它以便将当前(尽管仅为推断)位置从显示144的左侧以外的一个或者多个对象拖到屏幕上。
备选地并且如接触点148所示,用户可以通过使设备142接触触板146的左侧、然后将他的手指拖到触板146的表面上来指示将对象从显示144左侧的区域拉到显示上的意图,并且进入表面充分距离以登记(register)这样的意图。虽然不会感测用户的手指从触板的边缘离开,但是可以在向触板表面上的方向上将它的恰在触板146的边缘的第一次存在与它的与左边成直角的定向一起感测。如图4B中所示,从用户向触板146上的点150的输入使信息面板152产生动画以便与用户的手指在触板上的移动协调地横贯显示144滑动。一般在水平和直线挥动中从触板146的右边离开并且向它的表面上或者从触板146上的区域并且从触板的左边离开的对应挥动可以指示用于从显示144去除信息面板152使得设备142返回到图4A的外观这样的意图。虽然利用具有水平用户挥动运动的左和右边描述移动,但是也设想具有对应竖直用户挥动运动的顶和底边。
在一些实现中,标签154示出如图4A中那样在位于显示的边缘时的第一内容。在面板152滑到显示144上时,在面板152上示出第二内容。在一些实施例中,第一内容是第二内容的子集。例如第一内容可以是第二内容的缩写版本,因为标签154小于面板152、因此不能示出与面板152同样多的内容。
在用户输入的这一实现中,在用户在触板146上挥动他们的手指时在显示144上的对应点是否将在标签154之上(在这一情形中在显示144的中心)无足轻重。无论手指相对于触板146的竖直位置如何,从触板146出发的运动的实例代之以被设备理解为指示运动抓取标签154。
点150的特定位置可以影响或者可以未影响设备142对用户输入的反应。例如可以要求点150延伸到触板146中足够远以至少指示用户在横贯触板146提供水平输入。点150的最终位置也可以控制面板152向显示144上滑动多远。也就是说,面板152从显示器144的边缘向显示144的主题滑动的距离可以对应于用户的拖动运动的长度。例如面板152可以具有两个竖直信息列,并且如果用户横贯触板146拖动少于半途(或在某一其它距离)则可以显示一个竖直列,而如果用户拖动更远则可以显示两列。备选地,面板152从显示144向显示144的主体滑动的距离可以对应于用户的拖动运动的速率。
也沿着显示144的左边示出并且可以可选地与触板146组合提供触摸栏155。触摸栏可以在设备142的斜面上从设备142的图形显示部分离开并且可以是具有相对低分辨率的触敏设备。如图所示,在适当境况中,触摸栏155可以具有各自涉及web浏览操作的多个区域,该web浏览操作比如是示出书签、前往主页和向前或者向后移动。区域可以各自尺寸被设定成使得用户可以在食指捏在边框后时容易在相关选择处按压他们的拇指。触摸栏155的区域也可以包括用于标识用户的有限运动的功能,该有限运动比如是从触摸栏155的边缘离开从触摸栏155上的图标上面拖动他们的拇指这样的运动。这样的运动可以分配给特定功能并且也可以或者备选地可以可由设备142上运行的应用编程。
因此,使用设备142的边框中的触摸栏155,可以向用户提供附加快速输入机制、但是无需向键盘添加键。也可以使用用于接收和解译边框输入的各种其它技术。例如边框选择可以包括用于控制音乐播放器的图标,并且触摸栏155可以卷绕于设备142周围,从而它的按钮中的一些按钮(比如用于web浏览或者将随着膝上型计算机顶部打开一起出现的别的功能)从设备142以内可视,并且它的其它按钮在它闭合时从设备以外可视(例如可以在使设备142完全上电时访问的音乐播放器控件)。
图5是用于执行上文和下文描述的技术的移动计算设备的示意图。这里以智能电话的形式示出设备,但是设备可以采用各种其它形式、比如桌面型个人计算机、上网本计算机或者膝上型计算机。在这一示例中,移动设备502是基于滑盖的智能电话,该智能电话具有用于输入和输出的触屏显示504以及作为备选输入机制的轨迹球506。
显示504示出如下示例,该示例以如同上述页面的方式在chrome免费(chrome-free)的浏览器中显示地图应用并且信息面板在显示504的左侧并且从显示的左边向内延伸,这与上文的讨论相似。
在设备502内部示意地示出多个部件以指示设备中的部件,这些部件与上文和下文更具体讨论的特征关联并且用来实施上文和下文更具体讨论的技术。可以实施部件中的一个或者多个部件为存储于设备上的存储器中并且在设备502上的可编程微处理器上操作,尽管为了说明清楚而在这一示例中单独地示出特定部件。也设想其它部件和部件布置。
设备502包括用于控制将在触屏显示504上向用户示出的各种元素的显示管理器508,而输入管理器512管理从显示504上的触屏或者其它机制、比如轨迹球506接收的输入。显示管理器508可以从各种应用和从操作***的其它部件接收信息并且可以确定在显示504上相对于其它元素显示什么元素、隐藏哪些元素以及如何相对于彼此示出可视元素。
输入管理器512可以与显示管理器508协调以便解译用户用设备进行的动作。例如用户可以将他们的手指放置于触屏显示504上或者可以在触屏显示504上移动指针、然后进行选择。输入管理器512可以参考显示管理器508以确定用户通过这样的动作选择什么项目并且可以生成可以向可以比如通过使用事件管理器510来预订事件的各种其它部件报告的这样的事件。
也可以向设备502提供各种服务,可以使这些服务可用于在设备上运行的应用和/或可用于设备的操作***。例如GPS模块514——该GSP模块可以是常见的商业上获得的模块——可以进行关于设备504的位置的确定并且可以向各种应用提供这样的信息,比如提供驾驶指引的应用、提供用户的位置以供用户在社交网络内的好友参考的应用等。这样的服务可以参考比如上文关于图3A和3B以及下文关于图8讨论的技术。以相似方式,拼写纠正器516可以提供一般可为设备上运行的各种应用所用的服务,从而那些应用可以纠正用户已经输入的数据或者另外向用户通知输入的问题。这样的通知可以经由触觉反馈、比如上文关于图1和1B以及下文关于图6讨论的触觉反馈。
也可以在设备502中提供各种物理输出机制。例如可以提供振动器522以向用户给予触觉反馈。振动器522可以具有设备上的各种应用或者服务可以调用的关联控制器(未示出)。例如拼写纠正器516可以无论拼写纠正器516何时标识拼写错误都使设备504振动。也可以提供声音控制器524和有关音频扬声器以比如以音调或者合成话音的形式向用户给予附加反馈。
各种应用、比如应用518、520可以在设备上运行并且可以提供用于将通过显示管理器512显示的图形的数据。应用可以是设备502上的操作***的部分或者可以由设备502的用户比如从在线应用商店添加。在这一示例中,第一应用是地图应用518并且可以作为独立应用或者在浏览器应用520中运行的应用或者插件来运行。浏览器应用520可以是独立应用或者内置于设备502上运行的操作***中的部件并且可以生成如在本文中别处具体描述的显示。也可以在设备502上提供或者安装、包括由设备502的用户提供或者安装其它应用。
可以经由无线接口526通过网络、比如连接到因特网的无线通信网络接收用于操作***和应用518、520的各种消息。可以向应用518、520提供从网络、比如从一个或者多个远程服务器接收的信息,并且可以从应用518、520向网络传递回信息。
此外,可以在设备502上提供包括易失性存储装置和持续存储装置的各种形式的存储装置。持续存储装置可以包括各种数据存储库、比如应用数据528、词典数据530和用户信息532。词典数据530如上文描述的那样与拼写纠正器516协调并且由拼写纠正器516用来提供信息,该信息允许拼写纠正器516确定用户录入的词项是否是恰当拼写的。应用数据528可以包括各种应用518、520为了执行它们的功能而需要的无论任何数据。根据应用,可以如与存储于远程服务器***上比对的那样在设备502上本地存储更多或者更少数据。例如某些设备可以本地存储用于地图应用的数据,而其它设备可以在用户在地图上导航时从远程服务器获得地图数据(例如示出地理区域的部分的图像的地图平铺)并且可以在以后不久转存数据。
用户信息532可以包括关于计算设备502的一个或者多个用户的具体信息。例如用户信息可以包括用于用户的简档信息以及设置信息,该设置信息控制设备502与用户的交互并且也可以控制各种应用在设备502上操作的方式。虽然这里为了清楚而示出三个各种数据存储库,但是大量其它信息将并且可以存储于设备502上并且无需如这里所示那样布置。
图6是用于与纠正用户在计算设备上的数据录入协调地提供触觉反馈的过程的流程图。一般而言,该过程涉及到自动摇动或者振动移动设备以便向用户指示已经对用户输入的信息进行成功或者不成功改变(或者未改变)。
该过程始于框302,其中计算设备接收键入的用户输入。这样的输入可以通过设备上运行的一个或者多个应用、比如字处理应用、电子邮件应用、web浏览器应用和其它相似应用而出现。输入也可以是比如语音到文本转换器转换成用于应用的文本的口头输入。在框304,该过程标识输入的文本中的单词间断、比如用户录入的空格或者如语音到文本转换器确定的单词结束。在框306,拼写纠正应用分析录入的单词或者由多个单词组成的短语并且确定单词未与存储于设备上或者变得可由设备访问的词典中的任何单词匹配。可以简单地通过比较单词与词典中的单词列表或者通过比较上下文中的单词以更好地确定单词的恰当拼写来进行这样的确定。
在框308,该过程访问自动纠正服务以纠正单词。可以用多种熟悉形式实施这样以便使用词典数据以确定恰当单词拼写或者确定讲话的用户口述什么单词。
在框310,该过程向触觉设备赋能以向用户发送单词纠正的信号。这样的发信号可以涉及到向触觉设备赋能,从而用户轻微地感觉振动。在使用设备片刻之后,用户将固有地理解振动指示对在设备上录入的数据的纠正。更强振动或者紧密接连的两个振动实例可以用来指示设备不能纠正词项的拼写或者不能识别向设备口述的词项。也可以响应于标识用户输入中的错误来提供其它相似触觉反馈机制,比如在文本中的错误自动纠正时或者在它们自动纠正,在可以自动进行纠正时用更少侵犯的信号而在不能恰当纠正它们或者不能确定单词时用更严重信号。在后一种情况下,更严重信号可以让用户停止他们进行的操作并且向设备给予更多注意以进行他们的输入的人工纠正。
框312示出这样的用户对单词的人工纠正。以虚线格式示出该框,因为即使在触觉反馈指示设备不能自动进行纠正时、比如在用户不想停止他们在当前时间的输入并且打算在他们完成录入数据之后进行纠正时用户无需进行这样的纠正并且可以忽略他们的设备。
以这一方式,计算设备可以方便地向正在向设备录入数据的用户提供回输入。提醒机制可以是低音调,因为可以提供它以免中断用户录入信息,并且用户无需停止录入信息以被这样通知。用户因此如果他们选择则可以继续录入信息或者如果他们选择则解决他们的信息录入中的问题。
图7是用于响应于在窗口***上的用户输入来生成显示元素的过程的流程图。一般而言,该过程涉及到响应于在图形用户界面上已经显示的窗口的***附近的用户选择来打开界面上的新窗口或者相似屏幕上元素。用户选择可以始于窗口的***并且在窗口的内部部分滑动从而实质上指示用于将窗口的一侧滑向侧部并且也在第一打开窗口腾出的区域中提供新窗口的用户意图。在本文中,术语窗口用来标识以边界从其周围元素分开的图形屏幕上元素,并且在边界以内的选择代表用户关于特定应用的动作。
该过程始于框314,其中在图形用户界面中的第一窗口中显示内容。内容可以是web浏览器中的网页、子处理应用中的文档或者另一相似形式。在某些实例中,可以沿着内容的一侧或者沿着内容的顶部或者底部以熟悉方式显示滚动栏以允许经过内容的加速移动。在框316,该过程标识在第一窗口的边缘、比如在其中显示滚动栏的区域中的选择。选择可以出现于滚动栏的特定区域中,比如在滚动栏的该区域中显示滚动按钮。在框318,过程标识向第一窗口的主体中拖动。具体而言,该过程可以确定用户已经先沿着窗口的***、比如沿着图形显示本身的***选择并且已经比如通过从左到右或者从右到左的水平拖动来向文档的主体中向内拖动。
响应于标识这样的拖动,该过程在框320可以生成与第一用户窗口相邻的第二用户窗口。第二窗口的这样的生成可以出现于该过程已经收缩第一窗口以在显示或者第二窗口上腾出空间之后。第二窗口的这样的生成也可以等待用户释放指针按钮,从而用户可以初始地向内滑动并且看见窗口的在它们移动之时显示的内嵌图像,从而他们可以在两个窗口移动时看见它们的将来尺寸。
第一窗口的收缩和第二窗口的定位可以放置于多种位置,并且一个这样的位置可以是在如下点,用户在开始他们在窗口的***的拖动运动之后在该点释放他们的选择按钮。例如,如果第一窗口填充整个显示并且用户从窗口的右手滚动栏向左横贯显示半途拖动,则第一窗口可以在这样的操作之后填充显示的左一半并且新窗口可以填充显示的右一半,如在框322所示。
在新窗口中示出的信息可以采用多种形式。例如可以在第二窗口中初始地显示空白文档、比如空白字处理文档或者用于web浏览器的通用第一屏幕,该第一屏幕示出用户已经拜访的多个先前网站或者用户可以在其中录入一个或者多个搜索查询的搜索框。新窗口可以备选地显示与在第一窗口中显示的内容、比如网页链接的目标有关的信息。以这样的方式,用户可以点击第一页面上的链接并且拖向页面的***或者拖入离开窗口的区域中并且命令打开新窗口,该新窗口自动显示链接的目标。备选地,用户运动可以始于窗口的***并且拖向页面上的链接以便在新窗口(该新窗口可以是有标签的浏览器中的标签)中打开链接的目标。
图8是用于响应于计算设备的运动自动激活导航应用的过程的流程图。一般而言,该过程涉及到自动响应于计算设备并且一般为移动计算设备的速度改变来改变设备上的显示。
该过程始于框324,其中过程比如通过在蜂窝电话塔或者WiFi 热点之间的三角测量以及其它技术来监视设备的运动,该设备使用GPS功能或者其它功能。监视可能出现于设备上的事件处置器中,该事件处置器作为设备操作***的部分,其中各种应用或者其它过程可以登记将在设备的GPS模块生成信息时通知的意图。
在框326,该过程标识在预定水平或者以上的运动。这样的确定可以由事件处置器本身进行,从而仅在速度在某个水平以上时向应用提供通知。备选地,应用根据这里描述的过程可以接收设备生成的任何GPS数据并且可以进行它自己的对设备的速度已经超过预定水平的确定。
在框328,该过程检查可用应用,这些应用可以是如下应用,这些应用表达将在设备的速度超过某个速度时通知的意图。一个这样的应用可以包括地图应用,该地图应用可以被编程为在设备的速度超过某个预定水平、比如用于指示用户在从一个地点步行、骑自行车或者驾驶到另一地点的水平时自动实例化本身并且变成设备的聚焦。在框330,该过程在与GPS单元确定的速度对应的模式中激活地图应用或者另一应用。例如第一模式可以涉及低速模式、比如用户步行,从而该模式显示与步行用户相关的信息。可以响应于指示用户驾驶的速度触发第二模式,并且第二模式可以用地图应用显示与驾驶员相关的信息、比如在设备在其上移动的道路附近的加油站和快餐店的位置。
以这一方式,这里示出的技术可以用来将移动设备的聚焦改变成与带着他们的移动设备移动的用户相关的应用。作为结果,用户可以接收信息而无需如可能的情况那样明确地请求信息并且潜在地无需如可能的情况那样从步行或者驾驶移开用户的注意力。
图9A是用于响应于触板的用户操纵向图形显示引入元素的过程的流程图。一般而言,该过程涉及到标识从触摸输入机制的表面离开并且进入触摸输入机制上的区域中的用户运动,其中通过该机制在它的恰好边缘首先感测到接触或者运动这样的事实推断运动开始为从机制离开。
该过程始于框332,其中设备在屏幕上显示应用并且在屏幕的边缘显示指示符。在这一示例中,在屏幕的边缘的指示符向设备的用户可视地标识从图形用户界面的显示的边缘离开停放正常可视元素。在这一示例中示出元素有箭头在它上以便向用户自然地指示选择元素将在箭头的方向上产生某一类运动。其它机制也可以用来向用户指示图形元素在某一意义上当前位置离开图形显示的边缘。
在框334,该过程接收在设备的触板表面上的运动,并且在块336,设备标识运动在触板表面的边缘的起点。设备也可以标识运动在触板的边缘具有速率、因此必须已经从触板的边缘出发。设备可以使用这样的确定以标识运动在其中先标识接触出现的触板的边缘上出发并且输入从它的出发地移到触板上。设备然后可以解译这样的运动为涉及到用于从图形用户显示滑开项目并且从显示的一侧滑动到显示上的用户意图,该侧对应于触板的如下侧,用户从该侧将他的或者她的手指滑动到触板上。即使触板上的接触点将未对应于标签或者其它元素——该标签或者其它元素向用户指示有将带到显示上的屏幕外元素——在显示上的位置,仍然可以进行这样的确定。
在框338,该过程为从屏幕的边缘向背景之上和/或向显示上的其它显示的应用之上滑动的面板赋予动画,该边缘对应于触板的如下边缘,用户的输入在该边缘上进入触板。动画可以是元素向视图中的简单滑动或者更复杂运动。被赋予动画进入视图中的可视元素也可以采样各种形式、比如条带、面板或者工具栏。用户可以如图9B中所示通过从触板上的位置挥动到从触板的边缘离开来再次隐藏元素。
图9B是用于响应于用户操控触板从图形显示去除元素或者减少图形显示中的元素尺寸的过程的流程图。一般而言,该过程涉及到标识从触摸输入机制的表面在触摸输入机制的边缘终止的用户运动,其中通过该机制上次感测的接触是在它的恰好边缘上或者恰好边缘的运动这样的事实推断运动的结束为从机制离开。
该过程始于框602,其中设备在屏幕上显示应用面板。可以在屏幕上完全最大化或者仅部分显示应用。在多数实施例中,在屏幕的中间附近显示应用。
在框604,该过程接收设备的触板表面上的运动,并且在块606,设备标识运动在触板表面的边缘的末端或者终止点。设备也可以标识运动在触板的边缘具有减速速率、因此必须已经在触板的边缘或者附近终止。设备可以使用这样的确定以标识运动在接触上次被标识为出现的边缘上在触板以外终止、并且输入从它开始的地方从触板移动。设备然后可以解译这样的运动为涉及到用于从图形用户显示滑开项目或者滑向显示的一侧的用户意图,该侧对应于触板的如下侧,用户从该侧将他的或者她的手指滑动到触板上。即使触板上的接触点将未对应于标签或者其它元素——该标签或者其它元素向用户指示存在将从显示带出的屏幕上元素——在显示上的位置,仍然可以进行这样的确定。
在框608,该过程向面板赋予如下动画:滑向触板表面的边缘,从而显露先前被面板覆盖的背景和/或其它显示的应用。向面板赋予动画以滑向屏幕的与触板的如下边缘对应的边缘,用户的输入在该边缘终止于触板上。动画可以是元素从视图的简单滑动或者更复杂运动。同样,被赋予动画进入视图中的可视元素也可以采样各种形式、比如条带、面板或者工具栏。
通过这一过程,则设备可以提供用来延伸显示的方便机制,从而可以容易从实际显示移开某些元素、然后移回到显示上。用户可以快速取回附加内容而无需仔细定位指针或者其它项,但是可以代之以在触板或者相似输入机制周围的大致区域中快速挥动。
图10示出可以与这里描述的技术一起使用的通用计算机设备400和通用移动计算机设备450的示例。计算设备400旨在于代表各种形式的数字计算机、比如膝上型计算机、桌面型计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当计算机。计算设备450旨在于代表各种形式的移动设备、比如个人数字助理、蜂窝电话、智能电话和其它相似计算设备。这里所示部件、它们的连接和关系及其功能意味着仅为示例、而并非意味着限制在本文中描述和/或要求保护的本发明的实现。
计算设备400包括处理器402、存储器404、存储设备406、连接到存储器404和高速扩展端口410的高速接口408、以及连接到低速总线414和存储设备406的低速接口412。使用各种总线来互连并且可以在共同母板上装配或者以如适当的其它方式装配部件402、404、406、408、410和412中的每个部件。处理器402可以处理用于在计算设备400内执行的指令,这些指令包括存储器404中或者存储设备406上存储的用于在外部输入/输出设备、比如耦合到高速接口408的显示器416上显示用于GUI的图形信息的指令。在其它实现中,多个处理器和/或多个总线可以如适当的那样与多个存储器和存储器类型一起使用。也可以连接多个计算设备400而每个设备提供必需操作的部分(例如作为服务器组、成组刀片服务器或者多处理器***)。
存储器404存储计算设备400内的信息。在一个实现中,存储器404是一个或者多个易失性存储器单元。在另一实现中,存储器404是一个或者多个非易失性存储器单元。存储器404也可以是另一形式的计算机可读介质、比如磁盘或者光盘。
存储设备406能够提供用于计算设备400的海量存储装置。在一个实现中,存储设备406可以是或者包含计算机可读介质、比如软盘设备、硬盘设备、光盘设备或者带设备、闪存或者其它相似固态存储器设备或者如下设备的阵列,这些设备包括存储区域网络或者其它配置中的设备。可以在信息载体中有形地具体化计算机程序产品。计算机程序产品也可以包含在被执行时执行一种或者多种方法、比如上文描述的方法的指令。信息载体是计算机或者机器可读介质、比如存储器404、存储设备406、在处理器402上的存储器或者传播的信号。
高速控制器408管理用于计算设备400的带宽密集操作,而低速控制器412管理更低带宽密集操作。这样的功能分配仅为示例。在一个实现中,高速控制器408耦合到存储器404、显示器416(例如通过图形处理器或者加速器)并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口410。在该实现中,低速控制器412耦合到存储设备406和低速扩展端口414。可以包括各种通信端口(例如USB、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到一个或者多个输入/输出设备、比如键盘、指点设备、扫描仪或者联网设备、比如交换机或者路由器。
如图中所示可以用多个不同形式实施计算设备400。例如可以实施它为标准服务器420或者多次实施于成组的这样的服务器中。也可以实施它为架式服务器***424的部分。此外,可以在个人计算机、比如膝上型计算机422中实施它。备选地,来自计算设备400的部件可以与移动设备(未示出)、比如设备450中的其它部件组合。这样的设备中的每个设备可以包含计算设备400、450中的一个或者多个计算设备,并且整个***可以由相互通信的多个计算设备400、450组成。
计算设备450包括处理器452、存储器464和输入/输出设备、比如显示器454、通信接口466和收发器468以及其它部件。设备450也可以具有用于提供附加存储装置的存储设备、比如微驱动或者其它设备。使用各种总线来互连部件450、452、464、454、466和468中的每个部件,并且可以在共同母板上或者以如适当的其它方式装配部件中的若干部件。
处理器452可以执行计算设备450内的指令,这些指令包括存储器464中存储的指令。可以实施处理器为包括分离以及多个模拟和数字处理器的芯片的芯片组。处理器可以例如提供设备450的其它部件的协调、比如控制用户界面、设备450运行的应用和设备450的无线通信。
处理器452可以通过控制接口458和耦合到显示器454的显示接口456与用户通信。显示器454可以例如是TFT LCD(薄膜晶体管液晶显示器)或者OLED(有机发光二极管)显示器或者其它适当显示器技术。显示器接口456可以包括用于驱动显示器454以向用户呈现图形和其它信息的适当电路装置。控制接口458可以从用户接收命令并且转换它们用于向处理器452提交。此外,可以提供与处理器452通信的外部接口462以便实现设备450与其它设备的近区域(near area)通信。外部接口462可以例如在一些实现中提供有线通信或者在其它实现中提供无线通信,并且也可以使用多个接口。
存储器464存储计算设备450内的信息。可以实施存储器464为一个或者多个计算机可读介质、一个或者多个易失性存储器单元或者一个或者多个非易失性存储器单元中的一项或者多项。也可以提供扩展存储器474并且该扩展存储器可以通过可以例如包括SIMM(单列直插存储器模块)卡接口的扩展接口472连接到设备450。这样的扩展存储器474可以提供用于设备450的额外存储空间或者也可以存储用于设备450的应用或者其它信息。具体而言,扩展存储器474可以包括用于实现或者补充上文描述的过程的指令并且也可以包括安全信息。因此例如可以提供扩展存储器474作为用于设备450的安全模块并且可以用允许安全使用设备450的指令对扩展存储器474编程。此外,可以经由SIMM卡将安全应用与附加信息一起提供、比如以不可黑客方式将标识信息放置于SIMM卡上。
如下文讨论的那样,存储器可以例如包括闪存和/或NVRAM存储器。在一个实现中,在信息载体中有形地具体化计算机程序产品。计算机程序产品包含在被执行时执行一种或者多种方法、比如上文描述的方法的指令。信息载体是计算机或者机器可读介质、比如存储器464、扩展存储器474、在处理器452上的存储器或者可以例如通过收发器468或者外部接口462接收的传播的信号。
设备450可以通过可以在必要时可以包括数字信号处理电路装置的通信接口466无线地通信。通信接口466可以在各种模式或者协议、比如GSM语音呼叫、SMS、EMS或者MMS消息接发、CDMA、TDMA、PDC、WCDMA、CDMA2000或者GPRS以及其它模式或者协议之下提供通信。可以例如通过射频收发器468发生这样的通信。此外,可以比如使用蓝牙、WiFi或者其它这样的收发器(未示出)出现短程通信。此外,GPS(全球定位***)接收器模块470可以向设备450提供附加的与导航和位置有关的无线数据,该数据可以如适当的那样由在设备450上运行的应用使用。
设备450也可以使用音频编码解码器460来可听地通信,该编码解码器可以从用户接收口述信息并且将它转换成可用数字信息。音频编码解码器460可以类似地比如通过例如在设备450的头戴式受话器中的扬声器生成用于用户的可听声音。这样的声音可以包括来自语音电话呼叫的声音、可以包括记录的声音(例如语音消息、音乐文件等)并且也可以包括设备450上操作的应用所生成的声音。
如图中所示,可以用多个不同形式实施计算设备450。例如可以实施它为蜂窝电话480。也可以实施它为智能电话482、个人数字助理或者其它相似移动设备的一部分。
可以在数字电子电路装置、集成电路装置、特殊设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现这里描述的***和技术的各种实现。这些各种实现可以包括在可编程***上可执行和/或可解译的一个或者多个计算机程序中的实现,该可编程***包括可以是特殊或者通用的至少一个可编程处理器、至少一个输入设备和至少一个输出设备,该可编程处理器被耦合用于从存储***接收数据和指令以及向存储***传输数据和指令。
这些计算机程序(也称为程序、软件、软件应用或者代码)包括用于可编程处理器的机器指令并且可以用高级过程和/或面向对象的编程语言和/或用汇编/机器语言来实施。如这里所用,术语“机器可读介质”、“计算机可读介质”指代用来向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑器件(PLD)),该计算机程序产品、装置和/或设备包括接收机器指令为机器可读信号的机器可读介质。术语“机器可读信号”指代用来向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互,可以在计算机上实施这里描述的***和技术,该计算机具有用于向用户显示信息的显示设备(例如CRT(阴极射线管)或者LCD(液晶显示器)监视器)以及用户可以用来向计算机提供输入的键盘和指点设备(例如鼠标或者轨迹球)。其它种类的设备也可以用来提供与用户的交互;例如向用户提供的反馈可以是任何形式的感官反馈(例如视觉反馈、听觉反馈或者触觉反馈);并且可以用包括声音、话音或者触觉输入的任何形式接收来自用户的输入。
可以在计算***中实施这里描述的***和技术,该计算***包括后端部件(例如作为数据服务器)或者包括中间件部件(例如应用服务器)或者包括前端部件(例如具有如下图形用户界面或者Web浏览器的客户端计算机,用户可以通过该图形用户界面或者Web浏览器与这里描述的***和技术的实现交互)或者这样的后端、中间件或者前端部件的任何组合。***的部件可以由任何数字数据通信形式或者介质(例如通信网络)互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算***可以包括客户端和服务器。客户端和服务器一般相互远离并且通常通过通信网络交互。借助在各计算机上运行并且相互具有客户端-服务器关系的计算机程序来产生客户端和服务器关系。
已经描述许多实施例。然而将理解可以进行各种修改而未脱离本发明的精神实质和范围。例如已经关于电视广告描述本文档的许多内容,但是也可以解决其它形式的将来的基于查看者资格的广告、比如电台广告和在线视频广告。
此外,在图中描绘的逻辑流程无需所示特定顺序或者序列顺序以实现所需结果。此外,可以提供其它步骤或者可以从描述的流程消除步骤并且可以向描述的***添加或者从描述的***去除其它部件。因而,其它实施例在所附权利要求的范围内。

Claims (27)

1.一种用于计算设备的计算机实施的用户输入过程,所述过程包括:
在计算设备上的触板表面上接收横贯所述触板表面拖动的用户输入运动,所述计算设备具有图形显示;
通过标识在所述触板表面的***边缘处针对所述输入运动感测的第一位置并且通过标识所述用户输入运动在进入所述触板表面的所述***边缘时具有现有速率来将所述用户输入运动标识为从所述触板的边缘始发离开;以及
响应于标识所述用户输入运动,在所述图形显示上显示第一滑动图形元素,所述第一滑动图形元素被赋予动画以在所述图形显示上的第一非移动元素之上从所述图形显示的边缘移入所述图形显示的主体中,其中所述触板表面与所述图形显示是分离的。
2.根据权利要求1所述的过程,还包括将在所述触板上接收的所述用户输入运动映射到所述图形显示上的对应点。
3.根据权利要求1所述的过程,其中所述第一滑动图形元素在与所述用户输入运动相对应的方向上移动。
4.根据权利要求1所述的过程,其中接收用户输入运动包括接收从所述触板表面的右侧或者左侧进入所述触板表面的输入运动。
5.根据权利要求1所述的过程,其中接收用户输入运动包括接收从所述触板表面的顶侧或者底侧进入所述触板表面的输入运动。
6.根据权利要求1所述的过程,还包括计算用于所述用户输入运动的矢量。
7.根据权利要求1所述的过程,其中所述第一滑动图形元素从所述图形显示的所述边缘移入所述图形显示的所述主体中的距离对应于所述用户输入拖动运动的长度。
8.根据权利要求1所述的过程,其中所述第一滑动图形元素从所述图形显示的所述边缘移入所述图形显示的所述主体中的距离对应于所述用户输入拖动运动的速率。
9.根据权利要求1所述的过程,其中所述第一滑动图形元素在从所述图形显示的所述边缘移动之前显示第一内容,并且在移入所述图形显示的所述主体中之后显示第二内容。
10.根据权利要求9所述的过程,其中所述第一内容是所述第二内容的子集。
11.根据权利要求1所述的过程,还包括在所述图形显示之上的所述触板表面上接收横贯所述触板表面拖动的第二用户输入运动;
通过标识在所述触板表面的***边缘处的针对所述输入运动感测的最后位置来将所述第二用户输入运动标识为在所述触板上始发并且在所述触板的所述边缘以外终止;以及
响应于标识所述第二用户输入运动,在所述图形显示上显示第二滑动图形元素,所述第二滑动图形元素被赋予动画以在所述图形显示上的第二非移动元素之上从所述图形显示的所述主体移向所述图形显示的边缘。
12.根据权利要求11所述的过程,其中所述第一滑动图形元素和所述第二滑动图形元素相同。
13.根据权利要求12所述的过程,其中所述第一非移动元素和所述第二非移动元素相同。
14.一种用于计算设备的计算机实施的用户输入过程,所述过程包括:
在与图形显示分离的触板表面上接收横贯所述触板表面拖动的用户输入运动;
通过标识在所述触板表面的***边缘处针对所述输入运动感测的最后位置并且通过标识所述用户输入运动在所述触板表面的所述***边缘处具有减速速率来将所述用户输入运动标识为从所述触板上始发并且在所述触板的边缘以外终止;以及
响应于标识所述用户输入运动在所述图形显示上显示滑动图形元素,所述滑动图形元素被赋予动画以在所述图形显示上的非移动元素之上从所述图形显示的主体移向所述图形显示的边缘。
15.根据权利要求14所述的过程,其中接收用户输入运动包括接收在所述触板表面的右侧或者左侧退出所述触板表面的输入运动。
16.根据权利要求14所述的过程,其中接收用户输入运动包括接收在所述触板表面的顶侧或者底侧退出所述触板表面的输入运动。
17.根据权利要求14所述的过程,其中所述滑动图形元素在与所述用户输入运动相对应的方向上移动。
18.根据权利要求14所述的过程,其中所述用户输入运动在所述触板表面上的、与所述滑动图形元素在所述图形显示上的位置对应的位置中始发。
19.根据权利要求14所述的过程,其中所述滑动图形元素被赋予动画以进一步从所述图形显示的所述边缘移开所述图形显示。
20.根据权利要求14所述的过程,还包括将在所述触板上接收的所述用户输入运动映射到所述图形显示上的对应点。
21.一种***,包括:
计算设备上的图形显示;
所述图形显示上的非移动元素;以及
滑动图形元素,其能够响应于从触板的边缘始发离开并且在进入所述触板的所述边缘时具有现有速率的标识的拖动输入运动,在所述非移动元素之上从所述图形显示的边缘移向所述图形显示的主体,其中所述滑动图形元素还能够响应于在所述触板的所述边缘以外终止并且在所述触板的所述边缘处具有减速速率的标识的拖动输入运动,在所述非移动元素之上从所述图形显示的所述主体移向所述图形显示的所述边缘,
其中所述触板与所述图形显示是分离的。
22.根据权利要求21所述的***,其中所述滑动图形元素的移动基于在触板上接收的地图用户输入。
23.根据权利要求21所述的***,其中所述滑动图形元素的移动对应于用户输入运动。
24.根据权利要求23所述的***,其中所述滑动图形元素的移动还对应于所述用户输入运动的长度和所述用户输入运动的速率之一。
25.根据权利要求21所述的***,还包括由所述滑动图形元素在所述滑动图形元素在位于所述图形显示的所述边缘附近的第一位置时显示的第一内容。
26.根据权利要求25所述的***,还包括由所述滑动图形元素在所述滑动图形元素在位于所述图形显示的所述主体中的第二位置时显示的第二内容。
27.根据权利要求26所述的***,其中与所述第二内容相关联的尺寸大于与所述第一内容相关联的尺寸。
CN201180064601.3A 2010-11-18 2011-11-18 表面化屏幕外可视对象 Active CN103415833B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US45832610P 2010-11-18 2010-11-18
US41517910P 2010-11-18 2010-11-18
US61/458,326 2010-11-18
US61/415,179 2010-11-18
PCT/US2011/061538 WO2012068551A1 (en) 2010-11-18 2011-11-18 Surfacing off-screen visible objects

Publications (2)

Publication Number Publication Date
CN103415833A CN103415833A (zh) 2013-11-27
CN103415833B true CN103415833B (zh) 2017-10-24

Family

ID=45092406

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810725024.1A Pending CN108920038A (zh) 2010-11-18 2011-11-18 滚动条上的正交拖拉
CN2011800627794A Pending CN103270486A (zh) 2010-11-18 2011-11-18 滚动条上的正交拖拉
CN201180064601.3A Active CN103415833B (zh) 2010-11-18 2011-11-18 表面化屏幕外可视对象

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810725024.1A Pending CN108920038A (zh) 2010-11-18 2011-11-18 滚动条上的正交拖拉
CN2011800627794A Pending CN103270486A (zh) 2010-11-18 2011-11-18 滚动条上的正交拖拉

Country Status (9)

Country Link
US (7) US8875046B2 (zh)
EP (2) EP2641155B1 (zh)
JP (6) JP6457715B2 (zh)
KR (3) KR102007023B1 (zh)
CN (3) CN108920038A (zh)
AU (2) AU2011329649B2 (zh)
CA (2) CA2818410C (zh)
DE (1) DE202011110334U1 (zh)
WO (3) WO2012068542A2 (zh)

Families Citing this family (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US8930651B2 (en) * 2007-10-05 2015-01-06 Imation Corp. Archiving system with partitions of individual archives
US8984431B2 (en) 2009-03-16 2015-03-17 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
FR2967101B1 (fr) * 2010-11-10 2017-04-21 Valeo Systemes Thermiques Facade de controle electronique pour vehicule automobile
EP2641155B1 (en) 2010-11-18 2019-07-31 Google LLC Orthogonal dragging on scroll bars
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8639494B1 (en) * 2010-12-28 2014-01-28 Intuit Inc. Technique for correcting user-interface shift errors
US20120204125A1 (en) * 2011-02-07 2012-08-09 Megan Shia User interface incorporating sliding panels for listing records and presenting record content
KR101580022B1 (ko) * 2011-03-04 2015-12-23 애플 인크. 국부적 및 전반적 햅틱 피드백을 제공하는 선형 진동기
JP5768457B2 (ja) * 2011-04-19 2015-08-26 ソニー株式会社 電子機器、表示方法及びプログラム
US9218727B2 (en) 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US9710061B2 (en) 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130055082A1 (en) * 2011-08-26 2013-02-28 Jorge Fino Device, Method, and Graphical User Interface for Navigating and Previewing Content Items
KR101860341B1 (ko) * 2011-09-09 2018-05-24 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications
US11005720B2 (en) * 2011-11-16 2021-05-11 Autoconnect Holdings Llc System and method for a vehicle zone-determined reconfigurable display
CN104115106B (zh) * 2011-12-28 2017-11-07 英特尔公司 用于本地应用和网络应用的混合移动交互
US9619038B2 (en) * 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US9128605B2 (en) * 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
KR101919008B1 (ko) * 2012-02-24 2018-11-19 삼성전자주식회사 정보 제공 방법 및 이를 위한 이동 단말기
KR101332811B1 (ko) * 2012-02-24 2013-11-27 주식회사 팬택 메시지 숨김 기능을 갖는 단말과 그 메시지 숨김 및 복원 방법
KR101894395B1 (ko) * 2012-02-24 2018-09-04 삼성전자주식회사 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기
US9363220B2 (en) * 2012-03-06 2016-06-07 Apple Inc. Context-sensitive help for image viewing and editing application
US9189876B2 (en) 2012-03-06 2015-11-17 Apple Inc. Fanning user interface controls for a media editing application
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US10078420B2 (en) * 2012-03-16 2018-09-18 Nokia Technologies Oy Electronic devices, associated apparatus and methods
US8760425B2 (en) * 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures
US9395852B2 (en) * 2012-05-07 2016-07-19 Cirque Corporation Method for distinguishing between edge swipe gestures that enter a touch sensor from an edge and other similar but non-edge swipe actions
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
AU2013262488A1 (en) 2012-05-18 2014-12-18 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
WO2014001060A1 (en) * 2012-06-27 2014-01-03 Oce-Technologies B.V. A user interaction system for displaying digital objects
JP2014010777A (ja) * 2012-07-02 2014-01-20 Fujitsu Ltd 表示プログラム、表示方法、及び情報処理装置
US9298295B2 (en) * 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct
US8977553B2 (en) * 2012-07-30 2015-03-10 Google Inc. Dynamic adjustment of text input system components
US9158440B1 (en) * 2012-08-01 2015-10-13 Google Inc. Display of information areas in a view of a graphical interface
DE102012107551A1 (de) * 2012-08-17 2014-05-15 Claas Selbstfahrende Erntemaschinen Gmbh Anzeigevorrichtung für Landmaschinen
TWI467420B (zh) * 2012-08-20 2015-01-01 Asustek Comp Inc 虛擬滑鼠及其操作方法
JP5956873B2 (ja) * 2012-08-28 2016-07-27 シャープ株式会社 携帯情報装置、選択メニュー表示方法、選択メニュー表示プログラム、および、プログラム記録媒体
US8954878B2 (en) 2012-09-04 2015-02-10 Google Inc. Information navigation on electronic devices
US9189064B2 (en) * 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
KR101957173B1 (ko) * 2012-09-24 2019-03-12 삼성전자 주식회사 터치 디바이스에서 멀티윈도우 제공 방법 및 장치
KR102069014B1 (ko) * 2012-09-25 2020-02-12 삼성전자 주식회사 휴대단말기의 분리화면 제어장치 및 방법
KR20140047897A (ko) * 2012-10-15 2014-04-23 삼성전자주식회사 터치 효과를 제공하기 위한 방법 및 그 전자 장치
CN103777797B (zh) * 2012-10-23 2017-06-27 联想(北京)有限公司 一种信息处理的方法及电子设备
US20140149916A1 (en) 2012-11-28 2014-05-29 SoMo Audience Corp. Content manipulation using swipe gesture recognition technology
GB201300031D0 (en) 2013-01-02 2013-02-13 Canonical Ltd Ubuntu UX innovations
JP6215534B2 (ja) * 2013-01-07 2017-10-18 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US20140208230A1 (en) * 2013-01-18 2014-07-24 Apple Inc. Autocorrect Highlight and Re-Work
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
CN103064683A (zh) * 2013-02-19 2013-04-24 福建榕基软件股份有限公司 Web环境下多标签页的自定义布局方法及装置
US9330407B2 (en) 2013-03-15 2016-05-03 Zazzle Inc. Specification and display of product customization options
DE102013002891A1 (de) * 2013-03-22 2014-09-25 Volkswagen Aktiengesellschaft Informationswiedergabesystem für ein Fahrzeug und Verfahren zum Bereitstellen von Informationen für den Benutzer eines Fahrzeugs
CN104063120B (zh) 2013-03-22 2017-05-17 国际商业机器公司 用于信息浏览的方法和***
US20140298245A1 (en) * 2013-03-28 2014-10-02 Microsoft Corporation Display Instance Management
US20140310600A1 (en) * 2013-04-12 2014-10-16 Fanhattan Llc System and method for changing live media content channels
JP5884090B2 (ja) * 2013-04-18 2016-03-15 パナソニックIpマネジメント株式会社 情報を提示する方法および電子機器
US20160062508A1 (en) * 2013-04-30 2016-03-03 Multitouch Oy Dynamic Drawers
US8593427B1 (en) 2013-05-10 2013-11-26 Jinrong Yang System and method for managing display power consumption
EP2994814A4 (en) * 2013-05-10 2017-05-17 Yang, Jinrong System and method for managing display power consumption
US9075612B2 (en) 2013-05-10 2015-07-07 Jinrong Yang System and method for managing display power consumption
JP6104707B2 (ja) * 2013-05-23 2017-03-29 アルパイン株式会社 電子機器、操作入力方法および操作入力プログラム
US9804745B2 (en) 2013-06-09 2017-10-31 Apple Inc. Reordering content panes in a stacked tab view
US20140365944A1 (en) 2013-06-09 2014-12-11 Apple Inc. Location-Based Application Recommendations
KR101511995B1 (ko) * 2013-06-10 2015-04-14 네이버 주식회사 제스처 정보를 이용하여 서비스에 대한 사용자간 관계를 설정하는 방법 및 시스템
JP6155869B2 (ja) 2013-06-11 2017-07-05 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
US8775965B1 (en) * 2013-06-27 2014-07-08 Google Inc. Immersive mode for a web browser
KR102148725B1 (ko) 2013-07-31 2020-08-28 삼성전자주식회사 어플리케이션을 표시하는 방법 및 장치
JP6368462B2 (ja) * 2013-08-01 2018-08-01 シャープ株式会社 情報処理装置、情報処理方法及びそのプログラム
CN105683878B (zh) 2013-09-03 2019-05-07 苹果公司 用户界面中的用户界面对象操作
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US9352848B2 (en) 2013-11-06 2016-05-31 The Boeing Company Flight deck touch screen interface for interactive displays
KR102135374B1 (ko) * 2014-06-09 2020-07-17 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9990125B2 (en) * 2013-11-15 2018-06-05 Lg Electronics Inc. Mobile terminal and method of controlling the same
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9880711B2 (en) 2014-01-22 2018-01-30 Google Llc Adaptive alert duration
US9285978B2 (en) 2014-01-23 2016-03-15 International Business Machines Corporation Using a scroll bar in a multiple panel user interface
US9396629B1 (en) 2014-02-21 2016-07-19 Apple Inc. Haptic modules with independently controllable vertical and horizontal mass movements
JP2015172861A (ja) * 2014-03-12 2015-10-01 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器の使用環境を切り換える方法、携帯式電子機器およびコンピュータ・プログラム
US9639231B2 (en) * 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US20150286401A1 (en) * 2014-04-08 2015-10-08 Lyve Minds, Inc. Photo/video timeline display
US10467401B2 (en) * 2014-04-14 2019-11-05 Sony Corporation Method and system for device authentication
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
USD764519S1 (en) * 2014-06-20 2016-08-23 Google Inc. Display screen with graphical user interface
CN106462340B (zh) 2014-06-27 2019-09-13 苹果公司 尺寸减小的用户界面
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
TWI582641B (zh) 2014-09-02 2017-05-11 蘋果公司 按鈕功能性
CN113824998A (zh) 2014-09-02 2021-12-21 苹果公司 音乐用户界面
US20160062571A1 (en) 2014-09-02 2016-03-03 Apple Inc. Reduced size user interface
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
KR102411890B1 (ko) * 2014-09-02 2022-06-23 삼성전자주식회사 컨텐츠를 처리하는 방법 및 이를 위한 전자 장치
US20160070455A1 (en) * 2014-09-10 2016-03-10 International Business Machines Corporation Toggle graphic object
KR102188267B1 (ko) * 2014-10-02 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20160048429A (ko) * 2014-10-24 2016-05-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10579248B2 (en) * 2014-10-27 2020-03-03 Samsung Electronics Co., Ltd. Method and device for displaying image by using scroll bar
CN104331233A (zh) * 2014-10-27 2015-02-04 天津三星通信技术研究有限公司 便携式终端及其内容预览方法
KR102328823B1 (ko) 2014-11-12 2021-11-19 삼성전자 주식회사 화면 내 빈 영역 활용 방법 및 장치
KR102318227B1 (ko) * 2015-01-16 2021-10-27 삼성전자주식회사 정보 표시 장치 및 방법
GB201501079D0 (en) * 2015-01-22 2015-03-11 Microsoft Technology Licensing Llc Controlling access to content
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
WO2016172305A1 (en) * 2015-04-21 2016-10-27 Freedom Scientific, Inc. Method and system for converting text to speech
US10169061B2 (en) * 2015-05-06 2019-01-01 Ford Global Technologies, Llc Scalable and flexible operating system platform
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
USD764514S1 (en) * 2015-06-09 2016-08-23 Teletracking Technologies, Inc. Display screen with graphical user interface
US9891811B2 (en) * 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10664052B2 (en) 2015-07-01 2020-05-26 Samsung Electronics Co., Ltd. Method for providing feedback and an electronic device thereof
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
CN106708399A (zh) * 2015-11-17 2017-05-24 天津三星通信技术研究有限公司 用于具有双侧边曲面屏幕的电子终端的触控方法和设备
US10782859B2 (en) * 2015-12-14 2020-09-22 International Business Machines Corporation Intelligent gesture based word sentence augmentation and systems for the implementation thereof
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10503257B2 (en) * 2016-02-23 2019-12-10 Blackberry Limited Portable electronic device and method of providing haptic feedback
US10772394B1 (en) 2016-03-08 2020-09-15 Apple Inc. Tactile output for wearable device
US20170269688A1 (en) * 2016-03-18 2017-09-21 Elwha Llc Systems and methods for providing haptic feedback regarding software-initiated changes to user-entered text input
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
CN106020706A (zh) * 2016-05-30 2016-10-12 努比亚技术有限公司 一种触控操作处理方法及移动终端
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US10394423B2 (en) * 2016-08-11 2019-08-27 International Business Machines Corporation Efficient list traversal
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10409440B2 (en) * 2016-10-14 2019-09-10 Sap Se Flexible-page layout
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US10521106B2 (en) 2017-06-27 2019-12-31 International Business Machines Corporation Smart element filtering method via gestures
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
USD873842S1 (en) * 2018-03-23 2020-01-28 Martell Broadcasting Systems, Inc. Display screen with transitional search results user interface
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
DK179896B1 (en) 2018-09-11 2019-08-30 Apple Inc. CONTENT-BASED TACTILE OUTPUTS
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US11137905B2 (en) * 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US10564719B1 (en) 2018-12-03 2020-02-18 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove
US11406892B2 (en) 2018-12-04 2022-08-09 Sony Interactive Entertainment Inc. Information processing apparatus
US11385785B2 (en) * 2019-05-01 2022-07-12 Google Llc Interface for multiple simultaneous interactive views
US11520469B2 (en) 2019-05-01 2022-12-06 Google Llc Interface for multiple simultaneous interactive views
EP3756082B1 (en) 2019-05-01 2024-01-10 Google LLC Interface for multiple simultaneous interactive views
US11023202B2 (en) 2019-05-29 2021-06-01 International Business Machines Corporation Enhanced autocorrect features using audio interface
JP7075547B2 (ja) 2019-05-31 2022-05-25 アップル インコーポレイテッド オーディオメディア制御のためのユーザインタフェース
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
US11681420B2 (en) * 2019-12-13 2023-06-20 Lyft, Inc. Panel-snapping interface for responsive display of maps
WO2021221647A1 (en) * 2020-04-30 2021-11-04 Hewlett-Packard Development Company, L.P. Regions with digital ink input
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11119314B1 (en) * 2020-07-17 2021-09-14 Synapcis Inc. Apparatus and method for mitigating motion sickness through cyclical object projection in digital space
US11409410B2 (en) 2020-09-14 2022-08-09 Apple Inc. User input interfaces
US11531719B2 (en) * 2020-09-22 2022-12-20 Microsoft Technology Licensing, Llc Navigation tab control organization and management for web browsers
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
CN113918256A (zh) * 2021-09-30 2022-01-11 联想(北京)有限公司 控制方法、装置及电子设备
CN115079885B (zh) * 2022-06-30 2024-05-03 深圳市康冠商用科技有限公司 双窗口显示的***操控方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404687A (zh) * 2007-10-04 2009-04-08 Lg电子株式会社 移动通信终端的菜单显示方法
CN101452365A (zh) * 2007-12-06 2009-06-10 Lg电子株式会社 装置及其控制方法

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3707490A1 (de) * 1987-03-09 1988-09-22 Siemens Ag Anordnung zum gleichzeitigen darstellen von mehreren bildern auf dem bildschirm eines sichtgeraetes
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5339391A (en) 1990-05-14 1994-08-16 Microelectronics And Computer Technology Corporation Computer display unit with attribute enhanced scroll bar
US5305435A (en) * 1990-07-17 1994-04-19 Hewlett-Packard Company Computer windows management system and method for simulating off-screen document storage and retrieval
JPH0827700B2 (ja) 1990-12-31 1996-03-21 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ表示制御システム
FR2693810B1 (fr) * 1991-06-03 1997-01-10 Apple Computer Systemes d'interfaces d'utilisateurs a acces direct a une zone secondaire d'affichage.
US5568604A (en) * 1992-12-31 1996-10-22 U S West Technologies, Inc. Method and system for generating a working window in a computer system
JP4255511B2 (ja) 1993-04-20 2009-04-15 アップル インコーポレイテッド 対話型ユーザ・インタフェース
US5864330A (en) 1993-06-29 1999-01-26 International Business Machines Corp. Method and apparatus for providing a two-dimensional position-sensitive scroll icon in a data processing system user interface
JP3812749B2 (ja) * 1993-07-29 2006-08-23 富士通株式会社 ウィンドウシステム
JP3150254B2 (ja) * 1994-08-29 2001-03-26 松下電器産業株式会社 文書管理装置および文書管理機能付きデータ処理装置
US5784059A (en) * 1994-09-16 1998-07-21 Aisin Aw Co., Ltd. Vehicle navigation system with destination selection using hierarchical menu arrangement with selective level skipping
US5721849A (en) 1996-03-29 1998-02-24 International Business Machines Corporation Method, memory and apparatus for postponing transference of focus to a newly opened window
JP4481370B2 (ja) * 1996-05-06 2010-06-16 アドビ システムズ, インコーポレイテッド インターネットハイパーリンクドラッグ及びドロップ
US5784058A (en) * 1996-05-28 1998-07-21 Sun Microsystems, Inc. User-controllable persistent browser display pages
US6020887A (en) 1997-05-07 2000-02-01 International Business Machines Corporation Method and apparatus for single scroll bars in graphical windows user interface
US6166736A (en) 1997-08-22 2000-12-26 Natrificial Llc Method and apparatus for simultaneously resizing and relocating windows within a graphical display
EP1015961A1 (en) * 1997-08-22 2000-07-05 Natrificial LLC Method and apparatus for simultaneously resizing and relocating windows within a graphical display
US20060061550A1 (en) 1999-02-12 2006-03-23 Sina Fateh Display size emulation system
TW463102B (en) 1999-07-08 2001-11-11 Primax Electronics Ltd Image scrolling system for scrolling image pictures inside the window
US6757002B1 (en) 1999-11-04 2004-06-29 Hewlett-Packard Development Company, L.P. Track pad pointing device with areas of specialized function
JP4672108B2 (ja) * 2000-06-01 2011-04-20 シャープ株式会社 情報処理装置およびその制御方法
JP2002055750A (ja) 2000-08-10 2002-02-20 Canon Inc 情報処理装置、機能一覧表表示方法、及び記憶媒体
JP2002244787A (ja) * 2001-02-20 2002-08-30 Toshiba Corp 携帯型情報機器
JP2003195998A (ja) * 2001-12-26 2003-07-11 Canon Inc 情報処理装置及び情報処理装置の制御方法及び情報処理装置の制御プログラム及び記憶媒体
US8514182B2 (en) * 2001-12-27 2013-08-20 Lg Display Co., Ltd. Touch panel display device and method of fabricating the same
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US20040186775A1 (en) * 2003-01-29 2004-09-23 Margiloff William A. Systems and methods for providing an improved toolbar
JP2004234544A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 情報処理装置および操作ウィンドウ表示方法
JP2004341886A (ja) * 2003-05-16 2004-12-02 Casio Comput Co Ltd ファイル管理装置及びファイル管理方法
US7328411B2 (en) * 2004-03-19 2008-02-05 Lexmark International, Inc. Scrollbar enhancement for browsing data
US7388578B2 (en) 2004-07-01 2008-06-17 Nokia Corporation Touch display PDA phone with slide keypad
DE202006020369U1 (de) * 2005-03-04 2008-05-21 Apple Inc., Cupertino Multifunktionale handgehaltene Vorrichtung
US7561145B2 (en) * 2005-03-18 2009-07-14 Microsoft Corporation Systems, methods, and computer-readable media for invoking an electronic ink or handwriting interface
JP2006285373A (ja) * 2005-03-31 2006-10-19 Mitsubishi Electric Corp 画面表示方法および情報端末
EP1887939A1 (en) * 2005-05-25 2008-02-20 Koninklijke Philips Electronics N.V. Stylus-aided touchscreen control of ultrasound imaging devices
CN100419666C (zh) * 2005-07-08 2008-09-17 联想(北京)有限公司 屏幕同步切换控制方法
KR100723212B1 (ko) * 2005-12-09 2007-05-29 엘지전자 주식회사 화면 분할 표시 기능을 구비한 전자 단말기 및 그 화면표시 방법
EP3835920B1 (en) * 2006-03-03 2023-10-11 Apple Inc. Electronic device having display with touch sensitive perimeter for user interface and control
JP4700539B2 (ja) 2006-03-22 2011-06-15 パナソニック株式会社 表示装置
JP2007280019A (ja) * 2006-04-06 2007-10-25 Alps Electric Co Ltd 入力装置およびこの入力装置を使用したコンピュータシステム
KR100827228B1 (ko) * 2006-05-01 2008-05-07 삼성전자주식회사 터치 기능을 갖는 영역 분할 수단을 제공하는 장치 및 그방법
US7683886B2 (en) 2006-09-05 2010-03-23 Research In Motion Limited Disambiguated text message review function
US8736557B2 (en) * 2006-09-11 2014-05-27 Apple Inc. Electronic device with image based browsers
KR100831721B1 (ko) * 2006-12-29 2008-05-22 엘지전자 주식회사 휴대단말기의 디스플레이 장치 및 방법
US8214768B2 (en) * 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
KR100844071B1 (ko) * 2007-05-09 2008-07-07 엘지전자 주식회사 웹페이지 표시가 가능한 이동통신 단말기 및 그 제어방법
CN101060502B (zh) * 2007-05-25 2010-05-26 北京金山软件有限公司 一种同时浏览聊天记录和最新消息的方法及装置
US7741979B2 (en) * 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US9442584B2 (en) * 2007-07-30 2016-09-13 Qualcomm Incorporated Electronic device with reconfigurable keypad
EP2045700A1 (en) * 2007-10-04 2009-04-08 LG Electronics Inc. Menu display method for a mobile communication terminal
KR101570368B1 (ko) * 2008-08-22 2015-11-20 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
KR101320919B1 (ko) 2008-01-29 2013-10-21 삼성전자주식회사 분할 화면을 통한 gui 제공방법 및 이를 적용한멀티미디어 기기
KR101447752B1 (ko) * 2008-03-25 2014-10-06 삼성전자주식회사 터치스크린에서 화면 분할과 화면 표시장치 및 방법
JP4645678B2 (ja) * 2008-05-08 2011-03-09 ソニー株式会社 情報入出力装置及び情報入出力方法、並びにコンピュータ・プログラム
KR101461954B1 (ko) 2008-05-08 2014-11-14 엘지전자 주식회사 단말기 및 그 제어 방법
JP5203797B2 (ja) * 2008-05-13 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及び情報処理装置の表示情報編集方法
KR101456001B1 (ko) * 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
JP2011018085A (ja) * 2008-06-19 2011-01-27 Panasonic Corp 情報処理装置
KR101556522B1 (ko) * 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8924892B2 (en) * 2008-08-22 2014-12-30 Fuji Xerox Co., Ltd. Multiple selection on devices with many gestures
US8082518B2 (en) * 2008-08-29 2011-12-20 Microsoft Corporation Scrollable area multi-scale viewing
KR20100027686A (ko) * 2008-09-03 2010-03-11 엘지전자 주식회사 이동단말기 및 그 제어 방법
US8600446B2 (en) * 2008-09-26 2013-12-03 Htc Corporation Mobile device interface with dual windows
US8687359B2 (en) * 2008-10-13 2014-04-01 Apple Inc. Portable computer unified top case
JP2010097353A (ja) * 2008-10-15 2010-04-30 Access Co Ltd 情報端末
JP4683110B2 (ja) 2008-10-17 2011-05-11 ソニー株式会社 表示装置、表示方法及びプログラム
KR101510738B1 (ko) * 2008-10-20 2015-04-10 삼성전자주식회사 휴대단말의 대기화면 구성 방법 및 장치
US20100107067A1 (en) * 2008-10-27 2010-04-29 Nokia Corporation Input on touch based user interfaces
US20110205178A1 (en) * 2008-10-28 2011-08-25 Toshihiko Yoshida Electronic device having two display devices, method of controlling the same, and recording medium
JP5526400B2 (ja) * 2009-03-03 2014-06-18 シャープ株式会社 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
JP5526397B2 (ja) * 2008-10-28 2014-06-18 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
WO2010064138A1 (en) * 2008-12-01 2010-06-10 National University Singapore Portable engine for entertainment, education, or communication
WO2010092993A1 (ja) * 2009-02-13 2010-08-19 株式会社 東芝 情報処理装置
US8836648B2 (en) * 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
US8610549B2 (en) 2009-10-16 2013-12-17 Immersion Corporation Systems and methods for providing haptic feedback at multiple resonance frequencies
US20110138321A1 (en) 2009-12-04 2011-06-09 International Business Machines Corporation Zone-based functions in a user interface
US8736561B2 (en) * 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US8707174B2 (en) * 2010-02-25 2014-04-22 Microsoft Corporation Multi-screen hold and page-flip gesture
EP2383631A1 (en) 2010-04-27 2011-11-02 Sony Ericsson Mobile Communications AB Hand-held mobile device and method for operating the hand-held mobile device
US20120113008A1 (en) * 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
EP2641155B1 (en) 2010-11-18 2019-07-31 Google LLC Orthogonal dragging on scroll bars
US9804893B2 (en) * 2011-04-08 2017-10-31 Qualcomm Incorporated Method and apparatus for optimized execution using resource utilization maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404687A (zh) * 2007-10-04 2009-04-08 Lg电子株式会社 移动通信终端的菜单显示方法
CN101452365A (zh) * 2007-12-06 2009-06-10 Lg电子株式会社 装置及其控制方法

Also Published As

Publication number Publication date
CA2818202A1 (en) 2012-05-24
US20180074691A1 (en) 2018-03-15
US9830067B1 (en) 2017-11-28
KR102007023B1 (ko) 2019-10-01
US20200348833A1 (en) 2020-11-05
JP6457715B2 (ja) 2019-01-23
US20120131497A1 (en) 2012-05-24
WO2012068551A1 (en) 2012-05-24
JP2019164844A (ja) 2019-09-26
US11036382B2 (en) 2021-06-15
US20120131519A1 (en) 2012-05-24
JP7018415B2 (ja) 2022-02-10
EP2641155B1 (en) 2019-07-31
WO2012068542A2 (en) 2012-05-24
US10235034B2 (en) 2019-03-19
CA2818410A1 (en) 2012-05-24
AU2011329658A1 (en) 2013-06-06
AU2011329658B2 (en) 2017-03-16
CA2818410C (en) 2019-04-30
EP2641156A1 (en) 2013-09-25
US20120127071A1 (en) 2012-05-24
JP6554150B2 (ja) 2019-07-31
KR102054234B1 (ko) 2019-12-10
WO2012074798A1 (en) 2012-06-07
AU2011329649B2 (en) 2016-12-01
AU2011329649A1 (en) 2013-06-06
CN103270486A (zh) 2013-08-28
KR20130135871A (ko) 2013-12-11
JP2022002152A (ja) 2022-01-06
CN108920038A (zh) 2018-11-30
KR20140063500A (ko) 2014-05-27
JP2014501971A (ja) 2014-01-23
JP2013543201A (ja) 2013-11-28
KR102188757B1 (ko) 2020-12-08
CN103415833A (zh) 2013-11-27
JP6258035B2 (ja) 2018-01-10
KR20190092612A (ko) 2019-08-07
US10671268B2 (en) 2020-06-02
US8875046B2 (en) 2014-10-28
DE202011110334U1 (de) 2013-07-09
JP2017220252A (ja) 2017-12-14
WO2012068542A3 (en) 2012-07-12
JP6925186B2 (ja) 2021-08-25
EP2641155A2 (en) 2013-09-25
US20210255762A1 (en) 2021-08-19
JP2017199420A (ja) 2017-11-02
CA2818202C (en) 2019-05-21

Similar Documents

Publication Publication Date Title
CN103415833B (zh) 表面化屏幕外可视对象
CN105739813B (zh) 用户终端设备及其控制方法
US8881061B2 (en) Device, method, and graphical user interface for managing folders
US8432367B2 (en) Translating user interaction with a touch screen into input commands
US8413075B2 (en) Gesture movies
CN112181226B (zh) 用于提供内容的方法和装置
US20140165006A1 (en) Device, Method, and Graphical User Interface for Managing Folders with Multiple Pages
US20080120568A1 (en) Method and device for entering data using a three dimensional position of a pointer
US20150169212A1 (en) Character Recognition Using a Hybrid Text Display
US20120284671A1 (en) Systems and methods for interface mangement
WO2022261008A2 (en) Devices, methods, and graphical user interfaces for interacting with a web-browser
AU2013100645A4 (en) Surfacing off-screen visible objects
Bauer et al. Evaluation of Mobile Phones for Large Display Interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder