CN103210366A - 用于基于邻近的输入的装置和方法 - Google Patents

用于基于邻近的输入的装置和方法 Download PDF

Info

Publication number
CN103210366A
CN103210366A CN2011800545328A CN201180054532A CN103210366A CN 103210366 A CN103210366 A CN 103210366A CN 2011800545328 A CN2011800545328 A CN 2011800545328A CN 201180054532 A CN201180054532 A CN 201180054532A CN 103210366 A CN103210366 A CN 103210366A
Authority
CN
China
Prior art keywords
information
item
equipment
input
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800545328A
Other languages
English (en)
Other versions
CN103210366B (zh
Inventor
J·阿拉斯维奥里
E·奥利拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN103210366A publication Critical patent/CN103210366A/zh
Application granted granted Critical
Publication of CN103210366B publication Critical patent/CN103210366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据本发明的一个示例性实施方式，提供了一种用于控制显示操作的方法，包括：检测紧邻输入表面的对象的存在（300），检测与所述对象相关联的至少一个信息项（310），检测关于所述对象到所述输入表面的距离的距离信息（320），以及基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择（330）。

Description

用于基于邻近的输入的装置和方法
技术领域
本发明涉及用于基于邻近的输入的装置和方法。
背景技术
触摸屏被用于许多便携式电子设备，诸如PDA（个人数字助理）设备、桌上型计算机，以及移动设备。触摸屏可以通过指向设备（或触控笔）和/或手指来操作。通常，这些设备还包括用于某些操作的常规按钮。
近来，提出了用于具有触摸屏的设备的所谓悬停用户接口。悬停一般性地表示紧邻用户接口输入表面而不触碰输入表面、利用诸如手的对象进行的输入。因此，触摸屏表面上方的空间也可以被用作另外的用户输入手段。例如，用户接口可以被配置为通过弹出菜单的方式来对手指悬停作出反应。然后便可以触摸屏幕以选择菜单上的所需项目。使用移动设备的人们一般希望有更多样和更直观的方式来与它们的设备互动。
发明内容
本发明的实施例的各个方面在权利要求中进行阐述。
根据一个方面，提供了一种设备，其包括至少一个处理器；以及至少一个包括计算机程序代码的存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述设备至少：检测紧邻输入表面的对象的存在，检测与所述对象相关联的至少一个信息项，检测关于所述对象到所述输入表面的距离的距离信息，以及基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择。
根据一个方面，提供了一种设备，其包括：邻近检测***，具有用于检测紧邻输入表面的输入对象的存在的至少一个邻近检测器；以及操作地连接到所述邻近检测***的控制器，所述控制器被配置为：检测紧邻输入表面的对象的存在，检测与所述对象相关联的至少一个信息项，检测关于所述对象到所述输入表面的距离的距离信息，以及基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择。
根据本发明的一个方面，提供了一种设备，其包括：用于检测紧邻输入表面的对象的存在的装置，用于检测与所述对象相关联的至少一个信息项的装置，用于检测关于所述对象到所述输入表面的距离的距离信息的装置，以及用于基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择的装置。
根据本发明的另一个方面，提供了一种用于电子设备的用户接口，所述电子设备包括用于检测紧邻输入表面的输入对象的存在的邻近检测***，其中所述用户接口被配置为：检测与当前检测到的所述对象的位置相关联的至少一个图形用户接口信息项，以及显示与所述至少一个信息项相关联的附加信息，基于所述输入对象到所述输入表面的距离对所显示的附加信息的量进行适配。
根据另一个方面，提供了一种方法，包括：检测紧邻输入表面的对象的存在，检测与所述对象相关联的至少一个信息项，检测关于所述对象到所述输入表面的距离的距离信息，以及基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择。
本发明和本发明的各种实施方式提供了若干优点，这些优点将结合以下详细描述变得明显。
附图说明
为了更完整地理解本发明的示例性实施方式，现参照与附图有关的如下描述，在附图中：
图1a和图1b示出了用户接口互动和显示控制的示例；
图2是根据本发明的示例性实施方式的输入装置的侧视简化框图；
图3示出了根据本发明的示例性实施方式的方法；
图4a和图4b示出了用户接口互动序列示例；
图5示出了根据本发明的示例性实施方式的方法；
图6示出了用于社交网络***的实体；
图7示出了用户接口示例；以及
图8示出了根据本发明的示例实施方式的电子设备。
具体实施方式
图1a和1b示出了根据某些实施方式的基于悬停的显示控制的一般原理。悬停一般是指在紧邻但不接触输入表面（诸如触摸屏的输入表面）处引入诸如手指或触控笔的输入对象1。图1a中的参考标记“z”示出了对象1至屏幕表面的距离，也可以称之为“悬停距离”。x和y方向一般基本平行于输入表面，并且z方向基本垂直于输入表面。
如在图1b中进一步所示，检测紧邻的对象1的存在10并且向显示控制器20指明该存在，该显示控制器20选择用于显示的信息并且控制显示器。在检测到这样的悬停对象1时，可以定义对象1的x，y位置12。基于对象1的位置，可以检测或选择至少一个关联的信息项，例如视图，窗口，文件、文件夹、联系人条目、链接或应用的至少一个GUI图标。可以估计对象1至输入表面的距离（z）14。
可以显示与当前关联的信息项2相关的附加信息3。基于检测的距离信息14，控制器20可以对用于显示的与至少一个信息项相关联的附加信息的选择进行控制。这一点要从广义上理解为其表示任意种类的使与感兴趣的信息项相关的附加信息的显示基于悬停距离的改变而适配的控制操作。这可以涉及例如适配多个相关信息项以用于显示、控制附加信息的显示的开启和关闭，或进一步的信息的细节水平。选择用于显示的信息可以是例如文本、GUI元素、动画、视频，或其任何组合。控制器20因此可以被配置为控制诸如预览窗口的另一GUI项目3，该GUI项目3提供与所显示的信息项2相关的进一步信息。例如，在将对象1移近触摸屏表面时，可以显示关于该信息项的进一步信息，例如通过显示新的应用视图、当前视图下的窗口或进一步的信息。在检测到对象1的距离增加时，可以显示更少的补充信息3。这种用户接口输入布置提供容易和直观的互动选项以得到感兴趣的GUI元素的进一步信息。
图2示出了根据一个示例性实施方式的具有一个或多个输入和/或输出设备的装置100。输入设备例如可以从按钮、开关、滑块、按键或小键盘、导航板、触摸板、触摸屏等中选择。输出设备例如可以从显示器、扬声器、指示器中选择。
该装置包括显示器110和邻近检测***或单元120，该邻近检测***或单元120被配置用于检测何时诸如手指或触控笔的输入对象1被移动到邻近而不触碰输入表面112。输入表面112可以是触摸屏的表面，或者是其他能够检测用户输入的装置的输入设备。
感测区域140可以示出输入对象1被检测为紧邻表面112时所处的近似区域和/或距离。感测区域140还可以被称为悬停区域，并且向该悬停区域引入输入对象1或者在悬停区域内对象1进行的可能的另外（非触摸）输入被称为悬停。在某些实施方式中，悬停区域140还使得在甚至不触碰输入表面112的情况下也能够在装置100中输入和/或访问数据。至少部分基于输入对象1不触碰输入表面112所检测的悬停区域140中的用户输入（诸如输入对象的特别检测的手势或甚至仅仅是引入）可以被称为悬停输入。该悬停输入与例如选择UI项目或激活弹出窗口的至少一个功能相关联。
装置100可以是诸如键盘或鼠标的***设备或者集成在电子设备中。电子设备的示例包括如计算机、媒体播放器、无线通信终端设备等的任何消费性电子设备。
在某些实施方式中，在包括触摸屏显示器的装置中提供了邻近检测***120。因此显示器110可以是触摸屏显示器110，其包括多个触敏检测器114以感测向触摸屏输入表面的触摸输入。
在某些实施方式中，检测***120利用一个或多个邻近传感器122生成感测场。在一个示例性实施方式中应用了一种电容式邻近检测***，由此传感器122是电容式感测节点。监测感测场中来自一个或多个输入对象1的扰动，并且基于所检测的扰动检测一个或多个对象的存在。电容式检测电路检测在输入表面112上方的电容变化。
然而，将会意识到，本特征并不限于任何特定类型的邻近检测的应用。邻近检测***120可以基于红外邻近检测、光学阴影检测、声发射检测、超声检测、雷达技术或任何其他适合的邻近检测技术。例如，如果邻近检测***基于红外检测，则该***可以包括发出红外光脉冲的一个或多个发射器。可以提供一个或多个检测器用于检测来自附近对象1的光的反射。如果该***检测到反射光，则假定输入对象存在。
邻近检测***120耦合至控制器130。邻近检测***120被配置为当在悬停区域140中检测到输入对象1时向控制器130提供信号。基于这样的输入信号，可以发起命令、选择或其他类型的动作，这通常引起用户的可视、可听和/或触觉反馈。可以经由控制电路将触敏检测器114的触摸输入以信号方式发送到控制器130或另外的控制器。
邻近检测***120还可以被配置为向控制器130提供关于/用于确定对象1的x、y位置的信息以使得能够确定悬停对象1的目标UI项目或区域。
装置100可以被配置为估计输入对象1至输入表面112的距离150，即悬停距离，使得能够提供对象1关于输入表面的位置的z坐标数据，可以由邻近检测***100或基于由邻近检测***100提供的信号来检测该距离。在某些实施方式中，应用了一个或多个另外的设备以协助距离的估计。例如，可以将该装置配置为基于来自视频相机、光亮度传感器，或超声传感器中的至少一个的信息来检测该距离。
取决于所应用的邻近检测技术、装置100和输入表面112的尺寸、以及期望的用户互动，悬停区域140例如可以被布置为从输入表面112延伸从数毫米到甚至高达数十厘米的距离。邻近检测***120可以被布置为还检测用户手的另外的部分，并且该***可以被布置为识别错误输入并避免进一步的动作。
控制器130还可以连接到一个或多个诸如触摸屏显示器110的输出设备。控制器130可以被配置为控制显示器110上的不同应用视图。控制器130可以基于来自邻近检测***120和触敏检测器114的信号检测触摸输入和悬停输入。控制器130继而可以控制与检测的触摸输入或悬停输入关联的显示器功能。广泛范围的功能可供选择以与触敏检测***和/或邻近检测***120所检测的输入相关联。控制器130可以被配置为根据例如装置100的当前操作状态、用户输入或在装置100中执行的应用而适配该关联。例如，关联可以是特定于应用、特定于菜单、特定于视图和/或特定于（可以基于从当前环境或装置100的使用获得的信息来限定的）情境的。
控制器130可以被配置为按照输入对象当前的x，y位置，控制对依赖于当前悬停距离150的、用于显示的附加信息的选择。
在一个实施方式中，装置100可以被配置为估计输入对象1与输入表面112之间的距离，并且控制器130可以将估计的距离与一个或多个预先确定的阈值进行比较。每个阈值可以与特定水平的细节相关联。例如，可以响应于接收到指示该对象具有到输入表面的第一距离的信息，控制与至少一个信息项相关联的第一组信息项的显示。继而可以响应于接收到指示该对象已经向输入表面靠近一个给定的阈值或该对象在输入表面的第二距离内的信号，控制对与至少一个信息项相关联的第二组信息项的选择和显示。
因此，控制器130可以被配置为监控悬停距离的改变。响应于检测到悬停距离改变一个阈值，可以触发或适配附加信息的显示。引导控制器130选择附加信息的操作的参数/设定数据可以被存储在控制器130所包括的或与其连接的存储器中。可以向用户提供将附加信息的显示设置为在悬停之时开启或关闭的选项，和/或适配影响附加信息的选择例如以影响用户接口对悬停对象（引入/移动）的灵敏度的一个或多个设定的选项。
将会意识到的是，示例性装置100可以包括各种未在此详细讨论的另外元件。虽然将装置100和控制器130描绘为单个实体，但是可以在一个或多个物理或逻辑实体中实现不同的特征。还可以存在例如用于实施结合图3或图5描述的一个或多个框的另外的特定功能模块。在一个示例性变化中，邻近检测***120和输入表面112位于更加远离显示器110的位置，例如在手持电子设备的（以显示器的位置为参照的）侧面或背面。
图3示出了根据示例性实施方式的用于控制显示操作的方法。例如，控制器130可以将该方法应用作为控制算法。在框300中，检测紧邻输入表面的对象的存在。例如通过基于对象1的当前x、y位置信息确定关联的GUI，检测与该对象的当前检测位置关联的至少一个信息项310。检测关于该对象至输入表面的距离的距离信息320。例如，通过来自邻近检测***120的信号获得关于该距离的估计。基于该距离信息对用于显示的与该至少一个信息项相关联的附加信息的选择进行控制330。由此，可以基于悬停距离对向用户显示的信息量进行适配。
将会理解，在简化的图3中所示出的过程中，可以作出各种修改和添加。在图3的一个示例性变体中，可以连续监测悬停对象110的距离（320）而不考虑对该对象与任何信息项的关联的检测（310）。一些另外的示例性实施方式将在下文中示出。
在一个实施方式中，也参照图3，在显示330进一步的信息之前，应用一个或多个进一步的触发或条件。例如，控制器130可以被配置为检测对象1保持在与信息项相关联的（x，y）区域上的时间，并且仅响应于在预定时间段内检测到与该信息项相关联的对象1而触发显示。因此，可以通过使手指保持悬停在信息项上方来取得与GUI项目相关的进一步的信息。通过应用这样的延迟条件，使得避免或至少减少在悬停期间显示用户实际上并不感兴趣的附加信息成为可能。
在某些实施方式中，在框330中，装置被配置为基于估计的距离，激活在与信息项相关联的预览、推荐或补充信息窗口中对信息选择的显示和/或适配。因而，可以显示这样的窗口以提供如下的附加信息，其具有关于用户所感兴趣的信息项的可变水平的细节。该窗口可以是静态的或者是动态的。窗口的尺寸和窗口中内容的量可以依据当前检测的距离而变化。窗口可以具有各种形式。例如，代替传统的窗口和菜单，该窗口可以是气泡。可以基于经过的时间和/或响应于检测到的用户动作，诸如手指的移动或手势，来适配窗口的外观和/或位置。该窗口（诸如预览）可以被布置在与正在悬停的GUI元素相同的显示视图中。然而，在一些情况中，该窗口可能在屏幕的背景中、辅显示器中，或作为叠加而得以显示。例如，如果装置100连接到投影仪或具有双屏幕，则可以在辅显示器中显示该窗口。然而，将理解，存在许多用于对由悬停所触发附加信息的显示进行布置的可能性，而在此仅示出了一些示例。
在某些实施方式中，如图4a的示例中所示，检测到文件夹图标400与输入对象相关联。例如，可以显示具有一组文件夹的视图，每个文件夹包含若干文件。检测到手指在当前显示的文件夹图标上方的悬停区域并持续预先确定的时间段。从而可以显示提供关于文件夹的文件的进一步信息的窗口410。可以基于对象至输入表面的检测距离，控制在窗口410上显示的（文件夹的所有文件当中的）文件数量。用户可以通过将手指进一步朝向图标400移动来得到文件夹内容的更详细视图420。如图4b所示，可以响应于检测到手指更靠近图标400来显示进一步的视图420。
在某些实施方式中，基于对象1至输入表面112的当前距离150来控制与相关联的信息项有关的一个或多个进一步的动作。这可以作为对（用于显示的）与信息项相关联的另外信息的选择进行控制的附加或替代而得以执行。例如，激活应用、生成用户提示、生成可听和/或触觉输出。在一个实施方式中，基于悬停距离150在所显示的多个信息项中选择一个或多个信息项。例如，可以基于距离聚焦并且选择附加视图3、410、420中的项目之一。另一个示例为，基于所估计的输入对象至输入表面的距离来在多个GUI元素中选择GUI元素，例如，响应于对象进一步靠近输入表面而改变图1a的图标2的外观。在一个实施方式中，假如当前与输入对象相关联的信息项是媒体文件，则激活媒体播放器以输出媒体文件的预览和/或回放。
可以存在影响对用于显示的信息项的选择的另外参数。在某些实施方式中，基于可用信息项的关联性来控制对用于显示的信息的选择。
如图5所示，在框500中，确定或检测与至少一个信息项或者与一个或多个进一步的信息项相关联的关联性信息，所述进一步的信息项是与所述至少一个信息项相关联的。因此，可以将装置100布置为基于与装置可用的信息项相关联的元数据来自身生成关联性信息，或者从其他设备接收关联性信息。
可以依据该关联性信息选择510用于显示的信息。从而，以通过将手指保持在信息项之上来指示用户的兴趣的方式，向用户提供最相关的进一步信息成为可能。这使得能够提供更加便捷的（例如在一个或多个文件夹中的数十或数百个文件当中）搜索相关信息项的方式。
例如，仍参照图4a和4b，可以基于每个可用信息项的关联性值来选择用于附加视图410、420的信息项。例如，可以在附加视图410、420中显示在由图标400所表示的文件夹中的记录中具有最高关联性值的记录。
可以应用各种方法以确定500用于一个信息项或一组信息项的关联性信息。在一个实施方式中，可以基于对指示信息项的使用活动的访问历史进行检查来确定关联性信息。例如，装置100可以被配置为存储访问历史，该访问历史是关于用户文件在装置100的存储器中的存储的或者指代用户文件在装置100的存储器中的存储。在一个实施方式中，可以基于悬停输入更新关联性信息。例如，如果用户长时间将其手指保持在信息项之上，则可以增强该信息项的关联性。
还可以对关于一组其他用户的此类访问历史或关联性信息进行维护，该组其他用户可以是在该装置中所存储的联系人信息中定义的。例如，可以将存储在被用户朋友最多和/或最近访问的文件夹中的这样的文件（或文件的拷贝/实例）定义为文件夹的最相关的文件。
在一个实施方式中，文件的关联性是通过检查用户的社交网络确定的。参照图6的示例，人们之间的社交网络和他们对文件的使用、以及其他信息可以通过在线服务存储在服务器或数据库600上，而装置100可以被布置为经由一个或多个网络620来访问该服务器或数据库600。可以在例如每个夜晚的停机时间向客户端设备推送关联性信息或用于确定朋友对文件的使用的相关性的信息。可以基于由服务器从属于关联的社交网络的用户的设备630接收的推荐来确定文件的关联性。因此，可以在视图410、420中提供在社交方面的推荐内容，基于检测的悬停距离150对其进行控制，并且用户可以更容易地发现对社交网络当前感兴趣的内容项目。
作为另一个示例，假如手指在包含音乐文件的文件夹上方悬停，装置100可以被布置为检测哪首歌曲用户的朋友听得最多。附加地显示这样的歌曲的图标并且可以启动歌曲的回放。如果该文件是视频片段，则该装置可以被布置为显示其预览。在一个进一步的示例性选项中，歌曲或视频的预览可以被布置为从用户的朋友结束收听或结束观看视频的部分开始。在一个涉及视频游戏应用的示例中，可以在游戏应用图表的上面或旁边显示用户朋友最近的高分。在一个实施方式中，响应于对象1在信息项的GUI元素上方悬停，控制（330）与该信息项关联的关联性信息以作为附加信息进行显示。例如，史蒂芬访问了一首歌曲（正悬停于该歌曲的GUI）15次。
在一个示例性实施方式中，装置100被配置用于基于与对象1在悬停区域140中的移动相关联的进一步属性，控制对附加信息项的选择。例如，装置100被配置为检测对象1的移动速度。可以基于对象1的移动速度对附加信息项的选择进行控制。
在一个实施方式中，装置100被布置为支持多手指的使用以同时提供触摸输入和/或基于悬停的输入。例如，可以使用一只手指选择或聚焦到一个信息项，并且使用另一只手指选择或聚焦到另一个信息项。可以估计一个或多个悬停手指的距离，并且可以基于关联的手指的当前检测距离对每个关联的信息项的附加信息的量进行控制。例如，一只悬停手指的距离可以用于控制在若干可用文件夹中选择文件夹，并且另一只同时悬停的手指的距离可以用于在所选文件夹内选择歌曲。
图7示出了使用多只手指以得到与GUI项目相关联的信息的预览或推荐的示例。用户可能希望具有对在文件夹700中存储的文件的推荐，该文件夹700包含若干子文件夹，在此示例中其为音乐专辑，每个音乐专辑又包含若干音乐文件。在图7的示例中，基于关联性信息对可用信息进行进一步的预筛选。左手手指的距离可以确定专辑文件夹702中的哪一个被选择，例如社交方面最相关的前3位中的哪一个被选择。右手手指的距离可以确定来自当前用左手手指挑选的专辑的歌曲文件704中的哪一个被选择用于预览，例如社交方面最相关的前5位中的哪一个被选择。
将会理解，对于图7中所示出的实施方式以及其他实施方式，左/右手手指之间的选择的配置、距离水平、以及可选项目的数目可以以各种方式改变。
在另一个示例性实施方式中，控制器130被配置用于响应于检测到多只手指的特定组合使用，诸如特定悬停或基于触摸的捏或后退手势来控制特定功能。这样的特定输入还可以被应用于控制例如步骤330中的显示操作。
在一个示例性实施方式中，确定与检测的输入相关联的输入对象的属性，并且将其应用于控制例如步骤330中的显示操作。例如，确定在用户的手上，诸如手指和/或手腕上的身份信息，使得能够对来自其他用户的源设备的用户进行身份识别。一些用户的手的示例性属性包括但不限于：左或右手、肤色、近似大小（或对成人或儿童手的指示）、诸如对手指处于捏的手势的指示以及使用了多少手指的手指配置。然而，还可以使用其他明显的描述符号，诸如例如短袖的颜色的配色方案、手的热传感器读数、用户的语音、想法等。例如，控制器130可以被配置为基于对来自邻近检测器***120和诸如一个或多个视频相机的另外的传感器的信号进行分析来检测输入对象的此类属性。
在一个实施方式中，装置100被配置为检测悬停区域140中的一个或多个对象（的单独或组合）手势。例如，响应于检测300到悬停对象1，激活手势感测功能。从而可以监测邻近感测场的改变。基于检测到的改变来识别手势。继而可以执行与所识别的手势相关联的动作。例如，响应于检测到手指类似于双击鼠标时的移动，选择GUI元素并且对选择的GUI元素执行进一步的动作，例如显示具有所选URL的内容的新的应用窗口。另一个示例是，装置100可以被配置为检测到对象形成圆圈的移动，从而转到随后的或先前的视图。可以应用悬停手势以进一步对当前关联的信息项或该信息项的附加信息的显示进行控制。例如，在图7的示例中，右手手指作出的顺时针旋转手势可能与预览的歌曲的快进相关联。可以如此实现悬停手势功能，使得可以取决于对象到输入表面112的距离而使悬停手势与不同的功能关联。
以上示出的特征可以被应用于不同的应用和应用模式。具有特别优点的应用的一些示例包括浏览器应用、设备管理应用、文件管理应用、媒体内容相关应用及服务、地图应用、利用增强现实互动的应用、社交网络应用等等。
图8示出了根据示例性实施方式的电子设备800的结构的框图。该电子设备可以包括装置100。虽然出于举例的目的示出了电子设备800的一个实施方式并且将在后文对其进行描述，但是可以在本实施方式中采用其他类型的电子设备，诸如但不限于PDA、寻呼机、移动计算机、桌上型计算机、膝上型计算机、平板计算机、媒体播放器、电视机、游戏设备、相机、录像机、定位设备、电子书、可穿戴设备、投影设备，以及其他类型的电子***。
此外，一个示例实施方式的该装置无需是整个电子设备，而可以是在其他示例性实施方式中的电子设备的一个组件或一组组件。例如，该装置可能的形式为用于通过执行至少某些以上示出的功能（诸如图2的控制器的功能）来进行控制的芯片组或一些其他类型的硬件模块。
处理器802被配置用于执行指令并且进行与电子设备800相关联的操作。处理器802可以包括用于执行例如包括结合图1a至7描述的一个或多个功能的各种功能的装置，诸如数字信号处理器设备、微处理器设备，以及电路***。处理器802可以通过使用从存储器取回的指令，对电子设备800的组件之间的输入和输出数据的接收和处理进行控制。处理器802可以被实现在单片机、多片机或多个电气组件上。可以被用于处理器802的技术的一些示例包括专用或集成处理器，以及ASIC。
处理器802可以包括操作一个或多个计算机程序的功能性。计算机程序代码可以被存储在存储器804中。该至少一个存储器和该计算机程序代码可以与至少一个处理器一起被配置为使该装置执行至少一个实施方式，例如包括对结合图1a至7描述的一个或多个功能的控制。例如，处理器802可以被配置为执行图2的控制器130的功能的至少一部分。通常处理器802与操作***一起操作以执行计算机代码并且生成和使用数据。
举例而言，存储器804可以包括：非易失性部分，诸如EEPROM、闪存存储器等；以及易失性部分，诸如随机访问存储器（RAM），其包括用于临时存储数据的高速缓存区域。用于控制处理器802的功能性的信息也可驻留在移动存储设备上，该移动存储设备当需要时被加载或安装到电子设备800上。
电子设备800可以包括与收发器单元806进行可操作通信的一个天线（或多个天线），收发器单元806包括发射器和接收器。电子设备800可以在一个或多个空中接口标准和通信协议下操作。举例而言，电子设备800可以依据许多第一、第二、第三和/或***通信协议等中的任意协议进行操作。例如，电子设备800可以依据如下进行操作：诸如以太网和数字用户线路（DSL）的无线协议；诸如全球移动通信***（GSM）的第二代（2G）无线通信协议；诸如第三代合作伙伴计划（3GPP）的3G协议、CDMA2000、宽带CDMA（WCDMA）和时分同步CDMA（TD-CDMA）的第三代（3G）无线通信协议；诸如3GPP长期演进（LTE）的***（4G）无线通信协议；诸如802.11的无线局域网协议；诸如蓝牙的近程无线协议等等。
电子设备800的用户接口可以包括诸如扬声器的输出设备808、一个或多个输入设备810（诸如传声器、小键盘或者一个或多个按钮或致动器）、以及显示设备812。电子设备800可以包括能够显示UI项目的立体呈现（即，被用户感知为三维（3D）影像的UI项目）的立体显示器。
输入设备810可以包括被配置为接收来自用户触摸的输入并且发送此信息到处理器802的触摸感测设备。该触摸感测设备还可以被配置为识别触摸在触敏的表面上的位置和大小。触摸感测设备可以基于包括但不限于如下的感测技术：电容感应、电阻感应、表面声波感应、压力感应、阻抗感应，以及光学感应。此外，该触摸感测设备可以基于单点感应或多点感应。在一个实施方式中，该输入设备是放置在显示器812前面的触摸屏。
电子设备800还可以包括诸如之前在***120中示出的邻近检测***814，该邻近检测***814可操作地耦合至处理器802。邻近检测***814被配置为检测手指、触控笔或其他指向设备何时邻近但不接触计算机***的某些组件，该组件包括例如外壳或诸如触摸屏的I/O设备。
电子设备800还可以包括图8中未示出的另外单元和元件，诸如另外的接口设备、诸如加速度传感器的另外的传感器、电池、诸如相机的媒体捕获元件、视频和/或音频模块、定位单元，以及用户身份模块。
在某些实施方式中装置100还可以基于检测的距离来生成诸如听觉和/或触觉输出的进一步的输出。因此，处理器802可以被配置为控制电子设备800中的扬声器和/或诸如振动电机的触觉输出致动器以提供此类进一步的警告输出。
本发明的实施方式可以被实现在软件、硬件、应用逻辑中或者软件、硬件和应用逻辑的组合中。在一个示例性实施方式中，该应用逻辑、软件或指令集被保持在多种常规计算机可读介质的任意一种上。在本文件的语境中，“计算机可读介质”可以是能够包含、存储、通信、传播、或递送用于被诸如计算机（图8描述并且描绘了该计算机的一个示例）的指令执行***、装置或设备所使用的或与其有关的指令的任意介质或装置。计算机可读介质可以包括有形或非有形计算机可读存储介质，其可以是能够包含或存储用于被诸如计算机的指令执行***、装置或设备所使用的或与其有关的指令的任意介质或装置。
在一个示例性实施方式中，可以提供被配置为提供至少某些上文所示的控制功能的电路***或用户接口电路***。如在此申请中所使用的，术语“电路***”表示如下所有：（a）仅硬件的电路实现（诸如仅在模拟和/或数字电路中的实现），和（b）电路与软件（和/或固件）的组合，诸如（如适用的）：（i）处理器的组合，或（ii）处理器/软件（包括数字信号处理器）、软件，和存储器的部分，其共同工作用于使诸如移动电话或服务器的装置执行各种功能），以及（c）电路，诸如需要软件或固件来操作（即使该软件或固件物理上并不存在）的微处理器或微处理器的部分。
此“电路***”的定义在本申请中适用，其包括权利要求书中的所有该术语的使用。作为另一个示例，如本申请中所使用的术语“电路***”还可以涵盖仅仅一个处理器（或多个处理器）或处理器的部分和它的（它们的）配套软件和/或固件的实施方式。
如果需要，可以按照互相不同的顺序和/或并行地执行至少某些本文所讨论的不同功能。此外，如果需要，一个或多个上文所描述的功能可以是可选择的或者可以组合。
虽然在独立权利要求中陈述了本发明的多个方面，本发明的其他方面包括来自所描述的实施方式和/或从属权利要求的特征的其他组合，而不仅仅是在权利要求中明确陈述的组合。
另外要在此注意的是尽管上文描述了本发明的示例性实施方式，但这些描述不应当在限制性的意义上看待。而是可以作出若干变化和修改而不脱离如在所附权利要求中所限定的本发明的范围。

Claims (20)

1.一种设备，包括：
至少一个处理器；以及
至少一个包括计算机程序代码的存储器，
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述设备至少：
检测紧邻输入表面的对象的存在，
检测与所述对象相关联的至少一个信息项，
检测关于所述对象到所述输入表面的距离的距离信息，以及
基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择。
2.一种设备，包括：
邻近检测***，具有用于检测紧邻输入表面的输入对象的存在的至少一个邻近检测器，以及
操作地连接到所述邻近检测***的控制器，所述控制器被配置为：
检测紧邻输入表面的对象的存在，
检测与所述对象相关联的至少一个信息项，
检测关于所述对象到所述输入表面的距离的距离信息，以及
基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择。
3.一种设备，包括：
用于检测紧邻输入表面的对象的存在的装置，
用于检测与所述对象相关联的至少一个信息项的装置，
用于检测关于所述对象到所述输入表面的距离的距离信息的装置，以及
用于基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择的装置。
4.根据前述权利要求中的任一项所述的设备，其中所述设备被配置为基于所述距离信息，激活在与所述信息项相关联的预览、推荐或补充信息窗口中的信息的显示和/或对所述信息的量进行适配。
5.根据前述权利要求中的任一项所述的设备，其中所述设备还被配置为：
响应于接收到指示所述对象具有到所述输入表面的第一距离的信号，控制与所述至少一个信息项相关联的第一组信息项的显示，以及
响应于接收到指示所述对象已经向所述输入表面靠近给定的阈值或者所述对象在距所述输入表面的第二距离内的信号，控制与所述至少一个信息项相关联的第二组信息项的显示。
6.根据前述权利要求中的任一项所述的设备，其中所述设备被配置为：
确定或检测与所述至少一个信息项或者一个或多个进一步的信息项相关联的关联性信息，所述进一步的信息项与所述至少一个信息项相关联，以及
根据所述关联性信息对用于显示的附加信息的所述选择进行控制。
7.根据权利要求6所述的设备，其中基于对访问历史的检查来确定所述至少一个信息项的所述关联性信息，所述访问历史指示所述设备的用户和/或一组选定的进一步的用户对所述信息项的使用，所述一组选定的进一步的用户在存储于所述设备中的联系信息中进行定义。
8.根据权利要求4或5中的任一项所述的设备，其中所述设备被配置为：
检测在与多个信息元素相关联的图形用户接口元素上方的所述输入对象，
确定或检测与所述多个信息项相关联的关联性信息，以及
基于所述关联性信息，选择所述多个信息项中与最高关联性相关联的至少一个信息项以用于显示。
9.根据前述权利要求中的任一项所述的设备，其中所述设备被配置为基于来自视频相机、光亮度传感器，或超声传感器中的至少一个的信息来检测所述距离。
10.根据前述权利要求中的任一项所述的设备，其中所述设备是包括触摸屏的移动通信设备。
11.一种方法，包括：
检测紧邻输入表面的对象的存在，
检测与所述对象相关联的至少一个信息项，
检测关于所述对象到所述输入表面的距离的距离信息，以及
基于所述距离信息控制对与所述至少一个信息项相关联的用于显示的附加信息的选择。
12.根据权利要求11所述的方法，其中基于所述距离信息，控制在与所述信息项相关联的预览、推荐或补充信息窗口中的信息的显示和/或对所述信息的量的适配。
13.根据权利要求11或12所述的方法，其中响应于接收到指示所述对象具有到所述输入表面的第一距离的信号，控制与所述至少一个信息项相关联的第一组信息项的显示，以及
响应于接收到指示所述对象已经向所述输入表面靠近给定的阈值或者所述对象在距所述输入表面的第二距离内的信号，控制与所述至少一个信息项相关联的第二组信息项的显示。
14.根据前述权利要求11至13中的任一项所述的方法，其中确定或检测与所述至少一个信息项或者一个或多个进一步的信息项相关联的关联性信息，所述进一步的信息项与所述至少一个信息项相关联，以及
根据所述关联性信息对用于显示的附加信息的所述选择进行控制。
15.根据权利要求14所述的方法，其中基于对访问历史的检查来确定所述至少一个信息项的所述关联性信息，所述访问历史指示所述设备的用户和/或一组选定的进一步的用户对所述信息项的使用，所述一组选定的进一步的用户在存储于所述方法中的联系信息中进行定义。
16.根据权利要求14或15中的任一项所述的方法，其中检测在与多个信息元素相关联的图形用户接口元素上方的所述输入对象，
确定或检测与所述多个信息项相关联的关联性信息，以及
基于所述关联性信息，选择所述多个信息项中与最高关联性相关联的至少一个信息项以用于显示。
17.根据前述权利要求中11至16中的任一项所述的方法，其中基于来自视频相机、光亮度传感器或超声传感器中的至少一个的信息来检测所述距离。
18.一种用于电子设备的用户接口，所述电子设备包括用于检测紧邻输入表面的输入对象的存在的邻近检测***，其中所述用户接口被配置为：
检测与当前检测到的所述对象的位置相关联的至少一个图形用户接口信息项，以及
显示与所述至少一个信息项相关联的附加信息，基于所述输入对象到所述输入表面的距离对所显示的附加信息的量进行适配。
19.一种计算机程序，包括用于当所述计算机程序在处理器上运行时使计算机执行根据权利要求11至17中的任一项所述的方法的代码。
20.根据权利要求19所述的计算机程序，其中所述计算机程序是包括计算机可读介质的计算机程序产品，所述计算机可读介质中承载有实现为用于与计算机一起使用的计算机程序代码。
CN201180054532.8A 2010-09-22 2011-09-06 用于基于邻近的输入的装置和方法 Active CN103210366B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/887,539 2010-09-22
US12/887,539 US8890818B2 (en) 2010-09-22 2010-09-22 Apparatus and method for proximity based input
PCT/FI2011/050762 WO2012038589A1 (en) 2010-09-22 2011-09-06 Apparatus and method for proximity based input

Publications (2)

Publication Number Publication Date
CN103210366A true CN103210366A (zh) 2013-07-17
CN103210366B CN103210366B (zh) 2016-11-02

Family

ID=45817293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180054532.8A Active CN103210366B (zh) 2010-09-22 2011-09-06 用于基于邻近的输入的装置和方法

Country Status (6)

Country Link
US (1) US8890818B2 (zh)
EP (1) EP2619647B1 (zh)
KR (2) KR20130058752A (zh)
CN (1) CN103210366B (zh)
BR (1) BR112013006616B1 (zh)
WO (1) WO2012038589A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970288A (zh) * 2014-05-21 2014-08-06 钟林 一种利用汉字拼形手势输入计算机指令的方法
CN105849675A (zh) * 2013-10-30 2016-08-10 苹果公司 显示相关的用户界面对象
CN106062700A (zh) * 2014-02-24 2016-10-26 三星电子株式会社 用于使用接近信息显示内容的方法和设备
CN107111422A (zh) * 2014-11-05 2017-08-29 三星电子株式会社 在装置上显示对象的方法，执行该方法的装置和执行该方法的记录介质
CN107111446A (zh) * 2014-12-01 2017-08-29 三星电子株式会社 控制设备的方法和***
CN108153464A (zh) * 2018-01-26 2018-06-12 北京硬壳科技有限公司 一种控制方法和装置
CN109791460A (zh) * 2016-06-30 2019-05-21 华为技术有限公司 软件定义的图标与多个可扩展层的相互作用
US10438205B2 (en) 2014-05-29 2019-10-08 Apple Inc. User interface for payments
US10732821B2 (en) 2007-01-07 2020-08-04 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US10739974B2 (en) 2016-06-11 2020-08-11 Apple Inc. Configuring context-specific user interfaces
US10778828B2 (en) 2006-09-06 2020-09-15 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US10788953B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
US10884579B2 (en) 2005-12-30 2021-01-05 Apple Inc. Portable electronic device with interface reconfiguration mode
US10914606B2 (en) 2014-09-02 2021-02-09 Apple Inc. User interactions for a mapping application
CN113939789A (zh) * 2019-06-28 2022-01-14 奇手公司 使用触敏表面感测和超声感测来检测对象接近度
US11281368B2 (en) 2010-04-07 2022-03-22 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US11321731B2 (en) 2015-06-05 2022-05-03 Apple Inc. User interface for loyalty accounts and private label accounts
US11604559B2 (en) 2007-09-04 2023-03-14 Apple Inc. Editing interface
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11783305B2 (en) 2015-06-05 2023-10-10 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5768347B2 (ja) 2010-09-07 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20120096349A1 (en) * 2010-10-19 2012-04-19 Microsoft Corporation Scrubbing Touch Infotip
JP5304763B2 (ja) * 2010-10-22 2013-10-02 アイシン・エィ・ダブリュ株式会社 画像表示装置、画像表示方法及びプログラム
JP2012103938A (ja) * 2010-11-11 2012-05-31 Seiko Epson Corp 光学式検出システム及びプログラム
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
EP2490113B1 (en) * 2011-02-15 2016-11-23 Lg Electronics Inc. Display device and method of controlling operation thereof
TWI447066B (zh) * 2011-06-08 2014-08-01 Sitronix Technology Corp Distance sensing circuit and touch electronic device
US10133439B1 (en) * 2011-08-29 2018-11-20 Twitter, Inc. User interface based on viewable area of a display
US10684768B2 (en) * 2011-10-14 2020-06-16 Autodesk, Inc. Enhanced target selection for a touch-based input enabled user interface
US9442942B2 (en) 2011-10-20 2016-09-13 Nokia Technologies Oy Method, apparatus and computer program product for dynamic and visual object search interface
WO2013111140A2 (en) 2012-01-26 2013-08-01 Umoove Services Ltd. Eye tracking
WO2013113360A1 (en) * 2012-01-30 2013-08-08 Telefonaktiebolaget L M Ericsson (Publ) An apparatus having a touch screen display
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
KR101527038B1 (ko) 2012-02-24 2015-06-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
WO2013156987A1 (en) * 2012-04-16 2013-10-24 Xtendi Software Technologies Ltd. Proximity-based interface system and method
WO2013168171A1 (en) * 2012-05-10 2013-11-14 Umoove Services Ltd. Method for gesture-based operation control
KR20140026723A (ko) * 2012-08-23 2014-03-06 삼성전자주식회사 휴대 장치의 가이드 제공 방법 및 그 휴대 장치
KR102084041B1 (ko) * 2012-08-24 2020-03-04 삼성전자 주식회사 펜 기능 운용 방법 및 시스템
US9552068B2 (en) * 2012-08-27 2017-01-24 Microchip Technology Germany Gmbh Input device with hand posture control
JP5942762B2 (ja) * 2012-10-04 2016-06-29 富士ゼロックス株式会社 情報処理装置及びプログラム
KR20140064089A (ko) * 2012-11-19 2014-05-28 삼성전자주식회사 근접 터치 입력을 통한 사용자 인터페이스 제공 방법 및 장치
CN103092467B (zh) * 2013-01-29 2016-08-03 华为终端有限公司 一种视频预览的方法及装置
KR20140105691A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 터치스크린을 구비하는 사용자 기기의 오브젝트 조작 방법 및 그 장치
US20140267094A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Performing an action on a touch-enabled device based on a gesture
US9170676B2 (en) 2013-03-15 2015-10-27 Qualcomm Incorporated Enhancing touch inputs with gestures
US9195332B2 (en) * 2013-05-23 2015-11-24 Nokia Technologies Oy Apparatus with deformable flexible user interface area and adjustable hover input region and associated methods
WO2014202819A1 (en) * 2013-06-17 2014-12-24 Nokia Corporation An apparatus for a 3-d stylus-actuable graphical user interface and associated methods
US9377949B2 (en) 2013-09-27 2016-06-28 Xiaomi Inc. Method and terminal device for selecting character
CN103472998B (zh) 2013-09-27 2017-03-15 小米科技有限责任公司 一种选取文字的方法、装置和终端设备
CN104571473B (zh) * 2013-10-15 2018-09-28 北京三星通信技术研究有限公司 穿戴式设备、移动终端及其通信方法
CN103631483B (zh) * 2013-11-27 2017-02-15 华为技术有限公司 一种定位的方法及装置
US9971413B2 (en) 2013-11-27 2018-05-15 Huawei Technologies Co., Ltd. Positioning method and apparatus
KR101692848B1 (ko) * 2013-11-29 2017-01-05 주식회사 하이딥 호버링을 이용하는 가상 터치패드 조작방법 및 이를 수행하는 단말기
WO2015130137A1 (en) * 2014-02-27 2015-09-03 Samsung Electronics Co., Ltd. Method and device for displaying three-dimensional graphical user interface screen
KR20150104302A (ko) * 2014-03-05 2015-09-15 삼성전자주식회사 전자 장치의 사용자 입력 검출 방법 및 그 전자 장치
US9927927B2 (en) * 2014-05-05 2018-03-27 Atmel Corporation Implementing a virtual controller outside an area of a touch sensor
US10719132B2 (en) * 2014-06-19 2020-07-21 Samsung Electronics Co., Ltd. Device and method of controlling device
KR102251541B1 (ko) 2014-06-23 2021-05-14 엘지전자 주식회사 이동단말기 및 그것의 제어방법
TW201602893A (zh) * 2014-07-07 2016-01-16 欣興電子股份有限公司 附加資訊提供方法及使用其的觸控顯示裝置
KR102380228B1 (ko) 2014-11-14 2022-03-30 삼성전자주식회사 디바이스를 제어하는 방법 및 그 디바이스
KR20160063812A (ko) * 2014-11-27 2016-06-07 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
KR20160067696A (ko) * 2014-12-04 2016-06-14 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
CN108227525B (zh) * 2017-12-04 2020-10-23 无锡小天鹅电器有限公司 家用电器的控制方法、装置和洗衣机
US11592423B2 (en) * 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977238A (zh) * 2004-06-29 2007-06-06 皇家飞利浦电子股份有限公司 用于防止弄脏显示设备的方法与设备
CN101452356A (zh) * 2007-12-07 2009-06-10 索尼株式会社 输入装置、显示装置、输入方法、显示方法及程序
KR20090116591A (ko) * 2008-05-07 2009-11-11 엘지전자 주식회사 근접한 공간에서의 제스쳐를 이용한 사용자 인터페이스제어방법
EP2138929A2 (en) * 2008-06-24 2009-12-30 LG Electronics Inc. Mobile terminal capable of sensing proximity touch
US20100099462A1 (en) * 2008-10-22 2010-04-22 Baek Sung Min Mobile terminal and method of providing scheduler therein

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
WO2006039939A1 (en) 2004-10-13 2006-04-20 Wacom Corporation Limited A hand-held electronic appliance and method of entering a selection of a menu item
US7924271B2 (en) 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US20090307224A1 (en) * 2007-11-12 2009-12-10 Amin Archit A Apparatus and method for communicating, accessing, organizing, and/or managing, information in a network environment
US8082566B2 (en) * 2007-12-19 2011-12-20 Verizon Patent And Licensing Inc. Input based function preview apparatuses, systems, and methods
KR101467766B1 (ko) 2008-03-21 2014-12-10 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
KR101486345B1 (ko) * 2008-03-21 2015-01-26 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
EP2131272A3 (en) 2008-06-02 2014-05-07 LG Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US20100110002A1 (en) * 2008-11-06 2010-05-06 Sony Ericsson Mobile Communications Ab Communication device with combined input and display device
JP5407336B2 (ja) * 2009-01-06 2014-02-05 日本電気株式会社 情報処理装置
KR101582686B1 (ko) * 2009-03-02 2016-01-05 엘지전자 주식회사 아이템 표시 방법 및 이를 적용한 이동 통신 단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977238A (zh) * 2004-06-29 2007-06-06 皇家飞利浦电子股份有限公司 用于防止弄脏显示设备的方法与设备
CN101452356A (zh) * 2007-12-07 2009-06-10 索尼株式会社 输入装置、显示装置、输入方法、显示方法及程序
KR20090116591A (ko) * 2008-05-07 2009-11-11 엘지전자 주식회사 근접한 공간에서의 제스쳐를 이용한 사용자 인터페이스제어방법
EP2138929A2 (en) * 2008-06-24 2009-12-30 LG Electronics Inc. Mobile terminal capable of sensing proximity touch
US20100099462A1 (en) * 2008-10-22 2010-04-22 Baek Sung Min Mobile terminal and method of providing scheduler therein

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915224B2 (en) 2005-12-30 2021-02-09 Apple Inc. Portable electronic device with interface reconfiguration mode
US12026352B2 (en) 2005-12-30 2024-07-02 Apple Inc. Portable electronic device with interface reconfiguration mode
US11650713B2 (en) 2005-12-30 2023-05-16 Apple Inc. Portable electronic device with interface reconfiguration mode
US10884579B2 (en) 2005-12-30 2021-01-05 Apple Inc. Portable electronic device with interface reconfiguration mode
US11449194B2 (en) 2005-12-30 2022-09-20 Apple Inc. Portable electronic device with interface reconfiguration mode
US12028473B2 (en) 2006-09-06 2024-07-02 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US11736602B2 (en) 2006-09-06 2023-08-22 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US10778828B2 (en) 2006-09-06 2020-09-15 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US11240362B2 (en) 2006-09-06 2022-02-01 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US11586348B2 (en) 2007-01-07 2023-02-21 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US10732821B2 (en) 2007-01-07 2020-08-04 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US11169691B2 (en) 2007-01-07 2021-11-09 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US11604559B2 (en) 2007-09-04 2023-03-14 Apple Inc. Editing interface
US10788953B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders
US11281368B2 (en) 2010-04-07 2022-03-22 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US11809700B2 (en) 2010-04-07 2023-11-07 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US11500516B2 (en) 2010-04-07 2022-11-15 Apple Inc. Device, method, and graphical user interface for managing folders
US11316968B2 (en) 2013-10-30 2022-04-26 Apple Inc. Displaying relevant user interface objects
US10250735B2 (en) 2013-10-30 2019-04-02 Apple Inc. Displaying relevant user interface objects
CN105849675A (zh) * 2013-10-30 2016-08-10 苹果公司 显示相关的用户界面对象
CN105849675B (zh) * 2013-10-30 2019-09-24 苹果公司 显示相关的用户界面对象
US10972600B2 (en) 2013-10-30 2021-04-06 Apple Inc. Displaying relevant user interface objects
CN106062700A (zh) * 2014-02-24 2016-10-26 三星电子株式会社 用于使用接近信息显示内容的方法和设备
CN103970288A (zh) * 2014-05-21 2014-08-06 钟林 一种利用汉字拼形手势输入计算机指令的方法
US11836725B2 (en) 2014-05-29 2023-12-05 Apple Inc. User interface for payments
US10748153B2 (en) 2014-05-29 2020-08-18 Apple Inc. User interface for payments
US10977651B2 (en) 2014-05-29 2021-04-13 Apple Inc. User interface for payments
US10438205B2 (en) 2014-05-29 2019-10-08 Apple Inc. User interface for payments
US10796309B2 (en) 2014-05-29 2020-10-06 Apple Inc. User interface for payments
US10902424B2 (en) 2014-05-29 2021-01-26 Apple Inc. User interface for payments
US11733055B2 (en) 2014-09-02 2023-08-22 Apple Inc. User interactions for a mapping application
US10914606B2 (en) 2014-09-02 2021-02-09 Apple Inc. User interactions for a mapping application
CN107111422A (zh) * 2014-11-05 2017-08-29 三星电子株式会社 在装置上显示对象的方法，执行该方法的装置和执行该方法的记录介质
US10929007B2 (en) 2014-11-05 2021-02-23 Samsung Electronics Co., Ltd. Method of displaying object on device, device for performing the same, and recording medium for performing the method
CN107111422B (zh) * 2014-11-05 2021-05-04 三星电子株式会社 在装置上显示对象的方法，执行该方法的装置和执行该方法的记录介质
CN107111446B (zh) * 2014-12-01 2021-06-18 三星电子株式会社 控制设备的方法和***
US10824323B2 (en) 2014-12-01 2020-11-03 Samsung Electionics Co., Ltd. Method and system for controlling device
US11513676B2 (en) 2014-12-01 2022-11-29 Samsung Electronics Co., Ltd. Method and system for controlling device
CN107111446A (zh) * 2014-12-01 2017-08-29 三星电子株式会社 控制设备的方法和***
US11321731B2 (en) 2015-06-05 2022-05-03 Apple Inc. User interface for loyalty accounts and private label accounts
US11783305B2 (en) 2015-06-05 2023-10-10 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US11734708B2 (en) 2015-06-05 2023-08-22 Apple Inc. User interface for loyalty accounts and private label accounts
US11733656B2 (en) 2016-06-11 2023-08-22 Apple Inc. Configuring context-specific user interfaces
US11073799B2 (en) 2016-06-11 2021-07-27 Apple Inc. Configuring context-specific user interfaces
US10739974B2 (en) 2016-06-11 2020-08-11 Apple Inc. Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
CN109791460A (zh) * 2016-06-30 2019-05-21 华为技术有限公司 软件定义的图标与多个可扩展层的相互作用
US11334237B2 (en) 2016-06-30 2022-05-17 Futurewei Technologies, Inc. Software defined icon interactions with multiple and expandable layers
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
CN108153464A (zh) * 2018-01-26 2018-06-12 北京硬壳科技有限公司 一种控制方法和装置
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
CN113939789A (zh) * 2019-06-28 2022-01-14 奇手公司 使用触敏表面感测和超声感测来检测对象接近度

Also Published As

Publication number Publication date
US20120068941A1 (en) 2012-03-22
KR101847754B1 (ko) 2018-04-10
WO2012038589A1 (en) 2012-03-29
KR20160062147A (ko) 2016-06-01
BR112013006616A2 (pt) 2016-06-21
EP2619647A4 (en) 2017-04-05
CN103210366B (zh) 2016-11-02
BR112013006616B1 (pt) 2021-03-16
US8890818B2 (en) 2014-11-18
EP2619647B1 (en) 2020-10-21
KR20130058752A (ko) 2013-06-04
EP2619647A1 (en) 2013-07-31

Similar Documents

Publication Publication Date Title
CN103210366A (zh) 用于基于邻近的输入的装置和方法
US12026170B2 (en) User interface for searching
KR102090269B1 (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
US11587559B2 (en) Intelligent device identification
US9261995B2 (en) Apparatus, method, and computer readable recording medium for selecting object by using multi-touch with related reference point
US10691300B2 (en) Method and system for providing information based on context, and computer-readable recording medium thereof
US20150347358A1 (en) Concurrent display of webpage icon categories in content browser
US20140331146A1 (en) User interface apparatus and associated methods
EP2770423A2 (en) Method and apparatus for operating object in user device
US10564740B2 (en) Pen device—panel interaction based on electromagnetic signals output by the pen device
US20150346919A1 (en) Device, Method, and Graphical User Interface for Navigating a Content Hierarchy
US20150103015A1 (en) Devices and methods for generating tactile feedback
JP2014229302A (ja) 電子装置の機能の実行方法及びその電子装置
CN107390931A (zh) 触摸操作的响应控制方法、装置、存储介质及移动终端
CN110865765A (zh) 终端及地图控制方法
US20170277379A1 (en) Method and terminal for processing desktop icon
US10908868B2 (en) Data processing method and mobile device
CN107111415A (zh) 用于移动应用接口元素的设备、方法和图形用户界面
US10306047B2 (en) Mechanism for providing user-programmable button
CN117406882A (zh) 桌面图标整理方法、装置、介质及设备
CN116302256A (zh) 桌面图标整理方法、装置、存储介质及终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160119

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

C14 Grant of patent or utility model
GR01 Patent grant