CN102934069B - 自动变形自适应用户接口装置和方法 - Google Patents

自动变形自适应用户接口装置和方法 Download PDF

Info

Publication number
CN102934069B
CN102934069B CN201180028181.3A CN201180028181A CN102934069B CN 102934069 B CN102934069 B CN 102934069B CN 201180028181 A CN201180028181 A CN 201180028181A CN 102934069 B CN102934069 B CN 102934069B
Authority
CN
China
Prior art keywords
user
interface
self
adaptive
adaptive user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180028181.3A
Other languages
English (en)
Other versions
CN102934069A (zh
Inventor
玛丽亚·罗梅拉·乔利夫
布赖恩·莫迈尔
巴巴科·福鲁坦保尔
德温德尔·山川
塞缪尔·J·霍罗德斯基
乔纳森·基斯
詹姆斯·P·梅森
杰迪恩·N·伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102934069A publication Critical patent/CN102934069A/zh
Application granted granted Critical
Publication of CN102934069B publication Critical patent/CN102934069B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04809Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种能够实施多个输入和配置模式的自适应用户接口装置可适于当前用户输入,且可包含配置改变。在一方面中,自适应用户接口装置可经配置以用于触摸板模式中的手指感测,且经配置以用于数字平板模式中的触笔感测。在另一方面中,所述自适应用户接口装置的表面特征可例如通过响应于进入键盘或小键盘模式而升高按钮来改变形状。各种机构可用于升高按钮,且可使得能够在所述接口上以多种形状和位置呈现按钮。所述自适应用户接口装置的配置可取决于用户动作和用户身份。可根据许多等级来组织配置模式,从而使得单个用户接口能够在有限的表面区域内支持大量输入选项功能性。

Description

自动变形自适应用户接口装置和方法
相关申请案
本申请案主张2010年6月10日申请的题目为“自动变形自适应用户接口装置和方法(Auto-morphing Adaptive User Interface Device and Methods)”的第61/353,577号美国临时申请案的优先权权益,所述美国临时申请案的整个内容以引用方式并入本文。
技术领域
本发明大体上涉及计算机用户接口***,且更特定来说涉及能够在交替的配置之间调适的用户接口。
背景技术
许多计算机***依赖于用户接口装置来从用户接收命令和数据输入。几种类型的用户接口装置已经变为标准,包含键盘、计算机鼠标、触摸板、触摸屏显示器以及跟踪球。此类常规用户接口装置针对特定类型的输入任务而专门化,例如键入文本或打字命令(例如,小键盘或键盘)以及在图形用户接口内导览(例如,计算机鼠标或跟踪球)。用户通常必须在日常任务的过程中在两个输入装置之间,例如在键盘与鼠标之间切换。
触摸屏显示器对于一些计算装置已经变得流行,因为其实现导览和数据输入(例如,经由虚拟键盘)。然而,触摸屏用户接口不提供升高的键,且因此在人体工程学上和在触觉上没有用于文本键入的物理键盘那样令人满意。屏幕上键盘并不容易使用,且不提供硬键的触觉反馈。
发明内容
各种方面包含一种自适应用户接口装置,用于将用户输入接收到计算装置,其中用户接口表面经配置以响应于用户输入或者应用程序或计算装置的操作状态而改变操作模式。此些改变操作模式可包含改变用户接口表面的功能性和/或形状。一方面包含一种配置此自适应用户接口装置的方法,所述自适应用户接口装置经配置以接收用户输入,所述方法包含:调适所述自适应用户接口装置的操作模式,其中调适操作模式可选自由以下各项组成的群组:调整所述用户接口装置对用户输入的灵敏度,以及改变所述自适应用户接口装置的形状。在一方面中,所述方法可进一步包含感测所述自适应用户接口装置上的用户输入;确定与所述感测到的用户输入兼容的操作模式;以及通过配置所述自适应用户接口装置来实施所述所识别的兼容用户输入模式。在又一方面中,调适所述自适应用户接口装置的操作模式可包含选择触摸板模式和触笔激活式数字平板模式中的一者。
在另一方面中,调适所述自适应用户接口装置的操作模式可包含改变所述自适应用户接口装置的表面的一部分的形状。此方面的方法可进一步包含:确定用户的手指在所述自适应用户接口装置的所述表面上的可接受位置;确定所述用户的手指在所述自适应用户接口装置的所述表面上的当前位置;以及当确定所述用户的手指的所述当前位置不处于所述确定的可接受位置时升高所述自适应用户接口装置的所述表面的一部分,以便在所述确定的可接受位置的方向上导引所述用户的手指。在一方面中,改变所述自适应用户接口装置的形状可包含:在第一模式中升高所述自适应用户接口装置的所述表面上的按钮,且在第二模式中降低所述按钮变为与所述自适应用户接口装置的所述表面齐平;且升高所述自适应用户接口装置的所述表面上的按钮可包含以键盘、小键盘、游戏接口或其它形式的用户接口结构的形式升高多个按钮。在又一方面中,升高所述自适应用户接口装置的所述表面上的按钮可包含以基于所述自适应用户接口装置的用户的身份在大小和定向上经配置的键盘的形式升高多个按钮。在又一方面中,所述自适应用户接口装置可包含一个或一个以上视觉元件,且所述方法可包含激活所述自适应用户接口装置的所述表面上的所述一个或一个以上视觉元件。
在又一方面中,所述方法可包含:确定耦合到所述自适应用户接口装置的计算装置的操作状态;基于所述确定的当前操作状态来确定所述自适应用户接口的合适配置模式;以及通过升高所述自适应用户接口装置的所述表面上的具有由所述确定的配置模式界定的形状和位置的多个按钮来实施所述确定的配置模式。在此方面中,所述多个升高的按钮的所述形状和位置可传达关于与所述升高的按钮中的每一者相关联的功能性的信息。在此方面中,所述方法可进一步包含以传送关于与所述升高的按钮中的每一者相关联的功能性的信息的方式激活所述自适应用户接口装置的所述表面上的一个或一个以上视觉元件。
在又一方面中,所述方法可包含确定耦合到所述自适应用户接口装置的计算装置的菜单状态,其中升高所述自适应用户接口装置的所述表面上的按钮包含以由所述菜单状态界定的格式升高多个按钮。在此方面中,所述菜单状态可在执行于所述计算装置上的应用程序中指定。在此方面中,所述方法可进一步包含:感测所述多个按钮中的一者的压下;确定与所述多个按钮中的所述压下的一者相关联的功能性;在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是可执行命令的情况下在所述计算装置中执行命令;以及在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是另一用户接口菜单的选择的情况下改变所述菜单状态且以由所述经改变的菜单状态界定的格式升高多个按钮。在此方面中,所述多个升高的按钮的所述形状和位置可传达关于与所述升高的按钮中的每一者相关联的所述功能性的信息。在又一方面中,所述方法可进一步包含以传送关于与所述多个按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口装置的所述表面上的多个视觉元件。
在又一方面中,一种计算装置可包含处理器,其耦合到自适应用户接口表面,所述自适应用户接口表面经配置以响应于接收到对所述用户接口表面的用户触摸而向所述处理器发送信号,其中所述处理器可以处理器可执行指令配置以执行包含以下各项的操作:调适所述用户接口表面的操作模式,其中调适操作模式可选自由以下各项组成的群组:调整所述自适应用户接口表面对用户输入的灵敏度,以及改变所述自适应用户接口表面的形状。在又一方面中,所述处理器可以处理器可执行指令配置以执行进一步包含以下各项的操作:从所述自适应用户接口表面接收指示所述用户接口表面上的用户输入的信号;确定与所述所指示的用户输入兼容的操作模式;以及通过配置所述自适应用户接口表面来实施所述所识别的兼容用户输入模式。在又一方面中,所述处理器可以处理器可执行指令配置以执行操作以使得调适所述自适应用户接口表面的操作模式包含选择触摸板模式和触笔激活式数字平板模式中的一者。
在又一方面中,所述自适应用户接口表面可经配置以响应于从所述处理器接收的命令而升高和降低,且所述处理器可以处理器可执行指令配置以执行操作以使得调适所述自适应用户接口表面的操作模式包含向所述自适应用户接口表面发送信号以致使所述自适应用户接口表面改变所述自适应用户接口表面的一部分的形状。在一方面中,所述处理器可以处理器可执行指令配置以执行包含以下各项的操作:确定用户的手指在所述用户接口表面上的可接受位置;确定所述用户的手指在所述用户接口表面上的当前位置;以及当确定所述用户的手指的所述当前位置不处于所述确定的可接受位置时向所述自适应用户接口表面发送信号以致使所述自适应用户接口表面升高所述自适应用户接口表面的一部分,以便在所述确定的可接受位置的方向上导引所述用户的手指。在又一方面中,所述处理器可以处理器可执行指令配置以执行操作且所述自适应用户接口表面可经配置以使得改变所述自适应用户接口表面的形状包含在第一模式中升高所述自适应用户接口表面上的按钮,且在第二模式中降低所述按钮变为与所述自适应用户接口表面齐平。在又一方面中,所述处理器可以处理器可执行指令配置以执行操作且所述自适应用户接口表面可经配置以使得升高所述自适应用户接口表面上的按钮包含以键盘、小键盘和游戏接口中的一者的形式升高多个按钮。在又一方面中,所述处理器可以处理器可执行指令配置以执行操作且所述自适应用户接口表面可经配置以使得升高所述自适应用户接口表面上的按钮包含以基于所述计算装置的用户的身份在大小和定向上经配置的键盘的形式升高多个按钮。在又一方面中,所述自适应用户接口表面可进一步包含耦合到所述处理器的一个或一个以上视觉元件,且所述处理器可以处理器可执行指令配置以执行进一步包含激活所述用户接口表面上的所述一个或一个以上视觉元件的操作。
在又一方面中,所述处理器可以处理器可执行指令配置以执行进一步包含以下各项的操作:确定所述计算装置的操作状态;基于所述确定的当前操作状态来确定所述用户表面的合适配置模式;以及通过向所述自适应用户接口表面发送信号以致使所述自适应用户接口表面升高具有由所述确定的配置模式界定的形状和位置的多个按钮来实施所述确定的配置模式。在所述方面中,所述处理器可以处理器可执行指令配置以执行操作以使得所述多个升高的按钮的所述形状和位置传达关于与所述升高的按钮中的每一者相关联的功能性的信息。进一步在此方面中,所述自适应用户接口表面可进一步包含耦合到所述处理器的一个或一个以上视觉元件,且所述处理器可以处理器可执行指令配置以执行进一步包括以传送关于与所述升高的按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口表面上的所述一个或一个以上视觉元件的操作。
在又一方面中,所述计算装置处理器可以处理器可执行指令配置以执行进一步包括确定所述计算装置的菜单状态的操作,其中升高所述自适应用户接口表面上的按钮包含以由所述菜单状态界定的格式升高多个按钮。在此方面中,所述处理器可以处理器可执行指令配置以执行操作以使得所述菜单状态可在执行于所述计算装置上的应用程序中指定。
在又一方面中,所述计算装置处理器可以处理器可执行指令配置以执行进一步包含以下各项的操作:从所述自适应用户接口表面接收指示所述多个按钮中的一者的压下的信号;确定与所述多个按钮中的所述压下的一者相关联的功能性;在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是可执行命令的情况下在所述计算装置中执行命令;以及在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是另一用户接口菜单的选择的情况下改变所述菜单状态且向所述自适应用户接口表面发送信号来以由所述经改变的菜单状态界定的格式升高多个按钮。在此方面中,所述处理器可以处理器可执行指令配置以执行操作以使得所述多个升高的按钮的所述形状和位置传达关于与所述升高的按钮中的每一者相关联的所述功能性的信息。进一步在此方面中,所述自适应用户接口表面可包含耦合到所述处理器的多个视觉元件,且所述处理器可以处理器可执行指令配置以执行进一步包括以传送关于与所述多个按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口表面上的所述多个视觉元件的操作。
在又一方面中,计算装置自适应用户接口表面包含压电致动器,所述压电致动器经配置以响应于从所述处理器接收的信号而升高所述自适应用户接口表面的一部分。在此方面中,所述自适应用户接口表面可包含粗纤维复合材料元件,所述粗纤维复合材料元件包括夹在粘合剂与带电极的聚酰亚胺膜的层之间的矩形压电陶瓷杆。
在又一方面中,计算装置自适应用户接口表面包含:流体匣;阀,其耦合到所述流体匣和所述处理器且经配置以响应于从所述处理器接收的信号而打开和关闭;以及流体泵,其流体地耦合到所述阀。
在又一方面中,计算装置自适应用户接口表面包含电耦合到所述处理器的静电激活部分。在此方面中,所述静电激活部分可包含由绝缘体层分离的第一和第二表面层,其中所述第一和第二表面层可电耦合到所述处理器以使得所述处理器可选择性地将相同或不同电压施加到所述第一和第二表面层,且其中所述处理器以处理器可执行指令配置以执行进一步包括将具有相同极性的电压施加到所述第一和第二表面层以升高所述静电激活部分的操作。
在又一方面中,计算装置自适应用户接口表面包含电耦合到所述处理器的磁性激活部分。在此方面中,所述磁性激活部分包括由分隔件层分离的永久磁体和电磁体,其中所述电磁体可电耦合到所述处理器以使得所述处理器可通过将电流施加到所述电磁体来产生磁场,且所述处理器可以处理器可执行指令配置以执行进一步包括将电流施加到所述电磁体以升高所述用户接口表面的所述磁性激活部分的操作。
又一方面包含一种计算装置,其包含用于实现上述方面方法的功能中的一些或全部的装置。
又一方面包含一种非暂时性处理器可读存储媒体,其上存储有处理器可执行指令,所述处理器可执行指令经配置以致使耦合到自适应用户接口表面的计算装置的处理器执行上述方面方法的操作。
在又一方面中,一种自适应用户接口装置包含:用户接口表面,其经配置以响应于来自耦合到所述自适应用户接口装置的处理器的信号而改变形状。在此方面中,所述用户接口表面可包含一个或一个以上视觉元件,所述视觉元件经配置以响应于来自耦合到所述自适应用户接口装置的处理器的信号而产生视觉图像。在此方面中,所述用户接口表面可包含致动器,所述致动器经配置以在第一模式中升高所述用户接口表面的一部分,且在第二模式中降低所述表面的所述部分变为与所述用户接口表面齐平。在此方面中,所述用户接口表面可包含呈键盘、小键盘、游戏接口或另一用户接口装置的形式的多个致动器。在一方面中,所述多个致动器可经配置以用基于所述自适应用户接口装置的用户的身份在大小和定向上经配置的键盘的形式升高多个按钮。在一方面中,所述用户接口表面可包含多个致动器,所述多个致动器可由耦合到所述自适应用户接口装置的处理器控制且经配置以经个别地致动以各自响应于来自耦合到所述自适应用户接口装置的处理器的信号而升高所述用户接口表面的外部的一部分。在一方面中,所述用户接口表面可经配置以检测所述用户接口表面的升高的部分的压下,且将指示所述用户接口表面的所述升高的部分被压下的信号发送到耦合到所述自适应用户接口装置的所述处理器。在又一方面中,所述致动器可为压电致动器中的一者,例如粗纤维复合材料元件,所述粗纤维复合材料元件包括夹在粘合剂与带电极的聚酰亚胺膜的层之间的矩形压电陶瓷杆。在另一方面中,所述致动器可为流体致动器,包含:流体匣;阀,其耦合到所述流体匣且经配置以响应于从耦合到所述自适应用户接口装置的所述处理器接收的信号而打开和关闭;以及流体泵,其流体地耦合到所述阀。在另一方面中,所述致动器可为静电致动器,其可包含由绝缘体层分离的第一和第二表面层,其中所述第一和第二表面层可电耦合到所述处理器以使得所述处理器可选择性地将相同或不同电压施加到所述第一和第二表面层。在另一方面中,所述致动器可为磁性致动器,其可包含由分隔件层分离的永久磁体和电磁体,其中所述电磁体电耦合到所述处理器以使得所述处理器可通过将电流施加到所述电磁体来产生磁场。
在另一方面中,一种自适应用户接口装置可包含:用户接口表面;以及用于响应于来自耦合到所述自适应用户接口装置的处理器的信号而改变所述用户接口表面的形状的装置,和/或用于响应于来自耦合到所述自适应用户接口装置的处理器的信号而产生视觉图像的装置。在一方面中,所述用户接口表面可包含用于在第一模式中升高所述用户接口表面的一部分且在第二模式中降低所述表面的所述部分变为与所述用户接口表面齐平的装置。在一方面中,所述用户接口表面可包含用于以键盘、小键盘、游戏接口和/或另一用户接口装置中的一者的形式升高多个按钮的装置。在一方面中,所述用户接口表面可包含用于以基于所述自适应用户接口装置的用户的身份在大小和定向上经配置的键盘的形式升高多个按钮的装置。在一方面中,所述用户接口表面可包含用于响应于从耦合到所述自适应用户接口装置的所述处理器接收的信号而个别地升高所述用户接口表面的小部分的装置。在一方面中,所述用户接口表面可包含:用于检测所述用户接口表面的升高的部分的压下的装置;以及用于将指示所述用户接口表面的所述升高的部分被压下的信号发送到耦合到所述自适应用户接口装置的所述处理器的装置。
附图说明
并入本文且构成本说明书的部分的附图说明本发明的示范性实施例,且连同上文给出的一般描述和下文给出的详细描述一起用以阐释本发明的特征。
图1A和1B是根据一方面的经配置为触摸板和用于从触笔接受输入的数字平板的自适应用户接口的图。
图2A和2B是在变形为键盘输入模式之前和之后的自适应用户接口的图。
图3是具有用于监视用户输入的相机的自适应用户接口的横截面图。
图4是说明各种方面的功能组件的硬件/软件架构图。
图5是说明根据各种方面的概览方法的过程流程图。
图6是具有可充入的流体匣的自适应用户接口的横截面图。
图7是通过由线性致动器驱动的销致动的自适应用户接口的横截面图。
图8A到8E是展示通过由线性致动器驱动的销致动的自适应用户接口的进一步细节的横截面图和立面图。
图9A和9B是由所施加电压致动的自适应用户接口的横截面图。
图9C和9D是由所施加磁场致动的自适应用户接口的横截面图。
图10A到10C是作为按钮压下序列的结果在自适应用户接口上实施的按钮配置序列的说明。
图11A到11C是可响应于所辨识的用户特征而在自适应用户接口上呈现的替代键盘配置的说明。
图12是经配置为计算机游戏输入的自适应用户接口的说明。
图13是经配置为音乐键盘的自适应用户接口的说明。
图14展示可由自适应用户接口产生的替代按钮配置的实例。
图15A和15B是在用户与接***互以滑动升高的表面之前和之后的自适应用户接口的说明。
图16A和16B是在用户与接***互以操纵输入模式的形貌之前和之后的自适应用户接口的说明。
图17是根据一方面的用于以菜单树呈现多个按钮配置的方法的过程流程图。
图18A到18C是经配置有视觉显示元件的一方面自适应用户接口的横截面和立面图。
图19是根据一方面的用于与用户交互以建议用户的手指在接口装置上的新位置的方法的过程流程图。
图20是适合于与各种方面一起使用的计算***的组件框图。
图21是适合于与各种方面一起使用的计算机的说明。
图22是适合于与各种方面一起使用的移动装置的说明。
具体实施方式
将参考附图详细描述各种方面。只要可能,将在整个图式中使用相同的参考标号来指代相同或相似的部分。对具体实例和实施方案做出的参考是出于说明性目的,且不希望限制本发明或权利要求书的范围。
本文使用词语“示范性”来表示“充当实例、例子或说明”。本文中描述为“示范性”的任何实施方案都不一定解释为比其它实施方案优选或有利。
各种方面包含提供自适应用户接口装置的***和方法,所述自适应用户接口装置可自动经配置以接收多种不同类型的用户输入。在第一方面中,所述自适应用户接口装置可充当响应于手指触摸的触摸屏,且当用触笔触碰时,适于充当从触笔接收输入的数字平板。在第二方面中,所述自适应用户接口装置可升高或降低固定位置中的按钮,从而使其能够在平坦触摸表面与具有升高的按钮的小键盘或键盘之间变换。在第三方面中,所述自适应用户接口装置可升高或降低在所述接口的表面上任何地方的按钮,其中升高的按钮的形状、配置和定向可由应用程序或操作***软件配置。在一方面中,所述自适应用户接口的再配置可响应于感测到的用户输入和/或操作***(例如,可用的按钮功能选项或菜单状态)而自动实现。在一方面中,计算装置可基于接收到的输入(例如,触摸表面上的触摸)来预期用户交互模式,且呈现与所述预期交互一致的配置(例如,特定一组升高的按钮)。各种方面可在多种应用中实施,尤其是在其中将需要多种不同用户输入接口和配置的应用中。另外,实现所述接口的表面上任何地方的按钮的动态放置的方面可实现菜单/按钮树配置,其可由用户简单地通过感觉升高的按钮的位置和形状来解译,进而为用户提供物理用户接口,通过所述物理用户接口,用户可与复杂***交互而无需看着图形用户接口显示器。在又一方面中,所述自适应用户接口表面可定位于计算装置或连接到计算装置的设备的任一可触摸表面上,而不仅仅是平坦(例如,平板)表面或视觉显示表面上。
在各种方面中,所述自适应用户接口装置可在当前输入模式内调适用户接口,或将所述用户接口变形为完全不同的输入模式。在图1A和1B中说明的方面中,自适应用户接口102可呈可充当触摸板100的平板的形式,所述触摸板100可感测在触摸板模式中操作的用户手指104触摸,且可将此些输入提供到附接的计算机,且在感测到触笔106对所述表面的触碰后,即刻变换为经配置以从触笔106接收输入的数字书写板110。在此方面中,自适应用户接口102可展现适合于以所述表面上的手指敲击的形式接收用户输入的对触摸的第一级灵敏度,以及适合于以所述表面上的触笔敲击的形式接收用户输入的第二级灵敏度。举例来说,触摸表面的灵敏度可经再配置以适应与触笔106压抵自适应用户接口装置的表面相关联的具有较高局部接触压力的较小接触表面。另外,感测机构可经修改或再校准以利用由触笔106提供的不同类型的物理交互(与手指触摸相比)。举例来说,自适应用户接口102可经配置以在触摸板模式100中使用电容性传感器感测用户的手指触摸,且在数字平板模式110中基于可由金属触笔提供的不同的一组电信号而变换到辨识触笔敲击。
在图2A和2B中说明的另一方面中,自适应用户接口102可经配置以在第一模式200中充当触摸板或数字平板,且通过升高经预配置的按钮214而变换或变形为键盘模式,所述经预配置的按钮214经致动以上升而形成键盘接口210。此些按钮214可由本文描述的致动机构中的任一者致动。通过提供在键盘模式中升起但在触摸板模式中缩回以形成光滑表面的致动按钮214,自适应用户接口装置可充当用以接收触摸型用户输入的触摸表面或数字平板,以及充当用于接收常规数据键入用户输入的常规键盘。此外,键盘配置模式可仅在预期有某些用户输入时被激活,例如当用户经授权以使用计算机或进行发送到计算机的数据键入时。当未使用时,自适应用户接口102的此方面提供光滑的触摸板表面,其可适合于其它任务(例如接收指向和绘画输入)同时提供可容易清洁的表面。举例来说,自适应用户接口装置的此方面可尤其有用于医院设施中,因为所述接口装置表面在不处于键盘模式中时返回到平坦配置,从而使得其能够容易清洁和消毒。由于按钮214从表面平面升起,因此可能没有其中可隐藏细菌的间隙或凹槽。自适应用户接口装置的此方面可类似地有用于工厂设施中,其中可仅在所述机器处于操作状态中时升高制造机器控制按钮以接收用户输入。在其它时间,自适应用户接口可呈现可容易清洁灰尘和尘垢的光滑表面。由于在按钮214之间不存在开口或凹槽,因此灰尘和加工微粒变为留在键盘中的机会少得多。通过提供升高的按钮214,键盘210可比部署于工厂设施中的通常在平坦键盘上使用塑料片的当前用户接口装置更容易使用。
在下文参见图6到16B更详细描述的第三方面中,自适应用户接口可配置有多个致动元件,所述致动元件可被个别地致动以在接口表面上的任何地方且以多种形状产生升高的部分或按钮214。通过调整升高的按钮214的形状中的位置,自适应用户接口102可适应广泛多种不同的操作模式或功能性,且提供可具有基于其在触觉上可辨识形状的意义的键。举例来说,如下文参见图14所论述,此大体上可配置的自适应用户接口可能够致动若干按钮,所述按钮的形状可通过用户的手指辨识以传达关于与每一按钮相关联的功能性的信息。这可允许用户准确地选择特定按钮而不必看着小键盘、键盘或图形用户接口显示器。此些能力可有用于其中用户无法从视觉活动(例如,驾驶车辆、开飞机或操作重型机器)分散其注意力的应用。在又一方面中,按钮位置可响应于用户输入,从而使得用户能够如同在常规物理显示器上移动滑动杠杆那样对按钮进行再定位。
在一些方面中,自适应用户接口的配置或操作模式可由用户选择,例如通过定位计算装置或接口装置上的开关,或通过选择用户接口菜单上的选项。在其它方面中,计算装置或自适应用户接口装置可经配置以基于用户与所述接口的交互而自动确定适当的配置或操作模式。可使用用于辨识用户对接口的既定使用的各种机构。可经由用户接口直接接收输入,例如通过触摸板、触笔或各种按钮模式的输入。输入可为经由麦克风或接收器接收的语音或音频命令。输入也可包含手指、手或其它物体的示意动作或姿势,其中所述示意动作或姿势是通过处理从相机、接近传感器或其它装置接收的数据来辨识。举例来说,如果用户用双手的指尖触摸自适应用户接口的表面,如图2A中说明,那么附接的计算装置或自适应用户接口装置可将此触摸事件辨识为指示应激活键盘模式,如图2B中说明。作为另一实例,用户与接口的交互可由相机302接收,如图3中说明。举例来说,附接的计算装置或自适应用户接口装置可经配置以处理从相机302接收的图像以确定用户的手的定向,且将此图像与存储在存储器中的图像进行比较以选择可有用于确定接口装置的适当配置或操作模式的对应图像。
为了使得应用程序能够与可提供广范围的命令信号的自适应用户接口装置102交互,使用此接口的计算装置可配置有自适应平板应用程序接口软件模块402,作为其操作***的一部分或接口装置的驱动器。此自适应平板应用程序接口软件模块402可包含应用程序接口部分404,其经配置以将键事件通知传递到应用程序420以及从应用程序420接收配置信号和命令。应用程序接口模块404可充当翻译器,使得应用程序开发者无需关注从自适应用户接口装置接收命令的细节。自适应平板应用程序接口软件模块402还可包含平板控制器模块406,其经配置以将配置和致动命令传递到自适应用户接口装置102以及从自适应用户接口装置102接收触摸事件通知。平板控制器模块406可经配置以指定平板表面上将被致动或升起的坐标,以便产生按钮特定配置。此些配置和致动命令可传递到表面致动器410,例如驱动个别按钮升起致动器的电路。由于按钮的位置和用户输入的特征可基于所实施的装置配置而变化,因此平板控制器模块406也可经配置以将所接收的触摸事件坐标或按钮致动翻译为可由应用程序解译的对应命令(例如,与特定压下的按钮相关联的字母或数字)。平板控制器模块406还可包含状态机408,其经配置以在自适应用户接口装置经配置为小键盘或键盘时支持键盘操作。
在操作中,当用户触摸或以另外方式与自适应用户接口装置102交互时,例如以适合于在键盘上打字的方式定位双手的指尖,此些交互可传递到平板控制器模块406。平板控制器406可经配置以将此输入辨识为指示用户期望经由键盘将输入键入计算机中。作为响应,平板控制器可将配置和致动命令传输到表面致动器410以致使表面的若干部分以键盘的形式升起。关于触摸平板表面的指尖的位置的信息可由平板控制器模块406使用以确定所产生键盘的适当定向和大小。
在各种方面中,自适应平板应用程序接口402可在耦合到自适应用户接口装置102的计算装置中操作的软件内实施,或可在作为自适应用户接口装置102的部分的处理器内实施。
图5说明实例方法500,通过所述方法,用户接口可依赖于用户意图来自动地在输入模式之间变形。在框502中,自适应用户接口可例如以通过指尖或触笔对表面的触摸的形式来呈现用户输入。此用户输入可从多种传感器接收,例如触敏表面、对表面成像的相机、接近传感器、压力传感器和其它传感器。在确定框505中,附接的计算装置内或自适应用户接口装置内的处理器可确定所述输入是否被辨识为与特定接口模式或配置相关的输入。如果用户输入未被辨识为可理解的用户输入(即,确定框504=“否”),那么用户接口可忽略所述输入且返回到框502以等待下一用户输入。
如果所接收的用户输入被辨识为有意义的用户输入(即,确定框504=“是”),那么在框507中可使所接收的输入与对应接口装置模式或配置相关。不同的输入模式可需要不同的传感器配置(例如,灵敏度、传感器解译等等),且不同的配置可需要触摸接口物理地改变形状,例如升高表面的若干部分以便产生物理按钮。在框510中,处理器可确定检测到的用户接口装置是否已经配置于相关的输入模式或配置中。如果相关的模式或配置已经有效(即,确定框504=“是”),那么在框514中可根据所实施的马达配置来处理所接收的输入,其中将所得的命令信息提供到附接的计算装置。在框514中处理用户输入之后,处理器可返回到框502以等待下一接收的用户输入。然而,如果相关的模式或配置并未已经有效(即,确定框504=“否”),那么在框512中自适应用户接口可将自身变换到对应模式或配置。如本文描述,此变换可包含自适应用户接口物理地改变表面的形状(例如,通过升高或降低按钮)、再校准输入传感器或这两种情况。
各种方面可使用多种机构用于实现自适应用户接口装置102的表面中的形状改变。此些形状改变机构可包含气动、液压、电致动器、静电以及磁性机构。此些形状改变驱动致动器连接到自适应用户接口装置自身内或耦合到接口装置的计算装置内的处理器,使得表面形状改变可由处理器控制。下文描述各种形状改变驱动致动器的实例,然而不同的技术和驱动机构可与各种方面一起使用。
图6说明自适应用户接口装置600,其中按钮214可经由施加到流体匣602的气动或液压压力而升起高出表面601接口装置。此些流体匣602可由流体泵604进行充入,所述流体泵604经配置以升高送气或流体分配通道606内的气体或液体的压力。耦合到每一流体匣602的处理器可控制的阀608使得处理器能够个别地致动按钮214或表面601的若干部分,以便形成升高的图案或按钮214。压力***604可采用气动或液压泵来对流体匣602进行充入。通过打开阀608中的每一者且对***加压,例如通过将压力***604去能,按钮214可缩回以使接口装置返回到光滑平板模式。在又一方面中,第二组处理器控制的阀(未图示)可耦合到每一流体匣602,所述阀在打开时可减少流体匣中的压力,以便使得处理器能够个别地升高和降低按钮214而无需激活引导***604。升高的按钮表面214可如同常规按钮那样被压下。可基于流体匣602内的压力改变来确定按钮214的压下,所述压力改变可由压力传感器(未图示)检测或者由可将按钮压下转换为可由附接的计算机解译的电信号的变换器或开关检测。
图7说明用于自适应用户接口显示器的另一实例致动器机构,其依赖于压电元件来升高接口表面701的若干部分。压电材料可经配置以在存在所施加电场的情况下伸长。当耦合到柔性表面701时,接口中的多个压电元件可经配置以响应于个别激活信号而升高表面,例如以产生升高的按钮214。压电元件702可直接耦合到装置表面701,或可耦合到与表面接触的机械销。压电材料在经受机械应力时产生电流。因此,当用户压下升高的按钮214时,压电材料可产生电信号,可测量所述电信号以检测按钮压下。用以致动压电元件702的电场可由处理器个别地连接到元件,例如通过将元件连接到电压源的固态开关的接口。多个独立致动的压电元件702可由处理器控制以产生多种升高的表面形状中的任一者。即使用压电元件可实现的位移量可能相对小,表面高度的较小改变也可足以提供可感知的升高的表面特征。
可在各种方面中使用的压电元件的实例是粗纤维复合材料(MFC),其由佛罗里达州萨拉索塔市的智能材料公司(Smart Material Corp.of Sarasota,Florida)制造和出售。MFC包括矩形压电陶瓷杆,其夹在粘合剂与带电极的聚酰亚胺膜的层之间。此膜含有交指式电极,所述电极将所施加电压直接传送到带形杆以及从带形杆直接传送所施加电压。此组合件实现了密封、耐久、现成的封装中的平面内立杆、致动和感测。当嵌入在表面中或附接到柔性结构时,MFC可提供分布式固态偏转和振动控制或应变测量。
图8A到8E中说明又一实例形状改变致动***。在此实例方面中,自适应用户接口装置102的表面可通过由线性致动器马达个别地驱动的多个销来升高。参见图8A,单个致动器802可包含可弯的表面层804,其可由下伏销806垂直移位,所述下伏销806由平行板808和810横向保持在适当位置且由线性致动器812垂直驱动。线性致动器812可为任何合适的线性马达,包含线性压电致动器、螺线管致动器、线性马达、线性步进马达等等。每一线性致动器802可由例如由连接器814递送的个别电信号驱动,所述连接器814可耦合到附接的计算装置内或自适应用户接口装置内的处理器。图8A说明处于断电或经去能配置中的致动器802。在此配置中,可弯的表面层804平放。图8B说明处于加电或经供能配置中的致动器802,其中可弯的表面层804通过由销806施加的压力而升高。
如图8C到8E所示,多个致动器802可靠近间隔且配置于阵列中,以便能够响应于经由连接器814由处理器施加的个别信号而升高可弯的表面层804的不同部分。图8C说明处于平板模式中的自适应用户接口装置102,其中没有致动器802被供能。图8D说明处于小键盘或按钮模式中的自适应用户接口装置102,其中致动器802的选定部分820被供能,从而产生升高的按钮214。通过将致动器802组织或配置为被个别地供能以及将其布置于阵列中,如图8E中说明,可产生广泛多种不同的按钮形状。可基于当接合的销通过其个别线性致动器812而被压下时或者当将压力或应变施加到线性致动器812或支撑板810时产生的信号来检测升高的按钮214的压下。
图9A和9B中说明利用静电力的又一实例形状改变致动***。在此实例方面中,自适应用户接口装置102可包含可由处理器例如施加电压(例如,Vcc)来选择性供能的顶部表面层904和底部支撑层910。如果顶部表面层904和底部支撑层910由绝缘体层908分离,那么施加到所述顶部和底部层的电荷可导致静电排斥或吸引力。通过将顶部表面层904配置有可弯的部分906,当将具有相同极性的电压施加到如图9A中说明的顶部表面层904和底部服务支撑层910时,静电力可致使可弯的部分906升起高出顶部表面层904的其余部分。此升高的表面可提供触觉按钮214。此按钮214的压下可通过可由电传感器912测得的所述两个层之间的电容或电压的改变来检测。如图9B中说明,通过将顶部表面层904和底部支撑层910中的一者或两者耦合到接地,或通过将具有相反极性的电压施加到顶部表面层904和底部支撑层910,按钮214可缩回,且自适应用户接口装置100可返回到光滑表面。通过将可弯的部分906组织于阵列中,例如图8E中说明,可产生广泛多种不同的按钮形状。
图9C和9D中说明利用磁力的形状改变致动***的又一实例。在此实例方面中,自适应用户接口装置102可包含嵌入于可弯的顶部表面层956内的永久磁体954,其与定位于底部支撑板958内的饼状电磁体960相对地定位。可提供分隔件层960以防止永久磁体954与电磁体960粘在一起。通过将正确多数的电压施加到电磁体960,可以排斥永久磁体954的方式产生磁场。如果永久磁体954以可弯的材料耦合到顶部表面层956,那么其可升起高出所述表面层达足够的程度,以便产生如图9C中说明的按钮214。可例如通过例如由电传感器962以十六分之一来测量饼状电磁体900中感应的电流来检测此按钮的致动。通过反转施加到饼状电磁体960的电流的极性,可在永久磁体954与电磁体960之间建立吸引力,从而致使永久磁体954搁置于分隔件层960上,从而得到自适应用户接口装置102的光滑表面。通过将永久磁体与电磁体对组织于阵列中,例如图8E中说明,通过选择性地对个别电磁体960供能可产生广泛多种不同的按钮形状。
在又一方面中,可能不需要接口的表面的物理扭曲。而是,例如振动、温度或电荷等其它技术可在对用户接口的若干区的控制中对用户提供触觉反馈,例如在接收到输入时施加力、产生振动或改变温度。
自适应用户接口装置102的形状改变表面的可控制性可提供当前已知接口技术不可用的大量有用应用。在自适应用户接口装置表面上的任何地方升高具有可辨识形状的按钮的能力可使得所述接口能够以当前使用视觉显示器实现的方式传达关于可用命令选项(即,与按钮相关联的功能)的信息。在接口上的不同位置中升高具有可辨识形状的按钮可以触觉方式向用户传达可用按钮供能。用户随后可压下此些按钮以选择对应功能。
以类似于图形用户接口和语音激活式电话接口***操作的方式,一方面可升高具有以菜单树组织传达其功能性的形状和位置的按钮。因此,一系列不同的升高按钮配置可响应于用户压下按钮而呈现,其中配置取决于用户输入和可用的当前功能选项而改变。举例来说,升高的按钮的第一配置可使得用户能够在不同类别的功能性(例如,飞行控制、引擎控制、导航控制、通信控制等等)当中进行选择。压下此些一般菜单按钮中的一者以选择一类功能性可带来与所选类别相关的第二按钮配置,其中按钮形状和位置传达与每一按钮相关联的功能性。压下这些按钮中的一者可致动对应功能或选择与额外功能选项相关联的又一按钮配置。命令选项的这种分层可继续通过多个层,以便提供用户可经由单个自适应用户接口装置选择的广范围的功能。由于按钮的形状和位置可改变,因此用户可基于感觉来确定按钮的功能而无需看着按钮或看着图形用户接口显示器。以此方式,可在小的接口表面区域内提供非常复杂的用户控制接口。
以按钮的形状和位置传达按钮的功能性可具有广范围的有用应用。此自适应用户接口装置的一个实例应用是用于控制面板飞机座舱。飞机座舱通常带有用于控制各种飞机***的大量按钮。飞行员必须记住占据座舱面积的较大部分的每一开关或按钮的位置。最近的航空电子***正在用可呈现指派于较少按钮的菜单识别功能的计算机图形用户接口代替许多按钮。然而,飞行员必须将其注意力分散到显示器以激活与在显示屏上识别的功能相连的虚拟键或按钮。各种方面使得不同类型的控制***能够用于座舱中,其中许多按钮可由单个自适应用户接口装置代替,所述单个自适应用户接口装置变换所呈现的按钮以对应于替代功能的多层菜单***。
在又一方面中,自适应用户接口装置可配置有传感器以基于例如用户手的形状等可感测的参数来辨识用户。在辨识出用户后,自适应用户接口装置可即刻改变配置和形状以为用户提供与用户的偏好和授权一致的接口。此些能力可与变换用户接口相组合以提供又一层安全性,因为如果用户未经授权,则键将不会升高并可供使用。此外,在接口上呈现的特定键可取决于用户经授权以激活的功能性。
图10A、10B和10C中说明用以基于用户输入来提供替代键的菜单的自适应用户接口装置的实例。举例来说,图10A说明自适应用户接口显示器102,其中对用户呈现由两个升高的按钮214a、214b表示的两个功能选项。这可反映初始菜单配置1000,其中用户可在两层菜单之间进行选择。响应于用户压下按钮214b,可呈现包含按钮214c、214d和214e的第二接口配置1020,其中按钮214b已退回,如图10B中说明。作为又一实例,如果用户压下按钮214c,那么如图10C说明可产生包含按钮214b、214d、214e和214f的第三替代按钮配置1040,其中按钮214c退回。
各种方面的能力可用于根据多种不同用户定制键盘,如图11A到11C中说明。举例来说,幼儿可能偏好于较小的键盘,而具有较大手指的成人可能偏好于展开较宽的较大键。因此,如图11A中说明,自适应用户接口装置102可变换为适合于具有较小手的用户的键盘1100,且在用户具有较大手的情况下变换为较大键盘配置1120,如图11B中说明。
又一实例,用户可选择特定类型的键盘布局,例如图11C中说明。因此,单个自适应用户接口装置102可使得用户能够从广范围的替代键盘布置中进行选择,例如Dvorak布局,且包含用于支持各种语言的多种键,包含用于语言特定发音标记的额外键。这些布局中的每一者可经设定为与用户身份相关联的优选模式,或经设定为同一方面内的不同模式。
自适应用户接口装置的物理配置可自动实现(例如)以基于其被感测到的在表面上的触摸位置来调整按钮的形貌以配合用户手的大小,或者其可由用户设定。用户可编程或设定自适应用户接口装置以基于用户的身份而自动与特定模式或形貌相互作用,例如以个人偏好的形式。举例来说,用户可能偏好于包含如图11C中说明的额外按钮的键盘布局。当所述特定用户由检测到的用户接口装置(或耦合到所述装置的计算机)识别或辨识出时,可自动实施用户设定,从而导致键在所需位置中升高。
各种方面的能力可不限于常规小键盘或键盘布局,且可适应多种用户接口(其适于特定应用)。举例来说,图12说明自适应用户接口装置102的配置200,其中装置已采用经专门化以用于计算机游戏的按钮形貌。举例来说,游戏接口配置1200可包含一组功能控制按钮1202、一组菜单按钮1204以及运动或方向控制器1206。作为自适应用户接口装置对游戏应用的应用实例,计算装置可经配置以使得用户能够通过与表面交互以致使升高的部分来回移动而玩具有移动对象的游戏,类似于游戏“Pong”。举例来说,两个玩家可位于自适应用户接口装置表面的相对侧上,且用他们的手轮流击中表面的升高部分。用户的手在表面的升高部分上的触摸将由自适应用户接口装置检测以传送到处理器,处理器将致使升高的表面响应于检测到的触摸(例如,位置和压力)而移动。因此,用户触摸移动的升高部分可致使所述升高部分在相反方向上行进。如果表面的升高部分到达自适应用户接口装置的边界,则用户可能赢得此游戏。在又一实例中,处理器可致使自适应用户接口装置升高表面的若干部分以便例如响应于游戏输入或游戏状态而在所述表面上推动一对象,例如乒乓球、扑克筹码或小型玩具。移动的表面部分与用户之间的其它形式的物理交互可经实施以实现广泛多种计算机游戏。
图13说明另一实例应用,其中自适应用户接口装置102已采用乐器配置1300,其中呈现多个钢琴键1304。
如上文论述,由自适应用户接口显示器产生的按钮的形状可用以向用户传达可感测到的意义而无需看着小键盘。图14中说明几个在触觉上可辨识的按钮配置的实例。其它复杂的按钮形状也是可能的。
各种方面不限于产生按钮。举例来说,可在自适应用户接口装置上呈现复杂的形貌(例如)以传达地理信息、身份信息以及通常在视觉显示器上当前传达给用户的种类的信息。举例来说,自适应用户接口装置的表面可变形为一个人的脸的轮廓,从而使得用户能够基于感觉来辨识个人。
在又一方面中,在自适应用户接口显示器上呈现的按钮214的位置可响应于用户输入而改变。举例来说,图15A和15B说明配置1500,其中按钮1504例如以类似于字母可如何在音频均衡器、滑动电子控制件或线性电位计中定位的方式来沿着升高的线1502定位。图15A说明接口按钮1504的第一位置。用户可触摸按钮中的一者且在无需从表面提起手指的情况下,沿着控制线1502中的一者垂直地推动所述按钮。响应于感测到所施加的压力,自适应用户接口装置可沿着垂直轴MDII再定位按钮,好像用户在物理上正在移动按钮一样。图15B说明在用户已沿着垂直线1502中的一者移动按钮中的一者之后接口按钮1504的第二位置。此形式的控制提供关于按钮沿着垂直标度的位置的视觉和触觉反馈,例如可用于控制响应于此线性输入的***。所产生按钮的滑动运动可发出具有连续值范围的任何输入的信号,包含类似于所述表面相似的滑动电子控制件或线性电位计的行为。
以类似方式,用户可在自适应用户接口装置上再定位按钮(例如)以适合其个人偏好或工作需要。举例来说,如图16A中说明,用户可在一个位置中触摸按钮214且将其拖动到其可保持的第二位置,如图16B中说明。除了输入之外,滑动表面也可为操纵一方面以变为优选形貌的方式。此些个人化形貌可经保存为用户偏好,其可随后在自适应用户接口装置或附接的计算装置知道了用户的身份时再现。
如上文论述,以各种位置和各种形状呈现按钮的灵活性实现了一种用户不关注视觉显示器的整洁的新形式接口。图17中说明可在计算装置中或配备有用于实施多种菜单按钮配置的处理器的自适应用户接口装置内实施的实例方法1700。在方法1700中在框1702中,处理器可将菜单状态设定于分层菜单组织中的最低层级。举例来说,最低层级菜单可提供用户可从中进行选择的用于选择菜单类别的选项。在框1704中,自适应用户接口装置可以对应于当前设定的菜单状态的形状和位置来升高按钮。在框1706中,自适应用户接口装置可感测按钮压下,且在框1708中,附接的处理器可确定链接到所压下的按钮的功能或菜单选择。在框1706和1708中,可基于在当前菜单状态中界定的与自适应用户接口装置的表面区域上的按钮位置相关的功能映射来确定所链接的功能性。因此,确定链接到特定按钮的功能或菜单选择选项可涉及使按钮压下的位置与当前菜单状态中呈现的选项相关。在确定框1710中,处理器可确定由按钮压下指示的选择是否已选择一可执行功能或另一菜单。如果对应于按钮压下的功能性是将实施的另一菜单的选择(即,确定框1710=“菜单选择”),那么处理器可在框1714中将菜单状态设定为所选的菜单。随后,自适应用户接口装置可返回到框1704以用对应于新选择的菜单状态的形状和位置来升高按钮。如果处理器确定所压下的按钮对应于一可执行功能(即,确定框1710=“功能”),那么可在框1712中执行所选的功能。如果由于执行所述功能菜单选项应返回到基本菜单,那么处理器可返回到框1702以将菜单状态设定于最低层级。如果所执行的功能导致一不同菜单状态,那么处理器可任选地返回到框1704以实施当前菜单状态。
在方法1700中界定和实施的菜单状态可在用户应用程序中和/或在计算装置操作***内指定。举例来说,许多状态可指定接口上的物理位置和按钮的形状,以及其根据菜单状态组织的相关联功能性。任一数目的菜单状态可如此由应用程序开发者界定。因此,方法1700使得应用程序开发者能够实施广泛多种物理小键盘配置和菜单。
虽然一些图式说明经配置为平坦表面(例如平板表面)的自适应用户接口装置,但接口表面可以任何形式或轮廓配置且定位于计算装置或耦合到计算装置的设备的任何可接达表面上。举例来说,如上文提到,自适应用户接口装置可并入到飞机座舱或者汽车仪表板或控制台的表面中。作为另一实例,自适应用户接口装置元件可并入在移动装置(例如,智能电话、智能书或膝上型计算机)的任一表面上,例如侧面或背表面。以此方式,例如一组用户接口按钮可被激活且在移动装置的背面上升高,从而使得用户能够在查看前表面上的视觉显示器上的图像的同时通过压下所述背表面上的具有可辨识形状的按钮来提供输入。
虽然自适应用户接口装置使得用户能够在无图形显示的情况下与***交互,但在一些方面中,所述接口也可并入有显示元件。除了传达***状态的升高的按钮配置之外,可将柔性显示元件集成到自适应用户接口装置的顶部层中,其可由处理器控制以传达视觉信息。可用于此方面的合适显示器技术的实例是柔性有机发光二极管(OLED)技术,其实例最近已由索尼(Sony)公司宣布。在变形表面的顶部上显示视觉信息可确认升高的按钮的功能,例如在升高的表面上显示字母、数字和/或色彩。以此方式,可以例如色彩、字母或数字和/或文本标记等视觉识别符来动态地标记经致动的按钮。图18A到18C中说明配备动态显示器的自适应用户接口装置的此方面。
参见图18A,通过在顶部表面804的顶部内或顶部上包含例如柔性OLED元件等处理器激活式显示元件1802可形成具有集成视觉显示元件的自适应用户接口装置102。显示元件1802可在结构上为柔性的,因此其可在升高的按钮或形状的各种配置被激活时与顶部表面804一起弯曲。显示元件1802可以多种形状和布局布置,以便适应广泛种类的可部署按钮和形状。在各种方面中可实施多种显示元件组件,包含例如各种类型的液晶显示器(LCD)元件和发光二极管(LED)。图18A中说明的其它组件在上文参见图8来描述。
在一些方面中,处理器激活式显示元件1802可经配置为设定的显示特征,例如用于下伏按钮的字母、数字或文本,其在下伏按钮升高时被照亮或以另外方式激活。以此方式,键盘的键在键盘模式被激活时(即,当键升高且经配置以接收用户输入时)被识别,但在自适应用户接口装置102处于桌面或减活模式中时不被照亮。
在其它方面中,处理器激活式显示元件1802可定位于自适应用户接口显示装置102上,使得其可由处理器激活以便产生与元件图案一致的任何显示。举例来说,参见图18B,处理器激活式显示元件1802可以若干片段和图案定位于自适应用户接口显示装置102上,使得通过处理器选择性地暗化(例如,通过激活LCD)或照亮(例如,对LED供能)特定显示元件片段来照亮任何数字或字符。在此方面中,显示元件1802可呈若干短条的形式,其配置于格式化一数字/字符图案1804的阵列中。如图18A中所示的横截面A中说明,显示元件1802可部分地或完全地嵌入外部接口804内。通过选择性地激活特定显示元件1802,处理器可在如数字/字符图案1806中说明的数字/字符图案内产生任何数字或字符。可实施广泛多种不同的显示元件1802图案,例如提供如数字/字符图案1808中说明的对角线显示元件。在此方面中,显示元件1802中的每一者电子耦合到处理器,使得其可被选择性地供能以照亮对应于经激活按钮的字母或字符。
在图18C中说明的另一实例中,处理器激活式显示元件1802可经配置为自适应用户接口显示装置102的表面上的点或LED的阵列。在此配置中,可通过选择性地照亮或暗化所选的显示元件1802以便形成图案来产生任何形式的显示。此方面可尤其有用于可激活广范围的按钮和升高的形状的自适应用户接口显示器,因为在表面上可照亮或暗化字母、数字、形状或文本的任何图案。虽然图18C展示若干圆点的图案,但显示元件1802可为任何形状,包含线段、十字、椭圆等等。
在使用中,耦合到自适应用户接口显示装置102的处理器可结合激活装置表面的按钮或升高的部分来激活显示元件1802,例如在上文关于图5和17描述的框512和1704中执行的操作的部分。以此方式,升高的按钮的形状和位置可取决于或传达其功能性的意义,所述意义可以按钮/升高的部分的表面上的视觉显示来表达。
在又一方面中,可提供应用程序编程接口(API)以辅助应用程序开发者配置和实施自适应用户接口装置。对于能够致动一表面的任一部分的自适应用户接口装置,例如上文参见图8A到8E所描述,可以类似于显示器像素的方式来处理个别表面致动器,不同之处是所述致动涉及指定所述表面应升高到的高度。为了反映此情况,最小的致动元件单元可称为“高度像素(hixel)”。
C程序员有若干方式可配置应用程序以致动高度像素集合,以便产生特定用户接口表面配置。在第一实例中,应用程序可经配置以引入到存储器中的可能称为“高度画布(Height Canvas)”的某个位置或缓冲器中。自适应用户接口装置可随后使用存储在此高度画布中的数据来确定升高哪些高度像素且升高多高。自适应用户接口装置随后升高或降低每一高度像素(或像素集合,如果所述装置不具有像素/高度像素分辨率的话)。举例来说,具有值0(黑)的高度像素可不升高,而具有值255(白)的高度像素可被延伸到其最大高度。通过将新的高度像素值循序地加载到高度画布中,自适应用户接口装置可造成移动或动画,其中表面特征随着时间而上升和下降。
在第二实例中,自适应用户接口装置的制造者可提供函数或API,其可由任何应用程序调用以致动高度像素。此函数或API可从图形缓冲器接收图像,例如所显示图像的一些或全部,将所接收图像变换为灰度级,可能修改所述图像以使其适合用于致动特定的表面致动元件,且将结果复制到如上所述的高度画布中。以此方式,由此函数或API处理的动画图像可产生移动的表面特征。
在第三实例中,例如Qt、GTK或Windows等图形用户接口(GUI)工具包可经修改以借此针对可使接口特征与特定位置和高度的高度像素相关联的每个窗口小部件(按钮、检查框、滑块等等)提供查找表。因此,如果开发者正在使用Visual C++来拖放按钮以产生计算器应用程序,那么GUI工具包(例如Microsoft)可确定计算器接口上的按钮的高度应为高度像素值128,其中按钮经配置为圆形,且可确定文本框的高度应为围绕边界的高度像素值96,其中文本具有高度像素值48。此类GUI工具包可与大量软件应用程序和编程语言一起工作,且用以支持针对多种计算装置的应用程序开发。
在又一方面中,按钮和特征升高到的高度可为可调整的或用户可界定的,例如根据基于用户偏好、用户的手和/或手指的测量或其它信息的比例因数来调整。此针对特定用户的致动高度调整比例因数可记录在存储器中,使得经致动按钮和表面的高度将取决于谁登录到***中。此致动高度调整比例因数可应用于存储在高度画布中的高度像素值,或可应用于用来填充高度画布的输入。
在又一方面中,计算装置的处理器可以通过响应于用户或基于执行的应用程序的操作或操作状态而移动升高的表面来与用户交互的方式控制和调适用户接口装置。因此,计算装置处理器和自适应用户接口装置可经配置以升高装置表面的一部分以警告用户一状况,例如传入的电话呼叫、警报或者当前或待决的操作状态。举例来说,自适应用户接口装置可由处理器使用以触摸、轻击或戳碰用户(例如用户的腿,当计算装置处于用户的口袋中时)以警告用户一传入的电话呼叫、电子邮件或文本消息。此触摸、轻击或戳碰可代替或增强振动模式警报。作为另一实例,接口表面的一部分可升起以提供警报的视觉指示,例如模拟举起的手或旗帜。
作为另一实例,计算装置处理器和自适应用户接口装置可经配置以确定用户的手在装置表面上的当前位置是否适合于当前操作状态,且当其不处于合适位置中时,升高表面的若干部分以便将用户的手导引到较好的位置。
图19中说明用于将用户的手指导引到新位置的方法1900。在方法1900中在框1902中,处理器可确定用户的手指或手的可接受位置。此确定可接受位置可取决于针对当前操作状态或应用而致动的按钮的配置,或将原本被用户的手阻挡的所显示图像。在框1904中,自适应用户接口装置可检测用户的手指在接口表面上的触摸,且将所述触摸的位置传送到耦合到用户接口装置的计算装置的处理器。在确定框1906中,处理器可确定用户的手指或手是否处于自适应用户接口装置的表面上的可接受位置。举例来说,如果自适应用户接口装置包含显示元件,如上文参见图18A到18C所示,那么处理器可确定用户的手指在自适应用户接口装置表面上的位置是否将阻挡用户对显示的重要部分的查看。作为另一实例,当装置的当前操作状态需要当用户的手处于所确定位置时无法由用户感测或致动的升高的按钮配置时,处理器可确定用户的手处于不合适的位置。如果处理器确定用户的手指或手处于用户接口表面上的可接受位置(即,确定框1906=“是”),那么处理器和自适应用户接口装置可继续进行如上文参见图5或图17描述的方法500或1700。
如果处理器确定用户的手指或手不处于可接受位置(即,确定框1906=“否”),那么在框1908中处理器可引导自适应用户接口装置升高致动器表面的连接到所述用户的手指或手的位置的一部分。在框1910中,处理器装置可随后致动邻接的表面致动器元件以便移动升高的表面,以便朝向所确定的可接受位置引导用户的手指。举例来说,致动器表面可提供脊部或升高的表面,其压抵用户的手指的尖端以便提供在可接受位置的方向上的简单推动。在升高的表面的每一递增移动的情况下,通过返回到框1904以确定其在表面上的当前位置,处理器可确定用户的手指或手是否已移动到可接受位置。表面的一部分的此移动可继续直到处理器确定用户的手指或手处于用户接口表面上的可接受位置(即,确定框1906=“是”)为止,处理器和自适应用户接口装置可继续进行如上文参见图5或图17描述的方法500或1700。以此方式,计算装置和相关联的自适应用户接口装置可对用户提供触觉反馈以将用户的手指或手导引到装置表面上的较合适的位置。
沿着提示用户将手指移动到较合适的位置的线,计算装置的处理器还可经配置以类似地将用户的手指移动到可例如通过提供额外散热器来改善操作的位置。举例来说,处理器可经配置以检测何时装置正在高于阈值温度而运行,且升高致动器表面的若干部分以便将用户的手指中的一者或一者以上再定位到其可充当额外散热器的位置。
在又一方面中,计算装置的处理器可经配置以使用移动自适应用户接口装置的升高部分以产生计算装置自身的移动的能力。举例来说,处理器可经配置以在接口表面上移动升高的部分,其使得所述装置能够走过桌面或其它表面。在另一实例中,处理器可经配置以在接口表面上移动升高的部分以致使装置在用户的口袋内爬行。举例来说,处理器可经配置以辨识何时装置处于用户的口袋中(例如,通过检测较低或无环境光、装置处于睡眠模式、装置处于垂直定向等等),且以与向用户的口袋中更深的爬行(即,在重力的方向上)协调的方式激活可移动膜,以便防止装置掉落到口袋之外。
在又一方面中,配置有实现较大致动的致动器元件的自适应用户接口显示器可经配置以弹开所述表面的盖,例如以警告用户需要用户输入的状况。此致动可经配置为可由应用程序激活的警报状况或致动。
上文描述的方面可在多种计算装置中的任一者上实施,图20中说明所述计算装置的实例组件。图20中说明计算装置2000的示范性非限制性方面的实例组件和模块。计算装置2000可包含电子组件的电路板2080(例如,母板),所述电子组件中的一些或全部可集成到芯片上***中,所述电路板包含耦合到存储器2002的控制处理器2001。控制处理器2001可进一步耦合到也耦合在一起的数字信号处理器2011和/或模拟信号处理器2021。在一些方面中,控制处理器2001和数字信号处理器2011可为同一组件或可集成到同一处理器芯片中。显示器控制器2033和触摸屏控制器2043可耦合到控制处理器2001且耦合到在计算装置2000内或连接到计算装置2000的显示器或触摸屏显示器2003。
在各种方面中,控制处理器2001可耦合到自适应用户接口装置2007。在一些方面中,自适应用户接口装置2007可集成在计算装置2000结构中,例如装置外部表面的一部分,而在其它方面中,自适应用户接口装置2007可为单独装置,例如数字平板/触摸板或机器控制接口。在一些方面中,自适应用户接口装置2007可包含控制器电路2017,其可充当自适应用户接口装置的致动器和传感器与控制处理器2001之间的控制接口。在其它方面中,控制器电路2017可包含在计算装置组件内,例如母板2080上,或甚至在控制处理器2001内。在一些方面中,控制器电路2017可包含处理器(未单独图示)以响应于来自控制处理器2001的控制信号和/或响应于用户与装置的交互而控制由自适应用户接口装置2007执行的操作。
另外,控制处理器2001还可耦合到可装卸式存储器2022(例如,在移动计算装置的情况下的SD存储器或SIM卡)和/或外部存储器2004,例如磁盘驱动器、CD驱动器和DVD驱动器中的一者或一者以上。控制处理器2001还可耦合到通用串行总线(USB)控制器2012,其耦合到USB端口2014。而且,电源2070可通过USB控制器2012或通过不同的电连接耦合到电路板2002以对各种电子组件提供电力(例如,DC电力)。
控制处理器2001还可耦合到视频编码器2034,例如逐行倒相(PAL)编码器、顺序色彩存储(SECAM)编码器或国家电视***委员会(NTSC)编码器。此外,视频编码器2034可耦合到视频放大器2036,其可耦合到视频编码器2034和显示器或触摸屏显示器2003。而且,视频端口2038可耦合到视频放大器2036以使得能够将计算装置2000连接到外部监视器、电视机或其它显示器(未图示)。
在一些方面中,尤其是移动计算装置中,控制处理器2001可例如经由模拟信号处理器2021耦合到射频(RF)收发器2005。RF收发器2005可耦合到用于发射和接收RF信号的RF天线2004。RF收发器2005可经配置以发射和接收一个或一个以上不同无线通信协议的通信信号,所述协议包含例如蜂窝式电话(例如,G-3、UMTS、CDMA等等)、WiFi、WiMax和蓝牙。
控制处理器2001可进一步耦合到网络卡2006,其可耦合到网络连接器2016和/或RF收发器2005且经配置以经由外部网络(例如,局域网、因特网、内部网、WiFi网络、蓝牙网络、个域网(PAN)等等)实现通信。网络卡2006可呈单独芯片或卡的形式,或可作为完整解决方案通信芯片实施为控制处理器2001或RF收发器2005(或两者)的一部分。
若干模拟装置可经由模拟信号处理器2021耦合到控制处理器2001,例如如图20所示的小键盘2008。在其它实施方案中,小键盘或键盘可包含其自己的处理器,使得与控制处理器2001的接口可以是通过直接连接(未图示)、通过网络连接(例如,通过网络卡),或者通过USB端口2014。
在一些实施方案中,数码相机2048可耦合到控制处理器2001。在示范性方面中,数码相机2048可为电荷耦合装置(CCD)相机或互补金属氧化物半导体(CMOS)相机。数码相机2048可建置到计算装置2000中或通过外部电缆耦合到装置。
在一些实施方案中,音频编解码器2050(例如,立体声编解码器)可耦合到模拟信号处理器2021且经配置以经由音频放大器2052将声音信号发送到一个或一个以上扬声器2054。音频编解码器2050还可耦合到麦克风放大器2056,其可耦合到麦克风2058(例如,经由麦克风插孔)。头戴式耳机插孔2059也可耦合到音频编解码器2050用于将音频输出到头戴式耳机。
在一些实施方案中,计算装置2000可包含单独的RF接收器电路2060,其可耦合到用于接收广播无线通信信号的天线2062。接收器电路2060可经配置以接收广播电视信号(例如,FLO TV广播),且将所接收信号提供到DSP 2011供处理。在一些实施方案中,接收器电路2060可经配置以接收FM无线电信号,在此情况下所接收信号可传递到音频编解码器2050供处理。
在一方面中,用于实现上文描述的方法操作中的一者或一者以上的处理器可执行指令可存储在内部存储器2002、可装卸式存储器2022和/或非易失性存储器2004中(例如,硬驱动器、CD驱动器或可经由网络存取的其它存储装置上)。此些处理器可执行指令可由控制处理器2001执行以便执行本文描述的方法。
图21中说明适合于与各种方面一起使用的多用途计算机2100的实例。此多用途计算机2000通常包含处理器2001,其耦合到易失性存储器2002和大容量非易失性存储器,例如磁盘驱动器2003。计算机2100还可包含耦合到处理器2001的软盘驱动器2104和压缩光盘(CD)驱动器2105。在所述方面中,计算机2000耦合到例如上文描述的自适应用户接口装置2007。另外,计算机2100还可耦合到常规用户接口装置,例如键盘2008、计算机鼠标2010和显示器2109。计算机2100还可包含耦合到处理器2001的若干连接器端口,用于建立数据连接或接纳外部存储器装置,例如USB或连接器插座或用于将处理器2001耦合到网络的其它网络连接电路2006。
图22中说明适合于与各种方面一起使用的移动装置2200的实例。此移动装置2200可在如所说明的装置的壳体2202内包含上文参见图20描述的组件。另外,移动装置2200的表面中的一者或一者以上可经配置为自适应用户接口装置2007。举例来说,壳体2202的背部分可包含自适应用户接口装置2007a。如此配置后,可在背侧自适应用户接口装置2007a和触摸屏显示器2003两者上提供用户输入。另外或替代地,正常的用户接口部分可配置有自适应用户接口装置2007b,例如装置的如所说明可能另外提供键盘的一部分。在图22中说明的实例中,自适应用户接口装置2007b可提供于通过打开或滑动显示器部分而显露的一部分上。如此配置后,可打开移动装置2200以显露自适应用户接口装置2007b,其取决于操作模式和用户输入而可充当触摸板或小键盘。
上述方法描述和过程流程图仅作为说明性实例而提供,且既定不要求或暗示各种方面的步骤必须以所呈现次序来执行。如所属领域的技术人员将了解,上述方面中的步骤次序可以任一次序来执行。例如“然后”、“随后”、“接着”等词语既定不限制步骤的次序;这些词语仅用来在方法的描述中指导读者。此外,例如使用冠词“一”或“所述”以单数形式对权利要求元件的任何参考不应解释为将所述元件限于单数形式。
结合本文中所揭示的方面而描述的各种说明性逻辑块、模块、电路和算法步骤可被实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性,上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用及施加于整个***的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性,但所述实施方案决定不应被解释为会导致脱离本发明的范围。
结合本文所揭示的方面描述的用以实施各种说明性逻辑、逻辑块、模块和电路的硬件可用经设计以执行本文描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器与DSP核心的联合,或任何其它此配置。或者,一些步骤或方法可由特定用于给定功能的电路执行。
在一个或一个以上示范性方面中,可以硬件、软件、固件或其任何组合来实施所述的功能。如果实施于软件中,则可将功能作为计算机可读媒体上的一个或一个以上指令或代码而加以存储或传输。本文揭示的方法或算法的步骤可体现于所执行的处理器可执行软件模块中,所述模块可驻留在有形非暂时性计算机可读媒体或处理器可读媒体中。非暂时性计算机可读和处理器可读媒体可为可由计算机或处理器存取的任何可用媒体。作为实例而非限制,此计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用以运载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常磁性地再现数据,而光盘使用激光光学地再现数据。上文的组合也应包含在计算机可读媒体的范围内。另外,方法或算法的操作可作为代码和/或指令中的一者或任一组合或集合而驻留在可并入到计算机程序产品中的非暂时性处理器可读媒体和/或计算机可读媒体上。
提供先前对所揭示方面的描述以使得所属领域的技术人员能够制作或使用本发明。对于所属领域的技术人员来说,将易于明了对这些方面的各种修改,且在不脱离本发明的范围的情况下,本文中定义的一般原理可适用于其它方面。因此,本发明既定不限于本文中所展示的方面,而是应被赋予与本文中所揭示的原理和新颖特征一致的最宽范围。

Claims (77)

1.一种配置自适应用户接口装置的方法,所述自适应用户接口装置经配置以接收用户输入,所述方法包括:
调适所述自适应用户接口装置的操作模式,其中调适操作模式是选自由以下各项组成的群组:调整所述用户接口装置对用户输入的灵敏度,以及改变所述自适应用户接口装置的形状,
其中改变所述自适应用户接口装置的形状包括:
感测用户的手在所述自适应用户接口装置的表面上的触摸输入;
基于所述用户的手的形状来辨识所述用户接口装置的多个用户中的一者;
基于所述多个用户中的所述一者的所述辨识,自动改变所述自适应用户接口装置的所述表面的一部分的形状,其中改变所述自适应用户接口装置的所述表面的所述一部分的所述形状包括实施由所述多个用户中的经辨识的所述一者设定的用户偏好;以及
在经识别的可接受位置的方向上导引所述用户的手指,所述导引包括以下操作:
识别所述自适应用户接口装置的所述表面上的所述可接受位置;
检测所述用户的手指在所述自适应用户接口的所述表面上的当前位置;
确定经检测的所述用户的手指的所述当前位置是否处于经识别的所述可接受位置;以及
响应于确定经检测的所述用户的手指的所述当前位置不处于经识别的所述可接受位置而升高所述自适应用户接口装置的所述表面的一部分。
2.根据权利要求1所述的方法,其进一步包括:
感测所述自适应用户接口装置上的用户输入;
确定与所述感测到的用户输入兼容的操作模式;以及
通过配置所述自适应用户接口装置来实施所述兼容的操作模式。
3.根据权利要求1所述的方法,其中调适所述自适应用户接口装置的操作模式包括选择触摸板模式和触笔激活式数字平板模式中的一者。
4.根据权利要求1所述的方法,其中基于所述多个用户中的所述一者的所述辨识而自动改变所述自适应用户接口装置的一部分的形状包括在第一模式中升高所述自适应用户接口装置的所述表面上的按钮,且在第二模式中降低所述按钮变为与所述自适应用户接口装置的所述表面齐平。
5.根据权利要求4所述的方法,其中升高所述自适应用户接口装置的所述表面上的按钮包括以键盘、小键盘和游戏接口中的一者的形式升高多个按钮。
6.根据权利要求4所述的方法,其中升高所述自适应用户接口装置的所述表面上的按钮包括以基于所述多个用户中的所述一者的所述辨识而在大小和定向上经配置的键盘的形式升高多个按钮。
7.根据权利要求4所述的方法,其进一步包括激活所述自适应用户接口装置的所述表面上的一个或一个以上视觉元件。
8.根据权利要求4所述的方法,其进一步包括:
确定耦合到所述自适应用户接口装置的计算装置的操作状态;
基于所述确定的当前操作状态来确定所述自适应用户接口的合适配置模式;以及
通过升高所述自适应用户接口装置的所述表面上具有由所述确定的配置模式界定的形状和位置的多个按钮来实施所述确定的配置模式。
9.根据权利要求8所述的方法,其中所述多个升高的按钮的所述形状和位置传达关于与所述升高的按钮中的每一者相关联的功能性的信息。
10.根据权利要求9所述的方法,其进一步包括以传送关于与所述升高的按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口装置的所述表面上的一个或一个以上视觉元件。
11.根据权利要求4所述的方法,其进一步包括确定耦合到所述自适应用户接口装置的计算装置的菜单状态,其中升高所述自适应用户接口装置的所述表面上的按钮包括以由所述菜单状态界定的格式升高多个按钮。
12.根据权利要求11所述的方法,其中所述菜单状态是在执行于所述计算装置上的应用程序中指定。
13.根据权利要求11所述的方法,其进一步包括:
感测所述多个按钮中的一者的压下;
确定与所述多个按钮中的所述压下的一者相关联的功能性;
在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是可执行命令的情况下在所述计算装置中执行命令;以及
在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是对另一用户接口菜单的选择的情况下改变所述菜单状态且以由经改变的所述菜单状态界定的格式升高多个按钮。
14.根据权利要求13所述的方法,其中所述多个升高的按钮的所述形状和位置传达关于与所述升高的按钮中的每一者相关联的所述功能性的信息。
15.根据权利要求13所述的方法,其进一步包括以传送关于与所述多个按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口装置的所述表面上的多个视觉元件。
16.一种计算装置,其包括:
处理器;
自适应用户接口表面,其耦合到所述处理器且经配置以响应于接收到对所述用户接口表面的用户触摸而向所述处理器发送信号,
其中所述处理器以处理器可执行指令配置以执行包括以下各项的操作:
调适所述用户接口表面的操作模式,其中调适操作模式是选自由以下各项组成的群组:调整所述自适应用户接口表面对用户输入的灵敏度,以及改变所述自适应用户接口表面的形状,
其中改变所述自适应用户接口表面的形状包括:
感测用户的手在所述自适应用户接口装置的表面上的触摸输入;
基于所述用户的手的形状来辨识所述计算装置的多个用户中的一者;
基于所述多个用户中的所述一者的所述辨识,自动改变所述自适应用户接口表面的所述表面的一部分的形状,其中改变所述自适应用户接口装置的所述表面的所述一部分的所述形状包括实施由所述多个用户中的经辨识的所述一者设定的用户偏好;以及
在经识别的可接受位置的方向上导引所述用户的手指,所述导引包括以下操作:
识别所述自适应用户接口装置的所述表面上的所述可接受位置;
检测所述用户的手指在所述自适应用户接口的所述表面上的当前位置;
确定经检测的所述用户的手指的所述当前位置是否处于经识别的所述可接受位置;以及
响应于确定经检测的所述用户的手指的所述当前位置不处于经识别的所述可接受位置而升高所述自适应用户接口装置的所述表面的一部分。
17.根据权利要求16所述的计算装置,其中所述处理器以处理器可执行指令配置以执行进一步包括以下各项的操作:
从所述自适应用户接口表面接收指示所述用户接口表面上的用户输入的信号;
确定与所述所指示的用户输入兼容的操作模式;以及
通过配置所述自适应用户接口表面来实施所述兼容的操作模式。
18.根据权利要求16所述的计算装置,其中所述处理器以处理器可执行指令配置以执行操作以使得调适所述自适应用户接口表面的操作模式包括选择触摸板模式和触笔激活式数字平板模式中的一者。
19.根据权利要求16所述的计算装置,其中所述处理器以处理器可执行指令配置以执行操作且所述自适应用户接口表面经配置以使得自动改变所述自适应用户接口表面的形状包括在第一模式中升高所述自适应用户接口表面上的按钮,且在第二模式中降低所述按钮变为与所述自适应用户接口表面齐平。
20.根据权利要求19所述的计算装置,其中所述处理器以处理器可执行指令配置以执行操作且所述自适应用户接口表面经配置以使得升高所述自适应用户接口表面上的按钮包括以键盘、小键盘和游戏接口中的一者的形式升高多个按钮。
21.根据权利要求19所述的计算装置,其中所述处理器以处理器可执行指令配置以执行操作且所述自适应用户接口表面经配置以使得升高所述自适应用户接口表面上的按钮包括以基于所述多个用户中的所述一者的所述识别在大小和定向上经配置的键盘的形式升高多个按钮。
22.根据权利要求19所述的计算装置,其中:
所述自适应用户接口表面进一步包括耦合到所述处理器的一个或一个以上视觉元件;且
所述处理器以处理器可执行指令配置以执行进一步包括激活所述自适应用户接口表面上的所述一个或一个以上视觉元件的操作。
23.根据权利要求19所述的计算装置,其中所述处理器以处理器可执行指令配置以执行进一步包括以下各项的操作:
确定所述计算装置的操作状态;
基于所述确定的当前操作状态来确定所述用户表面的合适配置模式;以及
通过向所述自适应用户接口表面发送信号以致使所述自适应用户接口表面升高具有由所述确定的配置模式界定的形状和位置的多个按钮来实施所述确定的配置模式。
24.根据权利要求23所述的计算装置,其中所述处理器以处理器可执行指令配置以执行操作以使得所述多个升高的按钮的所述形状和位置传达关于与所述升高的按钮中的每一者相关联的功能性的信息。
25.根据权利要求24所述的计算装置,其中:
所述自适应用户接口表面进一步包括耦合到所述处理器的一个或一个以上视觉元件;且
所述处理器以处理器可执行指令配置以执行进一步包括以传送关于与所述升高的按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口表面上的所述一个或一个以上视觉元件的操作。
26.根据权利要求19所述的计算装置,其中所述处理器以处理器可执行指令配置以执行进一步包括确定所述计算装置的菜单状态的操作,其中升高所述自适应用户接口表面上的按钮包括以由所述菜单状态界定的格式升高多个按钮。
27.根据权利要求26所述的计算装置,其中所述处理器以处理器可执行指令配置以执行操作以使得所述菜单状态是在执行于所述计算装置上的应用程序中指定。
28.根据权利要求26所述的计算装置,其中所述处理器以处理器可执行指令配置以执行进一步包括以下各项的操作:
从所述自适应用户接口表面接收指示所述多个按钮中的一者的压下的信号;
确定与所述多个按钮中的所述压下的一者相关联的功能性;
在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是可执行命令的情况下在所述计算装置中执行命令;以及
在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是对另一用户接口菜单的选择的情况下改变所述菜单状态且向所述自适应用户接口表面发送信号来以由经改变的所述菜单状态界定的格式升高多个按钮。
29.根据权利要求28所述的计算装置,其中所述处理器以处理器可执行指令配置以执行操作以使得所述多个升高的按钮的所述形状和位置传达关于与所述升高的按钮中的每一者相关联的所述功能性的信息。
30.根据权利要求28所述的计算装置,其中:
所述自适应用户接口表面包括耦合到所述处理器的多个视觉元件;且
所述处理器以处理器可执行指令配置以执行进一步包括以传送关于与所述多个按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口表面上的所述多个视觉元件的操作。
31.根据权利要求16所述的计算装置,其中所述自适应用户接口表面包括压电致动器,所述压电致动器经配置以响应于从所述处理器接收的信号而升高所述自适应用户接口表面的一部分。
32.根据权利要求16所述的计算装置,其中所述自适应用户接口表面包括粗纤维复合材料元件,所述粗纤维复合材料元件包括夹在粘合剂层与带电极的聚酰亚胺膜层之间的矩形压电陶瓷杆。
33.根据权利要求16所述的计算装置,其中所述自适应用户接口表面包括:
流体匣;
阀,其耦合到所述流体匣和所述处理器,且经配置以响应于从所述处理器接收的信号而打开和关闭;以及
流体泵,其流体地耦合到所述阀。
34.根据权利要求16所述的计算装置,其中所述自适应用户接口表面包括电耦合到所述处理器的静电激活部分。
35.根据权利要求34所述的计算装置,其中所述静电激活部分包括由绝缘体层分离的第一和第二表面层,
其中所述第一和第二表面层电耦合到所述处理器以使得所述处理器可选择性地将相同或不同电压施加到所述第一和第二表面层,且
其中所述处理器以处理器可执行指令配置以执行进一步包括将具有相同极性的电压施加到所述第一和第二表面层以升高所述静电激活部分的操作。
36.根据权利要求16所述的计算装置,其中所述自适应用户接口表面包括电耦合到所述处理器的磁性激活部分。
37.根据权利要求36所述的计算装置,其中所述磁性激活部分包括由分隔件层分离的永久磁体和电磁体,
其中所述电磁体电耦合到所述处理器以使得所述处理器可通过将电流施加到所述电磁体来产生磁场,且
其中所述处理器以处理器可执行指令配置以执行进一步包括将电流施加到所述电磁体以升高所述自适应用户接口表面的所述磁性激活部分的操作。
38.一种计算装置,其包括:
用于调适自适应用户接口装置的操作模式的装置,其中调适操作模式是选自由以下各项组成的群组:调整所述用户接口装置对用户输入的灵敏度,以及用于改变所述自适应用户接口装置的形状的装置,
其中用于改变所述自适应用户接口装置的形状的装置包括:
用于感测用户的手在所述自适应用户接口装置的表面上的触摸输入的装置;
用于基于所述用户的手的形状来辨识所述用户接口装置的多个用户中的一者的装置;
用于基于所述多个用户中的所述一者的所述辨识,自动改变所述自适应用户接口装置的所述表面的一部分的形状的装置,其中用于自动改变所述自适应用户接口装置的所述表面的所述一部分的所述形状的装置包括用于实施由所述多个用户中的经辨识的所述一者设定的用户偏好的装置;以及
用于在经识别的可接受位置的方向上导引所述用户的手指的装置,所述装置包括:
用于识别所述自适应用户接口装置的所述表面上的所述可接受位置的装置;
用于检测所述用户的手指在所述自适应用户接口的所述表面上的当前位置的装置;
用于确定经检测的所述用户的手指的所述当前位置是否处于经识别的所述可接受位置的装置;以及
用于响应于确定经检测的所述用户的手指的所述当前位置不处于经识别的所述可接受位置而升高所述自适应用户接口装置的所述表面的一部分的装置。
39.根据权利要求38所述的计算装置,其进一步包括:
用于感测所述自适应用户接口装置上的用户输入的装置;
用于确定与所述感测到的用户输入兼容的操作模式的装置;以及
用于通过配置所述自适应用户接口装置来实施所述兼容的操作模式的装置。
40.根据权利要求38所述的计算装置,其中用于调适所述自适应用户接口装置的操作模式的装置包括用于选择触摸板模式和触笔激活式数字平板模式中的一者的装置。
41.根据权利要求38所述的计算装置,其中用于基于所述多个用户中的所述一者的所述辨识而自动改变所述自适应用户接口装置的一部分的形状的装置包括用于在第一模式中升高所述自适应用户接口装置的所述表面上的按钮且在第二模式中降低所述按钮变为与所述自适应用户接口装置的所述表面齐平的装置。
42.根据权利要求41所述的计算装置,其中用于升高所述自适应用户接口装置的所述表面上的按钮的装置包括用于以键盘、小键盘和游戏接口中的一者的形式升高多个按钮的装置。
43.根据权利要求41所述的计算装置,其中用于升高所述自适应用户接口装置的所述表面上的按钮的装置包括用于以基于所述自适应用户接口装置的用户的身份在大小和定向上经配置的键盘的形式升高多个按钮的装置。
44.根据权利要求41所述的计算装置,其进一步包括用于激活所述自适应用户接口装置的所述表面上的一个或一个以上视觉元件的装置。
45.根据权利要求41所述的计算装置,其进一步包括:
用于确定耦合到所述自适应用户接口装置的计算装置的操作状态的装置;
用于基于所述确定的当前操作状态来确定所述自适应用户接口的合适配置模式的装置;以及
用于通过升高所述自适应用户接口装置的所述表面上的具有由所述确定的配置模式界定的形状和位置的多个按钮来实施所述确定的配置模式的装置。
46.根据权利要求45所述的计算装置,其中所述多个升高的按钮的所述形状和位置传达关于与所述升高的按钮中的每一者相关联的功能性的信息。
47.根据权利要求46所述的计算装置,其进一步包括以传送关于与所述升高的按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口装置的所述表面上的一个或一个以上视觉元件。
48.根据权利要求38所述的计算装置,其进一步包括确定耦合到所述自适应用户接口装置的计算装置的菜单状态,其中升高所述自适应用户接口装置的所述表面上的按钮包括以由所述菜单状态界定的格式升高多个按钮。
49.根据权利要求48所述的计算装置,其中所述菜单状态是在执行于所述计算装置上的应用程序中指定。
50.根据权利要求48所述的计算装置,其进一步包括:
感测所述多个按钮中的一者的压下;
确定与所述多个按钮中的所述压下的一者相关联的功能性;
在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是可执行命令的情况下在所述计算装置中执行命令;以及
在与所述多个按钮中的所述压下的一者相关联的所述功能性经确定是对另一用户接口菜单的选择的情况下改变所述菜单状态且以由经改变的所述菜单状态界定的格式升高多个按钮。
51.根据权利要求50所述的计算装置,其中所述多个升高的按钮的所述形状和位置传达关于与所述升高的按钮中的每一者相关联的所述功能性的信息。
52.根据权利要求51所述的计算装置,其进一步包括以传送关于与所述多个按钮中的每一者相关联的所述功能性的信息的方式激活所述自适应用户接口装置的所述表面上的多个视觉元件。
53.根据权利要求41所述的计算装置,其中用于升高所述自适应用户接口装置的所述表面上的按钮的装置包括用于使用压电致动器来升高所述用户接口的一部分的装置。
54.根据权利要求41所述的计算装置,其中用于升高所述自适应用户接口装置的所述表面上的按钮的装置包括用于以液压方式升高所述用户接口的一部分的装置。
55.根据权利要求41所述的计算装置,其中用于升高所述自适应用户接口装置的所述表面上的按钮的装置包括用于以静电方式升高所述用户接口的一部分的装置。
56.根据权利要求41所述的计算装置,其中用于升高所述自适应用户接口装置的所述表面上的按钮的装置包括用于以磁性方式升高所述用户接口的一部分的装置。
57.一种自适应用户接口装置,其包括:
用户接口表面,其经配置以响应于来自耦合到所述自适应用户接口装置的处理器的信号而基于所述用户接口装置的多个用户中的一者的辨识来自动改变形状,
其中所述处理器经配置以具有处理器可执行指令,所述处理器可执行指令经配置以执行以下操作:
感测用户的手在所述自适应用户接口装置的表面上的触摸输入;
基于所述用户的手的形状来辨识所述多个用户中的所述一者;
响应于辨识所述多个用户中的所述一者的身份而发射所述信号,其中改变所述用户接口表面的所述形状包括实施由所述多个用户中的经辨识的所述一者设定的用户偏好;以及
在经识别的可接受位置的方向上导引所述用户的手指,所述导引包括以下操作:
识别所述自适应用户接口装置的所述表面上的所述可接受位置;
检测所述用户的手指在所述自适应用户接口的所述表面上的当前位置;
确定经检测的所述用户的手指的所述当前位置是否处于经识别的所述可接受位置;以及
响应于确定经检测的所述用户的手指的所述当前位置不处于经识别的所述可接受位置而升高所述自适应用户接口装置的所述表面的一部分。
58.根据权利要求57所述的自适应用户接口装置,其中所述用户接口表面进一步包括一个或一个以上视觉元件,所述视觉元件经配置以响应于来自耦合到所述自适应用户接口装置的处理器的信号而产生视觉图像。
59.根据权利要求57所述的自适应用户接口装置,其中所述用户接口表面包括致动器,所述致动器经配置以在第一模式中升高所述用户接口表面的一部分,且在第二模式中降低所述表面的所述部分变为与所述用户接口表面齐平。
60.根据权利要求59所述的自适应用户接口装置,其中所述用户接口表面包括呈键盘、小键盘和游戏接口中的一者的形式的多个致动器。
61.根据权利要求60所述的自适应用户接口装置,其中所述多个致动器经配置以用基于所述用户接口装置的多个用户中的一者的所述识别在大小和定向上经配置的键盘的形式升高多个按钮。
62.根据权利要求59所述的自适应用户接口装置,其中所述用户接口表面包括多个致动器,所述多个致动器可由耦合到所述自适应用户接口装置的处理器控制且经配置以被个别地致动以各自响应于来自耦合到所述自适应用户接口装置的处理器的信号而升高所述用户接口表面的外部的一部分。
63.根据权利要求59所述的自适应用户接口装置,其中所述用户接口表面经配置以检测所述用户接口表面的升高的部分的压下,且将指示所述用户接口表面的所述升高的部分被压下的信号发送到耦合到所述自适应用户接口装置的所述处理器。
64.根据权利要求59所述的自适应用户接口装置,其中所述致动器包括压电致动器。
65.根据权利要求64所述的自适应用户接口装置,其中所述压电致动器包括粗纤维复合材料元件,所述粗纤维复合材料元件包括夹在粘合剂层与带电极的聚酰亚胺膜层之间的矩形压电陶瓷杆。
66.根据权利要求59所述的自适应用户接口装置,其中所述致动器包括:
流体匣;
阀,其耦合到所述流体匣且经配置以响应于从耦合到所述自适应用户接口装置的所述处理器接收的信号而打开和关闭;以及
流体泵,其流体地耦合到所述阀。
67.根据权利要求59所述的自适应用户接口装置,其中所述致动器包括静电致动器。
68.根据权利要求67所述的自适应用户接口装置,其中所述静电致动器包括由绝缘体层分离的第一和第二表面层,其中所述第一和第二表面层电耦合到所述处理器以使得所述处理器可选择性地将相同或不同电压施加到所述第一和第二表面层。
69.根据权利要求59所述的自适应用户接口装置,其中所述用户接口表面包括磁性致动器。
70.根据权利要求69所述的自适应用户接口装置,其中所述磁性致动器包括由分隔件层分离的永久磁体和电磁体,其中所述电磁体电耦合到所述处理器以使得所述处理器可通过将电流施加到所述电磁体来产生磁场。
71.一种自适应用户接口装置,其包括:
用户接口表面;以及
用于响应于来自耦合到所述自适应用户接口装置的处理器的信号而基于所述用户接口装置的多个用户中的一者的辨识来自动改变所述用户接口表面的形状的装置,
其中用于自动改变所述用户接口表面的形状的装置包括:
用于感测用户的手在所述自适应用户接口装置的表面上的触摸输入的装置;
用于基于所述用户的手的形状来辨识所述多个用户中的所述一者的装置;
用于响应于辨识所述多个用户中的所述一者的身份而发送信号的装置,其中辨识所述身份基于所述用户的手的形状;
用于实施由所述多个用户中的经辨识的所述一者设定的用户偏好的装置;以及用于在经识别的可接受位置的方向上导引所述用户的手指的装置,其包括:
用于识别所述自适应用户接口装置的所述表面上的所述可接受位置的装置;
用于检测所述用户的手指在所述自适应用户接口的所述表面上的当前位置的装置;
用于确定经检测的所述用户的手指的所述当前位置是否处于经识别的所述可接受位置的装置;以及
用于响应于确定经检测的所述用户的手指的所述当前位置不处于经识别的所述可接受位置而升高所述自适应用户接口装置的所述表面的一部分的装置。
72.根据权利要求71所述的自适应用户接口装置,其进一步包括用于响应于来自耦合到所述自适应用户接口装置的处理器的信号而产生视觉图像的装置。
73.根据权利要求71所述的自适应用户接口装置,其中所述用户接口表面包括用于在第一模式中升高所述用户接口表面的一部分且在第二模式中降低所述表面的所述部分变为与所述用户接口表面齐平的装置。
74.根据权利要求71所述的自适应用户接口装置,其中所述用户接口表面包括用于以键盘、小键盘和游戏接口中的一者的形式升高多个按钮的装置。
75.根据权利要求74所述的自适应用户接口装置,其中用于升高多个按钮的装置包括用于以基于所述用户接口装置的多个用户中的一者的所述辨识而在大小和定向上经配置的键盘的形式升高多个按钮的装置。
76.根据权利要求71所述的自适应用户接口装置,用于响应于从耦合到所述自适应用户接口装置的所述处理器接收的信号而个别地升高所述用户接口表面的小部分的装置。
77.根据权利要求73所述的自适应用户接口装置,其进一步包括:
用于检测所述用户接口表面的升高的部分的压下的装置;以及
用于将指示所述用户接口表面的所述升高的部分被压下的信号发送到耦合到所述自适应用户接口装置的所述处理器的装置。
CN201180028181.3A 2010-06-10 2011-03-02 自动变形自适应用户接口装置和方法 Expired - Fee Related CN102934069B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US35357710P 2010-06-10 2010-06-10
US61/353,577 2010-06-10
US12/861,566 US8836643B2 (en) 2010-06-10 2010-08-23 Auto-morphing adaptive user interface device and methods
US12/861,566 2010-08-23
PCT/US2011/026830 WO2011156024A1 (en) 2010-06-10 2011-03-02 Auto-morphing adaptive user interface device and methods

Publications (2)

Publication Number Publication Date
CN102934069A CN102934069A (zh) 2013-02-13
CN102934069B true CN102934069B (zh) 2016-09-28

Family

ID=45095846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180028181.3A Expired - Fee Related CN102934069B (zh) 2010-06-10 2011-03-02 自动变形自适应用户接口装置和方法

Country Status (6)

Country Link
US (1) US8836643B2 (zh)
EP (1) EP2580648B1 (zh)
JP (1) JP5723979B2 (zh)
KR (1) KR101540525B1 (zh)
CN (1) CN102934069B (zh)
WO (1) WO2011156024A1 (zh)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) * 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
JP5728008B2 (ja) 2010-06-16 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 情報入力装置、情報入力方法及びプログラム
US9749176B2 (en) * 2010-06-29 2017-08-29 Nokia Technologies Oy Systems, methods, and apparatuses for providing adaptive user notifications
KR20120017851A (ko) * 2010-08-20 2012-02-29 삼성전자주식회사 휴대용 단말기의 터치 입력 장치 및 방법
JP2012128658A (ja) * 2010-12-15 2012-07-05 Fujitsu Component Ltd 表示装置
KR101795574B1 (ko) * 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
EP2511794A1 (en) * 2011-04-15 2012-10-17 Doro AB A portable electronic device having user-configurable multi-function key entry timeout
CN102760049A (zh) * 2011-04-26 2012-10-31 蓝云科技股份有限公司 行动装置及其与具有显示功能的电子装置互动的方法
US20120306790A1 (en) * 2011-06-02 2012-12-06 Electronics And Telecommunications Research Institute Film type apparatus for providing haptic feedback and touch screen including the same
JP5700254B2 (ja) * 2011-12-27 2015-04-15 アイシン・エィ・ダブリュ株式会社 操作入力システム
JP5773214B2 (ja) * 2011-12-27 2015-09-02 アイシン・エィ・ダブリュ株式会社 入力システム
JP5754596B2 (ja) * 2011-12-27 2015-07-29 アイシン・エィ・ダブリュ株式会社 操作入力装置
JP5700253B2 (ja) * 2011-12-27 2015-04-15 アイシン・エィ・ダブリュ株式会社 操作入力システム
JP5803667B2 (ja) * 2011-12-27 2015-11-04 アイシン・エィ・ダブリュ株式会社 操作入力システム
US9678534B2 (en) * 2012-01-17 2017-06-13 Microsoft Technology Licensing, Llc Convertible clamshell to slate device
JP5704408B2 (ja) * 2012-01-20 2015-04-22 アイシン・エィ・ダブリュ株式会社 操作入力システム
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
KR20130086422A (ko) * 2012-01-25 2013-08-02 삼성전자주식회사 휴대단말기의 터치감도 조절장치 및 방법
US20130215038A1 (en) * 2012-02-17 2013-08-22 Rukman Senanayake Adaptable actuated input device with integrated proximity detection
US20130222226A1 (en) * 2012-02-24 2013-08-29 Nokia Corporation User interfaces and associated apparatus and methods
US20130234959A1 (en) * 2012-03-06 2013-09-12 Industry-University Cooperation Foundation Hanyang University System and method for linking and controlling terminals
CN103309453A (zh) * 2012-03-09 2013-09-18 联想(北京)有限公司 键盘及具有该键盘的笔记本
KR20130106946A (ko) * 2012-03-21 2013-10-01 삼성전자주식회사 전자장치의 디스플레이 방법 및 장치
CN103150026B (zh) * 2012-05-14 2016-10-05 联想(北京)有限公司 一种调整键盘的方法及电子设备
CN102750040A (zh) * 2012-06-29 2012-10-24 华为终端有限公司 一种触摸屏、基于触摸屏的信息输入方法及装置
KR20140016098A (ko) * 2012-07-30 2014-02-07 삼성전자주식회사 입력부를 구비한 휴대 단말기와 이의 구동방법
US20140049487A1 (en) * 2012-08-17 2014-02-20 Qualcomm Incorporated Interactive user interface for clothing displays
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9304683B2 (en) 2012-10-10 2016-04-05 Microsoft Technology Licensing, Llc Arced or slanted soft input panels
US20140098038A1 (en) * 2012-10-10 2014-04-10 Microsoft Corporation Multi-function configurable haptic device
US9632539B2 (en) * 2012-10-16 2017-04-25 At&T Intellectual Property I, L.P Automatic shape adjustment of flexible display
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9595202B2 (en) 2012-12-14 2017-03-14 Neuron Fuel, Inc. Programming learning center
US9595205B2 (en) * 2012-12-18 2017-03-14 Neuron Fuel, Inc. Systems and methods for goal-based programming instruction
US10510264B2 (en) 2013-03-21 2019-12-17 Neuron Fuel, Inc. Systems and methods for customized lesson creation and application
US9401713B2 (en) 2013-01-04 2016-07-26 Hewlett-Packard Development Company, L.P. Keyboard assembly including an electromagnet
US9880623B2 (en) 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
JP6168780B2 (ja) * 2013-01-30 2017-07-26 オリンパス株式会社 タッチ操作装置及びその制御方法
JP5831948B2 (ja) * 2013-01-30 2015-12-09 Necソリューションイノベータ株式会社 情報端末、情報入力用画像の表示方法、及びプログラム
US9690378B2 (en) * 2013-01-30 2017-06-27 Olympus Corporation Operation apparatus
CN103207672B (zh) 2013-03-04 2015-11-25 小米科技有限责任公司 物理反馈***、控制方法、装置、显示器组件及电子设备
JP6142613B2 (ja) * 2013-03-27 2017-06-07 株式会社リコー 画像処理システム、操作部、制御方法及びプログラム
CN103150031B (zh) * 2013-04-03 2015-09-16 陈念 透明薄膜状键盘
KR20140122433A (ko) * 2013-04-10 2014-10-20 삼성디스플레이 주식회사 휴대 단말기 및 휴대 단말기의 형상 변형 방법
KR101533039B1 (ko) * 2013-04-17 2015-07-01 연세대학교 산학협력단 그래픽 사용자 인터페이스를 제공하는 장치 및 방법
KR102157270B1 (ko) 2013-04-26 2020-10-23 삼성전자주식회사 펜을 이용하는 사용자 단말 장치 및 그 제어 방법
US20140331146A1 (en) * 2013-05-02 2014-11-06 Nokia Corporation User interface apparatus and associated methods
IL230715A (en) * 2013-05-13 2016-04-21 Abraham Shoshani An instrument for the treatment of depression and anxiety
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9335830B2 (en) * 2013-06-26 2016-05-10 International Business Machines Corporation Keyboard with macro keys made up of positionally adjustable micro keys
DE102013015024A1 (de) * 2013-09-10 2015-03-12 Liebherr-Verzahntechnik Gmbh Verzahnmaschine
JP6115421B2 (ja) * 2013-09-17 2017-04-19 トヨタ自動車株式会社 入力装置および入力システム
US20150091809A1 (en) * 2013-09-27 2015-04-02 Analia Ibargoyen Skeuomorphic ebook and tablet
US9501105B2 (en) * 2013-09-28 2016-11-22 Intel Corporation Keyboard for an electronic device
US9791959B2 (en) 2014-01-07 2017-10-17 Qualcomm Incorporated System and method for host-augmented touch processing
US9710150B2 (en) * 2014-01-07 2017-07-18 Qualcomm Incorporated System and method for context-based touch processing
US9335848B2 (en) 2014-02-14 2016-05-10 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Apparatus for providing a three dimensional tactile display of an electronic device
KR101518490B1 (ko) * 2014-02-14 2015-05-12 삼성디스플레이 주식회사 전자 장치 및 이의 정보 제공 방법
US9176617B2 (en) 2014-02-14 2015-11-03 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Physical presence of a virtual button on a touch screen of an electronic device
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
US20150277563A1 (en) * 2014-03-28 2015-10-01 Wen-Ling M. Huang Dynamic tactile user interface
US10019155B2 (en) * 2014-06-30 2018-07-10 Honda Motor Co., Ltd. Touch control panel for vehicle control system
WO2016040375A1 (en) * 2014-09-08 2016-03-17 JoyLabz LLC An adaptive interface device that is programmable and a system and method of programming an adaptive interface device
US10083633B2 (en) 2014-11-10 2018-09-25 International Business Machines Corporation Generating a three-dimensional representation of a topography
DE102014019040B4 (de) 2014-12-18 2021-01-14 Audi Ag Verfahren zum Betreiben einer Bedienvorrichtung eines Kraftfahrzeugs bei einer Mehrfingerbedienung
DE102014019005A1 (de) 2014-12-18 2016-06-23 Audi Ag Verfahren zum Betreiben einer Bedienvorrichtung eines Kraftfahrzeugs in unterschiedlichen Bedienmodi sowie Bedienvorrichtung und Kraftfahrzeug
US10053036B2 (en) * 2014-12-31 2018-08-21 Harman International Industries, Incorporated Shape-changing surface
US9937839B2 (en) * 2014-12-31 2018-04-10 Harman International Industries, Incorporated Feedback by modifying stiffness
US9916008B2 (en) 2015-01-12 2018-03-13 International Business Machines Corporation Microfluidics three-dimensional touch screen display
CN107924273A (zh) * 2015-04-30 2018-04-17 M·W·墨菲 使用按钮按压类型错误分析进行单词识别的***和方法
JP6487781B2 (ja) * 2015-06-05 2019-03-20 キヤノン株式会社 操作装置及びそれを有する撮像装置及び携帯情報端末
CN105138076B (zh) * 2015-08-03 2020-01-31 联想(北京)有限公司 一种电子设备的控制方法及电子设备
US10785310B1 (en) * 2015-09-30 2020-09-22 Open Text Corporation Method and system implementing dynamic and/or adaptive user interfaces
US10558265B2 (en) * 2015-12-11 2020-02-11 Semiconductor Energy Laboratory Co., Ltd. Input device and system of input device
US10963159B2 (en) * 2016-01-26 2021-03-30 Lenovo (Singapore) Pte. Ltd. Virtual interface offset
CN105727552B (zh) * 2016-02-01 2019-11-12 宇龙计算机通信科技(深圳)有限公司 控制装置、按键控制方法、按键控制***和终端
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
WO2017197365A1 (en) 2016-05-13 2017-11-16 Microsoft Technology Licensing, Llc Contextual windows for application programs
US10649529B1 (en) * 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
DE102016007995A1 (de) * 2016-06-30 2018-01-04 Audi Ag Bedien- und Anzeigevorrichtung für ein Kraftfahrzeug, Verfahren zum Betreiben einer Bedien- und Anzeigevorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Bedien- und Anzeigevorrichtung
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10078370B2 (en) * 2016-11-23 2018-09-18 Immersion Corporation Devices and methods for modifying haptic effects
US10574233B2 (en) 2017-01-27 2020-02-25 Dell Products L.P. Retractable and/or variable depression force key assemblies and methods for using the same
US10491214B2 (en) 2017-01-27 2019-11-26 Dell Products L.P. Systems and methods for implementing retractable and/or variable depression force key assemblies
US10547310B2 (en) * 2017-01-27 2020-01-28 Dell Products L.P. Systems and methods for indicating real time availability of key assemblies for user input to an information handling system
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US10228731B2 (en) * 2017-03-30 2019-03-12 Dell Products L.P. Controller for retractable keyboards
US9983678B1 (en) * 2017-05-01 2018-05-29 Immersion Corporation User interface device configured to selectively hide components from tactile perception
CN117519478A (zh) 2017-05-19 2024-02-06 M·W·墨菲 交错字符选择界面
US10628001B2 (en) 2017-06-16 2020-04-21 General Electric Company Adapting user interfaces based on gold standards
US11036523B2 (en) 2017-06-16 2021-06-15 General Electric Company Systems and methods for adaptive user interfaces
CN107300986B (zh) * 2017-06-30 2022-01-18 联想(北京)有限公司 输入法切换方法及装置
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
CN107678589A (zh) * 2017-09-29 2018-02-09 上海与德科技有限公司 一种基于MicroLED显示屏幕的使用方法及电子设备
US10540016B1 (en) * 2018-06-08 2020-01-21 Jeffrey Thomas Johnson Unlimited reach and touch tablet
CN108803931B (zh) * 2018-06-11 2022-01-18 京东方科技集团股份有限公司 一种触控显示装置及汽车
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
CN108983986B (zh) * 2018-07-12 2020-08-18 京东方科技集团股份有限公司 电子装置及其操作方法
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
CN109326221B (zh) * 2018-09-25 2021-09-28 上海天马微电子有限公司 显示装置和显示装置的触觉反馈显示方法
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US11922007B2 (en) 2018-11-29 2024-03-05 Michael William Murphy Apparatus, method and system for inputting characters to an electronic device
JP6875360B2 (ja) * 2018-12-25 2021-05-26 エルジー ディスプレイ カンパニー リミテッド 表示装置
DE102019200090A1 (de) * 2019-01-07 2020-07-09 Continental Automotive Gmbh Bedienvorrichtung zur Bedienung mindestens eines Gerätes und Verfahren zur Bedienung einer solchen Bedienvorrichtung
US10795519B2 (en) * 2019-01-31 2020-10-06 Faurecia Interior Systems, Inc. Vehicle interior panel with shape-changing surface
KR20200124106A (ko) 2019-04-23 2020-11-02 삼성전자주식회사 전자 장치, 전자 장치의 동작 방법 및 기록 매체
US11150751B2 (en) * 2019-05-09 2021-10-19 Dell Products, L.P. Dynamically reconfigurable touchpad
US11204675B2 (en) 2019-09-06 2021-12-21 Aptiv Technologies Limited Adaptive input countermeasures on human machine interface
US11281316B2 (en) * 2019-09-19 2022-03-22 Bayerische Motoren Werke Aktiengesellschaft Dynamic touch user interface systems and methods
US11294469B2 (en) * 2020-01-31 2022-04-05 Dell Products, Lp System and method for processing user input via a reconfigurable haptic interface assembly for displaying a modified keyboard configuration
CN111309183B (zh) * 2020-02-26 2022-04-15 京东方科技集团股份有限公司 触控显示***及其控制方法
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11481069B2 (en) * 2020-09-15 2022-10-25 International Business Machines Corporation Physical cursor control in microfluidic display devices
US11442547B1 (en) * 2021-05-10 2022-09-13 Rockwell Collins, Inc. Software defined hard keys leveraging flexible display hardware to achieve haptic display solution
US11776255B2 (en) 2021-10-22 2023-10-03 Kyndryl, Inc. Dynamic input system for smart glasses based on user availability states
US11705030B2 (en) * 2021-12-02 2023-07-18 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptable and deformable three-dimensional display with lighting emitting elements

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2809201B2 (ja) 1996-06-04 1998-10-08 日本電気株式会社 触覚ディスプレイ装置
KR20040065242A (ko) * 2001-12-12 2004-07-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 촉각 지시부를 구비한 디스플레이 시스템
JP4828826B2 (ja) * 2002-07-04 2011-11-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動的に適応可能な仮想キーボード
JP2004101677A (ja) 2002-09-06 2004-04-02 Uniplan:Kk 触覚ディスプレー装置
US7138985B2 (en) 2002-09-25 2006-11-21 Ui Evolution, Inc. Tactilely enhanced visual image display
US20060231550A1 (en) * 2005-01-20 2006-10-19 Wendel Thomas D Product guidance system for continuous conveyor microwave oven
JP2006285785A (ja) 2005-04-01 2006-10-19 Fujitsu Ten Ltd タッチパネル装置
US7382357B2 (en) * 2005-04-25 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd User interface incorporating emulated hard keys
US20060284853A1 (en) * 2005-06-16 2006-12-21 Xm Satellite Radio, Inc. Context sensitive data input using finger or fingerprint recognition
JP4989165B2 (ja) 2006-09-13 2012-08-01 三洋電機株式会社 加熱調理器
US20080248836A1 (en) * 2007-04-04 2008-10-09 Motorola, Inc. Method and apparatus for controlling a skin texture surface on a device using hydraulic control
US20080303796A1 (en) * 2007-06-08 2008-12-11 Steven Fyke Shape-changing display for a handheld electronic device
JP2009003867A (ja) 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
US20090028003A1 (en) * 2007-07-24 2009-01-29 International Business Machines Corporation Apparatus and method for sensing of three-dimensional environmental information
GB2451267A (en) * 2007-07-26 2009-01-28 Harald Philipp Capacitive position sensor
US8040223B2 (en) * 2007-11-21 2011-10-18 Engineering Acoustics, Inc. Device and method for enhancing sensory perception of vibrational stimuli
US8004501B2 (en) 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
JP4600501B2 (ja) 2008-03-26 2010-12-15 ブラザー工業株式会社 画像処理装置
US9829977B2 (en) 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
US8115745B2 (en) 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8368658B2 (en) * 2008-12-02 2013-02-05 At&T Mobility Ii Llc Automatic soft key adaptation with left-right hand edge sensing
WO2010078597A1 (en) * 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
US8077021B2 (en) * 2009-03-03 2011-12-13 Empire Technology Development Llc Dynamic tactile interface
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects

Also Published As

Publication number Publication date
JP2013528303A (ja) 2013-07-08
CN102934069A (zh) 2013-02-13
EP2580648B1 (en) 2020-08-26
JP5723979B2 (ja) 2015-05-27
EP2580648A1 (en) 2013-04-17
US20110304550A1 (en) 2011-12-15
US8836643B2 (en) 2014-09-16
KR101540525B1 (ko) 2015-07-29
KR20130053441A (ko) 2013-05-23
WO2011156024A1 (en) 2011-12-15

Similar Documents

Publication Publication Date Title
CN102934069B (zh) 自动变形自适应用户接口装置和方法
KR100846497B1 (ko) 디스플레이 버튼 입력 장치 및 이를 구비한 휴대용전자장치
US20190227629A1 (en) Systems and Methods for Multi-Pressure Interaction on Touch-Sensitive Surfaces
CN104122992B (zh) 用于与可折叠可弯曲显示器交互作用的触觉反馈
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
CN209486630U (zh) 触笔
JP2019169199A (ja) ストレッチ特性を組み込んだ触覚デバイス
KR101945721B1 (ko) 미세유체 디스플레이를 위한 통합 사용자 인터페이스를 갖는 휴대용 장치
CN103502923B (zh) 用户与设备的基于触摸和非触摸的交互作用
US20130005469A1 (en) Dual screen game module
CN106104426A (zh) 用于基于力的对象操纵和触觉检测的***、方法和计算机可读介质
CN114008569A (zh) 用于在装置上配置多个虚拟按钮的方法和设备
JP2006268068A (ja) タッチパネル装置
CN106200955A (zh) 用于在图形用户界面小部件中使用纹理的***和方法
KR20140115836A (ko) 햅틱 효과를 제공하는 휴대 단말 및 방법
US20110115751A1 (en) Hand-held input device, system comprising the input device and an electronic device and method for controlling the same
US20180011538A1 (en) Multimodal haptic effects
CN102349042A (zh) 用于在图形用户界面小部件中使用纹理的***和方法
CN106415764A (zh) 按键结构和电子设备及其操控方法、装置
JP2023526684A (ja) 接触型入力機器用後付けタッチレスインタフェース
EP2042975A1 (en) Touch-screen
CN107111391A (zh) 通过不透明覆盖件来操作的设备和***
US8884880B2 (en) Apparatus and method for providing visual-haptic information, and terminal having the same
CN107977180A (zh) 用于使得低视力用户能够与触敏副显示器进行交互的***和方法
Zhang et al. Pulling, pressing, and sensing with In-Flat: Transparent touch overlay for smartphones

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160928

CF01 Termination of patent right due to non-payment of annual fee