CN109791581B - 对电子设备的用户界面进行控制 - Google Patents

对电子设备的用户界面进行控制 Download PDF

Info

Publication number
CN109791581B
CN109791581B CN201680089646.9A CN201680089646A CN109791581B CN 109791581 B CN109791581 B CN 109791581B CN 201680089646 A CN201680089646 A CN 201680089646A CN 109791581 B CN109791581 B CN 109791581B
Authority
CN
China
Prior art keywords
user
user interface
touch screen
electronic device
sensory input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680089646.9A
Other languages
English (en)
Other versions
CN109791581A (zh
Inventor
通·塞恩
赛义德·S·阿扎姆
迈克·普罗文彻
拉胡尔·V·拉克达瓦拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN109791581A publication Critical patent/CN109791581A/zh
Application granted granted Critical
Publication of CN109791581B publication Critical patent/CN109791581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种技术，包括检测与用户与电子设备的触摸屏的物理交互相关联的手指模式。该技术包括获得不同于与用户与触摸屏的物理交互的特性相关联的、与该用户相关联的传感输入。该技术包括至少部分地基于传感输入来确定物理交互是否与使用触摸屏进行基于键的输入录入的意图相关联，并且至少部分地基于检测到的手指模式和确定的意图来控制电子设备的用户界面。

Description

对电子设备的用户界面进行控制
背景技术
计算机可以包含一个或多个输入设备来用于接收用户输入。输入设备可以是实际的、物理设备和/或虚拟设备。例如，膝上型计算机或者台式计算机可以通过诸如键盘、鼠标或者轨迹板的这样的实际的物理设备来接收输入。诸如平板式计算机或智能电话之类的包含触摸屏的计算机可以通过虚拟键盘接收输入。
附图说明
图1是根据示例实施方式的电子设备的立体图。
图2是图示出根据示例实施方式的虚拟键盘的电子设备的正视图。
图3是图示出根据示例实施方式的虚拟数字小键盘的电子设备的正视图。
图4A和4B是描绘根据示例实施方式的控制电子设备的用户界面的技术的流程图。
图5是根据示例实施方式的、手指与触摸屏的物理交互的图示。
图6是图示出根据示例实施方式的、基于检测到的手指接触区域对虚拟小键盘进行尺寸重定的电子设备的正视图。
图7是描绘根据示例实施方式的、基于检测到的手指接触区域来调节显示在电子设备的触摸屏上的图像的尺寸的技术的流程图。
图8是根据示例实施方式的电子设备的示意图。
图9是根据示例实施方式的、具有两个显示面板的电子设备的立体图。
图10是根据示例实施方式的用于图9的电子设备的可能的设备模式的图示。
具体实施方式
诸如平板式计算机之类的电子设备可以包含触摸屏，该触摸屏允许用户通过基于显示在触摸屏上的图像与触摸屏进行物理地交互来提供输入。例如，用户可以使用基于手指的触摸手势(诸如滑动触摸手势、用户轻敲触摸屏的某区域的触摸手势，等等)来物理地接触触摸屏。电子设备可以提供基于虚拟键的用户界面，诸如虚拟键盘或小键盘。例如，电子设备可以在触摸屏上显示键盘的图像，其定义与不同的键相关联的触摸屏的区域，使得与特定显示的键的接触表示与该键相关联的对应的输入值。以这样的方式，用户可以浏览因特网，并且特定网址可以使电子设备显示数据录入框。通过使用虚拟键盘打字，用户可以将被请求的信息录入到数据录入框中。
电子设备可能不始终在适当的时间显示用户界面或显示适当的用户界面。例如，电子设备可能在用户不意图将数据录入到数据录入框中时显示基于虚拟键的界面，因此阻挡本将显示在触摸屏上的内容。作为另一示例，当需要将数字数据录入到数据录入框中时，电子设备可能显示完整的虚拟键盘(而非例如虚拟数字小键盘)。根据在本文描述的示例实施方式，电子设备通过传感数据来确定用户是否意图使用界面来录入输入(即，用户是否意图调用用户界面)，并且如果是这样的话，则电子设备基于检测到的手指模式(即，基于与触摸屏接触的手指指头的数量、指头的放置、指头是否与一只手相关联，等等)来选择适当的用户界面。
参考图1，作为更具体的示例，根据一些实施方式，诸如平板式计算机(如在图1中所描绘的)之类的电子设备100可以包括触摸屏112(基于表面电容的触摸屏、基于电阻的触摸屏、基于投射电容的触摸屏、基于表面声波(SAW)的触摸屏，等等)，其包含结合图形用户界面(GUI)来显示图像并且接收基于触摸的输入的表面114。以这样的方式，如在图1中所描绘的，电子设备100可以显示与一个或多个GUI相关联的图像，在GUI中用户的一只手或两只手150之间的物理交互可以用于为电子设备100提供用户输入。
根据示例实施方式，电子设备100包括输入界面引擎120，其控制电子设备100的GUI。具体地，根据示例实施方式，输入界面引擎120使用传感输入用于为电子设备100选择适当的GUI并且在适当的时间调用GUI。以这样的方式，根据示例实施方式，输入界面引擎120至少部分地基于检测的手指模式以及对用户是否意图使用触摸屏112进行基于键的输入录入进行确定的结果来调用电子设备100的特定GUI。以这样的方式，如在本文所描述的，输入界面引擎120可以检测用户的一手或两手150与触摸屏112之间的物理交互。物理交互可以是一个或多个手指或指头物理地触摸或悬停在触摸屏112之上。
输入界面引擎120可以进一步获得与用户相关联的传感输入，该传感输入不同于与用户与触摸屏112之间的物理交互的特性相关联的传感输入。基于该传感输入，输入界面引擎120可以确定用户是否意图使用触摸屏112进行基于键的输入录入，并且因此，输入界面引擎120可以至少部分地基于检测到的手指模式和确定的意图来选择电子设备100的基于虚拟键的用户界面。
对于在本文描述的示例实施方式，输入界面引擎120可以在诸如在触摸屏112上显示全尺寸键盘的图像的基于全尺寸虚拟键盘的用户界面的基于虚拟键的用户界面(诸如图2中描绘的键盘图像200)，或者在触摸屏112上显示在图3中描绘的数字小键盘的图像300的虚拟数字小键盘(也称作“numpad”)之间进行选择。对于诸如虚拟键盘界面或数字小键盘界面之类的特定用户界面的选择可以取决于若干因素，例如包括光标是否在与字母数字字符的项(适合于虚拟字母数字键盘)或数字的项(适合于虚拟数字小键盘)相关联的数据录入区(例如，数据录入框)中。而且，当选择用户界面时，输入界面引擎120可以考虑其他因素，诸如接触触摸屏112的手指的数量。
例如，根据示例实施方式，输入界面引擎120可以响应于检测到十个手指模式和一个或多个手掌与触摸屏112交互而选择虚拟字母数字键盘用户界面。根据另外的示例实施方式，输入界面引擎120可以在有或没有检测到两个手掌的情况下响应于检测到八至十个手指而选择虚拟字母数字键盘界面。而且，根据特定实施方式，输入界面引擎120可以响应于在有或没有两个手掌的情况下检测到四个或五个手指与触摸屏112接触而选择虚拟数字小键盘用户界面。
根据示例实施方式，为了在意图调用特定用户界面的与触摸屏112的物理交互与并不意图调用特定用户界面的物理交互之间进行区分，输入界面引擎120可以基于时间来过滤检测到的手指模式。以这样的方式，根据一些实施方式，输入界面引擎120可以考虑与触摸屏112的交互至少持续预先确定的时长(例如，至少五秒的时长)的手指模式，并且可以忽视与较小的时长相关联的检测到的手指模式。
与触摸屏112的一些物理交互可以不与使用或调用特定用户界面的意图相关联。以这样的方式，与触摸屏112的简短接触可能不意图调用用户界面并且可以基于接触时间被滤除，如以上讨论的。作为另一示例，用户可能在用户的手的四个手指(例如)接触触摸屏112的紧握位置携带电子设备100。然而，用户可能不意图调用例如虚拟数字小键盘或任何其他用户界面。作为另一示例，用户可能与另一人确证，并且照此，当将电子设备传递给其他人供查看时，可能接触触摸屏112。再一次，触摸屏112与手指之间的接触可能不意图调用特定用户界面。根据示例实施方式，电子设备100考虑不同于与利用触摸屏112检测手(或多个手)的部分相关联的传感输入的传感输入，用于区分与触摸屏112的接触何时意图涉及用户界面。
例如，根据一些实施方式，用户界面引擎120可以获得数据来尝试识别与触摸屏112交互的人。例如，根据示例实施方式，电子设备100的面向用户的照相机114(请参见图1)可以获得表示用户的数据(假定用户在触摸屏112前面)。用户界面引擎120例如可以应用面部辨识处理来识别其图像被捕获在由照相机114捕捉的快照图像中的任何人。例如，用户界面引擎120可以从图像中提取特性并且将这些特性与一个或多个先前经认证的用户的存储的特性相比较。照此，用户界面引擎120则可以确定经认证的用户是否在查看触摸屏112。例如，用户界面引擎120可以基于经认证的用户的标识或(作为另一示例)基于经认证的用户与电子设备100的接近来确定与触摸屏112的物理交互意图调用基于虚拟小键盘的用户界面。作为另一示例，用户界面引擎120可以使用手指传感器来感测诸如手指之类的生物信息或执行视网膜扫描来识别用户，由此提供指示符，用户界面引擎120然后可以使用该指示符来确定物理接触是否意图调用基于虚拟小键盘的用户界面。作为又一个示例，用户界面引擎120可以尝试与和经认证的用户相关联的一个或多个可穿戴的设备进行通信以为了确定经认证的用户是否接近于电子设备100。
因此，根据示例实施方式，用户界面引擎120可以处理传感数据，诸如由触摸传感器获得的数据、由照相机获得的数据、由生物传感器获得的数据、通过与附近的可穿戴设备进行通信获得的数据、表示电子设备的定向的数据，等等，用于确定调用设备的用户界面的意图。以这样的方式，用户界面引擎120可以处理传感数据用于识别用户是否被辨识出并且确定被辨识出的用户是否在执行符合调用电子设备100的用户界面的意图的一个或多个动作。例如，用户界面引擎120可以使用传感数据来确定：被辨识出的用户是否正在靠近触摸屏或与触摸屏保持得足够近以与触摸屏交互；被辨识出的用户是否正面向或查看触摸屏；电子设备100是否正被置于符合与触摸屏的用户交互的定向(例如，触摸屏朝上)中；被辨识出的用户是否保持与携带位置一致地拿着电子设备；等等。
如在本文进一步所描述的，根据示例实施方式，电子设备可以具有多个用户可配置的设备模式。设备模式指的是电子设备的不同的操作模式，其对应于电子设备的物理定向或物理配置。例如，电子设备可以具有共享铰链连接的两个显示面板，该铰链连接允许根据电子设备的空间定向和显示面板之间的(围绕铰链轴)打开角度而将电子设备配置在不同的设备模式中。以这样的方式，如在本文进一步描述的，设备模式可以包括电子设备可以用作膝上型计算机、平板式计算机，等等的操作模式并且用户界面引擎120可以通过传感数据识别设备模式并且至少部分地基于所确定的设备模式来确定调用用户界面的用户意图。
而且，如在本文进一步描述的，根据一些实施方式，用户界面引擎120可以考虑辨识出多个用户与可能与多个用户相关联的特性或动作的传感数据，用于确定调用特定用户界面的意图。例如，根据一些实施方式，如在本文进一步所描述的，电子设备可以具有多个可视显示面板，并且用户界面引擎120可以根据电子设备的设备模式、对确定其它用户调用用户界面的意图的其他传感数据的处理、检测到的被辨识出的或授权的用户的数量、检测到的用户的位置，等等来结合多个可视显示面板选择性地调用多个用户界面。而且，用户界面引擎120可以确定不同的用户意图在不同的时间调用对应的用户界面(例如，在不同的时间调用用户界面)还是在同时调用对应的用户界面(例如，同时调用用于多个用户的多个用户界面)。
根据一些实施方式，用户界面引擎120可以通过选择性地对意图用户指示符(用户的接近指示符、设备模式指示符、检测到的紧握指示符、电子设备的定向指示符，等等)进行加权以及基于结果得到的加权的分数确定用户是否意图调用用户界面，来确定用户是否意图调用用户界面。
因此，参考图4A，根据示例实施方式，用户界面引擎120可以执行在图4A中描绘的技术400。参考图4A，技术400包括检测(框404)与用户与电子设备的触摸屏的物理交互相关联的手指模式，以及获得(框408)不同于与用户与触摸屏的物理交互的特性相关联的输入的传感输入。技术400包括至少部分地基于传感输入来确定(框412)物理交互是否意图调用虚拟用户界面以及至少部分地基于检测到的手指模式和确定的意图来控制(框416)用户界面。
更具体地，根据示例实施方式，用户界面引擎120可以执行在图4B中描绘的技术450。参考图4B，技术450包括检测(框454)与用户与电子设备的触摸屏的物理交互相关联的手指模式以及确定(判定框458)检测到的物理交互是否已经发生了预定义的时长。如果是这样的话，技术450包括确定使用基于键的输入录入的意图(框460)以及按照框470，至少部分地基于检测到的手指模式以及确定的意图来选择性地调用用户界面。
更具体地，根据示例实施方式，确定意图(框460)包括获得(框462)识别用户的传感数据。该传感数据例如可以包括生物信息、用户图像、表示通过与可穿戴设备通信所获取的结果(例如，辨识处的身份)的数据，等等。在确定(判定框466)检测到授权用户以及确定用户调用用户界面的用户的意图(框460)之后，根据示例实施方式，技术450可以包括，按照框468，确定电子设备的设备模式。根据示例实施方式，技术450包括，按照框470，至少部分地基于检测到的手指模式、确定的意图，以及确定的设备模式来选择性地调用用户界面。
根据示例实施方式，通过识别用户以及确定需要调用特定虚拟用户界面，然后，电子设备100可以选择(框470)用户界面的一个或多个特性。例如，经由用户定义的配置选择，用户界面120可以确定特定识别的用户已经定义了用户优选的小键盘定向、小键盘尺寸、小键盘色彩，等等。而且，经由用户定义的配置选择，用户可以定义键的布局、可以定义(从由电子设备100提供的默认键盘布局中)省略或添加某些键的小键盘界面，等等。
根据示例实施方式，用户界面引擎120可以在选择特定用户界面时考虑其他因素。例如，在电子设备100的***当中，手和手指尺寸可能改变。用于一个用户的适当的小键盘尺寸对于另一用户而言可能太小或太大。根据示例实施方式，用户界面引擎120基于检测到的用户的手指和触摸屏112之间的接触区域来调节，或选择基于虚拟键的用户界面的键的尺寸。更具体地，参考图5，根据示例实施方式，用户界面引擎120可以检测给定虚拟键501和手指506之间的接触(直接物理接触或者悬停接触)的区域504。根据另外的实施方式，接触区域501可以不位于手指和特定键之间，而可以通常是在压下或悬停在触摸屏112的任何区域之上的用户的手指之间定义的接触区域。不管特定实施方式如何，然后，用户界面引擎120可以基于检测到的接触区域来调节基于虚拟键的用户界面的键的尺寸。以这样的方式，对于更大的手指尺寸，用户界面引擎120可以对于所显示的键盘/小键盘选择更大的键，其中键之间的尺寸和界面的总大小被相应地缩放。例如，图6描绘显示数字小键盘图像600的电子设备100，该数字小键盘图像600与例如在图3中描绘的对应的小键盘图像300相比更大(基于检测到的手指尺寸更大)。
因此，根据示例实施方式，用户界面引擎120可以执行在图7中描绘的技术700。按照技术700，用户界面引擎120可以检测(框704)与和触摸屏交互的手指相关联的区域。按照技术700，按照框708，在触摸屏上显示的以及与用户界面引擎120相关联的图像的尺寸则可以至少部分地基于区域来调节用户界面。
参考图8，根据示例实施方式，电子设备100可以是包括硬件810的物理机器以及机器可执行指令860，或“软件”。更具体地，根据示例实施方式，硬件810可以包括一个或多个处理器814(一个或多个中央处理单元(CPU)，CPU处理核，等等)和存储器818。
存储器818通常是非暂时性存储介质，作为示例，其可以存储用户输入数据、由电子设备100的传感器819获得的数据、用户定义的配置选项数据、用于认证用户的数据、为了实施在本文描述的一个或多个技术由处理器814执行的机器可执行的指令，等等。根据特定实施方式，可以从半导体存储设备、忆阻器、磁存储设备、相变存储器设备、这些存储技术中的一个或多个的组合，等等来形成存储器818。
根据示例实施方式，硬件810可以另外包括触摸屏822、一个或多个通信接口826，以及照相机814。而且，根据示例实施方式，传感器可以包括生物传感器、与触摸屏822相关联的触摸传感器，等等。
根据示例实施方式，电子设备100的机器可执行指令860可以包括当由处理器814执行时使处理器814提供用户界面引擎864的指令864、当由处理器814执行时使处理器814提供一个或多个应用872的指令872、当由处理器814执行时使处理器814提供操作***的指令868，等等。
根据另外的示例实施方式，以上描述的基于处理器的架构的所有或一部分可以被专用的硬件电路或被一个或多个专用集成电路(ASIC)代替。
在图1中，示例电子设备100包含单个触摸屏112。然而，根据另外的示例实施方式，在本文描述的***和技术可以被应用于在图9中描绘的多个显示计算机900。在这点上，多个显示计算机900包括多个触摸屏，诸如与显示面板904相关联的并且具有用于显示图像和接收触摸输入的表面915的触摸屏913；以及与显示面板908相关联的并且具有用于显示输出和接收触摸输入的表面911的触摸屏910。对于该示例实施方式，显示面板904和908可以通过铰链连接910来连接。在这点上，作为一示例，用户界面引擎120可以基于计算机900的设备模式来调节显示在特定显示面板上的用户界面。如图9所示，根据示例实施方式，计算机900包括被置于显示面板904上的照相机914。而且，计算机900可以具有类似于电子设备100的架构的架构，包括用户界面引擎120。
图10描绘根据计算机900的总体空间定向(诸如计算机900相对于竖直方向，或重力的方向的空间定向)以及显示面板904和908之间的打开角度θ的用于计算机900的可能的显示器配置1040。如在图1中所描绘的，供参考，可以相对于显示面板904来定义局部正交X、Y和Z轴917，其中X轴917对应于铰链连接910的枢轴线；并且Z轴917可以通常与显示面板904的显示表面915的表面法线对准并且在用户在显示面板904前面时具有朝着用户的正向。根据示例实施方式，照相机914可以具有与Z轴917对准的光轴。打开角度θ是围绕铰链连接910(即，围绕X轴917)在显示面板904和908之间的角度。
根据示例实施方式，显示面板904和906是矩形，并且因此根据它们的空间定向具有纵向定向和横向定向。显示面板904、906的“横向定向”指的是显示面板904、906被定位为使得显示面板904、906的细长的维度更水平而非竖直(即，局部X轴917更水平而非竖直)；并且显示面板904、906的“纵向定向”指的是显示面板904、906被定位为使得显示面板904、906的细长的维度更竖直而非水平(即，局部X轴917更竖直而非水平)。
根据示例实施方式，用户界面引擎120基于由显示面板904的一个或多个传感器950(请参见图9)(诸如加速度计)，以及显示面板908的一个或多个传感器952(诸如加速度计)获得的数据将计算机900分类为属于九个显示器配置1040之一。每个显示器配置140进而与用于计算机900的设备模式相关联或与其对应。
图10描绘对应于用于计算机900的翻盖设备模式的翻盖显示器配置1040-1。根据示例实施方式，对于翻盖显示器配置1040-1，围绕局部X轴917在显示面板904和908之间的打开角度θ在45和135度之间(作为一示例)，并且显示面板904和908处于横向定向。
如也在图10中描绘的，可能的显示器配置1040可以包括平板显示配置1040-2和1040-3，其中打开角度在135和225度之间(作为一示例)。根据示例实施方式，平板显示配置1040-2对应于其中显示面板908更接近计算机900的用户的设备模式，而平板显示配置1040-3对应于其中显示面板904更接近用户的设备模式。根据示例实施方式，用户界面引擎120可以基于计算机900的触摸传感器的输出、检测的与特定显示面板的用户的交互(例如，被用作键盘的特定显示面板的使用)，等等来确定哪个显示面板904或908更接近用户。
计算机900可以被置于其中孔径角θ可以在225至315度之间的显示器配置1040-4或1040-5中(作为一示例)。当被置于显示器配置1040-4中时，计算机900类似于蓬架并且对应于计算机900的蓬架设备模式并且，当被置于另一显示器配置140-5中时，计算机900类似于支架(其中显示面板908形成支架的底部)并且对应于计算机900的支架设备模式。根据示例实施方式，用户界面引擎120可以通过确定例如显示面板904和908两个是竖直地倾斜的(对于蓬架显示器配置1040-4)或不是竖直地倾斜的(对于支架显示器配置1040-5)来区分蓬架显示器配置1040-4与支架显示器配置1040-5。
计算机900也可以被置于平板机显示器配置中，诸如用户面向平板机显示器配置1040-6(其对应于用户面向平板机设备模式)或者世界面向平板机显示器配置1040-7(其对应于世界面向平板机设备模式)。在平板机设备显示器配置1040-6或1040-7中，计算机900完全地或接近完全地打开，其中打开角度θ在315至360度之间(作为一示例)。而且，显示面板904和908之一面向用户，其中另一显示面板背对着用户。更具体地，用户界面引擎120可以通过(经由显示面板位置数据、用户检测的与显示面板904的交互，等等)而检测到显示器915面向用户来识别用户面向平板机显示器配置1040-6。用户界面引擎120可以通过检测到显示器911面向用户来识别世界面向平板机显示器配置1040-7。
可能的显示器配置1040还可以包括书籍显示器配置1040-8和1040-9，其中打开角度θ是45至180度(作为一示例)，并且显示面板904和908处于纵向定向。
尽管已经关于有限数量的实施例描述了本发明，但受益于本公开的那些本领域技术人员将理解由其而来的许多修改和变化。所附权利要求意图覆盖属于本发明的真实的精神和范围的所有这类的修改和变化。

Claims (15)

1.一种控制电子设备的用户界面的方法，包括：
检测与用户与所述电子设备的触摸屏的物理交互相关联的手指模式；
获得不同于与所述用户与所述触摸屏的所述物理交互的特性相关联的、与所述用户相关联的传感输入；
至少部分地基于所述传感输入来确定所述物理交互是否与使用所述触摸屏进行基于键的输入录入的意图相关联；并且
至少部分地基于检测到的所述手指模式和确定的所述意图来控制所述电子设备的所述用户界面。
2.根据权利要求1所述的方法，其中，检测所述手指模式包括检测接触所述触摸屏或悬停在所述触摸屏之上的手指的数量。
3.根据权利要求1所述的方法，其中，控制所述用户界面包括：从多个基于虚拟键的用户界面中选择基于虚拟键的用户界面，所述多个基于虚拟键的用户界面包括与字母数字字符相关联的虚拟键盘和虚拟数字小键盘。
4.根据权利要求1所述的方法，其中，确定所述意图包括：处理所述传感输入以确定所述用户是否被认证。
5.根据权利要求4所述的方法，其中：
获得所述传感输入包括获得表示生物信息的数据；并且
处理所述传感输入包括处理所述数据以识别用户。
6.根据权利要求4所述的方法，其中：
获得所述传感输入包括获得表示所述用户的图像的数据；并且
处理所述传感输入包括执行面部辨识以识别用户。
7.根据权利要求4所述的方法，其中：
获得所述传感输入包括与可穿戴设备进行无线通信；并且
处理所述传感输入包括确定经认证的所述用户是否与所述可穿戴设备相关联。
8.根据权利要求1所述的方法，进一步包括：
至少部分地基于辨识出的用户的身份来选择所选择的用户界面的特性。
9.根据权利要求8所述的方法，进一步包括：获得与另一用户相关联的传感输入、并且至少部分地基于与所述另一用户相关联的传感输入来控制所述电子设备的另一用户界面。
10.一种包括非暂时性计算机可读存储介质的制品，所述计算机可读存储介质存储指令，所述指令在由计算机执行时使所述计算机：
至少部分地基于传感输入来确定用户与所述计算机的触摸屏的物理交互是否与使用所述触摸屏进行基于键的输入录入的意图相关联；
检测与和所述计算机的所述触摸屏交互的手指相关联的区域；并且
至少部分地基于检测到的区域来调节显示在所述触摸屏上的并且与用户界面相关联的图像的尺寸。
11.根据权利要求10所述的制品，所述存储介质存储在由所述计算机执行时，使所述计算机至少部分地基于检测到的区域来调节显示在所述触摸屏上的键盘的尺寸的指令。
12.根据权利要求10所述的制品，所述存储介质存储在由所述计算机执行时，使所述计算机至少部分地基于所述区域来调节显示在所述触摸屏上的数据录入键的尺寸的指令。
13.一种能够控制虚拟用户界面的装置，包括：
多个显示设备；
第一传感器，用于检测至少一只手与所述多个显示设备的触摸表面之间的物理交互；
第二传感器；
界面控制引擎，用于：
至少部分地基于所述第二传感器的输出来确定所述物理交互是否与调用所述虚拟用户界面的意图相关联；
至少部分地基于所述多个显示设备的物理配置来确定设备模式；并且
至少部分地基于所述物理交互的特性、所确定的设备模式和对所述意图进行确定的结果，来选择性地调用所述虚拟用户界面。
14.根据权利要求13所述的装置，进一步包括：
多个传感器，用于指示所述多个显示设备的定向，
其中，所述界面控制引擎至少部分地基于所述定向来确定所述设备模式。
15.根据权利要求13所述的装置，其中，所述界面控制引擎至少部分地基于与所述物理交互相关联的手指模式的检测和检测手指模式的时长来选择性地调用所述虚拟用户界面。
CN201680089646.9A 2016-10-25 2016-10-25 对电子设备的用户界面进行控制 Active CN109791581B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/058619 WO2018080443A1 (en) 2016-10-25 2016-10-25 Controlling user interfaces for electronic devices

Publications (2)

Publication Number Publication Date
CN109791581A CN109791581A (zh) 2019-05-21
CN109791581B true CN109791581B (zh) 2023-05-19

Family

ID=62025278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680089646.9A Active CN109791581B (zh) 2016-10-25 2016-10-25 对电子设备的用户界面进行控制

Country Status (4)

Country Link
US (1) US11061559B2 (zh)
EP (1) EP3485414B1 (zh)
CN (1) CN109791581B (zh)
WO (1) WO2018080443A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791581B (zh) * 2016-10-25 2023-05-19 惠普发展公司，有限责任合伙企业 对电子设备的用户界面进行控制
DE102017119125A1 (de) * 2017-08-22 2019-02-28 Roccat GmbH Vorrichtung und Verfahren zur Erzeugung bewegter Lichteffekte
US20200125705A1 (en) * 2018-10-19 2020-04-23 Ca, Inc. User authentication based on an association of biometric information with a character-based password
CN110351426B (zh) * 2019-05-31 2021-01-26 努比亚技术有限公司 智能手表信息输入方法、智能手表及计算机可读存储介质
TR201919477A1 (tr) * 2019-12-06 2021-06-21 Eskisehir Teknik Ueniversitesi Idari Ve Mali Isler Daire Baskanligi Kullanici arayüzü kontrolü i̇çi̇n bi̇r si̇stem ve yöntem
US10989978B1 (en) 2020-01-28 2021-04-27 Dell Products L.P. Selectively transparent and opaque keyboard bottom
US11586296B2 (en) 2020-01-28 2023-02-21 Dell Products L.P. Dynamic keyboard support at support and display surfaces
US10983570B1 (en) 2020-01-28 2021-04-20 Dell Products L.P. Keyboard charging from an information handling system
US10983567B1 (en) 2020-01-28 2021-04-20 Dell Products L.P. Keyboard magnetic guard rails
US10990204B1 (en) * 2020-01-28 2021-04-27 Dell Products L.P. Virtual touchpad at keyboard location
US10929016B1 (en) 2020-01-28 2021-02-23 Dell Products L.P. Touch calibration at keyboard location
WO2022169526A1 (en) * 2021-02-03 2022-08-11 Hewlett-Packard Development Company, L.P. User interface controls selections

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101384977A (zh) * 2005-09-16 2009-03-11 苹果公司 具有触摸屏界面的计算机的操作
CN105229589A (zh) * 2013-03-13 2016-01-06 微软技术许可有限责任公司 基于姿态在触摸使能设备上执行动作
EP3485414A1 (en) * 2016-10-25 2019-05-22 Hewlett-Packard Development Company, L.P. Controlling user interfaces for electronic devices

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2462579A (en) * 2008-06-10 2010-02-17 Sony Service Ct Touch screen display including proximity sensor
US20100053089A1 (en) * 2008-08-27 2010-03-04 Research In Motion Limited Portable electronic device including touchscreen and method of controlling the portable electronic device
EP2175344B1 (en) * 2008-10-06 2020-02-12 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8217910B2 (en) * 2008-12-19 2012-07-10 Verizon Patent And Licensing Inc. Morphing touch screen layout
US8941466B2 (en) * 2009-01-05 2015-01-27 Polytechnic Institute Of New York University User authentication for devices with touch sensitive elements, such as touch sensitive display screens
US8300023B2 (en) * 2009-04-10 2012-10-30 Qualcomm Incorporated Virtual keypad generator with learning capabilities
US20110175826A1 (en) 2010-01-15 2011-07-21 Bradford Allen Moore Automatically Displaying and Hiding an On-screen Keyboard
US20170017393A1 (en) * 2010-04-23 2017-01-19 Handscape Inc., A Delaware Corporation Method for controlling interactive objects from a touchpad of a computerized device
JP2011248411A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および仮想キーボードの表示方法
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
US8994713B2 (en) * 2010-10-01 2015-03-31 Z124 Smart pad operation with differing display parameters applied to different display elements
US20130275907A1 (en) 2010-10-14 2013-10-17 University of Technology ,Sydney Virtual keyboard
EP2474890A1 (en) 2010-12-30 2012-07-11 Touch Software BV Virtual keyboard configuration putting fingers in rest positions on a multitouch screen, calibrating key positions thereof
US9195321B2 (en) * 2011-03-17 2015-11-24 Intellitact Llc Input device user interface enhancements
US9035883B2 (en) 2012-03-07 2015-05-19 Google Technology Holdings LLC Systems and methods for modifying virtual keyboards on a user interface
US20140062893A1 (en) * 2012-08-28 2014-03-06 Honeywell International Inc. System and method for reducing the probability of accidental activation of control functions on a touch screen
EP2920678A1 (en) * 2012-11-15 2015-09-23 Schönleben, Oliver Method and device for typing on mobile computing devices
EP2926220A1 (en) * 2012-11-27 2015-10-07 Thomson Licensing Adaptive virtual keyboard
US9448642B2 (en) 2013-02-07 2016-09-20 Dell Products Lp Systems and methods for rendering keyboard layouts for a touch screen display
US9535603B2 (en) 2013-03-14 2017-01-03 Carl F. Andersen Columnar fitted virtual keyboard
US10152135B2 (en) * 2013-03-15 2018-12-11 Intel Corporation User interface responsive to operator position and gestures
US9432366B2 (en) * 2013-04-01 2016-08-30 AMI Research & Development, LLC Fingerprint based smartphone user verification
US9705676B2 (en) * 2013-12-12 2017-07-11 International Business Machines Corporation Continuous monitoring of fingerprint signature on a mobile touchscreen for identity management
KR101939888B1 (ko) 2014-02-24 2019-01-17 소니 주식회사 스마트 착용형 디바이스들에 대한 신체 위치 최적화 및 바이오-신호 피드백
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9946395B2 (en) * 2015-02-16 2018-04-17 Samsung Electronics Co., Ltd. User interface method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101384977A (zh) * 2005-09-16 2009-03-11 苹果公司 具有触摸屏界面的计算机的操作
CN105229589A (zh) * 2013-03-13 2016-01-06 微软技术许可有限责任公司 基于姿态在触摸使能设备上执行动作
EP3485414A1 (en) * 2016-10-25 2019-05-22 Hewlett-Packard Development Company, L.P. Controlling user interfaces for electronic devices

Also Published As

Publication number Publication date
CN109791581A (zh) 2019-05-21
WO2018080443A1 (en) 2018-05-03
US11061559B2 (en) 2021-07-13
EP3485414B1 (en) 2024-07-17
EP3485414A4 (en) 2020-03-18
US20190056864A1 (en) 2019-02-21
EP3485414A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
CN109791581B (zh) 对电子设备的用户界面进行控制
US11481109B2 (en) Multitouch data fusion
KR101270847B1 (ko) 터치 감지 입력 장치용 제스처
US9348458B2 (en) Gestures for touch sensitive input devices
US8902181B2 (en) Multi-touch-movement gestures for tablet computing devices
US9274608B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
US10331219B2 (en) Identification and use of gestures in proximity to a sensor
EP3557395B1 (en) Information processing apparatus, information processing method, and computer program
US20150149961A1 (en) Motion-based character selection
US9696882B2 (en) Operation processing method, operation processing device, and control method
EP3267303B1 (en) Multi-touch display panel and method of controlling the same
KR20150090840A (ko) 디스플레이 화면의 영역을 보호하는 디바이스 및 방법
TW201250578A (en) Obstructing user content based on location
US20160291764A1 (en) User defined active zones for touch screen displays on hand held device
US20210026527A1 (en) Method for interaction between at least one user and/or a first electronic device and a second electronic device
EP2811378A1 (en) Apparatus and Method for Controlling an Interface Based on Bending
US9823890B1 (en) Modifiable bezel for media device
JP5974685B2 (ja) 表示装置およびプログラム
CN108628493A (zh) 触摸类型辨别方法及执行其的触摸输入装置
US9898183B1 (en) Motions for object rendering and selection
KR102156291B1 (ko) 전자 문서의 일부 영역을 암호화하는 방법 및 장치
EP4133358A1 (en) Using a stylus to modify display layout of touchscreen displays
JP2002009761A (ja) 手書署名認証装置、手書署名認証方法、手書署名認証プログラムを格納した記憶媒体
KR20190068186A (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant