CN110121690A - 包括接近传感器和深度变化的界面元素的多层显示器和/或相关联的方法 - Google Patents

包括接近传感器和深度变化的界面元素的多层显示器和/或相关联的方法 Download PDF

Info

Publication number
CN110121690A
CN110121690A CN201780081817.8A CN201780081817A CN110121690A CN 110121690 A CN110121690 A CN 110121690A CN 201780081817 A CN201780081817 A CN 201780081817A CN 110121690 A CN110121690 A CN 110121690A
Authority
CN
China
Prior art keywords
user
display device
interactive display
user interface
interface element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780081817.8A
Other languages
English (en)
Other versions
CN110121690B (zh
Inventor
R·N·曼斯
S-M·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Original Assignee
Pure Depth Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pure Depth Co Ltd filed Critical Pure Depth Co Ltd
Publication of CN110121690A publication Critical patent/CN110121690A/zh
Application granted granted Critical
Publication of CN110121690B publication Critical patent/CN110121690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

某些示例实施例涉及一种***，该***包括具有相对于彼此基本上平行间隔开的LCD的用户交互式显示设备。接近传感器位于用户交互式显示设备附近。控制器被配置成执行指令以执行包括以下各项的功能：生成包括一个或多个用户界面元素(例如，用户交互式元素)的视觉内容以用于输出到用户交互式显示设备；使用户交互式显示设备显示所生成的视觉内容；从接近传感器接收输出；基于从接近传感器接收到的输出，确定感兴趣对象何时接近用户交互式显示设备；以及响应于感兴趣对象已经接近用户交互式显示设备的确定结果，而更新所生成的视觉内容并使经更新的所生成的视觉内容经由用户交互式显示设备来被显示。

Description

包括接近传感器和深度变化的界面元素的多层显示器和/或 相关联的方法
技术领域
本发明的某些示例实施例涉及一种具有信息显示器的电子设备和/或相关联的方法。更具体地，本发明的某些示例实施例涉及多焦(multi-focal)平面信息显示器和增强从其提取信息的方法。
背景技术和发明内容
用于显示图形图像和/或文本的电子显示技术已经发展得非常迅速，以满足遍布的用户对更逼真的和交互式的显示器的需求。现在可使用具有不同功能的广泛的显示技术。这些显示技术包括各种类型的平板显示技术，诸如，例如等离子显示面板(PDP)、液晶显示(LCD)设备、有机发光二极管(OLED)显示器及类似物。
然而，大多数显示技术通常仅能够在单个屏上显示二维图像。在显示器内的不同深度处形成图像的能力(无论是真实的还是感知的)已经成为正在进行的研究和开发的主题，例如，在寻求提供能够复制或增强由正常人类视觉所赋予的深度效果从而提供与电子显示器等更有趣和/或更刺激的交互的显示技术的过程中。
人类处理视觉信息的方式一直是试图理解这一复杂过程的广泛而长期的研究的主题。该研究包括由体积、三维或多焦平面显示器提供的深度或“视深度(apparentdepth)”的影响。并且术语“预先注意处理(preattentive processing)”被创造出用来表示潜意识在分析和处理尚未成为观看者的自觉意识的焦点的视觉信息中的行为。
当观看大量视觉元素时，该元素的视觉特性中的某些变化或属性可以通过预先注意处理来导致快速检测。这明显快于要求用户单独扫描每个元素、仔细检查所述属性的存在。究竟什么属性导致他们预先注意处理本身就已经是大量研究的主题。颜色、形状、三维视觉提示、取向、移动和深度已经全部被研究来辨别触发有效预先注意处理的密切视觉特征。
已经确定，使用多个深度/焦平面作为显示信息的手段可以利用增强的反应/同化时间来增强预先注意处理。
已知三维或多焦平面显示器提供利用传统二维显示器没有的许多优点或能力。三维和多焦平面显示器的示例分别包括立体显示器和多层显示器(MLD)。
已知的三维显示器寻求通过各种技术向观看者提供双目深度提示，该各种技术包括例如使用直接位于每只眼睛前面的单独的头戴式显示器、透镜式显示器、全息摄影术等。不幸的是，这些中的每一个都拥有一定的局限性。例如，头戴式显示器增加了人体工程学上的不便，降低了观看者的周边意识(peripheral awareness)，并且通常很麻烦并且可能导致恶心、头痛和/或迷失方向。透镜式显示器在倾斜视角上是最有效的，并且因此可能在广泛的不同环境中无用并且对许多不同应用而言无用，并且全息摄影术目前在许多方面受到限制。
立体(和自动立体)显示器通过向观看者的左眼和右眼提供略微不同的视觉图像以使用人类视觉***的双目能力，来提供3D图像的外观。立体显示器近年来已经流行起来。
MLD***是多焦平面显示器，该多焦平面显示器使用以堆叠布置彼此平行排列的、在每个屏之间具有物理分离物的多个层叠的屏或“显示层”。每个屏能够在不同的焦平面上显示图像，因此，这种MLD***通常被称为多焦平面显示器。因此，可以在一个显示器上显示由物理分离物或“深度”分离的多个图像。例如，公开号为WO 99/142889的PCT公开揭示了一种MLD，其中通过在距观看者最远的背景屏上显示图像来创建深度，并且该图像将显现在更靠近用户的(多个)屏上所显示的图像后面的某个深度处。MLD(特别是使用例如在公开的公开号为WO 1999/042889和WO 1999/044095的PCT专利公开中描述的技术的那些MLD)的益处，由于其与传统单焦点平面显示(SLD)***相比具有增强的能力，因此正获得越来越广泛的认可和接受。上述申请中的每一个的全部内容在此以引用的方式并入本文中。
可以使用LCD设备来实现MLD，尽管也可以使用其他显示技术形成MLD。例如，LCD前面显示层可以被层叠在OLED后显示层等的前面。
尽管已经提出了用于与MLD进行用户交互的各种技术，但仍期望进一步的改进。例如，期望进一步改进以促进在使用MLD的各种环境和应用中的预先注意处理。
某些示例实施例涉及这些和/或其他问题。例如，某些示例实施例涉及所提供的显示***。用户交互式显示设备包括相对于彼此基本上平行间隔开的多个液晶显示(LCD)设备。接近传感器位于用户交互式显示设备附近。非暂态计算机可读存储介质有形地存储与用户交互式显示设备的操作相关的指令。控制器被配置成执行指令以执行包括以下各项的功能：生成包括一个或多个用户界面元素的视觉内容以用于输出到用户交互式显示设备；使用户交互式显示设备显示所生成的视觉内容；从接近传感器接收输出；基于从接近传感器接收到的输出，确定感兴趣对象何时接近用户交互式显示设备；以及响应于感兴趣对象已经接近用户交互式显示设备的确定结果，而更新所生成的视觉内容并使经更新的所生成的视觉内容经由用户交互式显示设备进行显示。
在本发明的某些示例实施例中，提供了一种操作显示***的方法，该显示***包括多个显示设备以及接近传感器，该多个显示设备相对于彼此基本上平行间隔开且重叠，该方法包括：确定感兴趣对象何时接近各显示设备中的至少一个显示设备；以及响应于感兴趣对象已经接近所述至少一个显示设备，而更新由显示***显示的视觉内容，以便进行以下各项中的至少一项：(a)将至少一个用户界面元素从第一显示设备移动到在所述多个显示设备中的第二显示设备，以改变所述至少一个用户界面元素的深度，以便向用户强调所述至少一个用户界面元素；以及(b)将至少一个非用户界面元素从一个显示设备移动到所述多个显示设备中的另一显示器并且进一步远离用户，以便向用户强调至少一个用户界面元素。
在某些示例实施例中，提供了一种非暂态计算机可读存储介质，其有形地存储指令，该指令当由处理器执行时执行包括以下各项的功能：生成包括一个或多个用户界面元素的视觉内容以用于输出到包括相对于彼此基本上平行间隔开的多个液晶显示(LCD)设备的用户交互式显示设备；使用户交互式显示设备显示所生成的视觉内容；接收来自位于用户交互式显示设备附近的接近传感器的输出；基于从接近传感器接收到的输出，确定感兴趣对象何时接近用户交互式显示设备；以及响应于感兴趣对象已经接近用户交互式显示设备的确定结果，而更新所生成的视觉内容并使经更新的所生成的视觉内容经由用户交互式显示设备来被显示。
在某些示例实施例中，提供了一种控制应用程序(application)的方法，该方法包括：生成包括一个或多个用户界面元素的视觉内容以用于输出到包括相对于彼此基本上平行间隔开的多个液晶显示(LCD)设备的用户交互式显示设备；使用户交互式显示设备显示所生成的视觉内容；接收来自位于用户交互式显示设备附近的接近传感器的输出；基于从接近传感器接收到的输出，确定感兴趣对象何时接近用户交互式显示设备；以及响应于感兴趣对象已经接近用户交互式显示设备的确定结果，而更新所生成的视觉内容并使经更新的所生成的视觉内容经由用户交互式显示设备来被显示。
本文还构想了用于使用和/或配置这些和/或其他***的方法。类似地，本文也构想了有形地存储指令的非暂态计算机可读存储介质，所述指令在由硬件处理器执行时执行这些和/或其他方法。
可以组合本文描述的特征、方面、优点和示例实施例以实现更进一步的实施例。
附图说明
通过参考结合附图的示例性说明性实施例的以下详细描述，这些和其他特征和优点可以被更好且更完全地理解，其中：
图1是根据示例实施例的多层显示器(MLD)的示意性分解横截面视图；
图2是图1的示例MLD的示意性分解透视图；
图3是示出根据某些示例实施例的用于控制示例MLD的结构的框图；
图4是示出根据某些示例实施例的用于增强示例MLD用户界面中的用户界面元素的可选择性的示例方法的流程图；
图5是根据某些示例实施例的示例MLD的第一视图，该示例MLD显示没有用户界面元素被突出显示的说明性导航相关的用户界面；以及
图6是根据某些示例实施例的示例MLD的第二视图，该示例MLD显示了图5的说明性导航相关的用户界面，除了某些用户界面元素被突出显示之外的。
具体实施方式
某些示例实施例涉及多层显示器(MLD)和/或涉及其操作的方法。更具体地，某些示例实施例提供了对结合MLD实现的用户界面的改进。
图1是根据示例实施例的MLD的示意性分解横截面视图，并且图2是图1的示例MLD的示意性分解透视图。图1-2中所示的示例MLD包括以前面102和后面103LCD(或OLED)屏的形式提供的第一和第二显示层。前面屏102和后面屏103被定位成彼此平行但是间隔开，其中前面屏102与后面屏103重叠。背光阵列104被设置在后面屏103之后，并且可操作用于向LCD屏102和103提供光。如本领域技术人员将理解的，每个LCD屏102/103包括可控制以在其上形成图像的相应多个像素。例如，第一屏102可操作用于使用第一图像105的像素中的至少一些像素来显示第一图像105，并且第二屏103可操作用于使用第二图像106的像素中的一些像素来显示第二图像106。第一屏102重叠第二屏103，因此第一屏102可以被认为是“前面(front)”屏，其中第二屏是“后面(rear)”屏。
一般而言，像素是图像在屏上或在存储器中存储的最小可分辨区域。例如，单色图像中的每个像素具有其自己的亮度，从针对黑色的0到针对白色的最大值(例如，针对8位像素为255)。例如，在彩色图像中，每个像素具有其自己的亮度和颜色，通常表示为红色、绿色和蓝色强度的组合。
显而易见的是，可以使用许多的替代性显示技术来取替LCD屏102和103中的一个或多个，或者除了LCD屏102和103中的一个或多个之外还可以使用许多的替代性显示技术。此外，尽管为了清楚和方便起见图1示出了在后面屏103前面的单个屏102，但是可以将任何数量的附加(至少部分透明)显示层结合到设计中。这些显示器可以有助于为由观察者观看的场景提供三维质量，例如，如公开号为WO 1999/042889和WO1999/044095的PCT公开中所描述的，其通过引用并入本文。
图3是示出根据某些示例实施例的用于控制示例MLD的结构的框图。应当理解，图3中所示的***300是作为示例的方式提供的，并且许多不同的***包括但不限于嵌入式计算机***、车辆仪表板显示***、便携式和手持式计算机***、移动电话和/或可用于实现本文描述的示例实施例的各方面的其他电子设备类型。***300包括例如经由数据总线或类似物可操作地耦合到存储器302的至少一个处理器301。至少一个处理器301和存储器302至少部分地形成***300的处理资源，并且至少一个处理器301可以包括硬件处理器(例如，中央处理单元(CPU)或其他类型的处理器)。取决于计算机***环境的配置和/或类型，存储器302可以包括易失性存储器(例如，RAM)、非易失性存储器(例如，ROM，闪存等)或两者的某种组合。另外，在示例实施例中，存储器302可以是可移除的或不可移除的。计算机***300还可以具有附加存储(storage)304(其可以是可移除的、不可移除的和/或类似物)。
如图3所示，计算机***300可以经由通信接口306与其他***、组件和/或设备通信。通信接口306可以包括计算机可读指令、数据结构、程序模块和/或以经调制的数据信号(例如，载波)或其他传输机制方式的其他数据，以及用于发送和/或接收它们的硬件。通过示例的方式，通信接口306可以耦合到和/或包括有线媒体(例如，有线网络、直接有线连接等)和/或无线媒体(例如，无线网络，利用声学、RF、红外和/或其他无线信令等的无线连接)。在某些示例实施例中还可以提供通信端口和/或连接器(例如，用于LIN总线、USB连接等)。
通信接口306还将计算机***300耦合到一个或多个输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备等)。另外，通信接口306可以将计算机***平台300耦合到一个或多个输出设备(例如，扬声器、打印机等)。
可选的图形处理器308可以被设置并配置成接收图像数据，以向结合图1-2所示出和描述的MLD提供输出。在这方面，可以将数据信号提供给前面屏102和后面屏103以使它们显示第一和第二图像105和106。图形处理器308可以对存储在帧缓冲器309中或在计算机***平台300的其他存储器位置(例如，存储器302、存储304和/或类似物)中的图形图像数据执行图形处理操作。可以由计算机***300的组件(例如，图形处理器308、处理器301和/或类似物)和/或其他***/设备的组件访问、处理和/或修改在帧缓冲器309中所存储的图形数据。将理解的是，在某些示例实施例中，图形处理器308可以包括帧缓冲器309。还将理解的是，在某些示例实施例中，图形处理器308可以被实现为GPU或与处理器301分离的其他结构。在其他示例实施例中，图形处理器308可以与处理器301一起搭配或实现为处理器301的一部分。
接近传感器303也可以被提供作为***300的一部分。接近传感器可以被配置成在其逼近感兴趣区域时检测感兴趣对象(例如，手、手指、触笔和/或类似物)。例如，接近传感器303可以检测手或手指逼近MLD和/或例如经由触摸、手势和/或类似物与MLD交互。接近传感器303可以并入包括例如红外移动检测器、照相机和/或类似物之类的已知技术。可以使用已知的技术来检测位置、手势和/或类似物。在某些示例实施例中，可以为整个***300提供专用对象(例如，触笔或类似物)，并且接近传感器303可以被配置成检测其特性(例如，所发射的红外能量或其他能量、大小/形状等)。
相应地，存储器302、存储304、帧缓冲器309和/或其组合或子组合可以包括指令，该指令当由处理器301执行时实现例如根据由计算机***300托管的(host)和/或在计算机***300上运行的用户界面和/或应用程序来在图1-2的MLD上生成图像的方法。
在某些示例实施例中，计算机***300的一些或所有组件、图1-2的示例MLD以及接近传感器303可以位于共同的壳体内。在某些示例实施例中，控制器可以包括图3中所示的***300的组件，其中图1-2的示例MLD被定位成从其远离。在某些示例实施例中，图1-2的示例MLD中的每一个、接近传感器303和图3的其余组件可以设置在不同的壳体中。
从人机交互的角度来看，经常期望提供用户界面或应用程序的简单整洁的视图。该一般设计原理可以帮助对包括MLD的各种显示器的用户体验，并且出于简单的设计在各种环境中可以都是有益的。例如，在寻求快速的观看者理解的环境中(例如，驾驶汽车)，期望简单且整洁的用户界面或应用程序。类似地，当观看者伸出手与显示器交互时(例如，使用触摸、手势和/或类似物)，从人机交互的角度来看，使以下各项变得明显将是有益的：底层用户界面或应用程序中的哪个(哪些)部分是交互式的，哪个(哪些)交互选项是可用的，什么信息是活跃的(active)和/或被认为是重要的等等。
增加用户界面(UI)元素的显著性(突出显示)可以有助于这些和/或其他方面(regard)。例如，可以通过以下操作和/或其他技术中的任何一个或多个来突出显示元素：缩放元素(例如，图标、按钮等)，使得它们看起来相对较大(例如，通过使(多个)元素更大，通过使其他元素更小和/或相似物)；提供装饰、发光、着重(accent)和/或类似物，以产生在亮度、饱和度、大小和/或相似物上的对应增加；使文本标签、图标和/或其他用户界面元素显现；调整颜色；添加边框；创建逐渐展开的动画；产生与视觉提示同步的可听提示；等等。通常认为有必要使用这些效果中的一种以上来帮助确保可选择性足够地可感知。然而，遗憾的是，这样做会导致不同的、混乱的、复杂的和/或以其他方式不期望的用户界面。
然而，拥有MLD呈现了增强可选择性的额外机会。除了上述用于突出显示的技术之外，使用设计MLD用户界面来使得它看起来内容被选择性地和动态地出示(bring forward)也是可能的。图4是示出根据某些示例实施例的用于增强示例MLD用户界面中的用户界面元素的可选择性的示例方法的流程图。如步骤S401中所示，生成包括一个或多个用户界面元素的视觉内容以用于输出到MLD(例如，结合图1-2描述的类型的MLD)。在步骤S403中，使MLD显示所生成的视觉内容(例如，使用结合图3所描述的电路***)。在步骤S405中，从接近传感器接收输出。该输出可以与感兴趣对象正接近MLD相对应，例如，如步骤S407中所示的。这包括例如潜在地检测触摸、手势控制或仅仅进入感兴趣区域的对象。如果没有检测到，则该过程仅仅返回到步骤S405并等待进一步输入。
然而，如果检测到接近，则在步骤S409中，做出关于如何更新所生成的视觉内容的确定。可以基于接收到的输出来做出该确定。例如，可以使用接近传感器来确定距离延迟的距离、对象相对于可能是用户交互式的用户界面元素的位置、检测到的手势等。基于该数据和/或其他数据，可以进行查找，并且可以确定对用户界面或应用程序中的底层内容的更新。在步骤S411中，使MLD显示经更新的视觉内容，并且该过程返回到步骤S405以等待进一步输入(除非，例如设备被断电等)。
在某些示例实施例中，在用户移动手或其它对象远离MLD后，可以通过逆转(reverse)该改变来使显示元素移动到它们的原始z位置或深度水平。这可以帮助表示显示器正在较低功率模式下操作，与元素等进行交互不是必需的或期望的。
图5-6提供了这些可能如何工作的具体示例。在这方面，图5是示出了根据某些示例实施例的其中没有突出显示用户界面元素的说明性导航相关的用户界面的示例MLD的第一视图；以及图6是示出了根据某些示例实施例的图5的除了突出显示某些用户界面元素之外的说明性导航相关的用户界面的示例MLD的第二视图。从图5到图6的改变可以与如下的转变相对应：从睡眠模式或被动模式(例如，其中导航应用程序已经开始但已经转换到其中元素被较少强调的较低功率的模式)到活动模式(其中突出显示了某些用户界面元素以帮助用户了解所显现的信息)。如将理解的是，显示器是整洁而简单的以在两种模式下理解和使用。因此，当例如接近传感器检测到手指或类似物逼近(approaching)显示***时，可以如图6所示的突出显示或以其他方式强调可选择的按钮或区域。在检测到正靠近的(incoming)手指或类似物时强调可选择的按钮或区域的示例方式将把可选择的按钮或区域从后面屏移动到前面屏，和/或将不可选择的按钮或区域从前面屏移动到后面屏。
当用户的手逼近MLD时，用户界面的可能性增加并且检测到潜在的交互或实际交互。这导致某些元素变成被突出显示或以其他方式被强调。例如，如通过对比图5-6可以看出的：在显示器的底部处出现白色着重，按钮变大(参见屏的左/右边缘)并移动到前面板，文本变亮并移动到前面板等。其他被突出显示的信息包括搜索按钮、指南针信息、缩放到当前位置按钮、相对于地图的当前位置的指示符和计划路线、包括比例的信息元素、剩余行驶的持续时间、剩余行驶的距离、估计的到达时间、下一定向步骤信息等。将理解的是，这些是用户界面元素，并且一些(但不需要全部)将是用户交互式的。应当理解，尽管一些由于它们邀请交互而是用户交互式的用户界面元素，但这些全都是用户界面元素。由于接近传感器(其可能位于如上所述的屏中或屏附近)检测到用户正伸出手与显示器交互，因此增加了该信息的显著性。将理解的是，该技术包括(在其他事情之中)通过至少从后面层向前面层弹出(pop)(并且可选地淡出)元素来增加用户界面元素的显著性，例如，以增加用户将能够快速确定用户可以与被认为是重要的该信息进行交互的可能性，以表明状态的变化等。
上面描述的增加显著性的其他可供性(affordance)可以为整个用户界面创建潜在的更迥然不同的感觉。相反，MLD弹出和/或淡出有利地可以提供更一致且直观的方法来表示所选择的(多个)元素具有或应该接收焦点。一致性可由于可以执行MLD弹出和/或淡出方法而被增加，而不管所讨论的对象的颜色、纹理、形状或其他方面。因为在某些情况下，使得一个人的手指看起来像是将内容朝向自身吸引的磁铁是可能的，因此直观性可被增加。可以通过改变信息的深度水平来弹出或推回信息，例如使得信息出现在不同显示器和/或不同显示器的表面上，以将信息向前或向后移动。
在某些示例实施例中，具有两个以上的显示器是可能的。例如，在三级或更多级MLD上，深度可以与用户的手距离显示器的距离成比例地变化。这有利地可以提供渐进的实时反馈，同时向用户体验添加类似触觉的感觉。
接近的更精确的检测可以被用于使UI元素在局部最大化，例如，如果用户的手朝向左侧逼近，则左侧菜单或类似物可以改变深度。这里可以呈现针对可用选项的静态提示以便用户知道这里可用的交互，如与屏的右手侧相对的。在某些示例实施例中，可以将该交互分阶段，例如，使得首先显现提示，然后弹出提示(例如，基于增加的接近度、悬停的持续时间等)。
公开号为2011/0310121的美国公开和专利号为8711058的美国专利公开了与可与某些示例性实施例结合使用的MLD相关的技术，并且其每一个的全部公开内容通过引用并入本文中。
如本文所使用的，除非明确说明，否则术语“在......上(on)”，“由......支撑(supported by)”等不应解释为表示两个元件彼此直接相邻。换句话说，即使在它们之间存在一个或多个层，也可以说第一层在“第二层上”或“由第二层支撑”。
在某些示例实施例中，提供了一种显示***，用户交互式显示设备包括相对于彼此基本上平行间隔开的多个液晶显示(LCD)设备。接近传感器位于用户交互式显示设备附近。非暂态计算机可读存储介质有形地存储与用户交互式显示设备的操作相关的指令。控制器被配置成执行指令以执行包括如下各项的功能：生成包括一个或多个用户界面元素的视觉内容以用于输出到用户交互式显示设备；使用户交互式显示设备显示所生成的视觉内容；从接近传感器接收输出；基于从接近传感器接收到的输出，确定感兴趣对象何时接近用户交互式显示设备；以及响应于感兴趣对象已经接近用户交互式显示设备的确定结果，而更新所生成的视觉内容并使经更新的所生成的视觉内容经由用户交互式显示设备来被显示。
除了上述段落的特征，在示例实施例中，经更新的所生成的视觉内容可以可选择地突出显示(多个)所述用户界面元素。
除了先前段落的特征，在示例实施例中，选择性地突出显示可以包括对(多个)用户界面元素的所显示的深度的改变。
除了两个先前段落中的任一段的特征，在示例性实施例中，所显示的深度可以被改变成使得经选择性地突出显示的(多个)用户界面元素显现得更靠近用户交互式显示设备的最外表面。
除了三个先前段落中任一段的特征，在示例性实施例中，所显示的深度可以被改变成使得所生成的视觉内容的非突出显示部分显现成移动到更靠近用户交互式显示设备的最内表面。
除了四个先前段落中任一段的特征，在示例性实施例中，所显示的深度可以被改变成使得经选择性地突出显示的(多个)用户界面元素随着感兴趣对象接近用户交互式显示器而显现得越来越靠近用户交互式显示设备的最外表面。
除了五个先前段落中的任一段的特征，在某些示例实施例中，可以通过使经选择性地突出显示的(多个)用户界面元素在用户交互显示设备的不同LCD设备上显示来改变所显示的深度。
除了七个先前段落中任一段的特征，在某些示例实施例中，所生成的视觉内容可以与应用程序相对应。
除了先前段落的特征，在某些示例实施例中，应用程序可以是导航应用程序，并且提供多个用户界面元素来用于使用导航应用程序。
除了九个先前段落中任一段的特征，在某些示例实施例中，感兴趣对象的移动可以被检测到并且对应于手势控制(例如，用于应用程序)。
除了10个先前段落中任一段的特征，在示例实施例中，控制器可包括与用户交互式显示设备共享壳体的至少一个硬件处理器。
在某些示例实施例，可以提供包括中央控制台和先前11个段落中任一段的***，例如，其中在车辆的中央控制台中提供用户交互式显示设备。
在某些示例实施例中，提供了一种有形地存储指令的非暂态计算机可读存储介质，该指令当由处理器执行时执行包括以下各项的功能：生成包括一个或多个用户界面元素的视觉内容以用于输出到用户交互式显示设备，用户交互式显示设备包括相对于彼此基本上平行间隔开的多个液晶显示(LCD)设备；使用户交互式显示设备显示所生成的视觉内容；从位于用户交互式显示设备附近的接近传感器接收输出；基于从接近传感器接收到的输出，确定感兴趣对象何时接近用户交互式显示设备；以及响应于感兴趣对象已经接近用户交互式显示设备的确定结果，而更新所生成的视觉内容并使经更新的所生成的视觉内容经由用户交互式显示设备来被显示。
除了先前段落的特征，在某些示例实施例中，经更新的所生成的视觉内容可以通过改变(多个)用户界面元素的显示深度来选择性地突出显示(多个)用户界面元素。
除了先前段落的特征，在某些示例实施例中，所显示的深度可以被改变成使得经选择性地突出显示的(多个)用户界面元素显现得更靠近用户交互式显示设备的最外表面。
除了两个先前段落中的任一段的特征，在某些示例实施例中，所显示的深度可被改变成使得经选择性地突出显示的(多个)用户界面元素随着感兴趣对象越来越靠近用户交互式显示设备而逐渐显现得越来越更靠近用户交互式显示设备的最外表面。
除了三个先前段落中的任一段的特征，在某些示例实施例中，可以通过使经选择性地突出显示的(多个)用户界面元素被显示在用户交互显示设备的不同LCD设备上来改变所显示的深度。
除了五个先前段落中任一段的特征，在某些示例实施例中，所生成的视觉内容可以与应用程序相对应。
除了六个先前段落中任一段的特征，在示例实施例中，可由接近检测器检测的触摸和/或手势控制可用于与所生成的视觉内容进行交互(例如，以控制应用程序)。
在某些示例实施例中，提供了控制应用程序的方法，该方法包括：生成包括一个或多个用户界面元素的视觉内容，以用于输出到包括相对于彼此基本上平行间隔开的多个液晶显示(LCD)设备的用户交互式显示设备；使用户交互式显示设备显示所生成的视觉内容；从位于用户交互式显示设备附近的接近传感器接收输出；基于从接近传感器接收到的输出，确定感兴趣对象何时接近用户交互式显示设备；以及响应于感兴趣对象已经接近用户交互式显示设备的确定结果，而更新所生成的视觉内容并使得经更新的所生成的视觉内容经由用户交互式显示设备来被显示。
尽管已经结合当前被认为是最实用的且优选的实施例描述了本发明，但应该理解，本发明不限于所公开的实施例，而正相反，它旨在覆盖被包括在本发明随附权利要求的精神和范围中的各种修改以及等效布置。

Claims (19)

1.一种显示***，包括：
用户交互式显示设备，其包括相对于彼此基本上平行间隔开并且重叠的多个显示设备；
接近传感器，其位于所述用户交互式显示设备附近；
非暂态计算机可读存储介质，其有形地存储与所述用户交互式显示设备的操作相关的指令；以及
控制器，其被配置成执行所述指令以执行包括以下各项的功能：
生成包括一个或多个用户界面元素的视觉内容以用于输出到所述用户交互式显示设备；
使所述用户交互式显示设备显示所生成的视觉内容；
从所述接近传感器接收输出；
基于从所述接近传感器接收到的输出，确定感兴趣对象何时接近所述用户交互式显示设备；以及
响应于所述感兴趣对象已经接近所述用户交互式显示设备的确定结果，而更新所生成的视觉内容并使经更新的所生成的视觉内容经由所述用户交互式显示设备来被显示。
2.如权利要求1所述的***，其中，与非用户界面元素相比，所述经更新的所生成的视觉内容选择性地突出显示和/或以其他方式强调(多个)用户界面元素。
3.根据任一前述权利要求所述的***，其中，所述控制器被配置成：响应于感兴趣对象被检测为接近所述用户交互式显示设备，而将至少一个用户界面元素从第一显示设备移动到所述多个显示设备中的第二显示设备，以便改变所述至少一个用户界面元素的深度。
4.根据任一前述权利要求所述的***，其中，所述控制器被配置成：响应于感兴趣对象被检测为接近所述用户交互式显示设备，而改变至少一个用户界面元素的深度以将所述至少一个用户界面元素从一个显示设备移动到另一显示设备并更靠近所述***的最外表面，以便更靠近用户。
5.根据任一前述权利要求所述的***，其中，所述控制器被配置成：响应于感兴趣对象被检测为接近所述用户交互式显示设备，而修改所显示的深度，使得所显示的非用户界面元素被移动到不同的显示设备并远离用户，以便移动到与所述用户交互式显示设备的最内表面更靠近。
6.根据任一前述权利要求所述的***，其中，所述显示设备是相应的液晶显示面板。
7.根据任一前述权利要求所述的***，其中，所述所生成的视觉内容与应用程序相对应。
8.根据权利要求7所述的***，其中，所述应用程序是导航应用程序，并且多个用户界面元素被提供以用于使用所述导航应用程序。
9.根据任一前述权利要求所述的***，其中，所述感兴趣对象是用户的手指。
10.一种包括仪表板的车辆，其中任一前述权利要求所述的显示器被设置在所述车辆的所述仪表板上。
11.根据任一前述权利要求所述的***，其中，所述控制器包括与所述用户交互式显示设备共享壳体的至少一个硬件处理器。
12.一种操作显示***的方法，所述显示***包括多个显示设备以及接近传感器，所述多个显示设备相对于彼此基本上平行间隔开且重叠，所述方法包括：
确定感兴趣对象何时接近所述多个显示设备中的至少一个显示设备；以及
响应于所述感兴趣对象已经接近所述至少一个显示设备的确定结果，而更新由所述显示***正显示的所述视觉内容，以便进行以下各项中的至少一项：(a)将至少一个用户界面元素从第一显示设备移动到在所述多个显示设备中的第二显示设备，以改变所述至少一个用户界面元素的深度，以便向用户强调所述至少一个用户界面元素；以及(b)将至少一个非用户界面元素从一个显示设备移动到所述多个显示设备中的另一显示器并进一步远离用户，以便向用户强调至少一个用户界面元素。
13.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质有形地存储指令，所述指令在由处理器执行时执行包括以下各项的功能：
生成包括一个或多个用户界面元素的视觉内容以用于输出到用户交互式显示设备，所述用户交互式显示设备包括相对于彼此基本上平行间隔开的多个液晶显示(LCD)设备；
使所述用户交互式显示设备显示所生成的视觉内容；
从位于所述用户交互式显示设备附近的接近传感器接收输出；
基于从所述接近传感器接收到的输出，确定感兴趣对象何时接近所述用户交互式显示设备；以及
响应于所述感兴趣对象已经接近所述用户交互式显示设备的确定结果，而更新所生成的视觉内容并使经更新的所生成的视觉内容经由所述用户交互式显示设备来被显示。
14.根据权利要求13所述的非暂态计算机可读存储介质，其中，所述经更新的所生成的视觉内容通过改变(多个)用户界面元素的显示深度来选择性地突出显示所述(多个)用户界面元素。
15.根据权利要求14所述的非暂态计算机可读存储介质，其中，所述显示深度被改变成使得经选择性地突出显示的(多个)用户界面元素显现得更靠近所述用户交互式显示设备的最外表面。
16.根据权利要求14-15中任一项所述的非暂态计算机可读存储介质，其中，所述显示深度被改变成使得经选择性地突出显示的(多个)用户界面元素随着所述感兴趣对象越来越靠近所述用户交互式显示设备而逐渐地显现得越来越靠近所述用户交互式显示设备的最外表面。
17.根据权利要求14-16所述的非暂态计算机可读存储介质，其中，通过使经选择性地突出显示的(多个)用户界面元素被显示在所述用户交互式显示设备中的不同LCD设备上，来改变所述显示深度。
18.根据权利要求13-17中任一项所述的非暂态计算机可读存储介质，其中，所生成的视觉内容与应用程序相对应。
19.根据权利要求13-18中任一项所述的非暂态计算机可读存储介质，其中，所述应用程序是可经由可由所述接近检测器检测的触摸和/或手势控制来控制的。
CN201780081817.8A 2016-12-29 2017-12-18 包括接近传感器和深度变化的界面元素的多层显示器和/或相关联的方法 Active CN110121690B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/393,297 2016-12-29
US15/393,297 US10083640B2 (en) 2016-12-29 2016-12-29 Multi-layer display including proximity sensor and depth-changing interface elements, and/or associated methods
PCT/IB2017/058075 WO2018122674A1 (en) 2016-12-29 2017-12-18 Multi-layer display including proximity sensor and depth-changing interface elements, and/or associated methods

Publications (2)

Publication Number Publication Date
CN110121690A true CN110121690A (zh) 2019-08-13
CN110121690B CN110121690B (zh) 2022-07-29

Family

ID=62707992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081817.8A Active CN110121690B (zh) 2016-12-29 2017-12-18 包括接近传感器和深度变化的界面元素的多层显示器和/或相关联的方法

Country Status (4)

Country Link
US (2) US10083640B2 (zh)
EP (1) EP3559936A4 (zh)
CN (1) CN110121690B (zh)
WO (1) WO2018122674A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11260752B2 (en) * 2019-12-27 2022-03-01 Kawasaki Jukogyo Kabushiki Kaisha Instrument panel for leisure vehicle
CN111565308B (zh) * 2020-07-15 2020-10-16 江苏奥斯汀光电科技股份有限公司 一种基于多层透明液晶屏的裸眼3d显示方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110082620A1 (en) * 2009-10-05 2011-04-07 Tesla Motors, Inc. Adaptive Vehicle User Interface
CN102221886A (zh) * 2010-06-11 2011-10-19 微软公司 通过化身与用户界面交互
US20140019894A1 (en) * 2011-03-31 2014-01-16 April Slayden Mitchell Augmenting user interface elements
US20140062946A1 (en) * 2011-12-29 2014-03-06 David L. Graumann Systems and methods for enhanced display images
US20160049109A1 (en) * 2003-05-16 2016-02-18 Deep Video Imaging Limited Display control system
CN105980976A (zh) * 2014-02-06 2016-09-28 三星电子株式会社 用于控制显示器的电子装置和方法
CN106233189A (zh) * 2014-01-31 2016-12-14 奇跃公司 多焦点显示***和方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ505800A (en) 1998-02-20 2002-09-27 Deep Video Imaging Ltd A multi-layer display and a method for extracting depth from 2D video data
EP1058862A1 (en) 1998-02-24 2000-12-13 Deep Video Imaging Limited Improved display
WO2001009664A1 (en) * 1999-08-01 2001-02-08 Deep Video Imaging Limited Interactive three dimensional display with layered screens
NZ511444A (en) 2001-05-01 2004-01-30 Deep Video Imaging Ltd Information display
US20070072665A1 (en) * 2001-09-28 2007-03-29 Igt, A Nevada Corporation Methods, Apparatuses And Systems for Multilayer Gaming
NZ514500A (en) 2001-10-11 2004-06-25 Deep Video Imaging Ltd A multiplane visual display unit with a transparent emissive layer disposed between two display planes
US6873306B2 (en) 2001-10-26 2005-03-29 International Business Machines Corporation Display controller architecture for portable computers
US7841944B2 (en) * 2002-08-06 2010-11-30 Igt Gaming device having a three dimensional display device
US7889184B2 (en) 2007-01-05 2011-02-15 Apple Inc. Method, system and graphical user interface for displaying hyperlink information
EP2329314A1 (en) 2008-08-26 2011-06-08 Puredepth Limited Improvements in multi-layered displays
US8463458B2 (en) 2009-09-03 2013-06-11 Johnson Outdoors Marine Electronics, Inc. Depth highlight, depth highlight range, and water level offset highlight display and systems
JP5532300B2 (ja) 2009-12-24 2014-06-25 ソニー株式会社 タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
US8890771B2 (en) 2010-01-06 2014-11-18 Apple Inc. Transparent electronic device
US20120056989A1 (en) 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
WO2013015466A1 (en) 2011-07-25 2013-01-31 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
US9733789B2 (en) 2011-08-04 2017-08-15 Eyesight Mobile Technologies Ltd. Interfacing with a device via virtual 3D objects
US8630741B1 (en) 2012-09-30 2014-01-14 Nest Labs, Inc. Automated presence detection and presence-related control within an intelligent controller
EP3047363B1 (en) 2013-09-17 2019-11-06 Amazon Technologies, Inc. Approaches for three-dimensional object display
US9628858B2 (en) 2014-10-31 2017-04-18 Microsoft Technology Licensing, Llc Individualized content presentation for increased user interaction performance in group settings
DE102016216577A1 (de) 2016-09-01 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden
US10592188B2 (en) 2016-12-28 2020-03-17 Pure Death Limited Content bumping in multi-layer display systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160049109A1 (en) * 2003-05-16 2016-02-18 Deep Video Imaging Limited Display control system
US20110082620A1 (en) * 2009-10-05 2011-04-07 Tesla Motors, Inc. Adaptive Vehicle User Interface
CN102221886A (zh) * 2010-06-11 2011-10-19 微软公司 通过化身与用户界面交互
US20140019894A1 (en) * 2011-03-31 2014-01-16 April Slayden Mitchell Augmenting user interface elements
US20140062946A1 (en) * 2011-12-29 2014-03-06 David L. Graumann Systems and methods for enhanced display images
CN106233189A (zh) * 2014-01-31 2016-12-14 奇跃公司 多焦点显示***和方法
CN105980976A (zh) * 2014-02-06 2016-09-28 三星电子株式会社 用于控制显示器的电子装置和方法

Also Published As

Publication number Publication date
EP3559936A1 (en) 2019-10-30
US10083640B2 (en) 2018-09-25
US20180301070A1 (en) 2018-10-18
EP3559936A4 (en) 2020-08-12
US10255832B2 (en) 2019-04-09
CN110121690B (zh) 2022-07-29
WO2018122674A1 (en) 2018-07-05
US20180190168A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
US9704285B2 (en) Detection of partially obscured objects in three dimensional stereoscopic scenes
US8643569B2 (en) Tools for use within a three dimensional scene
US9746928B2 (en) Display device and control method thereof
US9886102B2 (en) Three dimensional display system and use
JP6224144B2 (ja) 三次元グラフィック環境内でのセレクタの呈示
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
US9253468B2 (en) Three-dimensional (3D) user interface method and system
EP3304273B1 (en) User terminal device, electronic device, and method of controlling user terminal device and electronic device
US9389703B1 (en) Virtual screen bezel
WO2022218146A1 (en) Devices, methods, systems, and media for an extended screen distributed user interface in augmented reality
US11500452B2 (en) Displaying physical input devices as virtual objects
CN106873886B (zh) 一种立体显示的控制方法、装置和电子设备
JP2012256104A (ja) 情報処理装置、情報処理方法およびプログラム
CN110121690A (zh) 包括接近传感器和深度变化的界面元素的多层显示器和/或相关联的方法
EP3088991B1 (en) Wearable device and method for enabling user interaction
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
Ens et al. Shared façades: Surface-embedded layout management for ad hoc collaboration using head-worn displays
US11417055B1 (en) Integrated display rendering
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
CN104123005A (zh) 触控显示***及其显示可触控操作界面的方法
CN117148966A (zh) 控制方法、装置、头戴显示设备及介质
US20140204020A1 (en) Interactive content control device based on l-shaped display and control method thereof
CN105955577A (zh) 一种3d空间多桌面管理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220414

Address after: Babado J San Michaele

Applicant after: Delphi Technologies, Inc.

Address before: Oakland, New Zealand

Applicant before: PURE DEPTH LTD.

GR01 Patent grant
GR01 Patent grant