CN103119628A - 利用运动特性的显示器上三维用户界面效果 - Google Patents

利用运动特性的显示器上三维用户界面效果 Download PDF

Info

Publication number
CN103119628A
CN103119628A CN2011800456112A CN201180045611A CN103119628A CN 103119628 A CN103119628 A CN 103119628A CN 2011800456112 A CN2011800456112 A CN 2011800456112A CN 201180045611 A CN201180045611 A CN 201180045611A CN 103119628 A CN103119628 A CN 103119628A
Authority
CN
China
Prior art keywords
user interface
equipment
virtual
display
graphic user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800456112A
Other languages
English (en)
Other versions
CN103119628B (zh
Inventor
M·齐默
G·斯塔尔
D·海沃德
F·多普克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Publication of CN103119628A publication Critical patent/CN103119628A/zh
Application granted granted Critical
Publication of CN103119628B publication Critical patent/CN103119628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Image Generation (AREA)

Abstract

在此公开的技术使用罗盘、MEMS加速度计、GPS模块、和MEMS陀螺仪来推断针对手持式设备的参考系。这可以提供真实的Frenet标架，即，针对该显示器的X向量和Y向量，以及与该显示器垂直地指向的Z向量。事实上，利用来自加速度计、陀螺仪、和实时报告其状态的其它仪器的各种惯性线索，可以实时跟踪设备的Frenet标架以提供连续的3D参考系。一旦获知这种连续参考系，就可以利用设备的正面摄像头来推断或直接计算用户眼睛的方位。利用用户眼睛的方位和针对该显示器的连续3D参考系，可以在该设备的显示器上创建对象的更逼真的虚拟3D描绘，并且与用户交互。

Description

利用运动特性的显示器上三维用户界面效果
背景技术
视频游戏现今使用从例如手持式设备或控制仪器中的罗盘、加速度计、陀螺仪以及全球定位***（GPS）单元收集的运动和方位（position）的各种特性，来改进在模拟（即，虚拟）三维（3D）环境中的游戏体验，这已经不是秘密。事实上，用于从这种控制仪器提取所谓“六轴”方位信息的软件是广为所知的，并且用于现今许多视频游戏中。六轴中的前三个轴描述了设备在三维空间中的“偏航-俯仰-滚动（yaw-pitch-roll)”。在数学中，沿三维空间中的连续可微曲线移动的质点的切向、法向和次法向单位向量通常被称作T、N和B向量，或者统称为“Frenet标架（Frenet frame）”，并且被定义如下：T是指向运动方向的、与曲线相切的单位向量；N是T对曲线的弧长参数的导数除以其长度；而B是T和N的叉积。设备的“偏航-俯仰-滚动”还可以被表示为随着设备移动通过空间，在该设备的相继Frenet标架之间的角增量。六轴中的另外三个轴描述了设备在相关三维空间中的“X-Y-Z”方位，其也可以用于进一步模拟与虚拟3D环境的交互。
面部检测软件也是本领域中广为所知的，并且应用在现今许多实际应用中，包括：数字照相、数字录像、视频游戏、生物识别技术、监视、甚至能量节约。流行的面部检测算法包括Viola-Jones对象检测框架和Schneiderman & Kanade方法。面部检测软件可以结合具有正面摄像头的设备使用，以确定何时有人类用户位于设备前方，并且跟踪设备前方的这一用户的移动。
然而，除了设备用户的位置（location）和方位（position）以外，当前***未考虑其上渲染了（render）虚拟3D环境的设备的位置和方位以及用户的环境的物理和照明特性，以便在该设备的显示器上渲染更有趣且视觉上令人愉快的交互式虚拟3D环境。
因而，需要这样的技术，该技术用于连续跟踪具有显示器的电子设备的移动，以及这种电子设备的用户的环境中的照明条件和这种电子设备的用户的移动——尤其是该设备的用户的眼睛的方位。利用关于用户环境中的照明条件、用户眼睛的方位、和针对该电子设备的显示器的连续3D参考系的信息，可以创建该设备显示器上的对象的更逼真的虚拟3D描绘，并且与用户交互。
发明内容
在此公开的技术使用各种方位传感器，例如，罗盘、微机电***（MEMS）加速度计、GPS模块、和MEMS陀螺仪，以推断针对个人电子设备（例如，诸如移动电话的手持式设备）的3D参考系（其可以是非惯性参考系）。使用这些方位传感器可以为该设备提供真实的Frenet标架，即，显示器的X向量和Y向量，以及与显示器垂直指向的Z向量。事实上，利用来自加速度计、陀螺仪、和实时报告其状态的其它仪器的各种惯性线索，可以实时跟踪设备的Frenet标架，从而向该手持式设备提供连续3D参考系。一旦获知该设备的连续参考系，在此将公开的技术就可以接着要么推断用户眼睛的方位，要么利用正面摄像头来直接计算用户眼睛的方位。利用用户眼睛的方位和该显示器的连续3D参考系，可以创建该设备显示器上的对象的更逼真的虚拟3D描绘，并且与其交互。
为实现设备显示器上的对象的更逼真的虚拟3D描绘，可以使对象在显示器上被渲染为就好像它们处于该设备的操作***环境中的真实3D“地点”。在一些实施例中，显示器上的对象的方位可以通过对从它们的虚拟坐标（即，它们在对象的虚拟3D世界中的坐标）返回至该设备用户的眼睛的路径进行光线跟踪并且使对象的坐标与设备显示器的真实平面相交来计算。在其它实施例中，可以响应于设备的移动、用户的移动、或者用户环境中的照明条件，将在此被称为“21/2D”效果的虚拟3D用户界面（UI）效果应用到设备显示器上的2D对象，以便使该2D对象对于用户来说“看起来”是虚拟三维的。
利用这种技术可实现的3D UI效果
例如，可以响应于设备的移动、用户的移动、或者用户环境中的照明条件，利用用户界面环境的21/2D描绘，在显示在设备上的图形用户界面对象（例如，图标）上放置逼真的移动光亮或移动阴影。
还可以创建“虚拟3D操作***环境”，并且允许设备的用户“环顾”位于该虚拟3D操作***环境中的图形用户界面对象，以便观看其“侧面”。如果将参考系放大以允许用户关注特定的图形用户界面对象，用户还可以经由设备或用户的特定方位改变以及用户与设备显示器的交互来旋转该对象，以“观看”其后面。
还可以将该虚拟3D操作***环境渲染为在显示器内部具有凹状“便当盒（bento box）”形状因子。这种形状因子将有利于模块化界面。随着用户旋转该设备，他或她可以独立地观察便当盒的每一个“小格”。因而，通过使用正面摄像头，还可以具有跟随用户凝视的视觉“聚光灯”效果，即，通过使聚光灯效果“照耀”在显示器中用户当前观察的地点。还可以单独基于所确定的该设备的3D参考系来控制聚光灯效果的方位。例如，聚光灯效果可以被设置成照耀到这样的小格中，该小格的畸变法向向量指向为在方向上最接近设备用户的当前方位。
与显示器内部的虚拟3D世界交互
为经由触摸与虚拟3D显示器交互，在此公开的技术使得可以从设备显示器上的触摸点的位置到虚拟3D操作***环境中进行光线跟踪并且使触摸点的区域与其碰到的任何对象相交。与虚拟3D操作***环境的触摸交互所引起的对象运动可以与其在2D模式中的情况类似地发生，但在此公开的技术使得可以在该虚拟3D操作***环境内模拟碰撞效果和现实中的其它物理表现。而且，在获知了设备的Frenet标架时，可以更好地考虑这种触摸屏视差问题，即，触摸点与所显示的意图触摸位置之间的重合不良。
怎样防止GPU不断地重新渲染（re-rendering）
为防止过度使用图形处理单元（GPU）和过度消耗设备上的电池，在此公开的技术采用了对特殊姿势的使用来开启“虚拟3D操作***环境”模式，并且在方位静止时关闭该模式。在一个实施例中，该姿势是所谓的“公主波（princess wave）”，即，设备绕其一个轴波动旋转。例如，当在一秒钟跨度内出现沿一个轴的10-20度的多于三个波时，可以开启“虚拟3D操作***环境”模式。
在一个实施例中，当“虚拟3D操作***环境”模式开启时，UI的显示“解冻”，并且进入操作***环境的3D描绘（优选地类似于2D描绘，伴随有表示3D对象外观的阴影和纹理）。如果将该模式关闭，则显示将缓慢地过渡回到标准朝向，并且冻结回到用户界面环境的2D或21/2D描绘。方位静止（例如，保持设备相对静止两到三秒钟）可以是对设备的一种潜在的提示（cue），使得冻结回到2D或21/2D操作***环境模式并将对象的显示恢复至它们更传统的2D表示。
台式机也是如此
在台式机上，设备的Frenet标架不发生变化，并且用户相对于设备显示器的方位变化很可能微乎其微，但用户眼睛的方位可能显著变化。正面摄像头结合面部检测软件将允许计算用户眼睛的方位。利用摄像头的视场信息，还可以估算用户头部至显示器的距离，例如，根据人体工程学的指导方针，通过测量头部尺寸或者通过测量所检测用户的瞳孔至瞳孔距离并且假定针对人头部的典型测量。利用该数据，则可以描绘逼真21/2D或3D操作***环境模式，例如，通过在窗口、标题栏、和其它UI对象上放置光亮，并且响应于用户眼睛的运动或者用户头部的变化的方位来使它们移动。而且，还可以利用用户头部和眼睛的方位来在用户将他或她的头部移位至侧面和/或将他或她的头部朝着显示器移动之后，允许该用户“向下”看窗口。
由于在此公开的实施例所呈现的创新，利用下面描述的运动特性的3D UI效果可以通过个人电子设备的硬件和/或软件来直接实现，使得该技术可容易应用至许多个人电子设备，如移动电话、个人数字助理（PDA）、便携式音乐播放器、电视机、游戏控制台、便携式游戏设备、以及膝上型、台式和平板计算机。
附图说明
图1例示了示例性现有技术的个人电子设备。
图2例示了在21/2D操作***环境模式中操作的个人电子设备可以采用的示例性3D UI技术。
图3例示了根据一个实施例的、呈现被虚拟光源照明的图形用户界面对象的虚拟3D描绘的个人电子设备。
图4例示了根据一个实施例的、呈现被典型环境光源照明的图形用户界面对象的虚拟3D描绘的个人电子设备。
图5例示了根据一个实施例的、用于个人电子设备的Frenet标架。
图6例示了根据一个实施例的、设备移动对呈现图形用户界面对象的虚拟3D描绘的个人电子设备的影响。
图7例示了根据一个实施例的、用户移动对呈现图形用户界面对象的虚拟3D描绘的个人电子设备的影响。
图8例示了根据一个实施例的、在个人电子设备的虚拟3D显示器内的凹状“便当盒”形状因子。
图9例示了根据一个实施例与个人电子设备的触摸屏的接触点，其中光线跟踪该接触点进入虚拟3D操作***环境中。
图10例示了根据一个实施例的、用于启用个人电子设备的显示器在虚拟3D操作***环境模式中操作的示例性姿势。
图11以流程图形式例示了在虚拟3D操作***环境模式中操作个人电子设备的处理的一个实施例。
图12以流程图形式例示了使个人电子设备在虚拟3D操作***环境模式中操作和在非虚拟3D操作***环境模式中操作之间来回切换的处理的一个实施例。
图13以流程图形式例示了将指示用户眼睛的方位的聚光灯投射到个人电子设备的虚拟3D操作***环境中的处理的一个实施例。
图14以流程图形式例示了基于在个人电子设备环境中检测到的环境光源和/或该设备的相对方位而在该设备的显示器上实现图形用户界面效果的处理的一个实施例。
图15例示了根据一个实施例的、个人电子设备的简化功能框图。
具体实施方式
本公开涉及这样的技术，该技术用于连续跟踪具有显示器的电子设备的移动，以及这种电子设备的用户的环境中的照明条件和这种电子设备的用户的移动——尤其是该设备的用户的眼睛的方位。利用用户眼睛的方位和针对该电子设备的显示器的连续3D参考系，可以创建该设备显示器上的对象的更逼真的虚拟3D描绘，并且与其交互。虽然本公开讨论了用于创建个人电子设备的显示器上的对象的更逼真虚拟3D描绘的新技术，但本领域普通技术人员应当认识到，所公开技术同样还可以应用至其它情境和应用。在此公开的技术可应用于许多具有方位传感器、接近传感器、和/或数字图像传感器的电子设备：如数字摄像机、数字录像机、移动电话、个人数字助理（PDA）、便携式音乐播放器、电视机、游戏控制台、便携式游戏设备、台式、膝上型和平板计算机、以及游戏控制器。诸如具有
Figure BDA00002949599400061
v7-A架构的
Figure BDA00002949599400062
A8的嵌入式处理器提供了可以被利用以执行所公开技术的通用且鲁棒的可编程控制设备（
Figure BDA00002949599400063
和
Figure BDA00002949599400064
是英国ARM有限公司的注册商标）。
为了清楚起见，在本说明书中未对实际实现的所有特征进行描述。当然清楚的是，在任何这种实际实现的开发中（就像在任何开发项目中一样），必须进行许多决定，以实现开发者的特定目标（例如，符合***和商业相关约束），并且这些目标对于不同实现是不同的。应当清楚的是，这种开发努力可能是复杂和耗时的，但对于受益于本公开的普通技术人员来说，仍然是一种常规任务。而且，本公开中使用的语言主要出于可读性和指导目的而选择，并且可能不被选择成描写或围绕发明主旨，因而必须根据权利要求来确定这样的发明主旨。本说明书中提到“一个实施例”或“实施例”意指，结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中，并且多次提到“一个实施例”或“实施例”不应被理解为必定全部指相同实施例。
下面，参照图1，示出了示例性现有技术的个人电子设备100。图1中的个人电子设备被描绘为移动电话，但这不是其中可以实现在此公开的技术的唯一设备类型。设备100被描绘为具有显示器102，其可以是能够显示图形对象和接收来自用户的触摸输入的电容式触摸屏界面。设备100还被描绘为具有正面摄像头112和接近传感器114，后者例如可以包括红外传感器。正面摄像头112除了用于定位用户眼睛凝视的方位和方向以外，还可以被用于定位设备100的用户，和估算用户距设备100的显示器102的距离，如下面还将说明的。接近传感器114可以是本领域已知和使用的许多公知接近传感器之一，并且其例如可以被用于没有任何物理接触地检测附近物体的存在。如本领域所已知的，接近传感器通常发射电磁或静电场，或者电磁辐射束。正面摄像头112和接近传感器114还可以被用于测量用户周围环境中的光水平，并且定位用户环境中的光源。如下所述，这种信息在进行图形用户界面的逼真虚拟3D描绘方面可能有用，其呈现为对位于“真实世界”中的光源“进行响应”。在图1中，显示器102被示出为正在显示几个图形用户界面对象，例如，图标104。图标104可以指示程序、文件或其它应用，如果该图标被用户选择，则设备能够执行该程序、文件或其它应用。在显示器102上还示出了对象跳板（springboard）110。在现有技术中，图标106已经被描绘为座落在跳板110的表面上，以向它们赋予处于3D操作***环境中的外观。可以将附加视觉提示添加至图标104/106，如光亮113和/或反射108，以进一步增强图标104/106的3D外观。在一些实施例中，这种增强型2D表示在这里可以被称为21/2D。
下面，参照图2，例示了根据一个实施例的、在21/2D操作***环境模式中操作的个人电子设备可以采用的示例性3D UI技术。在图2中，图标202被呈现在三个不同虚拟照明环境208a-c中。在每一个环境中，阴影层200在图标202下面被适当地重新定位，以创建虚拟光源204正在使图标202投影出逼真阴影的幻觉。例如，在虚拟照明环境208a中，虚拟光源204a位于图标202a正上方。因而，阴影层200放置在图标202a正下方，即，没有偏移。这用坐标206a指示，其表示虚拟照明环境208a中的阴影层200的左下角。假设坐标（x，y）已经被指配给坐标206a，以便于示出与在虚拟照明环境208a中的位置相比，阴影层200在虚拟照明环境208b和208c中的重新定位。
在虚拟照明环境208b中，虚拟光源204b已经位于图标202b上方并在其左侧。因而，阴影层200放置在图标202b下方并且稍向右偏移。偏移量s基于虚拟光源与图标之间的方位和距离来确定，从而在图标202b上创建逼真的照明效果。偏移s用坐标206b来指示，其表示虚拟照明环境208b中的阴影层200的左下角，并且具有假设坐标（x+s，y）。
在虚拟照明环境208c中，虚拟光源204c已经位于图标202c上方并在其右侧。因而，阴影层200放置在图标202c下方并且稍向左偏移。偏移量s基于虚拟光源与图标之间的方位和距离来确定，从而在图标202c上创建逼真的照明效果。偏移s用坐标206c来指示，其表示虚拟照明环境208c中的阴影层200的左下角，并且具有假设坐标（x-s，y）。
在采用在此公开的技术的个人电子设备所使用的虚拟照明环境中，虚拟光源204的位置例如可以由设备的操作***以编程方式来确定，由设备的用户手动选择，或者由该设备的操作***定位，以模拟在用户环境中检测到的环境光源的位置。即，如果明亮光源位于设备的用户正上方，则设备的操作***可以将虚拟光源放置在虚拟照明环境的正上方，以准确地模拟用户环境中的照明条件。而且，在虚拟照明环境中可以检测并且模拟多个光源，而且还可以准确地模拟这些被检测光源的强度。
21/2D操作***环境技术（例如，上面参照图2描述的技术）可以利用诸如苹果公司（Apple Inc.）的CORE
Figure BDA00002949599400081
框架的合适图形编程框架，以计算上相对便宜且灵活的方式来渲染（CORE
Figure BDA00002949599400082
是苹果公司的注册商标）。例如，阴影层200是单独图形层的示例，其可以简单地在虚拟照明环境中的希望位置处重新定位以创建虚拟光源已经移动的幻觉。在此描述的重新定位技术的一个优点是，每当设备的操作***确定由于例如设备的移动或用户环境中的照明条件变化而必须重新定位图形层时，包括图形层的像素不需要重新渲染。被称为“光亮图”的另一类型的图形层也可以被实现为单独图形层，并且可以在图标或其它图形用户界面对象上方重新定位，以创建不同虚拟照明场景的幻觉。同样，该技术的一个优点是，每当设备的操作***确定必须重新定位图形层时，光亮图下面的图标或其它图形用户界面对象内容不必重新渲染。
下面，参照图3，例示了根据一个实施例的、呈现被模拟（即，虚拟）光源304照明的图形用户界面对象106的虚拟3D描绘306的个人电子设备100。图3还示出了虚拟3D操作***环境300的侧视图。图1描绘的二维图标104/106已经用虚拟3D操作***环境300内的相同图标对象的虚拟3D表示105/107替换。如图3所示，图标对象仍座落在跳板110上。如图3中的轴320所示，X轴沿显示器102的宽度延伸并且进入页面中，Y轴沿显示器102的长度延伸，而Z轴从显示器102的表面垂直地延伸开。图1中的显示器102上描绘的另外的三列图标不可见，因为它们在图3中呈现的视图中沿X轴延伸进入了页面。还要明白的是，在一些实施例中，虚拟3D操作***环境300中的每一个图形用户界面对象都将描绘在设备100的显示器102上。为简单和清楚起见，该应用仅关注单个图形用户界面对象（图标107）的表示。
如3D图形领域所已知的，虚拟光源304可以由设备的处理器创建并且“放置”在虚拟3D操作***环境300中的不同点处，以便生成设备显示器102所显示的对象上的逼真阴影和光亮效果。如图3所示，光源304被放置在虚拟3D操作***环境300的顶部和中央，尽管这种布局不是严格必需的。虚线318指示从虚拟图形用户界面对象107至光源304的路径。稍后在结合在设备显示器102上渲染用户界面对象的逼真3D描绘来讨论光线跟踪的特定方面时，利用虚线318的路径将变得重要。
设备100的用户的眼睛在图3中用元素302表示。虚线308指示从用户的眼睛至设备100的正面摄像头112的路径。如上提到的，正面摄像头112可以被用于：估算虚线318的长度（即，用户的眼睛至设备的距离）；检测（并且潜在地识别）用户面部；测量用户瞳孔之间的当前距离；或者定位用户环境中的光源。另外，接近传感器114可以被用于进一步测量用户环境中的环境光水平。而且，用户环境中的光源还可以通过测量用户眼睛瞳孔的镜面反射来检测。
向量310表示从显示器102起向外垂直指向的次法向量。向量312表示从显示器102直接向用户眼睛302沿X轴的中心的位置延伸的向量。描绘了虚线314，以帮助例示用户眼睛302相对于显示器102在X轴方向上的方位。向量310与312之间的角度316可以被设备100用于确定用户很可能以其观看显示器102的角度。如图3所示，用户呈现为稍靠向次法向量310的左侧，即，稍微更靠近页面的“表面”而非更深地“进入”页面。图3中用户的当前方位也在图形用户界面对象306的描绘中反映出，对于图3所示用户的当前朝向和方位而言，图形用户界面对象306的少量左侧307在设备显示器102上可见。随着用户眼睛302相对于设备100的显示器102越来越向左移动，即，随着角度316增加，用户将能够看到图形用户界面对象306的越来越多的左侧307。理解应用这种技术所产生的3D效果的一种方式是，将手持式设备100的显示屏102想象为进入3D空间300的“窗口”。正如真实世界中的窗口，随着观察者越接近或越远离该窗口，或者以不同角度看进该窗口，观察者能够看见不同的对象、对象的不同角度等。为实现这些效果，可以利用一种被称为光线跟踪的技术。
光线跟踪（如本领域所已知的）涉及模拟光子从光源起移动至观察者正在观看的对象然后被反射至观察者眼睛的行进路径，不过顺序相反。因此，该处理有时也被称为“后向光线跟踪”。在光线跟踪处理的一个实施例中，对于显示器102中的每一个像素，光线304从观察者眼睛起延伸经过给定像素并且进入虚拟3D操作***环境300中。投射到虚拟3D环境中的光线所“贯穿”的任何虚拟3D对象然后都会显示在显示器102中的对应像素中。该处理导致在显示屏上创建视图，如果观察者通过窗口观察虚拟3D环境，则他或她将得到该视图。
一旦虚拟3D对象已经被投射到虚拟3D环境中的光线贯穿，就可以执行另一步骤。具体来说，第二光线318可以从虚拟3D对象起延伸至虚拟光源304的方位。如果另一对象在第二光线318延伸至光源304时被该第二光线318贯穿，则这是图形渲染引擎在该像素上放置阴影的提示。在图3的情况中，看起来光线318与图标对象105和109相交，这表明，如果用户要调节他或她的自身位置（或设备的方位）以使他或她能够看见图标对象107的顶表面，那么图标对象107的顶表面上将具有投射阴影。如果在被渲染像素与光源之间未检测到对象，则可以利用到光源的相对距离和光源强度来计算给定像素当显示在设备显示器102上时的亮度强度。利用这些技术可以产生环境的虚拟3D渲染，其准确描绘出如果虚拟3D对象实际处于真实世界设置中，照明将在这些虚拟3D对象上产生的效果。
上面参照图3描述的技术允许设备的GPU向该设备显示器上的至少一个图形用户界面对象的虚拟3D描绘应用适当的照明和透视变换，由此产生对于设备用户的更逼真且身临其境的虚拟3D体验。
下面，参照图4，例示了根据一个实施例的、呈现被典型环境光源400照明的图形用户界面对象107的虚拟3D描绘406的个人电子设备100。如同在上面参照图3描述的实施例中，光线跟踪技术可以被设备100的GPU采用，以便呈现虚拟3D操作***环境300的逼真虚拟3D描绘。然而，在图4中，用于虚拟3D操作***环境300的照明源不是由设备的操作***任意创建的虚拟光源；相反，虚拟3D操作***环境300被描绘为好像其正在被真实世界环境光源400所照明。因而，针对对象107的、从虚拟3D操作***环境回溯至环境光源400的光线用虚线408表示。可以利用设备100的正面摄像头112或接近传感器114来确定到最亮的真实世界环境光源400的距离（用虚线402表示）和该光源400的相对方位，以及该真实世界环境光源400的强度。一旦查明这种信息，GPU就可以根据3D图形领域中公知的照明和阴影技术来照明虚拟3D操作***环境300中的对象。
如图4所示，环境光源400稍靠向设备显示器102的右侧，即，沿X轴稍微更远地“进入”页面。图4中环境光源400的当前方位也在图形用户界面对象406的描绘中反映出，对于如图4所示的环境光源400的当前朝向和方位而言，在设备显示器102上在该对象406的左侧可见到少量阴影407。随着环境光源400相对于设备100的显示器102向右移动得越来越远，即，随着环境光源400沿着X轴越来越深地移动进入页面，在虚拟3D操作***环境300中的图形用户界面对象105/107的左侧将创建越来越多的阴影404。当然，如果设备100和/或用户被定位和朝向成使得图形用户界面对象的阴影侧从用户眼睛302的有利位置可见，则虚拟3D操作***环境中的图形用户界面对象上的阴影的这种变化同样也会反映在设备显示器102上的对象的渲染中。
除了使用这些技术以外，设备的操作***软件还可以通过分析正面摄像头的画面，来确定用户环境中的某些光源方位。具体来说，设备可以尝试定位正面摄像头的画面中的最亮区域。为了避免错误地将镜面反射（例如，一对眼镜片的反射）识别为光源，从正面摄像头接收的图像可以利用小半径来模糊（blur），如以3.0的标准差进行高斯模糊，因而降低小镜面反射的显著性。在一个实施例中，图像中最亮的5%（如果比预定亮度值更亮）可以被识别为光源并且通过阈值化该图像而被定位，该技术是图像处理领域中已知的。一旦阈值化，就可以计算该形状（即，阿尔法掩蔽）以及光源的形心（centroid）。可以将所计算的形心用于确定真实世界3D空间中光源的方位指向。而且，正面摄像头的图像的亮度阈值化版本可以被用于在虚拟3D操作***环境中的弧形对象的渲染上施加逼真反射。另外，如果在用户的环境中没有足够亮的环境光源，则该处理可以默认成利用虚拟光源，如上面图3所示。
对于在户外使用设备来说，还可以计算太阳的方位，作为用户环境中的真实世界光源。这可以利用格林尼治标准时间（GMT）、设备的GPS位置和罗盘方位，以及该设备在本地地理坐标***中的Frenet标架来进行。用于计算地球上已知点处的太阳相对位置的技术是公知的。一旦计算出来，就可以利用太阳的位置来生成用于虚拟3D操作***环境的、代表太阳的当前位置的虚拟光源。
下面，参照图5，例示了根据一个实施例的用于个人电子设备100的Frenet标架500。如上所述，在数学中，Frenet标架由在三维空间中沿连续可微曲线移动的质点的切向、法向、和次法向单位向量（其通常被称作T、N和B向量，如图5所示）来定义。T是指向运动方向的、与曲线相切的单位向量；N是T对曲线的弧长参数的导数除以其长度；而B是T和N的叉积。如图5所示，T与显示器的Y轴对准，N与显示器的X轴对准，而B垂直于显示器的平面。Frenet标架的T、N和B向量一起将显示器坐标***关联至真实世界的坐标***。
通过利用设备100中的各种方位传感器，如罗盘、微机电***（MEMS）加速度计、GPS模块、和MEMS陀螺仪，可以推断用于设备100的3D参考系。事实上，现在可以实时跟踪设备的Frenet标架，因而向该手持式设备提供连续3D参考系。一旦在用户眼睛的方位以外还知道了设备的连续参考系，就可以在设备显示器上创建对象的更逼真虚拟3D描绘，并且与其交互，如下参照图6进一步说明的。
下面，参照图6，例示了根据一个实施例的、设备移动600对呈现图形用户界面对象107的虚拟3D描绘606的个人电子设备100的影响。注意到，如图6朝向的设备100的Frenet标架608与如图5朝向的设备100的Frenet标架500非常不同。具体来说，设备100已经倾斜成使得用户的眼睛302稍向下看到虚拟3D操作***环境602。箭头600指示图5与图6之间设备100的方位差异。从沿着从用户的眼睛302起延伸穿过设备显示器102的平面并且进入虚拟3D操作***环境602中的路径的投影光线跟踪604可以看出，图形用户界面对象107的描绘607在设备显示器102上示出了图形用户界面对象107的少量顶表面607。这和图4所示的图形用户界面对象107的描绘406形成对比，在图4中，进入虚拟3D操作***环境300的“窗口”（即，该“窗口”是设备100的显示器102）与虚拟3D操作***环境中图标对象的垂直堆叠的朝向更加平行，因此，用户不能够看见图形用户界面对象107的顶表面。应用这些技术，变得清楚的是，用户将能够操纵设备的和/或他或她的眼睛的方位以便看见图形用户界面对象的侧表面或甚至图形用户界面对象的后面。
下面，参照图7，例示了根据一个实施例的、用户移动对呈现图形用户界面对象107的虚拟3D描绘700的个人电子设备100的影响。如同在图3中，虚线712指示从用户的眼睛至设备100的正面摄像头112的路径。如上提到，正面摄像头112可以被用于：估算虚线712的长度（即，用户的眼睛至设备的距离）；检测（并且潜在地识别）用户面部；测量当前用户瞳孔之间的距离；或者定位用户环境中的光源。向量706表示从显示器102起垂直向外指向的次法向量。向量708表示从显示器102直接向用户眼睛702沿X轴的中心的位置延伸的向量。描绘了虚线710，以帮助例示用户眼睛602相对于显示器102在X轴方向上的方位。向量706与向量708之间的角度704可以被设备100用于确定用户很可能以其观看显示器102的角度。如图7所示，用户呈现为稍靠向次法向量706的左侧，即，稍微更靠近页面的“表面”而非更深地“进入”页面。
与图3相比，图7中用户的眼睛702离设备100的显示器102远得多。这样，如果对图形用户界面对象107进行光线跟踪并将其投射（如虚线714表示）到显示器102上，那么与图3中的图形用户界面对象107的描绘206相比，图7中的图形用户界面对象107的描绘700位于显示器102上的较低位置。这与产生用户通过“窗口”看向虚拟3D操作***环境300中的效果一致。除了用户眼睛702的方位以外还持续监测设备100的方位可以有助于提供引人入胜且逼真的虚拟体验。然而，应注意到，单独（即，未结合用户的方位）监测设备的Frenet标架随时间的变化，往往向设备的操作***软件提供足以创建逼真3D UI效果的信息。通过假定相对于设备的典型用户方位，可以创建3D UI效果而不需要知道该用户的精确方位。例如，已经认识到，在人体工程学意义上，有少数方位对观看个人电子设备的显示器是有用的。较小设备通常被保持得更靠近用户眼睛，而较大设备通常被保持得更远离用户眼睛。另外，用户的凝视通常集中在设备显示表面上的中央。
下面，参照图8，例示了根据一个实施例的、在个人电子设备100的虚拟3D环境812内的凹状“便当盒”形状因子。随着用户四处移动设备100，显示器102上描绘的阴影814同样可以移动，因而增强用户感受到的3D效果。还可以采用各种其它3D效果，以增强用户感受到的3D效果。例如，如果虚拟3D环境812内的对象802有球面，则从该对象反射的光亮816也可以相应地变化。如果对象802是漫射的，则它们的阴影可以随着设备100的移动而变化。
个人电子设备100的虚拟3D环境812内的凹状“便当盒”形状因子也可以利用一组子盒800中的每一个内的个体界面对象802来构造。如图8所示，存在三个子盒800a/800b/800c。每一个子盒800都可以具有一组侧壁818，其形成凹状子盒800的边界。随着用户将设备100重新定向以“往内看”每一个子盒，用虚线804和虚线圈806示出的“聚光灯”可以加亮用户视野当前指向其中的子盒。在一些实施例中，有关用户是否正在看向特定子盒中的判定例如可以基于该子盒800的所有壁818都正面面对用户因而是可见的这一事实。
如图8所示，用户808a悬停在设备100上方，并且向下看进设备100的显示器102中，如视线810a所表示的，以及图形用户界面对象802/803/805/807的侧表面在当前渲染的显示器102上都不可见这一事实所表示的。对于用户808a，聚光灯效果804/806被应用至显示器102的子盒800a的区域中，并且用于加亮图形用户界面对象802和803的表示。在虚拟3D操作***环境中，可以将聚光灯806视为针对特定图形用户界面对象或区域（例如，图8中的子盒800a）的集中式虚拟光源。在图形技术中，所显示的对象颜色可以通过将光源的颜色和强度与显示对象的颜色相乘来计算。聚光灯可以被表示为光强度作为相对于中心光向量的距离或角位移的函数而下降的光源，该距离或角位移可以通过从光指向的位置减去光源方位来计算。该函数例如可以是具有指数下降特征的函数。
用户808b和808c表示用户可以尝试观看虚拟3D环境812的另选方位。从用户808b沿视线810b观看的角度，子盒800b的所有壁818都将正面面对用户808b，因而聚光灯效果804/806将被应用至显示器102的子盒800b的区域中，并且用于加亮图形用户界面对象805的表示。从用户808c沿视线810c观看的角度，子盒800c的所有壁818都将正面面对用户808c，因而聚光灯效果804/806将被应用至显示器102的子盒800c的区域中，并且用于加亮图形用户界面对象807的表示。应当明白，凹状“便当盒”形状因子的其它变型也落入本公开的教导的范围内，并且同样可以被实现成具有连续跟踪设备的3D参考系和用户眼睛的方位以便为用户创建更逼真的虚拟3D体验的优点。
下面参照图9，例示了根据一个实施例的与个人电子设备101的触摸屏显示器102的接触点902，其中光线跟踪904该接触点902进入到虚拟3D操作***环境300中。通过对从设备显示器102上的接触触摸点902的位置进入到虚拟3D操作***环境300中的路径进行光线跟踪（如上文参照图3所述），并且使虚拟3D环境906中的触摸点区域与其碰到的任何一个或多个对象相交，用户可以感受到他或她正在经由2D触摸屏界面与3D环境交互，从而提供更丰富且更逼真的用户体验。如图9所示，用户900在触摸屏显示器102上触摸的位置对应于虚拟3D环境300中的触摸点906，并且与图形用户界面对象107相交。从而，用户900触摸以创建接触点902可以导致向虚拟3D操作***环境300中的对象107应用运动或效果，其将使得虚拟3D操作***环境300中的对象107的表现类似于在设备按传统“2D”模式操作时该对象的表现。例如，在此公开的技术使得可以用更引人入胜且逼真的方式，在虚拟3D操作***环境300中模拟尺寸缩放、压下、切换、拖拽、推、拉、碰撞效果、和其它真实的物理表现形式。在模拟“压下”3D UI效果的情况中，例如，压下诸如按钮或图标107的图形用户界面对象，该效果可以响应于检测到用户手指900的位置902而实现。这可以实现是因为：一旦将用户手指900的触摸位置902置于虚拟3D环境300中（例如，在图9中用虚线圈906表示），就可以发现，该触摸位置与某一图形用户界面对象的平面（例如，图标107的前平面）相交，并且任何触摸移动都可以转换到该平面中，或者在该特定图形用户界面对象的可能的移动自由度的上下文中被解释。例如，某些对象可能仅能够被向内“压下”，而其它对象可以在许多方向上自由移动。
在另一实施例中，用户900的指尖的阴影或其它指示符902可以被显示在显示器102上所描绘的虚拟3D操作***环境300的2D渲染中的适当地方。关于用户900的指尖的方位的信息可以从由触摸屏或者由近场感测技术报告的接触信息来获得，这皆是本领域已知的。这样，设备100的用户实际上可以感觉到好像他或她正在“进入到”虚拟3D环境300中。利用近场感测技术，通过将手指与设备显示器的距离重新解释为手指与虚拟3D操作***环境中的相关图形用户界面对象的距离，“真实世界”中的手指方位可以被转换成虚拟3D操作***环境中的手指方位，即使该相关图形用户界面对象处于虚拟3D世界中并与显示器的“窗口”相距某一“距离”。例如，利用在此公开的技术，如果用户的手指被感测为与显示器102相距1厘米，则虚拟3D操作***环境中用户的触摸点的位置的相关指示（例如，图9中的虚线圈906）可以在相关图形用户界面对象的“前面”投射阴影或显示某一其它视觉指示符，从而向用户提供他们尚未与该相关图形用户界面对象交互的指示，但是，如果用户想要移动其手指以更靠近显示器的“窗口”（即，触摸表面显示器102），则他们可能能够与希望的图形用户界面对象交互。对用户希望的触摸位置的视觉指示符的使用（例如，“阴影偏移”）不仅仅是增强的3D UI效果。而是，因为关于设备的3D参考系的知识有助于更好地解决触摸屏视差问题，即，触摸点与所显示的预计触摸位置之间的重合不良，所以在此参照图9描述的技术还可以向设备的用户提供关于如果图形用户界面对象为“现实生活”对象那么他或她将会体验到什么样的交互的更好表示。
下面，参照图10，例示了根据一个实施例的、用于启用个人电子设备100的显示器102按虚拟3D操作***环境模式操作的示例性姿势1002。如上提到，持续地使用设备的GPU来渲染3D信息或进行光线跟踪在计算上昂贵并且可能导致电池耗尽。在一些实施例中，设备将默认按2D或21/2D模式操作。因此，可以使用姿势来“解冻”2D或21/2D显示以使其按3D模式操作。一种可能的“启用姿势”是所谓的“公主波”，即，设备绕其Y轴1000的波动旋转。例如，当在预定阈值时间量（例如，1秒）内出现沿一个轴1000调制的10-20度的多于三个波1002时，可以开启虚拟3D操作***环境模式。方位静止（例如，保持设备相对静止达至少预定阈值时间量（例如，2到3秒））可以是对设备100的一种潜在的提示，使其冻结回到2或21/2D操作***环境模式，并将对象的显示恢复至它们的传统2D表示的。这样，设备100不太可能在没有来自用户的明确控制和意图的情况下进入3D模式。还有可能的是，如果不理会设备达足够时间量，则设备将自动地返回至计算上更便宜的2D或21/2D模式。
在一个实施例中，当检测到用于启用个人电子设备的显示器102的适当启用姿势1002并且虚拟3D操作***环境模式开启时，设备显示器上的每一个图形用户界面对象可以“解冻”并进入对象的3D描绘，例如，与对象的2D描绘几乎相同但是具有阴影、光亮反射1012、和/或用于指示3D对象外观的纹理的描绘。例如，跳板110上的每一个图标1006（诸如图10中在设备100的显示器102上示出的）可以从图标的2D表示变换成3D“Lucite”立方体1004/1006，即，呈现为由透明塑料或玻璃状材料制成并且在它们的底部处具有图片的立方体（
Figure BDA00002949599400181
是LuciteInternational公司的注册商标）。当这些图标被解冻成3D模式时，图标立方体1004/1006底部处的图片可以适当地折射和变形，以提供视觉上很独特的印象。这些立方体还可以使它们的前表面稍微变为球面。这么做可以放大它们下面的图标，并且当显示器相对于用户的凝视重新定向时还可以捕捉从它们的表面反射的“光”。
下面，参照图11，按流程图形式例示了用于在虚拟3D操作***环境模式中操作个人电子设备的处理的一个实施例。首先，该处理在步骤1100开始。接下来，个人电子设备内的一个或多个处理器或其它可编程控制设备定义虚拟3D操作***环境（步骤1102）。接下来，处理器可以接收来自设置在手持式设备内的一个或多个方位传感器的数据（步骤1104)。处理器然后可以基于所接收的方位数据确定针对该设备的3D参考系（步骤1106）。接下来，处理器可以接收来自设置在手持式设备内的一个或多个光学传感器（例如、图像传感器、接近传感器、或摄像头）的数据（步骤1108）。处理器然后可以基于所接收的光学数据来确定设备用户的眼睛的方位（步骤1110）。在另一实施例中，可以省略步骤1110，并且用户的固定的假定方位可以被处理器使用。例如，已经认识到，在人体工程学意义上，有少数方位对观看个人电子设备的显示器是有用的。较小设备通常被保持得更靠近用户眼睛，而较大设备通常被保持得更远离用户眼睛。另外，用户的凝视通常集中在设备显示表面上的中央。最后，处理器则可以基于所确定的3D参考系和所确定的设备用户眼睛的方位，将虚拟3D操作***环境的可视表示投射（即，渲染）到设备的图形用户界面显示器上（步骤1112）。如上详细讨论的，这种处理可以有助于虚拟3D操作***环境在用户设备（例如，手持式个人电子设备（诸如移动电话））的显示器上的独特且更逼真的呈现。
下面，参照图12，按流程图形式例示了使个人电子设备在虚拟3D操作***环境模式中操作和在非虚拟3D操作***环境模式（例如，2D模式）中操作之间来回切换的处理的一个实施例。首先，该处理在步骤1200开始。接下来，个人电子设备内的一个或多个处理器或其它可编程控制设备可以在设备的图形用户界面显示器上显示操作***环境的2D表示（步骤1202）。接着，处理器检测其是否已经接收到在设备处的指示用户希望进入虚拟3D显示模式的姿势，例如，具有足够度数并且在足够短的时间量内的对设备的一轴正弦波调制（步骤1204）。如果其没有接收到这种姿势，则处理返回至步骤1202，并且继续显示操作***环境的2D表示。相反，如果处理器接收到了这种姿势，则处理进行至步骤1206，其向处理器指示执行图11中描述的处理，即，用于在虚拟3D操作***环境模式中操作个人电子设备的处理。当在虚拟3D操作***环境模式中操作时，处理器继续“侦听”该设备处的指示用户希望返回至2D显示模式的姿势，例如，静止（小于某一运动阈值达阈值时间量）（步骤1208）。如果其没有接收到这种姿势，则处理返回至步骤1206，并且根据图11中描述的处理继续显示操作***环境的虚拟3D表示。相反，如果处理器检测到其已经接收到指示用户希望返回至2D显示模式的这种姿势，则该处理返回至步骤1202，即，用于在2D显示模式中操作个人电子设备的处理。
下面，参照图13，按流程图形式例示了用于将指示用户眼睛方位的聚光灯投射到个人电子设备的虚拟3D操作***环境中的处理的一个实施例。首先，该处理在步骤1300开始。接下来，个人电子设备内的一个或多个处理器或其它可编程控制设备定义虚拟3D操作***环境（步骤1302）。接下来，处理器可以将虚拟3D操作***环境的视觉表示投射（即，渲染）到该设备的图形用户界面显示器上（步骤1304）。接下来，处理器可以接收来自设置在手持式设备内的一个或多个光学传感器（例如、图像传感器、接近传感器、或摄像头）的数据（步骤1306）。处理器然后可以基于所接收的光学数据来确定设备用户的眼睛的方位（步骤1308）。最后，处理器则可以基于所确定的设备用户眼睛的方位，将“聚光灯”的视觉表示投射（即，渲染）到虚拟3D操作***环境中（步骤1310），这时，该处理可以返回至步骤1306，在这里，随着用户的眼睛继续移动并聚焦在显示器的不同区域上，处理器可以接收来自设置在手持式设备内的所述一个或多个光学传感器的连续数据，以允许相应地使设备显示器更新。
下面，参照图14，按流程图形式例示了用于基于在个人电子设备环境中检测到的环境光源和/或该设备的相对方位而在该设备的显示器上实现图形用户界面效果的处理的一个实施例。首先，该处理在步骤1400开始。接下来，个人电子设备内的一个或多个处理器或其它可编程控制设备定义用于设备的虚拟“21/2D”操作***环境，即，操作***环境的增强型2D表示，其处理图标、工具栏、窗口等上的特定附加视觉提示（诸如阴影和/或反射），这些附加提示被用于进一步加强2D图标的“3D外观”。在一些实施例中，参照图14描述的技术也可以被应用至虚拟3D操作***环境（步骤1402）。接下来，处理器可以将虚拟21/2D操作***环境的视觉表示投射（即，渲染）到设备的图形用户界面显示器上（步骤1404）。接下来，处理器可以接收来自设置在手持式设备内的一个或多个光学传感器（例如、图像传感器、接近传感器、或摄像头）的数据（步骤1406）。处理器然后可以基于所接收的光学数据来确定一个或多个环境光源的方位（步骤1408）。接下来，处理器可以接收来自设置在手持式设备内的一个或多个方位传感器的数据（步骤1410)。处理器然后可以基于所接收的方位数据来确定针对该设备的3D参考系（步骤1412）。最后，处理器可以基于所确定的环境光源的方位和/或所确定的针对该设备的3D参考系，将UI效果（例如，光亮、阴影）应用至虚拟21/2D操作***环境中的对象（步骤1414）。如上参照图2讨论的，基于设备的方位和/或环境光源的位置，可以连续且动态地重新定位诸如阴影和光亮图等各种图形层而不需要重新渲染。而且，还可以对各种图形用户界面对象进行比例和方位调节，以使显示表现得比其已经表现的更加“像3D”。
下面，参照图15，示出了根据例示性实施例的典型个人电子设备1500的简化功能框图，例如，具有诸如正面摄像头112的摄像设备的移动电话。个人电子设备1500可以包括：处理器1516、存储设备1514、用户接口1518、显示器1520、编码器/解码器（CODEC）1502、总线1522、存储器1512、通信电路1510、扬声器或换能器1504、麦克风1506、方位传感器1524、接近传感器1526、以及具有关联摄像头硬件的图像传感器1508。处理器1516可以是任何合适的可编程控制设备，包括GPU，并且可以控制许多功能的操作，如上面讨论的3D用户界面效果，以及由个人电子设备1500执行的其它功能。处理器1516可以驱动显示器1520，并且可以接收来自用户接口1518的用户输入。在一些实施例中，设备1500可以具有用于执行不同处理任务的一个或多个处理器。
存储设备1514可以存储媒体（例如，照片和视频文件）、软件（例如，用于在设备1500上实现各种功能）、偏好信息（例如，媒体重放偏好）、个人信息、和任何其它合适数据。存储设备1514可以包括一种或多种存储介质，例如，包括：硬盘驱动器、诸如ROM的永久性存储器、诸如RAM的半永久性存储器、或高速缓存。
存储器1512可以包括可以被用于执行设备功能的一种或多种不同类型的存储器。例如，存储器1512可以包括：高速缓存、ROM、和/或RAM。总线1522可以提供数据传递路径，用于向至少存储设备1514、存储器1512以及处理器1516传递数据，传递来自它们的数据，或者在它们之间传递数据。可以包括CODEC1502，以将数字音频信号转换成用于驱动扬声器1504的模拟信号，以生成包括语音、音乐、和其它类似音频的声音。CODEC1502还可以将来自麦克风1506的音频输入转换成用于存储在存储器1512或存储设备1514中的数字音频信号。CODEC1502可以包括用于处理数字和/或模拟视频信号的视频CODEC。
用户接口1518可以允许用户与个人电子设备1500交互。例如，用户输入设备1518可以采取多种形式，如按钮、小键盘、拨号盘、点击轮、或触摸屏。通信电路1510可以包括用于无线通信（例如，短距离和/或长距离通信）的电路。例如，无线通信电路可以是允许根据802.11标准之一的无线通信的
Figure BDA00002949599400221
使能电路（是Wi-Fi Alliance的注册商标）。作为所提到的协议的替换或附加，还可以使用其它无线网络协议标准。其它网络标准可以包括：
Figure BDA00002949599400223
全球移动通信***（）、和基于码分多址（CDMA）的无线协议。（
Figure BDA00002949599400225
是Bluetooth SIG公司的注册商标，
Figure BDA00002949599400226
是GSMAssociation的注册商标）。通信电路1510还可以包括使得设备1500能够电耦接至另一设备（例如，计算机或附件设备）并与该另一设备通信的电路。
在一个实施例中，个人电子设备1500可以是能够处理和显示诸如音频和视频的媒体的个人电子设备。例如，个人电子设备1500可以是诸如媒体播放器的媒体设备，例如，移动电话、MP3播放器、游戏机、遥控器、便携式通信设备、远程命令界面、音频游览播放器、或其它合适的个人设备。个人电子设备1500可以用电池操作并且高度便携，以允许用户听音乐、玩游戏或播放视频、录制视频、流式播放视频、拍摄图片、与其它人通信、与虚拟操作***环境交互、和/或控制其它设备。另外，个人电子设备1500的尺寸可以被设计为使其相对容易适合放在用户的口袋或手中。由于是手持式的，个人计算设备1500可以相对较小，并且容易被其用户手持和使用，因而实际上可以被带到用户去到的任何地方。
如前讨论的，某些类型的个人电子设备1500（例如，个人媒体设备）的相对小的形状因子使得用户能够容易操纵设备的方位、朝向和移动。因此，个人电子设备1500可以有助于提供感测方位、朝向和移动的这种变化的改进技术，以使用户能够通过影响这种变化来与设备1500接口或控制设备1500。例如，方位传感器1524可以包括：罗盘、加速度计、陀螺仪、或GPS单元。而且，设备1500可以包括振动源，其在处理器1516的控制下例如有助于向与设备1500的操作有关的用户发送运动、振动和/或移动信息。个人电子设备1500可以包括图像传感器和关联的摄像头硬件1508，其使得设备1500能够连续地、周期性地、以选择的时间、和/或在选择的条件下，拍摄图像或一系列图像（即，视频）。个人电子设备1500还可以包括接近传感器1526，其使得设备1500能够表征和识别真实世界环境中在设备1500周围的光源，并且进行有关例如用户或用户手指是否很靠近设备1500的显示器1520的确定。
前述描述不是旨在限制或限定由申请人设想的发明构思的范围和可应用性。作为一个示例，尽管本公开关注的是针对虚拟操作***环境的3D用户界面效果；但应当清楚，本公开的教导可以被应用至其它上下文，例如：数字照相、数字录像、电视、视频游戏、生物识别、或监视。作为公开在此包含的发明构思的交换，申请人希望由所附权利要求提供的所有专利权。因此，所附权利要求包括落入权利要求范围内的、在最大可能程度上的所有修改和替换，或其等同。

Claims (43)

1.一种图形用户界面方法，包括：
接收来自设置在设备内的一个或多个方位传感器的方位数据；
至少部分地基于所接收的方位数据，确定针对该设备的3D参考系；
接收来自设置在设备内的一个或多个光学传感器的光学数据；
至少部分地基于所接收的光学数据，确定用户眼睛的方位；以及
在设备的显示器上生成至少一个图形用户界面对象的虚拟3D描绘，
其中，该至少一个图形用户界面对象被表示在虚拟3D操作***环境中，并且
其中，所述生成动作至少部分地基于所确定的3D参考系和用户眼睛的方位。
2.根据权利要求1所述的图形用户界面方法，其中，所述生成动作还包括：以从用户眼睛起经过设备的显示器进入虚拟3D操作***环境中的路径进行光线跟踪。
3.根据权利要求1所述的图形用户界面方法，其中，所述生成动作还包括：向设备的显示器上的所述至少一个图形用户界面对象的虚拟3D描绘应用适当的透视变换，其中，该变换至少部分地基于所确定的3D参考系和所确定的用户眼睛的方位。
4.根据权利要求1所述的图形用户界面方法，还包括接收来自设备的触摸屏界面的数据的动作，其中，从触摸屏界面接收的数据指示虚拟3D操作***环境中的、用户希望与其交互的一个或多个位置。
5.根据权利要求4所述的图形用户界面方法，还包括在设备的显示器上的一位置处显示视觉指示符的动作，其中，该视觉指示符的位置指示虚拟3D操作***环境中的、用户希望与其交互的位置。
6.根据权利要求5所述的图形用户界面方法，还包括针对视差问题校正设备的显示器上显示视觉指示符的位置的动作，其中，所校正的位置至少部分地基于所确定的针对该设备的3D参考系。
7.根据权利要求1所述的图形用户界面方法，还包括以下动作：响应于设备相对于用户方位的移动，调节在设备的显示器上生成的所述至少一个图形用户界面对象的虚拟3D描绘。
8.根据权利要求7所述的图形用户界面方法，其中，所述调节动作还包括：向设备的显示器上的所述至少一个图形用户界面对象的虚拟3D描绘应用适当的透视变换，其中，该变换至少部分地基于当前确定的针对该设备的3D参考系和当前确定的用户眼睛的方位。
9.根据权利要求1所述的图形用户界面方法，还包括以下动作：响应于设备的用户相对于设备方位的移动，调节在设备的显示器上生成的所述至少一个图形用户界面对象的虚拟3D描绘。
10.根据权利要求9所述的图形用户界面方法，其中，所述调节动作还包括：向设备的显示器上的所述至少一个图形用户界面对象的虚拟3D描绘应用适当的透视变换，其中，该变换至少部分地基于当前确定的针对该设备的3D参考系和当前确定的用户眼睛的方位。
11.根据权利要求1所述的图形用户界面方法，其中，所述生成动作还包括：生成用于虚拟3D操作***环境的虚拟光源。
12.根据权利要求11所述的图形用户界面方法，其中，所生成的用于虚拟3D操作***环境的虚拟光源包括位于用户环境中的环境光源的表示。
13.根据权利要求11所述的图形用户界面方法，其中，所生成的用于虚拟3D操作***环境的虚拟光源包括太阳的当前位置的表示。
14.一种图形用户界面，包括：
观看表面；
虚拟3D操作***环境；以及
一个或多个图形用户界面对象，
其中，所述一个或多个图形用户界面对象被表示在虚拟3D操作***环境中并且被描绘在观看表面上，并且
其中，所述一个或多个图形用户界面对象在观看表面上的描绘至少部分地根据所确定的该观看表面相对于该观看表面的用户的3D参考系和所确定的用户眼睛相对于该观看表面的位置来确定。
15.根据权利要求14所述的图形用户界面，其中，观看表面包括触摸屏界面。
16.根据权利要求15所述的图形用户界面，其中，从触摸屏界面接收的数据指示虚拟3D操作***环境中的、观看表面的用户希望与其交互的一个或多个位置。
17.根据权利要求16所述的图形用户界面，还包括观看表面上的一个或多个视觉指示符，其中，所述一个或多个视觉指示符指示虚拟3D操作***环境中的、观看表面的用户希望与其交互的一个或多个位置。
18.根据权利要求17所述的图形用户界面，其中，观看表面上的所述一个或多个视觉指示符针对视差问题被校正，其中，所校正的位置的确定至少部分地基于所确定的观看表面的3D参考系。
19.根据权利要求14所述的图形用户界面，其中，所述一个或多个图形用户界面对象在观看表面上的描绘包括：向所述一个或多个图形用户界面对象应用以下视觉效果中的一种或多种：阴影、光亮、模糊、和阿尔法掩蔽。
20.一种图形用户界面方法，包括：
接收来自设置在设备内的一个或多个方位传感器的方位数据；
至少部分地基于所接收的方位数据，确定针对该设备的3D参考系；
接收来自设置在设备内的一个或多个光学传感器的光学数据；
在设备的显示器上生成图形用户界面的描绘，其中，该图形用户界面包括至少一个图形用户界面对象；以及
向所述至少一个图形用户界面对象中的至少一个应用一种或多种视觉效果，
其中，所述一种或多种视觉效果至少部分地基于所确定的3D参考系和所接收的光学数据。
21.根据权利要求20所述的图形用户界面方法，其中，所接收的光学数据包括指示用户眼睛的方位的数据。
22.根据权利要求20所述的图形用户界面方法，其中，所接收的光学数据包括指示位于用户环境中的环境光源的方位的数据。
23.根据权利要求21所述的图形用户界面方法，其中，所述图形用户界面包括“便当盒”形状因子。
24.根据权利要求21所述的图形用户界面方法，其中，所应用的一种或多种视觉效果包括向所述图形用户界面对象中的至少一个图形用户界面对象应用的聚光灯效果。
25.根据权利要求24所述的图形用户界面方法，其中，所述图形用户界面对象中应用了聚光灯效果的至少一个图形用户界面对象是根据用户眼睛的方位来确定的。
26.根据权利要求20所述的图形用户界面方法，其中，所应用的一种或多种视觉效果包括以下的一种或多种：阴影、光亮、模糊、和阿尔法掩蔽。
27.根据权利要求20所述的图形用户界面方法，其中，所述生成动作还包括：模拟在所述至少一个图形用户界面对象之上照耀的光源的动作。
28.根据权利要求22所述的图形用户界面方法，其中，所述生成动作还包括：模拟在所述至少一个图形用户界面对象之上照耀的光源的动作，其中，所模拟的光源包括位于用户环境中的环境光源的表示。
29.根据权利要求27所述的图形用户界面方法，其中，所述模拟光源的动作还包括：相对于所述至少一个图形用户界面对象重新定位图形层。
30.根据权利要求29所述的图形用户界面方法，其中，所述图形层包括以下的至少一个：光亮图和阴影图。
31.一种方法，包括：
在设备的显示器上生成图形用户界面的2D描绘，其中，该图形用户界面包括至少一个图形用户界面对象；
接收来自设置在设备内的一个或多个方位传感器的方位数据；
至少部分地基于所接收的方位数据，确定针对该设备的3D参考系；
接收来自设置在设备内的一个或多个光学传感器的光学数据；
至少部分地基于所接收的光学数据，确定设备用户的眼睛的方位；
至少部分地基于所接收的方位数据来检测启用姿势；以及
响应于检测到启用姿势，在设备的显示器上生成图形用户界面的虚拟3D描绘，
其中，生成虚拟3D描绘的动作是基于所确定的3D参考系和所确定的用户眼睛的方位。
32.根据权利要求31所述的方法，还包括以下动作：
至少部分地基于所接收的方位数据来检测停用姿势；并且
响应于检测到停用姿势，生成图形用户界面的2D描绘。
33.根据权利要求31所述的方法，其中，启用姿势包括具有足够度数并且在预定阈值时间量内的对设备的一轴正弦波调制。
34.根据权利要求33所述的方法，其中，停用姿势包括设备的方位静止达至少预定阈值时间量。
35.根据权利要求31所述的方法，其中，生成图形用户界面的3D描绘的动作包括：将至少一个图形用户界面对象的2D描绘变换成该图形用户界面对象的3D描绘。
36.根据权利要求35所述的方法，其中，图形用户界面对象的3D描绘包括立方体。
37.根据权利要求36所述的方法，其中，该立方体具有至少一个球形表面。
38.一种设备，包括：
显示器；
一个或多个光学传感器；
一个或多个方位传感器；
存储器；和
一个或多个可编程控制装置，以通信方式耦接至所述显示器、光学传感器、方位传感器和存储器，
其中，该存储器包括指令，该指令用于使所述一个或多个可编程控制装置：
接收来自所述一个或多个方位传感器的方位数据；
至少部分地基于所接收的方位数据，确定针对该设备的3D参考系；
接收来自所述一个或多个光学传感器的光学数据；
至少部分地基于所接收的光学数据，确定设备用户的眼睛的方位；以及
在显示器上渲染至少一个图形用户界面对象的虚拟3D描绘，
其中，用于渲染的指令基于所确定的3D参考系和所确定的用户眼睛的方位。
39.根据权利要求38所述的设备，其中，所述一个或多个方位传感器包括以下的一个或多个：罗盘、加速度计、GPS模块、和陀螺仪。
40.根据权利要求38所述的设备，其中，所述一个或多个光学传感器包括以下的一个或多个：接近传感器、图像传感器、和摄像头。
41.根据权利要求38所述的设备，其中，所述一个或多个光学传感器包括正面摄像头。
42.根据权利要求41所述的设备，其中，用于确定设备用户的眼睛的方位的指令包括：用于执行以下动作中的一个或多个的指令：计算从用户的眼睛至设备的显示器的距离，检测用户的面部，计算用户瞳孔之间的距离，以及定位用户环境中的环境光源。
43.根据权利要求38所述的设备，其中，所述设备包括以下的一个或多个：移动电话、个人数字助理（PDA）、便携式音乐播放器、电视机、游戏控制台、便携式游戏设备、膝上型计算机、台式计算机、和平板计算机。
CN201180045611.2A 2010-08-04 2011-07-19 利用运动特性的显示器上三维用户界面效果 Active CN103119628B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/849,945 2010-08-04
US12/849,945 US8913056B2 (en) 2010-08-04 2010-08-04 Three dimensional user interface effects on a display by using properties of motion
PCT/US2011/044433 WO2012018513A1 (en) 2010-08-04 2011-07-19 Three dimensional user interface effects on a display by using properties of motion

Publications (2)

Publication Number Publication Date
CN103119628A true CN103119628A (zh) 2013-05-22
CN103119628B CN103119628B (zh) 2016-06-08

Family

ID=44531201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180045611.2A Active CN103119628B (zh) 2010-08-04 2011-07-19 利用运动特性的显示器上三维用户界面效果

Country Status (7)

Country Link
US (2) US8913056B2 (zh)
EP (1) EP2601640B1 (zh)
JP (2) JP5524417B2 (zh)
KR (1) KR101823182B1 (zh)
CN (1) CN103119628B (zh)
TW (1) TWI470534B (zh)
WO (1) WO2012018513A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349155A (zh) * 2014-11-25 2015-02-11 深圳超多维光电子有限公司 模拟立体图像显示方法及显示设备
CN105531645A (zh) * 2013-07-12 2016-04-27 脸谱公司 抓握检测的校准
CN106030484A (zh) * 2014-02-27 2016-10-12 三星电子株式会社 显示三维图形用户界面屏幕的方法和设备
WO2017107171A1 (zh) * 2015-12-25 2017-06-29 华为技术有限公司 一种人机交互方法及电子设备
CN107181939A (zh) * 2017-05-10 2017-09-19 廖治文 基于摄像头的裸眼三维成像方法及***
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN108536289A (zh) * 2018-03-28 2018-09-14 北京凌宇智控科技有限公司 一种虚拟环境的场景切换方法及***
CN109343708A (zh) * 2013-06-13 2019-02-15 原相科技股份有限公司 具有手势感测器的装置
CN110268806A (zh) * 2017-02-16 2019-09-20 昕诺飞控股有限公司 用于经由照明设备来指示虚拟对象的存在的控制器和其方法
CN112651288A (zh) * 2014-06-14 2021-04-13 奇跃公司 用于产生虚拟和增强现实的方法和***
CN114584652A (zh) * 2020-11-28 2022-06-03 华为技术有限公司 一种用户图形界面显示方法及其装置
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010108499A2 (en) * 2009-03-22 2010-09-30 Algreatly Cherif Atia 3d navigation method and system
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
KR101705119B1 (ko) * 2010-09-15 2017-02-10 삼성전자 주식회사 전자 기기에서 2차원 이미지로 3차원 화면을 구성하는 방법 및 그 전자 기기
JP6021812B2 (ja) * 2010-10-12 2016-11-09 ニューヨーク・ユニバーシティ タイルを利用してセンシングするための装置、一連のプレートを有するセンサ、マルチタッチ表面のためのオブジェクト識別及び方法
JP5781080B2 (ja) * 2010-10-20 2015-09-16 三菱電機株式会社 ３次元立体表示装置および３次元立体表示処理装置
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
JP5742187B2 (ja) * 2010-11-26 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120242664A1 (en) * 2011-03-25 2012-09-27 Microsoft Corporation Accelerometer-based lighting and effects for mobile devices
JP5874192B2 (ja) * 2011-04-11 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
KR101789624B1 (ko) * 2011-06-20 2017-10-25 엘지전자 주식회사 휴대 단말기 및 그 제어방법
ITTO20110654A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Generatore di segnale test, segnale test per apparecchi
KR101830966B1 (ko) * 2011-09-21 2018-02-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 생성 방법
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
KR101322465B1 (ko) 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
US20130318458A1 (en) * 2011-11-21 2013-11-28 Kenton M. Lyons Modifying Chrome Based on Ambient Conditions
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US9324184B2 (en) * 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
EP2798440A4 (en) * 2011-12-27 2015-12-09 Intel Corp FULL 3D INTERACTION ON MOBILE DEVICES
KR102059969B1 (ko) * 2012-01-11 2020-02-11 울트라-디 코퍼라티에프 유.에이. 모바일 디스플레이 디바이스
US9378581B2 (en) * 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
US8630458B2 (en) 2012-03-21 2014-01-14 Google Inc. Using camera input to determine axis of rotation and navigation
US8937591B2 (en) 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
CN102662473B (zh) * 2012-04-16 2016-08-24 维沃移动通信有限公司 基于眼部动作识别来实现人机信息交互的装置及方法
US11073959B2 (en) * 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
US9456244B2 (en) 2012-06-25 2016-09-27 Intel Corporation Facilitation of concurrent consumption of media content by multiple users using superimposed animation
US9339726B2 (en) * 2012-06-29 2016-05-17 Nokia Technologies Oy Method and apparatus for modifying the presentation of information based on the visual complexity of environment information
US8922557B2 (en) 2012-06-29 2014-12-30 Embarcadero Technologies, Inc. Creating a three dimensional user interface
TWI509289B (zh) * 2012-08-27 2015-11-21 Innocom Tech Shenzhen Co Ltd 立體顯示裝置及其影像顯示方法
US9106721B2 (en) 2012-10-02 2015-08-11 Nextbit Systems Application state synchronization across multiple devices
US9654556B2 (en) 2012-10-02 2017-05-16 Razer (Asia-Pacific) Pte. Ltd. Managing applications on an electronic device
US9747000B2 (en) 2012-10-02 2017-08-29 Razer (Asia-Pacific) Pte. Ltd. Launching applications on an electronic device
US9717985B2 (en) 2012-10-02 2017-08-01 Razer (Asia-Pacific) Pte. Ltd. Fragment-based mobile device application streaming utilizing crowd-sourcing
US9430991B2 (en) * 2012-10-02 2016-08-30 Futurewei Technologies, Inc. User interface display composition with device sensor/state based graphical effects
US9776078B2 (en) 2012-10-02 2017-10-03 Razer (Asia-Pacific) Pte. Ltd. Application state backup and restoration across multiple devices
US8698835B1 (en) * 2012-10-16 2014-04-15 Google Inc. Mobile device user interface having enhanced visual characteristics
US9417666B2 (en) 2012-10-19 2016-08-16 Microsoft Technology Licesning, LLC User and device movement based display compensation
US9058053B2 (en) 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
CN102957931A (zh) * 2012-11-02 2013-03-06 京东方科技集团股份有限公司 一种3d显示的控制方法和装置、及视频眼镜
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9197760B2 (en) * 2013-01-07 2015-11-24 Lenovo (Singapore) Pte. Ltd. Hand activated mode setting
US9324166B2 (en) * 2013-01-31 2016-04-26 American Greetings Corporation Systems, methods, and apparatuses for creating digital glitter
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
USD733739S1 (en) * 2013-03-14 2015-07-07 Microsoft Corporation Display screen with graphical user interface
USD745876S1 (en) * 2013-03-14 2015-12-22 Microsoft Corporation Display screen with graphical user interface
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US10120540B2 (en) * 2013-03-14 2018-11-06 Samsung Electronics Co., Ltd. Visual feedback for user interface navigation on television system
USD735232S1 (en) * 2013-03-14 2015-07-28 Microsoft Corporation Display screen with graphical user interface
US9798461B2 (en) 2013-03-15 2017-10-24 Samsung Electronics Co., Ltd. Electronic system with three dimensional user interface and method of operation thereof
US20140267006A1 (en) * 2013-03-15 2014-09-18 Giuseppe Raffa Automatic device display orientation detection
US9389728B2 (en) * 2013-03-15 2016-07-12 Elwha Llc Systems and methods for parallax compensation
US9395902B2 (en) * 2013-03-15 2016-07-19 Elwha Llc Systems and methods for parallax compensation
US10123189B2 (en) 2013-03-21 2018-11-06 Razer (Asia-Pacific) Pte. Ltd. Electronic device system restoration by tapping mechanism
US10019130B2 (en) 2013-04-21 2018-07-10 Zspace, Inc. Zero parallax drawing within a three dimensional display
KR101474552B1 (ko) * 2013-04-24 2014-12-22 주식회사 실리콘아츠 컴퓨터 실행 가능한 3차원 콘텐츠 디스플레이 방법, 이를 수행하는 3차원 콘텐츠 디스플레이 장치 및 이를 저장하는 기록매체
USD741353S1 (en) * 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
US9857876B2 (en) * 2013-07-22 2018-01-02 Leap Motion, Inc. Non-linear motion capture using Frenet-Serret frames
US10592064B2 (en) * 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US10067634B2 (en) * 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
EP3047363B1 (en) * 2013-09-17 2019-11-06 Amazon Technologies, Inc. Approaches for three-dimensional object display
US9317175B1 (en) * 2013-09-24 2016-04-19 Amazon Technologies, Inc. Integration of an independent three-dimensional rendering engine
USD768162S1 (en) * 2013-09-30 2016-10-04 Nextbit Systems Inc. Display screen or portion thereof with graphical user interface
JP6584400B2 (ja) 2013-11-20 2019-10-02 シグニファイ ホールディング ビー ヴィ 光ベースポジショニング及びナビゲーションの方法及び装置
US10303324B2 (en) * 2014-02-10 2019-05-28 Samsung Electronics Co., Ltd. Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device
US9958963B2 (en) 2014-02-19 2018-05-01 American Greetings Corporation Systems, methods, and apparatuses for creating digital glitter with accelerometer
GB2523345B (en) 2014-02-20 2018-01-17 Samsung Electronics Co Ltd Detecting user viewing difficulty from facial parameters
WO2015130137A1 (en) * 2014-02-27 2015-09-03 Samsung Electronics Co., Ltd. Method and device for displaying three-dimensional graphical user interface screen
JP2015166890A (ja) 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
EP3130994A4 (en) * 2014-04-07 2018-01-03 Sony Corporation Display control device, display control method, and program
KR102224478B1 (ko) * 2014-04-15 2021-03-08 엘지전자 주식회사 터치 센서티브 플렉서블 디스플레이 디바이스 및 그 제어 방법
US10318016B2 (en) * 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
US9389703B1 (en) * 2014-06-23 2016-07-12 Amazon Technologies, Inc. Virtual screen bezel
TWI530864B (zh) * 2014-08-19 2016-04-21 宏碁股份有限公司 可攜式電子裝置以及使用者介面操作方法
US10620748B2 (en) * 2014-10-22 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for providing a touch-based user interface
US10039975B2 (en) 2015-01-13 2018-08-07 Disney Enterprises, Inc. Techniques for representing imaginary participants in an immersive play environment
US9855497B2 (en) 2015-01-20 2018-01-02 Disney Enterprises, Inc. Techniques for providing non-verbal speech recognition in an immersive playtime environment
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
US10265621B2 (en) 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US20160210383A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed
US20160210382A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Autonomous driving refined in virtual environments
WO2016126863A1 (en) * 2015-02-04 2016-08-11 Invensense, Inc Estimating heading misalignment between a device and a person using optical sensor
JP6756090B2 (ja) * 2015-06-17 2020-09-16 凸版印刷株式会社 画像処理装置、方法、及びプログラム
CN105141938B (zh) * 2015-08-18 2017-12-01 深圳先进技术研究院 视线定位装置
US9830708B1 (en) 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
US10318043B2 (en) * 2016-03-24 2019-06-11 Gm Global Technology Operations Llc. Dynamic adjustment of touch sensitive area in a display assembly
US10303341B2 (en) * 2016-05-25 2019-05-28 International Business Machines Corporation Modifying screen content based on gaze tracking and user distance from the screen
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
CN109313759B (zh) 2016-06-11 2022-04-26 苹果公司 用于交易的用户界面
KR102588518B1 (ko) * 2016-07-06 2023-10-13 삼성전자주식회사 전자 장치 및 이의 디스플레이 방법
US10225655B1 (en) * 2016-07-29 2019-03-05 Relay Cars LLC Stereo user interface elements placed in 3D space for virtual reality applications in head mounted displays
US10628661B2 (en) 2016-08-09 2020-04-21 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10217009B2 (en) * 2016-08-09 2019-02-26 Daon Holdings Limited Methods and systems for enhancing user liveness detection
US11115408B2 (en) 2016-08-09 2021-09-07 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10210380B2 (en) 2016-08-09 2019-02-19 Daon Holdings Limited Methods and systems for enhancing user liveness detection
CN107025035B (zh) * 2016-11-30 2020-02-14 阿里巴巴集团控股有限公司 控制移动终端屏幕显示的方法及移动终端
USD845336S1 (en) 2017-05-03 2019-04-09 Google Llc Display screen or portion thereof with graphical user interface
US11221744B2 (en) * 2017-05-16 2022-01-11 Apple Inc. User interfaces for peer-to-peer transfers
KR102243500B1 (ko) 2017-05-16 2021-04-22 애플 인크. 피어 투 피어 전송들을 위한 사용자 인터페이스들
US10699371B2 (en) * 2017-08-18 2020-06-30 Rockwell Collins, Inc. Systems and methods for reducing parallax in aircraft displays
US10783681B2 (en) 2017-09-13 2020-09-22 International Business Machines Corporation Artificially tiltable image display
CN107592521A (zh) * 2017-09-14 2018-01-16 陈乐春 基于人眼视觉特点的全景视野呈现方法
KR20240024294A (ko) 2018-06-03 2024-02-23 애플 인크. 트랜스퍼 계정들을 위한 사용자 인터페이스들
US11159731B2 (en) 2019-02-19 2021-10-26 Samsung Electronics Co., Ltd. System and method for AI enhanced shutter button user interface
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
KR20200126232A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 전자 장치 및 그 영상을 출력하는 방법
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
US11838684B2 (en) 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
US11315291B1 (en) * 2021-01-29 2022-04-26 International Business Machines Corporation Shine visualization
US11983702B2 (en) 2021-02-01 2024-05-14 Apple Inc. Displaying a representation of a card with a layered structure
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11784956B2 (en) 2021-09-20 2023-10-10 Apple Inc. Requests to add assets to an asset account
US20230400960A1 (en) * 2022-06-13 2023-12-14 Illuscio, Inc. Systems and Methods for Interacting with Three-Dimensional Graphical User Interface Elements to Control Computer Operation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233496A (zh) * 2005-06-29 2008-07-30 高通股份有限公司 用于3d用户界面程序的视觉调试***
TW200919294A (en) * 2007-10-24 2009-05-01 Inventec Corp 3D-window operation interface based on graphical user interface and method thereof
US20090179914A1 (en) * 2008-01-10 2009-07-16 Mikael Dahlke System and method for navigating a 3d graphical user interface
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
US20090313584A1 (en) * 2008-06-17 2009-12-17 Apple Inc. Systems and methods for adjusting a display based on the user's position
US20100188358A1 (en) * 2006-01-05 2010-07-29 Kenneth Kocienda User Interface Including Word Recommendations

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6344863B1 (en) 1999-11-24 2002-02-05 International Business Machines Corporation Three-dimensional GUI windows with variable-speed perspective movement
US6907579B2 (en) 2001-10-30 2005-06-14 Hewlett-Packard Development Company, L.P. User interface and method for interacting with a three-dimensional graphical environment
JP2004309947A (ja) * 2003-04-10 2004-11-04 Sharp Corp データ表示装置、データ表示プログラム、および、プログラム記録媒体
JP4000570B2 (ja) 2004-04-14 2007-10-31 ソニー株式会社 情報処理装置および方法
US20050243085A1 (en) 2004-05-03 2005-11-03 Microsoft Corporation Model 3D construction application program interface
CN100461212C (zh) * 2004-06-04 2009-02-11 松下电器产业株式会社 显示控制方法及装置以及便携设备
JP2006126445A (ja) * 2004-10-28 2006-05-18 Matsushita Electric Ind Co Ltd ナビゲーションシステム
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
JP2007080060A (ja) * 2005-09-15 2007-03-29 Matsushita Electric Ind Co Ltd 対象物特定装置
JP4977995B2 (ja) 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8745535B2 (en) 2007-06-08 2014-06-03 Apple Inc. Multi-dimensional desktop
US8423076B2 (en) * 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
US8681093B2 (en) * 2008-02-11 2014-03-25 Apple Inc. Motion compensation for screens
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US8477139B2 (en) 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
US20100115471A1 (en) 2008-11-04 2010-05-06 Apple Inc. Multidimensional widgets
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP2011203984A (ja) 2010-03-25 2011-10-13 Soka Univ ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP5769704B2 (ja) 2010-05-20 2015-08-26 レノボ・イノベーションズ・リミテッド（香港） 携帯型情報処理端末
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
EP2637078B1 (en) 2010-11-02 2020-04-08 NEC Corporation Information processing system and information processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233496A (zh) * 2005-06-29 2008-07-30 高通股份有限公司 用于3d用户界面程序的视觉调试***
US20100188358A1 (en) * 2006-01-05 2010-07-29 Kenneth Kocienda User Interface Including Word Recommendations
TW200919294A (en) * 2007-10-24 2009-05-01 Inventec Corp 3D-window operation interface based on graphical user interface and method thereof
US20090179914A1 (en) * 2008-01-10 2009-07-16 Mikael Dahlke System and method for navigating a 3d graphical user interface
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
US20090313584A1 (en) * 2008-06-17 2009-12-17 Apple Inc. Systems and methods for adjusting a display based on the user's position

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11740703B2 (en) 2013-05-31 2023-08-29 Pixart Imaging Inc. Apparatus having gesture sensor
CN109343708A (zh) * 2013-06-13 2019-02-15 原相科技股份有限公司 具有手势感测器的装置
US10742798B1 (en) 2013-07-12 2020-08-11 Facebook, Inc. Calibration of grab detection
CN105531645B (zh) * 2013-07-12 2017-07-14 脸谱公司 抓握检测的校准
CN105531645A (zh) * 2013-07-12 2016-04-27 脸谱公司 抓握检测的校准
US10582038B2 (en) 2013-07-12 2020-03-03 Facebook, Inc. Calibration of grab detection
CN106030484A (zh) * 2014-02-27 2016-10-12 三星电子株式会社 显示三维图形用户界面屏幕的方法和设备
CN112651288B (zh) * 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和***
CN112651288A (zh) * 2014-06-14 2021-04-13 奇跃公司 用于产生虚拟和增强现实的方法和***
US9961334B2 (en) 2014-11-25 2018-05-01 Superd Co. Ltd. Simulated 3D image display method and display device
CN104349155A (zh) * 2014-11-25 2015-02-11 深圳超多维光电子有限公司 模拟立体图像显示方法及显示设备
WO2017107171A1 (zh) * 2015-12-25 2017-06-29 华为技术有限公司 一种人机交互方法及电子设备
CN110268806A (zh) * 2017-02-16 2019-09-20 昕诺飞控股有限公司 用于经由照明设备来指示虚拟对象的存在的控制器和其方法
CN110268806B (zh) * 2017-02-16 2022-01-04 昕诺飞控股有限公司 用于经由照明设备来指示虚拟对象的存在的控制器和其方法
CN107181939A (zh) * 2017-05-10 2017-09-19 廖治文 基于摄像头的裸眼三维成像方法及***
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN108536289A (zh) * 2018-03-28 2018-09-14 北京凌宇智控科技有限公司 一种虚拟环境的场景切换方法及***
CN114584652A (zh) * 2020-11-28 2022-06-03 华为技术有限公司 一种用户图形界面显示方法及其装置
CN114584652B (zh) * 2020-11-28 2023-06-20 华为技术有限公司 一种用户图形界面显示方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
JP5524417B2 (ja) 2014-06-18
JP2014135086A (ja) 2014-07-24
JP5877219B2 (ja) 2016-03-02
EP2601640A1 (en) 2013-06-12
CN103119628B (zh) 2016-06-08
US20120036433A1 (en) 2012-02-09
JP2013537670A (ja) 2013-10-03
KR20140005141A (ko) 2014-01-14
US8913056B2 (en) 2014-12-16
US9417763B2 (en) 2016-08-16
TW201214266A (en) 2012-04-01
TWI470534B (zh) 2015-01-21
EP2601640B1 (en) 2017-03-01
WO2012018513A1 (en) 2012-02-09
KR101823182B1 (ko) 2018-01-29
US20150106768A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
CN103119628A (zh) 利用运动特性的显示器上三维用户界面效果
US9778815B2 (en) Three dimensional user interface effects on a display
Costanza et al. Mixed reality: A survey
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
TWI449953B (zh) 經由至少第一和第二裝置而可觀看之互動空間的產生方法、及用以共享可攜式裝置間之虛擬實境的可攜式裝置
CN103079661B (zh) 用于增强现实角色维持并体现观察者的认知的方法
CN106125921B (zh) 3d映射环境中的凝视检测
JP5525923B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US20120108305A1 (en) Data generation device, control method for a data generation device, and non-transitory information storage medium
Winkler et al. Pervasive information through constant personal projection: the ambient mobile pervasive display (AMP-D)
CN115768537A (zh) 使用定位追踪的交互式增强现实体验
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
CN110673810B (zh) 显示设备及其显示方法、装置、存储介质和处理器
Cheok et al. Combined wireless hardware and real-time computer vision interface for tangible mixed reality
KR20230073336A (ko) 가상 아이웨어 빔들을 사용한 증강 현실 게이밍
Paelke et al. Vision-based interaction-a first glance at playing MR games in the real-world around us
Loviscach Playing with all senses: Human–Computer interface devices for games
Budhiraja Interaction Techniques using Head Mounted Displays and Handheld Devices for Outdoor Augmented Reality
YAN Tangible user interfaces for augmented reality
CN118105689A (zh) 基于虚拟现实的游戏处理方法、装置、电子设备和存储介质
Schatz Integration physical media into human computer interaction
Laberge Visual tracking for human-computer interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant