CN113424142A - 用于提供增强现实用户界面的电子装置及其操作方法 - Google Patents

用于提供增强现实用户界面的电子装置及其操作方法 Download PDF

Info

Publication number
CN113424142A
CN113424142A CN202080013817.6A CN202080013817A CN113424142A CN 113424142 A CN113424142 A CN 113424142A CN 202080013817 A CN202080013817 A CN 202080013817A CN 113424142 A CN113424142 A CN 113424142A
Authority
CN
China
Prior art keywords
virtual object
screen
processor
electronic device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080013817.6A
Other languages
English (en)
Inventor
于永灿
裵婤允
李美荣
郑古吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113424142A publication Critical patent/CN113424142A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的各种实施例涉及一种用于提供用户界面的电子装置及其操作方法，该用户界面用于改变与虚拟现实对象的显示相关的显示模式。根据本公开的各种实施例的电子装置可以包括显示器、可操作地耦接到显示器的处理器、可操作地耦接到处理器的存储器。存储器可以存储有指令，该指令在被执行时使处理器控制电子装置：以第一显示模式显示至少一个虚拟对象，在所述第一显示模式中通过所述至少一个虚拟对象叠加到与至少一个真实对象相对应的真实对象图像上，所述至少一个虚拟对象被显示在屏幕的固定位置，而与用户的视点(POV)无关；接收用于改变所述至少一个虚拟对象的显示模式的第一输入；以及响应于接收到所述第一输入，以第二显示模式显示所述至少一个虚拟对象，其中，所述第二位置根据所述用户的POV而改变。

Description

用于提供增强现实用户界面的电子装置及其操作方法
技术领域
本公开涉及一种用于提供用户界面的电子装置及其操作方法，该用户界面用于改变与虚拟现实对象的显示相关的显示模式。
背景技术
诸如智能手机的便携式电子装置不仅为用户提供诸如通话、短信等的基本服务，而且还以各种方式(例如，虚拟现实(VR)方案、增强现实(AR)方案等)为用户提供各种类型的服务，诸如金融服务(例如，购买商品)、娱乐服务(例如，游戏)等。
此外，随着可穿戴技术的不断发展，头戴式显示器(HMD)类型电子装置逐渐普及。诸如HMD类型装置的可穿戴装置使用上述VR和AR方案为用户提供在现实中不容易遇到的惊人体验。
通过在将虚拟对象叠加地显示在与真实对象(例如，建筑物招牌、道路、行道树等)相对应的图像(在下文中称为真实对象图像)上，可以向使用能够在屏幕上显示虚拟对象图像的装置(例如，HMD装置)的用户提供虚拟对象。
当电子装置提供虚拟对象时，电子装置可以在屏幕的固定位置显示虚拟对象图像。例如，如果用户佩戴HMD装置并且骑自行车，则可以通过在真实对象图像上叠加虚拟对象来向用户提供指示当前运动速度、累计距离等的虚拟对象。然而，在这种情况下，由于在屏幕上显示的虚拟对象图像被显示在屏幕上的固定位置，而不管用户的头部运动如何，当与在屏幕上提供的虚拟对象进行交互时，用户可能会感到不便，这是因为需要进行不方便和复杂的操作而不是简单的操作(例如，头部运动)。
此外，当电子装置提供虚拟对象时，电子装置可以在屏幕的可变位置显示虚拟对象图像。然而，在这种情况下，在屏幕上显示的虚拟对象图像的位置根据用户的视点(POV)或观看区域的变化而变化。因此，在很多情况下，虚拟对象图像的显示位置会在无意中发生变化，从而导致信息的连续识别变得困难。
因此，需要一种方法，其中基于用户的输入来切换用于显示虚拟对象图像的显示模式以在切换的显示模式中提供虚拟对象。
发明内容
问题的解决方案
本公开的实施例提供了一种电子装置及其操作方法，该电子装置能够基于各种类型的用户输入来切换用于显示虚拟对象图像的显示模式并且能够在切换的显示模式中提供虚拟对象。
根据本公开的各种示例实施例的电子装置可以包括显示器、可操作地耦接到显示器的处理器、可操作地耦接到处理器的存储器。存储器可以存储指令，该指令在被执行时使处理器控制电子装置：以第一显示模式显示至少一个虚拟对象，在所述第一显示模式中通过所述至少一个虚拟对象叠加到与至少一个真实对象相对应的真实对象图像上，所述至少一个虚拟对象被显示在屏幕的固定位置，而与用户的视点(POV)无关；接收用于改变所述至少一个虚拟对象的显示模式的第一输入；以及响应于接收到所述第一输入，以第二显示模式显示所述至少一个虚拟对象，在所述第二显示模式下，所述第二位置根据所述用户的POV而改变。
根据本公开的各种示例实施例的运行电子装置的方法可以包括：以第一显示模式显示至少一个虚拟对象，在所述第一显示模式中通过所述至少一个虚拟对象叠加到与至少一个真实对象相对应的真实对象图像上，所述至少一个虚拟对象被显示在屏幕的固定位置，而与用户的POV无关；接收用于改变所述至少一个虚拟对象的显示模式的第一输入；以及响应于接收到所述第一输入，以第二显示模式显示所述至少一个虚拟对象，在所述第二显示模式下，屏幕显示位置根据所述用户的POV而改变。
附图说明
从以下结合附图的详细描述中，本公开的特定实施例的上述及其它方面、特征以及优点将更加显而易见，其中：
图1是示出了根据各种实施例的网络环境中的电子装置的框图；
图2A和图2B是示出了根据本公开的各种实施例的用户、电子装置和经由电子装置提供的虚拟对象之间的示例关系的图；
图3A和图3B是示出了根据本公开的各种实施例的示例第一显示模式的图；
图4A和图4B是示出了根据本公开的各种实施例的示例第二显示模式的图；
图5是示出了根据本公开的各种实施例的示例电子装置的框图；
图6是示出了根据本公开的各种实施例的用于基于用户输入改变显示模式的电子装置的示例操作的流程图；
图7A、图7B、图7C和图7D是示出了根据本公开的各种实施例的改变显示模式的示例的图；
图8A、图8B、图8C和图8D是示出了根据本公开的各种实施例的用于改变显示模式的第一用户输入的示例的图；
图9是示出了根据本公开的各种实施例的用于以第二显示模式显示至少一个虚拟对象的电子装置的示例操作的流程图；
图10是示出了根据本公开的各种实施例的用于显示至少一个虚拟对象的电子装置的示例操作的流程图；
图11是示出了根据本公开的各种实施例的一个第一屏幕和至少一个第二屏幕的示例的图；
图12是示出了根据本公开的各种实施例的用于基于针对选择虚拟对象的用户输入来执行与被选择的虚拟对象相对应的功能的电子装置的示例操作的流程图；
图13是示出了根据本公开的各种实施例的用于确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的流程图；
图14A、图14B、图14C和图14D是示出了根据本公开的各种实施例的用于基于用户的手势确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的图；
图15是示出了根据本公开的各种实施例的用于确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的流程图；
图16A、图16B、图16C和图16D是示出了根据本公开的各种实施例的用于基于用户的语音输入确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的图；
图17是示出了根据本公开的各种实施例的用于确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的流程图；
图18A、图18B和图18C是示出了根据本公开的各种实施例的用于基于用户的注视输入确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的图；
图19是示出了根据本公开的各种实施例的接收用于选择至少一个虚拟对象的第二用户输入的电子装置的示例操作的流程图；
图20A和图20B是示出了根据本公开的各种实施例的用于选择至少一个虚拟对象的示例第二用户输入的图；
图21A和图21B是示出了根据本公开的各种实施例的用于改变多个屏幕的显示位置的电子装置的示例操作的图；
图22A和图22B是示出了根据本公开的各种实施例的用于执行与被选择的虚拟对象相对应的功能的电子装置的示例操作的图；
图23A、图23B、图23C和图23D是示出了根据本公开的各种实施例的用于执行与被选择的虚拟对象相对应的功能的电子装置的示例操作的图；
图24A、图24B和图24C是示出了根据本公开的各种实施例的电子装置是移动便携式终端的示例的图；
图25是示出了根据本公开的各种实施例的用于将以第一显示模式先前显示的虚拟对象相关的数据进行组合并且通过将其转换成适合于空间的形式来存储数据的电子装置的示例操作的流程图；
图26A、图26B、图26C、图26D、图26E、图26F和图26G是示出了根据本公开的各种实施例的用于将以第一显示模式先前显示的虚拟对象相关的数据进行组合并且通过将其转换成适合于空间的形式来存储数据的电子装置的示例操作的图；
图27是示出了根据本公开的各种实施例的用于通过将至少一个虚拟对象映射到特定真实空间坐标来存储至少一个虚拟对象的电子装置的示例操作的流程图；
图28A、图28B和图28C是示出了根据本公开的各种实施例的用于通过将至少一个虚拟对象映射到特定真实空间坐标来存储至少一个虚拟对象的电子装置的示例操作的图；
图29A、图29B、图29C、图29D和图29E是示出了根据本公开的各种实施例的用于从第二显示模式返回到第一显示模式的示例用户输入的图；以及
图30是示出了根据本公开的各种实施例的用于基于用户输入改变显示模式的电子装置的示例操作的流程图。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据示例实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作***(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可以将声音转换成电信号，并且反之亦然。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据示例实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种示例实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。
对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。
如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。
如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，“非暂时性”存储介质是有形装置，并且不会包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
图2A和图2B是示出了根据本公开的各种实施例的用户、电子装置和经由电子装置提供的虚拟对象之间的示例关系的图。
参照图2A，公开了一种电子装置200。在实施例中，电子装置200可以对应于图1的电子装置101。例如，电子装置200可以是能够向用户提供与虚拟对象或虚拟环境相关的界面的便携式电子装置(例如，眼镜类型可穿戴设备、诸如智能手机的移动终端等)。然而，应当理解的是，本公开不限于此。
根据实施例，电子装置200可以在屏幕上显示图像或文本形式的虚拟对象。
例如，电子装置200可以使用光学透视方案，从而可以向用户提供叠加在真实对象图像上的虚拟对象图像。用户可见的真实对象图像与虚拟对象图像一起可根据用户的视点(POV)205而变化。
作为另一示例，电子装置200可以使用视频透视(see-through)方案，使得可以向用户提供叠加在真实对象图像上的虚拟对象图像。在这种情况下，可以通过电子装置200的相机(未示出，例如图5的相机模块560)获得真实对象图像，并且电子装置200可以在屏幕上显示真实对象图像。例如，电子装置200可以在屏幕上显示与存在于现实世界210中的真实对象相对应的真实对象图像。电子装置200的屏幕上显示的真实对象图像可以根据用户的POV 205而变化。
根据实施例，电子装置200可以显示与虚拟元素220或虚拟对象(不存在于现实世界中但被实现为好像它存在于现实世界中)相对应的虚拟对象图像。通过在屏幕上显示的虚拟元素或虚拟对象之间进行交互，用户可以获得在现实世界中不容易获得的独特体验。
参照图2B，下文将根据本公开的各种实施例描述视点(POV)和视场(FOV)之间的差异。
在实施例中，POV可以暗示与用户的视野或视野范围相对应的三维空间，并且FOV可以暗示电子装置200的屏幕或显示器(其向用户提供虚拟对象图像)上的二维区域图像。
在实施例中，可以根据用户的POV来确定FOV。例如，当用户的视野对应于第一POV260时，用户可以从与第一FOV 265识别在第一POV 260中包括的真实对象250(例如，与真实对象250对应的对象255可以被提供在FOV 265中)。又例如，如果用户的POV从第一POV 260改变为第二POV 270(例如，如果用户将用户的头转向左侧)，由于真实对象250不再包括在用户的POV中，用户无法从第二FOV 275识别真实对象250。
图3A和图3B是示出了根据本公开的各种实施例的示例第一显示模式的图。
在实施例中，第一显示模式可以是在屏幕的固定位置显示至少一个虚拟对象而不管用户的POV的显示模式。将参照图3A和图3B描述第一显示模式。图3A和图3B中的任一个可以是用于示出电子装置(未示出，例如图2的电子装置200)的屏幕或电子装置200的显示器(例如，图5的显示器520)上显示的画面(screen)的图。
参照图3A和图3B，电子装置200可以在第一显示模式中显示至少一个虚拟对象(例如，虚拟对象A 310)。第一显示模式可以是与用户的POV无关(独立)地确定显示至少一个虚拟对象的位置的显示模式。因此，即使用户的POV改变，在其上显示至少一个虚拟对象的屏幕上的位置也可能不会改变。当用户正看着前方的厨房时(图3A)，虚拟对象A 310可以显示在屏幕的第一位置320处。即使用户将用户的头部转向左侧(图3B)，虚拟对象A 310也可以持续地显示在屏幕的第一位置320处。
在实施例中，电子装置200可以显示与用户的视野相对应的虚拟对象(例如，光标330)。
在实施例中，当用户重复相同的动作时，第一显示模式可以是有效的，在某种意义上，信息可以在固定位置被持久地传送而无需针对虚拟对象的显示来反映用户的运动。
尽管未示出，但是当用户骑自行车时，电子装置200可以在第一显示模式中显示指示至少一个虚拟对象的至少一个对象(例如，锻炼路径、累积锻炼时间、累积锻炼距离、当前运动速度、平均运动速度等)。
根据实施例，由电子装置200以第一显示模式显示的虚拟对象可以是能够与用户交互的虚拟对象(或虚拟现实用户界面)。尽管未示出，但是电子装置200可以在固定位置(例如，屏幕的中心)显示包括用于执行多个应用的多个虚拟图标的虚拟现实用户界面。
在实施例中，第一显示模式可以被称为面向装置的显示模式或屏幕锚定的显示模式。
图4A和图4B是示出了根据本公开的各种实施例的示例第二显示模式的图。
在实施例中，第二显示模式可以是用于在屏幕上根据用户的POV而变化的位置处显示至少一个虚拟对象的显示模式。将参照图4A和图4B描述第二显示模式。图4A和图4B中的任一个可以是用于示出电子装置(未示出，例如图2的电子装置200)的屏幕或电子装置200的显示器(例如，图5的显示器520)上显示的画面的图。
参照图4A，电子装置200可以以第二显示模式显示至少一个虚拟对象(例如，虚拟对象B 420)。在第二显示模式中，可以将至少一个虚拟对象映射到真实空间(或真实空间上的特定真实对象)上的指定坐标。例如，参照图4A，用于提供TV节目信息的虚拟对象B 420可以被映射到真实对象TV 410所在的真实空间坐标(具有指定位置为原点的三维坐标，例如，(x1，y1，z1))。又例如，参照图4B，用于提供关于真实对象(例如，啤酒杯430)的特定信息的虚拟对象C 440可以被映射到啤酒杯430。在这种情况下，即使用户的POV没有改变，当啤酒杯430的位置改变时，虚拟对象C 440显示在屏幕上的位置也可能改变。
在实施例中，电子装置200可以根据用户的POV的改变来改变第二显示模式中的至少一个虚拟对象在屏幕上的显示位置。例如，如果映射到特定虚拟对象的真实空间上的坐标包括在用户的POV中，则电子装置200可以在屏幕上显示特定虚拟对象。在检测到导致用户POV改变的用户运动(例如，头部运动)时，可以改变特定虚拟对象的显示位置，或者可以改变是否显示特定虚拟对象。
在实施例中，电子装置200可以显示与用户的视野相对应的虚拟对象(例如，光标450)。
在实施例中，第二显示模式可以被称为面向空间的显示模式或空间锚定的显示模式。
图5是示出了根据本公开的各种实施例的示例电子装置的框图。
在实施例中，电子装置200可以包括处理器(例如，包括处理电路)510、显示器520、传感器模块530、通信接口(例如，包括通信电路)540、用户接口(例如，包括用户接口电路)550、以及存储器570。在实施例中，其中的一些组件(例如，相机模块(例如，包括相机)560)可以不包括在电子装置200中。
在实施例中，处理器510可以包括各种处理电路并且可以电耦接和/或可操作地耦接到显示器520、传感器模块530、通信接口540、用户接口550、相机模块560和存储器570。处理器510可以通过控制显示器520、传感器模块530、通信接口540、用户接口550、相机模块560和存储器570的操作来向电子装置200提供整体控制。处理器510可以处理从显示器520、传感器模块530、通信接口540、用户接口550、相机模块560和存储器570接收的数据或信息(例如，从传感器模块530接收的传感器信息)，并且可以基于处理的结果生成控制命令(或输出数据)。例如，处理器510可以响应于接收到用于改变至少一个对象的显示模式(例如，从第一显示模式改变到第二种显示模式)的第一用户输入，生成待经由用户接口550向显示器520输出的屏幕数据。
在实施例中，显示器520可以显示至少一个内容。显示器520上显示的内容可以包括真实对象图像和/或虚拟对象图像中的至少一种。
在实施例中，真实对象图像可以是通过相机模块560获得的图像，虚拟对象图像可以是处理器510生成的图像。显示器520可以在处理器510的控制下以指定模式显示至少一个内容。例如，显示器520可以以对象被显示在屏幕的固定位置处的第一显示模式显示至少一个虚拟对象。
在实施例中，传感器模块520可以包括能够以指定的时间间隔获得与电子装置(或用户)相关的传感器信息的至少一个传感器。传感器模块530可以对应于图1的传感器模块176。例如，传感器模块530可以包括以下至少之一：检测与用户的头部运动相关联的电子装置200的运动的第一传感器，检测用户的瞳孔运动的第二传感器，以及检测用户的运动或手势(例如，与触摸在屏幕上显示的至少一个虚拟对象的运动相关联的手势)的第三传感器。例如，传感器模块530中包括的传感器可以与以下至少之一相对应：运动传感器、相机传感器(例如，瞳孔跟踪相机、运动识别相机)、虹膜传感器、陀螺仪传感器和方向传感器。
在实施例中，通信接口540可以包括各种通信电路并且执行与外部装置(例如，图1的电子装置102)的数据通信。通信接口540可以对应于图1的通信模块190。
在实施例中，用户接口550可以包括各种用户接口电路并且是设置到电子装置200以接收用户输入的接口。例如，如果电子装置200在HMD装置中，则用户接口550可以包括与设置到电子装置200的表面的至少一个按钮相关的按钮界面。
在实施例中，相机模块560可以捕获真实对象图像。相机模块560可以对应于图1的相机模块180。
在实施例中，存储器570可以至少临时存储限定处理器510的操作的命令，或者至少临时存储在处理器510、显示器520、传感器模块530、通信接口或信息540、用户接口550和相机模块560中的至少一个中生成的数据。例如，存储器570可以存储关于至少一个虚拟对象的信息。例如，存储器570可以根据映射到至少一个虚拟对象的真实空间坐标来存储至少一个虚拟对象的标识信息。
图6是示出了根据本公开的各种实施例的用于基于用户输入改变显示模式的电子装置的示例操作的流程图。
在实施例中，图6中公开的操作可以由电子装置(例如，图2的电子装置200)或处理器(例如，图5的处理器510)来执行。在下文中，为了便于描述，将描述图6中公开的操作由处理器510执行，但本领域技术人员将理解，各种操作可在处理器510的控制下由电子装置200执行。
在实施例中，在操作610中，处理器510可以以第一显示模式显示至少一个虚拟对象，在第一显示模式中，无论用户的POV如何，该对象都被显示在屏幕的固定位置。
在实施例中，处理器510可以通过将对象叠加在与通过相机模块(例如，相机模块180)获得的至少一个真实对象相对应的真实对象图像上，以第一显示模式显示至少一个虚拟对象。
在另一实施例中，处理器510可以以第一显示模式显示投影到由半透明的镜或棱镜制成的光学组合器的至少一个虚拟对象。
参照图7A，处理器510可以在屏幕的固定位置(例如，第一区域720)处显示至少一个虚拟对象(例如，多个虚拟图标710)。参照图7B，即使用户将用户的头部向左转动以改变用户的POV，在第一区域720中显示的至少一个虚拟对象710也可以固定地显示在第一区域720中。
在实施例中，当在第一显示模式下显示虚拟对象时，由于在屏幕的固定位置方便地显示至少一个对象而不管用户的POV，可以识别要持续更新的信息，而不管用户的头部运动。然而，用户与虚拟对象进行交互可能不方便。例如，参照图7A，当用户打算与位于左上端的虚拟对象A 711进行交互(例如，选择)时，通常，用户将用户的头部转向左侧。然而，在这种情况下，由于用户的POV的改变，仅在看起来叠加在至少一个虚拟对象上的真实对象图像中存在改变，并且虚拟对象A 711的位置没有改变。因此，用户可能无法与期望的对象交互，或者可能仅能够通过更复杂的过程(例如，通过执行似乎触摸虚拟对象A 711的手势)与期望的对象交互。因此，当电子装置200响应于接收到用于改变至少一个虚拟对象的显示模式的用户输入而改变至少一个虚拟对象的显示模式时，用户可以通过更简单的过程(例如，头部运动或注视)与期望的对象交互。
在实施例中，至少一个虚拟对象可以对应于至少一个功能。例如，至少一个虚拟对象可以对应于至少一个功能，诸如执行安装在电子装置200中的应用或者提供(或输出)内容(例如，歌曲文件或通知信息)。
在实施例中，在操作620中，处理器510可以接收用于改变至少一个虚拟对象的显示模式的第一用户输入。在实施例中，处理器510可以接收各种类型的第一用户输入。例如，参照图8A，处理器510可以接收与用户接口550相关的第一用户输入(例如，用于按下被指定改变显示模式的功能的按钮的用户输入)。再例如，参照图8B，处理器510可以使用第三传感器来检测用户的运动或手势，以接收第一用户输入来执行预定动作(例如，似乎触摸(或抓住)屏幕上显示至少一个虚拟对象)。又例如，参照图8C，处理器510可以接收作为第一用户输入的包括预定语音关键字(例如，“通知(Notification)”)的语音输入。在这种情况下，可以在屏幕上显示通知810以指示正在接收用户的语音输入。又例如，参照图8D，处理器510可以接收作为第一用户输入的用于注视屏幕的指定部分(或指定区域，例如，屏幕的边缘部分)至少指定时间的注视输入。
在实施例中，在操作630中，处理器510可以在第二显示模式下显示至少一个虚拟对象，用于在根据用户的POV而变化的位置处显示对象。例如，参照图7C，处理器510可以在屏幕的指定位置(例如，第一区域720)处显示至少一个虚拟对象(例如，多个图标710)。参照图7D，如果用户将用户的头部向左转以改变用户的POV，则先前在第一区域720显示的至少一个虚拟对象可以被显示在屏幕的与第一区域720不同的第二区域730中。
在实施例中，处理器510可以在第二显示模式下显示与至少一个虚拟对象不同的至少一个虚拟对象。例如，处理器510可以在第二显示模式下显示在接收到第一用户输入时先前未在屏幕上显示的新虚拟对象。
图9是示出了根据本公开的各种实施例的用于使用电子装置以第二显示模式显示至少一个虚拟对象的示例操作的流程图。
图9的流程图例如可以是说明图6的操作630的详细流程图。
在实施例中，在操作910中，处理器510可以确定与至少一个虚拟对象对应的真实空间坐标。在实施例中，处理器510可以确定与在第一显示模式下显示在屏幕上的一个或更多个虚拟对象相对应的真实空间坐标。
例如，对于之前没有映射到特定真实空间坐标的虚拟对象，处理器510可以新生成对应的真实空间坐标。对于先前映射到特定真实空间坐标的虚拟对象，处理器510可以识别所映射的真实空间坐标。
在实施例中，处理器510可以通过使用与用户的位置或用户身体的一部分的位置(例如，用户眼睛的位置)、以及与其中在屏幕内显示至少一个虚拟对象的位置相对应的真实空间坐标，确定与至少一个虚拟对象相对应的真实空间坐标。例如，处理器510可以将与至少一个虚拟对象相对应的真实空间坐标确定为：通过以指定的比例(例如，5:5)将与用户位置相对应的真实空间坐标(x0，y0，z0)和与其中在屏幕内显示至少一个虚拟对象的位置相对应的真实空间坐标(x1，y1，z1)进行内除(internally dividing)获得的点的坐标((x0+x1)/2，(y0+y1)/2，(z0+z1)/2)。
在实施例中，当处理器510可以确定与至少一个虚拟对象对应的真实空间坐标时，可以参考接收到第一用户输入的时间。
在实施例中，在操作920中，处理器510可以将至少一个虚拟对象映射到所确定的真实空间坐标。例如，处理器510可以根据确定的真实空间坐标将与至少一个虚拟对象相对应的标识信息存储在存储器570中。
在实施例中，在操作930中，处理器510可以基于确定的真实空间坐标来显示至少一个虚拟对象。基于所确定的真实空间坐标，处理器510可以向显示器(例如，显示器520)显示至少一个虚拟对象。处理器510可以向显示器520显示位于所确定的真实空间坐标处的虚拟对象，就好像它是位于特定真实空间坐标处的真实对象(例如，位于特定纬度和经度处的建筑物)。例如，仅当所确定的真实空间坐标包括在用户的POV中时，至少一个虚拟对象才可以显示在显示器520上。例如，如果用户转身，则至少一个虚拟对象可能不再显示在显示器520上。又例如，当用户将用户的头部向左转时，可以通过在屏幕上进一步向右运动来显示至少一个虚拟对象。
图10是示出了根据本公开的各种实施例的用于显示至少一个虚拟对象的电子装置的示例操作的流程图。
图10的流程图例如可以是说明图9的操作930的详细流程图。
在实施例中，在操作1010中，处理器510可以在显示器520上显示第一屏幕。当在操作620中接收到第一用户输入时，第一屏幕可以包括先前以第一显示模式显示的至少一个虚拟对象。例如，参照图11，在接收到第一用户输入时，处理器510可以显示第一屏幕1110，其包括先前在第一显示模式下在显示器520上显示的所有虚拟对象。
在实施例中，处理器510可以以与通过将显示器520上显示的全屏幕1150的尺寸缩小指定比例而获得的尺寸相同的尺寸来显示第一屏幕1110。例如，如果在显示器520上显示的全屏幕的尺寸是第一尺寸，则处理器510可以以第二尺寸显示第一屏幕1110，第二尺寸与通过将第一尺寸缩小指定比例而获得的尺寸相同。
在实施例中，处理器510可以基于指定的真实空间坐标的范围在显示器520上显示第一屏幕1110。
例如，处理器510可以通过使用与第一屏幕1110中包括的至少一个虚拟对象对应的至少一个真实空间坐标，来确定与第一屏幕1110对应的真实空间坐标的范围，并且可以显示基于确定的真实空间坐标范围在显示器520上显示第一屏幕1110。
又例如，处理器510可以使用与用户身体部分的位置(例如，与用户的眼睛相对应的坐标)相对应的真实空间坐标、与屏幕的边缘或边界相对应的真实空间坐标、以及指定的比例，来确定与第一屏幕1110相对应的真实空间坐标的范围，并且可以基于确定的真实空间坐标范围在显示器520上显示第一屏幕1110。
在实施例中，处理器510可以在显示器520的指定部分显示第一屏幕1110。例如，处理器510可以在显示器520的中心显示第一屏幕。
在实施例中，在操作1020中，处理器510可以在第一屏幕1110附近显示一个或更多个第二屏幕1112、1114、1116和1118(在下文中可以称为1112至1118)的至少一部分。例如，参照图11，处理器510可以在第一屏幕1110的上侧、下侧、左侧和右侧显示四个第二屏幕1112、1114、1116和1118中的至少一部分。
在实施例中，类似于第一屏幕1110，处理器510可以基于指定的真实空间坐标范围在显示器520上显示第二屏幕1112至1118中的至少一个。处理器510可以使用以下中的至少一者确定与第二屏幕1112至1118中的至少一个第二屏幕相对应的真实空间坐标范围：与第一屏幕1110相对应的真实空间坐标范围、第一屏幕1110与第二屏幕1112至1118中的至少一个第二屏幕之间的位置关系、以及第一屏幕1110与第二屏幕1112至1118中的至少一个第二屏幕的间隔，并且处理器510可以基于确定的真实空间坐标范围在显示器520上显示第二屏幕1112至1118中的至少一个第二屏幕。
在实施例中，第二屏幕1112至1118中的至少一个第二屏幕的每一个均可以包括至少一个虚拟对象，并且该至少一个虚拟对象可以对应于至少一个功能。包括在一个第二屏幕(第二屏幕1112至1118中的任一个第二屏幕)中的至少一个虚拟对象可以共享相同(或相似)的属性、字符或显示形式。例如，在第一屏幕的上侧显示的第二屏幕1114中包括的至少一个虚拟对象可以包括与从当前时刻起在指定时间内生成的通知(或提供通知)相关的至少一个虚拟对象。又例如，在第一屏幕的下侧显示的第二屏幕1118中包括的至少一个虚拟对象可以包括用于执行在电子装置200中安装的至少一个应用的虚拟对象。又例如，在第一屏幕左侧显示的第二屏幕1116中包括的至少一个虚拟对象可以以微件(widget)形式显示。又例如，在第一屏幕右侧显示的第二屏幕1112中包括的至少一个虚拟对象可以包括与任务管理器相关的虚拟对象。
在实施例中，第二屏幕1112至1118中的至少一个的布置可以根据用户的配置而变化。例如，在第一屏幕右侧显示的第二屏幕1112中包括的至少一个虚拟对象可以包括与任务管理器无关而是与从当前时刻起在指定时间内生成的通知相关的至少一个虚拟对象。
用户可以根据图10的实施例扩展虚拟对象的搜索区域。响应于接收到用于改变显示模式的第一用户输入，电子装置200可以以如上所述的第二显示模式，显示至少一个虚拟对象(该至少一个虚拟对象以第一显示模式被显示在屏幕上)。由于第二显示模式是虚拟对象的显示位置根据用户POV的变化而变化的显示模式，当用户转动用户的头部(例如向左)时，虚拟对象的显示位置在屏幕内相对向右运动，如果超出屏幕右边界，则不再显示虚拟对象。如此，如果虚拟对象的显示位置或虚拟对象是否显示是随着用户POV的变化而变化的，则虚拟对象的搜索区域不仅限于屏幕内部，还可以扩展到屏幕的外部。这是因为用户可以通过简单地转动用户的头部来访问当前屏幕上未显示的虚拟对象，因为虚拟对象固定到映射的真实空间坐标而不是固定到屏幕内的坐标。
图12是示出了根据本公开的各种实施例的用于基于针对选择虚拟对象的用户输入来执行与被选择的虚拟对象相对应的功能的电子装置的示例操作的流程图。
图12中公开的操作可以例如在执行操作630之后执行。
在实施例中，在操作1210中，处理器510可以接收第二用户输入，该第二用户输入用于选择在屏幕上显示的至少一个虚拟对象中的任何一个。在实施例中，在屏幕上显示的至少一个虚拟对象可以是当第一用户输入被接收时以第一显示模式先前显示的虚拟对象，或者可以是当第一用户输入被接收时以第一模式先前未显示的虚拟对象。
在实施例中，类似于第一用户输入，用于选择在屏幕上显示的虚拟对象中的任一个虚拟对象的第二用户输入可以包括例如但不限于以下中的至少一者：与用户界面(例如，图5的用户接口550)相关的输入、与用户的运动或姿势相关的输入、包括预定语音关键词的语音输入、以及注视屏幕的指定部分(或任何一个虚拟对象)的注视输入。例如，处理器510可以接收注视屏幕上显示的虚拟对象中的任何一个虚拟对象至少指定时间的第二用户输入。
在实施例中，处理器510可以接收第二用户输入，该第二用户输入用于从当前时刻起在指定时间内选择先前显示在屏幕上的虚拟对象。例如，处理器510可以接收语音输入，该语音输入用于从当前时刻起在指定时间内选择先前显示在屏幕上的虚拟对象。
在实施例中，在操作1220中，处理器510可执行与所选择的虚拟对象相对应的功能。例如，在选择与执行应用A的功能相对应的虚拟对象时，处理器510可以执行应用A，并且可以在显示器520上显示应用A的执行屏幕。又例如，在选择与提供通知A的功能相对应的虚拟对象时，可以在显示器520上显示通知A的内容。
在实施例中，在操作1230中，处理器510可以以第一显示模式显示至少一个虚拟对象。例如，处理器510可以在执行与所选择的虚拟对象相对应的功能之后将显示模式从第二显示模式改变为第一显示模式。
尽管未示出，但是处理器510可以在执行与所选择的虚拟对象相对应的功能之后将显示模式维持为第二显示模式。
图13是示出了根据本公开的各种实施例的用于确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的流程图。
图13的流程图例如可以是说明图9的操作910的详细流程图。
当第一用户输入是用于执行预定动作的手势输入或与用户接口550相关的输入时，可以执行图13中公开的操作。例如，参照图14A，第一用户输入可以是用于执行预定动作(例如，抓取在屏幕上显示的至少一个虚拟对象的动作)的手势输入。
在实施例中，在操作1310中，处理器510可以基于用户的位置和用户的POV来确定与先前以第一显示模式显示在显示器520上的至少一个虚拟对象相对应的真实空间坐标。例如，如果用户位置对应的真实空间坐标为(x0，y0，z0)，与其中以第一显示模式先前在屏幕中显示虚拟对象A的位置相对应的真实空间坐标是(x1，y1，z1)，可以确定虚拟对象A对应的真实空间坐标为(xa，ya，za)。(xa，ya，za)可以是通过将(x0，y0，z0)和(x1，y1，z1)按指定比例内除而获得的点的坐标。
在实施例中，处理器510可以使用与所确定的至少一个虚拟对象相对应的真实空间坐标来确定与一个第一屏幕和至少一个第二屏幕相对应的真实空间坐标范围。处理器510可以利用确定的真实空间坐标范围以第二显示模式显示第一屏幕和第二屏幕。例如，参照图14B，处理器510可以以第二显示模式显示一个第一屏幕1410和四个第二屏幕1412、1414、1416和1418。例如，四个第二屏幕1412、1414、1416和1418中的每一个可以对应于与屏幕中包括的至少一个虚拟对象相关的指定属性、角色或指定显示形式。
在实施例中，在操作1320中，处理器510可以识别是否接收到用于改变显示位置的额外用户输入。用于改变显示位置的额外用户输入可以是与第一用户输入相同类型的用户输入，或者可以是与第一用户输入不同类型的用户输入。例如，参照图14C，如果第一用户输入是用于执行预定动作(例如，抓取屏幕上显示的至少一个虚拟对象的动作)的手势输入，则处理器510可以接收看起来像是向左运动第一屏幕1410的额外手势。又例如，如果第一用户输入是与用户接口550相关的输入(例如，用于按压在电子装置200的表面上设置的按钮的输入)，则处理器510还可以接收看起来像是向左运动第一屏幕1410的额外手势。
在实施例中，用于改变显示位置的额外用户输入可以是用于更新与第一屏幕1410和第二屏幕1412、1414、1416和1418对应的真实空间坐标的用户输入。
在实施例中，如果没有接收到用于改变第一屏幕1410和第二屏幕1412、1414、1416和1418的显示位置的用户输入，则过程可以进行到操作920。处理器510可以使用在操作1310中确定的真实空间坐标(例如，(xa，ya，za))来执行操作920。
在实施例中，在操作1330中，处理器510可以基于额外用户输入来更新至少一个虚拟对象的真实空间坐标。参照图14D，例如，在接收到看起来是将第一屏幕1410向左运动的额外用户输入时，与特定虚拟对象相对应的真实空间坐标可以从(xa，ya，za)更新为(xa-k，ya，za)，使得特定虚拟对象(或包括特定虚拟对象的第一屏幕1410)在用户视野内的左侧可见而不是前侧可见。因此，位于第一屏幕右侧的第二屏幕1412在用户视野内的前侧是可见的。尽管在此仅将x轴坐标减少了k，但这仅用于说明目的，并且对于本领域技术人员而言显而易见的是，根据坐标轴的配置可以通过一个或更多个坐标中的指定值。
在实施例中，可以根据额外用户输入的属性(例如，根据用户手势的方向)来确定要更新的真实空间坐标。例如，如果额外用户输入是看起来将第一屏幕1410向左运动的用户手势，则与特定虚拟对象相对应的真实空间坐标可以更新为(xa-k，ya，za)，并且如果额外用户输入是看起来将第一屏幕1410向右运动的用户手势，则与特定虚拟对象相对应的真实空间坐标可以更新为(xa+k，ya，za)。
在实施例中，在第一屏幕中包括的虚拟对象的真实空间坐标可以被更新，使得特定的第二屏幕被布置在显示器520的中部。例如，如果额外用户输入是看起来将第一屏幕向左运动的用户手势，则与在第一屏幕1410和第二屏幕1412至1418中的至少一个中包括的虚拟对象相对应的真实空间坐标可以被更新，使得在第一屏幕1410右侧布置的第二屏幕1412被布置在屏幕的中部。又例如，如果额外用户输入是看起来将第一屏幕1410向右运动的用户手势，则与在第一屏幕1410和第二屏幕1412至1418中的至少一个中包括的虚拟对象相对应的真实空间坐标为可以被更新，使得在第一屏幕1410左侧布置的第二屏幕1416被布置在屏幕的中部。
在实施例中，在第一屏幕中包括的虚拟对象的真实空间坐标可以被更新，使得通过放大或缩小其尺寸来布置第一屏幕1410。
例如，如果额外用户输入是看起来在用户方向上拉第一屏幕1410的用户手势，则处理器510可以更新与在第一屏幕1410中包括的虚拟对象相对应的真实空间坐标，使得通过放大其尺寸来显示第一屏幕1410(例如，处理器510可以将通过以指定比例内除与第一屏幕1410中包括的虚拟对象相对应的真实空间坐标(xa，ya，za)和与用户位置相对应的真实空间坐标(x1，y1，z1)所获得的点，确定为与虚拟对象相对应的新的真实空间坐标)。
又例如，如果额外用户输入是看起来在与用户方向相反的方向上推第一屏幕1410的用户手势，则处理器510可以更新与在第一屏幕中包括的虚拟对象相对应的真实空间坐标，从而通过减小其尺寸来显示第一屏幕1410(例如，处理器510可以确定通过将与在第一屏幕中包括的虚拟对象相对应的真实空间坐标(xa，ya，za)与其中以第一显示模式先前在屏幕中显示虚拟对象A的位置相对应的真实空间坐标(x1，y1，z1)进行内除所获得的点)。
在实施例中，处理器510可以进行到操作920。例如，处理器510可以使用虚拟对象的更新后的真实空间坐标来执行操作920。
图15是示出了根据本公开的各种实施例的用于确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的流程图。
图15的流程图例如可以是说明图9的操作910的详细流程图。
当第一用户输入是包括预定语音关键词的语音输入时，可以执行图15中公开的操作。参照图16A，第一用户输入可以是包括预定语音关键字“抓”(“Grab”)的语音输入。
在实施例中，在操作1510中，处理器510可以基于用户的位置和用户的POV来确定与先前以第一显示模式显示在显示器520上的至少一个虚拟对象相对应的真实空间坐标。例如，如果用户位置对应的真实空间坐标为(x0，y0，z0)，与其中以第一显示模式先前在屏幕中显示虚拟对象A的位置相对应的真实空间坐标是(x1，y1，z1)，可以确定虚拟对象A对应的真实空间坐标为(xa，ya，za)。(xa，ya，za)可以是通过将(x0，y0，z0)和(x1，y1，z1)按指定比例内除而获得的点的坐标。
在实施例中，处理器510可以使用与所确定的至少一个虚拟对象相对应的真实空间坐标来确定与一个第一屏幕和至少一个第二屏幕相对应的真实空间坐标范围。处理器510可以利用确定的真实空间坐标范围以第二显示模式显示第一屏幕和第二屏幕。例如，参照图16B，处理器510可以以第二显示模式显示一个第一屏幕1610和四个第二屏幕1612、1614、1616和1618。
在实施例中，在操作1520中，处理器510可以识别是否接收到额外语音输入。如果在指定时间接收到额外语音输入，则处理器510可以执行操作1530，如果没有接收到额外语音输入，则可以执行操作920。参照图16C，处理器510可以接收诸如“任务管理器”(“TaskManager”)之类的额外语音输入。
在实施例中，在操作1530中，处理器510可以识别额外语音输入的内容是否与显示位置的改变有关。例如，额外语音输入是否包括指示在第一屏幕1610右侧显示的第二屏幕1612的语音关键字“任务管理器”。又例如，如果额外语音输入包括指示方向的语音关键字(例如，向上、向下、向左、向右)，则处理器510可以确定额外语音输入的内容与显示位置的改变有关。如果额外语音输入的内容与显示位置的改变有关，则处理器510可执行操作1540，如果内容与显示位置的改变无关，则处理器510可执行操作920。例如，如果额外语音输入的内容与显示位置的改变无关，则处理器510可以使用在操作1510中确定的真实空间坐标来执行操作920。
在实施例中，在操作1540中，处理器510可以基于额外语音输入的内容来更新至少一个虚拟对象的真实空间坐标。
例如，在接收到包括指示在第一屏幕1610右侧显示的第二屏幕1612的语音关键字“任务管理器”的额外语音输入时，与特定虚拟对象相对应的真实空间坐标可以从(xa，ya，za)更新为(xa-k，ya，za)，使得特定虚拟对象(或包括特定虚拟对象的第一屏幕1610)在用户视野内的左侧可见而不是前侧可见。因此，参照图16D，位于第一屏幕1610右侧的第二屏幕1612在用户视野内的前侧是可见的。
图17是示出了根据本公开的各种实施例的用于确定与至少一个虚拟对象相对应的真实空间坐标的电子装置的示例操作的流程图。
图17的流程图例如可以是说明图9的操作910的详细流程图。
当第一用户输入是用于注视屏幕的指定部分(或指定区域)的注视输入时，可以执行图17中公开的操作。参照图18A，第一用户输入可以是用于注视屏幕的右边缘(或右边缘区域)达指定时间(例如，1.5秒)的注视输入。
在实施例中，在操作1710中，处理器510可以基于用户的位置和用户的POV来确定与先前以第一显示模式显示在显示器520上的至少一个虚拟对象相对应的真实空间坐标。例如，如果用户位置对应的真实空间坐标为(x0，y0，z0)，与其中以第一显示模式先前在屏幕中显示虚拟对象A的位置相对应的真实空间坐标是(x1，y1，z1)，可以确定虚拟对象A对应的真实空间坐标为(xa，ya，za)。(xa，ya，za)可以是通过将(x0，y0，z0)和(x1，y1，z1)按指定比例内除而获得的点的坐标。
在实施例中，在操作1720中，处理器510可以显示引导对象。参照图18B，处理器510可以显示引导对象1820，用于引导用户切换至少一个虚拟对象的显示模式，或者用于通知用户即将切换显示模式。处理器510可以基于第一显示模式和第二显示模式中的任何一者来显示引导对象。
在实施例中，在操作1730中，处理器510可以识别用户对边缘区域(或边缘)的注视是否被维持了至少设定时间。参照图18B，在显示引导对象1820之后，处理器510可以识别用户对与第一用户输入相关的右边缘区域1830的注视是否被维持了至少设定时间。
在实施例中，如果用户对边缘区域的注视没有维持至少设定时间(操作1730中的否)，则在操作1740中，处理器510可以识别是否选择了引导对象1820。例如，处理器510可以检测用于选择引导对象1820的用户手势，或者可以识别用户对引导对象1820的注视是否被维持了至少设定时间。
在实施例中，如果没有选择引导对象1820(操作1740中的“否”)，则处理器510可以进行到操作610。例如，如果用户改变显示模式的意图没有被双重确认，则至少一个虚拟对象的显示模式可以不改变为第二显示模式，而可以保持为第一显示模式。
根据实施例，如果选择了引导对象1820(操作1740中的是)，则处理器510可以进行到操作920。由于用户改变显示模式的意图被双重确认，所以处理器510可以基于在操作1710中确定的真实空间坐标来执行操作920。
在实施例中，如果用户对边缘区域的注视维持了至少设定时间(操作1730中的是)，则在操作1750中，处理器510可以基于边缘区域的位置来更新至少一个虚拟对象的真实空间坐标。例如，如果即使显示引导对象1820也持续维持用户对边缘区域的注视，则确定用户想要在正面看到当前未显示在显示器上的不同的屏幕(例如，图16的第二屏幕1612)，并且处理器510可以更新至少一个虚拟对象(或在当前未显示在显示器上的不同屏幕中包括的虚拟对象)的真实空间坐标。例如，如果用户对右边缘区域1830的注视维持了设定时间，则处理器510可以更新至少一个虚拟对象的真实空间坐标，使得至少一个虚拟对象(或包括至少一个虚拟对象的第一屏幕1810)在用户视野内的左侧而不是前侧被看到，并且位于屏幕1812、1814、1816、1818中的第一屏幕1810右侧的第二屏幕1812在用户视野内的正面。例如，处理器510可以通过从至少一个虚拟对象的真实空间坐标的x坐标减去特定值来更新至少一个虚拟对象的真实空间坐标(例如，将(xa，ya，za)更新为(xa-k，ya，za))。在更新至少一个虚拟对象的真实空间坐标之后，处理器510可执行操作920。处理器510可以使用更新后的真实空间坐标来执行操作920。
图19是示出了根据本公开的各种实施例的接收用于选择至少一个虚拟对象的第二用户输入的电子装置的示例操作的流程图。
图19的流程图例如可以是说明图12的操作1210的详细流程图。
图19中公开的操作可以在至少一个第二屏幕的至少一部分显示在第一屏幕上和第一屏幕附近的状态下执行。
在实施例中，在操作1910中，处理器510可以检测用户的头部运动。处理器510可以使用第一传感器的传感器信息来检测用户的头部运动(例如，运动程度或运动方向)，第一传感器检测与用户的头部运动相对应的电子装置200的运动。
在实施例中，在操作1920中，处理器510可以改变第一屏幕和至少一个第二屏幕的显示位置。处理器510可以基于检测到的用户头部运动来改变第一屏幕和至少一个第二屏幕的显示位置。例如，如果用户将头部向右运动至少指定值，则处理器510可以将位于屏幕中部的第一屏幕运动到屏幕的左侧(根据头部运动的程度，第一屏幕的至少一部分可以不显示在屏幕上)，并且可以将位于屏幕右侧的第二屏幕运动到屏幕中部。在操作1920中，可以不改变与第一屏幕和至少一个第二屏幕对应的真实空间坐标。例如，操作1920中显示位置的改变可以表示其中根据用户的头部运动在屏幕上显示与固定的真实空间坐标相对应的至少一个屏幕的位置的改变。
尽管未示出，但是在操作1920中，可以改变与第一屏幕和至少一个第二屏幕相对应的真实空间坐标。例如，如果用户将头部向左转动的运动程度(例如，旋转角度)大于或等于指定值和/或如果运动速度大于或等于指定值，可以改变第一屏幕和至少一个第二屏幕对应的真实空间坐标，使得位于第一屏幕左侧的第二屏幕位于屏幕中部。
在实施例中，在操作1930中，处理器510可以识别是否检测到第二用户输入以从在任何一个屏幕中包括的虚拟对象当中选择任何一个虚拟对象。例如，处理器510可以识别是否检测到用于注视任何一个虚拟对象至少指定时间的注视输入。处理器510可以使用用于检测用户瞳孔的运动的第二传感器(例如，瞳孔跟踪相机)的传感器信息，来检测用于注视任何一个虚拟对象至少指定时间的注视输入作为第二用户输入。在检测到用于注视任何一个虚拟对象至少指定时间的注视输入时，处理器510可以向虚拟对象提供图形效果。例如，参照图20A，处理器510可以在检测到注视虚拟对象A 2010少于或等于指定时间的注视输入时不提供额外的图形效果。参照图20B，在检测到用于注视虚拟对象B 2020至少指定时间的注视输入时，处理器510可以向包括虚拟对象B 2020的指定区域2025提供额外图形效果(例如，指定颜色的添加，或诸如阴影图案的高亮效果)。
在检测到用于选择任何一个虚拟对象的第二用户输入时，处理器510可执行操作1220。例如，处理器510可执行与所选择的虚拟对象相对应的功能。
在未检测到用于选择任何一个虚拟对象的第二用户输入时，处理器510可执行操作1940。例如，处理器510可以识别是否需要改变第一屏幕和至少一个第二屏幕的显示位置。在实施例中，处理器510可以识别是否需要改变第一屏幕和至少一个第二屏幕对应的真实空间坐标。
例如，在检测到用于注视屏幕的特定区域至少指定时间的用户输入时，如果屏幕的特定区域是与四个方向(上、下、左、右)相对应的四个边缘区域之一，并且如果在屏幕的特定区域中还存在另一个屏幕，则处理器510可以确定需要改变第一屏幕和至少一个第二屏幕的显示位置。
例如，在检测到注视屏幕的特定区域至少指定时间的用户输入时，如果虚拟对象不包括在屏幕的特定区域中并且如果虚拟对象位于指定的范围内距离屏幕的特定区域的距离，处理器510可以确定需要改变第一屏幕和至少一个第二屏幕的显示位置。
在实施例中，在操作1950中，处理器510可以改变第一屏幕和至少一个第二屏幕的显示位置。
例如，参照图21A，在检测到用于注视屏幕的特定区域至少指定时间的用户输入时，如果屏幕的特定区域是与右方向相对应的右边缘区域和不同的屏幕(例如，第二屏幕2112)还存在于右边缘区域的右侧，处理器510可以改变与第一屏幕2110和第二屏幕2112、2114、2116以及2118中的至少一个相对应的真实空间坐标，使得第二屏幕2112位于用户视野内的正面。
例如，参照图21B，可以改变与第一屏幕和至少一个第二屏幕相对应的真实空间坐标，使得第一屏幕和至少一个第二屏幕在向左方向(垂直于用户在真实空间上的视线方向)平行运动。处理器510可以基于改变后的真实空间坐标来改变第一屏幕和至少一个第二屏幕的显示位置。
又例如，在检测到注视屏幕的特定区域至少指定时间的用户输入时，如果虚拟对象不包括在屏幕的特定区域中并且如果虚拟对象A(未示出)位于距屏幕的特定区域指定距离内，处理器510可以改变与第一屏幕2110相对应的真实空间坐标，从而通过在用户视野内放大其尺寸来显示包括虚拟对象A的屏幕(例如，第一屏幕2110)。例如，可以改变真实空间坐标，使得第一屏幕2110在真实空间上沿用户方向(或沿与用户方向相反的方向)平行运动。在这种情况下，不仅与第一屏幕2110相对应的真实空间坐标并且与第二屏幕2112、2114、2116和2118中的至少一个相对应的真实空间坐标可以被改变。第一屏幕内的显示位置可以基于改变后的真实空间坐标而改变。
因此，处理器510可以通过改变与至少一个虚拟对象(或包括至少一个虚拟对象的屏幕)相对应的真实空间坐标来向用户提供仅用眼睛运动来运动虚拟对象的有趣体验。
在实施例中，处理器510可以在操作1950之后执行操作1910。在另一实施例中，处理器510可以在操作1950之后进行到操作1930。
图22A和图22B是示出了根据本公开的各种实施例的用于执行与被选择的虚拟对象相对应的功能的电子装置的示例操作的图。
参照图22A，一个第一屏幕2210和位于第一屏幕2210附近的四个第二屏幕2212、2214、2216和2218的一部分可以基于第二显示模式被显示在屏幕上。第一屏幕2210可以包括多个虚拟对象2205(例如，多个虚拟图标)。在实施例中，多个虚拟对象2205可以是在接收到第一用户输入时先前显示在屏幕上的虚拟对象。在另一实施例中，多个虚拟对象2205可以是在接收到第一用户输入时先前未显示在屏幕上的虚拟对象。
在实施例中，在第一屏幕2210中包括的多个虚拟对象2205可以对应于各自不同的功能。例如，在第一屏幕2210中包括的虚拟对象A 2202可以对应于兴趣点(POI)浏览功能。POI浏览功能可以是用于在当前位置(或与当前位置或用户的POV相关联的)的真实空间上识别(或搜索)兴趣点，并且用于在屏幕上显示虚拟对象(包括与在识别出的真实空间上的兴趣点相对应的信息)的功能。参照图22A，处理器510可以接收用于从多个对象2205中选择与POI浏览功能相对应的虚拟对象A 2202的用户手势。
在实施例中，可以识别当前位置(或与当前位置或用户的POV相关联)的真实空间上的兴趣点。参照图22B，处理器510可以在屏幕上显示虚拟对象(例如，虚拟对象B 2220)，该虚拟对象包括与在真实空间上识别的兴趣点相对应的信息(例如，商店的商业信息)。
在实施例中，在选择虚拟对象A 2202时，处理器510可以限制第一屏幕2210和四个第二屏幕2212、2214、2216和2218在屏幕上的显示，并且可以不同地显示所选择的虚拟对象A 2202和未选择的虚拟对象同时维持先前在第一屏幕2210中包括的多个虚拟对象2205的显示。
在实施例中，处理器510可以根据虚拟对象的属性使用不同的显示模式。例如，处理器510可以基于第一显示模式显示先前在第一屏幕2210中包括的多个虚拟对象2205。例如，即使用户的POV随着用户向前走而改变，也可以在屏幕的固定位置显示先前在第一屏幕2210中包括的多个虚拟对象2205。此外，处理器510可以基于第二显示模式显示虚拟对象(例如，虚拟对象B 2220)，其包括在真实空间上与所识别的兴趣点相对应的信息。例如，如果用户的POV随着用户向前走而改变，则处理器510可以不再在屏幕上显示先前在屏幕上显示的虚拟对象，或者可以在屏幕上重新显示先前未在屏幕上显示的虚拟对象。
在实施例中，处理器510可以接收用于选择虚拟对象的用户输入，该虚拟对象包括与在真实空间上识别的兴趣点相对应的信息(例如，商店的商业信息)。例如，在接收到注视与特定商店对应的虚拟对象至少指定时间的用户输入时，处理器510可以提供用户界面，该用户界面用于接收用户对特定商店的评论同时提供关于特定商店的详细信息。处理器510可以根据特定商店的位置信息存储接收到的用户评论。
图23A、图23B、图23C和图23D是示出了根据本公开的各种实施例的用于选择任何一个虚拟对象并执行与被选择的虚拟对象相对应的功能的电子装置的示例操作的图。
参照图23A，处理器510可以显示第一屏幕2310和四个第二屏幕2312、2314、2316、2318(在下文中可以被称为第二屏幕2312至2318)中的至少一部分。四个第二屏幕2312至2318中的至少一部分中的每一个可以包括指示虚拟对象(其被包括在相应屏幕中)的属性、字符和显示形式中的至少一者的信息(例如，文本信息)。四个第二屏幕可以对应于指定的真实空间坐标范围。
处理器510可以接收用于显示第二屏幕的用户输入。
在实施例中，处理器510可以接收与对应于第二屏幕的真实空间坐标的改变无关的用户输入，作为用于显示一个第二屏幕的用户输入。例如，处理器510可以接收用户的头部运动(例如，将用户的头部转向左侧的用户的运动)。
在另一实施例中，处理器510可以接收与对应于第二屏幕的真实空间坐标的改变有关的用户输入，作为用于显示一个第二屏幕的用户输入。例如，处理器510可以接收包括指定语音关键词“微件”的用户输入。处理器510可以改变第一屏幕2310和至少一个额外屏幕2312至2318的真实空间坐标，使得与指定语音关键词“微件”相对应的第二屏幕2316在用户视野内的正面可见。
在实施例中，处理器510可以接收用于从具有微件形式并被包括在第二屏幕2316中的多个虚拟对象中选择任何一个虚拟对象的用户输入。用于选择任何一个虚拟对象的用户输入可以是注视输入和手势输入中的任何一种。参照图23B，处理器510可以接收用于从具有微件形式并被包括在第二屏幕2316中的多个虚拟对象2320中选择虚拟对象A 2322的用户手势。
在实施例中，处理器510可以将所选择的虚拟对象A 2322映射到特定的真实对象。参照图23C，在维持用于选择虚拟对象A 2322的用户手势的同时，处理器510可以显示额外虚拟对象B 2325，用于引导特定真实对象映射到虚拟对象A 2322。
在实施例中，在释放用于选择虚拟对象A 2322的用户手势时，处理器510可以将虚拟对象A 2322映射到与用户手势的释放时间对应的真实对象。参照图24D，处理器510可以将虚拟对象A 2322映射到作为真实对象的窗口，并且可以显示映射到该窗口的虚拟对象A2330。
图24A、图24B和图24C是示出了根据本公开的各种实施例的电子装置是移动便携式终端的示例的图。
参照图24A、图24B和图24C，下面公开的实施例是针对电子装置200是移动便携式终端的情况。
参照图24A和图24B，处理器510可以通过将至少一个虚拟对象2410叠加在通过相机模块(未示出，例如，图6的相机模块560)获得的真实对象图像上，以第一显示模式显示至少一个虚拟对象2410。第一显示模式可以是在屏幕的固定位置显示至少一个虚拟对象而不管用户的POV的显示模式。参照图24A，至少一个虚拟对象2410可以显示在屏幕2405的第一区域2420中。参照图24B，即使当用户向上抬起电子装置200时显示在屏幕上的真实对象图像改变时，至少一个虚拟对象2410也可以固定地显示在第一区域2420中。
参照图24C，响应于接收到用于改变显示模式的第一用户输入，处理器510可以以第二显示模式显示先前以第一显示模式显示的至少一个虚拟对象2410。处理器510可以确定与至少一个虚拟对象2410相对应的真实空间坐标，并且可以基于确定的真实空间坐标以第二显示模式显示至少一个虚拟对象2410。在实施例中，处理器510可以显示包括至少一个虚拟对象的第一屏幕和位于第一屏幕附近的至少一个第二屏幕。在另一实施例中，处理器510可以显示引导对象，该引导对象用于表示存在包括至少一个虚拟对象和另一个屏幕(例如，第二屏幕)的第一屏幕。
参照图24C，处理器510可以基于电子装置200的运动来改变至少一个虚拟对象2410的显示位置。
例如，在检测到电子装置200向下运动的运动时，处理器510可以将至少一个虚拟对象2410的显示位置从第一区域2420改变到第二区域2430。在检测到电子装置200向下运动的运动时，处理器510可以新显示先前未显示的至少一个虚拟对象2440。
又例如，在检测到电子装置200向下运动的运动时，处理器510可以防止第一屏幕的至少一部分被显示在屏幕上，这是由于包括至少一个虚拟对象的第一屏幕的显示位置被移动了。处理器510可以新显示至少一个虚拟对象，其被包括在位于第一屏幕下方的第二屏幕中。
图25是示出了根据本公开的各种实施例的用于将以第一显示模式先前显示的虚拟对象相关的数据进行组合并且通过将其转换成适合于空间的形式来存储数据的电子装置的示例操作的流程图。
在实施例中，图25中公开的操作可以由电子装置(例如，图2的电子装置200)或处理器(例如，图5的处理器510)来执行。在下文中，为了便于描述，公开了图25中公开的操作由处理器510执行，但本领域技术人员将理解，各种操作可在处理器510的控制下由电子装置200执行。
在实施例中，在操作2510中，处理器510可以以第一显示模式显示至少一个虚拟对象，该虚拟对象将被显示在屏幕的固定位置而不管用户的POV。
例如，参照图26A和图26B，响应于接收到用于激活锻炼应用的用户输入，处理器510可以向用户提供锻炼信息(例如，累积锻炼时间、当前运动速度、卡路里消耗量、以及关于竞争者的信息(如果存在竞争者))，该锻炼信息是从锻炼应用以虚拟对象形式提供的。在以虚拟对象形式提供锻炼信息时，处理器510可以以第一显示模式显示至少一个虚拟对象。例如，处理器510可以在屏幕的指定区域中固定地显示虚拟对象A 2610(指示关于累积锻炼时间、累积锻炼距离和卡路里消耗的信息)和虚拟对象B2615(指示关于竞争者的信息)。
在实施例中，在操作2520中，处理器510可以接收第三用户输入，用于将与至少一个虚拟对象相关的信息存储为映射到特定真实空间坐标例如，与当前位置相对应的真实空间坐标或与位于从当前位置指定距离内的地标相对应的真实空间坐标)的一个虚拟对象。
在实施例中，第三用户输入可以是与第一用户输入或第二用户输入相同类型的用户输入。例如，第三用户输入可以是与以下相关的输入中的至少一种：用户界面(例如，图5的用户接口550)、用于执行预定动作的手势输入、包括预定语音关键词“存储在这里”(“store here”)的语音输入、以及注视屏幕的指定部分持续至少指定时间段的注视输入。例如，参照图26D和图26E，处理器510可以显示虚拟对象C 2620(用于将至少一个虚拟对象(或与诸如累积锻炼时间等的至少一个虚拟对象相关的信息)存储为映射到特定真实空间坐标的一个虚拟对象)，并且处理器510可以接收用于选择虚拟对象C 2620的用户手势。
在实施例中，在接收到第三用户输入之前，处理器510可以接收用于改变显示模式的用户输入(例如，第一用户输入)。例如，参照图26C和图26D，在接收到第一用户输入时，处理器510可以以第二显示模式来显示至少一个虚拟对象2620(和/或新生成的至少一个虚拟对象(例如，虚拟对象D 2640))。在实施例中，在将显示模式从第一显示模式改变为第二显示模式时，处理器510可以改变光标的形状。例如，参照图26C和图26D，处理器510可以将光标的形状从倒三角形改变为十字形。在基于第二显示模式显示至少一个虚拟对象时，处理器510可以基于用户的运动来改变至少一个虚拟对象的显示。例如，参照图26D和图26E，如果用户向前运动，则处理器510可以通过相对放大其尺寸来显示至少一个虚拟对象(例如，虚拟对象C 2620)。又例如，参照图26D和图26E，当用户向右运动时，处理器510可以通过在屏幕上相对向左运动至少一个虚拟对象(例如，虚拟对象C 2620)来显示该至少一个虚拟对象。在这种情况下，用户可以通过将虚拟对象(例如，虚拟对象C 2620)定位在光标2622处而无需移动光标2622来选择期望的虚拟对象。
在实施例中，在操作2530中，处理器510可以通过将与至少一个虚拟对象相关的信息映射到特定的真实空间坐标来存储该信息。例如，处理器510可以生成一个虚拟对象(其包括与至少一个虚拟对象相关的信息(例如，累积锻炼时间、累积锻炼距离、卡路里消耗、竞争者信息等))，并且可以通过将其映射到特定真实空间坐标来存储所生成的虚拟对象。
在实施例中，参照图26F，处理器510可以以第二显示模式显示映射到特定真实空间坐标的一个虚拟对象。处理器510可以以第二显示模式显示映射到特定真实空间坐标的一个虚拟对象，好像包括与真实空间上的兴趣点对应的信息的虚拟对象被显示一样。
根据实施例，如果电子装置200的位置在距特定真实空间坐标的指定距离内，则处理器510可以在屏幕上显示映射到特定真实空间坐标的一个虚拟对象。
例如，参照图26G，当至少一个虚拟对象以第一显示模式显示时(例如，当虚拟对象E 2650以第一显示模式显示时)，如果电子装置200的位置位于从特定真实空间坐标的指定距离内，则处理器510可以基于任一显示模式(例如，第一显示模式或第二显示模式)在屏幕上显示映射到特定真实空间坐标的一个虚拟对象2630。
又例如，当至少一个虚拟对象以第二显示模式显示时，如果电子装置200的位置位于从特定真实空间坐标的指定距离内，处理器510可以基于一个显示模式(即，第一显示模式或第二显示模式)在屏幕上显示映射到特定真实空间坐标的一个虚拟对象2630。
图27是示出了根据本公开的各种实施例的用于通过将至少一个虚拟对象映射到特定真实空间坐标来存储至少一个虚拟对象的电子装置的示例操作的流程图。
图27的流程图例如可以是说明图25的操作2520和操作2530的详细流程图。
在实施例中，在操作2710中，处理器510可以识别至少一个虚拟对象的信息。例如，参照图26B，处理器510可以识别以第一显示模式显示在屏幕上的所有虚拟对象的信息。
在实施例中，在操作2720中，处理器510可以基于信息分类标准来提取(或确定)虚拟对象的组合。在实施例中，处理器510可使用识别的至少一个虚拟对象的信息，根据预定标准对以第一显示模式显示的所有虚拟对象进行分类，并且可以基于此确定组合。例如，处理器510可以基于生成虚拟对象时使用的应用信息、虚拟对象的生成时间和与虚拟对象相关的数据的属性(例如，是特定时间对应的信息还是特定时长对应的信息)，来对所有虚拟对象进行分类。处理器510可以将所有虚拟对象中的至少一个归类为同一类别的对象确定为要重新配置为一个虚拟对象的虚拟对象的组合。例如，处理器510可以将基于相同应用(例如，锻炼应用)生成的至少一个虚拟对象确定为要重新配置为一个虚拟对象的虚拟对象的组合。
在实施例中，在确定虚拟对象的组合时，处理器510可以使用信息，该信息是关于用户在多个组合中选择的组合和用户以前经常使用的组合(例如，至少使用指定次数的组合)。
在实施例中，在操作2730中，处理器510可以将所确定的虚拟对象的配置重新配置为一个虚拟对象。例如，在基于虚拟对象的生成、虚拟对象的生成中使用的应用信息、以及至少一个虚拟对象中的相关数据属性确定虚拟对象A 2610和虚拟对象B 2615的组合时，处理器510可以将与虚拟对象A 2610相关的数据和与虚拟对象B 2615相关的数据重新配置为一个虚拟对象。
在实施例中，在操作2740中，处理器510可以将重新配置的虚拟对象映射到真实空间坐标。例如，处理器510可以将重新配置的虚拟对象映射到与电子装置200在接收到第三用户输入时的位置对应的真实空间坐标或者与位于该位置指定距离内的地标对应的真实空间坐标。
在实施例中，在操作2750中，处理器510可以基于映射的真实空间坐标来显示重新配置的虚拟对象。例如，如果与电子装置200的当前位置相对应的坐标和所映射的真实空间坐标之间的距离、以及电子装置200的屏幕所面对的方向(或，基于电子装置200面对的方向的与电子装置200的屏幕相对应的POV)满足指定条件，则处理器510可以在屏幕上显示重新配置的虚拟对象。例如，如果与电子装置200的当前位置相对应的坐标和所映射的真实空间坐标之间的距离小于指定距离并且如果所映射的真实空间坐标被包括在与电子装置的屏幕200相对应的POV中，处理器510可以在屏幕上显示重新配置的虚拟对象。
在实施例中，在操作2760中，处理器510可以确定针对存储的第三用户输入是否被接收到。处理器510可以显示用于接收第三用户输入的额外虚拟对象。例如，参照图28B，处理器510可以在屏幕上显示重新配置的虚拟对象2825和用于接收第三用户输入的额外虚拟对象2820。
在实施例中，在接收到第三用户输入时，在操作2780中，处理器510可以根据映射的真实空间坐标将重新配置的虚拟对象的标识信息存储在存储器(例如，图5的存储器570)中。
在实施例中，在没有接收到第三用户输入时，在操作2770中，处理器510可以确定是否达到了特定距离或者是否经过了特定时间。例如，处理器510可以针对在用于接收第三用户输入的额外虚拟对象2820被显示在显示器上时的时间或距离，确定是否达到了特定距离或者是否经过了特定时间，或者处理器510可以针对在用于将显示模式从第一显示模式切换到第二显示模式的第一用户输入是否被接收时的时间或距离，确定是否达到了特定距离或者是否经过了特定时间。
在实施例中，如果没有达到特定距离并且没有经过特定时间，则可以再次执行操作2760。例如，处理器510可以重复执行操作2760和2770。
在实施例中，当达到特定距离或经过特定时间时，处理器可以不根据映射的真实空间坐标存储重新配置的虚拟对象(或者，释放或删除重新配置的虚拟对象和真实空间坐标之间的映射关系)，以返回第一显示模式。例如，参照图28C，如果没有接收到第三用户输入并且达到了特定距离，则处理器510可以基于第一显示模式来显示虚拟对象A 2810。
图29A、图29B、图29C、图29D和图29E是示出了根据本公开的各种实施例的用于从第二显示模式返回到第一显示模式的示例用户输入的图。
在实施例中，处理器510可以接收用于从第二显示模式返回到第一显示模式的第四用户输入。在实施例中，第四用户输入可以是与第一用户输入相同类型的用户输入。例如，参照图29A，第四用户输入可以是用于执行预定动作(例如，抓取在屏幕上显示的至少一个虚拟对象的动作)的手势输入。
在另一实施例中，第四用户输入可以是选择了用户界面，该用户界面清楚地指示结束第二显示模式或返回第一显示模式。在实施例中，用户界面可以是设置到电子装置(例如，电子装置200)的表面的用户界面(例如，用户接口550)或者可以是显示在屏幕上的虚拟对象。例如，参照图29B，处理器510可以接收用于选择虚拟对象A 2910(指示第二显示模式结束)的用户输入(例如，用于注视至少指定时间的注视输入)。
在另一实施例中，第四用户输入可以是用于选择与特定功能相对应的虚拟对象的用户输入。例如，参照图29C，在接收到用于选择虚拟对象B 2920(与应用B的执行相对应)的用户输入时，处理器510可以执行应用B并且此后即使没有额外的用户输入也返回第一显示模式。
在另一实施例中，如果用户运动了至少指定距离，则处理器510可以基于第一显示模式显示至少一个虚拟对象。例如，参照图29D，当基于第二显示模式显示至少一个虚拟对象时，如果用户运动至少指定距离或运动超出指定范围2930，则处理器510可以基于第一显示模式显示至少一个虚拟对象。指定范围2930可以是距至少一个虚拟对象的真实空间坐标特定距离内的范围。
在另一实施例中，如果在没有用户输入的情况下经过了指定时间，则处理器510可以基于第一显示模式显示至少一个虚拟对象。例如，参照图29E，当基于第二显示模式显示至少一个虚拟对象时，如果在没有用户输入的情况下经过了指定时间，则即使用户位于指定范围2930内，则处理器510可以基于第一显示模式显示至少一个虚拟对象。
在实施例中，处理器510可以响应于检测到第四用户输入，基于第一显示模式来显示至少一个虚拟对象或包括至少一个虚拟对象的至少一个屏幕(例如，第一屏幕或第二屏幕)。例如，在一个第一屏幕和至少一个第二屏幕的至少一部分被显示的同时检测到第四用户输入时，处理器510可以以指定的比例放大一个第一屏幕(例如，将其放大到全屏)，并且可以基于第一显示模式显示包括在一个第一屏幕中的至少一个虚拟对象。
图30是示出了根据本公开的各种实施例的用于基于用户输入改变显示模式的电子装置的示例操作的流程图。
在实施例中，图30中公开的操作可以由电子装置(例如，图2的电子装置200)或处理器(例如，图5的处理器510)来执行。在下文中，为了便于描述，将描述图25中公开的操作由处理器510执行，但本领域技术人员将理解，各种操作可在处理器510的控制下由电子装置200执行。
在实施例中，在操作3010中，处理器510可以响应于第一POV在屏幕的第一位置显示虚拟对象。
在实施例中，在操作3020中，处理器510可以响应于第二POV将虚拟对象的显示位置维持在屏幕的第一位置。在实施例中，第二POV可以不同于第一POV。例如，即使POV从第一POV改变为第二POV，处理器510也可以将虚拟对象的显示位置维持在屏幕的第一位置。
在实施例中，在操作3030中，处理器510可以接收用于改变虚拟对象的显示模式的用户输入。在实施例中，用于改变虚拟对象的显示模式的用户输入可以对应于图1中公开的第一用户输入。
在实施例中，在操作3040中，处理器510可以响应于第三POV在屏幕的第二位置显示虚拟对象。在实施例中，第三POV可以不同于第二POV。第三POV可以与第一POV不同或相同。第二位置可以不同于第一位置。
计算机可读存储介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，压缩盘-ROM(CD-ROM)、数字多功能盘(DVD)、磁光介质(例如，磁光盘))、内部存储器等。指令可以包括由编译器创建的代码或由解释器执行的代码。根据各种实施例的模块或编程模块还可以包括上述元件中的至少一个或更多个元件，或者可以省略其中的一些，或者还可以包括附加的其他元件。根据各种实施例，可以以顺序地、并行地、重复地或启发式方式执行由模块、编程模块或其他元件执行的操作。可以以不同的顺序执行或者可以省略至少一些操作，或者可以添加其他操作。
虽然已经图示和描述了各种示例实施例，但是应当理解，各种示例实施例旨在说明而不是限制。本领域的普通技术人员将理解，在不脱离包括所附权利要求及其等同物的本公开的范围的情况下，可以对形式和细节进行各种改变。
根据本公开的各种示例实施例的电子装置打开有限模态，使得用户可以容易且直观地访问显示在屏幕上的虚拟对象界面(例如，虚拟对象图像)，并且可以通过扩展虚拟空间来搜索能够显示虚拟对象的虚拟空间。

Claims (15)

1.一种电子装置，所述电子装置包括：
显示器；
处理器，所述处理器可操作地耦接到所述显示器；
存储器，所述存储器可操作地耦接到所述处理器，其中，所述存储器被配置为存储指令，所述指令在被执行时使所述处理器控制所述电子装置：
以第一显示模式显示至少一个虚拟对象，在所述第一显示模式下，所述至少一个虚拟对象被显示在屏幕的第一位置，其中，通过所述至少一个虚拟对象叠加到与至少一个真实对象相对应的真实对象图像上，所述第一位置是固定的，与用户的视点(POV)无关；
接收用于改变所述至少一个虚拟对象的显示模式的第一输入；以及
响应于接收到所述第一输入，以第二显示模式显示所述至少一个虚拟对象，在所述第二显示模式下，所述至少一个虚拟对象被显示在所述屏幕的第二位置，其中，所述第二位置根据所述用户的POV而改变。
2.根据权利要求1所述的电子装置，其中，所述第一输入包括以下中的至少一者：针对在所述电子装置的表面上设置的用户界面的输入、用于执行指定动作的手势输入、包括指定关键字的语音输入，以及基于注视所述屏幕的指定区域至少指定时间的注视输入。
3.根据权利要求1所述的电子装置，其中，作为以所述第二显示模式显示所述至少一个虚拟对象的操作的至少一部分，所述指令在被执行时使所述处理器控制所述电子装置：
确定与所述至少一个虚拟对象相对应的真实空间坐标；
将所确定的真实空间坐标映射到所述至少一个虚拟对象；以及
基于所确定的真实空间坐标显示所述至少一个虚拟对象。
4.根据权利要求3所述的电子装置，其中，作为确定与所述至少一个虚拟对象相对应的真实空间坐标的操作的至少一部分，所述指令在被执行时使所述处理器控制所述电子装置：利用与所述用户的位置相对应的第一真实空间坐标、以及屏幕中的与所述至少一个虚拟对象以所述第一显示模式先前显示的位置相对应的第二真实空间坐标，确定与所述至少一个虚拟对象相对应的真实空间坐标。
5.根据权利要求4所述的电子装置，其中，作为利用所述第一真实空间坐标和所述第二真实空间坐标确定与所述至少一个虚拟对象相对应的真实空间坐标的操作的至少一部分，所述指令在被执行时使所述处理器控制所述电子装置：通过将所述第一真实空间坐标与所述第二真实空间坐标以指定比例进行内除来确定与所述至少一个虚拟对象相对应的真实空间坐标。
6.根据权利要求5所述的电子装置，其中，作为基于所确定的真实空间坐标显示所述至少一个虚拟对象的操作的至少一部分，所述指令在被执行时使所述处理器控制所述电子装置显示第一屏幕、以及至少一个第二屏幕的至少一部分，
其中，所述第一屏幕包括至少一个虚拟对象，并且
其中，所述至少一个第二屏幕位于距所述第一屏幕指定距离内。
7.根据权利要求6所述的电子装置，其中，所述指令在被执行时使所述处理器控制所述电子装置：
接收第二输入，所述第二输入用于从在所述屏幕上显示的至少一个虚拟对象中选择任何一个虚拟对象；以及
执行与所选择的虚拟对象相对应的功能。
8.根据权利要求7所述的电子装置，其中，作为接收所述第二输入的操作的至少一部分，所述指令在被执行时使所述处理器控制所述电子装置：
检测导致所述用户的POV改变的头部运动；以及
基于检测到的头部运动来改变所述第一屏幕和所述至少一个第二屏幕的显示位置，
其中，与所述第一屏幕和所述至少一个第二屏幕相对应的真实空间坐标不改变。
9.根据权利要求7所述的电子装置，其中，作为接收所述第二输入的操作的至少一部分，所述指令在被执行时使所述处理器控制所述电子装置：响应于检测到输入，改变所述第一屏幕和所述至少一个第二屏幕的显示位置，而与所述的用户的POV的改变无关，其中，与所述第一屏幕和所述至少一个第二屏幕相对应的真实空间坐标被配置为根据输入的内容而改变。
10.一种电子装置，所述电子装置包括：
显示器；
处理器，所述处理器可操作地耦接到所述显示器；以及
存储器，所述存储器可操作地耦接到所述处理器，其中，所述存储器被配置为存储指令，所述指令在被执行时使所述处理器控制所述电子装置：
以第一显示模式显示至少一个虚拟对象，在所述第一显示模式下，所述至少一个虚拟对象被显示在屏幕的第一位置，其中，通过所述至少一个虚拟对象叠加到与至少一个真实对象相对应的真实对象图像上，所述第一位置是固定的，与用户的视点(POV)无关；
接收第三输入，所述第三输入用于以映射到特定真实空间坐标的一个虚拟对象的形式存储与所述至少一个虚拟对象相关的信息；以及
响应于接收到所述第三输入，以映射到所述特定真实空间坐标的一个虚拟对象的形式存储与所述至少一个虚拟对象相关的信息。
11.一种运行电子装置的方法，所述方法包括：
以第一显示模式显示至少一个虚拟对象，在所述第一显示模式下，所述至少一个虚拟对象被显示在屏幕的第一位置，其中，通过所述至少一个虚拟对象叠加到与至少一个真实对象相对应的真实对象图像上，所述第一位置是固定的，与用户的视点(POV)无关；
接收用于改变所述至少一个虚拟对象的显示模式的第一输入；以及
响应于接收到所述第一输入，以第二显示模式显示所述至少一个虚拟对象，在所述第二显示模式下，所述至少一个虚拟对象被显示在所述屏幕的第二位置，其中，所述第二位置根据所述用户的POV而改变。
12.根据权利要求11所述的方法，其中，所述第一输入包括以下中的至少一者：针对在所述电子装置的表面上设置的用户界面的输入、用于执行指定动作的手势输入、包括指定关键字的语音输入，以及基于注视所述屏幕的指定区域至少指定时间的注视输入。
13.根据权利要求11所述的方法，其中，所述以所述第二显示模式显示至所述少一个虚拟对象包括：
确定与所述至少一个虚拟对象相对应的真实空间坐标；
将所确定的真实空间坐标映射到所述至少一个虚拟对象；以及
基于所确定的真实空间坐标显示所述至少一个虚拟对象。
14.根据权利要求13所述的方法，其中，所述确定与所述至少一个虚拟对象相对应的真实空间坐标包括：利用与所述用户的位置相对应的第一真实空间坐标、以及屏幕中的与所述至少一个虚拟对象被以所述第一显示模式先前显示的位置相对应的第二真实空间坐标，确定与所述至少一个虚拟对象相对应的真实空间坐标。
15.根据权利要求14所述的方法，其中，所述利用所述第一真实空间坐标和所述第二真实空间坐标确定与所述至少一个虚拟对象相对应的真实空间坐标包括：通过将所述第一真实空间坐标与所述第二真实空间坐标以指定比例进行内除来确定与所述至少一个虚拟对象相对应的真实空间坐标。
CN202080013817.6A 2019-02-11 2020-02-07 用于提供增强现实用户界面的电子装置及其操作方法 Pending CN113424142A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190015624A KR20200098034A (ko) 2019-02-11 2019-02-11 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
KR10-2019-0015624 2019-02-11
PCT/KR2020/001762 WO2020166892A1 (en) 2019-02-11 2020-02-07 Electronic device for providing augmented reality user interface and operating method thereof

Publications (1)

Publication Number Publication Date
CN113424142A true CN113424142A (zh) 2021-09-21

Family

ID=71946298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013817.6A Pending CN113424142A (zh) 2019-02-11 2020-02-07 用于提供增强现实用户界面的电子装置及其操作方法

Country Status (5)

Country Link
US (1) US11538443B2 (zh)
EP (1) EP3884367A4 (zh)
KR (1) KR20200098034A (zh)
CN (1) CN113424142A (zh)
WO (1) WO2020166892A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI808783B (zh) * 2022-01-12 2023-07-11 宏達國際電子股份有限公司 用於調整虛擬物件的方法、主機及電腦可讀儲存媒體

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114527864B (zh) * 2020-11-19 2024-03-15 京东方科技集团股份有限公司 增强现实文字显示***、方法、设备及介质
EP4195005A4 (en) * 2020-12-17 2024-06-12 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
JP7476128B2 (ja) 2021-03-11 2024-04-30 株式会社日立製作所 表示システムおよび表示装置
EP4339873A4 (en) * 2021-11-09 2024-05-01 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
KR20230072256A (ko) * 2021-11-17 2023-05-24 삼성전자주식회사 증강 현실 객체의 앵커링을 위한 전자 장치 및 방법
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
US11800084B2 (en) * 2022-01-10 2023-10-24 Eyejets Ltd. Wearable virtual retinal display
WO2023146837A2 (en) * 2022-01-25 2023-08-03 Sightful Computers Ltd Extended reality for collaboration
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
WO2024029803A1 (ko) * 2022-08-04 2024-02-08 삼성전자 주식회사 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.
WO2024080579A1 (ko) * 2022-10-11 2024-04-18 삼성전자주식회사 사용자의 자세를 가이드하기 위한 웨어러블 장치 및 그 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646394B1 (en) * 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
US20140132629A1 (en) * 2012-11-13 2014-05-15 Qualcomm Incorporated Modifying virtual object display properties
CN104583927A (zh) * 2012-08-30 2015-04-29 三星电子株式会社 用户终端中的用户接口装置以及用于支持该用户接口装置的方法
US20150234456A1 (en) * 2014-02-20 2015-08-20 Lg Electronics Inc. Head mounted display and method for controlling the same
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160189426A1 (en) * 2014-12-30 2016-06-30 Mike Thomas Virtual representations of real-world objects
WO2018201150A1 (en) * 2017-04-28 2018-11-01 Mira Labs, Inc. Control system for a three dimensional environment

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US20030030597A1 (en) * 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
US7145726B2 (en) * 2002-08-12 2006-12-05 Richard Geist Head-mounted virtual display apparatus for mobile activities
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR20110038425A (ko) 2009-10-08 2011-04-14 삼성에스디에스 주식회사 증강현실 환경에서 위치를 기반으로 한 컨텐츠 공유 시스템 및 방법
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9111498B2 (en) * 2010-08-25 2015-08-18 Eastman Kodak Company Head-mounted display with environmental state detection
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
CA2835120C (en) * 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US9378592B2 (en) * 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9141188B2 (en) * 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US9272132B2 (en) * 2012-11-02 2016-03-01 Boston Scientific Scimed, Inc. Medical device for treating airways and related methods of use
US10110805B2 (en) * 2012-12-06 2018-10-23 Sandisk Technologies Llc Head mountable camera system
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US20150062158A1 (en) * 2013-08-28 2015-03-05 Qualcomm Incorporated Integration of head mounted displays with public display devices
KR102081934B1 (ko) * 2013-08-28 2020-02-26 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
KR20150037254A (ko) 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 디스플레이 디바이스 및 레이어 제어 방법
KR102114618B1 (ko) * 2014-01-16 2020-05-25 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US9766463B2 (en) * 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
EP3114527B1 (en) * 2014-03-05 2021-10-20 Arizona Board of Regents on Behalf of the University of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9361732B2 (en) * 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
KR102219464B1 (ko) * 2014-05-23 2021-02-25 삼성전자주식회사 보안 운용 방법 및 이를 지원하는 전자 장치
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US10416835B2 (en) 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
KR20170005602A (ko) * 2015-07-06 2017-01-16 삼성전자주식회사 증강현실 및 가상현실의 통합적 제공 방법 및 이를 사용하는 전자 장치
US10976808B2 (en) * 2015-11-17 2021-04-13 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
AU2015275252A1 (en) * 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Systems and method to modify display of augmented reality content
US9726896B2 (en) * 2016-04-21 2017-08-08 Maximilian Ralph Peter von und zu Liechtenstein Virtual monitor display technique for augmented reality environments
AU2017305227B2 (en) * 2016-08-02 2021-12-16 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10895966B2 (en) * 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11048325B2 (en) * 2017-07-10 2021-06-29 Samsung Electronics Co., Ltd. Wearable augmented reality head mounted display device for phone content display and health monitoring
KR102389185B1 (ko) * 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
WO2019173396A1 (en) * 2018-03-05 2019-09-12 The Regents Of The University Of Colorado, A Body Corporate Augmented reality coordination of human-robot interaction
US11025892B1 (en) * 2018-04-04 2021-06-01 James Andrew Aman System and method for simultaneously providing public and private images
CN112189203A (zh) * 2018-06-01 2021-01-05 苹果公司 用于在合成现实布景中在查看矢量之间切换的方法和设备
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
US10936051B2 (en) * 2018-09-20 2021-03-02 Dell Products, L.P. Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications
US10803314B2 (en) * 2018-10-10 2020-10-13 Midea Group Co., Ltd. Method and system for providing remote robotic control
US10854012B1 (en) * 2019-05-29 2020-12-01 Dell Products, L.P. Concealing loss of distributed simultaneous localization and mapping (SLAM) data in edge cloud architectures
US11553123B2 (en) * 2019-07-18 2023-01-10 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11188755B2 (en) * 2019-11-01 2021-11-30 Pinfinity, Llc Augmented reality systems and methods incorporating wearable pin badges

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646394B1 (en) * 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
CN104583927A (zh) * 2012-08-30 2015-04-29 三星电子株式会社 用户终端中的用户接口装置以及用于支持该用户接口装置的方法
US20140132629A1 (en) * 2012-11-13 2014-05-15 Qualcomm Incorporated Modifying virtual object display properties
US20150234456A1 (en) * 2014-02-20 2015-08-20 Lg Electronics Inc. Head mounted display and method for controlling the same
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160189426A1 (en) * 2014-12-30 2016-06-30 Mike Thomas Virtual representations of real-world objects
WO2018201150A1 (en) * 2017-04-28 2018-11-01 Mira Labs, Inc. Control system for a three dimensional environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI808783B (zh) * 2022-01-12 2023-07-11 宏達國際電子股份有限公司 用於調整虛擬物件的方法、主機及電腦可讀儲存媒體

Also Published As

Publication number Publication date
KR20200098034A (ko) 2020-08-20
US20200258481A1 (en) 2020-08-13
US11538443B2 (en) 2022-12-27
EP3884367A4 (en) 2022-01-12
EP3884367A1 (en) 2021-09-29
WO2020166892A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
US11538443B2 (en) Electronic device for providing augmented reality user interface and operating method thereof
US11934228B2 (en) Method for providing image using foldable display and electronic device for supporting the same
US10754546B2 (en) Electronic device and method for executing function using input interface displayed via at least portion of content
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
US20140101617A1 (en) Method and apparatus for generating task recommendation icon in a mobile device
US11217031B2 (en) Electronic device for providing second content for first content displayed on display according to movement of external object, and operating method therefor
EP3299933B1 (en) Method for displaying a navigator associated with content and electronic device for implementing the same
US11416080B2 (en) User intention-based gesture recognition method and apparatus
US20230074380A1 (en) Electronic device for providing augmented reality service and operating method thereof
US20230019876A1 (en) Electronic device comprising a plurality of touch screen displays and screen division method
US11445058B2 (en) Electronic device and method for controlling display operation thereof
US20230176721A1 (en) Electronic device comprising flexible display module and method for operating same
US20220303379A1 (en) Electronic device including flexible display, and operating method thereof
US11334230B2 (en) Electronic device and system for generating 3D object based on 3D related information
US11334152B2 (en) Electronic device and content executing method using sight-line information thereof
US11294452B2 (en) Electronic device and method for providing content based on the motion of the user
CN112534390B (zh) 用于提供虚拟输入工具的电子装置及其方法
US20230128520A1 (en) Electronic device and method for providing augmented reality
KR20220053394A (ko) 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
US11622097B2 (en) Apparatus and method for providing point of interest (POI) information in 360 video
US11941315B2 (en) Wearable electronic device for displaying augmented reality object and method for operating the same
EP4362504A1 (en) Method for providing user interface on basis of locational relationship between electronic devices, and electronic device therefor
US20230061776A1 (en) Electronic device for providing augmented reality service, and operating method therefor
WO2023155928A1 (zh) 机器人寻路方法、寻路装置、设备和计算机可读存储介质
US20220129139A1 (en) Electronic device and method for controlling display of a plurality of objects on wearable display device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination