CN105589732B - 通过虚拟环境共享信息的设备和方法 - Google Patents

通过虚拟环境共享信息的设备和方法 Download PDF

Info

Publication number
CN105589732B
CN105589732B CN201510757641.6A CN201510757641A CN105589732B CN 105589732 B CN105589732 B CN 105589732B CN 201510757641 A CN201510757641 A CN 201510757641A CN 105589732 B CN105589732 B CN 105589732B
Authority
CN
China
Prior art keywords
electronic device
content
information
external electronic
virtual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510757641.6A
Other languages
English (en)
Other versions
CN105589732A (zh
Inventor
崔友诚
姜赫
金敃志
孙东一
郑富燮
崔钟豪
韩筹万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105589732A publication Critical patent/CN105589732A/zh
Application granted granted Critical
Publication of CN105589732B publication Critical patent/CN105589732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45537Provision of facilities of other operating environments, e.g. WINE
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种通过虚拟环境共享信息的设备和方法。公开了一种通过虚拟环境提供信息的电子装置。所述装置包括:显示器;以及在功能性地与显示器连接的信息提供模块,其中,信息提供模块通过显示器显示与对于电子装置而言的外部电子装置对应的对象;获取将通过外部电子装置输出的信息;并通过在其上显示所述对象的区域提供与该信息对应的内容。

Description

通过虚拟环境共享信息的设备和方法
技术领域
本公开涉及一种电子装置,例如,涉及一种用于通过虚拟环境共享信息的设备和方法。
背景技术
最近,电子装置已经发展成为各种形式,诸如便携式装置(例如,智能电话和平板PC)或可穿戴式装置(例如,智能手表和头戴式装置)以及智能家用电器(例如,智能电视和游戏机)。具有各种形式的电子装置可交换信息。例如,智能电视、智能电话和笔记本计算机可通过网络彼此连接。智能电话可将存储在智能电话中的图片发送到智能电视。在这种情况下,智能电视的用户可通过智能电视来检查存储在智能电话中的图片。此外,笔记本计算机可将电影发送到智能电视。在这种情况下,智能电视的用户可通过智能电视来观看电影,而不是图片。
根据现有技术,电子装置可向用户提供从外部电子装置获取的内容。在这种情况下,电子装置可在不区别这些内容与其他的以前获取的内容的情况下提供这些内容。因此,用户可能难以区别从该外部电子装置获取的这些内容与其他内容。例如,用户难以识别关于从其获取这些内容的装置的信息。
当电子装置分别从多个外部电子装置获取多个内容时,在现有技术中,电子装置不可以同时向用户提供所述多个内容。因此,用户的不便在于,需要首先检查所述多个内容中的一个,然后检测其他内容。
电子装置可向用户提供各种虚拟环境,以使得用户可观看2D图像或3D图像。例如,电子装置可向用户提供新的环境,而不管用户实际上所在的空间如何。因此,用户可基于虚拟环境更生动地观看2D图像或3D图像。
然而,相关技术中的电子装置不能将用户实际上所在的空间反映到虚拟环境。例如,由于电子装置仅能够使用设置图像,所以电子装置不能在虚拟环境上表示位于实际空间中的各种电子装置(例如,电视、冰箱或计算机)。因此,当用户使用虚拟环境时,用户不可以直接控制位于实际空间中的电子装置。
发明内容
本公开的示例提供了一种电子装置和方法,该电子装置和方法能够通过虚拟环境将从外部电子装置获取的相关内容和与该外部电子装置对应的对象关连,并提供获取的内容。因此,该电子装置可区别从该外部电子装置获取的这些内容与其他内容,并通过虚拟环境提供获取的内容。
本公开的另一示例提供一种电子装置和方法,该电子装置和方法能够分别将从多个外部电子装置获取的内容和与所述多个外部电子装置对应的多个对象关连,并同时提供获取的内容。
本公开的另一示例提供一种电子装置和方法,该电子装置和方法能够通过将用户实际上所在的空间反映到虚拟环境来使得用户能够通过虚拟环境直接控制布置在实际空间中的电子装置。
根据本公开的示例,提供了一种电子装置。该电子装置包括:显示器;以及在功能性地与显示器连接的、处理电路的形式的信息提供模块,其中,信息提供模块还被配置为:通过显示器显示与对于电子装置而言的外部电子装置对应的对象;获取将通过外部电子装置输出的信息;并通过在其上显示所述对象的区域提供与该信息对应的内容。
根据各种示例的电子装置和方法可将从外部电子装置获取的、和与该外部电子装置对应的对象相关的内容提供给用户,从而使得用户能够基于该对象来区别从该外部电子装置获取的内容与其他内容。
根据各种示例的电子装置和方法可分别通过与多个外部电子装置对应的多个对象来同时提供例如从所述多个外部电子装置获取的多个内容,从而减小或克服当用户需要检查所述多个内容中的每个时所引起的不便。
根据各种示例的电子装置和方法可通过虚拟环境来提供例如通过外部电子装置获取的内容,从而通过虚拟环境来提供与该外部电子装置链接的服务。
附图说明
从以下结合附图进行的详细描述中,本公开的以上和其他目的、特征和优点将更清楚,在附图中,相似的标号指代相似的元件,并且其中:
图1示出多个电子装置的示例使用环境;
图2是示出示例电子装置的框图;
图3是示出示例电子装置的框图;
图4示出在其中电子装置与外部电子装置链接的实际使用环境的示例;
图5示出电子装置所提供的虚拟环境的示例;
图6是示出示例信息提供模块的框图;
图7示出通过电子装置提供的用户界面的示例;
图8示出通过电子装置提供的用户界面的示例;
图9示出通过电子装置提供的用户界面的示例;
图10示出通过电子装置提供的用户界面的示例;
图11示出通过电子装置提供的用户界面的示例;
图12是示出用于通过电子装置提供信息的示例方法的流程图。
具体实施例
在下文中,将参照附图来描述本公开。尽管在附图中示出了示例实施例并且在本公开中讨论了相关的详细描述,但是本公开可具有各种修改和几个示例。然而,本公开的各种示例不限于示例实现形式,并且应理解,本公开包括本公开的各种示例的精神和范围中所包括的所有改变和/或等同和替换。与附图的描述相结合,类似的组件用相同的标号指定。
在描述本公开的各种示例中可使用的术语“包括”或“可包括”是指在本公开的各种示例中可使用的对应的公开的功能、操作或组件的存在,并不限制一个或更多个附加的功能、操作或组件。在本公开的各种示例中,诸如“包括”或“具有”的术语可被构造为表示某一特性、数量、步骤、操作、组成元件、组件或它们的组合,但是不可以被构造为排除一个或更多个其他的特性、数量、步骤、操作、组成元件、组件或它们的组合的存在或添加的可能性。
在本公开的各种示例中,表达“或”或“A或/和B中的至少一个”包括一起列出的词语的任何或全部组合。例如,表达“A”或“B”或“至少A或/和B”可包括A,可包括B,或可包括A和B两者。
在本公开的各种示例中使用的表达“1”、“2”“第一”或“第二”可修饰各种示例的各种组件,而不限制对应的组件。例如,以上表达不限制组件的顺序和/或重要性。这些表达可用于区别一个组件与其他组件。例如,第一用户装置和第二用户装置指示不同的用户装置,尽管它们两个都是用户装置。例如,在不脱离本公开的范围的情况下,第一结构元件可被称为第二结构元件。类似地,第二结构元件也可被称为第一结构元件。
当陈述组件“耦连到”或“连接到”另一组件时,该组件可直接耦连或连接到另一组件,或另一组件可存在于该组件和另一组件之间。相反,当陈述组件“直接耦连到”或“直接连接到”另一组件时,组件不存在于该组件和另一组件之间。
在描述本公开的各种示例中使用的术语仅仅是用于描述给定实施例的示例,而不限制本公开的各种示例。单数形式意图包括复数形式,除非上下文另有明确指示。
除非不同地定义,否则在此使用的所有术语(包括技术术语或科学术语)具有与本公开所属领域的技术人员所理解的意义相同的意义。诸如在常用词典中定义的那些术语的术语要被解释为具有与在相关技术领域中的上下文意义相同的意义,而不被解释为具有理想的或过于形式的意义,除非在描述中被明确地定义。
根据本公开的电子装置可以是包括通信功能的装置。例如,电子装置可以是下述装置中的一个或组合:智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、笔记本计算机、个人数字助理(PDA)、相机、可穿戴式装置(例如,诸如电子眼镜的头戴式装置(HMD)、电子衣服以及电子手镯)、电子项链、电子配饰、电子纹身和智能手表。
根据一些示例,电子装置可以是具有通信功能的智能家用电器。智能家用电器可包括下述至少一个:电视(TV)、数字视频磁盘(DVD)播放器、音频播放器、空调、净化器、烤炉、微波炉、洗衣机、空气净化器、机顶盒、TV盒子(例如,三星家用同步TM、苹果TVTM或谷歌TVTM)、游戏机、电子词典、电子钥匙、摄录像机以及电子相框。
根据一些示例,电子装置可包括下述至少一个:各种类型的医疗装置(例如磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描机、超声波装置等)、导航装置、全球定位***(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐装置、船用电子设备(例如,用于船舶的导航装置、陀螺罗盘等)、航空电子装置、安全装置、车用头部单元、工业或家用机器人、金融机构的自动柜员机(ATM)以及商店的销售点(PoS)装置。
根据一些示例,电子装置可以包括下述至少一个:家具或建筑/结构的一部分、电子板、电子签名接收装置、投影仪以及包括相机功能的各种类型的测量装置(例如,水表、电表、气表、无线电波表等)。根据本公开的各种示例的电子装置可以是上述各种装置中的一个或上述各种装置的组合。此外,根据本公开的各种示例的电子装置可以是柔性装置。对于本领域技术人员而言显然的是,根据本公开的各种示例的电子装置不限于上述装置。
在下文中,将参照附图对根据本公开的各种示例的电子装置进行描述。在各种示例中使用的术语“用户”可被称为使用电子装置的人或使用电子装置的装置(例如,人工智能电子装置)。
根据本公开的示例,电子装置的屏幕可根据预定义的划分方式而被划分为至少两个窗口,并且可通过电子装置的显示器显示。窗口可被称为划分装口。根据示例,划分窗口是指显示在电子装置的显示器上、不彼此叠加的窗口。
根据示例,弹出窗口可以是指显示在电子装置的显示器上、隐藏的或叠加在屏幕的在执行中的一部分上的窗口。
根据本公开的示例,使用划分窗口或弹出窗口的电子装置能够显示两个或更多个应用执行屏幕或功能执行屏幕。因此,划分窗口和弹出窗口可被称为多窗口。
将参照附图来描述根据各种示例的电子装置。如在此所使用的,术语“用户”可指示使用电子装置的人或使用电子装置的装置(例如,人工智能电子装置)。将参照图1来描述根据各种示例的网络环境100内的电子装置101。电子装置101可包括处理电路的形式的信息提供模块110、总线120、处理器130、存储器140、输入/输出接口160、显示器170以及通信接口180。在一些示例中,电子装置101可省略以上元件中的至少一个,或者可进一步包括其他元件。
信息提供模块110可被配置为:对从其他元件(例如,处理器130、存储器140、输入/输出接口160以及通信接口180)获取的信息中的至少一些进行处理,并通过各种方法向用户提供获取的信息。例如,信息提供模块或处理电路110可被配置为通过使用处理器130或独立于处理器130,通过在功能性地与电子装置101连接的显示器170来显示与外部电子装置(例如,电子装置102和104或服务器106)对应的对象。根据示例,对象可具有与外部电子装置的外观对应的图像。
根据示例,信息提供模块110可根据电子装置101是脱离用户、还是附到用户,通过显示在显示器170或外部电子装置(例如,电子装置102)上的与该外部电子装置对应的对象中的至少一个来提供该外部电子装置可输出的信息。例如,外部电子装置可以是电视。信息提供模块110可在显示器170的部分区域上提供(例如,显示)可通过电视输出的信息(例如,图像、文本、声音或通知信息)中的至少一些。下面将结合图4至图12来描述与信息提供模块110相关联的附加信息。
总线120可以是连接上述组件并在上述组件之间发送通信数据(例如,控制消息)的电路。
处理器130可包括一个或更多个CPU(中央处理器(CPU))、应用处理器(应用处理器(AP))或通信处理器(通信处理器(CP))。处理器130例如可被配置为执行与电子装置101的其他组件中的至少一个的控制和/或通信相关的操作或数据处理。
存储器140存储从处理器130或电子装置101的其他组件接收的或者由处理器130或电子装置101的其他组件产生的命令或数据。存储器140可包括编程模块150,例如,内核151、中间件153、应用编程接口(API)145以及应用157。前述编程模块中的每个均可用软件、固件、硬件或它们中的两个或更多个的组合来实现。内核151控制或管理用于执行由其余的编程模块(例如,中间件153、API 155或应用157)实现的操作或功能的***资源(例如,总线120、处理器130或存储器140)。此外,内核151提供用于从中间件153、API 155或应用157访问电子装置101的单个的组件以控制或管理这些组件的接口。中间件153执行允许API 155或应用157与内核151进行通信以交换数据的中继功能。此外,在从应用157接收的操作请求中,中间件153通过使用将可按其使用电子装置101的***资源(例如,总线120、处理器130、存储器140等)的优先级分配给应用157的方法来执行对操作请求(例如,调度或负载均衡)的控制。
API 155可以例如是应用157可通过其控制内核141或中间件153提供的功能的接口,并且包括例如用于文件控制、窗口控制、图像处理或字符控制的至少一个接口或功能(例如,命令)。
输入/输出接口160可从用户接收例如命令和/或数据,并通过总线120将接收的命令和/或数据传送到处理器130和/或存储器140。显示器170的示例可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微电子机械***(MEMS)显示器以及电子纸显示器等。显示器170可向用户显示例如各种内容(例如,文本、图像、视频、图标或符号)。显示器170可包括触摸屏,并且可接收通过使用电子笔或用户的身体部分的触摸、手势、接近输入或悬停输入。
通信接口180可使得能够例如在电子装置101和外部装置(例如,第一外部电子装置102、第二外部电子装置104或服务器106)之间进行通信。例如,通信接口180可通过无线或有线通信连接到网络162以与外部装置(例如,第二外部电子装置104或服务器106)进行通信。
无线通信可将下述的至少一个用作蜂窝通信协议:例如,长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信***(UMTS)、Wi-Bro(无线宽带)以及全球移动通信***(GSM)。另外,无线通信可包括例如短距离通信164。短距离通信164可包括下述至少一个:例如,Wi-Fi、蓝牙、近场通信(NFC)、红外线通信以及全球定位***(GPS)。有线通信可包括下述至少一个:例如,通用串行总线(USB)、高清晰多媒体接口(HDMI)、推荐标准232(RS-232)以及普通老式电话服务(POTS)。网络162可包括下述至少一个:通信网络,诸如计算机网络(例如,LAN或WAN)、互联网以及电话网络。
第一外部电子装置102和第二外部电子装置104中的至少一个可以是与电子装置101相同或不同类型的装置。根据示例,服务器106可包括一组一个或更多个服务器。根据各种示例,在电子装置101中执行的全部或一些操作可在另一电子装置或多个电子装置(例如,电子装置102和104或服务器106)中被执行。根据示例,当电子装置101必须自动地或响应于请求执行一些功能或服务时,电子装置101可向另一装置(例如,电子装置102或104或服务器106)发出执行与其相关的至少一些功能的请求,而不是自己执行这些功能或服务。
所述另一电子装置(例如,电子装置102或104或服务器106)可执行被请求的功能或附加的功能,并将结果传送到电子装置101。电子装置101可照接收的结果的原样对其进行处理,或者附加地提供被请求的功能或服务。为此,例如,可使用云计算、分布式计算或客户端-服务器计算技术。
图2是示出示例电子装置201的框图。电子装置201可以例如包括图1中所示的电子装置101的整体或一部分。参照图2,电子装置201可以例如包括一个或更多个处理器(例如,应用处理器(AP))210、通信模块220、用户标识模块(SIM)卡224、存储器230、包括各种传感器的传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、功率管理模块295、电池296、指示器297以及电机298。
处理器210操作操作***(OS)或应用程序以便控制连接到处理器210的多个硬件或软件组件元件并执行包括多媒体数据的各种数据处理和计算。处理器210可用例如片上***(SoC)来实现。根据示例,处理器210可进一步包括图形处理器(GPU)。通信模块220可具有与图1的通信接口180相同或类似的配置。通信模块220可包括例如蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GPS模块227、NFC模块228以及射频(RF)模块229。
蜂窝模块221可通过例如通信网络来提供语音呼叫、图像调用、文本消息服务或互联网服务。根据示例,蜂窝模块221可通过使用用户标识模块224(例如,SIM卡)来在通信网络内区分并认证电子装置201。根据本公开的示例,蜂窝模块221可执行处理器210可提供的功能中的至少一些。根据示例,蜂窝模块221可包括通信处理器(CP)。
Wi-Fi模块223、蓝牙模块225、GPS模块227和NFC模块228中的至少一个可以例如是用于对通过对应模块收发的数据进行处理的处理器。根据示例,蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GPS模块227和NFC模块228中的至少一个可被包括在一个集成芯片(IC)或IC封装中。
RF模块229可发送/接收例如通信信号(例如,RF信号)。RF模块229可包括例如收发器、功率放大器模块(PAM)、滤频器、低噪声放大器(LNA)或天线。根据另一示例,蜂窝模块221、Wi-Fi模块223、BT模块225、GPS模块227和NFC模块228中的至少一个可通过单独的RF模块来发送/接收RF信号。
用户标识模块224可包括例如包括用户标识模块和/或嵌入式SIM的卡,并且可包含唯一标识信息(例如,集成电路卡标识符(ICCID))或用户信息(例如,国际移动用户身份(IMSI))。
存储器230(例如,存储器140)可包括例如内部存储器232或外部存储器234。内部存储器232可包括下述至少一个:易失性存储器(例如,动态访问存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)以及非易失性存储器(例如,一次可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜型ROM、闪速ROM、闪存(例如,NAND闪存或NOR闪存)、硬盘驱动器、固态驱动器(SSD)等。
外部存储器234可进一步包括闪速驱动器,例如,紧凑型闪存卡(CF)、安全数字卡(SD)、微安全数字卡(微SD)、迷你安全数字卡(迷你SD)、eXtreme数字卡(xD)、多媒体卡(MMC)、存储棒等。外部存储器234可在功能性地和/或在物理上通过各种接口连接至电子装置201。
传感器模块240可以例如包括被配置为测量物理量或者检测电子装置201的操作状态的各种传感器,并且可将测量的或检测的信息转换为电信号。例如,传感器模块240可包括下述至少一个:手势传感器240A、陀螺仪传感器240B、气压传感器240C、磁传感器240D、加速度传感器240E、手握传感器240F、接近传感器240G、颜色传感器240H(例如,RGB(红、绿、蓝)传感器)、生物识别传感器240I、温度/湿度传感器240J、照度传感器240K以及UV(紫外线)传感器240M。另外地或可选地,传感器模块240可包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240可进一步包括用于控制包括在其中的一个或更多个传感器的控制电路。在本公开的一些示例中,电子装置201可进一步包括被配置为将传感器模块240作为处理器210的一部分进行控制或者与处理器210分开地控制传感器模块240的处理器,并且可在处理器210处于睡眠状态时控制传感器模块240。
输入装置250可包括例如触摸面板252、(数字)笔传感器254、按键256或超声波输入装置258。触摸面板252可使用例如电容型、电阻型、红外型以及超声波型中的至少一个。此外,触摸面板252可进一步包括控制电路。触摸面板252可进一步包括触觉层,并向用户提供触觉反应。
(数字)笔传感器254可包括例如作为触摸面板的一部分或者与触摸面板分离的识别薄片。按键256可包括例如物理按钮、光学按键或小键盘。超声波输入装置258可通过麦克风(例如,麦克风288)来检测通过输入工具产生的超声波,并标识与检测的超声波对应的数据。
显示器260(例如,显示器170)可包括面板262、全息照相装置264或投影仪266。面板262可包括与图1中所示的显示器170的配置相同或类似的配置。面板262可被实现为例如柔性的、透明的或可穿戴的。面板262和触摸面板252可被实现为一个模块。全息照相264可使用光的干涉在空中示出立体图像。投影仪266可通过将光投影到屏幕上来显示图像。屏幕可位于例如电子装置201的内部或外部。根据示例,显示器260可进一步包括用于控制面板262、全息照相装置264或投影仪266的控制电路。
接口270可包括例如高清晰度多媒体接口(HDMI)272、通用串行总线(USB)274、光学接口276或D超小型(D-sub)278。接口270可被包括在例如图1中所示的通信接口180中。另外地或可选地,接口270可包括例如移动高清晰链路(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据关联(IrDA)标准接口。
音频模块280双向地转换声音和电信号。音频模块280的至少一些组件可被包括在例如图1中所示的输入/输出接口160中。音频模块280对通过例如扬声器282、接收器284、耳机286、麦克风288等输入或输出的声音信息进行处理。
相机模块291是可拍摄静止图像和视频的装置。根据示例,相机模块291可包括一个或更多个图像传感器(例如,前置传感器或后置传感器)、图像信号处理器(ISP)(未示出)或闪光灯(例如,LED或氙气灯)。
功率管理模块295管理电子装置200的功率。尽管未示出,但是功率管理模块295可包括例如功率管理集成电路(PMIC)、充电集成电路(IC)或电池或燃油表。
PMIC可被安装到例如集成电路或SoC半导体。充电方法可以例如包括有线和无线方法。充电IC对电池充电,并且阻止过电压或过电流从充电器流过。根据示例,充电IC包括用于有线充电方法和无线充电方法中的至少一个的充电IC。无线充电方法可包括例如磁共振方法、磁感应方法和电磁波方法,并且可添加用于无线充电的附加电路(例如,诸如线圈、谐振电路、整流器等的电路)。
电池量表测量例如电池296的剩余电量以及充电期间的电压、电流或温度。电池296可储存或产生电力,并通过使用储存的或产生的电力来将功率供给电子装置200。电池296可包括可再充电电池或太阳能电池。
指示器297显示电子装置200或其部分(例如,AP 210)的特定状态,例如,启动状态、消息状态、充电状态等。马达298将电信号转换为机械振动。
尽管未示出,电子装置200可包括用于支持移动TV的处理器(例如,GPU)的形式的处理单元。用于支持移动TV的处理单元可以例如根据数字多媒体广播(DMB)、数字视频广播(DVB)、媒体流等的标准对媒体数据进行处理。
根据本公开的各种实施例的电子装置的每个组件可用一个或更多个组件来实现,并且对应组件的名称可根据电子装置的类型而变化。根据本公开的各种实施例的电子装置可包括上述组件中的至少一个,可省略这些组件中的几个,或者可进一步包括附加的组件。此外,可组合根据本公开的各种实施例的电子装置的组件中的一些以形成单个实体,从而可等效地执行对应组件在组合之前的功能。
图3是示出示例程序模块的框图。根据示例,编程模块310(例如,程序150)可包括操作***(OS),其用于控制与电子装置(例如,电子装置101)和/或在操作***中执行的各种应用(例如,应用程序157)相关的资源。操作***可以例如是Android、iOS、Windows、Symbian、Tizen、Bada等。
程序模块310可包括内核320、中间件330、应用编程接口(API)360和/或应用370。程序模块310的至少一些可被预先加载在电子装置上,或者可从外部电子装置(例如,电子装置102、104或服务器106)下载。
内核320(例如,内核151)可包括例如***资源管理器321和/或装置驱动器323。***资源管理器321可执行***资源的控制、分配、检索等。根据本公开的示例,***资源管理器321包括进程管理器、存储器管理器、文件***管理器等。装置驱动器323可包括例如显示驱动器、相机驱动器、蓝牙驱动器、共享存储驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件330可以例如提供应用370共同需要的功能,或者通过API 360将各种功能提供给应用370以使得应用370可高效地使用电子装置内的有限的***资源。根据示例,中间件330(例如,中间件153)可包括例如下述至少一个:运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、功率管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351以及安全管理器352。
运行时库335可包括编译器使用的库模块,以便在应用370执行期间通过编程语言来添加新函数。运行时库335可执行输入/输出管理、存储器管理、用于算术函数的功能等。
应用管理器341可管理例如应用370中的至少一个的生命周期。窗口管理器342可管理用于屏幕的图形用户界面(GUI)资源。多媒体管理器342可确定再现各种媒体文件所需的格式,并且可通过使用适合于对应格式的编码器/解码器(编解码器)来对媒体文件进行编码或解码。资源管理器344可管理资源,诸如应用370中的至少一个的源代码、存储器、存储空间等。
功率管理器345可与基本输入/输出***(BIOS)一起操作以管理电池或功率,并且可提供用于操作电子装置所需的功率信息。数据库管理器346可产生、搜索和/或改变将被应用370中的至少一个使用的数据库。包管理器347可管理以包文件形式分布的应用的安装和更新。
连接管理器348可管理无线连接,诸如例如Wi-Fi或蓝牙。通知管理器349可以以不打扰用户的方式显示或通知事件(诸如,到达消息、约会、接近通知等)。位置管理器350可管理电子装置的位置信息。图形管理器351可管理将提供给用户的图形效果或者与该图形效果相关的用户接口。安全管理器352可提供***安全、用户认证等所需的各种安全功能。根据示例,当电子装置(例如,电子装置101)具有电话呼叫功能时,中间件330可进一步包括电话管理器,其用于管理电子装置的语音呼叫功能和/或视频呼叫功能。
中间件330可包括形成上述元件的各种功能的组合的中间件模块。中间件330可提供专用于每种类型的OS的模块以便提供差异化功能。此外,中间件330可动态地删除现有元素中的某些元素,或者可添加新的元素。
API 360(例如,API 155)是API编程功能的集合,并且可根据OS而被提供不同的配置。例如,在Android或iOS的情况下,可针对每个平台提供一个API集合。在Tizen的情况下,例如,可针对每个平台提供两个或更多个API集合。
应用370(例如,应用程序157)可包括例如可提供诸如以下的功能的一个或更多个应用:主页371、拨号器372、SMS/MMS应用373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、音频拨号器379、电子邮件380、日历381、媒体播放器382、相簿383、时钟384、医疗保健(例如,测量锻炼量或血糖)或环境信息(例如,大气压、湿度或温度信息)。
根据示例,应用370可包括支持电子装置(例如,电子装置101)和外部电子装置(例如,电子装置102或104)之间的信息交换的应用(以下,为方便描述,被称为“信息交换应用”)。与信息交换相关联的应用可包括例如用于将特定信息转发给外部电子装置的通知中继应用或者用于管理外部电子装置的装置管理应用。
例如,通知中继应用可包括将由电子装置101的其他应用(例如,SMS/MMS应用、电子邮件应用、保健应用、环境信息应用等)产生的通知信息递送给外部电子装置(例如,电子装置102或104)的功能。此外,通知中继应用可从例如外部电子装置接收通知信息,并将接收的通知信息提供给用户。
例如,装置管理应用可管理(例如,安装、删除或更新)与电子装置进行通信的外部电子装置(例如,电子装置102和104)的至少一个功能(例如,开启/关闭外部电子装置本身(或一些组件)的功能、或者调整显示器的亮度(或分辨率)的功能)、在外部电子装置中运行的应用或者外部电子装置提供的服务(例如,呼叫服务和消息服务)。
根据示例,应用370可包括根据外部电子装置102或104的属性指定的应用(例如,移动医疗电器等的医疗保健应用)。根据示例,应用370可包括从外部电子装置(例如,服务器106、或电子装置102或104)接收的应用。根据示例,应用370可包括预加载应用或可从服务器下载的第三方应用。根据上述示例的程序模块310的元件的名称可根据OS的类型而改变。
根据各种示例,程序模块310的至少一些可用软件、固件、硬件或者它们中的两个或更多个的组合来实现。程序模块310的至少一些可由例如处理器(例如,处理器210)实现(例如,执行)。程序模块310的至少一些可包括例如用于执行一种或多种功能的模块、程序、例程、指令集和/或进程。
如在此所使用的术语“模块”可以例如意指包括硬件、软件和固件或者它们中的两个或更多个的组合中的一个的单元。“模块”可与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换地使用。“模块”可以是集成组件元件或者其一部分的最小单元。“模块”可以是用于执行一种或多种功能的最小单元或者其一部分。“模块”可机械实现或电实现。例如,根据本公开的“模块”可包括下述至少一个:专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)以及用于执行已知或者以后将被开发的可编程逻辑器件。
根据各种示例,根据本公开的装置(例如,模块或者其功能)或方法(例如,操作)中的至少一些可用以编程模块形式存储在计算机可读存储介质中的命令来实现。指令在被处理器(例如,处理器130)执行时可使所述一个或更多个处理器执行与该指令对应的功能。计算机可读存储介质可以例如是存储器140。
计算机可读记录介质可包括硬盘、软盘、磁介质(例如,磁带)、光介质(例如,紧凑盘只读存储器(CD ROM)和数字多功能盘(DVD))、磁光介质(例如,软光盘)、硬件装置(例如,只读存储器(ROM)、随机访问存储器(RAM)、闪存)等。另外,程序指令可包括可在计算机中通过使用解释器执行的高级语言代码以及由编译器产生的机器代码。根据各种示例的前述硬件装置可被配置为作为一个或更多个软件模块进行操作以便执行本公开的操作,反之亦然。
根据各种示例的模块或编程模块(例如,处理电路)可包括前述组件中的一个或更多个,或者可进一步包括其他附加组件,或者可省略前述组件中的一些。根据各种示例的模块、编程模块或其他组件元件执行的操作可被顺序地、并行地、重复地、或者以启发式的方式执行。此外,一些操作可根据另一次序被执行,或者可被省略,或者其他操作可被添加。在此公开的示例被建议用于描述所公开的技术内容并且帮助理解这些内容,而不限制本公开中所描述的技术的范围。因此,本公开的范围应被解释为包括基于本公开的技术构思的所有修改或各种其他示例。在下文中,参照图4至图12提供与通过使用与外部电子装置(例如,电子装置102和104或服务器106)对应的对象来提供信息的设备和方法相关的信息。
在下文中,将参照图4和图5来描述实际使用环境和与实际使用环境对应的虚拟环境。图4示出实际使用环境400的示例,在实际使用环境400中,电子装置(例如,电子装置101)与外部电子装置(例如,电子装置102和104以及服务器106)在指定空间内链接,并且图5示出电子装置(例如,电子装置101)提供的虚拟环境500的示例。
参照图4,实际使用环境400可以是这样的环境,在该环境中,基于用户410所在的空间,位于一个空间内的多个电子装置彼此链接以向用户410提供信息。例如,如果用户410位于例如客厅里,则实际使用环境400可以是这样的环境,在该环境中,位于客厅里的多个电子装置401(413至445)向用户410提供信息。另举一例,尽管未示出,但是如果用户410位于办公室里,则实际使用环境400可以是通过位于办公室里的多个电子装置的链接向用户410提供信息的环境。
参照图4,用户410可在客厅里佩戴头戴式装置(HMD)401(例如,电子装置101),并看着客厅的部分区域490。例如,对于HMD 401而言的外部电子装置413至445可位于客厅里。外部电子装置413至445可以例如是电子手表413、电子纹身415、照明420、扬声器423-1和423-2、电视425、对讲机427、空调429、电子抽屉430、智能百叶窗433、智能电话440、平板PC443或膝上型PC 445。根据各种示例,外部电子装置413至445不限于前述装置,并且可包括各种电子装置。根据各种示例,电子装置401不限于示出的HMD 401,可以是能够向用户410提供视觉信息的各种装置。
根据示例,电子装置401和外部电子装置413至445中的至少一些可通过有线或无线通信彼此连接。例如,电子装置401和外部电子装置413至445中的至少一些可通过局域网(包括家用网络或装置对装置(D2D)通信)直接连接。
根据示例,外部电子装置413至445中的至少一些可输出信息(例如,通知或内容)。例如,电视425可输出视频465。平板PC 443可输出文本483。膝上型PC 445可输出文档485。此外,电子抽屉430可输出通知抽屉被打开的通知。智能电话440可输出通知文本消息被接收的通知。例如,通知可以是通知声音、振动、气味、光、与人的脑波对应的波或图像,并且外部电子装置413至445可输出前述通知中的至少一个,通过所述至少一个通知,用户能够识别外部电子装置413至445的状态或位置。
根据示例,基于已经或者即将通过外部电子装置413至445输出的信息,电子装置401可向用户410提供与该信息对应的内容连同虚拟环境。例如,可通过电子装置401以图像的形式提供电子抽屉430提供的并通知抽屉被打开的通知。例如,尽管未示出,图像可至少被显示在其中显示与显示在虚拟环境上的电子抽屉430对应的对象的区域的一部分中。
参照图5,根据示例,虚拟环境500可通过电子装置501(例如,在功能性地与电子装置501连接的显示器(例如,显示器170))提供。虚拟环境500可包括与实际使用环境(例如,实际使用环境400)相同或类似的图像(例如,静止图像或视频),在所述实际使用环境中,布置了电子装置501或对于电子装置501而言的外部电子装置。例如,如果实际使用环境是客厅,则虚拟环境500可包括关于客厅的图像(客厅的图片的图像或客厅的绘制图像)。另举一例,虚拟环境500可包括关于不同于实际使用环境的环境的图像。例如,电子装置501和用户510实际上所在的空间是“客厅”,但是虚拟环境500可包括“教室”。
根据示例,电子装置501可基于已经被提供(或将被提供)给用户510的内容或用户的输入来提供不同于实际空间的虚拟环境500。例如,如果用户510期望模拟“购物”,则电子装置501可提供关于购物商场的图像作为虚拟环境500的示例。作为另一示例,如果内容是电影内容,则电子装置501可提供电影院的图像作为虚拟环境500。根据示例,虚拟环境500可包括3D图像以及2D图像。
根据示例,与布置在电子装置501所在的空间(例如,客厅)中的外部电子装置413至445或者布置在不同于该空间的空间(未示出)中的其他外部电子装置之中的一个或更多个外部电子装置(在下文中,为方便描述,“候选电子装置”)对应的一个或更多个对象513至540(在下文中,为方便描述,候选对象)可显示在虚拟环境500上。
例如,外部电子装置413至445之中的布置在与用户510的注视对应的区域490(其被用户查看)中的电子手表413、电子纹身415、扬声器423-1和423-2、电视425、空调429、智能电话440以及智能百叶窗433可被选为候选电子装置。此外,例如,位于另一空间(例如,杂物间)处的通过局域网与电子装置501连接的洗衣机可被选为候选电子装置。将参照图6来描述关于选择候选电子装置的方法的附加信息。
候选对象513至547可以例如是与候选电子装置对应的图像、文本、视频或图标。根据示例,候选对象513至547可以是与候选电子装置的外观相关的图像。例如,候选对象513至547可包括与扬声器423-1和423-2的外观相同或类似的扬声器图像523-1和523-3、与电视425的外观相同或类似的电视图像525、不同于空调429的实际图像但是表示空调429的图像529、不同于智能百叶窗433的实际图像但是表示智能百叶窗433的图像533以及不同于智能电话440的实际图像但是表示智能电话440的图像540,例如,图标。
根据示例,候选对象515至547可包括例如候选电子装置的文本(例如,产品名称或标识信息)。例如,候选对象515至547可以是包括作为与电子纹身415对应的文本的“电子纹身”的输出窗口515。
根据示例,候选对象513至547可以是候选电子装置的图标。例如,候选对象513至547可包括表示电子手表413的电子手表图标513或者表示洗衣机的洗衣机图标547。
根据示例,候选对象513至547可显示在虚拟环境500的与对于电子装置501而言的候选电子装置的相对位置对应的区域上。用户510可在与客厅的左后侧对应的第一位置处使用作为电子装置510的HMD 501。用户510可与他/她的手臂上的电子纹身415附连,并用手握住智能电话440。因此,电子纹身415和智能电话440的位置可以与HMD 501的位置相同或类似。例如,与电子纹身415对应的电子纹身对象515和与智能电话440对应的智能电话对象540可作为候选对象显示在与虚拟环境500的左下侧对应的第一区域中。
例如,电视425可位于与客厅的中心前侧对应的第二位置处。在这种情况下,与电视425对应的电视对象525可作为候选对象显示在与虚拟环境500的中心前侧对应的第二区域中。例如,第一扬声器423-1和第二扬声器423-3可位于第三位置处,第三位置是客厅里的电视425的两侧。在这种情况下,分别与第一扬声器423-1和第二扬声器423-2对应的第一扬声器对象523-1和第二扬声器对象523-2可作为候选对象显示在第三区域上,第三区域是虚拟环境500中的电视525的两侧。
例如,空调479可位于与客厅的前侧对应的第四位置处。例如,与空调429对应的空调对象529可作为候选对象显示在与虚拟环境500的右中心侧对应的第四区域中。例如,智能百叶窗433可位于与客厅里的空调579的右前侧对应的第五位置处。在这种情况下,与智能百叶窗433对应的智能百叶窗对象533可作为候选对象显示在与虚拟环境500中的空调对象529的右上端对应的第五区域中。
根据示例,候选对象513至547可显示在虚拟环境500中指定的区域503上。例如,右下区域503可被指定为用于在虚拟环境500中显示候选对象513至547的区域。因此,与电子手表413对应的电子手表对象513和与洗衣机对应的洗衣机对象547可显示在被指定用于显示这些对象的区域503上。
根据示例,内容可通过在其上显示虚拟环境500中所显示的一个或更多个候选对象之中的至少一些对象(在下文中,为方便描述,目标对象)的区域提供。这些内容可对应于与一个或更多个候选电子装置之中的目标对象对应的至少一些电子装置(在下文中,为方便描述,被称为目标电子装置)将输出的信息。
例如,通过电子纹身415提供的与关于用户510的体温和压力程度的信息对应的文本565“体温:37℃,压力:90%”可通过在其上显示电子纹身对象515的区域来提供。例如,通过电视425将输出的内容465(例如,电影)可通过在其上显示作为目标对象的电视对象525的区域来提供。例如,与智能电话440将提供的关于文本消息的接收的通知信息对应的文本消息图标590可通过在其上显示作为目标对象的智能电话对象540来提供。例如,与洗衣机将输出的关于“洗衣完成”的通知信息对应的文本597可通过在其上显示作为目标对象的洗衣机对象547的区域的上侧区域来提供。
根据示例,在虚拟环境500中,用于控制目标电子装置的控制菜单(例如,图像、文本或图标)可通过在其上显示目标对象的区域提供。例如,用于打开或关闭智能百叶窗433的控制菜单583可通过在其上显示智能百叶窗对象533的区域来提供。
图6是示出包括在电子装置(例如,电子装置101)中的示例信息提供模块(例如,例如处理电路的形式的信息提供模块110)的框图。在下文中,将省略与图1至图5的部件相同或类似的部件的描述。参照图6,信息提供模块610可包括例如装置检查模块620、对象显示模块630、信息获取模块640、内容提供模块650以及装置控制模块660。根据示例,装置检查模块620、对象显示模块630、信息获取模块640、内容提供模块650以及装置控制模块660中的至少一些可用能够执行或者被配置为执行指定操作的硬件、软件或固件或者它们的任何组合来实现。
装置检查模块620可被配置为检查例如对于电子装置而言的一个或更多个外部电子装置(例如,电子装置102和104以及服务器106)之中的候选电子装置。根据示例,装置检查模块620可被配置为识别(例如,扫描)可与电子装置进行通信的一个或更多个外部电子装置。一个或更多个外部电子装置可以是通过网络(例如,网络162)或短距离通信(例如,短距离通信164)与电子装置连接的装置。
例如,装置检查模块620可被配置为通过Wi-Fi通信(或蓝牙、红外通信或短距离通信)将请求通信的请求信号发送到多个外部电子装置。装置检查模块620可被配置为从多个外部电子装置之中的可通过Wi-Fi通信进行通信的一个或更多个外部电子装置接收对请求信号的响应信号。因此,装置检查模块620可被配置为识别所述一个或更多个外部电子装置。例如,装置检查模块620可被配置为在不向所述多个外部电子装置请求通信的情况下接收从一个或更多个外部电子装置(包括在所述一个或更多个外部电子装置中的蓝牙低能(BLE)标签)发送(例如,广播)的信号。因此,装置检查模块620可识别所述一个或更多个外部电子装置。
根据示例,装置检查模块620可被配置为响应于用户使用(例如,穿戴)电子装置来识别一个或更多个外部电子装置。例如,如果电子装置是可穿戴式装置,则装置检查模块620可被配置为检查电子装置是否被用户穿戴。因此,如果电子装置被用户穿戴,则装置检查模块620可识别例如所述一个或更多个外部电子装置。另一方面,如果电子装置未被用户穿戴,装置检查模块620可以不识别例如所述一个或更多个外部电子装置。根据各种示例,装置检查模块620可基于各种用户输入(例如,与外部电子装置的识别相关的菜单项的选择)以及用户是否使用电子装置来识别一个或更多个外部电子装置。
根据各种示例,装置检查模块620可被配置为自动地识别一个或更多个外部电子装置。例如,装置检查模块620可被配置为周期性地(例如,大约每一个小时一次)识别一个或更多个外部电子装置。例如,装置检查模块620可响应于一个或更多个外部电子装置的操作来识别所述一个或更多个外部电子装置。例如,装置检查模块620可检测与所述一个或更多个外部电子装置的开启操作对应的信号。装置检查模块620可基于该信号来识别所述一个或更多个外部电子装置。
根据示例,装置检查模块620可被配置为从识别的一个或更多个外部电子装置选择候选电子装置。根据示例,装置检查模块620可被配置为将位于在离电子装置的指定范围内的电子装置选为候选电子装置。指定范围可以包括下述至少一个:例如,包括在电子装置中的传感器(例如,图像传感器)可检测的范围、可建立与电子装置的短距离通信(例如,短距离通信164)的范围、可建立与电子装置的指定信号强度或更大信号强度的通信的范围或者通过局域网彼此连接的范围。
例如,装置检查模块620可在识别的一个或更多个外部电子装置之中选择位于用户可视觉地识别的地方的电子装置作为候选电子装置。为此,装置检查模块620可被配置为通过包括在电子装置中的图像传感器来获取与用户的注视对应的位置处的图像。装置检查模块620可选择包括在图像中的一个或更多个电子装置作为候选电子装置。
例如,装置检查模块620可被配置为选择识别的一个或更多个外部电子装置之中的位于接近用户的电子装置作为候选电子装置。为此,装置检查模块620可选择下述一个或更多个电子装置作为候选电子装置,所述一个或更多个电子装置可与通过各种通信方法与电子装置连接的一个或更多个外部电子装置之中的电子装置建立短距离通信(例如,Wi-Fi、蓝牙或红外通信)。
例如,电子装置可包括红外通信模块,其可与对应于指定方向的外部电子装置进行通信。装置检查模块620可通过使用红外通信模块来选择位于沿期望方向的外部电子装置作为候选电子装置。例如,装置检查模块620可通过红外通信从位于沿与红外通信模块对应的方向的一个或更多个外部电子装置接收红外信号。例如,装置检查模块620可选择所述一个或更多个外部电子装置作为候选电子装置。
此外,装置检查模块620可被配置为在识别的一个或更多个外部电子装置之中选择例如一个或更多个电子装置作为候选电子装置,其中,在所述一个或更多个电子装置中,电子装置与一个或更多个外部电子装置之间的通信信号强度是指定信号强度或更大(例如,当信号强度分为高、中和低时的高)。
此外,例如,识别的一个或更多个外部电子装置可通过各种网络被连接在电子装置内。例如,装置检查模块620可在一个或更多个外部电子装置之中选择通过局域网(例如,家庭网络)连接的一个或更多个电子装置作为候选电子装置。
根据示例,装置检查模块620可被配置为基于输入(诸如例如用户输入)来选择候选电子装置。例如,装置检查模块620可被配置为通过在功能性地与电子装置连接(例如,包括在电子装置中)的眼睛识别传感器来识别例如用户对电子装置的注视。装置检查模块620可被配置为在一个或更多个外部电子装置之中选择与用户的注视对应的电子装置作为候选电子装置。此外,例如,装置检查模块620可被配置为通过在功能性地与电子装置连接的图像传感器来识别例如用户的运动(例如,用用户的手或手指指示电子装置的运动)。装置检查模块620可选择与运动对应的电子装置(例如,用户的手或手指指示的电子装置)作为候选电子装置。
根据示例,装置检查模块620可被配置为基于一个或更多个可通信的外部电子装置的操作状态来选择候选电子装置。例如,装置检查模块620可被配置为一个或更多个外部电子装置之中选择正在输出(或将要输出)信息(例如,内容、声音、气味、光线、无线电波或振动)的电子装置作为候选电子装置。例如,装置检查模块620可被配置为通过有线或无线通信获取例如关于外部电子装置的、关于一个或更多个外部电子装置是否正在输出信息的操作信息。基于该操作信息,装置检查模块620可选择正在输出该信息的电子装置作为候选电子装置。
例如,装置检查模块620可被配置为通过图像传感器来获取例如通过显示器输出视频的第一外部电子装置的图像以及不输出信息的第二外部电子装置。例如,基于这些图像,装置检查模块620可选择第一外部电子装置作为候选电子装置。
对象显示模块630可被配置为显示与候选电子装置对应的候选对象。根据示例,对象显示模块630可被配置为通过在功能性地与电子装置连接的显示器(例如,显示器170)来显示用于显示候选对象的虚拟环境(例如,虚拟环境500)。根据示例,对象显示模块630可被配置为基于对于电子装置的至少一个输入来在多个虚拟环境之中选择将通过电子装置显示的虚拟环境。对象显示模块630可被配置提供选定的虚拟环境。根据示例,对象显示模块630可被配置为通过显示器来显示通过候选电子装置或另一外部电子装置获取的虚拟环境。例如,对象显示模块630可被配置为基于候选电子装置和电子装置之间的通信连接或者用户的请求来通过候选电子装置获取虚拟环境。下面将参照图7来描述关于提供虚拟环境的方法的附加信息。
根据示例,对象显示模块630可被配置为在虚拟环境内显示候选对象。例如,对象显示模块630可通过与实际使用环境中的候选电子装置的位置对应的区域或者被指定用于显示候选对象的区域(例如,区域503)来显示候选对象。
根据示例,对象显示模块630可被配置为基于候选对象或虚拟环境的处理信息来不同地显示候选对象。处理信息可以例如包括关于用户对候选电子装置的注视停留的时间或者与电子装置的通信连接(配对)的程度的信息。根据示例,对象显示模块630可被配置为以根据用户对候选电子装置的注视停留的时间或者通信连接状态而指定的色度、照度、亮度、明暗、透明度、颜色、形状、抖动、运动或大小来显示候选对象。例如,如果用户观看候选电子装置第一时间(例如,大约5秒),则对象显示模块630可被配置为以第一颜色(例如,黑色和白色)显示候选对象,如果用户观看候选电子装置第二时间(例如,大约30秒),则对象显示模块630可以以第二颜色(例如,彩色)显示候选对象。
例如,对象显示模块630可被配置为根据电子装置和候选电子装置之间的通信连接状态以不同的大小显示候选对象。例如,通信连接状态可分为“通信连接尝试”、“进行中的通信连接”以及“通信连接完成”。如果电子装置和候选电子装置之间的通信连接状态是“通信连接尝试”,则对象显示模块630可被配置为以第一大小显示候选对象。如果电子装置和候选电子装置之间的通信连接状态变为“进行中的通信连接”,对象显示模块630可将候选对象的大小变为大于第一大小的第二大小。如果电子装置和候选电子装置之间的通信连接状态变为“通信连接完成”,则对象显示模块630可将候选对象的大小变为大于第二大小的第三大小。
为方便描述,通信连接状态分为三个步骤(例如,“通信连接尝试”、“进行中的通信连接”以及“通信连接完成”),但是可根据各种示例各式各样地设置。例如,通信连接状态可分为四个步骤,即,“通信连接尝试”、“通信连接进行40%”、“通信连接进行80%”以及“通信连接完成”。将参照图11来描述关于以指定格式显示候选对象的方法的附加信息。
根据示例,对象显示模块630可被配置为显示指示对候选对象或与候选对象相关的虚拟环境进行处理的程度的用户界面(例如,进度条或加载条)。例如,对象显示模块630可被配置为在其中显示候选对象的区域中显示进度条,该进度条用于显示用户对候选对象的注视停留的时间。如果用户对候选对象的注视停留第一时间(例如,大约5秒),则对象显示模块630可显示指示第一百分比(例如,大约30%)的第一进度条。此外,如果用户对候选对象的注视停留长于第一时间的第二时间(例如,大约15秒),则对象显示模块630可显示指示大于第一百分比的第二百分比(例如,大约90%)的第二进度条。
根据示例,对象显示模块630可被配置为不同地显示多个候选对象以使得所述多个对象彼此有所区别。对象显示模块630可被配置为以不同的频率、颜色或亮度显示例如多个候选对象以使得所述多个候选对象通过用户观看所述多个候选对象的脑波信号而被辨别。例如,对象显示模块630可被配置为检查显示器的用于显示第一候选对象的第一区域以及显示器的用于显示第二候选对象的第二区域。对象显示模块630可被配置为通过第一区域以第一频率(例如,大约60.2Hz)显示第一候选对象,并且通过第二区域以第二频率(例如,大约60.4Hz)显示第二候选对象。
例如,对象显示模块630可被配置为以第一颜色(例如,红色)显示第一候选对象并且以第二颜色(例如,蓝色)显示第二候选对象。此外,对象显示模块630可被配置为以第一亮度(例如,大约2勒克斯)显示第一候选对象并且以第二亮度(例如,大约5勒克斯)显示第二候选对象。
信息获取模块640可被配置为获取例如将通过与一个或更多个候选对象之中的目标对象对应的目标电子装置输出的(或者当前通过该目标电子装置输出的)信息(例如,视频465、文本483和文本消息485)。根据示例,信息获取模块640可被配置为基于用户的输入(例如,手势、触摸或眼睛)、候选电子装置的执行信息或者关于候选电子装置的运动信息来确定目标对象。
例如,信息获取模块640可被配置为基于用户的输入来检查用户的注视。如果用户的注视对应于第一候选对象,则信息获取模块640可被配置为确定第一候选对象作为目标对象。如果用户的注视对应于第二候选对象,则信息获取模块640可确定第二候选对象作为目标对象。
例如,如果电子装置是HMD,则信息获取模块640可被配置为通过在功能性地与电子装置连接(例如,包括在电子装置中)的运动传感器,基于用户的输入来识别用户的头部的运动(例如,旋转)。如果运动对应于与第一候选对象对应的第一运动(例如,头部沿与第一候选对象对应的第一方向旋转),则信息获取模块640可确定第一候选对象作为目标对象。如果运动对应于与第二候选对象对应的第二运动(例如,头部沿与第二候选对象对应的第二方向旋转),则信息获取模块640可确定第二候选对象作为目标对象。例如,电子装置(例如,电子装置101)可使用传感器模块240中的手势传感器240A、陀螺仪传感器240B以及加速度传感器240E中的至少一个作为运动传感器。
例如,信息获取模块640可被配置为基于作为用户的输入的、用户的生物识别信息(例如,脑波)来确定目标对象。例如,可根据用户观看的视觉信息(例如,视觉信息的输出频率、颜色或亮度)来不同地测量用户的脑波。例如,如果第一图像在显示器上以第一频率(例如,大约60.2Hz)输出,则用户观看第一图像的脑波可以是第一信号。此外,如果第二图像在显示器上以第二频率(例如,大约60.4Hz)输出,则用户观看第二图像的脑波可以是第二信号。因此,信息获取模块640可被配置为通过使用通过在功能性地与电子装置连接的脑波识别传感器获取的脑波来检查用户观看的、与第一图像和第二图像之间的脑波对应的图像。
例如,对象显示模块630可被配置为通过显示器以第一频率显示第一候选对象,并且通过显示器以第二频率显示第二候选对象。在这种情况下,信息获取模块640可被配置为获取用户的脑波。如果用户的脑波是与第一频率对应的第一信号,则信息获取模块640可被配置为确定第一候选对象作为目标对象。如果用户的脑波是与第二频率对应的第二信号,则信息获取模块640可被配置为确定第二候选对象作为目标对象。
例如,信息获取模块640可被配置为检查作为执行信息的、关于候选电子装置接收通知的信息。因此,信息获取模块640可被配置为确定与候选电子装置对应的候选对象作为目标对象。例如,信息获取模块640可被配置为检查作为执行信息的、关于作为候选电子装置的洗衣机完成洗衣的信息。因此,信息获取模块640可确定与洗衣机对应的洗衣机对象作为目标对象。
信息获取模块640可被配置为检查例如关于一个或更多个候选电子装置的运动信息。例如,如果运动信息对应于指定运动信息,则对象显示模块630可被配置为确定与候选电子装置对应的候选对象作为目标对象。例如,如果佩戴电子手表的用户沿用户的面部的方向抬起他/她的手臂,则信息获取模块640可被配置为确定用户意图检查电子时钟。因此,与电子手表沿向上方向的移动对应的运动信息可被设置为指定运动信息。例如,包括在电子手表中的运动传感器可检测与电子手表沿向上方向的移动对应的运动信息。例如,信息获取模块640可从电子手表获取运动信息。信息获取模块640可基于运动信息来确定电子手表作为目标电子装置。
根据示例,关于一个或更多个候选电子装置的运动信息可用各种传感器来检查,诸如在功能性地与所述一个或更多个候选电子装置或电子装置连接的图像传感器以及包括在所述一个或更多个候选电子装置中的运动传感器。
根据示例,信息获取模块640可被配置为确定包括一个或更多个作为目标对象的候选对象的组,并且还确定每个候选对象作为目标对象。该组可基于下述至少一个来确定:例如,用户的输入、在其中显示候选对象的区域以及候选电子装置的功能。
例如,基于用户的输入(例如,触摸输入),第一至第三候选对象可被确定为第一组,第四和第五候选对象可被确定为第二组。例如,位于虚拟环境的第一区域中的第一和第二候选对象可被确定为第一组,位于虚拟环境的第二区域中的第三至第五候选对象可被确定为第二组。
例如,与在其中执行相关功能的一个或更多个候选电子装置对应的一个或更多个候选对象可被确定为一组。例如,与用于输出视频的监视器对应的监视器对象以及与用于输出对应于该视频的声音的扬声器对应的扬声器对象可被确定为一组。此外,与用于控制游戏的游戏机对应的游戏机对象、与用于显示该游戏的图像的监视器对应的监视器对象以及与用于输出用于该游戏的声音的扬声器对应的扬声器对象可被确定为一组。
根据示例,信息获取模块640可被配置为获取将通过与目标对象对应的目标电子装置输出的信息。例如,电影可以当前通过目标电子装置输出。信息获取模块640可被配置为获取关于当前输出的电影的至少一部分(目标电子装置输出的一部分的下一个部分)的信息。例如,当通知(例如,当目标电子装置是智能电话时,接收到文本消息的通知)被目标电子装置输出(或者将被目标电子装置输出)时,信息获取模块640可接收关于该通知的信息。例如,当作为目标电子装置的智能电话接收到文本消息时,智能电话可能需要输出下述至少一个:与文本消息的接收对应的铃声、振动、文本消息内容以及文本消息发送者信息。例如,信息获取模块640可被配置为获取下述至少一个:指示文本信息被接收到的信息、文本消息内容以及文本消息发送者信息。
根据示例,信息获取模块640可被配置为通过无线或有线通信(例如,D2D通信)从目标电子装置直接获取信息。此外,根据另一示例,信息获取模块640可被配置为通过与目标电子装置连接的另一电子装置(例如,电子装置102和104以及服务器106)获取关于目标电子装置的信息。例如,信息获取模块640可通过管理将被目标电子装置输出的信息的服务器来获取信息。
内容提供模块650可被配置为通过在其上显示目标对象的区域(例如,在显示区域或者靠近显示区域的区域内)提供例如与获取的信息对应的内容。根据示例,内容提供模块650可被配置为确定与获取的信息对应的内容。例如,当获取的信息是关于通知的信息时,内容提供模块650可被配置为确定与该通知相关的图像、视频、文本、图标、声音或振动作为与该通知对应的内容。
根据示例,获取的信息可以是关于目标电子装置输出的内容(例如,视频、图像或文本)的信息。例如,内容提供模块650可被配置为确定与目标电子装置输出的内容相同或类似的内容或者通过对目标电子装置输出的内容的至少一部分进行处理(例如,改变数据的格式、分辨率或大小)而获取的内容,作为与该信息对应的内容。
例如,获取的信息可以是关于第二部分的信息,所述第二部分是当前通过目标电子装置输出的电影的第一部分的下一个部分。例如,内容提供模块650可被配置为确定电影的第二部分作为与该信息对应的内容。例如,作为获取的信息的视频的数据格式可以是第一数据格式。例如,内容提供模块650可被配置为确定其数据格式从第一数据格式变为第二数据格式的视频作为与该信息对应的内容。
根据示例,内容提供模块650可被配置为将内容提供给在其上显示目标对象的区域、靠近在其上显示目标对象的区域(或者与该区域连接)的区域、或者与在其上显示目标对象的区域对应的方向。例如,当目标对象是电视的图像时,内容提供模块650可被配置为在包括在电视图像中的部分区域(例如,与电视的显示器对应的图像部分)上显示内容。例如,如果目标对象是目标电子装置的图标(例如,洗衣机图标547),则内容提供模块650可被配置为在图标的上边、下边、左边或右边区域上显示内容(例如,内容597)。例如,内容提供模块650可被配置为将内容与连接目标对象和内容的视觉信息(例如,连接线)一起显示。例如,内容提供模块650可在不同于目标区域的区域上显示内容,然后将内容移到在其上显示目标对象的区域。
例如,电子装置可包括第一扬声器和第二扬声器,第一扬声器位于显示器的第一方向(例如,右侧)上,第二扬声器位于电子装置的第二方向(例如,左侧)上。第一目标对象可显示在与显示器的第一方向对应的区域上。在这种情况下,内容提供模块650可被配置为通过第一扬声器输出的声音比通过第二扬声器输出的声音响亮,以使得用户识别到就好像作为内容的声音是沿与第一目标对象对应的第一方向输出的一样。否则,内容提供模块650可被配置为仅通过第一扬声器输出声音。
第二目标对象可显示在与显示器的第二方向对应的区域上。例如,内容提供模块650可通过第二扬声器输出比通过第一扬声器输出的声音更响亮的声音,以使得用户识别到就好像作为内容的声音是沿与第二目标对象对应的第二方向输出的一样。否则,内容提供模块650可仅通过第二扬声器输出声音。
根据示例,内容提供模块650可被配置为通过在其上显示与目标电子装置对应的目标对象的区域提供通过不同于目标电子装置的电子装置获取的另一信息。例如,与提供给在其上显示与目标电子装置对应的目标对象的区域的内容相关的信息(例如,当内容是视频演讲时,是关于演讲的书写内容)可通过不同于目标电子装置的电子装置获取。例如,内容提供模块650可被配置为将与所述内容相关的信息提供给在其上显示目标对象的区域(或者靠近该区域的区域)。将参照图10来描述提供通过另一电子装置获取的信息的方法。
根据示例,内容提供模块650可被配置为基于电子装置的外部环境信息(例如,外部对象识别)来控制(例如,临时停止或关闭)内容的提供。例如,内容提供模块650可被配置为在提供内容的同时,通过在功能性地与电子装置连接的图像传感器来检查例如作为外部环境信息的、位于电子装置周围(例如,在大约1m内)的人。例如,内容提供模块650可被配置为停止提供内容以便使得能够使用电子装置来识别人位于相邻区域中。否则,内容提供模块650可被配置为显示指示人位于相邻区域中的信息。例如,内容提供模块650可显示与人对应的图像(例如,这个人的图片)或文本。
装置控制模块660可被配置为控制例如与目标对象对应的目标电子装置的功能。根据示例,装置控制模块660可被配置为控制目标电子装置的输出功能。例如,与通过目标电子装置通过内容提供模块650输出的(例如,当前输出的)信息对应的内容可通过电子装置输出。因此,该信息可通过目标电子装置来提供,并且与该信息对应的内容可由电子装置同时提供。用户可能难以同时检查通过目标电子装置输出的信息和由电子装置提供的内容。
因此,当用户使用电子装置时,装置控制模块660可被配置为控制目标电子装置以使得该信息不通过目标电子装置输出。另一方面,当用户不使用电子装置时,装置控制模块660可被配置为控制目标电子装置以使得信息通过目标电子装置输出。此外,装置控制模块660可被配置为停止电子装置输出关于信息的内容。
例如,如果电子装置是可穿戴式电子装置,则装置控制模块660可被配置为基于电子装置被用户穿戴来确定电子装置是否被使用。例如,内容可由电视提供,电视是对于电子装置而言的外部电子装置。如果电子装置是HMD,则装置控制模块660可检查HMD是否被用户穿戴。
如果HMD被用户穿戴,则装置控制模块660可被配置为控制电视以使得内容不通过电视提供(仅关闭电视的屏幕)或者关闭电视。然后,如果HMD脱离用户,则装置控制模块660可控制电视或开启电视以使得内容再次通过电视输出。下面将参照图8来描述控制目标电子装置的方法。
根据示例,装置控制模块660还可被配置为控制(关闭)对于电子装置而言的另一外部电子装置以及目标电子装置的操作。例如,装置控制模块660可被配置为当电子装置被用户使用时,关闭位于电子装置周围的照明以及电视的至少一些功能(仅关闭电视的屏幕输出功能)。另一方面,装置控制模块660可被配置为当电子装置未被用户使用时再次开启照明和电视。
根据示例,装置控制模块660可被配置为提供用于控制通过目标电子装置或者与目标对象相关的电子装置输出的内容的控制菜单。例如,当目标电子装置是照明时,装置控制模块660可被配置为在其上显示照明对象的区域上显示与“关闭”和“开启”照明的功能对应的控制菜单项。当用户选择与“关闭”对应的控制菜单项时,装置控制模块660可被配置为控制照明以使得照明被关闭。下面参照图8来描述提供控制菜单项的方法。
根据示例,装置控制模块660可被配置为将通过目标对象输出的内容或者与这些内容相关的信息(例如,关于这些内容的一些内容或链接信息)发送到与另一目标对象对应的电子装置。因此,该信息的至少一些可通过与另一目标对象对应的电子装置提供。例如,装置控制模块660可被配置为选择广告图像的至少一部分,所述广告图像是通过在其上显示第一目标对象的区域提供的内容。
根据示例,装置控制模块660可被配置为基于用户对在其上显示第二目标对象的区域的输入(例如,从第一目标对象到第二目标对象的拖动或者用户的注视从第一目标对象到第二目标对象的移动)来将与对应于广告图像的广告产品相关的链接信息发送到与第二目标对象对应的目标电子装置。下面将参照图9来描述发送内容或者与这些内容相关的信息的方法。
图7示出通过电子装置(例如,电子装置101)提供的用户界面(例如,虚拟环境500)的示例。参照图7,用户710所在的客厅的背景可通过电子装置701的显示器703被作为虚拟环境705(例如,虚拟环境500)的背景显示。根据示例,可通过设置在客厅里的电视输出的内容709可通过与电视对应的电视对象707输出。例如,用户710可与由实际客厅里的实际电视提供的内容709相同地或类似地通过通过虚拟环境705内的电视对象707来观看内容709。
根据示例,可通过其改变虚拟环境705的背景的选择菜单720可通过虚拟环境705而被提供给用户710。例如,当显示在虚拟环境705内的电视对象707以第一深度效果(或三维效果)显示时,选择菜单720可以以第二深度效果显示。例如,具有第二深度效果的选择菜单720可被识别为比具有第一深度效果的电视对象707更靠近用户710。根据示例,选择菜单720的显示透明度可以高于虚拟环境705内的其他对象。
选择菜单720可包括例如具有演讲室的背景的第一菜单项721、具有会议室的背景的第二菜单项723、以及具有咖啡馆的背景的第三菜单项725、或者其他菜单项(未示出)。根据示例,第一菜单项721至第三菜单项725可基于用户710的注视或手势而沿特定方向729(例如,向右方向)移动。例如,在图7中,第一菜单项721、第二菜单项723以及第三菜单项725沿向右方向(例如,特定方向729)从左侧起顺序地布置,但是第三菜单项725、第一菜单项721以及第二菜单项723可根据用户710的输入顺序地从左侧到右侧布置。
根据示例,第二菜单项723可通过用户710的注视或手势而被选择。例如,用户710可通过观看第二菜单项723预定时间或者通过触摸第二菜单项723来选择第二菜单项723。根据示例,电子装置701可向用户710提供通知第二菜单项723被选择的视觉信息。例如,电子装置701可将第二菜单项723显示得大于第一菜单项721或第三菜单项725,将第二菜单项723显示得强于第一菜单项721或第三菜单项725,将第二菜单项723显示为闪烁,或者用阴影显示第二菜单项723。
图8示出通过电子装置(例如,电子装置101)提供的用户界面(例如,虚拟环境500)的示例。与图7的部分相同或类似的部分的描述将被省略,并且与图7的部分相同或类似的部分的标号将用相同的或类似的标号表示。
参照图8,可通过设置在用户810所在的实验室800中的实际电视851提供的内容809(例如,内容709)可通过虚拟环境805(例如,虚拟环境705)中的电视对象807(例如,电视对象707)来提供。例如,如果用户810穿戴电子装置801(例如,电子装置701),则电子装置801可将内容809显示在通过电子装置801显示的虚拟环境805的至少部分区域内。
根据示例,如果内容809(例如,广播或电子节目指南(EPG))通过电视对象807显示,则电视851可连续地输出内容809,但是也可停止提供内容809并且提供默认图像849。默认图像849可包括例如这样的图像(例如,黑色数据),该图像的数据量小于内容809的数据量,或者该图像消耗的电流量小于在内容809被输出的情况下消耗的电流量。例如,如果内容809通过电视对象807显示,则电视851的至少一些功能(例如,仅电视的屏幕输出功能)可被关闭,而电视851的一些其他功能(等待电子装置101提供的信号的接收的操作)可被执行。根据示例,如果内容809通过电视对象807显示,则电视851可被关闭。
根据示例,可通过其控制电视851的控制菜单830可通过虚拟环境805而被提供给用户810。例如,控制菜单830可包括频道菜单837,通过频道菜单837,可改变电视851的频道。尽管未示出,但是控制菜单830可包括各种菜单项,包括音量、屏幕分辨率、暂停、播放、快进、后退或快速播放。例如,如果显示在虚拟环境805内的电视对象807以第一深度效果(或三维效果)显示,则选择菜单830可以以第二深度效果显示,或者显示的透明度高于其他对象。
用户810可通过形成在电子装置801中的硬按键803来选择电视851的频道。否则,用户810可通过观看显示在虚拟环境805内的第一至第三频道信息831、833和835中的至少一个或者用手指触摸所述至少一个信息预定时间来选择例如电视851的频道。根据示例,第一频道信息831至第三频道信息835可基于用户810的注视或手势而沿特定方向829(例如,向左方向)移动。
根据示例,顺序布置的第一至第三频道信息831、833和835可基于选定的第二频道信息833而以不同的大小显示。例如,选定的第二频道信息833可被最大地显示,并且未被选择的第一频道信息831和第三频道信息835可被相较于第二频道信息833而言相对较小地显示。根据示例,其他未被选择的频道信息在远离选定的第二频道信息833时被显示为逐渐变小。
图9示出通过电子装置(例如,电子装置101)提供的用户界面(例如,虚拟环境500)的示例。与图7或图8的部分相同或类似的部分的描述将被省略,并且与图7或图8的部分相同或类似的部分的标号将用相同的或类似的标号表示。
参照图9,可在与办公室900对应的虚拟环境905(例如,虚拟环境705)中提供可通过监视器951或者通过与实际监视器951对应的监视器对象907提供的内容909(例如,内容709)。根据示例,可在虚拟环境905中显示图标951,其中,通过图标951,与内容909相关的信息可,发送到实际笔记本计算机960。
图标951可显示在例如监视器对象907的内容909显示在其上的至少部分区域上。根据示例,图标951可以以表示运输装置(例如,汽车、大车、自行车、火车或车轮)的图像或文本的形式显示。根据示例,如果用户910触摸图标951或者观看图标951预定时间,则图标951可被启动。根据示例,如果图标951被启动,则图标951可闪烁、被显示为更粗、被显示为更大、或者细微地移动。例如,如果图标951的形状像大车,该大车可在沿特定方向929(例如,前向方向)向前移动的同时将车轮滚动到位。
根据示例,如果图标951基于用户910的注视或手势而被移到与笔记本计算机960对应的笔记本计算机对象961,则与内容909相关的信息可被发送到笔记本计算机960。与内容909相关的信息可包括例如下述内容中的至少一些内容:当前通过监视器对象907显示的内容909、关于内容909的链接信息以及关于内容909中所包括的图像、术语或文本的详细信息。
图10示出通过电子装置(例如,电子装置101)提供的用户界面(例如,虚拟环境500)的示例。与图7至图9的部分相同或类似的部分的描述将被省略,并且与图7至图9的部分相同或类似的部分的标号将用相同的或类似的标号表示。
参照图10,用户101可使用在网络空间1000内的第一电子装置1001(例如,电子装置101)、第二电子装置1031以及第三电子装置1051。网络空间1000表示例如这样的环境,在该环境中,多个电子装置通过使用有线或无线通信彼此链接以将信息提供给用户1010或者从用户1010获取信息。
根据示例,可通过第三电子装置1051(例如,监视器951)输出的第一内容1009(例如,教育内容)可通过对象1007(例如,监视器对象907)的至少部分区域来提供,对象1007设置在通过第一电子装置1001的显示器显示的虚拟环境1005内。根据示例,用户1010可通过第二电子装置1031执行作为第二内容1033的备忘录应用。例如,第二内容1033可通过对象1007与第一内容1009一起提供。例如,第一内容1009可通过对象1007的第一区域1007-1(例如,对象1007的左边部分)来提供,第二内容1003可通过对象1007的第二区域1007-3(例如,对象1007的右边部分)来提供。
根据示例,如果用户1010通过第二电子装置1031的备忘录应用输入特定内容,则这些特定内容可通过对象1007显示。例如,如果第二电子装置1031从用户1010接收到短语“Hello!”,则第一电子装置1001可在对象1007的在其上显示第二内容1033的第二区域1007-3上显示短语“Hello!”1035。
根据示例,如果用户1010不输入附加短语预定时间或者输入短语输入完成的命令,则第一电子装置1001可在对象1007上同时显示短语1035。例如,短语“Hello!”1035可通过电子装置1001的显示器(例如,通过使用针对一个垂直方向的时钟提供的一个帧)同时输出。根据各种示例,响应于用户1010的短语的输入,第一电子装置1001可立即通过显示器显示短语1035。例如,如果用户1010将“H”输入到第二电子装置1031中,则第一电子装置1001可响应于“H”的输入来通过显示器输出“H”。接着,如果用户1010顺序地输入“e”、“l”、“l”、“o”和“!”时,第一电子装置1001可响应于相应的输入来通过显示器顺序地显示相应的字符。
根据示例,在其上显示短语1035的外部电子装置1031的实际使用环境可对应于显示在监视器对象1007上的虚拟环境1005。例如,如果短语1035显示在备忘录应用的中心区域上,则短语1035可显示在监视器对象1007的第二区域1007-3的中心区域上。如果短语1035通过外部电子装置1031以第一大小输入,则短语1035可在监视器对象1007上以与第一大小的比率对应的第二大小(例如,第一大小的大约两倍)显示。例如,如果短语1035通过外部电子装置1031被更大地输入,则该短语可在监视器对象1007的第二区域1007-3上更大地显示。
根据示例,第一电子装置1001可自动地或者基于用户的输入来在第二内容1033上显示第一内容1009的至少一些内容1009-1,其中,第一内容1009通过对象1007的第一区域1007-1输出,第二内容1033通过对象1007的第二区域1007-3输出。例如,第一电子装置1001可基于各种情况自动地将至少一些内容1009-1备份在第二内容1033中,所述各种情况也就是下述情况,即,至少一些内容1009-1包括用户1010指定的特定项,至少一些内容1009-1的重要性较之于其他内容的重要性而言相对更高,并且至少一些内容1009-1没有通过对象1007适当地显示。
根据示例,如果至少一些内容1009-1通过对象1007的在其上显示第二内容1003的第二区域1007-3显示,则至少一些内容1009-1也可显示在第二电子装置1031的显示器上。根据示例,第一电子装置1001可将至少一些内容1009-1发送到第二内容1033,以使得至少一些内容1009-1可通过第二电子装置1031显示或存储。
根据示例,如果至少一些内容1009-1通过第二内容1033显示,则第三电子装置1051可具至少一些内容1009-1的附加信息1053。例如,第三电子装置1051可从第一电子装置1001或第二电子装置1031获取指示至少一些内容1009-1通过第二电子装置1031显示或存储的信息作为至少一些内容1009-1的附加信息1053。根据示例,如果用户1010基于用户1010的注视或手势选择至少一些内容1009-1,则第三电子装置1051可通过第三电子装置1051的显示器显示附加信息1053。
如上所述,在网络空间1000内,通过第一电子装置1001至第三电子装置1051中的至少一个提供的信息可通过另一电子装置共享,并且通过第一电子装置1001至第三电子装置1051中的至少一个获取的信息也可通过另一电子装置显示或存储。
图11示出通过电子装置(例如,电子装置101)提供的用户界面(例如,虚拟环境500)的示例。参照图11,例如,为了形成与客厅1130对应的虚拟环境1105,用户1110可在穿戴电子装置1101(例如,电子装置101)的同时沿预定方向1135(例如,从左到右)扫描客厅1130。
例如,布置在客厅1130中的电子花盆1141、台式计算机1143、监视器1145和键盘1147可被电子装置1101发现,并且分别作为第一至第四对象1141-1、1143-1、1145-1和1147-1显示在虚拟环境1105内与它们的实际空间对应的位置处。
根据示例,电子装置1101在产生虚拟环境1105时可根据虚拟环境1105的处理程度来不同地显示用户界面1150和1170。第一用户界面1150可以例如根据处理程度改变虚拟环境1105的透明度。例如,如果处理程度约为10%,则虚拟环境1105的透明度1151可具有第一透明度,第一透明度具有最不清晰的透明度。如果处理程度约为50%,则虚拟环境1105的透明度1153可具有第二透明度,第二透明度具有高于第一透明度的中间透明度。如果处理程度约为80%,则虚拟环境1105的透明度1155可具有第三透明度,第三透明度具有最高透明度。根据示例,由第一用户界面1150提供的虚拟环境1105的透明度可根据处理程度从大约0%逐渐地变到大约100%。
第二用户界面1170可以例如基于处理程度来改变通过电子装置1101的显示器输出的虚拟环境1105的区域。例如,如果处理程度约为10%,则向用户1110显示的虚拟环境1105的区域1171可具有第一区域,第一区域是最窄的区域。如果处理程度约为50%,则虚拟环境1105的区域1173可具有第二区域,第二区域具有比第一区域宽的中间区域。如果处理程度约为80%,则虚拟环境1105的区域1175可具有第三区域,第三区域具有最宽区域。根据示例,由第二用户界面1170提供的虚拟环境1105的区域可基于处理程度从大约0%逐渐变到大约100%。
在图11中,虚拟环境1105的处理程度用透明度或示出区域来表示,但是根据各种示例,虚拟环境1105的处理程度用色度、照度、亮度、颜色、明暗、抖动、运动等各式各样地表示。
根据各种示例,用于通过虚拟环境(例如,虚拟环境500)共享信息的电子装置(例如,电子装置101)可包括显示器(例如,显示器170)以及在功能性地与显示器连接的、例如处理电路的形式的信息提供模块(例如,信息提供模块110),信息提供模块可通过显示器显示与对于电子装置而言的外部电子装置对应的对象,获取将通过外部电子装置输出的信息,并通过在其上显示该对象的区域提供与该信息对应的内容。
根据各种示例,信息提供模块可检查对于电子装置而言的多个外部电子装置,并基于用户的输入或者所述多个外部电子装置的功能在所述多个外部电子装置之中选择外部电子装置。
根据各种示例,信息提供模块可检查对于电子装置而言的多个外部电子装置,并确定所述多个外部电子装置之中的当前操作的电子装置作为外部电子装置。
根据各种示例,至少一个对象可包括针对所述外部电子装置的外观的图像、与所述外部电子装置对应的图标以及与所述外部电子装置对应的文本中的至少一个。
根据各种示例,信息提供模块可获取相对于电子装置而言的外部电子装置的相对位置,并且如果相对位置是第一位置,则信息提供模块可在显示器的第一区域上显示对象,如果相对位置是第二位置,则信息提供模块可在显示器的第二区域上显示对象。
根据各种示例,信息提供模块可检查用户对电子装置的注视停留在对象上的时间,并且如果该时间是第一时间,则信息提供模块可以以第一格式显示对象,如果该时间是第二时间,则信息提供模块可以以第二格式显示对象。
根据各种示例,信息提供模块可将所述内容提供给所述区域的至少部分区域。
根据各种示例,所述内容包括声音,并且信息提供模块可检查所述区域在显示器中的位置,如果该位置是第一位置,则沿相对于电子装置而言的第一方向提供该声音,如果该位置是第二位置,则信息提供模块可沿相对于电子装置而言的第二方向提供该声音。
根据各种示例,信息提供模块可获取通过对于电子装置而言的另一外部电子装置获取的另一信息,并进一步提供与另一信息对应的其他内容。
根据各种示例,如果电子装置被用户穿戴,则信息提供模块可提供所述内容。
根据各种示例,所述内容可通过电子装置和外部电子装置中的至少一个被提供给用户。
根据各种示例,信息提供模块可控制外部电子装置,以使得如果电子装置附到用户上,则防止通过所述外部电子装置提供所述内容。
根据各种示例,信息提供模块可控制外部电子装置,以使得所述内容基于电子装置脱离电子装置的用户的事实而通过外部电子装置提供给用户。
根据各种示例,信息提供模块可基于关于电子装置的外部环境信息来停止提供所述内容。
根据各种示例,一种用于通过虚拟环境共享信息的电子装置可包括显示器以及在功能性地与电子装置连接的信息提供模块,信息提供模块可通过显示器显示分别与对于电子装置而言的多个外部电子装置对应的多个对象,获取将通过所述多个外部电子装置之中的与至少一个对象对应的至少一个外部电子装置输出的信息,并通过在其上显示至少一个对象的区域提供与该信息对应的内容。
根据各种示例,信息提供模块可通过显示器显示虚拟环境,并在虚拟环境内显示多个对象。
根据各种示例,信息提供模块可基于对于电子装置的至少一个输入来将虚拟环境变为另一虚拟环境。
根据各种示例,至少一个对象可显示在虚拟环境的指定区域上。
根据各种示例,所述内容可包括第一子内容和第二子内容,并且至少一个对象可包括用于输出第一子内容的第一对象以及用于输出第二子内容的第二对象。
根据各种示例,所述多个对象可包括第一对象和第二对象,并且信息提供模块可基于第一频率输出第一对象并基于第二频率输出第二对象。
根据各种示例,所述多个对象可包括第一对象和第二对象,并且信息提供模块可获取关于电子装置的用户的生物识别信息,并且如果生物识别信息对应于第一频率,则信息提供模块可确定第一对象作为至少一个对象,如果生物识别信息对应于第二频率,则确定第二对象作为至少一个对象。
根据各种示例,信息提供模块可基于用户对电子装置的注视和手势中的至少一个来确定至少一个对象。
根据各种示例,信息提供模块可提供输出内容的第二部分作为所述信息,所述第二部分是先前通过至少一个外部电子装置输出的内容的第一部分的下一个部分。
根据各种示例,信息提供模块可通过所述区域显示用于控制与至少一个内容相关的信息的控制菜单。
根据各种示例,信息提供模块可获取对所述多个对象之中的另一对象的输入,并将至少一个内容的至少一部分或者关于至少一个内容的附加信息的至少一部分发送到另一外部电子装置,以使得至少一个内容的至少所述部分或者关于至少一个内容的附加信息的至少所述部分基于输入而被通过与另一对象对应的另一外部电子装置提供。
图12是示出电子装置(例如,电子装置101)提供信息的示例方法的流程图1200。根据示例,在操作1210中,电子装置(例如,对象显示模块630)可显示与对于电子装置而言的外部电子装置(例如,电视425)对应的对象(例如,电视对象525)。根据示例,电子装置可提供虚拟环境(例如,虚拟环境500)。例如,电子装置可在虚拟环境内显示对象。
在操作1230中,电子装置(例如,信息获取模块640)可获取将通过外部电子装置输出的信息(例如,视频465)。根据示例,电子装置可获取在外部电子装置基于用户输入而被选为目标电子装置的情况下的信息。在操作1250中,电子装置(例如,内容提供模块650)可通过在其上显示对象的区域提供与该信息对应的内容(例如,视频465)。
根据各种示例,一种电子装置(例如,电子装置101)通过虚拟环境共享信息的方法可包括:通过在功能性地与电子装置连接的显示器(例如,显示器170)显示与对于电子装置而言的外部电子装置对应的对象的操作;获取将通过外部电子装置输出的信息的操作;以及通过在其上显示对象的区域提供与该信息对应的内容的操作。
根据各种示例,显示对象的操作可包括:检查对于电子装置而言的多个外部电子装置的操作;以及基于用户的输入或者所述多个外部电子装置的功能在所述多个外部电子装置之中选择外部电子装置的操作。
根据各种示例,显示对象的操作可包括:检查对于电子装置而言的多个外部电子装置的操作;以及确定所述多个外部电子装置之中的当前操作的电子装置作为外部电子装置的操作。
根据各种示例,至少一个对象可包括关于所述外部电子装置的外观的图像、与所述外部电子装置对应的图标以及与所述外部电子装置对应的文本中的至少一个。
根据各种示例,显示对象的操作可包括:获取相对于电子装置而言的外部电子装置的相对位置的操作;如果相对位置是第一位置,则在显示器的第一区域上显示对象的操作;以及如果相对位置是第二位置,则在显示器的第二区域上显示对象的操作。
根据各种示例,显示对象的操作可包括:检查用户对电子装置的注视停留在对象上的时间的操作;如果该时间是第一时间,则以第一格式显示对象的操作;以及如果该时间是第二时间,则以第二格式显示对象的操作。
根据各种示例,提供内容的操作可包括将所述内容提供给所述区域的至少部分区域的操作。
根据各种示例,所述内容包括声音,并且提供内容的操作可包括:检查所述区域在显示器中的位置的操作;如果该位置是第一位置,则沿相对于电子装置而言的第一方向提供该声音的操作;以及如果该位置是第二位置,沿在相对于电子装置而言的第二方向提供该声音的操作。
根据各种示例,通过虚拟环境提供信息的方法可进一步包括:获取通过对于电子装置而言的另一外部电子装置获取的另一信息的操作;以及提供与另一信息对应的其他内容的操作。
根据各种示例,提供内容的操作可包括在电子装置被用户穿戴的情况下提供所述内容的操作。
根据各种示例,所述内容可通过电子装置和外部电子装置中的至少一个被提供给用户。
根据各种示例,通过虚拟环境提供信息的方法可进一步包括:控制外部电子装置以使得在电子装置附到用户上的情况下防止通过所述外部电子装置提供所述内容的操作。
根据各种示例,操作外部电子装置的操作可包括控制外部电子装置以使得在电子装置脱离电子装置的用户的情况下所述内容通过外部电子装置被提供给用户。
根据各种示例,通过虚拟环境提供信息的方法可进一步包括基于关于电子装置的外部环境信息来停止提供所述内容的操作。
根据各种示例,一种通过虚拟环境提供信息的方法可包括:通过在功能性地与电子装置连接的显示器显示分别与对于电子装置而言的多个外部电子装置对应的多个对象的操作;在所述多个对象之中选择至少一个对象的操作;获取将通过所述多个外部电子装置之中的与至少一个对象对应的至少一个外部电子装置输出的信息的操作;以及通过在其上显示至少一个对象的区域提供与该信息对应的内容的操作。
根据各种示例,显示多个对象的操作可包括:通过显示器显示虚拟环境的操作;以及在虚拟环境内显示所述多个对象的操作。
根据各种示例,通过虚拟环境提供信息的方法可进一步包括基于对于电子装置的至少一个输入来将虚拟环境变为另一虚拟环境的操作。
根据各种示例,至少一个对象可显示在虚拟环境的指定区域上。
根据各种示例,所述内容可包括第一子内容和第二子内容,并且至少一个对象可包括用于输出第一子内容的第一对象以及用于输出第二子内容的第二对象。
根据各种示例,所述多个对象可包括第一对象和第二对象,并且显示所述多个对象的操作可包括:基于第一频率输出第一对象的操作;以及基于第二频率输出第二对象的操作。
根据各种示例,所述多个对象可包括第一对象和第二对象,并且获取信息的操作可包括:获取关于电子装置的用户的生物识别信息的操作;如果生物识别信息对应于第一频率,则确定第一对象作为至少一个对象的操作;以及如果生物识别信息对应于第二频率,则确定第二对象作为至少一个对象的操作。
根据各种示例,获取信息的操作可包括基于用户对电子装置的注视和手势中的至少一个来确定至少一个对象的操作。
根据各种示例,提供内容的操作可包括提供输出内容的第二部分作为所述信息的操作,所述第二部分是先前通过至少一个外部电子装置输出的内容的第一部分的下一个部分。
根据各种示例,提供内容的操作可包括通过所述区域显示用于控制与至少一个内容相关的信息的控制菜单的操作。
根据各种示例,通过虚拟环境提供信息的方法可进一步包括:获取对所述多个对象之中的另一对象的输入的操作;以及将至少一个内容的至少一部分或者关于至少一个内容的附加信息的至少一部分发送到另一外部电子装置以使得至少一个内容的至少所述部分或者关于至少一个内容的附加信息的至少所述部分基于输入而被通过与另一对象对应的另一外部电子装置提供的操作。
根据各种示例,在存储命令的存储介质中,这些命令可被设置为使一个或更多个处理器在这些命令被所述一个或更多个处理器执行的情况下执行一个或更多个操作,并且所述一个或更多个操作可包括:电子装置(例如,电子装置101)通过在功能性地与该电子装置连接的显示器(例如,显示器170)显示的操作;获取将通过外部电子装置输出的信息的操作;以及通过在其上显示对象的区域分别提供与该信息对应的内容的操作。
在此和在附图中公开的本公开的示例建议了用于明白地解释本公开的技术的内容并且帮助理解本公开的示例,而不限制本公开的范围。因此,除了在此公开的示例之外,本公开的各种实施例的范围应被解释为包括基于本公开的各种实施例的技术构思而绘制的所有修改或修改的形式。

Claims (14)

1.一种头戴式装置HMD,包括:
显示器;
运动传感器;
通信电路;以及
与显示器、运动传感器和通信电路耦合的至少一个处理器,被配置为:
在显示器上显示包括与实际环境中的第一外部电子装置对应的对象的虚拟环境;
确定所述对象在虚拟环境中相对于所述HMD的相对位置;
通过运动传感器检测所述HMD的运动;
当检测到的运动对应于所述虚拟环境中显示的所述对象时,经由所述通信电路从所述第一外部电子装置接收与所述第一外部电子装置在实际环境中输出的第一信息对应的第一数据;以及
在所述虚拟环境中输出与接收到的第一数据相对应的内容,所述内容与所述虚拟环境中显示所述对象的区域相关联地输出,
其中,所述区域是基于所述对象在所述虚拟环境中相对于所述HMD的相对位置确定的。
2.根据权利要求1所述的HMD,其中,所述至少一个处理器还被配置为:
识别对于所述HMD而言的多个外部电子装置,以及
基于接收的输入或者所述多个外部电子装置的功能中的至少一个在所述多个外部电子装置之中选择外部电子装置。
3.根据权利要求1所述的HMD,其中,所述至少一个处理器还被配置为:
识别对于所述HMD而言的多个外部电子装置,以及
确定所述多个外部电子装置之中的当前操作的电子装置是所述第一外部电子装置。
4.根据权利要求1所述的HMD,其中,所述至少一个处理器包括与所述第一外部电子装置的外观对应的图像、与所述第一外部电子装置对应的图标以及与所述第一外部电子装置对应的文本中的至少一个。
5.根据权利要求1所述的HMD,其中,所述至少一个处理器还被配置为:
确定所述HMD的运动停留在显示在所述虚拟环境的所述对象上的时间,并且所述至少一个处理器还被配置为:如果该时间是第一时间,则以第一格式显示所述对象,并且所述至少一个处理器被配置为:如果该时间是第二时间,则以第二格式显示所述对象。
6.根据权利要求1所述的HMD,其中,所述至少一个处理器还被配置为执行以下操作之一:
将所述内容提供给所述区域的至少一部分区域;
如果所述电子装置被穿戴,则提供所述内容;
基于关于所述电子装置的外部环境信息来停止提供所述内容。
7.根据权利要求1所述的HMD,其中,所述内容包括声音,并且
所述至少一个处理器还被配置为:
确定所述区域在显示器中的位置,以及
如果所述位置是第一位置,则沿相对于所述HMD的第一方向提供所述声音,以及
如果所述位置是第二位置,则沿相对于所述HMD的第二方向提供所述声音。
8.根据权利要求1所述的HMD,其中,所述至少一个处理器还被配置为:
经由所述通信电路接收与所述实际环境中的第二外部电子装置输出的第二信息对应的第二数据,以及
在所述虚拟环境中输入与接收到的第二数据对应的其他内容。
9.根据权利要求1所述的HMD,其中,所述内容被设置为通过所述电子装置和所述外部电子装置中的至少一个提供,并且所述至少一个处理器还被配置为执行以下操作之一:
控制所述第一外部电子装置,以使得在所述HMD依附在用户上的情况下防止通过所述第一外部电子装置提供所述内容;
控制所述第一外部电子装置,以使得在所述HMD从所述电子装置的用户脱离的情况下通过所述第一外部电子装置提供所述内容。
10.一种头戴式装置HMD共享信息的方法,包括:
在显示器上显示包括分别与实际环境中的多个外部电子装置对应的多个对象的虚拟环境;
确定对象在虚拟环境中相对于所述HMD的相对位置;
通过运动传感器检测所述HMD的运动;
当检测到的运动对应于所述虚拟环境中显示的所述对象时,经由所述HMD的通信电路从第一外部电子装置接收与所述第一外部电子装置在实际环境中输出的第一信息对应的第一数据;以及
在所述虚拟环境中输出与接收到的第一数据相对应的内容,所述内容与所述虚拟环境中显示所述对象的区域相关联地输出,
其中,所述区域是基于所述对象在所述虚拟环境中相对于所述HMD的相对位置确定的。
11.根据权利要求10所述的方法,其中,显示操作包括:
通过显示器显示虚拟环境;
在所述虚拟环境内显示所述多个对象;
基于对所述HMD的至少一个输入来将所述虚拟环境改变为另一虚拟环境,
其中,所述多个对象显示在所述虚拟环境的指定区域上,
其中,所述内容包括第一子内容和第二子内容,并且所述多个对象包括用于输出第一子内容的第一对象以及用于输出第二子内容的第二对象。
12.根据权利要求10所述的方法,其中,所述多个对象包括第一对象和第二对象,并且,显示操作包括:
以第一频率输出第一对象;以及
以第二频率输出第二对象,以及
获取操作包括:
获取生物识别信息;
如果关于所述HMD的用户的生物识别信息对应于第一信号,则将第一对象确定为所述对象;以及
如果关于所述HMD的用户的生物识别信息对应于第二信号,则将第二对象确定为所述对象。
13.根据权利要求10所述的方法,
其中,提供操作包括以下操作之一:提供输出内容的第二部分作为所述信息,其中,所述第二部分是先前通过一个或更多个外部电子装置输出的内容的第一部分的下一个部分;通过所述区域显示用于控制与所述一个或更多个内容相关的信息的控制菜单。
14.根据权利要求10所述的方法,还包括:
经由所述通信电路接收与所述实际环境中的第二外部电子装置输出的第二信息对应的第二数据,以及
在所述虚拟环境中输出与接收到的第二数据对应的其他内容。
CN201510757641.6A 2014-11-07 2015-11-09 通过虚拟环境共享信息的设备和方法 Active CN105589732B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140154367A KR102265086B1 (ko) 2014-11-07 2014-11-07 정보를 공유하기 위한 가상 환경
KR10-2014-0154367 2014-11-07

Publications (2)

Publication Number Publication Date
CN105589732A CN105589732A (zh) 2016-05-18
CN105589732B true CN105589732B (zh) 2020-11-06

Family

ID=54608278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510757641.6A Active CN105589732B (zh) 2014-11-07 2015-11-09 通过虚拟环境共享信息的设备和方法

Country Status (5)

Country Link
US (2) US20160133052A1 (zh)
EP (1) EP3018561B1 (zh)
KR (1) KR102265086B1 (zh)
CN (1) CN105589732B (zh)
ES (1) ES2750682T3 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR102265086B1 (ko) 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
WO2016190458A1 (ko) 2015-05-22 2016-12-01 삼성전자 주식회사 Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법
EP3345379B1 (en) * 2015-12-23 2022-01-26 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device
US10163198B2 (en) * 2016-02-26 2018-12-25 Samsung Electronics Co., Ltd. Portable image device for simulating interaction with electronic device
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
KR20170126295A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US10506221B2 (en) 2016-08-03 2019-12-10 Adobe Inc. Field of view rendering control of digital content
TWI596509B (zh) * 2016-08-11 2017-08-21 拓景科技股份有限公司 虛擬實境環境中之特定資訊展示方法及系統,及其相關電腦程式產品
US11461820B2 (en) 2016-08-16 2022-10-04 Adobe Inc. Navigation and rewards involving physical goods and services
US10198846B2 (en) 2016-08-22 2019-02-05 Adobe Inc. Digital Image Animation
US20180061128A1 (en) * 2016-08-23 2018-03-01 Adobe Systems Incorporated Digital Content Rendering Coordination in Augmented Reality
US10068378B2 (en) 2016-09-12 2018-09-04 Adobe Systems Incorporated Digital content interaction and navigation in virtual and augmented reality
EP3491494B1 (en) * 2016-09-23 2021-12-15 Apple Inc. Immersive virtual display
US10643391B2 (en) 2016-09-23 2020-05-05 Apple Inc. Immersive virtual display
US10430559B2 (en) 2016-10-18 2019-10-01 Adobe Inc. Digital rights management in virtual and augmented reality
CN106775934B (zh) * 2016-11-29 2020-12-11 北京元心科技有限公司 基于多***的输入输出方法及装置
CN106997242B (zh) * 2017-03-28 2020-10-30 联想(北京)有限公司 界面管理方法及头戴式显示设备
CN108663803B (zh) * 2017-03-30 2021-03-26 腾讯科技(深圳)有限公司 虚拟现实眼镜、镜筒调节方法及装置
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control
US10664150B2 (en) 2017-11-06 2020-05-26 Whatsapp Inc. Providing group messaging thread highlights
US10678401B2 (en) 2017-11-06 2020-06-09 Whatsapp Inc. Providing group messaging thread highlights
USD851671S1 (en) * 2017-11-06 2019-06-18 Whatsapp Inc. Display screen or portion thereof with graphical user interface
US10536411B2 (en) 2017-11-06 2020-01-14 Whatsapp Inc. Providing group messaging thread highlights
US10685074B2 (en) 2017-11-06 2020-06-16 Whatsapp Inc. Providing group messaging thread highlights
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术(北京)有限公司 增强现实方法和装置
JP6453499B1 (ja) * 2018-01-31 2019-01-16 株式会社コロプラ プログラム、情報処理装置、および方法
KR102499354B1 (ko) * 2018-02-23 2023-02-13 삼성전자주식회사 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
US20210125468A1 (en) * 2018-06-28 2021-04-29 3M Innovative Properties Company Notification delivery for workers wearing personal protective equipment
US10921595B2 (en) 2018-06-29 2021-02-16 International Business Machines Corporation Contextual adjustment to augmented reality glasses
TWI729323B (zh) * 2018-11-09 2021-06-01 致伸科技股份有限公司 互動式遊戲系統
US11468611B1 (en) * 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
KR20210063928A (ko) * 2019-11-25 2021-06-02 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
EP3859503A1 (en) * 2020-02-03 2021-08-04 Evolution Malta Ltd Selection of remote objects
US11363081B2 (en) * 2020-04-16 2022-06-14 Kathleen A. SANVIDGE Method and system for conducting remote communications at a funeral home
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
EP4195005A4 (en) * 2020-12-17 2024-06-12 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
US11927756B2 (en) * 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
US11908088B2 (en) * 2021-06-09 2024-02-20 Red Hat, Inc. Controlling virtual resources from within an augmented reality environment
KR20230013407A (ko) * 2021-07-19 2023-01-26 삼성전자주식회사 외부 전자 장치를 제어하기 위한 전자 장치 및 전자 장치의 동작 방법
CN118215931A (zh) 2021-11-09 2024-06-18 三星电子株式会社 用于在电子装置和可穿戴电子装置之间提供与增强现实服务相关的内容的方法和装置
US11935201B2 (en) * 2022-04-28 2024-03-19 Dell Products Lp Method and apparatus for using physical devices in extended reality environments
KR20240007562A (ko) * 2022-07-08 2024-01-16 삼성전자주식회사 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법
WO2024071661A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 전자 장치, 및 전자 장치의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542921A (zh) * 2010-12-22 2012-07-04 黄志奇 一种参数自适应控制的头戴显示器驱动控制结构
CN102628991A (zh) * 2011-02-04 2012-08-08 精工爱普生株式会社 头戴型显示装置和头戴型显示装置的控制方法
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103377487A (zh) * 2012-04-11 2013-10-30 索尼公司 信息处理设备、显示控制方法以及程序
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1754201A1 (en) * 2004-05-27 2007-02-21 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US8315673B2 (en) * 2010-01-12 2012-11-20 Qualcomm Incorporated Using a display to select a target object for communication
EP2587792B1 (en) 2010-06-28 2017-08-30 LG Electronics Inc. Method and apparatus for providing the operation state of an external device
JP5630141B2 (ja) * 2010-08-18 2014-11-26 ブラザー工業株式会社 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9024844B2 (en) 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
JP6066037B2 (ja) * 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
KR101971624B1 (ko) * 2012-07-25 2019-04-23 삼성전자주식회사 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
KR101958778B1 (ko) * 2012-08-31 2019-03-15 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 디지털 디바이스 제어 방법
WO2014097706A1 (ja) * 2012-12-21 2014-06-26 ソニー株式会社 表示制御装置および記録媒体
KR102019124B1 (ko) 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US9535496B2 (en) 2013-03-15 2017-01-03 Daqri, Llc Visual gestures
US20160292922A1 (en) * 2013-05-21 2016-10-06 Sony Corporation Display control device, display control method, and recording medium
US9753687B1 (en) * 2014-01-03 2017-09-05 Sony Interactive Entertainment America Llc Wearable computer using programmed local tag
US9836122B2 (en) * 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
KR20160113592A (ko) 2014-01-27 2016-09-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR101430614B1 (ko) * 2014-05-30 2014-08-18 주식회사 모리아타운 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법
US10055064B2 (en) * 2014-10-29 2018-08-21 Sony Corporation Controlling multiple devices with a wearable input device
KR102265086B1 (ko) 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
EP3345379B1 (en) * 2015-12-23 2022-01-26 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
KR102330090B1 (ko) * 2016-04-22 2021-11-24 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 이미지를 합성하기 위한 방법 및 디바이스
US10235809B2 (en) * 2016-06-30 2019-03-19 Microsoft Technology Licensing, Llc Reality to virtual reality portal for dual presence of devices
KR20180054228A (ko) * 2016-11-15 2018-05-24 삼성전자주식회사 콘텐츠를 제공하기 위한 방법 및 그 전자 장치
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542921A (zh) * 2010-12-22 2012-07-04 黄志奇 一种参数自适应控制的头戴显示器驱动控制结构
CN102628991A (zh) * 2011-02-04 2012-08-08 精工爱普生株式会社 头戴型显示装置和头戴型显示装置的控制方法
CN103946734A (zh) * 2011-09-21 2014-07-23 谷歌公司 叠加有对于外部设备的控制和指令的可穿戴计算机
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103377487A (zh) * 2012-04-11 2013-10-30 索尼公司 信息处理设备、显示控制方法以及程序

Also Published As

Publication number Publication date
ES2750682T3 (es) 2020-03-26
CN105589732A (zh) 2016-05-18
KR20160054840A (ko) 2016-05-17
EP3018561B1 (en) 2019-09-18
KR102265086B1 (ko) 2021-06-15
US11120630B2 (en) 2021-09-14
EP3018561A1 (en) 2016-05-11
US20160133052A1 (en) 2016-05-12
US20190362560A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN105589732B (zh) 通过虚拟环境共享信息的设备和方法
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
CN106060378B (zh) 用于设置拍摄模块的装置和方法
US10209766B2 (en) Displaying method in low power mode and electronic device supporting the same
US20180260346A1 (en) Electronic device and operating method thereof
KR102276847B1 (ko) 가상 오브젝트 제공 방법 및 그 전자 장치
KR102183212B1 (ko) 화면 제어 방법 및 그 방법을 처리하는 전자 장치
EP3009816B1 (en) Method and apparatus for adjusting color
US10402625B2 (en) Intelligent electronic device and method of operating the same
US10908712B2 (en) Method for recognizing rotation of rotating body and electronic device for processing the same
CN107037966B (zh) 感测输入的压力的电子设备和用于操作电子设备的方法
KR102213190B1 (ko) 홈스크린 구성 방법 및 이를 이용한 전자 장치
KR102543955B1 (ko) 전자 장치 및 전자 장치에서의 정보 제공 방법
CN106250076B (zh) 用于独立控制显示器的多个区域的装置及其方法
US10097761B2 (en) Method of managing data and electronic device for processing the same
KR20150135837A (ko) 디스플레이 운용 전자장치 및 방법
JP2020502696A (ja) 電子装置及びこれを用いたウェブページ表示方法
US10768783B2 (en) Method and apparatus for providing application information
KR20170000618A (ko) 전자 장치 및 전자 장치의 파노라마 영상 표시 제어 방법
KR102434754B1 (ko) 전자 장치 및 전자 장치의 컨텐츠 표시 방법
KR102332674B1 (ko) 콘텐츠 변경 알림 방법 및 장치
KR102277217B1 (ko) 블록을 설정하는 전자 장치 및 방법
KR102343616B1 (ko) 전자 장치 및 그 제어 방법
US20180173701A1 (en) Method for contents tagging and electronic device supporting the same
KR20160013329A (ko) 컨텐츠 제공 방법 및 그 전자 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant