CN105432071A - 用于提供增强现实视图的技术 - Google Patents

用于提供增强现实视图的技术 Download PDF

Info

Publication number
CN105432071A
CN105432071A CN201380078811.7A CN201380078811A CN105432071A CN 105432071 A CN105432071 A CN 105432071A CN 201380078811 A CN201380078811 A CN 201380078811A CN 105432071 A CN105432071 A CN 105432071A
Authority
CN
China
Prior art keywords
display
project
current location
camera
designator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380078811.7A
Other languages
English (en)
Other versions
CN105432071B (zh
Inventor
R.费伦斯
G.卡姆希
B.赫维茨
A.莫兰
D.雷夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105432071A publication Critical patent/CN105432071A/zh
Application granted granted Critical
Publication of CN105432071B publication Critical patent/CN105432071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

各种实施例一般指向用于提供增强现实视图的技术,其中采用眼睛移动来标识为其在增强现实视图中在视觉上呈现指示符的可能感兴趣的项目。一种用于呈现增强现实视图的设备包含:处理器组件;呈现组件,用于由处理器组件执行以在显示器上在视觉上呈现由相机捕捉的图像,并在显示器上在视觉上呈现标识对捕捉的图像可能感兴趣的项目的指示符,所述指示符覆盖在捕捉的图像的视觉呈现上;以及相关组件,用于由处理器组件执行以跟踪眼睛移动来确定眼睛注视的显示器的部分,并将显示器的所述部分与可能感兴趣的项目相关。描述并要求保护其它实施例。

Description

用于提供增强现实视图的技术
技术领域
本文描述的实施例一般涉及基于跟踪眼睛移动来提供当前位置周围的增强现实视图以区分可能感兴趣的项目与在增强现实视图中的其它项目。
背景技术
使用配备有位置检测器、相机和显示器的查看装置来提供周围的增强现实视图正在得到接受。此类查看装置采用各种位置检测技术(例如,全球定位***卫星信号、磁罗盘等)来确定其当前位置以及其相机相对于地表面的当前方位,并请求有关其紧接周围内的项目的信息。此类装置然后在视觉上呈现由其相机所捕捉的周围视图,其中该视图覆盖有标识视图内项目的指示符,由此创建增强现实视图。
实质上,此类查看装置变成了“虚拟窗格”,通过其操作员以使得能够定位项目并使用被添加到那些周围的视图的那些项目的指示符更快速地标识项目的方式查看他或她的周围。作为示例,可采用此类查看装置发现像餐馆、厕所、酒店住宿、旅游胜地这样的项目。
可惜,提供此类增强现实视图的当前查看装置未将在任何给定时间对操作员来说可能都感兴趣的项目考虑进去。因此,此类查看装置倾向于提供填充有太多在紧接周围内项目的指示符的增强现实视图。对操作员来说,这通过实质上用如此多不感兴趣的项目的指示符使视图“杂乱”而降低了增强现实视图的功用,操作员很难挑出感兴趣的项目的指示符,并且实际上很难在增强现实视图中看到许多周围事物。
附图说明
图1图示了增强现实查看***的实施例。
图2A和2B图示了根据实施例的查看装置的透视图。
图3图示了根据实施例的查看装置的操作。
图4A、4B和4C各图示了根据实施例的增强现实视图的视觉呈现。
图5图示了根据另一实施例的增强现实视图的视觉呈现。
图6图示了增强现实***查看***的实施例的一部分。
图7-8各图示了根据实施例的逻辑流程。
图9图示了根据实施例的处理架构。
具体实施方式
各种实施例一般指向用于提供增强现实视图的技术,其中采用眼睛移动来标识在增强现实视图中在视觉上呈现指示符的可能感兴趣的项目。采用各种位置检测技术来确定查看装置的当前位置以及其相机相对于那个位置的当前方位,并检索标识位于当前位置附近周围的项目的信息。当操作员看查看装置的显示器以通过相机和显示器查看周围时,查看装置的眼睛***确定操作员在显示器上哪里看以使得能够确定在周围的什么项目是感兴趣的。可能感兴趣的那些标识的项目的视觉指示符然后以覆盖由相机捕捉的图像的方式在视觉上呈现在显示器上。
位置检测技术可包含全球定位***(GPS)卫星信号接收、检测无线接入点(AP)的方向和/或距离、检测地磁场方向的磁罗盘、检测重力方向的加速计等中的一个或多个。检测相机的方位除了检测其水平方位(例如,其水平方位的其罗盘方向)之外,还可包含检测相机的仰角。
在检索有关位于当前位置(附近)周围的项目的信息时,查看装置可向服务器传送其当前位置,但不传送其方位,并接收有关位于整个来自当前位置的全圆范围方向的项目的信息。给定相机相对于当前位置的当前方位,基于哪些项目在相机的视野内,最初可对于可能的视觉呈现选择那些项目的子集。备选地,查看装置此外可向服务器传送其相机的当前方位和/或相机视野的角宽度的指示,以使服务器能够将有关它向查看装置传送的项目的信息仅限于也在相机视野内的周围的项目。
不管基于相机的视野最初对于指示符的可能的视觉呈现选择项目的确切方式如何,然后都基于查看装置的操作员的眼睛移动进一步限制项目的选择。随时间跟踪操作员的眼睛移动以确定操作员注视显示器的什么部分与其它部分不同,并且确定注视显示器的什么部分用于标识相机视野中的周围的哪个(哪些)项目对操作员来说感兴趣。
在标识相机视野中对操作员来说可能感兴趣的项目时,那些项目的指示符以覆盖相机视野的视觉呈现的方式在视觉上呈现在显示器上。此类指示符可包含向操作员标识那些项目的文本和/或图形指示符(例如,商家的名称和/或标志、提供的服务的标识、街道地址等)。操作员注视显示器一部分的阈值最小时间量可被用作开始可能感兴趣的项目的一个或多个指示符的触发器的视觉呈现,以确保此类指示符不被错误触发以在视觉上呈现为注视的结果。备选地或附加地,可施加停止在视觉上呈现可能感兴趣的对象的一个或多个指示符的延迟,以确保此类视觉呈现的停止不被匆匆一瞥显示器的某一其它部分和/或与显示器不同的对象而错误触发。
在一些实施例中,可能感兴趣的项目的指示符可布置在显示器上与确定操作员注视的显示器的部分邻近(例如周围)的位置,以免使在显示器那个部分可见的周围的操作员视图模糊不清。在其它实施例中,可能感兴趣的项目的指示符中的一个或多个可按某一透明度在视觉上呈现,使得操作员能够透过此类指示符看,以继续注视显示器的那个部分而没有中断。应该指出,本文所描述的查看装置的操作可在室内或室外。从而,查看装置的当前位置附近周围的景色可以是室内景色(例如,建筑物或房子内部、几件家具、书架或书桌上的物品、存储区中几件艺术品或库存)或室外景色(例如,自然或人造室外特征、建筑物或山峰、道路或河流、地理特征或古迹等)。不管周围的景色由什么组成,其图像都被捕捉,并与相机视野内的那个景色中可能感兴趣的一个或多个项目的指示符一起在视觉上呈现。
一般参考本文使用的符号和命名,随后的详细描述部分可依据在计算机或计算机网络上执行的程序过程呈现。这些过程描述和表示是本领域技术人员用于最高效地将它们工作的实质传达给本领域其它技术人员。过程在此并且一般被视为导致期望结果的前后一致的操作序列。这些操作是需要物理量的物理操控的操作。通常,尽管不是必要的,但这些量采取能够被存储、转移、组合、比较和以另外方式操控的电、磁或光信号的形式。已经证明方便的是,有时主要出于常见用法的原因,将这些信号称为位、值、单元、符号、字符、项、数字等等。然而,应该注意,所有这些和类似的术语都与适当的物理量相关联,并且仅仅是应用于这些量的方便标签。
另外,这些操控经常用诸如添加或比较的术语来提及,这些术语一般与人操作员执行的心理操作关联。然而,人操作员的此类能力不是必要的,或者在多数情况下在形成一个或多个实施例一部分的本文描述的任何操作中不是可取的。而是,这些操作是机器操作。用于执行各种实施例的操作的有用机器包含由在其内存储的根据本文教导所写的计算机程序有选择地激活或配置的通用数字计算机,和/或包含为了所需目的专门构造的设备。各种实施例还涉及用于执行这些操作的设备或***。这些设备可为了所需目的专门构造,或可包含通用计算机。用于各种各样这些机器的所需结构根据给出的描述将显而易见。
现在参考附图,其中通篇相似的附图标记用于指相似的单元。在如下描述中,为了说明的目的,阐述了大量特定细节以便提供对其的透彻理解。然而,可能显然的是,新颖的实施例没有这些特定细节也可实行。在其它实例中,众所周知的结构和装置以框图形式示出了以便便于其描述。意图是含盖权利要求书范围内的所有修改、等同物和备选。
图1是包含位置服务器300和查看装置500中一个或多个的增强现实查看***1000的实施例的框图。这些计算装置中的每个装置都可以是各种各样类型计算装置中的任何装置,包含而非限制,台式计算机***、数据录入终端、膝上型计算机、笔记本计算机、平板计算机、手持个人数据助理、智能电话、数字相机、结合到衣服中的身体穿戴计算装置、集成到车辆(例如轿车、自行车、轮椅等)中的计算装置、服务器、服务器群集、服务器场等。
如所描绘的,这些计算装置300和500的子集经由网络999交换与确定相机当前位置和方位关联的和与提供标识当前位置附近的项目的信息关联的信号。然而,这些计算装置中的一个或多个可经由网络999彼此交换和/或与又一些其它计算装置(未示出)交换与位置或标识位置处的项目完全不相关的其它数据。在各种实施例中,网络999可以是可能被限制于在单个建筑物或其它比较有限的区域内延伸的单个网络,可能延伸相当大距离的连接的网络的组合,和/或可包含因特网。从而,网络999可基于可交换信号的各种各样通信技术中的任何技术(或组合),包含而非限制,采用电学和/或光学传导电缆的有线技术以及采用红外、射频或其它形式无线传送的无线技术。
在各种实施例中,查看装置500包含处理器组件550、存储装置560、罗盘510、仰角传感器515、控制器520、相机570、眼睛***575、显示器580以及将查看装置500耦合到网络999的接口590中的一个或多个。存储装置560存储收集例程540、位置数据530、注视数据533、装置数据535、视觉数据537、查看例程545和位置数据330中的一个或多个。收集例程540和查看例程545中的每个都包含在处理器组件550上可操作的指令序列,在其角色上作为查看装置500的主处理器组件以实现执行各种功能的逻辑。
在执行收集例程540时,处理器组件550操作接口590、罗盘510和仰角传感器515中的一个或多个来确定查看装置500的当前位置以及相机570的视野相对于当前位置的当前方位,将之一或二者作为位置数据530存储。处理器组件550可操作接口590以接收由环绕地球轨道运行的全球定位***(GPS)卫星传送的无线射频信号以确定当前位置。备选地或附加地,处理器组件550可操作接口590以接收一个或多个网络(例如网络999)的网络接入点(AP)的无线射频信号来确定当前位置。更确切地说,处理器组件550可操作接口590来确定AP与查看装置500的方向和/或距离,以及接收标识来自AP的信息,并且可请求服务器(例如服务器300)将标识各种AP的信息与它们的位置相关的信息。
处理器组件550可监视罗盘510以递归地接收当前方位的指示。备选地或附加地,处理器组件550可监视仰角传感器515递归地接收在当前位置相机570相对于水平面的仰角(例如,可从水平面向上或向下对准相机570的角度)的指示。设想是,相机570协同定位在具有罗盘510和/或仰角传感器515的查看装置500的公共壳体中,使得那个壳体的方位有必要将相机570的方位链接到罗盘510和仰角传感器515之一或二者。仰角传感器515可基于检测相对于在当前位置的重力方向的方位的各种各样技术中的任何技术,包含而不限于一个或多个加速计和/或陀螺仪。此类加速计或陀螺仪可用微机电***(MEMS)技术实现。
在执行收集例程540时,给定相机570的当前方位,处理器组件550也操作相机570来递归地捕捉落入相机570视野内的当前位置附近周围部分内的景色的图像。处理器组件550将捕捉的图像作为视觉数据537递归地存储。相机570的视野的大小的指示可作为装置数据535的一部分存储。在一些实施例中,视野的大小可被规定为度域的高度和/或宽度的一个或多个角测量。在其它实施例中,高度和/或宽度可被规定为以距相机570的规定距离获取的线性测量。
在执行查看例程545时,处理器组件550递归地检索视觉数据537的捕捉图像,并在显示器580上在视觉上呈现它们。在一些实施例中,查看例程545可以是与收集例程540分开的且截然不同的例程。在此类实施例中,查看例程545可以是可用于与查看装置500一起使用的多个查看例程之一,并且那些多个查看例程中的一个或多个可采用收集例程540来支持它们通过提供由收集例程540收集的一段或多段信息的执行。更确切地说,收集例程540可实现为库的一组可执行组件,其配置成经由对来自那些查看例程内的那些组件进行的函数调用来支持各种各样查看例程中的任何查看例程的执行。在其它实施例中,收集例程540和查看例程545可以是单个公共例程。
图2A和2B描绘了实现为“智能电话”或小“平板计算机”的查看装置500的示例物理配置的相对侧的透视图,其中显示器580构成其中一侧,而相机570布置在相对侧。应该指出,尽管在此描绘了查看装置500的特定物理配置,但其它实施例是可能的,其中查看装置500可采取各种各样其它物理形式中的任何形式。作为示例,另一可能物理配置是一副眼镜,其中一个或多个相机570的方位定成从戴眼镜的操作员的脸面向前,而一个或多个显示器580定位成向操作员的一只眼或两只眼在视觉上呈现由相机570捕捉的图像。
在图2A-2B中描绘的物理配置中,操作员可通过以下步骤来“通过”查看装置500查看当前位置周围的对象:将查看装置500定位在一只或两只眼睛与那些对象之间,使得相机570面朝那些对象而显示器580面朝眼睛。图3图示了查看装置500的正好此类定位的示例。在如此定位时,操作员的眼睛18可通过在显示器580上看相机570捕捉的其图像来看当前位置附近的景色17。用这种方式,查看装置500变成“虚拟窗格”,通过其操作员可查看周围。还如所描绘的,当查看装置的这个物理配置如此定位成跟踪眼睛18的移动时,眼睛***575还面朝眼睛18。
参考图1,在执行收集例程540时,处理器组件550进一步操作接口590(或能够将查看装置500耦合到网络999的另一组件)从中检索位置数据330。更确切地说,处理器组件550向服务器300至少传送指示当前位置和/或当前方位的位置数据530的一部分,并等待从中接收位置数据330。位置数据330包含标识和与那些项目中的每个项目的当前位置的方向和/或距离相关的当前位置附近周围的项目的信息。在一些实施例中,处理器组件550向服务器300传送当前位置而不是当前方位的指示。在此类实施例中,位置数据330可包含标识在可在当前位置的任何方向的周围位置的项目的信息。在其它实施例中,处理器组件550向服务器300传送当前方位以及当前位置的指示。处理器组件550还可向服务器300传送相机570的视野的高度和/或宽度的指示。在此类其它实施例中,给定其视野的其方位和/或大小(例如高度和/或宽度),位置数据330可限于由服务器300确定的周围的一部分中的项目可能在相机570的视野内。
在各种实施例中,位置服务器300包含处理器组件350、存储装置360以及将位置服务器300耦合到网络999的接口390中的一个或多个。存储装置360存储控制例程340和位置数据330中的一个或多个。控制例程340包含在处理器组件350上可操作的指令序列,在其角色上作为位置服务器300的主处理器组件350以实现执行各种功能的逻辑。在执行控制例程340时,处理器组件350操作接口390从查看装置500接收位置数据530,以在生成位置数据330时用于传送到查看装置500。在位置数据530包含查看装置500的当前位置而不包含当前方位的实例中,处理器组件350生成标识在可在当前位置任何方向的当前位置附近位置的项目的位置数据330的版本。然而,在位置数据530除了当前位置还包含相机570的视野的当前方位和/或大小的实例中,处理器组件350生成可限于标识由处理器组件350确定的当前位置附近周围的一部分中的项目可能在相机570的视野内的位置数据330的版本。
返回到查看装置500,当操作员在显示器580上查看由相机570捕捉的图像时,处理器组件550还操作眼睛***575跟踪操作员的至少一个眼睛18的移动。眼睛***575可基于各种各样眼睛跟踪技术中的任何技术,包含投射用IR相机跟踪的一束或多束红外(IR)光,和/或使用相机阵列来查看一只或两只眼睛18的角移动。在执行收集例程540时,处理器组件550至少确定操作员正在用眼睛18注视显示器580的什么部分。
如本领域技术人员所熟悉的,视力通常涉及眼睛保持短暂固定(经常也称为“固定”)的眼睛位置之间的眼睛的相对高速移动(经常称为“扫视”)的组合。常见的是,认为凝视或固定注视对象是连续看那个对象而没有将眼睛移动远离它。然而,所谓“凝视”对象实际上不必破坏“扫视”的发生。相反,扫视继续发生,并且“凝视”对象势必发生眼睛看对象的相对高比例的固定。换言之,“凝视”对象势必使眼睛在固定期间看的方向变得不那么随机,而更频繁地指向那个对象。从而,在确定操作员正在注视显示器的什么部分时,处理器组件550可在跟踪眼睛移动时实现低通滤波器的形式,以实质上滤出在期间眼睛(例如眼睛18)在随机方向看的扫视和/或固定。
在一些实施例中,在确定操作员正在注视显示器的什么部分之后,处理器组件550可采用在装置数据535中规定的查看装置500的特性和来自当前位置的项目的方向的位置数据330中的指示的组合来导出操作员正在注视什么项目。如之前所论述的,装置数据535可包含相机570的视野的规范。装置数据535还可包含显示器580的规范,由此使计算能够将操作员注视的显示器580的部分与相机570视野内的特定视线相关。特定视线实质上是操作员实际上通过显示器580和相机570注视的方向。处理器组件550然后可使用位置数据330来标识沿视线可能感兴趣的一个或多个项目。换言之,使用相关数据330将视线与可能感兴趣的一个或多个项目相关。此外,处理器组件550可另外采用位置数据330将那个视线与在可能感兴趣的项目的规定距离内和/或在视线的规定附近内(例如在与相机570的视野内的视线的规定最大偏移角内)的一个或多个相邻项目相关。处理器组件至少将视线与操作员通过查看装置500注视的当前位置的方向的指示存储为注视数据533。在收集例程540的执行导致处理器组件550将视线与可能感兴趣的至少一个项目和/或一个或多个相邻项目相关的实施例中,处理器组件550此外可将可能感兴趣的项目和/或相邻项目的指示存储为注视数据533。
如之前所论述的,在执行查看例程545时,处理器组件550递归地检索由相机570捕捉的图像,并在显示器580上在视觉上呈现它们以便操作员查看。在执行查看例程545时,处理器组件550还在显示器580上至少在视觉上呈现在与操作员注视的显示器580部分相关的来自当前位置的视线中发现的可能感兴趣的项目的指示。在收集例程使处理器组件550标识可能感兴趣的项目和一个或多个相邻项目的指示并存储在注视数据533中的实施例中,查看例程545可使处理器组件550此外在显示器580上在视觉上呈现相邻项目的一个或多个指示符。然而,在使处理器组件550将注视的显示器580部分与来自当前位置的视线相关但不使用那个视线标识那儿的项目的实施例中,查看例程545可使处理器组件550标识可能感兴趣的项目和/或相邻项目。换言之,在其它实施例中,可通过执行收集例程540和/或通过执行查看例程545来执行感兴趣的项目与操作员通过相机570和显示器580注视的视线相关。从而,在不同实施例中,收集例程540可在采用眼睛跟踪来标识指示符可在视觉上呈现在显示器上的可能感兴趣的项目时,向查看例程545提供或者不提供更多支持。
图4A-4C一起描绘了增强现实视图在显示器580上的视觉呈现的示例。如所描绘的,由相机570捕捉的景色17在视觉上呈现在显示器580上,并且由可能感兴趣的项目和/至少一个相邻项目的指示符813覆盖。“眼睛”符号也被描绘成只不过指示操作员的眼睛18注视的显示器580的部分。眼睛符号不应该被当作实际上在任何时间都被在视觉上呈现在显示器580上的图形元素。
在图4A,眼睛符号的所描绘部分指示,操作员正在注视或多或少朝向显示器中心的显示器的部分。在一些实施例中,为了避免使在操作员注视的显示器的部分在视觉上呈现的东西模糊,通过与在那个部分相关确定的可能感兴趣的项目的指示符813被在视觉上呈现在显示器580在距显示器那个部分有点偏移的位置。作为示例,“BerryPuff”和“Joe'sJoe”被在视觉上呈现在操作员注视的显示器的部分两侧的位置。
在图4B,操作员注视的显示器580的部分相比图4A已经改变,确切地说是向左且略微向下移位。注视的显示器580的部分与在新方向的在位置数据330中指示的项目的新相关标识“Bob's”和“BerryPuff”之一或二者是可能感兴趣的项目和/或相邻项目。再者,每个项目的指示符813被在视觉上呈现为与操作员注视的显示器580的部分有一点偏移。在图4C,操作员注视的显示器580的部分已经再次改变,确切地说是向右且略微向上移位。注视的显示器580的部分与在新方向的在位置数据330中指示的项目的新相关标识“高等书籍学***面的改变而改变。从而,如在比较图4A和4C时所清楚的,仰角的改变(例如沿高建筑的高度)可导致可能感兴趣的不同项目的标识,其中不同项目在位置数据330中指示为定位在不同仰角。
图5描绘了增强现实视图830在显示器580上的视觉呈现的另一示例。由相机570捕捉的相同景色17被在视觉上呈现在显示器580上,位置和方式与图4A-4C中的相同。然而,景色17的视觉呈现被配置成透明的指示符813的备选示例覆盖,与图4A-4C的非透明指示符813相对。还如所描绘的,指示符813的这个透明示例被定位成覆盖操作员注视的显示器580的部分,其透明度使操作员能够透过指示符813注视仍查看他们注视的项目。
在各种实施例中,处理器组件350和550中的每个都可包含各种各样市场上可买到的处理器中任何处理器。另外,这些处理器组件中的一个或多个可包含多个处理器、多线程处理器、多核处理器(不管多核同时存在于相同管芯还是分开的管芯上)和/或多个物理上分开的处理器以某种方式链接的某种其它种类的多处理器架构。
在各种实施例中,存储装置360和560中的每个可基于各种各样信息存储技术中的任一技术,可能包含需要不间断供应电力的易失性技术,并且可能包含势必使用可以移动或可以不移动的机器可读存储介质的技术。从而,这些存储装置中的每个都可包含各种各样类型(或类型组合)存储装置中的任何类型存储装置,包含而非限制,只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双数据速率DRAM(DDR-RAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、聚合物存储器(例如铁电聚合物存储器)、双向存储器、相变或铁电存储器、硅氧化氮氧化硅(SONOS)存储器、磁卡或光卡、一个或多个单独铁磁盘驱动器或组织成一个或多个阵列的多个存储装置(例如组织成独立盘冗余阵列的阵列即RAID阵列的多个铁磁盘驱动器)。应该注意,虽然这些存储装置中的每个都被描绘为单个块,但这些存储装置中的一个或更多可包含可基于不同存储技术的多个存储装置。从而,例如,这些所描绘的存储装置中的每个中的一个或更多可表示通过其程序和/或数据可在某种形式的机器可读存储介质上存储和传递的光学驱动器或闪速存储卡读取器、本地存储程序和/或数据相对延长周期的铁磁盘驱动器以及使得能够相对快地存取程序和/或数据的一个或更多易失性固态存储器装置(例如SRAM或DRAM)的组合。还应该注意,这些存储装置中的每个都可由基于同样存储技术的多个存储组件构成,但其可作为使用上专门化的结果单独保持(例如一些DRAM装置用作主存储装置,而其它DRAM装置用作图形控制器的不同帧缓冲器)。
在各种实施例中,接口390和590中的每个都可采用各种各样信令技术中的任何技术,使计算装置能够耦合到其它装置,如已经描述的。这些接口中的每个接口可包含提供至少一些必要功能性以实现此类耦合的电路。然而,这些接口中的每个接口还可至少部分用处理器组件中的对应组件执行的指令序列来实现(例如以实现协议栈或其它特征)。在采用电学和/或光学传导电缆布线的情况下,这些接口可采用符合各种工业标准中任何标准的信令和/或协议,包含但不限于RS-232C、RS-422、USB、以太网(IEEE-802.3)或IEEE-1394。在势必使用无线信号传送的情况下,这些接口可采用符合各种工业标准中任何标准的信令和/或协议,包含但不限于IEEE802.11a、802.11b、802.11g、802.16、802.20(统称为“移动宽带无线接入”)、蓝牙、ZigBee或蜂窝无线电话服务,诸如GSM与通用分组无线电服务(GSM/GPRS)、CDMA/1xRTT、全球演进的增强数据速率(EDGE)、演进数据唯一/优化(EV-DO)、数据和语音的演进(EV-DV)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、4GLTE等。
图6更详细图示了图1的增强现实查看***1000的实施例的一部分的框图。更确切地说,描绘了查看装置500的实施例的操作环境的方面。如本领域技术人员可认识到的,选择收集例程545和查看例程545(包含构成每个的组件)来操作在选择成实现处理器组件550的任何类型的处理器或多个处理器上。
收集例程540可包含位置组件5405以操作接口590来接收一个或多个AP的GPS信号和/或多个信号以确定查看装置500的当前位置。位置组件5405可将当前位置的指示作为位置数据530的一部分存储。
收集例程540可包含方位组件5401以操作罗盘510和/或仰角传感器515来确定相机570的当前方位。方位组件5401可将当前方位的指示作为位置数据530的一部分存储。
收集例程540可包含通信组件5409以操作接口590来向另一计算装置(例如位置服务器300)传送至少部分位置数据530。如之前所论述的,向另一计算装置传送的位置数据530的部分至少包含当前位置的指示以使另一计算装置能够通过向查看装置500提供位置数据330进行响应。还如所论述的,位置数据330至少标识当前位置附近周围的一个或多个项目,并标识相对于当前位置的周围的那些项目的位置。
收集例程540可包含捕捉组件5407以操作相机570来捕捉查看装置500的当前位置附近周围的图像,以便在视觉上呈现在显示器580上。捕捉组件5407可将捕捉的图像作为视觉数据537的一部分存储。
收集例程540和查看例程545可分别包含相关组件5403和5453。相关组件5403操作眼睛***575以至少确定操作员的至少一只眼睛18注视显示器580的什么部分,并将注视的那部分显示器580与实际上指向注视的来自相机570的视线相关。在这么做时,相关组件可从装置数据535中检索显示器580的大小和/或分辨率以及相机570的视野的分辨率和/或大小的规范,作为计算的输入以确定与注视的显示器580的部分相关的来自相机570的视线的方向。
在一些实施例中,相关组件5403采用从另一计算装置接收的位置数据330将指向操作员眼睛18注视所沿的视线的方向与沿那个视线的可能感兴趣的一个或多个项目相关。相关组件5403可将视线导出方向的指示作为注视数据533的一部分存储。相关组件5453可从注视数据533检索视线的方向,并采用那个方向和位置数据330来标识在可能感兴趣的项目的规定距离内和/或在沿视线的点的规定距离内的一个或多个相邻项目。从而,在此类实施例中,相关组件5403和5453可协同操作以标识可能感兴趣的项目和/或相邻项目。备选地,相关组件5403可自己执行可能感兴趣的项目或相邻项目之一或二者的标识,并可向查看例程545提供可能感兴趣的项目和/或相邻项目的身份和位置的指示。
查看例程545可包含呈现组件5458以检索查看装置500当前位置附近周围的由相机570捕捉的图像,并将它们在视觉上呈现在显示器580上。不管哪些组件标识可能感兴趣的项目,呈现组件5458在显示器580上以覆盖由相机570捕捉的图像的视觉呈现的方式在视觉上呈现可能感兴趣的项目和/或相邻项目的指示符813。如之前所论述的,在视觉上呈现指示符813可采取它们定位成邻近但不交叠操作员的眼睛18注视的显示器580部分的方式。备选地,如之前所论述的,指示符813可至少有点透明,使得一个指示符可覆盖被注视的显示器580的部分,而不显著模糊在那个部分在视觉上呈现的景色17的查看。
图7图示了逻辑流程2100的一个实施例。逻辑流程2100可代表由本文描述的一个或多个实施例执行的一些操作或所有操作。更确切地说,逻辑流程2100可图示由处理器组件550在至少执行收集例程540和查看例程545之一或二者时执行的和/或由查看装置500的其它组件执行的操作。
在2110,查看装置的处理器组件(例如,查看装置500的处理器组件550)确定查看装置的当前位置,并在2120确定查看装置的相机(例如相机570)相对于当前位置的方位。如之前所论述的,设想是,相机与查看装置的其它组件协同位于壳体中,使得当前位置和方位的确定适用于相机和查看装置作为一个整体。
在2130,至少当前位置的指示被传送到位置服务器(例如位置服务器300),并且在2140接收至少标识当前位置附近周围的相机视野内的项目的位置数据。如之前所论述的,相机的视野的当前方位和/或大小的指示可被传送到位置服务器,以使位置服务器能够将有关当前位置附近周围的项目的信息仅限于相机视野内的项目。然而,可能仅是当前位置被传送到位置服务器300,使得从那接收的位置数据标识在可全都在查看装置当前位置周围的周围位置的项目,将它留给查看装置确定哪些项目在视野内。
在2150,跟踪查看装置的操作员的至少一只眼睛(例如眼睛18)的眼睛移动,同时操作员查看在其上在视觉上呈现由相机捕捉的周围景色(例如景色17)的查看装置的显示器(例如显示器580)以确定该至少一只眼睛注视显示器的什么部分。在2160,注视的显示器的部分与从相机到周围部分的视线相关,沿该视线可以是对于操作员来说可能感兴趣的项目。如之前论述的,在计算时可采用显示器和相机的各种特性来导出来自相机位置的视线的方向,并且沿该视线操作员实际上通过相机和显示器的组合以查看装置被用作“虚拟窗格”的方式注视部分景色。
在2170,从位置服务器接收的位置数据和视线方向被用于与标识可沿该视线存在的可能感兴趣的一个或多个项目相关。如之前所论述的,还可标识一个或多个相邻项目。
在2180,标识可能感兴趣的项目的指示符(例如其中一个指示符813)以覆盖由相机捕捉的景色的视觉呈现的方式在视觉上呈现在显示器上。如之前论述的,指示符可邻近所注视的显示器的部分进行在视觉上呈现,以免模糊了在该部分在视觉上呈现的景色,和/或指示符可被做成至少部分透明,以使它的放置能够在该部分覆盖在景色上,同时仍允许透过指示符查看该景色。
图8图示了逻辑流程2200的一个实施例。逻辑流程2200可代表由本文描述的一个或多个实施例执行的一些操作或所有操作。更确切地说,逻辑流程2200可图示由处理器组件350在执行控制例程340的一个或多个可执行部分时执行的和/或由位置服务器300的其它组件执行的操作。
在2210,位置服务器的处理器组件(例如位置服务器300的处理器组件350)从查看装置(例如查看装置500)接收查看装置的当前位置以及其相机的当前方位的指示。如之前所论述的,此类查看装置可传送当前位置和当前方位,或者可传送当前位置而不传送当前方位。
在2220,标识在当前位置附近周围的项目,并且标识在查看装置的相机视野内的项目。如之前所论述的,位置服务器还可接收查看装置的相机的视野大小的指示作为另外输入以标识什么项目在相机的视野内。在2230,位置服务器向查看装置传送至少指示那些项目的身份以及它们相对于查看装置当前位置的位置的位置数据。
图9图示了适合于实现之前描述的各种实施例的处理架构3000的实施例。更确切地说,处理架构3000(或其变型)可实现为计算装置500的一部分。应该注意,处理架构3000的组件被给出了附图标记,其中最后两位数字对应于早前作为计算装置500的一部分描绘和描述的至少一些组件的附图标记的最后两位数字这么做有助于将每个的组件相关。
处理架构3000可包含通常在数字处理中采用各种元件,包含而非限制,一个或多个处理器、多核处理器、协处理器、存储单元、芯片集、控制器、***、接口、振荡器、定时装置、视频卡、音频卡、多媒体输入/输出(I/O)组件、电源等。如在此申请中所使用的,术语“***”和“组件”打算指的是执行数字处理的计算装置的实体,那个实体是硬件、硬件和软件的组合、软件或在执行的软件、由这个描绘的示范处理架构提供的示例。例如,组件可以是但不限于在处理器组件上运行的过程、处理器组件本身、可采用光和/或磁存储介质的存储装置(例如,硬盘驱动器、阵列中的多个存储驱动器等)、软件对象、可执行指令序列、执行线程、程序和/或整个计算装置(例如整个计算机)。作为图示,运行在服务器上的应用和服务器都可以是组件。一个或多个组件可驻留在过程和/或执行线程内,并且组件可局限在一个计算装置上和/或分布在两个或更多计算装置上。另外,组件可通过各种类型通信介质以通信方式彼此耦合以协调操作。协调可涉及信息的单向或双向交换。比如,组件可传递以通过通信介质传递的信号形式的信息。信息可实现为分配给一个或多个信号线的信号。消息(包含命令、状况、地址或数据消息)可以是其中一个此类信号,或者可以是多个此类信号,并且可通过各种连接和/或接口中的任一个串行或基本上并行传送。
如所描绘的,在实现处理架构3000时,计算装置至少可包含处理器组件950、存储装置960、接口990或其它装置以及耦合件955。如将说明的,根据实现处理架构3000的计算装置的各种方面,包含其预计使用和/或使用条件,此类计算装置可进一步包含附加组件,诸如而非限制:显示接口985、相机970、罗盘910、仰角传感器915等。
耦合955可包含一个或更多总线、点对点互连、收发器、缓冲器、交叉点开关和/或以通信方式至少将处理器组件950耦合到存储装置960的其它导线和/或逻辑。耦合955可进一步将处理器组件950耦合到接口990、音频子***970和显示接口985中的一个或更多个(根据这些和/或其它组件中的哪个组件也存在)。其中处理器组件950通过耦合件955如此耦合,处理器组件950能够执行上面详尽描述的任务中的各种任务,上面描述的计算装置中的无论哪个(哪些)装置都实现处理架构3000。耦合件955可以用以光和/或电方式输送信号的各种技术中的任何技术或技术组合来实现。另外,至少部分耦合件955可采用符合各种各样工业标准中任何标准的定时和/或协议,这些工业标准包含但不限于:加速图形端口(AGP)、卡总线、扩展工业标准架构(E-ISA)、微信道架构(MCA)、网络用户总线、***组件互连(扩展)(PCI-X)、PCI快速(PCI-E)、个人计算机存储卡国际联盟(PCMCIA)总线、HyperTransport?、QuickPath等等。
如之前所讨论的,处理器组件950(对应于处理器组件550)可包含各种各样市场上可买到的处理器中的任何处理器,其采用各种各样技术中的任何技术并且用以若干方式中的任何方式在物理上组合的一个或更多核来实现。
如之前所讨论的,存储装置960(对应于存储装置560)可基于各种各样技术中的任何技术或技术组合由一个或更多不同存储装置构成。更确切地说,如所描绘的,存储装置960可包含易失性存储装置961(例如基于RAM技术的一个或更多形式的固态存储装置)、非易失性存储装置962(例如不需要恒定电力供应来保存它们内容的固态、铁磁或其它存储装置)以及可移动介质存储装置963(例如可在计算装置之间传递信息的可移动盘或固态存储卡存储装置)中的一个或更多个。存储装置960作为有可能包含多种截然不同类型存储装置的这种描绘是在识别计算装置中多于一种类型的存储装置的常见使用,其中一种类型提供了相对快速的读和写能力,使处理器组件950能够更快速地操控数据(但有可能使用不断需要电力的“易失性”技术),而另一类型提供了相对高密度的非易失性存储装置(但有可能提供了相对低的读和写能力)。
给定采用不同技术的不同存储装置的经常不同的特性,此类不同存储装置通过不同存储装置控制器(通过不同接口耦合到它们的不同存储装置)耦合到计算装置的其它部分,也是常见的。作为示例,其中易失性存储装置961存在,并且基于RAM技术,易失性存储装置961可通过存储装置控制器965a以通信方式耦合到耦合件955,存储装置控制器965a向可能采用行和列寻址的易失性存储装置961提供适当接口,并且其中存储装置控制器965a可执行行刷新和/或其它维护任务,以帮助保存存储在易失性存储装置961内的信息。作为另一示例,其中非易失性存储装置962存在,并且包含一个或多个铁磁和/或固态盘驱动器,非易失性存储装置962可通过存储装置控制器965b以通信方式耦合到耦合件955,存储装置控制器965b向非易失性存储装置962提供适当接口,其可能采用信息块和/或柱面和扇区的寻址。作为又一示例,其中可移动介质存储装置963存在并包含采用机器可读存储介质969的一个或更多段的一个或更多光学和/或固态盘驱动器,可移动介质存储装置963可通过存储装置控制器965c以通信方式耦合到耦合件955,存储装置控制器965c提供到可移动介质存储装置963的适当接口,其可能采用信息块的寻址,并且其中存储装置控制器965c可用对延长机器可读存储介质969的寿命特定的方式协调读取、擦除和写入操作。
易失性存储装置961或非易失性存储装置962中的一个或另一个可包含以可存储包含由处理器组件950可执行以实现各种实施例的指令序列的例程的机器可读存储介质形式的制品,取决于每个所基于的技术。作为示例,其中非易失性存储装置962包含基于铁磁的盘驱动器(例如所谓的“硬驱”),每个此类硬驱通常采用一个或更多转动叶片,磁响应颗粒的涂层沉积在转动叶片上,并且以各种模式磁定向以存储信息(诸如指令序列),方式类似于存储介质(诸如软磁盘)。作为另一示例,非易失性存储装置962可由成排的固态存储装置构成以存储信息(诸如指令序列),方式类似于压缩闪速卡。同样,在计算装置中在不同时间采用不同类型的存储装置来存储可执行例程和/或数据,是常见的。从而,包含要由处理器组件950执行以实现各种实施例的指令序列的例程最初可存储在机器可读存储介质969上,并且随后可采用可移动介质存储装置963将那个例程拷贝到非易失性存储装置962用于更长期存储,不需要继续存在机器可读存储介质969和/或易失性存储装置961,以当执行那个例程时使处理器组件950能够更快速地存取。
如之前所讨论的,接口990(对应于接口590)可采用与可用于以通信方式将计算装置耦合到一个或更多其它装置的各种通信技术中的任何通信技术对应的各种信令技术中的任何信令技术。同样,可采用各种形式有线或无线信令中的之一或二者使处理器组件950能够有可能通过网络(例如网络999)或互连的网络集合与输入/输出装置(例如所描绘的示例键盘920或打印机925)和/或其它计算装置交互。在识别出必须经常由任何一个计算装置支持的多种类型的信令和/或协议的经常很大不同的字符时,接口990被描绘为包含多个不同接口控制器995a、995b和995c。接口控制器995a可采用各种类型有线数字串行接口或射频无线接口中的任何接口从用户输入装置(诸如所描绘的键盘920)接收串行传送的消息。接口控制器995b可采用各种基于电缆的或无线的信令、定时和/或协议中的任一个通过所描绘的网络999(可能是由一个或更多链路构成的网络、较小网络或可能是因特网)存取其它计算装置。接口995c可采用各种电传导电缆布线中的任一种,使得能够使用串行或并行信号传送向所描绘的打印机925输送数据。可通过接口990的一个或更多接口控制器以通信方式耦合的装置的其它示例包含但不限于:麦克风、遥控器、触控笔、读卡器、指纹读取器、虚拟现实交互手套、图形输入平板、游戏杆、其它键盘、视网膜扫描仪、触摸屏的触摸输入组件、跟踪球、各种传感器、监视人移动以接受由那些人经由手势和/或面部表情发信号通知的命令和/或数据的相机或相机阵列、激光打印机、喷墨打印机、机械机器人、铣床等。
在计算装置以通信方式耦合到(或可能实际上合并)显示器(例如,所描绘的示例显示器980,对应于一个或多个显示器180和380)的情况下,实现处理架构3000的此类计算装置还可包含显示接口985。虽然可采用更通用类型的接口以通信方式耦合到显示器,但在显示器上在视觉上显示各种形式内容时经常所需的有点专用的附加处理以及所使用的基于电缆的接口的有点专用的性质经常使提供不同显示接口符合需要。由显示接口985在以通信方式耦合显示器980时可采用的有线和/或无线信令技术可利用符合各种工业标准中的任何工业标准的信令和/或协议,包含但不限于各种模拟视频接口、数字视频接口(DVI)、显示端口等中的任一种。
更一般地说,本文描述的和描绘的计算装置的各种元件可包含各种硬件元件、软件元件或二者的组合。硬件元件的示例可包含装置、逻辑装置、组件、处理器、微处理器、电路、处理器组件、电路元件(例如晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。软件元件的示例可包含软件组件、程序、应用、计算机程序、应用程序、***程序、软件开发程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或它们的任何组合。然而,确定是否使用硬件元件和/或软件元件实现实施例可根据许多因素改变,诸如期望的计算速率、功率级、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束,视给定实现的需要而定。
一些实施例可使用表述“一个实施例”或“实施例”连同它们的派生词来描述。这些术语意味着,结合实施例描述的具体特征、结构或特性包含在至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定全都指同一实施例。另外,一些实施例可使用表述“耦合”和“连接”以及它们的派生词来描述。这些术语不一定打算作为彼此的同义词。例如,一些实施例可使用术语“连接”和/或“耦合”来指示两个或更多元件彼此直接物理接触或电接触进行描述。然而,术语“耦合”也可意味着,两个或更多元件彼此不直接接触,但仍彼此协同操作或交互。而且,来自不同实施例的方面或元件可以组合。
强调的是,提供本公开的摘要以允许读者快速明确技术公开的性质。要理解到,它不将用于解释或限制权利要求书的范围或意义。此外,在前述具体实施方式中,可以看到,为了使公开简化,各种特征被一起组合在单个实施例中。此公开方法不被解释为反映所要求权利的实施例需要比在每个权利要求中明确阐述的特征更多的特征的意图。而是,当如下权利要求书反映时,发明的主题在于少于单个公开的实施例的所有特征。从而,如下权利要求书由此被合并到具体实施方式中,其中每个权利要求都代表它自己作为独立实施例。在所附权利要求书中,术语“包含”和“在其中”分别被用作相应术语“包括”和“其中”的简明英语等效词。而且,术语“第一”、“第二”、“第三”等等仅仅被用作标记,并不打算对它们的对象施加数字上的要求。
上面已经描述的包含所公开架构的示例。当然,不可能描述每一个想到的组件和/或方法论组合,但本领域普通技术人员可认识到,许多另外组合和排列是可能的。因而,新颖架构意图涵盖落入所附权利要求书的精神和范围内的所有此类变化、修改和变型。详细的公开现在转到提供有关另外实施例的示例。下面提供的示例不打算限制。
在一些实施例中,一种用于呈现增强现实视图的设备包含:处理器组件;呈现组件,用于由处理器组件执行以便在显示器上在视觉上呈现由相机捕捉的图像,并在显示器上在视觉上呈现标识对捕捉的图像可能感兴趣的项目的指示符,所述指示符覆盖在捕捉的图像的视觉呈现上;以及相关组件,用于由处理器组件执行以便跟踪眼睛移动来确定眼睛注视的显示器的部分,并将显示器的所述部分与可能感兴趣的项目相关。
附加地或备选地,所述设备可包含:接口,用于接收来自无线网络接入点(AP)的信号或全球定位***(GPS)卫星信号中的至少一个;以及位置组件,用于由所述处理器组件执行以便采用接收的信号来确定当前位置。
附加地或备选地,所述设备可包含:通信组件,用于由所述处理器组件执行以便向计算装置传送所述当前位置,并接收位置数据,所述位置数据标识所述当前位置附近的项目并规定所述项目相对于所述当前位置的位置。
附加地或备选地,所述设备包含方位组件,用于由所述处理器组件执行以确定相机相对于当前位置的当前方位。
附加地或备选地,相关组件可采用当前方位、所述显示器的所述部分和位置数据来标识可能感兴趣的项目。
附加地或备选地,所述设备可包含:方位组件,用于由所述处理器组件执行以确定相机相对于当前位置的当前方位;以及接口,用于将所述当前位置和所述当前方位传送到计算装置,并接收标识所述当前位置附近的并在所述相机视野内的项目的位置数据,所述位置数据规定所述项目相对于所述当前位置的位置。
附加地或备选地,相关组件可采用当前方位、所述显示器的所述部分和位置数据来标识可能感兴趣的项目。
附加地或备选地,相关组件可采用显示器的特性和相机的特性来确定与显示器的所述部分相关的相机的视野内的视线,并且可采用当前方位和位置数据将所述视线与可能感兴趣的所述项目相关。
附加地或备选地,所述相关组件可将所述显示器的所述部分与位于距可能感兴趣的所述项目规定距离内的相邻项目相关,并且所述呈现组件在所述显示器上在视觉上呈现标识所述相邻项目的另一指示符,所述另一指示符覆盖在所述捕捉的图像的所述视觉呈现上。
附加地或备选地,呈现组件可偏离显示器的所述部分在显示器上在视觉上呈现指示符,以将捕捉的图像的视图留在未遮掩的显示器的部分。
附加地或备选地,呈现组件可在具有透明度的显示器的部分上在视觉上呈现指示符,以实现透过所述指示符查看在显示器的部分的捕捉图像。
附加地或备选地,所述设备可包含眼睛***、相机和显示器中的至少一个。
在一些示例中,一种用于呈现增强现实视图的设备可包含:处理器组件;相关组件,用于由所述处理器组件执行以便将眼睛注视的显示器的部分与在相机视野内来自所述相机的视线相关,并将所述视线中的项目标识为可能感兴趣的项目;以及呈现组件,用于由所述处理器组件执行以便在所述显示器上在视觉上呈现所述相机的所述视野内的景色,并在所述显示器上在视觉上呈现标识可能感兴趣的所述项目的指示符,所述指示符覆盖在所述景色上。
附加地或备选地,所述设备可包含:接口,用于接收来自无线网络接入点(AP)的信号或全球定位***(GPS)卫星信号中的至少一个;以及位置组件,用于由所述处理器组件执行以便采用接收的信号来确定当前位置。
附加地或备选地,所述设备可包含:通信组件,用于由所述处理器组件执行以便向计算装置传送所述当前位置,并接收位置数据,所述位置数据标识所述当前位置附近的项目并规定所述项目相对于所述当前位置的位置。
附加地或备选地,所述设备可包含:方位组件,用于由所述处理器组件执行以确定所述相机相对于所述当前位置的当前方位;所述通信组件向所述计算装置传送所述当前方位和所述视野的大小的指示,并且在所述位置数据中标识的所述项目限于所述视野内的项目。
附加地或备选地,所述相关组件可将所述视线与位于沿所述视线的点的规定距离内的相邻项目相关,并且所述呈现组件在所述显示器上在视觉上呈现标识所述相邻项目的另一指示符,所述另一指示符覆盖在所述景色上。
在一些示例中,用于呈现增强现实视图的计算机实现的方法可包含:处理器组件;在显示器上在视觉上呈现标识可能感兴趣的项目的指示符,所述指示符在所述显示器上覆盖在由相机捕捉的图像的视觉呈现上;跟踪眼睛移动以确定眼睛注视的所述显示器的部分;以及将所述显示器的所述部分与在所述捕捉的图像中可能感兴趣的所述项目相关。
附加地或备选地,所述方法可包含:接收来自无线网络接入点(AP)的信号或全球定位***(GPS)卫星信号中的至少一个;以及采用接收的信号来确定当前位置。
附加地或备选地,所述方法可包含向计算装置传送所述当前位置,并接收位置数据,所述位置数据标识所述当前位置附近的项目并规定所述项目相对于所述当前位置的位置。
附加地或备选地,所述方法可包含确定相机相对于当前位置的当前方位,并向计算装置传送当前方位和视野大小的指示,并且在位置数据中标识的项目限于所述视野内的项目。
附加地或备选地,所述方法可包含将所述当前方位、所述显示器的所述部分和所述位置数据相关来标识可能感兴趣的项目。
附加地或备选地,所述方法可包含将显示器的部分与在相机的视野内来自相机的视线相关以将所述视线中的项目标识为可能感兴趣的项目。
附加地或备选地,所述方法可包含将视线与位于沿视线的点的规定距离内的相邻项目相关,并且在显示器上在视觉上呈现标识相邻项目的另一指示符,所述另一指示符覆盖在捕捉的图像的视觉呈现上。
附加地或备选地,所述方法可包含偏离显示器的所述部分在显示器上在视觉上呈现所述指示符以将捕捉的图像的视觉呈现留在未遮掩的显示器的部分。
附加地或备选地,所述方法可包含在具有透明度的所述显示器的部分上在视觉上呈现所述指示符以实现透过指示符查看在显示器的部分在视觉上呈现的捕捉图像。
在一些示例中,至少一个机器可读存储介质可包含指令,所述指令当由计算装置执行时使计算装置跟踪眼睛移动以确定眼睛注视的显示器的部分;将显示器的部分与在相机捕捉的图像中可能感兴趣的项目相关;以及在显示器上在视觉上呈现标识可能感兴趣的项目的指示符,所述指示符在显示器上覆盖在捕捉的图像的视觉呈现上。
附加地或备选地,可使计算装置接收来自无线网络接入点(AP)的信号或全球定位***(GPS)卫星信号中的至少一个;以及采用接收的信号来确定当前位置。
附加地或备选地,可使计算装置向计算装置传送所述当前位置,并接收位置数据,所述位置数据标识所述当前位置附近的项目并规定所述项目相对于所述当前位置的位置。附加地或备选地,可使计算装置确定相机相对于当前位置的当前方位,并向计算装置传送当前方位和视野大小的指示,并且在位置数据中标识的项目限于所述视野内的项目。
附加地或备选地,可使计算装置将当前方位、显示器的部分和位置数据相关以标识可能感兴趣的项目。
附加地或备选地,可使计算装置将所述显示器的所述部分与在所述相机的视野内来自所述相机的视线相关以将所述视线中的项目标识为可能感兴趣的项目。
附加地或备选地,可使计算装置将视线与位于沿视线的点的规定距离内的相邻项目相关,并且在显示器上在视觉上呈现标识相邻项目的另一指示符,所述另一指示符覆盖在捕捉的图像的视觉呈现上。
附加地或备选地,可使计算装置偏离显示器的所述部分在显示器上在视觉上呈现指示符,以将捕捉的图像的视觉呈现留在未遮掩的显示器的部分。
附加地或备选地,可使计算装置在具有透明度的显示器的部分上在视觉上呈现指示符,以实现通过所述指示符查看在显示器的部分在视觉上呈现的捕捉图像。
附加地或备选地,可使计算装置。在一些实施例中,至少一个机器可读存储介质可包含指令,所述指令当由计算装置执行时使所述计算装置执行上述任何方法。
在一些实施例中,压缩和/或在视觉上呈现视频帧的装置可包含用于执行上述任何方法的部件。

Claims (25)

1.一种用于呈现增强现实视图的设备,包括:
处理器组件;
呈现组件,用于由所述处理器组件执行以便在显示器上在视觉上呈现由相机捕捉的图像,并在所述显示器上在视觉上呈现标识对所述捕捉的图像可能感兴趣的项目的指示符,所述指示符覆盖在所述捕捉的图像的视觉呈现上;以及
相关组件,用于由所述处理器组件执行以便跟踪眼睛移动来确定眼睛注视的所述显示器的部分,并将所述显示器的所述部分与可能感兴趣的所述项目相关。
2.如权利要求1所述的设备,包括:
接口,用于接收来自无线网络接入点(AP)的信号或全球定位***(GPS)卫星信号中的至少一个;以及
位置组件,用于由所述处理器组件执行以便采用接收的信号来确定当前位置。
3.如权利要求2所述的设备,包括:通信组件,用于由所述处理器组件执行以便向计算装置传送所述当前位置,并接收位置数据,所述位置数据标识所述当前位置附近的项目并规定所述项目相对于所述当前位置的位置。
4.如权利要求3所述的设备,包括:方位组件,用于由所述处理器组件执行以便确定所述相机相对于所述当前位置的当前方位。
5.如权利要求4所述的设备,所述相关组件采用所述当前方位、所述显示器的所述部分和所述位置数据来标识可能感兴趣的所述项目。
6.如权利要求2所述的设备,包括:
方位组件,用于由所述处理器组件执行以便确定所述相机相对于当前位置的当前方位;以及
接口,用于将所述当前位置和所述当前方位传送到计算装置,并接收标识所述当前位置附近的并在所述相机视野内的项目的位置数据,所述位置数据规定所述项目相对于所述当前位置的位置。
7.如权利要求6所述的设备,所述相关组件采用所述当前方位、所述显示器的所述部分和所述位置数据来标识可能感兴趣的所述项目。
8.如权利要求7所述的设备,所述相关组件采用所述显示器的特性和所述相机的特性来确定与所述显示器的所述部分相关的所述相机的所述视野内的视线,并采用所述当前方位和所述位置数据将所述视线与可能感兴趣的所述项目相关。
9.如权利要求1所述的设备,所述相关组件将所述显示器的所述部分与位于距可能感兴趣的所述项目规定距离内的相邻项目相关,并且所述呈现组件在所述显示器上在视觉上呈现标识所述相邻项目的另一指示符,所述另一指示符覆盖在所述捕捉的图像的所述视觉呈现上。
10.如权利要求1所述的设备,包括眼睛***、所述相机和所述显示器中的至少一个。
11.一种用于呈现增强现实视图的设备,包括:
处理器组件;
相关组件,用于由所述处理器组件执行以便将眼睛注视的显示器的部分与在相机视野内来自所述相机的视线相关,并将所述视线中的项目标识为可能感兴趣的项目;以及
呈现组件,用于由所述处理器组件执行以便在所述显示器上在视觉上呈现所述相机的所述视野内的景色,并在所述显示器上在视觉上呈现标识可能感兴趣的所述项目的指示符,所述指示符覆盖在所述景色上。
12.如权利要求11所述的设备,包括:
接口,用于接收来自无线网络接入点(AP)的信号或全球定位***(GPS)卫星信号中的至少一个;以及
位置组件,用于由所述处理器组件执行以便采用接收的信号来确定当前位置。
13.如权利要求12所述的设备,包括:通信组件,用于由所述处理器组件执行以便向计算装置传送所述当前位置,并接收位置数据,所述位置数据标识所述当前位置附近的项目并规定所述项目相对于所述当前位置的位置。
14.如权利要求13所述的设备,包括:方位组件,用于由所述处理器组件执行以便确定所述相机相对于所述当前位置的当前方位,所述通信组件向所述计算装置传送所述当前方位和所述视野的大小的指示,并且在所述位置数据中标识的所述项目限于所述视野内的项目。
15.如权利要求11所述的设备,所述相关组件将所述视线与位于沿所述视线的点的规定距离内的相邻项目相关,并且所述呈现组件在所述显示器上在视觉上呈现标识所述相邻项目的另一指示符,所述另一指示符覆盖在所述景色上。
16.一种用于呈现增强现实视图的计算机实现的方法,包括:
在显示器上在视觉上呈现标识可能感兴趣的项目的指示符,所述指示符覆盖在所述显示器上由相机捕捉的图像的视觉呈现上;
跟踪眼睛移动以确定眼睛注视的所述显示器的部分;以及
将所述显示器的所述部分与在所述捕捉的图像中可能感兴趣的所述项目相关。
17.如权利要求16所述的计算机实现的方法,包括:
接收来自无线网络接入点(AP)的信号或全球定位***(GPS)卫星信号中的至少一个;以及
采用接收的信号来确定当前位置。
18.如权利要求17所述的计算机实现的方法,包括:
向计算装置传送所述当前位置;以及
接收位置数据,所述位置数据标识所述当前位置附近的项目并规定所述项目相对于所述当前位置的位置。
19.如权利要求18所述的计算机实现的方法,包括:
确定所述相机相对于所述当前位置的当前方位;以及
向所述计算装置传送所述当前方位和视野大小的指示,在所述位置数据中标识的所述项目限于所述视野内的项目。
20.如权利要求19所述的计算机实现的方法,包括将所述当前方位、所述显示器的所述部分和所述位置数据相关以标识可能感兴趣的所述项目。
21.如权利要求16所述的计算机实现的方法,包括将所述显示器的所述部分与在所述相机的视野内来自所述相机的视线相关以将所述视线中的项目标识为可能感兴趣的项目。
22.如权利要求21所述的计算机实现的方法,包括:
将所述视线与位于沿所述视线的点的规定距离内的相邻项目相关;以及
在所述显示器上在视觉上呈现标识所述相邻项目的另一指示符,所述另一指示符覆盖在所述捕捉的图像的所述视觉呈现上。
23.如权利要求16所述的计算机实现的方法,包括:偏离所述显示器的所述部分在所述显示器上在视觉上呈现所述指示符,以便将所述捕捉的图像的所述视觉呈现留在未遮掩的所述显示器的部分。
24.如权利要求16所述的计算机实现的方法,包括:在具有透明度的所述显示器的所述部分上在视觉上呈现所述指示符,以实现透过所述指示符查看在所述显示器的所述部分在视觉上呈现的所述捕捉图像。
25.至少一个机器可读存储介质,包括指令,所述指令当由计算装置执行时使所述计算装置执行如权利要求16-24中任一项所述的方法。
CN201380078811.7A 2013-09-12 2013-09-12 用于提供增强现实视图的技术 Active CN105432071B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/059444 WO2015038127A1 (en) 2013-09-12 2013-09-12 Techniques for providing an augmented reality view

Publications (2)

Publication Number Publication Date
CN105432071A true CN105432071A (zh) 2016-03-23
CN105432071B CN105432071B (zh) 2019-04-23

Family

ID=52625164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380078811.7A Active CN105432071B (zh) 2013-09-12 2013-09-12 用于提供增强现实视图的技术

Country Status (4)

Country Link
US (1) US10008010B2 (zh)
EP (1) EP3044950A4 (zh)
CN (1) CN105432071B (zh)
WO (1) WO2015038127A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933022A (zh) * 2017-04-01 2017-07-07 深圳优立全息科技有限公司 一种虚拟现实互动体验装置
CN110709788A (zh) * 2017-06-19 2020-01-17 霍尼韦尔国际公司 用于呈现与工业过程、控制和自动化***或其他***相关的信息的移动设备上的增强现实用户界面

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6419421B2 (ja) * 2013-10-31 2018-11-07 株式会社東芝 画像表示装置、画像表示方法およびプログラム
US10783554B1 (en) 2014-02-25 2020-09-22 Groupon, Inc. Generation of promotion in an augmented reality
WO2015164467A1 (en) * 2014-04-23 2015-10-29 Abbott Medical Optics Inc. Medical device data filtering for real time display
US9928371B2 (en) 2014-11-19 2018-03-27 Papal, Inc. Systems and methods for protecting information displayed on a user interface of a device
US9886598B2 (en) * 2014-12-29 2018-02-06 Paypal, Inc. Automatic adjustment of a display to obscure data
JP2016192122A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9928372B2 (en) 2015-10-23 2018-03-27 Paypal, Inc. Selective screen privacy
US10839425B2 (en) * 2016-02-19 2020-11-17 At&T Intellectual Property I, L.P. Commerce suggestions
CN106057067B (zh) * 2016-06-01 2019-04-09 浙江工业大学 一种用于增强现实的半透明标识方法
CN106226908A (zh) * 2016-09-06 2016-12-14 歌尔科技有限公司 一种虚拟现实头盔和虚拟现实***
CN110199324B (zh) * 2017-01-31 2023-12-29 株式会社和冠 显示装置及其控制方法
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
JP7093418B2 (ja) * 2018-09-20 2022-06-29 富士フイルム株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN109685909B (zh) * 2018-11-12 2022-12-20 腾讯科技(深圳)有限公司 图像的显示方法、装置、存储介质和电子装置
US11164341B2 (en) * 2019-08-29 2021-11-02 International Business Machines Corporation Identifying objects of interest in augmented reality
US11538199B2 (en) * 2020-02-07 2022-12-27 Lenovo (Singapore) Pte. Ltd. Displaying a window in an augmented reality view
US20220065650A1 (en) * 2020-07-16 2022-03-03 Eyal Shlomot Universal Pointing and Interacting Device for the Guidance of the Blind and Visually Impaired

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070273583A1 (en) * 2005-09-17 2007-11-29 Outland Research, Llc Pointing interface for person-to-person interaction through ad-hoc networks
CN102479251A (zh) * 2010-11-29 2012-05-30 株式会社泛泰 使用增强现实数据库提供增强现实的移动终端和方法
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103262097A (zh) * 2010-12-17 2013-08-21 高通股份有限公司 基于手持式装置中的眼睛俘获的增强现实处理

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US20070058836A1 (en) * 2005-09-15 2007-03-15 Honeywell International Inc. Object classification in video data
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
CA3043204C (en) * 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US20130054377A1 (en) * 2011-08-30 2013-02-28 Nils Oliver Krahnstoever Person tracking and interactive advertising
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070273583A1 (en) * 2005-09-17 2007-11-29 Outland Research, Llc Pointing interface for person-to-person interaction through ad-hoc networks
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN102479251A (zh) * 2010-11-29 2012-05-30 株式会社泛泰 使用增强现实数据库提供增强现实的移动终端和方法
CN103262097A (zh) * 2010-12-17 2013-08-21 高通股份有限公司 基于手持式装置中的眼睛俘获的增强现实处理
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933022A (zh) * 2017-04-01 2017-07-07 深圳优立全息科技有限公司 一种虚拟现实互动体验装置
CN110709788A (zh) * 2017-06-19 2020-01-17 霍尼韦尔国际公司 用于呈现与工业过程、控制和自动化***或其他***相关的信息的移动设备上的增强现实用户界面
CN110709788B (zh) * 2017-06-19 2022-11-08 霍尼韦尔国际公司 移动设备上的增强现实用户界面

Also Published As

Publication number Publication date
EP3044950A1 (en) 2016-07-20
WO2015038127A1 (en) 2015-03-19
US20150070386A1 (en) 2015-03-12
CN105432071B (zh) 2019-04-23
US10008010B2 (en) 2018-06-26
EP3044950A4 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
CN105432071A (zh) 用于提供增强现实视图的技术
KR102362117B1 (ko) 지도 정보를 제공하기 위한 전자 장치
US9483113B1 (en) Providing user input to a computing device with an eye closure
US20190163344A1 (en) Information processing apparatus, information processing method, and recording medium
JP5324714B2 (ja) 端末装置の視野に含まれていない客体に関する情報を提供するための方法、端末装置及びコンピュータプログラム
Giannopoulos et al. GeoGazemarks: Providing gaze history for the orientation on small display maps
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
US9569898B2 (en) Wearable display system that displays a guide for a user performing a workout
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US20140225814A1 (en) Method and system for representing and interacting with geo-located markers
WO2017112099A1 (en) Text functions in augmented reality
Fröhlich et al. On the move, wirelessly connected to the world
US10783714B2 (en) Methods and systems for automatically tailoring a form of an extended reality overlay object
CN104871214A (zh) 用于具扩增实境能力的装置的用户接口
JP2018132528A (ja) 画像処理装置、画像処理方法及びプログラム
Anagnostopoulos et al. Gaze-Informed location-based services
TW201013158A (en) Mobile imaging device as navigator
CN104321681A (zh) 使用透明显示装置的增强的信息递送
KR20150075532A (ko) 증강 현실 제공 장치 및 방법
US9672588B1 (en) Approaches for customizing map views
Funk et al. Representing indoor location of objects on wearable computers with head-mounted displays
JP2004265222A (ja) インタフェース方法、装置、およびプログラム
KR101568741B1 (ko) 모바일 증강현실 기반의 정보 제공 시스템
KR20190047922A (ko) 혼합현실을 이용한 정보 공유 시스템
Lehtinen et al. Integrating spatial sensing to an interactive mobile 3D map

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant