CN107870669A - 用于增强现实体系架构中改进的数据集成的***和方法 - Google Patents
用于增强现实体系架构中改进的数据集成的***和方法 Download PDFInfo
- Publication number
- CN107870669A CN107870669A CN201710855973.7A CN201710855973A CN107870669A CN 107870669 A CN107870669 A CN 107870669A CN 201710855973 A CN201710855973 A CN 201710855973A CN 107870669 A CN107870669 A CN 107870669A
- Authority
- CN
- China
- Prior art keywords
- information
- augmented reality
- data
- reality equipment
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 294
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000010354 integration Effects 0.000 title abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 230000001419 dependent effect Effects 0.000 claims abstract description 7
- 238000003860 storage Methods 0.000 claims description 49
- 230000015654 memory Effects 0.000 claims description 43
- 230000004888 barrier function Effects 0.000 claims description 23
- 230000001052 transient effect Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000005728 strengthening Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims 9
- 230000002708 enhancing effect Effects 0.000 description 33
- 238000004891 communication Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 235000012054 meals Nutrition 0.000 description 4
- IKZSCIQRFZBRLD-NSISKUIASA-N ram-337 Chemical compound C1C(=O)CC[C@@]2(O)[C@H]3CC(C=CC(OC)=C4OCC)=C4[C@]21CCN3C IKZSCIQRFZBRLD-NSISKUIASA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002045 lasting effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- IBBLRJGOOANPTQ-JKVLGAQCSA-N quinapril hydrochloride Chemical compound Cl.C([C@@H](C(=O)OCC)N[C@@H](C)C(=O)N1[C@@H](CC2=CC=CC=C2C1)C(O)=O)CC1=CC=CC=C1 IBBLRJGOOANPTQ-JKVLGAQCSA-N 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/02—Reservations, e.g. for tickets, services or events
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
- G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
- G06Q30/016—After-sales
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
- G06Q90/20—Destination assistance within a business structure or complex
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Architecture (AREA)
- Optics & Photonics (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及用于增强现实体系架构中改进的数据集成的***和方法。所述***和方法包括：从与个人相关联的增强现实设备获得与个人相关联的上下文信息和与增强现实设备相关联的设备信息，从多个数据源获得与个人或增强现实设备相关联的多个数据集，从数据集中确定与个体或增强现实设备相关的信息子集，其中信息子集的相关性基于对上下文信息和设备信息的分析，基于所确定的信息子集生成显示数据，将显示数据提供给增强现实设备用于在增强现实设备上显示，其中表示显示数据的图形覆盖图显示在个人的视野前面。
Description
背景技术
现代世界中数据和数据源的可用性日益增加，这推动了人们消费数据的方式的增长和创新。个人越来越依赖在线资源和数据的可用性来告知他们的日常行为和交互。便携式连接设备的无处不在允许从几乎任何地方访问这种类型的信息。
但是，使用这些信息增强人们对物理世界的看法仍处于起步阶段。当前的增强现实***可以将视觉数据覆盖在屏幕或视口上，从而提供叠加在视觉世界上的信息。虽然有用，但这些类型的***通常仅限于为用户已经可用的信息提供附加的显示，或者用重叠的数据复制可见光谱(visual spectrum)。需要真正增强的***，使用关于用户的视觉感知的上下文信息和细节来提供完全集成的增强现实体验。
附图说明
现在参考示出本公开的示例实施例的附图。在图中：
图1是与本公开的实施例一致的、用于集成的增强现实***的示例性***的框图。
图2是与本公开的实施例一致的示例性计算设备的框图。
图3A-3B是与本公开的实施例一致的示例性增强现实设备的图。
图4A-4C是与本公开的实施例一致的增强现实的示例性用途。
图5是与本公开的实施例一致的、用于增强现实***中改进的数据集成的示例性方法的流程图。
图6是与本公开的实施例一致的、用于增强现实***中改进的数据集成的示例性方法的流程图。
具体实施方式
现在将详细参考根据本公开实现的示例性实施例，其示例在附图中示出。在任何可能的情况下，在整个附图中将使用相同的标号来指代相同或相似的部分。
本文所述的实施例涉及增强现实***中改进的交互和集成。增强现实***为增强对整个世界的视觉理解提供了巨大的潜力。通过补充个人眼中的视觉观点，增强现实***可以提供对我们周围的世界的更详细了解。
当前的增强现实***可以在视觉视野上覆盖计算机生成的图像和数据，从而提供仅利用眼睛无法获得的视觉体验。但是，增强现实***的当前实现不能提供完全集成的体验。视觉覆盖图通常涉及如通知或警报之类的东西。在这些***中，虽然增强现实体验提供了有用的应用，但是增强与用户的视觉焦点无关。在其它增强现实***中，图形叠加提供了关于用户正在观看的内容的信息，但所提供的信息仅限于那个特定的应用和数据集。
本文所述的实施例从不同的角度处理这些问题。所公开的***不是专注于提供基于特定应用的有限的信息集，而是将来自增强现实设备本身的数据和与个人相关联的大量数据源进行集成。所公开的***可以使用关于用户的上下文信息进一步分析和处理可用数据。可以将这种数据集成的结果提供给用户的增强现实设备，以提供关于用户视觉视野的看似无关的方面的信息的全面覆盖。
而且，所公开的***和方法可以基于关于个人的上下文信息来定制那种信息。所提供的覆盖图可以链接到由个人或其他各方管理的其它数据源，以提供与个人正在观看的项目相关的时间、位置和特定于上下文的数据。
例如，***可以基于来自增强现实设备或用户的移动设备的位置信息来识别用户已经到达机场航站楼。使用来自用户的数字日历的数据，连同来自由航空公司或其它旅行输送机构(conveyor)托管的旅行应用的与个人有关数据，连同其它旅行软件，所公开的***和方法还可以确定个人具有即将到来的航班。在个人到达时，所公开的***和方法可以使用关于即将到来的航班和当前检票(check-in)状态的可用信息来指导个人到适当的检票亭、客户服务或票务柜台或登机口。不是简单地提供关于每个票务柜台的增强信息，如当前增强现实***中典型的那样，所公开的***对来自多个数据源的数据的集成为个人提供量身定制的体验，同时也提供他们与航空公司或其它旅行输送机构的预约交易的现状。
此外，所公开的***和方法可以使当前的机场规程现代化。例如，在先前描述的示例中，所描述的增强现实***可以被用来检测个人在机场的什么地方、他们可以拥有的行李数量以及他们可能需要去什么地方。这些信息可以被旅行***用来管理航班清单、使用户自动检票、有效地指示托运行李应当放在哪里、自动生成行李票并提供登机通知。以这种方式，所公开的***和方法不仅对旅行者有帮助，而且还可以通过提供用来作出关于航班和旅行管理的重要决定的增强信息来增强机场运作的效率和效力。
而且，所公开的***和方法可以向个人提供交互式体验。当前的大多数增强现实***只是传播信息。确实提供某种程度的交互性的***基于用户与特定应用的交互来做到这一点，从而限制了有用性。因为所公开的***和方法提供了专门针对个体量身定制的集成数据，所以来自个人的交互可以涉及与该个人相关联的任何数量的活动或服务。例如，当个人在登机口等待登机时，与个人的航班相关的信息不仅可以用来提供状态更新，而且还可以与个人的一般航班偏好、购买偏好或预测性购买分析相结合，以提供除其它之外尤其是关于附加座位可用性、升级选项、飞行中便利设施或飞行前服务的详细信息。个人可以与增强现实***进行交互，以更换座位或预先选择飞行娱乐。不是要求个人明确地请求这种类型的信息，所公开的***和方法中提供的集成允许***和方法基于从增强现实设备本身不可用的上下文信息来抢先向个人提供相关的有用信息。
本文所述的实施例提供了用于使用大量可用数据(来自各种数据源)以提供集成和交互式增强现实体验的技术和技巧。本文所述的实施例包括用于从增强现实设备获得关于个人的上下文信息和关于与个人相关联的增强现实设备的设备信息的***和方法。所述***和方法还包括从多个数据源获得与个人或增强现实设备相关联的多个数据集，并且从多个数据集确定与个人相关的信息子集，其中信息的相关性基于从增强现实设备获得的上下文信息和设备信息。而且，所述实施例包括用于基于所确定的信息子集生成显示数据并将显示数据提供给增强现实设备以在增强现实设备上显示的***和方法，其中显示数据覆盖在个人视野之上。
在一些实施例中，所述技术还包括***和方法，其中从增强现实设备获得的上下文信息包括表示个人的视野的视觉数据，并且其中信息子集的相关性还基于对视觉数据的分析。所公开的实施例中的另一个包括***和方法，其中从增强现实设备获得的上下文信息包括位置信息、朝向信息和运动信息中的至少一个。在其它所公开的实施例中，提供了***和方法，其中从多个数据集获得的信息(在这种情况下，数据来自专有数据源而不是设备)包括与个人相关联的旅行信息，并且其中旅行信息包括用户简档、旅行偏好、购买的旅行服务、旅行更新和历史旅行信息中的至少一个。
与本公开一致的附加实施例包括***和方法，其中对上下文信息和设备信息的分析包括确定个人的视野内的实体以及过滤与这些实体无关的信息。
图1是与本公开的实施例一致的、用于集成的增强现实***的示例性***100的框图。***100可以包括专有数据源110，包括数据库111、数据源113、数据库115、数据库117、数据***116和预测分析引擎118。***100还可以包括外部数据源120，其可以包括地图数据121、评级数据123、天气数据127、航班数据129和位置数据125。***100还可以包括应用编程接口(API)130。API 130可以使用例如在下面参考图2更详细描述的计算设备200在服务器或计算机***上实现，例如，来自专有数据源110和外部数据源120的数据可以通过计算设备200的I/O设备230和/或网络接口218获得。另外，数据可以在处理期间存储在合适的存储装置(诸如存储装置228和/或***存储器221)中。返回去来参考图1，***100还可以包括增强现实***140。如同API 130，增强现实***140可以使用例如计算设备200在服务器或计算机***上实现。
图2是与本公开的实施例一致的示例性计算设备200的框图。在一些实施例中，计算设备200可以是提供本文所述的功能的专用服务器。在一些实施例中，***100的部件(诸如专有数据源110(例如，数据库111、数据源113、数据库115、数据***116、数据库117和预测分析引擎118)、API 130、增强现实***140和增强的虚拟现实设备145)可以使用计算设备200或并行操作的多个计算设备200来实现。另外，计算设备200可以是提供本文所述的功能或者从服务器接收信息以提供至少一些所述功能的第二设备。而且，计算设备200可以是存储和/或提供与本公开的实施例一致的数据的一个或多个附加设备。
计算设备200可以包括一个或多个中央处理单元(CPU)220和***存储器221。计算设备200还可以包括一个或多个图形处理单元(GPU)225和图形存储器226。在一些实施例中，计算设备200可以是不包括(一个或多个)GPU 225和/或图形存储器226的无外设(headless)计算设备。
CPU 220可以是能够执行存储在存储器(例如，***存储器221)、高速缓存(例如，高速缓存241)或寄存器(例如，寄存器240之一)中的指令集的单个或多个微处理器、现场可编程门阵列或数字信号处理器。CPU 220可以包含用于存储可变类型的数据的一个或多个寄存器(例如，寄存器240)，除了其它之外，包括数据、指令、浮点值、条件值、用于存储器(例如，***存储器221或图形存储器226)中的位置的存储器地址、指针和计数器。CPU寄存器240可以包括用来存储与执行指令相关联的数据(诸如指令指针、指令计数器和/或存储器堆栈指针)的专用寄存器。***存储器221可以包括有形的和/或非暂态的计算机可读介质，诸如软盘、硬盘、光盘只读存储器(CD-ROM)、磁光(MO)驱动器、数字多功能盘随机存取存储器(DVD-RAM)、固态盘(SSD)、闪存驱动器和/或闪存、处理器高速缓存、存储器寄存器或半导体存储器。***存储器221可以是能够存储数据并允许CPU 220直接访问的一个或多个存储器芯片。***存储器221可以是能够如本文所述那样操作的任何类型的随机存取存储器(RAM)或其它可用的存储器芯片。
CPU 220可以经由***接口250(有时称为总线)与***存储器221进行通信。在包括GPU 225的实施例中，GPU 225可以是可以操纵和更改存储器(例如，图形存储器226)以提供和/或加速图像的创建的任何类型的专用电路***。GPU 225可以将图像存储在帧缓冲器(例如，帧缓冲器245)中，用于输出到显示设备(诸如显示设备224)。在一些实施例中，存储在帧缓冲器245中的图像可以通过网络接口218或I/O设备230提供给其它计算设备。GPU225可以具有为了比通用CPU 220更高效地处理图形数据的大的并行块而优化的高度并行结构。此外，GPU 225的功能可以包括在专用处理单元或协处理器的芯片集中。
CPU 220可以执行存储在***存储器221或其它存储器中的编程指令，对存储在存储器(例如，***存储器221)中的数据进行操作，并通过***接口250与GPU 225进行通信，该***接口250桥接计算设备200的各个部件之间的通信。在一些实施例中，CPU 220、GPU225、***接口250或其任意组合被集成到单个芯片集或处理单元中。GPU 225可以执行存储在存储器(例如，***存储器221)中的指令集，以操纵存储在***存储器221或图形存储器226中的图形数据。例如，CPU 220可以向GPU 225提供指令，并且GPU 225可以处理指令，以渲染存储在图形存储器226中的图形数据。图形存储器226可以是由GPU 225可访问的任何存储器空间，包括本地存储器、***存储器、片上存储器和硬盘。GPU 225可以使得能够在显示设备224上显示存储在图形存储器226中的图形数据，或者可以处理图形信息并通过网络接口218或I/O设备230向连接的设备提供该信息。
计算设备200可以包括连接到I/O控制器223的显示设备224和输入/输出(I/O)设备230(例如，键盘、鼠标或指向设备)。I/O控制器223可以经由***接口250与计算设备200的其它部件通信。可以认识到的是，CPU 220也可以通过***接口250以外的方式(诸如通过串行通信或直接点到点通信)与***存储器221和其它设备进行通信。类似地，GPU 225可以以***接口250以外的方式与图形存储器226和其它设备进行通信。除了接收输入，CPU 220还可以经由I/O设备230(例如，通过打印机、扬声器、骨传导或其它输出设备)提供输出。
此外，计算设备200可以包括网络接口218，以通过各种连接(包括但不限于标准电话线、LAN或WAN链路(例如，802.21、T1、T3、56kb、X.25)、宽带连接(例如，ISDN、帧中继、ATM)、无线连接(例如，符合除其它之外尤其是802.11a、802.11b、802.11b/g/n、802.11ac、蓝牙、蓝牙LTE、3GPP或WiMax标准的无线连接)，或上述任何或全部的某些组合)与LAN、WAN、MAN或互联网接口。网络接口218可以包括内置网络适配器、网络接口卡、PCMCIA网卡、卡总线网络适配器、无线网络适配器、USB网络适配器、调制解调器或适于将计算设备200与能够通信的任何类型的网络接口并执行本文所述的操作的任何其它设备。
返回去参考图1，***100还可以包括增强现实设备145。增强现实设备可以是诸如以下更详细描述的图3B中绘出的增强现实设备390或者某种其它增强现实设备的设备。而且，增强现实设备145可以使用以下更详细描述的图3A中所示的设备300中所示的部件来实现。
图3A-3B是与本公开的实施例一致的示例性增强现实设备300和390的图。这些示例性增强现实设备可以表示增强现实设备的内部部件(例如，如图3A中所示)和增强现实设备的外部部件(例如，如图3B中所示)。在一些实施例中，图3A可以表示包含在图3B的增强现实设备390内的示例性电子设备300。
图3A是图示示例性电子设备300的简化框图。在一些实施例中，电子设备300可以包括具有视频显示能力和与其它计算机***进行通信(例如，经由互联网)的能力的增强现实设备。依赖于由电子设备300提供的功能，在各种实施例中，电子设备300可以是或者可以包括手持设备、被配置为用于数据和语音通信的多模式通信设备、智能电话、移动电话、膝上型计算机、连接到网络的计算机、上网本、游戏控制台、平板电脑、智能手表、眼镜、耳机，护目镜或启用联网通信的PDA。
电子设备300可以包括容纳电子设备300的部件的壳体(未示出)。电子设备300的内部部件可以例如在印刷电路板(PCB)上构造。虽然电子设备300的部件和子***可以被实现为分立元件，但是部件和子***的功能也可以通过以一种或多种组合将一个或多个元件集成、组合或包装到一起来实现。
电子设备300可以包括控制器，其包括一个或多个CPU 301，其控制电子设备300的整体操作。(一个或多个)CPU 301可以是能够执行特定指令集的一个或多个微处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其任意组合。(一个或多个)CPU 301可以与诸如无线通信***306的设备子***交互用于与无线网络交换射频信号以执行通信功能、与音频子***320交互以产生音频、与位置子***308交互以用于获取位置信息、以及与显示子***310交互以用于产生显示元素。
(一个或多个)CPU 301还可以与输入设备307、持久存储器330、随机存取存储器(RAM)337、只读存储器(ROM)338、数据端口318(例如，常规串行数据端口、通用串行总线(USB)数据端口、30针数据端口、闪电(lightning)数据端口或高清多媒体接口(HDMI)数据端口)、麦克风322、相机324和无线通信306(其可以采用任何适当的无线(例如，RF)、光学或其它短距离通信技术(例如，WiFi、蓝牙或NFC))交互。图3中所示的一些子***执行通信相关的功能，而其它子***可以提供“驻留”或设备上的功能。
无线通信306包括用于与网络进行通信以使得能够与任何外部设备(例如，未示出的服务器)进行通信的通信***。无线通信306的特定设计依赖于电子设备300预期在其中操作的无线网络。电子设备300可以在完成所需的网络注册或激活过程之后经无线网络发送和接收通信信号。
位置子***308可以提供各种***，诸如提供位置信息的全球定位***(例如，GPS309)。此外，位置子***可以利用来自连接的设备(例如，通过无线通信306连接)的位置信息，以进一步提供位置数据。由位置子***308提供的位置信息可以存储在例如持久存储器330中，并由应用334和操作***332使用。
显示子***310可以控制各种显示器(例如，左眼显示器311和右眼显示器313)。为了提供增强现实显示，显示子***310可以在透明显示器上提供图形元素(例如，使用(一个或多个)GPU 302生成的图形元素)的显示。在其它实施例中，在左眼显示器311和右眼显示器313上生成的显示可以包括从相机324捕获并利用重叠的图形元素再现的图像。而且，显示子***310可以在左眼显示器311和右眼显示器313上显示不同的覆盖图，以示出不同的元素或者提供深度或透视的模拟。
相机324可以是CMOS相机、CCD相机、或能够捕获和输出压缩或未压缩图像数据(诸如静止图像或视频图像数据)的任何其它类型的相机。在一些实施例中，电子设备300可以包括多于一个相机，从而允许用户从一个相机切换到另一个相机，或者将由一个相机捕获的图像数据覆盖在由另一个相机捕获的图像数据之上。从相机324输出的图像数据可以存储在例如图像缓冲器(其可以是驻留在RAM337中的临时缓冲器，或驻留在ROM 338或持久存储器330中的永久缓冲器)中。图像缓冲器可以是例如先进先出(FIFO)缓冲器。在一些实施例中，图像缓冲器可以直接提供给(一个或多个)GPU 302、以及用于在有或没有图形覆盖图的情况下在左眼显示器311和/或右眼显示器313上显示的显示子***310。
电子设备可以包括用于测量与电子设备300相关联的运动和朝向数据的惯性测量单元(例如，IMU 340)。IMU 340可以利用加速度计342、陀螺仪344和其它传感器346来捕获供电子设备300使用的具体的力、角速率、磁场和生物特征信息。由IMU 340和相关联的传感器(例如，加速度计342、陀螺仪344和其它传感器346)捕获的数据可以存储在存储器(诸如持久存储器330或RAM 337)中并且由应用334和操作***332使用。通过IMU 340及其相关联的传感器收集的数据也可以通过例如无线通信306提供给联网设备。
(一个或多个)CPU 301可以是在存储的程序的控制下操作并且执行存储在有形体现的非暂态计算机可读存储介质(诸如持久存储器330)中的软件模块的一个或多个处理器，其中持久存储器330可以是寄存器、处理器高速缓存、随机存取存储器(RAM)、软盘、硬盘、CD-ROM(光盘只读存储器)和MO(磁光)、DVD-ROM(数字通用盘-只读存储器)、DVD RAM(数字通用盘-随机存取存储器)或其它半导体存储器。
软件模块还可以存储在计算机可读存储介质中，诸如ROM 338或任何适当的持久存储器技术(包括EEPROM、EAROM、FLASH)。这些计算机可读存储介质存储用于由(一个或多个)CPU 301执行以执行电子设备300上的各种功能的计算机可读指令。可替代地，功能和方法也可以在硬件部件或者硬件和软件的组合中实现，诸如像ASIC和/或专用计算机。
软件模块可以包括用来控制电子设备300的操作的操作***软件332。此外，软件模块可以包括用于向电子设备300提供附加功能的软件应用334。例如，软件应用334可以包括被设计为与如上述***100的***接口的应用。应用334可以提供具体的功能，以允许电子设备300与不同的数据***接口并提供增强的功能和视觉增强。
软件应用334还可以包括一系列应用，包括例如电子邮件消息传送应用、地址簿、记事本应用、互联网浏览器应用、语音通信(即，电话或互联网语音协议(VoIP))应用、绘图(mapping)应用、媒体播放器应用、健康相关的应用等。软件应用334中的每一个可以包括布局信息，该布局信息根据该相应的应用定义预期要在增强现实显示器上显示(例如，通过显示子***310)的特定字段和图形元素的放置。在一些实施例中，软件应用334是在操作***332的指导下执行的软件模块。
操作***332可以提供多个应用协议接口(API)，其提供用于在电子设备300的各种子***和服务与软件应用334之间进行通信的接口。例如，操作***软件332向需要创建用于在电子设备300上显示的图形元素的应用提供图形API。访问用户接口API可以向应用提供以下功能：创建和管理增强的接口控件(诸如覆盖图)；经由相机324、麦克风322或输入设备307接收输入；以及意在通过显示子***310显示的其它功能。此外，相机服务API可以允许通过相机324捕获视频，以用于捕获图像数据(诸如可以通过显示子***310被处理并用于提供增强的图像或视频数据)。
在一些实施例中，电子设备300的部件可以被一起使用，以提供从用户到电子设备300的输入。例如，显示子***310可以包括左眼显示器311和右眼显示器313上的交互式控件。作为增强显示的一部分，这些控件可以出现在电子设备300的用户的前面。使用相机324，电子设备300可以检测用户何时选择显示在增强现实设备上的控件之一。用户可以通过作出由相机捕获的特定手势或动作、触摸显示子***310在增强视图上显示虚拟控件的空间区域，或通过物理地触摸电子设备300上的输入设备307来选择控件。这种输入可以由电子设备300处理。
相机324还可以包括多个相机，以检测直接用户输入以及用于头跟踪和手跟踪。当用户移动他的头和手时，相机324可以提供与移动的环境和用户的手的移动对应的视觉信息。这些移动可以提供给(一个或多个)CPU 301、操作***332和应用334，其中数据可以和与通过显示子***310显示的增强信息相关的其它传感器数据和信息组合，以确定用户选择和输入。
而且，电子设备300可以从麦克风322接收直接输入。在一些实施例中，麦克风322可以是用于相同或不同目的的一个或多个麦克风。例如，在多麦克风环境中，一些麦克风可以检测环境变化，而其它麦克风可以接收来自用户的直接音频命令。麦克风322可以直接记录来自用户的音频或输入。类似于来自相机324的视觉数据，来自麦克风322的音频数据可以提供给(一个或多个)CPU 301、操作***332和应用334以供处理，以确定用户的输入。
在一些实施例中，持久存储器330存储数据336，包括特定于电子设备300的用户的数据，诸如用户帐户的信息或特定于设备的标识符。持久存储器330还可以存储与从电子设备300访问的服务获得的那些(例如，内容、通知和消息)相关的数据。持久存储器330还可以存储与各种应用相关的数据，具有例如电子设备300的特定用户的偏好。在一些实施例中，持久存储器330可以存储将用户的数据与应用中的特定数据字段相关联的数据336，例如用于自动地向在电子设备300上执行的应用提供用户的凭证。此外，在各种实施例中，数据336还可以包括服务数据，包括电子设备300建立和维持与网络的通信所需的信息。
在一些实施例中，电子设备300还可以包括一个或多个可移动存储器模块352(例如，FLASH存储器)和存储器接口350。可移动存储器模块352可以存储用来向无线网络识别或认证用户或用户的帐户的信息。例如，结合某些类型的无线网络(包括GSM和后继网络)，可移动存储器模块352被称为订户身份模块(SIM)。存储器模块352可以***或耦合到电子设备300的存储器模块接口350，以便结合无线网络来操作。
电子设备300还可以包括电池362，其提供用于操作电子设备300的能量。电池362可以通过电池接口360耦合到电子设备300的电路***，电池接口360可以管理诸如从外部电源(未示出)给电池362充电以及将能量分配到电子设备300内或耦合到电子设备300的各种负载的功能。
控制基本设备操作的应用的集合(包括数据以及可能的语音通信应用)可以在制造期间或之后安装在电子设备300上。附加的应用或者对操作***软件332或软件应用334的升级也可以通过数据端口318、无线通信306、存储器模块352或其它合适的***加载到电子设备300上。下载的程序或代码模块可以被永久地安装(例如，写入)持久存储器330中，或者写入RAM 337并由(一个或多个)CPU 301在运行时从RAM 337执行。
图3B是示例性增强现实设备390。在一些实施例中，增强现实设备390可以是为穿戴者提供增强的视口的隐型眼镜、眼镜、护目镜或头带。在其它实施例(图3B中未示出)中，增强现实设备可以是如关于图3A所述的计算机、移动设备、便携式电信设备、平板电脑、PDA或其它计算设备的一部分。
如图3B中所示，增强现实设备390可以包括穿戴者可以看穿的视口391。增强现实设备390还可以包括处理部件392。处理部件392可以是容纳上面关于图3A所述的电路***和模块的外壳。虽然被示为在增强现实设备390的每一侧上的两个不同的元件，但处理硬件和/或部件可以仅容纳在增强现实设备390的一侧中。图3A中所示的部件可以包括在增强现实设备390的任何部分中。
在一些实施例中，增强现实设备390可以包括显示设备393。这些显示设备可以与图3A的左眼显示器311和右眼显示器313相关联。在这些实施例中，显示设备393可以从左眼显示器311、右眼显示器313和显示子***310接收适当的显示信息，并将适当的覆盖图投影或显示到视口391上。通过这个过程，增强现实设备390可以提供增强的图形元素在穿戴者的视野中显示。
返回去参考图1，数据库111、115和117、数据源113、数据***116、预测分析引擎118、API 130和增强现实***140中的每一个可以是模块，其是被包装的功能硬件单元，被设计为与执行相关功能的特定功能的其它部件或程序的一部分一起使用。这些模块中的每一个可以使用图2的计算设备200来实现。下面更详细地描述这些部件中的每一个。在一些实施例中，***100的功能可以跨多个计算设备(例如，类似于计算设备200的多个设备)拆分，以允许数据的分布式处理。在这些实施例中，不同的部件可以经图2的计算设备200的I/O设备230或网络接口218进行通信。
可以通过专有数据源110和外部数据源120使数据对***100可用。可以认识到的是，为每个示出的示例性数据源(例如，专有数据源110的数据库111、115和117、数据源113、数据***116和预测分析引擎118，以及外部数据源120的地图数据121、评级数据123、天气数据127、航班数据129和位置数据125)并不是详尽的。许多不同的数据源和数据类型可以既存在于专有数据源110又存在于外部数据源120中。而且，其中一些数据可以在外部数据源120和专有数据源110之间重叠。例如，外部数据源120可以提供位置数据125，其可以包括关于具体机场或企业的数据。相同的数据也可以以相同或不同的形式包括在例如专有数据源110的数据库111中。
而且，专有数据源110和外部数据源120中的任何数据源或者***100使用的任何其它数据源可以是关系数据库管理***(RDBMS)(例如，Oracle数据库、Microsoft SQLServer、MySQL、PostgreSQL和/或IBM DB2)。RDBMS可以被设计为在尽可能少的操作中高效地返回用于整行的数据(或记录)。RDBMS可以通过串行化每行数据来存储数据。例如，在RDBMS中，与记录相关联的数据可以被串行地存储，使得可以在一个操作中访问与该记录的所有类别相关联的数据。而且，RDBMS可以通过在公共字段或特性上连接记录来高效地允许访问存储在不相干(disparate)表中的相关记录。
在一些实施例中，专有数据源110和外部数据源120中的任何数据源或者***100使用的任何其它数据源可以是非关系数据库管理***(NRDBMS)(例如，XML、Cassandra、CouchDB、MongoDB、Oracle NoSQL数据库、FoundationDB和/或Redis)。非关系数据库管理***可以使用各种数据结构(除其它之外，诸如键-值存储、文档存储、图形和元组存储)存储数据。例如，使用文档存储的非关系数据库可以将与特定记录相关联的所有数据都组合到使用XML编码的单个文档中。非关系数据库可以提供整个记录的高效访问并且提供跨多个数据***的有效分配。
在一些实施例中，专有数据源110和外部数据源120中的任何数据源或者***100使用的任何其它数据源可以是图形数据库(例如，Neo4j或Titan)。图形数据库可以使用图形概念(诸如节点、边和特性)表示数据来存储数据。存储在图形数据库中的记录可以基于连接各种节点的边与其它记录相关联。这些类型的数据库可以高效地存储在其它类型的数据库***中难以建模的复杂的分层关系。
在一些实施例中，专有数据源110和外部数据源120中的任何数据源或者***100使用的任何其它数据源可以通过API来访问。例如，数据***116可以是允许访问数据库115中的数据的API。而且，外部数据源120都可以是通过API访问的公开可用的数据。API 130可以通过其具体API访问任何数据源，以向***100提供附加的数据和信息。
虽然专有数据源110和外部数据源120的数据源在图1中被示为隔离的数据库或数据源，但是可以认识到的是，这些数据源(除其它之外，其可以利用前面所述的任何数据存储***)可以跨多个电子设备、数据存储***或其它电子***分布。而且，虽然专有数据源110的数据源被示出为通过API 130可访问的不同***或部件，但是可以认识到的是，在一些实施例中，这各种数据源可以通过API 130以外的其它接口彼此直接访问。
除了提供直接对数据存储***(诸如数据库111或数据源113)的访问，专有数据源110还可以包括数据***116。数据***116可以连接到一个或多个数据源(诸如数据库115)。数据***116可以提供到存储在数据库115中的数据的接口。在一些实施例中，数据***可以将数据库115中的数据与其它数据组合，或者数据***116可以在将数据库115中的数据提供给API 130或某个其它请求者之前对该数据进行预处理。
专有数据源110还可以包括预测分析引擎118。预测分析引擎118可以使用存储在数据库117中的数据并且可以将新数据存储在数据库117中。预测分析引擎可以通过API130向其它***提供数据并且通过API 130从其它***或部件接收数据。例如，除其它之外，预测分析引擎118可以接收关于用户进行的购买的信息、对旅行偏好的更新、所浏览的服务和被拒绝的服务的信息。由预测分析引擎118收集的信息可以包括与存储在专有数据源110的其它部件中的信息以及来自外部数据源120的信息相关的任何数据。
使用这种数据，预测分析引擎118可以利用各种预测分析和机器学习技术(除其它之外，包括监督式学习、非监督式学习、半监督式学习、强化学习、深度学习等)。这些技术可以被用来基于由预测分析引擎118收集的数据构建和更新模型。通过将这些技术和模型应用于新的数据集，预测分析引擎118可以基于特定个人所做的过去的行为和/或选择提供信息。例如，预测分析引擎可以从增强现实设备145和增强现实***140接收关于特定个人的数据。预测分析引擎118可以使用与那个个人相关联的简档信息和过去的购买信息来确定该个人可能喜欢的旅行服务(诸如座位升级或机上便利设施)。例如，预测分析引擎可以确定该个人从未选择升级到头等舱，但通常会购买诸如高级饮料和机上娱乐套餐等便利设施。因而，预测分析引擎可以确定可以为该个人呈现购买这些设施的选项，而不呈现升级座位的选项。可以认识到的是，预测分析引擎118能够使用超出这个提供的示例的先进技术。专有数据源110可以表示不能被公众直接访问或得到的各种数据源(例如，数据库111、数据源113、数据库115、数据***116、数据库117和预测分析引擎118)。这些数据源可以基于费用的支付或订阅来提供给订户。对这些数据源的访问可以由专有数据源的所有者直接提供，或者通过诸如API 130的接口来提供，下面更详细地描述。
虽然在图1中仅示出了专有数据源110的一个分组，但是各种专有数据源可以从各种提供者可用于***100。在一些实施例中，数据源分组中的每一个将包括与公共行业或领域相关的数据。在其它实施例中，专有数据源的分组可以依赖于各种数据源的提供者。
例如，专有数据源110中的数据源可以包含与航空旅行业相关的数据。在这个示例中，数据库111可以包含旅行简档信息。除了基本人口统计信息，旅行简档数据还可以包括即将到来的旅行信息、过去的旅行历史、旅行者偏好、忠诚度信息，以及与旅行者简档相关的其它信息。另外，在这个示例中，数据源113可以包含与伙伴关系或辅助服务(诸如酒店、租车、事件、保险和停车)相关的信息。此外，数据库115可以包含有关机场、飞机、具体的座位安排、登机口信息和其它后勤信息的详细信息。如前所述，这种信息可以通过数据***116来处理。因而，在这个示例性实施例中，专有数据源110中的数据源可以提供综合旅行数据。
类似于专有数据源110，外部数据源120可以表示各种数据源(例如，地图数据121、评级数据123、天气数据127、航班数据129和位置数据125)。与专有数据源110不同，外部数据源120可以被公众访问，或者可以是在API 130或***100的提供者的直接控制之外的数据源。
虽然在图1中仅示出了外部数据源120的一个分组，但是各种外部数据源可以从各种提供者可用于***100。在一些实施例中，数据源分组中的每一个将包括与公共行业或域相关的数据。在其它实施例中，外部数据源的分组可以依赖于各种数据源的提供者。在一些实施例中，外部数据源120可以表示API 130可用的每个外部数据源。
而且，外部数据源120中所示的数据的具体类型仅仅是示例性的。可以包括附加类型的数据，并且在外部数据源120中包括具体类型的数据并不是限制性的。
如图1中所示，外部数据源120可以包括地图数据121。地图数据可以包括通过所提供的API可用的位置、地图和导航信息，除其它之外，诸如Google地图API和/或Open Street地图API。评级数据123可以包括关于企业、产品、位置等的评级或评论信息。例如，除其它之外，评级数据123可以包括来自Yelp API、Amazon Customer Reviews API和/或TripAdvisor Content API的数据。位置数据125可以包括具体数据，诸如企业简档、操作时间、菜单等。天气数据127可以是特定于位置的天气信息，除其它之外，其可以通过Dark SkyForecast API、Weather Channel API、NOAA Web Services API和/或WeatherUnderground API等进行访问。航班据129可以包括航班信息、登机口信息和/或机场信息，除其它之外，这些信息可以通过FlightStats API、FlightWise API、FlightStats API和FlightAware API进行访问。这些外部数据源120(例如，地图数据121、评级数据123、天气数据127、航班数据129和位置数据125)中的每一个可以提供通过API 130访问的附加数据。
如前所述，API 130可以提供在公共接口中用于访问通过专有数据源110和外部数据源120可用的任何数据的统一接口。API 130可以是在例如计算设备(诸如关于图2描述的计算设备200)上执行的软件。在这些实施例中，API 130可以使用任何标准的编程语言(例如，Python、Ruby、Java、C、C++、node.js、PHP、Perl等)来编写，并且可以使用各种数据传送格式和/或协议(除其它之外，包括SOAP、JSON对象、基于REST的服务、XML等)提供访问。API130可以提供接收标准格式的对数据的请求并且以可预测的格式进行响应。
在一些实施例中，API 130可以将来自一个或多个数据源的数据(例如，存储在专有数据源110、外部数据源120中的数据，或两者兼有)组合成统一的响应。此外，在一些实施例中，API 130可以处理来自各种数据源的信息，以提供在原始数据中不可用的附加字段或属性。这种处理可以基于一个或多个数据源，并且可以利用来自每个数据源的一个或多个记录。例如，API 130可以提供聚合或统计信息，诸如平均值、总和、数值范围或其它可计算的信息。而且，API 130可以将来自多个数据源的数据归一化成公共格式。先前对API 130的能力的描述仅仅是示例性的。存在API 130可以检索并打包通过专有数据源110和外部数据源120提供的数据的许多附加方式。
增强现实***140可以与增强现实设备145和API 130交互。增强现实***140可以接收与增强现实设备145相关的信息(例如，通过图3的无线通信306)。这种信息可以包括先前关于图3描述的任何信息。例如，增强现实***可以接收位置信息、运动信息、视觉信息、声音信息、朝向信息、生物特征信息，或由增强现实设备145提供的任何其它类型的信息。此外，增强现实***140可以从增强现实设备145接收识别信息，诸如特定于设备的标识符或者与增强现实设备145的用户相关联的认证凭证。
增强现实***140可以处理接收到的信息并且向API 130提出(formulate)请求。这些请求可以利用来自增强现实设备145的识别信息，诸如设备标识符或来自增强现实设备145的用户的认证凭证。
除了从增强现实设备145接收信息，增强现实***140还可以将更新后的信息推送到增强现实设备145。例如，增强现实***140可以在更新后的航班信息可用的时候将该信息推送到增强现实设备145。以这种方式，增强现实***140既可以从增加现实设备145拉取信息，又可以向现实设备145推送信息。而且，增强现实***140可以从外部数据源120(例如，经由API 130)拉取信息。例如，如果在机场存在登机口改变，那么增强现实***140可以获取那种信息并经由增强现实设备145向用户在登机口信息接口中(例如，如图4A的登机口信息405中提供的)和/或在导航路径中(例如，图4A的导航路径401)通知这种改变。
使用来自增强现实设备145的信息，增强现实***140可以通过API 130请求详细信息。从API 130返回的信息可以与从增强现实设备145接收的信息组合并由增强现实***140进行处理。然后增强现实***140可以对应当由增强现实设备145显示的更新后的增强现实信息做出智能决定。下面关于图4A-4C更详细地描述这种处理的示例性用例。增强现实设备145可以使用显示设备393接收更新后的增强现实信息并在例如图3B中所示的视口391上显示适当的更新。
图4A-4C是与本公开的实施例一致的图1的***100的示例性用例。图4A是来自增强现实设备的(例如，图3的设备390或图1的增强现实设备145)导航通过拥挤的机场航站楼的示例性增强视图。图4B是用于使用增强现实设备(例如，设备390或增强现实设备145)选择特定于上下文的飞行便利设施和登机口娱乐的示例性用例。贯穿图4A-4C的描述，将通过其适当的标号参考先前在图1-3中讨论的元件。
图4A是来自增强现实设备的(例如，从图3的设备390或从图1的增强现实设备145)导航通过拥挤的机场航站楼的示例性增强视图400。增强视图400可以是通过来自图3B的视口391的视图，并且可以是来自图3B的显示设备393投影由图3A的显示子***310的左眼显示器311和右眼显示器313提供的图形覆盖图的结果。
返回去参考图4A，增强视图400可以在视口391上表示图形覆盖图，从而导致增强现实视图。例如，增强视图的增强元素可以包括导航路径401、登机口信息405、评论信息402和404、汇率信息403和控件407。
如前所述，增强视图400可以基于关于增强现实设备(例如，图1的增强现实设备145)的穿戴者的上下文信息来提供集成的信息。例如，如图4A中所例证的，增强现实设备可以使用运动信息(例如，来自IMU 340)来检测用户正在机场中移动。增强现实设备可以将用户在机场中的位置、移动信息和用户的识别信息发送到增强现实服务器(例如，图1的增强现实服务器140)。增强现实服务器可以检索与用户相关的简档信息以及与机场和用户的位置相关的信息(例如，使用图1的API 130)。由增强现实***检索的信息可以与用户的上下文信息组合，以提供在增强视图400上示出的图形元素。在一些实施例中，特定的图形元素可以部分地由预测分析引擎118提供并且可以基于用户过去的行为来量身定制或者被过滤。
例如，增强现实***可以使用从专有数据源以及外部数据源抽取的识别信息，以检索用于用户的航班的出发登机口。这种信息可以直接显示在例如登机口信息405中。该信息可以包括登机时间、登机口号和关于航班的附加信息(诸如用户在剩余票(standby)或升级列表上的位置)。此外，增强现实***140可以将用户的位置信息与关于机场布局的信息组合，以计算到登机口的行进时间。
而且，如先前关于图1所描述的，在一些实施例中，可以周期性地更新出发登机口信息和航班信息。增强现实***140可以通过例如API 130拉取更新后的信息，并将更新后的信息推送到例如增强现实设备145以在增强视图400上显示。
在一些实施例中，增强现实***140还可以从通过API 130可用的数据源中检索关于机场的信息(包括与机场相关联的航路点、地理围栏和布局)。使用这种信息，增强现实***140可以为用户计算将用户指引到他或她的登机口的导航路径401。导航路径401可以被发送到增强现实设备145并显示在增强视图400上。在一些实施例中，
增强现实***140可以计算用于增强路径401的必要视觉元素，并将它们直接发送到增强现实设备145。在其它实施例中，增强现实***可以将原始数据发送到增强现实设备145，并且增强现实设备145可以确定必要的图形覆盖图以产生导航路径401。
在一些实施例中，增强现实***140还可以从增强现实设备145捕获视觉信息(例如，使用相机324)。增强现实***140还可以处理视觉数据，以便提供对于可以从相机数据看到但通过API 130提供的可用数据源不可得到的障碍物的对象避开。例如，这种视觉信息可以包括将需要替代路径的临时屏障、人、建筑或其它障碍物。当用户在机场中移动时，数据可以被持续地提供给增强现实***140，并且增强现实***140可以持续地处理和分析那种数据，以确定潜在的障碍或障碍物。于是，当用户在机场中移动时，增强现实***140可以更新在增强视图400上显示的导航路径401。
关于当前领域、障碍物和预期目标目的地(例如，目的地登机口)的持续信息流可以允许增强现实***140持续地向增强现实设备145提供更新后的导航路径，以在增强视图400上显示。而且，通过增强现实设备145获取的数据可以返回到增强现实***140。这种信息又可以例如通过API 130提供给专有数据源110。然后，该数据可以被用来辅助附加的个人观看同样的障碍物。这种反馈循环可以通过从增强现实***140的多个活动用户获取关于障碍物的更新后的信息来提高***的有效性和效率。而且，增强现实***140可以将来自增强现实设备145的移动信息与视觉信息进行比较，以确定用户要避开的、之前没有被确定为障碍物的障碍物。以这种方式，增强现实***可以通过有效地学习什么视觉形状或图像可能与障碍物对应来针对未来路径生成改进其对障碍物的识别。
此外，增强现实***140可以，基于通过API 130为用户检索的航班信息，确定用户的最终目的地是德国。为了帮助用户，增强现实***140可以检索用于货币兑换的机场位置。这种信息可以与用于导航路径401的计算组合，并且增强现实***140可以提供沿着用户到他们的登机口的路径的货币兑换的位置。此外，增强现实***140可以提供关于当前汇率的信息。增强现实设备可以在货币兑换的位置接收这种信息并显示汇率信息403。可以认识到的是，如果用户不去海外旅行，那么增强现实***140可以不包括汇率信息403。
而且，在一些实施例中，增强现实***可以访问预测分析引擎118或者与用户相关联的过去的购买历史，并且认识到用户享受在免税店购物并享受在国际航班之前的饮食。增强现实***140可以通过API 130检索免税店位置信息和评级以及餐厅位置信息和评级，并将那种信息提供给增强现实设备145。增强现实设备可以在增强视图400上显示用于相关免税店和餐厅的位置和评级，作为评论信息402和404。
在一些实施例中，增强现实***140还可以使用用户简档信息来确定用户在这个特定机场时仅在“Galley Diner”餐厅吃饭。因而，使用这个简档信息，增强现实***140可以过滤信息并向增强现实设备145仅提供“The Galley Diner”餐厅的位置而不提供其它餐厅信息。在一些实施例中，增强现实***140可以比其它餐厅更强调“The Galley Diner”餐厅。而且，在一些实施例中，增强现实***140可以基于用户过去的餐厅选择从预测分析引擎118检索餐馆建议。例如，通过分析与更喜欢“The Galley Diner”餐厅的个人的餐厅选择相关的数据，预测分析引擎可以为增强现实***140提供用户可能享受的推荐餐厅选择。
通过这种集成，用户接收到完全针对其特定旅行偏好定制的增强视图400，而不是如常规增强现实***中所做的那样接收所有可用信息的泛滥。
而且，增强现实设备145和增强现实***140可以基于用户动作来提供反馈。基于前面的示例，如果用户决定进入“The Galley Diner”餐厅，那么用户的动作可以被增强现实设备145捕获并提供给增强现实***140。增强现实***140可以通过API 130更新专有数据源110。当增强现实***140查询API 130以获取附加信息时，API 130可以通过使用例如预测分析引擎118和用户曾经吃过的先前信息来向增强现实***140提供不包括餐厅位置或建议的数据。在一些实施例中，预测分析引擎118可以确定用户通常在餐后享用咖啡，并且因而在提供给增强现实***140的信息中包括与咖啡馆相关的信息。
图4B是用于使用增强现实设备(例如，设备390或增强现实设备145)来选择特定于上下文的航班便利设施和登机口娱乐的示例性用例。图4B示出了用户通过其增强现实设备观看航班便利设施和登机口娱乐选项的第三人称视角。图4B示出了娱乐选项413以及航班便利设施415和417。如图4B中所示，增强现实设备145可以以给出透视感的方式显示图形覆盖图。
图4B中由用户穿戴的增强现实设备145可以向增强现实***140提供特定于上下文的用户信息。例如，增强现实设备145可以向增强现实服务器140提供持续的位置信息。当增强现实服务器检测到用户已经到达他或她的登机口并已经停止移动时，增强现实服务器140可以查询API 130，以检索特定于用户和登机口的信息。这种信息可以包括用户的简档信息以及在飞机上和登机口都可用的航班便利设施。
增强现实***140可以组合用户简档信息、登机口信息和航班信息，以确定用户在等待他们的航班时可以欣赏的娱乐选项。这种信息可以由例如预测分析引擎118确定，并通过API 130提供给增强现实***140。预测分析或者过去的购买或观看历史可以揭示用户喜欢喜剧。因而，增强现实***140可以确定来自柯南·奥布莱恩(Conan O’Brien)节目的剪辑在登机口可用于观看。增强现实***140可以将这种信息提供给增强现实设备145，增强现实设备145可以显示娱乐选项413。
如先前参考图3A所描述的，用户可以选择观看所提供的娱乐。如果娱乐选项需要付费，那么增强现实***可以使用存储的用于用户的支付信息，以便在用户的指导下购买适当的娱乐包。在成功购买后，增强现实***140可以将所选择的娱乐媒体提供给增强现实设备145以供显示。在一些实施例中，增强现实设备145可以接收适当的授权和凭证并直接连接到娱乐源。
在一些实施例中，用户的简档信息还可以被用来确定航班舒适性偏好。例如，用户的简档信息可以指示用户喜欢商务舱座位。增强现实服务器140可以基于通过API 130检索的航班信息来确定商务舱座位是可用的。增强现实***可以将升级选项发送到增强现实设备145，并且增强现实设备可以向用户显示航班便利设施415和417。增强现实设备还可以使用左眼显示器311和右眼显示器313来提供透视图以显示可用的航班便利设施417。透视图可以被用于示出商务舱座椅(例如，航班便利设施417)的真实尺寸表示，使得用户可以体验他或她可能正在购买的内容的准确描绘。
图4C是用于使用增强现实设备(例如，增强现实设备145)进行登机口娱乐的示例性用例。图4C示出了用户通过增强现实设备观看登机口娱乐的第三人称视角。图4C示出了被用来以角色423、425和427以及飞行娱乐供应426的形式显示登机口娱乐的增强现实设备420。
与图4A和4B中描述的设备不同，增强现实设备420(其可以表示与图1的增强现实设备145不同的另一种形式)不是可穿戴设备。增强现实设备420可以是包括投影仪或与用户使用的增强现实眼镜(图4C中未示出)进行通信的平板电脑。
类似于图4B中所描述的，增强现实设备420可以识别出用户正在登机口等待。增强现实***140可以通过与增强现实设备420的通信来识别出这个特定设备被注册的旅行者的孩子使用。基于与注册的旅行者相关联的票信息，增强现实***可以检索既包括儿童娱乐偏好又包括用于家庭的旅行行程信息的用户简档信息。
增强现实***140可以通过例如预测分析引擎118和API 130来检索这种信息，并且还可以确定该家庭正在前往(traveling)与孩子最喜欢的卡通角色相关联的游乐园。增强现实***140可以指导增强现实设备420利用可以与孩子交互的那些角色来显示增强显示。此外，增强现实设备可以提供附加的供应和服务426，诸如告诉孩子他的父母可能为飞行购买附加的娱乐。在一些实施例中，由预测分析引擎118提供的信息可以通知哪些特定角色在生成后续购买时最成功并且增强现实显示可以有利于那些角色。
在一些实施例中，附加选项可能包括在家庭正在前往的游乐园提供特殊服务或娱乐包。在一些实施例中，增强现实设备420的所有者可以指定与什么娱乐选项以及供给和服务可以提供给孩子或其他家庭成员相关的偏好。基于这些简档偏好，以及与历史使用模式相关或由预测分析引擎118确定的信息，增强现实***140可以过滤可能对用户没有用或不期望的数据和出售品。
图5是与本公开的实施例一致的、用于增强现实***中改进的数据集成的示例性方法500的流程图。将容易地认识到的是，所示的过程可以被更改为删除步骤或者还包括附加的步骤。可以认识到的是，一个或多个计算设备(诸如图2的***或图3的电子设备)可以执行示例性方法，并且本文所述的功能可以作为硬件、存储在一个或多个计算设备中的软件或其任意组合被结合。
在初始步骤501之后，***(例如，图1的增强现实***140)可以从与个人相关联的增强现实设备(例如，图1的增强现实设备145)获得(步骤510)关于个人和该增强现实设备的上下文信息。上下文信息可以包括关于增强现实设备的用户的具体简档信息。此外，上下文信息可以包括来自增强现实设备(例如，图3A的GPS 309、IMU 340和相机324)上的各种传感器的信息。上下文信息还可以包括用户的位置信息。这种位置信息可以基于例如GPS(例如，GPS 309)或者从联网基础设施(例如，通过无线通信306)检索。增强现实***可以经网络(例如，通过图3A的无线通信306)从增强现实设备检索这种信息。
增强现实***可以基于上下文信息从多个数据源(例如，数据库111、数据源113、数据库115、数据***116、数据库117和预测分析引擎118、地图数据121、天气数据127、航班数据129、评级数据123和位置数据125)获得(步骤520)与个人相关联的多个数据集(例如，使用API 130)。来自增强现实设备的上下文信息可以提供用于过滤多个数据源的基础。上下文信息可以包括关于增强现实设备的识别信息(诸如序列号或唯一标识符以及关于增强现实设备的当前状态的位置、方向、移动和其它信息)。使用这种上下文信息，***可以检索提供(例如，使用API 130)关于用户的、通常不能从增强现实设备本身获得的详细信息的数据集。例如，简档信息可以包括过去的旅行购买、座位偏好、即将到来的航班信息以及增强现实***不容易获得的其它信息。
增强现实***可以基于上下文信息和多个数据集来确定(步骤530)显示信息。在检索出各种数据集之后，增强现实***可以合并并过滤数据(例如，使用增强现实***140)。基于经过滤的数据，***可以确定相关的图形信息以供增强现实设备显示。例如，***可以过滤掉用户不喜欢的餐厅的位置和推荐信息。在一些实施例中，***可以利用检索出的关于用户的旅行计划的信息来确定用户的航班细节。确定相关的个性化显示信息可以允许通过使用增强现实设备以前不可用的信息将相关数据提供给增强现实设备。
在确定显示信息之后，***可以将所确定的显示信息提供(步骤540)给增强现实设备进行显示并且完成(步骤599)该过程。显示数据可以通过例如来自图3的无线通信306来提供。显示信息可以使用例如来自图3A的显示设备393和左眼显示器311以及右眼显示器313被投影到视口391上。由于基于关于用户的上下文信息的底层数据集成和过滤，所显示的图形数据与增强现实***的用户高度相关。
图6是与本公开的实施例一致的、用于增强现实***中改进的数据集成的示例性方法600的流程图。在初始步骤601之后，***(例如，图1的增强现实***140)可以获得(例如，从图1的增强现实设备145)个人在综合建筑物(building complex)中的位置和综合建筑物内的期望目的地。该位置可以由增强现实设备基于例如由增强现实设备存储的GPS(例如，图3的增强现实设备300的GPS 309)或其它位置信息来提供。位置信息可以特定于建筑物或综合建筑物内的特定位置。例如，位置可以与机场的具体登机口对应。
***还可以获得(步骤620)与综合建筑物相关联的构建信息。基于从增强现实设备检索出的位置信息，***可以从多个数据源(例如，图1的专有数据源110或外部数据源120)检索关于具***置的附加信息。例如，如果综合建筑物是机场，那么***可以检索包括机场布局以及机场的所有业务和特征的信息。而且，与机场相关的信息可以包括不能徒步穿越的机场区域。这些区域可以被存储为障碍物。
在检索出相关的建筑物和任何障碍物信息之后，***可以确定(步骤630)从用户的位置到目的地的导航路径(例如，图4A的导航路径401)。所确定的路径可以解释在上一步中检索出的障碍物。导航路径可以基于障碍物信息以及建筑物的总体布局和结构。
在确定导航路径之后，***可以向增强现实设备(例如，图3A的增强现实设备390)提供(步骤640)所确定的路径。导航路径可以显示在增强现实设备上。例如，如图4A中所示，导航路径401显示在图3B的增强现实设备390的视口391上。
当用户沿着导航路径或在机场周围移动时，***可以从增强现实设备获得(步骤650)用户的更新后的位置信息。使用这种更新后的位置信息，***可以通过使用更新后的位置信息和先前检索出的建筑物和障碍物信息来重新确定(步骤660)导航路径。***可以将更新后的导航路径(连同其它相关信息)提供(步骤670)增强现实设备给供显示(例如，作为图4A中的导航路径401)并完成(步骤699)该过程。更新后的信息也可以包括和/或更新特定于用户在既定空间内的位置的接口，其接口可以包括如图4A中所示的评论信息402和404以及汇率信息403。例如，当用户更接近“The Galley Diner”餐厅时，对应的接口可以变得更大或更被强调。这个持续的循环可以允许导航路径在用户在机场周围移动时持续地更新。
虽然先前的***是就旅行上下文来描述的，但是该***可以被用于许多不同的领域。所使用的特征和所结合的数据可以基于其中部署所公开的实施例的具体领域。
在前面的说明书中，已经参考各种具体细节描述了实施例，这些细节可以随着实现而变。可以对所描述的实施例进行某些适应和修改。考虑本文公开的本发明的说明书和实践，其它实施例对于本领域技术人员来说是可以显而易见的。说明书和实施例意在被认为仅仅是示例性的。还意在图中所示的步骤顺序仅用于说明性目的，而不意在限制到任何特定的步骤顺序。照此，本领域技术人员可以认识到的是，这些步骤可以在实现相同的方法的同时以不同的次序执行。
Claims (43)
1.一种存储指令的非暂态计算机可读存储介质，其中指令可由包括一个或多个处理器的增强现实计算***执行，以使增强现实计算***执行用于提供个性化导航数据的方法，所述方法包括：
获得与个人在综合建筑物中的位置以及综合建筑物内的目的地位置相关联的信息；
获得与综合建筑物相关联的建筑物信息；
基于建筑物信息确定从个人的位置到目的地位置的导航路径；以及
提供表示导航路径的数据用于在增强现实设备上显示，其中数据的视觉表示由增强现实设备覆盖在个人的视野前面。
2.如权利要求1所述的非暂态计算机可读存储介质，其中由增强现实计算***执行的指令还使增强现实计算***执行：
获得个人的更新后的位置信息；
确定从个人的更新后的位置到目的地位置的更新后的导航路径；以及
提供表示更新后的导航路径的数据用于在增强现实设备上显示。
3.如权利要求2所述的非暂态计算机可读存储介质，其中更新后的位置信息包括与增强现实设备的运动相关联的运动信息，并且更新后的导航路径的确定基于所述运动信息。
4.如权利要求1所述的非暂态计算机可读存储介质，其中建筑物信息包括综合建筑物中的一个或多个障碍物，并且其中导航路径被基于所述一个或多个障碍物来调整。
5.如权利要求1所述的非暂态计算机可读存储介质，其中由包括一个或多个处理器的增强现实计算***执行的指令还使增强现实计算***执行：
获得表示个人的视野的视觉数据；
分析所述视觉数据，以确定个人的视野中的障碍物；以及
进一步使导航路径的确定基于在视觉数据中发现的障碍物。
6.如权利要求1所述的非暂态计算机可读存储介质，其中由包括一个或多个处理器的增强现实计算***执行的指令还使增强现实计算***执行：
获得与综合建筑物中的组织实体相关联的实体信息；
基于组织实体与导航路径然后与个人的接近性来过滤实体信息；以及
提供表示实体信息的数据用于在增强现实设备上显示。
7.如权利要求6所述的非暂态计算机可读存储介质，其中过滤还包括基于个人的视野内的组织实体来过滤实体信息。
8.如权利要求6所述的非暂态计算机可读存储介质，其中过滤包括基于使用简档信息的预测分析进行过滤。
9.一种用于提供增强现实导航的方法，包括：
获得个人在综合建筑物中的位置以及综合建筑物内的目的地位置；
获得与综合建筑物相关联的建筑物信息；
基于建筑物信息确定从个人的位置到目的地位置的导航路径；以及
提供表示导航路径的数据用于在增强现实设备上显示，其中数据的视觉表示由增强现实设备覆盖在个人的视野前面。
10.如权利要求9所述的方法，还包括：
获得个人的更新后的位置信息；
确定从个人的更新后的位置到目的地位置的更新后的导航路径；以及
提供表示更新后的导航路径的数据用于在增强现实设备上显示。
11.如权利要求10所述的方法，其中更新后的位置信息包括与增强现实设备的运动相关联的运动信息，并且更新后的导航路径的确定基于所述运动信息。
12.如权利要求9所述的方法，其中建筑物信息包括综合建筑物中的一个或多个障碍物，并且其中导航路径被基于所述一个或多个障碍物来调整。
13.如权利要求9所述的方法，还包括：
获得表示个人的视野的视觉数据；
分析所述视觉数据，以确定个人的视野中的障碍物；以及
进一步使导航路径的确定基于在视觉数据中发现的障碍物。
14.如权利要求9所述的方法，还包括：
获得与综合建筑物中的组织实体相关联的实体信息；
基于组织实体与导航路径然后与个人的接近性来过滤实体信息；以及
提供表示实体信息的数据用于在增强现实设备上显示。
15.如权利要求14所述的方法，其中过滤还包括基于个人的视野内的组织实体来过滤实体信息。
16.如权利要求14所述的方法，其中过滤包括基于使用简档信息的预测分析进行过滤。
17.一种用于提供增强现实导航的***，包括：
存储器，用于存储个人的位置和建筑物信息；
一个或多个处理器，被配置为：
获得个人在综合建筑物中的位置以及综合建筑物内的目的地位置；
获得与综合建筑物相关联的建筑物信息；
基于建筑物信息确定从个人的位置到目的地位置的导航路径；以及
提供表示导航路径的数据用于在增强现实设备上显示，其中数据的视觉表示由增强现实设备覆盖在个人的视野前面。
18.如权利要求17所述的***，其中所述一个或多个处理器还被配置为：
获得个人的更新后的位置信息；
确定从个人的更新后的位置到目的地位置的更新后的导航路径；以及
提供表示更新后的导航路径的数据用于在增强现实设备上显示。
19.如权利要求18所述的***，其中更新后的位置信息包括与增强现实设备的运动相关联的运动信息，并且更新后的导航路径的确定基于所述运动信息。
20.如权利要求17所述的***，其中建筑物信息包括综合建筑物中的一个或多个障碍物以及其中导航路径被基于所述一个或多个障碍物来调整的信息。
21.如权利要求17所述的***，其中所述一个或多个处理器还被配置为：
获得表示个人的视野的视觉数据；
分析所述视觉数据，以确定个人的视野中的障碍物；以及
进一步使导航路径的确定基于在视觉数据中发现的障碍物。
22.如权利要求17所述的***，其中所述一个或多个处理器还被配置为：
获得与综合建筑物中的组织实体相关联的实体信息；
基于组织实体与导航路径然后与个人的接近性来过滤实体信息；以及
提供表示实体信息的数据用于在增强现实设备上显示。
23.如权利要求22所述的***，其中过滤还包括基于在个人的视野内的组织实体来过滤实体信息。
24.如权利要求22所述的***，其中过滤包括基于使用简档信息的预测分析进行过滤。
25.一种存储指令的非暂态计算机可读存储介质，其中指令可由包括一个或多个处理器的增强现实计算***执行，以使增强现实计算***执行一种方法，包括：
从所述增强现实设备获得与个人相关联的上下文信息，其中上下文信息包括由增强现实设备存储的位置信息和与个人相关联的识别信息；
基于所述识别信息，获得与个人相关联的用户简档，其中获得用户简档包括从多个数据源获得多个数据集，并且其中所述用户简档包含与个人相关联的旅行信息；
从所述多个数据集中确定与个人或增强现实设备相关的信息子集，其中信息子集的相关性是基于对从增强现实设备获得的位置信息和上下文信息的分析的；
基于所确定的信息子集生成显示数据；以及
将所述显示数据提供给增强现实设备用于在增强现实设备上显示，其中表示所述显示数据的图形覆盖图显示在个人的视野前面，并且其中图形覆盖图包括关于在增强现实设备的视野中的一个或多个实体的信息。
26.如权利要求25所述的非暂态计算机可读存储介质，其中从增强现实设备获得的上下文信息包括表示个人的视野的视觉数据。
27.如权利要求25所述的非暂态计算机可读存储介质，其中信息子集的相关性还基于对视觉数据的分析。
28.如权利要求25所述的非暂态计算机可读存储介质，其中从增强现实设备获得的上下文信息包括朝向信息和运动信息中的至少一个。
29.如权利要求25所述的非暂态计算机可读存储介质，其中旅行信息包括旅行偏好、预测的购买、购买的旅行服务、旅行更新、历史旅行信息和未来旅行信息中的至少一个。
30.如权利要求25所述的非暂态计算机可读存储介质，其中对上下文信息和设备信息的分析包括确定个人的视野内的实体并过滤与所述实体不关联的信息。
31.一种增强现实设备，包括：
视口，具有视野；
惯性运动单元，被配置为检测增强现实设备的运动或朝向；
数据存储装置，被配置为存储与增强现实设备相关联的设备信息和与增强现实设备的部件相关联的传感器信息；
网络接口，被配置为：
将第一数据集发送到服务器，其中第一数据集包括设备信息和传感器信息，并且其中服务器将设备信息和传感器信息与来自与增强现实设备相关联的多个数据源的一个或多个数据集组合；以及
从服务器获取第二数据集，其中第二数据集包括显示数据，其中显示数据是基于对设备信息、传感器信息以及一个或多个数据集的分析来确定的，以确定显示信息与增强现实设备的视野的相关性；以及
显示适配器，被配置为提供覆盖图显示，其包括视口上的第二数据信息集的显示数据。
32.如权利要求31所述的增强现实设备，其中设备信息包括与增强现实设备相关联的设备标识符和与增强现实设备的穿戴者相关联的认证凭证中的至少一个。
33.如权利要求31所述的增强现实设备，其中传感器信息包括运动信息、位置信息、朝向信息、音频信息、视觉信息和用户输入信息中的至少一个。
34.一种由一个或多个处理器执行的方法，包括：
从增强现实设备获得与个人相关联的上下文信息，其中上下文信息包括由增强现实设备存储的位置信息和与个人相关联的识别信息；
基于所述识别信息，获得与个人相关联的用户简档，其中获得用户简档包括从多个数据源获得多个数据集，并且其中所述用户简档包含与个人相关联的旅行信息；
从所述多个数据集中确定与个人或增强现实设备相关的信息子集，其中信息子集的相关性是基于对从增强现实设备获得的位置信息和上下文信息的分析的；
基于所确定的信息子集生成显示数据；以及
将所述显示数据提供给增强现实设备用于在增强现实设备上显示，其中表示所述显示数据的图形覆盖图显示在个人的视野前面，并且其中图形覆盖图包括关于在增强现实设备的视野中的一个或多个实体的信息。
35.如权利要求34所述的方法，其中从增强现实设备获得的上下文信息包括表示个人的视野的视觉数据。
36.如权利要求34所述的方法，其中信息子集的相关性还基于对视觉数据的分析。
37.如权利要求34所述的方法，其中从增强现实设备获得的上下文信息包括位置信息、朝向信息和运动信息中的至少一个。
38.如权利要求34所述的方法，其中从增强现实设备获得的上下文信息包括朝向信息和运动信息中的至少一个。
39.如权利要求34所述的方法，其中旅行信息包括旅行偏好、购买的旅行服务、旅行更新、历史旅行信息、预测的购买和未来旅行信息中的至少一个。
40.一种电子设备，包括：
数据存储装置，被配置为存储从多个数据源获得的多个数据集以及从增强现实设备获得的与个人相关联的上下文信息，其中上下文信息包括位置信息和识别信息；以及
一个或多个处理器，被配置为：
从增强现实设备获得上下文信息，其中上下文信息包括与个人相关联的位置信息和识别信息；
基于所述识别信息，获得与个人相关联的用户简档，其中所述用户简档包括与个人相关联的旅行信息；
从所述多个数据集中确定与个人或增强现实设备相关的信息子集，其中信息子集的相关性是基于对从增强现实设备获得的位置信息和上下文信息的分析的；
基于所确定的信息子集生成显示数据；以及
将所述显示数据提供给增强现实设备用于在增强现实设备上显示，其中表示所述显示数据的图形覆盖图显示在个人的视野前面，并且其中图形覆盖图包括关于在增强现实设备的视野中的一个或多个实体的信息。
41.如权利要求40所述的电子设备，其中从增强现实设备获得的上下文信息包括表示个人的视野的视觉数据。
42.如权利要求41所述的电子设备，其中信息子集的相关性还基于对视觉数据的分析。
43.一种用于增强现实的方法，包括：
向服务器提供设备信息和传感器信息，其中设备信息和传感器信息与增强现实设备相关联，并且与来自与增强现实设备相关联的多个数据源的一个或多个数据集组合；
接收显示信息，其中显示信息是基于对设备信息、传感器信息以及一个或多个数据集的分析来确定的，以确定显示信息与通过增强现实设备的视口可见的视场的相关性；以及
响应于所述显示信息，通过显示适配器在视口上显示表示显示数据的图形覆盖图。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/273,649 | 2016-09-22 | ||
| US15/273,649 US10429191B2 (en) | 2016-09-22 | 2016-09-22 | Systems and methods for improved data integration in augmented reality architectures |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107870669A true CN107870669A (zh) | 2018-04-03 |
Family
ID=60083086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710855973.7A Pending CN107870669A (zh) | 2016-09-22 | 2017-09-21 | 用于增强现实体系架构中改进的数据集成的***和方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US10429191B2 (zh) |
| EP (1) | EP3306443A1 (zh) |
| JP (2) | JP2018049010A (zh) |
| KR (1) | KR20180032508A (zh) |
| CN (1) | CN107870669A (zh) |
| AU (1) | AU2017232125B2 (zh) |
| CA (1) | CA2979778C (zh) |
| SG (1) | SG10201707743QA (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942518A (zh) * | 2018-09-24 | 2020-03-31 | 苹果公司 | 上下文计算机生成现实(cgr)数字助理 |
| CN111595346A (zh) * | 2020-06-02 | 2020-08-28 | 浙江商汤科技开发有限公司 | 导航提醒方法、装置、电子设备及存储介质 |
| CN112868023A (zh) * | 2018-10-15 | 2021-05-28 | 艾玛迪斯简易股份公司 | 增强现实***和方法 |
| US11886767B2 (en) | 2022-06-17 | 2024-01-30 | T-Mobile Usa, Inc. | Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10217287B2 (en) * | 2016-12-24 | 2019-02-26 | Motorola Solutions, Inc. | Method and apparatus for generating a search pattern for an incident scene |
| EP3585254B1 (en) | 2017-02-24 | 2024-03-20 | Masimo Corporation | Medical device cable and method of sharing data between connected medical devices |
| US11024064B2 (en) * | 2017-02-24 | 2021-06-01 | Masimo Corporation | Augmented reality system for displaying patient data |
| EP3622529A1 (en) | 2017-05-08 | 2020-03-18 | Masimo Corporation | System for pairing a medical system to a network controller by use of a dongle |
| US11989835B2 (en) * | 2017-09-26 | 2024-05-21 | Toyota Research Institute, Inc. | Augmented reality overlay |
| US11087558B1 (en) | 2017-09-29 | 2021-08-10 | Apple Inc. | Managing augmented reality content associated with a physical location |
| US11010742B2 (en) * | 2018-01-23 | 2021-05-18 | Visa International Service Association | System, method, and computer program product for augmented reality point-of-sale |
| US11055650B2 (en) | 2018-02-27 | 2021-07-06 | Logistiview, Inc. | Execution systems using unstructured data |
| DE102018208700A1 (de) | 2018-06-01 | 2019-12-05 | Volkswagen Aktiengesellschaft | Konzept für die Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes |
| AU2018427118B2 (en) * | 2018-06-08 | 2024-02-01 | Halliburton Energy Services, Inc. | Multi-location virtual collaboration, monitoring, and control |
| US11373400B1 (en) | 2019-03-18 | 2022-06-28 | Express Scripts Strategic Development, Inc. | Methods and systems for image processing to present data in augmented reality |
| US20210072027A1 (en) * | 2019-09-09 | 2021-03-11 | Caci, Inc. - Federal | Systems and methods for providing localization and navigation services |
| JP7332197B2 (ja) * | 2019-10-25 | 2023-08-23 | Ｎｅｃソリューションイノベータ株式会社 | 情報共有装置、イベント支援システム、情報共有方法、及びイベント支援システムの生産方法 |
| CN111175974A (zh) * | 2020-01-06 | 2020-05-19 | 南京水晶视界文化科技有限公司 | 一种ar眼镜的增强信息*** |
| US11796333B1 (en) | 2020-02-11 | 2023-10-24 | Keysight Technologies, Inc. | Methods, systems and computer readable media for augmented reality navigation in network test environments |
| EP4149643A4 (en) * | 2020-05-11 | 2024-06-05 | Niantic, Inc. | CONNECTING REAL WORLD ACTIVITIES WITH A PARALLEL REALITY GAME |
| US11978096B2 (en) * | 2020-06-29 | 2024-05-07 | Snap Inc. | Providing travel-based augmented reality content relating to user-submitted reviews |
| US11385071B2 (en) | 2020-08-07 | 2022-07-12 | Micron Technology, Inc. | Providing a route with augmented reality |
| US11570050B2 (en) | 2020-11-30 | 2023-01-31 | Keysight Technologies, Inc. | Methods, systems and computer readable media for performing cabling tasks using augmented reality |
| JP7522026B2 (ja) * | 2020-12-21 | 2024-07-24 | トヨタ自動車株式会社 | 案内表示システム |
| CN117980866A (zh) * | 2021-09-20 | 2024-05-03 | 苹果公司 | 基于情境提供方向感知指示器 |
| US11789685B1 (en) * | 2022-08-29 | 2023-10-17 | International Business Machines Corporation | Training and using a machine learning module to determine locales and augmented reality representations of information on locales to render in an augmented reality display |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110148922A1 (en) * | 2009-12-21 | 2011-06-23 | Electronics And Telecommunications Research Institute | Apparatus and method for mixed reality content operation based on indoor and outdoor context awareness |
| US20140129336A1 (en) * | 2013-08-22 | 2014-05-08 | Apex Technology Ventures, LLC | Targeted Advertising in Conjunction with Consumer Detection |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030210228A1 (en) * | 2000-02-25 | 2003-11-13 | Ebersole John Franklin | Augmented reality situational awareness system and method |
| JP4190843B2 (ja) * | 2002-09-25 | 2008-12-03 | Ｎｅｃフィールディング株式会社 | 個人ナビゲーションシステム |
| US8264505B2 (en) * | 2007-12-28 | 2012-09-11 | Microsoft Corporation | Augmented reality and filtering |
| JP2010139287A (ja) * | 2008-12-10 | 2010-06-24 | Hitachi Software Eng Co Ltd | 携帯電話を利用した目的地紹介・案内システム |
| US20110153198A1 (en) * | 2009-12-21 | 2011-06-23 | Navisus LLC | Method for the display of navigation instructions using an augmented-reality concept |
| US9488488B2 (en) * | 2010-02-12 | 2016-11-08 | Apple Inc. | Augmented reality maps |
| JP5521621B2 (ja) * | 2010-02-19 | 2014-06-18 | 日本電気株式会社 | 携帯端末、拡張現実システム、及び拡張現実情報表示方法 |
| WO2012127605A1 (ja) * | 2011-03-22 | 2012-09-27 | 株式会社うぶすな | 情報処理装置、及び情報処理方法 |
| JP2012212225A (ja) * | 2011-03-30 | 2012-11-01 | Nifty Corp | 情報処理装置、方法およびプログラム |
| US9255813B2 (en) * | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
| US8892461B2 (en) * | 2011-10-21 | 2014-11-18 | Alohar Mobile Inc. | Mobile device user behavior analysis and authentication |
| KR20130091908A (ko) * | 2012-02-09 | 2013-08-20 | 한국전자통신연구원 | 실내 네비게이션 서비스 제공 장치 및 그 방법 |
| JP5580855B2 (ja) * | 2012-06-12 | 2014-08-27 | 株式会社ソニー・コンピュータエンタテインメント | 障害物回避装置および障害物回避方法 |
| US9087349B2 (en) * | 2012-12-27 | 2015-07-21 | Panasonic Intellectual Property Corporation Of America | Information communication method |
| US9342930B1 (en) | 2013-01-25 | 2016-05-17 | A9.Com, Inc. | Information aggregation for recognized locations |
| US20140236475A1 (en) * | 2013-02-19 | 2014-08-21 | Texas Instruments Incorporated | Methods and systems for navigation in indoor environments |
| US9959674B2 (en) | 2013-02-26 | 2018-05-01 | Qualcomm Incorporated | Directional and X-ray view techniques for navigation using a mobile device |
| WO2014132802A1 (ja) * | 2013-02-27 | 2014-09-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ビルディング・インフォメーション・モデリング（ｂｉｍ）データを用いて経路ガイドを提供する方法、並びに、当該経路ガイドを提供するコンピュータ及びそのコンピュータ・プログラム |
| JP6362325B2 (ja) * | 2013-12-18 | 2018-07-25 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 物体追跡 |
| US10048835B2 (en) | 2014-10-31 | 2018-08-14 | Microsoft Technology Licensing, Llc | User interface functionality for facilitating interaction between users and their environments |
| JP2016126188A (ja) * | 2015-01-05 | 2016-07-11 | コニカミノルタ株式会社 | 音声情報表示装置 |
| TWI791236B (zh) * | 2015-12-30 | 2023-02-01 | 美商艾倫神火公司 | 光學窄播 |
| WO2017149440A1 (en) * | 2016-03-01 | 2017-09-08 | Nokia Technologies Oy | Method, apparatus and computer program product for navigation in an indoor space |
-
2016
- 2016-09-22 US US15/273,649 patent/US10429191B2/en active Active
-
2017
- 2017-09-19 JP JP2017178626A patent/JP2018049010A/ja active Pending
- 2017-09-20 KR KR1020170121356A patent/KR20180032508A/ko unknown
- 2017-09-20 SG SG10201707743QA patent/SG10201707743QA/en unknown
- 2017-09-20 CA CA2979778A patent/CA2979778C/en active Active
- 2017-09-21 AU AU2017232125A patent/AU2017232125B2/en active Active
- 2017-09-21 CN CN201710855973.7A patent/CN107870669A/zh active Pending
- 2017-09-22 EP EP17192668.6A patent/EP3306443A1/en not_active Withdrawn
-
2019
- 2019-08-02 US US16/530,298 patent/US11243084B2/en active Active
-
2022
- 2022-08-29 JP JP2022135753A patent/JP7475401B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110148922A1 (en) * | 2009-12-21 | 2011-06-23 | Electronics And Telecommunications Research Institute | Apparatus and method for mixed reality content operation based on indoor and outdoor context awareness |
| US20140129336A1 (en) * | 2013-08-22 | 2014-05-08 | Apex Technology Ventures, LLC | Targeted Advertising in Conjunction with Consumer Detection |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942518A (zh) * | 2018-09-24 | 2020-03-31 | 苹果公司 | 上下文计算机生成现实(cgr)数字助理 |
| US11798242B2 (en) | 2018-09-24 | 2023-10-24 | Apple Inc. | Contextual computer-generated reality (CGR) digital assistants |
| CN110942518B (zh) * | 2018-09-24 | 2024-03-29 | 苹果公司 | 上下文计算机生成现实(cgr)数字助理 |
| CN112868023A (zh) * | 2018-10-15 | 2021-05-28 | 艾玛迪斯简易股份公司 | 增强现实***和方法 |
| CN112868023B (zh) * | 2018-10-15 | 2024-05-14 | 艾玛迪斯简易股份公司 | 增强现实***和方法 |
| CN111595346A (zh) * | 2020-06-02 | 2020-08-28 | 浙江商汤科技开发有限公司 | 导航提醒方法、装置、电子设备及存储介质 |
| CN111595346B (zh) * | 2020-06-02 | 2022-04-01 | 浙江商汤科技开发有限公司 | 导航提醒方法、装置、电子设备及存储介质 |
| US11886767B2 (en) | 2022-06-17 | 2024-01-30 | T-Mobile Usa, Inc. | Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2979778A1 (en) | 2018-03-22 |
| AU2017232125B2 (en) | 2022-01-13 |
| US20190353485A1 (en) | 2019-11-21 |
| JP2022179480A (ja) | 2022-12-02 |
| KR20180032508A (ko) | 2018-03-30 |
| US10429191B2 (en) | 2019-10-01 |
| JP2018049010A (ja) | 2018-03-29 |
| JP7475401B2 (ja) | 2024-04-26 |
| US11243084B2 (en) | 2022-02-08 |
| US20180080774A1 (en) | 2018-03-22 |
| CA2979778C (en) | 2024-02-13 |
| SG10201707743QA (en) | 2018-04-27 |
| AU2017232125A1 (en) | 2018-04-05 |
| EP3306443A1 (en) | 2018-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107870669A (zh) | 用于增强现实体系架构中改进的数据集成的***和方法 | |
| EP3299934A1 (en) | Systems and methods for improved data integration in virtual reality architectures | |
| KR102525029B1 (ko) | 사용자에게 콘텐트를 제공하기 위한 장치 및 방법 | |
| US20170178260A1 (en) | Systems and methods for improved data integration in virtual reality architectures | |
| CN109313536A (zh) | 基于意图动态生成的任务图标的虚拟键盘 | |
| US11800327B2 (en) | Systems and methods for sharing information between augmented reality devices | |
| CN106575425A (zh) | 经由地理围栏边界段穿越进行的调节 | |
| CN106165386A (zh) | 用于照片上传和选择的自动化技术 | |
| CN110268437A (zh) | 定制的上下文媒体内容项生成 | |
| US11579744B2 (en) | Systems and methods for seat selection in virtual reality | |
| JP6339285B1 (ja) | サービス提供システム | |
| CN105980975A (zh) | 信息处理设备、信息处理方法及程序 | |
| JP2022508733A (ja) | 拡張現実システムおよび方法 | |
| KR20200064148A (ko) | 메시징 서비스 환경에서의 사용자 상황 감지 및 사용자 상황에 기반한 메시징 서비스와의 인터랙션 | |
| CN110446996A (zh) | 一种控制方法、终端及*** | |
| CN110709884A (zh) | 信息处理设备和信息处理方法 | |
| US20240108985A1 (en) | Managing virtual collisions between moving virtual objects | |
| US11151795B2 (en) | Systems and methods of creating virtual pop-up spaces | |
| JP7192749B2 (ja) | サーバ、情報処理システム、プログラム及び制御方法 | |
| CN109672798A (zh) | 信息处理装置以及存储媒体 | |
| Bakar et al. | Augmented reality meets artificial intelligence towards personalised user experience in cultural heritage sites | |
| JP2022021206A (ja) | サーバ装置及びコンピュータプログラム | |
| JP2022021208A (ja) | サーバ装置 | |
| KR20200085611A (ko) | 전자 장치 및 그의 제어 방법 | |
| KR20210098283A (ko) | 여행 상품 예약을 위한 시스템, 서버, 서버의 제어 방법 및 사용자 단말 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |