KR20190093624A - 연대기-기반 검색 엔진을 위한 시스템 및 방법 - Google Patents

연대기-기반 검색 엔진을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20190093624A
KR20190093624A KR1020197019664A KR20197019664A KR20190093624A KR 20190093624 A KR20190093624 A KR 20190093624A KR 1020197019664 A KR1020197019664 A KR 1020197019664A KR 20197019664 A KR20197019664 A KR 20197019664A KR 20190093624 A KR20190093624 A KR 20190093624A
Authority
KR
South Korea
Prior art keywords
user device
hierarchies
scrubber
query
interest
Prior art date
Application number
KR1020197019664A
Other languages
English (en)
Inventor
돈 엠. 구룰
Original Assignee
돈 엠. 구룰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돈 엠. 구룰 filed Critical 돈 엠. 구룰
Publication of KR20190093624A publication Critical patent/KR20190093624A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/3673—Labelling using text of road map data items, e.g. road names, POI names
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

데이터베이스 검색 결과를 제공하고, 조직화하고, 제시하기 위한 방법, 장치 및 데이터베이스 관리 시스템이 개시되며, 보다 구체적으로, 연대기-기반 검색 엔진에 대한 시스템 및 방법이 개시된다. 하나의 방법은 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하는 단계를 포함한다. 본 방법은 또한 최종-사용자 디바이스의 자세를 결정하는 단계를 포함한다. 자세는 최종-사용자 디바이스의 위치를 포함한다. 또한, 본 방법은 최종-사용자 디바이스의 자세를 증강 현실 플랫폼 엔티티에 전송하고 증강 현실 플랫폼 엔티티로부터 폐쇄 자막 데이터를 수신하는 단계를 포함한다. 폐쇄 자막 데이터는 최종-사용자 디바이스의 위치에 기초하고 폐쇄 자막 데이터 내의 제1 주제의 표시를 포함한다. 본 방법은 폐쇄 자막 데이터를 라이브 이미지 데이터 상에 중첩시키는 단계를 포함한다.

Description

연대기-기반 검색 엔진을 위한 시스템 및 방법
관련 출원
본 국제 출원은 2016년 12월 6일자로 출원된 미국 가출원 제62/430,584호 및 2017년 9월 11일자로 출원된 미국 가출원 제62/556,916호의 이익을 주장하며, 이들은 그 전체가 참조로 통합된다.
기술 분야
본 발명은 일반적으로 검색 엔진 결과를 제공하고, 조직화하고, 제시하기 위해 컴퓨팅 디바이스를 구성하는 것에 관한 것으로, 보다 구체적으로는, 연대기-기반 검색 엔진에 대한 시스템 및 방법에 관한 것이다.
검색 엔진은 데이터베이스 및/또는 (월드 와이드 웹(World Wide Web) 상의 웹사이트와 같은) 네트워크 주소에 저장된 컨텐츠(예를 들어, 텍스트, 이미지, 비디오 등)를 인덱싱한다. 인덱싱 프로세스는 컨텐츠를 리트리브(retrieve)할 위치(때로는 유니폼 리소스 식별자(URI: Uniform Resource Identifier)라고 칭함)와 함께 컨텐츠와 연관된 메타데이터를 파싱(parsing) 및 저장한다. 검색 엔진은 사용자가 검색 박스에 단어나 문구를 입력하여 관심 컨텐츠를 쉽게 검색하도록 인터페이스를 제공한다. 검색 엔진은 인덱스 컨텐츠에 대해 생성된 메타데이터를 검색하여 인덱스 컨텐츠 중 어느 것(들)이 입력된 단어 또는 문구와 관련이 있는지를 결정한다. 검색 엔진은 사용자에게 관련 컨텐츠의 URI를 제공한다. 종종, URI는, 검색 엔진이 메타데이터를 검색하는 동안 생성된 관련도 스코어에 기초하여 사용되는 것으로 제시된다.
첨부된 청구 범위는 본 출원을 규정한다. 본 개시는 실시예의 양태를 요약하며 청구 범위를 한정하는 것으로 사용되어서는 안된다. 이하의 도면 및 상세한 설명의 검토시 본 기술 분야의 통상의 기술자에게 명백할 바와 같이, 다른 구현이 본원에 설명되는 기술에 따라 고려되며, 이러한 구현은 본 출원의 범위 내에 있는 것으로 의도된다.
예시적인 방법은 복수의 데이터베이스 컨텐츠 공급자로부터 엔트리에 대한 레코드를 생성하는 단계를 포함하고, 레코드는 엔트리에 포함된 주제 및 엔트리와 연관된 날짜를 식별한다. 예시적인 방법은 또한 주제들 간의 유사도를 결정하기 위해 복수의 데이터베이스 컨텐츠 공급자로부터의 엔트리를 분석하는 단계를 포함한다. 최종-사용자 디바이스로부터 검색 주제를 포함하는 질의를 수신하는 것에 응답하여, 예시적인 방법은 (a) 검색 주제 및 검색 주제와 유사도를 갖는 관련 주제를 식별하는 레코드를 데이터베이스로부터 리트리브하는 단계, (b) 대응하는 엔트리와 연관된 날짜에 기초하여 레코드를 연대기 카테고리로 조직화하는 단계로서, 연대기 카테고리의 각각의 하나는 상이한 기간을 나타내는, 단계, (c) 연대기 카테고리 각각에 대해, 프로세서로 질의 결과를 생성하는 단계로서, 질의 결과는 레코드와 연관된 엔트리의 속성에 기초하여 레코드를 계층 구조로 조직화하는, 단계; 및 (d) 상기 질의 결과를 최종-사용자 디바이스에 전송하는 단계를 포함한다.
예시적인 방법은 최종-사용자 디바이스의 디스플레이 상에, 증강 현실 플랫폼 엔티티에 전송된 질의에 포함된 제1 주제와 연관된 제1 맵을 제시하는 단계를 포함한다. 예시적인 방법은 또한 제1 맵 상의 관심 영역을 하이라이팅하는 단계를 포함한다. 연관된 관심 영역은 제2 주제와 관련된다. 또한, 예시적인 방법은 스크러버 트랙, 스크러버 및 복수의 이벤트 포인트를 제시하는 단계를 포함한다. 이벤트 포인트는 제1 주제와 관련된 제2 맵을 나타낸다. 제2 맵은 제1 맵과 다른 날짜와 연관된다. 입력 디바이스로 관심 영역 중 하나의 선택을 수신하는 것에 응답하여, 예시적인 방법은 대응하는 제2 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계를 포함한다.
예시적인 방법은 최종-사용자 디바이스의 디스플레이 상에 맵 지오메트리(geometry) 데이터를 제시하는 단계를 포함한다. 예시적인 방법은 또한 표시된 맵 지오메트리 데이터에서 관심 객체를 하이라이팅하는 단계를 포함한다. 관심 객체는 각각 주제와 연관되어 있다. 입력 디바이스로, 관심 객체 중 하나의 선택을 수신하는 것에 응답하여, 예시적인 방법은 대응하는 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계를 포함한다. 또한, 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여, 본 방법은 (a) 스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트를 제시하는 단계 및 (b) 복수의 이벤트 포인트 중 연관된 하나에 대응하는 스크러버 트랙 상의 스크러버의 위치에 의해 선택된 연대기 카테고리 중 하나와 연관된 질의 결과에 포함된 레코드와 연관된 복수의 계층 구조 중 제1 계층 구조를 표시하는 단계를 포함한다. 복수의 이벤트 포인트는 각각 질의 결과와 연관된 연대기 카테고리를 나타낸다.
예시적인 방법은 최종-사용자 디바이스의 디스플레이 상에, 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하는 단계를 포함한다. 예시적인 방법은 또한 카메라에 의해 캡처되는 표시된 라이브 이미지 데이터에서 관심 객체를 하이라이팅하는 단계를 포함한다. 관심 객체는 각각 주제와 연관되어 있다. 입력 디바이스로, 관심 객체 중 하나의 선택을 수신하는 것에 응답하여, 예시적인 방법은 대응하는 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계를 포함한다. 또한, 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여, 본 방법은 (a) 스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트를 제시하는 단계 및 (b) 복수의 이벤트 포인트 중 연관된 하나에 대응하는 스크러버 트랙 상의 스크러버의 위치에 의해 선택된 연대기 카테고리 중 하나와 연관된 질의 결과에 포함된 레코드와 연관되는 복수의 계층 구조 중 제1 계층 구조를 표시하는 단계를 포함한다. 복수의 이벤트 포인트는 각각 질의 결과와 연관된 연대기 카테고리를 나타낸다.
예시적인 방법은 최종-사용자 디바이스의 디스플레이 상에, 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하는 단계를 포함한다. 예시적인 방법은 또한 최종-사용자 디바이스의 자세를 결정하는 단계를 포함한다. 자세는 최종-사용자 디바이스의 위치를 포함한다. 또한, 예시적인 방법은 최종-사용자 디바이스의 자세를 증강 현실 플랫폼 엔티티에 전송하는 단계를 포함한다. 예시적인 방법은 증강 현실 플랫폼 엔티티로부터 폐쇄 자막 데이터를 수신하는 단계를 포함하며, 폐쇄 자막 데이터는 최종-사용자 디바이스의 위치에 기초한다. 폐쇄 자막 데이터는 폐쇄 자막 데이터 내의 제1 주제의 표시를 포함한다. 청구항 1의 방법은 폐쇄 자막 데이터를 라이브 이미지 데이터에 중첩시키는 단계를 포함한다.
본 발명을 더 잘 이해하기 위해, 이하의 도면에 나타낸 실시예를 참조할 수 있다. 도면의 구성 요소는 반드시 스케일링될 필요는 없고, 관련 요소는 생략되거나 본원에 설명되는 새로운 특징을 강조하고 명료하게 나타내기 위해 일부 예에서는 비율이 과장되었을 수 있다. 또한, 시스템 구성 요소는 본 기술 분야에 공지된 바와 같이 다양하게 배열될 수 있다. 또한, 도면에서, 동일한 참조 번호는 여러 도면에 걸쳐 대응하는 부분을 나타낸다.
도 1은 본 개시의 교시에 따라 최종-사용자 디바이스로부터 질의를 수신하는 것에 응답하여 질의 결과를 제공하는 증강 현실 플랫폼 엔티티의 시스템도를 나타낸다.
도 2는 증강 현실 플랫폼 데이터베이스에 엔트리 레코드를 저장하는 데 사용될 수 있는 예시적인 데이터 구조를 나타낸다.
도 3은 질의를 형성하는 데 사용될 수 있는 예시적인 데이터 구조를 나타낸다.
도 4는 질의 결과를 형성하는 데 사용되는 예시적인 데이터 구조를 나타낸다.
도 5는 도 1의 최종-사용자 디바이스로 사용자가 컨텐츠를 검색하기 위한 내비게이션 맵의 도면을 나타낸다.
도 6은 질의 결과를 제시하고 이와 상호 작용하는 것을 편리하게 하기 위해 도 1의 최종-사용자 디바이스에 의해 제시되는 인터페이스를 도시한다.
도 7은 질의 결과를 제시하고 이와 상호 작용하는 것을 편리하게 하기 위해 도 1의 최종-사용자 디바이스에 의해 제시되는 다른 인터페이스를 도시한다.
도 8은 질의 결과를 제시하고 이와 상호 작용하는 것을 편리하게 하기 위해 도 1의 최종-사용자 디바이스에 의해 제시되는 다른 인터페이스를 도시한다.
도 9는 질의를 생성하고 질의 결과를 제시하고 이와 상호 작용하는 것을 편리하게 하기 위해 도 1의 최종-사용자 디바이스에 의해 제시되는 맵 지오메트리(map geometry) 인터페이스를 도시한다.
도 10은 질의를 생성하고 질의 결과를 제시하고 이와 상호 작용하는 것을 편리하게 하기 위해 도 1의 최종-사용자 디바이스에 의해 제시되는 맵 인터페이스를 도시한다.
도 11은 질의를 생성하고 질의 결과를 제시하고 이와 상호 작용하는 것을 편리하게 하기 위해 도 1의 최종-사용자 디바이스에 의해 제시되는 증강 현실 인페이스를 도시한다.
도 12는 엔트리 레코드를 생성하는 도 1의 데이터베이스 정렬기의 블록도이다.
도 13은 도 1의 증강 현실 플랫폼 엔티티의 질의 응답기의 블록도이다.
도 14는 도 11의 증강 현실 플랫폼 핸들러의 질의 생성기의 블록도이다.
도 15는 도 25의 프로세서 플랫폼에 의해 구현될 수 있는, 컨텐츠 데이터베이스 공급자로부터 엔트리를 인덱싱하는 방법의 흐름도이다.
도 16은 도 26의 전자 구성 요소에 의해 구현될 수 있는, 질의를 생성하고 질의 결과를 제시하는 방법의 흐름도이다.
도 17은 도 26의 전자 구성 요소에 의해 구현될 수 있는, 질의 결과를 제시하는 방법의 흐름도이다.
도 18은 도 26의 전자 구성 요소에 의해 구현될 수 있는, 질의 결과를 제시하는 방법의 흐름도이다.
도 19는 도 26의 전자 구성 요소에 의해 구현될 수 있는 질의 결과를 제시하는 방법의 흐름도이다.
도 20은 도 26의 전자 구성 요소에 의해 구현될 수 있는, 맵 지오메트리 데이터와 관련하여 질의 결과를 제시하는 방법의 흐름도이다.
도 21은 도 26의 전자 구성 요소에 의해 구현될 수 있는, 맵 데이터와 관련하여 질의 결과를 제시하는 방법의 흐름도이다.
도 22는 도 26의 전자 구성 요소에 의해 구현될 수 있는, 카메라로부터의 라이브 이미지 데이터와 관련하여 질의 결과를 제시하는 방법의 흐름도이다.
도 23은 도 1의 최종-사용자 디바이스에 의해 캡처된 라이브 이미지 상에 중첩된 위치 특정 컨텐츠를 제공하는 도 11의 증강 현실 인터페이스를 나타낸다.
도 24는 도 26의 전자 구성 요소에 의해 구현될 수 있는, 도 1의 최종-사용자 디바이스에 의해 캡처된 라이브 이미지에 중첩된 위치 특정 컨텐츠를 검출하고 제공하는 방법의 흐름도이다.
도 25는 도 15의 방법을 구현할 수 있는 프로세서 플랫폼의 블록도이다.
도 26은 도 16 내지 도 22 및 도 24의 방법을 구현할 수 있는 전자 구성 요소의 블록도이다.
도 27은 질의를 생성하고 법 집행 및 응급 서비스와 관련된 질의 결과를 제시하고 이와 상호 작용하는 것을 편리하게 하기 위하여 도 1의 최종-사용자 디바이스에 의해 제시되는 법 집행 맵 인터페이스를 도시한다.
도 28은 도 1의 최종-사용자 디바이스에 의해 캡처된 라이브 이미지 상에 중첩된 위치 특정 스포츠 이벤트 컨텐츠를 제공하는 도 11의 증강 현실 인터페이스를 나타낸다.
본 발명이 다양한 형태로 구현될 수 있지만, 본 개시가 본 발명의 예시로 고려되고 본 발명을 나타낸 특정 실시예들로 한정하려는 것이 아니라는 이해와 함께, 일부 예시적이고 비한정적인 실시예가 도면에 나타내어지고 이하 설명될 것이다.
최종-사용자 디바이스(예를 들어, 컴퓨터, 게임 콘솔, 스마트 폰, 태블릿, 스마트 텔레비전, 오버-더-톱(over-the-top) 디바이스, 광학 헤드-장착 디스플레이, 증강 현실 스마트 안경, 가상 현실 헤드셋, 조종석 디스플레이, 가상 조종석 등)는 더 많은 프로세싱 능력과 더 나은 입력 디바이스를 포함하도록 개발되었으며, 사용자는 엔터테인먼트, 보다 풍부한 컨텐츠(예를 들어, 문맥 인식 컨텐츠) 및 보다 유용한 정보를 위해 주변 환경을 이용하는 것을 편리하게 하는 보다 몰입형 경험을 기대한다. 아래에 개시되는 바와 같이, 증강 현실 플랫폼 엔티티는 최종-사용자 디바이스를 통해, 사용자가 이미지, 맵, 맵 지오메트리 데이터 및/또는 라이브 비디오에서 (예를 들어, 증강 현실, 가상 현실 등을 통해) 문맥 정보에 기초하여 정보를 검색하는 것을 편리하게 하는 인터페이스를 제공한다. 본원에 사용되는 "증강 현실"은 컴퓨터-생성 사운드, 이미지 및/또는 비디오 등을 포함하여 라이브 뷰 상에 중첩되는 요소를 포함하는 카메라에 의해 캡처된 환경의 라이브 비디오를 지칭한다. 본원에 사용되는 "맵 지오메트리 데이터"는 (i) 연관 이미지 내에서 관심 지점(예를 들어, 건물, 인프라스트럭처, 랜드마크 등)을 식별하고/하거나 (b) 최종-사용자 디바이스의 위치 및 최종-사용자 디바이스의 카메라의 배향을 참조하여 관심 지점의 위치 및 배향을 결정하는 것을 용이하게 하는 영역에 대한 공간 데이터를 지칭한다. 맵 지오메트리 데이터는, 최종-사용자 디바이스가 최종-사용자 디바이스 상에서 보이는 위치에 실제 있도록 정보를 제공한다. 맵 지오메트리 데이터는 현재 존재하지 않는 위치의 표현을 포함할 수 있다. 예를 들어, 맵 지오메트리 데이터는 현재 존재하지 않지만 장래에 계획되거나 과거에 존재할 수 있는 구조의 그래픽 표현을 포함할 수 있다.
증강 현실 플랫폼 엔티티는 컨텐츠 데이터베이스 공급자로부터 엔트리를 인덱싱한다. 또한, 일부 예에서, 증강 현실 플랫폼 엔티티는 최종-사용자에 의한 엔트리의 생성을 용이하게 하고 이러한 엔트리를 인덱싱한다. 본원에서 사용되는 "엔트리"는 컨텐츠 데이터베이스 공급자에 의해 저장되고 및/또는 최종-사용자에 의해 생성된 개별적인 컨텐츠의 단편(예를 들어, 기사, 이미지, 웹사이트, 비디오, 광고, 레코드, 맵 지오메트리, 소셜 미디어 정보 등)이다. 컨텐츠 데이터베이스 공급자는 다양한 유형의 엔트리를 저장하고 제공한다. 예를 들어, 컨텐츠 데이터베이스 공급자는 출판사(신문, 잡지, 전자 서적 보관소, 블로그, 미디어 아울렛 등), 검색 엔진(예를 들어, Google®, Bing®, Baidu® 등), 공공 정보 사무실(예를 들어, 자산 레코드, 범죄 레코드, 합병 레코드, 면허 레코드 등), 리서치 공급자(예를 들어, LexisNexis®, Westlaw® Bloomberg® 등), 소셜 미디어 회사(예를 들어, Facebook®, Twitter®, Weibo® 등), 맵 지오메트리 공급자(예를 들어, Google®, Apple®, Tencent® 등), 기관 공급자(예를 들어, 도서관, 박물관, 개인 컬렉션, 등), 교육 공급자(예를 들어, 대학, 커뮤니티 칼리지, 중등 학교 등), 광고주, 엔터테인먼트(예를 들어, Netflix®, Hulu® 등) 및/또는 시청각 공급자(예를 들어, Youtube®, Vimeo®, Spotify® 등)를 포함한다. 일부 컨텐츠 데이터베이스 공급자는 (예를 들어, 월드 와이드 웹(World Wide Web) 등을 통해) 엔트리에 공개 액세스를 제공한다. 다른 컨텐츠 데이터베이스 공급자는 허가된 사용자에 대해 (예를 들어, 로그인 크리덴셜을 통해, 키를 통해, 등) 액세스를 제공한다. 일부 컨텐츠 공급자는 애플리케이션 프로그램 인터페이스(API: Application Program Interface)를 통해 액세스를 제공한다. 일부 예에서, 증강 현실 플랫폼 엔티티는 네트워크 및 인터넷 프로토콜(예를 들어, HTML, FTP 등)을 통해 데이터베이스를 검색하고 인덱싱한다.
증강 현실 플랫폼 엔티티는 엔트리 내의 주제(예를 들어, 사람, 장소, 사물 또는 이벤트)를 식별하기 위해 컨텐츠 데이터베이스 공급자로부터의 엔트리를 분석한다. 예를 들어, 분석 중인 엔트리가 부동산 데이터베이스로부터의 부동산 목록인 경우, 증강 현실 플랫폼 엔티티는 부동산의 거리, 부동산이 위치한 지자체, 재산의 이전 소유자, 범죄 통계, 및/또는 카운티 레코더 레코드 등을 식별할 수 있다. 증강 현실 플랫폼 엔티티는 엔트리와 관련된 주제를 고유하게 식별하는 엔트리에 대한 태그(tag)를 생성한다. 증강 현실 플랫폼 엔티티는 그 후 태그를 갖는 엔트리에 대한 레코드, 엔트리와 연관된 메타데이터(예를 들어, 제목, 지리적 좌표, 엔트리와 연관된 날짜 등) 및/또는 엔트리가 액세스 가능한 네트워크 상의 위치를 식별하는 유니폼 리소스 식별자(URI)를 생성한다. 일부 예에서 URI는 프로토콜 식별자(예를 들어, http, https, ftp 등) 및 네트워크(예를 들어, 인트라넷, 인터넷 등)의 식별자를 제공하는 유니폼 리소스 로케이션(URL: Uniform Resource Location)이다. 또한, 다양한 컨텐츠 데이터베이스 공급자로부터의 엔트리를 분석함으로써, 증강 현실 플랫폼 엔티티는 주제들 간의 유사성(예를 들어, 동시-발생 관계)을 결정한다. 예를 들어 "루커리 건물(Rookery Building)"의 주제는 "다니엘 번햄(Daniel Burnham)", "프랭크 로이드 라이트(Frank Lloyd Wright)", "로마 복고 건축(Roman Revival Architecture)" 및 "번햄과 루트(Burnham & Root)" 등의 주제와 연결될 수 있다.
증강 현실 플랫폼 엔티티는, 최종-사용자 디바이스로부터 질의를 수신한 후, 질의에 포함된 주제(들) 및 이러한 주제에 관련된(예를 들어, 유사성을 갖고 관련되는 등) 다른 주제에 기초하여 어떤 레코드가 질의에 응답하는지를 결정한다. 증강 현실 플랫폼 엔티티는 메타데이터(예를 들어, 제목, 저자, 크기 등) 및 응답 레코드와 연관된 URI를 포함하는 응답을 생성한다. 일부 예에서, 증강 현실 플랫폼 엔티티는 최종-사용자 디바이스로부터 사전-질의 데이터를 수신한다. 이러한 예에서, 사전-질의 데이터는 맵 지오메트리 데이터, 이미지 날짜, 디바이스 자세 데이터(예를 들어, 위치 및 배향) 및/또는 (예를 들어, 디바이스 상의 라이더(LiDAR) 및 레이더(RADAR)로부터의) 이미지 깊이 매핑을 포함한다. 이러한 예에서, 증강 현실 플랫폼 엔티티는 사용자가 질의를 형성하기 위해 선택할 수 있는 사전-질의 데이터의 주제를 (예를 들어, 이미지 인식, 좌표 및 배향 분석, 이미지 깊이 매핑 분석 등을 통해) 식별한다. 예를 들어, 사전-질의 데이터(폰의 좌표, 폰의 카메라에 관한 배향 데이터 및 폰의 카메라의 시야 데이터 등) 및 맵 지오메트리 데이터베이스 공급자 중 하나로부터의 맵 지오메트리 데이터에 기초하여, 증강 현실 플랫폼 엔티티는 사전-질의 데이터의 이미지가 루커리 건물(Rookery Building) 및 시카고 상품 거래소(Chicago Board of Trade) 건물을 포함하는 것으로 결정할 수 있다.
최종-사용자 디바이스는 사용자가 (i) 질의를 제출하고, (ii) 질의에 대한 응답을 브라우징하고, (iii) 응답과 연관된 컨텐츠를 선택 및 보는 것을 용이하게 하는 인터페이스를 표시한다. 최종-사용자 디바이스는 시각적, 청각적 및/또는 햅틱(haptic) 출력을 포함한다. 시각적 출력은 스크린(예를 들어, 폰, 태블릿, 가상 현실 헤드셋, 가상 조종석 등의 스크린) 또는 투명한 표면(예를 들어, 광학 헤드-장착 디스플레이의 패널, 증강 현실 스마트 안경, 헤드 업 디스플레이, 조종석 글래스 디스플레이 등) 상으로의 투사를 포함할 수 있다. 인터페이스는 최종-사용자 디바이스 상에 현재 표시되는 결과를 제어하는 스크러버 트랙(scrubber track) 및 스크러버를 포함한다. 일부 예에서, 결과는 연대기 순으로 나열되고 스크러버 트랙 및 스크러버는 결과를 연대기로 스크롤링하는 것을 용이하게 한다. 이러한 예에서, 스크러버 트랙은 특정 기간(예를 들어, 주, 월, 년, 수십년 등)에 대응하는 결과를 나타내는 이벤트 지점을 포함한다. 스크러버가 특정 이벤트 지점으로 이동하면, 인터페이스는 대응 기간과 연관된 결과를 표시한다. 예를 들어, 스크러버가 1893년과 연관된 이벤트 지점으로 이동되는 경우, 인터페이스는 1893년과 연관된 결과(예를 들어, 1893년에 작성된 기사, 1893년의 이미지, 1893년의 이벤트에 대한 비디오, 1983년에 살았던 사람들에 대한 기사 등)를 표시할 수 있다. 일부 예에서, 결과는 관련성 스코어에 따라 나열되고 스크러버 트랙 및 스크러버는 질의와의 관련성에 기초하여 결과를 스크롤링하는 것을 용이하게 한다.
최종-사용자 디바이스는 (a) 질의를 수동으로 입력하고 결과를 브라우징하고(예를 들어, 터치 스크린, 마우스, 컨트롤러, 마이크로폰 등), 사용자(예를 들어, 손가락, 눈 응시 위치 등)가 질의를 입력하고 결과를 브라우징(예를 들어, 전방 카메라, 후방 카메라 등)하는 것을 추적하고, 및/또는 (c) 질의를 식별 및/또는 제시하기 위해 인터페이스에 대한 데이터를 수집하는 것(예를 들어, 후방 카메라, 글로벌 포지셔닝 시스템(GPS: global positioning system) 수신기, 가속도계 등)을 용이하게 하는 입력을 포함한다. 일부 예에서, 입력에 기초하여, 최종-사용자 디바이스는 증강 현실 플랫폼 엔티티에 대해 사전-질의 데이터를 증강 현실 플랫폼 엔티티로 전송하여 질의에 대한 주제를 식별 및/또는 제시한다. 예를 들어, 최종-사용자 디바이스는 클라우드 게이트(Cloud Gate) 조각의 이미지, 최종-사용자 디바이스의 좌표(예를 들어, 41.882772 및 -87.622958) 및 최종-사용자 디바이스의 배향(예를 들어, 진북으로부터 225도)을 전송할 수 있다. 이러한 예에서, 증강 현실 플랫폼 엔티티는 클라우드 게이트 조각을 제시된 주제로서 식별할 수 있다. 이러한 예에서, 최종-사용자 디바이스는 카메라에 의해 캡처되는 동안 클라우드 게이트 조각을 하이라이팅한다(예를 들어, 반-투명 이미지를 중첩). 이러한 예에서, 최종-사용자 디바이스는 하이라이팅된 클라우드 게이트 조각에 대한 관심을 (예를 들어, 터치 스크린을 통해) 나타내는 사용자에 대한 응답으로 클라우드 게이트 조각을 갖는 질의를 주제로서 전송한다.
도 1은 본 개시의 교시에 따라 최종-사용자 디바이스(106)로부터 질의(104)를 수신하는 것에 응답하여 질의 결과(102)를 제공하는 증강 현실 플랫폼 엔티티(ARPE: augmented reality platform entity)(100)의 시스템도를 나타낸다. 예시적인 ARPE(100), 예시적인 최종-사용자 디바이스(106) 및 예시적인 컨텐츠 데이터베이스 공급자(108)는 네트워크(예를 들어, 인트라넷, 인터넷 등)를 통해 통신 가능하게 커플링된다. 예시적인 최종-사용자 디바이스(106)는 컴퓨터(예를 들어, Window®-기반 컴퓨터, iOS®-기반 컴퓨터, Linux-기반 컴퓨터 등), 스마트 폰(예를 들어, AndroidTM-기반 폰, iOS-기반 폰, Windows® Mobile-기반 폰 등), 태블릿(예를 들어, iPad®, Google Pixel® 등), 스마트 텔레비전, 오버-더-톱 디바이스(예를 들어, Apple TV®, ChromecastTM, Amazon Fire® 등), 광학 헤드-장착 디스플레이(예를 들어, Google Glass, Vuzix M300 등), 증강 현실 스마트 안경(예를 들어, Microsoft® HoloLens 등), 가상 현실 헤드셋(예를 들어, Oculus Rift, HTC Vive 등), 차량 센터 콘솔 디스플레이, 헤드 업 디스플레이, 가상 조종석, 글래스 조종석 및/또는 글로벌 포지셔닝 시스템(GPS) 디바이스 등을 포함한다. 아래의 도 14 및 도 15에서 더욱 상세하게 개시되는 바와 같이, 최종-사용자 디바이스(106)는 질의 결과(102)를 사용자에게 제시하고 질의(104)를 형성하고 질의 결과(102)와 연관된 엔트리를 내비게이팅하기 위해 사용자로부터 입력을 수신한다.
컨텐츠 데이터베이스 공급자(108)는 유니폼 리소스 로케이터(URI)와 같은 유니폼 리소스 인디케이터(URI: Uniform Resource Indicator)를 통해 액세스 가능한 컨텐츠(예를 들어, 기사, 웹사이트, 이미지, 레코드, 맵, 맵 지오메트리 데이터, 비디오 등)를 생성 및/또는 저장한다. 일부 컨텐츠 데이터베이스 공급자(108)는 (예를 들어, 크리덴셜이 없는) 개방 액세스를 제공하는 반면, 다른 컨텐츠 데이터베이스 공급자(108)는 로그인을 통해 대응하는 컨텐츠에 대한 액세스를 제공한다. 나타내어진 예에서, 컨텐츠 데이터베이스 공급자(108)는 출판사(예를 들어, 신문, 잡지, 전자 서적 보관소, 블로그, 미디어 아울렛, 방송사(라이브 및 사전 녹화) 등), 검색 엔진(예를 들어, Google®, Bing®, Baidu® 등), 공공 정보 사무실(예를 들어, 자산 레코드, 범죄 레코드, 합병 레코드, 면허 레코드 등), 리서치 공급자(예를 들어, LexisNexis®, Westlaw®, Bloomberg® 등), 소셜 미디어 회사(예를 들어, Facebook®, Twitter®, Weibo® 등), 맵 지오메트리 공급자(예를 들어, Google®, Apple®, Tencent® 등), 기관 공급자(예를 들어, 도서관, 박물관, 개인 컬렉션 등), 교육 공급자(예를 들어, 대학, 커뮤니티 칼리지, 중등 학교 등), 광고주, 엔터테인먼트(예를 들어, Netflix®, Hulu® 등) 및/또는 시청각 공급자(예를 들어, Youtube®, Vimeo®, Spotify®, Twitch® 등)를 포함한다.
나타낸 예에서, ARPE(100)는 데이터베이스 정렬기(110), 증강 현실 플랫폼(ARP: augmented reality platform) 데이터베이스(112), 사용자 핸들러(114), 사용자 데이터베이스(116), 세션 핸들러(118) 및 질의 응답기(120)를 포함한다. 아래의 도 9에 더욱 상세하게 개시되는 바와 같이, 예시적인 데이터베이스 정렬기(110)는 컨텐츠 데이터베이스 공급자(108)로부터의 엔트리를 분석하였다. 엔트리는 URI를 통해 최종-사용자 디바이스(106)에 의해 액세스될 수 있는 URI와 연관된 개별 컨텐츠 단편이다. 엔트리에 대해, 데이터베이스 정렬기(110)는 어느 주제(들)가 엔트리와 관련되는지를 결정하고, 식별된 주제(들), 엔트리(예를 들어, 제목, 썸네일, 저자) 및 연관된 컨텐츠 데이터베이스 공급자(108)를 식별하는 메타데이터, 및 엔트리에 액세스하기 위한 URI를 포함하는 ARP 데이터베이스(112)에 저장하기 위한 엔트리 레코드를 생성한다. 일부 예에서, 데이터베이스 정렬기(110)는 또한 하나 이상의 날짜를 엔트리 레코드에 할당한다. 예를 들어, 시카고 대화재(great Chicago fire)에 관한 엔트리는 1871년 10월 8일, 1871년 10월 9일 및 1871년 10월 10일의 날짜를 할당받을 수 있다. 또한, 일부 예에서, 데이터베이스 정렬기(110)는 주제들 간의 유사성을 결정한다. 유사성이란 엔트리에 2개 이상의 주제의 동시-발생의 가능성의 척도이다. 높은 유사성을 갖는 주제는 관련되는 것으로 고려될 수 있다. 예를 들어, "S. R. 크라운 홀(Crown Hall)"의 주제는 "루드비히 미스 반 데르 로에(Ludwig Mies van der Rohe)"의 주제와 높은 유사성을 가질 수 있다. 즉, 질의(104)가 "S. R. 크라운 홀"의 주제를 포함하는 경우, 사용자는 또한 "루드비히 미스 반 데르 로에"의 주제에 관심이 있을 수 있다.
도 2는 ARP 데이터베이스(112)의 엔트리 레코드(예를 들어, 아래의 도 12의 엔트리 레코드(1200))를 저장하는 데 사용될 수 있는 예시적인 데이터 구조(200)를 나타낸다. 나타낸 예에서, 데이터 구조(202)는 레코드 식별자(ID) 필드(202), 컨텐츠 데이터베이스 공급자(CDP: content database provider) ID 필드(204), 주제 ID 필드(206), 주제 메타데이터 필드(208), 주제 날짜 필드(210) 및 URI 필드(212)를 포함한다. 예시적인 레코드 ID 필드(202)는 엔트리 레코드를 고유하게 식별하는 숫자 또는 영숫자 값을 포함한다. 예시적인 CDP ID 필드(204)는 엔트리 레코드가 생성된 컨텐츠 데이터베이스 공급자(108)를 고유하게 식별하는 숫자, 영숫자 또는 알파벳 값을 포함한다. 예시적인 주제 ID 필드(206)는 엔트리 레코드에 할당된 주제(들)를 고유하게 식별하는 숫자, 영숫자 또는 알파벳 값을 포함한다. 주제 메타데이터 필드(208)는 (예를 들어, URI 필드(212) 등에 의해 식별되는 바와 같이) 연관된 URI에서의 컨텐츠에 대해 사용자에게 알리기 위해 사용될 값의 세트를 포함한다. 예를 들어, 주제 메타데이터 필드(208)는 제목, 저자, 소스 이름 및/또는 다운로드 크기 등을 포함할 수 있다. 주제 날짜 필드(210)는 그 엔트리와 연관된 날짜를 식별한다. URI 필드(212)는, 엔트리가 발견될 수 있는 URI를 포함한다. 예를 들어, URI 필드(212)는 URL, 국제 표준 도서 번호(ISBN: international standard book number), 통일 상품 코드(UPC: universal product code) 및/또는 국제 거래 단위 번호(GTIN: global trade item number) 등을 포함할 수 있다. URI 필드(212)가 URL 대신에 객체 식별자(예를 들어, ISBN, UPC, GTIN 등)를 포함하는 이러한 예에서, 최종-사용자 디바이스(106)는, 객체 식별자와 연관된 엔트리가 사용자에 의해 선택될 때 선호 컨텐츠 데이터베이스 공급자(108)(예를 들어, Amazon.com, 미국 의회 도서관(Library of Congress) 등)를 사용할 수 있다.
도 1로 돌아가면, 사용자 핸들러(114)는 사용자 데이터베이스(116)를 유지한다. 사용자가 ARPE(100)에 (예를 들어, 최종-사용자 디바이스(106)를 통해) 최초 등록할 때, 사용자 핸들러(114)는 사용자 데이터베이스(116)를 저장하기 위해 사용자 레코드를 생성하는 등록 프로세스를 관리한다. 사용자 핸들러(114)는 ARPE(100)에 액세스하는 사용자의 (예를 들어, 로그인 크리덴셜 등을 통한) 인증을 관리한다. 또한, 사용자 핸들러(114)는 대응하는 사용자의 설정 및 선호도를 반영하도록 사용자 레코드를 관리 및 갱신한다. 예시적인 설정 및 선호도는 선호하는 질의 결과 인터페이스(예를 들어, 아래의 도 3, 4 및 5에 개시된 인터페이스), 북마크, 선호하는 컨텐츠 데이터베이스 공급자, 및/또는 컨텐츠 데이터베이스 공급자에 대한 구독 및 크리덴셜 등을 포함할 수 있다.
예시적인 세션 핸들러(118)는 최종-사용자 디바이스(106)와의 접속 및 통신을 관리한다. 최종-사용자 디바이스(106)는 네트워크를 통해 세션 핸들러(118)에 통신 가능하게 커플링한다. 네트워크는 인터넷과 같은 공용 네트워크; 인트라넷과 같은 사설 네트워크; 또는 이들의 조합일 수 있으며, TCP/IP-기반 네트워킹 프로토콜을 포함하지만 이에 한정되지 않는 현재 이용 가능하거나 장래에 개발될 다양한 네트워킹 프로토콜을 이용할 수 있다. 예시적인 세션 핸들러(118)는 질의(104), 사전-질의 데이터(예를 들어, 최종-사용자 디바이스(106)의 위치 및 환경에 문맥을 제공하는 정보), 등록 데이터, 로그인 데이터 및/또는 선호도 데이터 등을 최종-사용자 디바이스(106)로부터 수신한다. 세션 핸들러(118)는 세션 데이터(예를 들어, 세션 식별자, 인증 데이터 등), 사전-질의 응답 및 질의 결과(102)를 전송한다.
도 3은 질의(104)를 형성하는 데 사용될 수 있는 예시적인 데이터 구조(300)를 나타낸다. 나타낸 예에서, 데이터 구조(300)는 예시적인 세션 ID 필드(302), 예시적인 사용자 ID 필드(304), 예시적인 질의 데이터 필드(306) 및 예시적인 디바이스 자세 데이터 필드(308)를 포함한다. 세션 ID 필드(302)는 질의(104)를 전송하는 최종-사용자 디바이스(106)와 연관된 세션을 고유하게 식별하는 숫자, 영숫자 또는 알파벳 값을 포함한다. 예시적인 사용자 ID 필드(304)는 최종-사용자 디바이스(106)의 사용자를 고유하게 식별하는 숫자, 영숫자 또는 알파벳 값을 포함한다. 선호도 및 설정은 사용자 ID 필드(304)의 값으로 사용자 데이터베이스(116)로부터 획득될 수 있다. 질의 데이터 필드(306)는 질의 응답기(120)에 의해 질의 결과(102)를 생성하기 위해 사용되는 데이터(예를 들어, 문자열 데이터, 이미지 데이터, 좌표 데이터 등)를 포함한다. 디바이스 자세 데이터 필드(308)는 최종-사용자 디바이스(106)에 대한 자세(예를 들어, 위치, 배향, 고도 등)에 관한 정보를 포함한다.
아래의 도 13에서 보다 상세하게 개시되는 바와 같이, 예시적인 질의 응답기(120)는 최종-사용자 디바이스(106)로부터의 질의(104)에 대한 응답으로 질의 결과(102)를 생성한다. 질의 결과(102)를 생성하기 위해, 질의 응답기(120)는 질의(104)에 포함된 주제(들)를 분석하고, ARP 데이터베이스(112)의 질의 레코드 중 어느 것이 응답하는지(예를 들어, 질의(104)의 주제(들)에 대한 것인지, 그리고 질의(104)의 주제(들)에 대해 높은 유사도를 갖는 주제에 관한 것인지), 그리고 (b) 사용자 선호도에 따르는지를 결정한다. 예를 들어, "루커리 건물"의 주제를 포함하는 질의(104)에 응답하여, 질의 응답기(120)는 "루커리 건물", "다니엘 번햄", "브룩스 브라더스(Brooks Brothers)" 및 "사우스 라 살 스트리트(South La Salle Street)" 등과 같은 주제에 대해 인덱싱된 엔트리 레코드에 기초하여 질의 결과(102)를 생성할 수 있고, 구독을 필요로 하는 컨텐츠 데이터베이스 공급자와 연관된 엔트리 레코드를 배제할 수 있다.
도 4는 질의 결과(102)를 형성하는 데 사용되는 예시적인 데이터 구조(400)를 나타낸다. 나타낸 예에서, 질의 결과는 CDP ID 필드(204), 주제 ID 필드(206) 및 엔트리 레코드 데이터(예를 들어, 주제 메타데이터 필드(208), 주제 날짜 필드(210) 및 URI 필드(212))에 기초하여 계층 구조(hierarchy)로 배열된다. 그러나, 데이터 구조(400)는 (예를 들어, 주제 ID 필드(206)와 CDP ID 필드(204)에 의해, 주제 날짜 필드(210) 등에 의해) 임의의 다른 적절한 방식으로 배열될 수 있다. 대안적으로, 일부 예에서, 데이터 구조(400)는 엔트리 레코드 데이터 구조(200)의 플랫 리스트(flat list)일 수 있으며, 이는 최종-사용자 디바이스(106)에 의해 그 후 계층 구조로 조직화된다.
도 5는 사용자가 도 1의 최종-사용자 디바이스(106)로 컨텐츠를 검색하기 위한 내비게이션 맵(500)의 도면을 나타낸다. 나타낸 예에서, 내비게이션 맵(500)은 뷰포트(514) 상에 표시될 등록 인터페이스(502), 로그인 인터페이스(504), 홈 인터페이스(506), 커스텀 업데이트 인터페이스(508), 북마크 인터페이스(510) 및 컨텐츠 내비게이션 인터페이스(512)를 포함한다. 등록 인터페이스(502)는 사용자가 설정을 선택하고, 선호도를 설정하고, 인증 크리덴셜을 생성하기 위해 계정을 생성하는 것을 용이하게 한다. 등록 인터페이스(502)를 통해, 사용자 핸들러(114)는 사용자 데이터베이스(116)에 정렬(sorting)될 사용자 레코드를 생성한다. 로그인 인터페이스(504)는 등록된 사용자가 인증 크리덴셜을 입력하는 것을 용이하게 함으로써 세션을 생성한다. 홈 인터페이스(506)는 컨텐츠 내비게이션 인터페이스(512), 커스텀 갱신 인터페이스(508) 및/또는 북마크 인터페이스(510) 중 하나를 선택하는 것을 용이하게 한다. 일부 예에서, 홈 인터페이스(506)는 대응하는 사용자 레코드의 선호도 설정에 따라 디폴트로 다른 인터페이스들(508 내지 512) 중 하나를 포함한다. 커스텀 갱신 인터페이스(508)는 대응하는 사용자 레코드에 설정된 선호도에 기초하여 실시간으로 갱신되는 엔트리를 제시한다. 북마크 인터페이스(510)는 저장된 이전 질의 결과(102)를 제시한다.
나타낸 예에서, 컨텐츠 내비게이션 인터페이스(512)는 텍스트-기반 질의 인터페이스(516), 맵 지오메트리 질의 인터페이스(518), 맵 질의 인터페이스(520) 및 증강 현실 질의 인터페이스(522)를 포함한다. 텍스트-기반 질의 인터페이스(516)는 문자열을 텍스트 박스에 입력함으로써 사용자가 질의(104)를 생성하는 것을 용이하게 한다. 예를 들어, 사용자는 텍스트-기반 질의 인터페이스(516)의 텍스트 박스에 "톰슨 센터(The Thompson Center)"를 입력할 수 있다. 아래의 도 9에서 더욱 상세하게 개시되는 바와 같이, 맵 지오메트리 질의 인터페이스(518)는 (i) (예를 들어, Google, CycloMedia, Tencent 등과 같은 맵 지오메트리 컨텐츠 데이터베이스 공급자로부터의) 상호 작용 맵 지오메트리 데이터 및/또는 정적 이미지에 기초하여 질의를 생성하고 (ii) 질의로부터 결과를 브라우징하기 위해 인터페이스를 제공한다. 도 10에서 더욱 상세하게 개시되는 바와 같이, 맵 질의 인터페이스(520)는 (i) 맵 이미지에 기초하여 질의를 생성하고, (ii) 질의로부터 결과를 브라우징하기 위한 인터페이스를 제공한다. 아래의 도 11에서 더욱 상세하게 개시되는 바와 같이, 증강 현실 질의 인터페이스(522)는 (i) 객체에서 카메라(예를 들어, 아래의 도 26의 후방 카메라(2616))를 포인팅하는 것에 기초하여 질의를 생성하고, (ii) 객체를 식별하는 것에 기초하여 신속한 결과를 제공하고, (iii) 질의로부터의 결과를 브라우징하기 위한 인터페이스를 제공한다.
뷰포트(514)는 최종-사용자 디바이스(106) 상의 인터페이스(502 내지 512)의 가시 영역이다. 디스플레이(예를 들어, 아래의 도 26의 디스플레이(2612)) 및 그에 따라 상이한 유형의 최종-사용자 디바이스(106)의 사용자에게 인터페이스를 제공하기 위한 영역의 크기가 상이한 치수를 가지므로, 뷰포트(514)는, 인터페이스가 특정 최종-사용자 디바이스(106) 상에서 표시되는 방식을 변화시킨다. 예를 들어, 표시된 인터페이스(502 내지 512)는 더 작고, 다르게 지향되고, 및/또는 컴퓨터 스크린보다 휴대용 디바이스(예를 들어, 스마트 폰, 태블릿 등) 상에서 상이한 종횡비를 가질 수 있다. 나타낸 예에서, 뷰포트(514)는 최종-사용자 디바이스(106)의 특정 디스플레이에 적절한 인터페이스(502 내지 512)에 대한 배향, 레이아웃 및 크기를 포맷팅한다.
도 6은 질의 결과(102)를 제시하고 이와 상호 작용하는 것을 용이하게 하기 위해 도 1의 최종-사용자 디바이스(106)에 의해 제시되는 인터페이스(600)를 도시한다. 일부 실시예에서, 인터페이스(600)는, 질의(104)가 생성된 인터페이스(516 내지 522) 상에 중첩된다. 예를 들어, 질의(104)가 맵 지오메트리 질의 인터페이스(518)를 통해 생성된 경우, 인터페이스(600)는 맵 지오메트리 질의 인터페이스(518)의 맵 지오메트릭 데이터의 이미지 상에 중첩될 수 있다. 나타낸 예에서, 인터페이스(600)는 질의 식별자 필드(602), 질의 결과 필드(604), 스크러버 트랙(606), 이벤트 포인트(608), 타임라인 마커(610), 스크러버(612) 및 위치 마커(614)를 포함한다. 예시적인 질의 식별자 필드(602)는, 질의 결과(102)가 표시되고 있는 질의(104)를 표시한다. 질의 결과 필드(604)는 주제 및/또는 컨텐츠 데이터베이스 공급자(108)에 의해 분리된 질의 결과(102)를 표시한다. 일부 예에서, 질의 결과 필드(604)는 대응하는 주제 및/또는 컨텐츠 데이터베이스 공급자(108)와 연관된 엔트리의 수에 따라 사이징된다. 일부 예에서, 대응하는 질의 결과 필드(604)에 표시될 수 있는 것보다 많은 주제 및/또는 컨텐츠 데이터베이스 공급자(108)에 대한 엔트리가 존재하는 경우, 인터페이스(600)는 특정 질의 결과 필드(604)에서 표시되는 엔트리를 브라우징하는 것을 용이하게 하기 위해 스와이프(swipe) 입력(예를 들어, 특정 질의 결과 필드(604)에 대한 수직 또는 수평 입력)을 수용한다.
스크러버 트랙(606)은 기준에 의해 질의 결과 필드(604)에 표시된 결과를 제한하는 것을 용이하게 한다. 일부 실시예에서, 기준은 질의 결과(102)의 엔트리와 연관된 연대기 값(예를 들어, 날짜)이다. 대안적으로, 일부 예에서, 기준은 질의 결과(102)의 엔트리와 연관된 관련도 스코어이다. 스크러버 트랙(606)은 수직 또는 수평으로 표시될 수 있다. 이벤트 포인트(608)는 중요한 이벤트 또는 기간을 디마팅한다. 일부 예에서, 중요한 이벤트 또는 기간은 (a) 질의 결과의 엔트리에서 언급된 위치 최대값인 이벤트 또는 기간, 및/또는 (b) 특정 질의(104)와 연관된 이벤트의 큐레이트 세트이다. 예를 들어, 질의가 "시카고(Chicago)"인 경우, 이벤트 포인트(608)는 1803(포트 디어본(Fort Dearborn)의 창립), 1871(시카고 대화재), 1893(만국 박람회(Columbian Exposition World's Fair)), 1933(진보의 세기 세계 박람회(the Century of Progress World's Fair)) 및/또는 1973(시어스 타워(Sears Tower) 완공)을 마킹할 수 있다. 타임라인 마커(610)는 질의의 연대 범위에 따라 시점(예를 들어, 일, 주, 년, 수십년 등)을 마킹한다. 예를 들어, 타임라인 마커(610)는 매 50년마다 마킹할 수 있다.
스크러버(612)는 질의 결과 필드(604)에 어떤 엔트리가 표시되는지를 나타낸다. 스크러버(612)는 질의 결과 필드(604)에 표시되고 있는 엔트리의 상대적인 양을 나타낸다. 예를 들어, 2000개의 엔트리가 있고 400개의 엔트리가 나타내어지고 있는 경우, 스크러버(612)는 스크러버 트랙(606)의 20%를 포함할 것이다. 일부 실시예에서, 스크러버(612)의 크기는 (i) 질의 결과 필드(604)에 표시되는 엔트리의 수 또는 (ii) 질의 결과 필드(604)에 표시된 엔트리의 퍼센티지에 대한 사용자 선호도에 의해 결정된다. 위치 마커(614)는 스크러버(612)의 위치를 제어한다. 스크러버 트랙(606)을 따라 위치 마커(614)의 위치를 변경하면, 질의 결과 필드(604)에서 표시되는 엔트리의 적어도 일부를 변경시킨다.
도 7은 질의 결과(102)를 제시하고 이와 상호 작용하는 것을 용이하게 하기 위해 도 1의 최종-사용자 디바이스(106)에 의해 제시되는 다른 인터페이스(700)를 도시한다. 나타낸 예에서, 인터페이스(700)는 질의 결과(102)를 계층 구조 방식으로 제시한다. 일부 예에서, 인터페이스(700)는 질의(104)가 생성된 인터페이스(516 내지 522) 상에 중첩된다. 예시적인 인터페이스(700)는 제1 레벨의 결과를 표시하는 제1 계층 구조 요소(702)를 제시한다. 일부 예에서, 결과의 제1 레벨은 컨텐츠 데이터베이스 공급자(108)이다. 제1 레벨의 결과 중 하나가 선택되면, 인터페이스는 제2 레벨의 결과를 표시하는 제2 계층 구조 요소(704)를 제시한다. 일부 예에서, 제2 레벨의 결과는 질의(104)와 연관된 주제이다. 결과의 제2 레벨 중 하나가 선택되면, 인터페이스(700)는 제3 레벨의 결과를 표시하는 제3 계층 구조 요소(706)를 표시한다. 일부 예에서 제3 레벨의 결과는 선택된 항목에 대한 선택된 컨텐츠 데이터베이스 공급자로부터의 엔트리를 포함한다. 일부 예에서, 인터페이스(700)는 질의 결과(102)를 상세의 보다 세밀한 레벨로 브라우징하는 것을 용이하게 하기 위해 추가적인 계층 구조 레벨을 포함할 수 있다. 나타낸 예에서, 인터페이스(700)는 기준(연대기 값, 관련도 값 등)에 기초하여 질의 결과(102)를 내비게이팅하는 것을 용이하게 하기 위해, 스크러버 트랙(606), 이벤트 포인트(608), 타임라인 마커(610), 스크러버(612) 및/또는 위치 마커(614)를 포함한다.
도 8은 질의 결과(102)를 제시하고 이와 상호 작용하는 것을 용이하게 하기 위해 도 1의 최종-사용자 디바이스(106)에 의해 제시되는 다른 인터페이스(800)를 도시한다. 나타낸 예에서, 인터페이스는 동심원으로 배열된 제1 계층 구조 요소(702), 제2 계층 구조 요소(704) 및 제3 계층 구조 요소(706)를 포함한다. 나타낸 예에서, 제1 계층 구조 요소(702)는 주제와 연관되고, 제2 계층 구조 요소(704)는 컨텐츠 데이터베이스 공급자(108)와 연관되고, 제3 계층 구조 요소(706)는 엔트리와 연관된다. 초기에, 계층 구조(704 및 706) 중 일부는 연관된 하위 계층 구조(예를 들어, 제1 계층 구조 요소(702)) 상에서 선택이 이루어질 때까지 숨겨져 있다. 일부 예에서, 인터페이스(800)는 더 많은 계층 구조를 포함한다. 이러한 예에서 중심에 가까운 계층 구조는 보다 일반적이고 계층 구조는 중심에서 멀어 질수록 더 구체적이다. 예시적인 계층 구조는: 주제 → 컨텐츠 공급자 → 엔트리 유형 → 특정 엔트리일 수 있다. 일부 예에서, 사용자는 관심 계층 구조를 중심 축을 중심으로 회전시킴으로써 계층 구조(702 내지 706)를 스크롤한다. 나타내지는 않았지만, 인터페이스(800)는 기준(예를 들어, 연대기 값, 관련도 값 등)에 기초하여 질의 결과를 통한 내비게이팅을 용이하게 하기 위해 스크러버 트랙(606), 이벤트 포인트(608), 타임라인 마커(610), 스크러버(612) 및/또는 위치 마커(614)를 포함할 수 있다.
도 9는 도 1의 최종-사용자 디바이스(106)에 의해 제시되는 맵 지오메트리 질의 인터페이스(518)를 도시한다. 나타낸 예에서, 사용자는 맵 지오메트리 데이터 및/또는 정적 이미지를 브라우징하여 질의(104)를 생성한다. 표시된 맵 지오메트리 데이터 또는 정적 이미지에 기초하여, 최종-사용자 디바이스(106)는 사전-질의 데이터를 ARPE(100)에 전송하여 맵 지오메트리 데이터 또는 정적 이미지의 객체(900)(예를 들어, 건물, 랜드마크, 사람 등)를 식별한다. 나타낸 예에서, 맵 지오메트리 질의 인터페이스(518)는 식별된 객체를 아웃라이닝(outlining)한다. 사용자가 하이라이팅된 객체(예를 들어, 객체(900))와 상호 작용할 때, 맵 지오메트리 질의 인터페이스(518)는 그 객체에 관한 질의(104)를 생성한다.
초기에, 일부 예에서, 맵 지오메트리 질의 인터페이스(518)는 최종-사용자 디바이스(106)의 위치 주위의 영역의 오버헤드 맵의 줌-아웃된(zoomed-out) 뷰를 표시할 수 있다. 사용자는 오버헤드 맵의 초기 뷰가 얼마나 많이 줌-아웃되는지에 대한 선호도를 설정할 수 있다. 사용자는 맵 지오메트리 데이터를 보기 위해 오버헤드 맵 상의 위치를 선택한다. 나타낸 예에서, 맵 지오메트리 질의 인터페이스(518)는 (a) 오버헤드 맵 상의 시점의 위치 및 (b) 오버헤드 맵과의 비교에서 현재 표시되는 맵 지오메트리 데이터의 시점의 배향을 나타내는 삽입 맵(902)을 포함한다. 맵 지오메트리 질의 인터페이스(518)는 또한 표시된 맵 지오메트리 데이터에 관한 정보를 표시하기 위한 다른 윈도우를 포함할 수 있다. 최종-사용자 디바이스(106)가 ARPE(100)로부터 결과를 수신하면, 맵 지오메트리 질의 인터페이스(518)는 맵 지오메트리 질의 인터페이스(518) 상에 중첩된 인터페이스(예를 들어, 위의 도 6, 도 7 및 도 8의 인터페이스(600, 700 및 800))를 통해 결과를 표시한다. 나타낸 예에서, 맵 지오메트리 질의 인터페이스(518)는 위의 도 7의 계층 구조 인터페이스(700)를 통해 결과 디스플레이를 포함한다. 나타낸 예에서, 맵 지오메트리 질의 인터페이스(518)에 의해 표시된 윈도우(예를 들어, 계층 구조 요소(702, 704 및 706), 삽입 맵(902), 질의 텍스트 박스(904) 등)는 윈도우를 숨기고 확장시키는 것을 용이하게 하는 핸들(906)을 포함한다. 일부 실시예에서, 윈도우들 중 하나를 숨기기 위해, 대응 핸들(906)이 맵 지오메트리 질의 인터페이스(518)의 에지로 드래깅된다. 일부 예에서, 핸들(906)을 더블-탭핑하는 것은 대응 윈도우(예를 들어, 삽입 맵(902))로 하여금 축소 또는 확장하게 한다. 일부 예에서, 이벤트 포인트(608)가 맵 지오메트리 질의 인터페이스(518)에 의해 표시된 장면의 엔트리(예를 들어, 이미지, 비디오 등)가 상이한 시점을 나타내는 것이 이용 가능하다는 것을 나타내기 위해 스크러버 트랙(606)에 추가된다.
일부 예에서, 최종-사용자 디바이스(106)는 최종-사용자 디바이스(106)의 배향을 결정하는 것을 용이하게 하기 위해 가속도계 및 자력계를 포함한다. 이러한 일부 예에서, 맵 지오메트리 데이터가 표시될 때, 최종-사용자 디바이스(106)의 배향을 변경시키는 것은 맵 지오메트리 데이터의 어느 부분이 표시되는지를 변경한다. 이러한 방식으로, 사용자는 최종-사용자 디바이스(106)를 이동시킴으로써 맵 지오메트리 데이터를 변경할 수 있다. 이러한 예에서, 표시된 맵 지오메트리 데이터가 변경됨에 따라, 최종-사용자 디바이스(106)는 사전-질의 데이터를 ARPE(100)로 전송하여 표시된 맵 지오메트리 데이터 또는 정적 이미지에서 객체(900)를 식별한다. 맵 지오메트리 질의 인터페이스(518)는 객체(900)를 (사전-질의 응답을 통해) 계속적으로 식별하고 아웃라이닝한다.
도 10은 질의(104)를 생성하고 질의 결과(102)를 제시하고 이와 상호 작용하는 것을 용이하게 하기 위해 도 1의 최종-사용자 디바이스(106)에 의해 제시되는 맵 질의 인터페이스(520)를 도시한다. 나타낸 예에서, 맵 질의 인터페이스(520)는 맵(1000)을 표시한다. 맵(1000)은 결과 인터페이스(예를 들어, 위의 도 6, 도 7 및 도 8의 인터페이스(600, 700 및 800)) 중 하나를 통해 선택될 수 있다. 맵 질의 인터페이스(520)는 상이한 연대기 값으로 관련 맵(예를 들어, 동일하거나 실질적으로 유사한 지리적 영역을 커버하는 맵 등)을 통한 내비게이팅을 용이하게 하기 위해 스크러버 트랙(606), 이벤트 포인트(608), 타임라인 마커(610), 스크러버(612) 및/또는 위치 마커(614)를 포함한다. 이벤트 포인트(608)는 상이한 연대기 값을 갖는 맵을 나타낸다. 나타낸 예는, 위치 마커(614)가 위치되는 이벤트 포인트(608)와 연관된 맵(들)을 표시하기 위한 트랙헤드 메뉴(1004)를 포함한다. 일부 예에서, 트랙헤드 메뉴(1004)는 이벤트 포인트(608)와 연관된 상이한 맵을 선택하는 것을 용이하게 하는 문자열 리스트를 제시한다.
맵 질의 인터페이스(520)는 제시된 질의(104)를 나타내기 위해 하이라이팅된 영역(1002)을 포함한다. 예를 들어, 1893년의 시카고를 도시하는 맵은 만국 박람회의 맵 영역 주위에 하이라이팅된 영역(1002)을 포함할 수 있다. 하이라이팅된 영역(1002) 중 하나가 선택되면, 맵 질의 인터페이스(520)는 대응하는 하이라이팅된 영역(1002)의 주제와 연관된 질의(104)를 생성한다. 질의 결과(102)는 결과 인터페이스(600, 700 및 800) 중 하나를 사용하여 맵 질의 인터페이스(520) 상에 중첩될 수 있다. 일부 예에서, 맵 질의 인터페이스(520)는 맵(1000)의 확대 또는 줌을 증가 또는 감소시키는 것을 용이하게 하는 뷰 거리 제어 패널(1006)을 포함한다. 이러한 일부 예에서, 사용자가 맵(1000)의 경계 너머의 영역을 나타내도록 뷰 거리를 설정하는 경우, 맵 질의 인터페이스(520)는 (a) 유사한 연대기 값을 갖는 다른 맵 및/또는 (b) (위성 이미지 맵, 로드맵 등과 같은) 현재 맵을 표시한다.
도 11은 질의(104)를 생성하고 질의 결과(102)를 제시하고 이와 상호 작용하는 것을 용이하게 하기 위해 도 1의 최종-사용자 디바이스(106)에 의해 제시되는 증강 현실 질의 인터페이스(522)를 도시한다. 나타낸 예에서, 증강 현실 질의 인터페이스(522)는 카메라들 중 하나(예를 들어, 아래의 도 26의 카메라(2614 및 2616))에 의해 캡처된 라이브 이미지(1102)를 표시한다. 부가적으로 또는 대안적으로, 일부 예에서, 증강 현실 질의 인터페이스(522)는, 이미지가 카메라 중 하나에 의해 캡처되고 있는 것처럼 미디어 애플리케이션(예를 들어, Netflix, Hulu, 스마트 TV를 통한 로컬 방송 등)으로부터의 이미지를 표시한다. 일부 예에서, 증강 현실 질의 인터페이스(522)가 카메라들 중 하나에 의해 캡처된 라이브 이미지를 분석하는 것으로 이하에서 설명될 때, 증강 현실 질의 인터페이스(522)는 대신 미디어 애플리케이션으로부터의 이미지를 분석하고 있을 수 있다. 때때로(예를 들어, 주기적으로, 비주기적으로 등) 증강 현실 질의 인터페이스(522)는 라이브 이미지(1102) 내의 객체(1104)를 식별하기 위해 사전-질의 데이터를 ARPE(100)에 전송한다. 사전-질의 데이터의 정보는 최종-사용자 디바이스(106)의 센서에 따른다. 객체(1104)가 인식되면, 증강 현실 질의 인터페이스(522)는 객체(1104)를 아웃라이닝 및/또는 하이라이팅한다. 일부 예에서, 객체(1104)가 인식되면, ARPE(100)는 주제로서 객체(1104)를 갖는 축약된 질의를 수행한다. 이러한 예에서, 증강 현실 질의 인터페이스(522)는 기본 정보(예를 들어, 객체의 아이덴티티, 객체와 연관된 날짜, 객체에 속하는 엔트리의 수, 객체에 관한 사실, 주제에 대한 정보를 갖는 컨텐츠 데이터베이스 공급자(108)에 대해 이용 가능한 구독 등)를 갖는 축약된 질의 패널(1106)을 표시한다. 사용자가 아웃라이닝된 및/또는 하이라이팅된 영역 또는 축약된 질의 패널(1106)과 상호 작용할 때, 증강 현실 질의 인터페이스(522)는 ARPE(100)에 주제로서 객체의 아이덴티티를 갖는 질의(104)를 생성하여 전송한다.
증강 현실 질의 인터페이스(522)가 질의 결과(102)를 수신할 때, 증강 현실 질의 인터페이스(522)는 결과 인터페이스(예를 들어, 위의 도 6, 도 7 및 도 8의 인터페이스(600, 700 및 800))에 기초하여 질의 결과를 중첩시킬 수 있다. 또한, 일부 예에서, 선택된 질의 결과(102)로부터의 엔트리에 응답하여, 증강 현실 질의 인터페이스(522)는 선택된 엔트리를 라이브 이미지(1102) 상에 중첩시킨다. 예를 들어, 선택된 엔트리가 좌표 및 배향과 연관된 이미지인 경우, 증강 현실 질의 인터페이스(522)는 대응하는 객체(1104)의 장소에 표시하기 위해 이미지를 변환(예를 들어, 크기, 표시 각도 및/또는 원근감 등을 변경)할 수 있다. 일부 예에서, 증강 현실 질의 인터페이스(예를 들어, 최종-사용자 디바이스(106)의 위치에 지리적으로 근접한 주제에 관련된) 로컬 엔트리를 강조한다.
부가적으로, 일부 예에서, 증강 현실 질의 인터페이스(522)는 아웃라이닝 및/또는 하이라이팅된 객체(1104)와 연관되는 엔트리를 생성하는 것을 용이하게 한다. 이러한 예에서, 사용자는 입력 디바이스(예를 들어, 아래의 도 26의 입력 디바이스(2608))를 통해 선택된 아웃라이닝된 및/또는 하이라이팅된 객체(1104)에 피닝되고(예를 들어, ARP 데이터베이스(112)에서 연관됨) 날짜와 연관되는 메시지(예를 들어, 길이 제한된 메시지)를 입력한다. 부가적으로, 증강 현실 질의 인터페이스(522)는 메시지를 사전-질의 데이터의 일부로서 수신할 수 있고, 대응하는 객체(1104)가 아웃라이닝 및/또는 하이라이팅될 때 피닝된(pinned) 메시지를 (예를 들어, 인터페이스(600, 700 및 800) 중 하나를 통해) 제시할 수 있다.
도 12는 (예를 들어, 도 2의 엔트리 레코드 데이터 구조(200)에 기초하여) 엔트리 레코드(1200)를 생성하는 도 1의 데이터베이스 정렬기(110)의 블록도이다. 나타낸 예에서, 데이터베이스 정렬기(110)는 예시적인 컨텐츠 스캐너(1202), 예시적인 이미지 식별자(1204), 예시적인 컨텐츠 태거(tagger)(1206) 및 예시적인 레코드 생성기(1208)를 포함한다.
예시적인 컨텐츠 스캐너(1202)는 컨텐츠 데이터베이스 공급자(108)로부터 엔트리(1210)를 수신한다. 컨텐츠 스캐너(1202)는 이미지인 엔트리(1210)의 엔트리를 예시적인 이미지 식별자(1204)로 전달한다. 컨텐츠 스캐너(1202)는 엔트리(1210)를 분석하여 엔트리(1210) 내의 관심 주제를 식별한다. 컨텐츠 스캐너(1202)는 엔트리(1210)의 몸체, 엔트리(1210)의 제목 및 메타데이터(예를 들어, 태그, 저자, 날짜 등) 등을 분석한다. 나타낸 예에서, 데이터베이스 정렬기(110)는 컨텐츠 스캐너(1202)에 의해 식별되는 관심 주제를 포함하는 예시적인 주제 데이터베이스(1212)를 유지한다. 일부 예에서, 주제 데이터베이스(1212)는 관심 주제의 약어 및 통상의 맞춤법 오류를 포함한다. 일부 예에서, 컨텐츠 스캐너(1202)는 엔트리를 분석하여 주제 데이터베이스(1212)에 없는 잠재적 주제를 결정한다. 잠재적 주제는 문장의 주체 또는 객체일 수 있는 문장 내의 단어이다. 이러한 일부 예에서, 주제가 주제 데이터베이스(1212)에 추가되어야 하는지 여부를 결정하기 위해 잠재적인 주제가 플래깅(flagging)될 수 있다. 예를 들어, 엔트리(1210)가 "닥터(dogtor)가 나의 코기(corgi)에 약을 처방했다"라고 언급하면, 컨텐츠 스캐너(1202)는 엔트리(1210)의 주제로서 {약(medicine), 코기(corgi)}를 (b) 잠재적 주제로서 {닥터(dogtor)}를 식별할 수 있다. 일부 예에서, 엔트리(1210)가 텍스트 본문(예를 들어, 비디오, 증강 현실 경험 등)을 가지지 않을 때, 컨텐츠 스캐너(1202)는 대응하는 컨텐츠 데이터베이스 공급자(108)에 의해 제시되는 주제를 포함할 수 있는 엔트리(1210)의 메타데이터의 주제를 식별한다. 또한, 컨텐츠 스캐너(1202)는 엔트리(1210)를 분석하여 엔트리와 연관된 날짜를 식별한다. 예를 들어, 게티즈버그 전투(battle at Gettysburg)에 대해 논의하는, 2008년 4월 4일에 작성된 엔트리(1210)는 {7/1/1863, 7/1/1863, 7/1/1863, 4/4/2008}의 날짜와 연관될 수 있다.
이미지 식별자(1204)는 이미지를 포함하는 엔트리(1210) 내의 주제를 식별한다. 이미지 식별자(1204)는 이미지와 연관된 메타데이터(예를 들어, HTML 데이터, EXIF 데이터, XMP 데이터 등)를 분석하여 이미지와 연관된 주제의 태그를 결정한다. 예를 들어, 이미지와 연관된 XMP 데이터는 이미지의 주제(들)를 설명하는 키워드, 키 문구, 위치 마커, 좌표 또는 분류 코드를 포함할 수 있다. 일부 예에서, 이미지 식별자(1204)는 (신경 네트워크 등과 같은) 머신 학습 기술을 사용하여 이미지의 주제를 식별하기 위해 이미지 인식을 수행한다. 또한, 일부 예에서, 이미지 식별자(1204)는 얼굴 인식을 수행하여 이미지 내의 사람을 식별한다. 일부 예에서, 이미지 식별자(1204)는 역 이미지 룩업을 수행하여 (i) 이미지가 사용되는 다른 엔트리를 식별하고 및/또는 (ii) 다른 메타데이터를 포함할 수 있는 이미지의 다른 복사본을 식별한다. 일부 이러한 예에서, 이미지 식별자(1204)는 다른 연관된 엔트리 및/또는 이미지의 주제에 기초하여 이미지 내의 주제를 식별한다. 일부 이러한 예에서, 주제는 다른 연관된 엔트리 및/또는 이미지의 소스(예를 들어, 컨텐츠 데이터베이스 공급자(108))에 기초하여 가중화된다. 예를 들어, 이미지 식별자(1204)는 전문 소스(예를 들어, Getty® Images, 신문 등과 같은 전문 이미지 공급자) 및 크라우드소싱된 소스(예를 들어, Wikipedia, Amazon Turk 등) 간에 구별할 수 있다.
예시적인 컨텐츠 태거(1206)는 컨텐츠 스캐너(1202) 및/또는 이미지 식별자(1204)에 의해 식별된 엔트리(1210)의 주제를 주제 ID 필드(206)에 대한 주제 식별자와 연관시킨다. 나타낸 예에서, 컨텐츠 태거(1206)는 동의어 데이터베이스(1214)를 사용한다. 동의어 데이터베이스(1214)는 (a) 동의어인 주제를 연관시키고, (b) 컨텐츠 스캐너(1202) 및/또는 이미지 식별자(1204)에 의해 식별된 주제와 주제 식별자를 연관시킨다. 예를 들어, {아브라함 링컨(Abraham Lincoln), 아니스트 에이브(Honest Abe), 에이브(Abe), 위대한 해방자(Great Emancipator), 일리노이즈 레일 스플리터(Illinois Rail Splitter)}의 주제는 주제 식별자 {713589}와 연관될 수 있다. 일부 예에서, 컨텐츠 태거(1206)는, 주제 또는 그 동의어 중 하나가 엔트리(1210)에서 식별된 횟수가 임계값을 충족시키는 경우(예를 들어, 임계값보다 크거나 같음), 특정 엔트리 레코드에 대해 주제 ID 필드(206)에 식별된 주제 식별자(들)를 포함한다. 일부 이러한 예에서, 임계값은 엔트리(1210)에서 식별된 주제의 개수에 기초한다. 예를 들어, 엔트리(1210)에서 35개의 주제가 식별되면, 임계값은 5일 수 있다. 또한, 일부 예에서, 컨텐츠 태거(1206)는 엔트리(1210)와 연관될 주제에 대한 관련도 스코어를 계산한다. 관련도 스코어는 항목(1210)에 대한 주제의 중요도를 측정한다. 예를 들어, 텍스트 기반 엔트리(1210)에 대한 관련도 스코어는 (i) 엔트리(1210)에서의 주제의 빈도, (ii) 엔트리(1210)의 길이, 및 (iii) 주제를 포함하는 엔트리(1210)의 개수에 기초할 수 있다.
예시적인 레코드 생성기(1208)는 엔트리 레코드 데이터 구조(200)에 기초하여 엔트리 레코드(1200)를 생성한다. 레코드 생성기(1208)는 레코드 ID 필드(202)에 입력될 고유한 레코드 식별자를 생성한다. 레코드 생성기(1208)는 대응하는 컨텐츠 데이터베이스 공급자(108)와 연관된 식별자를 CDP ID 필드(204)에 입력한다. 또한, 레코드 생성기(1208)는 컨텐츠 태거(1206)에 의해 식별된 주제 식별자를 주제 ID 필드(206)에 입력한다. 레코드 생성기(1208)는 엔트리(1210)와 연관된 메타데이터(예를 들어, 제목, 좌표, 저자, 파일 크기 등)를 주제 메타데이터 필드(208)에 입력한다. 일부 예에서, 레코드 생성기(1208)는 엔트리(1210)에 포함되지 않을 수 있는 주제에 대한 정보(예를 들어, 주제, 주제와 연관된 날짜 등)를 포함하는 메타데이터 데이터베이스(1216)를 유지한다. 레코드 생성기(1208)는 컨텐츠 스캐너(1202) 및/또는 이미지 식별자(1204)에 의해 식별되거나 메타데이터 데이터베이스(1216)에 포함된 주제와 연관된 날짜를 주제 날짜 필드(210)에 입력한다. 레코드 생성기(1208)는 엔트리(1210)와 연관된 URI를 URI 필드(212)에 입력한다. 레코드 생성기(1208)는 그 후 엔트리 레코드(1200)를 ARP 데이터베이스(112)에 저장한다.
도 13은 도 1의 증강 현실 플랫폼 엔티티(100)의 질의 응답기(120)의 블록도이다. 나타낸 예에서, 질의 응답기(120)는 예시적인 질의 응답 생성기(1300), 예시적인 질의 조직기(1302) 및 예시적인 응답 생성기(1304)를 포함한다.
예시적인 질의 응답 생성기(1300)는 세션 핸들러(118)를 통해 최종-사용자 디바이스(106)로부터 질의(104)를 수신한다. 질의 응답 생성기(1300)는 질의(104)를 분석하여 질의(104)에 포함된 주제(들)를 결정한다. 일부 예에서, 일부 주제가 질의(104)에 직접 포함되지 않을 수 있기 때문에(예를 들어, 추론적임), 질의 응답 생성기(1300)는 질의(104)에 포함된 다른 주제에 대한 추론에 기초하여 몇몇 주제를 결정한다. 예를 들어, 질의의 질의 데이터 필드(306)가 "루커리 건물을 설계한 사람"이라는 텍스트 문자열을 포함하는 경우, 질의 응답 생성기(1300)는 "루커리 건물"의 주제와 관련된 주제 데이터베이스로부터 사람-관련 주제를 리트리브할 수 있다. 주제에 기초하여, 질의 응답 생성기(1300)는 주제 데이터베이스(1212)의 어느 주제가 질의(104)의 주제와 관련되는지(예를 들어, 유사도를 갖는지)를 결정한다.
예시적인 질의 조직기(1302)는 질의 응답 생성기(1300)에 의해 식별된 주제를 수신 및/또는 이와 다르게 리트리브한다. 주제에 기초하여, 질의 조직기(1302)는 주제와 관련된 엔트리 레코드(1200)를 ARP 데이터베이스(112)로부터 리트리브한다. 일부 예에서, 엔트리 레코드(1200)는 (i) 식별된 주제에 대한 엔트리 레코드(1200)의 관련도, 및 (ii) 식별된 주제와 질의(104) 간의 관계에 기초하여 필터링된다.
예시적인 응답 생성기(1304)는 질의 조직기(1302)에 의해 수신되고 필터링된 엔트리 레코드(1200)에 기초하여 질의 결과(102)를 생성한다. 사용자 데이터베이스(116)에 저장된 사용자 선호도에 기초하여, 응답 생성기(1304)는 선호도에 기초하여 엔트리 레코드(1200)를 필터링 및 순서화한다. 예를 들어, 제1 사용자는 주제에 의해 제시되고 그 후 데이터베이스 컨텐츠 공급자(108)에 의해 제시되는 엔트리를 선호할 수 있거나 그 반대일 수 있다. 일부 예에서, 응답 생성기(1304)는 레코드를 기간과 연관된 연대기 카테고리로 할당한다. 몇몇 이러한 예에서, 연대기 카테고리는 질의 결과(102)의 엔트리 레코드(1200)와 연관된 다수의 날짜 및 날짜의 클러스터링에 기초한다. 또한, 일부 예에서, 응답 생성기(1304)는 엔트리 레코드(1200)를 연대기 카테고리로 조직화한다. 이러한 예에서, 응답 생성기(1304)는 연대기 카테고리 각각의 엔트리 레코드(1200)를 계층 구조(예를 들어, 위의 도 7의 계층 구조(702, 704 및 706))로 조직화한다. 응답 생성기(1304)는 질의 결과(102)를 생성하기 위해 조직화된 엔트리 레코드(1200)를 포맷팅한다(예를 들어, HTML로, XML로 등).
도 14는 도 1의 최종-사용자 디바이스(106)의 질의 생성기(1400)의 블록도이다. 질의 생성기(1400)는 (예를 들어, 아래의 도 26의 입력 디바이스(2608) 및/또는 카메라(2614 및 2616)를 통해) 최종-사용자 디바이스(106)로부터의 입력에 기초하여 질의(104)를 생성하고 디스플레이(예를 들어, 아래의 도 26의 디스플레이(2612))를 통해 질의 결과(102)를 제시한다. 일부 예에서, 질의 생성기(1400)는 애플리케이션 스토어(예를 들어, Google Play Store, App Store 등)로부터 최종-사용자 디바이스(106) 상으로 다운로드되는 애플리케이션에 포함된다. 대안적으로, 일부 예에서, 질의 생성기(1400)는 하드웨어 및 소프트웨어로 구현된다. 나타낸 예에서, 질의 생성기(1400)는 예시적인 질의 선택기(1402), 예시적인 질의 포맷터(formatter)(1404) 및 예시적인 결과 표시기(1406)를 포함한다.
질의 선택기(1402)는 디스플레이(예를 들어, 아래의 도 26의 디스플레이(2612)) 상에서 사용자에게 인터페이스(예를 들어, 인터페이스들(502 내지 512) 중 하나)를 제시한다. 질의 선택기(1402)는 사용자가 인터페이스(502 내지512) 간에 내비게이팅하고 사용자가 질의(104)를 선택하기 위해 컨텐츠 내비게이션 인터페이스(512) 중 하나를 선택하는 것을 용이하게 하기 위해 (예를 들어, 아래의 도 26의 입력 디바이스(2608) 및/또는 카메라(2614 및 2616)로부터의) 입력을 수신한다.
질의 포맷터(1404)는 질의 선택기(1402)를 통해 선택된 컨텐츠 내비게이션 인터페이스(512)에 기초하여 사용자의 질의를 결정하기 위한 입력을 수신한다. 일부 인터페이스(예를 들어, 맵 지오메트리 질의 인터페이스(518), 맵 질의 인터페이스(520), 증강 현실 질의 인터페이스(522) 등)에 대해, 질의 포맷터(1404)는 선택된 인터페이스에 문맥을 제공하기 위해 ARPE(100)에 전송될 사전-질의 데이터(1408)를 생성한다. 사전-질의 데이터(1408)는 최종-사용자 디바이스(106)의 위치 및 환경에 대한 ARPE(100)에 문맥을 제공한다. 예를 들어, 사전-질의 데이터(1408)는, 최종-사용자 디바이스(106)가 비행기 상에서 사용될 때 주위의 관심 객체에 대한 문맥을 제공하는 GPS 좌표, 방향 진로, 대기 속도 및 고도를 포함할 수 있다. 사전-질의 데이터(1408)에 포함된 정보의 유형은 사용되고 있는 인터페이스(512)에 기초할 수 있다. 예를 들어, 증강 현실 질의 인터페이스(522)에 있어서, 질의 포맷터(1404)는 최종-사용자 디바이스(106)의 카메라(들)에 의해 캡처된 이미지(들)를 포함하는 사전-질의 데이터를 생성할 수 있다. 또한, 사용자로부터의 입력에 기초한 질의 포맷터(1404), 및 일부 예에서, 사전-질의 응답(1410), 질의 포맷터(1404)가 질의(104)를 생성한다.
결과 표시기(1406)는 질의 결과(102) 및, 일부 예에서, 사전-질의 응답(1410)을 수신한다. 결과 표시기(1406)는 질의 결과(102)를 질의 선택기(1402)를 통해 선택된 인터페이스 상에 중첩시킨다. 일부 예에서, 사전-질의 응답(1410)을 수신한 것에 응답하여, 결과 표시기(1406)는 사전-질의 응답(1410)에 포함된 관심 주제의 아웃라인 및/또는 하이라이트를 질의 선택기(1402)를 통해 선택된 인터페이스 상에 중첩시킨다. 예를 들어, 사전-질의 응답(1410)이 사전-질의 데이터(1408)의 이미지로부터의 특정 묘비에 대한 데이터를 포함하는 경우, 결과 표시기(1406)는 사용자에게 표시되고 있는 인터페이스에 묘비를 아웃 라인을 중첩시키고 및/또는 하이라이팅한다.
도 15는 도 25의 프로세서 플랫폼에 의해 구현될 수 있는 컨텐츠 데이터베이스 공급자(108)로부터 엔트리(1210)를 인덱싱하는 방법의 흐름도이다. 초기에, 블록(1502)에서, 컨텐츠 스캐너(1202)는 하나의 컨텐츠 데이터베이스 공급자(108)로부터 엔트리(1210)를 수신한다. 블록(1504)에서, 컨텐츠 스캐너(1202)는, 블록(1502)에서 수신된 엔트리(1210)가 이미지인지 여부를 결정한다. 엔트리(1210)가 이미지인 경우, 방법은 블록(1506)으로 계속된다. 그렇지 않고, 엔트리(1210)가 이미지가 아닌 경우, 방법은 블록(1508)으로 계속된다.
블록(1506)에서, 이미지 식별자(1204)는 이미지를 분석하여 이미지의 주제를 결정한다. 이미지 식별자(1204)는 이미지에 의해 도시된 주제를 식별하는 태그에 대한 이미지의 메타데이터를 평가한다. 일부 예에서, 이미지 식별자(1204)는 이미지에 의해 도시된 주제를 식별하기 위해 이미지에 대해 이미지 인식을 수행한다. 블록(1508)에서, 컨텐츠 스캐너(1202)는 엔트리(1210)와 연관된 텍스트 및 메타데이터를 분석하여 엔트리(1210)에서 관심 주제를 결정한다. 블록(1510)에서, 컨텐츠 태거(1206)는 컨텐츠 스캐너(1202) 및/또는 이미지 식별자(1204)에 의해 식별된 주제를 태깅(tagging)한다. 일부 예에서, 동의어 데이터베이스에 기초하여, 컨텐츠 태거(1206)는 컨텐츠 스캐너(1202) 및/또는 이미지 식별자(1204)에 의해 식별된 주제를 통합한다. 또한, 블록(1512)에서, 컨텐츠 태거(1206)는 엔트리와 연관된 날짜를 식별하고 및/또는 식별된 주제 각각에 대한 관련도 스코어를 계산한다. 블록(1514)에서, 레코드 생성기(1208)는 컨텐츠 데이터베이스 공급자(108), 식별된 주제, 식별된 날짜, URI 및 식별 메타데이터를 포함하는 엔트리(1210)에 대한 엔트리 레코드(1200)를 생성한다. 블록(1516)에서, 레코드 생성기(1208)는 ARP 데이터베이스(112)에 엔트리 레코드(1200)를 저장한다.
도 15의 흐름도는, (아래의 도 25의 프로세서(2502)와 같은) 프로세서에 의해 실행될 때, ARPE(100)로 하여금 도 1 및 도 13의 예시적인 질의 응답기(120)를 구현하게 하는 하나 이상의 프로그램을 포함하는 (도 25의 메모리(2504)와 같은) 메모리에 저장된 머신 판독 가능 명령어를 나타낸다. 또한, 예시적인 프로그램(들)이 도 15에 나타낸 흐름도를 참조하여 설명되지만, 예시적인 질의 응답기(120)를 구현하는 많은 다른 방법이 대안적으로 사용될 수 있다. 예를 들어, 블록의 실행 순서는 변경될 수 있고 및/또는 설명된 블록들 중 일부는 변경, 제거 또는 결합될 수 있다.
도 16은 질의(104)를 생성하고 질의 결과(102)를 제시하는 방법의 흐름도이며, 이는 도 26의 전자 구성 요소에 의해 구현될 수 있다. 초기에, 블록(1602)에서, 질의 선택기(1402)는 홈 인터페이스(506)를 통해 텍스트 질의 바(bar) 및 질의 옵션을 표시한다. 블록(1604)에서, 질의 선택기는, 어떤 유형의 질의가 선택될 때까지 대기한다. 블록(1606)에서, 질의 선택기(1402)는 선택된 인터페이스(예를 들어, 인터페이스(516 내지 522) 중 하나)를 표시한다. 블록(1608)에서, 질의 선택기(1402)는 사용자가 입력할 때까지 (예를 들어, 텍스트 박스에 텍스트를 입력하고, 맵 지오메트리 데이터 상에서 식별된 객체를 선택하고, 맵 상의 관심 지점을 선택하고, 라이브 이미지에서 식별된 객체를 선택하는 것 등) 대기한다. 블록(1610)에서, 질의 포맷터(1404)는 질의(104)를 생성하여 질의(104)를 ARPE(100)로 전송한다. 블록(1612)에서, 결과 표시기(1406)는 ARPE(1004)로부터 질의 결과(102)를 수신한다. 블록(1614)에서, 결과 표시기(1406)는 질의 결과(102)를 표시한다. 질의 결과를 표시하는 예시적인 방법이 아래의 도 18 내지 도 22에 개시되어 있다.
도 17은 질의 결과(102)를 제시하는 방법의 흐름도이며, 이는 도 26의 전자 구성 요소에 의해 구현될 수 있다. 초기에, 블록(1702)에서, 결과 표시기(1406)는 이벤트 포인트(608) 및/또는 타임라인 마커(610)로 스크러버 트랙(606)을 표시한다. 스크러버 트랙(606)을 따른 이벤트 포인트(608)의 위치는 질의 결과(102)와 연관된 날짜에 기초한다. 예를 들어, 이벤트 포인트(608)는 질의 결과(102) 내의 가장 반복 발생하는 날짜의 수(예를 들어, 5, 10, 20 등)를 나타낼 수 있다. 예를 들어, 질의 결과(102)가 "게티스버그 전투"의 주제에 기초하는 경우, 제1 이벤트 포인트(608)는 7/1/1863을 나타낼 수 있고, 제2 이벤트 포인트(608)는 7/2/1863을 나타낼 수 있고, 제3 이벤트 포인트(608)는 7/3/1863을 나타낼 수 있으며, 제4 이벤트 포인트(608)는 10/19/1863을 나타낼 수 있다. 일부 예에서, 결과 표시기(1406)는 질의 결과(102)와 연관된 가장 이른 날짜 및 최신 날짜에 기초하여 타임라인 마커(610)를 표시한다. 일부 이러한 예에서, 타임라인 마커(610)는 선형으로 표시된다. 대안적으로, 일부 예에서, 타임라인 마커(610)는 대수적으로 표시된다.
블록(1704)에서, 결과 표시기(1406)는 현재 표시된 결과의 범위를 나타내기 위해 스크러버(612)를 표시한다. 예를 들어, 질의 결과(102)로부터의 결과의 20%가 표시되면, 스크러버(612)는 스크러버 트랙(606)의 길이의 20%를 차지할 수 있다. 블록(1706)에서, 결과 표시기(1406)는 현재 표시된 결과를 변화시키는 스크러버 트랙(606) 상의 스크러버(612)의 위치를 수정하는 데 사용되는 위치 마커(614)를 표시한다.
블록(1708)에서, 결과 표시기(1406)는 질의 결과(102)에서 식별되는 (CDP ID 필드(204)에 의해 식별되는) 다음 컨텐츠 데이터베이스 공급자(108)를 선택한다. 블록(1710)에서, 결과 표시기(1406)는 (스크러버(612)를 통해 선택된) 현재 표시된 결과의 범위 내에서 컨텐츠 데이터베이스 공급자(108)와 연관된 엔트리의 수에 기초하여 선택된 컨텐츠 데이터베이스 공급자(108)에 대응하는 질의 결과 필드(604)를 사이징한다. 블록(1712)에서, 결과 표시기(1406)는 (a) 선택된 컨텐츠 데이터베이스 공급자(108) 및 (b) 스크러버(612)에 의해 나타내어진 현재 범위와 연관된 대응하는 질의 결과 필드(604) 내의 엔트리를 표시한다. 블록(1714)에서, 결과 표시기(1406)는, 질의 결과(102) 내에 표시할 다른 컨텐츠 데이터베이스 공급자(108)가 있는지 여부를 결정한다. 표시할 다른 컨텐츠 데이터베이스 공급자(108)가 있는 경우, 방법은 블록(1708)으로 돌아간다. 그렇지 않고, 표시할 다른 컨텐츠 데이터베이스 공급자(108)가 없는 경우, 방법은 블록(1716)으로 계속된다.
블록(1716)에서, 결과 표시기(1406)는 결과 중 어느 부분이 카테고리 박스 중 하나에 표시되는지를 변경하기 위해 입력을 수신했는지 여부를 결정한다. 예를 들어, 터치 스크린을 갖는 최종-사용자 디바이스(106)는 질의 결과 필드(604) 중 하나의 영역 내에서 수직 스와이핑 모션을 수신할 수 있다. 입력이 수신되면, 방법은 블록(1718)으로 계속된다. 그렇지 않고, 입력이 수신되지 않으면, 방법은 블록(1720)으로 계속된다. 블록(1718)에서, 결과 표시기(1406)는, 어느 엔트리가 입력과 연관된 질의 결과 필드(604)에 표시되는지를 변경한다. 블록(1720)에서, 결과 표시기(1406)는 스크러버(612)의 위치를 변경하기 위해 입력을 수신했는지 여부를 결정한다. 입력이 수신되면, 방법은 블록(1708)으로 복귀한다. 그렇지 않고, 입력이 수신되지 않으면, 방법은 블록(1716)으로 복귀한다.
도 18은 질의 결과(102)를 제시하는 방법의 흐름도이며, 이는 도 26의 전자 구성 요소에 의해 구현될 수 있다. 초기에, 블록(1802)에서, 결과 표시기(1406)는 이벤트 포인트(608) 및/또는 타임라인 마커(610)로 스크러버 트랙(606)을 표시한다. 스크러버 트랙(606)을 따른 이벤트 포인트(608)의 위치는 질의 결과(102)와 연관된 날짜에 기초한다. 일부 실시예에서, 결과 표시기(1406)는 질의 결과(102)와 연관된 가장 이른 날짜 및 최신 날짜에 기초하여 타임라인 마커(610)를 표시한다. 일부 이러한 예에서, 타임라인 마커(610)는 선형으로 표시된다. 대안적으로, 일부 예에서, 타임라인 마커(610)는 대수적으로 표시된다.
블록(1804)에서, 결과 표시기(1406)는 현재 표시된 결과의 범위를 나타내기 위해 스크러버(612)를 표시한다. 예를 들어, 질의 결과(102)로부터의 결과의 20%가 표시되면, 스크러버(612)는 스크러버 트랙(606)의 길이의 20%를 차지할 수 있다. 블록(1806)에서, 결과 표시기(1406)는 현재 표시된 결과를 변경하는 스크러버 트랙(606) 상의 스크러버(612)의 위치를 수정하는 데 사용되는 위치 마커(614)를 표시한다.
블록(1808)에서, 결과 표시기(1406)는 (a) 컨텐츠 데이터베이스 공급자(108)와 연관되고 (b) 스크러버(612)에 의해 나타내어지는 범위 내에 있는 엔트리의 수와 컨텐츠 데이터베이스 공급자(108)를 연관시키는 제1 그룹을 제1 계층 구조 요소(702)에 표시한다. 블록(1810)에서, 결과 표시기(1406)는 컨텐츠 데이터베이스 공급자(108) 중 하나의 선택을 수신했는지 여부를 결정한다. 선택이 수신된 경우, 방법은 블록(1812)에서 계속된다. 그렇지 않고, 선택이 수신되지 않은 경우, 방법은 블록(1818)에서 계속된다. 블록(1812)에서, 결과 표시기(1406)는 제2 계층 구조 요소(704)에, 선택된 컨텐츠 데이터베이스 공급자(108)에 대응하는 질의 결과(102)의 주제와 스크러버(612)에 의해 나타내어진 범위를 갖는 주제와 연관되는 엔트리의 수를 연관시키는 제2 그룹을 표시한다. 블록(1814)에서, 결과 표시기(1406)는 제2 계층 구조 요소(704)의 주제 중 하나의 선택이 수신되었는지 여부를 결정한다. 선택이 수신된 경우, 방법은 블록(1816)에서 계속된다. 그렇지 않고, 선택이 수신되지 않은 경우, 방법은 블록(1818)에서 계속된다. 블록(1816)에서, 결과 표시기(1406)는 제3 계층 구조 요소(706)에 유형(예를 들어, 기사, 맵, 이미지, 비디오, 증강 현실 경험, 맵 지오메트리 데이터 등)별로 분리된 선택된 주제와 연관된 엔트리를 갖는 제3 그룹을 표시한다.
블록(1818)에서, 결과 표시기(1406)는 스크러버(612)의 위치를 변경하기 위해 입력이 수신되었는지를 여부를 결정한다. 입력이 수신된 경우, 방법은 블록(1820)으로 계속된다. 그렇지 않고, 입력이 수신되지 않은 경우, 방법은 블록(1810)으로 복귀한다. 블록(1820)에서, 결과 표시기(1406)는 스크러버(612)에 의해 나타내어지는 범위와 연관되는 결과를 표시하기 위해 제1 계층 구조 요소(702)에서 컨텐츠 데이터베이스 공급자(108)를 표시하는 제1 그룹, 제2 계층 구조 요소(704)에서 주제를 표시하는 제2 그룹, 및/또는 제3 계층 구조 필드(706)에 엔트리를 표시하는 제3 그룹을 변경한다.
도 19는 질의 결과(102)를 제시하는 방법의 흐름도이며, 이는 도 26의 전자 구성 요소에 의해 구현될 수 있다. 초기에, 블록(1902)에서, 결과 표시기(1406)는 이벤트 포인트(608) 및/또는 타임라인 마커(610)로 스크러버 트랙(606)을 표시한다. 스크러버 트랙(606)을 따른 이벤트 포인트(608)의 위치는 질의 결과(102)와 연관된 날짜에 기초한다. 일부 예에서, 결과 표시기(1406)는 질의 결과(102)와 관련된 가장 이른 날짜 및 최신 날짜에 기초하여 타임라인 마커(610)를 표시한다. 일부 그러한 예에서, 타임라인 마커(610)는 선형으로 표시된다. 대안적으로, 일부 예에서, 타임라인 마커(610)는 대수적으로 표시된다.
블록(1904)에서, 결과 표시기(1406)는 현재 표시된 결과의 범위를 나타내기 위해 스크러버(612)를 표시한다. 예를 들어, 질의 결과(102)로부터의 결과의 20%가 표시되면, 스크러버(612)는 스크러버 트랙(606)의 길이의 20%를 차지할 수 있다. 블록(1906)에서, 결과 표시기(1406)는 현재 표시된 결과를 변경하는 스크러버 트랙(606) 상의 스크러버(612)의 위치를 수정하는 데 사용되는 위치 마커(614)를 표시한다.
블록(1908)에서, 결과 표시기(1406)는 질의(104)와 관련된 주제 중 하나인 원형 또는 다각형으로 형상화된 제1 계층 구조 요소(702)를 표시한다. 일부 예에서, 결과 표시기(1406)는 질의(104)와 관련된 주제 중 다른 것들에 대해 이동 가능하고, 크기 조절 가능하고 및/또는 숨길 수 있는 등의 복수의 제1 계층 구조 요소(702)를 표시한다. 예를 들어, 질의(104)가 "루커리 건물"인 경우, 제1 계층 구조 요소(702)의 첫번째 것은 "루커리 건물"과 연관될 수 있고, 제1 계층 구조 요소(702) 중 두번째 것은 "다니엘 번햄"과 연관될 수 있다.
블록(1910)에서, 결과 표시기(1406)는 제1 계층 구조 요소(702) 주위의 제1 링으로 형상화된 제2 계층 구조 요소(704) 상에, 스크러버(612)에 의해 나타내어진 범위 내에 있는 주제에 대응하는 엔트리와 연관된 컨텐츠 데이터베이스 공급자(108)를 표시한다. 블록(1912)에서, 결과 표시기(1406)는, 하나의 컨텐츠 데이터베이스 공급자(108)의 선택이 수신되었는지 여부를 결정한다. 선택이 수신된 경우, 방법은 블록(1914)으로 계속된다. 그렇지 않고, 선택이 수신되지 않은 경우, 방법은 블록(1916)으로 계속된다.
블록(1914)에서, 결과 표시기(1406)는 제2 계층 구조 요소(704) 주위의 제1 링으로 형상화된 제3 계층 구조 요소(706) 상에, 스크러버(612)에 의해 나타내어진 범위 내에 있는 선택된 컨텐츠 데이터베이스 공급자(108)와 연관된 디스플레이 엔트리를 표시한다. 블록(1916)에서, 결과 표시기(1406)는 스크러버(612)의 위치를 변경하기 위해 입력이 수신되었는지 여부를 결정한다. 입력이 수신된 경우, 방법은 블록(1918)으로 계속된다. 그렇지 않고, 입력이 수신되지 않은 경우, 방법은 블록(1912)으로 복귀한다. 블록(1918)에서, 결과 표시기(1406)는 제2 계층 구조 요소(704)의 컨텐츠 데이터베이스 공급자(108) 및/또는 제3 계층 구조 요소(706)의 엔트리를 변경하여 스크러버(612)에 의해 나타내어진 범위와 연관된 엔트리를 표시한다.
도 20은 맵 지오메트리 데이터와 관련하여 질의 결과(102)를 제시하는 방법의 흐름도이며, 이는 도 26의 전자 구성 요소에 의해 구현될 수 있다. 초기에, 블록(2002)에서, 질의 선택기(1402)는 맵 지오메트리를 표시한다. 맵 지오메트리는, 최종-사용자 디바이스(106)의 사용자가 그 위치에 있는 것처럼 지리적 위치를 나타내도록 계획될 수 있는 이미지를 포함한다. 블록(2004)에서, 질의 선택기(1402)는 표시된 맵 지오메트리의 배향을 나타내는 삽입 맵(902)을 표시한다. 블록(2006)에서, 질의 포맷터(1404)는 사전-질의 데이터(1408)를 ARPE(100)에 전송한다. 일부 예에서, 사전-질의 데이터(1408)는 표시되고 있는 이미지, 맵 지오메트리 데이터가 캡처된 좌표, 및 맵 지오메트리 데이터가 보여지는 각도를 포함한다. 블록(2008)에서, 질의 선택기(1402)는 맵 지오메트리 데이터에서 인식된 블록(2002)에 표시된 장소 또는 사물을 아웃라이닝한다. 블록(2010)에서, 질의 선택기(1402)는 블록(2008)에서 장소 또는 사물 중 하나의 선택을 수신했는지 여부를 결정한다. 선택이 수신된 경우, 방법은 블록(2012)에서 계속된다. 그렇지 않고, 선택이 수신되지 않은 경우, 방법은 블록(2016)에서 계속된다.
블록(2012)에서, 질의 포맷터(1404)는 질의 데이터 필드(306)에서 선택된 장소 또는 사물과 함께 ARPE(100)에 질의(104)를 전송한다. 블록(2014)에서, 결과 표시기(1406)는 ARPE(100)로부터 수신된 질의 결과(102)를 표시한다. 질의 결과(102)를 표시하는 예시적인 방법이 위의 도 17, 도 18 및 도 19에 개시되어 있다. 블록(2016)에서, 질의 선택기(1402)는 표시된 맵 지오메트리 데이터를 변경하기 위해 입력을 수신했는지 여부를 결정한다. 표시된 맵 지오메트리 데이터를 변경하기 위한 입력이 수신된 경우, 방법은 블록(2002)으로 복귀한다. 그렇지 않고, 표시된 맵 지오메트리 데이터를 변경하기 위한 입력이 수신되지 않은 경우, 방법은 블록(2010)으로 복귀한다.
도 21은 맵 데이터와 관련하여 질의 결과(102)를 제시하는 방법의 흐름도이며, 이는 도 26의 전자 구성 요소에 의해 구현될 수 있다. 초기에, 블록(2102)에서, 질의 선택기(1402)는 질의(104)를 통해 리트리브된 맵을 표시한다. 예를 들어, 질의 결과(102)에 포함되는 엔트리 중 하나는 맵(1000)일 수 있다. 블록(2104)에서, 질의 선택기(1402)는 다른 관련 맵을 나타내는 스크러버 트랙(606)을 따라 이벤트 포인트(608)를 표시한다. 예를 들어, 표시된 맵(1000)이 1893년의 시카고의 맵인 경우, 질의 선택기(1402)는 다른 날짜와 연관된 시카고의 맵을 나타내는 스크러버 트랙(606)을 따라 이벤트 포인트(608)를 표시할 수 있다. 블록(2106)에서, 질의 선택기(1402)는, 표시된 맵(1000)이 관심 위치와 연관되어 있는지 여부를 결정한다. 일부 예에서, 관심 위치에 관한 정보(예를 들어, 맵 상의 경계, 관련 주제 등)가 맵 데이터에 포함된다. 표시된 맵(1000)과 연관된 관심 위치가 있는 경우, 방법은 블록(2108)에서 계속된다. 그렇지 않고, 표시된 맵(1000)과 연관된 관심 위치가 없는 경우, 방법은 블록(2116)으로 계속된다.
블록(2108)에서, 질의 선택기(1402)는 맵(1000) 상의 관심 위치(예를 들어, 도 10의 하이라이팅된 영역(1002))를 하이라이팅한다. 블록(2110)에서, 질의 선택기(1402)는, 관심 위치 중 하나가 선택되었는지 여부를 결정한다. 관심 위치 중 하나가 선택된 경우, 방법은 블록(2112)에서 계속된다. 그렇지 않고, 관심 위치 중 하나가 선택되지 않은 경우, 방법은 블록(2116)에서 계속된다. 블록(2112)에서, 질의 포맷터(1404)는 질의 데이터 필드(306)의 관심 위치와 함께 ARPE(100)에 질의(104)를 전송한다. 블록(2114)에서, 결과 표시기(1406)는 ARPE(100)로부터 수신된 질의 결과(102)를 표시한다. 질의 결과(102)를 표시하는 예시적인 방법이 위의 도 17, 도 18 및 도 19에 개시되어 있다. 블록(2116)에서, 질의 선택기(1402)는, 위치 마커(614)의 위치가 변경되었는지 여부를 결정한다. 위치 마커(614)의 위치가 변경된 경우, 방법은 블록(2118)으로 계속된다. 그렇지 않고, 위치 마커(614)의 위치가 변경되지 않은 경우, 방법은 블록(2110)으로 복귀한다. 블록(2118)에서, 질의 선택기(1402)는 위치 마커(614)의 위치와 연관된 맵(1000)을 표시한다.
도 22는 카메라(예를 들어, 아래의 도 26의 카메라(2614 및 2616))로부터의 라이브 이미지 데이터와 관련하여 질의 결과(102)를 제시하는 방법의 흐름도이며, 이는 도 26의 전자 구성 요소에 의해 구현될 수 있다. 초기에, 블록(2202)에서, 질의 선택기(1402)는 카메라에 의해 캡처된 이미지를 표시한다. 블록(2204)에서, 질의 포맷터(1404)는 사전-질의 데이터(1408)를 ARPE(100)에 전송한다. 일부 예에서, 사전-질의 데이터는 카메라에 의해 캡처된 이미지, 최종-사용자 디바이스(106)의 좌표, 카메라의 배향 및/또는 카메라의 시야 등을 포함한다. 블록(2206)에서, 질의 선택기(1402)는 ARPE(1008)로부터 수신된 사전-질의 응답(1410)에 기초하여 이미지에서 인식되는 장소 또는 사물을 아웃라이닝한다. 블록(2208)에서, 질의 선택기(1402)는 아웃라이닝된 장소 또는 사물 중 하나가 선택되었는지 여부를 결정한다. 아웃라이닝된 장소 또는 사물 중 하나가 선택된 경우, 방법은 블록(2210)에서 계속된다. 그렇지 않고, 아웃라이닝된 장소 또는 사물 중 하나가 선택되지 않은 경우, 방법은 블록(2214)에서 계속된다.
블록(2210)에서, 질의 포맷터(1404)는 질의 데이터 필드(306)의 선택된 장소 또는 사물과 함께 질의(104)를 ARPE(100)에 전송한다. 블록(2212)에서, 결과 표시기(1406)는 ARPE(100)로부터 수신된 질의 결과(102)를 표시한다. 질의 결과(102)를 표시하는 예시적인 방법이 위의 도 17, 도 18 및 도 19에 개시되어 있다. 블록(2214)에서, 질의 선택기(1402)는 (a) 카메라에 의해 캡처된 이미지가 변경되었는지 및/또는 (b) 카메라의 자세(예를 들어, 좌표 및 배향 등)가 변경되었는지 여부를 결정한다. (a) 카메라에 의해 캡처된 이미지가 변경되고 및/또는 (b) 카메라의 자세가 변경된 경우, 방법은 블록(2204)으로 복귀한다. 그렇지 않고, (a) 카메라에 의해 캡처된 이미지가 변경되지 않고 및/또는 (b) 카메라의 자세가 변경되지 않은 경우, 방법은 블록(2208)으로 복귀한다.
도 16 내지 도 22 및 도 24의 흐름도는 (도 26의 프로세서(2602)와 같은) 프로세서에 의해 실행될 때, 최종-사용자 디바이스(106)로 하여금 도 14의 예시적인 질의 생성기(1400)를 구현하게 하는 하나 이상의 프로그램을 포함하는 (도 26의 메모리(2604)와 같은) 메모리에 저장된 머신 판독 가능 명령어를 나타낸다. 또한, 예시적인 프로그램(들)이 도 16 내지 도 22 및 도 24에 나타낸 흐름도를 참조하여 설명되지만, 예시적인 질의 생성기(1400)를 구현하는 많은 다른 방법이 대안적으로 사용될 수 있다. 예를 들어, 블록의 실행 순서는 변경될 수 있고 및/또는 설명된 블록 중 일부는 변경, 제거 또는 결합될 수 있다.
도 23은 도 1의 최종-사용자 디바이스(106)에 의해 캡처된 라이브 이미지 상에 중첩된 위치 특정 컨텐츠(2302)를 제공하는 도 11의 증강 현실 인터페이스(522)를 나타낸다. 최종-사용자 디바이스(106)는 (예를 들어, 사전-질의 데이터(1408)를 통해) 그 위치를 ARPE(100)에 제공한다. ARPE(100)는 최종-사용자 디바이스(106)의 위치에 대응하는 장소(예를 들어, 경기장, 극장, 박물관 등)와 연관된 컨텐츠 데이터베이스 공급자(108) 중 하나가 위치 특정 컨텐츠(2302)를 제공하고 있는지 여부를 결정한다. 위치 특정 컨텐츠(2302)는 장소에 위치된 사용자에 대해 거의 실시간으로 (예를 들어, 프로세싱 및/또는 인덱싱 등에 대한 컨텐츠의 생성 간에 지연이 있을 수 있음) 생성되고 있는 컨텐츠이다. 예를 들어, 위치 특정 컨텐츠는 아나운서 또는 여행 가이드 등의 폐쇄 자막일 수 있다. 일부 예에서, ARPE(100)는 사전-질의 응답(1410)을 통해 위치 특정 컨텐츠(2302)를 제공한다. 일부 이러한 예에서, 가능한 한, ARP(100)는 사전-질의 응답(1410)을 통해 위치 특정 컨텐츠(2302)를 최종-사용자 디바이스(106)에 계속 푸싱한다. 이러한 방식으로, 장소는 사용자의 요구를 충족시키도록 서비스를 제공하면서, 사용자가 이벤트 또는 전시를 끊기지 않고 보는 것을 용이하게 할 수 있다.
가능하다면, 위치 특정 컨텐츠(2302)는 최종-사용자 디바이스(106)의 카메라(들)(예를 들어, 아래의 도 26의 카메라(2614 및 2616))에 의해 캡처되는 이미지 상에 위치 특정 컨텐츠(2302)를 중첩시킴으로써 증강 현실 인터페이스(522)에 의해 표시된다. 일부 예에서, 위치 특정 컨텐츠(2302)는 특정의 하이라이팅된 및/또는 아웃라이닝된 객체(1104) 상에 표시된다. 예를 들어, 위치 특정 컨텐츠(2302)는 경기장의 스코어보드 또는 점보트론(jumbotron) 상에 보이도록 표시될 수 있다. 나타낸 예에서, ARPE(100)는 (예를 들어, 데이터베이스 정렬기(110)를 통해) 위치 특정 컨텐츠(2302) 내에서 검출된 주제에 대한 축약된 질의 패널(1106)을 제공한다. 사용자가 축약된 질의 패널(1106)과 상호 작용할 때, 증강 현실 질의 인터페이스(522)는 대응 주제에 대한 질의(104)를 생성하여 이를 ARPE(100)에 전송한다.
일부 예에서, 최종-사용자 디바이스(106)가 장소에 위치하지 않지만 그 장소에서 생성되는 컨텐츠를 (예를 들어, 미디어 애플리케이션을 통해) 보고 있을 때, ARPE(100)는 위치 특정 컨텐츠(2302)를 최종-사용자 디바이스(106)에 제공한다. 예를 들어, 사용자는 스마트 TV의 미디어 애플리케이션을 통해 야구 경기를 복고 있을 수 있다. 이러한 예에서, 증강 현실 인터페이스(522)는 (예를 들어, 카메라(들) 등에 의해 캡처되는 이미지 대신에) 입력으로서 미디어 애플리케이션을 사용하고, 미디어 애플리케이션 상에 위치 특정 컨텐츠(2302)를 중첩시킨다.
도 24는 도 1의 최종-사용자 디바이스(106)에 의해 캡처된 라이브 이미지 상에 중첩된 위치 특정 컨텐츠(2302)를 검출하고 제공하는 방법의 흐름도이며, 이는 도 26의 전자 구성 요소에 의해 구현될 수 있다. 초기에, 블록(2402)에서, 질의 포맷터(1404)는 (예를 들어, 아래의 도 26의 GPS 수신기(2620)를 통해) 최종-사용자 디바이스(106)의 위치를 결정한다. 일부 예에서, 질의 포맷터(1404)는 사전-질의 데이터(1408)를 전송한다. 블록(2404)에서, 질의 포맷터(1404)는, 위치 특정 컨텐츠(2302)가 이용 가능한지 여부를 결정한다. 일부 예에서, 질의 포맷터(1404)는 위치 특정 컨텐츠(2302)가 사전-질의 응답(1410)에서 이용 가능한지 여부의 표시를 수신한다. 위치 특정 컨텐츠(2302)가 이용 가능한 경우, 방법은 블록(2406)으로 계속된다. 그렇지 않고, 위치 특정 컨텐츠(2302)가 이용 가능하지 않은 경우, 방법은 블록(2402)으로 복귀한다.
블록(2406)에서, 결과 표시기(1406)는 도 5의 증강 현실 인터페이스(522)를 최종-사용자 디바이스(106) 상에 제시한다. 블록(2408)에서, 질의 포맷터(1404)는 위치 특정 컨텐츠(2302)를 리트리브하거나 그렇지 않으면 수신한다. 일부 예에서, 위치 특정 컨텐츠(2302)는 사전-질의 응답(1410)에 포함된다. 블록(2410)에서, 결과 표시기(1406)는 최종-사용자 디바이스(106)에 의해 표시된 이미지 상에 위치 특정 컨텐츠(2302)를 중첩시킨다. 블록(2412)에서, 결과 표시기(1406)는, 주제가 위치 특정 컨텐츠(2302)에서 식별되는지 여부를 결정한다. 주제가 식별되는 경우, 방법은 블록(2414)에서 계속된다. 그렇지 않고, 주제가 식별되지 않는 경우, 방법은 블록(2416)에서 계속된다.
블록(2414)에서, 결과 표시기(1406)는 위치 특정 컨텐츠(2302)에서 식별된 주제와 연관된 축약된 질의 패널(1106)을 표시한다. 축약된 질의 패널(1106)에 대한 정보는 사전-질의 응답(1410)에 포함된다. 블록(2416)에서, 질의 포맷터(1404)는, 더 많은 위치 특정 컨텐츠(2302)가 있는지 여부를 결정한다. 더 많은 위치 특정 컨텐츠(2302)가 있는 경우, 방법은 블록(2408)으로 복귀한다. 그렇지 않고, 더 이상의 위치 특정 컨텐츠(2302)가 없는 경우, 방법은 블록(2402)으로 복귀한다.
도 25는 도 15의 방법을 구현하기 위해 명령어를 실행할 수 있는 예시적인 프로세서 플랫폼(2500)의 블록도이다. 프로세서 플랫폼(2500)은 예를 들어, 서버, 퍼스널 컴퓨터, 워크스테이션, 하나 이상의 가상 머신 및/또는 컨테이너, 또는 임의의 다른 유형의 컴퓨팅 디바이스일 수 있다. 나타낸 예에서, 프로세서 플랫폼(2500)은 프로세서(2502), 메모리(2504), 저장 장치(2506), 입력 디바이스(2508), 출력 디바이스(2510) 및 네트워크 디바이스(2512)를 포함한다.
나타내어진 예의 프로세서 플랫폼(2500)은 프로세서(2502)를 포함한다. 프로세서 또는 컨트롤러(2502)는 마이크로프로세서, 다중 프로세싱 코어를 갖는 컨트롤러-기반 플랫폼, 적절한 집적 회로, 하나 이상의 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 및/또는 하나 이상의 애플리케이션-특정 집적 회로(ASIC: application-specific integrated circuit)에 한정되지는 않지만, 이와 같은 임의의 적절한 프로세싱 디바이스 또는 프로세싱 디바이스의 세트일 수 있다. 나타낸 예에서, 프로세서(2502)는 예시적인 데이터베이스 정렬기(110), 예시적인 사용자 핸들러(114), 예시적인 세션 핸들러(118) 및 예시적인 질의 응답기(120)를 포함하도록 구성된다.
메모리(2504)는 휘발성 메모리(예를 들어, 비휘발성 RAM, 자기 RAM, 강유전성 RAM 및 임의의 다른 적절한 형태를 포함할 수 있는 RAM); 비휘발성 메모리(예를 들어, 디스크 메모리, 플래시(FLASH) 메모리, EPROM, EEPROM, 멤리스터-기반 비휘발성 솔리드-스테이트 메모리 등), 불변의 메모리(예를 들어, EPROM) 및/또는 판독-전용 메모리일 수 있다. 일부 예에서, 메모리(2504)는 복수의 종류의 메모리, 특히 휘발성 메모리 및 비휘발성 메모리를 포함한다. 저장 장치(2506)는 하드 드라이브, 테이프 드라이브 및/또는 솔리드 스테이트 드라이브 등과 같은 고용량 저장 디바이스를 포함한다. 나타낸 예에서, 저장 장치(2506)는 ARP 데이터베이스(112), 사용자 데이터베이스(116), 주제 데이터베이스(1212), 동의어 데이터베이스(1214) 및/또는 메타데이터 데이터베이스(1216)를 포함한다. 프로세서(2502)에 의해 사용될 때, 데이터베이스(112, 116, 1212, 1214 및 1216)의 일부는 메모리(2504)로 이동하여 프로세서(2502)에 의해 프로세싱된 후 저장 장치(2506)에 재저장될 수 있다.
메모리(2504) 및 저장 장치는, 본 개시의 방법을 동작시키기 위한 소프트웨어와 같은 하나 이상의 명령어 세트가 내장될 수 있는 컴퓨터 판독 가능 매체이다. 명령어는 본원에 설명된 방법 또는 로직 중 하나 이상을 구현할 수 있다. 특정 실시예에서, 명령어는 명령어의 실행 동안 메모리(2504), 저장 장치(2506) 및/또는 프로세서(2502) 중 임의의 하나 이상 내에 완전히 또는 적어도 부분적으로 상주할 수 있다.
"비일시적 컴퓨터-판독 가능 매체" 및 "컴퓨터-판독 가능 매체"라는 용어는 집중형 또는 분산형 데이터베이스와 같은 단일 매체 또는 다중 매체 및/또는 연관된 캐시 및 하나 이상의 명령어 세트를 저장하는 서버를 포함하는 것으로 이해되어야 한다. "비일시적 컴퓨터-판독 가능 매체" 및 "컴퓨터-판독 가능 매체"라는 용어는 또한 프로세서에 의한 실행을 위한 명령어 세트를 저장, 인코딩 또는 운반할 수 있거나 시스템으로 하여금 본원에 개시되는 방법 또는 동작 중 임의의 하나 이상을 수행하게 하는 임의의 유형의 매체를 포함한다. 본원에서 사용되는 "컴퓨터 판독 가능 매체"라는 용어는 임의의 유형의 컴퓨터 판독 가능 저장 디바이스 및/또는 저장 디스크를 포함하고, 전파 신호를 배제하고, 일시적인 신호를 배제하고, 송신 매체를 배제하도록 명시적으로 규정된다. 본원에서 사용되는 "비일시적"이라는 용어는 임의의 지속 기간(예를 들어, 영구적으로, 긴 지속 기간(예를 들어, 분, 일(day) 등) 동안, 임시 버퍼링 동안 및/또는 캐싱 동안 등) 동안 컴퓨터 판독 가능 매체 상에 정보를 저장하는 것을 지칭한다.
예시적인 입력 디바이스(2508)는 예를 들어, 데이터 및 커맨드를 입력하기 위해 사용자가 프로세서 플랫폼(2500)과 상호 작용하는 것을 용이하게 하는 임의의 디바이스를 포함한다. 입력 디바이스(2508)는 예를 들어, 마이크로폰, 카메라, 키보드, 버튼, 마우스, 터치 스크린, 컨트롤러, 제스처 인식 디바이스 및/또는 음성 인식 시스템을 포함한다.
예시적인 출력 디바이스(2510)는 사용자에 대한 데이터 및/또는 상태의 전달을 용이하게 하는 임의의 디바이스를 포함한다. 예시적인 출력 디바이스(2510)는 클러스터 출력(예를 들어, 다이얼, 조명 디바이스), 액추에이터, 헤드-업 디스플레이, 디스플레이(예를 들어, 액정 디스플레이("LCD")), 유기 발광 다이오드("OLED") 디스플레이, 평판 디스플레이, 솔리드 스테이트 디스플레이 등), 및/또는 스피커를 포함한다.
예시적인 네트워크 디바이스(2512)는 외부 네트워크를 통해 최종-사용자 디바이스(106)와의 통신을 용이하게 하는 임의의 적절한 통신 디바이스를 포함한다. 외부 네트워크(들)는 인터넷과 같은 공용 네트워크; 인트라넷과 같은 사설 네트워크; 또는 이들의 조합일 수 있으며, TCP/IP-기반 네트워킹 프로토콜에 한정되지 않지만 이를 포함하는, 현재 이용 가능하거나 장래에 개발될 다양한 네트워킹 프로토콜을 이용할 수 있다.
도 26은 도 16 내지 도 22 및 도 24의 방법을 구현하기 위한 명령어를 실행할 수 있는 최종-사용자 디바이스(106)의 전자 구성 요소(2600)의 블록도이다. 최종-사용자 디바이스(106)는 컴퓨터, 스마트 폰, 태블릿, 광 헤드-장착 디스플레이, 증강 현실 스마트 안경 및/또는 가상 현실 헤드셋 등을 포함할 수 있다. 나타낸 예에서, 전자 구성 요소(2600)는 프로세서(2602), 메모리(2604), 저장 장치(2606), 입력 디바이스(2608), 네트워크 모듈(2610), 디스플레이(2612), 전방 카메라(2614), 후방 카메라(2616), 스피커(2618) 및/또는 GPS 수신기(2620)를 포함한다. 최종-사용자 디바이스(106)는 최종-사용자 디바이스(106)의 유형에 따라 다른 센서(예를 들어, 고도계, 자력계, 가속도계, LiDAR, RADAR 등)를 포함할 수 있다.
프로세서 또는 컨트롤러(2602)는 마이크로프로세서, 다중 프로세싱 코어를 갖는 컨트롤러-기반 플랫폼, 적절한 집적 회로, 하나 이상의 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 하나 이상의 애플리케이션-특정 집적 회로(ASIC)에 한정되지는 않지만 이와 같은 임의의 적절한 프로세싱 디바이스 또는 프로세싱 디바이스의 세트일 수 있다. 나타낸 예에서, 프로세서(2602)는 예시적인 질의 생성기(1400)를 포함하도록 구성된다.
메모리(2604)는 휘발성 메모리(예를 들어, 비휘발성 RAM, 자기 RAM, 강유전성 RAM 및 임의의 다른 적절한 형태를 포함할 수 있는 RAM); 비휘발성 메모리(예를 들어, 디스크 메모리, 플래시(FLASH) 메모리, EPROM, EEPROM, 멤리스터-기반 비휘발성 솔리드-스테이트 메모리 등), 불변의 메모리(예를 들어, EPROM) 및/또는 판독-전용 메모리일 수 있다. 일부 예에서, 메모리(2604)는 복수의 종류의 메모리, 특히 휘발성 메모리 및 비휘발성 메모리를 포함한다. 저장 장치(2606)는 하드 드라이브 및/또는 솔리드 스테이트 드라이브 등과 같은 고용량 저장 디바이스를 포함한다. 메모리(2604) 및/또는 저장 장치(2606)는 ARPE(100) 및 최종-사용자 디바이스(106)에 의해 사용되는 정보를 저장하여 사용자를 식별하고 세션을 유지 및/또는 확립할 수 있다.
메모리(2604) 및 저장 장치는, 본 개시의 방법을 동작시키기 위한 소프트웨어와 같은 하나 이상의 명령어 세트가 내장될 수 있는 컴퓨터 판독 가능 매체이다. 명령어는 본원에 설명된 방법 또는 로직 중 하나 이상을 구현할 수 있다. 특정 실시예에서, 명령어는 명령어의 실행 동안 메모리(2604), 저장 장치(2606) 및/또는 프로세서(2602) 중 임의의 하나 이상 내에 완전히 또는 적어도 부분적으로 상주할 수 있다.
입력 디바이스(2608)는 질의(104)의 입력을 수신하고, 질의 결과(102)를 브라우징하고, 도 6 내지 도 11의 인터페이스 상의 요소를 선택하는 것을 용이하게 하는 임의의 적절한 디바이스이다. 입력 디바이스(2608)는 예를 들어, 마이크로폰, 카메라(2614 및 2616), 키보드, 버튼, 마우스, 터치 스크린, 컨트롤러, 제스처 인식 디바이스, 시선 검출 디바이스 및/또는 음성 인식 시스템을 포함한다.
네트워크 모듈(2610)은 외부 네트워크를 통해 ARPE(100)로의 유선 또는 무선 통신을 용이하게 하는 통신 디바이스를 포함한다. 네트워크 모듈(2610)은 모바일 네트워크(예를 들어, 모바일 통신용 글로벌 시스템(GSM: Global System for Mobile Communications), 범용 모바일 원격 통신 시스템(UMTS: Universal Mobile Telecommunications System), 롱 텀 이볼루션(LTE: Long Term Evolution), LTE Advanced, 코드 분할 다중 액세스(CDMA: Code Division Multiple Access) 등), 무선 네트워크(예를 들어, WiMAX(IEEE 802.16m); 로컬 영역 무선 네트워크(IEEE 802.11 a/b/g/n/ac 또는 기타 포함) 및/또는 무선 기가비트(Wireless Gigabit)(IEEE 802.11ad) 등), 5세대(5G) 무선 시스템 및/또는 유선 네트워크(예를 들어, 이더넷(Ethernet) 네트워크 등)에 대한 통신 컨트롤러를 포함할 수 있다.
디스플레이(2612)는 사용자에 대해 도 6 내지 도 11의 인터페이스를 표시하기 위한 임의의 적절한 디바이스이다. 디스플레이(2612)는 헤드-업 디스플레이, 모니터 또는 스크린 디스플레이(예를 들어, 액정 디스플레이("LCD"), 유기 발광 다이오드("OLED") 디스플레이, 평판 디스플레이, 솔리드 스테이트 디스플레이 등), 가상 현실 디스플레이(예를 들어, 단안(monocular) 헤드 장착 디스플레이 또는 양안(binocular) 헤드 장착 디스플레이), 도파관 디스플레이, 실리콘 상 액정(LCOS: liquid crystal on silicon) 등을 포함할 수 있다.
카메라(2614 및 2616)는 정지 이미지 및 비디오를 캡처한다. 나타낸 예에서, 전자 구성 요소(2600)는 전방 카메라(2614) 및 후방 카메라(2616)를 포함한다. 전방 카메라(2614)는 디스플레이(2612)와 동일한 측 상의 최종-사용자 디바이스(106) 상에 위치되어 예를 들어, 사용자의 이미지 및 비디오를 캡처한다. 일부 예에서, 전방 카메라(2614)는 사용자의 눈의 위치를 추적하는 데 사용된다. 후방 카메라(2616)는 디스플레이(2612)와 반대 측 상의 최종-사용자 디바이스(106) 상에 위치된다. 일부 예에서, 후방 카메라(2616)는 사용자의 제스처를 추적하는 데 사용된다.
GPS 수신기(2620)는 최종-사용자 디바이스(106)의 좌표를 제공한다. 일부 예에서, GPS 수신기(2620)는 관성 내비게이션 시스템을 포함한다. GPS 수신기(2620)는 또한 가속도계를 포함하여 최종-사용자 디바이스(106)의 배향을 결정할 수 있다. 예를 들어, GPS 수신기(2620)는 카메라(들)(2414 및 2416)가 가리키는 방향에 대한 최종-사용자 디바이스의 배향을 제공할 수 있다.
도 27은 검색 질의(104)를 생성하고 법 집행 및 응급 서비스(예를 들어, 연방, 주, 카운티 및 지자체 법 집행, 소방서, 구급차 서비스 등)에 관한 질의 결과(102)를 제시하고 이와 상호 작용하는 것을 용이하게 하기 위하여 도 1의 최종-사용자 디바이스(106)에 의해 제시되는 법 집행 맵 인터페이스(2700)를 도시한다. 또한, 일부 실시예에서, 법 집행 맵 인터페이스(2700)는 증강 현실 플랫폼 엔티티(ARPE)(100)에 의해 프로세싱되고 증강 현실 플랫폼(ARP) 데이터베이스(112)에 입력되는 이벤트 리포트를 생성하는 것을 용이하게 한다. 일부 이러한 예에서, 법 집행 맵 인터페이스(2700)을 채우는 데 사용되는 ARP 데이터베이스(112)의 부분은 다른 인터페이스(예를 들어, 도 10의 맵 인터페이스(1000) 등)를 채우는 데 사용되는 ARP 데이터베이스(112)의 부분으로부터 분리된다. 나타낸 예에서, 맵 질의 인터페이스(520)는 맵(2702)을 표시한다. 맵은 결과 인터페이스(예를 들어, 위의 도 6, 도 7 및 도 8의 인터페이스(600, 700 및 800)) 중 하나를 통해 선택될 수 있다. 법 집행 맵 인터페이스(2700)는 법 집행 및 응급 서비스 활동과 관련된 이벤트의 상호 작용 표시(2704)를 포함한다. 나타낸 예에서, 법 집행 맵 인터페이스(2700)는 또한 상이한 연대기 시간 프레임으로 (예를 들어, 상호 작용 표시(2704)에 의해 나타내어지는 바와 같은) 이벤트를 내비게이팅하는 것을 용이하게 하기 위해 스크러버 트랙(606), 이벤트 포인트(608) 및/또는 위치 마커(614)를 포함한다. 스크러버 트랙(606), 이벤트 포인트(608) 및/또는 위치 마커(614)는 다양한 정도의 세분성으로 정보를 연대기로 정렬하고 브라우징하는 것을 용이하게 한다. 예를 들어, 정보는 매시간, 매일, 매월 및/또는 매년 등으로 브라우징될 수 있다. 상호 작용 표시(2704)는 연대기로 정렬된다. 스크러버 트랙(606), 이벤트 포인트(608) 및/또는 위치 마커(614)를 사용하여, 사용자는 상호 작용 표시(2704)를 연대기로 브라우징한다. 이러한 방식으로, 사용자는 움직임을 재구성하고 및/또는 이벤트의 순서를 시각화할 수 있다.
일부 예에서, 상호 작용 표시(2704)는 타임스탬프에 의해 누적적으로 또는 타임스탬프에 의해 이산적으로 법 집행 맵 인터페이스(2700) 상에 표시된다. 예를 들어, 타임스탬프에 의해 누적적으로 표시될 때, 위치 마커(614)를 "오늘(TODAY)" 위치로 슬라이딩시키는 것은 그 날 발생한 모든 상호 작용 표시(2704)를 표시할 수 있고, 위치 마커(614)를 "이번 주(THIS WEEK)" 위치로 슬라이딩시키는 것은 그 주에 발생한 모든 상호 작용 표시(2704)를 표시할 수 있다. 다른 예로서, 타임스탬프에 의해 이산적으로 표시될 때, 위치 마커(614)를 "현재" 위치로 슬라이딩시키는 것은 현재의 상호 작용 표시(2704)만을 표시할 수 있고, 위치 마커(614)를 "10:00-10:00 AM" 위치로 슬라이딩시키는 것은 10:00 AM으로부터 10:10 AM까지 발생한 상호 작용 표시(2704)만을 표시할 수 있다.
상호 작용 표시(2704)는 상호 작용될 때 검색 질의(104)가 되는 관심 이벤트를 나타낸다. 예를 들어, 상호 작용 표시(2704)는 법 집행 및/또는 응급 서비스 활동과 관련된 사람, 장소 또는 이벤트를 나타낼 수 있다. 사용자가 (예를 들어, 최종-사용자 디바이스(106) 등의 터치 스크린을 통해) 상호 작용할 때, 법 집행 맵 인터페이스(2700)는 상호 작용 표시(2704)와 관련된 검색 질의(104)를 ARPE(100)에 제출한다. 법 집행 맵 인터페이스(2700)는, 사용자가 질의 결과(102)와 상호 작용하는 것을 용이하게 하기 위해 계층 구조(예를 들어, 위의 도 7의 계층 구조(702, 704 및 706))의 질의 결과(102)를 제공한다.
검색 질의(104)를 프로세싱하기 위해, ARPE(100)는 법 집행 및 응급 서비스 데이터에 특화된 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 예를 들어, 컨텐츠 데이터베이스 공급자(108)는 총 등록 데이터베이스, 범죄 리포트 데이터베이스, 셀 폰 추적 데이터베이스, 폐회로 텔레비전(CCTV) 비디오 데이터베이스, 차량 번호판 인식(LPR: license plate recognition) 데이터베이스, 차량 등록 데이터베이스, 운전자 면허 데이터베이스, 샷 식별 데이터베이스(예를 들어, ShotSpotter® 등), (예를 들어, 국립 기상 관리국 등에 의해 관리되는) 정부 경보 데이터베이스, 경찰, 소방, 군대 또는 기타 정부 리포트 데이터베이스, 신체 카메라 이미지 데이터베이스, 법률 데이터베이스, 증거 데이터베이스 및/또는 개인 데이터베이스 등을 포함할 수 있다. 또한, 일부 예에서, ARPE(100)는 실시간 팁(tip) 데이터베이스, 긴급 통화 데이터베이스(예를 들어, 911 호출 등), 응급 경보 데이터베이스(예를 들어, 화재 경보, 앰버 경고 등), 차량 및/또는 폰 추적 데이터베이스, 및/또는 경찰 및/또는 응급 인원 파견 데이터베이스 등과 같은 라이브-업데이팅 데이터 소스에 통시 가능하게 커플링된다. 또한, 일부 예에서, ARPE(100)는 경보가 최종-사용자 디바이스(106)로부터 수신될 때 응급 경보 및/또는 목격자 경보를 전달하기 위해 응급 파견 시스템에 통신 가능하게 커플링된다.
일부 예에서, 상호 작용 표시(2704)는 경찰차, 자동차, 자전거, 개인과 같은 움직이는 객체를 (예를 들어, 셀 폰 신호 등을 통해) 나타낸다. 이는 사용자가 응급 호출에 응답하기 전에, 관심 객체를 추적하고 및/또는 잠재적인 지원 자원을 아는 것을 용이하게 한다. 부가적으로 또는 대안적으로, 일부 예에서, 상호 작용 표시(2704)는 총격의 리포트를 나타낸다. 예를 들어, 위치 마커(614)를 사용하여, 조사자는 총격을 나타내는 상호 작용 표시(2704)와 관련하여 사람, 장소 또는 이벤트의 이력을 브라우징할 수 있다. 다른 예로서, 총격을 나타내는 특정 상호 작용 표시(2704)와 상호 작용함으로써, 질의어(들)로서 총격과 연결된 사람, 장소 및/또는 이벤트로 검색 질의(104)가 생성된다. 부가적으로 또는 대안적으로, 일부 예에서, 상호 작용 표시(2704)는 (911 등과 같은) 응급 호출 및 응급 사건(예를 들어, 화재, 교통 사고 등)을 나타낸다. 예를 들어, 위치 마커(614)를 사용하여, 사용자는 상호 작용 표시(2704)에 의해 나타내어지는 이벤트와 관련된 응급 호출 또는 응급 사건과 관련된 사람, 장소 및/또는 이벤트를 연대기로 브라우징할 수 있다. 부가적으로 또는 대안적으로, 일부 예에서, 상호 작용 표시(2704)는 LPR 판독기에 의해 검출된 데이터베이스에 플래깅된 관심 있는 차량 번호판 번호(license plate number)를 나타낸다. 예를 들어, 위치 마커(614)를 사용하여, 사용자는 상호 작용 표시(2704)에 의해 나타내어지는 차량 번호판과 관련된 사람, 장소 및/또는 이벤트를 연대기로 브라우징할 수 있다.
부가적으로 또는 대안적으로, 일부 예에서, 상호 작용 표시(2704)는 법 집행관에게 장착된 신체 카메라가 꺼져 있을 때를 나타낸다. 예를 들어, 지서장은 법 집행 맵 인터페이스(2700)를 사용하여 해당 관할 구역 내의 경찰관들에게 장착된 신체 카메라의 상태를 추적하고 내비게이팅하고, 위치 마커(614)를 사용하여 경찰관의 신체 카메라의 상태와 관련하여 장소 및 이벤트를 연대기로 분석할 수 있다. 부가적으로 또는 대안적으로, 일부 예에서, 상호 작용 표시(2704)는 특정 위치와 연관된 사람 또는 이벤트에 관한 소셜 미디어 포스트를 나타낸다. 부가적으로 또는 대안적으로, 일부 예에서, 상호 작용 표시(2704)는 도로 폐쇄 및 시위 위치 등과 같은 일반적인 경보를 나타낸다.
일부 예에서, ARPE(100)가 내비게이션 및/또는 교통 데이터베이스에 통신 가능하게 커플링될 때, 질의 결과(102)는 목적지(예를 들어, 상호 작용 표시(2704)에 의해 나타내어지는 위치)로의 안전하고 및/또는 빠른 경로를 제공하기 위해 맵(2702) 상에 표시되는 방향을 포함한다.
일부 예에서, 법 집행 맵 인터페이스(2700)는 질의 생성기(1400)를 통해 사용자가 사고 또는 응급 사태의 리포트를 생성하는 것을 용이하게 한다. 부가적으로 또는 대안적으로, 일부 예에서, 법 집행 맵 인터페이스(2700)를 통해, 사용자는 범죄 팁(예를 들어, 익명으로) 및/또는 목격자 이미지 및/또는 비디오를 제공한다. 일부 이러한 예에서, ARPE(100)가 대응하는 상호 작용 표시(2704)를 생성하기 위해, 최종-사용자 디바이스(106)의 GPS 좌표 및 현재 시간이 리포트에 포함된다. 일부 예에서, 법 집행 맵 인터페이스(2700)를 통해, ARPE(100)가 대응하는 상호 작용 표시(2704)를 생성하기 위해 사용자는 지자체 코드의 위반(예를 들어, 주차 위반 등)을 보고한다. 일부 이러한 예에서, 질의 생성기(1400)가 ARPE(100)로 전송할 이벤트를 생성할 때, 질의 생성기(1400)는 이벤트 리포트를 포함하도록 최종-사용자 디바이스(106)의 입력 디바이스(2608)로부터 데이터를 수집한다. 예를 들어, 최종-사용자 디바이스(106)가 LiDAR 또는 플렌옵틱(plenoptic) 카메라를 포함하는 경우, 카메라의 지오메트리, 방향 및/또는 카메라의 시야각 등이 이벤트 리포트에 포함될 수 있다.
일부 예에서, 법 집행 맵 인터페이스(2700)는 최종-사용자 디바이스(106)의 카메라로부터의 GPS 좌표 및/또는 이미지 및/또는 비디오를 포함하는 응급 리포트를 자동으로 생성하는 응급 모드를 포함한다. 이러한 예에서, 법 집행 맵 인터페이스(2700)는, 응급 리포트가 수령인에 의해 확인될 때 통지를 제공한다. 부가적으로 또는 대안적으로, 일부 예에서, 법 집행 맵 인터페이스(2700)는, 다른 사용자가 대응하는 상호 작용 표시(2704)와 상호 작용함으로서 스트림을 보고/들을 수 있도록 인덱싱될 수 있는 최종-사용자 디바이스(106)로부터의 라이브 스트림 비디오 및/또는 오디오에 인터페이스를 제공한다.
일부 실시예에서, 법 집행 맵 인터페이스(2700)를 통해 특정 상호 작용 표시(2704)가 생성되어 특정의 법 집행 인력, 차량, 지원 인력 및/또는 장비를 다른 상호 작용 표시(2704)에 의해 나타내어진 위치 및/또는 이벤트에 할당할 수 있다.
일부 예에서, ARPE(100)는, 최종-사용자 디바이스(106)의 위치를 추적하고, 최종-사용자 디바이스(106)가 (관할구 또는 순찰 경로 등과 같은) 규정된 영역을 떠날 때 최종-사용자 디바이스(106)에 경보를 제공한다.
일부 예에서, 법 집행 맵 인터페이스(2700)를 통해, 최종-사용자 디바이스(106)의 입력 디바이스(2608)를 사용하여, 사용자는 ARPE(100)에 업로드되고 ARP 데이터베이스(112)로 인덱싱되는 증거에 관한 데이터(예를 들어, 날짜, 위치, 이벤트, 사람 등)를 제공한다.
일부 예에서, 법 집행 맵 인터페이스(2700)는 최종-사용자 디바이스(106)의 입력 디바이스(2608)를 사용하여 (배지 번호를 갖는 배지와 같은) 경찰관의 ID를 스캔 및 검증하여 경찰관의 아이덴티티를 검증하는 것을 용이하게 한다.
일부 예에서, 법 집행 맵 인터페이스(2700)는 계층으로 조직된다. 각각의 층은 상이한 유형 또는 그룹 유형의 상호 작용 표시(2704)와 연관된다. 예를 들어, 제1 계층은 총격을 나타내는 상호 작용 표시(2704)와 연관될 수 있고, 제2 계층은 911 호출을 나타내는 상호 작용 표시(2704)와 연관될 수 있다. 이러한 예에서, 법 집행 맵 인터페이스(2700)는, 어느 계층이, 그에 따라 어느 상호 작용 표시(2704)가 법 집행 맵 인터페이스(2700) 상에 표시되는지를 선택하는 것을 용이하게 하는 계층 내비게이션 인터페이스(2706)를 포함한다. 일부 이러한 예에서, 법 집행 맵 인터페이스(2700) 상에 복수의 유형의 상호 작용 표시(2704)를 표시하기 위해 복수의 계층이 선택될 수 있다.
도 28은 도 1의 최종-사용자 디바이스(106)에 의해 캡처된 라이브 이미지 상에 중첩된 위치 특정 스포츠 이벤트 컨텐츠를 제공하는 도 11의 증강 현실 인터페이스(1102)를 나타낸다. 최종-사용자 디바이스(106)는 (예를 들어, 사전-질의 데이터(1408)를 통해) 그 위치를 ARPE(100)에 제공한다. ARPE(100)는 최종-사용자 디바이스(106)의 위치에 대응하는 경기장과 연관된 컨텐츠 데이터베이스 공급자(108) 중 하나가 위치 특정 컨텐츠(2302)를 제공하고 있는지 여부를 결정한다. 위치 특정 컨텐츠(2302)는 그 장소에 위치된 사용자에 대해 거의 실시간으로 (예를 들어, 프로세싱 및/또는 인덱싱 등에 대한 컨텐츠의 생성 간에 지연이 있을 수 있음) 생성되고 있는 컨텐츠이다. 예를 들어, 위치 특정 컨텐츠는 아나운서의 폐쇄 자막 및/또는 필드/코트/피치 상의 특정 운동 선수(2802)의 위치를 추적하는 데 사용되는 운동 선수 추적 데이터일 수 있다. 일부 예에서, ARPE(100)는 사전-질의 응답(1410)을 통해 위치 특정 컨텐츠(2302)를 제공한다. 일부 이러한 예에서, 가능한 한, ARP(100)는 사전-질의 응답(1410)을 통해 위치 특정 컨텐츠(2302)를 최종-사용자 디바이스(106)에 계속하여 푸싱한다.
가능하다면, 위치 특정 컨텐츠(2302)는 최종-사용자 디바이스(106)의 카메라(들)(예를 들어, 위의 도 26의 카메라(2614 및 2616))에 의해 캡처되는 이미지 상에 위치 특정 컨텐츠(2302)를 중첩시킴으로써 증강 현실 질의 인터페이스(522)에 의해 표시된다. 일부 예에서, 위치 특정 컨텐츠(2302)는 특정의 하이라이팅된 및/또는 아웃라이닝된 객체(1104) 상에 표시된다. 나타낸 예에서, 위치 특정 컨텐츠(2302)는 스포츠 이벤트에 관한 발표 및/또는 논평의 폐쇄 자막을 포함한다. 또한, 나타낸 예에서, 증강 현실 인터페이스(1102)는 특정 운동 선수(2802)의 추적을 제공하고, 예를 들어, 최종-사용자 디바이스(106)의 터치 스크린을 통해 운동 선수(2802) 중 하나와 상호 작용할 때, 운동 선수(2802)와 연관된 주제에 대한 축약된 질의 패널(1106)을 표시한다. 최종-사용자 디바이스(106)의 스크린 상의 운동 선수의 위치와 운동 선수 추적 데이터의 정렬을 용이하게 하기 위해, 최종-사용자 디바이스는 카메라 시야 및 배향 데이터를 ARPE(100)에 제공한다. 사용자가 축약된 질의 패널(1106)과 상호 작용할 때, 증강 현실 질의 인터페이스(522)는 대응하는 주제에 관한 검색 질의(104)를 생성하여 ARPE(100)에 전송한다.
일부 예에서, 위치 특정 컨텐츠(2302)는, 최종-사용자 디바이스(106)가 (예를 들어, 경기장의 반경 등을 갖는) 지오펜스(geofence)에 의해 규정되는 영역을 갖는 동안 사용자에게 액세스 가능한 비디오, 이미지 및/또는 오디오를 포함한다. 이러한 컨텐츠는, 스포츠 이벤트가 (예를 들어, 경기 전 및/또는 하프 타임 동안 등) 현재 활성화되어 있지 않은 동안 사용자에게 관련 정보를 제공하기 위해 시간 지정 및/또는 큐레이팅될 수 있다. 일부 예에서, 이러한 컨텐츠는, 이러한 특징이 가능할 때 최종-사용자 디바이스(106)에 푸싱된다.
일부 예에서, 증강 현실 인터페이스(1102)는 카메라에 의한 이미지 캡처에 스코어와 같은 다른 정보를 중첩시킨다. 일부 이러한 예에서, 중첩된 정보는, 사용자가 정보와 상호 작용할 때 검색 질의(104)가 된다. 이러한 일부 예에서, 질의 결과(102)는, 사용자가 질의 결과(102)와 상호 작용하는 것을 용이하게 하기 위해 계층 구조(예를 들어, 위의 도 7의 계층 구조(702, 704 및 706))에 제시된다.
일부 예에서, 증강 현실 인터페이스(1102)는 카메라에 의한 이미지 캡처에 중첩된 장소로의 그리고 그곳으로부터의 방향을 제공한다. 또한, 일부 예에서, 증강 현실 인터페이스(1102)는 경기장 내의 사용자 좌석 및/또는 경기장 내의 다양한 구내 매점에 대한 방향을 제공한다.
일부 예에서, 증강 현실 인터페이스(1102)는 컨텐츠에서의 지오태크(geotag)에 기초하여 카메라에 의해 캡처된 이미지 상에 사용자 생성 컨텐츠를 중첩시킬 수 있다. 예를 들어, 경기장 내의 사용자가 경기장 내의 좌표로 태깅된 공공 소셜 미디어 포스트를 포스팅하면, 증강 현실 인터페이스(1102)는 소셜 미디어 포스트를 이들 좌표에 근접하게 표시한다.
일부 예에서, 증강 현실 인터페이스(1102)는 경기장에서 이용 가능한 아이템 또는 서비스의 카탈로그(2804)를 제공한다. 좌석 할당 및/또는 GPS 좌표를 사용하여, ARPE(100)는 카탈로그(2804)를 통해 이루어진 주문 및/또는 요청을 최종-사용자 디바이스(106)의 위치에 연관시킨다. 이러한 방식으로, 카탈로그를 통해 주문된 품목 및/또는 서비스가 사용자에게 전달될 수 있다. 부가적으로 또는 대안적으로, 증강 현실 인터페이스(1102)를 통해, 사용자는 그 장소에 응급 사태를 경보하고, GPS 좌표, 좌석 할당 및/또는 최종-사용자 디바이스(106)의 입력 디바이스(2608)에 의해 캡처된 데이터(예를 들어, 비디오, 이미지, 오디오 등)를 포함한다. 일부 이러한 예에서, ARPE(100)는 경보를 그 장소의 응급 대응자에 의해 사용되는 법 집행 맵 인터페이스(2700) 상의 상호 작용 표시(2704)로 변환한다.
일부 예에서, ARPE(100)는 부동산 정보(예를 들어, 구매 이력, 카운티 레코더의 이력, 범죄 통계, 그 위치에 속하는 관련 뉴스, 쇼핑 기회, 학군 등)를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 일부 예에서, ARPE(100)는 위치(예를 들어, 이민 위치, 출생 위치, 사망 위치, 묘지 위치, 결혼 위치 등)를 사람 및 날짜와 연관시키는 가계 정보를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 또한, 가계 정보는 가계도에서 사람들을 함께 연관시킨다. 일부 예에서, ARPE(100)는 증강 현실, 가상 현실 및/또는 혼합 현실에서 교통 정보를 제공하는 것을 용이하게 하는 교통 데이터를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 일부 예에서, ARPE(100)는 증강 현실, 가상 현실 및/또는 혼합 현실에서 날씨 정보를 제공하는 것을 용이하게 하기 위해 날씨 데이터를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 일부 예에서, 날씨 데이터는 상술한 인터페이스 중 하나에 통합될 수 있는 날씨의 3차원 구성을 제공하는 지오메트리 데이터를 포함한다.
일부 예에서, ARPE(100)는 조사 및/또는 선거 결과 데이터를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 일부 예에서, ARPE(100)는 센서스 데이터를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 일부 예에서, ARPE(100)는 재무 데이터(예를 들어, 주식 시장 데이터 등)를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 일부 예에서, ARPE(100)는 법 집행 맵 인터페이스(2700)에서 예를 들어, 항공기 및/또는 무인 공중 차량을 추적하기 위한 비행 내비게이션 데이터를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 일부 예에서, ARPE(100)는 학술 데이터(예를 들어, 저널에 게시된 논문 등), 과학 데이터 및/또는 연구 데이터를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 일부 예에서, ARPE(100)는 농업 데이터(예를 들어, 토양 데이터, 날씨 데이터, 작물 데이터, 비료 사용 데이터, 식재 이력 데이터 등)를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다.
일부 예에서, ARPE(100)는 의료 시설에서의 환자 케어를 용이하게 하기 위해 의료 데이터 및/또는 병원 데이터(예를 들어, 환자 위치 및 건강 데이터, 환자 지오메트리 데이터 등)를 제공하는 컨텐츠 데이터베이스 공급자(108)에 통신 가능하게 커플링된다. 예를 들어, 병원 평면도는 맵 인터페이스(1000)의 맵일 수 있다. 이러한 예에서, 상호 작용 표시(2704)는 환자 및 임상 이벤트에 대해 생성될 수 있다. 다른 예로서, X-선 또는 CAT 스캔과 같은 의료 데이터는 환자에 대한 의료 데이터를 보는 것을 용이하게 하기 위해 환자 지오메트리 데이터를 사용하여 증강 현실 질의 인터페이스(522)에서 카메라에 의해 캡처된 이미지 상에 중첩될 수 있다.
일부 예에서, 맵 질의 인터페이스(520)는, 차량에 대한 위치 및 타임스탬프가 상호 작용 표시(2704)로 변환되어 표시되고 연대기로 추적되는 차량 관리 툴로서 사용된다. 또한, 사용자는 차량을 특정 시간에 위치로 향하게 하는 특정 이벤트를 생성하여, 계획된 이벤트가 예를 들어 운전자 및/또는 다른 차량 관리 인력의 맵 질의 인터페이스(520)에 표시되도록 할 수 있다.
본 출원에서, 이접적 접속사의 사용은 접속사를 포함하도록 의도된다. 정관사 또는 부정 관사의 사용은 카디널리티(cardinality)를 나타내려고 의도된 것이 아니다. 특히, "그(the)" 객체 또는 "어느(a)" 및 "어떤(an)" 객체에 대한 참조는 가능한 그러한 복수의 객체 중 하나를 또한 나타내려고 의도된 것이다. 또한, 접속사 "또는"은 상호 배타적인 대안 대신 동시에 존재하는 특징을 전달하는 데 사용될 수 있다. 즉, 접속사 "또는"은 "및/또는"을 포함하는 것으로 이해되어야 한다. "포함하다", "포함하는" 및 "포함하다"라는 용어는 포괄적이고 각각 "포괄하다", "포괄하는" 및 "포괄하다"와 동일한 범위를 갖는다.
상술한 실시예, 특히 임의의 "바람직한" 실시예는 구현의 가능한 예이며, 본 발명의 원리를 명확하게 이해하기 위해 단지 개진되었다. 본원에 설명된 기술의 사상 및 원리를 실질적으로 벗어나지 않으면서 상술한 실시예(들)에 대해 많은 변형 및 수정이 이루어질 수 있다. 모든 수정은 본원에서 본 개시의 범위 내에 포함되며 이하의 청구 범위에 의해 보호되도록 의도된다.

Claims (102)

  1. 방법으로서,
    최종-사용자 디바이스의 디스플레이 상에, 상기 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하는 단계;
    상기 최종-사용자 디바이스의 위치를 포함하는, 상기 최종-사용자 디바이스의 자세(pose)를 결정하는 단계;
    상기 최종-사용자 디바이스의 자세를 증강 현실 플랫폼 엔티티에 전송하는 단계;
    상기 증강 현실 플랫폼 엔티티로부터 폐쇄 자막 데이터 - 상기 폐쇄 자막 데이터는 상기 최종-사용자 디바이스의 위치에 기초하고 상기 폐쇄 자막 데이터 내의 제1 주제들의 표시들을 포함함 - 를 수신하는 단계;
    상기 폐쇄 자막 데이터를 상기 라이브 이미지 데이터 상에 중첩시키는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 관심 객체들을 하이라이팅하는 단계는,
    상기 최종-사용자 디바이스의 자세 - 상기 자세는 상기 최종-사용자 디바이스의 위치 및 배향을 포함함 - 를 증강 현실 플랫폼 엔티티에 전송하는 단계; 및
    상기 최종-사용자 디바이스의 자세에 기초하여 상기 증강 현실 플랫폼 엔티티로부터 상기 관심 객체들을 수신하는 단계
    를 포함하는 것인, 방법.
  4. 제2항에 있어서,
    상기 폐쇄 자막 데이터를 상기 라이브 이미지 데이터 상에 중첩시키는 단계는, 상기 폐쇄 자막 데이터를 상기 관심 객체들 중 하나 상에 중첩시키는 단계를 포함하는 것인, 방법.
  5. 제2항에 있어서,
    제2 주제들과 연관된 상기 관심 객체들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제2 주제들 중 대응하는 하나를 포함하는 상기 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 폐쇄 자막 데이터 내의 상기 제1 주제들의 표시들의 선택을 수신하는 것에 응답하여, 상기 제1 주제들 중 대응하는 하나를 포함하는 상기 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계를 포함하는, 방법.
  7. 제5항에 있어서,
    상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙(scrubber track), 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들(chronological categories)을 나타냄 - 을 제시하는 단계;
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하는 단계
    를 포함하는, 방법.
  8. 최종-사용자 디바이스로서,
    애플리케이션을 갖는 메모리; 및
    상기 메모리에 통신 가능하게 커플링된 프로세서
    를 포함하고,
    상기 애플리케이션은, 실행될 때 상기 프로세서로 하여금,
    디스플레이 상에, 상기 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하게 하고;
    상기 최종-사용자 디바이스의 위치를 포함하는, 상기 최종-사용자 디바이스의 자세를 결정하게 하고;
    상기 최종-사용자 디바이스의 자세를 증강 현실 플랫폼 엔티티에 전송하게 하고;
    상기 증강 현실 플랫폼 엔티티로부터 폐쇄 자막 데이터 - 상기 폐쇄 자막 데이터는 상기 최종-사용자 디바이스의 위치에 기초하고 상기 폐쇄 자막 데이터 내의 제1 주제들의 표시들을 포함함 - 를 수신하게 하고;
    상기 폐쇄 자막 데이터를 상기 라이브 이미지 데이터 상에 중첩시키게
    하는 것인, 최종-사용자 디바이스.
  9. 제8항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하게 하는 것인, 최종-사용자 디바이스.
  10. 제9항에 있어서,
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 상기 관심 객체들을 하이라이팅하기 위해, 상기 애플리케이션은, 실행시, 상기 프로세서로 하여금,
    상기 최종-사용자 디바이스의 자세 - 상기 자세는 상기 최종-사용자 디바이스의 위치 및 배향을 포함함 - 를 증강 현실 플랫폼 엔티티에 전송하게 하고;
    상기 최종-사용자 디바이스의 자세에 기초하여 상기 증강 현실 플랫폼 엔티티로부터 상기 관심 객체들을 수신하게
    하는 것인, 최종-사용자 디바이스.
  11. 제9항에 있어서,
    상기 폐쇄 자막 데이터를 상기 라이브 이미지 데이터 상에 중첩시키기 위해, 상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 폐쇄 자막 데이터를 상기 관심 객체들 중 하나 상에 중첩시키게 하는 것인, 최종-사용자 디바이스.
  12. 제9항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 제2 주제들과 연관된 상기 관심 객체들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제2 주제들 중 대응하는 하나를 포함하는 상기 증강 현실 플랫폼 엔티티에 질의를 전송하게 하는 것인, 최종-사용자 디바이스.
  13. 제8항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 폐쇄 자막 데이터 내의 상기 제1 주제들의 표시들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제1 주제들 중 대응하는 하나를 포함하는 상기 증강 현실 플랫폼 엔티티에 질의를 전송하게 하는 것인, 최종-사용자 디바이스.
  14. 제13항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들을 나타냄 - 을 제시하게 하고;
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하게
    하는 것인, 최종-사용자 디바이스.
  15. 명령어들을 포함하는 유형의 컴퓨터 판독 가능 매체로서,
    상기 명령어들은 실행시, 최종-사용자 디바이스로 하여금,
    상기 최종-사용자 디바이스의 디스플레이 상에, 상기 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하게 하고;
    상기 최종-사용자 디바이스의 자세 - 상기 자세는 상기 최종-사용자 디바이스의 위치를 포함함 - 를 결정하게 하고;
    상기 최종-사용자 디바이스의 자세를 증강 현실 플랫폼 엔티티에 전송하게 하고;
    상기 증강 현실 플랫폼 엔티티로부터 폐쇄 자막 데이터 - 상기 폐쇄 자막 데이터는 상기 최종-사용자 디바이스의 위치에 기초하고 상기 폐쇄 자막 데이터 내의 제1 주제들의 표시들을 포함함 - 를 수신하게 하고;
    상기 폐쇄 자막 데이터를 상기 라이브 이미지 데이터 상에 중첩시키게
    하는 것인, 컴퓨터 판독 가능 매체.
  16. 제15항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하게 하는 것인, 컴퓨터 판독 가능 매체.
  17. 제16항에 있어서,
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 상기 관심 객체들을 하이라이팅하기 위해, 상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금,
    상기 최종-사용자 디바이스의 자세 - 상기 자세는 상기 최종-사용자 디바이스의 위치 및 배향을 포함함 - 를 증강 현실 플랫폼 엔티티에 전송하게 하고;
    상기 최종-사용자 디바이스의 자세에 기초하여 상기 증강 현실 플랫폼 엔티티로부터 상기 관심 객체들을 수신하게
    하는 것인, 컴퓨터 판독 가능 매체.
  18. 제16항에 있어서,
    상기 폐쇄 자막 데이터를 상기 라이브 이미지 데이터 상에 중첩시키는 것은, 상기 폐쇄 자막 데이터를 상기 관심 객체들 중 하나 상에 중첩시키는 것을 포함하는 것인, 컴퓨터 판독 가능 매체.
  19. 제15항에 있어서,
    상기 명령어는, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 폐쇄 자막 데이터 내의 제1 주제들의 표시들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제1 주제들 중 대응하는 하나를 포함하는 상기 증강 현실 플랫폼 엔티티에 질의를 전송하게 하는 것인, 컴퓨터 판독 가능 매체.
  20. 제19항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들을 나타냄 - 을 제시하게 하고;
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하게
    하는 것인, 컴퓨터 판독 가능 매체.
  21. 방법으로서,
    최종-사용자 디바이스의 디스플레이 상에, 증강 현실 플랫폼 엔티티에 전송된 질의에 포함된 제1 주제와 연관된 제1 맵을 제시하는 단계;
    제1 맵 상에 관심 영역들 - 상기 관심 영역들은 제2 주제들과 연관됨 - 을 하이라이팅하는 단계;
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 이벤트 포인트들은 상이한 날짜들과 연관된 상기 제1 주제와 관련된 제2 맵들을 나타냄 - 을 제시하는 단계; 및
    입력 디바이스로, 상기 관심 영역들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 제2 주제를 포함하는 상기 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계
    를 포함하는, 방법.
  22. 제21항에 있어서,
    상기 입력 디바이스로, 상기 복수의 이벤트 포인트들 중 하나에 대한 상기 스크러버 트랙을 따른 상기 스크러버의 위치 변화를 수신하는 것에 응답하여, 상기 복수의 이벤트 포인트들 중 대응하는 하나와 연관된 상기 제2 맵을 표시하는 단계를 포함하는, 방법.
  23. 제21항에 있어서,
    상기 질의에 기초하여 검색 결과들 - 상기 질의 결과들은 적어도 제1 계층 구조들, 제2 계층 구조들, 및 제3 계층 구조들로 조직화된 레코드들을 포함함 - 을 수신하는 단계; 및
    상기 제1 계층 구조들을 초기에 표시하는 상기 제1 맵 상에 인터페이스를 중첩시키는 단계
    를 포함하는, 방법.
  24. 제23항에 있어서,
    상기 제1 계층 구조들은 제1 윈도우에 표시되고,
    상기 제1 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제1 계층 구조들 중 선택된 하나와 연관된 상기 제2 계층 구조들을 제2 윈도우에 표시하는 단계; 및
    상기 제2 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제2 계층 구조들 중 선택된 하나와 연관된 상기 제3 계층 구조들 - 상기 제3 계층 구조들은 상기 제3 계층 구조들과 연관된 엔트리들을 리트리브(retrieve)하기 위해 선택 가능한 유니폼 리소스 로케이터들을 포함함 - 을 제3 윈도우에 표시하는 단계
    를 포함하는, 방법.
  25. 제23항에 있어서,
    상기 제1 계층 구조들은 원형 윈도우에 표시되고,
    상기 제1 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제1 계층 구조들 중 선택된 하나와 연관된 상기 제2 계층 구조들을 상기 원형 윈도우 주위의 제1 동심 링에 표시하는 단계; 및
    상기 제2 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제2 계층 구조들 중 선택된 하나와 연관된 상기 제3 계층 구조들 - 상기 제3 계층 구조들은 상기 제3 계층 구조들과 연관된 엔트리들을 리트리브하기 위해 선택 가능한 유니폼 리소스 로케이터들을 포함함 - 을 상기 제1 동심 링 주위의 제2 동심 링에 표시하는 단계
    를 포함하는, 방법.
  26. 제23항에 있어서,
    상기 복수의 이벤트 포인트들은 제1 복수의 이벤트 포인트들이고,
    상기 제1 복수의 이벤트 포인트들을 숨기는 단계; 및
    제2 복수의 이벤트 포인트들 - 상기 제2 복수의 이벤트 포인트들은 연대기 카테고리들과 연관된 상기 검색 결과들 중의 검색 결과를 나타냄 - 을 표시하는 단계
    를 포함하는, 방법.
  27. 제26항에 있어서,
    상기 입력 디바이스로, 상기 제2 복수의 이벤트 포인트들 중 하나에 대한 상기 스크러버 트랙을 따른 상기 스크러버의 위치의 변화를 수신하는 것에 응답하여, 대응하는 연대기 카테고리들과 연관된 상기 검색 결과들 중의 검색 결과를 제공하는 단계를 포함하는, 방법.
  28. 최종-사용자 디바이스로서,
    애플리케이션을 갖는 메모리; 및
    상기 메모리에 통신 가능하게 커플링된 프로세서
    를 포함하고,
    상기 애플리케이션은 실행될 때 상기 프로세서로 하여금,
    상기 최종-사용자 디바이스의 디스플레이 상에, 증강 현실 플랫폼 엔티티에 전송된 질의에 포함된 제1 주제와 연관된 제1 맵을 제시하게 하고;
    제1 맵 상에 관심 영역들 - 상기 관심 영역들은 제2 주제들과 연관됨 - 을 하이라이팅하게 하고;
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 이벤트 포인트들은 상이한 날짜들과 연관된 상기 제1 주제와 관련된 제2 맵들을 나타냄 - 을 제시하게 하고;
    입력 디바이스로, 상기 관심 영역들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 제2 주제를 포함하는 상기 증강 현실 플랫폼 엔티티에 질의를 전송하게
    하는 것인, 최종-사용자 디바이스.
  29. 제28항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 입력 디바이스로, 상기 복수의 이벤트 포인트들 중 하나에 대한 상기 스크러버 트랙을 따른 상기 스크러버의 위치 변화를 수신하는 것에 응답하여, 상기 복수의 이벤트 포인트들 중 대응하는 하나와 연관된 상기 제2 맵을 표시하게 하는 것인, 최종-사용자 디바이스.
  30. 제28항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금,
    상기 질의에 기초하여 검색 결과들 - 질의 결과들은 적어도 제1 계층 구조들, 제2 계층 구조들, 및 제3 계층 구조들로 조직화된 레코드들을 포함함 - 을 수신하게 하고;
    상기 제1 계층 구조들을 초기에 표시하는 상기 제1 맵 상에 인터페이스를 중첩시키게
    하는 것인, 최종-사용자 디바이스.
  31. 제30항에 있어서,
    상기 제1 계층 구조들은 제1 윈도우에 표시되고, 상기 애플리케이션은, 실행시, 상기 프로세서로 하여금,
    상기 제1 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제1 계층 구조들 중 선택된 하나와 연관된 상기 제2 계층 구조들을 제2 윈도우에 표시하게 하고;
    상기 제2 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제2 계층 구조들 중 선택된 하나와 연관된 상기 제3 계층 구조들 - 상기 제3 계층 구조들은 상기 제3 계층 구조들과 연관된 엔트리들을 리트리브하기 위해 선택 가능한 유니폼 리소스 로케이터들을 포함함 - 을 제3 윈도우에 표시하게
    하는 것인, 최종-사용자 디바이스.
  32. 제30항에 있어서,
    상기 제1 계층 구조들은 원형 윈도우에 표시되고, 상기 애플리케이션은, 실행시, 상기 프로세서로 하여금,
    상기 제1 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제1 계층 구조들 중 선택된 하나와 연관된 상기 제2 계층 구조들을 상기 원형 윈도우 주위의 제1 동심 링에 표시하게 하고;
    상기 제2 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제2 계층 구조들 중 선택된 하나와 연관된 상기 제3 계층 구조들 - 상기 제3 계층 구조들은 상기 제3 계층 구조들과 연관된 엔트리들을 리트리브하기 위해 선택 가능한 유니폼 리소스 로케이터들을 포함함 - 을 상기 제1 동심 링 주위의 제2 동심 링에 표시하게
    하는 것인, 최종-사용자 디바이스.
  33. 제30항에 있어서,
    상기 복수의 이벤트 포인트들은 제1 복수의 이벤트 포인트들이고, 상기 애플리케이션은, 실행시, 상기 프로세서로 하여금,
    상기 제1 복수의 이벤트 포인트들을 숨기게 하고;
    제2 복수의 이벤트 포인트들 - 상기 제2 복수의 이벤트 포인트들은 연대기 카테고리들과 연관된 상기 검색 결과들 중의 검색 결과를 나타냄 - 을 표시하게
    하는 것인, 최종-사용자 디바이스.
  34. 제33항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 입력 디바이스로, 상기 제2 복수의 이벤트 포인트들 중 하나에 대한 상기 스크러버 트랙을 따른 상기 스크러버의 위치의 변화를 수신하는 것에 응답하여, 대응하는 연대기 카테고리들과 연관된 상기 검색 결과들 중의 검색 결과를 제공하게 하는 것인, 최종-사용자 디바이스.
  35. 명령어들을 포함하는 유형의 컴퓨터 판독 가능 매체로서,
    상기 명령어들은 실행시, 최종-사용자 디바이스로 하여금,
    디스플레이 상에, 증강 현실 플랫폼 엔티티에 전송된 질의에 포함된 제1 주제와 연관된 제1 맵을 제시하게 하고;
    상기 제1 맵 상에 관심 영역들 - 상기 관심 영역들은 제2 주제들과 연관됨 - 을 하이라이팅하게 하고;
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 이벤트 포인트들은 상이한 날짜들과 연관된 상기 제1 주제와 관련된 제2 맵들을 나타냄 - 을 제시하게 하고;
    입력 디바이스로, 상기 관심 영역들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 제2 주제를 포함하는 상기 증강 현실 플랫폼 엔티티에 질의를 전송하게
    하는 것인, 컴퓨터 판독 가능 매체.
  36. 제35항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 입력 디바이스로, 상기 복수의 이벤트 포인트들 중 하나에 대한 상기 스크러버 트랙을 따른 상기 스크러버의 위치 변화를 수신하는 것에 응답하여, 상기 복수의 이벤트 포인트들 중 대응하는 하나와 연관된 상기 제2 맵을 표시하게 하는 것인, 컴퓨터 판독 가능 매체.
  37. 제35항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금,
    상기 질의에 기초하여 검색 결과들 - 질의 결과들은 적어도 제1 계층 구조들, 제2 계층 구조들, 및 제3 계층 구조들로 조직화된 레코드들을 포함함 - 을 수신하게 하고,
    상기 제1 계층 구조들을 초기에 표시하는 상기 제1 맵 상에 인터페이스를 중첩시키게
    하는 것인, 컴퓨터 판독 가능 매체.
  38. 제37항에 있어서,
    상기 제1 계층 구조들은 제1 윈도우에 표시되고, 상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금,
    상기 제1 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제1 계층 구조들 중 선택된 하나와 연관된 상기 제2 계층 구조들을 제2 윈도우에 표시하게 하고;
    상기 제2 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제2 계층 구조들 중 선택된 하나와 연관된 상기 제3 계층 구조들 - 상기 제3 계층 구조들은 상기 제3 계층 구조들과 연관된 엔트리들을 리트리브하기 위해 선택 가능한 유니폼 리소스 로케이터들을 포함함 - 을 제3 윈도우에 표시하게
    하는 것인, 컴퓨터 판독 가능 매체.
  39. 제37항에 있어서,
    상기 제1 계층 구조들은 원형 윈도우에 표시되고, 상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금,
    상기 제1 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제1 계층 구조들 중 선택된 하나와 연관된 상기 제2 계층 구조들을 상기 원형 윈도우 주위의 제1 동심 링에 표시하게 하고;
    상기 제2 계층 구조들 중 하나의 선택을 수신하는 것에 응답하여, 상기 제2 계층 구조들 중 선택된 하나와 연관된 상기 제3 계층 구조들 - 상기 제3 계층 구조들은 상기 제3 계층 구조들과 연관된 엔트리들을 리트리브하기 위해 선택 가능한 유니폼 리소스 로케이터들을 포함함 - 을 상기 제1 동심 링 주위의 제2 동심 링에 표시하게
    하는 것인, 컴퓨터 판독 가능 매체.
  40. 제37항에 있어서,
    상기 복수의 이벤트 포인트들은 제1 복수의 이벤트 포인트들이고, 상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금,
    상기 제1 복수의 이벤트 포인트들을 숨기게 하고;
    제2 복수의 이벤트 포인트들 - 상기 제2 복수의 이벤트 포인트들은 연대기 카테고리들과 연관된 상기 검색 결과들 중의 검색 결과를 나타냄 - 을 표시하게 하고;
    상기 입력 디바이스로, 상기 제2 복수의 이벤트 포인트들 중 하나에 대한 상기 스크러버 트랙을 따른 상기 스크러버의 위치의 변화를 수신하는 것에 응답하여, 대응하는 연대기 카테고리와 연관된 상기 검색 결과들 중의 검색 결과를 제공하게
    하는 것인, 컴퓨터 판독 가능 매체.
  41. 방법으로서,
    최종-사용자 디바이스의 디스플레이 상에 맵 지오메트리(geometry) 데이터를 제시하는 단계;
    상기 표시된 맵 지오메트리 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하는 단계;
    입력 디바이스로 상기 관심 객체들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계;
    상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들을 나타냄 - 을 제시하는 단계; 및
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하는 단계
    를 포함하는, 방법.
  42. 제41항에 있어서,
    상기 제1 계층 구조는 제1 윈도우에 표시되고, 상기 제1 계층 구조는 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내의 날짜들을 갖는 상기 질의 결과들과 연관된 데이터베이스 컨텐츠 공급자들의 리스트를 표시하는 것인, 방법.
  43. 제42항에 있어서,
    상기 제1 계층 구조의 상기 데이터베이스 컨텐츠 공급자들 중 하나의 선택을 수신하는 것에 응답하여, 제2 계층 구조 - 상기 제2 계층 구조는 상기 선택된 데이터베이스 컨텐츠 공급자들과 연관되고 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내에서 연관되는 상기 질의 결과들과 연관되는 주제들의 리스트를 포함함 - 를 제2 윈도우에 표시하는 단계를 포함하는, 방법.
  44. 제43항에 있어서,
    상기 제2 계층 구조의 주제들 중 하나의 선택을 수신하는 것에 응답하여, 제3 계층 구조를 제3 윈도우에 표시하는 단계를 포함하고, 상기 제2 계층 구조는 상기 선택된 주제와 연관되고 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중 하나 내에서 연관되는 엔트리들의 유니폼 리소스 로케이터들의 리스트를 포함하는 것인, 방법.
  45. 제41항에 있어서,
    상기 스크러버의 위치에 기초하여, 상기 관심 객체들 중 하나에 대해 상기 맵 지오메트리 데이터 상에 이미지 - 상기 이미지는 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중에 상기 관심 객체들 중 하나임 - 를 중첩시키는 단계를 포함하는, 방법.
  46. 제41항에 있어서,
    상기 관심 객체들에 대해, 상기 대응하는 주제에 대한 검색 결과들의 일부를 포함하는 정보 윈도우를 중첩시키는 단계를 포함하는, 방법.
  47. 제41항에 있어서,
    상기 최종-사용자 디바이스의 배향에 기초하여 상기 맵 지오메트리 데이터의 어느 부분을 제시할지를 결정하는 단계를 포함하는, 방법.
  48. 최종-사용자 디바이스로서,
    애플리케이션을 갖는 메모리; 및
    상기 메모리에 통신 가능하게 커플링된 프로세서
    를 포함하고,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금,
    디스플레이 상에 맵 지오메트리 데이터를 제시하게 하고;
    상기 표시된 맵 지오메트리 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하게 하고;
    입력 디바이스로 상기 관심 객체들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하게 하고;
    상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들을 나타냄 - 을 제시하게 하고;
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하게
    하는 것인, 최종-사용자 디바이스.
  49. 제48항에 있어서,
    상기 제1 계층 구조는 제1 윈도우에 표시되고, 상기 제1 계층 구조는 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내의 날짜들을 갖는 상기 질의 결과들과 연관된 데이터베이스 컨텐츠 공급자들의 리스트를 표시하는 것인, 최종-사용자 디바이스.
  50. 제49항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 제1 계층 구조의 상기 데이터베이스 컨텐츠 공급자들 중 하나의 선택을 수신하는 것에 응답하여, 제2 계층 구조를 제2 윈도우에 표시하게 하고, 상기 제2 계층 구조는 상기 선택된 데이터베이스 컨텐츠 공급자들과 연관되고 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내에서 연관되는 상기 질의 결과들과 연관되는 주제들의 리스트를 포함하는 것인, 최종-사용자 디바이스.
  51. 제50항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 제2 계층 구조의 주제들 중 하나의 선택을 수신하는 것에 응답하여, 제3 계층 구조를 제3 윈도우에 표시하게 하고, 상기 제2 계층 구조는 상기 선택된 주제와 연관되고 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중 하나 내에서 연관되는 엔트리들의 유니폼 리소스 로케이터들의 리스트를 포함하는 것인, 최종-사용자 디바이스.
  52. 제48항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 스크러버의 위치에 기초하여, 상기 관심 객체들 중 하나에 대해 상기 맵 지오메트리 데이터 상에 이미지를 중첩시키게 하고, 상기 이미지는 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중에 상기 관심 객체들 중 하나인 것인, 최종-사용자 디바이스.
  53. 제48항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 관심 객체들에 대해, 상기 대응하는 주제에 대한 검색 결과들의 일부를 포함하는 정보 윈도우를 중첩시키게 하는 것인, 최종-사용자 디바이스.
  54. 제48항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 최종-사용자 디바이스의 배향에 기초하여 상기 맵 지오메트리 데이터의 어느 부분을 제시할지를 결정하게 하는 것인, 최종-사용자 디바이스.
  55. 명령어들을 포함하는 유형의 컴퓨터 판독 가능 매체로서,
    상기 명령어들은, 실행시, 최종-사용자 디바이스로 하여금,
    디스플레이 상에 맵 지오메트리 데이터를 제시하게 하고;
    상기 표시된 맵 지오메트리 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하게 하고;
    입력 디바이스로 상기 관심 객체들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하게 하고;
    상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들을 나타냄 - 을 제시하게 하고;
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하게
    하는 것인, 컴퓨터 판독 가능 매체.
  56. 제55항에 있어서,
    상기 제1 계층 구조는 제1 윈도우에 표시되고, 상기 제1 계층 구조는 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내의 날짜들을 갖는 상기 질의 결과들과 연관된 데이터베이스 컨텐츠 공급자들의 리스트를 표시하는 것인, 컴퓨터 판독 가능 매체.
  57. 제56항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 제1 계층 구조의 상기 데이터베이스 컨텐츠 공급자들 중 하나의 선택을 수신하는 것에 응답하여, 제2 계층 구조를 제2 윈도우에 표시하게 하고, 상기 제2 계층 구조는 상기 선택된 데이터베이스 컨텐츠 공급자들과 연관되고 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내에서 연관되는 상기 질의 결과들과 연관되는 주제들의 리스트를 포함하는 것인, 컴퓨터 판독 가능 매체.
  58. 제57항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 제2 계층 구조의 주제들 중 하나의 선택을 수신하는 것에 응답하여, 제3 계층 구조를 제3 윈도우에 표시하게 하고, 상기 제2 계층 구조는 상기 선택된 주제와 연관되고 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중 하나 내에서 연관되는 엔트리들의 유니폼 리소스 로케이터들의 리스트를 포함하는 것인, 컴퓨터 판독 가능 매체.
  59. 제55항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 스크러버의 위치에 기초하여, 상기 관심 객체들 중 하나에 대해 상기 맵 지오메트리 데이터 상에 이미지를 중첩시키게 하고, 상기 이미지는 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중에 상기 관심 객체들 중 하나인 것인, 컴퓨터 판독 가능 매체.
  60. 제55항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 관심 객체들에 대해, 상기 대응하는 주제에 대한 검색 결과들의 일부를 포함하는 정보 윈도우를 중첩시키게 하는 것인, 컴퓨터 판독 가능 매체.
  61. 방법으로서,
    최종-사용자 디바이스의 디스플레이 상에, 상기 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하는 단계;
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하는 단계;
    입력 디바이스로, 상기 관심 객체들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계;
    상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들을 나타냄 - 을 제시하는 단계; 및
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하는 단계
    를 포함하는, 방법.
  62. 제61항에 있어서,
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 관심 객체들을 하이라이팅하는 단계는,
    프로세서로, 상기 최종-사용자 디바이스의 자세 - 상기 자세는 상기 최종-사용자 디바이스의 위치 및 상기 최종-사용자 디바이스의 카메라의 배향을 포함함 - 를 결정하는 단계;
    증강 현실 플랫폼 엔티티에 상기 최종-사용자 디바이스의 자세를 전송하는 단계;
    상기 최종-사용자 디바이스의 자세에 기초하여 상기 증강 현실 플랫폼 엔티티로부터 상기 관심 객체들을 수신하는 단계
    를 포함하는 것인, 방법.
  63. 제61항에 있어서,
    상기 관심 객체들에 대해, 상기 대응하는 주제에 대한 검색 결과들의 일부를 포함하는 정보 윈도우를 중첩시키는 단계를 포함하는, 방법.
  64. 제61항에 있어서,
    상기 스크러버의 위치에 기초하여, 상기 관심 객체들 중 하나에 대해 맵 지오메트리 데이터 상에 이미지를 중첩시키는 단계를 포함하고, 상기 이미지는 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중에 상기 관심 객체들 중 하나인 것인, 방법.
  65. 제61항에 있어서,
    상기 제1 계층 구조는 제1 윈도우에 표시되고, 상기 제1 계층 구조는 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내의 날짜들을 갖는 상기 질의 결과들과 연관된 데이터베이스 컨텐츠 공급자들의 리스트를 표시하는 것인, 방법.
  66. 제65항에 있어서,
    상기 제1 계층 구조의 상기 데이터베이스 컨텐츠 공급자들 중 하나의 선택을 수신하는 것에 응답하여, 제2 계층 구조를 제2 윈도우에 표시하는 단계를 포함하고, 상기 제2 계층 구조는 상기 선택된 데이터베이스 컨텐츠 공급자들과 연관되고 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내에서 연관되는 상기 질의 결과들과 연관되는 주제들의 리스트를 포함하는 것인, 방법.
  67. 제66항에 있어서,
    상기 제2 계층 구조의 주제들 중 하나의 선택을 수신하는 것에 응답하여, 제3 계층 구조를 제3 윈도우에 표시하는 단계를 포함하고, 상기 제2 계층 구조는 상기 선택된 주제와 연관되고 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중 하나 내에서 연관되는 엔트리들의 유니폼 리소스 로케이터들의 리스트를 포함하는 것인, 방법.
  68. 최종-사용자 디바이스로서,
    애플리케이션을 갖는 메모리; 및
    상기 메모리에 통신 가능하게 커플링된 프로세서
    를 포함하고,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금,
    디스플레이 상에, 상기 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하게 하고;
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하게 하고;
    입력 디바이스로, 상기 관심 객체들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하게 하고;
    상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들을 나타냄 - 을 제시하게 하고;
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하게
    하는 것인, 최종-사용자 디바이스.
  69. 제68항에 있어서,
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 상기 관심 객체들을 하이라이팅하기 위해, 상기 애플리케이션은, 실행시, 상기 프로세서로 하여금,
    프로세서로, 상기 최종-사용자 디바이스의 자세 - 상기 자세는 상기 최종-사용자 디바이스의 위치 및 상기 최종-사용자 디바이스의 카메라의 배향을 포함함 - 를 결정하게 하고;
    증강 현실 플랫폼 엔티티에 상기 최종-사용자 디바이스의 자세를 전송하게 하고;
    상기 최종-사용자 디바이스의 자세에 기초하여 상기 증강 현실 플랫폼 엔티티로부터 상기 관심 객체들을 수신하게
    하는 것인, 최종-사용자 디바이스.
  70. 제68항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 관심 객체들에 대해, 상기 대응하는 주제에 대한 검색 결과들의 일부를 포함하는 정보 윈도우를 중첩시키게 하는 것인, 최종-사용자 디바이스.
  71. 제68항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 스크러버의 위치에 기초하여, 상기 관심 객체들 중 하나에 대해 맵 지오메트리 데이터 상에 이미지를 중첩시키게 하고, 상기 이미지는 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중에 상기 관심 객체들 중 하나인 것인, 최종-사용자 디바이스.
  72. 제68항에 있어서,
    상기 제1 계층 구조는 제1 윈도우에 표시되고, 상기 제1 계층 구조는 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내의 날짜들을 갖는 상기 질의 결과들과 연관된 데이터베이스 컨텐츠 공급자들의 리스트를 표시하는 것인, 최종-사용자 디바이스.
  73. 제72항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 제1 계층 구조의 상기 데이터베이스 컨텐츠 공급자들 중 하나의 선택을 수신하는 것에 응답하여, 제2 계층 구조를 제2 윈도우에 표시하게 하고, 상기 제2 계층 구조는 상기 선택된 데이터베이스 컨텐츠 공급자들과 연관되고 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내에서 연관되는 상기 질의 결과들과 연관되는 주제들의 리스트를 포함하는 것인, 최종-사용자 디바이스.
  74. 제73항에 있어서,
    상기 애플리케이션은, 실행시, 상기 프로세서로 하여금, 상기 제2 계층 구조의 주제들 중 하나의 선택을 수신하는 것에 응답하여, 제3 계층 구조를 제3 윈도우에 표시하게 하고, 상기 제2 계층 구조는 상기 선택된 주제와 연관되고 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중 하나 내에서 연관되는 엔트리들의 유니폼 리소스 로케이터들의 리스트를 포함하는 것인, 최종-사용자 디바이스.
  75. 명령어들을 포함하는 유형의 컴퓨터 판독 가능 매체로서,
    상기 명령어들은, 실행시, 최종-사용자 디바이스로 하여금,
    상기 최종-사용자 디바이스의 디스플레이 상에, 상기 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하게 하고;
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 관심 객체들 - 상기 관심 객체들은 주제와 연관됨 - 을 하이라이팅하게 하고;
    입력 디바이스로, 상기 관심 객체들 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하게 하고;
    상기 증강 현실 플랫폼 엔티티로부터 질의 결과를 수신하는 것에 응답하여,
    스크러버 트랙, 스크러버, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 상기 질의 결과와 연관된 연대기 카테고리들을 나타냄 - 을 제시하게 하고;
    상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 스크러버의 위치에 의해 선택된 상기 연대기 카테고리들 중 하나와 연관된 상기 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하게
    하는 것인, 컴퓨터 판독 가능 매체.
  76. 제75항에 있어서,
    상기 카메라에 의해 캡처되는 상기 표시된 라이브 이미지 데이터에서 상기 관심 객체들을 하이라이팅하기 위해, 상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금,
    프로세서로, 상기 최종-사용자 디바이스의 자세 - 상기 자세는 상기 최종-사용자 디바이스의 위치 및 상기 최종-사용자 디바이스의 카메라의 배향을 포함함 - 를 결정하게 하고;
    증강 현실 플랫폼 엔티티에 상기 최종-사용자 디바이스의 자세를 전송하게 하고;
    상기 최종-사용자 디바이스의 자세에 기초하여 상기 증강 현실 플랫폼 엔티티로부터 상기 관심 객체들을 수신하게
    하는 것인, 컴퓨터 판독 가능 매체.
  77. 제75항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 스크러버의 위치에 기초하여, 상기 관심 객체들 중 하나에 대해 상기 맵 지오메트리 데이터 상에 이미지를 중첩시키게 하고, 상기 이미지는 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중에 상기 관심 객체들 중 하나인 것인, 컴퓨터 판독 가능 매체.
  78. 제75항에 있어서,
    상기 제1 계층 구조는 제1 윈도우에 표시되고, 상기 제1 계층 구조는 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내의 날짜들을 갖는 상기 질의 결과들과 연관된 데이터베이스 컨텐츠 공급자들의 리스트를 표시하는 것인, 컴퓨터 판독 가능 매체.
  79. 제78항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 제1 계층 구조의 상기 데이터베이스 컨텐츠 공급자들 중 하나의 선택을 수신하는 것에 응답하여, 제2 계층 구조를 제2 윈도우에 표시하게 하고, 상기 제2 계층 구조는 상기 선택된 데이터베이스 컨텐츠 공급자들과 연관되고 상기 스크러버에 의해 나타내어진 상기 연대기 카테고리들 중 하나 내에서 연관되는 상기 질의 결과들과 연관되는 주제들의 리스트를 포함하는 것인, 컴퓨터 판독 가능 매체.
  80. 제79항에 있어서,
    상기 명령어들은, 실행시, 상기 최종-사용자 디바이스로 하여금, 상기 제2 계층 구조의 주제들 중 하나의 선택을 수신하는 것에 응답하여, 제3 계층 구조를 제3 윈도우에 표시하게 하고, 상기 제2 계층 구조는 상기 선택된 주제와 연관되고 상기 스크러버에 의해 나타내어지는 상기 연대기 카테고리들 중 하나 내에서 연관되는 엔트리들의 유니폼 리소스 로케이터들의 리스트를 포함하는 것인, 컴퓨터 판독 가능 매체.
  81. 방법으로서,
    프로세서로, 복수의 데이터베이스 컨텐츠 공급자들로부터의 엔트리들에 대한 레코드들 - 상기 레코드들은 상기 엔트리들에 포함된 주제들 및 상기 엔트리들과 연관된 날짜들을 식별함 - 을 생성하는 단계;
    상기 주제들 간의 유사도를 결정하기 위해 상기 복수의 데이터베이스 컨텐츠 공급자들로부터의 상기 엔트리들을 분석하는 단계;
    최종-사용자 디바이스로부터 검색 주제를 포함하는 질의를 수신하는 것에 응답하여,
    데이터베이스로부터, 상기 검색 주제 및 상기 검색 주제와 유사도를 갖는 관련 주제들을 식별하는 레코드들을 리트리브하는 단계;
    상기 프로세서로, 상기 대응하는 엔트리들과 연관된 날짜들에 기초하여 상기 레코드들을 연대기 카테고리들 - 상기 연대기 카테고리들의 각각의 하나는 상이한 기간을 나타냄 - 로 조직화하는 단계;
    상기 각각의 연대기 카테고리들에 대해, 상기 프로세서로 질의 결과 - 상기 질의 결과는 상기 레코드들과 연관된 상기 엔트리들의 속성들에 기초하여 상기 레코드들을 계층 구조들로 조직화함 - 를 생성하는 단계; 및
    상기 질의 결과를 상기 최종-사용자 디바이스에 전송하는 단계
    를 포함하는, 방법.
  82. 제81항에 있어서,
    상기 계층 구조들은 적어도 제1 계층 구조들, 제2 계층 구조들, 및 제3 계층 구조들을 포함하는 것인, 방법.
  83. 제82항에 있어서,
    상기 질의 결과를 상기 계층 구조들로 조직화하는 단계는,
    상기 복수의 데이터베이스 컨텐츠 공급자들 중 어느 것이 상기 레코드들과 연관되는지에 기초하여 상기 레코드들을 상기 제1 계층 구조들로 조직화하는 단계;
    상기 제1 계층 구조들의 상기 복수의 데이터베이스 컨텐츠 공급자들 각각에 대해, 상기 대응하는 주제들에 기초하여 상기 레코드들을 상기 제2 계층 구조들로 조직화하는 단계; 및
    상기 제2 계층 구조들의 상기 주제들 각각에 대해, 상기 레코드들과 연관된 상기 엔트리들의 카테고리에 기초하여 상기 레코드들을 상기 제3 계층 구조들로 조직화하는 단계
    를 포함하는 것인, 방법.
  84. 제81항에 있어서,
    상기 복수의 데이터베이스 컨텐츠 공급자들로부터의 엔트리들에 대한 레코드들을 생성하는 단계는, 상기 엔트리들 각각에 대해,
    상기 엔트리가 이미지인지 여부를 결정하는 단계; 및
    상기 엔트리가 이미지인 것에 응답하여, 상기 이미지에 포함된 메타데이터, 상기 이미지에 대해 수행된 이미지 인식, 또는 상기 이미지가 사용되는 항목들 중 적어도 하나에 기초하여 상기 이미지와 연관된 주제들을 결정하는 단계
    를 포함하는 것인, 방법.
  85. 제81항에 있어서,
    상기 연대기 카테고리들과 연관된 기간은 상기 리트리브된 레코드들과 연관된 날짜들의 수 및 상기 리트리브된 레코드들과 연관된 날짜들의 클러스터링에 기초하는 것인, 방법.
  86. 제81항에 있어서,
    상기 주제들 중 어느 것이 상기 엔트리들에 포함되는지를 식별하기 위해 주제 데이터베이스의 엔트리들 매치 주제 레코드들에서 단어들을 비교하는 단계를 포함하는, 방법.
  87. 제86항에 있어서,
    상기 주제 데이터베이스에 추가될 잠재적인 주제들을 결정하기 위해 상기 복수의 데이터베이스 컨텐츠 공급자들로부터의 엔트리들을 분석하는 단계를 포함하는, 방법.
  88. 시스템으로서,
    명령어들을 포함하는 메모리; 및
    상기 메모리에 통신 가능하게 커플링된 프로세서
    를 포함하고,
    상기 명령어들은, 실행시, 상기 프로세서로 하여금,
    복수의 데이터베이스 컨텐츠 공급자들로부터의 엔트리들에 대한 레코드들 - 상기 레코드들은 상기 엔트리들에 포함된 주제들 및 상기 엔트리들과 연관된 날짜들을 식별함 - 을 생성하게 하고;
    상기 주제들 간의 유사도를 결정하기 위해 상기 복수의 데이터베이스 컨텐츠 공급자들로부터의 상기 엔트리들을 분석하게 하고;
    최종-사용자 디바이스로부터 검색 주제를 포함하는 질의를 수신하는 것에 응답하여,
    데이터베이스로부터, 상기 검색 주제 및 상기 검색 주제와 유사도를 갖는 관련 주제들을 식별하는 레코드들을 리트리브하게 하고;
    상기 대응하는 엔트리들과 연관된 날짜들에 기초하여 상기 레코드들을 연대기 카테고리들 - 상기 연대기 카테고리들의 각각의 하나는 상이한 기간을 나타냄 - 로 조직화하게 하고;
    상기 각각의 연대기 카테고리들에 대해, 상기 프로세서로 질의 결과 - 상기 질의 결과는 상기 레코드들과 연관된 상기 엔트리들의 속성들에 기초하여 상기 레코드들을 계층 구조들로 조직화함 - 를 생성하게 하고;
    상기 질의 결과를 상기 최종-사용자 디바이스에 전송하게
    하는 것인, 시스템.
  89. 제88항에 있어서,
    상기 계층 구조들은 적어도 제1 계층 구조들, 제2 계층 구조들, 및 제3 계층 구조들을 포함하는 것인, 시스템.
  90. 제89항에 있어서,
    상기 질의 결과를 상기 계층 구조들로 조직화하기 위해, 상기 프로세서는,
    상기 복수의 데이터베이스 컨텐츠 공급자들 중 어느 것이 상기 레코드들과 연관되는지에 기초하여 상기 레코드들을 상기 제1 계층 구조들로 조직화하고;
    상기 제1 계층 구조들의 상기 복수의 데이터베이스 컨텐츠 공급자들 각각에 대해, 상기 대응하는 주제들에 기초하여 상기 레코드들을 상기 제2 계층 구조들로 조직화하고;
    상기 제2 계층 구조들의 상기 주제들 각각에 대해, 상기 레코드들과 연관된 상기 엔트리들의 카테고리에 기초하여 상기 레코드들을 상기 제3 계층 구조들로 조직화
    하는 것인, 시스템.
  91. 제88항에 있어서,
    상기 복수의 데이터베이스 컨텐츠 공급자들로부터의 상기 엔트리들에 대한 상기 레코드들을 생성하기 위해, 상기 프로세서는, 상기 엔트리들 각각에 대해,
    상기 엔트리가 이미지인지 여부를 결정하고;
    상기 엔트리가 이미지인 것에 응답하여, 상기 이미지에 포함된 메타데이터, 상기 이미지에 대해 수행된 이미지 인식, 또는 상기 이미지가 사용되는 항목들 중 적어도 하나에 기초하여 상기 이미지와 연관된 주제들을 결정
    하는 것인, 시스템.
  92. 제88항에 있어서,
    상기 연대기 카테고리들과 연관된 기간은 상기 리트리브된 레코드들과 연관된 날짜들의 수 및 상기 리트리브된 레코드들과 연관된 날짜들의 클러스터링에 기초하는 것인, 시스템.
  93. 제88항에 있어서,
    상기 프로세서는, 상기 주제들 중 어느 것이 상기 엔트리들에 포함되는지를 식별하기 위해 주제 데이터베이스의 엔트리들 매치 주제 레코드들에서 단어들을 비교하는 것인, 시스템.
  94. 제93항에 있어서,
    상기 프로세서는, 상기 주제 데이터베이스에 추가될 잠재적인 주제들을 결정하기 위해 상기 복수의 데이터베이스 컨텐츠 공급자들로부터의 엔트리들을 분석하는 것인, 시스템.
  95. 명령어들을 포함하는 유형의 컴퓨터 판독 가능 매체로서,
    상기 명령어들은, 실행시, 서버로 하여금,
    복수의 데이터베이스 컨텐츠 공급자들로부터의 엔트리들에 대한 레코드들 - 상기 레코드들은 상기 엔트리들에 포함된 주제들 및 상기 엔트리들과 연관된 날짜들을 식별함 - 을 생성하게 하고;
    상기 주제들 간의 유사도를 결정하기 위해 상기 복수의 데이터베이스 컨텐츠 공급자들로부터의 상기 엔트리들을 분석하게 하고;
    최종-사용자 디바이스로부터 검색 주제를 포함하는 질의를 수신하는 것에 응답하여,
    데이터베이스로부터, 상기 검색 주제 및 상기 검색 주제와 유사도를 갖는 관련 주제들을 식별하는 레코드들을 리트리브하게 하고;
    상기 대응하는 엔트리들과 연관된 날짜들에 기초하여 상기 레코드들을 연대기 카테고리들 - 상기 연대기 카테고리들의 각각의 하나는 상이한 기간을 나타냄 - 로 조직화하게 하고;
    상기 각각의 연대기 카테고리들에 대해, 프로세서로 질의 결과 - 상기 질의 결과는 상기 레코드들과 연관된 상기 엔트리들의 속성들에 기초하여 상기 레코드들을 계층 구조들로 조직화함 - 를 생성하게 하고;
    상기 질의 결과를 상기 최종-사용자 디바이스에 전송하게
    하는 것인, 컴퓨터 판독 가능 매체.
  96. 제95항에 있어서,
    상기 계층 구조들은 적어도 제1 계층 구조들, 제2 계층 구조들, 및 제3 계층 구조들을 포함하는 것인, 컴퓨터 판독 가능 매체.
  97. 제96항에 있어서,
    상기 명령어들은, 실행시, 상기 서버로 하여금,
    상기 복수의 데이터베이스 컨텐츠 공급자들 중 어느 것이 상기 레코드들과 연관되는지에 기초하여 상기 레코드들을 상기 제1 계층 구조들로 조직화하게 하고;
    상기 제1 계층 구조들의 상기 복수의 데이터베이스 컨텐츠 공급자들 각각에 대해, 상기 대응하는 주제들에 기초하여 상기 레코드들을 상기 제2 계층 구조들로 조직화하게 하고;
    상기 제2 계층 구조들의 상기 주제들 각각에 대해, 상기 레코드들과 연관된 상기 엔트리들의 카테고리에 기초하여 상기 레코드들을 상기 제3 계층 구조들로 조직화하게
    하는 것인, 컴퓨터 판독 가능 매체.
  98. 제95항에 있어서,
    상기 복수의 데이터베이스 컨텐츠 공급자들로부터의 상기 엔트리들에 대한 상기 레코드들을 생성하기 위해, 상기 엔트리들의 각각에 대해, 상기 명령어들은 상기 서버로 하여금,
    상기 엔트리가 이미지인지 여부를 결정하게 하고;
    상기 엔트리가 이미지인 것에 응답하여, 상기 이미지에 포함된 메타데이터, 상기 이미지에 대해 수행된 이미지 인식, 또는 상기 이미지가 사용되는 항목들 중 적어도 하나에 기초하여 상기 이미지와 연관된 주제들을 결정하게
    하는 것인, 컴퓨터 판독 가능 매체.
  99. 제95항에 있어서,
    상기 연대기 카테고리들과 연관된 기간은 상기 리트리브된 레코드들과 연관된 날짜들의 수 및 상기 리트리브된 레코드들과 연관된 날짜들의 클러스터링에 기초하는 것인, 컴퓨터 판독 가능 매체.
  100. 제95항에 있어서,
    상기 명령어들은, 실행시, 상기 서버로 하여금,
    상기 주제들 중 어느 것이 상기 엔트리들에 포함되는지를 식별하기 위해 주제 데이터베이스의 엔트리들 매치 주제 레코드들에서 단어들을 비교하게 하고;
    상기 주제 데이터베이스에 추가될 잠재적인 주제들을 결정하기 위해 복수의 데이터베이스 컨텐츠 공급자들로부터의 엔트리들을 분석하게
    하는 것인, 컴퓨터 판독 가능 매체.
  101. 방법으로서,
    최종-사용자 디바이스의 디스플레이 상에, 맵 지오메트리 데이터를 제시하는 단계;
    스크러버 트랙, 위치 마커, 및 복수의 이벤트 포인트들 - 상기 복수의 이벤트 포인트들은 연대기 카테고리들을 나타냄 - 을 제시하는 단계;
    표시(indicia)와 연관된 타임스탬프에 대응하는 연대기 카테고리들 중 하나가 상기 복수의 이벤트 포인트들 중 연관된 하나에 대응하는 상기 스크러버 트랙 상의 상기 위치 마커의 위치에 의해 선택될 때, 상기 표시된 맵 지오메트리 데이터에 상기 표시 - 상기 표시는 각각 이벤트와 연관됨 - 를 표시하는 단계;
    입력 디바이스로, 상기 표시 중 하나의 선택을 수신하는 것에 응답하여, 상기 대응하는 이벤트와 관련된 주제를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계; 및
    상기 선택된 표시에 관련된 상기 증강 현실 플랫폼 엔티티로부터 수신된 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하는 단계
    를 포함하는, 방법.
  102. 방법으로서,
    최종-사용자 디바이스의 디스플레이 상에, 상기 최종-사용자 디바이스의 카메라에 의해 캡처되는 라이브 이미지 데이터를 제시하는 단계;
    상기 최종-사용자 디바이스의 자세 - 상기 자세는 상기 최종-사용자 디바이스의 위치를 포함함 - 를 결정하는 단계;
    증강 현실 플랫폼 엔티티에 상기 최종-사용자 디바이스의 자세를 전송하는 단계;
    상기 최종-사용자 디바이스의 자세에 기초하여 상기 이미지 데이터에서 운동 선수들에 대한 추적 데이터를 수신하는 단계;
    상기 최종-사용자 디바이스의 카메라에 의해 캡처되는 상기 라이브 이미지 데이터의 상기 운동 선수들의 위치들 상에 상기 추적 데이터를 중첩시키는 단계;
    상기 운동 선수들 중 하나의 선택을 수신하는 것에 응답하여, 상기 선택된 운동 선수의 아이덴티티를 포함하는 증강 현실 플랫폼 엔티티에 질의를 전송하는 단계; 및
    상기 선택된 운동 선수에 관련된 상기 증강 현실 플랫폼 엔티티로부터 수신된 질의 결과에 포함된 레코드들과 연관된 복수의 계층 구조들 중 제1 계층 구조를 표시하는 단계
    를 포함하는, 방법.
KR1020197019664A 2016-12-06 2017-12-05 연대기-기반 검색 엔진을 위한 시스템 및 방법 KR20190093624A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662430584P 2016-12-06 2016-12-06
US62/430,584 2016-12-06
US201762556916P 2017-09-11 2017-09-11
US62/556,916 2017-09-11
PCT/US2017/064749 WO2018106717A1 (en) 2016-12-06 2017-12-05 Systems and methods for a chronological-based search engine

Publications (1)

Publication Number Publication Date
KR20190093624A true KR20190093624A (ko) 2019-08-09

Family

ID=62491610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197019664A KR20190093624A (ko) 2016-12-06 2017-12-05 연대기-기반 검색 엔진을 위한 시스템 및 방법

Country Status (5)

Country Link
US (3) US11551441B2 (ko)
EP (2) EP3552387A4 (ko)
KR (1) KR20190093624A (ko)
CA (1) CA3046329A1 (ko)
WO (1) WO2018106717A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239725B (zh) * 2016-03-29 2020-10-16 阿里巴巴集团控股有限公司 一种信息展示方法、装置及***
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US11115615B1 (en) * 2018-02-26 2021-09-07 Amazon Technologies, Inc. Augmented reality display of local information
US11061919B1 (en) * 2018-07-13 2021-07-13 Dhirj Gupta Computer-implemented apparatus and method for interactive visualization of a first set of objects in relation to a second set of objects in a data collection
WO2020076964A1 (en) * 2018-10-09 2020-04-16 iDiscovery Solutions, Inc. System and method of data transformation
JP7155293B2 (ja) * 2019-11-06 2022-10-18 グーグル エルエルシー ジオリファレンス情報について現実世界をクエリするための画像センサの使用
FR3104766B1 (fr) * 2019-12-13 2023-03-24 Thales Sa Procede de gestion d'une fonction de recherche d'elements dans une base de donnees geolocalisees ; programme d'ordinateur, dispositif electronique de gestion et systeme d'interface homme-machine associes
FR3104765B1 (fr) * 2019-12-13 2022-12-30 Thales Sa Procede ameliore de gestion d'une fonction de recherche d'elements dans une base de donnees geolocalisees ; programme d'ordinateur, dispositif electronique de gestion et systeme d'interface homme-machine associes
US12028709B2 (en) * 2020-05-04 2024-07-02 Getac Technology Corporation Remote triggering of events by personal devices
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
GB2604324A (en) * 2021-01-21 2022-09-07 Tekkpro Ltd A system for pointing to a web page
US20220261453A1 (en) * 2021-02-13 2022-08-18 Kevin Bilberry Real Estate Search TV Channel
US12038990B2 (en) * 2021-03-16 2024-07-16 Here Global B.V. Data augmentation with on demand entity matching
US11669582B2 (en) * 2021-03-24 2023-06-06 Rookie Road, Inc. Systems and methods for automatic resource replacement
US11893990B2 (en) * 2021-09-27 2024-02-06 Sap Se Audio file annotation

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7515756B2 (en) * 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
US7565004B2 (en) * 2003-06-23 2009-07-21 Shoestring Research, Llc Fiducial designs and pose estimation for augmented reality
US20050108026A1 (en) * 2003-11-14 2005-05-19 Arnaud Brierre Personalized subtitle system
US8982110B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
WO2006103662A2 (en) * 2005-03-29 2006-10-05 Sportvu Ltd. Real-time objects tracking and motion capture in sports events
US9683853B2 (en) * 2009-01-23 2017-06-20 Fuji Xerox Co., Ltd. Image matching in support of mobile navigation
US20160182971A1 (en) * 2009-12-31 2016-06-23 Flickintel, Llc Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
US9910866B2 (en) * 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
KR20120085474A (ko) 2011-01-24 2012-08-01 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US8963957B2 (en) * 2011-07-15 2015-02-24 Mark Skarulis Systems and methods for an augmented reality platform
US9342217B2 (en) * 2011-09-23 2016-05-17 Sap Se Concentric hierarchical list browser
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
WO2013079098A1 (en) * 2011-11-29 2013-06-06 Layar B.V. Dynamically configuring an image processing function
US8886655B1 (en) * 2012-02-10 2014-11-11 Google Inc. Visual display of topics and content in a map-like interface
US9743119B2 (en) * 2012-04-24 2017-08-22 Skreens Entertainment Technologies, Inc. Video display system
EP2657882A1 (en) * 2012-04-27 2013-10-30 Layar B.V. Reference image slicing
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
US9367870B2 (en) * 2012-10-05 2016-06-14 Sap Se Determining networked mobile device position and orientation for augmented-reality window shopping
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
EP2972561A1 (en) * 2013-03-15 2016-01-20 Huntington Ingalls Incorporated System and method for providing secure data for display using augmented reality
US10275642B2 (en) * 2013-07-12 2019-04-30 DISH Technologies L.L.C. Context-sensitive information presentation
US20150053067A1 (en) * 2013-08-21 2015-02-26 Michael Goldstein Providing musical lyrics and musical sheet notes through digital eyewear
IN2013MU03298A (ko) * 2013-10-21 2015-07-17 Tektronix Inc
US9569547B2 (en) * 2013-12-31 2017-02-14 Google Inc. Generating a news timeline
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
US9538225B2 (en) * 2014-08-06 2017-01-03 At&T Intellectual Property I, L.P. System and method for processing commerce events
US9288533B1 (en) * 2014-10-07 2016-03-15 At&T Intellectual Property I, Lp System and method for delivering interactive trigger events
US9852132B2 (en) * 2014-11-25 2017-12-26 Chegg, Inc. Building a topical learning model in a content management system
US9792956B2 (en) * 2015-02-20 2017-10-17 Tribune Broadcasting Company, Llc Use of program-schedule text and closed-captioning text to facilitate selection of a portion of a media-program recording
US10075693B2 (en) * 2015-04-29 2018-09-11 Han Jin Embedding calibration metadata into stereoscopic video files
US10157333B1 (en) * 2015-09-15 2018-12-18 Snap Inc. Systems and methods for content tagging
US10254546B2 (en) * 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US10205890B2 (en) * 2016-07-25 2019-02-12 Ford Global Technologies, Llc Systems, methods, and devices for rendering in-vehicle media content based on vehicle sensor data
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
WO2018093923A1 (en) * 2016-11-16 2018-05-24 Magic Leap, Inc. Mixed reality system with reduced power rendering
US10878628B2 (en) 2019-03-22 2020-12-29 Cesium GS, Inc. System and method for converting massive, single-material mesh datasets to a hierarchical format
US10872469B2 (en) 2019-03-22 2020-12-22 Cesium GS, Inc. System and method for subdividing large polygon mesh datasets into hierarchical subsets for level-of-detail use
US11012531B2 (en) 2019-04-23 2021-05-18 Cesium GS, Inc. Systems and methods for culling requests for hierarchical level of detail content over a communications network
US11184285B2 (en) 2019-04-23 2021-11-23 Cesium GS, Inc. Systems and methods for prioritizing requests for hierarchical level of detail content over a communications network

Also Published As

Publication number Publication date
EP4270972A2 (en) 2023-11-01
CA3046329A1 (en) 2018-06-14
EP3552387A4 (en) 2020-04-22
WO2018106717A1 (en) 2018-06-14
EP3552387A1 (en) 2019-10-16
US20200097726A1 (en) 2020-03-26
US20230103581A1 (en) 2023-04-06
US11741707B2 (en) 2023-08-29
US20230360394A1 (en) 2023-11-09
EP4270972A3 (en) 2024-01-03
US11551441B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
US11741707B2 (en) Systems and methods for a chronological-based search engine
US10523768B2 (en) System and method for generating, accessing, and updating geofeeds
US10301023B2 (en) Drone device for news reporting
US10510129B2 (en) Selecting photographs for a destination or point of interest
US10068024B2 (en) Method and apparatus for correlating and viewing disparate data
US9658744B1 (en) Navigation paths for panorama
WO2009032814A2 (en) System and method for collecting and organizing popular near real-time data in a virtual geographic grid
US9215285B2 (en) Multi-point social media geotracker
EP3384693B1 (en) Immersive telepresence
KR20160055912A (ko) 높은 상세 레벨의 뉴스 지도들과 이미지 오버레이들
US9148471B2 (en) Format generalization of institutional content for mobile delivery
Baber et al. Supporting naturalistic decision making through location-based photography: A study of simulated military reconnaissance
Ma et al. On-demand information portals for disaster situations
TWM441889U (en) News database mapping system
CA2780336C (en) Multi-point social media geotracker
Chen Dimensions of the Use of Volunteered Geographic Information in Mass Crisis Events
Alzahrani Physical annotation systems: conceptualization and realization
KR20130087293A (ko) 집단지성 및 라이프로거 제공 방법 및 그 장치

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)