KR102514000B1 - 지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용 - Google Patents

지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용 Download PDF

Info

Publication number
KR102514000B1
KR102514000B1 KR1020207031921A KR20207031921A KR102514000B1 KR 102514000 B1 KR102514000 B1 KR 102514000B1 KR 1020207031921 A KR1020207031921 A KR 1020207031921A KR 20207031921 A KR20207031921 A KR 20207031921A KR 102514000 B1 KR102514000 B1 KR 102514000B1
Authority
KR
South Korea
Prior art keywords
interest
points
processors
pose data
user device
Prior art date
Application number
KR1020207031921A
Other languages
English (en)
Other versions
KR20210056946A (ko
Inventor
주안 데이비드 힌카피
안드레 르
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020237009733A priority Critical patent/KR20230042423A/ko
Publication of KR20210056946A publication Critical patent/KR20210056946A/ko
Application granted granted Critical
Publication of KR102514000B1 publication Critical patent/KR102514000B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 개시는 사용자에게 주변 관심 지점에 관한 정보를 제공하기 위해 디바이스의 하나 이상의 이미지 센서를 사용하는 시스템 및 방법을 제공한다. 이미지 센서는 이미지 센서의 시야에서 피처 및/또는 오브젝트를 검출하는데 사용될 수 있다. 디바이스의 위치 및 배향을 포함하는 포즈 데이터는 하나 이상의 검출된 피처 및/또는 오브젝트에 기초하여 결정된다. 포즈 데이터에 의존하는 지리적 영역 내에 있는 복수의 관심 지점이 결정된다. 예를 들어, 사용자 위치의 특정한 거리 내에 위치하는 것으로 알려진 관심 지점에 대한 매핑 데이터베이스를 쿼리함으로써 결정이 이루어질 수 있다. 그 다음, 디바이스는 복수의 관심 지점 중 하나 이상을 나타내는 정보를 사용자에게 제공한다.

Description

지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용
스마트폰 및 스마트워치를 포함한 많은 디바이스는 지리적 위치 검색을 제공한다. 각 디바이스는 관심 지점을 쿼리할 수 있는 네트워크에 연결될 수 있다. 일반적으로 사용자는 검색 필드의 텍스트 또는 음성 명령과 같은 입력을 제공하여 관심 지점을 쿼리해야 한다. 사용자는 관심 지점에 관한 정보를 얻기 위해 디스플레이와의 다수의 인터렉션, 텍스트 입력 등과 같은 다수의 입력을 제공해야 할 수 있다.
기존의 이미지 매칭 기반 검색 도구는 예를 들어 사용자의 휴대용 디바이스를 사용하여 캡처되었던 지리적 영역의 이미지 내에서 관심 지점에 대한 검색을 수행할 수 있다. 이미지 매칭 기반 검색 도구는 캡처된 이미지 또는 캡처된 이미지로부터 추출된 피처를 환경의 하나 이상의 이전에 캡처된 이미지 또는 그로부터 추출된 피처와 비교할 수 있다. 이러한 방식으로 캡처된 이미지 내의 오브젝트, 구조물 등은 이전에 캡처된 이미지(들)(예: 이전에 캡처된 이미지(들)과 관심 지점 간의 저장된 연관성에 의해)에 존재하는 것으로 알려진 건물, 랜드 마크 등의 관심 지점으로 인식될 수 있다. 캡처된 이미지에 존재하는 것으로 결정된 관심 지점과 관련된 정보는 사용자의 디바이스를 통해 출력될 수 있다. 이러한 이미지 매칭은 계산 집약적일 수 있다. 또한, 도구의 이미지 캡처 양태는 디바이스 화면(사용자가 캡처된 내용을 확인할 수 있도록)의 사용 및 연관된 전원/프로세싱 요구 사항을 요구할 수 있다. 또한 사용자가 정보를 필요로 하는 관심 지점을 적절하게 캡처하기 위해 카메라를 활성화한 다음 이미지를 적절하게 프레임화해야 하는 비교적 정확하고 시간이 많이 걸리는 사용자-디바이스 인터렉션이 필요할 수 있다.
본 개시의 한 양태는 하나 이상의 관심 지점을 나타내는 정보를 제공하기 위한 시스템을 제공한다. 예를 들어, 시스템은 하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는: 사용자 디바이스의 하나 이상의 이미지 센서의 사용으로부터 도출된 데이터에 기초하여 하나 이상의 이미지 센서에 의해 캡처된 하나 이상의 피처를 검출하고, 적어도 하나 이상의 검출된 피처에 기초하여, 상기 디바이스의 위치 및 배향을 포함하는 포즈 데이터를 결정하고, 상기 포즈 데이터에 기초하여 결정된 특정한 지리적 영역 내의 복수의 관심 지점을 결정하고; 그리고 상기 사용자 디바이스를 통해 상기 복수의 관심 지점 중 하나 이상을 나타내는 정보를 제공하도록 구성된다.
상기 지리적 영역은 상기 포즈 데이터에 포함된 상기 디바이스의 위치의 미리 정의된 거리 내에 있을 수 있다. 상기 지리적 영역은 포즈 데이터에 포함된 디바이스의 배향에 기초하여 미리 정의된 각도 범위 내에 있을 수 있다. 미리 정의된 각도 범위는 하나 이상의 이미지 센서의 시야보다 더 넓을 수 있다. 하나 이상의 이미지 센서는 사용자 디바이스의 가장자리에 위치될 수 있다.
복수의 관심 지점은 특정한 지리적 영역 내의 관심 지점에 대한 매핑 데이터베이스를 쿼리함으로써 결정될 수 있다. 상기 복수의 관심 지점은 상기 위치로부터 특정한 범위 내의 관심 지점에 대해 상기 매핑 데이터베이스에 쿼리함으로써 결정되고, 반환된 관심 지점은 상기 디바이스의 배향을 중심으로 각도 범위 외의 관심 지점이 배제되도록 필터링된다.
본 개시의 다른 양태는 하나 이상의 관심 지점을 나타내는 정보를 제공하기 위한 방법을 제공한다. 상기 방법은 하나 이상의 프로세서를 사용하여, 하나 이상의 이미지 센서로부터 데이터를 도출하는 단계를 포함한다. 상기 방법은 상기 하나 이상의 프로세서를 사용하여, 도출된 데이터에 기초하여, 특정한 지리적 영역에서 하나 이상의 피처를 검출하는 단계, 상기 하나 이상의 프로세서를 사용하여, 적어도 하나 이상의 검출된 피처에 기초하여, 상기 디바이스의 위치 및 배향을 포함하는 포즈 데이터를 결정하는 단계, 상기 하나 이상의 프로세서를 사용하여, 상기 포즈 데이터에 기초하여, 상기 특정한 지리적 영역 내의 복수의 관심 지점을 결정하는 단계, 및 상기 하나 이상의 프로세서를 사용하여, 피처를 검출함에 응답하여, 상기 복수의 관심 지점 중 하나 이상을 나타내는 정보를 제공하는 단계를 포함한다.
본 개시의 또 다른 양태는 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체에 대해 제공되며, 상기 명령어는 하나 이상의 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 사용자 디바이스의 하나 이상의 이미지 센서로부터 데이터를 도출하고, 상기 도출된 데이터에 기초하여, 특정한 지리적 영역에서 하나 이상의 피처를 검출하고, 적어도 하나 이상의 검출된 피처에 기초하여, 상기 디바이스의 위치 및 배향을 포함하는 포즈 데이터를 결정하고, 상기 포즈 데이터에 기초하여 상기 특정한 지리적 영역 내의 복수의 관심 지점을 결정하고, 그리고 상기 피처를 검출함에 응답하여, 상기 복수의 관심 지점 중 하나 이상을 나타내는 정보를 제공하게 한다.
도 1은 본 개시의 양태에 따른 예시적 디바이스를 도시하는 블록 다이어그램이다
도 2는 본 개시의 양태에 따른 예시적 시스템의 기능도이다.
도 3은 본 개시의 양태에 따른 예시적 디바이스의 사시도이다.
도 4는 본 개시의 양태에 따른 예시적 디바이스의 사용을 도시하는 그림 다이어그램이다.
도 5는 본 개시의 양태에 따른 디바이스의 시야를 도시하는 그림 다이어그램이다.
도 6a-6b는 본 개시의 양태에 따른 이미지 센서에 의해 캡처된 피처 및/또는 오브젝트를 도시한다.
도 7은 본 개시의 양태에 따라 디바이스의 위치를 결정하는 지도의 그림 다이어그램이다.
도 8은 본 개시의 양태에 따라 디바이스의 포즈 데이터를 결정하는 지도의 그림 다이어그램이다.
도 9는 본 개시의 양태에 따라 쿼리 영역을 결정하는 지도의 그림 다이어그램이다.
도 10a-10c는 본 개시의 양태에 따라 관심 지점에 관한 정보를 도시하는 그림 다이어그램이다.
도 11는 본 개시의 양태에 따른 도면이다.
도 12는 본 개시의 양태에 따른 흐름도이다.
본 개시는 하나 이상의 이미지 센서로부터의 센서 데이터에 응답하여, 하나 이상의 근처 관심 지점에 관한 정보를 제공하는 시스템에 관한 것이다. 보다 구체적으로, 이미지 센서는 이미지 센서의 시야에서 건물 또는 다리와 같은 구조물의 윤곽과 같은(이에 한정되지 않음) 피처 및/또는 오브젝트를 검출한다. 디바이스의 위치 및 배향을 포함하는 포즈 데이터는 하나 이상의 검출된 피처 및/또는 오브젝트에 기초하여 결정된다. 예를 들어, 포즈 데이터는 검출된 피처 및/또는 오브젝트를 인덱스 또는 데이터베이스에 저장된 피처와 비교함으로써 결정될 수 있다. 이러한 인덱스는 시각적 포지셔닝 시스템(VPS) 인덱스라고 할 수 있으며, "거리 레벨" 이미지의 집합에 기초하여 생성되었을 수 있다.
포즈 데이터에 기초하여 지리적 영역 내의 복수의 관심 지점이 결정될 수 있다. 예를 들어, 디바이스의 위치 따라서, 사용자 위치의 특정한 거리 내에 위치하는 것으로 알려진 관심 지점에 대한 매핑 데이터베이스를 쿼리함으로써 결정이 이루어질 수 있다. 그 다음, 디바이스는 복수의 관심 지점 중 하나 이상을 나타내는 정보를 사용자에게 제공할 수 있다.
도 1은 디바이스의 컴포넌트를 도시하는 예시적 블록 다이어그램의 예를 제공한다. 도시된 바와 같이, 디바이스(100)는 하나 이상의 프로세서(102), 메모리(104) 및 일반적으로 마이크로 프로세서, 범용 컴퓨터 등에 존재하는 다른 컴포넌트와 같은 다양한 컴포넌트를 포함한다. 디바이스(100)는 또한 입력(110), 출력(120) 및 센서(112)를 포함한다. 센서는 하나 이상의 이미지 센서(114), 가속도계(116) 및 글로벌 포지셔닝 시스템("GPS") 센서(118)를 포함할 수 있다.
하나 이상의 프로세서(102)는 상업적으로 이용 가능한 마이크로프로세서와 같은 일반적 프로세서일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 기타 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다. 도 1은 동일한 블록 내에 있는 것으로 디바이스(100)의 프로세서, 메모리 및 다른 요소를 기능적으로 도시하지만, 프로세서, 컴퓨팅 디바이스 또는 메모리가 실제로 다수의 프로세서, 컴퓨팅 디바이스, 동일한 물리적 하우징 내에 저장되거나 저장되지 않을 수 있는 메모리를 포함할 수 있다는 것을 통상의 기술자는 이해할 것이다. 유사하게, 메모리는 디바이스(100)의 하우징과 다른 하우징에 위치한 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 참조는 병렬로 동작하거나 동작하지 않을 수 있는 프로세서 또는 컴퓨팅 디바이스 또는 메모리의 집합에 대한 참조를 포함하는 것으로 이해될 것이다.
메모리(104)는 프로세서(102)에 의해 실행될 수 있는 명령어(106) 및 데이터(108)를 포함하는 프로세서(102)에 의해 액세스가능한 정보를 저장할 수 있다. 메모리(104)는 비일시적 컴퓨터 판독가능 매체 또는 하드 드라이브, 메모리 카드, 읽기 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 광학 디스크, 기타 쓰기 가능 및 읽기 전용 메모리와 같이, 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체를 포함하여 프로세서(102)에 의해 액세스가능한 정보를 저장하도록 동작하는 메모리 유형일 수 있다. 본 명세서에 개시된 발명은 전술한 것의 상이한 조합을 포함할 수 있으며, 이에 의해 명령어(106) 및 데이터(108)의 상이한 부분이 상이한 유형의 매체에 저장된다.
데이터(108)는 명령어(106)에 따라 프로세서(102)에 의해 검색, 저장 또는 수정될 수 있다. 예를 들어, 본 개시는 특정한 데이터 구조에 의해 제한되지 않지만, 데이터는 컴퓨팅 레지스터에, 복수의 상이한 필드 및 레코드를 갖는 테이블로서 관계형 데이터베이스, XML 문서 또는 플랫 파일에 저장될 수 있다. 데이터(108)는 또한 이진 값, ASCII 또는 유니코드와 같은(그러나 이에 한정되지 않음) 컴퓨터 판독가능 포맷으로 포맷팅될 수 있다. 예를 들어, 데이터(108)는 압축되거나 압축되지 않고 저장된 픽셀로 구성된 비트맵 또는 다양한 이미지 형식(예: JPEG), 벡터 기반 형식(예: SVG) 또는 그래픽 그리기를 위한 컴퓨터 명령어로 저장될 수 있다. 또한, 데이터(108)는 숫자, 설명 텍스트, 독점 코드, 포인터, 다른 네트워크 위치를 포함하여 다른 메모리에 저장된 데이터에 대한 참조 또는 관련 데이터를 계산하기 위해 함수에 의해 사용되는 정보와 같은 관련 정보를 식별하기에 충분한 정보를 포함할 수 있다.
명령어(106)는 프로세서(102)에 의해 머신 코드와 같이 직접 또는 스크립트와 같이 간접적으로 실행될 임의의 명령어 세트일 수 있다. 이와 관련하여, 용어 "명령어", "애플리케이션", "단계" 및 "프로그램"은 본 명세서에서 상호교환적으로 사용될 수 있다. 명령어는 프로세서에 의한 직접 프로세싱을 위해 객체 코드 포맷으로 저장될 수 있거나, 스크립트들 또는 필요에 따라 인터프리트되거나 미리 컴파일되는 독립적인 소스 코드 모듈의 집합을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 명령어의 기능, 방법 및 루틴은 아래에 자세히 설명되어 있다.
디바이스(100)는 입력(110)을 더 포함할 수 있다. 입력(110)은 예를 들어, 터치 센서, 다이얼, 버튼, 또는 수동 명령을 수신하기 위한 다른 제어일 수 있다. 입력(110)은 일부 예에서 마이크로폰일 수 있다. 디바이스(100)는 출력(120)을 또한 포함할 수 있다. 출력(120)은 예를 들어 스피커일 수 있다.
디바이스(100)는 센서(112)를 포함할 수 있다. 센서(112)는 디바이스(100) 주변의 피처 및/또는 오브젝트를 검출하기 위한 하나 이상의 이미지 센서(114)일 수 있다. 하나 이상의 이미지 센서(114)는 광학 신호를 전기 신호로 변환하여 디바이스(100) 주변의 피처 및/또는 오브젝트를 검출하거나 캡처할 수 있다. 하나 이상의 이미지 센서는 예를 들어 전하 결합 소자("CCD") 센서 또는 상보성 금속 산화물 반도체("CMOS") 센서일 수 있다. 하나 이상의 프로세서(102)는 적어도 하나의 검출된 피처 및/또는 오브젝트를 관심 지점으로 식별하기 위해 하나 이상의 이미지 센서(114)에 의해 검출된 피처 및/또는 오브젝트를 프로세싱할 수 있다. 하나 이상의 이미지 센서(114)는 디바이스(100)의 적어도 하나의 가장자리에 위치될 수 있다. 일부 예에서, 하나 이상의 이미지 센서(114)는 디바이스(100)의 뒷면에 위치될 수 있다.
센서(112)는 가속도계(116)를 포함할 수 있다. 예를 들어, 가속도계(116)는 디바이스(100)의 포즈 또는 배향을 결정할 수 있다. 일부 예에 따르면, 디바이스(100)는 디바이스의 내부 나침반에 기초한 방향 및 디바이스의 내부 가속도계(116)에 기초한 중력 벡터를 식별할 수 있다. 센서(112)는 GPS 센서(118) 또는 디바이스(100)의 위치를 결정하기 위한 다른 포지셔닝 요소를 더 포함할 수 있다. 디바이스의 위치는 디바이스(100)의 위도 및 경도 좌표일 수 있다.
디바이스(100)는 배터리, 배터리에 대한 충전 입력, 신호 프로세싱 컴포넌트 등과 같이 도시되지 않은 다른 컴포넌트를 포함할 수 있다는 것을 이해해야 한다. 이러한 컴포넌트는 또한 명령어(106)의 실행에 사용될 수 있다.
도 2는 본 명세서에 기술된 구성이 구현될 수 있는 예시적 시스템(200)을 도시한다. 본 명세서에 설명된 구성의 유용성 또는 개시의 범위를 제한하는 것으로 간주되어서는 안된다. 이 예에서, 시스템(200)은 복수의 디바이스(202, 212, 222, 232), 사용자(204, 214, 224, 234), 서버 컴퓨팅 디바이스(270), 저장 시스템(260) 및 네트워크(250)를 포함할 수 있다. 용이함을 위해, 디바이스(202, 212, 222, 232)의 집합 또는 단일 디바이스는 디바이스(들)(202)로 참조될 것이다. 또한 용이함을 위해, 사용자의 그룹(204, 214, 224, 234) 및 단일 사용자는 사용자(들)(204)로 참조될 것이다.
각각의 디바이스(202)는 각각의 사용자(204)에 의해 사용되도록 의도된 개인 컴퓨팅 디바이스일 수 있고, 하나 이상의 프로세서(예를 들어, 중앙 처리 디바이스(CPU)), 데이터 및 명령어를 저장하는 메모리(예: RAM 및 내부 하드 드라이브), 디스플레이(예: 화면을 포함한 모니터, 터치 스크린, 프로젝터, TV 또는 정보를 디스플레이할 수 있는 스마트워치와 같은 기타 디바이스) 및 사용자 입력 디바이스(예: 마우스, 키보드, 터치 스크린 또는 마이크로폰)를 포함하여, 디바이스(100)와의 관계와 관련하여 전술한 바와 같이, 개인 컴퓨팅 디바이스와 관련하여 일반적으로 사용되는 모든 컴포넌트를 가질 수 있다. 디바이스(202)는 또한 카메라, 스피커, 네트워크 인터페이스 디바이스 및 이들 요소를 서로 연결하는데 사용되는 모든 컴포넌트를 포함할 수 있다. 전술한 바와 같이, 디바이스(202)는 이미지 센서를 더 포함할 수 있다. 이미지 센서는 복수의 관심 지점(290)의 피처 및/또는 오브젝트를 캡처할 수 있다. 디바이스(202)는 네트워크(250)를 통해 데이터를 무선으로 교환 및/또는 획득할 수 있다.
디바이스(202)는 각각 인터넷과 같은 네트워크를 통해 서버와 데이터를 무선으로 교환할 수 있는 모바일 컴퓨팅 디바이스를 포함할 수 있지만, 대안적으로 풀사이즈 개인 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 디바이스는 모바일폰 또는 무선 지원 PDA, 태블릿 PC, 웨어러블 컴퓨팅 디바이스(예: 스마트워치, 헤드셋, 스마트 글래스, 가상 현실 플레이어, 기타 헤드 마운트 디스플레이 등) 또는 인터넷이나 기타 네트워크를 통해 정보를 얻을 수 있는 넷북과 같은 디바이스일 수 있다.
디바이스(202)는 네트워크(250)의 다양한 노드에 있을 수 있고, 네트워크(250)의 다른 노드와 직접 및 간접적으로 통신할 수 있다. 4개의 디바이스가 도 2에 도시되어 있지만, 일반적 시스템(200)은 하나 이상의 디바이스를 포함할 수 있으며, 각 컴퓨팅 디바이스는 네트워크(250)의 다른 노드에 있다는 것이 인식되어야 한다. 본 명세서에 설명된 네트워크(250) 및 개입 노드는 다양한 프로토콜 및 시스템을 사용하여 상호 연결될 수 있으므로, 네트워크는 인터넷, 월드 와이드 웹, 특정 인트라넷, 광역 네트워크 또는 로컬 네트워크의 일부일 수 있다. 네트워크(250)는 하나 이상의 회사에 독점적인 WiFi와 같은 표준 통신 프로토콜을 이용할 수 있다. 위에서 언급한 바와 같이, 정보가 전송되거나 수신될 때 특정 이점이 얻어지지만, 여기에 설명된 주제의 다른 양태는 임의의 특정 전송 방식으로 제한되지 않는다.
일례에서, 시스템(200)은 다른 컴퓨팅 디바이스와 데이터를 수신, 프로세싱 및 전송하기 위한 목적으로 네트워크의 다른 노드와 정보를 교환하는 로드 밸런싱된 서버 팜과 같은 복수의 컴퓨팅 디바이스를 갖는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 하나 이상의 서버 컴퓨팅 디바이스(270)는 네트워크(250)를 통해 하나 이상의 디바이스(202)와 통신할 수 있는 웹 서버일 수 있다. 또한, 서버 컴퓨팅 디바이스(270)는 네트워크(250)를 사용하여, 다른 디바이스(202) 중 하나의 사용자(204)에 정보를 전송하고 제시할 수 있다. 서버 컴퓨팅 디바이스(270)는 하나 이상의 프로세서, 메모리, 명령어 및 데이터를 포함할 수 있다. 이들 컴포넌트는 디바이스(100)에 대해 위에서 설명된 것과 동일하거나 유사한 방식으로 동작한다.
저장 시스템(260)은 다양한 유형의 정보를 저장할 수 있다. 예를 들어, 저장 시스템(260)은 공개적으로 접근 가능한 등급, 지도 데이터 등과 같은 관심 지점에 대한 정보를 저장할 수 있다. 저장 시스템(260)은 지도 데이터를 저장할 수 있다. 지도 데이터는 예를 들어 관심 지점의 위치를 포함할 수 있다. 이 정보는 본 명세서에 기술된 구성의 일부 또는 전부를 수행하기 위해 하나 이상의 서버 컴퓨팅 디바이스(270)와 같은 서비스 컴퓨팅 디바이스에 의해 검색되거나 그렇지 않으면 액세스될 수 있다.
도 3은 예시적 디바이스(300)를 도시한다. 이 예에서 디바이스(300)는 모바일폰이지만, 다른 예에서 디바이스는 다양한 상이한 유형 중 임의의 것일 수 있음을 이해해야 한다. 디바이스(300)는 입력, 디스플레이, 센서, 내부 전자 디바이스 및 출력을 포함할 수 있다.
입력은 디바이스(100)와 관련하여 설명된 것과 같은 사용자 입력(302)을 포함할 수 있다. 입력은 구두 명령 또는 오디오 입력을 수신하기 위한 마이크로폰(304)을 포함할 수 있다.
디스플레이(306)는 스크린, 터치스크린, 프로젝터 또는 텔레비전을 갖는 모니터와 같은 임의의 유형의 디스플레이일 수 있다. 도 3에 도시된 바와 같이, 디스플레이는 모바일 디바이스의 터치 스크린일 수 있다. 디바이스(300)의 디스플레이(306)는 그래픽 사용자 인터페이스("GUI") 또는 다른 유형의 사용자 인터페이스를 통해 사용자에게 정보를 전자적으로 디스플레이할 수 있다. 예를 들어, 아래에서 논의되는 바와 같이, 디스플레이(306)는 사용자를 둘러싼 관심 지점에 대응하는 정보를 전자적으로 디스플레이할 수 있다.
센서는 디바이스(100)와 관련하여 설명된 것을 포함하는 이미지 센서(308)를 포함할 수 있다. 일부 구현예에서, 이미지 센서(308)는 디바이스의 가장자리에 제공될 수 있다. 이미지 센서는 사용자가 디바이스를 잡고 디스플레이를 볼 때와 같이 디바이스가 사용 중일 때, 이미지 센서(308)의 시야가 디바이스를 둘러싼 오브젝트를 포함하도록 포지셔닝될 수 있다. 예를 들어, 시야는 사용자 앞에 있는 오브젝트를 포함할 수 있다. 이미지 센서(308)가 디바이스(300)의 가장자리, 예를 들어 상단 가장자리에 있으면, 이미지 센서(308)는 디바이스(300)를 사용자가 들고 있는 경우 자연스럽게 사용자로부터 멀어지고 현저한 피처 및/또는 오브젝트의 방향을 가리킨다. 3개의 이미지 센서(308)가 도시되어 있지만, 디바이스(300)는 임의의 수의 이미지 센서(308)를 가질 수 있다. 또한, 이미지 센서(308)가 디바이스(300)의 가장자리에 위치하는 것으로 도시되어 있지만, 이미지 센서(308)는 디바이스(300)의 뒷면, 디바이스(300)의 디스플레이(306) 측면 또는 다른 이미지 캡처 메커니즘의 부분과 같은 다른 곳에 위치될 수 있다. 따라서, 도 3에 도시된 이미지 센서(308)의 수 및 위치는 제한을 의미하지 않는다.
사용자는 이미지 센서(308)에 의한 이미지 감지를 활성화 또는 비활성화할 수 있으며, 디바이스는 사용자가 이 기능을 활성화한 경우에만 피처 및/또는 오브젝트를 검출할 수 있다. 일부 예에 따르면, 사용자는 익숙한 위치와 같은 특정한 위치에서 자동으로 비활성화되도록 이미지 센서(308)를 설정할 수 있다. 다른 예로서, 사용자는 실외와 같은 특정한 위치 또는 설정에서만 이미지 감지를 가능하게 하는 파라미터를 정의할 수 있다.
이미지 센서(308)는 이미지를 수신할 수 있는 임의의 센서일 수 있다. 이미지 센서(308)는 이미지 센서(308)의 시야 내에 있는 피처 및/또는 오브젝트를 캡처할 수 있다. 캡처된 피처/오브젝트에 관한 정보는 포즈 정보, 주변 관심 지점 등과 같은 추가 정보를 결정하는 데 사용될 수 있다.
3개의 이미지 센서(308)가 도 3에 도시되어 있지만, 추가적 또는 더 적은 이미지 센서가 포함될 수 있음을 이해해야 한다. 더욱이, 디바이스의 가장자리 또는 후면을 따라 이미지 센서의 포지션이 변경될 수 있다. 이미지 센서의 수와 포지션이 변함에 따라, 센서의 시야도 변할 수 있다.
캡처된 피처 및/또는 오브젝트는 디바이스(300)의 디스플레이(306)에 디스플레이될 필요가 없다. 일부 예에 따르면, 이미지 센서(308)에 의해 캡처된 피처 및/또는 오브젝트는 펌웨어를 떠나지 않을 수 있으며, 따라서 디바이스(300)에 사진 또는 이미지로 저장되지 않을 수 있다.
센서는 GPS 센서를 더 포함할 수 있다. GPS 센서는 디바이스의 위치에 대한 대략적인 표시를 제공할 수 있다. 이미지 센서(308)에 의해 캡처된 피처는 GPS 센서에 의해 표시된 위치를 정제하는데 사용될 수 있으며 그 반대의 경우도 마찬가지다. 일부 예에 따르면, GPS 데이터는 포즈 데이터를 결정할 때 시각적 포지셔닝 시스템("VPS") 인덱스의 어느 부분을 고려해야 하는지 결정하는데 사용될 수 있다. VPS는 인덱스의 다른 어느 부분이 다른 위치에 대응하는지 나타낼 수 있다.
센서는 가속도계를 추가로 포함할 수 있다. 가속도계는 디바이스의 포즈 또는 배향을 결정할 수 있다. 또한, 센서는 자이로스코프를 포함할 수 있다. 프로세서는 자이로스코프 데이터를 수신할 수 있고, 디바이스의 배향을 결정하기 위해 다른 센서 각각으로부터 수집된 데이터와 조합하여 자이로스코프 데이터를 프로세싱할 수 있다. 일부 예에서, 자이로스코프 데이터만으로 프로세서가 디바이스의 배향을 결정하기에 충분할 수 있다.
내부 전자 디바이스는 예를 들어 이미지 센서(308)에 의해 캡처된 피처 또는 오브젝트를 프로세싱하도록 적응된 하나 이상의 프로세서 또는 다른 컴포넌트를 포함할 수 있다. 캡처된 피처 또는 오브젝트는 포즈 데이터를 결정하기 위해 프로세싱될 수 있다. 포즈 데이터는 이미지 센서(308)에 의해 캡처된 주요 또는 현저한 피처에 기초할 수 있다. 검출된 피처 및/또는 오브젝트는 디바이스에 대한 포즈 데이터를 결정하기 위해 GPS 판독값 및/또는 가속도계 또는 기타 센서 판독값과 함께 사용될 수 있다. 포즈 데이터는 좌표와 같은 디바이스의 위치, 이미지 센서(308) 및 확장에 의해 디바이스(300) 및/또는 사용자가 향하는 방향과 같은 디바이스의 배향을 포함할 수 있다.
포즈 데이터는 디바이스를 둘러싼 영역 내에서 그리고 확장에 의해 사용자의 복수의 관심 지점을 결정하는데 사용될 수 있다. 내부 전자 디바이스는 예를 들어 디바이스(300)의 디스플레이(306)에서 사용자에게 관심 지점에 관한 정보를 제공할 수 있다.
출력(310)은 음악, 음성 또는 기타 오디오 콘텐츠의 재생과 같은 오디오를 출력하기 위한 하나 이상의 스피커를 포함할 수 있다. 일부 실시예에 따르면, 출력은 또한 디스플레이(306)일 수 있다.
도 4는 사용자가 디바이스를 들고 있고 이미지 센서가 이미지 센서의 시야에서 피처 및/또는 오브젝트를 캡처하는 예를 도시한다. 디바이스(402)은 본 명세서에 기술된 디바이스(300)와 유사할 수 있다. 사용자(404)는 관심 지점(410)으로부터 떨어진 거리가 "D"일 수 있다. 이미지 센서는 도시되지 않았지만 디바이스(402)의 상단 가장자리에 위치될 수 있다. 따라서, 사용자(404)가 디바이스(402)를 들고 있을 때, 이미지 센서는 사용자(404)의 시야에 있는 피처 및/또는 오브젝트를 캡처할 수 있다.
이미지 센서는 예를 들어 버스 정류장, 건물, 공원 등과 같은 영구적 및/또는 고유한 구조를 캡처할 수 있다. 보다 고유한 피처는 디바이스의 위치/배향을 특징화하는데 유용할 수 있으며, 영구적 피처는 이전에 캡처된 이미지에 기초하여 생성된 VPS 인덱스에서 표현될 가능성이 더 클 수 있다. 반대로 사람, 보도, 자동차, 나무 및 도로와 같이 덜 고유하거나 더 일시적인 이미지 센서에 의해 캡처된 피처는 포즈 데이터를 결정하기 위해 무시될 수 있다. 덜 고유한 피처는 디바이스의 위치와 배향을 결정하는데 도움이 되지 않을 수 있으며 일시적 피처는 VPS 인덱스에 표현될 가능성이 적다. 일부 구현예에서, 기계 학습은 포즈 데이터를 결정하기 위해 사용할 피처와 무시할 피처를 결정하는데 사용될 수 있다. 일부 예들에서, 관심 지점은 포즈 데이터에 의해 표시된 바와 같이 디바이스의 배향에 기초하여 결정될 수 있다. 예를 들어, 관심 지점은 사용자 디바이스 위치의 특정 범위 내에 있고 특정한 각도 범위 또는 디바이스의 배향에 기초한 범위 또는 배향 내에 있는 관심 지점으로부터 선택될 수 있다.
각각의 이미지 센서는 수직 시야를 가질 수 있다. 도 4는 디바이스의 상단 가장자리에 위치한 이미지 센서에 대한 수직 시야(406)를 도시한다. 수직 시야(406)는 미리 결정된 각도(408)에 의해 정의될 수 있다. 일부 예에서, 수직 시야(406)는 이미지 센서의 개구에 의해 결정될 수 있다. 도 4에 도시된 바와 같이, 수직 시야(406)에 기초한 이미지 센서는 관심 지점(410)의 전체 높이를 캡처하지 않을 수 있다.
수직 시야(406) 내에는 수직 시야 검색 각도가 있을 수 있다. 일부 예에 따르면, 수직 시야 검색 각도는 디바이스가 이미지 센서가 가리키는 피처 및/또는 오브젝트에 더 가깝거나 더 멀리 있는지에 따라 크기가 동적으로 변경될 수 있다. 더 많은 피처 및/또는 오브젝트를 캡처할 수 있도록 이미지 센서가 피처 및/또는 오브젝트에 더 가까울 때와 같이 거리 D가 더 작을 때 수직 시야 검색 각도가 증가할 수 있다. 수직 시야 검색 각도는 이미지 센서가 피처 및/또는 오브젝트로부터 멀어 질 때와 같이 거리 D가 더 클 때 캡처될 피처 및/또는 오브젝트의 양을 제한하기 위해 감소할 수 있다. 수직 시야 검색 각도는 각도(408)와 동일한 각도일 수 있다. 일부 예에서, 수직 시야 검색 각도는 각도(408)보다 크거나 작을 수 있다.
도 5는 디바이스의 수평 시야의 예를 도시한다. 도 4에 도시된 디바이스와 유사하게, 이미지 센서는 디바이스(502)의 상단 가장자리에 위치할 수 있다. 이미지 센서는 수평 시야(506)를 가질 수 있다. 수평 시야(506)는 미리 결정된 각도(508)에 의해 측정될 수 있다. 각도(508)는 디바이스(502)의 배향에 기초하여 중심에 있을 수 있다. 일부 예에 따르면, 미리 결정된 각도(508)는 30도일 수 있다. 일부 예에서, 각도(508)는 30도 초과 또는 30도 미만일 수 있다. 이는 사용자의 시야 내에 있는 관심 지점의 표시를 제공하는 역할을 할 수 있다.
수평 시야(506) 내에는 수평 관심 지점 검색 각도가 있을 수 있다. 수평 관심 지점 검색 각도는 피처 및/또는 관심 오브젝트와 비교하여 디바이스의 위치에 따라 크기가 변경될 수 있다. 예를 들어, 수평 관심 지점 검색 각도는 이미지 센서가 이미지 센서가 가리키는 피처 및/또는 오브젝트에 더 가깝거나 멀리 있는지 여부에 따라 동적으로 변경될 수 있다. 더 많은 피처 및/또는 오브젝트를 캡처할 수 있도록 이미지 센서가 피처 및/또는 오브젝트에 더 가까울 때와 같이 거리 D가 더 작을 때 수평 관심 지점 검색 각도가 증가할 수 있다. 수평 관심 지점 검색 각도는 이미지 센서가 피처 및/또는 오브젝트로부터 멀어 질 때와 같이 거리 D가 더 클 때 캡처될 피처 및/또는 오브젝트의 양을 제한하기 위해 감소할 수 있다. 수평 시야 검색 각도는 각도(508)와 동일한 각도일 수 있다. 일부 예에서, 수평 시야 검색 각도는 각도(508)보다 크거나 작을 수 있다.
이미지 센서가 시야(506)에서 피처 및/또는 오브젝트를 캡처할 때, 디바이스(502)의 내부 전자 디바이스는 자연스러운 포인팅 오프셋에 대한 포즈 보정을 제공할 수 있다. 예를 들어, 이미지 센서가 관심 지점의 방향을 가리키고 있을 때, 관심 지점은 부정확 한 조준과 같은 사용자 오류로 인해 시야(506) 밖에 놓일 수 있다. 일부 구현예에서, 검색 각도는 예를 들어 이미지 센서의 시야에 대응하는 각도 범위를 넘어 확장될 수 있다. 이는 관심 지점에서 이미지 센서를 가리키는 사용자의 부정확성을 보상하는 역할을 할 수 있다. 예를 들어, 시야(506)는 증가된 각도(520)에 의해 도시된 바와 같이 미리 결정된 양만큼 검색 각도를 증가시킬 수 있다. 일부 예에 따르면, 각도(508)는 각도(520)까지 10도만큼 증가할 수 있다. 10도 증가는 단지 예시이다. 검색 각도는 시야 각도(508)으로부터 증가할 수 있고, 2도, 5도, 7.5도, 20도 등으로 증가할 수 있다. 따라서, 일부 예에서, 검색 목적을 위해 이미지 센서의 시야(516)보다 더 큰 시야(518)가 있을 수 있다.
도 5에 도시된 바와 같이, 시야 내에 복수의 관심 지점(510)이 있을 수 있다. 관심 지점(510)은 박물관, 바, 카페 또는 레스토랑, 식품 가판대, 상점, 의료 시설, 랜드 마크 또는 임의의 기타 위치를 포함할 수 있다. 도 5에 도시된 바와 같이, 복수의 관심 지점에 대응하는 건물 행(511-516)이 서로 옆에 있을 수 있다. 이미지 센서의 시야(506)는 건물(513-515)만 캡처할 수 있다. 이미지 센서에 의해 캡처된 피처 및/또는 오브젝트와 디바이스의 포즈 데이터에 기초하여 관심 위치에 대한 영역을 검색할 때, 검색 영역이 검색 각도(518)에 대응하도록 시야(508)를 증가시켜 건물(512-515)을 캡처할 수 있다. 디바이스(502)의 프로세서는 자연스러운 포인팅 오프셋에 대한 포즈 보정을 제공하기 위해 디바이스와 시야(508) 내의 복수의 관심 지점 사이의 거리에 기초하여 시야(508)로부터의 검색 각도를 증가시킬 수 있다.
도 6a 및 6b는 관심 지점을 결정하기 위해 오브젝트를 캡처하고 분석하는 예를 도시한다. 도 6a에 도시된 바와 같이, 이미지 센서는 이미지 센서의 시야에서 피처 및/또는 오브젝트를 캡처할 수 있다. 캡처된(600) 건물(602-604)은 시야에서 현저한 피처 및/또는 오브젝트일 수 있다. 본 명세서에서 논의된 바와 같이, 보도, 자동차, 나무 및 사람과 같은 덜 구별되는 피처는 디바이스의 위치 및 배향, 따라서 관심 지점을 결정하는데 도움이 될 가능성이 적기 때문에 무시될 수 있다. 일부 예들에서, 캡처된(600) 피처 및/또는 오브젝트는 사용자에게 디스플레이되지 않을 수 있다. 캡처된(600) 피처 및/또는 오브젝트는 디바이스에 저장되지 않을 수 있다.
도 6b는 시야 내에서 검색 각도의 피처 및/또는 오브젝트가 분석되는 방법의 예를 도시한다. 예를 들어, 캡처된(600) 건물(602-604)은 각 건물(602-604)이 시야에서 차지하는 공간의 양을 결정하기 위해 분석될 수 있다. 일부 예에서, 디바이스는 각각의 건물(602-604)이 시야 내의 검색 각도에서 각각의 폭(612-614)을 갖는다고 결정할 수 있다. 폭은 이미지 센서에 의해 캡처된 관심 지점을 결정할 때 고려될 수 있다. 예를 들어, 관심 지점, 즉 건물(602-604)은 이미지 센서에 의해 캡처된 단일 지점 대신에 각각의 폭(612-614)에 기초하여 고려될 수 있다. 예를 들어 도 6b를 사용하면, 건물(603)의 폭(613)은 이미지 센서의 시야 내에서 검색 각도 내에 완전히 포함되고, 이미지 센서에 의해 캡처된 최대 폭이다. 빌딩(604)은 폭(613)보다 작지만 빌딩(602)의 폭(612)보다 큰 폭(614)을 갖는다. 각각의 폭(612-614)은 관심의 가능성이 있는 지점의 순위를 결정하는데 사용될 수 있다. 예를 들어, 이미지 센서의 시야 내에서 검색 각도에서 가장 많은 폭을 차지하는 관심 지점은 해당 지점이 이미지 센서가 가리키는 지점임을 나타낼 수 있다.
도 7은 디바이스 위치의 예를 도시한다. 가속도계, 이미지 센서 및 기타 센서와 함께 GPS 센서는 디바이스의 위치를 결정할 수 있다. 예를 들어, 센서는 디바이스가 지도(700)상의 특정 위치에 대응하는 위치 X에 있다고 결정할 수 있다. 그러나 센서의 불확실성으로 인해, 디바이스의 위치는 위치 X 및 주변 반경(702)으로 식별될 수 있다. 반경(702)은 디바이스의 정확한 위치의 불확실성을 보상하고, 복수의 관심 지점을 결정할 때 더 큰 검색 영역을 제공할 수 있다.
도 8은 디바이스의 포즈 데이터를 결정하는 예를 도시한다. 포즈 데이터는 디바이스의 위치와 디바이스의 배향을 포함할 수 있다. 센서는 이미지 센서가 가리키는 방향을 결정할 수 있다. 이미지 센서는 시야 각도(802)를 가질 수 있다. 예를 들어, 센서가 지도(800)에 도시된 바와 같이 디바이스가 X 위치에 있다고 결정하면, 이미지 센서에 의해 검출된 피처 및/또는 오브젝트는 GPS 센서 판독값 및 가속도계 판독값과 함께 디바이스의 배향을 결정할 수 있다. 예를 들어, 가속도계는 디바이스가 세로 포지션에서 가로 포지션으로 회전되었는지 여부를 결정할 수 있다. 따라서 센서는 이미지 센서가 정동과 같은 특정 방향을 가리키는 것으로 결정할 수 있다.
도 9는 디바이스의 포즈 데이터에 기초한 쿼리의 예를 도시한다. 이미지 센서의 시야에서 관심 지점을 결정하기 위해 한 방향 및/또는 다방향 쿼리가 수행될 수 있다. 시스템은 단방향 쿼리와 다방향 쿼리 중 하나 또는 둘 다를 수행할 수 있다.
디바이스 및 그에 따른 이미지 센서가 관심 지점(910, 911)에서 멀리 떨어져 있을 때 단방향 쿼리가 사용될 수 있다. 단방향 쿼리는 복수의 관심 지점(910, 911)을 결정하기 위해 이미지 센서의 시야(902) 내의 검색 각도 내의 피처 및/또는 오브젝트만을 사용할 수 있다. 예를 들어, 디바이스는 지도(900)에 표시된 바와 같이 위치 X에 있을 수 있다. 이미지 센서는 동쪽 방향을 가리킬 수 있다. 도시된 바와 같이, 디바이스의 위치 X는 관심 지점(910, 911) 건너편에 있다. 따라서, 일부 예에 따르면, 디바이스는 이미지 센서의 시야(904) 내의 검색 각도에 기초한 단방향 쿼리만을 사용하기 위해 관심 지점(910, 911)으로부터 충분히 멀리 떨어져 있을 수 있다.
디바이스 및 그에 따른 이미지 센서가 관심 지점에 가까울 때, 다방향 쿼리를 사용할 수 있다. 이 접근법은 관심 지점이 사용자에게 가까울수록 부정확한 디바이스/이미지 센서 포인팅의 효과가 더 뚜렷하다는 사실을 보상하는 역할을 할 수 있다. 이것은 또한 관심 지점에 가까울 때 이미지 센서에 의해 캡처되는 피처 및/또는 오브젝트가 많지 않을 수 있다는 사실을 보상할 수 있다. 다방향 쿼리는 센서의 시야 내에서 검색 각도뿐만 아니라 디바이스의 위치를 둘러싼 반경을 검색하여 수행될 수 있다. 예를 들어, 위치 X는 어떤 관심 지점을 식별해야하는지 결정하기 위해 임의의 특정한 관심 지점에 너무 가깝다고 결정될 수 있다. 디바이스는 관심 지점을 결정할 때 위치 X를 둘러싼 영역(904)을 검색하기 위해 다방향 쿼리를 사용할 수 있다. 다방향 쿼리는 이미지 센서의 시야(902) 내의 검색 각도에 있는 관심 지점(910, 911)을 식별할 수 있다. 일부 예에서, 다방향 쿼리는 또한 이미지 센서의 시야(902) 내의 검색 각도에 있지 않지만 대신 이미지 센서 뒤에 있을 수 있는 관심 지점(912, 913)을 식별할 수 있다.
일부 예에 따르면, 다방향 쿼리는 디바이스 위치로부터의 제1 거리 및 제1 각도 범위에 의해 정의된 제1 영역 내에 있는 관심 지점, 이에 더하여 제1 거리보다 큰 디바이스로부터의 제2 거리 및 제1 각도 범위보다 좁은 제2 각도 범위에 의해 정의된 제2 영역 내에 있는 관심 지점을 표시하는 것을 포함한다. 일 예에 따르면, 제1 각도 범위는 120 내지 360도 사이일 수 있고, 제1 거리는 1 내지 10미터 사이일 수 있다. 대조적으로, 제2 각도 범위는 20 내지 50도 사이일 수 있고 제2 거리는 10 내지 400 미터 사이일 수 있다. 일부 예들에서, 제1 각도 범위는 90도 내지 300도 사이일 수 있고, 제1 거리는 0.5 내지 8미터 사이일 수 있고; 제2 각도 범위는 12.5도에서 45도 사이일 수 있고 제2 거리는 8에서 350미터 사이일 수 있다. 각도 범위와 거리는 이미지 센서의 수와 포지션 및 이미지 센서의 사양에 기초할 수 있으므로 이러한 예는 제한을 의미하지 않는다.
이미지 센서에 의해 캡처된 피처 및/또는 오브젝트, 디바이스의 포즈 데이터 및 디바이스의 위치에 기초하여, 복수의 관심 지점이 식별되어 사용자에게 제공될 수 있다. 일부 예에 따르면, 관심 지점은 관련성 순으로 랭킹되고 디스플레이를 위해 제공될 수 있다. 예를 들어, 특정한 지리적 영역 내의 복수의 관심 지점이 결정된 후, 관심 지점에 대한 관련성 가중치가 계산될 수 있다. 관련성 가중치는 하나 이상의 기준에 기초하여 관심 지점을 랭킹하는데 사용될 수 있다. 이와 관련하여, 예를 들어, 가장 높은 순위의 관심 지점은 디바이스에 의해 출력으로 제공될 수 있다. 관련성 가중치는 포즈 데이터에 의해 표시된 위치로부터의 거리 및 관심 지점의 유형 중 하나 또는 둘 모두에 기초하여 결정될 수 있다. 일부 예에서, 관심 지점과 관련된 등급도 고려될 수 있다. 예를 들어 관련성 가중치는 다음과 같은 공식으로 계산할 수 있다.
가중치 = (거리 그룹 팩터 * 50) +(유형 팩터 * 10) + (등급 팩터 * 2)
거리 그룹 팩터는 디바이스와 관심 지점 사이의 미리 정의된 거리 임계치에 기초하여 결정될 수 있다. 예를 들어 디바이스에서 0m에서 50m 사이에 있는 관심 지점의 거리 그룹 팩터는 3일 수 있다. 디바이스에서 50m에서 175m 사이에 있는 관심 지점의 거리 그룹 팩터는 2일 수 있다. 디바이스에서 175m 이상 떨어진 관심 지점의 거리 그룹 팩터는 1일 수 있다. 거리 그룹과 그에 따라 제공된 팩터는 단지 예일뿐이므로 임의의 범위 및 임의의 팩터 수로 정의될 수 있다. 예를 들어, 0m에서 100m 사이에 있는 관심 지점은 거리 그룹 팩터 5를 가질 수 있고 100m에서 160m 사이에 있는 관심 지점은 거리 그룹 팩터 4를 가질 수 있다. 거리 임계치, 그에 따른 거리 그룹 팩터는 디바이스의 위치에 기초하여 정의될 수 있다. 예를 들어, 혼잡한 도시에서는, 관심 지점이 더 가까울 수 있으므로 거리 임계치가 감소할 수 있다. 시골 지역에서는, 관심 지점이 더 멀리 떨어져 있을 수 있으므로 거리 임계치가 증가할 수 있다. 거리 팩터는 선형 클러스터링 알고리즘을 사용하여 결정될 수 있다.
유형 팩터는 위치 또는 시설의 유형에 기초하여 결정될 수 있다. 예를 들어, 디바이스는 관심 지점이 박물관, 바, 카페 또는 레스토랑, 식품 가판대, 상점, 의료 시설, 랜드 마크 또는 기타 위치인지 여부를 고려할 수 있다. 디바이스는 어떤 유형의 장소가 쿼리될 가능성이 가장 높은지 파악할 수 있으므로 이러한 유형의 장소에 더 높은 유형 팩터를 부여한다. 예를 들어, 박물관은 유형 팩터 4를 반환할 수 있다; 자동차, 카페 또는 레스토랑은 3.5의 유형 팩터를 반환할 수 있다; 음식을 제공하지만 바가 아닌 장소, 카페 또는 레스토랑은 유형 팩터가 3일 수 있다; 상점의 유형 팩터는 2.5일 수 있고; 병원 또는 치과와 같은 의료 시설은 유형 팩터 2를 가질 수 있다; 미리 정의된 유형에 속하지 않는 다른 관심 지점은 유형 팩터 1을 가질 수 있다. 1의 유형 팩터를 기본 유형 팩터로 사용할 수 있다. 일부 예에서, 유형 팩터는 관심 지점이 시야에서 차지하는 공간의 백분율에 기초하여 결정될 수 있다. 따라서 박물관이나 백화점은 유형 팩터가 4이고 카페는 유형 팩터가 2일 수 있다. 유형 팩터는 관심 지점이 버스 정류장과 같은 투명인지 건물과 같은 솔리드인지 여부에 따라 결정될 수 있다. 시스템이 사용자가 쿼리할 가능성이 가장 높은 장소 유형을 학습함에 따라 유형 팩터가 변경될 수 있다. 예를 들어, 시스템은 각 관심 지점에 대한 유형 팩터를 지속적으로 업데이트하고 변경하기 위해 기계 학습을 수행할 수 있다.
동일한 거리 그룹 및/또는 유형 그룹 내에 있는 관심 지점은 추가로 랭킹될 수 있다. 예를 들어, 관련성 가중치는 다음과 같은 공식을 사용한 추가 계산을 포함할 수 있다.
그룹 내 상대 거리 = (1 - 정규화된 거리)
정규화된 거리는 다음과 같은 공식을 사용하여 계산될 수 있다.
정규화된 거리 = 최소값(사용자까지의 거리, 검색 범위)/검색 범위
일부 예에서, 최소값은 사용자까지의 거리와 검색 범위 사이에서 가장 작은 값일 수 있다. 이것은 오브젝트들 사이의 거리를 고려하고 거리에 작은 가중치만 제공할 수 있다.
사용자까지의 거리는 디바이스와 식별된 관심 지점 사이의 선형 또는 절대 거리에 의해 결정될 수 있다. 예를 들어 선형 거리는 "날아갈 때" 거리로 간주될 수 있어서, 거리가 디바이스와 관심 지점 사이의 도보 경로 또는 도보 거리에 따르지 않는다. 일부 예에서, 사용자까지의 거리는 사용자가 관심 지점에 도착하기 위해 걸어야 하는 거리에 의해 결정될 수 있다. 예를 들어, 사용자는 교통 패턴을 따르고, 건물을 통과하지 않고 보도를 걸어야 할 수 있다.
검색 범위는 디바이스, 동작 시스템, 내부 전자 디바이스 등에 의해 미리 설정된 범위에 기초하여 결정될 수 있다. 예를 들어, 검색 범위는 결정된 디바이스 위치 주변의 100미터 반경일 수 있다. 따라서 단방향 또는 다방향 쿼리를 수행할 때 검색은 반경 100m 이내의 관심 지점만 포함할 수 있다. 100 미터는 하나의 예일뿐이다. 검색 범위는 더 작거나 더 클 수 있다. 예를 들어 도시와 같이 혼잡한 장소에서는 검색에 의해 반환되는 관심 지점의 수를 제한하기 위해 검색 범위가 더 작을 수 있다. 시골 지역과 같이 혼잡하지 않은 장소에서는 검색에 의해 반환되는 관심 지점의 수를 늘리기 위해 검색 범위가 더 클 수 있다. 검색 범위는 사용자 입력없이 변경될 수 있다. 예를 들어, 검색 범위는 디바이스의 결정된 위치에 따라 변경될 수 있다.
등급 팩터는 공개적으로 이용 가능한 장소에 대해 적어도 하나의 사용자가 생성한 등급에 기초하여 결정될 수 있다. 예를 들어, 시스템은 각 관심 지점에 대해 공개적으로 이용 가능한 등급을 결정하기 위해 인터넷 리뷰 웹사이트를 쿼리할 수 있다.
일부 예에서, 관련성 가중치는 가시선, 관심 지점의 법선 벡터 및 각도 크기에 기초하여 추가로 계산될 수 있다. 가시선은 이미지 센서가 캡처하는 것을 포함할 수 있다. 따라서, 관련성 가중치는 이미지 센서 그에 따라 사용자의 가시선에 있는 관심 지점에, 가시선에서 거의 보이지 않거나 전혀 보이지 않는 관심 지점보다 더 많은 가중치를 줄 수 있다. 관심 지점의 법선 벡터는 관심 지점의 법선으로부터 각도 측정을 고려할 수 있다. 법선은 관심 지점의 파사드에 수직으로 취해진 선이다. 따라서 관련성 가중치는 법선으로부터의 각도를 고려할 수 있다. 법선으로부터의 각도가 클수록 이미지 센서가 관심 지점을 직접 가리키지 않을 수 있다. 법선으로부터의 각도가 작을수록 이미지 센서가 관심 지점을 직접 가리킬 가능성이 높다. 각도 크기는 각도로 측정된 시야에서 피처 및/또는 오브젝트의 크기를 포함할 수 있다. 이는 일부 예에서 피처 및/또는 오브젝트가 차지하는 시야의 양을 계산하는데 사용될 수 있다.
또 다른 예에서, 관련성 가중치는 사용자가 방문했거나 랭킹된 장소의 이전 이력에 기초하여 추가로 계산될 수 있다. 이전에 선택한 장소가 더 높은 순위가 될 수 있다. 관련성 가중치는 판매 또는 특별 판매가 있는 관심 지점에 기초하여 계산될 수 있다. 예를 들어, 백화점이 세일을 하고 있다면, 백화점은 세일을 하지 않는 창고형 스토어보다 순위가 더 높을 수 있다. 일부 예에서, 극장 또는 콘서트 장소와 같은 그날 이벤트가 있는 관심 지점은 이벤트의 날짜 및 시간에 기초하여 더 높은 순위를 매길 수 있다. 관련성 가중치 계산은 시야에서 관심 지점의 파사드 크기를 포함할 수 있다. 예를 들어, 더 큰 파사드는 시야에서 더 두드러질 수 있으므로 더 관련성이 있을 수 있다.
도 10a에 도시된 바와 같이, 관심 지점에 관한 정보는 디바이스의 디스플레이를 통해 보여질 수 있다. 디바이스(1000)는 디바이스(300)와 유사할 수 있다. 예를 들어, 디바이스(1000)는 입력(1002), 마이크로폰(1004), 디스플레이(1006), 하나 이상의 이미지 센서(1008) 및 출력(1010)을 포함할 수 있다. 이들 피처는 디바이스(300)와 관련하여 본 명세서에서 논의된 것과 유사할 수 있다.
디바이스는 예를 들어, 디바이스의 홈 화면 또는 디스플레이(1006)에 정보를 오버레이하여 사용자에게 관심 지점에 관한 정보를 제공할 수 있다. 정보는 목록, 지도, 지도에 대한 주석 등과 같은 다양한 방법으로 제공될 수 있다. 정보는 관련성 가중치, 사용자까지의 거리, 최고 평점 관심 지점, 가시성에 기초하여 정렬될 수 있다. 다른 예에 따르면, 정보는 디바이스의 하나 이상의 스피커 또는 디바이스와 페어링된 액세서리를 통해 오디오 데이터로 출력될 수 있다.
일부 예에 따르면, 관심 지점이 홍보될 수 있다. 관심 지점의 소유자 또는 광고주가 관심 지점을 홍보하기 위해 비용을 지불하면 관심 지점이 홍보될 수 있다. 홍보된 관심 지점은 홍보로 인해 가장 관련성이 높은 관심 지점으로 표시될 수 있다. 예를 들어, 관심 지점이 홍보되는 경우 관심 지점이 "홍보"로 표시되고 가장 관련성이 높은 관심 지점으로 나타날 수 있다. 홍보된 관심 지점은 계산된 관련성 가중치에 기초하여 가장 관련성 있는 관심 지점이 아닐 수 있음을 나타내기 위해, 홍보된 관심 지점은 "후원" 또는 "광고"로 표시될 수 있다.
일부 예에서, 디바이스는 감소된 또는 최소 사용자 입력으로 사용자에게 이 정보를 제공할 수 있다. 예를 들어, 사용자는 사용자 주변에서 관심 지점을 결정하기 위해 검색 쿼리를 실행하기 위해 디바이스에서 애플리케이션을 열 필요가 없을 수 있다(또는 일부 예에서 임의의 활성 입력을 제공). 일부 예에 따르면, 디바이스는 자동으로(또는 단일 사용자 입력에 기초하여) 이미지 센서의 시야를 쿼리하여 특정한 지리적 영역에서 관심 지점에 관한 정보를 결정하고 제공할 수 있다. 또한, 디바이스는 이미지 센서의 시야 및 복수의 관심 지점 각각에 주어진 관련성 가중치에 기초하여 사용자에게 더 관련성 있는 결과를 제공할 수 있다.
도 10a는 관심 지점에 관한 정보가 상세 목록으로 제공되는 예를 도시한다. 각각의 관심 지점은 디스플레이(1006)에 개별 장소 카드(1020-1024) 또는 버튼으로 제공될 수 있다. 예를 들어, 더 관련성 높은 관심 지점은 장소 카드(1020)로 표시된 레스토랑일 수 있다. 장소 카드(1020)는 결정된 디바이스 위치로부터의 거리 및 공개적으로 이용 가능한 등급을 포함하여 레스토랑에 대한 정보를 포함할 수 있다. 장소 카드(1020)는 사용자가 레스토랑에 관한 더 많은 정보를 찾을 수 있도록 사용자 입력을 위한 아이콘 역할을 하는 것과 같이 대화형일 수 있다. 일부 예들에서, 인터렉티브 장소 카드(1020)는 관심 지점과 관련된 빠른 액션을 허용할 수 있다. 예를 들어, 시스템은 빠른 액션을 허용하기 위해 관심 지점에 대한 서비스와 통합될 수 있다. 레스토랑의 경우 빠른 액션을 통해 사용자가 예약을 할 수 있다. 두 번째로 관련성이 높은 관심 지점은 장소 카드(1021)로 표시된 커피숍일 수 있다. 관련성 가중치를 계산하는 공식을 사용하면, 커피숍이 전면 파사드의 크기, 결정된 디바이스 위치로부터의 거리, 공개적으로 사용 가능한 등급 등으로 인해 두 번째로 관련성이 높은 곳일 수 있다. 장소 카드(1021) 커피숍에 대한 빠른 액션은 커피에 대한 모바일 주문을 하는 것일 수 있다. 예를 들어, 빠른 액션을 통해 사용자는 관심 지점에 들어 가지 않고도 주문하고 결제할 수 있다. 세 번째로 관련성이 높은 관심 지점은 장소 카드(1022)로 표시된 편의점일 수 있다. 네 번째로 가장 관련성이 높은 관심 지점은 장소 카드(1023)로 표시된 큰 상자 상점일 수 있다. 다섯 번째로 관련성이 높은 관심 지점은 장소 카드(1023)로 표시된 영화관일 수 있다. 영화관인 장소 카드(1023)에 대한 빠른 액션은 영화 티켓을 주문하는 것일 수 있다. 예를 들어, 빠른 액션을 통해 사용자는 영화 티켓을 주문하고 좌석을 선택할 수 있다. 디스플레이(1006)에 표시된 것보다 더 많은 관련 관심 지점이 있을 수 있다. 예를 들어, 디스플레이(1006)는 사용자가 추가 관심 지점을 보기 위해 목록을 스크롤 하는 터치 입력을 제공할 수 있도록 터치 활성화될 수 있다.
관심 장소가 나타나는 순서는 시스템이 사용자의 선택을 학습함에 따라 변경될 수 있다. 디바이스는 시간이 지남에 따라 특정 지리적 영역의 사용자가 특정 옵션을 지속적으로 선택한다는 것을 알 수 있으므로 디바이스가 특정 옵션을 승격할 수 있다. 예를 들어, 관련성 가중치 공식은 레스토랑, 커피숍, 편의점, 창고형 매장 및 영화관과 같이 관련성이 가장 높은 것부터 가장 관련성이 낮은 것 순으로 관심 지점의 순위를 매길 수 있다. 그러나 시간이 지남에 따라 시스템은 기계 학습을 통해 해당 순서의 관심 지점이 제시될 때 사용자가 레스토랑을 선택하는 것보다 더 자주 커피숍을 선택할 수 있음을 학습할 수 있다. 따라서 해당 위치의 향후 쿼리에 대해 시스템은 커피숍의 관련성 가중치가 레스토랑의 관련성 가중치보다 적더라도 가장 관련성이 높은 커피숍과 함께 관심 지점 목록을 제시할 수 있다.
도 10b는 관심 지점에 관한 정보가 주석이 달린 지도로서 제공되는 예를 도시한다. 예를 들어, 각 관심 지점은 지도(1030)에서 지점 A-F로 제공될 수 있다. 지도(1030) 아래에는 지점 A-F에 관한 정보가 제공될 수 있다. 예를 들어, 관심 지점의 이름 및/또는 유형이 지도상의 지점 A-F와 관련하여 표시될 수 있다. 일부 예에서, 지점 A는 가장 먼저 나열되기 때문에 가장 관련성이 높은 관심 지점으로 간주될 수 있다. 지도 1030의 A 지점은 식당, B 지점은 커피숍, C 지점은 편의점, D 지점은 창고형 매장, E 지점은 영화관, 지점 F는 카페에 대응할 수 있다.
사용자는 지도(1030)와 인터렉션할 수 있다. 예를 들어, 사용자는 지도(1030)를 확대 및/또는 축소할 수 있다. 일부 예들에서, 사용자는 관심 지점에 대한 더 많은 정보를 얻기 위해 관심 지점 중 하나의 지점 A-F를 선택할 수 있다. 예를 들어, 하나의 지점 A-F를 선택하면 관심 지점에서 디바이스의 결정된 위치까지의 거리, 관심 지점의 등급 등과 같은 정보가 디스플레이(1006)에 나타날 수 있다. 일부 예에서, 사용자는 지도(1030) 아래의 목록으로부터의 지점 A-F를 선택하여 해당 관심 지점에 관한 정보가 디스플레이(1006)에 나타나게 할 수 있다.
도 10c는 관심 지점에 관한 정보가 디스플레이에 제공되는 또 다른 예를 도시한다. 도시된 바와 같이, 관심 지점의 스트리트 뷰 이미지(1240)가 디스플레이(1006) 상에 제공될 수 있다. 각 관심 지점은 관심 지점을 식별하는 핀 A-C를 포함할 수 있다. 스트리트 뷰 이미지(1240) 아래에는, 핀 A-C에 대응하는 관심 지점 목록이 있을 수 있다. 다른 예에서와 같이, 사용자는 스트리트 뷰 이미지(1240) 또는 스트리트 뷰 이미지(1240) 아래에 제공된 목록으로부터 지점 A-C를 선택하여 선택된 관심 지점에 관한 더 많은 정보를 디스플레이할 수 있다.
도 11은 디바이스(1102), 서버(1104), VPS(1106) 및 데이터베이스(1108) 사이에서 발생할 수 있는 단계의 시퀀스를 도시한다. 예를 들어, 블록(1110)에서, 이미지 데이터는 디바이스(1102)의 하나 이상의 이미지 센서에 의해 감지될 수 있다.
블록(1112 및 1114)에서, 피처 및/또는 오브젝트가 이미지 데이터에서 검출될 수 있다. 예를 들어, 디바이스(1102)는 이미지 데이터로부터 피처 및/또는 오브젝트를 검출하거나 추출할 수 있다. 이미지 데이터(1112)로부터 검출된 피처 및/또는 오브젝트는 디바이스(1102)로부터 서버(1104) 또는 VPS(1106)에 전송될 수 있다. 검출된 피처가 디바이스(1102)에서 서버(1104)로 전송되는 예에서, 이미지 데이터(1114)로부터 검출된 피처 및/또는 오브젝트는 서버(1104)에서 VPS(1106)로 전송될 수 있다. 일부 예에서, 서버(1104) 또는 VPS(1106)는 이미지 데이터(1112, 1114)에서 피처 및/또는 오브젝트를 검출할 수 있다.
블록(1118)에서, VPS(1106)는 디바이스(1118)의 포즈 데이터를 서버(1104)에 전송할 수 있다. 디바이스(1118)의 포즈 데이터는 이미지 데이터(1112, 1114) 및 VPS 인덱스로부터 검출된 피처 및/또는 오브젝트에 기초할 수 있다. 예를 들어, VPS(1106)는 이미지 데이터(1112, 1114)로부터 검출된 피처 및/또는 오브젝트에 적어도 기초하여 디바이스의 위치 및 배향을 결정할 수 있다.
블록(1116)에서, 디바이스(1118)의 포즈 데이터는 복수의 관심 지점에 대한 매핑 데이터베이스를 쿼리하는데 사용될 수 있다.
블록(1118)에서, 포즈 데이터(1116)에 기초하여 결정된 복수의 관심 지점은 데이터베이스(1108)로부터 서버(1104)로 전송될 수 있다. 복수의 관심 지점은 디바이스(1102)의 위치 반경 내에 위치될 수 있다.
블록(1120)에서, 복수의 관심 지점이 필터링될 수 있다. 예를 들어, 디바이스 배향을 중심으로 하는 특정 각도 범위에 속하지 않는 관심 지점은 필터링되어 특정 각도 범위 내의 관심 지점만 반환되도록 할 수 있다. 특정 각도 범위는 관심 지점 검색 각도일 수 있다. 관심 지점 검색 각도는 이미지 센서와 복수의 관심 지점 사이의 거리에 따라 동적으로 변경될 수 있다. 일부 예에서, 관심 지점 검색 각도는 사용자에 의해 변경될 수 있다. 관심 지점 검색 각도는 예를 들어 사용자의 시야와 유사할 수 있다.
일부 예에서, 복수의 관심 지점은 VPS(1106), 서버(1104) 또는 디바이스(1102)에서 필터링될 수 있다. 예를 들어, 디바이스(1102)는 반경 내의 복수의 관심 지점을 수신하고 관심 지점 검색 각도에 기초하여 복수의 관심 지점을 필터링할 수 있다. 다른 예에서, 서버(1104)는 관심 지점 검색 각도에 기초하여 복수의 관심 지점을 필터링하고, 필터링된 복수의 관심 지점만을 디바이스(1102)에 전송할 수 있다. 필터링된 복수의 관심 지점(1122)은 디바이스(1102)에 제공될 수 있다.
블록(1124)에서, 복수의 관심 지점에 대한 정보 표시가 디바이스(1102)에 디스플레이되도록 제공된다.
도 12는 디바이스의 지리적 영역에서 적어도 하나의 관심 지점에 관한 정보를 제공하기 위한 예시적 방법을 도시한다. 예를 들어, 블록(1210)에서, 시스템은 하나 이상의 이미지 센서로부터 데이터를 도출할 수 있다.
블록(1220)에서, 시스템은 하나 이상의 이미지 센서로부터 도출된 데이터에 기초하여 특정한 지리적 영역에서 하나 이상의 피처를 검출할 수 있다. 예를 들어, 시스템은 하나 이상의 이미지 센서로부터 도출된 데이터에서 피처 및/또는 오브젝트를 검출할 수 있다. 피처 및/또는 오브젝트는 디바이스의 위치를 결정하는데 유용할 수 있는 영구적 및/또는 구분되는 구조물을 포함할 수 있다. 피처 및/또는 오브젝트는 VPS 인덱스에 있을 수 있으므로 위치를 결정하는데 이미 사용되었을 수 있다.
블록(1230)에서, 시스템은 검출된 피처 및/또는 오브젝트에 기초하여 디바이스의 포즈 데이터를 결정할 수 있다. 포즈 데이터는 디바이스의 위치 및 배향을 포함할 수 있다. 포즈 데이터를 결정하기 위해, 시스템은 다양한 다른 센서와 결합하여 이미지 센서에 의해 캡처된 피처 및/또는 오브젝트를 사용할 수 있다. 다른 센서는 GPS 센서, 가속도계, 자이로스코프 등을 포함할 수 있다. GPS 센서는 검출된 피처 및/또는 오브젝트와 결합하여 디바이스의 위치를 결정할 수 있다. 가속도계 및/또는 자이로스코프는 디바이스의 배향을 결정하는데 사용될 수 있다. 디바이스의 배향은 이미지 센서가 가리키는 방향, 따라서 사용자가 향하는 방향을 포함할 수 있다.
블록(1240)에서, 시스템은 포즈 데이터에 기초하여 특정한 지리적 영역 내의 관심 지점을 결정할 수 있다. 지리적 영역은 디바이스의 위치와 같은 포즈 데이터로부터의 최대 거리로 설정될 수 있다. 예를 들어 지리적 영역은 디바이스 주변 반경 200미터일 수 있다. 일부 예에서, 지리적 영역은 디바이스 주변의 3블록 반경일 수 있다. 결정된 관심 지점은 이미지 센서 및 따라서 사용자가 볼 수 있는 위치일 수 있다.
블록(1250)에서, 시스템은 관심 지점 중 하나 이상을 나타내는 정보를 제공할 수 있다. 시스템은 이 정보를 사용자 디바이스의 디스플레이에 제공할 수 있다. 예를 들어, 시스템은 관심 지점을 나타내는 목록, 주석이 달린 지도, 주석이 달린 스트리트 뷰 등을 제공할 수 있다. 일부 예에서, 시스템은 관심 지점을 나타내는 오디오 피드백을 제공할 수 있다.
관심 지점은 관련성에 기초하여 순위를 매길 수 있다. 예를 들어, 디바이스의 위치에 더 가까운 위치, 다른 사람이 더 자주 선택했거나, 공개적으로 액세스 가능한 등급이 더 높은 위치 등이 관심 지점의 관련성을 결정하는 팩터일 수 있다. 관련성을 결정하기 위해 알고리즘을 사용할 수 있다. 시스템은 계산된 관련성 가중치에 기초하여 관심 지점의 순위를 매길 수 있다.
이해되는 바와 같이, 여기에 설명된 기술은 계산 집약적이지 않고 기존의 예를 들어 이미지 매칭 기반 기술보다 적은 디바이스 리소스를 필요로 하는 방식으로 사용자 주변에서 관심 지점을 검색할 수 있게 할 수 있다. 이 기술은 또한 덜 힘들고 직관적인 사용자 디바이스 인터렉션을 통해 사용자 주변의 관심 지점에 대한 표시를 더 빠르게 제공할 수 있다.

Claims (43)

  1. 시스템으로서,
    하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는:
    사용자 디바이스의 하나 이상의 이미지 센서의 사용으로부터 도출된 데이터에 기초하여, 상기 하나 이상의 이미지 센서에 의해 캡처된 하나 이상의 피처를 검출하고;
    적어도 하나 이상의 검출된 피처에 기초하여, 상기 사용자 디바이스의 위치 및 배향을 포함하는 포즈 데이터를 결정하고;
    상기 포즈 데이터에 기초하여, 상기 포즈 데이터에 기초하여 결정되는 특정한 지리적 영역 내의 복수의 관심 지점을 결정하고, 상기 특정한 지리적 영역은 상기 포즈 데이터에 포함된 상기 사용자 디바이스의 위치의 미리 정의된 거리 또는 상기 포즈 데이터에 포함된 상기 사용자 디바이스의 배향에 기초한 미리 정의된 각도 범위 내에 있으며; 그리고
    상기 사용자 디바이스를 통해, 상기 복수의 관심 지점 중 하나 이상을 나타내는 정보를 제공하도록 구성되는, 시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서, 상기 미리 정의된 각도 범위는 상기 하나 이상의 이미지 센서의 시야보다 더 넓은, 시스템.
  5. 청구항 1에 있어서, 상기 특정한 지리적 영역은 상기 사용자 디바이스의 위치로부터의 제1 거리 및 제1 각도 범위에 의해 정의되는 제1 지리적 영역 및 상기 사용자 디바이스의 위치로부터의 제2 거리 및 상기 사용자 디바이스의 배향에 기초한 제2 각도 범위에 의해 정의되는 제2 지리적 영역을 포함하며, 상기 제1 각도 범위는 상기 제2 각도 범위보다 넓고, 상기 제1 거리는 상기 제2 거리보다 작은, 시스템.
  6. 청구항 1에 있어서, 상기 하나 이상의 이미지 센서는 상기 사용자 디바이스의 가장 자리에 위치되는, 시스템.
  7. 청구항 1에 있어서, 상기 복수의 관심 지점은 상기 특정한 지리적 영역 내의 관심 지점에 대한 매핑 데이터베이스를 쿼리함으로써 결정되는, 시스템.
  8. 청구항 7에 있어서, 상기 복수의 관심 지점은 상기 위치로부터 특정한 범위 내의 관심 지점에 대해 상기 매핑 데이터베이스에 쿼리함으로써 결정되고, 반환된 관심 지점은 상기 사용자 디바이스의 배향을 중심으로 각도 범위 외의 관심 지점이 배제되도록 필터링되는, 시스템.
  9. 청구항 1에 있어서, 상기 포즈 데이터는 상기 사용자 디바이스의 하나 이상의 센서에 의해 캡처된 상기 피처가 위치하는 서브 영역을 포함하는 지리적 영역을 도시하는 거리 레벨 이미지의 집합에 기초하여 생성된 피처 데이터의 데이터베이스를 사용하여 결정되는, 시스템.
  10. 청구항 9에 있어서, 상기 사용자 디바이스의 위치를 나타내는 GPS 데이터는 상기 포즈 데이터를 결정하는데 사용할 피처 데이터의 데이터베이스의 일부를 식별하기 위해 사용되는, 시스템.
  11. 방법으로서,
    하나 이상의 프로세서를 사용하여, 디바이스의 하나 이상의 이미지 센서로부터 데이터를 도출하는 단계;
    상기 하나 이상의 프로세서를 사용하여, 도출된 데이터에 기초하여, 특정한 지리적 영역에서 하나 이상의 피처를 검출하는 단계;
    상기 하나 이상의 프로세서를 사용하여, 적어도 하나 이상의 검출된 피처에 기초하여, 상기 디바이스의 위치 및 배향을 포함하는 포즈 데이터를 결정하는 단계;
    상기 하나 이상의 프로세서를 사용하여, 상기 포즈 데이터에 기초하여, 상기 특정한 지리적 영역 내의 복수의 관심 지점을 결정하는 단계, 상기 특정한 지리적 영역은 상기 포즈 데이터에 포함된 상기 디바이스의 위치의 미리 정의된 거리 또는 상기 포즈 데이터에 포함된 상기 디바이스의 배향에 기초한 미리 정의된 각도 범위 내에 있으며; 및
    상기 하나 이상의 프로세서를 사용하여, 피처를 검출함에 응답하여, 상기 복수의 관심 지점 중 하나 이상을 나타내는 정보를 제공하는 단계를 포함하는, 방법.
  12. 청구항 11에 있어서, 상기 특정한 지리적 영역에서 상기 하나 이상의 피처를 검출하는 단계는 상기 검출시에 사용자로부터의 프롬프트 없이 발생하는 것인, 방법.
  13. 청구항 11에 있어서, 상기 하나 이상의 프로세서를 사용하여, 상기 이미지 센서의 시야에 기초하여 상기 복수의 관심 지점을 결정하는 단계를 더 포함하는, 방법.
  14. 청구항 13에 있어서, 상기 시야는 시야각에 의해 정의되는, 방법.
  15. 청구항 11에 있어서, 상기 하나 이상의 프로세서를 사용하여, 상기 복수의 관심 지점 각각에 대한 관련성 가중치를 계산하는 단계를 더 포함하는, 방법.
  16. 청구항 15에 있어서, 상기 하나 이상의 프로세서를 사용하여, 상기 계산된 관련성 가중치에 기초하여, 상기 복수의 관심 지점의 랭킹된 목록을 제공하는 단계를 더 포함하는, 방법.
  17. 청구항 15에 있어서, 관련성 가중치를 계산하는 단계는 거리 그룹 팩터, 유형 팩터 및 장소 등급 팩터를 사용하는 단계를 더 포함하는, 방법.
  18. 청구항 17에 있어서, 상기 거리 그룹 팩터는 상기 디바이스와 상기 복수의 관심 지점들 각각 사이의 미리 정의된 거리 임계치에 기초하여 결정된 값인, 방법.
  19. 청구항 17에 있어서, 상기 유형 팩터는 관심 지점의 유형에 기초한 값인, 방법.
  20. 청구항 17에 있어서, 상기 장소 등급 팩터는 상기 복수의 관심 지점 각각에 대해 적어도 하나의 공개적으로 이용 가능한 등급에 기초한 값인, 방법.
  21. 청구항 11에 있어서, 상기 포즈 데이터를 결정하는 단계는 GPS 판독, 시각적 포지셔닝 시스템 판독 및 가속도계 판독 중 적어도 하나에 더 기초하는, 방법.
  22. 시스템으로서,
    하나 이상의 프로세서를 포함하며, 상기 하나 이상의 프로세서는:
    사용자 디바이스의 하나 이상의 이미지 센서의 사용으로부터 도출된 데이터에 기초하여, 특정한 지리적 영역에서 하나 이상의 피처를 검출하고;
    적어도 하나 이상의 검출된 피처에 기초하여, 상기 사용자 디바이스의 위치 및 배향을 포함하는 포즈 데이터를 결정하고;
    상기 포즈 데이터에 기초하여, 상기 특정한 지리적 영역 내의 복수의 관심 지점을 결정하고, 상기 특정한 지리적 영역은 상기 포즈 데이터에 포함된 상기 사용자 디바이스의 위치의 미리 정의된 거리 또는 상기 포즈 데이터에 포함된 상기 사용자 디바이스의 배향에 기초한 미리 정의된 각도 범위 내에 있으며; 그리고
    상기 피처를 검출함에 응답하여, 상기 복수의 관심 지점 중 하나 이상을 나타내는 정보를 제공하도록 구성되는, 시스템.
  23. 청구항 22에 있어서, 상기 특정한 지리적 영역에서 상기 하나 이상의 피처를 검출하는 것은 상기 검출시에 사용자로부터의 프롬프트 없이 발생하는 것인, 시스템.
  24. 청구항 23에 있어서, 상기 하나 이상의 프로세서는 상기 이미지 센서의 시야에 기초하여 상기 복수의 관심 지점을 결정하도록 더 구성되는, 시스템.
  25. 청구항 24에 있어서, 상기 시야는 시야각에 의해 정의되는, 시스템.
  26. 청구항 22에 있어서, 상기 하나 이상의 프로세서는 상기 복수의 관심 지점 각각에 대한 관련성 가중치를 계산하도록 더 구성되는, 시스템.
  27. 청구항 26에 있어서, 상기 하나 이상의 프로세서는 상기 계산된 관련성 가중치에 기초하여, 상기 복수의 관심 지점의 랭킹된 목록을 제공하도록 더 구성되는, 시스템.
  28. 청구항 26에 있어서, 관련성 가중치는 거리 그룹 팩터, 유형 팩터 및 장소 등급 팩터를 사용하여 계산되는, 시스템.
  29. 청구항 28에 있어서, 상기 거리 그룹 팩터는 상기 사용자 디바이스와 상기 복수의 관심 지점들 각각 사이의 미리 정의된 거리 임계치에 기초하여 결정된 값인, 시스템.
  30. 청구항 28에 있어서, 상기 유형 팩터는 관심 지점의 유형에 기초한 값인, 시스템.
  31. 청구항 28에 있어서, 상기 장소 등급 팩터는 상기 복수의 관심 지점 각각에 대해 적어도 하나의 공개적으로 이용 가능한 등급에 기초한 값인, 시스템.
  32. 청구항 22에 있어서, 상기 포즈 데이터를 결정하는 단계는 GPS 판독, 시각적 포지셔닝 시스템 판독 및 가속도계 판독 중 적어도 하나에 더 기초하는, 시스템.
  33. 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어는 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    사용자 디바이스의 하나 이상의 이미지 센서로부터 데이터를 도출하고;
    상기 도출된 데이터에 기초하여, 특정한 지리적 영역에서 하나 이상의 피처를 검출하고;
    적어도 하나 이상의 검출된 피처에 기초하여, 상기 사용자 디바이스의 위치 및 배향을 포함하는 포즈 데이터를 결정하고;
    상기 포즈 데이터에 기초하여 상기 특정한 지리적 영역 내의 복수의 관심 지점을 결정하고, 상기 특정한 지리적 영역은 상기 포즈 데이터에 포함된 상기 사용자 디바이스의 위치의 미리 정의된 거리 또는 상기 포즈 데이터에 포함된 상기 사용자 디바이스의 배향에 기초한 미리 정의된 각도 범위 내에 있으며; 그리고
    상기 피처를 검출함에 응답하여, 상기 복수의 관심 지점 중 하나 이상을 나타내는 정보를 제공하게 하는, 비일시적 컴퓨터 판독가능 매체.
  34. 청구항 33에 있어서, 상기 특정한 지리적 영역에서 상기 하나 이상의 피처를 검출하는 것은 상기 검출시에 사용자로부터의 프롬프트 없이 발생하는 것인, 비일시적 컴퓨터 판독가능 매체.
  35. 청구항 33에 있어서, 상기 명령어는 추가로 상기 하나 이상의 프로세서로 하여금 상기 이미지 센서의 시야에 기초하여 상기 복수의 관심 지점을 결정하게 하는, 비일시적 컴퓨터 판독가능 매체.
  36. 청구항 35에 있어서, 상기 시야는 시야각에 의해 정의되는, 비일시적 컴퓨터 판독가능 매체.
  37. 청구항 33에 있어서, 상기 명령어는 추가로 상기 하나 이상의 프로세서로 하여금 상기 복수의 관심 지점 각각에 대한 관련성 가중치를 계산하게 하는, 비일시적 컴퓨터 판독가능 매체.
  38. 청구항 37에 있어서, 상기 명령어는 추가로 상기 하나 이상의 프로세서로 하여금 상기 계산된 관련성 가중치에 기초하여 상기 복수의 관심 지점의 랭킹된 목록을 제공하게 하는, 비일시적 컴퓨터 판독가능 매체.
  39. 청구항 37에 있어서, 관련성 가중치를 계산하는 것은 거리 그룹 팩터, 유형 팩터 및 장소 등급 팩터를 사용하는 것을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  40. 청구항 39에 있어서, 상기 거리 그룹 팩터는 상기 사용자 디바이스와 상기 복수의 관심 지점들 각각 사이의 미리 정의된 거리 임계치에 기초하여 결정된 값인, 비일시적 컴퓨터 판독가능 매체.
  41. 청구항 39에 있어서, 상기 유형 팩터는 관심 지점의 유형에 기초한 값인, 비일시적 컴퓨터 판독가능 매체.
  42. 청구항 39에 있어서, 상기 장소 등급 팩터는 상기 복수의 관심 지점 각각에 대해 적어도 하나의 공개적으로 이용 가능한 등급에 기초한 값인, 비일시적 컴퓨터 판독가능 매체.
  43. 청구항 33에 있어서, 상기 포즈 데이터를 결정하는 것은 GPS 판독, 시각적 포지셔닝 시스템 판독 및 가속도계 판독 중 적어도 하나에 더 기초하는, 비일시적 컴퓨터 판독가능 매체.
KR1020207031921A 2019-11-06 2019-11-06 지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용 KR102514000B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237009733A KR20230042423A (ko) 2019-11-06 2019-11-06 지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/060061 WO2021091552A1 (en) 2019-11-06 2019-11-06 Use of image sensors to query real world for geo-reference information

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237009733A Division KR20230042423A (ko) 2019-11-06 2019-11-06 지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용

Publications (2)

Publication Number Publication Date
KR20210056946A KR20210056946A (ko) 2021-05-20
KR102514000B1 true KR102514000B1 (ko) 2023-03-24

Family

ID=69167894

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207031921A KR102514000B1 (ko) 2019-11-06 2019-11-06 지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용
KR1020237009733A KR20230042423A (ko) 2019-11-06 2019-11-06 지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237009733A KR20230042423A (ko) 2019-11-06 2019-11-06 지리적 참조 정보를 위해 실제 세계에 쿼리하기 위한 이미지 센서의 사용

Country Status (6)

Country Link
US (3) US11232587B2 (ko)
EP (2) EP3844644B1 (ko)
JP (2) JP7155293B2 (ko)
KR (2) KR102514000B1 (ko)
CN (1) CN113079703A (ko)
WO (1) WO2021091552A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155293B2 (ja) 2019-11-06 2022-10-18 グーグル エルエルシー ジオリファレンス情報について現実世界をクエリするための画像センサの使用
CN117131249B (zh) * 2023-10-26 2024-01-12 湖南省不动产登记中心 一种自然资源数据智能管理方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110135207A1 (en) * 2009-12-07 2011-06-09 Google Inc. Matching An Approximately Located Query Image Against A Reference Image Set
US20140300775A1 (en) 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20160240011A1 (en) 2013-09-24 2016-08-18 Metaio Gmbh Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8174568B2 (en) * 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
JP4816748B2 (ja) 2009-03-06 2011-11-16 ソニー株式会社 ナビゲーション装置及びナビゲーション方法
JP5432000B2 (ja) 2010-02-24 2014-03-05 株式会社ゼンリンデータコム 情報提示システム及びプログラム
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
JP2013142637A (ja) 2012-01-11 2013-07-22 Ntt Docomo Inc 方向計測装置、情報処理装置および方向計測方法
US9432421B1 (en) * 2014-03-28 2016-08-30 A9.Com, Inc. Sharing links in an augmented reality environment
CA3046329A1 (en) * 2016-12-06 2018-06-14 Donn M. GURULE Systems and methods for a chronological-based search engine
US10417781B1 (en) * 2016-12-30 2019-09-17 X Development Llc Automated data capture
JP7155293B2 (ja) * 2019-11-06 2022-10-18 グーグル エルエルシー ジオリファレンス情報について現実世界をクエリするための画像センサの使用

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110135207A1 (en) * 2009-12-07 2011-06-09 Google Inc. Matching An Approximately Located Query Image Against A Reference Image Set
US20140300775A1 (en) 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20160240011A1 (en) 2013-09-24 2016-08-18 Metaio Gmbh Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor

Also Published As

Publication number Publication date
JP7155293B2 (ja) 2022-10-18
US12033351B2 (en) 2024-07-09
JP2022510050A (ja) 2022-01-26
US20230360257A1 (en) 2023-11-09
CN113079703A (zh) 2021-07-06
JP2022176297A (ja) 2022-11-25
KR20230042423A (ko) 2023-03-28
EP4220439A1 (en) 2023-08-02
WO2021091552A1 (en) 2021-05-14
KR20210056946A (ko) 2021-05-20
US20210134003A1 (en) 2021-05-06
JP7498240B2 (ja) 2024-06-11
EP3844644A1 (en) 2021-07-07
EP3844644B1 (en) 2023-05-31
US20220076443A1 (en) 2022-03-10
US11232587B2 (en) 2022-01-25
US11688096B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
JP5739874B2 (ja) 向きに基づいた検索システム及び方法
US9286545B1 (en) System and method of using images to determine correspondence between locations
US9874454B2 (en) Community-based data for mapping systems
US8943049B2 (en) Augmentation of place ranking using 3D model activity in an area
US8532916B1 (en) Switching between best views of a place
JP7498240B2 (ja) ジオリファレンス情報について現実世界をクエリするための画像センサの使用
US9171011B1 (en) Building search by contents
CN102937452A (zh) 一种基于图像信息码的导航方法、装置和***
US9651396B1 (en) Logistic discounting of point of interest relevance based on map viewport
US20150134689A1 (en) Image based location determination
JP7144164B2 (ja) 情報提供システム、サーバ装置、及び端末用プログラム
US11526569B2 (en) Generating directions and routes with personalized landmarks
US20230044871A1 (en) Search Results With Result-Relevant Highlighting

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant