CN113079703A - 使用图像传感器查询地理参考信息的真实世界 - Google Patents

使用图像传感器查询地理参考信息的真实世界 Download PDF

Info

Publication number
CN113079703A
CN113079703A CN201980029390.6A CN201980029390A CN113079703A CN 113079703 A CN113079703 A CN 113079703A CN 201980029390 A CN201980029390 A CN 201980029390A CN 113079703 A CN113079703 A CN 113079703A
Authority
CN
China
Prior art keywords
interest
points
data
processors
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980029390.6A
Other languages
English (en)
Inventor
君·大卫·海恩卡博
安德烈·勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN113079703A publication Critical patent/CN113079703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了利用设备的一个或多个图像传感器向用户提供与附近的兴趣点有关的信息的***和方法。图像传感器可以用于检测图像传感器的视场中的特征和/或对象。然后基于一个或多个检测到的特征和/或对象来确定姿势数据，其包括设备的位所和定向。然后确定取决于姿势数据的地理区域内的多个兴趣点。例如，可以通过在地图数据库中查询已知位于用户的位所的特定距离内的兴趣点来进行确定。然后，该设备向用户提供指示多个兴趣点中的一个或多个的信息。

Description

使用图像传感器查询地理参考信息的真实世界
背景技术
许多设备(包括智能手机和智能手表)都提供地理位所搜索。每个设备可以连接到允许查询兴趣点的网络。通常，用户必须提供输入(诸如搜索字段中的文本或语音命令)来查询兴趣点。用户可能必须提供多个输入，诸如与显示器的多次交互、文本输入等，以获得有关兴趣点的信息。
现有的基于图像匹配的搜索工具可以在已经使用例如用户的便携式设备捕获的地理区域的图像内执行对兴趣点的搜索。基于图像匹配的搜索工具可以将捕获到的图像或从捕获到的图像中提取的特征与一个或多个先前捕获到的环境的图像或从其中提取的特征进行比较。以这种方式，例如，可以将捕获到的图像内的对象、结构等识别为兴趣点，例如，已知存在于先前捕获到的图像中的建筑物、地标等(例如，借助于先前捕获到的图像与兴趣点之间的所存储的关联)。然后可以经由用户的设备输出与确定为存在于捕获到的图像中的兴趣点有关的信息。这样的图像匹配可能是计算密集的。另外，该工具的图像捕获方面可能需要使用设备屏幕(从而用户可以验证已捕获到什么)以及相关联的功率/处理要求。其还可能需要相对精确和耗时的用户设备交互，其中用户必须激活相机，并且然后适当地构图图像，使得正确捕获关于他们需要信息的兴趣点。
发明内容
本公开的一个方面提供了一种用于提供指示一个或多个兴趣点的信息的***。例如，该***可以包括一个或多个处理器，该一个或多个处理器被配置成基于从对用户设备的一个或多个图像传感器的使用所导出的数据来检测由一个或多个图像传感器所捕获的一个或多个特征，基于至少一个或多个检测到的特征确定包括设备的位所和定向的姿势数据，基于姿势数据确定特定地理区域内的多个兴趣点，以及经由用户设备提供指示多个兴趣点中的一个或多个的信息。
地理区域可以在姿势数据中包括的设备的位所的预定义距离内。地理区域可以在基于姿势数据中包括的设备的定向的预定义角度范围内。预定义角度范围可以比一个或多个图像传感器的视场更宽。一个或多个图像传感器可以位于用户设备的边缘上。
多个兴趣点可以通过为特定地理区域内的兴趣点而查询地图数据库来确定。通过为在距位所的特定范围内的兴趣点而查询数据库来确定多个兴趣点，并且对返回的兴趣点进行过滤，使得在以设备的定向为中心的角度范围外的兴趣点被排除。
本公开的另一方面提供了一种用于提供指示一个或多个兴趣点的信息的方法。该方法包括使用一个或多个处理器从一个或多个图像传感器导出数据。该方法包括，使用一个或多个处理器并基于所导出的数据来检测特定地理区域中的一个或多个特征；使用一个或多个处理器并基于至少一个或多个检测到的特征来确定包括设备的位所和方向的姿势数据，使用一个或多个处理器并基于姿势数据确定特定地理区域内的多个兴趣点，以及响应于检测到特征而使用一个或多个处理器提供指示一个或多个兴趣点的信息。
本公开的又一方面提供了一种存储指令的非暂时性计算机可读介质，该指令在由一个或多个处理器执行时使处理器从用户设备的一个或多个图像传感器导出数据，基于所导出的数据检测特定地理区域中的一个或多个特征，基于至少一个或多个检测到的特征，确定包括设备的位所和定向的姿势数据，基于姿势数据，确定特定地理区域内的多个兴趣点，并且响应于检测到特征而提供指示多个兴趣点中的一个或多个的信息。
附图说明
图1是图示根据本公开的方面的示例设备的框图。
图2是根据本公开的方面的示例***的功能图。
图3是根据本公开的方面的示例装置的透视图。
图4是图示根据本公开的方面的示例设备的使用的直观图。
图5是图示根据本公开的方面的设备的视场的示意图。
图6A-6B图示根据本公开的方面的由图像传感器所捕获的特征和/或对象。
图7是根据本公开的方面的确定设备的位所的地图的直观图。
图8是根据本公开的方面的确定设备的姿势数据的地图的直观图。
图9是根据本公开的方面的确定查询区域的地图的直观图。
图10A-10C是图示根据本公开的方面的关于兴趣点的信息的直观图。
图11是根据本公开的方面的流程图。
图12是根据本公开的方面的流程图。
具体实施方式
本公开涉及一种响应于来自一个或多个图像传感器的传感器数据而提供与一个或多个附近的兴趣点有关的信息的***。更具体地说，图像传感器在图像传感器的视场中检测特征和/或对象，诸如但不限于诸如建筑物或桥梁的结构的轮廓。基于一个或多个检测到的特征和/或对象来确定姿势数据，包括设备的位所和定向。姿势数据可以例如通过将检测到的特征和/或对象与存储在索引或数据库中的特征进行比较来确定。这样的索引可以被称为视觉定位***(VPS)索引，并且可以已经基于“街面”图像的集合来生成。
可以基于姿势数据来确定地理区域内的多个兴趣点。例如，可以通过为已知位于设备并且因此用户的位所的特定距离内的兴趣点而查询地图数据库来进行确定。该设备可以向用户提供指示多个兴趣点中的一个或多个的信息。
图1提供图示该设备的组件的示例框图。如所示的，设备100包括各种组件，诸如一个或多个处理器102、存储器104以及通常存在于微处理器、通用计算机等中的其他组件。设备100还包括输入110、输出120和传感器112。传感器可以包括一个或多个图像传感器114、加速度计116和全球定位***(“GPS”)传感器118。
一个或多个处理器102可以是任何常规处理器，诸如可商购的微处理器。可替代地，一个或多个处理器可以是专用设备，诸如专用集成电路(ASIC)或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和设备100的其他元件图示为位于同一块内，但本领域的普通技术人员将理解，处理器、计算设备或存储器实际上可以包括可能会或可能不会存储在同一物理壳体中的多个处理器、计算设备或存储器。类似地，存储器可以是位于与设备100不同的壳体中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可能会或可能不会并行运行的处理器或计算设备或存储器的集合的引用。
存储器104可以存储可由处理器102访问的信息，包括可以由处理器102执行的指令106，以及数据108。存储器104可以是用于存储由处理器102访问的信息的存储器的类型，包括非暂时性计算机可读介质，或存储可以借助电子设备(诸如硬盘驱动器、存储卡、只读存储器(“ROM”)、随机存取存储器(“RAM”)、光盘以及其他可写和只读存储器读取的数据的其他介质。本文公开的主题可以包括前述的不同组合，由此指令106和数据108的不同部分被存储在不同类型的介质上。
数据108可以由处理器102根据指令106进行检索、存储或修改。例如，尽管本公开不受特定数据结构的限制，但是数据108可以存储在计算机寄存器中，作为具有多个不同字段和记录的表格、XML文档或平面文件存储在关系数据库中。数据108还可被格式化为计算机可读格式，诸如但不限于二进制值、ASCII或Unicode。仅作为示例，数据108可以存储为位图，该位图包括以压缩或未压缩或各种图像格式(例如，JPEG)、基于矢量的格式(例如，SVG)或用于绘制图形的计算机指令存储的像素。此外，数据108可以包括足以标识相关信息的信息，诸如数字、描述性文本、专有代码、指示符、对存储在其他存储器(包括其他网络位所)中的数据的引用或由计算相关数据的函数使用的信息。
指令106可以是处理器102直接执行的任何指令集，诸如机器代码，或间接执行的指令集，诸如脚本。在这方面，术语“指令”、“应用”、“步骤”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储以供处理器直接处理，或者以任何其他计算设备语言存储，包括脚本或独立源代码模块的集合，这些脚本或集合可按需解释或预先编译。指令的函数、方法和例程将在下面更详细地解释。
设备100可以进一步包括输入110。输入110可以是例如触摸传感器、拨盘、按钮或用于接收手动命令的其他控件。在一些示例中，输入110可以是麦克风。设备100还可以包括输出120。输出120可以是例如扬声器。
设备100可以包括传感器112。传感器112可以是一个或多个图像传感器114，用于检测设备100周围的特征和/或对象。一个或多个图像传感器114可以将光信号转换为电信号以检测或者捕获设备100周围的特征和/或对象。一个或多个图像传感器可以是例如电荷耦合器件(“CCD”)传感器或互补金属氧化物半导体(“CMOS”)传感器。一个或多个处理器102可以处理由一个或多个图像传感器114检测到的特征和/或对象，以将至少一个检测到的特征和/或对象标识为兴趣点。一个或多个图像传感器114可以位于设备100的至少一个边缘上。在一些示例中，一个或多个图像传感器114可以位于设备100的背面上。
传感器112还可以包括加速度计116。例如，加速度计116可以确定设备100的姿势或定向。根据一些示例，设备100可以基于设备的内部指南针来标识定向并且基于设备的内部加速度计116来标识重力矢量。传感器112进一步可以包括GPS传感器118或用于确定设备100位所的其他定位元件。设备的位所可以是设备100的纬度和经度坐标。
应当理解，设备100可以包括未示出的其他组件，诸如电池、电池的充电输入、信号处理组件等。这些组件也可以在指令106的执行中利用。
图2图示在其中可以实现本文描述的特征的示例***200。不应认为限制本公开的范围或本文所述特征的有用性。在该示例中，***200可以包括多个设备202、212、222、232；用户204、214、224、234；服务器计算设备270；存储***260以及网络250。设备202、212、222、232或单个设备的集合将被称为设备202。此外，同样为了简便起见，用户204、214、224、234组和单个用户将被称为用户204。
每个设备202可以是打算供相应用户204使用的个人计算设备，并且具有通常与如上面关于设备100的描述的个人计算设备结合使用的所有组件，包括一个或多个处理器(例如，中央处理单元(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视、或其他设备(诸如可用于显示信息的智能手表显示器)和用户输入设备(例如，鼠标、键盘、触摸屏或麦克风)。设备202还可以包括相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。如在上面所提及的，设备202可以进一步包括图像传感器。图像传感器可以捕获多个兴趣点290的特征和/或对象。设备202可以能够通过网络250无线交换和/或获得数据。
尽管设备202均可以包括能够通过诸如互联网的网络与服务器进行无线数据交换的移动计算设备，但是它们可以可替代地包括全尺寸的个人计算设备。仅作为示例，设备可以是移动电话或诸如具有启用无线的PDA、平板电脑、可穿戴计算设备(例如，智能手表、耳机、智能眼镜、虚拟现实播放器、其他头戴式显示器等)或能够通过互联网或其他网络获得信息的上网本的设备。
设备202可以在网络250的各个节点处并且能够直接和间接地与网络250的其他节点通信。尽管在图2中描绘了四(4)个设备，但是应当理解，典型的***200可以包括一个或多个设备，每个计算设备位于网络250的不同节点处。可以使用各种协议和***将本文所述的网络250和中间节点互连，使得该网络可以成为互联网、***网、特定的以太网、广域网或局域网的一部分。网络250可以利用一个或多个公司专有的标准通信协议，诸如WiFi。尽管如上所述在传送或接收信息时获得某些优点，但是本文描述的主题的其他方面不限于任何特定的传输方式。
在一个示例中，***200可以包括一个或多个具有多个计算设备的服务器计算设备，例如，负载均衡服务器场，其与网络的不同节点交换信息以用于从其它计算设备接收数据、进行处理并且将其传送到其他计算设备。例如，一个或多个服务器计算设备270可以是能够经由网络250与一个或多个设备202进行通信的网络服务器。此外，服务器计算设备270可以使用网络250来将信息传送到并呈现给其他设备202之一的用户204。服务器计算设备270可以包括一个或多个处理器、存储器、指令和数据。这些组件以与以上关于设备100所述的方式相同或相似的方式操作。
存储***260可以存储各种类型的信息。例如，存储***260可以存储关于兴趣点的信息，诸如公开可用的评级、地图数据等。存储***260可以存储地图数据。地图数据可以包括例如兴趣点的位所。该信息可以由服务计算设备(诸如一个或多个服务器计算设备270)检索或以其他方式访问，以便执行本文所述的一些或全部特征。
图3图示示例设备300。虽然在该示例中设备300是移动电话，但是应该理解，在其他示例中，该设备可以是多种不同类型中的任何一种。设备300可以包括输入、显示器、传感器、内部电子设备和输出。
输入可以包括用户输入302，诸如关于设备100描述的那些。输入可以包括用于接收口头命令或音频输入的麦克风304。
显示器306可以是任何类型的显示器，诸如具有屏幕的监视器、触摸屏、投影仪或电视。如图3中所示，显示器可以是移动设备的触摸屏。设备300的显示器306可以经由图形用户界面(“GUI”)或其他类型的用户界面向用户电子地显示信息。例如，如下面将要讨论的，显示器306可以电子地显示与用户周围的兴趣点相对应的信息。
传感器可以包括图像传感器308，该图像传感器308包括关于设备100描述的图像传感器。在一些实施方式中，图像传感器308可以设置在设备的边缘上。可以定位图像传感器，使得在使用设备时，诸如当用户握住设备并查看其显示器时，图像传感器308的视场包括围绕设备的对象。例如，视场可以包括用户前面的对象。当图像传感器308位于设备300的边缘(例如，顶部边缘)上时，当用户正握住设备300时图像传感器308可以自然地背离用户并且指向突出的特征和/或对象的方向。虽然示出三(3)个图像传感器308，但是设备300可以具有任意数量的图像传感器308。此外，尽管图像传感器308被描绘为位于设备300的边缘上，但是图像传感器308可以位于其它地方，诸如在设备300的背面、设备300的显示器306一侧、或作为其他图像捕获机制的一部分。因此，图3所示的图像传感器308的数量和位所并不意味着是限制性的。
用户可以启用或禁用由图像传感器308进行的图像感测，并且如果用户启用了该功能，则设备可以仅检测特征和/或对象。根据一些示例，用户可以设置图像传感器308以在特定位所(诸如熟悉的位所)自动地禁用。作为另一个示例，用户可以定义仅在特定位所或设置(诸如室外)中启用图像感测的参数。
图像传感器308可以是能够接收影像的任何传感器。图像传感器308可以捕获图像传感器308的视场内的特征和/或对象。关于捕获到的特征/对象的信息可以用于确定进一步的信息，诸如姿势信息、附近的兴趣点等。
尽管在图3中图示了三个图像传感器308，但是应当理解，可以包括更多或更少的图像传感器。此外，沿着设备的边缘或背面的图像传感器的位所可以变化。随着图像传感器的数量和位所变化，传感器的视场也可能变化。
捕获到的特征和/或对象不需要被显示在设备300的显示器306上。根据一些示例，由图像传感器308捕获到的特征和/或对象可能永远不会离开固件，并且因此，可能无法作为图片或图像被保存到设备300。
传感器可以进一步包括GPS传感器。GPS传感器可以提供有关设备位所的粗略指示。由图像传感器308捕获到的特征可以用于完善由GPS传感器指示的位所，反之亦然。根据一些示例，GPS数据可用于确定在确定姿势数据时应考虑视觉定位***(“VPS”)索引的哪一部分。VPS可以指示索引的不同部分对应于不同位所。
传感器可以另外包括加速度计。加速度计可以确定设备的姿势或定向。此外，传感器可以包括陀螺仪。处理器可以接收陀螺仪数据，并且可以结合从每个其他传感器收集的数据来处理陀螺仪数据，以确定设备的定向。在一些示例中，陀螺仪数据本身可以足以使处理器确定设备的定向。
内部电子设备可以包括例如适合于处理由图像传感器308捕获到的特征或对象的一个或多个处理器或其他组件。可以对捕获到的特征或对象进行处理以确定姿势数据。姿势数据可以基于由图像传感器308捕获到的关键或突出特征。检测到的特征和/或对象可以与GPS读数和/或加速度计或其他传感器读数结合使用以确定设备的姿势数据。姿势数据可以包括设备的位所(诸如坐标)和设备的定向(诸如图像传感器308以及通过扩展的设备300和/或用户面对的方向)。
姿势数据可用于确定设备以及通过扩展的用户周围的区域内的多个兴趣点。内部电子设备可以例如在设备300的显示器306上向用户提供关于兴趣点的信息。
输出310可以包括一个或多个扬声器，用于输出音频，诸如音乐、语音或其他音频内容的回放。根据一些实施例，输出也可以是显示器306。
图4图示其中用户握住设备并且图像传感器在图像传感器的视场中正在捕获特征和/或对象的一个示例。设备402可以类似于在此描述的设备300。用户404可以与兴趣点410相距距离“D”。虽然未示出，但是图像传感器可以位于设备402的顶部边缘。因此，当用户404握住设备402时，图像传感器可以捕获用户404的视场内的特征和/或对象。
图像传感器可以捕获例如永久和/或独特的结构，诸如公共汽车站、建筑物、公园等。更多独特的特征可能对表征设备的位所/定向有用，并且永久特征可能更可能表示在基于先前捕获的图像生成的VPS索引中。相反，出于确定姿势数据的目的，可以忽视由图像传感器捕获的较不独特的和/或瞬变较大的特征，诸如人、人行道、汽车、树木和道路。较不独特的特征可能不太可能有助于确定设备的位所和方向，并且瞬态特征不太可能在VPS索引中表示。在一些实施方式中，机器学习可以用于确定利用哪些特征来确定姿势数据以及忽略哪些特征。在一些示例中，可以基于姿势数据所指示的设备的定向来确定兴趣点。例如，兴趣点可以选自在用户设备位所的特定范围内并且在特定角度范围或基于设备的定向的范围或定向内的兴趣点。
每个图像传感器可以具有垂直视场。图4图示位于设备的顶部边缘上的图像传感器的垂直视场406。垂直视场406可以由预定角度408限定。在一些示例中，垂直视场406可以由图像传感器的孔径确定。如图4中所示，基于垂直视场406的图像传感器可能无法捕获兴趣点410的整个高度。
在垂直视场406内可以是垂直视场搜索角。根据一些示例，垂直视场搜索角可以取决于设备是更靠近还是更远离图像传感器所指向的特征和/或对象而动态改变大小。当距离D较小时，诸如当图像传感器更靠近特征和/或对象时，垂直视场搜索角可以增大，以便能够捕获更多的特征和/或对象。当距离D较大时，诸如当图像传感器远离特征和/或对象时，垂直视场搜索角可以减小，以便限制将被捕获的特征和/或对象的数量。垂直视场搜索角可以与角度408相同。在一些示例中，垂直视场搜索角可以大于或小于角度408。
图5图示了设备的水平视场的示例。类似于图4所示的设备，图像传感器可以位于设备502的顶部边缘。图像传感器可以具有水平视场506。水平视场506可以通过预定角度508测量。角度508可以基于设备502的定向而被居中。根据一些示例，预定角度508可以是30度。在一些示例中，角度508可以大于30度或小于30度。这可以用来提供在用户视场内的兴趣点的指示。
在水平视场506内可以是水平兴趣点搜索角。与感兴趣的特征和/或对象相比，水平兴趣点搜索角可以基于设备的位所而改变大小。例如，取决于图像传感器是更靠近还是更远离图像传感器所指向的特征和/或对象，水平兴趣点搜索角可以动态地改变。当距离D较小时，诸如当图像传感器更靠近特征和/或对象时，水平兴趣点搜索角可以增大，以便能够捕获更多的特征和/或对象。当距离D较大时，诸如当图像传感器更加远离特征和/或对象时，水平兴趣点搜索角可以减小，以便限制将被捕获的特征和/或对象的数量。水平视场搜索角可以与角度508相同的角度。在一些示例中，水平视场搜索角可以大于或小于角度508。
当图像传感器正在捕获视场506中的特征和/或对象时，设备502的内部电子设备可以提供针对自然指向偏移的姿势校正。例如，当图像传感器指向兴趣点的方向时，由于诸如瞄准不准确的用户错误，兴趣点可能在视场506之外。在一些实施方式中，搜索角可以被扩展，例如，超过对应于图像传感器的视场的角度范围。这可以用来补偿用户将图像传感器指向兴趣点时的不准确性。例如，视场506可以将搜索角增大了预定量，如增大的角度520所示。根据一些示例，角度508可以增大了10度到角度520。10度的增大仅仅是示例。搜索角可以从视场508增大，可以增大了2度、5度、7.5度、20度等。因此，在一些示例中，出于搜索目的，可能存在比图像传感器的视场516更大的视场518。
如图5中所示，在视场内可能存在多个兴趣点510。兴趣点510可以包括博物馆、酒吧、咖啡馆或餐厅、食品摊、商店、医疗设施、地标或任何其他位所。如图5中所图示，可能存在一行彼此相邻的分别与多个兴趣点相对应的建筑物511-516。图像传感器的视场506可以仅捕获建筑物513-515。当基于由图像传感器捕获的特征和/或对象以及设备的姿势数据在区域中搜索感兴趣的位所时，视场508可以增大，使得搜索区域对应于搜索角518，从而捕获建筑物512-515。设备502的处理器可以基于设备与视场508内的多个兴趣点之间的距离来增大来自视场508的搜索角，以提供用于自然指向偏移的姿势校正。
图6A和6B图示捕获和分析对象以确定兴趣点的示例。如图6A中所示，图像传感器可以捕获图像传感器的视场中的特征和/或对象。捕获到的600个建筑物602-604可以是视场中的突出特征和/或对象。如本文所讨论的，可以忽略诸如人行道、汽车、树木和人的较不独特的特征，因为它们不太可能有助于确定设备并且因此兴趣点的位所和定向。在一些示例中，捕获到的600个特征和/或对象可能不被显示给用户。捕获到的600个特征和/或对象可能不会保存到设备。
图6B图示如何分析视场内的搜索角中的特征和/或对象的示例。例如，可以分析捕获到的600个建筑物602-604，以确定建筑物602-604中的每一个在视场中占据的空间量。在一些示例中，设备可以确定建筑物602-604中的每一个在视场内的搜索角中具有相应宽度612-614。宽度可以当确定由图像传感器捕获到的兴趣点时被考虑。例如，兴趣点(即建筑物602-604)可以基于它们的相应宽度612-614而不是仅仅由图像传感器捕获到的单个点被考虑。以图6B为例，建筑物603的宽度613完全在图像传感器的视场内的搜索角内，并且是图像传感器捕获到的最大宽度。建筑物604的宽度614小于宽度613但是大于建筑物602的宽度612。相应宽度612-614可用于确定可能的兴趣点的排名。例如，在图像传感器的视场内的搜索角中占据最大宽度的兴趣点可以指示该兴趣点为图像传感器所指向的。
图7图示设备的位所的示例。GPS传感器以及加速度计、图像传感器和任何其他传感器可以确定设备的位所。例如，传感器可以确定设备在对应于地图700上的某个位置的位所X处。但是，由于传感器的不确定性，设备的位所可以被标识为位所X和周围半径702。当确定多个兴趣点时，半径702可以补偿设备的精确位所的不确定性并提供更大的搜索区域。
图8图示确定设备的姿势数据的示例。姿势数据可以包括设备的位所和设备的定向。传感器可以确定图像传感器指向的方向。图像传感器可以具有视场角802。例如，如果传感器确定设备位于位所X(如地图800中所示)，则图像传感器检测到的特征和/或对象结合GPS传感器读数和加速度计读数可以确定设备的定向。例如，加速度计可以确定设备是否已经从纵向位置旋转到横向位置。因此，传感器可以确定图像传感器正指向某个方向，诸如正东。
图9图示基于设备的姿势数据的查询的示例。可以执行一个方向和/或多方向查询，以确定图像传感器的视场中的兴趣点。该***可以执行一个方向查询和多方向查询中的一个或两个。
当设备以及因此图像传感器远离兴趣点910、911时，可以使用一个方向查询。该方向查询可以仅使用图像传感器的视场902的搜索角内的特征和/或对象以确定多个兴趣点910、911。例如，设备可能在位所X上，如地地图900所示。图像传感器可能指向朝东的方向。如所示的，设备的位所X在离兴趣点910、911的街道的对面。因此，根据一些示例，该设备可能离兴趣点910、911足够远，从而仅使用基于在图像传感器的视场904内的搜索角进行一个方向查询。
当设备以及因此图像传感器靠近兴趣点时，可以使用多方向查询。该方法可以用于补偿不正确的设备/图像传感器指向的影响是兴趣点越靠近用户就越明显的事实。这也可以补偿以下事实，即，当靠近兴趣点时，图像传感器可能捕获不了那么多的特征和/或对象。可以通过搜索传感器的视场内的搜索角，以及围绕设备位所的半径来执行多方向查询。例如，可以确定位所X太靠近任何特定的兴趣点而无法确定要标识的兴趣点。当确定兴趣点时，设备可以使用多方向查询来搜索围绕位所X的区域904。多方向查询可以标识在图像传感器的视场902内的搜索角中的兴趣点910、911。在一些示例中，多方向查询还可以标识兴趣点912、913，这些兴趣点不在图像传感器的视场902内的搜索角内，而是可以位于图像传感器之后。
根据一些示例，除了在由距设备位所的大于第一距离的第二距离和比第一角度范围窄的第二角度范围定义的第二区域内的兴趣点之外，多方向查询还包括指示在由距设备位所的第一距离和第一角度范围所限定的第一区域内的兴趣点。根据一个示例，第一角度范围可以在120度至360度之间，并且第一距离可以在1米至10米之间。相反，第二角度范围可以在20至50度之间，并且第二距离可以在10至400米之间。在一些示例中，第一角度范围可以在90度至300度之间，并且第一距离可以在0.5米至8米之间；并且第二角度范围可以在12.5至45度之间，并且第二距离可以在8至350米之间。这些示例并不意味着是限制性的，因为角度范围和距离可以基于图像传感器的数量和位所以及图像传感器的规格。
基于图像传感器捕获到的特征和/或对象、设备的姿势数据以及设备的位所，可以标识多个兴趣点并将其提供给用户。根据一些示例，可以对兴趣点进行排名并按相关性顺序进行显示。例如，在已经确定特定地理区域内的多个兴趣点之后，可以计算该兴趣点的相关性权重。相关性权重可用于基于一个或多个准则对兴趣点进行排名。就这一点而言，例如，最高排名的兴趣点可以被提供作为设备的输出。可以基于距由姿势数据指示的位所的距离和兴趣点的类型之一或两者来确定相关性权重。在一些示例中，也可以考虑与兴趣点相关联的评级。例如，可以使用诸如下述的公式来计算相关性权重：
权重＝(距离组因子*50)+(类型因子*10)+(评级因子*2)
可以基于设备和兴趣点之间的预定距离阈值来确定距离组因子。例如，距设备0m至50m的兴趣点可以具有3的距离组因子。距设备50m至175m的兴趣点可以具有2的距离组因子。远离设备超过175m的兴趣点可能具有1的距离组因子。距离组以及因此提供的因子仅是示例，并且因此可以由任何范围和任何因子编号定义。例如，在0m和100m之间的兴趣点可能具有5的距离组因子，而在100m和160m之间的兴趣点可能具有4的距离组因子。距离阈值以及因此距离组因子可以基于设备的位所来定义。例如，在拥挤的城市中，距离阈值可能会随着兴趣点越来越靠近在一起而减小。在农村地区，距离阈值可能会随着兴趣点越散开而增大。可以使用线性聚类算法来确定距离因子。
可以基于位所或设施的类型来确定类型因子。例如，设备可以考虑兴趣点是博物馆、酒吧、咖啡馆或饭店、食品摊位、商店、医疗设施、地标或任何其他位所。设备可以悉知最有可能查询哪些类型的地点，并因此为这些类型的地点提供更高的类型因子。例如，博物馆可能会返回类型因子4；汽车、咖啡厅或餐厅可能会返回类型因子3.5；提供食品但不是酒吧、咖啡馆或餐厅的地方可能具有3的类型因子；商店可能具有2.5的类型因子；诸如医生办公室或牙医办公室的医疗机构可能具有2的类型因子；不在预定义类型之内的任何其他兴趣点可以具有1的类型因子。1的类型因子也可以用作默认类型因子。在一些示例中，可以基于兴趣点在视场中占据的空间的百分比来确定类型因子。因此，博物馆或百货公司可以具有4的类型因子，而咖啡馆可以具有2的类型因子。可以基于兴趣点是否是透明的(诸如公交车站)或者固体的(诸如建筑物)来确定类型因子。当***悉知用户最可能查询的地点类型时，类型因素可能会改变。例如，***可以执行机器学习以连续更新和改变每个兴趣点的类型因子。
在相同距离组和/或类型组内的兴趣点可以被进一步排名。例如，相关性权重可以包括使用诸如下述的公式的进一步计算：
在组相对距离内＝(1–归一化距离)
归一化距离可以使用诸如以下的公式来计算：
归一化距离＝最小量(到用户的距离，搜索范围)/搜索范围
在一些示例中，最小量可以是到用户的距离与搜索范围之间的最小值。这可以考虑对象之间的距离，而仅对该距离提供很小的权重。
到用户的距离可以由设备与所标识的兴趣点之间的线性或绝对距离来确定。例如，线性距离可以被认为是“笔直地直线”距离，使得该距离不遵循设备与兴趣点之间的人行小道或步行距离。在一些示例中，到用户的距离可以由用户必须步行以到达兴趣点的距离来确定。例如，用户可能必须遵循交通模式并在人行道上行走，而不是穿过建筑物。
可以基于由设备、操作***、内部电子设备等预设的范围来确定搜索范围。例如，搜索范围可以是围绕所确定的设备位所的100米半径。因此，当执行单方向查询或多方向查询时，搜索可能仅包括100米半径内的兴趣点。100米仅仅是一个示例。搜索范围可能更大或更小。例如，在拥挤的地方(如城市)，搜索范围可能会较小，以限制搜索返回的兴趣点的数量。在不太拥挤的地方(诸如郊外地区)，搜索范围可能会更大，以增大搜索返回的兴趣点的数量。在没有用户输入的情况下，搜索范围可能会更改。例如，搜索范围可以基于所确定的设备位所而改变。
评级因子可以基于至少一个用户创建的对公共可用地点的评级来确定。例如，***可以查询互联网评论网站以确定每个兴趣点的公共可用评级。
在一些示例中，相关性权重可以基于视线、兴趣点的法线矢量和角度大小来进一步计算。视线可包括图像传感器捕获的内容。因此，与在图像传感器以及因此用户的的视线中几乎看不见或根本不可见的兴趣点相比，相关性权重可以给该图像传感器以及因此用户的该视线中的兴趣点更多的权重。兴趣点的法线矢量可以考虑到来自兴趣点的法线的角度测量。法线是垂直于兴趣点的正面截取的线。因此，相关性权重可以考虑与法线的角度。与法线的角度越大，图像传感器可能就不太可能直接指向兴趣点。与法线的角度越小，图像传感器可能更有可能直接指向兴趣点。角度大小可以包括视场中的特征和/或对象的大小，作为角度测量。在一些示例中，这可以用于计算特征和/或对象占据多少视场。
在其他示例中，相关性权重可以基于用户已经访问或排名的地点的先前历史来进一步计算。先前选择的地点可能会排名较高。相关性权重可以基于具有销售或特色的兴趣点来计算。例如，如果一家百货公司正在进行廉价销售，则该百货商店的排名可能会高于没有廉价销售的大卖场。在一些示例中，当天发生事件的兴趣点(诸如剧院或音乐会场地)可以基于事件的日期和时间排名更高。相关性权重的计算可以包括在视场中兴趣点的正面的大小。例如，较大的正面在视场中可能会更突出，并且因此可能更相关。
如图10A中所示，可以经由设备上的显示器来示出关于兴趣点的信息。设备1000可以类似于设备300。例如，设备1000可以包括输入1002、麦克风1004、显示器1006、一个或多个图像传感器1008以及输出1010。这些特征可以与关于设备300本文讨论的特征相似。
设备可以例如通过将信息覆盖在设备的主屏幕或显示器1006上来向用户提供关于兴趣点的信息。可以以各种不同的方式来提供信息，诸如列表、地图、对地图的注释等。可以基于相关性权重、到用户的距离、最高评级的兴趣点、可见性等对信息进行排序。根据其他示例，信息可以通过设备的一个或多个扬声器或与设备配对的附件输出为音频数据。
根据一些示例，可以推广兴趣点。如果兴趣点的所有者或广告商付费使兴趣点被推广，则可以推广兴趣点。由于推广，可以将推广的兴趣点指示为最相关的兴趣点。例如，如果兴趣点正在被推广，则该兴趣点可以被指示为“被推广”，并且表现为最相关的兴趣点。所推广的兴趣点可以被指示为“赞助”或“广告”以指示基于所计算的相关性权重所推广的兴趣点可能不是最相关的兴趣点。
在一些示例中，设备可以在用户输入减少或最小的情况下将该信息提供给用户。例如，用户可能不必打开设备上的应用(甚至在一些示例中，提供任何活动的输入)来运行搜索查询以确定用户附近的兴趣点。根据一些示例，设备可以自动(或基于单个用户输入)查询图像传感器的视场以确定并提供与特定地理区域中的兴趣点有关的信息。此外，该设备可以基于图像传感器的视场和给予多个兴趣点中的每一个的相关性权重向用户提供更多相关结果。
图10A图示其中关于兴趣点的信息被提供为详细列表的示例。可以在显示器1006上将每个兴趣点提供作为单独的地点卡1020-1024或按钮。例如，更相关的兴趣点可以是餐厅，示出为地点卡1020。地点卡1020可以包括有关餐厅的信息，包括距所确定的设备的位所的距离和可公开可用的评级。地点卡1020可以是交互式的，诸如用作用户输入的图标，以允许用户找出有关餐厅的更多信息。在一些示例中，交互式地点卡1020可以允许与兴趣点有关的快速动作。例如，该***可以与针对兴趣点的服务集成，以允许快速动作。对于餐厅，快速动作可以允许用户进行预订。第二个最相关的兴趣点可能是咖啡店，示出为地点卡1021。使用公式计算相关性权重，由于前正面的大小、与所确定的设备的位所的距离、公开可用的评级等等，该咖啡店可能是第二个最相关。对地点卡1021(咖啡店)的快速动作可能是发出移动咖啡订单。例如，快速动作可以允许用户订购并且为他们的订单付款，而无需进入兴趣点。第三最相关的兴趣点可以是便利店，被示出为地点卡1022。第四最相关的兴趣点可以是大卖场，示出为地点卡1023。第五最相关的兴趣点可以是电影剧院，示出为地点卡1023。地点卡1023(电影院)的快速动作可能是订购电影票。例如，快速动作可以允许用户订票并选择用于展示的座位。兴趣点可能比显示器1006上显示的兴趣点更多。例如，显示器1006可以被触摸激活，使得用户可以提供触摸输入以滚动列表以看到附加兴趣点。
随着***悉知用户的选择，感兴趣的地方出现的顺序可以改变。该设备可以随着时间的流逝悉知该特定地理区域中的用户始终选择特定选项，并且因此，该设备可以推广该特定选项。例如，相关性权重公式可以按照从最相关到最不相关的顺序对兴趣点进行排名，例如：餐厅、咖啡店、便利店、大卖场和电影院。然而，随着时间的流逝，该***可以通过机器学习来悉知，当以该顺序呈现感兴趣点时，用户选择咖啡店的频率比他们选择餐厅的频率高。因此，对于该位所的将来查询，即使咖啡店的相关性权重小于餐厅的相关性权重，***也可以呈现与咖啡店最相关的兴趣点列表。
图10B图示其中关于兴趣点的信息被提供为带注释的地图的示例。例如，每个兴趣点可以被提供为地图1030上的点A-F。在地图1030下方，可以提供关于点A-F的信息。例如，可以在对地图上的点A-F的关系中示出兴趣点的名称和/或类型。在一些示例中，点A可以被认为是最相关的兴趣点，因为它被首先列出。地图1030上的点A可能对应于餐厅，点B可能对应于咖啡店，点C可能对应于便利店，点D可能对应于大卖场，点E可能对应于电影院，并且点F可以对应于咖啡馆。
用户可能能够与地图1030交互。例如，用户可能能够在地图1030上放大和/或缩小。在一些示例中，用户可能能够选择兴趣点中的一个点A-F以获取有关兴趣点的更多信息。例如，选择一个点A-F可以使信息出现在显示器1006上，诸如兴趣点到所确定的设备的位所的距离、兴趣点的评级等。在一些示例中，用户可以选择在地图1030下方的列表中的点A-F，其可以使与该兴趣点有关的信息出现在显示器1006上。
图10C图示其中关于兴趣点的信息被提供在显示器上的另一个示例。如所示的，可以在显示器1006上提供兴趣点的街景图像1240。每个兴趣点可以具有标识兴趣点的大头针A-C。在街景图像1240下方，可以存在与大头针A-C相对应的兴趣点的列表。如在其他示例中，用户可能能够从街景图像1240或从街景图像1240下方提供的列表中选择点A-C，以显示有关所选兴趣点的更多信息。
图11图示在设备1102、服务器1104、VPS 1106和数据库1108之中可能发生的一系列步骤。例如，在框1110中，图像数据可由设备1102的一个或多个图像传感器感测。
在框1112和1114中，可以在图像数据中检测特征和/或对象。例如，设备1102可以从图像数据中检测或提取特征和/或对象。可以将从图像数据1112中检测到的特征和/或对象从设备1102发送到服务器1104或VPS 1106。在将检测到的特征从设备1102发送到服务器1104的示例中，可以从图像数据1114中检测到的特征和/或对象可以从服务器1104发送到VPS 1106。在一些示例中，服务器1104或VPS 1106可以检测图像数据1112、1114中的特征和/或对象。
在框1118中，VPS 1106可以将设备1118的姿势数据发送到服务器1104。设备1118的姿势数据可以基于从图像数据1112、1114中检测到的特征和/或对象和VPS索引。例如，VPS 1106可以至少基于从图像数据1112、1114中检测到的特征和/或对象来确定设备的位所和定向。
在框1116中，设备1118的姿势数据可以用于在地图数据库中查询多个兴趣点。
在框1118中，可以将基于姿势数据1116确定的多个兴趣点从数据库1108发送到服务器1104。多个兴趣点可以位于设备1102的位所的半径内。
在框1120中，可以过滤多个兴趣点。例如，可以过滤掉不在以设备定向为中心的确定的角度范围内的兴趣点，使得仅返回在确定的角度范围内的兴趣点。该确定的角度范围可以是兴趣点搜索角。兴趣点搜索角可以基于图像传感器与多个兴趣点之间的距离而动态地改变。在一些示例中，用户可以改变兴趣点搜索角。兴趣点搜索角可以例如类似于用户的视场。
在一些示例中，可以在VPS 1106、服务器1104或设备1102处过滤多个兴趣点。例如，设备1102可以接收半径内的多个兴趣点并且基于兴趣点搜索角过滤多个兴趣点。在另一示例中，服务器1104可以基于兴趣点搜索角来过滤多个兴趣点，并且仅将过滤的多个兴趣点发送到设备1102。可以将过滤的多个兴趣点1122提供给设备1102。
在框1124中，提供指示多个兴趣点的信息以供显示在设备1102上。
图12图示用于提供关于设备的地理区域中的至少一个兴趣点的信息的示例方法。例如，在框1210中，***可以从一个或多个图像传感器导出数据。
在框1220中，***可以基于从一个或多个图像传感器导出的数据来检测特定地理区域中的一个或多个特征。例如，***可以检测从一个或多个图像传感器导出的数据中的特征和/或对象。特征和/或对象可能包括永久和/或独特的结构，这些结构可能对确定设备的位所有用。特征和/或对象可能在VPS索引中，并且因此可能已经用于确定位所。
在框1230中，***可以基于检测到的特征和/或对象来确定设备的姿势数据。姿势数据可以包括设备的位所和定向。为了确定姿势数据，***可以结合各种其他传感器使用图像传感器捕获的特征和/或对象。其他传感器可以包括GPS传感器、加速度计、陀螺仪等。GPS传感器结合检测到的特征和/或对象可以确定设备的位所。加速度计和/或陀螺仪可用于确定设备的定向。设备的定向可能包括图像传感器指向的方向，并且因此也包括用户所面对的方向。
在框1240中，***可以基于姿势数据确定特定地理区域内的兴趣点。可以通过距姿势数据的最大距离(诸如设备的位所)来设置地理区域。例如，地理区域可以是设备周围的200米半径。在一些示例中，地理区域可以是围绕设备的三(3)个块半径。所确定的兴趣点可以是图像传感器以及因此用户可见的位所。
在框1250中，***可以提供指示一个或多个兴趣点的信息。***可以将该信息提供给用户设备的显示器。例如，该***可以提供指示兴趣点的列表、带注释的地图、带注释的街景等。在一些示例中，***可以提供指示兴趣点的音频反馈。
可以基于相关性对兴趣点进行排名。例如，更加靠近该设备的位所、已经由其他人更频繁地选择、具有较高的公开可用评级等的位所可能是确定兴趣点的相关性的因素。可以使用算法来确定相关性。***可以基于兴趣点的计算的相关性权重对其进行排名。
如将会意识到，本文描述的技术可以以与现有的例如基于图像匹配的技术相比更少的计算密集度并且需要更少的设备资源的方式使能够在用户附近搜索兴趣点。该技术还可以导致关于用户附近的兴趣点的指示通过不费劲的和更加直观的用户设备交互被更加快速地提供。

Claims (43)

1.一种***，包括：
一个或多个处理器，所述一个或多个处理器被配置成：
基于从对用户设备的一个或多个图像传感器的使用所导出的数据，检测由所述一个或多个图像传感器捕获到的一个或多个特征；
至少基于一个或多个检测到的特征，确定包括所述设备的位所和定向的姿势数据；
基于所述姿势数据，确定基于所述姿势数据所确定的特定地理区域内的多个兴趣点；以及
经由所述用户设备提供指示所述多个兴趣点中的一个或多个兴趣点的信息。
2.根据权利要求1所述的***，其中，所述地理区域处于所述姿势数据中所包括的所述设备的位所的预定距离之内。
3.根据权利要求1或权利要求2所述的***，其中，所述地理区域处于基于所述姿势数据中所包括的所述设备的定向的预定角度范围内。
4.根据权利要求3所述的***，其中，所述预定角度范围宽于所述一个或多个图像传感器的视场。
5.根据权利要求1所述的***，其中，所述预定义地理区域包括第一地理区域和第二地理区域，所述第一地理区域由距所述用户设备的位所的第一距离和第一角度范围来定义，所述第二地理区域由距所述用户设备的位所的第二距离和基于所述用户设备的定向的第二角度范围来定义，其中所述第一角度范围比所述第二角度范围宽，并且所述第一距离小于所述第二距离。
6.根据权利要求1至5中的任一项所述的***，其中，所述一个或多个图像传感器位于所述用户设备的边缘上。
7.根据权利要求1至6中的任一项所述的***，其中，通过为所述特定地理区域内的兴趣点而查询地图数据库来确定所述多个兴趣点。
8.根据权利要求7所述的***，其中，通过为距所述位所的特定范围内的兴趣点而查询所述地图数据库来确定所述多个兴趣点，并且对所返回的兴趣点进行过滤，使得排除以所述设备的定向为中心的角度范围之外的兴趣点。
9.根据权利要求1至8中的任一项所述的***，其中，使用基于街面图像的集合而生成的特征数据的数据库来确定所述姿势数据，所述街面图像描绘包括子区域的地理区域，由所述设备的一个或多个传感器捕获到的所述特征位于所述子区域中。
10.根据权利要求9所述的***，其中指示所述设备的位所的GPS数据用于标识所述特征数据的数据库的一部分以用于确定所述姿势数据。
11.一种方法，包括：
使用一个或多个处理器从一个或多个图像传感器导出数据；
使用所述一个或多个处理器并且基于所导出的数据，检测特定地理区域中的一个或多个特征；
使用所述一个或多个处理器并且至少基于一个或多个检测到的特征，确定包括所述设备的位所和定向的姿势数据；
使用所述一个或多个处理器并且基于所述姿势数据，确定所述特定地理区域内的多个兴趣点；以及
响应于检测到特征，使用所述一个或多个处理器提供指示所述多个兴趣点中的一个或多个兴趣点的信息。
12.根据权利要求11所述的方法，其中，检测所述特定地理区域中的所述一个或者多个特征在所述检测时在没有来自用户的提示的情况下发生。
13.根据权利要求11所述的方法，进一步包括，使用所述一个或多个处理器基于所述图像传感器的视场来确定所述多个兴趣点。
14.根据权利要求13所述的方法，其中所述视场由视角限定。
15.根据权利要求11所述的方法，进一步包括：使用所述一个或多个处理器计算所述多个兴趣点中的每一个兴趣点的相关性权重。
16.根据权利要求15所述的方法，进一步包括：使用所述一个或一个处理器并且基于所计算的相关性权重来提供所述多个兴趣点的排名列表。
17.根据权利要求15所述的方法，其中，计算相关性权重进一步包括：使用距离组因子、类型因子和地点评级因子。
18.根据权利要求17所述的方法，其中，所述距离组因子是基于所述设备与所述多个兴趣点中的每一个兴趣点之间的预定义距离阈值所确定的值。
19.根据权利要求17所述的方法，其中，所述类型因子是基于所述兴趣点的类型的值。
20.根据权利要求17所述的方法，其中，所述地点评级因子是基于所述多个兴趣点中的每一个兴趣点的至少一个公开可用评级的值。
21.根据权利要求11所述的方法，其中，确定所述姿势数据进一步基于GPS读数、视觉定位***读数和加速度计读数中的至少一个。
22.一种***，包括：
一个或多个处理器，所述一个或者多个处理器被配置成：
基于从对用户设备的一个或多个图像传感器的使用所导出的数据，检测特定地理区域中的一个或多个特征；
至少基于一个或多个检测到的特征，确定包括所述设备的位所和定向的姿势数据；
基于所述姿势数据，确定所述特定地理区域内的多个兴趣点；并且
响应于检测到所述特征，提供指示所述多个兴趣点中的一个或多个兴趣点的信息。
23.根据权利要求22所述的***，其中，检测所述特定地理区域中的所述一个或多个特征是在所述检测时在没有来自用户的提示的情况下发生。
24.根据权利要求23所述的***，其中，所述一个或多个处理器进一步被配置成基于所述图像传感器的视场来确定所述多个兴趣点。
25.根据权利要求24所述的***，其中，所述视场由视角限定。
26.根据权利要求22所述的***，其中，所述一个或多个处理器进一步被配置成计算所述多个兴趣点中的每一个兴趣点的相关性权重。
27.根据权利要求26所述的***，其中，所述一个或多个处理器进一步被配置成基于所计算的相关性权重来提供所述多个兴趣点的排名列表。
28.根据权利要求26所述的***，其中，所述相关性权重使用距离组因子、类型因子和地点评级因子来计算。
29.根据权利要求28所述的***，其中，所述距离组因子是基于所述设备与所述多个兴趣点中的每一个兴趣点之间的预定义距离阈值所确定的值。
30.根据权利要求28所述的***，其中，所述类型因子是基于兴趣点的类型的值。
31.根据权利要求28所述的***，其中，所述地点评级因子是基于所述多个兴趣点中的每一个兴趣点的至少一个公开可用评级的值。
32.根据权利要求22所述的***，其中确定所述姿势数据进一步基于GPS读数、视觉定位***读数和加速度计读数中的至少一个。
33.一种存储指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：
从用户设备的一个或多个图像传感器导出数据；
基于所导出的数据检测特定地理区域中的一个或多个特征；
至少基于一个或多个检测到的特征来确定包括所述设备的位所和定向的姿势数据；
基于所述姿势数据，确定所述特定地理区域内的多个兴趣点；并且
响应于检测到特征，提供指示所述多个兴趣点中的一个或多个兴趣点的信息。
34.根据权利要求33所述的非暂时性计算机可读介质，其中，检测所述特定地理区域中的一个或多个特征是在检测时在没有来自用户的提示的情况下发生。
35.根据权利要求33所述的非暂时性计算机可读介质，进一步使所述一个或多个处理器基于所述图像传感器的视场来确定所述多个兴趣点。
36.根据权利要求35所述的非暂时性计算机可读介质，其中，所述视场由视角限定。
37.根据权利要求33所述的非暂时性计算机可读介质，进一步使所述一个或多个处理器计算所述多个兴趣点中的每一个兴趣点的相关性权重。
38.根据权利要求37所述的非暂时性计算机可读介质，进一步使所述一个或多个处理器基于所计算的相关性权重来提供所述多个兴趣点的排名列表。
39.根据权利要求37所述的非暂时性计算机可读介质，其中，计算相关性权重进一步包括：使用距离组因子、类型因子和地点评级因子。
40.根据权利要求39所述的非暂时性计算机可读介质，其中，所述距离组因子是基于所述设备与所述多个兴趣点中的每一个兴趣点之间的预定义距离阈值所确定的值。
41.根据权利要求39所述的非暂时性计算机可读介质，其中，所述类型因子是基于兴趣点的类型的值。
42.根据权利要求39所述的非暂时性计算机可读介质，其中，所述地点评级因子是基于所述多个兴趣点中的每一个兴趣点的至少一个公共可用评级的值。
43.根据权利要求33所述的非暂时性计算机可读介质，其中确定所述姿势数据进一步基于GPS读数、视觉定位***读数和加速度计读数中的至少一个。
CN201980029390.6A 2019-11-06 2019-11-06 使用图像传感器查询地理参考信息的真实世界 Pending CN113079703A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/060061 WO2021091552A1 (en) 2019-11-06 2019-11-06 Use of image sensors to query real world for geo-reference information

Publications (1)

Publication Number Publication Date
CN113079703A true CN113079703A (zh) 2021-07-06

Family

ID=69167894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980029390.6A Pending CN113079703A (zh) 2019-11-06 2019-11-06 使用图像传感器查询地理参考信息的真实世界

Country Status (6)

Country Link
US (3) US11232587B2 (zh)
EP (2) EP3844644B1 (zh)
JP (2) JP7155293B2 (zh)
KR (2) KR102514000B1 (zh)
CN (1) CN113079703A (zh)
WO (1) WO2021091552A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131249B (zh) * 2023-10-26 2024-01-12 湖南省不动产登记中心 一种自然资源数据智能管理方法及***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155293B2 (ja) 2019-11-06 2022-10-18 グーグル エルエルシー ジオリファレンス情報について現実世界をクエリするための画像センサの使用

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8174568B2 (en) * 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
JP4816748B2 (ja) 2009-03-06 2011-11-16 ソニー株式会社 ナビゲーション装置及びナビゲーション方法
US8189964B2 (en) 2009-12-07 2012-05-29 Google Inc. Matching an approximately located query image against a reference image set
JP5432000B2 (ja) 2010-02-24 2014-03-05 株式会社ゼンリンデータコム 情報提示システム及びプログラム
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
JP2013142637A (ja) 2012-01-11 2013-07-22 Ntt Docomo Inc 方向計測装置、情報処理装置および方向計測方法
US9699375B2 (en) * 2013-04-05 2017-07-04 Nokia Technology Oy Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9646422B2 (en) * 2013-09-24 2017-05-09 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9432421B1 (en) * 2014-03-28 2016-08-30 A9.Com, Inc. Sharing links in an augmented reality environment
CA3046329A1 (en) * 2016-12-06 2018-06-14 Donn M. GURULE Systems and methods for a chronological-based search engine
US10417781B1 (en) * 2016-12-30 2019-09-17 X Development Llc Automated data capture
JP7155293B2 (ja) * 2019-11-06 2022-10-18 グーグル エルエルシー ジオリファレンス情報について現実世界をクエリするための画像センサの使用

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131249B (zh) * 2023-10-26 2024-01-12 湖南省不动产登记中心 一种自然资源数据智能管理方法及***

Also Published As

Publication number Publication date
JP7155293B2 (ja) 2022-10-18
US12033351B2 (en) 2024-07-09
JP2022510050A (ja) 2022-01-26
US20230360257A1 (en) 2023-11-09
KR102514000B1 (ko) 2023-03-24
JP2022176297A (ja) 2022-11-25
KR20230042423A (ko) 2023-03-28
EP4220439A1 (en) 2023-08-02
WO2021091552A1 (en) 2021-05-14
KR20210056946A (ko) 2021-05-20
US20210134003A1 (en) 2021-05-06
JP7498240B2 (ja) 2024-06-11
EP3844644A1 (en) 2021-07-07
EP3844644B1 (en) 2023-05-31
US20220076443A1 (en) 2022-03-10
US11232587B2 (en) 2022-01-25
US11688096B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
EP2455713B1 (en) Building directory aided navigation
US9874454B2 (en) Community-based data for mapping systems
JP6580703B2 (ja) モバイルデバイスの現在の地理的ロケーションに関連付けられたロケーションエンティティの曖昧性解消のためのシステムおよび方法
US8718922B2 (en) Variable density depthmap
US12033351B2 (en) Use of image sensors to query real world for geo-reference information
JP5652097B2 (ja) 画像処理装置、プログラム及び画像処理方法
US8532916B1 (en) Switching between best views of a place
US9171011B1 (en) Building search by contents
CN102937452A (zh) 一种基于图像信息码的导航方法、装置和***
CN105487644A (zh) 辨识装置、智能装置以及信息提供方法
CN107193820B (zh) 位置信息获取方法、装置及设备
WO2017035272A1 (en) System and method for facilitating user connections in travel locations
CN107291717B (zh) 确定兴趣点的位置的方法及装置
EP3300020A1 (en) Image based location determination
US20150134689A1 (en) Image based location determination
JP7144164B2 (ja) 情報提供システム、サーバ装置、及び端末用プログラム
JP6019680B2 (ja) 表示装置、表示方法、及び、表示プログラム
US11526569B2 (en) Generating directions and routes with personalized landmarks
US20220178713A1 (en) Stable Orientation Cues for Augmented Reality (AR)
WO2024091221A1 (en) Identification of unmet needs in a geographic region

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination