CN106537409B - 确定影像的罗盘定位 - Google Patents

确定影像的罗盘定位 Download PDF

Info

Publication number
CN106537409B
CN106537409B CN201480079425.4A CN201480079425A CN106537409B CN 106537409 B CN106537409 B CN 106537409B CN 201480079425 A CN201480079425 A CN 201480079425A CN 106537409 B CN106537409 B CN 106537409B
Authority
CN
China
Prior art keywords
image
feature
determining
value
azimuth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480079425.4A
Other languages
English (en)
Other versions
CN106537409A (zh
Inventor
安德鲁·加拉格尔
周舒畅
汪志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106537409A publication Critical patent/CN106537409A/zh
Application granted granted Critical
Publication of CN106537409B publication Critical patent/CN106537409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C17/00—Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
    • G01C17/34—Sun- or astro-compasses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

基于太阳的位置或与图像中捕获的天体有关的其他信息，可以确定影像相对于罗盘方位的定向。

Description

确定影像的罗盘定位
技术领域
本申请涉及用于确定影像的罗盘定位的方法和***。
背景技术
照片球包括覆盖由相机捕获的视图的球体的全部或部分的影像。例如，照片球可以具有在水平和垂直方向上捕获对相机可见的360°的特征的视场。影像的每个部分可以与相对角值相关联。例如，垂直方向可以相对于重力向量来参照，其中，垂直方向上的0°可以对应于地平线，垂直方向上的-90°可以表示竖直向下看的视线，并且垂直方向上的90°可以表示竖直向上看的视线。水平方向可以对应于罗盘方位。例如，水平方向上的0°可以对应于正北，并且水平方向上的90°、180°和270°可以分别对应于正东、正南和正西。照片球的水平坐标对应于方位角，并且垂直坐标对应于仰角角度。
基于来自磁罗盘的读数，可以测量和存储球相对于罗盘方位的定向。例如，出于创建照片球的目的，在移动设备(例如电话)的用户开始利用设备的相机捕获景象时，设备可以基于设备的内部罗盘来识别定向，以及基于设备的内部加速度计来识别重力向量。定向可以相对于与重力向量正交且指向北的向量来进行定义。定向也可以通过使用设备的陀螺仪测量设备相对于初始罗盘方位的偏转的变化来进行识别。设备还可以存储捕获时的日期、时间和地理位置。
在某些情形下，拍摄照片的罗盘方向可以通过将照片的内容与具有已知地理位置的地理特征的现有数据库进行匹配来确定。例如，可以使用第一图像中的图块(patch)或兴趣点来查询具有已知地理位置的图块或兴趣点的数据库，诸如通过使用运动恢复结构(SfM)技术。
当向用户显示照片球时，可以使用照片球的定向。例如，查看者可以请求查看照片球的特定方向(例如，通过与照片球自身交互，通过基于地图的控制、以编程方式等来查看)。
发明内容
本公开的方面提供一种方法。该方法包括：由一个或多个计算设备基于影像中的特征与天体的视觉相似性来识别该特征的位置。仰角值可以与天体的仰角角度相关联，并且由一个或多个计算设备基于影像内的该特征的位置来确定。可以由一个或多个计算设备基于多天内天体处于该仰角角度处的特定方位角的可能性来确定与该天体的方位角相关联的方位角值。可以由一个或多个计算设备基于该方位角值来确定该影像的罗盘方位。
本公开的另一方面提供一种***，该***包括：一个或多个处理器以及存储指令的存储器。该指令可由处理器执行并且包括：基于影像中的特征与影子的视觉相似性来识别该特征的位置；基于该影像中的特征的位置来确定罗盘方位；以及将影像的一部分与所确定的罗盘方位相关联。
本公开的又一方面提供一种***，该***包括：一个或多个处理器以及存储指令的存储器，该指令可由处理器执行。该指令包括：基于影像中的第一特征与天体的视觉相似性来识别该第一特征的第一位置；基于该影像中的第二特征和与地理位置相关联的对象的视觉相似性来识别该第二特征的第二位置；基于相对于第二位置的第一位置的位置来确定方位角；以及将影像的一部分与所确定的方位角角度相关联。
附图说明
图1是根据***和方法的方面的***的功能图。
图2是示例影像的定向的示例。
图3是定位示例影像中的视觉特征的示例。
图4是确定示例影像的定向的示例。
图5是在示例地理位置处的一天中的、关于仰角的太阳的方位角的图。
图6是在示例地理位置处的、在一年中关于仰角的太阳的方位角的图。
图7是太阳处于示例地理位置处的特定方位角处的概率的图。
图8是确定示例影像的定向的示例。
图9是确定示例影像的定向的示例。
图10是确定示例影像的定向的示例。
图11是根据公开的方面的示例流程图。
图12是根据公开的方面的示例流程图。
具体实施方式
本技术与确定影像的罗盘定向有关。例如，用户可以使用一个或多个计算设备来捕获和上传照片球，并且一个或多个计算设备可以通过检测影像内的天体的位置来确定面朝北的照片球的部分。
例如图2是出于说明的目的而通过将该球体投射到平面上来使其变平的照片球的示例。照片球可以与罗盘方位相关联。例如，在使用设备来捕获影像时，设备的磁罗盘可以被用来识别面朝北的照片的部分。该设备可以进一步捕获在该影像被捕获时的日期、时间和地理位置。
由设备捕获并且与照片球相关联的信息可以被用来确定照片球内的太阳的预期位置。例如并且如图5所示，基于与照片球相关联的地理位置、日期和时间，可以计算在照片球被捕获时太阳的仰角和方位角。如图3所示，可以使用所计算的仰角(y坐标)来识别仰角范围，以在其内执行对于具有太阳的视觉特性的照片球内的特征的搜索。
一旦定位了太阳，可以使用照片球内太阳的位置来调整与照片球相关联的定向。例如并且如图4所示，可以将照片球内的太阳的水平位置(x坐标)与等于所计算的太阳的方位角的罗盘方位相关联。然后，基于太阳的水平位置和所计算的太阳的方位角，可以确定照片球的正北的水平位置。就先前存储的正北的相对定向与所计算的正北的相对定向之间存在差异而言，可以基于该差异来修正与照片球相关联的正北的定向。
当照片球的捕获日期和时间未知时，也可以根据太阳的位置来估计照片球的定向。图6图示在特定地理位置处，整年的每一天的每个小时的太阳的位置。存在24个记号，该天的每个小时具有一个记号，并且每个记号是示出一年中太阳在该小时所在之处的365个点的集合。如由该图所图示，当太阳处于给定仰角时，存在有限范围的可能的方位角。例如，如果太阳处于地平线处(仰角0°)，则太阳或者正在东方升起(例如，处于或接近90°)或者正在西方落下(例如处于或接近270°)；太阳的方位角不会是正南(方位角180°)。然而，如果太阳处于天空中其最高点，则在北半球，太阳在头顶正上方或正南方的头顶正上方。图7是当太阳处于特定地理位置的特定仰角时，太阳处于不同方位角的概率的示例。
一个照片球的所计算的定向可以基于另一照片球的所计算的定向，包括例如当接近于彼此来捕获多个照片球时。例如并且如图8所示，每个照片球的所计算的定向可以基于针对其他照片球来计算的视觉特征匹配和定向。
还可以基于阴影来估计照片球的定向。例如并且如图9所示，如果照片球的影像延伸的高度不足以捕获太阳，或者如果太阳本身从图像捕获设备的视野中被遮蔽，则太阳的位置可能难以确定。在设备难以定位图像内的太阳的事件中，设备可以确定在图像内是否存在与拍摄照片的拍摄者的影子在视觉上相似的视觉特征。如果有，则设备可以确定太阳的方位角坐标从自照片球的最低点(仰角-90度处的点)穿过拍摄者的影子中心来指向的向量的方位角偏移180°。
还可以使用太阳的位置来解决与具有已知地理位置的特征相关的定向模糊。如图10所示，在没有定向信息的情况下在一个地理位置处拍摄图像。计算设备可以确定图像的位置是否接近具有已知地理位置的特征，诸如道路。如果是，则计算设备可以确定太阳相对于该特征的位置，诸如确定道路的特定部分是否向东或向西。
示例***
图1图示了一个可能的***100，其中可以实现本文所公开的方面。在本示例中，***100可以包括计算设备110和计算设备120。计算设备110可以包含一个或多个处理器112、存储器114和通常存在于通用计算设备中的其他组件。尽管图1功能性上将处理器112和存储器114中的每一个表示为设备110内的单个块，所述设备110也被表示为单个块，但是该***可以包括以下并且本文所述的方法可以包含以下：可以或可以不存储在相同物理壳体内的多个处理器、存储器和设备。例如，下文被描述为包含单个组件(例如处理器112)的各个方法可以包含多个组件(例如负载均衡的服务器群中的多个处理器)。类似地，下文被描述为包含不同组件(例如设备110和设备120)的各个方法可以包含单个组件(例如，不同于设备120执行下述的确定，设备120可以将相关数据发送到设备110以用于处理并且接收所述确定的结果以用于进一步处理或显示)。
计算设备110的存储器114可以存储可由处理器112访问的信息，包括可以由处理器112执行的指令116。存储器114还可以包括可以由处理器112检索、操纵或存储的数据118。存储器114和本文所述的其他存储器可以是能够存储可由相关处理器访问的信息的任何类型的存储器，诸如硬盘、固态驱动器、存储器卡、RAM、DVD、能写入存储器或只读存储器。此外，存储器可以包括分布式存储***，其中诸如数据150的数据存储在可以物理地位于相同或不同地理位置的多个不同的存储设备上。
指令116可以是待由处理器112或其他计算设备执行的任何指令集。在此方面，在本文中可以可互换地使用术语“指令”、“应用”、“步骤”和“程序”。可以以用于由处理器即时处理的对象代码格式、或以包括按需来解释或预先编译的独立源代码模块的脚本或集合的另一计算设备语言存储指令。下文中更详细地解释指令的功能、方法和例程。处理器112可以是任何常规的处理器，诸如商业上可获得的CPU。替选地，处理器可以是专用组件，诸如ASIC或基于其他硬件的处理器。
可以根据指令116来由计算设备110检索、存储或修改数据118。例如，尽管本文所述的主题不受任何特定数据结构限制，但数据可以存储在计算机寄存器中、作为具有许多不同字段和记录存储在关系数据库中、或存储在XML文档中。还可以以任何计算设备可读格式来格式化该数据，所述格式诸如但不限于二进制值、ASCII或Unicode。此外，该数据可以包括足以识别相关信息的任何信息，诸如数字、描述性文本、专有代码、指针、对在诸如其他网络位置处的其他存储器中存储的数据的引用、或者由函数用来计算相关数据的信息。
计算设备110可以处于网络160的一个节点处并且能够与网络160的其他节点直接或间接通信。尽管在图1中仅描绘了很少的计算设备，但典型的***可以包括大量的连接的计算设备，其中每个不同的计算设备处于网络160的不同节点处。网络160和本文所述的中间节点可以使用各种协议和***互连，使得网络可以是互联网、万维网、专用内联网、广域网、或局部网络的一部分。网络可以利用标准通信协议，诸如以太网、Wi-Fi和HTTP、对一个或多个公司专有的协议、以及前述的各种组合。作为示例，计算设备110可以是能够经由网络160来与计算设备120通信的Web服务器。计算设备120可以是客户端计算设备，并且服务器110可以通过使用网络160传送和呈现信息来经由显示器122向计算设备120的用户125显示该信息。尽管当如上指出来传送或接收信息时获得了某些优点，但本文所述的主题的其他方面不限于信息的传送的任何特定方式。
计算设备120可以与服务器110类似地来被配置，以具有上文所述的处理器、存储器和指令。计算设备120可以是意图由用户使用的个人计算设备并且具有通常与个人计算设备结合来使用的组件中的全部，诸如中央处理单元(CPU)、存储数据和指令的存储器、显示器——诸如显示器122(例如具有屏幕的监视器、触摸屏、投影仪、电视、或可操作以显示信息的其他设备)、用户输入设备124(例如鼠标、键盘、触摸屏、麦克风等)、以及相机125。
计算设备120也可以是能够通过网络——诸如互联网来与服务器无线地交换数据的移动计算设备。仅作为示例，设备120可以是能够经由互联网来获得信息的移动电话或设备，诸如支持无线的PAD、平板PC、可穿戴计算设备、或上网本。该设备可以被配置为利用操作***来操作，所述操作***诸如Google的Android操作***、Microsoft Windows或AppleiOS。在此方面，在本文所述的操作期间执行的指令中的一些可以由操作***提供，而其他指令可以由安装在该设备上的应用程序提供。根据本文所述的***和方法的计算设备可以包括能够处理指令并且向以下传送数据和从以下传送数据的其他设备：人和/或包括缺乏本地存储能力的网络计算机和用于电视的机顶盒。
计算设备120可以包括诸如电路的组件130以确定设备的地理位置和定向。例如，客户端设备120可以包括GPS接收器131以确定设备的纬度、经度和海拔位置。该组件还可以包括软件以用于基于在客户端设备120处接收的其他信号来确定设备的位置，所述其他信号诸如在客户端设备为小区电话的情况下在该小区电话的天线处从一个或多个小区电话塔接收的信号。还可以包括用以确定设备朝向的方向的磁罗盘132、加速度计133和陀螺仪134。仅作为示例，该设备可以相对于重力方向或与其垂直的平面来确定该设备的倾斜、偏转或滚转(或其变化)。
服务器110可以存储地图相关的信息，其中的至少一部分可以被传送到客户端设备。地图信息不限于任何特定的格式。例如，地图数据可以包括地理位置的位图图像，诸如由卫星或飞行器捕获的照片。地图数据还可以包括预先或按需被渲染为图像的信息，诸如将街道位置和人行小道存储为基于纬度/经度/海拔的向量，以及作为文本的街道和小道名称。
服务器110还可以存储影像，仅作为示例，诸如平面照片、照片球、或景象的视频。出于使照片可供后续访问来访问或可由搜索与该特征相关的信息的任何人访问的目的，可以由最终用户捕获和上传影像。除由相机捕获的图像数据外，影像的各个项目可以与附加数据相关联，所述附加数据诸如捕获日期、捕获的日内时间、以及捕获的地理位置(例如纬度、经度和海拔)或影像中所捕获的特征的地理位置。影像的部分可以与附加信息相关联，所述附加信息包括深度信息(例如，捕获特征的影像的一部分与相机之间的距离)以及上文所述的相对定向角。
服务器110还可以存储与地理位置相关联的特征。例如，特征可以包括给定位置处的地标、商店、湖泊、兴趣点、或任何其他视觉对象或对象集合。
位置可以以各种方式来表示，仅作为示例，所述方式包括：纬度/经度/海拔、街道地址、相对于地图的边缘的x-y坐标(诸如相对于街道地图的边缘的像素位置)、以及能够识别地理位置的其他参照系(例如，勘测地图上的图块和街区编号)。此外，位置可以限定前述内容的范围。例如，卫星图像可以与限定区域的边界的顶点集合相关联，诸如存储在图像的角处捕获的每个位置的纬度/经度。该***和方法可以进一步将位置从一个参照系转换成另一个参照系。例如，服务器110可以访问地理编码器来将根据一个参照系识别的位置(例如，街道地址——诸如“1600Amphitheatre Parkway,Mountain View,CA”)转换成根据另一参照系识别的位置(例如，纬度/纬度坐标——诸如(37.423021°，-122.083939°))。在此方面，在一个参照系中接收或处理的位置也可以在其他参照系中接收或处理。
示例方法
现在将描述根据本发明的各个方面的操作。应理解，以下操作不必按下文描述的确切顺序执行。相反，能够以不同顺序或同时地来处理各个步骤。
移动设备120的用户135可以使用相机125来捕获景象的照片球。例如，当用户改变相机的倾斜、偏转或滚转时，设备可以存储由相机捕获的图像。当正捕获图像时，设备可以将加速度计133和陀螺仪134的输出与影像的相关部分相关联。例如，该设备可以使用加速度计133来相对于与重力相对应的向量(例如垂直向下)以映射影像的部分。该设备还可以使用陀螺仪134相对于初始偏转值来映射影像的部分。此外，该设备可以基于罗盘132的输出来将偏转值与当时的罗盘方位相关联。基于由罗盘132指示的偏转值和北方向，该设备可以进一步相对于与正北相对应的向量来映射影像的部分。
图2是出于示例目的而已经变平的照片球的示例。影像210的底部对应于-90°的仰角(例如竖直向下)，影像210的顶部对应于90°的仰角(例如竖直向上)，并且影像210的垂直中部对应于0°的仰角(例如地平线)。影像210的水平长度跨越360°的偏转并且对应于方位角方向。基于罗盘132的输出，影像的特定部分可以与正北相关联。例如，基准线220表示相对于影像210的、正北的水平位置。基准线221分别对应于正东和正南。影像210的左边缘和右边缘对应于正西。
各个因素可能干扰从罗盘接收的信息的精度。例如，许多磁罗盘需要定期校准来保持精度并且减少累积磁效应。此外，附近的混凝土-钢结构或矿床可能使捕获位置处的磁场扭曲。
设备还可以将捕获影像的日期和时间与该影像相关联。该设备可以进一步将接近于相机的地理位置与影像相关联，例如由GPS组件131输出的纬度、经度和海拔。例如，可以将图像数据、日期、时间、位置和罗盘方向存储在文件中并且由用户上传到服务器110。
由该设备捕获并且与影像相关联的信息可以被用来确定影像内的太阳的预期位置。例如，服务器110的处理器112可以执行各种算法来计算特定时间和特定地理位置处的、在特定日期的太阳的仰角(例如，http://aa.usno.navy.mil/data/docs/AltAz.php)。
图5是捕获影像210的一天中太阳的位置的样本图。在日出时，太阳的仰角为0°(例如，地平线)，并且方位角为95°(例如正东偏南几度)。随着该日流逝，仰角和方位角二者都增长直到正午，在该点处太阳处于其最高位置并且在北半球，该位置为地理位置的南部。在正午后随着该日流逝，当太阳向西行进方位角继续增加，但仰角随太阳开始下行而减小。最后，在日落时，太阳的仰角再次为0°(例如地平线)并且方位角为265°(例如正西偏南几度)。出于示例目的，将假定影像210在中午前不久被捕获，在该情况下，服务器100可以计算出太阳的仰角为32°并且其方位角为161°。
可以使用所计算的仰角来识别仰角的范围，以在该范围内在影像中搜索具有太阳的视觉特性的特征。例如并且如图3所示，处理器可以使用计算机视觉技术来搜索与32°+/-10°的仰角相对应的影像210的部分310。处理器可以在部分310中搜索视觉特性，诸如亮度强度、与周围区域相比的亮度强度、具有与蓝色天空类似的颜色的图像的部分、具有大于阈值的强度的区域的圆度、以及具有大于阈值的强度的区域的紧实度。在这方面，处理器可以将影像210的视觉特征320识别为太阳。
在一些方面中，可以提示用户查看影像并且识别影像内的太阳的位置，诸如通过点击它。
一旦已经定位太阳，就可以使用照片球内的其位置来计算与该影像相关联的定向。例如并且如图4所示，服务器可以识别太阳320的水平中心410。基于之前的计算，处理器之后确定水平坐标410对应于方位角161°。因此，太阳和正北之间的差430为161°，例如基准线420处的影像的部分与正北相关联。可以类似地计算与影像的其他部分相关联的方位角，如名为“罗盘(计算的)”的线上的度数值所示。
就先前存储的定向与所计算的定向之间存在差而言，可以基于该差来修正定向。例如，该***可以将影像与正北位置相关联，所述正北位置是根据设备的磁罗盘所确定的位置与基于太阳的位置所确定的位置的平均值。
还可以基于指示所测量的定向和所计算的定向的预期精度的置信度值来确定该位置。例如，与影像相关联的元数据可以指示在捕获图像时，磁罗盘需要校准，在这种情况下，测量的定向的精度的置信度可能低。类似地，与影像相关联的元数据可以指示设备的型号号码，以及服务器可以具有与该型号的罗盘的质量有关的历史信息。
如果影像中的特征的视觉特性难以确定太阳的精确中心，则所计算的定向的精度的置信度也可能相对低。例如，基于亮度强度、与周围区域相比的亮度强度、具有与蓝色天空类似的颜色的图像部分、具有大于阈值的强度的区域的圆度、以及具有大于阈值的强度的区域的紧实度，可以确定与所计算的定向相关联的置信度值。此外，可以使用附加特征，诸如来自室内/室外检测器(例如，如在M.Szummer和R.W.Picard，“Indoor-Outdoor ImageClassification(室内-室外图像分类)”,in Proc.IEEE International Workshop onContent-based Access of Image and Video Databases,1998.pp.42-51中描述的室内/室外检测器，其全部内容在此引入以供参考)的分值，所述室内/室外检测器对图像的像素进行分析并且产生该图像为室外图像的置信度分值。这些特征可以被用作向机器学习***——诸如支持向量机(SVM)的输入来产生图像中的推定的检测出的太阳实际上与太阳相对应的置信度分值。例如，对于图4中的图像的视觉特征320，SVM可以产生0.98的置信度分值该置信度分值指示：基于该算法，有98％的可能该视觉特征320实际就是太阳。
基于所测量和所计算的定向的置信度值，可以确定与影像相关联的定向。例如，如果所计算的定向的置信度值大于所测量的定向的置信度值或大于阈值，则该***可以忽略所测量的定向。还可以基于置信度值的相对值来确定与影像相关联的定向，所述相对值例如以距所测量的定向和所计算定向中的每一个与两个定向的置信度值成反比的距离来在所测量的定向和所计算的定向之间设置。在另一实施例中，如果所计算的定向的置信度值没有超出例如0.9的阈值，则可以将其完全忽略而无需关注所测量的定向(如果有)。
当照片球的日期和时间未知时，还可以根据太阳的位置来估计照片球的定向。图6图示了整年的每一天的每个小时的、特定纬度处的太阳的位置。存在诸如记号650的24个记号，其中，每个记号是示出在该年中在该小时太阳所在之处的365个点的集合。如由该图所图示，当太阳处于给定仰角时，存在有限范围的可能的方位角。例如，对在YosemiteNational Park，California(加州优胜美地国家公园)捕获的照片球，如果太阳处于地平线处(仰角0°)，则太阳或者正在东方升起(例如，处于或接近方位角90°)或者正在西方落下(例如处于或接近方位角270°)；太阳的方位角不会是正南(方位角180°)。然而，如果太阳处于天空中其最高点，则在Yosemite National Park,California处太阳将在头顶正上方或正南方的头顶正上方。由此，对于给定的地理位置，每个仰角与可能的方位角的范围相关联。例如并且如图6所示，当太阳处于仰角32°时，方位角的唯一可能范围为范围610和611。如果捕获日期未知，则该***可以基于在所确定的仰角的可能的方位角范围——诸如在该范围内选择值来估计该方位角。
还可以基于太阳处于特定仰角的概率来估计方位角。例如，对于给定仰角，并非可能的方位角中的全部都相等。图7是当太阳在一年中处于特定纬度和特定经度的特定仰角时，太阳处于不同方位角的概率的示例。通过估计在该年全年中太阳位于特定仰角附近的时间量，可以确定基于太阳的特定仰角和纬经度的特定方位角值的概率，并且根据年的长度来标准化该估计，使得被指派到所有可能方位角值的概率之和总计为1.0。基于该图，如基准线710和711所示，方位角最可能为约175°或185°。在此方面，当***确定太阳的仰角和纬度时，该***可以选择最可能的方位角或最可能方位角中的一个，或者使最大可能误差最小化的方位角值。
可以使用日期和时间信息的各种组合来增加估计的精度。例如，如果日期未知但时间或时间范围已知，则通过消除在该时间或时间范围对于该位置不可能的方位角，能够缩小可能的方位角的数目。类似地，如果日期或日期范围已知但时间未知，则通过排除在该日期或在日期范围期间对于该位置不可能的方位角，能够缩小可能的方位角的数目。在任一情况下，可以增加剩余的、可能的方位角的概率，由此增加选择靠近正确方位角的方位角的可能性。
该***可以使用图像数据中的附加信息来增加估计的精度。例如，处理器可以针对指示年内时间的信息来分析图像数据，诸如雪或光秃的树指示秋季、多色的叶子指示秋季、或者绿色的叶子指示春季或夏季。然后，基于该季节来选择日期的范围，由此增加诸如图7所示的概率函数的精度。
基于从其他照片球获得的信息，可以增加一个照片球中的方位角估计的精度。图8图示了两个不同的示例照片球810和811，其中捕获日期未知，但位置已知并且相互接近。如上所述，***可以基于在每个图像810、811中(分别)中的所检测的太阳仰角830、831以及水平位置840、841，确定可能的方位角820、821的范围。该***还可以使用常见的计算机视觉特征匹配技术来确定：相同的地理特征850在两个图像中都出现了，但处于不同的水平位置860、861。该***可以将每个图像中的特征的不同位置用作公共参考点，以例如确定与该特征有关的可能性的范围的水平位置。在此方面并且如图像810a所示，该***可以应用图像811中的可能性821的范围来缩小图像810中的可能性820的范围。例如，可以基于范围820和821的相交处来确定可能性870的新范围，并且可以将正北计算为位于缩小的可能性范围内。
在其他方面中，***可以确定每个图像810和820的概率函数(诸如图7所示的那些概率函数)，并且基于两个函数的乘积来确定每个图像的新概率函数。
也可以基于影子来估计照片球的定向。例如并且如图9所示，如果照片球的影像延伸的高度不足以捕获捕获太阳，或者如果如果太阳本身从图像捕获设备的视野视野中被遮蔽，则可能难以确定太阳的位置。在设备难以定位图像内的太阳的事件中，该设备可以确定在图像内是否存在在确定太阳的位置中可能有用的匹配阴影的视觉特征。例如，该***可以在影像910内搜索从照片球的底部竖直向上延伸并且大致具有拍摄照片的人的预期形状或尺寸的影子920。如果找到这样的视觉特征，则设备可以使用影子920的位置来估计出：与太阳的方位角相对应的水平位置940从影子920的中心偏转了180°。因此，通过计算与图像捕获时间、纬度和经度相对应的的太阳的位置，确定与正北相对应的水平坐标。
***可以进一步基于影子的长度来确定日内时间。例如，该***可以基于在影子的顶部的仰角的角度，估计地面上人的影子的长度。然后，该***可以确定影子的地面长度与假定的平均的人的高度——例如1.75m的人的比率。如果该影子远短于该平均高度，则将该时间估计为接近正午。如果影子远长于平均高度，则将该时间估计为接近日出或日落。使用该估计的时间，即使当图像捕获时间是先验未知的时，该***也能产生与正北相对应的方位角的改善的估计。
还可以使用太阳的位置来解决与具有已知地理位置的特征相关的定向模糊。图10图示了照片球1110。***可以针对具有已知地理位置的特征来分析该影像。例如，该***可以确定该图像已经捕获到在两个方向1121和1122上延伸的道路1120。该***可以访问其地图数据来确定是否存在已知接近该影像被捕获的位置的道路，并且在地图1140上识别从西到东延伸的道路1130。由此，该***可以确定方向1121和1122对应于西或东，但在影像1110中示出为“可能性#1”和“可能性#2”，可能不存在足够的信息以确定方向1121和1222是否分别对应于东或西，或反之亦然。如上所述，***可以在影像1110中搜索并且识别影像中的太阳的位置1150。一旦检测到，如先前参照图5-7所述，该***就可以确定与图像捕获日期和时间(如果已知)以及地理位置(如果已知)相对应的方位角位置的范围或范围集合，并且进一步将这些范围与概率结合来确定用于图像的定向的可行方案。例如，如果捕获的位置处于北半球并且太阳不在头顶正上方，则太阳必定至少部分处于向南的方向上。因此，该***可以消除会导致太阳处于向北方向的所有可能性，即，该***可以确定“可能性#2”是最可能的可能性(因为太阳会在90°和180°的范围内)，并且估计正北对应于基准线1120。尽管已经使用道路作为被用来产生可能性的地理特征来描述上述示例，但也可以使用其他地理特征来产生可能性集合，诸如人行道、小路、结构、水体、森林、或田地。
基于估计的组合，可以进一步确定影像的定向。例如，如果结合图4、8、9和10中的两个或更多可以如上所述来估计特定照片球的定向，则所估计的定向可以基于所述估计的全部的平均值、乘积、或共识。此外，基于与每个估计相关联的置信度，可以消除估计或增强或降低它们的作用。
除了太阳以外或作为其替代，可以使用其他天体。例如，基于图像捕获的位置和时间，以及在影像中识别的其位置，可以计算月亮的方位角和仰角。可以类似地使用恒星、行星、彗星、和星座。
图11是根据上述的方面中的一些的流程图。在块1101处，选择与地理位置相关联的照片球。分析该照片球以识别与太阳的外观类似的视觉特征(块1102)，并且基于图像内的该特征的位置来确定太阳的仰角(块1103)。在块1104处，基于太阳的仰角和地理位置，确定在特定日期发生捕获的概率。如果存在待评估的附加的照片球(块1105)，选择并且类似地分析它们。如果评估了附加的照片球，则基于对于所述其他照片球所确定的置信度值，可以调整第一照片球的置信度值。在块1106处，如果置信度值超出阈值，则基于在照片球内的太阳的位置，可以设置照片球的定向(块1107)。否则，如块1108中所示，不设置该定向。
图12是根据上述的方面中的一些的另一流程图。在块1201处，基于影像中的特征与天体的视觉相似性，识别该特征的位置。在块1202处，基于该特征的位置，确定与天体的仰角角度相关联的仰角值。在块1203处，基于多天内天体处于该仰角角度的特定方位角的可能性来确定方位角值。在块1204处，基于该方位角值来确定影像的罗盘方位定向。
在不背离由权利要求书限定的本发明的情况下，能够利用以上讨论的特征的这些和其他变型和组合，实施例的前述描述应当被视为说明，而不是对由权利要求书限定的本发明的限制。还将理解到，提供本发明的示例(以及措辞为“诸如”、“例如”、“包括”等的条款)不应当解释为将本发明限定到具体的示例，相反，这些示例旨在仅说明许多可能的方面中的一些。

Claims (18)

1.一种计算机实现的方法，包括：
由一个或多个计算设备对图像数据搜索具有视觉特性的特征，所述图像数据与在地理位置捕获的图像相关联；
由所述一个或多个计算设备(i)至少基于所述图像数据和选自由亮度强度、与所述图像的周围区域相比的亮度强度、具有与蓝色天空类似的颜色的所述图像的部分、具有大于阈值的强度的所述图像的区域的圆度以及具有大于阈值的强度的所述图像的区域的紧实度组成的组的视觉特征或(ii)基于元数据、历史信息、像素分析和机器学习中的至少一个来确定与所述特征是天体的可能性相关联的置信度值；
由所述一个或多个计算设备确定所述特征在所述图像中的位置；
由所述一个或多个计算设备确定与所述特征的仰角角度相关联的仰角值，其中，所述仰角值基于所述特征在所述图像中的位置；
由所述一个或多个计算设备基于在所述地理位置处在多天的范围内所述天体处于所述仰角角度处的特定方位角的可能性通过估计所述图像被捕获的时间来确定与所述特征相关联的方位角值；
由所述一个或多个计算设备基于所述方位角值来确定罗盘方位；以及
由所述一个或多个计算设备基于所述置信度值来将所述图像数据的一部分与所述罗盘方位相关联。
2.根据权利要求1所述的计算机实现的方法，其中，所述图像数据与照片球相关联，所述特征在所述图像中的位置与相对定向值相关联，以及基于所述天体对所述照片球的地平线的相对定向来确定所述仰角值。
3.根据权利要求1所述的计算机实现的方法，其中，所述图像被捕获的时间是未知的。
4.根据权利要求1所述的计算机实现的方法，其中：
所述图像是第一图像，以及所述方位角值是第一方位角值；
所述方法进一步包括由所述一个或多个计算设备基于第二特征与天体的视觉相似性来确定基于所述第二特征在第二图像中的位置的第二方位角值；以及
还基于所述第二方位角值来确定基于所述第一方位角值的所述第一图像的罗盘方位。
5.根据权利要求4所述的计算机实现的方法，其中，所述第一图像和所述第二图像是在相同地理位置处捕获的。
6.根据权利要求4所述的计算机实现的方法，还包括确定所述第一图像是否捕获与所述第二图像中的特征在视觉上相似的特征，其中所述特征不是所述天体。
7.根据权利要求1所述的计算机实现的方法，其中，所述天体是太阳。
8.根据权利要求1所述的计算机实现的方法，其中，所述天体是月亮。
9.根据权利要求1所述的计算机实现的方法，其中，确定所述方位角值包括针对指示年的时间的信息来分析所述图像。
10.一种***，包括：
一个或多个计算设备；以及
存储指令的存储器，所述指令能够由所述一个或多个计算设备执行，其中所述指令包括：
对图像数据搜索具有视觉特性的特征，所述图像数据与在地理位置捕获的图像相关联；
(i)至少基于所述图像数据和选自由亮度强度、与所述图像的周围区域相比的亮度强度、具有与蓝色天空类似的颜色的所述图像的部分、具有大于阈值的强度的所述图像的区域的圆度以及具有大于阈值的强度的所述图像的区域的紧实度组成的组的视觉特征或(ii)基于元数据、历史信息、像素分析和机器学习中的至少一个来确定与所述特征是天体的可能性相关联的置信度值；
确定所述特征在所述图像中的位置；
确定与所述特征的仰角角度相关联的仰角值，其中，所述仰角值基于所述特征在所述图像中的位置；
基于在所述地理位置处在多天的范围内所述天体处于所述仰角角度处的特定方位角的可能性通过估计所述图像被捕获的时间来确定与所述特征相关联的方位角值；
基于所述方位角值来确定罗盘方位；以及
基于所述置信度值来将所述图像数据的一部分与所述罗盘方位相关联。
11.根据权利要求10所述的***，其中，所述图像数据与照片球相关联，所述特征在所述图像中的位置与相对定向值相关联，以及基于所述天体对所述照片球的地平线的相对定向来确定所述仰角值。
12.根据权利要求10所述的***，其中，所述图像被捕获的时间是未知的。
13.根据权利要求10所述的***，其中：
所述图像是第一图像，以及所述方位角值是第一方位角值；
所述指令进一步包括由所述一个或多个计算设备基于第二特征与天体的视觉相似性来确定基于所述第二特征在第二图像中的位置的第二方位角值；以及
还基于所述第二方位角值来确定基于所述第一方位角值的所述第一图像的罗盘方位。
14.根据权利要求13所述的***，其中，所述第一图像和所述第二图像是在相同地理位置处捕获的。
15.根据权利要求13所述的***，还包括确定所述第一图像是否捕获与所述第二图像中的特征在视觉上相似的特征，其中所述特征不是所述天体。
16.根据权利要求10所述的***，其中，所述天体是太阳。
17.根据权利要求10所述的***，其中，所述天体是月亮。
18.根据权利要求10所述的***，其中，确定所述方位角值包括针对指示年的时间的信息来分析所述图像。
CN201480079425.4A 2014-08-18 2014-08-18 确定影像的罗盘定位 Active CN106537409B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/084674 WO2016026074A1 (en) 2014-08-18 2014-08-18 Determining compass orientation of imagery

Publications (2)

Publication Number Publication Date
CN106537409A CN106537409A (zh) 2017-03-22
CN106537409B true CN106537409B (zh) 2020-02-14

Family

ID=55350067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480079425.4A Active CN106537409B (zh) 2014-08-18 2014-08-18 确定影像的罗盘定位

Country Status (4)

Country Link
US (3) US10032087B2 (zh)
EP (1) EP3183712B1 (zh)
CN (1) CN106537409B (zh)
WO (1) WO2016026074A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180238690A1 (en) * 2017-02-17 2018-08-23 The Charles Stark Draper Laboratory, Inc. Stellar-Landscape/Horizon Image Navigation
US10326933B2 (en) * 2017-06-14 2019-06-18 Google Llc Pose estimation of 360-degree photos using annotations
EP3454140B1 (fr) * 2017-09-08 2020-02-26 ETA SA Manufacture Horlogère Suisse Dispositif horloger astronomique
US20190164309A1 (en) * 2017-11-29 2019-05-30 Electronics And Telecommunications Research Institute Method of detecting shooting direction and apparatuses performing the same
CN108921896B (zh) * 2018-06-15 2021-04-30 浙江大学 一种融合点线特征的下视视觉罗盘
EP3978869A4 (en) * 2019-05-29 2023-08-23 Furuno Electric Co., Ltd. INFORMATION HANDLING SYSTEM, METHOD AND PROGRAM
US11832560B1 (en) 2019-08-08 2023-12-05 Valmont Industries, Inc. System and method for detecting and aligning the orientation of an irrigation system within a display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344391A (zh) * 2008-07-18 2009-01-14 北京工业大学 基于全功能太阳罗盘的月球车位姿自主确定方法
CN102067164A (zh) * 2008-06-20 2011-05-18 雅虎公司 作为导航仪的移动成像设备
CN102884398A (zh) * 2010-05-07 2013-01-16 高通股份有限公司 取向传感器校准

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070117078A1 (en) 2005-11-23 2007-05-24 Trex Enterprises Corp Celestial compass
US7873490B2 (en) * 2005-12-28 2011-01-18 Solmetric Corporation Solar access measurement device
JP4647514B2 (ja) * 2006-02-17 2011-03-09 株式会社日立ソリューションズ 航空画像処理装置および航空画像処理方法
US7730036B2 (en) * 2007-05-18 2010-06-01 Eastman Kodak Company Event-based digital content record organization
US8390696B2 (en) 2009-01-06 2013-03-05 Panasonic Corporation Apparatus for detecting direction of image pickup device and moving body comprising same
US8355868B2 (en) 2009-09-30 2013-01-15 Ge Aviation Systems Llc Method and system for spectral image celestial navigation
US8243097B2 (en) * 2009-10-21 2012-08-14 Apple Inc. Electronic sighting compass
US8676490B1 (en) * 2010-06-22 2014-03-18 Lockheed Martin Corporation Geoposition determination from star and satellite observations
US8837782B1 (en) * 2010-06-22 2014-09-16 Lockheed Martin Corporation Geoposition determination using satellite ephemerides
US8620582B2 (en) 2011-01-04 2013-12-31 Blackberry Limited Device position method and apparatus using celestial objects
GB2488806A (en) 2011-03-09 2012-09-12 Instro Prec Ltd Digital solar compass
FR2975484B1 (fr) 2011-05-20 2013-06-07 Sagem Defense Securite Procede de determination a distance d'un azimut absolu d'un point cible
JPWO2013136399A1 (ja) 2012-03-12 2015-07-30 パナソニックＩｐマネジメント株式会社 情報提供システム、情報提供装置、撮影装置、およびコンピュータプログラム
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
US9453731B2 (en) * 2012-06-04 2016-09-27 Rockwell Collins Control Technologies, Inc. System and method for determining orientation relative to earth
CN102901484B (zh) * 2012-10-18 2014-07-23 毕诗捷 天线测姿传感器以及天线测姿方法
US9396584B2 (en) * 2013-12-19 2016-07-19 Google Inc. Obtaining geographic-location related information based on shadow characteristics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067164A (zh) * 2008-06-20 2011-05-18 雅虎公司 作为导航仪的移动成像设备
CN101344391A (zh) * 2008-07-18 2009-01-14 北京工业大学 基于全功能太阳罗盘的月球车位姿自主确定方法
CN102884398A (zh) * 2010-05-07 2013-01-16 高通股份有限公司 取向传感器校准

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Poor man’s methods to determine azimuth;Geniet;《http://www.archaeocosmology.org/eng/poormans.htm》;20000806;第1-6页 *
基于 COSMOSMotion 太阳能跟踪凸轮机构的设计;郑硕 等;《农业工程学报》;20111231;第27卷(第12期);第43-46页 *

Also Published As

Publication number Publication date
US10032087B2 (en) 2018-07-24
US20210042552A1 (en) 2021-02-11
CN106537409A (zh) 2017-03-22
US11132573B2 (en) 2021-09-28
US11468654B2 (en) 2022-10-11
EP3183712B1 (en) 2020-07-22
EP3183712A4 (en) 2018-07-25
WO2016026074A1 (en) 2016-02-25
US20170154233A1 (en) 2017-06-01
EP3183712A1 (en) 2017-06-28
US20180365510A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
US11468654B2 (en) Determining compass orientation of imagery
US9721347B2 (en) 3D model updates using crowdsourced video
JP5980295B2 (ja) カメラ姿勢決定方法、及び実環境物体認識方法
CN105761242B (zh) 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
Manweiler et al. Satellites in our pockets: an object positioning system using smartphones
EP3044726B1 (en) Landmark identification from point cloud generated from geographic imagery data
CN109708649B (zh) 一种遥感卫星的姿态确定方法及***
US10902660B2 (en) Determining and presenting solar flux information
Sandnes Determining the geographical location of image scenes based on object shadow lengths
US10235800B2 (en) Smoothing 3D models of objects to mitigate artifacts
Masiero et al. Toward the use of smartphones for mobile mapping
US11481920B2 (en) Information processing apparatus, server, movable object device, and information processing method
US9383207B2 (en) Self-contained navigation system and method
RU2583756C2 (ru) Способ определения местоположения на основе сигнатур изображений городской застройки в видимом и инфракрасном диапазонах
US10326933B2 (en) Pose estimation of 360-degree photos using annotations
US10878278B1 (en) Geo-localization based on remotely sensed visual features
CN112213753A (zh) 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法
CN110617800A (zh) 基于民航客机的应急遥感监测方法、***及存储介质
Clements et al. Interactive shadow analysis for camera heading in outdoor images
KR102675616B1 (ko) 증강 물체 좌표 보정 시스템 및 그 제어 방법
Moun et al. Localization and building identification in outdoor environment for smartphone using integrated GPS and camera
Liu et al. Pushing Location Awareness to Context-Aware Augmented Reality
Pelc-Mieczkowska et al. GNSS terrain obstacle modelling using fisheye lense for smartphones
Sambolek et al. Determining the Geolocation of a Person Detected in an Image Taken with a Drone
DE202014010849U1 (de) System zum Bestimmen einer Kompassausrichtuno von Bilder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant