CN102939742B - 相机视图与地图视图之间的用户界面转变 - Google Patents

相机视图与地图视图之间的用户界面转变 Download PDF

Info

Publication number
CN102939742B
CN102939742B CN201180029414.1A CN201180029414A CN102939742B CN 102939742 B CN102939742 B CN 102939742B CN 201180029414 A CN201180029414 A CN 201180029414A CN 102939742 B CN102939742 B CN 102939742B
Authority
CN
China
Prior art keywords
view
amplification
user interface
map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180029414.1A
Other languages
English (en)
Other versions
CN102939742A (zh
Inventor
G·V·小怀特
J·S·伯纳特
V·W·基廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102939742A publication Critical patent/CN102939742A/zh
Application granted granted Critical
Publication of CN102939742B publication Critical patent/CN102939742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

提供了显示于移动平台上的相机视图与地图视图之间的用户界面转变，以呈现所述相机视图中的取向与所述地图视图中的取向之间的清晰视觉联系。用户界面转变可响应于从相机视图变为地图视图或反之的请求。可基于例如相机的视线或在相机视图和地图视图中可见的可标识环境特征来产生相机视图和地图视图的扩增覆盖。而且产生和显示一个或更多个不同的扩增覆盖以提供相机视图与地图视图扩增覆盖之间的视觉联系。例如，可连贯地显示多个扩增覆盖以清楚地解说相机视图与地图视图扩增覆盖之间的变化。

Description

相机视图与地图视图之间的用户界面转变
技术领域
本发明涉及移动设备的定向，尤其涉及用于在相机视图与地图视图之间进行转换的用户界面。
背景技术
用于确定设备的位置的常见手段是使用诸如众所周知的全球定位卫星(GPS)***或全球导航卫星***(GNSS)之类的卫星定位***(SPS)，这些卫星定位***采用处在环绕地球的轨道中的数颗卫星。使用SPS的位置测量基于对从数颗轨道卫星向SPS接收机广播的SPS信号的传播延迟时间的测量。一旦SPS接收机已测量到每颗卫星的信号传播延迟，就能确定至每颗卫星的射程，并且随后能使用测得的射程和这些卫星的已知位置来确定SPS接收机的精确导航信息，包括三维位置、速度和时辰。
使用地图中的首先且最困难的步骤之一是将自身物理地取向在正确的方向上。不正确的取向导致在错误的方向上发起导航。尽管使用SPS的电子地图绘制***例如在确定一个人的当前位置上是有用的，但是用户常常难以理解地图与用户取向的关联。
电子地图绘制目前通过使地图视图与用户正面对的方向对准(有时被称为航向-向上视图)来帮助取向。在航向-向上视图下，所显示的地图被旋转以使得用户的方向或航向总是在显示器上被显示为朝上，这与在显示器中总是将北显示为朝上的更常规的北-向上视图不同。然而，航向-向上视图要求用户在地图上所显示的元素(顶视图)和他们前方的元素(正视图)之间转换，这可能较为困难，因为这些元素的形状一般匹配不清楚。例如，观察者所见到的建筑物的正面与在顶视图中该建筑物的形状可能有相当的不同，这可使标识变得困难。有时(例如在使用北-向上视图时)使用的另一取向辅助可被称为扇形取向元素，其通过在设备正面对的方向上显示楔型来图解用户可能的视角。然而类似于航向-向上视图，用户有时发现难以理解扇形取向元素与用户的实际视图的关联，因为它要求用户在地图上所显示的元素(顶视图)与他们前方的元素(正视图)之间转换。
然而，在具有扩增现实的相机视图中对你自己进行取向要容易地多，因为相机正好显示该用户正指向哪里。扩增现实将真实世界影像与诸如图形或纹理信息之类的计算机生成数据相组合。扩增现实覆盖可强调用户的实际目标或目标方向。目前还没有关于地图视图来利用扩增现实相机视图中取向的简易性的方法。
发明内容
提供了显示于移动平台上的相机视图与地图视图之间的用户界面转变，以呈现所述相机视图中的取向与所述地图视图中的取向之间的清晰视觉联系。用户界面转变可响应于从相机视图变为地图视图或反之的请求。用户界面转变可使用相机视图和地图视图的扩增覆盖来产生，扩增覆盖标识例如相机的视线或在相机视图和地图视图中可见的可标识环境特征。而且产生和显示一个或更多个不同的扩增覆盖以提供相机视图与地图视图扩增覆盖之间的视觉联系。例如，可连贯地显示多个扩增覆盖以清楚地解说相机视图与地图视图扩增覆盖之间的变化。
附图说明
图1解说能够显示相机视图与地图视图之间的用户界面转变以提供这两种视图的取向之间的视觉联系的移动平台。
图2解说一框图，该框图示出了移动平台可在其中提供相机视图与地图视图之间的用户界面转变以提供这两种视图的取向之间的视觉联系的***。
图3是可提供相机视图与地图视图之间的用户界面转变的移动平台的框图。
图4是示出提供相机视图与地图视图之间的用户界面转变的方法的流程图。
图5A、5B和5C解说包括相机视图(图5A)与地图视图(图5C)之间的一个或更多个帧的用户界面转变中的代表帧(图5B)。
图6是示出提供相机视图与地图视图之间的用户界面转变的方法的流程图，该方法与图4中所示的方法类似，区别在于标识和使用了图像中显著可标识的环境特征。
图7A、7B、7C、7D和7E解说包括相机视图(图7A)与地图视图(图7E)之间的多个帧的用户界面转变中的代表帧(图7B、7C、7D)。
图8是示出使用移动平台产生的图像和显著可标识的环境特征的顶视图图像来标识显著可标识的环境特征的方法的流程图。
图9解说可被移动平台上的相机捕捉到的建筑物的图像。
图10解说包括来自图9的建筑物连同其他结构的顶视图的可能的顶视图图像。
图11解说用于分析相机图像以标识线条并确定这些线条的方向的方法。
图12和13解说对用来标识相机图像和顶视图图像中的显著可标识的环境特征的灭点的确定。
图14解说来自图9的建筑物的图像，其中所标识线条被包括在两个水平线条集合和一个垂直线条集合中。
图15解说顶视图图像，其中关于相机位置连同相机取向来示出水平和垂直线条集合的方向。
图16解说顶视图图像，其中建筑物顶端的检测出的边被标识出并与水平线条集合的方向相匹配。
具体实施方式
图1解说能够显示相机视图与地图视图之间的用户界面转变以提供这两种视图的取向之间的视觉联系的移动平台100的示例。在相机视图中，显示器162显示真实世界环境的图像，而在地图视图中，显示器162显示包括移动平台100的位置的地图。移动平台100显示这两种视图之间的用户界面转变，其具有示出这两种视图之间的变化的一个或更多个帧从而提供相机视图中的取向与地图视图中的取向之间的视觉联系。例如，扩增覆盖可被用于例如通过标识环境特征或视线来标识在相机视图中和在地图视图中的用户的取向。用户界面转变可包括解说相机视图的扩增覆盖与地图视图的扩增覆盖之间的变化的一个或更多个扩增覆盖。相机视图与地图视图之间的用户界面转变提供相机视图中的真实世界元素与地图视图中的元素之间的视觉联系，其帮助清楚地告知用户该用户在地图视图中的取向。
移动平台100可基于例如使用来自卫星定位***(SPS)的信号确定其纬度和经度或视觉定位技术来用于导航，SPS包括卫星飞行器102，或包括蜂窝塔台104或无线通信接入点106的用于确定位置的任何其他适当源。移动平台100包括用以生成物理真实世界环境的图像的相机120，以及可被用来确定移动平台100的取向的诸如数字罗盘、加速计或陀螺仪之类的取向传感器130。
如本文中所使用的，移动平台是指诸如蜂窝或其他无线通信设备、个人通信***(PCS)设备、个人导航设备(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型设备或能够接收无线通信和/或诸如导航定位信号之类的导航信号的其他合适的移动设备之类的设备。术语“移动平台”还旨在包括诸如藉由短程无线、红外、有线连接、或其他连接与个人导航设备(PND)通信的设备，不管卫星信号接收、辅助数据接收、和/或位置有关处理是发生在该设备处还是在PND处。而且，“移动平台”旨在包括所有能够(诸如经由因特网、Wi-Fi、或其他网络)与服务器通信的设备，包括无线通信设备、计算机、膝上机等，而不管卫星信号接收、辅助数据接收、和/或位置有关的处理是发生在该设备处、服务器处、还是与网络相关联的另一设备处。以上的任何可操作的组合也被认为是“移动平台”。
卫星定位***(SPS)典型地包括发射机***，这些发射机定位成使得各实体能够至少部分地基于从这些发射机接收到的信号来确定自己在地球上或上方的位置。此类发射机通常发射用具有设定数目个码片的重复伪随机噪声(PN)码作标记的信号，并且可位于基于地面的控制站、用户装备和/或空间飞行器上。在特定示例中，此类发射机可位于图1中所解说的环地轨道卫星飞行器(SV)102上。例如，诸如全球定位***(GPS)、Galileo、Glonass或Compass之类的全球导航卫星***(GNSS)的星座中的SV可发射用可与由该星座中其他SV所发射的PN码区分开的PN码(例如，如在GPS中那样对每颗卫星使用不同PN码或者如在Glonass中那样在不同频率上使用相同码)作标记的信号。
根据某些方面，本文中给出的技术不限于全球SPS***(例如，GNSS)。例如，可将本文中所提供的技术应用于或另行使之能在各种地区性***中使用，诸如举例而言日本上空的准天顶卫星***(QZSS)、印度上空的印度地区性导航卫星***(IRNSS)、中国上空的北斗等，和/或可与一个或更多个全球和/或地区性导航卫星***相关联或另行使其能与之联用的各种扩增***(例如，基于卫星的扩增***(SBAS))。作为示例而非限定，SBAS可包括提供完整性信息、差分校正等的(诸)扩增***，诸如举例而言，广域扩增***(WAAS)、欧洲对地静止导航覆盖服务(EGNOS)、多功能卫星扩增***(MSAS)、GPS辅助式Geo(对地静止)扩增导航或GPS和Geo扩增导航***(GAGAN)和/或类似***。因此，如本文中所使用的，SPS可包括一个或多个全球和/或区域性导航卫星***和/或扩增***的任何组合，并且SPS信号可包括SPS信号、类SPS信号和/或与此一个或多个SPS相关联的其他信号。
移动平台100不限于与SPS联用以进行位置确定，因为本文中所描述的位置确定技术可结合包括蜂窝塔104和来自无线通信接入点106的各种无线通信网络(诸如无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等)以及其他定位技术(诸如视觉定位)来实现。另外，移动平台100可使用各种无线通信网络经由蜂窝塔104和从无线通信接入点106或者使用卫星飞行器102(若希望)来接入在线服务器以获得诸如卫星图像之类的数据。术语“网络”和“***”常被可互换地使用。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实现诸如cdma2000、宽带CDMA(W-CDMA)等一种或多种无线电接入技术(RAT)。cdma2000包括IS-95、IS-2000和IS-856标准。TDMA网络可实现全球移动通信***(GSM)、数字高级移动电话***(D-AMPS)、或其他某种RAT。GSM和W-CDMA在来自名为“第三代伙伴项目”(3GPP)的联盟的文献中描述。Cdma2000在来自名为“第三代伙伴项目2”(3GPP2)的联盟的文献中描述。3GPP和3GPP2文献是公众可获取的。WLAN可以是IEEE 802.11x网络，并且WPAN可以是蓝牙网络、IEEE 802.15x、或其他某种类型的网络。这些技术也可结合WWAN、WLAN和/或WPAN的任何组合来实现。
图2解说一框图，该框图示出了移动平台100可在其中提供相机视图与地图视图之间的用户界面转变以提供这两种视图的取向之间的视觉联系的***。如所解说的，移动平台100经由相机120捕捉环境的图像108，该图像108可包括建筑物、街道或任何类型的显著可标识的环境特征。另外，在图像108产生之时，移动平台100例如使用SPS中的卫星飞行器102、无线通信接入点106(图1)或视觉定位技术确定其位置。移动平台100可例如经由图1中解说的蜂窝塔台104或无线接入点106接入诸如因特网之类的网络110以获得该移动平台的位置的数字地图。网络110耦合至服务器112，后者连接至存储数字地图的地图数据库114和存储诸如基于陆地卫星7(Landsat 7)源数据的全球卫星影像之类的数字顶视图图像数据的顶视图像数据库115。该服务器可以例如是具有网络连接的专用服务器。若期望，可使用若干不同的服务器。移动平台100可基于该移动平台100的位置和取向来查询服务器112以获得地图。在一个实施例中，移动平台100可从本地存储器中获得该移动平台的位置的地图，例如在移动平台100在本地存储器中存有数字地图时。在此实施例中，移动平台100可不时地、或者在移动平台100离开本地存储地图的覆盖区时接入服务器112以更新本地存储的地图。
移动平台100可将从相机120捕捉到的图像108作为相机视图显示在显示器162上。移动平台100还可将所获得的地图作为地图视图显示在显示器162上。移动平台100进一步生成从相机视图到地图视图、或从地图视图到相机视图的用户界面转变，其具有在这两种视图之间转变的一个或更多个帧，从而提供相机视图中的取向与地图视图中的取向之间的视觉联系。例如，移动平台100可使用显示在相机视图之上的第一扩增覆盖、显示在地图视图之上的第二扩增覆盖、以及图形地解说从该第一扩增覆盖到第二扩增覆盖(或反之)的变化的一个或更多个不同扩增覆盖来清楚地解说该用户正面对的方向。
若期望，移动平台100还可获得基于移动平台100的位置的顶视图图像(例如来自服务器112或存储在本地存储器中)，以获得具有足以能分辨出相机图像108中的可标识的环境特征的分辨率的顶视图图像。应当理解，顶视图图像可以例如是卫星图像或者经由航空摄影产生的图像。不仅如此，应当理解，顶视图图像可以是从头顶正中来看的图像或者是呈例如约45o的斜角的图像，有时被称为鸟瞰。移动平台100随后可将相机图像108与顶视图图像(例如从服务器112获得)作比较以标识环境特征并准备相机视图和顶视图图像中的环境特征的视觉扩增覆盖。用户界面转变解说当移动平台在相机视图和地图视图之间转变时相机视图和顶视图的扩增覆盖中的变化。
图3是可提供相机视图与地图视图之间的用户界面转变从而为用户提供这两种视图之间的视觉联系的移动平台100的框图。移动平台包括用于捕捉图像的装置，诸如相机120，其可产生由移动平台100显示的静止或运动图像。移动平台100还包括用于确定观察者正面对的方向的装置，诸如取向传感器130，例如，包括磁力计、加速计和/或陀螺仪的经倾斜校正的罗盘。
移动平台100可包括接收机140，其包括经由天线144接收来自卫星定位***(SPS)卫星飞行器102(图1)的信号的SPS接收机。移动平台100还包括诸如无线收发机145之类的用于获得数字地图和顶视图图像的装置(若使用)，后者可以是例如能够经由天线144(或分开的天线)分别向和从蜂窝塔台104或从无线接入点106发送和接收通信从而经由网络110接入服务器112的蜂窝调制解调器或无线网络无线电接收机/发射机。若期望，移动平台100可包括用作蜂窝调制解调器和无线网络无线电接收机/发射机的分开的收发机。
取向传感器130、相机120、SPS接收机140、和无线收发机145被连接至移动平台控制150并与之通信。移动平台控制150接受并处理来自取向传感器130、相机120、SPS接收机140、和无线收发机145的数据并控制这些设备的操作。移动平台控制150可由处理器152及相关联的存储器154、时钟153、硬件156、软件158和固件157来提供。移动平台控制150还可包括诸如图像处理引擎155(其可为例如游戏引擎)之类的用于生成相机视图图像的扩增覆盖和地图视图的扩增覆盖并用于在这两种视图之间图形地转变的装置，为了清楚起见图像处理引擎155被解说为与处理器152分开，但是也可以内置于处理器152。图像处理引擎155确定所显示的扩增覆盖的形状、位置和取向，并可使用例如常规图形技术来生成视图之间的用户界面转变。将理解，如本文中所使用的，处理器152可以但无需必然包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)、及类似物。术语处理器旨在描述由***实现的功能而非具体硬件。此外，如本文所使用的术语“存储器”是指任何类型的计算机存储介质，包括与移动平台相关联的长期、短期、或其他存储器，且并不被限定于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
移动平台100还包括与移动平台控制150处于通信中的用户接口110，例如移动平台控制150接受数据并控制用户接口110。用户接口110包括用于显示图像连同所生成的扩增覆盖的装置，诸如数字显示器162。显示器162还可显示控制菜单和位置信息。用户接口110还包括按键板164或其他输入设备，通过这些输入设备用户可将信息输入到移动平台100中。在一个实施例中，按键板164可被整合到显示器162中，诸如触摸屏显示器。例如当移动平台100是蜂窝电话时，用户接口110还可包括例如话筒和扬声器。此外，取向传感器130可通过检测姿势形式的用户命令来作为用户接口使用。
本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如，这些方法体系可在硬件156、固件157、软件158、或其任何组合中实现。对于硬件实现，这些处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或其组合内实现。
对于固件和/或软件实现，这些方法体系可用执行本文中描述的功能的模块(例如，规程、函数等等)来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所述的方法。例如，软件代码可被存储在存储器154中并由处理器152执行。存储器可以实现在处理器单元内或在处理器单元外部。如本文所使用的，术语“存储器”是指任何类型的长期、短期、易失性、非易失性、或其他存储器，且并不限于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。
例如，软件158代码可被存储在存储器154中并由处理器152执行，并且可被用来运行该处理器以及如本文中所描述地控制移动平台100的操作。存储在诸如存储器154之类的计算机可读介质中的程序代码可包括用于确定移动平台正面对的方向和移动平台的位置并基于移动平台的位置获得数字地图的程序代码。此外，计算机可读介质可包括用于在移动平台的显示器上显示当前视图和后续视图的程序代码，其中该当前视图和后续视图是选自相机视图和数字地图的视图之一的不同视图；以及用于生成并显示当前视图与后续视图之间的用户界面转变的程序代码，其中该用户界面转变包括提供显示器上的当前视图中的取向与显示器中的后续视图中的取向之间的视觉联系的一个或更多个帧。另外，计算机可读介质可包括用于标识来自移动平台的相机的图像中的至少一个显著可标识的环境特征和数字地图中相同的至少一个显著可标识的环境特征的程序代码；以及用于生成当前视图中该至少一个显著可标识的环境特征的第一扩增覆盖和后续视图中该至少一个显著可标识的环境特征的第二扩增覆盖以及提供该第一扩增覆盖与第二扩增覆盖之间的视觉联系的至少一个不同扩增覆盖的程序代码，其中用户界面转变包括该第一扩增覆盖、该第二扩增覆盖以及该至少一个不同扩增覆盖。
如果在固件和/或软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上。示例包括用数据结构编码的计算机可读介质和用计算机程序编码的计算机可读介质。计算机可读介质包括物理计算机存储介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来存储以指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质；如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘常常磁学地再现数据，而碟用激光光学地再现数据。以上组合也应被包括在计算机可读介质的范围内。
图4是示出用于提供相机视图与地图视图之间的用户界面转变的方法的流程图，该用户界面转变包括一个或更多个帧以提供相机视图中的取向与地图视图中的取向之间的视觉联系。如图4中解说的，移动平台100显示可以是相机视图或地图视图的当前视图(202)。移动平台100接收对当前视图与后续视图之间的转变的请求(204)，即从相机视图转变为地图视图或从地图视图转变为相机视图。该请求可经由按键板164接收、或者通过可被取向传感器130检测到的姿势来接收。例如，该请求可以是将移动平台100从垂直位置(例如，在捕捉图像的位置)移至水平位置(在观察地图的位置)或反之的形式的姿势，以便从地图视图转变为相机视图。若期望，可使用其他姿势。替换地，该请求可由移动平台100发起，诸如来自正在移动平台100上运行的应用。
产生和显示用户界面转变，其中用户界面转变是提供当前视图中的取向与后续视图中的取向之间的视觉联系的一个或更多个帧(206)。用户界面转变可包括当前视图与后续视图之间的多个帧，并且可具有足以产生从当前视图到后续视图的视觉流畅变化的帧速率。若期望，该帧数或帧速率可以不足以产生视觉流畅变化，但是仍提供当前视图与后续视图中的取向之间的视觉联系。
用户界面转变可被生成为使用例如图像处理引擎155产生的数个扩增覆盖。可在当前视图之上产生并显示第一扩增覆盖，以及可在该后续视图之上产生并显示及第二扩增覆盖。可产生并显示一个或更多个不同扩增覆盖以提供第一扩增覆盖与第二扩增覆盖之间的视觉联系。扩增覆盖可以是可在视图之间变化以清楚地标识移动平台100的取向的任何图形元素。例如，扩增覆盖可以是以两维或三维表示的、简单地标识移动平台100在相机视图和地图视图两者中的视线的线条或几何形状。扩增覆盖还可以是例如通过勾勒轮廓、指向、用透明或不透明掩膜覆盖、或者任何其他标识环境特征的手段来标识特定环境特征的元素。扩增覆盖可动画成存在于显示器中，例如通过顺序地或一次全部地显示扩增覆盖的若干部分。
在地图视图中使用的扩增覆盖可以与在相机视图中使用的扩增覆盖类似或不同。作为示例，相机视图中的扩增覆盖可以是向或从地图视图中的两维线条形式的扩增覆盖变化的三维线条。另外，若扩增覆盖包括环境特征的轮廓，则该轮廓的形状将有可能在相机视图和地图视图之间变化。在从当前视图向后续视图转变期间，相机图像和/或地图图像可被移除从而仅解说扩增覆盖。可突然地或通过消隐慢慢地移除图像。替换地，扩增覆盖的转变可被显示在同时淡出淡入的相机图像和地图图像上。
随后显示该后续视图(208)。例如，若该后续视图是地图视图，则可在扩增覆盖下显示地图图像。该后续视图可突然地或通过淡入而慢慢地出现在显示器中。替换地，该后续视图可通过在覆盖上生长、放大或缩小、通过倾斜(例如从侧视图到顶视图)来出现，或者可以两维或三维出现，或者其任何组合。地图视图中的扩增覆盖可以是标识移动平台的视线的线条或其他几何形状。替换地，如上讨论地，扩增覆盖可以是例如通过勾勒轮廓、指向、用透明或不透明掩体覆盖、或者任何其他标识环境特征的手段来标识特定环境特征的元素。地图视图可在航向-向上取向上或者北(或南)向上取向上显示。扩增覆盖可在预定时间量之后或者应用户请求而从后续视图被移除。替换地，扩增覆盖可持续，并在移动平台100移动或旋转时更新以在地图视图上示出当前位置和取向(例如，视线)。因此，此取向方法制造出用户的视野(即，相机视图)与地图视图之间清楚的视觉联系。相应地，地图视图与真实世界元素视觉地相联系，从而巩固用户在地图上的取向及其与用户的关联。
图5A、5B和5C解说包括相机视图(图5A)与地图视图(图5C)之间的一个或更多个帧的用户界面转变中的代表帧(图5B)。图5A解说相机视图中建筑物252和道路254的图像108，该图像可由相机120捕捉并被显示在移动平台100的显示器162上(202)。当移动平台100接收对从相机视图到地图视图的转变的请求时(204)，在图像108之上产生并显示三维线条262A形式的扩增覆盖(206)。在此实施例中三维线条262A解说移动平台100的视线。若期望，可使用其他类型的扩增覆盖而非线条262A，诸如点、星、箭头或任何其他图案。相机视图的扩增覆盖可以是预先生成的图形，诸如线条262A。替换地，扩增覆盖可以是移动平台100实时生成的，特别是在扩增覆盖与图像108内的一个或更多个对象有关的情况下。例如，作为表示移动平台100的视线的替代，扩增覆盖可例如通过用线条或其他几何形状指向建筑物252或道路254、或者通过勾勒环境特征轮廓来标识环境特征。
图5B解说图5A中所示的相机视图与图5C中所示的地图视图之间的用户界面转变中的一帧。图5B示出图5A的相机视图中的第一扩增覆盖(线条262A)向图5C的地图视图中的第二扩增覆盖(线条262C)的变化(206)。应理解，用户界面转变可包括被连贯地显示以清楚解说第一扩增覆盖262A与第二扩增覆盖262C之间的转变的多个扩增覆盖，其中图5B解说用户界面转变的单个代表帧。扩增覆盖中的变化可包括旋转以及拉长和变薄并从图5A的相机视图中的三维线条转换为图5C的地图视图中的两维线条。图5B还解说例如相机图像108和图5C中所示的地图图像260的底层图像可在用户界面转变期间被移除。
图5C解说显示在显示器162上的地图视图(208)带有两维线条262C形式的扩增覆盖(206)。另外，若期望，可在地图视图上标识移动平台100的位置，在图5C中由钉266解说。两维线条262C解说移动平台100在地图视图中的视线。如上讨论地，扩增覆盖(线条262C)可以是基于从传感器130确定的移动平台100的取向被定位在地图视图上的预先生成的图形。然而，扩增覆盖可实时地生成，特别是在扩增覆盖与环境特征的位置有关的情况下。
图6是示出提供相机视图与地图视图之间的用户界面转变的方法的流程图，该方法与图4中所示的方法类似，区别在于标识和使用了图像中显著可标识的环境特征。如在图4中描述的，移动平台100显示可以为相机视图或地图视图的当前视图(302)并接收对当前视图与后续视图之间的转变的请求(304)，即从相机视图转变为地图视图或从地图视图转变为相机视图。在可以为相机图像或地图图像的当前视图中标识一个或更多个环境特征，并且在可以是地图图像或相机图像的后续视图中标识同样的一个或更多个环境特征(306)。环境特征可以是例如任何显著可辨别的项目，包括但不限于线条、简单几何形状、区域、诸如建筑物或道路之类的地标、颜色块、或其任意组合。环境特征的标识可通过比较相机图像和地图图像中线条的方向来执行，这在Bolan Jiang和Serafin Diaz提交于2009年11月19日题为“Orientation Determination of aMobile Station Using Side and Top View Images(使用侧视图和顶视图图像对移动站进行取向确定)”的美国S/N.12/622,313中有详细记载，该申请具有与本公开相同的受让人并且通过援引全文包括于此，并在下文在图8-16中作进一步描述。
通过准备当前视图中所标识环境特征的第一扩增覆盖和后续视图中所标识环境特征的第二扩增覆盖以及提供第一扩增覆盖与第二扩增覆盖之间的视觉联系的至少一个不同扩增覆盖来准备用户界面转变(308)。如上讨论地，该至少一个不同扩增覆盖可包括在连贯地显示时清楚地解说从第一扩增覆盖到第二扩增覆盖的变化的多个扩增覆盖。扩增覆盖可使用例如图像处理引擎155来产生。扩增覆盖可以是标识环境特征的任何可视手段。例如，扩增覆盖可以是指向或其他方式标识环境特征的线条或其他形状的形式。替换地，扩增覆盖可以是环境特征的轮廓，环境特征可通过线条、或者通过用半透明或不透明的掩膜覆盖环境特征来简单地解说。若期望，环境特征可使用不同色彩的线条或不同色彩的不透明掩膜来清楚地标识。
替换地，扩增覆盖可以是所标识环境特征自身的图像的至少一部分。例如，环境特征可被捕捉为图像，并且该图像基于该环境特征的标识信息被裁剪。得到的经裁剪图像可以是移除了背景的环境特征。可以类似方式为地图视图产生类似扩增覆盖，例如裁剪掉地图视图的背景剩下环境特征。相机视图和地图视图的扩增覆盖之间的变化可例如通过图形地转变或变形相机视图和地图视图中环境特征的经裁剪图像来产生。
显示第一扩增覆盖，跟着显示至少一个不同扩增覆盖，并且随后显示第二扩增覆盖(310)和后续视图(312)。第一扩增覆盖可被显示在当前视图之上，或者当前视图可在显示第一扩增覆盖之前被移除。类似地，第二扩增覆盖可被显示在后续视图之上，或者第二扩增覆盖可在显示后续视图之前被移除。扩增覆盖可动画成存在于显示器中，例如通过顺序地或一次全部地显示扩增覆盖的若干部分。第一扩增覆盖到第二扩增覆盖之间的变化可使用以足以产生视觉流畅变化的帧速率连贯显示的多个不同扩增覆盖来解说。当然，流畅转变并不是解说这种变化所必需的，因此若期望可使用较少的不同扩增覆盖和/或降低的帧速率。
图7A、7B、7C、7D和7E基于显著可标识的环境特征来解说包括相机视图(图7A)与地图视图(图7E)之间的多个帧的用户界面转变中的代表帧(图7B、7C、7D)。图7A与图5A类似，并且解说相机视图中建筑物252和道路254的图像108，该图像可被显示在移动平台100的显示器162上。当移动平台100接收从相机视图变化为地图视图的请求时(304)，在相机视图(图7A)和地图视图(图7E)两者中标识诸如建筑物252和道路254之类的环境特征(306)。
为相机视图(图7B中所示)和地图视图(图7E中所示)准备所标识环境特征的扩增覆盖连同解说相机视图(图7B)和地图视图(图7E)的扩增覆盖中的变化的一个或更多个不同扩增覆盖(图7D中所示)(308)。图7B例如解说覆盖建筑物252和道路254的掩膜272A、274A形式的用于相机视图的扩增覆盖的显示(310)。掩莫272A、274A具有不同的颜色、影线或用于标识不同环境特征的其他手段。当然，若期望，可以标识和扩增其他环境特征。而且，扩增覆盖可以是其他形式。例如，可使用诸如线条、点、星、箭头或其他简单或复杂形状之类的几何标识符。替换地，可使用环境特征的轮廓，其中环境特征的图像保持可见。如在图7B中可见的，尽管所标识环境特征(即建筑物252和道路254)被掩体272A、274A覆盖，但是图像108的其余部分可保持可见。若期望，可移除图像108的其余部分，如图7C中所解说的，图7C示出具有扩增掩膜272A、274A的显示器162然而底层相机图像108已经被移除，如区域276A所解说的。
图7D解说一个或更多个扩增覆盖的显示(310)，其解说相机视图(图7B)和地图视图(图7E)的扩增覆盖中的变化。如所解说的，建筑物252和道路254的扩增覆盖272B、274B从它们在相机视图(图7B)中的形状和位置变为它们在图7E中所示的地图视图中的最终形状和位置。图7D还解说在倾斜的侧视图中显示的地图图像260，其中扩增覆盖272B、274B被显示在地图图像260之上。应理解，这多个扩增覆盖可以连贯地显示以清楚地解说相机视图(图7B)和地图视图(图7E)的扩增覆盖之间的变化，以及图7D仅仅解说了用户界面转变中的一个代表扩增覆盖，并且若期望，具有在形状和位置上连续变形的扩增覆盖以及任选地继续倾斜成顶视图的地图视图的许多连贯图像可被用于提供从相机视图到地图视图的流畅转变。
图7E解说地图视图260的图像260的显示(312)，其可被显示为航向向上或北(南)向上。如可看到的，该地图视图用掩膜272C、274C形式的扩增覆盖来标识建筑物252和道路254。另外，若期望，可在地图视图上标识移动平台100的位置，在图7E中由钉266解说。若期望，还可显示附加信息，诸如解说来自相机视图的近似视野的扇形取向元素268。若期望，例如钉266或取向元素268之类的附加元素可被动画到视图中或者可落在视图中。地图视图中的扩增覆盖可持续，或者可例如在一段时间之后或者在移动平台100移开其当前位置时消失或消隐。
图8-16解说用于标识来自相机120产生的图像108的一个或更多个关键环境特征以及顶视图像视图中的对应环境特征的方法，如在图6(304中)讨论的。
图8是示出使用移动平台产生的环境特征的图像和环境特征的顶视图图像来标识环境特征的方法的流程图。如图8中所示，移动平台例如使用相机120来捕捉环境特征的图像(402)。被成像的环境特征可以是诸如建筑物或街道之类的结构或任何其他类型的可在顶视图图像中显著可标识的环境特征。作为示例，图9解说建筑物452的图像450，后者可由移动平台100产生。被成像的环境特征可包括边或线条，诸如在图9中的建筑物452上所解说的那些，移动平台100可以用这些边或线条来标识图像中的环境特征的取向。
在图像产生之时或者附近确定移动平台的位置(404)。确定该位置与产生图像之间的时间应当被最小化以减少可能因移动平台从成像位置移开而导致的环境特征标识中可能的误差。可使用SPS***来确定移动平台的位置，例如，由SPS接收机140(图3)从SPS***接收数据，处理器152从该数据演算出位置。若期望，可使用其他技术和设备来确定位置，包括使用来自其他各种无线通信网络(包括蜂窝塔104)和来自无线通信接入点106的数据、或使用视觉定位技术。
例如，使用可包括诸如磁力计和加速计或陀螺仪之类的经倾斜校正的罗盘的取向传感器130来确定移动平台100的初步取向(206)。取向传感器130向处理器152提供初步取向数据，处理器152演算出初步取向。在另一实施例中，不确定移动平台的初步取向，并且在不使用初步取向测量的情况下获得和分析顶视图图像。
可基于移动平台的位置并且在一个实施例中基于移动平台的初步取向来从本地存储器154或从服务器112和数据库115(图2)检索图像中的环境特征的顶视图图像(408)。例如，通过网络110，例如经由图1中所解说的蜂窝塔台104或无线接入点106来接入服务器112。在一些实施例中，可以通过卫星飞行器来接入网络110。在已确定了图像产生之时移动平台的位置的情况下，基于所确定的移动平台位置(例如，纬度和经度)来查询服务器112，并且获得所确定的位置处的数字顶视图图像并将其下载到该移动平台，其中该顶视图图像具有充分的分辨率从而使得图像450中的环境特征在该顶视图图像中能被分辨。作为示例，可以使用具有足以标识环境特征上的线条或边的分辨率的卫星图像。有了关于移动平台的初步取向的信息，可从服务器112检索到朝此初步取向的方向偏移的顶视图图像，如此的偏移将图像中的环境特征放置得离顶视图图像的中心更近。作为示例，图10解说可能的顶视图图像470，其包括来自图像450的环境特征(即，建筑物452)连同诸如建筑物472之类的其他结构和细节的顶视图。顶视图图像470中所示的位置474代表在图9中的图像450产生之时所确定的移动平台位置。
分析环境特征的图像450以标识环境特征上的线条并确定这些线条的方向(410)。在一个实施例中，可确定环境特征上的线条相对于移动平台的初步取向的方向。环境特征的图像450可以例如由可以是处理器152(图3)的一部分或者与其分开的图像处理引擎155来分析。在由HH Trinh、DN Kim、HU Chae和KH Jo所著的、刊于International Symposium on Electrical&Electronics Engineering(关于电气和电子工程的国际专题研讨会)2007第74-79页的“Geometrical Feature-Based Wall Region And SIFT For Building Recogntion(基于几何特征的墙区域和用于建筑物识别的SIFT)”中讨论了例如使用灭点估计技术来分析图像以标识环境特征上的线条并确定这些线条的方向，该文献通过援引纳入于此。图11解说了用于分析图像450以标识线条并确定这些线条的方向的方法。如图11中所解说的，标识图像中的线条(502)，这可以使用任何期望的边或线条检测器算子来执行，此类边或线条检测器算子例如是诸如Canny、Sobel或Robers Cross之类的卷积核，其检测边像素，而这些边像素随后被连接并被拟合成线段。也可使用替换方法，诸如Hough变换之类的线条拟合算法。这些线条随后被群聚成水平和垂直群(504)。例如，如果图像上的线条与垂直轴之间的角度小于诸如20度之类的预定角，那么该线条被归类为垂直线条，且否则该线被归类为水平线条。由于是用透视法缩小绘制的，因而图像将包括在二维图像中并不平行的线条，即使这些线条在三维中是平行的。随后，确定在三维中彼此平行的垂直线条集合(506)。如果线条通过二维图像中的相同灭点，那么这些线条就被标识为在三维中是平行的。例如，可以标识出两根线条的灭点，并且确定是否有其他线条通过此相同的灭点。如果三根或更多根线条通过此相同的灭点，那么那些线条例如被认为是平行的。演算三维平行线条的垂直灭点的位置(508)。
图12和图13解说灭点的确定。图12解说由相机位置606、图像600中的二维线条602和三维空间中的对应线条504形成的平面608。解说了以相机位置606为中心的高斯(单位)球610，并且平面608在大圆612上与高斯球610相交。图13解说由三维空间中的线条604和相机位置606形成的平面608连同高斯球610和相应的大圆612。图13还示出在三维空间中平行于线条604的两根附加的线条620和630，连同各自由线条620和626以及相机位置606形成的平面622和632和相应的大圆624和634。大圆612、624和634在高斯球610上的共同灭点640处相交，该灭点640可被用来标识平行线条604、620和630的方向。在给定了三维空间中彼此平行的n根线条的集合的前提下，灭点V是通过求解下式来确定的：
l i T V i = 0   公式1
其中li＝(ai,bi,ci)表示第i根线条。可以使用诸如RANSAC(随机采样一致性)之类的方法来估计垂直灭点。应当理解，在图像是由大致直立的相机产生时可以使用所描述的灭点估计方法。若期望，可以使用其他已知的灭点估计方法。
对于垂直线条，仅有一个灭点要确定，所以式1仅需被求解一次。然而，对于水平线条，有可能有多个灭点。为了确定水平灭点，i被设置为0(509)并且使用RANSAC方法来计算灭点vi、合群值Hi in和离群值Hi out(510)。离群值Hi out从水平线条群中被移除(512)。如果i<M并且还剩六根以上水平线条(514)，那么i增加1(516)并且该过程被重复。如果i不小于M，或者如果剩下的水平线条不超过六根(514)，那么该过程结束并且垂直和水平灭点例如被存储在存储器154(图3)中(518)。作为示例，值M可被设置为5或者设置为任何其他对要使用的水平灭点数目而言的所期望的值。
作为示例，图14解说具有建筑物452的图像450，其中线条被标识出并被包括在第一水平线条集合454、第二水平线条集合456和垂直线条集合458中。图15解说顶视图图像470，其中关于相机位置474连同被解说为相机的视野473的相机取向来解说第一水平线条集合454的方向454D、第二水平线条集合456的方向456D和垂直线条458的方向458D。
回顾图8，分析环境特征的顶视图图像470以标识线条或边并确定这些线条相对于该顶视图图像的已知且固定的坐标系的方向(412)。可以按与以上所描述的方式相同的方式，例如使用诸如卷积核(Robers Cross、Sobel或Canny边检测器)之类的边或线条检测器算子来标识顶视图图像470中的线条。顶视图图像470中要分析的环境特征可被标识为相机视野473内的环境特征，即，离所确定的移动平台的初步取向最近的环境特征。如果移动平台的初步取向没有被确定，那么顶视图图像内的所有环境特征可被分析以标识该环境特征上的线条的方向。
图16类似于图15并解说了标识出建筑物452顶部的检测出的边的顶视图图像470。如所见，示出了关于建筑物452的两个线条集合482和484。确定线条482和484关于顶视图图像470的已知且固定的坐标系486的方向。在顶视图图像470中可以有附加的线被标识出，并且由此顶视图图像470中的线条基于这些线条的方向来与图像450中的线条相匹配(412)(图8)。在一个实施例中，线条的匹配是通过将顶视图图像470中的线条之间的角度与方向454D和456D之间的角度相比较的方式来执行的，其中最小差距即被认为是匹配。如果移动平台的初步取向是已知的，那么此过程被简化，否则可使用更严格的用于匹配线条集合的过程。在图16中分别解说了顶视图图像线条482和484关于相机位置474的方向482D和484D。
随后可基于图像中的线条与卫星图像中的线条的最接近匹配来标识环境特征(416)。此外，环境特征的扩增覆盖(例如，环境特征的轮廓或掩膜或者标识环境特征的任何其他可视手段)可基于该图像和卫星图像中的所标识线条(如在步骤410和412中所执行的)。包括所标识环境特征以及所产生的扩增覆盖的结果被存储在例如存储器154(图3)中(418)(图8)。
若期望，可执行附加处理，诸如基于图像中线条的方向关于顶视图像中线条的方向的相对取向来确定移动平台的真实取向，如在Bolan Jiang和SerafinDiaz提交于2009年11月19日题为“Orientation Determination of a MobileStation Using Side and Top View Images(使用侧视图和顶视图图像对移动站进行取向确定)”的美国S/N.12/622,313中记载的，该申请通过援引全文包括于此。
尽管出于指导目的结合具体实施例解说了本发明，但是本发明并不被限定于此。可作出各种适应性改编以及改动而不会脱离本发明的范围。因此，所附权利要求的精神和范围不应当被限定于前面的描述。

Claims (32)

1.一种用于提供相机视图与地图视图之间的用户界面转变的方法，包括：
在设备的显示器上显示当前视图；
请求在所述显示器上的在当前视图与后续视图之间的转变，其中所述当前视图和所述后续视图是选自由所述设备上的相机捕捉的图像的相机视图和地图视图之一的不同视图；
产生并在所述显示器上显示用户界面转变，所述用户界面转变包括提供所述当前视图中的取向与所述后续视图中的取向之间的视觉联系的一个或更多个帧；
标识所述当前视图中的至少一个显著可标识的环境特征；
标识所述后续视图中相同的至少一个显著可标识的环境特征；
准备所述当前视图中的所述至少一个显著可标识的环境特征的第一扩增覆盖；
准备所述后续视图中的所述至少一个显著可标识的环境特征的第二扩增覆盖；
准备提供所述第一扩增覆盖与所述第二扩增覆盖之间的视觉联系的至少一个不同扩增覆盖；以及
在所述显示器上显示所述后续视图；
其中所述用户界面转变包括所述第一扩增覆盖、所述第二扩增覆盖、以及所述至少一个不同扩增覆盖。
2.如权利要求1所述的方法，其特征在于，所述用户界面转变标识视线和显著可标识的环境特征中的至少一者。
3.如权利要求1所述的方法，其特征在于，产生并显示所述用户界面转变包括产生并显示所显示扩增覆盖的位置、取向、形状和透视中的至少一者的变化。
4.如权利要求1所述的方法，其特征在于，还包括：
显示所述当前视图的所述第一扩增覆盖；
显示所述至少一个不同扩增覆盖；以及
显示所述后续视图的所述第二扩增覆盖。
5.如权利要求1所述的方法，其特征在于，所标识的至少一个显著可标识的环境特征是线条、几何形状、区域、建筑物、以及颜色块中的至少一者。
6.如权利要求1所述的方法，其特征在于，所述至少一个显著可标识的环境特征的所述第一扩增覆盖和所述第二扩增覆盖是线条、几何形状、区域、色彩、轮廓、所述显著可标识的环境特征的经裁剪图像中的至少一者，并且是不透明、透明、二维、三维中的至少一者。
7.如权利要求1所述的方法，其特征在于，还包括在显示所述用户界面转变的同时移除来自所述当前视图的所述图像。
8.如权利要求1所述的方法，其特征在于，所述当前视图与所述后续视图之间的所述转变是使用姿势来请求的。
9.如权利要求1所述的方法，其特征在于，所述当前视图是所述相机视图且所述后续视图是所述地图视图。
10.如权利要求1所述的方法，其特征在于，所述当前视图是所述地图视图且所述后续视图是所述相机视图。
11.如权利要求1所述的方法，其特征在于，在显示所述用户界面转变的同时显示所述后续视图。
12.如权利要求1所述的方法，其特征在于，还包括显示在所述地图视图中的用户位置。
13.如权利要求1所述的方法，其特征在于，还包括通过线条、虚线、二维箭头、三维箭头、和扇形视图取向元素中的至少一者来指示自用户位置起的视线路径。
14.如权利要求1所述的方法，其特征在于，所述地图视图是二维地图表示、三维地图表示、三维顶视图、和卫星图像视图中的至少一者。
15.如权利要求1所述的方法，其特征在于，所述用户界面转变包括提供所述当前视图中的取向与所述后续视图中的取向之间的视觉联系的多个帧。
16.一种用于提供相机视图与地图视图之间的用户界面转变的移动平台，包括：
相机，其能作用于捕捉所述相机正面对的方向上的图像；
取向传感器，其提供关于所述相机正面对的方向的数据；
卫星定位***接收机，其提供用于确定所述移动平台的位置的定位数据；
无线收发机，其基于所述移动平台的位置来获取数字地图；
处理器，其连接至所述相机、所述取向传感器和所述卫星定位***；
存储器，其连接至所述处理器；
显示器，其连接至所述存储器，其显示当前视图、后续视图、以及由图像处理引擎产生的用户界面转变，其中所述当前视图和所述后续视图是选自由所述相机捕捉的相机视图和由所述无线收发机获取的地图视图之一的不同视图；以及
图像处理引擎，其响应于对所述当前视图与所述后续视图之间的转变的请求来产生用户界面转变，所述用户界面转变包括提供所述当前视图中的取向与所述后续视图中的取向之间的视觉联系的一个或更多个帧，所述图像处理引擎进一步标识来自所述相机的图像中的至少一个显著可标识的环境特征以及所述顶视图图像中相同的至少一个显著可标识的环境特征，准备所述当前视图中的所述至少一个显著可标识的环境特征的第一扩增覆盖，准备所述后续视图中的所述至少一个显著可标识的环境特征的第二扩增覆盖，以及准备提供所述第一扩增覆盖与所述第二扩增覆盖之间的视觉联系的至少一个不同扩增覆盖并显示所述当前视图的所述第一扩增覆盖，其中所述用户界面转变包括所述第一扩增覆盖、所述第二扩增覆盖、以及所述至少一个不同扩增覆盖。
17.如权利要求16所述的移动平台，其特征在于，所述用户界面转变标识由所述相机产生的图像中的视线和显著可标识的环境特征中的至少一者。
18.如权利要求16所述的移动平台，其特征在于，所述用户界面转变是所显示扩增覆盖的位置、取向、形状和透视中的至少一者的变化。
19.如权利要求16所述的移动平台，其特征在于，所述无线收发机进一步基于所述移动站的位置获得顶视图图像，
所述显示器进一步显示所述当前视图的所述第一扩增覆盖、所述至少一个不同扩增覆盖，以及显示所述后续视图的所述第二扩增覆盖。
20.如权利要求16所述的移动平台，其特征在于，所标识的至少一个显著可标识的环境特征是线条、几何形状、区域、建筑物、以及颜色块中的至少一者。
21.如权利要求16所述的移动平台，其特征在于，所述至少一个显著可标识的环境特征的所述第一扩增覆盖和所述第二扩增覆盖是线条、几何形状、区域、色彩、轮廓、所述显著可标识的环境特征的经裁剪图像中的至少一者，并且是不透明、透明、二维、三维中的至少一者。
22.如权利要求16所述的移动平台，其特征在于，所述对所述转变的请求基于所述取向传感器检测到的姿势。
23.如权利要求16所述的移动平台，其特征在于，所述当前视图是示出来自所述相机的图像的所述相机视图且所述后续视图是所述地图视图。
24.如权利要求16所述的移动平台，其特征在于，所述当前视图是所述地图视图且所述后续视图是示出来自所述相机的图像的所述相机视图。
25.如权利要求16所述的移动平台，其特征在于，所述所述显示器进一步示出在所述地图视图中的用户位置。
26.如权利要求16所述的移动平台，其特征在于，所述地图视图是二维地图表示、三维地图表示、三维顶视图、卫星图像视图中的至少一者。
27.一种用于在移动平台的显示器中提供当前视图与后续视图之间的用户界面转变的设备，所述用户界面转变提供所述当前视图中的取向与所述后续视图中的取向之间的视觉联系，其中所述当前视图和所述后续视图是选自相机视图和地图视图之一的不同视图，所述设备包括：
用于提供所述相机视图的装置；
用于获得所述地图视图的装置；
用于请求所述当前视图与所述后续视图之间的转变的装置；
用于响应于所述请求来产生包括提供所述当前视图中的取向与所述后续视图中的取向之间的视觉联系的一个或更多个帧的用户界面转变的装置，其中所述用户界面转变包括显示在所述当前视图之上的第一扩增覆盖、显示在所述后续视图之上的第二扩增覆盖、以及在所述第一扩增覆盖和所述第二扩增覆盖之间显示以提供所述第一扩增覆盖与所述第二扩增覆盖之间的视觉联系的至少一个不同扩增覆盖；
用于标识所述相机视图中的至少一个显著可标识的环境特征以及所述地图视图后续视图中相同的至少一个显著可标识的环境特征的装置，其中所述用于产生用户界面转变的装置包括用于准备所述当前视图中的所述显著可标识的环境特征的第一扩增覆盖、所述后续视图中的所述显著可标识的环境特征的第二扩增覆盖以及提供所述第一扩增覆盖与所述第二扩增覆盖之间的视觉联系的至少一个不同扩增覆盖的装置，其中所述用户界面转变包括所述第一扩增覆盖、所述第二扩增覆盖、以及所述至少一个不同扩增覆盖；
用于显示所述当前视图、所述后续视图以及所述当前视图与所述后续视图之间的所述用户界面转变的装置。
28.如权利要求27所述的设备，其特征在于，所述用户界面转变是所显示扩增覆盖的位置、取向、形状和透视中的至少一者的变化。
29.如权利要求27所述的设备，其特征在于，所标识的至少一个显著可标识的环境特征是线条、几何形状、区域、建筑物、以及颜色块中的至少一者。
30.如权利要求27所述的设备，其特征在于，所述用于获得地图视图的装置是用于获得数字地图以显示作为所述地图视图的无线收发机。
31.如权利要求27所述的设备，其特征在于，所述地图视图是二维地图表示、三维地图表示、三维顶视图、和卫星图像视图中的至少一者。
32.如权利要求27所述的设备，其特征在于，所述用户界面转变包括提供所述当前视图中的取向与所述后续视图中的取向之间的视觉联系的多个帧。
CN201180029414.1A 2010-06-16 2011-06-16 相机视图与地图视图之间的用户界面转变 Active CN102939742B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/816,955 US9684989B2 (en) 2010-06-16 2010-06-16 User interface transition between camera view and map view
US12/816,955 2010-06-16
PCT/US2011/040760 WO2011159937A1 (en) 2010-06-16 2011-06-16 User interface transition between camera view and map view

Publications (2)

Publication Number Publication Date
CN102939742A CN102939742A (zh) 2013-02-20
CN102939742B true CN102939742B (zh) 2015-04-08

Family

ID=44627442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180029414.1A Active CN102939742B (zh) 2010-06-16 2011-06-16 相机视图与地图视图之间的用户界面转变

Country Status (5)

Country Link
US (1) US9684989B2 (zh)
EP (1) EP2583446B1 (zh)
JP (1) JP5781157B2 (zh)
CN (1) CN102939742B (zh)
WO (1) WO2011159937A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507485B2 (en) * 2010-09-27 2016-11-29 Beijing Lenovo Software Ltd. Electronic device, displaying method and file saving method
US8510039B1 (en) * 2010-10-05 2013-08-13 The Boeing Company Methods and apparatus for three-dimensional localization and mapping
US9429438B2 (en) * 2010-12-23 2016-08-30 Blackberry Limited Updating map data from camera images
US10242456B2 (en) 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US9639757B2 (en) * 2011-09-23 2017-05-02 Corelogic Solutions, Llc Building footprint extraction apparatus, method and computer program product
US9019279B1 (en) * 2011-10-04 2015-04-28 Google Inc. Systems and method for navigating between a nadir view and an oblique view of a map
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US9135735B2 (en) * 2012-06-26 2015-09-15 Qualcomm Incorporated Transitioning 3D space information to screen aligned information for video see through augmented reality
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US20160063671A1 (en) * 2012-08-30 2016-03-03 Nokia Corporation A method and apparatus for updating a field of view in a user interface
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9135705B2 (en) * 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US9996551B2 (en) * 2013-03-15 2018-06-12 Huntington Ingalls, Incorporated System and method for determining and maintaining object location and status
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US20140267411A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Indicating observation or visibility patterns in augmented reality systems
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
JP5885714B2 (ja) * 2013-08-28 2016-03-15 京セラドキュメントソリューションズ株式会社 画像形成システムおよび出力指示プログラム
USD749624S1 (en) * 2013-09-27 2016-02-16 Zya, Inc. Display screen or portion thereof with animated graphical user interface
US9530239B2 (en) 2013-11-14 2016-12-27 Microsoft Technology Licensing, Llc Maintaining 3D labels as stable objects in 3D world
JP6189774B2 (ja) * 2014-03-19 2017-08-30 株式会社ジオ技術研究所 ３次元地図表示システム
US10038838B2 (en) 2015-05-29 2018-07-31 Hover Inc. Directed image capture
US9581457B1 (en) 2015-12-03 2017-02-28 At&T Intellectual Property I, L.P. System and method for displaying points of interest on a heads-up display
US10157501B2 (en) * 2016-01-08 2018-12-18 Skyyfish, LLC Camera angle visualization for aerial vehicle flight plan
EP4328708A3 (en) 2016-02-04 2024-06-05 Apple Inc. Controlling electronic devices and augmented reality based on wireless ranging
KR102576654B1 (ko) * 2016-10-18 2023-09-11 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN106331383B (zh) * 2016-11-21 2020-08-28 努比亚技术有限公司 一种图像存储方法及移动终端
US10866102B2 (en) * 2016-12-23 2020-12-15 X Development Llc Localization of robotic vehicles
US11493930B2 (en) 2018-09-28 2022-11-08 Intrinsic Innovation Llc Determining changes in marker setups for robot localization
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
KR102468309B1 (ko) * 2018-04-26 2022-11-17 한국전자통신연구원 영상 기반 건물 검색 방법 및 장치
CN110647603B (zh) * 2018-06-27 2022-05-27 百度在线网络技术（北京）有限公司 图像标注信息的处理方法、装置和***
US10852740B2 (en) 2018-09-28 2020-12-01 X Development Llc Determining the orientation of flat reflectors during robot mapping
US10824160B2 (en) 2018-09-28 2020-11-03 X Development Llc Robot localization with co-located markers
US10964112B2 (en) 2018-10-12 2021-03-30 Mapbox, Inc. Candidate geometry displays for augmented reality
US11461976B2 (en) * 2018-10-17 2022-10-04 Mapbox, Inc. Visualization transitions for augmented reality
US10885327B2 (en) * 2019-01-28 2021-01-05 Uber Technologies, Inc. Efficient handling of digital map data differences
US20210019908A1 (en) * 2019-07-15 2021-01-21 Microsoft Technology Licensing, Llc Building Recognition via Object Detection and Geospatial Intelligence
US11412350B2 (en) * 2019-09-19 2022-08-09 Apple Inc. Mobile device navigation system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272431B1 (en) * 1997-04-29 2001-08-07 Thomas Zamojdo Method for displaying a map in a vehicle en-route guidance system
CN101194143A (zh) * 2005-06-06 2008-06-04 通腾科技股份有限公司 带有相机信息的导航装置
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
EP2194508A1 (en) * 2008-11-19 2010-06-09 Apple Inc. Techniques for manipulating panoramas

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1751499B1 (en) 2004-06-03 2012-04-04 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
GB0523512D0 (en) 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
NO330248B1 (no) * 2007-10-11 2011-03-14 Aptomar As Et marint sokesystem
JP5227065B2 (ja) 2008-01-25 2013-07-03 株式会社岩根研究所 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
EP2353111A1 (en) * 2008-10-23 2011-08-10 Lokesh Bitra Virtual tagging method and system
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US8427536B2 (en) 2009-11-19 2013-04-23 Qualcomm Incorporated Orientation determination of a mobile station using side and top view images
US8624902B2 (en) * 2010-02-04 2014-01-07 Microsoft Corporation Transitioning between top-down maps and local navigation of reconstructed 3-D scenes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272431B1 (en) * 1997-04-29 2001-08-07 Thomas Zamojdo Method for displaying a map in a vehicle en-route guidance system
CN101194143A (zh) * 2005-06-06 2008-06-04 通腾科技股份有限公司 带有相机信息的导航装置
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
EP2194508A1 (en) * 2008-11-19 2010-06-09 Apple Inc. Techniques for manipulating panoramas

Also Published As

Publication number Publication date
CN102939742A (zh) 2013-02-20
US9684989B2 (en) 2017-06-20
JP2013538332A (ja) 2013-10-10
JP5781157B2 (ja) 2015-09-16
EP2583446A1 (en) 2013-04-24
US20110310087A1 (en) 2011-12-22
EP2583446B1 (en) 2016-02-24
WO2011159937A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
CN102939742B (zh) 相机视图与地图视图之间的用户界面转变
CN109074667B (zh) 基于预测器-校正器的位姿检测
US11393173B2 (en) Mobile augmented reality system
CN104350524B (zh) 基于***信息的姿势估计
CN102918568B (zh) 扩增现实方向取向遮罩
US8427536B2 (en) Orientation determination of a mobile station using side and top view images
CN102959946B (zh) 基于相关3d点云数据来扩充图像数据的技术
US20150371440A1 (en) Zero-baseline 3d map initialization
US9031283B2 (en) Sensor-aided wide-area localization on mobile devices
KR101863647B1 (ko) 3d 맵들에 대한 가설 라인 맵핑 및 검증
EP2569958B1 (en) Method, computer program and apparatus for determining an object in sight

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant