CN102084398A - 街道级图像到3d建筑物模型的对准 - Google Patents

街道级图像到3d建筑物模型的对准 Download PDF

Info

Publication number
CN102084398A
CN102084398A CN2009801247047A CN200980124704A CN102084398A CN 102084398 A CN102084398 A CN 102084398A CN 2009801247047 A CN2009801247047 A CN 2009801247047A CN 200980124704 A CN200980124704 A CN 200980124704A CN 102084398 A CN102084398 A CN 102084398A
Authority
CN
China
Prior art keywords
buildings
street
model
information
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801247047A
Other languages
English (en)
Other versions
CN102084398B (zh
Inventor
K·C·穆克蒂努塔拉帕提
M·D·塔巴
P·纳吉
Z·比
G·基米驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uber Technologies Inc
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41445164&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102084398(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102084398A publication Critical patent/CN102084398A/zh
Application granted granted Critical
Publication of CN102084398B publication Critical patent/CN102084398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

图像数据的原点信息可能不准确地与绝对地理位置对准。将图像与高度准确的模型数据进行对齐的过程通过将图像中的元素与模型中的对应元素进行匹配来调整图像数据的原点。在街道级图像中，可以提取建筑物的天际线，并且可以将来自建筑物模型的对应天际线放置在基于图像的天际线之上。通过调整图像的原点，可以对齐各自的天际线。通过调整图像的图像原点可以类似地对建筑物边缘和立面深度信息进行匹配。经调整的图像的原点可以随后用于对长图像行程自动将图像放置在模型上。

Description

街道级图像到3D建筑物模型的对准
背景
在许多情况下，车辆的精确位置可以使用全球定位***(GPS)接收器和惯性测量装置(IMU)的组合来确定。可以使用由GPS和IMU所提供的定位测量来将使用这些位置***从车辆所拍摄的图像对准到一位置。
然而，市区峡谷中的信号失真、机械容差、磨损等可导致一个或多个图像传感器所报告的位置以不可预测的方式不同于传感器的实际位置。
这一失配的示例在图1中示出，该图示出了现有技术中试图将建筑物图像数据(例如，照片数据)50与相同建筑物的现有三维(3D)模型52对齐的结果。如可以看见的，缺少图像源位置到3D模型的地理基准的准确对准，导致了图像50与模型52之间的未对齐。
概述
一种***和方法使用图像和高分辨率的组合，通过***地调整图像数据的原点直到图像和建筑物模型发生最佳匹配来将街道级图像对齐到3D建筑物模型。通过对图像集执行原始调整(例如，相机位置)，它们可以被满意地对齐。当为街道相对侧选择图像时，可以提供进一步的准确度，从而提供更多样性的数据来用于对齐过程。
图像与使用诸如机载激光测距(LIDAR)等另一技术所生成的建筑物的3D模型对齐。街道级(即，小于地面上20英尺)图像可以由用于建筑物特征的标识的街道级LIDAR数据来补充。
图像和街道级LIDAR被处理以便提取建筑物边缘和天际线，随后针对3D模型对它们进行投影。基于所提取的图像边缘和天际线、街道级边缘和立面深度、以及3D模型的对应特征之间的距离来生成成本或优值。随后关于所计算的它的位置和所重新计算的成本来迭代地移动照相机位置。随后选择对应于所提取特征与所建模的特征之间的最佳匹配的最低成本，并且可以存储对应的照相机位置。该过程可以合并来自沿着图像行程的图像，包括来自相对侧，例如街道的两侧的图像。随着源位置被移位，所有考虑的图像的最低总体成本表示照相机的更准确的绝对位置。图2示出图像54和3D模型56的对齐，作为这一技术的结果。
附图简述
图1是现有技术中关于图像和模型的对齐的不正确的原始位置信息的结果的图示；
图2是作为准确原始信息的结果的图像和模型数据的对齐的图示；
图3是适用于图像对准的通用计算设备的框图；
图4是示出在一个图像行程中一点处的天际线标识的框图；
图5是示出在一个图像行程中另一点处的天际线标识的框图；
图6是街道级图像中天际线标识的示意图；
图7是示出使用天际线数据进行原始位置调整的框图；
图8是街道级图像中天际线匹配的示意图；
图9是示出LIDAR立面和建筑物边缘标识的框图；以及
图10是用于图像对准的图像原始调整的方法的流程图。
详细描述
尽管下文阐明了众多不同实施例的详细描述，但是应当理解，该描述的法律范围由本发明所附的权利要求书的言辞来限定。该详细描述应被解释为仅是示例性的，且不描述每一可能的实施例，因为描述每一可能的实施例即使不是不可能的也是不切实际的。可使用现有技术或在本申请提交日之后开发的技术来实现众多替换实施例，而这仍落入权利要求书的范围之内。
还应该理解，在本专利中，除非使用句子“如此处所用，术语‘______’特此被定义为意指......”或者类似句子来明确地定义一个术语，否则不管是明确地还是含蓄地，都没有限制该术语意义超出其平常或普通意义的意图，并且，这一术语不应该被解释为被限制在基于本专利的任何部分中(除了权利要求书的语言之外)所做的任何陈述的范围中。就本专利所附的权利要求书中所述的任何术语在本专利中以与单数意义相一致的方式来引用而言，这是为简明起见而如此做的，仅仅是为了不使读者感到混淆，且这类权利要求术语并不旨在隐含地或以其它方式限于该单数意义。最后，除非一权利要求要素是通过叙述单词“装置”和功能而没有叙述任何结构来定义的，否则任何权利要求要素的范围并不旨在基于35U.S.C.§12第6段的应用来解释。
许多发明性功能和许多发明性原理最佳地使用或利用软件程序或指令以及诸如专用IC等集成电路(IC)来实现。期望本领域的普通技术人员虽然可能要进行大量的工作和由例如可用时间、现有技术以及经济问题促动的许多设计选择，但是当受到此处所公开的概念和原理的指引时仍能够容易地以最小的实验来生成这些软件指令和程序以及IC。因此，为了简明以及最小化使根据本发明的原理和概念晦涩的任何风险，对这些软件和IC(如果有的话)的进一步讨论将限于对于较佳实施例的原理和概念所必需的那些讨论。
参考图3，用于实现所要求保护的方法和装置的示例性***包括计算机110形式的通用计算设备。虚线轮廓中所示出的组件在技术上不是计算机110的一部分，而是用于示出图3的示例性实施例。计算机110的组件可包括但不限于，处理器120、***存储器130、存储器/图形接口121(也被称为北桥芯片)以及I/O接口122(也被称为南桥芯片)。***存储器130和图形处理器190可以耦合到存储器/图形接口121。监视器191或其他图形输出设备可以耦合到图形处理器190。
一系列***总线可以耦合各种***组件，这些***总线包括处理器120、存储器/图形接口121和I/O接口122之间的高速***总线123，存储器/图形接口121和***存储器130之间的前端总线124，以及存储器/图形接口121和图形处理器190之间的高级图形处理(AGP)总线125。***总线123可以是若干种类型的总线结构中的任一种，包括，作为示例而非限制，这些体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线和增强型ISA(EISA)总线。随着***体系结构的进化，可以使用其他总线体系结构和芯片组，但通常大致遵循该模式。例如，诸如英特尔和AMD等公司分别支持英特尔中枢体系结构(Intel Hub Architecture，IHA)和超传输TM(Hypertransport)体系结构。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是能由计算机110访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或能用于存储所需信息且可以由计算机110访问的任何其它介质。
***存储器130包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)131和随机存取存储器(RAM)132。***ROM 131可包含永久***数据143，诸如标识和制造信息。在某些实施例中，基本输入/输出***(BIOS)也可存储在***ROM 131中。RAM 132通常包含处理器120可以立即访问和/或目前正在其上操作的数据和/或程序模块。作为示例而非限制，图3示出了操作***134、应用程序135、其它程序模块136和程序数据137。
I/O接口122可将***总线123与将各种内部和外部设备耦合到计算机110的多个其他总线126、127和128耦合。串行***接口(SPI)总线126可连接到包含帮助在诸如启动期间在计算机110内的各元件之间传递信息的基本例程的基本输入/输出***(BIOS)存储器133。
超级输入/输出芯片160可用于连接到多个‘传统’***设备，诸如例如，软盘152、键盘/鼠标162和打印机196。在某些实施例中，超级I/O芯片160可以用诸如低引脚数(LPC)总线等总线127来连接到I/O接口122。超级I/O芯片160的各实施例在商业市场可广泛地购买到。
在一个实施例中，总线128可以是***部件互连(PCI)总线或其变型，可用于将更高速的***设备连接到I/O接口122。PCI总线也可被称为夹层(Mezzanine)总线。PCI总线的变型包括快速***部件互连(PCI-E)和扩展***部件互连(PCI-X)总线，前者具有串行接口而后者是向后兼容的并行接口。在其他实施例中，总线128可以是串行高级技术附件(ATA)总线(SATA)或并行ATA(PATA)形式的ATA总线。
计算机110还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器140。
诸如通用串行总线(USB)存储器153、火线(IEEE 1394)、或CD/DVD驱动器156等可移动介质可直接或通过接口150连接到PCI总线128。存储介质154可以通过接口150来耦合。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。
以上描述的驱动器及其相关联的计算机存储介质为计算机110提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图3中，硬盘驱动器140被示为存储操作***144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作***134、应用程序135、其他程序模块136和程序数据137相同，也可以与它们不同。操作***144、应用程序145、其他程序模块146和程序数据147在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可通过诸如鼠标/键盘162等输入设备或其他输入设备组合来将命令和信息输入计算机20。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过诸如SPI 126、LPC 127或PCI 128等I/O接口总线中的一个来连接到处理器120，但可以使用其他总线。在某些实施例中，其他设备可经由超级I/O芯片160耦合到并行端口、红外接口、游戏端口以及诸如此类(未描绘)。
计算机110可使用经由网络接口控制器(NIC)170至一个或多个远程计算机，如远程计算机180的逻辑连接来在联网环境中操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见的网络节点，并且通常包括上面相对于计算机110所述的许多或全部元件。图3所描绘的NIC 170和远程计算机180之间的逻辑连接可包括局域网(LAN)、广域网(WAN)或两者，但还可包括其他网络。这样的联网环境常见于办公室、企业范围计算机网络、内联网和因特网中。远程计算机180还可以表示支持与计算机110进行交互会话的web服务器。
在某些实施例中，网络接口可以在宽带连接不可用或未使用宽带连接时使用调制解调器(未描绘)。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其它手段。
图4-8示出如何基于相同场景的3D模型来解释图像数据，以便细化照相机位置在地理方面的准确性。在利用这一技术的一个实施例中，可以在飞机上安装并使用例如光检测和测距(LIDAR)设备等精度扫描仪来捕捉诸如城市地区等地理区域的几何数据。从这些LIDAR数据中，能以10厘米数量级的经度来生成包括建筑物的地区的三维模型。尽管这样的地理模型提供了有价值的资源，但是将生活示意为场景可能需要将色彩和纹理数据添加到3D模型。街道级照片可以提供所需真实性，但是，如图1所示，当照片数据与3D模型没有适当地对齐时，可能导致难以理解的混乱。基于街道的LIDAR数据可以将照片数据的源位置放置在相对于照片的对象(例如，建筑物)的一厘米之内，但是如3D模型所使用的相对于地理坐标的照相机位置可偏离多达一米或更多。当将照片数据投影到几百米高的建筑物的3D模型上时，这一源位置的不准确可容易地导致图1的失配。
为解决照相机的地理位置的不准确，可以使用更准确的机载且街道级LIDAR数据来在数学上改变照相机位置坐标，直到图像和街道级LIDAR数据最佳地拟合相同场景的3D模型。一旦沿着图像行程的两点，尤其是接近该行程的结尾的亮点，被正确地定位，来自沿着该行程的其他间隔的图像就可以使用IMU数据来准确地定位中间点。
图4是示出在一个图像行程中一点处的天际线标识的框图。街道402以及代表性建筑物404、406、408被示为表示典型的街道环境。轨道410示出了用于沿着轨道410捕捉图像数据的行程路径。可按周期性间隔沿着轨道捕捉图像。接近轨道410开头的代表性第一位置412示出了从第一位置412的角度来看的建筑物的天际线416、418和420。
一实施例使用基于本领域所知的最优路径算法的天际线检测算法。该算法取决于边缘、梯度大小和方向、以及天空分类边缘和消失点信息。例如，边缘和消失点的组合可以使用将所考虑的像素联接到消失点的线上的天空分类的像素的百分比。另一天际线检测属性可以使用基于现有的建筑物模型的经先验估计的天际线，即，3D模型自身可以用于帮助确定图像数据中的天际线。
分别为建筑物404、406、408所提取的天际线数据416、418和420可以随后在作为与3D模型的对比的一部分的确定源位置时使用。
将第一和第二位置412和414分别描绘为立方体示出了轨道410中那个点处的图像的确切源位置是在三维空间中的估计，该估计可能较准确或较不准确，取决于GPS接收的自然环境和IMU的准确度。
图5是示出在诸如图4所示的图像行程等一个图像行程中另一点处的天际线标识的框图。如上，示出了街道502以及建筑物504、506和508。轨道510示出沿着街道的图像行程进展，其中各图像沿着轨道510定期拍摄，包括接近开头的代表性第一位置512以及接近轨道510结尾的代表性第二位置514。在一些实施例中，沿着该行程的其他图像可以在计算照相机的最佳拟合实际位置时使用。
如所示出的，天际线检测可用于确定从第二位置514的街道级角度来看的每个相应的建筑物504、506、508的天际线516、518、520。
这些信息可以随后与3D模型数据相组合来为从中获得原始街道级图像的照相机的地理位置确定校正因子。
图6是描绘若干建筑物及其相关联的天际线的街道级图像602。所检测的天际线604用白线示出。如果照相机实际在它所报告的位置处，则黑线606表示3D模型的所投影的天际线。
图7示出了具有所检测的天际线边缘704的代表性建筑物702。可以定位图像源的范围由立方体706表示。立方体706的中心可以在如GPS和IMU设备所记录的照相机的位置。
如图7所描绘的，基于3D模型数据的所投影的天际线可以与图像的所检测的天际线相比较。例如，可以从立方体706的左上角定位第一投影708，可以用顶部中间的照相机位置进行第二投影710，并且可以从该立方体的右下角进行第三投影712。在操作中，可以行程在所测量位置周围3x 3x 3矩阵上的照相机位置。所提取和所投影的天际线之间的距离可以计算为图像坐标中x和y维度中绝对距离的e之和(abs(x1-x2)+abs(y1-y2))。在一些实施例中，超过100像素的距离可以不被考虑，来解决错误地检测的部分天际线。可以选择并存储与所检测和所投影的天际线之间最接近的匹配相关联的投影位置，在这一示例中，投影710表示最佳匹配。由于沿着给定轨道的行程的IMU数据非常准确，因此使用来自沿着给定轨道的数据来执行位置操作可以用于在一次计算中重定向整个轨道。
图8描绘了示出多个所投影的天际线804的街道级图像802，这些天际线表示用于生成所投影的天际线804的不同照相机位置。
图9示出了使用街道级LIDAR数据来补充天际线数据以供图像匹配。可以从照相机位置904捕捉图像数据中的建筑物902。可以在捕捉图像数据的同时记录边缘数据906和908、以及立面深度910。如上述所检测和所投影的天际线一样，边缘912、914和立面深度916信息可以与所投影的边缘以及从建筑物902的3D模型中所提取的立面信息相比较。LIDAR深度数据可以比所检测的天际线信息更稳健，并且可以在组合关于实际照相机位置的所有源信息时给予它更多权重。
对于给定一行程段，LIDAR深度的计算可以首先获得一个或多个附近建筑物的3D模型。对于每个建筑物，可以考虑面向行程片段且具有大面积和宽度的建筑物立面。基于3D建筑物模型来计算每个立面(在局部坐标系中)***的边缘的开始和停止位置。计算对应于边缘的开始和停止触发事件、以及立面边缘到行程段上的投影。基于这些信息，可以获得距行程段的立面深度。
将开始和停止触发事件传递给LIDAR深度检测模块。传回找到的主导平面的深度。选择最接近于感兴趣立面(在质心意义上)的主导平面，并且计算差别。
如果基于LIDAR的深度与现有基于建筑物模型立面的深度的差别在给定容差之内，则考虑该差别。这被称为基于建筑物立面-LIDAR深度的差别。对于该行程段周围整个侧面的建筑物立面、所有基于建筑物立面-LIDAR深度的差别的平均值是基于LIDAR深度的优值。
LIDAR边缘计算也可以通过为给定行程段附近的建筑物获得3D建筑物模型来开始。对于每个建筑物，可以使用在局部坐标系中的建筑物几何模型来计算边缘。计算建筑物的开始和停止位置、以及对应于建筑物的触发事件。
这些开始和停止触发事件连同Lidar单元(左或右侧面)被个别地传送到LIDAR边缘检测模块。同样，可以提供在LIDAR深度图像中建筑物的侧面。LIDAR边缘检测模块检测建筑物边缘周围的主导平面，并且找出取决于建筑物侧面的边缘。
将LIDAR所检测的边缘的质心投影回建筑物的从角观看的图像。类似地，将对应于来自现有模型中建筑物边缘的点(使用与照相机相同的高度，对应于局部坐标系中建筑物角位置)投影回去。对基于边缘的成本或优值考虑这些投影的列数量的差别(以像素为单位)。这是基于图像帧完全垂直的假设下的近似成本。这对于示例性地理位置模块中通常所使用的分辨力足够合理。
对于行程段周围所有建筑物的这些差别的平均值被认为是基于LIDAR边缘的成本或优值(以像素为单位)。
图10描绘了用于确定图像数据的源位置的位移值的方法1000。在框1002处，可以加载源位置的第一位移值。在框1004，从源图像中所提取的天际线与从对应3D模型中所计算的天际线之间的天际线位移的优值。可以使用多个源图像来为所测试的每个源图像位移进行天际线优值计算。
在框1006处，可以通过比较LIDAR数据和3D模型数据来计算LIDAR边缘和立面数据的优值。
在框1008处，可计算天际线和LIDAR的优值。在一个实施例中，简单地将优值相加。在另一实施例中，例如，如果LIDAR数据的一个优值的关联的数据被认为是更准确的，则该优值可以被加权更多。
在框1010处，可以将框1008的结果与先前存储的最小值(如果有的话)比较。如果新优值小于先前最小值，则执行可跟随“是”分支到框1012。如果新优值等于或大于当前最小值，则执行可跟随“否”分支，如果还有位移值要测试，则执行可继续到框1002处。
如果从框1010采取“是”分支，在框1012处，可存储优值的新低值、以及该新低值导致的位移值。如果还有位移值需要测试，执行可继续到框1002处。
当测试了所有位移值时，可以使用与最低优值相关联的位移值来校正行程数据。
使用所建模的建筑物立面的实际图像的能力给予3D图像和地理应用程序新一级的真实性。使用以上描述的技术使得会是艰巨任务的大量地理位置数据的图像到模型的匹配能够自动化。结果，临时用户、业务应用程序开发者、玩家等可以享受大规模地理建模的准确性和真实性。
尽管上文阐明了众多不同实施例的详细描述，但是应当理解，本专利的法律范围由本专利所附的权利要求书的言辞来限定。该详细描述应被解释为仅是示例性的，且不描述本发明的每一可能的实施例，因为描述每一可能的实施例即使不是不可能的也是不切实际的。可使用现有技术或在本专利提交日之后开发的技术来实现众多替换实施例，这仍将落入定义本发明的权利要求书的范围之内。
由此，可在此处所描述和示出的技术和结构上作出许多修改和变化而不脱离本发明的精神和范围。因此，应当理解，此处所描述的方法和装置仅是说明性的，且不限制本发明的范围。

Claims (20)

1.一种校正位置数据的方法，其特征在于，包括：
将源位置分配给图像；
确定所述图像中建筑物(504)的建筑物(504)细节；
从三维扫描中提取对应于所述建筑物(504)细节的建筑物(504)模型；
将来自所述建筑物(504)模型的模型细节投影到来自所述图像的建筑物(504)细节上；
调整所述源位置，直到所述建筑物(504)细节与所述模型细节在限制值内匹配；
记录从调整源位置产生的经调整的源位置，直到所述建筑物(504)细节与所述模型细节在限制值内匹配。
2.如权利要求1所述的方法，其特征在于，进一步包括：
在将所述图像应用于所述建筑物(504)模型时，使用经调整的源位置。
3.如权利要求1所述的方法，其特征在于，确定所述图像中的建筑物(504)细节包括：
测量从所述源位置到所述建筑物(504)的立面的距离。
4.如权利要求1所述的方法，其特征在于，确定所述图像中的建筑物(504)细节包括：
评估边缘和梯度大小；
评估线上与消失点相关联的像素；以及
从所述建筑物(504)模型中估计所述建筑物(504)细节。
5.如权利要求1所述的方法，其特征在于，进一步包括选择来自一行程段和来自该行程段的相对侧的对应于建筑物(404)的多个图像。
6.如权利要求5所述的方法，其特征在于，进一步包括在对所述模型细节投影(710)时，组合建筑物(504)深度数据和建筑物(504)天际线数据(416)。
7.如权利要求1所述的方法，其特征在于，确定所述建筑物(504)细节包括确定照片建筑物(504)天际线(516)。
8.如权利要求1所述的方法，其特征在于，确定建筑物(504)细节包括确定照片建筑物(504)边缘(912)。
9.如权利要求1所述的方法，其特征在于，确定建筑物(504)细节包括确定LIDAR天际线(516)。
10.如权利要求1所述的方法，其特征在于，确定建筑物(504)细节包括确定LIDAR建筑物(504)边缘(912)。
11.如权利要求1所述的方法，其特征在于，调整源位置包括：
使用多个图像在开始点三维范围上调整开始点源位置，来将多个模型细节投影到来自每一图像的对应的多个建筑物(504)细节上。
12.一种将图像数据对齐到建筑物(504)模型的方法，其特征在于，包括：
捕捉街道(402)级建筑物(504)信息；
将源位置分配给所述街道(402)级建筑物(504)信息；
在所述街道(402)级建筑物(504)信息中确定建筑物(504)天际线(516)、建筑物(504)边缘(912)、以及建筑物(504)立面深度(910)；
从航空数据中提取对应于与所述街道(402)级建筑物(504)信息相关联的位置的模型信息；
将优值函数应用于所述街道(402)级建筑物(504)信息和所述航空数据的对应元素；
基于对所述优值函数的输出的分析来计算位移因子；
通过将所述位移因子应用于所述源位置来修改所述源位置；以及
使用由所述位移因子所修改的源位置来将所述图像数据对齐到所述建筑物(504)模型。
13.如权利要求12所述的方法，其特征在于，应用优值函数包括分析街道(402)级天际线(516)和航空数据天际线(516)。
14.如权利要求12所述的方法，其特征在于，应用优值函数包括分析街道(402)级立面和航空数据立面。
15.如权利要求12所述的方法，其特征在于，应用优值函数包括分析街道(402)级建筑物(504)边缘(912)和航空数据建筑物(504)边缘(912)。
16.一种具有用于执行一种方法的计算机可执行指令的计算机可读存储介质(140)，其特征在于，所述方法包括：
捕捉包括街道(402)场景图像数据的街道(402)级建筑物(504)信息；
将源位置分配给所述街道(402)级建筑物(504)信息；
在所述街道(402)级建筑物(504)信息中确定建筑物(504)天际线(516)、建筑物(504)边缘(912)、以及建筑物(504)立面深度(910)
从航空数据中提取对应于与所述街道(402)级建筑物(504)信息相关联的位置的建筑物(504)模型；
基于所述航空数据将优值函数应用于所述街道(402)级建筑物(504)信息和所述建筑物(504)模型的对应元素；
基于对所述优值函数的输出的分析来确定位移因子；
通过将所述位移因子应用于所述源位置来修改所述源位置；以及
使用由所述位移因子所修改的源位置来将所述街道(402)场景图像数据对齐到所述建筑物(504)模型。
17.如权利要求16所述的计算机可读存储介质，其特征在于，应用优值函数包括将街道(402)级建筑物(504)的天际线(516)、边缘(912)以及立面信息与对应的航空数据建筑物(504)的天际线(516)、边缘(912)以及立面信息相比较。
18.如权利要求16所述的计算机可读存储介质，其特征在于，捕捉街道(402)级建筑物(504)信息包括捕捉街道(402)两侧的街道(402)级建筑物(504)信息。
19.如权利要求16所述的计算机可读存储介质，其特征在于，捕捉街道(402)级建筑物(504)信息包括捕捉二维照片和三维激光测距(LIDAR)数据中的至少一个。
20.如权利要求16所述的计算机可读存储介质，其特征在于，基于航空数据将优值函数应用于所述街道(402)级建筑物(504)信息和所述建筑物(504)模型的对应元素包括基于对应于沿着街道(402)场景的多个位置的航空数据将优值函数应用于所述街道(402)级建筑物(504)信息和所述建筑物(504)模型的对应元素、并且对多个位置中的每一个线性地组合各自的优值。
CN2009801247047A 2008-06-25 2009-05-20 街道级图像到3d建筑物模型的对准 Active CN102084398B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/145,515 2008-06-25
US12/145,515 US8284190B2 (en) 2008-06-25 2008-06-25 Registration of street-level imagery to 3D building models
PCT/US2009/044673 WO2009158083A2 (en) 2008-06-25 2009-05-20 Registration of street-level imagery to 3d building models

Publications (2)

Publication Number Publication Date
CN102084398A true CN102084398A (zh) 2011-06-01
CN102084398B CN102084398B (zh) 2013-09-25

Family

ID=41445164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801247047A Active CN102084398B (zh) 2008-06-25 2009-05-20 街道级图像到3d建筑物模型的对准

Country Status (13)

Country Link
US (1) US8284190B2 (zh)
EP (1) EP2289051B1 (zh)
JP (1) JP5450619B2 (zh)
KR (1) KR101629042B1 (zh)
CN (1) CN102084398B (zh)
AU (1) AU2009262925B2 (zh)
BR (1) BRPI0913210A2 (zh)
CA (1) CA2723875C (zh)
MX (1) MX2010014049A (zh)
MY (1) MY166106A (zh)
RU (1) RU2010153345A (zh)
WO (1) WO2009158083A2 (zh)
ZA (1) ZA201007844B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105103089A (zh) * 2013-06-28 2015-11-25 谷歌公司 用于基于视频输入生成准确传感器校正的***和方法
CN105516584A (zh) * 2015-11-24 2016-04-20 中国科学院生态环境研究中心 全景影像采集***、基于其的测量天际线的装置和方法
CN105814606A (zh) * 2013-11-08 2016-07-27 谷歌公司 基于图像的位置确定
CN111899512A (zh) * 2020-08-05 2020-11-06 深圳大学 结合天际线观测的车辆轨迹提取方法、***及存储介质
CN112815923A (zh) * 2019-11-15 2021-05-18 华为技术有限公司 视觉定位方法和装置
CN113031041A (zh) * 2021-03-11 2021-06-25 南京航空航天大学 一种基于天际线匹配的城市峡谷组合导航定位方法
CN114781036A (zh) * 2022-04-26 2022-07-22 云知声智能科技股份有限公司 一种建筑信息模型建模及渲染方法、装置、设备和介质

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100061593A1 (en) * 2008-09-05 2010-03-11 Macdonald Willard S Extrapolation system for solar access determination
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
US20150278878A1 (en) * 2009-09-10 2015-10-01 Google Inc. System and method of displaying advertisements
WO2011093751A1 (en) * 2010-01-26 2011-08-04 Saab Ab A three dimensional model method based on combination of ground based images and images taken from above
US20110261187A1 (en) * 2010-02-01 2011-10-27 Peng Wang Extracting and Mapping Three Dimensional Features from Geo-Referenced Images
US8786845B2 (en) 2010-04-08 2014-07-22 Navteq B.V. System and method of generating and using open sky data
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US20120105581A1 (en) * 2010-10-29 2012-05-03 Sony Corporation 2d to 3d image and video conversion using gps and dsm
US8855911B2 (en) 2010-12-09 2014-10-07 Honeywell International Inc. Systems and methods for navigation using cross correlation on evidence grids
WO2012126500A1 (en) * 2011-03-18 2012-09-27 C3 Technologies Ab 3d streets
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US9639757B2 (en) * 2011-09-23 2017-05-02 Corelogic Solutions, Llc Building footprint extraction apparatus, method and computer program product
US8818722B2 (en) 2011-11-22 2014-08-26 Honeywell International Inc. Rapid lidar image correlation for ground navigation
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
US9378584B2 (en) 2012-05-23 2016-06-28 Glasses.Com Inc. Systems and methods for rendering virtual try-on products
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9157743B2 (en) 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
US9183354B2 (en) * 2012-08-15 2015-11-10 Musc Foundation For Research Development Systems and methods for image guided surgery
WO2014112911A1 (en) * 2013-01-21 2014-07-24 Saab Ab Method and arrangement for developing a three dimensional model of an environment
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
CA2820305A1 (en) 2013-07-04 2015-01-04 University Of New Brunswick Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
US11721066B2 (en) 2013-07-23 2023-08-08 Hover Inc. 3D building model materials auto-populator
AU2013222016A1 (en) * 2013-08-30 2015-03-19 Canon Kabushiki Kaisha Method, system and apparatus for determining a property of an image
WO2015061735A1 (en) 2013-10-25 2015-04-30 Hover Inc. Estimating dimensions of geo-referenced ground-level imagery using orthogonal imagery
US9424672B2 (en) 2013-11-07 2016-08-23 Here Global B.V. Method and apparatus for processing and aligning data point clouds
US9704291B2 (en) 2013-11-08 2017-07-11 Here Global B.V. Structure model creation from a three dimensional surface
US10412594B2 (en) 2014-07-31 2019-09-10 At&T Intellectual Property I, L.P. Network planning tool support for 3D data
WO2016107989A1 (en) * 2014-12-31 2016-07-07 Aalto University Foundation Estimation of lower bounds for deviations of as-built structures from as-designed models
EP3271900A4 (en) * 2015-03-17 2019-03-06 Environmental Systems Research Institute, Inc. INTERACTIVE DIMENSIONING OF PARAMETRIC MODELS
US10217242B1 (en) * 2015-05-28 2019-02-26 Certainteed Corporation System for visualization of a building material
US10178303B2 (en) * 2015-05-29 2019-01-08 Hover Inc. Directed image capture
US9507028B1 (en) * 2015-07-23 2016-11-29 Hyundai Motor Company Positioning apparatus and method for vehicle
US10339193B1 (en) * 2015-11-24 2019-07-02 Google Llc Business change detection from street level imagery
US10430961B2 (en) * 2015-12-16 2019-10-01 Objectvideo Labs, Llc Using satellite imagery to enhance a 3D surface model of a real world cityscape
US10127685B2 (en) 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
US10223829B2 (en) 2016-12-01 2019-03-05 Here Global B.V. Method and apparatus for generating a cleaned object model for an object in a mapping database
WO2018128424A1 (ko) * 2017-01-04 2018-07-12 가이아쓰리디 주식회사 3차원 지리 정보 시스템 웹 서비스를 제공하는 방법
US20180238690A1 (en) * 2017-02-17 2018-08-23 The Charles Stark Draper Laboratory, Inc. Stellar-Landscape/Horizon Image Navigation
CN111192366B (zh) * 2019-12-30 2023-04-07 重庆市勘测院 用于建筑高度三维控制的方法及装置、服务器
US11756129B1 (en) 2020-02-28 2023-09-12 State Farm Mutual Automobile Insurance Company Systems and methods for light detection and ranging (LIDAR) based generation of an inventory list of personal belongings
US11107244B1 (en) * 2020-04-17 2021-08-31 Applied Research Associates, Inc. Location determination in a GPS-denied environment with user annotation
US11676343B1 (en) 2020-04-27 2023-06-13 State Farm Mutual Automobile Insurance Company Systems and methods for a 3D home model for representation of property
US11678140B2 (en) 2020-06-29 2023-06-13 The United States Of America As Represented By The Secretary Of The Army Localization by using skyline data
KR102481537B1 (ko) * 2020-12-08 2022-12-23 주식회사 한화방산 영상 데이터와 지형 고도 데이터를 이용하여 이동체의 방위각 및 자세를 추정하는 장치 및 방법
KR102520189B1 (ko) * 2021-03-02 2023-04-10 네이버랩스 주식회사 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
WO2023244978A1 (en) * 2022-06-14 2023-12-21 President And Fellows Of Harvard College Building as an instrumentation for data-driven building operation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020145607A1 (en) * 1996-04-24 2002-10-10 Jerry Dimsdale Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US20060188131A1 (en) * 2005-02-24 2006-08-24 Xiang Zhang System and method for camera tracking and pose estimation
US20070286459A1 (en) * 2004-10-18 2007-12-13 Ehud Gal Auxilliary Navigation System For Use In Urban Areas

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652717A (en) * 1994-08-04 1997-07-29 City Of Scottsdale Apparatus and method for collecting, analyzing and presenting geographical information
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
US6420698B1 (en) * 1997-04-24 2002-07-16 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US7509241B2 (en) * 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
US20030012410A1 (en) * 2001-07-10 2003-01-16 Nassir Navab Tracking and pose estimation for augmented reality using real features
US7103211B1 (en) * 2001-09-04 2006-09-05 Geometrix, Inc. Method and apparatus for generating 3D face models from one camera
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
JP2005339127A (ja) * 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
WO2006121457A2 (en) * 2004-08-18 2006-11-16 Sarnoff Corporation Method and apparatus for performing three-dimensional computer modeling
US9049396B2 (en) * 2004-09-29 2015-06-02 Hewlett-Packard Development Company, L.P. Creating composite images based on image capture device poses corresponding to captured images
JP2007026201A (ja) 2005-07-19 2007-02-01 Sega Corp 画像処理装置、道路画像描画方法および道路画像描画プログラム
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US7944547B2 (en) * 2006-05-20 2011-05-17 Zheng Wang Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
US7752018B2 (en) * 2006-07-20 2010-07-06 Harris Corporation Geospatial modeling system providing building roof type identification features and related methods
US7831089B2 (en) * 2006-08-24 2010-11-09 Microsoft Corporation Modeling and texturing digital surface models in a mapping application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020145607A1 (en) * 1996-04-24 2002-10-10 Jerry Dimsdale Integrated system for quickly and accurately imaging and modeling three-dimensional objects
US20070286459A1 (en) * 2004-10-18 2007-12-13 Ehud Gal Auxilliary Navigation System For Use In Urban Areas
US20060188131A1 (en) * 2005-02-24 2006-08-24 Xiang Zhang System and method for camera tracking and pose estimation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINHUI HU ET AL: "Automatic Pose Recovery for High-Quality Textures Generation", 《PROCEEDINGS OF THE 18TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
JINHUI HU ET AL: "Integrating LiDAR, Aerial Image and Ground Images for Complete Urban Building Modeling", 《THE THIRD INTERNATIONAL SYMPOSIUM ON 3D DATA PROCESSING, VISUALIZATION, AND TRANSMISSION》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105103089A (zh) * 2013-06-28 2015-11-25 谷歌公司 用于基于视频输入生成准确传感器校正的***和方法
CN105103089B (zh) * 2013-06-28 2021-11-09 谷歌有限责任公司 用于基于视频输入生成准确传感器校正的***和方法
CN110263800B (zh) * 2013-11-08 2021-05-28 谷歌有限责任公司 基于图像的位置确定
CN105814606B (zh) * 2013-11-08 2019-05-10 谷歌有限责任公司 基于图像的位置确定
CN110263800A (zh) * 2013-11-08 2019-09-20 谷歌有限责任公司 基于图像的位置确定
CN105814606A (zh) * 2013-11-08 2016-07-27 谷歌公司 基于图像的位置确定
CN105516584B (zh) * 2015-11-24 2019-07-05 中国科学院生态环境研究中心 全景影像采集***、基于其的测量天际线的装置和方法
CN105516584A (zh) * 2015-11-24 2016-04-20 中国科学院生态环境研究中心 全景影像采集***、基于其的测量天际线的装置和方法
CN112815923A (zh) * 2019-11-15 2021-05-18 华为技术有限公司 视觉定位方法和装置
WO2021093679A1 (zh) * 2019-11-15 2021-05-20 华为技术有限公司 视觉定位方法和装置
CN111899512A (zh) * 2020-08-05 2020-11-06 深圳大学 结合天际线观测的车辆轨迹提取方法、***及存储介质
CN113031041A (zh) * 2021-03-11 2021-06-25 南京航空航天大学 一种基于天际线匹配的城市峡谷组合导航定位方法
CN113031041B (zh) * 2021-03-11 2022-06-10 南京航空航天大学 一种基于天际线匹配的城市峡谷组合导航定位方法
CN114781036A (zh) * 2022-04-26 2022-07-22 云知声智能科技股份有限公司 一种建筑信息模型建模及渲染方法、装置、设备和介质

Also Published As

Publication number Publication date
WO2009158083A2 (en) 2009-12-30
MY166106A (en) 2018-05-24
BRPI0913210A2 (pt) 2016-01-12
US8284190B2 (en) 2012-10-09
EP2289051A4 (en) 2013-09-11
CA2723875A1 (en) 2009-12-30
MX2010014049A (es) 2011-02-22
EP2289051B1 (en) 2017-12-27
CA2723875C (en) 2018-11-20
EP2289051A2 (en) 2011-03-02
RU2010153345A (ru) 2012-06-27
AU2009262925A1 (en) 2009-12-30
JP5450619B2 (ja) 2014-03-26
US20090322742A1 (en) 2009-12-31
KR20110030641A (ko) 2011-03-23
ZA201007844B (en) 2012-02-29
AU2009262925B2 (en) 2014-06-26
KR101629042B1 (ko) 2016-06-09
JP2011526029A (ja) 2011-09-29
CN102084398B (zh) 2013-09-25
WO2009158083A3 (en) 2010-04-01

Similar Documents

Publication Publication Date Title
CN102084398B (zh) 街道级图像到3d建筑物模型的对准
Moreau et al. Fisheye-based method for GPS localization improvement in unknown semi-obstructed areas
Wang et al. Automated road sign inventory system based on stereo vision and tracking
EP3274964B1 (en) Automatic connection of images using visual features
CN101617197A (zh) 道路地物测量装置、地物识别装置、道路地物测量方法、道路地物测量程序、测量装置、测量方法、测量程序、测量位置数据、测量终端装置、测量服务器装置、作图装置、作图方法、作图程序以及作图数据
Gerke Using horizontal and vertical building structure to constrain indirect sensor orientation
CN103377476A (zh) 使用三维地理弧的多模型数据的图像配准
Lee et al. Automatic building height extraction by volumetric shadow analysis of monoscopic imagery
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
US10432915B2 (en) Systems, methods, and devices for generating three-dimensional models
Cheng et al. Extracting three-dimensional (3D) spatial information from sequential oblique unmanned aerial system (UAS) imagery for digital surface modeling
CN112529957A (zh) 确定摄像设备位姿的方法和装置、存储介质、电子设备
CN114969221A (zh) 一种更新地图的方法及相关设备
Marelli et al. ENRICH: Multi-purposE dataset for beNchmaRking In Computer vision and pHotogrammetry
Jahanshahi et al. Accurate and robust scene reconstruction in the presence of misassociated features for aerial sensing
Fong et al. Computer vision centric hybrid tracking for augmented reality in outdoor urban environments
Jiang et al. 3D reconstruction of spherical images based on incremental structure from motion
Brata et al. An Enhancement of Outdoor Location-Based Augmented Reality Anchor Precision through VSLAM and Google Street View
Schilling et al. Mind the gap-a benchmark for dense depth prediction beyond lidar
Li et al. High‐resolution model reconstruction and bridge damage detection based on data fusion of unmanned aerial vehicles light detection and ranging data imagery
RU2818049C2 (ru) Способ корректировки цифровой модели высот (варианты)
Aldelgawy et al. Semi‐automatic reconstruction of object lines using a smartphone’s dual camera
Xu et al. PL‐Pose: robust camera localisation based on combined point and line features using control images
EP2851845A1 (en) Advertisement Collateral detection
Liu et al. Linear target change detection from a single image based on three‐dimensional real scene

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150508

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150508

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

TR01 Transfer of patent right

Effective date of registration: 20170505

Address after: American California

Patentee after: UBER TECHNOLOGIES INC.

Address before: Washington State

Patentee before: Micro soft technique license Co., Ltd

TR01 Transfer of patent right