CN101523157A - 用于产生正射纠正瓦片的方法和设备 - Google Patents

Abstract

本发明涉及一种用于产生正射纠正瓦片的方法。所述方法包括：检索借助于陆地用相机获得的源图像；检索与所述源图像相关联的位置数据；检索与所述源图像相关联的定向数据；以及借助于对应位置数据和定向数据转换源图像以获得所述正射纠正瓦片。正射纠正瓦片用于产生正射纠正镶嵌。借助于本发明，使用由陆地用相机记录的图像来产生具有对应道路标志的道路表面地图。

Description

用于产生正射纠正瓦片的方法和设备

技术领域

本发明涉及一种用于产生正射纠正瓦片(orthorectified tile)的方法。本发明进一步涉及一种承载正射纠正瓦片的处理器可读存储媒体、一种用于产生正射纠正瓦片的计算机布置。此外，本发明涉及一种从通过陆地用相机捕获的至少一个基于陆地的图像序列的源图像收集位置准确的水平信息和位置准确的垂直信息两者的方法，以及一种从通过陆地用相机获得的至少一个源图像收集位置准确的水平信息和位置准确的对象信息的方法，其中所述对象可视地附接到地面。

背景技术

需要为导航***和类似***中使用的数字地图数据库收集大量水平道路信息，例如分道线、道路中心线等等。此信息可通过解译高分辨率的航空正射纠正图像而获得。正射纠正图像是经“比例校正”的图像，其描绘在地面特征的准确地面位置从上方所见的所述地面特征，其中由相机和飞行特性以及高程位移(relief displacement)引起的失真已使用摄影测量技术移除。正射纠正图像是一种航空照片，其已经过几何校正(“正射纠正”)以使得照片的比例均匀，这意味着照片可视为等同于地图。正射纠正图像可用于测量真实距离，因为其是地球表面的准确表示，其已针对地形起伏、透镜失真和相机倾斜而调整。正射纠正视图不同于透视图之处在于正射纠正视图相对于参照平面以直角投影，而透视图从单个固定位置或观看点从表面向参照平面投影。正射纠正图像可通过任何合适的地图投影而获得。地图投影可为通过表面的投影，例如圆柱投影、伪圆柱投影、混合投影、圆锥投影、伪圆锥投影或方位角投影。投影也可为通过保留度量性质的投影。地图投影的共同之处在于其为正交投影，这意味着每个像素均表示沿着垂直于参照平面的表面的线所见的所述参照平面的表面(近似于地球形状的椭圆体)上的一点。因此，地球表面的正射纠正图像的每个像素大致对应于沿着垂直于所述近似于地球形状的椭圆体的线所见的地球表面的视图。

除了以上的投影约束以外，正射纠正图像包括元数据，所述元数据使一算法能够将正射纠正图像的任一像素参照于地理坐标参照系中的一点。由于每一像素在所述近似于地球形状的椭圆体上的准确位置是已知的，因此可从正射纠正图像检索地面特征的位置和大小(例如，水平道路信息)，且可计算出高度准确的距离和地球坐标。经地理编码的正射纠正图像的元数据定义投影坐标参照系以便为每一像素确定在所述地理坐标参照系中的对应位置。这些高分辨率正射纠正图像应具有低于25cm的像素大小。用航空或卫星摄影术获得这些图像是非常昂贵的，且不能保证捕捉到所有的道路水平信息。

可从航空图像中非常高效地获得正射纠正图像。然而，常常会引入误差，其可导致地理位置数据的不准确的测绘。主要问题在于通常航空图像不是完全垂直于地球表面而拍摄。即使当一图片是接近于此条件而拍摄，也仅仅是图片的中心完全垂直。为了正射纠正此图像，必须另外获得地形高度信息。航空图像中的对象缺乏准确的高度信息以及用于确定正射纠正图像的三角测量过程可导致这些图像的不准确度高达数十米。可通过拍摄重叠图像且比较从来自相同航空相机的后续图像获得的相同表面来改进准确度。但仍然存在所获得准确度对成本的限制。

此外，需要为导航***和类似***中使用的数字地图数据库收集“垂直”道路信息，例如速度限制、方向路标等等。在此应用中，术语“水平”数据或信息对应于具有平行于地球表面的表面的对象。术语“垂直”数据或信息对应于定位于地球表面上且可以平行于地球表面的观察轴观察的对象。垂直道路信息无法从典型的俯视航空或卫星图像获得。当今，可通过分析和解译由移动收集装置收集的水平图片图像和其它数据来获得垂直道路信息。作为基于陆地的车辆(例如汽车或货车)的移动测绘车辆用于收集移动数据以增强数字地图数据库。增强的实例是交通标志、路线标志、交通灯、展示街道名称的街道标志灯的位置。

移动测绘车辆具有许多相机，可能其中一些是立体照像的且其全部是经准确地理定位的，因为所述货车上载有精密GPS和其它位置与定向确定设备(例如，惯性导航***—INS)。在道路网上行驶时，捕获经地理编码的图像序列。经地理编码意味着通过GPS接收器且可能通过INS计算的位置且可能还有与图像相关联的航向均联系到图像的元数据。

移动测绘车辆记录对象(例如，建筑物或道路表面)的一个以上图像序列，且对于一图像序列的每一图像，地理坐标参照系中的地理位置是连同图像序列相对于所述地理位置的位置和定向数据一起确定的。具有对应的地理位置信息的图像序列将称为经地理编码的图像序列。也可同时地且以类似的地理编码方式通过其它传感器收集其它数据。

如果在数字地图数据库中，需要水平和垂直数据两者来支持导航应用或类似应用，那么与所述数据相关的地理位置应准确。然而，对应于从航空图像获得的水平数据的所确定地理位置并不总是与对应于从移动数据图像获得的垂直数据的所确定地理位置匹配。经解译的地理位置不同，因为使用了两个不同的数据源，其通过不同的工具分析和解译。这可在来自所述两个数据源的信息将集成到相同的数字地图数据库中的情况下导致不正确的数据放置或解译。另外，这将在导航***或类似***中同时显示水平与垂直数据两者的情况下导致混淆情形。此外，两种类型数据源的使用消极地影响了数字地图数据库的制作成本。

正射纠正图像使我们能够丰富导航***的功能性。可从正射纠正图像准确确定道路和对应车道的尺寸和地理位置。关键是以具成本效率的方式产生用于导航***的数据库。正射纠正图像的使用可促进安全性且保护车辆及其乘客免于遭受不期望的事件，例如在错误的车道上行驶或驶离道路。通过组合车辆的GPS位置与道路表面的地理位置，可确定车辆相对于道路表面的位置，且只要驾驶员接近道路或车道边界或当驾驶员在错误车道上行驶时便可通知驾驶员。

定义：

坐标：指定一点在n维空间中的位置的n个数字的序列中的一个数字；

坐标转换：基于一对一关系从一个坐标参照系向基于相同数据的另一坐标参照系的坐标改变；

坐标参照系：通过数据与现实世界相关的坐标系；

坐标系：用于指定如何向点指派坐标的数学规则的集合；

数据：定义一坐标参照系的原点位置、比例和定向的参数或参数集合；

椭圆坐标系(大地坐标系)：通过与一个或一个以上地理坐标参照系相关联的大地纬度、大地经度和(三维情况下)椭圆体高度来指定位置的坐标系；

地理坐标参照系：使用椭圆坐标系且基于接近地球形状的椭圆体的坐标参照系；

地图投影：从一椭圆坐标系到一平面的坐标转换；

正射纠正视图：一点的从一所选参照表面沿着所述点中垂直于所述表面的线观察的视图；

投影坐标参照系：通过应用地图投影且使用笛卡儿(Cartesian)坐标系从二维地理坐标参照系导出的坐标参照系。

发明内容

本发明试图提供一种产生正射纠正瓦片的改进方法。

根据本发明，所述方法包括：

检索借助于陆地用相机获得的源图像序列；

检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆上所述相机的位置与所述移动车辆的预定义位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述预定义位置的实际位置的可变位置参数；

检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；

借助于对应位置数据和定向数据转换源图像以获得所述正射纠正瓦片和对应的元数据，所述元数据定义所述正射纠正图像中像素坐标向所述地理坐标参照系中的位置的转换。

本发明是基于在地球表面上行驶的移动测绘车辆用陆地用相机记录表面收集的地理位置图像序列的认识。所述图像序列中的一些包含车辆前方的道路。大体上，车辆的行驶方向大致平行于车辆前方道路的表面。此外，相机相对于车辆且因此相对于道路表面的位置和定向已知。借助于GPS接收器和惯性测量装置(例如陀螺仪)确定车辆的位置和定向。所有位置和定向信息使我们能够借助于三角法将源图像转换为正射纠正瓦片，其表示准确近似一正射纠正视图的视图。根据本发明的正射纠正视图对应于以垂直于预定义平面或表面的观察轴从上方看的视图。正射纠正瓦片是其中图像中的每个点都好像是从正上方观看的图像。

由于陆地用相机与记录的道路表面之间的距离有限，且借助于车载定位***(例如，基于GPS的接收器)和可能另外的位置与定向确定设备而准确知道相机的地理位置，因此可准确确定每一正射纠正瓦片的地理位置。这些正射纠正瓦片使我们能够通过基于存储在元数据中的对应地理位置叠加正射纠正瓦片而获得一道路段的准确的地理定位正射纠正镶嵌。本发明的正射纠正镶嵌使我们能够捕获无法从一单个正射纠正瓦片捕获的水平道路信息，例如高速公路的车道数目或相应车道的宽度。这减少了各个源图像的解译的成本且减少了由于源之间的差异误差引起的混淆的可能性。可容易解译的道路信息包含：车道信息、道路标志(位置和属性)、车道连接性属性以及道路中心线。

在又一实施例中，所述方法进一步包括：

依据与所述源图像相关联的所述位置和定向数据而估计对应于地球表面的平面；以及

使用所述平面进行转换以转换源图像而获得所述正射纠正瓦片。所述位置和定向数据使我们能够确定车辆下方的道路表面的位置和定向。这使我们能够估计源图像中所见的道路表面的平面。随着道路的斜率逐渐改变，车辆下方道路表面的平面可用作对源图像中所见的车辆前方道路表面的近似。源图像序列以及相关联的位置和定向数据使我们能够选择与当车辆位于先前捕获的源图像中所见的道路表面时捕获的源图像相关联的位置和定向数据。以此方式，可准确估计源图像中所见的道路表面的位置和定向，从而使我们能够改进正射纠正瓦片的准确度。

在本发明的又一实施例中，正射纠正瓦片对应于相对于陆地用相机或移动测绘车辆具有预定义位置的预定义水平区域。此特征使我们能够限制源图像的将在正射纠正瓦片中使用的区域，其减少了获得正射纠正瓦片需要的所要处理能力。另一优点在于所有正射纠正瓦片可具有相同分辨率，其非常有助于正射纠正镶嵌的产生，因为来自相同相机的正射纠正瓦片可立即叠加而不用任何缩放。

在本发明的又一实施例中，正射纠正瓦片包括像素，且转换源图像包含：

确定所述源图像中对应于所述正射纠正瓦片的像素的至少一个像素；

从所述源图像中的所述至少一个像素的值确定所述正射纠正瓦片的所述像素的值。此特征使实践本发明的工程师能够高效地确定正射纠正瓦片中的像素的值。首先，使用正射纠正瓦片中的像素的位置计算在源图像中的对应位置。其次，确定正射纠正瓦片中的像素的值。所述值可为源图像中位置最靠近源图像中所计算位置的像素的副本。然而，所述值也可为源图像中邻近像素的平均值或基于源图像中的对象辨识的值。

在本发明的又一实施例中，所述预定义正射纠正瓦片的形状是矩形。此特征使我们能够获得具有相同大小的正射纠正瓦片，其进一步改进了正射纠正瓦片的对准以获得正射纠正镶嵌。可通过对在两个图像中不同地定位的相同对象进行叠加或匹配来对准正射纠正瓦片。

在本发明的实施例中，通过安装于在地球表面上移动的车辆上的相机而获得所述源图像序列，所述定向数据包含与所述车辆的经定义定向与所述车辆的行驶方向之间的角度具有关系的可变定向参数。此特征使我们能够考虑由于车辆的悬挂***而引起的相机相对于道路表面的倾斜和横摇。这使我们能够准确执行从源图像到正射纠正瓦片的转换，这又使我们能够容易叠加正射纠正瓦片以便获得正射纠正镶嵌。

在本发明的实施例中，通过安装于在地球表面上移动的车辆上的相机而获得所述源图像序列，所述定向数据包含与由道路表面定义的平面与水平面之间的角度具有关系的可变定向参数。所述水平面对应于由地理坐标参照系定义的近似于地球形状的形状。这些特征使我们能够针对道路斜率和道路横向坡度进行校正，这使我们能够获得道路表面的更准确的正射纠正视图，其中每一像素的观察轴与重力向量重合，或垂直于地球的近似平面。在又一实施例中，可变定向参数与由所述移动车辆下方的所述道路表面定义的平面与水平面之间的角度具有关系。在此实施例中，考虑了由于弹簧而引起的汽车的移动。可变定向参数可由汽车纵摇和汽车横摇定义。这些参数使我们能够更准确地产生正射纠正瓦片。

在本发明的实施例中，转换包含：

校正所述源图像中的几何失真；

对所述相机的焦点执行3D旋转以便获得垂直图像；

将所述垂直图像转换为正射纠正瓦片。

这些特征使我们能够首先针对所有恒定变化进行校正且随后针对所有可变变化进行校正。

本发明的又一方面涉及一种用于产生正射纠正镶嵌的方法，其包括：

借助于根据本发明的产生正射纠正瓦片的方法从借助于陆地用相机获得的源图像产生正射纠正瓦片和对应的元数据；

从所述正射纠正瓦片和对应的元数据产生所述正射纠正镶嵌和元数据。

在本发明的实施例中，产生所述正射纠正镶嵌包含：

从位置数据定义用于所述正射纠正镶嵌的投影坐标参照系；

借助于所述投影坐标参照系和对应于所述正射纠正瓦片的元数据确定所述正射纠正镶嵌中的正射纠正瓦片区域；

将正射纠正瓦片的所述确定区域的像素转换为正射纠正镶嵌的像素。

使用此实施例使我们能够产生正射纠正镶嵌。起初，定义用于正射纠正镶嵌的投影坐标参照系。投影坐标参照系定义正射纠正镶嵌的像素的地理位置。随后，对于正射纠正镶嵌中的每一像素或区域，确定对应的正射纠正瓦片和区域，且使用正射纠正瓦片中所述区域的值来获得正射纠正镶嵌中的对应值。以此方式，正射纠正镶嵌是作为若干正射纠正瓦片的至少若干部分的镶嵌。

本发明的又一方面涉及：一种处理器可读存储媒体，其承载通过根据权利要求书所述的方法获得的正射纠正镶嵌；一种计算机程序产品，其包括当加载到计算机布置上时允许所述计算机布置执行根据权利要求书所述的方法中的任一者的指令；以及一种处理器可读媒体，其承载当加载到计算机布置上时允许所述计算机布置执行根据权利要求书所述的方法中的任一者的计算机程序产品。

本发明的又一方面涉及一种从通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的至少一个基于陆地的图像序列的源图像收集位置准确的水平信息和位置准确的垂直信息两者的方法，所述方法包括：

检索源图像；

检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；

检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；

从所述源图像检索水平信息和对应位置，其中通过借助于与所述源图像相关联的位置数据和定向数据至少部分转换至少部分包括所述水平信息的源图像以获得所述水平信息的正射纠正表示而获得所述位置，所述正射纠正表示包括图像数据和元数据，所述元数据定义所述正射纠正表示的像素坐标向所述地理坐标参照系中的位置的转换；

从至少一个源图像检索垂直信息且借助于与所述源图像相关联的所述位置数据和定向数据定位所述垂直信息的位置；以及

存储所述垂直和水平信息以及相关联位置以用于地图数据库。

本发明的此方面使我们能够从一个数据源检索水平信息和垂直信息两者。对于所述两种类型的信息，存在至少部分包括所述信息的一个源图像。此图像使得可准确确定水平信息以及垂直信息的地理位置。垂直信息(例如，标志杆)通常在一个图像中可见，而水平信息(例如，十字路口之前的车道)在若干图像上延伸。因此，可需要来自一个以上源图像的像素以及位置和定向信息以获得水平信息的准确位置。水平和垂直信息的准确地理位置使得能够准确构造一透视图像，所述图像具有垂直数据(例如道路标志)和水平数据(例如中心线)两者，其全部具有其相应位置数据的相同参照平面。使用仅一个数据源来确定水平数据和垂直数据两者。由于所有数据是从一个数据源提取，因此可获得非常准确的相对位置测量值。此外，与从航空图像提取水平数据和从基于陆地的图像提取垂直数据的成本相比，提取垂直和水平数据的成本较低。

本发明的又一方面涉及一种从通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的至少一个源图像收集位置准确的水平信息和位置准确的对象信息两者的方法，其中所述对象可见地附接到地面的附接点在所述至少一个源图像的至少一个像素中可见，所述方法包括：

检索所述至少一个源图像；

检索与所述至少一个源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；

检索与所述至少一个源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；

从所述至少一个源图像检索水平信息和在所述地理坐标参照系中的对应位置，其中通过借助于与所述至少一个源图像相关联的所述位置数据和定向数据确定关联于水平信息的至少一个源图像像素的正射纠正位置而获得所述位置；

从所述至少一个源图像检索对象信息；

确定对应于所述对象对地面的所述附接点的所述至少一个像素，且借助于与所述至少一个源图像相关联的所述位置数据和定向数据确定对应于所述对象对地面的所述附接点的至少一个像素在所述地理坐标参照系中的正射纠正位置；

存储所述对象信息和水平信息以及在所述地理坐标参照系中的相关联位置以用于地图数据库。

本发明的此方面使我们能够非常准确地导出水平信息和对象信息两者的地理位置以用于数字地图。借助于本发明，可准确确定对应于地面的像素的位置。因此，准确确定可与地面和对象两者相关联的像素的位置，且因此准确知道所述对象的位置。

可使用软件、硬件或软件与硬件的组合来实施本发明。当以软件实施本发明的全部或部分时，所述软件可驻存在处理器可读存储媒体上。适当的处理器可读存储媒体的实例包含软盘、硬盘、CD ROM、DVD、存储器IC等等。当***包含硬件时，所述硬件可包含输出装置(例如，监视器、扬声器或打印机)、输入装置(例如，键盘、指向装置和/或麦克风)以及与输出装置通信的处理器和与处理器通信的处理器可读存储媒体。处理器可读存储媒体存储能够对处理器进行编程以执行用于实施本发明的动作的代码。本发明的过程也可在可经由电话线或其它网络或因特网连接而接入的服务器上实施。

附图说明

下文将参看附图使用若干示范性实施例更详细论述本发明，其中

图1展示源图像转换为正射纠正瓦片的一般原理的侧视图；

图2展示源图像转换为正射纠正瓦片的一般原理的正射纠正视图；

图3展示立体图像对转换为两个正射纠正瓦片；

图4展示通过组合图3中的两个正射纠正瓦片而获得的正射纠正镶嵌；

图5展示一立体图像对序列的正射纠正镶嵌的组成的第一实例；

图6展示一立体图像对序列的正射纠正镶嵌的组成的第二实例；

图7展示移动测绘车辆和正射纠正瓦片的正射纠正视图；

图8是根据本发明的方法的示范性实施方案的方框图；

图9是用于实施正射纠正镶嵌产生器的示范性硬件***的方框图；

图10是移动测绘车辆的正射纠正视图；

图11是在道路上行驶的移动测绘车辆的侧视图；

图12是在道路上行驶的移动测绘车辆的后视图；

图13展示说明图像经过角度αX的3D旋转；以及

图14示意性展示水平信息和垂直信息的产生。

具体实施方式

图1展示源图像转换为正射纠正瓦片的一般原理的侧视图。相机或CCD相机202(图2中展示)中的图像传感器101记录一源图像序列。源图像表示通过陆地用相机记录的或多或少的垂直图像。源图像可为通过静态图片相机记录的静态图片序列，所述相机每当位移例如10米便被触发。包括图像传感器的相机具有视角α。视角α是通过相机的透镜的焦距102确定。视角α可在45°<α<180°的范围内。此外，相机具有观察轴103，其在视角的中心。在图1中，观察轴103平行于水平面104。图像传感器101垂直于观察轴103而安装。在此情况下，图像传感器101记录“纯”垂直源图像。如果进一步已知图像传感器相对于一水平面(例如，地球表面)的高度，那么由图像传感器101记录的图像可转换为表示所述水平面的正射纠正视图的经缩放版本的正射纠正瓦片。为了获得在水平方向上具有合适分辨率的水平图像，使用图像传感器的有限区域。图1展示图像传感器101的部分106，其对应于水平面中的部分108。正射纠正瓦片的最小可接受分辨率决定图像传感器与水平面中的最远点之间的最大距离。通过三角法，从陆地用相机检索的源图像可转换到任何虚拟平面。即使观察轴相对于水平面成一已知角度，也可从源图像获得正射纠正瓦片。

图2展示源图像转换为正射纠正瓦片的一般原理的正射纠正视图。观看角度α、观察轴218以及相机202之间的距离决定水平面的由图像传感器101记录的部分。原理上，当源图像转换为正射纠正瓦片时，对应于源图像的正射纠正瓦片具有三角形的形状。正射纠正瓦片的边界由参考符号210指示。然而，本发明特别关注获得道路表面的正射纠正镶嵌(mosaic)以用于收集导航***或类似***中使用的数字地图的属性。应注意在原理上，正射纠正瓦片已经是正射纠正镶嵌，然而在当前描述中，正射纠正镶嵌是若干正射纠正瓦片的组成物。导航***和类似***必要的属性和准确度的收集要求正射纠正镶嵌的预定义最小分辨率。这些要求限制了水平面的可从源图像获得的部分。相机焦点208相对于水平面的位置与水平面区域的边界之间的最大距离206决定了分辨率。此外，实际上，最大距离206可受到在特定道路上行驶时两辆汽车之间的最小距离的限制。通过如此限制最大距离，其具有的优点在于在多数情况下，正射纠正瓦片中的道路表面不包括在移动测绘车辆前方行驶的汽车的背面。此外，最大距离206与最小距离204之间的差决定了相机的后续图像记录之间的最大可允许距离。这可限制车辆的最大行驶速度。水平面的矩形对应于在源图像中近似具有梯形形状的区域。在一实施例中，正射纠正瓦片210对应于16m宽度220且16m长度222的区域。为进一步处理正射纠正瓦片，有利的是具有矩形形状的正射纠正瓦片。

在转换源图像以获得每一像素216的正射纠正瓦片的实施例中，在具有距观察轴的距离214和距焦点208的距离204的情况下，通过下文将更详细描述的角度测量法来确定源图像中的对应位置。

图3在上部侧展示一对立体图像。在下部侧展示两个对应的经转换的正射纠正瓦片。可通过首先借助于三角法或三角测量确定源图像中的对应位置且其次复制源图像中最近像素的值来导出正射纠正瓦片中一像素的值。也可通过在四个或9个最近像素之间的内插来获得所述值。在使用对象辨识工具来分析源图像的情况下，可在源图像中检测道路表面区域以及路边或路肩。在所述情况下，所述值可对应于指派给对应区域的值。虚线302和304指示源图像的用于获得正射纠正瓦片的区域。在优选实施例中，正射纠正瓦片是矩形。立体相机的使用将导致具有相对大的重叠区域的两个正射纠正瓦片序列。图4展示通过组合图3中的两个正射纠正瓦片而获得的正射纠正镶嵌。所述组合可基于相应正射纠正瓦片的地理位置，或在正射纠正瓦片的叠加和匹配之后。正射纠正瓦片的地理位置可从来自移动车辆的GPS位置、汽车的行驶方向或定向、移动车辆上的相机的位置以及移动车辆上的相机的定向导出。正射纠正镶嵌的左区域402和右区域406分别是从图3中的左正射纠正瓦片和右正射纠正瓦片获得。正射纠正镶嵌的中间区域404可为左正射纠正瓦片或右正射纠正瓦片的对应区域的区域的副本。中间区域404也可为左正射纠正瓦片和右正射纠正瓦片中的对应像素值的平均值。使用前方的一立体相机或两个相机的优点在于可获得较大/较宽的正射纠正镶嵌，因为两个相机可在比所述相机中仅一者大的角度上记录图像。类似地，使用与侧面观察相机组合的正面观察相机使我们能够从非常宽的道路或有人行道的街道获得准确的正射纠正镶嵌。

应注意，在以上对本发明的描述中，水平面对应于道路表面。之所以这么做，是为了简要描述本发明的将垂直图像转换为水平或正射纠正图像的一般原理。这在从源图像的图像空间到正射纠正图像的图像空间存在一对一关系时是可能的。这使我们能够将源图像的一像素投影于正射纠正图像的一像素上。然而，在现实中道路表面并不对应于近似于地球形状的椭圆体。道路表面可相对于所述椭圆体表面具有任何高度，且可相对于所述椭圆体具有一斜率。下文将描述本发明的这些方面。由MMS捕获的位置和定向数据使我们能够在地理坐标参照系中准确确定相机的位置和定向。此外，位置和定向数据使我们能够准确确定MMS的行驶方向的向量。通过假定道路表面平行于所述向量，知道道路表面在地理坐标参照系中的3D位置。以上给出的实例揭示了如何将源图像投影于近似于道路表面的平面上。所属领域的技术人员知道如何将在地理坐标参照系中具有已知3D位置的道路表面投影于一正射纠正图像上，所述图像具有定义所述图像的投影坐标参照系的元数据。

下文将借助于示范性实施方案更详细描述根据本发明的方法。借助于如图10所示的移动测绘车辆1000收集输入数据。移动测绘车辆1000配备有定位传感器1002(例如，GPS接收器和可能另外的惯性传感器和推算定位传感器)和定向传感器1004(例如，陀螺仪和距离测量单元)。这些传感器是通常已知的。通过这些传感器可非常准确地确定车辆在地理坐标参照系中的位置和定向。此外，移动测绘车辆配备有若干相机。两个相机1006可安装在汽车的前方以记录车辆前方的图像。这两个相机1006可经布置以产生立体图像对的序列。此外，相机1008可安装在左侧和右侧以获得汽车的侧视图，且相机1010可安装在车辆的后部以记录从车辆后部所见的现实世界。如果相机安装在车辆的所有侧面上，那么可获得围绕车辆的所有方向上的连续视图。在前方和在后部的相机使我们能够获得相同道路表面但来自相反方向的两个图像序列。这使我们能够从相同道路表面获得两个源图像序列，其可用于消除或检测表示相同道路表面的正射纠正瓦片中的误差。图像序列可为具有预定义帧速率的视频流。在一有利实施例中，相机是静止数字图片相机，每当车辆已行进一预定距离其便经触发以记录一图片。在一实施例中所述预定距离为10米。

将用于产生正射纠正镶嵌的输入数据可划分为两个群组。第一数据群组是在用于每一相机的整个移动测绘服务(MMS)会话过程中的恒定参数。其与相机在车辆的局部坐标系中的位置、校准和定向相关。

恒定参数为；

cam_dist＝从GPS接收器中心到相机焦点的距离；

cam_pos_rot＝相机位置相对于车辆的长度轴的旋转；

cam_look_angle＝相机观察方向的基底旋转；

cam_dist_params＝在源图像的几何失真校正中使用的一组参数；

cam_rot_x＝在角度X中的局部相机旋转；

cam_rot_y＝在角度Y中的局部相机旋转；

cam_rot_z＝在角度Z中的局部相机旋转；

cam_f＝相机焦点的焦距；

cam_dpx＝CCD图像传感器的分辨率(像素/米)；

cam_dpy＝CCD图像传感器的分辨率(像素/米)；

cam_h＝相机在道路表面上方的高度；

in_bmp_width＝CCD传感器的一行中的像素数目；

in_bmp_height＝CCD传感器的一列中的像素数目；

trans_bmp_width＝正射纠正瓦片的一行中的像素数目；

trans_bmp_height＝正射纠正瓦片的一列中的像素数目；

trans_real_width＝水平面中正射纠正瓦片的宽度大小；

trans_real_height＝水平面中正射纠正瓦片的深度大小；

trans_min_z＝距相机焦点208的可见像素的最小距离；

out_width＝正射纠正镶嵌的一行中的像素数目；

out_height＝正射纠正镶嵌的一列中的像素数目；

out_resolution＝正射纠正镶嵌的分辨率。

可变参数为：

car_lat＝车辆在WGS84坐标系中的纬度；

car_lon＝车辆在WGS84坐标系中的经度；

car_heading＝车辆航向角；

car_roll＝车辆的横摇；

car_cross_fall＝道路的横向坡度；

car_pitch＝车辆的纵摇；

car_slope＝道路的斜率；

in_bmp_bytes＝表现源图像的字节。

WGS84坐标系是世界大地坐标系(WGS)，其定义地球的固定全球参照系，用于大地测量学和导航。最新修正是日期为1984年的WGS84，其有效期将到约2010年。WGS84是地理坐标参照系。在原理上本发明可用于任何地理坐标参照系。

正射纠正镶嵌的产生是基于三个阶段。第一阶段的主要目标是校正源图像中的几何失真。几何失真可为相机中的透镜***的光学象差以及相机的光敏元件(例如，CCD传感器)中的不规则性。第二阶段是将经校正源图像转换为正射纠正瓦片，且最后阶段是从正射纠正瓦片产生正射纠正镶嵌，以便获得特定道路段的道路表面的地图。

在第二阶段中，经校正源图像首先经3D处理以获得中间图像，其对应于车辆的垂直于地面平面的图像。在此阶段中，使用恒定定向参数cam_rot_x、cam_rot_y、cam_rot_z和cam_f以及恒定位置参数cam_dpx和cam_dpy来处理经校正图像以获得中间图像。使用通常已知的角度测量公式来执行3D处理。在此阶段中以角度cam_rot_x、cam_rot_y、cam_rot_z、分辨率cam_dpx和cam_dpy以及焦距cam_f来对焦点执行图像3D旋转。

图像3D旋转可借助于以下等式执行：

$\left[\begin{array}{c}{X}_{\mathrm{NEW}}\\ Y_{\mathrm{NEW}}\\ A\\ B\end{array}\right]=\left[\begin{array}{cccc}{\cos \mathrm{\&alpha;}}_Y& 0& \sin {\mathrm{\&alpha;}}_Y& 0\\ 0& 1& 0& 0\\ -\sin {\mathrm{\&alpha;}}_Y& 0& \cos {\mathrm{\&alpha;}}_Y& 0\\ 0& 0& 0& 0\end{array}\right]\&CenterDot;\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& \cos {\mathrm{\&alpha;}}_X& -\sin {\mathrm{\&alpha;}}_X& 0\\ 0& \sin {\mathrm{\&alpha;}}_X& \cos {\mathrm{\&alpha;}}_X& 0\\ 0& 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{cccc}{\cos \mathrm{\&alpha;}}_Z& -\sin {\mathrm{\&alpha;}}_Z& 0& 0\\ \sin {\mathrm{\&alpha;}}_Z& \cos {\mathrm{\&alpha;}}_Z& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{c}{X}_{\mathrm{FC}}\\ Y_{\mathrm{FC}}\\ f\\ 1\end{array}\right]$

其中：X_FC＝距图像中心的X距离，

Y_FC＝距图像中心的Y距离，

f＝以像素数为单位的焦距(cam_f)，

α_x＝cam_rot_x，

α_Y＝cam_rot_y，

α_Z＝cam_rotz，

X_NEW＝距3D旋转图像的中心的X距离，

Y_NEW＝距3D旋转图像的中心的Y距离，

Y_FC＝距图像中心的Y距离。

图13展示说明经过角度α_x的旋转。源图像1302中的像素P(X_FC，Y_FC)将变为中间图像1304中的像素P(X_NEW，Y_NEW)。为了获得准确的正射纠正瓦片，应以大约0.1度的精度确定cam_rot_x、cam_rot_y和cam_rot_z。以所述精度安装相机几乎不可能。因此，在安装相机之后确定固定校准参数cam_rot_x、cam_rot_y和cam_rot_z，且用于计算中间图像。

随后，中间图像从垂直图像转换为正射纠正瓦片。在此特殊情况下，“垂直”意味着图像垂直于地面平面或车辆的行驶平面。

首先，通过以下等式确定正射纠正瓦片的分辨率：

$\mathrm{res}\_x=\frac{\mathrm{trans}\_\mathrm{real}\_\mathrm{width}}{\mathrm{trans}\_\mathrm{bmp}\_\mathrm{width}},$

$\mathrm{res}\_y=\frac{\mathrm{trans}\_\mathrm{real}\_\mathrm{height}}{\mathrm{trans}\_\mathrm{bmp}\_\mathrm{height}}.$

其次，使用关于汽车的可变转换参数car_roll、car_pitch、car_slope、car_cross_fall来计算局部图片角度。参数car_slope和car_cross_fall的值定义在地理坐标系中道路表面相对于近似于地球表面的椭圆体表面的角度，而参数car_roll和car_pitch的值取决于车辆的加速度/减速度、车辆的速度和道路的曲率、以及道路的表面。图11展示移动测绘车辆1100的侧视图以解释某些转换参数。恒定转换参数cam_rot_x 1102由在车辆保持静止的情况下相机1106的观察轴1104与车辆下方的道路表面1108之间的角度定义。在图11中，假定在车辆保持静止时车辆的底板平行于道路表面。可变定向参数car_pitch是车身的底板与水平面116之间相对于行驶方向的实际角度。应注意，根据本发明，水平面对应于由地理坐标参照系定义的近似于地球形状的表面。在上文所述的实施例中，假定道路表面是在所述近似的地球形状上。然而，情况将通常并非如此。此外，为了使源图像能被准确转换成正射纠正瓦片，必须考虑car_slope 1114。car_slope 1114是在行驶方向上道路表面1108相对于水平面1116的倾斜角度。在行驶期间，car_slope和car_pitch的值由于车辆的加速和减速而不同。差1110对应于车辆在宽度轴1112上的旋转。此旋转是由车辆1100的加速和减速引起。所属领域的技术人员知道可如何从GPS、惯性***和距离测量仪器(DMI)捕获的位置和定向数据直接导出car_slope 1114。可通过对车辆的质量-弹簧特性进行建模的函数来近似差1110。对此函数的输入是车辆航向方向上的加速度，其可从DMI***获得。此外，可从car_slope 1114与车辆底板的实际定向之间的差导出car_pitch。

图12展示移动测绘车辆1200的后视图以解释某些其它转换参数。恒定转换参数cam_rot_z 1202由在车辆保持静止的情况下相机1206的源图像的水平线1204与车辆下方的道路表面1208之间的角度定义。在图12中，假定在车辆保持静止时车辆的底板平行于道路表面。可变定向参数car_roll是车身的底板与水平面1216之间垂直于行驶方向的实际角度。此外，为了使源图像能被准确地转换成正射纠正瓦片，必须考虑car_cross_fall 1214。car_cross_fall或倾角1214是由道路1208的两侧相对于水平面1216的标高之差定义。通常道路的倾角帮助车辆更容易地沿一曲线前进。在行驶期间，car_roll和car_cross_fall的值由于车辆的倾斜而不同。差1210对应于车辆在车辆1200的长度轴1212上的旋转。此旋转是由以弹簧***产生弯曲而引起。所属领域的技术人员知道可如何从GPS、惯性***和距离测量仪器(DMI)捕获的位置和定向数据直接导出car_roll。可通过对车辆在弯路中的质量-弹簧特性进行建模的函数来确定差1210。对此函数的输入是车辆在垂直于车辆航向方向的加速度，其可从惯性导航***获得或可从车辆的行进路线和速率(可从DMI***获得)获得。以此方式，可通过从car_roll减去差1210而确定倾角1214。对于直的道路，可通过在50米范围取car_roll的平均值来近似car_cross_fall 1214。以此方式，可减少由于道路表面的颠簸引起的汽车横摇所导致的正射纠正图像上的投影误差。所属领域的技术人员将认识到用于导出车辆相对于车辆下方道路表面的横摇的其它直接解决方案，例如同时测量车辆弹簧的长度。

以下等式用于从可变转换参数确定局部图片角度：

Δroll＝car_roll-car_cross_fall，

Δpitch＝car_pitch-car_slope，

local_rot_x＝Δroll·sin(cam_look_angle)+Δpitch·cos(cam_look_angle)，

local_rot_z＝Δroll·cos(cam_look_angle)-Δpitch·sin(cam_look_angle)，

在以上给出的等式中，参数car_roll、car_cross_fall、car_pitch和car_slope是在相同的时刻确定，且与一源图像(或一立体对情况下的多个图像)相关联。这可在移动测绘车辆正在相对平坦的道路上行驶的情况下进行。在所述情况下，移动测绘车辆下方的car_cross_fall和car_slope大致类似于源图像中道路的car_cross_fall和car_slope。参数Δpitch 1110对应于车辆在宽度轴1112上的旋转角度，且参数Δroll 1210对应于车辆在长度轴1212上的旋转角度。

然而在移动测绘车辆正在不平的道路表面(例如，老城市和建造在山上的城市中的桥)上行驶的情况下，移动测绘车辆通过源图像记录的道路表面航向的car_cross_fall和car_slope可显著不同于在记录源图像的时刻移动测绘车辆下方的道路表面的car_cross_fall和car_slope。在所述情况下，可通过使用在移动测绘车辆处于道路表面上对应于源图像中将用于获得对应正射纠正瓦片的区域的位置处的时刻登记的car_cross_fall和car_slope来改进源图像向正射纠正瓦片的转换。在此情况下，为获得正射纠正瓦片而借助于对应位置数据和定向数据对源图像的转换使用在不同时刻获得的定向数据。如果例如使用静态图片相机来获得源图像且每10米便以对应位置数据和定向数据记录一图片且正射纠正瓦片对应于在移动测绘车辆前方从5米直到25米的道路表面，那么对于转换可使用两个后续源图像的car_slope和car_cross_fall。甚至可使用两个后续源图像的car_slope和car_cross_fall的平均值来近似车辆前方的car_slope和car_cross_fall。以此方式，定义近似于道路表面的平面在地理坐标参照系中的位置和定向，这使我们能够将所述平面正确投影于正射纠正瓦片上。

图11和12阐明了为了获得正射纠正瓦片，依照与源图像相关联的位置和定向数据而对源图像中所见的对应于地球表面的平面做出估计。位置和定向数据使我们能够确定车辆下方的道路表面的位置和定向。对于车辆下方的道路表面的对应在一实施例中是对源图像中所见的车辆前方的平面的近似。随着道路的斜率逐渐改变，这在多数情况下是良好近似。在另一实施例中，与在车辆位于先前捕获的源图像中所见的道路表面处时捕获的源图像相关联的位置和定向数据用于近似道路表面的平面。以此方式，可更准确地估计在源图像中所见的道路表面的位置和定向，从而使我们能够改进正射纠正瓦片的准确度。

随后针对正射纠正瓦片210的每一像素216，确定虚拟水平面中的距相机焦点208的距离212(pt_dist_z)和距相机观察轴218的距离214(pt_dist_x)。res_x、res_y、trans_min_z、trans_bmp_width和trans_bmp_height的值。

借助于以下等式计算垂直图像的像素的Y坐标(src_temp_y)和X坐标(src_temp_x)：

$\mathrm{temp}\_x\_\mathrm{rot}=\arctan \left(\frac{\mathrm{cam}\_h\&CenterDot;(1-\frac{\mathrm{cam}\_f}{\mathrm{pt}\_\mathrm{dist}\_z})}{\mathrm{pt}\_\mathrm{dist}\_z}\right)+\mathrm{local}\_\mathrm{rot}\_x$

src_temp_y＝cam_f·tan(temp_x_rot).

$\mathrm{src}\_\mathrm{temp}\_x=\frac{\mathrm{cam}\_f\&CenterDot;\mathrm{pt}\_\mathrm{dist}\_x}{\mathrm{pt}\_\mathrm{dist}\_z},$

其中在CCD上src_temp_y和src_temp_x的单位是米。可变src_temp_x定义CCD上距图像中心的以米为单位的X轴距离。借助于src_temp_y、src_temp_x和local_rot_z的值，CCD上以米为单位的X、Y源坐标(src_x_m，src_y_m)可用以下等式确定：

src_x_m＝src_temp_x·cos(local_rot_z)-src_temp_y·sin(local_rot_z)

src_y_m＝src_temp_x·sin(local_rot_z)+src_temp_y·cos(local_rot_z)

最终，在本发明的实施例中，垂直图像的对应于正射纠正瓦片的一像素的位置的像素的图片坐标通过以下等式确定：

src_x_px＝in_bmp_witdh/2+floor{src_x_m*cam_dpx)

src_y_px＝in_bmp_height/2+floor{src_y_m*cam_dpy)

在本发明的实施例中，将来自中间垂直图像的(src_x_px，src_y_py)像素的RGB值复制到正射纠正瓦片的(dst_x，dst_y)像素中。如果在中间垂直图像中没有正射纠正瓦片的像素的对应像素，那么正射纠正瓦片中的像素将获得一预定义值。优选地，所述预定义值对应于一黑像素(＝RBG(0，0，0))。在此实施例中，正射纠正瓦片的像素的值是中间垂直图像中的所确定对应像素的值的副本。

在另一实施例中，src_x_m和src_y_m的值可用于确定中间垂直图像中的四个最邻近像素。正射纠正瓦片中的像素的值可随后例如通过取所述四个值的平均值或通过内插而从所述四个最邻近像素的值导出。

图5展示一立体图像对序列的正射纠正镶嵌的组成的第一实例。图5中的正射纠正镶嵌是通过组合三个后续立体图像对502、504、506而获得。因此已使用六个图像来获得正射纠正镶嵌。某些像素值可从仅一个正射纠正瓦片获得。其它像素值可从一个以上正射纠正瓦片获得。在所述情况下当叠加正射纠正瓦片时，存在重叠区域503、505。存在获得重叠区域中的像素值的若干方法。像素值可从仅一个正射纠正瓦片获得，或像素值可例如通过取平均值而从所有重叠像素导出。

图6展示一立体图像对序列的正射纠正镶嵌的组成的第二实例。尽管在图5的实例中在车辆正在笔直向前行驶时获得后续图像，但在图6的实例中在车辆沿着道路中的弯路前进时获得后续图像。汽车的方向由602指示。图6展示四个后续的正射纠正瓦片604、606、608和610。从图6可见每一正射纠正瓦片的定向在正射纠正镶嵌中改变。可通过使用包括对应于每一图像的地理参照数据的元数据来适当叠加正射纠正瓦片，所述元数据描述从图像坐标系到地理坐标参照系的一对一关系。在图6中给出的实例中，正射纠正镶嵌的某些像素的值可从三个不同的正射纠正瓦片获得。由612和614指示的两个区域包括所述像素。

应注意，为了执行垂直到正射纠正瓦片的转换，不必具有如给定实例中所示的立体图像对。只要相机定向校准和位置测量是正确的且经转换道路点与汽车在同一平面中，正射纠正瓦片就是正确的。

为了从正射纠正瓦片获得正射纠正镶嵌，使用以下算法。首先产生一局部坐标投影。所述局部坐标投影可基于来自MMS收集的会话数据的地理参照数据。局部坐标投影也可由具有坐标的用户定义区域来定义，所述用户定义区域定义与地理坐标参照系中的地理位置的一对一关系。局部坐标投影定义正射纠正一像素在镶嵌中的位置与地理位置之间的关系。对于每个正射纠正瓦片，确定正射纠正瓦片在正射纠正镶嵌中的位置。首先，通过使用car_lon、car_lat x、y的值确定正射纠正镶嵌中的汽车位置。其次，通过使用与水平帧相关联的car_heading 702、cam_dist 704、cam_pos_rot 706、cam_look_angle 708、trans_min_z 710确定正射纠正瓦片700在正射纠正镶嵌中的基底位置712。图7展示移动测绘车辆以及正射纠正瓦片和对应参数的俯视图。应注意，图7中相机相对于车辆的定向对于获得道路表面的正射纠正镶嵌来说并非理想的。当前的图7阐明了相应参数的定义。在图7将展示其中相机安装在车辆前方且记录车辆前方的路面的相机理想定向的情况下，某些参数将不清楚。参数car_heading是汽车的行驶方向701与预定义参照方向703之间的角度。预定义参照方向703可为指向北极的方向。参数car_pos_rot 706由汽车方向701与线704之间的角度定义。线704对应于参数cam_dist，其为相机与汽车的位置x，y之间的距离。位置x，y对应于通过GPS接收器获得的汽车的位置。参数cam_look_angle 708由相机的观察轴710与汽车方向701之间的角度定义。

第三，通过使用与正射纠正瓦片相关联的trans_bmp_width、trans_bmp_height、trans_real_width和trans_real_height的值来确定正射纠正瓦片的隅角在正射纠正镶嵌中的位置。第四，选择有至少一个属于由正射纠正镶嵌定义的区域内的像素的正射纠正瓦片，且通过使用在第三动作中确定的隅角的位置以及参数out_width、out_height和out_resolution来确定正射纠正镶嵌中对应于属于由正射纠正镶嵌定义的区域内的像素区域的像素区域。借助于所确定的区域，产生用于正射纠正镶嵌的镶嵌，其中每一片镶嵌均表示一整个正射纠正瓦片或一正射纠正瓦片的至少一部分。最后，使用若干片镶嵌来建立正射纠正镶嵌。每一片镶嵌对应于一正射纠正瓦片的区域。本发明的高效实施方案是在局部投影(例如，高斯-克里格(Gauss-Krieger)投影，其中基线经度设定为行进路线的中间)中正射纠正单个瓦片时。正射纠正瓦片的所述区域的像素可在正射纠正瓦片的适当线性转换之后使用以获得正射纠正镶嵌的像素值。所述线性转换由向例如WGS-84的全球坐标系的给定局部投影的转换参数定义。为加速转换而假定线性，此假定引入的潜在误差比像素大小低若干因数。

经由正射纠正瓦片的镶嵌获得的正射纠正镶嵌使得能够容易地解译至少以下内容：车道信息、水平标志、车道连接性属性、道路线和道路宽度。

图8是根据本发明的方法的示范性实施方案的方框图。在道路上行驶的移动测绘车辆借助于若干相机记录车辆的周围环境，尤其是道路表面。此外，同时记录移动测绘车辆的地理位置。所述记录是在移动测绘***3D会话期间执行。首先将记录的数据供应到执行垂直到水平转换的转换过程。术语垂直意味着相机的观察角度不限于平行于道路表面，其意味着观察角度可为不垂直于道路表面的任何合理的观察角度，只要其至少部分涵盖道路表面即可。转换过程从移动测绘***3D会话检索位置和定向数据以借助于MMS定位***和算法产生恒定和可变参数。

此外，通过MMS数据读取器检索记录的图像序列。将图像序列连同恒定和可变参数一起供应到一转换步骤，其将垂直相机图像转换为经地理上定向的正射纠正瓦片。在一实施例中，将正射纠正瓦片存储为图像序列，例如所属领域的技术人员已知的视窗*.avi格式，且将x坐标、y坐标和高度坐标连同图像的定向一起存储在XYH帧位置和定向文件中，其形成与正射纠正瓦片相关联的元数据。

将包括正射纠正瓦片的AVI帧文件以及包括XYH帧位置和定向文件的元数据供应到镶嵌产生过程，其处理供应的文件以获得正射纠正镶嵌。通过将若干正射纠正瓦片组合为单个合成图片而获得正射纠正镶嵌。首先，通过AVI和XYH读取模块检索AVI和XYH帧文件。其次，将在XYH文件中发现的地理信息转换到投影坐标系，且确定从正射纠正瓦片的像素到正射纠正镶嵌的像素的转换。确定用于产生若干片正射纠正镶嵌的镶嵌。帧到响应镶嵌***模块计算来自对应AVI帧的相应若干片镶嵌的像素的值。且最后，保存模块组合所有片镶嵌以获得正射纠正镶嵌且将正射纠正镶嵌存储在存储器中。所述存储器可为任何处理器可读存储媒体，例如快闪存储器、RAM、光盘以及硬盘。应注意，使用正射纠正镶嵌可容易地基于每一有用的地理坐标参照系、投影坐标系或局部空间坐标系而产生地图。坐标系定义拟执行的转换。也可通过转换正射纠正镶嵌而非常容易地获得鸟瞰地图。

图14展示通过陆地用相机获得的源图像序列1401。源图像1400包括水平信息和垂直标志信息两者。在源图像序列1401下方展示的是相关联的正射纠正镶嵌1407。图像1400中的虚线梯形1404指示正射纠正瓦片1409的对应边界。源图像中的水平信息对应于具有中心线和边界线的道路表面1406。源图像1400中的垂直标志信息对应于指示限速80千米/小时的道路标志1410。使用根据本发明的方法来获得正射纠正瓦片1409。正射纠正瓦片1409具有相关联的位置信息以使工程师能够针对每一像素确定在坐标参照系中的对应相对和/或绝对位置坐标。

通过处理正射纠正瓦片1409以及从其它源图像产生的正射纠正瓦片而获得正射纠正镶嵌1407。此外，产生相关联的位置信息以使工程师能够针对正射纠正镶嵌1407的每一像素确定对应的相对和/或绝对位置坐标。所述相关联的位置信息可由正射纠正镶嵌1407的所有隅角的地理位置定义。在另一实施例中，所述相关联的位置信息可由图像相对于正射纠正镶嵌1407的预定义参照像素1408的地理位置的水平与垂直分辨率以及正射纠正镶嵌相对于预定义参照定向轴(未指示)的定向来定义。

从正射纠正镶嵌1407提取水平道路信息，且相对于正射纠正镶嵌1407的参照位置而确定相关联的位置。在一实施例中，将所提取的水平信息存储为线。所提取的水平信息可存储在临时数据库1430中。

可以手动或自动方式检测道路标志。在检测到道路标志1410之后，可通过众所周知的摄影测量方法从其中所述标志可见的图像对中识别其位置。如果道路标志在源图像中没有通过一结构(例如，柱、建筑物墙壁)可见地附接到地面，那么一对图像使工程师能够确定位置。如果道路标志通过(例如)柱而可见地附接到地面，那么源图像中所述柱接触地面处的像素可用于准确确定所述标志杆在地理坐标参照系中的位置。此外，道路标志的标准化特性可用于确定道路标志的位置。举例来说，图像中道路标志的大小可用于确定相机与道路标志之间的距离。位置可相对于正射纠正瓦片的参照位置，或相对于源图像中水平信息的位置，例如中心线的特定位置。在一实施例中，将提取的标志信息存储为一具有对应标志类型指示符的点。标志类型指示符可为一指向包括道路标志的图形表示的数据库的指针，其中所述指针指代检测到的道路标志类型。提取的垂直标志信息可存储在临时标志数据库1440中。

提取的水平道路信息和相关联的位置数据以及提取的垂直标志信息和相关联的位置数据可最终存储在数字地图数据库1450中。水平道路信息和垂直标志信息以及其相应位置数据可在导航***中用于产生道路的包括水平道路信息和垂直标志信息的图形表示。由于水平道路信息和垂直标志信息两者是从相同数据源(借助于陆地用相机获得的源图像序列)检索，因此所述两种类型信息相对于彼此的相对位置非常准确。

上文给出的描述假定将捕获的水平信息扩展到一个以上源图像。应清楚，对于在一个源图像中可见的水平信息，不必产生正射纠正镶嵌以获得在地理坐标参照系中的位置。因此，完全包括水平信息和垂直信息的源图像可用于准确确定水平与垂直信息两者的位置。将源图像中垂直信息接触地面(＝虚拟水平面)处的附接点的像素的x，y位置转换为正射纠正图像中的x，y位置。正射纠正图像的元数据使我们能够计算对应的地理位置。

图9说明可用于实施执行上文所述方法的正射纠正镶嵌产生器的计算机***的高级方框图。

图9的计算机***包括处理器单元912和主存储器914。处理器单元912可含有单个微处理器，或可含有多个微处理器以用于将计算机***配置为多处理器***。主存储器914部分存储用于供处理器单元912执行的指令和数据。如果本发明的方法完全或部分地以软件实施，那么主存储器914在操作中时存储可执行代码。主存储器914可包括动态随机存取存储器(DRAM)以及高速缓冲存储器的存储体。

图9的***进一步包括大容量存储装置916、***装置918、输入装置920、便携式存储媒体驱动器922、图形子***924以及输出显示器926。为了简单，将图9所示的组件描绘为经由单个总线928而连接。然而，所述组件可通过一个或一个以上数据输送构件连接。举例来说，处理器单元912和主存储器914可经由局部微处理器总线而连接，且大容量存储装置916、***装置918、便携式存储媒体驱动器922以及图形子***924可经由一个或一个以上输入/输出(I/O)总线而连接。可以磁盘驱动器或光盘驱动器实施的大容量存储装置916是用于存储数据的非易失性存储装置，所述数据例如为相应相机的经地理编码的图像序列、相机的校准信息、恒定和可变位置参数、恒定和可变定向参数、正射纠正瓦片和正射纠正镶嵌，以及用于处理器单元912使用的指令。在一个实施例中，大容量存储装置916存储用于实施本发明的***软件或计算机程序以便加载到主存储器914。

便携式存储媒体驱动器922结合例如软盘、微型驱动器和快闪存储器的便携式非易失性存储媒体操作，以将数据和代码输入到图9的计算机***以及从图9的计算机***输出数据和代码。在一个实施例中，用于实施本发明的***软件存储在呈此便携式媒体的形式的处理器可读媒体上，且经由便携式存储媒体驱动器922输入到计算机***。***装置918可包含任何类型的计算机支持装置(例如输入/输出(I/O)接口)以向计算机***添加额外功能性。举例来说，***装置918可包含用于将计算机***介接到网络的网络接口卡、调制解调器等等。

输入装置920提供用户接口的一部分。输入装置920可包含用于输入字母数字和其它按键信息的字母数字式小键盘，或例如鼠标、跟踪球、触笔或光标方向键的指向装置。为了显示文本和图形信息，图9的计算机***包含图形子***924和输出显示器926。

输出显示器926可包含阴极射线管(CRT)显示器、液晶显示器(LCD)或其它合适的显示装置。图形子***924接收文本和图形信息，且处理所述信息以用于输出到显示器926。输出显示器926可用于报告路径查找确定的结果、显示正射纠正镶嵌、显示方向、显示确认信息和/或显示作为用户界面的一部分的其它信息。图9的***还包含音频***928，其包含麦克风。在一个实施例中，音频***928包含一从麦克风接收音频信号的声卡。另外，图9的***包含输出装置932。合适的输出装置的实例包含扬声器、打印机等等。

图9的计算机***中含有的组件是通用计算机***中通常存在的组件，且用以表示此项技术中众所周知的广泛类别的此类计算机组件。

因此，图9的计算机***可为个人计算机、工作站、微型计算机、主计算机等等。计算机还可包含不同的总线配置、网络连接平台、多处理器平台等等。可使用各种操作***，包含尤尼克斯(UNIX)、索拉力斯(Solaris)、哩呐克斯(Linux)、视窗(Windows)、麦金塔操作***(Macintosh OS)以及其它合适的操作***。

上文描述的方法可自动执行。可能碰巧图像使得图像处理工具和对象辨识工具需要某种校正。举例来说，正射纠正瓦片在其它正射纠正瓦片上的叠加或部分产生的正射纠正镶嵌可导致正射纠正镶嵌中的不希望的可见失真。在所述情况下所述方法包含一些验证和手动调适动作以实现确认或调适中间结果的可能性。这些动作也可适合于接受正射纠正镶嵌产生的中间结果或最终结果。

已为说明和描述目的呈现了本发明的具体实施方式。不希望其为详尽的或将本发明限于所揭示的精确形式，且显然鉴于以上教示，许多修改和变化是可能的。举例来说，本发明还适合于准确确定源图像中可检测到的任何种类对象的位置。选择所描述的实施例以便最佳地解释本发明的原理及其实践应用，进而使所属领域的技术人员能够在各种实施例中且用适于预期特定用途的各种修改来最佳地利用本发明。希望本发明的范围由所附的权利要求书定义。

Claims (16)

1.一种用于产生正射纠正瓦片的方法，其包括：

检索通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的源图像序列；

检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内的参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；

检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；

借助于对应位置数据和定向数据转换源图像以获得所述正射纠正瓦片和对应的元数据，所述元数据定义所述正射纠正图像中像素坐标向所述地理坐标参照系中的位置的转换。

2.根据权利要求1所述的方法，其中所述方法进一步包括：

依据与所述源图像相关联的所述位置和定向数据而估计对应于所述地球表面的平面；以及

使用所述平面进行转换以转换源图像而获得所述正射纠正瓦片。

3.根据权利要求2所述的方法，其中所述正射纠正瓦片包括像素，且所述转换包含：

确定所述源图像中对应于所述正射纠正瓦片的像素的至少一个像素；

从所述源图像中所述至少一个像素的值确定所述正射纠正瓦片的所述像素的值。

4.根据权利要求2或3所述的方法，其中所述预定义正射纠正瓦片的形状是矩形。

5.根据前述权利要求中任一权利要求所述的方法，其中通过安装于在地球表面上移动的车辆上的相机获得所述源图像序列，所述定向数据包含与所述车辆的经定义定向与所述车辆的行驶方向之间的角度具有关系的可变定向参数。

6.根据前述权利要求中任一权利要求所述的方法，其中通过安装于在地球表面上移动的车辆上的相机获得所述源图像序列，所述定向数据包含与由道路表面定义的平面与水平面之间的角度具有关系的可变定向参数。

7.根据权利要求6所述的方法，其中可变定向参数与由所述移动车辆下方的所述道路表面定义的平面与水平面之间的角度具有关系。

8.根据前述权利要求中任一权利要求所述的方法，其中转换包含：

校正所述源图像中的几何失真；

对所述相机的焦点执行3D旋转以便获得垂直图像；

将所述垂直图像转换为正射纠正瓦片。

9.一种用于产生正射纠正镶嵌的方法，其包括：

借助于根据权利要求1到8中任一权利要求所述的方法从通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的源图像产生正射纠正瓦片；

从所述正射纠正瓦片和对应的元数据产生所述正射纠正镶嵌和元数据。

10.根据权利要求9所述的方法，其中产生所述正射纠正镶嵌包含：

从位置数据定义用于所述正射纠正镶嵌的投影坐标参照系；

借助于所述投影坐标参照系和对应于所述正射纠正瓦片的元数据确定所述正射纠正镶嵌中的正射纠正瓦片区域；

将所述正射纠正瓦片的所述确定区域的像素转换为所述正射纠正镶嵌的像素。

11.一种用于执行根据权利要求1到8中任一权利要求所述的方法的计算机布置，所述设备包括：

输入装置；

处理器可读存储媒体；以及

处理器，其与所述输入装置和所述处理器可读存储媒体通信；

输出装置，其与所述处理器通信；

所述处理器可读存储媒体存储用以对所述处理器进行编程以执行包括以下动作的方法的代码：

检索通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的源图像序列；

检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内的参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；

检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及可变……；

借助于对应位置数据和定向数据转换源图像以获得正射纠正瓦片和对应的元数据，所述元数据定义像素坐标向所述地理坐标参照系中的位置的转换；

从所述正射纠正瓦片产生正射纠正镶嵌和对应的元数据；以及

将所述正射纠正镶嵌和相关联的元数据存储在存储媒体上。

12.一种处理器可读存储媒体，其承载通过根据权利要求9到10中任一权利要求所述的方法获得的正射纠正镶嵌。

13.一种计算机程序产品，其包括当加载到计算机布置上时允许所述计算机布置执行根据权利要求1到10所述的方法中的任一者的指令。

14.一种处理器可读媒体，其承载当加载到计算机布置上时允许所述计算机布置执行根据权利要求1到10所述的方法中的任一者的计算机程序产品。

15.一种从通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的至少一个基于陆地的图像序列的源图像收集位置准确的水平信息和位置准确的垂直信息两的方法，所述方法包括：

检索源图像；

检索与所述源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内的参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；

检索与所述源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；

从所述源图像检索水平信息和在所述地理坐标参照系中的对应位置，其中通过借助于与所述源图像相关联的位置数据和定向数据至少部分转换至少部分包括所述水平信息的源图像以获得所述水平信息的正射纠正表示而获得所述位置，所述正射纠正表示包括图像数据和元数据，所述元数据定义所述正射纠正表示的像素坐标向所述地理坐标参照系中的位置的转换；

从至少一个源图像检索垂直信息且借助于与所述源图像相关联的所述位置数据和定向数据定位所述垂直信息的位置；以及

存储所述垂直和水平信息以及相关联位置以用于地图数据库。

17.一种从通过安装于在地球表面上行驶的移动车辆上的陆地用相机获得的至少一个源图像收集位置准确的水平信息和位置准确的对象信息两者的方法，其中所述对象附接到地面的附接点在所述至少一个源图像的至少一个像素中可见，所述方法包括：

检索所述至少一个源图像；

检索与所述至少一个源图像相关联的位置数据，其中所述位置数据包含定义与所述车辆内的参照位置的关系的恒定位置参数以及在地理坐标参照系中对应于所述车辆的参照位置在所述坐标参照系中的坐标位置的可变参数；

检索与所述至少一个源图像相关联的定向数据，其中所述定向数据包含与所述相机相对于所述车辆的参照定向的定向具有关系的恒定定向参数以及在所述地理坐标参照系中对应于所述车辆的所述参照定向在所述坐标参照系中的定向的可变定向参数；

从所述至少一个源图像检索水平信息和在所述地理坐标参照系中的对应位置，其中通过借助于与所述至少一个源图像相关联的所述位置数据和定向数据确定与水平信息关联的至少一个源图像像素的正射纠正位置而获得所述位置；

从所述至少一个源图像检索对象信息；

确定对应于所述对象对地面的所述附接点的所述至少一个像素，且借助于与所述至少一个源图像相关联的所述位置数据和定向数据确定对应于所述对象对地面的所述附接点的至少一个像素在所述地理坐标参照系中的正射纠正位置；

存储所述对象信息和水平信息以及在所述地理坐标参照系中的相关联位置以用于地图数据库。

Images