CN103871072B

CN103871072B - 基于投影数字高程模型的正射影像镶嵌线自动提取方法

Info

Publication number: CN103871072B
Application number: CN201410138466.8A
Authority: CN
Inventors: 孙明伟; 张祖勋; 胡翔云
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2014-04-04
Filing date: 2014-04-04
Publication date: 2017-06-27
Anticipated expiration: 2034-04-04
Also published as: CN103871072A

Abstract

本发明公开了一种基于投影数字高程模型的正射影像镶嵌线自动提取方法，包括步骤：步骤1，获取单片正射影像的投影数字高程模型；步骤2，确定待镶嵌正射影像对；步骤3，将待镶嵌正射影像对的投影数字高程模型按地理坐标叠加获得叠加图像，将叠加图像二值化得到二值叠加图像；步骤4，采用图像形态学方法提取二值叠加图像的骨架线获得骨架线网络，采用Dijkstra算法在骨架线网络中搜寻最短路径，即待镶嵌影像对的镶嵌线。本发明方法能自动获取高质量的正射影像镶嵌线，可提高正射影像产品的生产效率；同时利用了数字地面模型数据与数字表面模型数据的信息寻找镶嵌线，可提高正射影像产品质量。

Description

基于投影数字高程模型的正射影像镶嵌线自动提取方法

技术领域

本发明属于测绘产品之一的正射影像产品自动化生产技术领域，尤其涉及一种基于投影数字高程模型的正射影像镶嵌线自动提取方法。

背景技术

测绘产品生产中，利用摄影测量方法，使用航空影像制作正射影像产品时，需将多张经正射纠正的影像镶嵌成范围更大的图像，然后按照一定规范裁切得到标准图幅形式的影像地图。影像镶嵌过程的关键是镶嵌线需避开影像间的差异区域，否则会产生拼接影像上的地物不完整现象，影响最终镶嵌效果。为保证正射影像产品质量，生产中往往需要大量的人工干预使镶嵌线避开差异区域。为提高生产效率，必须要研究解决镶嵌线的自动提取问题。镶嵌线自动提取需要解决的核心问题有两个，一是如何检测影像在重叠区域的差异，二是如何高效搜寻到经过差异最小的“路径”。

目前检测影像在重叠区域的差异时，大多使用像素灰度值之差或类似计算方法[1-7]，颜色相似性（Colour similarity）和纹理相似性（Texture similarity）^[8]、归一化相关系数（NCC：normalized cross correlation）^[7]等方法也用来检测影像重叠区域的差异。关于差异最小路径的搜索算法，一般采用Dijkstra's算法^[1,7]、bottleneck shortestpath算法^[2,6]、动态规划算法^[3,7]、Twin snakes算法^[8]、Shortcuts算法^[4]、蚁群算法^[9]等。

文中涉及的参考文献如下：

[1]Davis,J.(1998,June).Mosaics of scenes with moving objects.InComputer Vision and Pattern Recognition,1998.Proceedings.1998IEEE ComputerSociety Conference on(pp.354-360).IEEE.

[2]Fernandez,E.,Garfinkel,R.,&Arbiol,R.(1998).Mosaicking of aerialphotographic maps via seams defined by bottleneck shortest paths.OperationsResearch,46(3),293-304.

[3]Efros,A.A.,&Freeman,W.T.(2001,August).Image quilting for texturesynthesis and transfer.In Proceedings of the28th annual conference onComputer graphics and interactive techniques(pp.341-346).ACM.

[4]Xandri,R.,Pérez-Aragüés,F.,Palà,V.,&Arbiol,R.(2005).Automaticgeneration of seamless mosaics over extensive areas from high resolutionimagery.In World Multi-Conference on Systemics,Cybernetics and Informatics(WMSCI),Orlando.

[5]Chon,J.,&Kim,H.(2006).Determination of the optimal seam-lines inimage mosaicking with the dynamic programming(DP)on the converted costspace.Artificial Intelligence and Soft Computing–ICAISC2006,750-757.

[6]Pan,J.,Wang,M.,Li,D.,&Li,J.(2009).Automatic generation of seamlinenetwork using area Voronoi diagrams with overlap.Geoscience and RemoteSensing,IEEE Transactions on,47(6),1737-1744.

[7]Chon,J.,Kim,H.,&Lin,C.S.(2010).Seam-line determination for imagemosaicking:A technique minimizing the maximum local mismatch and the globalcost.ISPRS Journal of Photogrammetry and Remote Sensing,65(1),86-92.

[8]Kerschner,M.(2001).Seamline detection in colour orthoimagemosaicking by use of twin snakes.ISPRS journal of photogrammetry and remotesensing,56(1),53-64.

[9]Zhang,J.,Sun,M.,Zhang,Z.(2009).“Automated Seamline Detection forOrthophoto Mosaicking Based on Ant Colony Algorithm,”Geomatics andInformation Science of Wuhan University,vol.34no.6,675-678.

发明内容

针对现有技术中正射影像产品生产需人工干预镶嵌线导致的生产效率低下和镶嵌线质量不高的问题，本发明提供了一种生产效率更高、镶嵌线质量更好的基于投影数字高程模型的正射影像镶嵌线自动提取方法。

为解决上述技术问题，本发明采用如下的技术方案：

基于投影数字高程模型的正射影像镶嵌线自动提取方法，包括步骤：

步骤1，利用单片正射影像的数字地面模型数据与数字表面模型数据，获取单片正射影像的投影数字高程模型；

步骤2，根据镶嵌原则和正射影像间的镶嵌关系确定待镶嵌正射影像对；

步骤3，将待镶嵌正射影像对的投影数字高程模型按地理坐标叠加获得叠加图像，将叠加图像二值化得到二值叠加图像；

步骤4，采用图像形态学方法提取二值叠加图像的骨架线获得骨架线网络，采用Dijkstra算法在骨架线网络中搜寻最短路径，即待镶嵌影像对的镶嵌线。

步骤1进一步包括子步骤：

1.1基于航空摄影影像中的内外方位元素以及单片正射影像的数字地面模型数据与数字表面模型数据，采用摄影测量学中的共线方程进行投影计算，获得数字表面模型数据中各点在正射影像上的位置；

1.2将数字表面模型数据中各点相对于数字地面模型数据的高程差赋值给该点在正射影像上的位置，即获得正射影像的投影数字高程模型。

为减少数据量，步骤3的一种优选方案为：

将待镶嵌正射影像对的投影数字高程模型二值化后按地理坐标叠加，获得二值叠加图像。

步骤4进一步包括子步骤：

4.1采用图像形态学方法提取二值叠加图像的骨架线获得骨架线网络；

4.2删除骨架线网络中的孤立线段获得骨架线端点间的路径连通图；

4.3以各骨架线代表的二值叠加图像区域的宽度倒数视为骨架线端点间的联通代价，利用Dijkstra算法在路径连通图上搜索联通代价最小的路径，即为镶嵌线。

单片正射影像使用数字地面模型数据（DTM），利用影像内外方位元素信息，通过正射纠正技术得到。由于正射纠正过程中使用的DTM不包含房屋、树木等高出地面地物的高程信息，导致屋顶、树顶等地物在单片正射影像上存在投影差，不同的单片正射影像上投影差大小与方向均不一样，大比例尺的单片正射影像在重叠区域的主要差异即为投影差区域。

本发明利用数字表面模型数据（DSM）与数字地面模型数据（DTM），基于投影数字高程模型（OESM）原理，精确计算正射影像上屋顶、树木等高出地面地物在正射影像上的位置（即投影差区域）；再利用图像形态学操作和Dijkstra算法找寻避开投影差区域的最优路径，从而实现正射影像镶嵌线的自动检测，为提高正射影像产品生产的效率与产品质量提供了重要解决方法。

与现有技术相比，本发明具有如下特点：

1、充分利用了DSM和DTM中的信息，可精确检测单片正射影像上的投影差区域，使正射影像镶嵌线绕开投影差区域，即确保镶嵌线避开正射影像上的高出地面的地物，从而提高镶嵌线质量；

2、能够自动获取正射影像镶嵌线，减少正射影像产品生产的人工干预工作量，对提高城市地区大比例尺数字正射影像的生产效率意义重大。

附图说明

图1为本发明方法的具体流程图；

图2为正射影像的投影数字高程模型的计算原理示意图；

图3为单片正射影像与其投影数字高程模型的叠加结果，其中，图（a）为单片正射影像，图（b）为图（a）所示单片正射影像的投影数字高程模型，图（c）为图（a）所示单片正射影像和图（b）所示投影数字高程模型的叠加结果；

图4为正射影像间镶嵌关系的确定示意图；

图5为二值叠加图像示意图，图（a）与图（b）为一对待镶嵌单片正射影像对的投影数字高程模型的二值图像；图（c）为图（a）和图（b）中所示二值图像按地理坐标叠加的二值叠加图像；

图6为二值叠加图像的骨架线网络及寻找的镶嵌线，其中，图（a）为提取的骨架线网络，图（b）为骨架线端点间的路径连通图，图（c）为寻找的镶嵌线；

图7为镶嵌示意图和镶嵌结果，其中，图（a）为镶嵌示意图，图（b）为正射影像对的镶嵌结果；

图8为镶嵌效果对比图，图（a）为传统方法的镶嵌效果，图（b）为本发明方法的镶嵌效果。

具体实施方式

本发明基于投影数字高程模型精确定位单片正射影像上的投影差区域，然后通过图像形态学处理与计算几何操作，提取避开单片正射影像上投影差区域的路径，作为单片正射影像镶嵌处理时的镶嵌线，从而实现正射影像产品的自动化镶嵌。

为了更好理解本发明的技术方案和技术效果，下面将结合附图对本发明做进一步细说明。见图1，本发明方法具体步骤如下：

步骤1，基于投影数字高程模型原理，利用单片正射影像的DTM与DSM数据，获取单片正射影像的投影数字高程模型。

本步骤可采用现有技术实现，公告号CN102509354B的中国专利《一种与影像同步变化的投影数字高程模型制作方法》中记载了单片正射影像的投影数字高程模型的制作方法。

正射影像是利用DTM进行数字微分纠正获得的，这种纠正仅能消除地形在影像上的中心投影效应，而房屋、树木等高出地面地物（非地面点）在正射影像上依然存在投影差。利用航空摄影影像中的内外方位元素以及正射影像的DSM、DTM信息，可计算出DSM中各点在正射影像上的位置；将DSM各点相对于DTM的高程差赋值给该点在正射影像上的位置，即获得正射影像的投影数字高程模型（OESM）。

图2为正射影像的投影数字高程模型的计算原理示意图，图中，S为摄影中心，P_DSM（X_DSM,Y_DSM,Z_DSM）为DSM上的点，为房屋上一点，坐标已知，P_DTM（X,Y,Z_DTM）为摄影光线SP_DSM与DTM面的交点，结合影像的内外方位元素，基于摄影测量学中的共线方程进行投影计算，获得点P_DTM的平面坐标（X,Y）。令P点坐标为(X,Y,Z_DSM-Z_DTM)，获得DSM上所有点对应的P点，即可获得图2（b）所示的三维点云模型，即正射影像的OESM，OESM可反映出单片正射影像上屋顶、树木等高出地面地物的残余高程差的投影分布。

图3为单片正射影像与其投影数字高程模型的叠加结果，其中，图3（a）为经纠正的单片正射影像（DOM），纠正过程遵循航空摄影测量中的标准正射纠正处理要求；图3（b）为采用图2所示方法获得的单片正射影像的投影数字高程模型；将图（a）所示单片正射影像和图（b）所示投影数字高程模型按地理坐标叠加后，投影数字高程模型数据采用等高线显示，放大图（a）中白框区域，即图（c），图（c）表明投影数字高程模型中的高程值可清楚标识单片正射影像上的投影差区域。

步骤2，根据镶嵌原则和正射影像间的镶嵌关系确定待镶嵌正射影像对。

正射影像的镶嵌是将多幅正射影像拼接处理成一幅大图像，镶嵌过程可分解为符合一定规则的影像两两之间的镶嵌操作。

影像镶嵌过程可参考图4：第一步(step1)将航带内的单片正射影像按顺序进行镶嵌线检测与有效镶嵌区域处理，得到单航带的镶嵌线网络；第二步(step2)进行航带间单片正射影像的镶嵌线检测与有效镶嵌区域处理，得到整个区域的镶嵌线网络。

根据影像镶嵌过程，正射影像间镶嵌关系的确定可以描述为：首先，按正射影像在航带内的顺序，确定正射影像间的两两镶嵌关系，获得单航带内的待镶嵌正射影像对，例如，图4中单片正射影像01和02为一对待镶嵌正射影像对，单片正射影像02和03也为一对待镶嵌正射影像对，从而获得一系列单航带内的待镶嵌正射影像对，对待镶嵌正射影像对进行镶嵌可获得单航带的镶嵌影像；然后，根据航带顺序确定单航带镶嵌影像的两两镶嵌关系，将单航带镶嵌影像按航带顺序一一镶嵌完毕，即得到整个区域的镶嵌影像，例如，图4中单片正射影像01、02、03镶嵌得到的单航带镶嵌影像和单片正射影像11、12、13镶嵌得到的单航带镶嵌影像为一对航带间的待镶嵌正射影像对。

由于镶嵌是以影像对为基本单元进行处理，后续步骤仅基于影像对进行描述。

步骤3，将待镶嵌影像对的投影数字高程模型按地理坐标叠加获得叠加图像，将叠加图像二值化得到二值叠加图像。

要避开待镶嵌影像对上的投影差区域，需要将待镶嵌影像对的投影数字高程模型按地理坐标叠加，再寻找叠加图上高程值较小的区域。具体可通过设置高程阈值，将叠加结果进行二值化处理并转换为二值图像数据，OESM格网点高程大于高程阈值，设置该OESM格网点的图像灰度值为1，否则为0。高程阈值的设定值不超过一般高出地面地物的高度即可，一般可将高程阈值设置为1。

实际处理过程中，为减少数据量，可先根据设置的高程阈值，分别将待镶嵌影像对的投影数字高程模型二值化处理，然后将二值化处理后的二值图像按地理坐标进行叠加得到二值叠加图像。

图5为二值叠加图像示意图，图5（a）和图5（b）为一对待镶嵌单片正射影像对的投影数字高程模型的二值图像，图中黑色区域表明该区域在单片正射影像上的对应区域视差较小，白色区域表明该区域在单片正射影像上的对应区域视差较大。图5（c）为图5（a）和图5（b）中所示二值图像按地理坐标叠加的二值叠加图像，图像中的黑色区域表示高程值较小的区域，即镶嵌线可通过区域。

步骤4，对步骤3获得的二值叠加图像进行骨架线提取获得骨架线网络，并寻找骨架线网络中的最短路径，即待镶嵌影像对的镶嵌线。

图6为二值叠加图像的骨架线网络及寻找的镶嵌线。采用图像形态学骨架线提取算法提取图5（c）中二值叠加图像的骨架线，获得图6（a）所示的骨架线网络，图中，直线代表骨架线，圆圈代表骨架线上节点。对图6（a）中骨架线网络进行整理，删除孤立线段获得骨架线端点间的路径连通图，见图6（b）。

以各骨架线代表的二值叠加图像区域的宽度倒数视为骨架线端点间的联通代价，利用Dijkstra算法在路径连通图上搜索得到联通代价最小的节点，见图6（c）中的圆圈，将这些节点连接起来的路径，即为镶嵌线。

基于镶嵌线，结合单片正射影像的有效区域，构建单片正射影像的有效镶嵌多边形。见图7，图7（a）中两个规则四边形分别代表待镶嵌正射影像对的有效区域，不同填充方向所在的区域A和区域B分别代表两张单片正射影像的有效镶嵌区域，区域A和区域B的分界线为Dijkstra算法搜索得到的最优路径；图7（b）为两张单片正射影像利用各自的有效镶嵌区域和镶嵌线镶嵌的图像，图中白色折线为镶嵌线，可以看到镶嵌线主要沿着街道，没有穿过建筑物区域。

图8为镶嵌效果对比图，图8（a）和图8（b）中的白线为镶嵌线，图8（a）中镶嵌线是根据待镶嵌影像的重叠区域的中间线获得，从图中可以看出，镶嵌线穿过了影像上的屋顶位置，导致最终镶嵌图上房屋的不完整；图8（b）中镶嵌线是采用本发明方法获得，从图中可以看出，镶嵌线沿着道路，未穿过屋顶等高出地面的地物，屋顶等高出的地面在最终镶嵌图上是完整的。

Claims

1.基于投影数字高程模型的正射影像镶嵌线自动提取方法，其特征在于，包括步骤：

2.如权利要求1所述的基于投影数字高程模型的正射影像镶嵌线自动提取方法，其特征在于：

步骤1进一步包括子步骤：

3.如权利要求1所述的基于投影数字高程模型的正射影像镶嵌线自动提取方法，其特征在于：

步骤3采用如下方法替换：

4.如权利要求1所述的基于投影数字高程模型的正射影像镶嵌线自动提取方法，其特征在于：

步骤4进一步包括子步骤：

4.3以各骨架线代表的二值叠加图像区域的宽度倒数视为骨架线端点间的联通代价，利用Dijkstra算法在路径连通图上搜索联通代价最小的路径，即镶嵌线。