CN112233246A - 基于srtm约束的卫星影像密集匹配方法和*** - Google Patents

基于srtm约束的卫星影像密集匹配方法和*** Download PDF

Info

Publication number
CN112233246A
CN112233246A CN202011014959.2A CN202011014959A CN112233246A CN 112233246 A CN112233246 A CN 112233246A CN 202011014959 A CN202011014959 A CN 202011014959A CN 112233246 A CN112233246 A CN 112233246A
Authority
CN
China
Prior art keywords
image
pyramid
dense matching
determining
srtm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011014959.2A
Other languages
English (en)
Other versions
CN112233246B (zh
Inventor
黄旭
杨萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011014959.2A priority Critical patent/CN112233246B/zh
Publication of CN112233246A publication Critical patent/CN112233246A/zh
Application granted granted Critical
Publication of CN112233246B publication Critical patent/CN112233246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于SRTM约束的卫星影像密集匹配方法和***，方法包括：根据卫星传感器的成像参数，将卫星立体影像纠正为核线立体像对；根据所述核线立体像对构建金字塔的影像；将SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图；根据初始视差图，在金字塔顶层立体影像中确定同名像点之间的灰度特征相似性；对核线立体影像的匹配代价进行积聚，确定金字塔顶层的密集匹配结果；将密集匹配结果作为新的初始视差图，并将初始视差图传递至下一级金字塔，直至确定金字塔底层的密集匹配结果，获取三维点云。本发明能够提高弱纹理区域密集匹配的可靠性和精度，可广泛应用于遥感技术领域。

Description

基于SRTM约束的卫星影像密集匹配方法和***
技术领域
本发明涉及遥感技术领域，尤其是基于SRTM约束的卫星影像密集匹配方法和***。
背景技术
卫星立体影像密集匹配是一种逐像素地寻找两张卫星影像之间同名像点的过程。这些同名像点可以通过卫星传感器的位置、姿态等参数，计算出对应的三维点云。因此，卫星立体影像密集匹配是大范围三维信息数字化的核心技术之一，能够广泛应用于测绘制图、军事国防、虚拟现实、游戏动画等领域。
卫星立体影像密集匹配技术主要根据影像上的灰度特征，来寻找同名像点。灰度特征越相似，则是同名像点的可能性越大。但是，在弱纹理区域(如：雪山、雪地、湖泊等等)，卫星影像上的灰度特征不明显，误匹配点严重，从而严重降低弱纹理区域三维重建的精度和显示效果。
SRTM(Shuttle Radar Topography Mission)是通过航天飞机雷达，对全球进行地形测绘的产品。SRTM地形产品全球免费公开，分辨率为30米。由于航天飞机雷达采用主动成像技术，因此，SRTM地形产品的精度不受地区纹理因素的影响。即使在弱纹理区域，也能够取得稳定可靠的三维模型产品。但是，SRTM地形产品的分辨率较低(30米)，远远无法满足高精度、高分辨率的测绘需求。
发明内容
有鉴于此，本发明实施例提供基于SRTM约束的卫星影像密集匹配方法和***，以增强弱纹理区域的匹配可靠性，提高弱纹理区域的三维重建精度。
本发明的第一方面提供了基于SRTM约束的卫星影像密集匹配方法，包括：
根据卫星传感器的成像参数，将卫星立体影像纠正为核线立体像对；
根据所述核线立体像对构建金字塔的影像，所述金字塔的顶层分辨率与SRTM分辨率保持一致；
将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图；
根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性；
对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果；
将所述密集匹配结果作为新的初始视差图，并将所述初始视差图传递至下一级金字塔，重复上述步骤，直至确定金字塔底层的密集匹配结果，获取三维点云。
在一些实施例中，所述将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图，包括：
获取金字塔顶层影像的RPC模型；
将SRTM地形产品投影到金字塔顶层立体影像中的左影像，生成初始视差图；
其中，所述RPC模型的形式表达为：
Figure BDA0002698753790000021
Figure BDA0002698753790000022
P＝(lat-LAT_OFF)/LAT_SCALE；
L＝(long-LONG_OFF)/LONG_SCALE；
H＝(hei-HEI_OFF)/HEI_SCALE；
其中，row表示卫星影像上像点的行坐标；col表示卫星影像上像点的列坐标；LINE_SCALE表示行方向上的比例因子；SAMP_SCALE表示列方向上的比例因子；LINE_OFF表示行方向上的偏移因子；SAMP_OFF表示列方向上的偏移因子；LAT_SCALE表示纬度上的比例因子；LONG_SCALE表示经度上的比例因子；HEI_SCALE表示高程上的比例因子；LAT_OFF表示纬度上的便宜因子；LONG_OFF表示经度上的便宜因子；HEI_OFF分别表示高程上的便宜因子；P表示归一化的纬度的物方点坐标；L表示归一化的经度的物方点坐标；H表示归一化的高程的物方点坐标；LINE_NUM_COEFi、LINE_DEN_COEFi、SAMP_NUM_COEFi和SAMP_DEN_COEFi分别表示RPC模型的参数；pi(P，L，H)表示关于P、L和H的三次多项式。
在一些实施例中，所述根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性，包括：
确定左核线影像和右核线影像；
确定窗口算子；
确定所述左核线影像上的像素；
确定所述像素的估计视差；
根据所述左核线影像上的像素和所述估计视差，确定所述右核线影像上的像素；
根据所述窗口算子、所述左核线影像上的像素、所述估计视差和所述右核线影像上的像素，计算初始视差图约束的匹配代价；
根据所述初始视差图约束的匹配代价计算所述金字塔顶层立体影像中同名像点之间的灰度特征相似性。
在一些实施例中，所述对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果，包括：
确定第一一阶惩罚项和第二一阶惩罚项；
通过初始视差图对所述第一一阶惩罚项和所述第二一阶惩罚项进行动态调节，确定半全局密集匹配方法的目标能量函数；
根据所述目标能量函数，确定密集匹配结果。
在一些实施例中，所述目标能量函数的表达式为：
Figure BDA0002698753790000031
其中，E表示核线立体影像密集匹配的目标能量函数；D表示密集匹配视差图；Cost(p，dp)表示像素p对应视差dp的匹配代价；IL表示左核线影像；N表示相邻像素组成的集合；q表示像素p的相邻像素；P1表示第一一阶惩罚项系数；P2表示第二一阶惩罚项系数；dp表示像素p的视差；dq表示像素q的视差；
Figure BDA0002698753790000032
分别表示像素p、q在初始视差图上的值；T[·]表示布尔函数，当括号内条件为真时，其值为1，否则为0。
在一些实施例中，所述通过初始视差图对所述第一一阶惩罚项和所述第二一阶惩罚项进行动态调节，包括：
判断相邻像素的视差变化是否与所述初始视差图符合，若是，则不对所述第一一阶惩罚项进行调整；反之，则对所述第一一阶惩罚项进行相应调整；
判断所述初始视差图中相邻像素视差是否一致，若是，则增强所述第二一阶惩罚项，用于惩罚相邻像素的视差变化；反之，则削弱所述第二一阶惩罚项，从而鼓励相邻像素的视差变化。
在一些实施例中，所述匹配代价的计算公式为：
Figure BDA0002698753790000033
Figure BDA0002698753790000034
其中，Cost(p，dp)表示像素p对应视差dp的匹配代价；
Figure BDA0002698753790000041
表示作用在左核线影像IL上的匹配窗口算子；
Figure BDA0002698753790000042
表示作用在右核线影像IR上的匹配窗口算子；w表示初始视差图约束的大小；
Figure BDA0002698753790000043
表示像素p在初始视差图D0上的值；
Figure BDA0002698753790000044
表示匹配窗口内灰度梯度的均值；α表示灰度梯度的归一化因子；左核线影像为IL，右核线影像为IR，M表示窗口算子；p表示左核线影像上的像素；dp表示像素p的估计视差；p-dp表示右核线影像上的像素。
本发明的第二方面提供了一种基于SRTM约束的卫星影像密集匹配***，包括：
成像模块，用于根据卫星传感器的成像参数，将卫星立体影像纠正为核线立体像对；
构建模块，用于根据所述核线立体像对构建金字塔的影像，所述金字塔的顶层分辨率与SRTM分辨率保持一致；
初始视差图生成模块，用于将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图；
特征确定模块，用于根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性；
半全局密集匹配模块，用于对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果；
将所述密集匹配结果作为新的初始视差图，并将所述初始视差图传递至下一级金字塔，重复上述步骤，直至确定金字塔底层的密集匹配结果，获取三维点云。
在一些实施例中，所述半全局密集匹配模块，包括：
第一确定单元，用于确定第一一阶惩罚项和第二一阶惩罚项；
动态调节单元，用于通过初始视差图对所述第一一阶惩罚项和所述第二一阶惩罚项进行动态调节，确定半全局密集匹配方法的目标能量函数；
第二确定单元，用于根据所述目标能量函数，确定密集匹配结果。
本发明实施例的第三方面提供了基于SRTM约束的卫星影像密集匹配***，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如第一方面所述的方法。
本发明根据卫星传感器的成像参数，将卫星立体影像纠正为核线立体像对；根据所述核线立体像对构建金字塔的影像，所述金字塔的顶层分辨率与SRTM分辨率保持一致；将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图；根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性；对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果；将所述密集匹配结果作为新的初始视差图，并将所述初始视差图传递至下一级金字塔，重复上述步骤，直至确定金字塔底层的密集匹配结果，获取三维点云。本发明实施例有助于解决卫星立体影像在弱纹理区域的密集匹配问题，通过引入SRTM约束，提高弱纹理区域密集匹配的可靠性和精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的整体步骤流程图；
图2为本发明实施例提供的卫星核线立体像对金字塔示意图；
图3为本发明实施例提供的卫星立体影像密集匹配结果示意图；
图4为本发明提供的具体实施例的流程示意图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
针对现有技术存在的问题，本发明实施例提供了一种基于SRTM约束的卫星影像密集匹配方法，如图1所示，该方法包括以下步骤：
S1、根据卫星传感器的成像参数，将卫星立体影像纠正为核线立体像对；
S2、根据所述核线立体像对构建金字塔的影像，所述金字塔的顶层分辨率与SRTM分辨率保持一致；
S3、将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图；
本发明实施例的步骤S3包括S31和S32：
S31、获取金字塔顶层影像的RPC模型；
S32、将SRTM地形产品投影到金字塔顶层立体影像中的左影像，生成初始视差图；
其中，所述RPC模型的形式表达为：
Figure BDA0002698753790000051
Figure BDA0002698753790000061
P＝(lat-LAT_OFF)/LAT_SCALE；
L＝(long-LONG_OFF)/LONG_SCALE；
H＝(hei-HEI_OFF)/HEI_SCALE；
其中，row表示卫星影像上像点的行坐标；col表示卫星影像上像点的列坐标；LINE_SCALE表示行方向上的比例因子；SAMP_SCALE表示列方向上的比例因子；LINE_OFF表示行方向上的偏移因子；SAMP_OFF表示列方向上的偏移因子；LAT_SCALE表示纬度上的比例因子；LONG_SCALE表示经度上的比例因子；HEI_SCALE表示高程上的比例因子；LAT_OFF表示纬度上的便宜因子；LONG_OFF表示经度上的便宜因子；HEI_OFF分别表示高程上的便宜因子；P表示归一化的纬度的物方点坐标；L表示归一化的经度的物方点坐标；H表示归一化的高程的物方点坐标；LINE_NUM_COEFi、LINE_DEN_COEFi、SAMP_NUM_COEFi和SAMP_DEN_COEFi分别表示RPC模型的参数；pi(P，L，H)表示关于P、L和H的三次多项式。
S4、根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性；
本发明实施例的步骤S4包括S41-S47：
S41、确定左核线影像和右核线影像；
S42、确定窗口算子；
S43、确定所述左核线影像上的像素；
S44、确定所述像素的估计视差；
S45、根据所述左核线影像上的像素和所述估计视差，确定所述右核线影像上的像素；
S46、根据所述窗口算子、所述左核线影像上的像素、所述估计视差和所述右核线影像上的像素，计算初始视差图约束的匹配代价；
S47、根据所述初始视差图约束的匹配代价计算所述金字塔顶层立体影像中同名像点之间的灰度特征相似性。
S5、对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果；
本发明实施例的步骤S5包括S51-S53：
S51、确定第一一阶惩罚项和第二一阶惩罚项；
S52、通过初始视差图对所述第一一阶惩罚项和所述第二一阶惩罚项进行动态调节，确定半全局密集匹配方法的目标能量函数；
具体地，判断相邻像素的视差变化是否与所述初始视差图符合，若是，则不对所述第一一阶惩罚项进行调整；反之，则对所述第一一阶惩罚项进行相应调整；
判断所述初始视差图中相邻像素视差是否一致，若是，则增强所述第二一阶惩罚项，用于惩罚相邻像素的视差变化；反之，则削弱所述第二一阶惩罚项，从而鼓励相邻像素的视差变化。
所述目标能量函数的表达式为：
Figure BDA0002698753790000071
其中，E表示核线立体影像密集匹配的目标能量函数；D表示密集匹配视差图；Cost(p，dp)表示像素p对应视差dp的匹配代价；IL表示左核线影像；N表示相邻像素组成的集合；q表示像素p的相邻像素；P1表示第一一阶惩罚项系数；P2表示第二一阶惩罚项系数；dp表示像素p的视差；dq表示像素q的视差；
Figure BDA0002698753790000072
分别表示像素p、q在初始视差图上的值；T[·]表示布尔函数，当括号内条件为真时，其值为1，否则为0。
S53、根据所述目标能量函数，确定密集匹配结果。
S6、将所述密集匹配结果作为新的初始视差图，并将所述初始视差图传递至下一级金字塔，重复上述步骤，直至确定金字塔底层的密集匹配结果，获取三维点云。
下面结合卫星核线立体像对金字塔示意图和卫星立体影像密集匹配结果示意图，对本发明的方法进行详细描述，在本实施例中，如图4所示，包括以下步骤：
步骤1：根据卫星传感器的成像参数RPC(Rational Polynomial Coefficients)，将卫星立体影像纠正为核线立体像对。在核线立体影像中，同名像点的行坐标相等，从而可以将卫星影像密集匹配从二维问题转化为一维问题，大大加快密集匹配速度。卫星核线立体影像的纠正方法是本领域的常见方法，本发明不做重复介绍。卫星核线立体影像的纠正方法可以参见文章《基于投影基准面的线阵推扫式卫星立体影像对近似核线影像生成方法》。
步骤2：分别对卫星核线立体像对构建影像金字塔，如图2所示。金字塔顶层分辨率与SRTM分辨率保持一致(即30米)。然后，根据金字塔顶层影像的RPC模型，将SRTM地形产品投影到金字塔顶层立体影像中的左影像，生成初始视差图D0。RPC模型是一种描述物方三维点和卫星影像上像方二维点之间几何关系的一个数学模型，具体形式如下。
Figure BDA0002698753790000081
Figure BDA0002698753790000082
P＝(lat-LAT_OFF)/LAT_SCALE
L＝(long-LONG_OFF)/LONG_SCALE
H＝(hei-HEI_OFF)/HEI_SCALE
上式中，row、col分别表示卫星影像上像点的行坐标和列坐标；LINE_SCALE、SAMP_SCALE分别表示行、列方向上的比例因子；LINE_OFF、SAMP_OFF分别表示行列方向上的偏移因子；LAT_SCALE、LONG_SCALE和HEI_SCALE分别表示纬度、经度和高程上的比例因子；LAT_OFF、LONG_OFF和HEI_OFF分别表示纬度、经度和高程上的便宜因子；P、L和H分别表示归一化的物方点坐标(纬度、经度和高程)；LINE_NUM_COEFi、LINE_DEN_COEFi、SAMP_NUM_COEFi和SAMP_DEN_COEFi分别表示RPC模型的80个参数；pi(P，L，H)表示关于P、L和H的三次多项式。
步骤3：在金字塔顶层立体影像中，采用9×9像素大小的固定匹配窗口，来计算同名像点之间的灰度特征相似性，作为同名像点之间的匹配代价。但是，在弱纹理区域，固定匹配窗口内无明显灰度特征，从而导致匹配代价计算不准确。因此，本发明在代价计算过程中引入初始视差图D0作为约束，并根据匹配窗口内的灰度特征来自适应调节约束大小。匹配窗口内纹理越丰富，则约束越小；否则，约束越大。设左核线影像为IL，右核线影像为IR，M表示窗口算子，令p表示左核线影像上的像素；dp表示像素p的估计视差；p-dp表示右核线影像上的像素，则基于初始视差图约束的匹配代价计算，如下式所示。
Figure BDA0002698753790000083
Figure BDA0002698753790000084
上式中，Cost(p，dp)表示像素p对应视差dp的匹配代价；
Figure BDA0002698753790000085
表示作用在左核线影像IL上的匹配窗口算子；
Figure BDA0002698753790000086
表示作用在右核线影像IR上的匹配窗口算子；w表示初始视差图约束的大小；
Figure BDA0002698753790000087
表示像素p在初始视差图D0上的值；
Figure BDA0002698753790000088
表示匹配窗口内灰度梯度的均值；α表示灰度梯度的归一化因子。
采用传统的匹配窗口算子作为测度，采用上式计算左核线影像上每个像素的匹配代价，即可组成代价矩阵。传统的窗口算子有很多种，包括Census算子、Sobel算子、ZNCC算子、HOG算子等，这些算子均能够取得一个较好的匹配结果。这些窗口算子的具体公式，可以参见文章《Evaluation of stereo matching costs on Images with radiometricdifferences》；本发明不做赘述。
步骤4：对卫星核线立体影像的匹配代价进行积聚，从而获得更加精确的匹配结果。本发明采用传统的半全局密集匹配方法，获得精确的密集匹配视差图。半全局密集匹配方法在匹配代价积聚过程中，设立了两个一阶惩罚项P1和P2。其中，P1用于惩罚相邻像素之间较小(1个像素)的视差变化；而P2用于惩罚相邻像素之间较大(大于1个像素)的视差变化。但是在弱纹理且斜面的区域，传统惩罚项P1和P2会导致严重的误匹配问题。因此，本发明根据初始视差图D0来自适应调节惩罚项。当相邻像素的视差变化与初始视差图比较符合时，则无惩罚；否则，自适应的给予惩罚，从而将半全局密集匹配方法的能量函数改造成下式所示。该方法能更适应斜面区域匹配，从而提高斜面区域的匹配精度。
Figure BDA0002698753790000091
上式中，E表示核线立体影像密集匹配的目标能量函数；D表示密集匹配视差图；Cost(p，dp)表示像素p对应视差dp的匹配代价；IL表示左核线影像；N表示相邻像素组成的集合；q表示像素p的相邻像素；P1表示第一一阶惩罚项系数；P2表示第二一阶惩罚项系数；dp表示像素p的视差；dq表示像素q的视差；
Figure BDA0002698753790000092
分别表示像素p、q在初始视差图上的值；T[·]表示布尔函数，当括号内条件为真时，其值为1，否则为0。
上述目标能量函数的最优解，即为卫星核线立体影像的密集匹配结果。可以采用半全局密集匹配的方式，将上述全局能量函数转换成多个方向的一维优化问题，并采用动态规划的方式获得近似最优解，如下式所示：
Figure BDA0002698753790000093
上式中，Lr表示r方向扫描线上的一维优化函数；Cost(p，dp)表示像素p对应视差dp的匹配代价；p-r表示像素p的前一个像素；dp-r表示像素p-r的视差；P1表示第一一阶惩罚项系数；P2表示第二一阶惩罚项系数；
Figure BDA0002698753790000101
分别表示像素p、p-r在初始视差图上的值。
步骤5：将金字塔顶层的密集匹配结果，作为新的初始视差图D0，并向下一级金字塔传递，然后重复步骤3和步骤4，一直计算到金字塔底层为止。最终获得高分辨率的三维点云，如图3所示。
另外，本发明还提供了一种基于SRTM约束的卫星影像密集匹配***，包括：
成像模块，用于根据卫星传感器的成像参数，将卫星立体影像纠正为核线立体像对；
构建模块，用于根据所述核线立体像对构建金字塔的影像，所述金字塔的顶层分辨率与SRTM分辨率保持一致；
初始视差图生成模块，用于将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图；
特征确定模块，用于根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性；
半全局密集匹配模块，用于对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果；
将所述密集匹配结果作为新的初始视差图，并将所述初始视差图传递至下一级金字塔，重复上述步骤，直至确定金字塔底层的密集匹配结果，获取三维点云。
在一些实施例中，所述半全局密集匹配模块，包括：
第一确定单元，用于确定第一一阶惩罚项和第二一阶惩罚项；
动态调节单元，用于通过初始视差图对所述第一一阶惩罚项和所述第二一阶惩罚项进行动态调节，确定半全局密集匹配方法的目标能量函数；
第二确定单元，用于根据所述目标能量函数，确定密集匹配结果。
本发明还提供了基于SRTM约束的卫星影像密集匹配***，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如图1所示的方法。
上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
此外，本发明实施例还提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行如图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于SRTM约束的卫星影像密集匹配方法，其特征在于，包括：
根据卫星传感器的成像参数，将卫星立体影像纠正为核线立体像对；
根据所述核线立体像对构建金字塔的影像，所述金字塔的顶层分辨率与SRTM分辨率保持一致；
将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图；
根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性；
对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果；
将所述密集匹配结果作为新的初始视差图，并将所述初始视差图传递至下一级金字塔，重复上述步骤，直至确定金字塔底层的密集匹配结果，获取三维点云。
2.根据权利要求1所述的基于SRTM约束的卫星影像密集匹配方法，其特征在于，所述将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图，包括：
获取金字塔顶层影像的RPC模型；
将SRTM地形产品投影到金字塔顶层立体影像中的左影像，生成初始视差图；
其中，所述RPC模型的形式表达为：
Figure FDA0002698753780000011
Figure FDA0002698753780000012
P＝(lat-LAT_OFF)/LAT_SCALE；
L＝(long-LONG_OFF)/LONG_SCALE；
H＝(hei-HEI_OFF)/HEI_SCALE；
其中，row表示卫星影像上像点的行坐标；col表示卫星影像上像点的列坐标；LINE_SCALE表示行方向上的比例因子；SAMP_SCALE表示列方向上的比例因子；LINE_OFF表示行方向上的偏移因子；SAMP_OFF表示列方向上的偏移因子；LAT_SCALE表示纬度上的比例因子；LONG_SCALE表示经度上的比例因子；HEI_SCALE表示高程上的比例因子；LAT_OFF表示纬度上的便宜因子；LONG_OFF表示经度上的便宜因子；HEI_OFF分别表示高程上的便宜因子；P表示归一化的纬度的物方点坐标；L表示归一化的经度的物方点坐标；H表示归一化的高程的物方点坐标；LINE_NUM_COEFi、LINE_DEN_COEFi、SAMP_NUM_COEFi和SAMP_DEN_COEFi分别表示RPC模型的参数；pi(P，L，H)表示关于P、L和H的三次多项式。
3.根据权利要求1所述的基于SRTM约束的卫星影像密集匹配方法，其特征在于，所述根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性，包括：
确定左核线影像和右核线影像；
确定窗口算子；
确定所述左核线影像上的像素；
确定所述像素的估计视差；
根据所述左核线影像上的像素和所述估计视差，确定所述右核线影像上的像素；
根据所述窗口算子、所述左核线影像上的像素、所述估计视差和所述右核线影像上的像素，计算初始视差图约束的匹配代价；
根据所述初始视差图约束的匹配代价计算所述金字塔顶层立体影像中同名像点之间的灰度特征相似性。
4.根据权利要求1所述的基于SRTM约束的卫星影像密集匹配方法，其特征在于，所述对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果，包括：
确定第一一阶惩罚项和第二一阶惩罚项；
通过初始视差图对所述第一一阶惩罚项和所述第二一阶惩罚项进行动态调节，确定半全局密集匹配方法的目标能量函数；
根据所述目标能量函数，确定密集匹配结果。
5.根据权利要求4所述的基于SRTM约束的卫星影像密集匹配方法，其特征在于，所述目标能量函数的表达式为：
Figure FDA0002698753780000021
其中，E表示核线立体影像密集匹配的目标能量函数；D表示密集匹配视差图；Cost(p，dp)表示像素p对应视差dp的匹配代价；IL表示左核线影像；N表示相邻像素组成的集合；q表示像素p的相邻像素；P1表示第一一阶惩罚项系数；P2表示第二一阶惩罚项系数；dp表示像素p的视差；dq表示像素q的视差；
Figure FDA0002698753780000022
分别表示像素p、q在初始视差图上的值；T[·]表示布尔函数，当括号内条件为真时，其值为1，否则为0。
6.根据权利要求4所述的基于SRTM约束的卫星影像密集匹配方法，其特征在于，所述通过初始视差图对所述第一一阶惩罚项和所述第二一阶惩罚项进行动态调节，包括：
判断相邻像素的视差变化是否与所述初始视差图符合，若是，则不对所述第一一阶惩罚项进行调整；反之，则对所述第一一阶惩罚项进行相应调整；
判断所述初始视差图中相邻像素视差是否一致，若是，则增强所述第二一阶惩罚项，用于惩罚相邻像素的视差变化；反之，则削弱所述第二一阶惩罚项，从而鼓励相邻像素的视差变化。
7.根据权利要求3所述的基于SRTM约束的卫星影像密集匹配方法，其特征在于，所述匹配代价的计算公式为：
Figure FDA0002698753780000031
Figure FDA0002698753780000032
其中，Cost(p，dp)表示像素p对应视差dp的匹配代价；
Figure FDA0002698753780000033
表示作用在左核线影像IL上的匹配窗口算子；
Figure FDA0002698753780000034
表示作用在右核线影像IR上的匹配窗口算子；w表示初始视差图约束的大小；
Figure FDA0002698753780000035
表示像素p在初始视差图D0上的值；
Figure FDA0002698753780000036
表示匹配窗口内灰度梯度的均值；α表示灰度梯度的归一化因子；左核线影像为IL，右核线影像为IR，M表示窗口算子；p表示左核线影像上的像素；dp表示像素p的估计视差；p-dp表示右核线影像上的像素。
8.基于SRTM约束的卫星影像密集匹配***，其特征在于，包括：
成像模块，用于根据卫星传感器的成像参数，将卫星立体影像纠正为核线立体像对；
构建模块，用于根据所述核线立体像对构建金字塔的影像，所述金字塔的顶层分辨率与SRTM分辨率保持一致；
初始视差图生成模块，用于将所述SRTM的地形产品投影到金字塔顶层立体影像的左影像中，生成初始视差图；
特征确定模块，用于根据所述初始视差图约束密集匹配过程，在所述金字塔顶层立体影像中确定同名像点之间的灰度特征相似性；
半全局密集匹配模块，用于对所述核线立体影像的匹配代价进行积聚，确定所述金字塔顶层的密集匹配结果；
将所述密集匹配结果作为新的初始视差图，并将所述初始视差图传递至下一级金字塔，重复上述步骤，直至确定金字塔底层的密集匹配结果，获取三维点云。
9.根据权利要求8所述的基于SRTM约束的卫星影像密集匹配***，其特征在于，所述半全局密集匹配模块，包括：
第一确定单元，用于确定第一一阶惩罚项和第二一阶惩罚项；
动态调节单元，用于通过初始视差图对所述第一一阶惩罚项和所述第二一阶惩罚项进行动态调节，确定半全局密集匹配方法的目标能量函数；
第二确定单元，用于根据所述目标能量函数，确定密集匹配结果。
10.基于SRTM约束的卫星影像密集匹配***，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
CN202011014959.2A 2020-09-24 2020-09-24 基于srtm约束的卫星影像密集匹配方法和*** Active CN112233246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011014959.2A CN112233246B (zh) 2020-09-24 2020-09-24 基于srtm约束的卫星影像密集匹配方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011014959.2A CN112233246B (zh) 2020-09-24 2020-09-24 基于srtm约束的卫星影像密集匹配方法和***

Publications (2)

Publication Number Publication Date
CN112233246A true CN112233246A (zh) 2021-01-15
CN112233246B CN112233246B (zh) 2024-04-16

Family

ID=74108147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011014959.2A Active CN112233246B (zh) 2020-09-24 2020-09-24 基于srtm约束的卫星影像密集匹配方法和***

Country Status (1)

Country Link
CN (1) CN112233246B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965742A (zh) * 2021-02-28 2022-01-21 北京中科慧眼科技有限公司 基于多传感融合的稠密视差图提取方法、***和智能终端
CN115689965A (zh) * 2022-12-30 2023-02-03 武汉大学 面向整景卫星影像深度学习密集匹配的多级视差融合方法
CN116299596A (zh) * 2023-05-15 2023-06-23 中山大学 顾及测站基线长度和对流层约束的海上精密单点定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040240725A1 (en) * 2001-10-26 2004-12-02 Li-Qun Xu Method and apparatus for image matching
CN105160702A (zh) * 2015-08-20 2015-12-16 武汉大学 基于LiDAR点云辅助的立体影像密集匹配方法及***
CN105225233A (zh) * 2015-09-15 2016-01-06 武汉大学 一种基于两类膨胀的立体影像密集匹配方法及***
CN107170000A (zh) * 2017-04-18 2017-09-15 武汉市工程科学技术研究院 基于全局块优化的立体影像密集匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040240725A1 (en) * 2001-10-26 2004-12-02 Li-Qun Xu Method and apparatus for image matching
CN105160702A (zh) * 2015-08-20 2015-12-16 武汉大学 基于LiDAR点云辅助的立体影像密集匹配方法及***
CN105225233A (zh) * 2015-09-15 2016-01-06 武汉大学 一种基于两类膨胀的立体影像密集匹配方法及***
CN107170000A (zh) * 2017-04-18 2017-09-15 武汉市工程科学技术研究院 基于全局块优化的立体影像密集匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
季顺平;袁修孝;: "基于RFM的高分辨率卫星遥感影像自动匹配研究", 测绘学报, no. 06 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965742A (zh) * 2021-02-28 2022-01-21 北京中科慧眼科技有限公司 基于多传感融合的稠密视差图提取方法、***和智能终端
CN115689965A (zh) * 2022-12-30 2023-02-03 武汉大学 面向整景卫星影像深度学习密集匹配的多级视差融合方法
CN116299596A (zh) * 2023-05-15 2023-06-23 中山大学 顾及测站基线长度和对流层约束的海上精密单点定位方法
CN116299596B (zh) * 2023-05-15 2023-08-01 中山大学 顾及测站基线长度和对流层约束的海上精密单点定位方法

Also Published As

Publication number Publication date
CN112233246B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN112233246B (zh) 基于srtm约束的卫星影像密集匹配方法和***
KR101554241B1 (ko) 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
US8179393B2 (en) Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
CN106780712B (zh) 联合激光扫描和影像匹配的三维点云生成方法
CN104820991B (zh) 一种基于代价矩阵的多重软约束立体匹配方法
US20120038902A1 (en) Enhancement of range measurement resolution using imagery
CN110866531A (zh) 一种基于三维建模的建筑物特征提取方法、***及存储介质
WO2008034465A1 (en) Method of deriving digital terrain models from digital surface models
WO2011152895A2 (en) Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
CN114241125B (zh) 一种基于多视角卫星影像精细三维建模方法及***
CN110223222A (zh) 图像拼接方法、图像拼接装置和计算机可读存储介质
CN108876861B (zh) 一种地外天体巡视器的立体匹配方法
Beck et al. Volumetric calibration and registration of multiple RGBD-sensors into a joint coordinate system
CN117745537B (zh) 隧道设备温度检测方法、装置、计算机设备和存储介质
CN113506372A (zh) 一种环境重建方法及装置
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
Wan et al. A study in 3d-reconstruction using kinect sensor
CN102012213A (zh) 单副图像测量前景高度的方法
CN113281779B (zh) 一种3d物体快速检测方法、装置、设备及介质
GB2569609A (en) Method and device for digital 3D reconstruction
CN115719320B (zh) 基于遥感影像的倾斜校正稠密匹配方法
Li et al. An efficient dense stereo matching method for planetary rover
CN102236893A (zh) 基于空间位置预测的月面影像图同名像点匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant