CN116468760A - 一种基于各向异性扩散描述的多源遥感图像配准方法 - Google Patents

一种基于各向异性扩散描述的多源遥感图像配准方法 Download PDF

Info

Publication number
CN116468760A
CN116468760A CN202310288607.3A CN202310288607A CN116468760A CN 116468760 A CN116468760 A CN 116468760A CN 202310288607 A CN202310288607 A CN 202310288607A CN 116468760 A CN116468760 A CN 116468760A
Authority
CN
China
Prior art keywords
point
image
feature
matching
pair set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310288607.3A
Other languages
English (en)
Inventor
苏涛
梁远
吕宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310288607.3A priority Critical patent/CN116468760A/zh
Publication of CN116468760A publication Critical patent/CN116468760A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于各向异性扩散描述的多源遥感图像配准方法,包括:对于输入的异源图像对,采用不同方式进行梯度计算;分别对异源图像建立各向异性尺度空间,在滤除噪声的同时对图像边缘保留,并在此基础上建立Harris尺度空间以进行子区域分割和子区域内的特征点提取;对特征的圆形邻域在径向上分割为3个部分,在角度向分割为8个等间隔角度,总共得到24个子区域。在子区域内使用映射后的扩散函数进行特征描述,标准化后得到特征描述子,进而估计得到变换参数θfinal。本发使用非线性扩散方程中的扩散函数对特征点及其邻域进行描述以得到特征描述子,能够减小异源图像中的辐射特性差异以及噪声干扰,增强了特征描述子的独立性和鲁棒性。

Description

一种基于各向异性扩散描述的多源遥感图像配准方法
技术领域
本发明属于遥感图像配准技术领域,具体涉及一种基于各向异性扩散描述的多源遥感图像配准方法。
背景技术
SAR(Synthetic Aperture Radar,合成孔径雷达)图像具有全天、全天候、距离远、覆盖范围广的特点,而光学图像则有利于人类视觉判读,因此光学图像与SAR图像的融合有效地结合了不同图像传感器的优点。图像配准是图像融合过程中的一个关键步骤,是对两幅在不同时间、角度和天气条件下拍摄的相同区域的图像进行对齐。
现有技术中,图像配准的方法主要分为两类:基于区域的方法和基于特征的方法,具体地,基于区域的配准方法主要基于图像中相同区域的相似性度量,但会受成像机制差异的限制,而基于特征的配准方法主要利用点、线和区域特征寻找两幅图像之间的映射关系以实现配准。
基于特征的配准方法主要处理步骤包括特征提取、特征表示、特征匹配、模型建立,其中,特征表示能够将图像中特征邻域的几何信息,包括梯度信息、结构信息、频域信息等通过数学统计的方式将其转化为数字向量表示的方式,便于后续进行同名特征之间的匹配。对于多源图像配准中的特征描述,需要满足以下两个性质:(1)独立性,非同名特征点之间的描述子应该高度可分,使特征匹配时能够高效正确的得到正确匹配;(2)鲁棒性,对于不同源图像的同名特征点,他们的特征描述需要高度相似,避免错误匹配的情况。Lowe等人提出SIFT(Scale Invariant Feature Transform,尺度不变特征变换)描述子,以梯度模值为权重统计特征点方形邻域内的梯度方向直方图,得到特征点的一维向量描述子。Mikolajczyk等人采用对数极坐标系取代SIFT中的方形区域,形成GLOH(GradientLocation and Orientation Histogram,梯度位置与方向直方图),得到更加独立和鲁棒的特征描述子。
可见,现有技术中的图像配准方法都是基于图像梯度信息对特征进行描述,然而,由于多源图像的辐射特性和噪声干扰等差异,导致图像灰度和梯度计算结果出现差异,这对特征的描述带来困难,影响了特征描述子的独立性和鲁棒性。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于各向异性扩散描述的多源遥感图像配准方法。本发明要解决的技术问题通过以下技术方案实现:
本发明实施例提供一种基于各向异性扩散描述的多源遥感图像配准方法,包括:
获取待配准的光学图像与SAR图像;
利用非线性扩散方程分别对所述光学图像和所述SAR图像进行滤波后,基于所述光学图像的第一梯度建立光学图像的各向异性尺度空间ASSO,并基于所述SAR图像的第一梯度建立各向异性尺度空间ASSS
在所述各向异性尺度空间ASSO内,对所述光学图像逐点建立第一Hessian矩阵以生成第一Harris尺度空间,并在所述各向异性尺度空间ASSS内,对所述SAR图像逐点建立第二Hessian矩阵以生成第二Harris尺度空间;
分别在光学图像的第一Harris尺度空间和SAR图像的第二Harris尺度空间中逐层进行特征点检测并为检测到的特征点分配主方向之后,计算特征点的特征向量;
从光学图像和SAR图像中确定参考图像和待配准图像,针对所述参考图像中的特征点PO,分别计算其与待配准图像中每个特征点之间的欧氏距离,将满足第一预设条件的欧式距离对应的特征点对记入粗匹配点对集CM;
剔除所述粗匹配点对集CM中的错误点之后,对所述粗匹配点对集CM中的剩余特征点进行一级匹配,形成细匹配点对集FM并确定变换参数θ;
基于所述细匹配点对集FM生成高置信度匹配点对集Csample和低置信度匹配点对集Ctotal,并对所述高置信度匹配点对集Csample与所述低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal
基于最终的匹配点对集FMfinal估计所述光学图像与所述SAR图像之间的变换参数θfinal,并根据变换参数θfinal将待配准图像变换到参考图像的坐标系下。
在本发明的一个实施例中,利用非线性扩散方程分别对所述光学图像和所述SAR图像进行滤波的步骤之前,还包括:
利用Sobel算子按照如下公式计算所述光学图像中各个目标像素点的第一梯度:
其中,分别表示光学图像中各个目标像素点的第一梯度的幅值和方向,/> 分别表示光学图像中各个目标像素点在水平方向和垂直方向上的第一梯度值,/>为所述光学图像经高斯平滑后的强度值图像,/>分别表示Sobel算在水平方向和垂直方向上的模板,βj为所述光学图像的尺度,j表示尺度空间中的尺度层;
利用Adaptive ROEWA算子计算所述SAR图像中各个目标像素点在水平方向和垂直方向上的局部指数加权平均比值,并根据水平方向和垂直方向上的局部指数加权平均比值按照如下公式计算所述SAR图像中各个目标像素点的第一梯度:
其中,分别表示SAR图像中各个目标像素点的第一梯度的幅值和方向,/> 分别表示SAR图像中各个目标像素点在水平方向和垂直方向上的局部指数加权平均比值,/>分别表示SAR图像中各个目标像素点在水平方向和垂直方向上的第一梯度值,αi为SAR图像中目标点所在尺度层的尺度。
在本发明的一个实施例中,在所述各向异性尺度空间ASSO内,对所述光学图像逐点建立第一Hessian矩阵以生成第一Harris尺度空间,并在所述各向异性尺度空间ASSS内,对所述SAR图像逐点建立第二Hessian矩阵以生成第二Harris尺度空间的步骤,包括:
在所述各向异性尺度空间ASSO内,计算经非线性扩散方程滤波后的SAR图像的第二梯度,并在每一尺度层对应的第二梯度内逐点建立第一Hessian矩阵:
其中,分别表示经非线性扩散方程滤波后的SAR图像中各个目标像素点在水平方向和垂直方向上的第二梯度值,/>表示方差为σi的高斯核,σi=αii,×表示卷积运算;
根据第一Hessian矩阵MSi)生成第一Harris尺度空间:
RSi)=det(MSi))-d·tr(MSi))2
其中,det表示计算矩阵行列式,d表示角点检测因子,tr表示计算矩阵的迹,RSi)表示依照尺度序列{a1,...,αn}生成的Harris尺度空间;
在所述各向异性尺度空间ASSS内,计算经非线性扩散方程滤波后的光学图像的第二梯度,并在每一尺度层对应的第二梯度内逐点建立第二Hessian矩阵:
其中,分别表示经非线性扩散方程滤波后的光学R图像中各个目标像素点在水平方向和垂直方向上的第二梯度值,/>表示方差为βi的高斯核;
根据第二Hessian矩阵MOi)生成第二Harris尺度空间:
ROi)=det(MOi))-d·tr(MOi))2
其中,ROi)表示依照尺度序列{β1,...,βn}生成的Harris尺度空间。
在本发明的一个实施例中,按照如下步骤计算所述特征点的特征向量:
以特征点为圆心、预设长度为半径建立圆形邻域,并将特征点作为极点建立对数坐标系;
沿径向将所述圆形邻域切分为三个部分,并将得到的内心圆和***的两个圆环在弦向上等分为8等份,形成24个子区域;
将所述特征点作为原点、将特征点的主方向作为横轴正方向建立直角坐标系后,将每个所述子区域内的特征点旋转至对应的直角坐标系内;
将180°均分为8等份,以映射后的扩散函数为权重对每个子区域内特征点的主方向进行加和,得到每个特征点对应的长度为192维的一维特征向量。
在本发明的一个实施例中,从光学图像和SAR图像中确定参考图像和待配准图像,针对所述参考图像中的特征点PO,分别计算其与待配准图像中每个特征点之间的欧氏距离,将满足第一预设条件的欧式距离对应的特征点对记入粗匹配点对集CM的步骤,包括:
将光学图像和SAR图像中的一者作为参考图像、另一者作为待配准图像,从所述参考图像的特征点集中选取特征点PO,并计算特征点PO的特征向量与所述待配准图像中每个特征点的特征向量之间的欧氏距离;
当所述欧氏距离中的最小值满足第一预设条件时,将该最小值对应的特征点对记入粗匹配点对集CM。
在本发明的一个实施例中,所述第一预设条件为:
其中,ED1、ED2分别表示所述欧氏距离中的最小值和次小值,Thres为预设阈值。
在本发明的一个实施例中,剔除所述粗匹配点对集CM中的错误点之后,对所述粗匹配点对集CM中的剩余特征点进行一级匹配,形成细匹配点对集FM并确定变换参数θ的步骤,包括:
从所述粗匹配点对集CM中选取任意两个特征点对[Pk,Qk]、[Pl,Ql],分别特征点对[Pk,Qk]对应的欧氏距离与特征点对[Pl,Ql]对应的欧氏距离之比Dkl
遍历所有特征点对之后,对Dkl进行直方图统计;
剔除所述直方图中最小值所对应的特征点对,并计算剩余特征点对的欧氏距离的均方根误差;
检测所述均方根误差是否满足第二预设条件;若否,则返回从所述粗匹配点对集CM中选取任意两个特征点对[Pk,Qk]、[Pl,Ql]的步骤;若是,则将所述剩余特征点对组成的点集作为SC-CM点集对;
利用级联样本一致估计算法对SC-CM点集对进行一级匹配,得到细匹配点集对FM以及变换参数θ。
在本发明的一个实施例中,利用级联样本一致估计算法对SC-CM点集对进行一级匹配,得到细匹配点集对FM以及变换参数θ的步骤,包括:
从所述SC-CM点集中随机选取三个特征点对并计算当前变换参数;
利用当前变换参数对所述粗匹配点对集CM中参考图像的特征点进行变换,并根据所述粗匹配点对集CM中待配准图像的特征点计算误差;
统计使所述误差小于预设阈值的特征点对数量num;
检测是否达到预设迭代次数;若否,则返回从所述SC-CM点集中随机选取三个特征点对并计算当前变换参数的步骤;若是,则统计特征点对数量num的最大值;
获取特征点对数量num的最大值对应的特征点对,形成细匹配点集对FM,并将当前变换参数作为变换参数θ。
在本发明的一个实施例中,并对所述高置信度匹配点对集Csample与所述低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal;的步骤,包括:
将细匹配点对集FM中参考图像的特征点PI按照所述变换参数θ进行映射至待配准图像中,并在所述待配准图像中检测其子区域内是否存在最近的特征点QI
若是,则将特征点对[PI,QI]记入高置信度匹配点对集Csample和低置信度匹配点对集Ctotal;若否,则在所述待配准图像中寻找最近的特征点QJ,并将特征点对记入低置信度匹配点对集Ctotal
利用级联样本一致估计算法对高置信度匹配点对集Csample和低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal
与现有技术相比,本发明的有益效果在于:
本发明实施例提供一种基于各向异性扩散描述的多源遥感图像配准方法,使用非线性扩散方程中的扩散函数对特征点及其邻域进行描述以得到特征描述子,能够减小异源图像中的辐射特性差异以及噪声干扰,增强了特征描述子的独立性和鲁棒性。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的基于各向异性扩散描述的多源遥感图像配准方法的一种流程图;
图2是本发明实施例提供的基于各向异性扩散描述的多源遥感图像配准方法的另一种流程图;
图3a是本发明实施例提供的SAR图像的一种实例图;
图3b是本发明实施例提供的图3a所示SAR图像的梯度模值;
图3c是本发明实施例提供的图3a所示SAR图像的扩散系数;
图3d是本发明实施例提供的图3a所示SAR图像的扩散函数映射结果图;
图4是本发明实施例提供的特征向量的计算示意图;
图5a是本发明实施例提供的光学图像的一种实例图;
图5b是本发明实施例提供的SAR图像的另一种实例图;
图6a是本发明实施例提供的图5a所示的光学图像的特征点检测结果;
图6b是本发明实施例提供的图5b所示的SAR图像的特征点检测结果;
图7是本发明实施例提供的图5a和图5b所示的光学-SAR图像对的特征匹配结果示意图;
图8a是本发明实施例提供的图像配准结果示意图;
图8b是本发明实施例提供的图8a所示的图像配准结果的局部示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
图1是本发明实施例提供的基于各向异性扩散描述的多源遥感图像配准方法的一种流程图。如图1所示,本发明实施例提供一种基于各向异性扩散描述的多源遥感图像配准方法,包括:
S1、获取待配准的光学图像与SAR图像;
S2、利用非线性扩散方程分别对光学图像和SAR图像进行滤波后,基于光学图像的第一梯度建立光学图像的各向异性尺度空间ASSO,并基于SAR图像的第一梯度建立各向异性尺度空间ASSS
S3、在各向异性尺度空间ASSO内,对光学图像逐点建立第一Hessian矩阵以生成第一Harris尺度空间,并在各向异性尺度空间ASSS内,对SAR图像逐点建立第二Hessian矩阵以生成第二Harris尺度空间;
S4、分别在光学图像的第一Harris尺度空间和SAR图像的第二Harris尺度空间中逐层进行特征点检测并为检测到的特征点分配主方向之后,计算特征点的特征向量;
S5、从光学图像和SAR图像中确定参考图像和待配准图像,针对参考图像中的特征点PO,分别计算其与待配准图像中每个特征点之间的欧氏距离,将满足第一预设条件的欧式距离对应的特征点对记入粗匹配点对集CM;
S6、剔除粗匹配点对集CM中的错误点之后,对粗匹配点对集CM中的剩余特征点进行一级匹配,形成细匹配点对集FM并确定变换参数θ;
S7、基于细匹配点对集FM生成高置信度匹配点对集Csample和低置信度匹配点对集Ctotal,并对高置信度匹配点对集Csample与低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal
S8、基于最终的匹配点对集FMfinal估计光学图像与SAR图像之间的变换参数θfinal,并根据变换参数θfinal将待配准图像变换到参考图像的坐标系下。
图2是本发明实施例提供的基于各向异性扩散描述的多源遥感图像配准方法的另一种流程图。如图2所示,利用非线性扩散方程分别对所述光学图像和所述SAR图像进行滤波的步骤之前,还包括:
利用Sobel算子按照如下公式计算所述光学图像中各个目标像素点的第一梯度:
其中,分别表示光学图像中各个目标像素点的第一梯度的幅值和方向,为方便计算,本实施例将Sobel算子简化为矩形窗,/> 分别表示光学图像中各个目标像素点在水平方向和垂直方向上的第一梯度值,/>为所述光学图像经高斯平滑后的强度值图像,/>分别表示Sobel算在水平方向和垂直方向上的模板,βj为所述光学图像的尺度,j表示尺度空间中的尺度层;
利用Adaptive ROEWA算子计算所述SAR图像中各个目标像素点在水平方向和垂直方向上的局部指数加权平均比值,并根据水平方向和垂直方向上的局部指数加权平均比值按照如下公式计算所述SAR图像中各个目标像素点的第一梯度:
其中,分别表示SAR图像中各个目标像素点的第一梯度的幅值和方向,/> 分别表示SAR图像中各个目标像素点在水平方向和垂直方向上的局部指数加权平均比值,/>分别表示SAR图像中各个目标像素点在水平方向和垂直方向上的第一梯度值,αi为SAR图像中目标点所在尺度层的尺度。
上式中,SAR图像中各个目标像素点在水平方向和垂直方向上的局部指数加权平均比值分别表示为:
其中,M,N分别表示计算窗口的行、列数,窗口尺寸与αi成正比,I(x,y)表示SAR图像中坐标为(x,y)处的图像强度,表示图像强度的局部指数加权平均,loc=r,d,l,u,分别表示上、下、左、右四个方向,/>分别表示水平方向和垂直方向上的自适应常数值。
需要说明的是,本实施例通过对分别取对数来计算SAR图像中目标像素点在水平方向与垂直方向上的第一梯度值,能够消除SAR成像过程中由于特殊成像机制而产生的相干斑噪声对图像后续处理的干扰。
另外,为保证光学图像和SAR图像尺度空间一致,在计算二者的第一梯度时,αi和βi需满足:
αi+1i=k
βi+1i=k
α1=β1
其中,k表示尺度空间中相邻两个尺度层之间的尺度比值。
在上述步骤S2中,使用非线性扩散方程对光学图像和SAR图像分别进行滤波,如下式:
其中,L表示输入图像即光学图像或SAR图像,t表示当前尺度,c(x,y,t)为扩散函数,Δ、分别表示散度与梯度计算符,div(·)表示计算散度,扩散函数c(x,y,t)是图像梯度模值的函数,对图像内容的关注点不同,可以采取不同的计算方式,如下:
其中,表示输入图像的第一梯度,K为常数。
对于非线性扩散方程,可以采用加性***算子求解,如下:
最终得到光学图像的各向异性尺度空间ASSO和SAR图像的各向异性尺度空间ASSS
上述步骤S3中,在各向异性尺度空间ASSO内,对光学图像逐点建立第一Hessian矩阵以生成第一Harris尺度空间,并在各向异性尺度空间ASSS内,对SAR图像逐点建立第二Hessian矩阵以生成第二Harris尺度空间的步骤,包括:
S301、在各向异性尺度空间ASSO内,计算经非线性扩散方程滤波后的SAR图像的第二梯度,并在每一尺度层对应的第二梯度内逐点建立第一Hessian矩阵:
其中,分别表示经非线性扩散方程滤波后的SAR图像中各个目标像素点在水平方向和垂直方向上的第二梯度值,/>表示方差为σi的高斯核,σi=αii,×表示卷积运算;
S302、根据第一Hessian矩阵MSi)生成第一Harris尺度空间:
RSi)=det(MSi))-d·tr(MSi))2
其中,det表示计算矩阵行列式,d表示角点检测因子,一般取0.02~0.04,tr表示计算矩阵的迹,RSi)表示依照尺度序列{a1,…,αn}生成的Harris尺度空间;
S303、在各向异性尺度空间ASSS内,计算经非线性扩散方程滤波后的光学图像的第二梯度,并在每一尺度层对应的第二梯度内逐点建立第二Hessian矩阵:
其中,分别表示经非线性扩散方程滤波后的光学R图像中各个目标像素点在水平方向和垂直方向上的第二梯度值,/>表示方差为βi的高斯核;
S304、根据第二Hessian矩阵MOi)生成第二Harris尺度空间:
ROi)=det(MOi))-d·tr(MOi))2
其中,ROi)表示依照尺度序列{β1,...,βn}生成的Harris尺度空间。
需要说明的是,经非线性扩散方程滤波后的SAR图像的第二梯度的计算过程与SAR图像第一梯度的计算方式相同,经非线性扩散方程滤波后的光学图像的第二梯度的计算过程与光学图像第一梯度的计算方式相同,故此处不再赘述。
上述步骤S4中,为了保证检测出的特征点能够均匀的分布在两幅图像中,本实施例在检测前将两幅图像分割为大小相同的5*5个区域,在每个区域中选取角点响应值最大的目标像素点作为预备点。接着,对每一个预备点进行极大值检测,通过检测的目标像素点则为特征点。此外,为保证平坦区域仍能够得到特征点,本实施例同样也对网格交叉点进行检测。
同样的,在计算特征点主方向时,以特征点周围的圆形区域为邻域,圆形区域的半径与其所在尺度层的尺度成正比。由于光学图像与SAR图像不同的成像机理,对于相同目标的成像结果可能出现梯度方向翻转的现象。因此,在计算特征点主方向时,将特征点的梯度方向全部归一化到[0°,180°),将此区间划分为18个子区间,对邻域区域中的特征点进行梯度方向直方图统计后,对得到的直方图进行高斯平滑并插值直方图的最大值,即为得到特征点主方向。
具体地,本实施例中可按照如下步骤计算所述特征点的特征向量:
以特征点为圆心、预设长度为半径建立圆形邻域,并将特征点作为极点建立对数坐标系;
沿径向将圆形邻域切分为三个部分,并将得到的内心圆和***的两个圆环在弦向上等分为8等份,形成24个子区域;
将特征点作为原点、将特征点的主方向作为横轴正方向建立直角坐标系后,将每个子区域内的特征点旋转至对应的直角坐标系内;
将180°均分为8等份,以映射后的扩散函数为权重对每个子区域内特征点的主方向进行加和,得到每个特征点对应的长度为192维的一维特征向量。
图3a是本发明实施例提供的SAR图像的一种实例图,图3b是本发明实施例提供的图3a所示SAR图像的梯度模值,图3c是本发明实施例提供的图3a所示SAR图像的扩散系数,图3d是本发明实施例提供的图3a所示SAR图像的扩散函数映射结果图。由图3a-3d可知,相较于梯度模值,扩散函数在对SAR图像的平坦区域和纹理区域的表达上更清晰,区分度更高。
图4是本发明实施例提供的特征向量的计算示意图。进一步地,如图4所示,在计算特征点的特征向量时,首先以特征点为圆心、以与当前图层尺度成正比的长度如12σi为半径建立圆形邻域,并以特征点为极点建立对数极坐标系;接着将圆形邻域划分为为24个子区域:具体地,沿径向按照3σi、8σi将圆形邻域切分为三个部分,再将内心圆和***的两个圆环在角度上分别等分为8等份,这样就得到了被划分为24个子区域的特征向量计算邻域。
为保证每个特征点对方向的不变性,将特征点的主方向作为直角坐标系的横轴正方向、将特征点作为原点建立直角坐标系,计算直角坐标系下特征点邻域内各像素点的坐标;之后对子区域内的点进行梯度直方图统计:将180°平均分8等份,以映射后的扩散函数为权重、各像素点的梯度方向为索引进行加和,最终对于每个特征点,得到一个长度为192的一维特征向量。为降低特征点对于光照强度的敏感度,在特征向量计算完成后还可以对其进行归一化处理,对特征向量中由于高强度引起的大值进行限幅,之后再一次归一化,保证特征向量的加和归一性。
上述步骤S5中,从光学图像和SAR图像中确定参考图像和待配准图像,针对参考图像中的特征点PO,分别计算其与待配准图像中每个特征点之间的欧氏距离,将满足第一预设条件的欧式距离对应的特征点对记入粗匹配点对集CM的步骤,包括:
将光学图像和SAR图像中的一者作为参考图像、另一者作为待配准图像,从参考图像的特征点集中选取特征点PO,并计算特征点PO的特征向量与待配准图像中每个特征点的特征向量之间的欧氏距离;
当欧氏距离中的最小值满足第一预设条件时,将该最小值对应的特征点对记入粗匹配点对集CM。
本实施中,将光学图像和SAR图像中的一幅图像设定为参考图像、另一幅设定为待配准图像,首先对两幅图像中的特征点进行粗匹配。具体而言,参考图像中的特征点点集记为O,从中选取一个特征点PO,然后将特征点PO与待配准图像的特征点点集S逐点计算特征向量之间的欧式距离,若欧氏距离中的最小值与次小值满足如下所示的第一预设条件,则将最小值对应的特征点对记入粗匹配点对集CM:
其中,ED1、ED2分别表示特征点PO的特征向量与特征点点集S中各特征点的特征向量之间的最小欧式距离和次小欧式距离,Thres为预设阈值。
进一步地,在粗匹配点对集CM的基础上进行特征点细匹配。
上述步骤S6中,剔除粗匹配点对集CM中的错误点之后,对粗匹配点对集CM中的剩余特征点进行一级匹配,形成细匹配点对集FM并确定变换参数θ的步骤,包括:
S601、从粗匹配点对集CM中选取任意两个特征点对[Pk,Qk]、[Pl,Ql],分别特征点对[Pk,Qk]对应的欧氏距离与特征点对[Pl,Ql]对应的欧氏距离之比Dkl
S602、遍历所有特征点对之后,对Dkl进行直方图统计;
S603、剔除直方图中最小值所对应的特征点对,并计算剩余特征点对的欧氏距离的均方根误差;
S604、检测均方根误差是否满足第二预设条件;若否,则返回从粗匹配点对集CM中选取任意两个特征点对[Pk,Qk]、[Pl,Ql]的步骤;若是,则将剩余特征点对组成尺度约束匹配点对集SC-CM;
S605、利用级联样本一致估计算法对SC-CM点集对进行一级匹配,得到细匹配点集对FM以及变换参数θ。
首先对粗匹配点对集CM进行尺度约束,具体地,计算粗匹配点对集CM中任意两个特征点对[Pk,Qk]、[Pl,Ql]之间的欧式距离之比Dkl,其中,Pk、Pl表示参考图像中的特征点,Qk、Ql表示配准图像中的特征点。即:
遍历所有可能的特征点对组合之后,对Dij进行直方图统计,直方图的横轴为Dij区间,纵轴为每个区间累计的点对数,剔除掉直方图中最小值所对应的特征点对,并计算此时的均方根误差(Root Mean Square Error,RMSE)。重复上述步骤直到RMSE的变化在预设范围之内,或者直至剩余三个特征点对。
经过尺度约束处理后得到尺度约束匹配点对集SC-CM,接着使用快速样本一致估计(Fast Sample Consensus,FSC)算法进行第一级匹配,具体步骤如下:
从SC-CM点集中随机选取三个特征点对并计算当前变换参数;
利用当前变换参数对粗匹配点对集CM中参考图像的特征点进行变换,并根据粗匹配点对集CM中待配准图像的特征点计算误差;
统计使误差小于预设阈值的特征点对数量num;
检测是否达到预设迭代次数;若否,则返回从SC-CM点集中随机选取三个特征点对并计算当前变换参数的步骤;若是,则统计特征点对数量num的最大值;
获取特征点对数量num的最大值对应的特征点对,形成细匹配点集对FM,并将当前变换参数作为变换参数θ。
进一步地,对高置信度匹配点对集Csample与低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal;的步骤,包括:
将细匹配点对集FM中参考图像的特征点PI按照变换参数θ进行映射至待配准图像中,并在待配准图像中检测其子区域内是否存在最近的特征点QI
若是,则将特征点对[PI,QI]记入高置信度匹配点对集Csample和低置信度匹配点对集Ctotal;若否,则在待配准图像中寻找最近的特征点QJ,并将特征点对记入低置信度匹配点对集Ctotal
利用级联样本一致估计算法对高置信度匹配点对集Csample和低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal
根据最终的匹配点对集FMfinal,结合不同的图像变换模型如相似变换、仿射变换、射影变换等,可以估计出光学图像与SAR图像之间的变换参数θfinal,根据变换参数θfinal将待配准图像通过相似变换、投影变换、仿射变换变换到参考图像的坐标系下,即完成两幅图像之间的配准工作。一般地,为了考察和检测配准的精确度,可以将配准后的两幅图像通过棋盘网格的形式绘制到一起,通过对比边缘、区域等来反映配准效果。
图5a是本发明实施例提供的光学图像的一种实例图,图5b是本发明实施例提供的SAR图像的另一种实例图。为了验证本发明中所采用的描述子的性能,选取不同场景下的光学-SAR图像对进行配准实验,对比放法有SIFT及OS-SIFT算法。以单一组图像对实验为例,如图5a-5b所示,本实施例中采用的光学图像采集于Google Earth,SAR图像采集于TerraSAR-X,两者分辨率皆为3m。
图6a是本发明实施例提供的图5a所示的光学图像的特征点检测结果,图6b是本发明实施例提供的图5b所示的SAR图像的特征点检测结果。如图6a-6b所示,由于本发明采用分块提取的方法,因此两幅图像的特征数量较为接近。图7是本发明实施例提供的图5a和图5b所示的光学-SAR图像对的特征匹配结果示意图。本发明中使用的描述子具有更好的独立性和鲁棒性,这在特征匹配时表现出更高的匹配数量和匹配精度,三种图像配准方法的结果对比如表1所示,其中CMR为准确匹配率,反映算法的稳定性;RMSE为均方误差根,反映算法的精确性。图8a是本发明实施例提供的图像配准结果示意图,图8b是本发明实施例提供的图8a所示的图像配准结果的局部示意图。从图8a-8b以及表1中可以看出,本发明提出的配准方法,能够在算法的稳定性和精确性上由于目前已有的其余两种算法。
表1实验结果(*表示配准失败)
通过上述各实施例可知,本发明的有益效果在于:
本发明实施例提供一种基于各向异性扩散描述的多源遥感图像配准方法,使用非线性扩散方程中的扩散函数对特征点及其邻域进行描述以得到特征描述子,能够减小异源图像中的辐射特性差异以及噪声干扰,增强了特征描述子的独立性和鲁棒性。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外,本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,包括:
获取待配准的光学图像与SAR图像;
利用非线性扩散方程分别对所述光学图像和所述SAR图像进行滤波后,基于所述光学图像的第一梯度建立光学图像的各向异性尺度空间ASSO,并基于所述SAR图像的第一梯度建立各向异性尺度空间ASSS
在所述各向异性尺度空间ASSO内,对所述光学图像逐点建立第一Hessian矩阵以生成第一Harris尺度空间,并在所述各向异性尺度空间ASSS内,对所述SAR图像逐点建立第二Hessian矩阵以生成第二Harris尺度空间;
分别在光学图像的第一Harris尺度空间和SAR图像的第二Harris尺度空间中逐层进行特征点检测并为检测到的特征点分配主方向之后,计算特征点的特征向量;
从光学图像和SAR图像中确定参考图像和待配准图像,针对所述参考图像中的特征点PO,分别计算其与待配准图像中每个特征点之间的欧氏距离,将满足第一预设条件的欧式距离对应的特征点对记入粗匹配点对集CM;
剔除所述粗匹配点对集CM中的错误点之后,对所述粗匹配点对集CM中的剩余特征点进行一级匹配,形成细匹配点对集FM并确定变换参数θ;
基于所述细匹配点对集FM生成高置信度匹配点对集Csample和低置信度匹配点对集Ctotal,并对所述高置信度匹配点对集Csample与所述低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal
基于最终的匹配点对集FMfinal估计所述光学图像与所述SAR图像之间的变换参数θfinal,并根据变换参数θfinal将待配准图像变换到参考图像的坐标系下。
2.根据权利要求1所述的基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,利用非线性扩散方程分别对所述光学图像和所述SAR图像进行滤波的步骤之前,还包括:
利用Sobel算子按照如下公式计算所述光学图像中各个目标像素点的第一梯度:
其中,分别表示光学图像中各个目标像素点的第一梯度的幅值和方向, 分别表示光学图像中各个目标像素点在水平方向和垂直方向上的第一梯度值,/>为所述光学图像经高斯平滑后的强度值图像,/>分别表示Sobel算在水平方向和垂直方向上的模板,βj为所述光学图像的尺度,j表示尺度空间中的尺度层;
利用Adaptive ROEWA算子计算所述SAR图像中各个目标像素点在水平方向和垂直方向上的局部指数加权平均比值,并根据水平方向和垂直方向上的局部指数加权平均比值按照如下公式计算所述SAR图像中各个目标像素点的第一梯度:
其中,分别表示SAR图像中各个目标像素点的第一梯度的幅值和方向, 分别表示SAR图像中各个目标像素点在水平方向和垂直方向上的局部指数加权平均比值,/>分别表示SAR图像中各个目标像素点在水平方向和垂直方向上的第一梯度值,αi为SAR图像中目标点所在尺度层的尺度。
3.根据权利要求2所述的基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,在所述各向异性尺度空间ASSO内,对所述光学图像逐点建立第一Hessian矩阵以生成第一Harris尺度空间,并在所述各向异性尺度空间ASSS内,对所述SAR图像逐点建立第二Hessian矩阵以生成第二Harris尺度空间的步骤,包括:
在所述各向异性尺度空间ASSO内,计算经非线性扩散方程滤波后的SAR图像的第二梯度,并在每一尺度层对应的第二梯度内逐点建立第一Hessian矩阵:
其中,分别表示经非线性扩散方程滤波后的SAR图像中各个目标像素点在水平方向和垂直方向上的第二梯度值,/>表示方差为σi的高斯核,σi=αii,×表示卷积运算;
根据第一Hessian矩阵MSi)生成第一Harris尺度空间:
RSi)=det(MSi))-d·tr(MSi))2
其中,det表示计算矩阵行列式,d表示角点检测因子,tr表示计算矩阵的迹,RSi)表示依照尺度序列{a1,...,αn}生成的Harris尺度空间;
在所述各向异性尺度空间ASSS内,计算经非线性扩散方程滤波后的光学图像的第二梯度,并在每一尺度层对应的第二梯度内逐点建立第二Hessian矩阵:
其中,分别表示经非线性扩散方程滤波后的光学R图像中各个目标像素点在水平方向和垂直方向上的第二梯度值,/>表示方差为βi的高斯核;
根据第二Hessian矩阵MOi)生成第二Harris尺度空间:
ROi)=det(MOi))-d·tr(MOi))2
其中,ROi)表示依照尺度序列{β1,...,βn}生成的Harris尺度空间。
4.根据权利要求1所述的基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,按照如下步骤计算所述特征点的特征向量:
以特征点为圆心、预设长度为半径建立圆形邻域,并将特征点作为极点建立对数坐标系;
沿径向将所述圆形邻域切分为三个部分,并将得到的内心圆和***的两个圆环在弦向上等分为8等份,形成24个子区域;
将所述特征点作为原点、将特征点的主方向作为横轴正方向建立直角坐标系后,将每个所述子区域内的特征点旋转至对应的直角坐标系内;
将180°均分为8等份,以映射后的扩散函数为权重对每个子区域内特征点的主方向进行加和,得到每个特征点对应的长度为192维的一维特征向量。
5.根据权利要求1所述的基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,从光学图像和SAR图像中确定参考图像和待配准图像,针对所述参考图像中的特征点PO,分别计算其与待配准图像中每个特征点之间的欧氏距离,将满足第一预设条件的欧式距离对应的特征点对记入粗匹配点对集CM的步骤,包括:
将光学图像和SAR图像中的一者作为参考图像、另一者作为待配准图像,从所述参考图像的特征点集中选取特征点PO,并计算特征点PO的特征向量与所述待配准图像中每个特征点的特征向量之间的欧氏距离;
当所述欧氏距离中的最小值满足第一预设条件时,将该最小值对应的特征点对记入粗匹配点对集CM。
6.根据权利要求5所述的基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,所述第一预设条件为:
其中,ED1、ED2分别表示所述欧氏距离中的最小值和次小值,Thres为预设阈值。
7.根据权利要求5所述的基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,剔除所述粗匹配点对集CM中的错误点之后,对所述粗匹配点对集CM中的剩余特征点进行一级匹配,形成细匹配点对集FM并确定变换参数θ的步骤,包括:
从所述粗匹配点对集CM中选取任意两个特征点对[Pk,Qk]、[Pl,Ql],分别特征点对[Pk,Qk]对应的欧氏距离与特征点对[Pl,Ql]对应的欧氏距离之比Dkl
遍历所有特征点对之后,对Dkl进行直方图统计;
剔除所述直方图中最小值所对应的特征点对,并计算剩余特征点对的欧氏距离的均方根误差;
检测所述均方根误差是否满足第二预设条件;若否,则返回从所述粗匹配点对集CM中选取任意两个特征点对[Pk,Qk]、[Pl,Ql]的步骤;若是,则将所述剩余特征点对组成的点集作为SC-CM点集对;
利用级联样本一致估计算法对SC-CM点集对进行一级匹配,得到细匹配点集对FM以及变换参数θ。
8.根据权利要求7所述的基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,利用级联样本一致估计算法对SC-CM点集对进行一级匹配,得到细匹配点集对FM以及变换参数θ的步骤,包括:
从所述SC-CM点集中随机选取三个特征点对并计算当前变换参数;
利用当前变换参数对所述粗匹配点对集CM中参考图像的特征点进行变换,并根据所述粗匹配点对集CM中待配准图像的特征点计算误差;
统计使所述误差小于预设阈值的特征点对数量num;
检测是否达到预设迭代次数;若否,则返回从所述SC-CM点集中随机选取三个特征点对并计算当前变换参数的步骤;若是,则统计特征点对数量num的最大值;
获取特征点对数量num的最大值对应的特征点对,形成细匹配点集对FM,并将当前变换参数作为变换参数θ。
9.根据权利要求8所述的基于各向异性扩散描述的多源遥感图像配准方法,其特征在于,并对所述高置信度匹配点对集Csample与所述低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal;的步骤,包括:
将细匹配点对集FM中参考图像的特征点PI按照所述变换参数θ进行映射至待配准图像中,并在所述待配准图像中检测其子区域内是否存在最近的特征点QI
若是,则将特征点对[PI,QI]记入高置信度匹配点对集Csample和低置信度匹配点对集Ctotal;若否,则在所述待配准图像中寻找最近的特征点QJ,并将特征点对记入低置信度匹配点对集Ctotal
利用级联样本一致估计算法对高置信度匹配点对集Csample和低置信度匹配点对集Ctotal进行二级匹配,形成最终的匹配点对集FMfinal
CN202310288607.3A 2023-03-22 2023-03-22 一种基于各向异性扩散描述的多源遥感图像配准方法 Pending CN116468760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310288607.3A CN116468760A (zh) 2023-03-22 2023-03-22 一种基于各向异性扩散描述的多源遥感图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310288607.3A CN116468760A (zh) 2023-03-22 2023-03-22 一种基于各向异性扩散描述的多源遥感图像配准方法

Publications (1)

Publication Number Publication Date
CN116468760A true CN116468760A (zh) 2023-07-21

Family

ID=87177991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310288607.3A Pending CN116468760A (zh) 2023-03-22 2023-03-22 一种基于各向异性扩散描述的多源遥感图像配准方法

Country Status (1)

Country Link
CN (1) CN116468760A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824516A (zh) * 2023-08-30 2023-09-29 中冶路桥建设有限公司 一种涉路施工安全监测及管理***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824516A (zh) * 2023-08-30 2023-09-29 中冶路桥建设有限公司 一种涉路施工安全监测及管理***
CN116824516B (zh) * 2023-08-30 2023-11-21 中冶路桥建设有限公司 一种涉路施工安全监测及管理***

Similar Documents

Publication Publication Date Title
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
US10198858B2 (en) Method for 3D modelling based on structure from motion processing of sparse 2D images
CN111080529A (zh) 一种加强鲁棒性的无人机航拍图像拼接方法
Palenichka et al. Automatic extraction of control points for the registration of optical satellite and LiDAR images
CN110569861B (zh) 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN104318548A (zh) 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
CN112163622B (zh) 全局与局部融合约束的航空宽基线立体像对线段匹配方法
CN109711321B (zh) 一种结构自适应的宽基线影像视角不变直线特征匹配方法
Bejanin et al. Model validation for change detection [machine vision]
CN114973028B (zh) 一种航拍视频图像实时变化检测方法及***
CN112183434B (zh) 建筑物变化检测方法和装置
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
Fei et al. Ossim: An object-based multiview stereo algorithm using ssim index matching cost
CN116468760A (zh) 一种基于各向异性扩散描述的多源遥感图像配准方法
CN113643334A (zh) 基于结构相似性的异源遥感图像配准方法
Xiong et al. Robust SAR image registration using rank-based ratio self-similarity
CN116883464A (zh) 一种针对大视角差异光学与sar遥感图像的配准方法
Huang et al. SAR and optical images registration using shape context
CN114529681A (zh) 一种手持双相机建筑物温度场三维模型构建方法和***
Jin et al. Registration of UAV images using improved structural shape similarity based on mathematical morphology and phase congruency
JP4424797B2 (ja) 立体形状検出方法
CN116612165A (zh) 一种针对大视角差异sar图像的配准方法
Zhu et al. A filtering strategy for interest point detecting to improve repeatability and information content
CN114565653A (zh) 一种存在旋转变化和尺度差异的异源遥感图像匹配方法
Zhou et al. Occlusion detection for urban aerial true orthoimage generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination