CN112801141A - 基于模板匹配和孪生神经网络优化的异源图像匹配方法 - Google Patents

基于模板匹配和孪生神经网络优化的异源图像匹配方法 Download PDF

Info

Publication number
CN112801141A
CN112801141A CN202110022206.4A CN202110022206A CN112801141A CN 112801141 A CN112801141 A CN 112801141A CN 202110022206 A CN202110022206 A CN 202110022206A CN 112801141 A CN112801141 A CN 112801141A
Authority
CN
China
Prior art keywords
image
matching
point
neural network
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110022206.4A
Other languages
English (en)
Other versions
CN112801141B (zh
Inventor
赵岩
林建宇
李灵珊
王世刚
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110022206.4A priority Critical patent/CN112801141B/zh
Publication of CN112801141A publication Critical patent/CN112801141A/zh
Application granted granted Critical
Publication of CN112801141B publication Critical patent/CN112801141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

基于模板匹配和孪生神经网络优化的异源图像匹配方法，属于计算机图像处理领域，解决了目前异源图像匹配存在的困难及Sobel算子进行特征提取时存在的轮廓边缘较粗、定位精度不高的问题。该方法包括：SAR图像预处理；图像半像素处理；基于Sobel算子的素描图像转换；模板匹配；孪生神经网络精匹配。本发明适用于基于模板匹配对两幅相同区域场景的不同大小的异源图像进行匹配的图像处理操作。本发明在模板匹配的过程中，将异源图像进行了基于Sobel算子的素描图像转换，增强了匹配效果，且后续应用改进的孪生神经网络进行精匹配，使得异源图像匹配效果更好，匹配精度更高。

Description

基于模板匹配和孪生神经网络优化的异源图像匹配方法
技术领域
本发明属于计算机图像处理技术领域，具体涉及一种基于模板匹配和孪生神经网络优化的异源图像匹配方法。
背景技术
图像匹配是计算机视觉和图像处理领域中一项非常重要的工作，主要用于将不同时间、不同传感器、不同视角以及不同拍摄条件下获取的两幅或多幅图像进行匹配。图像匹配是多种图像处理及应用的基础，匹配的效果直接影响到其后续图像的处理及应用工作。
异源图像匹配，是指通过不同源传感器获取的图像，对图像内容、特征、结构、关系、纹理、灰度等的对应关系进行相似性和一致性分析，寻求相同图像目标的过程。异源图像匹配方法可以大致分为两类：基于区域的匹配方法和基于特征的匹配方法。基于区域的匹配方法直接利用图像的灰度信息或者灰度信息的某种变换进行相似性度量。这种方法按照灰度等级进行集合划分，集合与集合之间往往存在一定的对应关系，这种对应关系在解决异源图像匹配时是不需要灰度映射约束，也不需要提取特征的过程。它以模板为单位，根据某种相似性度量准则，在图像的各个位置计算当前窗口与模板的相似程度，因此该方法的重点在于相似性度量准则的设计上。
异源图像之间相同像素点的灰度等级差异很大，但由于是对同一区域的图像采集，通过对图像进行边缘检测后还是能够清晰的分辨出目标区域的边缘信息。所采用的边缘检测主要包括Canny算子、Prewitt算子和Sobel算子等方法，其中的Sobel算子是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量。Sobel算子有两个，一个是检测水平边缘的，另一个是检测垂直边缘的。与Prewitt算子相比，Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果更好。然而，Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘，对噪声具有平滑作用，提供较为精确的边缘方向信息，但是边缘定位精度不够高；而且，Sobel算子检测提取的边缘图像的边缘较粗，图像并不是期望的结果，导致匹配时的误差范围较大。
发明内容
鉴于异源图像匹配存在的困难以及Sobel算子进行特征提取时存在的轮廓边缘较粗、定位精度不高的问题，本发明提供一种基于模板匹配和孪生神经网络优化的异源图像匹配方法。本发明的方法主要适用于基于模板匹配对两幅相同区域场景的不同大小的异源图像进行匹配的图像处理操作。本发明在模板匹配的过程中，将异源图像进行了基于Sobel算子的素描图像转换，增强了匹配效果，并且后续应用改进的孪生神经网络进行精匹配，使得异源图像匹配效果更好，匹配精度更高。
本发明为解决技术问题所采用的技术方案如下：
本发明的基于模板匹配和孪生神经网络优化的异源图像匹配方法，包括以下步骤：
步骤一、SAR图像预处理；
步骤二、图像半像素处理；
步骤三、基于Sobel算子的素描图像转换；
步骤四、模板匹配；
步骤五、孪生神经网络精匹配。
进一步的，步骤一的具体操作步骤如下：
对待匹配的SAR图像进行中值滤波处理以去除SAR图像的光斑和斑点噪声得到去噪图像。
更进一步的，所述中值滤波的公式如下：
y(i)＝Med[x(i-N),...,x(i),...,x(i+N)]
式中，定义一个长度为奇数的L长窗口，L＝2N+1，N为正整数，设在某一个时刻，窗口内的信号样本值为x(i-N)，…，x(i)，…，x(i+N)，其中x(i)为位于窗口中心的信号样本值，y(i)表示中值滤波的输出值，Med表示取中值计算。
进一步的，步骤二的具体操作步骤如下：
采用双线性插值法分别对光学图像和经预处理后的SAR图像进行半像素处理，将图像的尺寸变换为原始图像的四倍。
更进一步的，所述双线性插值法的公式如下：
Figure BDA0002888982830000031
Figure BDA0002888982830000032
Figure BDA0002888982830000033
式中，f(R1)表示R1点的像素值，f(R2)表示R2点的像素值，f(A1)表示A1点的像素值，f(A2)表示A2点的像素值，f(A3)表示A3点的像素值，f(A4)表示A4点的像素值，f(P)表示未知点P的像素值，x1表示已知点A1、A3的横坐标，x2表示已知点A2、A4的横坐标，y1表示已知点A1、A2的纵坐标，y2表示已知点A3、A4的纵坐标，m表示未知点P的横坐标，n表示未知点P的纵坐标，R1表示与A1同纵坐标、与未知点P同横坐标的坐标点，R2表示与A3同纵坐标、与未知点P同横坐标的坐标点，A1表示图像左上角像素点的坐标点，A2表示图像右上角像素点的坐标点，A3表示图像左下角像素点的坐标点，A4表示图像右下角像素点的坐标点，A1、A2、A3、A4均为已知的；
已知A1和A4的坐标，求其区域内未知点P的坐标。
进一步的，步骤三的具体操作步骤如下：
S3.1利用Sobel算子进行边缘特征提取
利用Sobel边缘滤波器进行光学图像和SAR图像边缘特征提取：Sobel算子的卷积核为水平检测卷积核和垂直检测卷积核，将卷积核分别应用于输入图像，以生成每个方向上的梯度分量的单独测量值，以A表示原始图像，Gx和Gy分别表示经横向及纵向边缘检测的图像灰度值，则其计算公式如下：
Figure BDA0002888982830000041
Figure BDA0002888982830000042
将Gx和Gy组合在一起以找到每个点处的梯度G的绝对值大小及该梯度G的方向；将某一点处的梯度G的绝对值与整张图像灰度值的中间值相比较，若该点处的梯度G大于整张图像灰度值的中间值，则认为该点为边缘点；
S3.2非极大值抑制
采用非极大值抑制对S3.1中得到的图像进行处理，边缘细化后对图像进行平滑处理得到对应的素描图像。
进一步的，步骤四的具体操作步骤如下：
根据得到的素描图像进行模板匹配，将SAR素描图像在光学素描图像中的所在区域匹配出来，用矩形框框出，并输出该矩形框在光学素描图像中的左上角像素点，输出以该左上角像素点为中心的相邻九个像素点。
更进一步的，所述模板匹配采用归一化相关系数匹配算法，其计算公式如下：
Figure BDA0002888982830000051
式中，R(x，y)表示匹配结果，T′表示模板图像，I′表示待匹配图像，x表示划窗块左上角在待匹配图像中的横坐标，y表示划窗块左上角在待匹配图像中的纵坐标，x′表示划窗块内各像素点横坐标，y′表示划窗块内各像素点纵坐标。
进一步的，步骤五的具体操作步骤如下：
将训练集中已配准的光学图像和SAR图像作为训练集输入到孪生神经网络的两个输入端中进行训练，并输出训练后的模型，调用该模型对模板匹配输出的以左上角像素点为中心的九个像素点进行图像匹配，并输出相识度最高的图像作为最终的SAR图像在光学图像的区域，并输出相识度最高的图像对应的像素点坐标作为最后的结果。
更进一步的，所述孪生神经网络包括两个输入端、两个神经网络、Loss模块；将两个输入图像分别输入两个神经网络，这两个神经网络分别将输入图像映射到新的空间，形成输入图像在新的空间中的表示；最后通过Loss的计算，评价两个输入图像的相似度。
本发明的有益效果是：
本发明从边缘检测入手，对异源图像进行处理，以便后续的匹配工作。本发明通过对待匹配的SAR图像进行中值滤波处理，能够去除SAR图像的光斑以及斑点噪声从而得到去噪图像；采用双线性插值法分别对光学图像和经过中值滤波处理后的SAR图像进行半像素处理，再进行基于Sobel算子的素描图像转换，在此步骤中在Sobel算子之后运用非极大值抑制进行进一步处理得到边缘细化后的图像，以解决现有Sobel算子提取边缘图像较粗的问题；对处理后的素描图像进行模板匹配，得到大致匹配点坐标；采用孪生神经网络在以得到的坐标点为中心的九个像素点之间分别进行匹配，选取最优点进行输出，得到最后匹配坐标，以解决边缘定位精度不够的问题。本发明通过对不同源图像进行边缘检测及模板匹配，克服了现有匹配方法中由于异源图像成像原理不同导致的匹配困难的问题，同时采用模板匹配降低了匹配结果的误差，后续采用孪生神经网络在匹配结果邻域内进行匹配比较，则进一步提高了匹配的精确度。
附图说明
图1为本发明的基于模板匹配和孪生神经网络优化的异源图像匹配方法的流程图。
图2为孪生神经网络的结构示意图。
图3为海港场景下两种方法对比图。a表示现有原始亮度图像的SIFT匹配方法的匹配结果，b表示待匹配的SAR图像，c表示本发明的匹配结果。
图4为城市场景下两种方法对比图。a表示现有原始亮度图像的SIFT匹配方法的匹配结果，b表示待匹配的SAR图像，c表示本发明的匹配结果。
图5为河流场景下两种方法对比图。a表示现有原始亮度图像的SIFT匹配方法的匹配结果，b表示待匹配的SAR图像，c表示本发明的匹配结果。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本发明的核心在于：对于待匹配的异源图像，在进行模板匹配的过程中，通过基于Sobel算子的素描图像转换，从而降低了匹配难度与复杂度，形成了更加适合模板匹配的素描图像，后续通过孪生神经网络进行进一步精匹配，提高匹配精确度。
如图1所示，本发明的基于模板匹配和孪生神经网络优化的异源图像匹配方法，主要包括以下步骤：
步骤一、SAR图像预处理
素描图像在进行图像匹配时能更好的根据图像中的轮廓信息进行较为精确的匹配。由于本发明针对的图像是光学图像与SAR图像的异源图像匹配，而SAR图像的成像原理使其具有相干斑点噪声，因此要先对其进行预处理。Sobel算子是一种离散性的差分算子，它是将图像中每个像素的上下左右四个相邻像素点的灰度值加权差，在边缘处达到极值从而实现图像边缘的检测。本发明使用Sobel算子来对SAR图像进行预处理，具体包括以下步骤：
对SAR图像进行中值滤波处理，中值滤波的公式如下：
y(i)＝Med[x(i-N),...,x(i),...,x(i+N)]
式中，定义一个长度为奇数的L长窗口，L＝2N+1，N为正整数，设在某一个时刻，窗口内的信号样本值为x(i-N)，…，x(i)，…，x(i+N)，其中x(i)为位于窗口中心的信号样本值，y(i)表示中值滤波的输出值，Med表示取中值计算。
将待匹配的SAR图像进行中值滤波能够去除SAR图像的光斑以及斑点噪声从而得到去噪图像。
步骤二、图像半像素处理
采用双线性插值法分别对光学图像和经过中值滤波处理后的SAR图像进行半像素处理，将图像的尺寸变换为原始图像的四倍，其中，双线性插值法的公式如下：
Figure BDA0002888982830000071
Figure BDA0002888982830000072
Figure BDA0002888982830000081
式中，f(R1)表示R1点的像素值，f(R2)表示R2点的像素值，f(A1)表示A1点的像素值，f(A2)表示A2点的像素值，f(A3)表示A3点的像素值，f(A4)表示A4点的像素值，f(P)表示未知点P的像素值，x1表示已知点A1、A3的横坐标，x2表示已知点A2、A4的横坐标，y1表示已知点A1、A2的纵坐标，y2表示已知点A3、A4的纵坐标，m表示未知点P的横坐标，n表示未知点P的纵坐标，R1表示与A1同纵坐标、与未知点P同横坐标的坐标点，R2表示与A3同纵坐标、与未知点P同横坐标的坐标点，A1表示图像左上角像素点的坐标点，A2表示图像右上角像素点的坐标点，A3表示图像左下角像素点的坐标点，A4表示图像右下角像素点的坐标点，A1、A2、A3、A4均为已知的。
已知A1和A4的坐标，求其区域内未知点P的坐标。
步骤三、基于Sobel算子的素描图像转换
S3.1利用Sobel算子进行边缘特征提取
相比于canny等其它算子，在实际提取SAR图像边缘轮廓时Sobel算子的特征效果较好且对边缘定位较为准确，能更好地处理灰度渐变和噪声较多的SAR图像，因此本发明选择Sobel边缘滤波器进行光学图像和SAR图像边缘特征提取。
Sobel算子所采用的卷积核可分为水平检测卷积核和垂直检测卷积核，可以将卷积核分别应用于输入图像，以生成每个方向上的梯度分量的单独测量值，如果以A表示原始图像，Gx和Gy分别表示经横向及纵向边缘检测的图像灰度值，则其计算公式如下：
Figure BDA0002888982830000091
Figure BDA0002888982830000092
将Gx和Gy组合在一起以找到每个点处的梯度G的绝对值大小以及该梯度G的方向。将某一点处的梯度G的绝对值与整张图像灰度值的中间值相比较，如果该点处的梯度G的绝对值大于整张图像灰度值的中间值，则认为该点为边缘点。
S3.2非极大值抑制
由于Sobel算子进行边缘特征提取时存在轮廓边缘较粗的问题，因此本发明采取了非极大值抑制对S3.1中得到的图像进行处理，边缘细化后对图像进行平滑处理得到素描图像。
步骤四、模板匹配
根据得到的素描图像进行模板匹配，将SAR素描图像在光学素描图像中的所在区域匹配出来，并用矩形框框出，并输出该矩形框在光学素描图像中的左上角像素点以作为匹配结果及精度指标。
所应用的模板匹配算法(Template Matching)是在一幅图像中寻找一个特定目标的方法之一，这种方法的原理非常简单，遍历图像中的每一个可能的位置，比较各处与模板的相似度，输出相似度最高的区域作为目标区域，经比较，模板匹配中的归一化相关系数匹配算法(CV_T M_CCOEFF_NORMED)匹配精确度较高，其计算公式如下：
Figure BDA0002888982830000093
式中，R(x，y)表示匹配结果，T′表示模板图像，I′表示待匹配图像，x表示划窗块左上角在待匹配图像中的横坐标，y表示划窗块左上角在待匹配图像中的纵坐标，x′表示划窗块内各像素点横坐标，y′表示划窗块内各像素点纵坐标。
经过模板匹配后，输出以左上角像素点为中心的相邻九个像素点
步骤五、孪生神经网络精匹配
首先使用作为训练集的对应已配准的光学图像和SAR图像输入到孪生神经网络的两个输入端中进行训练，并输出训练后的模型，调用该模型对模板匹配输出的以左上角像素点为中心的九个像素点进行图像匹配，并输出相识度最高的图像作为最终的SAR图像在光学图像的区域，并输出相似度最高的图像对应的像素点坐标为最后的结果。
孪生神经网络的结构如图2所示。孪生神经网络的用途就是衡量两个输入的相似程度。孪生神经网络有两个输入(Input1和Input2)，将两个输入图像分别输入两个神经网络(Network1和Network2)，这两个神经网络分别将输入图像映射到新的空间，形成输入图像在新的空间中的表示。通过Loss的计算，评价两个输入图像的相似度。
利用改进后的孪生神经网络对以左上角像素点为中心的九个像素点进行图片匹配，选择其中最优的像素点坐标作为结果进行输出。
具体实施方式一
下面以具体的测试来验证本发明提供的方法的可行性。将本发明的方法与现有模板匹配方法在特征点提取、正确匹配率和匹配速度三个方面展开对比分析。
1、工作条件
本实验采用intel core i9-9900k [email protected]*16处理器，运行Windows10的PC机，显卡是2块GeForce RTX 1080Ti，编程语言为Python语言。
2、实验内容与结果分析
如图3所示，通过比对原始SAR图像可以看出，本发明匹配的图像结果更加相似，再通过进一步输出两个匹配结果的左上角像素点与实际SAR图像在光学图像的左上角像素点进行测试并输出像素点误差小于5的准确率，如表1所示，由此证明本发明的方法准确率大为提高。
其中，正确匹配率的计算公式如下：
Figure BDA0002888982830000111
式中，P为正确匹配率，Q为匹配误差小于等于5个像素的正确匹配数，N为总匹配数。
在不同情况下，本发明与现有模板匹配方法的对比结果如图3至图5所示。实验分别在港口(图3)、城市(图4)、河流(图5)三个场景进行对比，正确匹配率的结果如表1所示。
通过图3至图5以及表1可以看出，在不同情况下，本发明的正确匹配率均高于现有的模板匹配方法。
表1正确匹配率比较结果(％)
传统模板匹配方法 本发明
港口 61.33 91.58
城市 65.47 88.72
河流 52.19 79.65
由以上三个实验结果表明，本发明通过基于Sobel算子的素描图像转换，消除了有关异源图像成像原理不同导致的图像在灰度、亮度、颜色等特征上的共性特征难以取得，从而难以匹配的问题，形成了具有图像信息的素描图像，从而降低了匹配的难度，后续添加了孪生神经网络进行精匹配，解决了匹配准确率低的问题。同时，所采用的孪生神经网络结构较为简单，使得在应用时匹配速率较快。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，包括以下步骤：
步骤一、SAR图像预处理；
步骤二、图像半像素处理；
步骤三、基于Sobel算子的素描图像转换；
步骤四、模板匹配；
步骤五、孪生神经网络精匹配。
2.根据权利要求1所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，步骤一的具体操作步骤如下：
对待匹配的SAR图像进行中值滤波处理以去除SAR图像的光斑和斑点噪声得到去噪图像。
3.根据权利要求2所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，所述中值滤波的公式如下：
y(i)＝Med[x(i-N),...,x(i),...,x(i+N)]
式中，定义一个长度为奇数的L长窗口，L＝2N+1，N为正整数，设在某一个时刻，窗口内的信号样本值为x(i-N)，…，x(i)，…，x(i+N)，其中x(i)为位于窗口中心的信号样本值，y(i)表示中值滤波的输出值，Med表示取中值计算。
4.根据权利要求1所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，步骤二的具体操作步骤如下：
采用双线性插值法分别对光学图像和经预处理后的SAR图像进行半像素处理，将图像的尺寸变换为原始图像的四倍。
5.根据权利要求4所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，所述双线性插值法的公式如下：
Figure FDA0002888982820000021
Figure FDA0002888982820000022
Figure FDA0002888982820000023
式中，f(R1)表示R1点的像素值，f(R2)表示R2点的像素值，f(A1)表示A1点的像素值，f(A2)表示A2点的像素值，f(A3)表示A3点的像素值，f(A4)表示A4点的像素值，f(P)表示未知点P的像素值，x1表示已知点A1、A3的横坐标，x2表示已知点A2、A4的横坐标，y1表示已知点A1、A2的纵坐标，y2表示已知点A3、A4的纵坐标，m表示未知点P的横坐标，n表示未知点P的纵坐标，R1表示与A1同纵坐标、与未知点P同横坐标的坐标点，R2表示与A3同纵坐标、与未知点P同横坐标的坐标点，A1表示图像左上角像素点的坐标点，A2表示图像右上角像素点的坐标点，A3表示图像左下角像素点的坐标点，A4表示图像右下角像素点的坐标点，A1、A2、A3、A4均为已知的；
已知A1和A4的坐标，求其区域内未知点P的坐标。
6.根据权利要求1所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，步骤三的具体操作步骤如下：
S3.1利用Sobel算子进行边缘特征提取
利用Sobel边缘滤波器进行光学图像和SAR图像边缘特征提取：Sobel算子的卷积核为水平检测卷积核和垂直检测卷积核，将卷积核分别应用于输入图像，以生成每个方向上的梯度分量的单独测量值，以A表示原始图像，Gx和Gy分别表示经横向及纵向边缘检测的图像灰度值，则其计算公式如下：
Figure FDA0002888982820000024
Figure FDA0002888982820000031
将Gx和Gy组合在一起以找到每个点处的梯度G的绝对值大小及该梯度G的方向；将某一点处的梯度G的绝对值与整张图像灰度值的中间值相比较，若该点处的梯度G大于整张图像灰度值的中间值，则认为该点为边缘点；
S3.2非极大值抑制
采用非极大值抑制对S3.1中得到的图像进行处理，边缘细化后对图像进行平滑处理得到对应的素描图像。
7.根据权利要求1所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，步骤四的具体操作步骤如下：
根据得到的素描图像进行模板匹配，将SAR素描图像在光学素描图像中的所在区域匹配出来，用矩形框框出，并输出该矩形框在光学素描图像中的左上角像素点，输出以该左上角像素点为中心的相邻九个像素点。
8.根据权利要求7所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，所述模板匹配采用归一化相关系数匹配算法，其计算公式如下：
Figure FDA0002888982820000032
式中，R(x，y)表示匹配结果，T′表示模板图像，I′表示待匹配图像，x表示划窗块左上角在待匹配图像中的横坐标，y表示划窗块左上角在待匹配图像中的纵坐标，x′表示划窗块内各像素点横坐标，y′表示划窗块内各像素点纵坐标。
9.根据权利要求8所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，步骤五的具体操作步骤如下：
将训练集中已配准的光学图像和SAR图像输入到孪生神经网络的两个输入端中进行训练，并输出训练后的模型，调用该模型对模板匹配输出的以左上角像素点为中心的九个像素点进行图像匹配，并输出相识度最高的图像作为最终的SAR图像在光学图像的区域，并输出相识度最高的图像对应的像素点坐标作为最后的结果。
10.根据权利要求9所述的基于模板匹配和孪生神经网络优化的异源图像匹配方法，其特征在于，所述孪生神经网络包括两个输入端、两个神经网络、Loss模块；将两个输入图像分别输入两个神经网络，这两个神经网络分别将输入图像映射到新的空间，形成输入图像在新的空间中的表示；最后通过Loss的计算，评价两个输入图像的相似度。
CN202110022206.4A 2021-01-08 2021-01-08 基于模板匹配和孪生神经网络优化的异源图像匹配方法 Active CN112801141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110022206.4A CN112801141B (zh) 2021-01-08 2021-01-08 基于模板匹配和孪生神经网络优化的异源图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110022206.4A CN112801141B (zh) 2021-01-08 2021-01-08 基于模板匹配和孪生神经网络优化的异源图像匹配方法

Publications (2)

Publication Number Publication Date
CN112801141A true CN112801141A (zh) 2021-05-14
CN112801141B CN112801141B (zh) 2022-12-06

Family

ID=75809145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110022206.4A Active CN112801141B (zh) 2021-01-08 2021-01-08 基于模板匹配和孪生神经网络优化的异源图像匹配方法

Country Status (1)

Country Link
CN (1) CN112801141B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862377A (zh) * 2023-02-08 2023-03-28 山东科技大学 一种智能预约停车方法及***
CN117037159A (zh) * 2023-10-09 2023-11-10 网思科技股份有限公司 基于卷积神经网络的油画真伪鉴别方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110142297A1 (en) * 2009-12-16 2011-06-16 Eye Controls, Llc Camera Angle Compensation in Iris Identification
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN107680095A (zh) * 2017-10-25 2018-02-09 哈尔滨理工大学 基于模板匹配与光流法的无人机图像的输电线路异物检测
CN108960258A (zh) * 2018-07-06 2018-12-07 江苏迪伦智能科技有限公司 一种基于自学习深度特征的模板匹配方法
CN109409292A (zh) * 2018-10-26 2019-03-01 西安电子科技大学 基于精细化特征优化提取的异源图像匹配方法
CN110674719A (zh) * 2019-09-18 2020-01-10 北京市商汤科技开发有限公司 目标对象匹配方法及装置、电子设备和存储介质
CN111783548A (zh) * 2020-06-04 2020-10-16 河海大学 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110142297A1 (en) * 2009-12-16 2011-06-16 Eye Controls, Llc Camera Angle Compensation in Iris Identification
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN107680095A (zh) * 2017-10-25 2018-02-09 哈尔滨理工大学 基于模板匹配与光流法的无人机图像的输电线路异物检测
CN108960258A (zh) * 2018-07-06 2018-12-07 江苏迪伦智能科技有限公司 一种基于自学习深度特征的模板匹配方法
CN109409292A (zh) * 2018-10-26 2019-03-01 西安电子科技大学 基于精细化特征优化提取的异源图像匹配方法
CN110674719A (zh) * 2019-09-18 2020-01-10 北京市商汤科技开发有限公司 目标对象匹配方法及装置、电子设备和存储介质
CN111783548A (zh) * 2020-06-04 2020-10-16 河海大学 基于改进特征提取和博弈论超图的sar图像与可见光图像匹配方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
BRANDON懂你: "图像处理之双线性插值法", 《HTTPS://BLOG.CSDN.NET/QQ_37577735/ARTICLE/DETAILS/80041586》 *
JUNG ROK KIM等: "Sobel Edge-based Image Template Matching in FPGA", 《2020 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS - ASIA (ICCE-ASIA)》 *
刘国成著: "《人群异常行为数字图像处理与分析》", 31 January 2020 *
宋伟东等: "《遥感影像几何纠正与三维重建》", 30 April 2011 *
李佳芮等: "融合边缘信息和扩展邻域的异源图像匹配", 《计算机工程与应用》 *
谢志华等: "可见光图像与合成孔径雷达图像的快速配准", 《激光与光电子学进展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862377A (zh) * 2023-02-08 2023-03-28 山东科技大学 一种智能预约停车方法及***
CN117037159A (zh) * 2023-10-09 2023-11-10 网思科技股份有限公司 基于卷积神经网络的油画真伪鉴别方法、装置及存储介质
CN117037159B (zh) * 2023-10-09 2024-03-19 网思科技股份有限公司 基于卷积神经网络的油画真伪鉴别方法、装置及存储介质

Also Published As

Publication number Publication date
CN112801141B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109410207B (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
CN108596197B (zh) 一种***匹配方法及装置
CN109741356B (zh) 一种亚像素边缘检测方法及***
CN107301661A (zh) 基于边缘点特征的高分辨率遥感图像配准方法
CN106934806B (zh) 一种基于结构清晰度的无参考图失焦模糊区域分割方法
CN109034017A (zh) 头部姿态估计方法及机器可读存储介质
CN112801141B (zh) 基于模板匹配和孪生神经网络优化的异源图像匹配方法
CN110070574B (zh) 一种基于改进PSMNet的双目视觉立体匹配方法
CN110348263A (zh) 一种基于图像识别的二维随机码图像识别与提取方法
CN116758077B (zh) 一种冲浪板表面平整度在线检测方法及***
CN108470338B (zh) 一种水位监测方法
CN111783583B (zh) 基于非局部均值算法的sar图像相干斑抑制方法
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及***
CN103080979A (zh) 从照片合成肖像素描的***和方法
CN104200434B (zh) 一种基于噪声方差估计的非局部均值图像去噪方法
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和***
CN112017130B (zh) 基于自适应各向异性全变分正则化的图像复原方法
CN114332079A (zh) 基于图像处理的塑料餐盒裂缝检测方法、装置及介质
CN116503462A (zh) 一种圆形斑点圆心快速提取方法及***
CN111027637A (zh) 一种文字检测方法及计算机可读存储介质
CN109671084B (zh) 一种工件形状的测量方法
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN113642397B (zh) 一种基于手机视频的物体长度测量方法
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant