CN114913071A - 集成亮度区域信息的特征点匹配的水下图像拼接方法 - Google Patents
集成亮度区域信息的特征点匹配的水下图像拼接方法 Download PDFInfo
- Publication number
- CN114913071A CN114913071A CN202210528575.5A CN202210528575A CN114913071A CN 114913071 A CN114913071 A CN 114913071A CN 202210528575 A CN202210528575 A CN 202210528575A CN 114913071 A CN114913071 A CN 114913071A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- underwater
- underwater image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 239000003337 fertilizer Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 244000207740 Lemna minor Species 0.000 description 1
- 235000006439 Lemna minor Nutrition 0.000 description 1
- 235000001855 Portulaca oleracea Nutrition 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了集成亮度区域信息的特征点匹配的水下图像拼接方法,包括:1)水下图像亮度区域的提取;2)集成亮度区域信息的特征点匹配;2.1)基于亮度显著区域的水下图像粗匹配;2.2)基于尺度不变特征变换算法的水下图像精匹配;3)利用加权融合方法完成图像拼接。本发明针对水下图像质量较差的问题,在传统的尺度不变特征变换(SIFT)算法特征点匹配之前加入了基于亮度显著区域的粗匹配,符合水下图像整体偏暗容易区分出亮度区域的特点,弥补了水下图像特征检测困难且不稳定的缺陷,提升了水下图像拼接的质量。
Description
技术领域
本发明涉及一种水下图像拼接方法,特别涉及集成亮度区域信息的特征点匹配的水下图像拼接方法。
背景技术
水下图像指的是利用无人潜水器或者水下航行器等水下图像设备拍摄的位于水面下方的图像。为了获取更加广阔的视角或者更多的信息,图像拼接技术被广泛使用。由于光在水中传播时存在严重的衰减、散射和吸收,因此水下拍摄的照片往往比空气中拍摄的照片质量更低,拼接出来的图像效果也会不佳。因此,一种可广泛应用于水下图像拼接的方法亟待提出。
图像拼接就是将两幅或者多幅相互之间存在重叠关系的图像进行配准,进而拼接成视角更加广阔的图片。图像拼接大体有以下几类方法:基于区域的配准方法和基于特征的配准方法。
基于区域的配准方法是从待拼接图像的灰度值出发。合肥工业大学的胡社教等人提出了一种基于灰度相关图像拼接的改进算法(胡社教,涂桂林,江萍.基于灰度相关图像拼接的改进算法[J].合肥工业大学学报(自然科学),2008(06):863-865.)。通过在选取的特征块上计算灰度平均值和每个像素与平均值的差值,然后选取一定的阈值来减小图像的搜索范围,最后利用灰度相关法匹配待拼接两幅图像,但是其灰度匹配不够准确,同时在对应区域的叠加部分难免出现接缝。针对灰度匹配的准确度,中国飞行试验研究测试所的田伟峰等人提出了一种基于灰度相关和区域特征的图像拼接算法(田伟峰,陈贝,刘茜.基于灰度相关和区域特征的图像拼接算法[J].电子设计工程,2011,19(03):184-186.)。该算法采用灰度直方图均衡化的方法降低光照条件不同造成的灰度差异,在选取的特征块上计算灰度平均值和每个像素与平均值的绝对差值,最后引入平滑因子实现无缝拼接。但是该方法应用范围较为狭窄,不能达到较好的拼接效果。综上所述,基于区域的配准方法,不检测图像中的特征,而直接根据区域的灰度值或形状进行匹配,应用范围较为狭窄,容易产生接缝,拼接效果较差。
基于特征的方法最有代表性的是基于尺度不变特征变换(Scale-invariantfeature transform,简写“SIFT”)算法。2021年南京工程学院的顾子善等人提出了一种基于双目相机的全景图像拼接方法(申请公布号:CN 113191954 A),该方法采取SIFT特征点检测,进而使用改进的随机采样一致(Random Sample Consensus,简写“RANSAC”)算法特征匹配,再对图像亮度差异进行自动校正,可以得到较清晰自然的全景图像,但是此方法只适用于空气中的图像拼接,而对于水下质量较低的图像则实现无法良好的拼接。针对水下图像质量较差的特点,2021年浙江大学的张森林等人提出了一种基于多尺度图像融合和SIFT特征的水下图像拼接方法(授权公告号:CN 111260543 B),该方法将水下预处理图像通过改进SIFT算法进行水下图像配准,水下图像质量明显提升且对后续图像配准效果有提高作用,但是水下照片质量较低,特征点检测不稳定,在普通的预处理之下不能保证后期对特征点匹配效果的提升。综上所述,基于特征的图像拼接方法适用于局部特征显著的区域,但是对于水下质量较差的图片特征检测困难且不稳定,容易产生误拼接现象。
综上所述,基于区域的图像拼接方式局限性较为明显,容易产生接缝,拼接效果差,单纯的基于区域的图像拼接方法目前已很少使用;基于特征的图像拼接方法目前使用广泛,相对于区域的匹配方法其优势在于普遍适用于局部结构信息比灰度信息更显著的情况,能够处理图像之间复杂变形的情况,但是特征检测困难且不稳定,对于水下图像质量较低的情况,特征提取较为困难,有一定的局限性,因此适用于水下图像的拼接方法亟待提出。
发明内容
本发明的目的是克服现有技术缺陷,提供集成亮度区域信息的特征点匹配的水下图像拼接方法,能够有效的提高水下图像拼接的质量。
本发明的目的是这样实现的:一种集成亮度区域信息的特征点匹配的水下图像拼接方法,其特征在于,包括以下步骤:
步骤1)水下图像亮度区域的提取;
步骤2)集成亮度区域信息的特征点匹配;
步骤2.1)基于亮度显著区域的水下图像粗匹配;
步骤2.2)基于尺度不变特征变换算法的水下图像精匹配;
步骤3)利用加权融合方法完成图像拼接。
进一步的,所述步骤1)具体包括:基于两个特征提取两幅图片高度显著区域;在人工光源的辅助下获取水下图像,亮度显著区具有高亮度和连通性两个特征;
针对高亮度特征,首先得到水下图像的灰度图,设置亮度阈值,当灰度值高于该亮度阈值则取1,低于该亮度阈值取0,即所获取的亮度显著疑似区域Sh中的像素灰度值满足式(1),
其中Y(x,y)为水下图像在坐标(x,y)处的灰度值,m为图像中像素灰度最大值,L为环境光强,图像中所有满足式(1)的像素点构成了亮度显著疑似区域Sh;
针对连通性特征,根据像素灰度值,将图像中灰度值接近的像素划为相同类别,求解式(2)所示的最优化目标函数:
式中,类别数目N=8,Ii是图像中的像素,Ck为聚类中心,初始值在图像中等间隔选取,得到分类结果,选中最亮类别对应区域,该区域为Sc,将该区域所有像素设为1,其余区域为0;
综合考虑亮度区域的高亮度和连通性两个特征,得到亮度区域的像素集合S,如式(3)所示:
S={I(x,y)|Sh(x,y)=1&Sc(x,y)=1} (3)
其中,S表示亮度区域,I(x,y)表示亮度区域中坐标(x,y)处的像素值,Sh(x,y)表示区域Sh中坐标(x,y)处的像素值,Sc(x,y)表示区域Sc中坐标(x,y)处的像素值;通过该方法分别提取出待拼接的两幅图像的亮度显著区域SA,SB;如果至少有一张图片未提取到亮度显著区域,则先对水下图像进行图像预处理,然后直接执行步骤2.2)。
进一步的,所述步骤2.1)具体包括:由步骤1)得到了两幅图像亮度显著区域SA,SB,基于图像亮度显著区域粗匹配过程如下:
在两幅待拼接图像中,分别用SA_hb表示图像A的某个亮度显著区域,用SB_hb表示图像B中的某个亮度显著区域,通过公式(4)可以得到两幅图像所选亮度显著区域配准相关度μ,
其中,和分别表示图片A和B的像素灰度平均值,SA_hb(x,y)表示图片A亮度显著区域SA_hb中坐标(x,y)对应的像素灰度值,SB_hb(x,y)表示图片B亮度显著区域SB_hb中坐标(x,y)对应的像素灰度值;exp(-(Nb/Ns))为权值,Nb为待配准两亮度区域中面积较大的一方的像素个数,Ns为待配准两亮度区域中面积较小的一方的像素个数;
假设图片A所提取m个亮度显著区域,分别表示为SA1,...,SAm;图片B所提取n个亮度显著区域,分别表示为SB1,...,SBn;采用式(4)分别对图片A的m个亮度显著区域以及图片B的n个亮度显著区域分别求解配准相关度μ,选取配准相关度μ最大值所对应的两个亮度显著区域,即为图像A和图像B所对应配准的亮度显著区域,将其余区域剔除,完成基于亮度显著区域水下图像粗匹配。
进一步的,所述步骤2.2)具体包括:
1)尺度空间中的特征检测:从水下图像中搜索尺度空间中所有可能尺度的稳定特征,对输入图像进行卷积操作,
L(x,y,σ)=G(x,y,σ)*I(x,y) (5)
其中G(x,y,σ)是高斯卷积核,I(x,y)表示原始图像;图像的尺度空间D(x,y,σ)是在卷积图像L(x,y,σ)的基础上结合高斯差值操作得到,如下式所示,
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)
(6)
检测邻域内的局部极大值和极小值,从而识别出水下图像的潜在极值点;
2)关键点定位:对从水下图像中提取的尺度空间中的候选特征点进一步细化以适应位置、尺度和主曲率比;高斯差分函数的泰勒展开式为:
获取关键点处的黑塞矩阵H,
矩阵的特征值为α和β,上述特征值的和以及乘积可以分别由H的迹和行列式计算得到:
其中(r+1)2/r随r增加,如果特征值α和β相等,则达到最小值;通过以下等式(11)来检查主曲率的比率是否低于某个阈值r,并丢弃沿水下图像边缘定位不佳的候选特征点,
满足该公式则将关键点保留,反之剔除。
3)方向赋值:从水下图像中提取特征点的尺度,选择尺度最接近的高斯平滑图像L,对于该比例下的每个图像样本L(x,y),利用像素差来计算梯度幅度m(x,y)和方向θ(x,y),
从水下图像的特征点周围的区域内的梯度方向形成方向直方图,方向直方图中的峰值对应于水下图像特征点的局部梯度的优势方向;
4)关键点描述:首先计算水下图像梯度大小和方向,并在水下图像中特征点位置周围的区域内通过高斯函数对其进行加权;上述采样被累积到方向直方图中,该直方图总结了图像子区域上的内容,箭头的长度对应于该方向附近的梯度幅度之和;在此之后,水下图像的特征向量被进一步归一化并描述为单位长度。
5)特征匹配:通过RANSAC算法去除SIFT算法中不匹配的特征点。
本发明采用以上技术方案,与现有技术相比,有益效果为:本发明通过提取两幅水下图像亮度显著区域;其次,基于图像亮度显著区域的进行水下图像粗匹配;然后,基于尺度不变特征变换算法利用特征点匹配完成水下图像精匹配;最后利用加权融合方法完成图像拼接;在传统的SIFT算法特征点匹配之前加入了基于亮度显著区域的粗匹配,符合水下图像整体偏暗容易区分出亮度区域的特点,弥补了水下图像特征检测困难且不稳定的缺陷,提升了水下图像拼接的质量。
附图说明
图1为本发明的流程图。
具体实施方式
如图1所示的集成亮度区域信息的特征点匹配的水下图像拼接方法,包括以下步骤:
步骤1)水下图像亮度区域的提取;
基于两个特征提取两幅图片高度显著区域;潜水员携带照明设备,在水下利用相机拍摄两幅位移量相差不大的照片作为待融合图片。直观上,亮度显著区具有高亮度和连通性两个特征。
针对高亮度特征,首先得到水下图像的灰度图,设置亮度阈值,当灰度值高于该亮度阈值则取1,低于该亮度阈值取0,即所获取的亮度显著疑似区域Sh中的像素灰度值满足式(1),
其中Y(x,y)为水下图像在坐标(x,y)处的灰度值,m为图像中像素灰度最大值,L为环境光强,图像中所有满足式(1)的像素点构成了亮度显著疑似区域Sh。
针对连通性特征,根据像素灰度值,将图像中灰度值接近的像素划为相同类别,求解式(2)所示的最优化目标函数:
式中,类别数目N=8,Ii是图像中的像素,Ck为聚类中心,初始值在图像中等间隔选取。得到分类结果,选中最亮类别对应区域,该区域为Sc,将该区域所有像素设为1,其余区域为0。
综合考虑亮度区域的高亮度和连通性两个特征,得到亮度区域的像素集合S,如式(3)所示:
S={I(x,y)|Sh(x,y)=1&Sc(x,y)=1} (3)
其中,S表示亮度区域,I(x,y)表示亮度区域中坐标(x,y)处的像素值,Sh(x,y)表示区域Sh中坐标(x,y)处的像素值,Sc(x,y)表示区域Sc中坐标(x,y)处的像素值。通过该方法分别提取出待拼接的两幅图像的亮度显著区域SA,SB。如果至少有一张图片未提取到亮度显著区域,则先对水下图像进行图像预处理,然后直接执行步骤2.2,采用传统的SIFT算法进行特征点匹配。
步骤2)集成亮度区域信息的特征点匹配;
步骤2.1)基于亮度显著区域的水下图像粗匹配;
由步骤1)已经得到两幅图像亮度显著区域SA,SB,基于图像亮度显著区域粗匹配过程如下:
在两幅待拼接图像中,分别用SA_hb表示图像A的某个亮度显著区域,用SB_hb表示图像B中的某个亮度显著区域,通过公式(4)可以得到两幅图像所选亮度显著区域配准相关度μ,
其中,和分别表示图片A和B的像素灰度平均值,SA_hb(x,y)表示图片A亮度显著区域SA_hb中坐标(x,y)对应的像素灰度值,SB_hb(x,y)表示图片B亮度显著区域SB_hb中坐标(x,y)对应的像素灰度值。exp(-(Nb/Ns))为权值,Nb为待配准两亮度区域中面积较大的一方的像素个数,Ns为待配准两亮度区域中面积较小的一方的像素个数,表示为所求两个亮度区域的面积关系,面积相差越大,则权值越小,即两区域匹配的可能性越小;
由式(4)可得,若μ的值越大,则亮度显著区域SA_hb与SB_hb的配准度越高。在实际操作过程中,通常两幅水下图像所提取的高亮显著区域的数量是不一样多的,假设图片A所提取m个亮度显著区域,分别表示为SA1,...,SAm;图片B所提取n个亮度显著区域,分别表示为SB1,...,SBn。采用式(4)分别对图片A的m个亮度显著区域以及图片B的n个亮度显著区域分别求解配准相关度μ,选取配准相关度μ最大值所对应的两个亮度显著区域,即为图像A和图像B所对应配准的亮度显著区域,将其余区域剔除,完成基于亮度显著区域水下图像粗匹配。
步骤2.2)基于尺度不变特征变换算法的水下图像精匹配;
1)尺度空间中的特征检测:从水下图像中搜索尺度空间中所有可能尺度的稳定特征,对输入图像进行卷积操作,
L(x,y,σ)=G(x,y,σ)*I(x,y) (5)
其中G(x,y,σ)是高斯卷积核,I(x,y)表示原始图像。图像的尺度空间D(x,y,σ)是在卷积图像L(x,y,σ)的基础上结合高斯差值操作得到,如下式所示,
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ) (6)
检测邻域内的局部极大值和极小值,从而识别出水下图像的潜在极值点,这些极值点不随尺度和方向变化。
2)关键点定位:上述过程求解的候选点并非都是特征点,要对其进行筛选。从水下图像中提取的尺度空间中的候选特征点被进一步细化以适应位置、尺度和主曲率比。高斯差分函数的泰勒展开式为:
此外,上述高斯差分函数本身在水下图像中具有很强的边界效应,这种边界效应对噪声不稳定,获取关键点处的黑塞(Hessian)矩阵H,
矩阵的特征值为α和β,上述特征值的和以及乘积可以分别由H的迹和行列式计算得到:
其中(r+1)2/r随r增加,如果特征值α和β相等,则达到最小值。因此,我们可以应用以下等式来检查主曲率的比率是否低于某个阈值r,并丢弃沿水下图像边缘定位不佳的候选特征点,
满足该公式则将关键点保留,反之剔除。
3)方向赋值:当根据水下图像的局部特性为每个特征点分配一致的方向时,可以进一步实现旋转不变性。从水下图像中提取特征点的尺度,选择尺度最接近的高斯平滑图像L,从而实现尺度不变;对于该比例下的每个图像样本L(x,y),利用像素差来计算梯度幅度m(x,y)和方向θ(x,y),
可以从水下图像的特征点周围的区域内的梯度方向形成方向直方图。方向直方图中的峰值对应于水下图像特征点的局部梯度的优势方向。
4)关键点描述:首先计算水下图像梯度大小和方向,并在水下图像中特征点位置周围的区域内通过高斯函数对其进行加权。上述采样被累积到方向直方图中,该直方图总结了图像子区域上的内容,箭头的长度对应于该方向附近的梯度幅度之和;在此之后,水下图像的特征向量被进一步归一化并描述为单位长度。
5)特征匹配:通过RANSAC算法去除SIFT算法中不匹配的特征点,以改善水下图像光照不均匀、对比度低、噪声明显等问题,解决水下图像匹配效率低、鲁棒性差的问题。
步骤3)利用加权融合方法完成图像拼接;
将两幅水下图片根据对应特征点及区域直接拼接,会产生明显的接缝。为了是拼接后的图片更加平滑,采用加权融合算法实现图像融合。设I1(x1,y1)是图像A在点(x1,y1)处的像素值,I2(x2,y2)是图像B在点(x2,y2)处的像素值,I3(x3,y3)是融合后的图像在(x3,y3)处的像素值。w1和w2分别是两幅水下图像在重叠区域的权重值,融合公式如下:
通过该融合公式,得到最后拼接的水下图像。
本发明通过提取两幅水下图像亮度显著区域,然后基于图像亮度显著区域的进行水下图像粗匹配;基于尺度不变特征变换算法利用特征点匹配完成水下图像精匹配;最后利用加权融合方法完成图像拼接。针对水下图像质量较差的问题,在传统的尺度不变特征变换(SIFT)算法特征点匹配之前加入了基于亮度显著区域的粗匹配,符合水下图像整体偏暗容易区分出亮度区域的特点,弥补了水下图像特征检测困难且不稳定的缺陷,提升了水下图像拼接的质量。
本发明并不局限于上述实施例,在本发明公开的技术方案的基础上,本领域的技术人员根据所公开的技术内容,不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形,这些替换和变形均在本发明的保护范围内。
Claims (4)
1.一种集成亮度区域信息的特征点匹配的水下图像拼接方法,其特征在于,包括以下步骤:
步骤1)水下图像亮度区域的提取;
步骤2)集成亮度区域信息的特征点匹配;
步骤2.1)基于亮度显著区域的水下图像粗匹配;
步骤2.2)基于尺度不变特征变换算法的水下图像精匹配;
步骤3)利用加权融合方法完成图像拼接。
2.根据权利要求1所述的集成亮度区域信息的特征点匹配的水下图像拼接方法,其特征在于,所述步骤1)具体包括:基于两个特征提取两幅图片高度显著区域;在人工光源的辅助下获取水下图像,亮度显著区具有高亮度和连通性两个特征;
针对高亮度特征,首先得到水下图像的灰度图,设置亮度阈值,当灰度值高于该亮度阈值则取1,低于该亮度阈值取0,即所获取的亮度显著疑似区域Sh中的像素灰度值满足式(1),
其中Y(x,y)为水下图像在坐标(x,y)处的灰度值,m为图像中像素灰度最大值,L为环境光强,图像中所有满足式(1)的像素点构成了亮度显著疑似区域Sh;
针对连通性特征,根据像素灰度值,将图像中灰度值接近的像素划为相同类别,求解式(2)所示的最优化目标函数:
式中,类别数目N=8,Ii是图像中的像素,Ck为聚类中心,初始值在图像中等间隔选取,得到分类结果,选中最亮类别对应区域,该区域为Sc,将该区域所有像素设为1,其余区域为0;
综合考虑亮度区域的高亮度和连通性两个特征,得到亮度区域的像素集合S,如式(3)所示:
S={I(x,y)|Sh(x,y)=1&Sc(x,y)=1} (3)
其中,S表示亮度区域,I(x,y)表示亮度区域中坐标(x,y)处的像素值,Sh(x,y)表示区域Sh中坐标(x,y)处的像素值,Sc(x,y)表示区域Sc中坐标(x,y)处的像素值;通过该方法分别提取出待拼接的两幅图像的亮度显著区域SA,SB;
如果至少有一张图片未提取到亮度显著区域,则先对水下图像进行图像预处理,然后直接执行步骤2.2)。
3.根据权利要求1所述的集成亮度区域信息的特征点匹配的水下图像拼接方法,其特征在于,所述步骤2.1)具体包括:由步骤1)得到了两幅图像亮度显著区域SA,SB,基于图像亮度显著区域粗匹配过程如下:
在两幅待拼接图像中,分别用SA_hb表示图像A的某个亮度显著区域,用SB_hb表示图像B中的某个亮度显著区域,通过公式(4)可以得到两幅图像所选亮度显著区域配准相关度μ,
其中,和分别表示图片A和B的像素灰度平均值,SA_hb(x,y)表示图片A亮度显著区域SA_hb中坐标(x,y)对应的像素灰度值,SB_hb(x,y)表示图片B亮度显著区域SB_hb中坐标(x,y)对应的像素灰度值;exp(-(Nb/Ns))为权值,Nb为待配准两亮度区域中面积较大的一方的像素个数,Ns为待配准两亮度区域中面积较小的一方的像素个数;
假设图片A所提取m个亮度显著区域,分别表示为SA1,...,SAm;图片B所提取n个亮度显著区域,分别表示为SB1,...,SBn;采用式(4)分别对图片A的m个亮度显著区域以及图片B的n个亮度显著区域分别求解配准相关度μ,选取配准相关度μ最大值所对应的两个亮度显著区域,即为图像A和图像B所对应配准的亮度显著区域,将其余区域剔除,完成基于亮度显著区域水下图像粗匹配。
4.根据权利要求1所述的集成亮度区域信息的特征点匹配的水下图像拼接方法,其特征在于,所述步骤2.2)具体包括:
1)尺度空间中的特征检测:从水下图像中搜索尺度空间中所有可能尺度的稳定特征,对输入图像进行卷积操作,
L(x,y,σ)=G(x,y,σ)*I(x,y) (5)
其中G(x,y,σ)是高斯卷积核,I(x,y)表示原始图像;图像的尺度空间D(x,y,σ)是在卷积图像L(x,y,σ)的基础上结合高斯差值操作得到,如下式所示,
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ) (6)
检测邻域内的局部极大值和极小值,从而识别出水下图像的潜在极值点;
2)关键点定位:对从水下图像中提取的尺度空间中的候选特征点进一步细化以适应位置、尺度和主曲率比;高斯差分函数的泰勒展开式为:
获取关键点处的黑塞矩阵H,
矩阵的特征值为α和β,上述特征值的和以及乘积可以分别由H的迹和行列式计算得到:
其中(r+1)2/r随r增加,如果特征值α和β相等,则达到最小值;通过以下等式(11)来检查主曲率的比率是否低于某个阈值r,并丢弃沿水下图像边缘定位不佳的候选特征点,
满足该公式则将关键点保留,反之剔除。
3)方向赋值:从水下图像中提取特征点的尺度,选择尺度最接近的高斯平滑图像L,对于该比例下的每个图像样本L(x,y),利用像素差来计算梯度幅度m(x,y)和方向θ(x,y),
从水下图像的特征点周围的区域内的梯度方向形成方向直方图,方向直方图中的峰值对应于水下图像特征点的局部梯度的优势方向;
4)关键点描述:首先计算水下图像梯度大小和方向,并在水下图像中特征点位置周围的区域内通过高斯函数对其进行加权;上述采样被累积到方向直方图中,该直方图总结了图像子区域上的内容,箭头的长度对应于该方向附近的梯度幅度之和;在此之后,水下图像的特征向量被进一步归一化并描述为单位长度。
5)特征匹配:通过RANSAC算法去除SIFT算法中不匹配的特征点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210528575.5A CN114913071A (zh) | 2022-05-16 | 2022-05-16 | 集成亮度区域信息的特征点匹配的水下图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210528575.5A CN114913071A (zh) | 2022-05-16 | 2022-05-16 | 集成亮度区域信息的特征点匹配的水下图像拼接方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114913071A true CN114913071A (zh) | 2022-08-16 |
Family
ID=82767354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210528575.5A Pending CN114913071A (zh) | 2022-05-16 | 2022-05-16 | 集成亮度区域信息的特征点匹配的水下图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114913071A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953332A (zh) * | 2023-03-15 | 2023-04-11 | 四川新视创伟超高清科技有限公司 | 动态图像融合的亮度调整方法、***、电子设备 |
-
2022
- 2022-05-16 CN CN202210528575.5A patent/CN114913071A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953332A (zh) * | 2023-03-15 | 2023-04-11 | 四川新视创伟超高清科技有限公司 | 动态图像融合的亮度调整方法、***、电子设备 |
CN115953332B (zh) * | 2023-03-15 | 2023-08-18 | 四川新视创伟超高清科技有限公司 | 动态图像融合的亮度调整方法、***、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ahmed | Comparative study among Sobel, Prewitt and Canny edge detection operators used in image processing | |
CN111179243A (zh) | 一种基于计算机视觉的小尺寸芯片裂纹检测方法及*** | |
WO2017181724A1 (zh) | 电子元件漏件检测方法和*** | |
CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
CN112734761B (zh) | 工业品图像边界轮廓提取方法 | |
CN111611907B (zh) | 一种图像增强的红外目标检测方法 | |
CN109815822B (zh) | 基于广义Hough变换的巡检图零部件目标识别方法 | |
Fan et al. | SAR image registration using multiscale image patch features with sparse representation | |
CN111259891B (zh) | 一种自然场景下身份证识别方法、装置、设备和介质 | |
WO2015066984A1 (zh) | 一种面向复杂背景的光学字符识别方法及装置 | |
CN110263662B (zh) | 一种基于分级的人体轮廓关键点和关键部位识别方法 | |
CN109584215A (zh) | 一种电路板在线视觉检测*** | |
CN116703909B (zh) | 一种电源适配器生产质量智能检测方法 | |
CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
CN111665199A (zh) | 一种基于机器视觉的电线电缆颜色检测识别方法 | |
CN110648330A (zh) | 摄像头玻璃的缺陷检测方法 | |
CN115359047A (zh) | 用于pcb板智能焊接的异常缺陷检测方法 | |
CN114913071A (zh) | 集成亮度区域信息的特征点匹配的水下图像拼接方法 | |
CN110246139B (zh) | 基于双阈值的浮游生物原位图像roi快速提取方法 | |
Yu et al. | MSER based shadow detection in high resolution remote sensing image | |
CN115131355B (zh) | 利用电子设备数据检测防水布异常的智能方法 | |
CN111881938A (zh) | 一种基于盲取证技术的图像真伪鉴别的方法 | |
CN115035281B (zh) | 一种快速的红外全景图像拼接方法 | |
CN116596899A (zh) | 基于荧光图像识别循环肿瘤细胞方法、装置、终端及介质 | |
CN115908399A (zh) | 一种基于改进视觉注意机制的磁片瑕疵检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |