CN110363706A - 一种大面积桥面图像拼接方法 - Google Patents
一种大面积桥面图像拼接方法 Download PDFInfo
- Publication number
- CN110363706A CN110363706A CN201910561334.9A CN201910561334A CN110363706A CN 110363706 A CN110363706 A CN 110363706A CN 201910561334 A CN201910561334 A CN 201910561334A CN 110363706 A CN110363706 A CN 110363706A
- Authority
- CN
- China
- Prior art keywords
- image
- bridge floor
- adjacent
- point
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 63
- 230000009466 transformation Effects 0.000 claims description 55
- 230000004927 fusion Effects 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 8
- 241000023320 Luma <angiosperm> Species 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 4
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 3
- 238000007430 reference method Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 1
- 230000006378 damage Effects 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000009659 non-destructive testing Methods 0.000 abstract 1
- 201000010099 disease Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 235000013350 formula milk Nutrition 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- BVKZGUZCCUSVTD-UHFFFAOYSA-L Carbonate Chemical compound [O-]C([O-])=O BVKZGUZCCUSVTD-UHFFFAOYSA-L 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003763 carbonization Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种大面积桥面图像拼接方法。随着计算机视觉检测技术的发展，逐渐出现将图像检测应用于桥梁检测工程实践中。但由于桥体空间较大，若采用远程拍摄取样，会受到摄像机分辨率的限制，致使无法得到满意的检测精度。本发明如下：1、逐张采集被检测桥面的图像，得到桥面图像集合。之后，进行图像预处理。2、图像配准。3、图像融合。本发明通过图像采集与处理技术，代替人眼完成桥梁病害特征的自动化无损检测，对复杂地形环境下的桥面损伤检测技术的研究具有非常重要的现实意义。一方面增强了施工安全性，另一方面提高了作业机动性和灵活性。发明实现了大面积桥面图像的保真拼接，提高了图像拼接精度和效率。
Description
技术领域
本发明属于图像检测技术领域，具体涉及一种大面积桥面图像拼接方法。
背景技术
桥梁作为重要的交通枢纽，经过长期的日晒雨淋和负载作业，内部应力会沿着桥梁结构传递到一些薄弱部位，致使该位置结构表面易出现裂缝等病害特征。由于桥梁表面的病害特征致使外界空气和有害介质很容易渗透到混凝土内部经过化学反应产生碳酸盐，造成其中钢筋的碱度环境降低，表面的纯化膜遭受破坏后更易产生锈蚀，此外，混凝土碳化也会加剧收缩开裂，对混凝土桥梁的安全使用产生严重危害。因此为保证梁体结构的使用寿命和安全性能，需要对桥梁表面病害特征进行及时检测并治理。
为了及时检测出桥面病害特征，并采取补救措施以消除安全隐患，通常采用人工巡检和手工标记的方式。然而桥底表面检测工作环境往往较为危险，这种检测方式机动性差、危险性大、效率低。而且桥面损伤由经验丰富的检验人员手工测量并用肉眼观察做记录，具有一定的主观性，检测精度较依赖于专家的经验知识，而经验在定量分析中缺乏客观性。
随着计算机视觉检测技术的发展，逐渐出现将图像检测应用于桥梁检测工程实践中。但由于桥体空间较大，若采用远程拍摄取样，会受到摄像机分辨率的限制，致使无法得到满意的检测精度。因此需要对桥梁表面进行近距离的连续多组取样，并对采集到的样本图像进行大面积的图像拼接，而拼接效果会直接影响到桥面病害特征的检测精度。为了在满足宽视角、高分辨率的基础上，尽可能减少累计误差，提高桥面图像拼接精度，实现真实桥梁检测面信息的全局展现。
发明内容
本发明的目的在于提供一种大面积桥面图像拼接方法。
本发明的具体步骤如下：
步骤1、逐张采集被检测桥面的图像，得到桥面图像集合。之后，提取并统计桥面图像集合中各桥面图像的亮度分量信息，并分别对各桥面图像的亮度分量信息进行均衡化。然后通过傅里叶变换将各桥面图像变换到频域内，并采用相位相关算法中的归一化互功率谱的相位信息得到图像间的平移参数，完成对相邻图像间重叠区域的预估算。
步骤2、图像配准
首先，在各相邻图像间重叠区域内提取SIFT特征点。然后通过自适应对比度阈值法筛选SIFT特征点，得到由匹配点对组成的特征描述符。并采用RANSAC算法计算各相邻图像间的投影变换矩阵。
自适应对比度阈值法具体如下：
(1)设定特征点数量下限Nmin＝200，上限Nmax＝300，对比度阈值Tc＝T0。T0为初始阈值，取值为0.02～0.04。
(2)进行特征点检测，并统计对比度高于Tc的特征点数量N。
(3)若Nmin≤N≤Nmax，则将对比度高于Tc的特征点纳入初始匹配点集，剔除对比度低于阈值Tc的特征点，并直接进入步骤(5)。否则，执行步骤(4)。
(4)若N＜Nmin，则将对比度阈值Tc减小为原数值的并执行步骤(3)。若N＞Nmax，则将对比度阈值增大为原数值的2倍，并执行步骤(3)。
(5)通过最近邻比次近邻方法剔除初始匹配点集中的误特征点，并生成特征描述符。特征描述符内包含由成对的特征点组成的多个匹配点对，以及各匹配点对之间的距离和方向信息。
步骤3、图像融合
首先根据相邻图像间的投影变换矩阵，对相应桥面图像进行投影变换。然后采用渐入渐出融合算法对各相邻桥面图像的RGB三颜色通道分别进行加权平滑过渡，得到桥面拼接图像。
渐入渐出融合算法中，相邻图像重叠区域内各融合点像素值I(x,y)的渐入渐出加权公式如下：
其中，I1(x,y)、I2(x,y)分别为相邻的两张桥面图像在重叠区域内的对应融合点的像素值。d1、d2分别为相邻的两张桥面图像在对应融合点的渐变权重因子。和x1、x2分别为重叠区域两侧边界的横坐标。x为对应融合点的横坐标。t为两相邻图像重叠区域在对应融合点上的灰度差阈值。
作为优选，步骤1中采集图像的方法具体如下：
(1)采用张正友平面标定法计算CCD相机的内参矩阵后，通过最小二乘法得到径向畸变系数。
(2)在桥梁检测平台上安置经过步骤1-1标定的CCD相机，根据预设的拍摄轨迹进行完整桥面的图像采集。预设的拍摄轨迹呈S形。
(3)根据步骤1-1得到的CCD相机内参矩阵和畸变系数对步骤1-2采集到的各桥面图像分别进行图像校准。
作为优选，步骤2中，RANSAC算法求解投影变换矩阵的流程如下：
(1)用特征描述符内的各匹配点对构建初始样本集S。统计初始样本集S中各匹配点对间的欧式距离，并按从小到大排序。
(2)取步骤(1)所得序列的前85％的匹配点对构建新样本集S′。
(3)从新样本集S′中随机抽取4组匹配点对组成一个内点集合Si，并计算矩阵模型内点集合Si的Hi，进入步骤(4)。
(4)新样本集S′内其余各匹配点对针对该矩阵模型Hi进行适应性检验。若存在检验误差小于误差阈值的匹配点，则将检验误差小于阈值的匹配点对加入内点集合Si，并执行步骤(5)。否则，舍弃该矩阵模型Hi，重新执行(3)。
(5)若内点集合Si中元素个数大于规定阈值，则认为得到合理的参数模型，对更新后的内点集合Si重新计算矩阵模型Hi，并使用LM算法最小化代价函数。否则，舍弃该矩阵模型Hi，并重新执行步骤(3)。
(6)重复l次步骤(3)至(5)，l为最大迭代次数。之后，对比l次迭代中得到的内点集合Si，以元素个数最大的内点集合Si作为最终的内点集，并取其计算的矩阵模型Hi作为相邻桥面图像间的投影变换矩阵。
作为优选，步骤3中，投影变换的具体步骤如下：
(1)根据相邻图像间的投影变换矩阵的传递性，以每行的第一张桥面图像分别作为对应行的基准图像进行拼接。对各相邻桥面图像间的变换矩阵Hii-1进行传递变换，得到各桥面图像与基准图像之间的传递变换矩阵Hi1。再通过各变换矩阵Hi1将对应的桥面图像分别映射到基准平面坐标系内，以完成水平方向上各相邻图像间的图像拼接融合，形成多张宽视角的横向全景图像Imagei。
(2)将步骤(1)中所得的第一张横向全景图像Image1作为基准全景图像进行拼接。对各横向全景图像间的变换矩阵Tjj-1进行传递变换，得到各横向全景图像Imagei与基准全景图像之间的传递变换矩阵Tj1。再通过各传递变换矩阵Tj1分别将对应的横向全景图像分别映射到基准平面坐标系内，以完成竖直方向上各相邻横向全景图像间的图像拼接融合，形成最终的桥面全景图像。
本发明具有的有益效果是：
1、本发明通过图像采集与处理技术，代替人眼完成桥梁病害特征的自动化无损检测，对复杂地形环境下的桥面损伤检测技术的研究具有非常重要的现实意义。一方面增强了施工安全性，另一方面提高了作业机动性和灵活性。
2、本发明针对传统图像配准算法在运算量较大和精度不足的问题，为了更加完整且精准地提取桥面图像病害特征数据，提出了一种改进的多组相邻桥面图像配准算法，实现大面积桥面图像的保真拼接，提高了图像配准精度和效率，为后续桥梁病害特征图像检测奠定了工作基础，也为其他领域的图像拼接检测提供了一个技术参考。
3、本发明针对桥梁表面特殊的检测环境，提出改进的渐入渐出图像融合算法，引入相邻桥面图像的灰度差阈值，可有效抑制桥面图像无关噪声的影响，最大程度地保留桥面病害的细节特征信息，在实现多组桥面图像保真融合的基础上，提高拼接图像的信噪比。
4、本发明提高了复杂背景下桥面图像拼接算法的抗干扰性和稳定性，具有较好的鲁棒性。保证后续病害特征数据提取的准确度和精度。
5、本发明根据桥梁表面图像采集工作环境，进行多组桥面图像拼接算法设计，并对其中关键计算进行了可靠性分析研究，具有较高的算法创新性与桥梁检测工程参考价值。
附图说明
图1为本发明中大面积桥面图像拼接流程图；
图2为本发明中桥面图像采集轨迹示意图；
图3为本发明中多幅桥梁图像拼接处理流程图；
图4为本发明中自适应对比度阈值计算流程图；
图5为本发明中逐行图像拼接策略示意图；
图6为本发明中逐列图像拼接策略示意图；
图7a、7b为本发明中相邻图像间加权融合示意图。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示，一种大面积桥面图像拼接方法，具体步骤如下：
步骤1、拼接预处理
1-1.采用张正友平面标定法，使用CCD相机从不同角度对标定板进行图像采样，通过检测的标定板棋盘格角点坐标计算CCD相机的内参矩阵后，通过最小二乘法得到径向畸变系数。
1-2.在桥梁检测平台上安置经过步骤1-1标定的CCD相机，根据预设的拍摄轨迹进行完整桥面的多组图像采集。预设的拍摄轨迹如图2所示，呈S形。
1-3.根据步骤1-1得到的CCD相机内参矩阵和畸变系数对步骤1-2采集到的各桥面图像分别进行图像校准，以消除镜头畸变带来的失真影响。
1-4.图像预处理
首先预估算全景图像的尺寸。该尺寸根据待拼接图像的分辨率和数量取值，拼接完成后去除无效区域；然后通过提取并统计所有待拼接的桥面图像的亮度分量信息，并分别对各桥面图像的亮度分量信息进行均衡化，以消除光照不均带来的亮度差别影响；最后通过傅里叶变换将各桥面图像变换到频域内，并采用相位相关算法中的归一化互功率谱的相位信息得到图像间的平移参数，以此完成对相邻图像间重叠区域的预估算。
相位相关算法是采用傅里叶变换先将待拼接图像变换到频域内，再通过归一化互功率谱计算两图像的平移参数，得到一个二维冲激函数：该二维冲激函数的峰值大小反映相邻桥面图像间的内容相关性，其值为1表示两图像完全相同，为0则表示完全不同。桥梁图像检测设备所采集到的相邻图像间存在透视变换和位置移动所带来的变化，虽然会使冲激函数的能量从单一峰值分散至众多小峰值，但其最大峰值位置对应的平移参数仍会保持相对稳定。因此，通过相位相关算法得到的平移量可粗略获取待拼接图像间的重叠区域，而且该算法对光照亮度变化不敏感，所检测的相关最大峰尖，具有较好的鲁棒性和稳定性。
步骤2、图像配准
首先，在各相邻图像间重叠区域内提取SIFT特征点，以减少大量不必要的特征点检测计算量，提高SIFT特征点的检测效率；然后通过自适应对比度阈值法，将检测得到的SIFT特征点数量控制在一个合理的范围内，以筛选出稳定的特征点集；并采用改进的RANSAC算法(随机抽样一致性算法)计算各相邻图像间的投影变换矩阵H。
自适应对比度阈值法具体如下：
在确定两两相邻桥面图像间的重叠区域(Δx,Δy)后，仅针对该重叠区域进行SIFT特征点检测。由于其中对比度较低的特征点对桥面背景噪声较为敏感，故设定对比度阈值，筛选出稳定的特征点集，记为C。
现有技术中，通过高斯差分泰勒展开式计算各SIFT特征点的对比度，并设置固定的对比度阈值来保留高于该对比度阈值的特征点作为稳定特征点。然而上述对比度阈值Tc为固定值，一般取值在0.02到0.04之间。但在不同混凝土桥梁的裂缝图像检测中，SIFT检测到的候选特征点集有很大差别，部分桥梁表面较为平整光洁，所采集的图像数字信号较为平滑，尺度空间因子σ较小，致使检测到的特征点较少，反而可能无法满足特征点匹配的数量需求，影响最终的拼接精度。(传统拼接算法中用到的对比度阈值步骤)。本发明设置一个变化的对比度阈值，来保证检测到的SIFT特征点数控制在一个合理的范围内。经多组实验验证表明，桥梁裂缝图像检测的特征点保持在200到300之间即可满足较好的拼接精度。
如图4所示，本发明中确定对比度阈值Tc的方法，具体如下：
(1)设定特征点数量下限Nmin＝200，上限Nmax＝300，对比度阈值Tc＝T0；T0为初始阈值，取值为0.02～0.04。
(2)进行特征点检测，并统计对比度高于Tc的特征点数量N。
(3)若Nmin≤N≤Nmax，则将对比度高于Tc的特征点纳入初始匹配点集，剔除对比度低于阈值Tc的特征点，并直接进入步骤(5)；否则，执行步骤(4)。
(4)若N＜Nmin，则将对比度阈值Tc减小为原数值的并执行步骤(3)；若N＞Nmax，则将对比度阈值增大为原数值的2倍，并执行步骤(3)。
(5)通过最近邻比次近邻方法剔除初始匹配点集中的误特征点，并生成特征描述符。特征描述符内包含由成对特征点组成的多个匹配点对，以及各匹配点对之间的距离和方向信息。
经相邻图像重叠区域间的特征点匹配后，筛选出足够的匹配点对，通过匹配点对求解桥梁裂缝序列图像间的变换矩阵，以此完成大范围的桥面图像拼接。为进一步提高图像配准效率和精度，对RANSAC算法进行改进。
改进后的RANSAC算法求解投影变换矩阵H的流程如下：
(1)用特征描述符内的各匹配点对构建初始样本集S。统计初始样本集S中各匹配点对间的欧式距离，并按从小到大排序；
(2)取步骤(1)所得序列的前85％的匹配点对构建新样本集S′；
(3)从新样本集S′中随机抽取4组匹配点对组成一个内点集合Si，并计算矩阵模型内点集合Si的Hi，进入步骤(4)；
(4)新样本集S′内其余各匹配点对针对该矩阵模型Hi进行适应性检验；若存在检验误差小于误差阈值的匹配点，则将检验误差小于阈值的匹配点对加入内点集合Si，并执行步骤(5)；否则，舍弃该矩阵模型Hi，重新执行(3)。
(5)若内点集合Si中元素个数大于规定阈值，则认为得到合理的参数模型，对更新后的内点集合Si重新计算矩阵模型Hi，并使用LM算法最小化代价函数；否则，舍弃该矩阵模型Hi，并重新执行步骤(3)。
(6)重复l次步骤(3)至(5)，l为最大迭代次数。之后，对比l次迭代中得到的内点集合Si，以元素个数最大的内点集合Si作为最终的内点集，并取其计算的矩阵模型Hi作为相邻桥面图像间的投影变换矩阵H。
改进的RANSAC算法通过计算所有匹配点对间的欧氏距离并进行排序筛选，不仅减少了待匹配点对的样本集数据，提高了样本集中局内点所占比例，而且缩减了投影变换矩阵的迭代精炼次数，以提高桥面图像的匹配精度。根据图像特征点对之间的距离越小，其匹配相似度越高的特性，在此计算所有特征点对间的欧氏距离并按照从小到大的顺序排列进行筛选。通过多组桥面图像拼接测试结果统计表明，经重叠区域特征点对初匹配后，初始样本集S的成功匹配率可达85％以上，则取其序列的前85％的特征点对构建新样本集S′。经样本数据筛选，样本集S′包含足够的匹配点对，不仅提高了局内点在样本集中所占比例，而且极大地缩减了变换矩阵参数模型H的迭代次数。
步骤3、图像融合
首先根据相邻图像间的投影变换矩阵，对相应桥面图像进行投影变换；然后采用渐入渐出融合算法对各相邻桥面图像的RGB三颜色通道分别进行加权平滑过渡，得到桥面拼接图像。
投影变换的具体步骤如下：
(1)如图5所示，根据相邻图像间的投影变换矩阵的传递性，以每行的第一张桥面图像分别作为对应行的基准图像，依据图像行拼接策略，进行拼接。对各相邻桥面图像间的变换矩阵Hii-1进行传递变换，得到各桥面图像与基准图像之间的传递变换矩阵Hi1；再通过各变换矩阵Hi1将对应的桥面图像分别映射到基准平面坐标系内，以完成水平方向上各相邻图像间的图像拼接融合，形成多张宽视角的横向全景图像Imagei。
各传递矩阵变换公式如下：
H21＝H21
H31＝H32×H21
Hn1＝Hnn-1×Hn-1n-2×…×H21
其中，Hii-1为同一行的第i-1张桥面图像与第i张桥面图像间的变换矩阵，其值在步骤2-2中计算得到；Hi1为同一行的第1张桥面图像与第i张桥面图像间的变换矩阵；n为同一行上的图像数量。
(2)如图6所示，步骤(1)中所得的第一张横向全景图像Image1作为基准全景图像，依据图像列拼接策略，进行拼接。对各横向全景图像间的变换矩阵Tjj-1进行传递变换，，得到各横向全景图像Imagei与基准全景图像之间的传递变换矩阵Tj1；再通过各传递变换矩阵Tj1分别将对应的横向全景图像分别映射到基准平面坐标系内，以完成竖直方向上各相邻横向全景图像间的图像拼接融合，图像拼接融合中传递矩阵变换公式参照步骤(1)中的描述，形成最终的桥面全景图像。
本实施例中渐入渐出融合算法经过改进，具体参见下述。
经图像配准后，为进一步消除桥面图像拼接缝对裂缝检测处理的干扰，通常对相邻桥面图像像素值进行加权平均，如图7b所示，其重叠区域内像素点到两边缝合线的距离作为融合权重判别依据。
但由于图像采集位置发生变化，桥梁表面反射光可能会造成重合区域内个别像素点灰度值存在跳变现象，为消除其对融合图像产生的影响，在传统渐入渐出加权融合计算中引入一个阈值t。计算重叠部分目标像素点在两幅原始图像对应的灰度差值，若该差值小于阈值，说明该像素点在原桥面图像中并未呈现明显差异，可直接取其加权平均值作为该点像素值；反之，说明待拼接图像在该像素点位置下存在明暗突变，应取其平滑前权重较大的像素值作为该点融合像素值。
渐入渐出融合算法中，相邻图像重叠区域内各融合像素值I(x,y)的渐入渐出加权公式如下：
其中，I1(x,y)、I2(x,y)分别为相邻的两张桥面图像在重叠区域内的对应融合点的像素值，如图7a所示。d1、d2分别为相邻的两张桥面图像在对应融合点的渐变权重因子；如图7b所示，和x1、x2分别为重叠区域两侧边界的横坐标；x为对应融合点的横坐标；t为两相邻图像重叠区域在对应融合点上的灰度差阈值。
Claims (4)
1.一种大面积桥面图像拼接方法，其特征在于：步骤1、逐张采集被检测桥面的图像，得到桥面图像集合；之后，提取并统计桥面图像集合中各桥面图像的亮度分量信息，并分别对各桥面图像的亮度分量信息进行均衡化；然后通过傅里叶变换将各桥面图像变换到频域内，并采用相位相关算法中的归一化互功率谱的相位信息得到图像间的平移参数，完成对相邻图像间重叠区域的预估算；
步骤2、图像配准
首先，在各相邻图像间重叠区域内提取SIFT特征点；然后通过自适应对比度阈值法筛选SIFT特征点，得到由匹配点对组成的特征描述符；并采用RANSAC算法计算各相邻图像间的投影变换矩阵；
自适应对比度阈值法具体如下：
(1)设定特征点数量下限Nmin＝200，上限Nmax＝300，对比度阈值Tc＝T0；T0为初始阈值，取值为0.02～0.04；
(2)进行特征点检测，并统计对比度高于Tc的特征点数量N；
(3)若Nmin≤N≤Nmax，则将对比度高于Tc的特征点纳入初始匹配点集，剔除对比度低于阈值Tc的特征点，并直接进入步骤(5)；否则，执行步骤(4)；
(4)若N＜Nmin，则将对比度阈值Tc减小为原数值的并执行步骤(3)；若N＞Nmax，则将对比度阈值增大为原数值的2倍，并执行步骤(3)；
(5)通过最近邻比次近邻方法剔除初始匹配点集中的误特征点，并生成特征描述符；特征描述符内包含由成对的特征点组成的多个匹配点对，以及各匹配点对之间的距离和方向信息；
步骤3、图像融合
首先根据相邻图像间的投影变换矩阵，对相应桥面图像进行投影变换；然后采用渐入渐出融合算法对各相邻桥面图像的RGB三颜色通道分别进行加权平滑过渡，得到桥面拼接图像；
渐入渐出融合算法中，相邻图像重叠区域内各融合点像素值I(x,y)的渐入渐出加权公式如下：
其中，I1(x,y)、I2(x,y)分别为相邻的两张桥面图像在重叠区域内的对应融合点的像素值；d1、d2分别为相邻的两张桥面图像在对应融合点的渐变权重因子；和x1、x2分别为重叠区域两侧边界的横坐标；x为对应融合点的横坐标；t为两相邻图像重叠区域在对应融合点上的灰度差阈值。
2.根据权利要求1所述的一种大面积桥面图像拼接方法，其特征在于：步骤1中采集图像的方法具体如下：
(1)采用张正友平面标定法计算CCD相机的内参矩阵后，通过最小二乘法得到径向畸变系数；
(2)在桥梁检测平台上安置经过步骤1-1标定的CCD相机，根据预设的拍摄轨迹进行完整桥面的图像采集；预设的拍摄轨迹呈S形；
(3)根据步骤1-1得到的CCD相机内参矩阵和畸变系数对步骤1-2采集到的各桥面图像分别进行图像校准。
3.根据权利要求1所述的一种大面积桥面图像拼接方法，其特征在于：步骤2中，RANSAC算法求解投影变换矩阵的流程如下：
(1)用特征描述符内的各匹配点对构建初始样本集S；统计初始样本集S中各匹配点对间的欧式距离，并按从小到大排序；
(2)取步骤(1)所得序列的前85％的匹配点对构建新样本集S′；
(3)从新样本集S′中随机抽取4组匹配点对组成一个内点集合Si，并计算矩阵模型内点集合Si的Hi，进入步骤(4)；
(4)新样本集S′内其余各匹配点对针对该矩阵模型Hi进行适应性检验；若存在检验误差小于误差阈值的匹配点，则将检验误差小于阈值的匹配点对加入内点集合Si，并执行步骤(5)；否则，舍弃该矩阵模型Hi，重新执行(3)；
(5)若内点集合Si中元素个数大于规定阈值，则认为得到合理的参数模型，对更新后的内点集合Si重新计算矩阵模型Hi，并使用LM算法最小化代价函数；否则，舍弃该矩阵模型Hi，并重新执行步骤(3)；
(6)重复l次步骤(3)至(5)，l为最大迭代次数；之后，对比l次迭代中得到的内点集合Si，以元素个数最大的内点集合Si作为最终的内点集，并取其计算的矩阵模型Hi作为相邻桥面图像间的投影变换矩阵。
4.根据权利要求1所述的一种大面积桥面图像拼接方法，其特征在于：步骤3中，投影变换的具体步骤如下：
(1)根据相邻图像间的投影变换矩阵的传递性，以每行的第一张桥面图像分别作为对应行的基准图像进行拼接；对各相邻桥面图像间的变换矩阵Hii-1进行传递变换，得到各桥面图像与基准图像之间的传递变换矩阵Hi1；再通过各变换矩阵Hi1将对应的桥面图像分别映射到基准平面坐标系内，以完成水平方向上各相邻图像间的图像拼接融合，形成多张宽视角的横向全景图像Imagei；
(2)将步骤(1)中所得的第一张横向全景图像Image1作为基准全景图像进行拼接；对各横向全景图像间的变换矩阵Tjj-1进行传递变换，得到各横向全景图像Imagei与基准全景图像之间的传递变换矩阵Tj1；再通过各传递变换矩阵Tj1分别将对应的横向全景图像分别映射到基准平面坐标系内，以完成竖直方向上各相邻横向全景图像间的图像拼接融合，形成最终的桥面全景图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910561334.9A CN110363706B (zh) | 2019-06-26 | 2019-06-26 | 一种大面积桥面图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910561334.9A CN110363706B (zh) | 2019-06-26 | 2019-06-26 | 一种大面积桥面图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363706A true CN110363706A (zh) | 2019-10-22 |
| CN110363706B CN110363706B (zh) | 2023-03-21 |
Family
ID=68216594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910561334.9A Active CN110363706B (zh) | 2019-06-26 | 2019-06-26 | 一种大面积桥面图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363706B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734720A (zh) * | 2021-01-08 | 2021-04-30 | 沈阳工业大学 | 基于视觉识别的船壳激光清洗在位检测方法及*** |
| CN115266282A (zh) * | 2021-04-30 | 2022-11-01 | 武汉兰丁云医学检验实验室有限公司 | 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法 |
| CN116543267A (zh) * | 2023-07-04 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 图像集处理方法、图像分割方法、装置、设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916445A (zh) * | 2010-08-25 | 2010-12-15 | 天津大学 | 一种基于仿射参数估计的图像配准方法 |
| US20130216089A1 (en) * | 2010-04-22 | 2013-08-22 | The University Of North Carolina At Charlotte | Method and System for Remotely Inspecting Bridges and Other Structures |
| CN104599249A (zh) * | 2015-01-13 | 2015-05-06 | 重庆大学 | 缆索承重桥梁桥面车辆载荷分布实时检测方法 |
| CN106910208A (zh) * | 2017-03-07 | 2017-06-30 | 中国海洋大学 | 一种存在运动目标的场景图像拼接方法 |
| CN107424181A (zh) * | 2017-04-12 | 2017-12-01 | 湖南源信光电科技股份有限公司 | 一种改进的图像拼接关键帧快速提取方法 |
| EP3319038A1 (en) * | 2015-06-30 | 2018-05-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Panoramic image generation method and apparatus for user terminal |
| CN108921848A (zh) * | 2018-09-29 | 2018-11-30 | 长安大学 | 基于多目相机的桥梁缺陷检测装置及检测图像拼接方法 |
| CN109754368A (zh) * | 2019-01-23 | 2019-05-14 | 郑州工程技术学院 | 一种桥梁质量检测中的裂缝拼接方法 |
-
2019
- 2019-06-26 CN CN201910561334.9A patent/CN110363706B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130216089A1 (en) * | 2010-04-22 | 2013-08-22 | The University Of North Carolina At Charlotte | Method and System for Remotely Inspecting Bridges and Other Structures |
| CN101916445A (zh) * | 2010-08-25 | 2010-12-15 | 天津大学 | 一种基于仿射参数估计的图像配准方法 |
| CN104599249A (zh) * | 2015-01-13 | 2015-05-06 | 重庆大学 | 缆索承重桥梁桥面车辆载荷分布实时检测方法 |
| EP3319038A1 (en) * | 2015-06-30 | 2018-05-09 | Baidu Online Network Technology (Beijing) Co., Ltd. | Panoramic image generation method and apparatus for user terminal |
| US20180365803A1 (en) * | 2015-06-30 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd | Panoramic image generation method and apparatus for user terminal |
| CN106910208A (zh) * | 2017-03-07 | 2017-06-30 | 中国海洋大学 | 一种存在运动目标的场景图像拼接方法 |
| CN107424181A (zh) * | 2017-04-12 | 2017-12-01 | 湖南源信光电科技股份有限公司 | 一种改进的图像拼接关键帧快速提取方法 |
| CN108921848A (zh) * | 2018-09-29 | 2018-11-30 | 长安大学 | 基于多目相机的桥梁缺陷检测装置及检测图像拼接方法 |
| CN109754368A (zh) * | 2019-01-23 | 2019-05-14 | 郑州工程技术学院 | 一种桥梁质量检测中的裂缝拼接方法 |
Non-Patent Citations (4)
| Title |
|---|
| LARAQUI, A.1;BAATAOUI, A.1;SAAIDI, A.1;JARRAR, A.1;MASRAR, M.1;S: "Image mosaicing using voronoi diagram", 《MULTIMEDIA TOOLS & APPLICATIONS》 * |
| 宋佳乾等: "基于改进SIFT特征点匹配的图像拼接算法", 《计算机测量与控制》 * |
| 张静等: "基于SIFT特征和误匹配逐次去除的图像拼接", 《半导体光电》 * |
| 肖映彩等: "无人机航拍图像拼接的研究与实现", 《通信技术》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734720A (zh) * | 2021-01-08 | 2021-04-30 | 沈阳工业大学 | 基于视觉识别的船壳激光清洗在位检测方法及*** |
| CN112734720B (zh) * | 2021-01-08 | 2024-03-05 | 沈阳工业大学 | 基于视觉识别的船壳激光清洗在位检测方法及*** |
| CN115266282A (zh) * | 2021-04-30 | 2022-11-01 | 武汉兰丁云医学检验实验室有限公司 | 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法 |
| CN116543267A (zh) * | 2023-07-04 | 2023-08-04 | 宁德时代新能源科技股份有限公司 | 图像集处理方法、图像分割方法、装置、设备和存储介质 |
| CN116543267B (zh) * | 2023-07-04 | 2023-10-13 | 宁德时代新能源科技股份有限公司 | 图像集处理方法、图像分割方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363706B (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lei et al. | New crack detection method for bridge inspection using UAV incorporating image processing | |
| CN110378879B (zh) | 一种桥梁裂缝检测方法 | |
| CN112818988B (zh) | 一种指针式仪表自动识别读数方法及*** | |
| CN109583324A (zh) | 一种基于单点多盒检测器的指针仪表读数自动识别方法 | |
| CN105069743B (zh) | 探测器拼接实时图像配准的方法 | |
| CN108460760B (zh) | 一种基于生成式对抗网络的桥梁裂缝图像判别修复方法 | |
| CN108764257A (zh) | 一种多视角的指针式仪表识别方法 | |
| CN109145958B (zh) | 一种基于多任务生成对抗网络的真实场景小物体检测方法 | |
| CN104134200B (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
| CN110363706A (zh) | 一种大面积桥面图像拼接方法 | |
| Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
| CN102297660A (zh) | 一种盾构隧道衬砌管片接缝张开宽度的测量方法及装置 | |
| CN104599258A (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| CN115409069A (zh) | 村镇建筑的识别方法、分类方法、装置、电子设备和介质 | |
| CN110232387A (zh) | 一种基于kaze-hog算法的异源图像匹配方法 | |
| CN111598942A (zh) | 一种用于对电力设施仪表进行自动定位的方法及*** | |
| CN109341668A (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
| CN102494663A (zh) | 摆动喷管的摆动角度的测量***及摆动角度的测量方法 | |
| Yang et al. | Deep neural network based visual inspection with 3d metric measurement of concrete defects using wall-climbing robot | |
| CN103942786B (zh) | 无人机可见光和红外图像的自适应团块目标检测方法 | |
| CN114419421A (zh) | 一种基于影像的地铁隧道裂缝识别***及方法 | |
| CN113884011A (zh) | 一种非接触式混凝土表观裂缝测量设备和方法 | |
| CN109902576A (zh) | 一种头肩图像分类器的训练方法及应用 | |
| CN116630267A (zh) | 基于无人机与激光雷达数据融合的路基沉降监测方法 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |