CN111783672A - 一种提高桥梁动位移精度的图像特征辨识方法 - Google Patents

一种提高桥梁动位移精度的图像特征辨识方法 Download PDF

Info

Publication number
CN111783672A
CN111783672A CN202010627632.6A CN202010627632A CN111783672A CN 111783672 A CN111783672 A CN 111783672A CN 202010627632 A CN202010627632 A CN 202010627632A CN 111783672 A CN111783672 A CN 111783672A
Authority
CN
China
Prior art keywords
points
feature
image
point
bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010627632.6A
Other languages
English (en)
Inventor
李忠龙
李顺龙
刘子琦
高庆飞
郭亚朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010627632.6A priority Critical patent/CN111783672A/zh
Publication of CN111783672A publication Critical patent/CN111783672A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种提高桥梁动位移精度的图像特征辨识方法，涉及一种桥梁位移测量方法。桥梁视频图像采集，视觉靶标在视频内部；对图像进行特征点检测，计算图像中每个像素点的Hessian矩阵，并采用高斯函数卷积处理，极值处为特征点；采用近邻比值提纯法提纯，初步筛选正确特征匹配点；采用正反双向提纯法进行提纯，剔除不满足要求的特征点；采用主方向夹角法进行提纯，将两帧图像中的特征点对应的角度进行差值，与角度阈值比较进一步将错误点剔除；逐帧进行帧间匹配，得到每帧图像的特征点。解决现有基于特征点识别桥梁图像计算复杂、错误匹配点过多以及位移测量精度不高的问题，能够实现桥梁区域靶标特征点的精确快速识别与追踪。

Description

一种提高桥梁动位移精度的图像特征辨识方法
技术领域
本发明涉及一种桥梁位移测量方法，尤其是一种提高桥梁动位移精度的图像特征辨识方法，属于桥梁工程健康监测与安全评估领域。
背景技术
近些年来，我国高铁建设加速成网，高铁成为人们出行的首要选择。高铁的修建一般采用“以桥带路”的方式，因此桥梁结构在高铁线路中占比极大。随着高铁运行时对桥梁的冲击，桥梁结构造成的损伤逐渐累积，严重时会造成重大安全事故。为保证高铁的安全运行，需要对高铁桥梁动态位移进行监测或定期检查。
目前，高铁桥梁中常用的位移测量工具和方法主要是位移传感器、加速度传感器、激光挠度仪等，这些方法施工过程复杂、耗时长、成本高并且对于一些空间结构复杂的地方难以测量。随着摄影技术的发展，应用图像处理和数字图像相关等方法从图像中直接提取结构振动位移信息也逐渐受到广泛关注。
随着计算机视觉的发展，许多学者已经将桥梁振动位移与计算机视觉相结合。现阶段，许多基于特征点检测的计算机视觉方法遇到识别中出现大量错误匹配点的问题，在处理时往往需要耗费大量时间并且效果不佳，因此，如何针对错误匹配点过多的问题提出一种高效、快速、精确的计算机测量方法成为一个亟待解决的问题。
发明内容
本发明的目的是为了解决现有的基于特征点识别桥梁图像计算复杂、识别时错误匹配点过多以及位移测量精度不高的问题，提供一种提高桥梁动位移精度的图像特征辨识方法，它能够实现桥梁区域靶标特征点的精确快速识别与追踪，为先进的计算机视觉技术在桥梁振动位移测量上的应用提供一个可行的途径，为后续桥梁结构振动位移智能化实时监测提供了技术方案。
为实现上述目的，本发明采取下述技术方案：一种提高桥梁动位移精度的图像特征辨识方法，包括以下步骤：
步骤一：桥梁视频图像采集，将带有特征的视觉靶标放置在桥梁待测位置，采用商用数码相机拍摄，将视觉靶标包含在视频内部；
步骤二：对视觉靶标图像进行特征点检测，计算图像中每个像素点的Hessian矩阵，并采用高斯函数L(x,t)＝G(t)I(x,t)对矩阵行列卷积处理，通过Hessian矩阵判别式初步判断特征点，Hessian矩阵的行列式的极值处即为特征点；
步骤三：对初步筛选出的特征点进行特征点匹配，剔除部分错误特征点，首先采用近邻比值提纯法提纯，选定一个特征点并找到第二帧图像中与此特征点间的欧氏距离最小以及次最小的点，将最小距离与次最小距离进行比值Q，通过设定阈值Tq，满足Tq＜Q的要求则认为是正确特征匹配点；
步骤四：继续采用正反双向提纯法进行提纯，第一帧中的一个特征点按上述近邻比值法找到第二帧图像中对应的特征点，如果在第二帧图像中有多个特征点均满足Tq＜Q，则进行剔除，如果仅有一个特征点对应，则以此特征点为基础，采用近邻比值法找寻第一帧图像满足要求的点，若与之前的点一致，则认为是正确匹配，反之，若有多个点匹配，则进行剔除；
步骤五：对上述特征点最后采用主方向夹角法进行提纯，将两帧图像中的特征点对应的角度进行差值，与设置的角度阈值θλ进行比较，当角度满足θ1-θ2＜θλ时认为是正确匹配点，式中θ1、θ2是两帧图像中特征点匹配点间的主方向夹角，从而进一步将错误点剔除；
步骤六：重复进行步骤二至步骤五，逐帧进行帧间匹配，识别追踪特征点直至视频结束，可得到每帧图像的特征点。
与现有技术相比，本发明的有益效果是：本发明能够快速、准确的对图像中的特征点进行识别追踪，为后续桥梁位移实时监测提供一种技术手段，特征匹配时采用三步提纯法，包括近邻比值提纯法、正反双向提纯法与主方向夹角法，逐步对特征点进行筛选，保证测量精度要求，可测量0.5mm桥梁振动位移，为实际工程应用提供技术手段支持，此方法相对于传统位移测量方法具有高效、智能、快捷、成本低的特点，为桥梁健康监测自动化提供解决途径。
附图说明
图1是本发明实施例中桥梁视频图像采集状态参照图；
图2是本发明实施例中拍摄的某一帧图像；
图3是对图2图像处理得到的靶标区域；
图4是本发明实施例中靶标区域初步检测到的特征点；
图5是本发明实施例中靶标区域近邻比值提纯后的特征点；
图6是本发明实施例中靶标区域正反双向提纯后的特征点；
图7是本发明实施例中靶标区域主方向夹角提纯后的特征点。
具体实施方式
下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开了一种提高桥梁动位移精度的图像特征辨识方法，包括如下步骤：
步骤一：桥梁视频图像采集，将带有特征的视觉靶标放置在桥梁待测位置，采用商用数码相机拍摄，将视觉靶标包含在视频内部；
步骤二：对视觉靶标图像进行特征点检测，计算图像中每个像素点的Hessian矩阵，并采用高斯函数L(x,t)＝G(t)I(x,t)对矩阵行列卷积处理，通过Hessian矩阵判别式初步判断特征点，Hessian矩阵的行列式的极值处即为特征点；
具体判断为：当行列式的符号为正时，则该行列式的两个特征值同为正或负，所以该点可以归类为极值点，
Figure BDA0002565375120000041
Figure BDA0002565375120000042
Det(H)＝LxxLyy-LxyLxy
式中，f(x,y)是图像中的任一像素点，H(f(x,y))是依据点f(x,y)的计算的Hessian矩阵，
Figure BDA0002565375120000043
是f(x,y)对x的二阶导数，
Figure BDA0002565375120000044
是f(x,y)对x、y的二阶导数，
Figure BDA0002565375120000045
是f(x,y)对y的二阶导数，是采用高斯卷积之后的Hessian矩阵，Lxx(X,σ)是高斯二阶微分
Figure BDA0002565375120000046
在像素点(x,y)处与图像f(x,y)的卷积，Lxy(X,σ)是高斯二阶微分
Figure BDA0002565375120000047
在像素点(x,y)处与图像f(x,y)的卷积，Lyy(X,σ)是高斯二阶微分
Figure BDA0002565375120000051
在像素点(x,y)处与图像f(x,y)的卷积，
Figure BDA0002565375120000052
是高斯函数L(x,t)＝G(t)I(x,t)对x的二阶导数，
Figure BDA0002565375120000053
是高斯函数L(x,t)＝G(t)I(x,t)对x、y的二阶导数，
Figure BDA0002565375120000054
是高斯函数L(x,t)＝G(t)I(x,t)对y的二阶导数，Det(H)为Hessian矩阵判别式。
步骤三：对初步筛选出的特征点进行特征点匹配，剔除部分错误特征点，首先采用近邻比值提纯法提纯，选定一个特征点并找到第二帧图像中与此特征点间的欧氏距离最小以及次最小的点，将最小距离与次最小距离进行比值Q，通过设定阈值Tq，满足Tq＜Q的要求则认为是正确特征匹配点；
Figure BDA0002565375120000055
Figure BDA0002565375120000056
Tq＜Q
式中，di,j表示两帧图像中第i和j两个特征点间的欧氏距离，xi表示第一帧图像第i个特征点，xj表示相邻帧图像第j个特征点，d最小为两帧图像中计算出的两个特征点的最小距离，d次最小为两帧图像中计算出的两个特征点的次最小距离，Q为d最小与d次最小的比值，Tq为设定的阈值，一般取值0.4-0.8之间，满足Tq＜Q的点作为初步确定的特征点。
步骤四：由步骤二筛选出的特征点仍含有部分错误点，需要进一步进行提纯，继续采用正反双向提纯法进行提纯，具体方法为：第一帧中的一个特征点按上述近邻比值法可以找到第二帧图像中对应的特征点，如果在第二帧图像中有多个特征点均满足Tq＜Q比值要求，则认为不是对应的特征点，进行剔除，如果仅有一个特征点对应，则以此特征点为基础，采用近邻比值法找寻第一帧图像满足要求的点，若与之前的点一致，则认为是正确匹配，反之，若有多个点匹配，则进行剔除，说明不是正确匹配；
步骤五：对上述特征点最后采用主方向夹角法进行提纯，具体方法为：将两帧图像中的特征点对应的角度进行差值，与设置的角度阈值θλ进行比较，当角度满足|θ1-θ2|＜θλ时认为是正确匹配点，式中θ1、θ2是两帧图像中特征点匹配点间的主方向夹角，阈值的选取通过求解两帧图像中所有特征点旋转角度的平均值求得，从而可进一步将错误点剔除，剩下的即是匹配度较高的特征点；
步骤六：重复进行步骤二至步骤五，逐帧进行帧间匹配，识别追踪特征点直至视频结束，可得到每帧图像的特征点。
实施例：
步骤一：对一实验室桥梁结构进行试验，如图1所示识别靶标放置在桥面板处，对此进行振动视频拍摄，本次实验拍摄时长10s，如图2所示为视频中拍摄的某一帧图像，对靶标所在小区域进行处理，如图3所示；
步骤二：通过程序调用函数可实现Hessian的算法代码编程，算法中可进行所有像素点的坐标转化，初步检测到的特征点如图4所示；
步骤三：对图像中识别到的点进行欧式距离计算，设定阈值Tq＝0.5，通过筛选可得到如图5所示；
步骤四：计算第二帧图像中特征点与第一帧图像中的欧式距离，同样设定设定阈值Tq＝0.5，正反双向均满足要求的点进行保留，结果如图6所示；
步骤五：计算特征点的方向角度，第一帧特征点记为θ1，第二帧特征点记为θ2，计算所有特征点角度变化平均值θλ，对满足|θ1-θ2|＜θλ的点进行保留，结果如图7所示。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的装体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同条件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种提高桥梁动位移精度的图像特征辨识方法，其特征在于：包括以下步骤：
步骤一：桥梁视频图像采集，将带有特征的视觉靶标放置在桥梁待测位置，采用商用数码相机拍摄，将视觉靶标包含在视频内部；
步骤二：对视觉靶标图像进行特征点检测，计算图像中每个像素点的Hessian矩阵，并采用高斯函数L(x,t)＝G(t)I(x,t)对矩阵行列卷积处理，通过Hessian矩阵判别式初步判断特征点，Hessian矩阵的行列式的极值处即为特征点；
步骤三：对初步筛选出的特征点进行特征点匹配，剔除部分错误特征点，首先采用近邻比值提纯法提纯，选定一个特征点并找到第二帧图像中与此特征点间的欧氏距离最小以及次最小的点，将最小距离与次最小距离进行比值Q，通过设定阈值Tq，满足Tq＜Q的要求则认为是正确特征匹配点；
步骤四：继续采用正反双向提纯法进行提纯，第一帧中的一个特征点按上述近邻比值法找到第二帧图像中对应的特征点，如果在第二帧图像中有多个特征点均满足Tq＜Q，则进行剔除，如果仅有一个特征点对应，则以此特征点为基础，采用近邻比值法找寻第一帧图像满足要求的点，若与之前的点一致，则认为是正确匹配，反之，若有多个点匹配，则进行剔除；
步骤五：对上述特征点最后采用主方向夹角法进行提纯，将两帧图像中的特征点对应的角度进行差值，与设置的角度阈值θλ进行比较，当角度满足|θ1-θ2|＜θλ时认为是正确匹配点，式中θ1、θ2是两帧图像中特征点匹配点间的主方向夹角，从而进一步将错误点剔除；
步骤六：重复进行步骤二至步骤五，逐帧进行帧间匹配，识别追踪特征点直至视频结束，可得到每帧图像的特征点。
2.根据权利要求1所述的一种提高桥梁动位移精度的图像特征辨识方法，其特征在于：所述步骤三中设定的阈值Tq取值在0.4-0.8之间。
3.根据权利要求1所述的一种提高桥梁动位移精度的图像特征辨识方法，其特征在于：所述步骤五中角度阈值θλ的选取通过求解两帧图像中所有特征点旋转角度的平均值求得。
CN202010627632.6A 2020-07-01 2020-07-01 一种提高桥梁动位移精度的图像特征辨识方法 Pending CN111783672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010627632.6A CN111783672A (zh) 2020-07-01 2020-07-01 一种提高桥梁动位移精度的图像特征辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010627632.6A CN111783672A (zh) 2020-07-01 2020-07-01 一种提高桥梁动位移精度的图像特征辨识方法

Publications (1)

Publication Number Publication Date
CN111783672A true CN111783672A (zh) 2020-10-16

Family

ID=72758003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010627632.6A Pending CN111783672A (zh) 2020-07-01 2020-07-01 一种提高桥梁动位移精度的图像特征辨识方法

Country Status (1)

Country Link
CN (1) CN111783672A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489043A (zh) * 2020-12-21 2021-03-12 无锡祥生医疗科技股份有限公司 心脏疾病检测装置、模型训练方法及存储介质
CN113076883A (zh) * 2021-04-08 2021-07-06 西南石油大学 一种基于图像特征识别的井喷气体流速测量方法
CN114184127A (zh) * 2021-12-13 2022-03-15 哈尔滨工业大学 一种基于单相机无标靶的建筑物全局位移监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534616A (zh) * 2016-10-17 2017-03-22 北京理工大学珠海学院 一种基于特征匹配与运动补偿的视频稳像方法及***
JP6120037B1 (ja) * 2016-11-30 2017-04-26 国際航業株式会社 点検装置、及び点検方法
CN108037132A (zh) * 2017-12-25 2018-05-15 华南理工大学 一种用于干电池浆层纸卷绕缺陷检测的视觉传感器***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534616A (zh) * 2016-10-17 2017-03-22 北京理工大学珠海学院 一种基于特征匹配与运动补偿的视频稳像方法及***
JP6120037B1 (ja) * 2016-11-30 2017-04-26 国際航業株式会社 点検装置、及び点検方法
CN108037132A (zh) * 2017-12-25 2018-05-15 华南理工大学 一种用于干电池浆层纸卷绕缺陷检测的视觉传感器***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUAI SHAO 等: "Experiment of Structural Geometric Morphology Monitoring for Bridges Using Holographic Visual Sensor", 《SENSORS》 *
黄建坤: "基于图像序列的桥梁形变位移测量方法", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489043A (zh) * 2020-12-21 2021-03-12 无锡祥生医疗科技股份有限公司 心脏疾病检测装置、模型训练方法及存储介质
CN113076883A (zh) * 2021-04-08 2021-07-06 西南石油大学 一种基于图像特征识别的井喷气体流速测量方法
CN114184127A (zh) * 2021-12-13 2022-03-15 哈尔滨工业大学 一种基于单相机无标靶的建筑物全局位移监测方法
CN114184127B (zh) * 2021-12-13 2022-10-25 哈尔滨工业大学 一种基于单相机无标靶的建筑物全局位移监测方法

Similar Documents

Publication Publication Date Title
CN111783672A (zh) 一种提高桥梁动位移精度的图像特征辨识方法
CN108898085B (zh) 一种基于手机视频的道路病害智能检测方法
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN105678213B (zh) 基于视频特征统计的双模式蒙面人事件自动检测方法
CN110503638B (zh) 螺旋胶质量在线检测方法
CN112258446A (zh) 一种基于改进yolo算法的工业零件缺陷检测方法
CN116862910B (zh) 基于自动化裁切生产的视觉检测方法
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN112614105A (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN111582270A (zh) 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法
CN115457277A (zh) 一种智能化路面病害识别检测方法及***
CN107463939B (zh) 一种图像关键直线检测方法
CN108492306A (zh) 一种基于图像轮廓的x型角点提取方法
CN109657682B (zh) 一种基于深度神经网络和多阈值软切分的电能表示数识别方法
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
CN113705564A (zh) 一种指针式仪表识别读数方法
CN117787690A (zh) 吊装作业安全风险识别方法及识别装置
CN110634154B (zh) 一种面向速度大范围变化目标跟踪的模板匹配方法
CN112330675A (zh) 基于AOD-Net的交通道路图像大气能见度检测方法
CN116958052A (zh) 一种基于yolo和注意力机制的印刷电路板缺陷检测方法
CN116740036A (zh) 一种钢管管端引熄弧板切割点位检测方法和***
CN111161264A (zh) 一种对含有缺陷的tft电路图像的分割方法
CN103714552A (zh) 运动阴影消除方法及装置和智能视频分析***
Han et al. Damage detection of quayside crane structure based on improved faster R-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201016