CN116597132A - 一种钢结构节点静动态位移非接触式测量方法及*** - Google Patents

一种钢结构节点静动态位移非接触式测量方法及*** Download PDF

Info

Publication number
CN116597132A
CN116597132A CN202310551324.3A CN202310551324A CN116597132A CN 116597132 A CN116597132 A CN 116597132A CN 202310551324 A CN202310551324 A CN 202310551324A CN 116597132 A CN116597132 A CN 116597132A
Authority
CN
China
Prior art keywords
feature
steel structure
camera
coordinates
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310551324.3A
Other languages
English (en)
Inventor
廖飞宇
张崇林
骆勇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Agriculture and Forestry University
Original Assignee
Fujian Agriculture and Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Agriculture and Forestry University filed Critical Fujian Agriculture and Forestry University
Priority to CN202310551324.3A priority Critical patent/CN116597132A/zh
Publication of CN116597132A publication Critical patent/CN116597132A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种钢结构节点静动态位移非接触式测量方法及***，本发明方案通过采集钢节点静动态位移前后图像；训练改进YOLO V4算法，并对采集到的变形前后图像进行识别定位处理输出坐标；将输出坐标与相机拍摄点进行匹配并进行坐标转换获得特征点空间坐标变换，在不接触建筑钢结构节点的同时测量该节点静动态位移变化情况，能大幅提高测量效率并对不同使用环境具有良好的适用性。

Description

一种钢结构节点静动态位移非接触式测量方法及***
技术领域
本发明涉及建筑结构节点非接触式测量技术与网络深度学习技术领域，尤其涉及钢结构节点静动态位移非接触式测量方法及***。
背景技术
节点是结构体系的传力枢纽，一旦节点失效则会导致结构整体破坏甚至倒塌。钢结构在长期服役过程中，受环境腐蚀、偶然荷载、材料劣化等因素影响不可避免地存在结构损伤，其节点静动态位移是衡量整体结构刚度和稳定性的重要指标，对于评估钢结构的服役可靠性具有重要意义。然而，对于一些高耸、大跨以及处于恶劣服役环境的钢结构，人工攀爬到节点位置的危险性大，因此在节点上安装位移传感器的难度很大，难以对节点静动态位移进行准确和快捷地测量。
基于计算机视觉的结构非接触式测量是可实现真正意义上的无接触位移测量，该方法无需复杂的激光光源与干涉光路，测量***由相机、镜头、计算机、处理软件等组成，借助相机拍摄的图像与计算机开展分析便可得到结构变形特征。大部分计算机视觉测量方法应用于结构进行位移测量时，需人工标记测点，对采集到的图像测点进行人工选择匹配，工作量偏大，降低了测量效率，也可能导致测量误差。为解决该问题，可采用深度学习中的目标检测来对目标物进行自动识别及定位。尤其对于钢结构节点的远距离非接触式测量，存在目标尺寸小和位移小等特点，对于测量精度要求较高。因此，本发明提出一种基于改进YOLO V4算法的钢结构节点静动态位移测量算法，可实现多特征物的自动定位识别，对小目标特征物的静动态位移能实现高效、准确的无接触测量。
发明内容
有鉴于此，本发明的目的在于提出一种钢结构节点静动态位移非接触式测量方法及***，本发明方案既可实现对节点小目标静动态位移的准确测量，又可解决现有方法中训练时间长，对计算机硬件要求高等技术缺陷。
为了实现上述的技术目的，本发明所采用的技术方案为：
一种钢结构节点静动态位移非接触式测量方法，其包括：
S01、按预设要求对单目相机进行标定，获得单目相机标定参数，还通过单目相机拍摄钢结构节点在结构发生变形前后的图像；
S02、将钢结构节点在结构发生变形前后的图像导入到经训练的目标检测算法中，由目标检测算法对钢结构节点对应的图像进行特征物识别、定位，输出特征物二维图像坐标；
S03、将单目相机标定参数与特征物二维图像坐标进行测点匹配，然后将特征物二维图像坐标进行转换，获得单目相机所拍摄钢结构节点对应特征点的空间坐标变化情况。
本方案中，可以通过图像采集模块、图像识别定位模块和位移测量模块来形成一测量***来实施上述方法。
本方案中，可以通过图像采集模块来集成所述单目相机，该图像采样模块用于按预设要求对单目相机进行标定，获得单目相机标定参数，还通过单目相机拍摄钢结构节点在结构发生变形前后的图像。
作为一种可能的实施方式，进一步，本方案S01中，通过张正友相机标定法对单目相机进行标定；
其中，标定过程中采用的标定板包括玻璃基板以及附着其上的氧化铝面板，光线在其表面发生漫反射，因此不会出现塑料面板因反光产生的角点检测偏差现象。标定板上设有棋盘格，其外形尺寸为290mm×230mm，方格边长为20mm，图案阵列为12×9，图案尺寸为240mm×180mm，检测精度为0.01mm；
另外，标定过程中为固定相机焦距进行拍摄，使得相机视野范围内的标定板所占比例为1/4～1/3；然后，利用相机对不同位置、角度下的标定板进行拍摄，使标定板能够布满视场各个区域但不超出相机成像范围，同时按预设要求将部分标定板进行倾斜，获取与成像平面成预设夹角的棋盘格图像，且拍摄一张与振动方向平行的棋格板，以作为后期位移换算的参考坐标系；
同时，标定过程中利用Matlab的camera calibration工具箱来完成张正友相机标定。所述钢结构节点拍摄采用所述单目相机对钢结构节点进行识别定位拍摄，得到钢结构节点变形前后图像。
本方案中，可以通过图像识别定位模块来对图像采集模块输出的相关数据进行继续处理，图像识别定位模块通过加载经训练的目标检测算法进行处理。
作为一种较优的选择实施方式，优选的，本方案S02中，目标检测算法的训练方法包括：
A01、汇集钢结构节点图片数据且对其进行标注和建立特征物数据库(可以通过网络搜集的钢结构节点图片及试验室拍摄图片建立特征物数据库)，其中，特征物数据库中的样本数量不少于7200条，所述钢结构节点图片数据包括焊接节点、螺栓连接节点和栓焊混合节点一种以上以不同连接形式的组合，其也包括框架节点、桁架节点和空间节点中一种以上不同体系的节点类型；
A02、从特征物数据库中提取数据，且按照7：2：1的比例划分为训练集、验证集及测试集，再利用预设YOLO V4算法对数据库中提取的数据进行训练和测试；在模型完成训练并达到精度要求后，模型收敛；经训练的YOLO V4算法作为目标检测算法，其用于对单目相机拍摄的钢结构节点变形前后图像进行识别钢结构节点特征物位置并获取钢结构节点二维图像坐标，即特征物二维图像坐标。
本方案中，目标检测算法为YOLO V4算法，其有别于传统算法，本方案的YOLO V4算法中主干特征提取网络由传统的CSPDarknet53替换为MobileNet V3；所述MobileNet V3算法综合了MobileNet V1的深度可分离卷积与MobileNet V2的逆残差结构优势，并引入轻量级的注意力模型，激活函数由swish优化为h-swish，减少整个网络模型运算量。
作为一种较优的选择实施方式，优选的，本方案所述YOLO V4算法包括主干特征提取网络MobileNet V3，其激活函数为h-swish；
所述h-swish的函数式为：
即：
其中，ReLU6函数的表达式为：
ReLU6(x)＝min(max(0,x),6)。
作为一种较优的选择实施方式，优选的，本方案所述YOLO V4算法还包括加强特征提取网络SPP和PANet，以及与加强特征提取网络PANet连接的预测网络Yolo Head，其中，加强特征提取网络SPP和主干特征提取网络MobileNet V3之间还通过卷积层连接。
作为一种较优的选择实施方式，优选的，本方案所述主干特征提取网络MobileNetV3的主要构建步块为Bneck结构，对主干网络而言，输入到主干特征提取网络MobileNet V3的特征层先利用1×1的卷积进行升维，再利用3×3的深度可分离卷积提取特征，继而对特征层的通道施加注意力机制，最后利用1×1的卷积对特征层进行降维；对于残差边结构而言，直接将网络的输入与输出相接。
其中，所述施加注意力机制是先展开全局平均池化，获得特征层长条，对特征层长条展开两次全连接，将长条与3×3的深度可分离卷积提取特征相乘，给特征层的每个通道施加注意力机制。
作为一种较优的选择实施方式，优选的，本方案所述YOLO V4算法将所测结构目标特征物图像数据集输入到主干特征提取网络MobileNet V3中进行通道升维，而后输入到多层卷积块中提取有效特征，获取特征层高宽及通道数与YOLO V4算法主干特征提取网络MobileNet V3最后三个有效特征层Part1、Part2和Part3一致的特征提取层，该三个有效特征层分别对应MobileNet V3网络的第七、第十三以及第十六层；
将所述获得的三个初步有效特征层传入加强特征提取网络SPP和PANet组成的加强特征提取网络中实现三个有效特征层的特征融合，获得更有效特征；再利用加强特征提取网络获取得到的更有效特征层进行预测，获得更有效的预测结果；
通过对所述特征物进行钢结构节点目标框选定位，读取所述目标框标签及图像坐标，对所述目标框结果进行评估，得到特征物目标框定位精度评价指标；
为衡量预测框与真实框的匹配程度，引入IOU值来作为衡量定位准确度的指标：
IOU＝S交/S并
式中，S交表示预测框和实际框之间的重叠区域，S并表示预测框和实际框所占有的总区域，IOU即真实框与预测框面积的交并比，其值越趋近于1，预测结果定位越准确；
同时，引入Precision指标用于评价分类器预测的全局准确性，Precision值越趋近于1，表示分类器预测的全局准确性越高；Precision的计算式为：
式中，TP，TN，FP，FN，分别表示True Positive——实际为正样本预测为正样本，True Negative——实际为负样本预测为负样本，False Positive——实际为负样本预测为正样本，False Negative——实际为正样本预测为负样本；
此外，引入Recall用于评价分类器找到所有正样本的能力，Recall值越高，表明该算法找到所有正样本的能力较强，Recall得定义式为：
mAP是某一类物体的平均精度，其中Precision-Recall曲线下曲面的面积称为AP，通常而言，分类能力越好的分类器，其AP值越高，mAP是多个类别AP的平均值，其取值为[0,1]，mAP值越大，网络模型的分类能力越强；
本方案中，所述位移测量模块将单目相机标定参数与得到的特征物二维图像坐标进行测点匹配，利用相机成像原理将图像坐标转换为世界坐标，获取结构特征点空间坐标变化情况，即单目相机所拍摄钢结构节点对应特征点的空间坐标变化情况。
所述相机成像原理包括：
小孔成像模型是最为普遍使用的相机成像模型。连接空间中任意点与该点在图像上的投影位置，所得连线与图像平面的交点为光心，这种映射叫透视投影或中心投影。若要通过相机获取现实世界结构特征物的位移值，则需确定像素坐标系(uov)、图像坐标系(x’o’y’)、相机坐标系(xoy)和世界坐标系(xwowyw)之间的关系，将特征点像素坐标通过转换系数法和矩阵变换法转换为世界坐标，得到特征点空间坐标变化。
作为一种较优的选择实施方式，优选的，本方案将图像坐标转换为世界坐标使用转换系数法和矩阵变换法对图像坐标进行转换，其中，所述矩阵变换法包括：
(1)像素坐标转换为图像坐标
对图像而言，图像坐标系(x’o’y’)以成像平面中心点为原点o’，通常以过原点o’且平行成像平面长边方向为x’轴，以过原点o’且平行成像平面短边方向为y’轴，坐标系单位是毫米；像素坐标系(uov)则以成像平面左上角角点为原点o，过原点o沿长边方向为u轴，沿短边方向为v轴，坐标系单位为像素(pixel)，像素坐标可以表示为(u,v)；uov平面与x’o’y’平面重合，坐标轴互相平行；
两坐标系的转换关系下式所示：
式中：dx——水平向像素的物理尺度(mm/pixel)；dy——竖直向像素的物理尺度(mm/pixel)；
(2)图像坐标转换为相机坐标
相机坐标系和图像坐标系的坐标轴互相平行,相机坐标系中，O为光心，OZ为光轴，OO’为焦距f；
根据相似三角形原理可得，图像坐标与相机坐标的转换方法如下式所示：
式中：s——比例因子(s不为0)；f——有效焦距；
(3)相机坐标转换为世界坐标
现实世界中，由于相机的摆放位置不同，其被测点的世界坐标位置也不一样，但相机坐标系与世界坐标系之间的坐标变换为刚体变换，故仅需对世界坐标系中的物体进行旋转平移即可获得其在相机坐标系下的坐标；
两坐标的转换关系式如下式所示：
式中：R——3×3的旋转矩阵；T——3×1的平移矩阵；
经过坐标转换，可将世界坐标系的任意一点转换到像素坐标系中，其转换矩阵如下式所示：
式中：u，v——点在成像平面中的像素坐标(pixel)；
fx，fy——相机在u、v轴方向上的尺度因子(pixel)；
u0，v0——相机中心光轴与成像平面的交点在像素坐标系上的像素位置，
理想情况下(相机镜头无畸变)为图像中心点(pixel)；
xw，yw，zw——测点在世界坐标系中的空间坐标(m)；
γ——描述坐标轴倾斜角的参数，理想情况下为0；
(u,v,1)T是将(u,v)T扩展坐标维度得到的齐次坐标，而齐次坐标乘以一个缩放因子是不变的，因而上式可以改写成下式所示，称该方法为矩阵变换法：
另外，所述转换系数法包括：
当相机光轴垂直于物体表面时，认为此刻物体表面上的点具有相同的景深，可以均匀的缩小到图像平面内，因此只需要一个现实坐标与像素坐标之间的比例因子(SF)来进行真实位移与像素位移的变换，将该方法称为转换系数法，其表示方法如下：
式中：μ——物距(mm)；
z——像素代表的实际距离(pixel/m)；
v——像距(pixel)；
该方法所涉及的转换因子还可通过目标物表面上的已知物理尺寸与其对应的像素尺寸的比值确定，公式如下：
采用上述转换因子法与矩阵变换法来对算法识别到的特征点像素变化进行转换，从而获取特征物在世界坐标系中的实际位移变化。
基于上述，本发明还提供一种设备，其包括计算机可读的存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现上述所述的钢结构节点静动态位移非接触式测量方法。
基于上述，本发明还提供一种钢结构节点静动态位移非接触式测量***，其包括上述所述的设备。
采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：本发明通过采集钢节点静动态位移前后图像；训练改进YOLO V4算法，并对采集到的变形前后图像进行识别定位处理输出坐标；将输出坐标与相机拍摄点进行匹配并进行坐标转换获得特征点空间坐标变换，在不接触建筑钢结构节点的同时测量该节点静动态位移变化情况，能大幅提高测量效率并对不同使用环境具有良好的适用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方案钢结构节点静动态位移非接触式测量方法的实施流程示意图；
图2为本发明方案钢结构节点静动态位移非接触式测量方法的详细框架图；
图3为本发明方案钢结构节点静动态位移非接触式测量方法中改进YOLO V4检测算法的结构网络图；
图4为本申请实施例所提供的相机成像坐标系；
图5为本申请实施例所提供的三层框架试验装置示意图；
图6为本申请实施例所提供不同编译环境下改进YOLO V4算法的Epoch-Loss曲线。
具体实施方式
下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
结合图1所示，本实施方案一种基于改进YOLO V4的钢结构节点静动态位移非接触式测量方法，该方法具体包括以下步骤：
步骤S1：对单目相机进行标定，获取结构变形前后图像；
步骤S2：构建结构特征数据库，将所述结构变形前后图像导入算法中对特征物进行识别定位，获得特征物二维图像坐标；
步骤S3：对测点进行匹配，并对所述获取二维图像坐标进行坐标转换得到特征点空间坐标变化。
本实施例方案中，如图2所示，可以通过图像采集模块、图像识别定位模块和位移测量模块来形成一测量***来实施上述方法。
本方案的一个实施例中，所述步骤S1包括：
步骤S11：架设三层框架结构试验仪器对单目相机进行标定；
步骤S12：使用所述单目相机对所述待测特征物进行拍摄，获取待测特征物加载前后变化图像。
其中，所述图像采集模块包括单目相机，该模块用于单目相机标定及钢结构节点拍摄。
所述步骤S11具体包括：
步骤S111：架设三层框架结构试验仪器，如图5所示，选取结构表面特征明显的六角螺栓作为待测物体，加载前在结构目标特征物旁布设百分表，对三层框架施加侧向荷载，使其产生微小侧向位移。
步骤S112：图像采集装置采用SONY FDR-AX700摄像机，采用张正友棋盘格标定法对其标定。标定板的材料为标定板的材料为玻璃基板以及氧化铝面板，光线在其表面发生漫反射，因此不会出现塑料面板因反光产生的角点检测偏差现象。棋盘格外形尺寸为290mm×230mm，方格边长为20mm，图案阵列为12×9，图案尺寸为240mm×180mm，检测精度为0.01mm。标定过程中需固定相机焦距拍摄，使得视野范围内标定板所占比例为1/4到1/3。
利用相机对不同位置、角度下的标定板进行拍摄，使标定板能够布满视场各个区域但不能超出相机成像范围，同时需要将部分标定板适当倾斜，获取与成像平面成一定夹角的棋盘格图像，同时，拍摄一张与振动方向平行的棋格板，作为后期位移换算的参考坐标系。分别在拍照模式与视频模式下对所述摄像机进行标定。
步骤S113：利用Matlab的camera calibration工具箱来完成张正友相机标定。最终，分别在图像模式与视频模式下，获得通过标定所得Sony AX700摄像机的内部参数、畸变参数以及相机参数矩阵。
所述图像识别定位模块通过网络搜集的钢结构节点图片及试验室拍摄图片建立特征物数据库，其中包括焊接节点、螺栓连接节点和栓焊混合节点等不同连接形式，也包括框架节点、桁架节点和空间节点等不同体系类型，样本数量不少于7200条。将数据集按照7：2：1划分为训练集、验证集及测试集。利用改进的YOLO V4算法对数据库进行训练和测试。在模型完成训练并达到精度要求后，将单目相机拍摄的钢结构节点变形前后图像输入模型，算法将自动识别钢结构节点特征物位置并获取钢结构节点二维图像坐标。
所述改进YOLO V4算法为：将YOLO V4算法中主干特征提取网络由传统的CSPDarknet53替换为MobileNet V3，改进YOLO V4目标检测算法的结构网络如图3所示。
所述MobileNet V3算法综合了MobileNet V1的深度可分离卷积与MobileNet V2的逆残差结构优势，并引入轻量级的注意力模型，激活函数由swish优化为h-swish，减少整个网络模型运算量。
所述h-swish函数为：
即：
其中，ReLU6函数的表达式为：ReLU6(x)＝min(max(0,x),6)。
MobileNet V3的网络结构其主要构建步块为Bneck结构。对主干网络而言，首先，对输入的特征层利用1×1的卷积进行升维，再利用3×3的深度可分离卷积提取特征；其次，对所获取特征层的通道施加注意力机制，最后利用1×1的卷积对特征层进行降维。对于残差边结构而言，直接将网络的输入与输出相接。
所述施加注意力机制，是先展开全局平均池化，获得特征层长条，对特征层长条展开两次全连接，将长条与3×3的深度可分离卷积提取特征相乘，给特征层的每个通道施加注意力机制。
所述改进YOLO V4算法主干特征提取网络就是将所测结构目标特征物图像数据集输入到MobileNet V3网络中进行通道升维，而后输入到多层卷积块中提取有效特征，获取特征层高宽及通道数与YOLO V4算法主干特征提取网络最后三个有效特征层(Part1、Part2和Part3)一致的特征提取层，这三个有效特征层分别对应MobileNet V3网络的第七、第十三以及第十六层。
具体的，所述步骤S2包括：
步骤S21：构建结构特征数据库；
步骤S22：获取结构变形前后图像，利用算法对其进行识别定位，获取特征物二维图像坐标。
具体的，所述步骤S21包括：
步骤S211：所述实施例所使用的数据集为包含结构目标特征物(六角螺栓)，图片来源为实验室拍摄图像与网络图像，拍摄工具为手机与相机。图像中既包含单目标也包含多目标，同时采用图像增强手段，如图像翻转、亮度增强及对比度加强等，对图片进行变化用以扩充数据集数量，丰富特征物深层信息。
步骤S212：利用LabelImg软件进行特征物标注，框选出六角螺栓所在区域，给出定位目标的标签及图像坐标，方便后期处理数据。
作为一种实施举例，所述步骤S22具体包括：
步骤S221：使用改进YOLO V4算法对所述六角螺栓特征物数据集进行训练，通过在台式计算机编译环境及服务器编译环境下进行加载初始权重文件对改进YOLO V4网络进行训练下得到的Epoch-Loss曲线可知两种编译环境下的Loss值均较小，如图6所示，均能实现良好的网络训练，且改进后的YOLO V4算法在训练效率上有大幅提升，训练时长大幅缩减。
步骤S222：对所述三层框架节点处六角螺栓特征物变形前后图像分析，利用YOLOV4识别定位优异的能力对六角螺栓进行自动识别定位，获取六角螺栓二维图像坐标。
本方案将主干特征提取网络MobileNet V3获得的三个初步有效特征层传入SPP和PANet组成的加强特征提取网络中实现三个有效特征层的特征融合，获得更有效特征；利用加强特征提取网络获取得到的更有效特征层进行预测，获得更有效的预测结果。
通过对所述特征物进行钢结构节点目标框选定位，读取所述目标框标签及图像坐标。对所述目标框结果进行评估，得到特征物目标框定位精度评价指标。
为衡量预测框与真实框的匹配程度，引入IOU值来作为衡量定位准确度的指标：
IOU＝S交/S并
式中，S交表示预测框和实际框之间的重叠区域，S并表示预测框和实际框所占有的总区域，IOU即真实框与预测框面积的交并比，其值越趋近于1，预测结果定位越准确。
同时，引入Precision指标用于评价分类器预测的全局准确性，Precision值越趋近于1，表示分类器预测的全局准确性越高。在实际运用中，往往使用预测结果进行计算。Precision的计算式为：
式中，TP，TN，FP，FN，分别表示True Positive——实际为正样本预测为正样本，True Negative——实际为负样本预测为负样本，False Positive——实际为负样本预测为正样本，False Negative——实际为正样本预测为负样本。
此外，引入Recall用于评价分类器找到所有正样本的能力，Recall值越高，表明该算法找到所有正样本的能力较强。Recall得定义式为：
mAP是某一类物体的平均精度，其中Precision-Recall曲线下曲面的面积称为AP，通常而言，分类能力越好的分类器，其AP值越高，mAP是多个类别AP的平均值，其取值为[0,1]，mAP值越大，网络模型的分类能力越强
所述位移测量模块，将所述图像采集模块中对单目相机标定的参数与所述图像识别定位模块中得到的结构特征物二维图像坐标进行测点匹配，利用相机成像原理将图像坐标转换为世界坐标获取结构特征点空间坐标变化情况。
所述相机成像原理包括：
小孔成像模型是最为普遍使用的相机成像模型。连接空间中任意点与该点在图像上的投影位置，所得连线与图像平面的交点为光心，这种映射叫透视投影或中心投影。相机成像坐标系示意图如图4所示单目视觉测量***中，若要通过相机获取现实世界结构特征物的位移值，则需确定像素坐标系(uov)、图像坐标系(x’o’y’)、相机坐标系(xoy)和世界坐标系(xwowyw)之间的关系，将特征点像素坐标通过转换系数法和矩阵变换法转换为世界坐标，得到特征点空间坐标变化。
所述坐标转换使用转换系数法和矩阵变换法对图像坐标进行转换。
所述矩阵变换法包括：
(1)像素坐标转换为图像坐标
对图像而言，图像坐标系(x’o’y’)以成像平面中心点为原点o’，通常以过原点o’且平行成像平面长边方向为x’轴，以过原点o’且平行成像平面短边方向为y’轴，坐标系单位是毫米。像素坐标系(uov)则以成像平面左上角角点为原点o，过原点o沿长边方向为u轴，沿短边方向为v轴，坐标系单位为像素(pixel)，像素坐标可以表示为(u,v)。uov平面与x’o’y’平面重合，坐标轴互相平行。
两坐标系的转换关系下式所示：
式中：dx——水平向像素的物理尺度(mm/pixel)；dy——竖直向像素的物理尺度(mm/pixel)。
(2)图像坐标转换为相机坐标
相机坐标系和图像坐标系的坐标轴互相平行。相机坐标系中，O为光心，OZ为光轴，OO’为焦距f。
根据相似三角形原理可得，图像坐标与相机坐标的转换方法如下式所示：
式中：s——比例因子(s不为0)；f——有效焦距。
(3)相机坐标转换为世界坐标
现实世界中，由于相机的摆放位置不同，其被测点的世界坐标位置也不一样，但相机坐标系与世界坐标系之间的坐标变换为刚体变换，故仅需对世界坐标系中的物体进行旋转平移即可获得其在相机坐标系下的坐标。
两坐标的转换关系式如下式所示：
式中：R——3×3的旋转矩阵；T——3×1的平移矩阵。
经过坐标转换，可将世界坐标系的任意一点转换到像素坐标系中，其转换矩阵如下式所示：
式中：u，v——点在成像平面中的像素坐标(pixel)；
f x，fy——相机在u、v轴方向上的尺度因子(pixel)；
u0，v0——相机中心光轴与成像平面的交点在像素坐标系上的像素位置，理想情况下(相机镜头无畸变)为图像中心点(pixel)；
xw，yw，zw——测点在世界坐标系中的空间坐标(m)；
γ——描述坐标轴倾斜角的参数，理想情况下为0；
(u,v,1)T是将(u,v)T扩展坐标维度得到的齐次坐标，而齐次坐标乘以一个缩放因子是不变的，因而上式可以改写成下式所示，称该方法为矩阵变换法：
所述转换系数法包括：
当相机光轴垂直于物体表面时，认为此刻物体表面上的点具有相同的景深，可以均匀的缩小到图像平面内，因此只需要一个现实坐标与像素坐标之间的比例因子(SF)来进行真实位移与像素位移的变换，将该方法称为转换系数法，其表示方法如下：
式中：μ——物距(mm)；
z——像素代表的实际距离(pixel/m)；
v——像距(pixel)。
该方法所涉及的转换因子还可通过目标物表面上的已知物理尺寸与其对应的像素尺寸的比值确定，公式如下：
采用上述转换因子法与矩阵变换法来对算法识别到的特征点像素变化进行转换，从而获取特征物在世界坐标系中的实际位移变化。
作为一种实施举例，所述步骤S3包括：
步骤S31：进行测点匹配；
步骤S32：坐标转换。
具体的，所述步骤S31具体包括：消除由于所述摄像机内部参数、畸变参数等带来的误差，获得更加精确的二维图像坐标。
所述步骤S32具体包括：其中，对于静位移试验，利用转换系数法与矩阵变换法对改进YOLO V4算法下测得的六角螺栓像素坐标进行转换，还原得到世界坐标系下六角螺栓的水平横向位移值，所提算法实测位移与百分表测得真实位移结果吻合，相对误差分别为1.82％与9.1％。相较于矩阵变换法，转换因子法的换算结果更接近于百分表测量结果。对于动位移试验，将改进YOLO V4算法预测的像素坐标变化结果分别用转换系数法及矩阵变换法换算为世界坐标系下的位移时程曲线，改进YOLO V4预测所得动载试验位移时程曲线与位移计测得位移时程曲线拟合较好。
以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种钢结构节点静动态位移非接触式测量方法，其特征在于，其包括：
S01、按预设要求对单目相机进行标定，获得单目相机标定参数，还通过单目相机拍摄钢结构节点在结构发生变形前后的图像；
S02、将钢结构节点在结构发生变形前后的图像导入到经训练的目标检测算法中，由目标检测算法对钢结构节点对应的图像进行特征物识别、定位，输出特征物二维图像坐标；
S03、将单目相机标定参数与特征物二维图像坐标进行测点匹配，然后将特征物二维图像坐标进行转换，获得单目相机所拍摄钢结构节点对应特征点的空间坐标变化情况。
2.如权利要求1所述的钢结构节点静动态位移非接触式测量方法，其特征在于，S01中，通过张正友相机标定法对单目相机进行标定；
其中，标定过程中采用的标定板包括玻璃基板以及附着其上的氧化铝面板，标定板上设有棋盘格，其外形尺寸为290mm×230mm，方格边长为20mm，图案阵列为12×9，图案尺寸为240mm×180mm，检测精度为0.01mm；
另外，标定过程中为固定相机焦距进行拍摄，使得相机视野范围内的标定板所占比例为1/4～1/3；然后，利用相机对不同位置、角度下的标定板进行拍摄，使标定板能够布满视场各个区域但不超出相机成像范围，同时按预设要求将部分标定板进行倾斜，获取与成像平面成预设夹角的棋盘格图像，且拍摄一张与振动方向平行的棋格板，以作为后期位移换算的参考坐标系；
同时，标定过程中利用Matlab的camera calibration工具箱来完成张正友相机标定。
3.如权利要求1或2所述的钢结构节点静动态位移非接触式测量方法，其特征在于，S02中，目标检测算法的训练方法包括：
汇集钢结构节点图片数据且对其进行标注和建立特征物数据库，其中，特征物数据库中的样本数量不少于7200条，所述钢结构节点图片数据包括焊接节点、螺栓连接节点和栓焊混合节点一种以上以不同连接形式的组合，其也包括框架节点、桁架节点和空间节点中一种以上不同体系的节点类型；
从特征物数据库中提取数据，且按照7：2：1的比例划分为训练集、验证集及测试集，再利用预设YOLO V4算法对数据库中提取的数据进行训练和测试；在模型完成训练并达到精度要求后，模型收敛；经训练的YOLO V4算法作为目标检测算法，其用于对单目相机拍摄的钢结构节点变形前后图像进行识别钢结构节点特征物位置并获取钢结构节点二维图像坐标，即特征物二维图像坐标。
4.如权利要求3所述的钢结构节点静动态位移非接触式测量方法，其特征在于，所述YOLO V4算法包括主干特征提取网络MobileNet V3，其激活函数为h-swish；
所述h-swish的函数式为：
即：
其中，ReLU6函数的表达式为：
ReLU6(x)＝min(max(0,x),6)。
5.如权利要求4所述的钢结构节点静动态位移非接触式测量方法，其特征在于，所述YOLO V4算法还包括加强特征提取网络SPP和PANet，以及与加强特征提取网络PANet连接的预测网络Yolo Head，其中，加强特征提取网络SPP和主干特征提取网络MobileNet V3之间还通过卷积层连接。
6.如权利要求5所述的钢结构节点静动态位移非接触式测量方法，其特征在于，所述主干特征提取网络MobileNet V3的主要构建步块为Bneck结构，输入到主干特征提取网络MobileNet V3的特征层先利用1×1的卷积进行升维，再利用3×3的深度可分离卷积提取特征，继而对特征层的通道施加注意力机制，最后利用1×1的卷积对特征层进行降维；
其中，所述施加注意力机制是先展开全局平均池化，获得特征层长条，对特征层长条展开两次全连接，将长条与3×3的深度可分离卷积提取特征相乘，给特征层的每个通道施加注意力机制。
7.如权利要求6所述的钢结构节点静动态位移非接触式测量方法，其特征在于，所述YOLO V4算法将所测结构目标特征物图像数据集输入到主干特征提取网络MobileNet V3中进行通道升维，而后输入到多层卷积块中提取有效特征，获取特征层高宽及通道数与YOLOV4算法主干特征提取网络MobileNet V3最后三个有效特征层Part1、Part2和Part3一致的特征提取层，该三个有效特征层分别对应MobileNet V3网络的第七、第十三以及第十六层；
将所述获得的三个初步有效特征层传入加强特征提取网络SPP和PANet组成的加强特征提取网络中实现三个有效特征层的特征融合，获得更有效特征；再利用加强特征提取网络获取得到的更有效特征层进行预测，获得更有效的预测结果；
通过对所述特征物进行钢结构节点目标框选定位，读取所述目标框标签及图像坐标，对所述目标框结果进行评估，得到特征物目标框定位精度评价指标；
为衡量预测框与真实框的匹配程度，引入IOU值来作为衡量定位准确度的指标：
IOU＝S交/S并
式中，S交表示预测框和实际框之间的重叠区域，S并表示预测框和实际框所占有的总区域，IOU即真实框与预测框面积的交并比，其值越趋近于1，预测结果定位越准确；
同时，引入Precision指标用于评价分类器预测的全局准确性，Precision值越趋近于1，表示分类器预测的全局准确性越高；Precision的计算式为：
式中，TP，TN，FP，FN，分别表示True Positive——实际为正样本预测为正样本，TrueNegative——实际为负样本预测为负样本，False Positive——实际为负样本预测为正样本，False Negative——实际为正样本预测为负样本；
此外，引入Recall用于评价分类器找到所有正样本的能力，Recall值越高，表明该算法找到所有正样本的能力较强，Recall得定义式为：
mAP是某一类物体的平均精度，其中Precision-Recall曲线下曲面的面积称为AP，通常而言，分类能力越好的分类器，其AP值越高，mAP是多个类别AP的平均值，其取值为[0,1]，mAP值越大，网络模型的分类能力越强；
将单目相机标定参数与得到的特征物二维图像坐标进行测点匹配，利用相机成像原理将图像坐标转换为世界坐标，获取结构特征点空间坐标变化情况，即单目相机所拍摄钢结构节点对应特征点的空间坐标变化情况。
8.如权利要求7所述的钢结构节点静动态位移非接触式测量方法，其特征在于，将图像坐标转换为世界坐标使用转换系数法和矩阵变换法对图像坐标进行转换，其中，所述矩阵变换法包括：
(1)像素坐标转换为图像坐标
对图像而言，图像坐标系(x’o’y’)以成像平面中心点为原点o’，通常以过原点o’且平行成像平面长边方向为x’轴，以过原点o’且平行成像平面短边方向为y’轴，坐标系单位是毫米；像素坐标系(uov)则以成像平面左上角角点为原点o，过原点o沿长边方向为u轴，沿短边方向为v轴，坐标系单位为像素(pixel)，像素坐标可以表示为(u,v)；uov平面与x’o’y’平面重合，坐标轴互相平行；
两坐标系的转换关系下式所示：
式中：dx——水平向像素的物理尺度(mm/pixel)；dy——竖直向像素的物理尺度(mm/pixel)；
(2)图像坐标转换为相机坐标
相机坐标系和图像坐标系的坐标轴互相平行,相机坐标系中，O为光心，OZ为光轴，OO’为焦距f；
根据相似三角形原理可得，图像坐标与相机坐标的转换方法如下式所示：
式中：s——比例因子(s不为0)；f——有效焦距；
(3)相机坐标转换为世界坐标
现实世界中，由于相机的摆放位置不同，其被测点的世界坐标位置也不一样，但相机坐标系与世界坐标系之间的坐标变换为刚体变换，故仅需对世界坐标系中的物体进行旋转平移即可获得其在相机坐标系下的坐标；
两坐标的转换关系式如下式所示：
式中：R——3×3的旋转矩阵；T——3×1的平移矩阵；
经过坐标转换，可将世界坐标系的任意一点转换到像素坐标系中，其转换矩阵如下式所示：
式中：u，v——点在成像平面中的像素坐标(pixel)；
f x，fy——相机在u、v轴方向上的尺度因子(pixel)；
u0，v0——相机中心光轴与成像平面的交点在像素坐标系上的像素位置，理想情况下(相机镜头无畸变)为图像中心点(pixel)；
xw，yw，zw——测点在世界坐标系中的空间坐标(m)；
γ——描述坐标轴倾斜角的参数，理想情况下为0；
(u,v,1)T是将(u,v)T扩展坐标维度得到的齐次坐标，而齐次坐标乘以一个缩放因子是不变的，因而上式可以改写成下式所示，称该方法为矩阵变换法：
另外，所述转换系数法包括：
当相机光轴垂直于物体表面时，认为此刻物体表面上的点具有相同的景深，可以均匀的缩小到图像平面内，因此只需要一个现实坐标与像素坐标之间的比例因子(SF)来进行真实位移与像素位移的变换，将该方法称为转换系数法，其表示方法如下：
式中：μ——物距(mm)；
z——像素代表的实际距离(pixel/m)；
v——像距(pixel)；
该方法所涉及的转换因子还可通过目标物表面上的已知物理尺寸与其对应的像素尺寸的比值确定，公式如下：
采用上述转换因子法与矩阵变换法来对算法识别到的特征点像素变化进行转换，从而获取特征物在世界坐标系中的实际位移变化。
9.一种设备，其特征在于，其包括计算机可读的存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现如权利要求1至8之一所述的钢结构节点静动态位移非接触式测量方法。
10.一种钢结构节点静动态位移非接触式测量***，其特征在于，其包括权利要求9所述的设备。
CN202310551324.3A 2023-05-16 2023-05-16 一种钢结构节点静动态位移非接触式测量方法及*** Pending CN116597132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310551324.3A CN116597132A (zh) 2023-05-16 2023-05-16 一种钢结构节点静动态位移非接触式测量方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310551324.3A CN116597132A (zh) 2023-05-16 2023-05-16 一种钢结构节点静动态位移非接触式测量方法及***

Publications (1)

Publication Number Publication Date
CN116597132A true CN116597132A (zh) 2023-08-15

Family

ID=87604052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310551324.3A Pending CN116597132A (zh) 2023-05-16 2023-05-16 一种钢结构节点静动态位移非接触式测量方法及***

Country Status (1)

Country Link
CN (1) CN116597132A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118134267A (zh) * 2024-05-08 2024-06-04 江苏濠汉信息技术有限公司 基于多数据融合建模的变电站安全预警方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118134267A (zh) * 2024-05-08 2024-06-04 江苏濠汉信息技术有限公司 基于多数据融合建模的变电站安全预警方法及***

Similar Documents

Publication Publication Date Title
US8600147B2 (en) System and method for remote measurement of displacement and strain fields
CN101467153B (zh) 用于获取摄影测量数据来估计碰撞严重性的方法和设备
Prescott et al. Line-based correction of radial lens distortion
CN113252700B (zh) 一种结构裂缝检测方法、设备及***
CN109801333B (zh) 体积测量方法、装置、***及计算设备
CN112825190B (zh) 一种精度评估方法、***、电子设备和存储介质
CN111750804B (zh) 一种物体测量的方法及设备
CN113240747B (zh) 一种基于计算机视觉的户外结构振动位移自动化监测方法
CN107589069B (zh) 一种物体碰撞恢复系数的非接触式测量方法
Pedersini et al. Accurate and simple geometric calibration of multi-camera systems
CN113096118B (zh) 晶圆表面粗糙度测量的方法、***、电子设备和存储介质
Havaran et al. Extracting structural dynamic properties utilizing close photogrammetry method
CN116597132A (zh) 一种钢结构节点静动态位移非接触式测量方法及***
CN113884011A (zh) 一种非接触式混凝土表观裂缝测量设备和方法
Yang et al. Deep neural network based visual inspection with 3d metric measurement of concrete defects using wall-climbing robot
CN114894642A (zh) 一种基于深度学习的疲劳裂纹扩展速率测试方法及装置
Le Sant et al. Multi-camera calibration for 3DBOS
CN110044266B (zh) 基于散斑投影的摄影测量***
Brown et al. Evaluation of a novel video-and laser-based displacement sensor prototype for civil infrastructure applications
CN112419287B (zh) 一种建筑挠度确定方法、装置及电子设备
CN110532725B (zh) 基于数字图像的工程结构力学参数识别方法及***
CN102155937B (zh) 柔性网状面形照相测量方法
CN112053331B (zh) 一种图像叠加和裂缝信息融合的桥梁裂缝检测方法
CN114972530A (zh) 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质
CN114018167A (zh) 一种基于单目三维视觉的桥梁挠度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination