CN112525326A - 一种无标记结构三维振动的计算机视觉测量方法 - Google Patents
一种无标记结构三维振动的计算机视觉测量方法 Download PDFInfo
- Publication number
- CN112525326A CN112525326A CN202011316519.2A CN202011316519A CN112525326A CN 112525326 A CN112525326 A CN 112525326A CN 202011316519 A CN202011316519 A CN 202011316519A CN 112525326 A CN112525326 A CN 112525326A
- Authority
- CN
- China
- Prior art keywords
- virtual feature
- pixel
- feature point
- image
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
一种结构三维振动无标记测量的计算机视觉方法,步骤如下:1)利用双目相机对结构不同视角下的振动进行视频记录;2)对初始帧图像进行多尺度差分空间表征,分别筛选出初始帧不同视角下结构虚拟特征点;3)选取以虚拟特征点为中心的像素区域,基于图像像素亮度、梯度等特征分别构建初始帧不同视角下虚拟特征点的描述符向量;4)对所得描述符向量间进行欧式距离计算,获取同一虚拟特征点不同视角下的像素坐标;5)以所得像素坐标为基础,逐帧计算同一虚拟特征点同视角下的像素坐标;6)构建相机坐标系与空间控标系间的映射关系,获取结构的三维振动信息。本发明测量装置安装简单,无需对结构进行标记,适用于多种场景下的结构三维振动测量。
Description
技术领域
本发明属于结构振动测量相关技术领域,特别涉及一种无标记结构三维振动的计算机视觉测量方法。
背景技术
结构的三维振动信息能反映结构的真实运动,是对结构运动细节信息进行描述重要手段,因此,发展高效、快捷的三维振动测量方法具有很重要的意义。现有的基于计算机视觉下的三维振动测量方法,具有非接触、高精度等被广泛应用,如三维数字图像相关技术,三维点跟踪技术等。然而,目前所采用的视觉方法在测量结构三维振动时,需要依赖于人工标记的特征,如散斑、几何标记等,但在测量过程中,标记容易脱落,给测量带来不便。同时,对于大型结构和服役于恶劣环境中的结构,该方法操作起来成本高,单次标记需要大量的人力和物力,给实际的工程应用带来极大的挑战。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种无标记结构三维振动的计算机视觉测量方法,以解决目前结构的三维振动测量技术依赖于人工标记,很难满足实际工程的应用的不足,本发明融合了光流算法和特征匹配算法理论的各自优点,不需要对结构表面进行标记等预处理,仅利用结构表面的纹理特征实现结构运动测量。
为了实现上述目的,本发明采用的技术方案是:
一种无标记结构三维振动的计算机视觉测量方法,包括以下步骤:
步骤1),利用双目相机对结构不同视角下的振动进行视频记录;
步骤2),对初始帧图像进行多尺度差分空间表征,通过对比不同尺度上像素点的亮度信息,分别筛选出初始帧不同视角下结构虚拟特征点;
步骤3),选取以虚拟特征点为中心的像素区域,基于图像像素亮度和梯度分别构建初始帧不同视角下虚拟特征点的描述符向量;
步骤4),对不同视角下的虚拟特征点的描述符向量间进行欧式距离计算,获取初始帧同一虚拟特征点不同视角下的像素坐标;
步骤5),以初始帧同一虚拟特征点不同视角下的像素坐标为基础,采用光流算法分别计算同一虚拟特征点不同视角下的像素坐标;
步骤6),利用双目相机视差,基矩、焦距等条件,构建相机坐标系与空间控标系间的映射关系,基于不同时刻虚拟特征点不同视角下的像素坐标获取虚拟特征点不同时刻的三维空间坐标;
步骤7),基于不同时刻虚拟特征点的三维空间坐标,测量结构的三维振动。
与现有技术相比,本发明的有益效果是:
1)无需对被测结构表面预处理,更广的适用范围。
2)所提出的方法对图像尺度、旋转、光照变化等噪声也具有良好的稳定性,测量精度也更高。
附图说明
图1为本发明所提出的结构三维振动无标记测量方法流程示意图。
图2为图像多尺度差分空间示意图。
图3为基于图像差分空间特征点检测原理示意图。
图4为基于像素亮度梯度的特征点描述符向量示意图。
图5为光流算法逐帧计算特征点空间位置信息的流程示意图。
图6为双目高速摄影机测量结构三维振动的几何关系示意图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本发明提出一种无标记结构三维振动的计算机视觉测量方法,该方法通过结构表面虚拟特征点筛选、虚拟特征点描述符向量构建、不同视角下虚拟特征点匹配、虚拟特征点空间三维坐标合成等步骤对结构的三维振动进行无标记测量,其原理如图1所示,具体步骤包括:
步骤1:利用双目相机对结构不同视角下的振动进行视频记录。
步骤2:如图2所示,为能够检测到视频图像中稳定的虚拟特征点,本发明利用不同尺度高斯核函数与初始帧图像进行卷积,获取不同尺度的图像,即:
采用不同尺度图像构建图像的高斯差分空间,描述为:
D(x,y,σ)=L(x,y,(l+1)σ)-L(x,y,lσ)l=1,2,3,...,M+1 (2)
式中:D(x,y,σ)表示尺度为σ的差分图像,l表示所建立高斯差分空间图像的层数。
如图3所示,本发明基于图像多尺度差分空间的像素极值检测来获取结构虚拟特征点,对极值点进行检测的过程中,像素点亮度要与尺度空间相邻的26个像素点的亮度相比较,通过对比该像素点与其邻域内像素点的灰度值,以判断其亮度值大于或者小于该点在尺度域的相邻点,筛选出结构表面的虚拟特征点。26个像素包括自身尺度层中的8个像素点,以及分别位于其上下两个尺度层中的18个像素点。
步骤3:如图4所示,选取以虚拟特征点为中心的16×16像素区域,计算区域内每个像素亮度梯度大小和方向,并将每个4×4小块上像素梯度方向按照0°,45°,90°,135°,180°,225°,270°,315°等8个方向进行统计,每个方向上数值的大小由区域内像素亮度梯度大小进行累积。其中,像素亮度梯度大小和方向表示为:
θ(x,y)=arctan(Gy/Gx) (4)
式中:Gx(x,y)和Gy(x,y)分别为(x,y)位置像素亮度在x、y方向上的梯度,计算如下:
将每4×4小块上像素区域生成一个种子点,每个虚拟特征点是由4×4个种子点构成,则每个种子点都具有8个方向的向量信息,共产生16×8=128个特征点的信息,作为一个虚拟特征点的描述符向量。
步骤5:对于单一的虚拟特征点k来说,根据光流算法假设,建立光流方程如下:
由于任意时刻图像中各点的亮度值可通过拍摄器材获取,为已知量,每个虚拟特征点点在x和y两个方向的梯度可直接通过图像像素亮度求解,但考虑到该方程具有两个未知量u和v,无法直接求解。因此,引入像素邻域内运动相似性的假设,即虚拟特征点k与其相邻n个像素具有相似的运动,满足:
在本发明中,采用最小二乘法求解上式,即满足|Aksk-bk|2的值为最小时的解,因此,虚拟特征点k的光流为:
dk=Ak-1bk (9)
根据计算的相邻两帧间虚拟特征点的光流,虚拟特征点在不同帧图像的像素坐标可以描述为:
最终通过该步骤可以获得同视角下特征点在不同帧下的像素坐标,计算流程如图5所示。
因此,虚拟特征点k的空间坐标表示为:
最终通过此步骤,可获得结构虚拟特征点在不同帧时的三维空间坐标。
步骤7:利用步骤6所计算的不同时刻结构虚拟特征点的空间三维坐标,计算结构的空间运动,即:
式中:dt代表结构在t时刻的位移。
Claims (7)
1.一种无标记结构三维振动的计算机视觉测量方法,其特征在于,包括以下步骤:
步骤1),利用双目相机对结构不同视角下的振动进行视频记录;
步骤2),对初始帧图像进行多尺度差分空间表征,通过对比不同尺度上像素点的亮度信息,分别筛选出初始帧不同视角下结构虚拟特征点;
步骤3),选取以虚拟特征点为中心的像素区域,基于图像像素亮度和梯度分别构建初始帧不同视角下虚拟特征点的描述符向量;
步骤4),对不同视角下的虚拟特征点的描述符向量间进行欧式距离计算,获取初始帧同一虚拟特征点不同视角下的像素坐标;
步骤5),以初始帧同一虚拟特征点不同视角下的像素坐标为基础,采用光流算法分别计算同一虚拟特征点不同视角下的像素坐标;
步骤6),构建相机坐标系与空间控标系间的映射关系,基于不同时刻虚拟特征点不同视角下的像素坐标获取虚拟特征点不同时刻的三维空间坐标;
步骤7),基于不同时刻虚拟特征点的三维空间坐标,测量结构的三维振动。
2.根据权利要求1所述无标记结构三维振动的计算机视觉测量方法,其特征在于,所述步骤2)中,利用不同尺度高斯核函数与初始帧图像进行卷积,获取不同尺度的图像,即:
利用不同尺度图像构建图像的多尺度差分空间,描述为:
D(x,y,σ)=L(x,y,(l+1)σ)-L(x,y,lσ)
式中:D(x,y,σ)表示尺度为σ的差分图像,l表示建立高斯差分空间图像的层数,l=1,2,3;
在建立高斯多尺度差分空间的基础上,图像像素亮度要与尺度空间相邻的26个像素亮度相比较,以判断其亮度值大于或者小于该点在尺度域的相邻点,对图像像素亮度的极值点进行检测,筛选出结构表面的虚拟特征点,其中26个像素包括自身尺度层中的8个像素点,以及分别位于其上下两个尺度层中的18个像素点。
3.根据权利要求1所述无标记结构三维振动的计算机视觉测量方法,其特征在于,所述步骤3)中,选取以虚拟特征点为中心的16×16像素区域,计算区域内每个像素亮度梯度大小和方向,并将每个4×4小块上像素梯度方向按照00,450,900,1350,1800,2250,2700,3150共8个方向进行统计,每个方向上数值的大小由区域内像素亮度梯度大小进行累积,其中,像素亮度梯度大小g(x,y)和方向θ(x,y)表示为:
θ(x,y)=arctan(Gy(x,y)/Gx(x,y))
式中:Gx(x,y)和Gy(x,y)分别为(x,y)位置像素亮度在x、y方向上的梯度,计算如下:
将每4×4小块上像素区域生成一个种子点,每个虚拟特征点由4×4个种子点构成,则每个种子点都具有8个方向的向量信息,共产生16×8=128个特征点的信息,作为一个虚拟特征点的描述符向量;
重复步骤3),获得初始帧不同视角下结构虚拟特征点的描述符向量。
5.根据权利要求4所述无标记结构三维振动的计算机视觉测量方法,其特征在于,所述步骤5)中,对于单一的虚拟特征点k,根据光流算法假设,建立光流方程如下:
虚拟特征点k与其相邻n个像素具有相似的运动,满足:
采用最小二乘法求解上式,得到虚拟特征点k的光流,根据计算的相邻两帧间虚拟特征点的光流,虚拟特征点k在不同帧图像的像素坐标描述为:
最终,通过该步骤获得同视角不同帧下的虚拟特征点像素坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011316519.2A CN112525326A (zh) | 2020-11-21 | 2020-11-21 | 一种无标记结构三维振动的计算机视觉测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011316519.2A CN112525326A (zh) | 2020-11-21 | 2020-11-21 | 一种无标记结构三维振动的计算机视觉测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112525326A true CN112525326A (zh) | 2021-03-19 |
Family
ID=74982198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011316519.2A Pending CN112525326A (zh) | 2020-11-21 | 2020-11-21 | 一种无标记结构三维振动的计算机视觉测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112525326A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113963013A (zh) * | 2021-10-22 | 2022-01-21 | 石家庄铁道大学 | 一种基于计算机视觉的无标靶输电塔位移振动识别方法 |
CN113781522B (zh) * | 2021-08-25 | 2023-10-24 | 西安交通大学 | 一种基于计算机视觉的射击工况下火炮身管振动测量方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102176243A (zh) * | 2010-12-30 | 2011-09-07 | 浙江理工大学 | 一种基于可见光和红外摄像机的目标测距方法 |
CN102853902A (zh) * | 2012-09-06 | 2013-01-02 | 西安交通大学 | 一种非接触测量边界振动的方法及应用 |
CN105488816A (zh) * | 2015-11-27 | 2016-04-13 | 中南大学 | 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法 |
CN109883533A (zh) * | 2019-01-21 | 2019-06-14 | 哈尔滨工业大学(深圳) | 基于机器视觉的低频振动测量方法 |
CN110047110A (zh) * | 2019-03-11 | 2019-07-23 | 北京空间飞行器总体设计部 | 一种基于序列图像的柔性星载天线在轨振动测量方法 |
CN110111390A (zh) * | 2019-05-15 | 2019-08-09 | 湖南科技大学 | 基于双目视觉光流跟踪的薄壁件全向振动测量方法及*** |
US20190273845A1 (en) * | 2018-03-05 | 2019-09-05 | Prüftechnik Dieter Busch AG | Vibration monitoring of an object using a video camera |
CN210603573U (zh) * | 2019-04-24 | 2020-05-22 | 华南理工大学 | 一种柔性板旋转运动振动检测装置 |
CN111210463A (zh) * | 2020-01-15 | 2020-05-29 | 上海交通大学 | 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及*** |
-
2020
- 2020-11-21 CN CN202011316519.2A patent/CN112525326A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102176243A (zh) * | 2010-12-30 | 2011-09-07 | 浙江理工大学 | 一种基于可见光和红外摄像机的目标测距方法 |
CN102853902A (zh) * | 2012-09-06 | 2013-01-02 | 西安交通大学 | 一种非接触测量边界振动的方法及应用 |
CN105488816A (zh) * | 2015-11-27 | 2016-04-13 | 中南大学 | 一种基于三维视觉信息的矿物浮选泡沫流速在线检测装置及方法 |
US20190273845A1 (en) * | 2018-03-05 | 2019-09-05 | Prüftechnik Dieter Busch AG | Vibration monitoring of an object using a video camera |
CN109883533A (zh) * | 2019-01-21 | 2019-06-14 | 哈尔滨工业大学(深圳) | 基于机器视觉的低频振动测量方法 |
CN110047110A (zh) * | 2019-03-11 | 2019-07-23 | 北京空间飞行器总体设计部 | 一种基于序列图像的柔性星载天线在轨振动测量方法 |
CN210603573U (zh) * | 2019-04-24 | 2020-05-22 | 华南理工大学 | 一种柔性板旋转运动振动检测装置 |
CN110111390A (zh) * | 2019-05-15 | 2019-08-09 | 湖南科技大学 | 基于双目视觉光流跟踪的薄壁件全向振动测量方法及*** |
CN111210463A (zh) * | 2020-01-15 | 2020-05-29 | 上海交通大学 | 基于特征点辅助匹配的虚拟宽视角视觉里程计方法及*** |
Non-Patent Citations (1)
Title |
---|
刘峰伯: "基于OpenCV的双目立体视觉测距测速的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113781522B (zh) * | 2021-08-25 | 2023-10-24 | 西安交通大学 | 一种基于计算机视觉的射击工况下火炮身管振动测量方法 |
CN113963013A (zh) * | 2021-10-22 | 2022-01-21 | 石家庄铁道大学 | 一种基于计算机视觉的无标靶输电塔位移振动识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166077B (zh) | 图像对齐方法、装置、可读存储介质及计算机设备 | |
US10529076B2 (en) | Image processing apparatus and image processing method | |
CN109559348A (zh) | 一种基于特征点追踪的桥梁非接触式变形测量方法 | |
CN110146030A (zh) | 基于棋盘格标志法的边坡表面变形监测***和方法 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN112254656B (zh) | 一种基于结构表面点特征的立体视觉三维位移测量方法 | |
EP3857874B1 (en) | Hybrid depth processing | |
CN112525326A (zh) | 一种无标记结构三维振动的计算机视觉测量方法 | |
CN109341668A (zh) | 基于折射投影模型和光束追踪法的多相机测量方法 | |
CN112967312B (zh) | 一种面向野外刚体目标的实时鲁棒位移监测方法及*** | |
CN108362205A (zh) | 基于条纹投影的空间测距方法 | |
CN112595236A (zh) | 一种水下激光三维扫描和实时测距的测量装置 | |
CN113223050A (zh) | 一种基于ArUco码的机器人运动轨迹实时采集方法 | |
CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
CN115717867A (zh) | 一种基于机载双相机和目标追踪的桥梁变形测量方法 | |
CN105957060B (zh) | 一种基于光流分析的tvs事件分簇方法 | |
Le et al. | System to measure three-dimensional movements in physical models | |
CN112712566B (zh) | 基于结构参数在线校正的双目立体视觉传感器测量方法 | |
CN112488022B (zh) | 一种环视全景监控方法、装置及*** | |
CN113884025B (zh) | 增材制造结构光回环检测方法、装置、电子设备和存储介质 | |
CN114119670A (zh) | 一种基于智能手机获取河流视频的流速测量方法 | |
CN113763444A (zh) | 一种级次线配对的无相位展开三维人脸重建方法及*** | |
Bandara et al. | Frame feature tracking for speed estimation | |
CN117934636B (zh) | 一种多深度相机动态外参标定方法及其装置 | |
CN114529493A (zh) | 基于双目视觉的电缆外观缺陷检测与定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |