CN111998834A - 一种裂缝监测方法及*** - Google Patents
一种裂缝监测方法及*** Download PDFInfo
- Publication number
- CN111998834A CN111998834A CN202011184214.0A CN202011184214A CN111998834A CN 111998834 A CN111998834 A CN 111998834A CN 202011184214 A CN202011184214 A CN 202011184214A CN 111998834 A CN111998834 A CN 111998834A
- Authority
- CN
- China
- Prior art keywords
- image
- position point
- initial
- monitoring
- initial position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Computational Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种裂缝监测方法及***,涉及裂缝监测技术领域。该方法包括:根据初始时刻两个相机拍摄的待监测裂缝的初始图像,利用三维DIC方法确定两个初始图像上相对应的初始位置点;通过初始位置点、双目相机非线性成像模型和最小二乘法确定的初始三维坐标计算待监测裂缝的初始宽度;根据监测时间后两个相机拍摄的待监测裂缝的监测图像,利用二维DIC方法确定初始位置点在监测图像上对应的监测位置点;通过监测位置点确定的监测三维坐标计算待监测裂缝的当前宽度;根据初始三维坐标、监测三维坐标、初始宽度和当前宽度,确定待监测裂缝的变化情况。本发明通过DIC方法的匹配算法提高裂缝宽度变化的检测分辨率,实现高分辨率监测。
Description
技术领域
本发明涉及裂缝监测技术领域,特别是涉及一种裂缝监测方法及***。
背景技术
目前基于机器视觉原理的裂缝检测或监测方法基本都是使用单目相机,实现过程是:先对单目相机获得的裂缝图像进行预处理与裂缝识别,得到裂缝的整像素边缘,然后再对所识别出的裂缝整像素边缘进行亚像素定位。这样就可以实现裂缝宽度变化的高分辨率检测或监测。然而,当相机光轴不垂直于被测结构表面或是被测结构表面不是平面时,将带来一定的误差或根本无法进行检测或监测;而且,即便进行了裂缝边缘的亚像素定位,据目前公开资料所能达到的裂缝宽度变化的检测分辨率也较低。
发明内容
本发明的目的是提供一种裂缝监测方法及***,通过数字图像相关(digitalimage correlation,DIC)方法的高精度定位算法提高裂缝宽度变化的检测分辨率,实现裂缝宽度变化的高分辨率监测。
为实现上述目的,本发明提供了如下方案:
一种裂缝监测方法,包括:
获取初始时刻双目立体视觉的第一相机拍摄的待监测裂缝的第一初始图像和第二相机拍摄的所述待监测裂缝的第二初始图像,所述第一初始图像上的第一初始位置点和第二初始位置点,以及所述第一相机和所述第二相机的内部参数、外部参数和畸变向量;所述第一初始位置点与所述第二初始位置点的连线垂直于所述待监测裂缝的走向;
根据所述第一初始图像、所述第二初始图像、所述第一初始位置点和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点,和所述第二初始位置点对应的第四初始位置点;
根据所述第一初始位置点、所述第二初始位置点、所述第三初始位置点、所述第四初始位置点、所述内部参数、所述外部参数和所述畸变向量,通过双目相机非线性成像模型和最小二乘法,得到所述第一初始位置点的第一初始三维坐标和所述第二初始位置点的第二初始三维坐标;
根据所述第一初始三维坐标和所述第二初始三维坐标,确定所述待监测裂缝的初始宽度;
获取监测时间后所述第一相机拍摄的所述待监测裂缝的第一监测图像和所述第二相机拍摄的所述待监测裂缝的第二监测图像;
根据所述第一初始图像、所述第二初始图像、所述第一监测图像、所述第二监测图像、所述第一初始位置点、所述第二初始位置点、所述第三初始位置点和所述第四初始位置点,通过二维数字图像相关方法分别确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点,和所述第二初始位置点对应的第二监测位置点,以及所述第二监测图像上所述第三初始位置点对应的第三监测位置点,和所述第四初始位置点对应的第四监测位置点;
根据所述第一监测位置点、所述第二监测位置点、所述第三监测位置点、所述第四监测位置点、所述内部参数、所述外部参数和所述畸变向量,通过双目相机非线性成像模型和最小二乘法,得到所述第一监测位置点的第一监测三维坐标和所述第二监测位置点的第二监测三维坐标;
根据所述第一监测三维坐标和所述第二监测三维坐标,确定所述待监测裂缝在所述监测时间后的当前宽度;
根据所述第一初始三维坐标、所述第二初始三维坐标、所述第一监测三维坐标、所述第二监测三维坐标、所述初始宽度和所述当前宽度,确定所述待监测裂缝的变化情况。
可选的,所述根据所述第一初始图像、所述第二初始图像、所述第一初始位置点和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点,和所述第二初始位置点对应的第四初始位置点,具体包括:
获取所述第一初始图像的灰度分布和所述第二初始图像的灰度分布;
根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第一初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点;
根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第二初始位置点对应的第四初始位置点。
可选的,所述根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第一初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点,具体包括:
根据所述第一初始图像的灰度分布,确定所述第一初始图像中以所述第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到所述参考图像子区的参考灰度分布;M为整数;
根据所述参考图像子区和所述第二初始图像的灰度分布,利用二阶形函数确定所述参考图像子区投影变换在所述第二初始图像上的目标图像子区,并得到所述目标图像子区的目标灰度分布;式中,表示目标图像子区中像素点的横坐标,x 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,表示参考图像子区的中心像素点(x 0 ,y 0 )的横向视差,表示参考图像子区中像素点(x i ,y i )的横向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对y求后再对y求的二阶偏导数,表示目标图像子区中像素点的纵坐标,y 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标,表示参考图像子区的中心像素点(x 0 ,y 0 )的纵向视差,表示参考图像子区中像素点(x i ,y i )的纵向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对y求后再对y求的二阶偏导数,x i 表示参考图像子区中像素点(x i ,y i )的横坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标;
可选的,所述根据所述第一初始三维坐标和所述第二初始三维坐标,确定所述待监测裂缝的初始宽度,具体包括:
根据所述第一初始三维坐标和所述第二初始三维坐标,利用公式计算得到所述待监测裂缝的初始宽度;(x 1 ,y 1 ,z 1)表示所述第一初始三维坐标,(x 2 ,y 2 ,z 2)表示所述第二初始三维坐标。
可选的,所述根据所述第一初始图像、所述第二初始图像、所述第一监测图像、所述第二监测图像、所述第一初始位置点、所述第二初始位置点、所述第三初始位置点和所述第四初始位置点,通过二维数字图像相关方法分别确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点,和所述第二初始位置点对应的第二监测位置点,以及所述第二监测图像上所述第三初始位置点对应的第三监测位置点,和所述第四初始位置点对应的第四监测位置点,具体包括:
获取所述第一初始图像的灰度分布、所述第二初始图像的灰度分布、所述第一监测图像的灰度分布和所述第二监测图像的灰度分布;
根据所述第一初始图像的灰度分布、所述第一监测图像的灰度分布和所述第一初始位置点,通过二维数字图像相关方法确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点;
根据所述第一初始图像的灰度分布、所述第一监测图像的灰度分布和所述第二初始位置点,通过二维数字图像相关方法确定所述第一监测图像上所述第二初始位置点对应的第二监测位置点;
根据所述第二初始图像的灰度分布、所述第二监测图像的灰度分布和所述第三初始位置点,通过二维数字图像相关方法确定所述第二监测图像上所述第三初始位置点对应的第三监测位置点;
根据所述第二初始图像的灰度分布、所述第二监测图像的灰度分布和所述第四初始位置点,通过二维数字图像相关方法确定所述第二监测图像上所述第四初始位置点对应的第四监测位置点。
可选的,所述根据所述第一初始图像的灰度分布、所述第一监测图像的灰度分布和所述第一初始位置点,通过二维数字图像相关方法确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点,具体包括:
根据所述第一初始图像的灰度分布,确定所述第一初始图像中以所述第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到所述参考图像子区的参考灰度分布;M为整数;
根据所述参考图像子区和所述第一监测图像的灰度分布,利用一阶形函数确定所述监测时间后所述参考图像子区在所述第一监测图像上对应的监测目标图像子区,并得到所述监测目标图像子区的监测目标灰度分布;式中,表示监测目标图像子区中像素点的横坐标,x i表示参考图像子区中像素点(x i ,y i )的横坐标,u表示参考图像子区在横向方向的位移,u x 表示u对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,u y 表示u对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示监测目标图像子区中像素点的纵坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标,v表示参考图像子区在纵向方向的位移,v x 表示v对x求的一阶偏导数,v y 表示v对y求的一阶偏导数,x 0表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,y 0表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标;
根据所述参考灰度分布和所述监测目标灰度分布,通过最小平方距离相关系数,确定所述参考图像子区与所述监测目标图像子区的监测相关函数;式中,表示参考图像子区的参考灰度分布,表示监测目标图像子区的监测目标灰度分布;
可选的,所述根据所述第一监测三维坐标和所述第二监测三维坐标,确定所述待监测裂缝在所述监测时间后的当前宽度,具体包括:
一种裂缝监测***,包括:
初始图像获取模块,用于获取初始时刻双目立体视觉的第一相机拍摄的待监测裂缝的第一初始图像和第二相机拍摄的所述待监测裂缝的第二初始图像,所述第一初始图像上的第一初始位置点和第二初始位置点,以及所述第一相机和所述第二相机的内部参数、外部参数和畸变向量;所述第一初始位置点与所述第二初始位置点的连线垂直于所述待监测裂缝的走向;
初始位置点对应模块,用于根据所述第一初始图像、所述第二初始图像、所述第一初始位置点和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点,和所述第二初始位置点对应的第四初始位置点;
初始三维坐标确定模块,用于根据所述第一初始位置点、所述第二初始位置点、所述第三初始位置点、所述第四初始位置点、所述内部参数、所述外部参数和所述畸变向量,通过双目相机非线性成像模型和最小二乘法,得到所述第一初始位置点的第一初始三维坐标和所述第二初始位置点的第二初始三维坐标;
初始宽度确定模块,用于根据所述第一初始三维坐标和所述第二初始三维坐标,确定所述待监测裂缝的初始宽度;
监测图像获取模块,用于获取监测时间后所述第一相机拍摄的所述待监测裂缝的第一监测图像和所述第二相机拍摄的所述待监测裂缝的第二监测图像;
监测位置点对应模块,用于根据所述第一初始图像、所述第二初始图像、所述第一监测图像、所述第二监测图像、所述第一初始位置点、所述第二初始位置点、所述第三初始位置点和所述第四初始位置点,通过二维数字图像相关方法分别确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点,和所述第二初始位置点对应的第二监测位置点,以及所述第二监测图像上所述第三初始位置点对应的第三监测位置点,和所述第四初始位置点对应的第四监测位置点;
监测三维坐标确定模块,用于根据所述第一监测位置点、所述第二监测位置点、所述第三监测位置点、所述第四监测位置点、所述内部参数、所述外部参数和所述畸变向量,通过双目相机非线性成像模型和最小二乘法,得到所述第一监测位置点的第一监测三维坐标和所述第二监测位置点的第二监测三维坐标;
当前宽度确定模块,用于根据所述第一监测三维坐标和所述第二监测三维坐标,确定所述待监测裂缝在所述监测时间后的当前宽度;
裂缝变化情况监测模块,用于根据所述第一初始三维坐标、所述第二初始三维坐标、所述第一监测三维坐标、所述第二监测三维坐标、所述初始宽度和所述当前宽度,确定所述待监测裂缝的变化情况。
可选的,所述初始位置点对应模块,具体包括:
初始图像灰度分布获取单元,用于获取所述第一初始图像的灰度分布和所述第二初始图像的灰度分布;
第三初始位置点确定单元,用于根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第一初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点;
第四初始位置点确定单元,用于根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第二初始位置点对应的第四初始位置点。
可选的,所述第三初始位置点确定单元,具体包括:
参考图像子区确定子单元,用于根据所述第一初始图像的灰度分布,确定所述第一初始图像中以所述第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到所述参考图像子区的参考灰度分布;M为整数;
目标图像子区确定子单元,用于根据所述参考图像子区和所述第二初始图像的灰度分布,利用二阶形函数确定所述参考图像子区投影变换在所述第二初始图像上的目标图像子区,并得到所述目标图像子区的目标灰度分布;式中,表示目标图像子区中像素点的横坐标,x 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,表示参考图像子区的中心像素点(x 0 ,y 0 )的横向视差,表示参考图像子区中像素点(x i ,y i )的横向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对y求后再对y求的二阶偏导数,表示目标图像子区中像素点的纵坐标,y 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标,表示参考图像子区的中心像素点(x 0 ,y 0 )的纵向视差,表示参考图像子区中像素点(x i ,y i )的纵向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对y求后再对y求的二阶偏导数,x i 表示参考图像子区中像素点(x i ,y i )的横坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标;
相关函数确定子单元,用于根据所述参考灰度分布和所述目标灰度分布,通过最小平方距离相关系数,确定所述参考图像子区与所述目标图像子区的相关函数;式中,表示参考图像子区的参考灰度分布,表示目标图像子区的目标灰度分布;
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供了一种裂缝监测方法及***。该方法包括:获取初始时刻双目立体视觉的第一相机拍摄的待监测裂缝的第一初始图像和第二相机拍摄的待监测裂缝的第二初始图像,第一初始图像上的第一初始位置点和第二初始位置点,以及第一相机和第二相机的内部参数、外部参数和畸变向量;第一初始位置点与第二初始位置点的连线垂直于待监测裂缝的走向;根据第一初始图像、第二初始图像、第一初始位置点和第二初始位置点,通过三维数字图像相关方法确定第二初始图像上第一初始位置点对应的第三初始位置点,和第二初始位置点对应的第四初始位置点;根据第一初始位置点、第二初始位置点、第三初始位置点、第四初始位置点、内部参数、外部参数和畸变向量,通过双目相机非线性成像模型和最小二乘法,得到第一初始位置点的第一初始三维坐标和第二初始位置点的第二初始三维坐标;根据第一初始三维坐标和第二初始三维坐标,确定待监测裂缝的初始宽度;获取监测时间后第一相机拍摄的待监测裂缝的第一监测图像和第二相机拍摄的待监测裂缝的第二监测图像;根据第一初始图像、第二初始图像、第一监测图像、第二监测图像、第一初始位置点、第二初始位置点、第三初始位置点和第四初始位置点,通过二维数字图像相关方法分别确定第一监测图像上第一初始位置点对应的第一监测位置点,和第二初始位置点对应的第二监测位置点,以及第二监测图像上第三初始位置点对应的第三监测位置点,和第四初始位置点对应的第四监测位置点;根据第一监测位置点、第二监测位置点、第三监测位置点、第四监测位置点、内部参数、外部参数和畸变向量,通过双目相机非线性成像模型和最小二乘法,得到第一监测位置点的第一监测三维坐标和第二监测位置点的第二监测三维坐标;根据第一监测三维坐标和第二监测三维坐标,确定待监测裂缝在监测时间后的当前宽度;根据第一初始三维坐标、第二初始三维坐标、第一监测三维坐标、第二监测三维坐标、初始宽度和当前宽度,确定待监测裂缝的变化情况。本发明所采用的方法及***,由于采用了DIC方法的匹配算法,因此不管对于2D匹配还是3D匹配,像素点的定位精度均可以达到0.02像素或更高水平,因此可以极大的提高裂缝宽度变化的检测分辨率和精度,实现裂缝宽度变化的高分辨率监测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的裂缝监测方法的流程图;
图2为本发明实施例所提供的第一初始位置点和第二初始位置点示意图;
图3为本发明实施例所提供的第三初始位置点和第四初始位置点示意图;
图4为本发明实施例所提供的3D DIC匹配算法的原理及流程示意图;图4(a)为3D DIC匹配算法的流程示意图;图4(b)为3D DIC匹配算法的参考图像示意图;图4(c)为3D DIC匹配算法的目标图像示意图;
图5为本发明实施例所提供的2D DIC匹配算法的原理及流程示意图;图5(a)为2D DIC匹配算法的流程示意图;图5(b)为2D DIC匹配算法的参考图像示意图;图5(c)为2D DIC匹配算法的目标图像示意图;
图6为本发明实施例所提供的裂缝监测装置的结构图;
图7为本发明实施例所提供的工业相机1与工业相机2之间相对位置关系的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种裂缝监测方法及***,通过数字图像相关(digitalimage correlation,DIC)方法的高精度定位算法提高裂缝宽度变化的检测分辨率,实现裂缝宽度变化的高分辨率监测。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供一种裂缝监测方法,该方法采用双目机器视觉原理实现对结构表面裂缝变化情况的长期监测。图1为本发明实施例所提供的裂缝监测方法的流程图,参见图1,裂缝监测方法包括:
步骤101,获取初始时刻双目立体视觉的第一相机拍摄的待监测裂缝的第一初始图像和第二相机拍摄的待监测裂缝的第二初始图像,第一初始图像上的第一初始位置点和第二初始位置点,以及第一相机和第二相机的内部参数、外部参数和畸变向量;第一初始位置点与第二初始位置点的连线垂直于待监测裂缝的走向。本实施例中双目立体视觉的第一相机和第二相机为设置于一根连接杆上的左相机和右相机。在左相机拍摄的第一初始图像(左相机图像)中,在待监测裂缝边缘的待监测位置,人工指定两个初始位置点——第一初始位置点P1()和第二初始位置点P2(),P1和P2的连线垂直于该待监测位置处裂缝的走向,如图2所示。初始时刻t0,P1和P2之间的空间距离为该待监测位置处裂缝的初始宽度d0。()表示P1在左相机图像中的像素坐标,()表示P2在左相机图像中的像素坐标。
步骤102,根据第一初始图像、第二初始图像、第一初始位置点和第二初始位置点,通过三维数字图像相关方法确定第二初始图像上第一初始位置点对应的第三初始位置点,和第二初始位置点对应的第四初始位置点。采用三维数字图像相关方法(3D DIC匹配算法),在右相机拍摄的第二初始图像(右相机图像)中找到P1和P2的同名点——第三初始位置点Q1()和第四初始位置点Q2(),如图3所示。()表示Q1在右相机图像中的像素坐标, ()表示Q2在右相机图像中的像素坐标。
3D DIC匹配算法的原理及流程示意图,如图4所示,本实施例以确定P1的同名点Q1为例:步骤102具体包括:
获取第一初始图像的灰度分布和第二初始图像的灰度分布。
根据第一初始图像的灰度分布、第二初始图像的灰度分布和第一初始位置点,通过三维数字图像相关方法确定第二初始图像上第一初始位置点对应的第三初始位置点。参见图4(a)、图4(b)和图4(c),此步骤具体包括:
根据第一初始图像的灰度分布,确定第一初始图像中以第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到参考图像子区的参考灰度分布;M为整数。确定参考图像子区及大小:
在t0时刻的左相机图像(称为参考图像)中,取以P1为中心、大小为(2M+1)像素×(2M+1)像素的图像区域,称为参考图像子区,其中M为整数。根据第一初始图像的灰度分布确定参考图像子区的灰度分布,参考图像子区的灰度分布记为。
根据第一初始图像的灰度分布,确定第一初始图像中以第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到参考图像子区的参考灰度分布;M为整数;
根据参考图像子区和第二初始图像的灰度分布,利用二阶形函数确定参考图像子区投影变换在第二初始图像上的目标图像子区,并得到目标图像子区的目标灰度分布;式中,表示目标图像子区中像素点的横坐标,x 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,表示参考图像子区的中心像素点(x 0 ,y 0 )的横向视差,表示参考图像子区中像素点(x i ,y i )的横向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对y求后再对y求的二阶偏导数,表示目标图像子区中像素点的纵坐标,y 0 表示参考图像子区的中心像素点(x 0 , y 0 )的纵坐标,表示参考图像子区的中心像素点(x 0 ,y 0 )的纵向视差,表示参考图像子区中像素点(x i ,y i )的纵向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对y求后再对y求的二阶偏导数,x i 表示参考图像子区中像素点(x i ,y i )的横坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标。i表示像素点在横向方向(x方向)距离子区中心像素点的位置,j表示像素点在纵向方向(y方向)距离子区中心像素点的位置。确定目标图像子区形函数:
在t0时刻的右相机图像(称为目标图像)中,采用二阶形函数来近似参考图像子区的投影变换关系,目标图像的图像子区称为目标图像子区。根据目标图像的灰度分布确定目标图像子区的灰度分布,目标图像子区的灰度分布记为。用二阶形函数描述目标图像子区与参考图像子区之间的投影变换关系,表示为:
利用公式(1)计算目标图像子区中所有点的坐标。式(1)中:和分别为参考图像子区中心点P1(x 0 ,y 0 )在和方向的视差;分别为参考图像子区的一阶视差梯度,即视差的一阶偏导数;分别为参考图像子区的二阶视差梯度,即视差的二阶偏导数。
图4(b)中P1(x 0 ,y 0 )表示参考图像子区中心点,P(x i ,y i )表示参考图像子区其他位置的像素点,Q1 )表示目标图像子区中心点,Q(x i ,y i )表示目标图像子区其他位置的像素点。图4(b)阐述的是通用表示方式,针对本实施例,P1(x 0 ,y 0 )就是P1()。
根据第一初始图像的灰度分布、第二初始图像的灰度分布和第二初始位置点,通过三维数字图像相关方法确定第二初始图像上第二初始位置点对应的第四初始位置点。确定第四初始位置点的过程与确定第三初始位置点的过程同理。
步骤103,根据第一初始位置点、第二初始位置点、第三初始位置点、第四初始位置点、内部参数、外部参数和畸变向量,通过双目相机非线性成像模型和最小二乘法,得到第一初始位置点的第一初始三维坐标和第二初始位置点的第二初始三维坐标。根据左右相机的内部参数A l 、Ar,外部参数R、t,畸变向量r l 、rr,第一初始位置点、第二初始位置点、第三初始位置点和第四初始位置点先通过双目相机非线性成像模型得到三维坐标与相机内外参以及畸变向量之间的方程,由于该方程为非线性方程,可以使用最小二乘法对该方程进行求解,分别计算出P1和P2的三维坐标P1W(x 1 ,y 1 ,z 1)和P2W(x 2 ,y 2 ,z 2)。A l 和Ar分别为左右相机的内部参数矩阵,R为左相机坐标系到右相机坐标系变换时的旋转矩阵,t为左相机坐标系到右相机坐标系变换时的平移向量,r l 和rr分别为左右相机镜头的畸变向量。A l 、Ar、r l 和rr只与相机及其镜头有关,R和t只与左右相机的相对位置关系有关;左右相机的相对位置关系一旦确定,便可以在实验室里将A l 、Ar、R、t、r l 和rr事先精确的标定出来。
步骤104,根据第一初始三维坐标和第二初始三维坐标,确定待监测裂缝的初始宽度。步骤104具体包括:根据第一初始三维坐标和第二初始三维坐标,利用公式(5)计算得到待监测裂缝的初始宽度;(x 1 ,y 1 ,z 1)表示第一初始三维坐标,(x 2 ,y 2 ,z 2)表示第二初始三维坐标。
步骤105,获取监测时间后第一相机拍摄的待监测裂缝的第一监测图像和第二相机拍摄的待监测裂缝的第二监测图像。
步骤106,根据第一初始图像、第二初始图像、第一监测图像、第二监测图像、第一初始位置点、第二初始位置点、第三初始位置点和第四初始位置点,通过二维数字图像相关方法分别确定第一监测图像上第一初始位置点对应的第一监测位置点,和第二初始位置点对应的第二监测位置点,以及第二监测图像上第三初始位置点对应的第三监测位置点,和第四初始位置点对应的第四监测位置点。在监测时间t1到达后,根据二维数字图像相关方法(2D DIC匹配算法),分别在左右相机拍摄的图像中各自计算出P1、P2、Q1和Q2的新位置点()、 ()、和。)和()分别表示和在左相机图像中的像素坐标,和分别表示和在右相机图像中的像素坐标。2D DIC匹配算法原理及流程,如图5所示,本实施例以确定P1的新位置为例:
步骤106具体包括:获取第一初始图像的灰度分布、第二初始图像的灰度分布、第一监测图像的灰度分布和第二监测图像的灰度分布。
根据第一初始图像的灰度分布、第一监测图像的灰度分布和第一初始位置点,通过二维数字图像相关方法确定第一监测图像上第一初始位置点对应的第一监测位置点。参见图5(a)、图5(b)和图5(c),此步骤具体包括:
根据第一初始图像的灰度分布,确定第一初始图像中以第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到参考图像子区的参考灰度分布;M为整数。确定参考图像子区及大小:在t0时刻的左相机图像(称为参考图像)中,取以P1为中心、大小为(2M+1)像素×(2M+1)像素(M为整数)的图像区域,称为参考图像子区。参考图像子区的灰度分布记为。
根据参考图像子区和第一监测图像的灰度分布,利用一阶形函数确定监测时间后参考图像子区在第一监测图像上对应的监测目标图像子区,并得到监测目标图像子区的监测目标灰度分布;式中,表示监测目标图像子区中像素点的横坐标,x i表示参考图像子区中像素点(x i ,y i )的横坐标,u表示参考图像子区在横向方向的位移,u x 表示u对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,u y 表示u对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示监测目标图像子区中像素点的纵坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标,v表示参考图像子区在纵向方向的位移,v x 表示v对x求的一阶偏导数,v y 表示v对y求的一阶偏导数,x 0表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,y 0表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标。确定目标图像子区形函数:
在t1时刻的左相机图像(称为目标图像)中,采用一阶形函数描述变形后的图像子区,变形后的图像子区称为监测目标图像子区。监测目标图像子区的灰度分布记为。用一阶形函数描述监测目标图像子区与参考图像子区之间的变形关系,表示为: (6)
利用公式(6)计算监测目标图像子区中所有点的坐标。式(6)中:u为参考图像子区在横向方向(x方向)的位移;v为参考图像子区在纵向方向(y方向)的位移;u x 表示u对x求的一阶偏导数,u y 表示u对y求的一阶偏导数, v x 表示v对x求的一阶偏导数,v y 表示v对y求的一阶偏导数。
根据参考灰度分布和监测目标灰度分布,通过最小平方距离相关系数,确定参考图像子区与监测目标图像子区的监测相关函数;式中,表示参考图像子区的参考灰度分布,表示监测目标图像子区的监测目标灰度分布。确定相关函数:
公式(8)为非线性方程,可用牛顿-拉普森迭代法进行求解。
图5(b)中P1(x 0 ,y 0 )表示参考图像子区中心点,P(x i ,y i )表示参考图像子区其他位置的像素点,表示监测目标图像子区中心点,表示监测目标图像子区其他位置的像素点。图5(b)阐述的是通用表示方式,针对本实施例,P1(x 0 ,y 0 )就是P1()。
根据第一初始图像的灰度分布、第一监测图像的灰度分布和第二初始位置点,通过二维数字图像相关方法确定第一监测图像上第二初始位置点对应的第二监测位置点。确定第二监测位置点的过程与确定第一监测位置点的过程同理。
根据第二初始图像的灰度分布、第二监测图像的灰度分布和第三初始位置点,通过二维数字图像相关方法确定第二监测图像上第三初始位置点对应的第三监测位置点。确定第三监测位置点的过程与确定第一监测位置点的过程同理。
根据第二初始图像的灰度分布、第二监测图像的灰度分布和第四初始位置点,通过二维数字图像相关方法确定第二监测图像上第四初始位置点对应的第四监测位置点。确定第四监测位置点的过程与确定第一监测位置点的过程同理。
步骤107,根据第一监测位置点、第二监测位置点、第三监测位置点、第四监测位置点、内部参数、外部参数和畸变向量,通过双目相机非线性成像模型和最小二乘法,得到第一监测位置点的第一监测三维坐标和第二监测位置点的第二监测三维坐标。根据左右相机的内外参数A l 、Ar、R、t,畸变向量r l 、rr,以及第一监测位置点、第二监测位置点、第三监测位置点和第四监测位置点先通过双目相机非线性成像模型得到三维坐标与相机内外参以及畸变向量之间的方程,由于该方程为非线性方程,可以使用最小二乘法对该方程进行求解,分别计算出和的三维坐标和。
步骤108,根据第一监测三维坐标和第二监测三维坐标,确定待监测裂缝在监测时间后的当前宽度。
步骤109,根据第一初始三维坐标、第二初始三维坐标、第一监测三维坐标、第二监测三维坐标、初始宽度和当前宽度,确定待监测裂缝的变化情况。根据P1W、P2W、、、d0和d1,便能对该待监测位置处裂缝的变化情况做出较为全面的评估。根据三维坐标,可以知道裂缝是不是变宽或窄,还可以知道裂缝是不是存在空间扭转和上下是不是错位等信息,具体可以通过P1W和P2W两点,或和两点之间的相对位置关系进行判断。
本实施例还提供一种裂缝监测***,裂缝监测***包括:
初始图像获取模块,用于获取初始时刻双目立体视觉的第一相机拍摄的待监测裂缝的第一初始图像和第二相机拍摄的待监测裂缝的第二初始图像,第一初始图像上的第一初始位置点和第二初始位置点,以及第一相机和第二相机的内部参数、外部参数和畸变向量;第一初始位置点与第二初始位置点的连线垂直于待监测裂缝的走向。
初始位置点对应模块,用于根据第一初始图像、第二初始图像、第一初始位置点和第二初始位置点,通过三维数字图像相关方法确定第二初始图像上第一初始位置点对应的第三初始位置点,和第二初始位置点对应的第四初始位置点。初始位置点对应模块具体包括:
初始图像灰度分布获取单元,用于获取第一初始图像的灰度分布和第二初始图像的灰度分布。
第三初始位置点确定单元,用于根据第一初始图像的灰度分布、第二初始图像的灰度分布和第一初始位置点,通过三维数字图像相关方法确定第二初始图像上第一初始位置点对应的第三初始位置点。第三初始位置点确定单元具体包括:
参考图像子区确定子单元,用于根据第一初始图像的灰度分布,确定第一初始图像中以第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到参考图像子区的参考灰度分布;M为整数。
目标图像子区确定子单元,用于根据参考图像子区和第二初始图像的灰度分布,利用二阶形函数确定参考图像子区投影变换在第二初始图像上的目标图像子区,并得到目标图像子区的目标灰度分布;式中,表示目标图像子区中像素点的横坐标,x 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 , y 0 )的横向距离,表示参考图像子区的中心像素点(x 0 ,y 0 )的横向视差,表示参考图像子区中像素点(x i ,y i )的横向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对y求后再对y求的二阶偏导数,表示目标图像子区中像素点的纵坐标,y 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标,表示参考图像子区的中心像素点(x 0 ,y 0 )的纵向视差,表示参考图像子区中像素点(x i ,y i )的纵向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i , y i )的纵向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对y求后再对y求的二阶偏导数,x i 表示参考图像子区中像素点(x i ,y i )的横坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标。i表示像素点在横向方向(x方向)距离子区中心像素点的位置,j表示像素点在纵向方向(y方向)距离子区中心像素点的位置。
第四初始位置点确定单元,用于根据第一初始图像的灰度分布、第二初始图像的灰度分布和第二初始位置点,通过三维数字图像相关方法确定第二初始图像上第二初始位置点对应的第四初始位置点。
初始三维坐标确定模块,用于根据第一初始位置点、第二初始位置点、第三初始位置点、第四初始位置点、内部参数、外部参数和畸变向量,通过双目相机非线性成像模型和最小二乘法,得到第一初始位置点的第一初始三维坐标和第二初始位置点的第二初始三维坐标。
初始宽度确定模块,用于根据第一初始三维坐标和第二初始三维坐标,确定待监测裂缝的初始宽度。
初始宽度确定模块具体包括:初始宽度确定单元,用于根据第一初始三维坐标和第二初始三维坐标,利用公式(5)计算得到待监测裂缝的初始宽度;(x 1 ,y 1 ,z 1)表示第一初始三维坐标,(x 2 ,y 2 ,z 2)表示第二初始三维坐标
监测图像获取模块,用于获取监测时间后第一相机拍摄的待监测裂缝的第一监测图像和第二相机拍摄的待监测裂缝的第二监测图像。
监测位置点对应模块,用于根据第一初始图像、第二初始图像、第一监测图像、第二监测图像、第一初始位置点、第二初始位置点、第三初始位置点和第四初始位置点,通过二维数字图像相关方法分别确定第一监测图像上第一初始位置点对应的第一监测位置点,和第二初始位置点对应的第二监测位置点,以及第二监测图像上第三初始位置点对应的第三监测位置点,和第四初始位置点对应的第四监测位置点。监测位置点对应模块具体包括:
监测图像灰度分布获取单元,用于获取第一初始图像的灰度分布、第二初始图像的灰度分布、第一监测图像的灰度分布和第二监测图像的灰度分布。
第一监测位置点确定单元,用于根据第一初始图像的灰度分布、第一监测图像的灰度分布和第一初始位置点,通过二维数字图像相关方法确定第一监测图像上第一初始位置点对应的第一监测位置点。第一监测位置点确定单元具体包括:
参考灰度分布确定子单元,用于根据第一初始图像的灰度分布,确定第一初始图像中以第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到参考图像子区的参考灰度分布;M为整数。
监测目标图像子区确定子单元,用于根据参考图像子区和第一监测图像的灰度分布,利用一阶形函数确定监测时间后参考图像子区在第一监测图像上对应的监测目标图像子区,并得到监测目标图像子区的监测目标灰度分布;式中,表示监测目标图像子区中像素点的横坐标,x i表示参考图像子区中像素点(x i ,y i )的横坐标,u表示参考图像子区在横向方向的位移,u x 表示u对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,u y 表示u对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示监测目标图像子区中像素点的纵坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标,v表示参考图像子区在纵向方向的位移,v x 表示v对x求的一阶偏导数,v y 表示v对y求的一阶偏导数,x 0表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,y 0表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标。
监测相关函数确定子单元,用于根据参考灰度分布和监测目标灰度分布,通过最小平方距离相关系数,确定参考图像子区与监测目标图像子区的监测相关函数;式中,表示参考图像子区的参考灰度分布,表示监测目标图像子区的监测目标灰度分布。
第二监测位置点确定单元,用于根据第一初始图像的灰度分布、第一监测图像的灰度分布和第二初始位置点,通过二维数字图像相关方法确定第一监测图像上第二初始位置点对应的第二监测位置点。
第三监测位置点确定单元,用于根据第二初始图像的灰度分布、第二监测图像的灰度分布和第三初始位置点,通过二维数字图像相关方法确定第二监测图像上第三初始位置点对应的第三监测位置点。
第四监测位置点确定单元,用于根据第二初始图像的灰度分布、第二监测图像的灰度分布和第四初始位置点,通过二维数字图像相关方法确定第二监测图像上第四初始位置点对应的第四监测位置点。
监测三维坐标确定模块,用于根据第一监测位置点、第二监测位置点、第三监测位置点、第四监测位置点、内部参数、外部参数和畸变向量,通过双目相机非线性成像模型和最小二乘法,得到第一监测位置点的第一监测三维坐标和第二监测位置点的第二监测三维坐标。
当前宽度确定模块,用于根据第一监测三维坐标和第二监测三维坐标,确定待监测裂缝在监测时间后的当前宽度。当前宽度确定模块具体包括:
裂缝变化情况监测模块,用于根据第一初始三维坐标、第二初始三维坐标、第一监测三维坐标、第二监测三维坐标、初始宽度和当前宽度,确定待监测裂缝的变化情况。
本实施例还提供一种基于3D DIC方法的裂缝监测装置,图6为本发明实施例所提供的裂缝监测装置的结构图。参见图6,裂缝监测装置包括:工业相机1、补光灯、工业相机2、嵌入式工控机以及电源模块。基于3D DIC方法的裂缝监测装置完成被测结构表面的照明、裂缝图像的采集与分析以及最后处理结果的存储。
工业相机1、补光灯和工业相机2均与嵌入式工控机连接。
工业相机1、补光灯和工业相机2牢靠的并排固定于一刚性连接杆上,工业相机1、工业相机2与刚性连接杆之间具有一定的夹角和,如图7所示。工业相机1和工业相机2的夹角和可以根据被测视野范围进行调整后予以固定不动。这时,工业相机1与工业相机2的相对位置关系就固定下来。工业相机1与工业相机2的相对位置关系可以用裂缝监测方法中提及的双目立体视觉中的R矩阵和t向量来描述。
补光灯用于给被测结构表面的照明。
工业相机1和工业相机2用于采集被测结构表面的裂缝图像。
嵌入式工控机用于控制补光灯对被测结构表面进行照明,控制工业相机1和工业相机2采集被测结构表面的裂缝图像,然后根据采集的裂缝图像利用裂缝监测方法进行图像分析与处理,并保存最后处理结果。
电源模块分别与工业相机1、补光灯、工业相机2和嵌入式工控机连接。电源模块用于为嵌入式工控机、工业相机1、补光灯以及工业相机2供电。
本发明所采用的方法、***及装置,由于采用了DIC方法的匹配算法,因此不管对于2D匹配还是3D匹配,像素点的定位精度均可以达到0.02像素或更高水平,因此可以极大的提高裂缝宽度变化的检测分辨率和精度,实现裂缝宽度变化的高分辨率监测。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种裂缝监测方法,其特征在于,包括:
获取初始时刻双目立体视觉的第一相机拍摄的待监测裂缝的第一初始图像和第二相机拍摄的所述待监测裂缝的第二初始图像,所述第一初始图像上的第一初始位置点和第二初始位置点,以及所述第一相机和所述第二相机的内部参数、外部参数和畸变向量;所述第一初始位置点与所述第二初始位置点的连线垂直于所述待监测裂缝的走向;
根据所述第一初始图像、所述第二初始图像、所述第一初始位置点和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点,和所述第二初始位置点对应的第四初始位置点;
根据所述第一初始位置点、所述第二初始位置点、所述第三初始位置点、所述第四初始位置点、所述内部参数、所述外部参数和所述畸变向量,通过双目相机非线性成像模型和最小二乘法,得到所述第一初始位置点的第一初始三维坐标和所述第二初始位置点的第二初始三维坐标;
根据所述第一初始三维坐标和所述第二初始三维坐标,确定所述待监测裂缝的初始宽度;
获取监测时间后所述第一相机拍摄的所述待监测裂缝的第一监测图像和所述第二相机拍摄的所述待监测裂缝的第二监测图像;
根据所述第一初始图像、所述第二初始图像、所述第一监测图像、所述第二监测图像、所述第一初始位置点、所述第二初始位置点、所述第三初始位置点和所述第四初始位置点,通过二维数字图像相关方法分别确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点,和所述第二初始位置点对应的第二监测位置点,以及所述第二监测图像上所述第三初始位置点对应的第三监测位置点,和所述第四初始位置点对应的第四监测位置点;
根据所述第一监测位置点、所述第二监测位置点、所述第三监测位置点、所述第四监测位置点、所述内部参数、所述外部参数和所述畸变向量,通过双目相机非线性成像模型和最小二乘法,得到所述第一监测位置点的第一监测三维坐标和所述第二监测位置点的第二监测三维坐标;
根据所述第一监测三维坐标和所述第二监测三维坐标,确定所述待监测裂缝在所述监测时间后的当前宽度;
根据所述第一初始三维坐标、所述第二初始三维坐标、所述第一监测三维坐标、所述第二监测三维坐标、所述初始宽度和所述当前宽度,确定所述待监测裂缝的变化情况。
2.根据权利要求1所述的裂缝监测方法,其特征在于,所述根据所述第一初始图像、所述第二初始图像、所述第一初始位置点和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点,和所述第二初始位置点对应的第四初始位置点,具体包括:
获取所述第一初始图像的灰度分布和所述第二初始图像的灰度分布;
根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第一初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点;
根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第二初始位置点对应的第四初始位置点。
3.根据权利要求2所述的裂缝监测方法,其特征在于,所述根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第一初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点,具体包括:
根据所述第一初始图像的灰度分布,确定所述第一初始图像中以所述第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到所述参考图像子区的参考灰度分布;M为整数;
根据所述参考图像子区和所述第二初始图像的灰度分布,利用二阶形函数确定所述参考图像子区投影变换在所述第二初始图像上的目标图像子区,并得到所述目标图像子区的目标灰度分布;式中,表示目标图像子区中像素点的横坐标,x 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,表示参考图像子区的中心像素点(x 0 ,y 0 )的横向视差,表示参考图像子区中像素点(x i ,y i )的横向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对y求后再对y求的二阶偏导数,表示目标图像子区中像素点的纵坐标,y 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标,表示参考图像子区的中心像素点(x 0 ,y 0 )的纵向视差,表示参考图像子区中像素点(x i ,y i )的纵向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对y求后再对y求的二阶偏导数,x i 表示参考图像子区中像素点(x i ,y i )的横坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标;
5.根据权利要求1所述的裂缝监测方法,其特征在于,所述根据所述第一初始图像、所述第二初始图像、所述第一监测图像、所述第二监测图像、所述第一初始位置点、所述第二初始位置点、所述第三初始位置点和所述第四初始位置点,通过二维数字图像相关方法分别确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点,和所述第二初始位置点对应的第二监测位置点,以及所述第二监测图像上所述第三初始位置点对应的第三监测位置点,和所述第四初始位置点对应的第四监测位置点,具体包括:
获取所述第一初始图像的灰度分布、所述第二初始图像的灰度分布、所述第一监测图像的灰度分布和所述第二监测图像的灰度分布;
根据所述第一初始图像的灰度分布、所述第一监测图像的灰度分布和所述第一初始位置点,通过二维数字图像相关方法确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点;
根据所述第一初始图像的灰度分布、所述第一监测图像的灰度分布和所述第二初始位置点,通过二维数字图像相关方法确定所述第一监测图像上所述第二初始位置点对应的第二监测位置点;
根据所述第二初始图像的灰度分布、所述第二监测图像的灰度分布和所述第三初始位置点,通过二维数字图像相关方法确定所述第二监测图像上所述第三初始位置点对应的第三监测位置点;
根据所述第二初始图像的灰度分布、所述第二监测图像的灰度分布和所述第四初始位置点,通过二维数字图像相关方法确定所述第二监测图像上所述第四初始位置点对应的第四监测位置点。
6.根据权利要求5所述的裂缝监测方法,其特征在于,所述根据所述第一初始图像的灰度分布、所述第一监测图像的灰度分布和所述第一初始位置点,通过二维数字图像相关方法确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点,具体包括:
根据所述第一初始图像的灰度分布,确定所述第一初始图像中以所述第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到所述参考图像子区的参考灰度分布;M为整数;
根据所述参考图像子区和所述第一监测图像的灰度分布,利用一阶形函数确定所述监测时间后所述参考图像子区在所述第一监测图像上对应的监测目标图像子区,并得到所述监测目标图像子区的监测目标灰度分布;式中,表示监测目标图像子区中像素点的横坐标,x i表示参考图像子区中像素点(x i ,y i )的横坐标,u表示参考图像子区在横向方向的位移,u x 表示u对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,u y 表示u对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示监测目标图像子区中像素点的纵坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标,v表示参考图像子区在纵向方向的位移,v x 表示v对x求的一阶偏导数,v y 表示v对y求的一阶偏导数,x 0表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,y 0表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标;
根据所述参考灰度分布和所述监测目标灰度分布,通过最小平方距离相关系数,确定所述参考图像子区与所述监测目标图像子区的监测相关函数;式中,表示参考图像子区的参考灰度分布,表示监测目标图像子区的监测目标灰度分布;
8.一种裂缝监测***,其特征在于,包括:
初始图像获取模块,用于获取初始时刻双目立体视觉的第一相机拍摄的待监测裂缝的第一初始图像和第二相机拍摄的所述待监测裂缝的第二初始图像,所述第一初始图像上的第一初始位置点和第二初始位置点,以及所述第一相机和所述第二相机的内部参数、外部参数和畸变向量;所述第一初始位置点与所述第二初始位置点的连线垂直于所述待监测裂缝的走向;
初始位置点对应模块,用于根据所述第一初始图像、所述第二初始图像、所述第一初始位置点和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点,和所述第二初始位置点对应的第四初始位置点;
初始三维坐标确定模块,用于根据所述第一初始位置点、所述第二初始位置点、所述第三初始位置点、所述第四初始位置点、所述内部参数、所述外部参数和所述畸变向量,通过双目相机非线性成像模型和最小二乘法,得到所述第一初始位置点的第一初始三维坐标和所述第二初始位置点的第二初始三维坐标;
初始宽度确定模块,用于根据所述第一初始三维坐标和所述第二初始三维坐标,确定所述待监测裂缝的初始宽度;
监测图像获取模块,用于获取监测时间后所述第一相机拍摄的所述待监测裂缝的第一监测图像和所述第二相机拍摄的所述待监测裂缝的第二监测图像;
监测位置点对应模块,用于根据所述第一初始图像、所述第二初始图像、所述第一监测图像、所述第二监测图像、所述第一初始位置点、所述第二初始位置点、所述第三初始位置点和所述第四初始位置点,通过二维数字图像相关方法分别确定所述第一监测图像上所述第一初始位置点对应的第一监测位置点,和所述第二初始位置点对应的第二监测位置点,以及所述第二监测图像上所述第三初始位置点对应的第三监测位置点,和所述第四初始位置点对应的第四监测位置点;
监测三维坐标确定模块,用于根据所述第一监测位置点、所述第二监测位置点、所述第三监测位置点、所述第四监测位置点、所述内部参数、所述外部参数和所述畸变向量,通过双目相机非线性成像模型和最小二乘法,得到所述第一监测位置点的第一监测三维坐标和所述第二监测位置点的第二监测三维坐标;
当前宽度确定模块,用于根据所述第一监测三维坐标和所述第二监测三维坐标,确定所述待监测裂缝在所述监测时间后的当前宽度;
裂缝变化情况监测模块,用于根据所述第一初始三维坐标、所述第二初始三维坐标、所述第一监测三维坐标、所述第二监测三维坐标、所述初始宽度和所述当前宽度,确定所述待监测裂缝的变化情况。
9.根据权利要求8所述的裂缝监测***,其特征在于,所述初始位置点对应模块,具体包括:
初始图像灰度分布获取单元,用于获取所述第一初始图像的灰度分布和所述第二初始图像的灰度分布;
第三初始位置点确定单元,用于根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第一初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第一初始位置点对应的第三初始位置点;
第四初始位置点确定单元,用于根据所述第一初始图像的灰度分布、所述第二初始图像的灰度分布和所述第二初始位置点,通过三维数字图像相关方法确定所述第二初始图像上所述第二初始位置点对应的第四初始位置点。
10.根据权利要求9所述的裂缝监测***,其特征在于,所述第三初始位置点确定单元,具体包括:
参考图像子区确定子单元,用于根据所述第一初始图像的灰度分布,确定所述第一初始图像中以所述第一初始位置点为中心、大小为(2M+1)像素×(2M+1)像素的图像区域为参考图像子区,并得到所述参考图像子区的参考灰度分布;M为整数;
目标图像子区确定子单元,用于根据所述参考图像子区和所述第二初始图像的灰度分布,利用二阶形函数确定所述参考图像子区投影变换在所述第二初始图像上的目标图像子区,并得到所述目标图像子区的目标灰度分布;式中,表示目标图像子区中像素点的横坐标,x 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的横坐标,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的横向距离,表示参考图像子区的中心像素点(x 0 ,y 0 )的横向视差,表示参考图像子区中像素点(x i ,y i )的横向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )距离中心像素点(x 0 ,y 0 )的纵向距离,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的横向视差先对y求后再对y求的二阶偏导数,表示目标图像子区中像素点的纵坐标,y 0 表示参考图像子区的中心像素点(x 0 ,y 0 )的纵坐标,表示参考图像子区的中心像素点(x 0 ,y 0 )的纵向视差,表示参考图像子区中像素点(x i ,y i )的纵向视差对x求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差对y求的一阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对x求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对x求后再对y求的二阶偏导数,表示参考图像子区中像素点(x i ,y i )的纵向视差先对y求后再对y求的二阶偏导数,x i 表示参考图像子区中像素点(x i ,y i )的横坐标,y j 表示参考图像子区中像素点(x i ,y i )的纵坐标;
相关函数确定子单元,用于根据所述参考灰度分布和所述目标灰度分布,通过最小平方距离相关系数,确定所述参考图像子区与所述目标图像子区的相关函数;式中,表示参考图像子区的参考灰度分布,表示目标图像子区的目标灰度分布;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011184214.0A CN111998834B (zh) | 2020-10-30 | 2020-10-30 | 一种裂缝监测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011184214.0A CN111998834B (zh) | 2020-10-30 | 2020-10-30 | 一种裂缝监测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111998834A true CN111998834A (zh) | 2020-11-27 |
CN111998834B CN111998834B (zh) | 2021-01-29 |
Family
ID=73475255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011184214.0A Active CN111998834B (zh) | 2020-10-30 | 2020-10-30 | 一种裂缝监测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111998834B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379717A (zh) * | 2021-06-22 | 2021-09-10 | 山东高速工程检测有限公司 | 一种适用于道路修补的图形识别装置及识别方法 |
CN116718599A (zh) * | 2023-06-08 | 2023-09-08 | 中国矿业大学 | 一种基于三维点云数据的表观裂缝长度测量方法 |
-
2020
- 2020-10-30 CN CN202011184214.0A patent/CN111998834B/zh active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379717A (zh) * | 2021-06-22 | 2021-09-10 | 山东高速工程检测有限公司 | 一种适用于道路修补的图形识别装置及识别方法 |
CN113379717B (zh) * | 2021-06-22 | 2022-02-15 | 山东高速工程检测有限公司 | 一种适用于道路修补的图形识别装置及识别方法 |
CN116718599A (zh) * | 2023-06-08 | 2023-09-08 | 中国矿业大学 | 一种基于三维点云数据的表观裂缝长度测量方法 |
CN116718599B (zh) * | 2023-06-08 | 2024-06-11 | 中国矿业大学 | 一种基于三维点云数据的表观裂缝长度测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111998834B (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
CN107063129B (zh) | 一种阵列式并行激光投影三维扫描方法 | |
CN113379822B (zh) | 一种基于采集设备位姿信息获取目标物3d信息的方法 | |
CN106595528B (zh) | 一种基于数字散斑的远心显微双目立体视觉测量方法 | |
TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
EP2751521B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
US8593524B2 (en) | Calibrating a camera system | |
WO2012039043A1 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
KR102345886B1 (ko) | 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법 | |
CN111192235B (zh) | 一种基于单目视觉模型和透视变换的图像测量方法 | |
CN111667536A (zh) | 一种基于变焦相机深度估计的参数标定方法 | |
CN109579695B (zh) | 一种基于异构立体视觉的零件测量方法 | |
CN105066962B (zh) | 一种多分辨率大视场角高精度摄影测量装置 | |
CN113592721B (zh) | 摄影测量方法、装置、设备及存储介质 | |
CN106500625B (zh) | 一种远心立体视觉测量方法 | |
CN109242898B (zh) | 一种基于图像序列的三维建模方法及*** | |
CN111998834B (zh) | 一种裂缝监测方法及*** | |
CN109727290A (zh) | 基于单目视觉三角测距法的变焦相机动态标定方法 | |
CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
Liu et al. | Epipolar rectification method for a stereovision system with telecentric cameras | |
CN102881040A (zh) | 一种数码相机移动拍摄三维重建方法 | |
CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
JP3842988B2 (ja) | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
JP2003065737A (ja) | 表面形状測定装置及びその方法、並びに表面状態図化装置 | |
WO2019087253A1 (ja) | ステレオカメラのキャリブレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |