CN113554667A - 一种基于图像识别的三维位移检测方法及装置 - Google Patents

Abstract

本发明提供一种基于图像识别的三维位移检测方法，包含步骤：S1、建立测量坐标系；S2、采集图像采集单元与待测物之间的距离d_i，采集待测物图像并基于训练好的神经网络模型分割出标尺图像；S3、识别标尺图像的角点，选取第一、第二角点，获取第一、第二角点在标尺的实际距离sca、在标尺图像中的像素距离pix_i，得到pix_i到sca的转换参数p_i；S4、拟合得到d与p之间的关系式，d表示图像采集单元与待测物之间的距离，p表示与d对应的转换参数；S5、获取T～T+Δt时刻标尺图像在成像平面的像素位移，基于该像素位移、所述关系式得到T～T+Δt的时间内标尺在测量坐标系X、Y、Z轴方向的实际位移Δx、Δy、Δz。本发明提供一种基于图像识别的三维位移检测装置。

Description

一种基于图像识别的三维位移检测方法及装置

技术领域

本发明涉及位移检测技术领域，特别是一种基于图像识别的三维位移检测方法及装置。

背景技术

各种大型的工程构筑物(如桥梁，堤坝，水塔等)在构建完成后，由于在长期使用过程中受外部环境的影响，会发生位移变形，从而引起其它故障问题并带来极大的安全隐患，危害生命安全和财产安全。为了能够在危害扩大前排除故障，及时地检测构筑物的位移情况是必要的。

当前，测量大型构筑物位移的方法大多采用在构筑物上安装传感器来进行实时测量。这种直接安装的测量方法使得传感器在伴随被测物振动位移的过程中容易被损坏，且所得到的测量数据仅仅只有数字，难以支持后续的研究。

发明内容

本发明的目的是提供一种基于图像识别的三维位移检测方法及装置，在不与待测物直接接触的情况下，仅通过对采集待测物图像数据进行数据处理，获取待测物的三维位移。

为了达到上述目的，本发明提供一种基于图像识别的三维位移检测方法，在待测物外表面固定设有标尺，所述方法包含步骤：

S1、基于图像采集单元的初始位置建立测量坐标系，图像采集单元在初始位置的成像平面为所述测量坐标系的O-XY平面，垂直于O-XY平面方向为测量坐标系的Z轴方向；基于标尺所在平面建立二维的标尺坐标系；

S2、采集Z轴方向图像采集单元与待测物之间的距离d_i，i的初值为1；采集待测物图像，并基于训练好的神经网络模型自所述待测物图像中分割出标尺图像；

S3、通过边缘检测算法识别标尺图像的所有边缘点，通过角点检测算法筛选出边缘点中的角点，从筛选的角点中选取第一角点、第二角点；基于标尺图像建立与标尺坐标系对应的二维的标尺图像坐标系；获取标尺上的第一角点与第二角点在所述标尺坐标系的实际距离sca，获取标尺图像上的第一角点与第二角点在所述标尺图像坐标系的像素距离pix_i，得到像素距离pix_i到实际距离sca的转换参数p_i；更新i＝i+1；当i≤n，沿Z轴方向改变图像采集单元与待测物的间距，进入S2；否则，进入S4；

S4、基于{d₁,…,d_n}和{p₁,…,p_n}拟合得到d与p之间的关系式；其中d表示Z轴方向图像采集单元与待测物之间的距离，p表示与d对应的转换参数；

S5、获取时刻T～时刻T+Δt的时间内，标尺图像在图像采集单元成像平面的像素位移；基于所述像素位移、所述关系式得到T～T+Δt的时间内标尺在测量坐标系X、Y、Z轴方向的实际位移Δx、Δy、Δz。

可选的，步骤S2中采集待测物图像，并基于训练好的神经网络模型自所述待测物图像中分割出标尺图像，包含：

S21、通过调整图像采集单元的位置，采集得到对应的若干待测物图像；

S22、选取所述若干待测物图像中的部分待测物图像作为训练集，其余的待测物图像作为测试集；人工标注训练集的待测物图像中的标尺图像；

S23、通过所述训练集训练所述神经网络模型，该神经网络模型用于识别待测物图像中的标尺图像；

S24、将所述测试集输入训练好的神经网络模型，验证神经网络模型。

可选的，步骤S3中通过边缘检测算法识别标尺图像的所有边缘点包含：

S31、转换标尺图像为对应的灰度图；设置灰度阈值，转换所述灰度图为对应的二值图像；

S32、按照从上至下、从左至右的顺序扫描所述二值图像，获取二值图像的所有边缘点；

S33、删除孤立的边缘点。

可选的，步骤S32中：从上至下扫描时，若上下相邻的两个像素的像素值不同，记该两个像素中上方的像素作为边缘点；当从左至右扫描时，若左右相邻的两个像素的像素值不同，记该两个像素中左边的像素作为边缘点。

可选的，所述标尺分为若干区域，至少一个区域包含与该区域颜色不同的若干矩形标记，步骤S3中通过角点检测算法获取边缘点中的角点包含：

按照从上至下、从左至右的顺序遍历所有边缘点；以当前边缘点为起点，当前边缘点的上一个相邻边缘点为终点建立向量

以当前边缘点为起点，当前边缘点的上一个相邻边缘点为终点建立向量

若

与

的夹角为90°，则当前边缘点为角点。

可选的，步骤S3中，

可选的，步骤S4中通过最小二乘拟合得到d与p之间的线性关系式：d＝ap+b；

其中

可选的，步骤S5包含：

S51、将图像采集单元固定放置在所述初始位置，采集T、T+Δt时刻的待测物图像，并分别提取得到T、T+Δt时刻的标尺图像；获取T～T+Δt时间内标尺图像的像素位移Δx′、Δy′；

S52、获取T+Δt时刻，标尺图像中第一角点与第二角点在标尺图像坐标系的像素距离pix′，得到对应的转换参数

得到T～T+Δt的时长内，标尺在测量坐标系X、Y轴的实际位移Δx、Δy：

其中，p′_x、p′_y为p′在测量坐标系X、Y轴方向的转换参数；

S53、获取T～T+Δt的时长内，标尺在测量坐标系Z轴方向的实际位移Δz＝ap′+b。

可选的，p′_x、p′_y的计算方法为：

S521、获取标尺上的第一角点与第二角点在标尺坐标系横轴、纵轴的实际距离sca_x、sca_y；

S522、获取T+Δt时刻标尺图像中第一角点与第二角点在标尺图像坐标系横轴、纵轴的像素距离pix′_x、pix′_y；

S523、计算得到

本发明还提供一种基于图像识别的三维位移检测装置，用于实现本发明所述的检测方法，所述装置包含：

标尺，固定设置在待测物外表面；

光源发生器，固定嵌入设置在待测物外表面并位于所述标尺与待测物之间，用于为标尺提供背景光；

图像采集单元，用于采集待测物图像，所述待测物图像包含标尺图像；

图像处理单元，通过内置的图像处理算法，基于所述标尺图像获取待测物在测量坐标系的三维位移量。

与现有技术相比，本发明的有益效果在于：

1)本发明的基于图像识别的三维位移检测装置结构简单、成本低，且由于图像采集单元与图像处理单元不需与待测物接触，因而可以有效降低由于待测物变形导致检测装置损坏的经济损失(标尺和光源发生器的成本可以忽略不计)；

2)本发明只需在被测物上固定标尺，在远处安装图像采集单元进行图像采集，避免图像采集单元与图像处理单元与待测物直接接触，可防止因待测物的振动位移而带来的数据误差；

3)本发明的基于图像识别的三维位移检测方法检测精度高，能够满足实际需求，具有很好的推广价值。

附图说明

为了更清楚地说明本发明技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：

图1为发明的图像采集单元获取的待测物图像示意图；

图2为本发明基于图像识别的三维位移检测方法流程图；

图3为标尺图像的边缘检测结果及标尺图像在X、Y轴的位移示意图；

图4为本发明进行角点检测示意图；

图5为本发明基于图像识别的三维位移检测装置示意图；

图中：1、标尺；2、光源发生器；3、图像采集单元；4、待测物。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明中在待测物外表面固定设有标尺1。通过图像采集单元3获取如图1所示的待测物图像，该待测物图像中包含标尺图像。本发明的实施例中，图像采集单元3为视觉相机。所述标尺图像分为四个矩形的区域，相邻区域具有不同的颜色(本实施例中用黑、白两色表示)。至少一个区域为包含与该区域颜色不同的若干矩形标记。本实施例中，在黑白区域的交界处设置有若干白色的矩形标记(也称为矩形刻度)，且该白色的矩形标记落在黑色区域内。所述若干矩形标记的间隔可以相等或不相等。

本发明提供一种基于图像识别的三维位移检测方法，如图2所示，所述方法包含步骤：

S1、基于图像采集单元3的初始位置建立测量坐标系，图像采集单元3在初始位置的成像平面为所述测量坐标系的O-XY平面，垂直于O-XY平面方向为测量坐标系的Z轴方向；

S2、采集图像采集单元3与待测物4之间的垂直距离d_i，i的初值为1；

采集待测物图像，并基于训练好的神经网络模型自所述待测物图像中分割出标尺图像；

步骤S2包含：

S21、调整图像采集单元3的位置，在不同的位置采集若干待测物图像；

S22、选取所述若干待测物图像中的部分待测物图像作为训练集，其余的待测物图像作为测试集；人工标注训练集的待测物图像中的标尺图像；

S23、通过所述训练集训练所述神经网络模型，该神经网络模型用于识别待测物图像中的标尺图像；

S24、将所述测试集输入训练好的神经网络模型，验证神经网络模型。

S3、通过边缘检测算法识别标尺图像的所有边缘点，通过角点检测算法筛选出边缘点中的角点，从筛选的角点中选取第一角点、第二角点；基于标尺图像建立与标尺坐标系对应的二维的标尺图像坐标系；获取标尺上的第一角点与第二角点在所述标尺坐标系的实际距离sca，获取标尺图像上的第一角点与第二角点在所述标尺图像坐标系的像素距离pix_i，得到像素距离pix_i到实际距离sca的转换参数p_i；更新i＝i+1；当i≤n，沿Z轴方向改变图像采集单元与待测物的间距，进入S2；否则，进入S4；

步骤S3中通过边缘检测算法识别标尺图像的所有边缘点包含：

S31、转换标尺图像为对应的灰度图；设置灰度阈值，转换所述灰度图为对应的二值图像；在本发明的实施例中，当标尺图像像素点的像素值高于所述灰度阈值，该像素点的像素值记为1(用黑色表示)；标尺图像像素点的像素值高于所述灰度阈值，该像素点的像素值记为0(用白色表示)。

S32、按照从上至下、从左至右的顺序扫描所述二值图像，获取二值图像的所有边缘点。图3中示出了由所有边缘点构成的边缘线。

本发明的实施例中，以二值图像最左下角的像素点作为原点，建立二值图像坐标系。假设二值图像具有255×255个像素点，二值图像的扫描顺序可以理解为：在二值图像坐标系下按照(0,254)→(0,253)…→(0,0)→(1,254)→…→(1,1)→(1,0)→…→(254,0)的像素坐标顺序进行扫描。

在本发明的实施例中，从上至下扫描时，若上下相邻的两个像素的像素值突变(像素值由0变为1，或由1变为0)，记该两个像素中上方的像素作为边缘点；当从左至右扫描时，若左右相邻的两个像素的像素值突变，记该两个像素中左边的像素作为边缘点。

S33、删除孤立的边缘点。在本发明的实施例中，若二值图像中某个边缘点周围的所有8个像素点均为非边缘点，则该边缘点为孤立的边缘点，将其删除。

步骤S3中通过角点检测算法获取边缘点中的角点包含：

按照所述从上至下、从左至右的顺序遍历所有边缘点；本实施例中，在遍历边缘点的过程中，边缘点A坐标(1,1)，边缘点B坐标(2,3)，边缘点C坐标(2,4)，边缘点D坐标(2,5)，边缘点E(1,5)；则对边缘点A而言，其上一个相邻边缘点为像素E，下一个相邻边缘点为像素B。

以当前边缘点为起点，当前边缘点的上一个相邻边缘点为终点建立向量

以当前边缘点为起点，当前边缘点的上一个相邻边缘点为终点建立向量

若

与

的夹角为90°，则当前边缘点为角点。若

与

的夹角为180°，则说明当前边缘点与相邻两个边缘点位于一条直线上。

本发明实施例中像素距离的计算方法为：

若两个像素点在二值图像中的坐标为(x_i,y_i)、(x_j,y_j)，则该两个像素点的像素距离

如图4所示，本发明的一个实施例中选取像素点a、像素点b作为第一角点与第二角点。其中已知像素点a、b在标尺1的实际间距为5mm。

S4、基于{d₁,…,d_n}和{p₁,…,p_n}拟合得到d与p之间的关系式；其中d表示Z轴方向图像采集单元3与待测物4之间的距离，p表示与d对应的转换参数；

在本发明的实施例中，步骤S4通过最小二乘拟合得到d与p之间的线性关系式：d＝ap+b；

其中

S5、将图像采集单元3固定放置在所述初始位置，获取时刻T～时刻T+Δt的时长内，标尺图像在图像采集单元成像平面的像素位移；基于所述像素位移和对应的转换参数得到标尺1在测量坐标系X、Y轴方向的实际位移Δx、Δy；基于所述关系式，获取时刻T～时刻T+Δt的时长内标尺1在测量坐标系Z轴方向的实际位移Δz。

步骤S5包含：

S51、将图像采集单元3固定放置在所述初始位置，采集T、T+Δt时刻的待测物图像，并分别提取得到T、T+Δt时刻的标尺图像并转换为对应的二值图像；如图3所示，获取T～T+Δt时间内标尺图像的像素位移Δx′、Δy′；图3中的实线表示时刻T的二值图像，图3中的虚线表示时刻T+Δt的二值图像；

S52、获取T+Δt时刻，标尺图像中第一角点与第二角点在标尺图像坐标系的像素距离pix′，得到对应的转换参数

得到T～T+Δt的时长内，标尺在测量坐标系X、Y轴的实际位移Δx、Δy：

其中，p′_x、p′_y为p′在测量坐标系X、Y轴方向的转换参数；

本实施例中，p′_x、p′_y的计算方法为：

S521、获取标尺上的第一角点与第二角点在标尺坐标系横轴、纵轴的实际距离sca_x、sca_y；

S522、获取T+Δt时刻标尺图像中第一角点与第二角点在标尺图像坐标系横轴、纵轴的像素距离pix′_x、pix′_y；

S523、计算得到

S53、获取T～T+Δt的时长内，标尺在测量坐标系Z轴方向的实际位移Δz＝ap′+b。则(Δx,Δy,Δz)为时刻T～时刻T+Δt的时长内，待测物在测量坐标系的三维位移量。

本发明还提供一种基于图像识别的三维位移检测装置，用于本发明所述的检测方法，如图5所示，所述装置包含：标尺1、光源发生器2、图像采集单元3、图像处理单元(图中未示出)。

标尺1，固定设置在待测物外表面；

光源发生器2，固定嵌入设置在待测物外表面并位于所述标尺1与待测物4之间，用于为标尺1提供背景光；本发明的实施例中，所述光源发生器2为红外光源发生器；

图像采集单元3，用于采集待测物图像，所述待测物图像包含标尺图像；

图像处理单元，通过内置的图像处理算法，基于所述标尺图像获取待测物4在测量坐标系的三维位移量。

本发明的检测装置结构简单、成本低，且由于图像采集单元3与图像处理单元不需与待测物4接触，因而可以有效降低由于待测物4变形导致检测装置损坏的经济损失(标尺1和光源发生器2的成本可以忽略不计)。本发明只需在被测物上固定标尺1，在远处安装图像采集单元3进行图像采集，避免图像采集单元3与图像处理单元与待测物4直接接触，可防止因待测物4的振动位移而带来的数据误差。本发明的检测方法检测精度高，能够满足实际需求，具有很好的推广价值。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于图像识别的三维位移检测方法，在待测物外表面固定设有标尺，其特征在于，所述方法包含步骤：

S1、基于图像采集单元的初始位置建立测量坐标系，图像采集单元在初始位置的成像平面为所述测量坐标系的O-XY平面，垂直于O-XY平面方向为测量坐标系的Z轴方向；基于标尺所在平面建立二维的标尺坐标系；

S2、采集Z轴方向图像采集单元与待测物之间的距离d_i，i的初值为1；采集待测物图像，并基于训练好的神经网络模型自所述待测物图像中分割出标尺图像；

S3、通过边缘检测算法识别标尺图像的所有边缘点，通过角点检测算法筛选出边缘点中的角点，从筛选的角点中选取第一角点、第二角点；基于标尺图像建立与标尺坐标系对应的二维的标尺图像坐标系；获取标尺上的第一角点与第二角点在所述标尺坐标系的实际距离sca，获取标尺图像上的第一角点与第二角点在所述标尺图像坐标系的像素距离pix_i，得到像素距离pix_i到实际距离sca的转换参数p_i；更新i＝i+1；当i≤n，沿Z轴方向改变图像采集单元与待测物的间距，进入S2；否则，进入S4；

S4、基于{d₁,…,d_n}和{p₁,…,p_n}拟合得到d与p之间的关系式；其中d表示Z轴方向图像采集单元与待测物之间的距离，p表示与d对应的转换参数；

S5、获取时刻T～时刻T+Δt的时间内，标尺图像在图像采集单元成像平面的像素位移；基于所述像素位移、所述关系式得到T～T+Δt的时间内标尺在测量坐标系X、Y、Z轴方向的实际位移Δx、Δy、Δz。

2.如权利要求1所述的基于图像识别的三维位移检测方法，其特征在于，步骤S2中采集待测物图像，并基于训练好的神经网络模型自所述待测物图像中分割出标尺图像，包含：

S21、通过调整图像采集单元的位置，采集得到对应的若干待测物图像；

S22、选取所述若干待测物图像中的部分待测物图像作为训练集，其余的待测物图像作为测试集；人工标注训练集的待测物图像中的标尺图像；

S23、通过所述训练集训练所述神经网络模型，该神经网络模型用于识别待测物图像中的标尺图像；

S24、将所述测试集输入训练好的神经网络模型，验证神经网络模型。

3.如权利要求1所述的基于图像识别的三维位移检测方法，其特征在于，步骤S3中通过边缘检测算法识别标尺图像的所有边缘点包含：

S31、转换标尺图像为对应的灰度图；设置灰度阈值，转换所述灰度图为对应的二值图像；

S32、按照从上至下、从左至右的顺序扫描所述二值图像，获取二值图像的所有边缘点；

S33、删除孤立的边缘点。

4.如权利要求3所述的基于图像识别的三维位移检测方法，其特征在于，步骤S32中：从上至下扫描时，若上下相邻的两个像素的像素值不同，记该两个像素中上方的像素作为边缘点；当从左至右扫描时，若左右相邻的两个像素的像素值不同，记该两个像素中左边的像素作为边缘点。

5.如权利要求3所述的基于图像识别的三维位移检测方法，其特征在于，所述标尺分为若干区域，至少一个区域包含与该区域颜色不同的若干矩形标记，步骤S3中通过角点检测算法获取边缘点中的角点包含：

按照从上至下、从左至右的顺序遍历所有边缘点；以当前边缘点为起点，当前边缘点的上一个相邻边缘点为终点建立向量

以当前边缘点为起点，当前边缘点的上一个相邻边缘点为终点建立向量

若

与

的夹角为90°，则当前边缘点为角点。

6.如权利要求1所述的基于图像识别的三维位移检测方法，其特征在于，步骤S3中，

7.如权利要求1所述的基于图像识别的三维位移检测方法，其特征在于，步骤S4中通过最小二乘拟合得到d与p之间的线性关系式：d＝ap+b；

其中

8.如权利要求7所述的基于图像识别的三维位移检测方法，其特征在于，步骤S5包含：

S51、将图像采集单元固定放置在所述初始位置，采集T、T+Δt时刻的待测物图像，并分别提取得到T、T+Δt时刻的标尺图像；获取T～T+Δt时间内标尺图像的像素位移Δx′、Δy′；

S52、获取T+Δt时刻，标尺图像中第一角点与第二角点在标尺图像坐标系的像素距离pix′，得到对应的转换参数

得到T～T+Δt的时长内，标尺在测量坐标系X、Y轴的实际位移Δx、Δy：

其中，p′_x、p′_y为p′在测量坐标系X、Y轴方向的转换参数；

S53、获取T～T+Δt的时长内，标尺在测量坐标系Z轴方向的实际位移Δz＝ap′+b。

9.如权利要求8所述的基于图像识别的三维位移检测方法，其特征在于，p′_x、p′_y的计算方法为：

S521、获取标尺上的第一角点与第二角点在标尺坐标系横轴、纵轴的实际距离sca_x、sca_y；

S522、获取T+Δt时刻标尺图像中第一角点与第二角点在标尺图像坐标系横轴、纵轴的像素距离pix′_x、pix′_y；

S523、计算得到

10.一种基于图像识别的三维位移检测装置，用于实现如权利要求1至9任一所述的检测方法，其特征在于，包含：

标尺，固定设置在待测物外表面；

光源发生器，固定嵌入设置在待测物外表面并位于所述标尺与待测物之间，用于为标尺提供背景光；

图像采集单元，用于采集待测物图像，所述待测物图像包含标尺图像；

图像处理单元，通过内置的图像处理算法，基于所述标尺图像获取待测物在测量坐标系的三维位移量。

Images