CN114299283A

CN114299283A - 一种基于图像的位移测量方法及***

Info

Publication number: CN114299283A
Application number: CN202210213628.4A
Authority: CN
Inventors: 张波; 万亚东; 周晓坤
Original assignee: Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Current assignee: Innotitan Intelligent Equipment Technology Tianjin Co Ltd
Priority date: 2022-03-07
Filing date: 2022-03-07
Publication date: 2022-04-08
Anticipated expiration: 2042-03-07
Also published as: CN114299283B

Abstract

本发明涉及一种基于图像的位移测量方法及***，属于图像处理领域。该方法包括：构建基于中心锚点的检测网络；检测网络的基础网络为Faster‑RCNN，采用基于中心锚点的锚框生成策略、基于中心锚点的面积交并比计算方式、基于中心锚点的回归损失函数；中心锚点是指目标的形心坐标，基于中心锚点的锚框为以中心锚点为中心的正方形位置框，锚框的标注信息包括中心锚点坐标和正方形位置框的二分之一边长；基于回归损失函数对检测网络进行训练，得到标志物检测模型；将两个时刻采集的标志物图像输入标志物检测模型，得到标志物的位移测量结果。本发明可以提高位移测量的精度。

Description

一种基于图像的位移测量方法及***

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于图像的位移测量方法及***。

背景技术

高精度的位移测量能够起到监测预报的作用，有助于尽早发现质量安全隐患，以便及时采取补救措施，在制造业、土木工程等众多领域具有重要的应用价值。近年来，随着工业化水平的提升和计算机科学的发展，基于计算机视觉的位移测量技术凭借其非接触、高精度、多点监测等优势，成为了位移测量领域的一大研究热点并得以实际应用。其中，基于深度学习的目标检测技术可以自动捕获视场中感兴趣目标的位置信息，能够为位移测量提供可靠的技术途径。

但现阶段基于深度学习的目标检测算法大多采用边框回归的方式进行目标定位，限制了定位精度的提升，进而限制了位移测量的精度提升。

发明内容

本发明的目的是提供一种基于图像的位移测量方法及***，以提高位移测量的精度。

为实现上述目的，本发明提供了如下方案：

一种基于图像的位移测量方法，包括：

构建基于中心锚点的检测网络；所述检测网络的基础网络为Faster-RCNN，所述检测网络采用基于中心锚点的锚框生成策略，所述检测网络采用基于中心锚点的面积交并比计算方式，所述检测网络采用基于中心锚点的回归损失函数；所述中心锚点是指目标的形心坐标，基于所述中心锚点的锚框为以所述中心锚点为中心的正方形位置框，所述锚框的标注信息包括中心锚点坐标和所述正方形位置框的二分之一边长；

基于所述回归损失函数对所述检测网络进行训练，得到标志物检测模型；

将两个时刻采集的标志物图像输入所述标志物检测模型，得到标志物的位移测量结果。

可选的，所述构建基于中心锚点的检测网络，具体包括：

构建基于中心锚点的锚框生成策略，过程为：将所述Faster-RCNN中RPN网络的锚框生成阶段采用的锚框比例调整为1:1，锚框尺度调整为16×16、32×32、64×64、128×128、256×256和512×512；

构建基于中心锚点的面积交并比计算方式，所述面积交并比计算公式为：

；其中，IoU为面积交并比，（x，y）为预测框的中心锚点坐标，预测框的二分之一边长用c表示；（G _x，G _y）为真实边界框的中心锚点坐标，G _c为真实边界框的二分之一边长；

构建基于中心锚点的回归损失函数，过程为：

将所述Faster-RCNN网络中回归分支中最后一个全连接层输出的预测值维度修改为3维，对应[d _x,d _y,d _c]三个坐标变换量；

确定所述回归损失函数，公式为：CPR Loss=α(L _x+L _y)+βL _c；其中，α和β为调节因子；L _x为x坐标的回归损失函数，

，d _x表示预测框的x值和真实边界框的G _x值之间的坐标变换预测值，d' _x表示预测框的x值和真实边界框的G _x值之间的坐标变换真实值，

；L _y为y坐标的回归损失函数，

，d _y表示预测框的y值和真实边界框的G _y值之间的坐标变换预测值，d' _y表示预测框的y值和真实边界框的G _y值之间的坐标变换真实值，

；L _c为边长回归损失函数，

，d _c表示预测框的c值和真实边界框的G _c值之间的坐标变换预测值，d' _c表示预测框的c值和真实边界框的G _c值之间的坐标变换真实值，

。

可选的，所述基于所述回归损失函数对所述检测网络进行训练，得到标志物检测模型，具体包括：

采用工业相机拍摄用于位移监测的标志物图像，得到图像集；

采用中心锚点标注法对所述图像集中的图像进行标志物的逐一标注，获得标注文件；

采用所述标注文件，基于所述回归损失函数对所述检测网络进行训练，得到训练好的标志物检测模型。

可选的，所述将两个时刻采集的标志物图像输入所述标志物检测模型，得到标志物的位移测量结果，具体包括：

将两个时刻采集的标志物图像输入所述标志物检测模型，输出两个时刻采集的标志物图像中标志物的位置信息；

利用公式

确定所述标志物的位移；其中，D为所述标志物的位移，第一时刻采集的标志物图像输出的位置信息为[x_A,y_A,c_A]，第二时刻采集的标志物图像输出的位置信息为[x_B,y_B,c_B]。

本发明还提供一种基于图像的位移测量***，包括：

检测网络构建模块，用于构建基于中心锚点的检测网络；所述检测网络的基础网络为Faster-RCNN，所述检测网络采用基于中心锚点的锚框生成策略，所述检测网络采用基于中心锚点的面积交并比计算方式，所述检测网络采用基于中心锚点的回归损失函数；所述中心锚点是指目标的形心坐标，基于所述中心锚点的锚框为以所述中心锚点为中心的正方形位置框，所述锚框的标注信息包括中心锚点坐标和所述正方形位置框的二分之一边长；

训练模块，用于基于所述回归损失函数对所述检测网络进行训练，得到标志物检测模型；

位移测量模块，用于将两个时刻采集的标志物图像输入所述标志物检测模型，得到标志物的位移测量结果。

可选的，所述检测网络构建模块，具体包括：

锚框生成策略构建单元，用于构建基于中心锚点的锚框生成策略，过程为：将所述Faster-RCNN中RPN网络的锚框生成阶段采用的锚框比例调整为1:1，锚框尺度调整为16×16、32×32、64×64、128×128、256×256和512×512；

面积交并比计算方式构建单元，用于构建基于中心锚点的面积交并比计算方式，所述面积交并比计算公式为：

回归损失函数构建单元，用于构建基于中心锚点的回归损失函数，过程为：

；L _y为y坐标的回归损失函数，

；L _c为边长回归损失函数，

。

可选的，所述训练模块，具体包括：

图像集获取单元，用于采用工业相机拍摄用于位移监测的标志物图像，得到图像集；

标注单元，用于采用中心锚点标注法对所述图像集中的图像进行标志物的逐一标注，获得标注文件；

训练单元，用于采用所述标注文件，基于所述回归损失函数对所述检测网络进行训练，得到训练好的标志物检测模型。

可选的，所述位移测量模块，具体包括：

位置信息输出单元，用于将两个时刻采集的标志物图像输入所述标志物检测模型，输出两个时刻采集的标志物图像中标志物的位置信息；

位移确定单元，用于利用公式

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明针对位移测量任务，采用中心锚点检测方式，通过更少的参数量获取目标的位置信息，有效降低了网络的训练和预测难度；而且中心锚点检测直接通过中心锚点坐标表示目标在图像中的具***置，相比传统标注法，能够实现更加精准的标志物位置预测，进而提高位移测量的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于图像的位移测量方法的流程示意图；

图2为传统标注方法与本发明标注方法的对比示意图；

图3为本发明面积交并比计算的示意图；

图4为本发明基于图像的位移测量***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明基于图像的位移测量方法的流程示意图。如图1所示，包括以下步骤：

步骤100：构建基于中心锚点的检测网络。由于双阶段的目标检测网络在检测精度上相比单阶段检测网络更有优势，因此本发明采用经典双阶段检测网络Faster-RCNN作为基础网络。

由于位移测量任务需要对标志物进行精准定位，现有的目标检测算法（包括Faster-RCNN）均采用如图2（a）部分所示的常规锚框进行目标位置预测，预测值[x,y,w,h]稍有偏差就会导致定位不准。本发明基于中心锚点的检测方式直接通过如图2（b）部分所示的中心点坐标（x,y）预测目标在图像中的具***置，相比常规锚框预测更加准确和简洁。因此，对检测网络的构建方式需要从三方面进行改进：锚框生成策略基于中心锚点；面积交并比计算方式基于中心锚点；回归损失函数基于中心锚点。本发明的中心锚点是指目标的形心坐标，基于中心锚点的锚框为以中心锚点为中心的正方形位置框，锚框的标注信息包括中心锚点坐标和正方形位置框的二分之一边长。具体过程如下：

（1）基于中心锚点检测的锚框生成策略。在原始的Faster-RCNN中，RPN网络的锚框生成阶段采用的锚框比例为{1:1，1:2，2:1}，锚框尺度为{128×128、256×256和512×512}；在本发明的检测网络中，由于标注框的形状为正方形，因此采用1:1的比例进行锚框生成，为了更精准地预测标志物的位置框，增加不同面积的锚框，采用尺寸为16×16、32×32、64×64、128×128、256×256和512×512的锚框进行候选区域预测。

（2）基于中心锚点检测的面积交并比(Intersection-over-Union，IoU)计算方法。在Faster-RCNN中，需要通过NMS算法剔除一部分重叠率过高，也就是IoU过大的预测框，但其采用的IoU计算方法仅适用于常规锚框检测方式，因此本发明采用基于中心锚点检测的IoU计算方法。如图3所示，预测框位于左上角，其中心锚点坐标为（x，y），二分之一边长为c，真实边界框位于右下角，其中心锚点坐标为（G _x，G _y），二分之一边长为Gc，则两个位置框的IoU计算公式如式1所示。

（1）

采用该IoU计算公式进行Faster-RCNN网络中NMS算法的预测框筛选。

（3）中心锚点回归损失函数（Center Point Regression Loss，CPR Loss）.本发明针对中心锚点检测，提出了一个全新的回归损失函数，即中心锚点回归损失函数CPR Loss。

首先，为了将网络用于中心锚点预测，将Faster-RCNN网络回归分支中最后一个全连接层所输出的预测值维度修改为3维，对应[d _x,d _y,d _c]三个坐标变换量（原本最后一个全连接层所输出的预测值维度为4维，分别对应[d _x,d _y,d _w,d _h]四个坐标变换量，适用于常规锚框预测）。

接下来，设计坐标回归损失函数L _x。设预测框的位置信息为[x,y,c]，其中x为预测框的中心锚点横坐标，y为预测框的中心锚点纵坐标，c为预测框的二分之一边长；设真实边界框的位置信息为[G _x,G _y,G_c]，其中G _x为真实边界框的中心锚点横坐标，G _y为真实边界框的中心锚点纵坐标，G _c为真实边界框的二分之一边长。那么坐标回归损失函数Lx对应预测框中x值的预测误差损失，其计算公式见式（2）。

（2）

式中，d _x表示预测框的x值和真实边界框的G _x值之间的坐标变换预测值，由网络回归分支的全连接层输出；d' _x表示预测框的x值和真实边界框的G _x值之间的坐标变换真实值，计算方式见式（3）。

（3）

随后，设计坐标回归损失函数L _y。坐标回归损失函数L _y对应预测框中y值的预测误差损失，其计算公式见式（4）。

（4）

式中，d _y表示预测框的y值和真实边界框的G _y值之间的坐标变换预测值，由网络回归分支的全连接层输出；d' _y表示预测框的y值和真实边界框的G _y值之间的坐标变换真实值，计算方式见式（5）。

（5）

其次，设计边长回归损失函数L _c。边长回归损失函数L _c对应预测框中c值的预测误差损失，其计算公式见式（6）。

（6）

式中，d _c表示预测框的c值和真实边界框的G _c值之间的坐标变换预测值，由网络回归分支的全连接层输出；d' _c表示预测框的c值和真实边界框的G _c值之间的坐标变换真实值，计算方式见式（7）。

（7）

最后，基于L _x、L _y和L _c设计CPR Loss。

CPR Loss=α(L _x+L _y)+βL _c （8）

如式（8）所示，CPR Loss由两个坐标回归损失函数L _x、L _y和一个边长回归损失函数L _c三部分构成。其中α和β为调节因子，用于调整坐标回归损失函数和边长回归损失函数在总回归损失函数中所占的比重。

采用上述锚框生成策略、IoU计算方法和CPR Loss回归损失函数替换Faster-RCNN检测算法中原有的锚框生成策略、IoU计算方法和回归损失函数，获得标志物的检测网络。

步骤200：基于回归损失函数对检测网络进行训练，得到标志物检测模型。首先，采用工业相机拍摄用于位移监测的标志物图像，得到图像集，然后采用中心锚点标注法对图像集中的图像进行标志物的逐一标注，获得标注文件。最后采用标注文件，基于CPR Loss进行网络参数的更新优化，对检测网络进行训练，得到训练好的标志物检测模型。

步骤300：将两个时刻采集的标志物图像输入标志物检测模型，得到标志物的位移测量结果。将时刻A所采集的标志物图像A和时刻B所采集的标志物图像B（应确保两张图像的拍摄视场一致）同时输入标志物检测模型中，分别输出标志物图像A的位置信息[x_A,y_A,c_A]和标志物图像B的位置信息[x_B,y_B,c_B]。根据输出的位置信息计算位移测量结果D，即标志物从时刻A到时刻B所产生的位移，计算公式如式9所示。

（9）

在具体应用时，为了获取标志物在某个时间段所发生的位移，首先固定摄像头位置，进行图像采集，获得标志物初始位置图像；接下来，在需要进行位移测量时，再次采集图像，获得标志物当前位置图像，采集过程中应确保摄像头的拍摄视场恒定不变；将这两张不同时刻所采集的标志物图像输入至位移测量***，即可输出位移测量结果D，即标志物在两个采集时刻之间所产生的位移。

基于上述方法，本发明还提供一种基于图像的位移测量***，图4为本发明基于图像的位移测量***的结构示意图。如图4所示，该基于图像的位移测量***包括：

检测网络构建模块401，用于构建基于中心锚点的检测网络；检测网络的基础网络为Faster-RCNN，检测网络采用基于中心锚点的锚框生成策略，检测网络采用基于中心锚点的面积交并比计算方式，检测网络采用基于中心锚点的回归损失函数；中心锚点是指目标的形心坐标，基于中心锚点的锚框为以中心锚点为中心的正方形位置框，锚框的标注信息包括中心锚点坐标和正方形位置框的二分之一边长。

训练模块402，用于基于回归损失函数对检测网络进行训练，得到标志物检测模型。

位移测量模块403，用于将两个时刻采集的标志物图像输入标志物检测模型，得到标志物的位移测量结果。

作为具体实施例，本发明基于图像的位移测量***中，检测网络构建模块401，具体包括：

锚框生成策略构建单元，用于构建基于中心锚点的锚框生成策略，过程为：将Faster-RCNN中RPN网络的锚框生成阶段采用的锚框比例调整为1:1，锚框尺度调整为16×16、32×32、64×64、128×128、256×256和512×512。

面积交并比计算方式构建单元，用于构建基于中心锚点的面积交并比计算方式，面积交并比计算公式为：

；其中，IoU为面积交并比，（x，y）为预测框的中心锚点坐标，预测框的二分之一边长用c表示；（G _x，G _y）为真实边界框的中心锚点坐标，G _c为真实边界框的二分之一边长。

将Faster-RCNN网络中回归分支中最后一个全连接层输出的预测值维度修改为3维，对应[d _x,d _y,d _c]三个坐标变换量；

确定回归损失函数，公式为：CPR Loss=α(L _x+L _y)+βL _c；其中，α和β为调节因子；L _x为x坐标的回归损失函数，

；L _y为y坐标的回归损失函数，

；L _c为边长回归损失函数，

。

作为具体实施例，本发明基于图像的位移测量***中，训练模块402，具体包括：

图像集获取单元，用于采用工业相机拍摄用于位移监测的标志物图像，得到图像集。

标注单元，用于采用中心锚点标注法对图像集中的图像进行标志物的逐一标注，获得标注文件。

训练单元，用于采用标注文件，基于回归损失函数对检测网络进行训练，得到训练好的标志物检测模型。

作为具体实施例，本发明基于图像的位移测量***中，位移测量模块403，具体包括：

位置信息输出单元，用于将两个时刻采集的标志物图像输入标志物检测模型，输出两个时刻采集的标志物图像中标志物的位置信息。

位移确定单元，用于利用公式

确定标志物的位移；其中，D为标志物的位移，第一时刻采集的标志物图像输出的位置信息为[x_A,y_A,c_A]，第二时刻采集的标志物图像输出的位置信息为[x_B,y_B,c_B]。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。