CN114299283A - 一种基于图像的位移测量方法及*** - Google Patents
一种基于图像的位移测量方法及*** Download PDFInfo
- Publication number
- CN114299283A CN114299283A CN202210213628.4A CN202210213628A CN114299283A CN 114299283 A CN114299283 A CN 114299283A CN 202210213628 A CN202210213628 A CN 202210213628A CN 114299283 A CN114299283 A CN 114299283A
- Authority
- CN
- China
- Prior art keywords
- anchor point
- marker
- central anchor
- image
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006073 displacement reaction Methods 0.000 title claims abstract description 75
- 238000000691 measurement method Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 98
- 239000003550 marker Substances 0.000 claims abstract description 98
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000010276 construction Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 8
- 102000037983 regulatory factors Human genes 0.000 claims description 5
- 108091008025 regulatory factors Proteins 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于图像的位移测量方法及***,属于图像处理领域。该方法包括:构建基于中心锚点的检测网络;检测网络的基础网络为Faster‑RCNN,采用基于中心锚点的锚框生成策略、基于中心锚点的面积交并比计算方式、基于中心锚点的回归损失函数;中心锚点是指目标的形心坐标,基于中心锚点的锚框为以中心锚点为中心的正方形位置框,锚框的标注信息包括中心锚点坐标和正方形位置框的二分之一边长;基于回归损失函数对检测网络进行训练,得到标志物检测模型;将两个时刻采集的标志物图像输入标志物检测模型,得到标志物的位移测量结果。本发明可以提高位移测量的精度。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种基于图像的位移测量方法及***。
背景技术
高精度的位移测量能够起到监测预报的作用,有助于尽早发现质量安全隐患,以便及时采取补救措施,在制造业、土木工程等众多领域具有重要的应用价值。近年来,随着工业化水平的提升和计算机科学的发展,基于计算机视觉的位移测量技术凭借其非接触、高精度、多点监测等优势,成为了位移测量领域的一大研究热点并得以实际应用。其中,基于深度学习的目标检测技术可以自动捕获视场中感兴趣目标的位置信息,能够为位移测量提供可靠的技术途径。
但现阶段基于深度学习的目标检测算法大多采用边框回归的方式进行目标定位,限制了定位精度的提升,进而限制了位移测量的精度提升。
发明内容
本发明的目的是提供一种基于图像的位移测量方法及***,以提高位移测量的精度。
为实现上述目的,本发明提供了如下方案:
一种基于图像的位移测量方法,包括:
构建基于中心锚点的检测网络;所述检测网络的基础网络为Faster-RCNN,所述检测网络采用基于中心锚点的锚框生成策略,所述检测网络采用基于中心锚点的面积交并比计算方式,所述检测网络采用基于中心锚点的回归损失函数;所述中心锚点是指目标的形心坐标,基于所述中心锚点的锚框为以所述中心锚点为中心的正方形位置框,所述锚框的标注信息包括中心锚点坐标和所述正方形位置框的二分之一边长;
基于所述回归损失函数对所述检测网络进行训练,得到标志物检测模型;
将两个时刻采集的标志物图像输入所述标志物检测模型,得到标志物的位移测量结果。
可选的,所述构建基于中心锚点的检测网络,具体包括:
构建基于中心锚点的锚框生成策略,过程为:将所述Faster-RCNN中RPN网络的锚框生成阶段采用的锚框比例调整为1:1,锚框尺度调整为16×16、32×32、64×64、128×128、256×256和512×512;
构建基于中心锚点的面积交并比计算方式,所述面积交并比计算公式为:;其中,IoU为面积交并比,(x,y)为预测框的中心锚点坐标,预测框的二分之一边长用c表示;(G x ,G y )为真实边界框的中心锚点坐标,G c 为真实边界框的二分之一边长;
构建基于中心锚点的回归损失函数,过程为:
将所述Faster-RCNN网络中回归分支中最后一个全连接层输出的预测值维度修改为3维,对应[d x ,d y ,d c ]三个坐标变换量;
确定所述回归损失函数,公式为:CPR Loss=α(L x +L y )+βL c ;其中,α和β为调节因子;L x 为x坐标的回归损失函数,,d x 表示预测框的x值和真实边界框的G x 值之间的坐标变换预测值,d' x 表示预测框的x值和真实边界框的G x 值之间的坐标变换真实值,;L y 为y坐标的回归损失函数,,d y 表示预测框的y值和真实边界框的G y 值之间的坐标变换预测值,d' y 表示预测框的y值和真实边界框的G y 值之间的坐标变换真实值,;L c 为边长回归损失函数,,d c 表示预测框的c值和真实边界框的G c 值之间的坐标变换预测值,d' c 表示预测框的c值和真实边界框的G c 值之间的坐标变换真实值,。
可选的,所述基于所述回归损失函数对所述检测网络进行训练,得到标志物检测模型,具体包括:
采用工业相机拍摄用于位移监测的标志物图像,得到图像集;
采用中心锚点标注法对所述图像集中的图像进行标志物的逐一标注,获得标注文件;
采用所述标注文件,基于所述回归损失函数对所述检测网络进行训练,得到训练好的标志物检测模型。
可选的,所述将两个时刻采集的标志物图像输入所述标志物检测模型,得到标志物的位移测量结果,具体包括:
将两个时刻采集的标志物图像输入所述标志物检测模型,输出两个时刻采集的标志物图像中标志物的位置信息;
本发明还提供一种基于图像的位移测量***,包括:
检测网络构建模块,用于构建基于中心锚点的检测网络;所述检测网络的基础网络为Faster-RCNN,所述检测网络采用基于中心锚点的锚框生成策略,所述检测网络采用基于中心锚点的面积交并比计算方式,所述检测网络采用基于中心锚点的回归损失函数;所述中心锚点是指目标的形心坐标,基于所述中心锚点的锚框为以所述中心锚点为中心的正方形位置框,所述锚框的标注信息包括中心锚点坐标和所述正方形位置框的二分之一边长;
训练模块,用于基于所述回归损失函数对所述检测网络进行训练,得到标志物检测模型;
位移测量模块,用于将两个时刻采集的标志物图像输入所述标志物检测模型,得到标志物的位移测量结果。
可选的,所述检测网络构建模块,具体包括:
锚框生成策略构建单元,用于构建基于中心锚点的锚框生成策略,过程为:将所述Faster-RCNN中RPN网络的锚框生成阶段采用的锚框比例调整为1:1,锚框尺度调整为16×16、32×32、64×64、128×128、256×256和512×512;
面积交并比计算方式构建单元,用于构建基于中心锚点的面积交并比计算方式,所述面积交并比计算公式为:;其中,IoU为面积交并比,(x,y)为预测框的中心锚点坐标,预测框的二分之一边长用c表示;(G x ,G y )为真实边界框的中心锚点坐标,G c 为真实边界框的二分之一边长;
回归损失函数构建单元,用于构建基于中心锚点的回归损失函数,过程为:
将所述Faster-RCNN网络中回归分支中最后一个全连接层输出的预测值维度修改为3维,对应[d x ,d y ,d c ]三个坐标变换量;
确定所述回归损失函数,公式为:CPR Loss=α(L x +L y )+βL c ;其中,α和β为调节因子;L x 为x坐标的回归损失函数,,d x 表示预测框的x值和真实边界框的G x 值之间的坐标变换预测值,d' x 表示预测框的x值和真实边界框的G x 值之间的坐标变换真实值,;L y 为y坐标的回归损失函数,,d y 表示预测框的y值和真实边界框的G y 值之间的坐标变换预测值,d' y 表示预测框的y值和真实边界框的G y 值之间的坐标变换真实值,;L c 为边长回归损失函数,,d c 表示预测框的c值和真实边界框的G c 值之间的坐标变换预测值,d' c 表示预测框的c值和真实边界框的G c 值之间的坐标变换真实值,。
可选的,所述训练模块,具体包括:
图像集获取单元,用于采用工业相机拍摄用于位移监测的标志物图像,得到图像集;
标注单元,用于采用中心锚点标注法对所述图像集中的图像进行标志物的逐一标注,获得标注文件;
训练单元,用于采用所述标注文件,基于所述回归损失函数对所述检测网络进行训练,得到训练好的标志物检测模型。
可选的,所述位移测量模块,具体包括:
位置信息输出单元,用于将两个时刻采集的标志物图像输入所述标志物检测模型,输出两个时刻采集的标志物图像中标志物的位置信息;
位移确定单元,用于利用公式确定所述标志物的位移;其中,D为所述标志物的位移,第一时刻采集的标志物图像输出的位置信息为[xA,yA,cA],第二时刻采集的标志物图像输出的位置信息为[xB,yB,cB]。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明针对位移测量任务,采用中心锚点检测方式,通过更少的参数量获取目标的位置信息,有效降低了网络的训练和预测难度;而且中心锚点检测直接通过中心锚点坐标表示目标在图像中的具***置,相比传统标注法,能够实现更加精准的标志物位置预测,进而提高位移测量的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于图像的位移测量方法的流程示意图;
图2为传统标注方法与本发明标注方法的对比示意图;
图3为本发明面积交并比计算的示意图;
图4为本发明基于图像的位移测量***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于图像的位移测量方法的流程示意图。如图1所示,包括以下步骤:
步骤100:构建基于中心锚点的检测网络。由于双阶段的目标检测网络在检测精度上相比单阶段检测网络更有优势,因此本发明采用经典双阶段检测网络Faster-RCNN作为基础网络。
由于位移测量任务需要对标志物进行精准定位,现有的目标检测算法(包括Faster-RCNN)均采用如图2(a)部分所示的常规锚框进行目标位置预测,预测值[x,y,w,h]稍有偏差就会导致定位不准。本发明基于中心锚点的检测方式直接通过如图2(b)部分所示的中心点坐标(x,y)预测目标在图像中的具***置,相比常规锚框预测更加准确和简洁。因此,对检测网络的构建方式需要从三方面进行改进:锚框生成策略基于中心锚点;面积交并比计算方式基于中心锚点;回归损失函数基于中心锚点。本发明的中心锚点是指目标的形心坐标,基于中心锚点的锚框为以中心锚点为中心的正方形位置框,锚框的标注信息包括中心锚点坐标和正方形位置框的二分之一边长。具体过程如下:
(1)基于中心锚点检测的锚框生成策略。在原始的Faster-RCNN中,RPN网络的锚框生成阶段采用的锚框比例为{1:1,1:2,2:1},锚框尺度为{128×128、256×256和512×512};在本发明的检测网络中,由于标注框的形状为正方形,因此采用1:1的比例进行锚框生成,为了更精准地预测标志物的位置框,增加不同面积的锚框,采用尺寸为16×16、32×32、64×64、128×128、256×256和512×512的锚框进行候选区域预测。
(2)基于中心锚点检测的面积交并比(Intersection-over-Union,IoU)计算方法。在Faster-RCNN中,需要通过NMS算法剔除一部分重叠率过高,也就是IoU过大的预测框,但其采用的IoU计算方法仅适用于常规锚框检测方式,因此本发明采用基于中心锚点检测的IoU计算方法。如图3所示,预测框位于左上角,其中心锚点坐标为(x,y),二分之一边长为c,真实边界框位于右下角,其中心锚点坐标为(G x ,G y ),二分之一边长为Gc,则两个位置框的IoU计算公式如式1所示。
采用该IoU计算公式进行Faster-RCNN网络中NMS算法的预测框筛选。
(3)中心锚点回归损失函数(Center Point Regression Loss,CPR Loss).本发明针对中心锚点检测,提出了一个全新的回归损失函数,即中心锚点回归损失函数CPR Loss。
首先,为了将网络用于中心锚点预测,将Faster-RCNN网络回归分支中最后一个全连接层所输出的预测值维度修改为3维,对应[d x ,d y ,d c ]三个坐标变换量(原本最后一个全连接层所输出的预测值维度为4维,分别对应[d x ,d y ,d w ,d h ]四个坐标变换量,适用于常规锚框预测)。
接下来,设计坐标回归损失函数L x 。设预测框的位置信息为[x,y,c],其中x为预测框的中心锚点横坐标,y为预测框的中心锚点纵坐标,c为预测框的二分之一边长;设真实边界框的位置信息为[G x ,G y ,G c ],其中G x 为真实边界框的中心锚点横坐标,G y 为真实边界框的中心锚点纵坐标,G c 为真实边界框的二分之一边长。那么坐标回归损失函数Lx对应预测框中x值的预测误差损失,其计算公式见式(2)。
式中,d x 表示预测框的x值和真实边界框的G x 值之间的坐标变换预测值,由网络回归分支的全连接层输出;d' x 表示预测框的x值和真实边界框的G x 值之间的坐标变换真实值,计算方式见式(3)。
随后,设计坐标回归损失函数L y 。坐标回归损失函数L y 对应预测框中y值的预测误差损失,其计算公式见式(4)。
式中,d y 表示预测框的y值和真实边界框的G y 值之间的坐标变换预测值,由网络回归分支的全连接层输出;d' y 表示预测框的y值和真实边界框的G y 值之间的坐标变换真实值,计算方式见式(5)。
其次,设计边长回归损失函数L c 。边长回归损失函数L c 对应预测框中c值的预测误差损失,其计算公式见式(6)。
式中,d c 表示预测框的c值和真实边界框的G c 值之间的坐标变换预测值,由网络回归分支的全连接层输出;d' c 表示预测框的c值和真实边界框的G c 值之间的坐标变换真实值,计算方式见式(7)。
最后,基于L x 、L y 和L c 设计CPR Loss。
CPR Loss=α(L x +L y )+βL c (8)
如式(8)所示,CPR Loss由两个坐标回归损失函数L x 、L y 和一个边长回归损失函数L c 三部分构成。其中α和β为调节因子,用于调整坐标回归损失函数和边长回归损失函数在总回归损失函数中所占的比重。
采用上述锚框生成策略、IoU计算方法和CPR Loss回归损失函数替换Faster-RCNN检测算法中原有的锚框生成策略、IoU计算方法和回归损失函数,获得标志物的检测网络。
步骤200:基于回归损失函数对检测网络进行训练,得到标志物检测模型。首先,采用工业相机拍摄用于位移监测的标志物图像,得到图像集,然后采用中心锚点标注法对图像集中的图像进行标志物的逐一标注,获得标注文件。最后采用标注文件,基于CPR Loss进行网络参数的更新优化,对检测网络进行训练,得到训练好的标志物检测模型。
步骤300:将两个时刻采集的标志物图像输入标志物检测模型,得到标志物的位移测量结果。将时刻A所采集的标志物图像A和时刻B所采集的标志物图像B(应确保两张图像的拍摄视场一致)同时输入标志物检测模型中,分别输出标志物图像A的位置信息[xA,yA,cA]和标志物图像B的位置信息[xB,yB,cB]。根据输出的位置信息计算位移测量结果D,即标志物从时刻A到时刻B所产生的位移,计算公式如式9所示。
在具体应用时,为了获取标志物在某个时间段所发生的位移,首先固定摄像头位置,进行图像采集,获得标志物初始位置图像;接下来,在需要进行位移测量时,再次采集图像,获得标志物当前位置图像,采集过程中应确保摄像头的拍摄视场恒定不变;将这两张不同时刻所采集的标志物图像输入至位移测量***,即可输出位移测量结果D,即标志物在两个采集时刻之间所产生的位移。
基于上述方法,本发明还提供一种基于图像的位移测量***,图4为本发明基于图像的位移测量***的结构示意图。如图4所示,该基于图像的位移测量***包括:
检测网络构建模块401,用于构建基于中心锚点的检测网络;检测网络的基础网络为Faster-RCNN,检测网络采用基于中心锚点的锚框生成策略,检测网络采用基于中心锚点的面积交并比计算方式,检测网络采用基于中心锚点的回归损失函数;中心锚点是指目标的形心坐标,基于中心锚点的锚框为以中心锚点为中心的正方形位置框,锚框的标注信息包括中心锚点坐标和正方形位置框的二分之一边长。
训练模块402,用于基于回归损失函数对检测网络进行训练,得到标志物检测模型。
位移测量模块403,用于将两个时刻采集的标志物图像输入标志物检测模型,得到标志物的位移测量结果。
作为具体实施例,本发明基于图像的位移测量***中,检测网络构建模块401,具体包括:
锚框生成策略构建单元,用于构建基于中心锚点的锚框生成策略,过程为:将Faster-RCNN中RPN网络的锚框生成阶段采用的锚框比例调整为1:1,锚框尺度调整为16×16、32×32、64×64、128×128、256×256和512×512。
面积交并比计算方式构建单元,用于构建基于中心锚点的面积交并比计算方式,面积交并比计算公式为:;其中,IoU为面积交并比,(x,y)为预测框的中心锚点坐标,预测框的二分之一边长用c表示;(G x ,G y )为真实边界框的中心锚点坐标,G c 为真实边界框的二分之一边长。
回归损失函数构建单元,用于构建基于中心锚点的回归损失函数,过程为:
将Faster-RCNN网络中回归分支中最后一个全连接层输出的预测值维度修改为3维,对应[d x ,d y ,d c ]三个坐标变换量;
确定回归损失函数,公式为:CPR Loss=α(L x +L y )+βL c ;其中,α和β为调节因子;L x 为x坐标的回归损失函数,,d x 表示预测框的x值和真实边界框的G x 值之间的坐标变换预测值,d' x 表示预测框的x值和真实边界框的G x 值之间的坐标变换真实值,;L y 为y坐标的回归损失函数,,d y 表示预测框的y值和真实边界框的G y 值之间的坐标变换预测值,d' y 表示预测框的y值和真实边界框的G y 值之间的坐标变换真实值,;L c 为边长回归损失函数,,d c 表示预测框的c值和真实边界框的G c 值之间的坐标变换预测值,d' c 表示预测框的c值和真实边界框的G c 值之间的坐标变换真实值,。
作为具体实施例,本发明基于图像的位移测量***中,训练模块402,具体包括:
图像集获取单元,用于采用工业相机拍摄用于位移监测的标志物图像,得到图像集。
标注单元,用于采用中心锚点标注法对图像集中的图像进行标志物的逐一标注,获得标注文件。
训练单元,用于采用标注文件,基于回归损失函数对检测网络进行训练,得到训练好的标志物检测模型。
作为具体实施例,本发明基于图像的位移测量***中,位移测量模块403,具体包括:
位置信息输出单元,用于将两个时刻采集的标志物图像输入标志物检测模型,输出两个时刻采集的标志物图像中标志物的位置信息。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于图像的位移测量方法,其特征在于,包括:
构建基于中心锚点的检测网络;所述检测网络的基础网络为Faster-RCNN,所述检测网络采用基于中心锚点的锚框生成策略,所述检测网络采用基于中心锚点的面积交并比计算方式,所述检测网络采用基于中心锚点的回归损失函数;所述中心锚点是指目标的形心坐标,基于所述中心锚点的锚框为以所述中心锚点为中心的正方形位置框,所述锚框的标注信息包括中心锚点坐标和所述正方形位置框的二分之一边长;
基于所述回归损失函数对所述检测网络进行训练,得到标志物检测模型;
将两个时刻采集的标志物图像输入所述标志物检测模型,得到标志物的位移测量结果。
2.根据权利要求1所述的基于图像的位移测量方法,其特征在于,所述构建基于中心锚点的检测网络,具体包括:
构建基于中心锚点的锚框生成策略,过程为:将所述Faster-RCNN中RPN网络的锚框生成阶段采用的锚框比例调整为1:1,锚框尺度调整为16×16、32×32、64×64、128×128、256×256和512×512;
构建基于中心锚点的面积交并比计算方式,所述面积交并比计算公式为:;其中,IoU为面积交并比,(x,y)为预测框的中心锚点坐标,预测框的二分之一边长用c表示;(G x ,G y )为真实边界框的中心锚点坐标,G c 为真实边界框的二分之一边长;
构建基于中心锚点的回归损失函数,过程为:
将所述Faster-RCNN网络中回归分支中最后一个全连接层输出的预测值维度修改为3维,对应[d x ,d y ,d c ]三个坐标变换量;
确定所述回归损失函数,公式为:CPR Loss=α(L x +L y )+βL c ;其中,α和β为调节因子;L x 为x坐标的回归损失函数,,d x 表示预测框的x值和真实边界框的G x 值之间的坐标变换预测值,d' x 表示预测框的x值和真实边界框的G x 值之间的坐标变换真实值,;L y 为y坐标的回归损失函数,,d y 表示预测框的y值和真实边界框的G y 值之间的坐标变换预测值,d' y 表示预测框的y值和真实边界框的G y 值之间的坐标变换真实值,;L c 为边长回归损失函数,,d c 表示预测框的c值和真实边界框的G c 值之间的坐标变换预测值,d' c 表示预测框的c值和真实边界框的G c 值之间的坐标变换真实值,。
3.根据权利要求1所述的基于图像的位移测量方法,其特征在于,所述基于所述回归损失函数对所述检测网络进行训练,得到标志物检测模型,具体包括:
采用工业相机拍摄用于位移监测的标志物图像,得到图像集;
采用中心锚点标注法对所述图像集中的图像进行标志物的逐一标注,获得标注文件;
采用所述标注文件,基于所述回归损失函数对所述检测网络进行训练,得到训练好的标志物检测模型。
5.一种基于图像的位移测量***,其特征在于,包括:
检测网络构建模块,用于构建基于中心锚点的检测网络;所述检测网络的基础网络为Faster-RCNN,所述检测网络采用基于中心锚点的锚框生成策略,所述检测网络采用基于中心锚点的面积交并比计算方式,所述检测网络采用基于中心锚点的回归损失函数;所述中心锚点是指目标的形心坐标,基于所述中心锚点的锚框为以所述中心锚点为中心的正方形位置框,所述锚框的标注信息包括中心锚点坐标和所述正方形位置框的二分之一边长;
训练模块,用于基于所述回归损失函数对所述检测网络进行训练,得到标志物检测模型;
位移测量模块,用于将两个时刻采集的标志物图像输入所述标志物检测模型,得到标志物的位移测量结果。
6.根据权利要求5所述的基于图像的位移测量***,其特征在于,所述检测网络构建模块,具体包括:
锚框生成策略构建单元,用于构建基于中心锚点的锚框生成策略,过程为:将所述Faster-RCNN中RPN网络的锚框生成阶段采用的锚框比例调整为1:1,锚框尺度调整为16×16、32×32、64×64、128×128、256×256和512×512;
面积交并比计算方式构建单元,用于构建基于中心锚点的面积交并比计算方式,所述面积交并比计算公式为:;其中,IoU为面积交并比,(x,y)为预测框的中心锚点坐标,预测框的二分之一边长用c表示;(G x ,G y )为真实边界框的中心锚点坐标,G c 为真实边界框的二分之一边长;
回归损失函数构建单元,用于构建基于中心锚点的回归损失函数,过程为:
将所述Faster-RCNN网络中回归分支中最后一个全连接层输出的预测值维度修改为3维,对应[d x ,d y ,d c ]三个坐标变换量;
确定所述回归损失函数,公式为:CPR Loss=α(L x +L y )+βL c ;其中,α和β为调节因子;L x 为x坐标的回归损失函数,,d x 表示预测框的x值和真实边界框的G x 值之间的坐标变换预测值,d' x 表示预测框的x值和真实边界框的G x 值之间的坐标变换真实值,;L y 为y坐标的回归损失函数,,d y 表示预测框的y值和真实边界框的G y 值之间的坐标变换预测值,d' y 表示预测框的y值和真实边界框的G y 值之间的坐标变换真实值,;L c 为边长回归损失函数,,d c 表示预测框的c值和真实边界框的G c 值之间的坐标变换预测值,d' c 表示预测框的c值和真实边界框的G c 值之间的坐标变换真实值,。
7.根据权利要求5所述的基于图像的位移测量***,其特征在于,所述训练模块,具体包括:
图像集获取单元,用于采用工业相机拍摄用于位移监测的标志物图像,得到图像集;
标注单元,用于采用中心锚点标注法对所述图像集中的图像进行标志物的逐一标注,获得标注文件;
训练单元,用于采用所述标注文件,基于所述回归损失函数对所述检测网络进行训练,得到训练好的标志物检测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210213628.4A CN114299283B (zh) | 2022-03-07 | 2022-03-07 | 一种基于图像的位移测量方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210213628.4A CN114299283B (zh) | 2022-03-07 | 2022-03-07 | 一种基于图像的位移测量方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114299283A true CN114299283A (zh) | 2022-04-08 |
CN114299283B CN114299283B (zh) | 2022-05-20 |
Family
ID=80978531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210213628.4A Active CN114299283B (zh) | 2022-03-07 | 2022-03-07 | 一种基于图像的位移测量方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114299283B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190095762A1 (en) * | 2017-09-25 | 2019-03-28 | Gyrfalcon Technology Inc. | Communications Between Internet of Things Devices Using A Two-dimensional Symbol Containing Multiple Ideograms |
AU2019101142A4 (en) * | 2019-09-30 | 2019-10-31 | Dong, Qirui MR | A pedestrian detection method with lightweight backbone based on yolov3 network |
CN110490170A (zh) * | 2019-08-27 | 2019-11-22 | 浙江中正智能科技有限公司 | 一种人脸候选框提取方法 |
CN111666839A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于改进Faster RCNN的道路行人检测*** |
CN112949482A (zh) * | 2021-03-01 | 2021-06-11 | 浙江大学 | 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法 |
CN112949483A (zh) * | 2021-03-01 | 2021-06-11 | 浙江大学 | 一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法 |
CN113011283A (zh) * | 2021-03-01 | 2021-06-22 | 浙江大学 | 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法 |
-
2022
- 2022-03-07 CN CN202210213628.4A patent/CN114299283B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190095762A1 (en) * | 2017-09-25 | 2019-03-28 | Gyrfalcon Technology Inc. | Communications Between Internet of Things Devices Using A Two-dimensional Symbol Containing Multiple Ideograms |
CN110490170A (zh) * | 2019-08-27 | 2019-11-22 | 浙江中正智能科技有限公司 | 一种人脸候选框提取方法 |
AU2019101142A4 (en) * | 2019-09-30 | 2019-10-31 | Dong, Qirui MR | A pedestrian detection method with lightweight backbone based on yolov3 network |
CN111666839A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于改进Faster RCNN的道路行人检测*** |
CN112949482A (zh) * | 2021-03-01 | 2021-06-11 | 浙江大学 | 一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法 |
CN112949483A (zh) * | 2021-03-01 | 2021-06-11 | 浙江大学 | 一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法 |
CN113011283A (zh) * | 2021-03-01 | 2021-06-22 | 浙江大学 | 一种基于视频的非接触式钢轨轨枕相对位移实时测量方法 |
Non-Patent Citations (1)
Title |
---|
SHAOQING REN ET AL: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV:1506.01497V3 [CS.CV]》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114299283B (zh) | 2022-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hou et al. | Detecting structural components of building engineering based on deep-learning method | |
CN105930858A (zh) | 一种带旋转、缩放的快速高精度几何模板匹配方法 | |
CN109598794A (zh) | 三维gis动态模型的构建方法 | |
CN101383899A (zh) | 一种空基平台悬停视频稳像方法 | |
CN113916130B (zh) | 一种基于最小二乘法的建筑物位置测量方法 | |
CN109870106A (zh) | 一种基于无人机图片的建筑物体积测量方法 | |
CN101685532B (zh) | 简易线性广角镜头的校正法 | |
Wang et al. | A synthetic dataset for Visual SLAM evaluation | |
CN112270278A (zh) | 一种基于关键点的蓝顶房检测方法 | |
CN112215308A (zh) | 一种吊装物体单阶检测方法、装置、电子设备及存储介质 | |
CN113947714B (zh) | 一种视频监控和遥感的多模态协同优化方法及*** | |
CN114299283B (zh) | 一种基于图像的位移测量方法及*** | |
Li et al. | Rotating box multi-objective visual tracking algorithm for vibration displacement measurement of large-span flexible bridges | |
CN107255458B (zh) | 一种垂直投影光栅测量仿真***的解算方法 | |
CN107036555B (zh) | 一种交叉光轴光栅投影测量仿真***及其实现方法 | |
CN110674889B (zh) | 一种用于电表终端故障识别的图像训练方法 | |
CN113643363B (zh) | 一种基于视频图像的行人定位及轨迹跟踪方法 | |
CN105894505A (zh) | 一种基于多摄像机几何约束的快速行人定位方法 | |
CN115982824A (zh) | 施工现场工人空间管理方法、装置、电子设备及存储介质 | |
CN108592789A (zh) | 一种基于bim和机器视觉技术的钢结构工厂预拼装方法 | |
CN104182993B (zh) | 一种目标跟踪的方法 | |
Liu et al. | A visual SLAM method assisted by IMU and deep learning in indoor dynamic blurred scenes | |
CN106874837A (zh) | 一种基于视频图像处理的车辆检测方法 | |
CN105447875A (zh) | 一种电子地形图自动几何校正方法 | |
CN110826501A (zh) | 一种基于稀疏关键点校准的人脸关键点检测方法与*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |