CN117928491A - 一种多站组网视觉跟踪的监测***及监测方法 - Google Patents
一种多站组网视觉跟踪的监测***及监测方法 Download PDFInfo
- Publication number
- CN117928491A CN117928491A CN202410062598.0A CN202410062598A CN117928491A CN 117928491 A CN117928491 A CN 117928491A CN 202410062598 A CN202410062598 A CN 202410062598A CN 117928491 A CN117928491 A CN 117928491A
- Authority
- CN
- China
- Prior art keywords
- target
- visual
- monitoring
- station
- active target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000006855 networking Effects 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 121
- 230000000007 visual effect Effects 0.000 claims abstract description 114
- 238000005259 measurement Methods 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 abstract description 34
- 230000001360 synchronised effect Effects 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000000691 measurement method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/30—Interpretation of pictures by triangulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种多站组网视觉跟踪的监测***及监测方法,监测***包括光电经纬仪、控制模块、视觉成像测站和主动靶标,光电经纬仪和视觉成像测站与控制模块通信;主动靶标布置于待监测结构上并发出红外光束至光电经纬仪和视觉成像测站,视觉成像测站根据主动靶标和跟踪算法预测结果跟踪待监测结构,解算待监测结构的位姿参数。与现有技术相比,本发明具有通过激光交会测量和视觉跟踪测量构建了多站组网监测***,能够监测大型结构状态参数;提出了多站组网视觉跟踪监测***参数现场标定方法,适应各类应用场景的监测需求;提出了基于红外主动靶标的多站组网视觉位姿测量方法,提升了大型结构同步施工现场监测的准确性和稳定性等优点。
Description
技术领域
本发明涉及场景监测技术领域,尤其是涉及一种多站组网视觉跟踪的监测***及监测方法。
背景技术
随着社会经济发展,体现现代建筑艺术的大型结构建筑越来越多,相应的结构体系也越来越复杂。为缩短项目工期,以及提高劳动力与劳动工具利用率,大型结构建筑往往选择多场景同步施工,但也带来了更高的施工难度,同时对安全施工的把控能力提出了更高的要求。然而,现有的施工监测设备总体而言都有各自的不足之处且适用性不强,因此需要进行改进。
经过检索,申请公布号CN116976625A公开了一种基于GIS***的智慧工地监测***,具体公开了:利用GIS***获取目标工地的地理地貌信息并配合预置的施工模型库进行计算机模拟三维建模,以此实现施工过程的可视化监测。但其测量精度有限,且预设模型必定与实际存在出入,其监测只能把控整体而很难了解具体细节。
申请公布号CN115436392A公开了无人机检测和监测桥梁墩柱竖直度及外观质量缺陷的方法,具体公开了:使用相位测距装置等获得桥墩施工三维模型信息,具有较高的测距精度,一般可达毫米级。但其测距精度受限于相位差的测量精度和激光的调制频率,且易受大气温度、气压等环境影响,因此不适用于远程测距。
申请公布号CN111796293A公开了一种基于脉冲激光测距装置的模板构件施工监测方法,具体公开了:使用脉冲激光测距装置获得实时施工位姿状态信息,可以实现远程测距但受待测目标表面平滑度和时间测量技术的影响。但该现有技术测距精度一般不高,且传统的脉冲测距***多采用低重频、窄脉宽激光以及大口径接收望远镜以提高回波信号光的强度,导致***体积较大。
综上所述,如何设计一种精度高、抗干扰性强且体积较小的施工监测设备为需要解决的技术问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的精度低、抗干扰性弱且体积较大的缺陷而提供一种多站组网视觉跟踪的监测***及监测方法。
本发明的目的可以通过以下技术方案来实现:
根据本发明的一个方面,提供了一种多站组网视觉跟踪的监测***,包括全局控制子***、姿态监测子***和主动靶标,所述全局控制子***包括至少两台光电经纬仪和控制模块,姿态监测子***包括至少两台视觉成像测站,所述光电经纬仪和视觉成像测站与控制模块通信;所述主动靶标布置于待监测结构上并发出红外光束至光电经纬仪和视觉成像测站,构建全局控制坐标系,标定视觉成像测站和待监测结构相对于全局控制坐标系的转换关系,所述视觉成像测站根据主动靶标和跟踪算法预测结果跟踪待监测结构进行监测,实时解算待监测结构的位姿参数。
作为优选的技术方案,所述的视觉成像测站包括焦距可调的相机和视轴调整装置。
作为优选的技术方案,所述的主动靶标上设有利用红外光源阵列构成的靶标点。
根据本发明的另一个方面,提供了一种采用所述多站组网视觉跟踪监测***的监测方法,具体包括以下步骤:
步骤S1,根据待监测结构场景布设光电经纬仪和视觉跟踪测站,主动靶标发射光束至光电经纬仪和视觉成像测站;
步骤S2,通过主动靶标标定光电经纬仪坐标,构建全局控制坐标系;通过光电经纬仪和视觉成像测站对准,构建视觉测量网;
步骤S3,构建全局控制坐标系与待监测结构坐标系之间的转换关系;
步骤S4,视觉成像测站根据主动靶标和跟踪算法预测结果跟踪待监测结构,获得监测图像;
步骤S5,控制模块根据监测图像实时解算待监测结构的位姿参数。
作为优选的技术方案,所述光电经纬仪包括第一光电经纬仪和第二光电经纬仪,所述步骤S2具体包括以下步骤:
步骤S201,第一和第二光电经纬仪分别记录主动靶标的水平旋转角与俯仰角,解出该主动靶标相对于第一和第二光电经纬仪的坐标,进一步得到第一和第二光电经纬仪之间的坐标变换矩阵;定义第一光电经纬仪位置为全局控制坐标系原点;
步骤S202,在全局控制坐标系下,第一和第二光电经纬仪与每台视觉成像测站的相互对准,解出视觉成像测站的位置。
作为优选的技术方案,所述的步骤S3具体包括以下步骤:
步骤S301,在待监测结构底部布置主动靶标,在视觉成像测站的引导下控制光电经纬仪对准主动靶标,解出主动靶标在全局控制坐标系下的坐标;
步骤S302,根据待监测结构图纸,确定其本体坐标系;根据主动靶标在本体坐标系和全局控制坐标系下的坐标构建两个坐标系之间的转换关系。
作为优选的技术方案,所述的步骤S4具体包括以下步骤:
步骤S401,初始状态下,视觉成像测站通过目标识别算法对主动靶标进行目标锁定;
步骤S402,监测结构状态改变时,主动靶标位置发生改变;通过KCF算法对主动靶标进行方位跟踪,得到训练样本数据;
步骤S403,利用训练样本数据对KCF算法滤波器进行训练,根据滤波器的响应值大小判别主动靶标的位置,得到滤波器最大响应值的位置即为主动靶标的最佳预测位置;
步骤S404,视觉成像测站根据最佳预测位置进行跟踪,获得监测图像。
作为优选的技术方案,所述的步骤S401中的目标识别算法为YOLOv5s目标识别算法。
作为优选的技术方案,所述的视觉成像测站包括相机和视轴调整装置,所述步骤S402中,视觉成像测站控制相机调整角度及俯仰,实现对主动靶标的视觉持续跟踪;调整相机焦距,使所有主动靶标始终落入相机的有效成像视场及景深范围内且相机视轴指向主动靶标区域。
作为优选的技术方案,所述的步骤S5具体包括以下步骤:
步骤S501,视觉成像测站根据监测图像对主动靶标进行三维坐标估计并记录估计坐标数据,根据估计坐标数据估计主动靶标的姿态角度;
步骤S502,根据主动靶标的姿态角度实时解算待检测结构的位姿参数。
与现有技术相比,本发明具有以下有益效果:
1)本发明通过至少两台光电经纬仪实现了激光交会测量,通过视觉成像测站实现了视觉跟踪测量,构建了结合激光交会测量与视觉跟踪测量的多站组网监测***,利用光电经纬仪的高精度测角能力构建全局控制测量网,同时利用视觉成像设备的大尺度感知能力捕获目标位姿变化,能够在超大尺度范围内监测大型结构状态参数,保障施工过程的安全性和可靠性;传统的脉冲测距***多采用低重频、窄脉宽激光以及大口径接收望远镜以提高回波信号光的强度,导致***体积较大,本发明则主要采用视觉成像测站和光电经纬仪,减小了***的体积;
2)本发明提出了多站组网视觉跟踪监测***参数现场标定方法,利用双光电经纬仪的交会测量信息作为参考基准,既能建立不同视觉成像测站之间的坐标转换关系,又能构建准确的主动靶标几何约束关系,具有标定简单灵活的优势,能够适应各类复杂应用场景的状态监测需求;
3)本发明提出了基于红外主动靶标的多站组网视觉位姿测量方法,利用红外光源阵列构成的主动靶标主动发射光束,通过多台视觉成像测站同时采集靶标图像,结合主动靶标的几何先验解算位置坐标和姿态角度,能够有效克服雨雾天气、光照变化等复杂环境因素的影响,提升大型结构同步施工现场监测的准确性和稳定性;
4)本发明提出了基于成像视轴指向变换的多站组网协同跟踪监测方法,根据靶标图像信息推算测站与目标之间的距离,控制视觉成像测站切换使用不同焦距的相机以满足视场及景深要求,能够利用多站组网协同控制优势提升跟踪成像效率和位姿测量精度,从而保证大型结构同步施工过程状态监测的动态性和实时性。
附图说明
图1为本发明一种多站组网视觉跟踪的监测***结构示意图;
图2为本发明双光电经纬仪交会测量原理图;
图3为本发明一种多站组网视觉跟踪的监测方法流程图;
图4为本发明一种多站组网视觉跟踪的监测***实时监测信息传递示意图;
图5为本发明视觉成像测站结构示意图;
图6为本发明实施例4全局坐标数据拟合图;
图中标号所示:
10、光电经纬仪,11、控制模块,20、视觉成像测站,200、可变焦相机,201、电机,202、安装支架,203、转台,204、三脚架,3、主动靶标,4、待监测结构。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
实施例1
本实施例中提出一种多站组网视觉跟踪监测***,包括控制***、两台光电经纬仪10、若干视觉成像测站20和若干主动靶标3。控制***及两台光电经纬仪10构成了全局控制子***,用于确定每台视觉成像测站20在全局坐标系下的位置分布,实现多站组网测量过程的坐标统一和信息融合。多台视觉成像测站20构成了姿态监测子***,用于解算主动靶标3的三维坐标和姿态角度,以获取大型结构的位姿信息。
光电经纬仪10,即是对光学经纬仪电气化改造,使之在捕捉目标图像的同时,能够实时记录精确的测角信息,并能通过事后目标图像的判读处理,得出目标精确的中轴偏移量,叠加得出更为精确的测角值。此处通过该光电经纬仪10来定义统一的全局坐标系,进而确定每台视觉测站的位置分布。
视觉成像测站20包括单台相机和视轴调整装置,此设计可使该视觉成像测站20能够在大型结构施工过程中结构发生变化时,无需人为调整其位置,仅需切换不同焦距的相机或视距调整装置调整视距,再配合调整光电经纬仪10的俯仰角度等,即可完成对主动靶标3信息的捕获,从而实现施工过程的全过程监测,在大型结构位姿发生变化的过程中仍能保持多站协同跟踪成像监测。
主动靶标3不同于普通的红外靶标,可根据监测需要定制不同数量及不同排列的靶标点,因此能够获取更多的信息。仅需一台视觉成像测站20,便可通过解算该靶标点间的尺寸信息,精确得到该位置坐标信息。
实施例2
如图1所示,本实施例中提出一种多站组网视觉跟踪监测***,包括控制***、两台光电经纬仪10、四台视觉成像测站20以及15个主动靶标3。图1中四个视觉成像测站20从左到右依次为第一视觉成像测站20、第二视觉成像测站20、第三视觉成像测站20和第四视觉成像测站20。控制***及两台光电经纬仪10构成了全局控制子***,用于确定每台视觉成像测站20在全局坐标系下的位置分布,实现多站组网测量过程的坐标统一和信息融合。多台视觉成像测站20构成了姿态监测子***,用于解算主动靶标3的三维坐标和姿态角度,以获取大型结构的位姿信息。其中第一视觉成像测站20视场内覆盖1、2、3、4号靶标点,第二视觉成像测站20视场内覆盖5、6、7、8号靶标点,第三视觉成像测站20视场内覆盖9、10、11号靶标点,第四视觉成像测站20视场内覆盖12、13、14、15号靶标点。
光电经纬仪10一般由光学***(望远镜)、跟踪伺服***(包括跟踪电视、跟踪架、跟踪处理器和电控)、测角***(方位、俯仰编码器)、记录***等组成。其测量是一种角度跟踪测量,当目标进入光学测量的视场内后,伺服***捕获锁定目标,然后一直跟踪目标,保证目标一直位于光学测量的视场内,记录***同时记下目标相对视场中心的偏差,测角***测量出视场中心的方位角和高低角,共同合成目标的实际角位置。因此,经纬仪测量是一种极坐标下的二维角度位置信息测量。
如图5所示,视觉成像测站20由可变焦相机200,电机201,安装支架202,转台203,普通三脚架204组成。其中转台203用于控制可变焦相机200的偏摆角度,电机201通过驱动轴实现可变焦相机200俯仰角度的控制,可变焦相机200自带变焦功能,基于以上三项技术,可实现大型结构在提升或位姿发生变换时,可变焦相机200始终能够在视场范围中捕获主动靶标3的图像信息。
主动靶标3带有上下左右中5个靶标点,具有多个尺寸信息,通过对多个靶标点进行标定,不仅可以实现通过单个主动靶标3解算该靶标点的位置信息,而且可以直接标定相机的内外参信息,获取相机坐标系与全局控制坐标系的转换关系。
本实施例在传统视觉相机的基础上引入了转台203和俯仰控制机构,视觉成像测站20的图像监测与两台光电经纬仪10精确的测角能力协调工作,不仅形成了全局检测网,而且可以应对各自变化情况,实现了视觉成像测站20监测调整的自动化。本实施例的多站组网视觉跟踪监测***不依赖于人工的重复操作调整,还能克服大型结构成像模糊、超出视场、测量误差过大的问题,同时满足***结构简洁性、监测灵活性、环境适应性等性能要求。
实施例3
本实施例中提出一种多站组网视觉跟踪的监测方法,包括以下步骤:
S1、多站组网视觉监测方案设计与***布置:根据同步施工作业场景特点设计监测方案,布设两台光电经纬仪10、相位测距仪和多台视觉成像测站20,同时在大型结构底部安装一定数量的主动靶标3,保证施工过程中光电经纬仪10和视觉成像测站20均能观察到主动靶标3发射的红外光束;
S2、视觉成像测站20与全局控制坐标转换关系标定:利用定制靶标标定两台光电经纬仪10之间的坐标转换关系,建立全局控制坐标系,再通过光电经纬仪10与每台视觉成像测站20之间相互对准,标定每台视觉成像测站20相对于全局坐标系的转换关系,构成多站视觉测量网;
S3、主动靶标3与大型结构坐标转换关系标定:在多台视觉成像测站20的图像信息引导下,分别控制两台光电经纬仪10的俯仰和方位运动,使两者对准大型结构底部的靶标位置,通过交会测量原理依次得到每组靶标的准确三维坐标,建立全局测量坐标系与大型结构本体坐标系之间的转换关系,并且利用不同靶标布设位置之间的几何关系提供视觉测量的先验约束;
S4、多站组网协同视觉跟踪与视轴指向控制:在大型结构整体同步提升、滑移或顶推施工过程中,利用多台视觉成像测站20同时捕获主动靶标3发出的红外光束,根据图像反馈信息及视觉跟踪算法预测目标变化的方向,控制相机调整角度及俯仰,完成对目标的视觉持续跟踪,同时调整相机焦距,保证所有主动靶标3始终落入相机的有效成像视场及景深范围,使其视轴指向靶标区域,保证视觉监测的清晰度。在大型结构位姿发生变化的过程中仍能保持多站协同跟踪成像监测;
S5、大型结构施工状态监测与位姿参数解算:结合每台视觉成像测站20采集的图像信息和主动靶标3的几何约束,估计多组靶标的三维坐标和姿态角度,通过全局坐标转换关系融合多组视觉成像测站20的测量信息,同时利用两台光电经纬仪10交会测量得到的靶标位置进行实时修正,根据多组靶标的准确位姿参数,实时解算大型结构本体的位姿参数,实现同步施工过程的状态监测和质量控制。
步骤S2具体包括:
S21、利用定制靶标,通过第一光电经纬仪10对其多个靶标点的水平旋转角与俯仰角数据的记录,通过立体几何知识解出该靶标的精确位置坐标,记为P1(xp1,yp1,zp1),并定义第一光电经纬仪10位置为全局坐标系原点,水平旋转角为0度,俯仰角为0时经纬仪指向为x轴正向,并相应确定y轴与z轴;
S22、重复上述步骤,对同一定制靶标,在第二光电经纬仪10坐标系下,解出其位置坐标,记为P2(xp2,yp2,zp2);因为全局坐标系和第二光电经纬仪10坐标系之间相差一个旋转(R)和平移(T)操作,即:
通过改变靶标位置,重复上述标定流程,当方程式数量超过未知数数量后,可解得两个坐标系的变换矩阵
S23、利用两台光电经纬仪10与每台视觉成像测站20的相互对准,求解各视觉成像测站20在全局坐标系的精确三维位置:
若全局坐标系为O-xyz,视觉成像测站20及待测目标的空间如图2所示。O1(x1,y1,z1)、O2(x2,y2,z2)为已知光电经纬仪10位置,M(xm,ym,zm)为视觉成像测站20的空间位置,2台经纬仪测得的目标的方位角和俯仰角分别为αi和λi(i=1,2)。则可以根据立体几何知识,解得:
xm=x1+Δx
zm=z1+Δxtanα1
式中,
由此得到该视觉成像测站20在全局坐标系的精确位置,通过张正友标定法再求解出各自相机坐标系与全局坐标系的转换关系,构成多站视觉测量网;
步骤S3具体包括:
S31、在大型结构底部关键位置点布设靶标点,这些位置点能够反映该结构底部的位姿、形状等三维信息;
S32、针对靶标点,在视觉测站图像信息的引导下,分别控制两台光电经纬仪10的俯仰和方位运动,使两者对准大型结构底部的靶标点位置,通过上述交会测量原理依次解出每组靶标的准确三维坐标;
S33、根据大型结构的施工图纸,确定其本体坐标系,并根据靶标点在两套坐标系下分别对应的坐标点,建立全局测量坐标系与大型结构本体坐标系之间的转换关系,并且利用不同靶标布设位置之间的几何关系提供视觉测量的先验约束;
步骤S4具体包括:
S41、在施工初始阶段,各视觉成像测站20通过目标识别算法对其视场中心的靶标实现目标锁定。本***可选取YOLOv5s目标识别算法,其识别速度快、实时性强,适合部署在嵌入式设备上。
S42、在大型结构整体同步提升、滑移或顶推施工过程中,不可避免地,位于视场中心的靶标会发生位置改变,甚至可能出现成像模糊。利用KCF算法(Kernel CorrelationFilter核相关滤波算法)对目标实现方位跟踪,正样本通过使用循环矩阵获取大量的负样本,分别计算各样本的HOG特征,得到训练样本数据。接着对滤波器训练,通过岭回归,选择高斯核函数,计算训练样本权值α,用相关滤波器对样本进行训练。根据滤波器的响应值大小判别目标当前帧的位置,得到的最大响应位置即为目标最佳预测位置,就是目标所在位置。
核相关滤波算法(Kernel Correlation Filter,KCF)是相关滤波经典跟踪模型,结合回归问题运动模型和观测模型,并通过循环矩阵扩充训练样本,最后基于核方法对目标进行快速检测及定位。KCF是经典判别式跟踪算法,将目标跟踪问题视为分类问题。
KCF算法滤波器的训练过程就是求解岭回归问题,通过岭回归的方式建立目标函数:
f(xi)=ωTxi (1)
岭回归方程式由最小二乘以及正则项组成,如下:
minω∑i(f(xi)-yi)2+λ||ω||2 (2)
(f(xi)-yi)2为损失函数,λ为正则化参数,λ||ω||2为正则项,是为了排除因循环矩阵变换后而变形过度的虚拟样本。
对式(2)关于ω求导,可得闭式解:
ω=(XTX+λI)-1XTy (3)
利用循环矩阵对角化的性质得到ω在傅里叶域表示:
引入高斯核函数上式求解得到:
由此可用此滤波器来对输入图像进行相关性检测得到跟踪结果,样本响应为:
样本矩阵为z,响应值最大位置为相关性最强的位置,也是预测的目标位置。
通过此算法实现各视觉测站对靶标点的视觉跟踪。
S43、同时利用相机对靶标点的标定,实时解算目标点的坐标信息,据此调整相机焦距,保证所有主动靶标3始终落入相机的有效成像视场及景深范围,使其视轴指向靶标区域,保证视觉监测的清晰度。
步骤S5具体包括:
S51、各视觉成像测站20根据采集的图像信息,对视场内的所有主动靶标3进行三维坐标估计,记为一组数据,并根据此组数据估计该组靶标点的姿态角度。
S52、通过各视觉成像测站20坐标系与全局控制坐标系的转换关系,将所有靶标点坐标转换至全局坐标系,同时关键节点利用双光电经纬仪10测量进行实时校准。根据多组靶标的准确位姿参数,实时解算大型结构本体的位姿参数,实现同步施工过程的状态监测和质量控制。
实施例4
如图3和图4所示,本实施例中提出一种多站组网视觉跟踪的监测方法,图4中两个光电经纬仪10从上到下依次为第一光电经纬仪10和第二光电经纬仪10,四个视觉成像测站20从左到右依次为第一视觉成像测站20、第二视觉成像测站20、第三视觉成像测站20和第四视觉成像测站20。监测方法具体包括以下步骤:
S1、结合大型结构的施工图纸与施工要求,将主动靶标3布置于底部平面建筑结构***,确定结构外适合安装光电经纬仪10与视觉成像测站20的各个位置,并布置好硬件***;
S2、视觉成像测站20与全局控制坐标转换关系标定,具体步骤如下:
S21、将第一光电经纬仪10视作原点,根据右手定则建立监测***的全局坐标系O-XYZ。利用主动靶标3标定第一光电经纬仪10和第二光电经纬仪10之间的坐标转换关系,建立全局控制坐标系。
S22、通过光电经纬仪10与每台视觉成像测站20之间相互对准,标定每台视觉成像测站20相对于全局坐标系的转换关系,构成多站视觉测量网(具体标定过程可参考张正友标记法);根据标定数据,解算的转换矩阵如下:
第一视觉成像测站20:
第二视觉成像测站20:
第三视觉成像测站20:
第四视觉成像测站20:
S3、在多台视觉成像测站20的图像信息引导下,分别控制两台光电经纬仪10的俯仰和方位运动,使两者对准大型结构底部的靶标位置,通过交会测量原理依次得到每组靶标的准确三维坐标,建立全局测量坐标系与大型结构本体坐标系之间的转换关系,并且利用不同靶标布设位置之间的几何关系提供视觉测量的先验约束;
S4、在大型结构整体同步提升、滑移或顶推施工过程中,利用多台视觉成像测站20和光电经纬仪10的协调工作,调整视觉成像测站20相机的焦距,保证监测成像清晰,在大型结构位姿发生变化的过程中仍保持多站协同跟踪成像监测;
进一步地,步骤S4具体包括:
S41、在大型结构整体同步提升、滑移或顶推施工过程中,视觉成像测站20若出现成像模糊导致监测信息丢失,利用该视觉成像测站20图像信息的引导,控制两台光电经纬仪10捕捉该主动靶标3点,利用其精准的测角能力,实时解算该靶标点在全局控制坐标系的具体坐标位置;
S42、利用该靶标点的精确坐标***,通过控制***控制视觉成像测站20的转台203调整偏摆角度,俯仰机构微调俯仰角度,使相机对准该靶标点,并调整焦距,使监测成像清晰,通过此操作可应对施工过程中的各自变化情况,实现大型结构施工的全程监测。
S5、结合每台视觉成像测站20采集的图像信息和主动靶标3的几何约束,估计多组靶标的三维坐标和姿态角度,通过全局坐标转换关系融合多组视觉成像测站20的测量信息,同时利用两台光电经纬仪10交会测量得到的靶标位置进行实时修正,根据多组靶标的准确位姿参数,实时解算大型结构本体的位姿参数,实现同步施工过程的状态监测和质量控制。
在本实施例中,通过对各组靶标点进行数据采集,并利用上述转换矩阵进行坐标变换,经测量,实例具体数据及转换后全局坐标如表1:
表1数据表
利用全局坐标数据进行大型结构位姿估计:通过matlab软件对所有坐标点进行拟合,拟合结果为平面,拟合结果如图6所示,整***姿为水平面倾角5.7°。如果在监测过程中出现部分点偏差较大,还可以通过双光电经纬仪10进行精确测量,实时修正靶标点坐标,保证施工的正确性与稳定性。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种多站组网视觉跟踪的监测***,其特征在于,包括全局控制子***、姿态监测子***和主动靶标(3),所述全局控制子***包括至少两台光电经纬仪(10)和控制模块(11),姿态监测子***包括至少两台视觉成像测站(20),所述光电经纬仪(10)和视觉成像测站(20)分别与控制模块(11)通信;所述主动靶标(3)布置于待监测结构(4)上并发出红外光束至光电经纬仪(10)和视觉成像测站(20),构建全局控制坐标系,标定视觉成像测站(20)和待监测结构(4)相对于全局控制坐标系的转换关系,所述视觉成像测站(20)根据主动靶标(3)和跟踪算法预测结果跟踪待监测结构(4)进行监测,实时解算待监测结构(4)的位姿参数。
2.根据权利要求1所述的一种多站组网视觉跟踪的监测***,其特征在于,所述的视觉成像测站(20)包括焦距可调的相机和视轴调整装置。
3.根据权利要求1所述的一种多站组网视觉跟踪的监测***,其特征在于,所述的主动靶标(3)上设有利用红外光源阵列构成的靶标点。
4.一种采用权利要求1所述多站组网视觉跟踪监测***的监测方法,其特征在于,具体包括以下步骤:
步骤S1,根据待监测结构(4)场景布设光电经纬仪(10)和视觉跟踪测站,主动靶标(3)发射光束至光电经纬仪(10)和视觉成像测站(20);
步骤S2,通过主动靶标(3)标定光电经纬仪(10)坐标,构建全局控制坐标系;通过光电经纬仪(10)和视觉成像测站(20)对准,构建视觉测量网;
步骤S3,构建全局控制坐标系与待监测结构(4)坐标系之间的转换关系;
步骤S4,视觉成像测站(20)根据主动靶标(3)和跟踪算法预测结果跟踪待监测结构(4),获得监测图像;
步骤S5,控制模块(11)根据监测图像实时解算待监测结构(4)的位姿参数。
5.根据权利要求4所述的监测方法,其特征在于,所述光电经纬仪(10)包括第一光电经纬仪和第二光电经纬仪,所述步骤S2具体包括以下步骤:
步骤S201,第一和第二光电经纬仪分别记录主动靶标(3)的水平旋转角与俯仰角,解出该主动靶标(3)相对于第一和第二光电经纬仪的坐标,进一步得到第一和第二光电经纬仪之间的坐标变换矩阵;定义第一光电经纬仪位置为全局控制坐标系原点;
步骤S202,在全局控制坐标系下,第一和第二光电经纬仪与每台视觉成像测站(20)的相互对准,解出视觉成像测站(20)的位置。
6.根据权利要求4所述的监测方法,其特征在于,所述的步骤S3具体包括以下步骤:
步骤S301,在待监测结构(4)底部布置主动靶标(3),在视觉成像测站(20)的引导下控制光电经纬仪(10)对准主动靶标(3),解出主动靶标(3)在全局控制坐标系下的坐标;
步骤S302,根据待监测结构(4)图纸,确定其本体坐标系;根据主动靶标(3)在本体坐标系和全局控制坐标系下的坐标构建两个坐标系之间的转换关系。
7.根据权利要求4所述的监测方法,其特征在于,所述的步骤S4具体包括以下步骤:
步骤S401,初始状态下,视觉成像测站(20)通过目标识别算法对主动靶标(3)进行目标锁定;
步骤S402,监测结构状态改变时,主动靶标(3)位置发生改变;通过KCF算法对主动靶标(3)进行方位跟踪,得到训练样本数据;
步骤S403,利用训练样本数据对KCF算法滤波器进行训练,根据滤波器的响应值大小判别主动靶标(3)的位置,得到滤波器最大响应值的位置即为主动靶标(3)的最佳预测位置;
步骤S404,视觉成像测站(20)根据最佳预测位置进行跟踪,获得监测图像。
8.根据权利要求7所述的监测方法,其特征在于,所述的步骤S401中的目标识别算法为YOLOv5s目标识别算法。
9.根据权利要求7所述的监测方法,其特征在于,所述的视觉成像测站(20)包括相机和视轴调整装置,所述步骤S402中,视觉成像测站(20)控制相机调整角度及俯仰,实现对主动靶标(3)的视觉持续跟踪;调整相机焦距,使所有主动靶标(3)始终落入相机的有效成像视场及景深范围内且相机视轴指向主动靶标(3)区域。
10.根据权利要求4所述的监测方法,其特征在于,所述的步骤S5具体包括以下步骤:
步骤S501,视觉成像测站(20)根据监测图像对主动靶标(3)进行三维坐标估计并记录估计坐标数据,根据估计坐标数据估计主动靶标(3)的姿态角度;
步骤S502,根据主动靶标(3)的姿态角度实时解算待检测结构的位姿参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410062598.0A CN117928491A (zh) | 2024-01-16 | 2024-01-16 | 一种多站组网视觉跟踪的监测***及监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410062598.0A CN117928491A (zh) | 2024-01-16 | 2024-01-16 | 一种多站组网视觉跟踪的监测***及监测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117928491A true CN117928491A (zh) | 2024-04-26 |
Family
ID=90750191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410062598.0A Pending CN117928491A (zh) | 2024-01-16 | 2024-01-16 | 一种多站组网视觉跟踪的监测***及监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117928491A (zh) |
-
2024
- 2024-01-16 CN CN202410062598.0A patent/CN117928491A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
CN110243283B (zh) | 一种可变视轴视觉测量***及方法 | |
CN111735479A (zh) | 一种多传感器联合标定装置及方法 | |
Zhang et al. | A robust and rapid camera calibration method by one captured image | |
CN108594245A (zh) | 一种目标物运动监测***及方法 | |
CN112629431B (zh) | 土木结构变形监测方法及相关设备 | |
CN105424006A (zh) | 基于双目视觉的无人机悬停精度测量方法 | |
JP2018013337A (ja) | 飛行物体の誘導位置決め装置および方法 | |
CN109238247B (zh) | 一种面向大空间复杂现场的六自由度测量方法 | |
Mi et al. | A vision-based displacement measurement system for foundation pit | |
CN103065323A (zh) | 一种基于单应性变换矩阵的分段空间对准方法 | |
CN105953771A (zh) | 一种主动式经纬仪***及测量方法 | |
CN108596117B (zh) | 一种基于二维激光测距仪阵列的场景监控方法 | |
CN111780715A (zh) | 一种视觉测距方法 | |
CN112985259B (zh) | 基于多目视觉的目标定位方法及*** | |
Chen et al. | Low cost and efficient 3D indoor mapping using multiple consumer RGB-D cameras | |
CN116027804B (zh) | 无人机地面光电测控引导装置以及引导方法 | |
CN117928491A (zh) | 一种多站组网视觉跟踪的监测***及监测方法 | |
CN113446936B (zh) | 一种基于主动视距的变视轴立体视觉测量***和方法 | |
Jingjing et al. | Research on autonomous positioning method of UAV based on binocular vision | |
WO2022126339A1 (zh) | 土木结构变形监测方法及相关设备 | |
Kim et al. | Rover mast calibration, exact camera pointing, and camera handoff for visual target tracking | |
CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 | |
Shojaeipour et al. | Robot path obstacle locator using webcam and laser emitter | |
Hrabar et al. | PTZ camera pose estimation by tracking a 3D target |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |