CN109887025B - 单目自调式火点三维定位方法与装置 - Google Patents

单目自调式火点三维定位方法与装置 Download PDF

Info

Publication number
CN109887025B
CN109887025B CN201910096126.6A CN201910096126A CN109887025B CN 109887025 B CN109887025 B CN 109887025B CN 201910096126 A CN201910096126 A CN 201910096126A CN 109887025 B CN109887025 B CN 109887025B
Authority
CN
China
Prior art keywords
point
fire
coordinates
calculation
fire point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910096126.6A
Other languages
English (en)
Other versions
CN109887025A (zh
Inventor
王剑松
李响
鑫龙
刘美汐
孟嘉
李思毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Ligong University
Original Assignee
Shenyang Ligong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Ligong University filed Critical Shenyang Ligong University
Priority to CN201910096126.6A priority Critical patent/CN109887025B/zh
Publication of CN109887025A publication Critical patent/CN109887025A/zh
Application granted granted Critical
Publication of CN109887025B publication Critical patent/CN109887025B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

一种单目自调式火点三维定位方法与装置,解决现有双目图像式方法存在的双目位置固定、求解精度受限,拍摄位置受遮挡时无法适应,设备成本高的问题。该方法采用红外热像仪做为图像获取手段,通过步进电机带动滚珠丝杠来驱动单目式图像采集设备;以控制器为控制手段,在PC端编写控制***,并配合相应的摄像机标定计算、拍摄距离计算和热图像火点三维坐标计算算法,实现了火点的自动预警,同时,给出火点三维空间坐标。该方法和装置可应用于室内或车船内等有限空间的火点三维定位,环境适应性强,定位精准度高,可有效节约成本。

Description

单目自调式火点三维定位方法与装置
技术领域
本发明属于机械电子工程技术领域,具体涉及一种可应用于室内或车船内等有限空间的火点三维定位,环境适应性强,定位精准度高,能够有效节约成本的单目自调式火点三维定位方法与装置。
背景技术
对于自动灭火***而言,在火灾发生初期准确地定位火点的三维空间位置十分重要,它直接决定着灭火设备的瞄准精度,对于自动灭火***能否在火灾初期有效控制火势起着关键作用。
室内或车船内等有限空间内的火点定位要求***响应迅速、位置精准,以便能够高效、准确地引导灭火设备进行灭火,同时,大多数情况下要求成本较低。因此,公开号为CN107899166A的“基于无人机和智能消防机器人的精确灭火***及方法”,公开号为CN107481465A的“一种森林自适应巡航空中无人机红外监测预警方法”,以及公开号为CN106289531A的“一种基于云台姿态角的高压输电走廊山火定位方法”等大空间火点定位方法和***并不适用。
目前,适用于有限空间的火点定位***主要有传感扫描式和图像式两大类。公告号为CN206896650U的“一种火灾探测定位装置”公开的技术方案即为一种典型的传感扫描式火点定位***。该类方法虽然有着成本低廉的优点,但仅能实现二维定位,无法获得火源的三维空间位置,对灭火设备瞄准目标的引导能力有限,对复杂环境适应性较低,且对火情变化的响应能力不足。图像式火点定位***主要有红外热像(如:公告号为CN106169217A的“基于红外热成像和激光制导技术的火灾定位方法”)和视觉识别(如:《吉林大学学报》2016,46(06)期的“高大空间建筑火灾精确定位方法”)两种方式,各有优劣;其中,红外热像式准确性更高,为当前主流方法;但由于视频设备采集的图像均为二维图像,所以一般单目图像式火点定位***无法实现三维空间定位。
能够实现三维火点定位的方法为采用双目的图像式方法,如:公告号为CN105741481B的“一种基于双目摄像头的火灾监测定位装置及火灾监测定位方法”。该类方法采用两个图像采集设备进行火点拍摄,并通过对比图像差异计算求解火点空间位置。虽然该类方法能够获取火点三维坐标,但存在以下问题:(1)双目位置固定、且一般间距较小,求解精度受限;(2)复杂环境下,如当前拍摄位置受遮挡时无法适应;(3)红外热像设备的成本较高,单测点配置两台红外热像设备增加了成本。故有必要对现有技术的火点三维定位方法予以改进。
发明内容
本发明就是针对上述问题,提供一种可应用于室内或车船内等有限空间的火点三维定位,环境适应性强,定位精准度高,能够有效节约成本的单目自调式火点三维定位方法与装置。
本发明所采用的技术方案是:该单目自调式火点三维定位方法包括如下步骤:
步骤一、单目移动式摄像机的标定计算;通过图形学计算推导,得到适于单目移动式设备的位置标定方式,即通过地面四点坐标标定;该标定算法不需要摄像机参数,是一种适于单目移动式设备的摄像机标定方式;
步骤二、考虑精度和尺寸适应性的拍摄距离计算;为了能够响应不断变化的火情,设备须不断采集图像、实时进行计算;通过一种基于像素连线交叠平面面积值为标准的图像采样点间距计算方式,实现设备采样位置的调节;
步骤三、单目移动式热图像火点三维坐标计算;在标定完成后并给定采样点间距的情况下,通过热图像中的高温点坐标求解出相应的火点三维空间坐标。
所述步骤一,单目移动式摄像机的标定计算的主要目的,是为求得考虑摄像机内部参数和投影变换参数组成的单应性映射矩阵;
设点Q为世界坐标系中任意点,其坐标记为Q(X,Y,Z),q为该点在图像平面中的像点,其坐标记为q(x,y);设f为焦距,则由针孔摄像模型有:
Figure BDA0001964589960000031
摄像机内部参数实际中像点坐标的单位为像素,由于实际像素点在成像仪上多为矩形,导致在图像平面坐标系下x与y方向的焦距一般不相等;同时,由于摄像机存在加工装配误差,其成像平面与光轴的交点往往不是成像平面的中心;此外,由于火点定位所需精度相对较低,不考虑透镜由于加工误差产生的图像平面畸变更为合理;综上所述,引入摄像机内参矩阵M,在不考虑投影变换的情况下得到像点q与实体点Q的齐次映射关系如下:
Figure BDA0001964589960000032
其中,fx与fy分别代表摄像机物理焦距与显示屏像素单元尺寸的乘积,Cx与Cy代表成像平面中心点与主点的偏移量,w=Z为齐次项。
所述步骤一,对每一幅摄像机得到的特定物体图像,可以通过旋转和平移坐标变换描述其相对位置;设旋转矩阵为R,平移向量为t,则由图形学可得:
t=[xt yt zt]T (3)
R=RxRyRz (4)
其中,依次设绕x、y和z轴旋转角度为ψ、
Figure BDA0001964589960000033
和θ,则:
Figure BDA0001964589960000041
Figure BDA0001964589960000042
Figure BDA0001964589960000043
将公式(3)与公式(4)组合到一个矩阵W=[R t],并结合式(2),可得,
Figure BDA0001964589960000044
其中,
Figure BDA0001964589960000045
Figure BDA0001964589960000046
为齐次坐标形式,
Figure BDA0001964589960000047
本算法中设定标定平面高度方向坐标为零(Y=0),则公式(5)可简化为:
Figure BDA0001964589960000048
其中,H为3×3矩阵,为本算法中的单应性矩阵;该单应性矩阵由8个独立参数构成,而每组映射点可提供2个方程,可知需要4组映射点能够解得矩阵H;
采用一个正方形标定板的四个顶点坐标进行标定,且分别取得标定板顶点A、B、C和D的空间坐标及对应图像平面点a、b、c和d的图像平面坐标,代入公式(6)即可求得单应性矩阵H,从而实现标定。
所述步骤二,考虑精度和尺寸适应性的拍摄距离计算的基本思路为:在有火点定位需求的有限空间范围内,深度方向计算精度最大误差不应大于由像素数量等设备参数产生的计算误差,以保证定位的准确性;
首先,分析摄像设备光心向量平行于地面的情况,此时成像平面垂直于地面,设GH为某深度上单个像素对应的空间距离,在同样的深度上,单个像素点对应的空间水平距离不变;(a)、(b)和(c)代表若干摄像设备位置时GH对应的设备像素点,且设备沿水平方向、即从(a)向(c)移动;
火点三维坐标由两个拍摄位置数据叠加计算求得,当计算拍摄位置的距离较近时,两次拍摄交叠面积较大,计算定位精度降低;因此,为了提高定位精度,应拉大两次计算拍摄的间距;本方法以两次拍摄时的交叠面积为标准衡量计算误差,使其大于设定的标准值,以满足精度要求;
然后,可求得在(a)和(b)位置时,阴影部分所对应的三角形高度为:
Figure BDA0001964589960000051
式中d为光心至目标深度距离,l为两拍摄点间距,xi为像素点对应的水平方向空间距离。
所述步骤二,阴影部分所对应的三角形高度直接对应深度方向精度;设定深度方向计算精度最大误差不应大于由像素数量等设备参数产生的计算误差,即应满足:
Figure BDA0001964589960000052
所述步骤二,由于摄像设备需在过程中不断拍摄以适应现场情况的变化,因此拍摄位置的选取除考虑精度影响外,还应考虑火情和现场变化影响,即各种原因造成的计算误差,甚至摄像机被遮挡等极端情况;故采用迭代求解的方式解决该问题,即当连续二次测试所求得火点空间三维坐标值间的误差小于误差限时,输出有效结果并重新以精度为标准计算移动距离;若求解误差大于误差限,则暂不输出有效结果;同时,驱动设备继续移动计算,直到达到标准恢复计算输出;
设前后两次图像采集时火点位置不动,三维坐标计算精度以两次求解出的火点坐标值之差的二范数为标准进行衡量,即应满足:
[ε]≥||Ki+1-Ki||2 (9)
式中Ki代表第i个测点与第i-1个测点图像对比后求解出的火点坐标值。
所述步骤二,由于摄像图像在不同深度对应不同精度,更为合理的思路是以相对误差对测量精度进行衡量,即:
Figure BDA0001964589960000061
其中,
Figure BDA0001964589960000062
代表前后两次计算结果空间坐标对应的方向向量。
所述步骤三,单目移动式热图像火点三维坐标计算,已知热像仪两个位置坐标和应对的图像平面中高温点坐标,求解实际火点位置的三维空间坐标,具体方法如下:
在完成摄像机标定后,摄像机单应性映射计算矩阵H已求得;由于标定板所在平面Y=0,H简化为3×3矩阵,在热像设备采集到高温点成像平面像素坐标后,即可反求该点在标定平面内的投影坐标;由公式(6)可得,
Figure BDA0001964589960000063
则实际高温点在标定平面内投影坐标为Q=[X 0 Z]T
所述步骤三,设P1、P2为摄像机两个有效拍摄位置,则可通过公式(11)求出对应的高温点在标定平面内的投影坐标Q1、Q2;点P1、Q1、P2和Q2坐标已知,设空间两非平行直线P1Q1与P2Q2上距离最短线段为K1K2,则有
Figure BDA0001964589960000064
Figure BDA0001964589960000065
设向量N1垂直于P1Q1与K1K2,向量N2垂直于P2Q2与K1K2,则有:
Figure BDA0001964589960000066
于是可以得到平面P1Q1K2三点所在平面方程和平面P2Q2K1三点所在平面方程,分别为:
Figure BDA0001964589960000067
Figure BDA0001964589960000071
结合式(13)与直线P2Q2方程,可以得到K2点空间坐标;同理,结合式(14)与直线P1Q1方程可得K1点坐标,于是求得高温火点计算坐标向量为:
Figure BDA0001964589960000072
所述单目自调式火点三维定位方法采用的装置,由PC端控制程序、控制器及控制程序、驱动器、驱动执行机构和摄像设备等五部分组成;装置的总体运作流程如下:PC端程序在监控过程中一旦发现高温火点,便向控制器发出相应的启动信号,同时通过计算给出摄像设备移动距离等运动参数;控制器负责从计算机获取数据,并通过预先嵌入的控制器程序将数据换算成数字信号并输出;驱动器将从控制器获得的数字信号转化成执行机构可识别的模拟信号,并将其发送给驱动执行机构;执行机构驱动机械机构进行运动,并带动单目摄像设备完成预定移动;最后,摄像设备将在不同位置获取的火点图像数据返回程序,以便程序计算火点三维坐标,从而引导灭火设备进行灭火。
本发明的有益效果:该单目自调式火点三维定位方法与装置,以可移动的单目式图像采集设备代替传统的双目式图像定位,并通过移动过程中设备的自调式多点图像采集,结合与之相适应的摄像机标定和定位计算方法,得到相应的火点三维坐标,以引导自动灭火设备进行灭火。该单目自调式火点三维定位方法与装置具有如下主要特点:
(1)具有定位三维空间坐标的能力,对火情变化的响应速度快;
(2)由于移动距离可调,该方法及装置对不同空间尺寸的适应性较好;
(3)由于图像为多点采集且采集点位置可自调,该方法的测量精度有较好的扩展性,同时由于采用多位置迭代计算思路,提高了装置的容错性;
(4)由于图像采集位置不固定,在某些拍摄角度被遮挡时,该方法仍可取得有效的火源位置图像以实现定位;
(5)红外热像设备预报准确性好但成本较高,基于本方法的装置较同配置的双目定位装置可有效节约成本。
附图说明
图1是本发明步骤一中的摄像机标定计算示意图。
图2是本发明步骤二中的移动距离对精度影响示意图。
图3是本发明步骤二中的设备移动迭代计算流程图。
图4是本发明步骤三中的三维火点位置的求解计算图。
图5是本发明步骤三中的两拍摄点求解火点坐标计算图。
图6是本发明的单目移动式火点定位装置的***方案框架图。
图7是本发明采用的PC程序架构UML类图。
图8是本发明中的PC端控制程序在上位机PC用户程序的主界面。
图9是本发明的测试计算结果显示图。
具体实施方式
根据图1~5详细说明本发明的具体步骤。该单目自调式火点三维定位方法,包括如下步骤:
步骤一、单目移动式摄像机的标定计算。通过图形学计算推导,得到适于单目移动式设备的位置标定方式,即通过地面四点坐标标定。该标定算法不需要摄像机参数,是一种适于单目移动式设备的摄像机标定方式。
单目移动式摄像机的标定计算的主要目的,是为求得考虑摄像机内部参数和投影变换参数组成的单应性映射矩阵。设点Q为世界坐标系中的任意点,其坐标记为Q(X,Y,Z),q为该点在图像平面中的像点,其坐标记为q(x,y),如图1所示;设f为焦距,则由针孔摄像模型有:
Figure BDA0001964589960000091
摄像机内部参数实际中像点坐标的单位为像素,由于实际像素点在成像仪上多为矩形,导致在图像平面坐标系下x与y方向的焦距一般不相等。同时,由于摄像机存在加工装配误差,其成像平面与光轴的交点(即主点)往往不是成像平面的中心。此外,由于火点定位所需精度相对较低,不考虑透镜由于加工误差产生的图像平面畸变更为合理。综上所述,引入摄像机内参矩阵M,在不考虑投影变换的情况下得到像点q与实体点Q的齐次映射关系如下:
Figure BDA0001964589960000092
其中,fx与fy分别代表摄像机物理焦距与显示屏像素单元尺寸的乘积,Cx与Cy代表成像平面中心点与主点的偏移量,w=Z为齐次项。
同时,对每一幅摄像机得到的特定物体图像,可以通过旋转和平移坐标变换描述其相对位置;设旋转矩阵为R,平移向量为t,则由图形学可得:
t=[xt yt zt]T (3)
R=RxRyRz (4)
其中,依次设绕x、y和z轴旋转角度为ψ、
Figure BDA0001964589960000096
和θ,则:
Figure BDA0001964589960000093
Figure BDA0001964589960000094
Figure BDA0001964589960000095
将公式(3)与公式(4)组合到一个矩阵W=[R t],并结合式(2),可得,
Figure BDA0001964589960000101
其中,
Figure BDA0001964589960000102
Figure BDA0001964589960000103
为齐次坐标形式,
Figure BDA0001964589960000104
本算法中设定标定平面高度方向坐标为零(Y=0),则公式(5)可简化为:
Figure BDA0001964589960000105
其中,H为3×3矩阵,为本算法中的单应性矩阵;该单应性矩阵由8个独立参数构成,而每组映射点可提供2个方程,可知需要4组映射点能够解得矩阵H;
采用一个正方形标定板的四个顶点坐标进行标定,如图1所示;且分别取得标定板顶点A、B、C和D的空间坐标及对应图像平面点a、b、c和d的图像平面坐标,代入公式(6)即可求得单应性矩阵H,从而实现标定。为操作便捷,本算法设标定板左上角为世界坐标系原点,采用沿水平方向(世界坐标系x)平移摄像机的方式得到两组映射关系以实现摄像机的标定;为保证精度,两组标定参数中对应点的图像平面坐标值应大于1像素。
步骤二、考虑精度和尺寸适应性的拍摄距离计算。为了能够响应不断变化的火情,设备须不断采集图像、实时进行计算。通过一种基于像素连线交叠平面面积值为标准的图像采样点间距计算方式,实现设备采样位置的调节。
考虑精度和尺寸适应性的拍摄距离计算的基本思路为:在有火点定位需求的有限空间范围内,深度方向计算精度最大误差不应大于由像素数量等设备参数产生的计算误差,以保证定位的准确性。
首先,分析摄像设备光心向量平行于地面的情况。此时,成像平面垂直于地面(如图2所示),图中设GH为某深度上单个像素对应的空间距离,在同样的深度上,单个像素点对应的空间水平距离不变。(a)、(b)和(c)代表若干摄像设备位置时GH对应的设备像素点,且设备沿水平方向、即从(a)向(c)移动。
火点三维坐标由两个拍摄位置数据叠加计算求得,当计算拍摄位置的距离较近时,两次拍摄交叠面积较大,即:图2中阴影部分面积较大,计算定位精度降低。因此,为了提高定位精度,应拉大两次计算拍摄的间距。本方法以两次拍摄时的交叠面积(图2中阴影部分)为标准衡量计算误差,使其大于设定的标准值,以满足精度要求。
然后,可求得在(a)和(b)位置时,阴影部分所对应的三角形高度为:
Figure BDA0001964589960000111
式中d为光心至目标深度距离,l为两拍摄点间距,xi为像素点对应的水平方向空间距离。
图2中阴影部分所对应的三角形高度直接对应深度方向精度。设定深度方向计算精度最大误差,不应大于由像素数量等设备参数产生的计算误差,即应满足:
Figure BDA0001964589960000112
由于摄像设备需要在整个定位过程中不断拍摄、以适应现场情况的变化,因此,拍摄位置的选取除考虑精度影响外,还应考虑火情和现场变化影响;即各种原因造成的计算误差,甚至摄像机被遮挡等极端情况。故采用迭代求解的方式来解决该问题,即:当连续二次测试所求得火点空间三维坐标值间的误差小于误差限时,输出有效结果并重新以精度为标准计算移动距离。若求解误差大于误差限(包含测点被遮挡的情况),则暂不输出有效结果;同时,驱动设备继续移动计算,直到达到标准恢复计算输出。
设前后两次图像采集时火点位置不动,本方法中三维坐标计算精度以两次求解出的火点坐标值之差的二范数为标准进行衡量,即应满足:
[ε]≥||Ki+1-Ki||2 (9)
式中Ki代表第i个测点与第i-1个测点图像对比后求解出的火点坐标值。
能够理解的是,由于摄像图像在不同深度对应不同精度,更为合理的思路是以相对误差对测量精度进行衡量,即:
Figure BDA0001964589960000121
其中,
Figure BDA0001964589960000122
代表前后两次计算结果空间坐标对应的方向向量。
综上,本方法的移动距离计算流程如图3所示。
采用本方法时,由于可以设置循环迭代判断,因此在因火场情况复杂等原因出现计算误差(甚至被遮挡)时,仍可通过后续计算予以修正和补偿,从而提高了设备对火情的响应能力及设备的容错能力。
步骤三、单目移动式热图像火点三维坐标计算。在标定完成后并给定采样点间距的情况下,通过热图像中的高温点坐标求解出相应的火点三维空间坐标。
在已知热像仪两个位置坐标和应对的图像平面中高温点坐标的情况下,求解实际火点位置的三维空间坐标,具体方法如下:
在完成步骤一所涉及的摄像机标定后,摄像机单应性映射计算矩阵H已求得。由于标定板所在平面Y=0,H简化为3×3矩阵,在热像设备采集到高温点成像平面像素坐标后,即可反求该点在标定平面内的投影坐标;由公式(6)可得,
Figure BDA0001964589960000123
则实际高温点在标定平面内投影坐标为Q=[X 0 Z]T
如图4所示,设P1、P2为摄像机两个有效拍摄位置,则可通过式(11)求出对应的高温点在标定平面内的投影坐标Q1、Q2。连接光心P和投影坐标Q(如图4所示)可得P1Q1和P2Q2的直线方程。理论上求其交点即可得到实际火点位置空间三维坐标;但在实际计算中,由于像素单元尺寸及测量误差等原因,P1Q1和P2Q2两直线不存在交点可能性较高。由于一般情况下测量误差影响较小,为保证计算效率,本算法中设P1Q1与P2Q2直线间距离最短的线段中点为高温点计算坐标。若该拍摄位置测量误差影响较大,则本算法可自动通过步骤二中的精度控制方法进行调节。
火点三维坐标具体计算方法如下:如图5所示,设P1、P2为摄像机两个有效拍摄位置,则可通过公式(11)求出对应的高温点在标定平面内的投影坐标Q1、Q2;点P1、Q1、P2和Q2坐标已知,设空间两非平行直线P1Q1与P2Q2上距离最短线段为K1K2,则有
Figure BDA0001964589960000131
Figure BDA0001964589960000132
设向量N1垂直于P1Q1与K1K2,向量N2垂直于P2Q2与K1K2,则有:
Figure BDA0001964589960000133
于是可以得到平面P1Q1K2三点所在平面方程和平面P2Q2K1三点所在平面方程,分别为:
Figure BDA0001964589960000134
Figure BDA0001964589960000135
结合式(13)与直线P2Q2方程,可以得到K2点空间坐标;同理,结合式(14)与直线P1Q1方程可得K1点坐标,于是求得高温火点计算坐标向量为:
Figure BDA0001964589960000136
该单目自调式火点三维定位方法所采用的装置,是基于图6所示***方案框架构成,由PC端控制程序、控制器及控制程序、驱动器、驱动执行机构和摄像设备等五部分组成。装置的总体运作流程如下:PC端程序在监控过程中一旦发现高温火点,便向控制器发出相应的启动信号,同时通过计算给出摄像设备移动距离等运动参数;控制器负责从计算机获取数据,并通过预先嵌入的控制器程序将数据换算成数字信号并输出;驱动器将从控制器获得的数字信号转化成执行机构可识别的模拟信号,并将其发送给驱动执行机构;执行机构驱动机械机构进行运动,并带动单目摄像设备完成预定移动;最后,摄像设备将在不同位置获取的火点图像数据返回程序,以便程序计算火点三维坐标,从而引导灭火设备进行灭火。装置中所选用的产品及参数可随不同现场实际情况决定。
例如:本发明所选图像采集设备可以是杭州大立公司生产的DM10series红外热像仪,像素为160×120,波长范围8~14μm,视场角为60°×45°,测温范围为-20℃~+150℃,测温精度取±2℃或±2%度数范围中的较大值,可以自动测温校正,其开发采用设备sdk中提供的动态链接库(dll)。
驱动执行机构可以采用滚珠丝杠,其头数为1,行程400mm,螺距为5mm。采用步进电机驱动滚珠丝杠,综合考虑行程与扭矩等因素,可选用型号为42BYGH40-1.8-22A的42型步进电机,输出扭矩为0.5Nm,步距角1.8度。依据驱动电机电流和类型,可选择TB6600型两相步进电机驱动器,额定电流为22A。
控制器主控板为arduino主控板,型号为Arduino UNO R3。通过USB接口与计算机连接,采用波特率为9600bps以及半双工的模式实现通信。控制器程序,以OOP思想基于C++语言编写。控制器程序中将采用波特率为9600bps以及半双工的模式实现PC端与arduino的通信。
Arduino控制器程序由通信程序和电机驱动程序两部分构成。通信程序负责传递电机位置信息和接收用户指令,电机驱动程序负责向驱动器发出脉冲信号以驱动电机。同时考虑到实际运转的安全性,控制器程序应含紧急制动的功能。即在电机运行时,用户可以随时发出指令让其停止。程序中规定输入指令的格式为四位数十进制代码,之后arduino在按位将其翻译成相应动作;其内容及对应功能见下表。
控制器通信内容含义表
Figure BDA0001964589960000151
PC端上位机程序以图7所示架构编写,其主界面部分如图8所示。图8所示为正在利用高温点对设备进行单目移动式摄像机标定。
图9所示为实际火点计算结果的显示,在本***中以1次/s的频率进行图像更新并重新计算。计算结果以三维坐标值的方式显示于界面,同时记录于Excel表格中。经多次标定与实测,当前设备与配置下,在火点距离5000mm时,其三维坐标最大误差为εx=-10.62mm、εy=88.17mm、εz=44.69mm,相对计算精度大于98%,综合考虑灭火设备的覆盖范围,足以满足消防要求。能够理解的是,本实验装置当前配置热像设备像素较低,若提高设备的分辨率,装置的测试精准性还能够进一步的提高。

Claims (6)

1.一种单目自调式火点三维定位方法,其特征在于:包括如下步骤:
步骤一、单目移动式摄像机的标定计算;通过图形学计算推导,得到适于单目移动式设备的位置标定方式,即通过地面四点坐标标定;
步骤二、考虑精度和尺寸适应性的拍摄距离计算;为了能够响应不断变化的火情,设备须不断采集图像、实时进行计算;通过一种基于像素连线交叠平面面积值为标准的图像采样点间距计算方式,实现设备采样位置的调节;
所述步骤二,考虑精度和尺寸适应性的拍摄距离计算的基本思路为:在有火点定位需求的有限空间范围内,深度方向计算精度最大误差小于由像素数量设备参数产生的计算误差,以保证定位的准确性;
首先,分析摄像设备光心向量平行于地面的情况,此时成像平面垂直于地面,设GH为某深度上单个像素对应的空间距离,在同样的深度上,单个像素点对应的空间水平距离不变;(a)、(b)和(c)代表若干摄像设备位置时GH对应的设备像素点,且设备沿水平方向、即从(a)向(c)移动;
火点三维坐标由两个拍摄位置数据叠加计算求得,本方法以两次拍摄时的交叠面积为标准衡量计算误差,使其大于设定的标准值,以满足精度要求;
然后,可求得在(a)和(b)位置时,阴影部分所对应的三角形高度为:
Figure FDA0002897221110000011
式中d为光心至目标深度距离,l为两拍摄点间距,xG、xH为像素点对应的水平方向空间距离;
所述步骤二,阴影部分所对应的三角形高度直接对应深度方向精度;设定深度方向计算精度最大误差小于由像素数量设备参数产生的计算误差,即应满足:
Figure FDA0002897221110000021
所述步骤二,当连续二次测试所求得火点空间三维坐标值间的误差小于误差限时,输出有效结果并重新以精度为标准计算移动距离;若求解误差大于误差限,则暂不输出有效结果;同时,驱动设备继续移动计算,直到达到标准恢复计算输出;
设前后两次图像采集时火点位置不动,三维坐标计算精度以两次求解出的火点坐标值之差的二范数为标准进行衡量,即应满足:
[ε]≥||Ki+1-Ki||2 (9)
式中Ki代表第i个测点与第i-1个测点图像对比后求解出的火点坐标值;
所述步骤二,摄像图像在不同深度对应不同精度,以相对误差对测量精度进行衡量,即:
Figure FDA0002897221110000022
其中,
Figure FDA0002897221110000023
代表前后两次计算结果空间坐标对应的方向向量;
步骤三、单目移动式热图像火点三维坐标计算;在标定完成后并给定采样点间距的情况下,通过热图像中的高温点坐标求解出相应的火点三维空间坐标。
2.根据权利要求1所述的单目自调式火点三维定位方法,其特征在于:所述步骤一,单目移动式摄像机的标定计算的目的,是为求得考虑摄像机内部参数和投影变换参数组成的单应性矩阵;
设点Q为世界坐标系中任意点,其坐标记为Q(X,Y,Z),q为该点在图像平面中的像点,其坐标记为q(x,y);设f为焦距,则由针孔摄像模型有:
Figure FDA0002897221110000024
引入摄像机内参矩阵M,在不考虑投影变换的情况下得到像点q与实体点Q的齐次映射关系如下:
Figure FDA0002897221110000031
其中,fx与fy分别代表摄像机物理焦距与显示屏像素单元尺寸的乘积,Cx与Cy代表成像平面中心点与主点的偏移量,w=Z为齐次项。
3.根据权利要求2所述的单目自调式火点三维定位方法,其特征在于:所述步骤一,对每一幅摄像机得到的特定物体图像,可以通过旋转和平移坐标变换描述其相对位置;设旋转矩阵为R,平移向量为t,则由图形学可得:
t=[xt yt zt]T (3)
R=RxRyRz (4)
其中,依次设绕x、y和z轴旋转角度为ψ、
Figure FDA0002897221110000032
和θ,则:
Figure FDA0002897221110000033
Figure FDA0002897221110000034
Figure FDA0002897221110000035
将公式(3)与公式(4)组合到一个矩阵W=[R t],并结合式(2),可得,
Figure FDA0002897221110000036
其中,
Figure FDA0002897221110000037
Figure FDA0002897221110000038
为齐次坐标形式,
Figure FDA0002897221110000039
本算法中设定标定平面高度方向坐标为零(Y=0),则公式(5)可简化为:
Figure FDA00028972211100000310
其中,H为3×3矩阵,为本算法中的单应性矩阵;该单应性矩阵由8个独立参数构成,而每组映射点可提供2个方程,可知需要4组映射点能够解得矩阵H;
采用一个正方形标定板的四个顶点坐标进行标定,且分别取得标定板顶点A、B、C和D的空间坐标及对应图像平面点a、b、c和d的图像平面坐标,代入公式(6)即可求得单应性矩阵H,从而实现标定。
4.根据权利要求1所述的单目自调式火点三维定位方法,其特征在于:所述步骤三,单目移动式热图像火点三维坐标计算,已知热像仪两个位置坐标和应对的图像平面中高温点坐标,求解实际火点位置的三维空间坐标,具体方法如下:
在完成摄像机标定后,摄像机单应性矩阵H已求得;由于标定板所在平面Y=0,H简化为3×3矩阵,在热像设备采集到高温点成像平面像素坐标后,即可反求该点在标定平面内的投影坐标;由公式(6)可得,
Figure FDA0002897221110000041
则实际高温点在标定平面内投影坐标为Q=[X 0 Z]T
5.根据权利要求4所述的单目自调式火点三维定位方法,其特征在于:所述步骤三,设P1、P2为摄像机两个有效拍摄位置,则可通过公式(11)求出对应的高温点在标定平面内的投影坐标Q1、Q2;点P1、Q1、P2和Q2坐标已知,设空间两非平行直线P1Q1与P2Q2上距离最短线段为K1K2,则有
Figure FDA0002897221110000042
Figure FDA0002897221110000043
设向量N1垂直于P1Q1与K1K2,向量N2垂直于P2Q2与K1K2,则有:
Figure FDA0002897221110000044
于是可以得到平面P1Q1K2三点所在平面方程和平面P2Q2K1三点所在平面方程,分别为:
Figure FDA0002897221110000051
Figure FDA0002897221110000052
结合式(13)与直线P2Q2方程,可以得到K2点空间坐标;同理,结合式(14)与直线P1Q1方程可得K1点坐标,于是求得高温火点计算坐标向量为:
Figure FDA0002897221110000053
6.根据权利要求1所述的单目自调式火点三维定位方法所采用的装置,其特征在于:装置由PC端控制程序、控制器及控制程序、驱动器、驱动执行机构和摄像设备五部分组成;装置的总体运作流程如下:PC端程序在监控过程中一旦发现高温火点,便向控制器发出相应的启动信号,同时通过计算给出摄像设备移动距离的运动参数;控制器负责从计算机获取数据,并通过预先嵌入的控制器程序将数据换算成数字信号并输出;驱动器将从控制器获得的数字信号转化成执行机构可识别的模拟信号,并将其发送给驱动执行机构;执行机构驱动机械机构进行运动,并带动单目摄像设备完成预定移动;最后,摄像设备将在不同位置获取的火点图像数据返回程序,以便程序计算火点三维坐标,从而引导灭火设备进行灭火。
CN201910096126.6A 2019-01-31 2019-01-31 单目自调式火点三维定位方法与装置 Expired - Fee Related CN109887025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910096126.6A CN109887025B (zh) 2019-01-31 2019-01-31 单目自调式火点三维定位方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910096126.6A CN109887025B (zh) 2019-01-31 2019-01-31 单目自调式火点三维定位方法与装置

Publications (2)

Publication Number Publication Date
CN109887025A CN109887025A (zh) 2019-06-14
CN109887025B true CN109887025B (zh) 2021-03-23

Family

ID=66927547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910096126.6A Expired - Fee Related CN109887025B (zh) 2019-01-31 2019-01-31 单目自调式火点三维定位方法与装置

Country Status (1)

Country Link
CN (1) CN109887025B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557720B (zh) * 2019-09-12 2024-02-13 南京工程学院 基于动态基准标签的超宽带室内定位***及补盲定位方法
CN111564017B (zh) * 2020-06-04 2023-05-23 侯雨硕 一种森林火灾智能预警装置
CN115038946A (zh) * 2020-09-15 2022-09-09 华为技术有限公司 一种测温方法和测温装置
CN112330740A (zh) * 2020-10-28 2021-02-05 华北电力大学(保定) 一种基于单目视频的伪双目动态测距方法
CN112546525A (zh) * 2020-12-09 2021-03-26 上海赛复智能科技有限公司 一种中红外信号与图像分析相结合的火焰定位方法
CN112686961B (zh) * 2020-12-31 2024-06-04 杭州海康机器人股份有限公司 一种深度相机标定参数的修正方法、装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967712A (zh) * 2017-11-21 2018-04-27 海南电网有限责任公司电力科学研究院 山火精确定位和山火边缘距架空输电线垂直距离的算法
CN109146959A (zh) * 2018-08-29 2019-01-04 华南农业大学 单目相机实现动态点三维测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298818B (zh) * 2011-08-18 2013-07-10 中国科学技术大学 双目摄像火灾探测与定位装置及其火灾定位方法
CN102497509B (zh) * 2011-12-14 2013-07-03 哈尔滨工业大学 森林火点去扰动单点定位方法
US9613432B2 (en) * 2014-01-29 2017-04-04 Stmicroelectronics S.R.L. Fire detection system and method employing digital images processing
CN106504287B (zh) * 2016-10-19 2019-02-15 大连民族大学 基于模板的单目视觉目标空间定位***
KR20180138236A (ko) * 2017-06-19 2018-12-31 전자부품연구원 동적 환경에서의 화점 탐지 시스템 및 방법
CN108182706B (zh) * 2017-12-08 2021-09-28 重庆广睿达科技有限公司 一种焚烧物的监控方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967712A (zh) * 2017-11-21 2018-04-27 海南电网有限责任公司电力科学研究院 山火精确定位和山火边缘距架空输电线垂直距离的算法
CN109146959A (zh) * 2018-08-29 2019-01-04 华南农业大学 单目相机实现动态点三维测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于摄像机标定技术的林火定位方法研究;杨广群 等;《安全与环境学报》;20130228;第13卷(第1期);第215-219页 *

Also Published As

Publication number Publication date
CN109887025A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN109887025B (zh) 单目自调式火点三维定位方法与装置
CN110136208B (zh) 一种机器人视觉伺服***的联合自动标定方法及装置
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
US9043146B2 (en) Systems and methods for tracking location of movable target object
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
CN111801198B (zh) 一种手眼标定方法、***及计算机存储介质
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
WO2014133646A2 (en) Apparatus and method for three dimensional surface measurement
CN109360243B (zh) 一种多自由度可动视觉***的标定方法
JP2014089168A (ja) カメラのキャリブレーション方法及びカメラのキャリブレーション装置
CN111192318A (zh) 确定无人机位置和飞行方向的方法、装置及无人机
CN114283203A (zh) 一种多相机***的标定方法及***
CN106996769B (zh) 一种无需相机标定的主动式位姿快速重定位方法
CN113330487A (zh) 参数标定方法及装置
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
Li et al. A flexible calibration algorithm for high-speed bionic vision system based on galvanometer
CN110989645B (zh) 一种基于复眼成像原理的目标空间姿态处理方法
CN110619664B (zh) 基于激光图案辅助的摄像机距离姿态计算方法及服务器
CN116564159A (zh) 一种光电测控设备跟踪操作仿真训练***及方法
US20230100182A1 (en) Alignment Of A Radar Measurement System With A Test Target
CN113960564B (zh) 一种用于水下检测的激光综合参考***及测距和标定的方法
JPS5916912B2 (ja) イドウホウコウキヨウジソウチ
CN111028298B (zh) 一种用于刚体坐标系空间变换标定的汇聚式双目***
CN113276115A (zh) 一种无需机器人运动的手眼标定方法及装置
CN216577944U (zh) 基于光学惯性跟踪的摄像机器人虚实融合精度优化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210323

Termination date: 20220131