CN107328406A - 一种基于多源传感器的矿井移动目标定位方法与*** - Google Patents
一种基于多源传感器的矿井移动目标定位方法与*** Download PDFInfo
- Publication number
- CN107328406A CN107328406A CN201710505732.XA CN201710505732A CN107328406A CN 107328406 A CN107328406 A CN 107328406A CN 201710505732 A CN201710505732 A CN 201710505732A CN 107328406 A CN107328406 A CN 107328406A
- Authority
- CN
- China
- Prior art keywords
- target
- particle
- gateway
- mobile target
- moving target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004807 localization Effects 0.000 title claims abstract description 38
- 239000002245 particle Substances 0.000 claims abstract description 77
- 238000009434 installation Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims abstract description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 4
- 230000004438 eyesight Effects 0.000 claims description 46
- 238000012952 Resampling Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 238000005065 mining Methods 0.000 claims 1
- 239000003245 coal Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 229910002056 binary alloy Inorganic materials 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RSWGJHLUYNHPMX-UHFFFAOYSA-N Abietic-Saeure Natural products C12CCC(C(C)C)=CC2=CCC2C1(C)CCCC2(C)C(O)=O RSWGJHLUYNHPMX-UHFFFAOYSA-N 0.000 description 1
- KHPCPRHQVVSZAH-HUOMCSJISA-N Rosin Natural products O(C/C=C/c1ccccc1)[C@H]1[C@H](O)[C@@H](O)[C@@H](O)[C@@H](CO)O1 KHPCPRHQVVSZAH-HUOMCSJISA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- KHPCPRHQVVSZAH-UHFFFAOYSA-N trans-cinnamyl beta-D-glucopyranoside Natural products OC1C(O)C(O)C(CO)OC1OCC=CC1=CC=CC=C1 KHPCPRHQVVSZAH-UHFFFAOYSA-N 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明专利公开了一种基于多源传感器的矿井移动目标定位方法和***。***包括地面装置和井下装置,地面装置包括定位网关、网络交换机和视频终端;井下装置包括智能无线网关、无线传感网络节点、无线识别标签;地面装置通过光链路与所述井下装置连接并进行通信。实现该***的方法步骤包括:(1)采用ORB算法对移动目标进行匹配特征的提取训练;(2)对移动目标位置和权重初始化赋值;(3)利用混合卡尔曼粒子滤波算法预测和估计移动目标位置;(4)权值更新;(5)粒子群退化判决;(6)移动目标世界坐标转化为单目CCD图像物理坐标,并进行特征匹配的阈值分割;(7)单目CCD对采集的图像进行特征匹配;(8)采用不同策略获取移动目标位置信息;(9)实现精确定位。
Description
技术领域
本发明涉及无线通信技术和计算机视觉技术,特别是涉及一种基于多源传感器的矿井移动目标定位方法与***。
背景技术
煤炭是我国重要的基础能源,以煤为主的能源结构在相当长时间内不会改变,随着国民经济的发展和煤炭的需求量越来越大,伴随的煤矿安全生产事故也在不断增多。因此,矿井安全的要求也越来越高,这对于矿井作业人员、作业设备等移动目标定位的准确性和可靠性也提出了更高的要求。
目前,已经有一些基于RFID、WIFI、Zigbee等定位技术,以及三角形质心定位、TOA、AOA等定位算法在井下人员定位方面得到应用,但上述定位技术和定位方法,在井下移动目标定位精准度上存在问题:一方面由于井下NLOS环境电磁波非直视传播和多径干扰,WIFI、Zigbee等定位技术的实时性、准确性易受影响,而且由于矿井巷道无线电磁波传输损耗大、信号衰减较为严重,采用三角形质心定位、TOA、AOA等定位算法存在较大误差,无法实现矿井移动目标的精确定位。另一方面,RFID定位技术只能进行井下移动目标的进出识别,无法实现移动目标的二维定位,尤其是,当井下出入口及工作面同一地点同时出现多个移动目标时,RFID识别会造成漏检或识别不准问题,也难以进行准确定位。
CCD视觉定位技术广泛应用于工业非接触测量中,具有定位精度高、抗干扰能力强、可远距离获取目标图像等特点,而且,随着CCD视觉传感器及其测量技术在工业应用成果的不断推广,其在煤矿井下移动目标定位的应用也得到越来越多的重视。
发明内容
本发明所要解决的技术问题是:针对上述存在的问题,提出一种基于多源传感器的矿井移动目标定位方法与***,实现对矿井移动目标的实时跟踪与精确定位。
本发明的技术方案是:提出一种多源传感器矿井移动目标定位方法,实现该方法的***包括地面装置和井下装置,所述***的地面装置通过光链路与所述井下装置连接并进行通信,地面装置包括定位网关、网络交换机和视频终端,井下装置包括智能无线网关、无线传感网络节点、无线识别标签。
所述***的智能无线网关内置或外接本安型单目CCD视觉传感器,用于采集井下移动目标无线识别标签的图像信息,并进行ORB特征匹配和移动目标的立体标定;
所述***的智能无线网关与无线传感网络节点构成无线传感网络,并经无线网络和光链路将将井下移动目标的位置信息发送至所述定位网关;
所述***的无线识别标签,内置无线信号发射装置,并作为簇头节点用于井下无线传感网络节点的通信与定位;
所述***的无线识别标签,作为移动目标识别标志安装或固定于井下移动目标上,并利用混合卡尔曼粒子滤波算法进行移动目标位置预测和估计;以及
所述一种基于多源传感器的矿井移动目标定位方法与***,实施该***的方法步骤包括:
步骤1、所述单目CCD视觉传感器采用ORB算法对无线识别标签进行特征提取训练,并根据提取特征对移动目标识别标志特征进行匹配;
步骤2、所述无线传感网络利用混合卡尔曼粒子滤波算法为移动目标位置和权重赋值初始化;
步骤3、所述无线传感网络利用混合卡尔曼粒子滤波算法预测和估计移动目标位置,并
将预测和估计的移动目标位置转变为世界坐标;
步骤4、所述无线传感网络采用混合卡尔曼粒子滤波算法进行权值更新;
步骤5、所述无线传感网络对粒子群退化进行判决,若粒子退化,则采用混合卡尔曼粒子滤波算法进行重采样,转入步骤3,否则执行步骤6;
步骤6、将预测和估计的移动目标世界坐标转化为单目CCD视觉传感器的图像物理坐标系坐标,并进行特征匹配的阈值分割,以缩小单目CCD视觉传感器的特征匹配范围;
步骤7、所述单目CCD视觉传感器根据提取训练的特征集,采用ORB算法检测移动目标特征,并进行匹配判决;若移动目标特征匹配率Pmatch≥判决阈值Threshold,则采用单目CCD视觉传感器标定移动目标世界坐标,转入步骤9,否则执行步骤8;
步骤8、对移动目标进行融合定位,融合后的移动目标世界坐标CoordMerge=Pmatch× CoordORB+(1-Pmatch)×CoordKalman,其中,CoordORB为ORB特征匹配和立体标定的移动目标世界坐标,CoordKalman为混合卡尔曼粒子滤波算法估计的移动目标世界坐标;
步骤9、输出定位结果;
步骤10、重复执行步骤3~步骤9。
所述一种基于多源传感器的矿井移动目标定位方法与***,对井下移动目标进行混合卡尔曼粒子滤波算法的步骤进一步包括:
步骤1、初始化:在k=0时刻,设定初始粒子总数nj,并赋予粒子相同的权值
步骤2、重要性采样:根据粒子重要性采样密度函数进行采样,其中,粒子表示移动目标的概率分布,服从高斯分布且 (1≤i≤ck,1≤j≤nj),nj为该时刻粒子总数,ck为簇内节点总数,可随时间变化,从中抽取M个粒子,得到新的粒子集合
步骤3、权值更新:根据无线传感网络采集的移动目标位置信号和传感器节点的先验信息,由计算M个粒子权值,并归一化权值
步骤4、粒子重采样:根据重采样的衡量指标判断是否满足粒子退化条件Mi,k<M0,其中M0为初始权重,若满足,则对粒子集重采样,重采样后的粒子集为权值为否则,粒子集无需重采样。
步骤5、状态预测与估计:根据 计算k时刻第i节点的均值、协方差和权值状态参数估计值集合其中
步骤6、粒子数量更新:无迹卡尔曼滤波(UKF)算法更新粒子,从集合中选择一组样本点集合近似表示k-1时刻的状态分布根据传递样本点更新预测估计值集合扩展卡尔曼滤波(EKF)算法更新UKF算法估计值集合,将作为EKF在k-1时刻的估计值,即利用重要性采样密度函数将其代入公式计算k+1时刻的粒子数得到迭代后的参数估计值
步骤7、输出估计值与融合结果:输出参数估计值及根据 计算数据融合后的结果
步骤8、判定是否结束信息采集:簇头节点根据数据融合结果判断估计值协方差的最小迹Jk是否达到设定阈值J0,若Jk≥J0,则输出定位结果否则执行步骤9。
步骤9、粒子数量更新:根据计算k+1时刻的粒子数令k=k+1,重复执行步骤2~步骤8。
步骤10、输出定位结果。
所述的一种基于多源传感器的矿井移动目标定位方法与***,对井下移动目标进行ORB 特征匹配的步骤进一步包括:
步骤1、利用ORB算法检测特征点,采用FAST算子检测井下移动目标特征点。
步骤2、对检测到的井下移动目标特征点添加方向信息,构成oFAST。
步骤3、采用灰度质心法对检测到的井下移动目标角点添加方向信息。ORB采用灰度质心法给检测到的角点添加方向信息。Rosin定义邻域矩:mpq=∑x,yxpyqI(x,y),质心为:特征点与质心夹角定义为FAST特征点的方向:θ=atan2(m01,m10)。
步骤4、采用BRIEF描述子对检测到的井下移动目标进行特征点描述。
步骤5、对检测到的井下移动目标特征点描述子添加旋转不变性,构成SteerBRIEF,不仅利用BRIEF的计算简单、快速的优点,而且解决了BRIEF本身不具有旋转不变性的特点。定义S×S大小图像,算法提取到特征点描述符其中p(x)是平滑之后图像邻域P在x=(u,v)T处的灰度值。对于(xi,yi)的n个位置对,Steer BRIEF在 (xi,yi)处,对于任意n个位置对的特征集利用旋转矩阵Rθ旋转匹配点,得到带有方向的特征集Sθ=RθS。
步骤6、计算两个匹配点对的描述子Hamming距离Ham,进行特征匹配判决。旋转后的二进制准则描述子gn(p,θ):=fn(p)|(xi,yi)∈Sθ,在匹配时只需计算两个特征点描述子的 Hamming距离Ham,进行特征匹配判决。
步骤7、利用贪婪算法从所有可能的像素块对中搜索已设定的n个相关性最低的像素块对,检索并匹配移动目标特征,判决特征匹配结果。
所述一种基于多源传感器的矿井移动目标定位方法与***,单目CCD视觉传感器对井下移动目标进行立体标定的步骤进一步包括:
步骤1、所述单目CCD视觉传感器采集移动目标图像,并利用ORB特征匹配算法进行目标识别;
步骤2、所述单目CCD视觉传感器根据外部测量获取单目CCD视觉传感器的位置高度h、俯仰角α;
步骤3、所述单目CCD视觉传感器进行内部参数标定,获取焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标;
步骤4、所述单目CCD视觉传感器根据内外参数:位置高度h、俯仰角α、焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标,可以获取移动目标的世界坐标。
所述一种基于多源传感器的的矿井移动目标定位方法与***,其中,
智能无线网关,用于对多源传感器采集的矿井移动目标位置信息进行融合处理,并将融合信息转发给定位网关。
无线传感网络节点,用于采集和接收来自移动目标无线识别标签发射的无线信号,并对移动目标位置进行预测和估计。
定位网关,用于处理、存储矿井移动目标实时位置信息,为井下移动目标提供移动定位服务。
网络交换机,用于井下智能无线网关与地面定位网关的互联,并实现所述定位***与地面通信网络的互联。
视频终端,用于接收来自于定位网关的图像和实时定位信息,并进行可视化显示。
本发明的有益效果在于:
该发明基于混合卡尔曼粒子滤波算法与ORB算法,通过无线传感网络对井下移动目标的混合卡尔曼粒子滤波预测、更新和单目CCD视觉标定、定位相融合,提供了一种基于多源传感器的矿井移动目标定位方法与***。本发明解决了现有定位技术存在漏检和识别不准、定位精度较低等问题,尤其是通过CCD视觉特征匹配实现移动目标的匹配面切割、快速匹配,以及克服了井下NLOS环境下目标遮挡导致无法对移动目标识别、精准定位问题,提高了井下移动目标定位的实时性、准确性和***鲁棒性。***定位精度高,抗干扰能力强,适宜于各种复杂环境及限定空间的移动目标实时跟踪与精确定位。
附图说明
图1为一种基于多源传感器的矿井移动目标定位方法与***的***组成示意图。
图2为一种基于多源传感器的矿井移动目标定位方法与***的定位流程图。
图3为一种基于多源传感器的矿井移动目标定位方法与***采用的混合卡尔曼粒子滤波算法流程图。
图4为一种基于多源传感器的矿井移动目标定位方法与***采用的ORB算法流程图。
图5为一种基于多源传感器的矿井移动目标定位方法与***采用的单目CCD定位算法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合附图对本发明的具体实施方式进行详细描述。
图1为一种基于多源传感器的矿井移动目标定位方法与***的***组成。参照图1所示,实现上述矿井定位方法的***主要包括:无线识别标签(101)、无线传感网络节点(102)、智能无线网关(103)、网络交换机(104)、定位网关(105)、视频终端(106)。
其中,无线识别标签(101),内置无线信号发射装置,并作为簇头节点用于井下无线传感网络节点的通信与定位,无线识别标签还作为移动目标识别标志安装或固定于井下移动目标上;无线传感网络节点(102),用于采集和接收来自移动目标无线识别标签发射的无线信号,并对移动目标位置进行预测和估计;智能无线网关(103),内置或外接单目CCD视觉传感器,用于采集井下移动目标无线识别标签的图像信息,并进行ORB特征匹配和移动目标的立体标定,无线智能网关用于对多源传感器采集的矿井移动目标位置信息进行融合处理,并将融合信息转发给定位网关;网络交换机(104),用于井下智能无线网关与地面定位网关的互联,并实现所述定位***与地面通信网络的互联;定位网关(105),用于处理、存储矿井移动目标实时位置信息,为井下移动目标提供移动定位服务;视频终端(106),用于接收来自于定位网关的图像和实时定位信息,将图像和实时定位信息进行可视化显示。
图2为多源传感器的矿井移动目标定位方法的定位流程图。参照图2所示,一种基于多源传感器的矿井移动目标定位方法与***的定位流程步骤及功能描述如下:(1)单目CCD对无线识别标签特征提取与训练(201),单目CCD视觉传感器对于安装在矿井移动目标的无线识别标签进行匹配特征的识别与提取训练,为目标的ORB算法匹配提供匹配特征;(2)混合卡尔曼粒子滤波算法为移动目标位置和权重赋初值(202),在k=0时刻,设定初始粒子总数nj,并赋予粒子相同的权值根据粒子重要性采样密度函数进行采样,从中抽取M个粒子,得到新的粒子集合粒子表示移动目标的概率分布;(3)混合卡尔曼粒子滤波算法预测和估计位置(203),计算当前时刻k第i节点的均值、协方差和权值状态参数估计值集合实现移动目标的位置预测和估计;(4)混合卡尔曼粒子滤波的权值更新(204),根据单目CCD视觉传感器采集的移动目标世界坐标校正权值并对粒子权重进行归一化处理;(5)判决粒子是否退化(205),根据重采样的衡量指标判断是否满足粒子退化条件Mi,k<M0,其中M0为初始权重,若满足,则对粒子集重采样,否则,粒子集无需重采样,进行步骤(207);(6)混合卡尔曼粒子滤波算法的重采样(206),满足粒子群退化条件,混合卡尔曼粒子滤波算法进行粒子群重采样;(7)将移动目标预测和估计的世界坐标转化为CCD的图像物理坐标,并进行特征匹配的阈值分割(207),将预测和估计的移动目标世界坐标转化为单目CCD视觉传感器的图像物理坐标系坐标,并进行特征匹配的阈值分割,以缩小单目CCD视觉传感器的特征匹配范围,实现更快更高效特征匹配;(8)单目CCD视觉传感器检测移动目标特征(208),单目CCD视觉传感器采集移动目标图像,在混合卡尔曼粒子滤波算法切割图像物理坐标系范围内进行移动目标特征匹配;(9)判决ORB特征匹配率Pmatch是否大于等于判决门限Threshold(209),当Pmatch≥Threshold,继续向下执行流程(210),否则,转而执行流程(211);(10)单目CCD视觉传感器对移动目标定位(210),当单目CCD视觉传感器的移动目标特征匹配率Pmatch≥Threshold时,根据获得的单目CCD视觉传感器的内外参数:位置高度h、俯仰角α、焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标来获取移动目标的世界坐标;(11)混合卡尔曼粒子滤波算法定位与单目CCD视觉传感器定位融合(211),当单目CCD视觉传感器的移动目标特征匹配率Pmatch<Threshold时,混合卡尔曼粒子滤波算法对移动目标位置的参数估计量和单目CCD视觉传感器求得的移动目标世界坐标进行数据融合定位,输出融合后的移动目标世界坐标CoordMerge,其中, CoordMerge=Pmatch×CoordORB+(1-Pmatch)×CoordKalman,CoordORB为ORB特征匹配和立体标定的移动目标世界坐标,CoordKalman为混合卡尔曼粒子滤波算法估计的移动目标世界坐标;(12)输出移动目标世界坐标,实现定位(212),根据单目CCD视觉传感器的移动目标特征匹配在不同特征匹配率下的定位策略,多源传感器定位方法输出移动目标的世界坐标,实现矿井下移动目标精确定位。
图3为一种基于多源传感器的矿井移动目标定位方法与***采用的混合卡尔曼粒子滤波算法流程图。如图3所示,一种基于多源传感器的矿井移动目标定位方法与***采用的混合卡尔曼粒子滤波算法流程步骤包括:(1)粒子初始化(301),在k=0时刻,设定初始粒子总数nj,并赋予粒子相同的权值(2)重要性采样(302),根据粒子重要性采样密度函数进行采样,从中抽取M个粒子,得到新的粒子集合 粒子表示移动目标的概率分布;(3)权值更新(303),由单目CCD视觉传感器对移动目标位置和传感器节点的先验信息计算M个粒子权值,并归一化权值 (4)判决粒子是否重采样(304),根据重采样的衡量指标判断是否满足粒子退化条件 Mi,k<M0,其中M0为初始权重,若满足,则对粒子集重采样,重采样后的粒子集为权值为否则,粒子集无需重采样;(5)状态预测与估计(305),计算k时刻第i节点的均值、协方差和权值状态参数估计值集合(6)粒子更新(306),利用UKF算法更新粒子,从集合中选择一组样本点集合近似表示k-1时刻的状态分布根据传递样本点更新预测估计值集合利用EKF算法更新UKF算法估计值集合,将作为EKF在k-1时刻的估计值,即利用重要性采样密度函数为 计算k+1时刻的粒子数 k=k+1,得到迭代后的参数估计值(7)输出估计值与融合结果(307),输出参数估计值及根据计算数据融合后的结果(8)判断是否结束信息采集(308),判断预测估计值协方差的最小迹是否满足设定阈值条件,若满足则输出定位结果否则执行步骤 (309);(9)粒子数量更新(309),根据计算k+1时刻的粒子数令k=k+1,返回步骤(302),重复执行步骤(302)~(308);(10)输出定位结果 (310)。
图4为一种基于多源传感器的矿井移动目标定位方法与***采用的ORB算法流程图。如图4所示,一种基于多源传感器的矿井移动目标定位方法与***采用的ORB算法流程步骤包括:(1)输入移动目标图像信息(401),将单目CCD视觉传感器的采集到的移动目标图像作为ORB算法特征匹配的输入;(2)利用oFAST算子进行特征点检测(402),采用对FAST算子添加旋转不变性形成oFAST算子,利用oFAST算子进行特征点检测,并且采用灰度质心法为检测到的特征点增加匹配局部不变性;(3)使用Steer BRIEF对特征点进行描述(403),Steer BRIEF算法利用BRIEF的计算简单、快速的优点对oFAST算法检测到的特征点进行特征描述,并且解决了BRIEF本身不具有旋转不变性的缺点;(4)构建特征集及二进制准则描述子(404),定义S×S大小图像,该区域内选取任意n个位置特征对(xi,yi)构成特征集并在 S×S大小图像内,构建算法提取到特征点描述符Steer BRIEF 在(xi,yi)处,对于任意n个位置对的特征集利用旋转矩阵Rθ旋转匹配点,得到带有方向的特征集Sθ=RθS,旋转后的二进制准则描述子gn(p,θ):=fn(p)|(xi,yi)∈Sθ;(5) 设置特征匹配的阈值Haming距离(405),多次利用相同特征图像匹配训练得到相同特征图像匹配的阈值Haming距离并求均值,以获得最佳特征匹配的阈值Haming距离,设置该特征匹配的阈值Haming距离均值作为特征对是否配的判决标准;(6)贪婪检索符合特征匹配像素块 (406),使用贪婪算法检出小于等于设定Haming距离阈值的像素块,检索出特征匹配的结果; (7)输出特征匹配检索结果(407),根据贪婪算法的检索出特征匹配的结果,判决特征匹配结果。
图5为一种基于多源传感器的矿井移动目标定位方法与***采用的单目CCD定位算法流程。如图5所示,上述矿井定位方法采用的单目CCD定位算法流程主要包括:(1)单目CCD 对移动目标采集图像(501),单目CCD视觉传感器采集移动目标图像,并利用ORB特征匹配算法进行目标识别;(2)获取单目CCD的位置高度和俯仰角(502),根据外部测量获取单目CCD视觉传感器的位置高度h、俯仰角α;(3)单目CCD进行内部参数标定(503),单目CCD 视觉传感器进行内部参数标定,获取焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标;(4)获取移动目标的世界坐标(504),根据已经获得的单目CCD视觉传感器的内外参数:位置高度h、俯仰角α、焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标来获取移动目标的世界坐标。
显然,本领域的技术人员应该明白,本发明及上述实施例所涉及定位方法及***各组成功能,除作为矿井移动目标定位应用于煤矿井下环境外,通过适当集成或改进后也适用于非金属和金属等非煤矿山的移动目标监控、跟踪与定位,以及安全监控领域移动目标跟踪与定位。这样本发明不限制除煤矿井下移动目标定位之外的非煤矿山等移动监控和移动目标精确定位等通信技术领域。
以上内容是结合具体的优选实施例方式对本发明所做的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明设计思路的前提下,还可进行若干简单的替换和更改,都应当视为属于本发明所提交的权利要求书所涉及的保护范围。
Claims (6)
1.一种基于多源传感器的矿井移动目标定位方法与***,其特征在于,实现该方法的***包括地面装置和井下装置,所述***的地面装置通过光链路与所述井下装置连接并进行通信;
所述***的地面装置包括定位网关、网络交换机和视频终端;
所述***井下装置包括智能无线网关、无线传感网络节点、无线识别标签;
所述***的智能无线网关内置或外接单目CCD视觉传感器,用于采集井下移动目标无线识别标签的图像信息,并进行ORB特征匹配和移动目标的立体标定;
所述***的智能无线网关与无线传感网络节点构成无线传感网络,并经无线网络和光链路将井下移动目标的位置信息发送至所述定位网关;
所述***的无线识别标签,内置无线信号发射装置,并作为簇头节点用于井下无线传感网络节点的通信与定位;其特征还在于,
所述***的无线识别标签,作为移动目标识别标志安装或固定于井下移动目标上,并利用混合卡尔曼粒子滤波算法进行移动目标位置预测和估计;以及
所述多源传感器的矿井移动目标定位方法与***,实施该***的方法步骤包括:
(1)所述单目CCD视觉传感器采用ORB算法对无线识别标签进行特征提取训练,并根据提取特征对移动目标识别标志特征进行匹配;
(2)所述无线传感网络利用混合卡尔曼粒子滤波算法为移动目标位置和权重赋值初始化;
(3)所述无线传感网络利用混合卡尔曼粒子滤波算法预测和估计移动目标位置,并将预测和估计的移动目标位置转变为世界坐标;
(4)所述无线传感网络采用混合卡尔曼粒子滤波算法进行权值更新;
(5)所述无线传感网络对粒子群退化进行判决,若粒子退化,则采用混合卡尔曼粒子滤波算法进行重采样,转入步骤(3),否则执行步骤(6);
(6)将预测和估计的移动目标世界坐标转化为单目CCD视觉传感器的图像物理坐标系坐标,并进行特征匹配的阈值分割,以缩小单目CCD视觉传感器的特征匹配范围;
(7)所述单目CCD视觉传感器根据提取训练的特征集,采用ORB算法检测移动目标特征,并进行匹配判决;若移动目标特征匹配率Pmatch≥判决阈值Threshold,则采用单目CCD视觉传感器标定移动目标世界坐标,转入步骤(9),否则执行步骤(8);
(8)对移动目标进行融合定位,融合后的移动目标世界坐标CoordMerge=Pmatch×CoordORB+(1-Pmatch)×CoordKalman,其中,CoordORB为ORB特征匹配和立体标定的移动目标世界坐标,CoordKalman为混合卡尔曼粒子滤波算法估计的移动目标世界坐标;
(9)输出定位结果;
(10)重复执行步骤(3)~(9)。
2.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法与***,其特征在于,所述无线传感网络采用混合卡尔曼粒子滤波算法进行定位的步骤,进一步包括:
(1)初始化:在k=0时刻,设无线传感网络节点的初始粒子总数为nj,并赋予粒子相同的权值
(2)重要性采样:无线传感网络节点根据粒子重要性采样密度函数进行采样,从中抽取M个粒子,得到新的粒子集合其中为采样粒子的概率分布,ck为簇内节点总数;
(3)权值更新:对粒子权值进行归一化处理;
(4)粒子重采样:判断是否满足粒子退化条件,若粒子退化,则进行粒子重采样,重采样后的粒子集为
(5)状态预测与估计:计算k时刻第i节点的均值、协方差和权值状态参数估计值集合其中
(6)粒子更新:利用UKF算法更新k时刻的预测估计值集合,并将其作为EKF算法k-1时刻的估计值,根据粒子重要性采样密度函数计算k+1时刻的粒子数得到迭代后的参数估计值
(7)输出估计值与融合结果:输出参数估计值及根据 计算数据融合后的结果
(8)判断是否结束采样:判断预测估计值协方差的最小迹是否满足设定阈值条件,若满足则转入步骤(10),否则执行步骤(9);
(9)粒子数量更新:根据计算k+1时刻的粒子数k=k+1,重复执行步骤(2)~(8);
(10)输出定位结果
3.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法与***,其特征在于,对井下移动目标进行ORB特征匹配的步骤进一步包括:
(1)利用ORB算法检测特征点,采用FAST算子检测井下移动目标特征点;
(2)对检测到的井下移动目标特征点添加方向信息,构成oFAST;
(3)采用灰度质心法对检测到的井下移动目标角点添加方向信息;
(4)采用BRIEF描述子对检测到的井下移动目标进行特征点描述;
(5)对检测到的井下移动目标特征点描述子添加旋转不变性,构成Steer BRIEF;
(6)计算两个匹配点对的描述子Hamming距离Ham,进行特征匹配判决;
(7)利用贪婪算法从所有可能的像素块对中搜索已设定的n个相关性最低的像素块对,检索并匹配移动目标特征,判决特征匹配结果。
4.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法与***,其特征在于,对井下移动目标进行立体标定的步骤进一步包括:
(1)所述单目CCD视觉传感器采集移动目标图像,并利用ORB特征匹配算法进行目标识别;
(2)所述单目CCD视觉传感器根据外部测量获取单目CCD视觉传感器的位置高度h、俯仰角α;
(3)所述单目CCD视觉传感器进行内部参数标定,获取焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标;
(4)所述单目CCD视觉传感器根据内外参数:位置高度h、俯仰角α、焦距f、水平和竖直方向的像元间距dx、dy和图像物理坐标系坐标,获取移动目标的世界坐标。
5.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法与***,其特征在于,
智能无线网关,用于对多源传感器采集的矿井移动目标位置信息进行融合处理,并将融合信息转发给定位网关;
无线传感网络节点,用于采集和接收来自移动目标无线识别标签发射的无线信号,并对移动目标位置进行预测和估计;
定位网关,用于处理、存储矿井移动目标实时位置信息,为井下移动目标提供移动定位服务;
网络交换机,用于井下智能无线网关与地面定位网关的互联,并实现所述定位***与地面通信网络的互联;
视频终端,用于接收来自于定位网关的图像和实时定位信息,并进行可视化显示。
6.根据权利要求1所述一种基于多源传感器的矿井移动目标定位方法与***,其特征在于,所述***的井下装置,为矿用本质安全型防爆装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710505732.XA CN107328406B (zh) | 2017-06-28 | 2017-06-28 | 一种基于多源传感器的矿井移动目标定位方法与*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710505732.XA CN107328406B (zh) | 2017-06-28 | 2017-06-28 | 一种基于多源传感器的矿井移动目标定位方法与*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107328406A true CN107328406A (zh) | 2017-11-07 |
CN107328406B CN107328406B (zh) | 2020-10-16 |
Family
ID=60198439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710505732.XA Active CN107328406B (zh) | 2017-06-28 | 2017-06-28 | 一种基于多源传感器的矿井移动目标定位方法与*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107328406B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110225458A (zh) * | 2019-01-14 | 2019-09-10 | 北京理工大学 | 一种基于混合滤波的uwb定位***与方法 |
CN111866743A (zh) * | 2020-07-27 | 2020-10-30 | 精英数智科技股份有限公司 | 井下传感器位置更新方法及电子设备 |
CN114199275A (zh) * | 2020-09-18 | 2022-03-18 | 阿里巴巴集团控股有限公司 | 传感器的参数确定方法和装置 |
CN115235479A (zh) * | 2022-09-23 | 2022-10-25 | 江西省智能产业技术创新研究院 | 自动导引车的定位方法、装置、可读存储介质及电子设备 |
CN117557401A (zh) * | 2024-01-12 | 2024-02-13 | 东华理工大学南昌校区 | 一种基于地质大数据的铀矿找矿靶区智能圈定方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807900A (zh) * | 2010-03-10 | 2010-08-18 | 北京航空航天大学 | 基于并行遗传重采样的粒子滤波技术 |
CN102359783A (zh) * | 2011-07-22 | 2012-02-22 | 北京大学 | 基于视觉的移动机器人定位方法 |
CN104208865A (zh) * | 2013-06-03 | 2014-12-17 | 飞比特公司 | 具有高度计的健身监视装置 |
US20160069690A1 (en) * | 2014-09-08 | 2016-03-10 | Invensense, Inc. | Method and apparatus for using map information aided enhanced portable navigation |
CN105787959A (zh) * | 2015-11-16 | 2016-07-20 | 浙江工业大学 | 基于改进型自适应粒子滤波的多智能体网络目标跟踪方法 |
CN106017454A (zh) * | 2016-06-16 | 2016-10-12 | 东南大学 | 一种基于新型多传感器融合技术的行人导航装置和方法 |
CN106558069A (zh) * | 2016-10-10 | 2017-04-05 | 广东技术师范学院 | 一种基于视频监控下的目标跟踪方法及*** |
CN106647265A (zh) * | 2016-12-12 | 2017-05-10 | 辽宁工程技术大学 | 一种矿井救灾探测机器人的智能控制方法 |
-
2017
- 2017-06-28 CN CN201710505732.XA patent/CN107328406B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807900A (zh) * | 2010-03-10 | 2010-08-18 | 北京航空航天大学 | 基于并行遗传重采样的粒子滤波技术 |
CN102359783A (zh) * | 2011-07-22 | 2012-02-22 | 北京大学 | 基于视觉的移动机器人定位方法 |
CN104208865A (zh) * | 2013-06-03 | 2014-12-17 | 飞比特公司 | 具有高度计的健身监视装置 |
US20160069690A1 (en) * | 2014-09-08 | 2016-03-10 | Invensense, Inc. | Method and apparatus for using map information aided enhanced portable navigation |
CN105787959A (zh) * | 2015-11-16 | 2016-07-20 | 浙江工业大学 | 基于改进型自适应粒子滤波的多智能体网络目标跟踪方法 |
CN106017454A (zh) * | 2016-06-16 | 2016-10-12 | 东南大学 | 一种基于新型多传感器融合技术的行人导航装置和方法 |
CN106558069A (zh) * | 2016-10-10 | 2017-04-05 | 广东技术师范学院 | 一种基于视频监控下的目标跟踪方法及*** |
CN106647265A (zh) * | 2016-12-12 | 2017-05-10 | 辽宁工程技术大学 | 一种矿井救灾探测机器人的智能控制方法 |
Non-Patent Citations (2)
Title |
---|
GEORGIOS A. KORDELAS,ET AL: "Enhanced disparity estimation in stereo images", 《IMAGE AND VISION COMPUTING》 * |
张磊,彭力: "结合 SURF 与 Kalman 滤波的 CAMShift 跟踪算法", 《电子测量与仪器学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110225458A (zh) * | 2019-01-14 | 2019-09-10 | 北京理工大学 | 一种基于混合滤波的uwb定位***与方法 |
CN110225458B (zh) * | 2019-01-14 | 2020-10-09 | 北京理工大学 | 一种基于混合滤波的uwb定位***与方法 |
CN111866743A (zh) * | 2020-07-27 | 2020-10-30 | 精英数智科技股份有限公司 | 井下传感器位置更新方法及电子设备 |
CN114199275A (zh) * | 2020-09-18 | 2022-03-18 | 阿里巴巴集团控股有限公司 | 传感器的参数确定方法和装置 |
CN115235479A (zh) * | 2022-09-23 | 2022-10-25 | 江西省智能产业技术创新研究院 | 自动导引车的定位方法、装置、可读存储介质及电子设备 |
CN115235479B (zh) * | 2022-09-23 | 2022-12-06 | 江西省智能产业技术创新研究院 | 自动导引车的定位方法、装置、可读存储介质及电子设备 |
CN117557401A (zh) * | 2024-01-12 | 2024-02-13 | 东华理工大学南昌校区 | 一种基于地质大数据的铀矿找矿靶区智能圈定方法 |
CN117557401B (zh) * | 2024-01-12 | 2024-04-02 | 东华理工大学南昌校区 | 一种基于地质大数据的铀矿找矿靶区智能圈定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107328406B (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107015193B (zh) | 一种双目ccd视觉矿井移动目标定位方法及*** | |
CN107328406A (zh) | 一种基于多源传感器的矿井移动目标定位方法与*** | |
CN102811343B (zh) | 一种基于行为识别的智能视频监控*** | |
CN109685066A (zh) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 | |
CN106054169B (zh) | 基于跟踪信息的多站雷达信号融合检测方法 | |
CN106646474A (zh) | 一种非结构化道路凹凸障碍物检测装置 | |
CN108182413A (zh) | 一种矿井移动目标检测与跟踪识别方法 | |
CN109407697A (zh) | 一种基于双目视觉测距的无人机跟踪运动目标***及方法 | |
CN103646250B (zh) | 基于距离图像头肩特征的行人监测方法及装置 | |
CN108445480A (zh) | 基于激光雷达的移动平台自适应扩展目标跟踪***及方法 | |
CN108168556B (zh) | 融合粒子群优化与Taylor级数展开的掘进支护支架超宽带定位方法 | |
CN110022530B (zh) | 一种用于地下空间的无线定位方法和*** | |
CN104410839B (zh) | 一种移动式输电线杆塔区域山火与山体滑坡灾害在线监测***与监测方法 | |
CN110388926B (zh) | 一种基于手机地磁和场景图像的室内定位方法 | |
CN107436427A (zh) | 空间目标运动轨迹与辐射信号关联方法 | |
CN113192105B (zh) | 一种室内多人追踪及姿态估量的方法及装置 | |
Papaioannou et al. | Tracking people in highly dynamic industrial environments | |
CN104133983A (zh) | 基于加权负一阶rd和的多目标伯努利分布式融合方法 | |
CN108696833A (zh) | 基于水下无线传感器网络的水污染监测*** | |
CN115808170B (zh) | 一种融合蓝牙与视频分析的室内实时定位方法 | |
CN109859202A (zh) | 一种基于usv水面光学目标跟踪的深度学习检测方法 | |
CN113156417A (zh) | 反无人机探测***、方法和雷达设备 | |
Xue et al. | DeepTAL: Deep learning for TDOA-based asynchronous localization security with measurement error and missing data | |
CN114222240A (zh) | 一种基于粒子滤波的多源融合定位方法 | |
CN104569963A (zh) | 用于超宽带穿墙雷达运动目标一维检测与跟踪的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |