CN112446440B - 基于msr-cnn的机器人多传感器目标跟踪方法 - Google Patents
基于msr-cnn的机器人多传感器目标跟踪方法 Download PDFInfo
- Publication number
- CN112446440B CN112446440B CN202110125273.9A CN202110125273A CN112446440B CN 112446440 B CN112446440 B CN 112446440B CN 202110125273 A CN202110125273 A CN 202110125273A CN 112446440 B CN112446440 B CN 112446440B
- Authority
- CN
- China
- Prior art keywords
- cnn
- scale
- data
- msr
- target tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Discrete Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明设计基于MSR‑CNN的机器人多传感器目标跟踪方法,目标跟踪技术在智能监控、无人驾驶等诸多领域得到了广泛的应用,但目标跟踪算法在复杂,环境下仍然面临着巨大的挑战。针对此问题本发明提出了基于MSR‑CNN的机器人多传感器目标跟踪方法,机器人利用双目相机采集图像,利用机器人采集的多角度信息,首先对双目相机采集图像进行多尺度分解,然后利用对多尺度分解图像进行图像显著性检测对图像关键位置进行分割。最后使用MSR‑CNN对图像目标进行识别,实现机器人目标跟踪的目的。
Description
技术领域
本发明涉及智能机器人,特别设计基于MSR-CNN的机器人多传感器目标跟踪方法。
背景技术
目标跟踪技术在智能监控、无人驾驶等诸多领域得到了广泛的应用,但目标跟踪算法在复杂,环境下仍然面临着巨大的挑战。尤其是无人驾驶领域,目标跟踪计算显得尤为重要,误判将会给用户的人身安全和社会经济造成巨大的损害。
近年来,随着深度学习技术的不断进步,基于深度学习的目标跟踪技术得到极大的发展。Siam R-CNN网络采用了小尺寸的卷积核,被广泛的应用到人脸识别、目标跟踪技术等。但是Siam R-CNN技术也有许多不足之处,例如,实时性鲁棒性不足等,这些极大的限制了Siam R-CNN在目标跟踪技术领域的发展。
发明内容
为了解决上述存在问题。本发明提出基于MSR-CNN的机器人多传感器目标跟踪方法,通过MSR-CNN算法利用多尺度数据图像做目标识别,并对多种数据源的采集图像进行处理,从而能够跟踪目标高效准确评估。为达此目的:
本发明提出基于MSR-CNN的机器人多传感器目标跟踪方法,具体步骤如下:
步骤1:机器人使用双目相机,采集多角度目标图像;
步骤2:图像预处理,对双目相机采集的多角度目标图像数据进行多尺度降采样,建立多尺度数据集;
步骤3:对多尺度数据集进行显著性检测,通过PDFT算法的脉冲离散傅里叶变换公式获得多尺度显著性特征集;
步骤4:把预处理输出的多尺度显著性特征集送入Siam R-CNN网络进行网络训练;
步骤5:对不同尺度的数据源训练模型进行加权决策;
步骤6:使用GA算法,GA对不同尺度的数据源训练模型进行寻优处理,得到最优权值;
步骤7:使用测试样本对训练出GA-Siam R-CNN进行性能测试;
步骤8:使用最佳评估模型对目标跟踪。
作为本发明进一步改进,所述步骤2中对 双目相机采集的多角度目标图像数据进行多尺度降采样的尺度分别为×1、×4、×16,其中,×1代表原图像,×4代表图像缩小4倍,×16代表图像缩小16倍。
作为本发明进一步改进,所述步骤3中,脉冲离散傅里叶变换,公式为:
其中,X是数据集,DFT(•)是离散傅里叶变换函数,sign(•)代表取符号函数,DFT-1(•)是逆离散傅里叶变换函数,abs(•)是取模值函数,wiener(•)是维纳滤波函数。
作为本发明进一步改进,所述步骤5中不同数据源的加权决策处理公式为:
其中,y1、y2、y3分别是左相机采集图像所对应多尺度×1、×4、×16数据集在SiamR-CNN模型下的识别结果,w1、w2、w3分别是y1、y2、y3在最终决策的权值,y4、y5、y6分别是右相机采集图像所对应多尺度×1、×4、×16数据集在Siam R-CNN模型下的识别结果,w4、w5、w6分别是y4、y5、y6在最终决策的权值,权值均是非负数。
作为本发明进一步改进,所述步骤6中GA算法表示为:
其中,M为数据集的显著性数据, SRCNN表示数据集训练的Siam R-CNN网络模型,GA(•)是GA算法函数。
本发明基于MSR-CNN的机器人多传感器目标跟踪方法,有益效果在于:
1. 本发明通过MSR-CNN算法利用多尺度数据图像做目标识别,并对多种数据源的采集图像进行处理,从而能够跟踪目标高效准确评估;
2.本发明利用多源数据源,使得目标判断更加精准;
3. 本发明利用GA能够找到多源数据权值的最优值,增加了模型的准确度;
4. 本发明提出了PDFT算法,该算法是一种以离散傅里叶变换为核心的显著检测算法,通过PDFT去作为核心,进行显著性检测算法,从而有效寻找出图像的显著性区域,增加算法的鲁棒性;
5. 本发明提出了MSR-CNN算法,泛化能力强。
附图说明
图1是***架构图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提出基于MSR-CNN的机器人多传感器目标跟踪方法,通过相应算法利用多尺度数据图像做目标识别,并对多种数据源的采集图像进行处理,从而能够跟踪目标高效准确评估。如图1是***架构图。
首先,机器人使用双目相机,采集多角度目标图像,图像预处理主要对双目相机采集的多角度数据进行多尺度降采样,建立多尺度数据集,接着,对多尺度数据集进行显著性检测,获得多尺度显著性特征集。
图像降采样的尺度分别为×1、×4、×16,其中,×1代表原图像,×代表图像缩小4倍,×16代表图像缩小16倍。
之后对多尺度数据集进行显著性检测,通过PDFT算法的脉冲离散傅里叶变换公式获得多尺度显著性特征集,其中脉冲离散傅里叶变换,公式为:
其中,X是数据集,DFT(•)是离散傅里叶变换函数,sign(•)代表取符号函数,DFT-1(•)是逆离散傅里叶变换函数,abs(•)是取模值函数,wiener(•)是维纳滤波函数。
然后,把预处理输出的多尺度显著性特征集送入Siam R-CNN网络进行网络训练;对不同尺度的数据源训练模型进行加权决策。
不同数据源的加权决策处理公式为:
其中,y1、y2、y3分别是左相机采集图像所对应多尺度×1、×4、×16数据集在SiamR-CNN模型下的识别结果,w1、w2、w3分别是y1、y2、y3在最终决策的权值,y4、y5、y6分别是右相机采集图像所对应多尺度×1、×4、×16数据集在Siam R-CNN模型下的识别结果,w4、w5、w6分别是y4、y5、y6在最终决策的权值,权值均是非负数。
最后,使用GA算法对不同尺度的数据源训练模型进行寻优处理,得到最优权值,使用测试样本对训练出GA-Siam R-CNN进行性能测试,最后,使用最佳评估模型对目标跟踪。
GA算法表示为:
其中,M为数据集的显著性数据, SRCNN表示数据集训练的Siam R-CNN网络模型,GA(•)是GA算法函数。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。
Claims (3)
1.基于MSR-CNN的机器人多传感器目标跟踪方法,具体步骤如下,其特征在于,
步骤1:机器人使用双目相机,采集多角度目标图像;
步骤2:图像预处理,对双目相机采集的多角度目标图像数据进行多尺度降采样,建立多尺度数据集;
所述步骤2中对 双目相机采集的多角度目标图像数据进行多尺度降采样的尺度分别为×1、×4、×16,其中,×1代表原图像,×4代表图像缩小4倍,×16代表图像缩小16倍;
步骤3:对多尺度数据集进行显著性检测,通过PDFT算法的脉冲离散傅里叶变换公式获得多尺度显著性特征集;
所述步骤3中,脉冲离散傅里叶变换公式为:
其中,X是数据集,DFT(•)是离散傅里叶变换函数,sign(•)代表取符号函数,DFT-1(•)是逆离散傅里叶变换函数,abs(•)是取模值函数,wiener(•)是维纳滤波函数;
步骤4:把预处理输出的多尺度显著性特征集送入Siam R-CNN网络进行网络训练;
步骤5:对不同尺度的数据源训练模型进行加权决策;
步骤6:使用GA算法对不同尺度的数据源训练模型进行寻优处理,得到最优权值;
步骤7:使用测试样本对训练出GA-Siam R-CNN进行性能测试;
步骤8:使用最佳评估模型对目标跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110125273.9A CN112446440B (zh) | 2021-01-29 | 2021-01-29 | 基于msr-cnn的机器人多传感器目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110125273.9A CN112446440B (zh) | 2021-01-29 | 2021-01-29 | 基于msr-cnn的机器人多传感器目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112446440A CN112446440A (zh) | 2021-03-05 |
CN112446440B true CN112446440B (zh) | 2021-04-16 |
Family
ID=74740131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110125273.9A Active CN112446440B (zh) | 2021-01-29 | 2021-01-29 | 基于msr-cnn的机器人多传感器目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446440B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110158343A1 (en) * | 2009-12-24 | 2011-06-30 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating channel using phase compensation in wireless communication system |
CN105825238A (zh) * | 2016-03-30 | 2016-08-03 | 江苏大学 | 一种视觉显著性目标的检测方法 |
CN108805139A (zh) * | 2018-05-07 | 2018-11-13 | 南京理工大学 | 一种基于频域视觉显著性分析的图像相似性计算方法 |
CN110782447A (zh) * | 2019-10-25 | 2020-02-11 | 中国科学院电子学研究所 | 地球静止轨道卫星光学遥感图像多运动舰船目标检测方法 |
-
2021
- 2021-01-29 CN CN202110125273.9A patent/CN112446440B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110158343A1 (en) * | 2009-12-24 | 2011-06-30 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating channel using phase compensation in wireless communication system |
CN105825238A (zh) * | 2016-03-30 | 2016-08-03 | 江苏大学 | 一种视觉显著性目标的检测方法 |
CN108805139A (zh) * | 2018-05-07 | 2018-11-13 | 南京理工大学 | 一种基于频域视觉显著性分析的图像相似性计算方法 |
CN110782447A (zh) * | 2019-10-25 | 2020-02-11 | 中国科学院电子学研究所 | 地球静止轨道卫星光学遥感图像多运动舰船目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112446440A (zh) | 2021-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112270347B (zh) | 一种基于改进ssd的医疗废弃物分类检测方法 | |
Li et al. | SAR image change detection using PCANet guided by saliency detection | |
CN105809198B (zh) | 基于深度置信网络的sar图像目标识别方法 | |
Huang et al. | Development and validation of a deep learning algorithm for the recognition of plant disease | |
CN111311647B (zh) | 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置 | |
CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
CN111310622A (zh) | 一种面向水下机器人智能作业的鱼群目标识别方法 | |
CN112734809B (zh) | 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置 | |
CN109655815A (zh) | 基于ssd的声呐目标检测方法 | |
CN109255339B (zh) | 基于自适应深度森林人体步态能量图的分类方法 | |
CN106887012A (zh) | 一种基于循环矩阵的快速自适应多尺度目标跟踪方法 | |
CN115953666B (zh) | 一种基于改进Mask-RCNN的变电站现场进度识别方法 | |
CN104778699A (zh) | 一种自适应对象特征的跟踪方法 | |
CN110569764B (zh) | 一种基于卷积神经网络的手机型号识别方法 | |
CN115496100A (zh) | 一种基于GAF-ConvNeXt-TF的周界安防扰动识别算法 | |
CN117849193A (zh) | 钕铁硼烧结的裂纹损伤在线监测方法 | |
CN117671800A (zh) | 面向遮挡的人体姿态估计方法、装置及电子设备 | |
Wang et al. | A leaf type recognition algorithm based on SVM optimized by improved grid search method | |
CN112446440B (zh) | 基于msr-cnn的机器人多传感器目标跟踪方法 | |
CN112052880A (zh) | 一种基于更新权值支持向量机的水声目标识别方法 | |
CN116680639A (zh) | 一种基于深度学习的深海潜水器传感器数据的异常检测方法 | |
CN116504253A (zh) | 一种基于频率动态卷积模型的鸟类声音识别方法和*** | |
CN108399413B (zh) | 一种图片拍摄区域识别及地理定位方法及装置 | |
CN112926382B (zh) | 一种改善目标聚类特性的深度学习激光水下目标识别仪 | |
CN114743257A (zh) | 图像目标行为的检测识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |