CN117113284B - 多传感器融合的数据处理方法、装置与多传感器融合方法 - Google Patents
多传感器融合的数据处理方法、装置与多传感器融合方法 Download PDFInfo
- Publication number
- CN117113284B CN117113284B CN202311390768.XA CN202311390768A CN117113284B CN 117113284 B CN117113284 B CN 117113284B CN 202311390768 A CN202311390768 A CN 202311390768A CN 117113284 B CN117113284 B CN 117113284B
- Authority
- CN
- China
- Prior art keywords
- sensor
- data
- distance
- pose
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 40
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及传感器数据处理技术领域,尤其涉及多传感器融合的数据处理方法、装置与多传感器融合方法,包括:采集多传感器数据,对视觉传感器生成图像进行畸变校正,对距离传感器数据进行滤波处理,对位姿传感器生成数据进行去噪处理。本发明将多传感器融合的数据进行处理,能更有利于实现有效的特征提取与分析,并且将不同传感器测得的多个不同维度的数据用多维矩阵结构的形式组合在一起,解决了传感器探测到的数据未能深度融合的问题。
Description
技术领域
本发明涉及传感器数据处理技术领域,尤其涉及多传感器融合的数据处理方法、装置与多传感器融合方法。
背景技术
传感器是一种从环境中感受、测量指定信息的采集设备,其作用主要是将它采集到的对象信息通过特定的转换过程进行输出。传统方法中通常是由单独一种传感器采集信息,但这样一来采集到的对象信息过于孤立,无法全面、细致地对目标进行描述。因此根据实际场景,多种传感器同时对目标进行信息采集并将采集信息统一处理,就像人体通过眼睛、耳朵等多种器官对外界环境进行感知,这就是多传感器感知。如今,计算机信息应用领域中的技术发展尤为突出,其硬件基础和软件应用都得到了飞速发展,计算机也逐渐成为各类工业进行正常运转的基石,而在信息处理方面,针对多传感器融合技术的探讨研究获得了愈来愈多的关注。计算机的计算能力与速度的大幅度提升,能够同时对各类传感器采集的信息进行统一处理,因此促进了传感器信息融合技术的发展,此项技术综合了各类传感器的特有优势,能够更加准确、形象的描述观测对象,可以为生物科学信息技术、环境环保监测等领域的进步发展提供新的思路。
近年来,随着传感器技术的不断发展,多传感器融合数据技术已成为研究热点。对多个传感器数据综合处理后的结果比单一传感器采集的数据更完整、更精确,对数据的处理和利用更合理;在多传感器***中,实现数据融合的关键是使用数据处理算法协调所有传感器,将信息组合形成一个整体,进而获得高质量、有用的测量数据。
如授权公告号为CN109655825B的中国专利公开了多传感器融合的数据处理方法、装置与多传感器融合方法,能够将不同传感器测得的多个不同维度的数据以像素元素为基础,用多维矩阵结构的形式组合在一起,进而,可有利于对取得的数据做多层面的数据融合与深度学习,其可有利于实现更多样更有效的数据挖掘与特征提取,从而产生更有效的环境感知与目标检测的能力。
如申请公开号为CN113514863A的中国专利公开了一种多传感器融合定位方法,包括:车辆的车载***获取车辆的定位信息和姿态信息;根据定位信息和姿态信息进行动力学解算,得到预测位置信息和预测姿态信息;根据车辆的规划路径信息和预设的高精度地图信息判断车辆前方区域的定位信号等级;当定位信号等级为第一等级时,获取车辆的速度信息;根据定位信息和速度信息修正预测位置信息和预测姿态信息,得到车辆的第一实时定位数据和第一实时姿态数据;当定位信号等级为第二等级时,获取激光点云数据;根据高精度地图信息匹配激光点云数据,得到激光定位数据;根据激光定位数据修正预测位置信息和预测姿态信息,得到车辆的第二实时定位数据和第二实时姿态数据。
以上专利均存在本背景技术提出的问题:多传感器包括:视觉传感器、距离传感器和位姿传感器,在进行处理未根据传感器得到的数据进行相应的去噪或滤波处理;在多传感器融合时,未协调所有传感器,不能将信息组合形成一个整体。为了解决这些问题,本申请设计了多传感器融合的数据处理方法、装置与多传感器融合方法。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,提供了多传感器融合的数据处理方法、装置与多传感器融合方法。
为实现上述目的,本发明提供如下技术方案:
多传感器融合的数据处理方法,包括:
采集多传感器数据,所述多传感器包括:视觉传感器、距离传感器和位姿传感器,其中,所述视觉传感器包括:摄像头和红外传感器,所述距离传感器包括:毫米波雷达和激光雷达,所述位姿传感器包括:惯性测量传感器IMU;
对视觉传感器生成图像进行畸变校正;
对距离传感器生成点云数据进行滤波处理;
对位姿传感器生成数据进行去噪处理。
进一步地,所述对视觉传感器生成图像进行畸变校正包括以下步骤:
设定视觉传感器生成图像中点的初始像素坐标为;
基于径向畸变参数计算得出视觉传感器径向畸变校正后点的像素坐标为;
基于切向畸变参数计算得出视觉传感器切向畸变校正后点的像素坐标为;
计算视觉传感器畸变矫正后点的像素坐标,计算公式为:
,
其中,、/>、/>和/>表示视觉传感器中内参矩阵的参数,/>和/>分别表示像素坐标系下在/>两个方向上以像素为单位的焦距,/>和/>分别表示像素坐标系相比于相机坐标系进行原点平移的尺寸。
进一步地,所述对距离传感器数据进行滤波处理包括以下步骤:
计算所有点的强度的均值及标准差,设定强度阈值,将强度低于阈值/>的点剔除掉,完成初级滤波;
查找初级滤波后每一个点的临近点,根据高斯分布模型化距离参数,计算所有初级滤波后的点与临近点的距离的均值与距离的标准差,遍历所有初级滤波后的点,设定高斯分布的指定置信度,如果该点距离的均值大于高斯分布的指定置信度/>,则将该点剔除掉,完成二次滤波;
设置滤波器的搜索半径,在设定半径范围内进行点云搜索,统计其内部的点云数量,设定点云数量阈值,将半径范围内点云数量低于阈值/>的点剔除掉,完成三次滤波。
进一步地,所述对位姿传感器生成数据进行去噪处理包括:
对位姿传感器生成数据进行六层小波分解得到六层子序列;
对第一层和第二层高频子序列使用小波阈值去噪;
对第五层和第六层低频子序列基于神经网络训练去噪;
将去噪后的子序列和未去噪的子序列连接起来,得到降噪后的位姿传感器数据。
多传感器融合的数据处理装置,包括:
视觉传感器,用于基于可见光或者红外线来获取图像信息并量化图像信息;
距离传感器,用于基于无线电回波与发射信号进行比较,处理后获得目标信息;
位姿传感器,用于基于MEMS技术来进行获取三维运动姿态信息;
处理器,用于对视觉传感器、距离传感器和位姿传感器信息进行数据处理;
传输模块,用于传输采集到的视觉传感器、距离传感器和位姿传感器信息。
多传感器融合方法,包括:
基于时间的距离传感器数据和视觉传感器数据融合;
基于距离的毫米波雷达和激光雷达数据融合;
基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合。
进一步地,所述基于时间的距离传感器数据和视觉传感器数据融合包括:距离传感器与视觉传感器采集数据信息均带有时间戳,以距离传感器信号时间戳为基准,设定最大时间阈值/>,从小到大依次遍历视觉传感器生成图像时间戳缓存直到搜寻/>,满足时,将两个时间戳信息匹配。
进一步地,所述基于距离的毫米波雷达和激光雷达数据融合包括:
将毫米波雷达和激光雷达基于惯性测量传感器IMU转换到二维坐标系下,通过提取关键点进行毫米波雷达、激光雷达和惯性测量传感器IMU的坐标对齐;
对毫米波雷达和激光雷达的数据分别进行点云数据的特征提取;
在第一类探测距离下,设置激光雷达数据权重为0.8,毫米波雷达数据权重为0.2,进行加权平均融合;
在第二类探测距离下,设置激光雷达数据权重为0.5,毫米波雷达数据权重为0.5,进行加权平均融合;
在第三类探测距离下,设置激光雷达数据权重为0.2,毫米波雷达数据权重为0.8,进行加权平均融合。
进一步地,所述第一类探测距离包括:距离传感器的距离为0至40米;所述第二类探测距离包括:距离传感器的距离为40至100米;所述第三类探测距离包括:距离传感器的距离为100至200米。
进一步地,所述基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合包括:
获取距离传感器的点云数据和视觉传感器内参;
将距离传感器的点云数据通过利用视觉传感器外参进行坐标变换实现从世界坐标系转换到相机坐标系;
将相机坐标系中的点云数据进行透视投影,得到在归一化平面上的坐标;
将透视投影得到的坐标转换为归一化平面坐标,将归一化平面坐标转换为最终的像素坐标;
把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起,建立以像素为颗粒度的立体多维感知矩阵。
进一步地,所述多维感知矩阵包括:距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据,亮度数据、灰度数据、RGB数据以及热红外温度数据。
与现有技术相比,本发明的有益效果是:
1.本发明提出的多传感器融合的数据处理方法,涉及到视觉传感器、距离传感器和位姿传感器,通过采集多传感器数据,可以使得对多个传感器数据综合处理后的结果比单一传感器采集的数据更完整、更精确。
2.本发明提出的多传感器融合的数据处理方法,通过对视觉传感器生成图像进行畸变校正,对距离传感器生成点云数据进行滤波处理,对位姿传感器生成数据进行去噪处理,使得传感器数据更加请准,更利于特征提取与分析。
3.本发明提出的多传感器融合方法,基于毫米波雷达和激光雷达根据距离不同导致的可信度不同,设置了三类探测距离,为毫米波雷达和激光雷达设置不同的权重,能使得对环境感知数据更有效。
4.本发明提出的多传感器融合方法,把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起,建立以像素为颗粒度的立体多维感知矩阵,将信息组合形成一个整体,获得了高质量的测量数据。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例1中多传感器融合的数据处理方法流程示意图;
图2为本发明实施例2中多传感器融合的数据处理方法径向畸变图;
图3为本发明实施例2中多传感器融合的数据处理方法切向畸变图;
图4为本发明实施例3中多传感器融合的数据处理方法去噪处理流程图;
图5为本发明实施例4中多传感器融合的数据处理装置图;
图6为本发明实施例5中多传感器融合方法流程示意图;
图7为本发明实施例6中多传感器融合方法探测距离分类图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。
实施例1
请参阅图1,多传感器融合的数据处理方法,包括:
采集多传感器数据,所述多传感器包括:视觉传感器、距离传感器和位姿传感器,其中,所述视觉传感器包括:摄像头和红外传感器,所述距离传感器包括:毫米波雷达和激光雷达,所述位姿传感器包括:惯性测量传感器IMU;
对视觉传感器生成图像进行畸变校正;
对距离传感器生成点云数据进行滤波处理;
对位姿传感器生成数据进行去噪处理。
实施例2
请参阅图2和图3,所述对视觉传感器生成图像进行畸变校正包括以下步骤:
设定视觉传感器生成图像中点的初始像素坐标为;
基于径向畸变参数计算得出视觉传感器径向畸变校正后点的像素坐标为;
基于切向畸变参数计算得出视觉传感器切向畸变校正后点的像素坐标为;
计算视觉传感器畸变矫正后点的像素坐标,计算公式为:
,
其中,、/>、/>和/>表示视觉传感器中内参矩阵的参数,/>和/>分别表示像素坐标系下在/>两个方向上以像素为单位的焦距,/>和/>分别表示像素坐标系相比于相机坐标系进行原点平移的尺寸。
径向畸变的特点是成像中心的畸变为零,在成像的边缘能产生显著地畸变,越靠近边缘,畸变越严重,切向畸变是由于透镜本身与相机传感器平面或图像平面不平行而产生的,这种情况多是由于透镜安装误差导致。
视觉传感器中内参矩阵的参数计算步骤:首先载入拍摄的不同角度的棋盘格标定板的图像,其次提取出图像中棋盘格标定板的角点,然后根据提取的角点的位置信息,通过张正友标定法原理可得估算得到相机内参。
所述所述对距离传感器进行滤波处理包括以下步骤:
计算所有点的强度的均值及标准差,设定强度阈值,将强度低于阈值/>的点剔除掉,完成初级滤波;
查找初级滤波后每一个点的临近点,根据高斯分布模型化距离参数,计算所有初级滤波后的点与临近点的距离的均值与距离的标准差,遍历所有初级滤波后的点,设定高斯分布的指定置信度,如果该点距离的均值大于高斯分布的指定置信度/>,则将该点剔除掉,完成二次滤波;
设置滤波器的搜索半径,在设定半径范围内进行点云搜索,统计其内部的点云数量,设定点云数量阈值,将半径范围内点云数量低于阈值/>的点剔除掉,完成三次滤波。
所述强度阈值的计算公式为:
,
其中,表示初级滤波前所有点的强度均值,/>表示阈值系数,/>表示初级滤波前所有点的强度标准差;
所述距离高斯分布的指定置信度设定为95%;
所述点云数量阈值根据传感器融合数据具体应用场景确定。
实施例3
请参阅图4,所述对位姿传感器生成数据进行去噪处理包括:
对位姿传感器生成数据进行六层小波分解得到六层子序列;
对第一层和第二层高频子序列使用小波阈值去噪;
对第五层和第六层低频子序列基于神经网络训练去噪;
将去噪后的子序列和未去噪的子序列连接起来,得到降噪后的位姿传感器数据。
IMU随机误差主要为随机游走误差和零偏不稳定性。随机游走误差表现为高频白噪声,对误差的高频部分进行小波阈值去噪;而零偏不稳定性表现为与时间相关的低频误差,通过LSTM神经网络时序建模来消除。
其中,选取固定的小波阈值,计算公式为:
,
其中,表示小波去噪的阈值,/>表示信号的标准差,/>表示自然对数是以常数e为底数的对数函数,/>表示信号的长度。
LSTM神经网络的损失函数采用均方误差MSE,时间步长设为15,迭代次数设为20次。
实施例4
请参阅图5,多传感器融合的数据处理装置,包括:
视觉传感器,用于基于可见光或者红外线来获取图像信息并量化图像信息;
距离传感器,用于基于无线电回波与发射信号进行比较,作适当处理后获得目标信息;
位姿传感器,用于基于MEMS技术来进行获取三维运动姿态信息;
处理器,用于对视觉传感器、距离传感器和位姿传感器信息进行数据处理;
传输模块,用于传输采集到的视觉传感器、距离传感器和位姿传感器信息。
实施例5
请参阅图6,多传感器融合方法,包括:
基于时间的距离传感器数据和视觉传感器数据融合;
基于距离的毫米波雷达和激光雷达数据融合;
基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合。
所述基于时间的距离传感器数据和视觉传感器数据融合包括:距离传感器与视觉传感器采集数据信息均带有时间戳,以距离传感器信号时间戳为基准,设定最大时间阈值/>,从小到大依次遍历视觉传感器生成图像时间戳缓存直到搜寻/>,满足时,将两个时间戳信息匹配。
实施例6
请参阅图7,所述基于距离的毫米波雷达和激光雷达数据融合包括:
将毫米波雷达和激光雷达基于惯性测量传感器IMU转换到二维坐标系下,通过提取关键点进行毫米波雷达、激光雷达和惯性测量传感器IMU的坐标对齐;
对毫米波雷达和激光雷达的数据分别进行点云数据的特征提取;
在第一类探测距离下,设置激光雷达数据权重为0.8,毫米波雷达数据权重为0.2,进行加权平均融合;
在第二类探测距离下,设置激光雷达数据权重为0.5,毫米波雷达数据权重为0.5,进行加权平均融合;
在第三类探测距离下,设置激光雷达数据权重为0.2,毫米波雷达数据权重为0.8,进行加权平均融合,
其中,如图7所示,1表示多传感器融合装置,A表示第一类探测距离,B表示第二类探测距离,C表示第三类探测距离。
所述第一类探测距离包括:距离传感器的距离为0至40米;所述第二类探测距离包括:距离传感器的距离为40至100米;所述第三类探测距离包括:距离传感器的距离为100至200米。
所述基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合包括:
获取距离传感器的点云数据和视觉传感器内参;
将距离传感器的点云数据通过利用视觉传感器外参进行坐标变换实现从世界坐标系转换到相机坐标系;
将相机坐标系中的点云数据进行透视投影,得到在归一化平面上的坐标;
将透视投影得到的坐标转换为归一化平面坐标,将归一化平面坐标转换为最终的像素坐标;
把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起,建立以像素为颗粒度的立体多维感知矩阵。
距离传感器数据类型为点云,视觉传感器数据为图像,二者联合标定即求解距离传感器与视觉传感器坐标系的外参,需要找到多帧之间的同一特征,然后构建超定方程优化求解:
根据距离传感器与视觉传感器的外参,经旋转变换和平移变换可将该点转换至相机坐标系下三维坐标;根据相机内参,相机坐标系下坐标,经相机焦距的变换转换至像平面,然后根据光心偏差,经过平移至像素坐标系下,当相机内参已知时,每有一个匹配的点都可构建一个方程,联立多个方程可求解距离传感器与视觉传感器的外参矩阵,并往往将多对点的对应关系采用最小二乘法求解,以获得较为精确的外参。
所述多维感知矩阵包括:距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据,亮度数据、灰度数据、RGB数据以及热红外温度数据。
Claims (3)
1.多传感器融合的数据处理方法,其特征在于,包括:
采集多传感器数据,所述多传感器包括:视觉传感器、距离传感器和位姿传感器,其中,所述视觉传感器包括:摄像头和红外传感器,所述距离传感器包括:毫米波雷达和激光雷达,所述位姿传感器包括:惯性测量传感器IMU;
对视觉传感器生成图像进行畸变校正;
对距离传感器数据进行滤波处理;
对位姿传感器生成数据进行去噪处理;
所述对视觉传感器生成图像进行畸变校正包括以下步骤:
设定视觉传感器生成图像中点的初始像素坐标为;
基于径向畸变参数计算得出视觉传感器径向畸变校正后点的像素坐标为;
基于切向畸变参数计算得出视觉传感器切向畸变校正后点的像素坐标为;
计算视觉传感器畸变矫正后点的像素坐标,计算公式为:
,
其中,、/>、/>和/>表示视觉传感器中内参矩阵的参数,/>和/>分别表示像素坐标系下在/>两个方向上以像素为单位的焦距,/>和/>分别表示像素坐标系相比于相机坐标系进行原点平移的尺寸;
所述对距离传感器数据进行滤波处理包括以下步骤:
计算所有点的强度的均值及标准差,设定强度阈值,将强度低于阈值/>的点剔除掉,完成初级滤波;
查找初级滤波后每一个点的临近点,根据高斯分布模型化距离参数,计算所有初级滤波后的点与临近点的距离的均值与距离的标准差,遍历所有初级滤波后的点,设定高斯分布的指定置信度,如果该点距离的均值大于高斯分布的指定置信度/>,则将该点剔除掉,完成二次滤波;
设置滤波器的搜索半径,在设定半径范围内进行点云搜索,统计其内部的点云数量,设定点云数量阈值,将半径范围内点云数量低于阈值/>的点剔除掉,完成三次滤波;
所述对位姿传感器生成数据进行去噪处理包括:
对位姿传感器生成数据进行六层小波分解得到六层子序列;
对第一层和第二层高频子序列使用小波阈值去噪;
对第五层和第六层低频子序列基于神经网络训练去噪;
将去噪后的子序列和未去噪的子序列连接起来,得到降噪后的位姿传感器数据。
2.多传感器融合的数据处理装置,其特征在于,包括:
视觉传感器,用于基于可见光或者红外线来获取图像信息并量化图像信息;
距离传感器,用于基于无线电回波与发射信号进行比较,处理后获得目标信息;
对距离传感器数据进行滤波处理包括以下步骤:
计算所有点的强度的均值及标准差,设定强度阈值,将强度低于阈值/>的点剔除掉,完成初级滤波;
查找初级滤波后每一个点的临近点,根据高斯分布模型化距离参数,计算所有初级滤波后的点与临近点的距离的均值与距离的标准差,遍历所有初级滤波后的点,设定高斯分布的指定置信度,如果该点距离的均值大于高斯分布的指定置信度/>,则将该点剔除掉,完成二次滤波;
设置滤波器的搜索半径,在设定半径范围内进行点云搜索,统计其内部的点云数量,设定点云数量阈值,将半径范围内点云数量低于阈值/>的点剔除掉,完成三次滤波;
位姿传感器,用于基于MEMS技术来进行获取三维运动姿态信息;
对位姿传感器生成数据进行去噪处理包括:
对位姿传感器生成数据进行六层小波分解得到六层子序列;
对第一层和第二层高频子序列使用小波阈值去噪;
对第五层和第六层低频子序列基于神经网络训练去噪;
将去噪后的子序列和未去噪的子序列连接起来,得到降噪后的位姿传感器数据;
处理器,用于对视觉传感器、距离传感器和位姿传感器信息进行数据处理;
传输模块,用于传输采集到的视觉传感器、距离传感器和位姿传感器信息。
3.多传感器融合方法,其特征在于,包括:
基于时间的距离传感器数据和视觉传感器数据融合;
基于距离的毫米波雷达和激光雷达数据融合;
基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合;
所述基于时间的距离传感器数据和视觉传感器数据融合包括:距离传感器与视觉传感器采集数据信息均带有时间戳,以距离传感器信号时间戳为基准,设定最大时间阈值/>,从小到大依次遍历视觉传感器生成图像时间戳缓存直到搜寻/>,满足/>时,将两个时间戳信息匹配;
所述基于距离的毫米波雷达和激光雷达数据融合包括:
将毫米波雷达和激光雷达基于惯性测量传感器IMU转换到二维坐标系下,通过提取关键点进行毫米波雷达、激光雷达和惯性测量传感器IMU的坐标对齐;
对毫米波雷达和激光雷达的数据分别进行点云数据的特征提取;
在第一类探测距离下,设置激光雷达数据权重为0.8,毫米波雷达数据权重为0.2,进行加权平均融合;
在第二类探测距离下,设置激光雷达数据权重为0.5,毫米波雷达数据权重为0.5,进行加权平均融合;
在第三类探测距离下,设置激光雷达数据权重为0.2,毫米波雷达数据权重为0.8,进行加权平均融合;
所述第一类探测距离包括:距离传感器的距离为0至40米;所述第二类探测距离包括:距离传感器的距离为40至100米;所述第三类探测距离包括:距离传感器的距离为100至200米;
所述基于多维感知矩阵的距离传感器、视觉传感器和位姿传感器数据融合包括:
获取距离传感器的点云数据和视觉传感器内参;
将距离传感器的点云数据通过利用视觉传感器外参进行坐标变换实现从世界坐标系转换到相机坐标系;
将相机坐标系中的点云数据进行透视投影,得到在归一化平面上的坐标;
将透视投影得到的坐标转换为归一化平面坐标,将归一化平面坐标转换为最终的像素坐标;
把距离传感器、视觉传感器和位姿传感器的数据用多维像素矩阵的形式组合在一起,建立以像素为颗粒度的立体多维感知矩阵;
所述多维感知矩阵包括:距离数据、速度数据、加速度数据、方位数据、雷达散射截面RCS数据,亮度数据、灰度数据、RGB数据以及热红外温度数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311390768.XA CN117113284B (zh) | 2023-10-25 | 2023-10-25 | 多传感器融合的数据处理方法、装置与多传感器融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311390768.XA CN117113284B (zh) | 2023-10-25 | 2023-10-25 | 多传感器融合的数据处理方法、装置与多传感器融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117113284A CN117113284A (zh) | 2023-11-24 |
CN117113284B true CN117113284B (zh) | 2024-01-26 |
Family
ID=88811431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311390768.XA Active CN117113284B (zh) | 2023-10-25 | 2023-10-25 | 多传感器融合的数据处理方法、装置与多传感器融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117113284B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117968860A (zh) * | 2024-03-13 | 2024-05-03 | 苏州优米康通信技术有限公司 | 一种多传感融合的障碍物检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706626A (zh) * | 2021-07-30 | 2021-11-26 | 西安交通大学 | 一种基于多传感器融合及二维码校正的定位与建图方法 |
CN113947134A (zh) * | 2021-09-26 | 2022-01-18 | 南京邮电大学 | 一种复杂地形下多传感器配准融合***及方法 |
CN114881215A (zh) * | 2022-05-18 | 2022-08-09 | 福建鼎旸信息科技股份有限公司 | 一种毫米波雷达数据筛选性神经网络处理方法 |
CN115451948A (zh) * | 2022-08-09 | 2022-12-09 | 中国科学院计算技术研究所 | 一种基于多传感器融合的农业无人车定位里程计方法及*** |
-
2023
- 2023-10-25 CN CN202311390768.XA patent/CN117113284B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706626A (zh) * | 2021-07-30 | 2021-11-26 | 西安交通大学 | 一种基于多传感器融合及二维码校正的定位与建图方法 |
CN113947134A (zh) * | 2021-09-26 | 2022-01-18 | 南京邮电大学 | 一种复杂地形下多传感器配准融合***及方法 |
CN114881215A (zh) * | 2022-05-18 | 2022-08-09 | 福建鼎旸信息科技股份有限公司 | 一种毫米波雷达数据筛选性神经网络处理方法 |
CN115451948A (zh) * | 2022-08-09 | 2022-12-09 | 中国科学院计算技术研究所 | 一种基于多传感器融合的农业无人车定位里程计方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN117113284A (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
TWI685798B (zh) | 目標檢測系統、自動駕駛車輛以及其目標檢測方法 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
CN110675418A (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
Wu et al. | Passive measurement method of tree diameter at breast height using a smartphone | |
CN117113284B (zh) | 多传感器融合的数据处理方法、装置与多传感器融合方法 | |
CN113359097A (zh) | 一种毫米波雷达和相机联合标定的方法 | |
CN107909018B (zh) | 一种稳健的多模态遥感影像匹配方法和*** | |
CN113358231B (zh) | 红外测温方法、装置及设备 | |
CN112946679B (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及*** | |
CN102494663A (zh) | 摆动喷管的摆动角度的测量***及摆动角度的测量方法 | |
CN112683228A (zh) | 单目相机测距方法及装置 | |
CN111310651B (zh) | 一种基于偏振相机和rgb-d传感器的水面检测方法 | |
CN111856445B (zh) | 一种目标检测方法、装置、设备及*** | |
WO2011047508A1 (en) | Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens | |
CN111583315A (zh) | 一种新的可见光图像和红外图像配准方法及装置 | |
CN113895482B (zh) | 基于轨旁设备的列车测速方法及装置 | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
CN114494039A (zh) | 一种水下高光谱推扫图像几何校正的方法 | |
CN115236643A (zh) | 一种传感器标定方法、***、装置、电子设备及介质 | |
CN111489398B (zh) | 一种成像设备标定方法以及装置 | |
Fei et al. | Obstacle Detection for Agricultural Machinery Vehicle | |
Arunkumar et al. | Estimation of vehicle distance based on feature points using monocular vision | |
CN117095119B (zh) | 一种地空一体测绘方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |