CN112270251B - 一种基于互信息的自适应多传感器数据融合方法及*** - Google Patents

一种基于互信息的自适应多传感器数据融合方法及*** Download PDF

Info

Publication number
CN112270251B
CN112270251B CN202011156482.1A CN202011156482A CN112270251B CN 112270251 B CN112270251 B CN 112270251B CN 202011156482 A CN202011156482 A CN 202011156482A CN 112270251 B CN112270251 B CN 112270251B
Authority
CN
China
Prior art keywords
mutual information
fusion
point cloud
branch
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011156482.1A
Other languages
English (en)
Other versions
CN112270251A (zh
Inventor
张新钰
李骏
李志伟
邹镇洪
杜昊宇
张天雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011156482.1A priority Critical patent/CN112270251B/zh
Publication of CN112270251A publication Critical patent/CN112270251A/zh
Application granted granted Critical
Publication of CN112270251B publication Critical patent/CN112270251B/zh
Priority to US17/402,494 priority patent/US11210801B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于互信息的自适应多传感器数据融合方法，所述方法包括：接收相机采集路面的RGB图像；接收激光雷达同步采集该路面的点云数据；对点云数据进行预处理得到稠密点云数据；将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果。本发明的方法引入了互信息这一信息论工具，计算输入数据的提取特征与融合网络的预期特征之间的相关性，可以合理、客观地量化数据质量的好坏与信息量的大小，有严格的数学方法作为理论支撑，具有一定的可解释性。

Description

一种基于互信息的自适应多传感器数据融合方法及***
技术领域
本发明属于智能驾驶技术领域，具体涉及一种基于互信息的自适应多传感器数据融合方法及***。
背景技术
智能驾驶车辆需要通过多种传感器对周围环境进行感知测量，以保证安全行使。融合网络可以融合不同传感器的数据，完成驾驶任务，包括车道线检测、物体检测与跟踪等。然而，不同传感器的数据可能存在多种问题。例如摄像头可能存在图像过曝、雨雾天气影响、障碍物遮挡等问题，激光雷达可能存在点云过于稀疏、距离目标较远等问题。针对这些问题，可以利用互信息计算评估数据质量，通过分配融合权重对有效信息加权利用，降低无效数据对融合网络的影响，改善网络性能。
现有的多传感器数据融合权重计算方法较少涉及信息论领域，现有方法主要包括：1)不进行数据质量评估，使用固定权重；2)对比不同传感器数据，可能存在问题的数据不参与融合；3)利用证据理论计算数据融合权重。然而它们要么对数据的自适应性不足，要么计算复杂。互信息的引入克服了现有方法存在的一些难点：1)缺少合理的量化工具，缺少数学方法的支撑；2)在训练过程中容易存在网络不收敛的问题；3)融合权重不能自适应地对不同传感器的输入进行调整，即不能根据数据质量和信息量进行调整。
发明内容
本发明的目的在于克服现有技术缺陷，提出了一种基于互信息的自适应多传感器数据融合方法及***，可以应用于车道线检测等自动驾驶相关领域。
为了实现上述目的，本发明提出了一种基于互信息的自适应多传感器数据融合方法，所述方法包括：
接收相机采集路面的RGB图像；
接收激光雷达同步采集该路面的点云数据；
对点云数据进行预处理得到稠密点云数据；
将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；
所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果。
作为上述方法的一种改进，所述对点云数据进行预处理得到稠密点云数据；具体包括：
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到像素平面，得到灰度图像对应的二维点云数据；
对二维点云数据进行插值操作，得到稠密点云数据。
作为上述方法的一种改进，所述融合网络包括互信息计算模块，所述互信息计算模块的具体实现过程为：
根据随机变量X、Y计算互信息I(X；Y)：
Figure BDA0002742960050000021
其中，p(x,y)是随机变量X和Y的联合概率密度函数，p(x)为随机变量X的边缘概率密度函数，p(y)为随机变量Y的边缘概率密度函数；
将互信息I(X；Y)表示为KL散度形式：
Figure BDA0002742960050000028
其中，
Figure BDA0002742960050000022
其中，DKL(.)表示互信息的KL散度，PX为随机变量X的概率，PY为随机变量Y的概率，PXY为随机变量X和Y的联合概率，
Figure BDA0002742960050000029
表示PXY的期望值；
将PXY记为J，
Figure BDA0002742960050000023
记为M；
根据KL散度的DV分布形式及性质得到互信息下限
Figure BDA0002742960050000024
Figure BDA0002742960050000025
其中，Tω:x×y→R为含参数ω的函数，EJ表示Tω(x,y)的期望值，EM表示
Figure BDA0002742960050000026
的期望值，由该函数计算出的互信息下限
Figure BDA0002742960050000027
足够接近实际值，该函数具体实现如下：
第一分支特征张量X1的形式为(C,H1,M1,N1)，其中，C为第一分支的通道数，(H1,M1,N1)表示C个特征图，记为X1,n，n＝1，…，C，n为第一分支的某一通道，由互信息下限
Figure BDA0002742960050000031
计算公式得到第一分支互信息下限
Figure BDA0002742960050000032
为：
Figure BDA0002742960050000033
其中，
Figure BDA0002742960050000034
为H1·H1对角阵，矩阵U1＝X1,n·Y，u1,n为U1中元素，u1,max为U1中各元素的最大值，u1,avg为U1各元素的平均值，由此得到第一分支互信息I(X1；Y)：
Figure BDA0002742960050000035
第二分支特征张量X2的形式(D,H2,M2,N2)，其中，D为第二分支的通道数，(H2,M2,N2)表示D个特征图，记为X2,m，m＝1，…，D；m为第二分支的某一通道，由互信息下限
Figure BDA0002742960050000036
计算公式得到第二分支互信息下限
Figure BDA0002742960050000037
为：
Figure BDA0002742960050000038
其中，
Figure BDA0002742960050000039
为H2·H2对角阵，矩阵U2＝X2,m·Y，u2,m为U2中元素，u2,max为U2中各元素的最大值，u2,avg为U2各元素的平均值，由此得到第二分支的互信息I(X2；Y)：
Figure BDA00027429600500000310
作为上述方法的一种改进，所述方法还包括融合网络的训练步骤；具体包括：
步骤1)将已经标注好的RGB图像和稠密点云数据作为训练集；
步骤2)设置初始融合权重为1:1；
步骤3)将训练集中的RGB图像和稠密点云数据输入融合网络，经p轮训练后，确定融合网络的超参数，并得到两个分支的特征张量以及预期特征；由互信息计算模块计算互信息并分配融合权重；
步骤4)计算分配的融合权重和初始权重的差值，如果差值小于阈值，则分配后的融合权重收敛，融合网络训练完成；否则，转到步骤5)。
步骤5)以q轮为一个训练周期，每一轮均选取训练集中的RGB图像和稠密点云数据输入融合网络，调整融合网络的超参数；在第q轮，由互信息计算模块根据特征张量和预期特征计算互信息，并分配融合权重；转入步骤4)。
作为上述方法的一种改进，所述将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果之前还包括：判断当前帧RGB图像与前一帧RGB图像是否满足时序要求，如果满足，融合网络基于当前帧RGB图像、当前帧稠密点云数据、前一帧RGB图像和前一帧稠密点云数据调整融合权重，输出数据融合结果；具体包括：
计算当前帧RGB图像与前一帧RGB图像之间的归一化互信息；如果归一化互信息大于0.5，则满足时序要求，融合网络根据前一帧RGB图像和前一帧稠密点云数据得到预期特征，根据当前帧RGB图像的第一特征张量和预期特征计算得到第一分支互信息，根据当前帧稠密点云数据的第二特征张量和预期特征计算得到第二分支互信息，根据不同分支融合权重之比与互信息之比成正比的原则重新分配融合权重，输出数据融合结果，并记录本帧的预期特征；
否则，不重新分配融合权重。
一种基于互信息的自适应多传感器数据融合***，所述***包括：安装在汽车上的相机和激光雷达、预处理模块、结果输出模块和融合网络；其中，
所述相机，用于采集路面的RGB图像；
所述激光雷达，用于同步采集该路面的点云数据；
所述预处理模块，用于对点云数据进行预处理得到稠密点云数据；
所述结果输出模块，用于将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；
所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果。
作为上述***的一种改进，所述预处理模块的具体实现过程为：
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到像素平面，得到灰度图像对应的二维点云数据；
对二维点云数据进行插值操作，得到稠密点云数据。
作为上述***的一种改进，所述融合网络包括互信息计算模块，所述互信息计算模块的具体实现过程为：
根据随机变量X、Y计算互信息I(X；Y)：
Figure BDA0002742960050000051
其中，p(x,y)是随机变量X和Y的联合概率密度函数，p(x)为随机变量X的边缘概率密度函数，p(y)为随机变量Y的边缘概率密度函数；
将互信息I(X；Y)表示为KL散度形式：
Figure BDA0002742960050000052
其中，
Figure BDA0002742960050000053
其中，DKL(.)表示互信息的KL散度，PX为随机变量X的概率，PY为随机变量Y的概率，PXY为随机变量X和Y的联合概率，
Figure BDA0002742960050000054
表示PXY的期望值；
将PXY记为J，
Figure BDA0002742960050000055
记为M；
根据KL散度的DV分布形式及性质得到互信息下限
Figure BDA0002742960050000056
Figure BDA0002742960050000057
其中，Tω:x×y→R为含参数ω的函数，EJ表示Tω(x,y)的期望值，EM表示
Figure BDA0002742960050000058
的期望值，由该函数计算出的互信息下限
Figure BDA0002742960050000059
足够接近实际值，该函数具体实现如下：
第一分支特征张量X1的形式为(C,H1,M1,N1)，其中，C为第一分支的通道数，(H1,M1,N1)表示C个特征图，记为X1,n，n＝1，…，C，n为第一分支的某一通道，由互信息下限
Figure BDA00027429600500000510
计算公式得到第一分支互信息下限
Figure BDA00027429600500000511
为：
Figure BDA00027429600500000512
其中，
Figure BDA00027429600500000513
为H1·H1对角阵，矩阵U1＝X1,n·Y，u1,m为U1中元素，u1,max为U1中各元素的最大值，u1,avg为U1各元素的平均值，由此得到第一分支互信息I(X1；Y)：
Figure BDA0002742960050000061
第二分支特征张量X2的形式(D,H2,M2,N2)，其中，D为第二分支的通道数，(H2,M2,N2)表示D个特征图，记为X2,m，m＝1，…，D；m为第二分支的某一通道，由互信息下限
Figure BDA0002742960050000062
计算公式得到第二分支互信息下限
Figure BDA0002742960050000063
为：
Figure BDA0002742960050000064
其中，
Figure BDA0002742960050000065
为H2·H2对角阵，矩阵U2＝X2,m·Y，u2,m为U2中元素，u2,max为U2中各元素的最大值，u2,avg为U2各元素的平均值，由此得到第二分支的互信息I(X2；Y)：
Figure BDA0002742960050000066
作为上述***的一种改进，所述***还包括时序数据自适应调整模块；所述时序数据自适应调整模块的具体实现过程为：
计算当前帧RGB图像与前一帧RGB图像之间的归一化互信息；如果归一化互信息大于0.5，则满足时序要求，由融合网络根据前一帧RGB图像和前一帧稠密点云数据得到预期特征，根据当前帧RGB图像的第一特征张量和预期特征计算得到第一分支互信息，根据当前帧稠密点云数据的第二特征张量和预期特征计算得到第二分支互信息，根据不同分支融合权重之比与互信息之比成正比的原则重新分配融合权重，输出数据融合结果，并记录本帧的预期特征；否则，融合网络不重新分配融合权重。
与现有技术相比，本发明的优势在于：
1、本发明的方法引入了互信息这一信息论工具，计算输入数据的提取特征与融合网络的预期特征之间的相关性，可以合理、客观地量化数据质量的好坏与信息量的大小，有严格的数学方法作为理论支撑，具有一定的可解释性；
2、本发明通过一种可行的图像互信息计算方法，可以快速、准确地获得较接近实际值的互信息下限，使得方法的实际应用成为可能，可以应用于网络训练、时序数据的处理等；
3、本发明的方法提出了一种将时序数据信息引入融合模型的方法，可以处理连续的数据输入。在处理过程中，可以根据输入数据的信息量，自适应地调整融合权重，使得融合效果达到最优。
附图说明
图1是本发明的实施例1提供的基于互信息的自适应多传感器数据融合方法的流程图；
图2是本发明的实施例1的数据融合模型网络结构图；
图3是本发明的实施例1的数据融合模型互信息计算模块的结构图；
图4是本发明的实施例2针对时序数据信息的基于互信息的自适应多传感器数据融合方法的流程图。
具体实施方式
本发明提供了一种基于互信息的自适应多传感器数据融合方法，技术方案如下：
1、对不同的车用传感器的输入数据进行相应的预处理；
2、将预处理后的数据输入融合网络，对不同融合分支提取特征张量，一般来说，特征张量维度不超过四维；
3、提取预期特征，即提取融合网络预期输出对应的特征图；
4、计算特征张量与预期特征的互信息；
5、根据互信息分配融合权重，不同分支融合权重之比与互信息之比成正比，即与预期特征互信息较大的融合分支对应的融合权重较大。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在介绍本发明实施例之前首先对本发明实施例中涉及到的相关名词作如下释义：
互信息：是指一种信息论中的信息度量，可以表征某一随机变量包含另一随机变量的信息量，即观测某一随机变量的分布引起的另一随机变量不确定性减小的程度。随机变量X、Y的互信息I(X；Y)的计算公式如下：
Figure BDA0002742960050000071
点云：是指通过激光雷达得到的关于物体外观表面的点数据，每个点数据包含x、y、z坐标和反射强度r。
RGB图像：是指通过车载相机采集到的RGB图片，为三通道图像。
预期特征：是指利用融合网络处理数据时期望数据数据中含有的特征。示例性地，在进行车道线识别任务中，期望数据中有车道线特征，则典型车道线特征图为预期特征。
融合权重：是指输入数据在融合网络中进行融合的系数，表征数据的信息量对融合网络的相对重要程度。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图1所示，本发明的实施例1提供了一种基于互信息的自适应多传感器数据融合方法，以RGB图像、激光雷达点云数据为例，具体包括如下步骤：
步骤1)获取同一路面的RGB图像和激光雷达点云；具体包括：
步骤101)通过车载相机获取RGB图像G；
采用安装在行驶车辆上的前向单目相机或前向单目摄像头采集路面图像信息。前向单目相机采集的是行驶车辆的行车方向正前方和路面上方的路面图像信息。即采集的路面图像信息是对应于采集车辆的行车方向的正前方和路面上方的信息的透视图。
步骤102)通过车载激光雷达获取原始点云PC0。
在本实施例中，路面图像信息和路面点云信息是同步采集的。即可以在行驶车辆上安装配置激光雷达和前向单目相机后，标定它们的相对位置姿态，同时开始对同一路面开始路面数据信息采集。
为了便于计算，本发明下述实施例中所涉及的点云，均为360°点云中正对车辆前方，即图像所在方向的部分。并且，由于相机和激光雷达已经完成标定，可以确定点云投影到像素平面的转换矩阵T，以方便后续点云信息的特征提取。
对相机的标定，采用张氏标定法，先设定相机坐标系与世界坐标系，利用相机在预设位置放置的棋盘格上的成像，计算棋盘格的角点位置在成像中的二维坐标，再与棋盘格角点的真实三维坐标计算出变换矩阵；对激光雷达的标定，先设定激光雷达坐标系与真实世界坐标系，在预设位置放置若干障碍物并对齐进行激光雷达扫描，利用障碍物获得的点云在激光雷达坐标系中的坐标和障碍物在真实世界坐标系中的坐标计算得到两个坐标系的变换矩阵，其余参数，包括激光雷达的扫描分辨率、扫描速度、激光雷达与相机的时间对齐等，由各自的硬件信息与安装时的测量可以获得。标定将获得世界坐标系与相机的成像坐标系、世界坐标系与激光雷达坐标系之间的相互转换矩阵。
步骤2)提取RGB图像G、激光雷达点云PC0的特征张量X1、X2；具体包括：
步骤201)利用转换矩阵T将点云投影到像素平面，得到原始点云图像PCG0；
具体地，考虑激光雷达和前向摄像头已经完成标定工作，且根据标定参数得到了激光雷达三维坐标系和世界三维坐标系的转换矩阵K1，相机二维成像坐标系和世界三维坐标系的转换矩阵K2。假设世界坐标系下有一点P，在世界坐标系下对应的三维坐标为X0，在点云所在的雷达坐标系中对应的三维坐标为X1，在相机成像坐标系下的二维坐标为U，则U＝K2·X0，X1＝K1·X0，因此
Figure BDA0002742960050000091
接着截取二维点云图像和灰度图像对应位置且相同尺寸的部分，每个像素点的取值为对应的反射强度值，再对空缺的部分以0值填补。从而激光雷达点云可以转换为灰度图像对应的二维点云图像，记为PCG0。
步骤202)对原始点云图像PCG0进行插值操作，如最近邻插值法等，得到稠密点云图像PCG；
步骤203)对RGB图像G、稠密点云图像PCG作卷积，分别得到原始特征张量XO1、XO2；
步骤204)针对不同传感器数据设置独立的特征处理分支(在本例中分支数为2)，分别对原始特征张量(或由多个原始特征张量融合得到的特征张量)进行多次卷积操作，操作次数由输入数据尺寸、网络结构决定。如图2所示，为数据融合模型网络结构图。
完成特征张量提取后，由2个分支分别得到2个特征张量。
步骤3)提取预期特征；
以确定的融合权重对融合网络进行多轮训练，将训练收敛后的网络输出的分类特征作为预期特征。即对训练数据集的任一数据，都对应网络的某一分类特征，这一特征图就是该数据对应的预期特征。
步骤4)计算特征张量与预期特征Y的互信息；
在融合网络中添加互信息计算模块，具体互信息计算模块结构如图3所示，以两个分支的特征张量，预期特征为输入，输出互信息。
随机变量X、Y的互信息的计算公式如下：
Figure BDA0002742960050000101
其中，PX为随机变量X的概率，PY为随机变量Y的概率，PXY为随机变量X和Y的联合概率，EP表示数据的期望值，P表示数据的真实分布，Q表示数据的理论分布；
其中，互信息可表示为KL散度形式：
Figure BDA0002742960050000102
其中，DKL的定义如下：
Figure BDA0002742960050000103
从而得到：
Figure BDA0002742960050000104
其中，DKL(.)表示互信息的KL散度，PX为随机变量X的概率，PY为随机变量Y的概率，PXY为随机变量X和Y的联合概率，
Figure BDA0002742960050000105
表示PXY的期望值；
将PXY记为J，
Figure BDA0002742960050000106
记为M。利用KL散度的DV分布形式及性质，可以得到互信息下限
Figure BDA0002742960050000107
Figure BDA0002742960050000108
其中，Tω:x×y→R为含参数ω的函数，EJ表示Tω(x,y)的期望值，EM表示
Figure BDA0002742960050000109
的期望值，由该函数计算出的互信息下限
Figure BDA00027429600500001010
足够接近实际值，可以通过优化ω不断逼近互信息的实际值。本实施例中，我们给出了一种函数Tω，可以认为由该函数计算出的互信息下限
Figure BDA00027429600500001011
足够接近实际值。该函数具体如下：
输入特征张量X1、X2维度相同(维度不超过四维)，即计算互信息的过程在数学形式上是一致的。
第一分支特征张量X1的形式为(C,H1,M1,N1)，其中，C为第一分支的通道数，(H1,M1,N1)表示C个特征图，记为X1,n，n＝1，…，C，n为第一分支的某一通道，由互信息下限
Figure BDA0002742960050000111
计算公式得到：,
Figure BDA0002742960050000112
其中，
Figure BDA0002742960050000113
为H1·H1对角阵，矩阵U1＝X1,n·Y，u1,n为U1中元素，u1,max为U1中各元素的最大值，u1,avg为U1各元素的平均值，由此得到第一分支互信息I(X1；Y)：
Figure BDA0002742960050000114
第二分支特征张量X2的形式(D,H2,M2,N2)，其中，D为第二分支的通道数，(H2,M2,N2)表示D个特征图，记为X2,m，m＝1，…，D；m为第二分支的某一通道，由互信息下限
Figure BDA0002742960050000115
计算公式得到：
Figure BDA0002742960050000116
其中，
Figure BDA0002742960050000117
为H2·H2对角阵，矩阵U2＝X2,m·Y，u2,m为U2中元素，u2,max为U2中各元素的最大值，u2,avg为U2各元素的平均值，由此得到第二分支的互信息I(X2；Y)：
Figure BDA0002742960050000118
步骤5)根据互信息分配融合权重。
当结束一轮训练需要分配融合权重时，考虑训练数据集中任一数据都有两个分支的互信息I(X1；Y)、I(X2；Y)，根据所有数据平均互信息大小分配融合权重，令分支权重之比与分支平均互信息之比成正比。若重新分配后的权重与分配前的权重差值小于阈值，则认为分配权重已经收敛。
鉴于本领域技术人员应当理解神经网络模型的训练过程，描述如下：
基于工具PyTorch实现YOLOv3神经网络，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数(第一次训练轮次数应较大，以保证融合网络收敛，如200轮)等超参数后，以1:1的融合权重开始训练。最后一轮训练中得到融合网络两个分支的特征张量，训练结束后提取预期特征，计算互信息，分配融合权重。若分配前后权重差值小于阈值，则认为融合权重收敛；否则，更新融合权重，进行一定训练轮次数(轮次数相对较小，如10轮)的训练，重复分配融合权重操作直到分配前后权重差值小于阈值，即融合权重收敛。
示例性地，第一次可训练200轮，之后每次更新融合权重均训练10轮，直到分配前后权重差值小于阈值，即融合权重收敛。
当神经网络完成训练后，可以开始测试新的图像。测试阶段输入数据对应的融合权重即收敛的融合权重。
实施例2
如图4所示，本发明的实施例2提供了针对时序数据信息的基于互信息的自适应多传感器数据融合方法，以RGB图像、激光雷达点云数据为例，具体包括步骤：
步骤1)获取同一路面的RGB图像和激光雷达点云；
要求RGB图像是时序的，即前一帧图像与当前帧图像有一定连续性，预期特征一致。我们认为任意连续两帧图像之间的归一化互信息均大于0.5，则图像是时序的。激光雷达点云数据要求一致。
其余与实施例1一致。
步骤2)与实施例1一致；
步骤3)提取预期特征Y；
对于时序数据，如果假设融合网络有较好的初始值，则前一帧的输出较为可靠，可以作为当前帧的预期特征。在实施例2中，以前一帧数据的融合网络输出的分类特征图作为当前帧数据的预期特征Y。
步骤4)与实施例1一致；
步骤5)根据互信息分配融合权重。
当前帧在融合网络中的两个分支，各有一个分支互信息，根据互信息大小分配融合权重，令分支权重之比与分支互信息之比成正比。
鉴于本领域技术人员应当理解神经网络模型的训练过程，描述如下：
基于工具PyTorch实现YOLOv3神经网络，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数等需要人工预设的超参数后，以1:1的融合权重开始训练。
当神经网络完成训练后，可以开始测试。在测试阶段输入时序数据。第一帧对应的融合权重为1:1，其余帧对应的融合权重根据互信息大小分配。
实施例3
基于实施例1和实施例2的方法，本发明的实施例3提出了一种基于互信息的自适应多传感器数据融合***，所述***包括：安装在汽车上的相机和激光雷达、预处理模块、结果输出模块、时序数据自适应调整模块和融合网络；其中，
所述相机，用于采集路面的RGB图像；
所述激光雷达，用于同步采集该路面的点云数据；
所述预处理模块，用于对点云数据进行预处理得到稠密点云数据；
所述结果输出模块，用于将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；
所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果；
所述时序数据自适应调整模块的具体实现过程为：
计算当前帧RGB图像与前一帧RGB图像之间的归一化互信息；如果归一化互信息大于0.5，则满足时序要求，由融合网络根据前一帧RGB图像和前一帧稠密点云数据得到预期特征，根据当前帧RGB图像的第一特征张量和预期特征计算得到第一分支互信息，根据当前帧稠密点云数据的第二特征张量和预期特征计算得到第二分支互信息，根据不同分支融合权重之比与互信息之比成正比的原则重新分配融合权重，输出数据融合结果，并记录本帧的预期特征；
否则，融合网络不重新分配融合权重。
实施例4
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1和实施例2的方法。
实施例5
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例1和实施例2的方法。
需要说明的是，本申请的实施例以相机和激光雷达获取的数据为例，但不限于上述数据，其他车载传感器的数据均可通过本方法进行融合得到融合权重。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于互信息的自适应多传感器数据融合方法，所述方法包括：
接收相机采集路面的RGB图像；
接收激光雷达同步采集该路面的点云数据；
对点云数据进行预处理得到稠密点云数据；
将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；
所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果；所述预期特征为期望数据中含有的特征；
所述融合网络包括互信息计算模块，所述互信息计算模块的具体实现过程为：
根据随机变量X、Y计算互信息I(X；Y)：
Figure FDA0003024379580000011
其中，p(x,y)是随机变量X和Y的联合概率密度函数，p(x)为随机变量X的边缘概率密度函数，p(y)为随机变量Y的边缘概率密度函数；
将互信息I(X；Y)表示为KL散度形式：
Figure FDA0003024379580000012
其中，
Figure FDA0003024379580000013
其中，DKL(·)表示互信息的KL散度，PX为随机变量X的概率，PY为随机变量Y的概率，PXY为随机变量X和Y的联合概率，
Figure FDA0003024379580000014
表示PXY的期望值；
将PXY记为J，
Figure FDA0003024379580000015
记为M；
根据KL散度的DV分布形式及性质得到互信息下限
Figure FDA0003024379580000016
Figure FDA0003024379580000017
其中，Tω:x×y→R为含参数ω的函数，EJ表示Tω(x,y)的期望值，EM表示
Figure FDA0003024379580000018
的期望值，由该函数计算出的互信息下限
Figure FDA0003024379580000019
足够接近实际值，该函数具体实现如下：
第一分支的特征张量X1的形式为(C,H1,M1,N1)，其中，C为第一分支的通道数，(H1,M1,N1)表示C个特征图，H1,M1,N1分别表示第一分支特征张量X1在三个维度上的数值，记为X1,n，n＝1，…，C，n为第一分支的通道序号，由互信息下限
Figure FDA0003024379580000021
计算公式得到第一分支第n个通道的互信息下限
Figure FDA0003024379580000022
为：
Figure FDA0003024379580000023
其中，
Figure FDA0003024379580000024
Figure FDA0003024379580000025
为H1·H1对角阵，矩阵U1＝X1,n·Y，u1,n为U1中元素，u1,max为U1中各元素的最大值，u1,avg为U1各元素的平均值，令
Figure FDA0003024379580000026
根据第一分支有C个通道，由此得到第一分支互信息I(X1；Y)：
Figure FDA0003024379580000027
第二分支特征张量X2的形式(D,H2,M2,N2)，其中，D为第二分支的通道数，(H2,M2,N2)表示D个特征图，H2,M2,N2分别表示第二分支特征张量X2在三个维度上的数值，记为X2,m，m＝1，…，D；m为第二分支的通道序号，由互信息下限
Figure FDA0003024379580000028
计算公式得到第二分第m个通道的支互信息下限
Figure FDA0003024379580000029
为：
Figure FDA00030243795800000210
其中，
Figure FDA00030243795800000211
Figure FDA00030243795800000212
为H2·H2对角阵，矩阵U2＝X2,m·Y，u2,m为U2中元素，u2,max为U2中各元素的最大值，u2,avg为U2各元素的平均值，令
Figure FDA00030243795800000213
根据第二分支有D个通道，由此得到第二分支的互信息I(X2；Y)：
Figure FDA00030243795800000214
2.根据权利要求1所述的基于互信息的自适应多传感器数据融合方法，其特征在于，所述对点云数据进行预处理得到稠密点云数据；具体包括：
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到像素平面，得到灰度图像对应的二维点云数据；
对二维点云数据进行插值操作，得到稠密点云数据。
3.根据权利要求2所述的基于互信息的自适应多传感器数据融合方法，其特征在于，所述方法还包括融合网络的训练步骤；具体包括：
步骤1)将已经标注好的RGB图像和稠密点云数据作为训练集；
步骤2)设置初始融合权重为1:1；
步骤3)将训练集中的RGB图像和稠密点云数据输入融合网络，经p轮训练后，确定融合网络的超参数，并得到两个分支的特征张量以及预期特征；由互信息计算模块计算互信息并分配融合权重；
步骤4)计算分配的融合权重和初始权重的差值，如果差值小于阈值，则分配后的融合权重收敛，融合网络训练完成；否则，转到步骤5)；
步骤5)以q轮为一个训练周期，每一轮均选取训练集中的RGB图像和稠密点云数据输入融合网络，调整融合网络的超参数；在第q轮，由互信息计算模块根据特征张量和预期特征计算互信息，并分配融合权重；转入步骤4)。
4.根据权利要求1所述的基于互信息的自适应多传感器数据融合方法，其特征在于，所述将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果之前还包括：判断当前帧RGB图像与前一帧RGB图像是否满足时序要求，如果满足，融合网络基于当前帧RGB图像、当前帧稠密点云数据、前一帧RGB图像和前一帧稠密点云数据调整融合权重，输出数据融合结果；具体包括：
计算当前帧RGB图像与前一帧RGB图像之间的归一化互信息；如果归一化互信息大于0.5，则满足时序要求，融合网络根据前一帧RGB图像和前一帧稠密点云数据得到预期特征，根据当前帧RGB图像的第一特征张量和预期特征计算得到第一分支互信息，根据当前帧稠密点云数据的第二特征张量和预期特征计算得到第二分支互信息，根据不同分支融合权重之比与互信息之比成正比的原则重新分配融合权重，输出数据融合结果，并记录本帧的预期特征；否则，不重新分配融合权重。
5.一种基于互信息的自适应多传感器数据融合***，其特征在于，所述***包括：安装在汽车上的相机和激光雷达、预处理模块、结果输出模块和融合网络；其中，
所述相机，用于采集路面的RGB图像；
所述激光雷达，用于同步采集该路面的点云数据；
所述预处理模块，用于对点云数据进行预处理得到稠密点云数据；
所述结果输出模块，用于将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；
所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果；所述预期特征为期望数据中含有的特征；
所述融合网络包括互信息计算模块，所述互信息计算模块的具体实现过程为：
根据随机变量X、Y计算互信息I(X；Y)：
Figure FDA0003024379580000041
其中，p(x,y)是随机变量X和Y的联合概率密度函数，p(x)为随机变量X的边缘概率密度函数，p(y)为随机变量Y的边缘概率密度函数；
将互信息I(X；Y)表示为KL散度形式：
Figure FDA0003024379580000042
其中，
Figure FDA0003024379580000043
其中，DKL(·)表示互信息的KL散度表示互信息的KL散度，PX为随机变量X的概率，PY为随机变量Y的概率，PXY为随机变量X和Y的联合概率，
Figure FDA0003024379580000044
表示PXY的期望值；
将PXY记为J，
Figure FDA0003024379580000045
记为M；
根据KL散度的DV分布形式及性质得到互信息下限
Figure FDA0003024379580000046
Figure FDA0003024379580000047
其中，Tω:x×y→R为含参数ω的函数，EJ表示Tω(x,y)的期望值，EM表示
Figure FDA0003024379580000048
的期望值，由该函数计算出的互信息下限
Figure FDA0003024379580000049
足够接近实际值，该函数具体实现如下：
第一分支特征张量X1的形式为(C,N1,M1,N1)，其中，C为第一分支的通道数，(H1,M1,N1)表示C个特征图，H1,M1,N1分别表示第一分支特征张量X1在三个维度上的数值，记为X1,n，n＝1，…，C，n为第一分支的通道序号，由互信息下限
Figure FDA00030243795800000410
计算公式得到第一分支互信息第n个通道的下限
Figure FDA00030243795800000411
为：
Figure FDA0003024379580000051
其中，
Figure FDA0003024379580000052
Figure FDA0003024379580000053
为H1·H1对角阵，矩阵U1＝X1,n·Y，u1,n为U1中元素，u1,max为U1中各元素的最大值，u1,avg为U1各元素的平均值，令
Figure FDA0003024379580000054
根据第一分支有C个通道，由此得到第一分支互信息I(X1；Y)：
Figure FDA0003024379580000055
第二分支特征张量X2的形式(D,H2,M2,N2)，其中，D为第二分支的通道数，(H2,N2,N2)表示D个特征图，H2,M2,N2分别表示第二分支特征张量X2在三个维度上的数值，记为X2,m，m＝1，…，D；m为第二分支的通道序号，由互信息下限
Figure FDA0003024379580000056
计算公式得到第二分支第m个通道的互信息下限
Figure FDA0003024379580000057
为：
Figure FDA0003024379580000058
其中，
Figure FDA0003024379580000059
Figure FDA00030243795800000510
为H2·H2对角阵，矩阵U2＝X2,m·Y，u2,m为U2中元素，u2,max为U2中各元素的最大值，u2,avg为U2各元素的平均值，令
Figure FDA00030243795800000511
根据第二分支有D个通道，由此得到第二分支的互信息I(X2；Y)：
Figure FDA00030243795800000512
6.根据权利要求5所述的基于互信息的自适应多传感器数据融合***，其特征在于，所述预处理模块的具体实现过程为：
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到像素平面，得到灰度图像对应的二维点云数据；
对二维点云数据进行插值操作，得到稠密点云数据。
7.根据权利要求6所述的基于互信息的自适应多传感器数据融合***，其特征在于，所述***还包括时序数据自适应调整模块；所述时序数据自适应调整模块的具体实现过程为：
计算当前帧RGB图像与前一帧RGB图像之间的归一化互信息；如果归一化互信息大于0.5，则满足时序要求，由融合网络根据前一帧RGB图像和前一帧稠密点云数据得到预期特征，根据当前帧RGB图像的第一特征张量和预期特征计算得到第一分支互信息，根据当前帧稠密点云数据的第二特征张量和预期特征计算得到第二分支互信息，根据不同分支融合权重之比与互信息之比成正比的原则重新分配融合权重，输出数据融合结果，并记录本帧的预期特征；否则，融合网络不重新分配融合权重。
CN202011156482.1A 2020-10-26 2020-10-26 一种基于互信息的自适应多传感器数据融合方法及*** Active CN112270251B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011156482.1A CN112270251B (zh) 2020-10-26 2020-10-26 一种基于互信息的自适应多传感器数据融合方法及***
US17/402,494 US11210801B1 (en) 2020-10-26 2021-08-13 Adaptive multi-sensor data fusion method and system based on mutual information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011156482.1A CN112270251B (zh) 2020-10-26 2020-10-26 一种基于互信息的自适应多传感器数据融合方法及***

Publications (2)

Publication Number Publication Date
CN112270251A CN112270251A (zh) 2021-01-26
CN112270251B true CN112270251B (zh) 2021-07-06

Family

ID=74341405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011156482.1A Active CN112270251B (zh) 2020-10-26 2020-10-26 一种基于互信息的自适应多传感器数据融合方法及***

Country Status (2)

Country Link
US (1) US11210801B1 (zh)
CN (1) CN112270251B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144388B (zh) * 2020-04-03 2020-07-14 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN112835037B (zh) * 2020-12-29 2021-12-07 清华大学 一种基于视觉和毫米波融合的全天候目标检测方法
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
CN113434713B (zh) * 2021-06-18 2024-03-12 广东翁源滃江源国家湿地公园管理处 一种基于一张图的林业大数据建设方法及***
CN113640779B (zh) * 2021-10-15 2022-05-03 北京一径科技有限公司 雷达失效判定方法及装置、存储介质
CN115014224B (zh) * 2022-05-27 2023-05-02 广东省核工业地质局测绘院 基于LiDAR点云与倾斜航空影像的地表形变监测方法
CN115049996B (zh) * 2022-05-27 2024-06-28 合肥工业大学 基于证据推理规则的双传感器目标检测融合方法和***
CN115496975B (zh) * 2022-08-29 2023-08-18 锋睿领创(珠海)科技有限公司 辅助加权数据融合方法、装置、设备及存储介质
CN116680557B (zh) * 2023-08-03 2023-10-27 山东省地质矿产勘查开发局第八地质大队(山东省第八地质矿产勘查院) 用于煤层气钻井工程的实时监测***及其方法
CN117725403B (zh) * 2024-02-08 2024-04-12 天津大学 一种面向智能制造的互信息特征提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171141A (zh) * 2017-12-25 2018-06-15 淮阴工学院 基于注意力模型的级联多模式融合的视频目标跟踪方法
CN108665541A (zh) * 2018-04-09 2018-10-16 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN110765894A (zh) * 2019-09-30 2020-02-07 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN111553859A (zh) * 2020-04-29 2020-08-18 清华大学 一种激光雷达点云反射强度补全方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8099213B2 (en) * 2008-07-18 2012-01-17 GM Global Technology Operations LLC Road-edge detection
CN103645480B (zh) * 2013-12-04 2015-11-18 北京理工大学 基于激光雷达和图像数据融合的地形地貌特征构建方法
US8886387B1 (en) * 2014-01-07 2014-11-11 Google Inc. Estimating multi-vehicle motion characteristics by finding stable reference points
US10474964B2 (en) * 2016-01-26 2019-11-12 Ford Global Technologies, Llc Training algorithm for collision avoidance
US11205103B2 (en) * 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
CN111445523A (zh) * 2020-03-25 2020-07-24 中国农业科学院农业信息研究所 果实位姿计算方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171141A (zh) * 2017-12-25 2018-06-15 淮阴工学院 基于注意力模型的级联多模式融合的视频目标跟踪方法
CN108665541A (zh) * 2018-04-09 2018-10-16 北京三快在线科技有限公司 一种基于激光传感器的地图生成方法及装置和机器人
CN110378196A (zh) * 2019-05-29 2019-10-25 电子科技大学 一种结合激光点云数据的道路视觉检测方法
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN110765894A (zh) * 2019-09-30 2020-02-07 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN111553859A (zh) * 2020-04-29 2020-08-18 清华大学 一种激光雷达点云反射强度补全方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mutual-information basedweighted fusion for target tracking in underwater wireless sensor networks;Duo ZHANG等;《Front Inform Technol Electron Eng》;20181231;论文摘要 *

Also Published As

Publication number Publication date
US11210801B1 (en) 2021-12-28
CN112270251A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN112270251B (zh) 一种基于互信息的自适应多传感器数据融合方法及***
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及***
CN113111974B (zh) 基于深度典型相关分析的视觉-激光雷达融合方法及***
US20210042929A1 (en) Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN105678689B (zh) 高精地图数据配准关系确定方法及装置
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
CN105335955A (zh) 对象检测方法和对象检测装置
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN110718137B (zh) 目标物密度分布地图的构建方法及装置、终端、移动装置
CN113610141B (zh) 自动驾驶多传感器融合感知模型的鲁棒性测试方法及***
CN111784560A (zh) 基于级联残差生成对抗网络的sar和光学图像双向翻译方法
KR101869266B1 (ko) 극한 심층학습 기반 차선 검출 시스템 및 그 방법
CN113344956A (zh) 基于无人机航摄三维建模的地物轮廓提取分类方法
CN115393712B (zh) 基于动态混合池化策略的sar图像道路提取方法及***
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、***及人脸检测设备
CN116189147A (zh) 一种基于yolo的三维点云低功耗快速目标检测方法
CN113255553B (zh) 一种基于振动信息监督的可持续学习方法
CN113436239A (zh) 一种基于深度信息估计的单目图像三维目标检测方法
CN110223250B (zh) 基于单应变换的sar几何校正方法
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
CN114972276A (zh) 一种车辆自动驾驶距离判断算法
CN115035359A (zh) 一种点云数据处理方法、训练数据处理方法及装置
CN112949761A (zh) 三维图像神经网络模型的训练方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant