CN112233079B - 多传感器图像融合的方法及*** - Google Patents

多传感器图像融合的方法及*** Download PDF

Info

Publication number
CN112233079B
CN112233079B CN202011084849.3A CN202011084849A CN112233079B CN 112233079 B CN112233079 B CN 112233079B CN 202011084849 A CN202011084849 A CN 202011084849A CN 112233079 B CN112233079 B CN 112233079B
Authority
CN
China
Prior art keywords
loss
fusion
image
network
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011084849.3A
Other languages
English (en)
Other versions
CN112233079A (zh
Inventor
耿可可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011084849.3A priority Critical patent/CN112233079B/zh
Publication of CN112233079A publication Critical patent/CN112233079A/zh
Application granted granted Critical
Publication of CN112233079B publication Critical patent/CN112233079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种多传感器图像融合的方法及***，涉及图像处理技术领域，解决了现有图像处理技术造成环境感知的稳健性和有效性不高的技术问题，其技术方案要点是利用可见光图像质量评估网络IQAN对RGB图像进行评估，通过特征权重的表达式将RGB图像和激光雷达图像的特征进行特征融合，再利用联合损失函数对网络模型进行训练，得到基于图像质量评估的深度学习网络，该深度学习网络对多传感器图像融合的感知问题有较好的适用性，且本发明网络结构清晰，计算复杂度低，能够在实车嵌入式控制器上实现，有较好的应用前景。

Description

多传感器图像融合的方法及***
技术领域
本公开涉及图像处理技术领域，尤其涉及一种多传感器图像融合的方法及***。
背景技术
环境感知是实现无人驾驶汽车自主形式的关键技术之一，其中多传感器信息融合感知是通过融合相机、激光雷达等多种传感器的信息实现车辆对环境的感知，同时保证车辆行驶安全性和智能化，是无人驾驶汽车的眼睛，是实现无人驾驶汽车的必要条件。
目前，对无人驾驶汽车的环境感知大都使用基于深度学***移不变分类，最具代表性的卷积神经网络之一是ResNet(Residual Neural Network，残差神经网络)，由于输入可以直接连接到输出，使得整个网络只需要学习残差，从而简化学习目标和难度。
多传感器融合并对环境感知的关键在于图像数据的质量，相机在各种环境感知***中得到了广泛的应用，因为成本更低，图像的特征更丰富，包括颜色、纹理、亮度、方向等，但是光照变化、运动模糊和强噪声对图像质量有很大的影响，这对于基于图像的交通目标分类算法的有效性和稳健性是非常不利的。因此，如何合理利用不同的传感器数据，从而提高环境感知的稳健性和有效性是本申请亟需解决的问题。
发明内容
本公开提供了一种多传感器图像融合的方法及***，其技术目的是合理利用不同的传感器数据，提高环境感知的稳健性和有效性。
本公开的上述技术目的是通过以下技术方案得以实现的：
一种多传感器图像融合的方法，包括：
使用可见光图像质量评估网络IQAN对RGB图像进行评估，得到RGB图像的IQA评分；
使用加权评估网络IQA获得所述RGB图像的权重融合函数，得到激光雷达图像和所述RGB图像的权重系数；
使用ResNet101+FPN网络对所述RGB图像和所述激光雷达图像分别进行特征提取，分别得到RGB图像特征和激光雷达图像特征；
通过所述权重融合函数将所述RGB图像特征和所述激光雷达图像特征进行特征融合，得到第一融合特征；
通过FPN网络对所述第一融合特征进行特征融合，得到第二融合特征；
使用预测网络对所述第二融合特征进行结果预测，得到预测结果；
使用联合损失函数和所述预测结果训练网络模型，得到深度学习网络。
进一步地，所述可见光图像质量评估网络IQAN包括两个卷积层、激活层、池化层和两个全连接层。
进一步地，所述权重融合函数的表达式包括：
Figure DEST_PATH_FDA0003399051890000011
其中，wRGB表示RGB图像的权重系数，δ表示相对误差，ε表示效果参数，IQRGB表示每个RGB图像的IQA分数，IQT表示IQA分数的阈值，则激光雷达图像的权重系数为wLIDAR＝1-wRGB。
进一步地，所述使用ResNet101+FPN网络对所述RGB图像和所述激光雷达图像进行特征提取，包括：
对位于相机场内的激光雷达点云进行采样，对所述采样进行投影转换，其投影函数为：
Figure BDA0002719995530000022
其中，α和β表示观察所述激光雷达点云时的方位角和天顶角，Δα和Δβ表示连续波束发射体之间的平均水平角度分辨率和平均垂直角度分辨率， (r,c)表示所述激光雷达点云在投影图像上的二维地图位置索引，(x,y,z) 表示所述激光雷达点云在笛卡尔坐标系下的坐标，在(r,c)处用二通道数据 (d,z)填充元素进行转换，
Figure BDA0002719995530000023
将转换后的激光雷达点云数据(r,c) 和RGB图像分别输入到由ResNet101+FPN构成的网络中进行特征提取。
进一步地，所述联合损失函数包括：
Losstotal＝λclsLosscls+λbboxLossbbox+λmaskLossmask；
其中，Losstotal表示总损耗，Losscls表示分类损耗，Lossbbox表示边界框回归损耗，Lossmask表示掩码预测损耗，λcls、λbbox、λmask分别为相应的权重系数；
使用Pi和Pi *分别表示地面真实分类和预测分类，则所述分类损耗表示为：
Figure BDA0002719995530000024
其中，Ncls表示建议区域的数量，Lcls为多类交叉熵函数；
使用Bi和Bi *分别表示地面真实边界框和预测边界框，则所述边界框回归损耗表示为：
Figure BDA0002719995530000031
其中，Nreg表示要素地图的大小， Lbbox表示损耗函数smooth-L1；
使用Mi和Mi *分别表示地面真实分段蒙版和预测分段蒙版，则所述掩码预测损耗表示为：
Figure BDA0002719995530000032
其中Nmask表示像素级别上要素地图的位置，Lseg表示交叉熵函数。
一种多传感器图像融合的***，包括：
评估模块，使用可见光图像质量评估网络IQAN对RGB图像进行评估，得到RGB图像的IQA评分；
权重获取模块，使用加权评估网络IQA获得所述RGB图像的权重融合函数，得到激光雷达图像和所述RGB图像的权重系数；
特征提取模块，使用ResNet101+FPN网络对所述RGB图像和所述激光雷达图像分别进行特征提取，分别得到RGB图像特征和激光雷达图像特征；
第一融合模块，通过所述权重融合函数将所述RGB图像特征和所述激光雷达图像特征进行特征融合，得到第一融合特征；
第二融合模块，通过FPN网络对所述第一融合特征进行特征融合，得到第二融合特征；
预测模块，使用预测网络对所述第二融合特征进行结果预测，得到预测结果；
训练模块，使用联合损失函数和所述预测结果训练网络模型，得到深度学习网络。
本公开的有益效果在于：本公开所述的多传感器图像融合的方法及***，利用可见光图像质量评估网络IQAN对RGB图像进行评估，通过特征权重的表达式将RGB图像和激光雷达图像的特征进行特征融合，再利用联合损失函数对网络模型进行训练，得到基于图像质量评估的深度学习网络，该深度学习网络对多传感器图像融合的感知问题有较好的适用性，且本发明网络结构清晰，计算复杂度低，能够在实车嵌入式控制器上实现，有较好的应用前景。
附图说明
图1为本公开方法流程图；
图2为本公开***示意图；
图3为数据融合流程图；
图4为具体实施例结果对比图。
具体实施方式
下面将结合附图对本公开技术方案进行详细说明。在本公开的描述中，需要理解地是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明所指示的技术特征的数量，仅用来区分不同的组成部分。
图1为本公开方法流程图，如图1所示，100：首先使用可见光图像质量评估网络IQAN(image quality assessment network，图像质量评估网络) 对RGB图像进行评估。
IQAN的整体结构包括两个卷积层、激活层、池化层和两个全连接层。对于输入的RGB图像，首先将其调整为64×64像素，经过第一层卷积层后，生成50幅大小为60×60的特征图，然后再经过第二层卷积层生成50幅56×56 的特征图，再经过激活层和池化层后，到达两个全连接层，线性回归后给出带IQA(Image Quality Assessment,图像质量评价)评分的一维输出。
101：使用加权评估网络IQA获得RGB图像的权重融合函数，从而得到激光雷达图像和RGB图像的权重系数。权重融合函数的表达式包括：
Figure 309368DEST_PATH_FDA0003399051890000011
其中，wRGB表示RGB图像的权重系数，δ表示相对误差，ε表示效果参数，IQRGB表示每个RGB图像的IQA分数，IQT表示IQA分数的阈值，则激光雷达图像的权重系数为wLIDAR＝1-wRGB。wRGB和wLIDAR则分别描述了交通对象 (汽车等)的实例分割对RGB图像和激光雷达图像的依赖程度。
102：使用ResNet101+FPN网络对RGB图像和激光雷达图像分别进行特征提取。ResNet101为ResNet的一种，FPN(feature pyramid networks) 为特征金字塔网络，特征提取的具体过程包括：首先对位于相机场内的激光雷达点云进行采样，并将该采样转换为像素级密集球面深度图像，即对该采样进行投影转换，其投影函数为：
Figure BDA0002719995530000051
其中，α和β表示观察激光雷达点云时的方位角和天顶角，Δα和Δβ表示连续波束发射体之间的平均水平角度分辨率和平均垂直角度分辨率，(r,c) 表示激光雷达点云在投影图像上的二维地图位置索引，(x,y,z)表示激光雷达点云在笛卡尔坐标系下的坐标，在(r,c)处用二通道数据(d,z)填充元素进行转换，
Figure BDA0002719995530000052
将转换后的激光雷达点云数据(r,c)和RGB图像分别输入到由ResNet101+FPN构成的网络中进行特征提取，分别得到RGB图像特征和激光雷达图像特征，即得到相机数据和激光雷达数据的特征图。
103：通过权重融合函数将RGB图像特征和激光雷达图像特征进行特征融合，得到第一融合特征，即将RGB图像的特征图和激光雷达图像的特征图分别乘以各自的权重系数wRGB、wLIDAR，再串联进行特征融合，得到第一融合特征。图3即为数据融合的流程图，RGB图像和激光雷达图像分别投入到 ResNet101+FPN网络中进行特征提取，然后将各自提取到的特征进行特征融合。
104：通过FPN网络对所第一融合特征进行特征融合，得到第二融合特征。使用FPN网络融合具有高分辨率特征的浅层和具有丰富语义信息的深层，构建了在所有尺度上都具有强语义信息的特征金字塔。
105：使用预测网络对所第二融合特征进行结果预测，得到预测结果。使用预测网络对FPN网络的输出进行边界框回归、分类及掩码预测。
106：使用联合损失函数和预测结果训练网络模型，得到深度学习网络。使用以下联合损耗函数对建议的网络模型进行训练，该联合损耗函数为： Losstotal＝λclsLosscls+λbboxLossbbox+λmaskLossmask；
其中，Losstotal表示总损耗，Losscls表示分类损耗，Lossbbox表示损耗，Lossmask表示掩码预测损耗，λcls、λbbox、λmask分别为相应的权重系数。
使用Pi和Pi *分别表示地面真实分类和预测分类，则所述分类损耗表示为：
Figure BDA0002719995530000053
其中，Ncls表示建议区域的数量，Lcls为多类交叉熵函数。
使用Bi和Bi *分别表示地面真实边界框和预测边界框，则所述边界框回归损耗表示为：
Figure BDA0002719995530000054
其中，Nreg表示要素地图的大小，Lbbox表示损耗函数smooth-L1。
使用Mi和Mi *分别表示地面真实分段蒙版和预测分段蒙版，则所述掩码预测损耗表示为：
Figure BDA0002719995530000061
其中Nmask表示像素级别上要素地图的位置，Lseg表示交叉熵函数。
表1为采用本公开所述方法具体实施时使用的数据，如下：
环境 晴天 雨天 雾天 夜间
数量 4369 2315 3907 4061
表1
由表2可知：使用基于IQAN网络评估的相机数据与激光雷达数据的融合感知效果好于不使用基于IQAN网络评估且只基于相机数据的感知效果。同时，本发明使用ResNet-101+FPN作为主干网络的双模图像感知深度神经网络的感知效果优于当下最先进的实例分割网络MASK-RCNN和Retina-RCNN 的感知效果。
主干网络 模态 FPS AP AP50 AP75
MASK-RCNN ResNet-101-FPN Single 13.5 35.7 58.0 37.8
Retina-RCN ResNet-101-FPN Single 11.2 34.7 55.4 36.9
YOLACT ResNet-101-FPN Single 30.0 29.8 48.5 31.2
IQAN ResNet-18-FPN Dual 37.3 28.7 46.8 30.0
IQAN ResNet-50-FPN Dual 35.5 31.2 50.6 32.8
IQAN ResNet-101-FPN Dual 27.0 39.1 59.7 39.8
表2
其中，FPS(Frames Per Second)表示每秒传输帧数，AP(Average Precision)表示平均预测精度，Single模态表示输入到主干网络只有RGB 图像的数据，Dual模态表示输入到主干网络的数据包括RGB图像和激光雷达图像。AP50、AP75分别表示交并比为50％、75％时的平均预测精度，AP表示 50％、55％、60％、65％、70％、75％、80％、85％、90％这9个交并比下平均预测精度的平均值，交并比指产生的预测区域(候选框)与真实目标区域(原标记框)的交叠率。
图4为在不同的天气条件下使用表1的测试数据集进行检测，其中a表示阴雨天，b表示雾天，c表示夜间有路灯，d表示夜间没有路灯，结合表2 得到三种情况下的标记结果，显而易见，在使用IQAN的基础上对RGB图像和激光雷达图像进行特征数据融合后，得到的环境感知结果最为准确。
图2为本公开***示意图，本公开所述的多传感器图像融合***包括评估模块、权重获取模块、特征提取模块、第一融合模块、第二融合模块、预测模块和训练模块，各模块的具体作用参考本公开所述方法，不再赘述。
以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。

Claims (8)

1.一种多传感器图像融合的方法，其特征在于，包括：
使用可见光图像质量评估网络IQAN对RGB图像进行评估，得到RGB图像的IQA评分；
使用加权评估网络获得所述RGB图像的权重融合函数，得到激光雷达图像和所述RGB图像的权重系数；
使用ResNet101+FPN网络对所述RGB图像和所述激光雷达图像分别进行特征提取，分别得到RGB图像特征和激光雷达图像特征；
通过所述权重融合函数将所述RGB图像特征和所述激光雷达图像特征进行特征融合，得到第一融合特征；
通过FPN网络对所述第一融合特征进行特征融合，得到第二融合特征；
使用预测网络对所述第二融合特征进行结果预测，得到预测结果；
使用联合损失函数和所述预测结果训练网络模型，得到深度学习网络；
其中，所述权重融合函数的表达式包括：
Figure FDA0003399051890000011
其中，wRGB表示RGB图像的权重系数，δ表示相对误差，ε表示效果参数，IQRGB表示每个RGB图像的IQA分数，IQT表示IQA分数的阈值，则激光雷达图像的权重系数为wLIDAR＝1-wRGB。
2.如权利要求1所述的多传感器图像融合的方法，其特征在于，所述可见光图像质量评估网络IQAN包括两个卷积层、激活层、池化层和两个全连接层。
3.如权利要求2所述的多传感器图像融合的方法，其特征在于，所述使用ResNet101+FPN网络对所述RGB图像和所述激光雷达图像进行特征提取，包括：
对位于相机场内的激光雷达点云进行采样，对所述采样进行投影转换，其投影函数为：
Figure FDA0003399051890000012
其中，α和β表示观察所述激光雷达点云时的方位角和天顶角，Δα和Δβ表示连续波束发射体之间的平均水平角度分辨率和平均垂直角度分辨率，(r,c)表示所述激光雷达点云在投影图像上的二维地图位置索引，(x,y,z)表示所述激光雷达点云在笛卡尔坐标系下的坐标，在(r,c)处用二通道数据(d,z)填充元素进行转换，
Figure FDA0003399051890000021
将转换后的激光雷达点云数据(r,c)和RGB图像分别输入到由ResNet101+FPN构成的网络中进行特征提取。
4.如权利要求3所述的多传感器图像融合的方法，其特征在于，所述联合损失函数包括：
Losstotal＝λclsLosscls+λbboxLossbbox+λmaskLossmask；
其中，Losstotal表示总损耗，Losscls表示分类损耗，Lossbbox表示边界框回归损耗，Lossmask表示掩码预测损耗，λcls、λbbox、λmask分别为相应的权重系数；
使用Pi和Pi *分别表示地面真实分类和预测分类，则所述分类损耗表示为：
Figure FDA0003399051890000022
其中，Ncls表示建议区域的数量，Lcls为多类交叉熵函数；
使用Bi和Bi *分别表示地面真实边界框和预测边界框，则所述边界框回归损耗表示为：
Figure FDA0003399051890000023
其中，Nreg表示要素地图的大小，Lbbox表示损耗函数smooth-L1；
使用Mi和Mi *分别表示地面真实分段蒙版和预测分段蒙版，则所述掩码预测损耗表示为：
Figure FDA0003399051890000024
其中Nmask表示像素级别上要素地图的位置，Lseg表示交叉熵函数。
5.一种多传感器图像融合的***，其特征在于，包括：
评估模块，使用可见光图像质量评估网络IQAN对RGB图像进行评估，得到RGB图像的IQA评分；
权重获取模块，使用加权评估网络获得所述RGB图像的权重融合函数，得到激光雷达图像和所述RGB图像的权重系数；
特征提取模块，使用ResNet101+FPN网络对所述RGB图像和所述激光雷达图像分别进行特征提取，分别得到RGB图像特征和激光雷达图像特征；
第一融合模块，通过所述权重融合函数将所述RGB图像特征和所述激光雷达图像特征进行特征融合，得到第一融合特征；
第二融合模块，通过FPN网络对所述第一融合特征进行特征融合，得到第二融合特征；
预测模块，使用预测网络对所述第二融合特征进行结果预测，得到预测结果；
训练模块，使用联合损失函数和所述预测结果训练网络模型，得到深度学习网络；
其中，所述权重融合函数的表达式包括：
Figure FDA0003399051890000011
其中，wRGB表示RGB图像的权重系数，δ表示相对误差，ε表示效果参数，IQRGB表示每个RGB图像的IQA分数，IQT表示IQA分数的阈值，则激光雷达图像的权重系数为wLIDAR＝1-wRGB。
6.如权利要求5所述的多传感器图像融合的***，其特征在于，所述可见光图像质量评估网络IQAN包括两个卷积层、激活层、池化层和两个全连接层。
7.如权利要求6所述的多传感器图像融合的***，其特征在于，所述特征提取模块用于：对位于相机场内的激光雷达点云进行采样，对所述采样进行投影转换，其投影函数为：
Figure FDA0003399051890000032
其中，α和β表示观察所述激光雷达点云时的方位角和天顶角，Δα和Δβ表示连续波束发射体之间的平均水平角度分辨率和平均垂直角度分辨率，(r,c)表示所述激光雷达点云在投影图像上的二维地图位置索引，(x,y,z)表示所述激光雷达点云在笛卡尔坐标系下的坐标，在(r,c)处用二通道数据(d,z)填充元素进行转换，
Figure FDA0003399051890000033
将转换后的激光雷达点云数据(r,c)和RGB图像分别输入到由ResNet101+FPN构成的网络中进行特征提取。
8.如权利要求7所述的多传感器图像融合的***，其特征在于，所述联合损失函数包括：
Losstotal＝λclsLosscls+λbboxLossbbox+λmaskLossmask；
其中，Losstotal表示总损耗，Losscls表示分类损耗，Lossbbox表示边界框回归损耗，Lossmask表示掩码预测损耗，λcls、λbbox、λmask分别为相应的权重系数；
使用Pi和Pi *分别表示地面真实分类和预测分类，则所述分类损耗表示为：
Figure FDA0003399051890000041
其中，Ncls表示建议区域的数量，Lcls为多类交叉熵函数；
使用Bi和Bi *分别表示地面真实边界框和预测边界框，则所述边界框回归损耗表示为：
Figure FDA0003399051890000042
其中，Nreg表示要素地图的大小，Lbbox表示损耗函数smooth-L1；
使用Mi和Mi *分别表示地面真实分段蒙版和预测分段蒙版，则所述掩码预测损耗表示为：
Figure FDA0003399051890000043
其中Nmask表示像素级别上要素地图的位置，Lseg表示交叉熵函数。
CN202011084849.3A 2020-10-12 2020-10-12 多传感器图像融合的方法及*** Active CN112233079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011084849.3A CN112233079B (zh) 2020-10-12 2020-10-12 多传感器图像融合的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011084849.3A CN112233079B (zh) 2020-10-12 2020-10-12 多传感器图像融合的方法及***

Publications (2)

Publication Number Publication Date
CN112233079A CN112233079A (zh) 2021-01-15
CN112233079B true CN112233079B (zh) 2022-02-11

Family

ID=74113304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011084849.3A Active CN112233079B (zh) 2020-10-12 2020-10-12 多传感器图像融合的方法及***

Country Status (1)

Country Link
CN (1) CN112233079B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221659B (zh) * 2021-04-13 2022-12-23 天津大学 一种基于不确定感知网络的双光车辆检测方法及装置
CN117864412A (zh) * 2023-08-10 2024-04-12 中国人民解放军海军航空大学 一种基于激光点云信息的机载电子装备测试信号触发机制

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289808A (zh) * 2011-07-22 2011-12-21 清华大学 一种图像融合质量评估方法和***
CN106897986A (zh) * 2017-01-23 2017-06-27 浙江大学 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN108549874A (zh) * 2018-04-19 2018-09-18 广州广电运通金融电子股份有限公司 一种目标检测方法、设备及计算机可读存储介质
WO2019196539A1 (zh) * 2018-04-11 2019-10-17 杭州海康威视数字技术股份有限公司 图像融合方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675964B2 (en) * 2012-06-06 2014-03-18 Apple Inc. Image fusion using intensity mapping functions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289808A (zh) * 2011-07-22 2011-12-21 清华大学 一种图像融合质量评估方法和***
CN106897986A (zh) * 2017-01-23 2017-06-27 浙江大学 一种基于多尺度分析的可见光图像与远红外图像融合方法
WO2019196539A1 (zh) * 2018-04-11 2019-10-17 杭州海康威视数字技术股份有限公司 图像融合方法及其装置
CN108549874A (zh) * 2018-04-19 2018-09-18 广州广电运通金融电子股份有限公司 一种目标检测方法、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep Dual-Modal Traffic Objects Instance Segmentation Method Using Camera and LIDAR Data for Autonomous Driving;Keke Geng等;《remote sensing》;20201009;第1-22页 *

Also Published As

Publication number Publication date
CN112233079A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN110188696B (zh) 一种水面无人装备多源感知方法及***
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN110570429B (zh) 一种基于三维点云的轻量级实时语义分割方法
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
KR20220155559A (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN110738121A (zh) 一种前方车辆检测方法及检测***
CN109919026B (zh) 一种水面无人艇局部路径规划方法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN114266977B (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN112233079B (zh) 多传感器图像融合的方法及***
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN111832410B (zh) 一种基于视觉与激光雷达融合的前向列车检测方法
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN116129233A (zh) 基于多模态融合感知的自动驾驶场景全景分割方法
CN114120283A (zh) 一种道路场景三维语义分割中未知障碍物的判别方法
CN113804182B (zh) 一种基于信息融合的栅格地图创建方法
Zhang et al. Change detection between digital surface models from airborne laser scanning and dense image matching using convolutional neural networks
CN115984646B (zh) 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及***
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
Zheng et al. Research on environmental feature recognition algorithm of emergency braking system for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant