CN110110765A - 一种基于深度学习的多源数据融合目标识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多源数据融合目标识别方法，包括：步骤1，对待识别目标的多源数据进行数据预处理，获取待识别目标的复合图像；所述数据预处理的过程为：(1)对多源数据进行配准关联；(2)将配准关联后的多源数据进行可视化转换为组合元素，将组合元素按一定的排列组合规则生成复合图像；步骤2，将待识别目标的复合图像输入训练完成的深度神经网络模型进行识别；所述训练完成的深度神经网络模型为：深度神经网络采用训练目标的多源数据经数据预处理得到的复合图像进行训练得到的深度神经网络模型。本发明利用深度学习技术，实现了多源数据融合目标识别，无需人工参与特征设计、权重赋值，具有较强的自学习能力和适应性。

Description

一种基于深度学习的多源数据融合目标识别方法

技术领域

本发明涉及目标识别技术领域，尤其是一种基于深度学习的多源数据融合目标识别方法。

背景技术

多源数据融合是一种针对多源数据的处理手段，是目标识别领域(尤其是机载多传感器应用场景)的核心技术之一。多源数据融合能基于多种传感器(雷达、光电、红外、摄像头等)采集的数据，进行配准、关联、组合等多层次、体系化处理，采取适当的判决手段，对目标状态、身份信息做出判断。其优势在于不同来源的数据能从多个角度描述目标，能提升目标识别的准确性、可靠性。随着数据源的丰富，多源数据融合方法还可以用来理解环境态势，对目标意图和威胁等级做出评判。

传统的多源数据融合方法包括：

1.加权平均法：将不同来源的数据赋予加权系数后做平均得到最终结果。该方法简单直观，但在加权系数的确定上受人为主观因素影响较大，此外该方法难以直接利用非结构化数据(如红外图像、可见光图像等)；

2.Bayes估计法：以最小风险代价为基本模型，在给定一个预先似然估计和附加证据(观测)条件下，更新一个假设的似然函数。该方法需人为定义先验概率，当有多个可能的假设和多个条件相关时较为复杂；

3.D-S证据理论：D-S证据理论是Bayes理论的广义扩展，它利用了概率区间和不确定区间来确定多证据下假设的似然函数。目前，该方法应用较为广泛，在处理不确定因素(随机、模糊)上有较大优势，但它不能有效地处理矛盾的证据，且D-S方法具有的组合灵敏性(有时基本概率赋值的一个微小变化都可能导致结果很大的变化)会导致其在处理噪音数据上有较大困难。

4.此外，关于多源数据融合的方法还包括：卡尔曼滤波法、多Bayes方法、模板法等。

综上所述，传统的多源数据融合具有数据利用不充分(有些方法难以利用非结构化数据，如红外图像、可见光图像等)，人工参与较多(权重赋值、特征设计等工作)，学习能力和适应性相对较差等不足。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于深度学习的多源数据融合目标识别方法，所述方法能充分利用各种类型数据(雷达数据、光电数据、红外图像、可见光图像等数据)，自动完成特征提取和权重赋值，最终达到目标识别的效果，具有较强的自学习能力和适应性。

本发明采用的技术方案如下：

一种基于深度学习的多源数据融合目标识别方法，包括：

步骤1，对待识别目标的多源数据进行数据预处理，获取待识别目标的复合图像；所述数据预处理的过程为：(1)对多源数据进行配准关联；(2)将配准关联后的多源数据进行可视化转换为组合元素，将组合元素按一定的排列组合规则生成复合图像；

步骤2，将待识别目标的复合图像输入训练完成的深度神经网络模型进行识别；所述训练完成的深度神经网络模型为：深度神经网络采用训练目标的多源数据经数据预处理得到的复合图像进行训练得到的深度神经网络模型。

进一步地，所述对多源数据进行配准关联的方法包括：时间配准、空间配准和信息关联。

进一步地，进行配准关联后的多源数据包括：结构化数据和非结构化数据；所述结构化数据进行可视化转换为色块；所述非结构化数据进行可视化转换为图像。

进一步地，所述结构化数据进行可视化转换为色块的方法包括：根据结构化数据的测量值和预设的测量范围，将其映射为具有一定灰度值的灰度色块或具有一定RGB值的彩色色块。

进一步地，所述色块的形状包括但不限于方形、矩形、圆形和三角形。

进一步地，所述非结构化数据进行可视化转换为图像：所述非结构化数据包括：图像、视频、音频和信号频谱；

对于图像和视频，无需进行可视化转换，仅进行尺寸缩放，保证其在复合图像中的尺寸固定；

对于音频和信号频谱，需通过一定的时域频域数据处理转化为波形图或频谱图，并且，对于音频和信号频谱的数据范围应保持一致，使其转换后的波形图或频谱图在复合图像中的尺寸固定。

进一步地，在对图像和视频进行尺寸缩放之前，可进行一定的图像增强，包括但不限于翻转、裁剪和颜色变换。

进一步地，所述排列组合规则为：组合元素可以任意形式分布在复合图像任意位置，但需遵循构成复合图像的组合元素之间无遮挡、排布一致的原则。

进一步地，训练所述深度神经网络模型的方法为：

步骤2.1，将训练目标的多源数据经数据预处理得到的复合图像及其对应的标签作为训练数据集；

步骤2.2，利用训练数据集，采用迁移训练的方法对深度神经网络进行训练得到深度神经网络模型。

进一步地，步骤2.2中利用训练数据集，采用迁移训练的方法对初始深度神经网络进行训练时，需要根据训练数据集的大小选择训练策略；所述训练策略为：

(1)当训练数据集相对较小时，训练深度神经网络输出层的权重；

(2)当训练数据集相对较大时，训练深度神经网络输出层和部分隐藏层的权重；

(3)当训练数据集比较大时，训练深度神经网络输出层和全部隐藏层的权重。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明利用深度学习技术，实现了多源数据融合目标识别，无需人工参与特征设计、权重赋值，具有较强的自学习能力和适应性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的基于深度学习的多源数据融合目标识别方法的流程图。

图2为本发明的多源数据可视化转换示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

深度神经网络(深度学习)属于数据驱动的模型，具有很强的柔性和自动学习能力。在基于深度学习的图像处理中，不同的滤波器会自动学习不同位置的图像特征，这些特征都会被用来作为最后判决的依据，更具有显著性的区域在最后分类的过程中会自动获得更高的权重，避免了人工调节输入信息权重大小的步骤。通过学习训练之后会生成一个用于目标识别的预测模型，此模型可以对新的输入进行识别。此外，在深度学习中可以进一步采用梯度下降的方法进行模型优化，也保证了模型具有良好的在线学习能力。

本发明利用深度学习技术，实现了多源数据融合目标识别，无需人工参与特征设计、权重赋值，具有较强的自学习能力和适应性。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

实施例1

本实施例提供的一种基于深度学习的多源数据融合目标识别方法，如图1所示，包括：

步骤1，对待识别目标的多源数据进行数据预处理，获取待识别目标的复合图像；所述数据预处理的过程为：

(1)对多源数据进行配准关联；

(2)将配准关联后的多源数据进行可视化转换为组合元素，将组合元素按一定的排列组合规则生成复合图像；

步骤2，将待识别目标的复合图像输入训练完成的深度神经网络模型进行识别；所述训练完成的深度神经网络模型为：深度神经网络采用训练目标的多源数据经数据预处理得到的复合图像进行训练得到的深度神经网络模型。

进一步地，所述对多源数据进行配准关联的方法包括：

时间配准：解决由于数据采样周期不同、数据传输延迟等因素造成的多源数据异步问题，保证数据是对同一目标、同一时刻的测量；

空间配准：针对不同信源采集数据时使用的坐标系不一致，进行统一转换并对误差进行估计和补偿；

信息关联：在多个目标密集分布、交叉运行时，将属于同一目标的数据关联到一起。

进一步地，如图2所示，进行配准关联后的多源数据包括：结构化数据和非结构化数据；

所述结构化数据进行可视化转换为色块：所述结构化数据包括速度、高度、经度、维度等，根据结构化数据的测量值和预设的测量范围，将其映射为具有一定灰度值的灰度色块或具有一定RGB值的彩色色块。具体地，包括但不限于线性转换和非线性转换，以灰色色块的线性转换为例：对于高度值为8000，高度值测量范围为0～30000，将其映射为灰度值则为：8000/30000*256＝68.26≈68，即高度8000对应灰度值为68的色块。优选地，所述色块的形状包括但不限于方形、矩形、圆形和三角形。

所述非结构化数据进行可视化转换为图像：所述非结构化数据包括：图像、视频、音频和信号频谱；

对于图像和视频，如可见光图像和红外图像这种本身就是图像的非结构化数据，无需进行可视化转换，仅进行尺寸缩放，保证其在复合图像中的尺寸固定。在对图像和视频进行尺寸缩放之前，可进行一定的图像增强，包括但不限于翻转、裁剪和颜色变换，以增加数据多样性。

对于音频和信号频谱，这种本身不是图像的非结构化数据，需通过一定的时域频域数据处理转化为波形图或频谱图，并且，对于音频和信号频谱的数据范围(如音频时间长度、频谱范围等)应保持一致，使其转换后的波形图或频谱图在复合图像中的尺寸固定。

进一步地，所述排列组合规则为：组合元素(色块和图像)可以任意形式分布在复合图像任意位置，但需遵循构成复合图像的组合元素之间无遮挡、排布一致的原则。优选地，组合元素(色块和图像)可以具有一定的规则排列，如将描述目标运动/外形/电磁等特性的多源数据的组合元素分别放在一起。

进一步地，训练所述深度神经网络模型的方法为：

步骤2.1，将训练目标的多源数据经数据预处理得到的复合图像及其对应的标签(飞机型号，如“A320”、“歼十”、“运7”、“苏-27”、“未知”等)作为训练数据集；

步骤2.2，利用训练数据集，采用迁移训练的方法对深度神经网络(如Vgg16、GoogLeNet等)进行训练得到深度神经网络模型；对初始深度神经网络进行训练时，需要根据训练数据集的大小选择训练策略；所述训练策略为：

(1)当训练数据集相对较小时(比如图像数据不到200张时)，训练深度神经网络输出层的权重；

(2)当训练数据集相对较大时(比如图像数据为200～2000张时)，训练深度神经网络输出层和部分隐藏层的权重；

(3)当训练数据集比较大时(比如图像数据超过2000张时)，训练深度神经网络输出层和全部隐藏层的权重。

在训练深度神经网络时，可以选用TensorFlow、Caffe等业界相对成熟的深度学习框架；为保证训练效率，建议训练所用计算机配置至少4张Nvidia1080Ti GPU显卡。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的多源数据融合目标识别方法，其特征在于，包括：

步骤1，对待识别目标的多源数据进行数据预处理，获取待识别目标的复合图像；所述数据预处理的过程为：(1)对多源数据进行配准关联；(2)将配准关联后的多源数据进行可视化转换为组合元素，将组合元素按一定的排列组合规则生成复合图像；

步骤2，将待识别目标的复合图像输入训练完成的深度神经网络模型进行识别；所述训练完成的深度神经网络模型为：深度神经网络采用训练目标的多源数据经数据预处理得到的复合图像进行训练得到的深度神经网络模型。

2.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述对多源数据进行配准关联的方法包括：时间配准、空间配准和信息关联。

3.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，进行配准关联后的多源数据包括：结构化数据和非结构化数据；所述结构化数据进行可视化转换为色块；所述非结构化数据进行可视化转换为图像。

4.如权利要求3所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述结构化数据进行可视化转换为色块的方法包括：根据结构化数据的测量值和预设的测量范围，将其映射为具有一定灰度值的灰度色块或具有一定RGB值的彩色色块。

5.如权利要求3或4所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述色块的形状包括但不限于方形、矩形、圆形和三角形。

6.如权利要求3所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述非结构化数据进行可视化转换为图像：所述非结构化数据包括：图像、视频、音频和信号频谱；

对于图像和视频，无需进行可视化转换，仅进行尺寸缩放，保证其在复合图像中的尺寸固定；

对于音频和信号频谱，需通过一定的时域频域数据处理转化为波形图或频谱图，并且，对于音频和信号频谱的数据范围应保持一致，使其转换后的波形图或频谱图在复合图像中的尺寸固定。

7.如权利要求6所述的基于深度学习的多源数据融合目标识别方法，其特征在于，在对图像和视频进行尺寸缩放之前，可进行一定的图像增强，包括但不限于翻转、裁剪和颜色变换。

8.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述排列组合规则为：组合元素可以任意形式分布在复合图像任意位置，但需遵循构成复合图像的组合元素之间无遮挡、排布一致的原则。

9.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，训练所述深度神经网络模型的方法为：

步骤2.1，将训练目标的多源数据经数据预处理得到的复合图像及其对应的标签作为训练数据集；

步骤2.2，利用训练数据集，采用迁移训练的方法对深度神经网络进行训练得到深度神经网络模型。

10.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，步骤2.2中利用训练数据集，采用迁移训练的方法对初始深度神经网络进行训练时，需要根据训练数据集的大小选择训练策略；所述训练策略为：

(1)当训练数据集相对较小时，训练深度神经网络输出层的权重；

(2)当训练数据集相对较大时，训练深度神经网络输出层和部分隐藏层的权重；

(3)当训练数据集比较大时，训练深度神经网络输出层和全部隐藏层的权重。