CN110705600A - 一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质，属于计算机图像处理领域。本发明对所收集数据进行训练与测试，可得到图像分类模型。本发明可以有效的完成对图像的精确分类，并且本发明在图像特征极为相似，图像噪声多等情况下有着很好的鲁棒性和精确性。图像分类作为图像检测、图像分割、物体跟踪、行为分析等高层视觉任务的基础，可广泛应用于安防领域的人脸识别和智能视频分析，交通领域的场景识别，互联网领域的基于内容的图像检索和图像自动归类，以及医学领域的图像识别等多个领域。

Description

一种基于互相关熵的多深度学习模型融合方法、终端设备及 可读存储介质

【技术领域】

本发明属于计算机图像处理领域，涉及一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质。

【背景技术】

计算机视觉是深度学习领域最热门的研究领域之一。计算机视觉作为一个跨领域的交叉学科，包括计算机科学(图形、算法、理论、***、体系结构)，数学(信息检索、机器学习)，工程学(机器人、语音、自然语言处理、图像处理)，物理学(光学)，生物学(神经科学)和心理学(认知科学)等等，计算机视觉为人工智能的发展开拓了道路。图像分类是计算机视觉中最基础的任务，分类问题是指给定一组各自被标记类别的图像，对一组新的测试图像的类别进行预测，并测量预测的准确性，实现最小的分类误差。但是，视觉技术一个最主要的不足就是对于图像质量的要求比较严格。对视点变化，尺度变化，类内变化，图像变形，图像遮挡，背景杂斑等情况，视觉技术获取的图像信息带有较多噪声，给分类算法精度带来极大的挑战。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于互相关熵的多深度学习模型融合方法，适于在计算设备中执行，包括以下步骤：

步骤1：对数据集进行预处理；

步骤2：分别训练多个单模型分类卷积神经网络，使每个模型得到最优结果；

步骤3：对具有最优结果的单模型使用多模型集成方法，使用基于互相关熵准则的多模型融合方法学习每个单模型分类卷积神经网络对最终结果的贡献权重，目标函数为：

其中，w＝[w₁,w₂,…,w_n]表示集成模型的权重，b为偏置，m为样本个数，σ为核宽度，x_i表示第i个样本在这多个单模型中的输出，y_i表示第i个样本的真实标签；

使用梯度上升方法求得使目标函数接近最大值的参数w_j和b；

步骤4：对步骤3的目标函数进行训练，得到基于互相关熵准则的多深度卷积神经网络集成模型的最优的图像分类结果。

本发明进一步的改进在于：

所述步骤2的具体方法如下：

步骤2-1：以所收集数据，使用相同的训练集X对多个深度卷积神经网络模型进行训练，首先初始化模型变量w,b，由网络前向传播得到预测值；

步骤2-2：由损失函数和函数优化方法进行反向传播，更新模型权重w,b，其计算公式如下：

其中，λ表示学习速率，w_j表示第j个参数的权重，k表示第k次迭代，

为第j个模型第k次权重更新的值，J(w,b)为目标函数，使用梯度下降法对目标函数中参数w_j和b进行权重更新；

步骤2-3：重复步骤2-1至步骤2-2，直到达到训练次数或训练目标得到最优模型。

所述多个深度卷积神经网络模型为VGG、InceptionV4、Xception、ResNet或DensNet中的一种或几种。

所述步骤3的具体方法如下：

步骤3-1：对已有的多个单模型，使用基于MCC多模型集成方法，学习每个单模型对最终结果的贡献权重w＝[w₁,w₂,…,w_n]，n为单模型数量；

步骤3-2：以相关熵准则作为目标函数，其计算公式如下：

步骤3-3：利用步骤3-2求得的对应关系，最大化互相关熵定义的目标函数，每个单模型对最终结果的贡献，计算公式如下：

通过对熵准则进行梯度上升，多次迭代后使目标函数接近最大值，以达到学习参数w_j和b的目的；

步骤3-4：判断当前模型分类精度是否符合要求，若已符合要求，则输出参数参数w_j和b，若尚未符合要求，则继续调整模型参数，返回步骤3-2，继续迭代计算，求得最优参数，得到最终模型

一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行：

步骤1：对数据集进行预处理；

步骤2：分别训练多个单模型分类卷积神经网络，使每个模型得到最优结果；

步骤3：对具有最优结果的单模型使用多模型集成方法，使用基于互相关熵准则的多模型融合方法学习每个单模型分类卷积神经网络对最终结果的贡献权重，目标函数为：

其中，w＝[w₁,w₂,…,w_n]表示集成模型的权重，b为偏置，m为样本个数，σ为核宽度，x_i表示第i个样本在这多个单模型中的输出，y_i表示第i个样本的真实标签；

使用梯度上升方法求得使目标函数接近最大值的参数w_j和b；

步骤4：对步骤3的目标函数进行训练，得到基于互相关熵准则的多深度卷积神经网络集成模型的最优的图像分类结果。

一种移动终端，包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

步骤1：对数据集进行预处理；

步骤2：分别训练多个单模型分类卷积神经网络，使每个模型得到最优结果；

步骤3：对具有最优结果的单模型使用多模型集成方法，使用基于互相关熵准则的多模型融合方法学习每个单模型分类卷积神经网络对最终结果的贡献权重，目标函数为：

其中，w＝[w₁,w₂,…,w_n]表示集成模型的权重，b为偏置，m为样本个数，σ为核宽度，x_i表示第i个样本在这多个单模型中的输出，y_i表示第i个样本的真实标签；

使用梯度上升方法求得使目标函数接近最大值的参数w_j和b；

步骤4：对步骤3的目标函数进行训练，得到基于互相关熵准则的多深度卷积神经网络集成模型的最优的图像分类结果。

与现有技术相比，本发明具有以下有益效果：

本发明利用所获取数据集，包括交通领域的场景识别以及医学领域的皮肤病分类，在多个单模型网络上分别进行训练，使每个网络分类效果达到最优，然后利用最大互相关熵准则作为目标函数进行多模型融合，计算每个单模型网络对最终结果的贡献权重，得到最终分类模型。

本发明利用来自西安交通大学人工智能机器人研究所无人汽车采集的交通场景数据集以及西安交通大学第二附属医院皮肤科的病理切片作为数据来源，通过数据预处理、多个单模型网络训练、基于最大互相关熵的多模型集成训练等步骤，完成对交通场景和病理切片的分类工作。由于皮肤病的切片性状具有非常高的相似性，各个单模型的判别结果不稳定且精度有限，所以模型集成的方法可以很好的对切片进行高精度的分类。另外，针对切片带有很多噪声问题，使用步骤3.3)的基于最大互相关熵的多模型集成方法可以很好的降低噪声干扰并提高模型准确度。因此可以实现图像的鲁棒而精准的分类的功能。

【附图说明】

图1为卷积神经网络整体结构；

图2为基于多个卷积神经网络的集成模型总体框架；

图3为不同模型实验结果。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，为了能够精确、稳定而鲁棒的对图像进行分类，本发明给出了一种基于互相关熵的多深度学习模型融合方法及其在图像分类中的应用，具体包括数据集收集与预处理，多个单模型的训练，多模型融合三个部分，如图1所示。

该方法具体按以下步骤进行：

步骤1.1：为了实现对输入图像的分类功能，需要将数据进行预处理，包括将数据预处理为可被神经网络读取的格式和归一化，通过旋转，镜像，裁切等手段，使训练模型具有更好鲁棒性。

步骤1.2：为了对模型进行评估与选择，需要对数据集进行独立同分布采样，将数据集划分出训练集用于模型的训练与学习，交叉验证集来防止模型过拟合，测试集来测试模型对样本判别能力。

步骤2.1：以所收集数据，使用相同的训练集X分别在多个深度卷积神经网络，如VGG，InceptionV4,Xception，ResNet，DensNet等网络中进行模型的训练，使每个模型得到最优结果，保存模型参数w,b；

步骤2.2：由损失函数和函数优化方法进行反向传播，更新模型权重w,b，其计算公式如下：

其中，λ表示学习速率，w_j表示第j个参数的权重，J(w,b)为目标函数，使用梯度下降法对目标函数中参数w_j和b进行权重更新。

步骤2.3：重复上述步骤，直到达到训练次数或训练目标得到最优模型。

由于单个模型准确率十分有限，为了解决这一问题，本发明使用多模型集成方法，学习每个模型对最终结果的贡献，提高模型灵敏度，并针对图像噪点多，提出最大互相熵准则来提高模型抗噪能力，获取更精确预测结果。

步骤3.1：对已有的多个单模型，使用基于最大互相关熵的多模型集成方法，学习每个单模型对最终结果的贡献权重w＝[w₁,w₂,…,w_n]，n为训练的单模型数量。

步骤3.2：以相关熵准则作为目标函数，其计算公式如下：

其中，有m个样本，w＝[w₁,w₂,…,w_n]表示集成模型的权重，w_j表示第j个模型的权重，x_i表示第i个样本在多个模型中的输出，y_i表示第i个样本的真实标签。

步骤3.3：经过步骤3.2)后，利用3.2)求得的对应关系，最大化互相关熵定义的目标函数，每个单模型对最终结果的贡献，计算公式如下：

其中σ表示核宽度，λ表示学习速率。通过对熵准则进行梯度上升，多次迭代后使目标函数接近最大值，以达到学习参数w_j和b的目的。

步骤3.4：判断当前模型分类精度是否符合要求，若已符合要求，则输出参数参数w_j和b，若尚未符合要求，则继续调整模型参数，返回步骤3.2)，继续迭代计算，求得最优参数。

经过上面的训练，得到基于互相关熵的多模型融合可得到对输入图像的精确分类结果。在医学皮肤数据集上的实验是对基底细胞癌与脂溢性角化病的病理切片进行分类，二者的图像特征十分相似并带有较多噪声，在多个单模型网络与本发明所提出的一种基于互相关熵的多深度学习模型融合方法应用在图像分类的结果比较参见图3，其中，中间线上方是基底细胞癌图像，下方是脂溢性角化图像。虚线框表示样本分类错误。其中，(a)为原始病理图像，(b)为ResNet分类结果，(c)为Xception分类结果，(d)为DensNet分类结果，(e)为基于MCC的集成方法分类结果。

本发明基于深度学习的图像分类方法，通过有监督或无监督的方式学习层次化的特征描述，取代了传统手工设计或选择图像特征的工作，深度学习模型中的卷积神经网络已经在图像领域取得了惊人的成绩，卷积神经网络利用图像像素信息作为输入，最大程度上保留了输入图像的所有信息，通过卷积操作进行特征提取，这种端到端的学习方法取得了非常好的效果，得到了广泛的应用。

本发明一实施例提供的移动终端。该实施例的移动终端包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述基于互相关熵的多深度学习模型融合方法实施例中的步骤，例如图1所示的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。

所述的移动终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述存储设备可包括，但不仅限于，处理器、存储器。

所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述移动终端集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述移动终端的各种功能。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种基于互相关熵的多深度学习模型融合方法，适于在计算设备中执行，其特征在于，包括以下步骤：

步骤1：对数据集进行预处理；

步骤2：分别训练多个单模型分类卷积神经网络，使每个模型得到最优结果；

步骤3：对具有最优结果的单模型使用多模型集成方法，使用基于互相关熵准则的多模型融合方法学习每个单模型分类卷积神经网络对最终结果的贡献权重，目标函数为：

其中，w＝[w₁，w₂，…，w_n]表示集成模型的权重，b为偏置，m为样本个数，σ为核宽度，x_i表示第i个样本在这多个单模型中的输出，y_i表示第i个样本的真实标签；

使用梯度上升方法求得使目标函数接近最大值的参数w_j和b；

步骤4：对步骤3的目标函数进行训练，得到基于互相关熵准则的多深度卷积神经网络集成模型的最优的图像分类结果。

2.根据权利要求1所述的基于互相关熵的多深度学习模型融合方法，其特征在于，所述步骤2的具体方法如下：

步骤2-1：以所收集数据，使用相同的训练集X对多个深度卷积神经网络模型进行训练，首先初始化模型变量w，b，由网络前向传播得到预测值；

步骤2-2：由损失函数和函数优化方法进行反向传播，更新模型权重w，b，其计算公式如下：

其中，λ表示学习速率，w_j表示第j个参数的权重，k表示第k次迭代，

为第j个模型第k次权重更新的值，J(w，b)为目标函数，使用梯度下降法对目标函数中参数w_j和b进行权重更新；

步骤2-3：重复步骤2-1至步骤2-2，直到达到训练次数或训练目标得到最优模型。

3.根据权利要求2所述的基于互相关熵的多深度学习模型融合方法，其特征在于，所述多个深度卷积神经网络模型为VGG、InceptionV4、Xception、ResNet或DensNet中的一种或几种。

4.根据权利要求1所述的基于互相关熵的多深度学习模型融合方法，其特征在于，所述步骤3的具体方法如下：

步骤3-1：对已有的多个单模型，使用基于MCC多模型集成方法，学习每个单模型对最终结果的贡献权重w＝[w₁，w₂，…，w_n]，n为单模型数量；

步骤3-2：以相关熵准则作为目标函数，其计算公式如下：

步骤3-3：利用步骤3-2求得的对应关系，最大化互相关熵定义的目标函数，每个单模型对最终结果的贡献，计算公式如下：

通过对熵准则进行梯度上升，多次迭代后使目标函数接近最大值，以达到学习参数w_j和b的目的；

步骤3-4：判断当前模型分类精度是否符合要求，若已符合要求，则输出参数参数w_j和b，若尚未符合要求，则继续调整模型参数，返回步骤3-2，继续迭代计算，求得最优参数，得到最终模型。

5.一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行：

步骤1：对数据集进行预处理；

步骤2：分别训练多个单模型分类卷积神经网络，使每个模型得到最优结果；

步骤3：对具有最优结果的单模型使用多模型集成方法，使用基于互相关熵准则的多模型融合方法学习每个单模型分类卷积神经网络对最终结果的贡献权重，目标函数为：

其中，w＝[w₁，w₂，…，w_n]表示集成模型的权重，b为偏置，m为样本个数，σ为核宽度，x_i表示第i个样本在这多个单模型中的输出，y_i表示第i个样本的真实标签；

使用梯度上升方法求得使目标函数接近最大值的参数w_j和b；

步骤4：对步骤3的目标函数进行训练，得到基于互相关熵准则的多深度卷积神经网络集成模型的最优的图像分类结果。

6.一种移动终端，包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：

步骤1：对数据集进行预处理；

步骤2：分别训练多个单模型分类卷积神经网络，使每个模型得到最优结果；

步骤3：对具有最优结果的单模型使用多模型集成方法，使用基于互相关熵准则的多模型融合方法学习每个单模型分类卷积神经网络对最终结果的贡献权重，目标函数为：

其中，w＝[w₁，w₂，…，w_n]表示集成模型的权重，b为偏置，m为样本个数，σ为核宽度，x_i表示第i个样本在这多个单模型中的输出，y_i表示第i个样本的真实标签；

使用梯度上升方法求得使目标函数接近最大值的参数w_j和b；

步骤4：对步骤3的目标函数进行训练，得到基于互相关熵准则的多深度卷积神经网络集成模型的最优的图像分类结果。

Images