CN105046269B - 一种基于多核融合的多示例多标签场景分类方法 - Google Patents

Abstract

本发明涉及一种基于多核融合的多示例多标签场景分类方法，包括：输入一个多示例多标签数据集，拆分成多示例数据集和一个多标签数据集；使用不同的阈值分别对多示例数据集中的每个包建立相关性矩阵；根据得到的相关性矩阵求同一阈值下每两个多示例数据包之间的基本核函数，基本核函数值组成基本核矩阵；将不同阈值下的基本核矩阵中相同位置的元素值进行凸组合，得到一个多核矩阵；利用多标签数据集训练，得到多个多核SVM分类器。多核SVM分类器用于对未知的多示例数据包的标签集进行预测从而实现场景分类。本发明的一种基于多核融合的多示例多标签场景分类方法，提高场景分类准确性。本发明还涉及一种基于多核融合的多示例多标签场景分类***。

Description

一种基于多核融合的多示例多标签场景分类方法

技术领域

本发明涉及机器学习技术领域，具体涉及一种基于多核融合的多示例多标签场景分类方法。

背景技术

多示例学习是由监督型学习演变出来的一种学习方法，首次是在20世纪90年代人们研究药物活性时提出，其是将每个制药分子看做一个包，分子的每个异构体看做包中的一个示例，如果该分子有一种异构体适于制药，则将该分子对应的包标记为正包，否则标记为负包，通过该方法最终构建出一个学习***，进而对已知适于或不适于制药的分子进行学习，来正确地预测其他新的分子是否适合制药。自此，多示例学习一直成为研究的热点，并被广泛应用于文本、图像和视频的分类检索中，随后又将多示例学习引入到多标签分类问题中，提出了多示例多标签学习框架。

目前，针对多示例多标签学习问题的解决办法，都是通过转化为多示例单标签问题或单示例多标签问题，进而转化为传统的监督学习问题加以解决，其代表算法有MIML_BOOST方法和MIML_SVM方法的学习框架，其中，MIML_BOOST算法是先将多示例多标签问题转化为多示例单标签问题，再利用MIBOOSTING算法解决多示例问题，但这种方法在利用MIBOOSTING算法解决多示例问题过程中，由于正包中不一定都是正示例，给包的所有示例加上该包标签的做法会造成较大的误差；MIML_SVM算法则是先将多示例多标签问题转化为单示例多标签问题，再利用MLSVM算法解决多标签问题，但MIMLSVM算法是用两个包内示例与示例之间的最小Hausdorff距离来表示包与包之间的距离，当一个正包的负示例与负包的示例很相似时，该距离的表示方法会导致正包和负包的判别性下降，影响分类效果。此外，还有KISAR算法，该算法通过找到每个包中与某一类标签最相关的示例实现多示例多标签问题的分类与预测。还有人提出带有软标签的多示例多标签学习算法MIMLwel(Multi-Instance Multi-Label Learning with Weak Label)。为了高效的实现大数据集的多标签预测，又有人提出了MIMLfast算法，该算法首先构建一个所有标签共用的低维子空间，然后利用随机梯度下降法训练标签特定的线性模型，从而优化排序损失。

以上算法尽管在解决多示例多标签问题上取得了较好的效果，但均未考虑包内示例的相关性。而在很多实际应用中，尤其是场景分类问题，示例的独立性假设是很难保证的，这样就会导致分类效果不理想。

发明内容

本发明所要解决的技术问题是提供一种基于多核融合的多示例多标签场景分类方法，提高场景分类准确性。

本发明解决上述技术问题的技术方案如下：一种基于多核融合的多示例多标签场景分类方法，包括以下步骤：

步骤1，输入一个多示例多标签数据集，记为并将所述多示例多标签数据集拆分成一个多示例数据集X＝{X_i|i＝1,2,...,m}和一个多标签数据集Y＝{Y_i|i＝1,2,...,m}；

其中，i为多示例多标签数据集中多示例数据包的编号，m为包的总个数，m取正整数；X_i指多示例数据集X中编号为i的多示例数据包，记为x_i1表示多示例数据包X_i中编号为1的示例，x_i2表示多示例数据包X_i中编号为2的示例，表示多示例数据包X_i中编号为n_i的示例，n_i指编号为i的包中包含的示例个数，n_i取值为正整数；y_i1表示标签数据集Y_i中编号为1的标签，y_i2表示标签数据集Y_i中编号为2的标签，表示标签数据集Y_i中编号为l_i的标签，l_i为标签数据集Y_i中包含的标签个数，l_i取值为正整数；

步骤2，使用多个阈值中的每一个阈值分别对每个多示例数据包X_i建立相关性矩阵，则在同一阈值下，每一个多示例数据包都会建立一个相关性矩阵W_i ^s；所述阈值t_s∈(t₁,t₂,...,t_S)，其中，S为阈值的总个数，s表示阈值的编号；

步骤3，根据步骤2中得到的相关性矩阵求同一阈值下每两个多示例数据包之间的基本核函数，所述多个基本核函数值组成基本核矩阵，所述基本核矩阵中的元素值为同一阈值下每两个多示例数据包之间的基本核函数值，所述基本核矩阵中元素值的行号和列号分别对应两个多示例数据包的编号；针对不同的阈值，则会得到不同阈值下的基本核矩阵K_gs，g为基本核矩阵标识，s为基本核矩阵的编号，与所述阈值的编号一一对应；

步骤4，将步骤3中得到的不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，得到一个多核函数K(X_i,X_j)，所述多个多核函数值组成多核矩阵，即所述多核矩阵K中的元素值对应每两个多示例数据包之间的多核函数值；

步骤5，利用多标签数据集Y_i和步骤4中得到的多核函数进行学习，得到多个多核SVM分类器，所述分类器的数量与所述多标签数据集中的标签类数量相同，所述分类器用于对未知多示例数据包的标签集进行预测从而实现场景分类。

本发明的有益效果是：通过使用不同的阈值分别对每一个多示例数据包建立相关性矩阵，则可以将多示例数据包内示例之间的相关性表达出来，然后将建立的相关性矩阵进行处理得到每一个阈值下的基本核矩阵，进而将每一个基本核矩阵中相同位置元素组合得到多核矩阵，采用多核融合的方式得到多核函数，可以针对数据集中的多标签进行学习，从而得到多个多核SVM分类器，适用于多标签分类问题，同时也能适用于样本集数据异构等复杂情况。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤2中使用一个阈值对一个包X_i建立相关性矩阵的过程具体为：

步骤2.1，定义一个n_i×n_i的矩阵W，所述矩阵中的行号和列号分别对应多示例数据包X_i中两个示例的编号；

步骤2.2，判断示例x_ia和示例x_iu之间的高斯距离是否小于阈值t，若示例x_ia和示例x_iu之间的高斯距离小于阈值t_s，则将矩阵W的第a行第u列的元素赋值为1；否则赋值为0；a,u均为示例编号，均取值为[1，n_i]之间的整数；直至将矩阵W中的每一个元素都赋值完，得到多示例数据包X_i的相关性矩阵W_i ^s，其中，W_i ^s的上标s表示阈值的编号，W_i ^s的下标i表示多示例数据包的编号。

采用上述进一步方案的有益效果是：用一个相关性矩阵将多示例数据包内示例间的相关关系表示出来，使多示例数据包由多个示例表示转化为由一个相关性矩阵表示，而由于不同类别标签的预测对应的相关性矩阵的阈值有所不同，所以不同阈值下的相关性矩阵的建立能够更好地解决多标签分类问题。

进一步，所述步骤2.2中的阈值t_s取值为[0，4]，所述阈值的个数为[10,15]。

采用上述进一步方案的有益效果是通过对阈值个数限定在一个范围内，避免了由于阈值个数太多而增加方法的复杂度。

进一步，所述步骤3按照以下公式求同一个阈值下每两个多示例数据包之间的基本核函数：

其中，X_i，X_j分别表示编号为i和编号为j的多示例数据包，K_gs(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的基本核函数，g为基本核矩阵标识，s为基本核矩阵的编号，与所述阈值的编号一一对应；

为多示例数据包X_i对应的阈值为t_s的相关性矩阵中第a行所有元素之和的倒数，其中，i为多示例数据包的编号，s为基本核矩阵的编号，与所述阈值的编号一一对应，a为所述多示例数据包X_i对应的阈值为t_s的相关性矩阵中的行号；表示多示例数据包X_i对应的阈值为t_s的相关性矩阵W_i ^s中第a行第u列的元素值，n_i为多示例数据包X_i对应的阈值为t_s的相关性矩阵的总行数或总列数，与多示例数据包X_i中的示例个数相等；

为多示例数据包X_j对应的阈值为t_s的相关性矩阵中第b行所有元素之和的倒数，其中，j为多示例数据包的编号；表示多示例数据包X_j对应的阈值为t_s的相关性矩阵中第b行第v列的元素值；n_j为多示例数据包X_j对应的相关性矩阵的总行数或总列数，与多示例数据包X_j中的示例个数相等；

k_s(x_ia，x_jb)为一般核函数，由径向基核函数求得，具体为：k_s(x_ia,x_jb)＝exp(-γ||x_ia-x_jb||²)；其中，s为阈值的编号；x_ia为多示例数据包X_i中编号为a的示例，i为多示例数据包的编号，a为示例的编号；x_jb为多示例数据包X_j中编号为b的示例，j为多示例数据包的编号，b为示例的编号；exp(-γ||x_ia-x_jb||²)为以e为底数的指数函数，e＝2.71828，幂为-γ||x_ia-x_jb||²，||x_ia-x_jb||为x_ia-x_jb的范数，γ为核系数，取任意值，针对不同的基本核矩阵，核系数γ取不同值。

采用上述进一步方案的有益效果是通过使用一般核函数及相关性矩阵来表达两个多示例数据包之间的基本核函数，充分考虑了多示例数据包内示例之间的相关性特征，同时将特征从低维空间映射到高维空间，实现分类。

进一步，所述步骤4中采用凸组合对不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，所述经过凸组合得到的多核函数为：

式中，K(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的多核函数，也是多核矩阵中第i行第j列的元素；d_s为权系数；s为阈值的编号，取值为正整数；S为基本核矩阵的总个数，K_gs(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的基本核函数，也是基本核矩阵K_gs中第i行第j列的元素。

采用上述进一步方案的有益效果是采用凸组合将多个基本核函数进行组合，从而达到组合多个特征空间的目的，使得原数据集映射到多个不同的特征空间，经过凸组合使得方法的灵活性和准确性更高，能够适用于标签分类问题，同时也能够较好地解决样本集数据异构等复杂情况。

本发明一种基于多核融合的多示例多标签场景分类***，包括：

输入模块，用于输入一个多示例多标签数据集，记为并将所述多示例多标签数据集拆分成一个多示例数据集X＝{X_i|i＝1,2,...,m}和一个多标签数据集Y＝{Y_i|i＝1,2,...,m}；

其中，i为多示例多标签数据集中多示例数据包的编号，m为包的总个数，m取正整数；X_i指多示例数据集X中编号为i的多示例数据包，记为x_i1表示多示例数据包X_i中编号为1的示例，x_i2表示多示例数据包X_i中编号为2的示例，表示多示例数据包X_i中编号为n_i的示例，n_i指编号为i的包中包含的示例个数，n_i取值为正整数；y_i1表示标签数据集Y_i中编号为1的标签，y_i2表示标签数据集Y_i中编号为2的标签，表示标签数据集Y_i中编号为l_i的标签，l_i为标签数据集Y_i中包含的标签个数，l_i取值为正整数；

相关性矩阵建立模块，用于使用多个阈值中的每一个阈值分别对每个多示例数据包X_i建立相关性矩阵，则在同一阈值下，每一个多示例数据包都会建立一个相关性矩阵W_i ^s；所述阈值t_s∈(t₁,t₂,...,t_S)，其中，S为阈值的总个数，s表示阈值的编号；

基本核矩阵模块，用于根据相关性矩阵建立模块中得到的相关性矩阵求同一阈值下每两个多示例数据包之间的基本核函数，所述多个基本核函数值组成基本核矩阵，所述基本核矩阵中的元素值为同一阈值下每两个多示例数据包之间的基本核函数值，所述基本核矩阵中元素值的行号和列号分别对应两个多示例数据包的编号；针对不同的阈值，则会得到不同阈值下的基本核矩阵K_gs，g为基本核矩阵标识，s为基本核矩阵的编号，与所述阈值的编号一一对应；

组合模块，用于将基本核矩阵模块中得到的不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，得到一个多核函数K(X_i,X_j)，所述多个多核函数值组成多核矩阵，即所述多核矩阵K中的元素值对应每两个多示例数据包之间的多核函数值；

学习模块，用于利用多标签数据集Y_i和组合模块中得到的多核函数进行学习，得到多个多核SVM分类器，所述分类器的数量与所述多标签数据集中的标签类数量相同，所述分类器用于对未知多示例数据包的标签集进行预测从而实现场景分类。

采用上述技术方案的有益效果是：通过使用不同的阈值分别对每一个多示例数据包建立相关性矩阵，则可以将多示例数据包内示例之间的相关性表达出来，然后将建立的相关性矩阵进行处理得到每一个阈值下的基本核矩阵，进而将每一个基本核矩阵中相同位置元素组合得到多核矩阵，采用多核融合的方式得到多核函数，可以针对数据集中的多标签进行学习，从而得到多个多核SVM分类器，适用于多标签分类问题，同时也能适用于样本集数据异构等复杂情况。

进一步，所采用的技术方案是：

所述相关性矩阵建立模块中使用一个阈值对一个包X_i建立相关性矩阵的过程具体为：

步骤2.1，定义一个n_i×n_i的矩阵W，所述矩阵中的行号和列号分别对应多示例数据包X_i中两个示例的编号；

步骤2.2，判断示例x_ia和示例x_iu之间的高斯距离是否小于阈值t，若示例x_ia和示例x_iu之间的高斯距离小于阈值t_s，则将矩阵W的第a行第u列的元素赋值为1；否则赋值为0；a,u均为示例编号，均取值为[1，n_i]之间的整数；直至将矩阵W中的每一个元素都赋值完，得到多示例数据包X_i的相关性矩阵W_i ^s，其中，W_i ^s的上标s表示阈值的编号，W_i ^s的下标i表示多示例数据包的编号。

采用上述进一步技术方案的有益效果是：用一个相关性矩阵将多示例数据包内示例间的相关关系表示出来，使多示例数据包由多个示例表示转化为由一个相关性矩阵表示，而由于不同类别标签的预测对应的相关性矩阵的阈值有所不同，所以不同阈值下的相关性矩阵的建立能够更好地解决多标签分类问题。

进一步，所采用的技术方案是：所述步骤2.2中的阈值t取值为[0，4]，所述阈值的个数为[10,15]。

采用上述进一步方案的有益效果是通过对阈值个数限定在一个范围内，避免了由于阈值个数太多而增加方法的复杂度。

进一步，所采用的技术方案是：所述基本核矩阵模块按照以下公式求每两个多示例数据包之间的基本核函数：

其中，X_i，X_j分别表示编号为i和编号为j的多示例数据包，K_gs(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的基本核函数，g为基本核矩阵标识，s为基本核矩阵的编号，与所述阈值的编号一一对应；

为多示例数据包X_i对应的阈值为t_s的相关性矩阵中第a行所有元素之和的倒数，其中，i为多示例数据包的编号，s为基本核矩阵的编号，与所述阈值的编号一一对应，a为所述多示例数据包X_i对应的阈值为t_s的相关性矩阵中的行号；表示多示例数据包X_i对应的阈值为t_s的相关性矩阵W_i ^s中第a行第u列的元素值，n_i为多示例数据包X_i对应的阈值为t_s的相关性矩阵的总行数或总列数，与多示例数据包X_i中的示例个数相等；

为多示例数据包X_j对应的阈值为t_s的相关性矩阵中第b行所有元素之和的倒数，其中，j为多示例数据包的编号；表示多示例数据包X_j对应的阈值为t_s的相关性矩阵中第b行第v列的元素值；n_j为多示例数据包X_j对应的相关性矩阵的总行数或总列数，与多示例数据包X_j中的示例个数相等；

k_s(x_ia，x_jb)为一般核函数，由径向基核函数求得，具体为：k_s(x_ia,x_jb)＝exp(-γ||x_ia-x_jb||²)；其中，s为阈值的编号；x_ia为多示例数据包X_i中编号为a的示例，i为多示例数据包的编号，a为示例的编号；x_jb为多示例数据包X_j中编号为b的示例，j为多示例数据包的编号，b为示例的编号；exp(-γ||x_ia-x_jb||²)为以e为底数的指数函数，e＝2.71828，幂为-γ||x_ia-x_jb||²，||x_ia-x_jb||为x_ia-x_jb的范数，γ为核系数，取任意值，针对不同的基本核矩阵，核系数γ取不同值。

采用上述技术方案的有益效果是通过使用一般核函数及相关性矩阵来表达两个多示例数据包之间的基本核函数，充分考虑了多示例数据包内示例之间的相关性特征，同时将特征从低维空间映射到高维空间，实现分类。

进一步，所采用的技术方案是：所述组合模块采用凸组合对不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，所述经过凸组合得到的多核函数为：

式中，K(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的多核函数，也是多核矩阵中第i行第j列的元素；d_s为权系数；s为阈值的编号，取值为正整数；S为基本核矩阵的总个数，K_gs(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的基本核函数，也是基本核矩阵K_gs中第i行第j列的元素。

采用上述进一步方案的有益效果是采用凸组合将多个基本核函数进行组合，从而达到组合多个特征空间的目的，使得原数据集映射到多个不同的特征空间，经过凸组合使得方法的灵活性和准确性更高，能够适用于标签分类问题，同时也能够较好地解决样本集数据异构等复杂情况。

附图说明

图1为本发明一种基于多核融合的多示例多标签场景分类方法的流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明一种基于多核融合的多示例多标签场景分类方法，包括以下步骤：

步骤1，输入一个多示例多标签数据集，记为并将所述多示例多标签数据集拆分成一个多示例数据集X＝{X_i|i＝1,2,...,m}和一个多标签数据集Y＝{Y_i|i＝1,2,...,m}；

其中，i为多示例多标签数据集中多示例数据包的编号，m为包的总个数，m取正整数；X_i指多示例数据集X中编号为i的多示例数据包，记为x_i1表示多示例数据包X_i中编号为1的示例，x_i2表示多示例数据包X_i中编号为2的示例，表示多示例数据包X_i中编号为n_i的示例，n_i指编号为i的包中包含的示例个数，n_i取值为正整数；y_i1表示标签数据集Y_i中编号为1的标签，y_i2表示标签数据集Y_i中编号为2的标签，表示标签数据集Y_i中编号为l_i的标签，l_i为标签数据集Y_i中包含的标签个数，l_i取值为正整数；

步骤2，使用多个阈值中的每一个阈值分别对每个多示例数据包X_i建立相关性矩阵，则在同一阈值下，每一个多示例数据包都会建立一个相关性矩阵W_i ^s；所述阈值t_s∈(t₁,t₂,...,t_S)，其中，S为阈值的总个数，s表示阈值的编号；

步骤2中使用一个阈值对一个包X_i建立相关性矩阵的过程具体为：

步骤2.1，定义一个n_i×n_i的矩阵W，所述矩阵中的行号和列号分别对应多示例数据包X_i中两个示例的编号；

步骤2.2，判断示例x_ia和示例x_iu之间的高斯距离是否小于阈值t，若示例x_ia和示例x_iu之间的高斯距离小于阈值t_s，则将矩阵W的第a行第u列的元素赋值为1；否则赋值为0；a,u均为示例编号，均取值为[1，n_i]之间的整数；直至将矩阵W中的每一个元素都赋值完，得到多示例数据包X_i的相关性矩阵W_i ^s，其中，W_i ^s的上标s表示阈值的编号，W_i ^s的下标i表示多示例数据包的编号；阈值t_s取值为[0，4]，所述阈值的个数为[10,15]。

例如：设有3幅图像，即3个包，编号分别为1，2，3；每一个包中分别包含2个，6个，7个示例，选取3个阈值为：t₁，t₂，t₃；

首先，使用阈值t₁分别对这3个包建立相关性矩阵，具体为：

对于第一个包，定义一个2×2的矩阵，判断包1中示例1和示例1之间的高斯距离是否小于t₁，若小于，则将该矩阵的第1行第1列的元素赋值为1；否则赋值为0；然后依次判断示例1和示例2，示例2和示例1，示例2和示例2之间的高斯距离是否小于阈值t₁，若小于，则将该矩阵第1行第2列，第2行第1列，第2行第2列的元素赋值为1；否则赋值为0；得到阈值为t₁时的相关性矩阵W₁ ¹；

对于第二个包，定义一个6×6的矩阵，判断包2中每两个示例之间的高斯距离是否小于t₁，若小于，则将该矩阵对应位置的元素赋值为1，否则赋值为0；得到阈值为t₁时的相关性矩阵W₁ ²；

对于第三个包，同理得到阈值为t₁的相关性矩阵W₁ ³；

同理，使用阈值t₂分别对这3个包建立相关性矩阵，分别为

同理，使用阈值t₃分别对这3个包建立相关性矩阵，分别为

步骤3，根据步骤2中得到的相关性矩阵求同一阈值下每两个多示例数据包之间的基本核函数，所述多个基本核函数值组成基本核矩阵，所述基本核矩阵中的元素值为同一阈值下每两个多示例数据包之间的基本核函数值，所述基本核矩阵中元素值的行号和列号分别对应两个多示例数据包的编号；针对不同的阈值，则会得到不同阈值下的基本核矩阵K_gs，g为基本核矩阵标识，s为基本核矩阵的编号，与所述阈值的编号一一对应；

步骤3按照以下公式求同一个阈值下每两个多示例数据包之间的基本核函数：

其中，X_i，X_j分别表示编号为i和编号为j的多示例数据包，K_gs(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的基本核函数，g为基本核矩阵标识，s为基本核矩阵的编号，与所述阈值的编号一一对应；

为多示例数据包X_i对应的阈值为t_s的相关性矩阵中第a行所有元素之和的倒数，其中，i为多示例数据包的编号，s为基本核矩阵的编号，与所述阈值的编号一一对应，a为所述多示例数据包X_i对应的阈值为t_s的相关性矩阵中的行号；表示多示例数据包X_i对应的阈值为t_s的相关性矩阵W_i ^s中第a行第u列的元素值，n_i为多示例数据包X_i对应的阈值为t_s的相关性矩阵的总行数或总列数，与多示例数据包X_i中的示例个数相等；

为多示例数据包X_j对应的阈值为t_s的相关性矩阵中第b行所有元素之和的倒数，其中，j为多示例数据包的编号；表示多示例数据包X_j对应的阈值为t_s的相关性矩阵中第b行第v列的元素值；n_j为多示例数据包X_j对应的相关性矩阵的总行数或总列数，与多示例数据包X_j中的示例个数相等；

k_s(x_ia，x_jb)为一般核函数，由径向基核函数求得，具体为：k_s(x_ia,x_jb)＝exp(-γ||x_ia-x_jb||²)；其中，s为阈值的编号；x_ia为多示例数据包X_i中编号为a的示例，i为多示例数据包的编号，a为示例的编号；x_jb为多示例数据包X_j中编号为b的示例，j为多示例数据包的编号，b为示例的编号；exp(-γ||x_ia-x_jb||²)为以e为底数的指数函数，e＝2.71828，幂为-γ||x_ia-x_jb||²，||x_ia-x_jb||为x_ia-x_jb的范数，γ为核系数，取任意值，针对不同的基本核矩阵，核系数γ取不同值。

步骤4，将步骤3中得到的不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，得到一个多核函数K(X_i,X_j)，所述多个多核函数值组成多核矩阵，即所述多核矩阵K中的元素值对应每两个多示例数据包之间的多核函数值；

步骤4中采用凸组合对不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，所述经过凸组合得到的多核函数为：

式中，K(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的多核函数，也是多核矩阵中第i行第j列的元素；d_s为权系数；s为阈值的编号，取值为正整数；S为基本核矩阵的总个数，K_gs(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的基本核函数，也是基本核矩阵K_gs中第i行第j列的元素。

例如：分别将阈值t₁，t₂，t₃下得到的基本核矩阵中相同位置的元素值进行凸组合，得到多核矩阵中相同位置的元素值，同理，依次类推，则可以得到多核矩阵。

步骤5，利用多标签数据集Y_i对步骤4中得到的多核函数学习，即得到多个分类器，所述分类器的数量与所述多标签数据集中的标签数量相同，所述分类器用于对未知多示例数据包的标签集进行预测从而实现场景分类，具体为采用SimpleMKL方法对多核函数学习。

本发明一种基于多核融合的多示例多标签场景分类***，包括：

输入模块，用于输入一个多示例多标签数据集，记为并将所述多示例多标签数据集拆分成一个多示例数据集X＝{X_i|i＝1,2,...,m}和一个多标签数据集Y＝{Y_i|i＝1,2,...,m}；

其中，i为多示例多标签数据集中多示例数据包的编号，m为包的总个数，m取正整数；X_i指多示例数据集X中编号为i的多示例数据包，记为x_i1表示多示例数据包X_i中编号为1的示例，x_i2表示多示例数据包X_i中编号为2的示例，表示多示例数据包X_i中编号为n_i的示例，n_i指编号为i的包中包含的示例个数，n_i取值为正整数；y_i1表示标签数据集Y_i中编号为1的标签，y_i2表示标签数据集Y_i中编号为2的标签，表示标签数据集Y_i中编号为l_i的标签，l_i为标签数据集Y_i中包含的标签个数，l_i取值为正整数；

相关性矩阵建立模块，用于使用多个阈值中的每一个阈值分别对每个多示例数据包X_i建立相关性矩阵，则在同一阈值下，每一个多示例数据包都会建立一个相关性矩阵W_i ^s；所述阈值t_s∈(t₁,t₂,...,t_S)，其中，S为阈值的总个数，s表示阈值的编号；相关性矩阵建立模块中使用一个阈值对一个包X_i建立相关性矩阵的过程具体为：

步骤2.1，定义一个n_i×n_i的矩阵W，所述矩阵中的行号和列号分别对应多示例数据包X_i中两个示例的编号；

步骤2.2，判断示例x_ia和示例x_iu之间的高斯距离是否小于阈值t，若示例x_ia和示例x_iu之间的高斯距离小于阈值t_s，则将矩阵W的第a行第u列的元素赋值为1；否则赋值为0；a,u均为示例编号，均取值为[1，n_i]之间的整数；直至将矩阵W中的每一个元素都赋值完，得到多示例数据包X_i的相关性矩阵W_i ^s，其中，W_i ^s的上标s表示阈值的编号，W_i ^s的下标i表示多示例数据包的编号；步骤2.2中的阈值t取值为[0，4]，所述阈值的个数为[10,15]。

基本核矩阵模块，用于根据相关性矩阵建立模块中得到的相关性矩阵求同一阈值下每两个多示例数据包之间的基本核函数，所述多个基本核函数值组成基本核矩阵，所述基本核矩阵中的元素值为同一阈值下每两个多示例数据包之间的基本核函数值，所述基本核矩阵中元素值的行号和列号分别对应两个多示例数据包的编号；针对不同的阈值，则会得到不同阈值下的基本核矩阵K_gs，g为基本核矩阵标识，s为基本核矩阵的编号，与所述阈值的编号一一对应；基本核矩阵模块按照以下公式求每两个多示例数据包之间的基本核函数：

其中，X_i，X_j分别表示编号为i和编号为j的多示例数据包，K_gs(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的基本核函数，g为基本核矩阵标识，s为基本核矩阵的编号，与所述阈值的编号一一对应；

为多示例数据包X_i对应的阈值为t_s的相关性矩阵中第a行所有元素之和的倒数，其中，i为多示例数据包的编号，s为基本核矩阵的编号，与所述阈值的编号一一对应，a为所述多示例数据包X_i对应的阈值为t_s的相关性矩阵中的行号；表示多示例数据包X_i对应的阈值为t_s的相关性矩阵W_i ^s中第a行第u列的元素值，n_i为多示例数据包X_i对应的阈值为t_s的相关性矩阵的总行数或总列数，与多示例数据包X_i中的示例个数相等；

为多示例数据包X_j对应的阈值为t_s的相关性矩阵中第b行所有元素之和的倒数，其中，j为多示例数据包的编号；表示多示例数据包X_j对应的阈值为t_s的相关性矩阵中第b行第v列的元素值；n_j为多示例数据包X_j对应的相关性矩阵的总行数或总列数，与多示例数据包X_j中的示例个数相等；

k_s(x_ia，x_jb)为一般核函数，由径向基核函数求得，具体为：k_s(x_ia,x_jb)＝exp(-γ||x_ia-x_jb||²)；其中，s为阈值的编号；x_ia为多示例数据包X_i中编号为a的示例，i为多示例数据包的编号，a为示例的编号；x_jb为多示例数据包X_j中编号为b的示例，j为多示例数据包的编号，b为示例的编号；exp(-γ||x_ia-x_jb||²)为以e为底数的指数函数，e＝2.71828，幂为-γ||x_ia-x_jb||²，||x_ia-x_jb||为x_ia-x_jb的范数，γ为核系数，取任意值，针对不同的基本核矩阵，核系数γ取不同值。

组合模块，用于将基本核矩阵模块中得到的不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，得到一个多核函数K(X_i,X_j)，所述多个多核函数值组成多核矩阵，即所述多核矩阵K中的元素值对应每两个多示例数据包之间的多核函数值；组合模块采用凸组合对不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，所述经过凸组合得到的多核函数为：

式中，K(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的多核函数，也是多核矩阵中第i行第j列的元素；d_s为权系数；s为阈值的编号，取值为正整数；S为基本核矩阵的总个数，K_gs(X_i,X_j)为多示例数据包X_i和多示例数据包X_j之间的基本核函数，也是基本核矩阵K_gs中第i行第j列的元素。

学习模块，用于利用多标签数据集Y_i和组合模块中得到的多核函数进行学习，得到多个多核SVM分类器，所述分类器的数量与所述多标签数据集中的标签类数量相同，所述分类器用于对未知多示例数据包的标签集进行预测从而实现场景分类。

下面通过实验对本发明的效果进行说明：

为验证本发明方法的性能，在MSRC v2和Scene图像数据集上进行了实验。MSRC v2数据集包含591张图片，共属于23类，其中有很多图像同时属于多类。通过分割，每张图片用包含多个对应不同区域的特征向量组成。场景分类图像数据集由2000张自然场景图片组成，这些图片属于沙漠、山脉等5类，其中有超过20％的图片同时属于多个类别。每幅图像利用SBN算法分割成9个区域，每个区域由一个15维的特征向量表示，每幅图像的9个区域作为示例组成了该幅图像对应的包。

在传统的监督学***均分数，average F1描述了平均精度与平均召回率之间的权衡，两种评价指标越大，表示该算法的性能越好。本发明实验中综合采用这7种评价指标(hamming loss、one-error、coverage、ranking loss、average precision、average recall、average F1)来评价方法的性能，通过对比7种指标来对本发明的效果进行验证说明。

MSRC v2图像数据集上的实验随机选取2/3的样本作为训练集，剩余的样本用作测试。Scene图像数据集上的实验随机选取1500个样本作为训练集，剩余500个作为测试集。实验重复30次，最后求得算法分类性能指标的平均值及标准偏差。

对于MSRC v2，构图阈值threshold＝[0.2,0.4,0.6,0.8,1,1.2,1.4,1.6,1.8,2]，不同尺度对应的不同RBF核函数的参数gam＝[0.2,0.4,0.6,0.8,1,1.2,1.4,1.6,1.8,2]；

对于Scene图像数据集，gam＝[0.2,0.8,1.6,200，3.2，5.6,500,7,9,100]，threshold＝[0.2,0.4,0.6,0.8,1,1.2,1.4,1.6,1.8,2]

实验中将本发明方法与现有的多种多示例多标签算法的分类性能指标进行了比较，现有方法包括：MIMLBOOST、MIMLSVM、MIMLSVMmi、MIMLNN、MIMLfast,以及KISAR。其中，MIMLSVMmi算法是在MIMLBOOST算法的基础上利用MI-SVM方法代替MIBOOSTING方法做出的改进，MIMLNN算法是在MIMLSVM算法的基础上利用两层神经网络代替MLSVM方法做出的改进。另外，还与多标签算法ML-kNN进行了对比。MIMLfast算法的步长γ_t＝γ₀/(1+ηγ₀t)，γ₀＝0.005，η＝10^-5，范数的上界设为1。MIMLBOOST中boosting轮数设为50。MIMLSVM的参数k设为训练集的20％。ML_kNN中最近邻数设为10。

表1和表2分别给出了在两个实验数据集上的实验对比结果，最优结果用粗体表示。由表1看出，本发明方法在hamming loss、coverage、ranking loss、averageprecision、average recall和average F1上优于其他7种算法。MIMLNN算法的性能和MK_MIML的性能相差不多。同时，通过比较整体性能的标准偏差，我们看出MIMLNN的最小，MK_MIML次之，可见本发明方法的稳定性高于现有的几种方法。因此，本发明的方法提高了图像场景分类的准确性。

本文算法之所以能够取得最好的分类效果，一是示例间的相关性特征能够更全面地表征包，使得分类准确性提高；二是多核融合的引入使得算法的灵活性提高，更适用于多标签的预测。同时，算法还存在一定的不足：一方面，算法利用构图来表示示例间的相关性，每个包对应一个图，提高了算法的复杂度；另一方面，多核融合的引入意味着要构造多个基本核函数，同时针对每类标签都要学得一个多核分类器，又提高了算法的复杂度。因此，如何降低算法的复杂度还有待解决。

表1 MSRC v2数据集上的实验结果

表2 Scene图像数据集上的实验结果

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多核融合的多示例多标签图像场景分类方法，其特征在于，包括以下步骤：

步骤1，输入一个多示例多标签图像数据集，记为并将所述多示例多标签图像数据集拆分成一个多示例图像数据集X＝{X_i|i＝1,2,...,m}和一个多标签图像数据集Y＝{Y_i|i＝1,2,...,m}；

其中，i为多示例多标签图像数据集中多示例图像数据包的编号，m为包的总个数，m取正整数；X_i指多示例图像数据集X中编号为i的多示例图像数据包，记为x_i1表示多示例图像数据包X_i中编号为1的示例，x_i2表示多示例图像数据包X_i中编号为2的示例，表示多示例图像数据包X_i中编号为n_i的示例，n_i指编号为i的包中包含的示例个数，n_i取值为正整数；y_i1表示标签图像数据集Y_i中编号为1的标签，y_i2表示标签图像数据集Y_i中编号为2的标签，表示标签图像数据集Y_i中编号为l_i的标签，l_i为标签图像数据集Y_i中包含的标签个数，l_i取值为正整数；

步骤2，使用多个阈值中的每一个阈值分别对每个多示例图像数据包X_i建立相关性矩阵，则在同一阈值下，每一个多示例图像数据包都会建立一个相关性矩阵W_i ^s；所述阈值t_s∈(t₁,t₂,...,t_S)，其中，S为阈值的总个数，s表示阈值的编号；

步骤3，根据步骤2中得到的相关性矩阵求同一阈值下每两个多示例图像数据包之间的基本核函数，多个基本核函数值组成基本核矩阵，所述基本核矩阵中的元素值为同一阈值下每两个多示例图像数据包之间的基本核函数值，所述基本核矩阵中元素值的行号和列号分别对应两个多示例图像数据包的编号；针对不同的阈值，则会得到不同阈值下的基本核矩阵K_gs，g为基本核矩阵标识；

步骤4，将步骤3中得到的不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，得到一个多核函数K(X_i,X_j)，多个多核函数值组成多核矩阵，即所述多核矩阵K中的元素值对应每两个多示例图像数据包之间的多核函数值；

步骤5，利用多标签图像数据集Y_i和步骤4中得到的多核函数进行学习，得到多个多核SVM分类器，所述分类器的数量与所述多标签图像数据集中的标签类数量相同，所述分类器用于对未知多示例图像数据包的标签集进行预测从而实现图像场景分类。

2.根据权利要求1所述的一种基于多核融合的多示例多标签图像场景分类方法，其特征在于，所述步骤2中使用一个阈值对一个包X_i建立相关性矩阵的过程具体为：

步骤2.1，定义一个n_i×n_i的矩阵W，所述矩阵中的行号和列号分别对应多示例图像数据包X_i中两个示例的编号；

步骤2.2，判断示例x_ia和示例x_iu之间的高斯距离是否小于阈值t_s，若示例x_ia和示例x_iu之间的高斯距离小于阈值t_s，则将矩阵W的第a行第u列的元素赋值为1；否则赋值为0；a,u均为示例编号，均取值为[1，n_i]之间的整数；直至将矩阵W中的每一个元素都赋值完，得到多示例图像数据包X_i的相关性矩阵W_i ^s，其中，W_i ^s的上标s表示阈值的编号，W_i ^s的下标i表示多示例图像数据包的编号。

3.根据权利要求2所述的一种基于多核融合的多示例多标签图像场景分类方法，其特征在于，所述步骤2.2中的阈值t_s取值为[0，4]，所述阈值的个数为[10,15]。

4.根据权利要求1所述的一种基于多核融合的多示例多标签图像场景分类方法，其特征在于，所述步骤3按照以下公式求同一个阈值下每两个多示例图像数据包之间的基本核函数：

其中，X_i，X_j分别表示编号为i和编号为j的多示例图像数据包，K_gs(X_i,X_j)为多示例图像数据包X_i和多示例图像数据包X_j之间的基本核函数，g为基本核矩阵标识；

为多示例图像数据包X_i对应的阈值为t_s的相关性矩阵中第a行所有元素之和的倒数，其中，i为多示例图像数据包的编号，a为所述多示例图像数据包X_i对应的阈值为t_s的相关性矩阵中的行号； 表示多示例图像数据包X_i对应的阈值为t_s的相关性矩阵W_i ^s中第a行第u列的元素值，n_i为多示例图像数据包X_i对应的阈值为t_s的相关性矩阵的总行数或总列数，与多示例图像数据包X_i中的示例个数相等；

为多示例图像数据包X_j对应的阈值为t_s的相关性矩阵中第b行所有元素之和的倒数，其中，j为多示例图像数据包的编号； 表示多示例图像数据包X_j对应的阈值为t_s的相关性矩阵中第b行第v列的元素值；n_j为多示例图像数据包X_j对应的相关性矩阵的总行数或总列数，与多示例图像数据包X_j中的示例个数相等；

k_s(x_ia,x_jb)为一般核函数，由径向基核函数求得，具体为：k_s(x_ia,x_jb)＝exp(-γ||x_ia-x_jb||²)；其中，s为阈值的编号；x_ia为多示例图像数据包X_i中编号为a的示例，i为多示例图像数据包的编号，a为示例的编号；x_jb为多示例图像数据包X_j中编号为b的示例，j为多示例图像数据包的编号，b为示例的编号；exp(-γ||x_ia-x_jb||²)为以e为底数的指数函数，e＝2.71828，幂为-γ||x_ia-x_ib||²，||x_ia-x_ib||为x_ia-x_ib的范数，γ为核系数，取任意值，针对不同的基本核矩阵，核系数γ取不同值。

5.根据权利要求1至4中任意一项所述的一种基于多核融合的多示例多标签图像场景分类方法，其特征在于，所述步骤4中采用凸组合对不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，所述经过凸组合得到的多核函数为：

式中，K(X_i,X_j)为多示例图像数据包X_i和多示例图像数据包X_j之间的多核函数，也是多核矩阵中第i行第j列的元素；d_s为权系数；s为阈值的编号，取值为正整数；K_gs(X_i,X_j)为多示例图像数据包X_i和多示例图像数据包X_j之间的基本核函数，也是基本核矩阵K_gs中第i行第j列的元素。

6.一种基于多核融合的多示例多标签图像场景分类***，其特征在于，包括：

输入模块，用于输入一个多示例多标签图像数据集并将所述多示例多标签图像数据集拆分成一个多示例图像数据集X＝{X_i|i＝1,2,...,m}和一个多标签图像数据集Y＝{Y_i|i＝1,2,...,m}；

其中，i为多示例多标签图像数据集中多示例图像数据包的编号，m为包的总个数，m取正整数；X_i指多示例图像数据集X中编号为i的多示例图像数据包，记为x_i1表示多示例图像数据包X_i中编号为1的示例，x_i2表示多示例图像数据包X_i中编号为2的示例，表示多示例图像数据包X_i中编号为n_i的示例，n_i指编号为i的包中包含的示例个数，n_i取值为正整数；y_i1表示标签图像数据集Y_i中编号为1的标签，y_i2表示标签图像数据集Y_i中编号为2的标签，表示标签图像数据集Y_i中编号为l_i的标签，l_i为标签图像数据集Y_i中包含的标签个数，l_i取值为正整数；

相关性矩阵建立模块，用于使用多个阈值中的每一个阈值分别对每个多示例图像数据包X_i建立相关性矩阵，则在同一阈值下，每一个多示例图像数据包都会建立一个相关性矩阵W_i ^s；所述阈值t_s∈(t₁,t₂,...,t_S)，其中，S为阈值的总个数，s表示阈值的编号；

基本核矩阵模块，用于根据相关性矩阵建立模块中得到的相关性矩阵求同一阈值下每两个多示例图像数据包之间的基本核函数，多个基本核函数值组成基本核矩阵，所述基本核矩阵中的元素值为同一阈值下每两个多示例图像数据包之间的基本核函数值，所述基本核矩阵中元素值的行号和列号分别对应两个多示例图像数据包的编号；针对不同的阈值，则会得到不同阈值下的基本核矩阵K_gs，g为基本核矩阵标识；

组合模块，用于将基本核矩阵模块中得到的不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，得到一个多核函数K(X_i,X_j)，多个多核函数值组成多核矩阵，即所述多核矩阵K中的元素值对应每两个多示例图像数据包之间的多核函数值；

学习模块，用于利用多标签图像数据集Y_i和组合模块中得到的多核函数进行学习，得到多个多核SVM分类器，所述分类器的数量与所述多标签图像数据集中的标签类数量相同，所述分类器用于对未知多示例图像数据包的标签集进行预测从而实现图像场景分类。

7.根据权利要求6所述的一种基于多核融合的多示例多标签图像场景分类***，其特征在于，所述相关性矩阵建立模块中使用一个阈值对一个包X_i建立相关性矩阵的过程具体为：

步骤2.1，定义一个n_i×n_i的矩阵W，所述矩阵中的行号和列号分别对应多示例图像数据包X_i中两个示例的编号；

步骤2.2，判断示例x_ia和示例x_iu之间的高斯距离是否小于阈值t_s，若示例x_ia和示例x_iu之间的高斯距离小于阈值t_s，则将矩阵W的第a行第u列的元素赋值为1；否则赋值为0；a,u均为示例编号，均取值为[1，n_i]之间的整数；直至将矩阵W中的每一个元素都赋值完，得到多示例图像数据包X_i的相关性矩阵W_i ^s，其中，W_i ^s的上标s表示阈值的编号，W_i ^s的下标i表示多示例图像数据包的编号。

8.根据权利要求7所述的一种基于多核融合的多示例多标签图像场景分类***，其特征在于，所述步骤2.2中的阈值t_s取值为[0，4]，所述阈值的个数为[10,15]。

9.根据权利要求8所述的一种基于多核融合的多示例多标签图像场景分类***，其特征在于，所述基本核矩阵模块按照以下公式求每两个多示例图像数据包之间的基本核函数：

其中，X_i，X_j分别表示编号为i和编号为j的多示例图像数据包，K_gs(X_i,X_j)为多示例图像数据包X_i和多示例图像数据包X_j之间的基本核函数，g为基本核矩阵标识；

为多示例图像数据包X_i对应的阈值为t_s的相关性矩阵中第a行所有元素之和的倒数，其中，i为多示例图像数据包的编号，a为所述多示例图像数据包X_i对应的阈值为t_s的相关性矩阵中的行号； 表示多示例图像数据包X_i对应的阈值为t_s的相关性矩阵W_i ^s中第a行第u列的元素值，n_i为多示例图像数据包X_i对应的阈值为t_s的相关性矩阵的总行数或总列数，与多示例图像数据包X_i中的示例个数相等；

为多示例图像数据包X_j对应的阈值为t_s的相关性矩阵中第b行所有元素之和的倒数，其中，j为多示例图像数据包的编号； 表示多示例图像数据包X_j对应的阈值为t_s的相关性矩阵中第b行第v列的元素值；n_j为多示例图像数据包X_j对应的相关性矩阵的总行数或总列数，与多示例图像数据包X_j中的示例个数相等；

k_s(x_ia,x_jb)为一般核函数，由径向基核函数求得，具体为：k_s(x_ia，x_jb)＝exp(-γ||x_ia-x_jb||²)；其中，s为阈值的编号；x_ia为多示例图像数据包X_i中编号为a的示例，i为多示例图像数据包的编号，a为示例的编号；x_jb为多示例图像数据包X_j中编号为b的示例，j为多示例图像数据包的编号，b为示例的编号；exp(-γ||x_ia-x_jb||²)为以e为底数的指数函数，e＝2.71828，幂为-γ||x_ia-x_ib||²，||x_ia-x_ib||为x_ia-x_ib的范数，γ为核系数，取任意值，针对不同的基本核矩阵，核系数γ取不同值。

10.根据权利要求6-9中任意一项所述的一种基于多核融合的多示例多标签图像场景分类***，其特征在于，所述组合模块采用凸组合对不同阈值下的基本核矩阵K_gs中相同位置的元素进行组合，所述经过凸组合得到的多核函数为：

式中，K(X_i,X_j)为多示例图像数据包X_i和多示例图像数据包X_j之间的多核函数，也是多核矩阵中第i行第j列的元素；d_s为权系数；s为阈值的编号，取值为正整数；K_gs(X_i,X_j)为多示例图像数据包X_i和多示例图像数据包X_j之间的基本核函数，也是基本核矩阵K_gs中第i行第j列的元素。