CN109582960B - 基于结构化关联语义嵌入的零示例学习方法 - Google Patents

Abstract

本发明提供了一种基于结构化关联语义嵌入的零示例学习方法，所述方法通过提取输入图像的属性特征构建语义嵌入空间，在语义嵌入空间挖掘语义嵌入关联关系并构建局部线性相关的图结构，再利用语义嵌入空间的结构化限制约束已知类别的分类模型，最终合成未见类别的模型并实现未训练样本类别的有效预测。本发明在挖掘类别相近的语义嵌入信息的同时保留语义空间的全局结构，可以获取有效的语义表示并有效提高未见类别图像样本的类别预测准确率。

Description

基于结构化关联语义嵌入的零示例学习方法

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及基于结构化关联语义嵌入的零示例学习方法。

背景技术

在计算机视觉领域，零示例学习是一个非常重要且具有挑战性的问题。现阶段监督学习方法已在多个领域实现了显著成就，然而监督学习的表现高度依赖于大规模的已标注数据。相反地，零示例学习可从已训练类别的样本中获取知识，迁移到未训练类别的样本并实现未训练类别样本的区分。为了实现这一目标，已训练类别样本与未训练类别样本间的知识迁移以及对未训练类别样本进行有效描述至关重要。

经过对现有技术的文献检索发现，L.C.H,N.Hannes与H.Stefan,在2014年的《IEEETransactions on Pattern Analysis and Machine Intelligence》会议上发表的“Attribute-based classification for zero-shot visual object categorization”一文中提出了一种学习属性分类器的方法，即为每个属性学习一个分类器，通过判别测试数据的属性分类器输出区分未见类别的样本。然而，在建立分类器的过程中会引入偏差，从而影响未见类别样本的判别。为解决这一问题，研究人员提出直接测量图像与类别嵌入之间的相关性，通过学习一个线性或非线性兼容函数，直接将图像与类别嵌入相关联。然而，此类方法在训练数据与测试数据分布不一致时会发生偏差，因此研究人员尝试利用基于融合模型的方法解决零示例学习问题，即将类别嵌入视为已见类别成分的组合。N.Mohammad等人在2014年的《International Conference on Learning Representations》会议上发表的“Zero-shot learning by convex combination of semantic embeddings”一文中提出了未见类别的语义嵌入由已见类别语义嵌入的权重组合合成，组合权重为其预训练分类器相应的概率输出。然而这种方法需提前训练分类器，较费时且效率不高。此外，C.Soravit等人在2016年的《IEEE Conference on Computer Vision and Pattern Recognition》会议上发表的“Synthesized classifiers for zero-shot learning”一文中提出了一种利用伪类别实现语义嵌入与分类器间的知识迁移，并通过伪类别的凸组合合成新的分类器。这种方法忽略了语义嵌入的局部结构，而局部结构可能为精确合成分类器提供更多的信息。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于结构化关联语义嵌入的零示例学习方法。

根据本发明提供的一种基于结构化关联语义嵌入的零示例学习方法，包括：

步骤1：提取已知类别图像的属性特征；

步骤2：根据所述属性特征构建语义嵌入空间，以及构建已知类别样本的分类模型构成的模型空间；

步骤3：在所述语义嵌入空间和所述模型空间中引入R个伪类别，作为所述语义嵌入空间和所述模型空间的关系迁移载体；

步骤4：获取已知类别图像的真实类别与伪类别之间的尺度化平方欧式距离，并将所述尺度化平方欧式距离作为连接权重；

步骤5：在模型空间中，根据所述连接权重，重新构建语义嵌入空间的图结构；

步骤6：获取每个已知类别图像的真实类别的连接权重在预设范围内的R_n个伪类别；

步骤7：构建用于使得所述语义嵌入空间中的每个语义嵌入由R_n个伪类别合成的目标函数；

步骤8：构建分类模型，其中，所述分类模型由邻接的R_n个伪类别合成得到；

步骤9：根据所述目标函数，学习所述语义嵌入空间和模型空间的R个伪类别、R_n个伪类别，以使得分类模型的损失最小化；

步骤10：提取未知类别图像的属性特征，将所述属性特征用R_n个伪类别表征，得到所述未知类别图像的图结构；

步骤11：将所述未知类别图像的图结构从所述语义嵌入空间投影到模型空间，得到投影后的伪类别，根据投影后的伪类别合成所述未知类别图像的分类模型。

可选地，所述步骤4包括：

假设训练样本中，已知类别数为S，未知类别数为U，伪类别数为R；定义每个类别i的坐标为s_i(i＝1,2,…,S+U)，预设训练样本的所有类别在语义嵌入空间的同一个流形上，借助引入的伪类别p_m(m＝1,2,…,R)保留训练样本属性间的相关关系，预设每个语义嵌入及邻近的R_n个伪类别在语义嵌入空间流形的局部线性块上；将尺度化平方欧式距离定义为相似性度量；每个s_i与邻近的伪类别p_m之间的连接权重的计算公式如下：

其中，s_i表示类别i的语义嵌入，其近邻的伪类别共有R_n个；p_m表示s_i最近邻的R_n个伪类别中的一个；w_mi表示每个s_i与其近邻的伪类别p_m之间的连接权重，w_mi的值越大，表示伪类别p_m与语义嵌入s_i之间的相似性越大；

根据每个语义嵌入均对应有近邻的R_n个伪类别，构建语义嵌入空间的类别关联图；其中，所述类别关联图的顶点集合包含语义嵌入的属性和引入的伪类别，边集合包含属性与伪类别之间连结的边；每个伪类别邻近的语义嵌入表示方式如下：

其中，μ_mi表示语义嵌入与伪类别间的权重。

可选地，所述步骤8包括：

定义每个类别i对应的分类模型为u_i(i＝1,2,…,S+U)，预设所有分类模型在同一个流形上，类似地，在该流形上引入R个伪类别，则每个分类模型u_i可由语义嵌入空间中的权重w_mi及R_n个邻接的伪类别t_m(m＝1,2,…,R)表示：

其中：u_i表示分类模型；t_m表示伪类别；w_mi表示每个s_i与其近邻的伪类别p_m之间的连接权重。

可选地，所述目标函数的公式如下：

其中：

表示学习模型空间的伪类别t_m和语义嵌入空间的权重μ_mi使多类别分类损失最小化，R表示伪类别总数，S表示已见类别总数，R_n表示每个类别i近邻的伪类别数，x_k表示输入数据，λ表示分类模型的加权系数，γ表示权重的加权系数；

目标函数的第一项是采用一对多多分类策略的平方链式损失

其中u_i表示类别i的分类器，x_k表示输入数据，用于确保分类器更关注总体的分类错误，使总的分类误差趋向最小；

指示函数

表示类别y_k与类别i是否相同，若相同则取1，不同则取-1；目标函数的第二项是对分类模型u_i的约束，防止过拟合；

目标函数的第三项目标项是对语义嵌入空间的权重μ_mi加以约束，使其趋于稀疏；|g|表示取模运算；

表示范数运算。

可选地，在考虑到类别相关性时，所述方法还采用了Crammer-Singer多类别支持向量机策略进行了实验，即将所述目标函数的第一项

替换为

其中：i∈S-{y_k}表示类别i属于已知类别集合S中除了类别y_k之外的类别之一；

表示优化类别i，使其与类别y_k在语义嵌入空间和模型空间的差异均最大；s_g表示类别g在语义嵌入空间的语义嵌入，u_g表示类别g对应的分类器，x_k表示输入数据；u_i表示类别i的分类器，

表示类别y_k的分类器，l_struct表示考虑类别相关性的Crammer-Singer多类别损失，s_i表示类别i的语义嵌入，

表示类别y_k的语义嵌入，

表示s_i与

差值的范数运算；

可选地，所述目标函数的采用替代优化方法求解。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于结构化关联语义嵌入的零示例学习方法，通过零示例学习框架假定并利用语义嵌入空间更多的结构化关联，利用相似类别的语义表示可投影到嵌入空间的邻近位置的假定条件，可有助于预测未见类别的分类器。本发明在挖掘类别相近的语义嵌入信息的同时保留语义空间的全局结构，可以获取有效的语义表示并有效提高未见类别图像样本的类别预测准确率。

在可选方案中，本发明考虑到相似类别的邻近嵌入关联，利用结构化关联并提出通过为未见类别构建局部线性连接的图结构预测新的分类器。本发明在利用局部关联关系的同时保留了全局结构，通过加强邻接嵌入的影响获取了更有效的语义信息表示。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明—实施例提供的基于结构化关联语义嵌入的零示例学习方法的原理结构示意图；

图2为本发明—实施例中结构化关系迁移的过程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明—实施例提供的基于结构化关联语义嵌入的零示例学习方法的原理结构示意图，如图1所示，本实施例，包括：流形空间的类别关系构建、结构化约束分类模型、未见类别模型合成，其中：类别关系构建通过挖掘相似类别语义嵌入的结构化关系，考虑相似类别的局部邻接关系，为未见类别样本构建保留局部线性关系的图结构；结构化约束分类模型通过在语义空间中引入伪类别，将语义空间的图结构借助伪类别投影到已见类别分类器形成的模型空间；未见类别模型合成利用投影后的伪类别及语义空间的权重在模型空间中重构图结构并合成未见类别的模型。结构化关系迁移的过程如图2所示。

所述方法在训练过程中首先计算每个语义嵌入的R_n个最近邻，并形成局部线性关联的图结构。再将语义空间中的伪类别投影到模型空间中。在预测阶段，每个未见类别的语义嵌入由其R_n个最近邻的伪类别表示，再将伪类别由语义嵌入空间投影到模型空间，并保留语义嵌入空间中的权重，在模型空间中重构图模型以合成新的分类器并对未见类别进行区分。由于重叠的局部结构可提供全局的集合信息，故所述方法在利用语义嵌入局部分布的同时保留了语义空间中的全局结构。当局部语义表示投影到模型空间时，全局非线性结构也从局部连接关系中得以恢复。训练过程的优化目标如下：

其中：

表示学***方链式损失l(x,y；u)＝max(0,1-yu^Tx)²，其中y表示类别标签，u表示分类器，x表示输入数据，它用于确保分类器更关注总体的分类错误，使总的分类误差趋向最小；指示函数

表示类别y_k与类别i是否相同，若相同则取1，不同则取-1；目标函数的第二项是对分类模型u_i的约束，防止过拟合；第三项目标项是对语义空间的权重μ_mi加以约束，使其趋于稀疏；|g|表示取模运算；

表示范数运算。此外，考虑到类别相关性，目标函数的第一项还采用了Crammer-Singer多类别支持向量机进行了实验，即

其中：i∈S-{y_k}表示类别i属于已知类别集合S中除了类别y_k之外的类别之一；

表示优化类别i，使其与类别y_k在语义空间和模型空间的差异均最大。s_g表示类别g在语义空间的语义嵌入，u_g表示类别g对应的分类器，x_k表示输入数据。

本发明通过对相同类别图像的属性表示进行平均以获取类别级的属性表示。所有的变量随机初始化，目标函数中的超参由对每个数据集的训练数据进行交叉验证得到。本实施例中的交叉验证策略采用的是按类别分割训练数据而非传统的直接分割训练数据。此外，构建的图模型中未连接的边距离设为∞。更进一步的，邻近伪类别数目R_n最初设置为伪类别数R的小数倍，然后依据分类准确度的变化逐渐缩小范围以获取更精确的结果。

本实施例中分别在AWA数据集与SUN数据集上进行训练与测试。AWA数据集是关于动物属性的数据集，其包含85个二元属性和30475张图片，共50个类别。SUN数据集是关于场景属性的数据集，其包含102个属性和14340张图片，共717个场景类别。本实施例中AWA数据集采用的语义空间属性特征用AlexNet提取获得，SUN数据集采用的语义空间属性特征采用GoogleNet提取获得。所述方法提取语义表示的有效性与泛化性通过未训练类别图像的多类别分类准确率进行评估。比较了采用本发明所述的基于结构化关联语义嵌入的零示例学习方法和C.Soravit等人在“Synthesized classifiers for zero-shot learning”提出的合成分类器的零示例学习方法在一对其余和结构化SVM两种损失策略下的分类准确率。

其结果为：应用结构化关联语义嵌入的零示例学习方法，在AWA数据集下测试样本分类准确率在一对其余和结构化SVM两种损失策略下分别达到72.3％和74.6％，比合成分类器模型的方法分别提高2.6％和2.3％；在SUN数据集下测试样本分类准确率在一对其余和结构化SVM两种损失策略下分别达到62.4％和62.7％，比合成分类器模型的方法分别提高0.3％和0.3％。由于考虑到语义嵌入的结构化关联，本发明的方法在不同损失条件下均得到了更高的分类准确率，实验结果证实了提出方法的有效性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种基于结构化关联语义嵌入的零示例学习方法，其特征在于，包括：

步骤1：提取已知类别图像的属性特征；

步骤2：根据所述属性特征构建语义嵌入空间，以及构建已知类别样本的分类模型构成的模型空间；

步骤3：在所述语义嵌入空间和所述模型空间中引入R个伪类别，作为所述语义嵌入空间和所述模型空间的关系迁移载体；

步骤4：获取已知类别图像的真实类别与伪类别之间的尺度化平方欧式距离，并将所述尺度化平方欧式距离作为连接权重；

步骤5：在模型空间中，根据所述连接权重，重新构建语义嵌入空间的图结构；

步骤6：获取每个已知类别图像的真实类别的连接权重在预设范围内的R_n个伪类别；

步骤7：构建用于使得所述语义嵌入空间中的每个语义嵌入由R_n个伪类别合成的目标函数；

步骤8：构建分类模型，其中，所述分类模型由邻接的R_n个伪类别合成得到；

步骤9：根据所述目标函数，学习所述语义嵌入空间和模型空间的R个伪类别、邻接的R_n个伪类别，以使得分类模型的损失最小化；

步骤10：提取未知类别图像的属性特征，将所述属性特征用邻接的R_n个伪类别表征，得到所述未知类别图像的图结构；

步骤11：将所述未知类别图像的图结构从所述语义嵌入空间投影到模型空间，得到投影后的伪类别，根据投影后的伪类别合成所述未知类别图像的分类模型；

所述步骤8包括：

定义每个类别i对应的分类模型为u_i(i＝1,2,…,S+U)，预设所有分类模型在同一个流形上，类似地，在该流形上引入R个伪类别，则每个分类模型u_i可由语义嵌入空间中的权重w_mi及R_n个邻接的伪类别t_m表示：

其中：u_i表示分类模型；t_m表示伪类别；w_mi表示每个s_i与其近邻的伪类别p_m之间的连接权重；s_i表示类别i的语义嵌入；

所述目标函数的公式如下：

其中：

表示学习模型空间的伪类别t_m和语义嵌入空间的权重μ_mi使多类别分类损失最小化，m＝1,2,…,R，R表示伪类别总数，S表示已见类别总数，R_n表示每个类别i近邻的伪类别数，x_k表示输入数据，λ表示分类模型的加权系数，γ表示权重的加权系数；

目标函数的第一项是采用一对多、多分类策略的平方链式损失

其中u_i表示类别i的分类模型，x_k表示输入数据，用于确保分类模型更关注总体的分类错误，使总的分类误差趋向最小；

指示函数

表示类别y_k与类别i是否相同，若相同则取1，不同则取-1；目标函数的第二项是对分类模型u_i的约束，防止过拟合；

目标函数的第三项目标项是对语义嵌入空间的权重μ_mi加以约束，使其趋于稀疏；|g|表示取模运算；

表示范数运算。

2.根据权利要求1所述的基于结构化关联语义嵌入的零示例学习方法，其特征在于，所述步骤4包括：

假设训练样本中，已知类别数为S，未知类别数为U，伪类别数为R；定义每个类别i的坐标为s_i(i＝1,2,…,S+U)，预设训练样本的所有类别在语义嵌入空间的同一个流形上，借助引入的伪类别p_m(m＝1,2,…,R)保留训练样本属性间的相关关系，预设每个语义嵌入及邻近的R_n个伪类别在语义嵌入空间流形的局部线性块上；将尺度化平方欧式距离定义为相似性度量；每个s_i与邻近的伪类别p_m之间的连接权重的计算公式如下：

其中，s_i表示类别i的语义嵌入，其近邻的伪类别共有R_n个；p_m表示s_i最近邻的R_n个伪类别中的一个；w_mi表示每个s_i与其近邻的伪类别p_m之间的连接权重，w_mi的值越大，表示伪类别p_m与语义嵌入s_i之间的相似性越大；

根据每个语义嵌入均对应有近邻的R_n个伪类别，构建语义嵌入空间的类别关联图；其中，所述类别关联图的顶点集合包含语义嵌入的属性和引入的伪类别，边集合包含属性与伪类别之间连接的边；每个伪类别邻近的语义嵌入表示方式如下：

其中，μ_mi表示语义嵌入与伪类别间的权重。

3.根据权利要求1所述的基于结构化关联语义嵌入的零示例学习方法，其特征在于，在考虑到类别相关性时，所述方法还采用了Crammer-Singer多类别支持向量机策略进行了实验，即将所述目标函数的第一项

替换为

其中：i∈S-{y_k}表示类别i属于已知类别集合S中除了类别y_k之外的类别之一；

表示优化类别i，使其与类别y_k在语义嵌入空间和模型空间的差异均最大；s_g表示类别g在语义嵌入空间的语义嵌入，u_g表示类别g对应的分类器，x_k表示输入数据；u_i表示类别i的分类模型，

表示类别y_k的分类器，l_struct表示考虑类别相关性的Crammer-Singer多类别损失，s_i表示类别i的语义嵌入，

表示类别y_k的语义嵌入，

表示s_i与

差值的范数运算。

4.根据权利要求1所述的基于结构化关联语义嵌入的零示例学习方法，其特征在于，所述目标函数采用替代优化方法求解。

Images