CN108038080A - 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法 - Google Patents

一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法 Download PDF

Info

Publication number
CN108038080A
CN108038080A CN201711230589.4A CN201711230589A CN108038080A CN 108038080 A CN108038080 A CN 108038080A CN 201711230589 A CN201711230589 A CN 201711230589A CN 108038080 A CN108038080 A CN 108038080A
Authority
CN
China
Prior art keywords
mrow
msubsup
msup
alpha
mover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711230589.4A
Other languages
English (en)
Inventor
赵洲
孟令涛
高天祥
蔡登�
何晓飞
庄越挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201711230589.4A priority Critical patent/CN108038080A/zh
Publication of CN108038080A publication Critical patent/CN108038080A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本发明公开了一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法。主要包括如下步骤：1)针对于已有的局部多模态数据结合概率邻居矩阵的方法得到利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数。2)针对于获得的目标函数，利用相应的优化算法学习概率邻居P、统一稀疏编码α与多模态基向量词典D，从而获得最终的稀疏编码。相比于一般的稀疏编码解决方案，本发明能够合理利用局部多模态数据，并产生更加符合相似性要求的稀疏编码。本发明在稀疏编码问题中所取得的效果相比于传统的方法更好。

Description

一种利用适应性相似结构规则化进行局部多模态稀疏编码补 全的方法
技术领域
本发明涉及稀疏编码补全，尤其涉及一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法。
背景技术
随着互联网的发展，许多互联网应用开始包含多模态的数据，例如同时包含网页图片与相关文本的数据。于是针对于多模态数据的多模态稀疏编码技术便成为了一种重要的技术。稀疏编码技术的目的是针对于多模态数据仅利用较少的编码系数来表示。
现有的技术主要是通过利用带有l1惩罚项的稀疏编码规则化的方法来进行多模态数据的重建从而完成稀疏编码并且通过多模态数据映射函数学习的方法来保留模型相关性。但是，在实际情况下，一般许多模态下的数据是不完整的，从而导致局部多模态数据的问题。
本发明将采用一种利用适应性相似结构规则化来进行局部多模态稀疏编码补全的方法，本方法将同时进行部分多模态相似结构学习与统一稀疏编码。本方法将通过学习出一个相似推断概率邻居，在其中将会把不同模态下数据的相似性计算出来。
发明内容
本发明的目的在于解决现有技术中的问题，为了克服现有技术中对于局部多模态数据缺乏特别关注的问题，本发明提供一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法。本发明所采用的具体技术方案是：
利用适应性相似结构规则化进行局部多模态稀疏编码补全，包含如下步骤：
1、利用当前已有的局部多模态的数据，构建稀疏编码的基本目标函数。
2、引入概率邻居矩阵的方法同时学习出数据相似性矩阵与稀疏编码。结合构建的稀疏编码基本目标函数构建利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数。
3、利用优化算法学习概率邻居P、统一稀疏编码α与多模态基向量词典D。
上述步骤可具体采用如下实现方式：
1、对于所给出的含有N个双模型样本集合其中为模态A下的第i个样本，为模态B下的第i个样本，da为表示模态A样本的向量维度，db为表示模态B样本的向量维度。在目前的局部多模态数据集的设置中，将数据的表达形式设置为X＝{C,A,B}，其中代表同时含有A、B两种模态表示的通用样本，代表仅由A模态表示的样本，代表仅由B模态表示的样本，c代表同时含有A、B两种模态表示的通用样本的数目，na代表仅由A模态表示的样本的数目，nb代表仅由B模态表示的样本的数目。同时由模态A与模态B表示的通用数据样本在A与B模态下的表达分别记为与所有在A模态下的样本的表达记为所有在B模态下的样本的表达记为
则对于所给定的局部多模态的数据，所需要学习出的基本目标函数为：
其中，α(c)为通用数据样本的统一编码，α(a)为局部A模态下数据样本的编码，α(b)为局部B模态下数据样本的编码，则稀疏编码α＝{α(c),α(a),α(b)}保证了从不同模态下生成的编码的一致性。D(a)与D(b)分别代表A、B模态下的基向量。
2、使用概率邻居矩阵的方法来同时学习数据相似性矩阵与稀疏编码。概率邻居矩阵是通过对于样本指定对应的适应优化邻居概率实现的，具体指定方法为，对于在相同A模态下的样本指定为其中i,j∈A并且对于在不同的A、B两模块下的样本指定为其中i∈A并且j'∈B，对于一组在模态A与B即C中展现的共同样本，模态间概率定义为其中概率与概率是分别在相同的A、B模态中学习得到的。则适应的相似结构学习目标函数为
其中为一个概率组成的向量，其中第j个元素为γ与ν为权衡系数。并且可以看出若较小，则应指定一个较大的概率若较大，则应指定一个较小的概率值
将适应的相似结构学习目标函数与步骤1中得到的基本目标函数相结合，得到利用适应性相似结构规则化进行局部多模态稀疏编码补全的完整目标函数:
其中，β、λ、γ及ν均为权重参数。
3、对于概率邻居P，采用如下方法进行求解：
当统一稀疏编码α与多模态基向量字典D固定时，对于模态A下的数据样本xi的概率邻居的更新按照如下公式进行：
其中，为1个na*1大小的向量，其中每个元素值为1。
令为一个矩阵，且其元素满足：
则对于模态A下的数据样本xi的概率邻居的更新公式重写为：
于是，该更新问题便看作不等式约束二次方程问题，由以下算法利用KKT条件得出结果。
输入qi∈Rn，将qi排序成为h，其中，h1≥h2≥,...,hn，寻找
定义返回pi，且满足pij＝max{qj+λ,0},j＝1,...,n
对于模态B下的数据样本的概率邻居更新与的更新方法相同。
4、对于统一稀疏编码α的求解，包括对于所有模态下样本的统一稀疏编码α(c)，及仅在唯一的模态下样本的统一稀疏编码α(a)与α(b)，采用如下方法进行求解：
由于在相同模态下的概率邻居矩阵可以被看作是含有N个数据点的图的相似矩阵，则可以证明得到下式
其中，在图论中叫做拉普拉斯矩阵，度数矩阵为一个对角矩阵，其中第i个对角元素为通过同样的计算方法可以得到在B模态下的拉普拉斯矩阵L(b)。
适应的规则化项被重写为：
其中，为的第i项，为的第j项，对于每一个模态的重构错误被重写为
将上面两个式子结合，可得固定其余稀疏编码{αj}j≠i的前提下，获取稀疏编码的目标函数，如下：
其中，
通过步骤3，可以获得关于的潜在非零系数与相关标志构成的活动集，记为之后，将上述目标函数减少为非约束的二次方程问题。
利用如下方法更新
其中，为矩阵L(a)的第i行第i列项，为矩阵L(b)的第i行第i列项，I为单位矩阵，为所获得的关于的潜在非零系数与相关标志构成的活动集。
则将针对于的目标函数重写为：
其中
采用如下方法更新
其中为的相关符号。
5、对于多模态基向量字典D的求解，采用如下方法来更新：
6、通过步骤3、步骤4、步骤5的方法，可以得到最终符合要求能够反映不同模态下相似数据的表达相似性的稀疏编码。
附图说明
图1是本发明所使用的局部多模态相似性学习的整体示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
如图1所示，本发明一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法包括如下步骤：
1)利用当前已有的局部多模态的数据，构建稀疏编码的基本目标函数；
2)引入概率邻居矩阵的方法同时学习出数据相似性矩阵与稀疏编码；结合构建的稀疏编码基本目标函数构建利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数；
3)利用优化算法学习概率邻居P，统一稀疏编码α与多模态基向量词典D。
所述的步骤1)利用当前已有的局部多模态的数据，构建稀疏编码的基本目标函数,其具体步骤为:
对于所给出的含有N个双模型样本集合其中为模态A下的第i个样本，为模态B下的第i个样本，da为表示模态A样本的向量维度，db为表示模态B样本的向量维度；在目前的局部多模态数据集的设置中，将数据的表达形式设置为X＝{C,A,B}，其中代表同时含有A、B两种模态表示的通用样本，代表仅由A模态表示的样本，代表仅由B模态表示的样本，c代表同时含有A、B两种模态表示的通用样本的数目，na代表仅由A模态表示的样本的数目，nb代表仅由B模态表示的样本的数目；同时由模态A与模态B表示的通用数据样本在A与B模态下的表达分别记为与所有在A模态下的样本的表达记为所有在B模态下的样本的表达记为
则对于所给定的局部多模态的数据，所需要学习出的基本目标函数为：
其中，α(c)为通用数据样本的统一编码，α(a)为局部A模态下数据样本的编码，α(b)为局部B模态下数据样本的编码，则稀疏编码α＝{α(c),α(a),α(b)}保证了从不同模态下生成的编码的一致性；D(a)与D(b)分别代表A、B模态下的基向量。
所述的步骤2)引入概率邻居矩阵的方法来实现同时学习出数据相似性矩阵与稀疏编码，并且结合构建的稀疏编码基本目标函数构建利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数，其具体步骤为：
使用概率邻居矩阵的方法来同时学习数据相似性矩阵与稀疏编码；概率邻居矩阵是通过对于样本指定对应的适应优化邻居概率实现的，具体指定方法为，对于在相同A模态下的样本指定为其中i,j∈A并且对于在不同的A、B两模块下的样本指定为其中i∈A并且j'∈B，对于一组在模态A与B即C中展现的共同样本，模态间概率定义为其中概率与概率是分别在相同的A、B模态中学习得到的；则适应的相似结构学习目标函数为
其中为一个概率组成的向量，其中第j个元素为γ与ν为权衡系数；并且可以看出若较小，则应指定一个较大的概率若较大，则应指定一个较小的概率值
将适应的相似结构学习目标函数与步骤1中得到的基本目标函数相结合，得到利用适应性相似结构规则化进行局部多模态稀疏编码补全的完整目标函数:
其中，β、λ、γ及ν均为权重参数。
所述的步骤3)利用相应的优化算法学习概率邻居P、统一稀疏编码α与多模态基向量词典D，其具体步骤为：
3.1)当统一稀疏编码α与多模态基向量字典D固定时，对于模态A下的数据样本xi的概率邻居的更新按照如下公式进行：
其中，为1个na*1大小的向量，其中每个元素值为1；
令为一个矩阵，且其元素满足：
则对于模态A下的数据样本xi的概率邻居的更新公式重写为：
于是，该更新问题便看作不等式约束二次方程问题，由以下算法利用KKT条件得出结果；
输入qi∈Rn，将qi排序成为h，其中，h1≥h2≥,...,hn，寻找
定义返回pi，且满足pij＝max{qj+λ,0},j＝1,...,n
对于模态B下的数据样本的概率邻居更新与的更新方法相同；
3.2)对于统一稀疏编码α的求解，包括对于所有模态下样本的统一稀疏编码α(c)，及仅在唯一的模态下样本的统一稀疏编码α(a)与α(b)，采用如下方法进行求解：
由于在相同模态下的概率邻居矩阵可以被看作是含有N个数据点的图的相似矩阵，则可以证明得到下式
其中，在图论中叫做拉普拉斯矩阵，度数矩阵为一个对角矩阵，其中第i个对角元素为通过同样的计算方法可以得到在B模态下的拉普拉斯矩阵L(b)；
适应的规则化项被重写为：
其中，为的第i项，为的第j项，对于每一个模态的重构错误被重写为
将上面两个式子结合，可得固定其余稀疏编码{αj}j≠i的前提下，获取稀疏编码的目标函数，如下：
其中，
通过步骤3.1)，可以获得关于的潜在非零系数与相关标志构成的活动集，记为之后，将上述目标函数减少为非约束的二次方程问题；
利用如下方法更新
其中，为矩阵L(a)的第i行第i列项，为矩阵L(b)的第i行第i列项，I为单位矩阵，为所获得的关于的潜在非零系数与相关标志构成的活动集；
则将针对于的目标函数重写为：
其中
采用如下方法更新
其中为的相关符号；
3.3)对于多模态基向量字典D的求解，采用如下方法来更新：
则通过步骤3.1)、3.2)、3.3)可以得到最终的符合要求能够反映不同模态下相似数据的表达相似性的稀疏编码。
下面将上述方法应用于下列实施例中，以体现本发明的技术效果，实施例中具体步骤不再赘述。
实施例
本发明在Wiki Text-Image及NUS-WIDE两个数据集上面进行实验验证。WikiText-Image数据集包含2866个从属于不同种类的文本图片对，NUS-WIDE数据集包含12072个从属于31个不同种类的文本图片对。本发明使用基于SIFT的视觉词袋提取每张图片的500维特征，使用词袋提取每段文本的100维特征。
为了客观地评价本发明的算法的性能，本发明在所选出的测试集中，使用了NMI,AC来对于本发明的效果进行评价。按照具体实施方式中描述的步骤，针对于Wiki Text-Image及NUS-WIDE数据集在NMI,AC标准上所得的实验结果如表1所示，结果显示，在进行局部多模态稀疏编码补全任务方面，本发明所采用的方法能够取得更好的效果：
表1本发明针对于不同数据集所得到的测试结果。

Claims (4)

1.一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法，其特征在于包括如下步骤：
1)利用当前已有的局部多模态的数据，构建稀疏编码的基本目标函数；
2)引入概率邻居矩阵的方法同时学习出数据相似性矩阵与稀疏编码；结合构建的稀疏编码基本目标函数构建利用适应性相似结构规则化进行局部多模态稀疏编码补全的最终目标函数；
3)利用优化算法学习概率邻居P，统一稀疏编码α与多模态基向量词典D。
2.根据权利要求1所述利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法，其特征在于所述的步骤1)具体步骤为:
对于所给出的含有N个双模型样本集合其中为模态A下的第i个样本，为模态B下的第i个样本，da为表示模态A样本的向量维度，db为表示模态B样本的向量维度；在目前的局部多模态数据集的设置中，将数据的表达形式设置为X＝{C,A,B}，其中代表同时含有A、B两种模态表示的通用样本，代表仅由A模态表示的样本，代表仅由B模态表示的样本，c代表同时含有A、B两种模态表示的通用样本的数目，na代表仅由A模态表示的样本的数目，nb代表仅由B模态表示的样本的数目；同时由模态A与模态B表示的通用数据样本在A与B模态下的表达分别记为与所有在A模态下的样本的表达记为所有在B模态下的样本的表达记为
则对于所给定的局部多模态的数据，所需要学习出的基本目标函数为：
<mrow> <msub> <mi>min</mi> <mrow> <mi>&amp;alpha;</mi> <mo>,</mo> <mi>D</mi> </mrow> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msubsup> <mi>X</mi> <mi>c</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>X</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msubsup> <mi>X</mi> <mi>c</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>X</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mrow> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msup> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msup> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> </mtd> </mtr> </mtable> </mfenced> </mrow>
<mrow> <mo>|</mo> <mo>|</mo> <msubsup> <mi>d</mi> <mi>k</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>|</mo> <mo>&amp;le;</mo> <mi>l</mi> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>k</mi> </mrow>
其中，α(c)为通用数据样本的统一编码，α(a)为局部A模态下数据样本的编码，α(b)为局部B模态下数据样本的编码，则稀疏编码α＝{α(c),α(a),α(b)}保证了从不同模态下生成的编码的一致性；D(a)与D(b)分别代表A、B模态下的基向量。
3.根据权利要求1所述利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法，其特征在于所述的步骤2)具体步骤为：
使用概率邻居矩阵的方法来同时学习数据相似性矩阵与稀疏编码；概率邻居矩阵是通过对于样本指定对应的适应优化邻居概率实现的，具体指定方法为，对于在相同A模态下的样本指定为其中i,j∈A并且对于在不同的A、B两模块下的样本指定为其中i∈A并且j'∈B，对于一组在模态A与B即C中展现的共同样本，模态间概率定义为其中概率与概率是分别在相同的A、B模态中学习得到的；则适应的相似结构学习目标函数为
<mrow> <msub> <mi>min</mi> <mi>p</mi> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mi>M</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>A</mi> <mo>,</mo> <mi>B</mi> <mo>}</mo> </mrow> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>M</mi> <mo>&amp;cup;</mo> <mi>C</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>j</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>A</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>B</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>v</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <msub> <mn>1</mn> <msub> <mi>n</mi> <mi>m</mi> </msub> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>i</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中为一个概率组成的向量，其中第j个元素为γ与ν为权衡系数；将适应的相似结构学习目标函数与步骤1中得到的基本目标函数相结合，得到利用适应性相似结构规则化进行局部多模态稀疏编码补全的完整目标函数:
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>min</mi> <mrow> <mi>&amp;alpha;</mi> <mo>,</mo> <mi>D</mi> <mo>,</mo> <mi>P</mi> </mrow> </msub> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mi>M</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>A</mi> <mo>,</mo> <mi>B</mi> <mo>}</mo> </mrow> </munder> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;beta;</mi> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>M</mi> <mo>&amp;cup;</mo> <mi>C</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>j</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>}</mo> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>&amp;gamma;</mi> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>A</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>B</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>v</mi> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mrow> <mo>|</mo> <mo>|</mo> <msubsup> <mi>d</mi> <mi>k</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>|</mo> <mo>&amp;le;</mo> <mi>l</mi> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>k</mi> </mrow>
其中，β、λ、γ及ν均为权重参数。
4.根据权利要求1所述利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法，其特征在于所述的步骤3)具体步骤为：
4.1)当统一稀疏编码α与多模态基向量字典D固定时，对于模态A下的数据样本xi的概率邻居的更新按照如下公式进行：
<mrow> <msub> <mi>min</mi> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>v</mi> <mo>|</mo> <mo>|</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>j</mi> <mo>&amp;prime;</mo> </msup> <mo>&amp;Element;</mo> <mi>B</mi> <mo>,</mo> <mi>k</mi> <mo>&amp;Element;</mo> <mi>C</mi> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>k</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>p</mi> <mrow> <msup> <mi>kj</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>p</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msub> <mn>1</mn> <msub> <mi>n</mi> <mi>a</mi> </msub> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，为1个na*1大小的向量，其中每个元素值为1；
令为一个矩阵，且其元素满足：则对于模态A下的数据样本xi的概率邻居的更新公式重写为：
于是，该更新问题便看作不等式约束二次方程问题，由以下算法利用KKT条件得出结果；
输入qi∈Rn，将qi排序成为h，其中，h1≥h2≥,...,hn，寻找
<mrow> <mi>&amp;rho;</mi> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>{</mo> <mn>1</mn> <mo>&amp;le;</mo> <mi>j</mi> <mo>&amp;le;</mo> <mi>n</mi> <mo>:</mo> <msub> <mi>h</mi> <mi>j</mi> </msub> <mo>+</mo> <mfrac> <mn>1</mn> <mi>j</mi> </mfrac> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>j</mi> </msubsup> <msub> <mi>h</mi> <mi>k</mi> </msub> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> <mo>}</mo> </mrow>
定义返回pi，且满足pij＝max{qj+λ,0},j＝1,...,n对于模态B下的数据样本的概率邻居更新与的更新方法相同；
4.2)对于统一稀疏编码α的求解，包括对于所有模态下样本的统一稀疏编码α(c)，及仅在唯一的模态下样本的统一稀疏编码α(a)与α(b)，采用如下方法进行求解：
由于在相同模态下的概率邻居矩阵可以被看作是含有N个数据点的图的相似矩阵，则可以证明得到下式
<mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>A</mi> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>j</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <msubsup> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>=</mo> <mn>2</mn> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>L</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
其中，在图论中叫做拉普拉斯矩阵，度数矩阵为一个对角矩阵，其中第i个对角元素为通过同样的计算方法可以得到在B模态下的拉普拉斯矩阵L(b)；
适应的规则化项被重写为：
<mrow> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>L</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>j</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>j</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> </mrow>
其中，为的第i项，为的第j项，对于每一个模态的重构错误被重写为
将上面两个式子结合，可得固定其余稀疏编码{αj}j≠i的前提下，获取稀疏编码的目标函数，如下：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>min</mi> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> </msub> <mo>|</mo> <mo>|</mo> <mo>&amp;lsqb;</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>&amp;lsqb;</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msup> <mo>&amp;rsqb;</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mn>2</mn> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mn>2</mn> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>&amp;beta;</mi> <mrow> <mo>(</mo> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <mn>2</mn> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msubsup> <mi>h</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，
通过步骤4.1)，可以获得关于的潜在非零系数与相关标志构成的活动集，记为之后，将上述目标函数减少为非约束的二次方程问题；
利用如下方法更新
<mrow> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;LeftArrow;</mo> <msup> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>+</mo> <mi>&amp;beta;</mi> <mo>(</mo> <mrow> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>b</mi> <mo>)</mo> </mrow> </msubsup> </mrow> <mo>)</mo> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mi>&amp;lambda;</mi> <mo>(</mo> <mrow> <msubsup> <mi>&amp;theta;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>h</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
其中，为矩阵L(a)的第i行第i列项，为矩阵L(b)的第i行第i列项，I为单位矩阵，为所获得的关于的潜在非零系数与相关标志构成的活动集；
则将针对于的目标函数重写为：
<mrow> <msub> <mi>min</mi> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </msub> <mo>|</mo> <mo>|</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>+</mo> <msubsup> <mi>&amp;beta;L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msubsup> <mi>g</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </mrow>
其中
采用如下方法更新
<mrow> <msubsup> <mi>&amp;alpha;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>&amp;LeftArrow;</mo> <msup> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>+</mo> <mo>(</mo> <mrow> <msubsup> <mi>&amp;beta;L</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <mi>&amp;gamma;</mi> </mrow> <mo>)</mo> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mi>T</mi> </msup> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <mfrac> <mrow> <msubsup> <mi>&amp;lambda;&amp;theta;</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>g</mi> <mi>i</mi> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> </msubsup> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> </mrow>
其中为的相关符号；
4.3)对于多模态基向量字典D的求解，采用如下方法来更新：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>min</mi> <mi>D</mi> </msub> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msup> <mover> <mi>X</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>-</mo> <msup> <mi>D</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <msup> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>d</mi> <mi>k</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>)</mo> </mrow> </msubsup> <mo>|</mo> <mo>|</mo> <mo>&amp;le;</mo> <mi>l</mi> <mo>,</mo> <mi>m</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> <mo>}</mo> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>k</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
则通过步骤3.1)、3.2)、3.3)可以得到最终的符合要求能够反映不同模态下相似数据的表达相似性的稀疏编码。
CN201711230589.4A 2017-11-29 2017-11-29 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法 Withdrawn CN108038080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711230589.4A CN108038080A (zh) 2017-11-29 2017-11-29 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711230589.4A CN108038080A (zh) 2017-11-29 2017-11-29 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法

Publications (1)

Publication Number Publication Date
CN108038080A true CN108038080A (zh) 2018-05-15

Family

ID=62094533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711230589.4A Withdrawn CN108038080A (zh) 2017-11-29 2017-11-29 一种利用适应性相似结构规则化进行局部多模态稀疏编码补全的方法

Country Status (1)

Country Link
CN (1) CN108038080A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948502A (zh) * 2018-11-07 2019-06-28 厦门森科艾图智能科技有限公司 多视角局部敏感稀疏检索的三维图像人体姿态恢复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473307A (zh) * 2013-09-10 2013-12-25 浙江大学 跨媒体稀疏哈希索引方法
CN103488713A (zh) * 2013-09-10 2014-01-01 浙江大学 一种可直接度量不同模态数据间相似性的跨模态检索方法
CN104765878A (zh) * 2015-04-27 2015-07-08 合肥工业大学 一种适用于多模态信息的稀疏编码算法及其应用
US9582916B2 (en) * 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473307A (zh) * 2013-09-10 2013-12-25 浙江大学 跨媒体稀疏哈希索引方法
CN103488713A (zh) * 2013-09-10 2014-01-01 浙江大学 一种可直接度量不同模态数据间相似性的跨模态检索方法
US9582916B2 (en) * 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis
CN104765878A (zh) * 2015-04-27 2015-07-08 合肥工业大学 一种适用于多模态信息的稀疏编码算法及其应用

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
QIAN LI等: "SINGLE IMAGE SUPER-RESOLUTION BASED ON NONLOCAL SIMILARITY AND SPARSE REPRESENTATION", 《2015 IEEE CHINA SUMMIT AND INTERNATIONAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING (CHINASIP)》 *
SHENGHUA GAO等: "Laplacian Sparse Coding, Hypergraph Laplacian Sparse Coding, and Applications", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ZHOU ZHAO等: "Partial Multi-Modal Sparse Coding via Adaptive Similarity Structure Regularization", 《PROCEEDINGS OF THE 24TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
刘菲 等: "基于稀疏编码的多模态信息交叉检索", 《中国图象图形学报》 *
贺兵: "基于稀疏编码哈希的跨模多媒体检索", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948502A (zh) * 2018-11-07 2019-06-28 厦门森科艾图智能科技有限公司 多视角局部敏感稀疏检索的三维图像人体姿态恢复方法

Similar Documents

Publication Publication Date Title
Bhatt et al. CNN variants for computer vision: History, architecture, application, challenges and future scope
Zhong et al. SatCNN: Satellite image dataset classification using agile convolutional neural networks
CN104318340B (zh) 基于文本履历信息的信息可视化方法及智能可视分析***
CN107133277B (zh) 一种基于动态主题模型和矩阵分解的旅游景点推荐方法
CN108920544A (zh) 一种基于知识图谱的个性化职位推荐方法
CN110175628A (zh) 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
CN104346440A (zh) 一种基于神经网络的跨媒体哈希索引方法
CN109739995B (zh) 一种信息处理方法及装置
CN110738102A (zh) 一种人脸识别方法及***
CN111710428B (zh) 一种建模全局和局部上下文交互的生物医学文本表示方法
CN111145913B (zh) 基于多重注意力模型的分类方法、装置及设备
CN106844518A (zh) 一种基于子空间学习的不完整跨模态检索方法
CN108171261A (zh) 鲁棒的自适应半监督图像分类方法、装置、设备及介质
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
Musunuri et al. Deep residual dense network for single image super-resolution
CN105808757A (zh) 基于多特征融合的bow模型的中草药植物图片检索方法
CN110347791A (zh) 一种基于多标签分类卷积神经网络的题目推荐方法
CN113378938A (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及***
Dai et al. Multi-granularity association learning for on-the-fly fine-grained sketch-based image retrieval
Mel et al. Incremental and multi-task learning strategies for coarse-to-fine semantic segmentation
Wang et al. Human activity recognition based on an efficient neural architecture search framework using evolutionary multi-objective surrogate-assisted algorithms
Memon et al. Unified DeepLabV3+ for semi-dark image semantic segmentation
CN111522979B (zh) 图片排序推荐方法、装置、电子设备、存储介质
Yu et al. ACS: Construction data auto-correction system—Taiwan Public construction data example
CN103377381B (zh) 识别图像的内容属性的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180515