CN105260741B - 一种基于高阶图结构p‑Laplacian稀疏编码的数字图像标记方法 - Google Patents

Abstract

本发明所述的一种基于p‑Laplacian稀疏编码的数字图像标记方法，包括如下步骤：(1)提取图像特征，包括已标记图像、未标记图像、用户输入图像；(2)计算图像库(包括已标记图像和未标记图像)中图像样本的高阶图结构p‑Laplacian信息；(3)基于p‑Laplacian计算图像的稀疏编码；(4)基于图像的稀疏编码学习得到预测模型；(5)基于预测模型对未标记图像及用户输入图像进行标记；(6)结束。本发明中对于图像的表示主要侧重于图像特征的表示，涉及图像样本分布高阶图结构信息，更精确的表示图像样本的内在联系，更加有效的进行图像标记。

Description

一种基于高阶图结构p-Laplacian稀疏编码的数字图像标记 方法

技术领域

本发明设计一种数字图像标记方法，特别涉及一种基于高阶图结构信息p-Laplacian的数字图像标记方法。

背景技术

随着计算机的数据处理能力的不断提高以及便携智能设备(例如智能手机数码相机)的普及，大数据量的数字图像的获取也变得越来越容易。数字图像标记技术便是利用已有标记图像信息对图像数据库中未标记图像进行标记。一种有效的图像标记策略是将图像标记过程看作一个学习过程，利用已有训练图像作为学习所需的样本，使用机器学习技术学习得到图像的表示方法，进而获得一个预测模型实现对未标记图像的标记。

目前的图像标记技术中对于图像的表示主要侧重于图像的特征提取，或者只涉及图像样本分布低阶图结构信息。由于目前图像标记技术中图像表示方法没有考虑到图像样本分布高阶图结构信息，因此无法更精确的表示图像样本的内在联系，不利于有效的进行图像标记。

发明内容

针对上述问题，本发明提供了一种一种基于高阶图结构p-Laplacian稀疏编码的数字图像标记方法，所采用的技术方案为：

(1)通过图像标记装置对用户输入的新图像进行标记后，生成图像特征；

(2)结合图像特征计算数字图像库中图像样本的高阶结构信息p-Laplacian进行字典学习；

(3)根据得到的字典计算图像的稀疏编码作为图像表示；

(4)对得到图像稀疏编码使用预设的分类方法进行训练得到所需的预测模型；

(5)根据训练得到的预测模型对数字图像中待标记的数字图像和用户新输入的图像进行标记；

(6)结束。

特别的，所述图像标记装置包括数字图像存储设备、已标记图像库和用户图像输入设备。

优选的，所述待标记数字图像存储于数字图像存储设备内。

优选的，所述已标记图像库中的每个数字图像均对应了一组人工标注的概念标记。

下面具体说明本发明的技术方案：

数字图像存储设备中存放了待标记的数字图像，此外还存在一个已标记的数字图像库，该图像库中包含一些已经标记好的数字图像，每个数字图像均对应了一组人工标注的概念标记，用户亦可以增加图像库中不存在的未标记数字图像。可以使用数字图像处理的经典方法生成适当的图像特征，由此每幅图像可由一个特征向量进行表示，比如SIFT特征等。得到图像的特征表示后，使用预设的分类方法支持向量机训练得到相应的预测模型支持向量模型，基于预测模型对图像存储设备中的待标记图像和用户输入的新图像进行标记。

对用户输入的新图像进行标记后，生成图像特征，然后结合图像库中图像样本的高阶图结构信息p-Laplacian进行字典学习。

结合图像库中图像样本的高阶图结构信息p-Laplacian进行字典学习时，假设X代表图像特征矩阵，D代表学习字典，W代表图像稀疏编码，Δ_pW代表图像样本高阶图结构p-Laplacian信息：

a.先初始化操作，设定用来平衡目标函数中的后面两项的比重的γ₁，γ₂，设定字典元素数目并生成D。

b.固定字典D，通过求解问题

计算图像对应的稀疏编码W。

c.固定稀疏编码W，通过求解问题计算特征字典D。

d.判断是否满足收敛条件，若不满足收敛条件，返回到步骤b继续计算W，若满足收敛条件，则结束。

步骤b至d构成了一个循环体，在循环体内部迭代交替计算特征字典D和稀疏编码W。在上述循环过程结束后，获得了基于图像库的特征字典D，同时也获得了图像库中图像的稀疏编码W。

计算样本的高阶图结构p-Laplacian信息Δ_pW的方法如下：

A.起始状态，假设图像库中图像构成的图结构为G_ω＝(V,E)，其中V代表N个图像样本点的组成集合，E代表图像样本点连接的边集合，ω代表样本点邻接关系的权重计算函数，图像样本点与其标记概念间存在函数关系f：V→R。

B.计算样本点的邻接关系权重ω，ω有不同的具体计算形式，这里采用基于Gaussian RBF核函数的任意样本点u和ν的临界关系权重为式中a是参数，控制整个结果不要过大或者过小的，exp(.)是一个指数函数，就是以e为底的指数为括号里的数的函数，χ_u、χ_υ分别代表u样本点和v样本点的属性值。

C.计算样本点ν的加权梯度

其中，u～ν表示样本点u是点ν的邻接点，▽_υf是加权梯度。

D.计算样本点ν的p-Laplacian信息(Δ_pf)_v＝∑_u～vr_uv(f_v-f_u)，

其中

E.ν＝ν+1。迭代算法，计算完了第v个点就要计算第v+1个点。

F.比较ν与N，若ν<N则返回步骤C继续计算样本点ν的加权梯度；若ν>N则结束。

步骤C到E是一个循环体，在循环体内部计算每一个样本点p-Laplacian信息。

基于学习的特征字典计算图像的稀疏编码的方法：

第一步：起始状态。假设χ是待标记图像的输入图像特征，ω是其对应的稀疏编码；

第二步：根据学习的特征字典设定D和γ₃；

第三步：通过求解问题计算输入图像的稀疏编码，式中F代表的是双数线内部的范数为F范数。

第四步：结束状态。

本发明中对于图像的表示主要侧重于图像特征的表示，涉及图像样本分布高阶图结构信息，p-Laplaican能够描述图像样本分布的高阶结构关系，更精确的表示图像样本的内在联系，能够获得更具有代表意义的图像编码，更准确的表达图像内容和相互联系，提高编码的有效性和可分类性，从而更加有效的进行图像标记。

附图说明

图1所示为图像标记装置的工作流程图

图2所示为本发明方法的流程图

图3所示为本发明所采用的图像样本高阶图结构p-Laplacian信息计算流程图

图4所示为本发明所采用的基于p-Laplacian的图像稀疏编码计算流程图

图5所示为本发明计算样本的高阶图结构p-Laplacian信息Δ_pW的流程图

具体实施方式

如图1所示，数字图像存储设备中存放了待标记的数字图像，此外还存在一个已标记的数字图像库，该图像库中包含一些已经标记好的数字图像，每个数字图像均对应了一组人工标注的概念标记，用户亦可以增加图像库中不存在的未标记数字图像。可以使用数字图像处理的经典方法，生成适当的图像特征，比如SIFT特征等，由此每幅图像可由一个特征向量进行表示。得到图像的特征表示后，使用预设的分类方法，训练得到相应的预测模型，基于预测模型对图像存储设备中的待标记图像和用户输入的新图像进行标记。

本发明涉及的方法如图2所示。步骤10是起始动作。步骤11生成图像特征，比如SIFT特征等。

接下来步骤12结合图像特征计算数字图像库中图像样本的高阶结构信息p-Laplacian进行字典学习，其详细说明如图3所示。

图3给出了图2中步骤12的详细描述，具体说明了如何结合图像库中图像样本高阶结构信息p-Laplacian学习字典。步骤1200是起始状态。假设X代表图像特征矩阵，D代表学习字典，W代表图像稀疏编码，Δ_pW代表图像样本高阶图结构p-Laplacian信息。步骤1201是初始化操作，设定γ₁，γ₂，设定字典元素数目并生成D。

步骤1202固定字典D，通过求解问题

计算图像对应的稀疏编码W。

步骤1203固定稀疏编码W，通过求解问题：

计算特征字典D。

步骤1204判断是否满足收敛条件，若不满足收敛条件，返回到步骤1202继续计算W，若满足收敛条件，则达到结束状态1205。

步骤1202至1204构成了一个循环体，在循环体内部迭代交替计算特征字典D和稀疏编码W。在上述循环过程结束后，获得了基于图像库的特征字典D，同时也获得了图像库中图像的稀疏编码W。

步骤12中计算样本的高阶图结构p-Laplacian信息Δ_pW的方法如下：

A.起始状态，假设图像库中图像构成的图结构为G_ω＝(V,E)，其中V代表N个图像样本点的组成集合，E代表图像样本点连接的边集合，ω代表样本点邻接关系的权重计算函数，图像样本点与其标记概念间存在函数关系f：V→R。

B.计算样本点的邻接关系权重ω，ω有不同的具体计算形式，例如基于GaussianRBF核函数的任意样本点u和ν的临界关系权重为等。

C.计算样本点ν的加权梯度

其中，u～ν表示样本点u是点ν的邻接点。

D.计算样本点ν的p-Laplacian信息(Δ_pf)_v＝∑_u～vr_uv(f_v-f_u)，其中

E.ν＝ν+1

F.比较ν与N，若ν<N则返回步骤C继续计算样本点ν的加权梯度；若ν>N则结束。

步骤C到E是一个循环体，在循环体内部计算每一个样本点p-Laplacian信息。

步骤13根据得到的字典计算图像的稀疏编码作为图像表示，其详细说明如图4所示。

图4给出了图2中步骤13基于学习的特征字典计算图像的稀疏编码的详细方法：

第一步：起始状态。假设χ是待标记图像的输入图像特征，ω是其对应的稀疏编码；

第二步：根据学习的特征字典设定D和γ₃；

第三步：通过求解问题计算输入图像的稀疏编码；

第四步：结束状态。

步骤14对得到图像稀疏编码使用预设的分类方法，比如支持向量机算法，进行训练得到所需的预测模型。

步骤15利用训练得到的预测模型对数字图像中待标记的图像和用户新输入的图像进行标记。

具体地说，图像标记装置提取待标记图像的图像特征，用与步骤13类似的方法计算待标记图像的稀疏编码，然后将稀疏编码提交给训练所得的模型进行预测，在得到图像的标记后，标记装置进入步骤16所示的结束状态。

熟知本领域的人士将理解，虽然这里为了便于解释已描述了具体实施例，但是可在背离本发明精神和范围内的情况下做出各种改变。因此，除了所附权利要求之外不能用于限制本发明。

Claims (1)

1.一种基于p-Laplacian稀疏编码的数字图像标记方法，包括如下步骤：

(1)通过图像标记装置对用户输入的新图像进行标记后，生成图像特征；

(2)结合图像特征计算数字图像库中图像样本的高阶结构信息p-Laplacian进行字典学习，假设X代表图像特征矩阵，D代表学习字典，W代表图像稀疏编码，Δ_pW代表图像样本高阶图结构p-Laplacian信息：

a.先初始化操作，设定用来平衡目标函数中的后面两项的比重的γ₁，γ₂，设定字典元素数目并生成D；

b.固定字典D，通过求解问题

${\min }_W\frac{1}{2}\left|\right|X-DW|{|}_F^2+{\mathrm{\&gamma;}}_1<W,{\mathrm{\&Delta;}}_{p}W)+{\mathrm{\&gamma;}}_2\left|\right|W|{|}_1$

计算图像对应的稀疏编码W；

c.固定稀疏编码W，通过求解问题计算特征字典D；

d.判断是否满足收敛条件，若不满足收敛条件，返回到步骤b继续计算W，若满足收敛条件，则结束；

步骤b至d构成了一个循环体，在循环体内部迭代交替计算特征字典D和稀疏编码W，在上述循环过程结束后，获得了基于图像库的特征字典D，同时也获得了图像库中图像的稀疏编码W；

e.计算样本的高阶图结构p-Laplacian信息Δ_pW的方法如下：

A.起始状态，假设图像库中图像构成的图结构为G_ω＝(V,E)，其中V代表N个图像样本点的组成集合，E代表图像样本点连接的边集合，ω代表样本点邻接关系的权重计算函数，图像样本点与其标记概念间存在函数关系f：V→R；

B.计算样本点的邻接关系权重ω，ω有不同的具体计算形式，这里采用基于GaussianRBF核函数的任意样本点u和ν的临界关系权重为式中a是参数，控制整个结果不要过大或者过小的，exp(.)是一个指数函数，就是以e为底的指数为括号里的数的函数，χ_u、χ_υ分别代表u样本点和v样本点的属性值；

C.计算样本点ν的加权梯度

其中，u～ν表示样本点u是点ν的邻接点，是加权梯度；

D.计算样本点ν的p-Laplacian信息(Δ_pf)_v＝∑_u～vr_uv(f_v-f_u)，

其中

E.ν＝ν+1，迭代算法，计算完了第v个点就要计算第v+1个点；

F.比较ν与N，若ν<N则返回步骤C继续计算样本点ν的加权梯度；若ν>N则结束；

步骤C到E是一个循环体，在循环体内部计算每一个样本点p-Laplacian信息；

(3)根据得到的字典计算图像的稀疏编码作为图像表示；

(4)对得到图像稀疏编码使用预设的分类方法进行训练得到所需的预测模型；

(5)根据训练得到的预测模型对数字图像中待标记的数字图像和用户新输入的图像进行标记；

(6)结束。