CN105117735A - 一种大数据环境下的图像检测方法 - Google Patents

Abstract

本发明提出了一种大数据环境下的图像检测方法，包括：步骤S300，分类器训练，分类器学习模块根据用户提供的训练集图像进行分类器的训练，得到用于进行图像标注的分类器；步骤S400，图像标注，分类标注模块利用步骤S300得到的分类器完成对输入的图像或者图像序列进行分类标注的任务；步骤S500，图像检测，所述图像检测包括输入带有标注的一幅图像，在互联网上和/或本地图像数据库中检测与所输入图像的相似度大于给定阈值的图像。本发明采用分布式的云计算方式，能够快速有效的采集网络上的图像数据，有效的提高图像检测的效率和准确性。

Description

一种大数据环境下的图像检测方法

技术领域

本发明涉及图像处理领域，具体涉及一种大数据环境下的图像检测方法。

背景技术

随着网络的普及以及多媒体数据获取设备的发展，图像和视频的数量都飞速增长，多媒体资料的存储和检索成为热门的研究领域。基于内容的图像检索、对象识别、标注等都是现在的研究重点。各种分类算法、模型和***不断涌现，如基于SVM(supportvectormachine，支持向量机)、pLSA(probabilisticlatentsemanticanalysis，概率潜在语义分析)或决策树的图像分类方法。其中，基于内容的图像检索是形成基于内容的标注和图像之间的映射。有了这些图像分类和标注的问题可以理解为模式识别的问题，计算机无法像人类一样具有抽象概括的能力，只能利用图像的底层特征进行识别分类。现有的图像分类***大部分是按照如下的工作流程：从图像中提取视觉描述子向量；利用已经学习到的码本(codebook)对这些描述子向量进行编码，使得相似的描述子向量得到相近的标签；根据每个标签的出现频率统计出图像内容的全局直方图，得到图像的视觉特征表示；将直方图导入分类模型中，估计该图像的类别标签。

目前已经有两类图像检索***：基于文本的图像检索(textbasedimageretrieval，TBIR)***和基于内容的图像检索(contentbasedimageretrieval，CBIR)***。在基于文本的***中，图像要进行人工标注，然后通过这些标注信息进行检索。然而，在CBIR中是由图像的视觉特征(如颜色、纹理、形状等)建立索引。很多人在该领域中取得了出色的研究成果，现在已经可以使用的CBIR***有QBIC、Informedia-Ⅱ、ALIPR、GazoPa等。随着研究的深入，人们发现CBIR***存在两个明显的不足：低层可视特征和高层语义概念之间存在巨大鸿沟；与人类视知觉机制具有明显的不一致性。为了缩小图像底层特征和用户检索语义概念之间的“语义鸿沟”，部分研究者开始进行语义图像检索的研究。微软亚洲研究院开发了一个Web图像检索***，目的是将传统Web图像检索返回的结果重新进行聚类。搜索的结果被聚类成不同的语义类别，对每个类别，都会选出几张代表性的图片，使用户能够马上了解到这一类的主题。每一类里面的图片则根据它们的视觉特征进行组织，使其显示结果更符合用户的需求。其中，训练集的大小和质量是影响分类效果的重要因素，现在基本使用人工收集训练集，这是件复杂的工作，当需要分类的对象越多，要收集的训练集越大，消耗的人力也越多时。

云计算是一种新的IT资源提供模式，依靠强大的分布式计算能力，使成千上万的终端用户能够依靠网络连接的硬件平台的计算能力实施多种应用。Hadoop是一个分布式***基础架构，由Apache基金会开发。使用者可以在不了解分布式底层细节的情况下，搭建分布式计算平台。Hadoop的核心组件有两个：Hadoop分布式文件***(HDFS)和MapReduce。HDFS是一个隐藏下层负载均衡、冗余复制等细节的分布式文件***，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，并对上层程序提供一个统一的文件***API(应用程序接口)。HDFS只有一个名字节点，负责管理元数据操作和控制数据块的放置，由数据节点实际保存数据块。另外，MapReduce代表了map和reduce两种操作。大多数分布式运算可以抽象为MapReduce操作。map是把输入分解成中间的key/value对，reduce把key/value合成最终输出。这两个函数由程序员提供给***，下层设施把map和reduce操作分布在集群上运行，并把结果存储在分布式文件***上。用户提交MapReduce任务给主节点，JobTracker负责将任务分配到各个子节点上，实现并行处理。

发明内容

为解决现有技术中存在的大数据环境下图像检测处理效率低、准确性差的问题，本发明提出一种大数据环境下的图像检测方法。

本发明提出的一种大数据环境下的图像检测方法，包括：

步骤S300，分类器训练

分类器学习模块根据用户提供的训练集图像进行分类器的训练，得到用于进行图像标注的分类器；

步骤S400，图像标注

分类标注模块利用步骤S300得到的分类器完成对输入的图像或者图像序列进行分类标注的任务；

步骤S500，图像检测

所述图像检测包括输入带有标注的一幅图像，在互联网上和/或本地图像数据库中检测与所输入图像的相似度大于给定阈值的图像。

其中，步骤S300包括：

所述分类器为支持向量机SVM，

所述分类器学习模块进一步包括更新参数模块、SVM学习模块和更新分类器模块3个子模块；用户通过更新参数模块设置分类器学习任务的参数，SVM学习模块根据用户的参数设置从训练集中学习分类器模型，更新分类器模块负责存储更新分类器模型。

其中，步骤S400包括：

分类标注模块包括更新参数模块、SVM分类模块和生成类别标注模块3个子模块；用户通过更新参数设置模块设置任务的参数，SVM分类模块根据用户的参数设置对图像或图像序列进行分类标注，并通过生成类别标注模块生成类别标注文件。

其中，步骤S500包括：

所述图像检测包括：首先将输入图像的标注与互联网上和/或本地图像数据库中的图像的标注进行相似度比较，检测出相似度大于第一阈值的图像；再将所述输入图像的内容与所述相似度大于第一阈值时的图像的内容进行相似度比较，检测出相似度大于第二阈值的图像；将相似度大于第二阈值的图像作为最终图像检测结果。

其中，所述将所述输入图像的内容与所述相似度大于第一阈值时的图像的内容进行相似度比较包括：

对于所述输入图像,

首先将所述输入图像均匀地分成8x8的区域块,然后在每个区域块中计算其所包含像素的灰度值的中值,进而生成一个64维的灰度值向量；

然后再提取纹理特征，先将所述输入图像分成2x2的区域块，然后统计每个区域块内的梯度直方图,统计过程中用12Bins对梯度方向进行量化，同时用一个特征维度记录梯度值为零的像素所占的比例,最终形成一个8x8+2x2x(12+1)＝116维的全局特征。

所述的大数据环境下的图像检测方法，进一步包括将得到的全局特征进一步转换为一个二进制信号和残差信号，具体包括：

首先使用PCA对全局特征进行主成分分析,保留方差大于给定阈值的特征维度并利用特征空间中保留的每一维特征的中值对全局特征进行二值量化操作，特征值大于中值的量化为1,否则量化为0，从而得到相应的二进制信号；保留PCA处理后的前24维特征作为残差信号用于进一步的相似度比较。

本发明采用分布式的云计算方式，能够快速有效的采集网络上的图像数据，通过考虑图像标注和图像内容的不同特性，在图像检测时采取不同的策略，能够有效的提高图像检测的效率和准确性。

附图说明

图1为本发明大数据环境下的图像检测方法的流程图；

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述。这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

参见图1，本发明提出的一种大数据环境下的图像检测方法，包括

步骤S100，原始图像采集

图像抓取模块负责将用户的抓取任务提交到图像抓取平台，通过SSH协议连接到云计算平台的主节点，从互联网中抓取所需的原始图像集。

本发明基于现有文本图像搜索引擎的图像抓取器，实现基于云计算的图像抓取平台，达到了高效快速抓取原始图像的效果。

步骤S200，训练集图像提取

训练集提取模块负责对原始图像集进行基于pLSA模型的主题聚类分析，通过用户交互的形式选取出训练集图像；

训练集提取模块分为3个子模块：更新参数模块、pLSA聚类模块和选取训练集模块。用户通过更新参数模块设置训练集提取任务的参数，pLSA聚类模块根据用户的参数设置进行原始图像的主题聚类分析，完成后用户可以通过选取训练集模块选取所需的训练集图像。

步骤S300，分类器训练

分类器学习模块根据用户提供的训练集图像进行分类器的训练，得到用于进行图像标注的分类器；

本发明所用的分类器采用支持向量机SVM。

分类器学习模块进一步分为更新参数、SVM学习和更新分类器模块3个子模块。用户通过更新参数模块设置分类器学习任务的参数，SVM学习模块根据用户的参数设置从训练集中学习分类器模型，运行成功后更新分类器模块负责存储更新分类器模型。

本发明中的分类器还可以采用其他的分类器。

步骤S200得到的图像I_i都存储在图像数据库I＝{I₁,I₂,…,I_N}中，Ⅰ将作为训练图像样本集，N为训练图像样本个数.描述图像内容的视觉特征用F＝{F₁,F₂,…,F_N}表示，用于标注图片的语义关键词ω_i构成语义词汇表W＝{ω₁,ω₂,…,ω_M}。给定一幅未标注的图像I，其语义图像自动标注的目标就是抽取最佳关键字集W^*来描述图像的内容。与生成模型通过估计视觉特征和语义概念之间的联合概率分布来建立两者之间的联系不同，该标注模型将图像标注看作多类的分类问题，语义词汇表中的每个标注词定义一个语义类，那么，假设待标注图像I的视觉特征向量为X，利用贝叶斯规则，图像标注可以表示为：

$P\left({\mathrm{\ω}}_i\right|X)=\frac{P\left(X\right|{\mathrm{\ω}}_i)P\left({\mathrm{\ω}}_i\right)}{P\left(X\right)},$

其中，P(ω_i)是第i个标注词的先验概率，可以看作是均匀分布的；P(X|ω_i)是第i个语义类的类条件概率密度，可用多维变量的正态密度函数来模拟。此时，正态分布的贝叶斯分类器判别函数可表示为：

$\begin{array}{c}{h}_i\left(X\right)=P\left(X|{\mathrm{\ω}}_i\right)P\left({\mathrm{\ω}}_i\right)\\ =\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|S_i\right|}^{1/2}}\exp \[-\frac{1}{2}\left(X-\stackrel{\‾}{X^{\left({\mathrm{\ω}}_i\right)}}\right)S_i^{-1}\left(X-\stackrel{\‾}{X^{\left({\mathrm{\ω}}_i\right)}}\right)\]P\left({\mathrm{\ω}}_i\right),\end{array}$

其中，为ω_i类的均值向量。将每个语义概念都看作是相互独立的，对于测试图像I，其最佳标注为

${\mathrm{\ω}}_i^{*}=\underset{i}{\arg max}P\left({\mathrm{\ω}}_i\right|X)=\underset{i}{\arg max}{h}_i\left(X\right)$

一幅图像的语义关键词可能不止一个，因此，可通过P(ω_i|X)或h_i(X)的排序来选择多个标注词。

步骤S400，图像标注

分类标注模块利用步骤S300得到的分类器完成对输入的图像或者图像序列进行分类标注的任务。

分类标注模块分为更新参数、SVM分类和生成类别标注3个子模块。用户通过更新参数设置模块设置任务的参数，SVM分类模块根据用户的参数设置对图像或图像序列进行分类标注，并通过生成类别标注模块生成类别标注文件。

分类标注要满足4个功能需求：原始图像抓取、训练集提取、分类器模型学习和分类标注。用户通过训练集提取可以从原始数据集中生成训练集，然后学习分类器模型，利用分类器模型进行图像的分类和标注，并对分类标注结果进行存储，以供用户查询或者检索***。

结合***的架构，本发明把***分为图像抓取模块、训练集提取模块、分类器学***台，通过SSH协议连接到云计算平台的主节点，从互联网中抓取所需的原始图像集；训练集提取模块负责对原始图像集进行基于pLSA模型的主题聚类分析，通过用户交互的形式选取出训练集图像；分类器学习模块的任务是根据用户提供的训练集图像学习分类器模型，并保存为分类器模型文件；分类标注模块完成对图像或者图像序列进行分类标注的任务，并生成分类标注文件。

在本发明中，首先，利用云技术发挥互联网中多台硬件的计算能力，加快图像抓取的速度，并获取所需要的原始图像集。其次，当抓取到足够的原始数据集以后，使用训练集提取模块通过交互的方式帮助用户选取恰当的训练集。第三，通过分类器学习模块训练分类器。最后，分类标注模块利用这些分类器对新图像进行分类标注。

步骤S500，图像检测

所述图像检测包括输入带有标注的一幅图像，在互联网上和/或本地图像数据库中检测与所输入图像的相似度大于给定阈值的图像。

所述图像检测包括：首先将输入图像的标注与互联网上和/或本地图像数据库中的图像的标注进行相似度比较，检测出相似度大于第一阈值的图像；再将所述输入图像的内容与所述相似度大于第一阈值时的图像的内容进行相似度比较，检测出相似度大于第二阈值的图像；将相似度大于第二阈值的图像作为最终图像检测结果。

本发明上述实施例中，先使用图像的标注进行检测比较，可以首先检测出与输入图像标注语义上相关的图像集合，然后再进行图像内容的比较，检测出内容相近的图像。由于基于图像标注的检测比较速度较快，而基于图像内容的检测比较要耗时得多，因此，该实施例能够在提高图像检测准确性的同时加快检测速度。

或者，

所述图像检测包括：首先将所述输入图像的内容与互联网上和/或本地图像数据库中的图像的内容进行相似度比较，检测出相似度大于第一阈值的图像；再将输入图像的标注与所述相似度大于第一阈值时的图像的标注进行相似度比较，检测出相似度大于第二阈值的图像；将相似度大于第二阈值的图像作为最终图像检测结果。

本发明上述实施例中，先使用图像的内容进行检测比较，可以首先检测出与输入图像内容上相关的图像集合，然后再进行图像标注的比较，检测出标注相近的图像。由于内容相似的图像有时所要表达的含义并不相似，该实施例能够检测到内容和语义上与输入图像都相关的图像。

或者，

所述图像检测包括：将输入图像的标注和内容与互联网上和/或本地图像数据库中的图像的标注和内容分别进行相似度比较，根据以下公式进行计算：

D＝αB+βN，

其中，B为图像标注之间的相似度，N为图像内容之间的相似度，α、β分别为图像标注和图像内容所占的权重，D为综合考虑了图像标注和图像内容相似度之后得出的图像之间的相似度；检测出D大于给定阈值的图像；将D大于给定阈值的图像作为最终图像检测结果。

本发明上述实施例中，同时考虑了图像标注和图像内容对图像检测结果的影响，可以得到相对更加客观的检测结果。

所述输入的一幅图像和本地图像数据库中的图像均是通过步骤S400进行的图像标注，当然也可以不对图像的标注进行特殊限制。

对于所述的图像内容的比较，对于所述输入的一幅图像,首先将其均匀地分成8x8的区域块,然后在每个区域中计算其所包含像素的灰度值的中值,进而生成一个64维的灰度值向量。为了更好地表示图像旳视觉内容,除了颜色特征以外,还将纹理特性作为一种重要的补充；在提取纹理特征时首先将图像分成2x2的区域块然后统计每个区域内的梯度直方图,统计过程中用12Bins对梯度方向进行量化同时用一个特征维度记录梯度值为零的像素所占的比例,最终形成一个8x8+2x2x(12+1)＝116维的全局特征。

在超大规模全局特征组成的特征空间中线性扫描依然是一件十分费时的操作过程,为了进一步提高检索和匹配的效率,利用了一种简单又有效的哈希算法将原始特征进一步转换为一个二进制信号和残差信号。具体地,首先使用PCA对原始特征进行主成分分析,保留方差大于给定阈值的特征维度并利用特征空间中保留的每一维特征的中值对原始特征进行二值量化操作(特征值大于中值的量化为1,否则量化为0)从而得到相应的二进制信号。除了保留这些二进制信号,为了提高匹配精度,我们还保留了PCA处理后的前24维特征作为残差信号用于进一步的相似度比较。

利用提取的特征信号进行图像检测查找需要经过以下两个步骤:1)基于二进制信号的哈希查找；2)基于残差信号的重排序。

哈希查找:由于特征信号的生成过程中利用的是PCA对应的线性变换,因而图像对应的特征信号之间的距离也相近,通过度量二进制特征信号之间的汉明距离就可以有效的发现候选图像。具体地,通过图像对应的二进制特征信号可以方便的构建一个哈希表,将具有不同特征信号的图像编号放入不同的哈希桶中。这样给定一幅查询图像,就可以通过哈希操作快速地找出与查询图像特征信号的汉明距离小于或等于2的哈希桶,对于一个16维的二进制信号而言,这样的哈希桶最多有因而我们只需要对这137个哈希桶包含的图像做进一步的比较,就可以得到最终的图像查找结果,有效地避免无谓的操作和计算。

上述哈希查找即:通过度量二进制特征信号之间的汉明距离发现候选图像，具体地,通过图像对应的二进制特征信号构建一个哈希表,将具有不同二进制特征信号的图像编号放入不同的哈希桶中，给定一幅查询图像,通过哈希操作找出与查询图像二进制特征信号的汉明距离小于或等于2的哈希桶,对所述哈希桶包含的图像做进一步的比较,得到的图像查找结果作为候选图像。

残差排序:在利用残差信息进行重排序的过程中,我们利用哈希桶中保存的图像编号取出与之相对应的图像残差信号,并通过度量残差信号之间的欧氏距离对候选图像进行重排序。排名靠前并且与查询图像的残差距离小于一定阈值的图像输出作为最终图像查找的检测结果。

上述残差排序即:利用所述哈希桶中保存的图像编号取出与之相对应的图像残差信号,并通过度量残差信号之间的欧氏距离对所述候选图像进行重排序，排名靠前并且与查询图像的残差距离小于一定阈值的图像输出作为最终图像查找的检测结果。

步骤S600，图像输出

将步骤S500中的检测结果图像按照相似度由大到小排序并输出给用户。

本发明采用分布式的云计算方式，能够快速有效的采集网络上的图像数据，通过考虑图像标注和图像内容的不同特性，在图像检测时采取不同的策略，能够有效的提高图像检测的效率和准确性。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种大数据环境下的图像检测方法，包括：

步骤S300，分类器训练

分类器学习模块根据用户提供的训练集图像进行分类器的训练，得到用于进行图像标注的分类器；

步骤S400，图像标注

分类标注模块利用步骤S300得到的分类器完成对输入的图像或者图像序列进行分类标注的任务；

步骤S500，图像检测

所述图像检测包括输入带有标注的一幅图像，在互联网上和/或本地图像数据库中检测与所输入图像的相似度大于给定阈值的图像。

2.如权利要求1所述的大数据环境下的图像检测方法，其中，步骤S300包括：

所述分类器为支持向量机SVM，

所述分类器学习模块进一步包括更新参数模块、SVM学习模块和更新分类器模块3个子模块；用户通过更新参数模块设置分类器学习任务的参数，SVM学习模块根据用户的参数设置从训练集中学习分类器模型，更新分类器模块负责存储更新分类器模型。

3.如权利要求2所述的大数据环境下的图像检测方法，其中，步骤S400包括：

分类标注模块包括更新参数模块、SVM分类模块和生成类别标注模块3个子模块；用户通过更新参数设置模块设置任务的参数，SVM分类模块根据用户的参数设置对图像或图像序列进行分类标注，并通过生成类别标注模块生成类别标注文件。

4.如权利要求1所述的大数据环境下的图像检测方法，其中，步骤S500包括：

所述图像检测包括：首先将输入图像的标注与互联网上和/或本地图像数据库中的图像的标注进行相似度比较，检测出相似度大于第一阈值的图像；再将所述输入图像的内容与所述相似度大于第一阈值时的图像的内容进行相似度比较，检测出相似度大于第二阈值的图像；将相似度大于第二阈值的图像作为最终图像检测结果。

5.如权利要求4所述的大数据环境下的图像检测方法，其中，所述将所述输入图像的内容与所述相似度大于第一阈值时的图像的内容进行相似度比较包括：

对于所述输入图像,

首先将所述输入图像均匀地分成8x8的区域块,然后在每个区域块中计算其所包含像素的灰度值的中值,进而生成一个64维的灰度值向量；

然后再提取纹理特征，先将所述输入图像分成2x2的区域块，然后统计每个区域块内的梯度直方图,统计过程中用12Bins对梯度方向进行量化，同时用一个特征维度记录梯度值为零的像素所占的比例,最终形成一个8x8+2x2x(12+1)＝116维的全局特征。

6.如权利要求5所述的大数据环境下的图像检测方法，进一步包括将得到的全局特征进一步转换为一个二进制信号和残差信号，具体包括：

首先使用PCA对全局特征进行主成分分析,保留方差大于给定阈值的特征维度并利用特征空间中保留的每一维特征的中值对全局特征进行二值量化操作，特征值大于中值的量化为1,否则量化为0，从而得到相应的二进制信号；保留PCA处理后的前24维特征作为残差信号用于进一步的相似度比较。