CN104881668A - 一种基于代表性局部模式的图像指纹提取方法及*** - Google Patents

Abstract

本发明公开了一种基于代表性局部模式的图像指纹提取方法及***，涉及图像处理领域，该方法包括将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取代表性局部模式；根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹，并将所述图像指纹存入图像指纹库；获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。本发明占用内存少，可以使用优化的机器指令进行加速匹配，适于大规模的图像拷贝检测。

Description

一种基于代表性局部模式的图像指纹提取方法及***

技术领域

本发明涉及图像处理领域，特别涉及一种基于代表性局部模式的图像指纹提取方法及***。

背景技术

图像拷贝检测一直以来是计算机视觉热点研究领域之一，其一般策略是从图像中抽取少数的特征，并将其整合成一个能够反映图像内容的特征向量。从图像特征的构成方式来说一般分为全局特征和局部特征，下面针对这两种特征的发展现状进行简要的论述。早在1999年，Naphade第一个提取图像在LUV颜色空间的直方图作为图像签名的方法，随后Mohan使用分块的方法，提取各个分块的平均灰度值，根据这些分块的灰度值大小排序构建特征；一个比较有影响力的图像指纹特征是Oliva提出的GIST方法，该方法提取了图像5种视觉感知特征：自然度、开放度、粗糙度、膨胀度和险峻度，该方法在常见的图像攻击下体现出良好的准确性。在近些年来，为了应对图像局部区域改变场景下的图像检索，人们提出了局部描述子。最为经典的方法是Lowe的SIFT，该方法首先在平面和尺度所构成的三维空间中选取DoG最大响应作为关键点，然后以特征点为中心取一定大小的区域并进行分块，最后将分块中提取的梯度方向直方图相连构成最终的描述子。最近，二进制的局部特征得到了大家的广泛关注，Leutenegger通过高效的AGAST角点检测子提取关键点，然后在关键点的周围进行采样，通过灰度值的比较构建二进制串BRISK，该方法在提取速度快，具有一定的尺度不变性。

现有的全局特征和局部特征应用到大规模的图像拷贝检测应用中主要有以下缺点和不足：鲁棒性差：现有的全局特征是根据图像的整体信息如颜色直方图构建，因此在图像发生部分遮挡、裁剪的情况下就会失效；特征提取速度慢：对于大规模图像检索来说，图像特征的提取速度要求很高，尤其是新兴的手机平台，其硬件性能有限，所以要求特征提取的复杂度不能太高。而目前主流全局描述子GIST需要计算5种特征描述，局部特征SIFT需要计算耗时的DOG算子，这些算法都无法应用到大规模图像拷贝检测中去；内存消耗大：特征匹配复杂度高，现有的特征描述为了保证其鲁棒性和区分性，往往维数都较高，以SIFT描述子为例，该算法将特征点周围的区块分为16个区域，每个区域上计算8个方向的梯度方向直方图，共128维浮点型特征，如果每个浮点型占4个字节，一个SIFT特征需消耗500个字节内存，而一副图像会有成百上千的SIFT特征，如此高维的特征给存储和匹配都带来了巨大的压力。

发明“生成图像指纹及基于此进行相似图像检索的方法”，该发明提供了一种生成图像指纹及基于该方法进行相似图像检索以用于图像盗用识别的方法，所述图像具有M行N列像素，包括如下步骤：a)对所述图像中的每个像素点X_ij，其中i＝2，3，……M，j＝2，3，……N，比较所述像素点与其左像素及上像素的灰度值大小，其中，左像素表示在所述一个像素的相邻的方位上下左右的四个像素中左边的像素，上像素表示在所述一个像素的相邻的方位上下左右的四个像素中上边的像素；b)根据不同的比较结果为所述像素点X_ij赋予指纹值Z_ij；c)将所述每个像素点的指纹值Z_ij组合为序列得到长度为(M-1)×(N-1)的所述图像的指纹。该发明采用对每个像素构造一个指纹值，其计算、存储和匹配代价大，而本发明挖掘图像中的关键点的有代表性模式，每幅图像仅构造一个16个字节的二进制的图像指纹，在计算、存储和匹配上要优于该发明。

发明“一种基于局部数字指纹的图像拷贝检测方法”，该发明公开了一种基于局部数字指纹的图像拷贝检测方法。该方法对测试图像库中的每幅图像提取局部SIFT特征，并将这些高维的SIFT特征向量进行局部数字指纹的转化以及统计指纹在每幅图像中出现的频率，以建立数字指纹数据库；在图像进行查询时，首先对查询图像提取SIFT特征，然后转化得到其数字指纹以及转化过程中不可靠位置的信息，再结合不可靠位置信息在测试指纹库的倒排索引结构中进行查询，从而快速得到与查询图像的局部数字指纹相关联的测试图像集合，为查询图像与相关联的测试图像进行相似性度量，以判断是否为拷贝。该发明采用SIFT描述子作为图像指纹提取的方法，计算和内存开销较大，而本文采用FAST算法作为图像关键点的检测子，并通过统计挖掘出代表性局部模式建立二进制图像指纹特征，使用优化的机器指令进行匹配检索，大幅减少了内存开销，提高了图像匹配的速度。

发明“图像指纹提取方法及其设备、信息过滤方法及其***”，该发明提供一种图像指纹提取方法以及基于图像指纹进行信息过滤的方法和***。其中的图像指纹提取方法包括如下步骤：S1：对原始图像进行插值处理；S2：将插值处理后的图像分块，并进行DCT变换；S3：将变换后的图片进行RGB灰度处理；S4：对灰度处理的图像结果进行量化；S5：对图像进行无损压缩，输出一个二进制序列；S6：将上述二进制序列进行序列化重组，得到图像指纹。该发明采用DCT变换、并进一步使用了无损的图像压缩方式来获取图像指纹，而本发明的方法采用高效的FAST算法，并直接构造二进制图像指纹特征，方法更加高效。

发明内容

针对现有技术的不足，本发明提出一种基于代表性局部模式的图像指纹提取方法及***。

本发明提出一种基于代表性局部模式的图像指纹提取方法，包括：

步骤1，将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取代表性局部模式；

步骤2，根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹，并将所述图像指纹存入图像指纹库；

步骤3，获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。

所述的基于代表性局部模式的图像指纹提取方法，所述步骤1中所述代表性局部模式满足以下条件：

所述代表性局部模式中的信息量占图像中总信息量的80％以上；

所述代表性局部模式经过图像变化后，具有高鲁棒性。

所述的基于代表性局部模式的图像指纹提取方法，所述步骤1中局部模式P为：

C为中心区域的平均灰度，V_n为第n个局部区块的平均灰度，其中n＝1,2,…,7，b_n为第n个局部区块与中心区块在灰度值上的比较标志位。

所述的基于代表性局部模式的图像指纹提取方法，所述步骤2还包括对图像进行预处理，并提取所述图像的关键点。

所述的基于代表性局部模式的图像指纹提取方法，所述步骤3包括将所述新图像指纹与所述图像指纹库的每一条图像指纹求取海明距离，对候选图像按照所述海明距离从小到大排序，取前K个作为查询结果返回。

本发明还提出一种基于代表性局部模式的图像指纹提取***，包括：

建立局部模式库并获取代表性局部模式模块，用于将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取代表性局部模式；

建立图像指纹库模块，用于根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹，并将所述图像指纹存入图像指纹库；

指纹比对模块，用于获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。

所述的基于代表性局部模式的图像指纹提取***，所述建立局部模式库并获取代表性局部模式模块中所述代表性局部模式满足以下条件：

所述代表性局部模式中的信息量占图像中总信息量的80％以上；

所述代表性局部模式经过图像变化后，具有高鲁棒性。

所述的基于代表性局部模式的图像指纹提取***，所述建立局部模式库并获取代表性局部模式模块中局部模式P为：

C为中心区域的平均灰度，V_n为第n个局部区块的平均灰度，其中n＝1,2,…,7，b_n为第n个局部区块与中心区块在灰度值上的比较标志位。

所述的基于代表性局部模式的图像指纹提取***，所述建立图像指纹库模块还包括对图像进行预处理，并提取所述图像的关键点。

所述的基于代表性局部模式的图像指纹提取***，所述指纹比对模块包括将所述新图像指纹与所述图像指纹库的每一条图像指纹求取海明距离，对候选图像按照所述海明距离从小到大排序，取前K个作为查询结果返回。由以上方案可知，本发明的优点在于：

本发明通过实验数据统计发现图像在经过拷贝攻击之后其特征点的局部模式分布具有一定的稳定性，并通过统计分析挖掘出这些局部模式中最具有代表性、鲁棒性高的模式作为图像指纹构造的基础；有机的将局部检测方法和全局的方法进行了融合；技术效果：本方法具有全局特征占用内存小，匹配速度快的特点，同时又具备局部特征方法在一定的裁剪、局部遮挡等情况下的鲁棒性；通过统计挖掘出的代表性局部模式在图像四个象限中分布的关系构建二进制的特征。本发明的图像指纹特征占用内存少，可以使用优化的机器指令进行加速匹配，适于大规模的图像拷贝检测。

附图说明

图1为本发明总体流程图；

图2a为实施例中原图像；

图2b为实施例中将原图像进行裁剪处理后的图像；

图2c为实施例中将原图像进行亮度改变处理后的图像；

图2d为实施例中将原图像进行尺度变化处理后的图像；

图2e为实施例中将原图像进行logo及字幕嵌入处理后的图像；

图2f为为实施例中前五个局部代表性模式；

图3为局部模式图；

图4为本发明效果图。

具体实施方式

本发明提出了一种基于代表性局部模式的图像指纹提取方法，其具体的流程如图1所示，本发明主要过程分为三个阶段：训练阶段、建库阶段以及在线查询阶段。其中三个阶段都包含图像预处理主要是将原图像的大小统一化和平滑处理，下面分别介绍三个阶段的主要步骤：

训练阶段：该阶段主要是将库图像进行各种图像攻击模拟处理，主要包括比例变化、字幕或者Logo嵌入，裁剪、模糊等，然后使用FAST算法提取图像中的关键点，(“关键点”指的是图像中含有重要信息的局部结构，例如脸部的眼睛和鼻子等结构就比额头更显著、含有更多信息，提取“关键点”的目的是从图像中抽取最能代表该图像视觉内容的信息进行训练)，根据原图和攻击后新的图像拷贝(本发明挑选的代表性的局部模式就是那些既出现在图像的重要局部结构上，而且从中提取的视觉特征在攻击前后又能保持不变的，将这些作为图像的基元)局部区块的模式建立局部模式库，挑选代表性局部模式主要考虑到两点：一、所挑选的代表性局部模式种类所占新信息量要占总信息量的80％以上，二、所挑选的代表性局部模式种类经过图像变化鲁棒性要高。根据这两个原则挑选出代表性局部模式，并将其应用到建库阶段和在线查询阶段；

建库阶段，库中每一个图像首先进行图像预处理(图像预处理包括：将输入图像按照比例将较长边调整为320，然后使用5×5的高斯卷积进行图像平滑)，然后使用FAST算法提取图像中的关键点，根据这些关键点周围区块的代表性局部模式的分布建立图像指纹(首先将图像均分为4个象限，然后在4个象限中分别统计训练阶段得出局部代表性模式的直方图分布，最后根据局部代表模式直方图在空间上的数量比较关系建立图像指纹)，并存入图像指纹库用于在线查询阶段进行匹配；

在线查询阶段，该阶段接受一副样例图像，提取图像指纹特征的过程与建库阶段相同，得到图像指纹特征的二进制串以后，使用机器优化的指令分别与库特征的每一条图像指纹求取海明距离，海明距离越大说明图像相似度越小，因此候选图像按照海明距离从小到大排序，取前K个作为查询结果返回。

以下为本发明的一实施例，如下所示：

代表性局部模式的稳定性，如图2a、2b、2c、2d、2e、2f所示，图2a为原图像，从原图像分别模拟了5种图像攻击，并在相应的图像上提取Top5的代表性局部模式的分布直方图，发现尽管图像经过了各种攻击，其局部模式的直方图分布趋势基本不变。

局部模式定义,假设图像中某个区块如图3所示，黑色的点是FAST算法检测出来的关键点，其中绿色点代表用于检测FAST角点的采样点。本发明在该关键点周围取9×9大小的区块，并将该区域均匀分成9个区块，令C代表中心区域的平均灰度，令V_n代表第n个区块的平均灰度，其中n＝1,2,…,7，b_n为第n个局部区块与中心区块在灰度值上的比较标志位，则该关键点的局部模式P定义为：

经过上述定义，局部模式P的范围为[0,255]。

本发明还提出一种基于代表性局部模式的图像指纹提取***，包括：

建立局部模式库并获取代表性局部模式模块，用于将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取代表性局部模式，所述代表性局部模式满足以下条件：所述代表性局部模式中的信息量占图像中总信息量的80％以上；所述代表性局部模式经过图像变化后，具有高鲁棒性；

建立图像指纹库模块，用于根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹，并将所述图像指纹存入图像指纹库；

指纹比对模块，用于获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。

所述建立局部模式库并获取代表性局部模式模块中局部模式P为：

C为中心区域的平均灰度，V_n为第n个局部区块的平均灰度，其中n＝1,2,…,7，b_n为第n个局部区块与中心区块在灰度值上的比较标志位。

所述建立图像指纹库模块还包括对图像进行预处理，并提取所述图像的关键点。

所述指纹比对模块包括将所述新图像指纹与所述图像指纹库的每一条图像指纹求取海明距离，对候选图像按照所述海明距离从小到大排序，取前K个作为查询结果返回。

本发明总的技术效果为：本发明提出了一种基于代表性局部模式的图像指纹提取方法及***，并在公开的数据集INRIA Holiday的数据集上做测试，与GIST(代表性的全局图像特征)，SIFT(代表性的局部图像特征)和BRISK(近期提出的二进制特征)算法做了对比，衡量的指标是mAP(平均准确率)。第一个实验测试本发明与其他三种方法在各种图像攻击下的性能，如图4所示。

第二个实验测试了本发明与其他三种方法在特征提取速度，内存占用以及匹配速度间的对比，由于局部图像特征无法支持特别大的图像库，因此实验额外添加从Flickr上下载的1万干扰图像，各个性能指标统计如表1所示：

表1

从表1中可以看出，本发明将所有图像指纹特征加载到内存中仅消耗0.16MB的内存，而GIST、SIFT、BRISK分别消耗38.4MB、1536MB和128MB，同时在图像指纹提取和匹配的时间上，比最快的方法还要快2-3个数量级，因此证明本发明在准确上与目前最好的方法相当，但是在内存使用和匹配速度方面有明显的而优势。

Claims (10)

1.一种基于代表性局部模式的图像指纹提取方法，其特征在于，包括：

步骤1，将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取代表性局部模式；

步骤2，根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹，并将所述图像指纹存入图像指纹库；

步骤3，获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。

2.如权利要求1所述的基于代表性局部模式的图像指纹提取方法，其特征在于，所述步骤1中所述代表性局部模式满足以下条件：

所述代表性局部模式中的信息量占图像中总信息量的80％以上；

所述代表性局部模式经过图像变化后，具有高鲁棒性。

3.如权利要求1所述的基于代表性局部模式的图像指纹提取方法，其特征在于，所述步骤1中局部模式P为：

C为中心区域的平均灰度，V_n为第n个局部区块的平均灰度，其中n＝1,2,…,7，b_n为第n个局部区块与中心区块在灰度值上的比较标志位。

4.如权利要求1所述的基于代表性局部模式的图像指纹提取方法，其特征在于，所述步骤2还包括对图像进行预处理，并提取所述图像的关键点。

5.如权利要求1所述的基于代表性局部模式的图像指纹提取方法，其特征在于，所述步骤3包括将所述新图像指纹与所述图像指纹库的每一条图像指纹求取海明距离，对候选图像按照所述海明距离从小到大排序，取前K个作为查询结果返回。

6.一种基于代表性局部模式的图像指纹提取***，其特征在于，包括：

建立局部模式库并获取代表性局部模式模块，用于将库图像进行图像攻击模拟处理，生成新库图像，并提取所述库图像与所述新库图像的关键点，根据所述关键点，获取局部区块，并根据所述局部区块，生成局部模式并建立局部模式库，从所述局部模式库中获取代表性局部模式；

建立图像指纹库模块，用于根据所述代表性局部模式，建立所述库图像与所述新库图像的图像指纹，并将所述图像指纹存入图像指纹库；

指纹比对模块，用于获取新图像，提取所述新图像的新图像指纹，将所述新图像指纹与所述图像指纹库中的图像指纹进行比对，查找库图像中与所述新图像向对应的图像。

7.如权利要求6所述的基于代表性局部模式的图像指纹提取***，其特征在于，所述建立局部模式库并获取代表性局部模式模块中所述代表性局部模式满足以下条件：

所述代表性局部模式中的信息量占图像中总信息量的80％以上；

所述代表性局部模式经过图像变化后，具有高鲁棒性。

8.如权利要求6所述的基于代表性局部模式的图像指纹提取***，其特征在于，所述建立局部模式库并获取代表性局部模式模块中局部模式P为：

C为中心区域的平均灰度，V_n为第n个局部区块的平均灰度，其中n＝1,2,…,7，b_n为第n个局部区块与中心区块在灰度值上的比较标志位。

9.如权利要求6所述的基于代表性局部模式的图像指纹提取***，其特征在于，所述建立图像指纹库模块还包括对图像进行预处理，并提取所述图像的关键点。

10.如权利要求6所述的基于代表性局部模式的图像指纹提取***，其特征在于，所述指纹比对模块包括将所述新图像指纹与所述图像指纹库的每一条图像指纹求取海明距离，对候选图像按照所述海明距离从小到大排序，取前K个作为查询结果返回。