CN112417381B - 应用于图像版权保护的快速定位侵权图像的方法及装置 - Google Patents

Abstract

本发明涉及图像版权保护领域，公开了应用于图像版权保护的快速定位侵权图像的方法及装置，包括分别获取版权图像数据及待检索图像，利用图片侵权检测深度学习模型提取特征向量；计算每张图像的感知哈希值；利用特征向量和感知哈希值建立大规模数据检索方法，通过大规模数据检索方法对待检索图像数据进行定位侵权检索，获得侵权检索结果。本发明通过CNN网络与R‑MAC方法结合提取图像的高维特征向量，同时计算图像的感知哈希值，两层尺度对图像进行识别比对，加强了对侵权图像可能出现的对抗攻击手段的识别，加强了模型的鲁棒性，本发明充分利用计算资源进行高效的聚类算法和倒排表计算，提高了在海量数据下的检索效率，保证了检索的准确率和召回率。

Description

应用于图像版权保护的快速定位侵权图像的方法及装置

技术领域

本发明涉及图像版权保护领域，具体地涉及应用于图像版权保护的快速定位侵权图像的方法及装置。

背景技术

随着多媒体和互联网技术的快速发展，海量的图像数据已经广泛应用于社会的各个领域中，图像版权保护的问题日益严峻。通常利用图像检索技术实现查找比对侵权图像和原始图像，其主要分为两个步骤：如何表达图像的特征信息以及高效的检索方法。按描述图像内容方式的不同可以分为两类：基于文本的图像检索和基于内容的图像检索。基于文本的图像检索方法主要利用文本标注对图像中的内容进行描述，但随着数据量级的快速增长，人工标注文本消耗的人力与财力已经不足以支撑现实中庞大的数据量。近几十年来基于内容的图像检索技术迅速发展，在本世纪初由于SIFT特征在图像尺度变化问题中的优异表现，基于局部描述算子的图像检索方法一直被广泛研究，大多数局部特征描述方法对基于梯度的特征进行编码以克服语义上的差距，如词袋模型、Fisher矢量或向量局部聚合描述符等，但这些编码方式不能捕捉到图像的高级语义信息。近些年基于深度学习卷积神经网络的图像表示方法提取出的高维图像特征展现出了极高的表现，图像检索提取特征的方法逐渐从SIFT特征向CNN特征转变。随着数据规模的不断增大，训练深度学习模型的计算代价也在不断变大，因此需要更合理的利用高维图像特征以及更高效的检索方法满足大规模数据下图像的比对识别，侵权结果的快速查找排序。

发明内容

本发明提供应用于图像版权保护的快速定位侵权图像的方法及装置，从而解决现有技术的上述问题。

第一方面，本发明提供了应用于图像版权保护的快速定位侵权图像的方法，包括以下步骤：

S1)分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用图片侵权检测深度学习模型提取所述版权图像数据以及待检索图像中每张图像的特征向量；

S2)计算版权图像数据以及待检索图像中每张图像的感知哈希值；

S3)利用特征向量和感知哈希值建立大规模数据检索方法，通过大规模数据检索方法对待检索图像数据进行快速定位侵权检索，获得侵权检索结果。

进一步的，步骤S1)中，分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用图片侵权检测深度学习模型提取所述版权图像数据以及待检索图像中每张图像的特征向量，包括以下步骤：

S11)对版权图像数据以及待检索图像中的每张图像进行第一图像预处理，第一图像预处理包括将所述版权图像数据以及待检索图像中的每张图像缩放到第一预设尺寸大小；

S12)建立基于CNN的深度学习模型，将第一图像预处理后的每张图像分别输入所述基于CNN的深度学习模型，将所述基于CNN的深度学习模型的最后一个卷积层的特征图作为输出；

S13)采用R-MAC方法对每个特征图提取若干不同尺度的区域，获得若干个区域R-MAC特征，对若干个区域R-MAC特征进行求和池化、并进行拼接，获得与每张图像对应的n维特征向量；与每张图像对应的n维特征向量包括版权图像数据中每张图像的n维特征向量以及待检索图像的n维特征向量。

进一步的，步骤S2)中，计算版权图像数据以及待检索图像中每张图像的感知哈希值，包括以下步骤：

S21)对版权图像数据以及待检索图像中的每张图像进行第二图像预处理，第二图像预处理包括将版权图像数据以及待检索图像中的每张图像缩放到第二预设尺寸大小；

S22)将缩放到第二预设尺寸大小的每张图像分别转化为灰度图像；

S23)计算转化为灰度图像后每张图像的离散余弦变换，获得离散余弦变换系数矩阵；

S24)提取离散余弦变换系数矩阵的左上角预设大小的低频矩阵，计算低频矩阵的元素平均值，将低频矩阵中大于等于元素平均值的元素置1，将低频矩阵中小于元素平均值的元素置0，获得元素置1或置0的低频矩阵；

S25)将元素置1或置0的低频矩阵压平为一维向量，获得版权图像数据以及待检索图像中每张图像的感知哈希值。

进一步的，步骤S3)中，利用特征向量和感知哈希值建立大规模数据检索方法，包括构造检索索引文件和利用所述检索索引文件进行检索，构造检索索引文件包括以下步骤：

S31)初始化检索索引文件数据结构，检索索引文件数据结构包括倒排列表、码表、倒排向量ID表和/或倒排向量编码表；

S32)获取训练数据，利用训练数据训练聚类算法；训练数据包括若干个数据点，若干个数据点分别为版权图像数据中每张图像的n维特征向量；建立倒排向量ID表，倒排向量ID表用于存储若干个数据点以及若干个数据点的ID；

S33)根据训练数据的数据量确定聚类的中心数以及每个聚类中心所在簇中的元素数量范围；

S34)随机初始化所有聚类中心，对所有聚类中心及码表进行更新，包括以下步骤：

S3031)初始化所有聚类中心；

S3032)计算任意一个聚类中心C_q到其他聚类中心的最短距离d(C_q，C_w)；d(C_q，C_w)表示聚类中心C_q与距离聚类中心C_q最近的聚类中心C_w的距离；

S3033)获取聚类中心C_q所在簇中的数据点x到所述聚类中心C_q的距离d(C_q，x)，判断2d(C_q，x)≤d(C_q，C_w)是否成立，若是，则所述数据点x的归类位置不变；若否，则进入步骤S3034)；

S3034)计算数据点x到其他聚类中心的距离，将数据点x归类到与其他聚类中心的距离最近的聚类中心的所在簇中；

S3035)重复步骤S3032)至步骤S3034)，依次获得聚类中心C_q所在簇中的每个数据点的归类位置；

S3036)重复步骤S3032)至步骤S3035)，依次获得每个聚类中心所在簇中的每个数据点的归类位置；

S3037)更新所有聚类中心，判断所有聚类中心是否发生变动，若是，则返回步骤S3032)；若否，则结束聚类更新，获得更新完成后的所有聚类中心以及每个聚类中心所在簇中的所有数据点，每一个数据点对应有一个ID，将更新完成后的所有聚类中心加入码表，将每个聚类中心所在簇中的所有数据点以及数据点的ID存储进对应的倒排列表中，每个聚类中心对应有一个倒排列表，倒排列表中储存着倒排ID和倒排编码表，倒排ID用于存储数据点的ID，倒排编码表用于存储聚类中心所在簇中的所有数据点。

进一步的，利用检索索引文件进行检索，包括以下步骤：

S35)获取构造的检索索引文件，计算待检索图像的n维特征向量与更新完成后的所有聚类中心之间的向量距离，获取距离待检索图像的n维特征向量最近的N个聚类中心点；

S36)获取N个聚类中心点的倒排列表，通过OpenMP并列遍历N个聚类中心点的倒排编码表，计算待检索图像的n维特征向量与每个聚类中心点的倒排编码表中特征向量之间的距离；获得距离待检索图像的n维特征向量最近的若干个特征向量。

进一步的，步骤S3)中，通过大规模数据检索方法对待检索图像数据进行快速定位侵权检索，获得侵权检索结果，包括以下步骤：

S361)分别计算距离待检索图像的n维特征向量最近的若干个特征向量与待检索图像的n维特征向量之间的欧式距离；

S371)获取与距离待检索图像的n维特征向量最近的若干个特征向量相对应的若干个版权图像的感知哈希值，分别计算待检索图像的的感知哈希值与若干个版权图像的感知哈希值之间的汉明距离；

S381)建立第一距离评分函数f_i＝w₁d_1i+w₂d_2i，i＝1、2、...、m，m为若干个版权图像的总数；w₁为特征向量距离权重，w₂为感知哈希值距离权重，d_1i为距离待检索图像的n维特征向量最近的第i个特征向量与待检索图像的n维特征向量之间的欧式距离，d_2i为第i个版权图像的感知哈希值的与待检索图像的感知哈希值之间的汉明距离；f_i为第i个版权图像的评分值；第i个版权图像对应于距离待检索图像的n维特征向量最近的第i个特征向量；

S391)分别计算若干个版权图像的评分值、并对评分值进行排序，设定评分阈值，判断评分最大值是否大于评分阈值，若是，则获取与评分最大值对应的版权图像，将待检索图像认定为侵权了与评分最大值对应的版权图像；若否，则表明待检索图像未检索到侵权图像。

进一步的，步骤S3)中，通过大规模数据检索方法对待检索图像数据进行快速定位侵权检索，获得侵权检索结果，包括以下步骤：

S362)分别计算距离待检索图像的n维特征向量最近的若干个特征向量与待检索图像的n维特征向量之间的欧式距离；

S363)设置欧式距离阈值，从距离待检索图像的n维特征向量最近的若干个特征向量中选取出与待检索图像的n维特征向量之间的欧式距离大于欧式距离阈值的k个特征向量；

S364)获取k个特征向量相对应的k个版权图像的感知哈希值，分别计算待检索图像的的感知哈希值与k个版权图像的感知哈希值之间的汉明距离；

S365)设定汉明距离距离阈值，从k个特征向量中选取出与待检索图像的的感知哈希值之间的汉明距离大于汉明距离距离阈值的z个特征向量；z个特征向量对应于z个版权图像；

S366)建立第二距离评分函数F_j＝W₁D_1j+W₂D_2j，j＝1、2、...、z，W₁为第二特征向量距离权重，W₂为第二感知哈希值距离权重，D_1j为z个版权图像中的第j个版权图像的特征向量与待检索图像的n维特征向量之间的欧式距离，D_2j为z个版权图像中的第j个版权图像的感知哈希值的与待检索图像的感知哈希值之间的汉明距离；F_j为z个版权图像中的第j个版权图像的评分值；

S367)分别计算z个版权图像的评分值、并对评分值进行排序，设定第二评分阈值，判断z个版权图像的评分值中的评分最大值是否大于所述第二评分阈值，若是，则获取与z个版权图像的评分值中的评分最大值对应的版权图像，将待检索图像认定为侵权了z个版权图像的评分值中的评分最大值对应的版权图像；若否，则表明待检索图像未检索到侵权图像。

进一步的，基于CNN的深度学习模型为选取在ImageNet上预训练的VGG16或AlexNet卷积神经网络。

另一方面，本发明提供了应用于图像版权保护的快速定位侵权图像的装置，包括图像采集单元、模型建立单元以及侵权图像快速定位检索单元；

图像采集单元，用于获取版权图像数据以及待检索图像；

模型建立单元，用于建立图片侵权检测深度学习模型，利用图片侵权检测深度学习模型提取包含版权图像数据以及待检索图像中每张图像全局特征和局部特征的特征向量；计算版权图像数据以及待检索图像中每张图像的感知哈希值；

侵权图像快速定位检索单元，用于利用模型建立单元中特征向量和感知哈希值建立大规模数据检索方法，通过大规模数据检索方法对图像采集单元中采集的待检索图像数据进行快速定位侵权检索，获得侵权检索结果。

又一方面，本发明提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

本发明的有益效果是：本发明首先通过CNN网络与R-MAC方法结合提取图像的高维特征向量(即全局特征和局部特征)，同时计算图像的感知哈希值，两层尺度对图像进行识别比对，尤其是加强了对侵权图像可能出现的对抗攻击手段的识别，大大加强了模型的鲁棒性；另外，本发明提供一种可用于上亿级图像快速检索溯源侵权图像的检索方法，充分利用计算资源进行高效的聚类算法和倒排表计算，适用于单张图片检索以及批量数据检索，在单机效果下(如48核cpu 128g RAM)可实现千万级数据毫秒级查询，大大提高了在海量数据下的检索效率；同时针对图像版权保护的特点，区别于单一阈值的筛选，使用了多种指标结合的方式，并提供一种针对数据特点自动化调参的方法，最大程度保证了检索的准确率和召回率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例一提供的应用于图像版权保护的快速定位侵权图像的方法流程示意图。

图2为本实施例一提供的利用图片侵权检测深度学习模型提取特征向量流程示意图。

图3为本实施例一提供的计算每张图像的感知哈希值的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用来区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便一系列单元的过程、方法、***、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他单元。

实施例一，第一方面，本发明提供了应用于图像版权保护的快速定位侵权图像的方法，如图1所示，包括以下步骤：

S1)分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用图片侵权检测深度学习模型提取包含版权图像数据以及待检索图像中每张图像全局特征和局部特征的特征向量，如图2所示，包括以下步骤：

S11)对版权图像数据以及待检索图像中的每张图像进行第一图像预处理，第一图像预处理包括将版权图像数据以及待检索图像中的每张图像缩放到第一预设尺寸大小；

S12)建立基于CNN的深度学习模型，将第一图像预处理后的每张图像分别输入基于CNN的深度学习模型，将基于CNN的深度学习模型的最后一个卷积层的特征图作为输出；

S13)采用R-MAC方法对每个特征图提取若干不同尺度的区域，获得若干个区域R-MAC特征，对若干个区域R-MAC特征进行求和池化、并进行拼接，获得与每张图像对应的n维特征向量；与每张图像对应的n维特征向量包括版权图像数据中每张图像的n维特征向量以及待检索图像的n维特征向量。

步骤S1)中将基于CNN的深度学习模型最后一个卷积层计算得到的特征图通过R-MAC方法进行区域特征提取，使用R-MAC方法对图像中央指定的局部区域生成一系列的区域向量，之后进行求和池化进行向量聚合，输出为512维特征向量，将所有向量结果保存在数据库中待检索过程使用。基于CNN的深度学习模型使用ImageNet预训练模型参数，可选择在特定数据上进行微调，满足不同数量级数据的需要。基于CNN的深度学习模型为选取在ImageNet上预训练的VGG16或AlexNet卷积神经网络。

S2)计算版权图像数据以及待检索图像中每张图像的感知哈希值，如图3所示，包括以下步骤：

S21)对版权图像数据以及待检索图像中的每张图像进行第二图像预处理，第二图像预处理包括将版权图像数据以及待检索图像中的每张图像缩放到第二预设尺寸大小；

S22)将缩放到第二预设尺寸大小的每张图像分别转化为灰度图像；

S23)计算转化为灰度图像后每张图像的离散余弦变换，获得离散余弦变换系数矩阵；

S24)提取离散余弦变换系数矩阵的左上角预设大小的低频矩阵，计算低频矩阵的元素平均值，将低频矩阵中大于等于元素平均值的元素置1，将低频矩阵中小于元素平均值的元素置0，获得元素置1或置0的低频矩阵；

S25)将元素置1或置0的低频矩阵压平为一维向量，获得版权图像数据以及待检索图像中每张图像的感知哈希值。

为了加强模型对于侵权图像的对抗攻击能力，在深度学***均值，将8x8离散余弦变换矩阵中大于等于元素平均值的元素设为1，小于元素平均值的元素设为0，压平为64位的一维向量，得到代表图像的感知哈希值。

S3)利用特征向量和感知哈希值建立大规模数据检索方法，通过大规模数据检索方法对待检索图像数据进行快速定位侵权检索，获得侵权检索结果。

步骤S3)中，利用特征向量和感知哈希值建立大规模数据检索方法，包括构造检索索引文件和利用所述检索索引文件进行检索，构造检索索引文件包括以下步骤：

S31)初始化检索索引文件数据结构，检索索引文件数据结构包括倒排列表、码表、倒排向量ID表和/或倒排向量编码表；

S32)获取训练数据，利用训练数据训练聚类算法；训练数据包括若干个数据点，若干个数据点分别为版权图像数据中每张图像的n维特征向量；建立倒排向量ID表，倒排向量ID表用于存储若干个数据点以及若干个数据点的ID；

S33)根据训练数据的数据量确定聚类的中心数以及每个聚类中心所在簇中的元素数量范围；

S34)随机初始化所有聚类中心，对所有聚类中心及码表进行更新，包括以下步骤：

S3031)初始化所有聚类中心；

S3032)计算任意一个聚类中心C_q到其他聚类中心的最短距离d(C_q，C_w)；d(C_q，C_w)表示聚类中心C_q与距离聚类中心C_q最近的聚类中心C_w的距离；

S3033)获取聚类中心C_q所在簇中的数据点x到所述聚类中心C_q的距离d(C_q，x)，判断2d(C_q，x)≤d(C_q，C_w)是否成立，若是，则所述数据点x的归类位置不变；若否，则进入步骤S3034)；

S3034)计算数据点x到其他聚类中心的距离，将数据点x归类到与其他聚类中心的距离最近的聚类中心的所在簇中；

S3035)重复步骤S3032)至步骤S3034)，依次获得聚类中心C_q所在簇中的每个数据点的归类位置；

S3036)重复步骤S3032)至步骤S3035)，依次获得每个聚类中心所在簇中的每个数据点的归类位置；

S3037)更新所有聚类中心，判断所有聚类中心是否发生变动，若是，则返回步骤S3032)；若否，则结束聚类更新，获得更新完成后的所有聚类中心以及每个聚类中心所在簇中的所有数据点，每一个数据点对应有一个ID，将更新完成后的所有聚类中心加入码表，将每个聚类中心所在簇中的所有数据点以及数据点的ID存储进对应的倒排列表中，每个聚类中心对应有一个倒排列表，倒排列表中储存着倒排ID和倒排编码表，倒排ID用于存储数据点的ID，倒排编码表用于存储聚类中心所在簇中的所有数据点。

利用检索索引文件进行检索，包括以下步骤：

S35)获取构造的检索索引文件，计算待检索图像的n维特征向量与更新完成后的所有聚类中心之间的向量距离，获取距离待检索图像的n维特征向量最近的N个聚类中心点；

S36)获取N个聚类中心点的倒排列表，通过OpenMP并列遍历N个聚类中心点的倒排编码表，计算待检索图像的n维特征向量与每个聚类中心点的倒排编码表中特征向量之间的距离；获得距离待检索图像的n维特征向量最近的若干个特征向量。

输入训练数据训练聚类算法，根据数据量固定聚类的中心数，首先检验参与训练聚类的元素个数以及预设聚类中心点内元素数量范围，判断是否随机采样；随机初始化聚类中心，将聚类中心加入码表，进行指定次数聚类迭代；找出聚类各元素最近的聚类中心及距离，更新聚类中心，将并行计算所得的各中心元素均值替换之前聚类中心点，针对元素为空的聚类中心找到满足条件的***中心，通过小对称扰动修改***中心点值，取***中心点与原中心点均值做为替代，更新码表，继续迭代直至迭代结束。

本发明通过运用三角不等式减少了不必要的距离计算，加速了聚类算法。训练聚类算法时固定每个聚类中心的元素数量范围可避免出现元素过少导致聚类中心无代表性，同时防止过多数据元素训练模型，徒增训练时间。

在计算各元素最近的聚类中心及距离时，因需要遍历所有元素，在数据量大时会耗费过多时间，本实施例采用BLAS线性代数库以及SIMD AVX2指令集优化计算过程，大大节省了计算时间。创建检索索引文件时，将遍历计算和所有训练数据分别到所有聚类中心的距离、并添加到离各自最近的聚类中心，将特征向量存入倒排编码列表，从而构建检索索引文件。

加载构建好的检索索引文件，输入待检索图像的特征向量(待检索图像的特征向量为待查询的单个图像的特征向量或多个图像的特征向量)，先查询与待检索图像的特征向量距离最近的N个聚类中心，获取当前N个聚类中心的倒排列表，通过OpenMP并行遍历倒排编码表，计算和查询向量间的距离，将结果放入返回的最大堆，循环累加查询返回的向量，最大堆进行排序，在此过程中通过粗查询N个聚类中心迅速定位分片数据减少需要计算的数据量，通过OpenMP充分利用多核处理器性能，加快检索速度。

步骤S3)中，通过大规模数据检索方法对待检索图像数据进行快速定位侵权检索，获得侵权检索结果，包括以下步骤：

S361)分别计算距离待检索图像的n维特征向量最近的若干个特征向量与待检索图像的n维特征向量之间的欧式距离；

S371)获取与距离待检索图像的n维特征向量最近的若干个特征向量相对应的若干个版权图像的感知哈希值，分别计算待检索图像的的感知哈希值与若干个版权图像的感知哈希值之间的汉明距离；

S381)建立第一距离评分函数f_i＝w₁d_1i+w₂d_2i，i＝1、2、...、m，m为若干个版权图像的总数；w₁为特征向量距离权重，w₂为感知哈希值距离权重，d_1i为距离待检索图像的n维特征向量最近的第i个特征向量与待检索图像的n维特征向量之间的欧式距离，d_2i为第i个版权图像的感知哈希值的与待检索图像的感知哈希值之间的汉明距离；f_i为第i个版权图像的评分值；第i个版权图像对应于距离待检索图像的n维特征向量最近的第i个特征向量；

S391)分别计算若干个版权图像的评分值、并对评分值进行排序，设定评分阈值，判断评分最大值是否大于评分阈值，若是，则获取与评分最大值对应的版权图像，将待检索图像认定为侵权了与评分最大值对应的版权图像；若否，则表明待检索图像未检索到侵权图像。

本实施例通过构造的检索索引文件返回的结果(既欧式距离)、并通过倒排向量ID表找到距离待检索图像的n维特征向量最近的若干个特征向量对应的若干个版权图像的感知哈希值，计算计算待检索图像的的感知哈希值与若干个版权图像的感知哈希值之间的汉明距离，利用距离评分函数进行筛选排序，根据侵权数据特点，以两种距离指标为基础，构造出评分函数以及两种权重阈值筛选标准，对结果进行最终打分排序。

另一方面，本发明实施例提供了应用于图像版权保护的快速定位侵权图像的装置，包括图像采集单元、模型建立单元以及侵权图像快速定位检索单元；

图像采集单元，用于获取版权图像数据以及待检索图像；

模型建立单元，用于建立图片侵权检测深度学习模型，利用图片侵权检测深度学习模型提取包含版权图像数据以及待检索图像中每张图像全局特征和局部特征的特征向量；计算版权图像数据以及待检索图像中每张图像的感知哈希值；

侵权图像快速定位检索单元，用于利用模型建立单元中特征向量和感知哈希值建立大规模数据检索方法，通过大规模数据检索方法对图像采集单元中采集的待检索图像数据进行快速定位侵权检索，获得侵权检索结果。

又一方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

实施例二，应用于图像版权保护的快速定位侵权图像的方法，步骤S3)中，通过大规模数据检索方法对待检索图像数据进行快速定位侵权检索，获得侵权检索结果，包括以下步骤：

S362)分别计算距离待检索图像的n维特征向量最近的若干个特征向量与待检索图像的n维特征向量之间的欧式距离；

S363)设置欧式距离阈值，从距离待检索图像的n维特征向量最近的若干个特征向量中选取出与待检索图像的n维特征向量之间的欧式距离大于欧式距离阈值的k个特征向量；

S364)获取k个特征向量相对应的k个版权图像的感知哈希值，分别计算待检索图像的的感知哈希值与k个版权图像的感知哈希值之间的汉明距离；

S365)设定汉明距离距离阈值，从k个特征向量中选取出与待检索图像的的感知哈希值之间的汉明距离大于汉明距离距离阈值的z个特征向量；z个特征向量对应于z个版权图像；

S366)建立第二距离评分函数F_j＝W₁D_1j+W₂D_2j，j＝1、2、...、z，W₁为第二特征向量距离权重，W₂为第二感知哈希值距离权重，D_1j为z个版权图像中的第j个版权图像的特征向量与待检索图像的n维特征向量之间的欧式距离，D_2j为z个版权图像中的第j个版权图像的感知哈希值的与待检索图像的感知哈希值之间的汉明距离；F_j为z个版权图像中的第j个版权图像的评分值；

S367)分别计算z个版权图像的评分值、并对评分值进行排序，设定第二评分阈值，判断z个版权图像的评分值中的评分最大值是否大于所述第二评分阈值，若是，则获取与z个版权图像的评分值中的评分最大值对应的版权图像，将待检索图像认定为侵权了z个版权图像的评分值中的评分最大值对应的版权图像；若否，则表明待检索图像未检索到侵权图像。

本实施例二的其他内容与实施例一的内容相同，在此不再赘述。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明首先通过CNN网络与R-MAC方法结合提取图像的高维特征向量(全局特征和局部特征)，同时计算图像的感知哈希值，两层尺度对图像进行识别比对，尤其是加强了对侵权图像可能出现的对抗攻击手段的识别，大大加强了模型的鲁棒性；另外，本发明提供一种可用于上亿级图像快速检索溯源侵权图像的检索方法，充分利用计算资源进行高效的聚类算法和倒排表计算，适用于单张图片检索以及批量数据检索，在单机效果下可实现千万级数据毫秒级查询，大大提高了在海量数据下的检索效率；同时针对图像版权保护的特点，区别于单一阈值的筛选，使用了多种指标结合的方式，并提供一种针对数据特点自动化调参的方法，最大程度保证了检索的准确率和召回率。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (9)

1.应用于图像版权保护的快速定位侵权图像的方法，其特征在于，包括以下步骤：

S1)分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用所述图片侵权检测深度学习模型提取所述版权图像数据以及待检索图像中每张图像的特征向量；

S2)计算所述版权图像数据以及待检索图像中每张图像的感知哈希值；

S3)利用所述特征向量和所述感知哈希值建立大规模数据检索方法，通过所述大规模数据检索方法对所述待检索图像数据进行快速定位侵权检索，获得侵权检索结果；

步骤S3)中，利用所述特征向量和所述感知哈希值建立大规模数据检索方法，包括构造检索索引文件和利用所述检索索引文件进行检索，所述构造检索索引文件包括以下步骤：

S31)初始化检索索引文件数据结构，所述检索索引文件数据结构包括倒排列表、码表、倒排向量ID表和/或倒排向量编码表；

S32)获取训练数据，利用所述训练数据训练聚类算法；所述训练数据包括若干个数据点，所述若干个数据点分别为所述版权图像数据中每张图像的n维特征向量；建立倒排向量ID表，所述倒排向量ID表用于存储若干个数据点以及若干个数据点的ID；

S33)根据训练数据的数据量确定聚类的中心数以及每个聚类中心所在簇中的元素数量范围；

S34)随机初始化所有聚类中心，对所有聚类中心及码表进行更新，包括以下步骤：

S3031)初始化所有聚类中心；

S3032)计算任意一个聚类中心C_q到其他聚类中心的最短距离d(C_q，C_w)，d(C_q，C_w)表示聚类中心C_q与距离所述聚类中心C_q最近的聚类中心C_w的距离；

S3033)获取聚类中心C_q所在簇中的数据点x到所述聚类中心C_q的距离d(C_q，x)，判断2d(C_q，x)≤d(C_q，C_w)是否成立，若是，则所述数据点x的归类位置不变；若否，则进入步骤S3034)；

S3034)计算数据点x到其他聚类中心的距离，将数据点x归类到与其他聚类中心的距离最近的聚类中心的所在簇中；

S3035)重复步骤S3032)至步骤S3034)，依次获得聚类中心C_q所在簇中的每个数据点的归类位置；

S3036)重复步骤S3032)至步骤S3035)，依次获得每个聚类中心所在簇中的每个数据点的归类位置；

S3037)更新所有聚类中心，判断所有聚类中心是否发生变动，若是，则返回步骤S3032)；若否，则结束聚类更新，获得更新完成后的所有聚类中心以及每个聚类中心所在簇中的所有数据点，每一个数据点对应有一个ID，将更新完成后的所有聚类中心加入码表，将每个聚类中心所在簇中的所有数据点以及数据点的ID存储进对应的倒排列表中，每个聚类中心对应有一个倒排列表，倒排列表中储存着倒排ID和倒排编码表，所述倒排ID用于存储数据点的ID，所述倒排编码表用于存储聚类中心所在簇中的所有数据点。

2.根据权利要求1所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，步骤S1)中，分别获取版权图像数据以及待检索图像，建立图片侵权检测深度学习模型，利用所述图片侵权检测深度学习模型提取所述版权图像数据以及待检索图像中每张图像的特征向量，包括以下步骤：

S11)对所述版权图像数据以及待检索图像中的每张图像进行第一图像预处理，所述第一图像预处理包括将所述版权图像数据以及待检索图像中的每张图像缩放到第一预设尺寸大小；

S12)建立基于CNN的深度学习模型，将第一图像预处理后的每张图像分别输入所述基于CNN的深度学习模型，将所述基于CNN的深度学习模型的最后一个卷积层的特征图作为输出；

S13)采用R-MAC方法对每个特征图提取若干不同尺度的区域，获得若干个区域R-MAC特征，对所述若干个区域R-MAC特征进行求和池化、并进行拼接，获得与每张图像对应的n维特征向量；所述与每张图像对应的n维特征向量包括所述版权图像数据中每张图像的n维特征向量以及所述待检索图像的n维特征向量。

3.根据权利要求1或2所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，步骤S2)中，计算所述版权图像数据以及待检索图像中每张图像的感知哈希值，包括以下步骤：

S21)对所述版权图像数据以及待检索图像中的每张图像进行第二图像预处理，所述第二图像预处理包括将所述版权图像数据以及待检索图像中的每张图像缩放到第二预设尺寸大小；

S22)将缩放到第二预设尺寸大小的每张图像分别转化为灰度图像；

S23)计算转化为灰度图像后每张图像的离散余弦变换，获得离散余弦变换系数矩阵；

S24)提取所述离散余弦变换系数矩阵的左上角预设大小的低频矩阵，计算所述低频矩阵的元素平均值，将所述低频矩阵中大于等于元素平均值的元素置1，将所述低频矩阵中小于元素平均值的元素置0，获得元素置1或置0的低频矩阵；

S25)将所述元素置1或置0的低频矩阵压平为一维向量，获得所述版权图像数据以及待检索图像中每张图像的感知哈希值。

4.根据权利要求1所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，利用所述检索索引文件进行检索，包括以下步骤：

S35)获取构造的检索索引文件，计算所述待检索图像的n维特征向量与更新完成后的所有聚类中心之间的向量距离，获取距离所述待检索图像的n维特征向量最近的N个聚类中心点；

S36)获取所述N个聚类中心点的倒排列表，通过OpenMP并列遍历N个聚类中心点的倒排编码表，计算所述待检索图像的n维特征向量与每个聚类中心点的倒排编码表中特征向量之间的距离；获得距离所述待检索图像的n维特征向量最近的若干个特征向量。

5.根据权利要求4所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，步骤S3)中，通过所述大规模数据检索方法对所述待检索图像数据进行快速定位侵权检索，获得侵权检索结果，包括以下步骤：

S361)分别计算距离所述待检索图像的n维特征向量最近的若干个特征向量与所述待检索图像的n维特征向量之间的欧式距离；

S371)获取与距离所述待检索图像的n维特征向量最近的若干个特征向量相对应的若干个版权图像的感知哈希值，分别计算所述待检索图像的的感知哈希值与所述若干个版权图像的感知哈希值之间的汉明距离；

S381)建立第一距离评分函数f_i＝w₁d_1i+w₂d_2i，i＝1、2、...、m，m为所述若干个版权图像的总数；w₁为特征向量距离权重，w₂为感知哈希值距离权重，d_1i为距离所述待检索图像的n维特征向量最近的第i个特征向量与所述待检索图像的n维特征向量之间的欧式距离，d_2i为第i个版权图像的感知哈希值的与所述待检索图像的感知哈希值之间的汉明距离；f_i为第i个版权图像的评分值；第i个版权图像对应于距离所述待检索图像的n维特征向量最近的第i个特征向量；

S391)分别计算所述若干个版权图像的评分值、并对评分值进行排序，设定评分阈值，判断所述评分最大值是否大于所述评分阈值，若是，则获取与评分最大值对应的版权图像，将所述待检索图像认定为侵权了所述与评分最大值对应的版权图像；若否，则表明所述待检索图像未检索到侵权图像。

6.根据权利要求4所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，步骤S3)中，通过所述大规模数据检索方法对所述待检索图像数据进行快速定位侵权检索，获得侵权检索结果，包括以下步骤：

S362)分别计算距离所述待检索图像的n维特征向量最近的若干个特征向量与所述待检索图像的n维特征向量之间的欧式距离；

S363)设置欧式距离阈值，从距离所述待检索图像的n维特征向量最近的若干个特征向量中选取出与所述待检索图像的n维特征向量之间的欧式距离大于所述欧式距离阈值的k个特征向量；

S364)获取所述k个特征向量相对应的k个版权图像的感知哈希值，分别计算所述待检索图像的的感知哈希值与所述k个版权图像的感知哈希值之间的汉明距离；

S365)设定汉明距离距离阈值，从所述k个特征向量中选取出与所述待检索图像的的感知哈希值之间的汉明距离大于汉明距离距离阈值的z个特征向量；所述z个特征向量对应于z个版权图像；

S366)建立第二距离评分函数F_j＝W₁D_1j+W₂D_2j，j＝1、2、...、z，W₁为第二特征向量距离权重，W₂为第二感知哈希值距离权重，D_1j为z个版权图像中的第j个版权图像的特征向量与所述待检索图像的n维特征向量之间的欧式距离，D_2j为z个版权图像中的第j个版权图像的感知哈希值的与所述待检索图像的感知哈希值之间的汉明距离；F_j为z个版权图像中的第j个版权图像的评分值；

S367)分别计算所述z个版权图像的评分值、并对评分值进行排序，设定第二评分阈值，判断所述z个版权图像的评分值中的评分最大值是否大于所述第二评分阈值，若是，则获取与所述z个版权图像的评分值中的评分最大值对应的版权图像，将所述待检索图像认定为侵权了所述z个版权图像的评分值中的评分最大值对应的版权图像；若否，则表明所述待检索图像未检索到侵权图像。

7.根据权利要求2所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，所述基于CNN的深度学习模型为选取在ImageNet上预训练的VGG16或AlexNet卷积神经网络。

8.应用于图像版权保护的快速定位侵权图像的装置，适用于如权利要求1至7任一项所述的应用于图像版权保护的快速定位侵权图像的方法，其特征在于，包括图像采集单元、模型建立单元以及侵权图像快速定位检索单元；

所述图像采集单元，用于获取版权图像数据以及待检索图像；

所述模型建立单元，用于建立图片侵权检测深度学习模型，利用所述图片侵权检测深度学习模型提取包含所述版权图像数据以及待检索图像中每张图像全局特征和局部特征的特征向量；计算所述版权图像数据以及待检索图像中每张图像的感知哈希值；

所述侵权图像快速定位检索单元，用于利用所述模型建立单元中所述特征向量和所述感知哈希值建立大规模数据检索方法，通过所述大规模数据检索方法对所述图像采集单元中采集的待检索图像数据进行快速定位侵权检索，获得侵权检索结果。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

Images