CN111476865A - 一种面向深度学习神经网络进行图像识别的图像保护方法 - Google Patents

Abstract

本发明提供一种面向深度学习神经网络进行图像识别的图像保护方法，涉及工智能信息安全技术领域。该方法包括有目标误导的保护和无目标误导的保护，首先采集图像数据或使用现有数据作为训练数据集，并对训练数据集中的数据图像进行预处理，将原始图像转为深度学习图像分类器模型接受的输入格式；再根据原始图像大小确定相框大小；最后在确定的相框大小下，利用训练数据生成相框，并将预处理后的图像放到相框中，实现对图像的加密。本发明方法得到的加密图像用户可以轻易分辨出图像内容，具有更好的用户体验。

Description

一种面向深度学习神经网络进行图像识别的图像保护方法

技术领域

本发明涉及工智能信息安全技术领域，尤其涉及一种面向深度学习神经网络进行图像识别的图像保护方法。

背景技术

随着科学技术的不断发展，电子计算机技术在得到了越来越广泛的应用，互联网时代的到来拉近了人们之间的距离，大量的多媒体信息在网络中可以轻松快捷地进行传输，方便人们之间的沟通和交流。人们在享受互联网便利的同时，其个人隐私信息也在经受着考验。特别是处于当下大数据时代，这一问题更加突出，影响范围也更为宽阔。人工智能的发展使人们的生活变得更透明化，隐私权侵权手段更隐蔽化、技术化，无形中威胁人们的数据安全。特别是人们喜欢利用各种社交媒体发送有关自己的照片视频，或利用云盘软件等存储照片，这些照片往往包含关于人们自身的身份信息、或者别的敏感信息等，人们往往只想让自己或特定身份的人看到，信息传送的保密性就显得尤为重要。

同时深度学习的研究也促进了人工智能的发展，在越来越多的领域得到了应用，例如可以对图像轻松进行识别检测，极大地解放了人力。由此带来的结果，不法分子可以轻易从盗窃的海量数据中筛选出关键信息，从而实施有针对的欺诈盗窃等。

传统的应对方法是对信息进行加密，在查看信息时，用户需要对加密信息进行解密才可以看到原始的信息。对于图像照片来说，用户加密解密过于繁琐，特别是对于移动端用户来说，人机交互不够友好。同时用户往往会拥有大量的图像，在不经过解密的前提下，用户很难分辨出所要查找的图像，而将所有图像解密又太过耗时费力，因而需要一种保护方法既可以方便地保护当前图像照片，又可以轻松查看到当前图像的内容，提高用户体验。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种面向深度学习神经网络进行图像识别的图像保护方法，针对利用深度学习模型进行图像识别的攻击进行图像保护。

为解决上述技术问题，本发明所采取的技术方案是：一种面向深度学习神经网络进行图像识别的图像保护方法，包括有目标误导的保护和无目标误导的保护两种，包括以下步骤：

步骤1、采集一定数量的图像，针对图像的内容标注数据集作为训练数据集，或者利用现有数据集作为训练数据集；

步骤2、对训练数据集中的数据图像进行预处理，将训练数据集中的原始图像转为深度学习图像分类器模型接受的输入格式；

所述预处理包括图像的形状调整、大小调整、数据范围调整以及图像旋转；所述图像的形状调整为调整输入图像的长度宽度比例，使输入数据符合分类器模型的输入要求；所述图像的大小调整指图像的缩放裁剪，放大或缩小图像的长度与宽度，或者进行裁剪得到符合深度学习图像分类器模型输入大小要求的图像；所述图像的数据范围调整指调整图像数据的像素值范围，将其归一化到适合深度学习图像分类器模型输入的范围；图像的旋转指对图像旋转一定角度，增加输入数据的复杂性和多样性，提高数据质量；

所述深度学习图像分类器模型输出图像属于的类别标签及其概率；

步骤3、根据原始图像大小确定相框大小，即相框每条边所拥有的像素宽度；

步骤4、在确定的相框大小下，利用训练数据生成相框，并将预处理后的图像放到相框中，实现对图像的加密；

设定加密图像x’由原始图像和相框合成，相框用δ表示，则x’＝x·(1-m)+δ·m，其中，m表示掩膜，用于控制图像处理区域，m的大小与加密图像大小一致，其在对应相框位置处为1,剩余位置处为0，从而使原始图像和相框合成为加密图像；符号“·”表示逐像素相乘，即对应位置的像素值相乘，得到的加密图像的大小比原先图像多一个像框，即图像中央区域为原始图像，周围为相框；

所述利用训练数据生成相框通过对优化问题进行梯度下降得到，在求解最开始，相框从正态分布中随机采样得到，即相框初始化为随机数，之后再通过反向传播逐步求解；对于无目标诱导的保护，利用训练数据生成的相框通过如下优化问题进行求解：

min(-loss(f(x·(1-m)+δ·m)，y))

其中，loss()为损失函数，f()为深度学习图像分类器模型，y为图像的原始标签，即图像的类别，且满足f(x)＝y＝argmax(softmax(logits(x)))；

所述无目标诱导的保护指对于输入到深度学习图像分类器模型的任何图像，输出的图像预测类别不再是正确的类别，即f(x’)≠y；

对于有目标诱导的图像保护，利用训练数据生成的相框通过如下优化问题进行求解：

min loss(f(x·(1-m)+δ·m)，y_target)

其中，y_target为要诱导的目标标签；

对于有目标误导的保护指无视原始图像的所属类别，使深度学习图像分类器模型将输入的加密图像预测为一个特定的类别，从而使得模型认为该输入图像为不关键的信息。

采用上述技术方案所产生的有益效果在于：本发明提供的一种面向深度学习神经网络进行图像识别的图像保护方法，用于加密的相框仅仅只需要生成一次，就可以直接进行应用，大大减少的计算量和计算时间，具有更好的实用性，在得到相框后，进行加密时仅需要进行简单的图像拼接即可完成，占用极少的计算量，解密也仅需要将相框移除即可。同时，本发明方法得到的加密图像用户可以轻易分辨出图像内容，具有更好的用户体验。

附图说明

图1为本发明实施例提供的一种面向深度学习神经网络进行图像识别的图像保护方法的流程图；

图2为本发明实施例提供的一种面向深度学习神经网络进行图像识别的图像保护方法的数据预处理流程图；

图3为本发明实施例提供的加密图像示意图，其中，(a)为原始图像，(b)为相框，(c)为加密图像。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例以深度学习图像分类器模型resnet模型为例，采用本发明的面向深度学习神经网络进行图像识别的图像保护方法对通过该模型进行图像识别的图像进行保护。

本实施例中，假设可以获得模型运行时的状态参数，即知道resnet模型的结构，可以得到resnet模型各层的参数，从而在resnet模型对图片进行预测时，可以推演出模型每一层的输出，最后输入的类别及其概率。

本实施例中，选定的resnet模型用f表示，对于任意一张经过预处理的图像x，resnet模型执行分类任务，预测出图片x的正确类别y，即f(x)＝y。这一过程可以进一步表示为：resent倒数第二层为logits层，输出为一个1000维向量，每个维度数字对应相应类别的logits，这个1000维向量作为最后一层softmax层的输入，得到一个新的1000维向量，对应属于各个类别的概率，最后resnet模型将概率最大的类别作为预测结果进行输出，即f(x)＝y＝argmax(softmax(logits(x)))。

一种面向深度学习神经网络进行图像识别的图像保护方法，如图1所示，包括有目标误导的保护和无目标误导的保护两种，包括以下步骤：

步骤1、采集一定数量的图像，针对图像的内容标注数据集作为训练数据集，或者利用现有数据集作为训练数据集；

本实施例中，训练数据集的获得可以手动从实际生活中利用拍照，网络爬虫等方式手动进行构造，选择的图片需要符合resnet模型的分类领域。

训练数据集的获得也可以从resnet模型中得到，利用已知的模型的结构参数，生成符合模型的具有代表性的图像作为数据集。

训练数据的获得也可以直接利用现有的网络数据集，对于resnet模型，其训练数据集为ImageNet数据集，ImageNet至今已有两万多类、一千万以上的图像，可以选择适当数量的数据集作为训练集。

步骤2、对训练数据集中的数据图像进行预处理，如图2所示，将原始图像转为深度学习图像分类器模型可接受的输入格式；

所述预处理包括图像的形状调整、大小调整、数据范围调整以及图像旋转；

所述图像的形状调整为调整输入图像的长度宽度比例，使输入数据符合分类器模型的输入要求；例如原始图像长宽比为4：3，需要进行调整，使用插值函数等方式使图像长宽比为1：1。所述图像的大小调整指图像的缩放裁剪，放大或缩小图像的长度与宽度，或者进行裁剪得到符合深度学习图像分类器模型输入大小要求的图像；例如原始图像的长宽像素均为300，可以使用双线性插值、三次样条函数等插值方法将图像大小调整为224，或者直接在图像中心进行裁剪，得到大小为224*224的图像，该尺寸大小符合resnet模型的输入。

所述图像的数据范围调整指调整图像数据的像素值范围，将其归一化到适合深度学习图像分类器模型输入的范围；例如，原始图像经过数据化后，其像素值区间为[0,255]，需要进行标准化，将像素的取值范围调整到[-1,1]，即resnet的输入区间。可以使用正态分布进行标准化，RGB三通道的均值为(0.4914,0.4822,0.4465)，其方差为(0.2023,0.1994,0.2010)。

图像的旋转指对图像旋转一定角度，例如在[-15,15]随机选择旋转角度，15表示将图像向右旋转15度，-15表示将图像旋转向左旋转15度，随机旋转图像一方面可以增加数据量，另一方面可以增加图像识别复杂度，提高数据质量，增强模型泛化性。

所述深度学习图像分类器模型输出图像属于的类别标签及其概率；

步骤3、根据原始图像大小确定相框大小，即相框每条边所拥有的像素宽度；

本发明保护方法加密仅需要该相框既可以轻松实现对图像的保护，相框越大，图像的加密程度越高，同时相框所占图像的比例越大。本实施例中，resnet模型的输入图像大小为224*224，相框所在的边界像素区域宽度为5，即在原始图像周围5个像素范围内为相框，此时相框占加密图像面积的8.36％。当相框所在的边界像素区域宽度为6时，相框占原始图像面积的9.91％。

步骤4、在确定的相框大小下，利用训练数据生成相框，并将图像放到相框中，实现对图像的加密；

设定加密图像x’由原始图像和相框合成，相框用δ表示，则x’＝x·(1-m)+δ·m，其中，m表示掩膜，用于控制图像处理区域，m的大小与加密图像大小一致，其在对应相框位置处为1，剩余位置处为0，从而使原始图像和相框合成为加密图像；符号“·”表示逐像素相乘，即对应位置的像素值相乘，得到的加密图像的大小比原先图像多一个像框，即图像中央区域为原始图像，周围为相框；本实施例中，最终得到的加密图像如图3所示。

所述利用训练数据生成相框通过对优化问题进行梯度下降得到，在求解最开始，相框从正态分布中随机采样得到，即相框初始化为随机数，之后再通过反向传播逐步求解；

对于无目标诱导的保护，利用训练数据生成的相框通过如下优化问题进行求解：

min(-loss(f(x·(1-m)+δ·m)，y))

其中，loss()为损失函数，f()为深度学习图像分类器模型，y为图像的原始标签，即图像的类别，且满足f(x)＝y＝argmax(softmax(logits(x)))；本实施例中，损失函数为交叉熵函数。

所述无目标诱导的保护指对于输入到深度学习图像分类器模型的任何图像，输出的图像预测类别不再是正确的类别，即f(x’)≠y；例如对于resnet模型原本预测为类别1，在加密之后可以预测为0到999中除了1以外的任何一个数字。

该优化问题增加了加密图像与原始标签y的损失函数值；

对于有目标诱导的图像保护，利用训练数据生成的相框通过如下优化问题进行求解：

min loss(f(x·(1-m)+δ·m)，y_target)

其中，y_target为要诱导的目标标签；

对于有目标误导的保护指无视原始图像的所属类别，使深度学习图像分类器模型将输入的加密图像预测为一个特定的类别，从而使得模型认为该输入图像为不关键的信息；例如选择目标类别859，则进行加密之后，不论之前图像所属的正确类别，均被认为是该目标类别，该目标类别使得不发分子认为该图像并不重要。

该优化问题减少了加密图像与目标标签之间的损失函数值，使加密图像更容易被错分为目标类别。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (5)

1.一种面向深度学习神经网络进行图像识别的图像保护方法，其特征在于：包括有目标误导的保护和无目标误导的保护，包括以下步骤：

步骤1、采集一定数量的图像，针对图像的内容标注数据集作为训练数据集，或者利用现有数据集作为训练数据集；

步骤2、对训练数据集中的数据图像进行预处理，将训练数据集中的原始图像转为深度学习图像分类器模型接受的输入格式；

步骤3、根据原始图像大小确定相框大小，即相框每条边所拥有的像素宽度；

步骤4、在确定的相框大小下，利用训练数据生成相框，并将预处理后的图像放到相框中，实现对图像的加密。

2.根据权利要求1所述的一种面向深度学习神经网络进行图像识别的图像保护方法，其特征在于：

所述无目标诱导的保护是指对于输入到深度学习图像分类器模型的任何图像，输出的图像预测类别不再是正确的类别，即f(x’)≠y；

所述有目标误导的保护指无视原始图像的所属类别，使深度学习图像分类器模型将输入的加密图像预测为一个特定的类别，从而使得模型认为该输入图像为不关键的信息。

3.根据权利要求1所述的一种面向深度学习神经网络进行图像识别的图像保护方法，其特征在于：步骤2所述预处理包括图像的形状调整、大小调整、数据范围调整以及图像旋转；所述图像的形状调整为调整输入图像的长度宽度比例，使输入数据符合分类器模型的输入要求；所述图像的大小调整指图像的缩放裁剪，放大或缩小图像的长度与宽度，或者进行裁剪得到符合深度学习图像分类器模型输入大小要求的图像；所述图像的数据范围调整指调整图像数据的像素值范围，将其归一化到适合深度学习图像分类器模型输入的范围；图像的旋转指对图像旋转一定角度，增加输入数据的复杂性和多样性，提高数据质量；

所述深度学习图像分类器模型输出图像属于的类别标签及其概率。

4.根据权利要求1所述的一种面向深度学习神经网络进行图像识别的图像保护方法，其特征在于：所述步骤4的具体方法为：

设定加密图像x’由原始图像和相框合成，相框用δ表示，则x’＝x·(1-m)+δ·m，其中，m表示掩膜，用于控制图像处理区域，m的大小与加密图像大小一致，其在对应相框位置处为1,剩余位置处为0，从而使原始图像和相框合成为加密图像；符号“·”表示逐像素相乘，即对应位置的像素值相乘，得到的加密图像的大小比原先图像多一个像框，即图像中央区域为原始图像，周围为相框。

5.根据权利要求1所述的一种面向深度学习神经网络进行图像识别的图像保护方法，其特征在于：步骤4所述利用训练数据生成相框通过对优化问题进行梯度下降得到，在求解最开始，相框从正态分布中随机采样得到，即相框初始化为随机数，之后再通过反向传播逐步求解；

对于无目标诱导的保护，利用训练数据生成的相框通过如下优化问题进行求解：

min(-loss(f(x·(1-m)+δ·m)，y))

其中，loss()为损失函数，f()为深度学习图像分类器模型，y为图像的原始标签，即图像的类别，且满足f(x)＝y＝argmax(softmax(logits(x)))；

对于有目标诱导的图像保护，利用训练数据生成的相框通过如下优化问题进行求解：

min loss(f(x·(1-m)+δ·m)，y_target)

其中，y_target为要诱导的目标标签。

Images