CN115272534A - 人脸图像保护方法、保护装置、电子设备和可读存储介质 - Google Patents

人脸图像保护方法、保护装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN115272534A
CN115272534A CN202210910622.2A CN202210910622A CN115272534A CN 115272534 A CN115272534 A CN 115272534A CN 202210910622 A CN202210910622 A CN 202210910622A CN 115272534 A CN115272534 A CN 115272534A
Authority
CN
China
Prior art keywords
protection
pattern
face image
face
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210910622.2A
Other languages
English (en)
Other versions
CN115272534B (zh
Inventor
于志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202210910622.2A priority Critical patent/CN115272534B/zh
Publication of CN115272534A publication Critical patent/CN115272534A/zh
Application granted granted Critical
Publication of CN115272534B publication Critical patent/CN115272534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种人脸图像保护方法、保护装置、电子设备和可读存储介质，涉及网络安全技术领域。其中，人脸图像保护方法包括：获取实时视频帧；检测所述实时视频帧中的人脸图像，并提取所述人脸图像中的人脸关键点；基于所述人脸关键点的特征生成适配的保护图案；将所述保护图案覆盖在所述人脸关键点所处的区域，得到隐私保护图像。通过本公开的技术方案，在保证对人脸图像保护的安全性、更难逆向破解的同时，使保护图案起到对人脸图像的装饰作用，以使得到的隐私保护图像具有一定的美观度而更容易被用户接受。

Description

人脸图像保护方法、保护装置、电子设备和可读存储介质
技术领域
本公开涉及网络安全技术领域，尤其涉及一种人脸图像保护方法、一种人脸图像保护装置、一种电子设备和一种计算机可读存储介质。
背景技术
相关技术中，通过深度神经网络(Deep Neural Networks，DNN)等识别模型提取人脸特征，实现人脸识别，对于识别出来的人脸图像信息，一旦被泄露，可能被恶意使用，导致用户的利益安全受到损害。
相关技术中，虽然可以对人脸图像进行马赛克等模糊处理，但是这种模糊处理方式存在以下缺陷：
一方面，由于影响了用户的形象造成用户的观感较差，导致可接受度较低，另一方面，处理方式单一，使处理具有可逆性，导致人脸图像还是有较高的泄露风险。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种人脸图像保护方法、一种人脸图像保护装置、一种电子设备和一种计算机可读存储介质，至少在一定程度上克服由于相关技术中具有圆形轨迹的检测目标的检测准确率不高的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种人脸图像保护方法，包括：获取实时视频帧；检测所述实时视频帧中的人脸图像，并提取所述人脸图像中的人脸关键点；基于所述人脸关键点的特征生成适配的保护图案；将所述保护图案覆盖在所述人脸关键点所处的区域，得到隐私保护图像。
在一些实施例中，所述基于所述人脸关键点的特征生成适配的保护图案包括：基于图案生成模型生成与所述人脸关键点的特征适配的所述保护图案。
在一些实施例中，所述基于图案生成模型生成与所述人脸关键点的特征适配的所述保护图案包括：从初始图集中随机选择至少一张原始图片；将所述原始图片和对应的标签输入所述图案生成模型，以输出所述保护图案，其中，所述标签和所述人脸关键点的特征对应。
在一些实施例中，所述图案生成模型包括至少一个生成式对抗网络，所述生成式对抗网络包括生成器和判别器，所述将所述原始图片和对应的标签输入所述图案生成模型，以输出所述保护图案包括：基于所述标签和所述生成器生成初始图案；将所述初始图案和所述原始图片输入所述判别器，以由所述判别器基于所述原始图片对所述初始图案进行真实性验证，将验证通过的所述初始图案确定为所述保护图案。
在一些实施例中，所述基于所述标签和所述生成器生成初始图案包括：将高斯白噪声序列和所述标签输入所述生成器，并依次经过全连接层和BN层得到对应的多维特征；将所述多维特征转换为具有指定分辨率和通道数的特征图；对所述特征图进行多重反卷积处理，得到所述初始图案。
在一些实施例中，所述将所述初始图案和所述原始图片输入所述判别器，以由所述判别器基于所述原始图片对所述初始图案进行真实性验证包括：将所述初始图案和所述原始图片输入所述判别器，基于多层级处理结构对所述初始图案和所述原始图片进行处理，得到判别向量；基于sigmoid激活函数对所述判别向量进行激活输出，得到真实性概率；若所述真实性概率大于概率阈值，则将所述初始图案确定为所述保护图案。
在一些实施例中，所述将所述初始图案和所述原始图片输入所述判别器，以由所述判别器基于所述原始图片对所述初始图案进行真实性验证，还包括：若所述真实性概率小于或等于所述概率阈值，基于所述真实性概率优化所述图案生成模型。
在一些实施例中，在将所述原始图片和对应的标签输入所述图案生成模型，以输出所述保护图案之前，还包括：对所述图案生成模型进行模型训练。
在一些实施例中，所述对所述图案生成模型进行模型训练包括对生成器训练模型和判别器训练模型执行模型初始化操作冻结生成器训练模型，并获取指定数量的原始图片样本；基于冻结的所述生成器训练模型获取保护图案样本；将所述原始图片样本和所述保护图案样本输入所述判别器训练模型执行二分类预测模型训练，并判别器损失模型的最大化更新所述判别器训练模型的参数，以生成所述判别器；冻结生成的所述判别器，并解冻所述生成器训练模型；基于解冻的所述生成器训练模型获取所述保护图案样本；将所述原始图片样本和所述保护图案样本输入生成的所述判别器，基于生成器损失模型的最小化执行模型训练，以生成所述生成器。
在一些实施例中，还包括：基于多个识别模型识别得到的所述隐私保护图像，得到对应的多个识别结果；确定所述识别结果中识别错误的数量占比，并检测所述数量占比是否大于比例阈值；若所述数量占比大于所述比例阈值，则显示所述隐私保护图像；若所述数量占比小于或等于所述比例阈值，则生成调整信息，以基于所述调整信息调整所述图案生成模型。
在一些实施例中，所述基于所述调整信息调整所述图案生成模型包括：基于所述调整信息获取所述识别模型的决策热力图区域和识别置信度；基于所述数量占比、所述决策热力图区域和所述识别置信度确定所述人脸图像中待改善的区域特征和区域数量；基于所述区域特征和区域数量进行误差计算，得到误差损失；基于反向传播算法和所述误差损失优化所述图案生成模型图案生成模型；基于优化后的所述图案生成模型更新所述保护图案。
在一些实施例中，所述提取所述人脸图像中的人脸关键点包括：基于人脸器官特征确定所述人脸关键点；确定所述人脸关键点的位置坐标基于所述位置坐标划分所述人脸关键点所处的区域，所述人脸器官特征包括眼睛、鼻子、嘴巴、眉毛、脸部轮廓和脸内部件轮廓中的至少一种。
在一些实施例中，所述基于所述人脸关键点的特征生成适配的保护图案，还包括：确定所述人脸关键点所处区域的区域尺寸；基于所述区域尺寸对所述保护图案的尺寸进行调整，以与所述人脸关键点所处的区域适配。
在一些实施例中，所述将所述保护图案覆盖在所述人脸关键点所处的区域，得到隐私保护图像包括基于数字化纹理合成操作将所述保护图像覆盖在所述人脸关键点所处的区域。
在一些实施例中，还包括：基于获取到的切换指令确定切换方式；基于所述切换方式对所述实时视频帧中的人脸图像进行保护状态和暴露状态之间的切换。
在一些实施例中，还包括：基于预设的调节频率调节不同的所述实时视频帧中的所述保护图案的颜色和/或亮度。
根据本公开的另一个方面，提供一种人脸图像保护装置，包括：获取模块，用于获取实时视频帧；检测模块，用于检测所述实时视频帧中的人脸图像，并提取所述人脸图像中的人脸关键点；生成模块，用于基于所述人脸关键点的特征生成适配的保护图案；覆盖模块，用于将所述保护图案覆盖在所述人脸关键点所处的区域，得到隐私保护图像。
根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述第二方面技术方案中任意一项的所述的人脸图像保护方法。
根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的人脸图像保护方法。
本公开的实施例所提供的人脸图像保护方法和装置，通过获取实时视频数据中的每一帧原始人脸图像，并检测人脸关键点的位置，并基于适配关系动态生成保护图案，使生成的保护图案覆盖在人脸图像上时，在保证对人脸图像保护的安全性、更难逆向破解的同时，使保护图案起到对人脸图像的装饰作用，以使得到的隐私保护图像具有一定的美观度而更容易被用户接受。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种人脸图像保护方法的示意框图；
图2示出本公开实施例中一种人脸图像保护方法的示意图；
图3示出本公开实施例中另一种人脸图像保护方法的示意图；
图4示出本公开实施例中再一种人脸图像保护方法的示意图；
图5示出本公开实施例中又一种人脸图像保护方法的流程图；
图6示出本公开实施例中又一种人脸图像保护方法的流程图；
图7示出本公开实施例中一种人脸图像保护方案中的人脸图像；
图8示出图7中的人脸图像中的人脸关键点；
图9示出本公开实施例中一种人脸图像保护方案中的保护图案；
图10示出本公开实施例中一种人脸图像保护方案中的隐私保护图像；
图11示出本公开实施例中再一种人脸图像保护方法的流程图；
图12示出本公开实施例中又一种人脸图像保护方法的流程图；
图13示出本公开实施例中一种人脸图像保护装置的示意图；
图14示出本公开实施例中一种电子设备的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本申请提供的方案，通过获取实时视频数据中的每一帧原始人脸图像，并检测人脸关键点的位置，并基于适配关系动态生成保护图案，使生成的保护图案覆盖在人脸图像上时，在保证对人脸图像保护的安全性、更难逆向破解的同时，使保护图案起到对人脸图像的装饰作用，以使得到的隐私保护图像具有一定的美观度而更容易被用户接受。
图1示出本公开实施例中一种人脸图像保护的***的结构示意图，包括多个终端120和服务器集群140。
终端120可以是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、智能家居设备、AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备等移动终端，或者，终端120也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。
其中，终端120中可以安装有用于提供人脸图像保护的应用程序。
终端120与服务器集群140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
服务器集群140是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。服务器集群140用于为提供人脸图像保护的应用程序提供后台服务。可选地，服务器集群140承担主要计算工作，终端120承担次要计算工作；或者，服务器集群140承担次要计算工作，终端120承担主要计算工作；或者，终端120和服务器集群140之间采用分布式计算架构进行协同计算。
在一些可选的实施例中，服务器集群140用于存储人脸图像保护程序等。
可选地，不同的终端120中安装的应用程序的客户端是相同的，或两个终端120上安装的应用程序的客户端是不同控制***平台的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端或者全球广域网(World Wide Web，Web)客户端等。
本领域技术人员可以知晓，上述终端120的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
可选的，该***还可以包括管理设备(图1未示出)，该管理设备与服务器集群140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
下面，将结合附图及实施例对本示例实施方式中的人脸图像保护方法的各个步骤进行更详细的说明。
另外，本领域的技术人员能够理解的是，本公开的人脸图像保护方法可以直接在设置有图像采集模块的电子设备上执行，也可以通过同步传输方案将图像采集装置采集到的图像传输到另一电子设备上执行。
如图2所示，根据本公开的一个实施例的人脸图像保护方法，包括：
步骤S202，获取实时视频帧。
其中，实时视频帧可以为正在播放的实时视频中的各帧视频，也可以为实时采集到的原始视频中的各帧视频。
另外，在本公开中，获取到的图片也被视为实时视频帧。
步骤S204，检测实时视频帧中的人脸图像，并提取人脸图像中的人脸关键点。
其中，通过预设的人脸识别模型检测实时视频中的人脸图像，人脸识别模型可以为预先训练的得到的识别模型，也可以为第三方提供的识别模型。
具体地，在一些实施例中，提取人脸图像中的人脸关键点的一种具体实现方式，包括：
基于人脸器官特征确定人脸关键点；确定人脸关键点的位置坐标；基于位置坐标划分人脸关键点所处的区域，
其中，人脸器官特征包括眼睛、鼻子、嘴巴、眉毛、脸部轮廓和脸内部件轮廓中的至少一种。
具体地，人脸关键点检测可以通过主动形状模型Active Shape Model、ActiveAppearance Model产生式模型等基于形状学习的模型实现，也可以基于级联回归学习的模型实现，还可以通过多级回归模型、直接回归模型等基于深度学习的方法实现。
步骤S206，基于人脸关键点的特征生成适配的保护图案。
其中，人脸关键点的特征可以理解为人脸器官特征，即眼睛，鼻尖，嘴角点，眉毛以及人脸各部件轮廓点等。
生成和人脸关键点的特征适配的保护图案，可以理解为生成和人脸器官特征适配的保护图案，比如和眼睛适配的可以为各种形状的眼镜或眼罩，和嘴巴适配的可以为口罩等。
适配性还可以理解为对人脸器官的模拟处理。
进一步地，生成适配的保护图案，可以基于所有的人脸关键点生成保护图案，也可以基于部分人脸关键点生成保护图案。
另外，本领域的技术人员能够理解的是，步骤S206也可以在步骤S202和步骤S204之前执行，也可以与步骤S202和步骤S204并发执行。
步骤S208，将保护图案覆盖在人脸关键点所处的区域，得到隐私保护图像。
其中，人脸关键点所处的区域，可以理解为能够覆盖人脸关键点的区域。
在该实施例中，通过获取实时视频数据中的每一帧原始人脸图像，并检测人脸关键点的位置，并基于适配关系动态生成保护图案，使生成的保护图案覆盖在人脸图像上时，在保证对人脸图像保护的安全性、更难逆向破解的同时，使保护图案起到对人脸图像的装饰作用，以使得到的隐私保护图像具有一定的美观度而更容易被用户接受。
在一些实施例中，步骤S206中，基于人脸关键点的特征生成适配的保护图案的一种具体实现方式，包括：基于图案生成模型生成与人脸关键点的特征适配的保护图案。
在该实施例中，通过生成图案生成模型，基于保护图案生成算法动态生成保护图案，能够保证保护图案和人脸关键点的适配性和可靠性。
另外，图案生成模型生成的保护图案还可以实现颜色和亮度等图像参数的不间断动态调节，比如，在前一帧图像中采用A颜色和A亮度，在后一帧中调节为B颜色和B亮度。
在一些实施例中，步骤S206中，基于人脸关键点的特征生成适配的保护图案的另一种具体实现方式，包括：从图片库中随机选择装饰性图片作为和人脸关键点适配的保护图案。
在一些实施例中，基于图案生成模型生成与人脸关键点的特征适配的保护图案包括：从初始图集中随机选择至少一张原始图片；将原始图片和对应的标签输入图案生成模型，以输出保护图案，其中，标签和人脸关键点的特征对应。
在该实施例中，设置的初始图集适于为保护图案的形成提供丰富的素材，通过将初始图集中的原始图片和对应的标签输入图案生成模型，基于标签可以确定选择的图片对应的是哪些人脸关键点，以在生成保护图案后，能够覆盖在对应的区域。
另外，本领域的技术人员能够理解的是，也可以在不设置初始图集，直接随机生成原始图片。
在一些实施例中，图案生成模型包括至少一个生成式对抗网络，生成式对抗网络包括生成器和判别器，将原始图片和对应的标签输入图案生成模型，以输出保护图案的一种具体实现方式，包括：
基于标签和生成器生成初始图案。
其中，生成器用于基于原始图片生成保护图案。
将初始图案和原始图片输入判别器，以由判别器基于原始图片对初始图案进行真实性验证，将验证通过的初始图案确定为保护图案。
判别器用于判别生成的初始图案和原始图片相比是否可以以假乱真。
在该实施例中，通过采用生成式对抗网络构建图案生成模型，图案生成模型能够基于原始图片生成相似的保护图案，并使生成的保护图案在与原始图片保持相似的基础上，能够对其所要起到的遮盖作用基于标签进行适应性调整，从而在实现隐私保护的基础上，保证视觉上的舒适性。
具体地，生成式对抗网络的设置数量可以根据所需的保护图案的数量确定，比如，若只覆盖一个保护图案，则可以至设置一个生成式对抗网络，若需要覆盖多个保护图案，则可以设置多个生成式对抗网络，每个对抗网络输出一个保护图案。
如图3所示，在一些实施例中，基于标签和生成器生成初始图案包括：
步骤S302，将高斯白噪声序列和标签输入生成器，并依次经过全连接层和BN层得到对应的多维特征。
其中，高斯白噪声序列为一种随机序列。
步骤S304，将多维特征转换为具有指定分辨率和通道数的特征图。
步骤S306，对特征图进行多重反卷积处理，得到初始图案。
作为生成器的一种具体的实现方式，为将100维的高斯白噪声序列输入生成器，然后通过14592单元的全连接层和BN(Batch Normalization)层，得到14592维的多维特征，再将14592维的多维特征转换为分辨率为6×19、通道数为128的特征图，对特征图进行多重反卷积处理，具体为将特征图依次通过stride为2、输出通道数为128，输出大小为5×5的反卷积层和BN层，stride为2、输出通道数为64、输出大小为5×5的反卷积层和BN层、stride为2、输出通道数为32、输出大小为5×5的反卷积层和BN层，以及stride为2、输出通道数为3、输出大小为5×5反卷积层和tanh激活函数。
在一些实施例中，将初始图案和原始图片输入判别器，以由判别器基于原始图片对初始图案进行真实性验证包括：
步骤S308，将初始图案和原始图片输入判别器，基于多层级处理结构对初始图案和原始图片进行处理，得到判别向量。
步骤S310，基于sigmoid激活函数对判别向量进行激活输出，得到真实性概率；
步骤S312，若真实性概率大于概率阈值，则将初始图案确定为保护图案。
作为判别器的一种具体的实现方式，判别器的输入为分辨率112×112，具有RGB三个颜色通道的彩色图像，即初始图像和原始图片，将输入的图像和图片依次通过多层级处理结构，具体包括stride为2，输出通道数为32、输出大小为5×5的卷积层和LeakyReLU激活函数，stride为2，输出通道数为64、输出大小为5×5的卷积层、LeakyReLU激活函数和BN层、stride为2，输出通道数为128、输出大小为5×5的卷积层、Leaky ReLU激活函数和BN层，stride为2，输出通道数为64、输出大小为5×5的卷积层、、Leaky ReLU激活函数和BN层，1单元的全连接层和sigmoid激活函数，以基于sigmoid激活函数输出初始图案是否来自真实保护图案的二分类结果。
在一些实施例中，将初始图案和原始图片输入判别器，以由判别器基于原始图片对初始图案进行真实性验证，还包括：
步骤S314，若真实性概率小于或等于概率阈值，基于真实性概率优化图案生成模型。
在该实施例中，通过检测真实性概率是否小于或等于概率阈值，来识别保护图案的真实性，并基于识别结果优化生成网络，促使生成的保护图案的视觉感受更真实。
在一些实施例中，在将原始图片和对应的标签输入图案生成模型，以输出保护图案之前，还包括：对图案生成模型进行模型训练。
在一些实施例中，对图案生成模型进行模型训练包括：对生成器训练模型和判别器训练模型执行模型初始化操作；冻结生成器训练模型，并获取指定数量的原始图片样本；基于冻结的生成器训练模型获取保护图案样本；将原始图片样本和保护图案样本输入判别器训练模型执行二分类预测模型训练，并判别器损失模型的最大化更新判别器训练模型的参数，以生成判别器；冻结生成的判别器，并解冻生成器训练模型；基于解冻的生成器训练模型获取保护图案样本；将原始图片样本和保护图案样本输入生成的判别器，基于生成器损失模型的最小化执行模型训练，以生成生成器。
具体地，将判别器D的损失函数设置为式(1)：
L＝ExlogD(x(i))+Exlog(1-D(G(z(i)))) (1)
将生成器G的损失函数设置为式(2)：
L＝E[log(1-D(G(z)))] (2)
其中x为未添加扰动的样本，z为高斯白噪声序列，G()为生成器G的输出，D()表示判别器。
如图4所示，在一些实施例中，还包括：
步骤S402，基于多个识别模型识别得到的隐私保护图像，得到对应的多个识别结果。
步骤S404，确定识别结果中识别错误的数量占比，并检测数量占比是否大于比例阈值。
步骤S406，若数量占比大于比例阈值，则显示隐私保护图像。
步骤S408，若数量占比小于或等于比例阈值，则生成调整信息，以基于调整信息调整图案生成模型。
在该实施例中，通过设置集成有多个识别模型的多模型判别模块，以基于多个识别模型得到的多个识别结果判别得到的隐私保护图像是否能够达到保护隐私的需求，即判定鉴别融合后人脸图像的信息保护能力，从而在检测到识别错误的数量占比较大，即识别正确的数量占比较小时，表明隐私保护的能力较佳，并直接输出隐私保护图像，而在检测到识别错误的数量占比较小，即识别正确的数量占比较大时，表明隐私保护的能力不够，并基于错误识别占比及识别结果决定进入统计调节反馈模块再次更新保护图案。
如图5所示，在一些实施例中，步骤S408中，基于调整信息调整图案生成模型的一种具体实现方式，包括：
步骤S502，基于调整信息获取识别模型的决策热力图区域和识别置信度。
步骤S504，基于数量占比、决策热力图区域和识别置信度确定人脸图像中待改善的区域特征和区域数量。
步骤S506，基于所述区域特征和区域数量进行误差计算，得到误差损失。
步骤S508，基于反向传播算法和误差损失优化图案生成模型。
步骤S510，基于优化后的图案生成模型更新保护图案。
在该实施例中，作为网络优化的一种具体实现方式，通过基于前一阶段各模型识别决策热力图区域和识别置信度等信息分析保护图案的失败原因，更新下一次需要保护的区域坐标及区域个数，基于对人脸保护图像信息屏蔽显式监督，并基于结果通过反向传播优化生成网络，实现对保护图案的更新，以提升隐私保护的效果。
在一些实施例中，基于人脸关键点的特征生成适配的保护图案，还包括：确定人脸关键点所处区域的区域尺寸；基于区域尺寸对保护图案的尺寸进行调整，以与人脸关键点所处的区域适配。
在该实施例中，通过对保护图案的尺寸基于人脸关键点所处区域的区域尺寸进行适配调整，以保证保护图案能够准确的遮挡人脸图像上需要保护的区域，在实现对隐私部位的有效屏蔽的同时，能够使生成的隐私保护图案美观不突兀。
在一些实施例中，将保护图案覆盖在人脸关键点所处的区域，得到隐私保护图像包括：基于数字化纹理合成操作将保护图像覆盖在人脸关键点所处的区域。
在一些实施例中，还包括：基于获取到的切换指令确定切换方式；基于切换方式对实时视频帧中的人脸图像进行保护状态和暴露状态之间的切换。
在该实施例中，通过接收切换指令，以基于切换指令灵活切换人脸图像处于保护状态或正常暴露状态，处于保护状态时保护隐私，输出遮挡后的修改图像，处于正常暴露状态时，完成人脸识别交互验证，进一步将人脸识别与隐私保护紧密结合在一起。
在一些实施例中，还包括：基于预设的调节频率调节不同的实时视频帧中的保护图案的颜色和/或亮度。
如图6所示，根据本公开的又一个实施例的人脸图像保护方法，具体包括：
步骤S602，检测实时视频中的人脸图像和人脸上的关键点位置。
具体为获取实时视频数据中的每一帧原始人脸图像并检测关键点位置。
步骤S604，基于保护图案生成模型动态生成保护图案，其中，保护图案的形状、颜色和亮度等可以不断更新变化。
具体地，基于保护图案生成模型，动态生成保护图案。保护图案包括但不限于眼镜，口罩等用户易于接受且友好的形状；保护图案可以不间断更新变化，颜色亮度等可变。
步骤S606，基于关键点的位置将保护图案覆盖在人脸的对应区域。
具体地，将保护图案覆盖于人脸图像局部相应位置，灵活切换人脸图像的保护或正常暴露状态；处于保护状态时保护隐私，输出遮挡后的修改图像。处于正常暴露状态时，完成人脸识别交互验证，进一步将人脸识别与隐私保护紧密结合在一起，动态调整人脸图像关键区域保护区域并不断生成变化多样的保护图案，增加了隐私保护的安全性，更难逆向破解。保护图案友好，用户可接受度更高。操作上更加灵活，可以随时切换人脸图像的保护或正常暴露状态，进一步将人脸识别与隐私保护紧密结合在一起，用户体验感更优，算法全流程适用性更强。
步骤S608，将人脸图像在保护状态和正常暴露状态之间进行切换。
在该实施例中，通过获取实时视频数据中的每一帧原始人脸图像并检测关键点位置，基于保护图案生成模型，动态生成保护图案，将保护图案覆盖于人脸图像局部相应位置，灵活切换人脸图像的保护或正常暴露状态。
如图7所示，通过实时视频流获得图片，并基于人脸检测模型获取视频数据中的每一帧原始人脸图像并检测关键点位置，其中，人脸检测模型可以是预先训练的模型，还可以是第三方的人脸检测模型。
如图8所示，关键点包含65个坐标，覆盖人脸关键区域主要器官定位，具体包括:眼睛，鼻子，嘴巴，眉毛，脸部内外轮廓等。根据人脸关键点，在人脸图像的人脸区域中确定部分区域，作为人脸关键区域，进行后续隐私保护处理。
如图9所示，基于图案生成模型生成保护图案。
如图10所示，将保护图案覆盖在人脸图像的对应区域上。
其中，本领域技术人员能够理解的是，上述图中展示的仅为多种不同的保护图案的一种实施方式，实际操作中算法可以生成多张友好性图案，分别遮盖人脸关键区域多个器官，并实现多个图案固定间隔时间颜色等变化，力求通过不断变化组合的图案保护相应遮挡区域信息，增加试图窃取信息、可逆破解的复杂度，实时视频流中保护图案随用户人脸区域在摄像头视野中的变化而实时变化，并始终完美契合在相应位置，最大程度实现整体感官上和谐，与现实中人脸佩戴小物件一样，在视觉上能够保证不具有违和感。
如图11所示，根据本公开的又一个实施例的人脸图像保护方法，具体包括：
步骤S1102，在目标人脸所在的视频中检测人脸图像和关键点位置。
步骤S1104，从保护图案初始图集中随机选择原始图片。
步骤S1106，基于保护图案生成模型生成保护图案。
步骤S1108，检测保护图案的真实性概率是否大于概率阈值，若“是”，进入步骤S1110，若“否”，返回步骤S1106。
步骤S1110，对保护图案进行自适应处理。
步骤S1112，基于关键点位置将保护图案和人脸图像进行覆盖式融合，得到隐私保护图像。
步骤S1114，基于多模型判别模块检测隐私保护图像是否满足隐私保护需求，若“是”，进入步骤S1116，若“否”，进入步骤S1118。
步骤S1116，输出隐私保护图像。
步骤S1118，基于决策热力图、识别错误占比和识别置信度生成模型优化反馈信息。
具体地，随机选择要生成的图案形状。将对应形状的真实图案数据及标签输入图案生成模型，生成对应保护图案。此处图案生成模型可以是一个或多个生成对抗网络，可以同时生成一个或者多个图案。所生成的图案可以是口罩、眼镜、脸部装饰品等。基于初始数据集的多样性，生成的保护图案形状、颜色、亮度可以不断更新变化。基于判别器判定鉴别生成的友好图案的真实性，并基于识别结果优化生成网络，促使生成图案视觉感受真实。根据所生成的图案选择相应区域的关键点，与相应的人脸待保护区域融合，生成人脸关键区域保护图像，视觉感受和谐。此时人脸图像可以有一个或者多个区域保护图案。自适应处理，调节生成图案大小与个体人脸区域相适应。根据所生成的图案选择相应区域的关键点，与相应的人脸待保护区域融合，生成人脸关键区域保护图像，视觉感受和谐。此时人脸图像可以有一个或者多个区域保护图案。基于保护图案的数量和单个保护图案的质量，人脸信息难以可逆泄露。基于多模型判别模块，判断模块中集成有多种现有主流人脸识别模型，判定鉴别融合后人脸图像的信息保护能力。基于错误识别占比及识别结果决定直接输出或者进入统计调节反馈模块再次更新保护图案。统计调节反馈模块，分析保护图案失败原因，基于前一阶段各模型识别决策热力图区域、识别置信度情况，更新下一次需要保护的区域坐标及区域个数，基于对人脸保护图像信息屏蔽显式监督，并基于结果优化生成网络。通过反向传播更新保护图案，加固信息防护能力，抵御主流人脸识别模型。
初始样本数据集是从数以万计与实验设定的保护图案一样的数据集，此处图案包含但不仅限于眼镜，口罩等更易让用户可接受的现实世界实物。假定此时保护图案是眼镜，则原始采集的数据集包括了各种各样不同背景、颜色、亮度等变化因素的眼睛图片。基于训练，保护图案生成模型可以生成出不同形状、颜色、亮度的眼镜框图像，将纹理从框架合成到固定形状的眼镜上，此形式多样的眼镜框可以屏蔽人脸眼镜区域的信息。同样的，基于另外一个形状的保护图案可以屏蔽人脸关键区域另一位置的隐私信息。通过多个形状不同、不间断更新变化的保护图案，可以实现保护图案“小而精且友好”，不需要覆盖全部人脸，可以足够屏蔽信息，完美保护人脸区域信息，同时获得更高的用户接受度。
GAN网络主要包含：用于判断所生成保护图案是否真实的判别器D：判别器D输入为分辨率112×112，具有RGB三个颜色通道的彩色图像，接着依次通过stride为2的32通道输出5×5卷积层、LeakyReLU激活函数、stride为2的64通道输出5×5卷积层LeakyReLU激活函数、BN层、stride为2的128通道输出5×5卷积层、Leaky ReLU激活函数、BN层、stride为2的64通道输出5×5卷积层、Leaky ReLU激活函数、BN层、1单元的全连接层、sigmoid激活函数，输出待测图像是否来自真实保护图案的二分类结果；用于生成指定保护图案生成器G：生成器G输入为100维的高斯白噪声序列，其后通过14592单元的全连接层、BN层，再将14592维特征转换为分辨率6×19、通道数128的特征图，特征图其后依次通过stride为2的128通道输出5×5反卷积层、BN层、stride为2的64通道输出5×5反卷积层、BN层、stride为2的32通道输出5×5反卷积层、BN层stride为2的3通道输出5×5反卷积层、tanh激活函数。
网络训练所需损失函数：判别器D的损失函数和判别器D的损失函数。将判别器D的损失函数设置为式(1)：
L＝ExlogD(x(i))+Exlog(1-D(G(z(i)))) (1)
其中x为未添加扰动的样本，z为高斯白噪声序列，G()为生成器G的输出，D()表示判别器。
将生成器G的损失函数设置为式(2)：
L＝E[log(1-D(G(z)))] (2)
将实际原始样本及标签输入整体的训练网络，并使用参数初始化方法对网络参数进行初始化，设置模型优化算法，采用Adam参数优化算法进行参数优化，分别设置学***滑参数β1、二阶平滑参数β2和避免运算过程中分母为0的常数e；
具体GAN网络训练过程包括：冻结生成器G，解冻判别器D参数，获取一定数量的原始图像样本，同时获取同样数量的高斯白噪声序列样本，利用生成器G获取保护图案样本，将原始图像样本及生成样本送入判别器D进行训练，以判别器损失函数L最大化为目标调整判别器D参数；冻结判别器D，解冻生成器G参数，获取一定数量的原始图像样本，同时获取同样数量的高斯白噪声序列样本，利用生成器G获取保护图案样本，将原始图像样本及生成样本送入判别器D进行训练，以生成器损失函数L最小化为目标调整生成器G参数；重复进行上述操作，直至网络参数趋于稳定。
将保护图案覆盖于人脸图像局部相应位置，灵活切换人脸图像的保护或正常暴露状态。通过图案生成网络生成保护图案，为了将多样化的保护图案有效地对齐到人脸图像相应器官，而不是简单粗暴覆盖在人脸随便区域上。首先，对人脸图像进行预处理，利用面部分析再次来获得每个图像中相应器官位置的坐标；然后，将生成的保护图像数字化纹理合成覆盖在人脸图像中相应区域。灵活切换人脸图像的保护或正常暴露状态。处于保护状态时人脸部分区域得到保护图案遮挡，信息得到保护，可以输出遮挡后的修改图像；正常暴露状态时，人脸图像关键区域完全无遮挡，人脸信息进行隐私保护处理，可以完成正常人脸识别交互验证。在人脸隐私保护和主观识别上做到了较好的权衡，通过本方法得到的隐私图像，去除了原图像部分生物特征，屏蔽终端机器获取人脸信息的可能，且图像没有出现严重的失真，仍保留了良好的人眼主观识别。
如图12所示，根据本公开的又一个实施例的人脸图像保护方法，具体包括：
步骤S1202，基于人脸检测模型检测视频中的人脸图像。
步骤S1204，基于人脸图像中的关键点位置和特征生成保护图案。
步骤S1206，将保护图案覆盖在人脸图像上，以进行人脸隐私信息主动保护，得到隐私保护图像。
步骤S1208，将人脸图像在保护状态和正常暴露状态之间进行切换。
步骤S1210，检测是否获取到用户的授权指示，若“是”，进入步骤S1212，若“否”，返回步骤S1214。
步骤S1212，执行人脸相关的操作。
步骤S1214，执行数据销毁操作。
下面参照图13来描述根据本发明的这种实施方式的一种人脸图像保护装置1300。图13所示的人脸图像保护装置1300仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
人脸图像保护装置1300以硬件模块的形式表现。人脸图像保护装置1300的组件可以包括但不限于：获取模块1302，用于获取实时视频帧；检测模块1304，用于检测实时视频帧中的人脸图像，并提取人脸图像中的人脸关键点；生成模块1306，用于基于人脸关键点的特征生成适配的保护图案；覆盖模块1308，用于将保护图案覆盖在人脸关键点所处的区域，得到隐私保护图像。
如图14所示，专网分流设备为电子设备，具体为电子设备，电子设备1400以通用计算设备的形式表现。电子设备1400的组件可以包括但不限于：上述至少一个处理单元1410、上述至少一个存储单元1420、连接不同***组件(包括存储单元1420和处理单元1410)的总线1430。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1410执行，使得所述处理单元1410执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1410可以执行如图2中所示的步骤S202与步骤S208所描述的方案。
存储单元1420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)14201和/或高速缓存存储单元14202，还可以进一步包括只读存储单元(ROM)14203。
存储单元1420还可以包括具有一组(至少一个)程序模块14205的程序/实用工具14204，这样的程序模块14205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1400也可以与一个或多个外部设备1460(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1400交互的设备通信，和/或与使得该电子设备1400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1440进行。并且，电子设备1400还可以通过网络适配器1450与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1450通过总线1430与电子设备1400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者电子设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者电子设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (19)

1.一种人脸图像保护方法，其特征在于，包括：
获取实时视频帧；
检测所述实时视频帧中的人脸图像，并提取所述人脸图像中的人脸关键点；
基于所述人脸关键点的特征生成适配的保护图案；
将所述保护图案覆盖在所述人脸关键点所处的区域，得到隐私保护图像。
2.根据权利要求1所述的人脸图像保护方法，其特征在于，所述基于所述人脸关键点的特征生成适配的保护图案包括：
基于图案生成模型生成与所述人脸关键点的特征适配的所述保护图案。
3.根据权利要求2所述的人脸图像保护方法，其特征在于，所述基于图案生成模型生成与所述人脸关键点的特征适配的所述保护图案包括：
从初始图集中随机选择至少一张原始图片；
将所述原始图片和对应的标签输入所述图案生成模型，以输出所述保护图案，
其中，所述标签和所述人脸关键点的特征对应。
4.根据权利要求3所述的人脸图像保护方法，其特征在于，所述图案生成模型包括至少一个生成式对抗网络，所述生成式对抗网络包括生成器和判别器，所述将所述原始图片和对应的标签输入所述图案生成模型，以输出所述保护图案包括：
基于所述标签和所述生成器生成初始图案；
将所述初始图案和所述原始图片输入所述判别器，以由所述判别器基于所述原始图片对所述初始图案进行真实性验证，将验证通过的所述初始图案确定为所述保护图案。
5.根据权利要求4所述的人脸图像保护方法，其特征在于，所述基于所述标签和所述生成器生成初始图案包括：
将高斯白噪声序列和所述标签输入所述生成器，并依次经过全连接层和BN层得到对应的多维特征；
将所述多维特征转换为具有指定分辨率和通道数的特征图；
对所述特征图进行多重反卷积处理，得到所述初始图案。
6.根据权利要求4所述的人脸图像保护方法，其特征在于，所述将所述初始图案和所述原始图片输入所述判别器，以由所述判别器基于所述原始图片对所述初始图案进行真实性验证包括：
将所述初始图案和所述原始图片输入所述判别器，基于多层级处理结构对所述初始图案和所述原始图片进行处理，得到判别向量；
基于sigmoid激活函数对所述判别向量进行激活输出，得到真实性概率；
若所述真实性概率大于概率阈值，则将所述初始图案确定为所述保护图案。
7.根据权利要求6所述的人脸图像保护方法，其特征在于，所述将所述初始图案和所述原始图片输入所述判别器，以由所述判别器基于所述原始图片对所述初始图案进行真实性验证，还包括：
若所述真实性概率小于或等于所述概率阈值，基于所述真实性概率优化所述图案生成模型。
8.根据权利要求4所述的人脸图像保护方法，其特征在于，在将所述原始图片和对应的标签输入所述图案生成模型，以输出所述保护图案之前，还包括：
对所述图案生成模型进行模型训练。
9.根据权利要求8所述的人脸图像保护方法，其特征在于，所述对所述图案生成模型进行模型训练包括：
对生成器训练模型和判别器训练模型执行模型初始化操作；
冻结生成器训练模型，并获取指定数量的原始图片样本；
基于冻结的所述生成器训练模型获取保护图案样本；
将所述原始图片样本和所述保护图案样本输入所述判别器训练模型执行二分类预测模型训练，并判别器损失模型的最大化更新所述判别器训练模型的参数，以生成所述判别器；
冻结生成的所述判别器，并解冻所述生成器训练模型；
基于解冻的所述生成器训练模型获取所述保护图案样本；
将所述原始图片样本和所述保护图案样本输入生成的所述判别器，基于生成器损失模型的最小化执行模型训练，以生成所述生成器。
10.根据权利要求2所述的人脸图像保护方法，其特征在于，还包括：
基于多个识别模型识别得到的所述隐私保护图像，得到对应的多个识别结果；
确定所述识别结果中识别错误的数量占比，并检测所述数量占比是否大于比例阈值；
若所述数量占比大于所述比例阈值，则显示所述隐私保护图像；
若所述数量占比小于或等于所述比例阈值，则生成调整信息，以基于所述调整信息调整所述图案生成模型。
11.根据权利要求10所述的人脸图像保护方法，其特征在于，所述基于所述调整信息调整所述图案生成模型包括：
基于所述调整信息获取所述识别模型的决策热力图区域和识别置信度；
基于所述数量占比、所述决策热力图区域和所述识别置信度确定所述人脸图像中待改善的区域特征和区域数量；
基于所述区域特征和区域数量进行误差计算，得到误差损失；
基于反向传播算法和所述误差损失优化所述图案生成模型图案生成模型；
基于优化后的所述图案生成模型更新所述保护图案。
12.根据权利要求1所述的人脸图像保护方法，其特征在于，所述提取所述人脸图像中的人脸关键点包括：
基于人脸器官特征确定所述人脸关键点；
确定所述人脸关键点的位置坐标；
基于所述位置坐标划分所述人脸关键点所处的区域，
所述人脸器官特征包括眼睛、鼻子、嘴巴、眉毛、脸部轮廓和脸内部件轮廓中的至少一种。
13.根据权利要求12所述的人脸图像保护方法，其特征在于，所述基于所述人脸关键点的特征生成适配的保护图案，还包括：
确定所述人脸关键点所处区域的区域尺寸；
基于所述区域尺寸对所述保护图案的尺寸进行调整，以与所述人脸关键点所处的区域适配。
14.根据权利要求1所述的人脸图像保护方法，其特征在于，所述将所述保护图案覆盖在所述人脸关键点所处的区域，得到隐私保护图像包括：
基于数字化纹理合成操作将所述保护图像覆盖在所述人脸关键点所处的区域。
15.根据权利要求1至14中任一项所述的人脸图像保护方法，其特征在于，还包括：
基于获取到的切换指令确定切换方式；
基于所述切换方式对所述实时视频帧中的人脸图像进行保护状态和暴露状态之间的切换。
16.根据权利要求1至14中任一项所述的人脸图像保护方法，其特征在于，还包括：
基于预设的调节频率调节不同的所述实时视频帧中的所述保护图案的颜色和/或亮度。
17.一种人脸图像保护装置，其特征在于，包括：
获取模块，用于获取实时视频帧；
检测模块，用于检测所述实时视频帧中的人脸图像，并提取所述人脸图像中的人脸关键点；
生成模块，用于基于所述人脸关键点的特征生成适配的保护图案；
覆盖模块，用于将所述保护图案覆盖在所述人脸关键点所处的区域，得到隐私保护图像。
18.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～16中任意一项所述的人脸图像保护方法。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～16中任意一项所述的人脸图像保护方法。
CN202210910622.2A 2022-07-29 2022-07-29 人脸图像保护方法、保护装置、电子设备和可读存储介质 Active CN115272534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210910622.2A CN115272534B (zh) 2022-07-29 2022-07-29 人脸图像保护方法、保护装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210910622.2A CN115272534B (zh) 2022-07-29 2022-07-29 人脸图像保护方法、保护装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN115272534A true CN115272534A (zh) 2022-11-01
CN115272534B CN115272534B (zh) 2024-02-02

Family

ID=83747486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210910622.2A Active CN115272534B (zh) 2022-07-29 2022-07-29 人脸图像保护方法、保护装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN115272534B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427918A (zh) * 2018-02-12 2018-08-21 杭州电子科技大学 基于图像处理技术的人脸隐私保护方法
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测***对抗样本生成方法
CN111274602A (zh) * 2020-01-15 2020-06-12 腾讯科技（深圳）有限公司 一种图像特征信息替换方法、装置、设备及介质
CN111814194A (zh) * 2020-09-04 2020-10-23 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备
CN113223101A (zh) * 2021-05-28 2021-08-06 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置及设备
CN113343878A (zh) * 2021-06-18 2021-09-03 北京邮电大学 基于生成对抗网络的高保真人脸隐私保护方法和***
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN114169002A (zh) * 2021-12-07 2022-03-11 杭州电子科技大学 一种关键点差分隐私驱动的人脸图像隐私保护方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427918A (zh) * 2018-02-12 2018-08-21 杭州电子科技大学 基于图像处理技术的人脸隐私保护方法
CN110443203A (zh) * 2019-08-07 2019-11-12 中新国际联合研究院 基于对抗生成网络的人脸欺骗检测***对抗样本生成方法
CN111274602A (zh) * 2020-01-15 2020-06-12 腾讯科技（深圳）有限公司 一种图像特征信息替换方法、装置、设备及介质
WO2021258920A1 (zh) * 2020-06-24 2021-12-30 百果园技术(新加坡)有限公司 生成对抗网络训练方法、图像换脸、视频换脸方法及装置
CN111814194A (zh) * 2020-09-04 2020-10-23 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备
CN113223101A (zh) * 2021-05-28 2021-08-06 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置及设备
CN113343878A (zh) * 2021-06-18 2021-09-03 北京邮电大学 基于生成对抗网络的高保真人脸隐私保护方法和***
CN114169002A (zh) * 2021-12-07 2022-03-11 杭州电子科技大学 一种关键点差分隐私驱动的人脸图像隐私保护方法

Also Published As

Publication number Publication date
CN115272534B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN112215927B (zh) 人脸视频的合成方法、装置、设备及介质
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN114913565B (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
CN109902767B (zh) 模型训练方法、图像处理方法及装置、设备和介质
JP2021114279A (ja) 画像の生成方法、生成装置、電子機器、コンピュータ可読媒体およびコンピュータプログラム
CN111696029B (zh) 虚拟形象视频生成方法、装置、计算机设备及存储介质
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN109982036A (zh) 一种全景视频数据处理的方法、终端以及存储介质
CN115914505B (zh) 基于语音驱动数字人模型的视频生成方法及***
Dagar et al. A literature review and perspectives in deepfakes: generation, detection, and applications
AU2005305293B2 (en) A method for generating a composite image
CN114187547A (zh) 目标视频的输出方法及装置、存储介质及电子装置
Liu et al. Spoof trace disentanglement for generic face anti-spoofing
CN114783017A (zh) 基于逆映射的生成对抗网络优化方法及装置
CN115272534B (zh) 人脸图像保护方法、保护装置、电子设备和可读存储介质
CN116798129A (zh) 一种活体检测方法、装置、存储介质及电子设备
CN113033747B (zh) 一种用于人机识别的图形识别码生成方法
CN116958306A (zh) 图像合成方法和装置、存储介质及电子设备
KR102498056B1 (ko) 메타버스내 메타휴먼의 생성 시스템 및 방법
CN116129534A (zh) 一种图像活体检测方法、装置、存储介质及电子设备
CN114612991A (zh) 攻击人脸图片的转换方法及装置、电子设备及存储介质
CN114270301A (zh) 代理提供***、代理提供方法和记录介质
CN116704588B (zh) 面部图像的替换方法、装置、设备及存储介质
EP4246459A1 (en) Generating training and/or testing data of a face recognition system for improved reliability
CN116843806B (zh) 人脸动画合成方法、***和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant