CN111539382A - 一种图像识别模型隐私风险的评估方法、装置及电子设备 - Google Patents

一种图像识别模型隐私风险的评估方法、装置及电子设备 Download PDF

Info

Publication number
CN111539382A
CN111539382A CN202010442718.1A CN202010442718A CN111539382A CN 111539382 A CN111539382 A CN 111539382A CN 202010442718 A CN202010442718 A CN 202010442718A CN 111539382 A CN111539382 A CN 111539382A
Authority
CN
China
Prior art keywords
recognition model
image
target object
reverse
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010442718.1A
Other languages
English (en)
Inventor
翁海琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010442718.1A priority Critical patent/CN111539382A/zh
Publication of CN111539382A publication Critical patent/CN111539382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种图像识别模型隐私风险的评估方法。其中，方法包括：基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据。将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练。基于所述目标对象对应的原始图像和逆向图像的相似度，评估所述图像识别模型的隐私风险。

Description

一种图像识别模型隐私风险的评估方法、装置及电子设备
技术领域
本文件涉及数据安全技术领域，尤其涉及一种图像识别模型隐私风险的评估方法。
背景技术
深度学习模型凭借具有机械化处理信息的能力，已得到了越来越广泛的使用。图像识别模型(例如人脸识别模型)就是其中一种常见的业务形态化的模型。图像识别模型的原理是对待识别对象的图像特征与样本对象的图像特征进行近似匹配，从而确定出待识别对象的身份。
现阶段，图像识别模型的构建尚未考虑隐私性的问题，模型参数一但公开，存在对图像特征进行模型逆向工程，还原回图像的可能。在很多业务场景中，这些图像属于隐私信息，为此，当前亟需一种针对图像识别模型隐私风险的评估方案，可为图像识别模型的投放策略提供一定参考。
发明内容
本说明书实施例目的是提供一种图像识别模型隐私风险的评估方法，能够评估图像识别模型是否存在隐私风险。
为了实现上述目的，本说明书实施例是这样实现的：
第一方面，提供一种图像识别模型隐私风险的评估方法，包括：
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练；
基于所述目标对象对应的原始图像和逆向图像的相似度，评估所述图像识别模型的隐私风险。
第二方面，提供一种图像识别模型隐私风险的评估装置，包括：
特征获取模块，基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
图像还原模块，将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练；
隐私评估模块，基于所述目标对象对应的原始图像和逆向图像，评估所述图像识别模型的隐私风险。
第三方面，提供一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练；
基于所述目标对象对应的原始图像和逆向图像的相似度，评估所述图像识别模型的隐私风险。
第四方面，提供一种算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练；
基于所述目标对象对应的原始图像和逆向图像的相似度，评估所述图像识别模型的隐私风险。
本说明书实施例的方案基于图像识别模型中的输入向量，构建相反表达的输入向量的逆向模型，并以样本对象对应的原始图像为输出、样本对象在对应的原始图像中的特征数据为输入对逆向模型进行训练，使逆向模型具有逆向还原图像的能力。之后，将图像识别模型从目标对象的原始图像中识别的特征数据输入至逆向模型，由逆向模型给出目标对象对应的逆向图像，从通过目标对象对应的原始图像和逆向图像的相似度，来评估图像识别模型的隐私风险，可对图像识别模型的投放策略提供一定的参考，具有避免隐私泄露的作用。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的图像识别模型隐私风险的评估方法的第一种流程示意图。
图2为本说明书实施例提供的图像识别模型隐私风险的评估方法的第二种流程示意图。
图3为本说明书实施例提供的图像识别模型隐私风险的评估装置的结构示意图。
图4为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
现阶段，图像识别模型的构建尚未考虑隐私性的问题，模型参数一但公开，存在对图像特征进行模型逆向工程，还原回图像的可能。在很多业务场景中，这些图像属于隐私信息。因此图像识别模型投放后，存在隐私泄露的风险。特别是在“联邦建模”的大背景下，模型共享化成为未来的一种趋势，模型参数不再属于敏感信息。未来开元的图像识别模型对隐私保护提出了十分严峻的挑战。
为此，本文件旨在提供一种针对图像识别模型隐私风险的评估方案，能够准确量化图像识别模型的隐私性能，为图像识别模型的投放策略提供一定参考。
图1是本说明书实施例图像识别模型隐私风险的评估方法的流程图。图1所示的方法可以由下文相对应的装置执行，包括：
步骤S102，基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到目标对象的特征数据。
本说明书实施例中，目标对象的原始图像用于验证图像识别模型的隐私性能。
图像识别模型中的输入向量是变量的表达规则，对于隐私性保护高的图像识别模型，输入向量会具有对变量不可逆或近乎不可逆的加密表达能力，但目前尚未对图像识别模型的隐私性有要求的认知，因此。很多图像识别模型在构建是，并未考虑到输入向量的加密表达能力。
在本步骤中，可以将目标对象的原始图像输入至图像识别模型，从图像识别模型的至少一种功能层(例如嵌入Embedding层)中的输入向量处，提取到图像识别模型识别到的目标对象在原始图像中的特征数据。
步骤S104，将目标对象的特征数据输入至图像识别模型对应的逆向模型，得到目标对象对应的逆向图像，其中，逆向模型具有与图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、样本对象在对应的原始图像中的特征数据为输入进行训练。
比如，图像识别模型为卷积神经网络模型，则通过图像识别模型中卷积层的输入向量对特征数据还原回图像的过程就是使用卷积层的输入向量矢量相反的卷积操作对特征数据进行逆向表达。
因此，可以根据与图像识别模型中的输入向量相反表达的输入向量来构建逆向模型。在逆向模型构建完成后，基于样本对象对应的原始图像、样本对象在对应的原始图像中的特征数据对逆向模型进行训练。
在逆向模型的训练过程中，使用已有的样本对象在对应的原始图像中的特征数据输入至逆向模型，可以得到预设学习模型给出的训练结果。这个训练结果即样本对象对应的逆向图像。本说明书实施例可以基于最大似然估计所推导出的损失函数，计算出样本对象的原始图像与逆向图像之间的误差值，并以降低误差值为目的，对逆向模型中的参数进行调整(例如输入向量的权重系数)，从而达到训练效果。
显然，逆向模型在训练完成后具有基于图像中特征数据逆向还原回图像的能力。将步骤S102中得到的目标对象的特征数据输入至逆向模型，即可得到目标对象对应的逆向图像。
步骤S106，基于目标对象对应的原始图像和逆向图像的相似度，评估图像识别模型的隐私风险。
应理解，图像之间的相似度的计算方法并不唯一，本文不作具体限定。
作为示例性介绍，本步骤可以计算目标对象对应的原始图像和逆向图像之间的数学距离(例如欧氏距离、曼哈顿距离、切比雪夫距离、汉明距离中的至少一者)，并基于数学距离，确定图像识别模型的隐私风险。
显然，数学距离取值大小与图像识别模型的隐私风险程度呈负相关。也就说，数学距离的取值越小，则表示目标对象对应的原始图像和逆向图像的相似度越高，图像识别模型对隐私的保护性越差。
本说明书实施例的评估方法基于图像识别模型中的输入向量，构建相反表达的输入向量的逆向模型，并以样本对象对应的原始图像为输出、样本对象在对应的原始图像中的特征数据为输入对逆向模型进行训练，使逆向模型具有逆向还原图像的能力。之后，将图像识别模型从目标对象的原始图像中识别的特征数据输入至逆向模型，由逆向模型给出目标对象对应的逆向图像，从通过目标对象对应的原始图像和逆向图像的相似度，来评估图像识别模型的隐私风险，可对图像识别模型的投放策略提供一定的参考，具有避免隐私泄露的作用。
下面结合实际的应用场景对本说明书实施例的方法进行示例介绍。
本应用场景对人脸识别模型的隐私风险进行评估。人脸图像是用户的隐私信息，一旦人脸识别模型可以被逆向还原人脸图像，则存在严重的个人信息泄露的风险。
为此，本应用场景预先针对人脸识别模型，设置对应的逆向模型。具体地，可以采用变分自编码器模型和/或对抗网络模型来作为逆向模型，利用自编码器模型和/或对抗网络模型中的解密器作为逆向架构，逆向架构包含有与人脸识别模型中输入向量表达相反的输入向量。这里需要说明的，人脸识别模型与逆向模型可以属于不用类型的模型。
在得到逆向模型后，即可对人脸识别模型的隐私性能进行评估，对应的流程主要包括以下步骤：
步骤S201，将目标用户的原始人脸图像输入至人脸识别模型，获取人脸识别模型中的输入向量对原始人脸图像进行表征的特征数据。
应理解，人脸识别模型中具有不同的功能层，不同的功能层可能对应有不同的输入向量。本步骤所使用的人脸识别模型中的输入向量可以是人脸识别模型中用于对原始人脸图像进行表征的任何输入向量。
步骤S202，将目标用户在原始人脸图像中的特征数据输入至针对人脸识别模型设置的逆向模型中，得到逆向模型输出的目标用户的逆向人脸图像。
步骤S203，计算目标用户的原始人脸图像与目标用户的逆向人脸图像的相似度。
本步骤可以直接使用设置好的用户识别模型来计算目标用户的原始人脸图像与目标用户的逆向人脸图像的相似度。即，通过目标用户的人脸图像特征以及目标用户的识别分类标签对用户识别模型进行有监督训练，在训练完成后，用户识别模型具有识别目标用户的能力。之后，将目标用户的逆向人脸图像输入至用户识别模型，由用户识别模型提供识别结果。
这个识别结果可以直接指示是否基于目标用户的逆向人脸图像识别出目标用户，比如，用户识别模型输入结果为“1”，则表示能够基于目标用户的逆向人脸图像识别出目标用户，目标用户的原始人脸图像与目标用户的逆向人脸图像具有相似度；反之，用户识别模型输入结果为“0”表示能够基于目标用户的逆向人脸图像识无法别出目标用户，目标用户的原始人脸图像与目标用户的逆向人脸图像不具有相似度。
或者，识别结果也可以通过预设的区间中的取值指示逆向人脸图像属于目标用户的人脸图像的置信度。比如，设置置信度的取值区间为[0,100]，用户识别模型输入结果为“90”，则表示基于目标用户的逆向人脸图像识别出目标用户可能性较大，对应地，目标用户的原始人脸图像与目标用户的逆向人脸图像的相似度也就越高；反之，用户识别模型输入结果为“20”，则表示基于目标用户的逆向人脸图像识别出目标用户可能性较小，对应地，目标用户的原始人脸图像与目标用户的逆向人脸图像的相似度也就越低。
步骤S304，基于目标用户的原始人脸图像与目标用户的逆向人脸图像的相似度，评估人脸识别模型的隐私性能。
具体地，本步骤可以基于目标用户的原始人脸图像与目标用户的逆向人脸图像的相似度和逆向人脸图像其他图像指标(如逆向人脸图像的清晰度)综合量化出人脸识别模型的隐私性能。
应理解，基于目标用户的原始人脸图像与目标用户的逆向人脸图像的相似度，评估人脸识别模型的隐私性能属于数学上的量化步骤，因此方法并不唯一，本文不再一一举例赘述。
需要说明的是，获得的人脸识别模型隐私风险的评估结果用于指定人脸识别模型的投放策略。
比如，对于尚未投放的人脸识别模型，如果存在隐私风险，则拒绝对人脸识别模型进行投放，打回进行调整(例如，重新涉及输入向量，实现不可逆加密能力)；在一定的安全环境下，投放使用人脸识别模型。
而对于已经投放的人脸识别模型，则可以进行下线调整；或者，也可以投放在更高安全措施的环境下进行使用。
以上是对本说明书实施例的方法的介绍。应理解，在不脱离本文上述原理基础之上，还可以进行适当的变化，这些变化也应视为本说明书实施例的保护范围。
与上述方法相对应地，本说明书实施例还提供一种图像识别模型隐私风险的评估装置。图3是本说明书实施例评估装置300的结构图，包括：
特征获取模块310，基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据。
图像还原模块320，将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练。
隐私评估模块330，基于所述目标对象对应的原始图像和逆向图像，评估所述图像识别模型的隐私风险。
本说明书实施例的评估装置基于图像识别模型中的输入向量，构建相反表达的输入向量的逆向模型，并以样本对象对应的原始图像为输出、样本对象在对应的原始图像中的特征数据为输入对逆向模型进行训练，使逆向模型具有逆向还原图像的能力。之后，将图像识别模型从目标对象的原始图像中识别的特征数据输入至逆向模型，由逆向模型给出目标对象对应的逆向图像，从通过目标对象对应的原始图像和逆向图像的相似度，来评估图像识别模型的隐私风险，可对图像识别模型的投放策略提供一定的参考，具有避免隐私泄露的作用。
可选地，所述样本对象在对应的原始图像中的至少部分特征数据是基于所述图像识别模型中的输入向量，对所述样本对象对应的原始图像进行特征提取获得的。
可选地，所述图像识别模型的隐私风险的评估结果用于确定所述图像识别模型的投放策略。
可选地，所述特征获取模块310具体基于图像识别模型的嵌入层中的输入向量，对目标对象对应的原始图像进行特征提取。
可选地，隐私评估模块330在执行时，具体计算所述目标对象对应的原始图像和逆向图像之间的数学距离；之后，基于所述数学距离，确定所述图像识别模型的隐私风险，其中，所述数学距离取值大小与所述图像识别模型的隐私风险程度呈负相关。所述数学距离包括欧氏距离、曼哈顿距离、切比雪夫距离、汉明距离中的至少一者。
可选地，所述逆向模型包括变分自编码器模型和生成对抗网络模型中的至少一者。
可选地，图像识别模型为人脸识别模型，所述目标对象和所述样本对象对应的原始图像均属于人脸图像。
显然，本说明书实施例的评估装置可以作为上述图1所示的评估方法的执行主体，因此实现该评估方法在图1和图2所实现的功能。由于原理相同，本文不再赘述。
图4是本说明书的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述图像识别模型隐私风险的评估装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练；
基于所述目标对象对应的原始图像和逆向图像的相似度，评估所述图像识别模型的隐私风险。
本说明书实施例的电子设备能够基于图像识别模型中的输入向量，构建相反表达的输入向量的逆向模型，并以样本对象对应的原始图像为输出、样本对象在对应的原始图像中的特征数据为输入对逆向模型进行训练，使逆向模型具有逆向还原图像的能力。之后，将图像识别模型从目标对象的原始图像中识别的特征数据输入至逆向模型，由逆向模型给出目标对象对应的逆向图像，从通过目标对象对应的原始图像和逆向图像的相似度，来评估图像识别模型的隐私风险，可对图像识别模型的投放策略提供一定的参考，具有避免隐私泄露的作用。
上述如本说明书图1所示实施例揭示的图像识别模型隐私风险的评估方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
应理解，本说明书实施例的电子设备可以实现上述图像识别模型隐私风险的评估装置在图1和图2所示的实施例的功能，本文不再赘述。
当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
此外，本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下方法：
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据。
将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练。
基于所述目标对象对应的原始图像和逆向图像的相似度，评估所述图像识别模型的隐私风险。
应理解，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使上文所述的评估装置实现图1和图2所示实施例的功能，本文不再赘述。
本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。此外，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

Claims (11)

1.一种图像识别模型隐私风险的评估方法，包括：
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练；
基于所述目标对象对应的原始图像和逆向图像的相似度，评估所述图像识别模型的隐私风险。
2.根据权利要求1所述的方法，
所述样本对象在对应的原始图像中的至少部分特征数据是基于所述图像识别模型中的输入向量，对所述样本对象对应的原始图像进行特征提取获得的。
3.根据权利要求1所述的方法，
所述图像识别模型的隐私风险的评估结果用于确定所述图像识别模型的投放策略。
4.根据权利要求1-3中任一项所述的方法，
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据，包括：
基于图像识别模型的嵌入层中的输入向量，对目标对象对应的原始图像进行特征提取。
5.根据权利要求1-3中任一项所述的方法，
基于所述目标对象对应的原始图像和逆向图像，评估所述图像识别模型的隐私风险，包括：
计算所述目标对象对应的原始图像和逆向图像之间的数学距离；
基于所述数学距离，确定所述图像识别模型的隐私风险，其中，所述数学距离取值大小与所述图像识别模型的隐私风险程度呈负相关。
6.根据权利要求5中所述的方法，
所述数学距离包括欧氏距离、曼哈顿距离、切比雪夫距离、汉明距离中的至少一者。
7.根据权利要求1-3中任一项所述的方法，
所述逆向模型包括变分自编码器模型和生成对抗网络模型中的至少一者。
8.根据权利要求1-3中任一项所述的方法，
图像识别模型为人脸识别模型，所述目标对象和所述样本对象对应的原始图像均属于人脸图像。
9.一种图像识别模型隐私风险的评估装置，包括：
特征获取模块，基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
图像还原模块，将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有与所述图像识别模型中的输入向量相反表达的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入进行训练；
隐私评估模块，基于所述目标对象对应的原始图像和逆向图像，评估所述图像识别模型的隐私风险。
10.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有所述图像识别模型中的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入训练得到的；
基于所述目标对象对应的原始图像和逆向图像，评估所述图像识别模型的隐私风险。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
基于图像识别模型中的输入向量，对目标对象对应的原始图像进行特征提取，得到所述目标对象的特征数据；
将所述目标对象的特征数据输入至所述图像识别模型对应的逆向模型，得到所述目标对象对应的逆向图像，其中，所述逆向模型具有所述图像识别模型中的输入向量，并以样本对象对应的原始图像为输出、所述样本对象在对应的原始图像中的特征数据为输入训练得到的；
基于所述目标对象对应的原始图像和逆向图像，评估所述图像识别模型的隐私风险。
CN202010442718.1A 2020-05-22 2020-05-22 一种图像识别模型隐私风险的评估方法、装置及电子设备 Pending CN111539382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442718.1A CN111539382A (zh) 2020-05-22 2020-05-22 一种图像识别模型隐私风险的评估方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442718.1A CN111539382A (zh) 2020-05-22 2020-05-22 一种图像识别模型隐私风险的评估方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN111539382A true CN111539382A (zh) 2020-08-14

Family

ID=71980820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442718.1A Pending CN111539382A (zh) 2020-05-22 2020-05-22 一种图像识别模型隐私风险的评估方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111539382A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084962A (zh) * 2020-09-11 2020-12-15 贵州大学 基于生成式对抗网络脸部隐私保护方法
CN112084948A (zh) * 2020-09-10 2020-12-15 深圳市迈航信息技术有限公司 采用人脸数据的方式来提高安检安全的方法以及***
CN113436051A (zh) * 2021-06-17 2021-09-24 南京航空航天大学 基于图像对抗的图像隐私保护方法、***及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220817A1 (en) * 2016-01-29 2017-08-03 Samsung Electronics Co., Ltd. System and method to enable privacy-preserving real time services against inference attacks
CN109670342A (zh) * 2018-12-30 2019-04-23 北京工业大学 信息泄露风险度量的方法和装置
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别***及方法
US20190392305A1 (en) * 2018-06-25 2019-12-26 International Business Machines Corporation Privacy Enhancing Deep Learning Cloud Service Using a Trusted Execution Environment
CN111126623A (zh) * 2019-12-17 2020-05-08 支付宝(杭州)信息技术有限公司 一种模型更新方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220817A1 (en) * 2016-01-29 2017-08-03 Samsung Electronics Co., Ltd. System and method to enable privacy-preserving real time services against inference attacks
US20190392305A1 (en) * 2018-06-25 2019-12-26 International Business Machines Corporation Privacy Enhancing Deep Learning Cloud Service Using a Trusted Execution Environment
CN109670342A (zh) * 2018-12-30 2019-04-23 北京工业大学 信息泄露风险度量的方法和装置
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别***及方法
CN111126623A (zh) * 2019-12-17 2020-05-08 支付宝(杭州)信息技术有限公司 一种模型更新方法、装置及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084948A (zh) * 2020-09-10 2020-12-15 深圳市迈航信息技术有限公司 采用人脸数据的方式来提高安检安全的方法以及***
CN112084962A (zh) * 2020-09-11 2020-12-15 贵州大学 基于生成式对抗网络脸部隐私保护方法
CN112084962B (zh) * 2020-09-11 2021-05-25 贵州大学 基于生成式对抗网络脸部隐私保护方法
CN113436051A (zh) * 2021-06-17 2021-09-24 南京航空航天大学 基于图像对抗的图像隐私保护方法、***及计算机设备

Similar Documents

Publication Publication Date Title
CN111291740B (zh) 一种人脸识别模型的训练方法、人脸识别方法及硬件
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN109711358B (zh) 神经网络训练方法、人脸识别方法及***和存储介质
CN112734045B (zh) 一种联邦学习的异常处理方法、装置及电子设备
EP3975039A1 (en) Masked face recognition
CN110378301B (zh) 行人重识别方法及***
US20230076017A1 (en) Method for training neural network by using de-identified image and server providing same
CN111539382A (zh) 一种图像识别模型隐私风险的评估方法、装置及电子设备
CN110674800A (zh) 一种人脸活体检测方法、装置、电子设备及存储介质
CN111553320B (zh) 保护个人数据隐私的特征提取方法、模型训练方法及硬件
CN108416343A (zh) 一种人脸图像识别方法及装置
CN111476269A (zh) 均衡样本集构建、翻拍图像识别方法、装置、设备及介质
CN110765843B (zh) 人脸验证方法、装置、计算机设备及存储介质
CN111680181A (zh) 一种异常对象的识别方法及终端设备
CN113609900A (zh) 局部生成人脸定位方法、装置、计算机设备和存储介质
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备
CN117237757A (zh) 一种人脸识别模型训练方法、装置、电子设备及介质
CN110084142B (zh) 一种用于人脸识别的年龄隐私保护方法及***
CN110795993A (zh) 一种构建模型的方法、装置、终端设备及介质
CN112395448A (zh) 一种人脸检索方法及装置
CN112418189B (zh) 戴口罩人脸识别方法、装置、设备以及存储介质
CN113283978B (zh) 基于生物基础与行为特征及业务特征的金融风险评估方法
CN111783742A (zh) 一种防御对抗攻击的图像分类方法、业务决策方法及装置
CN111400764B (zh) 个人信息保护的风控模型训练方法、风险识别方法及硬件
CN111708988B (zh) 侵权视频识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035487

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200814