CN113378982A - 一种图像处理模型的训练方法和*** - Google Patents
一种图像处理模型的训练方法和*** Download PDFInfo
- Publication number
- CN113378982A CN113378982A CN202110752725.6A CN202110752725A CN113378982A CN 113378982 A CN113378982 A CN 113378982A CN 202110752725 A CN202110752725 A CN 202110752725A CN 113378982 A CN113378982 A CN 113378982A
- Authority
- CN
- China
- Prior art keywords
- image
- feature maps
- processing
- model
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 title claims abstract description 58
- 238000000586 desensitisation Methods 0.000 claims abstract description 60
- 238000010586 diagram Methods 0.000 claims abstract description 52
- 238000012216 screening Methods 0.000 claims abstract description 19
- 238000003860 storage Methods 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 7
- 238000011282 treatment Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 54
- 230000006870 function Effects 0.000 description 45
- 230000008569 process Effects 0.000 description 30
- 239000013598 vector Substances 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例公开了一种图像处理模型的训练方法和***。其中,该方法包括:获取第一样本图像及其标签;其中,第一样本图像来自于隐私数据集;获取第一样本图像的多个特征图;基于与多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图;能量系数通过使用第二样本图像及其标签对第一模型进行训练获得,第二样本图像来自公开数据集;对目标特征图进行脱敏处理,获得用于表征第一样本图像的脱敏图像数据;将脱敏图像数据作为输入特征输入图像处理模型,得到处理结果;调整图像处理模型的参数,以减小处理结果与标签之间的差异。
Description
技术领域
本说明书涉及信息技术领域,特别涉及一种图像处理模型的训练方法和***。
背景技术
目前,图像识别技术广泛地应用于各种领域。在相关技术中,图像识别技术已成为认证用户身份的主要手段之一。例如,可以采集人脸图像,利用图像识别技术识别人脸对应的用户身份。
然而,用于身份识别的图像中通常包含用户个人的敏感信息。如何对图像的敏感信息进行隐私保护,是当前亟需解决的问题。
因此,有必要提出一种图像处理模型的训练方法和***,以更好的对图像的敏感信息进行隐私保护。
发明内容
本说明书实施例的一个方面提供一种图像处理模型的训练方法。该方法包括:获取第一样本图像及其标签;其中,所述第一样本图像来自于隐私数据集;获取第一样本图像的多个特征图;基于与所述多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图;所述能量系数通过使用第二样本图像及其标签对第一模型进行训练获得,所述第二样本图像来自公开数据集;对所述目标特征图进行脱敏处理,获得用于表征所述第一样本图像的脱敏图像数据;将所述脱敏图像数据作为输入特征输入图像处理模型,得到处理结果;调整所述图像处理模型的参数,以减小处理结果与所述标签之间的差异。
本说明书实施例的另一个方面提供一种图像处理模型的训练。该***包括:第一获取模块,用于获取第一样本图像及其标签;其中,所述第一样本图像来自于隐私数据集;第二获取模块,用于获取第一样本图像的多个特征图;特征图筛选模块,用于基于与所述多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图;所述能量系数通过使用第二样本图像及其标签对第一模型进行训练获得,所述第二样本图像来自公开数据集;脱敏处理模块,用于对所述目标特征图进行脱敏处理,获得用于表征所述第一样本图像的脱敏图像数据;输入模块,用于将所述脱敏图像数据作为输入特征输入图像处理模型,得到处理结果;参数调整模块,用于调整所述图像处理模型的参数,以减小处理结果与所述标签之间的差异。
本说明书实施例的另一个方面提供一种图像处理方法,该方法包括:获取待处理图像的多个特征图;基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出目标特征图,其中,所述能量系数经过模型训练获得;对所述目标特征图进行脱敏处理,获得用于表征所述待处理图像的脱敏图像数据。
本说明书实施例的另一个方面提供一种图像处理模的训练装置,包括至少一个存储介质和至少一个处理器,所述至少一个存储介质用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令以实现如上所述的图像处理模型的训练方法。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构。
图1是根据本说明书一些实施例所示的图像处理***的示例性应用场景示意图;
图2是根据本说明书一些实施例所示的图像处理方法图像处理模型的训练方法的示例性流程图;
图3是根据本说明书一些实施例所示的获取能量系数的方法的示例性流程图;
图4是根据本说明书一些实施例所示的第一模型的示例性结构图;
图5是根据本说明书一些实施例所示的图像处理方法示例性流程图;
图6是根据本说明书一些实施例所示的图像处理模型的训练***的示例性模块图;
图7是根据本说明书一些实施例所示的局部离散余弦变换的示例性示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“***”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
随着计算机技术的发展,图像识别越来越深入人们生活的各个领域。例如,人脸识别,人脸识别已经在很多场景中广泛使用,比如,人脸识别的智能开锁、终端应用登录、刷脸支付等。但是,人脸图像中可能包含一些敏感信息(例如,可视化人脸肖像)或个人隐私信息,为避免这些信息泄漏造成不必要的损失,有必要对图像中的隐私信息进行保护。
人脸图像是身份识别的重要依据,人脸识别的过程中包括对人脸图像进行特征提取,再将提取到的人脸特征数据输入人脸识别模型进行处理,基于人脸识别模型的处理结果(例如,人脸特征数据)来进行身份验证。但是,人脸特征数据存在被恶意盗取的可能性。不法分子可能会基于被盗取的人脸特征数据,通过反推等方式还原出原始人脸图像数据,进而基于原始人脸图像数据非法获取人脸数据对应的人的操作权限,比如,开锁、盗刷等,这对安全支付、开锁等造成了很大的威胁。为此,需要提供一种能够有效增加反推难度的图像特征提取方法对人脸图像进行处理,得到脱敏人脸图像数据,使得即使人脸特征数据被盗取,也难以获取其原始人脸图像。
在一些实施例中,一类具有脱敏效果的图像特征提取方式包括对原始图像进行变换,得到多个特征图,将其中携带大量可视化信息但是对于识别精度贡献较小的特征图舍弃,剩余的特征图既能供后续的人脸识别模型进一步处理进行人脸识别,同时携带的可视化信息很少,难以基于其反推出原始人脸图像。然而对特征图进行筛选的依据(如后文提到的能量系数)是通过模型训练得到。
因此,无论是特征提取过程还是人脸识别过程,都难免会使用到机器学习模型。在一些实施例中,用于模型训练的训练样本可能也来自与隐私数据集,如何在保证模型训练精度的同时,保护训练样本的隐私安全,成为一个值得关注的问题。
因此,本说明书一些实施例提出了一种图像处理模型的训练方法和***,基于来自公开数据集和隐私数据集的不同图像进行模型训练,可以在模型的训练阶段有效地保护图像的隐私安全。
虽然在本说明书中主要以人脸图像为例进行说明,但应当理解,本说明书所披露的技术方案可以应用于任何类型的需要隐私保护的图像数据,例如,指纹图像数据等。以下通过对附图的描述阐述本说明书披露的技术方案。
图1是根据本说明书一些实施例所示的图像处理***的示例性应用场景示意图。
如图1所示,在应用场景中可以包括服务器110、网络120、终端设备130以及存储设备140。
图像处理***可以广泛应用于各种图像识别的场景,例如,人脸开锁、人脸支付、人脸终端应用登录等。在一些实施例中,也可以应用于其他任何需要进行图像隐私保护的场景,比如,敏感图像数据的传输、存储等。图像处理***可以实现脱敏图像数据的获取、基于脱敏图像数据的图像识别以及相关机器学习模型的训练。通过图像处理***实施本说明书所披露的方法对图像进行脱敏处理,能有效阻止攻击者反推出原始图像数据,可以有效地保护图像中的隐私信息不被泄漏。通过图像处理***实施本说明书所披露的方法进行模型训练,可以获得适配于脱敏图像数据的图像处理模型,并有效保护训练样本的隐私安全。
在一些实施例中,终端设备130可以通过图像采集设备(如摄像头)采集待处理图像(例如,人脸图像),终端设备130可以通过实施本说明书提出的图像处理方法对采集的待处理图像进行脱敏处理,得到脱敏图像数据,然后将脱敏图像数据通过网络120发送至服务器110。服务器110可以用于处理与数据服务请求和/或图像处理、图像识别有关的信息和/或数据。例如,服务器110可以响应于来自终端设备130的数据服务请求,接收终端设备130发送的脱敏图像数据,完成脱敏图像数据识别后(例如确定脱敏图像数据来自合法人脸图像时),向终端设备130反馈识别结果或者向终端设备130提供相应的数据服务。在一些实施例中,服务器110可以通过预先训练的图像处理模型对其进行处理,并得到预测向量。服务器110可以在得到预测向量之后,进一步执行后续操作,例如与已在***成功注册并存储的待处理图像的特征向量进行对比并将对比结果(例如,身份识别结果)反馈给终端设备130,完成人脸支付、开锁等。在一些实施例中,服务器110还用于对图像处理模型进行训练。
在一些实施例中,服务器110可以是本地的或远程的。例如,服务器110可以在终端设备130本地连接终端设备130以获取其发送的信息和/或数据。又例如,服务器110可以经由网络120远程接收终端设备130发送的信息和/数据。在一些实施例中,服务器110可以在云平台上实施。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中,服务器110包括处理设备112。
网络120可以促进信息和/或数据的交换。在一些实施例中,应用场景100的一个或者多个组件(例如服务器110、终端设备130、存储设备140)可以通过网络120传送信息至应用场景100中的其他组件。例如,终端设备130可以通过网络120向服务器110发送待处理图像的图像脱敏数据。又例如,服务器110可以将待处理图像的图像脱敏数据进行处理得到的预测向量发送至存储设备进行存储,以及将预测向量与特征向量的比较结果返回给终端设备130等。在一些实施例中,网络120可以是任意形式的有线或者无线网络,或其任意组合。仅作为范例,网络120可以是有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共交换电话网络(PSTN)、蓝牙网络等中的一种或多种组合。
终端设备130可用于处理与图像处理、图像识别相关联的信息和/或数据来执行在本说明书中披露的一个或者多个功能。在一些实施例中,终端设备130可以是向公众提供图像采集和/或数据处理服务的公共设备,如物联网设备(IoT设备)130-1。示例性的IoT设备130-1可以包括但不限于人脸售货机、人脸支付设备、银行个人业务设备等或其任意组合。用户在终端设备130上完成人脸识别后,便可使用该设备提供的数据服务。在一些实施例中,终端设备130可以用于获取由于设备图像采集装置被触发而采集的待处理图像数据。在一些实施例中,终端设备130可以获取待处理图像数据对应的多个特征图;终端设备130可以基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图,对所述目标特征图进行脱敏处理,获得用于表征所述待处理图像的脱敏图像数据。在一些实施例中,终端设备130上可以部署有可信执行环境,并在可信执行环境中进行图像采集以及图像处理。在一些实施例中,终端设备130可以包括一个或多个处理引擎(例如,单核心处理引擎或多核心处理器)。仅作为示例,处理引擎可以包括中央处理器(中央处理器)、特定应用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理器(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑装置(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等中的一种或多种组合。
在一些实施例中,终端设备130还可以是带有数据获取、存储和/或发送功能的便携式设备,例如,平板电脑130-2、笔记本电脑130-3、智能手机130-4、摄像头、智能支付终端等或其任意组合。在一些实施例中,终端设备130可以通过网络与服务器110进行数据交互,例如,终端设备130可以将对待处理图像数据的进行处理后的脱敏图像数据传输至服务器110。在一些实施例中,终端设备130获取到的数据可以是设备的摄像头采集到的人脸图像数据,对应的,服务器110可以接收来自终端设备130的人脸图像数据,对其进行脱敏处理以及后续的识别。此时,服务器110可以与终端设备130集成在一起。
存储设备140可以存储与图像处理相关的数据和/或指令,例如,存储已在***成功注册的用户的图像的特征矢量、图像数据、身份信息等。在一些实施例中,存储设备140可以存储终端设备130和/或服务器110获得/获取的数据。在一些实施例中,存储设备140可以存储服务器110用于执行或使用来完成本申请中描述的示例性方法的数据和/或指令。在一些实施例中,存储设备140可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量储存器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性的挥发性只读存储器可以包括随机存取内存(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、闸流体RAM(T-RAM)和零电容RAM(Z-RAM)等。示例性的ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(PEROM)、电子可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字通用磁盘ROM等。在一些实施例中,所述存储设备140可以在云平台上实现。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中,存储设备140可以连接到网络120以与应用场景100中的一个或以上组件(例如,服务器110、终端设备130)通信。应用场景100中的一个或以上组件可以通过网络120访问存储设备140中存储的数据或指令。在一些实施例中,存储设备140可以与应用场景100中的一个或以上组件(例如,服务器110、终端设备130等)直接连接或通信。在一些实施例中,存储设备140可以是服务器110的一部分。
图2是根据本说明书一些实施例所示的图像处理模型的训练方法的示例性流程图。在一些实施例中,流程200可以由处理设备(例如,终端设备130或服务器110或者应用场景100以外的设备)执行。例如,流程200可以以程序或指令的形式存储在存储装置(如处理设备的自带存储单元或外接存储设备)中,所述程序或指令在被执行时,可以实现流程200。流程200可以包括以下操作。
步骤202,获取第一样本图像及其标签。在一些实施例中,步骤202可以由第一获取模块610执行。
第一样本图像可以是指能够用于对图像处理模型进行训练的图像。
在一些实施例中,第一样本图像可以包括人脸图像。第一样本图像来自于隐私数据集。隐私数据集是指不面向公众开放,只有数据的拥有者或部分拥有权限的人员可以查看的数据集合。
标签可以是表征第一样本图像的向量表示或者与图像中的人脸对应的身份信息,例如,人物身份ID等。
在一些实施例中,标签可以通过人工标注或其他方式标注得到,本实施例对此不作限定。
在一些实施例中,处理设备可以通过从数据库读取、调用相关数据接口等方式获取得到所述第一样本图像以及其对应的标签。
步骤204,获取第一样本图像对应的多个特征图。在一些实施例中,步骤204可以由第二获取模块620执行。
特征图是指采用一定的图像处理手段,从第一样本图像中提取的多个子图,每个子图携带有第一样本图像的部分特征。所述子图可以与第一样本图像一样大小,如像素点一一对应,也可以不同于第一样本图像的大小。
在一些实施例中,处理设备可以通过如采用离散余弦变换、小波变换、正交基变换等方式获取得到第一样本图像对应的多个特征图,也可以从第一样本图像的图像文件中提取得到,例如,对jpeg格式的图像数据,可以直接从其图像文件中提取得到特征图。
示例性地,处理设备可以采用下文实施例所描述的方法,通过离散余弦变换获取得到第一样本图像对应的多个特征图。
处理设备可以对所述第一样本图像进行局部离散余弦变换,获得多个变换结果。离散余弦变换可以将第一样本图像从空间域转换至频域。空间域和频域转换后的特征点的数量可以一致,例如,空间域中一个点可以代表一个像素位置,频域中一个点可以代表一个频率位置。在一些实施例中,通过局部离散余弦变换可以选取到比第一样本图像小的图像块,如第一样本图像大小为256×256,选取的图像块大小为8×8,利用图像块在第一样本图像上以一定步长移动采样,并对图像块每次采样得到的第一样本图像的局部数据(即8×8大小)基于离散余弦变换的公式进行变换,得到多个变换结果,每个变换结果可以是8×8大小。离散余弦变换时图像块的移动步长越小,得到的变换结果特征越多,可以有利于提高后续图像识别的准确率。
处理设备可以将各变换结果中相同频率位置的值组合得到一个特征图,进而得到对应变换结果中不同频率位置的多个特征图。在变换结果中,每一个特征点(元素)的位置对应一个频率位置。不难理解,特征图的个数与变换过程中用于采样的图像块的像素点数量一致。组合方式可以是按照一定的规律分别从多个变换结果中取出一部分值进行重组。例如,可以将各变换结果中相同频率位置的值进行组合得到一个特征图,进而得到对应变换结果中不同频率位置的多个特征图。得到的特征图的个数可以与变换过程中用于采用的图像块的像素点数量一致。
以图7作为示例,以步长为2,2*2大小的图像块对4*4大小的第一样本图像710进行采样,实现局部离散余弦变换进行说明。容易得知,通过局部离散余弦变换可以得到4个变换结果,分别用s1、s2、s3、s4表示,每个变换结果中的各个频率位置的值分别用fi1、fi2、fi3、fi4表示,其中i表示第i个变换结果。例如,fi1表示第i个变换结果中第一频率位置的值。每个变换结果都拥有4个对应的频率位置,将各个变换结果中的相同频率位置的值放在一起,即可得到多个特征图,比如,s1的f11、s2的f21、s3的f31和s4的f41放在一起组成特征图z1。以此类推,得到特征图z2、特征图z3以及特征图z4。在一些实施例中,在读取相同频率的部分对变换结果进行重组时,可以按照“Z”字形顺序进行读取。
通过上述处理过程可知,不同的特征图代表待处理图像中的不同频率分量。在一些实施例中,处理设备可以将变换得到的全部特征图作为所述第一样本图像对应的多个特征图。在一些实施例中,处理设备可以对重组得到的多个特征图进行筛选,保留其中一部分特征图得到所述第一样本图像对应的多个特征图。例如,按照特征图所包含的特征信息的丰富程度进行筛选,保留其中包含特征信息较多部分的特征图,舍弃包含特征信息较少部分的特征图。示例性的,处理设备可以基于SEnet网络或基于预设选择规则,舍弃所述不同频率位置的多个特征图中的部分得到所述多个特征图。
在一些实施例中,处理设备可以将多个变换结果输入经过训练的SEnet网络,由SEnet网络给出各个特征图的重要性(如与重要性正相关的分值)。SEnet网络可以随着图像处理模型(如图像识别模型)一起训练得到,例如,在图像处理模型中添加SEnet网络,在对模型的训练过程中对SEnet网络的参数进行调整,得到用于确定特征图的重要性的SEnet网络。
在一些实施例中,预设选择规则可以是选择保留预设比例的包含特征信息较多的部分特征图。例如,在通过离散余弦变换并重组后得到的多个特征图中,可以选择保留预设比例的低频部分特征图,舍弃部分高频特征图。例如,可以保留50%、60%、70%比例的低频特征图,舍弃掉其余部分的高频特征图。
步骤206,基于与所述多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图。在一些实施例中,步骤206可以由特征图筛选模块630执行。
能量系数是指可以用于表征其对应的特征图对后续图像处理或图像识别贡献多少的参数。能量系数与多个特征图之间具有的一一对应是指,每个特征图都有与其对应的一个能量系数。即,能量系数与特征图或第一样本图像的频率分量相关。作为示例,能量系数越小,反映只需要对应的特征图的较少的能量参与到后续的图像处理或图像识别中,反之,则需要对应的特征图较多的能量参与到后续的图像处理或图像识别中。
在一些实施例中,能量系数与多个特征图可以通过频率位置实现对应。例如,一共有z1-z4四个特征图,其与第一频率位置、第二频率位置、…、第四频率位置分别对应。有a1-a4四个能量系数,a1表示第一个频率位置对应的能量系数,a2表示第二个频率位置或特征图对应的能量系数,以此类推。因此,则有z1对应a1,z2对应a2、z3对应a3、z4对应a4。
在一些实施例中,能量系数可以通过使用第二样本图像及其标签对第一模型进行训练获得,所述第二样本图像来自公开数据集。公开数据集可以是指开放给公众,所有人员都可以查看的数据集。
在一些实施例中,公开数据集可以采用网上开源的各类数据集进行处理或者整合得到。例如,对从不同公众平台上下载的数据进行整理,包括筛选、归类、聚合等,得到公开数据集。
在一些实施例中,所述隐私数据集与所述公开数据集同分布。同分布是指数据集中的图像的种类相同,对象信息相似。种类是指图像的类型,例如,人脸图像、指纹图像等。对象信息包括对象的颜色、姿态、角度、背景等。例如,如两个同分布的数据集,涉及的图像均为人脸图像,图像中的人脸肤色相似(如都为黑种人的肤色或都为黄种人的肤色等),图像中的人脸角度相同(如都是正面照),背景都为纯色。
关于获取能量系数的更多细节,可以参见图3及其相关描述,此处不再赘述。
在一些实施例中,处理设备可以根据特征图对应的能量系数的大小,从第一样本图像的多个特征图中筛选出一个或多个目标特征图。目标特征图是指从第一样本图像的多个特征图中筛选出来的符合预设要求的特征图。预设要求可以包括特征图对应的能量系数大于阈值。
在一些实施例中,处理设备可以判断能量系数是否小于阈值。例如,可以将能量系数与阈值进行比较,以判断能量系数是否小于阈值。阈值可以预先设定,例如,0.3、0.5、1、2、10、30等。阈值的设定可以与能量系数的整体大小相关。能量系数的值可以为任意值,例如,(0-1)、(-100-100)等。示例性地,假若以能量系数取值为0-1为例,则阈值可以为0.3。本说明书实施例对能量系数的取值不作限定。
在一些实施例中,为了更加直观的反映能量系数的大小,可以将能量系数的值取值到0-1之间。例如,可以通过sigmoid函数将能量系数的大小约束在0-1之间。示例性的,用于约束的sigmoid函数可以如公式(1)所示。
其中,ai表示约束大小后的能量系数,x表示约束前取值为任意值的能量系数,i表示第i个能量系数。
若能量系数小于阈值,则处理设备可以含弃该能量系数所对应的特征图。含弃可以是指使得该能量系数所对应的特征图不参与后续处理。例如,不参与后续的脱敏处理等。含弃的方式可以是直接丢弃该能量系数所对应的特征图,也可以是将该能量系数对应的特征图的元素值设置为零。
丢弃掉部分特征图后所剩下的特征图,或将元素值设置为零后的特征图与其他未修改元素值的特征图,即可以作为所述目标特征图。
步骤208,对所述目标特征图进行脱敏处理,获得用于表征所述第一样本图像的脱敏图像数据。在一些实施例中,步骤208可以由脱敏处理模块640执行。
脱敏处理是指对目标特征图通过一定的方式进行处理,使得其中的敏感信息得到变形。例如,将敏感信息从目标特征图中清除、改变为其他信息等。
示例性地,处理设备可以按照下文实施例所示例的方式对目标特征图进行脱敏处理。
在一些实施例中,处理设备可以对目标特征图进行损失处理。损失处理可以包括改变一张或多张目标特征图中的元素值。
损失处理是指对筛选后的目标特征图再次进行舍弃或改变目标特征图中的元素值,这种处理可能会损失一部分有用信息,但是能够进一步增强数据的隐私保护。被舍弃的目标特征图将不再参与后续的处理过程(例如,后续的融合处理、顺序随机化等),被改变的目标特征图的元素值将区别于筛选后得到的原目标特征图的值,使得更加难以根据元素值改变后的特征图反推出原始图像数据。
在一些实施例中,对目标特征图进行损失处理可以是进一步舍弃目标特征图中的部分特征图和/或改变所述筛选后的特征图中一张或多张特征图中的元素值。例如,处理设备可以从目标特征图中再次进行筛选,选择出一张或多张目标特征图进行损失处理。若仅选择出一张特征图,则可以直接舍弃掉该张目标特征图,或者改变该张目标特征图中全部或部分元素值;若选择出多张(两张或以上)目标特征图时,也可以直接舍弃或改变所选择的所有目标特征图,还可以舍弃所选择的多张目标特征图中的一部分,改变多张目标特征图中的另一部分的元素值。比如,选择出两张时,可以舍弃其中一张目标特征图,改变另一张目标特征图的元素值。改变特征图的元素值可以是将特征图中的元素值替换为其他值,改变后的元素值可以是任意的。在一些实施例中,可以将目标特征图中的元素值都替换为相同的数字(例如,可以均替换为1、2或3等),或者将目标特征图中的元素值按照一定比例缩小(例如,按照1.5倍、2倍缩小等)。以避免或减小对后续使用脱敏图像数据进行识别产生影响,从而在能够提高对人脸图像的隐私保护能力的同时,确保人脸识别的准确率不会受到太大影响。
处理设备可以对经过损失处理后的目标特征图进行融合处理,以获取数量少于损失处理后的目标特征图的一个或多个融合特征图。
融合处理可以是指对多个目标特征图中的两个或以上目标特征图按照预设计算方式进行运算。例如,可以对两个或两个以上目标特征图中对应元素点的值进行计算,将计算后的值作为融合特征图中对应元素点的值,这样就可以将两个或以上目标特征图融合成为一个特征图。预设计算方式可以是求均值、和值、差值等。
在一些实施例中,处理设备可以对多个目标特征图,按照两个或以上目标特征图为一组的方式进行组合,得到一个或多个组合结果;对于每个组合结果,将其中的目标特征图按照预设计算方式进行运算,得到融合特征图。
组合是指将两个或以上目标特征图划分为一组。组合可以是将相邻的两个目标特征图进行组合,也可以将最低频率的目标特征图与最高频率的目标特征图进行组合,或者将任意两个或以上目标特征图进行组合。需要说明的是,在进行目标特征图组合时,对于不同的第一样本图像的特征图,其组合规律可以相同。例如,规律可以是,从第一张目标特征图开始,将当前目标特征图与其相邻的下一张目标特征图进行组合,即第一张目标特征图与第二张目标特征图组合,第二张目标特征图与第三张目标特征图组合。又例如,将第1~3张目标特征图组合,将4~6张目标特征图组合等等。
融合特征图中的各元素点的值相较于融合前的目标特征图的值已经发生了变化。融合处理可以破坏原多个目标特征图之间各个元素点的值的大小相对关系,以此可以进一步地增加根据特征图反推出原始图像数据的难度。在一些实施例中,脱敏处理方式可以还可以包括对目标特征图进行归一化处理以及将目标特征图的顺序随机化,以进一步增加反推难度。
对目标特征图进行脱敏处理后得到的特征图,可以作为用于表征第一样本图像的脱敏图像数据。
步骤210,将所述脱敏图像数据作为输入特征输入图像处理模型,得到处理结果。在一些实施例中,步骤210可以由输入模块650执行。
处理结果可以是指图像处理模型对目标特征图进行处理后得到的结果。其根据图像处理模型的预测任务的不同而不同。例如,可以是代表第一样本图像的向量表示或称为预测向量,或者是对第一样本图像的分类结果,或者是对第一样本图像中的目标对象的身份的识别结果,例如,身份信息等。
所述图像处理模型可以是神经网络模型、SVM、树模型等。
步骤212,调整所述图像处理模型的参数,以减小处理结果与所述标签之间的差异。在一些实施例中,步骤212可以由参数调整模块660执行。
在一些实施例中,处理设备可以通过最小化损失函数值的方式来图像处理模型的参数进行调整,从而减小模型的处理结果与标签之间的差异,提高模型在后续任务处理的精度,例如,识别图像中的人脸的身份信息时的识别精度。
在本说明书实施例中,使用公开数据集对第一模型进行训练,可以分析出原始图像中对后续图像处理任务重要的目标特征图,舍弃了包含较多可视化信息但对模型处理精度影响不大的部分特征图,再进一步基于脱敏处理对目标特征图进行脱敏,大大增加了从脱敏图像数据反推出原始图像数据的难度。利用脱敏图像数据对图像处理模型进行训练时,可以向模型训练方只提供第一样本图像的脱敏图像数据,有效保护了图像识别模型训练阶段的数据隐私。
图3是根据本说明书一些实施例所示的获取能量系数的方法的示例性流程图。在一些实施例中,流程300可以由处理设备执行。例如,流程300可以以程序或指令的形式存储在存储装置(如处理设备的自带存储单元或外接存储设备)中,所述程序或指令在被执行时,可以实现流程300。流程300可以包括以下操作。
步骤302,获取第二样本图像的多个特征图。
第二样本图像是指来自于公开数据集的可以用于模型训练的图像。第二样本图像可以包括人脸图像。
在一些实施例中,第二样本图像的多个特征图可以采用多种方式得到。例如,采用局部离散余弦变换、小波变换、正交基变换,以及直接从样本图像的图像文件中提取等。关于获取第二样本图像的多个特征图的更多细节,其获取方式可以与获取第一样本图像的多个特征图的方式相同,可以参见步骤204的相关描述,此处不再赘述。
在一些实施例中,处理设备可以通过对第二样本图像进行处理、从数据库读取、调用相关数据接口等方式获取得到第二样本图像的多个特征图。
步骤304,将第二样本图像的多个特征图输入第一模型,得到样本预测结果。
样本预测结果是指第一模型对第二样本图像的特征图进行处理后得到的结果,其根据第一模型的预测任务的不同而不同。例如,可以是对第二样本图像的分类结果,或者是对第二样本图像中的目标对象的身份的识别结果,例如,身份信息等。在一些实施例中,第一模型的预测任何可以与图像处理模型相同。
所述第一模型可以是神经网络模型、SVM、树模型等。所述第一的参数可以包括与所述多个特征图一一对应的能量系数。
在一些实施例中,处理设备可以将所述第二样本图像的多个特征图输入至第一模型,由第一模型在模型内部对多个特征图进行处理,例如,可以在所述第一模型中,将各特征图所对应的能量系数与输入的多个特征图对应相乘,相乘的结果输出给第一模型的其他部分以进一步处理,得到预测结果。关于第一模型对各特征图进行处理,得到预测结果的更多细节可以参见图4的相关说明。
步骤306,确定第一损失函数值。
在一些实施例中,处理设备可以基于模型的预测结果与第二样本图像的标签构建第一损失函数,并基于构建的第一损失函数确定第一损失函数值。第一损失函数值可以反映预测结果与第二样本图像的标签之间的差异。
标签可以是表征第二样本图像的向量表示或者与第二样本图像中的人脸对应的身份信息,例如,人物姓名等。在一些实施例中,标签可以通过人工标注或其他方式标注得到,本实施例对此不作限定。在一些实施例中,标签可以在处理设备获取多个第二样本图像的同时获取得到。
示例性地,第一损失函数可以如公式(2)所示。
其中,L表示第一损失函数,pj表示模型的预测结果,yj表示标签,j表示第j个训练样本,T为训练样本总数。
需要说明的是,以上所示的第一损失函数仅出于示例的目的,在本说明书中,能够反映模型的预测结果与第二样本图像的标签的差异的损失函数均可,例如,Arcface损失函数、预测向量与第二样本图像的向量表示间的距离等。
在一些实施例中,处理设备可以将模型的预测结果和标签代入第一损失函数确定第一损失函数值。
步骤308,确定第二损失函数值。
在一些实施例中,处理设备可以基于能量系数与多个特征图之间的一一对应关系构建第二损失函数。例如,可以基于所述多个特征图的信息与所述多个特征图对应的能量系数构造第二损失函数。在一些实施例中,特征图的信息可以是特征图的能量值,其中,特征图的能量值可以反映特征图中各像素(或元素)值的整体大小水平,具体可以基于特征图中各元素值的计算值表征。相应的,第二损失函数值可以反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值。
示例性地,第二损失函数可以如公式(3)所示。
Losspri=a1f1+a2f2+…anfn(i=1,2,…,n) (3)
其中,Losspri表示第二损失函数,an表示能量系数,不妨设为(0,1)范围内的数值,fn表示特征图中的各元素值的计算值(或表示特征图的能量值),例如,对应特征图中各元素值的绝对值和、各元素值的绝对值和的均值、各元素值的绝对值的方差、各元素值的绝对值的最大值等,n为特征图的数量。
能量系数在一定程度上可以理解为各个特征图的能量值的权重系数。
将各个特征图代入第二损失函数中的对应位置后,即可计算得到第二损失函数值。
步骤310,调整所述第一模型的参数,以使得第一损失函数值与第二损失函数值最小化。
最小化第一损失函数值可以减小模型的预测结果和标签之间的差异,提高模型在识别图像中的人脸的身份信息时的识别精度。
最小化第二损失函数值可以使得模型在训练过程中更加关注能量值较小的特征图。由于图像的可视化信息主要集中在低频部分和中低频部分,该部分的特征图对图像的可视化重要,但是对图像的识别却影响不大,而通过最小化第二损失函数值,可以使得这部分特征图对应的能量系数更小,模型所关注到的更多的是能量系数较大部分所对应的特征图,该部分特征图对图像的可视化的贡献较少,对图像的识别贡献较大,因此,对该较小的能量系数所对应的特征图进行含弃后,即可以有效地破坏图像的可视化信息,提升对图像的隐私保护,又不会对图像的识别产生较大的影响。
在一些实施例中,可以确定总损失函数,总损失函数包括所述第一损失函数以及所述第二损失函数。训练时,可以调整所述第一模型的参数,以最小化总损失函数值。示例性的,总损失函数=第一损失函数+第二损失函数。
步骤312,从经过训练的第一模型中获取所述能量系数。
可以理解,通过训练得到的能量系数可以反映其对应的特征图对模型预测的贡献大小,进而基于能量系数对待处理图像对应的多个特征图进行筛选得到脱敏图像数据。在一些实施例中,处理设备可以从训练好的第一模型的参数中提取出所述能量系数。
在一些实施例中,第一模型与所述图像处理模型可以相关也可以不相关。相关可以是指将训练的第一模型作为后续的图像处理模进行再训练(如利用第一样本图像继续训练)。具体的,可以对第一模型的结构进行修改(比如,将第一模型的输入通道修改为能够适配脱敏图像数据的输入通),得到图像处理模型,再使用第一样本图像对图像处理模型进行迭代更新。不相关则可以是指,第一模型和后续图像处理模型为两个完全独立的模型。
由于能量系数的获得需要将样本图像的特征图作为模型的输入数据,从特征图反推得到原始图像的难度较小,如果使用隐私数据集的训练样本进行模型训练得到能量系数,则存在较大的隐私隐患。本说明书使用与隐私数据集同分布的公开数据集进行模型训练得到能量系数,在一定程度上保证了能量系数的准确性,同时避免了隐私数据集在获取能量系数的模型训练阶段被公开。
图4是根据本说明书一些实施例所示的第一模型的示例性结构图。模型400可以包括输入层410和处理层420。
输入层410包括能量系数,用于接收待处理图像对应的多个特征图,并将多个特征图与多个能量系数对应相乘后输出相乘的结果。
输入层410可以具有多个输入通道,多个输入通道的数量可以与待处理图像的多个特征图的数量相同,每个通道对应一个特征图。自然的,每个通道也对应一个能量系数或频率位置。
输入层的能量系数可以用于对输入至模型的特征图进行加权,使得输入到模型的特征图的能量值被重新分配或筛选。具体的,在输入层中,各特征图的各元素值被乘以对应的能量系数,以进行加权。
在搭建初始第一模型时,可以对输入通道的数量进行调整,将输入通道的数量与第二样本图像的特征图的数量一致。而第二样本图像的特征图的数量可以预先设置好。例如,调整输入通道为8个、24个、或64个等。在一些实施例中,第一模型可以是神经网络模型,输入层可以包含多个通道,每个通道对应若干神经元,如每个通道的神经元数量与对应特征图的元素个数相同,而同一通道中每个神经元对应的权重同为该通道对应的能量系数。
处理层420可以用于对所述相乘的结果进行处理得到模型的预测结果。
在一些实施例中,所述第一模型可以是深度神经网络,如CNN、RNN等网络等。其处理层可以包括卷积层、池化层等,对各个特征图进行处理(如卷积、池化等),获得更加抽象的特征向量表示,如预测向量。
处理层还可以包括MLP、全连接层等,以将特征向量转换为具体的预测结果,如对脱敏图像数据对应的目标对象的身份识别结果、分类结果等。例如,处理层可以对脱敏图像数据的特征向量进行变换得到一个预测值,该预测值可以指示图像中的人物的身份信息,即目标对象的身份识别结果。
图5是根据本说明书一些实施例所示的图像处理方法示例性流程图。在一些实施例中,流程500可以由处理设备执行。例如,流程500可以以程序或指令的形式存储在存储装置(如处理设备的自带存储单元或外接存储设备)中,所述程序或指令在被执行时,可以实现流程500。流程500可以包括以下操作。
步骤502,获取待处理图像的多个特征图。
待处理图像是指未进行脱敏处理的图像数据。待处理图像可以包括人脸图像数据。在一些实施例中,待处理图像可以是原始人脸图像数据,也可以是对原始人脸图像数据进行人脸检测或人脸对齐后的图像数据。原始人脸图像数据可以是指直接由图像采集设备(例如,摄像头等)采集到的未进行任何处理的图像数据。人脸检测是指对人脸在图像中的位置进行检测,待处理图像可以是基于人脸在图像中的位置进行裁剪后的图像,例如,剪去图像中除人脸以外的多余部分。人脸对齐是指对人脸在图像中的角度进行校正,原始人脸图像中的人脸可能会以一定角度倾斜,通过人脸对齐,可以使人脸在图像上摆正,以便于后续对于图像的识别处理等。
在一些实施例中,处理设备可以通过设备的摄像头采集得到待处理图像,也可以以从数据库、存储设备读取,或调用数据接口等方式获取得到待处理图像。
在一些实施例中,处理设备可以按照如步骤204中所描述的方法获取得到所述待处理图像的多个特征图,更多说明可以参见步骤204的相关描述,此处不再赘述。
步骤504,基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出目标特征图。
在一些实施例中,所述能量系数经过模型训练获得。例如,图2和图3相关内容中所描述的对第一模型进行训练获得。关于步骤504的更多细节,可以参见图2和图3的相关描述,此处不再赘述。
步骤506,对所述目标特征图进行脱敏处理,获得用于表征所述待处理图像的脱敏图像数据。
在一些实施例中,处理设备可以按照本说明书实施例中所描述的脱敏处理方法,例如,步骤208中的相关描述,得到目标特征图的脱敏图像数据。更多细节可以参见步骤208的相关描述,此处不再赘述。
需要说明的是,获取待处理图像或待处理图像的脱敏图像数据的程序/代码可以运行在处理设备中部署的可信执行环境中,利用可行执行环境的安全特性可以保证处理设备获取的图像数据不会被盗取,且对待处理图像的脱敏程序不会被外界干扰或改变。执行流程500得到的待处理图像的脱敏图像数据可以发送给训练好的图像处理模型,以获得最终的处理结果。
应当注意的是,上述有关各流程的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。例如,对本说明书有关流程步骤的改变,如添加预处理步骤和存储步骤等。
图6是根据本说明书一些实施例所示图像处理模型的训练***的示例性模块图。如图6所示,***600可以包括第一获取模块610、第二获取模块620、特征图筛选模块630、脱敏处理模块640、输入模块650和参数调整模块660。
第一获取模块610可以用于获取第一样本图像及其标签。
第一样本图像可以是指能够用于对图像处理模型进行训练的图像。所述第一样本图像来自于隐私数据集。
在一些实施例中,第一获取模块610可以通过从数据库读取、调用相关数据接口等方式获取得到所述第一样本图像以及其对应的标签。
第二获取模块620可以用于获取第一样本图像的多个特征图。
在一些实施例中,第二获取模块620可以通过如采用离散余弦变换、小波变换、正交基变换等方式获取得到第一样本图像对应的多个特征图,也可以从待处理图像的图像文件中提取得到,例如,对jpeg格式的图像数据,可以直接从其图像文件中提取得到特征图。
在一些实施例中,第二获取模块620可以对样本图像进行局部离散余弦变换,获得多个变换结果;将各变换结果中相同频率位置的值组合得到一个特征图,以此得到对应变换结果中不同频率位置的多个特征图;基于所述不同频率位置的多个特征图得到所述多个特征图。
在一些实施例中,所述基于所述不同频率位置的多个特征图得到所述多个特征图,包括:将所述不同频率位置的多个特征图作为所述多个特征图;或者,基于SEnet网络或基于预设选择规则,舍弃所述不同频率位置的多个特征图中的部分得到所述多个特征图。
特征图筛选模块630可以用于基于与所述多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图。
能量系数通过使用第二样本图像及其标签对第一模型进行训练获得,所述第二样本图像来自公开数据集。所述隐私数据集与所述公开数据集同分布。
在一些实施例中,能量系数可以通过以下方式获得:获取第二样本图像的多个特征图;将第二样本图像的多个特征图输入第一模型,得到样本预测结果;所述第一模型的参数包括与所述多个特征图一一对应的能量系数;确定第一损失函数值;所述第一损失函数值反映样本预测结果与第二样本图像的标签之间的差异;确定第二损失函数值;所述第二损失函数值基于所述多个特征图的信息与所述多个特征图对应的能量系数构造;调整所述第一模型的参数,以使得第一损失函数值与第二损失函数值最小化;从经过训练的第一模型中获取所述能量系数。
在一些实施例中,在所述第一模型中,各能量系数用于与输入的多个特征图对应相乘,相乘的结果用于输出给第一模型的其他部分以进一步处理。
在一些实施例中,特征图筛选模块630可以舍弃小于阈值的能量系数所对应的特征图。
脱敏处理模块640可以用于对所述目标特征图进行脱敏处理,获得用于表征所述第一样本图像的脱敏图像数据。
脱敏处理是指对目标特征图中的敏感信息通过一定的方式进行处理,使得其中的敏感信息得到变形。例如,将敏感信息从目标特征图中清除、改变为其他信息等。
在一些实施例中,脱敏处理方式可以包括重要性筛选、归一化处理、顺序随机化、损失处理、融合处理中的一种或多种。
在一些实施例中,所述脱敏处理包括:对目标特征图进行损失处理;对经过损失处理后的目标特征图进行融合处理,以获取数量少于损失处理后的目标特征图的一个或多个融合特征图。
在一些实施例中,所述损失处理包括改变一张或多张目标特征图中的元素值。
在一些实施例中,所述融合处理包括对经过损失处理后的多个目标特征图,按照两个或以上目标特征图为一组的方式进行组合,得到一个或多个组合结果;对于每个组合结果,将其中的目标特征图按照预设计算方式进行运算,得到融合特征图。
输入模块650可以用于将所述脱敏图像数据作为输入特征输入图像处理模型,得到处理结果。
处理结果可以是指图像处理模型对目标特征图进行处理后得到的结果。其根据图像处理模型的预测任务的不同而不同。
参数调整模块660可以用于调整所述图像处理模型的参数,以减小处理结果与所述标签之间的差异。
在一些实施例中,参数调整模块660可以通过最小化损失函数值的方式来图像处理模型的参数进行调整,从而减小模型的处理结果与标签之间的差异,提高模型在后续任务处理的精度,例如,识别图像中的人脸的身份信息时的识别精度。
关于以上各***的各模块的具体描述,可以参考本说明书流程图部分,例如,图2至图5的相关说明。
应当理解,图6所示的***及其模块可以利用各种方式来实现。例如,在一些实施例中,***及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行***,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和***可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的***及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要注意的是,以上对于图像处理模型的训练***及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该***的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子***与其他模块连接。例如,在一些实施例中,第一获取模块610、第二获取模块620和特征图筛选模块630可以是一个***中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
本说明书实施例可能带来的有益效果包括但不限于:(1)通过引入能量系数在确保特定任务精度的同时保证了对原始图像的隐私保护,能够很好的抵御白盒攻击和黑盒攻击。(2)特征图筛选过程简单,筛选过程可以参数化,并可以通过模型的端到端的训练完成,后续模型识别时的速度快。(3)模型训练分为两阶段,第一阶段可以是用公开训练集的数据对第一模型进行训练,得到能量系数,第二阶段使用隐私数据得到的脱敏图像数据对图像处理模型进行训练,可以在模型训练阶段也确保隐私数据的安全。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外,本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的***组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的***。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (13)
1.一种图像处理模型的训练方法,所述方法包括:
获取第一样本图像及其标签;其中,所述第一样本图像来自于隐私数据集;
获取第一样本图像的多个特征图;
基于与所述多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图;所述能量系数通过使用第二样本图像及其标签对第一模型进行训练获得,所述第二样本图像来自公开数据集;
对所述目标特征图进行脱敏处理,获得用于表征所述第一样本图像的脱敏图像数据;
将所述脱敏图像数据作为输入特征输入图像处理模型,得到处理结果;
调整所述图像处理模型的参数,以减小处理结果与所述标签之间的差异。
2.根据权利要求1所述的方法,所述与所述多个特征图一一对应的能量系数通过以下步骤获得:
获取第二样本图像的多个特征图;
将第二样本图像的多个特征图输入第一模型,得到样本预测结果;所述第一模型的参数包括与所述多个特征图一一对应的能量系数;
确定第一损失函数值;所述第一损失函数值反映样本预测结果与第二样本图像的标签之间的差异;
确定第二损失函数值;所述第二损失函数值基于所述多个特征图的信息与所述多个特征图对应的能量系数构造;
调整所述第一模型的参数,以使得第一损失函数值与第二损失函数值最小化;
从经过训练的第一模型中获取所述能量系数。
3.根据权利要求2所述的方法,在所述第一模型中,各能量系数用于与输入的多个特征图对应相乘,相乘的结果用于输出给第一模型的其他部分以进一步处理。
4.根据权利要求1所述的方法,所述基于与所述多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图,包括:
舍弃小于阈值的能量系数所对应的特征图。
5.根据权利要求1所述的方法,所述隐私数据集与所述公开数据集同分布。
6.根据权利要求1或2所述的方法,样本图像的多个特征图通过以下方式得到:
对样本图像进行局部离散余弦变换,获得多个变换结果;
将各变换结果中相同频率位置的值组合得到一个特征图,以此得到对应变换结果中不同频率位置的多个特征图;
基于所述不同频率位置的多个特征图得到所述多个特征图。
7.根据权利要求6所述的方法,所述基于所述不同频率位置的多个特征图得到所述多个特征图,包括:
将所述不同频率位置的多个特征图作为所述多个特征图;或者,
基于SEnet网络或基于预设选择规则,舍弃所述不同频率位置的多个特征图中的部分得到所述多个特征图。
8.根据权利要求1所述的方法,所述脱敏处理包括:
对目标特征图进行损失处理;
对经过损失处理后的目标特征图进行融合处理,以获取数量少于损失处理后的目标特征图的一个或多个融合特征图。
9.根据权利要求8所述的方法,所述对目标特征图进行损失处理,包括:
改变一张或多张目标特征图中的元素值。
10.根据权利要求8所述的方法,所述对经过损失处理后的目标特征图进行融合处理,以获取数量少于损失处理后的目标特征图的一个或多个融合特征图,包括:
对经过损失处理后的多个目标特征图,按照两个或以上目标特征图为一组的方式进行组合,得到一个或多个组合结果;
对于每个组合结果,将其中的目标特征图按照预设计算方式进行运算,得到融合特征图。
11.一种图像处理模型的训练***,所述***包括:
第一获取模块,用于获取第一样本图像及其标签;其中,所述第一样本图像来自于隐私数据集;
第二获取模块,用于获取第一样本图像的多个特征图;
特征图筛选模块,用于基于与所述多个特征图一一对应的能量系数从第一样本图像的多个特征图中筛选出目标特征图;所述能量系数通过使用第二样本图像及其标签对第一模型进行训练获得,所述第二样本图像来自公开数据集;
脱敏处理模块,用于对所述目标特征图进行脱敏处理,获得用于表征所述第一样本图像的脱敏图像数据;
输入模块,用于将所述脱敏图像数据作为输入特征输入图像处理模型,得到处理结果;
参数调整模块,用于调整所述图像处理模型的参数,以减小处理结果与所述标签之间的差异。
12.一种图像处理模型的训练装置,包括至少一个存储介质和至少一个处理器,所述至少一个存储介质用于存储计算机指令;所述至少一个处理器用于执行所述计算机指令以实现如权利要求1-10任一项所述的方法。
13.一种图像处理方法,所述方法包括:
获取待处理图像的多个特征图;
基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出目标特征图,其中,所述能量系数经过模型训练获得;
对所述目标特征图进行脱敏处理,获得用于表征所述待处理图像的脱敏图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110752725.6A CN113378982A (zh) | 2021-07-02 | 2021-07-02 | 一种图像处理模型的训练方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110752725.6A CN113378982A (zh) | 2021-07-02 | 2021-07-02 | 一种图像处理模型的训练方法和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113378982A true CN113378982A (zh) | 2021-09-10 |
Family
ID=77581006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110752725.6A Pending CN113378982A (zh) | 2021-07-02 | 2021-07-02 | 一种图像处理模型的训练方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113378982A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115238826A (zh) * | 2022-09-15 | 2022-10-25 | 支付宝(杭州)信息技术有限公司 | 一种模型训练的方法、装置、存储介质及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257697A (zh) * | 2020-12-23 | 2021-01-22 | 支付宝(杭州)信息技术有限公司 | 图像处理、图像识别模型的训练、图像识别的方法和*** |
-
2021
- 2021-07-02 CN CN202110752725.6A patent/CN113378982A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257697A (zh) * | 2020-12-23 | 2021-01-22 | 支付宝(杭州)信息技术有限公司 | 图像处理、图像识别模型的训练、图像识别的方法和*** |
Non-Patent Citations (1)
Title |
---|
JIE HU ET AL: "Squeeze-and-Excitation Networks", 《CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115238826A (zh) * | 2022-09-15 | 2022-10-25 | 支付宝(杭州)信息技术有限公司 | 一种模型训练的方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10635788B2 (en) | Method for training and testing obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same | |
EP3812988A1 (en) | Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same | |
CN114913565B (zh) | 人脸图像检测方法、模型训练方法、装置及存储介质 | |
EP3812970A1 (en) | Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same | |
CN110851835A (zh) | 图像模型检测方法、装置、电子设备及存储介质 | |
EP3471060B1 (en) | Apparatus and methods for determining and providing anonymized content within images | |
CN112257697A (zh) | 图像处理、图像识别模型的训练、图像识别的方法和*** | |
CN112966737A (zh) | 图像处理、图像识别模型的训练、图像识别的方法和*** | |
CN117121068A (zh) | 使用机器学习和登记数据的个性化生物测定反欺骗保护 | |
CN111507320A (zh) | 后厨违规行为检测方法、装置、设备和存储介质 | |
US11537750B2 (en) | Image access management device, image access management method, and image access management system | |
CN114220097A (zh) | 一种基于对抗攻击的图像语义信息敏感像素域的筛选方法及应用方法与*** | |
CN112041847A (zh) | 提供具有隐私标签的图像 | |
CN113378982A (zh) | 一种图像处理模型的训练方法和*** | |
Kuznetsov et al. | Biometric authentication using convolutional neural networks | |
CN111783725A (zh) | 人脸识别方法、装置及存储介质 | |
CN115953849A (zh) | 活体检测模型的训练方法、活体检测方法及*** | |
WO2022217294A1 (en) | Personalized biometric anti-spoofing protection using machine learning and enrollment data | |
CN114612989A (zh) | 人脸识别数据集的生成方法及装置、电子设备及存储介质 | |
CN113159214A (zh) | 图像处理方法和*** | |
CN112291188B (zh) | 注册验证方法及***、注册验证服务器、云服务器 | |
Ashiba | Proposed framework for cancelable face recognition system | |
CN113793396A (zh) | 一种基于对抗生成网络训练图像重构模型的方法 | |
CN110457877A (zh) | 用户认证方法和装置、电子设备、计算机可读存储介质 | |
Ghani et al. | Securing synthetic faces: A GAN-blockchain approach to privacy-enhanced facial recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210910 |
|
RJ01 | Rejection of invention patent application after publication |