CN108520181A - 数据模型训练方法和装置 - Google Patents
数据模型训练方法和装置 Download PDFInfo
- Publication number
- CN108520181A CN108520181A CN201810256461.3A CN201810256461A CN108520181A CN 108520181 A CN108520181 A CN 108520181A CN 201810256461 A CN201810256461 A CN 201810256461A CN 108520181 A CN108520181 A CN 108520181A
- Authority
- CN
- China
- Prior art keywords
- data
- training set
- training
- encryption
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据模型训练方法,包括:获取训练集,所获取的该训练集中包括多条训练数据,对该训练集进行第一隐私保护处理,得到加密训练集。使用该加密训练集对数据模型进行训练,得到模型参数。对所得到的模型参数进行第二隐私保护处理,得到加密模型参数,基于该加密模型参数生成加密数据模型。其中,第一隐私保护处理使得加密训练集不同于训练集、且加密训练集与训练集的训练结果相同;第二隐私保护处理使得加密模型参数不同于模型参数,且基于加密模型参数生成的加密数据模型与基于模型参数生成的数据模型在输入相同时具有相同的输出结果。本公开还提供了一种数据模型训练装置、以及一种计算机设备。
Description
技术领域
本公开涉及一种数据模型训练方法和装置。
背景技术
近年来,人工智能强制崛起,人们领略到了人工智能技术的巨大潜力,人工智能技术中,数据是载体,智能是目标,而机器学习是从数据通往智能的技术途径。机器学习的本质是计算机利用已有的数据训练出某种数据模型,并利用此数据模型进行预测的过程。
在实现本公开构思的过程中,发明人发现现有技术基于机器学习或深度学习进行数据模型训练的过程中,训练数据以及训练结束后得到的模型参数往往是公开的,处于攻击者想获取便可获取的不安全状态,很容易被攻击者恶意利用。
发明内容
本公开的一个方面提供了一种数据模型训练方法,包括:获取训练集,所获取的该训练集中包括多条训练数据,对该训练集进行第一隐私保护处理,得到加密训练集。使用该加密训练集对数据模型进行训练,得到模型参数。对所得到的模型参数进行第二隐私保护处理,得到加密模型参数,基于该加密模型参数生成加密数据模型。
其中,第一隐私保护处理使得加密训练集不同于训练集、且加密训练集与训练集的训练结果相同;第二隐私保护处理使得加密模型参数不同于模型参数,且基于加密模型参数生成的加密数据模型与基于模型参数生成的数据模型在输入相同时具有相同的输出结果。
可选地,训练集中还包括一条或多条标记数据,则上述对训练集进行第一隐私保护处理是指对训练集中的训练数据进行第一隐私保护处理,上述使用加密训练集对数据模型进行训练是指使用训练集中经过第一隐私保护处理的训练数据对数据模型进行训练。进一步地,该方法还包括:训练结束后,判断所述训练集中的标记数据的值是否发生变化,是则确定所述加密数据模型无效。
可选地,训练集中的训练数据和标记数据按照均匀分布混合。
可选地,训练集中的训练数据附有标记位,上述对训练集进行第一隐私保护处理,得到加密训练集包括:对训练集中的训练数据进行第一隐私保护处理,得到多条附有标记位的加密训练数据,组成加密训练集。进一步地,该方法还包括:训练结束后,判断加密训练集中是否存在未附有标记位的数据,是则确定加密数据模型无效。
可选地,该方法还包括:获取验证集,在上述基于加密模型参数生成加密数据模型之后,将验证集中的各验证数据的输入项输入至加密数据模型,统计输出结果与相应验证数据的输出项的匹配率,当匹配率高于预设阈值时,确定加密数据模型有效,否则确定加密数据模型无效。其中,验证集中包括一条或多条验证数据,每条验证数据均包括适配于基于模型参数生成的数据模型的输入项和输出项。
可选地,上述对训练集进行第一隐私保护处理包括:根据该训练集,确定第一随机分布噪声函数,基于第一随机分布噪声函数对该训练集进行加噪处理。并且/或者,上述对模型参数进行第二隐私保护处理包括:根据该模型参数,确定第二随机分布噪声函数,基于第二随机分布噪声函数对模型参数进行加噪处理。
可选地,第一随机分布噪声函数包括拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数中的任一项,并且/或者,第二随机分布噪声函数包括拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数中的任一项。
本公开的另一个方面提供了一种数据模型训练装置,包括:输入模块、加密模块、训练模块和输出模块。
输入模块用于获取训练集,所获取的训练集中包括多条训练数据,加密模块用于对训练集进行第一隐私保护处理,得到加密训练集,训练模块用于使用加密训练集对数据模型进行训练,得到模型参数,加密模块还用于对模型参数进行第二隐私保护处理,得到加密模型参数,输出模块用于基于加密模型参数生成加密数据模型。
其中,第一隐私保护处理使得加密训练集不同于训练集、且加密训练集与训练集的训练结果相同;第二隐私保护处理使得加密模型参数不同于模型参数,且基于加密模型参数生成的加密数据模型与基于模型参数生成的数据模型在输入相同时具有相同的输出结果。
可选地,该装置还包括校验模块。训练集中还包括一条或多条标记数据。加密模块用于对训练集中的训练数据进行第一隐私保护处理,训练模块用于使用训练集中经过第一隐私保护处理的训练数据对数据模型进行训练,校验模块用于在训练结束后判断训练集中的标记数据的值是否发生变化,是则确定所述加密数据模型无效。
可选地,训练集中的训练数据和标记数据按照均匀分布混合。
可选地,该装置还包括校验模块。训练集中的训练数据附有标记位。加密模块用于对训练集中的训练数据进行第一隐私保护处理,得到多条附有标记位的加密训练数据,组成加密训练集,校验模块用于在训练结束后判断加密训练集中是否存在未附有标记位的数据,是则确定加密数据模型无效。
可选地,该装置还包括校验模块。校验模块用于获取验证集,在输出模块基于加密模型参数生成加密数据模型之后,将验证集中的各验证数据的输入项输入至加密数据模型,统计输出结果与相应验证数据的输出项的匹配率,当匹配率高于预设阈值时,确定加密数据模型有效,否则确定加密数据模型无效。其中,验证集中包括一条或多条验证数据,每条验证数据均包括适配于基于模型参数生成的数据模型的输入项和输出项。
可选地,加密模块用于根据训练集确定第一随机分布噪声函数,基于第一随机分布噪声函数对该训练集进行加噪处理。并且/或者,加密模块用于根据模型参数确定第二随机分布噪声函数,基于第二随机分布噪声函数对模型参数进行加噪处理。
可选地,第一随机分布噪声函数包括拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数中的任一项,并且/或者,第二随机分布噪声函数包括拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数中的任一项。
本公开的另一方面提供了一种计算机设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行所述程序时实现如上所述的方法。
本公开的另一方面提供了一种非易失性存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的数据模型训练方法和装置的应用场景;
图2示意性示出了根据本公开实施例的数据模型训练方法的流程图;
图3示意性示出了根据本公开一个实施例的数据模型训练方法的流程图;
图4示意性示出了根据本公开另一实施例的数据模型训练方法的流程图;
图5示意性示出了根据本公开实施例的数据模型训练装置的框图;
图6示意性示出了根据本公开另一实施例的数据模型训练装置的框图;以及
图7示意性示出了根据本公开实施例的适于实现数据模型训练方法的计算机设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此,本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行***使用或者结合指令执行***使用。在本公开的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
图1示意性示出了根据本公开实施例的数据模型训练方法和装置的应用场景。需要注意的是,图1所示仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示,该应用场景可以包括终端设备101、102、103,网络104和服务器/服务器集群105。网络104用以在终端设备101、102、103和服务器/服务器集群105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器/服务器集群105交互,以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器/服务器集群105可以是提供各种服务的服务器或服务器集群,后台管理服务器或服务器集群可以对接收到的用户请求等数据进行分析等处理,并将处理结果反馈给终端设备。
需要说明的是,本公开实施例所提供的数据模型训练方法一般可以由服务器/服务器集群105执行。相应地,本公开实施例所提供的数据模型训练装置一般可以设置于服务器/服务器集群105中。本公开实施例所提供的数据模型训练方法也可以由不同于服务器/服务器集群105且能够与终端设备101、102、103、和/或、服务器/服务器集群105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据模型训练装置也可以设置于不同于服务器/服务器集群105且能够与终端设备101、102、103、和/或、服务器/服务器集群105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器/服务器集群的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器/服务器集群。
图2示意性示出了根据本公开实施例的数据模型训练方法的流程图。
如图2所示,该方法包括操作S201~S205。
在操作S201,获取训练集,训练集中包括多条训练数据。
数据模型训练是利用已知的数据寻找数据模型的最优解的过程,本操作所获取的训练集中的训练数据作为已知的数据,用于在后续对初始的数据模型进行训练,找到最优的模型参数。
在操作S202,对训练集进行第一隐私保护处理,得到加密训练集。
其中,第一隐私保护处理使得加密训练集不同于训练集、且加密训练集与训练集的训练结果相同。也就是说,第一隐私保护处理使得训练集中的每条训练数据的泄露风险降低,同时保证了训练集中的训练数据的可用性,不影响训练结果。
在操作S203,使用加密训练集对数据模型进行训练,得到模型参数。
本操作中,加密训练集是指训练集经过第一隐私保护处理后的结果,数据模型是指未经优化训练的初始的数据模型,该初始的数据模型的模型参数具有初始值。利用加密训练集对数据模型进行训练,即利用经过第一隐私保护处理后的训练集中的数据作为已知的数据,对于该初始的数据模型不断地进行迭代优化,该迭代优化过程中,初始的数据模型的模型参数不断被优化,直至训练结束,得到基于加密训练集的最优的模型参数,由于第一隐私保护处理不影响训练集的训练结果,即得到基于训练集的最优的模型参数。
在操作S204,对模型参数进行第二隐私保护处理,得到加密模型参数。
本操作中,第二隐私保护处理使得加密模型参数不同于模型参数,且基于加密模型参数生成的加密数据模型与基于模型参数生成的数据模型在输入相同时具有相同的输出结果。其中,模型参数是指操作S203在训练结束后得到的基于训练集的最优的模型参数,该模型参数中包括一个或多个参数数据。第二隐私保护处理使得该模型参数中每个参数数据的泄露风险降低,同时保证了该模型参数的可用性,不影响基于该模型参数生成的数据模型的预测性能。
在操作S205,基于加密模型参数生成加密数据模型。
本操作中,加密模型参数为操作S203得到的最优的模型参数经过第二隐私保护处理后的结果,由于第二隐私保护处理不影响基于模型参数所生成的数据模型的预测性能,基于加密模型参数生成的加密数据模型具有与基于模型参数生成的数据模型相同的预测性能,可以正常使用该加密数据模型。
可见,图2所示的方法在进行数据模型的训练过程中,一方面对训练集进行第一隐私保护处理,降低训练集中的训练数据的泄露风险并保证训练数据的可用性,另一方面对训练结束得到的最优的模型参数进行第二隐私保护处理,降低该模型参数中的参数的泄露风险并保证该模型参数的可用性。在不影响数据模型训练效果的前提下,实现了对于数据模型训练过程的输入和输出的双重保护,使得攻击者无法轻易获取到输入的训练集中的训练数据,也无法轻易获取到输出的模型参数中的参数数据,进而防止了攻击者对数据的恶意利用。该方案适用范围广,是可以适用于监督、半监督以及无监督学习中的数据模型训练过程。
例如,待训练的初始的数据模型为A0,对该函数A0进行数据模型训练的过程为:获取到相应的训练集D,该训练集中包括n条训练数据。对该训练集D进行第一隐私保护处理M1,相当于在训练集D中增加了扰动,得到加密训练集M1(D),使得攻击者在面对加密训练集M1(D)时不能获取到训练集D中的真实的训练数据个体,同时,第一隐私保护处理M1还要通过相应的约束条件来控制M1(D)在训练集D中所增加的扰动的程度,以保证训练集D在训练过程的可用性。利用加密训练集M1(D)对数据模型A0进行训练,不断地进行迭代优化,直至达到最优态,此时训练结束,得到模型参数E,该模型参数E包括m条参数数据,每条参数数据代表一个参数及其对应的取值。对所得到的模型参数E进行第二隐私保护处理M2,相当于在模型参数E中增加了扰动,得到加密模型参数M2(E),使得攻击者在面对加密模型参数M2(E)时不能获取到模型参数E中的真实的参数数据个体,同时,第二隐私保护处理M2还要通过相应的约束条件来控制M2(E)在模型参数E中所增加的扰动的程度,以保证模型参数E在生成数据模型过程的可用性。基于加密模型参数M2(E)生成加密数据模型A,该加密数据模型A表达了基于模型参数E和初始的数据模型A0所确定的映射关系,可以根据该映射关系进行相应的数据预测。
进一步地,在图2所示方法生成的加密数据模型的基础上,虽然训练集中的训练数据个体不会被轻易获取到,但是攻击者仍然可以对训练集整体进行干扰,如对训练集中的训练数据进行整体篡改,或者在训练集中增加脏数据等,使得后续的模型训练过程基于错误的训练数据而失败。为应对此情形,需要对训练得到的数据模型的有效性进行验证。下面以图3~图4为例进行说明:
图3示意性示出了根据本公开一个实施例的数据模型训练方法的流程图。如图3所示,该方法包括操作S301~S308。
在操作S301,获取训练集,训练集中包括多条训练数据。
本操作与图2所示的操作S201相同,不再赘述。
在操作S302,在训练集中加入一条或多条标记数据。
本操作使得训练集中除训练数据之外,还包括一条或多条标记数据,当攻击者对训练集整体进行干扰时,训练数据和标记数据一同受到干扰,后续即通过标记数据来验证训练数据是否受到干扰。
在操作S303,对训练集中的训练数据进行第一隐私保护处理。
本操作仅仅对训练集中的训练数据进行第一隐私保护处理,而对训练集中的标记数据不作任何处理,标记数据仅仅随训练数据一同在数据模型训练流程中流转。
在操作S304,使用训练集中经过第一隐私保护处理的训练数据对数据模型进行训练,得到模型参数。
本操作中,经过第一隐私保护处理的训练数据参与训练过程,标记数据不参与训练过程,仅仅随训练数据一同在数据模型训练流程中流转。
在操作S305,对模型参数进行第二隐私保护处理,得到加密模型参数。
本操作与图2所示的操作S204相同,不再赘述。
在操作S306,基于加密模型参数生成加密数据模型。
本操作与图2所示的操作S205相同,不再赘述。
在操作S307,判断标记数据的值是否发生变化。是则确定加密数据模型无效,重新执行操作301进行新一轮的数据模型训练。
否则确定加密数据模型有效,执行操作308,输出加密数据模型。
可见,由于标记数据未参与隐私保护处理过程也未参与训练过程,正常情况下标记数据是保持不变的,当标记数据的值发生变化时,说明训练集遭到了整体篡改,依据该训练集训练得到的数据模型是无效的,需要舍弃掉,以避免后续使用该无效数据模型而引发的不良后果。
优选地,考虑到攻击者对训练集整体进行干扰可能是概率性的模式,即训练集中的部分数据会遭到污染,因此可以在向训练集中加入标记数据时使得训练集中的训练数据和标记数据按照均匀分布混合,这样训练数据和标记数据受到污染的概率是相同的,利用标记数据来验证训练数据是否被篡改仍然是可靠有意义的。
图4示意性示出了根据本公开另一实施例的数据模型训练方法的流程图。如图4所示,该方法包括操作S401~S408。
在操作S401,获取训练集,训练集中包括多条训练数据。
本操作与图2所示的操作S201相同,不再赘述。
在操作S402,在训练集中的训练数据上添加标记位。
本操作使得训练集中的训练数据均附有标记位,当攻击者在训练集中加入脏数据时,脏数据与训练数据的区别在于有无标记位,后续即通过标记位来验证训练集是否受到干扰。
在操作S403,对训练集中的训练数据进行第一隐私保护处理,得到多条附有标记位的加密训练数据,组成加密训练集。
在操作S404,使用加密训练集对数据模型进行训练,得到模型参数。
本操作与图2所示的操作S203相同,不再赘述。
在操作S405,对模型参数进行第二隐私保护处理,得到加密模型参数。
本操作与图2所示的操作S204相同,不再赘述。
在操作S406,基于加密模型参数生成加密数据模型。
本操作与图2所示的操作S205相同,不再赘述。
在操作S407,判断加密训练集中是否存在未附有标记位的数据。是则确定加密数据模型无效,重新执行操作401进行新一轮的数据模型训练。
否则确定加密数据模型有效,执行操作408,输出加密数据模型。
可见,由于训练集中的训练数据附有标记位,正常情况下至训练结束后训练集至加密训练集中都应只存在附有标记位的数据,当存在未附有标记位的数据时,说明训练集在训练过程中被加入了脏数据,依据该训练集训练得到的数据模型是无效的,需要舍弃掉,以避免后续使用该无效数据模型而引发的不良后果。
此外,除了上述训练集可能遭到攻击的情形,整个数据模型训练过程中的任意节点也都可能遭到攻击,因此进一步地,在本公开的一个实施例中,图2所示的方法还可以增加利用已知的验证数据对生成的加密数据模型进行验证的过程。即上述方法还包括:获取验证集,验证集中包括一条或多条验证数据,每条验证数据包括输入项和输出项;在基于加密模型参数生成加密数据模型之后,将验证集中的各验证数据的输入项输入至加密数据模型,统计输出结果与相应输出项的匹配率;当匹配率高于预设阈值时,确定加密数据模型有效,否则确定加密数据模型无效。其中,所获取的验证集中的每条验证数据的输入项和输出项是适配于正常情形下训练结束得到的最优的模型参数所对应的数据模型的,也就是说,对于正常得到的加密数据模型,输入一条验证数据的输入项,该加密数据模型会输出该条验证数据的相应的输出项。依据本实施例,对于一些无法找到攻击源头的情形,可以在生成加密数据模型后利用已知的验证数据进行验证,以进一步保障加密数据模型的有效性。
实际情况中,训练集作为数据模型训练过程中的已知数据,需要允许训练者对训练集进行一些查询操作以支持模型训练过程,而混入训练者中的攻击者常常通过对训练集进行被允许的查询操作根据查询结果来获取训练集中的训练数据个体,为了应对此情形,本实施例通过对训练集进行加噪处理使得攻击者在对经加噪处理后的训练集进行查询操作时相应的查询结果也受到干扰,无法根据查询结果来找到训练集中的训练数据个体信息,进而实现对训练集中的训练数据的保护。在本公开的一个实施例中,图2所示方法的操作S202对训练集进行第一隐私保护处理包括:根据训练集确定第一随机分布噪声函数,基于第一随机分布噪声函数对训练集进行加噪处理。在本实施例中,可以根据训练集中训练数据的体量、类型、应用需求、被允许的查询操作等因素中的一项或多项来确定既能保证训练数据的隐私性又能保证训练数据的可用性的约束条件,根据约束条件找到相应的第一随机分布噪声函数,进而基于该第一随机分布噪声函数对训练集进行加噪处理以满足需求。
例如可以采用如下方式:获取到训练集D,训练集D中包括n条训练数据。对训练集D的各种映射函数被定义为查询(Query),用F1={n1,f12,…}来表示一组被允许的查询操作。假设第一随机分布噪声函数M1,训练集D’为训练集D的邻近数据集,二者只相差一条训练数据,则基于第一随机分布噪声函数M1对训练集D进行加噪后得到加密训练集M1(D),基于第一随机分布噪声函数M1对训练集D’进行加噪后得到加密训练集M1(D’),T1为查询操作F1所有可能的输出构成的集合的任意子集,使得第一随机分布噪声函数M1满足:
Pr[F1(M1(D))∈T1]≤exp(ε1)×Pr[F1(M1(D′))∈T1]
上式中,Pr[F1(M1(D))∈T1]表示对加密训练集M1(D)进行查询操作F1时能够得到属于T1的子集的查询结果的概率,Pr[F1(M1(D′))∈T1]表示对加密训练集M1(D’)进行查询操作F1时能够得到属于T1的子集的查询结果的概率,ε1为接近于0常数,用来表示第一随机分布噪声函数M1所能达到的隐私保护水平,当ε1越接近0时,隐私保护水平越高,但训练集的可用性越低,当ε1越远离0时,隐私保护水平越低,但训练集的可用性越高,在实际应用中需要根据训练集的应用需求对ε1进行设定,以平衡训练集的隐私保护性和可用性。可以看出,对于训练集D和训练集D’,要找到一个第一随机分布噪声函数M1,使得经过该第一随机分布噪声函数M1的加噪处理,对训练集D和训练集D’分别进行查询操作F1时,在同一种查询操作下二者产生同一结果的概率的比值接近于1。上述根据训练集D寻找第一随机分布噪声函数M1的过程即根据训练集确定了第一随机分布噪声函数的过程,在确定第一随机分布噪声函数M1后,可以基于该第一随机分布噪声函数M1对训练集D进行加噪处理,得到加密训练集M1(D),以进行后续的数据模型训练。
可见,本实施例利用第一随机分布噪声函数对训练集进行加噪处理,进而在攻击者关于训练集及其邻近数据集进行查询操作的查询结果中也加入了随机分布噪声,使得攻击者无法得到查询结果之间的差异,进而也不能根据该差异来推测获得训练集中的训练数据个体。需要说明的是,上例是在假设攻击者能够获得最大知识背景(即训练集的邻近数据集)的最坏情形下进行的说明,以描述极端情形下所能达到的隐私保护程度,并不是对本实施例加以限制,可以理解,与训练集差别越大的数据集,加噪处理对其进行查询操作的查询结果中所引入的随机性就越大。
同理地,混入训练者中的攻击者也常常通过对模型参数进行被允许各种查询操作来获取模型参数中的参数数据个体,为了应对此情形,本实施例通过对模型参数进行加噪处理使得攻击者在对经加噪处理后的模型参数进行查询操作时相应的查询结果也受到干扰,无法根据查询结果来找到模型参数中的参数数据个体信息,进而实现对模型参数中的参数数据的保护。在本公开的一个实施例中,图2所示方法的操作S204对模型参数进行第二隐私保护处理包括:根据模型参数确定第二随机分布噪声函数,基于第二随机分布噪声函数对模型参数进行加噪处理。在本实施例中,可以根据模型参数中参数数据的体量、类型、应用需求、被允许的查询操作等因素中的一项或多项来确定既能保证参数数据的隐私性又能保证参数数据的可用性的约束条件,根据约束条件找到相应的第二随机分布噪声函数,进而基于该第二随机分布噪声函数对模型参数进行加噪处理以满足需求。
例如可以采用如下方式:利用加密训练集对数据模型进行训练,得到模型参数E,模型参数E中包括m条参数数据。对模型参数E的各种映射函数被定义为查询(Query),用F2={f21,f22,…}来表示一组被允许的查询操作。假设第二随机分布噪声函数M2,模型参数E’为模型参数E的邻近数据集,二者只相差一条参数数据,则基于第二随机分布噪声函数M2对模型参数E进行加噪后得到加密模型参数M2(E),基于第二随机分布噪声函数M2对模型参数E’进行加噪后得到加密模型参数M2(E’),T2为查询操作F2所有可能的输出构成的集合的任意子集,使得第二随机分布噪声函数M2满足:
Pr[F2(M2(E))∈T2]≤exp(ε2)×Pr[F2(M2(E′))∈T2]
上式中,Pr[F2(M2(E))∈T2]表示对加密模型参数M2(E)进行查询操作F2时能够得到属于T2的子集的查询结果的概率,Pr[F2(M2(E′))∈T2]表示对加密模型参数M2(E’)进行查询操作F2时能够得到属于T2的子集的查询结果的概率,ε2为接近于0常数,用来表示第二随机分布噪声函数M2所能达到的隐私保护水平,当ε2越接近0时,隐私保护水平越高,但模型参数的可用性越低,当ε2越远离0时,隐私保护水平越低,但模型参数的可用性越高,在实际应用中需要根据模型参数的应用需求对ε2进行设定,以平衡模型参数的隐私保护性和可用性。可以看出,对于模型参数E和模型参数E’,要找到一个第二随机分布噪声函数M2,使得经过该第二随机分布噪声函数M2的加噪处理,对模型参数E和模型参数E’分别进行查询操作F2时,在同一种查询操作下二者产生同一结果的概率的比值接近于1。上述根据模型参数E寻找第二随机分布噪声函数M2的过程即本例中的根据模型参数确定了第二随机分布噪声函数的过程,在确定第二随机分布噪声函数M2后,可以基于该第二随机分布噪声函数M2对模型参数E进行加噪处理,得到加密模型参数M2(E),以在后续操作中基于该加密模型参数生成加密数据模型。
可见,本实施例利用第二随机分布噪声函数对模型参数进行加噪处理,进而在攻击者关于模型参数及其邻近数据集进行查询操作的查询结果中也加入了随机分布噪声,使得攻击者无法得到查询结果之间的差异,进而也不能根据该差异来推测获得模型参数中的参数数据个体。需要说明的是,上例是在假设攻击者能够获得最大知识背景(即模型参数的邻近数据集)的最坏情形下进行的说明,以描述极端情形下所能达到的隐私保护程度,并不是对本实施例加以限制,可以理解,与模型参数差别越大的数据集,加噪处理对其进行查询操作的查询结果中所引入的随机性就越大。
在本公开的具体实施例中,上述基于第一随机分布噪声函数对训练集进行加噪可以采用差分隐私技术中的加噪方式,和/或,上述基于第二随机分布噪声函数对模型参数进行加噪可以采用差分隐私技术中的加噪方式,差分隐私技术是基于数据失真的隐私保护技术,采用添加噪声的方式使敏感数据失真同时保持某些数据属性不变,要求保证处理后的数据仍然可以保持可用性。则具体地,差分隐私技术中所采用的第一随机分布噪声函数可以是拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数等各种随机化分布的噪声函数中的一种,可以根据需要进行选择,通常情况下,当训练集中的训练数据是数值型时,优先选用拉普拉斯分布噪声函数进行加噪处理,当训练集中的训练数据是非数值型时,优先选用指数分布噪声函数进行加噪处理。并且/或者,差分隐私技术中所采用的第二随机分布噪声函数可以是拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数等各种随机化分布的噪声函数中的一种,可以根据实际需要进行选择,通常情况下,当模型参数中的参数数据是数值型时,优先选用拉普拉斯分布噪声函数进行加噪处理,当模型参数中的参数数据是非数值型时,优先选用指数分布噪声函数进行加噪处理。
例如可以采用如下方式基于拉普拉斯分布噪声函数对训练集进行加噪处理:沿用上文中的字母含义,当上文中第一随机分布噪声函数M1为拉普拉斯分布噪声函数时,基于该拉普拉斯分布噪声函数M1对训练集D进行加噪处理得到M1(D),对M1(D)进行F1查询操作得到F1(M1(D)),基于该拉普拉斯分布噪声函数M1对训练集D’进行加噪处理得到M1(D’),对M1(D’)进行F1查询操作得到F1(M1(D’)),使得F1(M1(D))=F1(D)+X,F1(M1(D′))=F1(D’)+X′
其中,X为拉普拉斯分布噪声函数对训练集进行加噪这一操作对关于训练集的查询操作所带来的噪声干扰,X’为拉普拉斯分布噪声函数对训练集的邻近数据集进行加噪这一操作对关于训练集的邻近数据集的查询操作所带来的噪声干扰。要保证
Pr[F1(M1(D))∈T1]≤exp(ε1)×Pr[F1(M1(D′))∈T1]
则
Pr[(F1(D)+X)∈T1]≤exp(ε1)×Pr[(F1(D’)+X′)∈T1]
可以计算得到X和X’符合拉普拉斯分布Lap(Δf/ε1),其中,表示加噪处理前训练集D与其邻近数据集D’之间的最大查询差异。可见,基于拉普拉斯分布噪声函数对训练集进行加噪处理,导致攻击者对训练集进行查询的查询结果中引入了符合拉普拉斯分布的噪声Lap(Δf/ε1),使得攻击者无法获取训练集中真实的训练数据。
图5示意性示出了根据本公开实施例的数据模型训练装置的框图。
如图5所示,数据模型训练装置500包括输入模块510、加密模块520、训练模块530、和输出模块540。该数据模型训练装置500可以执行上面参考图2~图4描述的方法,以实现更加安全可靠的数据模型训练过程。
具体地,输入模块510用于获取训练集,所获取的训练集中包括多条训练数据。
加密模块520用于对训练集进行第一隐私保护处理,得到加密训练集。
训练模块530用于使用加密训练集对数据模型进行训练,得到模型参数。
加密模块520还用于对模型参数进行第二隐私保护处理,得到加密模型参数。
输出模块540用于基于加密模型参数生成加密数据模型。
其中,第一隐私保护处理使得加密训练集不同于训练集、且加密训练集与训练集的训练结果相同;第二隐私保护处理使得加密模型参数不同于模型参数,且基于加密模型参数生成的加密数据模型与基于模型参数生成的数据模型在输入相同时具有相同的输出结果。
可见,图5所示的装置在进行数据模型的训练过程中,一方面对训练集进行第一隐私保护处理,降低训练集中的训练数据的泄露风险并保证训练数据的可用性,另一方面对训练结束得到的最优的模型参数进行第二隐私保护处理,降低该模型参数中的参数的泄露风险并保证该模型参数的可用性。在不影响数据模型训练效果的前提下,实现了对于数据模型训练过程的输入和输出的双重保护,使得攻击者无法轻易获取到输入的训练集中的训练数据,也无法轻易获取到输出的模型参数中的参数数据,进而防止了攻击者对数据的恶意利用。
在本公开的一个实施例中,加密模块520用于根据训练集确定第一随机分布噪声函数,基于第一随机分布噪声函数对该训练集进行加噪处理。并且/或者,加密模块520用于根据模型参数确定第二随机分布噪声函数,基于第二随机分布噪声函数对模型参数进行加噪处理。具体地,第一随机分布噪声函数可以包括:拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数,并且/或者,第二随机分布噪声函数可以包括:拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数。
图6示意性示出了根据本公开另一实施例的数据模型训练装置的框图。如图6所示,数据模型训练装置600包括输入模块610、加密模块620、训练模块630、输出模块640、和校验模块650。
其中,输入模块610、加密模块620、训练模块630、输出模块640与图5所示的输入模块510、加密模块520、训练模块530、输出模块540分别对应相同,在此不再重复说明。
校验模块650用于对加密数据模型的有效性进行校验。
在本公开的一个实施例中,训练集中还包括一条或多条标记数据。加密模块620用于对训练集中的训练数据进行第一隐私保护处理,训练模块630用于使用训练集中经过第一隐私保护处理的训练数据对数据模型进行训练,校验模块650用于在训练结束后判断训练集中的标记数据的值是否发生变化,是则确定所述加密数据模型无效。可选地,训练集中的训练数据和标记数据按照均匀分布混合。
在本公开的一个实施例中,训练集中的训练数据附有标记位。加密模块620用于对训练集中的训练数据进行第一隐私保护处理,得到多条附有标记位的加密训练数据,组成加密训练集。校验模块650用于在训练结束后判断加密训练集中是否存在未附有标记位的数据,是则确定加密数据模型无效。
在本公开的一个实施例中,校验模块650用于获取验证集,在输出模块基于加密模型参数生成加密数据模型之后,将验证集中的各验证数据的输入项输入至加密数据模型,统计输出结果与相应验证数据的输出项的匹配率,当匹配率高于预设阈值时,确定加密数据模型有效,否则确定加密数据模型无效。其中,验证集中包括一条或多条验证数据,每条验证数据均包括适配于基于模型参数生成的数据模型的输入项和输出项。
需要说明的是,数据模型训练装置500/600中的各模块能够实现图2~图4所示方法中的操作,具体实施例对应相同,上文中已有详细描述,在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,输入模块510/610、加密模块520/620、训练模块530/630、输出模块540/640、以及校验模块650中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,输入模块510/610、加密模块520/620、训练模块530/630、输出模块540/640、以及校验模块650中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,输入模块510/610、加密模块520/620、训练模块530/630、输出模块540/640、以及校验模块650中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
根据本公开的另一方面,还提供了一种计算机设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行所述程序时实现如上文中图2-图4所示的方法。该计算机设备可以是单个服务器,也可以是由多个服务器组成的服务器集群,当该计算机设备为服务器集群时,能够实现较高的计算速度和较高的容灾性,更加符合大数据时代的数据模型训练需求。
图7示意性示出了根据本公开实施例的适于实现数据模型训练方法的计算机设备的方框图。图7示出的计算机设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,计算机设备700包括处理器710和计算机可读存储介质720。该计算机设备700可以执行根据本公开实施例的方法。
具体地,处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质720,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体***、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
计算机可读存储介质720可以包括计算机程序721,该计算机程序721可以包括代码/计算机可执行指令,其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。
计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序721中的代码可以包括一个或多个程序模块,例如包括模块721A、模块721B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器710执行时,使得处理器710可以执行根据本公开实施例的方法或其任何变形。
根据本公开的实施例,计算机设备700可以包括数据输入接口和数据输出接口(图中未示出),处理器710可以与数据输入接口和数据输出接口进行交互,来执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例,输入模块510/610、加密模块520/620、训练模块530/630、输出模块540/640、以及校验模块650中的至少一个可以实现为参考图7描述的计算机程序模块,其在被处理器710执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现如上文中图2-图4所示的方法。
根据本公开的实施例,计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线、光缆、射频信号等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。
Claims (10)
1.一种数据模型训练方法,包括:
获取训练集,所述训练集中包括多条训练数据;
对所述训练集进行第一隐私保护处理,得到加密训练集;
使用所述加密训练集对数据模型进行训练,得到模型参数;
对所述模型参数进行第二隐私保护处理,得到加密模型参数;
基于所述加密模型参数生成加密数据模型;
其中,所述第一隐私保护处理使得所述加密训练集不同于所述训练集、且所述加密训练集与所述训练集的训练结果相同;
所述第二隐私保护处理使得所述加密模型参数不同于所述模型参数,且基于所述加密模型参数生成的加密数据模型与基于所述模型参数生成的数据模型在输入相同时具有相同的输出结果。
2.根据权利要求1所述的方法,其中:所述训练集中还包括一条或多条标记数据;
所述对所述训练集进行第一隐私保护处理包括:对所述训练集中的训练数据进行第一隐私保护处理;
所述使用所述加密训练集对数据模型进行训练包括:使用所述训练集中经过所述第一隐私保护处理的训练数据对数据模型进行训练;
该方法还包括:
训练结束后,判断所述训练集中的标记数据的值是否发生变化,是则确定所述加密数据模型无效。
3.根据权利要求2所述的方法,其中:所述训练集中的训练数据和标记数据按照均匀分布混合。
4.根据权利要求1所述的方法,其中:所述训练集中的训练数据附有标记位;
所述对所述训练集进行第一隐私保护处理,得到加密训练集包括:对所述训练集中的训练数据进行第一隐私保护处理,得到多条附有标记位的加密训练数据,组成加密训练集;
该方法还包括:
训练结束后,判断所述加密训练集中是否存在未附有标记位的数据,是则确定所述加密数据模型无效。
5.根据权利要求1所述的方法,还包括:
获取验证集,所述验证集中包括一条或多条验证数据,每条验证数据包括适配于基于所述模型参数生成的数据模型的输入项和输出项;
在所述基于所述加密模型参数生成加密数据模型之后,
将所述验证集中的各验证数据的输入项输入至所述加密数据模型,统计输出结果与相应输出项的匹配率;
当所述匹配率高于预设阈值时,确定所述加密数据模型有效,否则确定所述加密数据模型无效。
6.根据权利要求1所述的方法,其中:
所述对所述训练集进行第一隐私保护处理包括:根据所述训练集,确定第一随机分布噪声函数;基于所述第一随机分布噪声函数对所述训练集进行加噪处理;并且/或者
所述对所述模型参数进行第二隐私保护处理包括:根据所述模型参数,确定第二随机分布噪声函数;基于所述第二随机分布噪声函数对所述模型参数进行加噪处理。
7.如权利要求6所述的方法,其中:
所述第一随机分布噪声函数包括以下任一项:拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数;并且/或者
所述第二随机分布噪声函数包括以下任一项:拉普拉斯分布噪声函数、指数分布噪声函数、或高斯分布噪声函数。
8.一种数据模型训练装置,包括:
输入模块,用于获取训练集,所述训练集中包括多条训练数据;
加密模块,用于对所述训练集进行第一隐私保护处理,得到加密训练集;
训练模块,用于使用所述加密训练集对数据模型进行训练,得到模型参数;
所述加密模块,还用于对所述模型参数进行第二隐私保护处理,得到加密模型参数;
输出模块,用于基于所述加密模型参数生成加密数据模型;
其中,所述第一隐私保护处理使得所述加密训练集不同于所述训练集、且所述加密训练集与所述训练集的训练结果相同;
所述第二隐私保护处理使得所述加密模型参数不同于所述模型参数,且基于所述加密模型参数生成的加密数据模型与基于所述模型参数生成的数据模型在输入相同时具有相同的输出结果。
9.根据权利要求8所述的装置,其中:所述训练集中还包括一条或多条标记数据;
所述加密模块,用于对所述训练集中的训练数据进行第一隐私保护处理;
所述训练模块,用于使用所述训练集中经过所述第一隐私保护处理的训练数据对数据模型进行训练;
该装置还包括:
校验模块,用于在训练结束后判断所述训练集中的标记数据的值是否发生变化,是则确定所述加密数据模型无效。
10.一种计算机设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-7中任一项所述的数据模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810256461.3A CN108520181B (zh) | 2018-03-26 | 2018-03-26 | 数据模型训练方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810256461.3A CN108520181B (zh) | 2018-03-26 | 2018-03-26 | 数据模型训练方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108520181A true CN108520181A (zh) | 2018-09-11 |
CN108520181B CN108520181B (zh) | 2022-04-22 |
Family
ID=63434208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810256461.3A Active CN108520181B (zh) | 2018-03-26 | 2018-03-26 | 数据模型训练方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108520181B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543442A (zh) * | 2018-10-12 | 2019-03-29 | 平安科技(深圳)有限公司 | 数据安全处理方法、装置、计算机设备及存储介质 |
CN110263919A (zh) * | 2019-06-20 | 2019-09-20 | 福州数据技术研究院有限公司 | 一种基于医疗健康数据安全的反向传播神经网络训练方法 |
CN110401536A (zh) * | 2019-08-19 | 2019-11-01 | 东南大学 | 一种基于深度学习的通用加密算法 |
CN110457951A (zh) * | 2019-08-19 | 2019-11-15 | 南京大学 | 一种无人工噪声的深度学习模型保护方法 |
CN110704850A (zh) * | 2019-09-03 | 2020-01-17 | 华为技术有限公司 | 人工智能ai模型的运行方法和装置 |
CN110968887A (zh) * | 2018-09-28 | 2020-04-07 | 第四范式(北京)技术有限公司 | 在数据隐私保护下执行机器学习的方法和*** |
WO2020087381A1 (zh) * | 2018-10-31 | 2020-05-07 | 北京比特大陆科技有限公司 | 模型数据的载入方法、装置、设备和存储介质 |
CN111131227A (zh) * | 2019-12-20 | 2020-05-08 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
CN111159761A (zh) * | 2019-12-20 | 2020-05-15 | 深圳前海微众银行股份有限公司 | 一种模型训练方法及装置 |
CN111191267A (zh) * | 2019-12-04 | 2020-05-22 | 杭州海康威视数字技术股份有限公司 | 一种模型数据的处理方法、装置及设备 |
CN111460453A (zh) * | 2019-01-22 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | 机器学习训练方法、控制器、装置、服务器、终端和介质 |
CN111539012A (zh) * | 2020-03-19 | 2020-08-14 | 重庆特斯联智慧科技股份有限公司 | 一种边缘化架构的隐私数据分布存储***和方法 |
CN111539008A (zh) * | 2020-05-22 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 保护隐私的图像处理方法及装置 |
WO2020211240A1 (zh) * | 2019-04-19 | 2020-10-22 | 平安科技(深圳)有限公司 | 预测模型的联合构建方法、装置及计算机设备 |
CN112541593A (zh) * | 2020-12-06 | 2021-03-23 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的联合训练业务模型的方法及装置 |
CN112668016A (zh) * | 2020-01-02 | 2021-04-16 | 华控清交信息科技(北京)有限公司 | 一种模型训练方法、装置和电子设备 |
CN112765662A (zh) * | 2021-01-22 | 2021-05-07 | 电子科技大学 | 一种在深度学习下支持训练集成员隐私保护的方法 |
CN113196264A (zh) * | 2019-01-10 | 2021-07-30 | 国际商业机器公司 | 用于保护隐私的生物特征认证的方法和*** |
WO2021184346A1 (zh) * | 2020-03-20 | 2021-09-23 | 云图技术有限公司 | 隐私机器学习模型生成、训练方法、装置及电子设备 |
CN115426205A (zh) * | 2022-11-05 | 2022-12-02 | 北京淇瑀信息科技有限公司 | 一种基于差分隐私的加密数据生成方法及装置 |
CN115579127A (zh) * | 2022-10-08 | 2023-01-06 | 中南大学 | 一种构建慢阻肺预测模型的方法、***、设备及存储介质 |
WO2024073870A1 (en) * | 2022-10-04 | 2024-04-11 | Lenovo (Beijing) Limited | Path trajectory functional encryption |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050091524A1 (en) * | 2003-10-22 | 2005-04-28 | International Business Machines Corporation | Confidential fraud detection system and method |
CN101763291A (zh) * | 2009-12-30 | 2010-06-30 | 中国人民解放军国防科学技术大学 | 一种程序控制流错误检测方法 |
US20110219035A1 (en) * | 2000-09-25 | 2011-09-08 | Yevgeny Korsunsky | Database security via data flow processing |
CN102991279A (zh) * | 2011-09-13 | 2013-03-27 | 固特异轮胎和橡胶公司 | 商用卡车转向轮胎胎面 |
CN104092686A (zh) * | 2014-07-14 | 2014-10-08 | 中国科学技术大学苏州研究院 | 基于svm分类器的隐私保护和数据安全访问的方法 |
CN104715190A (zh) * | 2015-02-03 | 2015-06-17 | 中国科学院计算技术研究所 | 一种基于深度学习的程序执行路径的监控方法及*** |
CN105095791A (zh) * | 2015-08-12 | 2015-11-25 | 深圳市联软科技有限公司 | 一种数据安全保护方法及*** |
CN105224623A (zh) * | 2015-09-22 | 2016-01-06 | 北京百度网讯科技有限公司 | 数据模型的训练方法及装置 |
CN105426857A (zh) * | 2015-11-25 | 2016-03-23 | 小米科技有限责任公司 | 人脸识别模型训练方法和装置 |
CN105512247A (zh) * | 2015-11-30 | 2016-04-20 | 上海交通大学 | 基于一致性特征的非交互式差分隐私发布模型的优化方法 |
CN105531725A (zh) * | 2013-06-28 | 2016-04-27 | D-波***公司 | 用于对数据进行量子处理的***和方法 |
CN106682397A (zh) * | 2016-12-09 | 2017-05-17 | 江西中科九峰智慧医疗科技有限公司 | 一种基于知识的电子病历质控方法 |
CN107092626A (zh) * | 2015-12-31 | 2017-08-25 | 达索***公司 | 预计算模型的结果的检索 |
CN107124276A (zh) * | 2017-04-07 | 2017-09-01 | 西安电子科技大学 | 一种安全的数据外包机器学习数据分析方法 |
CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
-
2018
- 2018-03-26 CN CN201810256461.3A patent/CN108520181B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110219035A1 (en) * | 2000-09-25 | 2011-09-08 | Yevgeny Korsunsky | Database security via data flow processing |
US20050091524A1 (en) * | 2003-10-22 | 2005-04-28 | International Business Machines Corporation | Confidential fraud detection system and method |
CN101763291A (zh) * | 2009-12-30 | 2010-06-30 | 中国人民解放军国防科学技术大学 | 一种程序控制流错误检测方法 |
CN102991279A (zh) * | 2011-09-13 | 2013-03-27 | 固特异轮胎和橡胶公司 | 商用卡车转向轮胎胎面 |
CN105531725A (zh) * | 2013-06-28 | 2016-04-27 | D-波***公司 | 用于对数据进行量子处理的***和方法 |
CN104092686A (zh) * | 2014-07-14 | 2014-10-08 | 中国科学技术大学苏州研究院 | 基于svm分类器的隐私保护和数据安全访问的方法 |
CN104715190A (zh) * | 2015-02-03 | 2015-06-17 | 中国科学院计算技术研究所 | 一种基于深度学习的程序执行路径的监控方法及*** |
CN105095791A (zh) * | 2015-08-12 | 2015-11-25 | 深圳市联软科技有限公司 | 一种数据安全保护方法及*** |
CN105224623A (zh) * | 2015-09-22 | 2016-01-06 | 北京百度网讯科技有限公司 | 数据模型的训练方法及装置 |
CN105426857A (zh) * | 2015-11-25 | 2016-03-23 | 小米科技有限责任公司 | 人脸识别模型训练方法和装置 |
CN105512247A (zh) * | 2015-11-30 | 2016-04-20 | 上海交通大学 | 基于一致性特征的非交互式差分隐私发布模型的优化方法 |
CN107092626A (zh) * | 2015-12-31 | 2017-08-25 | 达索***公司 | 预计算模型的结果的检索 |
CN106682397A (zh) * | 2016-12-09 | 2017-05-17 | 江西中科九峰智慧医疗科技有限公司 | 一种基于知识的电子病历质控方法 |
CN107124276A (zh) * | 2017-04-07 | 2017-09-01 | 西安电子科技大学 | 一种安全的数据外包机器学习数据分析方法 |
CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
Non-Patent Citations (9)
Title |
---|
HERVE CHABANNE: "Privacy-Preserving Classification on Deep Neural Network", 《IACR CRYPTOLOGY EPRINT ARCHIVE 2017》 * |
MARCO BARRENO: "Can Machine Learning Be Secure?", 《ASIACCS’06》 * |
SPARKAPI: "什么是训练数据", 《HTTPS://BLOG.CSDN.NET/SPARKAPI/ARTICLE/DETAILS/79365803》 * |
STORY: "机器学习隐私保护综述", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/246421757》 * |
俞艺涵: "MapReduce框架下支持差分隐私保护的随机梯度下降算法", 《通信学报》 * |
吴焕钦: "基于伪数据的机器翻译质量估计模型的训练", 《北京大学学报(自然科学版)》 * |
张 铭: "SVM+BiHMM:基于统计方法的元数据抽取混合模型", 《JOURNAL OF SOFTWARE》 * |
蒋林智 等: "(全)同态加密在基于密文计算模型中的应用", 《密码学报》 * |
蔡龙征: "一种无类标训练数据异常检测模型", 《小型微型计算机***》 * |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110968887B (zh) * | 2018-09-28 | 2022-04-05 | 第四范式(北京)技术有限公司 | 在数据隐私保护下执行机器学习的方法和*** |
CN110968887A (zh) * | 2018-09-28 | 2020-04-07 | 第四范式(北京)技术有限公司 | 在数据隐私保护下执行机器学习的方法和*** |
CN109543442A (zh) * | 2018-10-12 | 2019-03-29 | 平安科技(深圳)有限公司 | 数据安全处理方法、装置、计算机设备及存储介质 |
WO2020087381A1 (zh) * | 2018-10-31 | 2020-05-07 | 北京比特大陆科技有限公司 | 模型数据的载入方法、装置、设备和存储介质 |
CN113196264A (zh) * | 2019-01-10 | 2021-07-30 | 国际商业机器公司 | 用于保护隐私的生物特征认证的方法和*** |
CN111460453A (zh) * | 2019-01-22 | 2020-07-28 | 百度在线网络技术(北京)有限公司 | 机器学习训练方法、控制器、装置、服务器、终端和介质 |
CN111460453B (zh) * | 2019-01-22 | 2023-12-12 | 百度在线网络技术(北京)有限公司 | 机器学习训练方法、控制器、装置、服务器、终端和介质 |
WO2020211240A1 (zh) * | 2019-04-19 | 2020-10-22 | 平安科技(深圳)有限公司 | 预测模型的联合构建方法、装置及计算机设备 |
CN110263919A (zh) * | 2019-06-20 | 2019-09-20 | 福州数据技术研究院有限公司 | 一种基于医疗健康数据安全的反向传播神经网络训练方法 |
CN110457951A (zh) * | 2019-08-19 | 2019-11-15 | 南京大学 | 一种无人工噪声的深度学习模型保护方法 |
CN110401536B (zh) * | 2019-08-19 | 2022-09-09 | 东南大学 | 一种基于深度学习的通用加密算法 |
CN110401536A (zh) * | 2019-08-19 | 2019-11-01 | 东南大学 | 一种基于深度学习的通用加密算法 |
CN110704850B (zh) * | 2019-09-03 | 2022-05-10 | 华为技术有限公司 | 人工智能ai模型的运行方法和装置 |
CN110704850A (zh) * | 2019-09-03 | 2020-01-17 | 华为技术有限公司 | 人工智能ai模型的运行方法和装置 |
CN111191267A (zh) * | 2019-12-04 | 2020-05-22 | 杭州海康威视数字技术股份有限公司 | 一种模型数据的处理方法、装置及设备 |
CN111159761B (zh) * | 2019-12-20 | 2022-06-24 | 深圳前海微众银行股份有限公司 | 一种模型训练方法及装置 |
CN111159761A (zh) * | 2019-12-20 | 2020-05-15 | 深圳前海微众银行股份有限公司 | 一种模型训练方法及装置 |
CN111131227A (zh) * | 2019-12-20 | 2020-05-08 | 深圳前海微众银行股份有限公司 | 一种数据处理方法及装置 |
CN112668016A (zh) * | 2020-01-02 | 2021-04-16 | 华控清交信息科技(北京)有限公司 | 一种模型训练方法、装置和电子设备 |
CN112668016B (zh) * | 2020-01-02 | 2023-12-08 | 华控清交信息科技(北京)有限公司 | 一种模型训练方法、装置和电子设备 |
CN111539012A (zh) * | 2020-03-19 | 2020-08-14 | 重庆特斯联智慧科技股份有限公司 | 一种边缘化架构的隐私数据分布存储***和方法 |
WO2021184346A1 (zh) * | 2020-03-20 | 2021-09-23 | 云图技术有限公司 | 隐私机器学习模型生成、训练方法、装置及电子设备 |
CN111539008B (zh) * | 2020-05-22 | 2023-04-11 | 蚂蚁金服(杭州)网络技术有限公司 | 保护隐私的图像处理方法及装置 |
CN111539008A (zh) * | 2020-05-22 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 保护隐私的图像处理方法及装置 |
CN112541593A (zh) * | 2020-12-06 | 2021-03-23 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的联合训练业务模型的方法及装置 |
CN112765662A (zh) * | 2021-01-22 | 2021-05-07 | 电子科技大学 | 一种在深度学习下支持训练集成员隐私保护的方法 |
WO2024073870A1 (en) * | 2022-10-04 | 2024-04-11 | Lenovo (Beijing) Limited | Path trajectory functional encryption |
CN115579127A (zh) * | 2022-10-08 | 2023-01-06 | 中南大学 | 一种构建慢阻肺预测模型的方法、***、设备及存储介质 |
CN115579127B (zh) * | 2022-10-08 | 2023-11-21 | 中南大学 | 一种构建慢阻肺预测模型的方法、***、设备及存储介质 |
CN115426205A (zh) * | 2022-11-05 | 2022-12-02 | 北京淇瑀信息科技有限公司 | 一种基于差分隐私的加密数据生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108520181B (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520181A (zh) | 数据模型训练方法和装置 | |
Kayes et al. | Privacy and security in online social networks: A survey | |
Aydos et al. | Assessing risks and threats with layered approach to Internet of Things security | |
US11244054B2 (en) | Method and apparatus for trusted computing | |
Edwards | Privacy, security and data protection in smart cities: A critical EU law perspective | |
Gadekallu et al. | Blockchain-based attack detection on machine learning algorithms for IoT-based e-health applications | |
US20200019821A1 (en) | Detecting and mitigating poison attacks using data provenance | |
Butun et al. | Hardware security of fog end-devices for the internet of things | |
CN108600262A (zh) | 一种包括作为接收方的区块链节点的装置 | |
Yang et al. | Image encryption using the chaotic Josephus matrix | |
Jang et al. | Smartphone security: Understanding smartphone users' trust in information security management | |
Banerjee et al. | Intelligent Cyber-Physical Systems Security for Industry 4.0: Applications, Challenges and Management | |
Anees et al. | Construction of nonlinear component for block cipher based on one-dimensional chaotic map | |
Mohsin et al. | Exploring the RFID mutual authentication domain | |
CN112035334B (zh) | 异常设备检测方法、装置、存储介质与电子设备 | |
Khalid et al. | Cryptanalysis of ultralightweight mutual authentication protocol for radio frequency identification enabled Internet of Things networks | |
Vaidya et al. | Radio number for total graph of paths | |
CN109040173A (zh) | 一种政务大数据的可靠储存方法及装置 | |
CN111061720B (zh) | 数据筛选方法、装置和电子设备 | |
CN110705635A (zh) | 用于生成隔离森林的方法和装置 | |
Park et al. | A survey on air-gap attacks: Fundamentals, transport means, attack scenarios and challenges | |
CN115412243A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN115618381A (zh) | 数据处理方法、装置、设备及存储介质 | |
Jahankhani et al. | Approaches and Methods for Regulation of Security Risks in 5G and 6G | |
CN113810558A (zh) | 一种基于大数据的图像加密方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |