CN113987255B - 基于联邦学习与秘密分享的多源密文图像检索方法 - Google Patents

基于联邦学习与秘密分享的多源密文图像检索方法 Download PDF

Info

Publication number
CN113987255B
CN113987255B CN202111641508.6A CN202111641508A CN113987255B CN 113987255 B CN113987255 B CN 113987255B CN 202111641508 A CN202111641508 A CN 202111641508A CN 113987255 B CN113987255 B CN 113987255B
Authority
CN
China
Prior art keywords
ciphertext
image
double
computing
cloud platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111641508.6A
Other languages
English (en)
Other versions
CN113987255A (zh
Inventor
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhu Laboratory
Original Assignee
Nanhu Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhu Laboratory filed Critical Nanhu Laboratory
Priority to CN202111641508.6A priority Critical patent/CN113987255B/zh
Publication of CN113987255A publication Critical patent/CN113987255A/zh
Application granted granted Critical
Publication of CN113987255B publication Critical patent/CN113987255B/zh
Priority to NL2033745A priority patent/NL2033745B1/en
Priority to US18/084,965 priority patent/US11750377B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58—Random or pseudo-random number generators
    • G06F7/588—Random number generators, i.e. based on natural stochastic processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Storage Device Security (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本方案公开了一种基于联邦学***台的图像拥有者为联邦成员对双云平台的卷积神经网络进行模型训练；S2.授权用户基于加法秘密分享借助双云平台完成密文图像检索。本方案提供基于联邦学习与秘密分享的多源密文图像检索方案，利用联邦学习精简检索使用的神经网络模型结构，获得更好的网络参数，用图像拥有者端的开销换取更好的神经网络参数与更精简的网络模型结构，使得更好的卷积神经网络能够被使用在密文图像检索中，使得用户在检索时可以更好更快地得到结果。

Description

基于联邦学习与秘密分享的多源密文图像检索方法
技术领域
本发明属于密文图像检索技术领域，尤其是涉及一种基于联邦学习与秘密分享的多源密文图像检索方法。
背景技术
随着电子成像设备的日益普及，图像资源大幅增长，人们开始有寻找相似图像的需求，互联网也开始有类似的服务提供，如百度等提供以图搜图服务。然而优质的图像资源是高价值而不宜直接公开在互联网上的。因此考虑一种方案支持图像拥有者们外包自身高价值图像给云平台，同时保证云平台能够在无法得知图像内容的情况下支持对这些密文图像提供检索服务是一件切实的任务。现有的密文图像检索工作可以分为两大类：基于密文特征的图像检索和基于密文图像的图像检索。
基于密文特征的图像检索方案中，图像拥有者首先提取出如SIFT特征等图像特征向量。此类方案解决的核心问题是对特征进行加密后仍保证密文特征间的距离度量有效，其中较为重要的工作有：卢等人最早给出了如比特位随机化、随机投影和随机一元编码等三种加密技术；夏等人针对地球移动距离这种度量方式，提出使用随机线性变换和随机值来保护原始数据；袁等人使用安全k近邻技术进一步考虑将特征索引构建工作部分交由云平台协助完成；沈等人和张等人使用了经典的同态加密工具完成了对特征的加密，然而同态加密显著降低了他们方案的效率。完成对图像特征的加密后，图像拥有者使用流加密或对称加密等方案对图像进行加密，并将密文特征与密文图像外包即可。
基于密文图像的图像检索中，图像拥有者直接对图像进行加密，并保证云平台可以从密文图像中解析出可用于检索的特征，其中较为重要的工作有：Ferreira等人提出使用置乱加密对图像的像素位置以及RGB颜色值直方图进行打乱，但使用同样密钥加密后的密文图像，其解析出的颜色直方图间的距离仍然有效；受局部特征比全局特征更适于检索启发，夏等人在该方案基础上进一步将像素位置置乱分为块内置乱与块间置乱，并引入词袋模型加速检索，同时使用了多表置乱加密图像颜色值以更好的抵抗已知背景攻击；为降低存储开销，部分研究者进一步考虑了JPEG格式下的密文图像检索。然而上述方案为了检索效率只能提取出精度较低的统计特征，为获得与明文相似的精度，部分研究者专注于从密文图像中提取经典明文特征：Hsu等人最早考虑使用同态加密以提取密文SIFT特征，但该方案一方面需要图像拥有者进行大量交互，另一方面存在安全隐患；后续的工作指出单云平台方案很难避免上述问题，因此之后的此类方案普遍使用双云平台或多云平台。其中较为重要的方案有：胡等人结合部分同态加密方案与SIMD技术构造了双云平台间的高效批量乘法与批量比较协议，然而此方案提取一张常规大小图像的SIFT特征仍需要数十个小时；刘等人使用了多方安全计算中的混淆电路技术完成了预训练神经网络特征的提取，然而一方面该方案仅提取出全连接层的特征，缺乏通用性，另一方面，其在检索时的时耗仍超过10秒；在近期的方案中，夏等人使用秘密分享技术提取了卷积层的密文特征，该方案在检索阶段的时耗不到2s，然而该方案在面对大规模数据集时精度仍不够高，在面对高分辨率图像时检索时耗仍不够低，同时该方案无法保证图像的信息论安全。
上述方案中通常考虑的模型为单个图像拥有者外包图像的情况，这显著限制了他们的应用场景。在近期的工作中，顾等人明确指出，一个多源密文图像检索方案应当能够支持授权用户通过常数轮交互得到所有授权他的图像拥有者外包的相似图像，同时能够在合理的威胁模型下保证所有图像拥有者图像的安全性。然而，此方案仅考虑了密文统计特征，授权用户的检索精度较低，无法满足真实世界的挑战。综上所述，虽然密文图像检索任务已有十多年的研究历史，现有的方案仍存在以下几方面的问题：
（1）不支持多源密文图像检索，现有的所有单云平台方案都不能完全满足多源密文图像检索的功能需求，且都存在精度低的问题。而多云平台方案虽然容易拓展成多源方案，但现有策略仍普遍存在时耗高或安全性不足等问题。
（2）检索精度不足，现有最优的密文图像检索方案考虑了预训练神经网络的卷积层特征，这在大样本下精度仍有较大的提升空间，而其余的传统特征或统计特征方案即使在小样本下精度仍存在问题。
（3）时间消耗高，现有的基于双云平台的高精度方案中消耗最低的是基于秘密分享策略的技术，然而此类技术在面对非线性计算时需要大量的交互计算，从而造成了高昂的通信时耗。
发明内容
本发明的目的是针对上述问题，提供一种基于联邦学习与秘密分享的多源密文图像检索方法。
为达到上述目的，本发明采用了下列技术方案：
一种基于联邦学习与秘密分享的多源密文图像检索方法，其特征在于，包括以下步骤：
S1.基于联邦学***台的图像拥有者为联邦成员对双云平台S i 的卷积神经网络进行模型训练；
S2.授权用户基于加法秘密分享借助双云平台完成密文图像检索。
在上述的基于联邦学习与秘密分享的多源密文图像检索方法中，步骤S1中，图像拥有者通过以下方式训练神经网络：
S11.图像拥有者从双云平台S i 分别获取卷积神经网络的网络结构及权重信息W i 和偏置信息b i ，并恢复卷积神经网络W=W 1 +W 2 ，b=b 1 +b 2 ；
S12.对待上传图片制作标签，使用待上传图片对所述的卷积神经网络进行训练；
S13.训练结束后，将梯度信息G的两份梯度分享G 1 、G 2 ，待上传图像信息{I}的两份图像分享{I 1 }、{I 2 }，待上传图像张量信息{T}的两份张量分享{T 1 }、{T 2 }均分别发送给两个云平台S 1 、S 2 ；
S14.双云平台S i 根据梯度分享G i 分别更新权重信息，使用权重更新后的网络对张量分享T i 分别进行计算得到比对特征{F i }，投入使用时，采用定期更新比对特征{F i }的方式，如每24小时更新一次，以避免频繁更新，同时保证与检索时使用的网络权重参数相对应。
本领域技术人员应当知道，上述S i 、G i 、T i 、F i 等当中的i均表示1、2，表示的分别是两个云平台，两份梯度分享、两份张量分享和两份比对特征，分享值均在某个预先确定的有限域（如 Z2 32）中，对分享值的运算均为模域下的运算，其中Z指整数域，后同。
在上述的基于联邦学***台S i 的全连接层的节点数量均与双云平台S i 所涉及的图像种类一致，且双云平台S i 初始网络的卷积层均使用预训练权重，全连接层的初始权重以正态分布随机生成，后续图像拥有者均通过步骤S11-S14对网络参数更新之后的模型进行再训练。
在上述的基于联邦学习与秘密分享的多源密文图像检索方法中，步骤S2具体包括：
S21.授权用户将待查询图片转换为张量信息，并将张量信息{QT}以加法秘密分享形式分割分别发送给双云平台S i ；即将张量信息{QT}的两份张量分享{QT 1 }，{QT 2}分别发送给两个云平台S 1 、S 2 ；
S22.双云平台S i 根据张量信息的张量分享QT i 进行密文协同计算，分别得到密文特征QF i ；
S23.双云平台S i 协同对所提取的密文特征QF i 和比对特征{F i }进行距离度量，并根据度量结果将相似图像的图像信息{I i }传回给授权用户；
S24.授权用户基于两份图像分享{I i }恢复原始明文图像{I}。
在上述的基于联邦学习与秘密分享的多源密文图像检索方法中，步骤S14中，通过以下方式得到比对特征{F i }：
S141.双云平台S i 通过权重更新后的网络对接收到的张量分享T i 做密文前馈计算，并提取最后一层池化层的特征；
S142.对池化层特征进行加性聚合；
S143.使用加性聚合后的特征向量作为比对特征{F i }；
步骤S22中，通过以下方式得到密文特征QF i ：
S221.双云平台S i 对接收到的张量分享QT i 做密文前馈计算，并提取最后一层池化层的特征；
S222.对池化层特征进行加性聚合；
S223.使用加性聚合后的特征向量作为密文特征QF i 。
在上述的基于联邦学习与秘密分享的多源密文图像检索方法中，密文前馈计算的计算策略包括针对全连接层和卷积层的基于Beaver三元组的密文乘法协议SecMul，针对激活函数层的激活层协议SecReLU，以及针对最大池化层的池化层协议SecMaxpool；
密文乘法协议SecMul包括：双云平台S i 拥有u i ，v i ，offline阶段：①图像拥有者生成 随机数a，b，c满足c=ab，然后对a，b，c进行加性分解并将（a i ，b i ，c i ）发送给S i ；online阶段： ②S i 计算
Figure 860528DEST_PATH_IMAGE001
；③S i 恢复
Figure 323870DEST_PATH_IMAGE002
与
Figure 199422DEST_PATH_IMAGE003
；④S i 计算
Figure 431820DEST_PATH_IMAGE004
， 此时f 1 +f 2 =uv，具体来说，该协议完成了
Figure 203467DEST_PATH_IMAGE005
。
在上述的基于联邦学***台拥有值a的分享，该值a为ReLU层输入向量中的任意一值，offline阶段：①图像拥有者生成协议中涉及的子协议所需要的随机数并发送给S i ；online阶段：②S i 计算SecSgn（a）=b i ；③S i 计算SS（b i ，a，0）；
其中，密文正负判断协议SecSgn如下：双云平台S i 拥有值a的秘密分享a i ，offline 阶段：①图像拥有者生成协议中涉及的子协议所需要的随机数并发送给S i ；online阶段：②S i 协同计算SecCmp（2*a i ）=b i ；③S i 计算
Figure 946250DEST_PATH_IMAGE006
，双云平台S i 此时得到正负号的分 享值；如果
Figure 828756DEST_PATH_IMAGE007
,则原值a为正数，否则a为负数；
密文选择协议SS如下：双云平台S i 拥有比特值b的分享
Figure 977977DEST_PATH_IMAGE008
，以及两个待选择的数 值x、y，offline阶段：①图像拥有者生成一个随机比特值c，以及其在Z 2 与Z L 上的分享
Figure 654946DEST_PATH_IMAGE009
，c i ，并发送给S i ；②图像拥有者生成协议中涉及的子协议所需要的随机数并发送给S i ；online阶段：③S i 计算
Figure 889619DEST_PATH_IMAGE010
；④S i 恢复e；⑤如e=1，则S 1 令c 1 =1-c 1 ，S 2 令c 2 =- c 2 ；⑥S i 计算res i =SecMul（y i -x i ，c i ）+x i ，双云平台S i 此时得到秘密选择出的值的分享值，如 果b为0，则res 1 +res 2 =x，否则res 1 +res 2 =y；
其中，密文值比较协议SecCmp如下：双云平台S i 拥有值a的秘密分享a i ，offline阶 段：①图像拥有者生成一个随机值x及它的对应比特；②图像拥有者计算x的分享值x i 及其 比特位的分享值
Figure 44657DEST_PATH_IMAGE011
并发送给双云平台S i ，本方案使用32位数进行计算，因此，t属于 [0, 31]；③图像拥有者计算x 1 +x 2是否大于L，L=232，如是，则令
Figure 313964DEST_PATH_IMAGE012
，否则令
Figure 161834DEST_PATH_IMAGE013
；然后 生成
Figure 634535DEST_PATH_IMAGE014
在Z 2上的分享
Figure 593264DEST_PATH_IMAGE015
；online阶段：④S i 计算
Figure 451498DEST_PATH_IMAGE016
，并判断
Figure 470270DEST_PATH_IMAGE017
是否大于L， 是则令
Figure 679534DEST_PATH_IMAGE018
，否则令
Figure 441954DEST_PATH_IMAGE019
；⑤S i 恢复出r，并判断r 1 +r 2是否大于L，是则令
Figure 420274DEST_PATH_IMAGE020
，否则令
Figure 344368DEST_PATH_IMAGE021
；⑥S i 协同计算出
Figure 24617DEST_PATH_IMAGE022
；⑥S 1计算
Figure 590727DEST_PATH_IMAGE023
，S 2计算
Figure 689133DEST_PATH_IMAGE024
，此时，双云平台S i 获得a是否大于L这一信息的分享值，即该协议 完成了
Figure 784128DEST_PATH_IMAGE025
；
其中，密文比特比较协议SecBitCmp如下：双云平台S i 拥有秘密值x的所有l比特位x [t]的一份Z p 下的分享
Figure 967985DEST_PATH_IMAGE026
，拥有一个公共的数r的l比特位r[t]，拥有一个随机比特
Figure 72207DEST_PATH_IMAGE027
在Z 2 与Z p 下的一份分享
Figure 759540DEST_PATH_IMAGE028
，以及一个随机数m的秘密分享
Figure 291016DEST_PATH_IMAGE029
（即m为小于p的 正整数），l=32，L=2 l 。offline阶段：①图像拥有者生成协议中涉及的子协议所需要的随机数 并发送给双云平台S i ；online阶段：②S i 计算
Figure 447322DEST_PATH_IMAGE030
Figure 355235DEST_PATH_IMAGE031
； ③S i 计算
Figure 162654DEST_PATH_IMAGE032
，S 1 计算
Figure 865031DEST_PATH_IMAGE033
；④S i 计算
Figure 757901DEST_PATH_IMAGE034
，然后S 1 计算
Figure 203925DEST_PATH_IMAGE035
；⑤S i 计算
Figure 865851DEST_PATH_IMAGE036
，使用三数乘协议SecThreeMul与密文乘法协议SecMul完成计 算；⑥如果d=0，则S 1得到比特
Figure 739129DEST_PATH_IMAGE037
，否则得到
Figure 368562DEST_PATH_IMAGE038
；S 2 得到比特
Figure 352699DEST_PATH_IMAGE039
，此 时，双云平台S i 得到一个比较结果的分享值，即该协议完成了
Figure 134710DEST_PATH_IMAGE040
； 密文乘法协议SecMul 与前述针对全连接层和卷积层的基于Beaver三元组的密文乘法协议SecMul一致，不在此赘述；
三数乘协议SecThreeMul如下：双云平台S i 拥有x i ，y i ，z i ，offline阶段：①图像拥有者生成协议中涉及的子协议所需要的随机数并发送给S i ；②图像拥有者生成随机整数a， b，c并计算d=abc；③图像拥有者计算并将a，b，c，d的秘密分享发送给S i ；online阶段：④S i 协同计算SecMul（x i ，y i ），SecMul（x i ，z i ），SecMul（y i ，z i ）得到xy i ，xz i ，yz i ；⑤S i 计算e i =x i -a i ，f i =y i -b i ，g i =z i -c i ，并协同恢复出e，f，g；⑥S i 计算
Figure 178889DEST_PATH_IMAGE041
；⑦S 1 计算 xyz 1 = xyz 1 +e*f*g，双云平台S i 因此获得xyz的两份加法秘密分享，即该协议完成了
Figure 46351DEST_PATH_IMAGE042
。由于步骤④与⑤可以并行完成，本协议只需一轮通信。
在上述的基于联邦学***台S i 持有待比较数据x i ，y i ，z i ，t i 。offline阶段：①图像拥有者生成协议中涉及的子协议所需要的随机数并发送给S i ；online阶段：②S i 调用SecSgn与SS计算max（x i ，y i ）与max（z i ，t i ）；③S i 调用SecSgn与SS计算max（max（x i ，y i ），max（z i ，t i ））。
在上述的基于联邦学***台S i 拥有密文向量{x i }，{y i }，offline阶段：①图像拥有者们生成协议中涉及的子协议所需要的随机数并发送给S i ；online阶段：②S i 对向量元素做差，并协同计算SecMul（x i -y i ，x i -y i ）；③计算所有向量值之和；双云平台S i 此时得到两向量欧几里得距离平方值的秘密分享。
在上述的基于联邦学***台S i 掌握有大量待比较数值的一份分享{x i }，offline阶段：①图像拥有者们生成协议中涉及的子协议所需要的随机数并发送给S i ；②图像拥有者产生一个随机正值k,一个随机值b，并将其分享值发送给双云平台S i ；k值与b值的生成范围预先确定并保证kx+b的结果一定在x的分享的范围内，本方案采用0.1<k<10，-100<b<100；online阶段：③双云平台S i 计算SecMul（k i ，{x i }）+b i ，并公开{kx+b}的值。
本发明的优点在于：
提供基于联邦学习与秘密分享的多源密文图像检索方案，利用联邦学习精简检索使用的神经网络模型结构，同时获得更好的网络参数；
用图像拥有者端的开销换取更好的神经网络参数与更精简的网络模型结构，使得更好的卷积神经网络能够被使用在密文图像检索中，使得用户在检索时可以更好更快地得到结果；
在密文前馈过程的关键步骤密文正负判断协议上引入了三数乘等协议，能够得到更好地轮次结果；
借助于联邦学***台的秘密分享技术，能够保证结构更简单，安全性更高的神经网络被用于检索中，提高图像内容信息安全性的同时提高后期检索的检索精度和检索效率，充分保证密文图像检索方案的实用性。
附图说明
图1为本发明基于联邦学习与秘密分享的多源密文图像检索方法的方法流程图；
图2为本发明方案与现有技术一些方案在Corel1k数据集上50张返回结果情况下的精度对比图；
图3为本发明方案现有技术一些方案在Corel10k数据集上50张返回结果情况下的精度对比图。
具体实施方式
下面结合附图本方案进行进一步说明：
如图1所示，下面对本方案基于联邦学习与秘密分享的多源密文图像检索方法在投入使用时的使用步骤进行详细介绍：
双云平台初始化：
S11两个互不合谋的服务提供商组成双云平台，确认自身营业范围涉及的图像种 类数量
Figure 99758DEST_PATH_IMAGE043
；
S12双云平台使用
Figure 673959DEST_PATH_IMAGE044
网络作为卷积神经网络的网络结构，包括卷积层、激活函 数、池化层和全连接层，并使用经ImageNet数据库训练后的参数作为初始权重，根据类别的 数量移除步骤S11中神经网络最后的全连接层，并使用新的全连接层代替以保证最终层的 节点数量为
Figure 951356DEST_PATH_IMAGE043
，如云平台将种类分为三类：人物、房屋和花草，则最终层改为三个节点，全连 接层中的网络权重与偏置值以正态分布随机生成。需注意的是，全连接层在这里的作用主 要是满足联邦学习的训练过程，用于检索的特征只从池化层中提取。
加入的图像拥有者作为联邦成员对卷积神经网络进行模型训练，以不断提高模型的精确度，不断优化模型的参数，能够保证结构更简单的神经网络被用于检索中。授权用户为经过平台授权拥有检索权限的用户，授权用户可以是图像拥有者，也可以不是图像拥有者。
第一轮图像拥有者加入：
S21图像拥有者从双云平台
Figure 978218DEST_PATH_IMAGE045
中下载初始的网络结构与权重偏置信息的两份分享 值
Figure 382786DEST_PATH_IMAGE046
，并恢复出真实的网络初始权重参数
Figure 811493DEST_PATH_IMAGE047
；
S22图像拥有者根据云平台预先定义的类别对自身拥有的图像制作标签，并在本地进行神经网络的训练，直到固定轮次或模型收敛，本方案以轮次达到100轮结束训练为例；标签优选为one-hot向量编码，如云平台将图像分为三类：人物、房屋和花草，则对于一张人物图像可编码为[1, 0, 0]，其余类似。
作为优选，加法秘密分享定义在整数域
Figure 259792DEST_PATH_IMAGE048
内，其中固定12位为小数位，其余部分 为整数位。另外，更新方案参数权重同样限定在整数域
Figure 39529DEST_PATH_IMAGE048
内，需要说明的是，这个范围完 全足够应对常见的神经网络模型。
S23图像拥有者通过比较收敛时的网络权重与初始网络权重，计算总的梯度信息
Figure 231476DEST_PATH_IMAGE049
，并生成该梯度信息
Figure 514690DEST_PATH_IMAGE049
的两份加性分享
Figure 399469DEST_PATH_IMAGE050
，发送至双云平台
Figure 400923DEST_PATH_IMAGE045
； 图像拥有者同时将图像本身分成两份加性分享
Figure 645829DEST_PATH_IMAGE051
，发送至双云平台
Figure 783549DEST_PATH_IMAGE045
；图像拥有者 同时生成每张图像初始检索转换后的张量信息
Figure 839230DEST_PATH_IMAGE052
，并对其做加性分享
Figure 327980DEST_PATH_IMAGE053
，将其发 送至双云平台
Figure 861729DEST_PATH_IMAGE045
。其中初始检索转换为：①将图像放缩为256*256大小；②将图像转换为0到 1间的向量；③对图像进行标准化，其中均值系数为(0.4914, 0.4822, 0.4465), 标准差系 数为(0.2023, 0.1994, 0.2010)；
S24双云平台
Figure 119535DEST_PATH_IMAGE045
根据梯度分享
Figure 346117DEST_PATH_IMAGE054
对权重做联邦平均算法更新；双云平台
Figure 56584DEST_PATH_IMAGE045
保存图 像信息的秘密分享，以等待后续用户进行检索；双云平台
Figure 597287DEST_PATH_IMAGE045
通过更新后的权重信息对接收 到的张量分享
Figure 788228DEST_PATH_IMAGE055
做密文前馈计算，并提取其最后一层池化层的特征；对池化层特征512*16* 16进行加性聚合，即求512维中256个值的和作为512维特征；使用加性聚合后的特征向量作 为比对特征
Figure 857815DEST_PATH_IMAGE056
；存储上述特征以等待后续用户检索时进行距离度量；
S25图像拥有者生成密文协议,
Figure 383475DEST_PATH_IMAGE057
，
Figure 196710DEST_PATH_IMAGE058
,
Figure 491425DEST_PATH_IMAGE059
，
Figure 731913DEST_PATH_IMAGE060
，
Figure 744869DEST_PATH_IMAGE061
,
Figure 361795DEST_PATH_IMAGE062
，
Figure 760284DEST_PATH_IMAGE063
中所涉及的随机数，即在离线阶段，对每个协议生成大 量可供使用的随机数。
后续的图像拥有者通过重复以上步骤对网络参数更新之后的模型进行训练以再次更新模型。用户进行检索：
S31授权用户将待查询图像做初始检索变换成张量信息
Figure 437253DEST_PATH_IMAGE064
，并通过
Figure 671925DEST_PATH_IMAGE048
域上的 加法秘密分享传输到双云平台
Figure 826963DEST_PATH_IMAGE045
；其中初始检索变换与上述图像拥有者处一致；授权用户 主要指加入双云平台的图像拥有者。
S32双云平台
Figure 96271DEST_PATH_IMAGE045
根据张量分享值
Figure 678562DEST_PATH_IMAGE065
，借助完成卷积神经网络的密文前馈，提取最 后一层池化层加性聚合后的值作为密文特征
Figure 400530DEST_PATH_IMAGE066
；
S33双云平台计算
Figure 359259DEST_PATH_IMAGE067
，得到密文下的欧几里得距离 平方值；然后使用
Figure 233805DEST_PATH_IMAGE063
协议对密文距离值进行排序；找到最相近的固定数量的图像分 享
Figure 252576DEST_PATH_IMAGE068
，将其发送回授权用户；最相近可以是与待搜索图像最相近的一定数量的图像分享
Figure 461841DEST_PATH_IMAGE068
；
S34授权用户从图像的两份图像分享
Figure 958681DEST_PATH_IMAGE068
中恢复出原始的明文图像
Figure 937002DEST_PATH_IMAGE069
，此时该用 户已经获得了与其查询图像最相近的若干张图像。
具体地，前述S24和S32中的密文前馈计算的计算策略包括针对全连接层和卷积层 的基于Beaver三元组的密文乘法协议
Figure 126675DEST_PATH_IMAGE070
，三元组由图像拥有者提供，针对激活函数 层的激活层协议
Figure 823235DEST_PATH_IMAGE061
，以及针对最大池化层的池化层协议
Figure 123766DEST_PATH_IMAGE062
。
下面各协议中，
Figure 205861DEST_PATH_IMAGE071
表示域外至域内的映射关系，这保证了运算始终可在对 应的模域内完成。
各协议中的字母无现实意义，如
Figure 566435DEST_PATH_IMAGE072
一般表示随机数，
Figure 750292DEST_PATH_IMAGE073
一般 表示输入，其余
Figure 588935DEST_PATH_IMAGE074
等一般表示计算结果或输出，下面不再详细描述。
密文乘法协议
Figure 541847DEST_PATH_IMAGE070
包括：双云平台
Figure 338902DEST_PATH_IMAGE045
拥有
Figure 478896DEST_PATH_IMAGE075
，
Figure 652389DEST_PATH_IMAGE076
阶段：①图像拥有者 生成随机数
Figure 397491DEST_PATH_IMAGE077
满足
Figure 912917DEST_PATH_IMAGE078
，然后对
Figure 743470DEST_PATH_IMAGE077
进行加性分解并将
Figure 986232DEST_PATH_IMAGE079
发送给
Figure 851420DEST_PATH_IMAGE045
；
Figure 787015DEST_PATH_IMAGE080
阶段：②
Figure 104864DEST_PATH_IMAGE045
计算
Figure 151317DEST_PATH_IMAGE081
；③
Figure 871011DEST_PATH_IMAGE045
恢复
Figure 226775DEST_PATH_IMAGE082
与
Figure 31920DEST_PATH_IMAGE083
；④
Figure 882065DEST_PATH_IMAGE045
计算
Figure 456265DEST_PATH_IMAGE084
。此时
Figure 733663DEST_PATH_IMAGE085
；具体来说，该协议完成了
Figure 760525DEST_PATH_IMAGE086
。
本方案中的激活层采用ReLU函数，其实质是计算秘密分享值与0的大小关系，换言 之，需要计算值的最高比特位是0还是1。本方案创造性地设计了一个新的密文正负判断协 议
Figure 414360DEST_PATH_IMAGE060
，其包含三个子协议三数乘协议
Figure 108647DEST_PATH_IMAGE057
、密文比特比较协议
Figure 494629DEST_PATH_IMAGE058
和密文值比较协议
Figure 87415DEST_PATH_IMAGE059
，并引入协议到神经网络前馈过程，获得交互轮次 更优的结果，具体通过如下方式实现：
激活层协议
Figure 217045DEST_PATH_IMAGE061
包括：双云平台
Figure 562576DEST_PATH_IMAGE045
拥有值
Figure 385038DEST_PATH_IMAGE087
的秘密分享
Figure 448809DEST_PATH_IMAGE088
，
Figure 116551DEST_PATH_IMAGE076
阶段：① 图像拥有者生成协议中涉及的子协议所需要的随机数并发送给
Figure 582167DEST_PATH_IMAGE045
；
Figure 575531DEST_PATH_IMAGE080
阶段：②
Figure 110287DEST_PATH_IMAGE045
计算
Figure 847298DEST_PATH_IMAGE089
；③
Figure 167421DEST_PATH_IMAGE045
计算
Figure 66107DEST_PATH_IMAGE090
；此时激活层协议
Figure 104470DEST_PATH_IMAGE061
协议仅需交互⌈
Figure 379594DEST_PATH_IMAGE091
轮次，⌈A⌉表示将A向上取整。
其中，密文正负判断协议
Figure 554223DEST_PATH_IMAGE060
如下：双云平台
Figure 889390DEST_PATH_IMAGE045
拥有值
Figure 900202DEST_PATH_IMAGE087
的秘密分享
Figure 979017DEST_PATH_IMAGE088
，
Figure 476994DEST_PATH_IMAGE076
阶段：①图像拥有者生成协议中涉及的子协议所需要的随机数并发送给
Figure 779799DEST_PATH_IMAGE045
；
Figure 730438DEST_PATH_IMAGE080
阶段：②
Figure 409681DEST_PATH_IMAGE045
协同计算
Figure 496586DEST_PATH_IMAGE092
；③
Figure 970292DEST_PATH_IMAGE045
计算
Figure 142648DEST_PATH_IMAGE093
，双云 平台
Figure 886568DEST_PATH_IMAGE045
因此得到正负号的分享值；如果
Figure 827979DEST_PATH_IMAGE094
,则原值
Figure 738166DEST_PATH_IMAGE087
为正数，否则
Figure 397818DEST_PATH_IMAGE087
为负数； 该方案仅需交互⌈
Figure 418863DEST_PATH_IMAGE095
⌉+ 3轮次。
密文选择协议
Figure 480360DEST_PATH_IMAGE096
如下：双云平台
Figure 561449DEST_PATH_IMAGE045
拥有比特值
Figure 442817DEST_PATH_IMAGE097
的分享
Figure 18286DEST_PATH_IMAGE098
，以及两个待选择的 数值
Figure 934289DEST_PATH_IMAGE099
，
Figure 186279DEST_PATH_IMAGE076
阶段：①图像拥有者生成一个随机比特值
Figure 820523DEST_PATH_IMAGE100
，以及其在
Figure 183371DEST_PATH_IMAGE101
与
Figure 953881DEST_PATH_IMAGE102
上的分享
Figure 376772DEST_PATH_IMAGE103
,
Figure 232733DEST_PATH_IMAGE104
，并发送给
Figure 648539DEST_PATH_IMAGE045
；②图像拥有者生成协议中涉及的子协议所需要的随机数并发送给
Figure 539135DEST_PATH_IMAGE045
；
Figure 132927DEST_PATH_IMAGE080
阶段：③
Figure 476184DEST_PATH_IMAGE045
计算
Figure 180835DEST_PATH_IMAGE105
；④
Figure 925937DEST_PATH_IMAGE045
恢复
Figure 690631DEST_PATH_IMAGE106
；⑤如
Figure 521183DEST_PATH_IMAGE107
，则
Figure 780257DEST_PATH_IMAGE108
令
Figure 645445DEST_PATH_IMAGE109
；⑥
Figure 581040DEST_PATH_IMAGE045
计算
Figure 898889DEST_PATH_IMAGE110
，双云平台
Figure 945343DEST_PATH_IMAGE045
此时 得到秘密选择结果的分享值，如果
Figure 930616DEST_PATH_IMAGE097
为0，则
Figure 974795DEST_PATH_IMAGE111
；否则
Figure 576678DEST_PATH_IMAGE112
；通过 该密文选择协议
Figure 364506DEST_PATH_IMAGE096
能够有效避免暴露
Figure 250291DEST_PATH_IMAGE113
层中正值的位置信息。
其中，密文值比较协议
Figure 465371DEST_PATH_IMAGE059
如下：双云平台
Figure 820129DEST_PATH_IMAGE045
拥有值
Figure 146069DEST_PATH_IMAGE087
的秘密分享
Figure 902672DEST_PATH_IMAGE088
，
Figure 288654DEST_PATH_IMAGE076
阶段：①图像拥有者生成一个随机值
Figure 865129DEST_PATH_IMAGE114
及它的对应比特；②图像拥有者计算
Figure 994759DEST_PATH_IMAGE114
的分 享值
Figure 356601DEST_PATH_IMAGE115
及其比特位的分享值
Figure 913484DEST_PATH_IMAGE116
并发送给双云平台
Figure 977255DEST_PATH_IMAGE045
；③图像拥有者计算
Figure 910576DEST_PATH_IMAGE117
是否 大于
Figure 376193DEST_PATH_IMAGE118
（即是否出现跨域），如出现，则令
Figure 103977DEST_PATH_IMAGE119
，否则令
Figure 655044DEST_PATH_IMAGE120
；然后生成
Figure 657635DEST_PATH_IMAGE082
在
Figure 915441DEST_PATH_IMAGE101
上的分享
Figure 125712DEST_PATH_IMAGE121
；
Figure 101758DEST_PATH_IMAGE080
阶段：④
Figure 439198DEST_PATH_IMAGE045
计算
Figure 551511DEST_PATH_IMAGE122
，并判断
Figure 948994DEST_PATH_IMAGE123
是否大于
Figure 146757DEST_PATH_IMAGE118
，是则令
Figure 287889DEST_PATH_IMAGE124
，否则 令
Figure 254708DEST_PATH_IMAGE125
；⑤
Figure 573825DEST_PATH_IMAGE045
恢复出
Figure 258884DEST_PATH_IMAGE126
，并判断
Figure 938127DEST_PATH_IMAGE127
是否大于
Figure 25032DEST_PATH_IMAGE118
，是则令
Figure 764318DEST_PATH_IMAGE128
，否则令
Figure 936673DEST_PATH_IMAGE129
；⑥
Figure 419607DEST_PATH_IMAGE045
协同 计算出
Figure 361018DEST_PATH_IMAGE130
；⑥
Figure 474468DEST_PATH_IMAGE108
计算
Figure 180124DEST_PATH_IMAGE131
,
Figure 201170DEST_PATH_IMAGE132
计算
Figure 528246DEST_PATH_IMAGE133
，双云平台
Figure 281438DEST_PATH_IMAGE045
因此获得
Figure 490703DEST_PATH_IMAGE087
是否大于
Figure 253123DEST_PATH_IMAGE118
的分享值，即该协议完成了
Figure 231443DEST_PATH_IMAGE134
；
其中，密文比特比较协议
Figure 421116DEST_PATH_IMAGE058
如下：双云平台
Figure 602830DEST_PATH_IMAGE045
拥有秘密值
Figure 903361DEST_PATH_IMAGE114
的所有
Figure 1767DEST_PATH_IMAGE135
比 特位
Figure 362341DEST_PATH_IMAGE136
的一份
Figure 280618DEST_PATH_IMAGE137
下的分享
Figure 384841DEST_PATH_IMAGE138
，
Figure 337753DEST_PATH_IMAGE139
拥有一个公共的数
Figure 869229DEST_PATH_IMAGE126
的
Figure 524070DEST_PATH_IMAGE135
比特位
Figure 166404DEST_PATH_IMAGE140
，拥有一个随机比 特
Figure 973823DEST_PATH_IMAGE083
在
Figure 676200DEST_PATH_IMAGE101
与
Figure 569069DEST_PATH_IMAGE137
下的一份分享
Figure 15094DEST_PATH_IMAGE141
、
Figure 677020DEST_PATH_IMAGE142
，以及一个随机数
Figure 550298DEST_PATH_IMAGE143
的秘密分享
Figure 681196DEST_PATH_IMAGE144
，
Figure 930912DEST_PATH_IMAGE145
（即
Figure 447344DEST_PATH_IMAGE143
为小于
Figure 491523DEST_PATH_IMAGE146
的正整数），
Figure 358985DEST_PATH_IMAGE076
阶段：①图像拥有者生成协议中涉及的子协议所需要的随 机数并发送给双云平台
Figure 146812DEST_PATH_IMAGE045
；
Figure 783330DEST_PATH_IMAGE080
阶段：②
Figure 998411DEST_PATH_IMAGE045
计算
Figure 602436DEST_PATH_IMAGE147
，
Figure 928375DEST_PATH_IMAGE148
，需要说明的是，这里仅需要一方完成加1与减
Figure 419399DEST_PATH_IMAGE140
即可，另一方只需提供
Figure 336540DEST_PATH_IMAGE149
与
Figure 850698DEST_PATH_IMAGE138
；③
Figure 42645DEST_PATH_IMAGE045
计算
Figure 591438DEST_PATH_IMAGE150
，
Figure 210638DEST_PATH_IMAGE108
计算
Figure 212092DEST_PATH_IMAGE151
；④
Figure 958462DEST_PATH_IMAGE152
，
Figure 361762DEST_PATH_IMAGE153
；⑤
Figure 151863DEST_PATH_IMAGE045
计算
Figure 640613DEST_PATH_IMAGE154
，此步中乘 法皆为密文乘法，使用三数乘协议
Figure 174363DEST_PATH_IMAGE057
与密文乘法协议
Figure 432169DEST_PATH_IMAGE070
完成计算；⑥如果
Figure 658751DEST_PATH_IMAGE155
，则
Figure 634797DEST_PATH_IMAGE108
得到比特
Figure 955926DEST_PATH_IMAGE156
，否则得到
Figure 333818DEST_PATH_IMAGE157
；
Figure 465722DEST_PATH_IMAGE132
得到比特
Figure 929064DEST_PATH_IMAGE158
，双 云平台
Figure 804616DEST_PATH_IMAGE045
得到一个比较结果的分享值，即该协议完成了
Figure 302594DEST_PATH_IMAGE159
；
同样地，这里的密文乘法协议
Figure 605399DEST_PATH_IMAGE070
如下：双云平台
Figure 556037DEST_PATH_IMAGE045
拥有
Figure 172964DEST_PATH_IMAGE075
，
Figure 72918DEST_PATH_IMAGE076
阶 段：①图像拥有者生成随机数
Figure 749887DEST_PATH_IMAGE077
，满足
Figure 984559DEST_PATH_IMAGE078
；然后对
Figure 139597DEST_PATH_IMAGE077
进行加性分解，并将
Figure 408904DEST_PATH_IMAGE079
发送给双云平台
Figure 256774DEST_PATH_IMAGE045
；
Figure 978743DEST_PATH_IMAGE080
阶段：②
Figure 937471DEST_PATH_IMAGE045
计算
Figure 56692DEST_PATH_IMAGE081
；③
Figure 75464DEST_PATH_IMAGE045
共享
Figure 284728DEST_PATH_IMAGE160
与
Figure 47148DEST_PATH_IMAGE161
；④
Figure 25468DEST_PATH_IMAGE045
计算
Figure 949562DEST_PATH_IMAGE084
，此时
Figure 646123DEST_PATH_IMAGE085
，即该协议完成了
Figure 946654DEST_PATH_IMAGE086
；
三数乘协议
Figure 795792DEST_PATH_IMAGE057
如下：双云平台
Figure 890787DEST_PATH_IMAGE045
拥有
Figure 74644DEST_PATH_IMAGE162
，
Figure 178866DEST_PATH_IMAGE076
阶段：①图像 拥有者生成协议中涉及的子协议所需要的随机数并发送给
Figure 866199DEST_PATH_IMAGE045
；②图像拥有者生成随机整数
Figure 397675DEST_PATH_IMAGE077
并计算
Figure 803248DEST_PATH_IMAGE163
；③图像拥有者计算
Figure 711162DEST_PATH_IMAGE164
的加性分享将加性分享分别发送给
Figure 767848DEST_PATH_IMAGE045
；
Figure 470225DEST_PATH_IMAGE080
阶段：④
Figure 363095DEST_PATH_IMAGE045
协同计算
Figure 809119DEST_PATH_IMAGE165
，
Figure 471045DEST_PATH_IMAGE166
，
Figure 344323DEST_PATH_IMAGE167
得到
Figure 724489DEST_PATH_IMAGE168
,
Figure 708625DEST_PATH_IMAGE169
，
Figure 241369DEST_PATH_IMAGE170
；⑤
Figure 285548DEST_PATH_IMAGE045
计算
Figure 153010DEST_PATH_IMAGE171
，
Figure 206417DEST_PATH_IMAGE172
，
Figure 780618DEST_PATH_IMAGE173
，并协同恢复出
Figure 58015DEST_PATH_IMAGE174
；⑥
Figure 84877DEST_PATH_IMAGE045
计 算
Figure 738712DEST_PATH_IMAGE175
；⑦
Figure 167420DEST_PATH_IMAGE108
计算，双云平 台
Figure 864986DEST_PATH_IMAGE045
因此获得
Figure 644723DEST_PATH_IMAGE176
的两份加法秘密分享，即该协议完成了
Figure 836670DEST_PATH_IMAGE177
。
进一步地，池化层采用
Figure 119884DEST_PATH_IMAGE178
最大池化层，其实质是找出四个数中的最大值；为降低 通信轮次，本方案采用并行的方式完成，即四个数中两两进行比较。优选地，本方案使用的 池化层协议
Figure 4663DEST_PATH_IMAGE062
为：双云平台
Figure 6117DEST_PATH_IMAGE045
持有待比较数据
Figure 1755DEST_PATH_IMAGE179
。
Figure 139476DEST_PATH_IMAGE076
阶段：①图 像拥有者生成协议中涉及的子协议所需要的随机数并发送给
Figure 945889DEST_PATH_IMAGE045
；
Figure 434639DEST_PATH_IMAGE080
阶段：②
Figure 968388DEST_PATH_IMAGE045
调用
Figure 226194DEST_PATH_IMAGE060
与
Figure 452776DEST_PATH_IMAGE180
计算
Figure 163243DEST_PATH_IMAGE181
与
Figure 500684DEST_PATH_IMAGE182
；
③
Figure 878576DEST_PATH_IMAGE183
。此时，
Figure 259747DEST_PATH_IMAGE062
仅需交互
Figure 723090DEST_PATH_IMAGE184
+ 8轮次，且通过前述协议能够保证最大值位置不暴露，提高图片 信息安全性。
具体地，两个向量间的密文距离
Figure 598642DEST_PATH_IMAGE185
为:双云平台拥有密文向量
Figure 96619DEST_PATH_IMAGE186
,
Figure 337108DEST_PATH_IMAGE187
。
Figure 350063DEST_PATH_IMAGE076
阶段：①图像拥有者们生成协议中涉及的子协议所需要的随机数并发送给
Figure 966989DEST_PATH_IMAGE045
；
Figure 116211DEST_PATH_IMAGE080
阶段：②
Figure 793180DEST_PATH_IMAGE045
对向量元素做差，并协同计算
Figure 778584DEST_PATH_IMAGE188
；③计算所有距离 之和。此时已经得到了两向量间欧几里得距离平方值的秘密分享。由于平方不改变大小关 系而开方运算在密文中较为复杂，本方案直接使用平方值作为后续度量。
具体地，本方案使用一种非信息论安全的距离度量方法以快速完成大量距离的度 量。笔者注意到两张图像的距离值大小与原始的图像信息相距甚远，发现继续使用信息论 安全的比较方案开销高且无必要；注意到图像间的欧几里得距离值通常涉及范围较小，因 此，本方案使用一个随机乘法与加法对原值进行遮掩，并公开遮掩后的值，通过对遮掩后的 值进行排序，即可获得遮掩前的值的大小关系，具体为以下计算过程
Figure 933622DEST_PATH_IMAGE063
：
双云平台
Figure 202929DEST_PATH_IMAGE045
掌握有大量待比较数值的一份分享
Figure 785221DEST_PATH_IMAGE186
，
Figure 507189DEST_PATH_IMAGE076
阶段:①图像拥有者 们生成协议中涉及的子协议所需要的随机数并发送给
Figure 465918DEST_PATH_IMAGE045
；②图像拥有者产生一个随机正值
Figure 589731DEST_PATH_IMAGE189
, 一个随机值
Figure 608503DEST_PATH_IMAGE097
，并将其分享值发送给双云平台
Figure 67035DEST_PATH_IMAGE045
；
Figure 563875DEST_PATH_IMAGE189
值与
Figure 542196DEST_PATH_IMAGE097
值的生成范围预先确定并保 证
Figure 731869DEST_PATH_IMAGE190
的结果一定在
Figure 428429DEST_PATH_IMAGE114
的分享的范围内，
Figure 728961DEST_PATH_IMAGE191
，
Figure 561787DEST_PATH_IMAGE192
；
Figure 922361DEST_PATH_IMAGE080
阶段： ③双云平台
Figure 856951DEST_PATH_IMAGE045
计算
Figure 695594DEST_PATH_IMAGE193
，并公开
Figure 648506DEST_PATH_IMAGE194
的值。显然，
Figure 445561DEST_PATH_IMAGE194
的大小排 序等同于
Figure 585555DEST_PATH_IMAGE114
的大小排序。
本方案新设计了密文正负判断协议，相较于最新的研究，仅需两个互不合谋的服 务提供商，交互轮次从
Figure 493468DEST_PATH_IMAGE195
降到了
Figure 300887DEST_PATH_IMAGE196
，即实现高效、安全、实用的检索 效果；相较于最新的研究，保证了神经网络参数的信息论安全与位置安全；笔者经过实验发 现，与现有的基于预训练卷积神经网络权重的密文图像检索方案相比，在Corel1k与 Corel10k两个数据集上50张返回结果情况下精度能够提升8.93%-17.26%，如图2和图3所 示。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
需注意，本实施例中所说的图像拥有者，授权用户都不是指用户本身，而是指由图像拥有者用户、被授权用户所使用的***、软件或应用端，前述随机数的生成、基于图像分析恢复原始明文图像都是由相应***、软件或应用端进行。
尽管本文较多地使用了图像拥有者、卷积神经网络、梯度分析、张量分析、图像分享、比对特征、密文特征等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (9)

1.一种基于联邦学习与秘密分享的多源密文图像检索方法，其特征在于，包括以下步骤：
S1.基于联邦学***台的图像拥有者为联邦成员对双云平台S i 的卷积神经网络进行模型训练；
S2.授权用户基于加法秘密分享借助双云平台完成密文图像检索；
步骤S1中，图像拥有者通过以下方式训练神经网络：
S11.图像拥有者从双云平台S i 分别获取卷积神经网络的网络结构及权重信息W i 和偏置信息b i ，并恢复卷积神经网络W=W 1 +W 2 ，b=b 1 +b 2 ；
S12.对待上传图片制作标签，使用待上传图片对所述的卷积神经网络进行训练；
S13.训练结束后，将梯度信息G的两份梯度分享G 1 、G 2 ，待上传图像信息{I}的两份图像分享{I 1 }、{I 2 }，待上传图像张量信息{T}的两份张量分享{T 1 }、{T 2 }均分别发送给两个云平台S 1 、S 2 ；
S14.双云平台S i 根据梯度分享G i 分别更新权重信息，使用权重更新后的网络对张量分享T i 分别进行计算得到比对特征{F i }；
步骤S14中，通过以下方式得到比对特征{F i }：
S141.双云平台S i 通过权重更新后的网络对接收到的张量分享T i 做密文前馈计算，并提取最后一层池化层的特征；
S142.对池化层特征进行加性聚合；
S143.使用加性聚合后的特征向量作为比对特征{F i }；
所述密文前馈计算的计算策略包括针对激活函数层的激活层协议SecReLU，且激活层协议SecReLU包括：双云平台拥有值a的分享，offline阶段：①图像拥有者生成随机数并发送给S i ；online阶段：②S i 计算SecSgn（a）=b i ；③S i 计算SS（b i ，a，0）；
其中，SecSgn为密文正负判断协议，SS为密文选择协议，且密文正负判断协议SecSgn包括密文值比较协议SecCmp、密文比特比较协议SecBitCmp和三数乘协议SecThreeMul。
2.根据权利要求1所述的基于联邦学***台S i 的全连接层的节点数量均与双云平台S i 所涉及的图像种类一致，且双云平台S i 初始网络的卷积层均使用预训练权重，全连接层的初始权重以正态分布随机生成，后续图像拥有者均通过步骤S11-S14对网络参数更新之后的模型进行再训练。
3.根据权利要求2所述的基于联邦学习与秘密分享的多源密文图像检索方法，其特征在于，步骤S2具体包括：
S21.授权用户将待查询图片转换为张量信息，并将张量信息{QT}以加法秘密分享形式分割分别发送给双云平台S i ；
S22.双云平台S i 根据张量信息的张量分享QT i 进行密文协同计算，分别得到密文特征QF i ；
S23.双云平台S i 协同对所提取的密文特征QF i 和比对特征{F i }进行距离度量，并根据度量结果将相似图像的图像信息{I i }传回给授权用户；
S24.授权用户基于两份图像分享{I i }恢复原始明文图像{I}。
4.根据权利要求3所述的基于联邦学习与秘密分享的多源密文图像检索方法，其特征在于，步骤S22中，通过以下方式得到密文特征QF i ：
S221.双云平台S i 对接收到的张量分享QT i 做密文前馈计算，并提取最后一层池化层的特征；
S222.对池化层特征进行加性聚合；
S223.使用加性聚合后的特征向量作为密文特征QF i 。
5.根据权利要求4所述的基于联邦学习与秘密分享的多源密文图像检索方法，其特征在于，密文前馈计算的计算策略还包括针对全连接层和卷积层的基于Beaver三元组的密文乘法协议SecMul和针对最大池化层的池化层协议SecMaxpool；
密文乘法协议SecMul包括：双云平台S i 拥有u i ，v i ，offline阶段：①图像拥有者生成随机数a，b，c满足c=ab，然后对a，b，c进行加性分解并将（a i ，b i ，c i ）发送给S i ；online阶段：②S i 计算
Figure DEST_PATH_IMAGE001
；③S i 恢复
Figure DEST_PATH_IMAGE002
与
Figure DEST_PATH_IMAGE003
；④S i 计算
Figure DEST_PATH_IMAGE004
，此时f 1 +f 2 =uv，即该协议完成了
Figure DEST_PATH_IMAGE005
。
6.根据权利要求1-5任意一项所述的基于联邦学***台S i 拥有值a的秘密分享a i ，offline阶段：①图像拥有者生成随机数并发送给S i ；online阶段：②S i 协同计算SecCmp（2* a i ）=b i ；③S i 计算
Figure DEST_PATH_IMAGE006
；
密文选择协议SS如下：双云平台S i 拥有比特值b的分享
Figure DEST_PATH_IMAGE007
，以及两个待选择的数值x、y，offline阶段：①图像拥有者生成一个随机比特值c，以及其在Z 2 与Z L 上的分享
Figure DEST_PATH_IMAGE008
，c i ，并发送给S i ；②图像拥有者生成随机数并发送给S i ；online阶段：③S i 计算
Figure DEST_PATH_IMAGE009
；④S i 恢复e；⑤如e=1，则S 1 令c 1 =1-c 1 ，S 2 令c 2 =-c 2 ；⑥S i 计算res i = SecMul（y i -x i ，c i ）+x i ；
其中，密文值比较协议SecCmp如下：双云平台S i 拥有值a的秘密分享a i ，offline阶段：①图像拥有者生成一个随机值x及它的对应比特；②图像拥有者计算x的分享值x i 及其比特位的分享值
Figure DEST_PATH_IMAGE010
并发送给双云平台S i ；③图像拥有者计算x 1 +x 2是否大于L，如是，则令
Figure DEST_PATH_IMAGE011
，否则令
Figure DEST_PATH_IMAGE012
；然后生成
Figure DEST_PATH_IMAGE013
在Z 2上的分享
Figure DEST_PATH_IMAGE014
；online阶段：④S i 计算
Figure DEST_PATH_IMAGE015
，并判断
Figure DEST_PATH_IMAGE016
是否大于L，是则令
Figure DEST_PATH_IMAGE017
，否则令
Figure DEST_PATH_IMAGE018
；⑤S i 恢复出r，并判断r 1 +r 2是否大于L，是则令
Figure DEST_PATH_IMAGE019
，否则令
Figure DEST_PATH_IMAGE020
；⑥S i 协同计算出
Figure DEST_PATH_IMAGE021
；⑥S 1计算
Figure DEST_PATH_IMAGE022
，S 2计算
Figure DEST_PATH_IMAGE023
；
其中，密文比特比较协议SecBitCmp如下：双云平台S i 拥有秘密值x的所有l比特位x[t]的一份Z p 下的分享
Figure DEST_PATH_IMAGE024
，拥有一个公共的数r的l比特位r[t]，拥有一个随机比特
Figure DEST_PATH_IMAGE025
在Z 2 与Z p 下的一份分享
Figure DEST_PATH_IMAGE026
，以及一个随机数m的秘密分享，offline阶段：①图像拥有者生成随机数并发送给双云平台S i ；online阶段：②S i 计算
Figure DEST_PATH_IMAGE027
Figure DEST_PATH_IMAGE028
；③S i 计算
Figure DEST_PATH_IMAGE029
，S 1 计算
Figure DEST_PATH_IMAGE030
；④S i 计算
Figure DEST_PATH_IMAGE031
，然后S 1 计算
Figure DEST_PATH_IMAGE032
；⑤S i 计算
Figure DEST_PATH_IMAGE033
，使用三数乘协议SecThreeMul与密文乘法协议SecMul完成计算；⑥如果d=0，则S 1 得到比特
Figure DEST_PATH_IMAGE034
，否则得到
Figure DEST_PATH_IMAGE035
；S 2 得到比特
Figure DEST_PATH_IMAGE036
。
7.根据权利要求6所述的基于联邦学***台S i 拥有u i ，v i ，offline阶段：①图像拥有者生成随机数a，b，c，满足c=ab；然后对a，b，c进行加性分解，并将（a i ，b i ，c i ）发送给双云平台S i ；online阶段：②S i 计算
Figure DEST_PATH_IMAGE037
；③S i 共享
Figure DEST_PATH_IMAGE038
与
Figure DEST_PATH_IMAGE039
；④S i 计算
Figure DEST_PATH_IMAGE040
，f 1 +f 2 =uv；
三数乘协议SecThreeMul为：双云平台S i 拥有x i ，y i ，z i ，offline阶段：①图像拥有者生成随机数并发送给S i ；②图像拥有者生成随机整数a，b，c并计算d=abc；③图像拥有者计算并将a，b，c，d的秘密分享发送给S i ；online阶段：④S i 协同计算SecMul（x i ，y i ），SecMul（x i ，z i ），SecMul（y i ，z i ）得到xy i ，xz i ，yz i ；⑤S i 计算e i =x i -a i ，f i =y i -b i ，g i =z i -c i ，并协同恢复出e，f，g；
⑥S i 计算
Figure DEST_PATH_IMAGE041
；⑦S 1 计算 xyz 1 = xyz 1 +e*f*g；
所述的池化层为最大池化层，且池化层协议SecMaxpool为：双云平台S i 持有待比较数据x i ，y i ，z i ，t i ；offline阶段：①图像拥有者生成协议中涉及的子协议所需要的随机数并发送给S i ；online阶段：②S i 调用SecSgn与SS计算max（x i ，y i ）与max（z i ，t i ）；③S i 调用SecSgn与SS计算max（max（x i ，y i ），max（z i ，t i ））。
8.根据权利要求7所述的基于联邦学***台S i 拥有密文向量{x i }，{y i }，offline阶段：①图像拥有者们生成协议中涉及的子协议所需要的随机数并发送给S i ；online阶段：②S i 对向量元素做差，并协同计算SecMul（x i -y i ，x i -y i ）；③计算所有向量值之和；双云平台S i 此时得到两向量欧几里得距离平方值的秘密分享。
9.根据权利要求8所述的基于联邦学***台S i 掌握有大量待比较数值的一份分享{x i }，offline阶段：①图像拥有者们生成协议中涉及的子协议所需要的随机数并发送给S i ；②图像拥有者产生一个随机正值k,一个随机值b，并将其分享值发送给双云平台S i ；k值与b值的生成范围预先确定并保证kx+b的结果一定在x的分享的范围内；online阶段：③双云平台S i 计算SecMul（k i ，{x i }）+b i ，并公开{kx+b}的值。
CN202111641508.6A 2021-12-30 2021-12-30 基于联邦学习与秘密分享的多源密文图像检索方法 Active CN113987255B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111641508.6A CN113987255B (zh) 2021-12-30 2021-12-30 基于联邦学习与秘密分享的多源密文图像检索方法
NL2033745A NL2033745B1 (en) 2021-12-30 2022-12-16 Multi-source encrypted image retrieval method based on federated learning and secret sharing
US18/084,965 US11750377B2 (en) 2021-12-30 2022-12-20 Multi-source encrypted image retrieval method based on federated learning and secret sharing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111641508.6A CN113987255B (zh) 2021-12-30 2021-12-30 基于联邦学习与秘密分享的多源密文图像检索方法

Publications (2)

Publication Number Publication Date
CN113987255A CN113987255A (zh) 2022-01-28
CN113987255B true CN113987255B (zh) 2022-04-01

Family

ID=79734921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111641508.6A Active CN113987255B (zh) 2021-12-30 2021-12-30 基于联邦学习与秘密分享的多源密文图像检索方法

Country Status (3)

Country Link
US (1) US11750377B2 (zh)
CN (1) CN113987255B (zh)
NL (1) NL2033745B1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401154B (zh) * 2022-03-24 2022-06-07 华控清交信息科技(北京)有限公司 一种数据处理方法、装置、密文计算引擎和用于数据处理的装置
CN115189878B (zh) * 2022-09-08 2022-12-23 蓝象智联(杭州)科技有限公司 一种基于秘密分享的共享数据排序方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111711645A (zh) * 2020-08-19 2020-09-25 华控清交信息科技(北京)有限公司 一种数据处理方法、装置和用于数据处理的装置
CN112183730A (zh) * 2020-10-14 2021-01-05 浙江大学 一种基于共享学习的神经网络模型的训练方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700276B2 (en) * 2012-02-28 2017-07-11 Siemens Healthcare Gmbh Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update
US10423985B1 (en) * 2015-02-09 2019-09-24 Twitter, Inc. Method and system for identifying users across mobile and desktop devices
US11562230B2 (en) * 2017-03-22 2023-01-24 Visa International Service Association Privacy-preserving machine learning
US11108856B2 (en) * 2018-08-31 2021-08-31 Nakamoto & Turing Labs Inc Methods and apparatus for performing distributed computing using blockchain
US11556846B2 (en) * 2018-10-03 2023-01-17 Cerebri AI Inc. Collaborative multi-parties/multi-sources machine learning for affinity assessment, performance scoring, and recommendation making
US20200366459A1 (en) * 2019-05-17 2020-11-19 International Business Machines Corporation Searching Over Encrypted Model and Encrypted Data Using Secure Single-and Multi-Party Learning Based on Encrypted Data
AU2020353380A1 (en) * 2019-09-23 2022-04-14 Presagen Pty Ltd Decentralised artificial intelligence (AI)/machine learning training system
US20220415059A1 (en) * 2019-11-15 2022-12-29 Nvidia Corporation Multi-view deep neural network for lidar perception
US11935643B2 (en) * 2019-11-27 2024-03-19 GE Precision Healthcare LLC Federated, centralized, and collaborative medical data management and orchestration platform to facilitate healthcare image processing and analysis
CN113688855B (zh) * 2020-05-19 2023-07-28 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
US20210374502A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Technique to perform neural network architecture search with federated learning
CN111985649A (zh) * 2020-06-22 2020-11-24 华为技术有限公司 基于联邦学习的数据处理方法和装置
DE112021000135T5 (de) * 2020-06-25 2022-06-30 Nvidia Corporation Sensorfusion für anwendungen autonomer maschinen durch maschinelles lernen
CN112101403B (zh) * 2020-07-24 2023-12-15 西安电子科技大学 基于联邦少样本网络模型的分类方法、***及电子设备
US11983655B2 (en) * 2021-02-24 2024-05-14 International Business Machines Corporation Method, system, and media for machine learning annotation and image marketplace using blockchain ledgers
US20220284232A1 (en) * 2021-03-01 2022-09-08 Nvidia Corporation Techniques to identify data used to train one or more neural networks
US20220300618A1 (en) * 2021-03-16 2022-09-22 Accenture Global Solutions Limited Privacy preserving cooperative learning in untrusted environments
US20220366220A1 (en) * 2021-04-29 2022-11-17 Nvidia Corporation Dynamic weight updates for neural networks
US20220375134A1 (en) * 2021-05-06 2022-11-24 Intelligent Fusion Technology, Inc. Method, device and system of point cloud compression for intelligent cooperative perception system
US11830167B2 (en) * 2021-06-21 2023-11-28 Ping An Technology (Shenzhen) Co., Ltd. System and method for super-resolution image processing in remote sensing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111711645A (zh) * 2020-08-19 2020-09-25 华控清交信息科技(北京)有限公司 一种数据处理方法、装置和用于数据处理的装置
CN112183730A (zh) * 2020-10-14 2021-01-05 浙江大学 一种基于共享学习的神经网络模型的训练方法

Also Published As

Publication number Publication date
US11750377B2 (en) 2023-09-05
CN113987255A (zh) 2022-01-28
NL2033745B1 (en) 2024-01-30
US20230216668A1 (en) 2023-07-06
NL2033745A (en) 2023-07-04

Similar Documents

Publication Publication Date Title
Yin et al. See through gradients: Image batch recovery via gradinversion
CN113987255B (zh) 基于联邦学习与秘密分享的多源密文图像检索方法
CN113609398A (zh) 一种基于异构图神经网络的社交推荐方法
CN113516133B (zh) 一种多模态图像分类方法及***
CN112862001A (zh) 一种隐私保护下的去中心化数据建模方法
CN112712418B (zh) 推荐商品信息的确定方法和装置、存储介质及电子设备
CN115660050A (zh) 一种高效隐私保护的鲁棒联邦学习方法
CN112613618A (zh) 一种安全联邦学习逻辑回归算法
CN110263232B (zh) 一种基于广度学习和深度学习的混合推荐方法
CN111324766A (zh) 一种基于lbp特征的加密图像检索方法
CN116383470B (zh) 一种具有隐私保护的图像搜索方法
CN112580011B (zh) 一种面向生物特征隐私保护的人像加解密***
CN114003961A (zh) 一种具有隐私性保护的深度神经网络推理方法
CN111859440B (zh) 基于混合协议的分布式隐私保护逻辑回归模型的样本分类方法
CN116402159A (zh) 联邦学习方法、预测方法、装置、电子设备及存储介质
CN115130568A (zh) 支持多参与方的纵向联邦Softmax回归方法及***
CN115134471A (zh) 图像加密、解密方法以及相关设备
CN114996566A (zh) 一种面向工业互联网平台的智能推荐***及方法
CN117076090B (zh) 任务模型的构建方法、装置、设备及计算机可读存储介质
CN114969783B (zh) 一种隐私保护的群智感知数据恢复方法及***
Liu et al. A BRMF-based model for missing-data estimation of image sequence
CN115618395A (zh) 一种保护隐私的轻量级的nlp预测方法及***
Tayari et al. A new approach of object recognition in encrypted images using convolutional neural network
Zhou et al. MIP: CLIP-based Image Reconstruction from PEFT Gradients
CN117668895A (zh) 基于全同态加密和卷积神经网络的安全图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 314000 Building 29, Xianghu villa, Qixing street, Nanhu District, Jiaxing City, Zhejiang Province

Patentee after: Nanhu Laboratory

Address before: 314000 Building 29, Xianghu villa, Qixing street, Nanhu District, Huzhou City, Zhejiang Province

Patentee before: Nanhu Laboratory