CN112508101A - 一种神经网络模型的调整***、方法及设备 - Google Patents

一种神经网络模型的调整***、方法及设备 Download PDF

Info

Publication number
CN112508101A
CN112508101A CN202011431789.8A CN202011431789A CN112508101A CN 112508101 A CN112508101 A CN 112508101A CN 202011431789 A CN202011431789 A CN 202011431789A CN 112508101 A CN112508101 A CN 112508101A
Authority
CN
China
Prior art keywords
model
client
sample image
server
private
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011431789.8A
Other languages
English (en)
Inventor
黄博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011431789.8A priority Critical patent/CN112508101A/zh
Publication of CN112508101A publication Critical patent/CN112508101A/zh
Priority to PCT/CN2021/135719 priority patent/WO2022121840A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种神经网络模型的调整***、方法及设备，本方案中，第一方面，服务端基于各客户端发送的样本图像调整泛化模型，各客户端分别对应不同的场景，也就是说，服务端基于多场景图像调整泛化模型，因此该泛化模型能够适用于多个场景，提高了泛化模型在不同场景的输出准确率；第二方面，客户端利用其自身场景的私有样本图像对泛化模型进行调整，得到数据处理模型，该数据处理模型能够兼备适用多场景的泛化性能、以及对特定场景的更强的适用性，或者说，该数据处理模型兼备了通用性和私用性，提高了数据处理模型在不同场景的输出准确率。

Description

一种神经网络模型的调整***、方法及设备
技术领域
本发明涉及机器学习技术领域，特别是涉及一种神经网络模型的调整***、方法及设备。
背景技术
机器学习已被广泛应用于各种领域，例如，图像分类、目标检测、自然语言处理等等。机器学习的过程中，可以利用样本图像对神经网络进行训练，训练过程也就是对神经网络中的网络参数进行迭代调整的过程，训练完成后得到的神经网络模型可以用于图像分类、目标检测、自然语言处理等等。
相关的机器学习方案中，通常是基于同一场景采集的样本图像对神经网络进行训练，这样，训练完成后得到的神经网络模型的泛化性能较差，泛化性能可以理解为神经网络模型对不同场景的适应能力，泛化性能较差的神经网络模型在其不适应的场景中输出准确率较低。
以目标检测模型为例来说，目标检测模型可以识别图像中的人员、车辆、交通指示牌等各种目标。例如，基于在交通场景中采集的样本图像对神经网络进行训练，得到目标检测模型；利用该目标检测模型对在交通场景中采集的图像进行目标检测，准确度较高；但利用该目标检测模型对楼宇场景中采集的图像进行目标检测，准确度较低。
发明内容
本发明实施例的目的在于提供一种神经网络模型的调整***、方法及设备，以提高模型的输出准确率。
为达到上述目的，本发明实施例提供了一种神经网络模型的调整***，包括：服务端和多个客户端，各个客户端分别对应不同的场景；其中，
所述服务端，用于将泛化模型发送给各个客户端；
所述客户端，用于获取在其对应的场景中采集的样本图像，作为私有样本图像；利用所述私有样本图像对所述泛化模型进行调整，得到数据处理模型；将所述私有样本图像发送给所述服务端；
所述服务端，还用于基于所述各个客户端发送的私有样本图像，调整所述泛化模型，将调整后的泛化模型发送至所述各个客户端。
可选的，所述服务端，还用于将加密模型发送给所述各个客户端；
所述客户端，还用于利用所述加密模型对自身的私有样本图像进行加密，得到加密数据；将所述加密数据发送至所述服务端；
所述服务端，还用于基于所述各个客户端发送的加密数据，调整所述泛化模型。
可选的，所述加密模型包括特征提取模型；
所述客户端，还用于通过利用所述特征提取模型对所述私有样本图像进行特征提取，得到加密数据。
可选的，所述加密模型还包括压缩编码模型；
所述客户端，还用于利用所述特征提取模型对所述私有样本图像进行特征提取，得到所述私有样本图像的特征；利用所述压缩编码模型对所述私有样本图像的特征进行压缩编码，得到编码后的特征；将所述编码后的特征作为加密数据发送至所述服务端；
所述服务端，还用于通过解码模型对所述编码后的特征进行解码，得到解码后的特征，基于所述解码后的特征，调整所述泛化模型。
可选的，所述泛化模型包括底层模型和高层模型，所述底层模型为靠近输入层的部分模型，所述高层模型为靠近输出层的部分模型；所述特征提取模型为所述底层模型。
为达到上述目的，本发明实施例还提供了一种神经网络模型的调整方法，应用于第一客户端，所述方法包括：
接收服务端发送的泛化模型，所述泛化模型为所述服务端基于多个客户端发送的加密数据调整得到的，各客户端分别对应不同的场景；
获取在所述第一客户端对应的场景中采集的样本图像，作为私有样本图像；
利用所述私有样本图像对所述泛化模型进行调整，得到数据处理模型；
将所述私有样本图像发送给所述服务端。
可选的，所述方法还包括：
接收所述服务端发送的加密模型；
所述将所述私有样本图像发送给所述服务端，包括：
利用所述加密模型对所述私有样本图像进行加密，得到加密数据；将所述加密数据发送至所述服务端。
可选的，所述加密模型包括特征提取模型；所述利用所述加密模型对所述私有样本图像进行加密，得到加密数据，包括：
通过利用所述特征提取模型对所述私有样本图像进行特征提取，得到加密数据。
可选的，所述加密模型还包括压缩编码模型；所述通过利用所述特征提取模型对所述私有样本图像进行特征提取，得到加密数据，包括：
利用所述特征提取模型对所述私有样本图像进行特征提取，得到所述私有样本图像的特征；
利用所述压缩编码模型对所述私有样本图像的特征进行压缩编码，得到编码后的特征，作为加密数据。
可选的，所述方法还包括：
接收到所述泛化模型后，判断所述泛化模型是否满足预设性能条件；
如果满足，将所述泛化模型确定为数据处理模型；
如果不满足，执行所述获取在所述第一客户端对应的场景中采集的样本图像，作为私有样本图像的步骤。
为达到上述目的，本发明实施例还提供了一种神经网络模型的调整方法，应用于服务端，所述服务端中存储有泛化模型；所述方法包括：
接收各个客户端发送的私有样本图像，所述各个客户端分别对应不同的场景，所述私有样本图像为：所述客户端各自对应的场景中采集的样本图像；
基于所述各个客户端发送的私有样本图像，调整所述服务端中存储的泛化模型；
将调整后的泛化模型发送给所述各个客户端，以使所述各个客户端利用其自身的私有样本图像对所述泛化模型进行调整。
可选的，所述服务端中还存储有加密模型；所述方法还包括：将所述加密模型发送给所述各个客户端；
所述接收各个客户端发送的私有样本图像，包括：
接收所述各个客户端发送的加密数据，所述加密数据为：所述客户端利用所述加密模型，对该客户端自身对应的场景中采集的样本图像进行加密得到的数据。
可选的，所述泛化模型包括底层模型和高层模型，所述底层模型为靠近输入层的部分模型，所述高层模型为靠近输出层的部分模型；所述加密模型包括特征提取模型，所述特征提取模型为所述底层模型；
所述加密数据为：所述客户端利用所述特征提取模型，对该客户端自身对应的场景中采集的样本图像进行特征提取得到的数据；
所述基于所述各个客户端发送的私有样本图像，调整所述服务端中存储的泛化模型，包括：
将所述加密数据输入所述高层模型，并基于所述高层模型的输出结果对所述高层模型进行调整。
可选的，所述泛化模型包括底层模型和高层模型，所述底层模型为靠近输入层的部分模型，所述高层模型为靠近输出层的部分模型；所述加密模型包括特征提取模型和压缩编码模型，所述特征提取模型为所述底层模型；
所述加密数据为：所述客户端利用所述特征提取模型和所述压缩编码模型，依次对该客户端自身对应的场景中采集的样本图像进行特征提取、压缩编码后得到的数据；
所述基于所述各个客户端发送的私有样本图像，调整所述服务端中存储的泛化模型，包括：
通过所述解码模型对所述加密数据进行解码，得到解码后的特征；
将所述解码后的特征输入所述高层模型，并基于所述高层模型的输出结果对所述高层模型进行调整。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任意一种神经网络模型的调整方法。
应用本发明所示实施例，服务端将泛化模型发送给各客户端，各客户端分别对应不同的场景；客户端获取在其对应的场景中采集的样本图像，作为私有样本图像；利用私有样本图像对泛化模型进行调整，得到数据处理模型；将私有样本图像发送给服务端，服务端基于该私有样本图像调整泛化模型。
可见，本方案中，第一方面，服务端基于各客户端发送的样本图像调整泛化模型，各客户端分别对应不同的场景，也就是说，服务端基于多场景图像调整泛化模型，因此该泛化模型能够适用于多个场景，提高了泛化模型在不同场景的输出准确率；第二方面，客户端利用其自身场景的私有样本图像对泛化模型进行调整，得到数据处理模型，该数据处理模型能够兼备适用多场景的泛化性能、以及对特定场景的更强的适用性，或者说，该数据处理模型兼备了通用性和私用性，提高了数据处理模型在不同场景的输出准确率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的神经网络模型的调整***的第一种结构示意图；
图2a为本发明实施例提供的服务端与客户端之间的第一种交互示意图；
图2b为本发明实施例提供的服务端与客户端之间的第二种交互示意图；
图3为本发明实施例提供的神经网络模型的调整***的第二种结构示意图；
图4为本发明实施例提供的服务端与客户端之间的第三种交互示意图；
图5本为发明实施例提供的一种应用于第一客户端的神经网络模型的调整方法的流程示意图；
图6本为发明实施例提供的一种应用于服务端的神经网络模型的调整方法的流程示意图；
图7本为发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了达到上述目的，本发明实施例提供了一种神经网络模型的调整***、方法及设备，下面首先对该神经网络模型的调整***进行详细介绍。
图1为本发明实施例提供的神经网络模型的调整***的第一种结构示意图，包括：服务端100和多个客户端(客户端1……客户端N，N表示大于1的正整数)200，服务端100和各个客户端200通信连接，各个客户端200分别对应不同的场景。
举例来说，本发明实施例中的服务端和客户端可以为硬件设备，例如分别为服务器和用户设备，或者也可为软件程序，例如分别为服务端软件和客户端软件，服务端和客户端的具体形式不做限定。
其中，服务端与任一客户端200之间的交互可以参考图2a所示：
服务端100将泛化模型发送给各个客户端200；
客户端200获取在其对应的场景中采集的样本图像，作为私有样本图像；利用所述私有样本图像对所述泛化模型进行调整，得到数据处理模型；将所述私有样本图像发送给服务端100；
服务端100基于各个客户端200发送的私有样本图像，调整泛化模型，将调整后的泛化模型发送至各个客户端200。
本发明实施例中提到的各种模型，例如这里的泛化模型，后续内容中的加密模型，数据处理模型、特征提取模型、压缩编码模型、解码模型等等，均可以理解为神经网络模型或者神经网络模型中的部分层级，神经网络模型的具体类型不做限定，例如深度神经网络模型、卷积神经网络模型等等。
该神经网络模型可以为图像分类模型、或者为目标检测模型、或者为文本识别模型、或者为视频处理模型，等等，神经网络模型的具体用途不再一一列举。相对应的，如果神经网络模型为图像分类模型，则样本图像为单帧图像或视频图像，如果神经网络模型为目标检测模型，则样本图像为单帧图像或视频图像，如果神经网络模型为文本识别模型，则样本图像为文本图像，如果神经网络模型为视频处理模型，则样本图像为视频数据，样本图像的类型与神经网络模型的类型相匹配，这里不再一一列举。
各客户端分别对应不同的场景，客户端的私有样本图像也就是在该客户端对应的场景中采集的样本图像，也就是专属于该客户端的样本图像。
服务端100可以基于各客户端发送的私有样本图像持续调整该泛化模型，由于各客户端分别对应不同的场景，因此该泛化模型是基于多场景数据进行调整的，该泛化模型能够适用于多个场景，泛化性能较佳。
服务端100将该泛化模型发送给各客户端200，各客户端200在服务端100发送的泛化模型的基础上进行调整，得到数据处理模型，该数据处理模型可以实际用于图像分类、目标检测、文本识别、视频处理，等等，具体功能不做限定。该数据处理模型是在泛化模型的基础上调整得到的，因此，该数据处理模型同样具有较佳的泛化性能。
此外，对于每个客户端来说，该客户端获取在其对应的场景中采集的样本图像，利用该样本图像对泛化模型进行调整，得到数据处理模型；也就是说，客户端利用其自身场景的私有数据对泛化模型进行调整，调整后得到的数据处理模型对该客户端对应场景的私有数据的处理能力更佳。可见，该数据处理模型兼备了适用各场景的泛化性能、以及对某特定场景的更强的适用性，或者说，该数据处理模型兼备了通用性和私用性。
一种实施方式中，客户端200接收到服务端100发送的泛化模型后，可以先判断所述泛化模型是否满足预设性能条件；如果满足，则直接将所述泛化模型确定为数据处理模型；如果不满足，客户端200再执行获取私有样本图像的步骤。
该预设性能条件可以根据实际需求进行设定，不同客户端对应的预设性能条件可以不同，也可以相同。举例来说，如果泛化模型为目标检测模型，则该预设性能条件可以包括以下任意一种或多种：漏检率低于第一预设阈值，检出率高于第二预设阈值，准确率高于第三预设阈值，等等，具体不再一一列举。再举一例，如果泛化模型为文本识别模型，则该预设性能条件可以为准确率高于第四预设阈值，等等。具体预设性能条件不做限定。
本实施方式中，如果泛化模型满足预设性能条件，则可以直接应用该泛化模型。将泛化模型直接确定为数据处理模型，也就是直接应用该泛化模型进行实际的数据处理。如果泛化模型不满足预设性能条件，再继续后续调整以及其他步骤。
一种实施方式中，服务端100还可以将加密模型发送给各个客户端200；客户端200利用所述加密模型对自身的私有样本图像进行加密，得到加密数据；将所述加密数据发送至服务端100；服务端100基于各个客户端200发送的加密数据，调整所述泛化模型。
本实施方式中，将客户端的私有样本图像加密后再发送至服务端，提高了数据的安全性。
本实施方式中，服务端与任一客户端200之间的交互可以参考图2b所示：
服务端100将泛化模型和加密模型发送给各个客户端200；
客户端200获取在其对应的场景中采集的样本图像，作为私有样本图像；利用私有样本图像对泛化模型进行调整，得到数据处理模型；利用加密模型对私有样本图像进行加密，得到加密数据；将加密数据发送至服务端100；
服务端100基于该加密数据调整泛化模型，将调整后的泛化模型发送至各个客户端200。
举例来说，该加密模型可以是固定的，服务端100可以仅向各客户端200发送一次加密模型。但泛化模型不是固定的，服务端100基于各客户端发送的私有样本图像，持续地调整该泛化模型，并且不断将调整后的泛化模型发送给各客户端200。
一种实施方式中，加密模型包括特征提取模型；客户端200可以通过利用特征提取模型对所述私有样本图像进行特征提取，得到加密数据。
一种示例中，客户端200利用特征提取模型对私有样本图像进行特征提取，得到私有样本图像的特征，将该特征作为加密数据发送至服务端100。也就是说，本示例中，将特征提取作为加密手段，特征提取可以理解为对样本图像进行有损处理，这样，起到了对样本图像加密的效果，保护了样本图像的安全性，即便有非法用户获取了样本图像的特征，也不能复原出样本图像。
本示例中，服务端接收到该私有样本图像的特征后，可以直接利用该私有样本图像的特征调整泛化模型。
另一种示例中，加密模型包括特征提取模型和压缩编码模型；
客户端200可以利用所述特征提取模型对所述私有样本图像进行特征提取，得到所述私有样本图像的特征；利用所述压缩编码模型对所述私有样本图像的特征进行压缩编码，得到编码后的特征；将所述编码后的特征作为加密数据发送至所述服务端；
服务端100，还用于通过解码模型对所述编码后的特征进行解码，得到解码后的特征，基于所述解码后的特征，调整所述泛化模型。
本示例中，将特征提取以及特征编码作为加密手段，相当于对样本图像进行了两次有损处理，一方面起到了对样本图像加密的效果，保护了样本图像的安全性，即便有非法用户获取了编码后的特征，也不能复原出样本图像，另一方面，特征编码能够降低数据量，减少了数据传输过程中的带宽消耗，也减少了后续数据处理过程中的内存消耗。
或者，其他实施方式中，客户端也可以采用其他加密算法模型对样本图像进行加密，服务端采用相应的解密算法模型对加密数据进行解密，具体的加解密算法不做限定。
举例来说，一种实施方式中，泛化模型包括底层模型和高层模型，所述底层模型为靠近输入层的部分模型，所述高层模型为靠近输出层的部分模型；所述特征提取模型为所述底层模型。
例如，底层模型可以包括少量的卷积层、BN(Batch Normalization，批归一化)层和池化层。底层模型用于对输入数据进行特征提取。
上述一种示例中，服务端接收到客户端发送的样本图像的特征，该特征为特征提取模型输出的特征。本实施方式中，特征提取模型为泛化模型中的底层模型，因此，服务端接收到的样本图像的特征可以理解为：样本图像经过泛化模型的底层模型处理之后得到的。这样，服务端基于加密数据调整泛化模型时，可以直接将该样本图像的特征输入至泛化模型的高层模型中。可见，应用本实施方式，能够简化服务端对泛化模型的调整过程。
上述另一种示例中，服务端接收到客户端发送的编码后的特征。客户端对样本图像的处理过程可以表达为：样本图像→特征提取模型输出的特征→压缩编码模型输出的编码后的特征。服务端对该编码后的特征进行解码，解码可以理解为编码的逆过程，编码解码的步骤相抵消，则解码后的特征相当于特征提取模型输出的特征。本实施方式中，特征提取模型为泛化模型中的底层模型，因此，服务端得到的解码后的特征可以理解为：样本图像经过泛化模型的底层模型处理之后得到的。这样，服务端基于解码后的特征调整泛化模型时，可以直接将该样本图像的特征输入至泛化模型的高层模型中。可见，应用本实施方式，能够简化服务端对泛化模型的调整过程。
本实施方式中，特征提取模型为泛化模型中的底层模型，也就是说，特征提取模型为泛化模型的一部分。或者，另一种情况下，特征提取模型与泛化模型也可以为两个独立的模型，但特征提取模型的层级结构以及每层的各种参数与泛化模型的底层模型是一致的。
举例来说，服务端100调整泛化模型可以有多种情况：
例如，服务端100调整泛化模型的时机可以有多种情况：一种情况下，当服务端100新接收的客户端200发送的数据到达预设数据量时，调整泛化模型；另一种情况下，服务端100也可以每隔预设时间段调整泛化模型；再一种情况下，服务端100也可以每次接收到客户端200发送的数据后，调整泛化模型。具体调整时机不做限定。
再例如，服务端100调整泛化模型所依据的数据可以有多种情况：
一种情况下，服务端100可以对各客户端200发送的数据进行存储，每次调整泛化模型时，基于存储的全部数据调整泛化模型。或者，另一种情况下，每次基于不同的数据调整泛化模型，比如上述例子中，服务端100可以基于新接收的客户端200发送的数据数据调整泛化模型。调整所依据的数据不做限定。
服务端100可以累积越来越多的客户端200发送的数据，基于这些数据对泛化模型进行不断的调整，泛化模型的性能越来越好，可见，本发明实施例提供的神经网络模型的调整***具有自主学习的功能。服务端100可以在每次调整泛化模型后，将调整后的泛化模型发送给客户端200，客户端200也可以在该泛化模型的基础上，调整得到性能更佳的数据处理模型。
下面参考图3-4介绍一种具体的实施方式：
参考图3所示，服务端100包括泛化模型、特征提取模型、压缩编码模型和解码模型：
泛化模型
泛化模型可以分为底层模型和高层模型两部分，底层模型为靠近输入层的一部分，高层模型为靠近输出层的一部分。底层模型通常包括少量的卷积层，BN层和池化层，底层模型的作用是对输入数据进行特征提取。
泛化模型在整个***中共享，该泛化模型能够适用于各客户端对应的场景，泛化性能较佳。泛化模型为基于各客户端200发送的加密数据训练得到的，例如图3中，各客户端200将编码后的特征发送给服务端100，服务端100通过解码模型对编码后的特征进行解码，得到解码后的特征，基于解码后的特征，训练泛化模型。后续服务端100可以基于客户端新发送的加密数据，对训练完成的泛化模型进行更新。
特征提取模型
可以将泛化模型中的底层模型作为特征提取模型。一种情况下，可以将特征提取模型输出的数据作为加密数据进行传输，特征提取过程为有损处理过程，因此，对样本图像经特征提取后再进行传输，能够保护样本图像的隐私性。并且对泛化模型进行训练/更新时，经过特征提取后的数据可以直接传入泛化模型的高层模型。
经发明人研究发现，一个经过预训练的神经网络模型中，固定底层(或者说浅层)模型的参数，对神经网络模型的整体性能影响很小。因此，在整个***中，底层模型的参数可以是固定的，服务端100对泛化模型进行训练/更新的过程中、以及客户端200利用私有样本图像对所述泛化模型进行调整的过程中，可以不对底层模型的参数进行调整，只对高层模型的参数进行调整。
压缩编码模型
压缩编码模型的作用是对底层模型提取到的特征进行压缩编码，压缩编码过程为进一步的有损处理过程，压缩编码模型的压缩倍率能够达到几百倍甚至上千倍，经过如此高倍率的压缩，原样本图像进一步丢失，由编码后的特征复原出原样本图像的困难更大，对样本图像进行特征提取及压缩编码后再进行传输，更能够保护样本图像的隐私性。并且对泛化模型进行训练/更新时，解码后的特征可以直接传入泛化模型的高层模型。
一般来说，对样本图像进行特征提取后的数据量会几倍甚至几十倍于原始样本图像的数据量，直接传输特征提取模型提取出的特征，会占用大量的带宽，而且服务端存储各客户端传输的特征也会占用大量的存储空间。利用压缩编码模型对该特征进行压缩编码后再传输，既节省了带宽，又节省了存储空间。
压缩编码模型可以由服务端训练完成，训练完成后可以不再调整。
解码模型
由于神经网络的特殊性质，压缩编码模型的压缩倍率能够达到几百倍甚至上千倍，而解码模型能够在这样的压缩倍率下，重构出近似的压缩编码之前的特征。也就是说，解码模型输出的解码后的特征近似于特征提取模型输出的特征，解码后的特征可以直接传入泛化模型的高层模型，基于该解码后的特征，对泛化模型的高层模型进行调整。
参考图3所示，客户端200包括泛化模型、特征提取模型、压缩编码模型和私有模型，为了方便展示，图3中仅示出了一个客户端，其他客户端的情况类似。
客户端200中的泛化模型、特征提取模型和压缩编码模型均为服务端发送的，客户端200中的私有模型为客户端200基于自身的私有数据，对该泛化模型进行调整得到的。各个客户端分别对应不同的场景，客户端自身的私有数据可以理解为：在客户端对应的场景中采集的样本图像。
对于客户端200来说，服务端100发送的泛化模型在客户端对应的场景下可能具备也可能不具备足够的泛化能力。如果具备，则客户端200可以直接使用该泛化模型，或者说，直接将该泛化模型作为自身的私有模型。如果不具备，客户端200可以获取自身的私有数据，基于该私有数据对该泛化模型进行调整，从而获得一个适用于自身场景的私有模型。另外，客户端200获取到的私有数据经过特征提取和压缩编码后得到编码后的特征，该编码后的特征发送到服务端100，服务端对各客户端200发送的编码后的特征进行解码，基于解码后的特征训练通用性更好的泛化模型。
每个客户端200的私有数据和私有模型不能被任何其他客户端或者服务端获取。
参考图4介绍一下该***中的执行流程：
服务端100将泛化模型、底层模型和压缩编码模型发送给客户端200。
客户端200评估泛化模型的性能是否满足预设性能条件，若满足，则流程结束；否则继续后续步骤。
客户端200获取自己场景的私有数据，基于该私有数据对该泛化模型进行调整，以获得性能满足预设性能条件的私有模型。
客户端200将私有数据送入特征提取模型进行特征提取，再送入压缩编码模型进行压缩编码，然后将编码后的特征发送到服务端200。
服务端200接收客户端200发送的编码后的特征并存储。当新增的编码后的特征达到一定规模后，服务端200基于存储的所有编码后的特征进行联合训练，获得新的泛化性能更佳的泛化模型。服务端200将新的泛化模型发送到所有客户端200。
对于拥有私有数据和私有模型的客户端来说，其可以选择在新的泛化模型上重新调整，获得性能更好的私有模型。
可见，本实施方式提供了一种协同学习***，第一方面，该***具有自主学习的能力，该***中可以不断加入新的客户端，随着新的客户端不断加入，服务端会不断积累越来越多的编码后的特征，从而训练出通用性更好的泛化模型。第二方面，随着泛化模型通用性的不断增强，新加入的客户端出现泛化问题的概率也会不断降低，从而能够节约出采集数据、标记数据、以及训练模型等各环节所需要的人力物力资源。第三方面，该***传输的编码后的特征，这样可以提供***的安全性。第四方面，该***能够将不同客户端的私有数据协同起来，共同训练出一个通用性强、泛化能力佳的泛化模型，相比于在数据孤岛情况下，各个客户端均独自获取私有数据、独自标定数据、独自训练模型的方案，该***不需要进行这一系列费时费力的重复劳动。
与上述***实施例相对应，本发明实施例还提供一种应用于第一客户端的神经网络模型的调整方法，第一客户端可以为神经网络模型的调整***中的任意客户端，为了将执行主体与其他客户端相区分，将执行主体称为第一客户端。
图5本为发明实施例提供的一种应用于第一客户端的神经网络模型的调整方法的流程示意图，包括：
S501：接收服务端发送的泛化模型，所述泛化模型为所述服务端基于多个客户端发送的加密数据调整得到的，各客户端分别对应不同的场景。
本发明实施例中提到的各种模型，例如这里的泛化模型，后续内容中的加密模型，数据处理模型、特征提取模型、压缩编码模型、解码模型等等，均可以理解为神经网络模型或者神经网络模型中的部分层级，神经网络模型的具体类型不做限定，例如深度神经网络模型、卷积神经网络模型等等。
该神经网络模型可以为图像分类模型、或者为目标检测模型、或者为文本识别模型、或者为视频处理模型，等等，神经网络模型的具体用途不再一一列举。相对应的，如果神经网络模型为图像分类模型，则样本图像为单帧图像或视频图像，如果神经网络模型为目标检测模型，则样本图像为单帧图像或视频图像，如果神经网络模型为文本识别模型，则样本图像为文本图像，如果神经网络模型为视频处理模型，则样本图像为视频数据，样本图像的类型与神经网络模型的类型相匹配，这里不再一一列举。
服务端可以基于各客户端发送的私有样本图像持续调整该泛化模型，由于各客户端分别对应不同的场景，因此该泛化模型是基于多场景数据进行调整的，该泛化模型能够适用于多个场景，泛化性能较佳。客户端的私有样本图像也就是在该客户端对应的场景中采集的样本图像，也就是专属于该客户端的样本图像。
一种实施方式中，S501之后，可以先判断所述泛化模型是否满足预设性能条件；如果满足，将所述泛化模型确定为数据处理模型；如果不满足，再执行S502。
该预设性能条件可以根据实际需求进行设定，不同客户端对应的预设性能条件可以不同，也可以相同。举例来说，如果泛化模型为目标检测模型，则该预设性能条件可以包括以下任意一种或多种：漏检率低于第一预设阈值，检出率高于第二预设阈值，准确率高于第三预设阈值，等等，具体不再一一列举。再举一例，如果泛化模型为文本识别模型，则该预设性能条件可以为准确率高于第四预设阈值，等等。具体预设性能条件不做限定。
本实施方式中，如果泛化模型满足预设性能条件，则可以直接应用该泛化模型。将泛化模型直接确定为数据处理模型，也就是直接应用该泛化模型进行实际的数据处理。如果泛化模型不满足预设性能条件，再继续后续调整以及其他步骤。
或者其他实施方式中，S501之后也可以直接执行S502。
S502：获取在第一客户端对应的场景中采集的样本图像，作为私有样本图像。
本实施例中，各个客户端分别对应不同的场景，第一客户端获取的在其对应的场景中采集的样本图像，可以理解为专属于该第一客户端的私有数据。
S503：利用私有样本图像对泛化模型进行调整，得到数据处理模型。
第一客户端在服务端发送的泛化模型的基础上进行调整，得到数据处理模型，该数据处理模型可以实际用于图像分类、目标检测、文本识别、视频处理，等等，具体功能不做限定。该数据处理模型是在泛化模型的基础上调整得到的，因此，该数据处理模型同样具有较佳的泛化性能。
此外，第一客户端获取在其对应的场景中采集的样本图像，利用该样本图像对泛化模型进行调整，得到数据处理模型；也就是说，第一客户端利用其自身场景的私有数据对泛化模型进行调整，调整后得到的数据处理模型对第一客户端对应场景的私有数据的处理能力更佳。可见，该数据处理模型兼备了适用各场景的泛化性能、以及对某特定场景的更强的适用性，或者说，该数据处理模型兼备了通用性和私用性。
一种实施方式中，泛化模型包括底层模型和高层模型，所述底层模型为靠近输入层的部分模型，所述高层模型为靠近输出层的部分模型；所述特征提取模型为所述底层模型。例如，底层模型可以包括少量的卷积层、BN层和池化层。底层模型用于对输入数据进行特征提取。S503中调整泛化模型时，可以只调整高层模型，不调整底层模型。
S504：将私有样本图像发送至服务端。
一种实施方式中，第一客户端还可以接收所述服务端发送的加密模型；这种实施方式中，S504可以包括：利用所述加密模型对所述私有样本图像进行加密，得到加密数据；将所述加密数据发送至所述服务端。
本实施方式中，将第一客户端的私有样本图像加密后再发送至服务端，提高了数据的安全性。
一种实施方式中，加密模型包括特征提取模型；S504中可以通过利用所述特征提取模型对所述私有样本图像进行特征提取，得到加密数据。
一种示例中，第一客户端利用特征提取模型对私有样本图像进行特征提取，得到私有样本图像的特征，将该特征作为加密数据发送至服务端。也就是说，本示例中，将特征提取作为加密手段，特征提取可以理解为对样本图像进行有损处理，这样，起到了对样本图像加密的效果，保护了样本图像的安全性，即便有非法用户获取了样本图像的特征，也不能复原出样本图像。
本示例中，服务端接收到该私有样本图像的特征后，可以直接利用该私有样本图像的特征调整泛化模型。
另一种示例中，加密模型包括特征提取模型和压缩编码模型；S504中可以利用所述特征提取模型对所述私有样本图像进行特征提取，得到所述私有样本图像的特征；利用所述压缩编码模型对所述私有样本图像的特征进行压缩编码，得到编码后的特征，作为加密数据。
本示例中，服务端可以通过解码模型对所述编码后的特征进行解码，得到解码后的特征，基于所述解码后的特征，调整所述泛化模型。
本示例中，将特征提取以及特征编码作为加密手段，相当于对样本图像进行了两次有损处理，一方面起到了对样本图像加密的效果，保护了样本图像的安全性，即便有非法用户获取了编码后的特征，也不能复原出样本图像，另一方面，特征编码能够降低数据量，减少了数据传输过程中的带宽消耗，也减少了后续数据处理过程中的内存消耗。
或者，其他实施方式中，第一客户端也可以采用其他加密算法模型对样本图像进行加密，服务端采用相应的解密算法模型对加密数据进行解密，具体的加解密算法不做限定。
应用本发明图5所示实施例，第一方面，服务端基于多个客户端发送的加密数据训练得到泛化模型，各客户端分别对应不同的场景，也就是说，服务端基于多场景数据训练得到泛化模型，因此该泛化模型能够适用于多个场景，提高了泛化模型在不同场景的输出准确率。第二方面，第一客户端利用其自身场景的私有样本图像对泛化模型进行调整，得到数据处理模型，该数据处理模型能够兼备适用多场景的泛化性能、以及对特定场景的更强的适用性，或者说，该数据处理模型兼备了通用性和私用性，提高了数据处理模型在不同场景的输出准确率。第三方面，一些实施方式中，第一客户端并不是直接将样本图像发送给服务端，而是利用加密模型对样本图像进行加密后，将加密数据发送至服务端，这样，提高了数据的安全性。
与上述***实施例相对应，本发明实施例还提供一种应用于服务端的神经网络模型的调整方法，该服务端中存储有泛化模型。参考图6所示，该方法包括：
S601：接收各个客户端发送的私有样本图像。所述各个客户端分别对应不同的场景，所述私有样本图像为：所述客户端各自对应的场景中采集的样本图像。
S602：基于各个客户端发送的私有样本图像，调整服务端中存储的泛化模型。
S603：将调整后的泛化模型发送给各个客户端，以使所述各个客户端利用其自身的私有样本图像对所述泛化模型进行调整。
一种实施方式中，服务端中还存储有加密模型；所述方法还包括：将所述加密模型发送给所述各个客户端；这种实施方式中，S601可以包括：接收所述各个客户端发送的加密数据，所述加密数据为：所述客户端利用所述加密模型，对该客户端自身对应的场景中采集的样本图像进行加密得到的数据。
本实施方式中，客户端将私有样本图像加密后再发送至服务端，提高了数据的安全性。
一种实施方式中，所述泛化模型包括底层模型和高层模型，所述底层模型为靠近输入层的部分模型，所述高层模型为靠近输出层的部分模型；所述加密模型包括特征提取模型，所述特征提取模型为所述底层模型；所述加密数据为：所述客户端利用所述特征提取模型，对该客户端自身对应的场景中采集的样本图像进行特征提取得到的数据。
本实施方式中，S602可以包括：将所述加密数据输入所述高层模型，并基于所述高层模型的输出结果对所述高层模型进行调整。
另一种实施方式中，所述泛化模型包括底层模型和高层模型，所述底层模型为靠近输入层的部分模型，所述高层模型为靠近输出层的部分模型；所述加密模型包括特征提取模型和压缩编码模型，所述特征提取模型为所述底层模型；所述加密数据为：所述客户端利用所述特征提取模型和所述压缩编码模型，依次对该客户端自身对应的场景中采集的样本图像进行特征提取、压缩编码后得到的数据。
本实施方式中，S602可以包括：通过所述解码模型对所述加密数据进行解码，得到解码后的特征；将所述解码后的特征输入所述高层模型，并基于所述高层模型的输出结果对所述高层模型进行调整。
应用本发明图6所示实施例，第一方面，服务端基于多个客户端发送的加密数据训练得到泛化模型，各客户端分别对应不同的场景，也就是说，服务端基于多场景数据训练得到泛化模型，因此该泛化模型能够适用于多个场景，提高了泛化模型在不同场景的输出准确率。第二方面，客户端利用其自身场景的私有样本图像对泛化模型进行调整，得到数据处理模型，该数据处理模型能够兼备适用多场景的泛化性能、以及对特定场景的更强的适用性，或者说，该数据处理模型兼备了通用性和私用性，提高了数据处理模型在不同场景的输出准确率。第三方面，一些实施方式中，客户端并不是直接将样本图像发送给服务端，而是利用加密模型对样本图像进行加密后，将加密数据发送至服务端，这样，提高了数据的安全性。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701和存储器702，
存储器702，用于存放计算机程序；
处理器701，用于执行存储器702上所存放的程序时，实现上述任意一种神经网络模型的调整方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种神经网络模型的调整方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任意一种神经网络模型的调整方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于应用于第一客户端的神经网络模型的调整方法实施例、应用于服务端端的神经网络模型的调整方法实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于神经网络模型的调整***实施例，所以描述的比较简单，相关之处参见***实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种神经网络模型的调整***，其特征在于，包括：服务端和多个客户端，各个客户端分别对应不同的场景；其中，
所述服务端，用于将泛化模型发送给各个客户端；
所述客户端，用于获取在其对应的场景中采集的样本图像，作为私有样本图像；利用所述私有样本图像对所述泛化模型进行调整，得到数据处理模型；将所述私有样本图像发送给所述服务端；
所述服务端，还用于基于所述各个客户端发送的私有样本图像，调整所述泛化模型，将调整后的泛化模型发送至所述各个客户端。
2.根据权利要求1所述的***，其特征在于，
所述服务端，还用于将加密模型发送给所述各个客户端；
所述客户端，还用于利用所述加密模型对自身的私有样本图像进行加密，得到加密数据；将所述加密数据发送至所述服务端；
所述服务端，还用于基于所述各个客户端发送的加密数据，调整所述泛化模型。
3.根据权利要求2所述的***，其特征在于，所述加密模型包括特征提取模型；
所述客户端，还用于通过利用所述特征提取模型对所述私有样本图像进行特征提取，得到加密数据。
4.根据权利要求3所述的***，其特征在于，所述加密模型还包括压缩编码模型；
所述客户端，还用于利用所述特征提取模型对所述私有样本图像进行特征提取，得到所述私有样本图像的特征；利用所述压缩编码模型对所述私有样本图像的特征进行压缩编码，得到编码后的特征；将所述编码后的特征作为加密数据发送至所述服务端；
所述服务端，还用于通过解码模型对所述编码后的特征进行解码，得到解码后的特征，基于所述解码后的特征，调整所述泛化模型。
5.根据权利要求3或4所述的***，其特征在于，所述泛化模型包括底层模型和高层模型，所述底层模型为靠近输入层的部分模型，所述高层模型为靠近输出层的部分模型；所述特征提取模型为所述底层模型。
6.一种神经网络模型的调整方法，其特征在于，应用于第一客户端，所述方法包括：
接收服务端发送的泛化模型，所述泛化模型为所述服务端基于多个客户端发送的加密数据调整得到的，各客户端分别对应不同的场景；
获取在所述第一客户端对应的场景中采集的样本图像，作为私有样本图像；
利用所述私有样本图像对所述泛化模型进行调整，得到数据处理模型；
将所述私有样本图像发送给所述服务端。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
接收所述服务端发送的加密模型；
所述将所述私有样本图像发送给所述服务端，包括：
利用所述加密模型对所述私有样本图像进行加密，得到加密数据；将所述加密数据发送至所述服务端。
8.根据权利要求7所述的方法，其特征在于，所述加密模型包括特征提取模型；所述利用所述加密模型对所述私有样本图像进行加密，得到加密数据，包括：
通过利用所述特征提取模型对所述私有样本图像进行特征提取，得到加密数据。
9.根据权利要求8所述的方法，其特征在于，所述加密模型还包括压缩编码模型；所述通过利用所述特征提取模型对所述私有样本图像进行特征提取，得到加密数据，包括：
利用所述特征提取模型对所述私有样本图像进行特征提取，得到所述私有样本图像的特征；
利用所述压缩编码模型对所述私有样本图像的特征进行压缩编码，得到编码后的特征，作为加密数据。
10.根据权利要求6所述的方法，其特征在于，所述方法还包括：
接收到所述泛化模型后，判断所述泛化模型是否满足预设性能条件；
如果满足，将所述泛化模型确定为数据处理模型；
如果不满足，执行所述获取在所述第一客户端对应的场景中采集的样本图像，作为私有样本图像的步骤。
11.一种神经网络模型的调整方法，其特征在于，应用于服务端，所述服务端中存储有泛化模型；所述方法包括：
接收各个客户端发送的私有样本图像，所述各个客户端分别对应不同的场景，所述私有样本图像为：所述客户端各自对应的场景中采集的样本图像；
基于所述各个客户端发送的私有样本图像，调整所述服务端中存储的泛化模型；
将调整后的泛化模型发送给所述各个客户端，以使所述各个客户端利用其自身的私有样本图像对所述泛化模型进行调整。
12.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求6-11任一所述的方法步骤。
CN202011431789.8A 2020-12-07 2020-12-07 一种神经网络模型的调整***、方法及设备 Pending CN112508101A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011431789.8A CN112508101A (zh) 2020-12-07 2020-12-07 一种神经网络模型的调整***、方法及设备
PCT/CN2021/135719 WO2022121840A1 (zh) 2020-12-07 2021-12-06 一种神经网络模型的调整***、方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011431789.8A CN112508101A (zh) 2020-12-07 2020-12-07 一种神经网络模型的调整***、方法及设备

Publications (1)

Publication Number Publication Date
CN112508101A true CN112508101A (zh) 2021-03-16

Family

ID=74970236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011431789.8A Pending CN112508101A (zh) 2020-12-07 2020-12-07 一种神经网络模型的调整***、方法及设备

Country Status (2)

Country Link
CN (1) CN112508101A (zh)
WO (1) WO2022121840A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121840A1 (zh) * 2020-12-07 2022-06-16 杭州海康威视数字技术股份有限公司 一种神经网络模型的调整***、方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180018590A1 (en) * 2016-07-18 2018-01-18 NantOmics, Inc. Distributed Machine Learning Systems, Apparatus, and Methods
CN110276404A (zh) * 2019-06-25 2019-09-24 腾讯科技（深圳）有限公司 模型训练方法、装置及存储介质
CN110992936A (zh) * 2019-12-06 2020-04-10 支付宝(杭州)信息技术有限公司 使用私有数据来进行模型训练的方法及装置
CN111046422A (zh) * 2019-12-09 2020-04-21 支付宝(杭州)信息技术有限公司 防止隐私数据泄漏的编码模型训练方法及装置
CN111475648A (zh) * 2020-03-30 2020-07-31 东软集团股份有限公司 一种文本分类模型生成方法、文本分类方法及装置、设备
CN111797851A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020229684A1 (en) * 2019-05-16 2020-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement
CN110399742B (zh) * 2019-07-29 2020-12-18 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN112508101A (zh) * 2020-12-07 2021-03-16 杭州海康威视数字技术股份有限公司 一种神经网络模型的调整***、方法及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180018590A1 (en) * 2016-07-18 2018-01-18 NantOmics, Inc. Distributed Machine Learning Systems, Apparatus, and Methods
CN111797851A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 特征提取方法、装置、存储介质及电子设备
CN110276404A (zh) * 2019-06-25 2019-09-24 腾讯科技（深圳）有限公司 模型训练方法、装置及存储介质
CN110992936A (zh) * 2019-12-06 2020-04-10 支付宝(杭州)信息技术有限公司 使用私有数据来进行模型训练的方法及装置
CN111046422A (zh) * 2019-12-09 2020-04-21 支付宝(杭州)信息技术有限公司 防止隐私数据泄漏的编码模型训练方法及装置
CN111475648A (zh) * 2020-03-30 2020-07-31 东软集团股份有限公司 一种文本分类模型生成方法、文本分类方法及装置、设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121840A1 (zh) * 2020-12-07 2022-06-16 杭州海康威视数字技术股份有限公司 一种神经网络模型的调整***、方法及设备

Also Published As

Publication number Publication date
WO2022121840A1 (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
Dhawan et al. Analysis of various data security techniques of steganography: A survey
US10713391B2 (en) Tamper protection and video source identification for video processing pipeline
US11290252B2 (en) Compression and homomorphic encryption in secure query and analytics
JP2019527444A (ja) 一致するコンテンツを特定するためのシステムおよび方法
US11599832B2 (en) Systems, circuits and computer program products providing a framework for secured collaborative training using hyper-dimensional vector based data encoding/decoding and related methods
Zhang et al. Compression of encrypted images with multi-layer decomposition
Zhang et al. Harnessing the hybrid cloud for secure big image data service
Mansour et al. Reversible data hiding for electronic patient information security for telemedicine applications
Xiao et al. Separable data hiding in encrypted image based on compressive sensing
US20240104681A1 (en) Image steganography utilizing adversarial perturbations
EP3537319A1 (en) Tamper protection and video source identification for video processing pipeline
US11227197B2 (en) Semantic understanding of images based on vectorization
Edwards et al. Quality of information-aware mobile applications
Dalal et al. Video steganalysis to obstruct criminal activities for digital forensics: A survey
CN116383793A (zh) 人脸数据处理方法、装置、电子设备和计算机可读介质
CN112508101A (zh) 一种神经网络模型的调整***、方法及设备
Moradi et al. A Real‐Time Biometric Encryption Scheme Based on Fuzzy Logic for IoT
Hazarika et al. A wavelet based partial image encryption using chaotic logistic map
Gupta et al. A metaheuristic method to hide MP3 sound in JPEG image
Arunkumar et al. Reversible data hiding scheme using modified histogram shifting in encrypted images for bio-medical images
Kumar et al. An efficient compression of encrypted images using WDR coding
Chen et al. When provably secure steganography meets generative models
Puchala et al. Image statistics preserving encrypt-then-compress scheme dedicated for JPEG compression standard
Panneerselvam et al. Improving the Security of Video Embedding Using the CFP‐SPE Method
CN114841370A (zh) 联邦学习模型的处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination