CN115221537A - 一种模型处理方法、装置、存储介质及电子设备 - Google Patents

一种模型处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115221537A
CN115221537A CN202210620198.8A CN202210620198A CN115221537A CN 115221537 A CN115221537 A CN 115221537A CN 202210620198 A CN202210620198 A CN 202210620198A CN 115221537 A CN115221537 A CN 115221537A
Authority
CN
China
Prior art keywords
privacy
scene
data
transaction
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210620198.8A
Other languages
English (en)
Inventor
曹佳炯
丁菁汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210620198.8A priority Critical patent/CN115221537A/zh
Publication of CN115221537A publication Critical patent/CN115221537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书公开了一种模型处理方法、装置、存储介质及电子设备，其中，方法包括：通过获取所划分事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据，以及获取事务场景簇的初始场景簇隐私处理模型，然后基于多模态数据对初始场景簇隐私处理模型进行模型训练得到训练好的场景簇隐私处理模型，然后通过场景簇隐私处理模型可以对至少一个目标隐私事务场景进行隐私事务处理。

Description

一种模型处理方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型处理方法、装置、存储介质及电子设备。
背景技术
随着计算机技术的快速发展，诸如生物识别场景、机密会议场景、用户数据传输场景、生物识别场景等隐私事务场景越来越场景，在隐私事务场景下需要考虑到隐私安全；以隐私事务场景中的生物识别场景为例，诸如生物识别场景为了达到生物识别认证的目的，往往需要对用户的生物信息进行采集、处理、传输和存储。这其中的每一个环节都有可能造成用户的隐私信息泄漏，隐私信息泄漏会导致用户进一步财产和信息的损失。
发明内容
本说明书提供了一种模型处理方法、装置、存储介质及电子设备，所述技术方案如下：
第一方面，本说明书提供了一种模型处理方法，所述方法包括：
对隐私事务场景划分至少一个事务场景簇，获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据；
获取所述事务场景簇对应的初始场景簇隐私处理模型，基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型；
基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理。
第二方面，本说明书提供了一种模型处理装置，所述装置包括：
场景划分模块，用于对隐私事务场景划分至少一个事务场景簇，获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据；
模型训练模块，用于获取所述事务场景簇对应的初始场景簇隐私处理模型，基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型；
事务处理模块，用于基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理。
第三方面，本说明书提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本说明书提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本说明书一些实施例提供的技术方案带来的有益效果至少包括：
在本说明书一个或多个实施例中，通过对隐私事务场景划分至少一个事务场景簇，获取事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据，获取针对事务场景簇分别对应的初始场景簇隐私处理模型，基于多模态数据对初始场景簇隐私处理模型进行模型训练，基于训练得到的场景簇隐私处理模型对就可以部署到若干目标隐私事务场景进行隐私事务处理。可以避免对每个隐私事务场景单独模型训练，节省了模型处理资源；以及实现了对于多事务场景下模型处理过程的优化，避免了模型部署若干目标事务场景后性能衰减现象，有效的增强了模型处理稳定性以及场景泛化能力。
附图说明
为了更清楚地说明本说明书或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书提供的一种模型处理***的场景示意图；
图2是本说明书提供的一种模型处理方法的流程示意图；
图3是本说明书提供的一种模型处理方法的流程示意图；
图4是本说明书提供的另一种模型处理方法的流程示意图；
图5是本说明书提供的一种模型处理装置的结构示意图；
图6是本说明书提供的一种场景划分模块的结构示意图；
图7是本说明书提供的一种场景划分单元的结构示意图；
图8是本说明书提供的一种模型训练模块的结构示意图；
图9是本说明书提供的一种模型训练单元的结构示意图；
图10是本说明书提供的一种事务处理模块的结构示意图；
图11是本说明书提供的一种电子设备的结构示意。
具体实施方式
下面将结合本说明书中的附图，对本说明书中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在实际隐私事务场景应用中，可以使用基于深度学习的隐私保护方法。这类方法通过训练隐私保护模型，通过隐私保护模型实现对源数据的脱敏以及反脱敏，对数据的脱敏以及反脱敏类似对源数据加密/解密的操作。这类方法由于深度依赖所属隐私事务场景的训练数据，往往在单一隐私事务场景上表现较好但是在多各隐私事务场景上难以都达到较好的性能，实际应用中需要基于每个隐私事务场景训练单独的隐私保护模型，这无疑会带来大量的模型训练和模型维度的资源消耗，同时也存在基于深度学习隐私保护方法多场景性能衰减的问题。
下面结合具体的实施例对本申请进行详细说明。
请参见图1，为本说明书提供的一种模型处理***的场景示意图。如图1所示，所述模型处理***至少可以包括客户端集群和服务平台100。
所述客户端集群可以包括至少一个客户端，如图1所示，具体包括用户1对应的客户端1、用户2对应的客户端2、…、用户n对应的客户端n，n为大于0的整数。
客户端集群中的各客户端可以是具备通信功能的电子设备，该电子设备包括但不限于：可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中电子设备可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的电子设备等。
所述服务平台100可以是单独的服务器设备，例如：机架式、刀片、塔式、或者机柜式的服务器设备，或采用工作站、大型计算机等具备较强计算能力硬件设备；也可以是采用多个服务器组成的服务器集群，所述服务集群中的各服务器可以是以对称方式组成的，其中每台服务器在事务链路中功能等价、地位等价，各服务器均可单独对外提供服务，所述单独提供服务可以理解为无需另外的服务器的辅助。
在本说明书的一个或多个实施例中，服务平台100与客户端集群中的至少一个客户端可建立通信连接，基于该通信连接完成模型处理过程中数据的交互，诸如隐私事务数据交互，如服务平台100可基于本说明书的模型处理方法得到的场景簇隐私处理模型部署至客户端上；又如，服务平台100可从客户端上获脱敏事务数据。
需要说明的是，服务平台100与客户端集群中的至少一个客户端通过网络建立通信连接进行交互通信，其中，网络可以是无线网络，也可以是有线网络，无线网络包括但不限于蜂窝网络、无线局域网、红外网络或蓝牙网络，有线网络包括但不限于以太网、通用串行总线(universal serial bus，USB)或控制器局域网络。在说明书一个或多个实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据(如目标压缩包)。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
本说明书所提供的模型处理***实施例与一个或多个实施例中的所述模型处理方法属于同一构思，在说明书一个或多个实施例涉及的所述模型处理方法对应的执行主体可以是上述服务平台100；在说明书一个或多个实施例涉及的所述模型处理方法对应的执行主体也可以是客户端所对应的电子设备，具体基于实际应用环境确定。模型处理***实施例其体现实现过程可详见下述的方法实施例，这里不再赘述。
基于图1所示的场景示意图，下面对本说明书一个或多个实施例提供的模型处理方法进行详细介绍。
请参见图2，为本说明书一个或多个实施例提供了一种模型处理方法的流程示意图，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的模型处理装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。所述模型处理装置可以为服务平台。
具体的：
生物识别场景、机密会议场景、用户数据传输场景、生物识别场景等隐私事务场景需要考虑到隐私安全，诸如生物识别场景为了达到生物认证的目的，往往需要对用户的生物信息进行采集、处理、传输和存储。这其中的每一个环节都有可能造成用户的生物信息(强隐私信息)泄漏，有可能造成用户进一步财产和信息的损失。因此，在隐私事务场景下会涉及到对用户生物隐私信息、机密会议信息、用户个人数据等隐私数据的保护；在若干隐私事务场景中，可以使用本说明书涉及的所述模型处理方法中的场景簇隐私处理模型对诸如生物识别图像、隐私事务文本等多模态数据进行脱敏处理，从而起到隐私保护的目的。以多模态数据为图像为例，基于场景簇隐私处理模型可以对相应场景簇下的多个隐私事务场景下的图像数据进行脱敏处理，得到脱敏图像，脱敏图像视觉上已经完全没有了隐私特征；
S102：对隐私事务场景划分至少一个事务场景簇，获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据；
所述隐私事务场景可以是刷脸支付场景、面部门禁场景、用户考勤场景、指纹(图像)识别场景、机密数据传输场景等等。在实际事务场景应用中，基于每个隐私事务场景训练单独的隐私保护模型会带来大量的模型训练和模型维度的资源消耗，基于此可执行本说明书涉及的所述模型处理方法来训练场景簇隐私处理模型，基于场景簇隐私处理模型适用到多个隐私事务场景中。
所述事务场景簇包含若干目标隐私事务场景，同一事务场景簇中的所有目标隐私事务场景彼此之间存在一定的共性，采用场景簇划分方式对“每个隐私事务场景”进行场景簇划分处理，以将具有共性的相似的若干隐私事务场景划分到一个事务场景簇中。
在一种可行的实施方式中，可以采用场景聚类方式对“每个隐私事务场景”进行场景聚类处理，以将具有共性的相似的隐私事务场景进行聚类即可生成一个事务场景簇。
示意性的，可以提取若干隐私事务场景分别对应的多模态特征，然后对这些多模态特征进行场景聚类，将相似的隐私事务场景聚类到同一个事务场景簇下。
在一种可行的实施方式中，可以基于隐私事务场景的场景属性来进行场景簇划分，场景属性可以是应用人群、事务类型等等。将相似场景属性的一类隐私事务场景划分为一个事务场景簇。
进一步的，在对隐私事务场景划分至少一个事务场景簇之后，每个事务场景簇中包含若干目标隐私事务场景，然后可以获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据，以此来训练场景簇隐私处理模型。
可以理解的，多模态数据从数据种类而言，通常为多种模态种类的场景事务数据，例如通常隐私认证场景下的认证材料为多种不同模态类型的证明材料，如资金证明文件、资产证明文件、纳税明细文件等等，对这些不同模态种类的证明材料的识别会涉及到相应模态识别处理方式；可以理解的，多模态数据从数据元素类型而言，通常为多种元素类型的数据，如多模态数据中包含图像元素，多模态数据中包含文本元素。
S104：获取所述事务场景簇对应的初始场景簇隐私处理模型，基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型；
示意性的，服务平台预先针对事务场景簇中的若干目标隐私事务场景构建初始场景簇隐私处理模型，初始场景簇隐私处理模型基于图像隐私保护任务所设置以适应若干目标隐私事务场景的需求，通过获取事务场景簇下若干目标隐私事务场景分别对应的多模态数据对初始场景簇隐私处理模型进行模型训练，在满足模型训练结束条件时，得到训练好的场景簇隐私处理模型；
进一步的，所述初始场景簇隐私处理模型可以是基于卷积神经网络(Convolutional Neural Network，CNN)模型，深度神经网络(Deep Neural Network，DNN)模型、循环神经网络(Recurrent Neural Networks，RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient Boosting Decision Tree，GBDT)模型、逻辑回归(LogisticRegression，LR)模型等机器学习模型中的一种或多种的拟合创建的。
在本说明书一个或多个实施例中，其中模型结束训练条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。具体模型结束训练条件可基于实际情况确定，此处不再赘述。
可以理解的，该场景簇隐私处理模型可适用于事务场景簇下的每个目标隐私事务场景，也即可将场景簇隐私处理模型上线部署至该事务场景簇下的任一目标隐私事务场景；进一步的，若所划分的事务场景簇为多个，则可以对每个事务场景簇构建初始场景簇隐私处理模型，基于每个事务场景簇下的多模态数据对相应初始场景簇隐私处理模型进行模型训练，可以得到针对每个事务场景簇的场景簇隐私处理模型。
S106：基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理。
在本说明书的一个或多个实施例中，经训练完成后的场景簇隐私处理模型，可以包括支持隐私事务数据的多种类型的输入/输出图像数据格式(例如扫描仪、高拍仪、手机、摄像头拍摄的JPEG、BMP、PNG、TIFF、PDF格式的文件)、集群部署能力、支持自定义输出内容格式(自定义针对某种固定格式表单的模板文件，用于进行识别结果的结构化输出)、支持多种语言、支持文字的多方向识别、支持隐私事务数据的多种输入/输出文件数据格式(包括docx、xlsx、双层PDF、XML、TXT、CSV等)、、内存容量和运算速度，除此之外，还可以包括支持高并发、支持输入输出解耦、支持Docker容器安装、支持不同的计算核心(例如，支持GPU/CPU)等。
可以理解的，服务平台可将场景簇隐私处理模型上线部署至该事务场景簇下的任一目标隐私事务场景。
示意性的，服务平台可以将场景簇隐私处理模型部署至任一目标隐私事务场景所关联的至少一个客户端，以使所述客户端基于所述场景簇隐私处理模型对所述目标隐私事务场景中输入事务数据进行处理得到模型输出数据，如服务平台对目标隐私事务场景上线场景簇隐私处理模型，然后基于场景簇隐私处理模型对目标隐私事务场景中的图像事务数据进行图像脱敏，输出脱敏图像，等等。
在本说明书中，通过对隐私事务场景划分至少一个事务场景簇，获取事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据，获取针对事务场景簇分别对应的初始场景簇隐私处理模型，基于多模态数据对初始场景簇隐私处理模型进行模型训练，基于训练得到的场景簇隐私处理模型对就可以部署到若干目标隐私事务场景进行隐私事务处理。可以避免对每个隐私事务场景单独模型训练，节省了模型处理资源；以及实现了对于多事务场景下模型处理过程的优化，避免了模型部署若干目标事务场景后性能衰减现象，有效的增强了模型处理稳定性以及场景泛化能力。
请参见图3，图3是本说明书一个或多个实施例提出的一种模型处理方法的另一种实施例的流程示意图。具体的：
S202：获取每个隐私事务场景分别对应的参考多模态数据，提取所述隐私事务场景对应的所述参考多模态数据中的多模态特征；
所述参考多模态数据也即隐私事务场景中产生的隐私事务数据；
所述多模态特征可以是采用特征工程方式对参考多模态数据进行特征提取处理，可得到处理后的多模态特征；通常多模态特征是以特征向量的形式表征。
示意性的，所述参考多模态数据包括参考文本数据和参考图像数据，所述多模态特征至少包括文本特征和图像特征，可以理解为从参考文本数据中提取出的文本特征，以及从参考图像数据中提取出的图像特征。
在一种可行的实施方式中，服务平台提取隐私事务场景对应的参考多模态数据中的多模态特征，可以是：将参考文本数据和参考图像数据输入至多模态特征网络进行特征提取，得到文本特征和图像特征。
可以理解的，可以针对多模态特征提取过程训练多模态特征网络，基于训练完成的多模态特征网络来提取隐私事务场景中参考多模态数据中的多模态特征。
进一步的，所述多模态特征网络的训练过程通常可以视作一种跨模态自监督模型训练过程。
具体的，服务平台预先针对多模态特征提取创建初始多模态特征网络，然后获取至少一个参考隐私事务场景下的多模态样本数据，所述多模态样本数据包括样本文本数据以及样本图像数据；
可选的，初始多模态特征网络可以是基于机器学习模型所创建的，初始多模态特征网络可以是由若干模态数据类型对应的编码器构成，如多模态特征网络可以包括文本模态数据对应的文本编码器以及图像模态数据对应的图像编码器。通过多模态特征网络可以方便提取特征，提升模型处理的效率。
所述参考隐私事务场景可以理解为用于训练多模态特征网络的某些隐私事务场景，从这些隐私事务场景中获取所产生的多模态样本数据。通常多模态样本数据包括样本文本数据以及样本图像数据，通过样本文本数据和样本图像数据更能反馈若干隐私事务场景之间的共性，以便于后续进行场景簇划分。
进一步的，服务平台基于所述样本文本数据以及所述样本图像数据采用第一损失函数对所述初始多模态特征网络进行特征提取训练，在满足网络训练结束条件时，得到训练后的多模态特征网络；
在本说明书一个或多个实施例中，其中网络训练结束条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。具体网络训练结束条件可基于实际情况确定，此处不再赘述。
可选的，初始多模态特征网络的网络结构可以包含文本编码器以及图像模图像编码器。
可选的，(初始)多模态特征网络的输入为某参考隐私事务场景的多模态样本数据，如多模态样本数据可以是由样本文本数据和样本图像数据构成的数据对{imgi,texti}，(初始)多模态特征网络的输出为文本提取特征ftext和图像提取特征fimg。
所述第一损失函数满足以下公式：
Figure BDA0003676267220000091
其中，所述Loss A为第一损失，ftext为文本提取特征，fimg为图像提取特征。
可以理解的，第一损失函数为计算每轮训练中“文本提取特征和图像提取特征”的特征距离，如特征距离可以是欧式距离。
在一种可行的实施方式中，由于样本图像数据直接提取图像提取特征可能会存在图像背景噪声，图像背景噪声会对网络匹配过程造成影响，基于此需要去图像提取特征中与文本特征最接近特征的损失，可视作从图像提取特征中再筛选候选图像特征，取若干候选图像特征中与区域文本特征的最小损失。
可选的，为了减少图像背景噪声对匹配的影响，会使用选择性搜索算法提取若干候选框以基于候选框所处的图像候选区域进行特征提取，提取候选框所处区域的候选框特征(也即前述候选图像特征)后，只计算候选图像特征中和文本特征最接近的特征的损失；如，假设存在i个候选图像特征fimg-i，每一轮训练中分别计算候选图像特征fimg-i与文本提取特征的特征损失Loss A-i，取特征损失Loss A-i中的最小损失作为每轮训练过程的第一损失，以基于第一损失调整(初始)多模态特征网络，直至(初始)多模态特征网络收敛，也即满足网络训练结束条件。
具体的，提取隐私事务场景对应的所述参考多模态数据中的多模态特征，可以是，对于每一个隐私事务场景的输入参考多模态数据如文本和图像对，利用上述训练好的多模态特征网络，提取参考多模态数据中的多模态特征，如文本特征和图像特征；
S204：基于所述隐私事务场景对应的所述多模态特征对所述每个隐私事务场景划分至少一个事务场景簇。
示意性的，可以采用场景聚类方式对“每个隐私事务场景”进行场景聚类处理，以将具有共性的相似的隐私事务场景进行聚类即可生成一个事务场景簇。
在一种可行的实施方式中，服务平台可以对所有隐私事务场景对应的多模态特征进行特征聚类，通过特征聚类的方式得到针对各隐私事务场景的场景模态标签；
可以立即理解的，场景模态标签用于表示隐私事务场景所属的事务场景簇，场景模态标签是上述特征聚类处理的聚类结果，可理解为对隐私事务场景所划分的事务场景簇。
进一步的，服务平台基于场景模态标签对隐私事务场景划分至少一个事务场景簇。
可以理解的，场景模态标签与事务场景簇相对应，具有相同场景模态标签的若干隐私事务场景属于同一事务场景簇。
在本说明书一个或多个实施例中，所述特征聚类方式可以是采用k均值聚类算法(K-means算法)、模糊C均值算法(FCM聚类算法)、高斯混合模型算法(GMM算法)等算法中的一种或多种的拟合，具体特征聚类方式可基于实际应用场景确定，此处不作限定。
示意性的，多模态特征可包括文本提取特征和图像提取特征。在进行特征聚类时，可以是基于隐私事务场景对应的文本提取特征进行特征聚类；也可以是基于隐私事务场景对应的图像提取特征进行特征聚类；也可以是基于隐私事务场景对应的图像提取特征和文本提取特征进行特征聚类；
例如，可以采用GMM算法对文本提取特征和图像提取特征分别进行聚类，得到基于文本提取特征对隐私事务场景所划分的场景模态标签；以及基于图像提取特征对隐私事务场景所划分的场景模态标签；对于基于“图像提取特征和/或文本提取特征得到的”场景模态标签属于一类标签的隐私事务场景归为一个场景簇，最后可以得到N个事务场景簇。
示意性的，具体可以是：
服务平台基于图像提取特征进行GMM聚类：通过设定聚类的类别K，也即设定K个单高斯混合模型，模型的参数估计部分利用EM算法(最大期望算法)在图像提取特征对应的图像特征空间进行GMM模型参数估计，最后可以得到每个场景的场景图像标签(即GMM聚类的聚类结果)；
服务平台基于文本提取特征进行GMM聚类：通过设定聚类的类别K，利用EM算法在文本提取特征对应的文本特征空间进行GMM模型参数估计，最后得到每个场景的场景文本标签(即GMM聚类的聚类结果)；
服务平台进行事务场景簇整合：对于图像提取特征或者文本提取特征属于一类的隐私事务场景归为一个场景簇，最后得到N个场景簇；可以理解的，同一隐私事务场景下的图像提取特征以及文本提取特征通常属于同一事务场景簇。
又例如，可以采用K-means算法对多模态特征进行特征聚类，如下：
对多模态特征(向量)进行聚类处理，具体实施中，会预设针对会议关键词提取的聚类数x，聚类处理的目的是需要将所有多模态特征(向量)构成的数据集合经过聚类得到聚类数x指示数量的集合。
聚类处理过程中：
1、从数据集合随机选择k个多模态特征(向量)作为质心；
2、对数据集中每一个多模态特征(向量)，计算多模态特征(向量)与每一个质心的距离(如欧式距离、曼哈顿距离)，将多模态特征(向量)划分至最短距离指示的质心所属的集合中；
3、然后在基于质心计算公式对每个集合重新计算质心；
4、计算新的质心与原质心的目标距离，基于该距离确定聚类处理过程是否终止，若终止，则对类别内各个多模态特征(向量)进行聚类大小排序，通常每个集合代表一个事务场景簇，集合以场景模态标签表征，属于集合中的多模态特征对应的隐私事务场景可分配场景模态标签；若不终止，执行上述2-4步骤。
可选的，基于该距离确定聚类处理过程是否终止，可以是设置距离阈值，在目标距离小于距离阈值时，确定终止，反之则继续执行上述2-4步骤。
可选的，上述(两两特征向量的)距离可以是采用欧式距离公式、曼哈顿距离公式、余弦距离公式、相关系数距离公式等中的至少一种计算得到。
S206：获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据。
具体可参考本说明书涉及的其他实施例的方法步骤，此处不再赘述。
S208：获取所述事务场景簇对应的初始场景簇隐私处理模型，基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型；
具体可参考本说明书涉及的其他实施例的方法步骤，此处不再赘述。
S210：所述场景簇隐私处理模型包括隐私脱敏网络以及反隐私脱敏网络，确定至少一个所述目标隐私事务场景对应的客户端，将所述隐私脱敏网络发送至客户端，以使所述客户端基于所述隐私脱敏网络进行隐私脱敏处理；
S212：基于所述反隐私脱敏网络对所述目标隐私事务场景中的客户端进行反隐私脱敏处理。
所述场景簇隐私处理模型至少包括隐私脱敏网络以及反隐私脱敏网络。反隐私脱敏网络对数据的反隐私脱敏处理过程可以视作隐私脱敏网络对数据进行隐私脱敏处理的逆过程。进一步的，隐私脱敏网络对输入数据进行隐私脱敏输出脱敏数据(隐私脱敏网络的模型输出数据)；反隐私脱敏网络基于脱敏数据作为输入进行反隐私脱敏处理得到原输入数据；原输入数据与输入数据相对应。
可以理解的，通过执行本说明书的模型处理方法可以分别对每个事务场景簇训练场景簇隐私处理模型，训练完成之后可将场景簇隐私处理模型部署至其对应事务场景簇下的若干目标隐私事务场景中。
示意性的，获取场景簇隐私处理模型对应的事务场景簇，可以将场景簇隐私处理模型中的隐私脱敏网络部署至任一目标隐私事务场景所关联的至少一个客户端，以使客户端基于隐私脱敏网络对所述目标隐私事务场景中多模态事务数据进行处理得到模型输出数据，如服务平台对目标隐私事务场景上线隐私脱敏网络，然后基于隐私脱敏网络对目标隐私事务场景中的图像事务数据进行图像脱敏，输出脱敏图像，等等。
示意性的，模型部署可以是：将训练好的场景簇隐私处理模型的脱敏部分也即隐私脱敏网络下发到对应的目标隐私事务场景中去，例如对于属于事务场景簇A的场景，就往事务场景簇A相应的客户端下发该场景簇A的隐私脱敏网络。
可以理解的，在服务平台与客户端的数据交互过程中，会涉及到目标隐私事务场景中的一些涉及到隐私安全的事务数据之间的数据交互过程，为了保证隐私安全性，客户端可以将待传输至服务平台的多模态事务数据进行数据脱敏，也即将多模态事务数据输入至隐私脱敏网络进行隐私脱敏处理后，输出脱敏事务数据，然后客户端将脱敏事务数据发送至服务平台。
在一种具体的实施场景中，服务平台可以获取客户端上传的脱敏事务数据，脱敏事务数据是客户端采集目标隐私事务场景中的多模态事务数据经隐私脱敏网络进行隐私脱敏处理后得到的脱敏数据；
服务平台可以将脱敏事务数据输入至反隐私脱敏网络进行反隐私脱敏处理，输出参考多模态事务数据。可以理解的参考多模态事务数据与原始的多模态事务数据相对应。
示意性的，以多模态数据为图像数据为例，基于场景簇隐私处理模型的隐私保护流程如下：
数据采集：客户端基于目标隐私事务场景进行原始图像采集，如采集用户的生物特征图像，生物特征图像涉及到隐私安全，需要进行相应隐私脱敏。
数据加密：客户端使用隐私脱敏网络对原始图像进行脱敏加密，得到脱敏图像，也即将原始图像输入至隐私脱敏网络进行脱敏处理，输出脱敏图像；
数据上传：客户端将脱敏图像上传到云端的服务平台，由于脱敏图像已经隐私脱敏可保证数据交互过程中隐私泄露；
数据反脱敏：服务平台采用反隐私脱敏网络对脱敏图像进行反脱敏处理，输出参考原始图像；
处理结果返回：在参考原始图像基础上进行相应目标隐私事务处理，得到事务处理结果，将事务处理结果可返回到客户端。如目标隐私事务处理可以是生物特征识别，服务平台通过对参考原始图像进行生物特征识别，得到识别结果，然后将识别结果发送至客户端。
在本说明书一个或多个实施例中，通过对隐私事务场景划分至少一个事务场景簇，获取事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据，获取针对事务场景簇分别对应的初始场景簇隐私处理模型，基于多模态数据对初始场景簇隐私处理模型进行模型训练，基于训练得到的场景簇隐私处理模型对就可以部署到若干目标隐私事务场景进行隐私事务处理。可以避免对每个隐私事务场景单独模型训练，节省了模型处理资源；以及实现了对于多事务场景下模型处理过程的优化，避免了模型部署若干目标事务场景后性能衰减现象，有效的增强了模型处理稳定性以及场景泛化能力；以及，提出了一种自监督的多模态模型训练和特征提取方法，模型处理效果更好，适用事务场景范围更广。
请参见图4，图4是本说明书一个或多个实施例提出的一种模型处理方法的另一种实施例的流程示意图。具体的：
S302：对隐私事务场景划分至少一个事务场景簇，获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据；
具体可参考本说明涉及的其他实施例的方法步骤，此处不再赘述。
S304：获取所述事务场景簇对应的初始场景簇隐私处理模型。
进一步的，服务平台获取针对事务场景簇分别对应的初始场景簇隐私处理模型，服务平台可以基于多模态数据对初始场景簇隐私处理模型进行模型训练，得到针对事务场景簇的场景簇隐私处理模型；
根据一些实施例中，服务平台预先针对事务场景簇中的若干目标隐私事务场景构建初始场景簇隐私处理模型，所述初始场景簇隐私处理模型可以是机器学习模型中的一种或多种的拟合创建的。
示意性的，所述初始场景簇隐私处理模型可包括初始隐私脱敏网络以及初始反隐私脱敏网络，也即由隐私脱敏处理部分和反隐私脱敏部分组成。
示意性的，事务场景簇可以是多个，可以对将多个事务场景簇的多模态数据(如图像数据)区分开来，每个事务场景簇创建一个初始场景簇隐私处理模型进行模型训练，可以得到每个事务场景簇训练好的场景簇隐私处理模型，从而达到满足场景安全性。
S306：将所述多模态数据输入至所述初始场景簇隐私处理模型，通过所述初始场景簇隐私处理模型确定所述多模态数据对应的模态处理数据以及针对所述模态处理数据对应的模态还原数据；
可以理解的，将多模态数据输入至所述初始场景簇隐私处理模型，通过初始场景簇隐私处理模型对多模态数据进行隐私脱敏处理得到模态处理数据，以及还通过初始场景簇隐私处理模型对模态处理数据进行反隐私脱敏处理得到模态还原数据。
可以理解的，反隐私脱敏处理相当于隐私脱敏处理的逆处理过程。通过初始场景簇隐私处理模型对模态处理数据进行反隐私脱敏处理相当于：基于模态处理数据预测模型输入-模态处理数据，预测的输出数据为模态还原数据。也即模态还原数据与模态处理数据相对应。
在一种可行的实施方式中，创建的初始场景簇隐私处理模型至少包括初始隐私脱敏网络以及初始反隐私脱敏网络。
进一步的，将多模态数据输入至初始场景簇隐私处理模型，基于多模态数据采用初始隐私脱敏网络确定模态处理数据，以及基于模态处理数据采用初始反隐私脱敏网络确定模态还原数据。
可以理解的，在基于多模态数据对初始场景簇隐私处理模型进行模型训练的过程中，训练输入数据为多模态数据，训练输出数据至少为模态处理数据以及模态还原数据。
示意性的，以多模态数据为图像数据为例，将图像数据输入至初始场景簇隐私处理模型，通过初始隐私脱敏网络对图像数据进行隐私脱敏得到脱敏图像，初始反隐私脱敏网络会对脱敏图像进行反隐私脱敏处理，得到图像还原图像。
进一步的，初始场景簇隐私处理模型的模型结构：模型至少包含两个部分，第一部分是初始隐私脱敏网络E，另一部分是初始反隐私脱敏网络D；
以多模态数据为图像数据为例，输入输出：初始隐私脱敏网络E的输入为原始图像数据，初始隐私脱敏网络E的输出为脱敏图像；初始反隐私脱敏网络D的输入为脱敏图像，初始反隐私脱敏网络D的输出为重建的反脱敏原始图像，也即图像还原图像。
S308：基于所述多模态数据、所述隐私处理数据以及所述模态还原数据对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
具体的，基于每一轮模型训练过程中的：多模态数据、隐私处理数据以及模态还原数据对所述初始场景簇隐私处理模型进行模型训练，通过计算模型训练过程中的模型损失，基于模型损失调整模型网络的参数，例如，所述参数包含模型网络的权重值和阈值，直至整个初始场景簇隐私处理模型达到结束训练条件完成训练，模型网络收敛，从而得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
在一种可行的实施方式中，服务平台可以计算隐私处理损失以及隐私重建损失，基于隐私处理损失以及隐私重建损失调整模型网络的参数，如下：
具体实施中，服务平台基于多模态数据和隐私处理数据确定针对初始场景簇隐私处理模型的隐私处理损失；以及，基于隐私处理数据以及模态还原数据确定针对初始场景簇隐私处理模型的隐私重建损失；
具体实施中，服务平台基于隐私处理损失以及隐私重建损失作为模型总损失对初始场景簇隐私处理模型进行模型训练，可以得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
进一步的，模型总损失：模型总损失至少包括两个部分，第一部分是隐私保护损失，第二部分是隐私重建损失；
可选的，可以基于隐私处理损失以及隐私重建损失对所述初始场景簇隐私处理模型进行模型训练，在确定满足模型结束训练条件，得到训练后的场景簇隐私处理模型。
在本说明书一个或多个实施例中，其中模型结束训练条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。具体模型结束训练条件可基于实际情况确定，此处不再赘述。
具体可以是：
将所述场景分类损失、所述隐私处理损失输入至损失计算式中，得到模型总损失；
基于所述模型总损失对所述初始场景簇隐私处理模型进行模型训练；
所述损失计算式满足以下公式：
Figure BDA0003676267220000151
其中，Lossprivacy为所述模型总损失，I为所述多模态数据，Iprivacy为所述隐私处理数据，Ireconstruction为所述模态还原数据。
可以理解的，在模型训练过程中：对于第一部分隐私保护损失，期望隐私脱敏后的隐私处理数据和多模态数据尽量不一致；以多模态数据为图像数据为例，期望脱敏后的图和原始图像尽量不一致；因此，在第一部分隐私保护损失通过计算多模态数据和隐私处理数据的负向特征距离(如欧式距离)作为隐私保护损失，多模态数据和隐私处理数据的负向特征距离计算可以是通过计算多模态数据的特征向量和隐私处理数据的特征向量得到的。
可以理解的，在模型训练过程中：对于第二部分隐私重建损失，期望隐私反脱敏后的隐私处理数据和模态还原数据尽量一致；以多模态数据为图像数据为例，期望反脱敏后重建的图像尽量和原图一致；因此，在第二部分隐私重建损失通过计算隐私处理数据和模态还原数据的特征距离(如欧式距离)作为隐私保护损失，隐私处理数据和模态还原数据的特征距离计算可以是通过计算隐私处理数据的特征向量和模态还原数据的特征向量得到的。
在一种可行的实施方式中，针对多场景下的场景簇隐私处理模型训练：对于每一个场景簇训练隐私保护模型，为了克服每个场景簇内不同隐私事务场景带来的影响，可以额外加入场景对抗分类损失来抵抗不同场景数据的分布差异，使得训练好的模型具有良好的模型鲁棒性，优化模型训练处理过程的，从而可以有效的增强了模型上线后对于若干事务场景的模型处理稳定性以及场景泛化能力。
可选的，可以在计算模型总损失过程中引入场景(对抗)分类损失，也即第三部分损失，第三部分损失是场景对抗分类损失，通过引入场景(对抗)分类损失可实现将场景簇内不同场景的场景信息进行解藕。
具体如下：
可选的，服务平台获取针对所述事务场景簇的平均预测概率值；基于多模态数据采用所述初始场景簇隐私处理模型输出针对所述事务场景簇的场景预测概率值；
服务平台基于平均预测概率值和场景预测概率值确定针对初始场景簇隐私处理模型的场景分类损失，也即前述第三部分损失；
所述平均预测概率值属于针对场景簇的先验数据，预先基于所划分的所有事务场景簇的数量确定，比如，事务场景簇的数量为N，平均预测概率值通常可以是1/N。示意性的；也可以是基于事务场景簇的数量采用专家端服务所设置的一个先验值。
所述场景预测概率值为初始场景簇隐私处理模型基于输入数据所判断该输入数据属于模型对应事务场景簇的概率值，为模型训练过程中的一个场景簇判别数据，以识别当前的多模态数据属于当前模型的事务场景簇的概率值。
也就是说，在初始场景簇隐私处理模型的训练过程中，模型输出包括场景预测概率值、隐私处理数据和模态还原数据。在计算模型总损失会基于前述模型输出来计算，具体如下：
服务平台基于计算得到的场景分类损失、隐私处理损失以及隐私重建损失对初始场景簇隐私处理模型进行模型训练。
具体实施中，将所述场景分类损失、所述隐私处理损失以及所述隐私重建损失输入至第二损失计算式中，得到模型总损失；
基于所述模型总损失对所述初始场景簇隐私处理模型进行模型训练；
所述第二损失计算式满足以下公式：
Figure BDA0003676267220000171
其中，Lossprivacy为所述模型总损失，I为所述多模态数据，Iprivacy为所述隐私处理数据，Ireconstruction为所述模态还原数据，Ppred为所述场景预测概率值，Pavg为所述平均预测概率值。
可以理解的，上述第二损失计算式：损失函数包括三个部分，第一部分是隐私保护损失，第二部分是重建损失，第三部分是场景对抗分类损失。
可以理解的，在模型训练过程中：对于第三部分场景分类损失，实现了将场景簇内不同场景的场景信息进行解藕；在第三部分场景分类损失通过计算场景预测概率值和平均预测概率值的范数值。
S310：基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理。
具体可参考本说明涉及的其他实施例的方法步骤，此处不再赘述。
在本说明书一个或多个实施例中，通过对隐私事务场景划分至少一个事务场景簇，获取事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据，获取针对事务场景簇分别对应的初始场景簇隐私处理模型，基于多模态数据对初始场景簇隐私处理模型进行模型训练，基于训练得到的场景簇隐私处理模型对就可以部署到若干目标隐私事务场景进行隐私事务处理。可以避免对每个隐私事务场景单独模型训练，节省了模型处理资源；以及实现了对于多事务场景下模型处理过程的优化，避免了模型部署若干目标事务场景后性能衰减现象，有效的增强了模型处理稳定性以及场景泛化能力；以及，提出了一种自监督的多模态模型训练和特征提取方法，模型处理效果更好，适用事务场景范围更广；以及，基于场景簇的模型处理方法通过引入场景(对抗)分类损失，来抵抗不同场景数据的分布差异，使得训练好的模型具有良好的模型鲁棒性。
下面将结合图5，对本说明书提供的模型处理装置进行详细介绍。需要说明的是，图5所示的模型处理装置，用于执行本申请图1～图4所示实施例的方法，为了便于说明，仅示出了与本说明书相关的部分，具体技术细节未揭示的，请参照本申请图1～图4所示的实施例。
请参见图5，其示出本说明书的模型处理装置的结构示意图。该模型处理装置1可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。根据一些实施例，该模型处理装置1包括场景划分模块11、模型训练模块12和事务处理模块13，具体用于：
场景划分模块11，用于对隐私事务场景划分至少一个事务场景簇，获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据；
模型训练模块12，用于获取所述事务场景簇对应的初始场景簇隐私处理模型，基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型；
事务处理模块13，用于基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理。
可选的，如图6所示，所述场景划分模块11，包括：
特征提取单元111，用于获取每个隐私事务场景分别对应的参考多模态数据，提取所述隐私事务场景对应的所述参考多模态数据中的多模态特征；
场景划分单元112，用于基于所述隐私事务场景对应的所述多模态特征对所述每个隐私事务场景划分至少一个事务场景簇。
可选的，如图7所示，所述场景划分单元112，包括：
标签子单元1121，用于对所有所述隐私事务场景对应的所述多模态特征进行特征聚类，得到针对各所述隐私事务场景的场景模态标签；
场景子单元1122，用于基于所述场景模态标签对所述每个隐私事务场景划分至少一个事务场景簇。
可选的，所述参考多模态数据包括参考文本数据和参考图像数据，所述多模态特征至少包括文本特征和图像特征，
所述特征提取单元111：具体用于：
将所述参考文本数据和参考图像数据输入至多模态特征网络进行特征提取，得到文本特征和图像特征。
可选的，所述特征提取单元111：具体用于：
获取至少一个参考隐私事务场景下的多模态样本数据，所述多模态样本数据包括样本文本数据以及样本图像数据；
基于所述样本文本数据以及所述样本图像数据对所述初始多模态特征网络进行特征提取训练，得到训练后的多模态特征网络；
所述第一损失函数满足以下公式：
Figure BDA0003676267220000181
其中，所述Loss A为第一损失，ftext为文本提取特征，fimg为图像提取特征。
可选的，如图8所示，所述模型训练模块12，包括：
数据处理单元121，用于将所述多模态数据输入至所述初始场景簇隐私处理模型，通过所述初始场景簇隐私处理模型确定所述多模态数据对应的模态处理数据以及针对所述模态处理数据对应的模态还原数据；
模型训练单元122，用于基于所述多模态数据、所述隐私处理数据以及所述模态还原数据对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
可选的，所述初始场景簇隐私处理模型包括初始隐私脱敏网络以及初始反隐私脱敏网络，所述数据处理单元121，具体用于：
将所述多模态数据输入至所述初始场景簇隐私处理模型，基于所述多模态数据采用所述初始隐私脱敏网络确定模态处理数据，以及基于所述模态处理数据采用所述初始反隐私脱敏网络确定模态还原数据。
可选的，如图9所示，所述模型训练单元122，包括：
损失计算子单元1221，用于基于所述多模态数据和所述隐私处理数据确定针对所述初始场景簇隐私处理模型的隐私处理损失；
所述损失计算子单元1221，用于基于所述隐私处理数据以及所述模态还原数据确定针对所述初始场景簇隐私处理模型的隐私重建损失；
模型训练子单元1222，用于基于所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
可选的，所述损失计算子单元1221，用于：
获取针对所述事务场景簇的平均预测概率值；基于所述多模态数据采用所述初始场景簇隐私处理模型输出针对所述事务场景簇的场景预测概率值；
基于所述平均预测概率值和所述场景预测概率值确定针对所述初始场景簇隐私处理模型的场景分类损失；
所述模型训练子单元1222，具体用于：基于所述场景分类损失、所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练。
可选的，所述模型训练子单元1222，具体用于：将所述场景分类损失、所述隐私处理损失以及所述隐私重建损失输入至第二损失计算式中，得到模型总损失；
基于所述模型总损失对所述初始场景簇隐私处理模型进行模型训练；
所述第二损失计算式满足以下公式：
Figure BDA0003676267220000201
其中，Lossprivacy为所述模型总损失，I为所述多模态数据，Iprivacy为所述隐私处理数据，Ireconstruction为所述模态还原数据，Ppred为所述场景预测概率值，Pavg为所述平均预测概率值。
可选的，所述场景簇隐私处理模型包括隐私脱敏网络以及反隐私脱敏网络，
如图10所示，所述事务处理模块13，包括：
网络部署单元131，用于确定至少一个所述目标隐私事务场景对应的客户端，将所述隐私脱敏网络发送至客户端，以使所述客户端基于所述隐私脱敏网络进行隐私脱敏处理；
事务处理单元132，用于基于所述反隐私脱敏网络对所述目标隐私事务场景中的客户端进行反隐私脱敏处理。
可选的，所述事务处理单元132，具体用于：
获取客户端上传的脱敏事务数据，所述脱敏事务数据为所述目标隐私事务场景中的多模态事务数据经所述隐私脱敏网络进行隐私脱敏处理后得到的脱敏数据；
将所述脱敏事务数据输入至反隐私脱敏网络进行反隐私脱敏处理，输出参考多模态事务数据。
需要说明的是，上述实施例提供的模型处理装置在执行模型处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型处理装置与模型处理方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本说明书序号仅仅为了描述，不代表实施例的优劣。
在本说明书一个或多个实施例中，通过对隐私事务场景划分至少一个事务场景簇，获取事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据，获取针对事务场景簇分别对应的初始场景簇隐私处理模型，基于多模态数据对初始场景簇隐私处理模型进行模型训练，基于训练得到的场景簇隐私处理模型对就可以部署到若干目标隐私事务场景进行隐私事务处理。可以避免对每个隐私事务场景单独模型训练，节省了模型处理资源；以及实现了对于多事务场景下模型处理过程的优化，避免了模型部署若干目标事务场景后性能衰减现象，有效的增强了模型处理稳定性以及场景泛化能力；以及，提出了一种自监督的多模态模型训练和特征提取方法，模型处理效果更好，适用事务场景范围更广；以及，基于场景簇的模型处理方法通过引入场景(对抗)分类损失，来抵抗不同场景数据的分布差异，使得训练好的模型具有良好的模型鲁棒性。
本说明书还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1～图4所示实施例的所述模型处理方法，具体执行过程可以参见图1～图4所示实施例的具体说明，在此不进行赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1～图4所示实施例的所述模型处理方法，具体执行过程可以参见图1～图4所示实施例的具体说明，在此不进行赘述。
请参见图11，为本申请实施例提供了一种电子设备的结构示意图。如图11所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行服务器1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(DigitalSignal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中心处理器(Central Processing Unit，CPU)、图像处理器(GraphicsProcessing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及应用程序。
在图11所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的应用程序，并具体执行以下操作：
对隐私事务场景划分至少一个事务场景簇，获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据；
获取所述事务场景簇对应的初始场景簇隐私处理模型，基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型；
基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理。
在一个实施例中，所述处理器1001在执行所述对隐私事务场景划分至少一个事务场景簇时，具体执行以下步骤：
获取每个隐私事务场景分别对应的参考多模态数据，提取所述隐私事务场景对应的所述参考多模态数据中的多模态特征；
基于所述隐私事务场景对应的所述多模态特征对所述每个隐私事务场景划分至少一个事务场景簇。
在一个实施例中，所述处理器1001在执行所述基于所述隐私事务场景对应的所述多模态特征对所述每个隐私事务场景划分至少一个事务场景簇时，具体执行以下步骤：
对所有所述隐私事务场景对应的所述多模态特征进行特征聚类，得到针对各所述隐私事务场景的场景模态标签；
基于所述场景模态标签对所述每个隐私事务场景划分至少一个事务场景簇。
在一个实施例中，所述参考多模态数据包括参考文本数据和参考图像数据，所述多模态特征至少包括文本特征和图像特征，所述处理器1001在执行所述提取所述隐私事务场景对应的所述参考多模态数据中的多模态特征时，具体执行以下步骤：
将所述参考文本数据和参考图像数据输入至多模态特征网络进行特征提取，得到文本特征和图像特征。
在一个实施例中，所述处理器1001在执行所述模型处理方法还执行以下步骤：
获取至少一个参考隐私事务场景下的多模态样本数据，所述多模态样本数据包括样本文本数据以及样本图像数据；
基于所述样本文本数据以及所述样本图像数据对所述初始多模态特征网络进行特征提取训练，得到训练后的多模态特征网络；
所述第一损失函数满足以下公式：
Figure BDA0003676267220000231
其中，所述Loss A为第一损失，ftext为文本提取特征，fimg为图像提取特征。
在一个实施例中，所述处理器1001在执行所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型时，具体执行以下步骤：
将所述多模态数据输入至所述初始场景簇隐私处理模型，通过所述初始场景簇隐私处理模型确定所述多模态数据对应的模态处理数据以及针对所述模态处理数据对应的模态还原数据；
基于所述多模态数据、所述隐私处理数据以及所述模态还原数据对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
在一个实施例中，所述初始场景簇隐私处理模型包括初始隐私脱敏网络以及初始反隐私脱敏网络，所述处理器1001在执行所述将所述多模态数据输入至所述初始场景簇隐私处理模型，通过所述初始场景簇隐私处理模型确定所述多模态数据对应的模态处理数据以及针对所述模态处理数据对应的模态还原数据时，具体执行以下步骤：
将所述多模态数据输入至所述初始场景簇隐私处理模型，基于所述多模态数据采用所述初始隐私脱敏网络确定模态处理数据，以及基于所述模态处理数据采用所述初始反隐私脱敏网络确定模态还原数据。
在一个实施例中，所述处理器1001在执行所述基于所述多模态数据、所述隐私处理数据以及所述模态还原数据对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型时，具体执行以下步骤：
基于所述多模态数据和所述隐私处理数据确定针对所述初始场景簇隐私处理模型的隐私处理损失；
基于所述隐私处理数据以及所述模态还原数据确定针对所述初始场景簇隐私处理模型的隐私重建损失；
基于所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
在一个实施例中，所述处理器1001在执行所述模型处理方法时，还执行以下步骤：
获取针对所述事务场景簇的平均预测概率值；基于所述多模态数据采用所述初始场景簇隐私处理模型输出针对所述事务场景簇的场景预测概率值；
基于所述平均预测概率值和所述场景预测概率值确定针对所述初始场景簇隐私处理模型的场景分类损失；
所述基于所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练时，具体执行以下步骤：
基于所述场景分类损失、所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练。
在一个实施例中，所述处理器1001在执行所述基于所述场景分类损失、所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练时，具体执行以下步骤：
将所述场景分类损失、所述隐私处理损失以及所述隐私重建损失输入至第二损失计算式中，得到模型总损失；
基于所述模型总损失对所述初始场景簇隐私处理模型进行模型训练；
所述第二损失计算式满足以下公式：
Figure BDA0003676267220000241
其中，Lossprivacy为所述模型总损失，I为所述多模态数据，Iprivacy为所述隐私处理数据，Ireconstruction为所述模态还原数据，Ppred为所述场景预测概率值，Pavg为所述平均预测概率值。
在一个实施例中，所述场景簇隐私处理模型包括隐私脱敏网络以及反隐私脱敏网络，所述处理器1001在执行所述基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理时，具体执行以下步骤：
确定至少一个所述目标隐私事务场景对应的客户端，将所述隐私脱敏网络发送至客户端，以使所述客户端基于所述隐私脱敏网络进行隐私脱敏处理；
基于所述反隐私脱敏网络对所述目标隐私事务场景中的客户端进行反隐私脱敏处理。
在一个实施例中，所述处理器1001在执行所述基于所述反隐私脱敏网络对所述目标隐私事务场景中的客户端进行反隐私脱敏处理时，具体执行以下步骤：
获取客户端上传的脱敏事务数据，所述脱敏事务数据为所述目标隐私事务场景中的多模态事务数据经所述隐私脱敏网络进行隐私脱敏处理后得到的脱敏数据；
将所述脱敏事务数据输入至反隐私脱敏网络进行反隐私脱敏处理，输出参考多模态事务数据。
在本说明书一个或多个实施例中，通过对隐私事务场景划分至少一个事务场景簇，获取事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据，获取针对事务场景簇分别对应的初始场景簇隐私处理模型，基于多模态数据对初始场景簇隐私处理模型进行模型训练，基于训练得到的场景簇隐私处理模型对就可以部署到若干目标隐私事务场景进行隐私事务处理。可以避免对每个隐私事务场景单独模型训练，节省了模型处理资源；以及实现了对于多事务场景下模型处理过程的优化，避免了模型部署若干目标事务场景后性能衰减现象，有效的增强了模型处理稳定性以及场景泛化能力；以及，提出了一种自监督的多模态模型训练和特征提取方法，模型处理效果更好，适用事务场景范围更广；以及，基于场景簇的模型处理方法通过引入场景(对抗)分类损失，来抵抗不同场景数据的分布差异，使得训练好的模型具有良好的模型鲁棒性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (16)

1.一种模型处理方法，所述方法包括：
对隐私事务场景划分至少一个事务场景簇，获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据；
获取所述事务场景簇对应的初始场景簇隐私处理模型，基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型；
基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理。
2.根据权利要求1所述的方法，所述对隐私事务场景划分至少一个事务场景簇，包括：
获取每个隐私事务场景分别对应的参考多模态数据，提取所述隐私事务场景对应的所述参考多模态数据中的多模态特征；
基于所述隐私事务场景对应的所述多模态特征对所述每个隐私事务场景划分至少一个事务场景簇。
3.根据权利要求2所述的方法，所述基于所述隐私事务场景对应的所述多模态特征对所述每个隐私事务场景划分至少一个事务场景簇，包括：
对所有所述隐私事务场景对应的所述多模态特征进行特征聚类，得到针对各所述隐私事务场景的场景模态标签；
基于所述场景模态标签对所述每个隐私事务场景划分至少一个事务场景簇。
4.根据权利要求2所述的方法，所述参考多模态数据包括参考文本数据和参考图像数据，所述多模态特征至少包括文本特征和图像特征，
所述提取所述隐私事务场景对应的所述参考多模态数据中的多模态特征，包括：
将所述参考文本数据和参考图像数据输入至多模态特征网络进行特征提取，得到文本特征和图像特征。
5.根据权利要求4所述的方法，所述方法还包括：
获取至少一个参考隐私事务场景下的多模态样本数据，所述多模态样本数据包括样本文本数据以及样本图像数据；
基于所述样本文本数据以及所述样本图像数据对所述初始多模态特征网络进行特征提取训练，得到训练后的多模态特征网络；
所述第一损失函数满足以下公式：
Figure FDA0003676267210000021
其中，所述Loss A为第一损失，ftext为文本提取特征，fimg为图像提取特征。
6.根据权利要求1所述的方法，所述基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型，包括：
将所述多模态数据输入至所述初始场景簇隐私处理模型，通过所述初始场景簇隐私处理模型确定所述多模态数据对应的模态处理数据以及针对所述模态处理数据对应的模态还原数据；
基于所述多模态数据、所述隐私处理数据以及所述模态还原数据对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
7.根据权利要求6所述的方法，所述初始场景簇隐私处理模型包括初始隐私脱敏网络以及初始反隐私脱敏网络，
所述将所述多模态数据输入至所述初始场景簇隐私处理模型，通过所述初始场景簇隐私处理模型确定所述多模态数据对应的模态处理数据以及针对所述模态处理数据对应的模态还原数据，包括：
将所述多模态数据输入至所述初始场景簇隐私处理模型，基于所述多模态数据采用所述初始隐私脱敏网络确定模态处理数据，以及基于所述模态处理数据采用所述初始反隐私脱敏网络确定模态还原数据。
8.根据权利要求6所述的方法，所述基于所述多模态数据、所述隐私处理数据以及所述模态还原数据对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型，包括：
基于所述多模态数据和所述隐私处理数据确定针对所述初始场景簇隐私处理模型的隐私处理损失；
基于所述隐私处理数据以及所述模态还原数据确定针对所述初始场景簇隐私处理模型的隐私重建损失；
基于所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练，得到训练后的针对所述事务场景簇的场景簇隐私处理模型。
9.根据权利要求6所述的方法，所述方法还包括：
获取针对所述事务场景簇的平均预测概率值；基于所述多模态数据采用所述初始场景簇隐私处理模型输出针对所述事务场景簇的场景预测概率值；
基于所述平均预测概率值和所述场景预测概率值确定针对所述初始场景簇隐私处理模型的场景分类损失；
所述基于所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练，包括
基于所述场景分类损失、所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练。
10.根据权利要求9所述的方法，所述基于所述场景分类损失、所述隐私处理损失以及所述隐私重建损失对所述初始场景簇隐私处理模型进行模型训练，包括：
将所述场景分类损失、所述隐私处理损失以及所述隐私重建损失输入至第二损失计算式中，得到模型总损失；
基于所述模型总损失对所述初始场景簇隐私处理模型进行模型训练；
所述第二损失计算式满足以下公式：
Figure FDA0003676267210000031
其中，Lossprivacy为所述模型总损失，I为所述多模态数据，Iprivacy为所述隐私处理数据，Ireconstruction为所述模态还原数据，Ppred为所述场景预测概率值，Pavg为所述平均预测概率值。
11.根据权利要求1所述的方法，所述场景簇隐私处理模型包括隐私脱敏网络以及反隐私脱敏网络，
所述基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理，包括：
确定至少一个所述目标隐私事务场景对应的客户端，将所述隐私脱敏网络发送至客户端，以使所述客户端基于所述隐私脱敏网络进行隐私脱敏处理；
基于所述反隐私脱敏网络对所述目标隐私事务场景中的客户端进行反隐私脱敏处理。
12.根据权利要求11所述的方法，所述基于所述反隐私脱敏网络对所述目标隐私事务场景中的客户端进行反隐私脱敏处理，包括：
获取客户端上传的脱敏事务数据，所述脱敏事务数据为所述目标隐私事务场景中的多模态事务数据经所述隐私脱敏网络进行隐私脱敏处理后得到的脱敏数据；
将所述脱敏事务数据输入至反隐私脱敏网络进行反隐私脱敏处理，输出参考多模态事务数据。
13.一种模型处理装置，所述装置包括：
场景划分模块，用于对隐私事务场景划分至少一个事务场景簇，获取所述事务场景簇中至少一个目标隐私事务场景分别对应的多模态数据；
模型训练模块，用于获取所述事务场景簇对应的初始场景簇隐私处理模型，基于所述多模态数据对所述初始场景簇隐私处理模型进行模型训练，得到针对所述事务场景簇的场景簇隐私处理模型；
事务处理模块，用于基于所述场景簇隐私处理模型对至少一个所述目标隐私事务场景进行隐私事务处理。
14.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～12任意一项的方法步骤。
15.一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如权利要求1～12任意一项的方法步骤。
16.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～12任意一项的方法步骤。
CN202210620198.8A 2022-06-02 2022-06-02 一种模型处理方法、装置、存储介质及电子设备 Pending CN115221537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210620198.8A CN115221537A (zh) 2022-06-02 2022-06-02 一种模型处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210620198.8A CN115221537A (zh) 2022-06-02 2022-06-02 一种模型处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115221537A true CN115221537A (zh) 2022-10-21

Family

ID=83608177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210620198.8A Pending CN115221537A (zh) 2022-06-02 2022-06-02 一种模型处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115221537A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808643A (zh) * 2024-02-29 2024-04-02 四川师范大学 一种基于汉语言的教学管理***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808643A (zh) * 2024-02-29 2024-04-02 四川师范大学 一种基于汉语言的教学管理***
CN117808643B (zh) * 2024-02-29 2024-05-28 四川师范大学 一种基于汉语言的教学管理***

Similar Documents

Publication Publication Date Title
EP3370188B1 (en) Facial verification method, device, and computer storage medium
KR102437103B1 (ko) 뉴럴 네트워크 기반의 축산물 유통 시스템 및 방법, 축산물 유통 메타버스 플랫폼
US11822698B2 (en) Privacy transformations in data analytics
CN110728188A (zh) 图像处理方法、装置、***和存储介质
CN109934142A (zh) 用于生成视频的特征向量的方法和装置
CN115563600A (zh) 数据审核方法和装置、电子设备及存储介质
CN115221537A (zh) 一种模型处理方法、装置、存储介质及电子设备
CN108491813A (zh) 用于更新信息的方法和装置
CN114328679A (zh) 图像处理方法、装置、计算机设备以及存储介质
CN117131179A (zh) 一种对话处理方法、装置、存储介质及电子设备
CN116633804A (zh) 网络流量检测模型的建模方法、防护方法及相关设备
CN116580208A (zh) 图像处理方法、图像模型训练方法、装置、介质及设备
CN111639537A (zh) 人脸动作单元识别方法、装置、电子设备及存储介质
CN116798129A (zh) 一种活体检测方法、装置、存储介质及电子设备
CN115794374A (zh) 用于处理车辆数据的边缘处理***及边缘处理方法
CN112862073B (zh) 一种压缩数据分析方法、装置、存储介质及终端
CN116246127A (zh) 图像模型训练方法、图像处理方法、装置、介质及设备
KR102060110B1 (ko) 컨텐츠에 포함되는 객체를 분류하는 방법, 장치 및 컴퓨터 프로그램
CN115841437A (zh) 一种图像增强的方法、装置及设备
CN115082873A (zh) 基于通路融合的图像识别方法、装置及存储介质
CN112597379A (zh) 数据识别方法、装置和存储介质及电子装置
CN114004265A (zh) 一种模型训练方法及节点设备
CN115088007A (zh) 风险评估方法、装置、电子设备及存储介质
CN114220111B (zh) 基于云平台的图文批量识别方法及***
CN116843911A (zh) 图像处理方法、图像模型训练方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination