CN116341689A - 机器学习模型的训练方法、装置、电子设备及存储介质 - Google Patents
机器学习模型的训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116341689A CN116341689A CN202310312859.5A CN202310312859A CN116341689A CN 116341689 A CN116341689 A CN 116341689A CN 202310312859 A CN202310312859 A CN 202310312859A CN 116341689 A CN116341689 A CN 116341689A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- variable length
- length coding
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000010801 machine learning Methods 0.000 title claims abstract description 44
- 238000007906 compression Methods 0.000 claims abstract description 46
- 230000006835 compression Effects 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000011282 treatment Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000013144 data compression Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种机器学习模型的训练方法、装置、电子设备及存储介质。该方法应用于至少一个客户端，服务器与多个客户端进行多次迭代的分布式模型训练，在任一次迭代过程中，该方法包括：接收服务器发送的全局模型，基于客户端中的本地样本数据对全局模型进行训练，得到模型更新数据；对模型更新数据进行稀疏化处理，得到模型更新稀疏化数据；对模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据；将模型更新变长编码数据上传至服务器，以使服务器根据模型更新变长编码数据对全局模型进行更新。上述技术方案，通过对数据进行变长编码压缩，使数据分配的比特数更为合理，降低了数据压缩误差，从而提升模型训练精度。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种机器学习模型的训练方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的发展，人们设计了各种先进的机器学习模型来进行训练从而提供各种服务与应用，以满足生活需求。
联邦学习是一种新的机器学习模型训练的模式，该模式可以使得多个客户端利用本地数据协作训练一个机器学习模型，并且无需将本地数据传输至其他地方。联邦学习的训练架构中包含一个服务器和多个参与训练的客户端，该架构的训练过程包含多个迭代，每个迭代中服务器与客户端之间通过传输压缩的训练的机器学习模型或者模型更新数据来进行模型更新。
在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：现有技术方案中，存在压缩误差大和模型训练精度低的问题。
发明内容
本发明提供了一种机器学习模型的训练方法、装置、电子设备及存储介质，以降低压缩误差，提升模型训练精度。
根据本发明的一方面，提供了一种机器学习模型的训练方法，应用于至少一个客户端，服务器与多个客户端进行多次迭代的分布式模型训练，在任一次迭代过程中，所述方法包括：
接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据；
对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据；
对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据；
将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
根据本发明的另一方面，提供了一种机器学习模型的训练装置，应用于至少一个客户端，服务器与多个客户端进行多次迭代的分布式模型训练，在任一次迭代过程中，所述装置包括：
模型更新数据确定模块，用于接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据；
更新数据稀疏化模块，用于对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据；
变长编码压缩压缩模块，用于对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据；
变长编码数据上传模块，用于将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的机器学习模型的训练方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的机器学习模型的训练方法。
本发明实施例的技术方案，通过接收服务器发送的全局模型，进而基于客户端中的本地样本数据对全局模型进行训练，得到模型更新数据，进而对模型更新数据进行稀疏化处理，得到模型更新稀疏化数据，实现了模型更新数据的初步压缩，进而对初步压缩的模型更新稀疏化数据进行变长编码压缩，使数据分配的比特数更为合理，降低了数据压缩误差，进而将模型更新变长编码数据上传至服务器，以使服务器根据模型更新变长编码数据对全局模型进行更新，得到精度更高的目标全局模型。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种联邦学习模型的训练方法的流程图；
图2是根据本发明实施例一提供的一种模型单轮全局迭代训练的流程图；
图3是根据本发明实施例二提供的一种机器学习模型的训练方法的流程图；
图4是根据本发明实施例三提供的一种机器学习模型的训练方法的流程图；
图5是根据本发明实施例三提供的一种数据包的结构示意图；
图6是根据本发明实施例四提供的一种机器学习模型的训练装置的结构示意图；
图7是实现本发明实施例的机器学习模型的训练方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在介绍具体实施方式之前，先对本申请的应用场景介绍。具体而言，机器学习模型的训练***包括一个服务器和多个参与训练的客户端。其中，服务器可以为位于云端的参数服务器；客户端可以为具备一定存储和计算能力的终端设备；服务器与各客户端之间可以通过无线方式进行通信，例如无线方式可以为移动通信、WiFi等。
实施例一
图1为本发明实施例一提供的一种机器学习模型的训练方法的流程图，本实施例可适用于联邦学习模型训练的情况，该方法可以由机器学习模型的训练装置来执行，该机器学习模型的训练装置可以采用硬件和/或软件的形式实现，该机器学习模型的训练装置可配置于一个或多个客户端中。如图1所示，该方法包括：
S110、接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据。
本实施例中，在机器学习模型训练过程中，客户端首先从服务器下载全局模型，并使用下载的全局模型对客户端本地的模型进行初始化，即将下载的全局模型作为本地待训练的初始模型，进而通过客户端中的本地样本数据对全局模型进行训练，从而得到该客户端的模型更新数据。
S120、对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据。
本实施例中，模型更新稀疏化数据是指经稀疏化处理过的模型更新数据，换而言之，模型更新稀疏化数据为在不丢失必要信息的情况下，模型更新数据缩减数据量后的结果。
具体的，可以通过随机稀疏法、TOP-K稀疏法、模型剪枝等方法对模型更新数据进行稀疏化处理，从而得到模型更新稀疏化数据。
S130、对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据。
本实施例中，变长编码压缩是指能够进行变长的编码压缩。具体而言，对于数值大的模型更新数据，变长编码压缩可以分配更多的比特数进行量化，而对于数值小的模型更新数据，变长编码压缩则使用较少的比特数进行量化。与等长编码压缩方式相比，变长编码压缩可以节约比特，减少流量浪费，能够更充分地利用给定的流量，可以在实现相同压缩率的情况下降低压缩造成的误差，从而提升模型训练的精度。
S140、将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
其中，目标全局模型是指当前迭代次数训练得到的全局模型。
示例性的，图2为本实施例提供的一种模型单轮全局迭代训练的流程图。在模型训练过程中，客户端从服务器下载全局模型，进而客户端在本地对全局模型进行多轮训练，客户端训练结束之后，客户端对模型更新数据进行稀疏化、参数分组等处理，进而对处理后的数据进行变长编码压缩，得到模型更新变长编码数据，进而将模型更新变长编码数据上传至服务器，进而服务器对多个客户端上传的模型更新变长编码数据进行聚合，使用聚合后的数据对服务器中全局模型进行更新，得到目标全局模型。
在上述各实施例的基础上，在对模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据之后，还包括：对模型更新变长编码数据进行缩放，得到缩放后的模型更新变长编码数据；相应的，将模型更新变长编码数据上传至服务器，包括：将缩放后的模型更新变长编码数据上传至服务器。
需要说明的是，在模型训练过程中，模型更新数据压缩前后的数据之间的误差需是有界的，以保证模型训练过程中不会由于压缩误差导致训练的模型完全偏差，无法实现收敛。为解决无法收敛的问题，本实施例通过对模型更新变长编码数据除以预设数值的常数，实现数据缩放，以保证压缩误差是有界的，其中，预设数值的常数可以根据训练实验确定或调整，在此不做限定。
本发明实施例的技术方案，通过接收服务器发送的全局模型，进而基于客户端中的本地样本数据对全局模型进行训练，得到模型更新数据，进而对模型更新数据进行稀疏化处理，得到模型更新稀疏化数据，实现了模型更新数据的初步压缩，进而对初步压缩的模型更新稀疏化数据进行变长编码压缩，使数据分配的比特数更为合理，降低了数据压缩误差，进而将模型更新变长编码数据上传至服务器，以使服务器根据模型更新变长编码数据对全局模型进行更新，得到精度更高的目标全局模型。
实施例二
图3为本发明实施例二提供的一种机器学习模型的训练方法的流程图，本实施例的方法与上述实施例中提供的机器学习模型的训练方法中各个可选方案可以结合。本实施例提供的机器学习模型的训练方法进行了进一步优化。可选的，所述对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据，包括：确定所述模型更新数据的绝对值；基于所述模型更新数据的绝对值，对所述模型更新数据进行排序，得到所述模型更新数据的排序结果；从所述模型更新数据结果的排序结果中获取预设个数的元素，并将所述预设个数的元素确定为模型更新稀疏化数据。
如图3所示，该方法包括：
S210、接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据。
S220、确定所述模型更新数据的绝对值。
S230、基于所述模型更新数据的绝对值，对所述模型更新数据进行排序，得到所述模型更新数据的排序结果。
S240、从所述模型更新数据结果的排序结果中获取预设个数的元素，并将所述预设个数的元素确定为模型更新稀疏化数据。
S250、对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据。
S260、将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
示例性的，在第t轮全局迭代的模型训练过程中，客户端可以从服务器下载最新的全局模型wt，并使用下载最新的全局模型来初始化本地的模型
进行在客户端本地进行多轮批量梯度下降算法的更新，其累积的梯度数据为：
其中，
表示在客户端i的本地上进行了j轮训练的模型，/>
表示在本地训练过程中随机选择出来的本地样本数据，Fi()表示客户端i的本地损失函数，E表示本地训练轮次。
进一步的，模型更新数据可以由如下公式计算得到：
其中，
表示模型更新数据，/>
表示累积的梯度数据，/>
表示客户端本地未上传的历史数据。
在得到模型更新数据之后，本实施例可以对模型更新数据中的d个数据按绝对值大小从大到小进行排序，进而将排序结果中前k个数据作为模型更新稀疏化数据，并将剩余的d-k个数据保存在客户端本地，确定模型更新稀疏化数据的公式如下：
其中，
表示模型更新稀疏化数据，/>
表示模型更新数据中的第l个数据，
表示取模型更新数据中绝对值排序结果中前k个数据。
在一些可选实施例中，可以通过TOP-K算法对模型更新数据进行稀疏化处理，从而实现模型更新数据的初步压缩，得到模型更新稀疏化数据。
本发明实施例的技术方案，通过确定模型更新数据的绝对值，进而基于模型更新数据的绝对值，对模型更新数据进行排序，得到模型更新数据的排序结果，进而从模型更新数据结果的排序结果中获取预设个数的元素，并将预设个数的元素确定为模型更新稀疏化数据，实现了模型更新数据的初步压缩。
实施例三
图4为本发明实施例三提供的一种机器学习模型的训练方法的流程图，本实施例的方法与上述实施例中提供的机器学习模型的训练方法中各个可选方案可以结合。本实施例提供的机器学习模型的训练方法进行了进一步优化。可选的，所述对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据，包括：将所述模型更新稀疏化数据划分至多个数据包中，并确定各所述数据包分配的参数数量；基于各所述数据包分配的参数数量确定目标编码长度；基于所述目标编码长度对所述模型更新稀疏化数据进行压缩，得到模型更新变长编码数据。
如图4所示，该方法包括：
S310、接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据。
S320、对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据。
S330、将所述模型更新稀疏化数据划分至多个数据包中，并确定各所述数据包分配的参数数量。
S340、基于各所述数据包分配的参数数量确定目标编码长度。
S350、基于所述目标编码长度对所述模型更新稀疏化数据进行压缩，得到模型更新变长编码数据。
S360、将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
本实施例中，模型更新数据可以以数据包的形式在无线网络中进行传输。具体而言，可以将模型更新稀疏化数据划分至多个数据包中，并且设置每个数据包的编码长度相同，各数据包的大小可以为固定值。进而可以根据各数据包中的模型更新稀疏化数据确定各数据包分配的参数数量，进而可以根据数据包分配的参数数量确定目标编码长度，进而根据目标编码长度对模型更新变长编码数据进行压缩，使数据分配的比特数更为合理，以降低了数据压缩误差；进一步的，将模型更新变长编码数据上传至服务器，以使服务器根据模型更新变长编码数据对全局模型进行更新，得到精度更高的目标全局模型。
在上述各实施例的基础上，可选的，将模型更新稀疏化数据划分至多个数据包中，并确定各数据包分配的参数数量，包括：将模型更新稀疏化数据划分至多个数据包中，并将各数据包对应的模型更新稀疏化数据输入优化目标函数，并对优化目标函数进行最小化处理，得到各数据包分配的参数数量；其中，数据包包括数据包包头和数据包负载，数据包包头包括包头信息、数据包位置标识规格信息、质心标识规格信息和质心分布信息；数据包负载包括各参数的位置标识和质心标识。
其中，优化目标函数可以为用户预先设置或理论推导得到的优化目标函数。
示例性的，优化目标函数可以为：
其中，X＝Pr-1+Pr；Pr表示第r个数据包分配的参数数量，Pr-1表示第r-1个数据包分配的参数数量；d表示数据维度，α表示递减指数，B为常数，Zr＝P1+P2+…+Pr；Q(Pr,yr)表示将维度为Pr的向量使用无偏量化算法量化到yr比特后的量化误差，yr表示第r个数据包对应的目标编码长度。
可以理解的是，优化目标函数为单变量的优化问题，当Q(Pr,yr)为递增的凸函数时，该优化问题为强凸损失函数的优化问题，进而实现求解。通过不断迭代优化各个数据包的分配的参数数量，从而得到最优的各数据包分配的参数数量，从而实现在给定的通信流量限制下设置最优的变长编码压缩，实现模型性能最优化。
本实施例中，优化目标函数的确定过程包括：
首先分析假设一个存在Pr个元素的向量
其中每个元素都被量化到yr个比特，并且将量化后的元素除以常数B进行缩放得到新的向量/>
则压缩误差为：
此外，为了能对压缩误差的形式进行分析，可以使用幂律分布对模型更新数据进行了拟合，每个模型更新数据表示如下：
|U{l}|≤φlα；
其中，U{l}表示向量U中绝对值第l大的元素，α表示递减指数且α<0，φ表示常数。
在利用幂律分布对模型更新数据进行拟合后，机器学习模型的压缩误差为：
其中，γi的形式如下：
其中，Zr＝P1+P2+…+Pr。
每个客户端在上传数据前需要先分配第r个数据包中的参数数量Pr，从而能最小化对应的压缩误差，本地优化问题表示如下：
s.t.Pr(s+yr)+H≤b
由于该本地优化问题中存在着R+1个变量，无法直接进行性质的分析或求解，因此需要设计对应的优化方式。需要说明的是，γi中存在着两项内容，其中一项由稀疏化误差决定，另一项由多个分布不同的量化误差决定的，因此，本实施例可以对应地将这个优化问题划分为两个子问题进行考虑。
首先对于k值的确定，在给定的R个数据包的通信流量下，可以假设每个参数都压缩到1比特，那么可以计算到传输的参数数量的最大值kmax，假设每个参数都不进行压缩，用32比特表示，则可以计算到传输的参数数量的最小值kmin，本实施例可以在这个范围内去遍历不同的参数数量，从而获取上传的最优的参数数量。
在遍历参数数量的过程中，每给定一个k，需要考虑如何分配这些参数数量到R个数据包中，即确定P1,P2,…,PR的值，对于这样的优化求解，本实施例可以使用序列最小优化(Sequential minimal optimization,SMO)算法，该算法可以用于解决支持向量机中多变量的优化问题的。具体而言，SMO算法可以将一个多变量的优化问题分解为多个单变量优化问题从而进行快速地求解，本实施例中，可以每次都只考虑相邻的两个数据包的参数数量Pr-1和Pr，其余的R-2个数据包则暂时先固定下来，此时，优化目标函数为：
在上述各实施例的基础上，可选的，基于各数据包分配的参数数量确定目标编码长度，包括：将各数据包分配的参数数量输入至预先配置的编码长度确定模型，得到目标编码长度。
可选的，预先配置的编码长度确定模型为：
其中，yr表示第r个数据包的目标编码长度，b表示数据包规格参数，H表示数据包的包头信息，Pr表示第r个数据包分配的参数数量，s表示模型更新参数的位置标识。
示例性的，图5是本实施例提供的一种数据包的结构示意图。如图5所示，数据包包括数据包包头和数据包负载，s表示数据包位置标识规格信息，y表示质心标识规格信息，质心分布是指质心分布信息；数据包负载包括各参数的位置标识和质心标识。其中，PID表示数据包中参数的位置标识，服务器可以根据PID判断参数位于模型更新的具***置；CID表示数据包中参数的质心标识，服务器可以根据CID判断参数的值属于哪一质心。可以理解的是，传输上述格式的数据包，服务器在接收到数据时，对数据包中的信息进行解码，从而可以得到正确的模型更新数据。
本发明实施例的技术方案，通过将模型更新稀疏化数据划分至多个数据包中，并确定各数据包分配的参数数量，进而基于各数据包分配的参数数量确定目标编码长度，基于目标编码长度对模型更新稀疏化数据进行压缩，使数据分配的比特数更为合理，降低了数据压缩误差，进而将模型更新变长编码数据上传至服务器，以使服务器根据模型更新变长编码数据对全局模型进行更新，得到精度更高的目标全局模型。
实施例四
图6为本发明实施例四提供的一种机器学习模型的训练装置的结构示意图。机器学习模型的训练装置应用于至少一个客户端，服务器与多个客户端进行多次迭代的分布式模型训练，在任一次迭代过程中，如图6所示，该装置包括：
模型更新数据确定模块410，用于接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据；
更新数据稀疏化模块420，用于对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据；
变长编码压缩压缩模块430，用于对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据；
变长编码数据上传模块440，用于将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
本发明实施例的技术方案，通过接收服务器发送的全局模型，进而基于客户端中的本地样本数据对全局模型进行训练，得到模型更新数据，进而对模型更新数据进行稀疏化处理，得到模型更新稀疏化数据，实现了模型更新数据的初步压缩，进而对模型更新稀疏化数据进行变长编码压缩，使数据分配的比特数更为合理，降低了数据压缩误差，进而将模型更新变长编码数据上传至服务器，以使服务器根据模型更新变长编码数据对全局模型进行更新，得到精度更高的目标全局模型。
在一些可选的实施方式中，更新数据稀疏化模块420，还用于：
确定所述模型更新数据的绝对值；
基于所述模型更新数据的绝对值，对所述模型更新数据进行排序，得到所述模型更新数据的排序结果；
从所述模型更新数据结果的排序结果中获取预设个数的元素，并将所述预设个数的元素确定为模型更新稀疏化数据。
在一些可选的实施方式中，变长编码压缩压缩模块430，包括：
分配参数数量确定单元，用于将所述模型更新稀疏化数据划分至多个数据包中，并确定各所述数据包分配的参数数量；
目标编码长度确定单元，用于基于各所述数据包分配的参数数量确定目标编码长度；
变长编码压缩单元，用于基于所述目标编码长度对所述模型更新稀疏化数据进行压缩，得到模型更新变长编码数据。
在一些可选的实施方式中，分配参数数量确定单元，还用于：
将所述模型更新稀疏化数据划分至多个数据包中，并将各所述数据包对应的模型更新稀疏化数据输入优化目标函数，并对所述优化目标函数进行最小化处理，得到各数据包分配的参数数量；
其中，所述数据包包括数据包包头和数据包负载，所述数据包包头包括包头信息、数据包位置标识规格信息、质心标识规格信息和质心分布信息；所述数据包负载包括各参数的位置标识和质心标识。
在一些可选的实施方式中，目标编码长度确定单元，还用于：
将所述各所述数据包分配的参数数量输入至预先配置的编码长度确定模型，得到目标编码长度。
在一些可选的实施方式中，所述预先配置的编码长度确定模型为：
其中，yr表示第r个数据包的目标编码长度，b表示数据包规格参数，H表示数据包的包头信息，Pr表示第r个数据包分配的参数数量，s表示模型更新参数的位置标识。
在一些可选的实施方式中，机器学习模型的训练装置，还包括：
数据缩放模块，用于对所述模型更新变长编码数据进行缩放，得到缩放后的模型更新变长编码数据；
相应的，变长编码数据上传模块440，还用于：
将缩放后的模型更新变长编码数据上传至所述服务器。
本发明实施例所提供的机器学习模型的训练装置可执行本发明任意实施例所提供的机器学习模型的训练方法，具备执行方法相应的功能模块和有益效果。
实施例五
图7示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。I/O接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如机器学习模型的训练方法，该方法包括：
接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据；
对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据；
对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据；
将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
在一些实施例中，机器学习模型的训练方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的机器学习模型的训练方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行机器学习模型的训练方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种机器学习模型的训练方法，其特征在于，应用于至少一个客户端，服务器与多个客户端进行多次迭代的分布式模型训练，在任一次迭代过程中，所述方法包括：
接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据；
对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据；
对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据；
将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据，包括：
确定所述模型更新数据的绝对值；
基于所述模型更新数据的绝对值，对所述模型更新数据进行排序，得到所述模型更新数据的排序结果；
从所述模型更新数据结果的排序结果中获取预设个数的元素，并将所述预设个数的元素确定为模型更新稀疏化数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据，包括：
将所述模型更新稀疏化数据划分至多个数据包中，并确定各所述数据包分配的参数数量；
基于各所述数据包分配的参数数量确定目标编码长度；
基于所述目标编码长度对所述模型更新稀疏化数据进行压缩，得到模型更新变长编码数据。
4.根据权利要求3所述的方法，其特征在于，所述将所述模型更新稀疏化数据划分至多个数据包中，并确定各所述数据包分配的参数数量，包括：
将所述模型更新稀疏化数据划分至多个数据包中，并将各所述数据包对应的模型更新稀疏化数据输入优化目标函数，并对所述优化目标函数进行最小化处理，得到各数据包分配的参数数量；
其中，所述数据包包括数据包包头和数据包负载，所述数据包包头包括包头信息、数据包位置标识规格信息、质心标识规格信息和质心分布信息；所述数据包负载包括各参数的位置标识和质心标识。
5.根据权利要求3所述的方法，其特征在于，所述基于各所述数据包分配的参数数量确定目标编码长度，包括：
将所述各所述数据包分配的参数数量输入至预先配置的编码长度确定模型，得到目标编码长度。
6.根据权利要求5所述的方法，其特征在于，所述预先配置的编码长度确定模型为：
其中，yr表示第r个数据包的目标编码长度，b表示数据包规格参数，H表示数据包的包头信息，Pr表示第r个数据包分配的参数数量，s表示模型更新参数的位置标识。
7.根据权利要求1所述的方法，其特征在于，在所述对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据之后，还包括：
对所述模型更新变长编码数据进行缩放，得到缩放后的模型更新变长编码数据；
相应的，所述将所述模型更新变长编码数据上传至所述服务器，包括：
将缩放后的模型更新变长编码数据上传至所述服务器。
8.一种机器学习模型的训练装置，其特征在于，应用于至少一个客户端，服务器与多个客户端进行多次迭代的分布式模型训练，在任一次迭代过程中，所述装置包括：
模型更新数据确定模块，用于接收服务器发送的全局模型，基于所述客户端中的本地样本数据对所述全局模型进行训练，得到模型更新数据；
更新数据稀疏化模块，用于对所述模型更新数据进行稀疏化处理，得到模型更新稀疏化数据；
变长编码压缩压缩模块，用于对所述模型更新稀疏化数据进行变长编码压缩，得到模型更新变长编码数据；
变长编码数据上传模块，用于将所述模型更新变长编码数据上传至所述服务器，以使所述服务器根据所述模型更新变长编码数据对所述全局模型进行更新，得到目标全局模型。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的机器学习模型的训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的机器学习模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310312859.5A CN116341689B (zh) | 2023-03-22 | 2023-03-22 | 机器学习模型的训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310312859.5A CN116341689B (zh) | 2023-03-22 | 2023-03-22 | 机器学习模型的训练方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116341689A true CN116341689A (zh) | 2023-06-27 |
| CN116341689B CN116341689B (zh) | 2024-02-06 |
Family
ID=86894467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310312859.5A Active CN116341689B (zh) | 2023-03-22 | 2023-03-22 | 机器学习模型的训练方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116341689B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111713110A (zh) * | 2017-12-08 | 2020-09-25 | 松下电器（美国）知识产权公司 | 图像编码设备、图像解码设备、图像编码方法以及图像解码方法 |
| CN111901829A (zh) * | 2020-07-10 | 2020-11-06 | 江苏智能交通及智能驾驶研究院 | 基于压缩感知和量化编码的无线联邦学习方法 |
| US20210065002A1 (en) * | 2018-05-17 | 2021-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concepts for distributed learning of neural networks and/or transmission of parameterization updates therefor |
| CN113178191A (zh) * | 2021-04-25 | 2021-07-27 | 平安科技（深圳）有限公司 | 基于联邦学习的语音表征模型训练方法、装置、设备及介质 |
| CN113222179A (zh) * | 2021-03-18 | 2021-08-06 | 北京邮电大学 | 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 |
| CN113259333A (zh) * | 2021-04-29 | 2021-08-13 | 深圳大学 | 联邦学习数据压缩方法、***、终端、服务器及存储介质 |
| CN114422606A (zh) * | 2022-03-15 | 2022-04-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 联邦学习的通信开销压缩方法、装置、设备及介质 |
| CN114861790A (zh) * | 2022-04-29 | 2022-08-05 | 深圳大学 | 联邦学习压缩通信的优化方法、***及装置 |
| US20220383198A1 (en) * | 2022-02-17 | 2022-12-01 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for asynchronous federated learning, method for predicting business service, apparatus, and system |
| WO2022269469A1 (en) * | 2021-06-22 | 2022-12-29 | Nokia Technologies Oy | Method, apparatus and computer program product for federated learning for non independent and non identically distributed data |
| CN115564062A (zh) * | 2022-09-26 | 2023-01-03 | 南京理工大学 | 一种基于模型剪枝和传输压缩优化的联邦学习***及方法 |
| CN115829027A (zh) * | 2022-10-31 | 2023-03-21 | 广东工业大学 | 一种基于对比学习的联邦学习稀疏训练方法及*** |
-
2023
- 2023-03-22 CN CN202310312859.5A patent/CN116341689B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111713110A (zh) * | 2017-12-08 | 2020-09-25 | 松下电器（美国）知识产权公司 | 图像编码设备、图像解码设备、图像编码方法以及图像解码方法 |
| US20210065002A1 (en) * | 2018-05-17 | 2021-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concepts for distributed learning of neural networks and/or transmission of parameterization updates therefor |
| CN111901829A (zh) * | 2020-07-10 | 2020-11-06 | 江苏智能交通及智能驾驶研究院 | 基于压缩感知和量化编码的无线联邦学习方法 |
| CN113222179A (zh) * | 2021-03-18 | 2021-08-06 | 北京邮电大学 | 一种基于模型稀疏化与权重量化的联邦学习模型压缩方法 |
| CN113178191A (zh) * | 2021-04-25 | 2021-07-27 | 平安科技（深圳）有限公司 | 基于联邦学习的语音表征模型训练方法、装置、设备及介质 |
| CN113259333A (zh) * | 2021-04-29 | 2021-08-13 | 深圳大学 | 联邦学习数据压缩方法、***、终端、服务器及存储介质 |
| WO2022269469A1 (en) * | 2021-06-22 | 2022-12-29 | Nokia Technologies Oy | Method, apparatus and computer program product for federated learning for non independent and non identically distributed data |
| US20220383198A1 (en) * | 2022-02-17 | 2022-12-01 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for asynchronous federated learning, method for predicting business service, apparatus, and system |
| CN114422606A (zh) * | 2022-03-15 | 2022-04-29 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 联邦学习的通信开销压缩方法、装置、设备及介质 |
| CN114861790A (zh) * | 2022-04-29 | 2022-08-05 | 深圳大学 | 联邦学习压缩通信的优化方法、***及装置 |
| CN115564062A (zh) * | 2022-09-26 | 2023-01-03 | 南京理工大学 | 一种基于模型剪枝和传输压缩优化的联邦学习***及方法 |
| CN115829027A (zh) * | 2022-10-31 | 2023-03-21 | 广东工业大学 | 一种基于对比学习的联邦学习稀疏训练方法及*** |
Non-Patent Citations (4)
| Title |
|---|
| ANICHUR RAHMAN 等: "On the ICN-IoT with federated learning integration of communication: Concepts, security-privacy issues, applications, and future perspectives", 《FUTURE GENERATION COMPUTER SYSTEMS》, vol. 138, pages 61 - 88 * |
| LAIZHONG CUI 等: "A Fast Blockchain-Based Federated Learning Framework With Compressed Communications", 《IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS》, vol. 40, no. 12, pages 3358 - 3372, XP011928238, DOI: 10.1109/JSAC.2022.3213345 * |
| 潘世成 等: "基于分布式计算框架的大数据机器学习分析", 《电子设计工程》, vol. 28, no. 11, pages 79 - 83 * |
| 黄涛: "基于跨层设计的边缘网络通信性能优化", 《中国博士学位论文全文数据库 信息科技辑》, vol. 2021, no. 12, pages 136 - 19 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116341689B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119745B (zh) | 深度学习模型的压缩方法、装置、计算机设备及存储介质 | |
| US20190044535A1 (en) | Systems and methods for compressing parameters of learned parameter systems | |
| CN113436620B (zh) | 语音识别模型的训练方法、语音识别方法、装置、介质及设备 | |
| CN110874625A (zh) | 一种深度神经网络量化方法及装置 | |
| CN114500339B (zh) | 一种节点带宽监测方法、装置、电子设备及存储介质 | |
| CN115567589B (zh) | Json数据的压缩传输方法、装置、设备及存储介质 | |
| CN114418086B (zh) | 压缩神经网络模型的方法、装置 | |
| CN112488060A (zh) | 目标检测方法、装置、设备、介质和程序产品 | |
| CN115496970A (zh) | 图像任务模型的训练方法、图像识别方法以及相关装置 | |
| CN117971487A (zh) | 一种高性能算子生成方法、装置、设备及存储介质 | |
| CN116341689B (zh) | 机器学习模型的训练方法、装置、电子设备及存储介质 | |
| CN112560936A (zh) | 模型并行训练方法、装置、设备、存储介质和程序产品 | |
| CN110046670B (zh) | 特征向量降维方法和装置 | |
| CN113159318B (zh) | 一种神经网络的量化方法、装置、电子设备及存储介质 | |
| CN114662607B (zh) | 基于人工智能的数据标注方法、装置、设备以及存储介质 | |
| CN114065913A (zh) | 模型量化方法、装置及终端设备 | |
| CN104765790B (zh) | 一种数据查询的方法和装置 | |
| EP3683733A1 (en) | A method, an apparatus and a computer program product for neural networks | |
| CN116702861B (zh) | 深度学习模型的压缩方法、训练方法、处理方法和装置 | |
| CN117708071B (zh) | 基于大数据的煤矿设备运行参数的处理方法及装置 | |
| CN113963433B (zh) | 运动搜索方法、装置、电子设备及存储介质 | |
| CN116153389B (zh) | 蛋白质语言模型的量化方法、装置、设备和存储介质 | |
| CN114640357B (zh) | 数据编码方法、设备及存储介质 | |
| CN116611495B (zh) | 深度学习模型的压缩方法、训练方法、处理方法及装置 | |
| CN117827710B (zh) | 基于ai芯片的dma带宽确定方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |