CN113159331A - 一种网络化机器学习***的自适应稀疏度量化方法 - Google Patents

一种网络化机器学习***的自适应稀疏度量化方法 Download PDF

Info

Publication number
CN113159331A
CN113159331A CN202110564356.8A CN202110564356A CN113159331A CN 113159331 A CN113159331 A CN 113159331A CN 202110564356 A CN202110564356 A CN 202110564356A CN 113159331 A CN113159331 A CN 113159331A
Authority
CN
China
Prior art keywords
sparsity
agent
machine learning
learning system
communication information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110564356.8A
Other languages
English (en)
Other versions
CN113159331B (zh
Inventor
衣鹏
洪奕光
雷金龙
李莉
陈杰
梁舒
李修贤
马晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110564356.8A priority Critical patent/CN113159331B/zh
Publication of CN113159331A publication Critical patent/CN113159331A/zh
Application granted granted Critical
Publication of CN113159331B publication Critical patent/CN113159331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络化机器学习***的自适应稀疏度量化方法，应用于网络化机器学习***的智能体，其包括：在当前时间步，某个智能体与目标智能体交换通信信息过程中，采用随机稀疏器对通信信息稀疏化；该智能体计算上一时间步其通信信息与目标智能体的通信信息之间的差异，并采用与该差异负相关的稀疏度作为当前时间步所述随机稀疏器所采用的稀疏度。对随机稀疏器所采用的稀疏度进行自适应调节，可以在确保通信质量的同时，尽量降低通信成本。

Description

一种网络化机器学习***的自适应稀疏度量化方法
技术领域
本发明涉及计算机技术领域，具体涉及一种网络化机器学习***的自适应稀疏度量化方法。
背景技术
近年来，随着机器学习中数据的***式增长，单个计算机的存储容量已很难满足要求，且提高单机计算性能的方法成本太高，网络化***机器学习被越来越多地应用。网络化***包含多个具有感知、计算和通信功能的智能体，网络结构如附图1所示，图中圆点代表智能体，直线代表通信链路，该网络没有中心节点。每个智能体只存储部分数据，它们通过局部计算并将计算结果与各自的邻居通信，训练机器学习的模型。网络化***机器学习仅依赖于智能体的局部数据、局部计算和局部通信，该方法因其自主性、鲁棒性和可扩展性比传统的集中式方法更为合理高效。
但是，网络化***机器学习的性能常常会受到通信的影响。在实际应用中，智能体通信模块的带宽和耗电量常常是有限制的，因此智能体通信时发送的数据量也受到限制，这就需要设计高效的通信机制，在使用尽量少的通信成本的情况下，使网络化***机器学习拥有不错的性能表现。
目前，网络化***机器学习中的通信高效机制主要有固定量化和随机稀疏两种方法，固定量化就是引入量化器，将通信信息中的元素量化成固定点，降低通信信息的精度，达到降低通信成本的目的；随机稀疏方法是将通信信息中较小的元素稀疏为0，只传输主要信息，忽略次要信息，从而减少通信成本。
但以上方法都是开环的，要根据具体问题调节参数，费时费力，不具有普适性。我们希望开发一种具有自主调节能力的高效通信机制。
发明内容
本发明的目的是根据上述现有技术的不足之处，提供一种网络化机器学习***的自适应稀疏度量化方法，其通过采用自适应稀疏度量化方法，实现了降低网络化***机器学习中的通信成本的目的。
本发明目的实现由以下技术方案完成：
一种网络化机器学习***的自适应稀疏度量化方法，应用于网络化机器学习***的智能体，在当前时间步，某个智能体与目标智能体交换通信信息过程中，采用随机稀疏器对通信信息进行稀疏化；该智能体计算上一时间步其通信信息与目标智能体的通信信息之间的差异，并采用与该差异负相关的稀疏度作为当前时间步所述随机稀疏器所采用的稀疏度。
本发明的进一步改进在于：所述智能体确定当前时间步的稀疏度sij(t+1)的表达式为：
Figure BDA0003080188290000021
其中：a,b为常数，xi(t)为上一时间步所述智能体的通信信息；xj(t)为上一时间步目标智能体的通信信息；||xi(t)-xj(t)||2表示所述智能体与目标智能体的通信信息的差值的2范数，用于衡量两者的差异。
本发明的进一步改进在于：当前时间步的稀疏度sij(t+1)的计算结果大于1时，令稀疏度sij(t+1)等于为1-Δ，其中Δ的取值范围为0.01≤Δ≤0.1。
本发明的进一步改进在于：参数a的大小与网络化机器学习***的收敛速度负相关。
本发明的进一步改进在于：参数a以及b的取值范围均为(0,1]。
本发明的进一步改进在于：网络化机器学习***运行的算法为QDGD算法。
本发明的进一步改进在于：所述通信信息包括梯度向量。
本发明的优点是：对随机稀疏器所采用的稀疏度进行自适应调节，可以在确保通信质量的同时，尽量降低通信成本，还可以使用更少的通信成本达到更快的收敛速度。
附图说明
图1为网络化机器学习***中智能体之间的网络结构示意图；
图2为自适应动态量化仿真过程中优化精度随迭代次数的变化曲线；
图3为自适应动态量化仿真过程中优化精度随通信成本的变化曲线。
具体实施方式
以下结合附图通过实施例对本发明的特征及其它相关特征作进一步详细说明，以便于同行业技术人员的理解：
实施例：本发明的实施例包括一种网络化机器学习***的自适应稀疏度量化方法，应用于网络化机器学习***的智能体。如图1所示，网络化机器学习***包括多个智能体，图1中每个点表示一个智能体，每条边表示一个通信链路，每条边连接的两个智能体可以相互之间进行通信。智能体为计算机、传感器、无人机等具有计算和通信能力的实体。在网络化机器学习***中按照预定间隔(时间步)，相邻的(通过通信链路连接的)智能体之间交换通信信息。在一些具体实施例中，通信信息包括机器学习训练过程中的梯度向量、梯度矩阵等信息。
在交换通信信息的过程中，接收通信信息的智能体被称为目标智能体。在当前时间步，某个智能体与目标智能体交换通信信息过程中，采用随机稀疏器对通信信息进行稀疏化。
随机稀疏器Q(·)为一种将通信信息x＝[x1,…,xd]T无偏稀疏化的计算方法。每一个数据xi有pi的概率稀疏为0，有1-pi的概率被保留为xi/(1-pi)，即P(xi＝0)＝pi,P(xi＝xi/(1-pi))＝1-pi。稀疏化后数据信息的期望
Figure BDA0003080188290000032
且有有界的方差，即
Figure BDA0003080188290000033
概率pi的计算方法为：
输入：
Figure BDA0003080188290000034
|x1|＞|x2|＞…＞|xd|；稀疏度0<s<1。
初始化：
Figure BDA0003080188290000035
Figure BDA0003080188290000031
本实施例中，对随机稀疏器所采用的稀疏度(概率pi)进行自适应调节，以便在确保通信质量的同时，尽量降低通信成本，并提高***的性能。稀疏度的调节方式为：发起交换的智能体计算上一时间步其通信信息与目标智能体的通信信息之间的差异，并采用与该差异负相关的稀疏度作为当前时间步随机稀疏器所采用的稀疏度。
上述调节过程的原理为：若上一时间步发起交换的智能体i和目标智能体j的通信信息接近，表示本时间步二者可采用更大稀疏度，使得智能体i发出的通信信息较上一时间步更加稀疏，以降低通信成本。反之，若差异较大，则减小智能体i的稀疏度，保留更多的信息。采用这种方式，使得智能体与各相邻的智能体在交换通信信息的过程中采用各自的稀疏度，从而实现稀疏度的自适应量化。
在一个具体实施例中，发起交换的智能体确定当前时间步的稀疏度sij(t+1)的表达式为：
Figure BDA0003080188290000041
其中：a,b为常数，xi(t)为上一时间步发起交换的智能体的通信信息；xj(t)为上一时间步目标智能体的通信信息；||xi(t)-xj(t)||2表示发起交换的智能体与目标智能体的通信信息的差值的2范数，用于衡量两者的差异。
此外，当前时间步的稀疏度sij(t+1)的计算结果大于1时，令稀疏度sij(t+1)等于为1-Δ，其中Δ的取值范围为0.01≤Δ≤0.1。
上述计算过程中，参数a的大小与网络化机器学习***的收敛速度负相关。参数b不变时，a越小，收敛越快，a越大，收敛越慢。参数b是通信信息差异的缩放比例。参数a以及b的取值范围均为(0,1]。
如图1至3所示，在一个具体实施例中网络化机器学习***的运行的算法为QDGD算法。我们以该算法为例，将本实施例的自适应稀疏度量化方法与固定稀疏度的方法作对比。该算法中，用xi(t)表示发起交换的智能体i在t时刻的通信信息，zi(t)＝Q(xi(t))表示xi(t)通过随机稀疏器处理后的值，成为量化值，
Figure BDA0003080188290000046
表示智能体i的相邻的集合。QDGD算法的迭代过程为：
Figure BDA0003080188290000042
其中ε,α表示步长，混合权重
Figure BDA0003080188290000043
我们使用的网络拓扑为完全图，即每个智能体的连通度为n-1，智能体个数n＝4，数据集为理想数据集，数据维数是30，自适应动态量化中稀疏度计算公式为
Figure BDA0003080188290000044
将其与固定稀疏度s＝0,0.4,0.6,0.8作对比，步长α＝ε＝0.02/t0.25。实验总共跑10轮，每轮迭代10000次，收敛结果是10轮的平均值，结果如图2所示。
图2、3中纵坐标为优化精度
Figure BDA0003080188290000045
图2为优化精度随时间的收敛曲线，图3是优化精度随通信成本的变化曲线，这里通信成本的计算方式是所有智能体通信的非零元素的个数的平均值，可用如下公式表示：
Figure BDA0003080188290000051
其中Φ(zij(t))表示智能体i向智能体j通信时发送的梯度向量中非零元素的个数。
从图2和图3,可以看到，在本实验采用的步长条件下，自适应动态量化方法可以使用更少的通信成本达到更快的收敛速度。
以上的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种网络化机器学习***的自适应稀疏度量化方法，应用于网络化机器学习***的智能体，其特征在于：在当前时间步，某个智能体与目标智能体交换通信信息过程中，采用随机稀疏器对通信信息稀疏化；该智能体计算上一时间步其通信信息与目标智能体的通信信息之间的差异，并采用与该差异负相关的稀疏度作为当前时间步所述随机稀疏器所采用的稀疏度。
2.根据权利要求1所述的一种网络化机器学习***的自适应稀疏度量化方法，其特征在于：所述智能体确定当前时间步的稀疏度sij(t+1)的表达式为：
Figure FDA0003080188280000011
其中：a,b为常数，xi(t)为上一时间步所述智能体的通信信息；xj(t)为上一时间步目标智能体的通信信息；||xi(t)-xj(t)||2表示所述智能体与目标智能体的通信信息的差值的2范数，用于衡量两者的差异。
3.根据权利要求2所述的一种网络化机器学习***的自适应稀疏度量化方法，其特征在于：当前时间步的稀疏度sij(t+1)的计算结果大于1时，令稀疏度sij(t+1)等于为1-Δ，其中Δ的取值范围为0.01≤Δ≤0.1。
4.根据权利要求2所述的一种网络化机器学习***的自适应稀疏度量化方法，其特征在于：参数a的大小与网络化机器学习***的收敛速度负相关。
5.根据权利要求2所述的一种网络化机器学习***的自适应稀疏度量化方法，其特征在于：参数a以及b的取值范围均为(0,1]。
6.根据权利要求1所述的一种网络化机器学习***的自适应稀疏度量化方法，其特征在于：网络化机器学习***运行的算法为QDGD算法。
7.根据权利要求1所述的一种网络化机器学习***的自适应稀疏度量化方法，其特征在于：所述通信信息包括梯度向量。
CN202110564356.8A 2021-05-24 2021-05-24 一种网络化机器学习***的自适应稀疏度量化方法 Active CN113159331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110564356.8A CN113159331B (zh) 2021-05-24 2021-05-24 一种网络化机器学习***的自适应稀疏度量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110564356.8A CN113159331B (zh) 2021-05-24 2021-05-24 一种网络化机器学习***的自适应稀疏度量化方法

Publications (2)

Publication Number Publication Date
CN113159331A true CN113159331A (zh) 2021-07-23
CN113159331B CN113159331B (zh) 2023-06-30

Family

ID=76877264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110564356.8A Active CN113159331B (zh) 2021-05-24 2021-05-24 一种网络化机器学习***的自适应稀疏度量化方法

Country Status (1)

Country Link
CN (1) CN113159331B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022246625A1 (zh) * 2021-05-24 2022-12-01 同济大学 一种网络化机器学习***的自适应通信方法
WO2024078096A1 (zh) * 2022-10-11 2024-04-18 华为技术有限公司 针对网络流问题的处理方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104396A (zh) * 2011-03-15 2011-06-22 清华大学深圳研究生院 一种基于cs理论的脉冲超宽带通信***
CN103886625A (zh) * 2014-01-09 2014-06-25 北京工业大学 一种基于压缩感知的点云数据稀疏表示方法
CN106301383A (zh) * 2016-08-25 2017-01-04 东北大学 一种基于压缩感知的信号处理方法
CN107083957A (zh) * 2017-05-25 2017-08-22 电子科技大学 钻井液随钻信号的泵冲干扰消除方法及***
CN108037481A (zh) * 2017-12-01 2018-05-15 天津大学 鲁棒性可分级的稀疏阵列频率和doa估计方法及装置
CN109919877A (zh) * 2019-03-05 2019-06-21 太原师范学院 一种基于压缩感知的实用型图像恢复***及方法
CN109951438A (zh) * 2019-01-15 2019-06-28 中国科学院信息工程研究所 一种分布式深度学习的通信优化方法及***
CN110782011A (zh) * 2019-10-21 2020-02-11 辽宁石油化工大学 一种基于强化学习的网络化多智能体***分布式优化控制方法
CN111368104A (zh) * 2018-12-26 2020-07-03 阿里巴巴集团控股有限公司 信息处理方法、装置及设备
US20200285892A1 (en) * 2017-04-04 2020-09-10 Hailo Technologies Ltd. Structured Weight Based Sparsity In An Artificial Neural Network
CN111862256A (zh) * 2020-07-17 2020-10-30 中国科学院光电技术研究所 一种在压缩感知图像重建中小波稀疏基优化方法
CN112087235A (zh) * 2020-09-22 2020-12-15 中国科学院声学研究所 基于伪逆感知字典的稀疏度自适应doa估计方法及***
CN112444830A (zh) * 2020-11-10 2021-03-05 中国科学院微小卫星创新研究院 基于奇异值分解的压缩感知gnss信号捕获方法
CN112583829A (zh) * 2020-12-14 2021-03-30 上海英方软件股份有限公司 一种自适配多级端到端传输行情信息流的方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102104396A (zh) * 2011-03-15 2011-06-22 清华大学深圳研究生院 一种基于cs理论的脉冲超宽带通信***
CN103886625A (zh) * 2014-01-09 2014-06-25 北京工业大学 一种基于压缩感知的点云数据稀疏表示方法
CN106301383A (zh) * 2016-08-25 2017-01-04 东北大学 一种基于压缩感知的信号处理方法
US20200285892A1 (en) * 2017-04-04 2020-09-10 Hailo Technologies Ltd. Structured Weight Based Sparsity In An Artificial Neural Network
CN107083957A (zh) * 2017-05-25 2017-08-22 电子科技大学 钻井液随钻信号的泵冲干扰消除方法及***
CN108037481A (zh) * 2017-12-01 2018-05-15 天津大学 鲁棒性可分级的稀疏阵列频率和doa估计方法及装置
CN111368104A (zh) * 2018-12-26 2020-07-03 阿里巴巴集团控股有限公司 信息处理方法、装置及设备
CN109951438A (zh) * 2019-01-15 2019-06-28 中国科学院信息工程研究所 一种分布式深度学习的通信优化方法及***
CN109919877A (zh) * 2019-03-05 2019-06-21 太原师范学院 一种基于压缩感知的实用型图像恢复***及方法
CN110782011A (zh) * 2019-10-21 2020-02-11 辽宁石油化工大学 一种基于强化学习的网络化多智能体***分布式优化控制方法
CN111862256A (zh) * 2020-07-17 2020-10-30 中国科学院光电技术研究所 一种在压缩感知图像重建中小波稀疏基优化方法
CN112087235A (zh) * 2020-09-22 2020-12-15 中国科学院声学研究所 基于伪逆感知字典的稀疏度自适应doa估计方法及***
CN112444830A (zh) * 2020-11-10 2021-03-05 中国科学院微小卫星创新研究院 基于奇异值分解的压缩感知gnss信号捕获方法
CN112583829A (zh) * 2020-12-14 2021-03-30 上海英方软件股份有限公司 一种自适配多级端到端传输行情信息流的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMIRHOSSEIN REISIZADEH,ARYAN MOKHTARI,HAMED HASSANI，AND ET AL: "《An Exact Quantized Decentralized Gradient Descent Algorithm》", 《 IEEE TRANSACTIONS ON SIGNAL PROCESSING (》 *
AMIRHOSSEIN REISIZADEH,ARYAN MOKHTARI,HAMED HASSANI，AND ET AL: "《An Exact Quantized Decentralized Gradient Descent Algorithm》", 《 IEEE TRANSACTIONS ON SIGNAL PROCESSING (》, 2 August 2019 (2019-08-02) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022246625A1 (zh) * 2021-05-24 2022-12-01 同济大学 一种网络化机器学习***的自适应通信方法
WO2024078096A1 (zh) * 2022-10-11 2024-04-18 华为技术有限公司 针对网络流问题的处理方法和装置

Also Published As

Publication number Publication date
CN113159331B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN113159331A (zh) 一种网络化机器学习***的自适应稀疏度量化方法
Dai et al. Hyper-sphere quantization: Communication-efficient sgd for federated learning
CN112099345B (zh) 一种基于输入磁滞的模糊跟踪控制方法、***及介质
Castiglia et al. Multi-level local SGD: Distributed SGD for heterogeneous hierarchical networks
CN110300417B (zh) 无人机通信网络的能量效率优化方法和装置
Tavassolipour et al. Learning of Gaussian processes in distributed and communication limited systems
CN112884146B (zh) 一种训练基于数据量化与硬件加速的模型的方法及***
CN116644804B (zh) 分布式训练***、神经网络模型训练方法、设备和介质
CN111142386A (zh) 一种基于非均匀量化的不确定多智能体***一致性控制方法
CN102651676B (zh) 预编码矩阵的确定方法及装置
CN110992432A (zh) 基于深度神经网络最小方差梯度量化压缩及图像处理方法
CN111010222B (zh) 一种基于深度学习的大规模mimo下行用户调度方法
CN116156563A (zh) 基于数字孪生的异构任务与资源端边协同调度方法
Xu et al. Low-bit quantization of recurrent neural network language models using alternating direction methods of multipliers
CN113300890B (zh) 一种网络化机器学习***的自适应通信方法
Castiglia et al. Multi-level local sgd for heterogeneous hierarchical networks
CN113132482B (zh) 一种基于强化学习的分布式消息***参数自适应优化方法
WO2021244203A1 (zh) 参数优化的方法、电子设备和存储介质
Van Gestel et al. Automatic relevance determination for Least Squares Support Vector Machines classifiers.
CN112416577A (zh) 一种适用于区块链工作量证明的协作式智能计算分流方法
WO2023080292A1 (ko) 딥러닝 가속장치를 위한 적응적 파라미터 생성 장치 및 방법
CN113986812B (zh) 基于chnn的光片上网络映射方法及装置
WO2023123275A1 (zh) 确定分布式训练算法框架配置方法、装置及***
CN115510593B (zh) 一种基于lstm的mr阻尼器逆向映射模型计算方法
US20220343162A1 (en) Method for structure learning and model compression for deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant