CN117391187A - 基于动态层次化掩码的神经网络有损传输优化方法及*** - Google Patents
基于动态层次化掩码的神经网络有损传输优化方法及*** Download PDFInfo
- Publication number
- CN117391187A CN117391187A CN202311416736.2A CN202311416736A CN117391187A CN 117391187 A CN117391187 A CN 117391187A CN 202311416736 A CN202311416736 A CN 202311416736A CN 117391187 A CN117391187 A CN 117391187A
- Authority
- CN
- China
- Prior art keywords
- sub
- neural network
- neural networks
- mask
- layering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 233
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000005540 biological transmission Effects 0.000 title claims abstract description 32
- 238000005457 optimization Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000000873 masking effect Effects 0.000 claims description 25
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 3
- 230000006854 communication Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/043—Distributed expert systems; Blackboards
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于动态层次化掩码的神经网络有损传输优化方法及***，该方法包括：获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络；基于若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；对若干具有层次化掩码的子深度神经网络进行训练；将训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到输入数据对应的输出数据。本发明通过引入动态层次化掩码，能够避免网络传输对中间特征造成的损失以及提升分布式协同推理的效率。本发明作为基于动态层次化掩码的神经网络有损传输优化方法及***，可广泛应用于深度神经网络优化技术领域。
Description
技术领域
本发明涉及深度神经网络优化技术领域，尤其涉及基于动态层次化掩码的神经网络有损传输优化方法及***。
背景技术
随着物联网(IoT)和深度神经网络(DNNs)领域的飞速发展，推动了人工智能(AI)应用的不断进步，如人脸识别、目标检测、增强现实等典型应用。然而，移动设备上有限的计算资源对移动机器学习应用构成了重大挑战。现阶段一些应用通常采用优化后的算力模型，其规模比标准模型小几个数量级。虽然这种方法减少了计算负担，但也可能导致推理精度降低，因此严苛的算力约束使得更多的计算密集型AI任务变得难以实现，进一步阻碍了移动端应用的发展，而现有的对于神经网络进行优化是通过修改模型结构，创造一个人为的bottleneck，使得中间传输的特征更少，从而提升***效率即减少通信延迟，但需要修改原模型结构，工作量大，而现有的对于修改模型结构，需要引入一个次级神经网络，例如auto-encoder在训练过程模拟通信传输的丢失，但引入额外神经网络会引入额外的算力消耗和时延。
发明内容
为了解决上述技术问题，本发明的目的是提供基于动态层次化掩码的神经网络有损传输优化方法及***，通过引入动态层次化掩码，能够避免网络传输对中间特征造成的损失以及提升分布式协同推理的效率。
本发明所采用的第一技术方案是：基于动态层次化掩码的神经网络有损传输优化方法，包括以下步骤：
获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络，其中，所述若干子深度神经网络中的任意两个相邻子深度神经网络中，位于前的子深度神经网络的输出项为位于后的子深度神经网络的输入项；
基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；
对所述若干具有层次化掩码的子深度神经网络进行训练，得到训练后的若干具有层次化掩码的子深度神经网络；
将所述训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到所述输入数据对应的输出数据。
进一步，所述获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络这一步骤，其具体包括：
基于深度神经网络进行分布式部署，构建待推理的深度神经网络，所述待推理的深度神经网络表示分布式的深度神经网络；
基于所述待推理的深度神经网络的隐藏层，进行设置拆分点；
根据所述待推理的深度神经网络的拆分点进行拆分处理，得到若干子深度神经网络。
进一步，所述基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络这一步骤，其具体包括：
基于所述若干子深度神经网络的输出层，***动态层次化掩码，所述动态层次化掩码包括通道间掩码和通道内掩码；
基于所述动态层次化掩码，获取所述若干子深度神经网络的输出层的权重分布；
根据所述若干子深度神经网络的输出层的权重分布，生成动态层次化掩码值，所述动态层次化掩码值考虑每个子深度神经网络输出层的权重大小和考虑不同子深度神经网络输出层之间的权重关系；
基于所述动态层次化掩码值，得到若干具有层次化掩码的子深度神经网络。
进一步，所述通道间掩码用于区分不同子深度神经网络的输出层的信号，控制不同子深度神经网络的输出层之间的信息传递和干扰，进行不同子深度神经网络的输出层之间的特征提取和信息交互。
进一步，所述通道内掩码用于抑制子深度神经网络输出层的通道的权重，通过计算每个通道的权重分布，生成一个对应的通道内掩码值，所述通道内掩码值中的每个元素表示该通道的权重是否被抑制，若对应的通道内掩码值的元素值为0，表示该通道的权重被抑制，若对应的通道内掩码值的元素值为1，表示该通道的权重不被抑制。
进一步，所述若干子深度神经网络的输出层的表达式具体如下所示：
上式中，表示神经网络在第m层第i个位置的输出，/>表示第m层第i个位置的特征图，/>表示第m层第i个位置的神经网络权重，/>表示第l层的输入，/>和Ij表示第0层的输入即原始图像。
进一步，所述通道间掩码的表达式具体如下所示：
M1(p1)～Bernoulli(p1)
上式中，p1表示将输入数据被设置为0的概率，1-p1表示将输入数据被设置为1的概率，σ表示激活函数，w表示深度神经网络权重，x表示子深度神经网络的输出，M1(·)表示伯努利分布，⊙表示element-wise的乘法，Bernoulli(·)表示服从伯努利分布。
进一步，所述通道内掩码的表达式具体如下所示：
M2(γ)～Bernoulli(γ)
上式中，M2(γ)表示由γ参数化的伯努利分布，γ表示激活成为矩形块的中心点的概率，F(·)表示填充函数，p2表示控制掩码设置为0的比例，1-p2表示控制掩码设置为1的比例。
进一步，所述激活成为矩形块的中心点的概率的表达式具体如下所示：
上式中，B表示矩形块的长度，H、W表示输出数据的空间维度。
本发明所采用的第二技术方案是：基于动态层次化掩码的神经网络有损传输优化***，包括：
拆分模块，用于获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络，其中，所述若干子深度神经网络中的任意两个相邻子深度神经网络中，位于前的子深度神经网络的输出项为位于后的子深度神经网络的输入项；
***模块，用于基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；
训练模块，用于对所述若干具有层次化掩码的子深度神经网络进行训练，得到训练后的若干具有层次化掩码的子深度神经网络；
推理模块，用于将所述训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到所述输入数据对应的输出数据。
本发明方法及***的有益效果是：本发明通过获取待推理的深度神经网络并进行拆分处理，基于若干子深度神经网络的输出层，引入动态层次化掩码，以便描述网络通信过程中由于噪声和设备故障等引起的常见丢失模式，动态层次化掩码中可以根据当前所在的网络通信情况进行动态取值，以实现自适应，通过抑制某些网络层的通道信息或是不同网络层之间的权重关系，避免数据在网络层中间传输的数据损失且能够减少通信延迟，进一步将这些子网络部署在不同的设备上进行推理，可以降低分布式协同推理的基础算力成本和提升分布式协同推理的效率。
附图说明
图1是本发明实施例基于动态层次化掩码的神经网络有损传输优化方法的步骤流程图；
图2是本发明实施例基于动态层次化掩码的神经网络有损传输优化***的结构框图；
图3是现有的分布式协同神经网络架构的示意图；
图4是本发明具体实施例基于层次掩码的神经网络优化***整体流程的示意图；
图5是本发明具体实施例动态层次化掩码模块整体处理流程的示意图；
图6是本发明具体实施例动态层次化掩码生成示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
对本发明的技术术语进行解释：
分布式协同推理：深度神经网络的分布式协同推理是一种利用多节点、多设备协同完成神经网络推理任务的方法。它通过将神经网络推理任务分配到不同的节点或设备上，实现并行计算和协同推理，从而提高整体推理速度和准确性，在分布式协同推理中，不同的节点或设备可以扮演不同的角色，例如一些节点可以负责处理输入数据，一些节点可以负责执行神经网络的卷积层计算，而其他节点则可以负责执行全连接层或输出层计算等。这些节点之间通过通信协议进行数据交互和结果汇总，最终完成整个神经网络推理任务，分布式协同推理的优势在于可以充分利用多节点、多设备的计算资源和并行处理能力，提高推理速度和效率。同时，由于不同节点或设备可以位于不同的地理位置或网络拓扑结构中，因此可以实现地理多样性和***容错性，提高整体推理准确性和可靠性，分布式协同推理是未来深度学习领域的一个重要研究方向，它可以应用于各种场景中，例如云端、边缘端和终端设备等。同时，随着物联网、边缘计算和5G通信等技术的不断发展，分布式协同推理的应用前景也将越来越广泛。
通道间掩码：此处的通道间掩码(Inter-Channel Mask)是本发明的一项专用掩码。主要设置在神经网络分割处的中间层，并对该中间层输出的特征图按照设置的掩码进行0-1置位。由于神经网络中间层的输出通常包含多个通道，该掩码主要用于解决通道间的置位问题，因此被称为通道间掩码。该掩码0-1置位的方式已由通道间掩码的表达式说明。
通道内掩码：此处的通道内掩码(Intra-Channel Mask)是本发明的一项专用掩码。主要设置在神经网络分割处的中间层，并对该中间层输出的特征图按照设置的掩码进行0-1置位。由于神经网络中间层的输出通常包含多个通道，该掩码主要用于解决通道内的置位问题，因此被称为通道内掩码。该掩码0-1置位的方式已由通道内掩码的表达式说明。
参照图3，分布式协同深度学习是一个可能的方向，它将神经网络拆解成多个部分，并将这些部分在不同的设备上进行并行推理，并行化处理后可以对有效利用分布式设备的算力。本发明将进一步提升分布式协同推理的效率。
进一步作为阐述，如图6所示，假设当前图像分类任务，基于神经网络ResNet50进行训练。进行分布式部署需要首先将该ResNet50网络拆分成子网络1和子网络2，两个子网络分别包含ResNet50的若干层。为了防止分布式部署中间通信过程出现信号丢失，本发明采用基于层次掩码的神经网络优化***，在子网络1的最后一层添加动态层次化掩码后进行训练。训练之后，将其分别部署至设备1和设备2上，最终完成整个图像识别的任务。
参照图1和图4，本发明提供了基于动态层次化掩码的神经网络有损传输优化方法，该方法包括以下步骤：
S1、获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络，其中，所述若干子深度神经网络中的任意两个相邻子深度神经网络中，位于前的子深度神经网络的输出项为位于后的子深度神经网络的输入项；
具体地，基于深度神经网络进行分布式部署，构建待推理的深度神经网络，所述待推理的深度神经网络表示分布式的深度神经网络；基于所述待推理的深度神经网络的隐藏层，进行设置拆分点；根据所述待推理的深度神经网络的拆分点进行拆分处理，得到若干子深度神经网络。
基于任意原始的神经网络S(任意结构的神经网络结构，以及任意输入)，当前要将其进行分布式部署，构建分布式的神经网络，该神经网络包含若干隐藏层。在某几层设置拆分点，基于每一个拆分点，将其拆分为若干子网络S1、S2…。每一个子网络包含原始神经网络的若干层。
在本实施例中，对于若干子神经网络中的任意两个相邻子神经网络中，位于前的子神经网络的输出项为位于后的子神经网络的输入项，例如，将深度神经网络划分为子神经网络1、子神经网络2、...、子神经网络S，其中，子神经网络1、子神经网络2、...、子神经网络S中的序号为按照子神经网络在深度神经网络中的位置顺序，即子神经网络1为在深度神经网络中的位置位于子神经网络2之前，子神经网络2为在深度神经网络中的位置位于子神经网络3之前，依次类推，子神经网络S位于深度神经网络的最后。
S2、基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；
S21、基于所述若干子深度神经网络的输出层，***动态层次化掩码，所述动态层次化掩码包括通道间掩码和通道内掩码；
具体地，如图5所示，在每一个子网络的最后一层加入层次化掩码，即M1、M2…，本发明在子网络间通信处***动态层次化掩码模块，对网络传输的中间特征图进行筛选。
S22、基于所述动态层次化掩码，获取所述若干子深度神经网络的输出层的权重分布；
S23、根据所述若干子深度神经网络的输出层的权重分布，生成动态层次化掩码值，所述动态层次化掩码值考虑每个子深度神经网络输出层的权重大小和考虑不同子深度神经网络输出层之间的权重关系；
S24、基于所述动态层次化掩码值，得到若干具有层次化掩码的子深度神经网络。
具体地，通常，神经网络层m的输出由如下公式表示：
上式中，表示神经网络在第m层第i个位置的输出，/>表示第m层第i个位置的特征图，/>表示第m层第i个位置的神经网络权重，/>表示第l层的输入，/>和Ij表示第0层的输入即原始图像。
动态层次化掩码由两部分组成：通道间掩码和通道内掩码，以便描述网络通信过程中由于噪声和设备故障等引起的常见丢失模式。
通道间掩码的生成过程可基于下列公式：
M1(p1)～Bernoulli(p1)
上式中，p1表示将输入数据被设置为0的概率，1-p1表示将输入数据被设置为1的概率，σ表示激活函数，w表示深度神经网络权重，x表示子深度神经网络的输出，M1(·)表示伯努利分布，⊙表示element-wise的乘法，Bernoulli(·)表示服从伯努利分布；
神经网络会将整个通道的特征图以p1的概率设置为0，以1-p1的概率设置为1。
对于通道间掩码用于区分不同子深度神经网络的输出层的信号，控制不同子深度神经网络的输出层之间的信息传递和干扰，进行不同子深度神经网络的输出层之间的特征提取和信息交互；
在本实施例中，通道间掩码则主要用于多通道信号的处理，例如在数字电视信号处理中，通道间掩码用于区分不同通道的信号，避免通道间的干扰。在深度神经网络的上下文中，通道间掩码可能指的是不同卷积层之间的掩码，用于控制不同层之间的信息传递和干扰。具体来说，通道间掩码可以用于实现不同卷积层之间的特征提取和信息交互，从而提高模型的表达能力和泛化性能，即通道间掩码主要用于多通道信号的处理，它的作用是分离不同通道的信号，避免通道间的干扰。在数字电视的传输过程中，为了节省带宽，通常会将多个频道信号压缩成一个数据流。这时，通道间掩码可以帮助将各个频道信号分离出来，同时避免相互干扰。同样，在接收端，通道间掩码也可以帮助将接收到的数据流扩展成原始的多个频道信号。
通道内掩码的生成过程可基于下列公式：
M2(γ)～Bernoulli(γ)
上式中，M2(γ)表示由γ参数化的伯努利分布，γ表示激活成为矩形块的中心点的概率，F(·)表示填充函数，p2表示控制掩码设置为0的比例，1-p2表示控制掩码设置为1的比例。
在这里，M2(γ)是由γ参数化的伯努利分布，γ表示某个激活成为某个块的中心点的概率。F(·)是一个填充函数，它填充了以点为中心的长度为B的矩形块。p2控制了掩码设置为0的比例，γ的计算可以基于以下公式，其中特征图的空间维度为H×W：
上式中，B表示矩形块的长度，H、W表示输出数据的空间维度。
对于通道内掩码用于抑制子深度神经网络输出层的通道的权重，通过计算每个通道的权重分布，生成一个对应的通道内掩码值，所述通道内掩码值中的每个元素表示该通道的权重是否被抑制，若对应的通道内掩码值的元素值为0，表示该通道的权重被抑制，若对应的通道内掩码值的元素值为1，表示该通道的权重不被抑制；
在本实施例中，在卷积层的计算过程中，每个通道都会学习到一个权重分布。为了生成通道内掩码，需要计算每个通道的权重分布。这可以通过对每个通道的权重进行归一化来实现，根据每个通道的权重分布，可以生成一个对应的通道内掩码。掩码中的每个元素表示该通道的权重是否被抑制。通常情况下，如果某个通道的权重较小，则对应的掩码元素值为0，表示该通道的权重被抑制；否则，对应的掩码元素值为1，表示该通道的权重不被抑制，将生成的通道内掩码应用到卷积层的计算过程中。具体来说，在卷积层的输出中，对于被抑制的通道，将其权重设置为0，从而减少模型的复杂度；对于未被抑制的通道，保留其原始权重；
通道内掩码主要用于单个频道信号的处理，它的作用是保护该频道信号的完整性，同时抑制其他频道信号的干扰。通道内掩码会根据该频道的特性，生成一个特定的掩码信号，将该频道内部的各个频段区分开来，同时抑制其他频道信号的干扰。它通常会采用一些先进的信号处理算法和技术，例如傅里叶变换、小波变换等，即通道内掩码主要应用于卷积神经网络(CNN)中，其作用是抑制一些通道的权重，从而减少模型的复杂度，并提高模型的泛化能力。在深度神经网络中，每个通道会学习到一个权重分布，通过计算每个通道的权重分布，可以生成一个对应的通道内掩码。掩码中的每个元素表示该通道的权重是否被抑制。如果某个通道的权重较小，则对应的掩码元素值为0，表示该通道的权重被抑制；否则，对应的掩码元素值为1，表示该通道的权重不被抑制。应用通道内掩码可以有效地提高模型的泛化能力和鲁棒性，减少过拟合现象。
动态层次化掩码中p1和p2可以根据当前所在的网络通信情况(T)进行动态取值，以实现自适应。
S3、对所述若干具有层次化掩码的子深度神经网络进行训练，得到训练后的若干具有层次化掩码的子深度神经网络；
具体地，动态层次化掩码计算每个通道的权重分布的方法通常是通过卷积神经网络的学习过程来得到的。在卷积神经网络中，每个通道的权重分布是通过反向传播算法和梯度下降优化算法来不断调整和优化的。具体来说，在训练过程中，卷积神经网络会根据输入数据的特性来不断调整每个通道的权重分布。通过对损失函数进行梯度计算，得到每个通道权重的梯度值，然后将梯度值用于权重的更新。经过多次迭代和优化，网络会逐渐适应不同的输入数据，并且每个通道的权重分布也会逐渐趋向于一个相对稳定的状态。在训练完成后，可以根据每个通道的权重分布来生成对应的动态层次化掩码。通常可以通过对每个通道的权重进行归一化处理，使得不同通道之间的权重具有可比性，然后将归一化后的权重值作为动态层次化掩码的元素。需要注意的是，动态层次化掩码的计算方法可能因不同的神经网络结构和算法而有所不同。具体的计算过程可能会根据不同的应用场景和需求进行调整和优化。
S4、将所述训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到所述输入数据对应的输出数据。
具体地，将具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，可以实现在终端设备上对输入数据进行快速的、自适应的推理和分析。
首先，将具有层次化掩码的子深度神经网络训练好，并打包成可执行文件或模型库，然后将其部署到终端设备上。在终端设备上，当有输入数据时，可以先对输入数据进行预处理，例如进行归一化、去除异常值等操作，然后将其输入到子深度神经网络中进行推理。在推理过程中，子深度神经网络会根据预设的层次化掩码对输入数据进行逐层的特征提取和分析，从而得到推理结果。由于层次化掩码可以自适应地调整每个通道的权重，因此子深度神经网络可以更好地适应不同的输入数据，提高推理准确性和效率。将子深度神经网络部署到终端设备上，可以充分利用终端设备的计算资源和并行处理能力，实现快速推理和分析。同时，由于子深度神经网络的模型大小通常较小，因此可以减少传输开销和时间延迟，提高整体推理性能。
参照图2，基于动态层次化掩码的神经网络有损传输优化***，包括：
拆分模块，用于获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络，其中，所述若干子深度神经网络中的任意两个相邻子深度神经网络中，位于前的子深度神经网络的输出项为位于后的子深度神经网络的输入项；
***模块，用于基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；
训练模块，用于对所述若干具有层次化掩码的子深度神经网络进行训练，得到训练后的若干具有层次化掩码的子深度神经网络；
推理模块，用于将所述训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到所述输入数据对应的输出数据。
上述方法实施例中的内容均适用于本***实施例中，本***实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，包括以下步骤：
获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络，其中，所述若干子深度神经网络中的任意两个相邻子深度神经网络中，位于前的子深度神经网络的输出项为位于后的子深度神经网络的输入项；
基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；
对所述若干具有层次化掩码的子深度神经网络进行训练，得到训练后的若干具有层次化掩码的子深度神经网络；
将所述训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到所述输入数据对应的输出数据。
2.根据权利要求1所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络这一步骤，其具体包括：
基于深度神经网络进行分布式部署，构建待推理的深度神经网络，所述待推理的深度神经网络表示分布式的深度神经网络；
基于所述待推理的深度神经网络的隐藏层，进行设置拆分点；
根据所述待推理的深度神经网络的拆分点进行拆分处理，得到若干子深度神经网络。
3.根据权利要求1所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络这一步骤，其具体包括：
基于所述若干子深度神经网络的输出层，***动态层次化掩码，所述动态层次化掩码包括通道间掩码和通道内掩码；
基于所述动态层次化掩码，获取所述若干子深度神经网络的输出层的权重分布；
根据所述若干子深度神经网络的输出层的权重分布，生成动态层次化掩码值，所述动态层次化掩码值考虑每个子深度神经网络输出层的权重大小和考虑不同子深度神经网络输出层之间的权重关系；
基于所述动态层次化掩码值，得到若干具有层次化掩码的子深度神经网络。
4.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述通道间掩码用于区分不同子深度神经网络的输出层的信号，控制不同子深度神经网络的输出层之间的信息传递和干扰，进行不同子深度神经网络的输出层之间的特征提取和信息交互。
5.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述通道内掩码用于抑制子深度神经网络输出层的通道的权重，通过计算每个通道的权重分布，生成一个对应的通道内掩码值，所述通道内掩码值中的每个元素表示该通道的权重是否被抑制，若对应的通道内掩码值的元素值为0，表示该通道的权重被抑制，若对应的通道内掩码值的元素值为1，表示该通道的权重不被抑制。
6.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述若干子深度神经网络的输出层的表达式具体如下所示：
上式中，表示神经网络在第m层第i个位置的输出，/>表示第m层第i个位置的特征图，/>表示第m层第i个位置的神经网络权重，/>表示第l层的输入，/>和Ij表示第0层的输入即原始图像。
7.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述通道间掩码的表达式具体如下所示：
M1(p1)～Bernoulli(p1)
上式中，p1表示将输入数据被设置为0的概率，1-p1表示将输入数据被设置为1的概率，σ表示激活函数，w表示深度神经网络权重，x表示子深度神经网络的输出，M1(·)表示伯努利分布，⊙表示element-wise的乘法，Bernoulli(·)表示服从伯努利分布。
8.根据权利要求3所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述通道内掩码的表达式具体如下所示：
M2(γ)～Bernoulli(γ)
上式中，M2(γ)表示由γ参数化的伯努利分布，γ表示激活成为矩形块的中心点的概率，F(·)表示填充函数，p2表示控制掩码设置为0的比例，1-p2表示控制掩码设置为1的比例。
9.根据权利要求8所述基于动态层次化掩码的神经网络有损传输优化方法，其特征在于，所述激活成为矩形块的中心点的概率的表达式具体如下所示：
上式中，B表示矩形块的长度，H、W表示输出数据的空间维度。
10.基于动态层次化掩码的神经网络有损传输优化***，其特征在于，包括以下模块：
拆分模块，用于获取待推理的深度神经网络并进行拆分处理，得到若干子深度神经网络，其中，所述若干子深度神经网络中的任意两个相邻子深度神经网络中，位于前的子深度神经网络的输出项为位于后的子深度神经网络的输入项；
***模块，用于基于所述若干子深度神经网络的输出层，引入动态层次化掩码，得到若干具有层次化掩码的子深度神经网络；
训练模块，用于对所述若干具有层次化掩码的子深度神经网络进行训练，得到训练后的若干具有层次化掩码的子深度神经网络；
推理模块，用于将所述训练后的若干具有层次化掩码的子深度神经网络部署至终端设备进行输入数据的推理，得到所述输入数据对应的输出数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311416736.2A CN117391187B (zh) | 2023-10-27 | 2023-10-27 | 基于动态层次化掩码的神经网络有损传输优化方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311416736.2A CN117391187B (zh) | 2023-10-27 | 2023-10-27 | 基于动态层次化掩码的神经网络有损传输优化方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117391187A true CN117391187A (zh) | 2024-01-12 |
| CN117391187B CN117391187B (zh) | 2024-06-25 |
Family
ID=89469927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311416736.2A Active CN117391187B (zh) | 2023-10-27 | 2023-10-27 | 基于动态层次化掩码的神经网络有损传输优化方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117391187B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543829A (zh) * | 2018-10-15 | 2019-03-29 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 在终端和云端上混合部署深度学习神经网络的方法和*** |
| CN110516065A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于多路动态掩码的注意力神经网络的方法 |
| EP3582142A1 (en) * | 2018-06-15 | 2019-12-18 | Université de Liège | Image classification using neural networks |
| CN110892424A (zh) * | 2017-05-23 | 2020-03-17 | 英特尔公司 | 用于深度学习中的特征的区分性语义转移和物理启发优化的方法和装置 |
| CN112949840A (zh) * | 2021-04-20 | 2021-06-11 | 中国人民解放军国防科技大学 | 通道注意力引导的卷积神经网络动态通道剪枝方法和装置 |
| CN113449839A (zh) * | 2020-03-25 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 一种分布式训练方法、梯度通信方法、装置以及计算设备 |
| CN113469891A (zh) * | 2020-03-31 | 2021-10-01 | 武汉Tcl集团工业研究院有限公司 | 一种神经网络架构搜索方法、训练方法、图像补全方法 |
| CN113743574A (zh) * | 2020-05-27 | 2021-12-03 | 辉达公司 | 用于修改和训练神经网络的技术 |
| CN114254752A (zh) * | 2020-09-25 | 2022-03-29 | 辉达公司 | 使用神经网络的知识发现 |
| CN114969340A (zh) * | 2022-05-30 | 2022-08-30 | 中电金信软件有限公司 | 一种对深度神经网络进行剪枝的方法及装置 |
| CN115526225A (zh) * | 2022-07-25 | 2022-12-27 | 杭州电子科技大学 | 一种基于序列相似度和动态掩码训练机制的轨迹修复方法 |
| CN115829027A (zh) * | 2022-10-31 | 2023-03-21 | 广东工业大学 | 一种基于对比学习的联邦学习稀疏训练方法及*** |
| CN116776159A (zh) * | 2023-08-23 | 2023-09-19 | 苏州浪潮智能科技有限公司 | 心电图标注方法、装置、设备和介质 |
| CN116842998A (zh) * | 2023-05-25 | 2023-10-03 | 同济大学 | 一种基于分布式优化的多fpga协同训练神经网络方法 |
-
2023
- 2023-10-27 CN CN202311416736.2A patent/CN117391187B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110892424A (zh) * | 2017-05-23 | 2020-03-17 | 英特尔公司 | 用于深度学习中的特征的区分性语义转移和物理启发优化的方法和装置 |
| EP3582142A1 (en) * | 2018-06-15 | 2019-12-18 | Université de Liège | Image classification using neural networks |
| CN109543829A (zh) * | 2018-10-15 | 2019-03-29 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 在终端和云端上混合部署深度学习神经网络的方法和*** |
| CN110516065A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于多路动态掩码的注意力神经网络的方法 |
| CN111625652A (zh) * | 2019-07-12 | 2020-09-04 | 杭州电子科技大学 | 基于多路动态掩码的注意力神经网络的方法 |
| CN113449839A (zh) * | 2020-03-25 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 一种分布式训练方法、梯度通信方法、装置以及计算设备 |
| CN113469891A (zh) * | 2020-03-31 | 2021-10-01 | 武汉Tcl集团工业研究院有限公司 | 一种神经网络架构搜索方法、训练方法、图像补全方法 |
| CN113743574A (zh) * | 2020-05-27 | 2021-12-03 | 辉达公司 | 用于修改和训练神经网络的技术 |
| CN114254752A (zh) * | 2020-09-25 | 2022-03-29 | 辉达公司 | 使用神经网络的知识发现 |
| CN112949840A (zh) * | 2021-04-20 | 2021-06-11 | 中国人民解放军国防科技大学 | 通道注意力引导的卷积神经网络动态通道剪枝方法和装置 |
| CN114969340A (zh) * | 2022-05-30 | 2022-08-30 | 中电金信软件有限公司 | 一种对深度神经网络进行剪枝的方法及装置 |
| CN115526225A (zh) * | 2022-07-25 | 2022-12-27 | 杭州电子科技大学 | 一种基于序列相似度和动态掩码训练机制的轨迹修复方法 |
| CN115829027A (zh) * | 2022-10-31 | 2023-03-21 | 广东工业大学 | 一种基于对比学习的联邦学习稀疏训练方法及*** |
| CN116842998A (zh) * | 2023-05-25 | 2023-10-03 | 同济大学 | 一种基于分布式优化的多fpga协同训练神经网络方法 |
| CN116776159A (zh) * | 2023-08-23 | 2023-09-19 | 苏州浪潮智能科技有限公司 | 心电图标注方法、装置、设备和介质 |
Non-Patent Citations (2)
| Title |
|---|
| MELISSOURGOS, DIMITRIOS ET AL.: "Training Medical-Diagnosis Neural Networks on the Cloud with Privacy-Sensitive Patient Data from Multiple Clients", 《2020 INTERNATIONAL CONFERENCE ON EMERGING TRENDS IN INFORMATION TECHNOLOGY AND ENGINEERING》, 31 August 2022 (2022-08-31) * |
| 贾锋;薛潺涓;王欣;: "用于肺结节检测和分类的两阶段深度学习方法", 吉林大学学报(理学版), no. 02, 26 March 2020 (2020-03-26) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117391187B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111901862B (zh) | 一种基于深度q网络的用户分簇与功率分配方法、设备和介质 | |
| CN108764317B (zh) | 一种基于多路特征加权的残差卷积神经网络图像分类方法 | |
| Hossain et al. | A deep-tree-model-based radio resource distribution for 5G networks | |
| CN111627458A (zh) | 一种声源分离方法及设备 | |
| Elbir et al. | Federated learning for physical layer design | |
| CN107370732A (zh) | 基于神经网络和最优推荐的工控***异常行为发现*** | |
| CN111224905B (zh) | 一种大规模物联网中基于卷积残差网络的多用户检测方法 | |
| CN113408577A (zh) | 一种基于注意力机制的图像分类方法 | |
| CN113613301B (zh) | 一种基于dqn的空天地一体化网络智能切换方法 | |
| CN115767562B (zh) | 基于强化学习联合协作多点传输的服务功能链部署方法 | |
| CN113573320A (zh) | 边缘网络中基于改进的演员-评论家算法的sfc部署方法 | |
| CN117391187B (zh) | 基于动态层次化掩码的神经网络有损传输优化方法及*** | |
| KR102256289B1 (ko) | 인공 신경망에서 학습을 통한 로드 밸런싱 방법 및 시스템 | |
| CN113625753A (zh) | 一种由专家规则引导神经网络学习无人机机动飞行的方法 | |
| KR20220039313A (ko) | 뉴럴 네트워크 연산 처리 방법 및 장치 | |
| Gao et al. | Ocdst: Offloading chained dnns for streaming tasks | |
| Lin et al. | Heuristic-learning-based network architecture for device-to-device user access control | |
| CN115150288B (zh) | 一种分布式通信***和方法 | |
| WO2022145713A1 (ko) | 인공 신경망 모델을 경량화하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 | |
| KR102409974B1 (ko) | 인공신경망 기반의 소스, 채널부호율 및 전력제어 최적화 방법 및 시스템 | |
| CN117746172A (zh) | 基于域差异感知蒸馏的异构模型聚合方法及*** | |
| CN112738225B (zh) | 基于人工智能的边缘计算方法 | |
| CN112906745A (zh) | 基于边缘协同的诚信智能网络训练方法 | |
| CN113516992A (zh) | 一种音频处理方法、装置、智能设备及存储介质 | |
| WO2024135870A1 (ko) | 효율적인 객체 감지를 위한 입력 단위 네트워크 양자화 방법을 수행하는 영상인식장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |