CN112150497A - 基于二值神经网络的局部激活方法与*** - Google Patents

基于二值神经网络的局部激活方法与*** Download PDF

Info

Publication number
CN112150497A
CN112150497A CN202011097835.5A CN202011097835A CN112150497A CN 112150497 A CN112150497 A CN 112150497A CN 202011097835 A CN202011097835 A CN 202011097835A CN 112150497 A CN112150497 A CN 112150497A
Authority
CN
China
Prior art keywords
activation
local activation
lba
neural network
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011097835.5A
Other languages
English (en)
Inventor
潘赟
惠思琦
朱怀宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011097835.5A priority Critical patent/CN112150497A/zh
Publication of CN112150497A publication Critical patent/CN112150497A/zh
Priority to PCT/CN2021/094327 priority patent/WO2022077903A1/zh
Priority to US18/024,457 priority patent/US20230316738A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种基于二值神经网络的局部激活方法，前向传播过程中，通过比较中心像素与相邻像素的差值，进而判断局部激活值；前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新。以及提供基于二值神经网络的局部激活***。本发明能够有效减少二值激活过程中的信息损失；可以有效减少二值神经网络后向梯度更新过程中的梯度失配，从而提高二值神经网络的性能表现。

Description

基于二值神经网络的局部激活方法与***
技术领域
本发明涉及机器学习技术领域，尤其是涉及一种基于二值神经网络的局部激活方法与***。
背景技术
深度神经网络是一种深度监督学***台上的应用。
近些年来，深度神经网络的压缩与加速逐渐成为研究热点，其中，二值神经网络通过将深度神经网络的权重与激活量化为{-1，+1},并将卷积运算替换为同或运算，理论上能够压缩32倍存储空间，实现58倍计算加速。
然而，传统的二值神经网络在激活的过程中，由于局部纹理信息的丢失与后向梯度更新的失配，导致二值神经网络的精度较低。
发明内容
为了克服二值神经网络激活过程中存在的缺陷，提高二值神经网络的性能，本发明提出了基于二值神经网络的局部激活方法与***。
本发明解决其技术问题所采用的技术方案是：
一种基于二值神经网络的局部激活方法，所述局部激活方法包括：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图。
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
进一步，所述的局部激活方法的前向过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值，所述局部激活值的判断方法为：
Figure BDA0002724328990000021
其中，LBAi(x)为所述的特定激活方向上局部激活输出，x表示待激活的中心像素，xi表示与x相邻的第i个像素，并将中心像素x左上角的像素标记为x0，其余相邻像素按顺时针方向进行编号，i＝{0,1,2,...,N-1}，N表示用来构成局部激活输出的相邻像素数量，sign为符号函数。
优选的，所述前向激活过程中，设置合适的局部激活通道数量及激活方向，得到具备不同激活方向与通道数量的局部激活特征图，在前向激活过程中，所述特征图局部激活方法为：
Figure BDA0002724328990000022
其中，Fl表示第l层输入特征图，Fl,b表示第l层的局部激活特征图，b表示二值量化，LBAi表示特定激活方向上的局部激活函数，N表示所述的局部激活通道数量，N的取值范围为N＝{1,2,3,...,8}。
N＝1,所述局部激活特征图为：
Fl,b＝LBAi(Fl)，i∈{0,1,2,...,7}；
N＝2,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)，i,j∈{0,1,2,...,7},i≠j；
N＝3,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)，i,j,k∈{0,1,2,...,7},i≠j≠k；
N＝4,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)，i,j,k,l∈{0,1,2,...,N-1},i≠j≠k≠l；
N＝5,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl),
i,j,k,l,m∈{0,1,2,...,N-1},i≠j≠k≠l≠m；
N＝6,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl),
i,j,k,l,m,n∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n；
N＝7,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl)+LBAo(Fl),
i,j,k,l,m,n,o∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n≠o；
N＝8,其局部激活特征图为：
Figure BDA0002724328990000031
再进一步，利用可以学习的权重系数，对经过局部激活及直接激活的输出特征图进行融合，并得到同时包含纹理特征与轮廓特征的输出特征图，所述融合方法为：
Figure BDA0002724328990000032
其中，Fl表示第l层的输入特征图，Fl+1表示第l+1层的输入特征图，DBA表示直接激活函数，LBAi表示特定激活方向上的局部激活输出,W表示直接激活通道的二值化权重，Wi表示第i个局部激活通道的二值化权重，BinConv表示二值化卷积运算，α表示直接激活通道的权重系数，βi表示局部激活通道的权重系数，其中，α与βi可以在后向梯度传播过程中得到更新。
更进一步，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。所述渐进正弦函数为：
Figure BDA0002724328990000041
其中，t为和训练步数正相关的超参数，sin为正弦函数，cos为余弦函数，sign为符号函数，
Figure BDA0002724328990000042
为分段函数的连接点。
一种基于二值神经网络的局部激活***，所述***包括：
局部激活单元，用于比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
激活组合单元，用以得到具备不同激活方向的局部激活特征图
融合单元，用以对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图
一种基于二值神经网络的局部激活***，所述***包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在执行时使所述处理器执行以下操作：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
本发明的有益效果主要表现在：本发明基于二值神经网络的局部激活方法，前向过程中，通过局部激活提取输入图像的纹理特征，并与通过直接激活提取的轮廓特征进行融合，能够有效减少二值激活过程中的信息损失；后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，可以减少后向传播过程中的梯度失配，进而提高二值神经网络的性能表现。
附图说明
图1是本发明基于二值神经网络的局部激活方法的流程图；
图2是本发明局部激活算法的示意图；
图3是本发明的渐进正弦函数的示意图；
图4是本发明基于二值神经网络的局部激活***的模块结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图4，一种基于二值神经网络的局部激活方法，前向传播过程中，通过局部激活函数，可以提取输入图像的纹理特征，并利用可学习的权重系数对直接激活通道与局部激活的输出特征图进行融合，可以有效减少前向传播过程中由于二值激活导致的纹理信息损失；后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，可以有效减少二值神经网络后向梯度更新过程中的梯度失配，从而提高二值神经网络的识别精度。
为使本发明的上述目的、特征和有点能够更加明显易懂，下面将结合附图和具体实时方式对本发明方法作进一步详细的说明。
如图1所示，本发明基于二值神经网络的局部激活方法包括：
步骤1：前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值，通过比较输入图像中各个像素与0的差值，进而判断各个像素的直接激活值；
步骤2：前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
步骤3：前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；
步骤4：后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
在步骤1中，所述局部激活与直接激活的具体步骤如下：
步骤1-1：如图2所示，局部激活函数通过比较输入图像中的中心像素与相邻像素的大小，进而判断输入像素的局部激活值。所述激活函数为：
Figure BDA0002724328990000061
其中，LBAj(x)为所述的特定方向上局部激活输出，x表示待激活的中心像素，xj表示与x相邻的第j像素，j＝{0,1,2,...,N}，N表示用来构成局部激活输出的相邻像素数量，sign为符号函数。
步骤1-2：直接激活函数通过比较输入图像中各个像素点与0的大小，进而判断输入像素的直接激活值。所述直接激活函数为：
Figure BDA0002724328990000071
其中，DBA(x)为所述的直接激活函数,x表示待激活的中心像素，sign为符号函数。
步骤2中，设置合适的局部激活通道数量及激活方向，得到具备不同激活方向与通道数量的局部激活特征图，具体包括：
设置N＝4，采用的局部激活特征激活函数为：
Fl,b＝LBA0(Fl)+LBA3(Fl)+LBA5(Fl)+LBA7(Fl)
其中，Fl表示第l层输入特征图，Fl,b表示第l层的局部激活特征图，b表示二值量化，LBA0，LBA3(Fl)，LBA5(Fl)，LBA7(Fl)表示特定激活方向上的局部激活特征图。
步骤3：利用可以学习的权重系数，对经过局部激活及直接激活的输出特征图进行融合，并得到同时包含纹理特征与轮廓特征的输出特征图，其中，所述融合函数为：
Figure BDA0002724328990000072
其中，Fl表示第l层的输入特征图，Fl+1表示第l+1层的输入特征图，DBA表示直接激活输出，LBAj表示特定方向上局部激活输出,W表示直接激活通道的二值化权重，Wj表示第j个局部激活通道的二值化权重，BinConv表示二值化卷积运算，α表示直接激活通道的权重系数，βj表示局部激活通道的权重系数。
步骤4：采用渐进正弦函数对sign激活函数进行近似，进而减少后向更新的梯度失配问题，所述渐进正弦函数为：
Figure BDA0002724328990000081
其中，t为超参数，sin为正弦函数，cos为余弦函数，sign为符号函数，
Figure BDA0002724328990000082
为分段函数的连接点。超参数t的取值方法为：
Figure BDA0002724328990000083
其中，参数tmin设置为π/3，参数tmax设置为1.5π，Tcur为当前训练步数，Tmax为最大训练步数。
优选地，为了保持二值神经网络的精度，所述二值神经网络的第一层和最后一层的模型参数不进行二值化。
基于上述方法，本发明采用ResNet-20模型与四通道局部激活分别在CIFAR-10、CIFAR-100、SVHN标准数据集上进行验证，结果如表1：
Figure BDA0002724328990000084
表1
基于上述方法，本发明分别采用ResNet-18、ResNet-20、VGG-small模型与四通道局部激活在CIFAR-10数据集上进行验证，结果如表2：
Figure BDA0002724328990000085
表2
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
此外，本发明还提供一种基于二值神经网络的局部激活***。具体地，如图3所示，本发明基于二值神经网络的局部激活***包括局部激活单元1、激活组合单元2、融合单元3.
所述局部激活单元1，用于比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；所述激活组合单元2，用以得到具备不同激活方向的局部激活特征图；所述融合单元3，用以对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图.
进一步地，本发明还提供一种基于二值神经网络的局部激活***，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在执行时使所述处理器执行以下操作：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
本发明还提供一种计算机可读存储介质、所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
相对于现有技术，本发明基于二值神经网络的局部激活***、计算机可读存储介质与上述二值神经网络的局部激活方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于二值神经网络的局部激活方法，其特征在于，所述局部激活方法包括：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图。
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
2.如权利要求1所述的基于二值神经网络的局部激活方法，其特征在于，所述的局部激活方法的前向过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值，所述局部激活值的判断方法为：
Figure 1
。
其中，LBAi(x)为所述的特定激活方向上局部激活输出，x表示待激活的中心像素，xi表示与x相邻的第i个像素，并将中心像素x左上角的像素标记为x0，其余相邻像素按顺时针方向进行编号，i＝{0,1,2,...,N-1}，N表示用来构成局部激活输出的相邻像素数量，sign为符号函数。
3.如权利要求1或2所述的基于二值神经网络的局部激活方法，其特征在于，所述前向激活过程中，设置合适的局部激活通道数量及激活方向，得到具备不同激活方向与通道数量的局部激活特征图，在前向激活过程中，所述特征图局部激活方法为：
Figure FDA0002724328980000012
其中，Fl表示第l层输入特征图，Fl,b表示第l层的局部激活特征图，b表示二值量化，LBAi表示特定激活方向上的局部激活函数，N表示所述的局部激活通道数量，N的取值范围为N＝{1,2,3,...,8}。
N＝1,所述局部激活特征图为：
Fl,b＝LBAi(Fl)，i∈{0,1,2,...,7}；
N＝2,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)，i,j∈{0,1,2,...,7},i≠j；
N＝3,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)，i,j,k∈{0,1,2,...,7},i≠j≠k；
N＝4,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)，i,j,k,l∈{0,1,2,...,N-1},i≠j≠k≠l；
N＝5,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl),
i,j,k,l,m∈{0,1,2,...,N-1},i≠j≠k≠l≠m；
N＝6,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl),
i,j,k,l,m,n∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n；
N＝7,所述局部激活特征图为：
Fl,b＝LBAi(Fl)+LBAj(Fl)+LBAk(Fl)+LBAl(Fl)+LBAm(Fl)+LBAn(Fl)+LBAo(Fl),
i,j,k,l,m,n,o∈{0,1,2,...,N-1},i≠j≠k≠l≠m≠n≠o；
N＝8,其局部激活特征图为：
Figure 2
。
4.如权利要求1或2所述的基于二值神经网络的局部激活方法，其特征在于，利用可以学习的权重系数，对经过局部激活及直接激活的输出特征图进行融合，并得到同时包含纹理特征与轮廓特征的输出特征图，所述融合方法为：
Figure FDA0002724328980000022
其中，Fl表示第l层的输入特征图，Fl+1表示第l+1层的输入特征图，DBA表示直接激活函数，LBAi表示特定激活方向上的局部激活输出,W表示直接激活通道的二值化权重，Wi表示第i个局部激活通道的二值化权重，BinConv表示二值化卷积运算，α表示直接激活通道的权重系数，βi表示局部激活通道的权重系数，其中，α与βi可以在后向梯度传播过程中得到更新。
5.如权利要求1或2所述的基于二值神经网络的局部激活方法，其特征在于，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。所述渐进正弦函数为：
Figure FDA0002724328980000023
其中，t为和训练步数正相关的超参数，sin为正弦函数，cos为余弦函数，sign为符号函数，
Figure FDA0002724328980000024
为分段函数的连接点。
6.一种基于二值神经网络的局部激活***，其特征在于，所述***包括：
局部激活单元，用于比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
激活组合单元，用以得到具备不同激活方向的局部激活特征图
融合单元，用以对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图。
7.一种基于二值神经网络的局部激活***，其特征在于，所述***包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在执行时使所述处理器执行以下操作：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
前向传播过程中，通过比较输入图像中各个像素与相邻像素的差值，进而判断各个像素的局部激活值；
前向传播过程中，通过设置合适的局部激活通道数量及激活方向，得到具备不同激活方向的局部激活特征图；
前向传播过程中，利用可以学习的权重系数对经过局部激活与直接激活的输出特征图进行通道融合，并得到同时包含纹理特征与轮廓特征的输出特征图；
后向传播过程中，通过采用渐进正弦函数对二值神经网络的权重进行更新，并得到梯度更新后的二值神经网络。
CN202011097835.5A 2020-10-14 2020-10-14 基于二值神经网络的局部激活方法与*** Pending CN112150497A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011097835.5A CN112150497A (zh) 2020-10-14 2020-10-14 基于二值神经网络的局部激活方法与***
PCT/CN2021/094327 WO2022077903A1 (zh) 2020-10-14 2021-05-18 基于二值神经网络的局部激活方法与***
US18/024,457 US20230316738A1 (en) 2020-10-14 2021-05-18 Binary neural network-based local activation method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011097835.5A CN112150497A (zh) 2020-10-14 2020-10-14 基于二值神经网络的局部激活方法与***

Publications (1)

Publication Number Publication Date
CN112150497A true CN112150497A (zh) 2020-12-29

Family

ID=73953074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011097835.5A Pending CN112150497A (zh) 2020-10-14 2020-10-14 基于二值神经网络的局部激活方法与***

Country Status (3)

Country Link
US (1) US20230316738A1 (zh)
CN (1) CN112150497A (zh)
WO (1) WO2022077903A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022077903A1 (zh) * 2020-10-14 2022-04-21 浙江大学 基于二值神经网络的局部激活方法与***
CN115171201A (zh) * 2022-09-08 2022-10-11 苏州魔视智能科技有限公司 基于二值神经网络的人脸信息识别方法、装置、设备
CN115660046A (zh) * 2022-10-24 2023-01-31 中电金信软件有限公司 二值神经网络的梯度重构方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932499A (zh) * 2018-07-09 2018-12-04 武汉科技大学 一种基于局部二值模式和深度置信网络的滚动轴承预测方法和***
CN110837887A (zh) * 2019-11-12 2020-02-25 西安微电子技术研究所 一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用
CN111133471A (zh) * 2017-09-26 2020-05-08 株式会社爱考斯研究 信息处理装置
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
CN111222434A (zh) * 2019-12-30 2020-06-02 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831444B2 (en) * 2016-04-04 2020-11-10 Technion Research & Development Foundation Limited Quantized neural network training and inference
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
CN110472725A (zh) * 2019-07-04 2019-11-19 北京航空航天大学 一种平衡二值化神经网络量化方法及***
CN110956263A (zh) * 2019-11-14 2020-04-03 深圳华侨城文化旅游科技集团有限公司 一种二值化神经网络的构建方法、存储介质及终端设备
CN110929852A (zh) * 2019-11-29 2020-03-27 中国科学院自动化研究所 深度二值神经网络训练方法及***
CN112150497A (zh) * 2020-10-14 2020-12-29 浙江大学 基于二值神经网络的局部激活方法与***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664722B1 (en) * 2016-10-05 2020-05-26 Digimarc Corporation Image processing arrangements
CN111133471A (zh) * 2017-09-26 2020-05-08 株式会社爱考斯研究 信息处理装置
CN108932499A (zh) * 2018-07-09 2018-12-04 武汉科技大学 一种基于局部二值模式和深度置信网络的滚动轴承预测方法和***
CN110837887A (zh) * 2019-11-12 2020-02-25 西安微电子技术研究所 一种深度卷积神经网络的压缩及加速方法、神经网络模型及其应用
CN111222434A (zh) * 2019-12-30 2020-06-02 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
惠思琦: ""面向纹理分类的深度神经网络设计与优化"", 《中国优秀硕士学位论文全文数据库》, 7 January 2022 (2022-01-07) *
李佳妮;张宝华;: "特征匹配融合结合改进卷积神经网络的人脸识别", 激光与光电子学进展, no. 10, 24 May 2018 (2018-05-24) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022077903A1 (zh) * 2020-10-14 2022-04-21 浙江大学 基于二值神经网络的局部激活方法与***
CN115171201A (zh) * 2022-09-08 2022-10-11 苏州魔视智能科技有限公司 基于二值神经网络的人脸信息识别方法、装置、设备
CN115660046A (zh) * 2022-10-24 2023-01-31 中电金信软件有限公司 二值神经网络的梯度重构方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022077903A8 (zh) 2022-12-22
US20230316738A1 (en) 2023-10-05
WO2022077903A1 (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN111738231B (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN112150497A (zh) 基于二值神经网络的局部激活方法与***
CN111275175B (zh) 神经网络训练方法、装置、图像分类方法、设备和介质
CN111488985B (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
US11586909B2 (en) Information processing method, information processing apparatus, and computer readable storage medium
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN111461212A (zh) 一种用于点云目标检测模型的压缩方法
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
GB2489272A (en) Segmentation of images into superpixels
CN110008853B (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN111310770B (zh) 目标检测方法和装置
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN115035418A (zh) 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及***
CN111105017A (zh) 神经网络量化方法、装置及电子设备
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN112446888A (zh) 图像分割模型的处理方法和处理装置
CN112861659A (zh) 一种图像模型训练方法、装置及电子设备、存储介质
CN110008818A (zh) 一种手势识别方法、装置及计算机可读存储介质
CN111695640A (zh) 地基云图识别模型训练方法及地基云图识别方法
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
CN114444668A (zh) 网络量化方法及***及装置及介质及图像处理方法
US20230410465A1 (en) Real time salient object detection in images and videos
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination