CN105760930A - 用于aer的多层脉冲神经网络识别*** - Google Patents

Abstract

本发明涉及图像处理识别领域，为提出一种用于AER传感器的多层脉冲神经网络，可以利用此网络实现目标的识别。本发明采用的技术方案是，用于AER的多层脉冲神经网络识别***，包括如下模块：整合与火IF神经元模型(Integrate?and?Fire neuron)；多层脉冲神经网络包含4层脉冲神经元：第一层特征提取层T1，第二层特征提取层T2，池化层P和识别层R；T1，T2，P，R层都采用上述IF神经元模型来构建整个脉冲神经网络。本发明主要应用于图像处理识别场合。

Description

用于AER的多层脉冲神经网络识别***

技术领域

本发明涉及图像处理识别领域，尤其涉及一种将脉冲神经网络(Spiking NerualNetwork，SNN)用于目标图像的处理识别。

背景技术

脉冲神经网络(SNN)被称作第三代神经网络，它代表着生物神经科学和人工神经网络领域内的最新研究成果。SNN依据生物中观察到的LTP(Long Term Potentiation)、LTD(Long Term Depression)、STDP(Spike Timing Dependent Plasticity)等现象，可以利用脉冲发放的精确时间进行信息的处理。基于脉冲精确定时特性的脉冲神经网络拥有非常强大的计算能力，可以模拟各种神经元信号和任意的连续函数，非常适用于信号的处理问题。

脉冲神经网络(SNN)不能直接用模拟量进行计算，其输入输出必须是脉冲序列，所以必须通过一定的方法将模拟量转成脉冲序列，然后再将脉冲序列输入到脉冲神经网络中。目前已经有很多编码方法被报道出来，Time-to-first-spike方法是一种比较简单的将模拟量转变成脉冲发放时间的编码方法，由于它的原理简单，实现容易，得到了广泛的应用；而相位编码思想的特点在于可以对随着时间变化的模拟量进行编码；阈值编码的思想是将模拟量超过阈值的时刻表示脉冲生成的时刻，由此产生一个脉冲序列。

AER(Address-Event Representation,AER，地址-事件表示)图像传感器的输出中包含了事件的地址信息，时间信息，具有超高速，高实时性等特点。根据脉冲神经网络的数据处理方式，可以将AER图像传感器的输出数据直接输入到脉冲神经网络中进行处理运算。

发明内容

为克服现有技术的不足，本发明旨在根据AER表示方法及脉冲神经网络的特点，提出一种用于AER传感器的多层脉冲神经网络，可以利用此网络实现目标的识别。本发明采用的技术方案是用于AER的多层脉冲神经网络识别***，包括如下模块：

整合与火IF神经元模型(Integrate-and-Fire neuron)，结构是，I₁和I₂分别代表两个输入脉冲序列，两个输入脉冲序列分别对应输入两个脉冲神经元V₁、V₂，两个脉冲神经元V₁、V₂产生的输出脉冲序列分别用O₁和O₂表示，神经元之间存在的相互抑制作用称为侧向抑制；

多层脉冲神经网络包含4层脉冲神经元：第一层特征提取层T1，第二层特征提取层T2，池化层P和识别层R；T1，T2，P，R层都采用上述IF神经元模型来构建整个脉冲神经网络，当其中一个脉冲神经元收到前一层脉冲神经元来的脉冲时，该脉冲神经元的膜电势变化过程：

如果t_i-t_lastspike＜t_refr则否则

$V_{mi}\←\left\{\begin{array}{ccc}\max \{V_{m_{i-1}}-\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if& V_{m_{i-1}}\≥0\\ \min \{V_{m_i}+\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if& V_{m_{i-1}}\≥0\end{array}\right.---\left(1\right)$

$V_{m_i}\←V_{m_i}+{\mathrm{\ω}}_i$

如果则t_lastspike←t_i产生输出脉冲；

其中，t_i是第i个脉冲到达神经元的时间，t_lastspike是当前神经元产生上一个脉冲的时间，t_refr是神经元的耐火周期，是第i个脉冲输入后该神经元的膜电势，是第i-1个脉冲输入后该神经元的膜电势，I_l是漏电流，C_m是膜电容，ω_i是突触权值，V_thresh是当前神经元的阈值电压。

神经元在每接收到一个输入脉冲时，其膜电势V₁或V₂会相应的增加或减少，增加或减少的值由突触权值来决定，当膜电势V₁或V₂超过设定的阈值电压时，就会产生输出脉冲O₁和O₂，同时该神经元进入耐火周期，在耐火周期内，神经元在收到输入脉冲时膜电势也并不会发生变化，始终处于最小值状态。

特征提取层T1：层中采用Gabor函数来运算生成卷积核，并将计算得到的卷积核配置到神经元中，作为神经元的突触权值，Gabor函数的计算如公式(2)所示：

$F_{\mathrm{\θ}}(\mathrm{\μ},\mathrm{\υ})=e^{(-\frac{{\mathrm{\μ}}_0^2+{\mathrm{\γ}}^2{v}_0^2}{2{\mathrm{\σ}}^2})}cos\left(\frac{2\mathrm{\π}}{\mathrm{\λ}}{\mathrm{\μ}}_0\right)$

μ₀＝μcosθ+vsinθ (2)

v₀＝-μsinθ+vcosθ

其中μ和ν分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，在本层中，只选定一种尺度，计算多种角度的卷积核，将其配置到神经元中，作为神经元的突触权值；若AER图像传感的输出分辨率是N×N，该层拟采用M种角度的卷积核，则该层需要的神经元数量为N×N×M，神经元配置适当的参数后，神经元的膜电势会按照公式(1)变化。

特征提取层T2：T1层某个神经元膜电势达到阈值时，该神经元会产生脉冲输出，T2层会接收T1产生的脉冲序列，将接收到的脉冲序列分别输入不同的通道，不同通道的神经元会配置不同的突触权值，每个通道会使用相同尺度但是不同角度的Gabor函数计算的卷积核，做为神经元的突触权值，但是不同通道之间Gabor函数的尺度也会不同，本层所有通道使用的Gabor卷积核尺度都比T1层小。

池化层P：将T2层中每相邻不重叠4×4区域的神经元的输出，作为一个单元，输入到P层的一个神经元中，此过程相当于卷积神经网络中的池化过程pooling，该层神经元的阈值电压＜2毫伏，以保证尽量多的神经元会超过阈值电压，产生输出脉冲；

识别层R：原始待识别样本分为训练样本和测试样本，训练样本和测试样本分别经过上述过程的处理，将训练样本的P层输出，输入到识别层中，并采用Tempotron LearningRule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，就可以将测试样本的P层输出，输入到该识别层中，测试识别的准确率。

本发明的特点及有益效果是：

本发明提出的多层脉冲神经网络可以充分利用AER图像传感器输出事件中包含的时间信息，计算更加自由，采用多层提取特征的方法，减小了识别层的计算量，提高识别的准确率。

附图说明：

图1 IF神经元模型工作原理。

图2多层脉冲神经网络结构图。

图3特征提取层。

具体实施方式

组成脉冲神经网络的神经元模型有很多种，常用的构成脉冲神经网络的神经元模型有脉冲响应模型(Spike Response Model)和Integrate-and-Fire神经元模型，它们被广泛应用于图像处理领域。本发明中采用的是一种简化的Integrate-and-Fire neuron(IF)神经元模型，以此神经元模型为基础来构建整个脉冲神经网络。该神经元模型具有线性的衰减率和耐火(refractory)周期，结构如图1所示。脉冲神经元的输入只能是包含时间信息的脉冲序列，图1上半部分中I₁和I₂分别代表两个输入脉冲序列，两个脉冲神经元膜电势分别用V₁和V₂表示，产生的输出脉冲序列分别用O₁和O₂表示，神经元之间存在的相互抑制作用称为侧向抑制，图1中用Reset来表示。图1的下半部分描述了两个神经元在接收到输入脉冲后膜电势的变化，神经元在每接收到一个输入脉冲时，其膜电势V₁或V₂会相应的增加或减少，增加或减少的值由突触权值来决定，图1中只描述了膜电势增加的情况，当膜电势V₁或V₂超过设定的阈值电压时，就会产生输出脉冲O₁和O₂，同时该神经元进入耐火周期，图中用t_refr表示。在耐火周期内，神经元在收到输入脉冲时膜电势也并不会发生变化，始终处于最小值状态。

采用该简化的IF神经元模型，可以确保每个神经元的输出脉冲只能由兴奋性输入脉冲触发，而不会由亚阈值膜电势触发，当一个输入到达神经元时，该神经元的膜电势只能由上次更新的时间和上次更新后的状态决定，因此我们只需要更新收到脉冲的神经元的电势。由多个脉冲神经元可以组成多层的脉冲神经网络，当其中一个神经元收到前一层神经元来的脉冲时，该神经元的膜电势变化如图1所示，公式(1)利用数学公式描述了这一变化过程：

如果t_i-t_lastspike＜t_refr则否则

$V_{mi}\←\left\{\begin{array}{ccc}\max \{V_{m_{i-1}}-\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if& V_{m_{i-1}}\≥0\\ \min \{V_{m_i}+\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if& V_{m_{i-1}}\≥0\end{array}\right.---\left(1\right)$

$V_{m_i}\←V_{m_i}+{\mathrm{\ω}}_i$

如果则t_lastspike←t_i产生输出脉冲。

其中，t_i是第i个脉冲到达神经元的时间，t_lastspike是当前神经元产生上一个脉冲的时间，t_refr是神经元的耐火周期，是第i个脉冲输入后该神经元的膜电势，是第i-1个脉冲输入后该神经元的膜电势，I_l是漏电流，C_m是膜电容，ω_i是突触权值，V_thresh是当前神经元的阈值电压。

对于AER图像传感器来说，越是陡峭的形状边缘，输出事件的产生率会越高。神经元的突触权值和输出事件的空间相关性越高，该神经元的活动就会更加强烈。活动最强的神经元，其膜电势会比其他神经元更快超过阈值电压，因此可以以此来判断活动最强的神经元。基于这种机制，本发明提出的方法我们只关注哪个神经元最先做出响应，产生脉冲，以此来判断出活动最强的神经元。

本发明提出的方法中包含4层脉冲神经元，其结构如图2所示：第一层特征提取层(T1)，第二层特征提取层(T2)，池化层(P)和识别层(R)。T1，T2，P，R层都采用上述描述的简化的IF神经元模型来构建整个脉冲神经网络，但需要配置不同的参数，包括公式(1)中的神经元的耐火周期，漏电流，膜电容，突触权值，阈值电压。本结构的主要特点是充分利用脉冲的时间信息来编码神经元的活动强度，活动越强的神经元可以越早的产生脉冲。

本发明中将AER事件作为输入脉冲，由于AER图像传感器的输出具有异步性特点，可以摆脱***时钟的限制，保证了在计算中可以更加自由的充分利用输出事件的时间信息。

特征提取层T1：在图像处理中，Gabor函数是一个用于边缘提取的线性滤波器。在本发明中该层中采用Gabor函数来运算生成卷积核，并将计算得到的卷积核配置到神经元中，作为神经元的突触权值。Gabor函数的计算如公式(2)所示：

$F_{\mathrm{\θ}}(\mathrm{\μ},\mathrm{\υ})=e^{(-\frac{{\mathrm{\μ}}_0^2+{\mathrm{\γ}}^2{v}_0^2}{2{\mathrm{\σ}}^2})}cos\left(\frac{2\mathrm{\π}}{\mathrm{\λ}}{\mathrm{\μ}}_0\right)$

μ₀＝μcosθ+vsinθ (2)

v₀＝-μsinθ+vcosθ

其中μ和ν分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状。根据需要改变上述参数的值可以产生不同尺度，不同角度的卷积核。在本层中，我们只选定一种尺度，但是会计算多种角度的卷积核，将其配置到神经元中，作为神经元的突触权值。若AER图像传感的输出分辨率是N×N，该层拟采用M种角度的卷积核，则该层需要的神经元数量为N×N×M，神经元配置适当的参数后，神经元的膜电势会按照公式(1)变化。特征提取层1(T1)中采用Gabor公式计算的卷积核作为突触权值，公式(1)中的λ＝5，σ＝2.8，卷积核的尺度设为9×9，共设置12个角度，如图2所示，每个子图上方的黑色斜线段表示卷积核的角度，神经元的阈值电压V_thresh＝200mV，I_l/C_m＝50，t_refr＝5，M＝12。

特征提取层T2：T1层某个神经元膜电势达到阈值时，该神经元会产生脉冲输出，T2层会包含不同的输入通道，每个通道都会接收T1产生的脉冲序列，不同通道的神经元会配置不同的突触权值，每个通道会使用相同尺度但是不同角度的Gabor函数计算的卷积核，作为神经元的突触权值，但是不同通道之间Gabor函数的尺度也会不同，该层所有通道使用的Gabor卷积核尺度都比T1层小，可以提取更为精确的特征信息。特征提取层2(T2)设置3个通道，公式(1)中的λ＝5，σ＝2.8，每个通道卷积核尺度分别为3×3，5×5，7×7，每种尺度又选择4中不同的角度0°，45°，90°，135°，因此T2层总共采用12种卷积核，神经元的阈值电压V_thresh＝100mV,I_l/C_m＝20,t_refr＝2，该层需要的神经元个数为N×N×12×3。

池化层P：将T2层中每相邻不重叠4×4区域的神经元的输出，作为一个单元，输入到P层的一个神经元中，此过程相当于卷积神经网络中的池化过程(pooling)。该层神经元的阈值电压设置为一个小于2毫伏值，以保证尽量多的神经元会超过阈值电压，产生输出脉冲。池化层(P)神经元的阈值电压V_thresh＝1mV,I_l/C_m＝0,t_refr＝5，该层需要的神经元个数为N/4×N/4×12×3。

识别层R：原始待识别样本(图片)分为训练样本和测试样本，训练样本和测试样本分别经过上述过程的处理。将训练样本的P层输出，输入到识别层中，并采用TempotronLearning Rule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，就可以将测试样本的P层输出，输入到该识别层中，测试识别的准确率，该层的相关参数按照经验值设置即可。

Claims (6)

1.一种用于AER的多层脉冲神经网络识别***，其特征是，包括如下模块：

整合与火IF神经元模型(Integrate-and-Fire neuron)，结构是，I₁和I₂分别代表两个输入脉冲序列，两个输入脉冲序列分别对应输入两个脉冲神经元V₁、V₂，两个脉冲神经元V₁、V₂产生的输出脉冲序列分别用O₁和O₂表示，神经元之间存在的相互抑制作用称为侧向抑制；

多层脉冲神经网络包含4层脉冲神经元：第一层特征提取层T1，第二层特征提取层T2，池化层P和识别层R；T1，T2，P，R层都采用上述IF神经元模型来构建整个脉冲神经网络，当其中一个脉冲神经元收到前一层脉冲神经元来的脉冲时，该脉冲神经元的膜电势变化过程：

如果t_i-t_lastspike＜t_refr则否则

$V_{m_i}\←\left\{\begin{array}{cc}\max \{V_{m_{i-1}}-\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if{V}_{m_{i-1}}\≥0\\ \min \{V_{m_i}+\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if{V}_{m_{i-1}}\≥0\end{array}\right.---\left(1\right)$

$V_{m_i}\←V_{m_i}+{\mathrm{\ω}}_i$

如果则t_lastspike←t_i产生输出脉冲；

其中，t_i是第i个脉冲到达神经元的时间，t_lastspike是当前神经元产生上一个脉冲的时间，t_refr是神经元的耐火周期，是第i个脉冲输入后该神经元的膜电势，是第i-1个脉冲输入后该神经元的膜电势，I_l是漏电流，C_m是膜电容，ω_i是突触权值，V_thresh是当前神经元的阈值电压。

2.如权利要求1所述的用于AER的多层脉冲神经网络识别***，其特征是，神经元在每接收到一个输入脉冲时，其膜电势V₁或V₂会相应的增加或减少，增加或减少的值由突触权值来决定，当膜电势V₁或V₂超过设定的阈值电压时，就会产生输出脉冲O₁和O₂，同时该神经元进入耐火周期，在耐火周期内，神经元在收到输入脉冲时膜电势也并不会发生变化，始终处于最小值状态。

3.如权利要求1所述的用于AER的多层脉冲神经网络识别***，其特征是，特征提取层T1：层中采用Gabor函数来运算生成卷积核，并将计算得到的卷积核配置到神经元中，作为神经元的突触权值，Gabor函数的计算如公式(2)所示：

$\begin{array}{c}{F}_{\mathrm{\θ}}(\mathrm{\μ},\mathrm{\υ})=e^{(-\frac{{\mathrm{\μ}}_0^2+{\mathrm{\γ}}^2{\mathrm{\υ}}_0^2}{2{\mathrm{\σ}}^2})}\cos \left(\frac{2\mathrm{\π}}{\mathrm{\λ}}{\mathrm{\μ}}_0\right)\\ {\mathrm{\μ}}_0=\mathrm{\μ}\cos \mathrm{\θ}+v\sin \mathrm{\θ}\\ v_0=-\mathrm{\μ}\sin \mathrm{\θ}+v\cos \mathrm{\θ}\end{array}---\left(2\right)$

其中μ和v分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，在本层中，只选定一种尺度，计算多种角度的卷积核，将其配置到神经元中，作为神经元的突触权值；若AER图像传感的输出分辨率是N×N，该层拟采用M种角度的卷积核，则该层需要的神经元数量为N×N×M，神经元配置适当的参数后，神经元的膜电势会按照公式(1)变化。

4.如权利要求1所述的用于AER的多层脉冲神经网络识别***，其特征是，特征提取层T2：特征提取层T2：T1层某个神经元膜电势达到阈值时，该神经元会产生脉冲输出，T2层会接收T1产生的脉冲序列，将接收到的脉冲序列分别输入不同的通道，不同通道的神经元会配置不同的突触权值，每个通道会使用相同尺度但是不同角度的Gabor函数计算的卷积核，做为神经元的突触权值，但是不同通道之间Gabor函数的尺度也会不同，本层所有通道使用的Gabor卷积核尺度都比T1层小。

5.如权利要求1所述的用于AER的多层脉冲神经网络识别***，其特征是，池化层P：将T2层中每相邻不重叠4×4区域的神经元的输出，作为一个单元，输入到P层的一个神经元中，此过程相当于卷积神经网络中的池化过程pooling，该层神经元的阈值电压＜2毫伏，以保证尽量多的神经元会超过阈值电压，产生输出脉冲。

6.如权利要求1所述的用于AER的多层脉冲神经网络识别***，其特征是，识别层R：原始待识别样本分为训练样本和测试样本，训练样本和测试样本分别经过上述过程的处理，将训练样本的P层输出，输入到识别层中，并采用Tempotron Learning Rule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，就可以将测试样本的P层输出，输入到该识别层中，测试识别的准确率。