CN105404902A - 基于脉冲神经网络的图像特征描述和记忆方法 - Google Patents

Abstract

本发明提出了一种基于脉冲神经网络的图像特征描述和记忆方法，包括：输入M张归一化的图像，根据图像大小确定脉冲神经网络的层数，对图像预处理获得每个像素点处的梯度方向，并将其离散化为预设值个值，根据离散化后的梯度方向确定脉冲神经网络中第一层每预设值个神经元中的一个发放，根据第一层神经元的发放情况计算第二层神经元的膜电位，以确定第二层神经元的发放情况，得到所有层神经元的发放情况，根据所有层神经元发放的时序关系和脉冲时间依赖的突触可塑性STDP规则调整脉冲神经网络各层之间的连接权重，以连接权重的形式描述和记忆图像特征。本发明的方法能描述记忆多种类别的图像，并能够完整地恢复图像，同时还具有图像分类功能。

Description

基于脉冲神经网络的图像特征描述和记忆方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于脉冲神经网络的图像特征描述和记忆方法。

背景技术

计算机视觉是使用计算机及相关设备模拟生物视觉，其最终研究目标是使计算机能像人一样通过视觉观察和理解世界，对环境具有自主适应能力。目前，计算机视觉广泛应用于工业、军事等领域，具体应用包括机器人路径规划、无人机侦查、自主战斗等。然而，要实现上述应用，其中一项最基本且重要的研究内容是计算机视觉中的图像分类与识别。其研究思路是：首先，设计一种图像特征的描述和记忆方法；然后，用该方法描述和记忆训练图像，并记录描述和记忆结果；最后，用同样的方法描述和记忆测试图像，并记录描述和记忆结果，将训练图像和测试图像的描述和记忆结果进行比较，最终实现图像分类与识别。可以看出，从很大程度上说，图像特征的描述和记忆方法决定了图像分类与识别的效果。

传统的图像分类和识别算法是将图像分解为一系列局部区域，提取局部区域中的图像特征，用所有局部特征集合来描述和记忆图像。在上述方法中，特征的选择与提取较为繁琐，且计算复杂。后来，有研究者将卷积神经网络应用于图像描述和记忆，一定程度上改善了传统的图像描述和记忆方法中特征提取的复杂度。卷积神经网络借鉴了人类视觉***的层级结构和局部感受野特性，网络中每个神经元表示一种特征，上层特征由下层某一局部区域内的特征经线性组合及非线性变换后得到。通过反向传播算法训练该网络可自动提取对分类最有影响的特征，因而这类方法在很大程度上提高了图像分类准确率。

然而，无论是采用集合方法还是线性组合方法来描述图像局部特征的组合，都会丢失特征之间的相对位置信息，导致无法根据记忆对图像进行较完整的恢复，即现有的这些方法对于图像的描述和记忆还不够完整。此外，上述这些方法大多属于监督学习的范畴，且规模不大，虽然经过训练后能够较好地描述训练样本集中图像的特征，但是对于训练样本集外的其他类别的图像通常不能较好地描述，需要重新训练。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

有鉴于此，本发明需要提供一种基于脉冲神经网络的图像特征描述和记忆方法，该方法能同时描述记忆多种类别的图像，并能够完整地恢复图像，同时还具有图像分类功能。

根据本发明的一个实施例，提出了一种基于脉冲神经网络的图像特征描述和记忆方法，包括以下步骤：

输入M张归一化的图像；

根据所述图像的大小确定脉冲神经网络的层数N，其中，N为大于1的整数；

对所述图像进行预处理，获得所述图像中每个像素点处的梯度方向，并将所述梯度方向离散化为预设值个值；

根据离散化后的所述梯度方向确定所述脉冲神经网络中第一层每所述预设值个神经元中的一个发放；

根据所述第一层神经元的发放情况计算第二层神经元的膜电位，以确定所述第二层神经元的发放情况，进而得到所有层神经元的发放情况；

根据所述所有层神经元发放的时序关系和STDP(Spike-Timing-DependentPlasticity，脉冲时间依赖的突触可塑性)规则调整所述脉冲神经网络各层之间的连接权重，以所述连接权重的形式描述和记忆所述图像特征。

根据本发明的一个实施例，根据所述图像的大小和所述层数确定所述脉冲神经网络各层感受野的大小，其中，所述脉冲神经网络中第一层神经元的感受野大小为一个像素。

根据本发明的一个实施例，所述对所述图像进行预处理，获得所述图像中每个像素点处的梯度方向的方法采用Prewitt算子、Sobel算子、Kirsch算子和罗盘算子中的一种。

根据本发明的一个实施例，所述预设值是4。

根据本发明的一个实施例，所述N层的网络中包含N-1种类型的单元网络，其中，所述单元网络为由所述N层网络位于连续的两层中的部分神经元构成的网络。

根据本发明的一个实施例，所述发放神经元按泊松过程发放。

根据本发明的一个实施例，所述根据所述第一层神经元的发放情况计算第二层神经元的膜电位，以确定所述第二层神经元的发放情况，具体步骤如下：

将独立同分布的指数分布的随机数作为发放时间间隔；

根据所述发放时间间隔得到发放时刻；

以一毫秒为时间步长，将所述发放时刻离散化；

根据所述离散化后的发放时刻，生成所述第一层神经元的发放脉冲y_i(t)；

根据所述y_i(t)通过以下公式计算所述第二层神经元的所述膜电位u_k(t)：

$u_k\left(t\right)=\underset{i=1}{\overset{n}{\Σ}}{w}_{ki}\·y_i\left(t\right),$

其中，w_ki为所述第一层神经元与所述第二层神经元的连接权重，y_i为所述第一层神经元，1≤i≤n，n为所述第一层神经元的个数，1≤k≤K，K为所述第二层神经元的个数，σ为所述y_i发放时向对应的第二层神经元发出的单位脉冲宽度；

通过为所述第一层神经元发放对应的第二层神经元附加WTA(Winner-Take-All，赢者通吃)约束，选出膜电位最高的所述第二层神经元即为所述第二层发放的神经元。

根据本发明的一个实施例，所述根据所述所有层神经元发放的时序关系和STDP规则调整所述脉冲神经网络各层之间的连接权重，具体步骤如下：

当一个上层神经元发放时，发放时刻记作t^f，按照STDP规则调整所有下层神经元与上层神经元的连接权重：

判断上层神经元在[t^f-σ,t^f]内是否有发放；

若是，则增大所述连接权重，若否，则减小所述连接权重。

本发明实施例的基于脉冲神经网络的图像特征描述和记忆方法，根据输入图像的大小确定脉冲神经网络的层数，并根据离散化后的图像梯度方向确定脉冲神经网络中第一层每预设值个神经元中的一个发放，根据第一层神经元的发放情况计算第二层神经元的膜电位，以确定第二层神经元的发放情况，得到所有层神经元的发放情况，根据所有层神经元发放的时序关系和STDP规则调整脉冲神经网络各层之间的连接权重，以连接权重的形式描述和记忆图像特征。本发明的方法能同时描述记忆多种类别的图像，并能够完整地恢复图像，同时还具有图像分类功能。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于脉冲神经网络的图像特征描述和记忆方法的流程图；

图2为根据本发明一个实施例的单元网络结构示意图；

图3为根据本发明一个实施例的根据上层神经元的发放情况确定下层神经元的发放情况的方法的流程图；

图4为根据本发明一个实施例的脉冲神经网络第三层对输入图像的描述示意图；

图5为根据本发明一个实施例的调整链接权重的方法的流程图；

图6为根据本发明一个实施例的单元网络中神经元的连接和发放示意图；

图7为根据本发明一个实施例的图像特征描述和记忆的脉冲神经网络结构示意图；

图8为根据本发明一个实施例的脉冲神经网络对人脸图像的记忆示意图。

具体实施方式

下面参考附图描述根据本发明实施例的基于脉冲神经网络的图像特征描述和记忆方法，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明的实施例提出了一种基于脉冲神经网络的图像特征描述和记忆方法。

图1为根据本发明一个实施例的基于脉冲神经网络的图像特征描述和记忆方法的流程图。

如图1所示，本发明实施例的基于脉冲神经网络的图像特征描述和记忆方法，包括以下步骤：

S101，输入M张归一化的图像。

其中，M为整数，可以是40。图像类别可以是多种，例如人脸、风景、动物等。但图像大小相同，例如可以为112×96。

S102，根据图像的大小确定脉冲神经网络的层数N。

其中，N为大于1的整数，例如可以为4。

在本发明的实施例中，N层的网络中包含N-1种类型的单元网络，其中，单元网络为由N层网络位于连续的两层中的部分神经元构成的网络。

进一步地，在本发明的一个实施例中，还可以根据图像的大小和层数确定脉冲神经网络各层感受野的大小，其中，脉冲神经网络中第一层神经元的感受野大小为一个像素。

具体地，可以选取40张112×96大小的人脸图像作为输入，此时可采用一个四层脉冲神经网络来进行描述和记忆，网络中自底向上各层神经元的感受野大小依次为：1×1、7×6、28×24、112×96。

S103，对图像进行预处理，获得图像中每个像素点处的梯度方向，并将梯度方向离散化为预设值个值。

其中，预设值可以为4。

在本发明的实施例中，脉冲神经网络中第一层(最底层)神经元的感受野为单个像素，它们对不同方向的边缘特征敏感，可以通过对输入图像进行预处理实现。

具体地，可以采用Prewitt算子、Sobel算子、Kirsch算子和罗盘算子中的一种对图像进行预处理，例如，可先用Sobel算子获得图像中每个像素点处的梯度方向，再根据需要将梯度方向离散化。如果需要第一层神经元对四种不同方向的边缘特征敏感，就可以将各像素点处的梯度方向离散化为四个值。

S104，根据离散化后的梯度方向确定脉冲神经网络中第一层每预设值个神经元中的一个发放。

其中，发放神经元按泊松过程发放。

在本发明的一个具体实施例中，图像中每个像素点可以对应四个第一层神经元，根据各像素点处离散化后的梯度方向，可以相应地使每四个神经元中的一个发放。为了凸显图像中的边缘信息，可以用Canny算子提取图像的边缘，进而只让图像边缘像素点对应的神经元有发放，而其他不属于图像边缘的像素点对应的神经元均不发放。

S105，根据第一层神经元的发放情况计算第二层神经元的膜电位，以确定第二层神经元的发放情况，进而得到所有层神经元的发放情况。

在本发明的实施例中，脉冲神经网络实际上可以是由一系列单元网络组合级联构成的，如图2所示。

需要说明的是，在一个四层脉冲网络结构中，共有三种类型的单元网络，它们分别是由7×6×4个第一层神经元和40个第二层神经元构成的单元网络、由4×4×40个第二层神经元和40个第三层神经元构成的单元网络、由4×4×40个第三层神经元和40个第四层神经元构成的单元网络。它们的实现方法是类似的，下面可以以第一类单元网络为例进行说明：

在第一类单元网络中，第二层神经元表示输入图像的某个特定位置、大小为7×6的局部区域内可能出现的特征，这些特征是由第一层神经元表示的特征按一定的位置关系组合形成的。如果共40张图像，则每个局部区域可能出现的特征不超过40种，用40个第二层神经元是足够的。

如图3所示，根据第一层神经元的发放情况计算第二层神经元的膜电位，以确定第二层神经元的发放情况，具体步骤如下：

S201，将独立同分布的指数分布的随机数作为发放时间间隔。

在本发明的实施例中，每张输入图像都会维持一段时间，以便充分记忆。在输入图像不变的这段时间内，按前述预处理方法可以确定第一层哪些神经元会发放，使这些神经元按泊松过程发放。具体地，可以生成独立同指数分布的随机数作为发放时间间隔，其中，指数分布的参数可以为0.08。

S202，根据发放时间间隔得到发放时刻。

S203，以一毫秒为时间步长，将发放时刻离散化。

S204，根据离散化后的发放时刻，生成第一层神经元的发放脉冲y_i(t)。

S205，根据y_i(t)通过式(1)计算第二层神经元的膜电位u_k(t)：

$u_k\left(t\right)=\underset{i=1}{\overset{n}{\Σ}}{w}_{ki}\·y_i\left(t\right)---\left(1\right)$

其中，w_ki为第一层神经元与第二层神经元的连接权重，y_i为第一层神经元，1≤i≤n，n为所述第一层神经元的个数，1≤k≤K，K为第二层神经元的个数，σ为y_i发放时向对应的第二层神经元发出的单位脉冲宽度，可以为25。权重初值可使用小的随机数，如[0,1]内均匀分布的随机数。

S206，通过为第一层神经元发放对应的第二层神经元附加WTA约束，选出膜电位最高的第二层神经元即为第二层发放的神经元。

在本发明的实施例中，不必每过一毫秒就计算一次u_k(t)的值，因为第二层神经元群的总发放率是恒定的，而且较短时间内只有一个第二层神经元发放，故可按前述方法先计算第二层神经元群的发放时刻，在这些时刻计算第二层各个神经元的膜电位，让膜电位最高的神经元在相应时刻发出一个脉冲即可。

举例说明，图4为本发明一个具体实施例的脉冲神经网络中第三层神经元的发放情况示意图，横坐标表示时间，纵坐标表示神经元的编号。这里共有40张输入图像，每张图像学习5000毫秒，第三层神经元共60个。经过学习，每张图像在第三层可由单一神经元的发放来描述，这也可以认为是对输入图像的一种分类，而不发放的那20个神经元保留了对新的输入图像的描述能力。神经元的规模越大，其描述大量多类别图像的能力就越强。

S106，根据所有层神经元发放的时序关系和STDP规则调整脉冲神经网络各层之间的连接权重，以连接权重的形式描述和记忆图像特征。

在本发明的实施例中，如图5所示，根据所有层神经元发放的时序关系和STDP规则调整脉冲神经网络各层之间的连接权重，具体步骤如下：

S301，当一个上层神经元发放时，发放时刻记作t^f，按照STDP规则调整所有下层神经元与上层神经元的连接权重。

S302，判断上层神经元在[t^f-σ,t^f]内是否有发放。

S303，若是，则增大连接权重，若否，则减小连接权重。

在本发明的实施例中，对连接权重进行上述无监督学习后，每个输出神经元都会逐渐地对输入神经元群的某种特定的响应模式敏感。

具体地，图7为一个单元网络中输入神经元和输出神经元的连接关系示意图。图7中左侧为输入神经元，每个框内的神经元为一组(即具有相同的感受野)，右侧为输出神经元，它们各自与所有输入神经元相连，且感受野由各组输入神经元的感受野拼接而成。假设输入一张图像时，z₂神经元的膜电位最高，则在一段时间内输出神经元中只有z₂发放(利用WTA机制)，对图中黑色粗线标出的连接权重需按STDP规则进行调整，即可通过式(2)调整所有与之相关的连接权重w_ki(1≤i≤n＝7×6×4)：

w_ki＝w_ki+η_ki·Δw_ki(2)

其中，Δw_ki＝y_i(t^f)·exp(-w_ki)-1，η_ki可取较小的常数，如0.01，也可根据w_ki的变化通过式(3)进行自适应调整，例如

${\mathrm{\η}}_{ki}=\frac{E\[w_{ki}^2\]-E{\[w_{ki}\]}^2}{\exp \left(-E\[w_{ki}\]\right)+1}--\left(3\right)$

权重调整的结果是使第二层神经元发生分化，即在该单元网络中的每个第二层神经元能够对同一图像区域的不同特征敏感。

将所有第二层神经元的发放时刻记录下来，就可以用类似的办法实现更上层神经元的发放和权重学习。最终，整个脉冲神经网络通过各层神经元的发放来描述输入图像，并以连接权重的形式将图像各尺度的特征记忆了下来。

本发明实施例的基于脉冲神经网络的图像特征描述和记忆方法，根据输入图像的大小确定脉冲神经网络的层数N，并根据离散化后的图像梯度方向确定脉冲神经网络中第一层每预设值个神经元中的一个发放，根据第一层神经元的发放情况计算第二层神经元的膜电位，以确定第二层神经元的发放情况，得到所有层神经元的发放情况，根据所有层神经元发放的时序关系和STDP规则调整脉冲神经网络各层之间的连接权重，以连接权重的形式描述和记忆图像特征。本发明的方法能同时描述记忆多种类别的图像，并能够完整地恢复图像，同时还具有图像分类功能。

为方便理解本发明实施例的基于脉冲神经网络的图像特征描述和记忆方法，可以通过图7对本发明进行描述和详细说明。

如图7所示，小圆点表示神经元，它们具有层次化的结构。每一层中，神经元按照其感受野的不同被划分为若干组，各组神经元的感受野能够无重叠地覆盖整幅图像，而且神经元的排布与其感受野的位置是对应的。图中用虚线划分每一层的感受野，需要说明的是，最高层神经元的感受野覆盖整幅图像，所以没有划分。

在脉冲神经网络的底层，神经元的感受野较小，这些神经元对一些简单的局部特征(例如边缘特征)较为敏感；每上升一层，神经元的感受野由位于下面一层邻近位置的若干组神经元的感受野拼接而成。如图7所示，有2×2组神经元，每上升一层，神经元的感受野扩大四倍(实际上，在不同层次，感受野的扩大倍数可以不同)。此时，下层的2×2组神经元和上层的一组神经元之间建立全连接，而和上层其他各组神经元之间均不连接。

通过为每组神经元附加WTA约束，可以使输入图像不变时，每组内只有一个神经元响应较为强烈，这样上层响应的神经元就可以确切地知道下层响应的若干神经元之间的位置关系，从而能很自然地表示出下层神经元所敏感的局部特征拼接形成的复杂特征。

进一步地，根据神经元的响应，按照STDP规则可以非监督地对神经元间的连接权重进行调整，最终使得每个神经元只对其感受野内图像的某种特征敏感，且同组内不同神经元对不同的图像特征敏感。神经元对图像特征的记忆体现在其连接权重中，在调整连接权重时，相似的特征(即由同一个神经元响应的特征)自动归为一类。又由于网络在每一层都保留了位置信息，所以该网络可以在各个抽象层次上对输入图像(如图7中的猫)进行完整的描述。不仅如此，利用该网络的记忆，即各层神经元之间的连接关系，还可以生成新的有意义的图像。如图8所示，为利用本发明实施例的脉冲神经网络学习后的连接权重重构出来的部分人脸图像，说明该网络具有较完整和清晰的记忆能力。

需要说明的是，由于单元网络中输出神经元的响应和输入神经元的响应类似，即一段时间内感受野相同的神经元群中至多有一个神经元发放，所以将单元网络组合级联形成如图7所示的层次结构是合理且自然的，在级联时只需将下层若干个单元网络的输出神经元作为上一层某单元网络的输入神经元即可。在同一层中，不同单元网络的感受野互不交叠，它们独立处理输入图像的不同部分，因而可以采用并行计算的方式，大幅提升网络整体的处理速度。虽然脉冲神经网络中用大量神经元来表示一个感受野中可能出现的各种特征，以保证对于各种类别的图像都有较强的描述能力，造成计算复杂度高，但由于权重学习所采用的STDP规则是一种局部学习策略，且可进行并行计算，所以在描述图像时在处理速度上不会有较大牺牲。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (8)

1.一种基于脉冲神经网络的图像特征描述和记忆方法，其特征在于，包括以下步骤：

输入M张归一化的图像；

根据所述图像的大小确定脉冲神经网络的层数N，其中，N为大于1的整数；

对所述图像进行预处理，获得所述图像中每个像素点处的梯度方向，并将所述梯度方向离散化为预设值个值；

根据离散化后的所述梯度方向确定所述脉冲神经网络中第一层每所述预设值个神经元中的一个发放；

根据所述第一层神经元的发放情况计算第二层神经元的膜电位，以确定所述第二层神经元的发放情况，进而得到所有层神经元的发放情况；

根据所述所有层神经元发放的时序关系和STDP规则调整所述脉冲神经网络各层之间的连接权重，以所述连接权重的形式描述和记忆所述图像特征。

2.如权利要求1所述的基于脉冲神经网络的图像特征描述和记忆方法，其特征在于，根据所述图像的大小和所述层数确定所述脉冲神经网络各层感受野的大小，其中，所述脉冲神经网络中第一层神经元的感受野大小为一个像素。

3.如权利要求1所述的基于脉冲神经网络的图像特征描述和记忆方法，其特征在于，所述对所述图像进行预处理，获得所述图像中每个像素点处的梯度方向的方法采用Prewitt算子、Sobel算子、Kirsch算子和罗盘算子中的一种。

4.如权利要求1所述的基于脉冲神经网络的图像特征描述和记忆方法，其特征在于，所述预设值是4。

5.如权利要求1所述的基于脉冲神经网络的图像特征描述和记忆方法，其特征在于，所述N层的网络中包含N-1种类型的单元网络，其中，所述单元网络为由所述N层网络位于连续的两层中的部分神经元构成的网络。

6.如权利要求1所述的基于脉冲神经网络的图像特征描述和记忆方法，其特征在于，所述发放神经元按泊松过程发放。

7.如权利要求1所述的基于脉冲神经网络的图像特征描述和记忆方法，其特征在于，所述根据所述第一层神经元的发放情况计算第二层神经元的膜电位，以确定所述第二层神经元的发放情况，具体步骤如下：

将独立同分布的指数分布的随机数作为发放时间间隔；

根据所述发放时间间隔得到发放时刻；

以一毫秒为时间步长，将所述发放时刻离散化；

根据所述离散化后的发放时刻，生成所述第一层神经元的发放脉冲y_i(t)；

根据所述y_i(t)通过以下公式计算所述第二层神经元的所述膜电位u_k(t)：

$u_k\left(t\right)=\underset{i=1}{\overset{n}{\Σ}}{w}_{ki}\·y_i\left(t\right),$

其中，w_ki为所述第一层神经元与所述第二层神经元的连接权重，y_i为所述第一层神经元，1≤i≤n，n为所述第一层神经元的个数，1≤k≤K，K为所述第二层神经元的个数，σ为所述y_i发放时向对应的第二层神经元发出的单位脉冲宽度；

通过为所述第一层神经元发放对应的第二层神经元附加WTA约束，选出膜电位最高的所述第二层神经元即为所述第二层发放的神经元。

8.如权利要求1所述的基于脉冲神经网络的图像特征描述和记忆方法，其特征在于，所述根据所述所有层神经元发放的时序关系和STDP规则调整所述脉冲神经网络各层之间的连接权重，具体步骤如下：

当一个上层神经元发放时，发放时刻记作t^f，按照STDP规则调整所有下层神经元与上层神经元的连接权重：

判断上层神经元在[t^f-σ,t^f]内是否有发放；

若是，则增大所述连接权重，若否，则减小所述连接权重。