CN111612136B - 一种神经形态视觉目标分类方法及*** - Google Patents

Abstract

本发明涉及一种神经形态视觉目标分类方法及***。所述方法包括获取事件相机异步输出的时空脉冲事件流；根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面；根据所述时空脉冲事件流中前K个时空脉冲事件的时间表面确定时间表面原型；利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型；采用群体编码Tempotron神经元的单层脉冲神经网络对所述时空特征进行分类。本发明所提供一种神经形态视觉目标分类方法及***，有效的解决神经形态视觉的目标识别与分类问题。

Description

一种神经形态视觉目标分类方法及***

技术领域

本发明涉及神经形态视觉的目标识别与分类的领域，特别是涉及一种神经形态视觉目标分类方法及***。

背景技术

类脑智能是未来人工智能的一个重要发展方向，其目标是通过借鉴大脑的神经结构和信息处理机制，建立一个与生物计算效率相同的仿脑人工智能***，从而达到或超越人类的智能水平。随着人工智能的高速发展，类脑研究和神经形态计算领域引起了国内外研究学者们的广泛关注。神经科学家通过模拟生物视网膜的工作机制与原理，开发出硅视网膜器件，即神经形态视觉传感器。不同于传统的视觉传感器，该类型传感器不输出帧图像信息，而是将外界视觉信息编码为连续的时空脉冲事件流，具有低功耗、低信息冗余以及高动态范围等优点。由于神经形态传感器与传统视觉传感器有本质区别，传统计算机视觉算法无法直接处理神经形态视觉传感器输出的时空脉冲事件流数据，因此需要研究和开发新的神经形态视觉算法来处理这些事件流数据。

目标识别与分类是神经形态视觉的一个重要任务。目前，现有的神经形态视觉目标识别与分类方案主要有如下三种类型：

(1)转换方法：借鉴目前流行的计算机视觉算法，研究人员通过转换深度神经网络(如卷积神经网络，循环神经网络等)为脉冲神经网络并应用到事件流图像的分类任务上。这种方法虽然避免了直接训练脉冲神经网络的困难，但是损失了一部分精度。此外，由于传统人工神经网络的训练并不能够充分利用时空信息进行学习，因此该种类型的方案并不适用于具有时空特征的动态任务。

(2)统计方法：研究人员通过采用基于统计的机器学习方法将事件流转换为一个特征向量，并利用该特征向量进行学习与分类。这种方法在特征提取阶段和学习与分类阶段都没有能够充分利用事件流固有的时间信息，并且所提取的特征也不能有效表达事件的信息。

(3)多脉冲编码与学习方法：该种方法考虑了事件序列中固有的时间信息，在各阶段中都保持地址事件的表达形式，具有较高的生物可解释行。然而，目前几乎没有同时在特征提取以及学习与分类阶段都充分利用精确时间信息的模型。

解决神经形态视觉的目标识别与分类任务的困难主要在于如何利用其精确的时间信息提取有效的时空特征信息。现有的技术中，可以采用Gabor滤波器实现特征提取部分，然而该方法对噪声的鲁棒性比较差，需要额外的数据预处理进行降噪才能提高识别与分类的精度。此外，通过Gabor滤波器来定义不同的条状特征模版，这种通过手工制作的特征模板通常对数据样本的噪声比较敏感，泛化能力也比较弱。

发明内容

本发明的目的是提供一种神经形态视觉目标分类方法及***，有效的解决神经形态视觉的目标识别与分类问题。

为实现上述目的，本发明提供了如下方案：

一种神经形态视觉目标分类方法，包括：

获取事件相机异步输出的时空脉冲事件流；所述时空脉冲事件流包括多个时空脉冲事件；所述时空脉冲事件采用地址事件表达协议进行描述；

根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面；所述时间表面用以跟踪所述时空脉冲事件以及所述时空脉冲事件的时空邻域内的活动情况；

根据所述时空脉冲事件流中前k个时空脉冲事件的时间表面确定时间表面原型；所述时间表面原型为初始化聚类中心；

利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型；所述时间表面的层次模型以更新后的时间表面原型为输入，以时空特征为输出；所述时空特征采用与所述时空脉冲事件相同的地址事件表达协议进行描述；

采用群体编码Tempotron神经元的单层脉冲神经网络对所述时空特征进行分类。

可选的，所述获取事件相机异步输出的时空脉冲事件流，具体包括：

利用公式E＝{e_i|e_i＝[x_i,y_i,t_i,p_i]^T,i∈N}确定所述时空脉冲事件流；其中，e_i为事件序列中的第i个时空脉冲事件，(x_i,y_i)为第i个时空脉冲事件的像素坐标，t_i为第i个时空脉冲事件的时间戳，p_i为第i个时空脉冲事件的光强变化极性，T为矩阵转置符号。

可选的，所述根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面，具体包括：

利用公式T_i＝max{t_j|x_i∈[x_i-r,x_i+r],y_i∈[y_i-r,y_i+r],t_j＜t_i,p_j＝p_i}确定第i个时空脉冲事件的时空上下文，其中r为以第i个时空脉冲事件为中心的空间邻域半径，T_i为第i个时空脉冲事件的时空上下文；

利用公式S_i＝exp(-(t_i-T_i)/τ)确定第i个时空脉冲事件的时间表面；其中，τ为指数核的时间常数。

可选的，所述利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型，具体包括：

利用公式C′_k＝C_k+α(S_i-βC_k)对所述时间表面原型进行更新；其中C_k为更新前的时间表面原型，C′_k为更新后的时间表面原型，α为聚类中心的更新幅度，α＝0.01/(1+n_k/20000)，β为当前事件的时间表面与其最接近的原型之间的余弦距离，β＝C_k·S_i/(||C_k||·||S_i||)，n_k表示已分配给时间表面原型C_k的事件数量。

一种神经形态视觉目标分类***，包括：

时空脉冲事件流获取模块，用于获取事件相机异步输出的时空脉冲事件流；所述时空脉冲事件流包括多个时空脉冲事件；所述时空脉冲事件采用地址事件表达协议进行描述；

时间表面确定模块，用于根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面；所述时间表面用以跟踪所述时空脉冲事件以及所述时空脉冲事件的时空邻域内的活动情况；

时间表面原型确定模块，用于根据所述时空脉冲事件流中前k个时空脉冲事件的时间表面确定时间表面原型；所述时间表面原型为初始化聚类中心；

时间表面的层次模型构建模块，用于利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型；所述时间表面的层次模型以更新后的时间表面原型为输入，以时空特征为输出；所述时空特征采用与所述时空脉冲事件相同的地址事件表达协议进行描述；

学习与分类模块，用于采用群体编码Tempotron神经元的单层脉冲神经网络对所述时空特征进行分类。

可选的，所述时空脉冲事件流获取模块具体包括：

时空脉冲事件流确定单元，用于利用公式E＝{e_i|e_i＝[x_i,y_i,t_i,p_i]^T,i∈N}确定所述时空脉冲事件流；其中，e_i为事件序列中的第i个时空脉冲事件，(x_i,y_i)为第i个时空脉冲事件的像素坐标，t_i为第i个时空脉冲事件的时间戳，p_i为第i个时空脉冲事件的光强变化极性，T为矩阵转置符号。

可选的，所述时间表面确定模块具体包括：

第i个时空脉冲事件的时间确定单元，用于利用公式T_i＝max{t_j|x_i∈[x_i-r,x_i+r],y_i∈[y_i-r,y_i+r],t_j＜t_i,p_j＝p_i}确定第i个时空脉冲事件的时空上下文，其中r为以第i个时空脉冲事件为中心的空间邻域半径，T_i为第i个时空脉冲事件的时空上下文；

第i个时空脉冲事件的时间表面确定单元，用于利用公式S_i＝exp(-(t_i-T_i)/τ)确定第i个时空脉冲事件的时间表面；其中，τ为指数核的时间常数。

可选的，所述时间表面的层次模型构建模块具体包括：

更新单元，用于利用公式C′_k＝C_k+α(S_i-βC_k)对所述时间表面原型进行更新；其中C_k为更新前的时间表面原型，C′_k为更新后的时间表面原型，α为聚类中心的更新幅度，α＝0.01/(1+n_k/20000)，β为当前事件的时间表面与其最接近的原型之间的余弦距离，β＝C_k·S_i/(||C_k||·||S_i||)，n_k表示已分配给时间表面原型C_k的事件数量。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明所提供的一种神经形态视觉目标分类方法及***，利用构建的时间表面的层次模型实现时空脉冲事件的时空特征的提取，时空脉冲事件的时间表面表示以事件为中心的局部邻域内的活动情况，并且充分利用了时间信息。特征提取的每一层都从比前一层更大的时空窗口中提取更复杂的特征。时间表面计算过程能够实现同步的降噪功能，因而不仅能够学习到有效的时间曲面原型，而且所提取的时空特征也非常的具有鲁棒性；利用群体编码Tempotron神经元的单层脉冲神经网络对所述时空特征进行分类，充分利用其中的时间信息，通过采用事件驱动的处理方式，能够在保持较高分类精度的同时实现更快的计算速度和更低的计算功耗，进而有效的解决神经形态视觉的目标识别与分类问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种神经形态视觉目标分类方法流程示意图；

图2为本发明所提供的一种神经形态视觉目标分类***结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种神经形态视觉目标分类方法及***，有效的解决神经形态视觉的目标识别与分类问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

事件相机是一种仿生的视觉感知***，它在获取视觉信息的方式上发生了范式的转变。不同于传统以固定帧率进行同步采集图像的视觉传感器，事件相机将外界场景的视觉信息异步地编码为连续的时空脉冲事件流，并采用地址事件表示协议来表达事件，具有低功耗、低信息冗余和高动态范围等优点。事件相机中的每个像素异步且独立地响应视觉场景中的光强变化，当某个像素点的光强变化超过预先设定的阈值时，事件相机就立即输出一个时空脉冲事件。

图1为本发明所提供的一种神经形态视觉目标分类方法流程示意图，如图1所示，本发明所提供的一种神经形态视觉目标分类方法，包括：

S101，获取事件相机异步输出的时空脉冲事件流；所述时空脉冲事件流包括多个时空脉冲事件；所述时空脉冲事件采用地址事件表达协议进行描述。

利用公式E＝{e_i|e_i＝[x_i,y_i,t_i,p_i]^T,i∈N}确定所述时空脉冲事件流；其中，e_i为事件序列中的第i个时空脉冲事件，(x_i,y_i)为第i个时空脉冲事件的像素坐标，t_i为第i个时空脉冲事件的时间戳，p_i为第i个时空脉冲事件的光强变化极性，T为矩阵转置符号。，N为时空脉冲事件数量。光强变化极性包括光强增加的“ON事件”或者光强减小的“OFF事件”。

S102，根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面；所述时间表面用以跟踪所述时空脉冲事件以及所述时空脉冲事件的时空邻域内的活动情况。

利用公式T_i＝max{t_j|x_i∈[x_i-r,x_i+r],y_i∈[y_i-r,y_i+r],t_j＜t_i,p_j＝p_i}确定第i个时空脉冲事件的时空上下文，其中r为以第i个时空脉冲事件为中心的空间邻域半径，T_i为第i个时空脉冲事件的时空上下文；T_i为(2r+1)*(2r+1)的矩阵，用于记录第i个时空脉冲事件邻域内的最近历史时间的中心值中的最大值。

利用公式S_i＝exp(-(t_i-T_i)/τ)确定第i个时空脉冲事件的时间表面；其中，τ为指数核的时间常数。τ用于削弱过去时空脉冲事件的时间对当前时空脉冲事件的时间表面的影响。

时间表面动态编码了时空脉冲事件的时空上下文，并且充分考虑了邻域时空脉冲事件的历史活动信息。因此，这种紧凑的表示同时提供了空间和时间信息，可以使用这种表示将事件划分为不同类型。

S103，根据所述时空脉冲事件流中前k个时空脉冲事件的时间表面确定时间表面原型；所述时间表面原型为初始化聚类中心；时空表面原型是从时空脉冲事件流中得到的一组基本时间表面，它在表达形式上与时间表面完全一致。通过比较与每个时间表面原型的距离或相似度，将输入的时空脉冲事件划分为与原型最接近的相应的类型。时间表面原型可以通过对时空脉冲事件的时间表面进行无监督在线增量聚类学习得到。

利用公式C_i＝S_i,i∈[1,k]确定时间表面原型。

S104，利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型；所述时间表面的层次模型以更新后的时间表面原型为输入，以时空特征为输出；所述时空特征采用与所述时空脉冲事件相同的地址事件表达协议进行描述。其中，剩余时空脉冲事件是指除前k个时空脉冲事件外的其它时空脉冲事件。

利用公式C′_k＝C_k+α(S_i-βC_k)对所述时间表面原型进行更新；其中C_k为更新前的时间表面原型，C′_k为更新后的时间表面原型，α为聚类中心的更新幅度，α＝0.01/(1+n_k/20000)，β为当前事件的时间表面与其最接近的原型之间的余弦距离，β＝C_k·S_i/(||C_k||·||S_i||)，n_k表示已分配给时间表面原型C_k的事件数量。

时间表面原型在线聚类的学习阶段，时间表面原型需要根据新传入的时空脉冲事件进行动态更新。与学习阶段不同，在分类阶段，时间表面原型应始终保持固定，不因任何新传入事件进行更新，而是当传入的时空脉冲事件的时间表面一旦找到与其最接近的原型后，传入的时空脉冲事件将转换为相应的特征事件，并保持与输入的时空脉冲事件相同的地址事件表达形式为：

feat＝[x_i,y_i,t_i,k]^T。

其中，k表示对应时间表面原型C_k的聚类中心下标。为了能够提取更鲁棒有效的时空特征，在计算时间表面时，若绝大部分的时间衰减数值都小于某个阈值则可以将该时空脉冲事件视为噪点，并丢弃，从而可以在时空特征提取的同时，进行同步降噪，提取的时空特征对噪声也具有一定的鲁棒性。

除此之外，基于时间表面的特征提取的输入与输出都采用相同的地址时间表达形式，因此，可以考虑采用前一层时间表面聚类输出的时空特征直接作为后一层时间表面聚类的输入，构建时间表面的层次模型，从而能够通过更大的时空窗口进一步提取更复杂的特征。随着每一层时间表面原型数量的增加，计算时间也随之增加。为了提高特征提取的速度，在每一层特征提取后添加一个池化操作，从而减少下一层时空特征提取的计算时间以及后续学习阶段的参数数量。池化过程还需加入不应期来减少脉冲的数量。池化操作在维护特性属性的同时减少了事件的数量，从而加快了下一层特性提取的速度。虽然池化操作可能会降低模型的精度，但是可以通过增加时间表面原型的数量来补偿。

S105，采用群体编码Tempotron神经元的单层脉冲神经网络对所述时空特征进行分类。

脉冲神经网络作为新一代的人工神经网络，与传统基于速率编码的人工神经网络相比，具有更强大的计算能力，是处理复杂时空信息的有效工具。由于事件相机输出的事件属于时空脉冲信号，经上一步骤的时空特征提取后，特征事件保持与输入事件相同的地址事件表达形式，同样具备时空脉冲信号的特点，无需再经过神经编码就能输入到脉冲神经网络模型中进行学习与分类。

Tempotron是基于梯度下降的脉冲神经网络的有监督学习算法。单个Tempotron神经元能够有效完成二分类任务，只需要将神经元标记为发放或者不发放。神经元模型选择简单的神经元模型(Leaky Integrate-and-Fire，LIF)，每当突触前神经元输入一个脉冲就会产生一个突触后电位，神经元膜电位为所有突触前神经元产生的突触后电位加权和为：

其中，ω_i表示第i个突触的突触权值，t_i表示第i个突触前神经元输入脉冲的时间，V_rest表示神经元的静息电位。当V(t)超过预设的阈值V_thr时，神经元就会产生脉冲，并将V(t)重置为V_rest。K表示归一化后的突触后电位核函数：

其中，τ_m为膜电位时延常数，τ_s为突触电流时延常数，一般选择τ_m＝4τ_s，V₀用于归一化并使核函数的最大值为1。

Tempotron学习规则通过确定神经元是否发放脉冲来调整突触权重。假设神经元发放与不发放脉冲分别代表正类与负类。如果输入的脉冲序列是正类，则神经元应该发放脉冲，若没有发放，则应该提高突触权重，使得膜电位大于阈值并发放脉冲。反过来，如果输入的脉冲序列是负类，则神经元应该不发放脉冲，若发放，则应该降低突触权重，使得膜电位小于阈值并不发放脉冲。Tempotron学习规则通过计算神经元膜电位峰值V_max与脉冲发放阈值V_thr的差来进行反向传播，其损失函数为定义为：

Tempotron学习算法采用基于梯度下降的方法进行突触连接权重的更新，突触权值的改变量计算公式如下所示：

其中，t_max表示神经元膜电位达到峰值的时刻，λ表示学习率。

在本专利方法中，采用由Tempotron神经元构成的脉冲神经网络作为***模型最后阶段的分类器，输入的脉冲序列为上一阶段时空特征提取输出的特征事件。由于单个神经元的活动易受干扰，因此采用群体编码方式对多个输出的Tempotron神经元，通过多个神经元的联合活动来表达输出信号，增强神经元的表达能力和对抗噪声的鲁棒性。对于N分类任务，每个类都与M个Tempotron神经元相关联，因此输出层总共需要N×M个Tempotron神经元。在脉冲神经网络的学习阶段，只有对应类别群组的Tempotron神经元需要发放脉冲，而其他群组的Tempotron神经元都不需要发放脉冲；而在脉冲神经网络的分类预测阶段，采用多数投票的方法，哪个群组的Tempotron神经元发放脉冲的个数最多，则将该脉冲模式预测为相应的类别，从而实现对目标物体的识别。由于异步的事件驱动比同步的时钟驱动更适用于模拟离散事件***，因此该模型中的脉冲神经网络采用事件驱动的方式进行模拟。

图2为本发明所提供的一种神经形态视觉目标分类***结构示意图，如图2所示，本发明所提供的一种神经形态视觉目标分类***，包括：时空脉冲事件流获取模块201、时间表面确定模块202、时间表面原型确定模块203、时间表面的层次模型构建模块204和学习与分类模块205。

时空脉冲事件流获取模块201用于获取事件相机异步输出的时空脉冲事件流；所述时空脉冲事件流包括多个时空脉冲事件；所述时空脉冲事件采用地址事件表达协议进行描述。

时间表面确定模块202用于根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面；所述时间表面用以跟踪所述时空脉冲事件以及所述时空脉冲事件的时空邻域内的活动情况。

时间表面原型确定模块203用于根据所述时空脉冲事件流中前k个时空脉冲事件的时间表面确定时间表面原型；所述时间表面原型为初始化聚类中心。

时间表面的层次模型构建模块204用于利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型；所述时间表面的层次模型以更新后的时间表面原型为输入，以时空特征为输出；所述时空特征采用与所述时空脉冲事件相同的地址事件表达协议进行描述。

学习与分类模块205用于采用群体编码Tempotron神经元的单层脉冲神经网络对所述时空特征进行分类。

所述时空脉冲事件流获取模块201具体包括：时空脉冲事件流确定单元。

时空脉冲事件流确定单元用于利用公式E＝{e_i|e_i＝[x_i,y_i,t_i,p_i]^T,i∈N}确定所述时空脉冲事件流；其中，e_i为事件序列中的第i个时空脉冲事件，(x_i,y_i)为第i个时空脉冲事件的像素坐标，t_i为第i个时空脉冲事件的时间戳，p_i为第i个时空脉冲事件的光强变化极性，T为矩阵转置符号。

所述时间表面确定模块202具体包括：第i个时空脉冲事件的时间确定单元和第i个时空脉冲事件的时间表面确定单元。

第i个时空脉冲事件的时间确定单元用于利用公式T_i＝max{t_j|x_i∈[x_i-r,x_i+r],y_i∈[y_i-r,y_i+r],t_j＜t_i,p_j＝p_i}确定第i个时空脉冲事件的时空上下文，其中r为以第i个时空脉冲事件为中心的空间邻域半径，T_i为第i个时空脉冲事件的时空上下文。

第i个时空脉冲事件的时间表面确定单元用于利用公式S_i＝exp(-(t_i-T_i)/τ)确定第i个时空脉冲事件的时间表面；其中，τ为指数核的时间常数。

所述时间表面的层次模型构建模块具体包括：更新单元。

更新单元用于利用公式C′_k＝C_k+α(S_i-βC_k)对所述时间表面原型进行更新；其中C_k为更新前的时间表面原型，C′_k为更新后的时间表面原型，α为聚类中心的更新幅度，α＝0.01/(1+n_k/20000)，β为当前事件的时间表面与其最接近的原型之间的余弦距离，β＝C_k·S_i/(||C_k||·||S_i||)，n_k表示已分配给时间表面原型C_k的事件数量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种神经形态视觉目标分类方法，其特征在于，包括：

获取事件相机异步输出的时空脉冲事件流；所述时空脉冲事件流包括多个时空脉冲事件；所述时空脉冲事件采用地址事件表达协议进行描述；

根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面；所述时间表面用以跟踪所述时空脉冲事件以及所述时空脉冲事件的时空邻域内的活动情况；

根据所述时空脉冲事件流中前k个时空脉冲事件的时间表面确定时间表面原型；所述时间表面原型为初始化聚类中心；

利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型；所述时间表面的层次模型以更新后的时间表面原型为输入，以时空特征为输出；所述时空特征采用与所述时空脉冲事件相同的地址事件表达协议进行描述；

采用群体编码Tempotron神经元的单层脉冲神经网络对所述时空特征进行分类。

2.根据权利要求1所述的一种神经形态视觉目标分类方法，其特征在于，所述获取事件相机异步输出的时空脉冲事件流，具体包括：

利用公式E＝{e_i|e_i＝[x_i,y_i,t_i,p_i]^T,i∈N}确定所述时空脉冲事件流；其中，e_i为事件序列中的第i个时空脉冲事件，(x_i,y_i)为第i个时空脉冲事件的像素坐标，t_i为第i个时空脉冲事件的时间戳，p_i为第i个时空脉冲事件的光强变化极性，T为矩阵转置符号。

3.根据权利要求2所述的一种神经形态视觉目标分类方法，其特征在于，所述根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面，具体包括：

利用公式T_i＝max{t_j|x_i∈[x_i-r,x_i+r],y_i∈[y_i-r,y_i+r],t_j＜t_i,p_j＝p_i}确定第i个时空脉冲事件的时空上下文，其中r为以第i个时空脉冲事件为中心的空间邻域半径，T_i为第i个时空脉冲事件的时空上下文；

利用公式S_i＝exp(-(t_i-T_i)/τ)确定第i个时空脉冲事件的时间表面；其中，τ为指数核的时间常数。

4.根据权利要求3所述的一种神经形态视觉目标分类方法，其特征在于，所述利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型，具体包括：

利用公式C′_k＝C_k+α(S_i-βC_k)对所述时间表面原型进行更新；其中C_k为更新前的时间表面原型，C′_k为更新后的时间表面原型，α为聚类中心的更新幅度，α＝0.01/(1+n_k/20000)，β为当前事件的时间表面与其最接近的原型之间的余弦距离，β＝C_k·S_i/(||C_k||·||S_i||)，n_k表示已分配给时间表面原型C_k的事件数量。

5.一种神经形态视觉目标分类***，其特征在于，包括：

时空脉冲事件流获取模块，用于获取事件相机异步输出的时空脉冲事件流；所述时空脉冲事件流包括多个时空脉冲事件；所述时空脉冲事件采用地址事件表达协议进行描述；

时间表面确定模块，用于根据所述时空脉冲事件流确定所述时空脉冲事件流中每一时空脉冲事件的时间表面；所述时间表面用以跟踪所述时空脉冲事件以及所述时空脉冲事件的时空邻域内的活动情况；

时间表面原型确定模块，用于根据所述时空脉冲事件流中前k个时空脉冲事件的时间表面确定时间表面原型；所述时间表面原型为初始化聚类中心；

时间表面的层次模型构建模块，用于利用所述时空脉冲事件流中剩余时空脉冲事件的时间表面对所述时间表面原型进行更新，构建时间表面的层次模型；所述时间表面的层次模型以更新后的时间表面原型为输入，以时空特征为输出；所述时空特征采用与所述时空脉冲事件相同的地址事件表达协议进行描述；

学习与分类模块，用于采用群体编码Tempotron神经元的单层脉冲神经网络对所述时空特征进行分类。

6.根据权利要求5所述的一种神经形态视觉目标分类***，其特征在于，所述时空脉冲事件流获取模块具体包括：

时空脉冲事件流确定单元，用于利用公式E＝{e_i|e_i＝[x_i,y_i,t_i,p_i]^T,i∈N}确定所述时空脉冲事件流；其中，e_i为事件序列中的第i个时空脉冲事件，(x_i,y_i)为第i个时空脉冲事件的像素坐标，t_i为第i个时空脉冲事件的时间戳，p_i为第i个时空脉冲事件的光强变化极性，T为矩阵转置符号。

7.根据权利要求6所述的一种神经形态视觉目标分类***，其特征在于，所述时间表面确定模块具体包括：

第i个时空脉冲事件的时间确定单元，用于利用公式T_i＝max{t_j|x_i∈[x_i-r,x_i+r],y_i∈[y_i-r,y_i+r],t_j＜t_i,p_j＝p_i}确定第i个时空脉冲事件的时空上下文，其中r为以第i个时空脉冲事件为中心的空间邻域半径，T_i为第i个时空脉冲事件的时空上下文；

第i个时空脉冲事件的时间表面确定单元，用于利用公式S_i＝exp(-(t_i-T_i)/τ)确定第i个时空脉冲事件的时间表面；其中，τ为指数核的时间常数。

8.根据权利要求7所述的一种神经形态视觉目标分类***，其特征在于，所述时间表面的层次模型构建模块具体包括：

更新单元，用于利用公式C′_k＝C_k+α(S_i-βC_k)对所述时间表面原型进行更新；其中C_k为更新前的时间表面原型，C′_k为更新后的时间表面原型，α为聚类中心的更新幅度，α＝0.01/(1+n_k/20000)，β为当前事件的时间表面与其最接近的原型之间的余弦距离，β＝C_k·S_i/(||C_k||·||S_i||)，n_k表示已分配给时间表面原型C_k的事件数量。

Images