CN112308087B - 基于动态视觉传感器的一体化成像识别方法 - Google Patents

Abstract

本发明提出了一种基于动态视觉传感器的一体化成像识别***和方法，旨在解决现有技术中存在的***功耗较高和目标识别准确率较低的技术问题，成像识别方法包括以下步骤：镜头采集多幅图像；动态视觉传感器感知图像灰度的变化；数据采集模块中的处理器解析动态视觉传感器输出的信号，得到地址‑事件数据流；目标识别模块中的去噪子模块对地址‑事件数据流进行去噪；目标识别模块中的分段子模块对地址‑事件数据流进行分段；目标识别模块中的识别子模块对地址‑事件数据流进行识别；数据可视化模块获取成像识别结果。

Description

基于动态视觉传感器的一体化成像识别方法

技术领域

本发明属于计算机视觉领域，涉及一种基于动态视觉传感器的一体化成像识别***和方法，可用于星载对地面目标的成像识别。

背景技术

基于传统图像传感器的成像识别***和方法目前应用广泛，在安全警戒、海上检测和道路交通状况分析等方面发挥了巨大作用，但是这些基于传统图像传感器的成像识别***有很多缺陷，简单来说，传统的图像传感器是一种对能量进行积分的传感器，积分过程往往要持续几十毫秒，这延长了相机的响应时间，使得传统图像传感器难以捕获快速运动的目标。在积分过程中，如果目标相对传统图像传感器发生了运动，就会导致传统图像传感器输出模糊的图像。传统图像传感器的另一个缺陷是所有的像素等效成像，所有的像素都会同时输出数据，会产生大量无效数据，造成了数据冗余，给后端的计算、存储等模块带来巨大的计算压力，增加了***的功耗。

动态视觉传感器是一种视觉传感器，动态视觉传感器上每个像素单独感光，当一个像素上的光强发生变化时，这个像素才会输出一个表示光强变化的事件。动态视觉传感器在光强变化时输出数据，当光强没有变化时，动态视觉传感器便没有数据输出，所以动态视觉传感器具有低功耗、低信息冗余的优点。动态视觉传感器也起到了过滤背景的作用，减小了数据处理所需的计算量，因此也降低了整体***的功耗。动态视觉传感器在工作过程中也没有对能量进行积分的过程，所以动态视觉传感器的响应时间很短，可以捕获快速运动的目标。

Arun M.George等人在其发表的论文“A Reservoir-based ConvolutionalSpiking Neural Network for Gesture Recognition from DVS Input”(2020International Joint Conference on Neural Networks)中提出了一种利用脉冲神经网络对动态视觉传感器的输出数据进行目标识别的方法，这种方法利用了脉冲神经网络对动态视觉传感器的输出数据进行压缩，达到了较高的目标识别准确率，该方法存在的不足之处在于：该方法引入了事件预处理层对动态视觉传感器的输出数据进行重新编码，运算速度慢，所用的脉冲神经网络在非神经形态硬件上计算量比较大，目标识别速度慢，无法实现实时目标识别，并且脉冲神经网络目前并没有有效的监督训练方法，在目标识别的应用上，脉冲神经网络的性能并不优于传统的卷积神经网络。

Marco Cannici等人在其发表的论文“A Differentiable Recurrent Surfacefor Asynchronous Event-Based Data”(2020arXiv.org)中提出了一种利用长短期记忆网络对动态视觉传感器的输出事件流进行特征提取，并用卷积神经网络对特征提取结果进行目标识别的方法，该方法存在的不足之处在于：在对动态视觉传感器输出的事件流进行特征提取的过程中，需要对事件流进行逐事件的特征提取，并且需要引入冗余信息，从而增加了卷积神经网络进行目标识别时的计算量。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于动态视觉传感器的一体化成像识别***和方法，旨在保证具有较高目标识别准确率的同时，提高成像识别效率，进而降低***功耗。

为实现上述目的，本发明采用的技术方案为：

一种基于动态视觉传感器的一体化成像识别***，包括数据采集模块、目标识别模块和数据可视化模块，其中：

所述数据采集模块，包括依次级联的镜头、动态视觉传感器和处理器；所述镜头，用于采集多幅聚焦后的彩色图像；所述动态视觉传感器，用于对每幅聚焦后彩色图像的灰度信息变化进行感知，并输出感知结果；所述处理器，用于对动态视觉传感器输出的感知结果进行解析，并输出解析结果；

所述目标识别模块，包括去噪子模块、划分子模块和识别子模块；所述去噪子模块，用于对数据采集模块输出的解析结果进行去噪，并输出去噪结果；划分子模块，用于对去噪子模块输出的去噪结果进行分段，并输出分段结果；所述识别子模块采用预训练的卷积神经网络，对划分子模块所输出的分段结果进行目标识别，并输出目标识别结果；

所述数据可视化模块，用于对目标识别模块输出的分段结果和目标识别结果进行可视化，得到成像识别结果并输出。

一种基于动态视觉传感器的一体化成像识别***的成像识别方法，包括如下步骤：

(1)数据采集模块中的镜头采集彩色图像：

数据采集模块中的镜头采集R幅聚焦后的彩色图像P＝{P_r|0＜r≤R}，P_r表示第r幅彩色图像，R＞1；

(2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像P_r的灰度信息变化的信号：

数据采集模块中的动态视觉传感器感知每幅聚焦后图像P_r的灰度信息变化，得到表示图像灰度信息变化的信号C＝{C_r|0＜r≤R}，其中C_r表示P_r对应的包括N_r个事件的灰度信息变化的信号，C_r＝{c_r,l＝(x_r,l,y_r,l,g_r,l,t_r,l)|0＜l≤N_r}， N_r＞0，c_r,l表示第l个事件，x_r,l和y_r,l分别表示c_r,l的触发位置像素的横坐标和纵坐标，g_r,l表示c_r,l的灰度值，g_r,l≥0，t_r,l表示c_r,l的触发的时间；

(3)数据采集模块中的处理器对表示图像灰度信息变化的信号C进行解析：

(3a)构建全零矩阵M＝zeros(H,W)，其中H和W分别表示动态视觉传感器感光部分纵向像素和横向像素的个数，H≥32，W≥32，并令M中的每一个元素m＝0；

(3b)设c_r,l的解析结果为e_r,l＝(x_r,l,y_r,l,p_r,l,t_r,l)，其中p_r,l表示e_r,l的极性，并令r＝1；

(3c)令l＝1；

(3d)判断

是否成立，若是，令p_r,l＝+1,否则,令p_r,l＝-1，其中

表示M中与c_r,l位置对应的元素；

(3e)令

并判断l＜N_r是否成立，若是，令l＝l+1，并执行步骤(3d)，否则，得到C_r解析后的地址-事件数据流 A_r＝{e_r,l＝(x_r,l,y_r,l,p_r,l,t_r,l)|0＜l≤N_r}；

(3f)判断r＜R是否成立，若是，令r＝r+1，执行步骤(3c)，否则，得到C解析后的地址-事件数据流集合A＝{A_r|0＜r≤R}；

(4)目标识别模块对地址-事件数据流集合A进行去噪：

目标识别模块中的去噪子模块对每个地址-事件数据流A_r进行去噪，得到去噪后的地址-事件数据流集合A'＝{A_r'|0＜r≤R}并输出，其中A_r'表示A_r对应的去噪后的地址-事件数据流，A_r'＝{e_r,j＝(x_r,j,y_r,j,p_r,j,t_r,j)|0＜j≤N_r'}, 0＜N_r'≤N_r；

(5)目标识别模块对每个去噪后的地址-事件数据流A_r'进行分段：

目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法，对每个去噪后的地址-事件数据流A_r'进行分段，若A_r'中的剩余事件不足以分段，则将A_r' 中的剩余事件丢弃，得到地址-事件数据流段集合D＝{B_r|0＜r≤R}，其中B_r表示A_r'分段后的地址-事件数据流段子集合B_r＝{E_r,k|0≤k≤M_r}，E_r,k表示第k个地址-事件数据流段，E_r,k＝{e_r,k,h＝(x_r,k,h,y_r,k,h,p_r,k,h,t_r,k,h)|0＜h≤L_r,k}，L_r,k表示 E_r,k中包含的事件数的总数，1≤L_r,k≤N_r'，e_r,k,h＝(x_r,k,h,y_r,k,h,p_r,k,h,t_r,k,h)表示E_r,k中第h个事件，M_r表示地址-事件数据流段的总数，M_r＞0；

(6)目标识别模块对每个地址-事件数据流段E_r,k进行目标识别：

(6a)构建全零矩阵M₁＝zeros(H,W)和M₂＝zeros(H,W)，并令M₁和M₂中的每一个元素m₁＝0，m₂＝0，令r＝1；

(6b)令k＝1；

(6c)令h＝1；

(6d)目标识别模块中的识别子模块判断E_r,k中的每个事件e_r,k,h的极性 p_r,k,h＝+1是否成立，若是，令

否则，令

其中，

表示矩阵M₁中下标为(x_r,k,h,y_r,k,h)的元素，

表示矩阵M₂中下标为(x_r,k,h,y_r,k,h)的元素；

(6e)目标识别模块中的识别子模块判断h＜L_r,k是否成立，若是，令h＝h+1，并执行步骤(6d)，否则，构建以M₁和M₂为分别通道的三维全零矩阵 I＝zeros(2,H,W)，并执行步骤(6f)；

(6f)将I作为预训练的卷积神经网络的输入进行目标识别，得到对地址- 事件数据流段E_r,k的目标识别结果Label_r,k并输出，并执行步骤(6g)，其中 Label_r,k表示E_r,k的类别标签；

(6g)目标识别模块中的识别子模块判断k＜M_r是否成立，若是，令k＝k+1, 并执行步骤(6c),否则，得到对B_r识别结果集合Label_r＝{Label_r,k|0＜k≤M_r}，并执行步骤(6h)；

(6h)目标识别模块中的识别子模块判断r＜R是否成立，若是，令r＝r+1，并执行步骤(6b)，否则，得到对D的识别结果集合Label＝{Label_r|0＜r≤R}。

(7)数据可视化模块获取成像识别结果：

数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段E_r,k进行可视化，得到图像帧集合Q＝{Q_r|0＜r≤R}，Q_r表示B_r所对应的图像帧， Q_r＝{Q_r,k|0＜k≤M_r}，Q_r,k表示E_r,k对应的图像帧。

本发明与现有技术相比，具有如下优点：

1、由于本发明通过对地址-事件数据流的分段，在时间轴上对地址-事件数据流进行了压缩，再对压缩后的地址-事件数据流进行特征提取，从而避免了对每个事件进行特征提取，与现有技术相比，在保证目标识别准确率较高的前提下，减小了对地址-事件数据流进行特征提取的计算量，进而有效降低了***的功耗。

2、本发明使用卷积神经网络进行目标识别，卷积神经网络在CPU或GPU上的计算效率更高，与现有的采用脉冲神经网络的技术相比，降低了***的功耗。

附图说明

图1是本发明成像识别***的整体结构示意图。

图2是本发明成像识别方法的实现流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细描述：

参照图1，一种基于动态视觉传感器的一体化成像识别***，包括数据采集模块、目标识别模块和数据可视化模块，其中：

所述数据采集模块，包括依次级联的镜头、动态视觉传感器和处理器；所述镜头，用于采集多幅聚焦后的彩色图像；所述动态视觉传感器，用于对每幅聚焦后彩色图像的灰度信息变化进行感知，并输出感知结果；所述处理器，用于对动态视觉传感器输出的感知结果进行解析，并输出解析结果；

所述目标识别模块，包括去噪子模块、划分子模块和识别子模块；所述去噪子模块，用于对数据采集模块输出的解析结果进行去噪，并输出去噪结果；划分子模块，用于对去噪子模块输出的去噪结果进行分段，并输出分段结果；所述识别子模块采用预训练的卷积神经网络，对划分子模块所输出的分段结果进行目标识别，并输出目标识别结果；

所述数据可视化模块，用于对目标识别模块输出的分段结果和目标识别结果进行可视化，得到成像识别结果并输出。

参照图2，一种基于动态视觉传感器的一体化成像识别***的成像识别方法，包括如下步骤：

步骤1)数据采集模块中的镜头采集彩色图像：

数据采集模块中的镜头采集R幅聚焦后的彩色图像P＝{P_r|0＜r≤R}，P_r表示第r幅彩色图像，R＞1。本实施例中，所用镜头为可见光定焦镜头。

步骤2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像P_r的灰度信息变化的信号：

数据采集模块中的动态视觉传感器感知每幅聚焦后图像P_r的灰度信息变化，得到表示图像灰度信息变化的信号C＝{C_r|0＜r≤R}，其中C_r表示P_r对应的包括N_r个事件的灰度信息变化的信号，C_r＝{c_r,l＝(x_r,l,y_r,l,g_r,l,t_r,l)|0＜l≤N_r}， N_r＞0，c_r,l表示第l个事件，x_r,l和y_r,l分别表示c_r,l的触发位置像素的横坐标和纵坐标，g_r,l表示c_r,l的灰度值，0≤g_r,l，t_r,l表示c_r,l的触发的时间。本实施例中，数据采集模块中所用的动态视觉传感器感光部分纵向有H＝800个像素，横向有 W＝1280个像素，所以0≤x_r,l＜1280，0≤y_r,l＜800，动态视觉传感器共有4096 个灰度级，所以0≤g_r,l＜4096。

步骤3)动态视觉传感器输出的表示图像灰度信息变化的信号C只包含事件的地址信息、灰度值和事件触发的时间信息，而地址-事件数据流中的事件包含事件的地址信息、事件的极性信息和事件的触发时间，所以数据采集模块中的处理器需要将表示图像灰度信息变化的信号C解析为地址-事件数据流，地址-事件数据流中每个事件的极性信息p表示事件灰度变化的方向，p＝±1，p＝-1表示该事件触发位置的像素感受到的光强减弱，p＝+1表示该事件触发位置的像素感受到的光强增强，解析过程为：

步骤3a)构建全零矩阵M＝zeros(H,W)，并令M中的每一个元素m＝0；

步骤3b)设c_r,l的解析结果为e_r,l＝(x_r,l,y_r,l,p_r,l,t_r,l)，其中p_r,l表示e_r,l的极性，并令r＝1；

步骤3c)令l＝1；

步骤3d)判断

是否成立，若是，令p_r,l＝+1,否则,令p_r,l＝-1，其中

表示M中与c_r,l位置对应的元素；

步骤3e)令

并判断l＜N_r是否成立，若是，令l＝l+1，并执行步骤3d)，否则，得到C_r解析后的地址-事件数据流 A_r＝{e_r,l＝(x_r,l,y_r,l,p_r,l,t_r,l)|0＜l≤N_r}；

步骤3f)判断r＜R是否成立，若是，令r＝r+1，执行步骤3c)，否则，得到C解析后的地址-事件数据流集合A＝{A_r|0＜r≤R}。

步骤4)因为地址-事件数据流中含有噪声，会影响目标识别准确率，所以需要目标识别模块对地址-事件数据流集合A进行去噪：

目标识别模块中的去噪子模块用基于空间密度聚类的去噪方法、基于时间阈值的去噪方法或基于概率无向图的去噪方法对每个地址-事件数据流A_r进行去噪，得到去噪后的地址-事件数据流集合A'＝{A_r'|0＜r≤R}并输出，其中A_r'表示A_r对应的去噪后的地址-事件数据流， A_r'＝{e_r,j＝(x_r,j,y_r,j,p_r,j,t_r,j)|0＜j≤N_r'},0＜N_r'≤N_r。本实施例中使用的去噪方法为基于时间阈值的去噪方法。

步骤5)地址-事件数据流A中包含一段时间内的所有事件，根据目标运动快慢的不同，这段时间内的事件数量也会随之变化，为保证进行目标识别时地址 -事件数据流中的事件数的稳定，所以需要目标识别模块对每个去噪后的地址-事件数据流A_r'进行分段：

目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法，对每个去噪后的地址-事件数据流A_r'进行分段，若A_r'中的剩余事件不足以分段，则将A_r' 中的剩余事件丢弃，得到地址-事件数据流段集合D＝{B_r|0＜r≤R}，其中B_r表示A_r'分段后的地址-事件数据流段子集合B_r＝{E_r,k|0≤k≤M_r}，E_r,k表示第k个地址-事件数据流段，E_r,k＝{e_r,k,h＝(x_r,k,h,y_r,k,h,p_r,k,h,t_r,k,h)|0＜h≤L_r,k}，L_r,k表示 E_r,k中包含的事件数的总数，1≤L_r,k≤N_r'，e_r,k,h＝(x_r,k,h,y_r,k,h,p_r,k,h,t_r,k,h)表示E_r,k中第h个事件，M_r表示地址-事件数据流段的总数，M_r＞0。本实施例中，在时间阈值和局部事件数阈值法中的参数时间阈值为T_h＝10ms，事件分区数为4，各分区事件数阈值为1000。

步骤6)目标识别模块对每个地址-事件数据流段E_r,k进行目标识别：

步骤6a)构建全零矩阵M₁＝zeros(H,W)和M₂＝zeros(H,W)，并令M₁和M₂中的每一个元素m₁＝0，m₂＝0，令r＝1；

步骤6b)令k＝1；

步骤6c)令h＝1；

步骤6d)目标识别模块中的识别子模块判断E_r,k中的每个事件e_r,k,h的极性 p_r,k,h＝+1是否成立，若是，令

否则，令

其中，

表示矩阵M₁中下标为(x_r,k,h,y_r,k,h)的元素，

表示矩阵M₂中下标为(x_r,k,h,y_r,k,h)的元素；

步骤6e)目标识别模块中的识别子模块判断h＜L_r,k是否成立，若是，令 h＝h+1，并执行步骤6d)，否则，构建以M₁和M₂为分别通道的三维全零矩阵 I＝zeros(2,H,W)，执行步骤6f)；

步骤6f)将I作为预训练的卷积神经网络的输入进行目标识别，得到对地址 -事件数据流段E_r,k的目标识别结果Label_r,k并输出，执行步骤6g)，其中Label_r,k表示E_r,k的类别标签，预训练的卷积神经网络的预训练过程包括如下步骤：

步骤6f1)获取训练数据集T₁：

选取包含S类目标的地址-事件数据流段，构成集合J＝{K_o|0＜o＜S}，K_o表示第o类目标的地址-事件数据流段集合，K_o＝{Z_o,q|0＜q≤G₁}，Z_o,q表示第q 个地址-事件数据流段，G₁＞500，并根据步骤6c)和步骤6d)将每个地址-事件数据流段Z_o,q解析为三维矩阵I_o,q，对每个三维矩阵I_o,q进行标记，将标记后的三维矩阵作为训练数据集T₁。在本实施例中，S＝9，G₁＝3000；

步骤6f2)构建包含多个卷积层、多个最大池化层、多个ReLu层和多个全连接层的卷积神经网络F；

步骤6f3)对卷积神经网络F进行迭代训练：

步骤6f3a)设迭代次数为u＝1，最大迭代次数为U＝15000；

步骤6f3b)从训练数据集T₁中随机选取v个三维矩阵作为卷积神经网络F的输入进行训练，得到v个地址-事件数据流段的标签L_DA＝{l₁,l₂,,…,l_w,…,l_v}，用均方误差损失函数通过L_DA和其对应的真实标签L_T＝{l₁',l₂',…,l_w',…,l_v'}计算卷积神经网络的损失值Loss_u，其中0＜v≤64，0＜w≤v，损失值的计算公式为：

步骤6f3c)用梯度下降法通过损失值Loss_u对卷积神经网络F的参数进行更新，参数更新公式为：

其中，ω_u表示更新前卷积层的参数，ω_u+1表示更新后的卷积层的参数，θ_u表示更新前全连接层的参数，θ_u+1表示更新后的全连接层的参数；

步骤6f3d)判断u＞U是否成立，若是，得到训练好的卷积神经网络F，否则，令u＝u+1，执行步骤6f3b)；

步骤6g)目标识别模块中的识别子模块判断k＜M_r是否成立，若是，令 k＝k+1,并执行步骤6c),否则，得到对B_r识别结果集合 Label_r＝{Label_r,k|0＜k≤M_r}，并执行步骤6h)；

步骤6h)目标识别模块中的识别子模块判断r＜R是否成立，若是，令r＝r+1，并执行步骤6b)，否则，得到对D的识别结果集合Label＝{Label_r|0＜r≤R}。

步骤7)数据可视化模块获取成像识别结果：

数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段E_r,k进行可视化，得到图像帧集合Q＝{Q_r|0＜r≤R}，Q_r表示B_r所对应的图像帧， Q_r＝{Q_r,k|0＜k≤M_r}，Q_r,k表示E_r,k对应的图像帧。

Claims (3)

1.一种基于动态视觉传感器的一体化成像识别***的成像识别方法，其特征在于，包括如下步骤：

(1)数据采集模块中的镜头采集彩色图像：

数据采集模块中的镜头采集R幅聚焦后的彩色图像P＝{P_r|0＜r≤R}，P_r表示第r幅彩色图像，R＞1；

(2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像P_r的灰度信息变化的信号：

数据采集模块中的动态视觉传感器感知每幅聚焦后图像P_r的灰度信息变化，得到表示图像灰度信息变化的信号C＝{C_r|0＜r≤R}，其中C_r表示P_r对应的包括N_r个事件的灰度信息变化的信号，C_r＝{c_r,n＝(x_r,n,y_r,n,g_r,n,t_r,n)|0＜n≤N_r}，N_r＞0，c_r,n表示第n个事件，x_r,n和y_r,n分别表示c_r,n的触发位置像素的横坐标和纵坐标，g_r,n表示c_r,n的灰度值，g_r,l≥0，t_r,n表示c_r,n的触发的时间；

(3)数据采集模块中的处理器对表示图像灰度信息变化的信号C进行解析：

(3a)构建全零矩阵M＝zeros(H,W)，其中H和W分别表示动态视觉传感器感光部分纵向像素和横向像素的个数，H≥32，W≥32，并令M中的每一个元素m＝0；

(3b)设c_r,n的解析结果为e_r,n＝(x_r,n,y_r,n,p_r,n,t_r,n)，其中p_r,n表示e_r，n的极性，并令r＝1；

(3c)令n＝1；

(3d)判断

是否成立，若是，令p_r,n＝+1,否则,令p_r,n＝-1，其中

表示M中与c_r,n位置对应的元素；

(3e)令

并判断n＜N_r是否成立，若是，令n＝n+1，并执行步骤(3d)，否则，得到C_r解析后的地址-事件数据流A_r＝{e_r,n＝(x_r,n,y_r,n,p_r,n,t_r,n)|0＜n≤N_r}；

(3f)判断r＜R是否成立，若是，令r＝r+1，执行步骤(3c)，否则，得到C解析后的地址-事件数据流集合A＝{A_r|0＜r≤R}；

(4)目标识别模块对地址-事件数据流集合A进行去噪：

目标识别模块中的去噪子模块对每个地址-事件数据流A_r进行去噪，得到去噪后的地址-事件数据流集合A'＝{A_r'|0＜r≤R}并输出，其中A_r'表示A_r对应的去噪后的地址-事件数据流，A_r'＝{e_r,j＝(x_r,j,y_r,j,p_r,j,t_r,j)|0＜j≤N_r'},0＜N_r'≤N_r；

(5)目标识别模块对每个去噪后的地址-事件数据流A_r'进行分段：

目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法，对每个去噪后的地址-事件数据流A_r'进行分段，若A_r'中的剩余事件不足以分段，则将A_r'中的剩余事件丢弃，得到地址-事件数据流段集合D＝{B_r|0＜r≤R}，其中B_r表示A_r'分段后的地址-事件数据流段子集合B_r＝{E_r,k|0≤k≤M_r}，E_r,k表示第k个地址-事件数据流段，E_r,k＝{e_r,k,h＝(x_r,k,h,y_r,k,h,p_r,k,h,t_r,k,h)|0＜h≤L_r,k}，L_r,k表示E_r,k中包含的事件数的总数，1≤L_r,k≤N_r'，e_r,k,h＝(x_r,k,h,y_r,k,h,p_r,k,h,t_r,k,h)表示E_r,k中第h个事件，M_r表示地址-事件数据流段的总数，M_r＞0；

(6)目标识别模块对每个地址-事件数据流段E_r,k进行目标识别：

(6a)构建全零矩阵M₁＝zeros(H,W)和M₂＝zeros(H,W)，并令M₁和M₂中的每一个元素m₁＝0，m₂＝0，令r＝1；

(6b)令k＝1；

(6c)令h＝1；

(6d)目标识别模块中的识别子模块判断E_r,k中的每个事件e_r,k,h的极性p_r,k,h＝+1是否成立，若是，令

否则，令

其中，

表示矩阵M₁中下标为(x_r,k,h,y_r,k,h)的元素，

表示矩阵M₂中下标为(x_r,k,h,y_r,k,h)的元素；

(6e)目标识别模块中的识别子模块判断h＜L_r,k是否成立，若是，令h＝h+1，并执行步骤(6d)，否则，构建以M₁和M₂为分别通道的三维全零矩阵I＝zeros(2,H,W)，并执行步骤(6f)；

(6f)将I作为预训练的卷积神经网络的输入进行目标识别，得到对地址-事件数据流段E_r,k的目标识别结果Label_r,k并输出，并执行步骤(6g)，其中Label_r,k表示E_r,k的类别标签；

(6g)目标识别模块中的识别子模块判断k＜M_r是否成立，若是，令k＝k+1,并执行步骤(6c),否则，得到对B_r识别结果集合Label_r＝{Label_r,k|0＜k≤M_r}，并执行步骤(6h)；

(6h)目标识别模块中的识别子模块判断r＜R是否成立，若是，令r＝r+1，并执行步骤(6b)，否则，得到对D的识别结果集合Label＝{Label_r|0＜r≤R}；

(7)数据可视化模块获取成像识别结果：

数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段E_r,k进行可视化，得到图像帧集合Q＝{Q_r|0＜r≤R}，Q_r表示B_r所对应的图像帧，Q_r＝{Q_r,k|0＜k≤M_r}，Q_r,k表示E_r,k对应的图像帧。

2.根据权利要求1所述的基于动态视觉传感器的一体化成像识别***的成像识别方法，其特征在于，步骤(4)中所述的对地址-事件数据流进行去噪，采用基于空间密度聚类的去噪方法、基于时间阈值的去噪方法或基于概率无向图的去噪方法。

3.根据权利要求1所述的基于动态视觉传感器的一体化成像识别***的成像识别方法，其特征在于，步骤(6f)中所述的预训练的卷积神经网络，其中预训练包括如下步骤：

(6f1)获取训练数据集T₁：

选取包含S类目标的多个地址-事件数据流段,构成集合J＝{K_o|0＜o＜S}，K_o表示第o类目标的地址-事件数据流段子集合，K_o＝{Z_o,q|0＜q≤G₁}，Z_o,q表示第q个地址-事件数据流段，G₁＞500，并根据权利要求2中步骤(6c)和步骤(6d)将每个地址-事件数据流段Z_o,q解析为三维矩阵I_o,q，对每个三维矩阵I_o,q进行标记，将标记后的三维矩阵作为训练数据集T₁；

(6f2)构建包含多个卷积层、多个最大池化层、多个ReLu层和多个全连接层的卷积神经网络F；

(6f3)对卷积神经网络F进行迭代训练：

(6f3a)设迭代次数为u＝1，最大迭代次数为U；

(6f3b)从训练数据集T₁中随机选取v个三维矩阵作为卷积神经网络F的输入进行训练，得到v个地址-事件数据流段的标签L_E＝{L_E1,L_E2,,…,L_Ew,…,L_Ev}，用均方误差损失函数通过L_E和其对应的真实标签L_T＝{L_T1',L_T2',…,L_Tw',…,L_Tv'}计算卷积神经网络的损失值Loss_u：

其中0＜v≤64，0＜w≤v；

(6f3c)用梯度下降法通过损失值Loss_u对卷积神经网络F的参数进行更新，参数更新公式为：

其中，ω_u表示更新前卷积层的参数，ω_u+1表示更新后的卷积层的参数，θ_u表示更新前全连接层的参数，θ_u+1表示更新后的全连接层的参数；

(6f3d)判断u＞U是否成立，若是，得到训练好的卷积神经网络F，否则，令u＝u+1，执行步骤(6f3b)。

Images