CN106845539A - 用于aer传感器的脉冲神经网络 - Google Patents

用于aer传感器的脉冲神经网络 Download PDF

Info

Publication number
CN106845539A
CN106845539A CN201710013427.9A CN201710013427A CN106845539A CN 106845539 A CN106845539 A CN 106845539A CN 201710013427 A CN201710013427 A CN 201710013427A CN 106845539 A CN106845539 A CN 106845539A
Authority
CN
China
Prior art keywords
classification
address
output
aer
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710013427.9A
Other languages
English (en)
Inventor
高志远
徐江涛
周义豪
聂凯明
高静
马建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710013427.9A priority Critical patent/CN106845539A/zh
Publication of CN106845539A publication Critical patent/CN106845539A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及AER图像传感器图像数据处理领域，为提出一种用于AER图像传感器的脉冲神经网络，完成快速目标识别，为此，本发明，用于AER传感器的脉冲神经网络，步骤如下；初始情况下，***进行复位操作；学习模式：学习模式是在已知所输入地址‑事件信息所对应的分类的情况下，对存储在查找表中的权重进行修改，从而实现仅对应分类输出为正确，其他分类为错误；识别模式：识别模式是在已经经过学习的网络中输入地址‑事件信息，判定这些信息的分类情况，输出各个类别的判定结果。本发明主要应用于AER图像传感器图像数据处理。

Description

用于AER传感器的脉冲神经网络
技术领域
本发明涉及AER图像传感器图像数据处理领域，尤其涉及一种以AER为信息载体的脉冲神经网络。
背景技术
AER(Address-Event Representation，地址-事件表示)图像传感器可以有效地降低数据冗余，具有超高速，高实时性等特点，研究与AER图像传感器相适应的特殊图像后端处理芯片，可以摆脱“帧”的限制，以事件为研究对象，对前端传感器产生的事件流进行实时接收和运算。
参考图1，图的上半部分表示传统图像传感器的图像采集传输过程，其以“帧”为单位，只有达到一帧的周期才会输出图像，很难实现图像的实时处理。图的下半部分为AER图像传感器的图像采集传输过程，AER图像传感器并没有帧的概念，当任何一个像素感受到光强发生变化时，就立刻输出一个事件，可以实现事件的实时输出。
在基于帧的图像处理算法中，后续的图像处理、特征提取、目标识别等过程全部基于整帧数据进行处理，而对于AER传感器来说，仅输出少量地址-事件信息，无法使用基于帧处理的目标识别算法。
发明内容
为克服现有技术的不足，本发明旨在根据AER数据的特点，提出一种用于AER图像传感器的脉冲神经网络，完成快速目标识别，为此，本发明采用的技术方案是，用于AER传感器的脉冲神经网络，步骤如下；
初始情况下，***进行复位操作，设M为所需判定类别的个数，初始复位之后信号输入模块准备接受外部地址-事件信息，M个脉冲积分模块清零，建立M个权值查找表，每个查找表的地址空间与输入信号的地址空间保持一致，每个地址保存一个0～1的随机权重值，判定输出模块建立M个通道，每个通道对应一个类别，每个通道拥有一个阈值mth，并且将全部输出默认置为错误；
学习模式：
学习模式是在已知所输入地址-事件信息所对应的分类的情况下，对存储在查找表中的权重进行修改，从而实现仅对应分类输出为正确，其他分类为错误；
识别模式：
识别模式是在已经经过学习的网络中输入地址-事件信息，判定这些信息的分类情况，地址-事件信息输入到信号输入模块，M个运算路径同时进行操作，在权重查找表中找到对应地址的权重值，在脉冲积分模块中将该权重值进行累加，累加结果送到各个通道的判定输出模块，经与各自的阈值mth比较之后，输出各个类别的判定结果。
学习模式进一步具体步骤是，地址-事件信息输入到信号输入模块，M个运算路径同时进行操作，在权重查找表中找到对应地址的权重值，在脉冲积分模块中将该权重值进行累加，累加结果送到各个通道的判定输出模块，经与各自的阈值mth比较之后，输出判定结果，若该结果为期望的结果，则不进行操作，若该结果为非期望结果，分如下情况处理，若期望为“正确”但输出为“错误”，则将该路径上的对应查找表中输入点的权重翻倍，若期望为“错误”但输出为“正确”，则将该路径上的对应查找表中输入点的权重减半，通过多次循环此过程，不断修改权重，达到近对应分类输出为“正确”，其他分为输出为“错误”的状态，则学习结束。
本发明的特点及有益效果是：
用于AER传感器的脉冲神经网络使用少量的地址-事件信息，使用查找表方式进行权重累加和输出，易于硬件实现，能够进行快速的目标识别。
附图说明：
图1传统图像传感器与AER图像传感器对比。
图2用于AER传感器的脉冲神经网络架构图。
图3学习模式和识别模式的工作流程图。
具体实施方式
本发明提出的用于AER传感器的脉冲神经网络包括信号输入、权值查找表、脉冲积分模块、判定输出等4个模块，如图2。其中信号输入用于接收前端地址事件信息，输入信号可以是AER传感器的输出，也可以是经过卷积等特征提取操作的特征信息，输入信息包含事件的属性和事件在阵列中的地址信息；权值查找表用于存放在进行脉冲累计时所使用的权重；脉冲积分模块根据对应的权重累计输入的脉冲；判定输出将脉冲积分模块的输出值与目标阈值进行比较，得到正确、错误两种结果。
具体工作方式如下：
初始情况下，***进行复位操作，设M为所需判定类别的个数，初始复位之后信号输入模块准备接受外部地址-事件信息，M个脉冲积分模块清零，建立M个权值查找表，每个查找表的地址空间与输入信号的地址空间保持一致，每个地址保存一个0～1的随机权重值，判定输出模块建立M个通道，每个通道对应一个类别，每个通道拥有一个阈值mth，并且将全部输出默认置为错误。
学习模式：
学习模式是在已知所输入地址-事件信息所对应的分类的情况下，对存储在查找表中的权重进行修改，从而实现仅对应分类输出为正确，其他分类为错误。地址-事件信息输入到信号输入模块，M个运算路径同时进行操作，在权重查找表中找到对应地址的权重值，在脉冲积分模块中将该权重值进行累加，累加结果送到各个通道的判定输出模块，经与各自的阈值mth比较之后，输出判定结果，若该结果为期望的结果，则不进行操作，若该结果为非期望结果，分如下情况处理，若期望为“正确”但输出为“错误”，则将该路径上的对应查找表中输入点的权重翻倍，若期望为“错误”但输出为“正确”，则将该路径上的对应查找表中输入点的权重减半。通过多次循环此过程，不断修改权重，达到近对应分类输出为“正确”，其他分为输出为“错误”的状态，则学习结束。
识别模式：
识别模式是在已经经过学习的网络中输入地址-事件信息，判定这些信息的分类情况。与学习模式类似，地址-事件信息输入到信号输入模块，M个运算路径同时进行操作，在权重查找表中找到对应地址的权重值，在脉冲积分模块中将该权重值进行累加，累加结果送到各个通道的判定输出模块，经与各自的阈值mth比较之后，输出各个类别的判定结果。
根据本发明所提出的结构，以处理分辨率为32×32的AER传感器为例，用该网络学习和识别0～9这10个数字，那么10个查找表中每个查找表的地址空间为32×32的二维查找表，判定阈值全部设定为1，经过60000个样本学习，对10000个样本进行测试，得到的识别率可以达到90％以上。

Claims (2)

1.一种用于AER传感器的脉冲神经网络，其特征是，步骤如下：
初始情况下，***进行复位操作，设M为所需判定类别的个数，初始复位之后信号输入模块准备接受外部地址-事件信息，M个脉冲积分模块清零，建立M个权值查找表，每个查找表的地址空间与输入信号的地址空间保持一致，每个地址保存一个0～1的随机权重值，判定输出模块建立M个通道，每个通道对应一个类别，每个通道拥有一个阈值mth，并且将全部输出默认置为错误；
学习模式：
学习模式是在已知所输入地址-事件信息所对应的分类的情况下，对存储在查找表中的权重进行修改，从而实现仅对应分类输出为正确，其他分类为错误；
识别模式：
识别模式是在已经经过学习的网络中输入地址-事件信息，判定这些信息的分类情况，地址-事件信息输入到信号输入模块，M个运算路径同时进行操作，在权重查找表中找到对应地址的权重值，在脉冲积分模块中将该权重值进行累加，累加结果送到各个通道的判定输出模块，经与各自的阈值mth比较之后，输出各个类别的判定结果。
2.如权利要求1所述的用于AER传感器的脉冲神经网络，其特征是，学习模式进一步具体步骤是，地址-事件信息输入到信号输入模块，M个运算路径同时进行操作，在权重查找表中找到对应地址的权重值，在脉冲积分模块中将该权重值进行累加，累加结果送到各个通道的判定输出模块，经与各自的阈值mth比较之后，输出判定结果，若该结果为期望的结果，则不进行操作，若该结果为非期望结果，分如下情况处理，若期望为“正确”但输出为“错误”，则将该路径上的对应查找表中输入点的权重翻倍，若期望为“错误”但输出为“正确”，则将该路径上的对应查找表中输入点的权重减半，通过多次循环此过程，不断修改权重，达到近对应分类输出为“正确”，其他分为输出为“错误”的状态，则学习结束。
CN201710013427.9A 2017-01-09 2017-01-09 用于aer传感器的脉冲神经网络 Pending CN106845539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710013427.9A CN106845539A (zh) 2017-01-09 2017-01-09 用于aer传感器的脉冲神经网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710013427.9A CN106845539A (zh) 2017-01-09 2017-01-09 用于aer传感器的脉冲神经网络

Publications (1)

Publication Number Publication Date
CN106845539A true CN106845539A (zh) 2017-06-13

Family

ID=59118177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710013427.9A Pending CN106845539A (zh) 2017-01-09 2017-01-09 用于aer传感器的脉冲神经网络

Country Status (1)

Country Link
CN (1) CN106845539A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881070A (zh) * 2022-04-07 2022-08-09 河北工业大学 一种基于仿生分层脉冲神经网络的aer对象识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970597B1 (en) * 2001-12-05 2005-11-29 Pixim, Inc. Method of defining coefficients for use in interpolating pixel values
CN105760930A (zh) * 2016-02-18 2016-07-13 天津大学 用于aer的多层脉冲神经网络识别***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970597B1 (en) * 2001-12-05 2005-11-29 Pixim, Inc. Method of defining coefficients for use in interpolating pixel values
CN105760930A (zh) * 2016-02-18 2016-07-13 天津大学 用于aer的多层脉冲神经网络识别***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BO ZHAO，RUOXI DING，SHOUSHUN CHEN，BERNABE LINARES-BARRANCO: ""Feedforward Categorization on AER Motion Events Using Cortex-Like Features in a Spiking Neural Network"", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114881070A (zh) * 2022-04-07 2022-08-09 河北工业大学 一种基于仿生分层脉冲神经网络的aer对象识别方法
CN114881070B (zh) * 2022-04-07 2024-07-19 河北工业大学 一种基于仿生分层脉冲神经网络的aer对象识别方法

Similar Documents

Publication Publication Date Title
US11651199B2 (en) Method, apparatus and system to perform action recognition with a spiking neural network
Soviany et al. Optimizing the trade-off between single-stage and two-stage deep object detectors using image difficulty prediction
CN108764050B (zh) 基于角度无关性的骨架行为识别方法、***及设备
CN106776842B (zh) 多媒体数据检测方法及装置
CN111160379A (zh) 图像检测模型的训练方法及装置、目标检测方法及装置
CN106295502B (zh) 一种人脸检测方法及装置
CN110472090A (zh) 基于语义标签的图像检索方法以及相关装置、存储介质
RU2017143910A (ru) Способ и устройство определения местонахождения изнашиваемой детали на изображении рабочего инструмента
CN111401474B (zh) 视频分类模型的训练方法、装置、设备及存储介质
CN108875482B (zh) 物体检测方法和装置、神经网络训练方法和装置
CN111382635B (zh) 一种商品类别识别方法、装置及电子设备
KR20180123810A (ko) Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN106845539A (zh) 用于aer传感器的脉冲神经网络
Chaitra et al. Deep learning model for image-based plant diseases detection on edge devices
CN113837005A (zh) 一种人体跌倒的检测方法、装置、存储介质及终端设备
CN111222558B (zh) 图像处理方法及存储介质
CN116485796B (zh) 害虫检测方法、装置、电子设备及存储介质
Jain et al. Human activity recognition with videos using Deep Learning
CN109214272B (zh) 一种图像识别方法及装置
CN111339985A (zh) 基于混合卷积的手势检测方法
CN115713669A (zh) 一种基于类间关系的图像分类方法、装置、存储介质及终端
Putro et al. Fast person detector with efficient multi-level contextual block for supporting assistive robot
CN106446902B (zh) 非文字图像识别方法和装置
Luo et al. Detection of pine cones in natural environment using improved YOLOv4 deep learning algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170613