CN106845539A - 用于aer传感器的脉冲神经网络 - Google Patents
用于aer传感器的脉冲神经网络 Download PDFInfo
- Publication number
- CN106845539A CN106845539A CN201710013427.9A CN201710013427A CN106845539A CN 106845539 A CN106845539 A CN 106845539A CN 201710013427 A CN201710013427 A CN 201710013427A CN 106845539 A CN106845539 A CN 106845539A
- Authority
- CN
- China
- Prior art keywords
- classification
- address
- output
- aer
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及AER图像传感器图像数据处理领域,为提出一种用于AER图像传感器的脉冲神经网络,完成快速目标识别,为此,本发明,用于AER传感器的脉冲神经网络,步骤如下;初始情况下,***进行复位操作;学习模式:学习模式是在已知所输入地址‑事件信息所对应的分类的情况下,对存储在查找表中的权重进行修改,从而实现仅对应分类输出为正确,其他分类为错误;识别模式:识别模式是在已经经过学习的网络中输入地址‑事件信息,判定这些信息的分类情况,输出各个类别的判定结果。本发明主要应用于AER图像传感器图像数据处理。
Description
技术领域
本发明涉及AER图像传感器图像数据处理领域,尤其涉及一种以AER为信息载体的脉冲神经网络。
背景技术
AER(Address-Event Representation,地址-事件表示)图像传感器可以有效地降低数据冗余,具有超高速,高实时性等特点,研究与AER图像传感器相适应的特殊图像后端处理芯片,可以摆脱“帧”的限制,以事件为研究对象,对前端传感器产生的事件流进行实时接收和运算。
参考图1,图的上半部分表示传统图像传感器的图像采集传输过程,其以“帧”为单位,只有达到一帧的周期才会输出图像,很难实现图像的实时处理。图的下半部分为AER图像传感器的图像采集传输过程,AER图像传感器并没有帧的概念,当任何一个像素感受到光强发生变化时,就立刻输出一个事件,可以实现事件的实时输出。
在基于帧的图像处理算法中,后续的图像处理、特征提取、目标识别等过程全部基于整帧数据进行处理,而对于AER传感器来说,仅输出少量地址-事件信息,无法使用基于帧处理的目标识别算法。
发明内容
为克服现有技术的不足,本发明旨在根据AER数据的特点,提出一种用于AER图像传感器的脉冲神经网络,完成快速目标识别,为此,本发明采用的技术方案是,用于AER传感器的脉冲神经网络,步骤如下;
初始情况下,***进行复位操作,设M为所需判定类别的个数,初始复位之后信号输入模块准备接受外部地址-事件信息,M个脉冲积分模块清零,建立M个权值查找表,每个查找表的地址空间与输入信号的地址空间保持一致,每个地址保存一个0~1的随机权重值,判定输出模块建立M个通道,每个通道对应一个类别,每个通道拥有一个阈值mth,并且将全部输出默认置为错误;
学习模式:
学习模式是在已知所输入地址-事件信息所对应的分类的情况下,对存储在查找表中的权重进行修改,从而实现仅对应分类输出为正确,其他分类为错误;
识别模式:
识别模式是在已经经过学习的网络中输入地址-事件信息,判定这些信息的分类情况,地址-事件信息输入到信号输入模块,M个运算路径同时进行操作,在权重查找表中找到对应地址的权重值,在脉冲积分模块中将该权重值进行累加,累加结果送到各个通道的判定输出模块,经与各自的阈值mth比较之后,输出各个类别的判定结果。
学习模式进一步具体步骤是,地址-事件信息输入到信号输入模块,M个运算路径同时进行操作,在权重查找表中找到对应地址的权重值,在脉冲积分模块中将该权重值进行累加,累加结果送到各个通道的判定输出模块,经与各自的阈值mth比较之后,输出判定结果,若该结果为期望的结果,则不进行操作,若该结果为非期望结果,分如下情况处理,若期望为“正确”但输出为“错误”,则将该路径上的对应查找表中输入点的权重翻倍,若期望为“错误”但输出为“正确”,则将该路径上的对应查找表中输入点的权重减半,通过多次循环此过程,不断修改权重,达到近对应分类输出为“正确”,其他分为输出为“错误”的状态,则学习结束。
本发明的特点及有益效果是:
用于AER传感器的脉冲神经网络使用少量的地址-事件信息,使用查找表方式进行权重累加和输出,易于硬件实现,能够进行快速的目标识别。
附图说明:
图1传统图像传感器与AER图像传感器对比。
图2用于AER传感器的脉冲神经网络架构图。
图3学习模式和识别模式的工作流程图。
具体实施方式
本发明提出的用于AER传感器的脉冲神经网络包括信号输入、权值查找表、脉冲积分模块、判定输出等4个模块,如图2。其中信号输入用于接收前端地址事件信息,输入信号可以是AER传感器的输出,也可以是经过卷积等特征提取操作的特征信息,输入信息包含事件的属性和事件在阵列中的地址信息;权值查找表用于存放在进行脉冲累计时所使用的权重;脉冲积分模块根据对应的权重累计输入的脉冲;判定输出将脉冲积分模块的输出值与目标阈值进行比较,得到正确、错误两种结果。
具体工作方式如下:
初始情况下,***进行复位操作,设M为所需判定类别的个数,初始复位之后信号输入模块准备接受外部地址-事件信息,M个脉冲积分模块清零,建立M个权值查找表,每个查找表的地址空间与输入信号的地址空间保持一致,每个地址保存一个0~1的随机权重值,判定输出模块建立M个通道,每个通道对应一个类别,每个通道拥有一个阈值mth,并且将全部输出默认置为错误。
学习模式:
学习模式是在已知所输入地址-事件信息所对应的分类的情况下,对存储在查找表中的权重进行修改,从而实现仅对应分类输出为正确,其他分类为错误。地址-事件信息输入到信号输入模块,M个运算路径同时进行操作,在权重查找表中找到对应地址的权重值,在脉冲积分模块中将该权重值进行累加,累加结果送到各个通道的判定输出模块,经与各自的阈值mth比较之后,输出判定结果,若该结果为期望的结果,则不进行操作,若该结果为非期望结果,分如下情况处理,若期望为“正确”但输出为“错误”,则将该路径上的对应查找表中输入点的权重翻倍,若期望为“错误”但输出为“正确”,则将该路径上的对应查找表中输入点的权重减半。通过多次循环此过程,不断修改权重,达到近对应分类输出为“正确”,其他分为输出为“错误”的状态,则学习结束。
识别模式:
识别模式是在已经经过学习的网络中输入地址-事件信息,判定这些信息的分类情况。与学习模式类似,地址-事件信息输入到信号输入模块,M个运算路径同时进行操作,在权重查找表中找到对应地址的权重值,在脉冲积分模块中将该权重值进行累加,累加结果送到各个通道的判定输出模块,经与各自的阈值mth比较之后,输出各个类别的判定结果。
根据本发明所提出的结构,以处理分辨率为32×32的AER传感器为例,用该网络学习和识别0~9这10个数字,那么10个查找表中每个查找表的地址空间为32×32的二维查找表,判定阈值全部设定为1,经过60000个样本学习,对10000个样本进行测试,得到的识别率可以达到90%以上。
Claims (2)
1.一种用于AER传感器的脉冲神经网络,其特征是,步骤如下:
初始情况下,***进行复位操作,设M为所需判定类别的个数,初始复位之后信号输入模块准备接受外部地址-事件信息,M个脉冲积分模块清零,建立M个权值查找表,每个查找表的地址空间与输入信号的地址空间保持一致,每个地址保存一个0~1的随机权重值,判定输出模块建立M个通道,每个通道对应一个类别,每个通道拥有一个阈值mth,并且将全部输出默认置为错误;
学习模式:
学习模式是在已知所输入地址-事件信息所对应的分类的情况下,对存储在查找表中的权重进行修改,从而实现仅对应分类输出为正确,其他分类为错误;
识别模式:
识别模式是在已经经过学习的网络中输入地址-事件信息,判定这些信息的分类情况,地址-事件信息输入到信号输入模块,M个运算路径同时进行操作,在权重查找表中找到对应地址的权重值,在脉冲积分模块中将该权重值进行累加,累加结果送到各个通道的判定输出模块,经与各自的阈值mth比较之后,输出各个类别的判定结果。
2.如权利要求1所述的用于AER传感器的脉冲神经网络,其特征是,学习模式进一步具体步骤是,地址-事件信息输入到信号输入模块,M个运算路径同时进行操作,在权重查找表中找到对应地址的权重值,在脉冲积分模块中将该权重值进行累加,累加结果送到各个通道的判定输出模块,经与各自的阈值mth比较之后,输出判定结果,若该结果为期望的结果,则不进行操作,若该结果为非期望结果,分如下情况处理,若期望为“正确”但输出为“错误”,则将该路径上的对应查找表中输入点的权重翻倍,若期望为“错误”但输出为“正确”,则将该路径上的对应查找表中输入点的权重减半,通过多次循环此过程,不断修改权重,达到近对应分类输出为“正确”,其他分为输出为“错误”的状态,则学习结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710013427.9A CN106845539A (zh) | 2017-01-09 | 2017-01-09 | 用于aer传感器的脉冲神经网络 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710013427.9A CN106845539A (zh) | 2017-01-09 | 2017-01-09 | 用于aer传感器的脉冲神经网络 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106845539A true CN106845539A (zh) | 2017-06-13 |
Family
ID=59118177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710013427.9A Pending CN106845539A (zh) | 2017-01-09 | 2017-01-09 | 用于aer传感器的脉冲神经网络 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106845539A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881070A (zh) * | 2022-04-07 | 2022-08-09 | 河北工业大学 | 一种基于仿生分层脉冲神经网络的aer对象识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6970597B1 (en) * | 2001-12-05 | 2005-11-29 | Pixim, Inc. | Method of defining coefficients for use in interpolating pixel values |
CN105760930A (zh) * | 2016-02-18 | 2016-07-13 | 天津大学 | 用于aer的多层脉冲神经网络识别*** |
-
2017
- 2017-01-09 CN CN201710013427.9A patent/CN106845539A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6970597B1 (en) * | 2001-12-05 | 2005-11-29 | Pixim, Inc. | Method of defining coefficients for use in interpolating pixel values |
CN105760930A (zh) * | 2016-02-18 | 2016-07-13 | 天津大学 | 用于aer的多层脉冲神经网络识别*** |
Non-Patent Citations (1)
Title |
---|
BO ZHAO,RUOXI DING,SHOUSHUN CHEN,BERNABE LINARES-BARRANCO: ""Feedforward Categorization on AER Motion Events Using Cortex-Like Features in a Spiking Neural Network"", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114881070A (zh) * | 2022-04-07 | 2022-08-09 | 河北工业大学 | 一种基于仿生分层脉冲神经网络的aer对象识别方法 |
CN114881070B (zh) * | 2022-04-07 | 2024-07-19 | 河北工业大学 | 一种基于仿生分层脉冲神经网络的aer对象识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11651199B2 (en) | Method, apparatus and system to perform action recognition with a spiking neural network | |
Soviany et al. | Optimizing the trade-off between single-stage and two-stage deep object detectors using image difficulty prediction | |
CN108764050B (zh) | 基于角度无关性的骨架行为识别方法、***及设备 | |
CN106776842B (zh) | 多媒体数据检测方法及装置 | |
CN111160379A (zh) | 图像检测模型的训练方法及装置、目标检测方法及装置 | |
CN106295502B (zh) | 一种人脸检测方法及装置 | |
CN110472090A (zh) | 基于语义标签的图像检索方法以及相关装置、存储介质 | |
RU2017143910A (ru) | Способ и устройство определения местонахождения изнашиваемой детали на изображении рабочего инструмента | |
CN111401474B (zh) | 视频分类模型的训练方法、装置、设备及存储介质 | |
CN108875482B (zh) | 物体检测方法和装置、神经网络训练方法和装置 | |
CN111382635B (zh) | 一种商品类别识别方法、装置及电子设备 | |
KR20180123810A (ko) | X-Ray 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법 | |
CN112487844A (zh) | 手势识别方法、电子设备、计算机可读存储介质和芯片 | |
CN106845539A (zh) | 用于aer传感器的脉冲神经网络 | |
Chaitra et al. | Deep learning model for image-based plant diseases detection on edge devices | |
CN113837005A (zh) | 一种人体跌倒的检测方法、装置、存储介质及终端设备 | |
CN111222558B (zh) | 图像处理方法及存储介质 | |
CN116485796B (zh) | 害虫检测方法、装置、电子设备及存储介质 | |
Jain et al. | Human activity recognition with videos using Deep Learning | |
CN109214272B (zh) | 一种图像识别方法及装置 | |
CN111339985A (zh) | 基于混合卷积的手势检测方法 | |
CN115713669A (zh) | 一种基于类间关系的图像分类方法、装置、存储介质及终端 | |
Putro et al. | Fast person detector with efficient multi-level contextual block for supporting assistive robot | |
CN106446902B (zh) | 非文字图像识别方法和装置 | |
Luo et al. | Detection of pine cones in natural environment using improved YOLOv4 deep learning algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170613 |