CN112597980A - 一种面向动态视觉传感器的类脑手势序列识别方法 - Google Patents

一种面向动态视觉传感器的类脑手势序列识别方法 Download PDF

Info

Publication number
CN112597980A
CN112597980A CN202110237539.9A CN202110237539A CN112597980A CN 112597980 A CN112597980 A CN 112597980A CN 202110237539 A CN202110237539 A CN 202110237539A CN 112597980 A CN112597980 A CN 112597980A
Authority
CN
China
Prior art keywords
event
time
pulse
space
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110237539.9A
Other languages
English (en)
Other versions
CN112597980B (zh
Inventor
唐华锦
董峻妃
潘纲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202110237539.9A priority Critical patent/CN112597980B/zh
Publication of CN112597980A publication Critical patent/CN112597980A/zh
Application granted granted Critical
Publication of CN112597980B publication Critical patent/CN112597980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种面向动态视觉传感器的类脑手势序列识别方法，包括以下步骤：地址事件表达数据捕获、时空卷积、脉冲池化、学习时空特征、用经过学习的Double‑STS模型识别手势序列。本发明具有高噪音鲁棒性、高精度、高效性、快速收敛性、时间敏感性、仿脑性等特点，可成功识别到手势序列中的每一个手势。

Description

一种面向动态视觉传感器的类脑手势序列识别方法
技术领域
本发明涉及类脑手势序列识别方法，具体涉及一种面向动态视觉传感器的类脑手势序列识别方法。
背景技术
近年来，类脑计算逐渐成为一大研究热点。在神经形态视觉领域，通过模拟生物视网膜，研究人员开发出一系列的神经形态视觉传感器，也称为硅眼、事件相机等。不同于输出帧图像的传统相机，神经形态视觉传感器只响应场景中的动态变化，将光强变化编码为异步时空事件流数据，具有低功耗、低时延、高动态范围等优点。因此大多数现有方法无法直接用于处理这类事件流数据。SNN有望实现低功耗的异步事件信息集成，这使其成为探索基于AER的视觉感知中的类脑计算的最佳选择。
目前，一些令人印象深刻的AER特征提取和学***面（Time Surface, TS）的方法。但是，由于原始的基于Gabor的方法是为静止图像设计的，因此这种基于Gabor的方法仍然无法捕获时间域的关键视觉信息。TS作为一种新颖的时空特征，代表了局部空间邻域内最近的时空活动，这种计算方法可能为嘈杂的事件分配较大的权重。
近年来，基于生物启发的SNN监督学习算法涌现，可以将其分类为基于阈值或基于膜电位可塑性规则，尽管基于膜电位的方法已显示出比基于阈值的方法更好的学习效果，但这种方法仍缺乏生物可解释性，并且该规则有时无法找到那样的极值点。因此，找到一种有效，高效和基于阈值的AER图像识别规则变得更加重要。
发明内容
本发明的目的在于针对现有技术的不足，提供一种面向动态视觉传感器的类脑手势序列识别方法，可成功识别到手势序列中的每一个手势。
本发明的目的通过如下的技术方案来实现：
一种面向动态视觉传感器的类脑手势序列识别方法，所述方法包括以下步骤：
步骤1 地址事件表达数据捕获：用动态视觉传感器实时读取场景中的动态信息并将其转化为事件流作为模型的输入；
步骤2 时空卷积：对得到的事件流进行时空特征提取，实现事件流的去噪、编码和切片，得到脉冲时空平面模板和有意义的时空特征脉冲流；
步骤3 脉冲池化：对步骤2得到的所述时空特征脉冲流做脉冲池化操作，得到关键、稀疏的时空特征脉冲流；
步骤4 学***面可塑性训练出一套具有鉴别手势类别能力的权重；
步骤5 用经过学习的Double-STS模型识别手势序列。
进一步地，所述步骤1中，转化的事件流为
Figure DEST_PATH_IMAGE001
，其作为模型输入后，选择公开手势数据集GESTURE-DVS验证模型性能；
其中表示事件流中的第i个事件，
Figure DEST_PATH_IMAGE002
表示该事件的像素地址，
Figure DEST_PATH_IMAGE003
表示该事件产生时的时间戳，
Figure DEST_PATH_IMAGE004
表示该事件的光强变化极性，
Figure DEST_PATH_IMAGE005
表示光强增加的“ON事件”，
Figure DEST_PATH_IMAGE006
表示光强减小的“OFF事件”。
进一步地，所述步骤2的实现过程包括脉冲时空平面模板初始化和学习两个阶段，假设需要提取事件流中的K种时空特征，具体实现步骤如下：
步骤2.1 计算脉冲时空平面：对于任意事件
Figure DEST_PATH_IMAGE007
，为探究该事件与它时空邻域内的事件之间的关联度，按照如下公式计算该事件的脉冲时空平面
Figure DEST_PATH_IMAGE008
：
Figure DEST_PATH_IMAGE009
（1）；
Figure DEST_PATH_IMAGE010
（2）；
其中，τ和σ分别是时空关联度的时间衰减常数和空间衰减常数；
u和v分别是时间关联度和空间关联度的权重系数；
H是该事件之前τ时间窗内发生的所有事件集合；
Figure DEST_PATH_IMAGE011
，其中R是空间邻域半径；
Figure DEST_PATH_IMAGE012
是
Figure DEST_PATH_IMAGE013
时空邻域内的事件集合，根据公式可知属于该集合内的事件满足以下三个条件：属于H内，即发生在事件
Figure 894177DEST_PATH_IMAGE013
之前的τ时间窗内；属于事件
Figure 732689DEST_PATH_IMAGE013
的以R为半径的空间邻域内；与事件
Figure 184530DEST_PATH_IMAGE013
具有相同的极性p值；
步骤2.2 去噪：得到该事件的脉冲时空平面之后，则判断该事件是否为噪音或无意义事件，若该时空平面上的绝大部分值满足公式（3），则该事件处于静默状态，将该事件视为无用事件，并抛弃该事件，继续执行步骤2.1，否则该事件进入下一处理步骤；
Figure DEST_PATH_IMAGE014
（3）；
步骤2.3 时空特征编码：令C为脉冲时空平面模板，n为一个向量，每个分量为被每种模板编码的事件个数，此步骤有两种情况：
（1）若
Figure DEST_PATH_IMAGE015
，则处于时空平面模板初始化阶段，则用
Figure DEST_PATH_IMAGE016
初始化第k个脉冲时空平面模板，并将序号k作为该事件的特征类别，对其进行时空特征编码，相关公式如下：
Figure DEST_PATH_IMAGE017
(4)；
Figure DEST_PATH_IMAGE018
(5)；
Figure DEST_PATH_IMAGE019
(6)；
其中，脉冲时空平面模板C用一个三维矩阵表示，三个维度分别表示行、列、页，C（：，：，k）表示第k页的所有行和所有列，公式（5）表示用
Figure DEST_PATH_IMAGE020
更新C的第k页的内容；
（2）若
Figure DEST_PATH_IMAGE021
，则处于时空平面模板学***面模板的欧式距离，得到距离最近的模板编号k；然后用获取的模板去学***面模板更新为C k ，相关公式如下：
Figure DEST_PATH_IMAGE023
(7)；
Figure DEST_PATH_IMAGE024
(8)；
Figure DEST_PATH_IMAGE025
(9)；
Figure DEST_PATH_IMAGE026
(10)；
Figure DEST_PATH_IMAGE027
(11)；
其中，
Figure DEST_PATH_IMAGE028
为n的第k个分量，α和β为常数因子；
步骤2.***流转化成切片：将事件流做切片，然后将切片输入模型，进行识别，从而识别整个手势序列，令
Figure DEST_PATH_IMAGE029
为事件流的时空信息累积量，
Figure DEST_PATH_IMAGE030
为经验阈值，对于每个事件
Figure DEST_PATH_IMAGE031
有：
Figure DEST_PATH_IMAGE032
(12)；
若
Figure DEST_PATH_IMAGE033
，则重置
Figure DEST_PATH_IMAGE034
，并输出当前保留的事件流作为一个切片，执行步骤3；
若
Figure DEST_PATH_IMAGE035
，则重复执行步骤2，计算下一个事件的脉冲时空平面。
进一步地，所述时空关联度的时间衰减常数τ=100ms，所述时空关联度的空间衰减常数σ=8；所述时间关联度的权重系数u=0.5，所述空间关联度的权重系数v=0.5，所述空间邻域半径R=4。
进一步地，所述步骤3中，对步骤2得到的所述时空特征脉冲流做脉冲池化操作包括局部位置共享和不应期两个步骤，具体步骤如下：
步骤3.1 融合局部关键特征。该步骤通过局部位置共享实现局部区域关键特征融合，对任意事件
Figure DEST_PATH_IMAGE036
，经过该步骤之后为
Figure DEST_PATH_IMAGE037
；
其中r为池化半径，r=4；
步骤3.2获得所述关键、稀疏的时间特征脉冲流：在经过局部位置共享后，每个位置拥有很多冗余事件，为了获得每个位置关键特征的稀疏表达，给每个位置添加不应期，提取出每个位置在时间尺度上的关键信息，保留时间窗内早期发生的事件，过滤掉冗余的时间信息。
进一步地，所述步骤（4）中，假设阈值是
Figure DEST_PATH_IMAGE038
，目标脉冲个数是n d ，初始化权重之后，对于每一个输入切片执行以下时空特征的学习步骤：
步骤4.1 建立事件驱动的泄漏集成点火神经元模型：此步骤输入为某个切片，输出为实际发放脉冲个数n o 和发放脉冲的时间t f ；网络采用泄漏集成点火神经元模型，其膜电压是来自所有输入脉冲的突触后电位的加权和，事件驱动计算方式下的泄漏集成点火神经元膜电压计算公式为：
Figure DEST_PATH_IMAGE039
(13)；
Figure DEST_PATH_IMAGE040
(14)；
Figure DEST_PATH_IMAGE041
(15)；
其中，V(t)是当前输入神经元的膜电压，w i 是当前输入神经元对应的突触权重，t i 是第i个输入脉冲到达时间，
Figure DEST_PATH_IMAGE042
和
Figure DEST_PATH_IMAGE043
分别是膜电压衰减时间常数和突触电流衰减时间常数，V 0 是归一化系数，g接受上一个输入脉冲之后输出神经元的状态，若点火则g=1，否则g=0；
当膜电压V(t)超过阈值
Figure DEST_PATH_IMAGE044
时，神经元将发放脉冲，然后膜电压会被重置；
步骤4.2 训练出一套具有鉴别手势类别能力的权重：
若n o =n d ，执行步骤4.1，继续计算模型在面对下一个切片的n o ；
若 n o ≠n d ，则计算脉冲阈值平面，得到关键点时的脉冲发放时间表，更新权重。
进一步地，所述膜电压衰减时间常数和所述突触电流衰减时间常数满足
Figure DEST_PATH_IMAGE045
，其中，
Figure DEST_PATH_IMAGE046
=20ms。
进一步地，所述步骤4.2训练具有鉴别手势类别能力的权重的具体步骤如下：
步骤4.2.1判断学习方式：假设n o =6，若n o ≠n d ，则学习方式为LTP或LTD；
步骤4.2.2动态计算脉冲阈值平面：LTP或LTD逐步减小或增加
Figure DEST_PATH_IMAGE047
，并计算每个假设阈值下的脉冲个数；
步骤4.2.3 得到关键点时的脉冲发放时间表：当脉冲个数刚好位于关键点B= n o +1或A= n o ，记录此时输出神经元发放脉冲的时刻t x ，即为关键点时的脉冲发放时间表；
步骤4.2.4 训练出具有鉴别手势类别能力的权重：训练时的目标脉冲个数满足如下公式：
Figure DEST_PATH_IMAGE048
(16)；
权重更新规则为
Figure DEST_PATH_IMAGE049
(17)；
Figure DEST_PATH_IMAGE050
(18)；
其中
Figure DEST_PATH_IMAGE051
(19)；
η是学习率，Sup(·)和Inf(·)分别为
Figure DEST_PATH_IMAGE052
的上确界和下确界，a和b是为了提升算法的泛化性能而设置的训练参数。
进一步地，所述学习率η=0.01，所述训练参数a=1，b=5。
进一步地，所述用经过学习的Double-STS模型识别手势序列的具体过程如下：在输出层采用群组决策方式，即每个类别设置10个输出神经元，对于一个输入切片，响应最多的那类群组将作为模型最终输出类别。
本发明的有益效果有：
（1）噪音鲁棒性：本发明所提特征提取方法不仅可以有效过滤事件流中的噪音事件，而且因为空间关联度的引入，所提特征提取方法还可以过滤掉事件流中的大部分无意义事件，最后输入学习网络中的关键、稀疏的特征脉冲个数仅有原有事件流的5%，从而极大减轻了网络的学习负担，能够进行高效学习。
（2）高精度、高效性、快速收敛性：本发明所提出的基于SNN的脉冲阈值平面可塑性监督学***面，所以省去了大量不必要的计算步骤。算法在保证识别精度的同时，大大提高了模型的计算效率。脉冲池化过程提取了关键且稀疏的特征脉冲，使得学***面计算方式，更精确的逐步调整权重的方式使得模型可以快速收敛。
（3）时间敏感性：区别于传统基于帧图像的手势识别技术，本发明利用脉冲时空平面对高时间分辨率的事件流信息进行高效脉冲编码，可以保留动态视觉传感器捕捉到的精确时间信息特征，脉冲神经网络可以充分利用该特征进行学习与判别。
（4）仿脑性：本发明借鉴大脑中信息表达与处理机制，从特征提取到学习均采用事件驱动计算方式，极大提高模型计算效率，且借鉴大脑中的群组决策机制，每个输出神经元的发放由多个神经元组成的群组进行投票决定，避免单个神经元受噪音的影响，极大增强***的鲁棒性。
附图说明
下面结合附图和实施方式对本发明作进一步详细的说明。
图1为本发明的面向动态视觉传感器的类脑手势序列识别方法的流程图。
图2为本发明的脉冲阈值平面示意图。
图3为本发明实施例1的识别结果图。
图4为本发明方法和现有的去噪效果对比图。
图5为本发明和现有算法的效率及精度比较图。
图6为本发明数据集上的学习过程图。
具体实施方式
一种面向动态视觉传感器的类脑手势序列识别方法，如图1所示，所述方法包括以下步骤：
步骤1 地址事件表达(Address Event Representation, AER)数据捕获：用动态视觉传感器实时读取场景中的动态信息并将其转化为事件流作为模型的输入；
动态视觉传感器 (Dynamic Vision Sensor, DVS) 实时读取场景中的动态信息并将其转化为事件流
Figure DEST_PATH_IMAGE053
作为模型输入后，选择公开手势数据集GESTURE-DVS验证模型性能；
其中
Figure DEST_PATH_IMAGE054
表示事件流中的第i个事件，
Figure DEST_PATH_IMAGE055
表示该事件的像素地址，
Figure DEST_PATH_IMAGE056
表示该事件产生时的时间戳，
Figure DEST_PATH_IMAGE057
表示该事件的光强变化极性，
Figure DEST_PATH_IMAGE058
表示光强增加的“ON事件”，
Figure DEST_PATH_IMAGE059
表示光强减小的“OFF事件”。
步骤2 S层：时空卷积：对步骤2得到的所述得到的事件流进行时空特征提取，实现事件流的去噪、编码和切片，得到脉冲时空平面模板和有意义的时空特征脉冲流；
上述实现过程包括脉冲时空平面模板初始化和学习两个阶段，假设需要提取事件流中的K种时空特征，具体实现步骤如下：
步骤2.1 计算脉冲时空平面：对于任意事件
Figure DEST_PATH_IMAGE060
，为探究该事件与它时空邻域内的事件之间的关联度，按照如下公式计算该事件的脉冲时空平面
Figure DEST_PATH_IMAGE061
：
Figure DEST_PATH_IMAGE062
（1）；
Figure DEST_PATH_IMAGE063
（2）；
其中，τ和σ分别是时空关联度的时间衰减常数和空间衰减常数，τ=100ms，σ=8；
u和v分别是时间关联度和空间关联度的权重系数，u=0.5，v=0.5；
H是该事件之前τ时间窗内发生的所有事件集合；
Figure DEST_PATH_IMAGE064
，其中R是空间邻域半径，R=4；
Figure DEST_PATH_IMAGE065
是
Figure DEST_PATH_IMAGE066
时空邻域内的事件集合，根据公式可知属于该集合内的事件满足以下三个条件：属于H内，即发生在事件
Figure 685131DEST_PATH_IMAGE066
之前的τ时间窗内；属于事件
Figure 233924DEST_PATH_IMAGE066
的以R为半径的空间邻域内；与事件
Figure 728491DEST_PATH_IMAGE066
具有相同的极性p值；
步骤2.2 去噪：得到该事件的脉冲时空平面之后，则判断该事件是否为噪音或无意义事件，若该时空平面上的绝大部分值满足公式（3），则该事件处于静默状态，将该事件视为无用事件，并抛弃该事件，继续执行步骤2.1，否则该事件进入下一处理步骤即特征编码阶段，该步骤会过滤掉事件流中大约60%的无用事件。
Figure DEST_PATH_IMAGE067
（3）；
步骤2.3 时空特征编码：令C为脉冲时空平面模板，n为一个向量，每个分量为被每种模板编码的事件个数，此步骤有两种情况：
（1）若
Figure DEST_PATH_IMAGE068
，则处于时空平面模板初始化阶段，则用
Figure DEST_PATH_IMAGE069
初始化第k个脉冲时空平面模板，并将序号k作为该事件的特征类别，对其进行时空特征编码，相关公式如下：
Figure DEST_PATH_IMAGE070
(4)；
Figure DEST_PATH_IMAGE071
(5)；
Figure DEST_PATH_IMAGE072
(6)；
其中，脉冲时空平面模板C用一个三维矩阵表示，三个维度分别表示行、列、页，C（：，：，k）表示第k页的所有行和所有列，公式（5）表示用
Figure DEST_PATH_IMAGE073
更新C的第k页的内容；
（2）若
Figure DEST_PATH_IMAGE074
，则处于时空平面模板学***面模板的欧式距离，得到距离最近的模板编号k；然后用获取的模板去学***面模板更新为C k ，相关公式如下：
Figure DEST_PATH_IMAGE076
(7)；
Figure DEST_PATH_IMAGE077
(8)；
Figure DEST_PATH_IMAGE078
(9)；
Figure DEST_PATH_IMAGE079
(10)；
Figure DEST_PATH_IMAGE080
(11)；
其中，
Figure DEST_PATH_IMAGE081
为n的第
Figure DEST_PATH_IMAGE082
个分量，α和β为常数因子；
步骤2.***流转化成切片：传统的手势序列识别有一个最大的挑战是找到手势开始和结束的位置，本发明忽略这个问题，直接将事件流做切片，然后将切片输入模型，进行识别，从而识别整个手势序列，令
Figure DEST_PATH_IMAGE083
为事件流的时空信息累积量，
Figure DEST_PATH_IMAGE084
为经验阈值，对于每个事件
Figure DEST_PATH_IMAGE085
有：
Figure DEST_PATH_IMAGE086
(12)；
若
Figure DEST_PATH_IMAGE087
，则重置
Figure DEST_PATH_IMAGE088
，并输出当前保留的事件流作为一个切片，执行步骤3；
若
Figure DEST_PATH_IMAGE089
，则重复执行步骤2，计算下一个事件的脉冲时空平面。
步骤3 C层：脉冲池化：对步骤2得到的所述时空特征脉冲流做脉冲池化操作(S-Pooling)，得到关键、稀疏的时空特征脉冲流；该过程包括局部位置共享和不应期两个步骤，具体步骤如下：
步骤3.1 融合局部关键特征。该步骤通过局部位置共享实现局部区域关键特征融合，对任意事件
Figure DEST_PATH_IMAGE090
，经过该步骤之后为
Figure DEST_PATH_IMAGE091
；
其中r为池化半径，r=4；
步骤3.2获得所述关键、稀疏的时空特征脉冲流：在经过局部位置共享后，每个位置拥有很多冗余事件，为了获得每个位置关键特征的稀疏表达，给每个位置添加不应期，提取出每个位置在时间尺度上的关键信息，保留时间窗内早期发生的事件，过滤掉冗余的时间信息。该步骤之后剩余的关键稀疏事件仅有原事件流的5%，大大节约了后续网络计算时间。
步骤4 学***面可塑性（STSP，spike threshold surfaceplasticity）监督学习规则训练出一套具有鉴别手势类别能力的权重；
假设阈值是，目标脉冲个数是n d ，初始化权重之后，对于每一个输入切片执行以下时空特征的学习步骤：
步骤4.1 建立事件驱动的泄漏集成点火(Leaky Integrate-and-Fire，LIF)神经元模型：此步骤输入为某个切片，输出为实际发放脉冲个数n o 和发放脉冲的时间t f ；网络采用泄漏集成点火神经元模型，其膜电压是来自所有输入脉冲的突触后电位的加权和，事件驱动计算方式下的泄漏集成点火神经元膜电压计算公式为：
Figure DEST_PATH_IMAGE092
(13)；
Figure DEST_PATH_IMAGE093
(14)；
Figure DEST_PATH_IMAGE094
(15)；
其中，V(t)是当前输入神经元的膜电压，w i 是当前输入神经元对应的突触权重，t i 是第i个输入脉冲到达时间，
Figure DEST_PATH_IMAGE095
和
Figure DEST_PATH_IMAGE096
分别是膜电压衰减时间常数和突触电流衰减时间常数，满足
Figure DEST_PATH_IMAGE097
，
Figure DEST_PATH_IMAGE098
=20ms；V 0 是归一化系数，g接受上一个输入脉冲之后输出神经元的状态，若点火则g=1，否则g=0；
当膜电压V(t)超过阈值
Figure DEST_PATH_IMAGE099
时，神经元将发放脉冲，然后膜电压会被重置；
步骤4.2 训练出一套具有鉴别手势类别能力的权重：
若n o =n d ，执行步骤4.1，继续计算模型在面对下一个切片的n o ；
若 n o ≠n d ，则计算简化版的脉冲阈值平面 ，如图2的阴影部分，得到关键点时的脉冲发放时间表，更新权重。具体步骤如下：
步骤4.2.1判断学习方式：假设n o =6，若n o ≠n d ，则学习方式为LTP或LTD；
步骤4.2.2动态计算脉冲阈值平面：LTP或LTD逐步减小或增加，并计算每个假设阈值下的脉冲个数；
步骤4.2.3 得到关键点时的脉冲发放时间表：当脉冲个数刚好位于关键点B= n o +1或A= n o ，即若阈值再增加一点，则脉冲个数为n o -1，如图2，记录此时输出神经元发放脉冲的时刻t x ，即为关键点时的脉冲发放时间表；
步骤4.2.4 用脉冲阈值平面可塑性（STSP，spike threshold surfaceplasticity）监督学习规则训练出一套具有鉴别手势类别能力的权重：在训练时，训练输出神经元在面对目标类别的输入模式时发放得更多，在面对非目标类别的时候发放得更少。训练时的目标脉冲个数
Figure DEST_PATH_IMAGE100
满足如下公式：
Figure DEST_PATH_IMAGE101
(16)；
权重更新规则为
Figure DEST_PATH_IMAGE102
(17)；
Figure DEST_PATH_IMAGE103
(18)
其中
Figure DEST_PATH_IMAGE104
(19)
η是学习率，η=0.01，Sup(·)和Inf(·)分别为
Figure DEST_PATH_IMAGE105
的上确界和下确界，a和b是为了提升算法的泛化性能而设置的训练参数，a=1，b=5。
步骤5 用经过学习的Double-STS模型识别手势序列。
在输出层采用群组决策方式，即每个类别设置10个输出神经元，对于一个输入切片，响应最多的那类群组将作为模型最终输出类别，这种群组决策的方式避免了单个输出神经元不稳定的风险。
实施例1
选取GESTURE-DVS数据集中最相似的三个手势，随机组成手势序列，按照上述识别方法进行识别，识别结果如图3所示，从图中可看出，本发明可成功识别到手势序列中的每一个手势。
进一步分析模型性能，可以看出本发明具有以下优点：
（1）噪音鲁棒性：图4中，第一排是原始事件流的重构帧图，第二排是基于时间平面的方法，第三排是基于去噪的时间平面的方法，第四排是本发明所提的基于脉冲时空平面的方法。如图4第四排图所示，本发明所提特征提取方法不仅可以有效过滤事件流中的噪音事件，而且因为空间关联度的引入，本发明所提特征提取方法还可以过滤掉事件流中的大部分无意义事件（即与目标动作无直接关系的事件点），最后输入学习网络中的关键、稀疏的特征脉冲个数仅有原有事件流的5%，从而极大减轻了网络的学习负担，能够进行高效学习。
（2）高精度、高效性、快速收敛性：
高精度：本发明所提出的基于SNN的脉冲阈值平面可塑性（STSP）监督学习规则充分利用了特征事件流精确的时空信息，使得模型可以更精确地学习输入的时空特征，从而具有较高的识别效果。本发明与现有的几种优秀的动态视觉信息识别方法在几种公开的DVS数据集上性能比较结果如表1所示：
表1 本发明与现有的几种优秀的动态视觉信息识别方法在公开的DVS数据集上性能比较
方法 N-MNIST MNIST-DVS CIFAR10-DVS POKER-DVS GESTURE-DVS AER Posture
对比例1 85.84% 88.14% 21.90% 93.46% 90.50% 99.48%
对比例2 71.15% 78.13% 7.70% 94.02% 84.75% 94.48%
对比例3 93.26% 91.51% 28.67% 96.17% 67.65% 99.95%
对比例4 80.84% 80.32% 27.10% 93.58% - 95.72%
对比例5 99.10% 98.40% 52.40% - - -
实施例1 98.66% 98.32% 60.73% 99.50% 95.88% 99.99%
其中，对比例1来源于：B. Zhao, R. Ding, S. Chen, B. Linares-Barranco,and H. Tang. Feedforward categorization on aer motion events using cortex-like features in a spiking neural network. IEEE transactions on neuralnetworks and learning systems[J]. 2014, 26,(9):1963-1978。
对比例2来源于：G. Orchard, C. Meyer, R. Etienne-Cummings, C. Posch, N.Thakor, and R. Benosman. Hfifirst: a temporal approach to object recognition.IEEE transactions on pattern analysis and machine intelligence[J]. 2015,37(10):2028-2040。
对比例3来源于：R. Xiao, H. Tang, Y. Ma, R. Yan, and G. Orchard. Anevent-driven categorization model for aer image sensors using multispikeencoding and learning. IEEE transactions on neural networks and learningsystems[J], 2019,31(9): 3649 - 3657。
对比例4来源于：D. Ballard et al. Dynamic coding of signed quantitiesin cortical feedback circuits. Frontiers in psychology[J], 2012,(3):254。
对比例5来源于：A. Sironi, M. Brambilla, N. Bourdis, X. Lagorce, and R.Benosman. Hats: Histograms of averaged time surfaces for robust event-basedobject classification. in Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition[J]. 2018:1731-1740。
高效性：由于本发明所提出的算法简化了传统的脉冲阈值平面，所以省去了大量不必要的计算步骤。图5为本发明和现有算法的效率及精度比较图。从图中可看出，本发明的算法在保证识别精度的同时，大大提高了模型的计算效率。
其中，MST算法来源于：R. Gutig. Spiking neurons can discover predictivefeatures by aggregate-label learning. Science[J]. 2016,351(6277):aab4113。
TPD算法来源于：Q. Yu, H. Li, and K. C. Tan. Spike timing or rate,neurons learn to make decisions for both through thresholddriven plasticity.IEEE transactions on cybernetics[J], 2018,49(6):2178-2189。
XIAO算法来源于：R. Xiao, H. Tang, Y. Ma, R. Yan, and G. Orchard. Anevent-driven categorization model for aer image sensors using multispikeencoding and learning. IEEE transactions on neural networks and learningsystems[J], 2019,31(9): 3649 - 3657。
快速收敛性：如图6所示，本发明在第二个Epoch之后就开始收敛，识别精度接近1。这是因为本发明在特征提取部分提取了关键且稀疏的特征脉冲，得学***面计算方式，这种更精确的逐步调整权重的方式也使得本发明模型可以快速收敛。
（3）时间敏感性：DVS可以在空间域和时间域高速且连续的跟踪并采集手势数据，时间分辨率在纳秒级，远超传统摄像头的帧图像取样。区别于传统基于帧图像的手势识别技术，本发明利用脉冲时空平面对高时间分辨率的事件流信息进行高效脉冲编码，可以保留DVS捕捉到的精确时间信息特征，脉冲神经网络可以充分利用该特征进行学习与判别。
（4）仿脑性：本发明借鉴大脑中信息表达与处理机制，从特征提取到学习均采用事件驱动计算范式，极大提高了模型的计算效率，且借鉴了大脑中的群组决策机制，每个输出神经元的发放由多个神经元组成的群组进行投票决定，避免了单个神经元受噪音的影响，极大增强了***的鲁棒性。
上述说明是示例性的而非限制性的。通过上述说明本领域技术人员可以意识到本发明的许多种改变和变形，其也将落在本发明的实质和范围之内。

Claims (10)

1.一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述方法包括以下步骤：
步骤1 地址事件表达数据捕获：用动态视觉传感器实时读取场景中的动态信息并将其转化为事件流作为模型的输入；
步骤2 时空卷积：对得到的事件流进行时空特征提取，实现事件流的去噪、编码和切片，得到脉冲时空平面模板和有意义的时空特征脉冲流；
步骤3 脉冲池化：对步骤2得到的所述时空特征脉冲流做脉冲池化操作，得到关键、稀疏的时空特征脉冲流；
步骤4 学***面可塑性监督学习规则训练出一套具有鉴别手势类别能力的权重；
步骤5 用经过学习的Double-STS模型识别手势序列。
2.根据权利要求1所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述步骤1中，转化的事件流为
Figure 847587DEST_PATH_IMAGE001
，其作为模型输入后，选择公开手势数据集GESTURE-DVS验证模型性能；
其中
Figure 58995DEST_PATH_IMAGE002
表示事件流中的第i个事件，
Figure 421843DEST_PATH_IMAGE003
表示该事件的像素地址，
Figure 802140DEST_PATH_IMAGE004
表示该事件产生时的时间戳，
Figure 67774DEST_PATH_IMAGE005
表示该事件的光强变化极性，
Figure 251631DEST_PATH_IMAGE006
表示光强增加的“ON事件”，
Figure 355853DEST_PATH_IMAGE007
表示光强减小的“OFF事件”。
3.根据权利要求1所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述步骤2的实现过程包括脉冲时空平面模板初始化和学习两个阶段，假设需要提取事件流中的K种时空特征，具体实现步骤如下：
步骤2.1 计算脉冲时空平面：对于任意事件
Figure 793919DEST_PATH_IMAGE008
，为探究该事件与它时空邻域内的事件之间的关联度，按照如下公式计算该事件的脉冲时空平面
Figure 653290DEST_PATH_IMAGE009
：
Figure 370448DEST_PATH_IMAGE010
（1）；
Figure 340678DEST_PATH_IMAGE011
（2）；
其中，τ和σ分别是时空关联度的时间衰减常数和空间衰减常数；
u和v分别是时间关联度和空间关联度的权重系数；
H是该事件之前τ时间窗内发生的所有事件集合；
Figure 85780DEST_PATH_IMAGE012
，其中R是空间邻域半径；
Figure 601206DEST_PATH_IMAGE013
是
Figure 556393DEST_PATH_IMAGE014
时空邻域内的事件集合，根据公式可知属于该集合内的事件满足以下三个条件：属于H内，即发生在事件
Figure 314002DEST_PATH_IMAGE014
之前的τ时间窗内；属于事件
Figure 913611DEST_PATH_IMAGE014
的以R为半径的空间邻域内；与事件
Figure 849206DEST_PATH_IMAGE014
具有相同的极性p值；
步骤2.2 去噪：得到该事件的脉冲时空平面之后，则判断该事件是否为噪音或无意义事件，若该时空平面上的绝大部分值满足公式（3），则该事件处于静默状态，将该事件视为无用事件，并抛弃该事件，继续执行步骤2.1，否则该事件进入下一处理步骤；
Figure 42421DEST_PATH_IMAGE015
（3）；
步骤2.3 时空特征编码：令C为脉冲时空平面模板，n为一个向量，每个分量为被每种模板编码的事件个数，此步骤有两种情况：
（1）若
Figure 88874DEST_PATH_IMAGE016
，则处于时空平面模板初始化阶段，则用
Figure 808569DEST_PATH_IMAGE017
初始化第
Figure 164333DEST_PATH_IMAGE018
个脉冲时空平面模板，并将序号
Figure 94111DEST_PATH_IMAGE019
作为该事件的特征类别，对其进行时空特征编码，相关公式如下：
Figure 694988DEST_PATH_IMAGE020
(4)；
Figure 269189DEST_PATH_IMAGE021
(5)；
Figure 546586DEST_PATH_IMAGE022
(6)；
其中，脉冲时空平面模板C用一个三维矩阵表示，三个维度分别表示行、列、页，C（：，：，k）表示第k页的所有行和所有列，公式（5）表示用
Figure 947350DEST_PATH_IMAGE023
更新C的第k页的内容；
（2）若
Figure 866764DEST_PATH_IMAGE024
，则处于时空平面模板学***面模板的欧式距离，得到距离最近的模板编号
Figure 494503DEST_PATH_IMAGE026
；然后用获取的模板去学***面模板更新为C k ，相关公式如下：
Figure 336557DEST_PATH_IMAGE027
(7)；
Figure 863526DEST_PATH_IMAGE028
(8)；
Figure 209056DEST_PATH_IMAGE029
(9)；
Figure 31519DEST_PATH_IMAGE030
(10)；
Figure 846022DEST_PATH_IMAGE031
(11)；
其中，
Figure 107239DEST_PATH_IMAGE032
为n的第
Figure 618861DEST_PATH_IMAGE033
个分量，α和β为常数因子；
步骤2.***流转化成切片：将事件流做切片，然后将切片输入模型，进行识别，从而识别整个手势序列，令
Figure 674542DEST_PATH_IMAGE034
为事件流的时空信息累积量，
Figure 163292DEST_PATH_IMAGE035
为经验阈值，对于每个事件
Figure 447774DEST_PATH_IMAGE036
有：
Figure 830213DEST_PATH_IMAGE037
(12)；
若
Figure 306063DEST_PATH_IMAGE038
，则重置
Figure 16530DEST_PATH_IMAGE039
，并输出当前保留的事件流作为一个切片，执行步骤3；
若
Figure 353971DEST_PATH_IMAGE040
，则重复执行步骤2，计算下一个事件的脉冲时空平面。
4.根据权利要求3所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述时空关联度的时间衰减常数τ=100ms，所述时空关联度的空间衰减常数σ=8；所述时间关联度的权重系数u=0.5，所述空间关联度的权重系数v=0.5，所述空间邻域半径R=4。
5.根据权利要求1所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述步骤3中，对步骤2得到的所述时空特征脉冲流做脉冲池化操作包括局部位置共享和不应期两个步骤，具体步骤如下：
步骤3.1 融合局部关键特征：该步骤通过局部位置共享实现局部区域关键特征融合，对任意事件
Figure 607228DEST_PATH_IMAGE041
，经过该步骤之后为
Figure 739133DEST_PATH_IMAGE042
；
其中r为池化半径，r=4；
步骤3.2获得所述关键、稀疏的时间特征脉冲流：在经过局部位置共享后，每个位置拥有很多冗余事件，为了获得每个位置关键特征的稀疏表达，给每个位置添加不应期，提取出每个位置在时间尺度上的关键信息，保留时间窗内早期发生的事件，过滤掉冗余的时间信息。
6.根据权利要求1所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述步骤（4）中，假设阈值是
Figure 202475DEST_PATH_IMAGE043
，目标脉冲个数是n d ，初始化权重之后，对于每一个输入切片执行以下时空特征的学习步骤：
步骤4.1 建立事件驱动的泄漏集成点火神经元模型：此步骤输入为某个切片，输出为实际发放脉冲个数n o 和发放脉冲的时间t f ；网络采用泄漏集成点火神经元模型，其膜电压是来自所有输入脉冲的突触后电位的加权和，事件驱动计算方式下的泄漏集成点火神经元膜电压计算公式为：
Figure 327295DEST_PATH_IMAGE044
(13)；
Figure 684327DEST_PATH_IMAGE045
(14)；
Figure 737864DEST_PATH_IMAGE046
(15)；
其中，V(t)是当前输入神经元的膜电压，w i 是当前输入神经元对应的突触权重，t i 是第i个输入脉冲到达时间，
Figure 688503DEST_PATH_IMAGE047
和
Figure 633325DEST_PATH_IMAGE048
分别是膜电压衰减时间常数和突触电流衰减时间常数，V 0 是归一化系数，g接受上一个输入脉冲之后输出神经元的状态，若点火则g=1，否则g=0；
当膜电压V(t)超过阈值
Figure 31814DEST_PATH_IMAGE049
时，神经元将发放脉冲，然后膜电压会被重置；
步骤4.2 训练出一套具有鉴别手势类别能力的权重：
若n o =n d ，执行步骤4.1，继续计算模型在面对下一个切片的n o ；
若 n o ≠n d ，则计算脉冲阈值平面，得到关键点时的脉冲发放时间表，更新权重。
7.根据权利要求6所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述膜电压衰减时间常数和所述突触电流衰减时间常数满足
Figure 833417DEST_PATH_IMAGE050
，其中，
Figure 818822DEST_PATH_IMAGE051
=20ms。
8.根据权利要求6所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述步骤4.2训练具有鉴别手势类别能力的权重的具体步骤如下：
步骤4.2.1判断学习方式：假设n o =6，若n o ≠n d ，则学习方式为LTP或LTD；
步骤4.2.2动态计算脉冲阈值平面：LTP或LTD逐步减小或增加
Figure 973860DEST_PATH_IMAGE052
，并计算每个假设阈值下的脉冲个数；
步骤4.2.3 得到关键点时的脉冲发放时间表：当脉冲个数刚好位于关键点B= n o +1或A= n o ，记录此时输出神经元发放脉冲的时刻t x ，即为关键点时的脉冲发放时间表；
步骤4.2.4 训练出具有鉴别手势类别能力的权重：训练时的目标脉冲个数满足如下公式：
Figure 243167DEST_PATH_IMAGE053
(16)；
权重更新规则为
Figure 199359DEST_PATH_IMAGE054
(17)；
Figure 921328DEST_PATH_IMAGE055
(18)；
其中
Figure 880056DEST_PATH_IMAGE056
（19）；
η是学习率，Sup(·)和Inf(·)分别为
Figure 754603DEST_PATH_IMAGE057
的上确界和下确界，a和b是为了提升算法的泛化性能而设置的训练参数。
9.根据权利要求8所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述学习率η=0.01，所述训练参数a=1，b=5。
10.根据权利要求1所述的一种面向动态视觉传感器的类脑手势序列识别方法，其特征在于，所述用经过学习的Double-STS模型识别手势序列的具体过程如下：在输出层采用群组决策方式，即每个类别设置10个输出神经元，对于一个输入切片，响应最多的那类群组将作为模型最终输出类别。
CN202110237539.9A 2021-03-04 2021-03-04 一种面向动态视觉传感器的类脑手势序列识别方法 Active CN112597980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110237539.9A CN112597980B (zh) 2021-03-04 2021-03-04 一种面向动态视觉传感器的类脑手势序列识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110237539.9A CN112597980B (zh) 2021-03-04 2021-03-04 一种面向动态视觉传感器的类脑手势序列识别方法

Publications (2)

Publication Number Publication Date
CN112597980A true CN112597980A (zh) 2021-04-02
CN112597980B CN112597980B (zh) 2021-06-04

Family

ID=75210344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110237539.9A Active CN112597980B (zh) 2021-03-04 2021-03-04 一种面向动态视觉传感器的类脑手势序列识别方法

Country Status (1)

Country Link
CN (1) CN112597980B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205048A (zh) * 2021-05-06 2021-08-03 浙江大学 一种手势识别方法及识别***
CN113313919A (zh) * 2021-05-26 2021-08-27 中国工商银行股份有限公司 使用多层前馈网络模型的报警方法、装置及电子设备
WO2022221994A1 (zh) * 2021-04-19 2022-10-27 成都时识科技有限公司 具有接口***的事件驱动集成电路
CN114723009B (zh) * 2022-04-12 2023-04-25 重庆大学 一种基于异步事件流的数据表示方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845541A (zh) * 2017-01-17 2017-06-13 杭州电子科技大学 一种基于生物视觉与精确脉冲驱动神经网络的图像识别方法
CN107066935A (zh) * 2017-01-25 2017-08-18 网易（杭州）网络有限公司 基于深度学习的手部姿态估计方法及装置
CN107403154A (zh) * 2017-07-20 2017-11-28 四川大学 一种基于动态视觉传感器的步态识别方法
CN110427823A (zh) * 2019-06-28 2019-11-08 北京大学 基于视频帧与脉冲阵列信号的联合目标检测方法与装置
CN111310816A (zh) * 2020-02-07 2020-06-19 天津大学 基于无监督匹配追踪编码的仿脑架构图像识别方法
CN112101535A (zh) * 2020-08-21 2020-12-18 中国科学院深圳先进技术研究院 脉冲神经元的信号处理方法及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845541A (zh) * 2017-01-17 2017-06-13 杭州电子科技大学 一种基于生物视觉与精确脉冲驱动神经网络的图像识别方法
CN107066935A (zh) * 2017-01-25 2017-08-18 网易（杭州）网络有限公司 基于深度学习的手部姿态估计方法及装置
CN107403154A (zh) * 2017-07-20 2017-11-28 四川大学 一种基于动态视觉传感器的步态识别方法
CN110427823A (zh) * 2019-06-28 2019-11-08 北京大学 基于视频帧与脉冲阵列信号的联合目标检测方法与装置
CN111310816A (zh) * 2020-02-07 2020-06-19 天津大学 基于无监督匹配追踪编码的仿脑架构图像识别方法
CN112101535A (zh) * 2020-08-21 2020-12-18 中国科学院深圳先进技术研究院 脉冲神经元的信号处理方法及相关装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022221994A1 (zh) * 2021-04-19 2022-10-27 成都时识科技有限公司 具有接口***的事件驱动集成电路
CN113205048A (zh) * 2021-05-06 2021-08-03 浙江大学 一种手势识别方法及识别***
CN113313919A (zh) * 2021-05-26 2021-08-27 中国工商银行股份有限公司 使用多层前馈网络模型的报警方法、装置及电子设备
CN113313919B (zh) * 2021-05-26 2022-12-06 中国工商银行股份有限公司 使用多层前馈网络模型的报警方法、装置及电子设备
CN114723009B (zh) * 2022-04-12 2023-04-25 重庆大学 一种基于异步事件流的数据表示方法及***

Also Published As

Publication number Publication date
CN112597980B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112597980B (zh) 一种面向动态视觉传感器的类脑手势序列识别方法
Zulfiqar et al. Deep face recognition for biometric authentication
CN108830252B (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN106599797B (zh) 一种基于局部并行神经网络的红外人脸识别方法
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN110503053B (zh) 基于循环卷积神经网络的人体动作识别方法
CN112308158A (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN111612136B (zh) 一种神经形态视觉目标分类方法及***
CN105069434B (zh) 一种视频中人体动作行为识别方法
CN109902615B (zh) 一种基于对抗网络的多个年龄段图像生成方法
Sincan et al. Using motion history images with 3d convolutional networks in isolated sign language recognition
CN106778501A (zh) 基于压缩跟踪与ihdr增量学习的视频人脸在线识别方法
CN116343330A (zh) 一种红外-可见光图像融合的异常行为识别方法
CN110956082A (zh) 基于深度学习的人脸关键点检测方法和检测***
CN112308087B (zh) 基于动态视觉传感器的一体化成像识别方法
CN113221655A (zh) 基于特征空间约束的人脸欺骗检测方法
CN112633377A (zh) 一种基于生成对抗网络的人体行为预测方法及***
CN112926522A (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
Zhou et al. A bio-inspired hierarchical spiking neural network with reward-modulated stdp learning rule for aer object recognition
CN110796081B (zh) 一种基于关系图分析的群体行为识别方法
CN109815887B (zh) 一种基于多智能体协作的复杂光照下人脸图像的分类方法
Littlewort et al. Analysis of machine learning methods for real-time recognition of facial expressions from video
CN115862097A (zh) 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置
Chen et al. Efficient Motion Symbol Detection and Multikernel Learning for AER Object Recognition
CN110348323B (zh) 一种基于神经网络优化的穿戴式设备手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant