CN109164910B - 针对脑电图的多路信号神经网络架构设计方法 - Google Patents

Abstract

本发明公开了一种针对脑电图的多路信号神经网络架构设计方法，构建脑电信号处理模块和辅助信号识别模块，其中脑电信号处理模块由递归神经网络和连接在递归神经网络后的全连接层构成，辅助信号识别模块为卷积层、归一化层和激活层构成的卷积神经网络。本发明提出了一种脑电信号和辅助信号相结合的判别算法，通过辅助信号提升对脑电信号的识别率，可以有效提升脑机接口技术的判别精确程度。通过网络参数的改变可以在一定程度下，以较小的精度损失实现较大的硬件性能提升，显著降低对内存、功耗和运行时间的消耗。

Description

针对脑电图的多路信号神经网络架构设计方法

技术领域

本发明涉及人机接口算法领域，具体是一种适应于嵌入式平台的针对脑电图的多路信号神经网络架构设计方法。

背景技术

不论是试图在游戏中解决迷宫问题或是学习外语，人体的大脑无时无刻不在活动着。眼睛依靠视觉细胞感受光照，通过视神经传递给脑皮层。耳道中的耳蜗捕捉到细微的空气振动并翻译成电信号，这些信号同样会传递给大脑。按照大脑的指挥，各种感官将感受传递给大脑，大脑吸收了所有的信息并重构，整合成一种完善的“体验”，对于人来说，这种“体验”就是现实。即使没有感官在工作时，大脑也可以进行独立思考，如思考解决一个数独游戏等等。在做梦时大脑皮层的活动也很频繁，它根据过去的想法、欲望和经历创造虚拟的、梦境。

脑电信号的类型十分多样，从空间域（大脑皮层区域）、时间域（自发电位和诱发电位），以及频率域上都有不一样的特征。人在生理状态和心理状态变化时也会有不相同的电位。脑电信号中具有丰富的信息,但是由于本身的信噪比以及复杂的特征难以提取和识别。因此若能通过其他辅助手段加强判断能力，可以使网络的实用性得到进一步提高。在新一代人机接口技术中，脑机接口由于其操作方便、前景广阔、适用人群广泛等优点成为热点研究对象。然而，由于现阶段脑电信号的采集方法不精确，且设备昂贵，具有商用价值的算法还不多。国内外的实际应用多发展至单一功能的玩具阶段。

由于5G的提出和发展，未来的趋势是在窄带物联网的互联场景下，实现周边硬件的智能化。神经网络算法所需硬件资源较大，智能硬件的低效性能对神经网络算法的效果会有影响。这种负面影响体验现在两方面：

首先是对内存空间和寄存器的大量占用。单片机的内存通常以KB为单位。而Fpga的寄存器数量更有限。对于神经网络而言，其网络参数数量随网络规模是指数型上升的。常见神经网络的参数大小通常以MB为计量单位大型网络的参数可达GB量级.而借助于片外存储sram或ddr又受到总线带宽和存储器I/O的限制。

其次是运行时间的浪费。神经网络本身的优秀性能是通过复杂的数学运算实现的，主要的数学运算操作是乘加。受到乘加器结构限制，多位数的乘加一般需要多个时钟周期才能完成。

发明内容

本发明的目的是提供一种针对脑电图的多路信号神经网络架构设计方法，以解决现有技术脑机接口算法精度低、耗时长、对硬件要求高的问题。发明提出了一种脑电信号和辅助信号相结合的判别算法，通过辅助信号提升对脑电信号的识别率。本发明可同时处理多路信号，在接受人体脑电信号的同时捕捉肢体动作、声音等其他特征，辅助脑电信号的准确识别。

为了达到上述目的，本发明所采用的技术方案为：

针对脑电图的多路信号神经网络架构设计方法，其特征在于：构建脑电信号处理模块和辅助信号识别模块，其中脑电信号处理模块负责处理脑电图信号，辅助信号识别模块为卷积神经网络，负责处理辅助信号。

所述的针对脑电图的多路信号神经网络架构设计方法，其特征在于：脑电信号处理模块中，接收脑电信号的是长短时记忆层，层后是全连接层；

所述的针对脑电图的多路信号神经网络架构设计方法，其特征在于：脑电信号处理模块中，全连接层的权重设计为精度可调。

所述的针对脑电图的多路信号神经网络架构设计方法，其特征在于：脑电信号处理模块中，全连接层可为多个全连接层串行叠加构成。

所述的针对脑电图的多路信号神经网络架构设计方法，其特征在于：辅助信号识别模块中卷积层、归一化层和激活层可串行叠加，内部权重数据设计为精度可调。

本发明构建脑电信号处理模块、辅助信号识别模块和并行信号汇集输出模块，其中脑电信号处理模块由长短时记忆形式的递归层和全连接层构成，递归层接收脑电图信号，经过处理后送给全连接层，全连接层的输出作为脑电处理模块的输出；辅助信号处理模块是由卷积层、归一化层和激活层和池化层构成的卷积神经网络，其输入为各种形式的辅助信号，输出与辅助处理模块的输出格式相同，均为宽度为64的int型数组。上述处理脑电信号的模块中的递归层与全连接，可串行叠加；负责多路辅助信号识别的模块中卷积、归一化、激活三层构成的卷积块block可以串行叠加。

本发明针对嵌入式硬件平台优化了算法结构，将网络内的实际参数类型合理调整，并调整了网络结构以适应参数的改变。多路信号并行的判别算法可以有效提升脑机接口技术的判别精确程度。通过网络参数的改变可以在一定程度下，以较小的精度损失实现较大的硬件性能提升，显著降低对内存、功耗和运行时间的消耗。上述神经网络的网络参数，如卷积层的卷积核权重，全连接层的权重，和激活函数的激活值等等均可任意调整位宽的int型数据类型。理论上处在binary模式下的网络相比通用计算机平台网络可实现32倍的速度提升。在特定场景下多路混合模式相比脑电接口单路模式可实现83.7%的精确度提升。

附图说明

图1 并行信号汇集及输出模块。

图2 脑电信号处理模块。

图3 辅助信号处理模块。

具体实施方式

下面结合实例对本发明做具体的介绍。多模态网络的结构分为三个模块:脑电信号处理模块、辅助信号处理模块和并行信号汇集输出模块。脑电信号处理模块负责接收脑电图信号，辅助信号处理模块负责接收辅助信号，两个处理模块的输出部分均同时输入并行信号汇集输出模块。并行信号汇集输出模块将两模块的输出合并融合，并输出最终的判断结果。

如图2所示，脑电信号具有明显的在时间上离散序列的特性。人在说话、思考过程中大脑也具有这样的思维连续性，样本信息也可能存在于离散脑电信号序列之间的联系中。因此脑电处理模块在隐藏层中加入了循环层。Simple-RNN在深度增加时具有梯度消失、网络结构庞大等一系列缺点，在嵌入式平台上更加明显。本发明使用长短时记忆层缓解上述问题。在长短时记忆层后，加入一层全连接层，以强化处理的能力本发明将全连接层的所有权重设计为可修改的任意精度模式。综上所述,脑电处理模块的结构为:第一层,循环层(长短时记忆类),层内单元数目为64，其输入为n*5的脑电信号,层内部三个门:输入门、遗忘门和输出门，选择了什么样的数据能够进入、输出记忆单元，什么样的数据会在记忆单元中消失，处理输出为1*64的float型数组；第二层，批量归一化层，该层主要用来改善训练时的局部最小化现象，该层统计每批的均值和方差后将数据归一化；第三层，全连接层，层内单元数目为64，输入为循环层的输出，输出为1*64的int型数组，其int位宽可从1bit到32bit（与float同宽）根据需要自定义修改，且全连接层的层数也可根据需要自定义修改。如图2所示，脑电信号以5列一组串行输入循环层，经由浮点数处理后，进入任意精度全连接层。全连接层的权重与特征值匹配乘加后作为脑电模块的输出。脑电处理模块的特点是，首先保证了循环层的数据精度，维持了判别准确率，在这个条件下定义了全连接层可修改的尺寸、深度模式。由于权重精度可修改，因此可以调整为最佳状态，同时保证了人脑脑电信号的准确度，由于数据位宽的降低，运行时的内存消耗会减少，运行速度也会加快。

本发明中，递归层、全连接层等内部对数据的处理方法是神经网络的常规方法。递归层中，以n个为一组的序列由1到n依次输入层中，层内的输入门、遗忘门等门限单元选择性的将输入和上一时刻的输出放入层内的记忆单元。记忆单元是本时刻的输出。全连接层的每一个单元都连接上一层的所有输出数据的单元，并赋予一个权重，层内单元的值就是上一层输出加上权重后的合。卷积层中有很多个卷积核，每个卷积核都单独对输入进来的特征图进行图像卷积操作。批量归一化是对数据进行乘除等操作，使整批数据的均值为0，标准差为1，激活层是一个映射函数，relu型激活层的函数是f（x）=max（0，x）。

本发明中，脑电信号处理模块整体上可以视为一种递归神经网络，网络内部的隐藏层是长短时记忆层（递归层的一种），外部的输出层是全连接层，这两层构成网络的整体内容。

辅助信号处理模块的结构如图3所示。同脑电信号相似，计算机通过某种方式获取人的某些信息，得到辅助信号。辅助信号的选择同一直以来人机交互的发展紧密相关。成功、成熟的交互方式，都具有准确度高，操作性好两个特点。脑机接口技术区分其余人机交互的重要特点就是实时方便，现在的手指、语音等交互方式都需要用户的主动参与，而脑电技术仅需思考就能实现交互。在不增加使用成本的情况下，被动信号的优越性要远强于手指、语音等主动交互方式。以VR为例，通过摄像头而非传感器、手柄捕捉玩家动作可以减少用户的操作复杂性。卷积神经网络在标记、物体识别、文本分类、翻译、机械控制、游戏算法等领域都有运用。辅助信号处理模块基于对视频、图像、红外等定位手段被动信号的处理思路而设计。辅助信号的输入格式根据信号类型的不同而改变，第一层是卷积层，接收辅助信号，卷积层内部有64个3*3的int型卷积核，卷积方式是padding，因此输出是n*64；卷积层之后是int型的批量归一化层和relu激活层，这三层构成一个可重构的block，block根据脑电处理模块的实际硬件速度调整数目，如脑电模块中一层循环层+激活层的总层数为6，则block数目为2时共计有6层，可使两者的处理速度相同。另外一个原因是，对于大数据或复杂任务，浅层数的网络拟合的函数空间有限，深层网络能拟合更丰富的函数空间，因此使用复杂的辅助信号时block数目也能随之调整。Block的输出（即最后一层激活层输出）后会经过一个最大池化层，最大池化层对特征以最大值方式池化，再次经过一个卷积-归一化-激活的三层后成为辅助处理模块的最后输出，输出格式是int型的n*64数组。

本发明中，辅助信号识别模块是卷积神经网络的一种，内部的层结构是：卷积层-归一化层-激活层-池化层-卷积层-归一化层-激活层-输出。其中前三层的卷积层-归一化层-激活层作为一个block，可根据需要增加数目。如两个block的网络结构是：卷积层-归一化层-激活层-卷积层-归一化层-激活层-池化层-卷积层-归一化层-激活层-输出。

两个模块之后衔接的是并行信号汇集输出模块。该模块接收各种处理模块的输出，并输出判断结果。前文设计的所有信号处理模块的输出格式都是n*64的结构，因此并行模块接收后直接将多路信号合并，辅助信号的类型可能不止一种，因此辅助信号处理模块可以多路并行重复运行。如带图像、红外传感两路辅助信号的脑电信号，其合并后的数据格式是n*64*3，也即n*192.由于每一路信号都带有部分判断信息，最后的判断根据实际的情况对各路信号权重调整进行取舍，因此合并后数据汇入全连接层，该全连接层的尺寸是64，以上述3路为例，则全连接层的权重数量是12288.综上，并行信号处理模块的输入是脑电、辅助处理模块的输出，也即n*64的数组，内部第一层是合并层，直接将各路输入合并；第二层是全连接层，包含对各路信号的判断权值，输出格式是num*1，num是信号的标签数目。并行模块的全连接层是整个网络结构中体积较大的层，因此本发明将其也设计为可修改的任意精度模式。Int4模式相比int32模式，其权重的内存占用减少87.5%，其运行时间根据硬件乘加器结构的不同也有数倍的性能提升。以查找表为原理的乘加器，在实现相同运行速度的条件下，int4型层又比int32型层减少98.5%的DSP消耗。

Claims (1)

1.针对脑电图的多路信号神经网络架构设计方法，其特征在于：构建脑电信号处理模块和辅助信号识别模块，其中脑电信号处理模块负责处理脑电图信号，辅助信号识别模块为卷积神经网络，负责处理辅助信号；

脑电信号处理模块中，接收脑电信号的是长短时记忆层，层后是全连接层；

脑电信号处理模块中，全连接层的权重设计为精度可调；

脑电信号处理模块中，全连接层为多个全连接层串行叠加构成；

辅助信号识别模块中卷积层、归一化层和激活层串行叠加，内部权重数据设计为精度可调。

Images