CN114312819A - 基于胶囊神经网络的脑启发式自动驾驶辅助***及方法 - Google Patents

Abstract

本发明公开了一种基于胶囊神经网络的脑启发式自动驾驶辅助***及方法，***包括脑电信号采集***：用于采集用户的脑电数据；错误相关负电位分析***使用胶囊神经网络实现错误相关负电位ERN的检测，根据用户的脑电数据提取驾驶者大脑中的错误相关负电位信号，输出标志信号；运动想象分析***：根据用户的脑电数据判断用户大脑的驾驶意图，提取指令；自动导航控制***：用于模拟车辆自动驾驶场景，实现对未知场景定位、建图以及路径规划，通过PID控制进一步计算输出的驾驶状态变化量，控制车辆导航状态的更新。本发明基于脑电信号的特征提取和分析模型与类脑智能体模型来辅助自动驾驶***安全修正，减少复杂环境或者技术缺陷导致的事故发生。

Description

基于胶囊神经网络的脑启发式自动驾驶辅助***及方法

技术领域

本发明涉及图像处理与识别方法技术领域，具体地指一种基于胶囊神经网络的脑启发式自动驾驶辅助***及方法。

背景技术

智能汽车是全球汽车产业发展的战略方向，也是未来智慧交通的重要组成部分。智能汽车的发展有利于加速汽车产业转型升级，培养数字经济，壮大经济增长新动能。自动驾驶技术将增强出行的安全性和灵活性，促进城市交通的信息化建设，车辆信息化、智能化的需求愈发迫切。现有汽车智能化水平多在L0～L3级，且不会在短期内到达L4、L5级，距完全智能化L5级依旧有较大差距。在缺少人工干预的情况下，测试车辆尚不能很好地处理复杂多变的道路状况，容易出现安全事故。

脑机接口(Brain-Computer Interface ,BCI) 是一种直接连接大脑与外部设备的通讯设备。脑机接口不依赖大脑外周神经和肌肉的参与，而是利用中枢神经***感知或认知思维活动诱发的脑电图(Electroencephalogram,EEG)经由采集***获取后信号并解码感知思维意图，从而将脑后动信息转化为控制信号，实现大脑与外部设备进行通信或控制。随着脑机接口技术的成熟，与其相结合的新模式的智能***不断涌现，包含了智能家居，教育科技，健康医疗，娱乐控制等。

基于脑电信号分析开发一种有效的自动驾驶辅助智能***，将BCI和类脑智能体技术运用于现有的自动驾驶领域，脑电信号对驾驶***的突发状况起智能引导作用，对交通工具智能化的发展有着重要意义。

发明内容

本发明的目的在于克服现有技术的缺点与不足，而提出一种基于胶囊神经网络的脑启发式自动驾驶辅助***及方法，可基于脑电信号的特征提取和分析模型与类脑智能体模型融合来辅助自动驾驶***安全修正，减少因为复杂环境或者技术缺陷导致的事故发生。

为实现上述目的，本发明所设计的一种基于胶囊神经网络的脑启发式自动驾驶辅助***，其特殊之处在于，所述***包括脑电信号采集***、错误相关负电位分析***、运动想象分析***、自动导航控制***；

所述脑电信号采集***：用于采集用户的脑电数据并发送到上位机进行处理；

所述错误相关负电位分析***：使用胶囊神经网络实现错误相关负电位ERN的检测功能，根据用户的脑电数据提取驾驶者大脑中的错误相关负电位信号，输出标志信号，反映当前的车辆导航状态正确性；

所述运动想象分析***：根据用户的脑电数据判断用户大脑的驾驶意图，提取分类生成向左或者向右的指令；

所述自动导航控制***：基于ROS仿真平台实现，用于模拟车辆自动驾驶场景，实现对未知场景定位、建图以及路径规划，接收所述错误相关负电位分析***输出的标志信号和运动想象分析***输出的指令信号，通过PID控制进一步计算输出的驾驶状态变化量，控制车辆导航状态的更新。

进一步地，所述脑电信号采集***由信号采集单元和脑电信号预处理单元组成，所述信号采集单元采集用户脑部表皮特定点位的电位信号，所述脑电信号预处理单元对采集的脑电信号进行放大、滤波处理。

更进一步地，所述由信号采集单元通过FP1~O2共32个EEG通道进行脑电信号的采集，其中电极FP1、F3、F7、FC5、FC1、FP2、F7、F4、F8、FC6、FC2通道的信号用于错误相关负电位分析***进行特征提取和分类，电极C3、C4和Cz通道的信号用于运动想象分析***进行运动想象信号的进行时域、频域、空间域以及能量域的特征提取。

更进一步地，所述错误相关负电位分析***包括ERN信号预处理单元和胶囊神经网络单元，所述ERN信号预处理单元对脑电数据进行预处理，完成脑电信号的筛选、重参考、滤波、独立主成分分析、分段，将脑电信号采集***输出的脑电数据时域波形图转化为脑电地形图的时间序列，选择一个时间窗口，按照设定时间间隔将脑电信号转化为脑电地形图，所述胶囊神经网络单元对ERN信号预处理单元输出的脑电地形图进行分类提取，根据是否提取到ERN信号来输出发生错误反应和无错误反应两种标志指令。

更进一步地，所述胶囊神经网络单元的网络结构主要包括：4层卷积层、1层平均池化层、1层重塑层、1~2层胶囊层和1层全连接层；所述卷积层的输入为样本数据，卷积层初步提取脑电拓扑图中的局部特征，并通过使用卷积核将样本数据尽可能多的投影到不同空间，增加对局部特征的感知程度，卷积层输出为对样本数据以不同方式投影所得到的编码集合；所述平均池化层用于降低所需处理数据的复杂度，进而加快收敛效率以及减少运算开销，并提高网络模型对于脑电拓扑图所包含噪声的抵抗能力；所述重塑层用于将输入数据转化为胶囊神经网络可识别的格式；所述胶囊层，输以胶囊的形式呈现，用于对脑电拓扑图进行编码之后得到的信息封装，胶囊的不同维度对脑电拓扑图各个局部特征的之间的角度、距离信息进行编码了，随着胶囊层数的增加，胶囊所编码的信息从局部特征的空间位置关系到全局特征的空间位置关系，从而将脑电拓扑图的时序信息包含进来并且以空间关系的形式编码；所述全连接层通过矩阵将胶囊层的输出投影为两个概率值作为模型的预测输出，将预测值较大的一类做为胶囊神经网络模型最终的分类输出。

更进一步地，所述运动想象分析***包括运动想象信号预处理单元、信号特征提取单元和信号分类识别单元；所述运动想象信号预处理单元完成脑电信号的滤波、分段、基线校准、重参考、独立主成分分析，以得到纯净的脑电数据；所述信号特征提取单元进行信号的特征提取，利用小波包分解算法对训练后的脑电图数据进行分解，提取 8−12Hzμ节律和18−30Hzβ节律，利用共空间模式CSP算法对提取的节律的相应频带进行处理，以提取获得高度分化的特征向量；信号分类识别单元接收信号特征提取单元提取的特征向量信号，基于SVM向量机进行分类，分类得到向左、向右或保持现状的三种指令。

更进一步地，所述自动导航控制***包括实时定位单元、建图单元、路径规划单元和类脑处理单元；所述实时定位单元用于根据传感器接受到的数据通过数据模型进行定位计算，根据视觉传感器、激光雷达和陀螺仪输入的信息，输出世界坐标系和里程计坐标系的转换关系，推导出车辆基坐标系与世界坐标系的转换关系，实现定位功能；所述建图单元采用gmapping工具算法实现周围环境信息扫描，构建输出环境地图，基于视觉传感器信息、陀螺仪信息和里程计信息创建基于概率的二维栅格地图；所述路径规划单元采用navigation工具包集，接收建图单元生成的地图、传感器数据流和里程计信息，输出速度和角速度指令至车辆控制底盘，进而控制行驶状态，实现路径规划和避障功能；所述类脑处理单元接收所述错误相关负电位分析***输出的标志信号和运动想象分析***输出的指令信号，通过接收并记忆传感器的局部采集信息，推理形成完整的多层经验地图，映射至真实场景，实时修正行驶状态。

本发明还提出一种基于胶囊神经网络的脑启发式自动驾驶辅助方法，所述方法基于上述一种基于胶囊神经网络的脑启发式自动驾驶辅助***实现，所述方法包括步骤：

1）脑电数据采集：所述脑电信号采集***采集用户的脑电数据并发送到上位机进行处理；基于国际10-20***电极放置法的电极帽通过FP1~O2共32个EEG通道进行用户脑电信号的采集，使用频率为0.1~70Hz的带通滤波器以及50Hz的陷波滤波器去除工频干扰以及其他噪声，以保证脑电信号质量；

2）错误相关负电位分析：所述错误相关负电位分析***利用胶囊神经网络选择电极FP1、F3、F7、FC5、FC1、FP2、F7、F4、F8、FC6、FC2通道的信号进行特征提取和分类，根据用户的脑电数据提取驾驶者大脑中的错误相关负电位信号，实时分析并判断错误相关负电位的产生，输出标志信号；

3）运动方向指令输出：所述运动想象分析***使用小波包和共空间模式融合算法选择电极C3、C4和Cz通道的信号进行运动想象信号的进行时域、频域、空间域以及能量域的特征提取，利用SVM支持向量机进行分类，分类得到向左、向右或保持现状的三种指令，输出指令信号；

4）控制车辆导航：所述自动导航控制***模拟车辆自动驾驶场景，实现对未知场景定位、建图以及路径规划，接收步骤2）输出的标志信号和步骤3）输出的指令信号，通过PID控制进一步计算输出的驾驶状态变化量，控制车辆导航状态的更新。

优选地，步骤2）中胶囊神经网络进行特征提取和分类的具体步骤包括：

21）采集若干个通道的脑电信号，并对原始信号进行预处理；

22）按照固定时间间隔对于信号波形进行截取，计算相应的功率谱密度；

23）将所述功率谱密度归一化处理并映射为色谱，结合该通道在大脑的空间定位，将其余位置的值通过空间插值算法补充，得到脑电拓扑图随时间变化的序列，将所述脑电拓扑图按照时间顺序全部排列在一张图中，作为样本数据；

24）将所述样本数据输入胶囊神经网络进行运算；

25）实施胶囊神经网络使用动态路由算法进行三次迭代并更新权值；

26）将胶囊神经网络输出值最大的类别作为判断错误相关电位是否产生的预测结果输出。

优选地，步骤3）中所述SVM支持向量机经由已有的数十组左方和右方的运动想象特征向量集进行训练，利用脑电图数据中提取的特征向量训练SVM二分类模型，并通过交叉验证，以二维网格的形式搜索超参数(c、g)，即一组最优惩罚参数c和RBF核函数宽度，计算出每一组参数的交叉验证精度的最优值，以最高精度组(c、g)作为最佳参数，使SVM分类模型分类正确率达到最大，所述SVM支持向量机输出0代表向左指令，输出1代表向右指令，未输出则无变化指令。

运动想象和错误相关负电位（ERN,error related negativity)是BCI研究的重要领域。运动想象是由人脑主动发起而不依赖任何感觉刺激，通过其想象产生信号的过程，运动想象包含向左和向右两种信号，无层次细分。大脑进行不同的运动想象活动或已经执行实际运动时，其感觉运动皮层被激活的区域和不同节律脑电信号都有较为规律的变化。与运动想象脑电信号相关的电生理现象为ERD/ERS 现象，当大脑皮层某个区域处于激活状态，导致某些频段信号能量降低，这一电生理现象称之为事件相关去同步化（ERD）。反之，大脑处于静息或惰性状态下，某些频段信号能量升高，则称之为事件相关同步化（ERS）。当人体运动右手或想象右手动作时，其大脑左侧感觉运动皮层出现ERD现象，右侧感觉运动皮层出现ERS现象。当人体运动左手或想象左手动作时，其大脑左侧感觉运动皮层出现ERS现象，右侧感觉运动皮层出现ERD现象。错误相关负电位是当个体感知错误反应发生时，人脑头皮额中央区记录到一个与错误反应特定相关的负相电位偏移，称为ERN，其经典波形如图8所示。

ERN反映了人脑对整个反应监控或反映评价的过程。ERN具有电位稳定性，不受生理结构变化影响，一般诱发于个体感知错误后100～300ms产生，波幅约10uV，信噪比低，个体差异大，具体的不同类型ERN典型特征见下表。ERN主要集中于 4~12Hz，即θ和μ频段。ERN开始于***，在成年早期增加，与其他认知控制能力的发展相称，反映了受试者对于避免错误或做出正确反应的重视程度。

随着脑机接口技术的成熟，与其相结合的新模式的智能***不断涌现，包含了智能家居，教育科技，健康医疗，娱乐控制等等。2017年，科大讯飞研发了基于BCI的智能家居***，美国国防部高级研究计划局公布的一项研究结果表明，飞行员能够通过佩戴脑机接口设备实现多架飞机和无人机的操纵。与此同时，在无人智能***发展过程中，人们对其自主认知、决策、规划与控制等方面的能力有了更高要求，中国科学院计算技术研究所史忠植研究员等人提出一种典型的理性智能体模型ABGP，将外部感知和内部状态协同在一起，使其能够感知环境并且合理规划自身行为。目前，国内外众多学者对引入脑智能启发式的智能驾驶***，已经积累了一些研究成果。有学者研究出车辆乘坐人情绪感知检测装置。

本发明提出的类脑处理单元在ABGP智能体模型的基础上进行具有脑电认知功能的类脑智能体结构设计，具有能够处理某些EEG通道的信号，并且表现相关EEG特征的功能，进而控制输出达到目标，智能体结构如图9所示。ABGP智能体模型将内部活动描述为四个模块，包括：感知模块、信念模块、目标模块和规划模块，其中感知是对特定外部环境状态的认知，当环境随着时间变化，感知也随着不断变化。在类脑智能体模型中，感知模块使用胶囊神经网络模型实现，代替了传统的定义规则，预训练胶囊神经网络模型的各种参数当作信念存入信念模块的知识库，而不对其他模块的结果做出调整。本类脑智能体通过动机驱动实现自身行为规划，通过对一些内部事件的最大兴趣来规划选择动机驱动。类脑智能体获取的脑电信息具有非线性、鲁棒性以及层次性的特征，这些属性直接用来组成信念模块的知识，让智能体脑电特征感知能力更强。

本发明基于脑电信号分析开发一种有效的自动驾驶辅助智能***，将BCI和类脑智能体技术运用于现有的自动驾驶领域，脑电信号对驾驶***的突发状况起智能引导作用，对交通工具智能化的发展有着重要意义。

本发明与现有技术相比，具有如下优点和有益效果：

1）传统的脑电信号分类方法着重于信号的时频特征提取，但在分析多通道数据的情况下往往会出现维度灾难的问题，在降维的过程中则会损失大量有价值的信息。而本发明将原始的脑电波形数据按照特定的时间间隔截取，并转化为随时间变化的脑电地形图序列，然后将该序列投影到一张图片上，从而将脑电波形数据中的时域、频域、空间域的特征转化为图中各个像素点的空间位置关系，然后识别与分类的对象变为了图像，与此便可以采用效果很好的胶囊神经网络方法。

2）本发明将胶囊神经网络应用在了脑电信号的分类任务中。胶囊神经网络会保留图像中物体间的位置信息，并且考虑到空间层级关系。在数据集处理方式的基础上，通过利用该类网络对于图像中不同特征之间空间位置关系的敏感性，可以实现使用较少的数据集完成高精度的识别任务。

3）本发明将自动驾驶辅助智能***结合脑启发思维，模拟人类认知思维，基于ABGP智能体模型以及胶囊神经网络，设计类脑智能体***，建立智能体***与脑电采集***的高速通道，提高了多个***间以及***与脑电检测之间的交互，使其能够更好地根据目标选择最佳行动规划。

4）本发明采用基于脑机接口的检测控制方式，克服了自动驾驶和手动驾驶切换导致操作延时、决策失误等缺点，有效应用于自动驾驶的智能辅助，还可以用于检测驾驶人乘坐车辆时的大脑生理状态，分析并优化驾驶人乘车体验。

本发明所提供的思路，同样适用于其他场景下脑电信号的识别分类任务。

附图说明

图1为本发明一种基于胶囊神经网络的脑启发式自动驾驶辅助***的流程图。

图2为本发明实施例数据处理流程图；

图3为本发明实施例脑电帽电极点位图；

图4为本发明实施例胶囊结构图；

图5为本发明实施例胶囊神经网络框架图；

图6(a)为本发明实施例信号未处理的信号频谱图；图6(b)为本发明实施例信号经小波包分解后的8～12Hz频谱图；图6(c)为本发明实施例信号经小波包分解后的18～30Hz的频谱图；频谱图的横轴代表频率，纵轴代表信号功率谱密度的对数；

图7(a)为本发明实施例测试错误相关负电位时，受试者观察正确标记后脑电地形图，图7(b)为受试者观察错误标记后脑电地形图；

图8为ERN典型波形图；

图9为本发明中类脑智能体***架构图。

图中：A.脑电信号采集***，B.错误相关负电位分析***，C.运动想象分析***，D.自动导航控制***，1.信号采集单元，2.脑电信号预处理单元，3.ERN信号预处理单元，4.胶囊神经网络单元，5.运动想象信号预处理单元，6.信号特性提取单元，7.信号分类识别单元，8.实时定位单元，9.建图单元，10.路径规划单元，11.类脑处理单元。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本发明提出一种基于胶囊神经网络的脑启发式自动驾驶辅助***包括脑电信号采集***A、错误相关负电位分析***B、运动想象分析***C、自动导航控制***D。

脑电信号采集***A：用于采集用户的脑电数据并发送到上位机进行处理；

错误相关负电位分析***B：使用胶囊神经网络实现错误相关负电位ERN的检测功能，根据用户的脑电数据提取驾驶者大脑中的错误相关负电位信号，输出标志信号，反映当前的车辆导航状态正确性；

运动想象分析***C：根据用户的脑电数据判断用户大脑的驾驶意图，提取分类生成向左或者向右的指令；

自动导航控制***D：用于模拟车辆自动驾驶场景，实现对未知场景定位、建图以及路径规划，接收错误相关负电位分析***B输出的标志信号和运动想象分析***C输出的指令信号，通过PID控制进一步计算输出的驾驶状态变化量，控制车辆导航状态的更新。

脑电信号采集***A由信号采集单元1和脑电信号预处理单元2组成，信号采集单元1采集用户脑部表皮特定点位的电位信号，脑电信号预处理单元2对采集的脑电信号进行放大、滤波处理。

脑电信号采集***A采用基于国际10-20***电极放置法的电极帽。根据国际脑电图学会对具有32个电极位置的10-20***的推荐，电极位名称如图3所示，通过FP1~O2共32个EEG通道进行脑电信号的采集。在整个实验过程中先采用英国公开生理数据集 Mahnob-HCI-TaggingDatabas进行模型训练，然后使用本***采集的脑电数据进行测试，同时记录音频、视频、注视数据以及生理数据。使用频率为0.1~70Hz的带通滤波器以及50Hz的陷波滤波器去除工频干扰以及其他噪声，以保证脑电信号质量。信号采集单元1的 32个EEG通道中，其中电极FP1、F3、F7、FC5、FC1、FP2、F7、F4、F8、FC6、FC2通道的信号用于错误相关负电位分析***B进行特征提取和分类，电极C3、C4和Cz通道的信号用于运动想象分析***C进行运动想象信号的进行时域、频域、空间域以及能量域的特征提取。

错误相关负电位分析***B包括ERN信号预处理单元3和胶囊神经网络单元4，利用胶囊神经网络选择电极FP1、F3、F7、FC5、FC1、FP2、F7、F4、F8、FC6、FC2通道的信号进行特征提取和分类，实时分析并判断错误相关负电位的产生。ERN信号预处理单元3对脑电数据进行预处理，完成脑电信号的筛选、重参考、滤波、独立主成分分析、分段，将脑电信号采集***A输出的脑电数据时域波形图转化为脑电地形图的时间序列，选择一个时间窗口，按照设定时间间隔将脑电信号转化为脑电地形图，如图7（a）、7（b）所示；胶囊神经网络单元4对ERN信号预处理单元3输出的脑电地形图进行分类提取，使用胶囊作为基本计算单元构造胶囊网络，胶囊是由一系列神经元组成的向量，每个神经元的值分别代表了缩放、方向和位置等姿态参数，胶囊的长度则代表了特定物体存在的概率，同时胶囊间的传递通过动态路由算法来实现，使网络中的低层胶囊可以对高层胶囊的激活状态进行预测，胶囊结构如图4所示。根据是否提取到ERN信号来输出发生错误反应和无错误反应两种标志指令。

在本实施例中，ERN信号预处理单元3从230ms开始截取数据，每隔30ms将脑电信号转化为脑电地形图，一直到950ms，每个时域波形图获取25个时刻的图像，按照5*5的顺序排列，保留有效信息合成脑电地形图，如图7（a）、7（b）所示。

在本实施例中，胶囊神经网络单元4的网络框架如图5所示，主要包括：4个卷积层、1~2个胶囊层、1个输入层，1个平均池化层，1个重塑层，1个全连接层。如图5所示，通过python构建的网络模型包括：输入层，输入为 32*32*3的数组，数组的个数随样本数量改变而改变，在设卷积层的输入为样本数据，通过卷积运算提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征，输出为图片的特征向量；平均池化层用于降低所需处理数据的复杂度，进而加快收敛效率以及减少运算开销，并提高网络模型对于脑电拓扑图所包含噪声的抵抗能力；重塑层，将输入数据转化为胶囊神经网络可识别的格式，即重塑 Conv2D的输出来得每个位置的一组向量，构成一个低维胶囊层的输入；胶囊层，输以胶囊的形式呈现，输出 2个维度为16的向量，每个向量代表一种分类结果；胶囊层用于对脑电拓扑图进行编码之后得到的信息封装，胶囊的不同维度对脑电拓扑图各个局部特征的之间的角度、距离信息进行编码了，随着胶囊层数的增加，胶囊所编码的信息从局部特征的空间位置关系到全局特征的空间位置关系，从而将脑电拓扑图的时序信息包含进来并且以空间关系的形式编码；全连接层通过矩阵将胶囊层的输出投影为两个概率值作为模型的预测输出，将预测值较大的一类做为胶囊神经网络模型最终的分类输出。全连接层输出2个向量的模做为概率值，代表二分类任务中两种分类结果可能性的大小，概率值大的即为最终输出结果。另外也可以调整胶囊层的个数，以及胶囊输出向量的维度，从而获得最佳的分类效果。胶囊神经网络的全连接层中概率值大的结果即作为输出，如输出1则表明ERN未产生，输出0则表明ERN产生，个体感知到错误发生。

运动想象分析***C使用小波包和共空间模式（CSP）融合算法选择电极C3、C4和Cz通道的信号进行运动想象信号的进行时域、频域、空间域以及能量域的特征提取。小波包提取运动相关的脑电生物节律，再利用CSP构造空间滤波器，使得左右两类运动想象信号的空间域特征差异最大化。运动想象分析***C包括运动想象信号预处理单元5、信号特征提取单元6和信号分类识别单元7；运动想象信号预处理单元5完成脑电信号的滤波、分段、基线校准、重参考、独立主成分分析，以得到纯净的脑电数据；信号特征提取单元6进行信号的特征提取，利用小波包分解算法对训练后的脑电图数据进行分解，提取 8−12Hzμ节律和18−30Hzβ节律信号，功率谱如图6（a）、6（b）、6（c）、所示；利用共空间模式CSP算法对提取的节律的相应频带进行处理，以提取获得高度分化的特征向量；信号分类识别单元7接收信号特征提取单元6提取的特征向量信号，基于SVM向量机进行分类，分类得到向左、向右或保持现状的三种指令。

自动导航控制***D基于ROS平台来模拟自动驾驶环境以及技术操作。模拟驾驶环境和驾驶车辆由开源模型设计构成。模拟车辆自带摄像头，雷达等传感器模型，通过gmapping工具算法进行自动建图以及定位功能，通过navigation工具算法设计路径规划和导航功能。车辆行驶模拟过程中的环境画面通过摄像头传输至监视器，实时显示给受试者。核心处理单元采用类脑智能体，模仿人类认知思维，处理包括视觉传感器，激光传感器以及陀螺仪等感知到的信息，结合前端检测到的错误相关负电位信号和运动想象信号，进行综合处理修正驾驶状态完成安全辅助驾驶的功能。自动导航控制***D包括实时定位单元8、建图单元9、路径规划单元10和类脑处理单元11。实时定位单元8用于根据传感器接受到的数据通过数据模型进行定位计算，根据视觉传感器、激光雷达和陀螺仪输入的信息，输出世界坐标系和里程计坐标系的转换关系，推导出车辆基坐标系与世界坐标系的转换关系，实现定位功能；建图单元9采用gmapping工具算法实现周围环境信息扫描，构建输出环境地图，基于视觉传感器信息、陀螺仪信息和里程计信息创建基于概率的二维栅格地图；路径规划单元10采用navigation工具算法，接收建图单元9生成的地图、传感器数据流和里程计信息，输出速度和角速度指令至车辆控制底盘，进而控制行驶状态，实现路径规划和避障功能；类脑处理单元11接收错误相关负电位分析***B输出的标志信号和运动想象分析***C输出的指令信号，通过接收并记忆传感器的局部采集信息，推理形成完整的多层经验地图，映射至真实场景，实时修正行驶状态。

类脑处理单元11基于类脑智能体的设计思路，结合接收错误相关负电位分析***B输出的标志信号和运动想象分析***C输出的指令信号，通过接收并记忆各种传感器的局部采集信息，推理形成完整的多层经验地图，映射至真实场景，实时修正行驶状态。当ERN标志信号为1，则***保持现有状态，不作修正，当ERN标志信号为0，代表人脑中ERN信号产生，标志信号作为更高级的指令控制类脑处理单元11。当标志信号为0，车辆驾驶***立即进行减速，同时类脑处理单元11进一步接收运动想象分析***C输出的方向指令，结合地图和定位对指令方向的环境信息进行密集采集和快速处理，在判断偏转可行方向之后，通过PID算法输出控制车辆四个车轮转速控制关节和两个车轮转向控制关节的PID指令，当运动想象分析***C未输出方向指令时，类脑处理单元11不会对驾驶状态进行避障纠正操作。

基于上述***，本发明还提出一种基于胶囊神经网络的脑启发式自动驾驶辅助方法，包括步骤：

1）脑电数据采集：脑电信号采集***A采集用户的脑电数据并发送到上位机进行处理；基于国际10-20***电极放置法的电极帽通过FP1~O2共32个EEG通道进行用户脑电信号的采集，使用频率为0.1~70Hz的带通滤波器以及50Hz的陷波滤波器去除工频干扰以及其他噪声，以保证脑电信号质量；

脑电信号采集***A在信号采集过程中，要求受试驾驶者面对自动导航控制***的监视器画面，随时对画面中的行驶环境状况作出反应。保证受试者的能够完整接受到模拟车辆行驶的周围视野，并佩戴电极帽确保每一个电极信号的实时采集传输。

2）错误相关负电位分析：错误相关负电位分析***B利用胶囊神经网络选择电极FP1、F3、F7、FC5、FC1、FP2、F7、F4、F8、FC6、FC2通道的信号进行特征提取和分类，根据用户的脑电数据提取驾驶者大脑中的错误相关负电位信号，实时分析并判断错误相关负电位的产生，输出标志信号；

3）运动方向指令输出：运动想象分析***C使用小波包和共空间模式融合算法选择电极C3、C4和Cz通道的信号进行运动想象信号的进行时域、频域、空间域以及能量域的特征提取，利用SVM支持向量机进行分类，分类得到向左、向右或保持现状的三种指令，输出指令信号；

4）控制车辆导航：自动导航控制***D模拟车辆自动驾驶场景，实现对未知场景定位、建图以及路径规划，接收步骤2）输出的标志信号和步骤3）输出的指令信号，通过PID控制进一步计算输出的驾驶状态变化量，控制车辆导航状态的更新。

步骤2）中胶囊神经网络进行特征提取和分类的具体步骤包括：

21）采集若干个通道的脑电信号，并对原始信号进行预处理；研究的脑电信号通道为大脑额叶中部的11通道的EEG信号，预处理包括4-16Hz带通滤波、重参考、独立主成分ICA分析和时间段截取。

22）按照固定时间间隔对于信号波形进行截取，计算相应的功率谱密度；对波形信号截取的时间间隔为30ms，截取的起止时间为230ms和950ms，使得在保留原始序列连续性的情况下最大化可搜索的时间宽度。

23）将功率谱密度归一化处理并映射为色谱，结合该通道在大脑的空间定位，将其余位置的值通过空间插值算法补充，得到脑电拓扑图随时间变化的序列。将脑电拓扑图按照时间顺序全部排列在一张图中，做为样本数据；空间插值算法的公式为：

式中，X为待插值点的位置，a，b，……,p表示每个采集点的功率值，XA，XB，XP表示点到每个待插值采集点的距离。使用空间插值算法预测出所去除的通道、以及其他未连接电极区域的的功率值。基于少量通道的数据来预测其他区域，从而提升信噪比，加快模型训练的收敛速度。

24）将样本数据输入胶囊神经网络进行运算；胶囊神经网络单元4的网络结构包括：4层卷积层、1层平均池化层、1~2层胶囊层和1层全连接层。胶囊结构如图4所示，胶囊神经网络中输入向量的矩阵乘法公式如下：

其中，u _i 为前一层胶囊神经网络的输出，W _ij 为一个权值矩阵，用来编码下层特征和 上层特征之间重要的空间关系或者其他关系，可以看作是每个胶囊上层神经元与下层神经 元不同关联程度。

是一个预测向量，表示前一层胶囊试图对下一层胶囊的预测输出。

其中，胶囊神经网络输入向量加权求和S _j 计算公式如下：

C _ij 为耦合系数，由b _ij 计算得到，b _ij 通过胶囊网络核心的动态路由算法的更新来计算。

25）胶囊层使用动态路由算法进行三次迭代并更新权值：

其中，V_j为前一层胶囊的输出向量，

为前一层胶囊试图对下一层胶囊的预测 输出，新的权值b _ij 通过将V _j和

点积并相加原权值b _ij 得到。前两次迭代将得到的权值b _ij 用于不同胶囊的加权，表示对不同胶囊所表征信息的编码；最后一次迭代将b _ij 用于所有 胶囊不同维度的加权，表示对胶囊中不同维度所表征信息的编码。

其中，胶囊神经网络中非线性适量压缩函数如下：

其中，V _j为第一个胶囊的输出向量，S _j是第一个胶囊的输入向量，||S _j||为向量的模，squash()为激活函数，得出输入向量的方向信息并将输入向量的模压缩到0和1之间，它可以表征某一事件出现的概率，值越高则出现的概率越大。

样本数据按照7:1的比例划分为训练集、测试集，使用训练集训练胶囊神经网络模型、测试集评估模型的泛化能力。

26）将胶囊神经网络输出值最大的类别作为判断错误相关电位是否产生的预测结果输出。

步骤3）中SVM支持向量机经由已有的数十组左方和右方的运动想象特征向量集进行训练，利用脑电图数据中提取的特征向量训练SVM二分类模型，并通过交叉验证，以二维网格的形式搜索超参数(c、g)，即一组最优惩罚参数c和RBF核函数宽度，计算出每一组参数的交叉验证精度的最优值，以最高精度组(c、g)作为最佳参数，使SVM分类模型分类正确率达到最大，SVM支持向量机输出0代表向左指令，输出1代表向右指令，未输出则无变化指令。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于胶囊神经网络的脑启发式自动驾驶辅助***，其特征在于：所述***包括脑电信号采集***（A）、错误相关负电位分析***（B）、运动想象分析***（C）、自动导航控制***（D）；

所述脑电信号采集***（A）：用于采集用户的脑电数据并发送到上位机进行处理；

所述错误相关负电位分析***（B）：使用胶囊神经网络实现错误相关负电位ERN的检测功能，根据用户的脑电数据提取驾驶者大脑中的错误相关负电位信号，输出标志信号，反映当前的车辆导航状态正确性；

所述运动想象分析***（C）：根据用户的脑电数据判断用户大脑的驾驶意图，提取分类生成向左或者向右的指令；

所述自动导航控制***（D）：基于ROS仿真平台实现，用于模拟车辆自动驾驶场景，实现对未知场景定位、建图以及路径规划，接收所述错误相关负电位分析***（B）输出的标志信号和运动想象分析***（C）输出的指令信号，通过PID控制进一步计算输出的驾驶状态变化量，控制车辆导航状态的更新。

2.根据权利要求1所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助***，其特征在于：所述脑电信号采集***（A）由信号采集单元（1）和脑电信号预处理单元（2）组成，所述信号采集单元（1）采集用户脑部表皮特定点位的电位信号，所述脑电信号预处理单元（2）对采集的脑电信号进行放大、滤波处理。

3.根据权利要求2所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助***，其特征在于：所述由信号采集单元（1）通过FP1~O2共32个EEG通道进行脑电信号的采集，其中电极FP1、F3、F7、FC5、FC1、FP2、F7、F4、F8、FC6、FC2通道的信号用于错误相关负电位分析***（B）进行特征提取和分类，电极C3、C4和Cz通道的信号用于运动想象分析***（C）进行运动想象信号的进行时域、频域、空间域以及能量域的特征提取。

4.根据权利要求1所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助***，其特征在于：所述错误相关负电位分析***B包括ERN信号预处理单元（3）和胶囊神经网络单元（4），所述ERN信号预处理单元（3）对脑电数据进行预处理，完成脑电信号的筛选、重参考、滤波、独立主成分分析、分段，将脑电信号采集***A输出的脑电数据时域波形图转化为脑电地形图的时间序列，选择一个时间窗口，按照设定时间间隔将脑电信号转化为脑电地形图，所述胶囊神经网络单元（4）对ERN信号预处理单元（3）输出的脑电地形图进行分类提取，根据是否提取到ERN信号来输出发生错误反应和无错误反应两种标志指令。

5.根据权利要求4所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助***，其特征在于：所述胶囊神经网络单元（4）的网络结构包括：4层卷积层、1层平均池化层、1层重塑层、1~2层胶囊层和1层全连接层；所述卷积层的输入为样本数据，卷积层初步提取脑电拓扑图中的局部特征，并通过使用卷积核将样本数据尽可能多的投影到不同空间，增加对局部特征的感知程度，卷积层输出为对样本数据以不同方式投影所得到的编码集合；所述平均池化层用于降低所需处理数据的复杂度，进而加快收敛效率以及减少运算开销，并提高网络模型对于脑电拓扑图所包含噪声的抵抗能力；所述重塑层用于将输入数据转化为胶囊神经网络可识别的格式；所述胶囊层，输以胶囊的形式呈现，用于对脑电拓扑图进行编码之后得到的信息封装，胶囊的不同维度对脑电拓扑图各个局部特征的之间的角度、距离信息进行编码了，随着胶囊层数的增加，胶囊所编码的信息从局部特征的空间位置关系到全局特征的空间位置关系，从而将脑电拓扑图的时序信息包含进来并且以空间关系的形式编码；所述全连接层通过矩阵将胶囊层的输出投影为两个概率值作为模型的预测输出，将预测值较大的一类做为胶囊神经网络模型最终的分类输出。

6.根据权利要求1所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助***，其特征在于：所述运动想象分析***（C）包括运动想象信号预处理单元（5）、信号特征提取单元（6）和信号分类识别单元（7）；所述运动想象信号预处理单元（5）完成脑电信号的滤波、分段、基线校准、重参考、独立主成分分析，以得到纯净的脑电数据；所述信号特征提取单元（6）进行信号的特征提取，利用小波包分解算法对训练后的脑电图数据进行分解，提取 8−12Hzμ节律和18−30Hzβ节律，利用共空间模式CSP算法对提取的节律的相应频带进行处理，以提取获得高度分化的特征向量；信号分类识别单元（7）接收信号特征提取单元（6）提取的特征向量信号，基于SVM向量机进行分类，分类得到向左、向右或保持现状的三种指令。

7.根据权利要求1所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助***，其特征在于：所述自动导航控制***（D）包括实时定位单元（8）、建图单元（9）、路径规划单元（10）和类脑处理单元（11）；所述实时定位单元（8）用于根据传感器接受到的数据通过数据模型进行定位计算，根据视觉传感器、激光雷达和陀螺仪输入的信息，输出世界坐标系和里程计坐标系的转换关系，推导出车辆基坐标系与世界坐标系的转换关系，实现定位功能；所述建图单元（9）采用gmapping工具算法实现周围环境信息扫描，构建输出环境地图，基于视觉传感器信息、陀螺仪信息和里程计信息创建基于概率的二维栅格地图；所述路径规划单元（10）采用navigation工具包集，接收建图单元（9）生成的地图、传感器数据流和里程计信息，输出速度和角速度指令至车辆控制底盘，进而控制行驶状态，实现路径规划和避障功能；所述类脑处理单元（11）接收所述错误相关负电位分析***B输出的标志信号和运动想象分析***（C）出的指令信号，通过接收并记忆传感器的局部采集信息，推理形成完整的多层经验地图，映射至真实场景，实时修正行驶状态。

8.一种基于胶囊神经网络的脑启发式自动驾驶辅助方法，所述方法基于权利要求1~7中任一项所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助***实现，其特征在于：所述方法包括步骤：

1）脑电数据采集：所述脑电信号采集***（A）采集用户的脑电数据并发送到上位机进行处理；基于国际10-20***电极放置法的电极帽通过FP1~O2共32个EEG通道进行用户脑电信号的采集，使用频率为0.1~70Hz的带通滤波器以及50Hz的陷波滤波器去除工频干扰以及其他噪声，以保证脑电信号质量；

2）错误相关负电位分析：所述错误相关负电位分析***（B）利用胶囊神经网络选择电极FP1、F3、F7、FC5、FC1、FP2、F7、F4、F8、FC6、FC2通道的信号进行特征提取和分类，根据用户的脑电数据提取驾驶者大脑中的错误相关负电位信号，实时分析并判断错误相关负电位的产生，输出标志信号；

3）运动方向指令输出：所述运动想象分析***（C）使用小波包和共空间模式融合算法选择电极C3、C4和Cz通道的信号进行运动想象信号的进行时域、频域、空间域以及能量域的特征提取，利用SVM支持向量机进行分类，分类得到向左、向右或保持现状的三种指令，输出指令信号；

4）控制车辆导航：所述自动导航控制***（D）模拟车辆自动驾驶场景，实现对未知场景定位、建图以及路径规划，接收步骤2）输出的标志信号和步骤3）输出的指令信号，通过PID控制进一步计算输出的驾驶状态变化量，控制车辆导航状态的更新。

9.根据权利要求8所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助方法，其特征在于：步骤2）中胶囊神经网络进行特征提取和分类的具体步骤包括：

21）采集若干个通道的脑电信号，并对原始信号进行预处理；

22）按照固定时间间隔对于信号波形进行截取，计算相应的功率谱密度；

23）将所述功率谱密度归一化处理并映射为色谱，结合该通道在大脑的空间定位，将其余位置的值通过空间插值算法补充，得到脑电拓扑图随时间变化的序列，将所述脑电拓扑图按照时间顺序全部排列在一张图中，作为样本数据；

24）将所述样本数据输入胶囊神经网络进行运算；

25）实施胶囊神经网络使用动态路由算法进行三次迭代并更新权值；

26）将胶囊神经网络输出值最大的类别作为判断错误相关电位是否产生的预测结果输出。

10.根据权利要求8所述的一种基于胶囊神经网络的脑启发式自动驾驶辅助方法，其特征在于：步骤3）中所述SVM支持向量机经由已有的数十组左方和右方的运动想象特征向量集进行训练，利用脑电图数据中提取的特征向量训练SVM二分类模型，并通过交叉验证，以二维网格的形式搜索超参数(c,g)，即一组最优惩罚参数c和RBF核函数宽度，计算出每一组参数的交叉验证精度的最优值，以最高精度组(c、g)作为最佳参数，使SVM分类模型分类正确率达到最大，所述SVM支持向量机输出0代表向左指令，输出1代表向右指令，未输出则无变化指令。

Images