CN112869754B - 一种脑机融合的神经信号测谎方法 - Google Patents

Abstract

本发明公开了一种脑机融合的神经信号测谎方法，其利用多种不同类型的刺激构建快速视觉序列呈现的序列，获得被试的脑信号后，有效预处理和降维，最后用自编码器学习分类和提取有效特征，使得本发明能够有效抵御对抗方法，并且有较好的鲁棒性。本发明将快速序列视觉呈现范式应用到了测谎领域，并且通过算法有效提取特征和分类数据，具有较好的抗干扰性和准确率。

Description

一种脑机融合的神经信号测谎方法

技术领域

本发明属于脑电数据分析技术领域，具体涉及一种脑机融合的神经信号测谎方法。

背景技术

说谎是人类生活中经常发生的事情，但是说谎包含了大量的神经活动，很难被准确识别。现有的测谎仪主要是基于对于外周神经***的测量，包括心脏的、血管的和皮肤电生理的活动。作为一种直接测量中枢神经信号的方法，脑电测谎可以直接测量被试说谎时大脑的反应，基本的脑电测谎使用的是事件相关电位的方法，被试对于不同类型的刺激的脑信号反应是不同；对于可疑的信息，知情的被试就会有特殊的脑电反应，而不知情的被试就不会产生这些反应。

文献[Farwell L A,Donchin E.The Truth Will Out:InterrogativePolygraphy("Lie Detection")With Event-Related Brain Potentials[J].Psychophysiology,1991,28(5):531-547]首次提出使用犯罪场景中物品的名称作为刺激构建测谎范式，该范式被称为GKT范式，其中包含三种类型的不同刺激：可疑刺激、目标刺激和无关刺激；可疑刺激是犯罪现场中的物件的单词，可以引起知情被试的脑信号反应；目标刺激需要被试特定反应，可以使被试集中注意力；无关刺激是可疑刺激的对照，是与犯罪现场不相关的单词；实验得出，在多次重复的情况下，知情被试对于可疑刺激的反应显著大于无关刺激。

尽管GKT范式在普通的测谎环境中有比较好的效果，但是文献[Rosenfeld J P,Soskins M,Bosh G,et al.Simple,effective countermeasures to P300-based testsof detection of concealed information[J].Psychophysiology,2004,41(2):205-219]提出了非常简单有效的方法来对抗GKT测谎，通过几种简单的对抗动作让测谎的准确率从92％降低到了42％。

为了解决对抗动作的问题，文献[Howard,Bowman,Abdulmajeed,etal.Breakthroug Percepts-(Sub)liminal Salience Search and EEG DeceptionDetection on the Fringe of Awareness[J].Journal of Vision,2015]提出把快速序列视觉呈现范式应用到了测谎领域，文献中把被试的姓名与其余不相关的姓名作为刺激的内容，得到了两种信号的显著区别。但是，该文献技术只讨论了以被试的姓名作为刺激，这种刺激是被试固有的特征，对于任务相关的信息，包括犯罪现场相关的图片或词语，是否能有效还存在一定的疑问。

因此一种可靠的能够抵抗对抗动作的，能够用于检测任务相关刺激的测谎方法是具有十分重要的价值的。

发明内容

鉴于上述，本发明提出了一种脑机融合的神经信号测谎方法，其利用多种不同类型的刺激构建快速视觉序列呈现的序列，获得被试的脑信号后，有效预处理和降维，最后用自编码器学习分类和提取有效特征，使得本发明能够有效抵御对抗方法，并且有较好的鲁棒性。

一种脑机融合的神经信号测谎方法，包括如下步骤：

(1)通过对可疑信息和无关信息组合生成RSVP(rapid serial visualpresentation task，快速序列视觉呈现任务)刺激序列，该序列分为三类即由单个可疑图片、对照图片、目标图片分别与多个随机图片组合形成的图片序列；

(2)将各类RSVP刺激序列呈现给被试者，获取被试者受感官刺激所诱发产生的脑电信号，并对信号打上标签；

(3)依次对脑电信号进行预处理以及特征提取，得到信号的特征矩阵作为一组样本；

(4)构建一个具有数据重构和分类功能的自编码器神经网络，利用大量样本对该神经网络进行训练，从而得到脑电测谎模型；

(5)将测试者的脑电信号通过预处理及特征提取后输入脑电测谎模型，即可判定测试者是否隐瞒可疑信息。

进一步地，所述可疑图片即包含有需盘查的可疑物件(比如犯罪者的作案工具、犯罪者所窃取的珠宝等)，用于诱发被试者的脑电反应，评定被试者是否隐瞒相关知识；所述对照图片作为可疑图片的基准对照，其包含有与可疑物件同类的其他不相关物件，用于比较被试者的脑电反应；所述目标图片用于被试者对其做出特定反应，该反应的准确率用以衡量被试者的集中注意程度；所述随机图片则从ImageNet数据库中随机选择，用于填充图片序列。

进一步地，所述步骤(2)中将RSVP刺激序列呈现给被试者，序列中的图片会在屏幕的同一位置连续快速出现，在一个序列结束后，需要被试者进行按键反应；若序列中含有目标图片，则要求被试者按键“Y”，表示知道；若序列中含有可疑图片，若被试者事实知道，但其按键“N”表示不知道，则形成说谎事件；若序列中含有对照图片，被试者按键“N”，表示不知道；采集到被试者的脑电信号后，若被试者事实存在说谎则标记该信号为正样本信号，若被试者并未说谎则标记该信号为负样本信号。

进一步地，所述步骤(3)中对脑电信号进行预处理的过程为：首先选取脑电信号在受刺激前200毫秒至受刺激后800毫秒总共1秒的信号数据进行切片分段，对每个数据段进行滤波，滤波采用4阶巴特沃兹滤波器，带通频段为0.3～30Hz；滤波之后采用二阶曲线拟合，去除数据段的基线漂移，去除眼电影响较大的数据段(振幅大于50μV)。

进一步地，所述步骤(3)中对脑电信号进行特征提取的过程为：首先在空间维度上，利用贪心算法确定脑电探测最佳的电极组合，即从单个电极开始，每一轮依次添加电极，计算每个新增电极得到的电极组合的测谎准确率，选择准确率最高的电极组合，重复多轮，当电极组合的准确率不再增加时停止，记录其中每个电极通道测得的脑电信号；然后在时间维度上，采用窗口对脑电信号进行平滑处理，即在信号上依次滑动窗口并在每个窗口中取平均值作为数据特征，从而建立一组m×n大小的特征矩阵，m为空间维度即电极组合中的电极数量，n为时间维度即窗口数量。

进一步地，所述自编码器神经网络包括编码器、解码器以及分类器，编码器用于将神经网络的输入数据压缩成隐特征向量提供给解码器和分类器，解码器用于对隐特征向量进行数据重构，分类器根据隐特征向量进行二分类，输出分类结果。

进一步地，所述步骤(4)中对自编码器神经网络进行训练的具体过程为：将样本逐一输入至网络中，得到网络预测输出的分类结果，计算该分类结果与样本对应真值标签之间的损失函数J(θ)，进而根据损失函数J(θ)通过梯度下降法反向传播更新网络参数，依此迭代直至损失函数J(θ)收敛。

进一步地，所述损失函数J(θ)的表达式如下：

J(θ)＝J_recon(θ)+J_class(θ)+J_weight(θ)

其中：J_recon(θ)为重构项损失函数，J_class(θ)为分类项损失函数，J_weight(θ)为正则化项损失函数，N为样本数量，s_i为第i个样本对应脑电信号的特征矩阵，s′_i为以s_i作为输入通过编码器和解码器对应重构得到的特征矩阵，λ对应为J_class(θ)的权重，β对应为J_weight(θ)的权重，l_i为第i个样本的真值标签，l′_i为以s_i作为输入通过编码器和分类器对应预测得到的分类结果，w_k为网络中的第k个参数，K为网络中的参数数量。

本发明将快速序列视觉呈现范式应用到了测谎领域，并且通过算法有效提取特征和分类数据，具有较好的抗干扰性和准确率。本发明基于RSVP的实验范式保证了被试在实验期间难以对抗实验，并且强迫被试集中注意力配合实验。本发明所采用的自编码器算法保证了有效的特征提取和较高的分类准确率，实验表明，对抗方法对于本范式基本无效，且本测谎算法在10个被试上达到了87％的平均准确率。

附图说明

图1为本发明采用的RSVP刺激序列示意图。

图2为利用本发明RSVP刺激序列诱发并经预处理后的脑电平均信号示意图。

图3为本发明方法中提取得到的特征可视化分布示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明基于快速序列视觉呈现的脑电测谎方法，包括以下步骤：

(1)根据需检测的信息构建刺激序列。需检测的信息被称为可疑信息(Probe)，用于诱发被试的反应；选择不相关的信息作为目标信息(Target)和对照信息(Control)，对照信息用作可疑信息的基准，目标信息需要被试去做出特定的反应，目标信息反应的准确率可以用作衡量被试的集中程度；无关信息(Unrelated)从ImageNet的数据库中随机选择。由可疑信息，目标信息，对照信息和无关信息，四种信息组成三种不同的刺激序列。

可疑序列(Probe trial)、目标序列(Target trial)、控制序列(Control trial)中个包含一张对应刺激和十一张无关刺激。刺激序列中的图片会在屏幕的同一位置连续快速出现，在一个序列结束后，需要被试进行按键反应；如果序列中含有目标信息，被试需要按键“Y”，代表知道；如果序列中包含有可疑信息，被试需要按键“N”，代表不知道，来形成说谎；如果序列中包含有控制信息，被试同样需要按键“N”，代表不知道。在测试中通过脑电设备采集被试的脑信号，信号中给可疑刺激、目标刺激和不相关刺激打标。

一组刺激序列如图1所示，图中展示了三种序列。目标序列中的目标刺激为一张香蕉，是在实验中告知被试的，其余图片都为随机选择的无关图片，序列结束在出现“+”时需要被试按“Y”键反应(图中Btn位置)；可疑序列中的可疑刺激为项链的图片，是被试在实验前模拟偷窃的物品，被试需要在实验中隐藏其偷窃物品的信息，所以在序列结束出现“+”时按“N”键反应；对照序列中的对照信息是一张其它珠宝的图片，与模拟偷窃实验无关，在序列结束出现“+”时需要被试按“N”键反应。序列中每一张图片都持续100ms的时间，图片之间无间隔，序列结束后有2秒钟的时间用来按键判断。

(2)对步骤(1)中获得的脑信号进行预处理。通过标签对数据进行分段，选取刺激出现前的200毫秒到刺激出现后的800毫秒，总共1秒的数据进行切片分段。对于数据段进行滤波，滤波采用4阶巴特沃兹滤波器(Butterworth)，带通频段为0.3～30Hz；滤波之后用二阶曲线拟合，去除数据段的基线漂移；去除眼电影响较大的数据(振幅大于50μV)。

例如，用DSI-24干电极设备采集数据，采样率为300Hz，共19个通道，得到的数据维度就为300×19。采集到的数据段的平均值如图2所示，可以看到可疑刺激在被试知不知情的不同情况下(innocent/guilty)有显著的差异；在guilty情况下，可疑刺激有效地诱发了更大的脑信号反应，而在innocent情况下，可疑刺激没有诱发明显的信号。

(3)对于步骤(2)中获得的数据进行时间和空间降维。从时间维度上，把数据通过滑动窗口进行平均，时间窗的长度为200/3ms，步长也为200/3ms，在每个窗口中取平均值，这样可以有效提取数据在时间维度上的特征，降低数据中噪声的干扰。在300Hz的数据上，第一个窗口就是把第1个点到第20个点的数据做一个平均，第二个窗口从第21个点开始到第40个点，依次类推，这样可以把数据的时间维度从300降低至20。

在空间维度上，使用贪心算法选择最佳的电极组合，从单个电极开始，每一轮依次添加电极，计算每个新增电极得到的电极组合的准确率，选择得到准确率最高的电极组合，重复多轮，当电极组合的准确率不再增加时停止。在实验中，算法取到了19个电极中的8个，把空间维度从19降低为8。

(4)把步骤(3)得到的数据通过自编码器分类和重构数据，同时抽取有效特征并分类。经过步骤(3)，我们可以得到N个脑信号片段{s₁,s₂,…,s_N}∈R^C*T，这些信号来自于N个刺激图片{t₁,t₂,…,t_N}，它们的标签为{l₁,l₂,…,l_N}∈{0,1}。C是筛选出的电极数量，而T是降维之后的特征点数量。算法的目标就是找到一个映射函数f(·)，满足f(s_i)＝l_i。传统的自编码器分成编码器和解码器两个部分，编码器把输入信号压缩s成隐特征向量q，如以下公式所示：

q＝σ(W₁s+b₁)

其中：W₁表示编码层中的权重，b₁表示编码层中的偏置量，σ(·)表示激活函数。之后，解码器会把隐特征向量q重构成信号s′，如以下公式所示：

s′＝σ(W₂q+b₂)

其中：W₂表示解码层中的权重，b₂表示解码层中的偏置量。

但在本发明中，自编码器不仅需要重构数据来抽取有效特征，还需要对抽取的特征进行分类。所以，在隐特征向量q之后添加了分类层输出分类结果l′，如以下公式所示：

l′＝σ(W₃q+b₃)

与此同时，损失函数也要做出相应的调整，本发明的损失函数如下：

J(θ)＝J_recon(θ)+J_class(θ)+J_weight(θ)

其中：J(θ)为总得损失函数；J_recon(θ)为重构的损失函数，确保算法能够准确重构出信号；J_class(θ)为分类的损失函数，保证算法提取到可分的特征；J_weight(θ)为正则化的损失，可以防止算法的过拟合，提高算法鲁棒性。三种不同损失的详细计算方法如下：

其中：n是训练的样本量；s是输入的信号，维度为通道数乘以时间；s′是重构的信号，维度与s相同；l为样本所对应的标签；l′为模型预测得到的样本标签；λ为J_class(θ)的权重；k为模型中参数的数量；w代表模型中的参数；β为J_weight(θ)的权重。

算法通过梯度下降的方法优化以上的损失函数，计算最优的模型，抽取有效的特征并分类数据。图3直观地显示了算法在一位被试数据上的分类效果，左图为原始数据降维可视化，两类的点聚集在一起；右图为隐特征层数据降维可视化，两类数据点完全分开，说明算法有效地抽取了可分的特征，压缩了数据。

(5)把数据分成训练集和验证集，通过验证集上的准确率来选择模型中的参数λ和β，通过最优的模型对未知数据进行分类，得到标签，来确认被试是否对可疑信息知情。本实验总共检测了4天，每天270个序列的数据，先把前两天的共540条数据用作训练，第三天的270条序列作为验证，选择最优的参数后(λ＝0.5，β＝1e-6)，再把前三天的所有数据进行训练，在第四天的270个序列上测试。

本发明将快速序列视觉呈现范式应用到了测谎领域，并且通过算法有效提取特征和分类数据，具有较好的抗干扰性和准确率。图3中通过本发明基于快速序列视觉呈现的脑电测谎方法对数据进行分类，能够较好地区分被试知情与不知情的状态。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (2)

1.一种脑机融合的神经信号测谎方法，包括如下步骤：

(1)通过对可疑信息和无关信息组合生成RSVP刺激序列，该序列分为三类即由单个可疑图片、对照图片、目标图片分别与多个随机图片组合形成的图片序列；所述可疑图片即包含有需盘查的可疑物件，用于诱发被试者的脑电反应，评定被试者是否隐瞒相关知识；所述对照图片作为可疑图片的基准对照，其包含有与可疑物件同类的其他不相关物件，用于比较被试者的脑电反应；所述目标图片用于被试者对其做出特定反应，该反应的准确率用以衡量被试者的集中注意程度；所述随机图片则从ImageNet数据库中随机选择，用于填充图片序列；

(2)将各类RSVP刺激序列呈现给被试者，序列中的图片会在屏幕的同一位置连续快速出现，在一个序列结束后，需要被试者进行按键反应；若序列中含有目标图片，则要求被试者按键“Y”，表示知道；若序列中含有可疑图片，若被试者事实知道，但其按键“N”表示不知道，则形成说谎事件；若序列中含有对照图片，被试者按键“N”，表示不知道；采集到被试者的脑电信号后，若被试者事实存在说谎则标记该信号为正样本信号，若被试者并未说谎则标记该信号为负样本信号；

获取被试者受感官刺激所诱发产生的脑电信号，并对信号打上标签；

(3)依次对脑电信号进行预处理以及特征提取，得到信号的特征矩阵作为一组样本；所述特征提取的具体过程为：首先在空间维度上，利用贪心算法确定脑电探测最佳的电极组合，即从单个电极开始，每一轮依次添加电极，计算每个新增电极得到的电极组合的测谎准确率，选择准确率最高的电极组合，重复多轮，当电极组合的准确率不再增加时停止，记录其中每个电极通道测得的脑电信号；然后在时间维度上，采用窗口对脑电信号进行平滑处理，即在信号上依次滑动窗口并在每个窗口中取平均值作为数据特征，从而建立一组m×n大小的特征矩阵，m为空间维度即电极组合中的电极数量，n为时间维度即窗口数量；

(4)构建一个具有数据重构和分类功能的自编码器神经网络，所述自编码器神经网络包括编码器、解码器以及分类器，编码器用于将神经网络的输入数据压缩成隐特征向量提供给解码器和分类器，解码器用于对隐特征向量进行数据重构，分类器根据隐特征向量进行二分类，输出分类结果；

利用大量样本对该神经网络进行训练，从而得到脑电测谎模型，训练的具体过程为：将样本逐一输入至网络中，得到网络预测输出的分类结果，计算该分类结果与样本对应真值标签之间的损失函数J(θ)，进而根据损失函数J(θ)通过梯度下降法反向传播更新网络参数，依此迭代直至损失函数J(θ)收敛；

所述损失函数J(θ)的表达式如下：

J(θ)＝J_recon(θ)+J_class(θ)+J_weight(θ)

其中：J_recon(θ)为重构项损失函数，J_class(θ)为分类项损失函数，J_weight(θ)为正则化项损失函数，N为样本数量，s_i为第i个样本对应脑电信号的特征矩阵，s′_i为以s_i作为输入通过编码器和解码器对应重构得到的特征矩阵，λ对应为J_class(θ)的权重，β对应为J_weight(θ)的权重，l_i为第i个样本的真值标签，l′_i为以s_i作为输入通过编码器和分类器对应预测得到的分类结果，w_k为网络中的第k个参数，K为网络中的参数数量；

(5)将测试者的脑电信号通过预处理及特征提取后输入脑电测谎模型，即可判定测试者是否隐瞒可疑信息。

2.根据权利要求1所述的神经信号测谎方法，其特征在于：所述步骤(3)中对脑电信号进行预处理的过程为：首先选取脑电信号在受刺激前200毫秒至受刺激后800毫秒总共1秒的信号数据进行切片分段，对每个数据段进行滤波，滤波采用4阶巴特沃兹滤波器，带通频段为0.3～30Hz；滤波之后采用二阶曲线拟合，去除数据段的基线漂移，去除眼电影响较大的数据段。

Images