CN112890834B - 面向注意力识别的基于机器学习的眼电信号分类器 - Google Patents

面向注意力识别的基于机器学习的眼电信号分类器 Download PDF

Info

Publication number
CN112890834B
CN112890834B CN202110226571.7A CN202110226571A CN112890834B CN 112890834 B CN112890834 B CN 112890834B CN 202110226571 A CN202110226571 A CN 202110226571A CN 112890834 B CN112890834 B CN 112890834B
Authority
CN
China
Prior art keywords
signal
electro
eye
ocular
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110226571.7A
Other languages
English (en)
Other versions
CN112890834A (zh
Inventor
张文萱
李玉榕
郑楠
施正义
林栋�
林丽莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Maixing Life Medical Technology Co ltd
Original Assignee
Fujian Maixing Life Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Maixing Life Medical Technology Co ltd filed Critical Fujian Maixing Life Medical Technology Co ltd
Priority to CN202110226571.7A priority Critical patent/CN112890834B/zh
Publication of CN112890834A publication Critical patent/CN112890834A/zh
Application granted granted Critical
Publication of CN112890834B publication Critical patent/CN112890834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Power Engineering (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提出一种面向注意力识别的基于机器学习的眼电信号分类器，其构建方法包括以下步骤：步骤S1：选取用于构造训练集和验证集的眼电信号，对选取的原始眼电信号进行预处理；步骤S2：对每个预处理后的眼电信号段进行初级特征提取，包括时域特征、频域特征和时‑频域特征；步骤S3：利用遗传算法进行特征选择，得出d个特征组成的最优特征集；步骤S4：训练分类器：生成可用于输入分类器的输入样本集后，通过眼动仪人工判断确定样本标签，并输入分类器进行训练；步骤S5：将验证集送入到训练好的眼电分类器进行分类验证，并根据操作者选择的评价指标投票选出最优分类器。其能够实现实时判别采集到的眼电信号是否处于注意力集中状态的目的。

Description

面向注意力识别的基于机器学习的眼电信号分类器
技术领域
本发明属于机器学习、计算机数据处理技术领域，尤其涉及一种面向注意力识别的基于机器学习的眼电信号分类器。
背景技术
日常生活中，人体与环境的信息交互80％以上都是依靠眼睛来完成。眼部活动能够在一定程度上表达人体意愿，因此，现已被应用到警觉度分析、残障人士出行、控制电器等具体方面。同时，眼球的运动轨迹和规律也蕴含了大量的信息，可以由此判断出用户对展示物体是否感兴趣，反映了用户注意力是否集中，例如，通过眼球运动控制感应器，将眨眼快慢发出的信号传送至电脑，转化为语言，完成人与外界的交流；警察刑侦***中，技术人员通过分析眼动轨迹解码犯罪嫌疑人的心理动态；在个性化领域，计算机通过获取用户注视点、分析整理用户感兴趣的区域、科学安排广告网页的设置，从而有针对性地向消费者推广产品。
对于健康个体而言，注意力可以通过意识控制，让注意力尽可能集中以达到特定的效果，但是，存在精神障碍的群体却难以自主将注意力长时间维持在集中状态。以发病率不断攀升、发病年龄不断下降的自闭症群体为例。现有医疗条件不存在能够治愈的特效药，而多依赖于专业医师观察患者注意力集中程度，在患者有意识的状态下进行人为干预训练或针灸治疗，以此达到较好的治疗效果。但是，患者在个人日常生活中不具备正常的自理认知和语言表达，对注意力是否集中的判断若不准确，以此为基础的人为干预治疗便极为困难。因此，无论是对于健康群体还是存在精神障碍的患者群体，能够及时、客观地判断注意力集中程度，是一项具有重要意义的研究内容。
现有技术成果多利用眼动仪的注视点轨迹描述技术判断用户的精神状态，但由于眼动仪属于医疗设备，应用于家庭的日常检测中便略显吃力，丧失了一定的便携性和易操作性，就算是便携式眼动仪也会由于镜片反光对测试结果造成一定程度的影响。
眼电技术因其无创性、便携性、低成本性、不受光照影响等特点，成为各领域交叉学科的研究热点。现有已发表技术也表明，眼电信号中蕴含着包括注意力在内的多项信息，对判断用户的注意力集中时刻，并以此进行进一步操作或进行长期、稳定治疗的意义重大。
公开使用的技术中，数据来源绝大部分为精神状态健康的个体，极少延伸到精神状态存在障碍的患者数据领域；眼动仪的长期佩戴使用，对于用户个体和家庭而言，会在生理和经济上造成一定程度的压力；现有技术多以追求高精度为目的，以深度网络进行离线分类，距实现市场化，还需在提高信号采集有效率与实时转化上下功夫。加之用户间的个体差异，只有提取出针对不同个体眼部动作具有高区分度的信号特征值，才能实现高精度的注意力判别。
综上，已公开发表或公开使用的技术存在的问题和缺陷如下：
1、应用数据方面：使用数据较局限，多集中于广泛的健康群体，无论是数据预处理还是特征选择都没有针对特定群体进行分析；
2、应用领域方面：多将眼动角度与眼电技术结合，判断视线方向或进行器械操作，没有涉及到注意力判别领域；
3、应用设备方面：通过长期使用侵入性方法或佩戴眼动仪等专业设备进行眼动检测和分类，而并未很恰当地使用眼电信号，因此安全性、便携性和易操作性欠佳；
4、应用算法方面：现有的基于眼电的信号分类中，主要采用的方法是迁移学习、模板匹配、或深度学习法，但是迁移学习方法需要首先积累一定数量的样本，进而泛化到其他个体数据，准确性会有所降低；模板匹配法的识别精度跟模板数目相关，而模板的选择也较为麻烦，不利于使用；为追求分类精度，深度学习应用于离线眼电信号的分类较多，在实时判别方面应用欠佳；使用机器学习的技术中，均使用一种分类器进行一次性判别，误判发生概率大。
发明内容
本发明目的在于克服现有技术的不足，针对现有技术中数据来源局限、使用眼动仪作为眼动判别不便、深度学习分类判别算法不适用、模板选择复杂提出改进，提供一种面向注意力识别的基于机器学习的眼电信号分类器。
本发明具体采用以下技术方案：
一种面向注意力识别的基于机器学习的眼电信号分类器，其特征在于，其构建方法包括以下步骤：
步骤S1：选取用于构造训练集和验证集的眼电信号，对选取的原始眼电信号进行预处理，包括依次执行：信号差分处理、眼电信号降噪、滑窗提取和归一化处理；
步骤S2：对每个预处理后的眼电信号段进行初级特征提取，包括时域特征、频域特征和时-频域特征；
步骤S3：利用遗传算法进行特征选择，得出d个特征组成的最优特征集；
步骤S4：训练分类器：生成可用于输入分类器的输入样本集后，通过眼动仪人工判断确定样本标签，并输入分类器进行训练；所述分类器为神经网络和/或线性判别式分析和/或支持向量机；
步骤S5：将验证集送入到训练好的眼电分类器进行分类验证，并根据操作者选择的评价指标投票选出最优分类器。
优选地，步骤S1中，所述信号差分处理为对左右两通道原始水平信号进行差分处理得到水平眼电信号；
所述眼电信号降噪包括：
(1)针对交流电产生的50Hz工频噪声，采用4阶巴特沃斯滤波器除去干扰；
(2)针对基线漂移及其他生物电信号噪声，利用小波分析完成降噪；
(3)针对眨眼扰动信号，将眨眼起止点间区域置零进行处理；
(4)针对10Hz以上的次要眼电信号部分，利用切比雪夫低通滤波器滤除；
所述滑窗提取使用250Hz采样频率得到的眼电信号，以500ms为时间窗长，每250ms滑动一次，提取时间窗内信号生成一个眼电图像；
在所述归一化处理中，设某一时刻，经过滑窗提取后的水平通道眼电信号为h，归一化公式为：
Figure BDA0002955587320000031
其中，hm、hn分别为水平信号段h的幅值最大值与最小值。
优选地，利用小波分析完成降噪的具体过程为：
步骤S11：采用离散小波变换去除眼电信号基线漂移现象：
将眼电信号做p层小波分解，若第p层小波低频系数所在的频率段距离0.05Hz最近，则该小波系数对应的信号即为眼电信号的基线漂移成分；用原始信号直接减去基线成分，得到的信号即为去除基线后的眼电信号；
步骤S12：利用小波软阈值滤波进行去噪：
采用软阈值法对眼电信号进行降噪处理，小波系数为：
Figure BDA0002955587320000041
其中，dj,k为小波系数估计值；ηj,k为处理后的小波系数；λj为第j层阈值；
步骤S13：利用处理后的小波系数进行小波逆变换获取经过处理的重构信号，得到最优还原的纯净眼电信号。
优选地，判断眨眼扰动信号的具体过程为：
步骤S14：确定眨眼起止点：
选取短时能量作为眨眼起点的阈值判别信号，将处理后的眼电信号进行“加窗”处理，分割成多个相同长度的数据段：在眼电信号的时域离散信号x(k)上加窗分帧处理，得到第n帧的信号记为xn(m)，满足：
xn(m)＝w(m)x(n+m),0≤m＜N
其中，N为帧长，n为帧号，w(m)为可以改变信号频谱的余弦窗函数；进行分帧处理后得到的第n帧眼电信号为xn(m)包含的信号幅值的平方和为该帧的能量，即：
Figure BDA0002955587320000042
从信号开始处逐帧求取每帧的能量Ei,i＝1,2,...,N；定义帧长为8个采样点，帧步长为4个采样点；对短时能量进行中值滤波，去除野点，记为Ei’；设定阈值为S＝100,当Ei’＞S时，将信号置1，Ei’＜S时，将信号置0；对阈值处理后的信号进行差分，记为F；F＝1的点对应眨眼的起始点；F＝-1时进入终止点判断；
并引入信号的单调性检测，当且仅当信号同时满足了阈值条件和单调性条件的情况下，才判断为眼动终止；引入的信号单调性检测的算法如下：
(1)找到终止判断点E1；
(2)计算E1对应的眼电信号单调性，即相邻两采样点的差值d0；
(3)当|d0|＜2μV时，信号已经结束了单调增或减，E1即为眨眼终止点E；
(4)当|d0|＞2μV时，从E1开始往后再计算15个采样点，找到首次|d0|＜2μV的时刻记为终止点E，否则，此次眨眼检测失效；
步骤S15：进行眨眼和眼跳的区分，以防止误判：
求起始点与终止点之间眼电信号的极大值、极小值的绝对值，分别用|x1|和|x2|表示，令x3＝|x1|/|x2|；T代表眼电信号中的疑似眨眼区间，极大值和极小值出现的时间间隔为t；当0.5≤x3≤2且t≤150ms时，判断为眨眼；0.5≤x3≤2且t＞150ms时，判断为噪声；x3＞2时为向左的眼跳；x3＜0.5时为向右的眼跳。
优选地，步骤S2中，时域特征包括：多个采样点眼电信号的幅值的均值、标准差、绝对值平均值、均方根值、过零点数、方差值和峰值；频域特征包括：多个采样点眼电信号的平均功率频率和中值频率；采用的时-频域分析方法为：Mallat分解系数算法。
优选地，步骤S3具体包括：
初级特征集中的多个特征经由二进制编码形式形成个体，且排列顺序固定，当向量第q位为0时表示该特征被抛弃，为1时表示该特征被选择；种群规模为
Figure BDA0002955587320000051
使用相关系数作为适应度函数评价个体的降维表现；将终止条件设置为相关系数值大于0.5或代数超过100代；使用轮盘赌选择法，均匀交叉概率为0.7，变异概率为0.0001；反复操作，直至达到终止条件，选出最优表现的d维特征。
优选地，在步骤S4中，以在连续6个采样窗口内，有4个窗口以上的眼电信号被分类为处于注意力集中状态，则这段眼电信号可判定为目标眼电信号，选取这段区间作为注意力集中的的眼电训练集，否则，则判定此段眼电区间为注意力不集中的眼电信号。
优选地，在步骤S5中，通过选择评价指标选取最优分类器。
与现有技术相比，本发明及其优选方案通过进行适当的去噪处理，消除无效的、无意识的信号干扰，接着进行滑窗提取与归一化处理，将初级训练集进行特征提取，经过特征选择后，用最优特征集训练3种机器学习分类器，将验证集送入分类器，根据评判标准投票选择出适合不同用户的最优分类器，在测试阶段能够利用滑窗实现实时判别采集到的眼电信号是否处于注意力集中状态的目的。
该判别器可以实现对用户注意力是否集中的有效判别，在日常检测的便携性、针对个体进行特征集筛选、实时判定注意力状态方面具有较优的性能。具体而言，本发明的优势主要在于：
1、应用数据方面：并非局限于健康个体，在预处理阶段以及分类判定阶段均考虑到了存在精神障碍的患者用户，拓宽了数据应用覆盖面；
2、应用领域方面：将眼电技术应用到注意力判别方面，着重实现了判别用户注意力集中的有意识时刻。
3、应用设备方面：利用眼电信号代替侵入性方法及眼动仪等专业设备，能够使有需求的用户较为容易的完成让日常检测及判定分类，提升了安全性、便携性和易操作性；同时，有效解决了长期使用眼动仪进行注意力判别的用户家庭经济压力，并且能过够保证在日常检测中的延续性。
4、应用算法方面：针对不同的个体用户进行特征筛选，优选出不同的个性化特征集进行训练，克服了迁移学习的泛化能力较差的缺点；机器学习的方法克服了模板匹配的复杂性，提高了判别效率，有助于实时注意力判别；使用判断效果最优的分类器进行实时检测判断，提高了注意力判断准确率，避免偶然性误判的发生。
综上，本分类器可用于人机交互控制***中，通过眼电信号解码眼电信号，实时分析用户注意力，准确判断用户注意力集中的有意识时刻。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例眼电数据采集点示意图；
图2为本发明实施例左右追随扫视眼电信号及产生原理示意图；
图3为本发明实施例分类器构建过程及应用的总流程示意图；
图4为本发明实施例小波软阈值滤波去噪流程示意图；
图5为本发明实施例去除眨眼信号流程示意图；
图6为本发明实施例信号预处理阶段流程示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
考虑到眼电数据包含着大量眼动信息，现有技术没有应用其进行实时注意力判别，没有提出以个性化设置的特征集提升注意力判别的针对性措施，也未能摆脱模板匹配的复杂性，本实施例提出一种面向注意力识别的基于机器学习的眼电信号分类器，并对其构建过程和应用进行详细介绍。
在构建过程中，通过预处理提升眼电信号有效率，筛选出针对个体的最优特征集，采用三种经典机器学习分类器作为分类模型，经过训练，利用验证集确定出针对个体用户的最优分类器，通过滑窗提取眼电信号送入分类器进行实时分析，实现实时注意力判别。
如图1所示，使用本技术方案需要先明确眼电信号的种类。眼电信号分为垂直、水平两个通道，但由于眼球在垂直方向的活动范围和灵活度比水平方向小，且受眉毛及脸颊附近运动相关肌肉影响，从而在实际应用中的价值也无法与水平眼电信号相比。又因为水平或垂直通道眼电信号幅值的大小只与眼球在该方向上的偏转角度大小有关，而与在另外一个方向上的角度分量无关。因此，本实施例提供的分类器仅使用水平眼电信号进行分析。各通道数据分别来自水平眼电信号(R)、水平眼电信号(L)以及信号公共端(F)。
本实施例将眼动基本形式分为两种：注意力不集中(标识为0)和注意力集中(标识为1)。当用户处于发呆或者思考时，眼神在某一位置发生无意识聚焦，就会处于一种眼电信号相对稳定的状态。但眼球并非完全保持静止，会产生眼颤、漂移等自然生理反应，频率小于3Hz。当在注意力集中过程中突然被另外的物体吸引而走神，视线实现快速转移，发生不连续的跳动，并非平滑运动。当用户被某事物长时间吸引时，两只眼球通过同步左右移动来不断获取信息，表现为一定范围的扫视、规律性往返运动等形式。对于用户而言，临床实验认为，在观察周期内，当用户有三分之二以上的时间处于关注状态(不要求连续关注)，即可认为在这段时间内是有意识地观看，这种眼球运动产生的眼电信号可以作为触发治疗仪器开启的目标眼电信号。
以向左、向右跟随扫视为例，假设用户从左到右匀速扫视3秒，再反向扫视3秒，用户注意力较为集中状态下的眼电数据会呈现较强的规律性与一定的周期性，与注意力不集中时刻的眼电信号区别较大。视网膜相对于角膜呈现负信号，角膜相对于视网膜呈现正信号，眼球转动会引起两者之间的电势差变动，电势信号即眼电信号。当眼球自左向右转动时，产生正幅值的眼电信号，反向则产生负幅值的眼电信号，简单处理后的扫视眼电信号如图2所示。
该分类器的构建过程包括以下具体步骤：
第一步是对原始信号进行预处理。第二步是初级特征集提取。第三步是特征选择。第四步是训练分类器。第五步是验证训练好的眼电分类器并投票选出最优分类器。各步骤实施流程框图如图3所示。
第一步：对原始信号进行预处理。此步骤包括四个方面，分别是：信号差分处理、眼电信号降噪、滑窗提取和归一化处理。
1、信号差分处理。
对左右两通道原始水平信号进行差分处理得到水平眼电信号。
2、眼电信号降噪。
(1)针对交流电产生的50Hz工频噪声，采用4阶巴特沃斯滤波器除去干扰；
(2)针对基线漂移及其他生物电信号噪声，利用小波分析完成降噪；
眼电不仅受到脑电、肌电、心电的影响，而且其静息状态下基线幅值也不是稳定的，会随着时间、环境等因素的变化产生基线漂移。另外，不同用户的眼电信号有不同的基线幅值。这些特点都影响着眼电信号的有效性。
由于小波滤波的多分辨特性、时域局部变化特性、选基灵活性和去相关性，适用于非平稳眼电信号的处理，在达到降噪目的的同时，能够保证得到的有效信号仍存在突变部分和图像边缘。
首先，用离散小波变换去除眼电信号基线漂移现象。
当眼睛注视在正前方时，信号基线并非是一条接近或平行于零线的直线，由眼球偏转引起的电位差变化将会叠加在基线漂移上，通常是信号中频率低于0.05Hz的成分。将眼电信号做6层小波分解(具体分解层数N可根据不同患者用户的个体情况确定)，若第6层小波低频系数所在的频率段恰好接近0.05Hz，则该小波系数对应的信号即为眼电信号的基线漂移成分。用原始信号直接减去基线成分，得到的信号即为去除了基线后的眼电信号。
随后，利用小波软阈值滤波进行去噪。流程如图4所示。
经过小波变换处理的信号的小波系数由有效信号、干扰信号的系数组成，两种信号经小波分解后的各尺度上的信号性质、构造规则等均不同，均可以在不同尺度上经训练获得一个合适的阈值，一般来说有效信号幅值较大，干扰信号幅值较小。以阈值为基本点，大于该阈值则适当放大系数进行重置，否则保持不变或归零，以此有效抑制甚至剔除噪声信号，达到在尽可能减小干扰信号系数，甚至于完全去除干扰系数的同时，最大程度保留有效信号系数的要求。这个过程并非盲目去除高频信号造成信息丢失。采用硬阈值方法处理小波系数时在重构环节易出现断层现象，引发振荡，而软阈值却不存在此现象，因此本实施例选用软阈值法对眼电信号进行降噪处理，小波系数为：
Figure BDA0002955587320000091
其中，dj,k为小波系数估计值；ηj,k为处理后的小波系数；λj为第j层阈值。
在系数设置过程中，参数的选择主要以处理后效果优劣来评价，处理效果优劣主要是通过处理前后信号的相关性和频谱分析来评价。接着利用小波逆变换获取经过处理的重构信号，最终得到最优还原的纯净眼电信号。
(3)针对眨眼扰动信号，将眨眼起止点间区域置零进行处理；
眨眼在水平、垂直方向的眼电信号均有电位变化，在没有外界刺激的情况下，正常眨眼频率为每分钟12-19次左右，每次眨眼的时间约为0.1s-0.4s，波形含有很明显的尖峰，而有意识眨眼与无意识眨眼的最大区别仅在于眼动幅值不同。去除眨眼扰动分为两步：
首先，确定眨眼起止点。
选取短时能量作为眨眼起点的阈值判别信号。将上述处理后的眼电信号进行“加窗”处理，分割成多个相同长度的数据段，只需观察“窗口”里面的一段信号，而忽略“窗口”外面的信号。在眼电信号的时域离散信号x(k)上加窗分帧处理，得到第n帧的信号记为xn(m)，那么xn(m)满足：
xn(m)＝w(m)x(n+m),0≤m＜N
其中，N为帧长，n为帧号，w(m)为可以改变信号频谱的窗函数。使用正确的窗函数是获取稳定有效信号特征的基础。在实验环境中，矩形窗函数往往由于对信号不仅会带来高频噪声的风险甚至于可能会泄露信号。本发明采用的余弦窗函数，不仅可以将采集的信号一直保持高分辨率并且可以有效保留信号的重要信息。进行分帧处理后得到的第n帧眼电信号为xn(m)包含的信号幅值的平方和为该帧的能量，即：
Figure BDA0002955587320000101
从信号开始处逐帧求取每帧的能量Ei,i＝1,2,...,N。定义帧长为8个采样点，帧步长为4个采样点。对短时能量进行中值滤波，去除野点，记为Ei’。设定阈值为S＝100,当Ei’＞S时，将信号置1，Ei’＜S时，将信号置0。对阈值处理后的信号进行差分，记为F。F＝1的点对应眨眼的起始点。F＝-1时进入终止点判断。
终止点的检测极易受到噪声的影响。单独使用速度、加速度或短时能量阈值的眼动检测方法，无法保证每一次都能得到较准确的结果。例如，对于速度不对称的非主序眼跳，使用阈值法就很难对眼跳终止点进行准确地定位。为了更准确地定位一次眨眼运动的结束时刻，本发明在使用阈值法的基础上引入了信号的单调性检测，当且仅当信号同时满足了阈值条件和单调性条件的情况下，才判断为眼动终止。引入的信号单调性检测的算法描述如下：
(1)根据上述方法找到终止判断点E1；
(2)计算E1对应的眼电信号单调性，即相邻两采样点的差值d0；
(3)当|d0|＜2μV时，信号已经结束了单调增或减，E1即为眨眼终止点E；
(4)当|d0|＞2μV时，从E1开始往后再计算15个采样点，找到首次|d0|＜2μV的时刻记为终止点E，否则，此次眨眼检测失效。
随后，进行眨眼和眼跳的区分，防止误判。
眨眼脉冲的上升边沿很容易被检测到，它与普通眼跳的边沿的区别不大。正是因为有眨眼下降边沿的特征，才能保证眨眼能被正确地检测出来。因此，眨眼能被正确识别的必要条件是具有完整的上升和下降沿。尽管由眨眼所产生的尖峰信号的幅值范围分布较广，对应的差分信号极值大小也各不相同，但其极大值与极小值的比值却始终在一个较小的范围内。眨眼的差分信号的两个极值不仅出现的时间间隔很短，且幅度的差异也不大。利用这个特点，本发明使用了一种识别方法将眨眼与向左、向右的眼跳区分开，防止眨眼信号的误判。求起始点与终止点之间眼电信号的极大值、极小值的绝对值，用|x1|和|x2|表示，令x3＝|x1|/|x2|。T代表眼电信号中的疑似眨眼区间，极大值和极小值出现的时间间隔为t；当0.5≤x3≤2时，且t≤150ms时，判断为眨眼；0.5≤x3≤2且t＞150ms时，判断为噪声；x3＞2时为向左的眼跳；x3＜0.5时为向右的眼跳。与使用经验模态分解的眨眼检测和使用小波分析的眨眼检测相比，本算法简单。确定起点和终点后，将两点间区域置零，从而去除眨眼信号。流程图如图5所示。
(4)针对10Hz以上的次要眼电信号部分，利用切比雪夫低通滤波器滤除；
EOG信号频率集中在0.1-38Hz，主要成分在1-10Hz，为减少数据处理量，需要滤除次要信号。
3、滑窗提取
本实施例使用250Hz采样频率得到的眼电信号，以500ms为时间窗长，每250ms滑动一次，提取时间窗内信号生成一个眼电图像。滑窗提取后的数据保持相同的采样点数，可以减少每次训练的数据长度，为之后的特征提取减少运算量，提高实时判断效率。
4、归一化处理
同一类型的眼电信号有着相对特定的波形，但是属于同一类型的不同时段采集的眼电信号在幅值上可能会有不同，为了方便后续的分析和处理，在经过滑窗处理确定一个眼电信号段后，需要对其幅值进行[-1，1]区间归一化处理。设某一时刻，经过滑窗提取后的水平通道眼电信号为h，归一化公式为：
Figure BDA0002955587320000111
其中，hm、hn分别为水平信号段h的幅值最大值与最小值。
信号预处理阶段的四个方面实施流程如图6所示。
第二步：初级特征集提取
计算每个预处理后的眼电信号的特征，比较不同特征对眼电信号注意力判断的影响。
时域分析法在对眼电信号提取特征值时具有易于理解，计算简单等优点，特征向量参数有以下几种：
①均值(AV)：
Figure BDA0002955587320000121
②标准差(STD)：
Figure BDA0002955587320000122
③绝对值平均值(AVA)：
Figure BDA0002955587320000123
④均方根值(RMS)：
Figure BDA0002955587320000124
⑤过零点数(ZC)：
Figure BDA0002955587320000125
其中，sgn(x)为符号函数；
⑥方差值(VAR)：
Figure BDA0002955587320000126
⑦峰值(TPS)。
其中，xi为第i个采样点眼电信号的幅值，N表示采样点数，
Figure BDA0002955587320000127
为样本均值。
频域变换的目的在于将信号幅值随时间变化转成随频率变化，探求信号幅值和功率与不同频率的对应关系。本发明采用两种常用的频域特征值：
①平均功率频率(MPF):
Figure BDA0002955587320000128
②中值频率(MF)：
Figure BDA0002955587320000129
其中，P(f)为信号的功率谱密度函数。
时-频域特征提取方法不仅保留了信号在时域下的特性，同时也提供频域特性。本发明采用的时-频域分析方法为：Mallat分解系数算法。
算法基本思想为：原始离散信号为S，离散逼近信号为A，离散细节信号为D，经过分解后，原始离散信号可以表示为：S＝An＝Dn+Dn-1+...+D1，An含有EOG的重要信息。本实施例在MATLAB中，采用函数wavedec实现原始小波的多级分解。
第三步：特征选择。
特征选择不仅可以保留特征中的那些贡献度较大的有益参数，降低特征空间维度，提高算法执行速度。由于不同用户在眼电特征上具有一定的差异，其目标眼电信号的波形特征也不尽相同，所以需要进行预实验为每位用户建立各自的特征集以取得更好的识别效果。
为了减少特征维度和提高识别正确率，采用封装式特征选择降维算法——遗传算法进行特征选择，从以上第二步中提取的10个特征组成的初级特征集中选择出针对不同个体表现较好的d维特征子集。初级特征集中的n个特征经由二进制编码形式形成个体(n维向量，n为选取的初级特征总数，本发明中为10)，且排列顺序固定，当向量第i位为0时表示该特征被抛弃，为1时表示该特征被选择。种群规模为
Figure BDA0002955587320000131
使用相关系数作为适应度函数评价个体的降维表现。将终止条件设置为相关系数值大于0.5或代数超过100代(此处参数取值可根据个体实际情况进行调整)。在选择操作中使用轮盘赌选择法，均匀交叉概率为0.7，变异概率为0.0001。反复操作，直至达到终止条件，选出最优表现的d维特征。
第四步：训练分类器。
首先，将经过预处理以及特征提取的眼电信号段生成满足分类器输入形式的输入样本，样本图像的标签(即用户注意力是否集中)由专业医师根据眼动仪匹配软件回看眼动仪眼动轨迹、散点或视线热点图作为参考进行判定。训练集和验证集按照4：1的比例分配，以注意力集中和注意力不集中进行整理分类保存。对于存在精神障碍的患者而言，很难持续关注较长时间，一般认为，在连续6个采样窗口内，用户有4个窗口以上处于关注状态(不要求连续关注)，即可认为用户在这段期间内是注意力集中的，这段周期内产生的眼电信号是目标眼电信号，可以选取这段区间作为其注意力集中状态的眼电训练集。
随后，将打好标签的训练集输入分类器进行训练。本发明中采用神经网络(BP)、线性判别式分析(LDA)、支持向量机(SVM)三种分类器进行训练，并将训练好的分类器保存。
第五步：将验证集输入到训练好的眼电分类器进行分类验证，并根据评价指标投票选出最优分类器。
使用步骤四中的验证集眼电信号离线测试各个训练好的分类器。与训练样本一样，由专业技术人员根据眼动仪匹配软件回看眼动仪眼动轨迹、散点或视线热点图作为参考进行标签判定，根据选择的评价指标，选取最优分类器作为第六步在线意图解码所用的分类器，用于训练该分类器的训练集构造方案即为最优方案。
对于分类结果，采用灵敏性(Sensitivity)、特异性(Specificity)和准确率(Accuracy)来评估，即评价指标。灵敏性反应了分类算法将目标识别出来额能力；特异性描述排除非目标的能力；准确率衡量分类的准确率。由于本发明属于二分类问题，TP和TN均为分类正确的样本个数，其中TP表示将正类样本分类为正类的个数，TN表示将负类样本分类为负类的个数；FP和FN均为分类错误的样本个数，其中FP表示将负类样本分类为正类的个数，即误报；FN表示将正类样本分类为负类的个数，即漏报。计算公式分别为：
①
Figure BDA0002955587320000141
②
Figure BDA0002955587320000142
③
Figure BDA0002955587320000143
本实施例根据以上步骤即可以获得针对特定用户的最优分类器，可以判别眼电信号的注意力类型。
以下为在线解码注意力判别的过程：
在线识别阶段，对于需要分类的眼电信号，按照第一步骤中的预处理得出纯净眼电数据，使用相同的滑动窗方案进行滑窗提取及归一化处理，并根据每名用户的最优子特征集计算特征值，输入到已训练好的最优分类器。最优分类器进行注意力是否集中的二分类，得出实时判断结果。对于每一名用户，采集环境应当尽量与收集训练集和验证集阶段保持一致，包括光线明暗、人员走动、注视距离等，提高眼电信号的精确度。
综上所述，本实施例提供的方案可以理解为：首先，需要选取用于构造训练集和验证集的眼电信号，对选取的原始眼电信号进行差分处理、去噪、滑窗提取和归一化预处理；其次，针对个体进行特征提取，利用遗传算法进行特征选择，得出d个特征组成的个性化最优特征集；生成可用于输入分类器的输入样本集后，专业医师根据眼动仪判断确定样本标签，用构造好的训练集离线训练分类器；接着，选取用于离线检测分类器的验证集眼电信号，按照选取的分类器评价指标选出针对用户个体的最佳分类器；将离线测试出的最佳分类器作为在线实时判别所用的分类器；进行实时判别时，数据应使用与训练集和验证集相同的预处理方式，通过提取最优特征集、使用最优分类器得到注意力判别结果；将在线判别所得的判断结果作为人机接口的控制信号，实现后续设备的实时控制。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的面向注意力识别的基于机器学习的眼电信号分类器，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (6)

1.一种面向注意力识别的基于机器学习的眼电信号分类器，其特征在于，其构建方法包括以下步骤：
步骤S1：选取用于构造训练集和验证集的眼电信号，对选取的原始眼电信号进行预处理，包括依次执行：信号差分处理、眼电信号降噪、滑窗提取和归一化处理；
步骤S2：对每个预处理后的眼电信号段进行初级特征提取，包括时域特征、频域特征和时-频域特征；
步骤S3：利用遗传算法进行特征选择，得出d个特征组成的最优特征集；
步骤S4：训练分类器：生成可用于输入分类器的输入样本集后，通过眼动仪人工判断确定样本标签，并输入3种分类器进行训练；所述分类器为神经网络和/或线性判别式分析和/或支持向量机；
步骤S5：将验证集送入到训练好的眼电分类器进行分类验证，并根据操作者选择的评价指标投票选出最优分类器；
步骤S1中，所述信号差分处理为对左右两通道原始水平信号进行差分处理得到水平眼电信号；
所述眼电信号降噪包括：
(1)针对交流电产生的50Hz工频噪声，采用4阶巴特沃斯滤波器除去干扰；
(2)针对基线漂移及其他生物电信号噪声，利用小波分析完成降噪；
(3)针对眨眼扰动信号，将眨眼起止点间区域置零进行处理；
(4)针对10Hz以上的次要眼电信号部分，利用切比雪夫低通滤波器滤除；
所述滑窗提取使用250Hz采样频率得到的眼电信号，以500ms为时间窗长，每250ms滑动一次，提取时间窗内信号生成一个眼电图像；
在所述归一化处理中，设某一时刻，经过滑窗提取后的水平通道眼电信号为h，归一化公式为：
Figure FDA0003463960130000011
其中，hm、hn分别为水平信号段h的幅值最大值与最小值；
判断眨眼扰动信号的具体过程为：
步骤S14：确定眨眼起止点：
选取短时能量作为眨眼起点的阈值判别信号，将处理后的眼电信号进行“加窗”处理，分割成多个相同长度的数据段：在眼电信号的时域离散信号x(k)上加窗分帧处理，得到第n帧的信号记为xn(m)，满足：
xn(m)＝w(m)x(n+m),0≤m＜N
其中，N为帧长，n为帧号，w(m)为可以改变信号频谱的余弦窗函数；进行分帧处理后得到的第n帧眼电信号为xn(m)包含的信号幅值的平方和为该帧的能量，即：
Figure FDA0003463960130000021
从信号开始处逐帧求取每帧的能量Ei,i＝1,2,...,N；定义帧长为8个采样点，帧步长为4个采样点；对短时能量进行中值滤波，去除野点，记为Ei’；设定阈值为S＝100,当Ei’＞S时，将信号置1，Ei’＜S时，将信号置0；对阈值处理后的信号进行差分，记为F；F＝1的点对应眨眼的起始点；F＝-1时进入终止点判断；
并引入信号的单调性检测，当且仅当信号同时满足了阈值条件和单调性条件的情况下，才判断为眼动终止；引入的信号单调性检测的算法如下：
(1)找到终止判断点E1；
(2)计算E1对应的眼电信号单调性，即相邻两采样点的差值d0；
(3)当|d0|＜2μV时，信号已经结束了单调增或减，E1即为眨眼终止点E；
(4)当|d0|＞2μV时，从E1开始往后再计算15个采样点，找到首次|d0|＜2μV的时刻记为终止点E，否则，此次眨眼检测失效；
步骤S15：进行眨眼和眼跳的区分，以防止误判：
求起始点与终止点之间眼电信号的极大值、极小值的绝对值，分别用|x1|和|x2|表示，令x3＝|x1|/|x2|；T代表眼电信号中的疑似眨眼区间，极大值和极小值出现的时间间隔为t；当0.5≤x3≤2且t≤150ms时，判断为眨眼；0.5≤x3≤2且t＞150ms时，判断为噪声；x3＞2时为向左的眼跳；x3＜0.5时为向右的眼跳。
2.根据权利要求1所述的面向注意力识别的基于机器学习的眼电信号分类器，其特征在于：利用小波分析完成降噪的具体过程为：
步骤S11：采用离散小波变换去除眼电信号基线漂移现象：
将眼电信号做p层小波分解，若第p层小波低频系数所在的频率段距离0.05Hz最近，则该小波系数对应的信号即为眼电信号的基线漂移成分；用原始信号直接减去基线成分，得到的信号即为去除基线后的眼电信号；
步骤S12：利用小波软阈值滤波进行去噪：
采用软阈值法对眼电信号进行降噪处理，小波系数为：
Figure FDA0003463960130000031
其中，dj,k为小波系数估计值；ηj,k为处理后的小波系数；λj为第j层阈值；
步骤S13：利用处理后的小波系数进行小波逆变换获取经过处理的重构信号，得到最优还原的纯净眼电信号。
3.根据权利要求1所述的面向注意力识别的基于机器学***均值、均方根值、过零点数、方差值和峰值；频域特征包括：多个采样点眼电信号的平均功率频率和中值频率；采用的时-频域分析方法为：Mallat分解系数算法。
4.根据权利要求1所述的面向注意力识别的基于机器学习的眼电信号分类器，其特征在于：步骤S3具体包括：
初级特征集中的多个特征经由二进制编码形式形成个体，且排列顺序固定，当向量第q位为0时表示该特征被抛弃，为1时表示该特征被选择；种群规模为
Figure FDA0003463960130000032
使用相关系数作为适应度函数评价个体的降维表现；将终止条件设置为相关系数值大于0.5或代数超过100代；使用轮盘赌选择法，均匀交叉概率为0.7，变异概率为0.0001；反复操作，直至达到终止条件，选出最优表现的d维特征。
5.根据权利要求1所述的面向注意力识别的基于机器学习的眼电信号分类器，其特征在于：在步骤S4中，以在连续6个采样窗口内，有4个窗口以上的眼电信号被分类为处于注意力集中状态，则这段眼电信号判定为目标眼电信号，选取这段区间作为注意力集中的眼电训练集，否则，则判定此段眼电区间为注意力不集中的眼电信号。
6.根据权利要求1所述的面向注意力识别的基于机器学习的眼电信号分类器，其特征在于：在步骤S5中，通过选择评价指标选取判断正确率最高的分类器。
CN202110226571.7A 2021-03-01 2021-03-01 面向注意力识别的基于机器学习的眼电信号分类器 Active CN112890834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110226571.7A CN112890834B (zh) 2021-03-01 2021-03-01 面向注意力识别的基于机器学习的眼电信号分类器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110226571.7A CN112890834B (zh) 2021-03-01 2021-03-01 面向注意力识别的基于机器学习的眼电信号分类器

Publications (2)

Publication Number Publication Date
CN112890834A CN112890834A (zh) 2021-06-04
CN112890834B true CN112890834B (zh) 2022-05-13

Family

ID=76107264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110226571.7A Active CN112890834B (zh) 2021-03-01 2021-03-01 面向注意力识别的基于机器学习的眼电信号分类器

Country Status (1)

Country Link
CN (1) CN112890834B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157101B (zh) * 2021-06-07 2022-08-19 成都华脑科技有限公司 碎片化阅读习惯识别方法、装置、可读介质及电子设备
CN113344295B (zh) * 2021-06-29 2023-02-14 华南理工大学 基于工业大数据的设备剩余寿命预测方法、***及介质
CN114305420A (zh) * 2021-12-30 2022-04-12 上海卓道医疗科技有限公司 一种认知康复训练评估***及方法
CN114343638B (zh) * 2022-01-05 2023-08-22 河北体育学院 一种基于多模态生理参数信号的疲劳程度评估方法及***
CN115227504B (zh) * 2022-07-18 2023-05-26 浙江师范大学 一种基于脑电眼电信号的自动升降病床***
CN116548928B (zh) * 2023-07-11 2023-09-08 西安浩阳志德医疗科技有限公司 一种基于互联网的护理服务***
CN116602691B (zh) * 2023-07-14 2023-10-10 北京元纽科技有限公司 一种脑电信号的去噪方法、装置、电子设备及存储介质
CN116661609B (zh) * 2023-07-27 2024-03-01 之江实验室 一种认知康复训练方法、装置、存储介质及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968072A (zh) * 2012-11-09 2013-03-13 上海大学 基于校正/训练的眼电控制***和方法
CN109032347A (zh) * 2018-07-06 2018-12-18 昆明理工大学 一种基于眼电信号控制鼠标的方法
CN109934089B (zh) * 2018-10-31 2020-10-23 北京航空航天大学 基于监督梯度提升器的多级癫痫脑电信号自动识别方法
CN110275621A (zh) * 2019-06-26 2019-09-24 陕西科技大学 基于眼电信号控制的助障活动平台

Also Published As

Publication number Publication date
CN112890834A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112890834B (zh) 面向注意力识别的基于机器学习的眼电信号分类器
Liu et al. Subject-independent emotion recognition of EEG signals based on dynamic empirical convolutional neural network
Karthikeyan et al. Detection of human stress using short-term ECG and HRV signals
Aboalayon et al. Efficient sleep stage classification based on EEG signals
CN114781465B (zh) 一种基于rPPG的非接触式疲劳检测***及方法
Tong et al. Emotion recognition based on photoplethysmogram and electroencephalogram
Sengupta et al. A multimodal system for assessing alertness levels due to cognitive loading
Ren et al. Comparison of the use of blink rate and blink rate variability for mental state recognition
Baghdadi et al. Dasps: a database for anxious states based on a psychological stimulation
CN112328072A (zh) 一种基于脑电和眼电的多模态字符输入***及方法
Hu et al. A real-time electroencephalogram (EEG) based individual identification interface for mobile security in ubiquitous environment
Li et al. Eye-tracking signals based affective classification employing deep gradient convolutional neural networks
Li et al. A novel spatio-temporal field for emotion recognition based on EEG signals
Trigka et al. A survey on signal processing methods for EEG-based brain computer interface systems
CN112869743B (zh) 一种考虑认知分心的运动起始意图神经解析方法
Ouyang et al. Design and implementation of a reading auxiliary apparatus based on electrooculography
Islam et al. Myoelectric pattern recognition performance enhancement using nonlinear features
Wu et al. Stress detection using wearable devices based on transfer learning
Wang et al. The effects of channel number on classification performance for sEMG-based speech recognition
ElSayed et al. Multimodal analysis of electroencephalographic and electrooculographic signals
Murad et al. Unveiling Thoughts: A Review of Advancements in EEG Brain Signal Decoding into Text
Yang et al. Application of human-computer interaction technology in ancillary diagnosis of nervous system diseases: current situation and prospect
Cheng et al. Detrended fluctuation analysis based on the affective ECG
Romaniuk et al. Intelligent eye gaze localization method based on EEG analysis using wearable headband
Liu et al. Recognition of Depressive Mood Based on Electrocardiogram and Three Dimensional Acceleration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220216

Address after: Room 283, west side, 1st floor, old neighborhood committee, lianpanxin village, 435 Guohuo East Road, Xiangyuan street, Jin'an District, Fuzhou City, Fujian Province, 350000

Applicant after: Fujian maixing Life Medical Technology Co.,Ltd.

Address before: Fuzhou University, No.2, wulongjiang North Avenue, Fuzhou University Town, Minhou County, Fuzhou City, Fujian Province

Applicant before: FUZHOU University

GR01 Patent grant
GR01 Patent grant