CN111460892A - 一种脑电图模式分类模型的训练方法、分类方法及*** - Google Patents

一种脑电图模式分类模型的训练方法、分类方法及*** Download PDF

Info

Publication number
CN111460892A
CN111460892A CN202010136169.5A CN202010136169A CN111460892A CN 111460892 A CN111460892 A CN 111460892A CN 202010136169 A CN202010136169 A CN 202010136169A CN 111460892 A CN111460892 A CN 111460892A
Authority
CN
China
Prior art keywords
eeg
classification
eeg data
electroencephalogram
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010136169.5A
Other languages
English (en)
Inventor
王洪涛
许弢
卢冠勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202010136169.5A priority Critical patent/CN111460892A/zh
Priority to PCT/CN2020/081637 priority patent/WO2021174618A1/zh
Publication of CN111460892A publication Critical patent/CN111460892A/zh
Priority to US17/004,832 priority patent/US20210267474A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)

Abstract

本申请公开了一种脑电图模式分类模型训练方法，可用于个人身份识别(PI)和驾驶过程中的疲劳状态检测任务，包括：获取脑电图EEG数据并进行预处理和标记，得到带标记的训练数据集；将每个EEG数据输入到基于注意力机制的卷积神经网络，提取得到模式特征；根据所述EEG数据的模式特征和标记，对用于脑电图模式分类模型的参数进行修正。还公开了对应的脑电图模式分类的方法和脑电图模式分类的***。在用于驾驶相关的多任务分类中，如个人身份识别(PI)和驾驶过程中的疲劳状态检测任务，平均分类精度较高，还可以在分类精度和时间成本之间做出很好的权衡，在生物医学信号的多任务分类中具有潜在的应用价值。

Description

一种脑电图模式分类模型的训练方法、分类方法及***
技术领域
本申请涉及生理数字信息处理领域，尤其涉及一种脑电图模式分类模型的训练方法、分类方法及***。
背景技术
随着网络经济的到来，共享汽车正在蓬勃发展，这对已经取得驾照的人是有利的。然而，道路交通事故(road traffic crash，RTC)对人类生命的威胁仍然较大。RTC的危险因素有速度、驾驶行为等。困倦和疲劳可能对RTC有很大影响，但难以定量评估其影响。客观有效地评估司机的状态对组织者来说似乎更为重要，而不是简单地通过智能手机应用程序验证他们的资质。此外，很难确定真正的司机是在整个旅程中注册应用程序的人，例如，该用户可能使用伪造的证书注册为共享汽车用户。这种行为给行车安全带来了极大的危害，因此对这类行业的个人身份识别(PI)控制就显得尤为迫切。在旅途中，一个简单的PI方法是用摄像机监控司机，但没有考虑隐私，且这种方法还需要一个高质量的环境光和一个适合大多数司机的相机位置。
随着深度学习的发展，PI正从集成身份证的多种功能向动态身份识别(DI)升级。许多行业都将受益于这种DI。例如，工厂可以使用DI来确定哪些工人参与了什么过程。这样，企业就能提高生产效率，明确事故责任。另一方面，生物医学信号通常被用于疾病诊断、精神状态评估和与情绪相关的任务。而以更巧妙的方式去做，有利于主体任务的推进。因此，对驾驶员疲劳状态的有效检测以及对驾驶员身份的全程同步验证的需求越来越值得关注。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种脑电图模式分类模型的训练方法、分类方法及***，能够在保护隐私的前提下对相同数据的多任务分类(Multitask Classification)，可应用于基于脑电信号的生物认证和驾驶疲劳检测。
一方面，本申请实施例提供了一种脑电图模式分类模型训练方法，包括：获取脑电图EEG数据，对所述EEG数据进行预处理，并对所述EEG数据进行标记，得到带标记的训练数据集，其中所述训练数据集包括经预处理的带标记的EEG数据；将所述训练数据集中的每个EEG数据输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征；根据所述EEG数据的模式特征和标记，对用于脑电图模式分类模型的参数进行修正。
另一方面，本申请实施例提供了一种脑电图模式分类的方法，包括：获取脑电图EEG信号，对所述EEG信号进行预处理，得到EEG数据集，其中所述EEG数据集包括经预处理的EEG信号；将所述EEG数据集中的每个EEG信号输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征；对所述EEG数据的模式特征进行分类，得到脑电图模式分类结果。
再一方面，本申请实施例提供了一种脑电图模式分类的***，包括：存储器；处理器；传感器，连接至所述处理器，用于检测上述的脑电图EEG信号；以及存储在存储器上并可在处理器上运行的计算机程序；所述处理器执行所述计算机程序时，根据由所述传感器所检测的脑电图EEG信号，实现上述的方法。
根据本申请的一些实施例，分别提供了脑电图模式分类模型训练方法，脑电图模式分类的方法，以及脑电图模式分类的***，用于驾驶相关的多任务分类，该分类任务中，PI以及相同数据下的驾驶状态相关。对于PI和驾驶状态，平均分类精度分别高达98.5％和98.2％。还可以在分类精度和时间成本之间做出很好的权衡。结果表明，该网络结构在生物医学信号的多任务分类中具有潜在的应用价值。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1所示为根据本申请一实施例的脑电图模式分类模型训练方法的流程图；
图2所示为根据本申请一实施例的ATT-CNN的网络结构示意图；
图3A所示为根据本申请一实施例的脑电图模式分类模型训练方法的实验场景；
图3B所示为根据本申请一实施例的脑电图模式分类模型训练方法的传感器安装在头皮特定位置的示意图；
图3C所示为根据本申请一实施例的脑电图模式分类模型训练方法中，31名受试者清醒和疲劳状态的平均反应时间；
图4A所示为根据本申请一实施例的脑电图模式分类模型训练方法的对31名受试者的PI分类准确率，其中误差条显示了应用于此类分类的10倍交叉验证方法；
图4B所示为PI分类精度的四种方法的比较；
图4C所示为其中一个受试者的采用四种方法的PI分类精度的比较，其中选择图4A中拥有最低平均准确率的受试者1；
图4D所示为四种PI分类方法的时间代价的比较；
图4E所示为四种PI分类方法的损失函数的比较；
图5A所示为根据本申请一实施例的脑电图模式分类模型训练方法的对31名受试者的疲劳状态和清醒状态分类的准确率，其中误差条显示了应用于此类分类的10倍交叉验证方法的效果；
图5B所示为疲劳状态和清醒状态分类的四种方法的精度的比较，其中每一条代表所有31名受试者10倍交叉验证结果的平均准确性；
图5C所示为疲劳状态和清醒状态分类的四种方法的时间代价的比较；
图5D所示为疲劳状态和清醒状态分类的四种方法的损失函数的比较；
图5E所示为受试者12的疲劳状态和清醒状态分类的精度，受试者12使用基于单独的ATT网络取得最低的平均疲劳状态精确度；
图5F所示为受试者31的疲劳状态和清醒状态分类的精度，受试者31使用基于单独的CNN网络取得最低的平均疲劳状态精确度；
图6所示为根据本申请一实施例的不同配置的少量电极，用于PI、清醒状态和驾驶疲劳状态的分类，其中
图6A所示为根据本申请一实施例的不同配置的少量电极，放置在枕叶和顶叶(OP)；
图6B所示为根据本申请一实施例的不同配置的少量电极，放置在正面(F)；
图6C所示为根据本申请一实施例的不同配置的少量电极，放置在中央和顶叶(CP)；
图6D所示为根据本申请一实施例的不同配置的少量电极，放置在额叶和顶叶(FP)；
图7所示为根据本申请一实施例的采用不同配置的少量电极的分类精度的结果比较，其中
图7A所示为不同通道(相当于不同位置上的传感器的信号通道)的平均PI分类精度；
图7B所示为受试者28的不同通道的平均PI分类精度；
图7C所示为不同通道的平均驾驶疲劳状态分类的精度；
图7D所示为不同受试者的不同通道的平均驾驶疲劳状态分类的精度；
图8所示为根据本申请一实施例的PI分类的平均精度与驾驶疲劳状态分类的平均精度之间的皮尔逊相关，其中
图8A-图8D所示分别为：ATT-CNN；LSTM-CNN；CNN；ATT；
图9所示为根据本申请一实施例的PI分类任务中，仅使用驾驶疲劳状态数据和使用混合状态数据的比较，其中
图9A所示为PI分类精度的比较；
图9B-9C所示为在分别使用驾驶疲劳状态数据和混合状态数据下，PI分类的平均精度与清醒/疲劳状态分类的平均精度之间的皮尔逊相关；
图9D所示为不同数据(清醒，疲劳，混合)的时间成本比较；
图10A-10B所示为根据本申请一实施例所采用的神经网络，在不同网络内核大小下PI分类精度的比较。
图11所示为根据本申请一实施例的脑电图模式分类的方法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
应了解，在本申请实施例的描述中，多个(或多项)的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
驾驶疲劳检测方法可利用生理特征(脑电图(EEG，electroencephalogram)、心电图(ECG)和肌电图(EMG)和眼电图(EOG))、驾驶员表现(面部表情)和车辆状态等不同特征，以及上述特征的组合。例如，车辆状态的检测取决于对车辆电控单元(ECU)处理的传感器信号的分析。在此阶段，方向盘运动和车道偏离检测是驾驶疲劳检测的主要方法。然而，这些方法受到道路信息的影响，这些信息仅在特定环境中有用。除了为驾驶状态间接检测车辆状态外，更直接的方法面部表情检测通常用于区分驾驶员的疲劳状态。例如，记录视觉线索，如眨眼、头部运动和打呵欠情绪，并用于建立驾驶疲劳检测的分类模型。然而，这些方法最大的局限性在于受环境光的影响较大，此外，融合更多的特征可以提高疲劳状态识别的可靠性，同时也增加数据采集和分类***的复杂性。由于个体对驾驶疲劳的控制能力很弱，生理特征往往为驾驶疲劳的检测提供更客观的信息。因此，电生理信号如EOG、EEG、ECG、EMG等能够排除道路和光照的影响，实时反映受试者的心理状态，引起了人们的广泛关注。在众多可用于估计驾驶疲劳状态的电生理指标中，脑电信号被证明是一种稳健的指标。并且这种信号中的成分(α波、δ波和θ波)通过疲劳状态得到了高度校正。
如前所述，采用私有方式的PI对于这种共享经济也很重要，因为它可以像大数据精确推送一样有利于业务推广。更重要的是，具有PI功能的共享经济可以方便公众，有助于责任制最小化公司的损失。另一方面，对活人身份的要求越来越普遍，而PI最常用的手段是带有图像或视频记录的监控***。然而，这样一个***总是为公共安全服务，由国家***独家控制。因此，企业组织很难访问相关的网络，尽管这是非常必要的。除了监控***外，利用人体特征进行PI识别的生物特征识别技术也引起了人们的广泛关注。传统的生物特征包括指纹、虹膜、面部甚至步态。然而，这样的生物特征并不适合共享汽车。例如，指纹之类的生物特征可以伪造。此外，最重要的问题在于，鉴定过程最好是一个长期的过程，可以贯穿整个过程。因此，生理信号具有长期记录和保护隐私的双重优点，引起了人们的关注。鉴于脑电信号在疲劳状态分类中的鲁棒性，本申请考虑利用脑电信号独特的生物特征来实现PI。这样的研究既能满足识别驾驶疲劳状态的要求，又能满足共享汽车的人的要求。因此，在根据本申请的一些实施方式，提供既能侦测驾驶疲劳又能侦测PI的分类方法、模型和***。
由于个体的某些生物医学信号的独特性，可以将其用于PI以及与生物医学相关的任务。在本文中，使用脑电图(EEG)信号来检测PI和驾驶过程中的疲劳状态。这种基于脑电的方法采用了一种基于注意力的卷积神经网络(CNN)，具有很高的时空分辨率。PI的精度可达98.5％，疲劳状态的精度可达97.8％。根据本申请实施例，使用了一种深度学习方法来对相同数据进行多任务分类。在未来，该方法可能会使生物医学信号发展成为保护隐私的加密方法。
CNN是一种在模式识别领域得到广泛应用的工具，如图像识别、手写体分类、自然语言处理和人脸识别。CNN中神经元之间的连接性类似于动物视觉皮层的组织结构，这使得CNN在模式识别方面具有显著的优势。CNNs是一种特殊的神经网络，用于处理具有固有网格拓扑结构的输入数据。换句话说，输入到CNN的数据的附近条目是相关的，这种输入的例子是二维图像。因此，CNN在模式相关的生物医学应用中得到了越来越多的应用。例如，动物行为分类、皮肤癌诊断、蛋白质结构预测、肌电图(EMG)信号分类和心电图分类。在根据本申请的一些实施方式中，受试者头皮上24个传感器记录的脑电信号应该具有传感器之间的内在相关性。因此，使用CNN来区分记录的EEG信号的驾驶疲劳状态。另一方面，CNN在涉及大型数据集的自动特征提取方面具有优势。
EEG是两个连续时刻相互关联的时间序列。然而，传统的CNN没有能够处理序列输入相关性的记忆机制，导致信息的丢失。因此，根据本申请的一些实施方式将注意力(下文可简称为ATT)机制与CNN相结合。在自然语言处理中，这种机制通常被用来模拟长期记忆。模型的基本逻辑认为，并非所有通道信号对相关分类都有同等的贡献，并且一个通道信号内的相关性涉及PI或疲劳状态检测。
根据下文所描述的本申请的实施例，介绍了本申请的技术方案，在应用的实例中，还包括实验和数据采集、信号预处理、PI和驾驶疲劳状态的分类、分类结果、与采用其他技术的实验的对比等。
如图1所示，为根据本申请一实施例的脑电图模式分类模型训练方法的流程图，包括但不限于以下步骤：
步骤101，获取脑电图EEG数据，对所述EEG数据进行预处理，并对所述EEG数据进行标记，得到带标记的训练数据集，其中所述训练数据集包括经预处理的带标记的EEG数据；
步骤102，将所述训练数据集中的每个EEG数据输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征；
步骤103，根据所述EEG数据的模式特征和标记，对用于脑电图模式分类模型的参数进行修正。
该模型可同时用于个人身份识别(PI)和驾驶过程中的疲劳状态检测任务。
在一些实施方式中，在步骤101中，脑电图EEG数据通过传感器获得。在另一些实施方式中，用于训练模型的样本脑电图EEG数据可通过从现有的医学数据库中直接获得。
在一示范性实例中，用于训练模型的脑电图EEG数据通过传感器获得，具体可包括：
获取来自多个脑电信号传感器的EEG信号；
对所述EEG信号进行带通滤波和快速独立成分分析，得到多路EEG信号；
按照预设的采样率和持续时间，对所述多路EEG信号进行数字化和分段，得到包含多个多路EEG信号数字化分段的EEG数据集；
对所述EEG数据集中的每个多路EEG信号数字化分段添加至少一个标签，得到带标记的EEG数据，其中所述标签包括清醒状态、疲劳状态、驾驶者身份；
得到带标记的训练数据集。
在结合使用基于注意力机制的卷积申请网络(下文简称为Att-CNN，如图2所示)，用于PI和驾驶疲劳状态的分类时。可通过下文所述的，让多位受试者作为驾驶员，通过规范化的实验性模拟场景来获得标准样本数据。概括而言，例如，每位受试者的实验持续50分钟。通过比较所有受试者的平均反应时间，可以将前10分钟定义为清醒状态，将后10分钟定义为疲劳状态。对于PI，可以将清醒状态下的EEG数据输入到结构中，可替换地，也可以将混合状态(清醒，疲劳)下的脑电数据输入网络，进行PI分类。另外，将两种状态(清醒，疲劳)下的脑电数据输入网络，进行驾驶疲劳状态和清醒状态的分类。
所收集的EEG数据可以为具有采样率为250Hz的多路复用信号(例如来自安放于受试者头皮上的24路传感器)。馈入网络的输入可以是持续1秒所采集的信号(当作一个标签样本)，则大小为24×250，没有任何重叠。
按照训练和测试的需求，可随机选取样本集中90％的脑电信号作为训练数据集，剩下的10％作为测试集进行性能评估。对于驾驶疲劳状态的检测，每个受试者的有效实验时间为20分钟(例如50分钟内的前10分钟加上后10分钟)，因此每个受试者有1200(20X60)个标签。对于PI，在一种方式中，可以只向网络馈入10分钟的信号，因此每个受试者有600个标签。PI分类和驾驶疲劳状态分类的总训练时间周期可分别为500和30个。
然后，将带标记的训练数据集馈入到如图2和表1所示的Att-CNN中，用于PI和驾驶疲劳状态的分类。如图2所示，将不同的数据输入到Att-CNN结构中，用于PI和驾驶疲劳状态分类。
表1神经网络的结构
Figure BDA0002397400350000061
其中，Conv代表卷积层，Max-pool代表最大池化层，Fully connected代表全连接层。
在一些实施方式中，本申请所采用的Att-CNN包括：至少一个卷积层；至少一个最大池化层；注意力模块；全连接层；
其中，将所述训练数据集中的每个EEG数据输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征的步骤包括：
将每个EEG数据输入到所述至少一个卷积层，提取所述EEG数据的模式特征，得到包含所述模式特征的卷积特征向量；
将所述卷积特征向量输入到至少一个最大池化层进行池化处理，得到池化特征向量；
将所述池化特征向量输入到注意力模块，以计算针对池化特征向量的标准化权重，以及反映EEG数据的模式特征的信息总和；
通过全连接层，输出EEG数据的模式特征。
在这种网络结构中，示例性地可以有三个卷积层，其中的卷积核可具有不同的大小。每个卷积层都可以看作一个模糊滤波器，增强了原始信号的特性，降低了噪声，可表示为：
Figure BDA0002397400350000071
其中
Figure BDA0002397400350000072
代表与第j卷积层的第一个卷积核相对应的特征向量，其大小为16*24*250。f(·)代表激活函数，根据本申请的实施例，可选择Swish作为激活函数，因为它比整流线性单元(ReLU)具有更好的非线性。
f(x)＝x·sigmoid(βx)， (2)
其中β是等于1的常数。Mj表示当前神经元的接受域，并且表示第一层第j个卷积核的第i个加权系数。
Figure BDA0002397400350000073
表示与第l层的第j个乘积相对应的偏移系数。
下文的稍后的部分将进一步讨论不同卷积核大小的网络结构的性能比较。在卷积层中，上层的特征向量与当前层的卷积核卷积。卷积运算的结果通过激活函数，形成该层的特征映射。每个卷积层对应于汇集层(最大池)，其保留有用信息，同时减少数据维度。
在一些实施方式中，Att-CNN利用CNN作为编码器，注意力机制Attention作为解码器的编解码帧。在本申请实施例中，可认为脑电图是一种信号，其为具有时间相关性的时间序列。本申请重点研究了脑电信号中代表人或状态特征的重要分割方法。注意力机制的结构如图2和表1所示，在本实例中，Att-CNN的完全连接层之后，脑电信号被重新排列成一个96×64矩阵(hi)，它类似于句子注意力的句子编码器，其中(hi)的每一句行对应于i句。注意力机制可以表示为，或者说注意力进行以下计算：
μi＝tanh(Wshi+bs) (3)
Figure BDA0002397400350000074
Figure BDA0002397400350000075
bs为偏置项；ui为一EEG数据hi的隐藏表示，其通过具有权重Ws·的单层感知器进行反馈；αi为标准化的权重，通过ui与us的相似性来衡量；us·是另一EEG数据hi(hi的一句行)的隐藏表示；这样，可得到v，其为所有EEG数据的信息的总和。
Softmax可以解决多分类问题，因此将这种分类器用于PI和驾驶疲劳状态分类。根据不同的测试输入x，概率值p表示分类结果。假设函数分别为PI或驾驶疲劳状态生成一个31维向量或一个2维向量。
在一些实施方式中，本申请的Att-CNN还可包括，置于所述全连接层后的Softmax分类器，用于对驾驶者身份PI进行分类；和/或对驾驶者疲劳状态和清醒状态的模式特征进行分类，其中向所述分类器输入所述EEG数据的模式特征的特征向量，经由分类器的函数hθ(x)计算，输出脑电图模式分类结果，其中Softmax分类器的函数hθ(x)表示为：
Figure BDA0002397400350000076
其中，x为函数的输入，
Figure BDA0002397400350000077
表示模型参数，例如为用于提取特征的参数，k为分类的维度，例如，k＝31或2，根据PI和清醒疲劳状态分类任务，可分别代表31个待识别身份的驾驶员，或清醒和疲劳的2种状态。
Figure BDA0002397400350000081
用于规范化概率分布，使概率值p之和为1，即各向量元素之和为1，其中以概率较高的那一个值作为分类结果；
为了加快训练速度，可使用交叉熵作为这个CNN的代价函数，可以表示为损失函数L：
Figure BDA0002397400350000082
其中y是输出向量，hθ是属于某一分类结果的概率。
上述网络结构的学习算法如表2所示。
表2 ATT-CNN网络训练算法
Figure BDA0002397400350000083
下文将描述根据本申请的Att-CNN模型训练的应用场景。根据本申请，研究的初衷是研究驾驶疲劳状态。因此，为了有效地反映受试者的驾驶疲劳状态，可设计驾驶疲劳模拟实验，以便能够有效地获取用于训练模型的有价值的数据。为了获得更真实的驾驶体验。在一种实施方式中，将环境(灯光、声音效果等)安排得尽可能真实，以便让受试者感觉到自己确实在高速公路上。此外，为了降低评估的复杂性，只考虑每个受试者的时间因素而不是其他因素，如不考虑受试者的合作态度。在下文中，将具体描述受试者、模拟驾驶环境、清醒和疲劳状态判断以及数据采集。
1)受试者
根据本申请的脑电图模式分类模型训练方法的一些实施方式，共有31位受试者，平均年龄为23岁。每个受试者具有相当的驾驶经验，并熟悉模拟驾驶环境。此外，实验前4小时和24小时内禁止每个受试者吸收咖啡和酒精。实验前一天晚上，受试者应该好好睡一觉。此外，他们应该清理头发，以避免在脑电信号采集过程中对传感器产生过大的电阻。在进行实验之前，给他们一段时间，让他们熟悉***，以尽可能避免因操作错误带来的误差。
2)模拟驾驶环境
根据本申请的一些实施方式，在虚拟现实环境中做这个实验，因为在高速公路上开车，伴随着可能分散注意力的实验是很危险的。虚拟现实模拟驾驶环境由模拟驾驶***和无线干脑电采集***(例如可采用cognonics耳机HD-72)组成。模拟驾驶***可配有三个65英寸液晶显示屏、罗技G27方向盘模拟器(一个方向盘、三个踏板和一个六速变速箱)和一台提供驾驶环境的计算机，如图3A所示。为了提供更真实的驾驶感觉，实验在黑暗的环境中进行，入射光来自三个65英寸的液晶显示屏，该显示屏提供模拟双面后视镜、仪表板和阳光明媚的高速公路的显示。
3)清醒和疲劳状态判断
实验时间为40或50分钟，可安排在例如下午3点到5点之间，主要考虑到受试者容易在此期间有疲劳感。实验过程中，驾驶员以画面中的前车尾灯点亮为指示，随机接收前车发出的制动信号。为了更客观地了解驾驶员的疲劳状态，可使用反应时间来表示受试者的驾驶疲劳状态。随着实验的进行，反应时间将减少，定义为从尾灯点亮到制动踏板踩下的开始时间。实验证据表明，驾驶过程中从清醒状态到疲劳状态的过渡持续约30分钟，并且实验的前10分钟和后10分钟之间的平均反应时间存在显著差异(图3C)。因此，可将前10分钟和后10分钟的训练用脑电数据分别定义为清醒状态和疲劳状态。
4)数据采集
脑电信号由认知耳机采集，该耳机在受试者头皮上分布24个传感器(图3B)。传感器阻抗低于20kΩ。采集的脑电信号在250Hz下采样，用带通滤波器(0.5-100Hz)进行滤波。之后，这些采集到的信号可通过蓝牙模块传输到笔记本电脑(东芝Intel(R)Core(TM)i5-6200U Duo 2.4GHz)，以进行进一步的数据分析。
实验和模型训练结果
1)PI分类
模型训练期间，收集了31名受试者的脑电信号，每个人进行持续40、50或长达90分钟的实验。只从一个完整的实验中提取前10分钟和后10分钟的数据进行进一步的分析。对于每一个受试者，随机选择总带标记的脑电数据的90％和10％作为训练集和测试集。首先，使用基于ATT-CNN的网络对每个受试者进行PI的分类，并使用10倍交叉验证方法来进行这种分类(图4A)。4名受试者(受试者17、18、21、22)的准确率达到100％。最低平均准确度可达96.3％(受试者1)。然后通过与其他三种方法的分类精度比较，对ATT-CNN网络的性能进行了评价。使用相同的预处理方法和分类器进行比较。如图4B所示，对所有31名受试者的PI平均分类精度进行了平均。ATT-CNN网络的平均准确率达到98.5％，高于其他三种方法(CNN-LSTM：95.3％，CNN：91.9％，ATT(注意力网络)：71.2％)。
由于基于ATT-CNN网络的受试者1的平均分类准确率是31个受试者中最低的，将受试者1的表现与四种方法进行了比较(图4C)。基于ATT-CNN的网络以最低的STD(0.0246)获得最高的平均分类性能(96.3％)。结果表明，基于ATT-CNN网络的PI分类比其他网络结构具有更高、更稳定的性能。除了显示ATT-CNN网络的分类精度外，还将该模型的运行时间与其他方法进行了比较(图4D)。使用所提出的神经网络，每个历元只需1.86s，而使用基于LSTM的CNN(4.4s)运行一个历元所需的时间是前者的两倍多。因此，相信用该方法可以在分类精度和运行时间之间取得很好的折衷。此外，还比较了四种方法的损失函数，基于ATT-CNN的网络在经过150次迭代后可以逐渐收敛到0。
2)驾驶疲劳状态分类
还使用基于ATT-CNN的网络对每个受试者的驾驶疲劳状态进行分类，并使用10倍交叉验证方法进行分类(图5A)。最低平均准确度可达94％(受试者12)。图5B显示了四种方法的平均疲劳状态精度的比较，所提出的方法可以达到97.8％。然后分别用基于ATT-CNN的网络和基于CNN-LSTM的网络找出疲劳状态的平均准确度最低的人(图5E和图5F)。受试者2在基于ATT-CNN的网络中获得了平均准确率(94％)，而受试者31在基于CNN-LSTM的网络中获得了更低的平均准确率。尽管受试者31的准确度在所有受试者中最低，但STD最小的受试者31的准确度要高得多，这反映了输入数据对这种网络结构的影响很小。还比较了四种方法的时间成本(图5C)。ATT-CNN网络只需0.18s即可完成一个历元的计算，其速度甚至比单纯的CNN还要快。图5D示出了四种驾驶疲劳状态分类方法的损失函数的比较。与其它三种方法相比，该方法收敛速度快，稳定性好。
少量电极的结果
在一些实施方式中，还测试了所提出的网络结构采用相对于图3的更少量的电极来进行PI和驾驶疲劳状态分类模型的训练。相信，使用少量电极和可接受的分类精度的应用可以极大地方便用户。少数电极的结构如图6所示，模拟结果如图7所示。在阴极保护区，五个电极的平均PI分类精度至少达到80.7％。PI(受试者28)的分类准确率最高可达99.2％。此外，对于所选电极的所有配置，驾驶疲劳状态的平均分类准确率可以高于91％，最高的可以达到100％(受试者27的正面)。
驾驶疲劳状态与PI的相关性
最后，将PI的平均精度与驾驶疲劳状态的平均精度进行皮尔逊(Pearson)相关，如图8所示。皮尔逊相关系数可以大于0.72，表明PI分类精度与状态之间有很高的相关性。
训练结果的讨论
根据本申请的实施例，提供了一种基于ATT-CNN的网络，用于驾驶疲劳状态分类和脑电信号的PI。具体地说，收集了参与模拟驾驶环境的受试者的24路脑电信号。经过0.5-100Hz带通滤波和Fast ICA预处理后，将数据传输到ATT-CNN网络进行双重任务。将从多任务学习、网络内核大小和其他基于EEG的应用等方面讨论。
1)多任务学习
传统的基于机器学习的多任务学习旨在充分利用相关任务中的信息，提高所有任务的整体性能。例如，语音识别是在不同的情况下提取有用的信息，而不考虑个人的发音。除了语音识别，多任务学习还有许多其他应用，如计算机视觉、生物信息学和健康信息学、网络应用等。多任务学习通常是通过在不同任务之间共享特征或模型参数来实现的。这些任务是相关的。然而，在本申请的实施例中，这两个分类任务来自同一事件(例如驾驶员在驾驶)，因此可共享输入数据并使用相同的网络结构进行双重分类任务，而针对不同的分类任务，训练出来的模型的网络结构的某些具体参数可以不同。提出的多任务学习方法具有较强的现实意义。
在一些实施方式中，根据至少含有驾驶者身份标签的带标记的训练数据集，训练第一脑电图识别模型，其中第一脑电图识别模型用于基于驾驶者的脑电图模式特征，对驾驶者身份PI进行识别和分类；和/或
根据至少含有清醒状态和疲劳状态标签的带标记的训练数据集，训练第二脑电图识别模型，其中第二脑电图识别模型用于基于驾驶者的脑电图模式特征，对驾驶者疲劳状态和清醒状态的模式特征进行识别和分类。
在图4中，展示了在清醒状态下利用脑电信号进行PI分类的结果。为了显示所提出的网络结构的分类能力，还利用疲劳状态下的脑电信号和两种状态下的信号(混合状态，即含有分别的清醒和疲劳状态标记的训练样本)进行PI分类。图9A示出疲劳状态和混合状态的EEG信号的PI分类精度的比较。31名受试者疲劳状态输入的平均准确率达到98％，比混合信号的平均准确率高10％。在两种输入数据下，还证明了状态的平均准确度和PI的平均准确度之间的Pearson相关性。Rfatigue和Rmixed分别达到0.776和0.475。这样的结果表明，PI和状态分类与所提出的网络结构有很高的相关性。还比较了三种不同投入的时间成本。清醒脑电信号的时间代价与疲劳脑电信号的时间代价几乎相同，而混合脑电信号的时间代价小于清醒脑电或疲劳脑电信号的时间代价的两倍。这是因为将所有清醒的脑电信号以及疲劳的脑电信号输入到网络结构中。
从仿真结果(图4和图5)可以看出，有注意力机制的CNN和有LSTM机制的CNN的性能要比单独CNN和单独注意力网络好得多。因此，将CNN和注意力两种模式结合起来，可以使网络达到更高的分类精度。在根据本申请的实施例中，基于注意力的CNN可能比基于LSTM的CNN更好，因为注意力机制允许解码器选择性地注意信息。但是，如果源序列太长，信息量大，编码器将需要更多的时间将信息压缩成固定长度的表示。如图4D和图5C所示，基于LSTM的CNN花费的时间是ATT-CNN(在本文中也可表示为CNN+ATT)的两倍多。此外，注意到，在图5C中，所提出的ATT-CNN比仅用CNN完成一个历元计算所需的时间更少。这是因为在完全连通层中，CNN要从64×32×3矩阵转换为2×1矩阵，而ATT-CNN只需从64×1矩阵转换为2×1矩阵。
网络内核大小
在本申请所提出的ATT-CNN网络结构的一个实施例中，使用了三个卷积层来权衡训练时间和分类精度。因此，比较了不同卷积核大小的PI的分类精度(图10)。3X5X5的核大小的平均精度最高(图10B)。对于不同的卷积层，给出了不同核大小的STD的最低平均分类精度(图10A)。受试者1以最小的STD(0.0246)达到高精度(96.3％)。
基于脑电的应用
在使用根据本申请的一些实施例的脑电图模式分类模型训练方法，训练出脑电图模式分类模型后，并可选地使用测试集验证后，就可以用作如本申请所述的PI，以及清醒和疲劳状态分类任务。
根据本申请的一实施例，提出了一种脑电图模式分类的方法，主要可用于个人身份识别(PI)和驾驶过程中的疲劳状态检测任务。
如图11所示，包括但不限于：
步骤1101，获取脑电图EEG信号，对所述EEG信号进行预处理，得到EEG数据集，其中所述EEG数据集包括经预处理的EEG信号；
步骤1102，将所述EEG数据集中的每个EEG信号输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征；
步骤1103，对所述EEG数据的模式特征进行分类，得到脑电图模式分类结果。
在一些实施方式中，获取脑电图EEG信号以及对其进行预处理的方式，与上述训练过程中所采用的方式和手段类似或相同。由于是实际的应用的分类任务，此时不再添加前述的标签(即为了训练目的而对数据进行分类标记，以便于测试和验证试验结果)。分类效果也可参考图4-图10所示。
在一些实施方式中，将所述EEG数据集中的每个EEG信号输入到第一基于注意力机制的卷积神经网络，从所述EEG数据提取得到用于识别驾驶者身份PI的模式特征；和/或将所述EEG数据集中的每个EEG信号输入到第二基于注意力机制的卷积神经网络，从所述EEG数据提取得到用于识别驾驶者疲劳状态和清醒状态的模式特征。其中，所述的第一基于注意力机制的卷积神经网络，可以是前述的第一脑电图识别模型，而所述的第二基于注意力机制的卷积神经网络，可以是前述的第二脑电图识别模型。这两种模型可具有相同的网络结构，针对不同的分类任务，模型中的某些参数不同，这两种模型可共享输入数据，即来自多个脑电信号传感器的EEG信号，以解决多任务分类。
在一些实施方式中，所述的对所述EEG数据的模式特征进行分类，得到脑电图模式分类结果，包括：
使用Softmax分类器，输入所述EEG数据的模式特征的特征向量，输出脑电图模式分类结果，其中Softmax分类器的函数hθ(x)构造为：
Figure BDA0002397400350000121
其中，x为函数的输入，
Figure BDA0002397400350000122
表示用于提取特征的参数，k为分类的维度，
Figure BDA0002397400350000123
用于规范化概率分布，使概率值p之和为1，其中以概率较高的那一个值作为分类结果。
根据本申请的再一实施例，还提出了一种脑电图模式分类的***，包括：存储器；处理器；传感器，连接至所述处理器，用于检测上述的脑电图EEG信号；以及存储在存储器上并可在处理器上运行的计算机程序；所述处理器执行所述计算机程序时，根据由所述传感器所检测的脑电图EEG信号，实现如上述的用于脑电图模式分类的方法。
在一些实施方式中，本申请的脑电图模式分类的***，或者脑电图模式分类模型，可以作为逻辑序列储存在计算机可读存储介质中，或可固化于一芯片中，安装在行车电子设备中。
由于与实验环境的不同，此时驾驶者坐在真实的驾驶室中，可提供一种定制或已商用的特殊头盔、可穿戴设备等，以使至少一个传感器放置到人脑，尤其是头皮上的特定位置上，以用于收集EEG信号，该特殊头盔、可穿戴设备可以有线或无线的方式与处理器通信，或与安装有上述芯片的行车电子设备通信。
脑电信号作为研究大脑的一种手段，随着深度学习的发展，越来越引起人们的兴趣。在驾驶过程中利用脑电信号进行PI，由于驾驶中的精神状态一般限于人的疲劳状态和驾驶状况，相对于其他事件对情绪进而对脑电信号的影响，驾驶中的精神状态对PI结果的影响较少。面对危险时，每个人无疑都会踩下刹车踏板。根据实验，发现可以使用相同的网络结构对驾驶疲劳状态和PI进行分类。
分别使用基于CNN-LSTM的网络，以及使用基于ATT-CNN的结构，基于收集到的结果数据，比较了两种网络的性能，发现本申请的ATT-CNN对于PI和驾驶疲劳状态都具有较高的分类精度和较短的训练时间(图4和图5)。两个实验都使用少量电极进行分类。尽管PI的最高平均准确度不能达到99％，但PI的最低平均准确度可以高于80％(图中Theerawit的结果OP为75％)。此外，通过采集额叶区域的脑电数据，驾驶疲劳状态的准确率可高达94％。虽然实验是基于驾驶模拟器，但相信只要能保证使用便携式脑电数据采集***的安全性和方便性，就可以在真实的驾驶条件下进行实验。
根据本申请的一些实施例，提供了一个基于ATT-CNN的网络，用于驾驶相关的多任务分类，该分类与PI以及相同数据下的驾驶状态相关。对于PI和驾驶状态，平均分类精度分别高达98.5％和98.2％。它还可以在分类精度和时间成本之间做出很好的权衡。结果表明，该网络结构在生物医学信号的多任务分类中具有潜在的应用价值。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路或可编程逻辑器件。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种脑电图模式分类模型训练方法，包括：
获取脑电图EEG数据，对所述EEG数据进行预处理，并对所述EEG数据进行标记，得到带标记的训练数据集，其中所述训练数据集包括经预处理的带标记的EEG数据；
将所述训练数据集中的每个EEG数据输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征；
根据所述EEG数据的模式特征和标记，对用于脑电图模式分类模型的参数进行修正。
2.根据权利要求1所述的脑电图模式分类模型训练方法，其特征在于，所述基于注意力机制的卷积神经网络包括：至少一个卷积层；至少一个最大池化层；注意力模块；全连接层；
其中，将所述训练数据集中的每个EEG数据输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征的步骤包括：
将每个EEG数据输入到所述至少一个卷积层，提取所述EEG数据的模式特征，得到包含所述模式特征的卷积特征向量；
将所述卷积特征向量输入到至少一个最大池化层进行池化处理，得到池化特征向量；
将所述池化特征向量输入到注意力模块，以计算针对池化特征向量的标准化权重，以及反映EEG数据的模式特征的信息总和；
通过全连接层，输出EEG数据的模式特征。
3.根据权利要求2所述的脑电图模式分类模型训练方法，其特征在于，所述注意力模块进行以下计算：
ui＝tanh(Wshi+bs)
Figure FDA0002397400340000011
Figure FDA0002397400340000012
其中，bs为偏置项；ui为一EEG数据hi的隐藏表示，其通过具有权重Ws.的单层感知器进行反馈；αi为标准化的权重，通过ui与us的相似性来衡量；us.是另一EEG数据hi的隐藏表示；v为所有EEG数据的信息的总和。
4.根据权利要求1所述的脑电图模式分类模型训练方法，其特征在于，所述获取脑电图EEG数据，对所述EEG数据进行标记，并对所述EEG数据进行预处理，得到带标记的训练数据集的步骤包括：
获取来自多个脑电信号传感器的EEG信号；
对所述EEG信号进行带通滤波和快速独立成分分析，得到多路EEG信号；
按照预设的采样率和持续时间，对所述多路EEG信号进行数字化和分段，得到包含多个多路EEG信号数字化分段的EEG数据集；
对所述EEG数据集中的每个多路EEG信号数字化分段添加至少一个标签，得到带标记的EEG数据，其中所述标签包括清醒状态、疲劳状态、驾驶者身份；
得到带标记的训练数据集。
5.根据权利要求4所述的脑电图模式分类模型训练方法，其特征在于：
根据至少含有驾驶者身份标签的带标记的训练数据集，训练第一脑电图识别模型，其中第一脑电图识别模型用于基于驾驶者的脑电图模式特征，对驾驶者身份PI进行识别和分类；和/或
根据至少含有清醒状态和疲劳状态标签的带标记的训练数据集，训练第二脑电图识别模型，其中第二脑电图识别模型用于基于驾驶者的脑电图模式特征，对驾驶者疲劳状态和清醒状态的模式特征进行识别和分类。
6.根据权利要求5所述的脑电图模式分类模型训练方法，其特征在于，
所述基于注意力机制的卷积神经网络还包括，置于所述全连接层后的Softmax分类器，用于对驾驶者身份PI进行分类；和/或对驾驶者疲劳状态和清醒状态的模式特征进行分类，其中向所述分类器输入所述EEG数据的模式特征的特征向量，经由分类器的函数hθ(x)计算，输出脑电图模式分类结果，其中Softmax分类器的函数hθ(x)表示为：
Figure FDA0002397400340000021
其中，x为函数的输入，
Figure FDA0002397400340000022
表示用于提取特征的参数，k为分类的维度，
Figure FDA0002397400340000023
用于规范化概率分布，使概率值p之和为1，其中以概率较高的那一个值作为分类结果；
还包括交叉熵损失函数L，表示为：
Figure FDA0002397400340000024
其中y是输出向量，hθ是属于某一分类结果的概率。
7.一种脑电图模式分类的方法，包括：
获取脑电图EEG信号，对所述EEG信号进行预处理，得到EEG数据集，其中所述EEG数据集包括经预处理的EEG信号；
将所述EEG数据集中的每个EEG信号输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征；
对所述EEG数据的模式特征进行分类，得到脑电图模式分类结果。
8.根据权利要求7所述的脑电图模式分类的方法，其特征在于，将所述EEG数据集中的每个EEG信号输入到基于注意力机制的卷积神经网络，提取得到所述EEG数据的模式特征包括：
将所述EEG数据集中的每个EEG信号输入到第一基于注意力机制的卷积神经网络，从所述EEG数据提取得到用于识别驾驶者身份PI的模式特征；和/或
将所述EEG数据集中的每个EEG信号输入到第二基于注意力机制的卷积神经网络，从所述EEG数据提取得到用于识别驾驶者疲劳状态和清醒状态的模式特征。
9.根据权利要求8所述的脑电图模式分类的方法，其特征在于，所述的对所述EEG数据的模式特征进行分类，得到脑电图模式分类结果，包括：
使用Softmax分类器，输入所述EEG数据的模式特征的特征向量，输出脑电图模式分类结果，其中Softmax分类器的函数hθ(x)构造为：
Figure FDA0002397400340000031
其中，x为函数的输入，
Figure FDA0002397400340000032
表示用于提取特征的参数，k为分类的维度，
Figure FDA0002397400340000033
用于规范化概率分布，使概率值p之和为1，其中以概率较高的那一个值作为分类结果。
10.一种脑电图模式分类的***，包括：
存储器；
处理器；
传感器，连接至所述处理器，用于检测如权利要求7至9中任一项所述的脑电图EEG信号；以及
存储在存储器上并可在处理器上运行的计算机程序；
其特征在于，所述处理器执行所述计算机程序时，根据由所述传感器所检测的脑电图EEG信号，实现如权利要求7至9中任一项所述的用于脑电图模式分类的方法。
CN202010136169.5A 2020-03-02 2020-03-02 一种脑电图模式分类模型的训练方法、分类方法及*** Pending CN111460892A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010136169.5A CN111460892A (zh) 2020-03-02 2020-03-02 一种脑电图模式分类模型的训练方法、分类方法及***
PCT/CN2020/081637 WO2021174618A1 (zh) 2020-03-02 2020-03-27 一种脑电图模式分类模型的训练方法、分类方法及***
US17/004,832 US20210267474A1 (en) 2020-03-02 2020-08-27 Training method, and classification method and system for eeg pattern classification model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010136169.5A CN111460892A (zh) 2020-03-02 2020-03-02 一种脑电图模式分类模型的训练方法、分类方法及***

Publications (1)

Publication Number Publication Date
CN111460892A true CN111460892A (zh) 2020-07-28

Family

ID=71685118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010136169.5A Pending CN111460892A (zh) 2020-03-02 2020-03-02 一种脑电图模式分类模型的训练方法、分类方法及***

Country Status (3)

Country Link
US (1) US20210267474A1 (zh)
CN (1) CN111460892A (zh)
WO (1) WO2021174618A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN112826509A (zh) * 2020-09-30 2021-05-25 天津大学 视觉注意力水平识别方法
CN112932504A (zh) * 2021-01-16 2021-06-11 北京工业大学 偶极子成像与识别方法
CN113598794A (zh) * 2021-08-12 2021-11-05 中南民族大学 一种***成瘾者检测模型的训练方法和***
CN114343645A (zh) * 2021-12-31 2022-04-15 北京烽火万家科技有限公司 一种脑机接口疲劳驾驶检测分类器优化方法和设备
CN114677379A (zh) * 2022-05-31 2022-06-28 恒泰利康(西安)生物技术有限公司 基于人工智能的头皮脑电图致痫区的定位方法
CN115836868A (zh) * 2022-11-25 2023-03-24 燕山大学 基于多尺度卷积核尺寸cnn的驾驶员疲劳状态识别方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110575163B (zh) * 2019-08-01 2021-01-29 深圳大学 一种检测驾驶员分心的方法及装置
US11309072B2 (en) * 2020-04-21 2022-04-19 GE Precision Healthcare LLC Systems and methods for functional imaging
US20230050628A1 (en) * 2020-11-09 2023-02-16 Yat Wan Lui Encryption method and system for xenomorphic cryptography
CN113806485B (zh) * 2021-09-23 2023-06-23 厦门快商通科技股份有限公司 一种基于小样本冷启动的意图识别方法、装置及可读介质
CN114224340B (zh) * 2021-11-01 2023-06-30 西安电子科技大学 基于深度学习和脑电信号的驾驶员专注度检测方法
CN114176607B (zh) * 2021-12-27 2024-04-19 杭州电子科技大学 一种基于视觉Transformer的脑电信号分类方法
CN116453289B (zh) * 2022-01-06 2024-02-20 中国科学院心理研究所 一种基于心电信号的公交车驾驶安全预警方法及***
CN114504333B (zh) * 2022-01-30 2023-10-27 天津大学 一种基于肌电的穿戴式前庭监测***及应用
CN114366038B (zh) * 2022-02-17 2024-01-23 重庆邮电大学 基于改进的深度学习算法模型的睡眠信号自动分期方法
CN114343661B (zh) * 2022-03-07 2022-05-27 西南交通大学 高铁司机反应时间估计方法、装置、设备及可读存储介质
CN114435373B (zh) * 2022-03-16 2023-12-22 一汽解放汽车有限公司 疲劳驾驶检测方法、装置、计算机设备和存储介质
CN114711790B (zh) * 2022-04-06 2022-11-29 复旦大学附属儿科医院 新生儿电惊厥类型确定方法、装置、设备和存储介质
CN114692703B (zh) * 2022-06-01 2022-09-02 深圳市心流科技有限公司 一种基于脑电数据和肌电数据的专注力等级确定方法
CN115105094B (zh) * 2022-07-15 2024-06-25 燕山大学 基于注意力和3d密集连接神经网络的运动想象分类方法
CN115105079B (zh) * 2022-07-26 2022-12-09 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用
CN115444431A (zh) * 2022-09-02 2022-12-09 厦门大学 一种基于互信息驱动下的脑电情绪分类模型生成方法
CN115337026B (zh) * 2022-10-19 2023-03-10 之江实验室 一种基于卷积神经网络的eeg信号特征检索方法、装置
CN115381467B (zh) * 2022-10-31 2023-03-10 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN115919315B (zh) * 2022-11-24 2023-08-29 华中农业大学 一种基于eeg通道多尺度并行卷积的跨主体疲劳检测深度学习方法
CN115985464B (zh) * 2023-03-17 2023-07-25 山东大学齐鲁医院 一种基于多模态数据融合的肌肉疲劳度分类方法及***
CN116304642B (zh) * 2023-05-18 2023-08-18 中国第一汽车股份有限公司 情绪识别预警及模型训练方法、装置、设备和存储介质
CN116746931B (zh) * 2023-06-15 2024-03-19 中南大学 一种基于脑电的增量式驾驶员不良状态检测方法
CN116701917B (zh) * 2023-07-28 2023-10-20 电子科技大学 一种基于生理信号的开放集情感识别方法
CN116807479B (zh) * 2023-08-28 2023-11-10 成都信息工程大学 一种基于多模态深度神经网络的驾驶注意力检测方法
CN117725490B (zh) * 2024-02-08 2024-04-26 山东大学 跨被试被动式音高感知eeg自动分类方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491441A (zh) * 2009-02-26 2009-07-29 江西蓝天学院 基于脑电信号的身份识别方法
CN106274477A (zh) * 2015-05-25 2017-01-04 韩伟 基于驾驶人行为能力测试的预防危险驾驶装置及方法
CN107730835A (zh) * 2017-11-14 2018-02-23 吉林大学 一种基于应激反应能力的汽车驾驶员疲劳识别方法
CN107958601A (zh) * 2017-11-22 2018-04-24 华南理工大学 一种疲劳驾驶检测***及方法
CN108182470A (zh) * 2018-01-17 2018-06-19 深圳市唯特视科技有限公司 一种基于注意模块的递归神经网络的用户识别方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析***及方法
CN110059582A (zh) * 2019-03-28 2019-07-26 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200018868A (ko) * 2018-08-13 2020-02-21 한국과학기술원 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491441A (zh) * 2009-02-26 2009-07-29 江西蓝天学院 基于脑电信号的身份识别方法
CN106274477A (zh) * 2015-05-25 2017-01-04 韩伟 基于驾驶人行为能力测试的预防危险驾驶装置及方法
CN107730835A (zh) * 2017-11-14 2018-02-23 吉林大学 一种基于应激反应能力的汽车驾驶员疲劳识别方法
CN107958601A (zh) * 2017-11-22 2018-04-24 华南理工大学 一种疲劳驾驶检测***及方法
CN108182470A (zh) * 2018-01-17 2018-06-19 深圳市唯特视科技有限公司 一种基于注意模块的递归神经网络的用户识别方法
CN109124625A (zh) * 2018-09-04 2019-01-04 大连理工大学 一种驾驶员疲劳状态水平分级方法
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析***及方法
CN110059582A (zh) * 2019-03-28 2019-07-26 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112826509A (zh) * 2020-09-30 2021-05-25 天津大学 视觉注意力水平识别方法
CN112656431A (zh) * 2020-12-15 2021-04-16 中国科学院深圳先进技术研究院 基于脑电的注意力识别方法、装置、终端设备和存储介质
CN112932504A (zh) * 2021-01-16 2021-06-11 北京工业大学 偶极子成像与识别方法
CN112932504B (zh) * 2021-01-16 2022-08-02 北京工业大学 偶极子成像与识别方法
CN113598794A (zh) * 2021-08-12 2021-11-05 中南民族大学 一种***成瘾者检测模型的训练方法和***
CN114343645A (zh) * 2021-12-31 2022-04-15 北京烽火万家科技有限公司 一种脑机接口疲劳驾驶检测分类器优化方法和设备
CN114677379A (zh) * 2022-05-31 2022-06-28 恒泰利康(西安)生物技术有限公司 基于人工智能的头皮脑电图致痫区的定位方法
CN114677379B (zh) * 2022-05-31 2022-08-16 恒泰利康(西安)生物技术有限公司 基于人工智能的头皮脑电图致痫区的定位方法
CN115836868A (zh) * 2022-11-25 2023-03-24 燕山大学 基于多尺度卷积核尺寸cnn的驾驶员疲劳状态识别方法

Also Published As

Publication number Publication date
WO2021174618A1 (zh) 2021-09-10
US20210267474A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
CN111460892A (zh) 一种脑电图模式分类模型的训练方法、分类方法及***
Gjoreski et al. Machine learning and end-to-end deep learning for monitoring driver distractions from physiological and visual signals
Xu et al. E-key: an EEG-based biometric authentication and driving fatigue detection system
Abouelenien et al. Human acute stress detection via integration of physiological signals and thermal imaging
US10318833B2 (en) System and method for person identification and personality assessment based on EEG signal
Sathasivam et al. Drowsiness detection system using eye aspect ratio technique
Zhang et al. Fatigue detection with covariance manifolds of electroencephalography in transportation industry
Sikander et al. A novel machine vision-based 3D facial action unit identification for fatigue detection
Memar et al. Stress level classification using statistical analysis of skin conductance signal while driving
Villa et al. Survey of biometric techniques for automotive applications
Kassem et al. Drivers fatigue level prediction using facial, and head behavior information
Abbas et al. A methodological review on prediction of multi-stage hypovigilance detection systems using multimodal features
Min et al. Fusion of forehead EEG with machine vision for real-time fatigue detection in an automatic processing pipeline
Esteves et al. AUTOMOTIVE: a case study on AUTOmatic multiMOdal drowsiness detecTIon for smart VEhicles
Dehzangi et al. EEG based driver inattention identification via feature profiling and dimensionality reduction
CN113033387A (zh) 一种自动识别老年人慢性疼痛程度的智能评估方法及***
Shourie et al. Stratification of eye gaze using the proposed convolution neural network model
Josephin et al. A review on the measures and techniques adapted for the detection of driver drowsiness
Trivedi Attention monitoring and hazard assessment with bio-sensing and vision: Empirical analysis utilizing CNNs on the kitti dataset
Chen et al. Deep learning approach for detection of unfavorable driving state based on multiple phase synchronization between multi-channel EEG signals
Vesselenyi et al. Fuzzy Decision Algorithm for Driver Drowsiness Detection
Vural Video based detection of driver fatigue
Wang et al. Application of Combined Brain Computer Interface and Eye Tracking
Hossain et al. A BCI system for imagined Bengali speech recognition
Chuang et al. Automatic design for independent component analysis based brain-computer interfacing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200728

RJ01 Rejection of invention patent application after publication