CN113625871A - Vr融合在线脑控飞行模拟驾驶*** - Google Patents

Vr融合在线脑控飞行模拟驾驶*** Download PDF

Info

Publication number
CN113625871A
CN113625871A CN202110862268.6A CN202110862268A CN113625871A CN 113625871 A CN113625871 A CN 113625871A CN 202110862268 A CN202110862268 A CN 202110862268A CN 113625871 A CN113625871 A CN 113625871A
Authority
CN
China
Prior art keywords
flight
module
excitation
electroencephalogram signal
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110862268.6A
Other languages
English (en)
Inventor
周正东
张灵维
章栩苓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aviation Research Institute
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110862268.6A priority Critical patent/CN113625871A/zh
Publication of CN113625871A publication Critical patent/CN113625871A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种VR融合在线脑控飞行模拟驾驶***,所述***包括:飞行指令VR激励模块、脑电信号采集与处理模块、脑电信号分类模块以及VR飞行模拟驾驶模块。所述飞行指令VR激励模块提供VR视觉激励和立体听觉激励,激励用户进行飞行指令想象;所述脑电采集与处理模块采集用户进行飞行指令想象时的脑电信号,并对其进行处理;所述脑电信号分类模块通过提取训练阶段脑电信号数据集的特征构建脑电信号分类器,利用该分类器对在线脑控阶段用户的脑电信号进行分类,将分类结果发送给VR飞行模拟驾驶模块;所述VR飞行模拟驾驶模块将接受到的分类结果转换为飞行指令进行VR飞行模拟,并将飞行姿态发送给飞行指令VR激励模块。

Description

VR融合在线脑控飞行模拟驾驶***
技术领域
本发明涉及脑控飞行模拟驾驶技术领域,特别是涉及一种VR融合在线脑控飞行模拟驾驶***。
背景技术
脑-机接口是一种不依赖于大脑周围神经和肌肉的正常输出通路的通讯***,可直接将大脑与外接的设备相连,通过采集并处理脑电信号实现对外部设备的控制,如实现对假肢、轮椅、飞行器的控制等。
飞行驾驶模拟***是飞行员训练的重要工具,也是飞机综合设计与实验的有效手段,可显著降低培训和设计成本,提高效率和安全性,扩大适用范围。虚拟现实技术凭借其固有的沉浸性、交互性和多感知性等特征,不仅能够提升飞行模拟驾驶的视觉、交互逼真感,同时有效解决了费用高,易受场地制约等问题。
现有脑控飞行技术中,如中国专利申请CN111487988A公开的基于稳态视觉诱发电位脑-机接口的脑控无人机方法通过构建SSVEP刺激界面刺激用户产生脑电信号,对其进行处理与分类,将分类结果映射到不同的无人机飞行控制指令向量,将m+1个EEG数据模块输出的控制指令向量融合后传输给无人机,实现无人机的飞行控制。又如中国专利申请CN110716578A公开的一种基于混合型脑机接口的飞行器控制***及其控制方法,其特征在于包括主控模块、无线通讯模块和飞行器模块,飞行器模块上搭载图像采集子模块,主控模块包含信号采集子模块、数据处理子模块以及图像显示子模块;图像显示子模块通过无线通讯模块获取飞行器拍摄的实时画面在PC机上进行显示。又如中国专利申请CN108762303A公开的一种基于运动想象的便携式脑控无人机***及控制方法,通过运用高精度高集成度的模拟前端和AD转换芯片来降低脑电信号采集模块的功耗、提高信噪比,并将脑电信号的采集部分与电极帽结合起来以提高使用者的舒适性和灵活性。
上述这些方法存在问题包括:1)采用平面视觉刺激方式与实际的人眼3D视觉能力不一致,导致脑电信号分类性能下降;2)脑机接口控制的对象是实物,易受场地限制、灵活性和安全性较差、成本高、无法满足脑控大型飞行器的实际应用需求。
发明内容
针对现有技术存在的不足,本发明的目的是提出一种VR融合在线脑控飞行模拟驾驶***,具有低成本高性能的特点。
为实现上述目的,本发明提供了如下方案:
一种VR融合在线脑控飞行模拟驾驶***,包括飞行指令VR激励模块、脑电信号采集与处理模块、脑电信号分类模块以及VR飞行模拟驾驶模块;所述飞行指令VR激励模块提供VR视觉激励和立体听觉激励,激励用户进行飞行指令想象;所述脑电信号采集与处理模块采集用户进行飞行指令想象时的脑电信号并对其进行处理;所述脑电信号分类模块通过提取训练阶段脑电信号的特征构建脑电信号分类器,并利用该脑电信号分类器对在线脑控阶段用户的脑电信号进行分类,并将分类结果发送给VR飞行模拟驾驶模块;所述VR飞行模拟驾驶模块接受来自脑电信号分类模块发送的分类结果,将分类结果转换为飞行指令进行VR飞行模拟,并将飞行姿态发送给飞行指令VR激励模块。
进一步的,所述的飞行指令VR激励模块包括VR视觉激励单元和立体听觉激励单元;其中,VR视觉激励单元提供VR飞行指令图形符号以及VR飞行器姿态,立体听觉激励单元提供立体飞行指令发音
进一步的,所述脑电采集与处理模块包括非侵入式和侵入式脑电信号采集与处理模块。
进一步的,所述的脑电采集与处理模块采集用户进行飞行指令想象的脑电信号,并对脑电信号进行处理以消除干扰和噪声。
进一步的,所述训练阶段包括空闲阶段、视听激励下的想象阶段,且不同飞行指令的视听激励交替进行。
进一步的,所述脑电信号分类器的构建包括以下步骤:
S1:所述VR激励模块在用户屏幕上以不同的图形符号及VR飞行器姿态交替显示各类飞行指令,同时进行飞行指令发音激励;
S2:所述脑电采集与处理模块与飞行指令VR激励模块连通,采集用户训练阶段不同飞行指令条件下的脑电信号,并进行处理和存储,构成脑电信号训练数据集;
S3:提取脑电信号训练数据集的特征形成特征向量,作为训练样本;
S4:构建面向飞行指令脑电信号分类的多分类器模型;
S5:利用训练样本训练多分类器模型,获得脑电信号多分类器。
进一步的,所述VR飞行模拟驾驶模块包括运动跟踪单元、立体显示器,VR飞行模拟驾驶模块将接受到的脑电信号分类结果转换为飞行指令,依据飞行指令在立体显示器上进行虚拟现实飞行模拟,飞行场景跟随用户头部运动而变换。
进一步的,用户利用偏振式3D眼镜观察VR视觉激励场景和VR飞行模拟驾驶场景。
和现有技术相比,本发明具有下述优点:
本发明将虚拟现实(VR)、立体听觉与飞行模拟驾驶及脑-机接口技术相融合,VR场景通过运动跟踪***、立体显示器、偏振式3D眼镜等技术呈现给用户,避免了头盔式虚拟现实笨重、易头晕等问题,特别适用于脑控飞行模拟驾驶应用场景,能为用户提供更具激励性的视听激励,产生更高质量的脑电信号,构建更加鲁棒的脑电信号分类器,使用户能够通过脑-机接口实现对VR飞行模拟驾驶***的在线准确操控,具有更加逼真的VR飞行模拟驾驶场景、更高的安全性和效率、不受场地限制、适用范围广、鲁棒性强、成本低、性价比高等特点,适用于操控各类模拟飞行器,为在线脑控飞行模拟驾驶提供有效的虚拟训练和测试环境,并为虚拟现实提供了全新的交互模式。
附图说明
图1为本发明***结构示意图。
图2为基于成对分类方法的多分类支持向量机(SVM)原理图。
图3为分类结果转换为飞行指令的示例图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如附图1所示,本发明公开一种VR融合在线脑控飞行模拟驾驶***,该***包括飞行指令VR激励模块、脑电信号采集与处理模块、脑电信号分类模块以及VR飞行模拟驾驶模块,其中,飞行指令VR激励模块提供VR视觉激励和立体听觉激励,激励用户进行飞行指令想象;脑电信号采集与处理模块采集用户进行飞行指令想象时的脑电信号并对其进行处理;脑电信号分类模块通过提取训练阶段脑电信号的特征构建脑电信号分类器,并利用该分类器对在线脑控阶段用户的脑电信号进行分类,将分类结果发送给VR飞行模拟驾驶模块;VR飞行模拟驾驶模块接受来自脑电信号分类模块发送的分类结果,将其转换为飞行指令进行VR飞行模拟,并将飞行姿态发送给飞行指令VR激励模块。
具体地,在本实施例中,飞行指令VR激励模块包括VR视觉激励单元和立体听觉激励单元,其中,VR视觉激励单元提供VR飞行指令图形符号以及VR飞行器姿态,立体听觉激励单元提供立体飞行指令发音,用户佩戴偏振式3D眼镜观察飞行指令VR视觉激励场景。
脑电采集与处理模块采用非侵入式脑电信号采集与处理模块,用于采集用户进行飞行指令想象时的脑电信号并对其进行处理以消除干扰和噪声。其中,脑电信号处理包括对脑电信号数据进行基线校正、去眼电处理、去伪迹处理和带通滤波处理。
脑电信号分类模块通过提取训练阶段脑电信号的特征构建脑电信号分类器,脑电信号分类器的构建包括以下步骤:
S1:VR视觉激励单元在用户屏幕上以不同的图形符号交替显示俯、仰、左滚转、右滚转、左偏航、右偏航六个飞行指令及相应的VR飞行器姿态,同时立体听觉激励单元进行相应飞行指令发音激励。
S2:脑电采集与处理模块采集用户训练阶段不同飞行指令条件下的脑电信号,并进行处理和存储,构成脑电信号训练数据集。
S3:提取脑电信号训练数据集的共空间模式特征形成特征向量,作为训练样本。
S4:采用成对分类方法(one-against-one,pairwise classification)构建六分类支持向量机模型,成对分类方法是在每两个类之间都构造一个二分类支持向量机,从而需要训练6(6-1)/2=15个二分类支持向量机(SVM1,SVM2,……,SVM15),最终的分类结果由投票产生,如附图2所示,其中类A、类B、类C、类D、类E、类F分别对应俯、仰、左滚转、右滚转、左偏航、右偏航六个飞行指令,如附图3所示。
S5:利用训练样本训练六分类支持向量机器模型。
VR融合在线脑控飞行模拟驾驶包括以下步骤:
S1:VR视觉激励单元在用户屏幕上以不同的图形符号交替显示俯仰、滚转、偏航飞行指令及VR飞行器,同时立体听觉激励单元进行相应飞行指令发音激励;
S2:非侵入式脑电信号采集与处理模块采集用户进行飞行指令想象时的脑电信号并对其进行处理;
S3:脑电信号分类模块利用上述多分类支持向量机对在线脑控阶段用户的脑电信号进行分类,分类结果是A、B、C、D、E、F类中的某一类,并将分类结果发送给VR飞行模拟驾驶模块;
S4:VR飞行模拟驾驶模块通过TCP/IP协议接受来自脑电信号分类模块发送的分类结果,根据附图3将分类结果转换为飞行指令进行VR飞行模拟,并将实时的飞行姿态参数通过TCP/IP协议发送给飞行指令VR激励模块;
S5:飞行指令VR激励模块根据接收到的飞行姿态参数,改变飞行指令VR激励模块中VR飞行器的姿态。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

Claims (9)

1.一种VR融合在线脑控飞行模拟驾驶***,其特征在于:包括飞行指令VR激励模块、脑电信号采集与处理模块、脑电信号分类模块以及VR飞行模拟驾驶模块;所述飞行指令VR激励模块提供VR视觉激励和立体听觉激励,激励用户进行飞行指令想象;所述脑电信号采集与处理模块采集用户进行飞行指令想象时的脑电信号并对其进行处理;所述脑电信号分类模块通过提取训练阶段脑电信号的特征构建脑电信号分类器,并利用该脑电信号分类器对在线脑控阶段用户的脑电信号进行分类,并将分类结果发送给VR飞行模拟驾驶模块;所述VR飞行模拟驾驶模块接受来自脑电信号分类模块发送的分类结果,将分类结果转换为飞行指令进行VR飞行模拟,并将飞行姿态发送给飞行指令VR激励模块。
2.根据权利要求1所述的VR融合在线脑控飞行模拟驾驶***,其特征在于:所述的飞行指令VR激励模块包括VR视觉激励单元和立体听觉激励单元;其中,VR视觉激励单元提供VR飞行指令图形符号以及VR飞行器姿态,立体听觉激励单元提供立体飞行指令发音。
3.根据权利要求1所述的VR融合在线脑控飞行模拟驾驶***,其特征在于:所述脑电采集与处理模块包括非侵入式和侵入式脑电信号采集与处理模块。
4.根据权利要求3所述的VR融合在线脑控飞行模拟驾驶***,其特征在于:所述的脑电采集与处理模块采集用户进行飞行指令想象的脑电信号,并对脑电信号进行处理以消除干扰和噪声。
5.根据权利要求1所述的VR融合在线脑控飞行模拟驾驶***,其特征在于:所述训练阶段包括空闲阶段、视听激励下的想象阶段,且不同飞行指令的视听激励交替进行。
6.根据权利要求1至5中任一项所述的VR融合在线脑控飞行模拟驾驶***,其特征在于:所述脑电信号分类器的构建包括以下步骤:
S1:所述VR激励模块在用户屏幕上以不同的图形符号及VR飞行器姿态交替显示各类飞行指令,同时进行飞行指令发音激励;
S2:所述脑电采集与处理模块与飞行指令VR激励模块连通,采集用户训练阶段不同飞行指令条件下的脑电信号,并进行处理和存储,构成脑电信号训练数据集;
S3:提取脑电信号训练数据集的特征形成特征向量,作为训练样本;
S4:构建面向飞行指令脑电信号分类的多分类器模型;
S5:利用训练样本训练多分类器模型,获得脑电信号多分类器。
7.根据权利要求1所述的VR融合在线脑控飞行模拟驾驶***,其特征在于:所述VR飞行模拟驾驶模块包括运动跟踪单元、立体显示器,VR飞行模拟驾驶模块将接受到的脑电信号分类结果转换为飞行指令,依据飞行指令在立体显示器上进行虚拟现实飞行模拟,飞行场景跟随用户头部运动而变换。
8.根据权利要求1所述的VR融合在线脑控飞行模拟驾驶***,其特征在于:用户利用偏振式3D眼镜观察VR视觉激励场景和VR飞行模拟驾驶场景。
9.一种计算机设备,其特征在于:该计算机设备被编程或配置以执行权利要求1~8中任意一项所述VR融合在线脑控飞行模拟驾驶***,或者该计算机设备的存储器上存储有被编程或配置以执行权利要求1~8中任意一项所述VR融合在线脑控飞行模拟驾驶***的计算机程序和数据。
CN202110862268.6A 2021-07-29 2021-07-29 Vr融合在线脑控飞行模拟驾驶*** Pending CN113625871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862268.6A CN113625871A (zh) 2021-07-29 2021-07-29 Vr融合在线脑控飞行模拟驾驶***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862268.6A CN113625871A (zh) 2021-07-29 2021-07-29 Vr融合在线脑控飞行模拟驾驶***

Publications (1)

Publication Number Publication Date
CN113625871A true CN113625871A (zh) 2021-11-09

Family

ID=78381480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862268.6A Pending CN113625871A (zh) 2021-07-29 2021-07-29 Vr融合在线脑控飞行模拟驾驶***

Country Status (1)

Country Link
CN (1) CN113625871A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN108762303A (zh) * 2018-06-07 2018-11-06 重庆邮电大学 一种基于运动想象的便携式脑控无人机***及控制方法
US20200057498A1 (en) * 2016-10-27 2020-02-20 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a hybrid brain interface for robotic swarms using eeg signals and an input device
CN112990074A (zh) * 2021-03-31 2021-06-18 北京理工大学 基于vr的多场景自主式控制的混合脑机接口在线***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
US20200057498A1 (en) * 2016-10-27 2020-02-20 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a hybrid brain interface for robotic swarms using eeg signals and an input device
CN108762303A (zh) * 2018-06-07 2018-11-06 重庆邮电大学 一种基于运动想象的便携式脑控无人机***及控制方法
CN112990074A (zh) * 2021-03-31 2021-06-18 北京理工大学 基于vr的多场景自主式控制的混合脑机接口在线***

Similar Documents

Publication Publication Date Title
CN106292705B (zh) 基于蓝牙脑电耳机的多旋翼无人机意念遥操作***及操作方法
Wang et al. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device
CN107909061B (zh) 一种基于不完备特征的头部姿态跟踪装置及方法
CN108769531B (zh) 控制拍摄装置的拍摄角度的方法、控制装置及遥控器
CN112990074B (zh) 基于vr的多场景自主式控制的混合脑机接口在线***
CN204741528U (zh) 立体沉浸式体感智能控制器
CN106710362A (zh) 使用虚拟现实设备进行的飞行训练方法
CN108762303A (zh) 一种基于运动想象的便携式脑控无人机***及控制方法
CN106162145B (zh) 基于无人机的立体图像生成方法、装置
KR20180006573A (ko) 특정 장소내에 하이브리드형 bci 안경모듈·다방향디스플레이모듈을 통한 vr실감체험형성장치 및 방법
CN110716578A (zh) 一种基于混合型脑机接口的飞行器控制***及其控制方法
CN106371451A (zh) 基于稳态视觉诱发电位的无人机操控方法及装置
CN113253750B (zh) 一种面向扑翼飞行器的多模态控制***
Deng et al. A VR-based BCI interactive system for UAV swarm control
CN113625871A (zh) Vr融合在线脑控飞行模拟驾驶***
CN111950157B (zh) 一种仿真输出方法、装置及电子设备
US10255676B2 (en) Methods and systems for simulating the effects of vision defects
CN202740784U (zh) 航模仿真驾驶***
Zhao et al. Design of the Reconnaissance UAV based on TGAM
Huo et al. A BCI-based motion control system for heterogeneous robot swarm
Wu et al. Intelligent command and control of uav based on brain computer and eye tracking combined technology
CN206249101U (zh) 基于稳态视觉诱发电位的无人机操控装置
CN205212969U (zh) 一种无人飞行器驾驶体验***
CN113138668A (zh) 自动驾驶轮椅目的地选择方法、装置及***
CN113467502A (zh) 一种无人机驾驶考试***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220105

Address after: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu

Applicant after: Nanjing University of Aeronautics and Astronautics

Applicant after: China Aviation Research Institute

Address before: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu

Applicant before: Nanjing University of Aeronautics and Astronautics