CN112327915A - 一种无人机的意念控制方法 - Google Patents
一种无人机的意念控制方法 Download PDFInfo
- Publication number
- CN112327915A CN112327915A CN202011247873.4A CN202011247873A CN112327915A CN 112327915 A CN112327915 A CN 112327915A CN 202011247873 A CN202011247873 A CN 202011247873A CN 112327915 A CN112327915 A CN 112327915A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- handle
- bluetooth module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 7
- 230000008054 signal transmission Effects 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 210000004556 brain Anatomy 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 7
- 210000004761 scalp Anatomy 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 230000009471 action Effects 0.000 description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种无人机的意念控制方法，包括以下步骤：建立通信和信号传输；模拟接收脑电信号；手柄上的蓝牙模块接收测试数据；修改手柄和无人机代码。本发明在多电极脑电信号采集设备获取人的脑电信号后将其转化为数字信号并通过蓝牙模块将脑电信号数据传递给手柄上的蓝牙模块，利用处理后的脑电信号数据对无人机进行控制，无人机根据指令进行飞行。由于脑电信号的传输需要用两个蓝牙模块，考虑到无人机与人相距较远，选择让手柄接收蓝牙数据，利用手柄上和无人机上的无线通信模块进行间接数据传输，从而扩大了信号传输距离。本发明无人机接收到的控制指令，均为原始手柄发送的控制信号，从而更稳定准确的实现意念控制无人机的飞行。
Description
技术领域
本发明涉及意念控制技术，特别是一种无人机的意念控制方法。
背景技术
早在几年前，国内外无人机厂商就已经注意到消费者对更智能无人机的需求，例如大疆此前推出过能手势操控的“自拍”无人机。如今，在历经了手柄操控、手机屏幕操控等方式后，体感交互、意念交互正引领着无人机操控新风尚。
目前国内外关于无人机的研究大多是采集人体的脑电信号，计算机用来进行软件开发，将提取到的脑电波信号中包含的专注度和眨眼强度分配为对应的输出命令，转化为无人机相应动作的指令。但无人机只能实现飞行而不能完成任何复杂动作功能相对单一且成本较高，使用单电极脑电信号采集设备存在人机脑电信号传递不稳导致无人机坠毁与不执行指令等情况，意念操作的准确性与稳定性不高导致指令不准确无人机出现错误动作等问题。
发明内容
为解决现有技术存在的上述问题，本发明要设计一种可完成多种复杂动作如(翻滚、定高飞行、急转弯等)且成本较低，能通过意念和头部的偏移方向两种方式进行无人机飞行方向的控制，多电极脑电信号采集设备使人机脑电信号传递稳定、动作指令更加准确无误，脑电信号突然中断无人机悬停一段时间后自动缓慢降落的无人机的意念控制方法。
为了实现上述目的，本发明的基本思路是：为解决脑电信号的传输问题，本发明在多电极脑电信号采集设备获取人的脑电信号后将其转化为数字信号并通过多电极脑电信号采集设备上的蓝牙模块将脑电信号数据传递给手柄上的蓝牙模块，利用处理后的脑电信号数据对无人机进行控制，无人机根据指令进行飞行。由于脑电信号的传输需要用两个蓝牙模块，考虑到无人机与人相距较远，选择让手柄接收蓝牙数据，利用手柄上和无人机上的无线通信模块进行间接数据传输，从而扩大了信号传输距离。
为了实现上述目的，本发明的技术方案如下：一种无人机的意念控制方法，包括以下步骤：
A、建立通信和信号传输
A1、使用者紧贴头皮佩戴多电极脑电信号采集设备，使用过程中避免头部的剧烈晃动和头部皮肤的抖动。
A2、将手柄上的蓝牙模块和多电极脑电信号采集设备上的蓝牙模块的波特率、配对密码设为一致；
A3、设置手柄上的蓝牙模块为主机，多电极脑电信号采集设备上的蓝牙模块为从机，当两个蓝牙模块通电后就自动进行匹配，建立通信连接；
A4、多电极脑电信号采集设备上的蓝牙模块向无人机手柄上的蓝牙模块发送脑电信号；
A5、无人机手柄上的蓝牙模块接收数据；
B、模拟接收脑电信号
为确保无人机手柄上的蓝牙模块持续接收多电极脑电信号采集设备采集的脑电信号，首先在电脑上模拟接收脑电信号的过程，具体步骤如下：
B1、使用蓝牙转串工具将无人机手柄上的蓝牙模块和电脑相连，等待手柄上的蓝牙模块和多电极脑电信号采集设备上的蓝牙模块连接成功；
B2、打开电脑上的串口助手软件，观察是否持续接收正常数据；如果存在此现象，则转步骤C；否则转步骤B；
C、手柄上的蓝牙模块接收测试数据
C1、修改无人机手柄的代码，使其能够完成以下操作：如果手柄上的蓝牙模块正常接收到数据，则发光二极管闪烁；
C2、电脑提取一段正常的脑电信号，然后将无人机手柄上的蓝牙模块和手机蓝牙进行配对连接；
C3、通过手机上的串口工具软件模拟多电极脑电信号采集设备，手动向无人机手柄上的蓝牙模块发送提取到的脑电信号；
C4、观察手柄上的发光二极管是否会闪烁，若持续闪烁则表示正常接收到数据；
D、修改手柄和无人机代码
D1、将提取到的脑电信号在电脑上进行仿真，模拟手柄处理原始脑电信号的过程，进行调参，具体方法如下：根据有用数据包的格式分别判断接收到的每一位数据是否符合格式，如果满足则接收到正确可用的数据，否则舍弃；
D2、根据电脑上已经成功的方法，对手柄和无人机的代码进行修改，实现在手柄上将脑电信号进行归一化处理和滤波处理，处理方法如步骤D1相同，并将其转化成控制无人机的输入信号；
D3、通过仿真调试器调试代码，最后实际观察无人机的飞行状态；
D4、通过手机上的串口工具软件模拟多电极脑电信号采集设备，手动发送截取好的部分脑电信号，观察无人机的飞行状态并对飞行中实际产生的飞行高度、抖动、马达转速和方向控制进行调整；
D5、最后使用多电极脑电信号采集设备自主发送脑电信号，使用者在大脑中想象无人机起飞以及相关飞行状态，实际观察无人机的飞行状况；所述飞行状态包括上下左右前后移动。
与现有技术相比，本发明具有以下有益效果：
1、本发明采用使用者头戴多电极脑电信号采集设备，将采集到的脑电信号发送给无人机手柄，无人机手柄上的模型对接收到的原始脑电信号进行相关处理，经过处理后的脑电信号在手柄上转换为无人机的动作指令数据，无人机接收到的控制指令，均为原始手柄发送的控制信号，从而更稳定准确的实现意念控制无人机的飞行，以及完成复杂的动作指令如(翻滚、定高飞行、急转弯等)，甚至可以通过头部的偏移方向进行无人机飞行方向的控制。
2、本发明采用非侵入式脑机接口的多电极脑电信号采集设备，使用紧贴头皮的电极采集使用者的脑电信号，能够更加全面的采集到人脑的精神状态、心理命令和面部表情。
3、本发明在无人机手柄上进行原始脑电信号进行仿真处理，由于多电极脑电信号采集设备每秒会发送513个数据包，而真正有用的只有6个，并且这些数据包与其他数据包有明显格式差别，根据有用数据包的格式分别判断接收到的每一位数据是否符合格式，如果满足则接收到正确可用的数据，否则舍弃，从而达到了脑电信号归一化处理和滤波处理的效果，最大程度去除原始脑电信号的噪音，克服了计算机处理数据再传输的不稳定性。
4、本发明的脑电信号经过处理转换为无人机的动作指令并由手柄发送，保证了信号传输与意念控制的稳定性和准确性。
5、本发明充分利用手柄原有代码，只改变获取飞控数据的方式而不改变原有飞控数据的结构；利用串口中断函数接收蓝牙数据，每秒从513个数据包中筛选出有用的数据。
6、本发明无人机体积较小，方便轻巧，便于携带。无人机的代码开源，方便进行代码的修改和二次开发；无人机的电路板上可以再焊接摄像头等模块。采用的元器件易于获得，成本较低。
附图说明
图1是串口接收到的脑电信号。
图2是脑电信号中的专注度和放松度数值。
图3是本发明的流程图。
具体实施方式
下面结合附图对本发明进行进一步地描述。根据图3中的流程完成以下相关操作。首先，按照本发明的步骤A对两个蓝牙模块进行配对(通过参数架将蓝牙模块和电脑相连，通过电脑上的串口助手软件，在蓝牙模块的配对成功的情况下对波特率、配对密码、主从机进行修改，通电后主机手柄上的蓝牙模块主动搜索从机多电极脑电信号采集设备上的蓝牙模块进行配对)。按照本发明的步骤B进行模拟接收脑电信号过程，如图1所示。然后按照本发明的步骤C测试手柄接收到的数据；手柄正常接收到数据就会有发光二极管闪烁，持续闪烁代表正常接收到数据。可以按照本发明的步骤D修改无人机和手柄的代码，接收到的脑电信号，经过处理后的专注度和放松度如图2所示，最终佩戴多电极脑电信号采集设备，电极紧贴使用者的头皮，使用过程中避免头部的晃动和面部皮肤的抖动，进行实验。
本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。
Claims (1)
1.一种无人机的意念控制方法，其特征在于：包括以下步骤：
A、建立通信和信号传输
A1、使用者紧贴头皮佩戴多电极脑电信号采集设备，使用过程中避免头部的剧烈晃动和头部皮肤的抖动；
A2、将手柄上的蓝牙模块和多电极脑电信号采集设备上的蓝牙模块的波特率、配对密码设为一致；
A3、设置手柄上的蓝牙模块为主机，多电极脑电信号采集设备上的蓝牙模块为从机，当两个蓝牙模块通电后就自动进行匹配，建立通信连接；
A4、多电极脑电信号采集设备上的蓝牙模块向无人机手柄上的蓝牙模块发送脑电信号；
A5、无人机手柄上的蓝牙模块接收数据；
B、模拟接收脑电信号
为确保无人机手柄上的蓝牙模块持续接收多电极脑电信号采集设备采集的脑电信号，首先在电脑上模拟接收脑电信号的过程，具体步骤如下：
B1、使用蓝牙转串工具将无人机手柄上的蓝牙模块和电脑相连，等待手柄上的蓝牙模块和多电极脑电信号采集设备上的蓝牙模块连接成功；
B2、打开电脑上的串口助手软件，观察是否持续接收正常数据；如果存在此现象，则转步骤C；否则转步骤B；
C、手柄上的蓝牙模块接收测试数据
C1、修改无人机手柄的代码，使其能够完成以下操作：如果手柄上的蓝牙模块正常接收到数据，则发光二极管闪烁；
C2、电脑提取一段正常的脑电信号，然后将无人机手柄上的蓝牙模块和手机蓝牙进行配对连接；
C3、通过手机上的串口工具软件模拟多电极脑电信号采集设备，手动向无人机手柄上的蓝牙模块发送提取到的脑电信号；
C4、观察手柄上的发光二极管是否会闪烁，若持续闪烁则表示正常接收到数据；
D、修改手柄和无人机代码
D1、将提取到的脑电信号在电脑上进行仿真，模拟手柄处理原始脑电信号的过程，进行调参，具体方法如下：根据有用数据包的格式分别判断接收到的每一位数据是否符合格式，如果满足则接收到正确可用的数据，否则舍弃；
D2、根据电脑上已经成功的方法，对手柄和无人机的代码进行修改，实现在手柄上将脑电信号进行归一化处理和滤波处理，处理方法如步骤D1相同，并将其转化成控制无人机的输入信号；
D3、通过仿真调试器调试代码，最后实际观察无人机的飞行状态；
D4、通过手机上的串口工具软件模拟多电极脑电信号采集设备，手动发送截取好的部分脑电信号，观察无人机的飞行状态并对飞行中实际产生的飞行高度、抖动、马达转速和方向控制进行调整；
D5、最后使用多电极脑电信号采集设备自主发送脑电信号，使用者在大脑中想象无人机起飞以及相关飞行状态，实际观察无人机的飞行状况；所述飞行状态包括上下左右前后移动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011247873.4A CN112327915A (zh) | 2020-11-10 | 2020-11-10 | 一种无人机的意念控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011247873.4A CN112327915A (zh) | 2020-11-10 | 2020-11-10 | 一种无人机的意念控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112327915A true CN112327915A (zh) | 2021-02-05 |
Family
ID=74317919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011247873.4A Pending CN112327915A (zh) | 2020-11-10 | 2020-11-10 | 一种无人机的意念控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112327915A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113900520A (zh) * | 2021-09-30 | 2022-01-07 | 山东大学 | 一种虚拟现实多感知交互装置及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1877991A (zh) * | 2006-01-09 | 2006-12-13 | 深圳创维－Rgb电子有限公司 | 一种遥控器及使用该遥控器控制电视机的方法 |
| CN105078448A (zh) * | 2014-05-16 | 2015-11-25 | 上海理工大学 | 脑电波的采集和无线传输装置 |
| CN106292705A (zh) * | 2016-09-14 | 2017-01-04 | 东南大学 | 基于蓝牙脑电耳机的多旋翼无人机意念遥操作***及操作方法 |
| US20170259167A1 (en) * | 2016-03-14 | 2017-09-14 | Nathan Sterling Cook | Brainwave virtual reality apparatus and method |
| CN108113670A (zh) * | 2018-01-22 | 2018-06-05 | 江苏师范大学 | 一种多通道式诱发脑电波控制的无人机***及控制方法 |
| CN108196566A (zh) * | 2018-03-16 | 2018-06-22 | 西安科技大学 | 一种小型无人机云脑控制***及其方法 |
| CN108762303A (zh) * | 2018-06-07 | 2018-11-06 | 重庆邮电大学 | 一种基于运动想象的便携式脑控无人机***及控制方法 |
| CN109582133A (zh) * | 2018-11-05 | 2019-04-05 | 齐鲁工业大学 | 一种意念控制四轴无人机***，方法，设备及计算机可读存储介质 |
| CN110403740A (zh) * | 2019-07-24 | 2019-11-05 | 张�杰 | 一种基于脑电波的控制*** |
| CN110716578A (zh) * | 2019-11-19 | 2020-01-21 | 华南理工大学 | 一种基于混合型脑机接口的飞行器控制***及其控制方法 |
| CN210502297U (zh) * | 2019-03-26 | 2020-05-12 | 湖南人文科技学院 | 一种智能体感遥控车 |
-
2020
- 2020-11-10 CN CN202011247873.4A patent/CN112327915A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1877991A (zh) * | 2006-01-09 | 2006-12-13 | 深圳创维－Rgb电子有限公司 | 一种遥控器及使用该遥控器控制电视机的方法 |
| CN105078448A (zh) * | 2014-05-16 | 2015-11-25 | 上海理工大学 | 脑电波的采集和无线传输装置 |
| US20170259167A1 (en) * | 2016-03-14 | 2017-09-14 | Nathan Sterling Cook | Brainwave virtual reality apparatus and method |
| CN106292705A (zh) * | 2016-09-14 | 2017-01-04 | 东南大学 | 基于蓝牙脑电耳机的多旋翼无人机意念遥操作***及操作方法 |
| CN108113670A (zh) * | 2018-01-22 | 2018-06-05 | 江苏师范大学 | 一种多通道式诱发脑电波控制的无人机***及控制方法 |
| CN108196566A (zh) * | 2018-03-16 | 2018-06-22 | 西安科技大学 | 一种小型无人机云脑控制***及其方法 |
| CN108762303A (zh) * | 2018-06-07 | 2018-11-06 | 重庆邮电大学 | 一种基于运动想象的便携式脑控无人机***及控制方法 |
| CN109582133A (zh) * | 2018-11-05 | 2019-04-05 | 齐鲁工业大学 | 一种意念控制四轴无人机***，方法，设备及计算机可读存储介质 |
| CN210502297U (zh) * | 2019-03-26 | 2020-05-12 | 湖南人文科技学院 | 一种智能体感遥控车 |
| CN110403740A (zh) * | 2019-07-24 | 2019-11-05 | 张�杰 | 一种基于脑电波的控制*** |
| CN110716578A (zh) * | 2019-11-19 | 2020-01-21 | 华南理工大学 | 一种基于混合型脑机接口的飞行器控制***及其控制方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113900520A (zh) * | 2021-09-30 | 2022-01-07 | 山东大学 | 一种虚拟现实多感知交互装置及方法 |
| CN113900520B (zh) * | 2021-09-30 | 2023-07-28 | 山东大学 | 一种虚拟现实多感知交互装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106292705B (zh) | 基于蓝牙脑电耳机的多旋翼无人机意念遥操作***及操作方法 | |
| CN105962935B (zh) | 用于运动学习功能改善的脑电神经反馈训练***及其方法 | |
| CN107553499A (zh) | 一种多轴机械臂的自然手势运动控制***和方法 | |
| CN105022488B (zh) | 基于ssvep脑电电位的无线bci输入*** | |
| CN104997581B (zh) | 基于面部表情驱动脑电信号的假手控制方法及装置 | |
| CN110058691A (zh) | 基于嵌入式的可穿戴无线干电极脑电采集处理***及方法 | |
| CN103699226A (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
| CN101201696A (zh) | 基于p300脑电电位的中文输入bci*** | |
| CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
| CN112990074A (zh) | 基于vr的多场景自主式控制的混合脑机接口在线*** | |
| CN105137830B (zh) | 一种基于视觉诱发脑机接口的国画机器手及其绘图方法 | |
| CN107168346A (zh) | 一种基于可穿戴显示器的异步式脑控无人机*** | |
| CN106371451A (zh) | 基于稳态视觉诱发电位的无人机操控方法及装置 | |
| CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复***及应用 | |
| CN107510562A (zh) | 基于脑机接口的护理床*** | |
| CN110134240A (zh) | 基于脑电与头姿混合接口的机器人轮椅控制*** | |
| CN112327915A (zh) | 一种无人机的意念控制方法 | |
| CN115454238A (zh) | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 | |
| CN114652532A (zh) | 基于ssvep与注意力检测的多功能脑控轮椅*** | |
| Ravirahul et al. | Mind wave controlled assistive robot | |
| CN112057082A (zh) | 基于脑机接口的机器人辅助脑瘫康复表情训练*** | |
| CN113359991A (zh) | 一种面向残疾人的智能脑控机械臂辅助进食***及方法 | |
| CN112370259A (zh) | 一种基于ssvep的脑控轮椅的控制*** | |
| CN107510890A (zh) | 功能性脑深部电刺激控制***及方法 | |
| CN109901711B (zh) | 由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210205 |