CN111694425A - 一种基于ar-ssvep的目标识别方法及*** - Google Patents

一种基于ar-ssvep的目标识别方法及*** Download PDF

Info

Publication number
CN111694425A
CN111694425A CN202010341613.7A CN202010341613A CN111694425A CN 111694425 A CN111694425 A CN 111694425A CN 202010341613 A CN202010341613 A CN 202010341613A CN 111694425 A CN111694425 A CN 111694425A
Authority
CN
China
Prior art keywords
target
stimulation
glasses
electroencephalogram
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010341613.7A
Other languages
English (en)
Inventor
马留洋
王宁
胡怡芳
胡争争
蔡玉宝
徐聪
刘当
冯少康
于洋
李德峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 27 Research Institute
Original Assignee
CETC 27 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 27 Research Institute filed Critical CETC 27 Research Institute
Priority to CN202010341613.7A priority Critical patent/CN111694425A/zh
Publication of CN111694425A publication Critical patent/CN111694425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种目标识别方法，将目标识别技术和增强现实技术和脑‑机接口***相结合，将远端视频信息传输给VR眼镜，利用目标识别技术框选复杂背景下的关注目标，为受试者提供选择，VR眼镜为受试者呈现SSVEP刺激范式的刺激界面，实现了特定目标的脑电选择。本发明公开了一种目标识别***，包括远程摄像头、无线传输模块、信号接收模块、AR眼镜、目标识别模块、通讯接口模块、脑电采集设备和上位机。本发明够提升目标识别过程中同类关注目标或细微差别目标中的特定目标的识别效率和精确率，显著提升运动目标检测决策精度。

Description

一种基于AR-SSVEP的目标识别方法及***
技术领域
本发明涉及目标识别技术领域，尤其涉及一种基于AR-SSVEP的目标识别方法及***。
背景技术
脑－机接口(brain-computer interface，BCI)是在人脑和计算机或其他电子设备之间建立不依赖于常规大脑信息输出通路的全新对外信息交流和控制技术。其中SSVEP-BCI向用户呈现多个具有不同频率、相位的周期性视觉刺激，当用户将注意力集中在某个频率视觉刺激上时，其主视觉皮层中会诱发出具有特定特征的EEG信号，即SSVEP信号。为了得到SSVEP刺激下人的脑电信号，用来研究该脑电信号与刺激的信号之间的关系，现有技术中基于SSVEP的***在进行研究时，通常包括专门用于放映SSVEP刺激范式的电脑显示屏，受试者通过注视显示屏即可产生SSVEP所描述的脑电现象，然后再通过脑电采集设备采集受试者的脑电信号，进而通过对脑电信号的分析得到识别结果(识别提取出来的脑电信号)，以被进一步用来研究刺激对人脑的影响。
但现有技术中基于SSVEP的脑-机接口***一方面因为包括电脑等设备，体积大，另一方面，受试者是注视电脑显示屏上的刺激界面，受试者在接收刺激时不能进行其他行为操作，因此，现有SSVEP刺激范式仅能满足实验室条件下使用，不便于应用于室外环境，在实际的生活和生产中的实用性极为有限。目标识别是指一个特殊目标(或一种特定类型的目标)从其它目标(或其它类型的目标)中被区分出来的过程。它既包括两个非常相似目标的识别，也包括一种类型的目标同其他类型目标的识别。
目前，目标识别***通过训练后，通常仅仅能够从图像或视频流中识别出一类关注目标，而这一类关注目标中往往存在较为细微的个体差异，如不同型号的蓝色车辆、双胞胎等；现有的目标识别方法识别出的同类或细微差别的关注目标中特定目标的准确率较低。
发明内容
本发明的目的是提供一种基于AR-SSVEP的目标识别方法及***，能够提升目标识别过程中同类关注目标或细微差别目标中的特定目标的识别效率和准确率，也为SSVEP刺激范式适用于室外环境提供可能，提升SSVEP刺激范式在实际生活生产中的实用性。
本发明采用的技术方案为：
一种基于AR-SSVEP的目标识别方法，包括以下步骤：
步骤一：受试者佩戴AR眼镜和脑电设备；
步骤二：摄像头采集目标场景的视频流信息，并将所采集的视频流信息分别传输至AR眼镜和目标识别模块；
步骤三：目标识别模块实时识别出视频流中的关注目标，并解算出关注目标的目标信息，将目标信息传输至AR眼镜；所述的目标信息包括关注目标的数目n、每个关注目标的目标位置、每个关注目标的编号；所述的目标位置包括用于框选关注目标的目标框的高度、目标框的宽度和目标框的中心点位置坐标；
设定n个关注目标的标号分别为关注目标1、关注目标2…关注目标i…关注目标n；关注目标1、关注目标2…关注目标i…关注目标n对应的编号分别为编号1、编号2…编号i…编号n；1≤i≤n；
步骤四：AR眼镜接收到目标信息后，根据n个关注目标绘制目标框，框选出n个关注目标，并生成与n个关注目标一一对应的n个刺激块；
设定n个刺激块分别为刺激块1、刺激块2…刺激块i…刺激块n；刺激块i与关注目标i相对应；所述的刺激块分别以特定频率闪烁，任意一个刺激块的闪烁频率与其它n-1个刺激块的闪烁频率均不相同；
步骤五：AR眼镜实时在刺激块i与关注目标i处同时绘制编号i；
步骤六：AR眼镜向受试者实时显示刺激界面，受试者脑电选择特定目标；所述的刺激界面包括框选出的n个关注目标和n个刺激块；受试者根据刺激界面中的n个关注目标的状态，从n个关注目标中选择特定目标，并注视与所选择的特定目标所对应的刺激块，输出SSVEP脑电信号；脑电采集设备采集受试者输出的SSVEP脑电信号，解析出受试者注视的刺激块，完成特定目标的脑电选择；
步骤七：根据脑电选择的结果和关注目标的目标信息，输出特定目标的目标位置信息。
所述的步骤三中，目标识别模块采用YOLO算法识别视频流信息中的关注目标并解算出关注目标的目标信息。
所述刺激块的分布包括两种模式，模式一为刺激块在目标框内或目标框四周，跟随目标框；模式二为刺激块排布在屏幕框四周，从两种模式中选择一种模式生成刺激块。
一种基于AR-SSVEP的目标识别***，包括远程摄像头、无线传输模块、信号接收模块、AR眼镜、目标识别模块、通讯接口模块、脑电采集设备和上位机；
所述的远程摄像头用于获取远程场景视频流信息；
所述的无线传输模块用于将获取的远程场景视频流信息传输至信号接收模块；
所述的信号接收模块将接收的远程场景视频流信息分别传输给AR眼镜和目标识别模块；
所述的AR眼镜用于接收并投射前方摄像头传回的视频流，并叠加显示刺激块，向受试者显示刺激界面；
所述目标识别模块用于实时识别出视频流中的关注目标，并解算出关注目标的目标信息；
所述的通讯接口模块用于连接AR眼镜和脑电采集设备；
所述的脑电采集设置用于采集受试者输出的SSVEP脑电信号，解析出受试者注视的刺激块，完成特定目标的脑电选择；
所述的上位机用于根据脑电选择的结果和关注目标的目标信息，获取特定目标的目标位置信息；
所述的远程摄像头通过无线传输模块连接信号接收模块，所述的信号接收模块的第一输出端连接AR眼镜的第一输入端，信号接收模块的第二输出端连接目标识别模块的输入端，AR眼镜的输出端通过通讯接口模块连接脑电采集设备，目标识别模块的第一输出端连接AR眼镜的第二输入端；所述的目标识别模块的第一输出端和脑电采集设备的输出端均连接上位机。
所述的AR眼镜采用微软HoloLens AR设备。
所述的无线传输模块为RTC6705 5.8G无线视频传输芯片。
本发明所述的目标识别方法，将目标识别技术和增强现实技术和脑-机接口***相结合，将远端视频信息传输给VR眼镜，利用目标识别技术框选复杂背景下的关注目标，为受试者呈现SSVEP刺激范式的刺激界面，实现特定目标的脑电选择选择，从而降低受试者的目标辨识难度，减少选择时间，对目标识别技术而言，加入了脑电选择这一步骤，从而更为准确的识别出同类关注目标或细微差别目标中的特定目标识，提升了目标识别过程中特定目标的识别效率和精确率，显著提升运动目标检测决策精度；对脑－机接口***方面而言，采用VR眼镜来为受试者呈现SSVEP刺激范式的刺激界面，距离近且受自然光的干扰小，提升了SSVEP诱发脑电的准确性，这也进一步的提升了目标识别的准确度，同时也为SSVEP刺激范式、脑-机接口***开拓了应用于室外的可能性，提升了SSVEP刺激范式在实际生活生产中的实用性；而通过外置的目标识别模块进行目标识别运算，则解决了在解决了目标识别技术和增强现实技术的结合中，在AR眼镜上运行不了YOLO目标识别算法这一问题，达到了识别显示的效果；
发明所述的目标识别***，设置AR眼镜和脑电采集设备，将目标识别技术、增强现实技术和脑-机接口***相结合，为SSVEP刺激范式、脑-机接口***开拓了应用于室外的可能性，提升了SSVEP刺激范式在实际生活生产中的实用性，提升目标识别过程中同类关注目标中的特定目标的识别效率和精确率，显著提升运动目标检测决策精度。
附图说明
图1为本发明的方法流程图；
图2为本发明的实施例的刺激界面图示意图；
图3为本发明的脑电信号通道示意图；
图4为本发明的目标识别***原理框图；
1、刺激块；2、目标框；3、关注目标；4、屏幕框；5、编号。
具体实施方式
如图1所示，本发明包括以下步骤：
步骤一：受试者佩戴AR眼镜和脑电设备；
步骤二：摄像头采集目标场景的视频流信息，并将所采集的视频流信息分别传输至AR眼镜和目标识别模块；
步骤三：目标识别模块实时识别出视频流中的关注目标，并解算出关注目标的目标信息，将目标信息传输至AR眼镜；本实施例中，目标识别模块采用YOLO算法识别视频流信息中的关注目标并解算出关注目标的目标信息。
所述的目标信息包括关注目标的数目n、每个关注目标的目标位置、每个关注目标的编号；所述的目标位置包括用于框选关注目标的目标框的高度、目标框的宽度和目标框的中心点位置坐标；
设定n个关注目标的标号分别为关注目标1、关注目标2…关注目标i…关注目标n；关注目标1、关注目标2…关注目标i…关注目标n对应的编号分别为编号1、编号2…编号i…编号n；1≤i≤n；
所述的目标位置是YOLO算法解算出的，包括目标框的高度、目标框的宽度和目标框的中心点位置坐标；所述的关注目标的数目由中心点位置坐标的数量统计得出；所述的编号为分类结果默认的编号，编号原则按照目标中心点坐标位置从上到下，从左到右依次从1到n编号，编号无特殊含义只对识别出的关注目标进行标注。
如图2所示，本实施例中，摄像头获取道路视频信息，关注目标为车辆，目标识别模块识别出4个关注目标。
图2中，图片上的关注目标和刺激块上的1、2、3、4为本发明所述的编号。横线上的1、2、3、4、5为附图标记。
步骤四：AR眼镜接收到目标信息后，根据n个关注目标，在每个关注目标四周绘制匹配的目标框，框选出n个关注目标，并生成与n个关注目标一一对应的n个刺激块；
设定n个刺激块分别为刺激块1、刺激块2…刺激块i…刺激块n；刺激块i与关注目标i相对应；所述的刺激块分别以特定频率闪烁，任意一个刺激块的闪烁频率与其它n-1个刺激块的闪烁频率均不相同。
所述刺激块的分布包括两种模式，模式一为刺激块在目标框内或目标框四周，跟随目标框；模式二为刺激块排布在屏幕框四周，从两种模式中选择一种模式生成刺激块。
所述的目标识别模块和AR眼镜之间通过网络实现数据共享，数据共享是指目标识别模块可以实时将识别后的目标信息传输给AR眼镜，AR眼镜根据接收的目标信息通过画图程序实时绘制相应的目标框和编号，从而降低对AR眼镜的运算能力的要求。
AR眼镜根据识别到的目标数量n生成n个刺激块：本实施例中，选择模式二，所述的刺激块按照固定的顺序排布在屏幕框四周；所述的刺激块按照特定的频率闪烁；所述的特定频率由公式
Figure BDA0002468658240000051
计算得到，其中，fc表示刺激频率(即刺激块的闪烁频率)，fs表示设备的刷新频率，N表示正整数。
例如，当AR眼镜显示器的刷新频率为60Hz，当N取4,5,6,7,8,9,10时得到的刺激频率符合要求，分别为15Hz,12Hz,10Hz,8.57Hz,7.5Hz,6.67Hz,6Hz。
优选的，所述刺激块的刺激范式为红白颜色块闪烁模式。
本实施例中，在屏幕框四周设置四个刺激块，频率分别为7.5Hz、8.5Hz、10Hz、12Hz，当然也可以有其他形式和频率。
步骤五：AR眼镜实时在刺激块i与关注目标i处同时绘制编号i；
步骤六：AR眼镜向受试者实时显示刺激界面，受试者脑电选择特定目标；所述的刺激界面包括框选出的n个关注目标和n个刺激块；受试者根据刺激界面中的n个关注目标的状态，从n个关注目标中选择特定目标，并注视与所选择的特定目标所对应的刺激块，输出SSVEP脑电信号；脑电采集设备采集受试者输出的SSVEP脑电信号，解析出受试者注视的刺激块，完成特定目标的脑电选择；实施例中，如图3所示，采集脑电信号通道为T5、T6、P3、P4、O1、O2。
步骤七：根据脑电选择的结果和关注目标的目标信息，输出特定目标的目标位置信息。
本发明所述的目标识别方法，将目标识别技术和增强现实技术和脑-机接口***相结合，将远端视频信息传输给VR眼镜，利用目标识别技术框选复杂背景下的关注目标，为受试者呈现SSVEP刺激范式的刺激界面，实现特定目标的脑电选择选择，从而降低受试者的目标辨识难度，减少选择时间，对目标识别技术而言，加入了脑电选择这一步骤，从而更为准确的识别出同类关注目标或细微差别目标中的特定目标识，提升了目标识别过程中特定目标的识别效率和精确率，显著提升运动目标检测决策精度。
本发明所述的方法对SSVEP-BCI技术而言，也具有突出的有益效果。由于采用VR眼镜来为受试者呈现SSVEP刺激范式的刺激界面，距离近且受自然光的干扰小，这就提升了SSVEP诱发脑电的准确性，同时也为SSVEP刺激范式、脑-机接口***开拓了应用于室外的可能性，提升了SSVEP刺激范式在实际生活生产中的实用性。
AR眼镜本身运算能力有限，而本发明则通过外置的目标识别模块进行目标识别运算，则解决了在解决了目标识别技术和增强现实技术的结合中，在AR眼镜上运行不了YOLO目标识别算法这一问题，达到了识别显示的效果。
本发明所述的目标识别方法，能够适用于无人车驾驶的决策选择，重点解决无人车远程移动目标识别，移动目标跟踪定位难的问题。
在肇事车辆寻找中，传统的目标识别，仅仅能够识别出同类车辆，无法准确识别出改车辆是否为肇事车辆，驾驶员是否为肇事驾驶员，而通过本发明所述的方法，受试者可快速在视频流中，实现肇事车与驾驶员的同时、快速、高效、准确的选择。
本发明所述的基于AR-SSVEP的目标识别***，包括远程摄像头、无线传输模块、信号接收模块、AR眼镜、目标识别模块、通讯接口模块、脑电采集设备和上位机；
所述的远程摄像头用于获取远程场景视频流信息；
所述的无线传输模块用于将获取的远程场景视频流信息传输至信号接收模块；
所述的信号接收模块将接收的远程场景视频流信息分别传输给AR眼镜和目标识别模块；
所述的AR眼镜用于接收并投射前方摄像头传回的视频流，并叠加显示刺激块，向受试者显示刺激界面；
所述目标识别模块用于实时识别出视频流中的关注目标，并解算出关注目标的目标信息；
所述的通讯接口模块用于连接AR眼镜和脑电采集设备；
所述的脑电采集设置用于采集受试者输出的SSVEP脑电信号，解析出受试者注视的刺激块，完成特定目标的脑电选择；
所述的上位机用于根据脑电选择的结果和关注目标的目标信息，获取特定目标的目标位置信息；
所述的远程摄像头通过无线传输模块连接信号接收模块，所述的信号接收模块的第一输出端连接AR眼镜的第一输入端，信号接收模块的第二输出端连接目标识别模块的输入端，AR眼镜的输出端通过通讯接口模块连接脑电采集设备，目标识别模块的第一输出端连接AR眼镜的第二输入端；所述的目标识别模块的第一输出端和脑电采集设备的输出端均连接上位机。
所述的AR眼镜采用微软HoloLens AR设备。
所述的无线传输模块为RTC6705 5.8G无线视频传输芯片。
发明所述的目标识别***，设置AR眼镜和脑电采集设备，将目标识别技术和增强现实技术和脑-机接口***相结合，将远端视频信息传输给VR眼镜，利用目标识别技术框选复杂背景下的关注目标，为受试者呈现SSVEP刺激范式的刺激界面，实现特定目标的脑电选择选择，从而降低受试者的目标辨识难度，减少选择时间，对目标识别技术而言，加入了脑电选择这一步骤，从而更为准确的识别出同类关注目标或细微差别目标中的特定目标识，提升了目标识别过程中特定目标的识别效率和精确率，显著提升运动目标检测决策精度。
对脑－机接口***方面而言，设置了VR眼镜来为受试者呈现SSVEP刺激范式的刺激界面，距离近且受自然光的干扰小，提升了SSVEP诱发脑电的准确性，这也进一步的提升了目标识别的准确度，同时也为SSVEP刺激范式、脑-机接口***开拓了应用于室外的可能性，提升了SSVEP刺激范式在实际生活生产中的实用性。
发明所述的目标识别***设置了外置的目标识别模块，进行目标识别运算，解决了在解决了目标识别技术和增强现实技术的结合中，在AR眼镜上运行不了YOLO目标识别算法这一问题，达到了识别显示的效果。

Claims (6)

1.一种基于AR-SSVEP的目标识别方法，其特征在于：包括以下步骤：
步骤一：受试者佩戴AR眼镜和脑电设备；
步骤二：摄像头采集目标场景的视频流信息，并将所采集的视频流信息分别传输至AR眼镜和目标识别模块；
步骤三：目标识别模块实时识别出视频流中的关注目标，并解算出关注目标的目标信息，将目标信息传输至AR眼镜；所述的目标信息包括关注目标的数目n、每个关注目标的目标位置、每个关注目标的编号；所述的目标位置包括用于框选关注目标的目标框的高度、目标框的宽度和目标框的中心点位置坐标；
设定n个关注目标的标号分别为关注目标1、关注目标2…关注目标i…关注目标n；关注目标1、关注目标2…关注目标i…关注目标n对应的编号分别为编号1、编号2…编号i…编号n；1≤i≤n；
步骤四：AR眼镜接收到目标信息后，根据n个关注目标绘制目标框，框选出n个关注目标，并生成与n个关注目标一一对应的n个刺激块；
设定n个刺激块分别为刺激块1、刺激块2…刺激块i…刺激块n；刺激块i与关注目标i相对应；所述的刺激块分别以特定频率闪烁， 任意一个刺激块的闪烁频率与其它n-1个刺激块的闪烁频率均不相同；
步骤五：AR眼镜实时在刺激块i与关注目标i处同时绘制编号i；
步骤六：AR眼镜向受试者实时显示刺激界面，受试者脑电选择特定目标；所述的刺激界面包括框选出的n个关注目标和n个刺激块；受试者根据刺激界面中的n个关注目标的状态，从n个关注目标中选择特定目标，并注视与所选择的特定目标所对应的刺激块，输出SSVEP脑电信号；脑电采集设备采集受试者输出的SSVEP脑电信号，解析出受试者注视的刺激块，完成特定目标的脑电选择；
步骤七：根据脑电选择的结果和关注目标的目标信息，输出特定目标的目标位置信息。
2.根据权利要求1所述的基于AR-SSVEP的目标识别方法，其特征在于：所述的步骤三中，目标识别模块采用YOLO算法识别视频流信息中的关注目标并解算出关注目标的目标信息。
3.根据权利要求1所述的基于AR-SSVEP的目标识别方法，其特征在于：所述刺激块的分布包括两种模式，模式一为刺激块在目标框内或目标框四周，跟随目标框；模式二为刺激块排布在屏幕框四周，从两种模式中选择一种模式生成刺激块。
4.一种基于AR-SSVEP的目标识别***，其特征在于：包括远程摄像头、无线传输模块、信号接收模块、AR眼镜、目标识别模块、通讯接口模块、脑电采集设备和上位机；
所述的远程摄像头用于获取远程场景视频流信息；
所述的无线传输模块用于将获取的远程场景视频流信息传输至信号接收模块；
所述的信号接收模块将接收的远程场景视频流信息分别传输给AR眼镜和目标识别模块；
所述的AR眼镜用于接收并投射前方摄像头传回的视频流，并叠加显示刺激块，向受试者显示刺激界面；
所述目标识别模块用于实时识别出视频流中的关注目标，并解算出关注目标的目标信息；
所述的通讯接口模块用于连接AR眼镜和脑电采集设备；
所述的脑电采集设置用于采集受试者输出的SSVEP脑电信号，解析出受试者注视的刺激块，完成特定目标的脑电选择；
所述的上位机用于根据脑电选择的结果和关注目标的目标信息，获取特定目标的目标位置信息；
所述的远程摄像头通过无线传输模块连接信号接收模块，所述的信号接收模块的第一输出端连接AR眼镜的第一输入端，信号接收模块的第二输出端连接目标识别模块的输入端，AR眼镜的输出端通过通讯接口模块连接脑电采集设备，目标识别模块的第一输出端连接AR眼镜的第二输入端；所述的目标识别模块的第一输出端和脑电采集设备的输出端均连接上位机。
5.根据权利要求5所述的基于AR-SSVEP的目标识别***，其特征在于：所述的AR眼镜采用微软HoloLens AR设备。
6.根据权利要求6所述的基于AR-SSVEP的目标识别***，其特征在于：所述的无线传输模块为RTC6705 5.8G无线视频传输芯片。
CN202010341613.7A 2020-04-27 2020-04-27 一种基于ar-ssvep的目标识别方法及*** Pending CN111694425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010341613.7A CN111694425A (zh) 2020-04-27 2020-04-27 一种基于ar-ssvep的目标识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010341613.7A CN111694425A (zh) 2020-04-27 2020-04-27 一种基于ar-ssvep的目标识别方法及***

Publications (1)

Publication Number Publication Date
CN111694425A true CN111694425A (zh) 2020-09-22

Family

ID=72476665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010341613.7A Pending CN111694425A (zh) 2020-04-27 2020-04-27 一种基于ar-ssvep的目标识别方法及***

Country Status (1)

Country Link
CN (1) CN111694425A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138668A (zh) * 2021-04-25 2021-07-20 清华大学 自动驾驶轮椅目的地选择方法、装置及***
CN113377212A (zh) * 2021-08-16 2021-09-10 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航***及方法
CN114138107A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、***和方法
CN114138108A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、***和方法
GR1010460B (el) * 2022-05-30 2023-05-16 Ιδρυμα Τεχνολογιας Και Ερευνας, Ενα συστημα κινητικοτητας και σχετικος ελεγκτης, μεθοδος, λογισμικο και μεσο αναγνωσιμο απο υπολογιστη

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴***的增强现实交互方法
CN106859645A (zh) * 2017-03-06 2017-06-20 广东工业大学 基于vr技术和ssvep的可穿戴设备及脑电采集***
CN107346179A (zh) * 2017-09-11 2017-11-14 中国人民解放军国防科技大学 基于诱发式脑机接口的多移动目标选择方法
CN107748622A (zh) * 2017-11-08 2018-03-02 中国医学科学院生物医学工程研究所 一种基于人脸感知的稳态视觉诱发电位脑‑机接口方法
US20180104482A1 (en) * 2016-10-14 2018-04-19 Boston Scientific Neuromodulation Corporation Systems and methods for determining orientation of an implanted lead
US20190369727A1 (en) * 2017-06-29 2019-12-05 South China University Of Technology Human-machine interaction method based on visual stimulation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339091A (zh) * 2016-08-31 2017-01-18 博睿康科技（常州）股份有限公司 一种基于脑机接口穿戴***的增强现实交互方法
US20180104482A1 (en) * 2016-10-14 2018-04-19 Boston Scientific Neuromodulation Corporation Systems and methods for determining orientation of an implanted lead
CN106859645A (zh) * 2017-03-06 2017-06-20 广东工业大学 基于vr技术和ssvep的可穿戴设备及脑电采集***
US20190369727A1 (en) * 2017-06-29 2019-12-05 South China University Of Technology Human-machine interaction method based on visual stimulation
CN107346179A (zh) * 2017-09-11 2017-11-14 中国人民解放军国防科技大学 基于诱发式脑机接口的多移动目标选择方法
CN107748622A (zh) * 2017-11-08 2018-03-02 中国医学科学院生物医学工程研究所 一种基于人脸感知的稳态视觉诱发电位脑‑机接口方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘亚茹: "《基于脑机接口的多移动目标选择技术研究》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138668A (zh) * 2021-04-25 2021-07-20 清华大学 自动驾驶轮椅目的地选择方法、装置及***
CN113377212A (zh) * 2021-08-16 2021-09-10 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航***及方法
CN113377212B (zh) * 2021-08-16 2021-11-16 南京中谷芯信息科技有限公司 基于脑电检测的眼动跟踪ar界面导航***及方法
CN114138107A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、***和方法
CN114138108A (zh) * 2021-10-19 2022-03-04 杭州回车电子科技有限公司 脑机交互装置、***和方法
GR1010460B (el) * 2022-05-30 2023-05-16 Ιδρυμα Τεχνολογιας Και Ερευνας, Ενα συστημα κινητικοτητας και σχετικος ελεγκτης, μεθοδος, λογισμικο και μεσο αναγνωσιμο απο υπολογιστη

Similar Documents

Publication Publication Date Title
CN111694425A (zh) 一种基于ar-ssvep的目标识别方法及***
CN109284737A (zh) 一种用于智慧教室的学生行为分析和识别***
CN104083258A (zh) 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
CN110471804B (zh) 设备调试方法、装置及电子设备
CN110534180B (zh) 深度学习人机互适应运动想象脑机接口***和训练方法
CN103531174A (zh) 亮度调整装置及方法
CN108153502B (zh) 基于透明屏幕的手持式增强现实显示方法及装置
CN111930238B (zh) 基于动态ssvep范式的脑机接口***实现方法及装置
CN111317469B (zh) 一种脑电波监测设备、***及监测方法
CN112133246A (zh) 一种led显示屏***的控制方法及led显示屏***
CN108509830B (zh) 一种视频数据处理方法及设备
Shen et al. CoCAtt: A cognitive-conditioned driver attention dataset
CN110660275A (zh) 一种基于视频分析的师生课堂即时互动***和方法
CN106255991B (zh) 状态判定***
CN111540335B (zh) 色盲矫正装置、方法、智能眼镜以及控制器和介质
CN108174183A (zh) 一种基于物联网的vr影像数据控制***
KR101331055B1 (ko) 시각 주의 분석에 근거한 시각 보조 시스템 및 상기 시각 주의 분석을 이용한 시각 보조 방법
CN206948499U (zh) 学员实训视频追踪监控、评价***
CN110321782A (zh) 一种检测人体特征信号的***
CN110321781A (zh) 一种用于无接触式测量的信号处理方法及装置
CN113009931B (zh) 一种有人机与无人机混合编队协同控制装置及方法
CN112936259B (zh) 一种适用于水下机器人的人机协作方法
CN116236211B (zh) 一种基于多点数据分发的脑电反馈训练***及方法
CN111782055A (zh) 基于ar眼镜的脑控***
CN106055298A (zh) 一种识别目标显示器的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination