TWI699672B - 以腦波訊號辨識視覺控制指令之方法及裝置 - Google Patents

以腦波訊號辨識視覺控制指令之方法及裝置 Download PDF

Info

Publication number
TWI699672B
TWI699672B TW108110562A TW108110562A TWI699672B TW I699672 B TWI699672 B TW I699672B TW 108110562 A TW108110562 A TW 108110562A TW 108110562 A TW108110562 A TW 108110562A TW I699672 B TWI699672 B TW I699672B
Authority
TW
Taiwan
Prior art keywords
brain
brain wave
area
ssvep
user
Prior art date
Application number
TW108110562A
Other languages
English (en)
Other versions
TW202036226A (zh
Inventor
李柏磊
許顥騰
湯士堅
葉佳龍
陳韻如
江依儒
Original Assignee
國家中山科學研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國家中山科學研究院 filed Critical 國家中山科學研究院
Priority to TW108110562A priority Critical patent/TWI699672B/zh
Priority to US16/367,266 priority patent/US20200310538A1/en
Priority to EP19165786.5A priority patent/EP3716016B1/en
Application granted granted Critical
Publication of TWI699672B publication Critical patent/TWI699672B/zh
Publication of TW202036226A publication Critical patent/TW202036226A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明係提供一種以腦波訊號辨識視覺控制指令之方法及裝置，係先從Oz腦區之信號特徵辨識該使用者當下所注意的定頻率閃爍物件之閃爍頻率，再從O1腦區與O2腦區之信號特徵辨識該定頻率閃爍物件位於左右兩側哪一邊之控制指令區。

Description

以腦波訊號辨識視覺控制指令之方法及裝置
本發明係與信號處理技術有關，特別係指一種用於去除壓力開關輸出訊號雜訊之以腦波訊號辨識視覺控制指令之方法。
目前有關智慧眼鏡與視覺型誘發電位大腦人機介面文獻與專利技術，其閃爍物件需固定在眼鏡畫面中的外側，使用者欲操作大腦人機介面，則需要要求使用者將視線直視於特定的閃爍物件，以利視覺電位的誘發，達到大腦人機介面的控制效果。目前大部分結合智慧眼鏡之視覺型誘發電位大腦人機介面，其閃爍物件需固定在眼鏡畫面中的外側，這使得使用者在下達欲注視之指令，眼睛需觀看閃爍物件，其注意力已不在虛擬畫面上。這會讓使用者的注意力一直在虛擬畫面與閃爍物件來回移動，導致無法即時反應虛擬畫面上的變化，並且疲勞度也大為上升。
為解決先前技術之缺點，本發明係提供一種以腦波訊號辨識視覺控制指令之方法及裝置，係先從Oz腦區之信號特徵辨識該使用者當下所注意的定頻率閃爍物件之閃爍頻 率，再從O1腦區與O2腦區之信號特徵辨識該定頻率閃爍物件位於左右兩側哪一邊之控制指令區。
本發明係為一種以腦波訊號辨識視覺控制指令之方法，係用於一大腦人機介面裝置上，該大腦人機介面裝置具有一顯示單元、一腦波偵測單元與一處理單元，該方法之步驟係包括：投射一控制畫面於該顯示單元上，該控制畫面中央定義一主畫面區，該主畫面區左右兩側定義複數控制指令區，該些控制指令區內分別具有一以不同頻率閃爍之定頻率閃爍物件、代表不同的控制指令動作；一使用者直視該主畫面區時，該腦波偵測單元偵測該使用者Oz、O1與O2腦區之腦波信號，當該使用者之注意力從該主畫面區移到兩側之某個控制指令區內的定頻率閃爍物件時，該腦波偵測單元將該使用者Oz、O1與O2腦區腦波信號變化量之資訊回傳至該處理單元；該處理單元計算分析該腦波信號變化量之資訊，與預先儲存之該些控制指令區個別對應的腦波信號特徵進行比對，辨識該使用者當下欲觸發哪一個控制指令區之動作。
本發明之一實施例中，其中該主畫面左右兩邊由上至下分別定義三控制指令區，該三控制指令區對應之定頻率閃爍物件、其閃爍頻率由上至下分別為15Hz、19Hz與23Hz。
本發明之一實施例中，其中該處理單元接收到該些腦波信號變化量之資訊後，以疊加平均技術(Epoch-averaged process)提升該些腦波信號之訊雜比(signal to noise ratio,SNR)。
本發明之一實施例中，其中該處理單元接收到該些腦波信號變化量之資訊後，先從Oz腦區信號特徵辨識該使用者當下所注意的定頻率閃爍物件之閃爍頻率，再從O1腦區與O2腦區之信號辨識該定頻率閃爍物件位於左右兩側哪一邊之控制指令區。
本發明之一實施例中，其中該腦波信號係指穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)。
本發明係為一種以腦波訊號辨識視覺控制指令之裝置，該裝置係包括：一顯示單元，係用於投射一控制畫面供使用者觀看，該控制畫面中央定義一主畫面區，該主畫面區左右兩側定義複數控制指令區，該些控制指令區內分別具有一以不同頻率閃爍之定頻率閃爍物件、代表不同的控制指令動作；一腦波偵測單元，該腦波偵測單元係偵測使用者Oz、O1與O2腦區之腦波信號；以及一處理單元，係連接該顯示單元與該腦波偵測單元，該處理單元係接收該腦波偵測單元所偵測之使用者Oz、O1與O2腦區腦波信號變化量資訊，與預先儲存之該些控制指令區個別對應的腦波信號特徵進行比對，辨識該使用者當下欲觸發哪一個控制指令區之動作。
本發明之一實施例中，該以腦波訊號辨識視覺控制指令之方法及裝置之運作流程為：偵測該使用者的Oz、O1、O2腦區之腦波資料； 透過疊加平均將偵測到之Oz、O1、O2腦波資料之訊噪比提升，取得各自的SSVEP；判斷Oz SSVEP是否有超過一閥值，若是、進行下一步驟，若否、持續偵測該使用者的Oz、O1、O2腦區之腦波資料；判斷O1 SSVEP是否大於O2 SSVEP；O1 SSVEP大於O2 SSVEP時，比對O1與O2的SSVEP與預先儲存的特定頻率f stim 刺激源SSVEP資料，判斷使用者欲觸發位於控制畫面右邊某個特定頻率的控制指令區；O1 SSVEP小於O2 SSVEP時，比對O1與O2的SSVEP與預先儲存的特定頻率f stim 刺激源SSVEP資料，判斷使用者欲觸發位於控制畫面左邊某個特定頻率的控制指令區；其中f stim 係為閃爍刺激序列，定義為閃爍刺激源(即控制指令區內的定頻率閃爍物件)暗、亮變化的時間序列。
以上之概述與接下來的詳細說明及附圖，皆是為了能進一步說明本發明達到預定目的所採取的方式、手段及功效。而有關本發明的其他目的及優點，將在後續的說明及圖示中加以闡述。
2‧‧‧以腦波訊號辨識視覺控制指令之裝置
21‧‧‧顯示單元
211‧‧‧控制畫面
U‧‧‧使用者
211A‧‧‧主畫面區
211B‧‧‧控制指令區
22‧‧‧腦波偵測單元
Oz、O1、O2‧‧‧腦波電極
300~308‧‧‧方法步驟
圖1係為本發明使用之疊加平均技術介紹範例示意圖。
圖2係為本發明之以腦波訊號辨識視覺控制指令之裝置實施例系統架構示意圖。
圖3係為本發明以腦波訊號辨識視覺控制指令之方法具體操作步驟實施例流程圖。
以下係藉由特定的具體實例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點與功效。
由於人眼有左右視野，其左右視野接收到的視覺訊號會透過左右眼視神經(Optic nerve)、左右丘腦外側膝狀體(Lateral geniculate nucleus of thalamus)到達左右視覺皮質區(Visual cortex)，故本發明於量測時，需要根據國際標準腦電波10-20system所規範之腦部區域，將腦波偵測單元之腦電波電極放置在O1、Oz與O2區，使得左右視野之穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)的計算需要考慮這三個腦區。在本發明中，使用者將注意力透過眼角餘光放在主畫面左右兩側之個別定頻率閃爍物件(分別位於不同控制指令區內)上時所觸發的腦電波電位訊號，本發明將其定義為周邊視野穩態視覺誘發電位，使用者直視該主畫面時所觸發的腦電波電位訊號則定義為直視型穩態視覺誘發電位。由於周邊視野穩態視覺誘發電位會比直視型穩態視覺誘發電位微弱，故為了提升訊雜比(signal to noise ratio,SNR)，故本發明使用疊加平均技術(Epoch-averaged process)來萃取穩態視覺誘發電位訊號。
圖1係為本發明使用之疊加平均技術介紹範例示意圖，第一行為原始腦波訊號，其位置為枕葉區Oz。第二行為閃爍刺激序列示意圖，此範例中為30Hz刺激閃爍頻率，取4秒~4.7秒的腦波資料做為樣本。第三行為原始腦波訊號經過濾波之後的波形，其帶通濾波範圍為29-31Hz。本發明將該些定頻率閃爍物件(刺激源)閃爍時的刺激閃光序列中，從暗到亮的時間點定義為Onset點，並讓原始腦波資料透過Onset點進行腦波資料切割，並定義切割出來的單位為1Epoch。其所有的Epoch經過疊加平均之後，便可得到SSVEP avg (t)，並從中取得最大值PV與最小值VV，兩者相減用以計算起始的SSVEP fstim ，本範例中為12.58μV。
使用者在配戴智慧眼鏡並觀看眼鏡內顯示之控制畫面時，右邊視野的視覺神經訊號會傳遞到大腦視覺區(後腦勺)的左側，而左邊視野的視覺神經訊號會傳遞到大腦視覺區(後腦勺)的右側。故我們可利用左右視野感受到的視覺訊號，在大腦視覺區的左右側進行訊號分析，用以作為大腦人機介面的控制訊號。本發明結合視野指令控制技術與腦波偵測技術，將其應用到智慧眼鏡或其他種類的頭戴式腦機介面控制裝置上，即為本發明之以腦波訊號辨識視覺控制指令之方法的主要核心技術與應用領域。
圖2係為本發明之以腦波訊號辨識視覺控制指令之裝置實施例系統架構示意圖，如圖所示，該以腦波訊號辨識 視覺控制指令之裝置2係可為智慧眼鏡或其他種類的穿戴式大腦人機介面(BCI)智慧裝置，該實施例係包括：一顯示單元21，係用於投射一控制畫面211供使用者U觀看，該控制畫面中央定義一主畫面區211A，該主畫面區左右兩側定義複數控制指令區211B，該些控制指令區內分別具有一以不同頻率閃爍之定頻率閃爍物件(圖未示)，例如控制指令Icon、圖標等、可觸發不同的控制指令動作，於本實施例中，該些定頻率閃爍物件之閃爍頻率由上至下分別為15、19與23Hz，請注意並不限於前述參數，可依使用者需求自行變化；一腦波偵測單元22，該腦波偵測單元22係以Oz、O1與O2腦波電極偵測使用者Oz、O1與O2腦區之腦波信號，於本實施例中、該腦波信號係為穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)；以及一處理單元23，係連接該顯示單元21與該腦波偵測單元22，該處理單元23係接收該腦波偵測單元所偵測之使用者Oz、O1與O2腦區腦波信號變化量資訊、即SSVEP之數值，並對接收到的Oz、O1與O2腦區之SSVEP進行疊加平均、以放大其訊噪比，再依據Oz、O1與O2腦區之SSVEP數值大小，辨識該使用者是否有將注意力透過眼角餘光放到左右兩邊的控制指令區(此時使用者仍持續直視主畫面)，判斷使用者當下欲觸發哪一個控制指令區之動作。
圖3係為本發明以腦波訊號辨識視覺控制指令之方法具體操作步驟實施例流程圖，該實施例步驟係包括： 記錄使用者於休息狀態之腦波資料10秒300；將記錄到的使用者Oz腦波根據f stim Onset時間點進行疊加平均分析，獲得休息狀態下之Oz SSVEP 301；訂定在f stim 刺激下之休息狀態Oz SSVEP中最大值為閥值(門檻值)302；使用者開始啟用大腦人機介面(BCI)的視覺控制功能，持續偵測使用者的Oz、O1、O2腦區之腦波資料303；透過疊加平均將偵測到之Oz、O1、O2腦波資料之訊噪比提升，取得各自的SSVEP 304；判斷Oz SSVEP是否有超過該閥值，若是、進行下一步驟，若否、返回步驟303 305；判斷O1 SSVEP是否大於O2 SSVEP 306；O1 SSVEP大於O2 SSVEP時，比對O1與O2的SSVEP與預先儲存的特定頻率f stim 刺激源SSVEP資料，判斷使用者欲觸發位於控制畫面右邊某個特定頻率的控制指令區307A；O1 SSVEP小於O2 SSVEP時，比對O1與O2的SSVEP與預先儲存的特定頻率f stim 刺激源SSVEP資料，判斷使用者欲觸發位於控制畫面左邊某個特定頻率的控制指令區307B；該大腦人機介面(BCI)輸出該控制指令區之控制指令，啟動觸發相對應之控制動作308。
本發明之一實施例中，使用者在操作大腦人機介面(BCI)前，會進行10秒鐘休息狀態量測，其Oz腦區的腦波資 料將會根據f stim Onset時間點，進行疊加平均分析，獲得休息狀態下之Oz SSVEP。其中，f stim (閃爍刺激序列，定義為閃爍刺激源(即控制指令區內的定頻率閃爍物件)暗、亮變化的時間序列)可區分該些定頻率閃爍物件的閃爍頻率為15、19以及23Hz。而在f stim 刺激下之休息狀態Oz SSVEP中，取最大值為閥值，用以判定受試者之SSVEP是否有成功誘發。得到閥值後，使用者便開始進行大腦人機介面(Brain-computer Interface,BCI)操作，在操作的過程中，其O1、Oz以及O2腦區電極經過疊加平均技術，各自獲得f stim 下之SSVEP。首先判斷f stim 刺激下之Oz SSVEP是否有超過閥值，接下來再判斷O1 SSVEP是否大於O2 SSVEP，若是有，則表示使用者將注意力放在右側其中一個刺激源上，反之，則表示使用者將注意力放在左側其中一個刺激源上。再根據預先儲存之不同頻率刺激源(控制指令區內的定頻率閃爍物件)的O1、O2腦區SSVEP數值，判斷使用者欲觸發哪一個控制指令區的動作。
表一至表三係為本發明實施例之穩態視覺誘發電位結果實驗數據表，Rest為休息狀態的腦波信號，用以標定一閥值；當Oz區的SSVEP(穩態視覺誘發電位)大於閥值時，確認O1區的SSVEP是否大於O2區，當O1區的SSVEP大於O2區的SSVEP時，代表使用者透過眼角餘光將注意力放在右邊的刺激源(控制指令區內的定頻率閃爍物件)上(Attention Right)；當O1區的SSVEP小於O2區的SSVEP時，代表使用者透過眼角 餘光將注意力放在左邊的刺激源(控制指令區內的定頻率閃爍物件)上(Attention Left)，由下表可看出不同位置、不同閃爍頻率的刺激源反映的SSVEP數值亦不同，因此可辨識出使用者以視覺控制指令欲觸發的對象。
Figure 108110562-A0101-12-0010-1
Figure 108110562-A0101-12-0010-2
表三、O1與O2區，當受試者注意右邊閃光時之穩態視覺誘發電
Figure 108110562-A0101-12-0011-3
藉此，本發明係提供一種以腦波訊號辨識視覺控制指令之方法，使用者只需要注視該智慧眼鏡中間的主畫面，而將眼角注意力放在周圍的閃爍物件，進而誘發穩態視覺誘發電位、觸發特定閃爍物件對應的控制指令。本發明可改善現有技術中，使用者必須一直將視線在主畫面與周圍控制指令區來回移動、導致注意力無法放在主畫面上且會快速疲勞的缺點。本發明可應用於智慧眼鏡或其他種類的穿戴式BCI裝置，並可應用於科學研究、工業控制、教育、娛樂、醫療等多種產業場合。
上述之實施例僅為例示性說明本發明之特點及其功效，而非用於限制本發明之實質技術內容的範圍。任何熟習此技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修飾與變化。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。
2‧‧‧以腦波訊號辨識視覺控制指令之裝置
21‧‧‧顯示單元
211‧‧‧控制畫面
U‧‧‧使用者
211A‧‧‧主畫面區
211B‧‧‧控制指令區
22‧‧‧腦波偵測單元
Oz、O1、O2‧‧‧腦波電極

Claims (6)

  1. 一種以腦波訊號辨識視覺控制指令之方法，係用於一大腦人機介面裝置上，該大腦人機介面裝置具有一顯示單元、一腦波偵測單元與一處理單元，該方法之步驟係包括：投射一控制畫面於該顯示單元上，該控制畫面中央定義一主畫面區，該主畫面區左右兩側定義複數控制指令區，該些控制指令區內分別具有一以不同頻率閃爍之定頻率閃爍物件、代表不同的控制指令動作；一使用者直視該主畫面區時，該腦波偵測單元偵測該使用者Oz、O1與O2腦區之腦波信號，當該使用者之注意力從該主畫面區移到兩側之某個控制指令區內的定頻率閃爍物件時，該腦波偵測單元將該使用者Oz、O1與O2腦區腦波信號變化量之資訊回傳至該處理單元；該處理單元計算分析該腦波信號變化量之資訊，與預先儲存之該些控制指令區個別對應的腦波信號特徵進行比對，辨識該使用者當下欲觸發哪一個控制指令區之動作；其中該處理單元接收到該些腦波信號變化量之資訊後，以疊加平均技術(Epoch-averaged process)提升該些腦波信號之訊雜比(signal to noise ratio,SNR)，先從Oz腦區信號特徵辨識該使用者當下所注意的定頻率閃爍物件之閃爍頻率，再從O1腦區與O2腦區之信號辨識該定頻率閃爍物件位於左右兩側哪一邊之控制指令區。
  2. 如請求項1所述之以腦波訊號辨識視覺控制指令之方法，其中該腦波信號係為穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)。
  3. 一種以腦波訊號辨識視覺控制指令之裝置，該裝置係包括：一顯示單元，係用於投射一控制畫面供使用者觀看，該控制畫面中央定義一主畫面區，該主畫面區左右兩側定義複數控制指令區，該些控制指令區內分別具有一以不同頻率閃爍之定頻率閃爍物件、代表不同的控制指令動作；一腦波偵測單元，該腦波偵測單元係偵測使用者Oz、O1與O2腦區之腦波信號；以及一處理單元，係連接該顯示單元與該腦波偵測單元，該處理單元係接收該腦波偵測單元所偵測之使用者Oz、O1與O2腦區腦波信號變化量資訊，與預先儲存之該些控制指令區個別對應的腦波信號特徵進行比對，辨識該使用者當下欲觸發哪一個控制指令區之動作；其中該處理單元接收到該些腦波信號變化量之資訊後，先從Oz腦區之信號特徵辨識該使用者當下所注意的定頻率閃爍物件之閃爍頻率，再從O1腦區與O2腦區之信號辨識該定頻率閃爍物件位於左右兩側哪一邊之控制指令區。
  4. 如請求項3所述之以腦波訊號辨識視覺控制指令之裝置，其中該處理單元接收到該些腦波信號變化量之資訊後，以 疊加平均技術(Epoch-averaged process)提升該些腦波信號之訊雜比(signal to noise ratio,SNR)。
  5. 如請求項3所述之以腦波訊號辨識視覺控制指令之裝置，其中該腦波信號係為穩態視覺誘發電位(steady-state visual evoked potential,SSVEP)。
  6. 如請求項5所述之以腦波訊號辨識視覺控制指令之裝置，其中該裝置之運作流程係為：偵測該使用者的Oz、O1、O2腦區之腦波資料；透過疊加平均將偵測到之Oz、O1、O2腦波資料之訊噪比提升，取得各自的SSVEP；判斷Oz SSVEP是否有超過一閥值，若是、進行下一步驟，若否、持續偵測該使用者的Oz、O1、O2腦區之腦波資料；判斷O1 SSVEP是否大於O2 SSVEP；O1 SSVEP大於O2 SSVEP時，比對O1與O2的SSVEP與預先儲存的特定頻率f stim 刺激源SSVEP資料，判斷使用者欲觸發位於控制畫面右邊某個特定頻率的控制指令區；O1 SSVEP小於O2 SSVEP時，比對O1與O2的SSVEP與預先儲存的特定頻率f stim 刺激源SSVEP資料，判斷使用者欲觸發位於控制畫面左邊某個特定頻率的控制指令區；其中f stim 係為閃爍刺激序列，定義為閃爍刺激源(即控制指令區內的定頻率閃爍物件)暗、亮變化的時間序列。
TW108110562A 2019-03-25 2019-03-25 以腦波訊號辨識視覺控制指令之方法及裝置 TWI699672B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108110562A TWI699672B (zh) 2019-03-25 2019-03-25 以腦波訊號辨識視覺控制指令之方法及裝置
US16/367,266 US20200310538A1 (en) 2019-03-25 2019-03-28 Method and Brain-computer Interface System for Recognizing Brainwave Signals
EP19165786.5A EP3716016B1 (en) 2019-03-25 2019-03-28 Method and brain-computer interface system for recognizing brainwave signals

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
TW108110562A TWI699672B (zh) 2019-03-25 2019-03-25 以腦波訊號辨識視覺控制指令之方法及裝置
US16/367,266 US20200310538A1 (en) 2019-03-25 2019-03-28 Method and Brain-computer Interface System for Recognizing Brainwave Signals
EP19165786.5A EP3716016B1 (en) 2019-03-25 2019-03-28 Method and brain-computer interface system for recognizing brainwave signals

Publications (2)

Publication Number Publication Date
TWI699672B true TWI699672B (zh) 2020-07-21
TW202036226A TW202036226A (zh) 2020-10-01

Family

ID=91333999

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108110562A TWI699672B (zh) 2019-03-25 2019-03-25 以腦波訊號辨識視覺控制指令之方法及裝置

Country Status (3)

Country Link
US (1) US20200310538A1 (zh)
EP (1) EP3716016B1 (zh)
TW (1) TWI699672B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755871B (zh) * 2020-09-25 2022-02-21 國家中山科學研究院 深度學習辨識想像運動腦波結合輔助外骨骼控制系統與方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11793434B1 (en) * 2022-05-18 2023-10-24 GM Global Technology Operations LLC System to perform visual recognition and vehicle adaptation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201431592A (zh) * 2013-02-07 2014-08-16 Univ Southern Taiwan Sci & Tec 聲控為主及腦波為輔的電玩遊戲角色操控系統與方法
TWI604823B (zh) * 2015-08-18 2017-11-11 國立交通大學 利用腦波進行注意力反饋訓練之方法及其系統
TW201816545A (zh) * 2016-10-26 2018-05-01 鄭義全 虛擬實境頭戴式裝置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4465414B2 (ja) * 2008-07-11 2010-05-19 パナソニック株式会社 脳波を用いた機器の制御方法および脳波インタフェースシステム
US8155736B2 (en) * 2009-03-16 2012-04-10 Neurosky, Inc. EEG control of devices using sensory evoked potentials
EP2598972A1 (en) * 2010-07-30 2013-06-05 Katholieke Universiteit Leuven Brain-computer interfaces and use thereof
EP3131453B1 (en) * 2014-04-17 2021-01-20 The Regents of the University of California Portable brain activity sensing platform for assessment of visual field deficits
US20180039329A1 (en) * 2016-08-04 2018-02-08 David M. Tumey Brain actuated control utilizing visually evoked potentials
WO2019060298A1 (en) * 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC METHOD AND APPARATUS FOR NEURO-ACTIVATION

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201431592A (zh) * 2013-02-07 2014-08-16 Univ Southern Taiwan Sci & Tec 聲控為主及腦波為輔的電玩遊戲角色操控系統與方法
TWI604823B (zh) * 2015-08-18 2017-11-11 國立交通大學 利用腦波進行注意力反饋訓練之方法及其系統
TW201816545A (zh) * 2016-10-26 2018-05-01 鄭義全 虛擬實境頭戴式裝置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755871B (zh) * 2020-09-25 2022-02-21 國家中山科學研究院 深度學習辨識想像運動腦波結合輔助外骨骼控制系統與方法

Also Published As

Publication number Publication date
EP3716016B1 (en) 2021-04-21
EP3716016A1 (en) 2020-09-30
TW202036226A (zh) 2020-10-01
US20200310538A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
Zhu et al. A hybrid BCI based on SSVEP and EOG for robotic arm control
Peysakhovich et al. Frequency analysis of a task-evoked pupillary response: Luminance-independent measure of mental effort
Zhou et al. A hybrid asynchronous brain-computer interface combining SSVEP and EOG signals
Lee et al. Real-time “eye-writing” recognition using electrooculogram
CN101464728B (zh) 视觉运动相关神经信号为载体的人机交互方法
Belkacem et al. Classification of four eye directions from EEG signals for eye-movement-based communication systems
Senderecka Threatening visual stimuli influence response inhibition and error monitoring: An event-related potential study
JPWO2009001558A1 (ja) ヒト状態推定装置およびその方法
Aungsakun et al. Robust eye movement recognition using EOG signal for human-computer interface
TWI699672B (zh) 以腦波訊號辨識視覺控制指令之方法及裝置
JP2013004006A (ja) 脳波インターフェースシステム
KR101389015B1 (ko) 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템
Hsu et al. Extraction of high-frequency SSVEP for BCI control using iterative filtering based empirical mode decomposition
Jiang et al. A user-friendly SSVEP-based BCI using imperceptible phase-coded flickers at 60Hz
KR101571848B1 (ko) 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법
Forster et al. The attentive homunculus: ERP evidence for somatotopic allocation of attention in tactile search
Gong et al. An idle state-detecting method based on transient visual evoked potentials for an asynchronous ERP-based BCI
KR101788969B1 (ko) 안정 상태 시각유발전위 기반 뇌-컴퓨터 접속 기술을 이용한 증강 현실 시스템의 타깃선택방법
KR20230093103A (ko) 뇌파 기반의 맞춤형 주행 제어 장치 및 그 방법
Pander et al. An application of detection function for the eye blinking detection
CN111273578A (zh) 基于Alpha波和SSVEP信号控制的实时脑控机器人***及控制方法
Park et al. Application of EEG for multimodal human-machine interface
Wang et al. Research on a spatial–temporal characterisation of blink-triggered eye control interactions
Virdi et al. Home automation control system implementation using SSVEP based brain computer interface
Antelis et al. Detection of SSVEP based on empirical mode decomposition and power spectrum peaks analysis