KR20230162116A - 정상-상태 모션 시각적 유발 전위를 이용하는 ar에서의 비동기식 뇌 컴퓨터 인터페이스 - Google Patents
정상-상태 모션 시각적 유발 전위를 이용하는 ar에서의 비동기식 뇌 컴퓨터 인터페이스 Download PDFInfo
- Publication number
- KR20230162116A KR20230162116A KR1020237038080A KR20237038080A KR20230162116A KR 20230162116 A KR20230162116 A KR 20230162116A KR 1020237038080 A KR1020237038080 A KR 1020237038080A KR 20237038080 A KR20237038080 A KR 20237038080A KR 20230162116 A KR20230162116 A KR 20230162116A
- Authority
- KR
- South Korea
- Prior art keywords
- stimulus
- data
- user
- context
- modified
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 title claims abstract description 16
- 230000000763 evoking effect Effects 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000007613 environmental effect Effects 0.000 claims abstract description 76
- 230000004044 response Effects 0.000 claims abstract description 65
- 238000009877 rendering Methods 0.000 claims abstract description 22
- 230000003190 augmentative effect Effects 0.000 claims abstract description 8
- 238000010801 machine learning Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 44
- 230000004048 modification Effects 0.000 claims description 38
- 238000012986 modification Methods 0.000 claims description 38
- 230000015654 memory Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000000638 stimulation Effects 0.000 abstract description 41
- 238000001514 detection method Methods 0.000 abstract description 23
- 238000013527 convolutional neural network Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 25
- 230000003993 interaction Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000009471 action Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000003252 repetitive effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 206010052143 Ocular discomfort Diseases 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000001747 exhibiting effect Effects 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002565 electrocardiography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000000008 neuroelectric effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 240000001436 Antirrhinum majus Species 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005857 detection of stimulus Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 210000001428 peripheral nervous system Anatomy 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Neurology (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- General Physics & Mathematics (AREA)
- Dermatology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
증강 현실 환경에서 정상-상태 모션 시각적 유발 전위 자극을 이용하는 방법 및 시스템이 개시되어 있다. 요청된 자극 데이터는 스마트 디바이스 상의 사용자 애플리케이션으로부터 수신된다. 센서 데이터 및 다른 컨텍스트 데이터가 또한 수신되고, 여기서, 다른 컨텍스트 데이터는 미-감지되는 데이터를 포함한다. 요청된 자극 데이터는 센서 데이터 및 다른 컨텍스트 데이터에 기초하여 수정된 자극으로 변환된다. 수정된 자극 및 환경적 자극은, 수정된 자극 및 환경적 자극을 혼합하여, 렌더링된 자극으로 귀착되도록 구성된 렌더링 디바이스로, 사용자에게 제시된다. 렌더링된 자극에 응답하여 생성되는 생체신호는 사용자로부터 웨어러블 생체신호 감지 디바이스로 수신된다. 수신된 생체신호는 수정된 자극에 기초하여 분류되어, 사용자 애플리케이션으로 반환되는 분류된 선택으로 귀착된다.
Description
이 출원은 2021년 4월 5일자로 출원된 미국 특허 가출원 제63/170,987호의 이익을 주장하고, 이 미국 특허 가출원의 내용은 그 전체가 참조로 본 명세서에 포함된다.
뇌파검사-기반(electroencephalography-based) 뇌 컴퓨터 인터페이스(BCI : brain computer interface)는 인간이 뇌와, 주변 시경 및 근육을 우회하는 외부 환경과의 사이의 직접 통신 경로를 확립하는 것을 가능하게 한다. 정상-상태 시각적 유발 전위(SSVEP : steady-state visually evoked potential) 기반 BCI는, 구별가능한 특성(예컨대, 상이한 주파수)을 갖는 개개의 시각적 자극에 대한 뇌파도(EEG : electroencephalogram)를 검출하는 종속적 또는 반응성 BCI이다. BCI는 후두부(occipital) 및 두정-후두부(parieto-occipital) 피질(cortex)에서 기록된 EEG로부터 타깃화된 자극 주파수에서 SSVEP 응답을 검출함으로써, 어느 자극이 사용자의 시각적 관심을 점유하는지를 결정할 수 있다. 이것은 타깃화된 자극 주파수에서, 그리고 잠재적으로, 그의 더 높은-차수 고조파(harmonics) 또는 하위고조파(subharmonics)에서 상당한 피크로서 보일 수 있다.
전통적으로, 이 자극은 컴퓨터 스크린 상에서 주로 제시(present)된다. 그러나, 증강 현실(AR : augmented reality) 및 가상 현실(VR : virtual reality) 디바이스는 사용자가 강화된 사용자 경험을 제공하는 동일한 관측 시야(field of view)에서 반복적인 시각적 자극 및 그 외부 주변을 관측하는 것을 허용할 수 있다. 몇몇 연구는 SSVEP와 조합된 비디오 시-스루(VST : video see-through) 기반 헤드-장착된 디스플레이(HMD : head-mounted display)를 이용하는 것에 기초하여 AR 접근법을 조사하였다. 이 연구는 게이밍, 3D 공간에서의 내비게이션, 쿼드콥터(quadcopter) 제어 등과 같은 애플리케이션에 대하여 AR-BCI를 적용하였고, 여기서, 실세계 장면은 HMD의 상부에 배치된 카메라를 이용하여 취득되고, VR 환경 내에서 디스플레이된다.
SSVEP 자극은 주로 보편적으로, 세기(intensity)가 고정된 주파수에서 변조되는 단색성 객체(monochromatic object)로서 설계된다. 그 결과, 그것은 사용자에게 플래싱(flashing) 객체로서 보인다. 이 플래싱 자극은 시각적 피로 및 불편을 유도할 수 있다. 결과적으로, 이것은 전체적인 신호-대-잡음 비율(SNR : signal-to-noise ratio), 디코딩 성능, 및 BCI의 상호작용성(interactivity)을 감소시킨다. 게다가, 기존의 구성에서의 컴퓨터 스크린 또는 다른 불투명한 매체 상에서의 이 자극의 제시(presentation)는 잠재적인 증강 현실(AR) 애플리케이션에서 시스템의 애플리케이션 시나리오를 제한한다. 실세계 환경에서, 사용자는 모니터 상의 자극 제시와, 다수의 산만하게 하거나 교란시키는 시각적 자극을 포함할 수 있는 그 정상적인 시야(visual field)와의 사이에서, 사용자의 시각적 관심을 전후로 시프트(shift)할 필요가 있을 수 있어서, 추가로, 결과적인 EEG 판독에서의 SNR에 영향을 줄 수 있고, 잠재적으로, 관측자 응시 및 관심의 BCI 결정의 정확도를 감소시킬 수 있다. 그러나, 이 능력을 제공하는 VST 기반 HMD는 카메라에 의해 주로 한정되는 제한된 관측 시야를 제공한다.
그러므로, 관측자에서의 시각적 피로 및 불편을 감소시키고, 신호 대 잡음 비율, 디코딩 성능, 및 VR/AR 애플리케이션에서의 이용을 위한 BCI의 상호작용성을 개선시키면서, BCI 응답을 유도할 시에 SSVEP 자극의 기능을 수행하는, 시각적 자극을 테스트할 수 있고, 훈련시킬 수 있고, 구현할 수 있는 방법 및 시스템에 대한 필요성이 있다. 추가적으로, 환경에서, 그리고 실세계 사용자 AR/VR 애플리케이션과 더 밀접하게 닯은 장비로 이 자극을 테스트하고, 훈련시키고, 구현하기 위한 필요성이 있다. 추가로, 분류가능한 EEG 신호를 생성하도록 또한 알려져 있는 오디오 또는 체지각(somatosensory) 유발 전위 자극과 같은 다른 자극을 테스트할 수 있고, 훈련시킬 수 있고, 구현할 수 있는 시스템에 대한 필요성이 있다.
하나의 측면에서, 방법은 스마트 디바이스 상의 사용자 애플리케이션으로부터 하나 이상의 요청된 자극 데이터를 수신하는 단계, 센서 데이터 및 다른 컨텍스트(context) 데이터 중의 적어도 하나를 수신하는 단계 ― 다른 컨텍스트 데이터는 미-감지되는 데이터를 포함함 ―, 센서 데이터 및 다른 컨텍스트 데이터 중의 적어도 하나에 적어도 부분적으로 기초하여, 요청된 자극 데이터의 적어도 부분을 수정된 자극으로 변환하는 단계, 수정된 자극 및 환경적 자극을 혼합하여, 이에 의해, 렌더링된 자극으로 귀착되도록 구성된 렌더링 디바이스(rendering device)로, 수정된 자극 및 환경적 자극을 사용자에게 제시하는 단계, 웨어러블 생체신호 감지 디바이스 상에서, 렌더링된 자극에 응답하여 생성되는 사용자로부터의 생체신호를 수신하는 단계, 분류된 선택으로 귀착되도록, 수정된 자극에 기초하여 분류기를 이용하여 수신된 생체신호를 분류하는 단계, 및 분류된 선택을 사용자 애플리케이션으로 반환하는 단계를 포함한다.
하나의 측면에서, 시스템은 스마트 디바이스; 렌더링 디바이스; 사용자 상의 웨어러블 생체신호 감지 디바이스; 프로세서; 및 명령을 저장하는 메모리를 포함하고, 명령은, 프로세서에 의해 실행될 때, 전술한 방법을 실행하도록 시스템을 구성한다.
하나의 측면에서, 방법은 스마트 디바이스 상의 사용자 애플리케이션으로부터 하나 이상의 요청된 자극 데이터를 수신하는 단계를 포함한다. 방법은 또한, 센서 데이터 및 다른 컨텍스트 데이터 중의 적어도 하나를 수신하는 단계를 포함하고, 여기서, 다른 컨텍스트 데이터는 미-감지되는 데이터를 포함한다. 방법은 그 다음으로, 센서 데이터 및 다른 컨텍스트 데이터 중의 적어도 하나에 부분적으로 기초하여, 요청된 자극 데이터의 적어도 부분을 수정된 자극으로 변환하는 단계를 포함하고, 여기서, 수정된 자극은 정상-상태 모션 시각적 유발 전위 자극 뿐만 아니라, 다른 유발 전위를 포함한다. 방법은 수정된 자극 및 환경적 자극을 혼합하여, 렌더링된 자극으로 귀착되도록 구성된 렌더링 디바이스로, 수정된 자극 및 환경적 자극을 사용자에게 제시하는 단계를 포함하고, 여기서, 이것은 사용자에 의해 감지되는 시각적 디바이스, 촉각적 디바이스, 및 청각적 디바이스 중의 적어도 하나를 이용하는 것, 및 스마트 디바이스와 연관된 증강 현실 광학 시-스루(AR-OST : augmented reality optical see-through) 디바이스 상에서 수정된 자극 및 환경적 자극을 렌더링하는 것 중의 적어도 하나를 포함한다. 방법은 그 다음으로, 웨어러블 생체신호 감지 디바이스 상에서, 렌더링된 자극에 응답하여 생성되는 사용자로부터의 생체신호를 수신하는 단계를 포함한다. 방법은 의도적 제어 신호의 존재 또는 부재 중의 적어도 하나를 이용함으로써, 생체신호를 분류기로 송신할 것인지 여부를 결정하는 단계를 더 포함하고, 여기서, 의도 제어 신호의 존재의 결정은, 스마트 디바이스로부터 수동적 의도 기각 신호를 검출하는 것, 및 적어도 부분적으로, 수신된 생체신호로부터, 사용자가 렌더링된 자극 중의 적어도 하나에 고착(fixate)하도록 의도하고 있는 것으로 결정하는 것 중의 적어도 하나를 포함한다. 의도적 제어 신호가 존재하는 조건 하에서, 방법은 수신된 생체신호를 분류기로 송신하는 단계를 포함한다. 의도적 제어 신호가 부재하는 조건 하에서, 방법은 사용자로부터의 수신된 생체신호를 수신하는 것을 계속하는 단계를 포함한다. 방법은 그 다음으로, 분류된 선택으로 귀착되도록, 수정된 자극에 기초하여 분류기를 이용하여 수신된 생체신호를 분류하는 단계를 포함한다. 방법은 최종적으로, 분류된 선택을 사용자 애플리케이션으로 반환하는 단계를 포함한다.
임의의 특정한 엘리먼트 또는 액트(act)의 논의를 용이하게 식별하기 위하여, 참조 번호에서의 가장 중요한 숫자 또는 숫자들은 그 엘리먼트가 최초로 속되는 도면 번호를 지칭한다.
도 1은 하나의 실시예에 따라, SSMVEP BCI를 이용하기 위한 프로세스(100)를 예시한다.
도 2a 및 도 2b는 예시적인 SSVEP 패턴 및 변형(200)을 예시한다.
도 3a 내지 도 3d는 하나의 실시예에 따라, 예시적인 SSMVEP 패턴 및 변형(300)을 예시한다.
도 4a 및 도 4b는 SSVEP BCI 상호작용(400)을 위한 쌍안 투영을 예시한다.
도 5a 및 도 5b는 하나의 실시예에 따라, SSMVEP BCI 상호작용(500)을 위한 쌍안 투영을 예시한다.
도 6은 하나의 실시예에 따라, AR-OST BCI 구성(600)을 예시한다.
도 7a 및 도 7b는 하나의 실시예에 따라, AR-OST(700)에서의 SSVEP BCI 이용을 위한 투영을 예시한다.
도 8a 내지 도 8c는 하나의 실시예에 따라, AR-OST(800)에서의 SSMVEP BCI 이용을 위한 투영을 예시한다.
도 9는 하나의 실시예에 따라, C-CNN 프로세스(900)를 예시한다.
도 10은 하나의 실시예에 따라, IC 상태 및 NC 상태(1000)를 예시한다.
도 11a 내지 도 11h는 비-활성 배경 및 활성 배경 조건 하에서 SSVEP 및 SSMVEP 자극 응답의 평균 크기 스펙트럼을 예시한다.
도 11a는 SSVEP 8Hz 결과(1100a)를 예시한다.
도 11b는 SSMVEP 8Hz 결과(1100b)를 예시한다.
도 11c는 SSVEP 10Hz 결과(1100c)를 예시한다.
도 11d는 SSMVEP 10Hz 결과(1100d)를 예시한다.
도 11e는 SSVEP 12Hz 결과(1100e)를 예시한다.
도 11f는 SSMVEP 12Hz 결과(1100f)를 예시한다.
도 11g는 SSVEP 15Hz 결과(1100g)를 예시한다.
도 11h는 SSMVEP 15Hz 결과(1100h)를 예시한다.
도 12는 하나의 실시예에 따라, 시스템(1200)을 예시한다.
도 13은 하나의 실시예에 따라, 분류기 모델 수정(1300)을 예시한다.
도 14는 하나의 실시예에 따라, 스마트 디바이스(1400)를 예시한다.
도 15는 하나의 실시예에 따라, 클라우드 컴퓨팅 시스템(1500)을 예시한다.
도 16은 하나의 실시예에 따라, 클라우드 컴퓨팅 기능적 추상화 계층(1600)을 예시한다.
도 1은 하나의 실시예에 따라, SSMVEP BCI를 이용하기 위한 프로세스(100)를 예시한다.
도 2a 및 도 2b는 예시적인 SSVEP 패턴 및 변형(200)을 예시한다.
도 3a 내지 도 3d는 하나의 실시예에 따라, 예시적인 SSMVEP 패턴 및 변형(300)을 예시한다.
도 4a 및 도 4b는 SSVEP BCI 상호작용(400)을 위한 쌍안 투영을 예시한다.
도 5a 및 도 5b는 하나의 실시예에 따라, SSMVEP BCI 상호작용(500)을 위한 쌍안 투영을 예시한다.
도 6은 하나의 실시예에 따라, AR-OST BCI 구성(600)을 예시한다.
도 7a 및 도 7b는 하나의 실시예에 따라, AR-OST(700)에서의 SSVEP BCI 이용을 위한 투영을 예시한다.
도 8a 내지 도 8c는 하나의 실시예에 따라, AR-OST(800)에서의 SSMVEP BCI 이용을 위한 투영을 예시한다.
도 9는 하나의 실시예에 따라, C-CNN 프로세스(900)를 예시한다.
도 10은 하나의 실시예에 따라, IC 상태 및 NC 상태(1000)를 예시한다.
도 11a 내지 도 11h는 비-활성 배경 및 활성 배경 조건 하에서 SSVEP 및 SSMVEP 자극 응답의 평균 크기 스펙트럼을 예시한다.
도 11a는 SSVEP 8Hz 결과(1100a)를 예시한다.
도 11b는 SSMVEP 8Hz 결과(1100b)를 예시한다.
도 11c는 SSVEP 10Hz 결과(1100c)를 예시한다.
도 11d는 SSMVEP 10Hz 결과(1100d)를 예시한다.
도 11e는 SSVEP 12Hz 결과(1100e)를 예시한다.
도 11f는 SSMVEP 12Hz 결과(1100f)를 예시한다.
도 11g는 SSVEP 15Hz 결과(1100g)를 예시한다.
도 11h는 SSMVEP 15Hz 결과(1100h)를 예시한다.
도 12는 하나의 실시예에 따라, 시스템(1200)을 예시한다.
도 13은 하나의 실시예에 따라, 분류기 모델 수정(1300)을 예시한다.
도 14는 하나의 실시예에 따라, 스마트 디바이스(1400)를 예시한다.
도 15는 하나의 실시예에 따라, 클라우드 컴퓨팅 시스템(1500)을 예시한다.
도 16은 하나의 실시예에 따라, 클라우드 컴퓨팅 기능적 추상화 계층(1600)을 예시한다.
정상-상태 모션 시각적 유발 전위(SSMVEP: steady-state motion visually evoked potential) 기반 BCI는, 피로, 시각적 불편, 및 BCI의 상대적으로 낮은 상호작용적 성능을 포함하는, SSVEP BCI 이용의 단점을 해결한다. 플래싱 스타일의 SSVEP 자극과 대조적으로, SSMVEP 자극은 시각적으로 지각된 이동을 도출하도록 설계된다. 하나의 실시예에서, 이 설계는 고정된 주파수에서 변조될 수 있는 동일-휘도 흑색 및 백색 방사상 체커보드(cherckerboard)를 포함할 수 있다. 구체적으로, 이 이동 패턴은 자극의 방사상 수축 및 팽창을 포함할 수 있다. SSMVEP BCI는 조작자에 대한 SSVEP-관련된 불편을 최소화하면서, 다른 유형의 BCI와 비교하여 높은 SNR, 높은 정보 송신 레이트(ITR : information transfer rate), 및 낮은 참여자 훈련 시간과 같은, SSVEP BCI의 장점을 포함한다. SSMVEP 자극은 AR/VR HMD를 통해 제시될 수 있다. 휴대용 EEG 시스템은 AR HMD와 함께 이용되거나 AR HMD 내에 편입될 수 있어서, AR/VR-기반 BCI가 연구 실험실 설정의 외부에서 BCI를 구현하고 실제적인 실세계 애플리케이션을 실현하는 것에 대한 유망한 접근법이 되게 할 수 있다. 광학 시-스루(OST) 기반 HMD는 실세계 환경 시각적 자극 상으로 자극의 오버레이(overlay)를 제공하기 위하여 기존에 이용된 VST HMD에 비해 개선을 제공할 수 있다. OST AR 디바이스는 반-투명 스크린 또는 광학 엘리먼트를 포함할 수 있다. 생성된 자극과 같은 가상 컨텐츠는 사용자의 정상적인 관측 시야 및 그 시야 내에 존재하는 환경적 자극 상에 오버레이된 스크린 상에 직접적으로 디스플레이될 수 있다. 하나의 실시예에서, 신규한 AR-OST 기반 BCI 시스템은 현재의 SSVEP 시스템의 과제를 추가로 해결할 수 있다. AR-OST 기반 BCI 시스템은 본 명세서에서 개시되는 바와 같은 4-타깃 SSMVEP BCI를 이용할 수 있다.
사용자는 자신이 원할 때마다 비동기식 방식으로 BCI와 상호작용할 수 있다. 이것은 BCI가 정밀한 자극 타이밍 또는 미리 정의된 시간 프레임에 종속적이지 않을 수 있다는 것을 의미한다. 큐-페이스형(cue-paced) 또는 동기식 BCI와 비교하면, 비동기식 동작은 연속적인 디코딩 및 응답의 분석을 수반할 수 있다. 이 동작은 더 기술적으로 부담이 될 수 있지만, 더 자연적인 형태의 상호작용을 제공할 수 있다. 비동기식 상호작용 동안에, 동작은 2개의 상태: 의도적 제어(IC : intentional control) 상태 및 제어 없음(NC : no control) 상태를 수반할 수 있다. 이 개시내용에서의 "IC 상태"는 사용자가 생성된 자극에서 응시하는 것으로 검출되거나, 결정되거나, 가정되는 시간을 지칭한다. 이 개시내용에서의 "NC 상태"는 휴식 상태, 또는 사용자가 생성된 자극에서 응시하지 않는 것으로 검출하였거나, 결정하였거나, 가정한 시간을 지칭한다. 컨볼루션 신경망(CNN : convolutional neural network) 기반 방법은 SSMVEP BCI의 비동기식 분류에서 이용될 수 있고, 더 전통적인 분류 알고리즘과 비교하여 개선된 정확도 및 효율로 수행될 수 있다. BCI 시스템의 오프라인 디코딩 성능은 비동기식 방식으로 프로세싱되는 데이터에 대하여 복소 스펙트럼 CNN(C-CNN : Complex Spectrum CNN)을 이용하여 평가될 수 있다.
도 1은 하나의 실시예에 따라, SSMVEP BCI를 이용하기 위한 프로세스(100)를 예시한다. SSMVEP BCI를 이용하기 위한 프로세스(100)는 블록(106)에서, SSMVEP 생성된 자극(102)을 AR-OST에 제공함으로써 시작된다. 이 개시내용에서의 "생성된 자극(generated stimulus)"은 컴퓨터, AR/VR 헤드셋, 또는 다른 유사한 디바이스의 작용에 의해 BCI 사용자에게 제시되는 미리 정의된 또는 동적으로 결정된 지각가능한 엔티티(entity)를 지칭한다. 하나의 애플리케이션에서, 생성된 자극은 사용자의 관측 시야 내로 투영되는 아이콘-유형 디지털 그래픽일 수 있다. 사용자에 의한 이러한 자극의 지각은 BCI에 의해 검출되고 분석된 바와 같은 사용자의 EEG 패턴에서의 변경으로 귀착될 수 있다. 일부 애플리케이션에서, 사용자가 생성된 자극을 감지함으로써 유도되는 EEG 패턴 변경은 사용자에 의해 의도되는 선택, 판정, 또는 작용을 지시하는 것으로서 해독될 수 있다.
하나의 실시예에서, 사용자는 하나 이상의 유형의 환경적 자극으로부터 절연될 수 있다. 이것은 비교를 위한 기준선 판독(baseline reading)을 제공하기 위하여, 환경적 자극으로부터의 간섭에 대한 BCI의 강인성(robusticity)을 결정할 시의 실험적 목적을 위한 것일 수 있다. 또 다른 실시예에서, 환경적 자극은 그 이용 케이스에 대해 특정적인 이유로 차단될 수 있다. 또 다른 실시예에서, 환경적 자극(104)은 SSMVEP 생성된 자극(102)에 추가적으로, 블록(106)에서 AR-OST에 또는 AR-OST를 통해 제공될 수 있다. 이 개시내용에서의 "환경적 자극(environmental stimulus)"은 BCI 사용자 주위의 환경에 대해 외부적이고 이러한 환경에서 지각가능한 시각적, 청각적, 촉각적, 후각적, 또는 다른 자극을 지칭한다. 사용자에 의한 이러한 자극의 지각은 BCI에 의해 검출되고 분석된 바와 같은 사용자의 EEG 패턴에서의 변경으로 귀착될 수 있다. 환경적 자극(104)은 사용자의 EEG 패턴에 영향을 줄 수 있으므로, 그리고, 이러한 영향이 SSMVEP 생성된 자극(102)으로부터의 영향과 경쟁하거나 이와 상충할 수 있으므로, 환경적 자극(104)은, 간섭을 야기시킬 수 있고, SSMVEP 생성된 자극(102)과의 사용자 상호작용을 해독하기 위한 BCI의 능력을 감소시킬 수 있는 교란요인(confounder)으로 간주될 수 있다.
따라서, 하나의 실시예에서, 환경적 자극(104)은 블록(106)에서 AR-OST에 제시되는 SSMVEP 생성된 자극(102)을 변조하기 위하여 이용될 수 있다. 예를 들어, 플래싱 광이 사용자의 환경에서 검출되고, 광이 디폴트 생성된 자극과 연관된 디스플레이 변경의 빈도에 근접한 주파수에서 플래싱하는 경우에, 제시되는 SSMVEP 생성된 자극(102)은 일부 다른 변경의 빈도로 제시될 수 있어서, BCI는 사용자의 검출된 뇌 활동의 주파수-기반 해독에서 교란되지 않을 수 있다. 하루의 시간, 위치 등과 같은 다른 환경적 데이터는 또한, 제시된 SSMVEP 생성된 자극(102)을 변조하여, 다수의 환경적 자극(104) 중의 SSMVEP 생성된 자극(102)과의 상호작용으로부터 사용자 의도를 해독할 시에 BCI 성능의 신뢰성을 개선시키기 위하여 이용될 수 있다.
블록(106)에서, AR-OST는 SSMVEP 생성된 자극(102) 및 환경적 자극(104)을 사용자에게 제시할 수 있다. AR-OST는, 신규한 자극을 동시에 프로그램 방식으로 생성하고 제시하면서, 환경적 자극을 통과할 수 있는 컴퓨터화된 시스템일 수 있다. 하나의 실시예에서, 이것은 사용자가 렌즈 주위의 환경을 시각적으로 지각하는 것을 허용하여, 이에 따라, 환경적 자극(104)을 사용자에게 제공하는 렌즈를 포함하는 바이저(visor)를 갖는 AR 헤드셋일 수 있다. 렌즈는 하나의 실시예에서, 사용자를 위한 생성된 자극을 생성하기 위하여 광을 방출할 수 있는 투명한 유기 발광 디바이스(TOLED : transparent organic light-emitting device)를 포함할 수 있다. 또 다른 실시예에서, 렌즈는 착용자에 대한 환경의 가시성과 간섭하지 않는 정도까지 내부 면 상에서 반사성일 수 있는 반면, 착용자의 관측 시야의 외부에서, 그러나, 렌즈 후방의 바이저 내에서 디바이스로부터 투영된 화상(imagery)을 반사할 수 있다. 이러한 실시예에서, 바이저는 스마트폰과 같은 스마트 디바이스의 삽입을 위한 갭(gap) 또는 슬릿(slit)을 포함할 수 있다. SSMVEP 생성된 자극(102)은 스마트폰의 디스플레이에 의해 산출될 수 있고, AR-OST의 렌즈에 의해 사용자에게 다시 반사될 수 있다.
블록(106)에서 AR-OST 상으로 또는 AR-OST를 통해 제시되는 SSMVEP 생성된 자극(102) 및 환경적 자극(104)은 그 다음으로, 블록(108)에서 사용자의 생리체계(physiology)로 전송될 수 있다. 이 개시내용에서의 "사용자 생리체계"는 사용자의 감각 및 지각 장치를 지칭하고, 전형적으로, 매개 조직, 주변 신경, 및 중심 신경계를 포함한다. 광학 자극에 대하여, 이것은 눈 조직, 망막, 및 후두엽(occipital lobe)을 포함한다. 사용자 생리체계는 통로일 수 있고, 이 통로를 따라, SSMVEP 생성된 자극(102) 및 환경적 자극(104)은 사용자의 뇌에 도달하고, EEG 접촉부와 같은 센서에 의해 검출될 수 있는 신경전기 신호(neuroelectric signal)로서 사용자의 뇌에 영향을 준다.
EEG 신호는 이 EEG 접촉부에 의해 블록(108)에서 검출될 수 있다. 하나 이상의 EEG 신호는 사용자의 두개골(skull)과의 비-침습적(non-invasive) 접촉을 통해 이러한 방식으로 획득될 수 있다. 하나의 실시예에서, 이 신호는 침습적으로 획득될 수 있다. 또 다른 실시예에서, EEG 신호는 침습적 및 비-침습적 센서의 혼합을 이용하여 획득될 수 있다.
판정 블록(112)에서, EEG 신호를 모니터링하고 분석하는 BCI는 검출된 EEG 신호가 사용자가 IC 상태 또는 NC 상태에 참여하는 것을 나타내는지 여부를 결정할 수 있다. 의도적 제어가 결정되거나 검출되지 않는 경우에, BCI는 블록(110)에서 EEG 신호를 모니터링하는 것으로 복귀할 수 있다. BCI가 사용자의 일부 상에서 의도적 제어를 결정하거나 검출하는 경우에, SSMVEP BCI를 이용하기 위한 프로세스(100)는 블록(114)에서 분류기로 진행할 수 있다. 하나의 실시예에서, IC 상태는 자극이 제시될 때에 발생하는 것으로 결정될 수 있고, NC 상태는 자극이 제시되지 않을 때에 발생하는 것으로서 결정될 수 있다. 또 다른 실시예에서, AR/VR 헤드셋 또는 다른 구성 내로 편입되는 카메라 또는 추가적인 센서에 의해 수행되는 응시 추적(gaze tracking)은 사용자의 초점을 제공된 자극 상에 있는 것으로서 검출하기 위하여 이용될 수 있고, 이것은 사용자가 IC 상태에서 상호작용하고 있다는 것을 지시하기 위하여 이용될 수 있다. 또 다른 실시예에서, 자극의 명시적 및 은밀한 감지 사이의 전이는 EEG 데이터에서 검출될 수 있고, 눈 초점 및 의도를 결정하기 위하여 이용될 수 있다. 이 단계는 하나의 실시예에서 BCI에 대해 외부적인 프로세싱에 의해 결정될 수 있다. 이 결정 또는 검출을 BCI 분석 내로 편입하기 위하여 훈련이 필요하지 않을 수 있다. 또 다른 실시예에서, 의도 검출은 디바이스로 내로 프로그래밍되거나 클라우드로부터 인출(retrieve)되는 휴리스틱(heuristic)에 의해 결정될 수 있다. 또 다른 실시예에서, 의도 검출은 의도 검출을 위하여 구체적으로 훈련되는 신경망(neural network)의 일부일 수 있는 분류기에서 발생한다.
블록(114)에서, 분류기는 검출된 EEG 신호를 특성화하기 위하여 호출될 수 있다. 분류기는 EEG 신호가 SSMVEP 생성된 자극(102) 중의 하나 이상에 대응하는지 여부를 평가할 수 있다. 값의 어레이는 자극이 존재할 확률을 표현하는 0으로부터 1까지의 범위 내에서 생성될 수 있다. 일부 실시예에서, 소프트맥스(softmax) 알고리즘 또는 선택 프로세스는 분류기 출력으로부터 단일 엘리먼트를 선택할 수 있다. 판정 블록(116)에서, 자극 특성이 검출되지 않는 경우에, SSMVEP BCI를 이용하기 위한 프로세스(100)는 블록(114)으로 복귀할 수 있다. 일부 실시예에서, 생성된 값의 어레이는 구체적인 분류 판정을 갖지 않는 추가의 프로세싱에 제공될 수 있다.
자극 특성이 판정 블록(116)에서 검출되는 경우에, SSMVEP BCI를 이용하기 위한 프로세스(100)는 추가의 프로세싱(블록(118))을 수행하도록 진행할 수 있다. 추가의 프로세싱은 하나의 실시예에서, 분류기 알고리즘의 정제(refinement), 및 BCI의 성능을 개선시키기 위하여 이 정제로 블록(114)에서 분류기를 업데이트하는 것을 포함할 수 있다.
하나의 실시예에서, SSMVEP 생성된 자극(102)에 대한 모션(motion)의 공간적 및 시간적 주파수는 환경적 자극(104)으로부터 감지되는 공간적 및 시간적 교란요인의 분포에 기초하여 변조될 수 있다. 이러한 방식으로, SSMVEP 생성기는 주변 자극에 관계없이 강인함을 최대화할 수 있다. 또 다른 실시예에서, SSMVEP 생성된 자극(102)의 세트는 그 주요한 시각적 주파수를 추출하기 위하여 분석될 수 있다. 이 주파수는 그 다음으로, 사용자 관심(예컨대, IC 상태 대 NC 상태)을 분류하기 위하여 EEG 신호 분석 동안에 이용될 수 있다. 또 다른 실시예에서, SSMVEP 생성된 자극(102)의 세트는 그 주요한 공간적 주파수를 계산하기 위하여 분석될 수 있다. 시각적 제시 동안에, 애니메이션 레이트(animation rate)는 자극 업데이트를 증가시키거나 감소시키도록 수정될 수 있어서, 구체적인 시간적 주파수가 생성된다. 이 주파수는 주변 주파수 및/또는 환경적 자극(104) 또는 다른 동시에 제시된 자극(공간적 또는 시간적)의 주파수로부터 최대로 구분되도록 선택될 수 있다. 또 다른 실시예에서, 시간적 주파수는 직교 코딩 방식(orthogonal coding scheme), 의사-랜덤 시퀀스(pseudo-random sequence), 또는 다른 결정론적 생성 변조(deterministic generative modulation)를 이용하여 변조될 수 있다.
도 2a 및 도 2b는 예시적인 SSVEP 패턴 및 변형(200)을 예시한다. 4개의 SSVEP 자극은 도 2a에서 도시된 바와 같이, 기본 SSVEP 패턴(202)으로 배열될 수 있다. 이모지(emoji)는 플래싱 SSVEP 자극으로서 이용될 수 있다. 하나의 실시예에서, 이것은 예시된 바와 같은 원형 이모지일 수 있지만, 본 기술분야에서의 통상의 기술자에 의해 알려진 임의의 형상 이미지가 이용될 수 있다. 이 유형의 SSVEP 자극은 기존의 단색성, 컬러화된, 원형 자극과 비교하여, 더 현실적이고 매력적인 자극을 제공할 수 있다.
패턴 내의 SSVEP 자극의 각각은 상이한 변경의 주파수에 대응할 수 있다. 예를 들어, 하나의 자극은 도 2b에서의 SSVEP 이미지 온(204) 및 SSVEP 이미지 오프(206)에 의해 지시된 바와 같이, 온 및 오프 상태 사이에서 전이할 수 있다. 8 Hz, 10 Hz, 12 Hz, 및 15 Hz의 플리커(온/오프) 주파수는 각각 기본 SSVEP 패턴(202) 내의 SSVEP 자극 중의 하나에 적용될 수 있다.
도 3a 내지 도 3d는 하나의 실시예에 따라, 예시적인 SSMVEP 패턴 및 변형(300)을 예시한다. 도 3a에서 예시된 바와 같은 기본 SSMVEP 패턴(302)은 도 2a의 기본 SSVEP 패턴(202)에 대하여 이용될 수 있는 것과 동일한 4-자극 배열을 포함할 수 있다. 그러나, 방사상 체커보드 이미지는 SSMVEP 자극으로서 이용될 수 있다. SSMVEP 자극은 온 및 오프로 플래싱하거나 이전에 논의된 SSVEP 자극으로서 플리커링하도록 의도되는 것이 아니라, 반복적 모션을 편입할 수 있다. 하나의 실시예에서, 이 반복적 이동은 도 2a 및 도 2b에 대하여 설명된 것과 동일한 8 Hz, 10 Hz, 12 Hz, 및 15 Hz 주파수로 발생할 수 있다. 또 다른 실시예에서, 복수의 구분된 자극은 사용자에게 렌더링될 수 있다. 이 구분된 자극은 SSVEP, 방사상 체커보드 SSMVEP, 또는 애니메이팅된 SSMVEP(이하에서 논의됨)의 임의의 조합을 포함할 수 있다.
SSMVEP 자극의 반복적인 이동은 다수의 형태를 취할 수 있다. 하나의 실시예에서, 기본 SSMVEP 이미지(304)는 도 3b에서 도시된 바와 같이, 희망된 주파수에서 상이한 패턴 밀도를 갖는 SSMVEP 이미지(306)로 그리고 반대로 전이할 수 있다. 하나의 실시예에서, 기본 SSMVEP 이미지(304)는 도 3c에서 도시된 바와 같이, 희망된 주파수에서 상이한 크기를 갖는 SSMVEP 이미지(308)로 그리고 반대로 전이할 수 있다. 하나의 실시예에서, 기본 SSMVEP 이미지(304)는 희망된 주파수에서, 도 3d에서 도시된 바와 같이, 회전된 SSMVEP 이미지(310)로 그리고 반대로 전이할 수 있다. 이동을 나타내는 이미지에 대한 다른 변경들은 본 기술분야에서의 통상의 기술자에 의해 고려될 수 있다.
또 다른 실시예에서, SSMVEP 자극은 하나 이상의 정적 이미지를 포함하는 스티커(sticker) 또는 이미지와 같은 반복적인 애니메이팅된 그래픽 시퀀스에 기초할 수 있다. SSMVEP 자극은 BCI에 의해 감지될 수 있는 구체적인 공간적 및/또는 시간적 자극 주파수를 생성하기 위하여 재생 레이트(playback rate)를 변동시킴으로써 애니메이팅된 시퀀스로부터 생성될 수 있다.
도 4a 및 도 4b는 SSVEP BCI 상호작용(400)을 위한 쌍안 투영을 예시한다. 이러한 투영은 본 명세서에서 개시된 해결책에서 편입된 VST HMD 또는 신규한 AR-OST를 착용하는 사용자에게 디스플레이될 수 있다. AR 헤드셋에서의 시각적 자극은 개별적인 사용자에 대하여 교정될 수 있어서, 의도된 디스플레이의 중심 포인트를 사용자의 관측 시야의 중심으로 정렬할 수 있다.
하나의 실시예에서, 도 4a에서 도시된 바와 같이, 이전에 설명된 바와 같은 기본 SSVEP 패턴(202)은 평범한 흑색 배경과 같은 비-활성 배경(402) 상으로 오버레이되어 디스플레이될 수 있다.
또 다른 실시예에서, 도 4b에서 도시된 바와 같이, 기본 SSVEP 패턴(202)은 활성 배경(404) 상으로 오버레이되어 디스플레이될 수 있다. 예를 들어, 초(second) 당 30 개의 프레임에서 플레이되는 도시 설정의 스테레오 비디오가 이용될 수 있다. 비디오는 1인칭 뷰(first-person view)를 도시할 수 있고, 여기서, 카메라는 전형적인 부산한 북미 도시 영역의 거리를 통해 내비게이팅하는 자동차의 전방에 장착된다.
기본 SSVEP 패턴(202)의 4개의 SSVEP 자극은 스테레오 비디오 상에 중첩될 수 있고, 배경에서 연속적으로 플레이되는 비디오와 함께 전경에서 제시될 수 있다. 비디오는 또한, 1인칭 뷰를 회전을 내비게이팅하고 교통 신호등에서 정지하는 것으로서 도시할 수 있고, 배경 사운드를 포함할 수 있고, 비디오 내의 상이한 포인트에서의 관측 포인트(point of view) 이동 또는 일시정지(pause)를 포함할 수 있다.
도 5a 및 도 5b는 하나의 실시예에 따라, SSMVEP BCI 상호작용(500)을 위한 쌍안 투영을 예시한다. 기본 SSMVEP 패턴(302)의 4개의 SSMVEP 자극은 도 4a 및 도 4b에 대하여 설명된 구성과 유사하게, 도 5a에서 도시된 바와 같은 비-활성 배경(402) 및 도 5b에서 도시된 바와 같은 활성 배경(404) 상으로 중첩될 수 있다.
도 6은 하나의 실시예에 따라, AR-OST BCI 구성(600)을 예시한다. 이 구성에서, 사용자(602)는, 부분적으로 투명할 수 있고 일부 실시예에서, 부분적으로 반사성일 수 있는 경량의 광학 시-스루 AR-OST 차폐부(606)를 포함하는 AR-OST(604)를 착용할 수 있다. AR-OST 차폐부(606)는 프레임(608) 내에 유지될 수 있고, 프레임(608)은 또한, 스마트 디바이스(612)가 삽입된 스마트 디바이스 슬롯(610)을 포함할 수 있다. 이러한 방식으로, 스마트 디바이스(612)의 스크린 상에서 생성되는 이미지는 AR-OST 차폐부(606)의 내부에서 반사할 수 있고, 사용자(602)에게 가시적일 수 있다. 또 다른 실시예에서, AR-OST 차폐부(606)는 혼합된 이미지를 사용자의 눈에 제시하기 위하여 OLED 렌더링된 시각적 자극을 환경적 광원과 혼합할 수 있는 투명한 유기 발광 디바이스(TOLED)와 같은 능동 렌더링 메커니즘을 편입할 수 있다. 또 다른 실시예에서, AR-OST 차폐부(606)는 완전히 투명할 수 있지만, 프레임(608)은 또한, 광을 사용자의 망막 상에 직접적으로 렌더링하기 위한 능력을 포함할 수 있다.
스트랩(strap)(614)은 프레임(608)을, BCI(616) 및 복수의 통합된 EEG 전극(618)을 포함하는 격실 액세서리 또는 모듈과 접속할 수 있다. 또 다른 실시예에서, EEG 전극(618)은 별도의 EEG 장치 또는 다른 센서 장치의 일부로서 구성될 수 있다. BCI(616)는 별도의 컴퓨팅 장치로서 유사하게 구성될 수 있다. 다른 센서 장치는 EEG 신호를 취득하기 위한 습식 전극(g.Scarabeo)과 함께 이용된 g.USBamp 및 Gammabox(g.tec Guger Technologies, Austria)를 포함할 수 있다. AR-OST(604) 및 스마트 디바이스(612)는 각각 서로에 대한 그리고 추가적인 컴퓨팅 및 감지 장치에 대한 유선 및 무선 접속을 통해 신호를 전송하고 수신할 수 있다.
최종적으로, AR-OST(604)의 AR-OST 차폐부(606)의 시-스루 성질 때문에, 모니터(620)는 일부 실시예에서 AR-OST BCI 구성(600) 내로 편입될 수 있어서, 상이한 이미지가 전경 특징으로 AR-OST 차폐부(606)의 내부 상에 그리고 배경 특징으로서 모니터(620) 상에 디스플레이되는 것을 허용할 수 있다. 하나의 실시예에서, 모든 이미지는 AR-OST 차폐부(606)의 내부 상에 디스플레이될 수 있고, 또 다른 것에서, AR-OST 차폐부(606) 내에 디스플레이되는 이미지는 사용자의 환경에서 가시적인 복수의 실세계 객체를 오버레이할 수 있다. 또 다른 실시예에서, 렌더링된 자극의 선택은 AR-OST(604) 착용가능한 장치 외부의 환경에서 제시된다. 이 외부 자극은 공간에서 고정된 징후(sign), 광고, 또는 다른 통지일 수 있다.
도 7a 및 도 7b는 하나의 실시예에 따라, AR-OST(700)에서의 SSVEP BCI 이용을 위한 투영을 예시한다. 도 6의 AR-OST BCI 구성(600)은 AR-OST(700)에서의 SSVEP BCI 이용을 위한 투영을 이용하여 AR-OST 및 BCI와의 사용자의 상호작용을 실시하기 위하여 이용될 수 있다.
하나의 실시예에서, 도 7a에서 도시된 바와 같이, 모니터 디스플레이(702)는 흑색 스크린과 같은, 이전에 논의된 비-활성 배경(402)을 포함할 수 있다. 기본 SSVEP 패턴(202)은 AR-OST 차폐부 디스플레이(704)로서 도시될 수 있다. 이 기본 SSVEP 패턴(202)은 도 6에 대하여 설명된 바와 같이, 프레임 내의 스마트 디바이스 슬롯 내의 정위치에서 스마트 디바이스에 의해 생성될 수 있다. 스마트 디바이스는 SSVEP BCI 시스템과 상호작용하도록 설계된 앱(app)을 포함할 수 있거나, 기본 SSVEP 패턴(202) 및 그 변형을 생성하도록 구성된 추가적인 컴퓨팅 디바이스와의 유선 또는 무선 접속을 통해 페어링(pair)될 수 있다.
도 7b에서 예시된 대안적인 실시예에서, 모니터 디스플레이(702)는 도 4b에 대하여 도입된 활성 배경(404)을 포함할 수 있고, 기본 SSVEP 패턴(202) 및 그 변형은 AR-OST 차폐부 디스플레이(704)로서 다시 도시될 수 있다.
도 8a 및 도 8b는 하나의 실시예에 따라, AR-OST(800)에서의 SSMVEP BCI 이용을 위한 투영을 예시한다. 도 6의 AR-OST BCI 구성(600)은 AR-OST(800)에서의 SSMVEP BCI 이용을 위한 투영을 이용하여 AR-OST 및 BCI와의 사용자의 상호작용을 실시하기 위하여 이용될 수 있다.
하나의 실시예에서, 도 8a에서 도시된 바와 같이, 모니터 디스플레이(802)는 흑색 스크린과 같은, 이전에 논의된 비-활성 배경(402)을 포함할 수 있다. 기본 SSMVEP 패턴(302)은 AR-OST 차폐부 디스플레이(804)로서 도시될 수 있다. 이 기본 SSMVEP 이미지(304)는 도 6에 대하여 설명된 바와 같이, 프레임 내의 스마트 디바이스 슬롯 내의 정위치에서 스마트 디바이스에 의해 생성될 수 있다. 스마트 디바이스는 SSVEP BCI 시스템과 상호작용하도록 설계된 앱(app)을 포함할 수 있거나, 기본 SSMVEP 이미지(304) 및 그 변형을 생성하도록 구성된 추가적인 컴퓨팅 디바이스와의 유선 또는 무선 접속을 통해 페어링(pair)될 수 있다.
도 8b에서 예시된 대안적인 실시예에서, 모니터 디스플레이(802)는 도 4b에 대하여 도입된 활성 배경(404)을 포함할 수 있고, 기본 SSMVEP 패턴(302) 및 그 변형은 AR-OST 차폐부 디스플레이(804)로서 다시 도시될 수 있다.
도 8a 및 도 8b는 테스팅을 위한 전위 제어된 실험실 셋업을 예시하지만, 도 8c는 AR-OST(800)에서의 SSMVEP BCI 이용을 위한 투영에 대한 실세계 이용-케이스를 예시한다. AR-OST(604)를 착용하는 사용자(602)는 도시 거리를 따라 인도 아래로 걷는 것과 같은, 사용자의 환경(808) 중의 실세계의 외부에서 상호작용하고 있을 수 있다. 이 경우에, AR-OST 차폐부(806)를 통한 사용자 뷰는 본 명세서에서 개시된 바와 같은 AR-OST(604) 내로 통합되거나 이와 연관된 컴포넌트의 작용에 의해 사용자의 환경(808)의 시각적 지각과 혼합된 디지털 그래픽 엘리먼트로서 기본 SSMVEP 패턴(302)을 편입할 수 있다.
도 9는 하나의 실시예에 따라, C-CNN 프로세스(900)를 예시한다. 입력(902)은 컨볼루션(904)을 통과될 수 있고, 컨볼루션(904)의 결과는 배치 정규화(batch normalization) ReLU 활성화 드롭아웃(906) 단계를 통과할 수 있다. 배치 정규화 ReLU 활성화 드롭아웃(906)으로부터의 데이터는 컨볼루션(908)을 통과할 수 있다. 컨볼루션(908)의 결과는 배치 정규화 ReLU 활성화 드롭아웃(910) 단계를 거칠 수 있어서, 최종적으로, 출력(912)을 도시된 바와 같이 생성할 수 있다. 이것과 같은 C-CNN 프로세스(900)는 크기 스펙트럼(magnitude spectrum)을 입력으로서 이용하는 정준 정정 분석(CCA : canonical correction analysis) 및 CNN과 같은 기존의 접근법보다, 비동기식으로 프로세싱된 데이터에 대한 더 높은 정확도를 제공할 수 있다. C-CNN 방법은 자극 검출을 위하여 SSVEP 및 SSMVEP 데이터의 둘 모두에 대해 훈련될 수 있다.
C-CNN 프로세스(900)는 하나의 실시예에서, 고정된 윈도우 길이(W = [1 초, 2 초]) 및 0.1 초의 스텝 크기를 갖는 비동기식 방식으로 BCI 데이터를 프로세싱할 수 있다. 2 초 초과의 윈도우 길이는 실시간으로 적용될 때, 전체적인 BCI 시스템의 속도에 상당히 영향을 줄 수 있다. C-CNN은 C-CNN에 대한 입력으로서 제공되는 고속 푸리에 변환(FFT : Fast Fourier Transform) 신호의 실제 및 가상 부분의 연접에 기초할 수 있다. 하나의 실시예에서, 세그먼트화된 EEG 데이터의 복소 FFT는 0.2930 Hz의 분해능에서 계산될 수 있다. 다음으로, 실제 및 가상 주파수 컴포넌트는 각각의 채널을 따라 추출될 수 있고, 다음으로서 단일 특징 벡터 내로 연접될 수 있다: . 그 결과, 각각의 채널에 대한 특징 벡터는 차원 을 갖는 입력 행렬 을 형성하기 위하여 하나가 다른 것의 아래에 적층될 수 있고, 여기서, 및 이다.
C-CNN 프로세스(900)는 사용자-종속적 시나리오에서 훈련될 수 있고, 여기서, 분류기는 단일 참여자로부터의 데이터에 대해 훈련되고, 동일한 참여자의 데이터에 대해 테스트될 수 있다. 프리프로세싱 단계는 C-CNN을 훈련시키기 위한 훈련 예의 수를 증가시키기 위하여 데이터 증강 전략(data augmentation strategy)으로서 제공될 수 있다. 8-폴드 층상화된 교차-유효성확인(eight-fold stratified cross-validation)은 분류기의 성능을 평가하기 위하여 수행될 수 있어서, 훈련과 유효성확인 폴드 사이에는 중첩하는 샘플이 없다. 이것은 하나의 시도를 교차-유효성확인으로 두는 것(leave one-trial out cross-validation)과 동등하다. W = 1 초에 대하여, 각각의 폴드는 각각 훈련 및 테스팅 세트 내에 1456 및 912개의 세그먼트를 포함할 수 있다. W = 2 초에 대하여, 각각 훈련 및 테스팅 세트 내에 1176 및 168개의 세그먼트가 있을 수 있다. 게다가, C-CNN은 각각의 자극 유형, 배경 유형, 및 윈도우 길이에 대한 단일 참여자에 대하여 개별적으로 훈련될 수 있다. 훈련가능한 파라미터의 총 수는 5482일 수 있다.
하나의 실시예에서, C-CNN은 인텔 코어(Intel Core) i5-7200 중앙 프로세싱 유닛(CPU : central processing unit) @ 2.50 GHz 및 8 GB 랜덤 액세스 메모리(RAM : random access memory)과 같은 프로세서 및 메모리 시스템 상에서 훈련될 수 있다. 카테고리 교차-엔트로피 손실은 네트워크를 훈련시키기 위하여 이용될 수 있다. 네트워크의 최종적인 파라미터는 참여자들에 걸쳐 가장 높은 분류 정확도를 제공한 값에 기초하여 결정될 수 있다. 하나의 실시예에서, 선택된 파라미터는 = 0.001, momentum = 0.9, D = 0.25, L = 0.0001, E = 50, 및 B = 64일 수 있고, 여기서, 는 학습 레이트이고, D는 드롭아웃 레이트이고, L은 L2 규칙화 상수이고, E는 에포크(epoch)의 수이고, B는 배치 크기(batch size)이고, 이 파라미터는 본 기술분야에서 양호하게 이해된다.
또 다른 실시예에서, 분류 프로세스는 다수의 시간-종속적 입력 신호를 미리 정의된 클래스의 세트로 프로세싱하기 위하여 적당한 휴리스틱, 전문가-시스템, 변환기, 장단기 메모리(LSTM : long short-term memory), 순환 신경망(RNN : recurrent neural network), CCA, 또는 임의의 다른 분류 알고리즘에 의해 수행될 수 있다.
비-활성 배경 및 1-초 윈도우 길이 하에서의 비동기식 4-클래스 AR-SSVEP BCI에 대한 오프라인 디코딩 성능은 본 명세서에서 설명된 C-CNN 방법으로 82% ± 15%일 수 있다. AR-SSMVEP BCI는 C-CNN 방법으로, W = 1 s에 대한 비-활성 배경(NB : non-active background): 71.4% ± 22%, 및 활성 배경(AB : active background): 63.5% ± 18%, W = 2 s에 대한 83.3% ± 27%(NB) 및 74.1% ± 22%(AB)의 오프라인 디코딩 성능을 달성할 수 있다. C-CNN 접근법을 이용하는 비동기식 의사-온라인 SSMVEP BCI는 자극의 시작에 정밀하게 동기화될 필요가 없을 수도 있는 높은 디코딩 성능을 제공할 수 있다. 추가적으로, 이 접근법은 배경 조건에서의 변경에 대해 강인할 수 있다. 정상-상태와 전이 상태 사이의 성능에서의 차이가 관찰될 수 있고, 세그먼트화 및 훈련의 방법에 기인할 수 있다. 전이 상태 윈도우가 훈련 국면 동안에 분류기에 의해 보여지지 않을 수 있으므로, 이 영역은 의사-온라인 테스팅 국면에서 오분류될 수 있다. 전이 상태 동안의 윈도우는 정상-상태 및 전이 상태 데이터의 혼합을 포함할 수 있어서, 이러한 윈도우에 라벨을 붙이는 것을 과제로 할 수 있다. 이 시나리오는 온라인 시스템에서 발생할 가능성이 있을 수 있는 에러와 밀접하게 닮아 있다. 하나의 간단한 해결책은 검출 윈도우 길이를 증가시키는 것일 수 있다. 이것은 에러를 감소시킬 수 있고, 전체적인 성능을 강화할 수 있다.
도 10은 하나의 실시예에 따라, IC 상태 및 NC 상태(1000)를 예시한다. AR-OST 및 BCI를 착용하고 이와 상호작용하는 사용자의 시간은 휴식 주기(1002), 큐 주기(1004), 및 자극 주기(1006)를 포함할 수 있다. 훈련, 교정, 또는 평가 설정에서, 이 주기는 미리 결정된 고정된 시간의 길이로서 설정될 수 있다. 예를 들어, 2 초의 큐 주기(1004)는 6-초 자극 주기(1006)에 선행할 수 있다. 큐 주기(1004) 동안에, 자극 주기(1006) 동안에 포커싱되어야 할 자극은 하이라이트(highlight)될 수 있다. 자극 주기(1006) 동안에, 그 자극은 희망된 주파수에서 변조될 수 있다. 4-초 휴식 주기가 뒤따를 수 있고, 그 동안에는 자극이 제시되지 않는다.
AR-OST 및 BCI와의 비동기식 상호작용 동안에, 착용자는 상이한 타이밍을 갖는 큐 주기(1004) 및 자극 주기(1006)를 가질 수 있고, 큐 주기(1004)를 가지지 않을 수 있고, 자극 제시의 확립된 주기성을 갖지 않는, 구체적인 기간이 없는 휴식 주기(1002)를 가질 수 있다. 상황이 사용자의 환경에서 발생할 때, 또는 사용자가 어떤 이용 모드를 비동기식으로 호출할 때, 자극이 오히려 제시될 수 있다.
하나의 실시예에서, BCI는 휴식 주기(1002) 및 큐 주기(1004)가 NC 상태(1010)를 구성하는 것으로 가정할 수 있다. 자극이 제시되지 않음으로써, 어떤 제어도 사용자에 의해 의도되지 않을 수 있다. 자극이 자극 주기(1006) 동안에 제시될 때, BCI는 사용자가 IC 상태(1008)에 진입한 것으로 가정할 수 있다. 도 1의 판정 블록(112)에 관하여 설명된 바와 같이, 응시 검출과 같은, 사용자 상호작용의 다른 측면은 사용자가 그 AR 경험의 일부 측면을 제어하도록 의도하는 것으로 결정하기 위하여 모니터링될 수 있다.
IC 상태(1008) 대 NC 상태(1010)의 가정 또는 검출에 기초한 EEG 신호의 프로세싱을 정제하기 위하여, C-CNN 아키텍처의 최종적인 소프트맥스 계층은 제5 NC 클래스를 포함하도록 수정될 수 있다. 이것은 총 5개의 신경: 4개의 상태 및 하나의 상태로 귀착될 수 있다. 컨볼루션 계층 및 커널(kernel)은 4-클래스 아키텍처에서와 동일하게 유지될 수 있다. 8-폴드 교차-유효성확인 방식은 IC 대 NC 검출을 평가하기 위하여 이용될 수 있다. 네트워크는 카테고리 교차-엔트로피 손실로 훈련될 수 있다. 네트워크의 최종적인 파라미터는 하나의 실시예에서 다음으로서 선택될 수 있다: = 0.001, momentum = 0.9, D = 0.25, L = 0.0001, E = 80, 및 B = 40.
하나의 실시예에서, 2-클래스 분류 결과(IC 대 NC)는 5-클래스 C-CNN의 결과로부터 추론될 수 있다. 4개의 타깃 자극 예측은 단일 카테고리 IC 클래스와 조합될 수 있고, 나머지 상태/NC는 제2 클래스일 수 있다. 혼돈 행렬(confusion matrix)로부터, 사용자가 타깃을 보고 있고 분류기가 이 세그먼트를 정확하게 IC 상태로서 예측할 때, 참 포지티브(TP : true positive)가 IC 상태 동안에 정의될 수 있다. 분류기가 참 라벨(true label)이 NC 상태일 때에 세그먼트를 IC로서 예측할 때, 거짓 포지티브(FP : false positive)가 정의될 수 있다. 분류기가 IC 상태를 NC로서 오분류하였을 경우에, 이것은 거짓 네거티브(FN : false negative)로서 정의될 수 있다. F1-점수 및 거짓 활성화 레이트(FAR : false activation rate)는 그 다음으로, 다음으로서 계산될 수 있다:
실제적인 애플리케이션에 대하여, IC/활성 상태를 상이한 활성 상태로 분류하는 것은, 그것을 비활성 클래스로서 분류하는 것보다 더 부정적인 효과를 가질 수 있다. 그러므로, FAR은 상이한 IC 상태 내에서의 오분류, 즉, 하나의 IC 상태와 또 다른 IC 상태 사이의 오분류의 레이트로서 정의될 수 있다. 을 5-클래스 분류의 결과적인 혼돈 행렬인 것으로 간주하고, 여기서, Nc = 4는 IC 상태의 수이다. 각각의 클래스에서의 테스트 예의 수에 의해 IC를 정규화한 후에, 클래스 당 FAR(Fj)은 다음으로서 정의될 수 있다:
최종적으로, 모든 자극 주파수에 걸친 평균 FAR은 다음에 따라 계산될 수 있다:
교차-유효성확인 폴드 중의 하나로부터의 훈련된 5-클래스 C-CNN은 전체 훈련 세션 상에서 의사-온라인 방식(pseudo-online) 방식으로 적용될 수 있다. 구체적으로, 이것은 IC와 NC 사이의 전이 세그먼트를 포함하는 데이터의 세그먼트를 포함하는 연속적인 디코딩 시나리오에서 적용될 수 있다. 이 단계는 온라인 비동기식 BCI를 에뮬레이팅(emulate)할 수 있다.
도 11a 내지 도 11h는 예시적인 구성을 이용하여 테스트된 바와 같은 비-활성 배경 및 활성 배경 조건 하에서 SSVEP 및 SSMVEP 자극 응답의 평균 크기 스펙트럼을 예시한다. 도 11a는 SSVEP 8 Hz 결과(1100a)를 예시한다. 도 11b는 SSMVEP 8 Hz 결과(1100b)를 예시한다. 도 11c는 SSVEP 10 Hz 결과(1100c)를 예시한다. 도 11d는 SSMVEP 10 Hz 결과(1100d)를 예시한다. 도 11e는 SSVEP 12 Hz 결과(1100e)를 예시한다. 도 11f는 SSMVEP 12 Hz 결과(1100f)를 예시한다. 도 11g는 SSVEP 15 Hz 결과(1100g)를 예시한다. 도 11h는 SSMVEP 15 Hz 결과(1100h)를 예시한다.
각각의 그래프 내의 삽입부는 기본 자극 주파수의 확대된 버전을 도시한다. SSVEP 8 Hz 결과(1100a)에 대하여, NB 피크 응답(1102) 및 AB 피크 응답(1104)이 도시되어 있다. SSMVEP 8 Hz 결과(1100b)에 대하여, NB 피크 응답(1106) 및 AB 피크 응답(1108)이 도시되어 있다. SSVEP 10 Hz 결과(1100c)에 대하여, NB 피크 응답(1110) 및 AB 피크 응답(1112)이 도시되어 있다. SSMVEP 10 Hz 결과(1100d)에 대하여, NB 피크 응답(1114) 및 AB 피크 응답(1116)이 도시되어 있다. SSVEP 12 Hz 결과(1100e)에 대하여, NB 피크 응답(1118) 및 AB 피크 응답(1120)이 도시되어 있다. SSMVEP 12 Hz 결과(1100f)에 대하여, NB 피크 응답(1122) 및 AB 피크 응답(1124)이 도시되어 있다. SSVEP 15 Hz 결과(1100g)에 대하여, NB 피크 응답(1126) 및 AB 피크 응답(1128)이 도시되어 있다. SSMVEP 15 Hz 결과(1100h)에 대하여, NB 피크 응답(1130) 및 AB 피크 응답(1132)이 도시되어 있다.
2개의 배경 조건(NB 및 AB) 하에서의 4개의 자극 주파수(8 Hz, 10 Hz, 12 Hz, 및 15 Hz)에 대한 SSVEP 및 SSMVEP 응답의 평균 크기 스펙트럼은 본 명세서에서 예시된 것과 같은 예시적인 결과를 달성하기 위하여 모든 참여자, 시도, 및 전극 채널(O1, Oz, O2)에 걸쳐 평균화될 수 있다. 각각의 SSVEP 자극에 대한 평균 크기 스펙트럼은 타깃화된 기본 자극 주파수 및 그 대응하는 고조파에서 피크를 명확하게 지시한다. 다음으로, 각각의 SSMVEP 자극에 대하여, 타깃화된 기본 주파수에서의 지배적인 피크는 모든 주파수에 대하여 관찰될 수 있고, 다른 지배적인 응답은 대응하는 고조파에서 관찰되지 않았다. 이 결과는 제안된 광학 시-스루 AR 시스템에 대하여 설계된 시각적 자극이 희망된 SSVEP 및 SSMVEP 응답을 도출할 수 있다는 것을 확인한다.
활성 배경의 존재가 SSVEP 자극에 대한 기본 주파수 및 고조파에서 응답의 진폭을 감소시킬 수 있다는 것이 또한 관찰될 수 있다. 각각의 자극 주파수에 대하여 NB와 AB 사이에서 연산된 진폭에서의 차이는 지시된 바와 같이, 각각 0.3 μV(8 Hz), 0.86 μV(10 Hz), 0.44 μV(12 Hz), 및 0.43 μV(15 Hz)일 수 있다. 다른 한편으로, SSMVEP 자극에 대하여, NB와 AB 사이의 기본 주파수의 진폭에서의 차이는 각각 0.05 μV(8 Hz), 0.19 μV(10 Hz), 0.13 μV(12 Hz), 및 0.09 μV(15 Hz)일 수 있다. 모든 자극 주파수에 대한 NB로부터 AB로의 진폭에서의 평균 감소는 각각 SSVEP 및 SSMVEP 응답에 대하여 28.2% 및 8.3%일 수 있다. NB 대 AB에 대한 SSVEP 자극에 대한 모든 참여자에 걸친 평균 SNR은 8 Hz에서 6.75 대 5.43, 10 Hz에서 8.15 대 5.9, 12 Hz에서 6.9 대 5.32, 그리고 15 Hz에서 8.82 대 6.7일 수 있다. 반대로, SSMVEP 자극에 대한 SNR 값은 (dB): 8 Hz에서 5.65 대 5.32, 10 Hz에서 6.59 대 5.77, 12 Hz에서 6.11 대 6.09, 그리고 15 Hz에서 6.02 대 6.17일 수 있다. SSVEP 및 SSMVEP에 대한 모든 주파수에 걸쳐 NB와 AB 사이의 SNR에서의 평균 감소는 각각 1.75 dB 및 0.25 dB이었다.
SSVEP 자극에 대하여, 활성 배경은 모든 자극 주파수에 걸쳐 비-활성 배경보다 일관되게 더 낮은 CCA 계수로 귀착될 수 있다. 대조적으로, SSMVEP 자극에 대하여, CCA 계수의 크기는 모든 자극 주파수에 걸쳐 2개의 배경 사이에서 유사할 수 있다. 이것은 SSMVEP 자극의 측정된 지각이 유사한 SSVEP 자극의 측정된 지각보다 활성 배경의 존재에 의해 덜 영향받는다는 것을 지시할 수 있다. 두 자극 유형에 대하여, 15 Hz 자극에 대한 응답은 활성 배경의 존재에 의해 가장 많이 영향받을 수 있다.
활성 배경으로 인한 진폭에서의 감소에 대한 이유 중의 하나는 배경에서의 경쟁하는 자극의 존재에 기인할 수 있다. 이전의 연구는 다수의 플리커링 시각적 자극이 동일한 필드(field) 내에 배치될 때, 이들이 신경 표면에 대하여 경쟁한다는 것을 보여주었다. 이것은 경쟁하는 자극의 효과로 칭해진다. 그러므로, 배경 비디오에서의 다양한 시각적 엘리먼트는 SSVEP 자극의 전체적인 강인함에서의 감소를 초래하는 신경 표면과 간섭하지 않거나 이와 경쟁하지 않을 수 있다는 것이 가능하다. 다른 한편으로, 활성 배경이 도입될 때, SSMVEP 자극에 대한 응답의 크기에서의 감소가 없을 수 있다. 이것은 SSMVEP 자극이 배경에서의 경쟁하는 자극의 존재 시에도 더 강인하다는 것을 보여줄 수 있다.
두 자극 유형에 대한 응답의 진폭에서의 감소는 활성 배경의 존재 시의 시각적 및 정신적 부하에서의 증가에 기인할 수 있다. 플리커링 SSVEP 자극에 의해 유도된 정신적 부하는 SSMVEP 자극에 대한 것보다 더 높을 수 있다. 그러므로, SSMVEP 자극에 의한 관심 요구에서의 감소는 일반적으로, SSVEP 자극과 비교하여, SSMVEP 자극에 의한 더 높은 성능을 초래할 수 있다.
도 12는 하나의 실시예에 따라, 시스템(1200)을 예시한다. 시스템(1200)은, 스마트 디바이스(1210) 및 BCI(1226)와 통합되었을 수 있거나, 이와 밀접하게 연관되거나 페어링되었을 수 있는, 센서(1206) 및 사용자(1268)에 의해 착용되는 웨어러블 생체신호 감지 디바이스(1208)를 포함할 수 있다. 스마트 디바이스(1210)는 컨텍스트 모듈(1212), 사용자 애플리케이션(1214), 및 렌더링 디바이스(1220)를 포함할 수 있다. BCI(1226)는 생체센서(1224), 신호 조절부(1228), 의도적 제어 신호 검출부(1230), 및 분류기(1232)를 포함할 수 있다. 시스템(1200)은 일부 실시예에서, 클라우드 서버(1250) 상에 저장되고 클라우드 서버(1250)에 대한 접속을 통해 액세스되는 컨텍스트 관리기(1252) 및 모델 수정 프로세스(1254)를 포함할 수 있다.
센서(1206)는 웨어러블 생체신호 감지 디바이스(1208) 및 스마트 디바이스(1210) 중의 어느 하나, 둘 모두와 통합될 수 있거나, 이들 중의 어느 것과도 통합되지 않을 수 있다. 센서(1206)는 또한, 사용자(1268)에 의해 착용될 수 있거나, 사용자(1268)에 의해 착용되거나 운반된 장비 상에 장착될 수 있다. 웨어러블 생체신호 감지 디바이스(1208) 및 스마트 디바이스(1210) 내로 통합된 센서는 내부 센서(1260)로서 본 명세서에서 지칭될 수 있다. 그렇게 통합되지 않은 센서는 외부 센서(1262)로서 본 명세서에서 지칭될 수 있다.
하나의 실시예에서, 센서(1206)는 주변 환경(1202)으로부터 환경적 자극(1204)을 수신할 수 있다. 이 센서(1206)는 본 기술분야에서 양호하게 이해되는 바와 같이, 가시 광, 가시 스펙트럼 너머의 광, 사운드, 압력, 온도, 환경에서의 객체의 인접성, 환경에서의 객체 또는 웨어러블 생체신호 감지 디바이스(1208) 및 사용자(1208)의 모션의 가속도 및 방향, 또는 환경(1202)의 다른 측면 및 환경(1202) 내의 작용을 검출하는 내부 센서(1260) 또는 외부 센서(1262)일 수 있다.
하나의 실시예에서, 센서(1206)는 또한, 사용자의 신체적 상태 및 작용(1266)에 대한 정보를 검출할 수 있다. 예를 들어, 센서(1206)는 카메라, 심박수 모니터, 보행용 의학적 디바이스 등과 같은 몸체-장착된 센서인 외부 센서(1262)일 수 있다. 이 센서(1206)는 본 기술분야에서 양호하게 이해되는 바와 같이, 예컨대, 응시 검출, 음성 검출 및 인식, 발한(perspiration) 검출 및 조성 등을 통해 사용자의 작용, 이동, 의도, 및 조건의 측면을 검출할 수 있다. 센서(1206)는 출력을 센서 데이터(1264)로서 제공할 수 있다. 센서 데이터(1264)는 센서(1206)를 구성하는 내부 센서(1260) 및 외부 센서(1262)에 의해 검출된 바와 같은, 환경적 자극(1204) 및 사용자의 신체적 상태 및 작용(1266)과 연관된 정보를 운반할 수 있다.
일부 실시예에서는, 다른 센서 데이터(1264)로부터 환경적 자극 데이터(1240)를 구별하는 것이 유용할 수 있고, 환경적 자극 데이터(1240)는 별도의 데이터 신호 스트림의 일부로서 송신될 수 있고, 필요한 바와 같이 추가적인 또는 대안적인 논리적 분석, 프로세싱, 및 이용을 거칠 수 있다. 다른 실시예에서, 환경적 자극(1204)에 응답하여 생성되는 환경적 데이터를 포함하는, 센서 데이터(1264)의 모든 컴포넌트는 이와 관련하여 비구별될 수 있고, 단일 데이터 신호 스트림의 일부로서 간주될 수 있다.
웨어러블 생체신호 감지 디바이스(1208)는, 센서(1206), 스마트 디바이스(1210), 및 BCI(1226)의 물리적 조립체일 수 있다. 하나의 실시예에서, 웨어러블 생체신호 감지 디바이스(1208)는 도 6에 대하여 설명되는 바와 같은 AR-OST(604)일 수 있다. 스마트 디바이스(1210)는 감지, 디스플레이, 및 네트워크 기능을 편입할 수 있다. 스마트 디바이스(1210)는 하나의 실시예에서, AR-OST(604)의 스마트 디바이스 슬롯(610) 내에서 유지될 수 있는 스마트폰 또는 스마트 태블릿 컴퓨터일 수 있다. 하나의 실시예에서, 스마트 디바이스(1210)는 라즈베리 파이(Raspberry Pi) 단일 보드 컴퓨터와 같은 내장된 컴퓨터일 수 있다. 하나의 실시예에서, 스마트 디바이스(1210)는 퀄컴 스냅드래곤(Qualcomm SnapDragon) SoC와 같은 시스템 온 칩(SoC : system on a chip)일 수 있다. 일부 실시예에서, 스마트 디바이스(1210)는 하드웨어 자원 및 사용자 애플리케이션의 수명-사이클(life-cycle)을 관리하도록 구성된 안드로이드(Android) 또는 iOS와 같은 오퍼레이팅 시스템(operating system)을 가질 수 있다.
스마트 디바이스(1210)는 센서(1206), 웨어러블 생체신호 감지 디바이스(1208), 사용자 생리체계(1222), 및 BCI(1226)의 상호작용을 통한 AR 핸즈프리(handsfree) 제어를 포함하기 위한 사용자 애플리케이션(1214)과의 사용자 상호작용을 증강하기 위한 목적을 위하여, 컨텍스트 모듈(1212)과 통신하는 적어도 하나의 사용자 애플리케이션(1214)으로 추가로 구성될 수 있다. 사용자 애플리케이션(1214)은 사용자 상호작용에 의존하는 스마트 디바이스 상에서 실행되는 애플리케이션일 수 있다. 이러한 사용자 애플리케이션(1214)은 가상 키보드와 같은 가상 입력 디바이스, 구글 맵스(Google Maps) 및 웨이즈(Waze)와 같은 헤드-업(head-up) 대화형 맵 인터페이스, 아마존(Amazon)의 알렉사(Alexa) 또는 애플(Apple)의 시리(Siri)와 같은 가상 어시스턴트 등을 포함할 수 있다.
하나의 실시예에서, 다른 컨텍스트 데이터(1218)는 본 명세서에서 개시된 해결책에 의해 이용가능할 수 있다. 다른 컨텍스트 데이터(1218)는 미-감지되는 데이터, 즉, 센서(1206)로부터 획득되는 것이 아니라, 인터넷 및 스마트 디바이스(1210) 상에서 동작하는 사용자 애플리케이션(1214)과의 스마트 디바이스(1210)의 상호작용을 통해 획득되는 데이터를 포함할 수 있다. 예를 들어, 다른 컨텍스트 데이터(1218)는 스마트 디바이스의 내장된 시간추적 능력으로부터 검출되거나 인터넷으로부터 획득되는 날짜 및 하루의 시간, 약속의 구체적인 위치 및 시간을 포함하는, 달력 애플리케이션으로부터의 약속, 애플리케이션 통지 및 메시지 등을 포함할 수 있다.
컨텍스트 모듈(1212)은 단독형 애플리케이션일 수 있거나, 다른 상업적으로 입수가능한 애플리케이션 내에서 컴파일링되고 본 명세서에서 개시된 해결책을 지원하도록 구성될 수 있다. 컨텍스트 모듈(1212)은 센서(1206)(내부 센서(1260) 및 외부 센서(1262) 중의 어느 하나 또는 둘 모두) 및 스마트 디바이스(1210)로부터 환경적 자극 데이터(1240), 센서 데이터(1264), 및 다른 컨텍스트 데이터(1218)의 임의의 조합을 수신할 수 있다. 컨텍스트 모듈(1212)에 제공되는 데이터는 환경적 자극 데이터(1240), 센서 데이터(1264), 다른 컨텍스트 데이터(1218) 중의 적어도 하나를 포함할 수 있다. 하나의 실시예에서, 컨텍스트 모듈(1212)에 제공되는 데이터는 환경적 자극 데이터(1240)를 포함한다. 하나의 실시예에서, 컨텍스트 모듈(1212)에 제공되는 데이터는 센서 데이터(1264)를 포함한다. 하나의 실시예에서, 컨텍스트 모듈(1212)에 제공되는 데이터는 다른 컨텍스트 데이터(1218)를 포함한다. 하나의 실시예에서, 컨텍스트 모듈(1212)에 제공되는 데이터는 환경적 자극 데이터(1240) 및 센서 데이터(1264)를 포함한다. 하나의 실시예에서, 컨텍스트 모듈(1212)에 제공되는 데이터는 환경적 자극 데이터(1240) 및 다른 컨텍스트 데이터(1218)를 포함한다. 하나의 실시예에서, 컨텍스트 모듈(1212)에 제공되는 데이터는 센서 데이터(1264) 및 다른 컨텍스트 데이터(1218)를 포함한다. 하나의 실시예에서, 컨텍스트 모듈(1212)에 제공되는 데이터는 환경적 자극 데이터(1240), 센서 데이터(1264), 및 다른 컨텍스트 데이터(1218)를 포함한다. 환경적 자극 데이터(1240), 센서 데이터(1264), 및 다른 컨텍스트 데이터(1218)는 환경적 데이터, 몸체-장착된 센서 데이터, 접속된 보행용 디바이스 데이터, 위치 특정 접속된 디바이스 데이터, 및 네트워크 접속된 디바이스 데이터 중의 적어도 하나를 포함할 수 있다.
컨텍스트 모듈(1212)은 스마트 디바이스(1210) 상의 사용자 애플리케이션(1214)으로부터 하나 이상의 요청된 자극 데이터(1216)를 수신할 수 있다. 이 요청된 자극 데이터(1216)는 사용자 애플리케이션(1214)이 사용자가 다수의 옵션 중에서 선택하는 것을 필요로 한다는 것을 지시할 수 있다. 컨텍스트 모듈(1212)은 웨어러블 생체신호 감지 디바이스(1208) 또는 스마트 디바이스(1210) 상에서 구현되는 내부 센서(1260), 스마트 디바이스(1210) 또는 웨어러블 생체신호 감지 디바이스(1208)와 통신하는 외부 센서(1262), 또는 다른 컨텍스트 데이터(1218) 내에 포함된 미-감지된 데이터로부터의 환경적 자극 데이터(1240), 센서 데이터(1264), 및 다른 컨텍스트 데이터(1218) 중의 적어도 하나의 수신으로부터 디바이스 컨텍스트 상태를 결정하기 위한 프로세스를 포함할 수 있다.
컨텍스트 모듈(1212)은 디바이스 컨텍스트 상태를 통지하는 환경적 자극 데이터(1240), 센서 데이터(1264), 및 다른 컨텍스트 데이터(1218)에 적어도 부분적으로 기초하여, 사용자 애플리케이션(1214)으로부터의 요청된 자극 데이터(1216)의 적어도 부분을 수정된 자극(1238)으로 변환하기 위한 능력을 추가로 편입할 수 있다. 컨텍스트 모듈(1212)은 이러한 방식으로, 사용자(1268)가 BCI-가능형 AR 인터페이스를 이용하여 요청된 자극 데이터(1216)에 의해 지시된 옵션 중에서 선택을 행하는 것을 허용하기 위하여, 웨어러블 생체신호 감지 디바이스(1208)의 사용자(1268)에게 제공될 수 있는 수정된 자극(1238)을 개발할 수 있다. 수정된 자극(1238)은 도 3a에 대하여 도입된 SSMVEP 자극과 같은 시각적 아이콘을 편입할 수 있다. 예컨대, 사용자에게 제시되는 옵션과, 사용자 관심을 얻기 위하여 경쟁할 수 있는 환경적 자극(1204)과의 사이의 구분을 개선시키기 위하여, 이 SSMVEP 자극은 디바이스 컨텍스트 상태에 기초하여 컨텍스트 모듈(1212)에 의해 수정될 수 있다. 따라서, 컨텍스트 모듈(1212)은 디폴트 SSMVEP 자극, 다른 디폴트 자극, 및 요청된 자극 데이터(1216)가 미수정된 상태로 완수하는 것이 가능할 수 있는 것보다, 웨어러블 생체신호 감지 디바이스(1208) 및 BCI(1226)를 통해 사용자(1268)로부터의 더 용이하게 구별된 응답을 유발할 수 있는 수정된 자극(1238)을 산출하기 위하여, 환경적 자극 데이터(1240), 센서 데이터(1264), 및 다른 컨텍스트 데이터(1218)에 의해 제공되는 컨텍스트를 이용할 수 있다.
예를 들어, 환경적 자극(1204)이 10 Hz에서 거동을 나타내는 디폴트 생성된 자극을 이용하는 것이 아니라, 10 Hz 주파수에서 주기적 거동을 나타내는 환경적 자극 데이터(1240)로서 검출되는 경우에, 컨텍스트 모듈(1212)은 12 Hz의 주파수에서 그 거동을 나타내기 위하여 그 10 Hz 디폴트 생성된 자극을 변환할 수 있어서, 10 Hz 거동을 나타내는 환경적 자극에 대한 사용자 관심은 사용자(1268)가 유사한 주파수에서 거동하는 메뉴 옵션에 고착하는 것으로 오인되지 않는다. 환경적 자극(1204)에 기초한 수정은 또한, 사용자 선택을 위하여 제시되는 자극이 사용자의 시각 시야에서 어디에 위치되는지를 변경하는 것, 유발 전위를 청각적 또는 촉각적 자극 응답으로 변환하는 것, 또는 환경적 자극 데이터(1240)을 통해 검출된 환경적 조건에 의해 편법으로 렌더링되거나, 스마트 디바이스(1210) 구성을 통해 이용가능한 사용자 선호도에 의해 특정된 바와 같은 다른 수정을 포함할 수 있다.
스마트 디바이스(1210)는 수동 또는 능동 렌더링 디바이스(1220) 능력을 편입할 수 있다. 이것은 수정된 자극(1238) 뿐만 아니라 환경적 자극(1204)이 사용자(1268)에게 제시되는 것을 허용할 수 있다. 이 렌더링 디바이스(1220)는 환경적 자극(1204)을 수정된 자극(1238)과 혼합할 수 있어서, 사용자의 감각 시스템으로의 제시를 위한 렌더링된 자극(1256)으로 귀착되어, 사용자(1268)가 환경(1202)의 조건, 및 사용자 애플리케이션(1214)의 사용자 인터페이스를 동작시키는 것에 필수적인 선택의 둘 모두를 지각하는 것을 허용할 수 있다. 수정된 자극 및 환경적 자극(1204)은 사용자(1268)에 의해 감지되는 시각적 디바이스, 청각적 디바이스, 및 촉각적 디바이스 중의 적어도 하나를 이용하여 렌더링될 수 있다. 하나의 실시예에서, 렌더링 디바이스(1220) 능력은 도 6에 대하여 설명된 바와 같이, 투명한 부분적으로 반사성 AR-OST 차폐부(606)에 의해 제공될 수 있다. 환경적 자극(1204)은 사용자에 의해 직접적으로 지각될 수 있고, 시각적 자극은 AR-OST 차폐부(606)를 통해 투과된 광을 통해 운반될 수 있다. 수정된 자극(1238)의 시각적 측면은 디스플레이를 위하여 렌더링될 수 있고, 스마트 디바이스 슬롯(610) 내에 존재하는 스마트 디바이스(1210 상에서 디스플레이될 수 있고, AR-OST 차폐부(606) 재료의 부분적으로 반사성 성질로 인해 사용자의 눈으로 다시 반사될 수 있다. 또 다른 실시예에서, 웨어러블 생체신호 감지 디바이스(1208)는 불투명한 헤드셋을 편입할 수 있고, 수정된 자극(1238)과 혼합된 환경적 자극(1204)을 렌더링된 자극(1256)으로서 사용자에게 제공하기 위하여, 카메라 및 비디오 투영과 같은 감지 및 제시 하드웨어에 의존할 수 있다. 또 다른 실시예에서, 웨어러블 생체신호 감지 디바이스(1208)는 수정된 자극(1256)의 광학적 통과 및 렌더링을 가능하게 하기 위하여 투명한 OLED 디스플레이를 편입할 수 있다.
사용자(1268)에게 제시되는 렌더링된 자극(1256)은 사용자 생리체계(1222)를 통해 응답을 생성할 수 있다. 사용자 생리체계(1222)는 사용자의 몸체 및 연관된 주변 및 중심 신경계를 지칭할 수 있다. 몸체 및 특히 신경계 반응에 의해 표현된 바와 같은, 시각적, 청각적, 촉각적, 또는 다른 자극에 대한 인간 응답은 본 기술분야에서 양호하게 이해되고, 생체센서(1224)를 이용하여 검출될 수 있다. 생체센서(1224)는 신경계 활동을 검출하는, 사용자(1268) 몸체 상에 장착되고 및/또는 BCI(1226) 내로 편입되는 복수의 센서일 수 있다. 이 생체센서(1224)는 본 기술분야에서 양호하게 이해되는 바와 같이, EEG 전극(618), 근전도 검사(EMG : electromyography) 전극, 심전도 검사(EKG : electrocardiography) 전극, 다른 심혈관 및 호흡기관 모니터, 혈중 산소 레벨 및 혈당 레벨 모니터, 다른 생체센서(1224)일 수 있다.
생체센서(1224)는 생체신호(1236)를 출력으로서 제공할 수 있다. 생체신호(1236)는 생체센서(1224)에 의해 기록된 원시 신호이다. 생체신호(1236)는 생체센서(1224)로부터 수신될 수 있고, 렌더링된 자극(1256)에 적어도 부분적으로 응답하여 생성될 수 있다. 생체신호(1236)는 웨어러블 생체신호 감지 디바이스(1208) 상에서 수신될 수 있다. 일부 실시예에서, 생체신호(1236)는 신호 조절부(1228)를 거칠 수 있다. 신호 조절부(1228)는 생체신호(1236)의 형태로 원시 데이터를 필터링하고 클리닝(cleaning) 하기 위한 방법을 편입할 수 있다. 이러한 데이터는 잡음을 생략하도록 필터링될 수 있거나, 개별 주파수 레벨에서 에너지를 검출하기 위하여 고속 푸리에 변환(Fast Fourier Transform)을 거칠 수 있거나, 디트렌딩(detrending)과 같은 적용된 통계적 분석을 가질 수 있거나, 본 기술분야에서 널리 공지되어 있는 바와 같은 다른 디지털 신호 프로세싱 알고리즘을 통해 프로세싱될 수 있다. 일부 실시예에서, BCI(1226)의 분류기(1232)는 신호 조절부(1228)에 대한 필요성 없이 원시 생체신호(1236)를 받아들이는 것이 가능할 수 있다.
일부 실시예에서, BCI(1226)는 의도적 제어 신호 검출부(1230)를 편입할 수 있다. 이것은 도 1의 판정 블록(112)에 대하여 설명된 프로세스와 유사할 수 있다. 의도적 제어 신호 검출부(1230)는 사용자가 하나 이상의 수정된 자극(1238)에 고착하도록 의도하고 있는지를 결정하기 위한 방법일 수 있다. 하나의 실시예에서, 의도적 제어 신호 검출부(1230)는 적어도 부분적으로, 수신된 생체신호(1236)로부터, 사용자(1268)가 렌더링된 자극(1256) 중의 적어도 하나에 고착하도록 의도하고 있는 것으로 결정함으로써, 의도적 제어 신호의 존재를 결정할 수 있다. 또 다른 실시예에서, 스마트 디바이스(1210)의 컨텍스트 모듈(1212)은 수동적 의도 기각(1242) 신호를 의도적 제어 신호 검출부(1230)로 송신할 수 있어서, 수신되는 생체신호(1236)에 관계없이, 의도적 제어 신호 검출부(1230)가 사용자 의도 제어가 존재하는 것으로 가정할 수 있다는 것을 지시할 수 있다.
의도적 제어 신호의 부재 시에, 의도적 제어 신호 검출부(1230)를 채용하는 실시예는 원시 또는 조절된 생체신호(1236)를 분류기(1232)로 송신하지 않으면서, 원시 또는 조절된 생체신호(1236) 및 컨텍스트 모듈(1212)로부터의 입력에 기초하여 의도적 제어에 대하여 모니터링하는 것을 계속할 수 있다. 의도적 제어 신호가 검출될 때, 의도적 제어 신호 검출부(1230)는 원시 또는 조절된 생체신호(1236)를 분류기(1232)로 송신할 수 있다. 일부 실시예에서, 의도적 제어 신호 검출부(1230)는 이용되지 않을 수 있고, 원시 또는 조절된 생체신호(1236)는 각각 생체센서(1224) 또는 신호 조절부(1228)로부터 분류기(1232)로 직접적으로 송신될 수 있다.
분류기(1232)는 원시 또는 조절된 생체신호(1236)를 수신할 수 있다. 분류기(1232)는 또한, 예상된 사용자(1268) 응답의 이해를 통해 분류를 정제하기 위하여, 컨텍스트 모듈(1212)로부터 수정된 자극(1238)을 수신할 수 있다. 분류기(1232)는 수정된 자극(1238)에 기초하여 수신된 생체신호(1236)를 분류하도록 구성될 수 있어서, 분류된 선택(1248)으로 귀착될 수 있다. 분류된 선택(1248)은 수정된 자극(1238) 및 생체신호(1236)에 기초하여, 사용자가 렌더링된 자극(1256) 중의 어느 것에 고착하고 있는지를 지시할 수 있다.
본 기술분야에서 이해된 바와 같이, 분류기는 입력 데이터를, 클래스 라벨을 데이터 입력에 배정하기 위하여 이용된 머신 학습 알고리즘과 같은, 입력 데이터를 특정 카테고리로 맵핑하는 알고리즘이다. 하나의 예는 "사람", "나무", "차량" 등과 같은, 이미지에서 나타나는 객체에 기초하여, 이미지에 라벨을 붙이도록 훈련되는 이미지 인식 분류기이다. 분류기의 유형은 예를 들어, 퍼셉트론(Perceptron), 나이브 베이즈(Naive Bayes), 판정 트리(Decision Tree), 로지스틱 회귀(Logistic Regression), K-최근접 이웃(K-Nearest Neighbor), 인공 신경망(Artificial Neural Network), 심층 학습(Deep Learning), 및 지원 벡터 머신(Support Vector Machine) 뿐만 아니라, 랜덤 포레스트(Random Forest), 배깅(Bagging), 및 에이다부스트(AdaBoost)와 같은 앙상블 방법(ensemble method)을 포함한다.
전통적인 분류 기법은 그 행렬의 통계적 성질에 기초하여 단일-시도 공간적-시간적 활동 행렬을 분류하기 위하여 머신-학습 알고리즘을 이용한다. 이 방법은 2개의 주요한 컴포넌트: 효과적인 차원성 감소를 위한 특징 추출 메커니즘 및 분류 알고리즘에 기초한다. 전형적인 분류기는 다른 테스트 데이터가 2개 이상의 카테고리 중의 하나로 분류될 수 있는 맵핑 규칙을 학습하기 위하여 샘플 데이터를 이용한다. 분류기는 선형 및 비-선형 방법으로 대략적으로 분할될 수 있다. 신경망, 은닉된 마코프 모델(Hidden Markov Model), 및 k-최근접 이웃과 같은 비-선형 분류기는 넓은 범위의 함수를 근사화할 수 있어서, 복잡한 데이터 구조의 판별을 허용할 수 있다. 비-선형 분류기는 복잡한 판별 함수를 캡처하기 위한 잠재력을 가지지만, 그 복잡도는 또한, 과적합(overfitting)을 야기시킬 수 있고, 과중한 연산 수요를 동반할 수 있어서, 이러한 비-선형 분류기가 실시간 애플리케이션을 위하여 덜 적당하게 할 수 있다.
다른 한편으로, 선형 분류기는 덜 복잡하고, 이에 따라, 데이터 과적합에 더 강인하다. 선형 분류기는 선형적으로 분리될 수 있는 데이터에 대해 특히 양호하게 수행된다. 피셔 선형 판별(FLD : Fisher Linear discriminant), 선형 지원 벡터 머신(SVM), 및 로직스틱 회귀(LR : Logistic Regression)는 선형 분류기의 예이다. FLD는 2개의 클래스의 데이터를 분리가능한 투영 축 상으로 맵핑하는 특징의 선형 조합을 구한다. 분리를 위한 기준은 클래스 내의 분산에 대한 클래스 사이의 거리 평균의 비율로서 정의된다. SVM은 2개의 클래스 사이의 마진(margin)을 최대화하는 분리 하이퍼-평면을 구한다. 그 명칭이 시사하는 바와 같이, LR은 데이터를 로지스틱 함수(logistic function) 상으로 투영한다.
머신 학습 소프트웨어는 맞춤형 컴퓨터 코드일 수 있거나, 분류에서의 이용을 위하여 상업적으로 입수가능할 수 있거나, 상업적으로 입수가능한 머신 학습의 맞춤화된 버전일 수 있다. 머신 학습 소프트웨어의 예는 IBM 머신 학습, 구글(Google) 클라우드 AI 플랫폼, 아주르(Azure) 머신 학습, 및 아마존(Amazon) 머신 학습을 포함한다.
분류기(1232)는 일부 실시예에서, 도 9에 대하여 도입된 것과 같은 C-CNN으로서 구현될 수 있다. C-CNN, 다른 신경망, 또는 다른 머신 학습 알고리즘은 요청된 자극 데이터(1216)와 연관된 수정된 자극(1238)에 대응하는 렌더링된 자극(1256)에 대한 사용자의 생리학적 응답에 대응하는 원시 또는 조정된 생체신호(1236) 내의 패턴을 인식하도록 훈련될 수 있다. 분류기(1232)는 렌더링된 자극(1256)을 사용자 초점을 가지는 것으로서 분류할 수 있고, 스마트 디바이스(1210)에 의한, 그리고 일부 실시예에서 구체적으로, 스마트 디바이스(1210) 상의 사용자 애플리케이션(1214)에 의한 추가의 프로세싱(1234)을 위하여 초점의 이 표시를 분류된 선택(1248)으로서 송신할 수 있다. 추가의 프로세싱(1234)은 분류기(1232)로부터의 분류된 선택(1248)을 분석하고 및/또는 사용하는, 스마트 디바이스(1210) 및/또는 사용자 애플리케이션(1214)에서 발생하는 프로세싱일 수 있다.
하나의 실시예에서, 스마트 디바이스(1210), 및 웨어러블 생체신호 감지 디바이스(1208)의 BCI(1226)는 클라우드 서버(1250), 즉, 네트워크-접속된 컴퓨팅 자원과 통신할 수 있다. 클라우드 서버(1250)는 컨텍스트 관리기(1252) 및 모델 수정 프로세스(1254)에 대한 접속을 제공할 수 있다. 컨텍스트 관리기(1252)는 네트워크 접속을 통해 추가적인 컨텍스트 정보를 제공하는 클라우드-기반 시스템일 수 있다. 컨텍스트 모듈(1212)은 현재의 디바이스 컨텍스트 상태 데이터 및 다른 디바이스 컨텍스트 상태 데이터에 대한 요청(1244)을 컨텍스트 관리기(1252)로 송신할 수 있다. 컨텍스트 모듈(1212)은 궁극적으로, 컨텍스트 관리기(1252)로부터 추천된 디바이스 컨텍스트 상태에 대한 응답 및 새로운 자극에 대한 통지 및 데이터(1246)를 수신할 수 있다.
모델 수정 프로세스(1254)는 또한, 클라우드 서버(1250)를 통해 이용가능할 수 있다. 모델 수정 프로세스(1254)는 오프라인으로, 즉, 비동기식으로, 그리고 웨어러블 생체신호 감지 디바이스(1208), 스마트 디바이스(1210), 및 BCI(1226)의 컴포넌트의 활동을 제외하고 작동할 수 있다. 모델 수정 프로세스(1254)는 예를 들어, 웨어러블 생체신호 감지 디바이스(1208)가 이용 중이지 않는 시간에, 비-실시간 업데이트를 분류기(1232)에 제공하는 서비스일 수 있다. 모델 수정 프로세스(1254)의 이용의 하나의 실시예는 도 13에 대하여 더 상세하게 설명된다.
도 13은 하나의 실시예에 따라, 분류기 모델 수정(1300)을 예시한다. 개시된 시스템에서, "모델 수정"은 생체신호 데이터의 분류를 용이하게 하기 위하여 이용될 수 있는 임의의 파라미터 튜닝, 하이퍼파라미터 최적화, 보강 학습, 모델 훈련, 교차-유효성확인, 또는 특징 가공 방법으로서 정의된다. 분류기 모델 수정(1300)은 컨텍스트 모듈(1212), BCI(1226) 내로 편입된 모델 수정 프로세스(1304) 능력 뿐만 아니라, 클라우드 서버(1250)에서의 모델 수정 프로세스(1254), BCI(1226) 상에 저장된 로컬 데이터 레코드(1306), 및 클라우드 서버(1250) 내에 저장된 데이터 레코드(1308)와 함께, 스마트 디바이스(1210)에서 구현되는 머신 학습 모델 전송 제어기(1302)에 추가적으로, 예시된 바와 같은 시스템(1200)의 엘리먼트를 수반할 수 있다. 도 13에서 예시되지 않은 시스템(1200)의 엘리먼트는 예시의 단순함을 위하여 생략되지만, 분류기 모델 수정(1300)을 구현하도록 구성된 시스템(1200) 실시예 내에 포함될 수 있다.
도 12에 대하여 설명된 바와 같이, 컨텍스트 모듈(1212)은 현재의 디바이스 컨텍스트 상태 데이터 및 다른 디바이스 컨텍스트 상태 데이터에 대한 요청(1244)을, 클라우드 서버(1250) 내의 컨텍스트 관리기(1252)로 송신할 수 있다. 컨텍스트 모듈(1212)은 궁극적으로, 컨텍스트 관리기(1252)로부터 추천된 디바이스 컨텍스트 상태에 대한 응답 및 새로운 자극에 대한 통지 및 데이터(1246)를 수신할 수 있다. 컨텍스트 관리기(1252)는 분류기 모델 수정(1300)에서 이용되도록 하기 위하여, 새로운 상태 데이터 및 업데이트된 상태 데이터(1320)를 클라우드 서버(1250) 상의 모델 수정 프로세스(1254)로 송신할 수 있다. 클라우드 서버(1250)는 추가로, 분류기 모델 수정(1300)에서 이용되도록 하기 위하여, 분류기(1232)로부터, BCI(1226) 상의 엘리먼트로부터 직접적으로, 또는 스마트 디바이스(1210) 상에서 수행되는 추가의 프로세싱(1234)을 통해 분류된 선택(1248)을 수신할 수 있다. 머신 학습 모델(1314)은 적어도 하나의 모델 수정 프로세스(1254), 및 분류된 선택 및 새로운 상태 데이터 및 업데이트된 상태 데이터(1320) 중의 적어도 하나를 이용하여 업데이트될 수 있다.
클라우드 서버(1250)는 (새로운 머신 학습 모델 및 업데이트된 머신 학습 모델(1322)에 의해 도시된 바와 같이) 업데이트된 또는 새로운 머신 학습 모델을 스마트 디바이스로 송신할 수 있다. 업데이트된 머신 학습 모델은 스마트 디바이스 상의 머신 학습 모델 전송 제어기(1302)를 이용하여 분류기로 전송될 수 있다. 하나의 실시예에서, 스마트 디바이스(1210) 상의 컨텍스트 모듈(1212)은 머신 학습 모델 전송 제어기(1302)를 이용하여 클라우드 서버(1250)로부터 새로운 머신 학습 모델을 요청할 수 있다(새로운 모델(1310)에 대한 요청을 참조함). 스마트 디바이스(1210)는 클라우드 서버(1250)로부터 새로운 머신 학습 모델을 수신할 수 있고(새로운 머신 학습 모델 및 업데이트된 머신 학습 모델(1322)을 참조함), 새로운 머신 학습 모델을 분류기(1232)로 전송할 수 있다.
하나의 실시예에서, 스마트 디바이스(1210)의 컨텍스트 모듈(1212)은 새로운 모델(1310)에 대한 요청을 머신 학습 모델 전송 제어기(1302)로 송신할 수 있다. 머신 학습 모델 전송 제어기(1302)는 클라우드 서버(1250) 내의 모델 수정 프로세스(1254)로부터 모델 사양 및 초기 파라미터를 요청하고 수신할 수 있다(1312). 머신 학습 모델 전송 제어기(1302)는 그 다음으로, 이전에 설명된 바와 같이 분류기(1232)에 의해 수신되는 생체신호(1236)를 수신할 시의 이용을 위하여, 머신 학습 모델(1314)을 분류기(1232)로 송신할 수 있다. 분류기(1232)는 추가의 프로세싱(1234)을 위하여, 선택되는 예측된 자극 및 연관된 메트릭(1316)을 송신할 수 있다.
하나의 실시예에서, 추가의 프로세싱(1234)으로부터의 데이터는 BCI(1226) 상의 모델 수정 프로세스(1304)로 송신될 수 있어서, BCI(1226)가 분류기(1232)에 의해 수행되는 분류를 개선시키는 것을 허용할 수 있다. 하나의 실시예에서, 분류기(1232)는 모델 수정 프로세스(1304)의 작용을 통해 개발되는 더 정제된 또는 최적화된 모델을 다시 머신 학습 모델 전송 제어기(1302)로 송신할 수 있고, 이 머신 학습 모델 전송 제어기(1302)는 궁극적으로, 그 업데이트된 모델을 클라우드 서버(1250) 내의 모델 수정 프로세스(1254)에 제공할 수 있다.
하나의 실시예에서, 추가의 프로세싱(1234)으로부터의 생체신호 데이터 및 모델 파라미터(1318)는 BCI(1226) 내에 위치된 모델 수정 프로세스(1304)에서의 이용을 위하여, BCI(1226) 상의 로컬 데이터 레코드(1306)로 송신될 수 있다. 로컬 데이터 레코드(1306)는 또한, 오프-디바이스 저장을 위하여 클라우드 서버(1250) 내의 데이터 레코드(1308)로 송신될 수 있다. 데이터 레코드(1308)는 스마트 디바이스(1210) 및/또는 웨어러블 생체신호 감지 디바이스(1208)의 BCI(1226)로부터 독립적으로 그리고 이와 비동기식으로 수행되도록 하기 위하여, 오프라인 분류기 모델 수정(1300)에 대한 모델 수정 프로세스(1254)에 의해 이용가능할 수 있다.
도 14에서 도시된 바와 같이, 스마트 디바이스(1400)는 범용 컴퓨팅 디바이스의 형태로 도시되어 있다. 스마트 디바이스(1400)의 컴포넌트는 하나 이상의 프로세서 또는 프로세싱 유닛(1404), 시스템 메모리(1402), 및 시스템 메모리(1402)를 포함하는 다양한 시스템 컴포넌트를 프로세서 프로세싱 유닛(1404)에 결합하는 버스(1424)를 포함할 수 있지만, 이것으로 제한되지 않는다. 스마트 디바이스(1400)는 카메라, 가속도계, 마이크로폰 등과 같은 센서(1426), 및 스피커, 진동 또는 촉각적 액츄에이터 등과 같은 액츄에이터(1428)를 포함할 수 있다. 스마트 디바이스(1400)는 본 명세서에서 설명된 바와 같은 개시된 해결책을 구현하기 위하여 적당한 스마트폰, 태블릿, 또는 다른 컴퓨팅 디바이스일 수 있다.
버스(1424)는 다양한 서브 아키텍처 중의 임의의 버스 아키텍처를 이용하는 메모리 버스 또는 메모리 제어기, 주변 버스, 가속화된 그래픽 포트, 및 프로세서 또는 로컬 버스를 포함하는, 몇몇 유형의 버스 구조 중의 임의의 버스 구조의 하나 이상을 나타낸다. 제한이 아니라 예로서, 이러한 아키텍처는 인터-집적 회로(I2C : Inter-Integrated Circuit), 직렬 주변 인터페이스(SPI : Serial Peripheral Interface), 제어기 영역 네트워크(CAN : Controller Area Network), 산업 표준 아키텍처(ISA : Industry Standard Architecture) 버스, 마이크로 채널 아키텍처(MCA : Micro Channel Architecture) 버스, 강화된 ISA(EISA : Enhanced ISA) 버스, 비디오 전자 표준 연합(VESA : Video Electronics Standards Association) 로컬 버스, 및 주변 컴포넌트 상호접속(PCI : Peripheral Component Interconnects) 버스를 포함한다.
스마트 디바이스(1400)는 전형적으로, 다양한 컴퓨터 시스템 판독가능 매체를 포함한다. 이러한 매체는, 스마트 디바이스(1400)에 의해 액세스가능한 임의의 이용가능한 매체일 수 있고, 그것은 휘발성 및 비-휘발성 매, 분리가능 및 비-분리가능 매체의 둘 모두를 포함한다.
시스템 메모리(1402)는 랜덤 액세스 메모리(RAM : Random access memory)(1406) 및/또는 캐시 메모리(1410)와 같은, 휘발성 메모리 형태인 컴퓨터 시스템 판독가능 매체를 포함할 수 있다. 스마트 디바이스(1400)는 다른 분리가능/비-분리가능, 휘발성/비-휘발성 컴퓨터 시스템 저장 매체를 더 포함할 수 있다. 예로서, 저장 시스템(1418)은 비-분리가능, 비-휘발성 자기 매체(도시되지 않고, 전형적으로 "하드 드라이브"로 칭해짐)로부터의 판독 및 이에 대한 기입을 위하여 제공될 수 있다. 도시되지 않았지만, 플래시 드라이브(flash drive), 분리가능, 비-휘발성 자기 디스크(예컨대, "플로피 디스크")로부터의 판독 및 이에 대한 기입을 위한 자기 디스크 드라이브, 및 CD-ROM, DVD-ROM, 또는 다른 광학 매체와 같은 분리가능, 비-휘발성 광학 디스크로부터의 판독 또는 이에 대한 기입을 위한 광학 디스크 드라이브가 제공될 수 있다. 이러한 사례에서, 각각은 하나 이상의 데이터 매체 인터페이스에 의해 버스(1424)에 접속될 수 있다. 이하에서 추가로 도시되고 설명되는 바와 같이, 시스템 메모리(1402)는 개시된 해결책의 기능을 수행하도록 구성되는 프로그램 모듈의 세트(예컨대, 적어도 하나)를 가지는 적어도 하나의 프로그램 제품을 포함할 수 있다.
프로그램 모듈(1422)의 세트(적어도 하나)를 가지는 프로그램/유틸리티(1420) 뿐만 아니라, 그리고 제한 없이, 오퍼레이팅 시스템, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈, 및 프로그램 데이터는 예로서 시스템 메모리(1402) 내에 저장될 수 있다. 오퍼레이팅 시스템, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈, 및 프로그램 데이터의 각각, 또는 그 일부 조합은 네트워킹 환경의 구현예를 포함할 수 있다. 프로그램 모듈(1422)은 일반적으로, 본 명세서에서 설명된 바와 같은 개시된 해결책의 기능 및/또는 방법론을 수행한다.
스마트 디바이스(1400)는 또한, 키보드, 포인팅 디바이스, 디스플레이(1414) 등과 같은 하나 이상의 외부 디바이스(1412); 사용자가 스마트 디바이스(1400)와 상호작용하는 것을 가능하게 하는 하나 이상의 디바이스; 및/또는 스마트 디바이스(1400)가 하나 이상의 다른 컴퓨팅 디바이스와 통신하는 것을 가능하게 하는 임의의 디바이스(예컨대, 네트워크 카드, 모뎀 등)와 통신할 수 있다. 이러한 통신은 I/O 인터페이스(1408)를 통해 발생할 수 있다. I/O 인터페이스(1408)는 또한, 스마트 디바이스(1400) 센서(1426)로부터의 입력 뿐만 아니라 액츄에이터(1428)에 대한 출력을 관리할 수 있다. 또한, 스마트 디바이스(1400)는 네트워크 어댑터(1416)를 통해 로컬 영역 네트워크(LAN : local area network), 일반적인 광역 네트워크(WAN : wide area network), 및/또는 공개 네트워크(예컨대, 인터넷)과 같은 하나 이상의 네트워크와 통신할 수 있다. 도시된 바와 같이, 네트워크 어댑터(1416)는 버스(1424)를 통해 스마트 디바이스(1400)의 다른 컴포넌트와 통신한다. 도시되지 않았지만, 다른 하드웨어 및/또는 소프트웨어 컴포넌트가 스마트 디바이스(1400)와 함께 이용될 수 있다는 것이 본 기술분야에서의 통상의 기술자에 의해 이해될 것이다. 예는 마이크로코드, 디바이스 드라이버, 중복적 프로세싱 유닛, 외부 디스크 드라이브 어레이, 독립적 디스크의 중복적 어레이(RAID : redundant array of independent disks) 시스템, 테이프 드라이브, 데이터 보관 저장 시스템 등을 포함하지만, 이것으로 제한되지 않는다.
지금부터 도 15를 참조하면, 예시적인 클라우드 컴퓨팅 시스템(1500)이 도시되어 있다. "클라우드 컴퓨팅"은 최소의 관리 노력 또는 서비스 제공자 상호작용으로 급속하게 프로비저닝(provision)될 수 있고 배포(release)될 수 있는 구성가능한 컴퓨팅 자원들(예컨대, 네트워크들, 서버들, 스토리지, 애플리케이션들, 및 서비스들)의 공유된 풀에 대한 편리한 온-디맨드(on-demand) 네트워크 액세스를 가능하게 하기 위한 모델을 지칭한다. 이 클라우드 모델은 이용가능성을 촉진시키고, 적어도 5개의 특성, 적어도 3개의 서비스 모델, 및 적어도 4개의 전개 모델로 이루어진다. 상업적으로 호스팅된 클라우드 컴퓨팅 시스템(1500)의 예는 아마존 웹 서비스(AWS : Amazon Web Services), 구글 클라우드(Google Cloud), 마이크로소프트 아주르(Microsoft Azure) 등을 포함한다.
도시된 바와 같이, 클라우드 컴퓨팅 시스템(1500)은, 이전에 설명된 컨텍스트 관리기(1252), 모델 수정 프로세스(1254), 및 데이터 레코드(1308)를 포함하는 하나 이상의 클라우드 서버를 포함할 수 있고, 예를 들어, 개인 정보 단말(PDA : personal digital assistant) 또는 스마트 디바이스(1400), 데스크톱 컴퓨터(1504), 랩톱(1502), 및/또는 웨어러블 생체신호 감지 디바이스(1208) BCI(1226)와 같은 컴퓨팅 디바이스는 이들과 통신할 수 있다. 이것은 각각의 클라이언트가 이러한 자원을 별도로 유지하는 것을 요구하지 않기 위하여, 기반구조, 플랫폼, 및/또는 소프트웨어가 클라우드 서버(1250)로부터의 (도 14에서 위에서 설명된 바와 같은) 서비스로서 제공되는 것을 허용한다. 도 15에서 도시된 컴퓨팅 디바이스의 유형은 다시 예시적으로 되도록 의도된다는 것, 및 클라우드 서버(1250)가 (예컨대, 웹 브라우저를 이용하여) 임의의 유형의 네트워크 및/또는 네트워크/어드레싱가능한 접속을 통해 임의의 유형의 컴퓨터화된 디바이스와 통신할 수 있다는 것이 이해된다.
이 개시내용은 클라우드 컴퓨팅에 대한 상세한 설명을 포함하지만, 본원에서 인용된 교시사항의 구현예는 클라우드 컴퓨팅 환경으로 제한되지 않는다는 것이 이해되어야 한다. 오히려, 본 개시내용의 실시예는 지금 알려져 있거나 더 이후에 개발되는 임의의 다른 유형의 컴퓨팅 환경과 함께 구현되는 것이 가능한다.
이 개시내용은 클라우드 컴퓨팅에 대한 상세한 설명을 포함하지만, 본원에서 인용된 교시사항의 구현예는 클라우드 컴퓨팅 환경으로 제한되지 않는다는 것이 이해되어야 한다. 오히려, 본 개시내용의 실시예는 지금 알려져 있거나 더 이후에 개발되는 임의의 다른 유형의 컴퓨팅 환경과 함께 구현되는 것이 가능한다.
클라우드 컴퓨팅은 최소의 관리 노력 또는 서비스의 제공자와의 상호작용으로 급속하게 프로비저닝(provision)될 수 있고 배포(release)될 수 있는 구성가능한 컴퓨팅 자원(예컨대, 네트워크, 네트워크 대역폭, 서버, 프로세싱, 메모리, 스토리지, 애플리케이션, 가상 머신, 및 서비스)의 공유된 풀에 대한 편리한 온-디맨드 네트워크 액세스를 가능하게 하기 위한 서비스 전달의 모델이다. 이 클라우드 모델은 적어도 5개의 특성, 적어도 3개의 서비스 모델, 및 적어도 4개의 전개 모델을 포함할 수 있다.
특성은 다음과 같다:
온-디맨드 셀프-서비스(on-demand self-service): 클라우드 소비자는 서비스의 제공자와의 인간 상호작용을 요구하지 않으면서 자동적으로 필요한 바와 같이, 서버 시간 및 네트워크 스토리지와 같은 컴퓨팅 능력을 일방적으로 프로비저닝할 수 있다.
넓은 네트워크 액세스(broad network access): 능력은 네트워크 상에서 이용가능하고, 이종 씬(thin) 또는 씩(thick) 클라이언트 플랫폼(예컨대, 모바일 전화, 랩톱, 및 PDA)에 의한 이용을 촉진시키는 표준 메커니즘을 통해 액세스된다.
자원 풀링(resource pooling): 제공자의 컴퓨팅 자원은 멀티-테넌트 모델(multi-tenant model)을 이용하여 다수의 소비자를 서빙하도록 풀링되고, 상이한 물리 및 가상 자원은 동적으로 배정되고 수요에 따라 재배정된다. 소비자가 제공된 자원의 정확한 위치에 대한 제어 또는 지식을 일반적으로 가지지 않지만, 더 높은 추상화 레벨(예컨대, 국가, 주, 또는 데이터센터)에서 위치를 특정하는 것이 가능할 수 있다는 점에서 위치 독립성의 의미가 있다.
급속한 탄성(rapid elasticity): 능력은 신속하게 스케일 아웃(scale out)하기 위하여 신속하게 그리고 탄성적으로, 일부 경우에는 자동적으로 프로비저닝될 수 있고, 신속하게 스케일 인(scale in)하기 위하여 급속하게 해제될 수 있다. 소비자에게, 프로비저닝을 위하여 이용가능한 능력은 종종 무제한된 것으로 보이고, 임의의 시간에 임의의 수량으로 구입될 수 있다.
측정된 서비스: 클라우드 시스템은 서비스의 유형(예컨대, 스토리지, 프로세싱, 대역폭, 및 활성 사용자 계정)에 적절한 일부 추상화 레벨에서의 계측 능력을 활용함으로써 자원 이용을 자동적으로 제어하고 최적화한다. 자원 사용량은 모니터링되고, 제어되고, 보고될 수 있어서, 사용된 서비스의 제공자 및 소비자의 둘 모두에 대한 투명성을 제공할 수 있다.
서비스 모델은 다음과 같다:
서비스로서의 소프트웨어(SaaS : Software as a Service): 소비자에게 제공되는 능력은 클라우드 기반구조 상에서 작동되는 제공자의 애플리케이션을 이용하는 것이다. 애플리케이션은 웹 브라우저(예컨대, 웹-기반 이-메일(e-mail))과 같은 씬 클라이언트 인터페이스를 통해 다양한 클라이언트 디바이스로부터 액세스가능하다. 소비자는 제한된 사용자-특정 애플리케이션 구성 설정을 아마도 제외하면서, 네트워크, 서버, 오퍼레이팅 시스템, 스토리지, 또는 심지어 개별적인 애플리케이션 능력을 포함하는 기초적인 클라우드 기반구조를 관리하거나 제외하지 않는다.
서비스로서의 플랫폼(PaaS : Platform as a Service): 소비자에게 제공되는 능력은 제공자에 의해 지원되는 프로그래밍 언어 및 툴을 이용하여 산출되는 클라우드 기반구조 소비자-산출되거나 취득된 애플리케이션 상으로 전개하는 것이다. 소비자는 네트워크, 서버, 오퍼레이팅 시스템, 또는 스토리지를 포함하는 기초적인 클라우드 기반구조를 관리하거나 제어하지 않지만, 전개된 애플리케이션 및 아마도 애플리케이션 호스팅 환경 구성에 대한 제어를 가진다.
서비스로서의 기반구조(IaaS : Infrastructure as a Service): 소비자에게 제공되는 능력은 프로세싱, 스토리지, 네트워크, 및 다른 기본 컴퓨팅 자원을 프로비저닝하는 것이고, 여기서, 소비자는 오퍼레이팅 시스템 및 애플리케이션을 포함할 수 있는 임의적인 소프트웨어를 전개하고 작동시킬 수 있다. 소비자는 기초적인 클라우드 기반구조를 관리하거나 제어하지 않지만, 오퍼레이팅 시스템, 스토리지, 전개된 애플리케이션, 및 아무도 네트워킹 컴포넌트(예컨대, 호스트 방화벽)를 선택하는 것에 대한 제한된 제어에 대한 제어를 가진다.
전개 모델은 다음과 같다:
사설 클라우드(private cloud): 클라우드 기반구조는 조직을 위하여 전적으로 동작된다. 그것은 조직 또는 제3자에 의해 관리될 수 있고, 구내(on-premises) 또는 구외(off-premises)에서 존재할 수 있다.
커뮤니티 클라우드: 클라우드 기반구조는 몇몇 조직에 의해 공유되고, 공유된 관심사(예컨대, 임무, 보안 요건, 정책, 및 준수 고려사항)를 가지는 특정 커뮤니티를 지원한다. 그것은 조직 또는 제3자에 의해 관리될 수 있고, 구내 또는 구외에서 존재할 수 있다.
공개 클라우드(public cloud): 클라우드 기반구조는 일반적인 대중 또는 대형 산업 그룹에 의해 이용가능하게 되고, 클라우드 서비스를 판매하는 조직에 의해 소유된다.
하이브리드 클라우드(hybrid cloud): 클라우드 기반구조는, 고유한 엔티티를 유지하지만, 데이터 및 애플리케이션 휴대성(예컨대, 클라우드 사이의 부하-균형화를 위한 클라우드 버스팅(cloud bursting))을 가능하게 하는 표준화된 또는 전용 기술에 의해 함께 구속되는 2개 이상의 클라우드(사설, 커뮤니티, 또는 공개)의 합성이다.
클라우드 컴퓨팅 환경은 무상태성(statelessness), 낮은 결합, 모듈성(modularity), 및 의미론적 상호운용성(semantic interoperability)에 대한 초점으로 지향된 서비스이다. 클라우드 컴퓨팅의 심장부에는, 상호접속된 노드의 네트워크를 포함하는 기반구조가 있다.
지금부터 도 16을 참조하면, 도 15에서 예시된 것과 같은 클라우드 컴퓨팅 시스템(1500)에 의해 제공되는 클라우드 컴퓨팅 기능적 추상화 계층(1600)의 세트가 도시되어 있다. 도 16에서 도시된 컴포넌트, 계층, 및 기능은 단지 예시적으로 되도록 의도되고, 본 개시내용은 이것으로 제한되지 않는다는 것이 본 기술분야에서의 통상의 기술자에 의해 이해될 것이다. 도시된 바와 같이, 다음의 계층 및 대응하는 기능이 제공된다:
하드웨어 및 소프트웨어 계층(1602)은 하드웨어 및 소프트웨어 컴포넌트를 포함한다. 하드웨어 컴포넌트의 예는 메인프레임(mainframe), 축소 명령 세트 컴퓨터(RISC : reduced instruction set computer) 아키텍처 기반 서버, 서버, 블레이드 서버(blade server), 저장 디바이스, 및 네트워크 및 네트워킹 컴포넌트를 포함한다. 소프트웨어 컴포넌트의 예는 네트워크 애플리케이션 서버 소프트웨어 및 데이터베이스 소프트웨어를 포함한다.
가상화 계층(1604)은 추상화 계층을 제공하고, 이 추상화 계층으로부터, 다음의 예시적인 가상 엔티티: 가상 서버; 가상 스토리지; 가상 사설 네트워크를 포함하는 가상 네트워크; 가상 애플리케이션; 및 가상 클라이언트가 제공될 수 있다.
관리 계층(1606)은 이하에서 설명되는 예시적인 기능을 제공한다. 자원 프로비저닝은 클라우드 컴퓨팅 환경 내에서 태스크(task)를 수행하기 위하여 사용되는 컴퓨팅 자원 및 다른 자원의 동적 조달(dynamic procurement)을 제공한다. 계측(metering) 및 가격설정(pricing)은 자원이 클라우드 컴퓨팅 환경 내에서 사용될 때의 비용 추적, 및 이 자원의 소비를 위한 청구 또는 송장작성을 제공한다. 하나의 예에서, 이 자원은 애플리케이션 소프트웨어 라이센스를 포함할 수 있다. 보안은 사용자 및 태스크에 대한 아이덴티티 검증 뿐만 아니라, 데이터 및 다른 자원에 대한 보호를 제공한다. 사용자 포탈(user portal)은 사용자 및 시스템 관리자의 둘 모두를 위한 클라우드 컴퓨팅 환경에 대한 액세스를 제공한다. 서비스 레벨 관리는 클라우드 컴퓨팅 자원 할당 및 관리를 제공하여, 필요한 서비스 레벨이 충족된다. 서비스 레벨 협정(SLA : Service Level Agreement) 계획 및 이행은 클라우드 컴퓨팅 자원을 위한 사전-배열 및 클라우드 컴퓨팅 자원의 조달을 제공하고, 이를 위하여, 미래의 요건은 SLA에 따라 예상된다.
작업부하 계층(1608)은 클라우드 컴퓨팅 환경이 사용되는 기능성을 제공한다. 이 계층으로부터 제공될 수 있는 작업부하 및 기능의 예는 맵핑 및 내비게이션; 소프트웨어 개발 및 수명 관리; 가상 교실 교육 전달; 데이터 분석 프로세싱; 트랜잭션 프로세싱; 및 자원 신용 관리를 포함한다. 위에서 언급된 바와 같이, 도 16에 대하여 설명된 상기한 예의 전부는 단지 예시적이고, 본 개시내용은 이 예로 제한되지 않는다.
[도면 부호 리스트]
100 SSMVEP BCI를 이용하기 위한 프로세스
102 SSMVEP 생성된 자극
104 환경적 자극
106 블록
108 블록
110 블록
112 판정 블록
114 블록
116 판정 블록
118 블록
200 예시적인 SSVEP 패턴 및 변형
202 기본 SSVEP 패턴
204 SSVEP 이미지 온
206 SSVEP 이미지 오프
300 예시적인 SSMVEP 패턴 및 변형
302 기본 SSMVEP 패턴
304 기본 SSMVEP 이미지
306 상이한 패턴 밀도를 갖는 SSMVEP 이미지
308 상이한 크기를 갖는 SSMVEP 이미지
310 회전된 SSMVEP 이미지
400 SSVEP BCI 상호작용을 위한 쌍안 투영
402 비-활성 배경
404 활성 배경
500 SSMVEP BCI 상호작용을 위한 쌍안 투영
600 AR-OST BCI 구성
602 사용자
604 AR-OST
606 AR-OST 차폐부
608 프레임
610 스마트 디바이스 슬롯
612 스마트 디바이스
614 스트랩
616 BCI
618 EEG 전극
620 모니터
700 AR-OST에서의 SSVEP BCI 이용을 위한 투영
702 모니터 디스플레이
704 AR-OST 차폐부 디스플레이
800 AR-OST에서의 SSMVEP BCI 이용을 위한 투영
802 모니터 디스플레이
804 AR-OST 차폐부 디스플레이
806 AR-OST 차폐부를 통한 사용자 뷰
808 사용자의 환경
900 C-CNN 프로세스
902 입력
904 컨볼루션
906 배치 정규화 ReLU 활성화 드롭아웃
908 컨볼루션
910 배치 정규화 ReLU 활성화 드롭아웃
912 출력
1000 IC 상태 및 NC 상태
1002 휴식 주기
1004 큐 주기
1006 자극 주기
1008 IC 상태
1010 NC 상태
1100a SSVEP 8Hz 결과
1100b SSMVEP 8Hz 결과
1100c SSVEP 10Hz 결과
1100d SSMVEP 10Hz 결과
1100e SSVEP 12Hz 결과
1100f SSMVEP 12Hz 결과
1100g SSVEP 15Hz 결과
1100h SSMVEP 15Hz 결과
1102 NB 피크 응답
1104 AB 피크 응답
1106 NB 피크 응답
1108 AB 피크 응답
1110 NB 피크 응답
1112 AB 피크 응답
1114 NB 피크 응답
1116 AB 피크 응답
1118 NB 피크 응답
1120 AB 피크 응답
1122 NB 피크 응답
1124 AB 피크 응답
1126 NB 피크 응답
1128 AB 피크 응답
1130 NB 피크 응답
1132 AB 피크 응답
1200 시스템
1202 환경
1204 환경적 자극
1206 센서
1208 웨어러블 생체신호 감지 디바이스
1210 스마트 디바이스
1212 컨텍스트 모듈
1214 사용자 애플리케이션
1216 요청된 자극 데이터
1218 다른 컨텍스트 데이터
1220 렌더링 디바이스
1222 사용자 생리체계
1224 생체센서biosensors
1226 BCI
1228 신호 조절부
1230 의도적 제어 신호 검출부
1232 분류기
1234 추가의 프로세싱
1236 생체신호
1238 수정된 자극
1240 환경적 자극 데이터
1242 수동적 의도 기각
1244 현재의 디바이스 컨텍스트 상태 데이터 및 다른 디바이스 컨텍스트 상태 데이터에 대한 요청
1246 추천된 디바이스 컨텍스트 상태에 대한 응답 및 새로운 자극에 대한 통지 및 데이터
1248 분류된 선택
1250 클라우드 서버
1252 컨텍스트 관리기
1254 모델 수정 프로세스
1256 렌더링된 자극
1258 사용자 신체적 응답
1260 내부 센서
1262 외부 센서
1264 센서 데이터
1266 사용자의 신체적 상태 및 작용
1268 사용자
1300 분류기 모델 수정
1302 머신 학습 모델 전송 제어기
1304 모델 수정 프로세스
1306 로컬 데이터 레코드
1308 데이터 레코드
1310 새로운 모델에 대한 요청
1312 모델 사양 및 초기 파라미터를 요청 및 수신
1314 머신 학습 모델
1316 선택되는 예측된 자극 및 연관된 메트릭
1318 생체신호 데이터 및 모델 파라미터
1320 새로운 상태 데이터 및 업데이트된 상태 데이터
1322 새로운 머신 학습 모델 및 업데이트된 머신 학습 모델
1400 스마트 디바이스
1402 시스템 메모리
1404 프로세싱 유닛
1406 랜덤 액세스 메모리(RAM)
1408 I/O 인터페이스
1410 캐시 메모리
1412 외부 디바이스
1414 디스플레이
1416 네트워크 어댑터
1418 저장 시스템
1420 프로그램/유틸리티
1422 프로그램 모듈
1424 버스
1426 센서
1428 액츄에이터
1500 클라우드 컴퓨팅 시스템
1502 랩톱
1504 데스크톱 컴퓨터
1600 클라우드 컴퓨팅 기능적 추상화 계층
1602 하드웨어 및 소프트웨어 계층
1604 가상화 계층
1606 관리 계층
1608 작업부하 계층
본 명세서에서 설명된 다양한 기능적 동작은 상기 동작 또는 기능을 반영하는 단어 또는 단어 구를 이용하여 지칭되는 로직에서 구현될 수 있다. 예를 들어, 연관 동작은 "연관기(associator)" 또는 "상관기(correlator)"에 의해 수행될 수 있다. 마찬가지로, 스위칭은 "스위치", "선택기"에 의한 선택 등에 의해 수행될 수 있다.
이 개시내용 내에서, ("유닛", "회로", 다른 컴포넌트 등으로서 다양하게 지칭될 수 있는) 상이한 엔티티는 하나 이상의 태스크 또는 동작을 수행하도록 "구성된 것"으로서 설명되거나 청구될 수 있다. 이 제형, 즉, [하나 이상의 태스크를 수행하도록] 구성된 [엔티티]는 구조(즉, 전자 회로와 같은 물리적인 어떤 것)를 지칭하기 위하여 본 명세서에서 이용된다. 더 구체적으로, 이 제형은 이 구조가 동작 동안에 하나 이상의 태스크를 수행하도록 배열된다는 것을 지시하기 위하여 이용된다. 구조가 현재 동작되고 있지 않더라도, 구조는 일부 태스크를 수행하도록 "구성되는 것"으로 말할 수 있다. "신용을 복수의 프로세서 코어에 분포하도록 구성된 신용 분포 회로"는 예를 들어, 제기 중인 집적 회로가 현재 이용되고 있지 않더라도(예컨대, 전력 공급부가 집적 회로에 접속됨), 동작 동안에 이 기능을 수행하는 회로부를 가지는 집적 회로를 포괄하도록 의도된다. 따라서, 일부 태스크를 수행하도록 "구성된"으로서 설명되거나 인용되는 엔티티는 디바이스, 회로, 태스크를 수행하도록 실행가능한 프로그램 명령을 저장하는 메모리, 등과 같은 물리적인 어떤 것을 지칭한다. 이 어구는 비유형(intangible)인 어떤 것을 지칭하기 위하여 본 명세서에서 이용되지 않는다.
용어 "~하도록 구성된"은 "~하도록 구성가능한"을 의미하도록 의도되지 않는다. 예를 들어, 비프로그래밍된 필드 프로그램가능한 게이트 어레이(FPGA : field programmable gate array)는 일부 구체적인 기능을 수행하도록 "구성되는 것"으로 간주되지 않을 것이지만, 그것은 프로그래밍 후에 그 기능을 수행하도록 "구성될" 수 있다.
구조가 하나 이상의 태스크를 수행하도록 "구성된다는 것"을 첨부된 청구항에서 인용하는 것은 그 청구항 엘리먼트에 대하여 미국 특허법 35 U.S.C. § 112(f)를 호출하지 않도록 명백히 의도된다. 따라서, 이 출원에서의 청구항은 [기능을 수행하기] "위한 수단" 구성을 포함하지 않는 이 출원에서의 청구항은 미국 특허법 35 U.S.C § 112(f) 하에서 해독되지 않아야 한다.
본 명세서에서 이용된 바와 같이, 용어 "~에 기초하여"는 결정에 영향을 주는 하나 이상의 인자를 설명하기 위하여 이용된다. 이 용어는 추가적인 인자가 결정에 영향을 줄 수 있을 가능성을 배제하지 않는다. 즉, 결정은 전적으로, 특정된 인자에 기초하거나, 특정된 인자 뿐만 아니라 다른 비특정된 인자에 기초할 수 있다. 어구 "B에 기초하여 A를 결정"을 고려한다. 이 어구는 B가, A를 결정하기 위하여 이용되거나 A의 결정에 영향을 주는 인자인 것을 특정한다. 이 어구는 A의 결정이 또한, C와 같은 일부 다른 인자에 기초할 수 있다는 것을 배제하지 않는다. 이 어구는 또한, A가 전적으로 B에 기초하여 결정되는 실시예를 포괄하도록 의도된다. 본 명세서에서 이용된 바와 같이, 어구 "~에 기초하여"는 어구 "~에 적어도 부분적으로 기초하여"와 동의어이다.
본 명세서에서 이용된 바와 같이, 용어 "~에 응답하여"는 효과를 트리거링하는 하나 이상의 인자를 설명한다. 이 용어는 추가적인 인자가 효과에 영향을 줄 수 있거나 효과를 트리거링할 수 있을 가능성을 배제하지 않는다. 즉, 효과는 전적으로 그 인자에 응답할 수 있거나, 특정된 인자 뿐만 아니라, 다른 비특정된 인자에 응답할 수 있다. 어구 "B에 응답하여 A를 수행"을 고려한다. 이 어구는 B가 A의 수행을 트리거링하는 인자인 것을 특정한다. 이 어구는 A를 수행하는 것이 또한, C와 같은 일부 다른 인자에 응답할 수 있다는 것을 배제하지 않는다. 이 어구는 또한, A가 전적으로 B에 응답하여 수행되는 실시예를 포괄하도록 의도된다.
본 명세서에서 이용된 바와 같이, 용어 "제1", "제2" 등은 이 용어에 후행하는 명사에 대한 라벨로서 이용되고, 이와 다르게 기재되지 않으면, 임의의 유형의 순서(예컨대, 공간적, 시간적, 논리적 등)를 암시하지 않는다. 예를 들어, 8개의 레지스터(register)를 가지는 레지스터 파일에서, 용어 "제1 레지스터" 및 "제2 레지스터"는 예를 들어, 단지 논리적 레지스터 0 및 1이 아니라, 8개의 레지스터 중의 임의의 2개를 지칭하기 위하여 이용될 수 있다.
청구항에서 이용될 때, 용어 "or"는 배타적 or가 아니라, 포함적 or로서 이용된다. 예를 들어, 어구 "x, y, 또는 z 중의 적어도 하나"는 x, y, 및 z 중의 임의의 하나 뿐만 아니라, 그 임의의 조합을 의미한다.
이와 같이 예시적인 실시예를 상세하게 설명하였지만, 수정 및 변형은 청구된 바와 같은 개시된 해결책의 범위로부터 이탈하지 않으면서 가능하다는 것이 명백할 것이다. 개시된 발명 요지의 범위는 도시된 실시예로 제한되는 것이 아니라, 오히려, 다음의 청구항에서 기재된다.
본 명세서에서 이용된 용어는 관련된 분야에서의 그 평범한 의미 또는 문맥에서의 그 이용에 의해 지시된 의미를 따라야 하지만, 명백한 정의가 제공되는 경우에, 그 의미는 조절된다.
본 명세서에서, "하나의 실시예" 또는 "실시예"에 대한 참조는 반드시 동일한 실시예를 지칭하지 않지만, 이들이 그러할 수도 있다. 문맥이 명백하게 이와 다르게 요구하지 않으면, 설명 및 청구항의 전반에 걸쳐, 단어 "포함한다(comprise)", "포함하는(comprising)" 등은 배타적인 또는 포괄적인 의미와는 반대로, 포괄적(inclusive) 의미; 즉, "포함하지만, 이것으로 제한되지는 않는다"의 의미로 해석되어야 한다. 단수인 하나 또는 다수의 것으로 명백히 제한되지 않으면, 단수 또는 복수의 수를 이용하는 단어는 또한, 각각 복수 또는 단수 수를 포함한다. 추가적으로, 단어 "본 명세서에서(herein)", "위에서(above)", "이하에서(below)" 및 유사한 중요성의 단어는 이 출원에서 이용될 때, 이 출원의 임의의 특정한 부분이 아니라, 전체로서의 이 출원을 지칭한다. 청구항이 2개 이상의 항목의 리스트를 참조하여 단어 "또는"을 이용할 때, 하나 또는 다른 것으로 명백히 제한되지 않으면, 그 단어는 단어의 다음의 해독의 전부를 포괄한다: 리스트 내의 항목 중의 임의의 것, 리스트 내의 항목의 전부, 및 리스트 내의 항목의 임의의 조합. 본 명세서에서 명백히 정의되지 않은 임의의 항목은 관련된 분야(들)에서 통상의 기술자에 의해 보편적으로 이해된 바와 같은 그 기존의 의미를 가진다.
개시된 발명 요지는 구성의 세부사항, 및 다음의 설명에서 기재되거나 도면에서 예시된 컴포넌트의 배열로 그 응용 시에 제한되지 않는다는 것이 이해되어야 한다. 개시된 발명 요지는 다른 실시예가 될 수 있고, 다양한 방식으로 실시되고 수행될 수 있다. 또한, 본 명세서에서 채용된 어법 및 전문용어는 설명의 목적을 위한 것이고 제한하는 것으로서 간주되지 않아야 한다는 것이 이해되어야 한다.
이와 같이, 본 기술분야에서의 통상의 기술자는 이 개시내용이 기초하고 있는 개념이 개시된 발명 요지의 몇몇 목적을 수행하기 위한 다른 구조, 시스템, 방법, 및 매체의 설계에 대한 기초로서 용이하게 사용될 수 있다는 것을 인식할 것이다. 그러므로, 청구항은 개시된 발명 요지의 사상 및 범위로부터 이탈하지 않으므로, 청구항은 지금까지의 이러한 등가적인 구성을 포함하는 것으로 간주되어야 하는 것이 중요하다.
Claims (20)
- 방법으로서,
스마트 디바이스 상의 사용자 애플리케이션으로부터 하나 이상의 요청된 자극 데이터를 수신하는 단계;
센서 데이터 및 다른 컨텍스트 데이터 중의 적어도 하나를 수신하는 단계 ― 상기 다른 컨텍스트 데이터는 미-감지되는 데이터를 포함함 ―;
상기 센서 데이터 및 상기 다른 컨텍스트 데이터 중의 적어도 하나에 부분적으로 기초하여, 상기 요청된 자극 데이터의 적어도 부분을 수정된 자극으로 변환하는 단계;
상기 수정된 자극 및 환경적 자극을 혼합하여, 렌더링된 자극으로 귀착되도록 구성된 렌더링 디바이스로, 상기 수정된 자극 및 환경적 자극을 상기 사용자에게 제시하는 단계;
웨어러블 생체신호 감지 디바이스 상에서, 상기 렌더링된 자극에 응답하여 생성되는, 상기 사용자로부터의 생체신호를 수신하는 단계;
분류된 선택으로 귀착되도록, 상기 수정된 자극에 기초하여 분류기를 이용하여 상기 수신된 생체신호를 분류하는 단계; 및
상기 분류된 선택을 상기 사용자 애플리케이션으로 반환하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 사용자로부터의 상기 생체신호를 수신한 후에,
의도적 제어 신호의 존재 및 의도적 제어 신호의 부재 중의 적어도 하나를 이용함으로써 상기 수신된 생체신호를 상기 분류기로 송신할 것인지 여부를 결정하는 단계 ― 상기 의도적 제어 신호의 존재의 결정은,
상기 스마트 디바이스로부터 수동적 의도 기각 신호를 검출하는 것; 및
적어도 부분적으로, 상기 수신된 생체신호로부터, 상기 사용자가 상기 렌더링된 자극 중의 적어도 하나에 고착(fixate)하도록 의도하고 있는 것으로 결정하는 것 중의 적어도 하나를 포함함 ―;
상기 의도적 제어 신호가 존재한다는 조건 하에서,
상기 수신된 생체신호를 상기 분류기로 송신하는 단계; 및
상기 의도적 제어 신호가 부재한다는 조건 하에서,
상기 사용자로부터의 상기 수신된 생체신호를 수신하는 것을 계속하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
상기 수정된 자극은 상기 센서 데이터 및 상기 다른 컨텍스트 데이터 중의 적어도 하나를 이용하여 디바이스 컨텍스트 상태를 결정하는 것에 적어도 부분적으로 기초하는, 방법. - 제1항에 있어서,
상기 수정된 자극 및 환경적 자극을 상기 사용자에게 제시하는 단계는, 상기 사용자에 의해 감지되는 시각적 디바이스, 촉각적 디바이스, 및 청각적 디바이스 중의 적어도 하나를 이용하여 상기 수정된 자극 및 환경적 자극을 렌더링하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 수정된 자극은 정상-상태 모션 시각적 유발 전위 자극을 포함하고, 상기 수정된 자극 및 환경적 자극을 상기 사용자에게 제시하는 단계는, 상기 스마트 디바이스와 연관된 증강 현실 광학 시-스루(AR-OST : augmented reality optical see-through) 디바이스 상에서 상기 수정된 자극 및 환경적 자극을 렌더링하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 센서 데이터 및 상기 다른 컨텍스트 데이터 중의 적어도 하나는,
환경적 데이터, 몸체-장착된 센서 데이터, 접속된 보행용 디바이스 데이터, 위치 특정 접속된 디바이스 데이터, 및 네트워크 접속된 디바이스 데이터 중의 적어도 하나를 포함하는, 방법. - 제1항에 있어서,
클라우드 서버에 의해, 상기 분류기로부터 상기 분류된 선택을 수신하는 단계 ― 상기 클라우드 서버는,
컨텍스트 관리기;
상기 분류기에 의한 상기 수신된 생체신호의 분류를 용이하게 하기 위하여 상기 스마트 디바이스에 의해 이용되는 머신 학습 모델; 및
상기 머신 학습 모델을 수정하기 위한 적어도 하나의 모델 수정 프로세스를 포함함 ―;
상기 컨텍스트 관리기에 의해, 현재의 컨텍스트 상태 데이터 및 다른 상태 데이터에 대한 요청 중의 적어도 하나를 수신하는 단계;
상기 적어도 하나의 모델 수정 프로세스에 의해, 상기 컨텍스트 관리기로부터 새로운 상태 데이터 및 업데이트된 상태 데이터 중의 적어도 하나를 수신하는 단계; 및
상기 적어도 하나의 모델 수정 프로세스, 및 상기 분류된 선택, 상기 새로운 상태 데이터, 및 상기 업데이트된 상태 데이터 중의 적어도 하나를 이용하여, 상기 머신 학습 모델을 업데이트하는 단계를 더 포함하는, 방법. - 제7항에 있어서,
업데이트된 머신 학습 모델을 상기 클라우드 서버로부터 상기 스마트 디바이스로 송신하는 단계; 및
상기 스마트 디바이스 상의 머신 학습 모델 전송 제어기를 이용하여 상기 업데이트된 머신 학습 모델을 상기 분류기로 전송하는 단계를 더 포함하는, 방법. - 제8항에 있어서,
상기 머신 학습 모델 전송 제어기를 이용하여, 상기 스마트 디바이스 상의 컨텍스트 모듈에 의해, 상기 클라우드 서버로부터 새로운 머신 학습 모델을 요청하는 단계;
상기 스마트 디바이스에 의해, 상기 클라우드 서버로부터 상기 새로운 머신 학습 모델을 수신하는 단계; 및
상기 새로운 머신 학습 모델을 상기 분류기로 전송하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
클라우드 서버 상의 컨텍스트 관리기를 더 포함하고, 상기 컨텍스트 관리기는 추가적인 컨텍스트 정보를 상기 스마트 디바이스에 제공하는, 방법. - 시스템으로서,
스마트 디바이스;
렌더링 디바이스;
사용자 상의 웨어러블 생체신호 감지 디바이스;
프로세서; 및
명령을 저장하는 메모리를 포함하고,
상기 명령은, 상기 프로세서에 의해 실행될 때,
상기 스마트 디바이스 상의 사용자 애플리케이션으로부터 하나 이상의 요청된 자극 데이터를 수신하고,
센서 데이터 및 다른 컨텍스트 데이터 중의 적어도 하나를 수신하고 ― 상기 다른 컨텍스트 데이터는 미-감지되는 데이터를 포함함 ―,
상기 센서 데이터 및 상기 다른 컨텍스트 데이터 중의 적어도 하나에 부분적으로 기초하여, 상기 요청된 자극 데이터의 적어도 부분을 수정된 자극으로 변환하고,
상기 수정된 자극 및 상기 환경적 자극을 혼합하여, 렌더링된 자극으로 귀착되도록 구성된 상기 렌더링 디바이스로, 상기 수정된 자극 및 상기 환경적 자극을 상기 사용자에게 제시하고,
상기 웨어러블 생체신호 감지 디바이스 상에서, 상기 렌더링된 자극에 응답하여 생성되는, 상기 사용자로부터의 생체신호를 수신하고,
분류된 선택으로 귀착되도록, 상기 수정된 자극에 기초하여 분류기를 이용하여 상기 수신된 생체신호를 분류하고,
상기 분류된 선택을 상기 사용자 애플리케이션으로 반환하도록 상기 시스템을 구성하는, 시스템. - 제11항에 있어서,
상기 명령은 추가로, 상기 사용자로부터의 상기 생체신호를 수신한 후에,
의도적 제어 신호의 존재 및 의도적 제어 신호의 부재 중의 적어도 하나를 이용함으로써 상기 수신된 생체신호를 상기 분류기로 송신할 것인지 여부를 결정하고 ― 상기 의도적 제어 신호의 존재의 결정은,
상기 스마트 디바이스로부터 수동적 의도 기각 신호를 검출하는 것; 및
적어도 부분적으로, 수신된 생체신호로부터, 상기 사용자가 상기 렌더링된 자극 중의 적어도 하나에 고착(fixate)하도록 의도하고 있는 것으로 결정하는 것; 및
의도적 제어 신호의 부재 중의 적어도 하나를 포함함 ―,
상기 의도적 제어 신호가 존재한다는 조건 하에서,
상기 수신된 생체신호를 상기 분류기로 송신하고,
상기 의도적 제어 신호가 부재한다는 조건 하에서,
상기 사용자로부터의 상기 수신된 생체신호를 수신하도록 상기 시스템을 구성하는, 시스템. - 제11항에 있어서,
상기 수정된 자극은 상기 센서 데이터 및 상기 다른 컨텍스트 데이터 중의 적어도 하나를 이용하여 디바이스 컨텍스트 상태를 결정하는 것에 적어도 부분적으로 기초하는, 시스템. - 제11항에 있어서,
상기 수정된 자극 및 환경적 자극을 상기 사용자에게 제시하는 것은, 상기 사용자에 의해 감지되는 시각적 디바이스, 촉각적 디바이스, 및 청각적 디바이스 중의 적어도 하나를 이용하여 상기 수정된 자극 및 환경적 자극을 렌더링하는 것을 포함하는, 시스템. - 제11항에 있어서,
상기 수정된 자극은 정상-상태 모션 시각적 유발 전위 자극을 포함하고, 상기 수정된 자극 및 환경적 자극을 상기 사용자에게 제시하는 것은, 상기 스마트 디바이스와 연관된 증강 현실 광학 시-스루(AR-OST) 디바이스 상에서 상기 수정된 자극 및 환경적 자극을 렌더링하는 것을 포함하는, 시스템. - 제11항에 있어서,
상기 센서 데이터 및 상기 다른 컨텍스트 데이터 중의 적어도 하나는,
환경적 데이터, 몸체-장착된 센서 데이터, 접속된 보행용 디바이스 데이터, 위치 특정 접속된 디바이스 데이터, 및 네트워크 접속된 디바이스 데이터 중의 적어도 하나를 포함하는, 시스템. - 제11항에 있어서,
상기 명령은 추가로,
클라우드 서버에 의해, 상기 분류기로부터 상기 분류된 선택을 수신하고 ― 상기 클라우드 서버는,
컨텍스트 관리기;
상기 분류기에 의한 상기 수신된 생체신호의 분류를 용이하게 하기 위하여 상기 스마트 디바이스에 의해 이용되는 머신 학습 모델; 및
상기 머신 학습 모델을 수정하기 위한 적어도 하나의 모델 수정 프로세스를 포함함 ―,
상기 컨텍스트 관리기에 의해, 현재의 컨텍스트 상태 데이터 및 다른 상태 데이터에 대한 요청 중의 적어도 하나를 수신하고,
상기 적어도 하나의 모델 수정 프로세스에 의해, 상기 컨텍스트 관리기로부터 새로운 상태 데이터 및 업데이트된 상태 데이터 중의 적어도 하나를 수신하고,
상기 적어도 하나의 모델 수정 프로세스, 및 상기 분류된 선택, 상기 새로운 상태 데이터, 및 상기 업데이트된 상태 데이터 중의 적어도 하나를 이용하여, 상기 머신 학습 모델을 업데이트하도록 상기 시스템을 구성하는, 시스템. - 제17항에 있어서,
상기 명령은 추가로,
상기 클라우드 서버에 의해, 업데이트된 머신 학습 모델을 상기 스마트 디바이스로 송신하고,
상기 스마트 디바이스 상의 머신 학습 모델 전송 제어기를 이용하여 상기 업데이트된 머신 학습 모델을 상기 분류기로 전송하도록 상기 시스템을 구성하는, 시스템. - 제18항에 있어서,
상기 명령은 추가로,
상기 머신 학습 모델 전송 제어기를 이용하여, 상기 스마트 디바이스 상의 컨텍스트 모듈에 의해, 상기 클라우드 서버로부터 새로운 머신 학습 모델을 요청하고,
상기 스마트 디바이스에 의해, 상기 클라우드 서버로부터 상기 새로운 머신 학습 모델을 수신하고, 그리고
상기 새로운 머신 학습 모델을 상기 분류기로 전송하도록 상기 시스템을 구성하는, 시스템. - 방법으로서,
스마트 디바이스 상의 사용자 애플리케이션으로부터 하나 이상의 요청된 자극 데이터를 수신하는 단계;
센서 데이터 및 다른 컨텍스트 데이터 중의 적어도 하나를 수신하는 단계 ― 상기 다른 컨텍스트 데이터는 미-감지되는 데이터를 포함함 ―;
상기 센서 데이터 및 상기 다른 컨텍스트 데이터 중의 적어도 하나에 부분적으로 기초하여, 상기 요청된 자극 데이터의 적어도 부분을 수정된 자극으로 변환하는 단계 ― 상기 수정된 자극은 정상-상태 모션 시각적 유발 전위 자극을 포함함 ―;
상기 수정된 자극 및 환경적 자극을 혼합하여, 렌더링된 자극으로 귀착되도록 구성된 렌더링 디바이스로, 상기 수정된 자극 및 환경적 자극을 상기 사용자에게 제시하는 단계 ― 상기 수정된 자극 및 환경적 자극을 상기 사용자에게 제시하는 단계는,
상기 사용자에 의해 감지되는 시각적 디바이스, 청각적 디바이스, 및 촉각적 디바이스 중의 적어도 하나를 이용하여 상기 수정된 자극 및 환경적 자극을 렌더링하는 단계; 및
상기 스마트 디바이스와 연관된 증강 현실 광학 시-스루(AR-OST) 디바이스 상에서 상기 수정된 자극 및 환경적 자극을 렌더링하는 단계를 포함함 ―;
웨어러블 생체신호 감지 디바이스 상에서, 상기 렌더링된 자극에 응답하여 생성되는, 상기 사용자로부터의 생체신호를 수신하는 단계;
의도적 제어 신호의 존재 및 의도적 제어 신호의 부재 중의 적어도 하나를 이용함으로써 상기 생체신호를 분류기로 송신할 것인지 여부를 결정하는 단계 ― 상기 의도적 제어 신호의 존재의 결정은,
상기 스마트 디바이스로부터 수동적 의도 기각 신호를 검출하는 것; 및
적어도 부분적으로, 수신된 생체신호로부터, 상기 사용자가 상기 렌더링된 자극 중의 적어도 하나에 고착하도록 의도하고 있는 것으로 결정하는 것 중의 적어도 하나를 포함함 ―;
상기 의도적 제어 신호가 존재한다는 조건 하에서,
상기 수신된 생체신호를 상기 분류기로 송신하는 단계; 및
상기 의도적 제어 신호가 부재한다는 조건 하에서,
상기 사용자로부터의 상기 수신된 생체신호를 수신하는 것을 계속하는 단계;
분류된 선택으로 귀착되도록, 상기 수정된 자극에 기초하여 상기 분류기를 이용하여 상기 수신된 생체신호를 분류하는 단계; 및
상기 분류된 선택을 상기 사용자 애플리케이션으로 반환하는 단계를 포함하는, 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163170987P | 2021-04-05 | 2021-04-05 | |
| US63/170,987 | 2021-04-05 | ||
| PCT/IB2022/053179 WO2022214969A1 (en) | 2021-04-05 | 2022-04-05 | Asynchronous brain computer interface in ar using steady-state motion visual evoked potential |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230162116A true KR20230162116A (ko) | 2023-11-28 |
Family
ID=81307815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237038080A KR20230162116A (ko) | 2021-04-05 | 2022-04-05 | 정상-상태 모션 시각적 유발 전위를 이용하는 ar에서의 비동기식 뇌 컴퓨터 인터페이스 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US12008162B2 (ko) |
| EP (1) | EP4320500A1 (ko) |
| JP (1) | JP2024518267A (ko) |
| KR (1) | KR20230162116A (ko) |
| CA (1) | CA3214642A1 (ko) |
| WO (1) | WO2022214969A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11832946B2 (en) * | 2021-11-17 | 2023-12-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for producing stimuli in a visual interface |
| US11816262B1 (en) * | 2023-03-14 | 2023-11-14 | Illuscio, Inc. | Systems and methods for modifying a user interface based on eye focus |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016105835A1 (en) * | 2014-12-27 | 2016-06-30 | Intel Corporation | Technologies for biosignal feedback filtering |
| US20190073605A1 (en) * | 2017-02-27 | 2019-03-07 | Andrew Jay KELLER | Systems and methods for real-time neural command classification and task execution |
| US11696714B2 (en) * | 2019-04-24 | 2023-07-11 | Interaxon Inc. | System and method for brain modelling |
-
2022
- 2022-04-05 EP EP22716502.4A patent/EP4320500A1/en active Pending
- 2022-04-05 KR KR1020237038080A patent/KR20230162116A/ko unknown
- 2022-04-05 CA CA3214642A patent/CA3214642A1/en active Pending
- 2022-04-05 US US17/713,622 patent/US12008162B2/en active Active
- 2022-04-05 WO PCT/IB2022/053179 patent/WO2022214969A1/en active Application Filing
- 2022-04-05 JP JP2023561789A patent/JP2024518267A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220326771A1 (en) | 2022-10-13 |
| WO2022214969A1 (en) | 2022-10-13 |
| EP4320500A1 (en) | 2024-02-14 |
| CA3214642A1 (en) | 2022-10-13 |
| JP2024518267A (ja) | 2024-05-01 |
| US12008162B2 (en) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Klaib et al. | Eye tracking algorithms, techniques, tools, and applications with an emphasis on machine learning and Internet of Things technologies | |
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| CN112507799B (zh) | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 | |
| Zepf et al. | Driver emotion recognition for intelligent vehicles: A survey | |
| JP6125670B2 (ja) | 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム | |
| EP3140719B1 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| JP2022501718A (ja) | ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース | |
| Zheng et al. | Four-class emotion classification in virtual reality using pupillometry | |
| Ghosh et al. | Automatic gaze analysis: A survey of deep learning based approaches | |
| US12008162B2 (en) | Asynchronous brain computer interface in AR using steady-state motion visual evoked potential | |
| CN112181152A (zh) | 基于mr眼镜的广告推送管理方法、设备及应用 | |
| US20220319536A1 (en) | Emotion recognition method and emotion recognition device using same | |
| KR20200093235A (ko) | 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치 | |
| Nie et al. | SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition | |
| Koochaki et al. | A data-driven framework for intention prediction via eye movement with applications to assistive systems | |
| Edughele et al. | Eye-tracking assistive technologies for individuals with amyotrophic lateral sclerosis | |
| Wang et al. | Clustering-based emotion recognition micro-service cloud framework for mobile computing | |
| Bozkir et al. | Eye-tracked virtual reality: a comprehensive survey on methods and privacy challenges | |
| CN109145010B (zh) | 信息查询方法、装置、存储介质及穿戴式设备 | |
| El Mougy | Character-IoT (CIoT): Toward Human-Centered Ubiquitous Computing | |
| US11429188B1 (en) | Measuring self awareness utilizing a mobile computing device | |
| Biswas et al. | “Are you feeling sick?” A systematic literature review of cybersickness in virtual reality | |
| Yalcin et al. | Automatic cybersickness detection by deep learning of augmented physiological data from off-the-shelf consumer-grade sensors | |
| WO2024058986A1 (en) | User feedback based on retention prediction | |
| Flutura | Mobile social signal interpretation in the wild for wellbeing |