KR20200101906A

KR20200101906A - 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스

Info

Publication number: KR20200101906A
Application number: KR1020207008357A
Authority: KR
Inventors: 람세스 알카이데; 데렉 파덴; 제이 잔츠; 제임스 하멧; 제프리 모리스 주니어; 아날도 페레이라
Original assignee: 뉴레이블 인크.
Priority date: 2017-08-23
Filing date: 2018-08-22
Publication date: 2020-08-28
Also published as: US20220404910A1; JP2020532031A; US11972049B2; CN111629653B; WO2019040665A1; US11269414B2; EP3672478A4; EP3672478A1; US20200192478A1; CN111629653A

Abstract

본 명세서에 설명된 실시예들은 실시간 눈-움직임 추적과 뇌 활동 추적을 통합하여 인간-기계 상호작용의 높은 속도 및 정확도를 위해 전략적으로 설계된 사용자 인터페이스를 제시하고 업데이트하는 뇌-컴퓨터 인터페이스의 구현에 사용하기 위한 시스템들, 디바이스들 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한 실시간 눈 추적 및 신경 신호들의 온라인 분석을 사용하여 기계들의 사용자 조작을 중재하는 하드웨어 관용적 뇌-컴퓨터 인터페이스의 구현에 관한 것이다.

Description

고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스

관련 출원들에 대한 상호 참조

본 출원은 2017년 8월 23일자로 출원된 "Brain-Computer Interface with High-Speed Eye Tracking Features"이라는 명칭의 U.S. 가출원 번호 62/549,253에 대한 우선권 및 이익을 주장하며, 가출원의 개시내용은 그 전문이 본 명세서에 참조로 포함된다.

배경

본 명세서에 설명된 실시예들은 실시간 눈-움직임 추적(eye-movement tracking)과 뇌 활동 추적(brain activity tracking)을 통합하여 인간-기계 상호작용의 높은 속도 및 정확도를 위해 전략적으로 설계된 사용자 인터페이스를 제시하고 업데이트하는 뇌-컴퓨터 인터페이스(brain-computer interface)의 구현에 사용하기 위한 시스템들, 디바이스들 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한 실시간 눈 추적 및 신경 활동의 온라인 분석을 사용하여 기계들의 사용자 조작을 중재하는 하드웨어 관용적 뇌-컴퓨터 인터페이스의 구현에 관한 것이다.

뇌-컴퓨터 인터페이스(brain-computer interface)(BCI)는 전선으로 연결된 뇌(wired brain)와 외부 디바이스 사이의 직접적인 통신 경로들에 의해 컴퓨터들 또는 외부 디바이스들을 뇌 활동 단독으로 제어하게 하는 하드웨어 및 소프트웨어 통신 시스템이다. BCI는 뇌 신호들을 해석함으로써 동작 중인 기계들 및 애플리케이션들에 직접 액세스하게 하는 보조 기술로서 주로 설계되었다. BCI 개발의 주요 목표들 중 하나는 근위축성 측면 경화증, 뇌간 뇌졸중 또는 척수 손상과 같은 신경학적 신경근육 장애들에 의해 완전히 마비되거나 '기능 정지되어(locked-in)', 다른 사람들과 효과적인 의사소통이 극히 어려울 수 있는, 중증 장애인들에게 의사소통 능력들을 제공하는 것이다.

뇌-컴퓨터 인터페이스들의 일부 알려진 구현들에는 Farwell과 Donchin이 디자인한 것과 같은 스펠러(speller)들을 포함한다. 이러한 스펠러에서, 26 개 알파벳 문자가 여러 다른 심볼들 및 커맨드들과 함께 무작위로 반짝거리는 행들과 열들이 있는 6 × 6 매트릭스로 화면에 디스플레이된다. 뇌의 신경 반응이 시그니처 신호들에 대해 모니터링되는 동안, 사용자는 화면에 주의를 기울이고 기입될 문자들에 연속적으로 집중한다. 일단 시그니처 신호들이 검출되면 시스템은 원하는 심볼을 식별할 수 있게 된다. Farwell-Donchin 스펠러는 건강한 사람들이 분당 약 2 개 문자의 속도로 철자를 말할 수 있게 한다.

그러나 BCI들은 심지어 신체 능력이 있는 사람들이 마우스 및 키보드와 같은 통상적인 입력 또는 출력 인터페이스가 필요 없이 컴퓨터들 또는 다른 데이터 처리 기계들 및/또는 소프트웨어 애플리케이션들을 동작시키는데 보조하도록 설계될 수 있다. BCI들은 또한 통상적인 입력 제어보다 컴퓨터와의 보다 직관적이고 자연스러운 상호작용을 위한 인터페이스를 제공할 수 있다. 또한, BCI들은 인간 및 동물 인지 및/또는 감각 운동 시스템(sensory motor system)들 및 그들의 기능들을 증강하고, 수리할 뿐만 아니라 매핑하고 연구하는 것을 비롯한 다른 많은 기능을 제공하도록 개발될 수도 있다. 일부 BCI 애플리케이션들은, 다른 것들 중에서도, 워드 프로세서들, 적응형 웹 브라우저들, 휠체어 또는 신경 보철물들의 뇌 제어 및 게임들을 포함한다. 그러나 대부분의 애플리케이션은 훈련 또는 데모 목적들을 위해서 설계되었을 뿐이다.

본 명세서에는 눈 움직임들 및 뇌 활동을 추적하여 사용자의 시선 또는 주의 및 원하는 행동의 선택/활성화의 실시간 포지셔닝(real-time positioning)을 중재하는 하드웨어-관용적인 통합된 안구운동-신경(oculomotor-neural) 하이브리드 뇌-컴퓨터 인터페이스(BCI) 플랫폼의 다양한 실시예에 대한 시스템들, 디바이스들 및 방법들이 설명된다. 본 개시내용은 높은 속도 및 정확도로 동작하는 뇌 컴퓨터 인터페이스들의 필요성을 해결하는 통합된 하이브리드 BCI 시스템을 제시한다.

도 1은 실시예에 따른, 하이브리드 뇌 컴퓨터 인터페이싱 시스템의 개략도이다.
도 2a는 비디오 기반 눈-추적 디바이스의 예시도이다.
도 2b는 비디오 기반 눈-추적 디바이스의 전면도 및 후면도를 도시한다.
도 3a는 예시적인 신경 기록 헤드셋의 예시도이다.
도 3b는 신경 뇌 신호들을 기록하기 위한 사용자의 두피 위의 예시적인 전극 배치 위치들의 측면도(왼쪽) 및 평면도(오른쪽)를 도시한다.
도 3c는 수직 파선으로 표시된 시점에서 제시된, 비 표적(non-target) 자극(자홍색)과 대조적으로 원하는 표적 자극(흑색)에 의해 유발되는 한 가지 유형의 신경 활동인 이벤트 관련 전위(Event Related Potential)(ERP)들 간의 차이를 나타내는, 뇌로부터 기록된 반응들의 예를 도시한다.
도 4는 자극을 구별하고 사용자 의도에 기초하여 자극을 선택 또는 선택 해제하기 위해, 예시적인 자극 드라이버 신경 활동(stimulus driver neural activity)(P300 신호)을 사용하는 예시적인 하이브리드 BCI 시스템의 개략도이다.
도 5a 및 도 5b는 사용자 선택 전후의 예시적인 사용자 인터페이스의 예시도이다.
도 5c는 사용자가 비디오 기반 눈-추적기 및 신경 기록 헤드셋을 통해 도 5a 및 도 5b의 인터페이스들과 상호작용하는 것을 도시한다.
도 5d 및 도 5e는 도 5c에 도시된 뇌 활동을 모니터링하는 비디오 기반 눈-추적기 및 뇌 활동을 모니터링하는 신경 기록 헤드셋에 의해 생성되고 기록된 예시적인 신호들을 도시한다.
도 5f는 피험자가 그들의 결정을 의식적으로 인식하기 전에도 원하는 행동을 개시하고 구현하도록 구현될 수 있는 고속 눈-움직임 추적 시스템의 동작을 도시한다.
도 6은 실시예에 따른, 하이브리드 뇌 컴퓨터 인터페이싱 디바이스의 개략도이다.
도 7은 실시예에 따른, 하이브리드 뇌 컴퓨터 인터페이싱 디바이스의 동작의 예시적인 프로세스를 도시한다.
도 8a는 실시예에 따른, 하이브리드 BCI 시스템을 사용하여 신경 기록 전극들의 세트로부터 시간 경과에 따라 기록된 뇌 신호들의 예시적인 세트를 도시한다.
도 8b는 다른 실시예에 따른, 하이브리드 BCI 시스템을 사용하여 시간 경과에 따라 기록된 신경 뇌 신호들의 예시적인 세트를 도시한다.
도 9a는 실시예에 따른, 사용자 선택 이전(왼쪽) 및 이후(오른쪽)의 예시적인 사용자 인터페이스의 사례들을 도시한다.
도 9b는 다른 실시예에 따른, 사용자 선택 전후에 다른 레이아웃을 추종하는 다른 예시적인 사용자 인터페이스의 사례들을 도시한다.
도 10은 시간에 따라 이동하는 객체의 동적 태깅의 동작을 예시하는, 예시적인 사용자 인터페이스의 여러 사례들을 도시한다.
도 11은 사용자 역량들 및 BCI 시스템의 유형에 기초하여 BCI 시스템들의 활용 공간의 예시를 도시한다.

본 명세서에 설명된 실시예들은 실시간 눈-움직임 추적과 뇌 활동 추적을 통합하여 인간-기계 상호작용의 높은 속도 및 정확도를 위해 전략적으로 설계된 사용자 인터페이스를 제시하고 업데이트하는 하이브리드 뇌-컴퓨터 인터페이스(BCI)의 구현에 사용하기 위한 시스템들, 디바이스들 및 방법들에 관한 것이다. 본 명세서에 설명된 실시예들은 또한 실시간 눈 추적 및 신경 뇌 신호들의 온라인 분석을 사용하여 기계들의 사용자 조작을 중재하는 하드웨어 관용적 뇌-컴퓨터 인터페이스의 구현에 관한 것이다.

BCI 기술이 환자들에게 더 잘 적합해 지고, 일반 대중에게 유용해지며, 실제 세계 태스크들을 제어하는데 사용되기 위해서는 정보 전달 속도가 자연적인 대화 속도를 충족하도록 개선되어야 하고, 오류율이 감소되어야 하며, 상호작용 인터페이스의 복잡성이 현재 구현들에 비해 최소화되어야 한다. 또한, BCI 애플리케이션들은 사용자들의 높은 인지 부하를 요구하며, 이에 따라 사용자 인터페이스는 조용한 실험실 환경들로부터 실제 세계로 이전하도록 개선되어야 한다. BCI 디바이스들 및 애플리케이션들을 더 쉽고 보다 직관적이게 구성하기 위해, 고속 및 고정밀도로 동작하는 뇌 기계 인터페이스들의 구현에서 자연스럽고 직관적인 프로세스를 통해 사용자 중재 행동 선택(user mediated action selection)을 가능하게 하는 개선된 디바이스들 및 기술들이 필요하다.

하이브리드 BCI 시스템

본 명세서에 설명되는 바와 같이, BCI는 뇌 활동 단독으로 컴퓨터들 또는 외부 디바이스들을 제어하게 하는 하드웨어 및 소프트웨어 통신 시스템이다. 하이브리드 BCI 시스템은 인터페이스를 통한 자극의 디스플레이, 인터페이스 상에서 사용자의 초점을 찾는 하드웨어 장치, 뇌 활동을 기록하고 처리하기 위한 디바이스 및 사용자의 환경을 통해 제어로 변환될 수 있는 인터페이스의 제어를 수행하기 위한 장치를 포함한다. 이러한 표준 피처들은 (1) 포인팅 제어 피처(pointing control feature), (2) 행동 제어 피처(action control feature) 및 (3) 사용자 인터페이스 피처(user interface feature)로서 특징지을 수 있다. 포인팅 제어 피처는 사용자가 조작기들의 소형 세트로 줄여 제어할 수 있게 하는 마우스 포인터와 같은 통상적인 포인팅 디바이스와 유사할 수 있다. 행동 제어 피처는 사용자가 행동에 따라 변화를 초래할 수 있게 하는 선택 디바이스, 예를 들면 마우스 클릭 또는 키보드 스트로크와 유사할 수 있다. 행동은 많은 것 중 하나, 예를 들면, 다른 것들 중에서도, 활성화 또는 비활성화, 사용자 인터페이스에 대한 지속적인 변동(예를 들어, 스크롤링) 또는 불연속적인 시작들 및 중지들에 따른 사용자 인터페이스에 대한 급격한 변동(예를 들어, 강조 표시(highlighting), 호버링(hovering) 등), 핀칭(pinching), 줌잉(zooming), 티틀링(titling), 스윕핑(swiping)일 수 있다. 사용자 인터페이스를 통한 행동 제어의 몇몇 다른 예는 가상 키보드 제어, 메뉴 네비게이션, 객체 또는 아이템들을 배치 및 배치 해제하는 행동들, 객체 또는 아이템들을 이동시키는 행동, 객체의 확장 및/또는 축소, 제1 사람 관찰자 또는 플레이어의 움직임 또는 네비게이션, 관찰자 관점들의 변경, 및 쥐기, 잡기 또는 호버링과 같은 행동들을 포함할 수 있다. 행동 제어의 이러한 양태들 중 일부가 아래에 개시된다. 하이브리드 BCI 시스템의 사용자 인터페이스 피처는 선택 메뉴 제공, 네비게이션 제어들 등과 같은 다른 피처들 이외에 포인팅 및 행동 제어 피처들을 구현하는 환경을 생성하고 유지 관리하는 운영 체제와 유사할 수 있다.

본 명세서에 설명된 하이브리드 BCI 시스템의 일부 실시예에서, 포인팅 제어 피처 및 사용자의 초점을 식별하기 위한 방법은 눈-추적 디바이스를 포함할 수 있다. 일부 실시예에서, 사용자의 의도를 식별하기 위한 행동 제어 피처 및 방법들은 뇌의 신경 신호들을 모니터링하는 임의의 적절한 형태를 포함할 수 있다. 이것은 예를 들어 전기적 또는 광학적 방법을 통한 뇌 이미징(brain imaging)을 포함할 수 있다. 예를 들어, 일부 실시예에서, 하이브리드 BCI 시스템은 사용자의 뇌 신호들을 BCI 커맨드들로 변환하는 증폭기 및 프로세서를 통해 전달되는 뇌 활동의 신경 신호들을 기록하는 전극들을 사용할 수 있다. 일부 실시예에서, 하이브리드 BCI 시스템은 기계들의 뇌 활동 기반 제어를 구현하는 정교한 사용자 인터페이스들을 구현할 수 있다. 아래에서 상세히 설명되는 바와 같이, 하이브리드 BCI 시스템과의 인간 상호작용의 높은 속도 및 정확도를 달성하기 위해, 이러한 피처들 중 하나 이상에 특정한 적응들이 구현될 수 있다.

도 1은 실시예에 따른, 하이브리드 뇌 컴퓨터 인터페이스 시스템(100)의 개략도이다. 예시적인 하이브리드 뇌 컴퓨터 인터페이스 시스템(100)(본 명세서에서 "하이브리드 BCI 시스템" 또는 "BCI 시스템" 또는 "시스템"으로도 지칭됨)은 비디오 기반 눈-추적기(102) 및 사용자 뇌의 하나 이상의 제어 신호를 기록하기 위한 신경 기록 헤드셋(104)을 포함하는 통합된 안구운동-신경 하이브리드 BCI 시스템이다. 제어 신호들은 뇌전도(electroencephalography)(EEG), 피질 뇌전도(electrocorticography)(ECoG) 또는 자기 뇌전도(magnetoencephalography)(MEG) 등과 같은 임의의 적합한 접근법을 통해 기록된 임의의 형태의 신경 활동일 수 있다. 신경 활동의 예시적인 형태들은 이벤트 관련 전위(ERP)들, 운동 연상(motor imagery), 시각적으로 유발된 전위(visually evoked Potential)(VEP)들, 뇌 상태 종속 신호들 등을 포함한다. 예시적인 하이브리드 BCI 시스템(100)은 또한 뇌-컴퓨터 인터페이싱 디바이스(110) 및 임의로 시청각 디스플레이(106)를 포함한다.

하이브리드 BCI 시스템(100)의 일부 실시예에서, 사용자의 초점은 비디오 기반 눈-추적기(102)(즉, 포인팅 제어 피처)로부터 결정될 수 있고, 신경 기록 헤드셋(104)(즉, 행동 제어 피처)은 신경 뇌 활동 데이터를 수집하기 위해 사용될 수 있다. 수집된 신경 및 눈-추적 데이터는 어떤 자극이 제시되었는지에 관한 데이터와 함께 신호들을 앙상블로서 처리하는 뇌-컴퓨터 인터페이싱 디바이스(110)에 통신될 수 있다. 조합된 정보에 의해, 뇌-컴퓨터 인터페이싱 디바이스(110)는 통계 모델들에 기초하여 관련 신호 피처들을 검출하여 사용자의 의도를 예측할 수 있다. 그 다음에 이렇게 예측된 의도는 예를 들어 디스플레이(106)를 통해 제시되고 이에 의거하여 작동되는 사용자 인터페이스를 통해 사용자에게 통신될 수 있다.

비디오 기반 눈-추적 - 포인팅 제어 피처

일부 실시예에서, 비디오 기반 눈-추적기(102)는 2 차원 또는 3 차원 공간에서 사용자의 눈 움직임들을 빠르게 따라감으로써 사용자가 그들의 시야에서 어디를 바라보고 있는지를 결정하는데 사용될 수 있다. 예를 들어, 사용자가 그들의 눈-움직임들의 자발적 제어권을 갖는다면, 비디오 기반 눈-추적기(102)는 그들의 시야에서 그들의 눈이 어느 부분공간(subspace)들을 "가리키는"지를 결정하는데 사용될 수 있다. 다시 말해서, 비디오 기반 눈-추적기(102)는 사용자의 눈 움직임 궤적들을 포인팅 제어 피처로서 사용하여, 피험자의 의도 및 거동에 관한 중요한 정보를 밝혀낼 수 있다. 일부 실시예에서, 시각 공간에서 그들의 주의가 어디에 집중되는지, 그들이 어떤 자극에 집중되는지 또는 그들이 어떤 자극에 반응하는지에 관한 양태들은 BCI 시스템(100)에서 효과적으로 사용될 수 있다.

일부 실시예에서, 비디오 기반 눈-추적기(102)는 헤드 마운트(head-mounted) 눈 추적 비디오 카메라를 사용하여 사용자의 동공 및 조명원의 제1 표면 각막 반사(corneal reflection)(CR)를 추적하는 것에 의존하여 사용자의 눈을 이미징한다. 이들 두 피처 사이의 위치 차이는 관찰자의 헤드에서의 눈 방향(eye-in-head orientation)을 결정하는데 사용될 수 있다. 비디오 기반 눈-추적기(102)로서 사용될 수 있는 일부 예시적인 헤드 마운트 눈-추적 디바이스들은 도 2a 및 도 2b에 도시되어 있으며, 다른 상업용 벤더들 중에서 SenseMotoric Instruments, Tobii Eye Tracking 및 Pupil-labs로부터 구입 가능하다. 예를 들어, 도 2b의 예시도는 왼쪽 및 오른쪽 눈 카메라가 표시되어 있는 비디오 기반 눈-추적기의 전면도 및 후면도를 도시한다. 카메라들은 유선 또는 무선 연결을 통해 서로 연결될 수 있다. 비디오 기반 눈-추적기는 사용자의 시야를 캡처하는 부수적인 장면 카메라를 또한 포함할 수 있다.

일부 실시예에서, 비디오 기반 눈-추적기(102)는 동공의 이미지 및 조명원의 각막 반사를 동시에 기록한다. 비디오 기반 눈-추적기(102)는 홍채에 의해 최적으로 반사되고 인간들에게는 보이지 않는 근적외선(near infrared)(IR) 조명원을 사용할 수 있어서, 사용자를 방해하거나 산만하게 하지 않는다. 강한 IR 반사는 동공 감지에 특히 유익한 높은 대비 이미지들을 산출한다. 일부 실시예에서, 비디오 기반 눈-추적기(102)는 원거리 조명원으로부터 평행 광선들이 방출되고 광학 컴포넌트들에 의해 시준되는 시준된 원거리 광원(far range light source)을 사용할 수 있다. 일부 실시예에서, 비디오 기반 눈-추적기(102)는, 조명원이 눈으로부터 유한 거리(전형적으로 50 mm 이하)에 마운트되고 조명원과 눈 사이에 광선들을 시준할 광학 컴포넌트가 없는, 눈을 조명하기 위한 비시준 근거리 광원(non-collimated near-source)을 사용할 수 있다.

본 명세서에 설명되는 바와 같이, 비디오 기반 눈-추적기(102)는 눈으로부터 반사된 광을 이용하며, 이는 비디오 카메라 또는 이러한 용도를 위해 특별히 설계된 몇몇 임의의 다른 적합한 광학 센서에 의해 감지된다. 그 다음에 감지된 광이 분석되어 반사들의 변화들로부터 눈 회전을 추출한다. 일부 실시예에서, 비디오 기반 눈-추적기(102)는 각막 반사(즉, 제1　푸르킨 이미지(Purkinje image)) 및 동공의 중심을 시간 경과에 따라 추적하는 피처들로서 사용할 수 있다. 일부 실시예에서, 비디오 기반 눈-추적기(102)는 각막의 전방으로부터의 반사(즉, 제1 푸르킨 이미지)) 및 렌즈의 후방으로부터의 반사(즉, 제4 프루킨 이미지)를 보다 민감한 접근법에서 눈 움직임을 추적하는 피처들로서 사용할 수 있다. 일부 실시예에서, 비디오 기반 눈-추적기(102)는 예를 들어 망막 혈관들과 같은 눈 내부의 피처들을 이미징하고, 눈이 회전함에 따라 이러한 피처들의 움직임을 따라감으로써 훨씬 더 민감한 추적 방법들을 사용할 수 있다.

일부 실시예에서, 비디오 기반 눈-추적기(102)는 아래에서 설명되는 바와 같이 통합된 디스플레이를 포함할 수 있다. 디스플레이(106)와 통합된 비디오 기반 눈-추적기(102)는 가상 현실 공간을 보도록 구성된 시스템일 수 있다. 일부 실시예에서, 디스플레이(106)와 통합된 비디오 기반 눈-추적기(102)는 증강 현실 공간을 보도록 구성될 수 있다.

뇌 신호들의 신경 기록 - 행동 제어 피처

모든 BCI 시스템의 핵심은 뇌 신호들을 행동 제어 피처로 만드는 제어 신호들로서 사용될 수 있는 뇌 신호들이다. 모니터링될 주요 유형의 뇌 활동들 중 하나인 전기생리학적 활동은 뉴런들 사이에 정보를 교환하는 전기-화학 전달자(electro-chemical transmitter)들에 의해 생성된다. 뉴런들은 뉴런 어셈블리들 내에서 및 뉴런 어셈블리들을 가로질러 흐르는 이온 전류들을 생성한다. 다양한 전류 경로들은 수지상 트렁크(dendritic trunk)를 통해 소스로부터 싱크로의 쌍극자 전도 전류(dipole conducting current)로서 단순화될 수 있다. 이러한 세포 내 전류(intracellular current)들은 일차 전류들로 알려져 있다. 전하들의 보존은 일차 전류가 이차 전류들로 알려진 세포 외 전류(extracellular current) 흐름들에 의해 둘러싸인다는 것을 적시한다.

본 명세서에 설명되는 바와 같이, 신경 기록 헤드셋(104)은 뇌 신호들을 사용하여 뇌 활동을 측정하고 정보를 커맨드들로 변환될 수 있는 다루기 쉬운 전기 신호들로 변환하는 기록 단계를 통해 사용자 의도들에 관한 정보를 수집한다. 일부 실시예에서, 신경 기록 헤드셋(104)은 높은 시간 해상도, 낮은 셋업 및 유지 비용, 높은 휴대성을 갖고, 사용자들에게 비침습적인 뇌전도(EEG)를 통해 전기 생리학적 활동을 기록하도록 구성될 수 있다. 신경 기록 헤드셋(104)은 상이한 뇌 영역들로부터 뇌파 신호들을 획득하는 센서들을 갖는 전극들의 세트를 포함한다. 이러한 센서들은 뉴런들의 수상 돌기들의 시냅스 여기들 동안 전류들의 흐름으로 인한 전기 신경 활동을 측정하며 이차 전류들의 영향들에 극히 민감하다. 신경 신호들은 신경 기록 헤드셋(104) 내에 적절히 배열되고 사용자의 두피에 놓인 전극들을 통해 기록된다. 신경 기록 헤드셋(104)의 실시예의 예시적인 예시도가 도 3a에 도시되며, 유사한 신경 기록 헤드셋은 다른 상업용 벤더들 중에서 Biosemi, Wearable Sensing 및 G.Tec로부터 구입 가능하다.

일부 실시예에서, 신경 기록 헤드셋(104)은 전극들, 증폭기들, A/D 변환기 및 기록 디바이스를 포함할 수 있다. 일부 실시예에서, 신경 기록 헤드셋(104) 상의 전극들은 두피로부터 신호를 획득할 수 있고, 증폭기는 아날로그 신호들을 확대하여 신경 신호들의 진폭을 확대할 수 있다. 일부 실시예에서, 신경 기록 헤드셋(104)에 배열된 하나 이상의 전극은 증폭기들, A/D 변환기들 및 각각의 전극으로부터의 신호를 저장하는 하나 이상의 기록 디바이스에 직접 연결될 수 있다. 일부 실시예에서, 이러한 컴포넌트들은 신경 기록 헤드셋(104)에 수용될 수 있다. 일부 실시예에서, 즉각적인 신호 증폭만이 신경 기록 헤드셋(104)에서 수행될 수 있고, A/D 변환 및 기록과 같은 다른 프로세스들은 신호를 B-C 통합 디바이스(110)로 전송한 후에 수행될 수 있다.

일부 실시예에서, 신경 기록 헤드셋(104) 상의 전극들은 미국 뇌파학 협회(American Electroencephalographic Society)에 의해 표준화된, 일반적으로 따르는 국제 10-20 시스템(International 10-20 system)에 기초하여 두피 위에 배치되도록 배열될 수 있다. 도 3b는 이러한 시스템에 따른 전극들의 배치의 예시적인 예시도를 도시한다. 10-20 시스템은 전극 위치를 정의하기 위해 머리에서 두 개의 기준 지점을 사용한다. 이들 기준 지점 중 하나는 눈들과 동일한 수준에서 코의 상단에 위치한 나지온(nasion)이다. 다른 기준 지점은 두개골의 맨 아래 부분에 있는 뼈 덩어리에서 발견되는 이니온(inion)이다. 횡단면과 중간면이 이들 두 지점으로부터 두개골을 나눈다. 전극 위치들은 이러한 평면들을 10 % 및 20 %의 간격들에서 표시함으로써 정해진다. 각 위치의 문자들은 A가 귓불을, C가 중심 부위를, Pg가 코 인두를, P가 두정부를, F가 정면을, Fp가 정면 극점을 그리고 O가 후두부 부위를 나타내는 방식으로 특정 뇌 영역에 대응한다. 도 3c는 신경 기록 헤드셋(104)을 사용하여 기록된, 소위 자극에 의해 유발된(stimulus driven) "신경 활동"이라 부르는 자극에 뒤이은 뇌 반응들의 예시적인 세트를 도시한다. 신경 신호는 활성 전극(신호 전극이라고도 함)과 기준 전극 사이의 시간에 따른 전위차로서 측정된다. 일부 실시예에서, 접지 전극으로 알려진 제3 전극은 활성 전극과 기준 전극 사이의 차동 전압을 측정하는데 사용될 수 있다. 일부 실시예에서, 신경 기록 헤드셋(104)은 하나 이상의 활성 전극, 하나 이상의 기준 전극 및 하나의 접지 전극을 포함할 수 있다. 일부 실시예에서, 신경 기록 헤드셋(104)은 일곱 개만큼 소수의 활성 전극들을 포함할 수 있다. 일부 실시예에서, 신경 기록 헤드셋은 최대 128 개 또는 256 개의 활성 전극을 포함할 수 있다. 전극들은 염화은(AgCl) 또는 임의의 다른 적합한 재료로 제조될 수 있다. 전극들은 전극-두피 접촉 임피던스가 적절히 조정되어 정확한 신호가 기록될 수 있도록 구성될 수 있다. 전극-조직 계면은 용량성뿐만 아니라 저항성일 수 있으며, 따라서 이것은 저역 통과 필터로서 동작한다. 임피던스는 인터페이스 층, 전극 표면적 및 온도와 같은 여러 요인에 따라 달라진다.

사용자의 두피를 가로 질러 비침습적으로 기록된 신경 신호들은 두피, 두개골 및 다른 많은 층을 가로 질러야 하는데, 이는 신호들을 약하게 만들고 획득하기 어렵게 만들 수 있다. 신경 신호들은 또한 뇌 내에서 또는 두피를 통해 외부에서 생성된 배경 소음에 의해 영향을 받을 수 있고, 이는 기록된 신호들로부터 의미있는 정보를 추출하는 능력에 영향을 미칠 수 있다. 신경 기록 헤드셋(104)을 포함하는 시스템(100)의 실시예들은 여러 적응들을 포함시켜 신경 신호 획득을 개선할 수 있다. 예를 들어, 겔(즉, 전도성 겔)은 피부와 각 전극 사이에 전도성 경로를 생성하여 임피던스를 감소시키는데 사용될 수 있다. 일부 실시예에서, 신경 기록 헤드셋(104)은 겔들을 사용할 필요가 없는 "건식" 전극들을 포함할 수 있으며, 이것들은 티타늄 및 스테인레스-스틸과 같은 다른 재료들로 제조될 수 있다. 일부 실시예에서, 신경 기록 헤드셋(104)은 전치 증폭 회로들을 갖는 건식 능동 전극들을 포함하여 매우 높은 전극/피부 계면 임피던스들을 수용할 수 있다. 일부 실시예에서, 신경 기록 헤드셋(104)은 임의의 능동 회로들을 갖지 않지만, 초고 입력 임피던스로 구성된 신경 기록 시스템에 링크될 수 있는 건식 수동 전극들을 포함할 수 있다.

전기적 생체 신호들의 진폭은 전형적으로 마이크로볼트 정도이다. 그 결과, 신호는 전자 소음에 매우 민감하다. 일부 실시예에서, BCI 시스템(100)은 다른 것들 중에서도, 공통 모드 신호에 대한 전자기 간섭 차폐 또는 감소와 같은 적응들에 의해 소음의 영향들을 감소시키도록 설계될 수 있다.

사용자 인터페이스의 디스플레이 및 제시

본 명세서에 설명된 바와 같이, 하이브리드 BCI 시스템(100)의 사용자 인터페이스는 사용자(예를 들어, 사용자의 뇌, 눈들 등)와 BC 인터페이싱 디바이스(110) 사이의 통신 링크로서 기능하고, 사용자로 하여금 초점을 맞추고 포인팅 제어 피처를 통해 특정 자극을 가리킬 수 있게 하고, 행동 제어 피처를 사용하여 특정 자극을 선택 또는 선택 해제할 수 있게 한다. 전략적으로 설계된 사용자 인터페이스는 임의의 양식(modality)을 통해 그리고 가장 일반적으로는 시각 모드를 통해 사용자에게 자극을 제시하는 프로세스를 포함한다. 예를 들어, 사용자 인터페이스들은 시각 자극, 청각 자극, 촉각 자극 또는 전정 자극(vestibular stimuli)을 사용자에게 제시하도록 구성될 수 있다. 일부 실시예에서, 시각 자극을 제시하는 사용자 인터페이스는 도 1에 도시된 디스플레이(106)와 같은 디스플레이 상에 렌더링될 수 있다.

일부 실시예에서, 디스플레이(106)는 하이브리드 BCI 시스템(100)의 나머지와 연결되고 데이터 통신할 수 있는 별개의 스탠드-얼론 시청각 디스플레이 유닛일 수 있다. 즉, 오디오 시스템(예를 들어, 스피커들 또는 헤드폰들)이 장착된 스탠드-얼론 디스플레이(예를 들어, 액정 디스플레이)는 하이브리드 BCI 시스템(100)의 다른 컴포넌트 중 하나 이상, 예를 들어, BC 인터페이싱 디바이스(110), 비디오 기반 눈-추적기(102) 및 신경 기록 헤드셋(104)과 양방향 통신할 수 있다. 일부 실시예에서, 디스플레이(106)는 비디오 기반 눈-추적기(102)에 통합되어 안경 영역의 일부가 될 수 있다. 통합된 비디오 기반 눈-추적기(102) 및 디스플레이(106)는 디스플레이(106) 상에 제시된 사용자 인터페이스의 형태로 가상 현실 공간을 보도록 구성될 수 있다. 일부 실시예에서, 통합된 비디오 기반 눈-추적기(102) 및 디스플레이(106)는 디스플레이(106)가 반투명 안경 영역 상에 있도록 구성되어, 사용자가 증강 현실 공간을 볼 수 있게 한다. 즉, 사용자는 사용자가 상호작용할 수 있는 사용자 인터페이스를 사용자에게 제시하는 통합된 디스플레이(106)이기도 한 반투명 안경 영역을 통해 실제 세계를 볼 수 있다.

뇌-컴퓨터 인터페이싱 디바이스

일부 실시예에서, BC 인터페이싱 디바이스(110)는 세 가지 주요 기능을 달성하도록 구성될 수 있다. 먼저, BC 인터페이싱 디바이스(110)는 전략적으로 설계된 사용자 인터페이스를 생성하도록 구성될 수 있다. 예를 들어, 전략적으로 설계된 사용자 인터페이스는 훈련 세션 또는 테스트 세션을 위한 것일 수 있다. 일부 실시예에서, 사용자 인터페이스는 가상 현실 인터페이스 및/또는 증강 현실 인터페이스로서 설계될 수 있다. 일부 실시예에서, 사용자 인터페이스는 예를 들어 특정 사용자 이력, 반응 시간들, 사용자 선호도들 등과 같은 특정 요구들에 맞추어질 수 있다. 둘째, 사용자 인터페이스를 설계 및 생성하는 것 이외에, BC 인터페이싱 디바이스(110)는 (예를 들어, 비디오 기반 눈-추적기(102)로부터) 포인팅 제어 신호 및 (예를 들어, 신경 기록 헤드셋(104)으로부터) 행동 제어 신호를 수신하고 신호들을 앙상블로 처리하여 사용자의 의도를 결정하도록 구성될 수 있다. 마지막으로, BC 인터페이싱 디바이스(110)는 (1) 신경 신호들로부터 의미있는 피처들을 검출하고, (2) 사용자의 의도에 따라 가리켜지는 자극에 따른 변화들을 구현함으로써 포인팅 제어 피처 및 행동 제어 피처를 구현하도록 구성될 수 있다. 일부 실시예에서, BC 인터페이싱 디바이스(110)는 또한 예를 들어 시각 양식(visual modality) 이외의 양식들에서 기능하는 주변 센서들 및 액추에이터들과 같은 하이브리드 BCI 시스템(100)의 일부일 수 있는 다른 주변 디바이스들에 연결될 수 있다. 그러한 주변 센서들은 오디오 마이크로폰들, 촉각 센서들, 가속도계들, 고니어미터(goniometer)들 등을 포함할 수 있고, 주변 액추에이터들은 오디오 스피커들, 촉각 자극 제공자들 등을 포함할 수 있다.

일부 실시예에서, BC 인터페이싱 디바이스(110)는 하나 이상의 데이터 통신 포트를 통해 비디오 기반 눈-추적기(102), 신경 기록 헤드셋(104) 및 임의적 시청각 디스플레이(106)로부터 신호들을 수신 및 송신하는 입력/출력 유닛(140)을 포함할 수 있다. 신호들의 전송은 유선 연결을 통해 또는 블루투스 등과 같은 임의의 적합한 통신 채널을 통해 무선으로 수행될 수도 있다. 입력/출력 유닛(140)의 기능들은 신호 획득, 신호 전처리 및/또는 신호 향상 등과 같은 여러 절차를 포함할 수 있다. 획득된 및/또는 전처리된 신호는 BC 인터페이싱 디바이스(110) 내의 프로세서(120)로 전달될 수 있다. 일부 실시예에서, 프로세서(120) 및 그 서브-컴포넌트들(도시되지 않음)은 입력 데이터를 처리하고, 메모리(160)로 및 메모리로부터 데이터를 전송 및 검색하고, 디스플레이(106) 상에 또는 비디오 기반 눈-추적기(102)와 통합된 디스플레이 상에 렌더링될 수 있는 사용자 인터페이스를 구축하고 유지하는 기능들을 수행하도록 구성될 수 있다. 일부 실시예에서, 프로세서(120) 및 그의 서브-컴포넌트들은 뇌 신호들의 사용자-특정 해석을 가능하게 하고, 입력/출력 유닛(140)으로의 출력 신호들을 패키징하여 외부 디바이스들에 중계되게 하는데 필요한 기능들을 수행하도록 구성될 수 있다. 프로세서(120) 및 그의 서브-컴포넌트들의 다른 기능들은 피처 추출, 분류 및 제어 인터페이스의 조작과 같은 여러 절차를 포함할 수 있다.

하이브리드 BCI 시스템의 제어 신호들

본 명세서에 설명되는 바와 같이, 하이브리드 BCI 시스템(100)의 목적은 뇌 활동을 모니터링하고 행동 제어 피처로서 사용될 수 있는 제어 신호를 찾음으로써 사용자 의도들을 해석하는 것이다. 사용자 의도의 형성은 인지 태스크로서 표시될 수 있다. 도 1에 도시된 통합된 하이브리드 BCI 시스템(100)은 사용자에 의해 수행된 인지 태스크들에 의해 동시에 유발되거나 그와 관련된 여러 시그니처 뇌 신호들 중 하나를 사용할 수 있다. 이러한 뇌 신호들 중 일부는 사람들이 이러한 신호들을 마음대로 변조하는 것을 학습할 수 있는 방식들로 해독될 수 있다. 제어 신호들로 간주되는 이러한 신호들을 사용하면 하이브리드 BCI 시스템(100)이 사용자의 의도들을 해석할 수 있게 할 수 있다. 따라서, 하이브리드 BCI 시스템(100)은 뇌로부터의 제어 신호들을 기록 및 사용하고 이들을 뇌와 컴퓨터 사이의 인터페이스를 제어하는 행동 제어 피처로서 사용할 수 있다. 임의의 적합한 신경 활동은 행동 제어 피처를 구현하는데 사용되는 제어 신호일 수 있다. 시간에 따라 신경 활동의 일부 예들은 이벤트 관련 전위(ERP)들, 유발 전위(Evoked Potential)(EP)들 (예를 들면, 시각적으로 유발된 전위(VEP)들, 청각 유발 전위들, 감각 유발 전위들, 운동 유발 전위들), 운동 연상 신호(motor imagery signals)들, 느린 피질 전위(slow cortical potential)들, 뇌 상태 종속 신호(brain state dependent signal)들 및 아직 발견되지 않은 것으로서, 다양한 인지적 또는 감각운동 태스크들의 기초가 되는 다른 시그너처 활동 전위들을 포함한다.

신경 활동의 예시적인 형태로서, 이벤트 관련 전위 또는 ERP는 시간에 따라 상관된 자극 제시 또는 이벤트와 관련된 시그너처 신경 활동일 수 있다. ERP들은 (트리거링 자극에 뒤이어 약 300 ms에서 피크로 알려진 P300 신호와 같이) 그들의 감지 및 식별에 도움이 되는 독특한 모양 및 피처들을 가질 수 있다. ERP들은 또한 상이한 뇌 영역들에 걸쳐 크기 및 모양이 서로 다를 수 있고, 이들이 뇌 영역들에 걸쳐 어떻게 매핑되는지는 특정 뇌 기능들 및/또는 사용자 의도들을 나타낼 수 있다. 신경 기록 헤드셋으로부터 획득된 신경 활동 데이터는 특정 ERP 신호들에 대해 분석될 수 있으며, 일단 적절하게 검출되고 분류되면 BCI 디바이스(110)는 사용자 인터페이스의 원하는 부분에서 검출된 ERP와 연관된 임의의 특정 행동을 구현할 수 있다.

다른 예시적인 제어 신호들은 자발적 또는 비자발적 운동의 기초가 되는 정신 인지 프로세스를 거치는 사용자와 연관된 신경 활동 신호들인 운동 연상 신호들의 형태일 수 있다. 즉, 운동 연상 신호들은 다양한 뇌 영역들로부터 기록될 수 있는 그리고 사용자가 행동을 상상하고 및/또는 행동을 수행하는 동안 BCI 시스템(100)에 의해 분석될 수 있는 뇌 신호들이다. 사용자가 신체 움직임들 또는 제스처들을 수행할 것으로 예상되는 실시예들에서, BCI 시스템은 또한 BCI 디바이스(110)에 결합된 주변 센서들의 세트, 이를테면 고니어미터들, 혈압계들, 가속도계들 등에 의해 수집된 정보를 사용하여 훈련 세션 동안 높은 정밀도로 제스처를 인식하는데 도움을 줄 수 있다. 일부 다른 실시예에서, (예를 들어, BCI 시스템은 사용자의 일련의 움직임들과 그 움직임들에 의해 유발된 운동 연상 신호들의 세트 사이의 연관성을 학습할 수 있게 한 훈련 세션들 이후에는) 운동 연상 신호들을 유발시킬 일련의 움직임들을 충분히 상상할 수 있으므로, 사용자들은 육체적 움직임들을 만들 필요가 없을 수 있다.

제어 신호들의 또 다른 예는 뇌 상태 신호들 또는 뇌 상태 종속 신호들의 형태일 수 있다. 예를 들어, BCI 시스템은 사용자의 뇌의 특정 주의 상태들 또는 지각 상태들과 연관된 EEG 신호들의 패턴들 또는 두피 지형들을 검출하기 위해 사용될 수 있다. BCI 시스템에 의해 사용될 수 있는 신경 활동은 또한 주파수 도메인일 수 있다. 일부 예는, 다른 것들 중에서도, 감각운동 리듬(sensorimotor rhythm)들, 이벤트 관련 스펙트럼 섭동(Event Related Spectral Perturbation)(ERSP)들, 델타, 세타, 알파, 베타, 감마 또는 Mu 리듬들 등과 같은 특정 신호 주파수 대역들을 포함한다. P300 유발 전위의 하나의 예가 아래에서 설명된다.

P300 신호들

P300 유발 전위들은 드문 청각, 시각 또는 체성 감각 자극으로 인한 신경 신호의 포지티브 피크(positive peak)들이다. P300 신호는 자극 맥락의 처리 및 주의와 각성의 레벨들에 종속적인 "내인성(endogenous)" 뇌 신호이다. 임의의 특정 이론에 얽매이기를 바라지 않지만, P300은 적절한 반응을 만들 환경의 정신 모델을 변경하는데 요구되는 메커니즘들의 신경 시그니처일 것으로 널리 알려져 있다. 따라서 P300 신호는 주의 및 작업 기억(working memory)과 같은 인지 프로세스들의 중요한 시그니처이다. 유리하게는, P300 기반 BCI들의 사용은 훈련을 필요로 하지 않는다.

내인성 P300 반응들은 통계적으로 있음직하지 않은 자극 또는 몇몇 빈번한 자극 중에서 오드볼 자극(oddball stimuli)으로 알려진 것에 주의를 기울인 뒤에 약 300 ms(최대 900 ms) 유발된다. P300 신호들은 여러 뇌 영역에 위치할 수 있고 여러 뇌 프로세스들을 나타낼 수 있다. 시각 표적들을 갖는 제어된 태스크들을 수행하는 피험자들과 연관된 뇌 활동의 기록들은 특정 자극과 연관된 이러한 일관된 시그니처 신호들의 발생을 보여주었다. 표적 관련 반응(target-related response)들은 두정 피질 및 뇌의 대상회 영역들에서 발생할 수 있고, 노벨티 관련된 활성화(novelty-related activation)들은 열성 두정 영역 및 전두 영역에서 주로 발생할 수 있다. 자극 양식 특정 기여(stimulus modality-specific contribution)들은 시각에 대한 열성 측두 및 우성 두정 피질 및 청각 양식에 대한 우성 측두 피질에서 비롯된다.

참가자들이 곧 있을 자극의 본질에 관해 불확실할 때 그들에게는 이렇게 큰(> 10 μV) 포지티브 편향이 발생할 수 있다. P300은, 이따금 관련 있는 ("표적") 자극이 빈번히 관련 없는 일련의 "비표적" 또는 "표준" 자극에서 검출되어야 하는, "오드볼" 방안("oddball" paradigm)들과 일반적으로 연관된다. 하이브리드 BCI 시스템(100)은 P300 신호와 같은 임의의 신경 활동을 이용하여 다른 것들과 구별되는 특정 자극의 관련성을 결정하고, 그 자극에 집중한 시기의 사용자 의도를 결정할 수 있다.

특정 표적 자극에 의해 유발된 나온 예시적인 P300 신호는 예시적인 시스템(100)의 예시적인 신경 기록 헤드셋(104)을 사용하여 기록된, 다른 비표적 자극이 제시되었을 때 뚜렷이 구별되지 않는 신호(마젠타)와 비교하여, 도 3c(검정색 트레이스)에 도시되어 있다. 시스템(100)의 예시적인 사용자 인터페이스를 통해 제시된 오드볼 방안은 자극(시각, 청각, 체성 감각) 또는 반응(버튼 누름, 카운팅) 양식에 관계없이 표준 자극에 비해 표적에 대한 두정 두피 분포를 갖는 P300 반응을 신뢰성 있게 산출할 수 있다. P300 반응들은 자극 생략(stimulus omission)들로 인해 규칙적인 자극 열들이 중단될 때 관찰될 수 있으며, 이것은 이러한 컴포넌트의 내인성을 분명히 보여준다.

P300의 진폭은 표적 자극의 확률이 낮고 구별 가능성이 높을수록 증가할 수 있다. 표적 자극이 표준 자극과 구별하기 어려울 때 표적 자극의 시작과 관련하여 P300 신호들의 대기시간(latency)이 증가할 수 있지만, 다른 이유들 때문에 응답 시간들이 증가하는 때에는 그러하지 않다. 따라서 P300 대기시간은 자극 평가의 심리 시간 분석법(mental chronometry)을 응답 선택 및 실행으로부터 분리하는 매력적인 툴이다. P300 신호들의 발생 및 특정 자극과의 연관은 비유발 자극을 통해 P300 유발 자극을 선택하는 행동 제어 피처로서 시스템(100)에 의해 이용될 수 있다.

도 4a는 실시예에 따른, 하이브리드 BCI 시스템(100)의 동작 동안 신경 활동이 행동 제어 피처로서 어떻게 사용될 수 있는지에 관한 예시적인 사례의 흐름도를 도시한다. 일부 실시예에서, P300 신호는 (변화 또는 차이로서) 제1 자극을 제2 자극과 구별함으로써 하나의 자극을 다른 자극보다도 선택하려는 사용자의 의도를 결정하고 이에 의거하여 행동을 취하는데 사용되는 신경 활동일 수 있다. 기록된 응답들에서 P300 신호의 유무는 선택을 내리는데 사용될 수 있다.

일부 실시예에서, 하이브리드 BCI 시스템(100)은 사용자 인터페이스를 통해 디스플레이(106) 상에 다양한 자극을 제시하는 것을 조작하고 자극을 제시한 다음에 여러 뇌 영역에 걸쳐 기록된 뇌 신호들에 기초하여 사용자의 의도를 결정하는데 사용될 수 있다. 신경 활동은 다양한 뇌 영역에 따라 모양과 크기가 다를 수 있다. 예를 들어, 두정 중심 P300 또는 P3b는 수반된 태스크 관련 변이 자극(task-relevant deviant stimuli)에 의해 유발되며, 태스크와 관련이 없지만 표적보다 더 두드러진 변이 자극은 전두 중심 두피 지형이 있는 약간 더 이른 포지티브 편향을 유발한다. 이러한 노벨티 P300 또는 P3a 성분은 반복된 표준 및 표적 이벤트들 열들에서 고유하고 매우 두드러진 ("신규한") 자극 (예를 들어, 단순한 기하학적 도형들의 열들에서 시각적 프랙탈들)을 삽입함으로써 유발될 수 있다. 그러나, 어려운 표적/표준 구별을 사용하는 방안들에서 매우 불일치하는 반복적인 선택지들에 의해서도 유사한 P3a 성분이 또한 유발될 수 있다.

VEP 신호들

시각적으로 유발된 전위(VEP) 신호들은 시각 자극을 받은 후에 시각 피질에서 발생하는 뇌 활동 변조들이다. 이러한 변조들은 자극이 중앙 시야에 가까워짐에 따라 VEP들의 진폭이 크므로 비교적 검출하기가 쉽다. 본 명세서에 개시된 하이브리드 BCI 시스템(100)에서, VEP들은 눈-추적 입력과 함께 사용되어 포인팅 제어 피처를 가능하게 하는 통합된 접근법을 채택할 수 있다.

VEP들은 과도 VEP(transient VEP)(TVEP)들 및 정상 상태 VEP(steady-state VEP)(SSVEP)들로 분류될 수 있다. TVEP들은 시각 자극의 주파수가 6 Hz 미만일 때 발생하는 반면, SSVEP는 더 높은 주파수의 자극에 반응하여 발생한다. TVEP들은 시야에서의 임의의 변화, 예를 들어, 섬광들, 턴 온 또는 오프되는 패턴들 또는 갑자기 반전되는 대비)로 인해 유발될 수 있다. TVEP들은 제시된 자극에 따라 다르며 BCI 시스템들에서는 거의 사용되지 않는다.

BCI 시스템들과 함께 보다 일반적으로 사용되는 SSVEP들은 6 Hz보다 높은 주파수에서 변하는 시각 자극에 의해 유발된다. 자극이 섬광이면, SSVEP는 사인파와 같은 파형을 보이며, 그의 기본 주파수는 자극의 깜박임 주파수와 동일하다. 자극이 패턴이면, SSVEP는 반전 비율에서 그리고 그의 고조파에서 발생한다. TVEP와 대조적으로, SSVEP들의 별개의 구성 주파수 컴포넌트들은 오랜 기간 동안 진폭 및 위상이 거의 일정한 채로 유지된다. SSVEP들은 TVEP들보다 눈 깜박임들과 눈 움직임들에 의해 생성된 아티팩트들 및 근전도 소음 오염에 덜 민감하다.

하이브리드 BCI 시스템: 통합된 접근법

본 명세서에 설명되는 바와 같이, 비디오 기반 눈-추적은 VEP들 또는 ERP들의 형태의 신경 활동 또는 다른 형태들의 신경 활동과 함께 사용되어 포인팅 제어 피처를 가능할 수 있고 신경 활동을 제어 신호들(예를 들어, ERP들, 또는 감각운동 신호들, 운동 연상 신호들, 뇌 상태 신호들 등)로서 사용하여 행동 제어 피처를 가능하게 할 수 있다. BC 인터페이싱 디바이스(110)는 통합된 신호들을 앙상블로서 처리하도록 구성될 수 있다. 일부 실시예에서, 하이브리드 BCI 시스템(100)은 비디오 기반 눈-추적기(102)로부터의 눈-추적 신호들 이외에 신경 기록 헤드셋(104)으로부터의 SSVEP 신호들을 사용하여 사용자의 시선 지점을 찾는 통합된 하이브리드 접근법을 가질 수 있다. 즉, 일부 실시예에서, 비디오 기반 눈-추적기(102)는 눈 근육들의 움직임을 전달하는 안구운동 데이터를 통해, 임의의 적합한 형태의 눈 움직임 정보, 예를 들어, 도약(saccadic), 함요상태(foveation) 및/또는 동공 확장(pupil dilation) 정보뿐만 아니라 함요상태 정보를 검출하는데 사용될 수 있다. 도약 눈 위치에 관한 정보는 또한 신경 활동, 예를 들어 신경 기록 헤드셋(104)으로부터 획득된 시각 반응들에 의해 유발되는 ERP들로부터 간접적으로 획득될 수 있다. 예를 들어, 하이브리드 BCI 시스템(100)은 특정 자극의 제시와 ERP들의 발생을 시간 및 공간에서 상관시켜 인과 관계를 형성하도록 구성될 수 있다. 따라서, 비디오 기반 눈-추적기(102)로부터의 안구운동 데이터는 시각적으로 유발된 신경 활동으로부터의 데이터 및 디스플레이를 통해 전달되는 사용자 인터페이스에서의 자극의 전략적 제시와 조합될 수 있다.

눈 움직임들을 추적하는 통합된 하이브리드 접근법은 포인팅 제어 피처로서, 사용자가 비디오 기반 눈-추적기(102)로부터의 신호들 및 시선을 찾기 위해 제공된 정보에서 서로를 보완하는 시각적으로 유발된 신경 활동과 함께, 그의 눈- 시선(eye-gaze)의 자발적 움직임에 의해 표적을 신속하게 선택할 수 있게 한다. 사용자는 시각적으로 표적에 주의를 고정시키며, BC 인터페이싱 디바이스(110)는 신경 활동의 피처 분석 및 비디오 기반 눈-추적기 신호의 피처 분석을 통해 표적을 식별할 수 있다. 특히, 하이브리드 BCI 시스템(100)에서, 비디오 기반 눈-추적기(102) 및 신경 기록 헤드셋(104)으로부터의 신호들은 BC 인터페이싱 디바이스(110)에 의해, 각 신호원에 적절한 가중치를 부여하여, 앙상블로서 분석된다.

예를 들어, 하이브리드 BCI 시스템(100)은 신경 기록 헤드셋(104)에 의해 기록된, 사용자가 원할 수 있는 특정 자극에 의해 유발되는 시각적으로 유발된 신경 활동을 이용할 수 있다. 시각 디스플레이(예를 들어, 디스플레이(106)) 상에 제시된 사용자 인터페이스는 특정 배열들의 심볼들 또는 커맨드들의 매트릭스를 포함할 수 있다. 예를 들어, 심볼들은 행들과 열들로 배열될 수 있고, 이 매트릭스의 행들 또는 열들은 신경 신호들이 모니터링되는 동안 무작위로 반짝거릴 수 있다. 사용자가 원하는 심볼을 응시함에 따라, 신경 활동은 원하는 심볼이 담긴 행 또는 열이 반짝거릴 때만 유발될 수 있다. 하이브리드 BCI 시스템(100)은 사용자에게 바람직한 표적 심볼을 삼각 측량하고 신속하게 찾아 결정하기 위해 비디오 기반 눈-추적기(102)로부터의 데이터(즉, 눈 움직임 데이터) 및 신경 기록 헤드셋(104)으로부터의 데이터(즉, 자극 제시 데이터)를 사용하여 포인팅 제어 피처를 구현할 수 있다.

하이브리드 BCI 시스템(100)은 앙상블 처리 기술을 사용하여 원하는 표적 자극을 결정할 수 있다. 앙상블 처리 기술은 눈 위치, 자극 제시, 신경 활동 및 시각적 응답들과 연관된 뇌 신호들을 비롯한, 이용 가능한 하나 이상의 정보원로부터의 신호들을 적절히 가중치를 부여하여 동시에 처리할 수 있다. 원하는 표적 심볼을 찾아서 결정할 때, 하이브리드 BCI 시스템(100)은 기록된 신경 활동(예를 들어, P300 신호)을 사용하여 행동 제어 피처를 구현할 수 있다.

예를 들어, 하나 이상의 모드 하에서 동작하는 하이브리드 BCI 시스템(100)의 일부 다른 실시예에서, 행동 제어 피처는 신경 활동이 유발되는 시점에, 그 당시의 눈 위치의 위치와 무관하게, 자극 제시에만 기초하여 자극을 선택하도록 구현될 수 있다. 이 모드에서, 신호들의 가중치는 앙상블 처리 동안 자극 제시 정보에 유리하게 왜곡될 수 있다.

대안적으로, 일부 실시예에서, 행동 제어 피처는 하나 이상의 모드에서 구현될 수 있으며, 여기서 하이브리드 BCI 시스템은 (적합한 사용자 응답 시간들 및 반응 지연들을 감안하여) 신경 활동이 검출되는 시점에서, 사용자의 시선이 근거될 수 있는 임의의 피처를 선택한다. 따라서, 신경 활동이 검출될 때 사용자의 시선이 훑고 지나가는 임의의 심볼 또는 자극은 어떤 자극이 신경 활동을 유발되게 했는지에 관계없이 선택될 것이다. 이러한 피처는 눈-위치 신호에 유리하게 가중치들을 변경하여 앙상블 처리 중에 어떤 자극을 선택할지를 결정함으로써 구현될 수 있다. 하이브리드 BCI 시스템(100)의 실시예들은 위에서 제시된 시나리오들과, 사용된 다양한 신호들, 예를 들면, 눈-위치 신호들, (자극의 특성들, 제시의 시공간적 측면들, 제시 순서 등을 비롯한) 자극 제시 정보 및 기록된 신경 활동에 주어진 가중치를 적절히 변경함으로써 이러한 예시적인 모드들 사이에서도 또한 동작할 수 있는 다른 중간 모드들 둘 다를 수행할 수 있는 동작 모드들을 포함할 수 있다. 하이브리드 BCI 시스템(100)은 또한 사용자의 눈의 생물학적 모델, 사전 정보 또는 실시간으로 수집된 누적 정보에 기초하여 특정 자극에 의해 생성되는 특정 신경 활동의 가능성 추정치들을 포함하는 다른 정보원들을 사용할 수 있다.

일부 실시예에서, 배열된 심볼들은 사용자의 선택을 여러 번 샘플링하기 위해 여러 번 상이한 조합들로 반짝거릴 수 있다. 각각의 조합으로부터의 신호들은 정확한 심볼을 검출하는 정확도를 개선하기 위해 평균화될 수 있다. 시각 심볼들은 청각 또는 촉각 자극과 같은 다른 양식들의 자극을 동반할 수 있다.

일반적으로 BCI 시스템들에서, 시도들을 반복하는 것은 번거로울 수 있고 P300과 같은 신경 활동 신호들을 사용하는 선택 프로세스를 느리게 할 수 있다. 그러나 반복을 줄이면 선택 정확도가 떨어질 위험이 있을 수 있다. 본 명세서에 설명된 하이브리드 BCI 시스템(100)에서, 신경 활동 기반 선택의 정확도는 아래에서 설명되는 바와 같이 정교한 분류기들을 사용함으로써 소수 개의 반복된 시도들을 유지하면서 개선될 수 있다. 시각적으로 유발된 신경 활동 및 사용자 경험의 검출 정확도는 일반적으로 자극 제시의 특성들(예를 들어, 시각 심볼들의 디스플레이)을 최적화하고 자극의 적절한 특성들(예를 들어, 심볼들의 차원들 또는 색상들, 그들의 배열 등)을 선택하고 변경함으로써 개선될 수 있다. 경험은 또한 사용자로부터의 특정 피드백을 사용하여 거동을 예측하도록 사용자 인터페이스를 구성함으로써 개선될 수 있다.

신경 기록 헤드셋(104)으로부터의 신경 활동에 더하여 비디오 기반 눈-추적기(102)를 사용하는 것의 장점들 중 하나는 강력한 신호 획득을 유지하면서 눈 움직임이 매우 빠르게 분석될 수 있다는 것이다. 정교한 분석 루틴들을 구현함으로써, 사용자의 시선 및 초점의 위치가 실시간으로 처리될 수 있다. 또한, 비디오 기반 눈-추적기(102)는 신경 기록 헤드셋(104)을 통해 기록된 신경 활동과 동일한 소음원들에 민감하지 않을 수 있다. 본 명세서에 설명된 바와 같이 통합된 접근법에서 신경 활동뿐만 아니라 비디오 기반 눈-추적기 신호들 둘 다를 사용하여 눈 움직임들을 처리하는 것은 바람직한 고속 및 고정확도 인터페이스에 적합한 보다 강력한 신호를 제공할 수 있다. 이러한 구성에서, 하나의 채널은 다른 채널의 약점들을 보완할 수 있다. 뿐만 아니라, 두 데이터 세트 모두를 앙상블로 처리하는 접근법은 사용자 이력 및 탐색된 인터페이스의 특정 세부 사항 등과 같은 다른 파라미터들에 따라 개별 신호들에 적절한 가중치를 부여할 수 있게 한다.

일부 실시예에서, 안구운동 반응은 자극 제시 순서들을 변경하는데 사용될 수 있다. 눈 움직임 검출의 높은 정확도를 가지면서 시각적으로 유발된 신경 활동은 자극의 반복적인 반짝거림을 필요로 한다. 이것은 사용자 경험에 좋지 않은 영향들을 줄 수 있다. 이것을 피하기 위해, 하이브리드 BCI 시스템(100)은 예를 들어, 안구운동 정보로부터 사용자의 초점의 사분면을 추정하고 디스플레이의 그 사분면에서 반짝거려야 되는 시각 자극의 수를 줄이거나 제한할 수 있다. 따라서, 디스플레이의 서브섹션들의 반짝거림은 도약에 링크될 수 있고 반짝거림은 그 위치로 도약한 이후에만 트리거될 수 있다.

하이브리드 BCI 시스템과의 사용자 상호작용

도 5a 내지 도 5e는 실시예에 따른 하이브리드 BCI 시스템(100)과의 사용자의 상호작용을 도시한다. 이 예에서, 하이브리드 BCI 시스템(100)은 2 단계 프로세스에서 단어들의 철자를 말하는데 사용하는데 사용되고, 디스플레이(106)는 도 5a에서 여러 하위 그룹의 문자들(예를 들어, 키보드에서 일반적으로 발견되는 문자들, 숫자들 및 심볼들)을 제시한다. 사용자는 도 5c에 도시된 비디오 기반 눈-추적기(102) 및 신경 기록 헤드셋(104)을 착용한다. 사용자가 원하는 문자를 포함하는 하위 그룹(예를 들어, 도 5a에서 강조 표시된 원으로 표시된 하위 그룹)에 그들의 시선을 맞출 때, 디스플레이(106)에 제시된 사용자 인터페이스는 초점을 맞춘 하위 그룹을 확대한 도 5b에 도시된 사용자 인터페이스로 변경된다. 그런 다음 사용자는 그 하위 그룹에서 원하는 특정 문자에 그의 시선을 맞춤으로써 문자를 선택하는 행동을 수행할 수 있다. 행동 제어 피처는 기록된 신경 활동을 사용하여 단어 또는 문장을 형성하는데 사용될 문자의 선택을 수행함으로써 구현된다.

도 5a 및 도 5b를 참조하여 위에서 설명한 포인팅 제어 피처는 도 5c에 도시된 비디오 기반 눈-추적기(102)로 구현된다. 비디오 기반 눈-추적기(102)는 사용자가 그의 시선을 맞추는 곳을 검출한 다음, 예를 들어 도 5d에 도시된 바와 같은 신호를 출력하도록 구성된다. 행동 제어 피처(즉, 활성화)는 도 5c에 도시된 신경 기록 헤드셋(104)으로 구현된다. 신경 기록 헤드셋(104)은 사용자의 뇌로부터의 신경 신호들을 기록한 다음, 예를 들어 도 5e에 도시된 바와 같은 신호를 출력하도록 구성된다. 다음으로 프로세서(도시되지 않음)는 앙상블로서 눈-추적 신호(도 5d) 및 신경 신호(도 5e)로부터 의미있는 피처들을 추출하고, 이들을 비지도(unsupervised) 및/또는 준지도(semisupervised) 방식으로 또는 각각의 특정 사용자와의 엄격한 훈련을 통해 구축된 사전 모델들에 기초하여 신호들을 분류함으로써 분석할 수 있다. 그런 다음 분석된 데이터는 사용자의 초점 및/또는 초점이 예측되는 심볼의 선택 또는 활성화와 같은 사용자 거동의 예측들을 수행하는데 사용될 수 있다.

도 5f는 비디오 기반 눈 추적을 추종하는 시간에서의 이벤트들의 흐름의 예를 도시한다. 일부 실시예에서, 도 5f의 예에 도시된 바와 같이, 도약 눈 움직임은 사용자에 의한 자가-움직임의 의식적인 인식 이전에라도, 하이브리드 BCI 시스템에 의해 검출될 수 있다. 즉, 눈 움직임들은 눈 움직임들이 사용자의 의식적인 결정 직후에 또는 심지어는 그 이전에라도 발생할 때 온라인에서 검출될 수 있다. 예를 들어, 사용자는 도 5a에 도시된 바와 같이 하나의 문자 그룹에 초점을 맞출 수 있고 눈 움직임을 다른 그룹을 향하게 하기 시작할 수 있다. 그들이 의도적으로 그들 자신의 움직임을 깨닫기 전이라도, 본 명세서에 개시된 하이브리드 BCI 시스템은 눈 움직임을 검출하고 사용하여 사용자 인터페이스를 적절하게 적응킬 수 있으며, 이 경우에 이것은 다음 문자 그룹을 확대하는 것이다.

예시적인 하이브리드 BCI 시스템

도 6은 실시예에 따른 하이브리드 BCI 시스템(600)을 도시한다. 일부 실시예에서, BCI 시스템(600)은 도 1을 참조하여 위에서 설명한 하이브리드 BCI 시스템(100)의 대응 부분들과 구조 및/또는 기능이 유사할 수 있다. 예를 들어, BCI 시스템(600)은 하이브리드 BCI 시스템(100)의 비디오 기반 눈-추적기(106), 신경 기록 헤드셋(104), 임의적 디스플레이(106) 및 뇌-컴퓨터 인터페이싱 디바이스(110)와 동일하거나 유사할 수 있는 비디오 기반 눈-추적기(606), 신경 기록 헤드셋(604), 임의적 디스플레이(606) 및 뇌-컴퓨터 인터페이싱 디바이스(610)를 포함한다. 따라서, 이러한 유사한 부분들 및/또는 양태들은 본 명세서에서 더 상세히 설명되지 않는다.

일부 실시예에서, 뇌-컴퓨터 인터페이싱 디바이스(610)의 프로세서(620)는 I/O 유닛(640)을 통해 눈-추적 및 신경 신호 데이터를 수신하고, 신호 데이터를 서로 동기하도록 타임스탬프를 기록하는 동기화된 이벤트 로거(Synchronized Event Logger)(622)를 포함할 수 있다. 일부 실시예에서, 동기화된 이벤트 로거(622)는 고속 눈 움직임 분류를 수행하도록 구성될 수 있다.

시선 신호들은 도약(짧은 지속시간) 및 함요상태(더 긴 지속 시간) 기간들로 분해될 수 있다. 현재 표준 임계치 기반 도약 검출 알고리즘(standard threshold-based saccade detection algorithm)들에 내재된 시간 지연이 극복될 수 있다면 시선의 이러한 상이한 컴포넌트들은 보다 효과적으로 활용될 수 있다. 또한, 비디오 기반 눈-추적기들은 특히 눈 깜박임들과 관련된 비 생리학적 아티팩트 및 눈과 관련한 카메라 움직임과 연관될 수 있다. 다른 것들 중에서도 이러한 제한들을 극복하기 위해, 일부 실시예에서, 동기화된 이벤트 로거(622)는 확률적 필터 시스템을 맞춤형 기계 학습 알고리즘들과 통합하여 눈-추적기 카메라 샘플링 레이트 요건들을 최소화하면서 고속 눈 움직임 검출을 가능하게 할 수 있다. 구체적으로는, 동기화된 이벤트 로거(622)는, 명시적 훈련을 필요로 하지 않고 움직임 개시의 2 마이크로초 내에 실시간으로 도약들을 검출할 수 있는, 기계 학습 분류기와 조합된 지연 없는 필터를 구현할 수 있다.

전형적으로, 현재 사용 가능한 BCI들에 의해 구현된 것으로서 시계열을 통한 모든 평활 기능(예를 들어, 버터워스 필터(Butterworth filter), 이동 평균, 필터들)은 실제 측정된 값들과 비교하여 평활된 값들에 지연을 도입하여, 고속 실시간 시선 분류 시스템을 못하게 하고 있다. 일부 실시예에서, 본 명세서에 설명된 바와 같은 뇌-컴퓨터 인터페이싱 디바이스(610)는 비디오 기반 눈-추적기들의 시선 운동학 및 기술적 파라미터들에 기초한 상태 및 측정 모델들과 함께, 동적 시스템으로서 시선을 추정하는 비 선형 생성 모델을 사용할 수 있다. 일부 실시예에서, 소음이 있는 시선 데이터의 숨겨진 상태들을 추정하고 기본 시스템 모델을 근사화하기 위해 듀얼 칼만 필터(dual Kalman filter)에 기초한 이중 추정이 사용될 수 있다. 이러한 구현은 시간 지연을 도입하지 않으면서 시선 데이터를 필터링할 수 있게 할 수 있다. 또한 카메라 샘플링 레이트가 낮아질 때 또는 일시적 아티팩트들이 발생할 때는 이론적인 시선 운동학 모델이 생략된 시선 데이터를 추정하는데 사용될 수 있다. 동시에, 이것은 사용자의 명시적 지식없이 자동으로 훈련되어, 움직임 동안 실시간으로 눈 움직임을 검출하지만 이후에는 검출하지 않는 기계 학습 분류 시스템을 초래한다.

일부 실시예에서, 동기화된 이벤트 로거(622)는 통합된 접근법의 예들에서 설명된 바와 같이 이질적인 생리적 신호들을 사용하여 주의의 앙상블 추정을 구현하도록 구성될 수 있다. 일부 실시예에서, 동기화된 이벤트 로거(622)는, (1) 베이지안 선형 판별 시스템(Bayesian linear discriminant system), (2) 최첨단 전처리, (3) 공간 필터링, (4) 배깅 앙상블 분류기 알고리즘(bagging ensemble classifier algorithm), (5) 실험 태스크 동안 프로그램 루틴들과 분류 알고리즘으로부터의 정보를 통합하는 고차 오라클 알고리즘(higher-order oracle algorithm)을 사용하여 선택 정확도를 개선하는 분석적 파이프라인을 구현하도록 구성될 수 있다. 뇌-컴퓨터 인터페이싱 디바이스(610)는 또한 소비자 레벨의 퍼스널 컴퓨터에서 성능을 보장하기 위해 파이프라인의 분리 가능한 컴포넌트들의 병렬화 및 비동기 처리를 사용하도록 구성될 수 있다.

일부 실시예에서, 동기화된 이벤트 로거(622)는 본 명세서에 설명된 바와 같이 사용자 의도를 검출하기 위해 수집된 앙상블에서 안구운동-신경 데이터의 실시간 처리를 위해 구성될 수 있다. 예를 들어, 제시된 각각의 시각 자극은 신경 기록 헤드셋(604)에 의해 캡처된 시그니처 신경 활동(예를 들어, P300 신호)을 불러올 수 있다. 본 명세서에 설명된 바와 같이, 신경 활동은 자극에 대한 사용자의 주의 및 행동하려는 의도를 나타내는 제어 신호로서 작용할 수 있고, 특정 시각 자극 또는 태그에서의 명백한 주의의 확률은 각각의 시각 자극 또는 태그에 대한 신경 활동 분류 점수에 따라 추정될 수 있다. 망막의 고충실도 중심와(foveal) 영역의 수용 영역(receptive field)에 따르면, 시선 고정에 중심을 둔 시각 공간의 정도들에 기초하여 명백한 주의뿐만 아니라 공간 불확실성을 반영하는 자극과 연관된 신호에서 붕괴가 있을 수 있다. 신경 활동 점수 및 신호에서의 붕괴를 정량화하는 것은 실시간의 정확한 안구운동-신경 기록 기반의 사용자 의도 분류에 사용될 수 있어, 이질적인 생리학적 신호들을 조합하는 기계 학습 과제뿐만 아니라 시간 경과에 따른 신경 활동 신호 대기시간의 일시적 표류들을 해결할 수 있다. 뿐만 아니라, 이것은 신호 정보를 최대화하여, 개별 시각 자극 및 시선 위치 신호들이 여러 객체의 명백한 주의의 가능성을 업데이트할 수 있도록 한다.

일부 실시예에서, 프로세서(620)는 사용자 인터페이스를 통해 렌더링된 훈련 환경을 제시하도록 구성된 트레이너(Trainer)(624)를 포함할 수 있다. 훈련 환경은 사용자에게 미리 결정된 제어된 자극들의 세트를 제시하고 뒤따라 발생하는 눈 움직임 및/또는 뇌 활동을 기록하도록 구성될 수 있다. 그 다음에 이러한 제어된 자극들의 세트 및 각각의 제어된 자극에 대응하는 유발된 눈 및 뇌 활동은 메모리(660)에 저장될 수 있고 모델 빌더(Model Builder)(626)에 의해 개별 사용자들을 위한 맞춤 제작된 통계 모델들을 구축하는 훈련 데이터로서 사용될 수 있다. 모델 빌더(626)는 차원 축소 방법들, 피처 추출 방법들, 분류기들을 구축하는 기계 학습 툴들 등과 같은 하나 이상의 통계 툴을 사용할 수 있다. 모델들은 트레이너(624)에 의해 제공된 훈련 데이터를 사용하여 구축되고, 테스트되고 교차 검증될 수 있고, 그런 다음 특정 사용자로부터의 새로운 데이터와 함께 사용되어 사용자 인터페이스와의 상호작용의 높은 정확도 및 속도를 달성할 수 있다.

일부 실시예에서, 프로세서(620)는 특정 사용자로부터 새로운 데이터를 수신하고, 모델 빌더(626)로부터의 결과들에 기초하여 데이터를 분류하고, 최대 우도 추정, 최대 사후 확률 추정 등과 같은 통계 툴들을 사용하여 사용자 거동에 대한 예측을 생성할 수 있는 예측기(628)를 포함할 수 있다. 일부 실시예에서, 프로세서(620)는 눈-추적 및 뇌 신호 데이터뿐만 아니라 프로세서(620)의 다른 하위 컴포넌트들(예를 들어, 트레이너(624), 모델 빌더(626), 및 예측기(628))로부터 데이터를 수신하는 아키텍처 개발자(Architecture Developer)(632)를 또한 포함할 수 있다. 아키텍처 개발자(632)는 실시간 사용을 위해 의도된 것이 아니라, 잠재적인 BCI 알고리즘 검출 아키텍처들을 시험제작하고자 오프라인으로 강력한 통계 분석들을 위해 의도된 것일 수 있다.

하이브리드 BCI 시스템의 사용 및 구현

도 7은 실시예에 따른, 통합된 하이브리드 뇌 컴퓨터 인터페이싱 디바이스의 동작의 예시적인 프로세스(700)를 도시한다. 일부 실시예에서, 프로세스(700)는 한 시점에서 신경 기록 헤드셋 및 눈-추적기(및 다른 주변 센서들 및/또는 액추에이터들)와 연관된 특정 사용자에 대한 데이터 획득 및 전처리를 개시하는 초기 단계(701)를 포함한다. 이러한 개시 및 신호 획득은 예를 들어, 동기화된 이벤트 로거(622)에 의해 수행될 수 있다. 프로세스(700)는 또한 위에서 설명한 트레이너(624)와 같은 트레이너에 의해 구현된 훈련 환경을 적용하는 단계(703)를 포함한다. 단계(705)에서 훈련 환경의 제시는 디스플레이된 미리 프로그램된 제어된 자극들의 세트를 포함할 수 있고, 단계(707)에서는 뒤이어 일어나는 눈 움직임 및 뇌 활동이 기록될 수 있다. 다양하지만 제어된 자극들의 제시 및 대응하는 눈-움직임 및 뇌 데이터의 수집은 단계(719)에 의해 도시된 바와 같이 일련의 자극들에 대해 반복될 수 있다. 데이터는 모델 빌더(예를 들어, 모델 빌더(626))로 공급될 수 있고, 모델은 훈련 세트에서 각각의 새로운 자극들의 세트로 업데이트될 수 있다. 그 다음에, 프로세스(700)는 하나 이상의 신규 자극을 포함하되, 시스템이 훈련을 받았던 미리 프로그램된 자극들 중 하나 이상과 연관될 수 있는, 새로운 환경을 제시하는 것을 포함할 수 있다. 모델 빌더(626)에 의해 구축된 통계 모델들을 사용하여, 다음으로 예측기(628)는 임의의 적합한 통계 툴을 사용하여 단계(713)에서 초점의 포인트를 결정하는 단계 및 단계(715)에서 뇌 데이터로부터 사용자 의도를 추정하는 단계(즉, 디스플레이된 특정 심볼을 선택 또는 활성화하는 것)와 같은 사용자 거동의 예측들을 생성할 수 있다. 예측들에 기초하여, 프로세스(700)는 이어서 사용자 인터페이스에서 사용자의 의도를 실현하는 단계(717)를 포함한다. 예를 들어, 단계(717)는 스펠러에서 문자의 선택, 또는 게임에서 캐릭터의 선택, 또는 증강 현실 시스템에서 동작될 수 있는 TV 시스템과 연관된 ON 기능성의 선택을 포함할 수 있다.

하이브리드 BCI 시스템 적응들:

동작 모드들

본 명세서에 설명된 하이브리드 BCI 시스템들(100 및/또는 600) 및 다른 실시예들은 VEP들, 청각 유발 전위(AEP)들 또는 P300 신호들과 같은 외부 자극에 의해 유발된 뇌 활동을 사용하는 외인성 BCI 시스템들로서 구성될 수 있다. 외인성 시스템들은 신경 활동으로 생긴 그들의 제어 신호들을 쉽고 빠르게 셋업할 수 있기 때문에 광범위한 훈련을 필요로 하지 않는다. 특히, 신호 제어들은 더 적은 수의 신경 기록 채널들로 실현될 수 있고 최대 60 비트/분(min)의 높은 정보 전송 레이트를 달성할 수 있다.

일부 실시예에서, 하이브리드 BCI 시스템들(100, 600)은 외부 자극없이 뇌 리듬들 및 전위들의 자가-조절에 기초한 내인성 BCI 시스템들로서 동작하도록 구성될 수 있다. 예를 들어, 신경 피드백 훈련을 통해, 사용자들은 감각운동 리듬들의 변조들과 같은 BCI에 의해 해독될 수 있는 특정 뇌 패턴들을 생성하도록 학습한다. 내인성 BCI의 한 가지 장점은 사용자가 자유 의지로 BCI를 동작시킬 수 있고 커서와 같은 포인팅 제어 피처의 움직임을 2 차원 공간의 임의의 지점으로 변환시키는 자발적 움직임들을 만들거나 이미징할 수 있다는 것이다. 손 제스처들과 같은 다른 피처들은 또한 단서(cue)들과 함께 훈련되고 단서들로서 사용되어 제시된 선택들로 국한되는 사용자에 대한 제약들을 완화시키는 사용자 인터페이스를 통한 조작 제어를 획득할 수 있다.

일부 실시예에서, 하이브리드 BCI 시스템들(100, 600)은 동기(큐-페이싱(cue-paced)) 모드 또는 비동기(셀프-페이싱(self-paced)) 모드에서 사용될 수 있다. BCI들의 동기 모드들은 특정 자극에 의해 트리거되는 뇌 활동의 미리 정의된 시간 윈도우에 초점을 두어 더 간단하게 설계될 수 있다. 동기 모드에서, 하이브리드 BCI 시스템들(100, 600)은 미리 정의된 시간 윈도우 동안 뇌 신호들만을 분석할 수 있고, 윈도우 밖의 모든 뇌 신호는 무시될 수 있다. 그러므로 사용자는 하이브리드 BCI 시스템(100, 600)에 의해 결정된 특정 기간들 동안에만 커맨드들을 전송할 수 있다. 동기 모드의 한 가지 장점은 정신 활동의 시작이 미리 알려져 있고 특정 단서와 연관되어 있다는 것이다. 사용자들은 또한 무심코 눈 깜박임 및 다른 눈 또는 신체 움직임들을 수행할 수 있고, 이것은 아티팩트들을 생성할 수 있다. 명시된 시간 윈도우 밖의 뇌 신호들은 분석되지 않으므로 이러한 아티팩트들의 잘못된 영향들이 회피될 수 있다.

일부 실시예에서, 하이브리드 BCI 시스템들(100, 600)은 사용자가 언제 행동하는지에 관계없이 뇌 신호들을 지속적으로 분석하는 비동기 모드에서 동작할 수 있다. 보다 복잡하고 그래서 계산적으로 보다 부담이 되지만, 비동기 모드는 사용자가 임의의 외부 단서들을 기다릴 필요가 없기 때문에 보다 자연스러운 인간-기계 상호작용 모드를 제공할 수 있다. 또한, 사용자가 그의 일상적인 행동 과정 동안 하이브리드 BCI 시스템(100, 600)과 상호작용하므로 더 풍부한 데이터가 수집된다.

고속 신호 검출 및 분류의 구현

본 명세서에 설명된 안구운동-신경 통합된 하이브리드 BCI 시스템은 비디오 기반 눈-추적기(102)로부터의 신호들과 같은 안구운동 신호들 및 VEP들을 포함하는 신경 신호들의 강도들을 각각 선택 및 활성화 신호들로서 각각 지능적으로 유연하게 이용한다. 이러한 시스템의 한 가지 핵심 컴포넌트는 눈 움직임들의 고속 분류이다. 동기화된 이벤트 로거(622)의 동작과 관련하여 위에서 설명한 바와 같이, 하이브리드 BCI 시스템(600)은 지연 없는 방식으로 도약 검출을 수행하도록 구성될 수 있다. 예를 들어, 하이브리드 BCI 시스템(600)은 비디오 기반 눈-추적기들의 시선 운동학들 및 기술적 파라미터들에 기초한 상태 및 측정 모델들과 함께, 동적 시스템으로서 시선을 추정하는 비선형 생성 모델을 사용하여 지연 없이 시선 데이터를 필터링할 수 있다. 소음이 있는 시선 데이터의 숨겨진 상태들을 추정하고 기본 시스템 모델을 근사화하기 위해 듀얼 칼만 필터에 기초한 이중 추정이 사용될 수 있다. 따라서, 시선 데이터의 필터링은 시간 지연을 도입하지 않고 달성될 수 있다. 또한 이론적인 시선 운동학 모델들은 카메라 샘플링 레이트가 낮아질 때 또는 일시적 아티팩트들이 발생할 때 생략된 시선 데이터를 추정할 수 있다. 하이브리드 BCI 시스템(600)은 또한 눈 움직임들의 실시간 검출을 가능하게 하는 명시적인 훈련 세션 없이 자동적으로 훈련되는 기계 학습 분류 시스템을 포함할 수 있다.

일부 실시예에서, 지연 없는 도약 검출은 눈 움직임이 진행되는 동안 도약 시작을 검출하는 능력으로 변환될 수 있다. 예를 들어, 도 5f에 도시된 바와 같이, 검출 대기시간(도약 시작 후 약 2 ms)은 시각 장면 내에서 시프트에 대한 인간의 인식(약 50-150 ms)보다 짧을 수 있다. 따라서, 하이브리드 BCI 시스템들(100 및/또는 600)은 사용자가 시각 정보 내에서의 시프트를 인식하기 전에, 사용자가 바라볼 곳의 예측으로서 도약 시작 벡터(saccade onset vector)를 사용한 다음, 그에 맞추어 사용자 환경을 업데이트할 수 있다. 예를 들어, 프로그램 또는 게임 동안, 사용자는 게임을 일시 정지하려 계획을 세울 수 있다. 사용자의 눈들이 일시 정지 메뉴 아이템 쪽으로 방향을 시프트하기 시작함에 따라, 사용자가 일시 정지 메뉴 아이템에 초점을 맞추기 위해 시선을 시프트하기 전에 도약 시작 벡터가 사용되어 일시 정지하고 일시 정지 메뉴를 선택하려는 의도를 예측할 수 있다. 일부 실시예에서, 검출 대기시간은 대략 1.00 ms, 2.00 ms, 3.00 ms, 5.00 ms, 10.00 ms 또는 15.00 ms(또는 그 사이의 임의의 기간)일 수 있다.

아티팩트들의 처리

아티팩트들은 뇌 활동에 악영향을 대부분 뇌 이외에서 기원된 바람직하지 않은 신호들이다. 신경학적 현상의 형태가 영향을 받기 때문에, 아티팩트들은 BCI 기반 시스템들의 성능을 감소시킬 수 있다. 아티팩트들은 기원이 생리학적일 수 있거나 또는 비 생리학적 또는 기술적 아티팩트들일 수 있다.

생리학적 아티팩트들은 보통 근육, 안구 및 심장 활동으로 인한 것이다. 뇌 신호들에서 큰 장애들은 환자들이 말하거나, 씹거나 또는 삼킬 때 발생하는 근육 수축들로 인한 전기 활동으로부터 발생할 수 있다. 다른 아티팩트들은 눈 깜박임 및 다른 눈 움직임들에 의해 생길 수 있다. 눈 깜박임은 저주파 패턴들을 생성하는 눈 움직임들과는 대조적으로 뇌 신호들보다 일반적으로 고 진폭 패턴들을 만든다. 심장 활동과 연관된 아티팩트들은 뇌 활동에 리듬 신호를 도입한다. 기술적 아티팩트들은 주로 전력선 소음들 또는 전극 임피던스들의 변화에 원인이 되며, 이것은 통상 적절한 필터링 또는 차폐로 방지될 수 있다. 생리학적 아티팩트들을 방지하는 것은 어려우며, 거부 접근법(rejection approach)들은 아티팩트들에 의해 악영향을 받은 새로 시작된 것들을 폐기하는 것을 제안한다. 아티팩트 진폭들이 너무 작을 때는 자동 거부가 실패할 수 있다. 또한, 거부 방법론은 아티팩트 오염 신호들이 폐기될 때 사용자가 디바이스 제어를 잃는 상호작용의 일부분들을 초래한다. 샘플들을 거부하는 대신, 아티팩트 제거 접근법은 신경학적 현상을 온전하게 유지하면서 아티팩트들을 식별하고 제거하려고 시도한다. 신경에서 아티팩트들을 제거하는 일반적인 방법들은 선형 필터링, 선형 조합 및 회귀, BSS 및 PCA이다. 뇌 신호들의 기록들로부터 아티팩트들을 제거하는 대신에, 시스템(100 및/또는 600)은 아티팩트들을 처리하여 사용될 수 있는 통신 경로를 제공할 수 있다.

일부 실시예에서, 하이브리드 BCI 시스템들(100, 600)은 아티팩트들로부터 사용자 경험의 이익에 이르는 장점들을 도출할 수 있다. 예를 들어, 시스템들(100, 600)은 눈 깜빡임들, 턱 악물기들 및 다른 심장 관련 변화들과 같은 인공적 움직임들을 검출하도록 구성될 수 있다. 이러한 아티팩트들을 검출하고 분류하면 소음 없는 애플리케이션들에 원래 신경 신호를 사용할 여지가 주어진다. 일부 실시예에서, 안구운동-신경 데이터에서 검출된 아티팩트들은 또한 사용자의 거동에서 그것들의 알려진 인과성으로 인해 이용될 수 있다. 예를 들어, 눈 깜박임들, 턱 악물기들 및 얼굴 표정들과 같은 아티팩트들은 아래에서 개시되는 바와 같은 행동 제어 피처를 구현하는 제어 신호들로서 사용될 수 있다.

비동기 모드에서 동작되는 하이브리드 BCI 시스템들(100, 600)의 실시예들은 클러스터링 모델 및 n-차원 피처 공간 내의 유클리드 거리의 검사와 웜 트레이닝 세트(warm training set)를 통합하는 비지도 분류 시스템(unsupervised classification system)을 사용할 수 있다. 그것에 의해 수행될 수 있는 아티팩트 식별 접근법은 데이터의 슬라이딩 윈도우를 사용하며, 슬라이딩 윈도우를 통해 피처들이 계산된 다음 n-차원 공간에서 클러스터링 모델에 기초하여 분류된다. 시간에 걸쳐 서술된 아티팩트 강도는 임의의 적합한 클러스터 기반 기술, 예를 들어 각 클러스터 중심까지 데이터 포인트의 유클리드 거리에 기초한 분류 방법들을 통해 분류하는데 사용될 수 있다.

기존의 BCI 시스템들은 데이터를 기록하고 기록된 신호들을 설정된 시간 간격들마다 추출 및 처리하여 사용자 의도 및 사용자 상태를 결정한다. 일부 실시예에서, 본 명세서에 설명된 하이브리드 BCI 시스템(100 및/또는 600)은 기록된 데이터를 각각의 들어오는 샘플로 처리하여 "이벤트"의 존재를 체크하고 "이벤트"의 존재 또는 그의 부재를 이용하여 프로그램에 의한 연쇄 반응을 트리거하도록 구성될 수 있다. 이것은 데이터의 추가 분석, 특정 거동들의 예상시 처리 파이프라인을 변경하는 것, 또는 어느 정도까지 사용자의 환경을 수정하는 것일 수 있다. 프로세스는 (임의의 디바이스 소스로부터) 들어오는 각각의 샘플에 대한 처리 파이프라인을 분리하고 그 데이터를 분류기를 통과시켜 그 유형을 결정함으로써 다중 스레드 환경에서 처리될 수 있다.

이벤트들은 눈 깜박임들, 이벤트 전위들, 움직임 아티팩트들, 과도한 신호 소음 및 관찰된 활동의 갑작스러운 하락들을 포함한다. 분석 단계에 뒤이어, 인터페이스는 분류 가능한 이벤트가 발생했는지를 결정할 수 있으며, 그러하다면, 특정 이벤트 시퀀스를 트리거할 수 있다. 기록된 활동의 예시적인 신규 사항이 도 8a에 도시된다. 예를 들어, 눈 깜박임이 관찰될 때 트리거는 시스템에게 다음 5 밀리 초 동안 들어오는 눈 데이터를 무시하도록 지시할 수 있다. 이벤트 전위가 관찰될 때, 트리거는 시스템에게 환경 변화들과 이벤트의 갑작스러운 존재 사이의 상관관계를 식별하여 어떤 특정 변화가 사용자의 뇌 활동에 영향을 미치는지 식별하도록 지시할 수 있다. 이러한 예시적인 이벤트들은 도 8a에서 녹색 바(bar) 및 적색 바로 강조된다.

BCI 구현에 대한 이전의 접근법들은 이벤트 후에 고정된 시간 지연(즉, 50 ms)을 이용한다. 고정된 시간 지연이 지나간 뒤에, 사용자 환경이 변경되고, 그 기간과 관련된 데이터가 분석된다. 대조적으로, 일부 실시예에 따른 시스템(100 및/또는 600)은 특정 시간 지연들 또는 기간들이 사용되지 않고, 그 대신 들어오는 데이터가 연속적인 방식으로 분석되는 접근법을 구현할 수 있다. 시스템이 (실험자에 의해 정의된 대로) 특정 유형의 이벤트를 식별하고 분류할 때, 추출된 적절한 데이터가 추가 정보를 위해 분석될 수 있다. 예를 들어, 도 8b에 도시된 것과 같은 이벤트가 검출될 때, 검출은 일련의 프로세스들을 트리거할 수 있다. 따라서, 뇌 활동은 제어 신호로서 작용할 수 있고 특정 피처들의 검출은 추가 사건들, 행동들 및/또는 결과들에 대한 액추에이터들이 될 수 있다. 이러한 접근법은, 예를 들어 사용자가 그의 메일 주소 및 전화 번호부를 정기적으로 업데이트하여 오래된 주소를 새로운 주소로 대체할 수 있는 폴링 모델과는 대조적으로 즉각적인 행동을 바로 트리거하는, 마우스를 클릭하거나 버튼을 누르는 것과 같은 행동을 수행하는 것과 유사하다.

사용자 인터페이스 적응들

본 명세서에 설명된 바와 같이, 하이브리드 BCI 시스템(100, 600)의 사용자 인터페이스는 시청각 디스플레이(예를 들어, 도 1의 디스플레이(106))를 통해 제시될 수 있다. 사용자 인터페이스는 사용자가 포인팅 제어 피처를 통해 특정 자극에 초점을 맞추어 가리키고 행동 제어 피처를 사용하여 특정 자극을 선택 또는 선택 해제할 수 있게 한다. 이를 수행하기 위해, 사용자 인터페이스는 사용자가 선택할 수 있는 선택들의 그룹인 선택 세트를 포함한다. 선택 세트들의 예들은 영숫자 매트릭스 상의 문자들/숫자들, 또는 방향 화살표들, 또는 제어 디스플레이 상에 전략적으로 배열된 구별되는 모양의 아이콘들 또는 표적들의 그룹들을 포함할 수 있다. 선택 방법은 사용자로부터의 커맨드가 BCI에 의해 직접 또는 간접적으로 어떻게 해석될지를 서술한다. 직접 선택은 사용자가 선택 세트로부터 임의의 아이템을 직접 선택할 수 있게 하지만, 간접 선택은 사용자가 선택을 할 수 있기 전에 중간 단계를 필요로 한다.

도 9a는 심볼들(문자들 또는 숫자들)을 포함하는 사용자 인터페이스의 예시적인 두 개의 레이아웃을 도시한다. 하나의 예에서, 모든 심볼이 한 번에 함께 제시되고 함께 반짝거린다. 제2 예에서, 반짝인 그룹에서 하나의 심볼(X) 만 보이는 반면 다른 심볼들은 별표들의 형태로 감추어져 있다. 일부 실시예에서, 이러한 제2 레이아웃은 신경 활동 기반 BCI 분류 정확도를 감소시키는 것으로 알려진 지각적 문제점들을 감소시켜 처리 시간을 개선할 수 있다. 이러한 레이아웃은 또한 사용자 인터페이스 전략의 변화를 나타내는데 사용될 수 있으며, 예를 들어, 이 레이아웃은 아래에서 추가 설명되는 '유지-해제 모드(hold-release mode)'로의 진입을 나타낼 수 있다.

사용자 인터페이스는 사용자와 BCI 사이의 인터페이스의 특성들을 제시하도록 구성될 수 있다. 사용자 인터페이스는 (1) 공간, (2) 감각 및 (3) 활성화/비활성화의 세 가지 유형의 특성을 포함할 수 있다. 공간 특성들은 아이콘들 또는 표적들의 차원, 개수 및 모양을 포함한다. 감각 특성들은 청각, 시각 또는 체성 감각에 관계없이 사용자에게 제공되는 자극 및 피드백을 포함한다. 활성화/비활성화는 인간/기술 상호작용의 품질을 포함한다.

상호작용의 품질은 노력(BCI를 사용하는 것이 얼마나 어려운지), 변위(응답하는데 얼마만큼의 움직임이 필요한지), 유연성(BCI가 사용될 수 있는 방법들의 개수), 내구성(얼마나 BCI 하드웨어가 신뢰할 수 있는지), 유지 관리성(얼마나 쉽게 BCI가 복구될 수 있는지) 및 활성화 또는 해제의 방법(선택을 수행/활성화 또는 중지/비활성화하는 능력 및 어떻게 선택을 내리는지)에 의해 특징지어질 수 있다. 활성화 및 비활성화는 고유한 기능성을 가질 수 있으며, 활성화만을 행동 제어 입력으로 사용하는 것은 트리거 또는 순간 스위치로 생각할 수 있다. 이 경우에, 활성화만 영향을 유발하고 활성화가 유지되는 지속기간은 결과를 변경시키지 않는다. 활성화와 비활성화를 둘 모두 사용하면 보다 복잡한 제어 기능성이 가능해지고 제어 입력은 버튼으로서 역할을 할 수 있다. 예를 들어, 텔레비전 용 리모컨에서, 볼륨 키들 중 하나를 활성화하고 유지하여 볼륨을 계속 증가시킬 수 있다. 이 경우에, 선택을 보유하면 지속적인 변경이 발생하는 반면, 이것을 해제하면 현재 상태가 유지된다.

신경 활동 기반 유지-해제 모델

본 명세서에 설명된 바와 같이, BCI 시스템들(100, 600)은, 신경 활동 기반 BCI에서 표적들의 초기 활성화 및 비활성화(유지-해제)가 별도로 제어될 수 있는 신경 활동 기반 BCI 기능성을 그들의 사용자 인터페이스의 일부로서 통합할 수 있다. 이것은 하이브리드 BCI 시스템들(100, 600)이 간접 선택을 필요로 하는 애플리케이션들 또는 상태들 사이에서 빠른 변경들을 필요로 하는 애플리케이션들에 사용될 수 있게 할 수 있다. 또한, 이것은 선택을 유지함으로써 또는 해제 표적으로 주의를 전환함으로써 선택된 표적의 확인-취소(confirmation-cancelation)를 가능하게 할 수 있다.

잠재적인 실제 세계 애플리케이션에서, BCI 디스플레이 상의 표적은 상이한 활성화/비활성화 특성들을 가질 수 있다. 실제 세계 애플리케이션을 위한 예시적인 하이브리드 BCI 사용자 인터페이스 레이아웃이 도 8b에 도시된다. 일부 아이템은, 예를 들어, 도 8b 아이템(B1)의 레이아웃에 도시된 휠체어를 젖힘으로써, 온도(아이템(A3 및 B3))를 변경함으로써, 또는 텔레비전의 볼륨(아이템들(C2 및 D2))을 높임으로써, 미세 조정을 가능하게 하도록 유지-해제 가능해질 수 있다. 도어 잠금 해제/잠금과 같은 안전 필수 아이템들(아이템들(D1 및 E1))은 활성화하기 전에 짧은 유지 기간이 요구되는 유지-해제 확인-취소 단계를 필요로 할 수 있다. 나머지 아이템들은 조명 켜기 또는 텔레비전 채널 변경(C1, A2 및 B2)과 같은 종래의 개별 신경 활동 기반 행동들을 수행할 것이다. 일단 사용자가 (조정 또는 확인을 위한) 유지-해제 반응으로 표적을 선택하면, 화면은 유지-해제 모드(도 9b, 오른쪽 패널)로 변경될 것이며, 이 모드에서 이전에 선택된 표적 및 해제 표적만이 활성화되고 BCI 매트릭스 상의 나머지 표적들은 선택되지 않을 것이다. BCI가 원하는 표적을 올바르게 식별했다면, 사용자는 선택된 표적을 유지할 것이고 BCI는 사용자가 행동(휠체어 젖히기 또는 텔레비전 볼륨 변경)을 중지하기를 원할 때까지 또는 선택을 확인할 명시된 지속기간 동안 행동을 수행할 것이다(이에 따라 안전 필수 행동의 의도하지 않은 활성화를 방지할 수 있다). 따라서, 유지-해제 기능성은 기존의 보조 기술에서 사용 가능한 다수의 제어 모드를 반영하는 방식으로 신경 활동 기반 BCI들의 활용을 확장한다.

유지 프로세스 동안, BCI에 의해 요구되는 유일한 정보는 사용자가 그의 선택을 변경하는 시기(예를 들어, 볼륨 증가/감소를 중지 또는 휠체어 젖히기를 중단하는 시기)일 뿐이다. 해제 결정의 이원성은 BCI가 여러 시퀀스들의 반짝거림들 이후 대신 아주 소수의 반짝거림으로부터 결정을 내릴 수 있게 한다. BCI 사용자의 경우, 이것은 종래의 신경 활동 기반 BCI 접근법들을 사용하는 것보다 더 빠른 응답 시간 및 더 지속적인 제어로 변환해 준다.

유발 자극의 신경 활동 기반 매핑

(사용자의 두뇌 활동이 그의 환경에 대해 이루어진 변화들에 응답하여 어떻게 변화되는지를 관찰하는) 종래의 BCI 시스템들은 일반적으로 사용자가 획득한 모든 데이터를 한 번에 분석하기 전에 가질 수 있는 가능한 모든 거동을 유발해 내고 거기서 사용자 의도를 결정하려고 시도한다. 일부 실시예에서, 본 명세서에 설명된 하이브리드 BCI 시스템(100 및/또는 600)은 변화가 이루어질 때마다 사용자의 뇌 활동을 분석할 수 있고, 구체적으로는 이러한 분석 단계로부터 획득된 정보를 사용하여 환경에 대해 만들어진 다음 변화를 알려줄 수 있다. 예를 들어, 사용자가 10 가지 가능한 행동을 갖고 있다면, 10 가지 변화가 환경에 적용되어 어떤 변화가 (프로그램에 의해 정의된 대로) 가장 이상적인 응답을 유발하는지를 관찰할 수 있다. 대안적으로, 하이브리드 BCI 시스템(100 및/또는 600)에서, 동일한 사용자가 동일한 10 가지 선택을 갖고 있다면, 첫 번째 변화로부터 획득된 정보는 이루어지는 다음 번 변화를 알려주고, 특정 행동들을 사전에 제거하는데 사용될 수 있으며, 그럼으로써 의도에서부터 행동에 이르기까지 걸리는 지속기간을 감소시킬 수 있다. 따라서, 사용자의 뇌가 환경에 대해 이루어진 각각의 변화에 어떻게 반응하는지에 관한 지식은, 각각의 변화가 단지 하나를 초과하는 잠재적인 사용자 의도를 알려주기 때문에, 전적으로 요구되는 것은 아니다. 이것은 기록될 정보의 양을 줄여주며, 그 대신 사용자 의도를 식별하는데 무슨 정보가 필요할 것인지를 지능적으로 결정하고, 그 정보를 신속하게 획득하고, 의도한 행동을 창출하도록 진행시킨다.

일부 실시예에서, 하이브리드 BCI 시스템(100 및/또는 600)은 또한 에러 정정 코드들을 구현하여 획득된 신경 신호들로부터 피처 추출을 수행하여 신경 활동 기반 시스템을 사용하는 정보 전송 레이트들을 개선할 수 있다. 또한, 하이브리드 BCI 시스템은 새로운 접근법들을 활용하여 표적들을 적합한 배경 상에 중첩시킴으로써 또는 움직임에 기초한 대안적인 자극 유형들을 사용함으로써 신경 활동 기반 BCI 시스템 자체에서 주요 소음원들 중 하나인 고질적인 영향들을 감소시킬 수 있다.

동적 자극 검출 및 태깅

일부 실시예에서, 하이브리드 BCI 시스템(100 및/또는 600)은 동적 자극들을 포함시키거나 또는 그의 사용자 인터페이스에 제시된 증강 현실 또는 가상 현실 내 기존의 동적 자극들에 태깅할 수 있다. 즉, 하이브리드 BCI 시스템(100, 600)은 이동 자극을 식별하고 그 자극에 태깅하여 시간에 따라 그의 움직임들을 추적할 수 있다. 이러한 동적 식별 및 태깅의 예시적인 구현이 도 9에 도시된다.

하이브리드 BCI 시스템(100, 600)은 이동 객체의 존재를 검출하고 이동 객체 상에 선택 태그들을 배치할 수 있다. 태그들은 추적 타임라인을 통해 반짝거리고 객체와의 동일 위치를 유지할 수 있다. 다음으로 사용자는 BCI 선택을 사용하여 그 객체에 대해 행동을 트리거할 수 있다. 대안적으로, 하이브리드 BCI 시스템(100, 600)은 주로 추적의 시작 또는 끝과 관련이 있을 수 있다. 추적 시작 또는 끝 근처에서 신경 데이터의 시간 윈도우가 검사되어 신경 활동이 유발되었는지를 확인할 수 있다. 이것은 새로운 객체가 사용자에게 관심을 받고 그 다음에 어떤 행동을 트리거시킬 수 있는지를 나타낼 것이다. 일부 실시예에서, 눈-추적 정보는 행동을 트리거하기 전에 관심사로서 객체라는 가정을 더욱 강화하기 위해 객체 초기 움직임에 의해 도약이 트리거되었는지를 알아 보는데 사용될 수 있다. 이러한 행동은 임의의 다른 것들 이외에 위에서 설명한 바와 같은 동적 태그 배치일 수 있다.

피처 추출 및 모델 구축

다양한 사고 활동들(인지적 태스크들)은 상이한 패턴들의 뇌 신호들을 초래한다. 일부 실시예에서, 하이브리드 BCI 시스템(600)(및/또는 100)은 각 신호 패턴을 그의 피처들에 따라 클래스로 분류하는 패턴 인식 시스템을 포함할 수 있다. 패턴 인식 시스템은 특정 클래스와의 유사도들뿐만 아니라 나머지 클래스들과의 차이점들을 반영하는 일부 피처들을 뇌 신호들로부터 추출한다. 그런 다음 피처들은 그들의 상이한 유형들을 구별하는데 필요한 식별 정보를 포함하는 신호들의 특성들로부터 측정되거나 도출될 수 있다. 위에서 설명한 바와 같이, 모델 빌더(626)는 통계 툴의 어레이를 사용하여, 특정 하드웨어 주변 디바이스 등에 결합된 특정 사용자 인터페이스들 하에서, 특정 사용자들에 대응하는 데이터로부터 추출된 피처들에 대한 통계 모델을 구축할 수 있다.

뇌 신호들에서 관심 있는 정보는 전형적으로 매우 소음이 많은 환경에 숨겨져 있으며, 뇌 신호들은 다수의 동시적 소스들을 포함하고 있다. 관심을 가질 수 있는 신호는 상이한 뇌 태스크들로부터의 다수의 신호에 의해 시간과 공간에서 중첩될 수 있다. 이러한 이유 때문에, 많은 경우에, 원하는 대역 능력을 추출하기 위해 대역 통과 필터와 같은 간단한 방법들을 사용하는 것만으로는 충분하지 않다.

뇌 신호들은 또한 다수의 채널을 통해 측정될 수 있다. 측정된 채널들에 의해 제공되는 모든 정보가 관심 있는 기본 현상을 이해하는데 관련이 있는 것은 일반적으로 아니다. 주요 컴포넌트 분석 또는 독립 컴포넌트 분석과 같은 차원 축소 기술들이 적용되어 원래 데이터의 차원을 줄이고 관련이 없고 중복되는 정보를 제거할 수 있다. 이에 따라 계산 비용들이 감소될 수 있다.

뇌 신호들은 또한 본질적으로 비정지적이고, 따라서 일부 실시예에서, 특정 피처가 언제 발생하는지에 관한 시간 정보를 획득하는 것이 바람직할 수 있다. 신호들을 짧은 세그먼트들로 나누는 일부 접근법들은 각 세그먼트로부터 파라미터들이 추정될 수 있는 곳에서 사용될 수 있다. 고속 퓨리에 변환(Fast-Fourier Transform)(FFT)들, 웨이블렛 변환들 또는 적응적 자동회귀 컴포넌트들과 같은 방법들을 비롯한 하나 이상의 데이터 변환법들이 수행될 수 있고, 또는 정지 부분공간 분석(stationary subspace analysis)(SSA)과 같은 기술들이 수행되어 뇌 신호들의 비정지 시간 변동(non-stationary time variation)들을 밝혀줄 수 있다. SSA는 다변량 시계열들을 정지 및 비정지 컴포넌트들로 분해한다. 단일 피처 벡터로 연결되기 전에 여러 채널 및 여러 시간 세그먼트로부터 다수의 피처가 추출될 수 있다.

신호 분류 및 예측

하이브리드 BCI 시스템(100, 600)에서 분류 단계의 목표는 피처 단계에 의해 제공된 뇌 활동을 특징짓는 피처 벡터에 기초하여 사용자의 의도를 인식하는 것이다. 분류 알고리즘은 오프라인, 온라인 또는 두 종류의 세션들을 통해 개발될 수 있다. 오프라인 세션에는 적응형 또는 폐루프 시스템으로부터 수집된 BCI 경쟁 데이터 세트들과 같은 데이터 세트들의 검사가 관여된다. 데이터의 통계들은 전체 세션들에 걸친 관찰들로부터 추정될 수 있고 장기간 계산들이 수행될 수 있다. 결과들은 분석가에 의해 알고리즘들을 미세 조정하려는 목적으로 검토될 수 있다. 하이브리드 BCI 시스템의 일부 실시예에서, 데이터는 실제 세계를 평가하는 인과관계 방식으로 온라인으로 처리될 수 있다. 사용된 분석 알고리즘들은 예를 들어, 사용자의 동기 또는 참여의 변화들의 결과로서 사용자 프로파일이 시간이 지남에 따라 변할 수 있는 환경에서 테스트될 수 있다.

분류 알고리즘들은 레이블이 부착된 데이터 세트를 사용하여 지도 학습을 통해 사용자에 의해 교정될 수 있다. 그러나, 눈-움직임 신호들뿐만 아니라 뇌 신호들은 본질적으로, 시간이 지남에 따라 그들을 구별짓는 특성들에서 변화들이 있는 비정지적일 수 있다. 예를 들어, 교정 세션들 동안 실험 샘플들에서 관찰된 패턴들은 온라인 세션 동안 기록된 패턴들과 상이할 수 있다. 그와 달리, 사용자들의 점진적인 정신 훈련 또는 집중력, 주의력 또는 동기에서의 변화들조차 뇌 신호들에 영향을 줄 수 있다. 일부 실시예에서, 본 명세서에 설명된 하이브리드 BCI 시스템(600)(및/또는 100)은 구별짓는 피처의 변화들에 적응할 수 있는 적응형 알고리즘들을 사용할 수 있다.

일부 실시예에서, 하이브리드 BCI 시스템(100, 600)은 신호들을 검출 및 분류하기 위한 준 지도 학습 알고리즘을 사용할 수 있다. 준 지도 학습 분류기는 레이블이 부착된 작은 데이터 세트를 사용하여 초기에 훈련될 수 있고, 그 후에 분류기는 온라인 테스트 데이터로 업데이트될 수 있다. 이러한 접근법은 분류기를 온라인 세션 동안 연속적인 방식으로 업데이트함으로써 요구되는 훈련 시간을 감소시킬 수 있다.

일부 실시예에서, 하이브리드 BCI 시스템(100, 600)은 비지도 학습 또는 강화 학습 또는 이들 방법의 조합을 사용하여 뇌 신호들 및/또는 눈-움직임 신호들을 검출하고 분류할 수 있다. 비지도 방법들은 레이블이 붙지 않은 데이터에서 숨겨진 구조들을 찾아 이들을 분류하는데 사용될 수 있다. 하이브리드 BCI 디바이스의 일부 실시예는 사용자 및 기계의 상호 적응 학습(co-adaptive learning) 또는 공변량 시프트 적응(covariate shift adaptation)을 위한 기술들에 의존하는 비지도 방법들을 사용할 수 있다. 일부 실시예는 피험자가 잘못된 결정을 알고 있을 때 유발된 신경 신호들을 구별하는 것에 기초한 강화 학습 방법들을 사용할 수 있다. 이러한 피드백 신호들은 학습 신호들로서 사용되어 향후 에러가 반복되는 것을 방지할 수 있다.

결론

요약하면, 사용자에 의해 실시간으로 동작 가능한 통합된 하이브리드 뇌 컴퓨터 인터페이스의 구현에 사용하기 위한 시스템들 및 방법들이 본 명세서에 설명된다. 개시된 시스템은 포인팅 제어 피처를 구현하는 눈-움직임 추적 시스템 및 행동 제어 피처를 구현하는 뇌 활동 추적 시스템을 포함한다. 두 특징은 모두 속도가 빠르고 정확한 동작이 가능하도록 전략적으로 설계된 사용자 인터페이스의 제시를 통해 구현된다. 또한, 개시된 시스템들 및 방법들은 하드웨어 관용적으로 구성되어 실시간 하이브리드 BCI를 임의의 적합한 플랫폼 상에서 구현하여 가상, 증강 또는 실제 환경들의 사용자 조작을 중재한다. 도 11은 본 발명의 하이브리드 BCI 시스템 및 방법들의 사용 공간의 예시도를 도시한다.

위에서 다양한 실시예들이 설명되었지만, 실시예들은 단지 예로서만 제시되었지 제한하는 것이 아니라는 것을 이해하여야 한다. 위에서 설명한 방법들이 특정 순서로 발생하는 특정 이벤트들을 나타내는 경우, 특정 이벤트들의 순서는 수정될 수 있다. 또한, 이벤트들 중 특정 이벤트는 가능하다면 병렬 프로세스에서 동시에 수행될 수 있을 뿐만 아니라, 위에서 설명한 바와 같이 순차적으로 수행될 수 있다.

위에서 설명한 개략도들 및/또는 실시예들이 특정 방향들 또는 위치들에 배열된 특정 컴포넌트들을 나타내는 경우, 컴포넌트들의 배열체는 변경될 수 있다. 실시예들이 특별히 도시되고 설명되었지만, 형태 및 세부 사항에서 다양한 변경이 이루어질 수 있음이 이해될 것이다. 본 명세서에 설명된 장치 및/또는 방법들 중 임의의 부분은 상호 배타적인 조합들을 제외하고는 임의의 조합으로 조합될 수 있다. 본 명세서에 설명된 실시예들은 설명된 상이한 실시예들의 기능들, 컴포넌트들 및/또는 피처들의 다양한 조합 및/또는 하위조합을 포함할 수 있다.

Claims

장치로서,
대화식 환경을 사용자에게 제시하도록 구성된 디스플레이;
상기 사용자에 의해 생성된 눈-움직임 신호들을 기록하도록 구성된 눈-추적기;
상기 사용자에 의해 생성된 신경 신호들을 기록하도록 구성된 신경 기록 디바이스;
상기 디스플레이, 상기 눈-추적기 및 상기 신경 기록 디바이스에 동작 가능하게 결합된 인터페이싱 디바이스
를 포함하고,
상기 인터페이싱 디바이스는,
메모리; 및
상기 메모리에 동작 가능하게 결합된 프로세서
를 포함하고,
상기 프로세서는,
상기 눈-추적기로부터 상기 눈-움직임 신호들을 수신하고, 상기 신경 기록 디바이스로부터 상기 신경 신호들을 수신하고;
상기 대화식 환경을 통해 자극을 생성하여 상기 사용자에게 제시하고;
상기 눈-움직임 신호들 및 상기 신경 신호들 중 적어도 하나에 기초하여, 상기 사용자의 초점을 결정하기 위해 상기 눈-움직임 신호들 및 상기 신경 신호들을 처리하고;
상기 신경 기록 디바이스로부터 수신된 상기 신경 신호들을 처리하여 상기 사용자에 의해 의도된 행동을 결정하고;
상기 사용자에 의해 의도된 상기 행동을 구현하고 상기 대화식 사용자 인터페이스의 상기 제시를 업데이트하도록
구성되는, 장치.
제1항에 있어서,
상기 눈-추적기는 비디오 기반 눈-추적기이고,
상기 신경 신호들은 시각적으로 유발된 전위들, 운동 연상 신호(motor imagery signal)들, 이벤트 관련 전위(Event Related Potential)(ERP)들 및 뇌 상태 종속 신호들을 포함하는 뇌전도(electroencephalogram)(EEG) 신호들을 포함하며,
상기 프로세서는 상기 눈-움직임 신호들 및 상기 EEG 신호들을 통합하여 상기 사용자의 초점을 결정하도록 추가로 구성되는, 장치.
제1항에 있어서,
상기 신경 신호들은 시각적으로 유발된 전위들, 청각 유발 전위들, 운동 연상 신호들, 이벤트 관련 전위(ERP)들 및 뇌 상태 종속 신호들 중 적어도 하나를 포함하는 뇌전도(EEG) 신호들을 포함하는, 장치.
제1항에 있어서,
상기 자극은 시각, 청각 및 촉각 자극 중 적어도 하나를 포함하는, 장치.
제1항에 있어서,
상기 프로세서는 상기 디스플레이의 부분들의 세트를 정의하고, 상기 사용자의 상기 초점의 상기 결정에 기초하여 상기 디스플레이의 상기 부분들의 세트 중 한 부분에서 상기 자극을 반복적으로 제시하도록 추가로 구성되는, 장치.
제1항에 있어서,
상기 프로세서는 상기 사용자의 상기 초점을 결정하기 위해, 상기 눈-움직임 신호들 및 상기 신경 신호들 중 상기 적어도 하나를 처리하는 지연 없는 필터 및 분류기를 구현하도록 추가로 구성되는, 장치.
제1항에 있어서,
상기 프로세서는 상기 사용자의 상기 초점을 결정하기 위해, 상기 눈-움직임 신호들 및 상기 신경 신호들 중 상기 적어도 하나를 처리하는 듀얼 칼만 필터(dual Kalman filter) 및 분류기를 구현하도록 추가로 구성되는, 장치.
제1항에 있어서,
상기 프로세서는,
시뮬레이션된 사용자의 눈-움직임들의 세트의 운동학 모델을 생성하고;
상기 눈-움직임 신호들에서 생략된 데이터 포인트들의 세트를 식별하고;
상기 운동학 모델에 기초하여, 상기 눈-움직임 신호들에서 상기 생략된 데이터 포인트들의 세트를 대체할 대체 데이터 포인트들의 세트를 계산하고;
상기 생략된 데이터 포인트들의 세트를 대체할 상기 대체 데이터 포인트들의 세트를 포함시키고 업데이트된 눈-움직임 신호들을 생성하도록
추가로 구성되는, 장치.
프로세서에 의해 실행될 명령어들을 나타내는 코드를 저장하는 비일시적 프로세서 판독 가능 매체로서,
상기 명령어들은 프로세서로 하여금,
행동들의 세트를 수행하기 위해, 사용자에 의해, 조작될 수 있는 대화식 사용자 환경을 생성하고;
상기 대화식 사용자 환경을 통해 상기 사용자에게 제시될 수 있는 자극들의 세트를 정의하고;
상기 자극들의 세트로부터 적어도 하나의 자극을 상기 사용자에게 제시하고;
눈-추적기 및 신경 기록 디바이스로부터, 상기 사용자의 거동과 관련된 입력들을 수신하고;
상기 수신된 입력들 및 상기 제시된 자극에 기초하여, 상기 사용자에 의해 의도된 행동을 결정하고;
상기 대화식 사용자 환경을 통해 상기 행동을 구현하게 하는
코드를 포함하는, 비일시적 프로세서 판독 가능 매체.
제9항에 있어서,
상기 코드는 입력들을 수신하기 위해, 상기 프로세서로 하여금,
상기 눈-추적기로부터 수신된 상기 입력들로부터, 상기 사용자에 의해 생성된 눈-움직임 신호들을 추출하고;
상기 신경 기록 디바이스로부터 수신된 상기 입력들로부터, 상기 사용자에 의해 생성된 신경 신호들을 추출하고 - 상기 신경 신호들은 뇌전도(EEG) 신호들을 포함하고, 상기 EEG 신호들은 시각적으로 유발된 전위들, 운동 연상 신호들, 이벤트 관련 전위(ERP)들 및 뇌 상태 종속 신호들을 포함함 -;
통합된 접근법을 사용하여 상기 눈-움직임 신호들 및 상기 EEG 신호들을 처리하여 상기 사용자의 초점을 결정하게 하는
코드를 포함하는, 비일시적 프로세서 판독 가능 매체.
제9항에 있어서,
상기 코드는 입력들을 수신하기 위해, 상기 프로세서로 하여금,
상기 신경 기록 디바이스로부터 수신된 상기 입력들로부터, 상기 사용자에 의해 생성된 뇌전도(EEG) 신호들을 추출하고 - 상기 EEG 신호들은 시각적으로 유발된 전위들, 청각 유발 전위들, 운동 연상 신호들, 이벤트 관련 전위(ERP)들 및 뇌 상태 종속 신호들 중 적어도 하나를 포함함 -;
상기 EEG 신호들을 처리하여 상기 사용자의 초점을 결정하게 하는
코드를 포함하는, 비일시적 프로세서 판독 가능 매체.
제9항에 있어서,
상기 코드는 상기 프로세서로 하여금 상기 사용자에 의해 의도된 상기 행동을 결정하게 하기 위해, 상기 프로세서로 하여금,
상기 자극들의 세트로부터 상기 제시된 자극과 관련된 정보를 추출하고;
상기 눈-추적기로부터 수신된 상기 입력들의 각각에 가중치들의 세트를 정의하고 적용하여 - 상기 입력들은 상기 신경 기록 디바이스로부터 수신되고, 상기 정보는 상기 제시된 자극과 관련됨 -, 상기 눈-추적기로부터 수신된 상기 입력들의 각각의 가중된 표현들을 생성하고 - 상기 입력들은 상기 신경 기록 디바이스로부터 수신되고, 상기 정보는 상기 제시된 자극과 관련됨 -;
상기 가중된 표현들을 조합하여 앙상블 표현(ensemble representation)을 형성하고;
상기 앙상블 표현을 처리하여 상기 사용자에 의해 의도된 상기 행동의 예측을 생성하게 하는
코드를 포함하는, 비일시적 프로세서 판독 가능 매체.
제9항에 있어서,
상기 코드는 상기 프로세서로 하여금 상기 사용자에 의해 의도된 상기 행동을 결정하게 하기 위해, 상기 프로세서로 하여금,
상기 눈-추적기로부터 수신된 상기 입력들로부터 눈-움직임 신호들을 추출하고;
상기 눈-움직임 신호들에 기초하여, 상기 사용자의 초점을 결정하는 지연 없는 필터 및 분류기를 구현하게 하는
코드를 포함하는, 비일시적 프로세서 판독 가능 매체.
제9항에 있어서,
상기 코드는 입력들을 수신하기 위해, 상기 프로세서로 하여금,
상기 눈-추적기로부터 수신된 상기 입력들로부터 눈-움직임 신호들을 추출하고;
상기 눈-움직임 신호들에서 생략된 데이터 포인트들의 세트를 식별하고;
시뮬레이션된 사용자의 눈-움직임들에 대한 운동학 모델을 생성하고;
상기 운동학 모델에 기초하여, 상기 눈-움직임 신호들에서 상기 생략된 데이터 포인트들의 세트를 대체할 대체 데이터 포인트들의 세트를 추정하고;
상기 생략된 데이터 포인트들의 세트를 대체할 상기 대체 데이터 포인트들의 세트를 포함시켜 업데이트된 눈-움직임 신호들을 생성하게 하는
코드를 포함하는, 비일시적 프로세서 판독 가능 매체.
제9항에 있어서,
상기 코드는 입력들을 수신하기 위해, 상기 프로세서로 하여금,
상기 눈-추적기로부터 수신된 상기 입력들로부터 눈-움직임 신호들을 추출하고;
상기 눈-움직임 신호들에서 인공적 데이터 포인트들을 식별하고;
시뮬레이션된 사용자의 눈-움직임들에 대한 운동학 모델을 생성하고;
상기 운동학 모델에 기초하여, 상기 눈-움직임 신호들에서 상기 인공적 데이터 포인트들을 대체할 대체 데이터 포인트들의 세트를 추정하고;
상기 인공적 데이터 포인트들을 대체할 상기 대체 데이터 포인트들의 세트를 포함시켜 업데이트된 눈-움직임 신호들을 생성하게 하는
코드를 포함하는, 비일시적 프로세서 판독 가능 매체.
방법으로서,
사용자에게, 대화식 사용자 인터페이스를 통해 자극을 제시하는 단계;
눈-추적기 및 신경 기록 디바이스로부터, 상기 사용자의 거동과 연관된 입력들을 수신하는 단계;
상기 제시된 자극과 관련된 정보를 수신하는 단계;
상기 사용자의 거동과 연관된 상기 입력들 및 상기 제시된 자극과 관련된 정보를 포함하는 데이터의 앙상블 세트를 생성하는 단계;
상기 데이터의 앙상블 세트를 처리하여 상기 사용자에 의해 의도된 행동을 결정하는 단계; 및
상기 대화식 사용자 인터페이스를 통해 상기 행동을 구현하는 단계
를 포함하는, 방법.
제16항에 있어서,
상기 제시된 자극은 동적의 시각 자극을 포함하고,
상기 방법은,
상기 동적의 시각 자극의 움직임을 검출하는 단계;
상기 동적의 시각 자극의 상기 움직임을 추적하는 단계; 및
상기 동적의 시각 자극에 태깅하는 단계
를 더 포함하는, 방법.
제16항에 있어서,
상기 눈-추적기로부터 수신된 상기 입력들로부터 눈-움직임 신호들을 추출하는 단계;
상기 신경 기록 디바이스로부터 수신된 상기 입력들로부터 신경 신호들을 추출하는 단계 - 상기 신경 신호들은 뇌전도(EEG) 신호들을 포함하고, 상기 EEG 신호들은 시각적으로 유발된 전위들, 운동 연상 신호들, 이벤트 관련 전위(ERP)들 및 뇌 상태 종속 신호들을 포함함 -; 및
상기 눈-움직임 신호들 및 상기 EEG 신호들을 통합하여 상기 사용자의 초점을 결정하는 단계
를 더 포함하는, 방법.
제16항에 있어서,
상기 눈-추적기로부터 수신된 상기 입력들로부터 눈-움직임 신호들을 추출하는 단계; 및
상기 눈-움직임 신호들에 기초하여, 조합된 지연 없는 필터 및 분류기를 구현하여 상기 사용자의 초점을 결정하는 단계
를 더 포함하는, 방법.
제16항에 있어서,
상기 눈-추적기로부터 수신된 상기 입력들로부터 눈-움직임 신호들을 추출하는 단계;
상기 눈-움직임 신호들에서 생략된 데이터 포인트들의 세트를 식별하는 단계;
시뮬레이션된 사용자의 눈-움직임들을 예측하기 위한 운동학 모델을 생성하는 단계;
상기 운동학 모델에 의해 상기 시뮬레이션된 사용자의 상기 예측된 눈-움직임들에 기초하여, 상기 눈-움직임 신호들에서 상기 생략된 데이터 포인트들의 세트를 대체할 대체 데이터 포인트들의 세트를 추정하는 단계; 및
상기 대체 데이터 포인트들의 세트를 포함시켜 상기 생략된 데이터 포인트들의 세트를 대체하고 업데이트된 눈-움직임 신호들을 생성하는 단계
를 더 포함하는, 방법.
제16항에 있어서,
데이터의 앙상블 세트를 생성하는 상기 단계는,
상기 눈-추적기로부터 수신된 상기 입력들로부터 눈-움직임 신호들을 추출하는 단계;
상기 신경 기록 디바이스로부터 수신된 상기 입력들로부터 신경 신호들을 추출하는 단계;
상기 눈-움직임 신호들의 각각에 가중치들의 세트를 정의하고 적용하여 - 상기 신경 신호들 및 상기 정보는 상기 제시된 자극과 관련됨 -, 상기 눈-움직임 신호들, 상기 신경 신호들 및 상기 자극과 관련된 상기 정보의 가중된 표현들을 생성하는 단계; 및
상기 눈-움직임 신호들, 상기 신경 신호들 및 상기 자극과 관련된 상기 정보의 상기 가중된 표현들을 조합하여 상기 데이터의 앙상블 세트를 형성하는 단계
를 포함하는, 방법.
제16항에 있어서,
상기 눈-추적기로부터 수신된 상기 입력들로부터 눈-움직임 신호들을 추출하는 단계;
상기 눈-추적기로부터 수신된 상기 입력들로부터 상기 눈-추적기의 기술적 파라미터들을 추출하는 단계;
상기 눈-추적기의 상기 기술적 파라미터들에 기초하여, 상기 사용자의 눈-움직임들을 예측하기 위한 비선형 생성 운동학 모델(non-linear, generative, kinematics model)을 생성하는 단계;
상기 눈-추적기로부터 수신된 상기 눈-움직임 신호들 및 상기 비선형 생성 운동학 모델에 의해 예측된 상기 눈-움직임 신호들에 기초하여, 업데이트된 눈-움직임 신호들을 계산하는 단계; 및
상기 업데이트된 눈-움직임 신호들과 연관된 상기 사용자의 초점을 결정하는 단계
를 더 포함하는, 방법.