KR101465878B1 - 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치 - Google Patents

안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치 Download PDF

Info

Publication number
KR101465878B1
KR101465878B1 KR1020130048614A KR20130048614A KR101465878B1 KR 101465878 B1 KR101465878 B1 KR 101465878B1 KR 1020130048614 A KR1020130048614 A KR 1020130048614A KR 20130048614 A KR20130048614 A KR 20130048614A KR 101465878 B1 KR101465878 B1 KR 101465878B1
Authority
KR
South Korea
Prior art keywords
visual
visual stimulus
display device
user
pattern
Prior art date
Application number
KR1020130048614A
Other languages
English (en)
Other versions
KR20140129820A (ko
Inventor
이성환
원동옥
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020130048614A priority Critical patent/KR101465878B1/ko
Publication of KR20140129820A publication Critical patent/KR20140129820A/ko
Application granted granted Critical
Publication of KR101465878B1 publication Critical patent/KR101465878B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치가 개시된다. 투사형 디스플레이 장치와 연동되어 객체를 제어하는 방법은, 투사형 디스플레이 장치의 디스플레이를 통해 제어 대상 객체에 대한 시각 자극 패턴을 할당하여 투사시키고, 사용자의 상기 투사된 시각 자극 패턴의 응시에 따른 뇌파 신호를 측정하여, 측정된 뇌파 신호를 분석한 분석 결과에 따라 제어 대상 객체를 선택 또는 제어할 수 있다.

Description

안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치{Method and apparatus for object control using steady-state visually evoked potential}
본 발명은 뇌-컴퓨터 인터페이스에 관한 것으로, 보다 상세하게 고주파 안정 상태 시각 유발 전위를 이용한 기기 제어 방법 및 장치에 관한 것이다.
뇌파란 뇌에서 발생한 전류 신호를 전극(EEG: Electroenceplography)으로 측정한 것을 말한다. 뇌파는 크게 유발적 뇌파와 자발적 뇌파로 구분할 수 있다. 자발적 뇌파는 사용자의 의지로 인해 발현되는 뇌 신호로서 자발적으로 움직이거나 동작을 상상했을 때 발현되는 뇌 신호를 말한다. 유발적 뇌파는 외부 자극에 의해 사용자의 의지와는 상관없이 자연스럽게 발현 되는 뇌 신호로서 시각, 청각, 촉각 자극 등에 의해 발현 되는 뇌 신호를 말한다.
일반적인 뇌-컴퓨터 인터페이스는 뇌 신호를 이용하여 생각만으로 컴퓨터의 입력장치나 휠체어 등을 제어할 수 있도록 하는 연구 분야이다. 대표적인 뇌 신호 중 하나인 안정-상태 시각 유발 전위는 4Hz~90Hz 사이의 특정 주파수를 가진 외부의 시각 자극에 대한 자연스러운 반응 신호로서 외부 시각 자극과 동일한 주파수로 뇌의 후두엽 영역에서 발생하는 뇌 신호를 말한다. 안정-상태 시각 유발 전위 기반 BCI는 다른 뇌 신호와 달리 훈련 시간이 짧거나 필요 없고, 객체수의 제한이 비교적 적고 정확도와 정보 전송률(ITR: Information Transfer Rate)이 높은 장점이 있다.
그러나, 종래의 안정-상태 시각 유발 전위 기반 BCI는 많은 장점에도 불구하고 시각 피로가 극심하여 짧은 사용 시간에도 불구하고 긴 휴식이 필요한 문제점을 안고 있다.
또한 기존의 안정-상태 시각 유발 전위 기반 BCI는 시각 자극 장치(각종 디스플레이, LED 등)에 시선을 고정함으로써 시선이 제약이 생기는 문제점을 안고 있다.
본 발명은 고주파 안정 상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 HMD(Head Mounted Display) 또는 HUP(Head Up Display) 형태의 투사형 디스플레이 장치와 연동하여 사용자의 시야에 따라 유동적으로 시각 자극 위치를 할당하여 기기를 제어할 수 있는 시각 유발 전위를 이용한 객체 제어 방법 및 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, HUP 또는 HMP와 연동되어 사용자의 환경(예를 들어, 시야)에 따라 유동적으로 시각 자극 패턴을 할당하고, 사용자의 뇌파를 추출, 분석하여 사용자의 의도에 따른 시각 자극 패턴에 상응하는 객체를 제어하도록 할 수 있는 방법이 제공된다.
본 발명의 일 실시예에 다르면, 투사형 디스플레이 장치와 연동되어 객체를 제어하는 방법에 있어서, (a) 상기 투사형 디스플레이 장치의 디스플레이를 통해 제어 대상 객체에 대한 시각 자극 패턴을 할당하여 투사하는 단계; (b) 사용자의 상기 투사된 시각 자극 패턴의 응시에 따른 뇌파 신호를 측정하는 단계; (c) 상기 측정된 뇌파 신호를 분석하는 단계; 및 (d) 상기 분석 결과에 따라 제어 대상 객체를 선택 또는 제어하는 단계를 포함하는 시각 유발 전위를 이용한 객체 제어 방법이 제공될 수 있다.
상기 (a) 단계는, 상기 제어 대상 객체가 복수인 경우, 제어 대상 객체에 따라 상이한 주파수를 발생시키는 시각 자극 패턴을 할당하여 투사할 수 있다.
상기 시각 자극 패턴은 30Hz 이상의 고주파를 발생시킨다.
상기 제어 대상 객체의 위치에 직접적으로 대응하여 상기 할당된 시각 자극 패턴을 투사시킨다.
상기 (a) 단계는, 상기 투사형 디스플레이 장치의 디스플레이상의 특정 위치에 상기 제어 대상 객체에 대응하여 할당된 시각 자극 패턴을 투사시킬 수 있다.
상기 (a) 단계는, 사용자의 인식도 높은 주파수에 대한 우선 순위를 고려하여 시각 자극 패턴을 할당할 수 있다.
본 발명의 다른 측면에 따르면, HUP 또는 HMP와 연동되어 사용자의 환경(예를 들어, 시야)에 따라 유동적으로 시각 자극 패턴을 할당하고, 사용자의 뇌파를 추출, 분석하여 사용자의 의도에 따른 시각 자극 패턴에 상응하는 객체를 제어하도록 할 수 있는 장치가 제공된다.
본 발명의 일 실시예에 따르면, 투사형 디스플레이 장치와 연동되어 객체를 제어하는 장치에 있어서, 상기 투사형 디스플레이 장치의 디스플레이를 통해 제어 대상 객체에 대한 시각 자극 패턴을 할당하여 투사하는 시각 자극 할당부; 사용자의 상기 투사된 시각 자극 패턴의 응시에 따른 뇌파 신호를 측정하는 뇌파 측정부; 상기 측정된 뇌파 신호를 분석하는 분석부; 및 상기 분석부에 의해 분석된 분석 결과에 따라 제어 대상 객체를 선택 또는 제어하는 단계를 포함하는 시각 유발 전위를 이용한 객체 제어 장치가 제공될 수 있다.
상기 시각 자극 할당부는, 상기 제어 대상 객체가 복수인 경우, 제어 대상 객체에 따라 상이한 주파수를 발생시키는 시각 자극 패턴을 할당하여 투사할 수 있다.
상기 시각 자극 패턴은 30Hz 이상의 고주파를 발생시킨다.
상기 시각 자극 할당부는, 상기 상기 제어 대상 객체의 위치에 직접적으로 대응하여 상기 할당된 시각 자극 패턴을 투사시킬 수 있다.
상기 시각 자극 할당부는, 상기 투사형 디스플레이 장치의 디스플레이상의 특정 위치에 상기 제어 대상 객체에 대응하여 할당된 시각 자극 패턴을 투사시킬 수 있다.
본 발명의 일 실시예에 따른 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 그 장치를 제공함으로써, HMD(Head Mounted Display) 또는 HUP(Head Up Display) 형태의 투사형 디스플레이 장치와 연동하여 사용자의 시야에 따라 유동적으로 시각 자극 위치를 할당하여 기기를 제어할 수 있다.
또한, 본 발명은 사용자의 시선에서 자유로운 인테페이싱이 가능한 이점이 있다.
또한, 본 발명은 시각 자극에 30Hz 이상의 고주파를 이용하므로 별도의 잡음제거 필터를 구비할 필요가 없는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 시각 유발 전위를 이용한 객체 제어 시스템의 구성을 개략적으로 도시한 도면.
도 2 및 도 3은 본 발명의 일 실시예에 따른 투사형 디스플레이 장치를 통해 시각 자극을 할당 및 투사한 일 예를 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 시각 유발 전위를 이용하여 객체 제어 장치의 내부 구성을 개략적으로 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 사용자의 신체 일 영역에 복수의 전극을 배치/부착한 일 예를 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 투사형 디스플레이 장치와 연동되어 시각 유발 전위를 이용한 객체 제어 방법을 나타낸 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 HUP 또는 HMP와 연동되어 사용자의 환경(예를 들어, 시야)에 따라 유동적으로 시각 자극 패턴을 할당 및 투사하고, 사용자의 뇌파를 추출, 분석하여 사용자의 의도에 따른 시각 자극 패턴에 상응하는 객체(기기)를 제어하도록 할 수 있는 발명에 관한 것이다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 시각 유발 전위를 이용한 기기 제어 시스템의 구성을 개략적으로 도시한 도면이고, 도 2 및 도 3은 본 발명의 일 실시예에 따른 투사형 디스플레이 장치를 통해 시각 자극을 할당 및 투사한 일 예를 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 시각 유발 전위를 이용한 객체 제어 시스템은 투사형 디스플레이 장치(110) 및 객체 제어 장치(120)를 포함하여 구성된다.
투사형 디스플레이 장치(110)는 사용자의 시야에 따른 전방의 영상을 획득하고, 이를 디스플레이 하기 위한 수단이다.
객체 제어 장치(120)는 투사형 디스플레이 장치(110)에 적어도 하나의 제어 대상 객체에 상응하는 시각 자극 패턴을 할당 및 투사하고, 투사형 디스플레이 장치(110)를 통해 투사된 시각 자극 패턴 중 어느 하나를 사용자가 응시하는 경우, 뇌파 신호를 추출, 분석하여 사용자의 의도에 따른 제어 대상 객체를 선택 또는 제어하기 위한 수단이다.
여기서, 각 제어 대상 객체는 각각의 개별적인 전자 기기일 수 있다. 물론, 각 객체는 차량 내부에 위치되는 경우, 각 차량 또는 차량 내부에 탑재된 주변 기기일 수도 있다.
예를 들어, 도 2를 참조하면, 사용자가 주방에 위치하고 있다고 가정하자. 각 제어 대상 객체는 주방내에 위치한 전자 기기로, 예를 들어, 조명, 가스후드, 가스렌즈, 커피포트, 전기밥솥 등일 수 있다.
주방내에 위치하는 다수의 제어 대상 객체 중 투사형 디스플레이 장치(110)를 통해 시각 자극 패턴을 할당할 제어 대상 객체는 사용자에 의해 유동적으로 선택될 수 있다.
다른 예를 들어, 사용자가 차량을 운전중이라고 가정하자. 도 3을 참조하면, 각 제어 대상 객체는 차량 운전 중 차량을 제어하거나 차량내의 탑재된 주변 기기일 수 있다.
이와 같은 경우, 차량 내의 탑재된 주변 기기에 직접적으로 시각 자극 패턴을 할당할 수 없으므로, 투사형 디스플레이 장치(110)의 디스플레이상에 전방 시야를 방해하지 않는 각 위치에 각 제어 대상 객체에 상응하는 시각 자극 패턴을 각각 할당 및 투사시킬 수 있다.
객체 제어 장치(120)는 투사형 디스플레이 장치(110)를 통해 투사된 객체에 상응하여 시각 자극 위치를 각각 할당하고, 사용자의 뇌파 신호를 분석하여 사용자의 의도를 판별하며, 판별된 신호를 이용하여 상응하는 시각 자극 위치에 대응하는 객체를 제어할 수 있다. 이에 대해서는 하기에서 도 4를 참조하여 보다 상세히 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 시각 유발 전위를 이용하여 객체 제어 장치의 내부 구성을 개략적으로 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 사용자의 신체 일 영역에 복수의 전극을 배치/부착한 일 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 시각 유발 전위를 이용한 객체 제어 장치(120)는 통신부(410), 시각 자극 할당부(415), 뇌파 측정부(420), 분석부(425), 메모리(430) 및 제어부(435)를 포함하여 구성된다.
통신부(410)는 통신망을 통해 다른 장치들(예를 들어, 투사형 디스플레이 장치(110))와 데이터를 송수신하기 위한 수단이다.
예를 들어, 통신부(410)는 투사형 디스플레이 장치(110)로부터 전방에 대한 영상(이하, 전방 영상이라 칭하기로 함)을 수신할 수 있다.
시각 자극 할당부(415)는 투사형 디스플레이 장치(110)를 통해 각 객체에 대응하는 시각 자극을 위한 시각 자극 패턴을 할당하고, 이를 투사형 디스플레이 장치(110)를 통해 투사시키기 위한 수단이다.
여기서, 시각 자극 패턴은 각 객체에 따라 안정 상태 시각 유발 전위를 발생할 수 있는 주파수를 갖는 다양한 패턴을 포함할 수 있다. 즉, 시각 자극 할당부(415)는 각 객체에 따라 서로 다른 주파수를 할당할 수 있다. 이때. 주파수는 30Hz 이상의 고주파일 수 있다.
안정-상태 시각 유발 전위법은 특정 주파수를 가진 외부의 시각 자극에 대한 자연스러운 반응의 뇌 신호로, 주파수 비교 분석으로 비교적 사용자들의 개개인적인 특성에 따르는 변수가 적은 이점이 있다.
또한, 뇌파 측정은 비침습적 방식으로 측정될 수 있다.
일반적으로 뇌파의 주파수에 따른 대역별 특성, 시간 영역에서의 특성 등은 사람의 어떤 뇌가 기능을 하고 있는지에 따라 변화하게 되며, 주파수와 전압의 범위에 따라 델타, 쎄타, 알파, 베타, 감마파 등으로 나눠진다.
뇌파의 각 주파수별 특징은 아래와 같다.
델타(δ)파는 0.1~3Hz의 주파수와 20~200μV의 진폭을 보이며, 정상인의 깊은 수면 상태나 신생아들로부터 주로 나타난다.
쎄타(θ)파는 4~7Hz의 주파수와 20~100μV의 진폭을 보이며, 정서적으로 안정된 상태나 수면상태에서 나타난다.
알파(α)파는 8~13Hz의 주파수와 20~60μV의 진폭을 보이며, 주로 두정부와 후두부 지역에서 발견된다. 또한, 알파(α)는 긴장이 이완된 안정되고 편안한 상태, 폐안시 나타나며, 눈을 뜨거나 흥분시 억제되는 특성이 있다.
베타(β)파는 13~30Hz의 주파수와 2~20μV의 진폭을 보이며, 전두부에서 많이 나타난다. 베타(β)파는 의식이 있는 상태 및 활동시나 집중하여 문제를 해결하는 경우 주로 나타난다.
감마(γ)파는 30~50Hz의 주파수와 2~20μV의 진폭을 보이며, 강한 흥분 상태 또는 고도의 인지 정보 처리시 나타난다.
본 발명의 일 실시예에 따르면, 외부 환경의 잡음 또는 사용자의 운동 전위와 관련하여 대부분 30Hz의 주파수 대역을 넘지 않으므로 30Hz 이상의 고주파의 시각 자극을 이용하여 외부 환경으로부터 강인한 신호 추출이 가능한 이점이 있다.
이에 따라, 본 발명의 일 실시예에 따른 시각 자극 할당부(415)는 각 객체에 상응하여 30Hz 이상의 상이한 고주파를 포함하는 시각 자극 패턴을 각각 할당하고, 투사형 디스플레이 장치(110)의 디스플레이를 통해 각 객체에 대응하여 할당된 시각 자극 패턴을 투사시킬 수 잇다.
일반적으로 뇌파는 다양한 잡음 성분을 포함한다. 잡음 성분의 종류는 근전도(EMG: electromyogram), 눈의 깜빡임, 안구의 움직임(EOG: electrooculogram) 성분 등이 있다. 이러한 잡음은 전술한 바와 같이 일반적으로 저주파 특성을 갖는다. 이에 따라, 본 발명의 일 실시예에 따른 시각 자극은 30Hz 이상의 고주파를 할당하는 것으로 별도의 잡음 제거 필터가 구비할 필요가 없는 이점이 있다.
다른 예를 들어, 본 발명의 일 실시예에 따른 시각 자극 할당부(415)는 가상 객체에 대응하는 시각 자극 패턴을 할당하여 이를 투사형 디스플레이 장치(110)를 통해 투사시킬 수도 있다.
또한, 시각 자극 할당부(415)는 시각 자극 패턴 할당시 우선 순위를 고려하여 각 객체에 대응하는 시각 자극 패턴을 할당할 수도 있다. 이때, 시각 자극 패턴에 대한 우선 순위는 사용자의 안정적인 뇌파를 찾기 위한 훈련 과정 중 우선순위평가를 통해 설정될 수도 있다.
이로 인해, 시각 자극 할당부(415)는 각 제어 대상 객체에 대해 우선순위가 높은 시각 자극 패턴들을 각 제어 대상 객체에 할당하여 투사형 디스플레이 장치(110)를 통해 투사시킬 수도 있다.
또한, 시각 자극 할당부(415)를 통해 할당되는 시각 자극 패턴의 위치 및 수는 제어 대상 객체의 위치 및 수에 따라 유동적으로 할당될 수 있음은 당연하다.
예를 들어, 도 2를 참조하면, 시각 자극 할당부(415)는 도 2의 주방에 배치된 각 제어 대상 객체(예를 들어, 전등, 커피포트, 가스렌즈, 가스후드, 전기밥솥 등)의 위치에 따라 시각 자극 위치를 각각 상이하게 할당하고, 투사형 디스플레이 장치(110)를 통해 투사시킬 수도 있다.
다른 예를 들어, 도 3에 도시된 바와 같이, 차량을 운전하는 도중에는 사용자가 전방을 응시해야하므로, 시각 자극 할당부(415)는 직접적인 제어 대상 객체가 아닌 직접적인 제어 대상 객체에 대응하여 가상의 위치에 시각 자극 패턴을 각각 할당하여 투사시킬 수도 있다.
뇌파 측정부(420)는 사용자의 투사형 디스플레이 장치(110)를 통해 투사된 시각 자극 패턴을 응시함에 따른 뇌파 신호를 측정하기 위한 수단이다.
예를 들어, 뇌파 측정부(110)는 사용자의 신체 일 영역(예를 들어, 두피)에 배치/부착된 복수의 전극을 통해 뇌파를 측정할 수 있다. 도 5에는 사용자의 신체 일 영역에 복수의 전극을 배치/부착한 일 예가 도시되어 있다. 도 5와 같이 복수의 전극은 10-20 전극 배치 방법에 따라 사용자의 신체 일 영역에 배치 부착된다.
즉, 뇌파 측정부(420)는 투사형 디스플레이 장치(110)에 투사된 시각 자극 패턴 들 중 어느 하나를 사용자가 응시함에 따른 뇌파 신호를 측정하여 분석부(425)로 출력할 수 있다.
분석부(425)는 뇌파 측정부(420)를 통해 측정된 뇌파 신호를 분석하기 위한 수단이다.
예를 들어, 분석부(425)는 뇌파 측정부(420)를 통해 측정된 뇌파 신호를 분석하여 사용자가 응시한 시각 자극 패턴을 인식할 수 있다. 이미 전술한 바와 같이, 각 제어 대상 객체에 대응하는 각각의 시각 자극 패턴은 각각 상이한 주파수를 발생시키므로, 분석부(425)는 측정된 뇌파 신호를 분석하여 사용자의 응시 의도에 따른 시각 자극 패턴을 인식할 수 있다.
메모리(430)는 본 발명의 일 실시예에 따른 객체 제어 장치(120)를 운용하기 위해 필요한 다양한 어플리케이션, 알고리즘 등을 저장한다. 또한, 메모리(430)는 시각 자극 할당부(415)를 통해 각 제어 대상 객체에 상응하여 할당된 시각 자극 패턴을 대응시켜 저장할 수 있다.
제어부(435)는 본 발명의 일 실시예에 따른 객체 제어 장치(120)의 내부 구성 요소들(통신부(410), 시각 자극 할당부(415), 뇌파 측정부(420), 분석부(425), 메모리(430) 등)을 제어하기 위한 수단이다.
도 6은 본 발명의 일 실시예에 따른 투사형 디스플레이 장치와 연동되어 시각 유발 전위를 이용한 객체 제어 방법을 나타낸 순서도이다. 이하에서는 객체 제어 장치(120)가 투사형 디스플레이 장치(110)와 유무선 통신을 통해 연동되어 있는 것을 가정하여 설명하기로 한다. 물론, 본 명세서에서는 투사형 디스플레이 장치(110)와 객체 제어 장치(120)가 각각의 독립적인 장치인 것을 가정하고 있으나, 본 발명의 일 실시예에 따른 객체 제어 장치(120)는 투사형 디스플레이 장치(110)와 하나의 모듈로 구성될 수도 있음은 당연하다.
단계 610에서 객체 제어 장치(120)는 투사형 디스플레이 장치(110)를 통해 각각의 제어 대상 객체에 대응하여 시각 자극 패턴을 할당하고, 할당된 시각 자극 패턴을 투사형 디스플레이 장치(110)를 통해 투사시킨다. 이미 전술한 바와 같이, 시각 자극 패턴은 잡음 성분에서 주로 발생하는 저주파가 아닌 30Hz 이상의 고주파를 발생시키는 패턴일 수 있다.
이로 인해, 사용자는 투사형 디스플레이 장치(110)를 장착한 상황에서 전방을 응시하는 경우, 각 제어 대상 객체에 상응하는 시각 자극 패턴이 투사되어 이를 응시하게 된다.
단계 615에서 객체 제어 장치(120)는 사용자가 투사형 디스플레이 장치(110)를 통해 투사된 시각 자극 패턴들 중 어느 하나를 응시함에 따른 뇌파 신호를 측정한다.
단계 620에서 객체 제어 장치(120)는 측정된 뇌파 신호를 분석한다.
예를 들어, 객체 제어 장치(120)는 측정된 뇌파 신호를 분석하여 사용자가 응시한 시각 자극 패턴을 인식할 수 있다. 이미 전술한 바와 같이, 각 제어 대상 객체에 대응하는 각각의 시각 자극 패턴은 각각 상이한 주파수를 발생시키므로, 객체 제어 장치(120)는 측정된 뇌파 신호를 분석하여 사용자의 응시 의도에 따른 시각 자극 패턴을 인식할 수 있다. 이에 따라, 분석 결과는 사용자의 응시 의도에 따른 시각 자극 패턴을 포함할 수 있다.
단계 625에서 객체 제어 장치(120)는 뇌파 신호의 분석 결과에 따른 제어 대상 객체를 선택 또는 제어한다.
예를 들어, 도 2에 도시된 바와 같이, 실내의 주방에 사용자가 투사형 디스플레이 장치(110)를 장착한 상태에서 위치하고 있다고 가정하자. 이러한 경우, 장애인 또는 사지마비 환자는 투사형 디스플레이 장치(110)를 통해 각 제어 대상 객체에 상응하여 투사된 시각 자극 패턴을 응시하는 것만으로 원하는 제어 대상 객체를 선택 또는 제어할 수 있다.
다른 예를 들어, 도 3과 같이 사용자가 차량을 운전하고 있는 상태라고 가정하자. 운전중 사용자는 전방을 응시해야하므로, 투사형 디스플레이 장치(110)를 착용하고 있는 상태에서, 투사형 디스플레이 장치(110)를 통해 각 제어 대상 객체에 상응하여 투사형 디스플레이 장치(110)의 디스플레이상의 가상 위치에 시각 자극 패턴을 할당 및 투사하였다고 가정하자. 이와 같은 경우, 사용자가 투사형 디스플레이 장치(110)를 통해 투사된 가상 위치의 시각 자극 패턴을 응시하는 경우, 가상 위치에 상응하는 제어 대상 객체로 제어 정보를 전달할 수 있다. 이로 인해, 사용자가 운전중 전방을 응시한 상태에서 차량내의 볼륨 조절, 사이드 미러 조정 등과 같은 주변 기기 제어가 가능하도록 하여 안전 운전에 기여할 수 있는 이점이 있다.
또 다른 예를 들어, 사용자가 자전거를 타고 있는 상황에서 스마트폰을 조작해야 하는 상황을 가정하자. 이와 같은 경우, 사용자는 스마트폰 조작을 위해 자전거를 멈춰야만 하는 불편함이 있다. 그러나 투사형 디스플레이 장치를 통해 스마트폰 조작을 위한 인터페이스에 상응하는 시각 자극 패턴을 할당 및 투사하고, 사용자는 투사형 디스플레이 장치(110)를 통해 투사된 시각 자극 패턴을 응시하는 것만으로 간단하게 스마트폰을 조작할 수 있다.
한편, 본 발명의 실시예에 따른 투사형 디스플레이 장치를 통해 각 제어 대상 객체에 대응하여 시각 자극 패턴을 할당 및 투사한 후 사용자가 응시한 시각 자극 패턴을 인식하여 제어 대상 객체를 선택 또는 제어할 수 있는 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
120: 객체 제어 장치
410: 통신부
415: 시각 자극 할당부
420: 뇌파 측정부
425: 분석부
430: 메모리
435: 제어부

Claims (12)

  1. 투사형 디스플레이 장치와 연동되어 객체를 제어하는 방법에 있어서,
    (a) 상기 투사형 디스플레이 장치의 디스플레이를 통해 제어 대상 객체의 위치에 직접적으로 대응하여 상기 제어 대상 객체에 대한 시각 자극 패턴을 할당하여 투사하는 단계;
    (b) 사용자의 상기 투사된 시각 자극 패턴의 응시에 따른 뇌파 신호를 측정하는 단계;
    (c) 상기 측정된 뇌파 신호를 분석하는 단계; 및
    (d) 상기 분석 결과에 따라 제어 대상 객체를 선택 또는 제어하는 단계를 포함하는 시각 유발 전위를 이용한 객체 제어 방법.
  2. 제1 항에 있어서,
    상기 (a) 단계는,
    상기 제어 대상 객체가 복수인 경우, 제어 대상 객체에 따라 상이한 주파수를 발생시키는 시각 자극 패턴을 할당하여 투사하는 것을 특징으로 하는 시각 유발 전위를 이용한 객체 제어 방법.
  3. 제1 항에 있어서,
    상기 시각 자극 패턴은 30Hz 이상의 고주파를 발생시키는 것을 특징으로 하는 시각 유발 전위를 이용한 객체 제어 방법.
  4. 삭제
  5. 투사형 디스플레이 장치와 연동되어 객체를 제어하는 방법에 있어서,
    (a) 상기 투사형 디스플레이 장치의 디스플레이상의 특정 위치에 제어 대상 객체에 대응하는 시각 자극 패턴을 할당하여 투사하는 단계;
    (b) 사용자의 상기 투사된 시각 자극 패턴의 응시에 따른 뇌파 신호를 측정하는 단계;
    (c) 상기 측정된 뇌파 신호를 분석하는 단계; 및
    (d) 상기 분석 결과에 따라 제어 대상 객체를 선택 또는 제어하는 단계를 포함하는 시각 유발 전위를 이용한 객체 제어 방법.
  6. 제1 항 또는 제5 항에 있어서,
    상기 (a) 단계는, 상기 사용자의 뇌파에 기반한 우선 순위를 고려하여 상기 제어 대상 객체에 대한 시각 자극 패턴을 할당하는 것을 특징으로 하는 시각 유발 전위를 이용한 객체 제어 방법.
  7. 제1 항 내지 제3항, 제5 항 중 어느 하나의 항에 따른 투사형 디스플레이 장치와 연동되어 객체를 제어하는 방법을 수행하기 위한 프로그램을 기록한 기록 매체.
  8. 투사형 디스플레이 장치와 연동되어 객체를 제어하는 장치에 있어서,
    상기 투사형 디스플레이 장치의 디스플레이를 통해 제어 대상 객체의 위치에 직접적으로 대응하여 상기 제어 대상 객체에 대한 시각 자극 패턴을 할당하여 투사하는 시각 자극 할당부;
    사용자의 상기 투사된 시각 자극 패턴의 응시에 따른 뇌파 신호를 측정하는 뇌파 측정부;
    상기 측정된 뇌파 신호를 분석하는 분석부; 및
    상기 분석부에 의해 분석된 분석 결과에 따라 제어 대상 객체를 선택 또는 제어하는 단계를 포함하는 시각 유발 전위를 이용한 객체 제어 장치.
  9. 제8 항에 있어서,
    상기 시각 자극 할당부는,
    상기 제어 대상 객체가 복수인 경우, 제어 대상 객체에 따라 상이한 주파수를 발생시키는 시각 자극 패턴을 할당하여 투사하는 것을 특징으로 하는 시각 유발 전위를 이용한 객체 제어 장치.
  10. 제8 항에 있어서,
    상기 시각 자극 패턴은 30Hz 이상의 고주파를 발생시키는 것을 특징으로 하는 시각 유발 전위를 이용한 객체 제어 장치.
  11. 삭제
  12. 투사형 디스플레이 장치와 연동되어 객체를 제어하는 장치에 있어서,
    상기 투사형 디스플레이 장치의 디스플레이상의 특정 위치에 제어 대상 객체에 대한 시각 자극 패턴을 할당하여 투사하는 시각 자극 할당부;
    사용자의 상기 투사된 시각 자극 패턴의 응시에 따른 뇌파 신호를 측정하는 뇌파 측정부;
    상기 측정된 뇌파 신호를 분석하는 분석부; 및
    상기 분석부에 의해 분석된 분석 결과에 따라 제어 대상 객체를 선택 또는 제어하는 단계를 포함하는 시각 유발 전위를 이용한 객체 제어 장치.

KR1020130048614A 2013-04-30 2013-04-30 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치 KR101465878B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130048614A KR101465878B1 (ko) 2013-04-30 2013-04-30 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130048614A KR101465878B1 (ko) 2013-04-30 2013-04-30 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140129820A KR20140129820A (ko) 2014-11-07
KR101465878B1 true KR101465878B1 (ko) 2014-11-26

Family

ID=52291723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130048614A KR101465878B1 (ko) 2013-04-30 2013-04-30 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101465878B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056287A (ko) 2017-11-16 2019-05-24 고려대학교 산학협력단 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법
KR20210101959A (ko) * 2020-02-11 2021-08-19 고려대학교 산학협력단 뇌-컴퓨터 인터페이스에 기초하여 색 자극으로부터 사용자의 의도를 판단하는 스마트 제어 장치 및 그 제어 방법
WO2023222562A1 (fr) * 2022-05-17 2023-11-23 Orange Projecteur, gestionnaire d'objets connectes, interface neuronale directe, equipement electronique connecte, procede d'initialisation de projecteur et procede de contrôle d'un equipement electronique

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648017B1 (ko) 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
CN115309272B (zh) * 2022-10-11 2023-03-24 季华实验室 一种多智能体控制方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130002590A (ko) * 2011-06-29 2013-01-08 한양대학교 산학협력단 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130002590A (ko) * 2011-06-29 2013-01-08 한양대학교 산학협력단 안정상태 시각유발전위를 이용한 ｑｗｅｒｔｙ 타입의 문자 입력 인터페이스 장치 및 문자 입력 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056287A (ko) 2017-11-16 2019-05-24 고려대학교 산학협력단 시각 자극 기반의 뇌-컴퓨터 인터페이스 장치 및 그 정보 처리 방법
KR20210101959A (ko) * 2020-02-11 2021-08-19 고려대학교 산학협력단 뇌-컴퓨터 인터페이스에 기초하여 색 자극으로부터 사용자의 의도를 판단하는 스마트 제어 장치 및 그 제어 방법
KR102396520B1 (ko) * 2020-02-11 2022-05-11 고려대학교 산학협력단 뇌-컴퓨터 인터페이스에 기초하여 색 자극으로부터 사용자의 의도를 판단하는 스마트 제어 장치 및 그 제어 방법
WO2023222562A1 (fr) * 2022-05-17 2023-11-23 Orange Projecteur, gestionnaire d'objets connectes, interface neuronale directe, equipement electronique connecte, procede d'initialisation de projecteur et procede de contrôle d'un equipement electronique
FR3135806A1 (fr) * 2022-05-17 2023-11-24 Orange Projecteur, gestionnaire d’objets connectés, Interface neuronale directe, equipement electronique connecté, procédé d’initialisation de projecteur et procéde de contrôle d’un equipement electronique

Also Published As

Publication number Publication date
KR20140129820A (ko) 2014-11-07

Similar Documents

Publication Publication Date Title
Frantzidis et al. Toward emotion aware computing: an integrated approach using multichannel neurophysiological recordings and affective visual stimuli
Lee et al. An SSVEP-actuated brain computer interface using phase-tagged flickering sequences: a cursor system
KR102333704B1 (ko) 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
Lesenfants et al. An independent SSVEP-based brain–computer interface in locked-in syndrome
US11554244B2 (en) Systems and methods for multi-modal and non-invasive stimulation of the nervous system
KR101465878B1 (ko) 안정-상태 시각 유발 전위를 이용한 객체 제어 방법 및 장치
US11590313B2 (en) Smart relaxation mask
Wascher et al. Neuroergonomics on the go: an evaluation of the potential of mobile EEG for workplace assessment and design
Surangsrirat et al. Analysis of the meditation brainwave from consumer EEG device
US20180333066A1 (en) Apparatus for measuring electroencephalogram, system and method for diagnosing and preventing dementia
US20170215757A1 (en) Physiological signal detection and analysis systems and devices
US12042296B2 (en) Human-computer interactive device and method
Kanayama et al. Top down influence on visuo-tactile interaction modulates neural oscillatory responses
Kosmyna et al. AttentivU: Designing EEG and EOG compatible glasses for physiological sensing and feedback in the car
KR20190020418A (ko) 가상현실을 이용한 심리 모니터링 시스템 및 이를 이용한 심리치료 시스템
Liu et al. Measuring visually induced motion sickness using wearable devices
CN113646845A (zh) 用于基于诱发响应量化来递送感觉模拟的方法和***
Zhang et al. Design and implementation of an asynchronous BCI system with alpha rhythm and SSVEP
EP3716016B1 (en) Method and brain-computer interface system for recognizing brainwave signals
Maggi et al. A four command BCI system based on the SSVEP protocol
JP2019521749A (ja) 睡眠中の脳活動を監視することなく睡眠必要性消失を判定するシステムおよび方法
Koo et al. SSVEP response on Oculus Rift
KR101693716B1 (ko) 뇌파를 이용한 졸음정도 및 집중정도의 판단 방법 및 이를 이용한 집중력저감 알림 시스템
Zao et al. 37‐4: Invited Paper: Intelligent Virtual‐Reality Head‐Mounted Displays with Brain Monitoring and Visual Function Assessment
Andreoni et al. Human machine interface for healthcare and rehabilitation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 5