KR101028949B1 - 신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치 - Google Patents
신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치 Download PDFInfo
- Publication number
- KR101028949B1 KR101028949B1 KR1020080071713A KR20080071713A KR101028949B1 KR 101028949 B1 KR101028949 B1 KR 101028949B1 KR 1020080071713 A KR1020080071713 A KR 1020080071713A KR 20080071713 A KR20080071713 A KR 20080071713A KR 101028949 B1 KR101028949 B1 KR 101028949B1
- Authority
- KR
- South Korea
- Prior art keywords
- brain activity
- photons
- user
- intention
- cerebral cortex
- Prior art date
Links
- 230000007177 brain activity Effects 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims description 52
- 230000001537 neural effect Effects 0.000 title claims description 26
- 230000008859 change Effects 0.000 claims abstract description 74
- 210000003710 cerebral cortex Anatomy 0.000 claims abstract description 66
- 230000001678 irradiating effect Effects 0.000 claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 210000004556 brain Anatomy 0.000 claims description 27
- 238000001228 spectrum Methods 0.000 claims description 18
- 238000001069 Raman spectroscopy Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000001356 surgical procedure Methods 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 2
- 210000005036 nerve Anatomy 0.000 abstract description 2
- 210000004761 scalp Anatomy 0.000 description 42
- 230000006870 function Effects 0.000 description 31
- 238000005259 measurement Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 210000001519 tissue Anatomy 0.000 description 11
- 239000002858 neurotransmitter agent Substances 0.000 description 8
- 210000003625 skull Anatomy 0.000 description 8
- 210000005013 brain tissue Anatomy 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 239000013307 optical fiber Substances 0.000 description 6
- 230000010287 polarization Effects 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 230000008035 nerve activity Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000001237 Raman spectrum Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 210000000578 peripheral nerve Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/21—Polarisation-affecting properties
- G01N21/23—Bi-refringence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/47—Scattering, i.e. diffuse reflection
- G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Neurology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physiology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurosurgery (AREA)
- Psychology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
뇌 활동을 분석하여 사용자의 의도를 판단하는 뇌 활동 측정 장치; 및 상기 뇌 활동 측정 장치에서 판단한 사용자가 의도하는 기능을 실행하고 그 결과를 출력하는 인터페이스 부를 포함하고, 상기 뇌 활동 측정 장치는 광자를 대뇌피질에 조사하는 광 조사부; 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 물리량의 변화를 검출하는 광 검출부; 및 상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하는 신경 유저 인터페이스 장치가 개시된다.
본 발명에 따르면, 종래의 기술에서 실시한 수술에 의한 신체 침투없이 간편하게 뇌 활동을 판단하여 사용자의 의도를 판단할 수 있고, 이를 기초로 하여 별도의 입력 수단 없이 사용자가 원하는 컴퓨터 기능을 실행할 수 있다.
신경 신호, 뇌 활동, 유저 인터페이스
Description
본 발명은 신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치에서, 광자의 물리량의 변화를 기초로 하여, 종래의 수술에 의한 방법을 사용하지 않고 뇌 활동을 측정하고, 측정된 뇌 활동을 기초로 하여 사용자의 의도를 판단하는 뇌 활동 측정 장치, 판단된 사용자의 의도에 따라 컴퓨터의 기능을 실행하고 그 결과를 영상 또는 음성으로 외부에 표현하는 신경 유저 인터페이스 장치 및 방법에 관한 것이다.
인간이 정보를 다루는 방법은 인류 역사에 따라 많은 발전을 거쳐 왔다. 정보화 시대를 거치면서 정보를 다루는 가장 큰 도구는 컴퓨터가 되었고, 컴퓨터를 이용하는 방법론 자체라 할 수 있는 유저 인터페이스 (user interface; 이하 UI 라고 한다) 역시 발전을 거듭해왔다. 초기 UI는 문자 유저 인터페이스(text user interface)였고, 대표적인 것이 도스(DOS) 운영체제의 UI였다. 이후, 마우스와 같은 포인팅 장치가 개발되면서 그래픽 유저 인터페이스(graphic user interface; 이하 GUI 라고 한다)가 대세를 이루었고, 현재까지 널리 사용되는 마이크로소프트 윈 도우(MS Windows)의 UI가 이에 해당한다. 그러나, 인간의 두뇌는 아이콘과 문자로 나열된 정보를 탐색하는 데 최적화되어 있지 않다. 이에 최근에는 인간의 생각하는 방식에 가까운 UI의 필요성이 대두되었고, 그러한 차세대 UI의 개발을 위해 뇌-컴퓨터 접속기술(brain-computer interface; 이후 BCI라고 한다)이 하나의 가능성으로 연구되고 있다. 그런데, 기존의 BCI는 두가지 단점을 갖고 있다.
첫째, 인간의 뇌 활동을 통해 기존의 GUI를 사용하려고 한다. 앞에서도 언급했듯이, GUI는 인간의 뇌 활동 방식에 적합하지 않기 때문에 새로운 방식의 컴퓨터 유저인터페이스가 필요하다.
둘째, 기존의 대부분 BCI에서는 뇌 활동을 측정하고자 뇌에 전극을 꼽아 뇌의 신경 신호를 검출하고 있다. 이러한 종래 기술은 수술이 필요하고, 인간의 뇌가 외부에 노출될 우려가 있어서 사용자의 건강에 위험하고, 전극을 사용하므로 영구적으로 뇌 활동을 측정할 수 없다.
따라서 종래의 기술을 대체할 수 있는, 수술이 필요하지 않고 인체에 위험하지 않은 방법이 제안되어야 한다. 최근 혈류랑의 변화 (hemodynamics)를 통해 뇌 활동을 측정하는 광학적 방법이 제시되었으나, 혈류량의 변화는 뇌 활동 이후 수 초 정도의 시간 지연이 있기 때문에 컴퓨터 유저 인터페이스에 활용되기에는 적합하지 않다. 따라서 인체의 외부에서 뇌 활동을 인식할 수 있고, 뇌 활동에 기초한 사용자의 의도를 판단할 수 있는 수단 또는 방법이 제안되어야 한다. 그리고 사용자의 의도대로 컴퓨터 기능을 실행하고 그 결과를 외부로 표현할 수 있는 수단 또는 방법이 제안되어야 한다.
본 발명은 상기와 같은 종래 기술을 극복하기 위하여 제안된 것으로써 신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치에 있어, 사용자의 의도를 수술에 의한 신체 침투 없이 광자-조직 상호작용에 의하여 판단하고, 판단한 사용자의 의도대로 컴퓨터 기능을 실행하고 그 결과를 출력 수단으로 영상 또는 음성으로 출력하는 신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 뇌 활동 측정 장치는, 광자를 대뇌피질에 조사하는 광 조사부; 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 물리량의 변화를 검출하는 광 검출부; 및 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하고, 분석부는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 뇌 활동을 분석하여 사용자의 의도를 판단한다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 신경 유저 인터페이스 장치는, 뇌 활동을 분석하여 사용자의 의도를 판단하는 뇌 활동 측정 장치; 및 뇌 활동 측정 장치에서 판단한 사용자가 의도하는 기능을 실행하고 그 결과를 출력하는 인터페이스 부를 포함하고, 뇌 활동 측정 장치는 광자를 대뇌피질에 조사 하는 광 조사부; 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 물리량의 변화를 검출하는 광 검출부; 및 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하며, 분석부는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단한다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 신경 유저 인터페이스 방법은, 광자를 대뇌피질에 조사하는 단계; 광자와 대뇌피질 간의 상호작용을 하는 단계; 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하는 단계; 검출된 광자의 물리량을 분석하여 사용자의 의도를 판단하는 단계; 판단한 사용자의 의도를 실행하기 위한 명령어 데이터를 생성하는 단계; 명령어 데이터를 이용하여 사용자가 의도하는 기능을 실행하는 단계; 및 실행하는 단계의 결과를 출력하는 단계를 포함한다.
본 발명에 따르면, 종래의 기술에서 실시한 수술에 의한 신체 침투없이 간편하고 향상된 속도로 뇌 활동을 판단하여 사용자의 의도를 판단할 수 있고, 이를 기초로 하여 별도의 입력 수단 없이 사용자가 원하는 컴퓨터 기능을 실행하고 그 결과를 출력 수단으로 표현할 수 있다. 나아가, 현재의 GUI를 넘어 전혀 새로운 컴퓨터 기능을 개발하여, 인간이 정보를 다루는 방법에 획기적인 변화를 가져올 수 있다.
본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 명확하게 하기 위하여 생략한다.
본 발명을 설명함에 있어서 몇 가지 용어를 정리하도록 한다.
본 발명에 있어 신경 유저 인터페이스(Neural User Interface; 이하 NUI 라 한다)란, 인간의 뇌 활동에 근거하여 인간의 의도 또는 행동을 외부의 장치와 연결하는 것을 의미한다. 다시 말하면, 사용자가 원하는 컴퓨터 기능을 기존의 입력 수단 없이 실행하고 그 결과를 외부의 장치에 표현하며, 사용자가 자신의 의도가 제대로 실행되었는지를 확인하는 것을 말한다. 다른 측면에서는, 사용자는 물리적은 신체의 움직임 없이도 NUI를 이용하여 자신의 행동이나 생각을 표현할 수 있는 것을 말한다. 여기서 외부의 장치라 함은 LCD 모니터와 같은 표시장치, 스피커 등의 영상 또는 음성을 출력하는 장치를 의미한다.
본 발명에 있어서 사용자의 의도란, 사용자 즉 인간이 행동, 표현하려는 생각, 의지 등을 의미한다. 이는 신체의 일부로 행동, 표현하기 이전에 뇌에서 일어나는 뇌 활동을 포함할 수 있다.
도 1은 본 발명에 따른 NUI 장치를 나타낸 도면이다. 이하 첨부 도면들을 참조하여 본 발명의 실시예를 설명한다. 본 발명에 따른 NUI 장치(100)는, 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 뇌 활동 측정 장치(10); 및 사용자가 의도하는 기능을 실행하고 그 결과를 출력하는 인터페이스 부(20)를 포함하고, 뇌 활동 측정 장치는 광자를 대뇌피질에 조사하는 광 조사부(11); 대뇌 피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 물리량의 변화를 검출하는 광 검출부(12); 및 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하며, 분석부(13)는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 뇌 활동을 분석하여 사용자의 의도를 판단할 수 있다.
광 조사부, 광 검출부 및 분석부를 포함한 뇌 활동 측정 장치는 인간의 뇌 활동을 측정할 수 있다. 종래의 기술에 의한 수술을 통한 방법에서는, 도 1의 좌측에 있는 뇌 활동 측정 장치를 대신하여 전극을 뇌에 삽입하게 되어 인체의 안전에 위험할 수 있다. 그러나 본 발명에서는 수술 없이 간단한 방법으로 뇌 활동을 측정할 수 있다.
뇌 활동 측정 장치가 인간의 뇌 활동을 검출하면, 인간의 뇌 활동을 기록한 데이터를 인터페이스 부로 전달을 한다. 인터페이스 부는 인간과 외부 장치를 연결해주는 부분으로서, 인간의 뇌 활동을 기록한 데이터를 일련의 과정에 의해 처리하고, 그 뇌 활동에 맞는 컴퓨터 기능을 실행 한 후, 사용자가 오감을 이용하여 인식할 수 있도록 외부로 그 결과물를 출력할 수 있다.
이러한 과정 또는 방법을 반복함으로써, 사용자는 자신이 행동 또는 표현하고자 하는 바를 컴퓨터 기능으로 실행시키고 외부로 표현하고 인식할 수 있다.
인간의 뇌 활동을 측정하는 과정은 여러 단계로 나누어진다. 도 4는 본 발명에 따른 뇌 활동을 측정하는 방법인 NUI 방법의 과정을 나타낸 순서도이다. 본 발명에 따른 NUI 방법은 광자를 대뇌피질에 조사하는 단계(S410); 광자와 대뇌피질 간의 상호작용을 하는 단계(S420); 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하는 단계(S430); 광자의 물리량을 분석하여 사용자의 의도를 판단하는 단계(S440); 판단한 사용자의 의도를 기록한 데이터를 생성하는 단계(S450); 데이터를 이용하여 사용자가 의도하는 기능을 실행하는 단계(S460); 및 기능을 실행하는 단계의 결과를 출력하는 단계(S470)를 포함할 수 있다. 이하에서 본 발명에 따른 뇌 활동을 측정하는 방법을 상세히 설명한다.
첫 번째는 광자(photon)를 전달(deliver)하는 단계이다. 광원에서 빛을 발생시키고 변조시켜 대뇌피질에 조사(irradiation)하는 단계이다.
두 번째는 광자-조직 간에 상호작용을 하는 단계이다. 대뇌피질로 조사된 광자는 대뇌피질의 뇌 조직과 상호작용하고, 대뇌피질에서 신경 활동(neural activity)이 발생하면 상호작용하는 물리량이 변화한다. 이 물리량의 변화, 즉 대뇌피질로부터 인체 외부로 다시 되돌아오는 광자의 물리량의 변화를 검출하여 뇌 활동을 측정할 수 있다.
세 번째는 광자를 측정하는 단계이다. 대뇌피질로부터 다시 되돌아오는 광자의 물리량의 변화를 검출하는 단계이다.
네 번째는 뇌 활동 패턴을 분석하는 단계이다. 세 번째 단계에서 검출한 광자의 물리량의 변화를 기초로, 기존에 데이터베이스화 해놓은 뇌활동-사용자 의도 상호관계 데이터와 비교하여 사용자의 뇌 활동 패턴을 분석하여 사용자의 의도를 판단하는 단계이다.
다섯 번째는, 판단된 사용자의 의도에 맞는 컴퓨터 기능을 실행하는 단계이 다. 여기에서 사용자의 의도에 맞는 컴퓨터 기능이란 단순히 커서를 이동하거나 문자를 입력하는 것을 포함하여, 3차원 가상공간 내에서 이동하거나 머리 속의 이미지를 그대로 입력하는 등 기존 GUI에서 불가능했던 기능을 일컫는다.
여섯 번째는 시청각적인 피드백(feedback)을 하는 단계이다. 사용자의 의도에 맞게 실행된 컴퓨터 기능을 시청각적인 출력 장치를 이용하여 사용자에게 피드백을 제공하여, 사용자가 자신의 의도를 확인하고, 더 나아가서는 확정하거나 수정할 수 있도록 한다.
아래에서는 광자-조직 상호작용 및 광자 측정에 대해 상세히 설명한다.
도 2는 본 발명에 따른 뇌 활동 측정 장치를 나타낸 도면이다. 본 발명에 따른 뇌 활동 측정 장치(10)는, 광자를 대뇌피질에 조사하는 광 조사부(11); 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 물리량의 변화를 검출하는 광 검출부(12); 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부(13)를 포함하고, 분석부는 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단할 수 있다. 이 뇌 활동 측정 장치(10)에서 광자-조직 상호작용을 겪은 광자의 측정이 이루어진다.
도 5는 본 발명에 따른 NUI 방법에 포함되는 사용자의 의도를 판단하는 과정을 나타낸 순서도이다. 사용자의 의도를 판단하는 과정은, 물리량의 변화를 근거로 대뇌피질에서 일어나는 뇌 활동을 인식하는 단계(S441); 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하는 단계(S442)를 포함할 수 있다.
광자-조직 상호작용 및 광자 측정 유형은 몇 가지로 구분된다. 본 명세서에서는 근적외선 흡수 및 산란 스펙트럼(near-infrared spectrum of absorption and scattering), 라만 산란(Raman scattering), 복굴절(birefringence) 또는 광학 활성(optical activity) 및 2차 상관(2nd-order correlation)에 의한 유형을 설명한다. 구체적인 방법은 아래와 같다.
근적외선 흡수 및 산란 스펙트럼에 대해 설명한다. 근적외선은 뼈와 생체조직을 비교적 잘 통과한다. 이러한 근적외선에 대한 생체조직의 흡수 와 산란은 조직의 종류와 상태에 따라 달라진다. 이러한 흡수와 산란은 입사되는 빛의 파장에도 의존하기 때문에, 넓은 파장대역에 대한 스펙트럼은 조직의 종류와 상태에 대한 다양한 정보를 제공한다. 뇌 조직(brain tissue) 역시 특유의 근적외선 스펙트럼을 보이며, 특히 신경 활동은 조직의 스펙트럼에 변화를 초래할 수 있다.
광자를 전달하는 방법은 위에서 언급한 스펙트럼의 변화를 전체 파장에 대해 관찰할지, 또는 특정 파장에 대해서만 관찰할지에 따라 두 가지로 나누어진다. 각각에 따라서 아래의 두 가지 경우가 있을 수 있다.
첫째로는 근적외선 백색광(NIR white light)을 두피에 조사하는 방법이 있다. 구체적인 구현 방법에는 두 가지가 있다. 광섬유를 두피에 부착하여 광원으로부터 두피까지 전달할 수 있거나, 또는 소형의 광원을 직접 두피에 장착할 수 있다.
둘째로는 선택된 특정 파장의 빛을 두피에 조사하는 방법이 있다. 역시 구체 적인 방법은 위의 두 가지가 가능하다.
광자가 대뇌피질에 전달이 되면 위에서 언급한 빛의 스펙트럼의 변화가 이루어진다. 이러한 스펙트럼의 변화는 신경 활동 시 나타나는 여러 물리적, 화학적 변화에 기인할 수 있다. 이 변화에는 생체 분자의 구조 변화, 세포의 부피 변화, 신경 전달 물질의 분포 변화 등이 있다. 아래에서는 이 세 가지에 대해 설명한다.
생체 분자의 구조 변화에 대해 설명한다. 신경 활동 시 신경 전달 물질(neurotransmitter) 또는 수용기(receptor)의 구조 변화(conformational change)가 나타날 수 있으며, 이는 각 분자 내의 전자에 작용하는 전위(electrical potential)에 변화를 가져온다. 이럴 경우 전자의 에너지 준위 (energy state)가 바뀌게 되고, 따라서 흡수 스펙트럼에 변화가 발생할 수 있다.
세포의 부피 변화에 대해 설명한다. 신경 활동 시 신경 세포의 부피에 미세한 변화가 있음이 알려져 있다. 이러한 부피의 변화는 조직을 통과하는 빛의 산란에 변화를 야기한다. 따라서, 산란 스펙트럼에 변화가 발생할 수 있다.
신경 전달 물질의 분포 변화에 대해 설명한다. 신경 활동 시 신경 전달 물질이 세포 밖으로 방면(release)되는데, 이로 인해 조직 내의 신경 전달 물질의 공간적 분포에 변화가 발생한다. 크기가 작은 신경 전달 물질은 빛의 산란원(scatterer)으로 작용할 수 있기 때문에, 조직을 통과하는 빛의 산란에 변화를 초래할 수 있다.
이 후, 위에서 언급한 대뇌피질에서의 상호작용으로 인한 스펙트럼의 변화를 측정해야 한다. 이러한 스펙트럼의 변화를 측정하는 방법에는, 스펙트럼의 변화를 직접 측정하거나, 또는 스펙트럼 변화 양상에 대한 연구 결과를 토대로 몇 개의 파장을 선택하고 해당 파장의 레이저를 이용하여 몇 개 특정 파장에 대해서만 광학적 변화를 측정할 수 있다.
즉, 조사된 빛이 두피와 두개골을 통과하고 대뇌피질과 상호작용한 후, 다시 두개골과 두피를 빠져나온 광자의 세기(intensity)를 측정한다. 전체 파장에 대해 관찰할지, 또는 특정 파장에 대해서만 관찰할지에 따라 달라진다. 각각의 측정 방법은 아래와 같다.
전자는 두피를 빠져나온 빛을 분광기(spectrometer)를 이용하여 스펙트럼을 측정하는 방법이다. 빛을 분광기에 전달하는 방법에는 두 가지가 있다. 광섬유를 두피에 부착하여 두피로부터 분광기까지 전달하거나, 또는 소형의 분광기를 직접 두피에 장착할 수 있다.
후자는 두피를 빠져나온 빛을 측정시스템을 이용하여 입사한 파장에 따라 빛의 세기를 각각 측정하는 방법이다. 측정시스템은 빔스플리터(beamsplitter), 광학필터(optical filter), 광검출기(photodetector)로 구성된다. 두피를 빠져나온 빛을 측정시스템에 전달하는 방법은 두가지가 가능하다. 광섬유를 이용하여 전달하거나, 또는 소형의 측정시스템을 직접 두피에 장착할 수 있다.
라만 산란에 대해 설명한다. 라만 산란이란, 물질에 일정한 주파수의 빛을 조사한 경우, 분자 고유 진동이나 회전 에너지 또는 결정의 격자진동 에너지만큼 달라진 주파수의 빛이 산란되는 현상을 의미한다. 산란된 빛은 원래의 에너지를 그 대로 가지고 있기도 하지만 원래 빛의 에너지보다 작거나 많은 에너지를 가진 경우도 있다. 산란된 빛 중 원래의 에너지를 그대로 유지하면서 산란되는 과정을 레일리 산란(Rayleigh scattering), 에너지를 잃거나 얻으면서 산란되는 과정을 라만 산란이라고 하며, 이 산란광은 물질의 고유 특성으로 분자의 분자 구조를 추론할 수 있다.
이러한 라만 산란을 이용하면 샘플의 화학적 상태에 관한 정보를 얻을 수 있다. 신경 활동 역시 여러가지 화학적 상태에 대한 변화를 동반하므로, 뇌 조직의 라만 산란을 모니터링하여 신경 활동을 측정할 수 있다.
광자를 전달하는 방법은 라만 산란을 일으키기 위한 특정 파장의 흥분 레이저(excitation laser)를 두피에 조사하여 이루어질 수 있다. 조사하는 방법에는 두 가지가 있다. 광섬유를 두피에 부착하여 광원으로부터 두피까지 전달할 수 있거나, 또는 소형의 레이저를 직접 두피에 장착할 수 있다.
광자가 대뇌피질에 전달이 되면 위에서 언급한 광원의 파장과 다른 파장의 빛이 발생한다. 그리고 이렇게 발생한 빛의 스펙트럼, 즉 라만 산란 스펙트럼은 뇌 활동에 의해 변화될 수 있다. 이러한 라만 산란의 변화는 신경 활동 시 나타나는 생체 분자의 구조 변화에 주로 기인한다. 신경 활동 시 신경 전달 물질 또는 수용기의 구조 변화가 나타날 수 있다. 이는 분자 내 원자의 노멀 모드(normal mode)에 변화 또는 분자 내 전자에 작용하는 전위에 변화를 가져온다. 이를 통해 라만 산란에 변화가 발생할 수 있다.
이 후, 위에서 언급한 대뇌피질에서의 상호작용으로 인한 스펙트럼의 변화를 측정해야 한다. 이러한 라만 산란의 변화를 라만 스펙트럼으로 직접 측정하거나, 스펙트럼 변화 양상에 대한 연구결과를 토대로 몇 개의 파장을 선택하고 해당 파장의 빛에 대해서만 변화량을 측정할 수 있다.
즉, 조사된 빛이 두피와 두개골을 통과하고 대뇌피질과 상호작용 결과, 조사한 빛과 다른 파장의 광자가 발생한다. 이러한 광자는 두개골과 두피를 빠져나오고, 빠져나온 광자의 세기를 측정한다. 측정하는 방법은 라만 스펙트럼을 전체 파장에 대해 관찰할지, 또는 특정 파장에 대해서만 관찰할지에 따라 달라진다. 각각의 측정 방법은 아래와 같다.
첫째로는 두피를 빠져나온 라만 산란광을 분광기를 이용하여 스펙트럼을 측정한다. 라만 산란광을 분광기에 전달하는 방법에는 두 가지가 있다. 광섬유를 두피에 부착하여 두피로부터 분광기까지 전달할 수 있거나, 또는 소형의 분광기를 직접 두피에 장착할 수 있다.
둘째로는 두피를 빠져나온 라만 산란광을 측정시스템을 이용하여 선택한 파장에 따라 빛의 세기를 각각 측정한다. 측정시스템은 빔스플리터, 광학필터, 광검출기로 구성된다. 두피를 빠져나온 빛을 측정시스템에 전달하는 방법은 두 가지가 가능하다. 광섬유를 이용하여 전달하거나, 또는 소형의 측정시스템을 직접 두피에 장착할 수 있다.
복굴절 또는 광학 활성에 대해 설명한다. 어떤 물질은 통과하는 빛의 편광(polarization)을 변화시키기도 한다. 편광 변화량이 입사한 빛의 편광에 의존하 는 복굴절이나, 그렇지 않은 광학 활성 모두 물질의 상태에 따라 달라진다. 특히 말초 신경(peripheral nerve)의 경우 신경 활동 시 복굴절이 변화됨이 알려져 있다. 따라서 뇌 조직의 신경 활동 역시 복굴절 또는 광학 활성에 변화를 가져올 것이다.
광자를 전달하는 방법은 편광된 빛을 두피에 조사하여 이루어질 수 있다. 조사하는 방법에는 두 가지가 있다. 광섬유를 두피에 부착하여 광원으로부터 두피까지 전달할 수 있거나, 또는 편광판과 레이저로 이루어진 소형의 편광원을 직접 두피에 장착할 수 있다.
광자가 대뇌피질에 전달이 되면 복굴절 또는 광학 활성의 변화가 이루어진다. 이러한 복굴절 또는 광학 활성의 변화는 신경 활동 시 나타나는 여러 물리적, 화학적 변화에 기인할 수 있다. 이 변화에는 생체 분자의 구조 변화, 세포의 부피 변화 등이 있다. 아래에서는 이 두 가지에 대해 설명한다.
생체 분자의 구조 변화에 대해 설명한다. 신경 활동 시 신경 전달 물질 또는 수용기의 구조 변화가 나타날 수 있다. 이는 생체분자의 광학이성질체(chirality)에 변화를 동반할 수 있으며, 이러한 경우 광학 활성 측정을 통해 그 변화를 검출할 수 있다.
세포의 부피 변화에 대해 설명한다. 신경 활동 시 신경 세포의 부피에 미세한 변화가 있음이 알려져 있다. 특히 조직 내의 비등방성(anisotropic) 구조물의 부피 변화는 조직을 통과하는 빛의 복굴절에 변화를 초래할 수 있다.
대뇌피질에서의 상호작용으로 인한 복굴절 또는 광학 활성의 변화를 측정해 야 한다. 이러한 복굴절 또는 광학 활성의 변화는 편광판(polarizer)을 이용하여 측정할 수 있다.
조사된 빛이 두피와 두개골을 통과하고 대뇌피질과 상호작용 후, 다시 두개골과 두피를 빠져나온 광자의 편광성분의 세기를 측정시스템을 이용하여 측정한다. 편광방향이 변화된 빛을 측정시스템에 전달하는 방법은 두가지가 가능하다. 광섬유를 이용하여 전달하거나, 또는 소형의 측정시스템을 직접 두피에 장착할 수 있다.
2차 상관에 대해 설명한다. 어떤 물질의 통과한 빛의 2차 상관 값을 측정하면, 해당 물질의 특정한 물리적 특징을 분석할 수 있다. 특히, 2차 상관은 물질 내의 산란원 크기에 밀접한 관계가 있음이 알려져 있다. 신경 활동 시 뇌 조직을 통과한 빛의 2차 상관 값이 변할 수 있으므로, 이를 측정함을 통해 신경 활동을 관찰할 수 있다.
광자를 전달하는 방법은 레이저를 두피에 조사하여 이루어질 수 있다. 조사하는 방법에는 두 가지가 있다. 광섬유를 두피에 부착하여 광원으로부터 두피까지 전달할 수 있거나, 또는 소형 레이저를 직접 두피에 장착할 수 있다.
신경 활동 시 신경 세포의 부피에 미세한 변화가 있음이 알려져 있다. 이러한 부피 변화는 뇌 조직 내 산란원의 크기 변화로 간주할 수 있으며, 이로 인해 뇌 조직을 투과한 빛의 2차 상관 값이 변할 수 있다.
이 후, 위에서 언급한 대뇌피질에서의 상호작용으로 인한 2차 상관 값을 측정해야 한다. 이러한 변화는 2차 상관 측정시스템을 이용하여 측정할 수 있다. 2차 상관은 빛의 세기를 빠른 속도로 기록하고, 그 세기를 작은 시간만큼 지연시켜 다시 본래의 세기 정보와의 상관 값을 구함으로서 측정할 수 있다.
조사된 빛이 두피와 두개골을 통과하고 대뇌피질과 상호작용 후, 다시 두개골과 두피를 빠져나와 2차 상관 측정시스템에 도달하여, 2차 상관 값이 측정된다. 두피를 빠져나온 빛을 측정시스템에 전달하는 방법은 두 가지가 가능하다. 광섬유를 이용하여 전달하거나, 또는 소형의 측정시스템을 직접 두피에 장착할 수 있다.
위에서 살펴본 바와 같이, 광자를 전달하는 방법 및 광자를 측정하는 방법은 어떤 광자-조직 상호작용을 사용할 것인지에 따라서 구별된다. 다음으로는, 측정된 광자를 이용하여 사용자의 뇌 활동 패턴을 분석하여야 한다. 뇌 활동 패턴을 분석하여, 사용자가 어떤 의도를 가지고 있는지를 판단한다. 또한 사용자의 의도를 판단한 결과를 이용하여, 특정 기능을 실행하게 하며 그 결과를 외부로 출력하여 사용자가 인식할 수 있도록 한다. 여기서 특정 기능은 외부로 출력하는 것 자체일 수도 있다.
아래에서는 뇌 활동 패턴 분석에 대해서 상세히 설명한다.
광학적으로 측정한 신경 활동을 토대로 뇌 활동 패턴을 분석하여, 사용자의 의도를 파악할 수 있다. 이러한 분석은 뇌 활동 데이터 수집, 뇌 활동 템플릿과의 비교 및 사용자의 의도 결정의 3단계 과정을 거치게 된다.
첫째로 뇌 활동 데이터 수집에 대해서 설명한다. 광자를 검출하여 광학적으로 측정된 뇌 활동은 시간에 따라 변하는 2차원 평면상의 스칼라 값으로 표현될 수 있다. 이를 A(x, y, t) 라고 하자. 실제 데이터는 컴퓨터로 입력되는 이진 데이터로서, 3차원 배열로 표현될 수 있다. 이 배열 데이터의 x, y 성분의 데이터 간격은 공간상의 해상도(spatial resolution)이며, 시간방향의 데이터 간격은 시간 해상도(temporal resolution)이다. 컴퓨터 메모리에 저장되는 3차원 배열에 대해 일정 시간 간격 (time bin)을 대상으로 뇌 활동 템플릿과 비교하게 된다.
둘째로 뇌 활동 템플릿과의 비교에 대해서 설명한다. 우선 뇌 활동 템플릿 데이터베이스를 구축하는 방법에 대해 설명한다.
뇌 활동 템플릿 데이터베이스에는 두 가지 종류가 있으며, 각 종류의 데이터베이스를 구축하는 방법은 아래와 같다.
글로벌 템플릿 데이터베이스(global template database)는 사용자 개체간에 공통적으로 나타나는 뇌 활동-사용자 의도 상호관계 데이터를 저장하는 데이터베이스를 의미한다. 여기에서 뇌 활동-사용자 의도 상호관계 데이터라 함은, 사용자가 특정한 행동이나 표현을 하고자 할 때 발생하는 특정한 뇌 활동 패턴을 상호 대응시켜서 저장해놓은 데이터를 의미한다. 이러한 데이터베이스는 방대한 예비 사용자 집단을 대상으로 통계적 실험을 통해 구축되며, 제품이 사용자에게 공급될 때 함께 제공된다. 또한 인터넷 등을 통해 업데이트도 가능하다.
사용자 템플릿 데이터베이스(user template database)는 특정 사용자에게 종속되는 뇌 활동-사용자 의도 상호관계 데이터를 저장하는 데이터베이스이다. 이러한 데이터베이스는 두 가지 방법에 의해 구축될 수 있다. 첫째로, 사용 초기의 개인화(personalization) 과정에 의해서 구축될 수 있다. 사용자는 NUI 장치 또는 방 법 사용 초기에 설명서(tutorial)를 따라하며 자신의 뇌 활동 패턴 정보를 파악케한다. 설명서는 사용자로 하여금 필요한 명령 또는 의도를 생각케 하고, 이 때 나타나는 사용자의 뇌 활동 패턴을 분석한다. 이를 반복적으로 실행하여, 의미가 있는 뇌 활동-사용자 의도 상호관계 데이터를 추출하여 저장한다. 둘째로, 장시간 사용 과정에서 다양한 기계 학습(machine learning) 알고리듬을 통해 사용자의 사용 패턴과 컴퓨터의 사용자 의도 판단에 대한 사용자의 반응 패턴을 분석하여, 계속적으로 컴퓨터 스스로 사용자 템플릿 데이터베이스를 추가 수정할 수 있다.
다시, 뇌 활동 템플릿과의 비교에 대해서 설명한다. 일정 시간 간격 (t1 내지 t2)에 대한 뇌 활동 데이터 A(x, y, t)를 뇌 활동 템플릿 데이터베이스와 비교한다. 뇌 활동 템플릿 데이터베이스에는 일정한 시간 길이를 갖는 뇌 활동 데이터와 각 뇌 활동과 연결되는 사용자의 의도가 저장되어 있다. 예를 들어, 데이터베이스에 N개의 템플릿이 저장되어 있다고 하자. 새롭게 측정된 뇌 활동 데이터 A(x, y, t)에 대해 기존 뇌 활동 템플릿을 비교하는 방법에는 여러 알고리듬이 가능하다. 간단한 수학적 상관계수(correlation)로부터, 비선형적인 기계 학습(Nonlinear machine learning) 알고리듬을 활용할 수 있다. 여기에서는 상관계수 비교 알고리듬을 사용하는 방법을 예로 제시한다.
새로 측정된 뇌 활동 데이터 A(x, y, t)와 뇌 활동 템플릿 데이터베이스의 뇌 활동 데이터 Ai(x, y, t) (1 ≤ i ≤ N)의 상관계수를 아래의 수학식 1을 통해 조사한다.
Ci 중 가장 큰 값을 갖는 i를 찾고, 그 Ci 값이 미리 정해진 임계치(threshold)를 넘는지 확인한다. 즉, 템플릿의 뇌 활동 데이터 중 새로 측정된 뇌 활동 데이터와 가장 높은 상관관계를 보이면서, 그 상관계수 값이 임계치를 넘는 템플릿을 찾는 것이다.
마지막으로, 사용자의 의도 결정에 대해 설명한다. 기존 템플릿 중 위와 같은 조건을 만족하는 템플릿이 존재한다면, 현재 사용자는 해당 템플릿에 대응되는 의도를 갖고 있다고 판단할 수 있다. 이 경우 사용자가 원하는 기능을 실행하게끔 해당 입력 데이터를 인터페이스 부에 전달한다. 만약 그런 템플릿이 존재하지 않는다면, 현재 사용자는 별다른 명령의 의도가 없거나 최소한 데이터베이스에 저장된 의도 중에는 없다고 판단할 수 있다. 이런 경우에는 다음 시간 간격 (t1+δt 내지 t2+δt)의 뇌 활동 데이터를 조사한다.
다음으로는, 시청각적인 피드백을 제공하는 사용자와 외부 장치의 연결에 대해서 설명한다. 위에서 언급한바 대로, 광-조직 상호작용 후 인체 외부로 나온 광자를 검출하여 뇌 활동 패턴을 분석하고 사용자의 의도를 판단한 결과를 통해, 사용자가 의도하는 기능을 실행하고, 그 실행 결과 또는 사용자의 의도 자체를 출력 수단을 이용하여 영상 또는 음성으로 표현할 수 있다.
도 3은 본 발명에 따른 NUI 장치에 포함되는 인터페이스 부(20)를 나타내는 도면이다. 인터페이스 부(20)는, 뇌 활동 데이터를 수신하는 입력부(21); 뇌 활동 데이터를 이용하여 명령어 데이터를 생성하고, 명령어 데이터를 실행하여 사용자가 의도하는 기능을 실행하는 기능부(22); 및 기능부에서 기능을 실행한 결과물을 영상 또는 음성으로 출력하는 출력부(23)를 포함할 수 있다.
사용자와 외부 장치를 연결하는 인터페이스 부에서의 과정을 설명하면 다음과 같다. 인터페이스 부는 다른 장치(본 실시예에서는 분석부)로부터 사용자의 의도를 기록한 뇌 활동 데이터를 수신한다. 인터페이스 부는 뇌 활동 데이터를 실행하기 적합하도록 명령어 데이터로 변환할 수 있다. 예를 들어, 뇌 활동 데이터에 대응하는 사용자의 의도를 실행할 수 있는 명령어를 이진(binary)형태로 저장할 수 있다.
명령어 데이터를 실행하여 인터페이스 부의 기능부에서 사용자가 의도하는 기능을 실행하도록 할 수 있다. 예를 들면, 이 과정은 기능부에서 실행 가능한 기능의 명령어를 위에서 언급한 뇌 활동 데이터에 대응시켜놓고, 뇌 활동 데이터를 수신하여 대응하는 명령어를 실행할 수 있다.
사용자가 의도하는 기능을 실행하고, 그 결과를 출력 수단을 이용해 출력할 수 있다. 이는 사용자에게 자신이 의도한 바가 제대로 실행되었는지를 확인하게 하는 것이다. 여기에서 출력 수단은 예를 들어, LCD 모니터 또는 스피커와 같이 영상 또는 음성으로 출력할 수 있는 장치이다.
이와 같이, 본 발명에서는 사용자의 뇌 활동을 측정하여 의도를 판단하는 장치 또는 방법이 제안되었다. 또한 사용자의 의도를 판단한 결과를 통해, 특정 기능을 실행하고 그 실행 결과를 표시하는 장치 또는 방법이 제안되었다.
이상에서 설명한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 변경 및 변형이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.
도 1은 본 발명에 따른 신경 유저 인터페이스 장치를 나타낸 도면이다.
도 2는 본 발명에 따른 뇌 활동 측정 장치를 나타낸 도면이다.
도 3은 본 발명에 따른 신경 유저 인터페이스 장치에 포함되는 인터페이스 부를 나타낸 도면이다.
도 4는 본 발명에 따른 신경 유저 인터페이스 방법을 나타낸 순서도이다.
도 5는 본 발명에 따른 신경 유저 인터페이스 방법에 포함되는 사용자의 의도를 판단하는 방법을 나타낸 순서도이다.
Claims (21)
- 삭제
- 삭제
- 광자를 대뇌피질에 조사하는 광 조사부;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 라만 산란 스펙트럼을 측정하여 광자의 물리량의 변화를 검출하는 광 검출부; 및상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하고,상기 분석부는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 뇌 활동 측정 장치.
- 광자를 대뇌피질에 조사하는 광 조사부;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 복굴절 또는 광학활성을 측정하여 광자의 물리량의 변화를 검출하는 광 검출부; 및상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하고,상기 분석부는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 뇌 활동 측정 장치.
- 광자를 대뇌피질에 조사하는 광 조사부;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 2차 상관 값을 측정하여 광자의 물리량의 변화를 검출하는 광 검출부; 및상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하고,상기 분석부는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 뇌 활동 측정 장치.
- 광자를 대뇌피질에 조사하는 광 조사부;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 물리량의 변화를 검출하는 광 검출부; 및상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하고,상기 분석부는 상관계수 비교 알고리듬을 이용하여 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 뇌 활동 측정 장치.
- 삭제
- 삭제
- 삭제
- 뇌 활동을 분석하여 사용자의 의도를 판단하는 뇌 활동 측정 장치; 및상기 뇌 활동 측정 장치에서 판단한 사용자가 의도하는 기능을 실행하고 그 결과를 출력하는 인터페이스 부를 포함하고,상기 뇌 활동 측정 장치는,광자를 대뇌피질에 조사하는 광 조사부;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 라만 산란 스펙트럼을 측정하여 광자의 물리량의 변화를 검출하는 광 검출부; 및상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하며,상기 분석부는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 신경 유저 인터페이스 장치.
- 뇌 활동을 분석하여 사용자의 의도를 판단하는 뇌 활동 측정 장치; 및상기 뇌 활동 측정 장치에서 판단한 사용자가 의도하는 기능을 실행하고 그 결과를 출력하는 인터페이스 부를 포함하고,상기 뇌 활동 측정 장치는,광자를 대뇌피질에 조사하는 광 조사부;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 복굴절 또는 광학활성을 측정하여 광자의 물리량의 변화를 검출하는 광 검출부; 및상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하며,상기 분석부는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 신경 유저 인터페이스 장치.
- 뇌 활동을 분석하여 사용자의 의도를 판단하는 뇌 활동 측정 장치; 및상기 뇌 활동 측정 장치에서 판단한 사용자가 의도하는 기능을 실행하고 그 결과를 출력하는 인터페이스 부를 포함하고,상기 뇌 활동 측정 장치는,광자를 대뇌피질에 조사하는 광 조사부;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 2차 상관 값을 측정하여 광자의 물리량의 변화를 검출하는 광 검출부; 및상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하며,상기 분석부는 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 신경 유저 인터페이스 장치.
- 뇌 활동을 분석하여 사용자의 의도를 판단하는 뇌 활동 측정 장치; 및상기 뇌 활동 측정 장치에서 판단한 사용자가 의도하는 기능을 실행하고 그 결과를 출력하는 인터페이스 부를 포함하고,상기 뇌 활동 측정 장치는,광자를 대뇌피질에 조사하는 광 조사부;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하고 상기 광자의 물리량의 변화를 검출하는 광 검출부; 및상기 광 검출부에서 검출된 광자의 물리량의 변화를 분석하고 뇌 활동 데이터를 생성하여 사용자의 의도를 판단하는 분석부를 포함하며,상기 분석부는 상관계수 비교 알고리듬을 이용하여 상기 뇌 활동 데이터 및 뇌 활동-사용자 의도 상호관계 데이터를 통해 상기 뇌 활동을 분석하여 사용자의 의도를 판단하는 것을 특징으로 하는 신경 유저 인터페이스 장치.
- 삭제
- 삭제
- 삭제
- 광자를 대뇌피질에 조사하는 단계;상기 광자와 대뇌피질 간의 상호작용을 하는 단계;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하는 단계; 및상기 광자를 분석하여 사용자의 의도를 판단하는 단계를 포함하며,상기 광자를 검출하는 단계는 상기 광자의 라만 산란 스펙트럼을 측정하여 광자의 물리량의 변화를 검출하는 것을 특징으로 하는 신경 유저 인터페이스 방법.
- 광자를 대뇌피질에 조사하는 단계;상기 광자와 대뇌피질 간의 상호작용을 하는 단계;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하는 단계; 및상기 광자를 분석하여 사용자의 의도를 판단하는 단계를 포함하며,상기 광자를 검출하는 단계는 상기 광자의 복굴절 또는 광학활성을 측정하여 광자의 물리량의 변화를 검출하는 것을 특징으로 하는 신경 유저 인터페이스 방법.
- 광자를 대뇌피질에 조사하는 단계;상기 광자와 대뇌피질 간의 상호작용을 하는 단계;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하는 단계; 및상기 광자를 분석하여 사용자의 의도를 판단하는 단계를 포함하며,상기 광자를 검출하는 단계는 상기 광자의 2차 상관 값을 측정하여 광자의 물리량의 변화를 검출하는 것을 특징으로 하는 신경 유저 인터페이스 방법.
- 광자를 대뇌피질에 조사하는 단계;상기 광자와 대뇌피질 간의 상호작용을 하는 단계;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하는 단계; 및상기 광자를 분석하여 사용자의 의도를 판단하는 단계를 포함하며,상기 광자를 검출하는 단계는 광자의 물리량의 변화를 검출하는 단계를 포함하고,상기 사용자의 의도를 판단하는 단계는,상기 물리량의 변화를 근거로 대뇌피질에서 일어나는 뇌 활동을 인식하는 단계; 및상기 뇌 활동을 뇌 활동-사용자 의도 상호관계 데이터를 통해 분석하는 단계를 포함하는 것을 특징으로 하는 신경 유저 인터페이스 방법.
- 광자를 대뇌피질에 조사하는 단계;상기 광자와 대뇌피질 간의 상호작용을 하는 단계;상기 대뇌피질과의 상호작용 후 인체 외부로 나온 광자를 검출하는 단계; 및상기 광자를 분석하여 사용자의 의도를 판단하는 단계를 포함하며,상기 광자를 검출하는 단계는 광자의 물리량의 변화를 검출하는 단계를 포함하고,상기 사용자의 의도를 판단하는 단계는,상관계수 비교 알고리듬을 이용하여 사용자의 의도를 판단하는 것을 특징으로 하는 신경 유저 인터페이스 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080071713A KR101028949B1 (ko) | 2008-07-23 | 2008-07-23 | 신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치 |
| US12/356,419 US20100022892A1 (en) | 2008-07-23 | 2009-01-20 | Method and device for neural user interface and brain activity measuring device for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080071713A KR101028949B1 (ko) | 2008-07-23 | 2008-07-23 | 신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100010714A KR20100010714A (ko) | 2010-02-02 |
| KR101028949B1 true KR101028949B1 (ko) | 2011-04-12 |
Family
ID=41569275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080071713A KR101028949B1 (ko) | 2008-07-23 | 2008-07-23 | 신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20100022892A1 (ko) |
| KR (1) | KR101028949B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220378358A1 (en) * | 2019-04-16 | 2022-12-01 | SiliconIntervention Inc. | EEG With Artificial Intelligence As Control Device |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101304338B1 (ko) | 2010-10-21 | 2013-09-11 | 주식회사 엠아이텍 | 액정폴리머 기반의 전광극 신경 인터페이스 및 그 제조 방법 |
| US9626294B2 (en) * | 2012-10-03 | 2017-04-18 | International Business Machines Corporation | Performance-driven cache line memory access |
| KR101470588B1 (ko) * | 2013-05-24 | 2014-12-10 | 고려대학교 산학협력단 | 뇌-뇌 인터페이스 장치 및 방법 |
| WO2014189327A1 (ko) * | 2013-05-24 | 2014-11-27 | 고려대학교 산학협력단 | 뇌-뇌 인터페이스를 처리하는 초음파 출력 시스템 및 방법 |
| KR101845495B1 (ko) * | 2016-11-15 | 2018-04-04 | 사회복지법인 삼성생명공익재단 | 표면-증강 라만분광 기반 뇌심부 자극 장치 및 뇌심부 자극 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002172106A (ja) * | 2000-12-07 | 2002-06-18 | Hitachi Ltd | 生体光計測法を用いた遊戯装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5788648A (en) * | 1997-03-04 | 1998-08-04 | Quantum Interference Devices, Inc. | Electroencephalographic apparatus for exploring responses to quantified stimuli |
| US6099319A (en) * | 1998-02-24 | 2000-08-08 | Zaltman; Gerald | Neuroimaging as a marketing tool |
| WO2008052070A2 (en) * | 2006-10-25 | 2008-05-02 | University Of Denver | Brain imaging system and methods for direct prosthesis control |
| US7672702B2 (en) * | 2007-03-13 | 2010-03-02 | Samsung Electronics Co., Ltd. | Noninvasive in vivo measuring system and noninvasive in vivo measuring method by correcting influence of Hemoglobin |
| WO2008132522A1 (en) * | 2007-04-25 | 2008-11-06 | Ruder Boscovic Institute | Method for real time tumour visualisation and demarcation by means of photodynamic diagnosis |
| CN105288619A (zh) * | 2008-04-04 | 2016-02-03 | 免疫之光有限责任公司 | 用于原位光生物调节的非侵入性***和方法 |
-
2008
- 2008-07-23 KR KR1020080071713A patent/KR101028949B1/ko active IP Right Grant
-
2009
- 2009-01-20 US US12/356,419 patent/US20100022892A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002172106A (ja) * | 2000-12-07 | 2002-06-18 | Hitachi Ltd | 生体光計測法を用いた遊戯装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220378358A1 (en) * | 2019-04-16 | 2022-12-01 | SiliconIntervention Inc. | EEG With Artificial Intelligence As Control Device |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100022892A1 (en) | 2010-01-28 |
| KR20100010714A (ko) | 2010-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101028949B1 (ko) | 신경 유저 인터페이스 장치, 방법 및 뇌 활동 측정 장치 | |
| US20200155032A1 (en) | Glucose measuring apparatus and method | |
| US9179842B2 (en) | Optical tomography device | |
| US11892353B2 (en) | Diagnosis method using laser induced breakdown spectroscopy and diagnosis device performing the same | |
| US6528809B1 (en) | Methods and apparatus for tailoring spectroscopic calibration models | |
| Jo et al. | Fast model-free deconvolution of fluorescence decay for analysis of biological systems | |
| JP5186044B2 (ja) | 血糖値推定装置 | |
| KR102574088B1 (ko) | 분석 물질의 농도 추정 장치 및 방법과, 농도 추정 모델 생성 장치 및 방법 | |
| US10548481B2 (en) | Non-invasive measurement of biological analytes | |
| CN109124649A (zh) | 用于通过拉曼光谱进行无创伤性活体测量的设备 | |
| Hincks et al. | Using fNIRS for real-time cognitive workload assessment | |
| JP2015225081A (ja) | 拡散スペクトルデータの処理方法及び処理装置 | |
| Liu et al. | fNIRS-based classification of mind-wandering with personalized window selection for multimodal learning interfaces | |
| WO2007083691A1 (ja) | 光学分析装置 | |
| Damaso et al. | A cognitive model of response omissions in distraction paradigms | |
| CN101616627B (zh) | 用于评估样本中的光学深度的光学设备 | |
| JP3902999B2 (ja) | 光学的散乱特性推定装置およびその作動方法 | |
| JP7473200B2 (ja) | 動的光散乱測定装置、動的光散乱測定・解析方法、および、測定・解析プログラム | |
| Thomas et al. | Functional near-infrared spectroscopy (fNIRS) in Neuroergonomics | |
| JP5210733B2 (ja) | 刺激呈示機能を有する生体光計測装置及び刺激課題呈示方法 | |
| JP2011167257A (ja) | キラル物質の検出装置、キラル物質の検出方法 | |
| KR101069153B1 (ko) | 폐쇄형 심뇌자극시스템을 위한 광학적 뇌 반응 모니터링 장치 | |
| Ho et al. | Real-time, high-resolution, in vivo characterization of superficial skin with microscopy using ultraviolet surface excitation (MUSE) | |
| US10495516B2 (en) | Dedicated transformation spectroscopy | |
| US20230309903A1 (en) | System and method for secondary brain insult detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150226 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20160128 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20170403 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20180404 Year of fee payment: 8 |