KR102318775B1

KR102318775B1 - 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치

Info

Publication number: KR102318775B1
Application number: KR1020210001811A
Authority: KR
Inventors: 이상완; 박중배
Original assignee: 한국과학기술원
Priority date: 2018-08-13
Filing date: 2021-01-07
Publication date: 2021-10-28
Also published as: KR20210006486A

Abstract

본 발명은 심층 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치에 관한 것으로, 보다 구체적으로는 뇌파신호를 전처리한 다음 신경망으로 인코딩하고,심층 강화학습으로 학습한 주의집중 모듈에서 미리 학습된 뇌파 신호 분류기를 선택하여 인코딩된 뇌파 신호를 분류하는 방법 및 장치에 관한 것이다.본 발명에 따른 뇌파 신호 분류 방법은 뇌파 신호 분류 정확도가 높고, 분류기를 학습한 데이터 모듈이나 피험자 또는 뇌파에 영향을 주는 피험자의 상태가 다르더라도, 미리 피험자에게 적합한 분류기를 선택함에 따라 따로 실험된 데이터를 동시에 묶어 처리할 수 있을 뿐만 아니라. 피험자의 문맥정보 별로 최적의 분류기를 선택할 수 있어 모든 분류기의 결과값을 기다리지 않아 기존 앙상블 시스템 대비 실시간에 가까운 빠른 뇌파 분석이 가능하다.

Description

강화학습을 이용한 적응형 뇌파 분석 방법 및 장치{Method for Adaptive EEG signal processing using reinforcement learning and System Using the same}

본 발명은 심층 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치에 관한 것으로, 보다 구체적으로는 뇌파신호를 전처리한 다음 신경망으로 인코딩하고,심층 강화학습으로 학습한 주의집중 모듈에서 미리 학습된 뇌파 신호 분류기를 선택하여 인코딩된 뇌파 신호를 분류하는 방법 및 장치에 관한 것이다.

최근 들어 공학분야에서 빈번하게 접하게 되는 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하는 방안으로서, 인간이 지니고 있는 효율적인 패턴 인식 방법을 실제 컴퓨터에 적용시키려는 연구가 활발히 진행되고 있다.

여러 가지 컴퓨터 적용 연구들 중에는 효율적인 패턴 인식 작용이 일어나는 인간두뇌 세포구조를 공학적으로 모델링한 인공신경망(Artificial Neural Network)에 대한 연구가 있다. 입력 패턴을 특정 그룹으로 분류하는 문제를 해결하기 위해, 인공신경망은 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 사용한다. 이 알고리즘을 통하여 입력 패턴과 출력 패턴들 사이의 사상(Mapping)을 인공신경망이 생성해낼 수 있는데, 이를 인공신경망이 학습 능력이 있다고 표현한다. 또한, 인공신경망은 학습된 결과를 바탕으로 학습에 사용되지 않았던

입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력이 있다. 학습과 일반화라는 두 가지 대표적인 성능 때문에 인공신경망은 기존의 순차적 프로그래밍 방법에 의해서는 좀처럼 해결하기 힘든 문제에 적용되고 있다. 인공신경망은 그 사용범위가 넓어 패턴 분류 문제, 연속 사상, 비선형 시스템 식별, 비선형 제어 및 로봇 제어 분야 등에 활발히 응용되고 있다.

인공 신경망이란 연결선으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 연산모델을 나타낸다. 인공 신경망에서는 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런을 사용하게 된다. 그리고 연결강도를 갖는 연결선을 통해 상호 연결시켜 인간의 인지작용이나 학습과정을 수행하게 된다. 연결강도는 연결선이 갖는 특정 값으로, 연결가중치라고도 한다. 인공신경망의 학습은 지도 학습과 비지도 학습으로 나눌 수 있다. 지도 학습이란 입력 데이터와 그에 대응하는 출력 데이터를 함께 신경망에 넣고, 입력 데이터에 대응하는 출력 데이터가 출력되도록 연결선들의 연결강도를 갱신시키는 방법이다. 대표적인 학습 알고리즘으로는 델타규칙(Delta Rule)과 오류 역전파 학습(Back propagation Learning)이있다.비지도 학습이란 목표 값 없이 입력 데이터만을 사용하여 인공신경망이 스스로 연결강도를 학습시키는 방법이다. 비지도 학습은 입력 패턴들 사이의 상관관계에 의해 연결가중치들을 갱신시켜 나가는 방법이다.

기계학습에서 적용되는 많은 데이터는 복잡해지고 차원이 늘어남에 따라 차원의 저주(curse of dimensionality)의 문제가 발생한다. 즉 이는, 필요한 데이터의 차원이 무한으로 갈수록 임의의 두 점간의 거리가 무한대로 발산하며 데이터의 존재량, 즉 밀도가 고차원의 공간에서는 다소 낮아져 데이터의 특성(Feature)을 제대로 반영하지 못하게 되는 것이다(Richard Bellman, Dynamic Programming, 2003, chapter 1). 최근 심층신경망(deep learning)의 발달은 입력층(input layer)과 출력층(output layer) 사이에 숨겨진 층(hidden layer)이 있는 구조로, 입력층으로부터 전달되는 변수 값의 선형 결합(linear combination)을 비선형 함수로 처리하면서 이미지, 영상, 신호데이터 등의 고차원의 데이터에서의 분류기(classifier)의 성능을 크게 향상시켰다고 보고되었다.(Hinton, Geoffrey, et al., IEEESignal Processing Magazine Vol. 29.6, pp. 82-97, 2012).

뇌의 활성도와 문맥정보를 파악하기 위해 널리 쓰이는 EEG(electroencephalogram) 신호는 시간적 해상력이 좋고 휴대가 편하고 비교적 값이 싸, BCI(Brain Computer Interface)에서 가장 많이 사용되고 있지만, 차원이 많고, 비선형이면서 가역불가하며 가우시안 분포를 따르지 않아 분류기가 쉽게 분류하기 힘들고, 또한 피험자의 인지 상태와 움직임에 따른 여러 노이즈에 취약하다는 단점이 있다. 최근 EEG 신호를 각 채널별로 짧은 시간 푸리에 변환(short time Fourier transform: STFT) 도메인으로 옮긴 후, [시간(time: T), 주파수(frequency: F), 채널(channel: C)]의 3차원 데이터를 EEG 채널의 위치 상관관계 좌표를 고려한 정거방위도법(azimuthal equidistant projection: AEP)으로 2차원으로 만들어 차원을 줄인 후, 단순 합성곱신경망(convolutional neural network: CNN)과 1차원 합성곱신경망 혹은 LSTM(long-short term memory) 등 순환신경망(recurrent neural network)을 결합한 방법으로 뇌파 신호 분류기의 성능을 크게 향상시킨 기술이 보고되었다(Bashivan, Pouya, et al. arXiv preprintarXiv:1511.06448 , 2015). 그러나, EEG에서 단순 분류방법은 피험자 별로 뇌의 활성상태와 문맥인지상태에 따라 구분이 쉽게 되지 않는 문제가 있다.

이러한 기술배경하에, 본 발명자들은 심층 강화학습 중 하나인 심층 Q-네트워크(deep Q-network)를 이용하여, 피험자의 문맥정보를 미리 파악하고 그에 가장 효율적인 심층신경망을 선택하는 주의 집중 모듈을 이용할 경우, 피험자의 의도 인식률을 높일 수 있음을 확인하고, 본 발명을 완성하였다.

본 발명의 목적은 주의집중 모듈을 이요한 뇌파 신호 분류 방법을 제공하는 것이다.

본 발명의 다른 목적은 상기 주의집중 모듈을 포함하는 뇌파 신호 분류 장치를 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명은 (a) 특정 주파수 대역에 해당하는 추출된 뇌파 신호를 이용하여 복수의 뇌파 이미지를 생성하는 단계; (b) 상기 뇌파 이미지를 전처리하는 단계; (c) 상기 전처리된 데이터를 신경망으로 인코딩하는 단계; (d) 상기 인코딩된 데이터를 주의집중 모듈에 입력시켜 상기 뇌파 신호를 학습시킴에 따라 뇌파 이미지에 기초한 뇌파 신호 분류기 선택 모델을 구축하는 단계; 및 (e) 뇌파 신호 분류기 선택 모델에서 선택한 뇌파 신호 분류기에 따라 뇌파 신호를 분류하는 단계를 포함하는, 주의집중 모듈을 이용한 뇌파 신호 분류 방법을 제공한다.

본 발명은 또한, 사용자의 두피에 접촉된 복수의 전극 채널을 통해 측정된 뇌파 신호를 수신하는 뇌파 신호 수신부; 상기 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 필터링하는 필터링부; 상기 필터링부를 통해 처리된 뇌파 신호를 이용하여 뇌파 이미지를 생성하여 전처리하는 뇌파 신호 처리부; 상기 전처리된 뇌파 신호를 신경망으로 인코딩하는 인코딩부; 상기 인코딩된 데이터를 주의집중 모듈에 입력시켜 상기 뇌파 신호를 학습시킴에 따라 뇌파 이미지에 기초한 뇌파 신호 분류기 선택 모델을 구축하는 모델 학습부; 및 상기 선택된 뇌파 신호 분류기로 뇌파 신호를 분류하는 뇌파 신호 분류부를 포함하는 뇌파 신호 분류 장치를 제공한다.

본 발명에 따른 뇌파 신호 분류 방법은 뇌파 신호 분류 정확도가 높고, 분류기를 학습한 데이터 모듈이나 피험자 또는 뇌파에 영향을 주는 피험자의 상태가 다르더라도, 미리 피험자에게 적합한 분류기를 선택함에 따라 따로 실험된 데이터를 동시에 묶어 처리할 수 있을 뿐만 아니라. 피험자의 문맥정보 별로 최적의 분류기를 선택할 수 있어 모든 분류기의 결과값을 기다리지 않아 기존 앙상블 시스템 대비 실시간에 가까운 빠른 뇌파 분석이 가능하다.

도 1은 본 발명의 뇌파 신호 분류 방법의 전체 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 심층 강화학습 EEG 데이터 기반 의도 인식 시스템의 디어이그램이다.
도 3은 본 발명의 일 실시예에 따라, 주의집중 모듈이 CNN, LSM 또는 CNN+LSTM 모듈 중 하나를 선택하는 과정을 개시한 것이다.
도 4는 본 발명의 일 실시예에 따른 뇌파 신호 분류 방법을 구현하기 위한 알고리즘이다.

다른 식으로 정의되지 않는 한, 본 명세서에서 사용된 모든 기술적 및 과학적 용어들은 본 발명이 속하는 기술 분야에서 숙련된 전문가에 의해서 통상적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 본 명세서에서 사용된 명명법 및 이하에 기술하는 실험 방법은 본 기술 분야에서 잘 알려져 있고 통상적으로 사용되는 것이다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 발명에서는, 주의집중 모듈을 이용하여 뇌파 신호 분류기를 입력되는 신호에 따라 다르게 선택할 경우, 뇌파 신호 분류 효율이 증가하는지 확인하고자 하였다.

즉, 본 발명의 일 실시예에서는 EEG 신호를 전처리한 다음, 합성곱 신경망(Convolutional neural network, CNN)으로 인코딩하여, 뇌파 신호 분류기를 선택하는 방법을 학습하는 주의집중 모듈에 심층 강화학습으로 학습시킬 경우, 입력되는 EEG 신호에 따라, 뇌파 신호 분류 정확도가 향상되고 피험자의 의도 인식률이 향상되는 것을 확인하였다(도 1, 도 2).

따라서, 본 발명은 일 관점에서,

(a) 특정 주파수 대역에 해당하는 추출된 뇌파 신호를 이용하여 복수의 뇌파 이미지를 생성하는 단계;

(b) 상기 뇌파 이미지를 전처리하는 단계;

(c) 상기 전처리된 데이터를 신경망으로 인코딩하는 단계;

(d) 상기 인코딩된 데이터를 주의집중 모듈에 입력시켜 상기 뇌파 신호를 학습시킴에 따라 뇌파 이미지에 기초한 뇌파 신호 분류기 선택 모델을 구축하는 단계; 및

(e) 뇌파 신호 분류기 선택 모델에서 선택한 뇌파 신호 분류기에 따라 뇌파 신호를 분류하는 단계를 포함하는 주의집중 모듈을 이용한 뇌파 신호 분류 방법에 관한 것이다.

본 발명에 있어서,

상기 뇌파 신호를 처리한 후 복수의 뇌파 이미지를 생성하는 단계는

상기 뇌파 신호를 측정한 트라이얼 별 뇌파 신호, 뇌파 신호 측정 시 사용된 전극 채널 별 뇌파 신호 및 뇌파 측정 시간을 이용하여 상기 복수의 뇌파 이미지를 생성하는 단계를 포함하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 뇌파 이미지를 전처리하는 단계는 상기 뇌파 이미지의 시간, 주파수, 채널의 3차원 데이터를 뇌파 신호 측정 시 사용된 전극 채널의 위치 상관관계 좌표를 고려한 정거방위도법(azimuthal equidistant projection:AEP)을 이용하여 2차원으로 처리하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 인코딩은 상기 전처리된 일정 시간 범위의 뇌파 신호를 인코딩할 수 있는 신경망이면 제한없이 이용가능하나, 바람직하게는 상기 전처리된 데이터를 입력받아 합성곱 신경망(convolutional neural network, CNN), 순환 신경망 및 상기 신경망이 결합된 신경망으로 구성된 군에서 선택되는 신경망으로 인코딩하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 주의집중 모듈은 인코딩된 뇌파 신호를 분류할 뇌파 신호 분류기를 선택하는 방법을 학습하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 주의집중 모듈은 인코딩된 뇌파 신호를 분류할 뇌파 신호 분류기를 선택하는 방법을 심층 강화학습으로 학습하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 주의집중 모듈은 심층 Q 네트워크(deep Q network, DQN), 심층 결정형 정책 강화학습(deep deterministic policy gradients reinforcement learning, DDPG RL) 및 주의집중 네트워크(attention network)로 구성된 군에서 선택되는 신경망으로 학습하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 뇌파 신호 분류기는 신경망 또는 기계학습 분류기 인 것을 특징으로 할 수 있고, 상기 기계학습 분류기는 서포트 벡터 머신(Support Vector Machine, SVM) 또는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)인 것을 특징으로 할 수 있으며, 상기 신경망은 합성곱 신경망(convolutional neural network, CNN), 순환 신경망(recurrent neural network) 및 합성곱 재귀 신경망(convolutional LSTM)으로 구성된 군에서 선택되는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 상기 순환 신경망은 LSTM(Long-short term memory) 신경망, GRU(Gated Recurrent Unit) 신경망, 바닐라 순환 신경망(Vanilla recurrent neural network) 및 집중적 순환 신경망(attentive recurrent neural network)으로 구성된 군에서 선택되는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 추출한 후, 상기 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 단계는 상기 뇌파 신호 중 2Hz 내지 30Hz에 해당하는 뇌파 신호를 추출하는 단계를 포함하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 주의집중 모듈이 DQN일 경우, 손실함수는 하기 식으로 표현되는 것을 특징으로 할 수 있다.

수식 1:

여기서, s는 상태(state) 값이고, a는 '모델 선택 행동'이며, r은 행동(a)로부터 얻어지는 보상함수이고,

은 감소값으로 0과 1사이의 값을 가지며, Q는 인코딩 신경망이고, Q'은 타겟 네트워크이다.

본 발명에 있어서, 상기 방법은 (f) 사용자의 뇌파 신호로부터 상기 복수의 뇌파 이미지를 상기 주의집중 모듈에 입력시켜 상기 사용자의 뇌파 신호를 분류하는 단계를 추가로 포함하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 뇌파 신호 분류기는 미리 학습된 것을 특징으로 할 수 있다.

즉, 본 발명의 DQN은 심층 합성곱신경망(CNN)을 인코더로 Q-학습(Q-learning)의 보상함수로 최적의 방법 즉, 어떤 뇌파 신호 분류기를 선택할 경우, 가장 좋은 보상함수 값이 나타날지를 결정하는 방법이다. DQN의 Q 학습은 결정적(deterministic) MDP로, 에이전트는 현재의 상태에서 다음 행동을 선택하기 위한 정책 π: S →A를 학습한다. 이때 S는 상태, A는 행동이며, 임의의 정책 π로 획득 축적된 보상 값(cumulative reward)은 다음과 같이 나타낼 수 있다.

수식 2:

은 할인율(discount factor)이며,

은 정책

로 결정된 행동, s'는 다음 상태이다. 여기서 에이전트의 목적은 모든 상태 s에 대해

을 최대로 하는 최적 정책(optimal policy)을 학습하는 것이고 이를

라 정의한다. 즉, 최적 값(optimal value)

(수식 3)을 만족한다. 이 때 Q 학습은

(수식 4)로 표현되며,

는 S₀로부터 시작해 첫 action a를 적용하고 따라가면서 획득할 수 있는 전체적으로 할인이 이루어진 축적된 보상 값을 의미한다. 이 때,

는

로 표현할 수 있다. 최종적인 DQN 모델의 손실함수(loss)는 예측된 값(predicted value)에서 계산된 Q의 값의 차이의 유클리드 거리로 표현될 수 있으며, 이는 수식 1과 같다.

본 발명의 DQN에서 보상 값은 행동 패턴에 따라 다음과 같이 정의된다.

(R: 보상 값으로 임의의 양수이다.)

(P: 처벌 값으로 0이하의 실수 이다.)

본 발명에서 상기 주의집중 모듈은 상기와 같이 인코딩 데이터를 분석하기 위해 최적의 한 모델을 선택하는 아니라, 여러 분류기들을 어떤 비율로 더할 것인가(가중치, weight)를 정하여 분류기들의 최종 분류 결정을 위한 확률 벡터를 엄밀하게 학습시킬 수 있다.

연속적인 뇌파 분류 방법에서 특징 추출은 하기와 같이 정의된다:

인코딩된 공통 특성

여기서

는 a 번째 모델이고,

은 i번째 partial state 뇌파 신호 분류기에 대한 웨이트 매트릭스이며,

는 비선형함수로 선택한 뇌파 신호 분류기의 시뮬레이션 모델로 정의하며, Key는 i번째 partial state의 값으로 정의하고, 여기서 상기 값은 시뮬레이션 결과에 따라 얻어진 보상 값으로 정의한다.

이때 i가 지칭하는 행동부 i번째 모델이 예측을 하였다면,

은 0 이상의 보상값이 나오고, 반대로 예측하지 못했다면,

는 0이하의 처벌 값이 나온다.

주의집중 모듈은 여러 가지 방법에 의해 선택될 수 있다. 주의집중 모듈은 여기서, soft, hard attention, multi-head attention 등이 있다. 그중 대표적인, 부드러운 주의집중(Soft attention) 모델은 다음과 같이 표현된다.

위에서 구한 인코딩 특성 추출부의 Key 값에 따라, softmax 함수 꼴로 정의된다. 이때 N은 주의집중(Attention) 레이어(층)의 개수이다.

은 n번째 부드러운 주의집중 무게 벡터(soft attention weight vector)를 의미하고,

은 상수로, 학습 가능하며 최초엔 랜덤으로 초기화 되며, 주의 집중모델이

이 서로 비슷한 부분을 보는 것을 막기 위해 조절 방법(Regularization)방법이 추가될 수 있으며, 그 예시는 하기와 같다:

엔트로피 이용:

거리 이용:

위에서 구한 학습된 attention 상수 값

에 실제 행동하기 바라는 action value 를 구한다. 원래 선택하려던 모델을

~ (0, 1) 에 따라 선택(부분)적으로 주의집중하여 0, 1이 아닌 여러 개의 값을 선택하는 것이다. 이때 최종 보상 함수는 다음과 같다.

어텐션 층이 n개 보다 많으면 이를 연결하고 이를 바탕으로 최종 Q의 값을 추론할 수 있다.

는 함수 근사화(function approximation) 이다.

본 발명은 또 다른 관점에서, 사용자의 두피에 접촉된 복수의 전극 채널을 통해 측정된 뇌파 신호를 수신하는 뇌파 신호 수신부; 상기 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 필터링하는 필터링부; 상기 필터링부를 통해 처리된 뇌파 신호를 이용하여 뇌파 이미지를 생성하여 전처리하는 뇌파 신호 처리부; 상기 전처리된 뇌파 신호를 신경망으로 인코딩하는 인코딩부; 상기 인코딩된 데이터를 주의집중 모듈에 입력시켜 상기 뇌파 신호를 학습시킴에 따라 뇌파 이미지에 기초한 뇌파 신호 분류기 선택 모델을 구축하는 모델 학습부; 및 상기 선택된 뇌파 신호 분류기로 뇌파 신호를 분류하는 뇌파 신호 분류부를 포함하는 뇌파 신호 분류 장치에 관한 것이다.

본 발명에 있어서, 상기 뇌파 신호 처리부는 상기 뇌파 신호를 측정한 트라이얼 별 뇌파 신호, 뇌파 신호 측정 시 사용된 전극 채널 별 뇌파 신호 및 뇌파 측정 시간을 이용하여 상기 복수의 뇌파 이미지를 생성하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 뇌파 신호 처리부는 상기 뇌파 이미지의 시간, 주파수, 채널의 3차원 데이터를 뇌파 신호 측정 시 사용된 전극 채널의 위치 상관관계 좌표를 고려한 정거방위도법(azimuthal equidistant projection:AEP)을 이용하여 2차원으로 처리하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 사용자의 뇌파 신호로부터 상기 복수의 뇌파 이미지를 상기 뇌파 신호 분류 모델에 입력시켜 상기 사용자의 뇌파 신호를 분류하도록 하는 제어부를 추가로 포함하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 인코딩부는 상기 전처리된 데이터를 입력받아 합성곱 신경망(convolutional neural network, CNN), 순환 신경망 및 상기 신경망이 결합된 신경망으로 구성된 군에서 선택되는 신경망으로 인코딩하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 주의집중 모듈은 인코딩된 뇌파 신호를 분류할 뇌파 신호 분류기를 선택하는 방법을 학습하는 것을 특징으로 하며, 본 발명에 있어서, 상기 주의집중 모듈은 인코딩된 뇌파 신호를 분류할 뇌파 신호 분류기를 선택하는 방법을 심층 강화학습으로 학습하는 것을 특징으로 할 수 있다.

본 발명에 있어서, 상기 뇌파 신호 분류부는 신경망 또는 기계학습 분류기 일 수 있고, 상기 기계학습 분류기는 서포트 벡터 머신(Support Vector Machine, SVM) 또는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)일 수 있으며, 상기 신경망은 합성곱 신경망(convolutional neural network, CNN), 순환 신경망(recurrent neural network) 및 합성곱 재귀 신경망(convolutional LSTM)으로 구성된 군에서 선택되는 것을 특징으로 할 수있다.

본 발명에 있어서, 상기 순환 신경망은 LSTM(Long-short term memory) 신경망, GRU(Gated Recurrent Unit) 신경망, 바닐라 순환 신경방(Vanilla recurrent neural network) 및 집중적 순환 신경망(attentive recurrent neural network)으로 구성된 군에서 선택되는 것을 특징으로 할 수 있다.

실시예

이하, 실시예를 통하여 본 발명을 더욱 상세히 설명하고자 한다. 이들 실시예는 오로지 본 발명을 예시하기 위한 것으로서, 본 발명의 범위가 이들 실시예에 의해 제한되는 것으로 해석되지는 않는 것은 당업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.

실시예 1. EEG 데이터 기반 의도 인식 시스템 성능 확인

64채널 EEG 데이터는 인지 부하(cognitive load)를 위한 글자를 외우는 실험을 13명을 대상으로 수행한 공개된 데이터를 이용해 검증하였다(Bashivan et al., European Journal of Neuroscience, Vol. 40(12), pp. 3774-3784, 2014). 데이터의 전 처리(preprocessing) 과정은 공지된 바와 같이, 각 채널별로 짧은 시간 푸리에 변환(STFT)을 하여 [시간, 주파수, 채널] 차원으로 바꾸고 그 후, 베타파(13-30Hz), 알파파(8-13Hz), 세타파(4-7Hz)의 영역만을 각각 추려 3개의 색 지도 특성으로 남겼다(Bashivan, Pouya, et al., arXiv preprintarXiv:1511.06448, 2015).

채널의 위치를 고려해주면서 차원을 줄이기 위해, 정거방위도법으로 2차원으로 윈도우를 줄인 다음, 윈도우 시리즈를 7개씩 묶어 이를 1차원 합성곱 신경망 인코더를 통해 DQN의 강화학습의 상태(S)로 전달하였다. DQN은 이를 통해, 미리 학습된 모델 중 최적화 된 모델을 골라 선택하고 미리 학습된 모델은 예상된 인지 상태를 추출하도록 하였으며, 본 발명에서 시험적으로 사용한 미리 학습된 뇌파 분류 모델은 기본 1차원 합성곱 신경망(1D-Conv), LSTM 신경망 및 합성곱 재귀 신경망(convolutional LSTM)을 사용하였다(Yue-Hei Ng, Joe, et al. Proceedings of the IEEE conference on computer vision and pattern recognition. 2015).

그 결과, 심층 강화학습 게이트의 정확도는 90.3%로, 사용된 전체적인 모델의 평균치(89.98%)보다 높은 것을 확인하였으며, 이는 본 발며으이 주의집중 모듈이 EEG 신호의 문맥정보를 해석하여 최적의 신경망 구조를 선택한다는 것을 의미한다.

이상으로 본 발명 내용의 특정한 부분을 상세히 기술하였는 바, 당업계의 통상의 지식을 가진 자에게 있어서 이러한 구체적 기술은 단지 바람직한 실시 양태일 뿐이며, 이에 의해 본 발명의 범위가 제한되는 것이 아닌 점은 명백할 것이다. 따라서, 본 발명의 실질적인 범위는 첨부된 청구항들과 그것들의 등가물에 의하여 정의된다고 할 것이다.

Claims

다음의 단계를 포함하는 주의집중 모듈을 이용한 뇌파 신호 분류 방법:
(a) 특정 주파수 대역에 해당하는 추출된 뇌파 신호를 이용하여 복수의 뇌파 이미지를 생성하는 단계;
(b) 상기 뇌파 이미지를 전처리하는 단계;
(c) 상기 전처리된 데이터를 신경망으로 인코딩하는 단계;
(d) 상기 인코딩된 데이터를 심층 Q 네트워크(deep Q network, DQN)로 구성되는 주의집중 모듈에 입력하여 상기 뇌파 신호를 학습시켜 주의집중 모듈에 뇌파 이미지에 기초한 뇌파 신호 분류기 선택 모델을 구축하되, 상기 뇌파 신호 분류기 선택 모델은 하나 이상의 미리 학습된 뇌파 신호 분류기 중에서 입력된 뇌파 이미지 분석에 가장 적합한 뇌파 신호 분류기를 선택하도록 구축하는 단계; 및
(e) 뇌파 신호 분류기 선택 모델에서 선택한 뇌파 신호 분류기에 따라 뇌파 신호를 분류하는 단계.
제1항에 있어서,
상기 뇌파 신호를 처리한 후 복수의 뇌파 이미지를 생성하는 단계는
상기 뇌파 신호를 측정한 트라이얼 별 뇌파 신호, 뇌파 신호 측정 시 사용된 전극 채널 별 뇌파 신호 및 뇌파 측정 시간을 이용하여 상기 복수의 뇌파 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 뇌파 신호 분류 방법.
제1항에 있어서, 상기 뇌파 이미지를 전처리하는 단계는 상기 뇌파 이미지의 시간, 주파수, 채널의 3차원 데이터를 뇌파 신호 측정 시 사용된 전극 채널의 위치 상관관계 좌표를 고려한 정거방위도법(azimuthal equidistant projection, AEP)을 이용하여 2차원으로 처리하는 것을 특징으로 하는 뇌파 신호 분류 방법.
제1항에 있어서, 상기 인코딩은 상기 전처리된 데이터를 입력받아 합성곱 신경망(convolutional neural network, CNN), 순환 신경망 및 상기 신경망이 결합된 신경망으로 구성된 군에서 선택되는 신경망으로 인코딩하는 것을 특징으로 하는 뇌파 신호 분류 방법.
제1항에 있어서, 상기 뇌파 신호 분류기는 신경망 또는 기계학습 분류기인 것을 특징으로 하는 뇌파 신호 분류 방법.
제5항에 있어서, 상기 기계학습 분류기는 서포트 벡터 머신(Support Vector Machine, SVM) 또는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)인 것을 특징으로 하는 뇌파 신호 분류 방법.
제5항에 있어서, 상기 신경망은 합성곱 신경망(convolutional neural network, CNN), 순환 신경망(recurrent neural network) 및 합성곱 재귀 신경망(convolutional LSTM)으로 구성된 군에서 선택되는 것을 특징으로 하는 뇌파 신호 분류 방법.
제7항에 있어서, 상기 상기 순환 신경망은 LSTM(Long-short term memory) 신경망, GRU(Gated Recurrent Unit) 신경망, 바닐라 순환 신경망(Vanilla recurrent neural network) 및 집중적 순환 신경망(attentive recurrent neural network)으로 구성된 군에서 선택되는 것을 특징으로 하는 뇌파 신호 분류 방법.
제1항에 있어서, 상기 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 추출한 후, 상기 뇌파 신호를 이용하여 뇌파 이미지를 생성하는 단계는 상기 뇌파 신호 중 2Hz 내지 30Hz에 해당하는 뇌파 신호를 추출하는 단계를 포함하는 것을 특징으로 하는 뇌파 신호 분류 방법.
제1항에 있어서, 상기 주의집중 모듈의 손실함수는 하기 식으로 표현되는 것을 특징으로 하는 뇌파 신호 분류 방법:
수식 1:

여기서, s는 상태(state) 값이고, a는 '모델 선택 행동'이며, r은 행동(a)로부터 얻어지는 보상함수이고,
은 감소값으로 0과 1사이의 값을 가지며, Q는 인코딩 신경망이고, Q'은 타겟 네트워크임.
제1항에 있어서, (f) 사용자의 뇌파 신호로부터 상기 복수의 뇌파 이미지를 상기 주의집중 모듈에 입력시켜 상기 사용자의 뇌파 신호를 분류하는 단계를 추가로 포함하는 것을 특징으로 하는 뇌파 신호 분류 방법.
삭제
사용자의 두피에 접촉된 복수의 전극 채널을 통해 측정된 뇌파 신호를 수신하는 뇌파 신호 수신부;
상기 뇌파 신호 중 특정 주파수 대역에 해당하는 뇌파 신호를 필터링하는 필터링부;
상기 필터링부를 통해 처리된 뇌파 신호를 이용하여 뇌파 이미지를 생성하여 전처리하는 뇌파 신호 처리부;
상기 전처리된 뇌파 신호를 신경망으로 인코딩하는 인코딩부;
상기 인코딩된 데이터를 심층 Q 네트워크(deep Q network, DQN)로 구성되는 주의집중 모듈에 입력하여 상기 뇌파 신호를 학습시켜 주의집중 모듈에 뇌파 이미지에 기초한 뇌파 신호 분류기 선택 모델을 구축하는 모델 학습부로, 상기 뇌파 신호 분류기 선택 모델은 하나 이상의 미리 학습된 뇌파 신호 분류기 중에서 입력된 뇌파 이미지 분석에 가장 적합한 뇌파 신호 분류기를 선택하도록 구축됨; 및
상기 선택된 뇌파 신호 분류기로 뇌파 신호를 분류하는 뇌파 신호 분류부를 포함하는 뇌파 신호 분류 장치.
제13항에 있어서, 상기 뇌파 신호 처리부는 상기 뇌파 신호를 측정한 트라이얼 별 뇌파 신호, 뇌파 신호 측정 시 사용된 전극 채널 별 뇌파 신호 및 뇌파 측정 시간을 이용하여 상기 복수의 뇌파 이미지를 생성하는 것을 특징으로 하는 뇌파 신호 분류 장치.
제13항에 있어서, 상기 뇌파 신호 처리부는 상기 뇌파 이미지의 시간, 주파수, 채널의 3차원 데이터를 뇌파 신호 측정 시 사용된 전극 채널의 위치 상관관계 좌표를 고려한 정거방위도법(azimuthal equidistant projection:AEP)을 이용하여 2차원으로 처리하는 것을 특징으로 하는 뇌파 신호 분류 장치.
제13항에 있어서, 사용자의 뇌파 신호로부터 상기 복수의 뇌파 이미지를 상기 뇌파 신호 분류 모델에 입력시켜 상기 사용자의 뇌파 신호를 분류하도록 하는 제어부를 추가로 포함하는 것을 특징으로 하는 뇌파 신호 분류 장치.
제13항에 있어서, 상기 인코딩부는 상기 전처리된 데이터를 입력받아 합성곱 신경망(convolutional neural network, CNN), 순환 신경망 및 상기 신경망이 결합된 신경망으로 구성된 군에서 선택되는 신경망으로 인코딩하는 것을 특징으로 하는 뇌파 신호 분류 장치.
제13항에 있어서, 상기 뇌파 신호 분류부는 신경망 또는 기계학습 분류기인 것을 특징으로 하는 뇌파 신호 분류 장치.
제18항에 있어서, 상기 기계학습 분류기는 서포트 벡터 머신(Support Vector Machine, SVM) 또는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)인 것을 특징으로 하는 뇌파 신호 분류 장치.
제18항에 있어서, 상기 신경망은 합성곱 신경망(convolutional neural network, CNN), 순환 신경망(recurrent neural network) 및 합성곱 재귀 신경망(convolutional LSTM)으로 구성된 군에서 선택되는 것을 특징으로 하는 뇌파 신호 분류 장치.
제20항에 있어서, 상기 순환 신경망은 LSTM(Long-short term memory) 신경망, GRU(Gated Recurrent Unit) 신경망, 바닐라 순환 신경망(Vanilla recurrent neural network) 및 집중적 순환 신경망(attentive recurrent neural network)으로 구성된 군에서 선택되는 것을 특징으로 하는 뇌파 신호 분류 장치.