KR20200141672A - 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스 - Google Patents

감정 인식 방법 및 이를 이용한 감정 인식용 디바이스 Download PDF

Info

Publication number
KR20200141672A
KR20200141672A KR1020190068477A KR20190068477A KR20200141672A KR 20200141672 A KR20200141672 A KR 20200141672A KR 1020190068477 A KR1020190068477 A KR 1020190068477A KR 20190068477 A KR20190068477 A KR 20190068477A KR 20200141672 A KR20200141672 A KR 20200141672A
Authority
KR
South Korea
Prior art keywords
emotion
feature
biosignal data
user
labeled
Prior art date
Application number
KR1020190068477A
Other languages
English (en)
Inventor
이홍구
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Priority to KR1020190068477A priority Critical patent/KR20200141672A/ko
Priority to US17/617,932 priority patent/US20220319536A1/en
Priority to PCT/KR2020/002226 priority patent/WO2020251135A1/ko
Priority to JP2021572849A priority patent/JP2022536126A/ja
Publication of KR20200141672A publication Critical patent/KR20200141672A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 감정 인식 방법으로서, 컨텐츠를 사용자에게 제공하는 단계, 컨텐츠가 제공되는 동안의 사용자의 생체 신호 데이터를 수신하는 단계, 감정이 라벨링된 복수의 생체 신호 데이터에 기초하여 감정을 분류하도록 학습된 감정 분류 모델을 이용하여 컨텐츠에 대한 사용자의 감정을 인식하는 단계를 포함하는 감정 인식 방법 및 이를 이용한 디바이스를 제공한다.

Description

감정 인식 방법 및 이를 이용한 감정 인식용 디바이스{METHOD FOR EMOTION RECOGNITION AND DEVICE FOR EMOTION RECOGNITION USING THE SAME}
본 발명은 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스에 관한 것으로, 보다 구체적으로는 생체 신호 데이터와 사용자의 감정을 매칭하여 제공하는, 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스에 관한 것이다.
감정이란, 인간이 가질 수 있는 정신적 상태를 의미하고, 크게는 희, 노, 애, 락으로 구분될 수 있다.
이때, 인간의 감정과 관련하여, 감정에 대한 인의적인 외부 자극을 통해 유발하거나 이를 토대로 심리적 안정을 도모하고자 하는 다양한 기술적 개발이 진행되고 있는 실정이다.
보다 구체적으로, HMD (Head-Mounted Display) 디바이스, HCI (human computer interaction), 게임, 동작 기반의 제어와 같은 다양한 스마트 환경에서 컴퓨터 시스템과 인간 간의 자연스러운 상호 작용을 구축하려는 요구가 증가되고 있다. 이를 위해, 인간의 감정을 자동적으로 분석하고 이해하려는 수요 또한 증가하고 있는 실정이다.
이때, 인간과 컴퓨터 시스템의 상호 작용을 위해서는, 인간 간의 의사 소통처럼 지능형 시스템 또한 사람의 느낌을 이해하고 적절한 반응이 요구될 수 있다. 특히, 상기 시스템들은 인간의 감정, 인간의 의도, 마음 상태를 다양한 방법으로 예측하여 이해하는 기능이 필수적일 수 있다.
한편, 종래의 감정 인식 프로토콜은, 사용자 각각에 대한 감정을 느끼는 성향과 무관하게 감정을 유도하거나 인식하고, 항상 동일한 초기의 레벨 값에서 감정 인식이 이루어짐에 따라, 감정 인식 결과의 신뢰도가 낮을 수 있다.
특히, 상기 감정 인식 프로토콜은 사용자 별로 다양한 성향에 대한 맞춤 분석이 어렵고, 이에 감정 인식 결과에 대한 오차가 클 수 있다.
이에, 컴퓨터 시스템에서 사람의 감정에 자연스럽게 반응하는 지능형 감정 컴퓨팅을 위해, 인간의 감정 상태를 인지하고 분석하여, 감정 인식의 정확도를 향상시킬 수 있는 새로운 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다.
본 발명의 발명자들은, 인간에 대한 감정에 대하여, 인체의 반응의 일환으로 생체 신호들의 변화가 선행할 것이라는 점에 주목하였다.
보다 구체적으로, 본 발명의 발명자들은 뇌파 데이터, 맥박, 혈압 등 사용자의 의식적 및/또는 무의식적 (예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 의미하는 생체 신호 데이터가 인간의 감정과 연관이 있을 수 있음에 주목하였다.
나아가, 본 발명의 발명자들은 상기와 같은 생체 신호 데이터를 제공하고 다양한 컨텐츠를 제공할 수 있는 HMD 디바이스에 더욱 주목하였다.
이때, HMD 디바이스는 사용자의 머리에 착용 가능한 구조로 형성되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능할 수 있도록 사용자에게 가상현실 (Virtual Reality, VR), 증강 현실 (Augmented Reality, AR) 또는/및 혼합 현실 (Mixed Reality, MR) 에 관련된 영상을 제공하는 디스플레이 장치일 수 있다. 이와 같은 HMD 디바이스는, 사용자의 눈 부위에 착용 가능하도록 고글 (Goggle) 형태로 형성되는 본체와, 본체에 연결되어 본체를 사용자의 머리에 고정시킬 수 있도록 밴드 형태로 형성되는 착용부로 구성될 수 있다. 나아가, HMD 디바이스는 사용자의 생체 신호 데이터를 획득하는 센서가 구비될 수 있고, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 감정 유발 컨텐츠를 출력하는 컨텐츠 출력부, 사용자로부터 선택을 입력하는 입력부를 더욱 포함할 수 있다.
이에, 본 발명의 발명자들은, HMD 디바이스를 통해 제공된 컨텐츠에 따른 사용자의 생체 신호 데이터에 기초하여 사용자의 감정을 예측하거나 분류할 수 있음을 인지할 수 있었다.
이때, 본 발명의 발명자들은, 감정 인식에 있어서 사용자 각각에 대한 감정을 느끼는 성향과 무관하게 감정을 유도하거나 인식하는 종래의 프로토콜에 대한 문제점을 해결하기 위해, 생체 신호와 사용자 개개인의 감정 선택을 매칭하여 감정 인식의 기준이 되는 기준 감정을 설정하고자 하였다.
나아가, 본 발명의 발명자들은 결정된 기준 감정, 즉 감정이 라벨링된 생체 신호 데이터에 기초하여 사용자의 감정을 분류하도록 구성된 예측 모델을, 감정 인식 시스템에 더욱 적용하고자 하였다.
이에, 본 발명의 발명자들은 사용자 개개인에 대한 기준 감정의 설정 및 기준 감정에 기초하여 감정을 인식하도록 구성된 예측 모델을 통해, 새롭게 발생하는 이벤트에 따른 생체 신호에 기초하여 사용자의 감정을 보다 민감하고 정확하게 유추할 수 있음을 기대할 수 있었다.
이때, 본 발명의 발명자들은 예측 모델의 학습에 있어서, 신뢰도 높은 감정 분류 및 인식 결과 제공을 위한 학습 데이터가 충분하지 않다는 점을 인지하였다.
본 발명의 발명자들은, 이를 해결하기 위해 감정 유발 컨텐츠에 대한 선택이 이루어지는 과정에서의 사용자의 시선, 머뭇거림 등에 따라 생성된 모호한 감정 라벨링 데이터를 학습 데이터로 더욱 적용하고자 하였다.
특히, 본 발명의 발명자들은, 사용자의 감정 선택과 생체 신호 데이터가 상대적으로 낮은 신뢰도로 매칭된 모호한 감정 라벨링 데이터, 또는 어느 감정과도 매칭되지 않은 생체 신호 데이터를, 사용자의 감정 선택과 생체 신호 데이터가 보다 높은 신뢰도로 매칭된 확실한 감정 라벨링 데이터에 업데이트 하도록 예측 모델을 구성할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은 감정에 따라 라벨 분류가 상대적으로 어려운 모호한 감정 라벨링 데이터의 특징부를 구체적인 감정으로 분리하고, 이를 기초로 명확한 라벨링 데이터의 특징부를 업데이트 하도록 예측 모델을 구성할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 컨텐츠가 제공되는 동안 획득된 생체 신호 데이터에 기초하여 사용자의 감정을 인식하도록 구성된 감정 분류 모델에 기초한, 감정 인식 방법을 제공하는 것이다.
보다 구체적으로 본 발명이 해결하고자 하는 과제는, 사용자의 선택에 의해 제1 라벨링된 생체 신호 데이터 및/또는 제2 라벨링된 생체 신호 데이터에 기초하여 학습 모델을 업데이트 하고, 학습 모델에 기초하여 새로운 생체 신호 데이터에 대한 감정을 분류하도록 구성된 감정 분류 모델을 이용한 감정 인식 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 컨텐츠가 제공되는 동안의 사용자의 생체 신호 데이터를 수신하도록 구성된 수신부, 및 감정을 분류하도록 학습된 감정 분류 모델을 이용하여, 사용자의 감정을 인식하도록 구성된 프로세서를 포함하는, 감정 인식용 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 감정 인식 방법 및 감정 인식용 디바이스를 제공한다. 본 발명의 일 실시예에 따른 프로세서에 의해서 수행되는 사용자의 생체 신호 데이터를 이용한 감정 인식 방법은, 프로세서에 의해 구현되는 감정 인식 방법으로서, 컨텐츠를 사용자에게 제공하는 단계, 컨텐츠가 제공되는 동안의 사용자의 생체 신호 데이터를 수신하는 단계, 감정이 라벨링된 복수의 생체 신호 데이터에 기초하여 감정을 분류하도록 학습된 감정 분류 모델을 이용하여 컨텐츠에 대한 사용자의 감정을 인식하는 단계를 포함한다. 이때, 라벨링된 복수의 생체 신호 데이터는, 사용자의 감정에 대하여 매칭된 제1 라벨링된 생체 신호 데이터 및 제1 라벨링된 생체 신호 데이터보다 라벨링 신뢰도가 낮거나 또는 어느 감정과도 매칭되지 않은 제2 라벨링된 생체 신호 데이터를 포함한다.
본 발명의 특징에 따르면, 감정 분류 모델은, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링된 생체 신호 데이터를 입력받는 단계, 입력된 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하는 단계, 재구성된 생체 신호 데이터를 획득하도록, 인코딩된 적어도 하나의 라벨링된 생체 신호 데이터를 디코딩하는 단계, 입력된 적어도 하나의 라벨링된 생체 신호 데이터 및 재구성된 생체 신호 데이터의 차이가 최소가 되도록 감정 분류 모델에 의해 결정된 특징부를 학습시키는 단계를 통해 학습된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 특징부는, 제1 라벨링된 생체 신호 데이터에 대한 특징 변수를 포함하는 제1 특징부 및 제2 라벨링된 생체 신호 데이터에 대한 특징 변수를 포함하는 제2 특징부를 포함할 수 있다. 또한, 특징부를 학습시키는 단계는, 제1 특징부 및 제2 특징부의 특징 변수를 비교하는 단계, 및 비교 결과에 기초하여 제2 특징부의 특징 변수를 제1 특징부에 업데이트하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 사용자의 감정은 복수개이고, 제1 특징부는, 사용자의 복수개의 감정 각각에 대한 특징 변수를 포함할 수 있다. 나아가, 제2 특징부는, 복수개의 감정 각각에 대한 특징 변수, 복수개의 감정 중 선택된 2 개 이상의 조합 감정에 대한 특징 변수, 및 복수개의 감정과 상이한 감정에 대한 특징 변수 중 적어도 하나의 특징 변수를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 적어도 하나의 라벨링된 생체 신호 데이터를 입력받는 단계, 적어도 하나의 생체 신호 데이터를 인코딩하는 단계, 인코딩된 적어도 하나의 생체 신호 데이터를 디코딩하는 단계, 및 특징부를 학습시키는 단계를 반복 수행하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하는 단계는, 적어도 하나의 라벨링된 생체 신호 데이터에 대한 특징 변수를 추출하도록 인코딩하는 단계를 포함할 수 있다. 또한, 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하는 단계 이후에, 추출된 특징 변수를 기초로 특징부를 결정하는 단계가 더 수행될 수 있다.
본 발명의 또 다른 특징에 따르면, 컨텐츠에 대한 사용자의 감정을 인식하는 단계는, 특징부를 통해, 사용자의 생체 신호 데이터에 기초하여 상기 컨텐츠에 대한 사용자의 감정을 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 감정 분류 모델은, 특징부와 연결된 분류부를 더 포함하고, 컨텐츠에 대한 사용자의 감정을 인식하는 단계는, 특징부를 통해 사용자의 생체 신호 데이터에 기초하여 컨텐츠에 대한 사용자의 감정을 제1 분류하는 단계, 및 감정 분류부를 통해, 컨텐츠에 대한 사용자의 감정을 제2 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 컨텐츠를 사용자에게 제공하는 단계 이전에, 라벨링된 생체 신호 데이터를 획득하도록, 사용자로부터 획득한 생체 신호를 사용자의 감정에 기초하여 라벨링하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 사용자의 감정에 기초하여 라벨링하는 단계는, 감정 유발 컨텐츠를 사용자에게 제공하는 단계, 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 사용자의 생체 신호 데이터를 수신하는 단계, 감정 유발 컨텐츠에 대한 선택을 입력 받는 단계, 및 라벨링된 생체 신호 데이터를 획득하도록, 선택과 생체 신호 데이터를 매칭하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 감정 유발 컨텐츠에 대한 시선 데이터를 수신하는 단계를 더 포함하고, 선택은 감정 유발 컨텐츠 중 선택된 적어도 하나의 컨텐츠에 대한 응시를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 응시가 미리 결정된 시간 이상 유지되는 경우, 생체 신호 데이터를 매칭하는 단계는, 선택과 생체 신호 데이터를 제1 라벨링된 생체 신호 데이터로 매칭하는 단계를 포함할 수 있다. 또한, 응시가 미리 결정된 시간 미만인 경우, 생체 신호 데이터를 매칭하는 단계는, 선택과 생체 신호 데이터를 제2 라벨링된 생체 신호 데이터로 매칭하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 생체 신호 데이터는, 사용자의 뇌파 데이터 및 시선 데이터 중 적어도 하나의 데이터일 수 있다.
본 발명의 실시예에 따른 감정 인식용 디바이스는, 컨텐츠를 사용자에게 제공하도록 구성된 출력부, 컨텐츠가 제공되는 동안의 사용자의 생체 신호 데이터를 수신하도록 구성된 수신부, 및 수신부 및 출력부와 통신하도록 연결된 프로세서를 포함한다. 이때, 프로세서는, 감정이 라벨링된 복수의 생체 신호 데이터에 기초하여 감정을 분류하도록 학습된 감정 분류 모델을 이용하여, 컨텐츠에 대한 사용자의 감정을 인식하도록 구성된다. 나아가, 라벨링된 복수의 생체 신호 데이터는, 사용자의 감정에 대하여 매칭된 제1 라벨링된 생체 신호 데이터, 및 제1 라벨링된 생체 신호 데이터보다 라벨링의 신뢰도가 낮거나 사용자의 감정과 매칭되지 않은 생체 신호 데이터의 제2 라벨링된 생체 신호 데이터를 포함한다.
본 발명의 특징에 따르면, 감정 분류 모델은, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링된 생체 신호 데이터를 입력받고, 입력된 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하고, 재구성된 생체 신호 데이터를 획득하도록, 감정 분류 모델에 의해 결정된 특징부를 통해, 인코딩된 적어도 하나의 라벨링된 생체 신호 데이터를 디코딩하고, 입력된 적어도 하나의 라벨링된 생체 신호 데이터 및 재구성된 생체 신호 데이터의 차이가 최소가 되도록 특징부를 학습시키는 단계를 통해 학습된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 특징부는, 제1 라벨링된 생체 신호 데이터에 대한 특징 변수를 포함하는 제1 특징부 및 제2 라벨링된 생체 신호 데이터에 대한 특징 변수를 포함하는 제2 특징부를 포함할 수 있다. 나아가, 특징부는 제1 특징부 및 제2 특징부의 특징 변수를 비교하고, 비교 결과에 기초하여 제2 특징부의 특징 변수를 제1 특징부에 업데이트하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 사용자의 감정은 복수개이고, 제1 특징부는 사용자의 복수개의 감정 각각에 대한 특징 변수를 포함하고, 제2 특징부는 복수개의 감정 각각에 대한 특징 변수, 복수개의 감정 중 선택된 2 개 이상의 조합 감정에 대한 특징 변수, 및 복수개의 감정과 상이한 감정에 대한 특징 변수 중 적어도 하나의 특징 변수를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 감정 분류 모델은, 적어도 하나의 라벨링된 생체 신호 데이터를 입력받고, 적어도 하나의 생체 신호 데이터를 인코딩하고, 인코딩된 적어도 하나의 생체 신호 데이터를 디코딩하고, 특징부를 학습시키는 단계를 반복 수행하여 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 감정 분류 모델은, 적어도 하나의 라벨링된 생체 신호 데이터에 대한 특징 변수를 추출하도록, 상기 생체 신호 데이터를 인코딩하도록 더 구성될 수 있고, 특징부는 추출된 특징 변수에 기초하여 결정될 수 있다.
본 발명의 또 다른 특징에 따르면, 특징부는, 사용자의 생체 신호 데이터에 기초하여 컨텐츠에 대한 사용자의 감정을 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 감정 분류 모델은 특징부와 연결되고, 특징부의 출력값에 기초하여 컨텐츠에 대한 사용자의 감정을 분류하도록 구성된 분류부를 더 포함할 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 사용자 개개인에 대한 감정 인식의 기준이 되는 기준 감정을 결정하고 제공함으로써, 감정 인식에 있어서 사용자 각각에 대한 감정을 느끼는 성향과 무관하게 감정을 유도하거나 인식하는 종래의 프로토콜에 대한 문제점을 해결할 수 있는 효과가 있다.
보다 구체적으로 본 발명은, 감정을 유발하는 감정 유발 컨텐츠의 제공에 따른 사용자에 대한 감정 선택을 입력 받고, 선택 중에 획득된 사용자의 생체 신호 데이터와 매칭하여, 사용자 개개인에 대한 기준 감정을 결정할 수 있다.
나아가, 본 발명은 기준 감정에 기초하여 사용자의 감정을 분류하도록 구성된 예측 모델을 감정 인식 시스템에 더욱 적용하고자 하였고, 이에 새롭게 발생하는 이벤트에 따른 생체 신호에 기초하여 사용자의 감정을 보다 민감하고 정확하게 유추할 수 있는 감정 인식 시스템을 제공할 수 있다.
또한, 본 발명은, 감정 유발 컨텐츠에 대한 선택이 이루어지는 과정에서의 사용자의 시선, 머뭇거림 등에 따라 생성된 모호한 인식 데이터를 학습 데이터로 제공할 수 있음에 따라, 감정을 분류하고 인식하도록 구성된 예측 모델의 감정 분류 성능의 향상에 기여할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 생체 신호 데이터를 이용한 감정 인식 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 감정 인식용 디바이스를 설명하기 위한 개략도이다.
도 3a 내지 3e는 본 발명의 다양한 실시예에서 이용되는 감정 분류 모델의 학습용 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터를 획득하기 위한 감정 라벨링 단계를 예시적으로 도시한 것이다.
도 3f는 본 발명의 다양한 실시예에서 이용되는 감정 분류 모델을 학습시키는 방법을 설명하기 위한 개략적인 순서도이다.
도 3g는 본 발명의 실시예에 따른 감정 인식 방법에 이용되는 감정 분류 모델의 구성을 예시적으로 도시한 것이다.
도 4a는 본 발명의 일 실시예에 따른 감정 인식 방법에서, 감정 분류 모델에 기초한 감정 인식 방법을 설명하기 위한 개략적인 순서도이다.
도 4b 및 4c는 본 발명의 일 실시예에 따른 감정 인식 방법에서, 감정 분류 모델에 기초한 감정 분류 단계를 예시적으로 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 발명에서, 감정 인식 시스템은 제한되지 않고, 사용자의 시선을 획득하고, 사용자의 뇌파 등과 같은 생체 신호 데이터를 획득하도록 구성된 모든 디바이스를 포함할 수 있다. 예를 들어, 감정 인식 시스템은 HMD 디바이스뿐만 아니라, 헤드셋, 스마트링, 스마트 와치, 이어셋, 이어폰 등과 같이 사용자의 신체 일부에 접촉/착용되고, 사용자의 생체 신호 데이터를 획득하는 센서가 포함된 디바이스와, 가상 현실, 증강 현실 또는/및 혼합 현실에 관련된 감정 유발 컨텐츠를 출력하는 컨텐츠 출력 장치와, 이들을 관리하는 전자 장치를 포함할 수 있다. 예를 들어, HMD 디바이스가 출력부를 구비하는 경우 감정 인식 시스템은 HMD 디바이스 및 전자 장치만을 포함할 수 있다.
여기서 생체 신호 데이터는 뇌파 데이터, 시선 데이터, 사용자의 맥박, 혈압, 뇌파 등 사용자의 의식적 및/또는 무의식적(예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호를 나타낼 수 있다. 보다 구체적으로, 생체 신호 데이터는, 시계열 데이터로 제공될 수 있는 사용자의 모든 데이터를 포함할 수 있다. 바람직하게, 본원 명세서 내에서 생체 신호 데이터는 컨텐츠 제공에 따른 사용자의 뇌파 데이터 및/또는, 시선 데이터일 수 있다. 예를 들어, 컨텐츠가 제공되는 동안 획득된 시계열적 뇌파 데이터, 및 눈 깜박거림, 동공의 크기, 동공의 모양, 동공의 위치, 바라보는 곳의 위치 등의 정보가 시계열 데이터로 재구성된 시선 데이터는, 사용자의 감정 인식 시스템에 적용될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 생체 신호 데이터를 이용한 감정 인식 시스템을 설명하기 위한 개략도이다. 도 2는 본 발명의 실시예에 따른 감정 인식용 디바이스를 설명하기 위한 개략도이다.
먼저, 도 1을 참조하면, 감정 인식 시스템 (1000) 은 컨텐츠의 제공에 따른 사용자의 뇌파 및 시선 데이터 중 적어도 하나를 포함하는 생체 신호 데이터에 대하여 감정을 인식 하는 시스템일 수 있다. 이때, 감정 인식 시스템 (1000) 은, 생체 신호 데이터를 기초로 사용자의 감정을 인식하는 감정 인식용 디바이스 (100) 사용자의 생체 신호 데이터를 획득하기 위한 HMD 디바이스 (200) 로 구성될 수 있다.
이때, 감정 인식용 디바이스 (100) 는 HMD 디바이스 (200) 와 통신 가능하도록 연결되고, HMD 디바이스 (200) 로 감정을 유발하는 컨텐츠를 제공하도록 구성될 수 있다. 나아가, 감정 인식용 디바이스 (100) 는 HMD 디바이스 (200) 를 통해서 획득된 생체 신호 데이터와 감정 유발 컨텐츠에 대한 선택에 기반하여 감정을 인식하는 디바이스로서, PC (Personal Computer), 노트북, 워크스테이션 (workstation), 스마트 TV 등을 포함할 수 있다.
보다 구체적으로, 도 2를 함께 참조하면, 감정 인식용 디바이스 (100) 는 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함할 수 있다.
이때, 수신부 (110) 컨텐츠 제공에 따른 사용자의 생체 신호 데이터를 수신하도록 구성될 수 있다. 다양한 실시예에서 수신부 (110) 는 컨텐츠에 대한 시선 데이터를 수신하도록 더 구성될 수 있다.
본 발명의 특징에 따르면, 수신부 (110) 는 컨텐츠 제공에 따른 사용자의 뇌파 데이터 및 시선 데이터를 수신하도록 구성될 수 있다. 예를 들어, 수신부 (110) 는 컨텐츠가 제공되는 동안 획득된 시계열적 뇌파 데이터, 및 눈 깜박거림, 동공의 크기, 동공의 모양, 동공의 위치, 바라보는 곳의 위치 등의 정보가 시계열 데이터로 재구성된 시선 데이터를 수신하도록 구성될 수 있다.
입력부 (120) 는 컨텐츠 제공에 따른 사용자의 선택을 입력 받을 수도 있다. 한편, 입력부 (120) 를 통해 사용자는 감정 인식용 디바이스 (100) 를 설정할 수도 있다.
본 발명의 일 실시예에 따르면, 입력부 (120) 는 HMD 디바이스 (200) 와연결되어 사용자의 선택을 입력 받도록 구성된 HMD의 입력부일 수도 있다.
출력부 (130) 는 컨텐츠에 대한 인터페이스 화면을 제공하도록 구성될 수 있다. 여기서, 인터페이스 화면은 컨텐츠를 나타내는 표시 공간 및 입력 공간을 포함하거나, 그래픽 공간을 포함할 수 있다.
한편, 컨텐츠는 전술할 것에 제한되지 않고, 후술할 HMD 디바이스 (200) 의 출력부를 통해서도 제공될 수 있다.
나아가, 출력부 (130) 는 후술할 프로세서 (150) 에 의해 결정된, 컨텐츠 제공에 따른 사용자의 감정에 대한 정보를 출력하도록 구성될 수 있다.
저장부 (140) 는, 수신부 (110) 에 수신된 다양한 생체 신호 데이터, 입력부 (120) 를 통해 입력된 사용자의 설정 및 출력부 (130) 를 통해 제공되는 컨텐츠들을 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술할 프로세서 (150) 에 의해 인식된 생체 신호 데이터, 분류된 사용자의 감정을 저장하도록 더욱 구성될 수 있다. 그러나, 이에 제한되지 않고, 저장부 (140) 는 프로세서 (150) 는 생체 신호 데이터에 대한 감정을 분류하는 과정에서 생성되는 모든 데이터들을 저장하도록 구성될 수 있다.
프로세서는 (150) 는 HMD 디바이스 (200) 를 통해서 획득된 생체 신호 데이터에 기반하여 감정을 인식하도록 구성될 수 있다. 보다 구체적으로, 출력부 (130) 의 인터페이스 화면을 통해서 컨텐츠가 제공되면 HMD 디바이스 (200) 로부터 획득된 생체 신호 데이터가 수신부 (110) 를 통해 수신되고, 프로세서 (150) 는 생체 신호 데이터를 기초로 사용자의 감정을 인식하도록 구성될 수 있다.
한편, 프로세서 (150) 에 의한 감정 인식은, 감정이 미리 라벨링된 생체 신호 데이터를 학습하여 새로운 생체 신호 데이터를 기초로 감정을 추출하도록 학습된 감정 분류 모델에 의해 수행될 수 있다. 예를 들어, 프로세서 (150) 는 딥 러닝 알고리즘에 기초하여, 감정이 라벨링된 생체 신호 데이터를 학습하고, 이를 기초로 뇌파 특징 데이터, 시선 특징 데이터와 같은 다양한 생체 특징 데이터로부터 사용자의 감정을 분류 및 인식하도록 구성될 수 있다.
본 발명의 특징에 따르면, 프로세서 (150) 는, 사용자의 감정 선택과 생체 신호 데이터가 상대적으로 낮은 신뢰도로 매칭된 모호한 감정 라벨링 데이터, 또는 어느 감정과도 매칭되지 않은 생체 신호 데이터를, 사용자의 감정 선택과 생체 신호 데이터가 보다 높은 신뢰도로 매칭된 확실한 감정 라벨링 데이터에 업데이트 하도록 구성된 분류 모델을 감정 인식에 더욱 이용할 수 있다.
이때, 딥 러닝 알고리즘은 DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 중 적어도 하나일 수 있다. 그러나, 전술한 것에 제한되지 않고 프로세서 (150) 는 기준 감정을 학습하여 새로운 생체 신호 데이터를 기초로 감정을 분류할 수 있는 한, 보다 다양한 알고리즘에 기초할 수 있다.
다시 도 1을 참조하면, HMD 디바이스 (200) 는 사용자의 머리에 장착되어 사용자가 실제와 유사한 공간적, 시간적 체험이 가능하도록 사용자에게 가상 현실을 위한 컨텐츠를 제공함과 동시에, 사용자의 생체 신호 데이터를 획득하여 가상 체험을 진행 중인 사용자의 신체적, 인지적, 감정적 변화를 감지할 수 있는 복합 가상 체험 장치일 수 있다. 예를 들어, 컨텐츠는 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브 (non-interactive) 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브 (interactive) 영상을 포함할 수 있으며, 이에 한정되지 않는다. 여기서, 영상은 3차원 영상일 수 있으며, 스테레오스코픽 (Stereoscopic) 영상이 포함될 수 있다. 나아가, 감정 유발 컨텐츠는 사용자의 감정에 대한 질의 음성을 포함할 수 있다.
HMD 디바이스 (200) 는 사용자의 머리에 착용 가능한 구조로 형성되고, 가상 현실을 위한 다양한 컨텐츠를 HMD 디바이스 (200) 내부의 출력부를 통해 처리하는 형태로 구현될 수 있다.
HMD 디바이스 (200)가 출력부를 구비하는 경우 사용자가 HMD 디바이스 (200)를 착용할 시 사용자가 컨텐츠를 확인할 수 있도록 출력부의 일면이 사용자의 얼굴에 대향하도록 배치될 수 있다.
HMD 디바이스 (200) 의 일측에는 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서(미도시)가 형성될 수 있다. 적어도 하나의 센서는 사용자의 뇌파를 측정하는 뇌파 센서 및/또는 사용자의 응시 또는 시선을 추적하는 시선 추적 센서를 포함할 수 있다. 다양한 실시예에서 적어도 하나의 센서는 사용자의 눈 또는 얼굴을 촬영 가능한 위치 또는 사용자의 피부에 접촉 가능한 위치에 형성되고, 사용자가 HMD 디바이스 (200) 를 착용할 시 사용자의 눈 또는 얼굴을 촬영하고, 촬영된 영상을 분석하여 사용자의 시선 데이터를 획득하거나 사용자의 피부에 접촉되어 사용자의 뇌전도 신호 (electroencephalography, EEG), 근전도 신호(electromyography, EMG) 또는 심전도 신호 (electrocardiogram, ECG) 등과 같은 생체 신호 데이터를 획득할 수 있다. 본 명세서에서는 HMD 디바이스 (200) 가 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서를 포함하는 것으로 설명되지만, 이에 제한되지 않고, HMD 디바이스 (200) 와 별도의 모듈을 통해 사용자의 뇌파 또는 시선 데이터를 획득하는 적어도 하나의 센서가 HMD 하우징에 장착되는 형식으로 구현될 수 있다. HMD 디바이스 (200) 라는 표현은 이러한 모듈을 포함하거나 모듈 자체도 상정하도록 의도된다.
HMD 디바이스 (200) 는 감정 인식용 디바이스 (100) 의 요청에 따라 사용자의 생체 신호 데이터를 획득하고, 획득된 생체 신호 데이터를 출력부 또는 수신부를 통해 감정 인식용 디바이스 (100) 로 전달할 수 있다.
HMD 디바이스 (200) 는 출력부가 포함되는 경우 컨텐츠를 HMD 디바이스 (200) 의 출력부를 통해서 표시할 수 있다. 나아가, HMD 디바이스 (200) 에 구비된 적어도 하나의 센서를 통해서 컨텐츠가 제공되는 동안의 생체 신호 데이터가 획득될 수 있다. 이때, HMD 디바이스 (200) 는 획득된 생체 신호 데이터를 감정 인식용 디바이스 (100) 로 전달할 수 있다.
이와 같은 감정 인식 시스템 (1000) 에 의해, 컨텐츠 제공에 따른 사용자 개개인에 대한 감정이 보다 높은 정확도로 인식될 수 있다. 특히, 본 발명의 감정 인식 시스템 (1000) 은, 감정 유발 컨텐츠에 대한 선택이 이루어지는 과정에서의 사용자의 시선, 머뭇거림 등에 따라 생성된 모호한 감정 라벨링된 생체 신호 데이터를 추가적인 학습 데이터로 이용한 분류 모델을 제공함에 따라, 신뢰도 높은 감정 분류 및 인식 결과 제공할 수 있다.
이하에서는 도 3a 내지 도 3g를 참조하여 본 발명의 다양한 실시예에서 이용되는 감정 분류 모델을 학습시키는 방법을 구체적으로 설명한다.
먼저, 감정 분류 모델의 학습에는 제1 라벨링된 생체 신호 데이터 및 제1 라벨링된 생체 신호 데이터보다 라벨링의 신뢰도가 낮거나 어느 감정과도 매칭되지 않은 제2 라벨링된 생체 신호 데이터가 이용될 수 있다.
이때, 사용자의 감정과 매칭되어 라벨링되는 생체 신호 데이터로서 뇌파 데이터를 예로 들어 설명하나 이에 제한되는 것은 아니다.
예를 들어, 감정 유발 컨텐츠가 제공되는 동안 획득된 시계열적 뇌파 데이터와 함께, 눈 깜박거림, 동공의 크기, 동공의 모양, 동공의 위치, 바라보는 곳의 위치 등의 정보가 시계열 데이터로 재구성된 시선 데이터가 사용자의 선택 감정과 매칭되어 라벨링될 수도 있다.
한편, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터는, 라벨링 단계를 통해 획득될 수 있다.
예를 들어, 도 3a를 참조하면, 사용자는 HMD 디바이스를 통해, 감정 유발 질의와 함께, “행복”, “당황”, “즐거움”, “무서움” “슬픔” “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 이후, 복수의 감정 유발 컨텐츠 제공에 따른 사용자의 응시가 이루어질 수 있다. 이때, 복수의 감정 단어 각각에 대한 사용자의 응시 정도에 따라, 사용자의 선택이 진행될 수 있다. 보다 구체적으로, “안도감”의 감정 단어에 대한 응시 시간은 3초로, “행복”, “괴로움” 및 “우울”의 감정 단어보다 높은 응시 정도를 나타냄에 따라, “안도감”은 사용자의 감정으로 선택될 수 있다. 본 발명의 다른 실시예에 따르면, 미리 결정된 응시 시간 (예를 들어, 2초) 이상인 “안도감”이 사용자의 감정으로 선택될 수도 있다. 한편, 사용자에 의해 선택된 감정 단어인 “안도감”은 다른 감정 단어들보다 큰 크기로 출력될 수 있다. 다음으로, 도 3b를 더욱 참조하면 “안도감”에 대한 사용자의 응시가 진행되는 동안 획득된 생체 신호, 예를 들어 뇌파 데이터가 사용자의 선택인 “안도감”과 매칭되어 인식될 수 있다. 한편, “안도감”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는, 응시 정도가 상대적으로 낮은 “행복”, “괴로움” 또는 “우울”의 감정 단어 및 응시에 따른 생체 신호 데이터 각각과 매칭된 감정 라벨링 데이터보다 신뢰도가 상대적으로 높을 수 있다. 즉, “안도감”과 매칭된 생체 신호 데이터 매칭의 신뢰도가 상대적으로 높은 제1 라벨링된 생체 신호 데이터로 결정될 수 있다.
다른 예를 들어, 도 3c를 참조하면, 사용자는 HMD 디바이스를 통해, 감정 유발 질의와 함께, “행복”, “당황”, “즐거움”, “무서움”, “슬픔”, “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 응시가 이루어질 수 있다. 이때, 복수의 감정 단어 각각에 대한 사용자의 응시 정도가 측정될 수 있다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 선택인 “행복”이 HMD 디바이스의 입력부를 통해 입력될 수 있다. 즉, “행복”에 대한 HMD 디바이스를 통한 입력이 진행되는 동안 획득된 생체 신호, 예를 들어 뇌파 데이터가 사용자의 선택인 “행복”과 매칭되어 감정이 인식된 생체 신호 데이터가 획득될 수 있다. 이때, 사용자의 선택인 “행복”은, 복수의 감정 단어 중 응시 시간이 가장 높은 감정 단어일 수 있다. 따라서, “행복”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는, 응시 시간이 상대적으로 짧은 HMD 장치에 의해 선택된 감정 단어에 대하여 인식된 생체 신호 데이터보다 신뢰도가 높은 제1 라벨링된 생체 신호 데이터로 결정될 수 있다.
또 다른 예를 들어, 도 3d를 참조하면, 사용자는, HMD 디바이스를 통해, 감정 유발 질의 및 “행복”, “당황”, “즐거움”, “무서움”, “슬픔”, “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 응시가 이루어질 수 있다. 이때, 가장 긴 응시 시간 또는, 미리 결정된 시간 (예를 들어, 2초) 이상의 응시 시간을 갖는 “안도감”을 제외한 “행복”, “괴로움”, “우울”의 감정 단어의 응시가 진행되는 중에 획득한 생체 신호 데이터는 각각의 감정 단어와 모호한 감정 라벨링 데이터로 매칭될 수 있다. 즉, “행복”, “괴로움”, “우울”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는, “안도감”과 인식된 생체 신호 데이터보다 신뢰도가 낮은 제2 라벨링된 생체 신호 데이터로 결정될 수 있다.
또 다른 예를 들어, 도 3e를 참조하면, 사용자는, HMD 디바이스를 통해, 감정 유발 질의 및 “행복”, “당황”, “즐거움”, “무서움”, “슬픔”, “괴로움” 및 “우울”의 복수의 감정 단어로 구성된 복수의 감정 유발 컨텐츠를 제공받는다. 그 다음, 감정 유발 질의 및 복수의 감정 단어 제공에 따른, 사용자의 응시와 함께 HMD 디바이스의 입력부를 통한 사용자의 선택이 이루어질 수 있다. 이때, 사용자에 의해 선택된 “행복”은, 가장 긴 응시 시간 또는, 미리 결정된 시간 (예를 들어, 2초) 이상의 응시 시간을 갖는 “무서움”과 상이하다. 즉, 사용자에 의해 선택된 “행복”과 이에 대한 선택이 진행되는 중에 획득된 생체 신호 데이터는 모호한 감정 라벨링 데이터로 매칭될 수 있다. 즉, “행복”, “괴로움”, “우울”과 매칭된 생체 신호 데이터 즉 감정 라벨링 데이터는, “안도감”과 인식된 생체 신호 데이터보다 신뢰도가 낮은, 즉 라벨링이 불명확한 제2 라벨링된 생체 신호 데이터로 결정될 수 있다.
그러나, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터의 획득 방법은 전술한 것에 제한되는 것이 아니다. 예를 들어, 제1 라벨링된 생체 신호 데이터는 매칭된 감정 라벨별로 명확하게 구별된 가우시안 분포도를 갖고, 제2 라벨링된 생체 신호 데이터는 감정 라벨별로 명확하게 구별이 어려운 가우시안 분포도를 갖는 한 다양한 방법으로 획득될 수 있다.
도 3f는 본 발명의 다양한 실시예에서 이용되는 감정 분류 모델을 학습시키는 방법을 설명하기 위한 개략적인 순서도이다.
먼저, 본 발명의 일 실시예에 따른 감정 인식 방법에 따르면, 감정 분류 모델은, 제1 라벨링된 생체 신호 데이터 및 제1 라벨링된 생체 신호 데이터보다 즉 라벨링이 불명확한 제2 라벨링된 생체 신호 데이터를 입력 받는다 (S310). 그 다음, 입력된 제1 라벨링 및 제2 라벨링된 생체 신호 데이터를 인코딩한다 (S320). 그 다음, 재구성된 생체 신호 데이터를 획득하도록, 감정 분류 모델에 의해 결정된 특징부를 통해, 인코딩된 제1 및 제2 라벨링된 생체 신호 데이터를 디코딩하고 (S330), 입력된 제1 라벨링 및 제2 라벨링된 생체 신호 데이터 및 재구성된 생체 신호 데이터의 차이가 최소가 되도록 특징부를 학습시키는 단계 (S340) 에 의해 학습될 수 있다.
보다 구체적으로, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터를 입력 받는 단계 (S310) 에서, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터는 분류 모델의 학습 데이터로서 입력된다.
이때, 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터를 입력 받는 단계 (S310) 에서, 학습 데이터로 이용되는 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터는, 미리 라벨링된 뇌파 데이터 및/또는 시선 데이터일 수 있다. 보다 구체적으로, 사용자의 감정과 명확하게 매칭된 제1 라벨링된 뇌파 데이터 및 사용자의 감정과 명확하게 매칭되지 않거나 아예 어느 감정과도 매칭되지 않은 제2 라벨링된 뇌파 데이터가 학습 데이터로 이용될 수 있다. 나아가, 눈 깜박거림, 동공의 크기, 동공의 모양, 동공의 위치, 바라보는 곳의 위치 등의 정보가 시계열 데이터로 재구성된 시선 데이터가 사용자의 선택 감정과 명확하게 매칭된 제1 라벨링된 시선 데이터 및 사용자의 감정과 명확하게 매칭되지 않거나 아예 어느 감정과도 매칭되지 않은 제2 라벨링된 시선 데이터가 학습 데이터로 이용될 수 있다.
예를 들어, 도 3g를 참조하면, 본 발명의 일 실시예에 따르면 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터를 입력 받는 단계 (S310) 에서, 확실한 감정 라벨링 생체 신호 데이터의 제1 라벨링된 뇌파 데이터 (312), 모호한 감정 라벨링 생체 신호 데이터의 제2 라벨링된 뇌파 데이터 (314) 각각이 인코더 (310', 310'') 를 통해 입력될 수 있다.
이때, x는 입력되는 생체 신호 데이터, y는 x와 명확하게 매칭된 감정 라벨,
Figure pat00001
는 x와 모호하게 매칭된 감정 라벨 또는 존재하지 않는 감정 라벨일 수 있다.
다음으로, 도 3f를 다시 참조하면 제1 라벨링 및 제2 라벨링된 생체 신호 데이터를 인코딩하는 단계 (S320) 에서, 입력된 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터가 인코딩될 수 있다.
본 발명의 특징에 따르면, 제1 라벨링 및 제2 라벨링된 생체 신호 데이터를 인코딩하는 단계 (S320) 에서, 제1 라벨링 및 제2 라벨링된 생체 신호 데이터에 대한 특징 변수를 추출하도록, 상기 데이터들이 인코딩될 수 있다.
본 발명의 다른 특징에 따르면, 제1 라벨링 및 제2 라벨링된 생체 신호 데이터를 인코딩하는 단계 (S320) 에서, 각각의 특징 변수들은 확률 분포에 대한 파라미터, 예를 들어 가우시안 정규 분포의 μ, σ로 출력될 수 있으나, 이에 제한되는 것은 아니다.
본 발명의 또 다른 특징에 따르면, 제1 라벨링 및 제2 라벨링된 생체 신호 데이터를 인코딩하는 단계 (S320) 이후에, 추출된 특징 변수를 기초로 특징부의 결정이 더욱 수행될 수 있다.
보다 구체적으로, 제1 라벨링된 생체 신호 데이터로부터 추출된 특징 변수에 기초하여 제1 특징부가 결정되고, 제1 라벨링된 생체 신호 데이터로부터 추출된 특징 변수에 기초하여 제2 특징부가 결정될 수 있다.
이때, 사용자의 감정은 복수개이고, 제1 특징부는 사용자의 복수개의 감정 각각에 대한 특징 변수를 포함하고, 제2 특징부는 복수개의 감정 각각에 대한 특징 변수, 복수개의 감정 중 선택된 2 개 이상의 조합 감정에 대한 특징 변수, 및 상기 복수개의 감정과 상이한 감정에 대한 특징 변수 중 적어도 하나의 특징 변수를 포함하도록 구성될 수 있다.
예를 들어, 도 3g를 다시 참조하면, 제1 라벨링 및 제2 라벨링된 생체 신호 데이터를 인코딩하는 단계 (S320) 에서, 제1 라벨링 및 제2 라벨링된 뇌파 데이터 (312, 314) 는 인코더 (310', 310'') 를 통해 차원이 축소될 수 있다. 동시에, 제1 라벨링 및 제2 라벨링된 뇌파 데이터 (312, 314) 각각에 대한 특징 변수들이 추출되고, 제1 라벨링된 뇌파 데이터 (312) 로부터 추출된 변수로 이루어진 특징부 z (320') 및 제2 라벨링된 뇌파 데이터 (314) 로부터 추출된 변수로 이루어진 특징부
Figure pat00002
(320'') 가 각각 결정될 수 있다.
이때, 특징부 z (320') 는 감정 라벨, 즉 특징 변수의 개수에 따라 정의될 수 있는 잠재 공간 (latent space), 또는 특징 맵 (feature map) 일 수 있다. 나아가, 특징부
Figure pat00003
(320'') 는 복수개의 감정 중 선택된 2 개 이상의 조합 감정 라벨에 대한 특징 변수, 및 복수개의 감정 라벨과 상이한 감정에 대한 특징 변수를 포함하는 잠재 공간 또는 특징 맵일 수 있다.
다음으로, 도 3f를 다시 참조하면 인코딩된 제1 및 제2 라벨링된 생체 신호 데이터를 디코딩하는 단계 (S330) 에서, 특징이 추출된 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터의 재구성이 진행될 수 있다.
예를 들어, 도 3g를 참조하면, 인코딩된 제1 및 제2 라벨링된 생체 신호 데이터를 디코딩하는 단계 (S330) 에서, 특징부 z (320') 및 특징부
Figure pat00004
(320'') 의 특징 변수들은, 디코더 (330', 330'') 에 입력된 후 재구성될 수 있다. 즉, 인코딩된 제1 및 제2 라벨링된 생체 신호 데이터를 디코딩하는 단계 (S330) 의 결과로, (x', y)의 재구성된 라벨링 뇌파 데이터 (332', 332'') 가 제1 및 제2 라벨링된 뇌파 데이터 (312, 314) 각각에 대하여 획득될 수 있다.
여기서, x'는 인코더 (310', 310''), 특징부들 (320', 320''), 디코더 (330', 330'') 를 거쳐 재구성된 생체 신호 데이터일 수 있다.
한편, x'의 재구성된 생체 신호 데이터는 전술한 모델 구조에 제한되지 않고, 보다 다양한 구조의 VA (Variational Autoencode) 에 의해 획득될 수 있다.
마지막으로, 입력된 제1 라벨링 및 제2 라벨링된 생체 신호 데이터 및 재구성된 생체 신호 데이터의 차이가 최소가 되도록 특징부를 학습시키는 단계 (S340) 에서, 제2 특징부에 기초한 제1 특징부의 업데이트가 수행될 수 있다.
본 발명의 특징에 따르면, 입력된 제1 라벨링 및 제2 라벨링된 생체 신호 데이터 및 재구성된 생체 신호 데이터의 차이가 최소가 되도록 특징부를 학습시키는 단계 (S340) 에서, 제1 특징부 및 상기 제2 특징부의 특징 변수를 비교하는 단계, 및 비교 결과에 기초하여 상기 제2 특징부의 특징 변수를 상기 제1 특징부에 업데이트하는 단계가 수행될 수 있다.
예를 들어, 도 3g를 참조하면, 특징부를 학습시키는 단계 (S340) 에서, 입력되는 생체 신호 데이터의 x와 재구성된 생체 신호 데이터의 x'의 차이가 최소가 되도록, 특징부
Figure pat00005
(320'') 의 특징 변수가 특징부 z (320') 에 업데이트될 수 있다.
이때, 특징부 z (320') 의 업데이트는 업데이트 부 (340) 에 의해 수행될 수 있다. 보다 구체적으로, 특징부를 학습시키는 단계 (S340) 에서, 제2 라벨링된 뇌파 데이터 (314) 로부터 추출된 특징 변수로 이루어진 특징부
Figure pat00006
(320'') 는 하기 수학식 1에 의해 특성이 분류될 수 있다.
[수학식 1]
여기서,
Figure pat00007
은 감마 함수이고,
Figure pat00008
은 해당 데이터의 샘플의 개수일 수 있다.
예를 들어, 특징부
Figure pat00009
(320'') 는 모호한 데이터인, 제2 라벨링된 생체 신호 데이터의 특징 변수들로 구성되었음에 따라, 해당 특징 변수가 두 개 이상의 감정 라벨을 포함하거나 전혀 다른 감정을 포함할 수 있다. 이에, 업데이트 과정에서 특징부
Figure pat00010
(320'') 가 단순히 특징부 z (320') 에 포함될 수 있는지, 또는 분리되어 포함될 수 있는지 특성이 분류될 필요가 있다. 이에, 특징부
Figure pat00011
(320'') 의 특징 변수를 클러스터링을 통해 두 개의 그룹
Figure pat00012
,
Figure pat00013
으로 나눈 후 상기 수학식 1을 통해
Figure pat00014
의 값을 기초로 특징부
Figure pat00015
(320'') 의 성질을 분류할 수 있다. 만약,
Figure pat00016
의 값이 1보다 작다면 두 개의 그룹은 하나의 성질을 가진 것일 수 있고,
Figure pat00017
의 값이 1보다 크다면 두 개의 그룹이 각각 다른 성질을 가진 것일 수 있다. 따라서, 특징부
Figure pat00018
(320'') 는 수학식 1에 기초한 특성 분류를 통해 구분될 수 있는 최소한의 특징 변수로 업데이트될 수 있다.
다음으로, 업데이트된 특징부
Figure pat00019
(320'') 는 하기 수학식 2에 의해 최종적으로 특징부 z (320') 에 업데이트될 수 있다.
[수학식 2]
예를 들어, 업데이트된 특징 변수를 포함하는 특징부
Figure pat00020
(320'') 는, 수학식 2에 의해 특징부 z (320') 의 특징 변수의 비교가 이루어지고, 최종적으로 특징부 z (320') 는 특징부
Figure pat00021
(320'') 의 업데이트된 특징 변수를 포함하도록 업데이트될 수 있다.
전술한 방법에 의해, 본 발명의 다양한 실시예에 이용되는 감정 분류 모델은, 사용자의 감정 선택과 생체 신호 데이터가 보다 높은 신뢰도로 매칭된 확실한 감정 라벨링 데이터의 제1 라벨링된 생체 신호 데이터뿐만 아니라, 사용자의 감정 선택과 생체 신호 데이터가 상대적으로 낮은 신뢰도로 매칭된 모호한 감정 라벨링 데이터의 제2 라벨링된 생체 신호 데이터를 학습에 더욱 이용하도록 구성될 수 있다. 그 결과, 감정 분류 모델은 신뢰도 높은 감정 분류 및 인식 결과 제공하도록 학습될 수 있다.
한편, 감정 분류 모델의 학습에 라벨링된 시선 데이터가 이용될 경우, 시선 데이터가 이미지 데이터로서 수신될 수 있음에 따라, 감정 분류 모델의 학습 모듈은, 뇌파 데이터와 별개로 하여 동일한 감정 라벨에 대해 두 가지 특징을 추출하도록 구성될 수 있다.
나아가, 전술한 구조의 학습 모듈은, CNN과 같은 이미지 특징을 추론할 수 있도록 구성된 신경망을 더욱 적용하여 시선 데이터의 특징을 추출하도록 구성될 수 있다.
또한, 본 발명의 감정 분류 모델의 학습을 위한 구성은 이에 제한되는 것이 아니다. 예를 들어, 제1 라벨링 및 제2 라벨링된 생체 신호 데이터의 입력되어 특징이 추출되는 인코딩 및 이를 다시 재구성하는 디코딩 부분은, (Convolution + Relu + Pooling) + [Feature Map] + (Convolution + Relu + Pooling)의 복수의 레이어로 구성될 수도 있다.
이하에서는 도 4a 내지 4c를 참조하여, 본 발명의 일 실시예에 따른, 감정 분류 모델에 기초한 감정 인식 방법의 감정 인식 단계에 대하여 구체적으로 설명한다.
도 4a는 본 발명의 일 실시예에 따른 감정 인식 방법에서, 감정 분류 모델에 기초한 감정 인식 방법을 설명하기 위한 개략적인 순서도이다. 도 4b 및 4c는 본 발명의 일 실시예에 따른 감정 인식 방법에서, 감정 분류 모델에 기초한 감정 분류 단계를 예시적으로 도시한 것이다.
먼저, 도 4a를 참조하면, 본 발명의 일 실시예에 따른 감정 인식 방법에 따라 감정을 유발하는 컨텐츠가 사용자에게 제공된다 (S410). 그 다음, 컨텐츠가 제공되는 동안의 사용자의 생체 신호 데이터를 수신하고 (S420), 감정 분류 모델에 기초하여 컨텐츠에 대한 사용자의 감정을 인식한다 (S430).
본 발명의 특징에 따르면, 컨텐츠를 사용자에게 제공하는 단계 (S410) 에서, 감정을 표현하는 음성, 이미지, 영화, 애니메이션, 광고, 홍보 영상 및 텍스트 중 적어도 하나의 컨텐츠가 제공될 수 있다. 보다 구체적으로, 컨텐츠를 사용자에게 제공하는 단계 (S410) 에서, 영화, 애니메이션, 광고, 또는 홍보 영상 등과 같은 비-인터랙티브 영상 및 게임, 전자 매뉴얼, 전자 백과사전 또는 홍보 영상 등과 같이 사용자와 상호 활동적으로 이루어지는 인터랙티브 영상이 컨텐츠로 제공될 수 있다.
다음으로, 사용자의 생체 신호 데이터를 수신하는 단계 (S420) 에서, 컨텐츠 제공에 따른 생체 신호 데이터가 수신될 수 있다.
본 발명의 특징에 따르면, 사용자의 생체 신호 데이터를 수신하는 단계 (S420) 에서 사용자의 뇌파 데이터 및/또는 시선 데이터가 수신될 수 있다. 그러나, 이에 제한되지 않고 맥박, 혈압 등 사용자의 의식적 및/또는 무의식적 (예를 들어, 호흡, 심장 박동, 신진 대사 등) 행동에 따라 사용자의 신체로부터 발생하는 다양한 신호가 수신될 수 있다.
본 발명의 다른 특징에 따르면, 사용자의 생체 신호 데이터를 수신하는 단계 (S420) 에서, 새로운 생체 신호 데이터는 HMD 장치로부터 수신될 수 있다.
마지막으로, 컨텐츠에 대한 사용자의 감정을 인식하는 단계 (S430) 에서, 전술한 방법에 의해 학습된 감정 분류 모델에 의해 사용자의 감정이 분류 및 인식될 수 있다.
본 발명의 특징에 따르면, 컨텐츠에 대한 사용자의 감정을 인식하는 단계 (S430) 에서, 감정 분류 모델의 특징부를 통해, 사용자의 생체 신호 데이터에 기초하여 컨텐츠에 대한 사용자의 감정이 인식될 수 있다.
예를 들어, 도 4b를 참조하면, 컨텐츠에 대한 사용자의 감정을 인식하는 단계 (S430) 에서, 새로운 생체 신호 데이터 (432) 는 감정 분류 모델 (430) 의 특징부 (434) 에 입력된다. 이때, 특징부 (434) 는 제1 라벨링된 생체 신호 데이터로부터 추출된 특징 변수와 함께, 제2 라벨링된 생체 신호 데이터로부터 추출된 특징 변수로 업데이트된 특징 변수를 포함하는 잠재 공간 또는 특징 맵일 수 있다. 즉, 새로운 생체 신호 데이터 (432) 는 특징부 (434) 에 입력된 후 일정한 감정으로 출력되고, 감정 출력값에 기초하여 감정의 클래스가 분류 및 출력될 수 있다. 예를 들어, 새로운 생체 신호 데이터 (432) 는 최종적으로 행복 (438) 으로 분류 및 출력될 수 있고, 컨텐츠에 대한 사용자의 감정이 행복으로 인식될 수 있다.
본 발명의 다른 특징에 따르면, 컨텐츠에 대한 사용자의 감정을 인식하는 단계 (S430) 에서, 감정 분류 모델의 특징부를 통해 컨텐츠에 대한 사용자의 감정이 제1 분류되고, 감정 분류 모델의 분류부를 통해 사용자의 감정이 제2 분류될 수 있다.
예를 들어, 도 4c를 더욱 참조하면, 컨텐츠에 대한 사용자의 감정을 인식하는 단계 (S430) 에서, 새로운 생체 신호 데이터 (432) 는 감정 분류 모델 (430) 의 특징부 (434) 에 입력된다. 이후, 새로운 생체 신호 데이터 (432) 는 특징부 (434) 에 입력된 후 일정한 감정으로 출력되고, 감정 출력값에 기초하여 감정의 클래스가 제1 분류될 수 있다. 다음으로, 제1 분류된 감정 클래스가 분류부 (436) 에 입력된다. 이후, 사용자의 감정이 제2 분류되어 출력될 수 있다. 예를 들어, 새로운 생체 신호 데이터 (432) 는, 분류부 (436) 에 의해 최종적으로 행복 (438) 으로 분류 및 출력될 수 있고, 컨텐츠에 대한 사용자의 감정이 행복으로 인식될 수 있다.
이때, 감정 분류 모델 (430) 은, 특징부 (434) 및 분류된 클래스 사이의 구성을 한번 더 학습한 특징부에 분류부가 연결되도록 구성될 수도 있다. 이에, 감정 분류 모델 (430) 은 추가 학습된 특징부, 및 분류부에 기초하여 보다 정확하게 감정은 분류하고 신뢰도 높은 감정 인식 결과를 제공할 수 있다.
한편, 특징부 (434) 및 분류부 (436) 는, (Convolution + Relu + Pooling) + [Feature Map] + Fully connected + Softmax + [Predicted probability compute]의 복수의 레이어로 구성될 수 있다. 이러한 구성상 특징에 따라, 학습된 특징부 (434) 에 기초하여 생체 신호 데이터에 대한 감정이 제1 분류되고, 분류부 (436) 에 의해 제2 분류될 수 있다. 그러나, 감정 인식을 위한 특징부 (434) 및 분류부 (436) 의 구조는 이에 제한되는 것이 아니다.
나아가, 감정 분류 모델은, 전술한 것에 제한되지 않고 DNN (Deep Neural Network), CNN (Convolutional Neural Network), DCNN (Deep Convolution Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 중 적어도 하나의 딥 러닝 알고리즘에 기초한 모델일 수 있다.
이상의 절차에 따라, 감정 분류 모델에 기초한 본 발명의 일 실시예에 따른 감정 인식용 디바이스는, HMD 디바이스로부터 획득된 사용자의 생체 신호 데이터를 기초한 사용자의 감정 인식결과를 제공할 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media) 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 감정 인식용 디바이스
200: HMD 디바이스
312: 제1 라벨링된 뇌파 데이터
314: 제2 라벨링된 뇌파 데이터
310', 310'': 인코더
320': 특징부 z
320'': 특징부
Figure pat00022

330', 330'': 디코더
332', 332'': 재구성된 라벨링 뇌파 신호 데이터
340: 업데이트부
430: 감정 분류 모델
432: 새로운 생체 신호 데이터
434: 특징부
436: 분류부
438: 행복
1000: 감정 인식 시스템

Claims (21)

  1. 프로세서에 의해 구현되는 감정 인식 방법으로서,
    컨텐츠를 사용자에게 제공하는 단계;
    상기 컨텐츠가 제공되는 동안의 상기 사용자의 생체 신호 데이터를 수신하는 단계;
    감정이 라벨링된 복수의 생체 신호 데이터에 기초하여 감정을 분류하도록 학습된 감정 분류 모델을 이용하여, 상기 컨텐츠에 대한 상기 사용자의 감정을 인식하는 단계를 포함하고,
    상기 라벨링된 복수의 생체 신호 데이터는,
    상기 사용자의 감정에 대하여 매칭된 제1 라벨링된 생체 신호 데이터, 및 상기 제1 라벨링된 생체 신호 데이터보다 라벨링의 신뢰도가 낮거나 상기 사용자의 감정에 대하여 매칭되지 않은 생체 신호 데이터의 제2 라벨링된 생체 신호 데이터를 포함하는, 감정 인식 방법.
  2. 제1항에 있어서,
    상기 감정 분류 모델은,
    상기 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링된 생체 신호 데이터를 입력받는 단계;
    입력된 상기 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하는 단계,
    재구성된 생체 신호 데이터를 획득하도록, 인코딩된 상기 적어도 하나의 라벨링된 생체 신호 데이터를 디코딩하는 단계;
    입력된 상기 적어도 하나의 라벨링된 생체 신호 데이터 및 상기 재구성된 생체 신호 데이터의 차이가 최소가 되도록 상기 분류 모델에 의해 결정된 특징부를 학습시키는 단계를 통해 학습된 모델인, 감정 인식 방법.
  3. 제2항에 있어서,
    상기 특징부는,
    제1 라벨링된 생체 신호 데이터에 대한 특징 변수를 포함하는 제1 특징부 및 상기 제2 라벨링된 생체 신호 데이터에 대한 특징 변수를 포함하는 제2 특징부를 포함하고,
    상기 특징부를 학습시키는 단계는,
    상기 제1 특징부 및 상기 제2 특징부의 특징 변수를 비교하는 단계, 및
    비교 결과에 기초하여 상기 제2 특징부의 특징 변수를 상기 제1 특징부에 업데이트하는 단계를 포함하는, 감정 인식 방법.
  4. 제3항에 있어서,
    상기 사용자의 감정은 복수개이고,
    상기 제1 특징부는,
    상기 사용자의 복수개의 감정 각각에 대한 특징 변수를 포함하고,
    상기 제2 특징부는,
    상기 복수개의 감정 각각에 대한 특징 변수, 복수개의 감정 중 선택된 2 개 이상의 조합 감정에 대한 특징 변수, 및 상기 복수개의 감정과 상이한 감정에 대한 특징 변수 중 적어도 하나의 특징 변수를 포함하는, 감정 인식 방법.
  5. 제2항에 있어서,
    상기 적어도 하나의 라벨링된 생체 신호 데이터를 입력받는 단계;
    상기 적어도 하나의 생체 신호 데이터를 인코딩하는 단계;
    인코딩된 상기 적어도 하나의 생체 신호 데이터를 디코딩하는 단계, 및
    상기 특징부를 학습시키는 단계를 반복 수행하는 단계를 포함하는, 감정 인식 방법.
  6. 제2항에 있어서,
    상기 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하는 단계는,
    상기 적어도 하나의 라벨링된 생체 신호 데이터에 대한 특징 변수를 추출하도록 인코딩하는 단계를 포함하고,

    상기 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하는 단계 이후에,
    추출된 상기 특징 변수를 기초로 상기 특징부를 결정하는 단계를 더 포함하는, 감정 인식 방법.
  7. 제2항에 있어서,
    상기 컨텐츠에 대한 상기 사용자의 감정을 인식하는 단계는,
    상기 특징부를 통해, 상기 사용자의 생체 신호 데이터에 기초하여 상기 컨텐츠에 대한 상기 사용자의 감정을 분류하는 단계를 포함하는, 감정 인식 방법.
  8. 제2항에 있어서,
    상기 감정 분류 모델은,
    상기 특징부와 연결된 분류부를 더 포함하고,
    상기 컨텐츠에 대한 상기 사용자의 감정을 인식하는 단계는,
    상기 특징부를 통해, 상기 사용자의 생체 신호 데이터에 기초하여 상기 컨텐츠에 대한 상기 사용자의 감정을 제1 분류하는 단계, 및
    상기 감정 분류부를 통해, 상기 컨텐츠에 대한 상기 사용자의 감정을 제2 분류하는 단계를 포함하는, 감정 인식 방법.
  9. 제1항에 있어서,
    상기 컨텐츠를 사용자에게 제공하는 단계 이전에,
    상기 라벨링된 생체 신호 데이터를 획득하도록, 상기 사용자로부터 획득한 생체 신호를 상기 사용자의 감정에 기초하여 라벨링하는 단계를 더 포함하는, 감정 인식 방법.
  10. 제9항에 있어서,
    상기 사용자의 감정에 기초하여 라벨링하는 단계는,
    감정 유발 컨텐츠를 상기 사용자에게 제공하는 단계;
    상기 감정 유발 컨텐츠에 대한 선택이 진행되는 과정에서 상기 사용자의 생체 신호 데이터를 수신하는 단계;
    상기 감정 유발 컨텐츠에 대한 선택을 입력 받는 단계, 및
    상기 라벨링된 생체 신호 데이터를 획득하도록, 상기 선택과 상기 생체 신호 데이터를 매칭하는 단계를 포함하는, 감정 인식 방법.
  11. 제10항에 있어서,
    상기 감정 유발 컨텐츠에 대한 시선 데이터를 수신하는 단계를 더 포함하고,
    상기 선택은 상기 감정 유발 컨텐츠 중 선택된 적어도 하나의 컨텐츠에 대한 응시를 포함하는, 감정 인식 방법.
  12. 제11항에 있어서,
    상기 응시가 미리 결정된 시간 이상 유지되는 경우,
    상기 생체 신호 데이터를 매칭하는 단계는,
    상기 선택과 상기 생체 신호 데이터를 제1 라벨링된 생체 신호 데이터로 매칭하는 단계를 포함하고,
    상기 응시가 미리 결정된 시간 미만인 경우,
    상기 생체 신호 데이터를 매칭하는 단계는,
    상기 선택과 상기 생체 신호 데이터를 제2 라벨링된 생체 신호 데이터로 매칭하는 단계를 포함하는, 감정 인식 방법.
  13. 제1항에 있어서,
    상기 생체 신호 데이터는,
    상기 사용자의 뇌파 데이터 및 시선 데이터 중 적어도 하나의 데이터인, 감정 인식 방법.
  14. 컨텐츠를 사용자에게 제공하도록 구성된 출력부;
    상기 컨텐츠가 제공되는 동안의 상기 사용자의 생체 신호 데이터를 수신하도록 구성된 수신부, 및
    상기 수신부 및 상기 출력부와 통신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는,
    감정이 라벨링된 복수의 생체 신호 데이터에 기초하여 감정을 분류하도록 학습된 감정 분류 모델을 이용하여, 상기 컨텐츠에 대한 상기 사용자의 감정을 인식하도록 구성되고,
    상기 라벨링된 복수의 생체 신호 데이터는,
    상기 사용자의 감정에 대하여 매칭된 제1 라벨링된 생체 신호 데이터, 및 상기 제1 라벨링된 생체 신호 데이터보다 라벨링의 신뢰도가 낮거나 상기 사용자의 감정에 대하여 매칭되지 않은 생체 신호 데이터의 제2 라벨링된 생체 신호 데이터를 포함하는, 감정 인식용 디바이스.
  15. 제14항에 있어서,
    상기 감정 분류 모델은,
    상기 제1 라벨링된 생체 신호 데이터 및 제2 라벨링된 생체 신호 데이터 중 적어도 하나의 라벨링된 생체 신호 데이터를 입력받고, 입력된 상기 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하고, 재구성된 생체 신호 데이터를 획득하도록, 인코딩된 상기 적어도 하나의 라벨링된 생체 신호 데이터를 디코딩하고, 입력된 상기 적어도 하나의 라벨링된 생체 신호 데이터 및 상기 재구성된 생체 신호 데이터의 차이가 최소가 되도록 상기 감정 분류 모델에 의해 결정된 특징부를 학습시키는 단계를 통해 학습된 모델인, 감정 인식용 디바이스.
  16. 제15항에 있어서,
    상기 특징부는,
    상기 제1 라벨링된 생체 신호 데이터에 대한 특징 변수를 포함하는 제1 특징부 및 상기 제2 라벨링된 생체 신호 데이터에 대한 특징 변수를 포함하는 제2 특징부를 포함하고,
    상기 제1 특징부 및 상기 제2 특징부의 특징 변수를 비교하고, 비교 결과에 기초하여 상기 제2 특징부의 특징 변수를 상기 제1 특징부에 업데이트하도록 구성된, 감정 인식용 디바이스.
  17. 제16항에 있어서,
    상기 사용자의 감정은 복수개이고,
    상기 제1 특징부는,
    상기 사용자의 복수개의 감정 각각에 대한 특징 변수를 포함하고,
    상기 제2 특징부는,
    상기 복수개의 감정 각각에 대한 특징 변수, 복수개의 감정 중 선택된 2 개 이상의 조합 감정에 대한 특징 변수, 및 상기 복수개의 감정과 상이한 감정에 대한 특징 변수 중 적어도 하나의 특징 변수를 포함하는, 감정 인식용 디바이스.
  18. 제15항에 있어서,
    상기 감정 분류 모델은,
    상기 적어도 하나의 라벨링된 생체 신호 데이터를 입력받고, 상기 적어도 하나의 생체 신호 데이터를 인코딩하고, 인코딩된 상기 적어도 하나의 생체 신호 데이터를 디코딩하고, 상기 특징부를 학습시키는 단계를 반복 수행하여 학습된 모델인, 감정 인식용 디바이스.
  19. 제15항에 있어서,
    상기 감정 분류 모델은,
    상기 적어도 하나의 라벨링된 생체 신호 데이터에 대한 특징 변수를 추출하도록, 상기 적어도 하나의 라벨링된 생체 신호 데이터를 인코딩하도록 더 구성되고,
    상기 특징부는,
    추출된 상기 특징 변수에 기초하여 결정된, 감정 인식용 디바이스.
  20. 제15항에 있어서,
    상기 특징부는, 상기 사용자의 생체 신호 데이터에 기초하여 상기 컨텐츠에 대한 상기 사용자의 감정을 분류하도록 더 구성된, 감정 인식용 디바이스.
  21. 제15항에 있어서,
    상기 감정 분류 모델은,
    상기 특징부와 연결되고, 상기 특징부의 출력값에 기초하여 상기 컨텐츠에 대한 상기 사용자의 감정을 분류하도록 구성된 분류부를 더 포함하는, 감정 인식용 디바이스.
KR1020190068477A 2019-06-11 2019-06-11 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스 KR20200141672A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190068477A KR20200141672A (ko) 2019-06-11 2019-06-11 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
US17/617,932 US20220319536A1 (en) 2019-06-11 2020-02-17 Emotion recognition method and emotion recognition device using same
PCT/KR2020/002226 WO2020251135A1 (ko) 2019-06-11 2020-02-17 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
JP2021572849A JP2022536126A (ja) 2019-06-11 2020-02-17 感情認識方法及びそれを利用した感情認識用デバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190068477A KR20200141672A (ko) 2019-06-11 2019-06-11 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스

Publications (1)

Publication Number Publication Date
KR20200141672A true KR20200141672A (ko) 2020-12-21

Family

ID=73781252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190068477A KR20200141672A (ko) 2019-06-11 2019-06-11 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스

Country Status (4)

Country Link
US (1) US20220319536A1 (ko)
JP (1) JP2022536126A (ko)
KR (1) KR20200141672A (ko)
WO (1) WO2020251135A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626430A (zh) * 2021-12-30 2022-06-14 华院计算技术(上海)股份有限公司 情绪识别模型的训练方法、情绪识别方法、设备及介质
KR20220105497A (ko) * 2021-01-20 2022-07-27 상명대학교산학협력단 눈-추적을 이용한 광고 영상의 공감도 평가 시스템 및 그 방법
KR102461646B1 (ko) * 2022-03-15 2022-11-01 가천대학교 산학협력단 뇌파 검사 데이터에 대한 전이 학습 기반의 증강데이터 생성방법
KR102480722B1 (ko) * 2021-12-16 2022-12-26 금오공과대학교 산학협력단 엣지 컴퓨터 환경에서의 감성 인식 장치 및 그 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11769595B2 (en) * 2020-10-01 2023-09-26 Agama-X Co., Ltd. Information processing apparatus and non-transitory computer readable medium
JP2022059140A (ja) 2020-10-01 2022-04-13 株式会社Agama-X 情報処理装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100137175A (ko) * 2009-06-22 2010-12-30 삼성전자주식회사 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법
KR20140114588A (ko) * 2013-03-19 2014-09-29 세종대학교산학협력단 복합 생체신호 기반의 감정인식 방법 및 장치
KR20150109993A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 사용자의 선호 감정 패턴을 결정하는 방법 및 시스템
KR101605078B1 (ko) * 2014-05-29 2016-04-01 경북대학교 산학협력단 사용자 맞춤형 정보를 제공하는 방법 및 시스템, 이를 수행하기 위한 기록매체
US10460251B2 (en) * 2015-06-19 2019-10-29 Preferred Networks Inc. Cross-domain time series data conversion apparatus, methods, and systems
JP6617053B2 (ja) * 2016-02-29 2019-12-04 Ｋｄｄｉ株式会社 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法
KR20180000027A (ko) * 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 특징점을 이용한 감정 판단 시스템
TW201833802A (zh) * 2017-03-14 2018-09-16 日商賽爾科技股份有限公司 機械學習裝置及機械學習程式
KR102078583B1 (ko) * 2017-04-06 2020-02-19 주식회사 룩시드랩스 헤드 마운트 디스플레이 장치
JP6905892B2 (ja) * 2017-08-04 2021-07-21 株式会社日立製作所 計算機システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220105497A (ko) * 2021-01-20 2022-07-27 상명대학교산학협력단 눈-추적을 이용한 광고 영상의 공감도 평가 시스템 및 그 방법
KR102480722B1 (ko) * 2021-12-16 2022-12-26 금오공과대학교 산학협력단 엣지 컴퓨터 환경에서의 감성 인식 장치 및 그 방법
WO2023113448A1 (ko) * 2021-12-16 2023-06-22 금오공과대학교 산학협력단 엣지 컴퓨터 환경에서의 감정 인식 장치 및 그 방법
CN114626430A (zh) * 2021-12-30 2022-06-14 华院计算技术(上海)股份有限公司 情绪识别模型的训练方法、情绪识别方法、设备及介质
KR102461646B1 (ko) * 2022-03-15 2022-11-01 가천대학교 산학협력단 뇌파 검사 데이터에 대한 전이 학습 기반의 증강데이터 생성방법

Also Published As

Publication number Publication date
US20220319536A1 (en) 2022-10-06
WO2020251135A1 (ko) 2020-12-17
JP2022536126A (ja) 2022-08-12

Similar Documents

Publication Publication Date Title
Zepf et al. Driver emotion recognition for intelligent vehicles: A survey
KR20200141672A (ko) 감정 인식 방법 및 이를 이용한 감정 인식용 디바이스
Islam et al. Automatic detection and prediction of cybersickness severity using deep neural networks from user’s physiological signals
US9477290B2 (en) Measuring affective response to content in a manner that conserves power
Bernal et al. PhysioHMD: a conformable, modular toolkit for collecting physiological data from head-mounted displays
JP6125670B2 (ja) 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム
KR102168968B1 (ko) 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
Sharma et al. Thermal spatio-temporal data for stress recognition
Al Osman et al. Multimodal affect recognition: Current approaches and challenges
JP2019519053A (ja) 視覚機能データを獲得し、分析し、生成する、かつデータに基づいてメディアを修正するための方法およびシステム
Bilalpur et al. Gender and emotion recognition with implicit user signals
US20200350057A1 (en) Remote computing analysis for cognitive state data metrics
US20230080175A1 (en) Method and device for predicting user state
Nie et al. SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition
Kwon et al. Emotion recognition using a glasses-type wearable device via multi-channel facial responses
Guthier et al. Affective computing in games
US20230043838A1 (en) Method for determining preference, and device for determining preference using same
Masai et al. Evaluation of facial expression recognition by a smart eyewear for facial direction changes, repeatability, and positional drift
Hossain et al. Using temporal features of observers’ physiological measures to distinguish between genuine and fake smiles
Singh et al. Multi-modal Expression Detection (MED): A cutting-edge review of current trends, challenges and solutions
Koelstra Affective and Implicit Tagging using Facial Expressions and Electroencephalography.
Bhatia et al. A multimodal system to characterise melancholia: cascaded bag of words approach
Chen et al. Task load estimation from multimodal head-worn sensors using event sequence features
McTear et al. Affective conversational interfaces
Sinha Affective computing and emotion-sensing technology for emotion recognition in mood disorders