KR102472786B1 - 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치 - Google Patents

사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR102472786B1
KR102472786B1 KR1020200177080A KR20200177080A KR102472786B1 KR 102472786 B1 KR102472786 B1 KR 102472786B1 KR 1020200177080 A KR1020200177080 A KR 1020200177080A KR 20200177080 A KR20200177080 A KR 20200177080A KR 102472786 B1 KR102472786 B1 KR 102472786B1
Authority
KR
South Korea
Prior art keywords
emotion
data
digital twin
user
candidate
Prior art date
Application number
KR1020200177080A
Other languages
English (en)
Other versions
KR20220086878A (ko
Inventor
서재현
Original Assignee
광주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주대학교산학협력단 filed Critical 광주대학교산학협력단
Priority to KR1020200177080A priority Critical patent/KR102472786B1/ko
Publication of KR20220086878A publication Critical patent/KR20220086878A/ko
Application granted granted Critical
Publication of KR102472786B1 publication Critical patent/KR102472786B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Hospice & Palliative Care (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

감정 디지털 트윈 장치가 사용자에 대응하여 상기 사용자의 감정을 가상으로 재현하는 감정 디지털 트윈을 제공하는 방법이 개시된다. 상기 감정 디지털 트윈 제공 방법은, 제1 데이터를 인공지능에 기반하는 제1 감정 분류 모델에 적용하여, 제1 감정 후보를 결정하는 단계; 상기 제1 데이터와는 다른 종류인 제2 데이터를 인공지능에 기반하는 제2 감정 분류 모델에 적용하여, 제2 감정 후보를 결정하는 단계; 상기 제1 감정 후보 및 상기 제2 감정 후보를 인공지능에 기반하는 통합 결정 모델에 적용하여, 최종 감정을 결정하는 단계; 및 상기 최종 감정을 나타내는 감정 디지털 트윈을 생성하는 단계를 포함한다.

Description

사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING EMOTIONAL DIGITAL TWIN}
본 발명은 사용자의 감정을 디지털상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치에 관한 것이다.
디지털 트윈(digital twin) 기술은 컴퓨터에 현실 속 사물의 쌍둥이를 만들고, 현실에서 발생할 수 있는 상황을 컴퓨터로 시뮬레이션함으로써 결과를 미리 예측하는 기술이다. 하지만, 이러한 디지털 트윈 기술 관련 연구는 주로 제품에 관해서만 이루어지고 있다.
감성 ICT(information & communications technology) 산업의 폭발적인 성장과 함께 국제적으로 감정 인식 관련 연구가 증가하고 있으나, 불특정 다수를 대상으로 한 감정 인식 등의 연구에서 판단 오류를 보이는 경우가 종종 있다.
따라서, 디지털 트윈 기술을 특정인의 감정에 적용하여 특정인의 감정을 인식하고 유도하는 기술이 필요하다.
한국공개특허 제 10-2020-0105446 호 (2020.09.07) 한국공개특허 제 10-2019-0128717 호 (2019.11.18)
본 발명이 해결하고자 하는 과제는, 사용자의 감정을 디지털상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 감정 디지털 트윈 장치가 사용자에 대응하여 상기 사용자의 감정을 가상으로 재현하는 감정 디지털 트윈을 제공하는 방법이 제공된다. 상기 감정 디지털 트윈 제공 방법은, 제1 데이터를 인공지능에 기반하는 제1 감정 분류 모델에 적용하여, 제1 감정 후보를 결정하는 단계; 상기 제1 데이터와는 다른 종류인 제2 데이터를 인공지능에 기반하는 제2 감정 분류 모델에 적용하여, 제2 감정 후보를 결정하는 단계; 상기 제1 감정 후보 및 상기 제2 감정 후보를 인공지능에 기반하는 통합 결정 모델에 적용하여, 최종 감정을 결정하는 단계; 및 상기 최종 감정을 나타내는 감정 디지털 트윈을 생성하는 단계를 포함한다.
상기 감정 디지털 트윈 제공 방법은 상기 제1 데이터 및 상기 제2 데이터와는 다른 종류인 제3 데이터를 인공지능에 기반하는 제3 감정 분류 모델에 적용하여, 제3 감정 후보를 결정하는 단계를 더 포함할 수 있다.
상기 제1 데이터, 상기 제2 데이터, 및 상기 제3 데이터 각각은 상기 사용자의 생체 데이터, 진료 데이터, 얼굴 표정 데이터, 및 음성 데이터 중 하나일 수 있다.
상기 감정 디지털 트윈 제공 방법은, 실시간 데이터를 상기 감정 디지털 트윈에 적용하여 상황에 따른 상기 사용자의 감정을 예측하는 단계를 더 포함할 수 있다.
상기 최종 감정을 결정하는 단계는, 상기 제1 감정 후보에 제1 가중치를 적용하고, 상기 제2 감정 후보에 제2 가중치를 적용하는 단계; 및 상기 제1 가중치가 적용된 제1 감정 후보와 상기 제2 가중치가 적용된 제2 감정 후보를 앙상블(ensemble) 기법을 사용하는 상기 통합 결정 모델에 적용하여, 상기 최종 감정을 결정하는 단계를 포함할 수 있다.
상기 감정 디지털 트윈 제공 방법은, 상기 사용자의 감정을 목표 감정으로 변화시키기 위해 필요한 조치를 심리 분석 전문 지식 데이터를 고려하여 상기 감정 디지털 트윈을 통해 결정하는 단계를 더 포함할 수 있다.
상기 감정 디지털 트윈 제공 방법은, 상기 제1 감정 분류 모델을 학습시키는 단계를 더 포함할 수 있다. 상기 제1 감정 분류 모델을 학습시키는 단계는, 상기 제1 데이터가 생성되는 시점에 상기 사용자가 가지는 감정의 종류 및 정도를 나타내는 제1 라벨 데이터를 획득하는 단계; 상기 제1 데이터의 종류에 대응하는 제1 전처리 기법을 이용해, 상기 제1 데이터를 상기 제1 감정 분류 모델에 적용 가능한 데이터로 전처리하는 단계; 및 상기 제1 라벨 데이터 및 상기 전처리된 제1 데이터를 이용해 상기 제1 감정 분류 모델을 학습시키는 단계를 포함할 수 있다.
상기 감정 디지털 트윈 제공 방법은, 유전(genetic) 알고리즘에 기반한 진화 연산을 이용해, 상기 제1 감정 분류 모델 및 상기 제2 감정 분류 모델의 최적화를 수행하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 사용자에 대응하여 상기 사용자의 감정을 가상으로 재현하는 감정 디지털 트윈을 제공하는 장치가 제공된다. 상기 감정 디지털 트윈 장치는, 제1 데이터를 인공지능에 기반하는 제1 감정 분류 모델에 적용하여, 제1 감정 후보를 결정하는 제1 분류부; 상기 제1 데이터와는 다른 종류인 제2 데이터를 인공지능에 기반하는 제2 감정 분류 모델에 적용하여, 제2 감정 후보를 결정하는 제2 분류부; 상기 제1 감정 후보 및 상기 제2 감정 후보를 인공지능에 기반하는 통합 결정 모델에 적용하여, 최종 감정을 결정하는 통합 결정부; 상기 최종 감정을 나타내는 감정 디지털 트윈을 생성하는 디지털 트윈 생성부; 및 실시간 데이터를 상기 감정 디지털 트윈에 적용하여 상황에 따른 상기 사용자의 감정을 예측하는 예측부를 포함한다.
본 발명의 실시예에 따르면, 사용자에 대응하여 사용자의 감정을 디지털상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치가 제공될 수 있다.
또한 본 발명의 실시예에 따르면, 감정 생성의 주체인 사람에 대한 감정 디지털 트윈을 생성함으로써, 특정인에 대하여 상황에 따른 감정 발생을 예측할 수 있고 감정 인식의 정확도를 향상시킬 수 있다.
또한 본 발명의 실시예에 따르면, 사용자 개인 별 감정 디지털 트윈은 인공지능 기반 학습 모델을 포함하므로, 개인정보 유출의 가능성을 최소화할 수 있다.
또한 본 발명의 실시예에 따르면, 사용자 개인의 감정 상태가 목표 감정 상태로 변화되도록 유도할 수 있다.
또한 본 발명의 실시예에 따르면, 장애인, 영유아, 중증환자 등 감정 표현이 어려운 사용자를 위해 유용하게 사용될 수 있다.
또한 본 발명의 실시예에 따르면, 운전자의 감정 상태 인식 및 감정 변화 유도를 위해 사용될 수 있다.
또한 본 발명의 실시예에 따르면, 감정 노동자(예, 콜센터 직원 등)에 대한 모니터링 및 업무 효율성 향상을 위해 사용될 수 있다.
또한 본 발명의 실시예에 따르면, 개인 감정 상태에 기반한 마케팅(예, 광고 등)에 적용될 수 있다.
또한 본 발명의 실시예에 따르면, 경증 정신 질환(예, 분노조절장애, 우울증 등)을 가지고 있는 사용자의 치료를 위해 사용될 수 있다.
도 1은 본 발명의 실시예에 따른, 감정 디지털 트윈 장치가 감정 디지털 트윈을 생성하는 동작을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른, 감정 디지털 트윈 장치의 구성요소를 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른, 감정 디지털 트윈 장치가 사용자에 대응하여 사용자의 감정을 가상으로 재현하는 감정 디지털 트윈을 제공하는 방법을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
디지털 트윈(digital twin) 기술은 가상의 디지털 세계에 현실 속 객체의 쌍둥이를 만들고, 현실에서 발생할 수 있는 상황을 가상의 디지털 세계에서 시뮬레이션함으로써 그 결과를 미리 예측하는 기술이다. 이러한 디지털 트윈의 개념을 사람의 감정에 적용함으로써, 현실 속 사람의 감정을 나타내는 쌍둥이(감정 디지털 트윈)가 가상의 디지털 세계에서 구현될 수 있다. 이러한 감정 디지털 트윈은 사람의 감정 인식 및 감정 유도의 효과를 향상시키기 위해서 사용될 수 있다.
감정 디지털 트윈은 개인의 감정을 디지털 공간에 복제하는 것이다. 본 발명의 실시예에 따른 감정 디지털 트윈 장치(1000)는 개인의 정형 데이터 또는 비정형 데이터를 사용하는 복수의 인공지능 기반 학습 모델을 통해, 개인의 감정을 디지털 공간 상의 하나의 존재로 만들 수 있다.
감정 디지털 트윈 장치(1000)는 개인의 복합적인 감정이 디지털 공간 상에서 최대한 동일하게 재현되도록 감정 디지털 트윈에 대한 지속적인 업그레이드를 수행할 수 있다.
감정 디지털 트윈 장치(1000)는 시간에 따라 변하는 개인의 정형 데이터 또는 비정형 데이터를 사용하여, 복수의 인공지능 기반 학습 모델을 지속적으로 업데이트할 수 있다.
감정 디지털 트윈 장치(1000)는 감정 디지털 트윈을 사용하여 개인의 감정 상태 인지의 정확도를 최대화할 수 있다.
감정 디지털 트윈 장치(1000)는 인지된 감정 상태를 사용하여 다양한 서비스를 제공할 수 있다. 구체적으로, 감정 디지털 트윈 장치(1000)는 감정 디지털 트윈에 기반한 실시간 감정 인식 및 감정 유도 서비스를 제공할 수 있다. 감정 디지털 트윈에 기반한 실시간 감정 인식 및 감정 유도 서비스는, 특정 사용자를 대상으로 생성된 사용자 맞춤형 감정 디지털 트윈을 이용하여 감정 인식 및 감정 유도 과정을 반복적으로 수행함으로써 해당 사용자가 목표로 하는 감정 상태(예, 목표로 하는 감정의 종류 및 정도)에 도달하도록 유도하는 서비스를 의미한다.
도 1은 본 발명의 실시예에 따른, 감정 디지털 트윈 장치(1000)가 감정 디지털 트윈을 생성하는 동작을 나타내는 도면이다.
감정의 종류 및 정도를 나타내는 감정표가 사용자에게 제공될 수 있다(S100). 구체적으로 사용자는 감정표에서 사용자 개인의 감정을 감정 종류별(예, 화남, 즐거움, 기쁨, 슬픔 등)로 복수 개 선택할 수 있다. 그리고 사용자는 감정표에서 선택된 감정 종류에 따른 감정 정도(예, 1~5 단계)를 선택할 수 있다. 감정 디지털 트윈 장치(1000)는 감정표에서 사용자에 의해 선택된 정보를 라벨(label) 데이터로써 사용할 수 있다.
감정 디지털 트윈 장치(1000)는 정형 데이터 또는 비정형 데이터를 확보할 수 있다(S110). 구체적으로, 감정 디지털 트윈 장치(1000)는 사용자의 생체 정보 데이터를 수집할 수 있다. 예를 들어, 감정 디지털 트윈 장치(1000)는 사용자 개인의 감정 상태가 변하는 시점 마다 센서 기기(예, 웨어러블 기기 등)를 통해 사용자의 생체 데이터(예, 심전도, 심박수, 산소포화도 등)를 생성할 수 있다. 사용자는 생체 데이터가 생성되는 시점의 감정 상태를 감정표에서 선택할 수 있다. 감정 디지털 트윈 장치(1000)는 감정표에서 사용자에 의해 선택된 정보를 라벨 데이터로써 사용할 수 있다.
다른 예를 들어, 감정 디지털 트윈 장치(1000)는 사용자의 얼굴 표정 데이터를 수집할 수 있다. 감정 디지털 트윈 장치(1000)는 사용자 개인의 감정 상태가 변하는 시점 마다 센서 기기(예, 카메라 등)를 통해 사용자의 얼굴을 촬영할 수 있다. 사용자는 얼굴이 촬영되는 시점의 감정 상태를 감정표에서 선택할 수 있다. 감정 디지털 트윈 장치(1000)는 감정표에서 사용자에 의해 선택된 정보를 라벨 데이터로써 사용할 수 있다.
또 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 사용자의 목소리(음성) 데이터를 수집할 수 있다. 감정 디지털 트윈 장치(1000)는 사용자 개인의 감정 상태가 변하는 시점 마다 녹음 기기를 통해 사용자의 목소리를 녹음할 수 있다. 사용자는 목소리가 녹음되는 시점의 감정 상태를 감정표에서 선택할 수 있다. 감정 디지털 트윈 장치(1000)는 감정표에서 사용자에 의해 선택된 정보를 라벨 데이터로써 사용할 수 있다.
또한, 감정 디지털 트윈 장치(1000)는 필요한 데이터를 지속적으로 수집할 수 있다.
감정 디지털 트윈 장치(1000)는 확보된 정형 데이터 또는 비정형 데이터에 대한 전처리를 수행할 수 있다(S120).
구체적으로, 감정 디지털 트윈 장치(1000)는 주요 특징 선택(feature selection) 및 특징 추출(feature extraction)을 수행하여 감정 분류의 정확도를 향상시킬 수 있다. 예를 들어, 감정 디지털 트윈 장치(1000)는 생체 데이터 중 심장 박동수, 흘리는 땀의 양 등의 주요 특징을 선택할 수 있다. 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 특징 추출을 통해 기존 데이터에 기반한 새로운 특징을 생성할 수 있다.
감정 디지털 트윈 장치(1000)는 각 데이터(예, 생체 데이터, 얼굴 표정 데이터, 목소리 데이터 등)의 특성에 맞는 데이터 전처리 기법을 사용하여, 각 데이터를 각 데이터의 종류에 대응하는 인공지능 기반 학습 모델(예, 기계학습 모델, 딥러닝 모델 등)에 적용 가능하도록 변경할 수 있다. 예를 들어, 감정 디지털 트윈 장치(1000)는 데이터 정규화(normalization)를 수행할 수 있다. 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 데이터의 자료 타입(예, 정수, 실수, 문자열 등)을 변경할 수 있다. 또 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 SMOTE(synthetic minority over-sampling technique) 기법을 이용해 특정 감정에 관한 데이터 건수를 증가시킬 수 있다. 또 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 데이터를 수치로 변경할 수 있다. 또 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 데이터를 이미지로 변경할 수 있다.
감정 디지털 트윈 장치(1000)는 복수의 인공지능 기반 학습 모델을 데이터 종류 별로 생성할 수 있다(S130). 구체적으로, 감정 디지털 트윈 장치(1000)는 생체 데이터를 사용하는 인공지능 기반 학습 모델(이하 '생체정보 학습 모델')을 생성할 수 있다. 예를 들어, 생체정보 학습 모델은 사용자 개인의 심전도, 심박수, 산소포화도 등의 생체 데이터를 학습 모델의 훈련(training)을 위한 훈련 데이터로써 사용할 수 있다. 생체정보 학습 모델은 생체 데이터가 생성되는 시점에 감정표에서 사용자에 의해 선택된 감정 상태 정보를 라벨 데이터로써 사용할 수 있다.
또한, 감정 디지털 트윈 장치(1000)는 얼굴 표정 데이터를 사용하는 인공지능 기반 학습 모델(이하 '얼굴인식 학습 모델')을 생성할 수 있다. 예를 들어, 얼굴인식 학습 모델은 사용자 개인의 얼굴 표정 데이터(예, 얼굴 사진 등)를 훈련 데이터로써 사용할 수 있다. 얼굴인식 학습 모델은 얼굴 사진이 촬영되는 시점에 감정표에서 사용자에 의해 선택된 감정 상태 정보를 라벨 데이터로써 사용할 수 있다.
또한, 감정 디지털 트윈 장치(1000)는 목소리 데이터를 사용하는 인공지능 기반 학습 모델(이하 '음성인식 학습 모델')을 생성할 수 있다. 예를 들어, 음성인식 학습 모델은 사용자 개인의 음성 데이터(예, 목소리 녹음 파일 등)를 훈련 데이터로써 사용할 수 있다. 음성인식 학습 모델은 목소리가 녹음되는 시점에 감정표에서 사용자에 의해 선택된 감정 상태 정보를 라벨 데이터로써 사용할 수 있다.
또한, 감정 디지털 트윈 장치(1000)는 필요한 데이터를 지속적으로 수집하고 수집된 데이터에 맞는 인공지능 기반 학습 모델을 추가할 수 있다.
한편, 감정 디지털 트윈 장치(1000)는 인공지능 기반 학습 모델을 생성함에 있어서, 기계학습 알고리즘(예, SVM(support vector machine), 결정 트리(decision tree), k-NN(k-nearest neighbor) 등)과 딥러닝 알고리즘(예, RNN(recurrent neural network), CNN(convolutional neural network) 등)을 사용하여, 바이너리 형태의 학습 모델을 생성할 수 있다.
감정 디지털 트윈 장치(1000)는 최적화 알고리즘을 사용하여 최적화를 수행할 수 있다(S150). 구체적으로, 감정 디지털 트윈 장치(1000)는 진화 연산(예, 유전(genetic) 알고리즘, 미분 진화(differential evolution) 알고리즘 등)을 사용하여 각 학습 모델의 파라미터를 최적화함으로써, 감정 디지털 트윈의 정확도를 향상시킬 수 있다. 즉, 감정 디지털 트윈 장치(1000)는 S130 단계에서 생성된 인공지능 기반 학습 모델에 대한 최적화를 유전 알고리즘 등의 최적화 알고리즘을 사용하여 수행함으로써, 높은 정확도를 가지는 감정 디지털 트윈이 생성될 수 있다. 한편, S150 단계는 S140 단계 이후에 수행될 수도 있다.
감정 디지털 트윈 장치(1000)는 감정 디지털 트윈을 생성할 수 있다(S140). 구체적으로, 감정 디지털 트윈 장치(1000)는 S130 단계에서 생성되어 S150 단계에서 최적화된 복수의 인공지능 기반 학습 모델을 사용하여, 사용자 개인의 복합적 감정 상태를 디지털 공간 상에 복제한 감정 디지털 트윈을 생성할 수 있다. 예를 들어, 감정 디지털 트윈 장치(1000)는 사용자의 생체 데이터, 얼굴 표정 데이터, 음성 데이터 등을 학습 모델에 각각 적용하여, 감정 상태(예, 감정의 종류 및 정도)를 각각 도출할 수 있다.
감정 디지털 트윈 장치(1000)는 앙상블(ensemble) 기법 등을 통해 각 학습 모델의 결과를 종합하여 최종 결과를 도출할 수 있다. 감정 디지털 트윈 장치(1000)가 앙상블 기법을 사용함에 있어서, 복수의 학습 모델의 결과에 대하여 보팅(voting) 기법, 배깅(bagging) 기법, 또는 부스팅(boosting) 기법을 적용하여 가장 신뢰성이 높다고 판단되는 결과를 최종 결과로 도출할 수 있다. 예를 들어, 복수의 학습 모델의 결과에 대하여 보팅 기법이 적용되는 경우에, 감정 디지털 트윈 장치(1000)는 생체정보 학습 모델의 결과, 얼굴인식 학습 모델의 결과, 음성인식 학습 모델의 결과 등에 대하여 가장 신뢰성이 높은 결과를 투표 방식으로 채택할 수 있다.
한편, 감정 디지털 트윈 장치(1000)는 감정 인식의 정확도를 향상시키기 위하여, 데이터 수집 및 학습 모델 추가를 지속적으로 수행할 수 있다.
이를 통해, 최종 감정 인식 결과를 도출하는 기법이 개선될 수 있다.
도 2는 본 발명의 실시예에 따른, 감정 디지털 트윈 장치(1000)의 구성요소를 나타내는 도면이다.
감정 디지털 트윈 장치(1000)가 감정 디지털 트윈을 생성함에 있어서, 복수의 인공지능 기반 학습 모델을 생성할 수 있다. 구체적으로, 감정 디지털 트윈 장치(1000)는 사용자 개인의 특징을 추출할 수 있는 정형 데이터 또는 비정형 데이터를 이용하는 복수의 인공지능 기반 학습 모델을 생성할 수 있다. 예를 들어, 감정 디지털 트윈 장치(1000)는 성격 정보 또는 의료 정보를 이용하는 인공지능 기반 학습 모델을 생성할 수 있다. 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 생체 정보를 이용하는 인공지능 기반 학습 모델을 생성할 수 있다. 또 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 의료 정보를 이용하는 인공지능 기반 학습 모델을 생성할 수 있다. 또 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 얼굴 인식 정보를 이용하는 인공지능 기반 학습 모델을 생성할 수 있다. 또 다른 예를 들어, 감정 디지털 트윈 장치(1000)는 목소리 인식 정보를 이용하는 인공지능 기반 학습 모델을 생성할 수 있다. 즉, 감정 디지털 트윈 장치(1000)는 데이터 종류 별로 인공지능 기반 학습 모델을 생성할 수 있다.
감정 디지털 트윈 장치(1000)는 빅데이터 분석을 수행하고 다양한 데이터 전처리 기법을 이용해 데이터 전처리를 수행할 수 있다. 감정 디지털 트윈 장치(1000)는 인공지능 기술(예, 기계학습 기술, 딥러닝 기술 등)을 사용할 수 있다.
감정 디지털 트윈 장치(1000)는 복수의 인공지능 기반 학습 모델에 앙상블(ensemble) 기법(예, 보팅(voting) 기법 등)을 적용하여, 사용자 개인의 복합적 감정 상태가 디지털 공간 상에 복제된 감정 디지털 트윈을 생성할 수 있다.
감정 디지털 트윈 장치(1000)는 감정 디지털 트윈을 이용해 사용자 개인의 복합 감정을 분석할 수 있고 분석 결과에 기반한 다양한 서비스를 제공할 수 있다.
도 2에 예시된 바와 같이, 감정 디지털 트윈 장치(1000)는 데이터 획득부(100), 학습부(200), 분류부(300), 최적화부(400), 통합 결정부(500), 디지털 트윈 생성부(600), 예측부(700), 및 감정 유도부(800)를 포함할 수 있다.
도 3은 본 발명의 실시예에 따른, 감정 디지털 트윈 장치(1000)가 사용자에 대응하여 사용자의 감정을 가상으로 재현하는 감정 디지털 트윈을 제공하는 방법을 나타내는 도면이다. 도 3을 참고하여, 도 2에 예시된 감정 디지털 트윈 장치(1000)의 각 구성요소가 수행하는 동작을 설명한다.
데이터 획득부(100)는 멀티 모달 데이터(예, 정형 데이터 또는 비정형 데이터)를 획득할 수 있다. 구체적으로, 데이터 획득부(100)는 사용자의 성격 데이터, 생체 데이터, 직업 능력 데이터, 질병 데이터(의료 데이터), 및 감정 변화 데이터 등을 센서 기기 등을 통해 수집할 수 있다.
학습부(200)는 멀티 모달 데이터를 이용해, 인공지능에 기반하는 복수의 학습 모델(감정 분류 모델)의 학습을 수행할 수 있다(S200). 구체적으로, 학습부(200)는 멀티 모달 데이터(예, 제1 데이터, 제2 데이터, ..., 제n 데이터)가 생성되는 시점에 사용자가 가지는 감정 상태(예, 감정의 종류 및 정도)를 나타내는 라벨 데이터(예, 제1 라벨 데이터, 제2 라벨 데이터 등)를 획득할 수 있다. 학습부(200)는 각 데이터(예, 제1 데이터, 제2 데이터, ..., 제n 데이터)의 종류에 대응하는 전처리 기법(예, 제1 전처리 기법, 제2 전처리 기법 등)을 이용해, 각 데이터를 각 학습 모델(감정 분류 모델)에 적용 가능한 데이터로 전처리할 수 있다. 학습부(200)는 라벨 데이터(예, 제1 라벨 데이터, 제2 라벨 데이터 등) 및 전처리된 데이터(예, 전처리된 제1 데이터, 전처리된 제2 데이터 등)를 이용해, 학습 모델(감정 분류 모델)을 각각 학습시킬 수 있다.
분류부(300)는 멀티 모달 데이터를 인공지능에 기반하는 복수의 학습 모델에 적용하여 복수의 감정 후보를 결정할 수 있다(S210). 분류부(300)는 확보되는 데이터의 종류 별로 존재할 수 있다. 예를 들어, 확보된 데이터의 종류가 n(단, n은 자연수)개 라면, n개의 분류부(300-1, 300-2, ..., 300-n)가 존재할 수 있다. 구체적으로, 제1 분류부(300-1)는 제1 데이터를 인공지능 기반 학습 모델(이하 '제1 감정 분류 모델')에 적용하여 제1 감정 후보(예, 감정의 종류 및 정도를 포함)를 결정할 수 있다. 제2 분류부(300-2)는 제1 데이터와는 다른 종류인 제2 데이터를 인공지능 기반 학습 모델(이하 '제2 감정 분류 모델')에 적용하여 제2 감정 후보(예, 감정의 종류 및 정도를 포함)를 결정할 수 있다. 제n 분류부(300-n)는 제1 데이터 및 제2 데이터와는 다른 종류인 제n 데이터를 인공지능 기반 학습 모델(이하 '제n 감정 분류 모델')에 적용하여 제n 감정 후보(예, 감정의 종류 및 정도를 포함)를 결정할 수 있다. 제1 데이터, 제2 데이터, ..., 및 제n 데이터 각각은 사용자의 생체 데이터, 진료 데이터, 얼굴 표정 데이터, 및 음성 데이터 등 중 하나일 수 있다. 예를 들어, 제1 데이터가 생체 데이터이고 제2 데이터가 얼굴 표정 데이터이고 제n 데이터가 음성 데이터(목소리 데이터)인 경우에, 제1 감정 분류 모델은 생체정보 학습 모델이고 제2 감정 분류 모델은 얼굴인식 학습 모델 이고 제n 감정 분류 모델은 음성인식 학습 모델 일 수 있다.
통합 결정부(500)는 복수의 감정 후보(예, 제1 감정 후보, 제2 감정 후보, ..., 제n 감정 후보)를 인공지능에 기반하는 통합 결정 모델에 적용하여 최종 감정(예, 감정의 종류 및 정도를 포함)을 결정할 수 있다(S220). 구체적으로, 통합 결정부(500)는 제1 감정 후보에 제1 가중치를 적용하고 제2 감정 후보에 제2 가중치를 적용하고 제n 감정 후보에 제n 가중치를 적용할 수 있다. 제1 가중치, 제2 가중치, ..., 및 제n 가중치는 서로 동일한 값을 가지고 다른 값을 가질 수 있다. 통합 결정부(500)는 가중치가 적용된 복수의 감정 후보(예, 제1 가중치가 적용된 제1 감정 후보, 제2 가중치가 적용된 제2 감정 후보, ..., 제n 가중치가 적용된 제n 감정 후보)를 상술한 앙상블(ensemble) 기법을 사용하는 통합 결정 모델에 적용하여, 최종 감정을 결정할 수 있다.
최적화부(400)는 진화 연산(예, 유전 알고리즘에 기반한 진화 연산, 미분 진화 알고리즘에 기반한 진화 연산 등)을 이용해, 감정 분류 모델(예, 제1 감정 분류 모델, 제2 감정 분류 모델, ..., 제n 감정 분류 모델) 및 통합 결정 모델의 최적화를 수행할 수 있다(S240). 즉, 최적화부(400)는 인공지능 기반 학습 모델(예, 복수의 감정 분류 모델 및 통합 결정 모델)에 대한 최적화를 유전 알고리즘 등의 최적화 알고리즘을 사용하여 수행함으로써, 높은 정확도를 가지는 감정 디지털 트윈이 생성될 수 있다. 한편, S240 단계는 S230 단계 이후에 수행될 수도 있다.
디지털 트윈 생성부(600)는 최종 감정을 나타내는 감정 디지털 트윈(즉, 최종 감정이 디지털 공간 상에 복제된 감정 디지털 트윈)을 생성할 수 있다(S230).
예측부(700)는 실시간 데이터를 감정 디지털 트윈에 적용하여 상황에 따른 사용자의 감정을 예측할 수 있다(S250).
감정 유도부(800)는 사용자의 감정을 목표 감정으로 변화시키기 위해 필요한 조치(예, 감정 유도를 위한 액션, 안내, 코칭 등)를 심리 분석 전문 지식 데이터를 고려하여, 감정 디지털 트윈을 통해 결정할 수 있다(S260).
도 4는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 감정 디지털 트윈 장치(1000) 또는 이의 구성요소 등)일 수 있다.
컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
감정 디지털 트윈 장치(1000)는 사용자의 성격 정보, 생체 정보, 직업 능력 정보, 질병 정보(의료 정보), 및 감정 변화 정보 등에 관한 빅데이터를 구축 및 분석하고, 이러한 빅데이터에 인공지능 기술(예, 기계학습 기술, 인공신경망 기술, 딥러닝 기술 등)을 적용하여 감정 디지털 트윈을 생성할 수 있다.
감정 디지털 트윈 장치(1000)는 실시간 멀티 모달 데이터(multi-modal data)에 기반한 감정 인식 기법을 감정 디지털 트윈에 결합하여 통합 감정 인식을 수행하는 통합 감정 인식 알고리즘을 포함할 수 있다.
감정 디지털 트윈 장치(1000)는 사용자의 감정이 목표 수준으로 변화되도록 유도하는 감정 유도 알고리즘을 포함할 수 있다. 구체적으로, 감정 디지털 트윈 장치(1000)는 메타 휴리스틱(metaheuristic) 기반 감정 유도 최적화 알고리즘을 포함할 수 있다. 메타 휴리스틱 기반 감정 유도 최적화 알고리즘은 통합 감정 인식 알고리즘과의 실시간 상호작용을 통해 사용자의 감정이 목표 수준으로 변화되도록 유도할 수 있다.
감정 디지털 트윈 장치(1000)는 통합 감정 인식 알고리즘 및 감정 유도 알고리즘 간의 상호 작용을 통해 감정 인식 및 감정 유도의 정확도를 최적화할 수 있다.
감정 디지털 트윈 장치(1000)는 영상 데이터, 음성 데이터, 생체 신호 데이터 등의 빅데이터를 복합적으로 사용하여 사람의 감정을 인식하는 멀티 모달 데이터 기반 감정 인식 알고리즘을 포함할 수 있다. 감정 디지털 트윈 장치(1000)는 이러한 빅데이터에 대한 고수준의 복합적 전처리 과정을 수행할 수 있다.
감정 디지털 트윈 장치(1000)는 감정 디지털 트윈을 이용해 감정 상황을 판단함으로써, 감정 상황 판단의 정확도를 향상시킬 수 있다.
감정 디지털 트윈 장치(1000)는 특정인의 감정을 목표로 하는 감정 상태로 유도하는 감정 유도 최적화 알고리즘을 포함할 수 있다. 감정 디지털 트윈 장치(1000)는 특정인의 성격 정보, 의료 정보, 및 상황에 따른 감정 변화 정보 등의 빅데이터를 사용함으로써, 특정인에 관한 감정 판단 정확도를 향상시킬 수 있다.
한편, 감정 디지털 트윈 장치(1000)는 비정상적인 감정 상태에 있는 운전자(예, 난폭 운전자, 보복 운전자 등)의 감정을 조절하기 위해 사용될 수 있다. 또는, 감정 디지털 트윈 장치(1000)는 채용 과정에서 최적의 지원자(예, 감정 노동 직종의 지원자)를 선별하기 위해서 사용될 수 있다. 또는, 감정 디지털 트윈 장치(1000)는 심리 치료(예, 분노 조절 장애 치료 등)를 위해서 사용될 수 있다. 또는, 감정 디지털 트윈 장치(1000)는 집중력 증대 (예, 수험생의 학습효율 개선, 직장인의 업무효율 개선 등)를 위해서 사용될 수 있다. 또는, 감정 디지털 트윈 장치(1000)는 감정 노동 종사자(예, 콜센터 상담 직원)의 스트레스 조절을 위해서 사용될 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

  1. 감정 디지털 트윈 장치가 사용자에 대응하여 상기 사용자의 감정을 가상으로 재현하는 감정 디지털 트윈을 제공하는 방법으로서,
    제1 데이터를 인공지능에 기반하는 제1 감정 분류 모델에 적용하여, 제1 감정 후보를 결정하는 단계;
    상기 제1 데이터와는 다른 종류인 제2 데이터를 인공지능에 기반하는 제2 감정 분류 모델에 적용하여, 제2 감정 후보를 결정하는 단계;
    상기 제1 감정 후보 및 상기 제2 감정 후보를 인공지능에 기반하는 통합 결정 모델에 적용하여, 최종 감정을 결정하는 단계;
    상기 최종 감정을 나타내는 감정 디지털 트윈을 생성하는 단계; 및
    실시간 데이터를 상기 감정 디지털 트윈에 적용하여 상황에 따른 감정을 예측하여 상기 사용자의 감정을 인식하고, 상기 감정 디지털 트윈을 통해 상기 인식된 감정을 상기 사용자가 목표로 하는 감정의 종류와 정도를 나타내는 목표 감정으로 변화시키는 단계;를 포함하되,
    상기 목표 감정을 변화시키는 단계는,
    상기 감정을 인식하는 과정과 상기 목표 감정으로 변화시키는 과정을 반복적으로 수행하여 상기 사용자가 상기 목표 감정에 도달하도록 유도하는
    감정 디지털 트윈 제공 방법.
  2. 제1항에 있어서,
    상기 제1 데이터 및 상기 제2 데이터와는 다른 종류인 제3 데이터를 인공지능에 기반하는 제3 감정 분류 모델에 적용하여, 제3 감정 후보를 결정하는 단계를 더 포함하고,
    상기 제1 데이터, 상기 제2 데이터, 및 상기 제3 데이터 각각은 상기 사용자의 생체 데이터, 진료 데이터, 얼굴 표정 데이터, 및 음성 데이터 중 하나인
    감정 디지털 트윈 제공 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 최종 감정을 결정하는 단계는,
    상기 제1 감정 후보에 제1 가중치를 적용하고, 상기 제2 감정 후보에 제2 가중치를 적용하는 단계; 및
    상기 제1 가중치가 적용된 제1 감정 후보와 상기 제2 가중치가 적용된 제2 감정 후보를 앙상블(ensemble) 기법을 사용하는 상기 통합 결정 모델에 적용하여, 상기 최종 감정을 결정하는 단계를 포함하는
    감정 디지털 트윈 제공 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 제1 감정 분류 모델을 학습시키는 단계를 더 포함하고,
    상기 제1 감정 분류 모델을 학습시키는 단계는,
    상기 제1 데이터가 생성되는 시점에 상기 사용자가 가지는 감정의 종류 및 정도를 나타내는 제1 라벨 데이터를 획득하는 단계;
    상기 제1 데이터의 종류에 대응하는 제1 전처리 기법을 이용해, 상기 제1 데이터를 상기 제1 감정 분류 모델에 적용 가능한 데이터로 전처리하는 단계; 및
    상기 제1 라벨 데이터 및 상기 전처리된 제1 데이터를 이용해 상기 제1 감정 분류 모델을 학습시키는 단계를 포함하는
    감정 디지털 트윈 제공 방법.
  7. 제1항에 있어서,
    유전(genetic) 알고리즘에 기반한 진화 연산을 이용해, 상기 제1 감정 분류 모델 및 상기 제2 감정 분류 모델의 최적화를 수행하는 단계를 더 포함하는
    감정 디지털 트윈 제공 방법.
  8. 사용자에 대응하여 상기 사용자의 감정을 가상으로 재현하는 감정 디지털 트윈을 제공하는 장치로서,
    제1 데이터를 인공지능에 기반하는 제1 감정 분류 모델에 적용하여, 제1 감정 후보를 결정하는 제1 분류부;
    상기 제1 데이터와는 다른 종류인 제2 데이터를 인공지능에 기반하는 제2 감정 분류 모델에 적용하여, 제2 감정 후보를 결정하는 제2 분류부;
    상기 제1 감정 후보 및 상기 제2 감정 후보를 인공지능에 기반하는 통합 결정 모델에 적용하여, 최종 감정을 결정하는 통합 결정부;
    상기 최종 감정을 나타내는 감정 디지털 트윈을 생성하는 디지털 트윈 생성부;
    실시간 데이터를 상기 감정 디지털 트윈에 적용하여 상황에 따른 감정을 예측하여 상기 사용자의 감정을 인식하는 예측부; 및
    상기 감정 디지털 트윈을 통해 상기 인식된 감정을 상기 사용자가 목표로 하는 감정의 종류와 정도를 나타내는 목표 감정으로 변화시키는 감정 유도부;를 포함하되,
    상기 감정 유도부는,
    상기 감정을 인식하는 과정과 상기 목표 감정으로 변화시키는 과정을 반복적으로 수행하여 상기 사용자가 상기 목표 감정에 도달하도록 유도하는
    감정 디지털 트윈 장치.
KR1020200177080A 2020-12-17 2020-12-17 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치 KR102472786B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200177080A KR102472786B1 (ko) 2020-12-17 2020-12-17 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177080A KR102472786B1 (ko) 2020-12-17 2020-12-17 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220086878A KR20220086878A (ko) 2022-06-24
KR102472786B1 true KR102472786B1 (ko) 2022-11-30

Family

ID=82215654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177080A KR102472786B1 (ko) 2020-12-17 2020-12-17 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102472786B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116687409B (zh) * 2023-07-31 2023-12-12 武汉纺织大学 一种基于数字孪生和深度学习的情绪识别方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145777B1 (ko) * 2019-09-23 2020-08-19 인포보스 주식회사 인공지능을 이용한 셀프검증형 감성분석에 기반한 기기제어 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101284561B1 (ko) * 2011-02-14 2013-07-11 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
KR101970297B1 (ko) * 2016-11-22 2019-08-13 주식회사 로보러스 감정을 생성하여 표현하는 로봇 시스템과, 그 시스템에서의 감정 생성 및 표현 방법
CA3057973C (en) 2017-03-27 2023-10-10 Siemens Aktiengesellschaft System for automated generative design synthesis using data from design tools and knowledge from a digital twin graph
KR20200051346A (ko) * 2018-11-05 2020-05-13 한국전자통신연구원 Ble 기반으로 사용자 감정 상태 정보 공유를 위한 단말 장치 및 방법
KR102351008B1 (ko) 2019-02-28 2022-01-14 주식회사 하가 감정 인식 장치 및 감정 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145777B1 (ko) * 2019-09-23 2020-08-19 인포보스 주식회사 인공지능을 이용한 셀프검증형 감성분석에 기반한 기기제어 방법 및 장치

Also Published As

Publication number Publication date
KR20220086878A (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
US20210335381A1 (en) Artificial intelligence apparatus for converting text and speech in consideration of style and method for the same
KR20200005986A (ko) 얼굴인식을 이용한 인지장애 진단 시스템 및 방법
KR102185469B1 (ko) 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
US11458409B2 (en) Automatic classification and reporting of inappropriate language in online applications
KR20180108400A (ko) 전자 장치, 그의 제어 방법 및 비일시적 컴퓨터 판독가능 기록매체
US20190013092A1 (en) System and method for facilitating determination of a course of action for an individual
US20210201696A1 (en) Automated speech coaching systems and methods
CN117349675B (zh) 一种多种信息源的多模态大模型构建***
CN113657380B (zh) 融合多模态注意力机制的图像美学质量评价方法
Rwelli et al. Gesture based Arabic sign language recognition for impaired people based on convolution neural network
KR102472786B1 (ko) 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치
Das et al. Interpretable self-supervised facial micro-expression learning to predict cognitive state and neurological disorders
CN117251057A (zh) 一种基于aigc构建ai数智人的方法及***
Vasudevan et al. SL-Animals-DVS: event-driven sign language animals dataset
Shanthi et al. An integrated approach for mental health assessment using emotion analysis and scales
KR20220106029A (ko) 인공지능을 활용한 심리 상담 방법 및 장치
Gladys et al. Survey on multimodal approaches to emotion recognition
TWI829944B (zh) 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
JP2018190318A (ja) データ収集装置及び学習装置
CA3233781A1 (en) Mental health intervention using a virtual environment
CN110555401B (zh) 一种基于表情识别的自适应情感表达***及方法
KR20220005945A (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
Eeswar et al. Better you: Automated tool that evaluates mental health and provides guidance for university students
Bi et al. A state of the art technology with machine intelligence in human emotion recognition
KR102478367B1 (ko) 이미지 인식 기반 음원 매칭 및 추천 방법, 장치 및 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant