KR101531664B1 - 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 - Google Patents
다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 Download PDFInfo
- Publication number
- KR101531664B1 KR101531664B1 KR1020130115385A KR20130115385A KR101531664B1 KR 101531664 B1 KR101531664 B1 KR 101531664B1 KR 1020130115385 A KR1020130115385 A KR 1020130115385A KR 20130115385 A KR20130115385 A KR 20130115385A KR 101531664 B1 KR101531664 B1 KR 101531664B1
- Authority
- KR
- South Korea
- Prior art keywords
- emotional
- subject
- information
- sensory information
- emotion
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 35
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 27
- 230000001953 sensory effect Effects 0.000 title claims description 3
- 238000012360 testing method Methods 0.000 title description 21
- 230000002996 emotional effect Effects 0.000 claims abstract description 161
- 230000008451 emotion Effects 0.000 claims abstract description 125
- 230000008447 perception Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000003930 cognitive ability Effects 0.000 claims abstract description 35
- 230000001149 cognitive effect Effects 0.000 claims abstract description 14
- 238000012790 confirmation Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 210000003754 fetus Anatomy 0.000 description 11
- 230000001605 fetal effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 206010003805 Autism Diseases 0.000 description 5
- 208000020706 Autistic disease Diseases 0.000 description 5
- 208000032041 Hearing impaired Diseases 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 201000000980 schizophrenia Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000008454 Hyperhidrosis Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 206010016531 fetishism Diseases 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 230000037315 hyperhidrosis Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008774 maternal effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법에 관한 것으로, 보다 구체적으로는 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는 출력부; 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부; 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부; 및 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서인지능력을 판단하는 제어부;를 포함한다.
이러한 구성에 의해, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 다감각정보를 이용하여 대상자의 정서 상태를 판단하여 타인에 대한 정서 인지능력을 용이하게 확인할 수 있는 효과가 있다.
이러한 구성에 의해, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 다감각정보를 이용하여 대상자의 정서 상태를 판단하여 타인에 대한 정서 인지능력을 용이하게 확인할 수 있는 효과가 있다.
Description
본 발명은 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법에 관한 것으로, 특히 복수 개의 감각정보를 이용하여 상대방의 현재 감정상태를 용이하게 파악할 수 있는 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법에 관한 것이다.
인간이 삶 속에서 타인과의 원만한 관계를 유지하며 살아가기 위해서는 나와 관계를 맺고 살아가는 타인의 감정 즉, 정서를 올바르게 지각하고 해석하는 것이 중요하다. 이를 정서 인지(emotion recognition)라고 한다.
예를 들어, 상기 정서 인지란, 타인의 얼굴을 보고 타인의 정서가 기쁜지 또는 슬픈지 등을 파악하거나, 타인의 목소리를 듣고 타인의 정서가 평온한지 또는 화가 나 있는지 여부를 파악하는 것을 말한다.
이러한 정서 인지 부분은 사회 생활을 막 시작하는 사회 초년생 또는 인간관계의 어려움을 겪는 사람에게 대인관계에 있어서 매우 큰 어려움을 주고 있다. 특히, 외관상으로 환자 여부를 확인하기 어려운 조현증(정신분열증), 자폐증, 우울증을 앓고 있는 환자의 경우에는 타인의 정서 상태를 파악하고, 이에 따른 반응을 하기가 어려운 문제점이 발생했다.
상술한 바와 같이, 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법을 살펴보면 다음과 같다.
선행기술 1은 한국공개특허 제2012-0068135호(2012.06.27)로서, 음파 분석을 이용하는 유사청각 학습 방법에 관한 것이다.
이러한 선행기술 1은 스피커(110)로부터 일반인이 소리를 듣는 소리 전달 단계(S110); 감정 저장 수단(120)이 상기 소리에 대해 상기 일반인이 느끼는 감정을 입력받아 기록하는 감정 기록 단계(S120); 유사청각 변환 수단(130)이 상기 소리를 주파수로 변환하고, 상기 주파수를 유사청각에 해당하는 물리적인 자극으로 변환하는 유사청각 변환 단계(S130); 및 유사청각 학습 수단(140)이 상기 유사청각에 대응되는 감정을 청각장애인에게 학습시키는 유사청각 학습 단계(S140);를 포함하여, 소리의 특정 주파수를 일반인이 느끼는 감정에 대한 주파수로 저장하여 물리적인 자극으로 변환함으로써, 각각의 물리적인 자극이 어떤 감정을 유발하는 소리인지 데이터화 하고, 이를 청각장애인들에게 학습시켜 소리가 변환된 물리적인 자극에 대한 감정을 청각장애인이 정확하게 느낄 수 있는 효과가 있다.
또한, 선행기술 2는 한국공개특허 제2003-0029660호(2003.04.16)로서, 태아 정서 인식을 이용한 태교 장치 및 방법에 관한 것이다. 이러한 선행기술 2는 태아로부터 발생된 생체 신호에 응답해서 태아의 정서 상태를 인식하는 태아 정서 인식부; 모체로부터 발생된 생체 신호에 응답해서 모체의 정서 상태를 인식하는 모체 정서 인식부; 모체가 위치하고 있는 주변 환경에 대한 시각, 청각 및 공조 데이터에 응답해서 주변 환경이 태아에 미치는 영향을 수치적으로 평가한 환경 친화도 값을 발생하는 주변 환경 감시부; 및 상기 태아의 정서 상태, 상기 모체의 정서 상태 및 상기 환경 친화도 값에 응답해서 태아의 정서 상태를 분석하고, 분석 결과에 따라 태아의 정서를 안정된 상태로 유지시키기 위한 태교 신호 및 환경 조절 신호를 발생하는 태아 정서 조절부를 포함함으로써, 태 아 및 모체로부터 발생되는 생체 신호의 분석에 의해 태아 및 모체의 정서 상태를 인식할 수 있다. 그리고, 인식된 태아 및 모체의 정서 상태, 및 태아가 위치하고 있는 주변 환경의 영향을 복합적으로 고려하여 태아의 정서가 안정된 상태를 유지할 수 있도록 지속적인 태아의 정서 상태 분석과 자극 신호를 발생한다. 따라서, 객관적인 방법에 의해 추출된 태아의 정서 인식을 바탕으로 한 태교가 가능하게 된다.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 타인의 감정을 나타내는 다감각정보를 이용하여 타인의 정서상태를 파악하는 능력을 검사하는 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법을 제공하고자 한다.
더불어, 상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 사용자의 타인에 대한 정서상태를 인지하는 능력을 파악한 후, 반복 수행을 통해 타인에 대한 정서상태 인지 능력을 향상시킬 수 있는 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 시스템은 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는 출력부; 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부; 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부; 및 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서인지능력을 판단하는 제어부;를 포함한다.
특히, 상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보인 다감각정보를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 시스템은 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 출력하는 출력부; 출력된 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부; 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부; 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한 후, 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하여 상기 출력부로 전송하는 제어부;를 포함하되, 상기 출력부는 상기 출력제어신호에 응답하여 상기 정서 인지능력 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력하며, 상기 제어부는 상기 피실험자의 정서 인지능력에 대한 판단결과를 평균 정서 인지능력에 대한 판단결과와 비교하여 상기 피실험자의 정서 인지능력이 향상 여부를 판단하는 것을 특징으로 한다.
보다 바람직하게는 상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경하는 난이도변경모듈; 상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보의 출력 순서를 변경하는 순서변경모듈; 및 상기 감정상태 조합의 난이도 변경결과 또는 다감각정보의 출력 순서를 나타내는 출력제어신호를 생성하여 상기 출력부로 전송하는 전송모듈; 을 더 포함하는 제어부를 포함할 수 있다.
특히, 상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보인 다감각정보를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법은 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는 단계; 입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 단계; 비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 단계; 및 제어부가 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단하는 단계;를 포함한다.
특히, 상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보가 조합되어 이루어지는 다감각정보를 출력하는 상기 출력부가 다감각정보를 출력하는 단계를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법은 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 출력하는 단계; 입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 단계; 비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 단계; 제어부가 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단하는 단계; 상기 제어부가 상기 피실험자의 정서 인지능력에 대한 판단결과에 해당하는 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하고, 생성한 출력제어신호를 상기 출력부로 전송하는 단계; 상기 출력부가 수신한 출력제어신호에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력하는 단계; 상기 입력부가 재출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 감정상태정보를 입력받는 단계; 상기 비교확인부가 입력받은 상기 감정상태정보가 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 재확인하는 단계; 및 상기 제어부가 상기 감정상태정보의 재확인결과에 따라, 상기 피실험자의 정서 인지능력에 대한 판단결과를 상기 저장부에 기저장된 평균 정서 인지능력의 판단결과와 비교하여 상기 피실험자의 정서 인지능력의 향상 여부를 판단하는 단계; 를 포함한다.
특히, 상기 피실험자의 정서인지 능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경한 변경결과 또는 다감각정보의 출력순서를 나타내는 출력제어신호를 생성하여 출력부로 전송하는 상기 제어부가 출력제어신호를 생성하여 출력부로 전송하는 단계를 포함할 수 있다.
본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 다감각정보를 이용하여 타인의 정서 상태를 판단하여, 피실험자의 타인에 대한 정서 인지능력을 용이하게 확인할 수 있는 효과가 있다.
또한, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 피실험자의 현재 타인에 대한 정서 인지능력을 확인한 후, 다감각정보의 감정상태 조합에 대한 난이도를 변경하여 정서 인지능력 확인을 반복수행함으로써, 상기 피실험자의 정서 인지능력을 향상시킬 수 있는 효과가 있다.
더불어, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 외관상으로 정상인과 동일하지만 조현증, 자폐증, 우울증 등을 앓고 있는 환자들의 타인에 대한 정서 인지능력을 객관적으로 확인할 수 있는 효과가 있다.
이와 더불어, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 조현증, 자폐증, 우울증 등을 앓고 있는 환자들에 대하여 다감각정보의 난이도를 변경하여 반복수행함으로써, 타인에 대한 정서 인지능력을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 시스템의 블록도이다.
도 3은 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법의 순서도이다.
도 4는 다감각정보의 조합별 기준 감정상태정보를 나타낸 표이다.
도 5는 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법의 순서도이다.
도 6은 감정의 난이도별 다감각정보를 나타낸 도면이다.
도 7은 정서 인지 훈련 수행 후, 피실험자의 정서 인지능력을 나타내는 그래프이다.
도 2는 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 시스템의 블록도이다.
도 3은 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법의 순서도이다.
도 4는 다감각정보의 조합별 기준 감정상태정보를 나타낸 표이다.
도 5는 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법의 순서도이다.
도 6은 감정의 난이도별 다감각정보를 나타낸 도면이다.
도 7은 정서 인지 훈련 수행 후, 피실험자의 정서 인지능력을 나타내는 그래프이다.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템(100)은 출력부(110), 입력부(120), 비교확인부(130), 제어부(140) 및 저장부(150)를 포함한다.
출력부(110)는 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는데, 모니터, 스피커 등의 형태로 구성될 수 있다. 특히, 상기 다감각정보는 다양한 자극에 대하여 반응하는 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보이다.
예를 들어, 즐거운 음악이라는 자극이 주어진 경우에, 대상자가 신나고 행복한 표정을 짓게 되는데, 이때 대상자를 촬영한 시각정보와, 또한 이때 상기 대상자가 즐거워하는 목소리를 나타내는 청각정보를 함께 조합하여 이루어지는 다감각정보를 출력부(110)가 출력한다. 또는 상기 출력부(110)는 피실험자의 타인에 대한 정서인지 능력을 판단하기 위해, 대상자를 촬영한 시각정보 또는 대상자의 청각정보만을 선택하여 하나의 정보만을 출력할 수 있다.
입력부(120)는 상기 출력부(110)를 통해 출력된 대상자의 현재 정서상태를 나타내는 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 복수 개의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다.
예를 들어, 대상자가 웃고 있는 시각정보와, 대상자의 웃음소리를 나타내는 청각정보를 나타내는 다감각정보가 출력부를 통해 출력되면, 피실험자로부터 상기 다감각정보의 시각정보와, 청각정보에 근거하여 현재 대상자의 정서상태가 동일하다고 판단하고, 동일하다는 감정상태정보가 입력부(120)로 입력된다.
비교확인부(130)는 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다.
예를 들어, 피실험자로부터 상기 입력부(120)를 통해 입력된 감정상태정보가 기쁜 상태이고, 출력부(110)를 통해 출력된 다감각정보에 해당하는 기준 감정상태정보가 기쁜 상태이면, 상기 비교확인부가 입력받은 감정상태정보와 기준 감정상태정보와 동일하다고 판단할 수 있다.
제어부(140)는 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서인지능력을 판단한다. 예를 들어, 상기 제어부는 입력받은 감정상태정보와 기준 감정상태정보가 동일하다고 확인한 결과에 기초하여 상기 피실험자의 타인에 대한 정서 인지능력이 양호하다는 판단을 할 수 있다.
저장부(150)는 상기 출력부(110)를 통해 출력하고자 하는 복수 개의 다감각정보 및 상기 복수 개의 다감각정보에 해당하는 기준 감정상태정보를 기저장한다.
이하, 도 2를 참조하여 본 발명의 다감각정보를 이용한 정서 인지 훈련 시스템에 대하여 자세히 살펴보도록 한다.
도 2는 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 시스템의 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 다감각정보를 이용한 정서 인지 훈련 시스템(200)은 출력부(210), 입력부(220), 비교확인부(230), 제어부(240) 및 저장부(250)를 포함한다.
출력부(210)는 대상자의 복수 개의 감정상태를 조합하여 이루어지는 다감각정보를 출력한다. 이때, 상기 다감각정보는 상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보를 나타낸다. 이러한 출력부(210)는 상기 출력제어신호에 응답하여 상기 정서 인지능력 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력한다.
입력부(220)는 출력된 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다.
비교확인부(230)는 입력받은 상기 감정상태정보가 저장부(250)에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다.
제어부(240)는 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한 후, 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하여 상기 출력부로 전송한다. 이러한 제어부(240)는 상기 피실험자의 정서 인지능력에 대한 판단결과를 평균 정서 인지능력에 대한 판단결과와 비교하여 상기 피실험자의 정서 인지능력 향상 여부를 판단한다.
이러한 제어부(240)는 난이도변경모듈(242), 순서변경모듈(244) 및 전송모듈(246)을 포함한다.
난이도변경모듈(242)은 상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경한다.
순서변경모듈(244)은 상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보의 출력 순서를 변경한다.
전송모듈(246)은 상기 감정상태 조합의 난이도 변경결과 또는 다감각정보의 출력 순서를 나타내는 출력제어신호를 생성하여 상기 출력부(210)로 전송한다.
저장부(250)는 상기 출력부(210)를 통해 출력하고자 하는 복수 개의 다감각정보, 상기 다감각정보에 해당하는 기준 감정상태정보 및 평균 정서 인지능력의 판단결과를 기저장한다.
이하, 도 3을 참조하여 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법에 대하여 살펴보도록 한다.
도 3은 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법의 순서도이다.
도 3에 도시된 바와 같이, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 방법은 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력한다(S310). 이때, 출력되는 상기 다감각정보는 다양한 자극에 대하여 반응하는 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보를 나타낸다.
즉, 즐거운 음악이라는 자극이 주어진 경우에, 대상자가 신나고 행복한 표정을 짓게 되는데, 이때 대상자를 촬영한 시각정보와, 또한 이때 상기 대상자의 웃음소리를 나타내는 청각정보를 함께 조합하여 이루어지는 다감각정보를 출력부(110)가 출력한다.
이에 따라, 입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 복수 개의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다(S320).
예를 들어, 도 4에 도시된 바와 같이, 출력부를 통해 출력된 다감각정보가 대상자의 행복을 나타내는 시각정보와, 또한 대상자의 행복을 나타내는 청각정보인 경우에, 피실험자는 대상자의 감정상태가 시각정보와 청각정보에 의해 모두 행복하다고 판단함에 따라, 입력부는 다감각정보의 시각정보와 청각정보가 동일하다는 감정상태정보를 입력받는다.
이후, 비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다(S330). 즉, 대상자의 웃는 얼굴이 나타난 시각정보와, 웃음소리를 나타낸 청각정보의 조합으로 이루어지는 다감각정보에 대하여, 기준 감정상태정보는 동일이고, 이러한 다감각정보 및 이에 따른 기준 감정상태정보는 저장부에 저장된다.
예를 들어, 비교확인부가 입력부를 통해 입력받은 감정상태정보가 동일이고, 출력부를 통해 앞서 출력한 다감각정보에 해당하는 기준 감정상태정보가 동일임에 따라, 입력받은 감정상태정보와 기준 감정상태정보가 서로 동일하다고 판단할 수 있다.
이에 따라, 제어부가 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한다(S340). 예를 들어, 상기 비교확인부가 확인한 감정상태정보의 확인결과가 동일한 경우에, 상기 제어부는 피실험자의 정서 인지능력이 양호하다고 판단할 수 있다. 하지만 이와 달리, 비교확인부가 확인한 감정상태정보의 확인결과가 동일하지 않은 경우에, 상기 제어부는 피실험자의 타인에 대한 정서 인지능력이 부족하다고 판단할 수 있다.
이와 같이, 대상자의 정서상태를 나타내는 다감각정보를 통해 피실험자가 대상자의 정서상태를 예상하고, 예상한 정서상태가 정확한지 여부를 확인하여 상기 피실험자의 타인에 대한 정서 인지능력이 어느 정도에 해당하는지 판단할 수 있게 된다. 이때, 상기 피실험자의 타인에 대한 정서 인지능력 여부를 점수화할 수 있다.
이처럼, 피실험자의 타인에 대한 정서 인지능력을 검사한 후, 상기 피실험자의 타인에 대한 정서 인지능력이 부족하다고 판단한 경우에는 상기 피실험자의 정서 인지능력을 향상시키기 위한 훈련 방법이 연구될 수 있다.
이하, 도 5를 참조하여 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법을 설명하도록 한다.
도 5는 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법의 순서도이다.
도 5에 도시된 바와 같이, 본 발명은 먼저, 입력부가 피실험자의 정서 인지능력을 표준점수로 수치화한 점수를 입력받는다.
이후, 출력부가 입력받은 점수에 해당하는 미리 설정된 난이도를 갖도록 대상자의 복수 개의 감정상태정보를 조합하여 이루어지는 다감각정보를 출력한다(S410). 이때, 피실험자의 정서 인지능력을 나타내는 표준점수에 기초하여 다감각정보의 감정상태에 대한 조합 난이도가 결정될 수 있다.
예를 들어, 다감각정보의 조합 난이도를 총 5단계로 나누어 설정한다고 가정한 경우, 처음 제1 단계는 두 가지의 감정상태정보 중 하나의 감정상태가 도드라짐에 따라 조합의 난이도가 가장 낮은 얼굴에 해당하며, 단계가 올라갈수록 두 가지의 감정상태정보가 서로 유사한 비율로 조합되어 어느 하나의 감정상태가 도드라지지 않는다.
예를 들어, 제1 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 -2 점 이하일 때 사용하며, 특정 정서가 91 내지 100% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 95: 5의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 95: 5의 비율로 합성된다.
제2 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 -2 점 이상 -1 점 미만일 때 사용하며, 특정 정서가 81 내지 90% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 85: 15의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 95: 5 의 비율로 합성된다.
제3 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 -1 점 이상 0점 미만일 때 사용하며, 특정 정서가 71 내지 80% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 75: 25의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 75: 25의 비율로 합성된다.
제4 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 0점 이상 1.5 점 미만일 때 사용하며, 특정 정서가 61 내지 70% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 65: 35 의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 65: 35의 비율로 합성된다.
제5 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 1.5점 이상일 때, 사용하며, 특정 정서가 51 내지 60% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 55: 45의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 55: 45의 비율로 합성된다.
입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 복수 개의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다(S420).
비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다(S430).
제어부가 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한다(S440).
상기 제어부가 상기 피실험자의 정서 인지능력에 대한 판단결과에 해당하는 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하고, 생성한 출력제어신호를 상기 출력부로 전송한다(S450). 이때, 상기 피실험자의 정서인지 능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경한 변경결과 또는 다감각정보의 출력순서를 나타내는 출력제어신호를 생성하여 출력부로 전송할 수 있다.
도 6은 감정의 난이도별 다감각정보를 나타낸 도면이다.
예를 들어, 행복 100% 에서 화남 100% 까지의 감정상태를 다수의 단계로 나누어 설정하여 저장부에 저장될 수 있다.
특히, 피실험자의 정서인지 능력에 대한 판단결과가 부족에 해당하는 경우에는 다감각정보에 대한 감정상태 조합의 난이도를 낮게 변경하여 행복 100% 또는 화남 100%에 해당하는 다감각정보를 선택하도록 출력제어신호가 생성될 수 있다.
또는 이와 달리, 피실험자의 정서인지 능력에 대한 판단결과가 양호에 해당하는 경우에는 다감각정보에 대한 감정상태 조합의 난이도를 높게 변경하여 행복 100% 또는 화남 100%의 치우치진 않은 행복 50% 또는 화남 50%에 해당하는 다감각정보를 선택하도록 출력제어신호가 생성될 수 있다.
상기 출력부가 수신한 출력제어신호에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력한다(S460).
상기 입력부가 재출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 감정상태정보를 입력받는다(S470). 이때, 상기 입력부가 출력된 다감각정보에 대하여 피실험자로부터 감정상태정보를 입력받는데 있어서, 입력제한시간을 설정할 수 있으며, 감정상태 조합의 난이도가 변경됨에 따라 입력제한시간을 줄이거나 늘리도록 설정할 수 있다.
상기 비교확인부가 입력받은 상기 감정상태정보가 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 재확인한다(S480).
이후, 상기 제어부가 미리 설정한 횟수만큼 다감각정보의 출력 및 이에 따른 입력의 수행이 반복되었는지 확인한다(S490). 이때, 설정된 횟수는 훈련반복 횟수를 나타내는 것으로서, 피실험자의 선택에 의해 변경하여 설정이 가능하다.
이에 따라, 미리 설정한 횟수만큼 다감각정보의 출력 및 이에 따른 입력의 수행이 반복된 경우에는 상기 제어부가 상기 감정상태정보의 재확인결과에 따라, 상기 피실험자의 정서 인지능력에 대한 판단결과를 상기 저장부에 기저장된 평균 정서 인지능력의 판단결과와 비교하여 상기 피실험자의 정서 인지능력의 향상 여부를 판단한다(S500).
도 7은 정서 인지 훈련 수행 후, 피실험자의 정서 인지능력을 나타내는 그래프이다.
예를 들어, 도 7(a)에 도시된 바와 같이, 상기 피실험자의 정서 인지능력에 대한 판단결과가 82.50이고, 저장부에 기저장된 평균 정서 인지능력의 판단결과가 73.98이면, 상기 피실험자의 정서 인지능력이 향상되었다고 판단할 수 있게 된다.
또한, 훈련횟수별 피실험자의 정서 인지능력에 대한 판단결과 또한 달라질 수 있다.
도 7(b)에 도시된 바와 같이, 훈련횟수 1회기일 때의 정서 인지능력에 대한 판단결과가 74.38인데 비하여, 훈련횟수 5회기일 때의 정서 인지능력에 대한 판단결과는 90.21인 것을 알 수 있으며, 훈련횟수가 늘어날수록 정서 인지능력이 향상되는 것을 알 수 있다.
또한 이와 같이, 피실험자가 정서 인지능력에 대한 훈련을 복수 회 수행한 후, 정서 인지능력의 향상여부를 일반화 검사를 통해 확인할 수 있다.
이러한 정서 인지능력의 일반화 검사는 정서 인지 훈련 시 사용한 동일한 형태의 다감각정보가 아닌 다른 대상자를 나타내는 시각 정보 또는 다른 대상자의 목소리를 나타내는 청각정보를 이용한다.
이를 위해, 일반화 검사에서는 입력부가 피실험자로부터 대상자의 성별, 연령, 인종 중 적어도 하나의 정보를 입력받고, 또한 대상자의 음성 톤 또는 내용정보를 입력받는다. 예를 들어, 상기 입력부가 피실험자로부터 20대 여자에 대한 정서 인지능력을 확인하기 위해, '20대', '여자' 를 입력받고, '매우 높은 톤'의 목소리, '밥 먹으러 가자'는 내용을 입력받을 수 있다.
이후, 출력부가 상기 입력부를 통해 입력받은 대상자의 성별, 연령, 인종 중 적어도 하나의 정보 또는 대상자의 음성 톤 또는 내용정보에 해당하는 시각정보 및 청각정보를 조합한 다감각정보를 출력한다.
이후, 상기 입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 복수 개의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다.
이후, 비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다.
이에 따라, 제어부가 감정상태정보의 확인결과에 기초하여 일반화된 피실험자의 정서 인지능력을 판단할 수 있다.
또한, 이러한 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 다감각정보를 이용하여 대상자의 정서 상태를 판단하여 타인에 대한 정서 인지능력을 용이하게 확인할 수 있는 효과가 있다.
또한, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 타인에 대한 정서 인지능력을 확인한 후 다감각정보의 난이도를 변경하여 인지능력을 반복수행함으로써, 사용자의 정서 인지능력을 향상시킬 수 있는 효과가 있다.
더불어, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 조현증, 자폐증, 우울증 등을 앓고 있는 환자들로 하여금 타인의 정서 상태를 용이하게 인식할 수 있고, 이를 통해 현재 사용자의 정서 인지상태를 확인한 후, 다감각정보의 난이도를 변경함으로써, 사용자의 정서 인지상태를 용이하게 향상시킬 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
110: 출력부 120: 입력부
130: 비교확인부 140: 제어부
150: 저장부
130: 비교확인부 140: 제어부
150: 저장부
Claims (10)
- 삭제
- 삭제
- 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 출력하는 출력부;
출력된 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부;
입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부;
입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한 후, 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하여 상기 출력부로 전송하는 제어부;
를 포함하되,
상기 출력부는
상기 출력제어신호에 응답하여 상기 정서 인지능력 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력하며,
상기 제어부는
상기 피실험자의 정서 인지능력에 대한 판단결과를 평균 정서 인지능력에 대한 판단결과와 비교하여 상기 피실험자의 정서 인지능력이 향상 여부를 판단하는 것을 특징으로 하는 다감각정보를 이용한 정서 인지 훈련 시스템.
- 제3항에 있어서,
상기 제어부는
상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경하는 난이도변경모듈;
상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보의 출력 순서를 변경하는 순서변경모듈; 및
상기 감정상태 조합의 난이도 변경결과 또는 다감각정보의 출력 순서를 나타내는 출력제어신호를 생성하여 상기 출력부로 전송하는 전송모듈;
을 더 포함하는 것을 특징으로 하는 다감각정보를 이용한 정서 인지 훈련 시스템.
- 제3항에 있어서,
상기 다감각정보는
상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보인 것을 특징으로 하는 다감각정보를 이용한 정서 인지 훈련 시스템.
- 삭제
- 삭제
- 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 출력하는 단계;
입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 단계;
비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 단계;
제어부가 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단하는 단계;
상기 제어부가 상기 피실험자의 정서 인지능력에 대한 판단결과에 해당하는 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하고, 생성한 출력제어신호를 상기 출력부로 전송하는 단계;
상기 출력부가 수신한 출력제어신호에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력하는 단계;
상기 입력부가 재출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 감정상태정보를 입력받는 단계;
상기 비교확인부가 입력받은 상기 감정상태정보가 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 재확인하는 단계; 및
상기 제어부가 상기 감정상태정보의 재확인결과에 따라, 상기 피실험자의 정서 인지능력에 대한 판단결과를 상기 저장부에 기저장된 평균 정서 인지능력의 판단결과와 비교하여 상기 피실험자의 정서 인지능력의 향상 여부를 판단하는 단계;
를 포함하는 다감각정보를 이용한 정서 인지 훈련 방법.
- 제8항에 있어서,
상기 제어부가 출력제어신호를 생성하여 출력부로 전송하는 단계는
상기 피실험자의 정서인지 능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경한 변경결과 또는 다감각정보의 출력순서를 나타내는 출력제어신호를 생성하여 출력부로 전송하는 것을 특징으로 하는 다감각정보를 이용한 정서 인지 훈련 방법.
- 제8항 내지 제9항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130115385A KR101531664B1 (ko) | 2013-09-27 | 2013-09-27 | 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 |
| US15/024,453 US9934426B2 (en) | 2013-09-27 | 2014-09-26 | System and method for inspecting emotion recognition capability using multisensory information, and system and method for training emotion recognition using multisensory information |
| PCT/KR2014/009010 WO2015046945A1 (ko) | 2013-09-27 | 2014-09-26 | 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130115385A KR101531664B1 (ko) | 2013-09-27 | 2013-09-27 | 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150035152A KR20150035152A (ko) | 2015-04-06 |
| KR101531664B1 true KR101531664B1 (ko) | 2015-06-25 |
Family
ID=52743963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130115385A KR101531664B1 (ko) | 2013-09-27 | 2013-09-27 | 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9934426B2 (ko) |
| KR (1) | KR101531664B1 (ko) |
| WO (1) | WO2015046945A1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105334743B (zh) * | 2015-11-18 | 2018-10-26 | 深圳创维－Rgb电子有限公司 | 一种基于情感识别的智能家居控制方法及其*** |
| US10950052B1 (en) | 2016-10-14 | 2021-03-16 | Purity LLC | Computer implemented display system responsive to a detected mood of a person |
| US10782865B2 (en) * | 2018-05-08 | 2020-09-22 | Philip Eli Manfield | Parameterized sensory system |
| US11120599B2 (en) * | 2018-11-08 | 2021-09-14 | International Business Machines Corporation | Deriving avatar expressions in virtual reality environments |
| US10839201B2 (en) | 2018-11-09 | 2020-11-17 | Akili Interactive Labs, Inc. | Facial expression detection for screening and treatment of affective disorders |
| KR20200093090A (ko) * | 2019-01-07 | 2020-08-05 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| CN112906555B (zh) * | 2021-02-10 | 2022-08-05 | 华南师范大学 | 因人而异地识别表情的人工智能心理机器人和方法 |
| CN112927681B (zh) * | 2021-02-10 | 2023-07-21 | 华南师范大学 | 因人而异地识别语音的人工智能心理机器人和方法 |
| CN114140814A (zh) * | 2022-02-07 | 2022-03-04 | 北京无疆脑智科技有限公司 | 情绪识别能力的训练方法、装置及电子设备 |
| KR102519335B1 (ko) * | 2022-10-25 | 2023-04-10 | 주식회사 크리모 | 자폐 스펙트럼 장애의 개선을 위한 훈련 도구 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090010874A (ko) * | 2007-07-24 | 2009-01-30 | 정재범 | 웹 서비스 기반의 인지능력 개발 시스템, 그 방법 및 이를기록한 기록매체 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5647834A (en) * | 1995-06-30 | 1997-07-15 | Ron; Samuel | Speech-based biofeedback method and system |
| KR20030029660A (ko) | 2001-10-05 | 2003-04-16 | 삼성전자주식회사 | 태아 정서 인식을 이용한 태교 장치 및 방법 |
| KR100485906B1 (ko) * | 2002-06-26 | 2005-04-29 | 삼성전자주식회사 | 정서유도 장치 및 방법 |
| JP4048492B2 (ja) * | 2003-07-03 | 2008-02-20 | ソニー株式会社 | 音声対話装置及び方法並びにロボット装置 |
| JP2006006355A (ja) * | 2004-06-22 | 2006-01-12 | Sony Corp | 生体情報の処理装置および映像音響再生装置 |
| KR100749032B1 (ko) * | 2005-12-15 | 2007-08-13 | 고려대학교 산학협력단 | 그림을 이용한 심리증상 진단 시스템 및 그 방법 |
| CA2669998A1 (en) | 2006-08-25 | 2008-02-28 | Hopitaux Universitaires De Geneve | System and method for detecting a specific cognitive-emotional state in a subject |
| US8069125B2 (en) * | 2007-12-13 | 2011-11-29 | The Invention Science Fund I | Methods and systems for comparing media content |
| US8462996B2 (en) * | 2008-05-19 | 2013-06-11 | Videomining Corporation | Method and system for measuring human response to visual stimulus based on changes in facial expression |
| CA2730404C (en) * | 2008-07-10 | 2016-08-30 | Claudia Zayfert | Device, system, and method for treating psychiatric disorders |
| US8798374B2 (en) * | 2008-08-26 | 2014-08-05 | The Regents Of The University Of California | Automated facial action coding system |
| US8401248B1 (en) * | 2008-12-30 | 2013-03-19 | Videomining Corporation | Method and system for measuring emotional and attentional response to dynamic digital media content |
| US20120116186A1 (en) * | 2009-07-20 | 2012-05-10 | University Of Florida Research Foundation, Inc. | Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data |
| US8939903B2 (en) * | 2010-06-17 | 2015-01-27 | Forethough Pty Ltd | Measurement of emotional response to sensory stimuli |
| KR101182348B1 (ko) | 2010-12-17 | 2012-09-20 | 한국표준과학연구원 | 음파 분석을 이용하는 유사청각 학습 방법 |
| US8392585B1 (en) * | 2011-09-26 | 2013-03-05 | Theranos, Inc. | Methods and systems for facilitating network connectivity |
| CA2754835C (en) * | 2011-10-07 | 2021-06-15 | Baycrest Centre For Geriatric Care | Methods and systems for assessing cognitive function |
| US20130211277A1 (en) * | 2012-02-10 | 2013-08-15 | Oyvind Berg | System And Method For Reducing Stress Levels Through A Biofeedback Mediated System Using Color, Sound, And Aroma Therapy |
| US20140303450A1 (en) * | 2013-04-03 | 2014-10-09 | Dylan Caponi | System and method for stimulus optimization through closed loop iterative biological sensor feedback |
| CA2874932A1 (en) * | 2012-06-01 | 2013-12-05 | Next Integrative Mind Life Sciences Holding Inc. | Method, system and interface to facilitate change of an emotional state of a user and concurrent users |
| US8842882B2 (en) * | 2012-06-29 | 2014-09-23 | Apple Inc. | Individualizing generic communications |
| US9031293B2 (en) * | 2012-10-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Multi-modal sensor based emotion recognition and emotional interface |
| JP2016518165A (ja) * | 2013-03-15 | 2016-06-23 | ベイパー コミュニケーションズ, インコーポレーテッドVapor Communications, Inc. | 嗅覚感覚を提供するためのシステム、方法及び物品 |
| CA3187490A1 (en) * | 2013-03-15 | 2014-09-18 | Interaxon Inc. | Wearable computing apparatus and method |
| US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| CN112068526B (zh) * | 2014-02-20 | 2024-05-17 | M·奥利尼克 | 用于在机器人烹饪厨房中制备食物的方法和*** |
| US10518409B2 (en) * | 2014-09-02 | 2019-12-31 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
-
2013
- 2013-09-27 KR KR1020130115385A patent/KR101531664B1/ko active IP Right Grant
-
2014
- 2014-09-26 US US15/024,453 patent/US9934426B2/en active Active
- 2014-09-26 WO PCT/KR2014/009010 patent/WO2015046945A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090010874A (ko) * | 2007-07-24 | 2009-01-30 | 정재범 | 웹 서비스 기반의 인지능력 개발 시스템, 그 방법 및 이를기록한 기록매체 |
Non-Patent Citations (4)
| Title |
|---|
| Gatherine R.G. Jones 외 11인, 'A multimodal approach to emotion recognition ability in autism spectrum disorders', Journal of Child Psychology and Psychiartry, 2011, pp.275-285 * |
| Klaus R. Scherer 외 1인, ‘Assessing the Ability to Recognize Facial and Vocal Expressions of Emotion: Construction and Validation of the Emotion Recognition Index’, Springer Science+Business Media, 2011* |
| Klaus R. Scherer 외 1인, 'Assessing the Ability to Recognize Facial and Vocal Expressions of Emotion: Construction and Validation of the Emotion Recognition Index', Springer Science+Business Media, 2011 * |
| Tanja Banziger 외 2인, 'Emotion Recognition From Expressions in Face, Voice, and Body: The Multimodal Emotion Recognition Test', Emotion, 2009, pp.691-704 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US9934426B2 (en) | 2018-04-03 |
| WO2015046945A1 (ko) | 2015-04-02 |
| KR20150035152A (ko) | 2015-04-06 |
| US20160217322A1 (en) | 2016-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101531664B1 (ko) | 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 | |
| Feld et al. | Lipreading, processing speed, and working memory in younger and older adults | |
| Frick | Communicating emotion: The role of prosodic features. | |
| Paulmann et al. | How psychological stress affects emotional prosody | |
| Horley et al. | Emotional prosody perception and production in dementia of the Alzheimer’s type | |
| Mishra et al. | Visual information can hinder working memory processing of speech | |
| Siegel et al. | A little bit louder now: negative affect increases perceived loudness. | |
| Jaywant et al. | Listener impressions of speakers with Parkinson’s disease | |
| Nittrouer et al. | Verbal working memory in children with cochlear implants | |
| Roy et al. | Exploring the clinical utility of relative fundamental frequency as an objective measure of vocal hyperfunction | |
| Leung et al. | Affective speech prosody perception and production in stroke patients with left-hemispheric damage and healthy controls | |
| Kawahara et al. | Culture shapes emotion perception from faces and voices: changes over development | |
| Fletcher et al. | Predicting intelligibility gains in individuals with dysarthria from baseline speech features | |
| Chevallier et al. | From acoustics to grammar: Perceiving and interpreting grammatical prosody in adolescents with Asperger Syndrome | |
| Sauter | The role of motivation and cultural dialects in the in-group advantage for emotional vocalizations | |
| Völter et al. | Tablet-based telerehabilitation versus conventional face-to-face rehabilitation after cochlear implantation: prospective intervention pilot study | |
| WO2021210332A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
| Gijbels et al. | Audiovisual speech processing in relationship to phonological and vocabulary skills in first graders | |
| JP5987238B2 (ja) | マルチモーダル型トラッキングシステム及びそのプログラム | |
| WO2020116280A1 (ja) | 学習支援装置、学習支援方法および記録媒体 | |
| Hadlington et al. | Auditory location in the irrelevant sound effect: The effects of presenting auditory stimuli to either the left ear, right ear or both ears | |
| JP7443908B2 (ja) | 制御装置、情報処理システム、および制御方法 | |
| Mileva et al. | How quickly can we form a trait impression from voices | |
| JP2017070370A (ja) | 聴力検査装置、聴力検査方法および聴力検査プログラム | |
| JP2006260095A (ja) | 講義支援システム、講義支援方法及び講義支援用コンピュータプログラム。 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180406 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190411 Year of fee payment: 5 |