KR101689021B1 - 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 - Google Patents
센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR101689021B1 KR101689021B1 KR1020150131149A KR20150131149A KR101689021B1 KR 101689021 B1 KR101689021 B1 KR 101689021B1 KR 1020150131149 A KR1020150131149 A KR 1020150131149A KR 20150131149 A KR20150131149 A KR 20150131149A KR 101689021 B1 KR101689021 B1 KR 101689021B1
- Authority
- KR
- South Korea
- Prior art keywords
- state
- psychological
- information
- motion
- subject
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005259 measurement Methods 0.000 claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 230000008451 emotion Effects 0.000 claims description 29
- 230000006399 behavior Effects 0.000 claims description 28
- 230000008921 facial expression Effects 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 9
- 230000036772 blood pressure Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 6
- 210000003205 muscle Anatomy 0.000 claims description 6
- 230000003252 repetitive effect Effects 0.000 claims description 6
- 210000000746 body region Anatomy 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 claims description 3
- 238000009223 counseling Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 206010044565 Tremor Diseases 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000007934 lip balm Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 206010022998 Irritability Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A61B5/0476—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- G06F19/32—
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cardiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면, 상담 또는 면접 중인 피검자를 대상으로 상기 피검자의 모션 정보, 생체 신호 정보, 음성 정보 중 적어도 하나의 정보를 계측하는 적어도 하나의 센싱 디바이스와, 상기 계측의 인자 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 기초로, 상기 적어도 하나의 센싱 디바이스의 계측 데이터를 이용하여 상기 피검자의 현재 상태에 대응하는 적어도 하나의 상태 유형 정보를 필터링하는 상태 유형 분석부와, 이종의 복수의 심리 상태에 대해, 상기 복수의 상태 유형 정보 중 상기 심리 상태 각각에 대응하는 해당 상태 유형 정보가 개별 매핑되어 있는 심리 분류 테이블을 저장한 데이터베이스부, 및 상기 필터링된 적어도 하나의 상태 유형 정보를 상기 심리 분류 테이블과 매칭시켜, 상기 피검자가 가진 적어도 하나의 심리 상태를 추출하여 제공하는 심리 상태 추출부를 포함하는 센싱장비를 이용한 심리상태 판단 시스템을 제공한다.
상기 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 따르면, 상담 또는 면접 중에 피검자의 행동 양식을 실시간 모니터링하고 분석하여 피검자의 행동 양식에 대응하는 심리 상태를 더욱 객관적으로 도출할 수 있으며 심리 상태의 판별 정확도를 높일 수 있는 이점이 있다.
상기 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 따르면, 상담 또는 면접 중에 피검자의 행동 양식을 실시간 모니터링하고 분석하여 피검자의 행동 양식에 대응하는 심리 상태를 더욱 객관적으로 도출할 수 있으며 심리 상태의 판별 정확도를 높일 수 있는 이점이 있다.
Description
본 발명은 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 면접 또는 상담 시에 피검자의 심리 상태를 객관성 있게 평가할 수 있는 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 관한 것이다.
급속도로 변화하는 현대 사회에서 취업이나 입사 등과 관련한 면접의 비중이 필기 시험과 논술 시험 못지않게 중요하게 다루어지고 있다. 일반적으로 면접 전형은 구인자와 구직자가 직접 대면하며 구인자는 구직자의 태도나 성품 그리고 업무능력을 가름할 수 있고 구직자는 구인자의 사풍 등을 짐작할 수 있어 구인과 구직을 결정하는 데에 매우 중요한 부분을 차지한다.
하지만 면접을 대비한 오프라인 사설 학원은 질적으로나 수적으로 턱없이 부족한 실정이며, 온라인 모의 면접 시스템의 경우 온라인 특성상 피면접자의 어투나 행동과 같은 세세한 부분까지 코칭 하기에는 무리가 있어 오프라인 면접 교육보다 효율성이 낮은 편이다. 더욱이, 기존의 온오프라인 상에서의 모의 면접에서는 피면접자의 현재 심리나 감정 상태를 심리학적, 신경과학적으로는 분석하지 못하므로 분석력 및 정확도가 떨어지는 문제점이 있다.
이와 같은 문제점은 면접과 유사한 형태의 상담 사례에서도 존재한다. 현재 군부대에서 발생하는 대형 사고는 대부분 관심 병사로부터 발생하고 있다. 그런데 현재까지 관심 병사의 판별을 위해 단순 필기 검사 및 심리 상담에만 의존하고 있으며 상담 인력의 부족으로 인하여 제대로 된 상담이 이루어지지 못하고 있다.
그 밖에도 범죄자의 취조 시에 주로 사용되는 거짓말 탐지기는 심리적 압박을 위한 용도로는 효과가 있으나 기초적인 휴먼센싱 만으로 거짓말을 판별하기 때문에 신뢰성이 떨어지며 세부적인 심리 상태의 판단까지는 무리가 있다는 점에서 효율성이 떨어진다.
본 발명의 배경이 되는 기술은 한국등록특허 제1375119호(2014.03.17 공고)에 개시되어 있다.
본 발명은 상담 또는 면접 과정에서 피검자의 행동 양식을 실시간 모니터링하고 분석하여 피검자의 행동 양식에 대응하는 심리 상태를 객관적으로 추출할 수 있으며 심리 상태의 판별 정확도를 높일 수 있는 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 상담 또는 면접 중인 피검자를 대상으로 상기 피검자의 모션 정보, 생체 신호 정보, 음성 정보 중 적어도 하나의 정보를 계측하는 적어도 하나의 센싱 디바이스와, 상기 계측의 인자 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 기초로, 상기 적어도 하나의 센싱 디바이스의 계측 데이터를 이용하여 상기 피검자의 현재 상태에 대응하는 적어도 하나의 상태 유형 정보를 필터링하는 상태 유형 분석부와, 이종의 복수의 심리 상태에 대해, 상기 복수의 상태 유형 정보 중 상기 심리 상태 각각에 대응하는 해당 상태 유형 정보가 개별 매핑되어 있는 심리 분류 테이블을 저장한 데이터베이스부, 및 상기 필터링된 적어도 하나의 상태 유형 정보를 상기 심리 분류 테이블과 매칭시켜, 상기 피검자가 가진 적어도 하나의 심리 상태를 추출하여 제공하는 심리 상태 추출부를 포함하는 센싱장비를 이용한 심리상태 판단 시스템을 제공한다.
여기서, 상기 피검자의 모션 정보는, 상기 피검자의 얼굴 영역에서 추출된 표정 정보 또는 신체 영역에서 추출된 제스쳐 정보를 포함하며, 상기 피검자의 생체 신호 정보는, 상기 피검자의 맥박, 체온, 혈압, 뇌파 신호 중 적어도 하나를 포함할 수 있다.
또한, 상기 모션 정보는 상기 표정 정보 및 상기 제스쳐 정보를 포함하고, 상기 상태 유형 분석부는, 상기 계측의 인자 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 저장하되, 상기 모션 정보의 계측 인자의 경우, 상기 표정 정보에 따라 분류 가능한 복수의 제1 모션 상태 유형 정보와, 상기 제스쳐 정보에 따라 분류 가능한 복수의 제2 모션 상태 유형 정보를 개별 저장하고 있으며, 상기 복수의 제1 모션 상태 유형 정보는, 상기 얼굴 영역에서 움직임 변화가 검출된 근육 부위에 대응하여 분류 가능한 복수의 행동 유형 정보일 수 있다.
또한, 상기 모션 정보의 계측 인자의 경우, 상기 심리 상태 추출부는, 상기 필터링된 제1 모션 상태 유형 및 제2 모션 상태 유형을 상기 심리 분류 테이블과 각각 매칭시켜, 상기 표정과 상기 제스춰에 대응하는 심리 상태를 개별 추출하되, 상기 제1 모션 상태 유형에 매칭된 심리 상태와 상기 제2 모션 상태 유형에 매칭된 심리 상태 간의 감정 레벨 차를 비교하여, 상기 감정 레벨 차가 임계치 이상이면, 상기 제2 모션 상태 유형에 매핑된 심리 상태를 소거하고 상기 제1 모션 상태 유형에 매칭된 심리 상태만을 추출하여 제공할 수 있다.
또한, 상기 음성 신호에 대한 복수의 상태 유형 정보는, 상기 피검자의 목소리 떨림, 목소리 세기의 급격한 상승 또는 하강 변화, 질문에 대한 답변 시간 경과, 기 설정된 특정 단어의 반복적 진술에 해당하는 유형 중 선택된 복수의 유형에 대응하는 상태 유형 정보를 각각 포함할 수 있다.
또한, 상기 심리 상태 추출부는, 상기 추출된 심리 상태가 복수 개이면, 상기 피검자의 현재 심리 상태를 상기 복수 개에 대응하는 다종의 심리 상태로 제공하는 방식, 상기 다종의 심리 상태 중 상기 매칭되는 빈도가 가장 높은 심리 상태를 대표 심리 상태로 제공하는 방식, 상기 현재 심리 상태를 상기 다종의 심리 상태로 제공하되 상기 매칭되는 빈도에 대응하는 등급을 상기 다종의 심리 상태 각각에 부여하여 제공하는 방식 중 적어도 하나의 방식을 통하여 상기 피검자의 현재 심리 상태를 제공할 수 있다.
그리고, 본 발명은 상담 또는 면접 중인 피검자를 대상으로, 적어도 하나의 센싱 디바이스를 이용하여 상기 피검자의 모션 정보, 생체 신호 정보, 음성 정보 중 적어도 하나의 정보를 계측하는 단계와, 상기 계측의 인자 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 기초로, 상기 적어도 하나의 센싱 디바이스의 계측 데이터를 이용하여 상기 피검자의 현재 상태에 대응하는 적어도 하나의 상태 유형 정보를 필터링하는 단계, 및 상기 필터링된 적어도 하나의 상태 유형 정보를 심리 분류 테이블과 매칭시켜, 상기 피검자가 가진 적어도 하나의 심리 상태를 추출하여 제공하는 단계를 포함하며, 상기 심리 분류 테이블은, 이종의 복수의 심리 상태에 대해, 상기 복수의 상태 유형 정보 중 상기 심리 상태 각각에 대응하는 해당 상태 유형 정보가 개별 매핑되어 있는 센싱장비를 이용한 심리상태 판단 방법을 제공한다.
본 발명에 따른 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 따르면, 상담 또는 면접 중에 피검자의 행동 양식을 실시간 모니터링하고 분석함에 따라 피검자의 행동 양식에 대응하는 심리 상태를 더욱 객관적으로 도출할 수 있으며 심리 상태의 판별 정확도를 높일 수 있는 이점이 있다.
또한, 본 발명에 따르면, 전문가에 의해 구축된 심리학적, 신경과학적 표준화된 기준 테이블을 기초로 피검자가 취한 행동 양식을 분석할 수 있어, 인간의 무의식적 행동에 근간한 심리를 세부적으로 정확도 있게 분석할 수 있으며 기존보다 더욱 객관화되고 전문화된 평가 결과를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 센싱장비를 이용한 심리상태 판단 시스템의 구성을 나타낸 도면이다.
도 2는 도 1에 도시된 시스템의 구현 예를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 센싱장비를 이용한 심리상태 판단 방법의 흐름도이다.
도 2는 도 1에 도시된 시스템의 구현 예를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 센싱장비를 이용한 심리상태 판단 방법의 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
본 발명은 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 관한 것으로, 센싱 디바이스(ex, 마이크, 카메라, 맥박 측정기)를 통하여 사물 인터넷을 구현하여 실시간으로 피검자의 행동 양식을 분석하고 인지심리학 및 신경과학에 기초한 행동 양식 표준화 테이블을 사용하여 피검자의 행동 양식에 대응하는 심리 상태를 객관성 있게 추출하여 실시간 피드백할 수 있는 방법을 제안한다.
이하의 본 발명의 실시예에서 심리 상태의 판단 대상이 되는 피검자란, 실제 면접이나 모의 면접 대상이 되는 면접자, 관심 병사 검사 대상이 되는 일반 군인, 범죄 사건과 관련하여 취조 대상이 되는 피의자, 정신과 상담을 요하는 환자 등을 포괄하는 의미를 가질 수 있다. 따라서, 본 발명의 실시예는 학교 입학 또는 입사 채용을 위한 면접, 모의 면접, 군부대 관심병사 심리 검사, 경찰청의 피의자 프로파일링 검사, 병원 내 정신과 상담 검사 등에서 다방면으로 활용될 수 있다.
이하에서는 본 발명의 실시예에 따른 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 관하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 센싱장비를 이용한 심리상태 판단 시스템의 구성을 나타낸 도면이고, 도 2는 도 1에 도시된 시스템의 구현 예를 나타낸 도면이다. 도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 심리상태 판단 시스템(100)은 크게 센싱 디바이스 블록과 심리 상태 판단 장치 블록으로 구분된다.
센싱 디바이스 블록은 피검자에게 장착 또는 부착 가능한 적어도 하나의 센싱 디바이스(110)를 포함하여 구성된다. 심리 상태 판단 장치 블록은 센싱 디바이스 블록으로부터 각각의 계측 데이터를 수신하고 이를 기초로 피검자의 상태 유형을 분석하여 그에 매칭되는 피검자의 심리 상태를 추출하는 부분으로서, 상태 유형 분석부(120), 데이터베이스부(130), 심리 상태 추출부(140)를 포함한다.
먼저, 센싱 디바이스 블록에 관하여 상세히 설명한다. 센싱 디바이스(110)는 피검자의 모션이나 음성, 생체 신호 등을 계측하기 위한 수단으로서, 통상의 유선 또는 무선 모듈로 구현 가능하다. 또한, 각각의 센싱 디바이스(110)는 IoT(사물 인터넷) 기술을 기반으로 웨어러블 디바이스 형태로 구현될 수 있다.
본 발명의 실시예에서 센싱 디바이스(110)는 필요에 따라 하나 또는 그 이상으로 사용될 수 있다. 이하에서는 심리 판단의 정확도와 신뢰성을 제고하기 위하여 다양한 종류의 센싱 디바이스(110)를 사용하는 것을 예시하여 설명한다.
예를 들어, 피검자의 맥박 또는 심박 등과 같은 생체 신호 센싱 모듈(ex, 맥박 측정기), 피검자의 얼굴 표정 또는 제스쳐(몸짓, 행동) 등과 같은 모션 정보를 계측하기 위한 모션 센싱 모듈(ex, 카메라), 피검자의 음성을 측정하는 음성 센싱 모듈(ex, 마이크) 등을 사용할 수 있다.
여기서, 생체 신호의 경우 맥박 이외에도 체온, 뇌파, 혈압 등을 활용할 수 있다. 또한, 모션 정보의 경우 카메라 모듈 이외에도 적외선 센서, 3축 가속도 센서, 자이로 센서 등의 디바이스를 활용할 수 있다. 본 발명의 실시예에서 사용하는 계측 정보는 상술한 바에 의해 반드시 한정되지 않으며, 피검자의 행동 또는 심리 분석에 활용 가능한 다양한 종류의 계측 정보를 추가적으로 활용할 수 있음은 물론이다.
다음, 심리 상태 판단 장치 블록에 관하여 상세히 설명한다. 도 1 및 도 2와 같이, 심리 상태 판단 장치 블록은 상태 유형 분석부(120), 데이터베이스부(130), 그리고 심리 상태 추출부(140)를 포함한다.
상태 유형 분석부(120)는 각 계측 인자(ex, 모션 정보, 맥박 정보, 음성 정보) 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 저장하고 있으며, 이를 기초로 적어도 하나의 센싱 디바이스(110)의 계측 데이터를 분석하여 피검자의 현재 상태에 대응하는 적어도 하나의 상태 유형 정보를 필터링하여 제공한다. 각 센싱 디바이스(110)의 계측 데이터를 분석하면, 상기 저장된 정보를 기초로, 현재 피검자의 모션 상태 유형, 맥박 상태 유형, 음성 상태 유형을 판단할 수 있게 된다.
여기서, 각각의 계측 인자 별로 그에 대응하는 상태 유형의 필터링이 가능하도록, 상태 유형 분석부(120)는 도 2와 같이 복수의 분석 알고리즘(동작 알고리즘 모듈, 음성인식 알고리즘 모듈, 심박분석 알고리즘 모듈)을 포함할 수 있다. 이때 동작 알고리즘 모듈은 카메라의 측정 데이터를 분석하여 현재 검출된 모션에 대응하는 상태 유형을 필터링하고, 심박분석 알고리즘 모듈은 심박 측정기의 심박 데이터를 분석하여 현재 심박의 상태 유형을 필터링하고, 음성인식 알고리즘 모듈은 마이크의 음성 데이터를 분석하여 현재 음성의 상태 유형을 필터링한다.
본 발명의 실시예에서 각 센싱 디바이스(100)의 계측 인자별 상태 유형 정보를 상세히 설명하면 다음과 같다.
우선, 피검자의 모션 정보에 대한 계측 인자의 경우, 얼굴 영역에서 추출된 모션 정보인 표정 정보, 그리고 신체 영역(머리, 팔, 다리 부위 등)에서 추출된 모션 정보인 제스쳐 정보로 구분될 수 있다. 본 발명의 실시예는 표정 정보와 제스쳐 정보 중 어느 하나 또는 전부를 계측할 수 있다.
이와 관련하여, 상태 유형 정보 분석부(120)는 모션 정보의 계측 인자에 대해서는, 표정 정보에 따라 분류 가능한 복수의 제1 모션 상태 유형 정보, 그리고 제스쳐 정보에 따라 분류 가능한 복수의 제2 모션 상태 유형 정보를 개별 저장할 수 있다.
얼굴 표정에 따른 제1 모션 상태 유형의 분류는 기존의 영상 분석을 이용한 감성 또는 표정 인식 기술을 활용할 수 있다. 예를 들면, 얼굴의 구성요소인 눈, 코, 입, 입술, 눈썹 등의 위치와 이들 사이의 관계를 특징값으로 변환하여 서로 다른 감성에 따른 각 구성 요소의 형태와 위치 변화를 분석하여 해당되는 감성을 판단할 수 있다. 이외에도 영상의 화소 값을 직접 이용하여 기하학적 기반의 방법과 다르게 영상 자체에서 특징을 추출할 수도 있다.
또한 얼굴은 뇌 신경에 의해 지배되는 다수의 근육으로 이루어져 있는데, 이러한 얼굴 근육의 움직임을 판별하면 현재의 피검자의 표정 정보에 대응하는 제1 모션 상태 유형을 분석할 수 있다. 다시 말해서, 얼굴 표정은 사람의 심리나 감정을 복합적으로 반영하므로 움직임 변화가 발생한 적어도 하나의 근육 부위를 파악하면 피검자가 지은 현재 표정을 예측할 수 있다.
이 경우, 얼굴의 표정 정보에 따라 분류 가능한 복수의 제1 모션 상태 유형 정보란 피검자의 얼굴 영역에서 움직임 변화가 검출된 근육 부위에 대응하여 분류 가능한 복수의 행동 유형 정보에 해당할 수 있다. 복수의 제1 모션 상태 유형 정보는 예를 들어, 입술 오므리기, 입술 꽉 다물기, 한쪽 입꼬리 올리기, 웃기, 잦은 눈깜빡임, 눈썹 올리기, 눈썹 찌푸리기 등의 유형을 포함할 수 있다.
이와 같은 각각의 행동 유형은 피검자의 심리 상태에 대응하는 무의식중인 바디 랭귀지로 해석될 수 있는데, 예를 들어, 웃는 행동은 기쁨의 표현, 입술 오므리기, 반복적인 눈깜빡임의 행동은 당황이나 긴장의 표현, 한쪽 입꼬리 올리기, 눈썹 찌푸리기, 입술 꽉 다물기는 스트레스나 분노의 표현을 대변하는 행동일 수 있다.
이와 같이, 현재의 얼굴 표정에 따른 행동 유형은 피검자가 현재 어떠한 심리 상태인지, 긍적적 또는 부정적인 심리 상태인지, 긍정과 부정의 심리 강도(레벨)가 어느 정도인지를 반영하고 있다.
피검자의 제스쳐에 의해 분류 가능한 복수의 제2 모션 상태 유형 정보는, 머리 부위, 팔 부위, 다리 부위 등의 움직임을 통해 구별 가능한 복수의 행동 유형 정보를 나타낼 수 있다. 예를 들어, 목 긁기, 코 만지기, 턱 받치기, 다리 떨기, 머리 만지기 등의 행동 유형이 이에 해당될 수 있다. 목 긁기는 스트레스의 표현, 턱 받치기는 신중함의 표현, 코 만지기는 긴장의 표현, 다리 떨기와 머리 만지기는 당황 또는 긴장감의 심리를 대변하는 행동을 나타낼 수 있다.
표정 인식 및 제스쳐 인식 기술은 기 공지된 방식들을 이용하여 구현이 가능하며 인식된 표정과 제스춰에 대응하는 감성이나 심리 상태의 정류는 심리학 및 신경과학적 관점의 연구 데이터들을 활용할 수 있다. 표정 정보나 제스쳐 정보에 의한 인간의 심리 상태는 바디 랭귀지를 근간으로 하는 심리학 및 신경과학 연구를 기반으로 하고 있다. 따라서 이러한 표정과 제스쳐에 따른 표준화된 행동을 심리 상태와 매핑하여 테이블로 구축하면, 피검자로부터 검출한 행동 유형과 매칭되는 심리 상태를 추출할 수 있다.
한편, 피검자의 음성 정보에 대한 계측 인자의 경우, 음성 신호에 대한 복수의 상태 유형 정보로는 피검자의 목소리 떨림, 목소리 세기의 급격한 상승 또는 하강 변화, 질문에 대한 답변 시간 경과, 기 설정된 특정 단어(ex, 저…, 그…, 음…, 어…)의 반복적 진술에 해당하는 유형 등을 포함할 수 있다. 목소리에 대한 각각의 상태 유형 정보는 피검자의 심리 상태(긴장감, 분노, 당황, 흥분 등)를 대변하기도 하지만 상담 또는 면접 시에 피검자의 습관을 모니터링하고 분석할 수 있게 한다.
또한, 피검자의 생체 신호에 대한 계측 인자의 경우, 맥박 신호를 예시하면, 맥박 신호 대한 복수의 상태 유형 정보는 맥박 유지, 상승, 하강, 맥박 급상승 또는 급하강 등의 유형을 포함할 수 있다. 맥박 등의 생체 신호 유형(패턴)과 심리 상태 간의 연관 관계는 기 공지되어 있으므로 상세한 설명은 생략한다.
이상과 같이, 본 발명의 실시예에서, 상태 유형 분석부(120)는 각 센싱 디바이스의 계측 데이터를 분석하여 각각의 계측 인자 별로 현재 피검자의 심적 상태에 대응하는 적어도 하나의 상태 유형 정보를 필터링하여 제공한다.
데이터베이스부(130)는 각각의 계측 인자별로 필터링되는 각각의 상태 유형 정보가 어떠한 종류의 심리 상태에 대응하는지를 알 수 있는 심리 분류 테이블을 저장하고 있다. 구체적으로, 심리 분류 테이블은 이종의 복수의 심리 상태(ex, 기쁨, 평온(정상), 긴장, 당황, 불안, 초조, 흥분, 분노)에 대해, 각 심리 상태 대응하는 해당 상태 유형 정보가 개별 매핑되어 있다.
예를 들어, 긴장 상태에 매핑된 상태 유형 정보로는, 코 만지기, 입술 침 바르기, 목소리 떨림, 특정 단어의 반복 진술, 맥박이나 혈압 상승 등의 유형이 해당될 수 있다. 또한, 분노 상태에 매핑된 상태 유형 정보로는 눈썹 찌푸리기, 목소리 세기의 급격한 상승, 맥박이나 혈압의 급상승 등의 유형이 해당될 수 있다.
물론, 상기의 매핑 예시는 단지 실시예에 불과한 것으로서, 복수의 심리 상태별로 더욱 세분화되어 구축될 수 있다. 또한, 각각의 심리 상태는 가장 긍정적인 감정 레벨(최상위 레벨)과, 가장 부정적인 감정 레벨(최하위 레벨) 사이에 여러 단계의 감정 레벨로 구분되어 관리될 수 있다. 예를 들어, 기쁨이나 평온은 긍정적 성향의 감정 레벨로, 흥분과 분노의 경우 부정적 성향의 감정 레벨로 분류되고, 그 사이에 긴장, 당황, 불안, 초초 등의 감정 레벨이 단계적으로 위치할 수 있다. 또한, 감정의 종류는 상이하더라도 감정 레벨은 동일할 수도 있는데, 즉 동일 감정 레벨 내에 여러 감정이 존재할 수도 있다. 본 발명의 실시예에서 심리 분류 테이블은 수시로 업데이트 될 수 있으며, 새로운 계측 인자가 추가되는 경우에도 업데이트가 가능하도록 관리된다.
이상과 같은 내용을 바탕으로, 심리 상태 추출부(140)는 상태 유형 분석부(120)와 데이터베이스부(130)의 정보를 이용하여, 피검자의 심리 상태를 분류한다.
즉, 심리 상태 추출부(140)는 앞서 상태 유형 분석부(120)에서 필터링된 적어도 하나의 상태 유형 정보를 데이터베이스부(13) 내에 구축된 심리 분류 테이블과 매칭시켜, 현재 피검자가 보유한 적어도 하나의 심리 상태를 추출하여 제공한다. 여기서 추출된 심리 상태를 보고서 형태로 가공하여 제공할 수 있는데, 상담 또는 면접 중에 각각의 질문에 대한 답변에 대한 분석 결과(음성 분석 자료, 행동 분석 자료, 심박 분석 자료)를 텍스트, 그래프, 이미지 등의 형태로 개별 피드백하여 제공할 수 있다.
한편, 본 발명의 실시예에서, 모션 정보의 계측 인자의 경우에는 표정 정보와 제스쳐 정보에 의한 심리 상태 추출 결과가 상호 동일하거나 유사한 군의 심리 상태에 해당될 수 있고 반대로 상반되는 성향의 심리 상태일 수도 있는데, 이러한 경우 아래와 같은 방법을 사용하여 심리 상태 결과를 리포트할 수 있다.
먼저, 심리 상태 추출부(140)는 상기 필터링된 제1 모션 상태 유형 및 제2 모션 상태 유형을 상기 심리 분류 테이블과 각각 매칭시켜, 표정과 제스춰에 대응하는 심리 상태를 개별 추출하도록 한다.
여기서, 제1 모션 상태 유형에 매칭된 심리 상태와 제2 모션 상태 유형에 매칭된 심리 상태 간의 감정 레벨 차를 비교하고, 상기 감정 레벨 차가 임계치 이상이면, 제2 모션 상태 유형에 매핑된 심리 상태를 소거(무시)하고 제1 모션 상태 유형에 매칭된 심리 상태만을 추출하여 리포트할 수 있다.
예를 들어, 동일시간 구간에서, 얼굴 표정을 분석한 결과 제1 모션 상태 유형은 '웃음'이고 그에 대응하여 추출된 심리 상태는 '기쁨'(ex, 제1 레벨)인 반면, 제스쳐를 분석한 결과 제2 모션 상태 유형은 '목 긁기'로 분석되고 그에 대응하여 추출된 심리 상태는 '초조'(ex, 제4 레벨)였다고 가정한다. 이 경우, 두 레벨 간의 차이는 3 레벨에 해당된다. 기 설정된 임계치가 3 레벨이었다면, 이미 두 감정 레벨 차가 임계치에 도달한 경우에 해당되므로, 이 경우 제2 모션 상태 유형에 매핑된 심리 상태인 '초조' 감정은 제외시키고, 제1 모션 상태 유형에 매핑된 심리 상태인 '기쁨' 상태만을 추출하여 제공한다.
이와 같이, 모션 정보의 계측 인자의 경우, 얼굴 표정과 제스쳐에 의한 두 심리 상태 간의 감정 레벨 차가 1 레벨 내지 2 레벨 정도이면, 상호 유사하거나 공존할 수 있는 감정으로 분류될 수 있으므로 두 가지 심리 상태에 대한 결과를 모두 추출하여 제공할 수 있으며, 감정 레벨 차가 3 레벨 이상이면 서로 상반되는 성향의 감정에 해당될 수 있고 이 경우에는 얼굴 표정에 의한 심리 상태에 우선 순위를 부여하여 결과를 제공할 수 있다. 여기서 상기 임계치는 변경 가능한 요소임은 자명한 것이다.
이러한 본 발명의 실시예는, 단순히 생체 신호의 분석 결과에 의존하지 않고 피검자의 감정 상태를 유추할 수 있는 계측 인자들을 추가적으로 활용하여 분석하고 이와 동시에 심리학 및 신경 과학에 기초한 행동 양식 표준화 테이블을 사용하여 심리 상태를 분류함에 따라 더욱 객관화된 평가 결과를 제공할 수 있는 이점이 있다.
도 3은 본 발명의 실시예에 따른 센싱장비를 이용한 심리상태 판단 방법의 흐름도이다.
먼저, 상담 또는 면접 중인 피검자를 대상으로, 적어도 하나의 센싱 디바이스(110)를 이용하여, 피검자의 모션 정보, 생체 신호 정보, 음성 정보 중 적어도 하나의 정보를 계측한다(S310).
이후, 상태 유형 분석부(120)는 적어도 하나의 센싱 디바이스의 계측 데이터를 분석하여 피검자의 현재 상태에 대응하는 적어도 하나의 상태 유형 정보를 필터링한다(S320).
여기서 센싱 디바이스(110)의 종류가 여러 개이면 그에 대응하는 각각의 상태 유형 정보를 필터링하여 제공한다. 예를 들어, 피검자의 현재 모션 정보, 음성 정보, 맥박 정보를 각각 분석한 후 각각에 대응하는 상태 유형 정보를 개별 필터링 해낸다.
다음, 심리 상태 추출부(140)는 상기 필터링된 적어도 하나의 상태 유형 정보를 심리 분류 테이블과 매칭시켜, 피검자가 가진 적어도 하나의 심리 상태를 추출하여 제공한다(S330).
여기서, 심리 상태 추출부(140)는 만일 피검자에 대해 추출된 심리 상태가 복수 개이면, 피검자의 현재 심리 상태를 상기 복수 개에 대응하는 다종의 심리 상태로 제공할 수도 있고, 상기의 다종의 심리 상태 중 상기 매칭되는 빈도가 가장 높은 심리 상태를 대표 심리 상태로 제공할 수도 있으며, 현재 심리 상태를 상기 다종의 심리 상태로 제공하되 상기 매칭되는 빈도에 대응하는 등급을 상기 다종의 심리 상태 각각에 부여하여 제공할 수도 있다. 즉, 다종의 심리 상태가 도출된 경우에는 언급한 세 가지 방식 중 적어도 하나의 방식을 이용하여 피검자의 현재 심리 상태에 대한 분석 보고서를 제공할 수 있다.
예를 들면, 질문에 대한 대답 중에 피검자로부터 유사한 속성의 복합적인 감정이 드러날 수 있는데, 첫 번째 방식은 이러한 복합적 심리 상태를 모두 제공하는 경우이고, 두 번째 방식은 그 중에서 매칭 빈도가 가장 높은 것을 현재의 대표 심리 상태로 도출하는 경우이다. 예를 들어, 세 가지 계측 인자에 대해, 각각 긴장, 흥분, 흥분의 심리 상태가 개별 도출되었다면 가장 매칭 빈도가 높은 흥분 상태를 대표 심리도 제공할 수 있다. 세 번째 방식은 두 번째 방식의 변형 예로서 현재 추출된 다종의 심리 상태를 모두 제공하되, 각 심리 상태 별로 매칭 빈도의 크기를 반영하여 결과를 제공하는 경우이다. 예를 들어, 감정 매칭 빈도의 크기에 대응하는 색상이나 그래프 크기를 이용하여 각 심리 상태별 매칭 빈도를 식별 가능하게 제공할 수 있다.
이러한 본 발명의 실시예는 단일의 피검자를 대상으로 테스트하는 것에 국한되지 않으며, 다수의 피검자를 대상으로 그에 대응하는 다수의 채널을 통해 동시에 면접 또는 상담을 진행하면서 심리 상태 판단 결과를 개별적으로 실시간 제공할 수도 있다.
또한, 본 발명에 따르면, 면접자 또는 예비 면접자가 실제 면접 전에 면접 능력 제고를 위해 모의 면접 프로그램을 통하여 학습 시에 보다 효과적이고 객관적인 면접 평가 방법을 제공할 수 있다. 이러한 본 발명은 질문 유형별로 피검자의 신체적 변화와 심리적 변화를 모니터링하고 목소리 떨림이나 특정 언어의 반복적인 사용 등과 같은 피면접자의 습관을 모니터링하여 분석함으로써 신뢰성 있고 객관화된 평가 결과를 제공하는 가상 면접 시스템으로 구현될 수 있다.
이상과 같은 본 발명에 따른 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법에 따르면, 상담 또는 면접 중에 피검자의 행동 양식을 실시간 모니터링하고 분석함에 따라 피검자의 행동 양식에 대응하는 심리 상태를 더욱 객관적으로 도출할 수 있으며 심리 상태의 판별 정확도를 높일 수 있는 이점이 있다.
또한, 본 발명에 따르면, 전문가에 의해 구축된 심리학적, 신경과학적 표준화된 기준 테이블을 기초로 피검자가 취한 행동 양식을 분석할 수 있어, 인간의 무의식적 행동에 근간한 심리를 세부적으로 정확도 있게 분석할 수 있으며 기존보다 더욱 객관화되고 전문화된 평가 결과를 제공할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 심리 상태 판단 시스템 110: 센싱 디바이스
120: 상태 유형 분석부 130: 데이터베이스부
140: 심리 상태 추출부
120: 상태 유형 분석부 130: 데이터베이스부
140: 심리 상태 추출부
Claims (12)
- 상담 또는 면접 중인 피검자를 대상으로 상기 피검자의 모션 정보, 생체 신호 정보, 음성 정보 중 적어도 하나의 정보를 계측하는 적어도 하나의 센싱 디바이스;
상기 계측의 인자 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 기초로, 상기 적어도 하나의 센싱 디바이스의 계측 데이터를 이용하여 상기 피검자의 현재 상태에 대응하는 적어도 하나의 상태 유형 정보를 필터링하는 상태 유형 분석부;
이종의 복수의 심리 상태에 대해, 상기 복수의 상태 유형 정보 중 상기 심리 상태 각각에 대응하는 해당 상태 유형 정보가 개별 매핑되어 있는 심리 분류 테이블을 저장한 데이터베이스부; 및
상기 필터링된 적어도 하나의 상태 유형 정보를 상기 심리 분류 테이블과 매칭시켜, 상기 피검자가 가진 적어도 하나의 심리 상태를 추출하여 제공하는 심리 상태 추출부를 포함하며,
상기 피검자의 모션 정보는 상기 피검자의 얼굴 영역에서 추출된 표정 정보 및 신체 영역에서 추출된 제스쳐 정보를 포함하며,
상기 피검자의 생체 신호 정보는 상기 피검자의 맥박, 체온, 혈압, 뇌파 신호 중 적어도 하나를 포함하며,
상기 상태 유형 분석부는,
상기 계측의 인자 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 저장하되, 상기 모션 정보의 계측 인자의 경우, 상기 표정 정보에 따라 분류 가능한 복수의 제1 모션 상태 유형 정보와, 상기 제스쳐 정보에 따라 분류 가능한 복수의 제2 모션 상태 유형 정보를 개별 저장하고 있으며,
상기 복수의 제1 모션 상태 유형 정보는 상기 얼굴 영역에서 움직임 변화가 검출된 근육 부위에 대응하여 분류 가능한 복수의 행동 유형 정보이며,
상기 심리 상태 추출부는,
상기 모션 정보의 계측 인자의 경우, 상기 필터링된 제1 모션 상태 유형 및 제2 모션 상태 유형을 상기 심리 분류 테이블과 각각 매칭시켜, 상기 표정과 상기 제스춰에 대응하는 심리 상태를 개별 추출하되, 상기 제1 모션 상태 유형에 매칭된 심리 상태와 상기 제2 모션 상태 유형에 매칭된 심리 상태 간의 감정 레벨 차를 비교하여, 상기 감정 레벨 차가 임계치 이상이면, 상기 제2 모션 상태 유형에 매핑된 심리 상태를 소거하고 상기 제1 모션 상태 유형에 매칭된 심리 상태만을 추출하여 제공하며,
상기 음성 정보에 대한 복수의 상태 유형 정보는,
상기 피검자의 목소리 떨림, 목소리 세기의 급격한 상승 또는 하강 변화, 질문에 대한 답변 시간 경과, 기 설정된 특정 단어의 반복적 진술에 해당하는 유형 중 선택된 복수의 유형에 대응하는 상태 유형 정보를 각각 포함하는 센싱장비를 이용한 심리상태 판단 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 심리 상태 추출부는,
상기 추출된 심리 상태가 복수 개이면, 상기 피검자의 현재 심리 상태를 상기 복수 개에 대응하는 다종의 심리 상태로 제공하는 방식, 상기 다종의 심리 상태 중 상기 매칭되는 빈도가 가장 높은 심리 상태를 대표 심리 상태로 제공하는 방식, 상기 현재 심리 상태를 상기 다종의 심리 상태로 제공하되 상기 매칭되는 빈도에 대응하는 등급을 상기 다종의 심리 상태 각각에 부여하여 제공하는 방식 중 적어도 하나의 방식을 통하여 상기 피검자의 현재 심리 상태를 제공하는 센싱장비를 이용한 심리상태 판단 시스템. - 상담 또는 면접 중인 피검자를 대상으로, 적어도 하나의 센싱 디바이스를 이용하여 상기 피검자의 모션 정보, 생체 신호 정보, 음성 정보 중 적어도 하나의 정보를 계측하는 단계;
상기 계측의 인자 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 기초로, 상기 적어도 하나의 센싱 디바이스의 계측 데이터를 이용하여 상기 피검자의 현재 상태에 대응하는 적어도 하나의 상태 유형 정보를 필터링하는 단계; 및
상기 필터링된 적어도 하나의 상태 유형 정보를 심리 분류 테이블과 매칭시켜, 상기 피검자가 가진 적어도 하나의 심리 상태를 추출하여 제공하는 단계를 포함하며,
상기 심리 분류 테이블은,
이종의 복수의 심리 상태에 대해, 상기 복수의 상태 유형 정보 중 상기 심리 상태 각각에 대응하는 해당 상태 유형 정보가 개별 매핑되어 있으며,
상기 피검자의 모션 정보는 상기 피검자의 얼굴 영역에서 추출된 표정 정보 및 신체 영역에서 추출된 제스쳐 정보를 포함하며,
상기 피검자의 생체 신호 정보는 상기 피검자의 맥박, 체온, 혈압, 뇌파 신호 중 적어도 하나를 포함하며,
상기 적어도 하나의 상태 유형 정보를 필터링하는 단계는,
상기 계측의 인자 별로 계측 데이터에 의해 분류 가능한 복수의 상태 유형 정보를 저장하되, 상기 모션 정보의 계측 인자의 경우, 상기 표정 정보에 따라 분류 가능한 복수의 제1 모션 상태 유형 정보와, 상기 제스쳐 정보에 따라 분류 가능한 복수의 제2 모션 상태 유형 정보를 개별 저장하고 있으며,
상기 복수의 제1 모션 상태 유형 정보는 상기 얼굴 영역에서 움직임 변화가 검출된 근육 부위에 대응하여 분류 가능한 복수의 행동 유형 정보이며,
상기 적어도 하나의 심리 상태를 추출하여 제공하는 단계는,
상기 모션 정보의 계측 인자의 경우, 상기 필터링된 제1 모션 상태 유형 및 제2 모션 상태 유형을 상기 심리 분류 테이블과 각각 매칭시켜, 상기 표정과 상기 제스춰에 대응하는 심리 상태를 개별 추출하되, 상기 제1 모션 상태 유형에 매칭된 심리 상태와 상기 제2 모션 상태 유형에 매칭된 심리 상태 간의 감정 레벨 차를 비교하여, 상기 감정 레벨 차가 임계치 이상이면, 상기 제2 모션 상태 유형에 매핑된 심리 상태를 소거하고 상기 제1 모션 상태 유형에 매칭된 심리 상태만을 추출하여 제공하며,
상기 음성 정보에 대한 복수의 상태 유형 정보는,
상기 피검자의 목소리 떨림, 목소리 세기의 급격한 상승 또는 하강 변화, 질문에 대한 답변 시간 경과, 기 설정된 특정 단어의 반복적 진술에 해당하는 유형 중 선택된 복수의 유형에 대응하는 상태 유형 정보를 각각 포함하는 센싱장비를 이용한 심리상태 판단 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 청구항 7에 있어서,
상기 심리 상태를 판단하는 단계는,
상기 추출된 심리 상태가 복수 개이면, 상기 피검자의 현재 심리 상태를 상기 복수 개에 대응하는 다종의 심리 상태로 제공하는 방식, 상기 다종의 심리 상태 중 상기 매칭되는 빈도가 가장 높은 심리 상태를 대표 심리 상태로 제공하는 방식, 상기 현재 심리 상태를 상기 다종의 심리 상태로 제공하되 상기 매칭되는 빈도에 대응하는 등급을 상기 다종의 심리 상태 각각에 부여하여 제공하는 방식 중 적어도 하나의 방식을 통하여 상기 피검자의 현재 심리 상태를 제공하는 센싱장비를 이용한 심리상태 판단 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150131149A KR101689021B1 (ko) | 2015-09-16 | 2015-09-16 | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150131149A KR101689021B1 (ko) | 2015-09-16 | 2015-09-16 | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101689021B1 true KR101689021B1 (ko) | 2016-12-23 |
Family
ID=57736002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150131149A KR101689021B1 (ko) | 2015-09-16 | 2015-09-16 | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101689021B1 (ko) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110880077A (zh) * | 2019-11-25 | 2020-03-13 | 重庆五生信息技术有限公司 | 企业智能咨询云平台 |
| CN111081376A (zh) * | 2020-01-16 | 2020-04-28 | 南京思特齐科技有限公司 | 一种基于微表情技术的养老服务用心理评估*** |
| KR20200046946A (ko) | 2018-10-26 | 2020-05-07 | 재단법인 아산사회복지재단 | 섬망 여부의 조기 판단 및 섬망의 중증도 판단 방법 및 프로그램 |
| US10874309B2 (en) | 2017-05-01 | 2020-12-29 | Samsung Electronics Company, Ltd. | Determining emotions using camera-based sensing |
| KR102385176B1 (ko) | 2021-11-16 | 2022-04-14 | 주식회사 하이 | 심리 상담 장치 및 그 방법 |
| KR20220046023A (ko) | 2020-10-06 | 2022-04-14 | 주식회사 인포쉐어 | 인공지능(ai) 기반 영상 및 음성정보를 활용한 자살고위험군 조기선별시스템 및 방법 |
| US11317859B2 (en) | 2017-09-28 | 2022-05-03 | Kipuwex Oy | System for determining sound source |
| KR102481216B1 (ko) | 2022-03-25 | 2022-12-28 | 주식회사 하이 | 자기 대화 장치 및 방법 |
| KR102495725B1 (ko) | 2022-03-25 | 2023-02-07 | 주식회사 하이 | 자기 대화 장치 및 그 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005237561A (ja) * | 2004-02-25 | 2005-09-08 | Canon Inc | 情報処理装置及び方法 |
| KR20100137175A (ko) * | 2009-06-22 | 2010-12-30 | 삼성전자주식회사 | 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법 |
-
2015
- 2015-09-16 KR KR1020150131149A patent/KR101689021B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005237561A (ja) * | 2004-02-25 | 2005-09-08 | Canon Inc | 情報処理装置及び方法 |
| KR20100137175A (ko) * | 2009-06-22 | 2010-12-30 | 삼성전자주식회사 | 자동으로 사용자의 감정 및 의도를 인식하는 장치 및 방법 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10874309B2 (en) | 2017-05-01 | 2020-12-29 | Samsung Electronics Company, Ltd. | Determining emotions using camera-based sensing |
| US11317859B2 (en) | 2017-09-28 | 2022-05-03 | Kipuwex Oy | System for determining sound source |
| KR20200046946A (ko) | 2018-10-26 | 2020-05-07 | 재단법인 아산사회복지재단 | 섬망 여부의 조기 판단 및 섬망의 중증도 판단 방법 및 프로그램 |
| CN110880077A (zh) * | 2019-11-25 | 2020-03-13 | 重庆五生信息技术有限公司 | 企业智能咨询云平台 |
| CN110880077B (zh) * | 2019-11-25 | 2023-06-30 | 重庆五生信息技术有限公司 | 企业智能咨询云平台 |
| CN111081376A (zh) * | 2020-01-16 | 2020-04-28 | 南京思特齐科技有限公司 | 一种基于微表情技术的养老服务用心理评估*** |
| KR20220046023A (ko) | 2020-10-06 | 2022-04-14 | 주식회사 인포쉐어 | 인공지능(ai) 기반 영상 및 음성정보를 활용한 자살고위험군 조기선별시스템 및 방법 |
| KR102399121B1 (ko) | 2020-10-06 | 2022-05-18 | 주식회사 인포쉐어 | 인공지능(ai) 기반 영상 및 음성정보를 활용한 자살고위험군 조기선별시스템 및 방법 |
| KR102385176B1 (ko) | 2021-11-16 | 2022-04-14 | 주식회사 하이 | 심리 상담 장치 및 그 방법 |
| KR20230072375A (ko) | 2021-11-16 | 2023-05-24 | 주식회사 하이 | 심리 상담 장치 및 그 방법 |
| KR102481216B1 (ko) | 2022-03-25 | 2022-12-28 | 주식회사 하이 | 자기 대화 장치 및 방법 |
| KR102495725B1 (ko) | 2022-03-25 | 2023-02-07 | 주식회사 하이 | 자기 대화 장치 및 그 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101689021B1 (ko) | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 | |
| Abdelrahman et al. | Cognitive heat: exploring the usage of thermal imaging to unobtrusively estimate cognitive load | |
| JP4401079B2 (ja) | 被験者の行動解析 | |
| Pollreisz et al. | A simple algorithm for emotion recognition, using physiological signals of a smart watch | |
| Wang et al. | Facial expression video analysis for depression detection in Chinese patients | |
| US20130096397A1 (en) | Sensitivity evaluation system, sensitivity evaluation method, and program | |
| Gunawardhane et al. | Non invasive human stress detection using key stroke dynamics and pattern variations | |
| Marathe et al. | The effect of target and non-target similarity on neural classification performance: a boost from confidence | |
| CN112957042B (zh) | 一种非接触式目标情绪识别的方法及*** | |
| WO2018151628A1 (ru) | Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту | |
| CN113197579A (zh) | 一种基于多模态信息融合的智能心理评估方法及*** | |
| EP3449409B1 (en) | Biometric method and device for identifying a person through an electrocardiogram (ecg) waveform | |
| Mikhail et al. | Emotion detection using noisy EEG data | |
| Yudhana et al. | Human emotion recognition based on EEG signal using fast fourier transform and K-Nearest neighbor | |
| CN113780150A (zh) | 一种基于多维身体状态感知的疲劳检测方法及*** | |
| CN114565957A (zh) | 基于微表情识别的意识评估方法及*** | |
| CN113974589B (zh) | 多模态行为范式评估优化***及认知能力评价方法 | |
| Pan et al. | Multiple scale convolutional few-shot learning networks for online P300-based brain–computer interface and its application to patients with disorder of consciousness | |
| Yasser et al. | Detection of confusion behavior using a facial expression based on different classification algorithms | |
| Veldanda et al. | Can Electromyography Alone Reveal Facial Action Units? A Pilot EMG-Based Action Unit Recognition Study with Real-Time Validation. | |
| Mantri et al. | Real time multimodal depression analysis | |
| Yashaswini et al. | Stress detection using deep learning and IoT | |
| CN114983434A (zh) | 一种基于多模态脑功能信号识别的***及方法 | |
| Causa et al. | Behavioural curves analysis using near-infrared-iris image sequences | |
| Vasavi et al. | Regression modelling for stress detection in humans by assessing most prominent thermal signature |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191120 Year of fee payment: 4 |