KR20240092634A - 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템 - Google Patents
웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템 Download PDFInfo
- Publication number
- KR20240092634A KR20240092634A KR1020220174347A KR20220174347A KR20240092634A KR 20240092634 A KR20240092634 A KR 20240092634A KR 1020220174347 A KR1020220174347 A KR 1020220174347A KR 20220174347 A KR20220174347 A KR 20220174347A KR 20240092634 A KR20240092634 A KR 20240092634A
- Authority
- KR
- South Korea
- Prior art keywords
- wearable device
- monitoring service
- emotion
- emotions
- user terminal
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 79
- 230000036651 mood Effects 0.000 title description 7
- 230000008451 emotion Effects 0.000 claims abstract description 165
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 47
- 230000002996 emotional effect Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000005021 gait Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 230000013016 learning Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000005281 excited state Effects 0.000 claims description 8
- 238000013186 photoplethysmography Methods 0.000 claims description 7
- 238000002560 therapeutic procedure Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 230000002889 sympathetic effect Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 210000005037 parasympathetic nerve Anatomy 0.000 claims description 4
- 210000002820 sympathetic nervous system Anatomy 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 230000001225 therapeutic effect Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 230000001953 sensory effect Effects 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 22
- 230000001133 acceleration Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 230000001149 cognitive effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 230000037007 arousal Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000007794 irritation Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000001126 phototherapy Methods 0.000 description 3
- 230000006461 physiological response Effects 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006397 emotional response Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005358 geomagnetic field Effects 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000037230 mobility Effects 0.000 description 2
- 238000000051 music therapy Methods 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000020925 Bipolar disease Diseases 0.000 description 1
- 241000219198 Brassica Species 0.000 description 1
- 235000003351 Brassica cretica Nutrition 0.000 description 1
- 235000003343 Brassica rupestris Nutrition 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 206010022998 Irritability Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003570 air Substances 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- QKSKPIVNLNLAAV-UHFFFAOYSA-N bis(2-chloroethyl) sulfide Chemical compound ClCCSCCCl QKSKPIVNLNLAAV-UHFFFAOYSA-N 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 238000004138 cluster model Methods 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000002451 diencephalon Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 210000003016 hypothalamus Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 210000003715 limbic system Anatomy 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- GVYLCNUFSHDAAW-UHFFFAOYSA-N mirex Chemical compound ClC12C(Cl)(Cl)C3(Cl)C4(Cl)C1(Cl)C1(Cl)C2(Cl)C3(Cl)C4(Cl)C1(Cl)Cl GVYLCNUFSHDAAW-UHFFFAOYSA-N 0.000 description 1
- 235000010460 mustard Nutrition 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000000478 neocortex Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000009326 social learning Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001103 thalamus Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02405—Determining heart rate variability
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/112—Gait analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Cardiology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Anesthesiology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Pain & Pain Management (AREA)
- Data Mining & Analysis (AREA)
- Hematology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dermatology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Acoustics & Sound (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템이 제공되며, 웨어러블 기기로부터 수집된 인체를 이루는 적어도 하나의 부위에 대한 센서 데이터를 업로드하는 사용자 단말 및 신체감각지도를 기반으로 적어도 하나의 감정에 따라 활성화되는 부위를 매핑하여 저장하는 데이터베이스화부, 웨어러블 기기로부터 센서 데이터를 수집하는 수집부, 센서 데이터를 분석하여 활성화되는 인체의 적어도 하나의 부위를 추출하는 추출부, 추출된 적어도 하나의 부위에 기 매핑되어 저장된 감정을 추출하는 모니터링부를 포함하는 모니터링 서비스 제공 서버를 포함한다.
Description
본 발명은 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템에 관한 것으로, 웨어러블 기기에서 수집된 센서 데이터를 분석하여 사용자의 감정을 파악하고, 감정에 따른 음악을 제공할 수 있는 시스템을 제공한다.
음악 치료는 긴장 이완을 위한 신체적 및 심리적 긍정적 반응유도를 위해 주로 사용되어 왔다. 음악 감상의 신체ㆍ생리적 측면을 살펴보면, 귀를 통해 전달되는 일련의 소리가, 귀의 구조물과 청신경을 거쳐 대뇌 안의 시상과 시상하부 측면의 간뇌에 전달되고, 림빅 시스템과 대뇌 신피질 전역에 전달되어 정서반응을 유발한다. 음악을 통한 생리적 반응들은 혈압, 심박, 호흡수 등을 통해 관찰되는데, 음악을 통한 자율신경계의 변화는 인간의 정서에 영향을 미치며, 정서의 경험은 개인에게 위안과 지지를 줄 뿐 아니라, 음악 감상을 지속적으로 하게 하는 원동력이 된다. 음악을 통한 정서적 지원은 매우 의미있는 것으로 기분 전환과 내적인 긴장과 갈등의 해소에 효과적이다.
이때, 사용자의 감정을 분석하거나 분석된 감정을 이용하여 감정지도를 생성하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록특허 제10-2189944호(2020년12월11일 공고) 및 한국공개특허 제2019-0131163호(2019년11월26일 공개)에는, 웨어러블 센서로 수집된 데이터를 스트레스 분석모델에 입력하여 스트레스를 분석하는 구성과, 센서로 사용자 상태를 감지하고, 감정인자와 관계된 정보를 추출하며, 감정인자와 관련된 정보에 기반하여 사용자의 감정상태를 파악하며, 감정상태에 따른 감정지도를 생성하는 구성이 각각 개시되어 있다.
다만, 전자의 경우 스트레스만을 분석할 뿐 다른 종류의 감정은 감지 및 분석할 수 없다. 후자의 경우 감정상태만 파악할 뿐 감정상태를 조절할 수 있는 피드백은 주지 않는다. 치료적 측면에서 음악의 가치는 주로 사회적 학습과 감정적 안녕을 가져오는 문화적 역할에 초점을 맞춰왔지만, 최근 음악이 뇌에 미치는 영향에 관한 연구 등을 통해 음악이 뇌의 복잡한 인지, 감정, 지각 과정을 자극하는 것으로 이해되고 있다. 이는 신경생물학적으로 음악이 뇌의 기능을 형성하고 영향을 주는 것과 본질적으로 관련이 있다. 음악에 의해 뇌의 특정 부분이 영향을 받아 변화를 일으키고, 음악과 뇌 기능의 상호관계는 신경과학과의 융합, 음악치료와 재활과의 연계를 통해 규명되어 왔다. 이에, 사용자의 감정을 파악하고 감정에 따라 음악을 제공할 수 있는 시스템의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 웨어러블 기기를 통하여 수집된 센서 데이터를 이용하여 사용자의 감정을 분석 및 파악하고, 분석된 감정을 조절 또는 완화할 수 있는 음악을 추천 및 제공함으로써 흥분상태에서는 안정상태를 유지할 수 있도록, 안정상태에서 생기가 요구되는 경우 흥분상태로 전이될 수 있도록 도와줄 수 있으며, 감정 뿐만 아니라 성격별 및 상황별 플레이리스트를 구비하여 사용자의 감정, 성격 및 상황을 모두 고려한 음악을 추천 및 제공해줄 수 있는, 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 웨어러블 기기로부터 수집된 인체를 이루는 적어도 하나의 부위에 대한 센서 데이터를 업로드하는 사용자 단말 및 신체감각지도를 기반으로 적어도 하나의 감정에 따라 활성화되는 부위를 매핑하여 저장하는 데이터베이스화부, 웨어러블 기기로부터 센서 데이터를 수집하는 수집부, 센서 데이터를 분석하여 활성화되는 인체의 적어도 하나의 부위를 추출하는 추출부, 추출된 적어도 하나의 부위에 기 매핑되어 저장된 감정을 추출하는 모니터링부를 포함하는 모니터링 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 웨어러블 기기를 통하여 수집된 센서 데이터를 이용하여 사용자의 감정을 분석 및 파악하고, 분석된 감정을 조절 또는 완화할 수 있는 음악을 추천 및 제공함으로써 흥분상태에서는 안정상태를 유지할 수 있도록, 안정상태에서 생기가 요구되는 경우 흥분상태로 전이될 수 있도록 도와줄 수 있으며, 감정 뿐만 아니라 성격별 및 상황별 플레이리스트를 구비하여 사용자의 감정, 성격 및 상황을 모두 고려한 음악을 추천 및 제공해줄 수 있다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 모니터링 서비스 제공 서버(300), 적어도 하나의 웨어러블 기기(400)를 포함할 수 있다. 다만, 이러한 도 1의 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 웨어러블 기기(400)와 연결될 수 있다. 또한, 적어도 하나의 웨어러블 기기(400)는, 네트워크(200)를 통하여 모니터링 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 웨어러블 기기를 이용한 감정 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 웨어러블 기기(400)의 센서 데이터를 모니터링 서비스 제공 서버(300)로 전송하고, 감정에 따른 음악을 추천받거나 스트리밍하는 단말일 수 있다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
모니터링 서비스 제공 서버(300)는, 웨어러블 기기를 이용한 감정 모니터링 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 모니터링 서비스 제공 서버(300)는, 센서 데이터와 감정을 매핑하여 저장하고, 각 감정에 따른 음악을 매핑하여 저장하는 서버일 수 있다. 또, 모니터링 서비스 제공 서버(300)는, 감정별, 성격별 및 상황별 플레이리스트를 데이터베이스로 구축하는 서버일 수 있다. 모니터링 서비스 제공 서버(300)는, 사용자 단말(100)에서 센서 데이터가 수집된 경우 감정을 분석하고 파악된 감정에 매핑된 음악을 추천해주거나 스트리밍해주는 서버일 수 있다.
여기서, 모니터링 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 웨어러블 기기(400)는, 웨어러블 기기를 이용한 감정 모니터링 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 센서 데이터를 사용자 단말(100)을 경유하여 모니터링 서비스 제공 서버(300)로 전송하는 기기일 수 있다.
여기서, 적어도 하나의 웨어러블 기기(400)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 웨어러블 기기(400)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 웨어러블 기기(400)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 모니터링 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 모니터링 서비스 제공 서버(300)는, 데이터베이스화부(310), 수집부(320), 추출부(330), 모니터링부(340), 걸음걸이분석부(350), 상태파악부(360), 맥박분석부(370), 큐레이션부(380), 테라피부(390), 피부감정파악부(391), 상황기반플레이부(393), 캘리브레이션부(395) 및 시각화부(397)를 포함할 수 있다.
본 발명의 일 실시예에 따른 모니터링 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 웨어러블 기기(400)로 웨어러블 기기를 이용한 감정 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 웨어러블 기기(400)는, 웨어러블 기기를 이용한 감정 모니터링 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 웨어러블 기기(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 데이터베이스화부(310)는, 신체감각지도를 기반으로 적어도 하나의 감정에 따라 활성화되는 부위를 매핑하여 저장할 수 있다. 이때, 신체감각지도(14가지 감정)나 신체감각지도보다 더 나아간 신체느낌지도(100가지 감정)는, 미국립과학원회보(PNAS)에 실린 연구결과로, 어떤 감정에 따른 신체의 활성도를 보여주는 것인데, 피험자들에게 검은색 사람 실루엣 두 개를 제시하고, 특정 감정 단어 또는 그런 감정을 유발하는 상황을 제시한 뒤, 한 실루엣에는 활성화되는 부위를 표시하라고 하고 다른 실루엣에는 활성이 떨어지는 부위를 표시하라고 하여 만들어진 데이터이다. 이 일러스트에는 색상으로 활성도가 표시되는데, 검은색이 중간이고 활성이 커질수록 빨간색에서 노란색으로 바뀐다. 반면 활성이 떨어질수록 청색을 거쳐 하늘색이 된다. 예를 들어 화가 났을 때를 보면 얼굴과 상반신, 양팔이 활성화돼 있다. 특히 얼굴과 심장, 양손이 노랗다. 화가 나면 열을 받아 심장이 쿵쾅거리고 얼굴이 뻘겋게 되고 주먹을 쥔 팔을 휘젓는 장면이 떠오르는 데이터다. 반면 슬플 때는 무덤덤할 때에 비해 가슴은 약간 활성화되지만 팔과 다리는 오히려 활성이 떨어져 있다. 슬픔으로 가슴이 아리고 팔 다리에 힘이 빠져 축 쳐져있는 모습이 연상되는 데이터다. 이에, 본 발명의 일 실시예서는 이 연구에서 더 나아가, [감정-활성부위]가 서로 다르다는 것을 이용하여, 웨어러블 기기(400)로부터 얻어지는 센서 데이터를 이용하여 활성화된 인체 부위를 추출하고, 인체 부위에 매핑되어 저장된 감정을 사용자의 감정으로 예측하는데 이용할 수 있다. 물론, 이 방법 외에도 후술할 걸음걸이, 맥박수, 피부전도도 등도 함께 이용할 수 있고, 한 가지 방법으로 정확하지 않은 감정 분석 결과를 더욱 정확도 높에 분석 및 추정할 수 있다.
수집부(320)는, 웨어러블 기기(400)로부터 센서 데이터를 수집할 수 있다. 사용자 단말(100)은, 웨어러블 기기(400)로부터 수집된 인체를 이루는 적어도 하나의 부위에 대한 센서 데이터를 업로드할 수 있다.
<스마트폰 센서>
안드로이드 지원 기기들에 포함되는 센서는 움직임 감지 센서인 동작 센서, 위치 센서, 환경 센서 등 3 개의 카테고리로 구분이 된다. 동작 센서는 세 축을 따라 가속력과 회전력을 측정하는 센서들로 가속도 센서, 지자기 센서, 자이로 센서 회전벡터 센서가 포함된다. 환경 센서는 주변 기온 및 압력, 조도, 습도와 같은 다양한 환경 매개변수를 측정하는 센서들로 기압계, 광도계, 온도계가 포함된다. 위치 센서는 기기의 물리적 위치를 측정하는 센서들로 방향 센서, 자기계가 포함되어 있고 이는 이하 표 1과 같이 정리될 수 있다.
| 센서 | 유형 | 설명 | 일반적인 용도 |
| 가속도계 ACCELEROMETER |
H/W | 중력을 포함하여 세 개의 모든 물리적 축(x, y, z)에 서 기기에 적용되는 가속력을 m/s2 단위로 측정 | 움직임 감지(흔들기, 기울이기 등) |
| 자이로스코프 GYROSCOPE |
H/W | 각 물리적 축(x, y, z) 둘레의 기기 회전 속도를 rad/s 단위로 측정 | 회전 감지(회전, 돌리기 등) |
| 중력센서 GRAVITY |
S/W 또는 H/W |
세 개의 모든 물리적 축(x, y, z)에서 기기에 적용되는 중력을 m/s2 단위로 측정 | 움직임 감지(흔들기, 기울이기 등) |
| 선형가속도센서 LINEAR ACCELERATION |
S/W 또는 H/W |
중력을 제외하고 세 개의 모든 물리적 축(x, y, z)에서 기기에 적용되는 가속력을 m/s2 단위로 측정 | 단일 축을 따라 가속도 모니터링. |
| 방향센서 ORIENTATION |
S/W | 세 개의 모든 물리적 축(x, y, z) 둘레의 기기 회전 각도를 측정. API 레벨 3 기준으로, 중력센서와 지자기장 센서를 getRotation Matrix() 메서드와 함께 사용하여 기기의 경사 행렬과 회전 행렬을 얻을 수 있음 | 기기 위치 확인 |
| 회전 벡터 ROTATION VECTOR |
S/W 또는 H/W |
기기의 회전 벡터의 세 요소를 제공하여 기기의 방향을 측정 | 움직임 감지 및 회전 감지 |
| 기온 센서 AMBIENT TEMPERATURE |
H/W | 주변 상온을 섭씨(°C) 단위로 측정 | 기온 모니터링 |
| 조도 센서 LIGHT |
H/W | 주변 조도를 lx 단위로 측정 | 화면 밝기 제어 |
| 나침반 센서 MAGNETIC FIELD |
H/W | 세 개의 모든 물리적 축(x, y, z) 주변의 지자기장을 μT 단위로 측정 | 나침반 만들기 |
| 기압센서 PRESSURE |
H/W | 주변 기압을 hPa 또는 mbar 단위로 측정 | 기압 변화 모니터링 |
| 전화위치센서 PROXIMITY |
H/W | 기기의 뷰 화면을 기준으로 객체의 근접도를 cm 단위로 측정. 이 센서는 일반적으로 휴대전화를 귀에 대고 있는지 확인하는 데 사용 | 통화 중 전화 위치 |
| 습도센서 RELATIVE HUMIDITY |
H/W | 상대 주변 습도를 퍼센트(%) 단위로 측정 | 이슬점, 절대 및 상대 습도 모니터링 |
| 온도센서 TEMPERATURE |
H/W | 기기의 온도를 섭씨(°C) 단위로 측정. 이 센서는 기기마다 다르게 구현되며 API 레벨 14에서 TYPE_AMBIENT_TEMPERATURE 센서로 대체됨 | 온도 모니터링 |
센서의 유형 중 하드웨어(H/W)는 해당 센서가 물리적으로 기기에 내장되어 있는 경우를 의미하며 소프트웨어(S/W)는 물리적인 센서 없이, 하나 이상의 다른 하드웨어 또는 소프트웨어 센서 측정자료를 이용해 측정자료를 얻는 합성(Synthetic) 또는 가상 센서를 의미한다. 기기의 위치를 인식하여 속도나 가속도 등을 측정할 수 있도록 하는 GPS는 센서로 분류되어 있지 않다. 활성화된 부분을 찾기 위하여 각 센서를 단독으로 또는 혼합하여 사용할 수 있다.
추출부(330)는, 센서 데이터를 분석하여 활성화되는 인체의 적어도 하나의 부위를 추출할 수 있다. 상술한 신체감각지도에서 화가 났을 때에는 얼굴과 상반신 및 양팔이 활성화되는데, 웨어러블 기기(400)에서 측정된 팔의 움직임 가속도 등의 센서 데이터를 머신러닝을 이용하여 감정을 예측하도록 할 수 있다. 이때, 적어도 하나의 기계학습 알고리즘은, SVM(Support Vector Manchine)일 수 있으나, 시계열 데이터로 감정을 파악하기 위해 딥러닝인 RNN(Recurrent Neural Network) 등을 이용할 수도 있다.
<SVM>
분류를 위한 기계학습의 지도학습 방법 중 하나로 SVM(Support Vector Machine)이 있다. 각 센서 데이터를 SVM으로 분류하기 위해서는 특징 추출(Feature Extraction) 작업이 필요하다. 특징을 분류하기 위해서 사용한 머신러닝 방법은 SVM(Support Vector Machine)이다. SVM 분류기는 특징 기반 분류기로서 특징 공간에 있는 특징들을 분리할 수 있는 초월평면을 결정하는 방법이다. 이 방법을 사용하여 감정을 분류하기 위한 활성화 부위를 파악하기 위해서는, 센서 데이터를 특징값으로 변환해야 한다. 이 작업을 특징 추출이라 하며, SVM으로 분류되기 적합한 센서 데이터의 통계적 특징을 선정하는 작업도 선행되어야 한다.
한 종류의 센서 데이터로 여러가지 특징들을 추출하여 특징 벡터를 만들 수 있으며, 많은 종류의 센서 데이터에서 모은 특징 벡터들은 SVM을 학습시키는 학습 데이터셋으로 이용할 수 있다. 이러한 특징 벡터들은 SVM의 학습 과정에 이용될 수 있다. SVM은 특징 공간에서 특징들의 분류 문제를 푸는 클래스 분류 지도학습 방법이다. 이하 수학식 1과 같은 초월평면을 결정하여 데이터를 분류할 수 있다.
여기서 w와 b는 초월평면을 결정하는 값으로 각각 가중치벡터, 그리고 편향을 의미한다. 그리고 x는 분류하고자 하는 데이터인 입력 벡터를 의미한다. SVM은 초월평면을 결정할 때 서포트 벡터를 이용한다. 서포트 벡터는 두 데이터 집단 사이를 분리하는 초월평면으로부터 가장 가까이 있는 각 집단의 데이터들을 의미한다. 서포트 벡터는 수학식 2와 같이 정리될 수 있다.
여기서, d는 각 데이터별 분류되는 클래스를 의미한다. SVM의 서포트 벡터는 학습 데이터셋에서 수학식 1 및 수학식 2를 만족하는 데이터들을 나타낸다. 초월평면의 가중치 벡터 w와 편향벡터 b는 이하 수학식 3과 같은 최적화 문제를 풀어서 결정할 수 있다.
여기서, k는 데이터의 총 개수이다. 수학식 3의 최적화 문제를 풀면 서포트 벡터에 해당하는 것을 제외한 모든 데이터는, 서포트 벡터보다 초월평면으로부터 바깥쪽에 위치 하게 되며, w의 크기는 최소화된다. 또한 서포트벡터와 초월평면 사이의 마진이 최대화된다. 또, 최적화문제를 풀면 이하 수학식 4와 같이 w를 구할 수 있다. k개의 학습 데이터셋에 대하여 표현된 수식이며 여기서 αi는 위 최적화 문제를 라그랑지안 문제로 풀 때 나타나는 라그랑지안 승수이다.
이때, αi 값이 0 이 아닌 데이터가 서포트 벡터이다. 가중치 벡터 b는 서포트 벡터와 수학식 4에서 구한 w를 이용하여 수학식 5를 통해 구할 수 있다.
만약 분리하고자 하는 특징 데이터가 위와 같은 초월평면으로 분리되지 않고 섞여있는 구조인 비선형 패턴 분류 문제라면, 이 특징 데이터를 커널함수를 사용하여 다른 특징공간으로 변환한 후 분류 문제를 풀 수 있다. 커널함수로 자주 사용되는 것들로는 Linear, Polynomial, Sigmoid, RBF(Radial-Basis Function) 함수 등이 있다. SVM으로 여러 클래스 분류 문제를 풀기 위한 방법 중 하나로, 하나 대 나머지(One-Versus-Rest) 방법이 이용될 수도 있다. 이 방법에서는 m 개의 각각의 분류기가 m 개의 클래스를 분류한다. m 개의 분류기는 학습 데이터셋에 대하여 각각 자신의 클래스만 참 값이고, 나머지는 거짓 값을 출력하며, 검증 데이터셋에 대한 클래스 판단은 가장 높은 결과를 출력하는 분류기의 클래스로 판단한다.
<RNN>
RNN은 입력 자료를 시간에 따라 분리하여 입력 받는 다중층(Layer) 신경망이다. RNN은 순서(Sequence)가 있는 자료를 처리하는데 적합한 신경망으로 자연어처리 문제, 시계열 예측에 활용되는 모형이다. 순서가 있는 자료란 시간의 변화에 따라 영향을 받는 자료를 의미한다. 기존 신경망에 은닉 상태(Hidden State)를 추가하여 현재의 자료와 과거의 자료로부터 모두 정보를 받아 함께 사용하여 출력값을 계산하도록 고안된 심층 신경망이다. 즉, RNN은 은닉 상태를 사용해 순서가 있는 자료의 중간 결과를 기억한다. RNN의 각 타임스텝마다의 메모리 셀(Memory Cell)과 출력(Output)을 출력할 수 있는데, t 시점의 은닉 상태, 즉 은닉계층의 노드 값(h(t))은 이전 시점의 은닉계층의 노드값(h(t-1)과 t시점의 입력값의 합을 활성화 함수(f)를 이용하여 계산한다. 출력층의 노드 값(y(t))은 은닉계층의 노드 값(h(t))과 가중치(O(t))의 곱으로 계산한다. 다만, RNN이 입력되는 시간(Time Step)이 길어지면 기울기 손실(Vanishing Gradient) 문제를 발생시킬 수 있고, 이는 장기 기억에 활용하기 부적절하기 때문에, LSTM(Long Short-Term Memory)이나 GRU(Gated Recrurent Unit)을 이용할 수도 있다.
모니터링부(340)는, 추출된 적어도 하나의 부위에 기 매핑되어 저장된 감정을 추출할 수 있다. 모니터링을 하다보면 감정의 시계열 데이터가 생성되는데 이는 이후 시각화부(397)의 감정의 변화를 시각화하는 베이스 자료로 이용된다. 예를 들어, 출근 전부터 퇴근 후까지의 감정변화가 [피곤-짜증-불쾌-만족-피곤-분노-진정]이었다면 자신이 어느 순간에 화가 났는지를 상황(Contextual) 정보와 매핑하여 저장할 수 있고, 어떠한 상황을 피해야 하는지 또는 해결해야 하는지에 대한 정보로 이용할 수도 있다. 또는, 한국인의 경우 특히 자신의 감정이 무엇인지 모르고 그저 짜증이 난다 또는 스트레스를 받는다고만 표현을 하는데, 짜증이 나는 감정 저변에 분노, 불안, 우울, 울화 등의 감정이 있다는 것을 인지하고 이를 받아들이는 과정을 거칠 수 있다는 점에서도 의미가 있다. 또, 각각의 감정은 개인의 인체에서 독특한 반응을 일으키는데, 자신의 몸에서 일어나는 반응을 숙지한다면 감정이 일어나는 초기에 그 감정을 행동으로 옮길 것인지 아니면 중단할 것인지를 결정할 수 있다.
걸음걸이분석부(350)는, 웨어러블 기기(400) 또는 사용자 단말(100)로부터 수집된 보폭 및 속도를 분석하고, 보폭 및 속도와, 감정 간 학습 및 검증으로 모델링된 기 구축된 인공지능 알고리즘에 입력한 후, 사용자 단말(100)의 사용자의 감정을 예측할 수 있다. 예를 들어, 가속도 센서를 이용하는 경우, 정적·동적 움직임의 방향, 크기, 속도 뿐 아니라, 개인의 성격이나 감정, 지면 및 환경 상태 등을 간접적으로 분석할 수 있다. Kato의 연구에 따르면 문화적으로 동양사회에서는 보행에서 드러나는 사람의 성격이나 기분을 다양한 보행의태어와 보행의성어로 표현할 수 있는데, 각 의태어를 물리적으로 나타내는 움직임에 대한 정량적 분석을 통해 보행 속 감정의 상태를 유추하는 것은 물리적, 정신적 건강상태를 연계해 한 번에 분석할 수 있다.
예를 들어, 3축 가속도 데이터에서 모든 축에 대해 최솟값, 최댓값, 중앙값, 피크값(Peak to Peak), 평균값, 표준편차, 분산, RMS(Root Mean Square), IQR(Inter Quartile Range), 왜도, 첨도, MAD(Median Absolute Deviation), 상관계수의 시계열 특징값을 추출할 수 있다. 추출된 특징값을 머신러닝 모델의 입력값으로 이용할 수 있다. 보행분류를 위해, 예를 들어, 머신러닝 모델은 결정트리의 앙상블 구조인 RF(Random Forest)모델과 GBM(Gradient Boosting Machine) 모델을 이용할 수 있다. 결정트리로 이루어진 앙상블 구조의 머신러닝 방식은 결정트리에서 나타나는 과적합 문제를 해결할 수 있다. 또한, MDI(Mean Decrease in Impurity) 변수 중요도를 통하여 어떤 입력값이 분류에 중요했는지 알 수 있다. 즉, 각 의태어에 맞는 보행 분류에 어떤 특징값 추출이 주효했는지 파악할 수 있기 때문에 해당 모델을 이용할 수 있다. 이렇게 모델별 학습 및 검증을 실시한 후 정확도가 높은 모델을 선택하여 초기 모델로 세팅할 수 있으며, 주효한 변수를 추출하여 이후 걸음걸이 분석을 위해 센서 데이터를 선택적으로 이용할 수 있다.
상태파악부(360)는, 맥박수에 따른 교감신경 또는 부교감신경의 활성화를 저장하고, 교감신경의 흥분상태 또는 부교감신경의 안정상태를 매핑하여 저장하며, 웨어러블 기기(400)에 포함된 바이오 센서로부터 수집된 맥박수에 따라 흥분상태 또는 안정상태를 판단할 수 있다. 맥박분석부(370)는, 맥박수와 감정 간 데이터베이스를 구축하고, 웨어러블 기기(400)로부터 수집된 맥박수에 따라 사용자 단말(100)의 감정을 예측할 수 있다. 맥박수와 감정을 연결하는 것의 이론적 배경은, 니가타대학 대학원 종합연구과 아보토오루 교수의 연구에 근거한다. 이 교수는 맥박수에 따라 사람의 감정 상태를 확인할 수 있다고 주장하면서, 교감신경이 우세해져 활력이 넘치게 되고, 반대로 맥박이 느려지면 부교감신경이 우세해져 안정상태가 되기 때문이라고 설명한다. 또, 주간 활동 시 맥박수가 높아지고, 밤에는 맥박수가 줄어드는 것도 같은 이유라고 설명한다. 이에, 이를 이용하여 맥박수와 감정을 매핑하여 저장하고, 감정을 예측 및 추론할 수 있다. 맥박수와 감정을 정리하면 이하 표 2와 같다.
| 맥박수 | 감정 |
| 50회 이하 | 슬프다, 괴롭다, 혼자 있고 싶다. |
| 55회 | 낙담상태, 술을 마시고 싶다. |
| 60회 | 원기가 없다, 빨리 일을 걷어치우고 싶다. |
| 65회 | 특별히 기분에 좌우되지 않는다. |
| 70회 | 좋아 한번 해보자, 일이나 기분 진척. |
| 75회 | 무엇이든 잘될 것 같은 기분. |
| 80회 이상 | 아주 기쁘다, 굉장히 화가 난다, 누군가에게 말을 걸고 싶다 |
큐레이션부(380)는, 적어도 하나의 성격유형별 및 감정별 선호 음악 데이터베이스를 구축하고, 사용자 단말(100)의 성격유형을 기 설정된 프로세스에 따라 파악한 후, 사용자 단말(100)의 웨어러블 기기(400)로부터 분석된 감정을 기반으로, 성격유형별 및 감정별 선호음악을 추출하여 사용자 단말(100)로 추천할 수 있다. 영국 케임브리지 대학 명예 연구원 David Greenberg 박사 연구팀은, 성격별 선호 음악에 대해 연구했는데, 예를 들어, 슬플 때나 화날 때와 같이, 사람마다 들었을 때 더 효과적인 음악은 다른데, 감정 완화를 위해서는 선호하는 음악을 들어야 하고, 성격에 따라 좋아하는 음악이 다르다는 결론을 게재했다. 예를 들어, 외향적인 사람은 현대 음악, 성실한 사람은 순수한 음악, 사교성이 좋은 사람은 그윽한 음악과 순수한 음악을 선호하는 것으로 나타났고, 개방적인 사람은 그윽한 음악, 강렬한 음악, 교양있는 음악 그리고 현대 음악 모두를 좋아하는 경향성이 있다고 밝혔다. 이에, 슬플 때 누군가는 슬픈 음악을, 누군가는 기분 전환을 위한 경쾌한 음악을 듣는 등 성격에 따라 사람들이 음악을 사용하는 방식이 달라지므로, 성격별 및 감정별 음악 데이터베이스를 구축하고, 사용자의 성격에 따라 감정이 인식되면 성격 및 감정에 따른 음악을 제공해줄 수 있다.
테라피부(390)는, 사용자 단말(100)의 사용자의 파악된 감정에 따라, 안정이 요구되는 경우 또는 흥분이 요구되는 경우를 분류하고, 기 구축된 안정음악 데이터베이스 또는 기 구축된 흥분음악 데이터베이스로부터 음원을 추출하여 사용자 단말(100)로 추천할 수 있다. British Academy of Sound Therapy에 따르면, 안정을 취하고 싶을 경우에는 느긋한 템포의 연주곡을 선호하고, 행복감을 느끼고 싶을 경우에는 템포가 빠르고 긍정적인 노랫말이 들어간 곡을 선호한다는 연구결과를 발표했다. 이에 따라, 본 발명의 일 실시예에서는, 감정에 따라 안정이 요구되는 경우, 느린 템포의 연주곡을, 흥분이 필요한 경우에는 템포가 빠른 음악을 추천해줄 수 있다. 이때, 테라피는 디스플레이를 이용한 라이트 테라피가 이용될 수도 있다. [감정-라이트]가 연결되어 흥분상태라면 안정상태로, 안정상태라면 흥분상태 등으로 연결해줄 수 있다. 여기서 이하의 [감정-라이트]에 대한 감정 및 라이트 데이터베이스를 구축할 수도 있다.
<라이트 테라피>
인공조명기술이 발전을 거듭하면서 인간의 삶을 책임지고 시각적인 질을 높여야 하는 중요한 수단이 되었다. 조명의 구성 요소인 빛과 색깔은 치유 수단으로 사용되고 있고 많은 연구소와 병원에서 라이트 테라피와 컬러테라피의 효능을 입증하기 위해서 연구가 진행되고 있다. 빛에 의한 컬러가 가진 연상적 이미지는 각각 다르고, 사람에게 심리적 영향을 미쳐 생리학적 반응을 일으킨다. 아래 표 3은 각각 색채가 지닌 상징적인 의미와 치료 효과를 묶어 정리한 것이다.
| 감정 | 색상 | 상황 | 보호색 |
| 슬픔/비애 | 갈색 | 사랑하는 사람의 상실 |
주황색 |
| 두려움 | 검정색 | 위협 | 분홍색 |
| 분노 | 빨간색 | 장애물 | 파란색 |
| 즐거움 | 노란색 | 친한 사람에 대한 기대감 | 녹색 |
| 신뢰 | 금색 | 단체의 구성원들의 부담 | 주황색 |
| 혐오감 | 겨자색 | 무서운 대상 | 남색 |
| 기대 | 주황색 | 새로운 분야에 대한 불안 | 빨간색 |
| 놀람 | 노란색 | 갑작스럽고 신기한 대상 | 금색 |
| 고독 | 회색 | 원치 않는 상황 | 보라색 |
| 시기 | 짙은 녹색 | 불안한 감정이 드는 상황 |
빨간색 |
| 자책감 | 짙은 빨간색 |
기분이 별로 좋지 않은 상황 | 노란색 |
센서 데이터로 판단된 감정을 슬픔, 분노, 놀라움, 두려움, 혐오감과 경멸을 부정적인 표정으로 분류할 수 있다. 긍정적인 감정으로 나올 경우 표 3을 참고하여 색상과 감정이 일치하는 색을 이용하여 조명색 또는 사용자 단말(100)의 디스플레이 색상을 변경한다. 부정적인 표정이 결과로 나올 경우 감정에 따른 보호색으로 조명색 또는 사용자 단말(100)의 디스플레이 색상을 변경할 수 있다.
피부감정파악부(391)는, 웨어러블 기기(400)로부터 피부전도반응(Skin Conductance Response) 또는 피부전기반응(Electrodermal Response)으로부터 교감신경계(Sympathetic Nervous System)와 연관된 피부전도도(Electrodermal Activity)를 측정하고, 피부전도도로부터 감정을 추출할 수 있다. 피부전기반응 또는 피부전도수준은 각성 수준에 따라 피부에서 발생하는 전기적 반응으로, 각성 수준의 증감에 따라서 그 크기의 변화가 나타나게 된다. 피부전도수준은 비교적 안정적인 생리 지표이기 때문에 오랫동안 인간의 심리상태를 나타내는 객관적인 데이터로 활용되어 왔다. 또한, 피부전도수준은 인간의 감정 및 인지 처리와 관련 깊은 생리 지표로 다양하게 활용되는데, 예를 들어, 인지 처리 또는 인지 부하가 증가하면 피부전도수준이 커지고, 공포와 슬픔에서 피부전도수준이 증가하는 등 피부전도수준은 각성을 수반하는 인지 처리 및 감정 변화에 민감한 생체 신호라는 것
을 알 수 있다. 이에, 이를 이용하는 경우 인지에 부하가 걸려있거나 감정이 변화하는 상태를 파악할 수 있고, 거짓말 탐지에서도 피부전도도 외에 혈압, 맥박, 호흡의 변화 등 여러 생리적 반응으로 나타나는 상태를 예측할 수 있다는 것을 이용할 수 있다.
덧붙여서, 감정에 따라 변화하는 혈류량을 측정하는 PPG(PhotoPlethysmoGraphy)센서를 사용하여 감정을 인식하는 방법을 이용할 수도 있다. PPG 신호로부터 전력스펙트럼밀도(Power Spectrum Density, PSD)를 통해 주파수 영역에서 긍정적인 감정과 부정적인 감정을 판단하는 방법을 이용할 수 있다. 제임스 러셀의 이차원 원형 모델에 기반을 두어 감정을 기쁨, 슬픔, 짜증, 평온으로 분류하여 주파수 영역에 따른 에너지의 크기와의 연관성을 이용할 수 있다. 이때, 심박변이도(HRV)와 인공신경망을 이용하여 강건하고 정확한 감정예측 모형인 EPNN(Emotion Prediction Neural Network)을 이용할 수도 있다.
감정예측방법은 얼굴 표정, 말, 행동 등을 이용한 방법과 사람의 심장박동, 뇌파, 피부전도와 같은 생체신호를 계측한 신호에서 추출한 특징정보로부터 감정을 인식하는 방법으로 나눌 수 있다. 생체신호를 사용한 감정예측 모형은 생체신호 변수를 입력으로 하고, 감정상태를 예측하는 모형을 의미한다. 이 중 간단하게 수집이 가능한 심장박동으로부터 계산되는 심박변이도(Heart Rate Variability, HRV)를 사용한 감정예측에 대한 다양한 연구가 이루어지고 있다. 생체신호를 사용하는 감정예측 모형은 생체신호와 감정 간의 비선형적인 관계를 학습하기 위한 랜덤 포레스트(Random Forest), 인공신경망(Artificial Neural Network), SVM(Support Vector Machine) 등의 방법을 적용한다. 이때, 인공신경망의 은닉층 내의 활성함수로 하이퍼볼릭 탄젠트, 선형, 가우시안 함수를 융복합적으로 사용하는 EPNN (Emotion Prediction Neural Network)를 이용할 수 있다. 물론, 비선형성을 연구하는 다른 인공지능 알고리즘을 더 이용할 수도 있다.
상황기반플레이부(393)는, 적어도 하나의 상황 기반 플레이리스트(Contextual Playlist)를 생성하고, 적어도 하나의 상황과 적어도 하나의 감정을 매핑하여 저장하며, 웨어러블 기기(400)로부터 파악된 감정에 따른 상황을 추출하며, 추출된 상황에 다른 플레이리스트를 추천할 수 있다. 상황 기반 플레이리스트는, 사용자의 활동이나 시점에 적절한 음악을 골라 추천해주는데, 예를 들어, 음악청취자가 조깅할 때나 로맨틱한 저녁식사를 즐길 때 어울리는 플레이리스트가 여기에 해당한다. 이에 더하여, 본 발명의 일 실시예에서는 상황과 감정을 매핑하여 저장하며, 감정과 상황에 맞는 플레이리스트를 제공할 수 있도록 한다. 예를 들어, 일을 하는데 짜증나는 경우는 [업무]+[짜증]에 따른 플레이리스트, 출근하는데 피곤하다고 하면, [출근]+[피곤]에 따른 플레이리스트, 일요일 저녁에 식사를 하는데 월요일이 오니 불안하다고 하면, [식사]+[불안]에 따른 플레이리스트를 생성할 수 있다. 이 외에도 다양한 조합이 가능할 수 있다. 이를 위해 음악을 이하와 같이 구분하는 작업이 선행되어야 한다.
<범주에 따른 정서 구분>
범주에 따른 정서 구분 방법(Categorical Psychometrics)은 음악을 듣고 느낀 감정을 몇 가지의 감성 표현(Tag)을 기준으로 구체화하는 방법이다. 청자가 음악을 통해 느끼는 감정을 범주에 따라 구분하기 위해, 감정 표현 형용사를 그룹으로 나누어 특정 곡에 대한 청자의 감성적 반응을 측정하여 나누어볼 수 있다. 예를 들어, [업무]+[짜증]의 경우, 업무를 하는데 적절한 음악을 추출하면서도 짜증을 완화시켜줄 수 있는, 즉 청자가 음악을 듣고 짜증이 완화되는 릴렉싱되는 느낌이 들었다고 하면, 이 음악을 사용자에게 추천해주는 것이다. 이 경우 2 가지의 조건이 필요한데, [업무]에 적절해야 하고, [릴렉싱]을 줄 수 있는 음악이어야 한다는 것이다. 이를 위해 상술한 태그를 이용할 수 있다. 이를 위해, MIREX에서 사용하는 감성 클러스터 모델을 이용할 수도 있고, 음악 감성 분류(Music Mood Classification)를 할 수도 있다.
<차원에 따른 정서 구분>
차원에 따른 정서 구분 방법(Dimensional Psychometrics)은 특정 감성 표현 단어를 스케일에 따라 표현하거나 간단한 평면 구조 안에서 분석하는 방법이다. 대표적인 것이 Russel and Thayer가 주창한 [감정가(Valence)-각성수준(Arousal)] 2차원 모델이다. 특정 감성이 V-A 평면상의 어느 한 지점에 위치하는 특정 수치를 가진다고 가정하면, 감정가(Valence)는 감정에 대한 평가(긍정 또는 부정), 각성수준(Arousal)은 감정의 강도(세기)를 나타낸다. 음악에 대한 감성을 V-A의 2차원에 따라 구분할 수 있다. 물론, 상술한 방법 외에도 감정의 변화를 이끌어내는 음악 등에 대한 태그를 이용하여 사용자가 처한 상황과 센서 데이터로부터 분석된 감정을 조절해줄 수 있는 음악을 추출하여 플레이리스트를 생성할 수 있다.
캘리브레이션부(395)는, 웨어러블 기기(400)로부터 수집 및 분석된 감정에 대하여 사용자 단말(100)로 컨펌을 요청하고, 분석된 감정과 컨펌된 감정이 다른 경우, 센서 데이터에 대한 감정의 매핑에 대하여 사용자별 캘리브레이션을 진행할 수 있다. 사람마다 감정을 느끼고 반응하는 정도가 모두 다르기 때문에 정량적인 수치를 설정해두었다고 해도 개인화를 위해서는 캘리브레이션의 과정이 필요할 수 있다. 이를 위해, 초기에는 사용자에게 분석된 감정이 맞는지의 여부를 질의하고, 이를 분석된 감정이 실제 감정과 다른 경우, 분석하는 센서 데이터의 범위나 수치를 조절하는 등의 캘리브레이션 과정을 수행함으로써 더욱 정확하게 감정을 분석할 수 있도록 커스텀마이징이 될 수 있다. 이때, 혼란변수 또는 교란변수를 더 보정할 수 있는데, 예를 들어, 심박수가 증가하는 것이 고혈압 때문인지, 지각을 면하려고 급하게 뛰다가 심박수가 증가하는 것인지 등을 구분할 수 있다.
시각화부(397)는, 웨어러블 기기(400)로부터 수신된 센서 데이터로 사용자 단말(100)의 사용자의 감정의 변화를 시계열 데이터로 누적하여 저장 및 시각화하여 사용자 단말(100)로 전송할 수 있다.
덧붙여서, 최근 한국 국내 교수진이 스마트밴드와 스마트폰 사용 패턴으로 우울증, 조울증의 재발을 93% 이상의 성능으로 미리 예측할 수 있다는 연구결과를 발표했다. 간편한 데이터 수집을 통해 재발을 미리 예측함으로써 기분장애 환자들의 재발 횟수와 증상을 경감하고 삶의 질을 높일 수 있는 기반을 마련한 것으로 평가받고 있는데, 활동량, 수면양상, 심박수 변화, 빛 노출 정도를 스마트밴드나 스마트폰으로 실시간으로 수집하는데, 생체리듬을 이용하여 사용자의 감정을 예측하는 방법으로도 이용할 수 있다.
이하, 상술한 도 2의 모니터링 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, (a) 모니터링 서비스 제공 서버(300)는 신체감정지도에 따라 감정에 따라 활성화되는 각 인체 부위를 저장해두고, 사용자 단말(100)을 경유하여 수집되는 웨어러블 기기(400)의 센서 데이터를 분석하여 인체의 어떠한 부위가 활성화되고 있는지를 파악한 후, 사용자의 감정을 예측 또는 추론한다. 만약 이 방법의 정확도가 높지 않다면 (b), (c), (d)의 방법을 동시에 또는 별도로 조합하여 이용할 수도 있는데, (b)와 같이 사용자가 화가 나서 보폭을 크게하고 빠르게 걷고 있는지, (c)와 같이 실제 맥박수는 증가하고 있는지, (d)와 같이 피부전도도가 높아 교감신경이 자극되고 스트레스를 받고 있는 상황인지 등을 병행하여 체크함으로써 정확도를 높일 수 있다. 물론, 단독으로 체크할 수도 있고, 각 감정에 따라 서로 다른 방법을 이용하는 하이브리드 방법을 이용할 수도 있다
본 발명의 일 실시예에 따른 플랫폼은, 사용자의 감정을 파악했다면, 도 4의 (a)와 같이 모니터링 서비스 제공 서버(300)는 성격별 및 감정별 음악 큐레이션을 제공할 수 있고, (b)와 같이 테라피 음악 큐레이션 서비스를 제공할 수도 있으며, (c)와 같이 상황 기반 플레이리스트를 제공하여 사용자가 각 상황 및 감정에 맞는 음악을 들을 수 있도록 하고, (d)와 같이 사용자 단말(100)로 파악한 감정을 질의한 후 캘리브레이션을 통하여 더욱 사용자의 감정을 정확하게 파악할 수 있도록 세팅할 수 있다.
이와 같은 도 2 내지 도 4의 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5는 본 발명의 일 실시예에 따른 도 1의 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 5를 참조하면, 모니터링 서비스 제공 서버는, 신체감각지도를 기반으로 적어도 하나의 감정에 따라 활성화되는 부위를 매핑하여 저장하고(S5100), 웨어러블 기기로부터 센서 데이터를 수집한다(S5200).
그리고, 모니터링 서비스 제공 서버는, 센서 데이터를 분석하여 활성화되는 인체의 적어도 하나의 부위를 추출하고(S5300), 추출된 적어도 하나의 부위에 기 매핑되어 저장된 감정을 추출한다(S5400).
상술한 단계들(S5100~S5400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 5의 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (12)
- 웨어러블 기기로부터 수집된 인체를 이루는 적어도 하나의 부위에 대한 센서 데이터를 업로드하는 사용자 단말; 및
신체감각지도를 기반으로 적어도 하나의 감정에 따라 활성화되는 부위를 매핑하여 저장하는 데이터베이스화부, 상기 웨어러블 기기로부터 상기 센서 데이터를 수집하는 수집부, 상기 센서 데이터를 분석하여 활성화되는 인체의 적어도 하나의 부위를 추출하는 추출부, 추출된 상기 적어도 하나의 부위에 기 매핑되어 저장된 감정을 추출하는 모니터링부를 포함하는 모니터링 서비스 제공 서버;
를 포함하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 웨어러블 기기 또는 사용자 단말로부터 수집된 보폭 및 속도를 분석하고, 보폭 및 속도와, 감정 간 학습 및 검증으로 모델링된 기 구축된 인공지능 알고리즘에 입력한 후, 상기 사용자 단말의 사용자의 감정을 예측하는 걸음걸이분석부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
맥박수에 따른 교감신경 또는 부교감신경의 활성화를 저장하고, 상기 교감신경의 흥분상태 또는 부교감신경의 안정상태를 매핑하여 저장하며, 상기 웨어러블 기기에 포함된 바이오 센서로부터 수집된 맥박수에 따라 흥분상태 또는 안정상태를 판단하는 상태파악부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 3 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 맥박수와 감정 간 데이터베이스를 구축하고, 상기 웨어러블 기기로부터 수집된 맥박수에 따라 상기 사용자 단말의 감정을 예측하는 맥박분석부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
적어도 하나의 성격유형별 및 감정별 선호 음악 데이터베이스를 구축하고, 상기 사용자 단말의 성격유형을 기 설정된 프로세스에 따라 파악한 후, 상기 사용자 단말의 웨어러블 기기로부터 분석된 감정을 기반으로, 성격유형별 및 감정별 선호음악을 추출하여 상기 사용자 단말로 추천하는 큐레이션부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 사용자 단말의 사용자의 파악된 감정에 따라, 안정이 요구되는 경우 또는 흥분이 요구되는 경우를 분류하고, 기 구축된 안정음악 데이터베이스 또는 기 구축된 흥분음악 데이터베이스로부터 음원을 추출하여 상기 사용자 단말로 추천하는 테라피부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 6 항에 있어서,
상기 테라피부는,
상기 사용자 단말의 사용자의 파악된 감정에 따라, 안정이 요구되는 경우 또는 흥분이 요구되는 경우를 분류하고, 기 구축된 감정 및 라이트 데이터베이스에 기반하여 라이트를 추출하여 상기 사용자 단말로 추천하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 웨어러블 기기로부터 피부전도반응(Skin Conductance Response) 또는 피부전기반응(Electrodermal Response)으로부터 교감신경계(Sympathetic Nervous System)와 연관된 피부전도도(Electrodermal Activity)를 측정하고, 상기 피부전도도로부터 감정을 추출하는 피부감정파악부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
적어도 하나의 상황 기반 플레이리스트(Contextual Playlist)를 생성하고, 상기 적어도 하나의 상황과 적어도 하나의 감정을 매핑하여 저장하며, 상기 웨어러블 기기로부터 파악된 감정에 따른 상황을 추출하며, 추출된 상황에 다른 플레이리스트를 추천하는 상황기반플레이부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 웨어러블 기기로부터 수집 및 분석된 감정에 대하여 상기 사용자 단말로 컨펌을 요청하고, 상기 분석된 감정과 컨펌된 감정이 다른 경우, 상기 센서 데이터에 대한 감정의 매핑에 대하여 사용자별 캘리브레이션을 진행하는 캘리브레이션부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 모니터링 서비스 제공 서버는,
상기 웨어러블 기기로부터 수신된 센서 데이터로 상기 사용자 단말의 사용자의 감정의 변화를 시계열 데이터로 누적하여 저장 및 시각화하여 상기 사용자 단말로 전송하는 시각화부;
를 더 포함하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 웨어러블 기기로부터 수신된 센서 데이터는,
PPG(PhotoPlethysmoGraphy)센서로부터 수집되는 PPG 신호를 포함하고, 상기 PPG 신호를 전력스펙트럼밀도(Power Spectrum Density)의 주파수 영역에서 긍정적인 감정과 부정적인 감정을 판단하도록 이용되고,
상기 웨어러블 기기로부터 수신된 센서 데이터는,
심박변이도(Heart Rate Variability)를 포함하고, 상기 심박변이도와 감정 간 비선형적인 관계를 학습하기 위한 랜덤 포레스트(Random Forest), 인공신경망(Artificial Neural Network) 및 SVM(Support Vector Machine) 중 어느 하나로 입력되고,
상기 인공신경망의 은닉층 내의 활성함수로 하이퍼볼릭 탄젠트, 선형, 가우시안 함수를 융복합적으로 사용하는 EPNN(Emotion Prediction Neural Network)를 이용하는 것을 특징으로 하는 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220174347A KR20240092634A (ko) | 2022-12-14 | 2022-12-14 | 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템 |
| PCT/KR2023/013328 WO2024128478A1 (ko) | 2022-12-14 | 2023-09-06 | Ai 기반의 정동장애 디지털 진단 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220174347A KR20240092634A (ko) | 2022-12-14 | 2022-12-14 | 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240092634A true KR20240092634A (ko) | 2024-06-24 |
Family
ID=91711711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220174347A KR20240092634A (ko) | 2022-12-14 | 2022-12-14 | 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240092634A (ko) |
-
2022
- 2022-12-14 KR KR1020220174347A patent/KR20240092634A/ko unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11696714B2 (en) | System and method for brain modelling | |
| US11974851B2 (en) | Systems and methods for analyzing brain activity and applications thereof | |
| Pereira et al. | A survey on computer-assisted Parkinson's disease diagnosis | |
| Schmidt et al. | Wearable affect and stress recognition: A review | |
| US10885800B2 (en) | Human performance optimization and training methods and systems | |
| KR102298940B1 (ko) | 사용자가 움직이는 상태에서 판단된 뇌 정보 및 뇌 활성화 개선을 위한 정보를 제공하는 인공지능 기반 장치 | |
| KR102298943B1 (ko) | 사용자가 움직이는 상태에서 판단된 뇌 정보 및 뇌 활성화 개선을 위한 인공지능 기반 정보 제공 방법 | |
| Elzeiny et al. | Machine learning approaches to automatic stress detection: A review | |
| Myroniv et al. | Analyzing user emotions via physiology signals | |
| KR102388596B1 (ko) | 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법 | |
| Kim et al. | Data Analysis for Emotion Classification Based on Bio‐Information in Self‐Driving Vehicles | |
| US20230347100A1 (en) | Artificial intelligence-guided visual neuromodulation for therapeutic or performance-enhancing effects | |
| Sundaravadivel et al. | i-rise: An iot-based semi-immersive affective monitoring framework for anxiety disorders | |
| Phukan et al. | Convolutional neural network-based human activity recognition for edge fitness and context-aware health monitoring devices | |
| Mateos-García et al. | Driver Stress Detection from Physiological Signals by Virtual Reality Simulator | |
| Motogna et al. | Strategy for affective computing based on HRV and EDA | |
| Cho et al. | BCI sensor based environment changing system for immersion of 3D game | |
| Cernian et al. | Mood detector-on using machine learning to identify moods and emotions | |
| KR20240092634A (ko) | 웨어러블 기기를 이용한 감정 모니터링 서비스 제공 시스템 | |
| Dabas et al. | A step closer to becoming symbiotic with AI through EEG: A review of recent BCI technology | |
| JP2023531361A (ja) | 睡眠管理を含むシステム及び方法 | |
| de J Lozoya-Santos et al. | Current and future biometrics: technology and applications | |
| Li et al. | Affective virtual reality gaming for autism | |
| WO2024128478A1 (ko) | Ai 기반의 정동장애 디지털 진단 시스템 | |
| Martínez-Rodrigo et al. | Non-lineal EEG modelling by using quadratic entropy for arousal level classification |