KR102594242B1 - Method and apparatus for analyzing social anxiety disorder using digital phenotype feature - Google Patents
Method and apparatus for analyzing social anxiety disorder using digital phenotype feature Download PDFInfo
- Publication number
- KR102594242B1 KR102594242B1 KR1020230003498A KR20230003498A KR102594242B1 KR 102594242 B1 KR102594242 B1 KR 102594242B1 KR 1020230003498 A KR1020230003498 A KR 1020230003498A KR 20230003498 A KR20230003498 A KR 20230003498A KR 102594242 B1 KR102594242 B1 KR 102594242B1
- Authority
- KR
- South Korea
- Prior art keywords
- digital
- anxiety disorder
- social anxiety
- feature
- digital phenotypic
- Prior art date
Links
- 206010041250 Social phobia Diseases 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 15
- 230000003542 behavioural effect Effects 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000007637 random forest analysis Methods 0.000 claims description 11
- 238000013480 data collection Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000002790 cross-validation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 239000000654 additive Substances 0.000 claims description 6
- 230000000996 additive effect Effects 0.000 claims description 6
- 208000019901 Anxiety disease Diseases 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000036506 anxiety Effects 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 abstract description 9
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000008649 adaptation response Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
디지털 표현형 특징을 이용한 사회 불안장애 분석방법 및 장치이 개시된다. 이를 위하여 피험자들이 사용하는 복수의 디지털 장치로부터 피험자 데이터가 수집되는 단계, 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 나타내는 적어도 하나 이상의 디지털 표현형 특징이 추출되는 단계, 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 진단그룹 분류모델 생성에 이용되는 적어도 하나 이상의 디지털 표현형 특징의 분류 기여도가 산출되는 단계, 적어도 하나 이상의 디지털 표현형 특징 중에서 분류 기여도에 따라 군집 형성에 사용될 디지털 표현형 특징이 선택되는 단계 및 선택된 디지털 표현형 특징이 적용되어 피험자 군집이 형성되는 단계를 포함하는 사회 불안장애 분석방법을 제공한다. 본 발명에 의하면, 사회 불안장애를 분석하여 증상 변화를 예측할 수 있고 정확한 진단을 내려서 치료받게 할 수 있다.A method and device for analyzing social anxiety disorder using digital phenotypic characteristics are disclosed. For this purpose, subject data is collected from a plurality of digital devices used by the subjects, at least one digital phenotypic characteristic representing the behavioral pattern of the social anxiety disorder patient is extracted from the subject data, and social anxiety disorder subjects are evaluated to determine whether the subjects belong to the normal group. A step of calculating the classification contribution of at least one digital phenotypic feature used to create a diagnostic group classification model for classifying whether a patient belongs to a disabled patient group, and selecting a digital phenotypic feature to be used for cluster formation among the at least one digital phenotypic feature according to the classification contribution. We provide a social anxiety disorder analysis method that includes the steps in which a group of subjects is formed by applying the selected digital phenotypic characteristics. According to the present invention, it is possible to analyze social anxiety disorder, predict symptom changes, make an accurate diagnosis, and enable treatment.
Description
본 발명은 디지털 표현형 특징을 이용한 사회 불안장애 분석방법 및 장치에 관한 것으로, 보다 상세하게는 다양한 증상을 보이는 사회 불안장애를 분석하기 위해 디지털 표현형(Digital phenotype) 특징을 최신 기계학습 기법을 이용하여 변환한 후 이를 이용하여 진단 그룹을 분류함으로써 사회 불안장애를 분석하는 방법 및 장치에 관한 것이다.The present invention relates to a method and device for analyzing social anxiety disorder using digital phenotypic characteristics. More specifically, the digital phenotype characteristics are converted using the latest machine learning techniques to analyze social anxiety disorder showing various symptoms. It relates to a method and device for analyzing social anxiety disorder by classifying diagnostic groups using this method.
불안이나 공포는 누구나 갖는 보편적 정서이며 위험에 대한 적응적 반응이다. 하지만 불안이나 공포로 인한 과도한 두려움이나 걱정, 공포심 등을 갖게 될때는 불안장애로 발전하게 된다. 사회 불안장애는 대중 앞에서 연설해야하는 상황, 처음보는 사람과의 만남, 일상적인 활동인 타인과의 대화 및 식사, 모임 참여 등에서 심한 공포와 회피를 보이는 정신질환이다. 이러한 사회 불안장애는 서서히 발병해서 그 상태에 적응하게 되거나, 동반된 다른 질환에 가려지거나, 성격적인 문제로 치부되는 등 정확한 진단이 어려워 치료가 늦어지는 경향이 있다.Anxiety or fear is a universal emotion that everyone has and is an adaptive response to danger. However, when you have excessive fear, worry, or fear due to anxiety or fear, it develops into an anxiety disorder. Social anxiety disorder is a mental illness that causes severe fear and avoidance of situations that require speaking in public, meeting strangers, talking and eating with others, and participating in gatherings, which are everyday activities. This type of social anxiety disorder develops slowly, causing people to adapt to the condition, being overshadowed by other accompanying diseases, or being dismissed as a personality problem, making accurate diagnosis difficult and treatment tending to be delayed.
최근에는 스마트폰을 이용하여 스스로 자신의 상태를 확인하고 모니터링할 수 있도록 하기 위해 디지털 표현형(Digital phenotype)을 이용하는 연구가 진행되고 있다. 디지털 표현형은 각 개개인이 일상생활에서 사용하는 다양한 디지털 장치를 통해서 실시간으로 얻어지는 다양한 형태의 데이터를 뜻한다. 스마트폰 사용 패턴이나 소셜네트워크에 남겨진 사용 패턴 등을 통해서 디지털 표현형을 획득할 수 있으며, 획득된 디지털 표현형을 분석하여 디지털 장치를 사용하는 사람의 건강상태나 질병의 징후를 예측할 수 있다.Recently, research is being conducted using digital phenotypes to enable people to check and monitor their own condition using smartphones. Digital phenotype refers to various types of data obtained in real time through various digital devices that each individual uses in their daily lives. Digital phenotypes can be obtained through smartphone usage patterns or usage patterns left on social networks, and by analyzing the acquired digital phenotypes, the health status or signs of disease of people using digital devices can be predicted.
하지만 사회 불안장애는 다양한 증상을 보이므로 사회 불안장애 증상에 대한 척도가 담긴 디지털 표현형을 획득하는 것은 쉽지 않다. 기존의 디지털 표현형을 그대로 이용하는 경우, 데이터 분포가 불균형을 이루어 편향된 결과를 도출하게 되므로 사회 불안장애 증상을 제대로 분석할 수 없다. 따라서 사회 불안장애에 대한 정확한 진단을 내리거나 적절한 치료를 수행하는 것도 쉽지 않은 상황이다.However, because social anxiety disorder shows a variety of symptoms, it is not easy to obtain a digital phenotype containing measures of social anxiety disorder symptoms. If existing digital phenotypes are used as is, the data distribution is unbalanced, resulting in biased results, making it impossible to properly analyze social anxiety disorder symptoms. Therefore, it is not easy to make an accurate diagnosis or provide appropriate treatment for social anxiety disorder.
따라서, 본 발명의 목적은 진단그룹 분류모델 생성에 이용되는 디지털 표현형의 분류 기여도를 산출한 후 이를 이용하여 다양한 증상을 보이는 사회 불안장애를 분석할 수 있는 디지털 표현형 특징을 이용한 사회 불안장애 분석방법 및 장치를 제공하는데 있다.Therefore, the purpose of the present invention is to calculate the classification contribution of the digital phenotype used to create a diagnostic group classification model and then use this to analyze social anxiety disorder showing various symptoms, a social anxiety disorder analysis method using digital phenotypic characteristics, and The purpose is to provide a device.
상술한 본 발명의 목적을 달성하기 위하여, 본 발명의 디지털 표현형 특징을 이용한 사회 불안장애 분석방법은, 사회 불안장애 분석장치에 의해서 수행되는 사회 불안장애 분석방법으로서, (a) 데이터 수집부가 피험자들이 사용하는 복수의 디지털 장치로부터 피험자 데이터를 수집하는 단계; (b) 특징 추출부가 상기 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 나타내는 적어도 하나 이상의 디지털 표현형 특징을 추출하는 단계; (c) 기여도 산출부가 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 진단그룹 분류모델 생성에 이용되는 상기 적어도 하나 이상의 디지털 표현형 특징의 분류 기여도를 산출하는 단계; (d) 특징 선택부가 상기 적어도 하나 이상의 디지털 표현형 특징 중에서 상기 분류 기여도에 따라 군집 형성에 사용될 디지털 표현형 특징을 선택하는 단계; 및 (e) 군집 형성부가 선택된 상기 디지털 표현형 특징을 적용하여 피험자 군집을 형성하는 단계;를 포함한다.In order to achieve the purpose of the present invention described above, the social anxiety disorder analysis method using the digital phenotypic characteristics of the present invention is a social anxiety disorder analysis method performed by a social anxiety disorder analysis device, wherein (a) the data collection unit allows the subjects to Collecting subject data from a plurality of digital devices used; (b) a feature extraction unit extracting at least one digital phenotypic feature representing a behavioral pattern of a patient with social anxiety disorder from the subject data; (c) a contribution calculation unit calculating a classification contribution of the at least one digital phenotypic feature used to create a diagnostic group classification model that classifies whether the subjects belong to the normal group or the social anxiety disorder patient group; (d) a feature selection unit selecting a digital phenotypic feature to be used for cluster formation according to the classification contribution among the at least one digital phenotypic feature; and (e) a cluster forming unit forming a subject cluster by applying the selected digital phenotypic features.
상기 (c)단계에서, 상기 기여도 산출부는 상기 적어도 하나 이상의 디지털 표현형 특징을 이용하여 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 랜덤 포레스트(Random forest) 진단그룹 분류모델을 생성하며, 교차검증(Cross validation)이 적용되는 상기 랜덤 포레스트 진단그룹 분류모델의 분류 과정에서 상기 적어도 하나 이상의 디지털 표현형 특징의 기여도를 나타내는 SHAP밸류(SHapley Additive exPlanations value)를 산출하는 것을 특징으로 한다.In step (c), the contribution calculation unit generates a random forest diagnostic group classification model that classifies whether the subjects belong to the normal group or the social anxiety disorder patient group using the at least one digital phenotypic feature, , Characterized in calculating a SHAP value (SHapley Additive exPlanations value) indicating the contribution of the at least one digital phenotypic feature in the classification process of the random forest diagnostic group classification model to which cross validation is applied.
상기 (d)단계에서, 상기 특징 선택부는 상기 SHAP밸류가 기 설정된 임계값 이상인 디지털 표현형 특징을 선택하고, 선택된 상기 디지털 표현형 특징에 차원축소기법을 적용하여 차원축소기법의 적용 결과, 가장 저차원의 특징을 갖는 디지털 표현형 특징을 다시 한번 더 선택하는 것을 특징으로 한다.In step (d), the feature selection unit selects a digital phenotypic feature whose SHAP value is greater than or equal to a preset threshold, and applies a dimensionality reduction technique to the selected digital phenotypic feature. As a result of applying the dimensionality reduction technique, the lowest-dimensional It is characterized by selecting the characteristic digital phenotypic characteristics once again.
상기 피험자 데이터는, 상기 복수의 디지털 장치를 통해 획득되는 사용자의 로그 데이터 및 사용자의 생체 데이터 중 적어도 하나 이상의 데이터를 포함하는 것이 가능하다.The subject data may include at least one of user log data and user biometric data acquired through the plurality of digital devices.
상기 (e)단계에서, 상기 군집 형성부는 선택된 상기 디지털 표현형 특징을 계층적 밀도기반 군집(Hierarchical Density Based Spatial Clustering of Applications with Noise;HDBSCAN) 형성 모델에 적용하여 상기 피험자 군집을 형성하는 것을 특징으로 한다.In step (e), the cluster forming unit applies the selected digital phenotypic characteristics to a Hierarchical Density Based Spatial Clustering of Applications with Noise (HDBSCAN) formation model to form the subject cluster. .
상기 (a)단계에서, 상기 데이터 수집부는 GPS(Global Positioning System), 자이로스코프(Gyroscope), 밝기 로그(Lux log), 통화 로그(Call log), 폰로그(Phone log), 어플리케이션 로그(Application log), 노이즈 로그(Noise log), 가속도계(Accelerometer), 심박수(Heartrate) 및 육축센서(SixAxis) 중 적어도 하나 이상에 관련된 피험자 데이터를 수집하는 것을 특징으로 한다.In step (a), the data collection unit includes GPS (Global Positioning System), Gyroscope, Lux log, Call log, Phone log, and Application log. ), noise log, accelerometer, heart rate, and six axis sensor (SixAxis).
한편, 본 발명의 디지털 표현형 특징을 이용한 사회 불안장애 분석장치는 피험자들이 사용하는 복수의 디지털 장치로부터 피험자 데이터를 수집하는 데이터 수집부; 상기 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 나타내는 적어도 하나 이상의 디지털 표현형 특징을 추출하는 특징 추출부; 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 진단그룹 분류모델 생성에 이용되는 상기 적어도 하나 이상의 디지털 표현형 특징의 분류 기여도를 산출하는 기여도 산출부; 상기 적어도 하나 이상의 디지털 표현형 특징 중에서 상기 분류 기여도에 따라 군집 형성에 사용될 디지털 표현형 특징을 선택하는 특징 선택부; 및 선택된 상기 디지털 표현형 특징을 적용하여 피험자 군집을 형성하는 군집 형성부;를 포함한다.Meanwhile, the social anxiety disorder analysis device using the digital phenotypic characteristics of the present invention includes a data collection unit that collects subject data from a plurality of digital devices used by the subjects; a feature extraction unit that extracts at least one digital phenotypic feature representing a behavioral pattern of a patient with social anxiety disorder from the subject data; a contribution calculation unit that calculates a classification contribution of the at least one digital phenotypic feature used to create a diagnostic group classification model for classifying whether the subjects belong to the normal group or the social anxiety disorder patient group; a feature selection unit that selects a digital phenotypic feature to be used for cluster formation according to the classification contribution among the at least one digital phenotypic feature; and a cluster forming unit that forms a subject cluster by applying the selected digital phenotypic characteristics.
상기 기여도 산출부는, 상기 적어도 하나 이상의 디지털 표현형 특징을 이용하여 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 랜덤 포레스트(Random forest) 진단그룹 분류모델을 생성하며, 교차검증(Cross validation)이 적용되는 상기 랜덤 포레스트 진단그룹 분류모델의 분류 과정에서 상기 적어도 하나 이상의 디지털 표현형 특징의 기여도를 나타내는 SHAP밸류(SHapley Additive exPlanations value)를 산출하는 것을 특징으로 한다.The contribution calculation unit uses the at least one digital phenotypic feature to generate a random forest diagnostic group classification model that classifies whether the subjects belong to the normal group or the social anxiety disorder patient group, and cross validation (Cross validation) ) is characterized by calculating a SHAP value (SHapley Additive exPlanations value) indicating the contribution of the at least one digital phenotypic feature in the classification process of the random forest diagnostic group classification model to which ) is applied.
상기 특징 선택부는, 상기 SHAP밸류가 기 설정된 임계값 이상인 디지털 표현형 특징을 선택하고, 선택된 상기 디지털 표현형 특징에 차원축소기법을 적용하여 차원축소기법의 적용 결과, 가장 저차원의 특징을 갖는 디지털 표현형 특징을 다시 한번 더 선택하는 것을 특징으로 한다.The feature selection unit selects a digital phenotypic feature whose SHAP value is greater than or equal to a preset threshold, and applies a dimensionality reduction technique to the selected digital phenotypic feature. As a result of applying the dimensionality reduction technique, the digital phenotypic feature has the lowest dimensional feature. It is characterized by selecting once again.
본 발명의 디지털 표현형 특징을 이용한 사회 불안장애 분석방법 및 장치에 따르면, 진단그룹 분류모델에서 분류 기여도를 나타내는 SHAP밸류를 이용하여 최적의 디지털 표현형 특징을 선택하여 3가지군집을 형성한 후 각 군집에 포함된 피험자들의 디지털 표현형 특징의 차이를 줄여나가면서 행동 패턴을 확인할 수 있다. 이러한 행동 패턴 변화를 통해 사회 불안장애 증상 변화를 예측할 수 있고 적절한 시기에 정확한 진단을 내려서 치료받도록 할 수 있다.According to the social anxiety disorder analysis method and device using digital phenotypic characteristics of the present invention, the optimal digital phenotypic characteristics are selected using the SHAP value representing the classification contribution in the diagnostic group classification model to form three clusters, and then each cluster is divided into three clusters. Behavioral patterns can be confirmed by reducing the differences in the digital phenotypic characteristics of the included subjects. Through these behavioral pattern changes, changes in social anxiety disorder symptoms can be predicted and an accurate diagnosis can be made and treated at the appropriate time.
도 1은 본 발명의 일실시예에 따른 사회 불안장애 분석장치의 동작을 설명하기 위한 블록도,
도 2는 본 발명의 일실시예에 따른 사회 불안장애 분석방법에 이용되는 SHAP밸류를 예시한 도면,
도 3은 본 발명의 일실시예에 따른 사회 불안장애 분석방법에 이용되는 SHAP밸류에 대한 임계값 설정을 예시한 도면,
도 4a 및 도 4b는 본 발명의 일실시예에 따른 사회 불안장애 분석방법을 이용한 피험자 군집 형성 결과를 비교하기 위한 도면, 그리고
도 5는 본 발명의 일실시예에 따른 디지털 표현형 특징을 이용한 사회 불안장애 분석방법을 설명하기 위한 흐름도이다.1 is a block diagram for explaining the operation of a social anxiety disorder analysis device according to an embodiment of the present invention;
Figure 2 is a diagram illustrating SHAP values used in the social anxiety disorder analysis method according to an embodiment of the present invention;
Figure 3 is a diagram illustrating the threshold value setting for the SHAP value used in the social anxiety disorder analysis method according to an embodiment of the present invention;
4A and 4B are diagrams for comparing the results of subject cluster formation using the social anxiety disorder analysis method according to an embodiment of the present invention;
Figure 5 is a flowchart illustrating a method for analyzing social anxiety disorder using digital phenotypic characteristics according to an embodiment of the present invention.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The features and effects of the present invention described above will become more apparent through the following detailed description in conjunction with the accompanying drawings, and accordingly, those skilled in the art will be able to easily implement the technical idea of the present invention. You will be able to. Since the present invention can be subject to various changes and have various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific disclosed form, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.
명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 '전기적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is said to be 'connected' to another part, this includes not only cases where it is 'directly connected', but also cases where it is 'electrically connected' with another element in between. . In addition, when a part is said to 'include' a certain component, this does not mean excluding other components unless specifically stated to the contrary, but may further include other components, and one or more other features. It should be understood that it does not exclude in advance the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.
본 명세서에 있어서 '~부'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In this specification, '~ part' includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Additionally, one unit may be realized using two or more pieces of hardware, and two or more units may be realized using one piece of hardware.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by a terminal, apparatus, or device may instead be performed on a server connected to the terminal, apparatus, or device. Likewise, some of the operations or functions described as being performed by the server may also be performed in a terminal, apparatus, or device connected to the server.
'적어도 하나 이상의' 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, '적어도 하나 이상의' 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.The term 'at least one or more' is defined as a term that includes singular and plural, and even if the term 'at least one or more' does not exist, each component may exist in singular or plural, and may mean singular or plural. This can be said to be self-evident. In addition, whether each component is provided in singular or plural form may be changed depending on the embodiment.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예에 의한 디지털 표현형 특징을 이용한 사회 불안장애 분석방법 및 장치를 상세하게 설명한다.Hereinafter, a method and apparatus for analyzing social anxiety disorder using digital phenotypic characteristics according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 사회 불안장애 분석장치의 동작을 설명하기 위한 블록도, 도 2는 본 발명의 일실시예에 따른 사회 불안장애 분석방법에 이용되는 SHAP밸류를 예시한 도면, 도 3은 본 발명의 일실시예에 따른 사회 불안장애 분석방법에 이용되는 SHAP밸류에 대한 임계값 설정을 예시한 도면이다.Figure 1 is a block diagram for explaining the operation of a social anxiety disorder analysis device according to an embodiment of the present invention, and Figure 2 is a diagram illustrating SHAP values used in the social anxiety disorder analysis method according to an embodiment of the present invention. , Figure 3 is a diagram illustrating the threshold setting for the SHAP value used in the social anxiety disorder analysis method according to an embodiment of the present invention.
도 1에 따르면, 본 발명의 사회 불안장애 분석장치(100)는 단말장치(10) 및 웨어러블(Wearable) 장치(20)와 같은 디지털 장치와 네트워크를 통해 통신하여 데이터를 송수신한다. 네트워크는 단말장치(10) 및 웨어러블 장치(20)와 사회 불안장애 분석장치(100) 사이에서 페어링 또는 데이터 송수신을 위해 다양한 통신 규격 내지 프로토콜을 지원하는 통신 네트워크를 통칭한다. 이러한 네트워크는 규격에 의해 현재 또는 향후 지원될 통신 네트워크를 모두 포함하며, 그를 위한 하나 또는 그 이상의 통신 프로토콜들을 모두 지원 가능하다.According to Figure 1, the social anxiety disorder analysis device 100 of the present invention transmits and receives data by communicating with digital devices such as a terminal device 10 and a wearable device 20 through a network. The network collectively refers to a communication network that supports various communication standards or protocols for pairing or data transmission and reception between the terminal device 10 and the wearable device 20 and the social anxiety disorder analysis device 100. This network includes all communication networks that are currently or will be supported by the standard, and can support one or more communication protocols.
단말장치(10)는 스마트폰(SmartPhone), 태블릿 PC(Tablet PC), 랩탑(Laptop) 및 데스크탑(Desktop) PC 등과 같이 사용자 명령에 따라 각종 소프트웨어가 실행되고 인터넷에 접속하여 SNS(Social Network Service), 쇼핑, 음악이나 영화 감상, 게임, 인터넷 뱅킹 등 다양한 활동을 할 수 있는 디지털 장치이다. 웨어러블 장치(20)는 악세서리 형태의 스마트 밴드(Smart Band), 의류에 일체화된 직물 센서 혹은 신체에 부착하는 스킨 패치형 센서와 같이 인체에 접촉하여 체온이나 심박수 등의 생체 신호를 감지하는 디지털 장치이다.The terminal device 10 runs various software according to user commands, such as a smart phone, tablet PC, laptop, and desktop PC, and connects to the Internet to use SNS (Social Network Service). It is a digital device that can be used for various activities such as shopping, listening to music or movies, playing games, and internet banking. The wearable device 20 is a digital device that detects biological signals such as body temperature or heart rate by contacting the human body, such as a smart band in the form of an accessory, a fabric sensor integrated into clothing, or a skin patch-type sensor attached to the body.
사회 불안장애 분석장치(100)는 단말장치(10) 및 웨어러블 장치(20)로부터 피험자 데이터를 수신하며, 데이터 수집부(110), 특징 추출부(130), 기여도 산출부(140), 특징 선택부(150) 및 군집 형성부(160)를 포함한다. 여기서, 피험자 데이터는 단말장치(10) 또는 웨어러블 장치(20)의 사용에 따라 획득되는 사용자의 로그 데이터 및 사용자의 생체 데이터를 포함한다.The social anxiety disorder analysis device 100 receives subject data from the terminal device 10 and the wearable device 20, and includes a data collection unit 110, a feature extraction unit 130, a contribution calculation unit 140, and feature selection. It includes a unit 150 and a cluster forming unit 160. Here, the subject data includes the user's log data and the user's biometric data acquired according to the use of the terminal device 10 or the wearable device 20.
데이터 수집부(110)는 단말장치(10) 및 웨어러블 장치(20)로부터 아래 [표 1]에 예시한 바와 같은 피험자 데이터를 수집한다. 여기서 단말장치(10)와 웨어러블 장치(20)는 한사람의 피험자에 대한 동일 계정 정보에 기초하여 상호 연동된다. 본 발명에서는 스마트폰과 같은 단말장치(10)를 통해 GPS(Global Positioning System), 자이로스코프(Gyroscope), 밝기 로그(Lux log), 통화 로그(Call log), 폰로그(Phone log), 어플리케이션 로그(Application log), 노이즈 로그(Noise log) 및 가속도계(Accelerometer)에 관련된 피험자 데이터가 수집되고, 스마트폰과 연동된 스마트 밴드와 같은 웨어러블 장치(20)를 통해 심박수(Heartrate) 및 육축센서(SixAxis)에 관련된 피험자 데이터가 수집되는 것을 예로 들어 설명하기로 한다.The data collection unit 110 collects subject data as shown in Table 1 below from the terminal device 10 and the wearable device 20. Here, the terminal device 10 and the wearable device 20 are interconnected based on the same account information for one subject. In the present invention, GPS (Global Positioning System), gyroscope, brightness log, call log, phone log, and application log are recorded through a terminal device 10 such as a smartphone. Subject data related to (Application log), Noise log, and Accelerometer are collected, and heart rate and SixAxis sensors are collected through a wearable device (20) such as a smart band linked to a smartphone. This will be explained using an example in which subject data related to is collected.
GPS의 경우 위도(latitude) 및 경도(longitude) 데이터가 60초 간격으로 10초 동안 수집되고, 자이로스코프의 경우 롤(roll), 피치(pitch) 및 요우(yaw) 데이터가 40초 간격으로 30초 동안 수집된다. 밝기 로그의 경우 밝기 값(value) 데이터가 40초 간격으로 30초 동안 수집되고, 노이즈 로그의 경우 소리의 크기(dB) 데이터나 소리 주파수의 단위를 멜 단위(Mel unit)으로 바꾼 멜-스펙트로그램(Mel-Spectrogram) 데이터가 120초 간격으로 30초 동안 수집된다. 심박수의 경우 심박수 값(value) 데이터가 120초 간격으로 30초 동안 수집되고, 어플리케이션 로그의 경우 어플리케이션의 종류(type) 및 어플리케이션이 실행되고 있는지 나타내는 상태(status) 데이터가 240초 간격으로 기록 및 수집된다. 그리고 폰 로그의 경우 폰 화면이 온상태인지 오프상태인지 나타내는 상태(status) 데이터가 240초 간격으로 기록 및 수집되고, 통화 로그의 경우 수신통화인지 또는 송신통화인지 나타내는 통화 형태(type), 전화번호(PhoneNo) 및 통화 지속시간(duration) 데이터가 240초 간격으로 기록 및 수집된다. 가속도계의 경우 x, y, z 세축 방향에서의 가속도 데이터가 40초 간격으로 30초 동안 수집되고, 육축센서의 경우 x, y, z 세축 방향에서의 가속도 데이터 및 롤(roll), 피치(pitch) 및 요우(yaw) 데이터가 120초 간격으로 30초 동안 수집된다.For GPS, latitude and longitude data are collected at 60-second intervals for 10 seconds, and for gyroscopes, roll, pitch, and yaw data are collected at 40-second intervals for 30 seconds. collected during In the case of brightness log, brightness value data is collected at 40-second intervals for 30 seconds, and in case of noise log, sound level (dB) data or sound frequency unit is changed to Mel unit (Mel unit). (Mel-Spectrogram) data is collected for 30 seconds at 120-second intervals. For heart rate, heart rate value data is collected at 120-second intervals for 30 seconds, and for application logs, status data indicating the type of application and whether the application is running is recorded and collected at 240-second intervals. do. In the case of phone logs, status data indicating whether the phone screen is on or off is recorded and collected every 240 seconds, and in the case of call logs, call type and phone number indicating whether it is an incoming or outgoing call. (PhoneNo) and call duration (duration) data are recorded and collected at 240 second intervals. For the accelerometer, acceleration data in the x, y, and z axes are collected for 30 seconds at 40-second intervals, and for the six-axis sensor, acceleration data and roll and pitch are collected in the x, y, and z axes. and yaw data are collected for 30 seconds at 120 second intervals.
특징 추출부(130)는 수집된 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 나타내는 디지털 표현형 특징을 추출한다. 즉, 아래 [표 2]에 예시한 바와 같이, 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 분석하는데 필요한 8개의 카테고리(Category)로 분류된 총 86개의 디지털 표현형 특징을 추출한다.The feature extraction unit 130 extracts digital phenotypic features representing the behavioral patterns of social anxiety disorder patients from the collected subject data. That is, as illustrated in [Table 2] below, a total of 86 digital phenotypic characteristics classified into 8 categories necessary for analyzing the behavioral patterns of patients with social anxiety disorder are extracted from subject data.
[표 2]를 참고하여 설명하면, GPS에 관련된 피험자 데이터인 위도 및 경도로부터 집에서 어느정도 거리까지 이동했는지, 하루동안 몇군데 장소에 방문해서 얼마나 머물렀는지 등과 같이 위치(Location) 카테고리로 분류되는 8개의 디지털 표현형 특징이 추출된다. 자이로스코프 및 밝기 로그에 관련된 피험자 데이터로부터 수면중인지 아닌지와 같이 수면(Sleep) 카테고리로 분류되는 2개의 디지털 표현형 특징이 추출된다. 자이로스코프, 가속도계 및 육축센서는 모두 위치 관련 피험자 데이터를 수집하므로 세가지 중에 어느 하나와 관련된 피험자 데이터를 이용하여 제1디지털 표현형 특징이 추출되며, 본 발명에서는 자이로스코프에 관련된 피험자 데이터를 예로 들어 설명한다.To explain with reference to [Table 2], from the subject data related to GPS, latitude and longitude, it is classified into Location categories, such as how far away from home it was, how many places it visited during the day and how long it stayed there, etc. Eight digital phenotypic features are extracted. Two digital phenotypic features classified into the Sleep category, such as whether the subject is sleeping or not, are extracted from subject data related to the gyroscope and brightness log. Since the gyroscope, accelerometer, and six-axis sensor all collect location-related subject data, the first digital phenotypic feature is extracted using subject data related to any one of the three. In the present invention, subject data related to the gyroscope is used as an example. .
밝기 로그에 관련된 피험자 데이터인 월 평균 일출 및 일몰 시간을 기준으로 낮과 밤의 평균 주변 밝기로부터 주변 밝기(Ambient light) 카테고리로도 분류되는 3개의 디지털 표현형 특징이 추출된다. 노이즈 로그에 관련된 피험자 데이터로부터 주변 소음(Ambient noise) 카테고리로 분류되는 2개의 디지털 표현형 특징이 추출되고, 심박수에 관련된 피험자 데이터로부터 심박수(Heartrate) 카테고리로 분류되는 1개의 디지털 표현형 특징이 추출된다.Three digital phenotypic features, which are also classified into ambient light categories, are extracted from the average ambient brightness of the day and night based on the monthly average sunrise and sunset times, which are subject data related to the brightness log. Two digital phenotypic features classified into the ambient noise category are extracted from subject data related to the noise log, and one digital phenotypic feature classified into the heart rate category is extracted from subject data related to heart rate.
[표 2]에 예시한 바와 같이, 어플리케이션 로그 및 폰 로그에 관련된 피험자 데이터로부터 폰 사용(Phone usage) 카테고리로 분류되는 42개의 디지털 표현형 특징이 추출된다. 즉, 폰 로그에 관련된 피험자 데이터로부터 단말장치(10)의 총 사용시간, 1회 평균 사용시간, 그리고 사용횟수를 획득하고, 어플리케이션 로그에 관련된 피험자 데이터로부터 14가지 어플리케이션의 종류 및 사용 여부를 획득하여 42개의 제1디지털 표현형 특징이 추출된다. 예를 들면, 스마트폰 화면이 켜진 상태에서 어플리케이션이 실행되고 있는지, 화면이 꺼진 상태에서 어플리케이션이 실행되고 있는지, 그리고 이때 실행되는 어플리케이션이 카메라, 음악, 여행, 쇼핑, 공부, 게임 및 금융 등 어떤 종류의 어플리케이션인지, 얼마동안 실행되었는지, 몇회 실행되었는지 등에 따라 디지털 표현형 특징이 추출된다. 통화 로그에 관련된 피험자 데이터로부터 가족 또는 친구와의 통화인지 또는 업무적인 통화인지 등과 같이 사회활동(Social activity) 카테고리로 분류되는 28개의 디지털 표현형 특징이 추출된다.As illustrated in [Table 2], 42 digital phenotypic features classified into phone usage categories are extracted from subject data related to application logs and phone logs. That is, the total usage time, average one-time usage time, and number of uses of the terminal device 10 are obtained from subject data related to the phone log, and the types and use of 14 applications are obtained from subject data related to the application log. 42 first digital phenotypic features are extracted. For example, whether the application is running while the smartphone screen is on, whether the application is running with the screen off, and what types of applications are running at this time, such as camera, music, travel, shopping, study, games, and finance. Digital phenotypic features are extracted depending on whether the application is running, how long it has been running, and how many times it has been run. Twenty-eight digital phenotypic characteristics classified into social activity categories, such as whether the call was with family or friends or for work purposes, are extracted from subject data related to call logs.
기여도 산출부(140)는 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 진단그룹 분류모델 생성에 이용되는 86개의 디지털 표현형 특징의 분류 기여도를 산출한다. 여기서 진단그룹 분류모델은 랜덤 포레스트(Random forest) 방법으로 생성되며, 100-폴드 교차검증(100-fold Cross validation)이 적용된다. 랜덤 포레스트 진단그룹 분류 모델은 86개의 디지털 표현형 특징을 입력 데이터로 입력받아서 각각의 피험자가 사회 불안장애 환자군인지 정상군인지 나타내는 결과를 출력 데이터로 출력하는 모델이다. 다수의 의사 결정 트리에서 분류 결과를 산출 한 후, 각 트리에서 나온 분류 결과들로부터 다수결의 원칙으로 최종 결과를 결정한다. 분류 과정에서 진단그룹 분류모델에 사용된 86개의 디지털 표현형 특징의 분류 기여도를 나타내는 폴드별 평균 변화량인 SHAP밸류(SHapley Additive exPlanations value)를 아래 [수학식 1]을 통해 산출한다.The contribution calculation unit 140 calculates the classification contribution of 86 digital phenotypic features used to create a diagnostic group classification model that classifies whether the subjects belong to the normal group or the social anxiety disorder patient group. Here, the diagnostic group classification model is created using the random forest method, and 100-fold cross validation is applied. The Random Forest diagnostic group classification model is a model that receives 86 digital phenotypic characteristics as input data and outputs results indicating whether each subject is a social anxiety disorder patient group or a normal group as output data. After calculating classification results from multiple decision trees, the final result is determined based on the majority vote principle from the classification results from each tree. During the classification process, SHAP value (SHapley Additive exPlanations value), which is the average change for each fold that represents the classification contribution of 86 digital phenotypic features used in the diagnostic group classification model, is calculated using Equation 1 below.
[수학식 1]에서, 는 모든 디지털 표현형 특징의 집합, 는 의 부분 집합, 는 진단 분류 결과 평균 변화량(SHAP밸류), 는 진단결과 분류모델, 는 입력변수(디지털 표현형 특징), 는 의 단순화 형태, 그리고 는 를 로 만드는 함수[]이다.In [Equation 1], is the set of all digital phenotypic features, Is A subset of, is the average change in diagnostic classification results (SHAP value), is a diagnosis result classification model, is an input variable (digital phenotypic feature), Is A simplified form of, and Is cast A function made with [ ]am.
[수학식 1]을 통해 86개의 디지털 표현형 특징 각각이 진단그룹 분류모델의 입력 데이터로 사용될 때와 사용되지 않을 때의 진단그룹 분류 결과 변화량을 확인하여 분류 기여도를 나타내는 SHAP밸류를 산출한다. 도 2에 예시한 바와 같이, 진단그룹 분류모델의 입력 데이터로 86개의 디지털 표현형 특징이 입력되고, 각각의 디지털 표현형 특징이 출력(Output)에 어느 정도의 영향을 주는지 산출된 SHAP밸류를 통해 정량적으로 알 수 있다.Through [Equation 1], the amount of change in the diagnostic group classification results when each of the 86 digital phenotypic features is used as input data for the diagnostic group classification model and when it is not used is checked to calculate the SHAP value that represents the classification contribution. As shown in Figure 2, 86 digital phenotypic features are input as input data for the diagnostic group classification model, and the extent to which each digital phenotypic feature affects the output is quantitatively determined through the calculated SHAP value. Able to know.
특징 선택부(150)는 기여도 산출부(140)에서 산출된 분류 기여도에 따라 86개의 디지털 표현형 특징 중에서 군집 형성에 사용될 디지털 표현형 특징을 선택한다. 즉, SHAP밸류가 기 설정된 임계값 이상인 디지털 표현형 특징을 선택한 후 선택된 디지털 표현형 특징에 차원축소기법을 적용하여 차원축소기법의 적용 결과, 가장 저차원의 특징을 갖는 디지털 표현형 특징을 다시 한번 더 선택한다. 도 3에서 세로축에는 86개의 디지털 표현형이 예시되어 있고, 가로축은 SHAP밸류를 나타내었다. 86개의 디지털 표현형 특징 중에 SHAP밸류가 임계값 이상인 디지털 표현형 특징이 선택되고 난 후 선택 결과에 차원축소기법이 적용되어 차원축소기법의 적용 결과, 가장 저차원의 특징을 갖는 디지털 표현형 특징이 선택된다.The feature selection unit 150 selects digital phenotypic features to be used for cluster formation among 86 digital phenotypic features according to the classification contribution calculated by the contribution calculation unit 140. In other words, after selecting the digital phenotypic feature whose SHAP value is more than a preset threshold, the dimensionality reduction technique is applied to the selected digital phenotypic feature, and as a result of applying the dimensionality reduction technique, the digital phenotypic feature with the lowest dimensional feature is selected again. . In Figure 3, 86 digital phenotypes are shown on the vertical axis, and SHAP values are shown on the horizontal axis. Among the 86 digital phenotypic features, the digital phenotypic features whose SHAP value is above the threshold are selected, and then the dimensionality reduction technique is applied to the selection results. As a result of the application of the dimensionality reduction technique, the digital phenotypic features with the lowest dimensional features are selected.
군집 형성부(160)는 특징 선택부(150)에서 출력되는 디지털 표현형 특징을 입력받아서 피험자 군집을 형성한다. 즉, 특징 선택부(150)에서 분류 기여도에 따라 최적의 디지털 표현형 특징이 선택되면, 군집 형성부(160)는 선택된 디지털 표현형 특징을 계층적 밀도기반 군집(Hierarchical Density Based Spatial Clustering of Applications with Noise;HDBSCAN) 형성 모델에 적용하여 [표 3]에 예시한 바와 같은 피험자 군집을 형성한다. [표 3]에서는 38명으로 구성된 모집단에 SHAP밸류를 이용하여 군집화한 경우와 SHAP밸류를 이용하지 않고 군집화한 경우를 예시하였다.The cluster forming unit 160 receives digital phenotypic characteristics output from the feature selection unit 150 and forms a subject cluster. That is, when the optimal digital phenotypic feature is selected in the feature selection unit 150 according to classification contribution, the cluster forming unit 160 combines the selected digital phenotypic feature into hierarchical density-based clustering of Applications with Noise; HDBSCAN) formation model is applied to form a subject cluster as shown in [Table 3]. [Table 3] shows examples of clustering a population of 38 people using SHAP values and clustering without using SHAP values.
[표 3]을 참고하면, SHAP밸류를 이용하지 않은 경우에는 각 서브그룹 내에서 사회 불안 장애 환자군(SAB)이 우세한 군집과 정상군(HC)이 우세한 군집의 비율이 크게 차이가 나지 않는다. 반면에, SHAP밸류를 이용하는 경우, 혼합된 군집인 제1서브그룹(Subgroup 1), 정상군(HC)이 우세한 군집인 제2서브그룹(Subgroup 2) 및 사회 불안 장애 환자군(SAB)이 우세한 군집인 제3서브그룹(Subgroup 3)으로 명확하게 분류된다.Referring to [Table 3], when SHAP value is not used, there is no significant difference in the ratio of the cluster dominated by the social anxiety disorder group (SAB) and the cluster dominated by the normal group (HC) within each subgroup. On the other hand, when using the SHAP value, Subgroup 1 is a mixed cluster, Subgroup 2 is a cluster dominated by the normal group (HC), and a cluster dominated by social anxiety disorder patients (SAB). It is clearly classified into Subgroup 3.
따라서 혼합된 군집인 제1서브그룹, 정상군이 우세한 군집인 제2서브그룹 및 사회 불안장애 환자군이 우세한 군집인 제3서브그룹 간의 디지털 표현형 특징 차이를 비교하여 행동 패턴 교정의 방향을 제시할 수 있게 된다. 즉, 다양한 증상을 보이는 사회 불안장애를 분석하기 위해 3가지 군집을 형성한 후 각 군집에 포함된 피험자들의 디지털 표현형 특징의 차이를 줄여나가면서 행동 패턴을 확인한다. 그리고 사회 불안장애 환자군의 행동 패턴을 정상군의 행동 패턴을 교정할 수 있도록 한다.Therefore, by comparing the differences in digital phenotypic characteristics between the first subgroup, which is a mixed cluster, the second subgroup, which is a cluster dominated by normal groups, and the third subgroup, which is a cluster dominated by social anxiety disorder patients, it is possible to suggest a direction for behavior pattern correction. There will be. In other words, to analyze social anxiety disorder showing various symptoms, three clusters are formed and behavioral patterns are identified by reducing the differences in digital phenotypic characteristics of subjects included in each cluster. In addition, the behavioral patterns of the social anxiety disorder patient group can be corrected to those of the normal group.
도 4a 및 도 4b는 본 발명의 일실시예에 따른 사회 불안장애 분석방법을 이용한 피험자 군집 형성 결과를 비교하기 위한 도면이다.Figures 4a and 4b are diagrams for comparing the results of subject cluster formation using the social anxiety disorder analysis method according to an embodiment of the present invention.
도 4a는 SHAP밸류를 이용한 군집 분석 결과를 시각화한 도면이고, 도 4b는 SHAP밸류를 이용하지 않은 군집 분석 결과를 시각화한 도면이다. SHAP밸류를 이용하게 되면 SHAP밸류를 이용하지 않은 경우보다 군집 형성이 더욱 명확한 것을 도 4a 및 도 4b를 비교하여 확인할 수 있다.Figure 4a is a diagram visualizing the results of cluster analysis using SHAP values, and Figure 4b is a diagram visualizing the results of cluster analysis without using SHAP values. It can be confirmed by comparing Figures 4a and 4b that when SHAP values are used, cluster formation is clearer than when SHAP values are not used.
도 5는 본 발명의 일실시예에 따른 디지털 표현형 특징을 이용한 사회 불안장애 분석방법을 설명하기 위한 흐름도이다.Figure 5 is a flowchart illustrating a method for analyzing social anxiety disorder using digital phenotypic characteristics according to an embodiment of the present invention.
도 5에 따르면, 먼저, 데이터 수집부(110)가 피험자들이 사용하는 복수의 디지털 장치로부터 피험자 데이터를 수집한다(S200). 복수의 디지털 장치는 스마트폰(SmartPhone), 태블릿 PC(Tablet PC), 랩탑(Laptop) 및 데스크탑(Desktop) PC 등과 같은 단말장치를 포함한다. 또한, 복수의 디지털 장치는 악세서리 형태의 스마트 밴드(Smart Band), 의류에 일체화된 직물 센서, 혹은 신체에 부착하는 스킨 패치형 센서와 같은 웨어러블 장치를 포함한다. 단말장치와 웨어러블 장치는 한사람의 피험자에 대한 동일 계정 정보에 기초하여 상호 연동된다.According to FIG. 5, first, the data collection unit 110 collects subject data from a plurality of digital devices used by the subjects (S200). A plurality of digital devices include terminal devices such as smart phones, tablet PCs, laptops, and desktop PCs. Additionally, the plurality of digital devices include wearable devices such as a smart band in the form of an accessory, a fabric sensor integrated into clothing, or a skin patch-type sensor attached to the body. The terminal device and the wearable device are interconnected based on the same account information for one subject.
피험자 데이터에는 스마트폰과 같은 단말장치(10) 및 스마트 밴드와 같은 웨어러블 장치(20)의 사용에 따라 획득되는 사용자의 로그 데이터 및 사용자의 생체 데이터가 포함된다. 본 발명에서는 스마트폰을 통해 GPS(Global Positioning System), 자이로스코프(Gyroscope), 밝기 로그(Lux log), 통화 로그(Call log), 폰로그(Phone log), 어플리케이션 로그(Application log), 노이즈 로그(Noise log) 및 가속도계(Accelerometer)에 관련된 피험자 데이터가 수집되고, 스마트폰과 연동된 스마트 밴드를 통해 심박수(Heartrate) 및 육축센서(SixAxis)에 관련된 피험자 데이터가 수집된다.Subject data includes the user's log data and the user's biometric data obtained through use of a terminal device 10 such as a smartphone and a wearable device 20 such as a smart band. In the present invention, GPS (Global Positioning System), Gyroscope, Lux log, Call log, Phone log, Application log, and Noise log are recorded through a smartphone. Subject data related to noise log and accelerometer are collected, and subject data related to heart rate and six axis sensor are collected through a smart band linked to a smartphone.
특징 추출부(130)가 단계 S200에서 수집된 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 나타내는 디지털 표현형 특징을 추출한다(S220). 즉, [표 2]에 예시한 바와 같이, 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 분석하는데 필요한 8개의 카테고리(Category)로 분류된 86개의 디지털 표현형 특징을 추출한다.The feature extraction unit 130 extracts digital phenotypic features representing the behavioral patterns of the social anxiety disorder patient from the subject data collected in step S200 (S220). That is, as shown in [Table 2], 86 digital phenotypic features classified into 8 categories necessary for analyzing the behavioral patterns of patients with social anxiety disorder are extracted from subject data.
그리고 기여도 산출부(140)가 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 진단그룹 분류모델 생성에 이용되는 디지털 표현형 특징의 분류 기여도를 산출한다(S230). 즉, 86개의 디지털 표현형 특징을 이용하여 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 랜덤 포레스트(Random forest) 진단그룹 분류모델을 생성한 후 교차검증(Cross validation)이 적용되는 랜덤 포레스트 진단그룹 분류모델의 분류 과정에서 적어도 하나 이상의 디지털 표현형 특징의 기여도를 나타내는 SHAP밸류(SHapley Additive exPlanations value)를 산출한다.Then, the contribution calculation unit 140 calculates the classification contribution of the digital phenotypic characteristics used to create a diagnostic group classification model that classifies whether the subjects belong to the normal group or the social anxiety disorder patient group (S230). In other words, a random forest diagnostic group classification model is created using 86 digital phenotypic characteristics to classify whether subjects belong to the normal group or the social anxiety disorder patient group, and then cross-validation is applied. In the classification process of the Forest diagnostic group classification model, SHAP value (SHapley Additive exPlanations value), which represents the contribution of at least one digital phenotypic feature, is calculated.
특징 선택부(150)는 기여도 산출부(140)에서 산출된 분류 기여도에 따라 86개의 디지털 표현형 특징 중에서 군집 형성에 사용될 디지털 표현형 특징을 선택한다(S240). 즉, 도 3에 예시한 바와 같이 SHAP밸류가 기 설정된 임계값 이상인 디지털 표현형 특징을 선택한 후 선택된 디지털 표현형 특징에 차원축소기법을 적용하여 차원축소기법의 적용 결과, 가장 저차원의 특징을 갖는 디지털 표현형 특징을 다시 한번 더 선택한다.The feature selection unit 150 selects digital phenotypic features to be used for cluster formation among 86 digital phenotypic features according to the classification contribution calculated by the contribution calculation unit 140 (S240). That is, as illustrated in Figure 3, digital phenotype features whose SHAP value is more than a preset threshold are selected, and then a dimensionality reduction technique is applied to the selected digital phenotype features. As a result of applying the dimensionality reduction technique, a digital phenotype with the lowest dimensional features is obtained. Select the feature again.
마지막으로, 군집 형성부(160)가 선택된 디지털 표현형 특징을 적용하여 피험자 군집을 형성한다(S250). 이때, 군집 형성부(160)는 선택된 디지털 표현형 특징을 계층적 밀도기반 군집(Hierarchical Density Based Spatial Clustering of Applications with Noise;HDBSCAN) 형성 모델에 적용하여 피험자 군집을 형성한다.Finally, the cluster forming unit 160 applies the selected digital phenotypic characteristics to form a subject cluster (S250). At this time, the cluster forming unit 160 applies the selected digital phenotypic characteristics to a Hierarchical Density Based Spatial Clustering of Applications with Noise (HDBSCAN) formation model to form a subject cluster.
이상과 같은 과정에 의해 정상군과 사회 불안장애 환자군 사이의 디지털 표현형 특징 차이를 분명히 하여 명확한 군집화가 가능하다. 이로 인해 행동 패턴의 변화를 통해 사회 불안 장애 증상 변화를 예측할 수 있으며 적절한 시기에 정확한 진단을 내릴 수 있다.Through the above process, clear clustering is possible by clarifying the differences in digital phenotypic characteristics between the normal group and the social anxiety disorder patient group. As a result, changes in social anxiety disorder symptoms can be predicted through changes in behavior patterns, and an accurate diagnosis can be made at an appropriate time.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 또한, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The description of the present invention described above is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. will be. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. In addition, the scope of the present invention is indicated by the claims described later rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts are included in the scope of the present invention. must be interpreted.
10 : 단말장치 20 : 웨어러블 장치
100 : 사회 불안장애 분석장치 110 : 데이터 수집부
130 : 특징 추출부 140 : 기여도 산출부
150 : 특징 선택부 160 : 군집 형성부10: terminal device 20: wearable device
100: Social anxiety disorder analysis device 110: Data collection unit
130: feature extraction unit 140: contribution calculation unit
150: feature selection unit 160: cluster formation unit
Claims (10)
(a) 데이터 수집부가 피험자들이 사용하는 복수의 디지털 장치로부터 피험자 데이터를 수집하는 단계;
(b) 특징 추출부가 상기 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 나타내는 적어도 하나 이상의 디지털 표현형 특징을 추출하는 단계;
(c) 기여도 산출부가 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 진단그룹 분류모델 생성에 이용되는 상기 적어도 하나 이상의 디지털 표현형 특징의 분류 기여도를 산출하는 단계;
(d) 특징 선택부가 상기 적어도 하나 이상의 디지털 표현형 특징 중에서 상기 분류 기여도에 따라 군집 형성에 사용될 디지털 표현형 특징을 선택하는 단계; 및
(e) 군집 형성부가 선택된 상기 디지털 표현형 특징을 적용하여 피험자 군집을 형성하는 단계;를 포함하고,
상기 (c)단계에서, 상기 기여도 산출부는,
상기 적어도 하나 이상의 디지털 표현형 특징을 이용하여 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 랜덤 포레스트(Random forest) 진단그룹 분류모델을 생성하며,
교차검증(Cross validation)이 적용되는 상기 랜덤 포레스트 진단그룹 분류모델의 분류 과정에서 상기 적어도 하나 이상의 디지털 표현형 특징의 기여도를 나타내는 SHAP밸류(SHapley Additive exPlanations value)를 산출하고,
상기 (d)단계에서, 상기 특징 선택부는,
상기 SHAP밸류가 기 설정된 임계값 이상인 디지털 표현형 특징을 선택하고,
선택된 상기 디지털 표현형 특징에 차원축소기법을 적용하여 차원축소기법의 적용 결과, 가장 저차원의 특징을 갖는 디지털 표현형 특징을 다시 한번 더 선택하는 것을 특징으로 하는 디지털 표현형 특징을 이용한 사회 불안장애 분석방법.As a social anxiety disorder analysis method performed by a social anxiety disorder analysis device,
(a) a data collection unit collecting subject data from a plurality of digital devices used by the subjects;
(b) a feature extraction unit extracting at least one digital phenotypic feature representing a behavioral pattern of a patient with social anxiety disorder from the subject data;
(c) a contribution calculation unit calculating a classification contribution of the at least one digital phenotypic feature used to create a diagnostic group classification model that classifies whether the subjects belong to the normal group or the social anxiety disorder patient group;
(d) a feature selection unit selecting a digital phenotypic feature to be used for cluster formation according to the classification contribution among the at least one digital phenotypic feature; and
(e) a cluster forming unit forming a subject cluster by applying the selected digital phenotypic features;
In step (c), the contribution calculation unit,
Using the at least one digital phenotypic feature, a random forest diagnostic group classification model is created to classify whether the subjects belong to the normal group or the social anxiety disorder patient group,
Calculating a SHAP value (SHapley Additive exPlanations value) indicating the contribution of the at least one digital phenotypic feature in the classification process of the random forest diagnostic group classification model to which cross validation is applied,
In step (d), the feature selection unit,
Select a digital phenotypic feature whose SHAP value is greater than or equal to a preset threshold,
A method of analyzing social anxiety disorder using digital phenotypic features, characterized in that a dimensionality reduction technique is applied to the selected digital phenotypic features and, as a result of the application of the dimensionality reduction technique, the digital phenotypic features with the lowest dimensional features are selected again.
상기 피험자 데이터는,
상기 복수의 디지털 장치를 통해 획득되는 사용자의 로그 데이터 및 사용자의 생체 데이터 중 적어도 하나 이상의 데이터를 포함하는 것을 특징으로 하는 디지털 표현형 특징을 이용한 사회 불안장애 분석방법.According to paragraph 1,
The subject data is,
A method for analyzing social anxiety disorder using digital phenotypic characteristics, comprising at least one of user log data and user biometric data acquired through the plurality of digital devices.
상기 (e)단계에서,
상기 군집 형성부는 선택된 상기 디지털 표현형 특징을 계층적 밀도기반 군집(Hierarchical Density Based Spatial Clustering of Applications with Noise;HDBSCAN) 형성 모델에 적용하여 상기 피험자 군집을 형성하는 것을 특징으로 하는 디지털 표현형 특징을 이용한 사회 불안장애 분석방법.According to paragraph 1,
In step (e) above,
Social anxiety using digital phenotypic features, wherein the cluster forming unit forms the subject cluster by applying the selected digital phenotypic features to a Hierarchical Density Based Spatial Clustering of Applications with Noise (HDBSCAN) formation model. Failure analysis method.
상기 (a)단계에서,
상기 데이터 수집부는 GPS(Global Positioning System), 자이로스코프(Gyroscope), 밝기 로그(Lux log), 통화 로그(Call log), 폰로그(Phone log), 어플리케이션 로그(Application log), 노이즈 로그(Noise log), 가속도계(Accelerometer), 심박수(Heartrate) 및 육축센서(SixAxis) 중 적어도 하나 이상에 관련된 피험자 데이터를 수집하는 것을 특징으로 하는 디지털 표현형 특징을 이용한 사회 불안장애 분석방법.According to paragraph 1,
In step (a) above,
The data collection unit includes GPS (Global Positioning System), Gyroscope, Lux log, Call log, Phone log, Application log, and Noise log. ), Social anxiety disorder analysis method using digital phenotypic characteristics, characterized by collecting subject data related to at least one of the accelerometer, heart rate, and six axis sensor.
상기 피험자 데이터로부터 사회 불안장애 환자의 행동 패턴을 나타내는 적어도 하나 이상의 디지털 표현형 특징을 추출하는 특징 추출부;
피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 진단그룹 분류모델 생성에 이용되는 상기 적어도 하나 이상의 디지털 표현형 특징의 분류 기여도를 산출하는 기여도 산출부;
상기 적어도 하나 이상의 디지털 표현형 특징 중에서 상기 분류 기여도에 따라 군집 형성에 사용될 디지털 표현형 특징을 선택하는 특징 선택부; 및
선택된 상기 디지털 표현형 특징을 적용하여 피험자 군집을 형성하는 군집 형성부;를 포함하고,
상기 적어도 하나 이상의 디지털 표현형 특징을 이용하여 피험자들이 정상군에 속하는지 사회 불안장애 환자군에 속하는지 분류하는 랜덤 포레스트(Random forest) 진단그룹 분류모델을 생성하며, 교차검증(Cross validation)이 적용되는 상기 랜덤 포레스트 진단그룹 분류모델의 분류 과정에서 상기 적어도 하나 이상의 디지털 표현형 특징의 기여도를 나타내는 SHAP밸류(SHapley Additive exPlanations value)를 산출하고,
상기 특징 선택부는,
상기 SHAP밸류가 기 설정된 임계값 이상인 디지털 표현형 특징을 선택하고, 선택된 상기 디지털 표현형 특징에 차원축소기법을 적용하여 차원축소기법의 적용 결과, 가장 저차원의 특징을 갖는 디지털 표현형 특징을 다시 한번 더 선택하는 것을 특징으로 하는 디지털 표현형 특징을 이용한 사회 불안장애 분석장치.a data collection unit that collects subject data from a plurality of digital devices used by the subjects;
a feature extraction unit that extracts at least one digital phenotypic feature representing a behavioral pattern of a patient with social anxiety disorder from the subject data;
a contribution calculation unit that calculates a classification contribution of the at least one digital phenotypic feature used to create a diagnostic group classification model for classifying whether the subjects belong to the normal group or the social anxiety disorder patient group;
a feature selection unit that selects a digital phenotypic feature to be used for cluster formation according to the classification contribution among the at least one digital phenotypic feature; and
It includes a cluster forming unit that forms a subject cluster by applying the selected digital phenotypic characteristics,
Using the at least one digital phenotypic feature, a random forest diagnostic group classification model is created to classify whether the subjects belong to the normal group or the social anxiety disorder patient group, and cross validation is applied. Calculating a SHAP value (SHapley Additive exPlanations value) indicating the contribution of the at least one digital phenotypic feature in the classification process of the random forest diagnostic group classification model,
The feature selection section,
Select a digital phenotypic feature whose SHAP value is more than a preset threshold, apply a dimensionality reduction technique to the selected digital phenotypic feature, and select once again the digital phenotypic feature with the lowest dimensional feature as a result of applying the dimensionality reduction technique. A social anxiety disorder analysis device using digital phenotypic characteristics.
상기 피험자 데이터는,
상기 복수의 디지털 장치를 통해 획득되는 사용자의 로그 데이터 및 사용자의 생체 데이터 중 적어도 하나 이상의 데이터를 포함하는 것을 특징으로 하는 디지털 표현형 특징을 이용한 사회 불안장애 분석장치.In clause 7,
The subject data is,
A social anxiety disorder analysis device using digital phenotypic characteristics, comprising at least one of user log data and user biometric data acquired through the plurality of digital devices.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230003498A KR102594242B1 (en) | 2023-01-10 | 2023-01-10 | Method and apparatus for analyzing social anxiety disorder using digital phenotype feature |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230003498A KR102594242B1 (en) | 2023-01-10 | 2023-01-10 | Method and apparatus for analyzing social anxiety disorder using digital phenotype feature |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102594242B1 true KR102594242B1 (en) | 2023-10-27 |
Family
ID=88514053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230003498A KR102594242B1 (en) | 2023-01-10 | 2023-01-10 | Method and apparatus for analyzing social anxiety disorder using digital phenotype feature |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102594242B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060037252A (en) | 2003-06-10 | 2006-05-03 | 교와 핫꼬 고교 가부시끼가이샤 | A method of treating an anxiety disorder |
| KR102061725B1 (en) * | 2018-01-05 | 2020-01-02 | 주식회사 옴니씨앤에스 | Method, system and non-transitory computer-readable recording medium for diagnosing mental health |
| KR20220069859A (en) * | 2020-11-20 | 2022-05-27 | (주)휴노 | Apparatus and method for detecting multidimensional mental health state based on digital phenotyping |
| KR20220072120A (en) | 2020-11-24 | 2022-06-02 | 주식회사 아이메디신 | Method for classifying endophenotype of parkinson disease |
| KR102417541B1 (en) * | 2020-11-05 | 2022-07-06 | 주식회사 휴서카디안 | Apparatus and method for managing circadian rhythm based on feedback function |
| KR102427508B1 (en) * | 2019-11-14 | 2022-08-01 | 주식회사 셀바스에이아이 | Apparatus and method for mental healthcare based on artificial intelligence |
-
2023
- 2023-01-10 KR KR1020230003498A patent/KR102594242B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060037252A (en) | 2003-06-10 | 2006-05-03 | 교와 핫꼬 고교 가부시끼가이샤 | A method of treating an anxiety disorder |
| KR102061725B1 (en) * | 2018-01-05 | 2020-01-02 | 주식회사 옴니씨앤에스 | Method, system and non-transitory computer-readable recording medium for diagnosing mental health |
| KR102427508B1 (en) * | 2019-11-14 | 2022-08-01 | 주식회사 셀바스에이아이 | Apparatus and method for mental healthcare based on artificial intelligence |
| KR102417541B1 (en) * | 2020-11-05 | 2022-07-06 | 주식회사 휴서카디안 | Apparatus and method for managing circadian rhythm based on feedback function |
| KR20220069859A (en) * | 2020-11-20 | 2022-05-27 | (주)휴노 | Apparatus and method for detecting multidimensional mental health state based on digital phenotyping |
| KR20220072120A (en) | 2020-11-24 | 2022-06-02 | 주식회사 아이메디신 | Method for classifying endophenotype of parkinson disease |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10944708B2 (en) | Conversation agent | |
| Chaudhuri et al. | Fall detection devices and their use with older adults: a systematic review | |
| Doherty et al. | Wearable cameras in health: the state of the art and future possibilities | |
| US20230087729A1 (en) | Information processing using a population of data acquisition devices | |
| WO2018103028A1 (en) | Audio playback device, system, and method | |
| Kosti et al. | Emotic: Emotions in context dataset | |
| US20190261863A1 (en) | System and method for providing an indication of the well-being of an individual | |
| US20190212578A1 (en) | Dynamic contextual video capture | |
| WO2019109738A1 (en) | Login method and apparatus, and electronic device | |
| US20190108191A1 (en) | Affective response-based recommendation of a repeated experience | |
| CN108230169B (en) | Information propagation model based on social influence and situation perception system and method | |
| US20190209038A1 (en) | In-ear eeg device and brain-computer interfaces | |
| WO2019086856A1 (en) | Systems and methods for combining and analysing human states | |
| KR20200049930A (en) | The biological signal analysis system and biological signal analysis method for operating by the system | |
| EP3726453A1 (en) | Information processing device, information processing method, and program | |
| Botteldooren et al. | Soundscape for European cities and landscape: understanding and exchanging | |
| US10847049B2 (en) | Interactive service platform and operating method thereof | |
| WO2014020134A1 (en) | Device, method and application for establishing a current load level | |
| Assi et al. | Complex daily activities, country-level diversity, and smartphone sensing: A study in denmark, italy, mongolia, paraguay, and uk | |
| KR102594242B1 (en) | Method and apparatus for analyzing social anxiety disorder using digital phenotype feature | |
| US20180018899A1 (en) | Information processing apparatus for presenting content, method for controlling the same, and control program | |
| KR102567684B1 (en) | Method and apparatus for analyzing social anxiety disorder using digital phenotype feature | |
| CN105147249B (en) | The wearable or implantable devices evaluation system of one kind and method | |
| KR102438367B1 (en) | Human data managing system | |
| CN112286758A (en) | Information processing method, information processing device, electronic equipment and computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |