WO2023224333A1 - 치매 진단 시스템 - Google Patents
치매 진단 시스템 Download PDFInfo
- Publication number
- WO2023224333A1 WO2023224333A1 PCT/KR2023/006529 KR2023006529W WO2023224333A1 WO 2023224333 A1 WO2023224333 A1 WO 2023224333A1 KR 2023006529 W KR2023006529 W KR 2023006529W WO 2023224333 A1 WO2023224333 A1 WO 2023224333A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- dementia
- face
- data
- server
- facial
- Prior art date
Links
- 206010012289 Dementia Diseases 0.000 title claims abstract description 125
- 238000003745 diagnosis Methods 0.000 title claims abstract description 46
- 208000024891 symptom Diseases 0.000 claims abstract description 18
- 230000008451 emotion Effects 0.000 claims abstract description 17
- 230000003542 behavioural effect Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 5
- 230000008921 facial expression Effects 0.000 claims description 44
- 230000001815 facial effect Effects 0.000 claims description 19
- 230000002996 emotional effect Effects 0.000 claims description 8
- 239000000090 biomarker Substances 0.000 abstract description 10
- 210000001508 eye Anatomy 0.000 description 38
- 238000000034 method Methods 0.000 description 31
- 230000009471 action Effects 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 17
- 210000001747 pupil Anatomy 0.000 description 16
- 210000001097 facial muscle Anatomy 0.000 description 14
- 230000004424 eye movement Effects 0.000 description 12
- 206010003062 Apraxia Diseases 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 208000019901 Anxiety disease Diseases 0.000 description 8
- 206010049816 Muscle tightness Diseases 0.000 description 8
- 230000036506 anxiety Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 8
- 230000011514 reflex Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000000692 Student's t-test Methods 0.000 description 4
- 230000037007 arousal Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000012353 t test Methods 0.000 description 4
- 206010002942 Apathy Diseases 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000004434 saccadic eye movement Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000711573 Coronaviridae Species 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 2
- 230000016571 aggressive behavior Effects 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001652 frontal lobe Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000010984 neurological examination Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000002105 tongue Anatomy 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 208000014094 Dystonic disease Diseases 0.000 description 1
- 208000032443 Masked facies Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 206010060860 Neurological symptom Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 231100000871 behavioral problem Toxicity 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000005978 brain dysfunction Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000007586 cerebral cortical function Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000006999 cognitive decline Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000010118 dystonia Diseases 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 210000000976 primary motor cortex Anatomy 0.000 description 1
- 201000002212 progressive supranuclear palsy Diseases 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Definitions
- the present invention relates to a technology for diagnosing the degree of dementia in a non-face-to-face manner.
- dementia is a disease accompanied by a decline in cognitive ability and is becoming a major obstacle to daily life and social life, emerging as an important social problem.
- BPSD Behavioral & psychological symptoms of dementia
- depression and anxiety in non-face-to-face dementia patients is emerging.
- Behavioral and psychological symptoms such as depression and anxiety are important in dementia patients, and these behavioral and psychological symptoms are currently measured through questionnaires asked of the patient or their guardian.
- guardians can only indirectly know about the patient's emotional state, and if they do not live with the patient, there are significant limitations in identifying symptoms.
- Symptoms such as buccofacial apraxia, gaze problems, and slow pupillary reflexes are well-known neurological symptoms of dementia patients and are performed through neurological examinations during face-to-face treatment.
- neurological examination is difficult during non-face-to-face treatment, and even during face-to-face treatment, examination findings may vary depending on the examiner.
- BPSD Behavioral & psychological symptoms of dementia
- dementia dementia
- apathy depression
- anxiety anxiety
- BPSD Behavioral & psychological symptoms of dementia
- the present invention was developed to solve the above problems, and diagnoses dementia information in dementia patients using face and eye (gaze, pupil) recognition digital biomarkers that are highly correlated with the cognitive status of dementia patients.
- the purpose is to provide a system that can do this.
- the present invention provides a dementia diagnosis system using a facial recognition digital biomarker that can monitor BPSD (Behavioral & psychological symptoms of dementia) such as apathy, depression, and anxiety in dementia patients in a non-face-to-face manner.
- BPSD Behavioral & psychological symptoms of dementia
- the dementia diagnosis system of the present invention is a gaze tracker, a device that tracks a person's gaze, and a terminal used by the user, capable of communicating with a server through a wired or wireless communication network, and dedicated to dementia diagnosis from the server.
- a terminal that can receive and install an application and a dedicated application for dementia diagnosis are provided to the terminal, receive eye tracking data from the eye tracker, receive face data from a camera provided in the terminal, and eye tracking data and It uses face data to diagnose whether the user has dementia and the severity of dementia, and includes a server that evaluates the dementia patient's emotions.
- the server can analyze facial data using a face reader program of the Facial Action Coding System (FACS).
- FACS Facial Action Coding System
- the server may perform one or more tasks using the received eye tracking data and face data, and may diagnose the dementia state by adding up the scores obtained through each task.
- the server can use the face reader program to quantify one or more basic emotional data from facial expression data on the face of a dementia patient, and diagnose BPSD (Behavioral & psychological symptoms of dementia) of the dementia patient based on this.
- BPSD Behavioral & psychological symptoms of dementia
- behavioral and psychological symptoms can be discovered and dementia diagnosis monitored using digital biomarker information that can be obtained directly from the patient, which can greatly help in the treatment and treatment of dementia patients.
- Figure 1 shows the overall structure of a dementia diagnosis system according to an embodiment of the present invention.
- Figure 2 illustrates an action unit in the Facial Action Coding System.
- Figure 3 is a flowchart showing a dementia diagnosis method in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 4 is a flowchart showing a method of performing a first basic facial expression task in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 5 is a flowchart showing a method of performing a second basic facial expression task in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 6 is a flowchart showing a method of performing an orofacial apraxia task in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 7 is a flowchart showing a method of performing a first gaze analysis task in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 8 is a flowchart showing a method of performing a second gaze analysis task in the dementia diagnosis system according to an embodiment of the present invention.
- Figure 9 is a flowchart showing a method of performing a quick view task in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 10 is a flowchart showing a method of performing a smooth follow-up task in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 11 is a flowchart showing a method of performing a pupil reflex task in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 12 is a flowchart showing a method for evaluating the emotions of a dementia patient in a dementia diagnosis system according to an embodiment of the present invention.
- Figure 1 shows the overall structure of a dementia diagnosis system according to an embodiment of the present invention.
- the dementia diagnosis system includes a server 100, a gaze tracker 200, and a terminal 300.
- the eye tracker 200 is a device that tracks a person's gaze.
- the gaze tracker 200 tracks gaze by shining infrared rays into a person's eyes and then recording the pupil center point by infrared re-emission from the retina and the corneal reflection by infrared re-emission from the cornea. Therefore, using the eye tracker 200, it is possible to find out where a person is looking and measure data about the characteristics of eye movements and the eyes themselves.
- Gaze behavior such as eye movement, can be quantified through numerical data.
- the terminal 300 is a terminal capable of communicating with the server 100 through a wired or wireless communication network, and a dedicated application for dementia diagnosis provided by the server 100 may be installed.
- the terminal 300 may be a smartphone, cell phone, mobile communication terminal, tablet PC, desktop computer, laptop computer, etc.
- the terminal 300 may be equipped with a camera for photographing the user's face.
- a camera (not shown) connected to the server may exist as a separate device.
- the server 100 may provide a dedicated application for dementia diagnosis to the terminal 300.
- the server 100 receives eye tracking data from the eye tracker 200, receives face data from the camera, uses the eye tracking data and face data to diagnose dementia and its severity, and evaluates the dementia patient's emotions. do.
- the server 100 receives eye tracking data from the eye tracker 200, receives face data from the camera provided in the terminal 300, and uses the eye tracking data and face data to determine whether the user has dementia and the severity of dementia. It is possible to diagnose the degree of dementia and evaluate the emotions of dementia patients.
- the server 100 can analyze facial data using a face reader program of the Facial Action Coding System (FACS). At this time, the server 100 may perform one or more tasks using the received eye tracking data and face data, and diagnose the dementia state by adding up the scores obtained through each task. In addition, the server 100 can quantify one or more basic emotional data from facial expression data on the face of a dementia patient using a face reader program, and diagnose BPSD (Behavioral & psychological symptoms of dementia) of the dementia patient based on this. .
- FACS Facial Action Coding System
- Figure 1 shows the overall structure of a dementia diagnosis system according to an embodiment of the present invention.
- the dementia diagnosis system includes a server 100, a gaze tracker 200, and a terminal 300.
- the eye tracker 200 is a device that tracks a person's gaze.
- the gaze tracker 200 tracks gaze by shining infrared rays into a person's eyes and then recording the pupil center point by infrared re-emission from the retina and the corneal reflection by infrared re-emission from the cornea. Therefore, using the eye tracker 200, it is possible to find out where a person is looking and measure data about the characteristics of eye movements and the eyes themselves.
- Gaze behavior such as eye movement, can be quantified through numerical data.
- the terminal 300 is a terminal capable of communicating with the server 100 through a wired or wireless communication network, and a dedicated application for dementia diagnosis provided by the server 100 may be installed.
- the terminal 300 may be a smartphone, cell phone, mobile communication terminal, tablet PC, desktop computer, laptop computer, etc.
- the terminal 300 may be equipped with a camera for photographing the user's face.
- a camera (not shown) connected to the server may exist as a separate device.
- the server 100 may provide a dedicated application for dementia diagnosis to the terminal 300.
- the server 100 receives eye tracking data from the eye tracker 200, receives face data from the camera, uses the eye tracking data and face data to diagnose dementia and its severity, and evaluates the dementia patient's emotions. do.
- the server 100 receives eye tracking data from the eye tracker 200, receives face data from the camera provided in the terminal 300, and uses the eye tracking data and face data to determine whether the user has dementia and the severity of dementia. It is possible to diagnose the degree of dementia and evaluate the emotions of dementia patients.
- the server 100 can analyze facial data using a face reader program of the Facial Action Coding System (FACS). At this time, the server 100 may perform one or more tasks using the received eye tracking data and face data, and diagnose the dementia state by adding up the scores obtained through each task. In addition, the server 100 can quantify one or more basic emotional data from facial expression data on the face of a dementia patient using a face reader program, and diagnose BPSD (Behavioral & psychological symptoms of dementia) of the dementia patient based on this. .
- FACS Facial Action Coding System
- the dementia diagnosis system of the present invention diagnoses dementia using human face analysis technology and gaze analysis technology.
- the Facial Action Coding System is a facial expression analysis method proposed by Paul Ekman and Wallace Friesen in 1978, and is explained by analyzing human facial muscles based on anatomy. .
- This system records and analyzes facial muscle movements as an Action Unit (AU) to understand how the face moves and why it moves.
- AU Action Unit
- the face reader program can quantify the arousal and valence of the observed object by automatically analyzing 500 facial feature points in images, videos, and real-time videos containing facial expressions. It can also analyze the seven basic emotions such as neutrality, sadness, anger, surprise, fear, disgust, and contempt, and define a 'custom expression/state' by combining the seven basic facial expressions and Action Unit. can do.
- the face reader program recognizes expressions through three steps: face recognition, face modeling, and face classification.
- the exact location of the face is recognized using the viola jones cascaded classifier algorithm.
- the active appearance model is used to synchronize the artificial face model.
- the artificial face model recognizes the positions of more than 500 key points on the face surface and the texture of the face, and combines them with the results of the deep face algorithm to provide a higher level of classification accuracy. If face modeling is not successful (for example, if the face is covered with a hand but both eyes can be found), classification accuracy can be secured by replacing it with a deep face algorithm based on a deep learning algorithm.
- Figure 2 illustrates an action unit in the Facial Action Coding System.
- the Facial Action Coding System includes a total of 44 Action Units, A to E according to intensity (or intensity). Classified into 5 stages.
- An action unit is a muscle or muscle group of the face involved in facial expressions. Based on the Facial Action Coding System (FACS), an action unit (AU) is a facial muscle or muscle group that produces 20 types of facial expressions, including the raising and lowering of eyebrows, the presence of dimples, and the degree of lip pursing. Representative action units were analyzed in five levels of intensity.
- FACS Facial Action Coding System
- Figure 3 is a flowchart showing a dementia diagnosis method in a dementia diagnosis system according to an embodiment of the present invention.
- the server 100 when the server 100 receives facial expression data from the camera and eye tracking data from the eye tracker 200 (S101, S103), it performs a task for diagnosing dementia.
- a total of eight tasks are performed, and dementia is diagnosed by adding up the scores obtained through each task.
- scores are added up based on a score out of 10 across 8 tasks.
- the 8 tasks include the first basic facial expression task (S107) (1 point), which calculates scores using the valence value from basic facial expressions, and the first basic facial expression task (S107) (1 point), which calculates scores using the valence value from basic facial expressions. Scoring of the second basic facial expression task (S109) (1 point), orofacial apraxia task (S111) (3 points), first gaze analysis task (S113) (1 point), and second gaze analysis task (S115) (1 point), Saccade task (S117) (1 point), Smooth pursuit task (S119) (1 point), and pupil reflex task (S121) (1 point).
- S109 orofacial apraxia task
- S113 first gaze analysis task
- S115 second gaze analysis task
- Saccade task S117
- Smooth pursuit task S119
- pupil reflex task S121
- the server 100 adds up the scores and determines that the person is at high risk for dementia if the score is 5 or more out of 10 (S123, S125, S127).
- a task is performed to compare the difference in basic facial expression values between dementia patients and normal groups.
- facial changes occur in many degenerative neurological diseases. For example, a masked face typically appears in Parkinson's disease patients, and a frightened face typically appears in progressive supranuclear palsy. This is due to the dystonia of the facial muscles that occurs in each disease.
- the tension of facial muscles that appears in dementia patients is used.
- the tension of fine facial muscles due to arousal or cerebral dysfunction in basic facial expressions is quantified and compared and used as a digital marker.
- behavioral psychological symptoms such as depression and anxiety, which are common in dementia patients, can be diagnosed by checking emotional states such as depression and anxiety from basic facial expressions.
- Eye tracking is the process of identifying and finding out the process of 'human gaze behavior'. It scientifically measures and records the entire process of 'what' the subject looks at and 'in what order' to determine the meaning of gaze behavior. It is a process of finding insight. Through this, you can basically check the user's unconscious interest (attention) elements and further examine the user's information search strategy or decision-making process. In other words, qualitative and quantitative data can be collected in the process of revealing the patient's cognitive process through eye tracking.
- the search process is quantified through gaze analysis to analyze how different patterns appear.
- a cognitive test that measures spatiotemporal functions such as the Rey-Osterieth complex figure and how different gaze patterns are shown in the patient and normal groups when presented with a familiar stimulus such as one's own face and when presented with an unfamiliar face. It is used as a digital biomarker by quantifying how the eye tracking information searched when visual stimulation used in is different between the normal group and the patient group.
- FIG. 4 is a flowchart showing a method of performing a first basic facial expression task in a dementia diagnosis system according to an embodiment of the present invention.
- the first basic facial expression task in FIG. 4 illustrates an example of outputting results using a statistical approach.
- the first basic facial expression task analyzes facial muscle tension for each action unit (AU) in facial expressions based on FACS (S201). Facial muscle tension for each action unit is divided into severity levels from severity 1 to 4.
- the valence value is measured from the face recognition data (S203).
- a database of facial expressions of normal people can be collected in various ways.
- a database of facial expressions of normal people may be a database of facial expressions of a control group of normal elderly people collected in a hospital.
- Figure 5 is a flowchart showing a method of performing a second basic facial expression task in a dementia diagnosis system according to an embodiment of the present invention.
- the second basic facial expression task in Figure 5 illustrates an embodiment of outputting results using a statistical approach.
- the second basic facial expression task analyzes facial muscle tension for each action unit (AU) in facial expressions based on FACS (S301). Facial muscle tension for each action unit is divided into severity levels from severity 1 to 4.
- the arousal value is measured from the face recognition data (303).
- a database of facial expressions of normal people can be collected in various ways.
- a database of facial expressions of normal people may be a database of facial expressions of a control group of normal elderly people collected in a hospital.
- Buccofacial apraxia occurs when there is a lesion in the area where the primary motor cortex of the frontal lobe meets the Sylvian fissure, the insula, etc.
- Some patients with dementia accompanied by decreased brain function also have buccofacial apraxia.
- Patients with orofacial apraxia are unable to make skilled movements related to the face, lips, tongue, larynx, and pharynx, and show various errors during related movements. Therefore, in the present invention, tasks that can confirm orofacial apraxia, such as closing the eyes, opening the mouth, sticking out the tongue, coughing, imitating sucking through a straw, imitating blowing out a candle, imitating smelling, etc. are performed, and these are performed as action units. It is automatically analyzed through analysis and can be used as a digital biomarker to help differentiate by detecting orofacial apraxia in dementia patients, which is different from the normal group.
- Figure 6 is a flowchart showing a method of performing an orofacial apraxia task in a dementia diagnosis system according to an embodiment of the present invention.
- the orofacial apraxia task analyzes facial muscle tension for each action unit (AU) in facial expressions based on FACS (S401). Facial muscle tension for each action unit is divided into severity levels from severity 1 to 4.
- FIG. 7 is a flowchart showing a method of performing a first gaze analysis task in a dementia diagnosis system according to an embodiment of the present invention.
- the first gaze analysis task in FIG. 7 illustrates an example of outputting results using a statistical approach.
- the first gaze analysis task gaze when familiar and unfamiliar stimuli are given to the patient is analyzed (S501).
- a familiar stimulus may be one's own face, and an unfamiliar stimulus may be an unfamiliar face.
- the first gaze analysis task in FIG. 7 illustrates an embodiment of outputting results using a statistical approach.
- gaze movement dwell time When familiar stimuli (your own face) and unfamiliar stimuli (unfamiliar faces) are presented, gaze movement dwell time, total gaze fixation time, and total gaze fixation ratio are measured in the patient and normal groups, respectively (S503).
- a t-test is performed to statistically compare the gaze movement dwell time, total gaze fixation time, and total gaze fixation ratio in the patient and the normal control group, and output 1 if P ⁇ 0.05, and 0 otherwise (S505).
- FIG. 8 is a flowchart showing a method of performing a second gaze analysis task in the dementia diagnosis system according to an embodiment of the present invention.
- the second gaze analysis task in FIG. 8 illustrates an embodiment of outputting results using a statistical approach.
- a t-test is performed to statistically compare the gaze movement dwell time, total gaze fixation time, and total gaze fixation ratio in the patient and the normal control group. If P ⁇ 0.05, 1 is output, otherwise 0 is output (S605).
- Saccade refers to the ability to quickly move one's gaze from the object currently being looked at to another object, and is a conjugate eye movement that plays the most important role in daily activities such as exploring the surrounding environment or reading a book.
- Visual information related to the control of quick viewing is transmitted to the posterior parietal cortex and frontal lobe via the visual cortex. Based on this information, abnormalities in cerebral cortical function can be evaluated as a quick viewing disorder. Rapid viewing can be assessed by range of eye movements, speed, accuracy, and latency. In particular, it is known that the accuracy of rapid reading decreases and the latency period increases with age, and it can be said that this is due to a decrease in the function of the central nervous system. Therefore, it can be used as a digital biomarker to distinguish between dementia and normal people by comparing and quantifying the eye movement range, speed, accuracy, and latency of quick viewing between the dementia patient group and the normal group.
- Figure 9 is a flowchart showing a method of performing a quick view task in a dementia diagnosis system according to an embodiment of the present invention.
- the quick viewing task in FIG. 9 illustrates an embodiment of outputting results using a statistical approach.
- the eye movement speed is measured in a saccade task (S701).
- the measured movement speed is compared with the rapid viewing eye movement speed in the normal control group, and 1 is output if it slows down to -1 SD (standard deviation) or less, and 0 is output if it is more than -1 SD (S703).
- Smooth pursuit refers to the function of following a small object that moves slowly in the central fovea of the retina so that the image of the object remains stable in the central fovea of the retina. If the eye movement speed due to smooth tracking does not match the speed of the object, rapid viewing occurs to catch up with the object. Since soft tracing can be said to be a sensitive indicator of brain dysfunction,
- the decline in soft following function in dementia patients can be quantified and used as a digital biomarker.
- Figure 10 is a flowchart showing a method of performing a smooth follow-up task in a dementia diagnosis system according to an embodiment of the present invention.
- the smooth tracing task in Figure 10 illustrates an embodiment of outputting results using a statistical approach.
- the eye movement speed is measured in a smooth pursuit task (S801).
- the measured movement speed is compared with the smooth eye movement speed in the normal control group, and if it slows down to -1 SD (standard deviation) or less, 1 is output, and if it is more than -1 SD, 0 is output (S803).
- the pupil reflex speed which causes the pupil to shrink when there is light stimulation, is significantly reduced compared to the normal group. Therefore, by quantifying the pupil reaction speed and the size of the pupil responding to light and comparing them between the dementia group and the normal group, it can be used as a digital biomarker to differentiate the dementia group and measure clinical status.
- Figure 11 is a flowchart showing a method of performing a pupil reflex task in a dementia diagnosis system according to an embodiment of the present invention.
- the pupil reflection task in FIG. 11 illustrates an embodiment of outputting results using a statistical approach.
- the pupil reflection speed which is the speed at which the pupil shrinks due to light.
- the measured pupil reflex speed is compared with the pupil reflex speed in the normal control group, and if it slows down to -1SD (standard deviation) or less, 1 is output, and if it is more than -1SD, 0 is output (S903).
- the present invention proposes a method for diagnosing the emotions of dementia patients using facial expression changes according to emotions.
- Figure 12 is a flowchart showing a method for evaluating the emotions of a dementia patient in a dementia diagnosis system according to an embodiment of the present invention.
- facial muscle tension is analyzed for each action unit (AU) in facial expressions based on FACS (S1001). Facial muscle tension for each action unit is divided into severity levels from severity 1 to 4.
- BPSD Behavioral & psychological symptoms of dementia
- S1005 S1007
- Sadness is over 70% it is moderate depression
- Anger is over 70% it is moderate aggression
- Anger is over 50% it is mild aggression
- Fear is over 70% it is moderate anxiety
- fear is over 50% it is mild. It can be diagnosed as anxiety.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Neurology (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명의 치매 진단 시스템은 사람의 시선을 추적하는 장치인 시선 추적기, 사용자가 사용하는 단말로서, 유무선 통신망을 통해 서버와 통신 가능하고, 상기 서버로부터 치매 진단을 위한 전용 어플리케이션을 제공받아 설치할 수 있는 단말 및 치매 진단을 위한 전용 어플리케이션을 상기 단말에 제공하며, 상기 시선 추적기로부터 시선 추적 데이터를 수신하고, 상기 단말에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가하는 서버를 포함한다. 본 발명에 의하면, 환자에게서 직접 얻을 수 있는 디지털 바이오마커(digital biomarker) 정보로 행동 및 심리 증상을 발견하고 치매 진단 모니터링을 함으로써, 치매 환자 진료와 치료에 큰 도움을 줄 수 있다.
Description
본 발명은 비대면 방식으로 치매 정도를 진단하는 기술에 관한 것이다.
최근 인류의 수명이 연장되고 노인 인구의 비중이 급속히 증가하면서 노인층에서 발생하는 만성 질환도 증가하고 있다. 특히 치매는 인지 능력의 감소를 동반하는 질환으로 일상생활이나 사회생활에 커다란 장애 요인이 되고 있어 중요한 사회 문제로 등장하고 있다.
코로나 팬데믹 시대에 비대면 치매 환자의 우울, 불안 등 BPSD(Behavioral & psychological symptoms of dementia)를 비대면으로 모니터링하는 필요성이 대두되고 있다.
치매 환자에 있어서 우울, 불안 등 행동 및 심리 증상(behavioral and psychological )이 중요하고, 현재는 이러한 행동 심리 증상을 환자 본인이나 보호자에게 묻는 설문지로 측정하고 있는데, 환자의 경우 인지 저하로 인한 제한이 있으며, 보호자의 경우 환자의 정서 상태에 대해 간접적으로만 알 수 있을 뿐만 아니라 환자와 동거하지 않는 경우 증상 파악에 큰 제한이 있다.
구강 안면 실행증(buccofacial apraxia), 안구 주시(gaze) 문제, 동공반사 등이 느려지는 증상들은 잘 알려져 있는 치매환자의 신경학적 증상들이며 대면 진료 시 신경학적 검사를 통해 시행되고 있다. 그러나 비대면 진료 시 이러한 신경학적 검사가 어렵고, 대면 진료 시에도 검사자에 따라 진찰 소견이 다를 수 있다.
무감각증(apathy), 우울(depression), 불안(anxiety) 등의 BPSD(Behavioral & psychological symptoms of dementia)는 치매 환자에서 흔하면서도 심각한 문제이다. 그러나 치매 환자의 경우 본인의 질환에 대한 병식이 떨어지고 의사 표현에 제한이 있어 증상 발견 및 모니터링이 어렵다는 문제가 있다. 따라서, 환자의 표정 분석을 통해서 환자의 감정 상태나 행동 문제를 파악하고 정량화 할 수 있는 안면 및 눈 인식 기반 디지털 바이오마커(digital biomarker)를 발굴한다면 환자의 행동 심리 증상 확인 및 조절에 큰 역할을 할 것이라 기대할 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 치매 환자의 인지 상태와 상관성이 높은 안면 및 눈(gaze, pupil) 인식 디지털 바이오마커(digital biomarker)를 이용하여 치매 환자를 치매 정보를 진단할 수 있는 시스템을 제공하는데 그 목적이 있다.
또한, 본 발명은 치매 환자의 무감각증, 우울, 불안 등 BPSD(Behavioral & psychological symptoms of dementia)를 비대면으로 모니터링할 수 있는 안면 인식 디지털 바이오마커(digital biomarker)를 이용한 치매 진단 시스템을 제공하는데 그 다른 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 치매 진단 시스템은 사람의 시선을 추적하는 장치인 시선 추적기, 사용자가 사용하는 단말로서, 유무선 통신망을 통해 서버와 통신 가능하고, 상기 서버로부터 치매 진단을 위한 전용 어플리케이션을 제공받아 설치할 수 있는 단말 및 치매 진단을 위한 전용 어플리케이션을 상기 단말에 제공하며, 상기 시선 추적기로부터 시선 추적 데이터를 수신하고, 상기 단말에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가하는 서버를 포함한다.
상기 서버는 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)의 페이스 리더(face reader) 프로그램을 이용하여 얼굴 데이터를 분석할 수 있다.
상기 서버는 수신한 시선 추적 데이터와 얼굴 데이터를 이용하여 하나 이상의 태스크를 수행하고, 각 태스크를 통해 나온 점수를 합산하여 치매 상태를 진단할 수 있다.
상기 서버는 상기 페이스 리더 프로그램을 이용하여 치매 환자 얼굴의 얼굴 표정 데이터로부터 하나 이상의 기본 정서 데이터를 정량화하고, 이를 기반으로 치매 환자의 BPSD(Behavioral & psychological symptoms of dementia)를 진단할 수 있다.
본 발명에 의하면, 환자에게서 직접 얻을 수 있는 디지털 바이오마커(digital biomarker) 정보로 행동 및 심리 증상을 발견하고 치매 진단 모니터링을 함으로써, 치매 환자 진료와 치료에 큰 도움을 줄 수 있다.
또한 본 발명에 의하면, 비대면 진료가 불가피한 코로나 팬데믹 같은 상황에서도 치매 환자를 진료할 수 있고, 포스터 코로나 시대에도 인지 장애로 증상에 대한 보고에 제한이 있는 치매 환자를 진료할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 치매 진단 시스템의 전체 구조를 도시한 것이다.
도 2는 얼굴 움직임 부호화 시스템(Facial Action Coding System)에서의 액션 유닛을 예시한 것이다.
도 3은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 치매 진단 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제1 기본 표정 태스크 진행 방법을 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제2 기본 표정 태스크 진행 방법을 보여주는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 구강 안면 실행증 태스크 진행 방법을 보여주는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제1 시선분석 태스크 진행 방법을 보여주는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제2 시선분석 태스크 진행 방법을 보여주는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 신속보기 태스크 진행 방법을 보여주는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 부드러운 따라보기 태스크 진행 방법을 보여주는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 동공 반사 태스크 진행 방법을 보여주는 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 치매 환자의 감정 평가 방법을 보여주는 흐름도이다.
도 1은 본 발명의 일 실시예에 따른 치매 진단 시스템의 전체 구조를 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 치매 진단 시스템은 서버(100), 시선 추적기(200), 단말(300)을 포함한다.
시선 추적기(eye tracker)(200)는 사람의 시선을 추적하는 장치이다. 시선 추적기(200)는 적외선을 사람의 눈에 비춘 후, 망막으로부터 적외선 재방출에 의한 동공 중심점과 각막으로부터 적외선 재방출에 의한 각막반사를 기록하는 방식으로 시선을 추적한다. 따라서 시선 추적기(200)를 이용하면 사람이 어디를 보고있는지 알아낼 수 있으며, 눈 움직임의 특성과 눈 자체에 대한 데이터를 측정할 수 있다.
이러한 시선 추적기(200)를 통해 측정된 시선데이터를 통해 인지반응과정, 심리 등을 파악할 수 있으며, 동공 및 눈의 움직임을 정확하고 세밀하게 특정함으로써 사람이 어느 곳을, 어떠한 순서로, 얼마나 오랫동안 응시하는 지와 같은 주시 행동을 수치 데이터로 정량화 할 수 있다.
단말(300)은 유무선 통신망을 통해 서버(100)와 통신 가능한 단말로서, 서버(100)에서 제공하는 치매 진단을 위한 전용 어플리케이션이 설치될 수 있다. 예를 들어, 단말(300)은 스마트폰, 핸드폰, 이동통신 단말기, 태블릿 PC, 데스크탑 컴퓨터, 랩탑 컴퓨터 등일 수 있다.
본 발명의 일 실시예에서 단말(300)은 사용자의 얼굴을 촬영하기 위한 카메라가 내장될 수 있다.
또는 본 발명의 다른 실시예에서 서버와 연결된 카메라(미도시)가 별도의 장치로 존재할 수도 있다.
서버(100)는 치매 진단을 위한 전용 어플리케이션을 단말(300)에 제공할 수 있다.
서버(100)는 시선 추적기(200)로부터 시선 추적 데이터를 수신하고, 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 치매 여부와 중증 정도를 진단하고, 치매 환자의 감정을 평가한다.
서버(100)는 시선 추적기(200)로부터 시선 추적 데이터를 수신하고, 단말(300)에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가할 수 있다.
본 발명에서 서버(100)는 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)의 페이스 리더(face reader) 프로그램을 이용하여 얼굴 데이터를 분석할 수 있다. 이때, 서버(100)는 수신한 시선 추적 데이터와 얼굴 데이터를 이용하여 하나 이상의 태스크를 수행하고, 각 태스크를 통해 나온 점수를 합산하여 치매 상태를 진단할 수 있다. 또한, 서버(100)는 페이스 리더 프로그램을 이용하여 치매 환자 얼굴의 얼굴 표정 데이터로부터 하나 이상의 기본 정서 데이터를 정량화하고, 이를 기반으로 치매 환자의 BPSD(Behavioral & psychological symptoms of dementia)를 진단할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 치매 진단 시스템의 전체 구조를 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 치매 진단 시스템은 서버(100), 시선 추적기(200), 단말(300)을 포함한다.
시선 추적기(eye tracker)(200)는 사람의 시선을 추적하는 장치이다. 시선 추적기(200)는 적외선을 사람의 눈에 비춘 후, 망막으로부터 적외선 재방출에 의한 동공 중심점과 각막으로부터 적외선 재방출에 의한 각막반사를 기록하는 방식으로 시선을 추적한다. 따라서 시선 추적기(200)를 이용하면 사람이 어디를 보고있는지 알아낼 수 있으며, 눈 움직임의 특성과 눈 자체에 대한 데이터를 측정할 수 있다.
이러한 시선 추적기(200)를 통해 측정된 시선데이터를 통해 인지반응과정, 심리 등을 파악할 수 있으며, 동공 및 눈의 움직임을 정확하고 세밀하게 특정함으로써 사람이 어느 곳을, 어떠한 순서로, 얼마나 오랫동안 응시하는 지와 같은 주시 행동을 수치 데이터로 정량화 할 수 있다.
단말(300)은 유무선 통신망을 통해 서버(100)와 통신 가능한 단말로서, 서버(100)에서 제공하는 치매 진단을 위한 전용 어플리케이션이 설치될 수 있다. 예를 들어, 단말(300)은 스마트폰, 핸드폰, 이동통신 단말기, 태블릿 PC, 데스크탑 컴퓨터, 랩탑 컴퓨터 등일 수 있다.
본 발명의 일 실시예에서 단말(300)은 사용자의 얼굴을 촬영하기 위한 카메라가 내장될 수 있다.
또는 본 발명의 다른 실시예에서 서버와 연결된 카메라(미도시)가 별도의 장치로 존재할 수도 있다.
서버(100)는 치매 진단을 위한 전용 어플리케이션을 단말(300)에 제공할 수 있다.
서버(100)는 시선 추적기(200)로부터 시선 추적 데이터를 수신하고, 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 치매 여부와 중증 정도를 진단하고, 치매 환자의 감정을 평가한다.
서버(100)는 시선 추적기(200)로부터 시선 추적 데이터를 수신하고, 단말(300)에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가할 수 있다.
본 발명에서 서버(100)는 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)의 페이스 리더(face reader) 프로그램을 이용하여 얼굴 데이터를 분석할 수 있다. 이때, 서버(100)는 수신한 시선 추적 데이터와 얼굴 데이터를 이용하여 하나 이상의 태스크를 수행하고, 각 태스크를 통해 나온 점수를 합산하여 치매 상태를 진단할 수 있다. 또한, 서버(100)는 페이스 리더 프로그램을 이용하여 치매 환자 얼굴의 얼굴 표정 데이터로부터 하나 이상의 기본 정서 데이터를 정량화하고, 이를 기반으로 치매 환자의 BPSD(Behavioral & psychological symptoms of dementia)를 진단할 수 있다.
본 발명의 치매 진단 시스템은 사람의 얼굴 분석 기술과 시선 분석 기술을 이용하여 치매를 진단한다.
얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)은 폴 에크만(Paul Ekman)과 월러스 프리젠(Wallace Friesen)이 1978년에 제안한 얼굴 표정 분석법으로서, 사람의 얼굴 근육을 해부학적 기반으로 분석하여 설명한 것이다. 이 시스템은 얼굴이 어떻게 움직이는지와, 움직이는 이유에 대해 이해하고자 얼굴 근육의 움직임을 액션 유닛(Action Unit, AU)으로 기록하여 분석하였고, 최근에는 컴퓨터 비전(Computer Vision) 기술이 발달함에 따라 자동으로 분석할 수 있게 되어 사람의 표정을 쉽게 구분하여 감정을 분석할 수 있다.
페이스 리더(face reader) 프로그램은 얼굴 표정이 포함된 이미지, 동영상, 실시간 동영상에서 500개의 얼굴 특징점을 자동으로 분석하여 관찰 대상의 각성도(arousal) 및 정서가(valence)를 정량화할 수 있다. 또한 중립, 슬픔, 분노, 놀라움, 두려움, 혐오감, 경멸 등과 같은 기본적인 7가지 정서를 분석할 수 있으며, 기본 7가지 얼굴 표정과 액션 유닛(Action Unit)을 결합하여 '사용자 지정 표정/상태'를 정의 할 수 있다.
FACS에서 페이스 리더 프로그램은 얼굴 인식(face recognition), 얼굴 모델링(face modeling), 얼굴 분류(face classification)의 3단계를 통해 표정을 인식한다.
얼굴 인식 단계에서는 viola jones cascaded classifier 알고리즘을 사용하여 얼굴의 정확한 위치를 인식한다.
얼굴 모델링 단계에서 active appearance model 은 인공 얼굴 모델을 동기화하는데 사용된다. 여기서 인공 얼굴 모델은 얼굴 표면의 500개 이상의 특징점(key points) 위치와 얼굴의 질감을 인식하고 이를 deep face 알고리즘의 결과와 결합시켜 더 높은 수준의 분류 정확도로 나타낸다. 만일 얼굴 모델링이 성공적이지 않은 경우(예를 들어, 손으로 입을 가리고 있지만 두 눈을 찾을 수 있는 경우) deep learning 알고리즘을 기반으로 한 deep face 알고리즘으로 대체하여 분류 정확도를 확보할 수 있다.
얼굴 분류 단계에서 분석 결과로 얼굴의 정서에 대해 7개의 기본 정서와 1개의 중립적인 정서에 대해 정량값을 제공한다. 이외에 valence, arousal 등의 값을 정량화한다.
도 2는 얼굴 움직임 부호화 시스템(Facial Action Coding System)에서의 액션 유닛을 예시한 것이다.
도 2를 참조하면, 자세한 얼굴 표정을 분석하기 위하여 얼굴 움직임 부호화 시스템(Facial Action Coding System)은 총 44개의 액션 유닛(Action Units)을 포함하고 있으며, 강도(또는 세기, Intensity)에 따라 A~E 까지 5단계로 분류한다.
액션 유닛(AU)은 얼굴 표정에 관여하는 얼굴의 근육 또는 근육 그룹으로서, 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)에 근거하여 눈썹의 오르내림, 보조개 유무, 입술을 오므리는 정도 등의 20가지 대표적인 액션 유닛(Action Unit)을 5단계의 Intensity로 분석한 것이다.
도 3은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 치매 진단 방법을 도시한 흐름도이다.
도 3을 참조하면, 서버(100)는 카메라로부터 얼굴 표정 데이터와, 시선 추적기(200)로부터 시선 추적 데이터를 입력받으면(S101, S103), 치매 진단을 위한 태스크(task)를 진행한다. 도 3의 실시예에서 총 8개의 태스크를 실시하며, 각 태스크를 통해 나온 점수를 합산하여 치매를 진단한다. 도 3의 실시예에서 8개의 태스크를 통해 10점 만점을 기준으로 점수를 합산한다.
8개의 태스크(10점 만점)는 기본 표정에서 정서가(valence) 값을 이용하여 점수를 산출하는 제1 기본 표정 태스크(S107)(1점), 기본 표정에서 각성도(arousal) 값을 이용하여 점수를 산출하는 제2 기본 표정 태스크(S109)(1점), 구강 안면 실행증 태스크(S111)(3점), 제1 시선분석 태스크(S113)(1점), 제2 시선분석 태스크(S115)(1점), 신속보기(Saccade) 태스크(S117)(1점), 부드러운 따라보기(Smooth pursuit) 태스크(S119)(1점), 동공 반사 태스크(S121)(1점)이다. 여기서 각 태스크에 대한 상세한 설명은 후술하기로 한다.
서버(100)는 각 태스크를 실행한 결과, 점수를 합산하여 10점 만점 중에 5점 이상이면 치매 고위험군으로 판단한다(S123, S125, S127).
본 발명에서는 치매 환자와 정상군 간의 기본 표정값의 차이를 비교하는 태스크를 실시한다. 일반적으로 많은 퇴행성 신경질환에서 얼굴의 변화가 나타난다. 예를 들어 파킨슨 병 환자에서는 가면형 얼굴(masked face) 이 나타나고, 진행성 핵상마비(progressive supranuclear palsy)에서는 놀란 얼굴(frightened face)이 전형적으로 나타난다. 이것은 각 질환에서 나타나는 얼굴 근육의 긴장 이상으로 인한 것이다.
본 발명에서는 치매환자에서 나타나는 얼굴 근육의 긴장도를 이용하는데, 기본 표정에서 각성(arousal) 정도나 대뇌 기능 이상으로 인한 미세한 얼굴 근육의 긴장도를 정량화하고 비교하여 디지털 마커(digital marker)로 이용한다.
또한, 본 발명에서는 기본 표정에서 우울과 불안 등 감정 상태를 확인하여 치매환자에서 흔한 우울과 불안 등의 행동 심리 증상(behavioral psychological symptom)을 진단할 수 있다.
시선추적(eye tracking)은 '사람의 응시 행동'에 대한 과정을 식별하고 알아내는 것으로서 대상자가 '무엇'을 '어떠한 순서'로 바라보는지에 대한 전과정을 과학적으로 측정하고 기록하여, 응시 행동의 의미와 인사이트를 찾는 과정이다. 이를 통해 기본적으로 사용자의 무의식적인 관심(주목) 요소를 확인하고, 더 나아가 사용자의 정보 탐색 전략이나 의사결정 과정까지 살펴볼 수 있다. 즉, 시선추적을 통해 환자의 인지 과정을 밝히는 과정에서 정성적이고 정량적인 데이터를 수집할 수 있다.
본 발명에서는 치매 환자와 정상인에게 시각적 자극을 주었을 때 시선 분석을 통해서 탐색 과정을 정량화하여 어떻게 다른 패턴을 나타내는지 분석한다. 예를 들어, 본인의 얼굴같은 익숙한 자극을 주었을 때와 낯선 얼굴을 자극을 주었을 때, 환자군과 정상군에서 시선이 각각 어떻게 다른 패턴을 보이는지, Rey-Osterieth complex figure와 같은 시공간 기능을 측정하는 인지검사에서 쓰이는 시각 자극을 주었을 때 탐색하는 시선 추적(eye tracking) 정보가 정상군과 환자군에서 어떻게 다른지 정량화하여 하여 디지털 바이오마커(digital biomarker) 로 사용한다.
도 4는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제1 기본 표정 태스크 진행 방법을 보여주는 흐름도이다. 도 4의 제1 기본표정 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 4를 참조하면, 제1 기본 표정 태스크는, FACS에 기반하여 얼굴 표정에서 액션 유닛(action unit, AU) 별 얼굴 근육 긴장도를 분석한다(S201). 액션 유닛 별 얼굴 근육 긴장도는 severity 1에서부터 4까지의 단계로 구분된다.
다음, 얼굴 인식 데이터로부터 정서가(valence) 값을 측정한다(S203).
그리고, 정상인의 얼굴 표정에 대한 데이터베이스를 기반으로 한 정상군과 비교한다(S205). 본 발명에서 정상인의 얼굴 표정에 대한 데이터베이스는 다양한 방식으로 수집할 수 있다. 예를 들어, 정상인의 얼굴 표정에 대한 데이터베이스는 병원에서 수집한 정상 노인의 대조군 얼굴 표정 데이터베이스일 수 있다.
다음, t-test를 이용하여 정서가 값을 정상군 평균값과 비교했을 때, p<0.05이면 1이고, 아니면 0을 출력한다(S207).
도 5는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제2 기본 표정 태스크 진행 방법을 보여주는 흐름도이다. 도 5의 제2 기본표정 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 5를 참조하면, 제2 기본 표정 태스크는, FACS에 기반하여 얼굴 표정에서 액션 유닛(action unit, AU) 별 얼굴 근육 긴장도를 분석한다(S301). 액션 유닛 별 얼굴 근육 긴장도는 severity 1에서부터 4까지의 단계로 구분된다.
다음, 얼굴 인식 데이터로부터 각성도(arousal) 값을 측정한다(303).
그리고, 정상인의 얼굴 표정에 대한 데이터베이스를 기반으로 한 정상군과 비교한다(S305). 본 발명에서 정상인의 얼굴 표정에 대한 데이터베이스는 다양한 방식으로 수집할 수 있다. 예를 들어, 정상인의 얼굴 표정에 대한 데이터베이스는 병원에서 수집한 정상 노인의 대조군 얼굴 표정 데이터베이스일 수 있다.
다음, t-test를 이용하여 각성도 값을 정상군 평균값과 비교했을 때, p<0.05이면 1이고, 아니면 0을 출력한다(S307).
구강 안면 실행증(buccofacial apraxia)은 전두엽의 일차 운동 피질이 실비우스열과 만나는 부분, 뇌섬 (insula) 등에 병변이 있을 때 발생하며, 뇌의 기능저하가 동반되는 치매 환자에서도 일부가 구강 안면 실행증이 동반되는 것으로 알려져 있다. 구강 안면 실행증을 가진 환자들은 얼굴, 입술 혀, 후두, 인두에 관련된 숙련된 운동을 못하게 되고, 이와 관련된 운동 시에 여러 가지 오류를 보인다. 따라서, 본 발명에서는 눈감기, 입벌리기, 혀내밀기, 기침하기, 빨대로 빨아먹는 흉내, 촛불끄는 흉내, 냄새맡는 흉내 등 구강안면 실행증을 확인할 수 있는 과제를 하도록 하고, 이를 액션 유닛(action unit) 분석을 통해서 자동으로 분석하고, 치매환자에서 정상군과 다른 구강 안면 실행증을 발견하여 감별에 도움이 되는 디지털 바이오마커(digital biomarker)로 이용할 수 있다.
도 6은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 구강 안면 실행증 태스크 진행 방법을 보여주는 흐름도이다.
도 6을 참조하면, 구강 안면 실행증 태스크는, FACS에 기반하여 얼굴 표정에서 액션 유닛(action unit, AU) 별 얼굴 근육 긴장도를 분석한다(S401). 액션 유닛 별 얼굴 근육 긴장도는 severity 1에서부터 4까지의 단계로 구분된다.
다음, 구강 안면 실행증 시행 시 동작 오류를 확인한다(S403).
그리고 하위 태스크로서 다음과 같은 세 개의 태스크를 실시한다(S405).
촛불끄기(lip plucker; Action unit 18) 태스크에서는 10초 이내의 incisivii labii superioris and incisivii labii inferioris 의 severity 가 3 이상인지를 확인한다.
입 벌리기(mouth stretch; action unit 27) 태스크에서는 10초 이내의 pterygoid, digastric 의 severity 가 3 이상인지를 확인한다.
눈감기(eye closed; action unit 54) 태스크에서는 10초 이내의 relaxation of levator palpebrae의 severity 가 3 이상인지를 확인한다
세 개의 태스크를 모두 성공하면 3점, 두 개의 태스크를 성공하면 2점, 하나의 태스크를 성공하면 1점, 하나의 태스크도 성공하지 못하면 0점을 출력한다(S407).
도 7은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제1 시선분석 태스크 진행 방법을 보여주는 흐름도이다. 도 7의 제1 시선분석 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 7을 참조하면, 제1 시선분석 태스크에서 환자에게 익숙한 자극과 낯선 자극을 주었을 때의 시선을 분석한다(S501). 예를 들어, 익숙한 자극은 본인 얼굴이고, 낯선 자극은 낯선 얼굴일 수 있다. 도 7의 제1 시선분석 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
익숙한 자극(본인 얼굴)과 낯선 자극(낯선 얼굴)을 주었을 때 환자군과 정상군에서 시선 운동 체류시간, 총 시선 고정 시간, 총 시선 고정 비율을 각각 측정한다(S503).
그리고, 해당 환자와 정상 대조군에서의 시선운동 체류시간, 총 시선 고정 시간, 총 시선 고정 비율을 통계적으로 비교하여 t-test를 실시하고, P<0.05 이면 1, 아니면 0을 출력한다(S505).
도 8은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 제2 시선분석 태스크 진행 방법을 보여주는 흐름도이다. 도 8의 제2 시선분석 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 8을 참조하면, 제2 시선분석 태스크에서 환자에게 Rey-Osterieth complex figure를 보여주고 시선을 분석한다(S601).
Rey-Osterieth complex figure를 보여주고 시선을 분석한 결과, 환자군과 정상군에서 시선 운동 체류시간, 총 시선 고정 시간, 총 시선 고정 비율을 각각 측정한다(S603).
그리고, 해당 환자와 정상 대조군에서의 시선운동 체류시간, 총 시선 고정 시간, 총 시선 고정 비율을 통계적으로 비교하여 t-test를 실시하고, P<0.05 이면 1, 아니면 0을 출력한다(S605).
신속 보기(saccade) 현재 주시하고 있는 물체에서 다른 물체로 시선을 신속하게 옮기는 기능을 말하며, 주위환경을 탐색하거나 책을 읽는 것과 같은 일상활동에서 가장 중요한 역할을 하는 동향(conjugate) 눈 운동이다. 신속 보기의 조절에 관련된 시각정보는 시피질을 거쳐 뒤두정엽 피질과 전두엽으로 전달된다.이러한 내용을 바탕으로 신속 보기 장애로 대뇌 피질 기능의 이상을 평가할 수 있다. 신속 보기는 눈 운동범위, 속도, 정확성 및 잠복기로 평가할 수 있다. 특히 나이가 들면서 신속 보기의 정확도가 낮아지고 잠복기가 증가하는 것으로 알려져 있으며, 중추신경계의 기능감소가 그 원인이라고 할 수 있다. 따라서 치매 환자군과 정상군의 신속 보기의 눈 운동범위, 속도, 정확성 및 잠복기 등을 비교하고 정량화하여 치매와 정상인을 감별할 수 있는 디지털 바이오마커(digital biomarker)로 이용할 수 있다.
도 9는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 신속 보기 태스크 진행 방법을 보여주는 흐름도이다. 도 9의 신속 보기 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 9를 참조하면, 신속 보기(saccade) 태스크에서 눈동자 움직임 속도를 측정한다(S701).
그리고, 측정한 움직임 속도를 정상 대조군에서의 신속 보기 눈동자 움직임 속도와 비교하여, -1SD(standard deviation) 이하로 느려진 경우 1을 출력하고, -1SD 이상일 경우 0을 출력한다(S703).
부드러운 따라보기(smooth pursuit)는 망막 중심 오목(fovea)에서 천천히 움직이는 작은 물체를 따라 봄으로써, 물체의 상이 망막 중심 오목에서 안정되게 머물러 있게 하는 기능을 말한다. 부드러운 따라보기에 의한 안구의 이동 속도가 물체의 속도와 일치하지 않으면 물체를 따라잡기 위한 신속 보기가 발생한다. 부드러운 따라보기는 뇌의 기능장애를 나타내는 예민한 지표라고 할 수 있으므로,
치매환자에서 부드러운 따라보기의 기능 저하를 정량화하여 디지털 바이오마커(digital biomarker)로 이용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 부드러운 따라보기 태스크 진행 방법을 보여주는 흐름도이다. 도 10의 부드러운 따라보기 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 10을 참조하면, 부드러운 따라보기(smooth pursuit) 태스크에서 눈동자 움직임 속도를 측정한다(S801).
그리고, 측정한 움직임 속도를 정상 대조군에서의 부드러운 따라보기 눈동자 움직임 속도와 비교하여, -1SD(standard deviation) 이하로 느려진 경우 1을 출력하고, -1SD 이상일 경우 0을 출력한다(S803).
알츠하이머 병 환자에서 빛 자극이 있을 때 동공이 줄어드는 동공 반사 속도가 정상군에 비해 유의미하게 감소한다. 따라서 동공 반응 속도나 빛에 반응하는 동공의 크기 등을 정량화하여 치매군과 정상군에서 비교함으로써, 치매군을 감별하고 임상 상태를 측정하는 디지털 바이오마커(digital biomarker로 이용할 수 있다.
도 11은 본 발명의 일 실시예에 따른 치매 진단 시스템에서 동공 반사 태스크 진행 방법을 보여주는 흐름도이다. 도 11의 동공 반사 태스크에서는 통계학적 접근 방식으로 결과를 출력하는 실시예를 예시한다.
도 11을 참조하면, 동공 반사 태스크에서 빛에 의해 동공이 줄어드는 속도인 동공 반사 속도를 측정한다(S901).
그리고, 측정한 동공 반사 속도를 정상 대조군에서의 동공 반사 속도와 비교하여, -1SD(standard deviation) 이하로 느려진 경우 1을 출력하고, -1SD 이상일 경우 0을 출력한다(S903).
본 발명에서는 감정에 따른 표정변화를 이용하여 치매 환자의 감정을 진단하는 방법을 제안한다.
보통 치매 환자에서 무감동증(apathy)은 초기부터 나타나는 것으로 알려져 있다. 따라서 감정에 따른 표정 변화가 정상군에 비해서 치매환자에서 감소되어 있을 것으로 추정되고, 본 발명에서는 이를 정량화하여 디지털 마커(digital marker)로 이용할 수 있다.
도 12는 본 발명의 일 실시예에 따른 치매 진단 시스템에서 치매 환자의 감정 평가 방법을 보여주는 흐름도이다.
도 12를 참조하면, FACS에 기반하여 얼굴 표정에서 액션 유닛(action unit, AU) 별 얼굴 근육 긴장도를 분석한다(S1001). 액션 유닛 별 얼굴 근육 긴장도는 severity 1에서부터 4까지의 단계로 구분된다.
다음, 페이스 리더(face reader) 프로그램을 이용하여 치매 환자 얼굴의 얼굴표정 데이터로부터 7가지 기본 정서(happiness, sadness, anger, surprise, fear, disgust, neutral) 데이터를 정량화한다(S1003).
이렇게 정량화한 데이터를 기반으로 치매 환자의 BPSD(Behavioral & psychological symptoms of dementia)를 진단한다(S1005, S1007). 예를 들어, Sadness 70% 이상인 경우 moderate depression, sadness 50% 이상인 경우 mild depression, Anger 70% 이상인 경우 moderate aggression, Anger 50% 이상인 경우 mild aggression, Fear 70% 이상인 경우 moderate anxiety, fear 50% 이상인 경우 mild anxiety 로 진단할 수 있다.
이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
Claims (4)
- 사람의 시선을 추적하는 장치인 시선 추적기;사용자가 사용하는 단말로서, 유무선 통신망을 통해 서버와 통신 가능하고, 상기 서버로부터 치매 진단을 위한 전용 어플리케이션을 제공받아 설치할 수 있는 단말; 및치매 진단을 위한 전용 어플리케이션을 상기 단말에 제공하며, 상기 시선 추적기로부터 시선 추적 데이터를 수신하고, 상기 단말에 구비된 카메라로부터 얼굴 데이터를 수신하고, 시선 추적 데이터와 얼굴 데이터를 이용하여 해당 사용자의 치매 여부와 치매 중증 정도를 진단하고, 치매 환자의 감정을 평가하는 서버를 포함하는 치매 진단 시스템.
- 청구항 1에 있어서,상기 서버는 얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)의 페이스 리더(face reader) 프로그램을 이용하여 얼굴 데이터를 분석하는 것을 특징으로 하는 치매 진단 시스템.
- 청구항 2에 있어서,상기 서버는 수신한 시선 추적 데이터와 얼굴 데이터를 이용하여 하나 이상의 태스크를 수행하고, 각 태스크를 통해 나온 점수를 합산하여 치매 상태를 진단하는 것을 특징으로 하는 치매 진단 시스템.
- 청구항 2에 있어서,상기 서버는 상기 페이스 리더 프로그램을 이용하여 치매 환자 얼굴의 얼굴 표정 데이터로부터 하나 이상의 기본 정서 데이터를 정량화하고, 이를 기반으로 치매 환자의 BPSD(Behavioral & psychological symptoms of dementia)를 진단하는 것을 특징으로 하는 치매 진단 시스템.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220060866A KR20230161179A (ko) | 2022-05-18 | 2022-05-18 | 치매 진단 시스템 |
KR10-2022-0060866 | 2022-05-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023224333A1 true WO2023224333A1 (ko) | 2023-11-23 |
Family
ID=88835731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2023/006529 WO2023224333A1 (ko) | 2022-05-18 | 2023-05-15 | 치매 진단 시스템 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230161179A (ko) |
WO (1) | WO2023224333A1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160099140A (ko) * | 2015-02-11 | 2016-08-22 | 울산과학기술원 | 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템 |
JP2019055064A (ja) * | 2017-09-21 | 2019-04-11 | 日清オイリオグループ株式会社 | 診断支援情報提供装置及び診断支援情報提供方法 |
JP2021058573A (ja) * | 2019-10-08 | 2021-04-15 | サントリーホールディングス株式会社 | 認知機能予測装置、認知機能予測方法、プログラム及びシステム |
JP2022505373A (ja) * | 2018-10-19 | 2022-01-14 | エモリー ユニバーシティー | 視空間記憶および/または顕著性の自動受動評価のためのシステムおよび方法 |
KR20220021975A (ko) * | 2020-08-14 | 2022-02-23 | 정새보미 | 비대면 신경학적 질환 검진 서비스 제공 시스템 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102399505B1 (ko) | 2020-05-13 | 2022-05-18 | 류경희 | 치매 환자 케어 및 기록 지원 시스템 |
-
2022
- 2022-05-18 KR KR1020220060866A patent/KR20230161179A/ko active IP Right Grant
-
2023
- 2023-05-15 WO PCT/KR2023/006529 patent/WO2023224333A1/ko unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160099140A (ko) * | 2015-02-11 | 2016-08-22 | 울산과학기술원 | 치매의 자가 조기 진단 및 훈련을 위한 안구 운동 및 지각 기능 기반 가상현실 시스템 |
JP2019055064A (ja) * | 2017-09-21 | 2019-04-11 | 日清オイリオグループ株式会社 | 診断支援情報提供装置及び診断支援情報提供方法 |
JP2022505373A (ja) * | 2018-10-19 | 2022-01-14 | エモリー ユニバーシティー | 視空間記憶および/または顕著性の自動受動評価のためのシステムおよび方法 |
JP2021058573A (ja) * | 2019-10-08 | 2021-04-15 | サントリーホールディングス株式会社 | 認知機能予測装置、認知機能予測方法、プログラム及びシステム |
KR20220021975A (ko) * | 2020-08-14 | 2022-02-23 | 정새보미 | 비대면 신경학적 질환 검진 서비스 제공 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR20230161179A (ko) | 2023-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kulke et al. | A comparison of the Affectiva iMotions Facial Expression Analysis Software with EMG for identifying facial expressions of emotion | |
Oberman et al. | Slow echo: facial EMG evidence for the delay of spontaneous, but not voluntary, emotional mimicry in children with autism spectrum disorders | |
US20040210159A1 (en) | Determining a psychological state of a subject | |
US20190239791A1 (en) | System and method to evaluate and predict mental condition | |
Pilowsky et al. | Schizophrenia and the response to facial emotions | |
US20110109879A1 (en) | Multivariate dynamic profiling system and methods | |
Fontaine et al. | Artificial intelligence to evaluate postoperative pain based on facial expression recognition | |
Annen et al. | Brain-computer interfaces for consciousness assessment and communication in severely brain-injured patients | |
DiGirolamo et al. | Clarifying the relationship between trait empathy and action-based resonance indexed by EEG mu-rhythm suppression | |
CN112957042A (zh) | 一种非接触式目标情绪识别的方法及*** | |
WO2019225910A1 (ko) | Nihss를 이용한 뇌졸중 중증도의 예측 및 분석 방법과 시스템 | |
Storbeck et al. | Delayed recognition of emotional facial expressions in Bell's palsy | |
US20240050006A1 (en) | System and method for prediction and control of attention deficit hyperactivity (adhd) disorders | |
WO2020128999A1 (en) | System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence | |
Bruchmann et al. | Increased early and late neuronal responses to aversively conditioned faces across different attentional conditions | |
CN115299947A (zh) | 基于多模态生理数据的心理量表置信度评估方法及*** | |
Baránková et al. | Analysis of spontaneous facial expression of compassion elicited by the video stimulus: Facial expression of compassion | |
Pan et al. | Multiple scale convolutional few-shot learning networks for online P300-based brain–computer interface and its application to patients with disorder of consciousness | |
WO2021201582A1 (ko) | 피부 병변의 원인 분석 방법 및 장치 | |
WO2023224333A1 (ko) | 치매 진단 시스템 | |
WO2023243873A9 (ko) | 섬망 발생 예측 방법 및 이를 이용한 섬망 발생 예측용 장치 | |
Lin et al. | Objective pain measurement based on physiological signals | |
Li et al. | Eye Tracking methodology for diagnosing neurological diseases: a survey | |
Zhou et al. | Gaze Patterns in Children With Autism Spectrum Disorder to Emotional Faces: Scanpath and Similarity | |
Mi et al. | Reduction of phonetic mismatch negativity may depict illness course and predict functional outcomes in schizophrenia |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23807852 Country of ref document: EP Kind code of ref document: A1 |