WO2023214545A1 - 認知機能評価システム - Google Patents
認知機能評価システム Download PDFInfo
- Publication number
- WO2023214545A1 WO2023214545A1 PCT/JP2023/016874 JP2023016874W WO2023214545A1 WO 2023214545 A1 WO2023214545 A1 WO 2023214545A1 JP 2023016874 W JP2023016874 W JP 2023016874W WO 2023214545 A1 WO2023214545 A1 WO 2023214545A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- subject
- task
- unit
- answer
- cognitive function
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 91
- 230000003920 cognitive function Effects 0.000 title claims abstract description 65
- 210000004556 brain Anatomy 0.000 claims abstract description 80
- 230000033001 locomotion Effects 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000005259 measurement Methods 0.000 claims abstract description 39
- 239000000284 extract Substances 0.000 claims abstract description 26
- 230000001149 cognitive effect Effects 0.000 claims abstract description 13
- 230000009977 dual effect Effects 0.000 claims description 63
- 206010012289 Dementia Diseases 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 28
- 208000010877 cognitive disease Diseases 0.000 claims description 22
- 208000027061 mild cognitive impairment Diseases 0.000 claims description 21
- 238000012545 processing Methods 0.000 description 69
- 238000004891 communication Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 27
- 230000004044 response Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 18
- 231100000870 cognitive problem Toxicity 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000013480 data collection Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000009829 Lewy Body Disease Diseases 0.000 description 1
- 201000002832 Lewy body dementia Diseases 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000006999 cognitive decline Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
Definitions
- the present invention relates to a cognitive function evaluation system.
- Non-Patent Document 1 discloses a system that uses dual tasks to detect a decline in cognitive function at an early stage. Specifically, the system in Non-Patent Document 1 calculates 12 types of dementia-related characteristics from data collected by having subjects perform single tasks and dual tasks, and uses machine learning to calculate MMSE (Mini- Mental State Examination) score is estimated.
- MMSE Mini- Mental State Examination
- Non-Patent Document 1 does not have sufficient accuracy. Therefore, there is room for improvement.
- the present invention has been made in view of the above problems, and its purpose is to provide a cognitive function evaluation system that can more accurately evaluate the cognitive function of a subject.
- a cognitive function evaluation system includes a motion detection section, an answer detection section, a measurement section, and an evaluation section.
- the motion detection unit captures an image of a subject performing a predetermined task and generates image data.
- the answer detection unit detects an answer to a predetermined cognitive question by the subject performing the predetermined task.
- the measurement unit measures brain waves of the subject.
- the evaluation unit extracts the characteristics of the test subject's movement from the imaging data, extracts the characteristics of the answer by the test subject from the answer detected by the answer detection unit, and extracts the characteristics of the movement and the characteristics of the answer. , and evaluating the cognitive function of the subject based on the brain waves.
- the predetermined tasks include a motor task and an intellectual task.
- the exercise task imposes a predetermined exercise on the subject.
- the intelligence task requires the subject to answer the predetermined cognitive question.
- the evaluation unit extracts motion characteristics of the subject from the imaging data of the subject performing the exercise task.
- the evaluation unit classifies the subject into a dementia class and a mild cognitive impairment and non-dementia class.
- the evaluation unit classifies the subject into a dementia and mild cognitive impairment class and a non-dementia class.
- the predetermined task includes a dual task in which the subject is simultaneously tasked with the motor task and the intellectual task.
- the motion detection unit images the subject performing the dual task.
- the answer detection unit detects the answer of the subject who is performing the dual task.
- the brain waves include brain waves when the subject is at rest, brain waves when the subject is performing the motor task, brain waves when the subject is performing the intellectual task, and at least one of brain waves when the subject is performing the dual task.
- the evaluation unit extracts a signal of a specific frequency from the brain waves measured by the measurement unit, and based on the characteristics of the movement, the characteristics of the answer, and the signal of the specific frequency, Assess the subject's cognitive function.
- the evaluation unit divides the brain waves measured by the measurement unit into a plurality of pieces.
- the evaluation unit divides the brain waves measured by the measurement unit while sliding a window with a fixed width.
- the amount of sliding is less than the width of the window.
- the cognitive function of a subject can be evaluated with higher accuracy.
- FIG. 3 is a flowchart showing preprocessing.
- FIG. 3 is a diagram showing samples after preprocessing that are input to a learned model.
- (a) is a diagram showing an example of raw data.
- FIG. 1 is a diagram showing a model generation system that generates a trained model.
- FIG. 1 is a block diagram showing part of the configuration of a model generation system.
- FIG. 2 is a block diagram showing the configuration of an evaluation section during learning.
- FIGS. 1A and 1B are diagrams showing a cognitive function evaluation system 100 of this embodiment.
- the cognitive function evaluation system 100 evaluates the cognitive function of subject SJ.
- the cognitive function evaluation system 100 of this embodiment classifies the subject SJ into a dementia and mild cognitive impairment (MCI) class and a non-dementia class.
- MCI dementia and mild cognitive impairment
- the cognitive function evaluation system 100 of the present embodiment classifies the subject SJ into a dementia class and a mild cognitive impairment and non-dementia class.
- mild cognitive impairment is a pre-dementia stage and represents a state intermediate between a normal state and a dementia state.
- mild cognitive impairment refers to a state in which cognitive functions such as memory and attention are reduced, but the decline is not to the extent that it interferes with daily life.
- the cognitive function evaluation system 100 of this embodiment includes a task presentation unit 10.
- the task presentation unit 10 presents a task to be performed by the subject SJ.
- the task presentation unit 10 includes a display such as a liquid crystal display.
- the task presentation unit 10 causes the display to display a screen showing a task to be performed by the subject SJ. Note that the display is installed, for example, in front of the subject SJ.
- the tasks (predetermined tasks) that the subject SJ is made to perform include dual tasks.
- the dual task is a task in which a motor task and an intellectual task are simultaneously imposed on the subject SJ.
- the exercise task is a task that requires subject SJ to perform a predetermined exercise.
- the intelligence task is a task that requires the subject SJ to answer a predetermined cognitive question.
- the predetermined exercise is, for example, stepping on the spot, walking, running, or skipping.
- the predetermined cognitive problem is, for example, a calculation problem, a location memory problem, or a rock-paper-scissors problem.
- the tasks (predetermined tasks) to be performed by the subject SJ include an intellectual task (single task), a motor task (single task), and a dual task.
- subject SJ performs an intellectual task, a motor task, and a dual task successively in this order.
- subject SJ performs an intelligence task (single task) for a predetermined period of time (for example, 30 seconds). Thereafter, subject SJ performs a motor task (single task) for a predetermined period of time (for example, 20 seconds). Finally, subject SJ performs the dual task for a predetermined period of time (eg, 30 seconds).
- an intelligence task for a predetermined period of time (for example, 30 seconds).
- a motor task for a predetermined period of time (for example, 20 seconds).
- subject SJ performs the dual task for a predetermined period of time (eg, 30 seconds).
- the time during which subject SJ is allowed to perform an intellectual task may be referred to as “intellectual task performance time.”
- the time required for subject SJ to perform a motor task may be described as “motor task performance time.”
- the time during which the subject SJ is required to perform the dual task may be referred to as “dual task performance time.”
- the length of the intelligent task execution time is arbitrary.
- the lengths of the motor task performance time and dual task performance time are also arbitrary.
- the cognitive problems imposed on the subject SJ in the intelligence task are the same cognitive problems as the intelligence tasks included in the dual task.
- the exercise imposed on the subject SJ in the exercise task (single task) is the same exercise as the exercise task included in the dual task.
- the cognitive questions imposed on subject SJ in the intelligence task (single task) may be different from the intelligence tasks included in the dual task.
- the exercise imposed on subject SJ in the exercise task (single task) may be different from the exercise task included in the dual task.
- the cognitive function evaluation system 100 of this embodiment will be further described with reference to FIG. 1(a).
- the cognitive function evaluation system 100 further includes a motion detection section 20, an answer detection section 30, and an evaluation section 40.
- the motion detection unit 20 images the subject SJ performing a predetermined task and generates image data.
- the motion detection unit 20 may generate frames showing the three-dimensional coordinates of all joints of the photographed subject SJ in time series.
- the motion detection section 20 includes an imaging section 21 and a motion capture section 22.
- the imaging unit 21 images the subject SJ. Specifically, the imaging unit 21 images the subject SJ performing a dual task. In this embodiment, the imaging unit 21 further images the subject SJ who is performing a motor task (single task).
- the imaging unit 21 includes, for example, a CCD image sensor, a CMOS image sensor, or a range sensor.
- the imaging unit 21 is arranged, for example, in front of the subject SJ. By arranging the imaging unit 21 in front of the subject SJ, all joints of the subject SJ can be captured.
- the motion capture unit 22 converts the movements of each part of the subject SJ into vector data, and generates motion capture data that reflects the movements of each part of the subject SJ (motions of the subject SJ).
- the motion capture data is a continuous frame showing a human skeletal model that moves according to the motion of the subject SJ imaged by the imaging unit 21.
- the human body skeletal model represents the skeletal model of the subject SJ by a tree structure in which adjacent joints are linked based on the structure of the human body.
- the human skeleton model (frame) shows the three-dimensional coordinates of all the joints of the imaged subject SJ.
- the human skeleton model is a three-dimensional human skeleton model.
- the motion capture unit 22 includes, for example, a processor and a storage unit.
- the processor is, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
- the processor may further include a GPU (Graphics Processing Unit).
- the storage unit stores computer programs executed by the processor.
- the computer program includes a computer program that generates motion capture data from the output of the imaging unit 21.
- the storage unit includes, for example, semiconductor memories such as ROM (Read Only Memory) and RAM (Random Access Memory).
- the storage unit may further include VRAM (Video RAM).
- the answer detection unit 30 detects answers to predetermined cognitive questions by subject SJ who is performing a predetermined task. Specifically, the answer detection unit 30 detects the answer of the subject SJ who is performing the dual task. In this embodiment, the answer detection unit 30 further detects the answer of the subject SJ who is performing an intelligence task (single task).
- the answer detection unit 30 includes an answer switch for the left hand and an answer switch for the right hand.
- Subject SJ answers the cognitive questions presented by the task presentation unit 10 by pressing the right-hand answer switch or the left-hand answer switch.
- the left-handed answer switch may be held in the left hand of the subject SJ, or may be fixed to a handrail installed on the left side of the subject SJ.
- the right-hand answer switch may be held in the right hand of the subject SJ, or may be fixed to a handrail installed on the right side of the subject SJ.
- the evaluation unit 40 extracts the characteristics of the motion of the subject SJ from the imaging data generated by the motion detection unit 20.
- the evaluation unit 40 may extract the characteristics of the subject SJ's motion from the motion capture data generated by the motion capture unit 22.
- the evaluation unit 40 evaluates the characteristics of the spatial positional relationships of all the joints of the imaged subject SJ and the characteristics of the spatial positional relationships of all the joints of the imaged subject SJ, based on continuous frames showing a human skeletal model that moves according to the movements of the subject SJ. It is also possible to output motion characteristics indicating the characteristics of temporal fluctuations of all joints of the object.
- the evaluation unit 40 further extracts the characteristics of the answers given by the subject SJ from the answers detected by the answer detection unit 30. For example, the evaluation unit 40 may calculate response speed and correct answer rate as characteristics of the response based on the response detected by the response detection unit 30.
- the response speed indicates the number of times subject SJ answered per unit time.
- the unit time is, for example, 1 second.
- the correct answer rate indicates the ratio between the number of answers and the number of correct answers.
- the number of answers indicates the number of times subject SJ answered.
- the number of correct answers indicates the number of correct answers.
- the response speed is calculated based on the total time of the intellectual task performance time and the dual task performance time.
- response speed is calculated by calculating the sum of the number of times subject SJ answered when performing an intelligence task (single task) and the number of times subject SJ answered when performing a dual task, and the time to perform the intelligence task and the time to perform the dual task. Calculated by dividing by the total time.
- the correct answer rate is the sum of the number of times subject SJ answered when performing an intelligence task (single task), the number of times subject SJ answered when performing a dual task, and the number of times subject SJ answered when performing an intelligence task (single task). It shows the ratio of the number of times subject SJ answered correctly to a question to the total number of times subject SJ answered correctly to a question presented when performing a dual task.
- the cognitive function evaluation system 100 further includes a measurement unit 50.
- the measurement unit 50 measures the brain waves of the subject SJ. More specifically, the measurement unit 50 measures the brain waves of the subject SJ in time series, and generates the brain wave data BD that shows the brain waves of the subject SJ in the time series.
- the measurement unit 50 transmits the brain wave data BD to the evaluation unit 40 via wireless communication.
- the wireless communication standard is not particularly limited.
- the measurement unit 50 and the evaluation unit 40 may perform wireless communication based on a short-range wireless communication standard such as Bluetooth (registered trademark).
- the measurement unit 50 measures brain waves when the subject SJ is at rest, brain waves when the subject SJ is performing an intellectual task, brain waves when the subject SJ is performing a motor task, and , measure the brain waves of subject SJ while performing a dual task.
- the measurement time for brain waves during rest is, for example, 120 seconds.
- the measurement time for brain waves when performing an intellectual task is, for example, 30 seconds.
- the measurement time for brain waves when performing a motor task is, for example, 20 seconds.
- the measurement time for brain waves when performing a dual task is, for example, 30 seconds.
- the measurement unit 50 measures the brain waves of the subject SJ who is resting with his eyes closed. Note that the measurement unit 50 may measure the brain waves of the subject SJ who is resting with his eyes open.
- the measurement unit 50 includes a small electroencephalograph.
- a compact electroencephalograph is an electroencephalograph having ten or fewer electrodes.
- the measurement unit 50 includes a patch-type electroencephalograph.
- the patch-type electroencephalogram is a wet type.
- a patch-type electroencephalograph has, for example, four electrodes. Of the four electrodes, three electrodes are placed on the forehead of subject SJ. The remaining one electrode is placed on the left ear of subject SJ.
- a patch-type electroencephalograph includes an adhesive electrode sheet. When measuring brain waves, an electrode sheet is pasted on the forehead of subject SJ. Three electrodes are provided on the electrode sheet.
- the number of electrodes can be reduced compared to a type of electroencephalograph in which electrodes are placed over the entire scalp of the subject SJ. Therefore, attachment of the electrode becomes easy. Therefore, subject SJ can wear the electroencephalograph by himself/herself.
- the small electroencephalograph is lighter than a type of electroencephalograph in which electrodes are placed over the entire scalp of the subject SJ, so that the burden on the subject SJ can be reduced.
- the small electroencephalograph is lightweight, the position of the electrodes is unlikely to shift even if the subject SJ exercises.
- an electrode is placed on the forehead of subject SJ. Since the forehead has few irregularities, it is easy for the electrodes to come into close contact with it. Therefore, the position of the electrode is less likely to shift.
- the evaluation unit 40 evaluates the cognitive function of the subject SJ based on the characteristics of the movements of the subject SJ, the characteristics of the answers given by the subject SJ, and the brain waves of the subject SJ (electroencephalogram data BD). In this embodiment, the evaluation unit 40 classifies the subject SJ into a dementia and mild cognitive impairment class and a non-dementia class. Alternatively, the evaluation unit 40 classifies the subject SJ into a dementia class and a mild cognitive impairment and non-dementia class.
- MMSE Minimum Mental State Examination
- the MMSE score is 23 points or less, it is judged that dementia is suspected, and if the MMSE score is higher than 23 points and 27 points or less, it is judged as mild dementia. It is determined that there is a suspicion of disability. Furthermore, if the MMSE score is higher than 27 points, the patient is determined to be non-demented.
- FIGS. 2(a) to 2(d) are diagrams showing examples of tasks that the task presentation unit 10 presents to the subject SJ.
- the exercise given to the subject SJ is "stepping"
- the cognitive problem given to the subject SJ is a "calculation problem”.
- the task presentation unit 10 first displays a first notification screen 11 that notifies the subject SJ of the start of the task.
- the task presentation unit 10 causes the subject SJ to perform an intelligence task (single task).
- the task presentation unit 10 displays a problem presentation screen 12a that presents cognitive questions.
- the problem presentation screen 12a presents calculation problems.
- the task presentation unit 10 displays a subtraction problem on the display as a calculation problem.
- the calculation problem is a subtraction problem, but the calculation problem is not limited to a subtraction problem.
- the calculation problem may be an addition problem.
- the calculation problem may include a subtraction problem and an addition problem.
- the task presentation unit 10 finishes presenting the calculation problem (cognitive problem) at a predetermined timing. Specifically, the task presentation unit 10 erases the question presentation screen 12a from the display. After erasing the question presentation screen 12a from the display, the task presentation unit 10 displays an answer candidate presentation screen 12b showing two answer candidates. Subject SJ presses one of the two answer switches to select an answer.
- the task presentation unit 10 When subject SJ selects an answer, the task presentation unit 10 presents a calculation problem (cognitive problem) as the next question, which is different from the calculation problem (cognitive problem) that was answered this time. Thereafter, the calculation questions (cognitive questions) to be answered by the subject SJ are repeatedly presented until the predetermined intelligence task performance time has elapsed.
- the task presentation unit 10 presents the motor task (single task) to the subject SJ. Specifically, the task presentation unit 10 displays an exercise presentation screen 13 that presents an exercise to be imposed on the subject SJ. In the examples shown in FIGS. 2(a) to 2(d), the exercise presentation screen 13 presents stepping.
- the task presentation unit 10 causes the subject SJ to perform a dual task (single task) after a predetermined motor task performance time has elapsed.
- the exercise imposed on subject SJ in the dual task is the same as the exercise imposed on subject SJ in the exercise task (single task).
- the cognitive problems imposed on the subject SJ in the dual task are the same as the cognitive problems imposed on the subject SJ in the intelligence task (single task). Therefore, after the predetermined motor task performance time has elapsed, the task presentation unit 10 waits for the subject SJ to answer until the predetermined dual task performance time elapses, as explained with reference to FIG. 2(b). Repeat the presentation of computational problems (cognitive problems).
- the task presentation unit 10 displays a second notification screen 14 on the display to inform the subject SJ of the end of the task.
- the cognitive problems presented by the task presentation unit 10 are not limited to calculation problems.
- the recognition problem may be a location memory problem or a rock-paper-scissors problem.
- FIG. 3 is a diagram showing another example of the cognitive problem that the task presentation unit 10 presents to the subject SJ.
- the recognition problem is a "location memory problem.”
- the task presentation unit 10 displays a problem presentation screen 12a in which a figure is placed in one of four areas in which a figure can be placed.
- the task presentation unit 10 After erasing the question presentation screen 12a from the display, the task presentation unit 10 displays an answer candidate presentation screen 12b in which a figure is placed in one of four areas in which a figure can be placed.
- the answer candidate presentation screen 12b displays "Yes” and “No” as two answer candidates along with the question statement.
- the question text indicates a question that can be answered with "yes” or "no.”
- the subject SJ is asked whether the positions where the figures are placed are the same between the question presentation screen 12a and the answer candidate presentation screen 12b.
- the subject SJ judges that the position where the figure was placed is the same between the question presentation screen 12a and the answer candidate presentation screen 12b, he presses the answer switch for his left hand and selects "Yes”.
- the subject SJ determines that the position of the figure is different between the question presentation screen 12a and the answer candidate presentation screen 12b, he presses the right answer switch and selects "No.”
- the task presentation unit 10 displays one of "goo,” “choki,” and “pa” on the problem presentation screen 12a. Display. Then, the task presentation unit 10 displays one of "goo", “choki”, and “pa”, the question sentence, and "yes” and "no” on the answer candidate presentation screen 12b. On the answer candidate presentation screen 12b, for example, the subject SJ is asked whether the finger pose displayed on the answer candidate presentation screen 12b can beat the finger pose displayed on the question presentation screen 12a.
- FIGS. 4(a) to 4(d) are diagrams showing examples of brain wave data BD of subject SJ.
- FIG. 4(a) shows an example of electroencephalogram data BD measured during rest.
- FIG. 4(b) shows an example of brain wave data BD measured when performing an intelligence task. More specifically, FIG. 4(b) shows an example of electroencephalogram data BD when answering a calculation problem.
- FIG. 4(c) shows an example of electroencephalogram data BD measured during execution of a motor task. More specifically, FIG. 4(c) shows an example of electroencephalogram data BD during stepping.
- FIG. 4(d) shows an example of electroencephalogram data BD measured when performing a dual task. More specifically, FIG. 4(d) shows an example of electroencephalogram data BD when the user is answering a calculation problem while stepping.
- the horizontal axis indicates measurement time.
- the vertical axis indicates the voltage value of the electroencephalogram.
- brain waves are activated when performing a task compared to when a person is at rest.
- brain waves are most active when performing dual tasks.
- the brain wave data BD includes noise such as power supply noise and myoelectricity.
- brain waves when performing motor tasks and dual tasks contain a lot of myoelectric noise.
- the voltage value of brain waves varies greatly from person to person.
- FIGS. 5A and 5B are block diagrams showing the configuration of the cognitive function evaluation system 100 of this embodiment. Specifically, FIG. 5(a) shows the configuration of the evaluation section 40. FIG. 5(b) shows data input to the learned model TM and data output from the learned model TM.
- the cognitive function evaluation system 100 further includes an identification information acquisition section 60 and an output section 70. Furthermore, the evaluation section 40 includes a communication section 41, a storage section 42, and a processing section 43.
- the identification information acquisition unit 60 acquires the identification information assigned to the subject SJ.
- the identification information acquisition unit 60 includes, for example, a card reader, a keyboard, or a touch panel.
- the identification information acquisition unit 60 is a card reader
- the subject SJ causes the card reader to read the identification information carried on the card.
- the identification information acquisition unit 60 is a keyboard or a touch panel
- the subject SJ operates the keyboard or touch panel to input the identification information assigned to him or herself.
- the output unit 70 outputs the evaluation result of the cognitive function of the subject SJ.
- the evaluation results include the classification results of cognitive functions.
- the classification result indicates the class into which the cognitive function of the subject SJ is classified. Specifically, the cognitive function of subject SJ is classified into a dementia class and a mild cognitive impairment and non-dementia class. Alternatively, the cognitive function of subject SJ is classified into a dementia and mild cognitive impairment class and a non-dementia class.
- the output unit 70 is, for example, a printer. The printer prints and outputs the evaluation result of the cognitive function of the subject SJ on paper.
- the communication unit 41 receives the brain wave data BD from the measurement unit 50 and inputs the received brain wave data BD to the processing unit 43.
- the communication unit 41 is capable of wireless communication with communication devices compliant with the same communication standard.
- the communication unit 41 performs wireless communication based on a short-range wireless communication standard such as Bluetooth (registered trademark).
- the communication unit 41 includes, for example, a wireless LAN adapter.
- the storage unit 42 stores computer programs and various data.
- the storage unit 42 includes, for example, a semiconductor memory.
- Semiconductor memories include, for example, RAM and ROM.
- the semiconductor memory may further include VRAM.
- the storage unit 42 may further include an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
- the storage unit 42 stores the evaluation results of the cognitive function of each subject SJ in association with the identification information assigned to each subject SJ. In other words, the storage unit 42 stores the history of the evaluation results of the cognitive function of each subject SJ.
- the storage unit 42 stores the learned model TM.
- the trained model TM is a computer program that evaluates the cognitive function of the subject SJ based on the subject SJ's movements (imaging data), the characteristics of the answers given by the subject SJ, and the brain waves of the subject SJ (electroencephalogram data BD). .
- the machine learning algorithm for constructing the trained model TM is not particularly limited as long as it is supervised learning, and may be, for example, a decision tree, nearest neighbor method, naive Bayes classifier, support vector machine, or neural network. be.
- the trained model TM includes a decision tree, a nearest neighbor method, a naive Bayes classifier, a support vector machine, or a neural network.
- a neural network includes an input layer, one or more hidden layers, and an output layer.
- neural networks include deep neural networks (DNNs), recurrent neural networks (RNNs), and convolutional neural networks (CNNs).
- rk deep neural networks
- Transformer convolutional neural networks
- space-time graph It includes at least one graph convolutional neural network, such as a Spatio-temporal Graph Convolutional Neural Network (ST-GCN), to perform deep learning.
- ST-GCN Spatio-temporal Graph Convolutional Neural Network
- a deep neural network includes an input layer, multiple hidden layers, and an output layer.
- the processing unit 43 performs various processes such as numerical calculation, information processing, and device control by executing the computer program stored in the storage unit 42.
- the processing unit 43 may include, for example, a CPU or an MPU.
- the processing unit 43 may further include a GPU, or may further include an NPU (Neural Network Processing Unit).
- the processing unit 43 may include a quantum computer.
- the processing unit 43 sends the information to the task presentation unit 10 as described with reference to FIGS. 2(a) to 2(d) and FIG. Display various screens.
- the processing unit 43 inputs the imaging data output from the motion detection unit 20 to the learned model TM. Furthermore, the processing unit 43 extracts features from the answers detected by the answer detection unit 30 and generates answer feature data. Then, the processing unit 43 inputs the answer feature data to the learned model TM. Furthermore, the processing unit 43 inputs the electroencephalogram data BD received from the measurement unit 50 to the learned model TM.
- the processing unit 43 extracts continuous frames obtained when performing a motor task (single task) and continuous frames obtained when performing a dual task.
- the frames are extracted and input to the trained model TM.
- the number of frames of the exercise task (single task) is, for example, 160 frames.
- the number of frames for the dual task is, for example, 260 frames.
- the processing unit 43 calculates the response speed and correct answer rate as the characteristics of the answer based on the answer detected by the answer detection unit 30. Then, the processing unit 43 inputs data indicating the response speed and data indicating the correct answer rate to the trained model TM as response feature data.
- the characteristics of the answers are not limited to answer speed and correct answer rate.
- the characteristic of the answer may be only one of the answer speed and the correct answer rate.
- the response characteristics include at least one of the number of responses, the number of correct responses, the average response time interval, and the standard deviation of the response time intervals, instead of or in addition to the response speed and correct response rate. May contain one.
- the response time interval is the time interval required from when the task presentation unit 10 presents the answer candidate presentation screen 12b described with reference to FIGS. 2(b) and 3 until the subject SJ presses the answer switch. shows.
- the processing unit 43 preprocesses the electroencephalogram data BD and inputs the preprocessed electroencephalogram data BD to the learned model TM.
- the electroencephalogram data BD before preprocessing will be referred to as "raw data RBD.”
- the electroencephalogram data BD shown in FIGS. 4(a) to 4(d) are raw data RBD.
- the trained model TM outputs an evaluation result when the imaging data (motion capture data), response feature data, and brain wave data BD (brain wave data BD after preprocessing) are input.
- the processing unit 43 obtains the evaluation result of the cognitive function of the subject SJ.
- the trained model TM extracts the characteristics of the subject SJ's motion from the imaging data (motion capture data).
- the learned model TM may extract features of the spatial positional relationship of all the joints of the imaged subject SJ and characteristics of temporal fluctuations of all the joints of the imaged subject SJ.
- the learned model TM extracts the characteristics of the brain waves of the subject SJ from the preprocessed brain wave data BD.
- the learned model TM outputs an evaluation result based on the characteristics of the motion of the subject SJ, the characteristics of the answers given by the subject SJ, and the characteristics of the brain waves of the subject SJ.
- the trained model TM may output the evaluation result through majority voting processing.
- different "weights" may be given to a plurality of labels that are candidates for majority voting.
- the processing unit 43 Upon acquiring the evaluation result of the cognitive function of the subject SJ, the processing unit 43 causes the output unit 70 to output the evaluation result of the cognitive function of the subject SJ. Note that the processing unit 43 may cause the output unit 70 to output the history of the evaluation results of the cognitive function of the subject SJ.
- the history of evaluation results output by the output unit 70 may be expressed in a table format or a graph format.
- the processing unit 43 After evaluating the cognitive function of the subject SJ, the processing unit 43 causes the storage unit 42 to store the evaluation result of the cognitive function of the subject SJ in association with the identification information. As a result, the storage unit 42 stores the history of the evaluation results of the cognitive function of the subject SJ in association with the identification information.
- FIG. 6 is a flowchart showing preprocessing.
- FIG. 7 is a diagram showing the preprocessed sample SA input to the trained model TM.
- the preprocessing shown in FIG. 6 is the raw data RBD of subject SJ at rest, the raw data RBD of subject SJ when performing an intellectual task, the raw data RBD of subject SJ when performing a motor task, and the raw data RBD when subject SJ is performing a dual task.
- the process starts when the raw data RBD of is input to the processing unit 43.
- the processing unit 43 processes A dividing process is performed to divide each raw data RBD into a plurality of pieces (N pieces) (step S1).
- the divided raw data RBD may be referred to as "divided raw data BS.”
- the processing unit 43 After the combination processing, the processing unit 43 performs filtering processing on each sample SA (step S3), and ends the preprocessing shown in FIG. 6. Then, the processing unit 43 inputs each sample SA after the filtering process to the learned model TM.
- the processing unit 43 extracts a signal of a specific frequency from each sample SA. Specifically, the processing unit 43 performs bandpass filtering using a function based on inverse Fourier transform.
- the inverse Fourier transform may be an inverse fast Fourier transform.
- the processing unit 43 extracts ⁇ waves (frequency: 4 Hz or more and less than 8 Hz), ⁇ waves (8 Hz or more and less than 13 Hz), and ⁇ waves (13 Hz or more and less than 30 Hz) from each sample SA. Then, as shown in FIG. 7, the processing unit 43 inputs the ⁇ waves, ⁇ waves, and ⁇ waves extracted from each sample SA to the trained model TM.
- the learned model TM may extract the features of ⁇ waves, ⁇ waves, and ⁇ waves as the brain wave features of the subject SJ.
- the theta waves, the alpha waves, and the beta waves may be input to different convolutional neural networks (CNNs).
- CNNs convolutional neural networks
- the processing unit 43 may perform normalization processing on each divided raw data BS after the division processing.
- the normalization process is Min-Max normalization.
- the normalization process can suppress erroneous determinations caused by individual differences in brain wave voltage values.
- FIG. 8(a) is a diagram showing an example of raw data RBD.
- FIG. 8(b) is a diagram showing an example of a ⁇ wave.
- FIG. 8(b) shows an example of the ⁇ wave extracted from the raw data RBD shown in FIG. 8(a).
- FIG. 8(c) is a diagram showing an example of ⁇ waves.
- FIG. 8(c) shows an example of ⁇ waves extracted from the raw data RBD shown in FIG. 8(a).
- FIG. 8(d) is a diagram showing an example of a ⁇ wave.
- FIG. 8(a) is a diagram showing an example of raw data RBD.
- FIG. 8(b) is a diagram showing an example of a ⁇ wave.
- FIG. 8(b) shows an example of the ⁇ wave extracted from the raw data RBD shown in FIG. 8(a).
- FIG. 8(c) is a diagram showing an example of a ⁇ wave.
- FIG. 8(b) is a diagram showing an
- FIG. 8(d) shows an example of the ⁇ wave extracted from the raw data RBD shown in FIG. 8(a). Note that in FIGS. 8(a) to 8(d), the horizontal axis indicates measurement time. The vertical axis indicates the voltage value of the electroencephalogram.
- FIGS. 8(b) to 8(d) noise components have been removed from the ⁇ waves, ⁇ waves, and ⁇ waves, so the raw data shown in FIGS. 4(b) to 4(c) Compared to RBD, this waveform shows more clearly the characteristics of subject SJ's brain waves at rest, when performing an intellectual task, when performing a motor task, and when performing a dual task.
- noise included in the raw data RBD can be removed by filtering processing.
- the cognitive function of subject SJ can be evaluated with higher accuracy.
- the raw data RBD may contain noise such as artifacts caused by blinking or eye movements, myoelectricity caused by movements such as stepping, and power supply noise.
- FIGS. 9A and 9B are diagrams showing the division process. Note that in FIGS. 9(a) and 9(b), the horizontal axis indicates measurement time. The vertical axis indicates the voltage value of the electroencephalogram.
- the processing unit 43 divides the raw data RBD into a plurality of pieces (N pieces) by sliding window processing, and divides the raw data RBD into a plurality of pieces (N pieces) of divided raw data.
- BSs (BS1 to BSn) may be generated.
- the sliding window process is a process of dividing the raw data RBD into multiple pieces (N pieces) while sliding a window W with a fixed width (window size M) by a fixed sliding amount (slide size S). shows.
- the window size M is, for example, 6 seconds.
- the slide size S is, for example, 3 seconds.
- the slide size S (slide amount) is smaller than the window size M (width of the window W). Therefore, two pieces of divided raw data BS that are adjacent to each other in the time axis direction partially overlap with each other.
- the window size M width of the window W. Therefore, two pieces of divided raw data BS that are adjacent to each other in the time axis direction partially overlap with each other.
- FIG. 9B divided raw data BS1 and divided raw data BS2 that are adjacent in the time axis direction partially overlap with each other.
- the imaging data when performing a motor task the answer data when performing an intellectual task, and the imaging data and answer when performing a dual task.
- the cognitive function of the subject SJ can be evaluated by considering the electroencephalogram data BD. Therefore, the cognitive function of subject SJ can be evaluated with higher accuracy.
- the value of can be set to 1.7 or more.
- Sensitivity P1 is calculated by the following equation (2).
- the specificity P2 is calculated by the following equation (3).
- Sensitivity P1 NTP /( NTP + NFN )...(2)
- Specificity P2 N TN /(N TN +N FP )...(3)
- N TP indicates the number of people who were correctly predicted to be positive.
- N TN indicates the number of people who were correctly predicted to be negative.
- NFP indicates the number of people incorrectly predicted to be positive.
- NFN indicates the number of people incorrectly predicted to be negative.
- FIG. 10 is a diagram showing a model generation system 200 that generates a trained model TM.
- the model generation system 200 includes a task presentation section 10, a motion detection section 20, an answer detection section 30, an evaluation section 40, a measurement section 50, an identification information acquisition section 60, and a data collection section 10. 80.
- the task presentation unit 10 presents the task to the subject SJ, as described with reference to FIGS. 1 to 9.
- the motion detection unit 20 generates imaging data as described with reference to FIGS. 1 to 9.
- the answer detection unit 30 detects the answer to a predetermined cognitive question by the subject SJ, as described with reference to FIGS. 1 to 9.
- the measurement unit 50 generates the brain wave data BD of the subject SJ, as described with reference to FIGS. 1 to 9.
- the identification information acquisition unit 60 acquires the identification information of the subject SJ, as described with reference to FIGS. 1 to 9.
- the data collection unit 80 generates learning data by collecting, for example, data obtained by subject SJ performing an intellectual task, a motor task, and a dual task, and brain wave data BD of subject SJ.
- the data collection unit 80 collects the output (imaging data) of the motion detection unit 20. Further, the data collection unit 80 extracts and collects characteristics of the answers of the subject SJ from the output of the answer detection unit 30. Furthermore, the data collection unit 80 preprocesses the brain wave data BD during rest, when performing a motor task, when performing an intellectual task, and when performing a dual task, and extracts theta waves, alpha waves, and beta waves of each sample SA. collect. Note that the data collected by the data collection unit 80 may include a plurality of data obtained from the same subject SJ.
- FIG. 11 is a block diagram showing part of the configuration of the model generation system 200. Specifically, FIG. 11 shows the configuration of the data collection section 80. As shown in FIG. 11, the data collection section 80 includes a communication section 81, an input section 82, a storage section 83, and a processing section 84. The data collection unit 80 is, for example, a server.
- the communication unit 81 receives the brain wave data BD from the measurement unit 50 and inputs the received brain wave data BD to the processing unit 84.
- the communication unit 81 is capable of wireless communication with communication devices compliant with the same communication standard.
- the communication unit 81 performs wireless communication based on a short-range wireless communication standard such as Bluetooth (registered trademark).
- the communication unit 81 includes, for example, a wireless LAN adapter.
- the input unit 82 is operated by a worker to input various information to the processing unit 84.
- the input unit 82 includes, for example, input devices such as a keyboard, a mouse, and a touch panel.
- the operator operates the input unit 82 to input label data (teacher data) used in supervised learning or semi-supervised learning.
- the worker uses a true value label (label data indicating positive) indicating that the label is classified into the dementia and mild cognitive impairment classes as label data (teacher data) and a label data indicating that the label is classified into the non-dementia class. Enter the true value label (label data indicating negative) indicating that it is classified.
- the worker can identify the true value label (label data indicating positive) indicating that the worker is classified into the dementia class and the true value label (label data indicating negative) indicating that the worker is classified into the mild cognitive impairment and non-dementia class. Enter the label data (indicating the label).
- subject SJ was asked to take a paper test (for example, MMSE paper test) and activities of daily living (ADL) in advance. This can be obtained by taking an evaluation test.
- a paper test for example, MMSE paper test
- ADL activities of daily living
- the storage unit 83 stores computer programs and various data.
- the storage unit 83 includes, for example, a semiconductor memory.
- Semiconductor memories include, for example, RAM and ROM.
- the semiconductor memory may further include VRAM.
- the storage unit 83 may further include an HDD or an SSD.
- the storage unit 83 stores the learning data acquired from each subject SJ in association with the identification information assigned to each subject SJ.
- the learning data includes the imaging data (motion capture data) described with reference to FIGS. 1 to 9, the answer feature data described with reference to FIGS. This includes the electroencephalogram data BD described above. More specifically, the learning data includes, as the brain wave data BD, the ⁇ waves, ⁇ waves, and ⁇ waves of each sample SA described with reference to FIGS. 1 to 9.
- the learning data further includes label data (teacher data) input from the input unit 82.
- the storage unit 83 may store, for example, a database of learning data. Note that a plurality of pieces of learning data obtained from the same subject SJ are managed as different data.
- the processing unit 84 executes a computer program stored in the storage unit 83 to perform various processes such as numerical calculation, information processing, and device control.
- the processing unit 84 may include, for example, a CPU or an MPU.
- the processing unit 84 may further include a GPU.
- the processing unit 84 causes the storage unit 83 to store the label data (teacher data) input from the input unit 82 in association with the identification information of the subject SJ.
- the processing unit 84 causes the task presentation unit 10 to display various screens as described with reference to FIGS. 2 and 3. Furthermore, the processing unit 84 acquires the imaging data generated by the motion detection unit 20, and stores it in the storage unit 83 in association with the identification information of the subject SJ. Further, the processing unit 84 extracts answer feature data from the output of the answer detection unit 30 and stores it in the storage unit 83 in association with the identification information of the subject SJ. Furthermore, the processing unit 84 extracts the ⁇ waves, ⁇ waves, and ⁇ waves of each sample SA from the electroencephalogram data BD generated by the measurement unit 50, and stores them in the storage unit 83 in association with the identification information of the subject SJ.
- the processing unit 84 generates learning data based on the collected data. Then, the processing unit 84 outputs the learning data to the evaluation unit 40 (see FIG. 10). Note that the processing unit 84 may generate data for mini-batch learning and output it to the evaluation unit 40.
- FIG. 12 is a block diagram showing the configuration of the evaluation section 40 during learning.
- the storage unit 42 stores the learning program TP during learning.
- the learning program TP is a program for finding a certain rule from the learning data and executing an algorithm (machine learning algorithm) for generating a model (learned model TM) expressing the rule.
- the machine learning algorithm is not particularly limited as long as it is supervised learning, such as a decision tree, nearest neighbor method, naive Bayes classifier, support vector machine, or neural network. Error backpropagation may be used for machine learning.
- the processing unit 43 executes the learning program TP using the learning data acquired from the data collection unit 80. As a result, learning is performed so that the true value label and the predicted label match, and a learned model TM is generated.
- the characteristics of the motion of the subject SJ are extracted from the imaging data by executing the learning program TP.
- the neural network constructed by the learning program TP is trained to generate the learned model TM.
- the learned model TM is generated by determining the value of a parameter (parameter value) included in the neural network to a value that minimizes the loss function.
- the ⁇ waves, ⁇ waves, and ⁇ waves may be trained by different convolutional neural networks (CNNs).
- subject SJ was made to perform an intellectual task (single task), a motor task (single task), and a dual task in this order; ), motor tasks (single task), and dual tasks can be interchanged.
- subject SJ was made to perform an intellectual task (single task), a motor task (single task), and a dual task, but the tasks that subject SJ was made to perform were Optional.
- subject SJ may be made to perform a dual task, an intellectual task (single task), a motor task (single task), and a dual task in this order.
- the subject SJ may be made to perform an intellectual task (single task) and a dual task, or may be made to perform a motor task (single task) and a dual task.
- the task that the subject SJ is made to perform may be only a dual task.
- subject SJ is made to perform an intelligence task (single task) and a dual task
- the order in which the subject SJ is made to perform the intelligence task (single task) and dual task is arbitrary.
- the order in which the subject SJ is made to perform the motor task (single task) and dual task is arbitrary.
- the task presentation section 10 has a display, but the task presentation section 10 may also have an audio output device.
- the answer detection section 30 has an answer switch, but the answer detection section 30 is not limited to an answer switch.
- the answer detection unit 30 may include a line-of-sight direction detection device or a sound collector.
- the viewing direction detection device includes a near-infrared LED and an imaging device.
- the near-infrared LED irradiates the eyes of subject SJ with near-infrared rays.
- the imaging device images the eyes of subject SJ.
- the processing unit 43 and the processing unit 84 analyze the image captured by the imaging device and detect the position of the pupil (direction of line of sight) of the subject SJ.
- the answer of the subject SJ can be obtained based on the voice generated by the subject SJ in response to the answer candidate presentation screen 12b shown in FIGS. 2(b) and 3.
- the processing unit 43 and the processing unit 84 can obtain the answer of the test subject SJ by converting the voice generated by the test subject SJ into text data through voice recognition processing.
- the recognition problem is not limited to a problem in which the subject SJ is asked to select one of two answer candidates.
- subject SJ may be asked to answer a calculation problem.
- the recognition questions may be questions in which answers are given using words. Questions that require you to answer words include, for example, the ⁇ shiritori question,'' ⁇ the question of naming words (e.g., words) that start with a sound (letter) arbitrarily selected from among the 50 syllabaries,'' or ⁇ the alphabet question.'' It may also be a question of ⁇ listing words (for example, words) that start with a randomly selected letter.''
- the measurement unit 50 transmitted the brain wave data BD to the evaluation unit 40 via wireless communication, but the measurement unit 50 evaluated the brain wave data BD via a cable. It may also be transmitted to the section 40. Similarly, the measuring section 50 may transmit the brain wave data BD to the data collecting section 80 via a cable.
- the measurement unit 50 measures brain waves when the subject SJ is at rest, brain waves when the subject SJ is performing an intellectual task, and electroencephalograms when the subject SJ is performing an intellectual task.
- the brain waves while subject SJ was performing a motor task and the brain waves while subject SJ was performing a dual task were measured. Any one or two of the brain waves when subject SJ is performing an intellectual task, the brain waves when subject SJ is performing a motor task, and the brain waves when subject SJ is performing a dual task. , or three brain waves may be measured.
- a patch type electroencephalograph was used, but the compact electroencephalograph is not limited to the patch type.
- an earplug type or headset type electroencephalograph may be used as a small electroencephalograph.
- a wet electroencephalograph was used, but a dry electroencephalograph may also be used.
- an electroencephalograph small electroencephalograph having 10 or less electrodes was used, but an electroencephalograph having 11 or more electrodes was used. You can.
- an electroencephalograph of a type in which electrodes are placed over the entire scalp of the subject SJ may be used.
- the output unit 70 is a printer, but the output unit 70 is not limited to a printer.
- the output unit 70 may be, for example, a communication unit that transmits an email indicating the evaluation result of the cognitive function of the subject SJ to an email address registered in advance by the subject SJ.
- the trained model TM extracts the motion characteristics of the subject SJ, but the processing unit 43 and the processing unit 84 extract the motion characteristics of the subject SJ. You can.
- the electroencephalogram data BD (raw data RBD) is divided into a plurality of pieces, but the electroencephalogram data BD (raw data RBD) does not need to be divided.
- theta wave, alpha wave, and beta wave components included in the brain waves were used, but among the theta wave, alpha wave, and beta wave, Any one or two of these may be used.
- the data collection unit 80 generates the learning data, but the evaluation unit 40 may generate the learning data.
- the evaluation unit 40 classifies the subject SJ into a dementia and mild cognitive impairment class and a non-dementia class, or a dementia class.
- the evaluation unit 40 may also classify subject SJ into the mild cognitive impairment class and the non-dementia class. may be classified into a dementia class, a mild cognitive impairment class, and a non-dementia class.
- the evaluation unit 40 classifies the subject SJ into a dementia and mild cognitive impairment class and a non-dementia class, or a dementia class.
- the evaluation unit 40 may classify the subject SJ according to the type of dementia.
- the evaluation unit 40 may classify subject SJ into Alzheimer's type dementia and Lewy body dementia.
- the present invention can be used for diagnosing mild cognitive impairment and dementia.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
被験者の認知機能を評価する認知機能評価システムを提供する。認知機能評価システム(100)は、動作検出部(20)、回答検出部(30)、測定部(50)、及び評価部(40)を備える。動作検出部(20)は、所定のタスクを遂行している被験者(SJ)を撮像して、撮像データを生成する。回答検出部(30)は、所定のタスクを遂行している被験者(SJ)による所定の認知問題に対する回答を検出する。測定部(50)は、被験者(SJ)の脳波を測定する。評価部(40)は、撮像データから被験者(SJ)の動作の特徴を抽出し、回答検出部(30)により検出された回答から被験者(SJ)による回答の特徴を抽出し、動作の特徴、回答の特徴、及び脳波に基づいて、被験者(SJ)の認知機能を評価する。所定のタスクは、所定の運動を被験者(SJ)に課す運動タスクと、所定の認知問題に対する回答を被験者(SJ)に課す知能タスクとを含む。
Description
本発明は、認知機能評価システムに関する。
認知機能の低下を早期に発見することは、認知症の進行を遅らせるために重要である。例えば、非特許文献1には、デュアルタスクを利用して認知機能の低下を早期に発見するシステムが開示されている。具体的には、非特許文献1のシステムは、シングルタスクとデュアルタスクとを被験者に遂行させて収集したデータから、認知症に関する12種類の特徴を算出し、機械学習を用いてMMSE(Mini-Mental State Examination)スコアを推定する。
松浦 拓 他6名、「デュアルタスク歩行解析に基づく高齢者の認知機能スコア推定」、電子情報通信学会、技術研究報告、川崎、Vol.119、No.HCS2019-99、pp.83-88、Mar.2020
しかしながら、非特許文献1のシステムでは、精度が十分ではない。したがって、改善の余地がある。
本発明は上記課題に鑑みてなされたものであり、その目的は、被験者の認知機能をより精度よく評価することができる認知機能評価システムを提供することにある。
本発明の一局面によれば、認知機能評価システムは、動作検出部と、回答検出部と、測定部と、評価部とを備える。前記動作検出部は、所定のタスクを遂行している被験者を撮像して、撮像データを生成する。前記回答検出部は、前記所定のタスクを遂行している前記被験者による所定の認知問題に対する回答を検出する。前記測定部は、前記被験者の脳波を測定する。前記評価部は、前記撮像データから前記被験者の動作の特徴を抽出し、前記回答検出部により検出された前記回答から前記被験者による前記回答の特徴を抽出し、前記動作の特徴、前記回答の特徴、及び前記脳波に基づいて、前記被験者の認知機能を評価する。前記所定のタスクは、運動タスクと、知能タスクとを含む。前記運動タスクは、所定の運動を前記被験者に課す。前記知能タスクは、前記所定の認知問題に対する回答を前記被験者に課す。前記評価部は、前記運動タスクを遂行している前記被験者の前記撮像データから前記被験者の動作の特徴を抽出する。
ある実施形態において、前記評価部は、前記被験者を、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類する。
ある実施形態において、前記評価部は、前記被験者を、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類する。
ある実施形態において、前記所定のタスクは、前記運動タスクと前記知能タスクとを同時に前記被験者に課すデュアルタスクを含む。
ある実施形態において、前記動作検出部は、前記デュアルタスクを遂行している前記被験者を撮像する。
ある実施形態において、前記回答検出部は、前記デュアルタスクを遂行している前記被験者の前記回答を検出する。
ある実施形態において、前記脳波は、前記被験者が安静にしている際の脳波、前記被験者が前記運動タスクを遂行している際の脳波、前記被験者が前記知能タスクを遂行している際の脳波、及び、前記被験者が前記デュアルタスクを遂行している際の脳波のうちの少なくとも1つを含む。
ある実施形態において、前記評価部は、前記測定部が測定した前記脳波から特定の周波数の信号を抽出し、前記動作の特徴、前記回答の特徴、及び前記特定の周波数の信号に基づいて、前記被験者の認知機能を評価する。
ある実施形態において、前記評価部は、前記測定部が測定した前記脳波を複数個に分割する。
ある実施形態において、前記評価部は、前記測定部が測定した脳波を、固定された幅のウィンドウをスライドさせながら分割する。
ある実施形態において、前記スライドの量は、前記ウィンドウの幅よりも小さい。
本発明に係る認知機能評価システムによれば、被験者の認知機能をより精度よく評価することができる。
以下、図面(図1~図12)を参照して本発明の認知機能評価システムに係る実施形態を説明する。但し、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。なお、説明が重複する箇所については、適宜説明を省略する場合がある。また、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
まず、図1(a)及び図1(b)を参照して、本実施形態の認知機能評価システム100を説明する。図1(a)及び図1(b)は、本実施形態の認知機能評価システム100を示す図である。
認知機能評価システム100は、被験者SJの認知機能を評価する。本実施形態の認知機能評価システム100は、被験者SJを、認知症及び軽度認知障害(Mild Cognitive Impairment;MCI)のクラスと、非認知症のクラスとに分類する。あるいは、本実施形態の認知機能評価システム100は、被験者SJを、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類する。
なお、軽度認知障害は、認知症の前段階であり、正常な状態と認知症の状態との中間の状態を示す。具体的には、軽度認知障害は、記憶力や注意力などの認知機能に低下がみられるものの、日常生活に支障をきたすほどには低下していない状態を示す。
図1(a)に示すように、本実施形態の認知機能評価システム100は、タスク提示部10を備える。タスク提示部10は、被験者SJに遂行させるタスクを提示する。本実施形態において、タスク提示部10は、例えば液晶ディスプレイのようなディスプレイを有する。タスク提示部10は、被験者SJに遂行させるタスクを示す画面をディスプレイに表示させる。なお、ディスプレイは、例えば、被験者SJの正面に設置される。
本実施形態において、被験者SJに遂行させるタスク(所定のタスク)は、デュアルタスクを含む。デュアルタスクは、運動タスクと知能タスクとを同時に被験者SJに課すタスクである。運動タスクは、所定の運動を被験者SJに課すタスクである。知能タスクは、所定の認知問題に対する回答を被験者SJに課すタスクである。所定の運動は、例えば、その場足踏み、歩行、走行、又はスキップである。所定の認知問題は、例えば、計算問題、位置記憶問題、又はじゃんけん問題である。
本実施形態において、被験者SJに遂行させるタスク(所定のタスク)は、知能タスク(シングルタスク)、運動タスク(シングルタスク)、及びデュアルタスクを含む。具体的には、被験者SJは、知能タスク、運動タスク、及びデュアルタスクをこの順に連続して遂行する。
より詳しくは、被験者SJは、所定の時間(例えば、30秒)、知能タスク(シングルタスク)を遂行する。その後、被験者SJは、所定の時間(例えば、20秒)、運動タスク(シングルタスク)を遂行する。最後に、被験者SJは、所定の時間(例えば、30秒)、デュアルタスクを遂行する。
以下、被験者SJに知能タスク(シングルタスク)を遂行させる時間を、「知能タスク遂行時間」と記載する場合がある。同様に、被験者SJに運動タスク(シングルタスク)を遂行させる時間を、「運動タスク遂行時間」と記載する場合がある。また、被験者SJにデュアルタスクを遂行させる時間を、「デュアルタスク遂行時間」と記載する場合がある。なお、知能タスク遂行時間の長さは、任意である。同様に、運動タスク遂行時間及びデュアルタスク遂行時間のそれぞれの長さも、任意である。
本実施形態では、知能タスク(シングルタスク)において被験者SJに課される認知問題は、デュアルタスクに含まれる知能タスクと同じ認知問題である。また、運動タスク(シングルタスク)において被験者SJに課される運動は、デュアルタスクに含まれる運動タスクと同じ運動である。なお、知能タスク(シングルタスク)において被験者SJに課される認知問題は、デュアルタスクに含まれる知能タスクと異なっていてもよい。同様に、運動タスク(シングルタスク)において被験者SJに課される運動は、デュアルタスクに含まれる運動タスクと異なっていてもよい。
続いて、図1(a)を参照して、本実施形態の認知機能評価システム100を更に説明する。図1(a)に示すように、認知機能評価システム100は、動作検出部20と、回答検出部30と、評価部40とを更に備える。
動作検出部20は、所定のタスクを遂行している被験者SJを撮像して、撮像データを生成する。例えば、動作検出部20は、撮像された被験者SJの全関節の三次元座標を示すフレームを時系列に沿って生成してもよい。詳しくは、動作検出部20は、撮像部21と、モーションキャプチャ部22とを有する。
撮像部21は、被験者SJを撮像する。具体的には、撮像部21は、デュアルタスクを遂行している被験者SJを撮像する。本実施形態では、撮像部21は、運動タスク(シングルタスク)を遂行している被験者SJを更に撮像する。撮像部21は、例えばCCDイメージセンサ、CMOSイメージセンサ、又は測域センサ(レンジセンサ)を有する。撮像部21は、例えば、被験者SJの正面に配置される。撮像部21を被験者SJの正面に配置することにより、被験者SJの全関節を捕捉することができる。
モーションキャプチャ部22は、被験者SJの各部の動きをベクトルデータに変換して、被験者SJの各部の動き(被験者SJの動作)を反映したモーションキャプチャデータを生成する。具体的には、モーションキャプチャデータは、撮像部21によって撮像された被験者SJの動作に従って動く人体骨格モデルを示す連続フレームである。人体骨格モデルは、人体の構造に基づいて隣り合う関節をリンクさせたツリー構造によって被験者SJの骨格モデルを表す。人体骨格モデル(フレーム)は、撮像された被験者SJの全関節の三次元座標を示す。換言すると、人体骨格モデルは、3次元人体骨格モデルである。
モーションキャプチャ部22は、例えば、プロセッサと、記憶部とを有する。プロセッサは、例えば、CPU(Central Processing Unit)、又はMPU(Micro Processing Unit)である。プロセッサは、GPU(Graphics Processing Unit)を更に含んでもよい。記憶部は、プロセッサによって実行されるコンピュータプログラムを記憶する。コンピュータプログラムは、撮像部21の出力からモーションキャプチャデータを生成するコンピュータプログラムを含む。記憶部は、例えば、ROM(Read Only Memory)及びRAM(Random Access Memory)のような半導体メモリを含む。記憶部は、VRAM(Video RAM)を更に含んでもよい。
回答検出部30は、所定のタスクを遂行している被験者SJによる所定の認知問題に対する回答を検出する。具体的には、回答検出部30は、デュアルタスクを遂行している被験者SJの回答を検出する。本実施形態では、回答検出部30は、知能タスク(シングルタスク)を遂行している被験者SJの回答を更に検出する。
例えば、回答検出部30は、左手用の回答スイッチと、右手用の回答スイッチとを含む。被験者SJは、右手用の回答スイッチ又は左手用の回答スイッチを押すことにより、タスク提示部10によって提示される認知問題に回答する。
なお、左手用の回答スイッチは、被験者SJの左手に持たせてもよいし、被験者SJの左側に設置する手摺に固定してもよい。同様に、右手用の回答スイッチは、被験者SJの右手に持たせてもよいし、被験者SJの右側に設置する手摺に固定してもよい。
評価部40は、動作検出部20によって生成される撮像データから被験者SJの動作の特徴を抽出する。例えば、評価部40は、モーションキャプチャ部22によって生成されるモーションキャプチャデータから被験者SJの動作の特徴を抽出してもよい。具体的には、評価部40は、被験者SJの動作に従って動く人体骨格モデルを示す連続フレームに基づいて、撮像された被験者SJの全関節の空間的な位置関係の特徴と、撮像された被験者SJの全関節の時間的な変動の特徴とを示す動作特徴を出力してもよい。
評価部40は、更に、回答検出部30によって検出された回答から、被験者SJによる回答の特徴を抽出する。例えば、評価部40は、回答検出部30によって検出された回答に基づき、回答の特徴として、回答速度及び正答率を算出してもよい。回答速度は、被験者SJが単位時間当たりに回答した回数を示す。単位時間は、例えば、1秒である。正答率は、回答数と正答数との比を示す。回答数は、被験者SJが回答した回数を示す。正答数は、正解の回答数を示す。
例えば、回答速度は、知能タスク遂行時間とデュアルタスク遂行時間との合計時間に対して算出される。すなわち、回答速度は、知能タスク(シングルタスク)の遂行時に被験者SJが回答した回数と、デュアルタスクの遂行時に被験者SJが回答した回数との合計値を、知能タスク遂行時間とデュアルタスク遂行時間との合計時間で除算することによって算出される。
正答率は、知能タスク(シングルタスク)の遂行時に被験者SJが回答した回数と、デュアルタスクの遂行時に被験者SJが回答した回数との合計値と、知能タスク(シングルタスク)の遂行時に提示された問題に対して被験者SJが正解した回数と、デュアルタスクの遂行時に提示された問題に対して被験者SJが正解した回数との合計値との比を示す。
続いて、図1(b)を参照して、本実施形態の認知機能評価システム100を説明する。図1(b)に示すように、認知機能評価システム100は、測定部50を更に備える。測定部50は、被験者SJの脳波を測定する。より詳しくは、測定部50は、被験者SJの脳波を時系列に測定して、被験者SJの脳波を時系列に沿って示す脳波データBDを生成する。
本実施形態では、測定部50は、脳波データBDを無線通信によって評価部40へ送信する。なお、無線通信の規格は特に限定されない。例えば、測定部50と評価部40とは、Bluetooth(登録商標)のような近距離無線通信規格に準拠して無線通信を行ってもよい。
本実施形態では、測定部50は、被験者SJが安静にしている際の脳波、被験者SJが知能タスクを遂行している際の脳波、被験者SJが運動タスクを遂行している際の脳波、及び、被験者SJがデュアルタスクを遂行している際の脳波を測定する。安静時の脳波の計測時間は、例えば、120秒である。知能タスク遂行時の脳波の計測時間は、例えば、30秒である。運動タスク遂行時の脳波の計測時間は、例えば、20秒である。デュアルタスク遂行時の脳波の計測時間は、例えば、30秒である。
本実施形態では、測定部50は、閉眼した状態で安静にしている被験者SJの脳波を測定する。なお、測定部50は、開眼した状態で安静にしている被験者SJの脳波を測定してもよい。
本実施形態では、測定部50は、小型の脳波計を含む。小型の脳波計は、10個以下の電極を有する脳波計である。より具体的には、測定部50はパッチ式の脳波計を含む。パッチ式の脳波計は、ウェット式である。パッチ式の脳波計は、例えば、4個の電極を有する。4個の電極のうち、3個の電極は被験者SJの額に配置される。残り1個の電極は被験者SJの左耳に配置される。詳しくは、パッチ式の脳波計は、粘着性の電極シートを備える。脳波の測定時に、被験者SJの額に電極シートが貼り付けられる。電極シートには、3個の電極が設けられている。
本実施形態によれば、小型の脳波計を用いるので、被験者SJの頭皮全体に電極を配置するタイプの脳波計と比べて電極の数を減らすことができる。よって、電極の装着が容易になる。したがって、被験者SJが自ら脳波計を装着することができる。また、小型の脳波計は、被験者SJの頭皮全体に電極を配置するタイプの脳波計と比べて軽量であるため、被験者SJの負担を軽減することができる。また、小型の脳波計は軽量であるため、被験者SJが運動をしても電極の位置がずれ難い。更に、本実施形態では、電極が被験者SJの額に配置される。額は凹凸が少ないため、電極が密着し易い。よって、電極の位置がよりずれ難い。
評価部40は、被験者SJの動作の特徴と、被験者SJによる回答の特徴と、被験者SJの脳波(脳波データBD)とに基づいて、被験者SJの認知機能を評価する。本実施形態では、評価部40は、被験者SJを、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類する。あるいは、評価部40は、被験者SJを、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類する。
なお、MMSE(Mini Mental State Examination)スコアを用いた診断では、MMSEスコアが23点以下の場合に認知症の疑いありと判断され、MMSEスコアが23点より高く27点以下である場合に軽度認知障害の疑いありと判断される。また、MMSEスコアが27点より高い場合に非認知症と判断される。
続いて、図2(a)~図2(d)を参照して、タスク提示部10が被験者SJに提示するタスクの一例を説明する。図2(a)~図2(d)は、タスク提示部10が被験者SJに提示するタスクの一例を示す図である。図2(a)~図2(d)に示す例において、被験者SJに課す運動は「足踏み」であり、被験者SJに課す認知問題は「計算問題」である。
図2(a)に示すように、タスク提示部10は、まず、被験者SJにタスクの開始を知らせる第1通知画面11を表示する。次に、図2(b)に示すように、タスク提示部10は、知能タスク(シングルタスク)を被験者SJに遂行させる。具体的には、タスク提示部10は、認知問題を提示する問題提示画面12aを表示する。図2(a)~図2(d)に示す例において、問題提示画面12aは、計算問題を提示する。例えば、タスク提示部10は、計算問題として、引き算問題をディスプレイに表示させる。
なお、図2(b)に示す例では、計算問題は引き算問題であるが、計算問題は、引き算問題に限定されない。計算問題は、足し算問題であってもよい。あるいは、計算問題は、引き算問題と足し算問題とを含んでもよい。
タスク提示部10は、所定のタイミングで計算問題(認知問題)の提示を終了する。具体的には、タスク提示部10は、問題提示画面12aをディスプレイから消去する。タスク提示部10は、問題提示画面12aをディスプレイから消去した後、2つの回答の候補を示す回答候補提示画面12bを表示する。被験者SJは、2つの回答スイッチの一方を押して、回答を選択する。
被験者SJが回答を選択すると、次の問題として、今回回答した計算問題(認知問題)とは異なる計算問題(認知問題)がタスク提示部10によって提示される。以降、所定の知能タスク遂行時間が経過するまで、被験者SJが回答すべき計算問題(認知問題)の提示が繰り返される。
図2(c)に示すように、所定の知能タスク遂行時間が経過した後、タスク提示部10は、運動タスク(シングルタスク)を被験者SJに提示する。具体的には、タスク提示部10は、被験者SJに課す運動を提示する運動提示画面13を表示する。図2(a)~図2(d)に示す例において、運動提示画面13は、足踏みを提示する。
タスク提示部10は、所定の運動タスク遂行時間が経過した後、デュアルタスク(シングルタスク)を被験者SJに遂行させる。本実施形態では、デュアルタスクにおいて被験者SJに課す運動が、運動タスク(シングルタスク)において被験者SJに課す運動と同じである。また、デュアルタスクにおいて被験者SJに課す認知問題が、知能タスク(シングルタスク)において被験者SJに課す認知問題と同じである。したがって、タスク提示部10は、所定の運動タスク遂行時間が経過した後、図2(b)を参照して説明したように、所定のデュアルタスク遂行時間が経過するまで、被験者SJが回答すべき計算問題(認知問題)の提示を繰り返す。
図2(d)に示すように、タスク提示部10は、所定のデュアルタスク遂行時間が経過した後、被験者SJにタスクの終了を知らせる第2通知画面14をディスプレイに表示する。
なお、タスク提示部10が提示する認知問題は計算問題に限定されるものではない。例えば、認知問題は、位置記憶問題、又は、じゃんけん問題であってもよい。
図3は、タスク提示部10が被験者SJに提示する認知問題の他例を示す図である。図3に示す例において、認知問題は、「位置記憶問題」である。図3に示すように、認知問題が位置記憶問題である場合、タスク提示部10は、図形を配置可能な4つの領域のうちの1つに図形を配置した問題提示画面12aを表示する。
タスク提示部10は、問題提示画面12aをディスプレイから消去した後、図形を配置可能な4つの領域のうちの1つに図形を配置した回答候補提示画面12bを表示する。回答候補提示画面12bには、問題文と共に、2つの回答候補として、「はい」及び「いいえ」が表示される。問題文は、「はい」又は「いいえ」で回答可能な問題を示す。図3に示す例では、図形が配置されていた位置が問題提示画面12aと回答候補提示画面12bとの間で同じであるか否かが被験者SJに問われる。
被験者SJは、図形が配置されていた位置が問題提示画面12aと回答候補提示画面12bとの間で同じであると判断した場合、左手用の回答スイッチを押して、「はい」を選択する。あるいは、被験者SJは、図形が配置されていた位置が問題提示画面12aと回答候補提示画面12bとの間で異なると判断した場合、右手用の回答スイッチを押して、「いいえ」を選択する。
続いて、「じゃんけん問題」を説明する。知能タスクによって被験者SJに課される認知問題が「じゃんけん問題」である場合、例えば、タスク提示部10は、問題提示画面12aにおいて、「グー」、「チョキ」及び「パー」のうちの一つを表示する。そして、タスク提示部10は、回答候補提示画面12bにおいて、「グー」、「チョキ」及び「パー」のうちの一つと、問題文と、「はい」及び「いいえ」とを表示する。回答候補提示画面12bでは、例えば、回答候補提示画面12bに表示されている指のポーズによって、問題提示画面12aに表示されていた指のポーズに勝てるか否かが被験者SJに問われる。
被験者SJは、回答候補提示画面12bに表示されている指のポーズによって、問題提示画面12aに表示されていた指のポーズに勝てると判断した場合に、左手用の回答スイッチを押して、「はい」を選択する。あるい、被験者SJは、回答候補提示画面12bに表示されている指のポーズでは、問題提示画面12aに表示されていた指のポーズに負けると判断した場合に、右手用の回答スイッチを押して、「いいえ」を選択する。
続いて、図4(a)~図4(d)を参照して、測定部50によって測定される脳波を説明する。図4(a)~図4(d)は、被験者SJの脳波データBDの一例を示す図である。詳しくは、図4(a)は、安静時に測定される脳波データBDの一例を示す。図4(b)は、知能タスク遂行時に測定される脳波データBDの一例を示す。より詳しくは、図4(b)は、計算問題に回答している際の脳波データBDの一例を示す。図4(c)は、運動タスク遂行時に測定される脳波データBDの一例を示す。より詳しくは、図4(c)は、足踏み時の脳波データBDの一例を示す。図4(d)は、デュアルタスク遂行時に測定される脳波データBDの一例を示す。より詳しくは、図4(d)は、足踏みしながら計算問題に回答している際の脳波データBDの一例を示す。
図4(a)~図4(d)において、横軸は測定時間を示す。縦軸は、脳波の電圧値を示す。図4(a)~図4(d)に示すように、タスク遂行時の脳波は、安静時と比べて活性化する。特に、デュアルタスク遂行時の脳波が最も活性化する。なお、脳波データBDには、電源ノイズや筋電等のノイズが含まれる。特に、運動タスク遂行時及びデュアルタスク遂行時の脳波には、筋電のノイズが多く含まれている。また、脳波の電圧値は個人差が大きい。
続いて、図5(a)及び図5(b)を参照して、本実施形態の認知機能評価システム100を説明する。図5(a)及び図5(b)は、本実施形態の認知機能評価システム100の構成を示すブロック図である。詳しくは、図5(a)は、評価部40の構成を示す。図5(b)は、学習済みモデルTMに入力されるデータと、学習済みモデルTMから出力されるデータとを示す。
図5(a)に示すように、認知機能評価システム100は、識別情報取得部60と、出力部70とを更に備える。また、評価部40は、通信部41と、記憶部42と、処理部43とを有する。
認知機能評価システム100を利用する被験者SJにはそれぞれ、事前に固有の識別情報が割り当てられる。識別情報取得部60は、被験者SJに割り当てられた識別情報を取得する。識別情報取得部60は、例えば、カードリーダ、キーボード、又はタッチパネルを含む。識別情報取得部60がカードリーダである場合、被験者SJは、カードに担持されている識別情報をカードリーダに読み取らせる。識別情報取得部60が、キーボード又はタッチパネルである場合、被験者SJは、キーボード又はタッチパネルを操作して、自身に割り当てられた識別情報を入力する。
出力部70は、被験者SJの認知機能の評価結果を出力する。本実施形態において、評価結果は、認知機能の分類結果を含む。分類結果は、被験者SJの認知機能が分類されるクラスを示す。具体的には、被験者SJの認知機能は、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類される。あるいは、被験者SJの認知機能は、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類される。出力部70は、例えば、プリンタである。プリンタは、被験者SJの認知機能の評価結果を用紙に印字して出力する。
通信部41は、測定部50から脳波データBDを受信して、受信した脳波データBDを処理部43に入力する。通信部41は、同じ通信規格に準拠した通信機器と無線通信が可能である。例えば、通信部41は、Bluetooth(登録商標)のような近距離無線通信規格に準拠した無線通信を行う。通信部41は、例えば、無線LANアダプタを含む。
記憶部42は、コンピュータプログラム及び各種データを記憶する。記憶部42は、例えば、半導体メモリを有する。半導体メモリは、例えば、RAM及びROMを含む。半導体メモリは、VRAMを更に含んでもよい。記憶部42は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)を更に含んでもよい。
本実施形態において、記憶部42は、各被験者SJの認知機能の評価結果を、各被験者SJに割り当てられた識別情報に関連付けて記憶する。換言すると、記憶部42は、各被験者SJの認知機能の評価結果の履歴を記憶する。
また、記憶部42は、学習済みモデルTMを記憶する。学習済みモデルTMは、被験者SJの動作(撮像データ)と、被験者SJによる回答の特徴と、被験者SJの脳波(脳波データBD)とに基づいて、被験者SJの認知機能を評価するコンピュータプログラムである。
なお、学習済みモデルTMを構築するための機械学習アルゴリズムは、教師あり学習であれば特に限定されず、例えば、決定木、最近傍法、単純ベイズ分類器、サポートベクターマシン、又は、ニューラルネットワークである。したがって、学習済みモデルTMは、決定木、最近傍法、単純ベイズ分類器、サポートベクターマシン、又は、ニューラルネットワークを含む。
例えば、ニューラルネットワークは、入力層、単数又は複数の中間層、及び、出力層を含む。具体的には、ニューラルネットワークは、ディープニューラルネットワーク(DNN:Deep Neural Network)、再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)、Transformer、あるいは、時空間グラフ畳み込みニューラルネットワーク(Spatio-temporal Graph Convolutional Neural Network;ST-GCN)のようなグラフ畳み込みニューラルネットワークのうちの少なくとも1つを含み、ディープラーニングを行う。例えば、ディープニューラルネットワークは、入力層、複数の中間層、及び、出力層を含む。
処理部43は、記憶部42に記憶されたコンピュータプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。処理部43は、例えばCPU又はMPUを含み得る。処理部43は、GPUを更に含んでもよいし、NPU(Neuralnetwork Processing Unit)を更に含んでもよい。あるいは、処理部43は、量子コンピュータを含んでもよい。
具体的には、処理部43は、識別情報取得部60が識別情報を取得すると、図2(a)~図2(d)及び図3を参照して説明したように、タスク提示部10に各種の画面を表示させる。
また、図5(b)に示すように、処理部43は、動作検出部20から出力された撮像データを学習済みモデルTMに入力する。更に、処理部43は、回答検出部30によって検出された回答から特徴を抽出して、回答特徴データを生成する。そして、処理部43は、回答特徴データを学習済みモデルTMに入力する。また、処理部43は、測定部50から受信した脳波データBDを学習済みモデルTMに入力する。
より詳しくは、処理部43は、動作検出部20から出力されたフレーム(モーションキャプチャデータ)から、運動タスク(シングルタスク)の遂行時に取得された連続フレームと、デュアルタスクの遂行時に取得された連続フレームとをそれぞれ抽出して、学習済みモデルTMに入力する。運動タスク(シングルタスク)のフレーム数は、例えば、160フレームである。デュアルタスクのフレーム数は、例えば、260フレームである。
また、処理部43は、回答検出部30によって検出された回答に基づき、回答の特徴として、回答速度及び正答率を算出する。そして、処理部43は、回答特徴データとして、回答速度を示すデータと、正答率を示すデータとを学習済みモデルTMに入力する。
なお、回答の特徴は、回答速度及び正答率に限定されない。例えば、回答の特徴は、回答速度及び正答率のうちの一方のみであってもよい。あるいは、回答の特徴は、回答速度及び正答率に替えて、又は、回答速度及び正答率に加えて、回答数、正答数、平均回答時間間隔、及び回答時間間隔の標準偏差のうちの少なくとも1つを含んでもよい。ここで、回答時間間隔は、図2(b)及び図3を参照して説明した回答候補提示画面12bがタスク提示部10によって提示されてから被験者SJが回答スイッチを押すまでに要した時間間隔を示す。
また、処理部43は、脳波データBDを前処理して、前処理後の脳波データBDを学習済みモデルTMに入力する。以下、前処理前の脳波データBDを「生データRBD」と記載する。なお、図4(a)~図4(d)に示す脳波データBDは、生データRBDである。
学習済みモデルTMは、撮像データ(モーションキャプチャデータ)と、回答特徴データと、脳波データBD(前処理後の脳波データBD)とが入力されると、評価結果を出力する。この結果、処理部43が、被験者SJの認知機能の評価結果を取得する。
本実施形態において、学習済みモデルTMは、撮像データ(モーションキャプチャデータ)から、被験者SJの動作の特徴を抽出する。例えば、学習済みモデルTMは、撮像された被験者SJの全関節の空間的な位置関係の特徴と、撮像された被験者SJの全関節の時間的な変動の特徴とを抽出してもよい。また、学習済みモデルTMは、前処理後の脳波データBDから、被験者SJの脳波の特徴を抽出する。学習済みモデルTMは、被験者SJの動作の特徴と、被験者SJによる回答の特徴と、被験者SJの脳波の特徴とに基づいて、評価結果を出力する。なお、学習済みモデルTMは、多数決処理により評価結果を出力してもよい。また、多数決の候補となる複数のラベルに対して異なる「重み」が付与されてもよい。
処理部43は、被験者SJの認知機能の評価結果を取得すると、出力部70に被験者SJの認知機能の評価結果を出力させる。なお、処理部43は、被験者SJの認知機能の評価結果の履歴を出力部70に出力させてもよい。出力部70が出力する評価結果の履歴は、表形式又はグラフ形式で表現されてもよい。
処理部43は、被験者SJの認知機能を評価すると、被験者SJの認知機能の評価結果を識別情報に関連付けて記憶部42に記憶させる。この結果、記憶部42が、被験者SJの認知機能の評価結果の履歴を識別情報に関連付けて記憶する。
続いて、図5~図8を参照して、処理部43が実行する前処理を説明する。図6は、前処理を示すフローチャートである。図7は、学習済みモデルTMに入力する前処理後のサンプルSAを示す図である。
図6に示す前処理は、被験者SJの安静時の生データRBD、被験者SJの知能タスク遂行時の生データRBD、被験者SJの運動タスク遂行時の生データRBD、及び被験者SJのデュアルタスク遂行時の生データRBDが処理部43に入力されることにより開始する。
図6に示すように、処理部43は、安静時、知能タスク遂行時、運動タスク遂行時、及びデュアルタスク遂行時の各フェーズの生データRBDが処理部43に入力されると、各フェーズの生データRBDをそれぞれ複数個(N個)に分割する分割処理を実行する(ステップS1)。以下、分割された生データRBDを、「分割生データBS」と記載する場合がある。生データRBDを複数個に分割することにより、被験者SJの脳波の特徴の抽出が容易になる。
分割処理後、処理部43は、分割生データBSを組み合わせる組み合わせ処理を実行する(ステップS2)。具体的には、処理部43は、安静時、知能タスク遂行時、運動タスク遂行時、及びデュアルタスク遂行時の各フェーズから1つずつ分割生データBSを選択して組み合わせる。全ての組み合わせにより、P個のサンプルSAが生成される。なお、全ての組み合わせの数Pは、以下の式(1)で算出することができる。
P=N(安静)×N(知能タスク)×N(運動タスク)×N(デュアルタスク)・・・(1)
P=N(安静)×N(知能タスク)×N(運動タスク)×N(デュアルタスク)・・・(1)
組み合わせ処理後、処理部43は、各サンプルSAに対してフィルタリング処理を実行して(ステップS3)、図6に示す前処理を終了する。そして、処理部43は、フィルタリング処理後の各サンプルSAを学習済みモデルTMに入力する。
具体的には、処理部43は、各サンプルSAから特定の周波数の信号を抽出する。詳しくは、処理部43は、逆フーリエ変換に基づく関数を用いてバンドパスフィルタリングを実行する。逆フーリエ変換は、逆高速フーリエ変換であってもよい。本実施形態では、処理部43は、各サンプルSAから、θ波(周波数:4Hz以上8Hz未満)、α波(8Hz以上13Hz未満)、及びβ波(13Hz以上30Hz未満)を抽出する。そして、図7に示すように、処理部43は、各サンプルSAから抽出したθ波、α波、及びβ波を学習済みモデルTMに入力する。
学習済みモデルTMは、被験者SJの脳波の特徴として、θ波、α波、及びβ波の特徴を抽出してもよい。例えば、θ波、α波、及びβ波はそれぞれ異なる畳み込みニューラルネットワーク(CNN)に入力されてもよい。その結果、θ波、α波、及びβ波のそれぞれの特徴が抽出される。
なお、処理部43は、分割処理後に、各分割生データBSに対して正規化処理を実行してもよい。例えば、正規化処理は、Min-Max normalizationである。正規化処理により、脳波の電圧値の個人差に起因する誤判定を抑制することができる。
続いて、図4(b)~図4(c)及び図8(a)~図8(d)を参照して、θ波、α波、及びβ波を説明する。図8(a)は、生データRBDの一例を示す図である。図8(b)は、θ波の一例を示す図である。詳しくは、図8(b)は、図8(a)に示す生データRBDから抽出したθ波の一例を示す。図8(c)は、α波の一例を示す図である。詳しくは、図8(c)は、図8(a)に示す生データRBDから抽出したα波の一例を示す。図8(d)は、β波の一例を示す図である。詳しくは、図8(d)は、図8(a)に示す生データRBDから抽出したβ波の一例を示す。なお、図8(a)~図8(d)において、横軸は測定時間を示す。縦軸は、脳波の電圧値を示す。
図8(b)~図8(d)に示すように、θ波、α波、及びβ波はノイズ成分が除去されているため、図4(b)~図4(c)に示す生データRBDと比べて、安静時、知能タスク遂行時、運動タスク遂行時、及びデュアルタスク遂行時の被験者SJの脳波の特徴をより顕著に示す波形となる。
本実施形態によれば、フィルタリング処理により、生データRBDに含まれるノイズを除去することができる。その結果、被験者SJの認知機能を、より高精度に評価することができる。なお、生データRBDには、瞬目運動や眼球運動によるアーチファクト、足踏み等の運動による筋電、電源ノイズ等のノイズが含まれている可能性がある。
続いて、図5(a)、図9(a)及び図9(b)を参照して、処理部43が実行する分割処理を説明する。図9(a)及び図9(b)は、分割処理を示す図である。なお、図9(a)及び図9(b)において、横軸は測定時間を示す。縦軸は、脳波の電圧値を示す。
図9(a)及び図9(b)に示すように、処理部43は、スライディングウィンドウ処理により生データRBDを複数個(N個)に分割して、複数個(N個)の分割生データBS(BS1~BSn)を生成してもよい。ここで、スライディングウィンドウ処理は、固定された幅(ウィンドウサイズM)のウィンドウWを、固定されたスライド量(スライドサイズS)でスライドさせながら生データRBDを複数個(N個)に分割する処理を示す。スライディングウィンドウ処理により、生データRBDから、ウィンドウWで囲まれた領域のデータが抽出される。ウィンドウサイズMは、例えば、6秒である。スライドサイズSは、例えば、3秒である。
なお、図9(b)に示すように、スライドサイズS(スライド量)はウィンドウサイズM(ウィンドウWの幅)よりも小さい。したがって、時間軸方向において隣り合う2つの分割生データBSは、互いに一部分が重なる。例えば、図9(b)に示すように、時間軸方向において隣り合う分割生データBS1及び分割生データBS2は、互いに一部分が重なる。
以上、図1~図9を参照して説明したように、本実施形態によれば、運動タスク遂行時の撮像データと、知能タスク遂行時の回答データと、デュアルタスク遂行時の撮像データ及び回答データとに加えて、脳波データBDを考慮して被験者SJの認知機能を評価することができる。したがって、被験者SJの認知機能をより精度よく評価することができる。
例えば、本実施形態によれば、陽性の被験者SJを正しく認識できる割合を示す感度(sensitivity)P1と、陰性の被験者SJを正しく認識できる割合を示す特異度(specificity)P2との和(P1+P2)の値を1.7以上にすることができる。感度P1は、以下の式(2)により算出される。特異度P2は、以下の式(3)により算出される。
感度P1=NTP/(NTP+NFN)・・・(2)
特異度P2=NTN/(NTN+NFP)・・・(3)
感度P1=NTP/(NTP+NFN)・・・(2)
特異度P2=NTN/(NTN+NFP)・・・(3)
なお、式(2)及び式(3)において、NTPは、陽性であることを正しく予測できた人数を示す。NTNは、陰性であることを正しく予測できた人数を示す。NFPは、誤って陽性と予測した人数を示す。NFNは、誤って陰性と予測した人数を示す。
続いて、図10~図12を参照して、学習済みモデルTMの生成方法を説明する。図10は、学習済みモデルTMを生成するモデル生成システム200を示す図である。
図10に示すように、モデル生成システム200は、タスク提示部10と、動作検出部20と、回答検出部30と、評価部40と、測定部50と、識別情報取得部60と、データ収集部80とを備える。
タスク提示部10は、図1~図9を参照して説明したように、被験者SJにタスクを提示する。動作検出部20は、図1~図9を参照して説明したように撮像データを生成する。回答検出部30は、図1~図9を参照して説明したように、被験者SJによる所定の認知問題に対する回答を検出する。測定部50は、図1~図9を参照して説明したように、被験者SJの脳波データBDを生成する。識別情報取得部60は、図1~図9を参照して説明したように、被験者SJの識別情報を取得する。
データ収集部80は、例えば、被験者SJが知能タスク、運動タスク、及びデュアルタスクを遂行することによって得られるデータと、被験者SJの脳波データBDとを収集して、学習用データを生成する。
具体的には、データ収集部80は、動作検出部20の出力(撮像データ)を収集する。また、データ収集部80は、回答検出部30の出力から被験者SJの回答の特徴を抽出して収集する。更に、データ収集部80は、安静時、運動タスク遂行時、知能タスク遂行時、及びデュアルタスク遂行時の脳波データBDを前処理して、各サンプルSAのθ波、α波、及びβ波を収集する。なお、データ収集部80が収集するデータには、同一の被験者SJから得られる複数のデータが含まれていてもよい。
続いて、図11を参照して、モデル生成システム200を説明する。図11は、モデル生成システム200の構成の一部を示すブロック図である。詳しくは、図11は、データ収集部80の構成を示す。図11に示すように、データ収集部80は、通信部81と、入力部82と、記憶部83と、処理部84とを備える。データ収集部80は、例えば、サーバである。
通信部81は、測定部50から脳波データBDを受信して、受信した脳波データBDを処理部84に入力する。通信部81は、同じ通信規格に準拠した通信機器と無線通信が可能である。例えば、通信部81は、Bluetooth(登録商標)のような近距離無線通信規格に準拠した無線通信を行う。通信部81は、例えば、無線LANアダプタを含む。
入力部82は、作業者によって操作されて、処理部84に対して様々な情報を入力する。入力部82は、例えば、キーボード、マウス、及びタッチパネルのような入力機器を含む。例えば、作業者は、入力部82を操作して、教師あり学習又は半教師あり学習で用いるラベルデータ(教師データ)を入力する。
具体的には、作業者は、ラベルデータ(教師データ)として、認知症及び軽度認知障害のクラスに分類されることを示す真値ラベル(陽性を示すラベルデータ)と、非認知症のクラスに分類されることを示す真値ラベル(陰性を示すラベルデータ)とを入力する。あるいは、作業者は、認知症のクラスに分類されることを示す真値ラベル(陽性を示すラベルデータ)と、軽度認知障害及び非認知症のクラスに分類されることを示す真値ラベル(陰性を示すラベルデータ)とを入力する。
なお、認知症であるのか、軽度認知障害であるのか、非認知症であるのかは、被験者SJに事前にペーパーテスト(例えば、MMSEのペーパーテスト)と、日常生活活動度(Activities of daily living;ADL)評価テストを受けてもらうことで取得することができる。
記憶部83は、コンピュータプログラム及び各種データを記憶する。記憶部83は、例えば、半導体メモリを有する。半導体メモリは、例えば、RAM及びROMを含む。半導体メモリは、VRAMを更に含んでもよい。記憶部83は、HDD又はSSDを更に含んでもよい。
本実施形態において、記憶部83は、各被験者SJから取得した学習用データを、各被験者SJに割り当てられた識別情報に関連付けて記憶する。学習用データは、図1~図9を参照して説明した撮像データ(モーションキャプチャデータ)と、図1~図9を参照して説明した回答特徴データと、図1~図9を参照して説明した脳波データBDとを含む。より具体的には、学習用データは、脳波データBDとして、図1~図9を参照して説明した各サンプルSAのθ波、α波、及びβ波を含む。学習用データは更に、入力部82から入力されたラベルデータ(教師データ)を含む。記憶部83は、例えば、学習用データのデータベースを記憶してもよい。なお、同一の被験者SJから得られる複数の学習用データは、異なるデータとして管理される。
処理部84は、記憶部83に記憶されたコンピュータプログラムを実行することによって、数値計算や情報処理、機器制御のような様々な処理を行う。処理部84は、例えばCPU又はMPUを含み得る。処理部84は、GPUを更に含んでもよい。
具体的には、処理部84は、入力部82から入力されたラベルデータ(教師データ)を被験者SJの識別情報に関連付けて記憶部83に記憶させる。処理部84は、識別情報取得部60が識別情報を取得すると、図2及び図3を参照して説明したように、タスク提示部10に各種画面を表示させる。また、処理部84は、動作検出部20によって生成された撮像データを取得し、被験者SJの識別情報に関連付けて記憶部83に記憶させる。更に、処理部84は、回答検出部30の出力から回答特徴データを抽出し、被験者SJの識別情報に関連付けて記憶部83に記憶させる。また、処理部84は、測定部50によって生成された脳波データBDから各サンプルSAのθ波、α波、及びβ波を抽出し、被験者SJの識別情報に関連付けて記憶部83に記憶させる。
処理部84は、収集したデータに基づいて学習用データを生成する。そして、処理部84は、学習用データを評価部40に出力する(図10参照)。なお、処理部84は、ミニバッチ学習用のデータを生成して評価部40に出力してもよい。
続いて、図12を参照して、モデル生成システム200を説明する。図12は、学習時における評価部40の構成を示すブロック図である。図12に示すように、記憶部42は、学習時に学習用プログラムTPを記憶する。学習用プログラムTPは、学習用データの中から一定の規則を見出し、その規則を表現するモデル(学習済みモデルTM)を生成するためのアルゴリズム(機械学習アルゴリズム)を実行するためのプログラムである。
機械学習アルゴリズムは、教師あり学習であれば、特に限定されず、例えば、決定木、最近傍法、単純ベイズ分類器、サポートベクターマシン、又は、ニューラルネットワークである。機械学習に、誤差逆伝搬法が利用されてもよい。
処理部43は、データ収集部80から取得した学習用データを用いて、学習用プログラムTPを実行する。この結果、真値ラベルと予測ラベルとが一致するように学習が行われて、学習済みモデルTMが生成される。なお、本実施形態では、学習用プログラムTPを実行することにより、撮像データから被験者SJの動作の特徴が抽出される。
機械学習アルゴリズムがニューラルネットワークである場合、学習用プログラムTPによって構築されるニューラルネットワークが訓練されて、学習済みモデルTMが生成される。具体的には、ニューラルネットワークに含まれるパラメータの値(パラメータ値)が損失関数を最小値にする値に決定されることで、学習済みモデルTMが生成される。なお、θ波、α波、及びβ波はそれぞれ異なる畳み込みニューラルネットワーク(CNN)に学習させてもよい。
以上、図面(図1~図12)を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、又は、ある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。
図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。
例えば、図1~図12を参照して説明した実施形態では、知能タスク(シングルタスク)、運動タスク(シングルタスク)、及びデュアルタスクをこの順に被験者SJに遂行させたが、知能タスク(シングルタスク)、運動タスク(シングルタスク)、及びデュアルタスクを遂行する順序は入れ替え可能である。
また、図1~図12を参照して説明した実施形態では、知能タスク(シングルタスク)、運動タスク(シングルタスク)、及びデュアルタスクを被験者SJに遂行させたが、被験者SJに遂行させるタスクは任意である。
例えば、被験者SJに、デュアルタスク、知能タスク(シングルタスク)、運動タスク(シングルタスク)、及びデュアルタスクをこの順に遂行させてもよい。あるいは、知能タスク(シングルタスク)とデュアルタスクとを被験者SJに遂行させてもよいし、運動タスク(シングルタスク)とデュアルタスクとを被験者SJに遂行させてもよい。被験者SJに遂行させるタスクは、デュアルタスクのみであってもよい。知能タスク(シングルタスク)とデュアルタスクとを被験者SJに遂行させる場合、知能タスク(シングルタスク)とデュアルタスクとを遂行させる順序は任意である。同様に、運動タスク(シングルタスク)とデュアルタスクとを被験者SJに遂行させる場合、運動タスク(シングルタスク)とデュアルタスクとを遂行させる順序は任意である。
また、図1~図12を参照して説明した実施形態において、タスク提示部10はディスプレイを有したが、タスク提示部10は、音声出力器を有してもよい。
また、図1~図12を参照して説明した実施形態において、回答検出部30は回答スイッチを有したが、回答検出部30は回答スイッチに限定されない。例えば、回答検出部30は、視線方向検出装置、又は集音器を有してもよい。
視線方向検出装置を用いる場合、例えば、図2(b)及び図3に示す回答候補提示画面12bに対して被験者SJが視線を向けた方向に基づいて、被験者SJの回答を取得することができる。視線方向検出装置には、公知の視線方向検出技術を採用できる。例えば、視線方向検出装置は、近赤外LED及び撮像装置を含む。近赤外LEDは、被験者SJの目に近赤外線を照射する。撮像装置は、被験者SJの目を撮像する。処理部43及び処理部84は、撮像装置によって撮像された画像を解析して、被験者SJの瞳孔の位置(視線の方向)を検出する。
集音器を用いる場合、例えば、図2(b)及び図3に示す回答候補提示画面12bに対して被験者SJが発生した音声に基づいて、被験者SJの回答を取得することができる。例えば、処理部43及び処理部84は、被験者SJが発生した音声を音声認識処理によってテキストデータに変換することにより、被験者SJの回答を取得することができる。
なお、集音器を用いる場合、認知問題は、2つの回答の候補のうちの一方を被験者SJに選択させる問題に限定されない。例えば、被験者SJに計算問題の回答を答えさせてもよい。また、集音器を用いる場合、認知問題は、言葉を回答する問題であってもよい。言葉を回答する問題は、例えば、「しりとり問題」、「五十音のうちから任意に選択された音(文字)から始まる言葉(例えば、単語)を挙げていく問題」、あるいは、「アルファベットのうちから任意に選択された文字から始まる言葉(例えば、単語)を挙げていく問題」であってもよい。
また、図1~図12を参照して説明した実施形態において、測定部50は脳波データBDを無線通信によって評価部40へ送信したが、測定部50は、ケーブルを介して脳波データBDを評価部40へ送信してもよい。同様に、測定部50は、ケーブルを介して脳波データBDをデータ収集部80へ送信してもよい。
また、図1~図12を参照して説明した実施形態において、測定部50は、被験者SJが安静にしている際の脳波、被験者SJが知能タスクを遂行している際の脳波、被験者SJが運動タスクを遂行している際の脳波、及び、被験者SJがデュアルタスクを遂行している際の脳波を測定したが、測定部50は、被験者SJが安静にしている際の脳波、被験者SJが知能タスクを遂行している際の脳波、被験者SJが運動タスクを遂行している際の脳波、及び、被験者SJがデュアルタスクを遂行している際の脳波のうちのいずれか1つ、2つ、又は3つの脳波を測定してもよい。
また、図1~図12を参照して説明した実施形態では、パッチ式の脳波計が使用されたが、小型の脳波計はパッチ式に限定されない。例えば、小型の脳波計として、耳栓式又はヘッドセット式の脳波計が使用されてもよい。
また、図1~図12を参照して説明した実施形態では、ウェット式の脳波計が使用されたが、ドライ式の脳波計が使用されてもよい。
また、図1~図12を参照して説明した実施形態では、10個以下の電極を有する脳波計(小型の脳波計)が使用されたが、11個以上の電極を有する脳波計が使用されてもよい。例えば、被験者SJの頭皮全体に電極を配置するタイプの脳波計が使用されてもよい。
また、図1~図12を参照して説明した実施形態において、出力部70はプリンタであったが、出力部70はプリンタに限定されない。出力部70は、例えば、被験者SJによって予め登録されたメールアドレスに、被験者SJの認知機能の評価結果を示すメールを送信する通信部であってもよい。
また、図1~図12を参照して説明した実施形態では、学習済みモデルTMが被験者SJの動作の特徴を抽出したが、処理部43及び処理部84が被験者SJの動作の特徴を抽出してもよい。
また、図1~図12を参照して説明した実施形態において、脳波データBD(生データRBD)は複数個に分割されたが、脳波データBD(生データRBD)は分割されなくてもよい。
また、図1~図12を参照して説明した実施形態では、脳波に含まれるθ波、α波、及びβ波の各成分が用いられたが、θ波、α波、及びβ波のうちのいずれか1つ、又は2つが用いられてもよい。
また、図1~図12を参照して説明した実施形態では、データ収集部80により学習用データが生成されたが、評価部40が学習用データを生成してもよい。
また、図1~図12を参照して説明した実施形態において、評価部40は、被験者SJを、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類するか、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類したが、評価部40は、被験者SJを、軽度認知障害のクラスと、非認知症のクラスとに分類してもよいし、被験者SJを、認知症のクラスと、軽度認知障害のクラスと、非認知症のクラスとに分類してもよい。
また、図1~図12を参照して説明した実施形態において、評価部40は、被験者SJを、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類するか、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類したが、評価部40は、被験者SJを認知症のタイプ別に分類してもよい。例えば、評価部40は、被験者SJを、Alzheimer型認知症と、Lewy小体型認知症とに分類してもよい。
本発明は、軽度認知障害や認知症の診断に利用することができる。
20 :動作検出部
30 :回答検出部
40 :評価部
50 :測定部
100 :認知機能評価システム
BD :脳波データ
M :ウィンドウサイズ
S :スライドサイズ
SJ :被験者
W :ウィンドウ
30 :回答検出部
40 :評価部
50 :測定部
100 :認知機能評価システム
BD :脳波データ
M :ウィンドウサイズ
S :スライドサイズ
SJ :被験者
W :ウィンドウ
Claims (7)
- 所定のタスクを遂行している被験者を撮像して、撮像データを生成する動作検出部と、
前記所定のタスクを遂行している前記被験者による所定の認知問題に対する回答を検出する回答検出部と、
前記被験者の脳波を測定する測定部と、
前記撮像データから前記被験者の動作の特徴を抽出し、前記回答検出部により検出された前記回答から前記被験者による前記回答の特徴を抽出し、前記動作の特徴、前記回答の特徴、及び前記脳波に基づいて、前記被験者の認知機能を評価する評価部と
を備え、
前記所定のタスクは、
所定の運動を前記被験者に課す運動タスクと、
前記所定の認知問題に対する回答を前記被験者に課す知能タスクと
を含み、
前記評価部は、前記運動タスクを遂行している前記被験者の前記撮像データから前記被験者の動作の特徴を抽出する、認知機能評価システム。 - 前記評価部は、前記被験者を、認知症のクラスと、軽度認知障害及び非認知症のクラスとに分類するか、あるいは、認知症及び軽度認知障害のクラスと、非認知症のクラスとに分類する、請求項1に記載の認知機能評価システム。
- 前記所定のタスクは、前記運動タスクと前記知能タスクとを同時に前記被験者に課すデュアルタスクを含み、
前記動作検出部は、前記デュアルタスクを遂行している前記被験者を撮像し、
前記回答検出部は、前記デュアルタスクを遂行している前記被験者の前記回答を検出する、請求項1又は請求項2に記載の認知機能評価システム。 - 前記脳波は、前記被験者が安静にしている際の脳波、前記被験者が前記運動タスクを遂行している際の脳波、前記被験者が前記知能タスクを遂行している際の脳波、及び、前記被験者が前記デュアルタスクを遂行している際の脳波のうちの少なくとも1つを含む、請求項3に記載の認知機能評価システム。
- 前記評価部は、前記測定部が測定した前記脳波から特定の周波数の信号を抽出し、前記動作の特徴、前記回答の特徴、及び前記特定の周波数の信号に基づいて、前記被験者の認知機能を評価する、請求項1又は請求項2に記載の認知機能評価システム。
- 前記評価部は、前記測定部が測定した前記脳波を複数個に分割する、請求項1又は請求項2に記載の認知機能評価システム。
- 前記評価部は、前記測定部が測定した脳波を、固定された幅のウィンドウをスライドさせながら分割し、
前記スライドの量は、前記ウィンドウの幅よりも小さい、請求項6に記載の認知機能評価システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-076304 | 2022-05-02 | ||
JP2022076304 | 2022-05-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023214545A1 true WO2023214545A1 (ja) | 2023-11-09 |
Family
ID=88646483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/016874 WO2023214545A1 (ja) | 2022-05-02 | 2023-04-28 | 認知機能評価システム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023214545A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012165602A1 (ja) * | 2011-05-31 | 2012-12-06 | 国立大学法人名古屋工業大学 | 認知機能障害判別装置、認知機能障害判別システム、およびプログラム |
WO2016148199A1 (ja) * | 2015-03-16 | 2016-09-22 | 国立大学法人大阪大学 | デュアルタスク遂行能力評価方法、及びデュアルタスク遂行能力評価システム |
CN113288174A (zh) * | 2021-05-31 | 2021-08-24 | 中国科学院西安光学精密机械研究所 | 一种精神***患者认知功能的检测方法 |
-
2023
- 2023-04-28 WO PCT/JP2023/016874 patent/WO2023214545A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012165602A1 (ja) * | 2011-05-31 | 2012-12-06 | 国立大学法人名古屋工業大学 | 認知機能障害判別装置、認知機能障害判別システム、およびプログラム |
WO2016148199A1 (ja) * | 2015-03-16 | 2016-09-22 | 国立大学法人大阪大学 | デュアルタスク遂行能力評価方法、及びデュアルタスク遂行能力評価システム |
CN113288174A (zh) * | 2021-05-31 | 2021-08-24 | 中国科学院西安光学精密机械研究所 | 一种精神***患者认知功能的检测方法 |
Non-Patent Citations (1)
Title |
---|
UWATOKO MAMI, TADASHI MATAE, ATSUO NURUKI, SEI-ICHI TSUJIMURA, KAZUTOMO YUNOKUCHI, ASUTSUGU KURONO: "A Preliminary Study on Early Diagnosis for Dementia Using EEG Topography during Sternberg Task", SEITAI IKOUGAKU _ JAPANESE SOCIETY FOR MEDICAL AND BIOLOGICAL ENGINEERING. TRANSACTIONS, NIHON SEITAI IKOU GAKKAI, JP, vol. 47, no. 1, 10 February 2009 (2009-02-10), JP , pages 64 - 69, XP093106176, ISSN: 1347-443X, DOI: 10.11239/jsmbe.47.64 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2292839C2 (ru) | Способы и устройство для анализа поведения человека | |
Cecotti et al. | Best practice for single-trial detection of event-related potentials: Application to brain-computer interfaces | |
JP2018526711A (ja) | ブレインコンピュータインタフェースによる画像の分類 | |
RU2708807C2 (ru) | Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту | |
Tao et al. | A comparative home activity monitoring study using visual and inertial sensors | |
JP2021514721A (ja) | 異常運動の検出および補正のためのシステム及び方法 | |
US20240050006A1 (en) | System and method for prediction and control of attention deficit hyperactivity (adhd) disorders | |
US20230371872A1 (en) | Method and system for quantifying attention | |
Jiang et al. | Predicting core characteristics of ASD through facial emotion recognition and eye tracking in youth | |
Kupryjanow et al. | Updrs tests for diagnosis of parkinson's disease employing virtual-touchpad | |
CN115177253A (zh) | 基于多模态数据学生心理危机预警*** | |
Sadek et al. | Computer Vision Techniques for Autism Symptoms Detection and Recognition: A Survey. | |
JP6628341B2 (ja) | 意思解読装置及び意思伝達支援装置 | |
WO2023214545A1 (ja) | 認知機能評価システム | |
JP2022045493A (ja) | 信号処理装置、信号処理方法および信号処理プログラム | |
CN115429271A (zh) | 基于眼动和面部表情的孤独症谱系障碍筛查***及方法 | |
Yauri et al. | Mental workload detection based on EEG analysis | |
Gamage et al. | Academic depression detection using behavioral aspects for Sri Lankan university students | |
WO2019227690A1 (zh) | 行为范式指标的筛选及其应用 | |
KR20210135378A (ko) | 일상생활에서 발생하는 감정 변화 원인을 파악하는 방법 및 그 시스템 | |
Hossain et al. | A comparative study of motor imagery (MI) detection in electroencephalogram (EEG) signals using different classification algorithms | |
Khanal et al. | Individual’s neutral emotional expression tracking for physical exercise monitoring | |
RU2787224C1 (ru) | Способ оценки функционального состояния по показателям походки и/или кинематики движений и применение способа в сфере продвижения товаров и услуг | |
WO2023074829A1 (ja) | 認知機能評価システム、及び学習方法 | |
Kiprijanovska et al. | Smart Glasses for Gait Analysis of Parkinson’s Disease Patients |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23799475 Country of ref document: EP Kind code of ref document: A1 |