WO2022030592A1 - 脳卒中検査システム、脳卒中検査方法、及び、プログラム - Google Patents
脳卒中検査システム、脳卒中検査方法、及び、プログラム Download PDFInfo
- Publication number
- WO2022030592A1 WO2022030592A1 PCT/JP2021/029171 JP2021029171W WO2022030592A1 WO 2022030592 A1 WO2022030592 A1 WO 2022030592A1 JP 2021029171 W JP2021029171 W JP 2021029171W WO 2022030592 A1 WO2022030592 A1 WO 2022030592A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- inspection
- subject
- stroke
- items
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 19
- 208000006011 Stroke Diseases 0.000 title abstract description 147
- 206010008190 Cerebrovascular accident Diseases 0.000 title abstract 7
- 230000002490 cerebral effect Effects 0.000 title abstract 7
- 238000007689 inspection Methods 0.000 claims description 325
- 238000012360 testing method Methods 0.000 claims description 121
- 208000036826 VIIth nerve paralysis Diseases 0.000 claims description 45
- 208000004929 Facial Paralysis Diseases 0.000 claims description 44
- 206010013887 Dysarthria Diseases 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 23
- 230000033001 locomotion Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 12
- 206010017577 Gait disturbance Diseases 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 4
- 208000006373 Bell palsy Diseases 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 208000024891 symptom Diseases 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 28
- 238000013528 artificial neural network Methods 0.000 description 23
- 230000001815 facial effect Effects 0.000 description 14
- 206010033799 Paralysis Diseases 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000001629 sign test Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 206010027926 Monoplegia Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 208000030137 articulation disease Diseases 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000001061 forehead Anatomy 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 208000014644 Brain disease Diseases 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000032109 Transient ischaemic attack Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Definitions
- This disclosure relates to a stroke testing system, a stroke testing method, and a program for testing signs of stroke in a subject.
- the present disclosure is made in view of the above, and an object thereof is to provide a stroke examination system or the like capable of performing an appropriate examination.
- one aspect of the stroke test system is a stroke test system that tests for signs of stroke in a subject, and among a plurality of test items related to stroke, for the subject.
- a decision unit that determines two or more inspection items to be executed, and a plurality of inspection units that each execute each inspection of the plurality of inspection items, and at least the determined two or more inspection items. It is provided with a plurality of examination units that execute two examinations at the same time, and a diagnostic unit that outputs diagnostic information regarding the signs of stroke in the subject based on the examination results.
- the stroke test method among a plurality of test items related to stroke, two or more test items to be performed on the subject are determined, and each of the plurality of test items is defined.
- the inspection unit corresponding to at least two of the determined two or more inspection items included in the plurality of inspection units that execute the inspection is made to execute the inspection at the same time.
- these comprehensive or specific embodiments may be realized by a recording medium such as a system, an apparatus, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the apparatus, the integrated circuit, the computer program. And may be realized by any combination of recording media.
- a stroke test system or the like capable of performing an appropriate test is provided.
- FIG. 1 is a schematic diagram showing an example of the configuration of the stroke examination system according to the embodiment.
- FIG. 2 is a block diagram showing a functional configuration of the stroke examination system according to the embodiment.
- FIG. 3 is a block diagram comparing the functional configuration of the stroke examination system according to the embodiment with the functional configuration of a smartphone, which is a form of a mobile terminal device.
- FIG. 4 is an explanatory diagram of a 3-axis sensor and a 3-axis angular velocity sensor provided in a smartphone, which is a form of a mobile terminal device.
- FIG. 5A is a first partial block diagram showing a functional configuration of an inspection unit according to an embodiment.
- FIG. 5B is a second partial block diagram showing the functional configuration of the inspection unit according to the embodiment.
- FIG. 5C is a third partial block diagram showing the functional configuration of the inspection unit according to the mode of application.
- FIG. 6 is a partial block diagram showing a functional configuration of the sensor unit according to the embodiment.
- FIG. 7 is a flowchart showing an operation example of the stroke examination system according to the embodiment.
- FIG. 8A is a diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
- FIG. 8B is a second diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
- FIG. 9A is a third diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
- FIG. 9B is a fourth diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
- FIG. 10 is a diagram showing an example of a neural network for inspecting facial palsy in carrying out the embodiment.
- FIG. 11A is a diagram showing an example of a neural network in consideration of the influence of rotation of a facial image that occurs at the time of photographing for inspecting facial palsy in carrying out the embodiment.
- FIG. 11B is an example of a neural network considering the influence of the inclination of the upper (forehead portion) and lower (chin portion) of the face of the facial image generated at the time of photographing for inspecting facial palsy in carrying out the embodiment. It is a figure which shows.
- FIG. 12 is a diagram showing an example of a process of correcting an inclination generated when a facial image of a subject is photographed in carrying out the embodiment.
- FIG. 13 shows a state in which a facial image of the subject himself / herself is taken with the arm of the person holding the stroke inspection device extended, and a valley sign test and a facial palsy test are performed at the same time. It is a
- the present disclosure provides a stroke test system and the like that can appropriately perform tests of a plurality of test items from the viewpoint of shortening the test time.
- the stroke test system is a stroke test system for testing signs of stroke in a subject, and among a plurality of test items related to stroke, two or more test items to be performed on the subject.
- a decision unit that determines, and a plurality of inspection units, each of which executes each inspection of a plurality of inspection items, and a plurality of inspection units that simultaneously execute at least two inspections of two or more determined inspection items.
- a diagnostic unit that outputs diagnostic information regarding the signs of stroke in the subject based on the test results.
- Such a stroke test stem can simultaneously perform two or more tests among the tests of two or more test items determined to be performed on the subject. As a result, the time required to execute the two or more tests can be shortened as compared with the case where each of the tests is performed sequentially. Therefore, the urgent stroke test should be appropriately performed from the viewpoint of the test time. Is possible.
- each of the plurality of inspection items is among the inspection items related to the subject's facial palsy, the inspection items related to the subject's valley signs, the inspection items related to the subject's dysarthria, and the inspection items related to the subject's gait disorder. It may be one that is different from each other.
- two or more tests determined from the test items related to the subject's facial paralysis, the test items related to the subject's valley signs, the test items related to the subject's dysarthria, and the test items related to the subject's gait disorder within the inspection of an item, two or more inspections can be performed at the same time.
- the inspection items of the inspections performed simultaneously by a plurality of inspection units may be inspection items relating to facial palsy of the subject and inspection items relating to the subject's valley signs.
- the inspection items of the inspections executed simultaneously by a plurality of inspection units may be inspection items relating to the subject's valley sign and inspection items relating to the subject's dysarthria.
- the inspection items of the inspections performed simultaneously by a plurality of inspection units may be inspection items related to facial paralysis of the subject and inspection items related to dysarthria of the subject.
- the inspection unit that executes the inspection of the inspection items related to the subject's facial palsy is the first acquisition unit that acquires the image of the subject's face from the sensor that images the subject's face. And a first extraction unit that extracts a feature amount related to facial palsy based on the acquired image.
- the first extraction unit can extract the feature amount related to facial palsy based on the image acquired by the first acquisition unit and execute the inspection of the inspection items related to the facial palsy of the subject.
- the inspection unit that executes the inspection of the inspection items related to the subject's valley sign acquires the movement data of the subject's upper arm from the sensor that detects the movement of the subject's upper arm. It may have two acquisition units and a second extraction unit that extracts feature quantities related to valley signs based on the acquired motion data.
- the second extraction unit can extract the feature amount related to the valley sign and execute the inspection of the inspection items related to the valley sign of the subject based on the operation data acquired by the second acquisition unit.
- the inspection unit that executes the inspection of the inspection items related to the subject's dysarthria acquires the voice data of the subject's voice from the sensor that collects the subject's voice. It may have an acquisition unit and a third extraction unit that extracts a feature amount related to dysarthria based on the acquired voice data.
- the third extraction unit can extract the feature amount related to the dysarthria and execute the inspection of the inspection items related to the dysarthria of the subject.
- the determination unit determines three or more inspection items to be executed for the subject, and the plurality of inspection units simultaneously execute three inspections out of the three or more determined inspection items. You may.
- the stroke test method among a plurality of test items related to stroke, two or more test items to be performed on the subject are determined, and each test of the plurality of test items is performed.
- Such a stroke test method can have the same effect as the stroke test system described above.
- the program according to one aspect of the present disclosure is a program for causing a computer to execute the stroke examination method described above.
- Such a program can have the same effect as the stroke testing system described above using a computer.
- FIG. 1 is a schematic diagram showing an example of the configuration of the stroke examination system according to the embodiment.
- FIG. 2 is a block diagram showing a functional configuration of the stroke examination system according to the embodiment.
- FIG. 3 is, as an example, a block diagram in the case where the stroke inspection system according to the embodiment is configured by a portable terminal device such as a smartphone.
- the stroke inspection system 500 includes a stroke inspection device 100 realized by an information terminal and a server device 200.
- the stroke inspection device 100 includes sensors and the like corresponding to various inspection items for inspecting a sign of stroke.
- the stroke test device 100 sequentially gives instructions necessary for the test to the operator of the stroke test system 500, that is, the operator of the stroke test device 100, and makes full use of these sensors and the like to make full use of these sensors and the like to stroke the subject. Perform a symptom test.
- the stroke inspection device 100 is realized by an information terminal, but may be another device as long as it has a configuration for realizing various functions described below.
- the stroke test device 100 may be a dedicated device that is lent to a person at high risk of stroke in a medical examination or the like and is used when a suspicion of stroke is suspected.
- the server device 200 is a device connected to the stroke test device 100 via a network such as the Internet.
- the server device 200 is a storage device for storing the information used in the stroke examination device 100.
- the server device 200 may be realized by a cloud computer installed on the network, or may be realized by an edge computer in a local communication network with which the stroke examination device 100 can communicate.
- a storage unit that stores the same information may be built in the stroke test device 100. That is, the stroke examination system 500 may be realized with only one information terminal.
- the stroke inspection device 100 includes an acquisition unit 101, a determination unit 102, an inspection unit 103, a diagnosis unit 104, a sensor unit 105, a transmission / reception unit 106, an output unit 107, and a storage unit 108. And prepare.
- the acquisition unit 101, the determination unit 102, the inspection unit 103, and the diagnosis unit 104 are the CPU (Central Processing Unit) of the control unit 110, the memory, and the program stored in the memory. Is realized by executing.
- CPU Central Processing Unit
- the output unit 107 is composed of a display unit composed of a display or the like and an audio output means composed of a speaker or the like.
- the storage unit 108 functions as a memory for storing a program executed by the CPU of the control unit 110 and profile information related to the subject's brain disease.
- the acquisition unit 101 is a processing unit that acquires profile information about the target person.
- the profile information about the subject is the information stored in the storage unit 201 of the server device 200. This information is, for example, data regarding the electronic medical record of the subject, the result of the medical examination, and the like. Therefore, it is desirable that the server device 200 is a server device installed in a medical institution.
- the acquisition unit 101 outputs the acquired profile information to the determination unit 102 after processing the acquired profile information into a usable format by performing processing such as conversion and decryption of encrypted information as necessary.
- the determination unit 102 determines the priority of each of the plurality of preset test items related to stroke based on the profile information output from the acquisition unit 101. Then, the determination unit 102 determines the inspection item to be executed for the target person from the plurality of inspection items based on the determined priority.
- the number of inspection items determined here is two or more. In this embodiment, an example in which the inspection is executed only for the inspection items determined from the plurality of inspection items will be described, but the inspections for all the inspection items may be executed. In this case, it can be said that the determination unit 102 determines all the inspection items as the inspection items to be inspected among the plurality of inspection items. Further, at this time, since it is not necessary to determine the priority as described above, the acquisition unit 101 and the profile information acquired by the acquisition unit are also unnecessary.
- the inspection unit 103 is a processing unit that acquires physical quantities from various sensors included in the sensor unit 105 and inspects the subject for a sign of stroke.
- the inspection unit 103 determines the sensor and timing for acquiring the physical quantity for each inspection item, acquires the physical quantity of the sensor corresponding to the inspection item to be executed, and outputs the inspection result according to the physical quantity.
- the inspection unit 103 in the present disclosure can also be regarded as a plurality of inspection units 103 that execute a plurality of inspection items.
- the test result output from each test unit 103 may be a binary result such as whether or not a sign of stroke was observed in a certain test item, or there is a possibility that a sign of stroke has occurred. It may be the result in a scale expression such as%. Then, a comprehensive test result is output to the diagnostic unit from the test results output from each of the plurality of test units 103.
- This comprehensive test result may be, for example, the average value of the scale expression, the number of test items showing signs of stroke, or even one of a plurality of test items. It may be a binary result of whether or not there is a sign of stroke.
- the output of the test result from the test unit 103 is, for example, a trained machine using at least one of a physical quantity when a sign of stroke is seen and a physical quantity when no sign of stroke is seen as training data. Obtained by inputting the obtained physical quantity into the learning model.
- each of the plurality of inspection units 103 has a trained machine learning model in which optimum learning has been performed.
- FIG. 5A is a first partial block diagram showing the functional configuration of the inspection unit according to the embodiment.
- FIG. 5B is a second partial block diagram showing a functional configuration of the inspection unit according to the embodiment.
- FIG. 5C is a third partial block diagram showing a functional configuration of the inspection unit according to the embodiment.
- FIGS. 5A to 5C shows one of a plurality of inspection units 103.
- the first inspection unit 103a shown in FIG. 5A is, for example, an inspection unit 103 provided for inspection items related to facial paralysis of a subject, which is included in inspection items at the time of inspection of a sign of stroke.
- the first inspection unit 103a acquires an image of the subject's face from the first sensor 105a (see FIG. 6 described later) that captures the subject's face, and the face surface based on the acquired image. It has a first extraction unit 123a for extracting a feature amount related to paralysis.
- the first sensor 105a is, for example, a camera or the like.
- the function of the first acquisition unit 113a may be integrated into the acquisition unit 101.
- the first extraction unit 123a extracts a predetermined feature amount from the input of an image and outputs a test result of a sign of stroke from the viewpoint of facial paralysis based on the predetermined feature amount.
- the first extraction unit 123a teaches at least one of an image when a sign of stroke is seen from the viewpoint of facial paralysis and an image when no sign of stroke is seen from the viewpoint of facial paralysis, for example. It is realized by using the trained machine learning model used as data.
- the second inspection unit 103b shown in FIG. 5B is, for example, an inspection unit 103 provided for inspection items related to the subject's valley sign, which is included in the inspection items at the time of inspection of a sign of stroke.
- the second inspection unit 103b and the second acquisition unit 113b acquire the motion data (sensor detection result) of the subject's upper arm from the second sensor 105b (see FIG. 6 described later) that detects the motion of the subject's upper arm.
- a second extraction unit 123b which extracts a feature amount related to a valley sign based on the acquired motion data.
- the second sensor 105b is a sensor that detects the movement of the stroke inspection device 100 itself, such as a 6-axis sensor (3-axis acceleration sensor and 3-axis angular velocity sensor), for example, when the operator and the target person match. Further, the second sensor 105b is, for example, a camera or the like when the operator and the target person are different.
- the function of the second acquisition unit 113b may be integrated into the acquisition unit 101.
- the second extraction unit 123b extracts a predetermined feature amount from the input of exercise data, and outputs a test result of a stroke sign from the viewpoint of a valley sign based on the predetermined feature amount.
- the second extraction unit 123b is, for example, at least one of the exercise data when there is a sign of stroke in terms of valley signs and the exercise data when there is no sign of stroke in terms of valley signs. Is realized by using a trained machine learning model using as teacher data.
- the third inspection unit 103c shown in FIG. 5C is, for example, an inspection unit 103 provided for inspection items related to dysarthria of the subject, which is included in the inspection items at the time of inspection of a sign of stroke.
- the third inspection unit 103c is based on the third acquisition unit 113c that acquires the voice data of the subject's voice from the third sensor 105c (see FIG. 6 described later) that collects the voice of the subject, and the acquired voice data. It has a third extraction unit 123c for extracting a feature amount related to dysarthria.
- the third sensor 105c is, for example, a microphone or the like.
- the function of the third acquisition unit 113c may be integrated into the acquisition unit 101.
- the third extraction unit 123c extracts a predetermined feature amount from the input of voice data, and outputs a test result of a sign of stroke from the viewpoint of dysarthria based on the predetermined feature amount.
- the third extraction unit 123c is, for example, at least one of the voice data when a sign of stroke is seen from the viewpoint of dysarthria and the voice data when no sign of stroke is seen from the viewpoint of dysarthria. Is realized by using a trained machine learning model using as teacher data.
- the diagnostic unit 104 is a processing unit that outputs diagnostic information regarding the signs of stroke in the subject based on the test results.
- the diagnostic information output by the diagnostic unit 104 includes, for example, at least one of image information indicating the test result and inquiry information for outputting the test result to the outside.
- the image information indicating the test result output from the diagnostic unit 104 is displayed on, for example, the screen of a smartphone. The operator of the stroke examination system 500 can see the displayed image information and take necessary measures.
- the inquiry information output from the diagnostic unit 104 to output the test result to the outside is transmitted to the medical institution or the like as it is via the network or the like. Then, the medical institution starts responding from the inquiry information received at the medical institution.
- the sensor unit 105 is a group of various sensors provided in the stroke inspection device 100.
- FIG. 6 is a partial block diagram showing a functional configuration of the sensor unit according to the embodiment.
- the sensor unit 105 includes a first sensor 105a, a second sensor 105b, and a third sensor 105c.
- the sensor included in the sensor unit 105 is, for example, a sensor such as a camera, a microphone, a touch panel, a fingerprint sensor, a distance sensor, a GPS, a 6-axis sensor, a magnetic sensor, and a brightness sensor.
- the transmission / reception unit 106 is a communication module that connects the stroke inspection device 100 and an external device so as to be able to communicate with each other via a network.
- the transmission / reception unit 106 is used when communicating between the stroke inspection device 100 and the server device 200, and when communicating between the stroke inspection device 100 and the inquiry information receiving device of a medical institution.
- the storage unit 201 is a storage device such as a semiconductor memory.
- the storage unit 201 stores information corresponding to profile information, such as information extracted from the subject's electronic medical record and information extracted from the result of the subject's health examination.
- the transmission / reception unit 202 is a communication module that connects the server device 200 and an external device so as to be able to communicate with each other via a network.
- the transmission / reception unit 202 is used when the server device 200 and the stroke test device 100 communicate with each other.
- mobile terminal devices such as smartphones include a control unit 301, a display unit 302, a storage unit 303, various sensor groups (GPS304, 3-axis sensor 305, 3-axis angular speed sensor 306, proximity sensor 307, magnetic). Sensor 308, ambient light sensor 309, microphone 310, etc.), camera 311, speaker 312, communication unit 313, touch panel 314, fingerprint sensor 315, face recognition sensor group 316, battery 317, power supply unit 318 and the like.
- GPS304 3-axis sensor 305, 3-axis angular speed sensor 306, proximity sensor 307, magnetic
- Sensor 308 ambient light sensor 309, microphone 310, etc.
- the control unit 301 can control the smartphone in an integrated manner, and although not shown, the control unit 301 includes a CPU and a storage element (for example, SRAM, etc.).
- the control unit 301 corresponds to the control unit 110 of FIG. 2, and has at least the functions of the acquisition unit 101, the determination unit 102, the inspection unit 103, and the diagnosis unit 104.
- the display unit 302 constitutes a part of the output unit 107 of FIG. 2, and displays based on the information received from the control unit 301.
- the storage unit 303 stores an OS (Operating System) read and executed by the control unit 301, various application programs, and various data used by various programs. Further, a part or all of the profile information regarding the brain disease of the subject, which is the information stored in the storage unit 201 of the server device 200, may be stored.
- OS Operating System
- the communication unit 313 corresponds to the transmission / reception unit 106 in FIG. 2, controls wireless communication technologies such as LTE (LongTermEvolution, registered trademark) and 5th generation mobile communication system (so-called 5G), and is operated by a communication operator. It is wirelessly connected to a base station (not shown) and connected to the Internet via the communication base station. Regarding the means of communication with the outside, it is not the essence of the present application, and it does not exclude the type of mobile terminal device connected by Wi-Fi (registered trademark) and the type of mobile terminal device connected by a wired LAN.
- Wi-Fi registered trademark
- wired LAN wired LAN
- the touch panel 314 receives an input to the screen (display unit 302) from the operator of the stroke inspection system 500 of FIG. 2, that is, the operator of the stroke inspection device 100, and the control unit 301 receives a signal based on the input (for example, a screen). Which part above is touched and how much pressure is touched) can be transmitted.
- the various sensor groups correspond to the sensor unit 105 in FIG. 2, GPS304 that measures the position of the smartphone on the earth, X-axis, Y-axis, and Z-axis are set for the smartphone, and the acceleration of each axis is measured.
- 3-axis sensor 305 3-axis angular velocity sensor 306 that measures the angular velocity in the rotation direction for each axis set by the 3-axis sensor 305, proximity sensor 307 that detects a nearby object (for example, a face approaching a smartphone),
- a magnetic sensor 308 that detects geomagnetism and indicates the direction
- an ambient light sensor 309 that detects the brightness of the surroundings of the smartphone
- a microphone 310 that collects ambient sounds and voices
- a camera 311 that captures the front or rear side of the smartphone
- the speaker 312 that emits sound
- the face authentication sensor group 316 that authenticates the face (actually, an infrared camera, a floodlight illuminator,
- the functions of the 3-axis sensor 305 (accelerometer) and the 3-axis angular velocity sensor will be described with reference to FIG.
- the acceleration when the terminal itself is accelerated in the linear direction is measured in the three directions of X-axis, Y-axis, and Z-axis (3-axis sensor), and works in the direction of rotating the terminal.
- the angular velocity (represented by the X-axis angular velocity, the Y-axis angular velocity, and the Z-axis angular velocity, which are collectively referred to as a 3-axis angular velocity sensor) can be measured.
- a subject takes a facial image with the stroke inspection device 100
- the stroke test device 100 is held vertically and a self-portrait is taken, it is determined whether the stroke test device 100 is tilted with respect to the horizon, and if it is tilted, at what angle it is tilted. It is possible.
- FIG. 7 is a flowchart showing an operation example of the stroke examination system according to the embodiment.
- the acquisition unit 101 acquires profile information from the server device 200 via the transmission / reception unit 106.
- the acquired profile information is output to the determination unit 102.
- the determination unit 102 determines the inspection item to be actually inspected among the plurality of inspection items by setting the priority of each of the plurality of inspection items based on the output profile information (S101). ..
- S101 the output profile information
- the determination unit 102 determines the three inspection items of the first inspection item, the second inspection item, and the third inspection item.
- the first inspection item is an inspection item relating to facial palsy of the subject.
- the second inspection item is an inspection item relating to the subject's valley signs.
- the third inspection item is an inspection item relating to the subject's dysarthria.
- inspection items related to gait disturbance and other inspection items may be determined.
- FIG. 8A is a diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
- an image is displayed on the display screen of the terminal device (stroke test device 100) after both the test items related to the subject's facial palsy and the test items related to the subject's valley sign have been started. The state is shown.
- the inspection time is shortened.
- executing A and B at the same time means that B is started after A is started and before A is finished. Therefore, at least a period in which A and B are performed in parallel is formed. In this period, the inspection process of A and the inspection process of B may be processed in parallel or may be processed in a time division manner.
- the inspection items related to the subject's facial palsy and the inspection items related to the subject's valley signs are simultaneously executed, but the combination of inspection items to be simultaneously executed is limited to this. No.
- the inspection items for the subject's valley signs and the inspection items for the subject's dysarthria may be performed at the same time
- the inspection items for the subject's facial paralysis, and the inspection for the subject's dysarthria. Inspection of items may be performed at the same time.
- FIG. 8B is a diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
- the display screen of the terminal device after each inspection of the inspection item related to the subject's facial paralysis, the inspection item related to the subject's valley sign, and the inspection item related to the subject's dysarthria is started. It shows how the image is displayed. The image displayed in FIG.
- FIG. 8B is an image following the image displayed in FIG. 8A.
- the acquisition of further voice data is started triggered by the normal start of the acquisition of the image and the acquisition of the motion data, and the image displayed changes from the image of FIG. 8A to the image of FIG. 8B. ..
- each inspection is individually executed. It is also possible to significantly reduce the inspection time as compared with the case of doing so.
- the inspection of the first inspection item is completed (S105), the inspection of the second inspection item is completed (S106), and the inspection of the third inspection item is completed (S107).
- the timing of the start of each inspection is not limited to this, and the timing of the end of each inspection is not limited to this.
- the inspection of the first inspection item is started, the inspection of the second inspection item is started, the inspection of the first inspection item is completed, the inspection of the third inspection item is started, and the inspection of the second inspection item is completed.
- the order may be such that the inspection of the third inspection item is completed.
- the inspection of the first inspection item is started, the inspection of the second inspection item is started, the inspection of the second inspection item is completed, the inspection of the third inspection item is started, and the inspection of the third inspection item is started. May be completed, and the inspection of the first inspection item may be completed. In this way, if the inspection of at least one inspection item is started and the inspection of another inspection item is started before the inspection of the one inspection item is completed, one inspection item and another inspection item are started. Each inspection of the inspection items will be performed at the same time. By doing so, as described above, it is possible to enjoy the effect of shortening the inspection time.
- the diagnostic unit 104 outputs the diagnostic information and outputs it to the display screen, an external device, or the like (S108).
- the stroke test system 500 that can quickly obtain the test results by reducing the time required to perform multiple tests is realized. can.
- the stroke test system 500 can expand the number of tests that can be performed in the same time, so that various tests with multiple items can be performed in a short time, so that the test results can be utilized. Can improve sex.
- FIG. 9A is a third diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
- FIG. 9B is a fourth diagram showing an example of an operation screen of the stroke examination system according to the embodiment.
- FIG. 10 shows a method for inspecting facial palsy using a neural network called deep learning.
- the data set with the correct answer information indicating that there is no paralysis corresponding to the face image is used as the teacher data (in FIG. 10, the first and second faces from the top are paralyzed and the third face is not paralyzed). input.
- the weighting coefficient at each node included in the intermediate layer is adjusted to fit the data set by an operation such as backpropagation.
- FIG. 11A is a diagram showing an example of a neural network in consideration of the influence of rotation of a facial image that occurs at the time of photographing for inspecting facial palsy in carrying out the embodiment.
- the captured image or image tends to shift at an angle (for example, if paralysis of the arm remains, the stroke inspection device 100 rotates to the left or right, and the captured image is captured. Or the image may rotate), the neural network is trained using the corrected teacher data.
- FIG. 11A is a diagram showing an example of a neural network in consideration of the influence of rotation of a facial image that occurs at the time of photographing for inspecting facial palsy in carrying out the embodiment.
- the stroke inspection device 100 rotates to the left or right, and the captured image is captured. Or the image may rotate
- the neural network is trained using the corrected teacher data.
- 11B shows a neural network in which the influence of the inclination of the upper (forehead portion) and lower (chin portion) of the face of the facial image generated at the time of photographing for inspecting facial palsy in carrying out the embodiment is taken into consideration. It is a figure which shows an example. As shown in FIG. 11B, it is assumed that it is difficult to hold the stroke inspection device 100 in the vertical direction, and it is assumed in advance that the upper part (forehead part) and the lower part (chin part) of the face are tilted back and forth. Prepare an image and use it as teacher data to train a neural network.
- each of these multiple neural networks can be used to detect facial palsy.
- the rotation of the stroke examination device 100 is corrected by using the neural network shown in FIG. 11A, but the present invention is not limited to this.
- the angle at which the stroke inspection device 100 is tilted with respect to the horizontal is acquired. This angle is, for example, an angle ⁇ shown in FIG. 9A as an angle difference between the vertical direction of the stroke inspection device 100 and the vertical direction of the subject.
- FIG. 12 is a diagram showing an example of a process for correcting the inclination generated when the facial image of the subject is photographed in carrying out the embodiment.
- the angle ⁇ may be calculated from the sensor value output by the sensor unit 105 at the time of photographing, or the sensor value may be held at the time of photographing the face and the image rotation processing means (for example, for example). It may be calculated from the sensor value when the image of the face tilted by the affine transformation) is restored. Alternatively, the angle ⁇ is calculated from the sensor value at the time of photographing the face, and before recording the image of the face on the stroke inspection device 100, or the means for detecting facial paralysis (the neural network capable of detecting the facial paralysis shown in FIG. 10).
- the tilt may be corrected by the image rotation processing means before inputting to. Further, these correction processes may be processed by the stroke inspection device 100, or may be transmitted to the server device 200 and corrected by the cloud side. Further, the same processing may be performed for the angle difference between the orientation of the subject and the orientation of the stroke inspection device 100 in the horizontal plane of the stroke inspection device 100 shown in FIG. 9B.
- the position information of each of the healthy person and the person with paralysis of the arm is accumulated, and as learning data between the healthy person and the person with paralysis of the arm in the neural network. You may let them learn. Also, simply based on the position of the elbow of the arm and the position of the shoulder or wrist, an appropriate threshold (in this case, how the position of the elbow changed with respect to the position of the shoulder or wrist, or the arm In any case, the doctor may examine the patient and make a judgment by setting a threshold indicating that the position of the wrist is lowered from the initial state while taking the so-called imitation posture of extending the arm forward.
- the processing to be performed can be determined by replacing the moving image taken by the camera with the image analysis obtained from the moving image.
- this method requires a third party as an operator to shoot the subject, or the camera needs to be fixed on a predetermined table in order to shoot itself at an angle of view including the subject's arm. There is.
- FIG. 13 shows a state in which a facial image of the subject himself / herself is taken with the arm of the person holding the stroke inspection device extended, and a valley sign test and a facial palsy test are performed at the same time. It is a figure shown.
- the subject is made to hold the stroke test device 100 with one or both hands, and the one arm holding the stroke test device 100 or the posture of extending both arms to the front of the body is maintained for a predetermined time. At this time, if either the left or right arm is paralyzed, the arm with the paralysis falls, so that the stroke inspection device 100 is tilted with respect to the horizontal state.
- This inclination angle is discriminated by a predetermined threshold, or the neural network is trained by using the sensor value when the same operation is performed in each of a healthy person and a person with arm paralysis as teacher data.
- the detected sensor value may be input to the neural network after learning to output the presence or absence of arm paralysis.
- the stroke test device 100 when the subject detects paralysis of one arm holding the stroke test device 100 or whether both arms can be maintained horizontally for a predetermined time, the stroke test device 100 is held with the arm extended.
- the stroke test device 100 By taking a picture of the subject's face with a camera, it is possible to carry out an examination for facial paralysis at the same time.
- TIA Transient Ischemic Attack
- the test for dysarthria means a speech test in this embodiment, and is a test for whether or not a predetermined sentence can be spoken without delay.
- the voice data when the subject repeatedly utters the prepared sentence is stored in the storage unit 303 via the microphone 310.
- the prepared sentence is a specific sentence to give a standardized audio sample, or a repetitive plosive ("PA", "KA”, and "TA") for a specific duration. It is desirable to be prompted.
- the quality of the subject's utterance is judged using voice recognition technology.
- pre-processing detection of voice and other sounds, statistical analysis of voice data, and signal filtering processing for feature extraction may be performed.
- Raw audio data and / or any derived features are, by way of example, given as inputs to the neural network to perform further feature extraction.
- the subject read the prepared sentence aloud and carry out a dysarthria assessment.
- the subject's voice data is input to the neural network, and if it is judged to be "clear and smooth voice", it is judged to be normal, and if it is judged to "pronounce the voice somewhat indistinctly", it is judged to be mild. If it is determined that the articulation disorder is moderate, and if it is determined that "the voice is unclearly pronounced or the voice cannot be pronounced so that it cannot be understood", it is determined to be a severe articulation disorder.
- each function of the components included in the stroke test system may be distributed to a plurality of parts constituting the stroke test system. good.
- each component may be realized by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
- each component may be realized by hardware.
- each component may be a circuit (or an integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits from each other. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.
- the general or specific aspects of the present disclosure may be realized by a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM. Further, it may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program and a recording medium.
- This disclosure is useful in the application of performing an appropriate stroke test.
- Stroke inspection device 101 Acquisition unit 102 Determination unit 103 Inspection unit 103a 1st inspection unit 103b 2nd inspection unit 103c 3rd inspection unit 104 Diagnosis unit 105 Sensor unit 105a 1st sensor 105b 2nd sensor 105c 3rd sensor 106 Transmission / reception unit 107 Output unit 108, 201, 303 Storage unit 110, 301 Control unit 113a 1st acquisition unit 113b 2nd acquisition unit 113c 3rd acquisition unit 123a 1st extraction unit 123b 2nd extraction unit 123c 3rd extraction unit 200 Server device 202 Transmission / reception unit 302 Display unit 305 3-axis sensor 306 3-axis angular velocity sensor 310 Microphone 311 Camera 312 Speaker 313 Communication Department 500 Stroke Examination System
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
脳卒中検査システム(500)は、対象者における脳卒中の兆候を検査する脳卒中検査システム(500)であって、脳卒中に関する複数の検査項目のうち、前記対象者に対して実行する2つ以上の検査項目を決定する決定部(102)と、それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部であって、決定された前記2つ以上の検査項目の少なくとも2つの検査を同時に実行する複数の検査部(103)と、検査結果に基づいて、前記対象者における脳卒中の兆候に関する診断情報を出力する診断部(104)と、を備える。
Description
本開示は、対象者における脳卒中の兆候を検査する脳卒中検査システム、脳卒中検査方法、及び、プログラムに関する。
脳卒中が生じた際に、迅速な処置を行うことができれば大きな後遺症を残すことなく治癒をできる可能性が高くなることが知られている。このため、脳卒中の疑いがあるときに、即座に脳卒中の予兆の検査が実行できることが望まれている。近年、多くの人が所有し、携行しているスマートフォンなどの情報端末を用いて、簡易な検査を行うことで、脳卒中の予兆の検査が即座に実行できる脳卒中検出の方法なども開発されている(例えば、特許文献1参照)。
ところで、適切な検査を実行するという観点では、上記の特許文献1に開示されたような脳卒中検出の方法などでは、十分ではない場合がある。
本開示は、上記に鑑みてなされ、適切な検査を実行することができる脳卒中検査システム等を提供することを目的とする。
上記目的を達成するために、本開示に係る脳卒中検査システムの一態様は、対象者における脳卒中の兆候を検査する脳卒中検査システムであって、脳卒中に関する複数の検査項目のうち、前記対象者に対して実行する2つ以上の検査項目を決定する決定部と、それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部であって、決定された前記2つ以上の検査項目の少なくとも2つの検査を同時に実行する複数の検査部と、検査結果に基づいて、前記対象者における脳卒中の兆候に関する診断情報を出力する診断部と、を備える。
また、本開示に係る脳卒中検査方法の一態様は、脳卒中に関する複数の検査項目のうち、対象者に対して実行する2つ以上の検査項目を決定し、それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部に含まれる、決定された前記2つ以上の検査項目のうちの少なくとも2つの検査に対応する検査部に同時に検査を実行させる。
なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、適切な検査を実行することが可能な脳卒中検査システム等が提供される。
(開示の基礎となった知見)
近年、多くの人は、高性能な情報処理を行うことが可能な情報端末(スマートフォン、タブレット端末、PCなど)を携行している。一方で、上記の背景技術の欄において説明したように、脳卒中の疑いがもたれる検査対象者に対しては、迅速に脳卒中の予兆を検査する必要がある。もし、対象者において脳卒中の疑いがもたれた場合に、その場にある情報端末によって、簡易な脳卒中の予兆の検査を行うことができれば、その緊急性に応じて、すぐに適切な対処を行うことができる。このため、特許文献1に示すように、情報端末を用いて、簡易な検査を行うことで、脳卒中の予兆の検査が即座に実行できる脳卒中検出の方法なども開発されている。
近年、多くの人は、高性能な情報処理を行うことが可能な情報端末(スマートフォン、タブレット端末、PCなど)を携行している。一方で、上記の背景技術の欄において説明したように、脳卒中の疑いがもたれる検査対象者に対しては、迅速に脳卒中の予兆を検査する必要がある。もし、対象者において脳卒中の疑いがもたれた場合に、その場にある情報端末によって、簡易な脳卒中の予兆の検査を行うことができれば、その緊急性に応じて、すぐに適切な対処を行うことができる。このため、特許文献1に示すように、情報端末を用いて、簡易な検査を行うことで、脳卒中の予兆の検査が即座に実行できる脳卒中検出の方法なども開発されている。
しかしながら、上記したように脳卒中の疑いがもたれた場合に、端末上で実行されるアプリケーションで、数ある検査項目を1つひとつ検査すると診断結果を得られるまでに時間を要してしまうことが考えられる。具体的には、1分1秒を争う状況で、例えば、複数ある検査項目を順次実行すると、その人にとって必要な検査項目が実行されるまでに時間を消費してしまうことがある。
本開示では、上記に鑑みて、検査時間短縮の観点で複数の検査項目の検査を適切に実行することができる脳卒中検査システム等を提供する。
(開示の概要)
本開示の概要は、以下のとおりである。
本開示の概要は、以下のとおりである。
本開示の一態様に係る脳卒中検査システムは、対象者における脳卒中の兆候を検査する脳卒中検査システムであって、脳卒中に関する複数の検査項目のうち、対象者に対して実行する2つ以上の検査項目を決定する決定部と、それぞれが複数の検査項目のそれぞれの検査を実行する複数の検査部であって、決定された2つ以上の検査項目の少なくとも2つの検査を同時に実行する複数の検査部と、検査結果に基づいて、対象者における脳卒中の兆候に関する診断情報を出力する診断部と、を備える。
このような脳卒中検査ステムは、対象者に対して実行することが決定された2以上の検査項目の検査の中で、2つ以上の検査を同時に実行することができる。この結果、当該2つ以上の検査を実行するための時間を、それぞれ順次実行する場合に比べて短縮することができるので、緊急性の高い脳卒中の検査を検査時間の観点で適切に実行することが可能となる。
また、例えば、複数の検査項目のそれぞれは、対象者の顔面麻痺に関する検査項目、対象者のバレー兆候に関する検査項目、対象者の構音障害に関する検査項目、対象者の歩行障害に関する検査項目のうちの互いに異なる1つであってもよい。
これによれば、対象者の顔面麻痺に関する検査項目、対象者のバレー兆候に関する検査項目、対象者の構音障害に関する検査項目、対象者の歩行障害に関する検査項目の中から決定された2以上の検査項目の検査の中で、2つ以上の検査を同時に実行することができる。
また、例えば、複数の検査部によって同時に実行される検査の検査項目は、対象者の顔面麻痺に関する検査項目、及び、対象者のバレー兆候に関する検査項目であってもよい。
これによれば、対象者の顔面麻痺に関する検査項目、及び、対象者のバレー兆候に関する検査項目の検査を同時に実行することができる。
また、例えば、複数の検査部によって同時に実行される検査の検査項目は、対象者のバレー兆候に関する検査項目、及び、対象者の構音障害に関する検査項目であってもよい。
これによれば、対象者のバレー兆候に関する検査項目、及び、対象者の構音障害に関する検査項目の検査を同時に実行することができる。
また、例えば、複数の検査部によって同時に実行される検査の検査項目は、対象者の顔面麻痺に関する検査項目、及び、対象者の構音障害に関する検査項目であってもよい。
これによれば、対象者の顔面麻痺に関する検査項目、及び、対象者の構音障害に関する検査項目の検査を同時に実行することができる。
また、例えば、複数の検査部のうち、対象者の顔面麻痺に関する検査項目の検査を実行する検査部は、対象者の顔を撮像するセンサから対象者の顔の画像を取得する第1取得部と、取得した画像に基づいて、顔面麻痺に関する特徴量を抽出する第1抽出部と、を有してもよい。
これによれば、第1取得部が取得した画像に基づいて、第1抽出部が顔面麻痺に関する特徴量を抽出して対象者の顔面麻痺に関する検査項目の検査を実行することができる。
また、例えば、複数の検査部のうち、対象者のバレー兆候に関する検査項目の検査を実行する検査部は、対象者の上腕の動作を検知するセンサから対象者の上腕の動作データを取得する第2取得部と、取得した動作データに基づいて、バレー兆候に関する特徴量を抽出する第2抽出部と、を有してもよい。
これによれば、第2取得部が取得した動作データに基づいて、第2抽出部がバレー兆候に関する特徴量を抽出して対象者のバレー兆候に関する検査項目の検査を実行することができる。
また、例えば、複数の検査部のうち、対象者の構音障害に関する検査項目の検査を実行する検査部は、対象者の声を収音するセンサから対象者の声の音声データを取得する第3取得部と、取得した音声データに基づいて、構音障害に関する特徴量を抽出する第3抽出部と、を有してもよい。
これによれば、第3取得部が取得した音声データに基づいて、第3抽出部が構音障害に関する特徴量を抽出して対象者の構音障害に関する検査項目の検査を実行することができる。
また、例えば、決定部は、対象者に対して実行する3つ以上の検査項目を決定し、複数の検査部は、決定された3つ以上の検査項目のうちの3つの検査を同時に実行してもよい。
これによれば、対象者に対して実行することが決定された3以上の検査項目の検査の中で、3つの検査を同時に実行することができる。この結果、当該3つの検査を実行するための時間を、それぞれ順次実行する場合に比べてより短縮することができるので、緊急性の高い脳卒中の検査を検査時間の観点でより適切に実行することが可能となる。
また、本開示の一態様に係る脳卒中検査方法は、脳卒中に関する複数の検査項目のうち、対象者に対して実行する2つ以上の検査項目を決定し、それぞれが複数の検査項目のそれぞれの検査を実行する複数の検査部に含まれる、決定された2つ以上の検査項目のうちの少なくとも2つの検査に対応する検査部に同時に検査を実行させる。
このような脳卒中検査方法は、上記に記載の脳卒中検査システムと同様の効果を奏することができる。
また、本開示の一態様に係るプログラムは、上記に記載の脳卒中検査方法を、コンピュータに実行させるためのプログラムである。
このようなプログラムは、コンピュータを用いて上記に記載の脳卒中検査システムと同様の効果を奏することができる。
以下では、本開示の実施の形態について図面とともに説明する。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置、及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
また、本明細書において、平行などの要素間の関係性を示す用語、及び、矩形などの要素の形状を示す用語、ならびに、数値、及び、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数%程度の誤差等の差異も含むことを意味する表現である。
(実施の形態)
[構成]
はじめに、実施の形態における脳卒中検査システムの概要について、図1~図6を用いて説明する。図1は、実施の形態に係る脳卒中検査システムの構成の一例を示す概略図である。また、図2は、実施の形態に係る脳卒中検査システムの機能構成を示すブロック図である。また、図3は、一例として、実施の形態に係る脳卒中検査システムをスマートフォンなどの携帯端末装置で構成した場合のブロック図である。
[構成]
はじめに、実施の形態における脳卒中検査システムの概要について、図1~図6を用いて説明する。図1は、実施の形態に係る脳卒中検査システムの構成の一例を示す概略図である。また、図2は、実施の形態に係る脳卒中検査システムの機能構成を示すブロック図である。また、図3は、一例として、実施の形態に係る脳卒中検査システムをスマートフォンなどの携帯端末装置で構成した場合のブロック図である。
図1に示すように、本実施の形態における脳卒中検査システム500は、情報端末によって実現される脳卒中検査装置100と、サーバ装置200と、を備える。
脳卒中検査装置100は、脳卒中の予兆を検査するための各種の検査項目に対応するセンサなどを備える。脳卒中検査装置100は、脳卒中検査システム500の操作者、すなわち、脳卒中検査装置100の操作者に対して、検査に必要な指示を順次与えながら、これらのセンサなどを駆使して、対象者の脳卒中の予兆の検査を実行する。なお、脳卒中検査装置100は、情報端末によって実現されるが、以下に説明する各種機能を実現するための構成を有していればその他の装置であってもよい。例えば、脳卒中検査装置100は、健康診断などにおいて脳卒中のリスクが高い人に貸与され、いざ脳卒中の疑いがもたれた場合に使用されるような専用の装置であってもよい。
サーバ装置200は、脳卒中検査装置100とインターネット等のネットワークを介して接続される装置である。ここでは、サーバ装置200は、脳卒中検査装置100において使用される情報を記憶するための記憶装置である。サーバ装置200は、ネットワーク上に設置されるクラウドコンピュータによって実現されてもよいし、脳卒中検査装置100が通信可能な局所通信網内のエッジコンピュータによって実現されてもよい。また、サーバ装置200の代わりに、同じ内容の情報を記憶する記憶部が脳卒中検査装置100に内蔵されてもよい。つまり、脳卒中検査システム500は、1つの情報端末のみで実現されてもよい。
図2に示すように、脳卒中検査装置100は、取得部101と、決定部102と、検査部103と、診断部104と、センサ部105と、送受信部106と出力部107と、記憶部108と、を備える。ここで、本実施の形態では、取得部101、決定部102、検査部103、及び、診断部104は、制御部110のCPU(Central Processing Unit)と、メモリと、当該メモリに記憶されたプログラムが実行されることによって実現される。
出力部107は、ディスプレイなどで構成された表示部と、スピーカなどで構成される音声出力手段とにより構成される。
記憶部108は、制御部110のCPUによって実行されるプログラム及び対象者の脳疾患に関するプロファイル情報などを記憶するメモリとして機能する。
取得部101は、対象者に関するプロファイル情報を取得する処理部である。本実施の形態においては、対象者に関するプロファイル情報とは、サーバ装置200の記憶部201に記憶された情報である。この情報は、例えば、対象者の電子カルテや健康診断の結果等に関するデータである。したがって、サーバ装置200は医療機関に設置されたサーバ装置であることが望ましい。取得部101は、取得したプロファイル情報を、必要に応じて変換及び暗号化情報の複合等の処理をして利用可能な形式にした後、決定部102へと出力する。
決定部102は、取得部101から出力されたプロファイル情報に基づいて、あらかじめ設定された脳卒中に関する複数の検査項目のそれぞれの優先度を決定する。そして、決定部102は、決定した優先度に基づいて、複数の検査項目の中から対象者に対して実行する検査項目を決定する。ここで決定される検査項目の数は2つ以上である。なお、本実施の形態では、複数の検査項目の中から決定された検査項目のみ検査を実行する例を説明するが、すべての検査項目の検査を実行してもよい。この場合、決定部102は、複数の検査項目のうち、検査する検査項目としてすべての検査項目を決定するともいえる。また、このとき、上記した優先度の決定は必要なくなるので、取得部101、及び、取得部が取得するプロファイル情報も必要なくなる。
検査部103は、センサ部105に含まれる各種センサから物理量を取得して、対象者の脳卒中の予兆の検査を行う処理部である。検査部103は、検査項目ごとに物理量を取得するセンサ及びタイミングが決められており、実行する検査項目に応じたセンサの物理量を取得しては、その物理量に応じた検査結果を出力する。このように、本開示における検査部103は、複数の検査項目をそれぞれ実行する複数の検査部103とみなすこともできる。
各検査部103から出力される検査結果は、ある検査項目において、脳卒中の予兆がみられたか否かといった2値的な結果であってもよいし、脳卒中の予兆が生じている可能性が80%などのスケール表現での結果であってもよい。そして、複数の検査部103のそれぞれから出力された検査結果から総合的な検査結果が診断部へと出力される。この総合的な検査結果は、例えば、スケール表現の平均値であってもよいし、脳卒中の予兆がみられた検査項目の数であってもよいし、複数の検査項目のうち、1つでも脳卒中の予兆がみられたか否かという2値的な結果であってもよい。検査部103からの検査結果の出力は、例えば、脳卒中の予兆がみられたときの物理量、及び、脳卒中の予兆がみられなかったときの物理量の少なくとも一方を教師データとして用いた学習済みの機械学習モデルに、得られた物理量を入力することで得る。このために、複数の検査部103のそれぞれは、それぞれに最適な学習が行われた学習済みの機械学習モデルを有する。
ここで、図5Aは、実施の形態に係る検査部の機能構成を示す第1部分ブロック図である。また、図5Bは、実施の形態に係る検査部の機能構成を示す第2部分ブロック図である。また、図5Cは、実施の形態に係る検査部の機能構成を示す第3部分ブロック図である。図5A~図5Cのそれぞれは、複数の検査部103のうちの1つを示している。
図5Aに示す第1検査部103aは、例えば、脳卒中の予兆の検査のときの検査項目に含まれる、対象者の顔面麻痺に関する検査項目のために設けられた検査部103である。第1検査部103aは、対象者の顔を撮像する第1センサ105a(後述する図6参照)から対象者の顔の画像を取得する第1取得部113aと、取得した画像に基づいて、顔面麻痺に関する特徴量を抽出する第1抽出部123aと、を有する。第1センサ105aは、例えば、カメラ等である。第1取得部113aの機能は、取得部101に統合されていてもよい。また、第1抽出部123aは、画像という入力に対して所定の特徴量を抽出して当該所定の特徴量に基づいて顔面麻痺の観点での脳卒中の予兆の検査結果を出力する。第1抽出部123aは、例えば、顔面麻痺の観点での脳卒中の予兆がみられたときの画像、及び、顔面麻痺の観点での脳卒中の予兆がみられなかったときの画像の少なくとも一方を教師データとして用いた学習済みの機械学習モデルを用いて実現される。
図5Bに示す第2検査部103bは、例えば、脳卒中の予兆の検査のときの検査項目に含まれる、対象者のバレー兆候に関する検査項目のために設けられた検査部103である。第2検査部103bは、対象者の上腕の運動を検知する第2センサ105b(後述する図6参照)から対象者の上腕の運動データ(センサの検知結果)を取得する第2取得部113bと、取得した運動データに基づいて、バレー兆候に関する特徴量を抽出する第2抽出部123bと、を有する。第2センサ105bは、例えば、操作者と対象者とが一致する場合は、6軸センサ(3軸加速度センサ及び3軸角速度センサ)などの脳卒中検査装置100自体の動きを検知するセンサである。また、第2センサ105bは、例えば、操作者と対象者とが異なる場合はカメラ等である。第2取得部113bの機能は、取得部101に統合されていてもよい。また、第2抽出部123bは、運動データという入力に対して所定の特徴量を抽出して当該所定の特徴量に基づいてバレー兆候の観点での脳卒中の予兆の検査結果を出力する。第2抽出部123bは、例えば、バレー兆候の観点での脳卒中の予兆がみられたときの運動データ、及び、バレー兆候の観点での脳卒中の予兆がみられなかったときの運動データの少なくとも一方を教師データとして用いた学習済みの機械学習モデルを用いて実現される。
図5Cに示す第3検査部103cは、例えば、脳卒中の予兆の検査のときの検査項目に含まれる、対象者の構音障害に関する検査項目のために設けられた検査部103である。第3検査部103cは、対象者の声を収音する第3センサ105c(後述する図6参照)から対象者の声の音声データを取得する第3取得部113cと、取得した音声データに基づいて、構音障害に関する特徴量を抽出する第3抽出部123cと、を有する。第3センサ105cは、例えば、マイクロフォン等である。第3取得部113cの機能は、取得部101に統合されていてもよい。また、第3抽出部123cは、音声データという入力に対して所定の特徴量を抽出して当該所定の特徴量に基づいて構音障害の観点での脳卒中の予兆の検査結果を出力する。第3抽出部123cは、例えば、構音障害の観点での脳卒中の予兆がみられたときの音声データ、及び、構音障害の観点での脳卒中の予兆がみられなかったときの音声データの少なくとも一方を教師データとして用いた学習済みの機械学習モデルを用いて実現される。
診断部104は、検査結果に基づいて、対象者における脳卒中の兆候に関する診断情報を出力する処理部である。診断部104において出力される診断情報とは、例えば、検査結果を示す画像情報及び検査結果を外部に出力する問い合わせ情報の少なくとも一方を含む。診断部104から出力される、検査結果を示す画像情報は、例えば、スマートフォンの画面などに表示される。脳卒中検査システム500の操作者は、表示された画像情報をみて、必要な対処を行うことが可能となる。また、診断部104から出力される、検査結果を外部に出力する問い合わせ情報は、そのまま、ネットワークなどを介して医療機関等に送信される。そして、医療機関で受診された問い合わせ情報から、医療機関側の対応が開始される。
センサ部105は、脳卒中検査装置100に備えられる各種のセンサ群である。図6は、実施の形態に係るセンサ部の機能構成を示す部分ブロック図である。図6に示すように、センサ部105は、第1センサ105a、第2センサ105b、及び第3センサ105cを含む。センサ部105に含まれるセンサは、例えば、カメラ、マイクロフォン、タッチパネル、指紋センサ、距離センサ、GPS、6軸センサ、磁気センサ、輝度センサ等のセンサである。
送受信部106は、脳卒中検査装置100と、外部の装置とをネットワークを介して通信可能に接続する通信モジュールである。送受信部106は、脳卒中検査装置100と、サーバ装置200とで通信する際、及び、脳卒中検査装置100と医療機関の問い合わせ情報の受信装置とで通信する際等に用いられる。
記憶部201は、半導体メモリ等の記憶装置である。記憶部201には、対象者の電子カルテから抽出された情報や、対象者の健康診断の結果から抽出された情報などプロファイル情報に対応する情報が記憶されている。
送受信部202は、サーバ装置200と、外部の装置とをネットワークを介して通信可能に接続する通信モジュールである。送受信部202は、サーバ装置200と、脳卒中検査装置100とで通信する際等に用いられる。
図3に示すように、スマートフォン等の携帯端末装置には、制御部301、表示部302、記憶部303、各種センサ群(GPS304、3軸センサ305、3軸角速度センサ306、近接センサ307、磁気センサ308、環境光センサ309、マイクロフォン310など)、カメラ311、スピーカ312、通信部313、タッチパネル314、指紋センサ315、顔認証センサ群316、バッテリ317、電源部318等から構成される。
制御部301は、スマートフォンを統合的に制御可能で、いずれも図示しないがCPU、及び記憶素子(例えばSRAM等)を備えている。制御部301は、図2の制御部110に対応し、少なくとも取得部101と、決定部102と、検査部103と、診断部104との機能を備えている。
表示部302は、図2の出力部107の一部を構成し、制御部301から受信した情報に基づいて表示を行う。
記憶部303には、制御部301に読みだされて実行されるOS(Operating System)、各種アプリケーションプログラム、及び各種プログラムによって使用される各種データが保存される。また、サーバ装置200の記憶部201に記憶された情報である対象者の脳疾患に関するプロファイル情報の一部又は全てが保存されていてもよい。
通信部313は、図2の送受信部106に対応し、LTE(Long Term Evolution、登録商標)や第5世代移動通信システム(いわゆる5G)などの無線通信技術を司り、通信事業者が運営する通信基地局(不図示)と無線で接続され、当該通信基地局を介してインターネットに接続される。なお、外部との通信手段に関しては、本出願の本質ではなく、Wi-Fi(登録商標)で接続する種別、及び、有線LANで接続する種別の携帯端末装置を排除するわけではない。
タッチパネル314は、図2の脳卒中検査システム500の操作者、すなわち、脳卒中検査装置100の操作者からの画面(表示部302)への入力を受け付け、制御部301にその入力に基づく信号(例えば画面上のどの部分が触れられているか、どの程度の圧力で触れられているか)を送信することが出来る。
各種センサ群は、図2のセンサ部105に対応し、地球上でのスマートフォンの位置を計測するGPS304、スマートフォンに対してX軸、Y軸、Z軸を設定し、各軸の加速度を計測する3軸センサ305、3軸センサ305によって設定される各軸に対して、回転方向の角速度を計測する3軸角速度センサ306、近接する物体(例えば、スマートフォンに近づく顔)を検知する近接センサ307、地磁気を検知して方角を示す磁気センサ308、スマートフォンの周囲の明るさを検知する環境光センサ309、周囲の音や音声を集音するマイクロフォン310、スマートフォンの前面又は後面側を撮影するカメラ311、音を発するスピーカ312、ユーザ認証などで使われる指紋センサ315、顔の認証を行う顔認証センサ群316(実際には、不図示の赤外線カメラ、投光イルミネータ、及び、ドットプロジェクタ等と、図示しているセンサ群(近接センサ307、環境光センサ309、カメラ311)との組み合わせで、顔を認証するためのセンサとして動作している)を備えている。
ここで、図4を用いて、3軸センサ305(加速度センサ)、3軸角速度センサの機能について説明する。多くのスマートフォンには、端末自体が直線方向に加速される際の加速度を、X軸、Y軸、Z軸の3方向に対して測定する(3軸センサ)とともに、端末を回転させる方向に働く角速度(X軸角速度、Y軸角速度、Z軸角速度であらわされ、これらを合わせて3軸角速度センサとも呼ばれる)が測定可能である。
例えば、対象者が脳卒中検査装置100で顔面の画像を撮影する際に、これらのセンサで検知された数値を用いることによって、脳卒中検査装置100がどのような角度(姿勢)で撮影された対象者の顔面画像であるかを判定できる。例えば、脳卒中検査装置100を縦向きに保持し、自撮りした場合に脳卒中検査装置100が水平線に対して傾いているかどうか、さらには、傾いている場合に、どの角度に傾いているのかを判定可能である。
[動作]
次に、上記のように構成された脳卒中検査システム500の動作について、図7~図8Bを用いて説明する。図7は、実施の形態に係る脳卒中検査システムの動作例を示すフローチャートである。
次に、上記のように構成された脳卒中検査システム500の動作について、図7~図8Bを用いて説明する。図7は、実施の形態に係る脳卒中検査システムの動作例を示すフローチャートである。
脳卒中検査システム500の動作が開始されると、まず、取得部101が送受信部106を介してネットワーク越しに、サーバ装置200からプロファイル情報を取得する。取得したプロファイル情報は、決定部102へと出力される。決定部102は、出力されたプロファイル情報に基づいて複数の検査項目のそれぞれの優先度を設定するなどして、複数の検査項目の中で実際に検査を実行する検査項目を決定する(S101)。ここでは、決定部102が第1検査項目、第2検査項目、及び第3検査項目の3つの検査項目を決定した例について説明する。なお、第1検査項目は、対象者の顔面麻痺に関する検査項目である。また、第2検査項目は、対象者のバレー兆候に関する検査項目である。また、第3検査項目は、対象者の構音障害に関する検査項目である。実行される検査項目として、歩行障害に関する検査項目やその他の検査項目が決定されてもよい。
続いて、第1検査部103aが第1センサ105aから画像の取得を開始することにより、決定した第1検査項目の検査が開始される(S102)。さらに、第1検査項目の検査が開始されたあと、かつ、第1検査項目の検査が終了する前に、第2検査部103bが第2センサ105bから運動データの取得を開始することにより、決定した第2検査項目の検査が開始される(S103)。例えば、図8Aは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第1図である。図8Aでは、対象者の顔面麻痺に関する検査項目、及び、対象者のバレー兆候に関する検査項目それぞれの検査がいずれも開始された後の端末装置(脳卒中検査装置100)の表示画面に画像が表示される様子が示されている。図8Aに示すように、本実施の形態では、第1検査項目及び第2検査項目の2つの検査項目の検査を同時に実行することにより、1つずつの検査を個別に実行する場合に比べて、検査時間の短縮を行っている。なお、A及びBを同時に実行するとは、Aが開始されたあと、かつ、Aが終了するよりも前に、Bが開始されることを意味する。したがって、少なくともAとBとが並行して行われる期間が形成される。この期間では、Aの検査の処理とBの検査の処理とが並列処理されてもよいし、時分割に処理されてもよい。
上記の例では、対象者の顔面麻痺に関する検査項目、及び、対象者のバレー兆候に関する検査項目の検査が同時に実行されているが、同時に検査が実行される検査項目の組み合わせは、これに限られない。例えば、対象者のバレー兆候に関する検査項目、及び、対象者の構音障害に関する検査項目の検査が同時に実行されてもよいし、対象者の顔面麻痺に関する検査項目、及び、対象者の構音障害に関する検査項目の検査が同時に実行されてもよい。
図7に戻り、さらに、第1検査項目及び第2検査項目の検査が開始されたあと、かつ、第1検査項目及び第2検査項目の検査が終了する前に、第3検査部103cが第3センサ105cから音声データの取得を開始することにより、決定した第3検査項目の検査が開始される(S104)。例えば、図8Bは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第1図である。図8Bでは、対象者の顔面麻痺に関する検査項目、対象者のバレー兆候に関する検査項目、及び、対象者の構音障害に関する検査項目のそれぞれの検査がいずれも開始された後の端末装置の表示画面に画像が表示される様子が示されている。なお、図8Bで表示されている画像は、図8Aにおいて表示されている画像に続く画像である。例えば、画像の取得と、運動データの取得とが正常に開始されたことをトリガとして更なる音声データの取得が開始されて図8Aの画像から図8Bの画像へと表示される画像が遷移する。
図8Bに示すように、本実施の形態では、第1検査項目、第2検査項目及び第3検査項目の3つの検査項目の検査を同時に実行することにより、1つずつの検査を個別に実行する場合に比べて、大幅な検査時間の短縮を行うこともできる。
再び図7に戻り、第1検査項目の検査を終了し(S105)、第2検査項目の検査を終了し(S106)、第3検査項目の検査を終了する(S107)。なお、各検査の開始のタイミングはこれに限られないし、各検査の終了のタイミングもこれに限られない。例えば、第1検査項目の検査が開始され、第2検査項目の検査が開始され、第1検査項目の検査が終了し、第3検査項目の検査が開始され、第2検査項目の検査が終了し、第3検査項目の検査が終了するという順序であってもよい。また、例えば、第1検査項目の検査が開始され、第2検査項目の検査が開始され、第2検査項目の検査が終了し、第3検査項目の検査が開始され、第3検査項目の検査が終了し、第1検査項目の検査が終了するという順序であってもよい。このように、少なくとも1つの検査項目の検査が開始され、かつ、当該1つの検査項目の検査が終了するまでの間に別の検査項目の検査が開始されれば、1つの検査項目及び別の検査項目のそれぞれの検査が同時に行われることとなる。こうすることで、上記したように、検査時間の短縮の効果を享受することが可能である。
そして、診断部104が診断情報を出力して、表示画面及び外部の装置などへ出力する(S108)。
このようにして、2つ以上の検査項目の検査を同時に実行することによって、複数の検査を行うために要する時間を縮小することで迅速に検査結果を得ることが可能な脳卒中検査システム500が実現できる。言い換えると、脳卒中検査システム500は、同じ時間内で実行可能な検査の数を拡大することができるので、短時間に、複数の項目による多彩な検査を実施することができるので、検査結果の活用性を向上できる。
(対象者の顔面麻痺に関する検査について)
上記した実施の形態を実施するにあたり、顔面麻痺を検知するための方法を説明する。
上記した実施の形態を実施するにあたり、顔面麻痺を検知するための方法を説明する。
図9Aは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第3図である。また、図9Bは、実施の形態に係る脳卒中検査システムの操作画面の一例を示す第4図である。また、図10は、ディープラーニングと呼ばれるニューラルネットワークを用いた顔面麻痺の検査方法を示している。中間層が多段から構成されるニューラルネットワークに、顔面麻痺が有する顔画像と当該顔画像に対応する麻痺ありであることを示す正解情報とのデータセット、及び、顔面麻痺を有しない顔画像と当該顔画像に対応する麻痺なしであることを示す正解情報とのデータセットを(図10では、上から1番目及び2番目の顔が麻痺有り、3番目の顔が麻痺無しとなる)教師データとして入力する。この際、バックプロパゲーションなどの演算によって、中間層に含まれる各ノードでの重み係数を、データセットに適合するように調整する。
このような操作を行うことによって、顔面麻痺のある場合と、無い場合との特徴がニューラルネットワークによって学習され、学習に使われていない顔面の画像を入力すると、その画像が顔面麻痺ありなのか、又は、無しなのかが判別できるようになる。
図10に示すように、ニューラルネットワークに学習させる際に、教師データとして正面画像を使用するのが望ましい。ここで、図11Aは、実施の形態を実施するにあたり顔面麻痺を検査するための撮影時に生じる顔面画像の回転の影響を考慮したニューラルネットワークの一例を示す図である。図11Aに示すように、脳卒中の患者が顔面を撮影する時に撮影画像又は映像がずれやすい角度(例えば、腕の麻痺が残っていると、左右どちらかに脳卒中検査装置100が回転し、撮影画像又は映像が回転する虞がある)に、補正した教師データを用いてニューラルネットワークを学習させる。また、図11Bは、実施の形態を実施するにあたり顔面麻痺を検査するための撮影時に生じる顔面画像の顔面の上(額部分)と下(顎部分)との傾きの影響を考慮したニューラルネットワークの一例を示す図である。図11Bに示すように、脳卒中検査装置100を垂直方向に保持することが難しい場合を想定し、顔面の上(額部分)と下(顎部分)とが前後に傾いている場合をあらかじめ想定した画像を用意し、教師データとして用いてニューラルネットワークを学習させる。
このように、あらかじめ、撮影時に想定される傾きに合わせた顔面の画像データを使って、複数のニューラルネットワークを生成しておけば、顔面麻痺を検知させる場合に、これら複数のニューラルネットワークのそれぞれに検知対象となる画像を入力することで、画像に写る顔面が真正面から撮影されていない場合でも、顔面の麻痺の有無を好適に検知可能となる。
また、上記した例では、それぞれ異なる撮影角度を想定して補正した後の教師データを、複数のニューラルネットワークのそれぞれに独立して入力して、学習を行う例を説明したが、1つのニューラルネットワークに補正した後の教師データを含め、全ての教師データを入力し、単一のニューラルネットワークを生成しても良い。
上記の説明では、図11Aに示したニューラルネットワークを用いて脳卒中検査装置100の回転を補正したが、これに限定されない。撮影時に脳卒中検査装置100のセンサ部105(3軸センサ305、3軸角速度センサ306)が出力するセンサ値より、水平に対して、脳卒中検査装置100が傾いていた角度を取得する。この角度は、例えば、図9Aに、脳卒中検査装置100の上下方向に対する対象者の上下方向との角度差として示す角度αなどである。
ここで、図12は、実施の形態を実施するにあたり対象者の顔面画像の撮影時に発生した傾きを補正する処理の一例を示す図である。図12に示したように、角度αは、撮影時にセンサ部105が出力するセンサ値から算出されても良いし、顔面の撮影時にセンサ値を保持しておき、画像の回転処理手段(例えば、アフィン変換)により傾いた顔面の画像を元に戻す際にセンサ値から算出しても良い。又は、顔面の撮影時にセンサ値から角度αを算出し、脳卒中検査装置100に顔面の画像を記録する前、もしくは、顔面麻痺の検出手段(図10に示した顔面麻痺を検知可能なニューラルネットワーク)に入力する前に、画像の回転処理手段で傾きを補正しても良い。また、これらの補正処理は、脳卒中検査装置100で処理しても良いし、サーバ装置200に送信してクラウド側で補正処理しても良い。また、図9Bに示す、脳卒中検査装置100の水平面内における対象者の向きと脳卒中検査装置100の向きとの角度差などについても同様の処理を行ってもよい。
(対象者のバレー兆候に関する検査について)
上記した実施の形態を実施するにあたり、バレー兆候を検知するための方法を説明する。
上記した実施の形態を実施するにあたり、バレー兆候を検知するための方法を説明する。
腕の麻痺を医師が診断する場合には、対象者に両腕を水平に上げさせ、所定時間(例えば5秒間)この状態を保つことが出来るかで判定を行う。
このようなバレー兆候の検査を端末装置で実施するための方法が提案されている(例えば、特許文献1参照)。この方法は、対象者に両腕を水平に上げている状態を保持させ、その様子を動画で撮影し、手首の位置や、ひじの位置、肩の位置から、片腕が落ちることを検出するものである。
本実施の形態においては、腕の水平位置に関して、健常者と腕に麻痺がある者とのそれぞれにおける位置情報を蓄積し、ニューラルネットワークに健常者と腕の麻痺症状がある人との学習データとして学習させても良い。また、単純に腕の肘の位置と、肩や手頸の位置とを基準に、適切な閾値(この場合、肘の位置が肩や手頸の位置に対してどう変化したか、あるいは、腕を前方に伸ばす、いわゆる前倣えの姿勢をとった状態で、手首の位置が初期状態から下がることを示す閾値を設けて、判定しても良い。いずれの場合でも、医師が患者を診て判断する処理を、カメラによって撮影される動画像と、動画像から得られる画像解析によって置き換えることによって判断可能となる。
しかしながら、この方法では、対象者を撮影する操作者としての第三者を必要とするか、あるいは対象者の腕を含む画角で自己を撮影するために、カメラを所定の台に固定する必要がある。
次に、脳卒中検査装置100の3軸センサ305を利用し、バレー兆候を検知する方法を説明する。図13は、対象者自身が脳卒中検査装置を保持した方の腕を伸ばした状態で対象者自身の顔面画像を撮影し、バレー兆候の検査と顔面麻痺の検査とを同時に実施している状態を示した図である。図13に示すように、対象者に脳卒中検査装置100を片手、または、両手で保持させ、脳卒中検査装置100を保持した片腕、または、両腕を体の前方に伸ばす姿勢を所定時間維持させる。この時、左右どちらかの腕に麻痺が生じている場合には、麻痺を有する腕が落ちるので、脳卒中検査装置100が水平状態に対して、傾きが生じる。この傾き角度を所定の閾値で判別するか、あるいは、健常者と腕の麻痺がある人とのそれぞれにおいて、同様の動作を行った際のセンサ値を教師データとして用いてニューラルネットワークを学習させ、学習後のニューラルネットワークに検知されたセンサ値を入力して腕の麻痺の有無を出力させても良い。
また、対象者が脳卒中検査装置100を保持した片腕、あるいは、両腕を水平に伸ばした状態を所定時間だけ維持できたかで腕の麻痺を検知する場合、腕を伸ばした状態で脳卒中検査装置100の画面を見ている状態になるため、対象者の顔面をカメラで撮影することで、顔面麻痺の検査を同時に実施することが可能となる。バレー兆候の検査と顔面麻痺の検査を同時に実施することで、脳卒中の予兆の1つであるTIA(Transient Ischemic Attack)の検査時間を短縮する効果も期待できる。
(対象者の構音障害の検査について)
上記した実施の形態を実施するにあたり、構音障害を検知するための方法を説明する。
上記した実施の形態を実施するにあたり、構音障害を検知するための方法を説明する。
構音障害の検査とは、本実施の形態では発話テストを意味し、決められた文を滞りなく発話できるか否かの検査である。対象者が準備された文を繰り返し発声したときの音声データをマイクロフォン310を介して記憶部303に記憶する。準備された文としては、標準化された音声サンプルを与えるために特定の文、あるいは、特定の持続時間の間、反復的な破裂音(「PA」、「KA」、及び「TA」)を発するようにプロンプトされることが望ましい。音声認識技術を用いて対象者の発話の良否を判定する。このとき、前処理として、音声及び他の音の検出、音声データの統計的分析、特徴抽出のための信号のフィルタ処理を行っても良い。生音声データ及び/又は任意の導出された特徴は、一例として、さらなる特徴抽出を実施するためにニューラルネットワークに入力として与えられる。
準備された文を対象者に音読させ、構音障害アセスメントを実施する。対象者の音声データをニューラルネットワークに入力し、「クリアで滑らかな音声」と判定された場合には正常と判定し、「音声をいくらか不明瞭に発音する」と判定された場合には軽度から中度の構音障害と判定し、「理解され得ないほど、音声が不明瞭に発音される、又は、音声を発音することができない」と判定された場合には重度構音障害と判定する。
(その他の実施の形態)
以上、実施の形態等について説明したが、本開示は、上記実施の形態等に限定されるものではない。
以上、実施の形態等について説明したが、本開示は、上記実施の形態等に限定されるものではない。
また、上記実施の形態等において脳卒中検査システムを構成する構成要素について例示したが、脳卒中検査システムが備える構成要素の各機能は、脳卒中検査システムを構成する複数の部分にどのように振り分けられてもよい。
また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路(又は集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
その他、実施の形態等に対して当業者が思いつく各種変形を施して得られる形態、又は、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
本開示は、適切な脳卒中の検査を実行するという用途において有用である。
100 脳卒中検査装置
101 取得部
102 決定部
103 検査部
103a 第1検査部
103b 第2検査部
103c 第3検査部
104 診断部
105 センサ部
105a 第1センサ
105b 第2センサ
105c 第3センサ
106 送受信部
107 出力部
108、201、303 記憶部
110、301 制御部
113a 第1取得部
113b 第2取得部
113c 第3取得部
123a 第1抽出部
123b 第2抽出部
123c 第3抽出部
200 サーバ装置
202 送受信部
302 表示部
305 3軸センサ
306 3軸角速度センサ
310 マイクロフォン
311 カメラ
312 スピーカ
313 通信部
500 脳卒中検査システム
101 取得部
102 決定部
103 検査部
103a 第1検査部
103b 第2検査部
103c 第3検査部
104 診断部
105 センサ部
105a 第1センサ
105b 第2センサ
105c 第3センサ
106 送受信部
107 出力部
108、201、303 記憶部
110、301 制御部
113a 第1取得部
113b 第2取得部
113c 第3取得部
123a 第1抽出部
123b 第2抽出部
123c 第3抽出部
200 サーバ装置
202 送受信部
302 表示部
305 3軸センサ
306 3軸角速度センサ
310 マイクロフォン
311 カメラ
312 スピーカ
313 通信部
500 脳卒中検査システム
Claims (11)
- 対象者における脳卒中の兆候を検査する脳卒中検査システムであって、
脳卒中に関する複数の検査項目のうち、前記対象者に対して実行する2つ以上の検査項目を決定する決定部と、
それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部であって、決定された前記2つ以上の検査項目の少なくとも2つの検査を同時に実行する複数の検査部と、
検査結果に基づいて、前記対象者における脳卒中の兆候に関する診断情報を出力する診断部と、を備える
脳卒中検査システム。 - 前記複数の検査項目のそれぞれは、前記対象者の顔面麻痺に関する検査項目、前記対象者のバレー兆候に関する検査項目、前記対象者の構音障害に関する検査項目、前記対象者の歩行障害に関する検査項目のうちの互いに異なる1つである
請求項1に記載の脳卒中検査システム。 - 前記複数の検査部によって同時に実行される検査の検査項目は、前記対象者の顔面麻痺に関する検査項目、及び、前記対象者のバレー兆候に関する検査項目である
請求項2に記載の脳卒中検査システム。 - 前記複数の検査部によって同時に実行される検査の検査項目は、前記対象者のバレー兆候に関する検査項目、及び、前記対象者の構音障害に関する検査項目である
請求項2に記載の脳卒中検査システム。 - 前記複数の検査部によって同時に実行される検査の検査項目は、前記対象者の顔面麻痺に関する検査項目、及び、前記対象者の構音障害に関する検査項目である
請求項2に記載の脳卒中検査システム。 - 前記複数の検査部のうち、前記対象者の顔面麻痺に関する検査項目の検査を実行する検査部は、
前記対象者の顔を撮像するセンサから前記対象者の顔の画像を取得する第1取得部と、
取得した前記画像に基づいて、顔面麻痺に関する特徴量を抽出する第1抽出部と、を有する
請求項1~3のいずれか1項に記載の脳卒中検査システム。 - 前記複数の検査部のうち、前記対象者のバレー兆候に関する検査項目の検査を実行する検査部は、
前記対象者の上腕の動作を検知するセンサから前記対象者の上腕の動作データを取得する第2取得部と、
取得した前記動作データに基づいて、バレー兆候に関する特徴量を抽出する第2抽出部と、を有する
請求項1~3のいずれか1項に記載の脳卒中検査システム。 - 前記複数の検査部のうち、前記対象者の構音障害に関する検査項目の検査を実行する検査部は、
前記対象者の声を収音するセンサから前記対象者の声の音声データを取得する第3取得部と、
取得した前記音声データに基づいて、構音障害に関する特徴量を抽出する第3抽出部と、を有する
請求項1~3のいずれか1項に記載の脳卒中検査システム。 - 前記決定部は、前記対象者に対して実行する3つ以上の検査項目を決定し、
前記複数の検査部は、決定された前記3つ以上の検査項目のうちの3つの検査を同時に実行する
請求項1~8のいずれか1項に記載の脳卒中検査システム。 - 脳卒中に関する複数の検査項目のうち、対象者に対して実行する2つ以上の検査項目を決定し、
それぞれが前記複数の検査項目のそれぞれの検査を実行する複数の検査部に含まれる、決定された前記2つ以上の検査項目のうちの少なくとも2つの検査に対応する検査部に同時に検査を実行させる
脳卒中検査方法。 - 請求項10に記載の脳卒中検査方法を、コンピュータに実行させるための
プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063061691P | 2020-08-05 | 2020-08-05 | |
US63/061,691 | 2020-08-05 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022030592A1 true WO2022030592A1 (ja) | 2022-02-10 |
Family
ID=80118098
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/029165 WO2022030591A1 (ja) | 2020-08-05 | 2021-08-05 | 脳卒中検査システム、脳卒中検査方法、及び、プログラム |
PCT/JP2021/029171 WO2022030592A1 (ja) | 2020-08-05 | 2021-08-05 | 脳卒中検査システム、脳卒中検査方法、及び、プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/029165 WO2022030591A1 (ja) | 2020-08-05 | 2021-08-05 | 脳卒中検査システム、脳卒中検査方法、及び、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230238144A1 (ja) |
JP (1) | JP7450239B2 (ja) |
CN (1) | CN115666405A (ja) |
WO (2) | WO2022030591A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189309A1 (ja) * | 2022-03-28 | 2023-10-05 | テルモ株式会社 | コンピュータプログラム、情報処理方法及び情報処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012139425A (ja) * | 2010-12-30 | 2012-07-26 | Chiba Univ | 上肢運動機能複合的診断装置 |
JP2018171443A (ja) * | 2017-03-31 | 2018-11-08 | コリア リサーチ インスティトゥート オブ スタンダーズ アンド サイエンス | 脳卒中モニタリングシステム |
US20190029606A1 (en) * | 2016-01-12 | 2019-01-31 | Yale University | System and method for diagnosing and notification regarding the onset of a stroke |
JP2019535069A (ja) * | 2016-09-19 | 2019-12-05 | エヌ・ティ・ティ イノベーション インスティチュート インクNTT Innovation Institute, Inc. | 脳卒中検出及び予防システム及び方法 |
CN111358449A (zh) * | 2020-01-16 | 2020-07-03 | 董思羽 | 一种脑卒中监护及早发现预警的家用设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003132143A (ja) * | 2001-10-23 | 2003-05-09 | Jeol Ltd | 臨床検査システム |
DE10230878B4 (de) | 2002-07-09 | 2008-05-08 | Siemens Ag | Verfahren und Rechnersystem zur automatischen Bearbeitung von Studien bildgebender Untersuchungssysteme |
US7733224B2 (en) | 2006-06-30 | 2010-06-08 | Bao Tran | Mesh network personal emergency response appliance |
JP4969994B2 (ja) * | 2006-11-06 | 2012-07-04 | 株式会社日立メディコ | 健診情報入力システム |
US20100298649A1 (en) * | 2007-11-02 | 2010-11-25 | Siegbert Warkentin | System and methods for assessment of the aging brain and its brain disease induced brain dysfunctions by speech analysis |
US10537262B2 (en) * | 2015-05-14 | 2020-01-21 | Elwha Llc | Systems and methods for detecting strokes |
US11638550B2 (en) | 2015-07-07 | 2023-05-02 | Stryker Corporation | Systems and methods for stroke detection |
US11116426B2 (en) | 2015-12-09 | 2021-09-14 | Zoll Medical Corporation | Device administered tests and adaptive interactions |
EP3549138A1 (en) | 2016-12-02 | 2019-10-09 | Cardiac Pacemakers, Inc. | Multi-sensor stroke detection |
JP2020048683A (ja) * | 2018-09-25 | 2020-04-02 | 公立大学法人大阪 | 片麻痺の検査装置 |
-
2021
- 2021-08-05 US US18/009,550 patent/US20230238144A1/en active Pending
- 2021-08-05 WO PCT/JP2021/029165 patent/WO2022030591A1/ja active Application Filing
- 2021-08-05 JP JP2022541734A patent/JP7450239B2/ja active Active
- 2021-08-05 WO PCT/JP2021/029171 patent/WO2022030592A1/ja active Application Filing
- 2021-08-05 CN CN202180038978.5A patent/CN115666405A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012139425A (ja) * | 2010-12-30 | 2012-07-26 | Chiba Univ | 上肢運動機能複合的診断装置 |
US20190029606A1 (en) * | 2016-01-12 | 2019-01-31 | Yale University | System and method for diagnosing and notification regarding the onset of a stroke |
JP2019535069A (ja) * | 2016-09-19 | 2019-12-05 | エヌ・ティ・ティ イノベーション インスティチュート インクNTT Innovation Institute, Inc. | 脳卒中検出及び予防システム及び方法 |
JP2018171443A (ja) * | 2017-03-31 | 2018-11-08 | コリア リサーチ インスティトゥート オブ スタンダーズ アンド サイエンス | 脳卒中モニタリングシステム |
CN111358449A (zh) * | 2020-01-16 | 2020-07-03 | 董思羽 | 一种脑卒中监护及早发现预警的家用设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189309A1 (ja) * | 2022-03-28 | 2023-10-05 | テルモ株式会社 | コンピュータプログラム、情報処理方法及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7450239B2 (ja) | 2024-03-15 |
WO2022030591A1 (ja) | 2022-02-10 |
CN115666405A9 (zh) | 2023-03-24 |
JPWO2022030591A1 (ja) | 2022-02-10 |
CN115666405A (zh) | 2023-01-31 |
US20230238144A1 (en) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6124308B2 (ja) | 動作評価装置及びそのプログラム | |
CN107945625A (zh) | 一种英语发音测试与评价*** | |
CN108354578B (zh) | 一种胶囊内镜定位*** | |
JP7183483B1 (ja) | 自動的で客観的な症状の重症度スコア | |
US20210100453A1 (en) | Systems and methods for diagnosing and analyzing concussions | |
WO2017003883A1 (en) | System and method for optical detection of cognitive impairment | |
WO2022030592A1 (ja) | 脳卒中検査システム、脳卒中検査方法、及び、プログラム | |
JP6407521B2 (ja) | 診療支援装置 | |
JP6798258B2 (ja) | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム | |
KR102426792B1 (ko) | 무음 발화 인식 방법 및 장치 | |
US10643636B2 (en) | Information processing apparatus, information processing method, and program | |
US11830292B2 (en) | System and method of image processing based emotion recognition | |
CN115813343A (zh) | 儿童行为异常评估方法和*** | |
KR20230013236A (ko) | 음성인식을 사용한 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
CN113197542B (zh) | 一种在线自助视力检测***、移动终端及存储介质 | |
JP7014761B2 (ja) | 認知機能推定方法、コンピュータプログラム及び認知機能推定装置 | |
KR20230154380A (ko) | 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법 | |
US20220319654A1 (en) | System and method of evaluating a subject using a wearable sensor | |
US20230027320A1 (en) | Movement Disorder Diagnostics from Video Data Using Body Landmark Tracking | |
US20230389818A1 (en) | Systems and Methods for Detecting Drug Based Impairment | |
US20230307106A1 (en) | Movement code-based emotional behavior analysis system | |
Gong et al. | Continuous Human Action Detection Based on Wearable Inertial Data | |
US20110158489A1 (en) | Detection devices and detection method | |
CN114974572A (zh) | 基于人机交互的孤独症早期筛查*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21852179 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21852179 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |