WO2024047738A1 - 検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体 - Google Patents
検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2024047738A1 WO2024047738A1 PCT/JP2022/032552 JP2022032552W WO2024047738A1 WO 2024047738 A1 WO2024047738 A1 WO 2024047738A1 JP 2022032552 W JP2022032552 W JP 2022032552W WO 2024047738 A1 WO2024047738 A1 WO 2024047738A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- body part
- unit
- coordinate information
- analysis
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 119
- 230000033001 locomotion Effects 0.000 claims abstract description 76
- 208000024891 symptom Diseases 0.000 claims abstract description 53
- 208000016285 Movement disease Diseases 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims description 110
- 230000007704 transition Effects 0.000 claims description 63
- 238000012549 training Methods 0.000 claims description 57
- 210000000707 wrist Anatomy 0.000 claims description 49
- 210000003423 ankle Anatomy 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 36
- 230000009471 action Effects 0.000 claims description 25
- 206010033799 Paralysis Diseases 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010998 test method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 61
- 210000001364 upper extremity Anatomy 0.000 description 42
- 210000003141 lower extremity Anatomy 0.000 description 38
- 238000010586 diagram Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 23
- 210000000245 forearm Anatomy 0.000 description 16
- 210000004935 right thumb Anatomy 0.000 description 11
- 230000010365 information processing Effects 0.000 description 8
- 210000004936 left thumb Anatomy 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 210000003813 thumb Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000007659 motor function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000012508 change request Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 208000022084 motor paralysis Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001629 sign test Methods 0.000 description 2
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 208000007542 Paresis Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 208000013677 cerebrovascular dementia Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001769 paralizing effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000002804 pyramidal tract Anatomy 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
Definitions
- the present disclosure relates to an inspection device, an inspection system, an inspection method, and a non-transitory computer-readable medium.
- Barre's sign One of the symptoms observed in the upper and lower limbs with motor paralysis is Barre's sign. For example, to test for Barre's sign in the upper extremities, the test subject's arms are raised horizontally in front of them to shoulder height with their palms facing up, and the test subject is asked to close their eyes and maintain both arms in that position. When there is paralysis, there are signs that the little finger on the paralyzed side moves away (fifth digit sign), or that the upper limb gradually drops downward while pronating (the palm rotates while bending inward).
- Patent Document 1 discloses an upper limb motor function complex diagnostic device that includes a motion sensing device including a sensor and an information processing device that receives a signal from the sensor and performs quantitative analysis.
- an object of the present disclosure is to provide a testing device, a testing system, a testing method, and a non-transitory computer-readable medium that can appropriately test for movement disorders of body parts. .
- the inspection device includes: An examination device that performs an examination regarding movement disorders of body parts, acquisition means for acquiring coordinate information indicating the position of the body part of the user performing a predetermined action; analysis means for analyzing the user's movement based on the coordinate information; determining means for determining whether or not there is a sign of the movement disorder in the body part based on the analysis result; and notification means for notifying the determination result.
- the inspection system is An examination system that performs an examination regarding movement disorders of body parts,
- a user terminal used by the user comprising a server;
- the user terminal is acquiring coordinate information indicating the position of the body part of the user performing a predetermined action and transmitting it to the server;
- the server is analysis means for analyzing the user's movement based on the coordinate information; determining means for determining whether or not there is a sign of the movement disorder in the body part based on the analysis result; and notification means for notifying the determination result.
- the testing method is A test method performed by a test device that tests for movement disorders of body parts,
- the computer is obtaining coordinate information indicating the position of the body part of the user performing a predetermined action; analyzing the user's movements based on the coordinate information; Based on the analysis results, determining whether the body part has signs of the movement disorder; This is to notify the judgment result.
- the testing method is An examination method performed by an examination system that examines movement disorders of body parts
- the user terminal computer used by the user is acquiring coordinate information indicating the position of the body part of the user performing a predetermined action and transmitting it to a server;
- the server computer is analyzing the user's movements based on the coordinate information; Based on the analysis results, determining whether the body part has signs of the movement disorder; This is to notify the judgment result.
- a non-transitory computer-readable medium includes: A non-transitory computer-readable medium storing a program that causes a computer to execute a testing method executed by a testing device that tests for movement disorders of body parts,
- the testing method includes: obtaining coordinate information indicating the position of the body part of the user performing a predetermined action; analyzing the user's movements based on the coordinate information; Based on the analysis results, determining whether the body part has signs of the movement disorder; This is to notify the judgment result.
- a testing device a testing system, a testing method, and a non-transitory computer-readable medium that can appropriately test for movement disorders of body parts.
- FIG. 1 is a block diagram showing the configuration of an inspection device according to a first embodiment.
- FIG. 3 is a flowchart showing processing of the inspection device according to the first embodiment.
- FIG. 2 is a diagram showing the configuration of an inspection system according to a second embodiment.
- FIG. 7 is a diagram schematically showing the flow of processing performed by the inspection system according to the second embodiment.
- FIG. 2 is a block diagram showing a detailed configuration of an inspection system according to a second embodiment.
- 7 is a diagram illustrating an example of screen transitions of an application according to a second embodiment.
- FIG. FIG. 7 is a diagram illustrating an example of alert threshold information according to the second embodiment.
- 7 is a diagram illustrating an example of a display screen displayed on a display unit of a user terminal according to a second embodiment.
- FIG. 7 is a diagram illustrating an example of a display screen displayed on a display unit of a user terminal according to a second embodiment.
- FIG. 7 is a diagram illustrating an example of a body part from which a motion sensing unit according to a second embodiment acquires coordinate information;
- FIG. 7 is an explanatory diagram of coordinates used in coordinate information acquired by a sensor according to a second embodiment.
- FIG. 7 is a diagram illustrating an operation when an upper limb ballet sign is detected in Embodiment 2.
- FIG. 13 is a diagram explaining FIG. 12 in more detail.
- FIG. 13 is a view of FIG. 13 viewed from above (Z-axis positive direction).
- FIG. 7 is a diagram illustrating an operation when a lower limb ballet sign is detected in the second embodiment.
- FIG. 7 is a diagram illustrating an operation when a lower limb ballet sign is detected in the second embodiment.
- 7 is a diagram showing an example of risk information for each part according to the second embodiment.
- 7 is an example of a transition graph showing a transition of the wrist position according to the second embodiment.
- 7 is an example of a transition graph showing transitions in the fingertip position and thumb position of the right hand according to the second embodiment.
- 7 is an example of a transition graph showing transitions in the fingertip position and thumb position of the right hand according to the second embodiment.
- It is an example of forearm pronation risk DB concerning Embodiment 2.
- 7 is an example of a transition graph showing transitions in fingertip positions and thumb positions of the left hand according to the second embodiment.
- 7 is an example of a transition graph showing transitions in fingertip positions and thumb positions of the left hand according to the second embodiment.
- FIG. 7 is an example of a transition graph showing a transition of the ankle position according to the second embodiment.
- 7 is a diagram illustrating an example of content information according to a second embodiment.
- FIG. 7 is a diagram showing an example of risk determination results according to the second embodiment.
- FIG. 2 is a diagram illustrating a hardware configuration of a computer that implements a server and the like according to a second embodiment.
- FIG. 1 is a block diagram showing the configuration of an inspection device 1 according to this embodiment.
- the inspection device 1 includes an acquisition section 2, an analysis section 3, a determination section 4, and a notification section 5.
- the testing device 1 is a testing device that performs tests related to movement disorders of body parts.
- the acquisition unit 2 acquires coordinate information indicating the position of a body part of a user who performs a predetermined action.
- the analysis unit 3 analyzes the user's motion based on the coordinate information.
- the determination unit 4 determines whether or not there is a sign of movement disorder in the body part based on the analysis result.
- the notification unit 5 notifies the determination result.
- the inspection device 1 includes a processor, memory, and storage device as components not shown.
- the storage device stores a computer program in which the processing according to the present embodiment is implemented.
- the processor can load a computer program into memory from the storage device and execute the computer program. Thereby, the processor realizes the functions of the acquisition section 2, the analysis section 3, the determination section 4, and the notification section 5.
- each of the acquisition units 2 and the like may be realized by dedicated hardware.
- a part or all of each component of each device may be realized by a general-purpose or dedicated circuit, a processor, etc., or a combination thereof. These may be configured by a single chip or multiple chips connected via a bus.
- a part or all of each component of each device may be realized by a combination of the circuits and the like described above and a program.
- the processor a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), a quantum processor (Quantum Computer Control Chip), etc. can be used.
- each component of the inspection device 1 is realized by a plurality of information processing devices, circuits, etc.
- the plurality of information processing devices, circuits, etc. may be centrally arranged or distributed. may be placed.
- information processing devices, circuits, etc. may be realized as a client server system, a cloud computing system, or the like, in which each is connected via a communication network.
- the functions of the inspection device 1 may be provided in a SaaS (Software as a Service) format.
- FIG. 2 is a flowchart showing the processing of the inspection device 1.
- the acquisition unit 2 acquires coordinate information indicating the position of the body part of the user who performs a predetermined action (S101).
- the analysis unit 3 analyzes the user's motion based on the coordinate information (S102).
- the determination unit 4 determines whether or not there is a sign of movement disorder in the body part based on the analysis result (S103).
- the notification unit 5 notifies the determination result (S104).
- the testing device 1 can appropriately perform tests regarding movement disorders of the user's body parts.
- Embodiment 2 is a specific example of Embodiment 1 described above.
- FIG. 3 is a diagram showing the configuration of the inspection system 100.
- the inspection system 100 includes a user terminal 10, a server 20, and a medical institution system 40.
- Network N may be wired or wireless.
- Network N is, for example, the Internet.
- the network N is not limited to this, and may be a communication network configured to enable communication using a communication method such as Wi-Fi (registered trademark).
- the user terminal 10 is an information processing device used by a user U1 who is a test subject (for example, a patient).
- the server 20 is an information processing device that communicates with the user terminal 10 and the medical institution system 40 and exchanges information regarding testing.
- the medical institution system 40 is an information processing device used by the user U2.
- the medical institution system 40 is an information processing device that receives the test results of the user U1.
- the user U2 is, for example, a medical professional or a family member of the user U1. In this embodiment, the description will be given assuming that the user U2 is a medical professional such as a doctor.
- the medical institution system 40 may be provided, for example, in a medical-related facility or a facility that provides training for recovery such as rehabilitation.
- Each of the user terminal 10, the medical institution system 40, and the server 20 may be, for example, a smartphone, a tablet terminal, a mobile phone terminal, or a PC (Personal Computer).
- the present invention is not limited to these, and various digital devices may be used.
- the testing system 100 can be applied, for example, to testing for upper and lower limb ballet signs during testing for cerebrovascular dementia (VaD), cerebral infarction, or cerebral hemorrhage.
- the testing system 100 can be used to test for upper and lower limb barre signs when testing paralytic symptoms in disease symptoms that cause limb paralysis (pyramidal tract disorders) such as paresis and motor paralysis in rehabilitation facilities. .
- the inspection system 100 detects ballet signs in the upper and lower limbs.
- the Valley sign may be simply referred to as a "symptom.”
- the number of user terminals 10, medical institution system 40, and servers 20 is not limited to the number shown in the figure.
- the inspection system 100 may include multiple user terminals 10.
- FIG. 4 is a diagram schematically showing the flow of processing performed by the inspection system 100.
- the processes performed by the user terminal 10, the server 20, and the medical institution system 40 are broadly divided into processing blocks A to G. Details of each of processing blocks A to G will be described later.
- the user terminal 10 includes a motion sensing unit 113 that detects the motion of the user U1.
- the motion sensing unit 113 detects, for example, coordinate information for each skeleton of the examination target region of the user U1.
- the motion sensing unit 113 detects coordinate information related to movements of the upper and lower limbs, and transmits the coordinate information to the server 20 as the detection results.
- the server 20 includes an analysis section 212, a determination section 213, a notification section 214, a coordinate management section 221, and an analysis result management section 222.
- the analysis unit 212 performs analysis using the coordinate information acquired by the user terminal 10.
- the coordinate management unit 221 manages coordinate information.
- the analysis unit 212 performs analysis to determine, for example, ballet symptoms in the upper and lower limbs.
- the analysis unit 212 calculates, for example, a change in the symptom level (symptom width) indicating the degree of the symptom.
- the determination unit 213 determines whether there is a valley sign based on the coordinate information.
- the analysis result management unit 222 manages the determination results. For example, the determination unit 213 determines whether to issue a symptom alert based on a change in the symptom level.
- the notification unit 214 notifies the medical institution system 40 when a valley sign is detected. The notification unit 214 can make the notification based on the determination by the determination unit 213 to issue an alert.
- the medical institution system 40 receives the notification and manages the content of the notification using the management control unit 41.
- the user U2 such as a doctor, can take appropriate measures based on the notification.
- the server 20 analyzes coordinate information based on the coordinate information for each skeleton acquired by motion sensing.
- the server 20 determines whether or not the user U1 has ballet signs in the upper and lower limbs, and transmits the determination result to the medical institution system 40.
- the testing system 100 can detect ballet symptoms in the upper and lower limbs during daily life activities of the user U1 at home or the like, and can appropriately notify a medical institution or the like.
- FIG. 5 is a block diagram showing the detailed configuration of the inspection system 100.
- the testing system 100 includes the user terminal 10, the server 20, and the medical institution system 40.
- the internal configuration of each device will be shown, and the functional blocks included in each device and the relationship between each device will be explained.
- the server 20 is an example of the inspection device 1 described above.
- the server 20 performs tests regarding movement disorders of body parts.
- the server 20 includes an analysis control section 21, an information management DB 22, and an IF section 29.
- the analysis control unit 21 analyzes motions showing valley symptoms, determines symptom alerts, and provides notification.
- the information management DB 22 manages coordinate information, motion analysis results, and notification destination information.
- the analysis control unit 21 includes an APL control unit 211, an analysis unit 212, a determination unit 213, and a notification unit 214.
- the APL control unit 211 controls a predetermined application (hereinafter referred to as an application) that performs the inspection process according to this embodiment.
- an application a predetermined application
- the APL control unit 211 executes the processing according to the present embodiment by controlling starting and stopping of an application.
- the APL control unit 211 is an example of the acquisition unit 2 described above.
- the APL control unit 211 acquires coordinate information indicating the position of the body part of the user performing a predetermined action.
- the APL control unit 211 may acquire coordinate information in response to successful user authentication.
- the coordinate information may include the skeletal position of the body part.
- the body parts may include, for example, at least one of user U1's fingertips, wrist, and ankle. Details of the coordinate information will be described later.
- the analysis section 212 is an example of the analysis section 3 described above.
- the analysis unit 212 analyzes the motion of the user U1 based on the coordinate information. For example, the analysis unit 212 uses the coordinate information acquired by the APL control unit 211 to calculate changes in coordinates corresponding to the joint positions of the upper and lower limbs of the user U1.
- the analysis unit 212 calculates at least one of a change in wrist position, a pronation movement of the arm, and a change in ankle position over a predetermined period of time.
- the analysis unit 212 also calculates a risk level indicating the possibility that signs of paralysis will be detected.
- the analysis unit 212 also functions as a generation unit that generates a transition graph (image information) indicating the transition of coordinate information.
- the determining unit 213 is an example of the determining unit 4 described above.
- the determination unit 213 determines whether or not there is a sign of movement disorder in the body part based on the analysis result. In this embodiment, the determination unit 213 determines whether there is a barre sign indicating paralysis of a body part based on the analysis result. For example, the determining unit 213 determines that there is a symptom when the risk level at which the symptom is detected is equal to or higher than a predetermined level, and otherwise determines that there is no symptom.
- the risk level may be expressed using an alert value described below.
- the determination unit 213 determines the presence or absence of valley signs and the necessity of notification based on the coordinate fluctuation values. The determination unit 213 determines whether to issue a symptom alert depending on, for example, a change in the risk level. Even if the risk level is less than a predetermined value, the determination unit 213 may determine that an alert is to be notified if the risk level changes by a predetermined amount or more within a predetermined period.
- the notification unit 214 is an example of the notification unit 5 described above.
- the notification unit 214 notifies the determination result.
- the notification unit 214 may send the notification to both the user terminal 10 and the medical institution system 40, or to either one. Further, the notification unit 214 may notify other devices via the network N.
- the information management DB 22 includes a coordinate management section 221, an analysis result management section 222, a threshold management section 223, and a notification destination management section 224.
- the coordinate management unit 221 manages patient coordinate information acquired from the user terminal 10.
- the analysis result management unit 222 manages analysis results. For example, the analysis result management unit 222 stores the calculation results of coordinate fluctuations.
- the threshold management unit 223 manages thresholds for issuing alert notifications.
- the threshold value may indicate, for example, the difference in height between the wrist position at the start of the test and after a predetermined period of time has elapsed.
- the notification destination management unit 224 manages notification destination information.
- the notification destination information is information indicating a contact point for notifying the test result to, for example, the medical institution system 40, a medical institution, or the user U1's family.
- the IF section 29 connects the internal device and external device.
- the IF section 29 connects the APL control section 211, the IF section 19, and the IF section 49.
- the user terminal 10 includes a sensing control section 11, an information management DB 12, and an IF section 19.
- the sensing control unit 11 performs motion sensing control, camera control, and training processing.
- the APL control unit 111 acquires the motion of the user U1 as three-dimensional coordinates.
- the upload unit 112 transmits the coordinate information to the server 20.
- the motion sensing unit 113 converts the motion of the user U1 into three-dimensional coordinates.
- the camera control unit 114 controls the photographing function of a camera (not shown) provided in the user terminal 10.
- the login management unit 115 performs authentication processing based on the biometric information of the user U1 and manages login to the application.
- the training unit 116 reproduces training video content performed by the user U1. For example, the training unit 116 reproduces content related to training of a body part selected according to the determination result of whether or not there is a symptom.
- the information management DB 12 manages coordinate information, training information, and risk determination results of the volleyball symptom test.
- the information management DB 12 can manage the latest test results by updating information as needed.
- the coordinate management unit 121 manages sensed coordinate information.
- the authentication management unit 122 manages facial feature point data for face authentication of the user U1.
- the training management unit 123 manages training video content.
- the determination result management unit 124 manages the final test results of the upper and lower limb ballet symptom test.
- the IF section 19 connects the upload section 112 and the IF section 29.
- the medical institution system 40 includes a management control section 41, an information management DB 42, and an IF section 49.
- the management control unit 41 controls the application.
- the management control section 41 includes an APL control section 411.
- the APL control unit 411 displays an alert of user U1's volleyball symptoms on a display unit (not shown).
- the information management DB 42 manages notification destinations to which test results and the like are notified.
- the information management DB 42 includes a notification destination management section 421.
- the notification destination management unit 421 stores and manages notification information. Notification information may include alert information received from server 20.
- the IF unit 49 connects the internal device and external device.
- the IF section 49 connects the IF section 29 and the APL control section 411.
- the user terminal 10, the server 20, and the medical institution system 40 each include a display unit. Each display section displays a display screen used in the test according to this embodiment. Further, the user terminal 10, the server 20, and the medical institution system 40 may each be provided with an audio output section (not shown). Each audio output unit outputs audio used in the test according to this embodiment.
- the inspection system 100 may be configured using a device in which a plurality of configurations are integrated.
- some of the functional units of the user terminal 10, the server 20, and the medical institution system 40 may be integrated into the same device.
- each functional unit of the user terminal 10, the server 20, and the medical institution system 40 may be distributed and processed using a plurality of devices.
- processing of inspection system 100 Next, the processing performed by the inspection system 100 will be explained. Below, processing blocks A to G will be explained for each processing content. Note that the testing system 100 according to the present disclosure allows the user terminal 10, the server 20, and the medical institution system 40 to operate independently depending on the purpose. A series of processes described below are examples of processes executed by the inspection system 100. Therefore, the inspection processing according to the present disclosure is not limited to the order of processing described below.
- FIG. 6 is a diagram illustrating an example of screen transitions of an application.
- the medical institution system 40 displays a login screen 301.
- A-2 User U2 operates medical institution system 40, enters ID 302 and password 303, and presses login button 304.
- the medical institution system 40 performs general ID and password authentication processing within the application.
- the medical institution system 40 can perform the authentication process using a well-known technique.
- the authentication may be multi-factor authentication. Details of the authentication process, including functional logic, will be omitted. If the authentication process is successful, the display screen changes to a home screen 305.
- the current notification threshold 310 is displayed. As shown in the figure, the notification threshold 310 can be set for each of the upper and lower limbs.
- the notification threshold 310 is a threshold used to determine whether or not to notify.
- the user U2 inputs the change value into the upper limb setting change value 311 or the lower limb setting change value 312, and presses the setting change 313.
- the user U2 may change both the upper limb setting change value 311 and the lower limb setting change value 312. Note that when the home button 314 is selected, a transition is made to the home screen 305.
- the APL control unit 411 receives input from the user U2 and transmits the input content to the server 20.
- the APL control section 411 transmits the input contents to the APL control section 211 via the IF sections 49 and 29.
- the APL control unit 411 transmits the setting change request, multi-factor authentication information, and threshold setting change value to the server 20. Some or all of these may be transmitted depending on the user U2's input. Further, as the threshold setting change value, an upper limb threshold setting change value, a lower limb threshold setting change value, or both may be transmitted.
- the APL control unit 211 performs multi-factor authentication using a well-known technique based on the multi-factor authentication information received from the medical institution system 40.
- General technologies can be used for multi-factor authentication. A detailed explanation of the processing including the functional logic of the authentication will be omitted.
- the APL control unit 211 transmits a denial notification to the APL control unit 411 via the IF units 29 and 49. In this case, an authentication error is displayed in the alert information 306 on the home screen 305, and the process ends.
- the APL control unit 211 outputs the setting change request and threshold setting change value received from the medical institution system 40 to the determination unit 213.
- FIG. 7 is a diagram illustrating an example of alert threshold information managed by the threshold management unit 223. Alert threshold information may be set in advance in the medical institution system 40.
- the threshold management unit 223 overwrites the upper limb threshold setting change value, the lower limb threshold setting change value, or both.
- the threshold management unit 223 returns a completion notification indicating completion of changing the threshold to the APL control unit 211.
- the APL control unit 211 transmits a completion notification to the APL control unit 411 via the IF units 29 and 49.
- the APL control unit 411 stores notification information in the notification destination management unit 421.
- a completion notification is displayed in the alert information 306 on the home screen 305.
- the upper limb threshold setting change value, the lower limb threshold setting change value, or both of the current notification threshold 310 on the notification threshold setting screen 309 is updated to the setting change value. This completes the notification threshold setting value confirmation and change processing (processing block A).
- the user U1 operates the user terminal 10 to start an application and start an examination.
- the APL control unit 111 receives input from the user U1, starts the application, and transmits a login request to the login management unit 115.
- FIGS. 8 and 9 are diagrams showing examples of display screens displayed on the display unit of the user terminal 10.
- the user U1 can perform the test and training by viewing the display screens shown in FIGS. 8 and 9.
- an authentication screen 501 is displayed on the user terminal 10.
- Login management section 115 controls camera control section 114 .
- An in-camera video is displayed in a camera video display frame 502 on the authentication screen 501.
- the user U1 adjusts his/her position so that his/her face fits within the round frame 5021 in the camera image display frame 502 according to the guidance displayed on the screen.
- Camera control unit 114 determines whether user U1's face is placed within frame 5021.
- the camera control unit 114 photographs the user U1's face and obtains a facial image.
- the APL control unit 111 analyzes the facial image and extracts feature points.
- the APL control unit 111 outputs the extracted feature points and the authentication request to the authentication management unit 122.
- the authentication management unit 122 compares the feature points of the face of the user U1 registered in advance with the feature points output from the APL control unit 111, and determines whether or not they match. The authentication management unit 122 may determine that they match if the two are similar by a predetermined value or more. The authentication management unit 122 determines that the authentication has been successful if the two match, and otherwise determines that the authentication has failed.
- the login management unit 115 If it is determined that the authentication was successful, the login management unit 115 notifies the APL control unit 111 of the success of the authentication, and transitions to B-5. If the authentication fails, the login management unit 115 notifies the APL control unit 111 of the authentication failure, and ends the process.
- processing block C user U1 who was successfully authenticated in processing block B performs a valet symptom test.
- the user U1 has activated a predetermined sensing application on the user terminal 10.
- the APL control unit 111 executes a volleyball symptom test for the user U1 by executing the sensing application.
- the APL control unit 111 starts processing when the screen transitions to the home screen 503 via processing block B.
- the APL control unit 111 transmits a test request to the motion sensing unit 113.
- the motion sensing unit 113 transmits an image acquisition request to the camera control unit 114. As a result, an upper extremity examination start screen 507 indicating the start of an upper extremity examination is displayed. Further, the motion sensing unit 113 is activated. Note that when the home button 509 is selected, a transition is made to the home screen 503.
- the motion sensing unit 113 acquires coordinate information indicating the position of the body part of the user U1.
- the motion sensing unit 113 can detect the movement of each joint using a general skeletal estimation sensor, such as that used in Kinect (registered trademark), for example.
- the sensor will be described as a three-axis acceleration sensor that detects acceleration of each of the orthogonal X-axis, Y-axis, and Z-axis.
- the motion sensing unit 113 may perform sensing using a sensor attached to a body part to be examined (for example, the palm of the hand).
- the sensor may be a 3D camera, a stereo camera, or the like.
- the motion sensing unit 113 acquires coordinate information corresponding to the position of each joint site.
- the coordinate information may include information on 3D coordinates (x, y, z) indicating the position of each joint region.
- the motion sensing unit 113 acquires coordinate information in units of msec, and stores it in the coordinate management unit 121 for each joint site.
- FIG. 10 is a diagram showing an example of a body part from which the motion sensing unit 113 acquires coordinate information. As indicated by the circles in the figure, the motion sensing unit 113 can sense any body part.
- the motion sensing unit 113 senses the right hand (fingertips) RH, right thumb RT, right wrist RW, and right ankle RA. Further, on the left side of the body, the motion sensing unit 113 senses the left hand (fingertips) LH, left thumb LT, left wrist LW, and left ankle LA.
- the motion sensing unit 113 may sense the position of a region other than the region to be examined, and approximate the position of the region to be examined.
- the server 20 uses the detection results of the relevant approximate parts to detect the above-mentioned right ankle RA, right hand RH, right thumb RT, right wrist RW, right ankle RA, left hand LH, left thumb LT, left wrist LW, and Replace the detection result of left ankle LA.
- This allows the server 20 to perform a barre symptom test similar to the same logic according to this embodiment.
- FIG. 11 is an explanatory diagram of coordinates used in coordinate information acquired by the sensor according to this embodiment.
- the X axis (horizontal) indicates the horizontal direction
- the Z axis (height) indicates the vertical direction.
- the Y-axis (depth) indicates a direction perpendicular to the X-axis and the Z-axis.
- FIG. 12 is a diagram showing the operation when the upper limb ballet sign is detected.
- the user U1 has his right wrist RW and left wrist LW raised to the same height, as shown on the left side of the figure.
- the height of the right forearm may be lower than at the start of the test, as shown on the right side of the figure.
- the right palm may rotate to face downward (pronation motion occurs in the right forearm) compared to when the test started.
- FIG. 13 is a diagram explaining FIG. 12 in more detail.
- FIG. 13 shows the X-axis, Y-axis, and Z-axis described using FIG. 11 in association with FIG. 12.
- an analysis unit 212 performs an analysis to detect barre symptoms based on the coordinate information acquired in the examination. For example, RW_height_min, which is the minimum height of the right wrist RW from the start to the end of the test, is calculated, and the alert value VRW expressed by the formula (RW_height_t0 - RW_height_min) is calculated.
- the analysis unit 212 can analyze the behavior of the user U1 based on the change in the magnitude of VRW .
- the determination unit 213 can determine whether or not there is a ballet sign based on the analysis result. Note that details of the determination will be described later.
- FIG. 14 is a diagram of FIG. 13 viewed from above (positive direction of the Z-axis). Further, here, an example is shown in which a pronation motion occurs in the left wrist LW. As a result of the pronation movement, the left thumb LT comes inside the left hand LH (fingertips), or the distance between coordinate points on the X axis becomes narrower.
- FIG. 15 is a diagram showing the operation when a lower limb ballet sign is detected.
- Valley sign is detected in the right ankle RA.
- the height of the right ankle RA changes between when the test starts and after a predetermined period of time has passed.
- the analysis unit 212 can calculate the alert value VRA , which is the difference between the two heights, using the formula (RA_height_t0 - RA_height_min).
- the analysis unit 212 analyzes the motion using VRA . Thereby, it is possible to determine whether or not Barre's sign is present in the lower limbs in the same manner as in the upper limbs.
- the upper limb test start screen 507 displays a guide image for the user U1 to perform a predetermined action.
- the guide image may be a still image or a moving image.
- audio may be output together with the guide image.
- the guide image may include a guide image for guiding a body part to a predetermined position.
- the guidance image may be displayed in a superimposed manner with a captured image of the user.
- an animation 522 that encourages imitation of an action will be used.
- the APL control unit 111 repeatedly reproduces the animation 522 until the screen transitions to the upper limb testing screen 510 shown in FIG. 9 .
- the user U1 performs a predetermined action according to the displayed animation 522.
- the user U1 moves his arms so that his left and right hands are placed at the reference hand position (guidance image) 5081 in the frame 508 in which his own image is displayed.
- the user U1 maintains a posture with the palm facing upward and both arms extended.
- the reference position 5081 is displayed in gray, for example. By doing so, the reference position 5081 can guide the user U1 to an appropriate posture for the examination.
- the reference position 5081 is not limited to being displayed in gray, but may be displayed in a way that can be distinguished from other areas.
- the reference position 5081 may be displayed in a different color from the other display areas. Thereby, the guide position 5081 guides the body part of the user U1 to a predetermined position.
- the motion sensing unit 113 starts measurement processing.
- the motion sensing unit 113 starts acquiring the 3D coordinates of the right hand RH, left hand LH, right thumb RT, left thumb LT, right wrist RW, and left wrist LW.
- the display screen changes to an upper limb examination screen 510.
- the motion sensing unit 113 acquires the coordinates of each part for 20 seconds.
- the interval at which the coordinates are acquired may be set arbitrarily.
- the motion sensing unit 113 stores coordinate values for each joint part in the coordinate management unit 121.
- the motion sensing unit 113 transmits to the APL control unit 111 a notification to the effect that the upper limb ballet symptom test is to be terminated.
- the APL control unit 111 transmits a lower limb volleyball symptom test request to the motion sensing unit 113.
- the motion sensing unit 113 transmits an image acquisition request to the camera control unit 114. As a result, a lower limb test start screen 511 is displayed on the display unit. Further, the motion sensing unit 113 is activated. Note that when the home button 512 is selected, a transition is made to the home screen 503.
- the display unit displays an animation 523 to encourage imitation of the action.
- the APL control unit 111 repeatedly reproduces the animation 523 until the screen transitions to the lower extremity testing screen 513 shown in FIG.
- the user U1 follows the action displayed in the animation 523 and lies face down.
- the user U1 moves his heel using the broken line 5211 in the frame 521 in which his own image is displayed as a guide.
- a broken line 5211 indicates a standard heel height.
- a broken line 5211 is an example of the above-mentioned guidance image.
- the user U1 moves the foot into the frame 521 so that the heel is placed at the height of the broken line 5211.
- the motion sensing unit 113 starts measurement processing.
- the motion sensing unit 113 starts acquiring the 3D coordinates of the right ankle RA and left ankle LA.
- the display screen changes to a lower limb examination screen 513.
- the motion sensing unit 113 acquires the coordinates of each part for 20 seconds.
- the motion sensing unit 113 stores coordinate values for each joint part in the coordinate management unit 121.
- the motion sensing unit 113 transmits to the APL control unit 111 a notification to the effect that the lower limb volleyball symptom test is to be ended.
- the display screen changes to an inspection end screen 514, and the processing in the sensing application is completed.
- the APL control unit 111 transmits an upload request to the upload unit 112.
- the upload unit 112 Upon receiving the upload request, the upload unit 112 stores the 3D coordinate information of the right hand RH, left hand LH, right thumb RT, left thumb LT, right wrist RW, left wrist LW, right ankle RA, and left ankle LA of the user U1 into the coordinate management unit. Obtained from 121.
- the upload unit 112 transmits the coordinate information to the coordinate management unit 221 via the IF unit 19, IF unit 29, and APL control unit 211.
- the coordinate management unit 221 stores the coordinate information received from the upload unit 112.
- the APL control unit 211 transmits a request to analyze valley symptoms to the analysis unit 212.
- the analysis unit 212 uses 3D coordinate information of the right hand RH, left hand LH, right thumb RT, left thumb LT, right wrist RW, left wrist LW, right ankle RA, and left ankle LA stored in the coordinate management unit 121. Based on this, the processing of processing blocks D and F is performed in parallel. Processing block D is an upper limb volleyball symptom test calculation process, and processing block F is a lower limb volleyball symptom test calculation process. After processing block D ends, the process automatically transitions to processing block E.
- the analysis unit 212 transmits an analysis completion notification indicating completion of analysis of the symptom motion to the APL control unit 211, and transitions to C-12. If the processing of processing blocks E and F has not been completed, the analysis unit 212 waits for a response from processing block E or F.
- the APL control unit 211 Upon receiving the analysis completion notification, the APL control unit 211 transmits a request to the determination unit 213 to determine whether or not a risk alert is necessary.
- the determination unit 213 Upon receiving the request for determining the necessity of a risk alert, the determination unit 213 refers to the risk information for each part stored in the analysis result management unit 222.
- FIG. 16 is a diagram showing an example of risk information for each part stored by the analysis result management unit 222.
- the analysis result management section 222 stores the risk determination result W and the alert value V for each region to be examined. Further, the risk determination result W and the alert value V are associated with the inspection date and time.
- the determination unit 213 determines the right wrist risk determination result W RW , the right arm pronation risk determination result W RF , the left wrist risk determination result W LW , the left arm pronation risk determination result W LF , the right ankle risk determination result W RA , and and left ankle risk determination result W Confirm each risk of LA .
- the determination unit 213 determines whether notification to the user terminal 10 or the medical institution system 40 is necessary. If the risk determination results W for each part are all 0, the determining unit 213 determines that notification is unnecessary. In this case, the determination unit 213 transmits “unnecessary” to the APL control unit 211 as a determination result. This completes processing block C.
- the determination unit 213 determines that notification is necessary, and moves to C-14.
- the determination unit 213 generates a transition graph indicating the content of the risk based on the risk determination result W. If there is at least one site for which the risk determination result W is 1, the determination unit 213 generates a corresponding transition graph based on the coordinate information of the inspection target site for which the risk determination result W is 1. The determination unit 213 generates a number of transition graphs corresponding to the number of parts for which the risk determination result W is 1. Therefore, the number of transition graphs can be one or more.
- FIG. 17 is an example of a transition graph.
- the horizontal axis in FIG. 17 indicates time, and the vertical axis indicates the above-mentioned Z axis. Details of these will be described later.
- the determination unit 213 converts the generated transition graph into image data in JPEG format, PNG format, or the like.
- the determination unit 213 outputs “required” as a determination result to the notification unit 214 together with the name of the determined region. Further, the determination unit 213 outputs the converted image data to the notification unit 214.
- the APL control unit 211 transmits the notification request, the name of the region to be determined, and the image data to the notification unit 214.
- the notification unit 214 Upon receiving the notification request, the notification unit 214 refers to the notification destination management unit 421 and acquires information on the notification destination. For example, the notification unit 214 may acquire the notification destination by identifying the ID of an application executed in the medical institution system 40.
- the notification unit 214 transmits risk alert information including the risk determination result W and image data to the medical institution system 40.
- the risk alert information may include one or more judgment point names (for example, right wrist risk) and image data corresponding to the judgment point.
- the notification unit 214 transmits the risk alert information to the notification destination management unit 421 via the APL control unit 211, IF unit 29, IF unit 49, and APL control unit 411.
- the notification destination management unit 421 stores risk alert information.
- the APL control unit 411 inquires of the notification destination management unit 421 about the presence or absence of risk alert information.
- the APL control unit 411 If there is risk alert information, the APL control unit 411 returns the risk determination location name and image data to the APL control unit 411. The APL control unit 411 displays risk information in the alert information 306. This completes processing block C.
- FIG. 17 is an example of a transition graph showing the transition of the wrist position. Note that although the measurement time is set to 20 seconds here, the measurement time can be changed as appropriate in the processing block A. Note that the same applies to each block below.
- the height of the right wrist RW and the height of the left wrist LW correspond to the above-mentioned Z axis.
- the analysis unit 212 calculates RW_height_min, which is the minimum value of the height of the right wrist RW, and LW_height_min, which is the minimum value of the height of the left wrist LW, obtained during the examination.
- the analysis unit 212 calculates the alert values V RW and V LW of the right wrist RW and left wrist LW, respectively, based on the following equations (1) and (2).
- V RW RW_height_t0 - RW_height_min ...
- V LW LW_height_t0 - LW_height_min ...
- the analysis unit 212 acquires the threshold Th1 from the threshold management unit 223 via the APL control unit 211 and the determination unit 213.
- the threshold value Th1 is a threshold value used for determination in the upper limb barre sign test.
- the analysis unit 212 compares the threshold Th1 and VRW .
- the analysis unit 212 stores 1 if V RW ⁇ Th1, and 0 if V RW ⁇ Th1, in the risk information of the analysis result management unit 222 as the risk determination result W RW .
- the analysis unit 212 also sends the risk determination result W of 1 or 0 to the determination result management unit 124 via the APL control unit 211, IF unit 29, IF unit 19, upload unit 112, APL control unit 111, and training unit 116. Store RW .
- the analysis unit 212 also compares V LW and Th1.
- the analysis unit 212 stores 1 if V LW ⁇ Th1, and 0 if V LW ⁇ Th1, in the analysis result management unit 222 as the risk determination result W LW .
- the analysis unit 212 also sends the risk determination result W of 1 or 0 to the determination result management unit 124 via the APL control unit 211, IF unit 29, IF unit 19, upload unit 112, APL control unit 111, and training unit 116. Store LW .
- the process transitions to processing block E (E-1).
- FIGS. 18 and 19 are examples of transition graphs showing changes in the fingertip positions and thumb positions of the right hand.
- the analysis unit 212 can draw a transition graph as shown in FIG. 18 or 19 depending on the state of the user U1.
- FIG. 18 shows the transition when healthy
- FIG. 19 shows the transition when Valley symptom is detected.
- the analysis unit 212 calculates an alert value V RF _t(n) associated with the forearm pronation motion of the right forearm RF, based on the following equation (3).
- V RF _t(n) RH_t(n) - RT_t(n) ...(3)
- the analysis unit 212 stores V RF_t (n) in the forearm pronation risk DB of the analysis result management unit 222.
- FIG. 20 is an example of the forearm pronation risk DB.
- the analysis unit 212 stores 1 in the analysis result management unit 222 as the risk determination result WRF .
- the analysis unit 212 also sends the risk determination result W of 1 or 0 to the determination result management unit 124 via the APL control unit 211, IF unit 29, IF unit 19, upload unit 112, APL control unit 111, and training unit 116. Store RF .
- the analysis unit 212 can draw a transition graph as shown in FIG. 21 or 22 depending on the state of the user U1.
- FIGS. 21 and 22 are examples of transition graphs showing changes in the fingertip positions and thumb positions of the left hand.
- FIG. 21 shows the transition when healthy, and
- FIG. 22 shows the transition when ballet symptoms are detected.
- 21 and 22 correspond to FIGS. 18 and 19 described above, respectively.
- the analysis unit 212 calculates an alert value V LF_t (n) associated with the pronation movement of the left forearm LF, based on the following equation (4).
- V LF _t(n) LT_t(n) - LH_t(n) ...(4)
- the analysis unit 212 stores V LF_t (n) in the forearm pronation risk DB of the analysis result management unit 222.
- the analysis unit 212 determines whether V LF _t (n) does not approximate 0 or LT_t(n ) ⁇ LH_t(n), 0 is stored in the risk determination result WLW of the analysis result management unit 222.
- the analysis unit 212 analyzes 1 as the risk determination result W LF.
- the results are stored in the result management unit 222.
- the analysis unit 212 also sends the risk determination result WLF of 1 or 0 to the determination result management unit 124 via the APL control unit 211, IF unit 29, IF unit 19, upload unit 112, APL control unit 111, and training unit 116. Store. Transition to C-11.
- the analysis unit 212 calculates RA_height_min, which is the minimum value of the right ankle RA on the Z-axis, and LA_height_min, which is the minimum value of the left ankle LA on the Z-axis.
- the analysis unit 212 calculates alert values V RA _t(n) and V LA _t(n) for the right ankle RA and left ankle LA, respectively, based on the following equations (5) and (6).
- V RA _t(n) RA_height_t0 - RA_height_min ...
- V LA _t(n) LA_height_t0 - LA_height_min ... (6)
- the analysis unit 212 obtains the threshold Th2 from the threshold management unit 223 via the APL control unit 211 and the determination unit 213.
- the threshold value Th2 is a threshold value used for determination of the lower limb barre sign test.
- the analysis unit 212 compares V RA _t(n) and Th2.
- the analysis unit 212 stores 1 if VRA_t(n) ⁇ Th2, and 0 if VRA_t (n) ⁇ Th2, in the risk determination result WRA of the analysis result management unit 222.
- the analysis unit 212 also sends the risk determination result of 1 or 0 to the determination result management unit 124 via the APL control unit 211, IF unit 29, IF unit 19, upload unit 112, APL control unit 111, and training unit 116.
- Store W RA Store W RA .
- the analysis unit 212 compares V LA _t(n) and Th2.
- the analysis unit 212 stores 1 if V LA _t(n) ⁇ Th2, and 0 if V LA _t(n) ⁇ Th2, in the risk determination result W LA of the analysis result management unit 222.
- the analysis unit 212 also stores the risk determination result W LA of 1 or 0 in the determination result management unit 124 via the APL control unit 211 and the like as described above. Transition to C-11.
- the user U1 starts a predetermined sensing application on the user terminal 10.
- the user terminal 10 transits through processing block B to a home screen 503 (see FIG. 8).
- G-3 User U1 presses a body part button indicating a training body part on training screen 515.
- the part buttons may be provided so that a plurality of training parts can be selected, for example, "part 01", “part 02", . . . , "part 08".
- the screen transitions to G-3-i-1.
- the home button 517 the screen transitions to the home screen 503.
- the APL control unit 111 transmits the part ID (for example, “01”) corresponding to the part button selected by the part button to the training unit 116.
- Training unit 116 refers to content information stored in training management unit 123 and selects content associated with the received part ID.
- FIG. 24 is a diagram showing an example of content information.
- the content is, for example, a video that includes the content of training performed by the user U1.
- the content information may include a plurality of different contents for each part ID.
- contents with content IDs "01_1", "01_2", . . . , "01_M" are included.
- M is an integer of 1 or more.
- M can be variably set from 1 to 100.
- the training unit 116 randomly selects one content from among a plurality of contents associated with the corresponding content ID.
- the training unit 116 may select content according to the presence or absence of ballet symptoms of the user U1, the level of the symptoms, attributes such as age and gender, or training history.
- the training unit 116 may select content by receiving input from the user U1.
- Training section 116 plays the selected content.
- the APL control unit 111 transmits a “recommended training execution request” to the training unit 116.
- the training unit 116 refers to the risk determination results stored in the determination result management unit 124 and searches for items with a determination value of 1 in the upper limb risk or lower limb risk.
- FIG. 25 is a diagram showing an example of risk determination results.
- the training unit 116 selects content in the following manner according to the search results.
- the training unit 116 randomly selects content from content IDs "01_01" to "N_M". Furthermore, in the case where any of the upper extremity risks includes 1 and any of the lower extremity risks includes 1, the training unit 116 determines whether the content ID is "01_01" to "01_01” as described above. Contents are selected at random from among ⁇ N_M''. The process transitions to G-3-ii-3.
- N is an integer of 1 or more. For example, N has an initial value of 8, and M has an initial value of 3. N and M can be changed as appropriate.
- the training unit 116 selects content corresponding to the region below the waist. For example, the training unit 116 randomly selects content from parts 05 to 08 (content ID: "05_01" to "N_M”). The process transitions to G-3-ii-3.
- the training unit 116 selects content corresponding to the region from the neck to the waist. For example, the training unit 116 randomly selects training videos from the contents of parts 01 to 05 (content IDs: "01_01" to "05_M”). The process transitions to G-3-ii-3.
- G-3-ii-3 The screen changes to a training video playback screen 518, and the corresponding training video is played.
- the user terminal 10 acquires coordinate information indicating the position of a body part of a user who performs a predetermined movement, and based on the coordinate information Analyze. Further, the user terminal 10 determines whether or not there is a sign of paralysis in the body part based on the analysis result, and notifies the user of the determination result.
- the inspection system 100 can appropriately detect and deal with barre symptoms that cannot be detected by monitoring during daily life activities. Users can detect upper and lower limb ballet symptoms through simple exercise tests that can be performed in daily life without having to be examined by a specialist at a medical institution or rehabilitation facility. In a society where the birthrate is declining and the population is aging, it becomes possible to reduce the burden of hospital visits on patients and their families who look after them, as well as the burden on medical institutions.
- the inspection system 100 includes a training function according to the inspection results.
- the user can check minute effects of physical movements on test results due to training effects. This makes it possible to confirm clear outcome effects.
- the testing system 100 can notify medical personnel and family members in real time when a risk of Valley syndrome is detected. This allows for prompt notification even if the patient cannot contact the patient himself/herself. Therefore, even if the patient is unable to contact a medical institution due to deterioration of his or her health condition due to sudden onset of symptoms during or after the test, the medical institution can understand the risk and take prompt action. Alternatively, if a family member notices something unusual, they can quickly deal with it in cooperation with a medical institution or the like.
- the inspection system 100 can display an animation for imitating motions during an inspection, monitor your own video, display in gray the position to use as a guide for holding your hand, or visualize the position to adjust the height. It is possible. This allows even elderly patients to easily perform self-examination.
- the inspection system 100 it is possible not only to grasp that a threshold value that becomes a risk alert has been exceeded, but also to monitor whether a risk symptom is beginning to appear as an action.
- a threshold for notification as a risk alert in a valet symptom management application installed in a medical institution system or a device such as a smartphone used by a family member. This makes it possible to grasp, for example, the following early signs of volleyball before deterioration.
- Each functional component of the server 20, user terminal 10, and medical institution system 40 may be realized by hardware that implements each functional component (e.g., a hardwired electronic circuit), or may be realized by hardware and hardware. It may also be realized in combination with software (eg, a combination of an electronic circuit and a program that controls it).
- software e.g, a combination of an electronic circuit and a program that controls it.
- FIG. 26 is a block diagram illustrating the hardware configuration of a computer 900 that implements the server 20 and the like.
- the computer 900 may be a dedicated computer designed to implement the server 20 or the like, or may be a general-purpose computer.
- Computer 900 may be a portable computer such as a smartphone or a tablet terminal.
- each function of the server 20 and the like is realized on the computer 900.
- the above-mentioned application is composed of a program for realizing a functional component such as the server 20.
- Computer 900 has a bus 902, a processor 904, a memory 906, a storage device 908, an input/output interface 910, and a network interface 912.
- the bus 902 is a data transmission path through which the processor 904, memory 906, storage device 908, input/output interface 910, and network interface 912 exchange data with each other.
- the method for connecting the processors 904 and the like to each other is not limited to bus connection.
- the processor 904 is a variety of processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array).
- the memory 906 is a main storage device implemented using RAM (Random Access Memory) or the like.
- the storage device 908 is an auxiliary storage device implemented using a hard disk, SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
- the input/output interface 910 is an interface for connecting the computer 900 and an input/output device.
- an input device such as a keyboard and an output device such as a display device are connected to the input/output interface 910.
- the network interface 912 is an interface for connecting the computer 900 to a network.
- This network may be a LAN (Local Area Network) or a WAN (Wide Area Network).
- the storage device 908 stores programs that implement each functional component of the server 20 and the like (programs that implement the aforementioned applications).
- the processor 904 implements each functional component of the server 20 and the like by reading this program into the memory 906 and executing it.
- Each of the processors executes one or more programs containing instructions that cause the computer to perform an algorithm.
- This program includes instructions (or software code) that, when loaded into a computer, cause the computer to perform one or more of the functions described in the embodiments.
- the program may be stored on a non-transitory computer readable medium or a tangible storage medium.
- computer readable or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD - Including ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
- the program may be transmitted on a transitory computer-readable medium or a communication medium.
- transitory computer-readable or communication media includes electrical, optical, acoustic, or other forms of propagating signals.
- An examination device that performs an examination regarding movement disorders of body parts, acquisition means for acquiring coordinate information indicating the position of the body part of the user performing a predetermined action; analysis means for analyzing the user's movement based on the coordinate information; determining means for determining whether or not there is a sign of the movement disorder in the body part based on the analysis result; An inspection device comprising: a notification means for notifying a determination result.
- the coordinate information includes the position of the skeleton of the body part, The testing device according to supplementary note 1, wherein the body part includes at least one of a fingertip, a wrist, and an ankle of the user.
- the analysis means calculates at least one of a change in wrist position, a pronation movement of the arm, and a change in ankle position of the user over a predetermined time; The testing device according to appendix 1 or 2, wherein the determining means determines whether or not there is a barre sign indicating paralysis of the body part, based on the calculation result.
- the analysis means calculates a risk level indicating the possibility that the symptom will be detected, The testing device according to any one of Supplementary Notes 1 to 3, wherein the determining means determines that the symptom is present when the risk level is equal to or higher than a predetermined value.
- An examination system that performs an examination regarding movement disorders of body parts, A user terminal used by the user, comprising a server; The user terminal is acquiring coordinate information indicating the position of the body part of the user performing a predetermined action and transmitting it to the server; The server is analysis means for analyzing the user's movement based on the coordinate information; determining means for determining whether or not there is a sign of the movement disorder in the body part based on the analysis result; An inspection system comprising: a notification means for notifying a determination result.
- the coordinate information includes the position of the skeleton of the body part, The inspection system according to appendix 11, wherein the body part includes at least one of the user's fingertips, wrist, and ankle.
- (Appendix 13) A test method performed by a test device that tests for movement disorders of body parts, The computer is obtaining coordinate information indicating the position of the body part of the user performing a predetermined action; analyzing the user's movements based on the coordinate information; Based on the analysis results, determining whether the body part has signs of the movement disorder; Inspection method for notifying judgment results.
- the coordinate information includes the position of the skeleton of the body part, The testing method according to appendix 13, wherein the body part includes at least one of a fingertip, a wrist, and an ankle of the user.
- Appendix 15 An examination method performed by an examination system that examines movement disorders of body parts,
- the user terminal computer used by the user is acquiring coordinate information indicating the position of the body part of the user performing a predetermined action and transmitting it to a server;
- the server computer is analyzing the user's movements based on the coordinate information; Based on the analysis results, determining whether the body part has signs of the movement disorder; Inspection method for notifying judgment results.
- the coordinate information includes the position of the skeleton of the body part, The testing method according to appendix 15, wherein the body part includes at least one of a fingertip, a wrist, and an ankle of the user.
- a non-transitory computer-readable medium storing a program that causes a computer to execute a testing method executed by a testing device that tests for movement disorders of body parts, The testing method includes: obtaining coordinate information indicating the position of the body part of the user performing a predetermined action; analyzing the user's movements based on the coordinate information; Based on the analysis results, determining whether the body part has signs of the movement disorder; A non-transitory computer-readable medium that notifies the determination result.
- the coordinate information includes the position of the skeleton of the body part, 18.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
身体部位の運動障害に関する検査を適切に行うことが可能な検査装置を提供する。本開示にかかる検査装置(1)は、所定の動作を行うユーザの身体部位の位置を示す座標情報を取得する取得部(2)と、座標情報に基づいてユーザの動作を分析する分析部(3)と、分析結果に基づいて、身体部位に運動障害の徴候があるか否かを判定する判定部(4)と、判定結果を通知する通知部(5)と、を備える。
Description
本開示は、検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体に関する。
事故や疾病に伴う運動機能の麻痺を検出する技術が知られている。運動麻痺を起こした上下肢に認められる徴候の一つとして、バレー徴候が挙げられる。例えば、上肢のバレー徴候の検査では、検査対象者の手の平を上にして両腕を前方に肩の高さまで水平に上げ、検査対象者が目を閉じ、両腕をそのままの位置に維持させる。麻痺がある場合、麻痺側の小指が離れる徴候(第5指徴候)や、上肢が回内(手の平が内側に曲がりながら回る)しながら、次第に下に落ちてくる徴候がみられる。
関連する技術として、特許文献1は、センサを含む運動感知装置と、センサからの信号を受け取って定量的解析を行う情報処理装置と、を備える上肢運動機能複合的診断装置を開示する。
上下肢のバレー徴候などがみられる場合、特許文献1が開示するような診断装置を用いることで、上下肢の運動機能を定量的に診断することができる。しかしながら、このような診断装置による診断のみでは、検査対象者の症状を見落としてしまうおそれがある。そのため、正しい診断結果を得るためには、医師や整体師などの問診が必要であり、画一的にバレー徴候を検出することは困難な場合がある。また、バレー徴候は持続的に出る症状ではないため、検査のタイミングによっては、徴候が正しく検出されない場合がある。
本開示の目的は、上述した課題を鑑み、身体部位の運動障害に関する検査を適切に行うことが可能な検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体を提供することにある。
本開示にかかる検査装置は、
身体部位の運動障害に関する検査を行う検査装置であって、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得する取得手段と、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を備えるものである。
身体部位の運動障害に関する検査を行う検査装置であって、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得する取得手段と、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を備えるものである。
本開示にかかる検査システムは、
身体部位の運動障害に関する検査を行う検査システムであって、
ユーザが使用するユーザ端末と、
サーバと、を備え、
前記ユーザ端末は、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得して前記サーバに送信し、
前記サーバは、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を有するものである。
身体部位の運動障害に関する検査を行う検査システムであって、
ユーザが使用するユーザ端末と、
サーバと、を備え、
前記ユーザ端末は、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得して前記サーバに送信し、
前記サーバは、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を有するものである。
本開示にかかる検査方法は、
身体部位の運動障害に関する検査を行う検査装置が実行する検査方法であって、
コンピュータが、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知するものである。
身体部位の運動障害に関する検査を行う検査装置が実行する検査方法であって、
コンピュータが、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知するものである。
本開示にかかる検査方法は、
身体部位の運動障害に関する検査を行う検査システムが実行する検査方法であって、
ユーザが使用するユーザ端末のコンピュータが、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得してサーバに送信し、
前記サーバのコンピュータが、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知するものである。
身体部位の運動障害に関する検査を行う検査システムが実行する検査方法であって、
ユーザが使用するユーザ端末のコンピュータが、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得してサーバに送信し、
前記サーバのコンピュータが、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知するものである。
本開示にかかる非一時的なコンピュータ可読媒体は、
身体部位の運動障害に関する検査を行う検査装置が実行する検査方法をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体であって、
前記検査方法は、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知するものである。
身体部位の運動障害に関する検査を行う検査装置が実行する検査方法をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体であって、
前記検査方法は、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知するものである。
本開示により、身体部位の運動障害に関する検査を適切に行うことが可能な検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体を提供することができる。
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されている。説明の明確化のため、必要に応じて重複説明は省略される。
<実施形態1>
図1を参照して、実施形態1について説明する。図1は、本実施形態にかかる検査装置1の構成を示すブロック図である。検査装置1は、取得部2、分析部3、判定部4、及び通知部5を備えている。
図1を参照して、実施形態1について説明する。図1は、本実施形態にかかる検査装置1の構成を示すブロック図である。検査装置1は、取得部2、分析部3、判定部4、及び通知部5を備えている。
検査装置1は、身体部位の運動障害に関する検査を行う検査装置である。取得部2は、所定の動作を行うユーザの身体部位の位置を示す座標情報を取得する。分析部3は、座標情報に基づいてユーザの動作を分析する。判定部4は、分析結果に基づいて、身体部位に運動障害の徴候があるか否かを判定する。通知部5は、判定結果を通知する。
検査装置1は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えている。当該記憶装置には、本実施形態にかかる処理が実装されたコンピュータプログラムが記憶されている。プロセッサは、記憶装置からコンピュータプログラムをメモリへ読み込ませ、当該コンピュータプログラムを実行することができる。これにより、プロセッサは、取得部2、分析部3、判定部4、及び通知部5の機能を実現する。
または、取得部2等は、それぞれが専用のハードウエアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、量子プロセッサ(量子コンピュータ制御チップ)等を用いることができる。
また、検査装置1の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、検査装置1の機能がSaaS(Software as a Service)形式で提供されてもよい。
図2は、検査装置1の処理を示すフローチャートである。取得部2は、所定の動作を行うユーザの身体部位の位置を示す座標情報を取得する(S101)。分析部3は、座標情報に基づいてユーザの動作を分析する(S102)。判定部4は、分析結果に基づいて、身体部位に運動障害の徴候があるか否かを判定する(S103)。通知部5は、判定結果を通知する(S104)。
このような構成により、検査装置1は、ユーザの身体部位の運動障害に関する検査を適切に行うことができる。
<実施形態2>
実施形態2は、上述した実施形態1の具体例である。初めに、図3を参照して、本実施形態にかかる検査システム100の概要を説明する。図3は、検査システム100の構成を示す図である。検査システム100は、ユーザ端末10、サーバ20、及び医療機関システム40を備えている。
実施形態2は、上述した実施形態1の具体例である。初めに、図3を参照して、本実施形態にかかる検査システム100の概要を説明する。図3は、検査システム100の構成を示す図である。検査システム100は、ユーザ端末10、サーバ20、及び医療機関システム40を備えている。
ユーザ端末10、サーバ20、及び医療機関システム40のそれぞれは、ネットワークNに接続する。ネットワークNは、有線であっても無線であってもよい。ネットワークNは、例えば、インターネットである。これに限らずネットワークNは、Wi-Fi(登録商標)などの通信方式を用いて通信可能に構成された通信ネットワークであってもよい。
ユーザ端末10は、検査対象者(例えば、患者)であるユーザU1が使用する情報処理装置である。サーバ20は、ユーザ端末10及び医療機関システム40と通信を行い、検査に関する情報のやりとりを行う情報処理装置である。医療機関システム40は、ユーザU2が使用する情報処理装置である。
医療機関システム40は、ユーザU1の検査結果を受信する情報処理装置である。ユーザU2は、例えば、医療関係者、又はユーザU1の家族などである。本実施形態では、ユーザU2は医師などの医療関係者であるものとして説明を行う。医療機関システム40は、例えば、医療関係施設、又はリハビリテーションなどの回復に向けたトレーニングを行う施設などに設けられ得る。
ユーザ端末10、医療機関システム40、及びサーバ20のそれぞれは、例えば、スマートフォン、タブレット端末、携帯電話端末、又はPC(Personal Computer)などであってよい。これらに限らず、種々のデジタルデバイスが用いられてもよい。
検査システム100は、例えば、脳血管性認知症(VaD)、脳梗塞、又は脳出血の検査時の上下肢バレー徴候の検査時への適用が可能である。また、検査システム100は、リハビリ施設などでの不全麻痺、運動麻痺などの手足の麻痺(錐体路障害)をきたす疾患症状における麻痺症状を検査する際の上下肢バレー徴候の検査時に用いられ得る。
本実施形態では、検査システム100が、上下肢のバレー徴候を検出する場合を例として説明を行う。なお、以下ではバレー徴候を単に「徴候」と称して説明する場合がある。
なお、ユーザ端末10、医療機関システム40、及びサーバ20のそれぞれは、図示した数に限定されない。例えば、検査システム100は複数のユーザ端末10を備えていてもよい。
続いて、図4を参照して、検査システム100が行う処理の概要を説明する。図4は、検査システム100が行う処理の流れを模式的に示す図である。ユーザ端末10、サーバ20、及び医療機関システム40のそれぞれが行う処理は、処理ブロックA~Gで大別される。処理ブロックA~Gのそれぞれについて、詳細は後述する。
ユーザ端末10は、ユーザU1の動作を検出するモーションセンシング部113を備えている。モーションセンシング部113は、例えば、ユーザU1の検査対象部位の骨格ごとの座標情報を検出する。例えば、モーションセンシング部113は、上下肢の動作にかかる座標情報をそれぞれ検出し、検出結果として座標情報をサーバ20に送信する。
サーバ20は、分析部212、判定部213、通知部214、座標管理部221、及び分析結果管理部222を備えている。分析部212は、ユーザ端末10で取得された座標情報を用いて分析を行う。座標管理部221は、座標情報を管理する。分析部212は、例えば、上下肢のバレー徴候を判定するための分析を行う。分析部212は、例えば、徴候の度合いを示す徴候レベル(徴候幅)の変化を算出する。
判定部213は、座標情報に基づいてバレー徴候があるか否かを判定する。分析結果管理部222は判定結果を管理する。判定部213は、例えば、徴候レベルの変化に応じて徴候アラートの発出を判断する。通知部214は、バレー徴候が検出された場合に、医療機関システム40に対して通知を行う。通知部214は、判定部213におけるアラート発出判断に基づいて当該通知を行うことができる。
医療機関システム40は、通知を受け取り、管理制御部41で通知内容を管理する。医師などのユーザU2は、通知に基づいて適切な対処を行うことができる。
このように、本開示にかかるサーバ20は、モーションセンシングにより取得された骨格毎の座標情報に基づいて座標情報を分析する。サーバ20は、ユーザU1の上下肢にバレー徴候があるか否かを判定し、判定結果を医療機関システム40に送信する。
このような構成を備えることで、検査システム100は、ユーザU1の自宅等での日常生活動作における、上下肢のバレー徴候を検出し、医療機関等に対して適切に通知することができる。
続いて、図5を参照して、検査システム100の各構成について詳細に説明する。図5は、検査システム100の詳細な構成を示すブロック図である。上述したように、検査システム100は、ユーザ端末10、サーバ20、及び医療機関システム40を備えている。以下では、各装置の内部構成を示すと共に、各装置が備える機能ブロック及び各装置間の関連について説明する。
(サーバ20の構成)
初めに、サーバ20について説明する。サーバ20は、上述した検査装置1の一例である。サーバ20は身体部位の運動障害に関する検査を行う。サーバ20は、分析制御部21、情報管理DB22、及びIF部29を備えている。分析制御部21は、バレー徴候を示す動作の分析、徴候アラートの判定、及び通知を行う。情報管理DB22は座標情報の管理、動作分析結果の管理、及び通知先情報の管理を行う。
初めに、サーバ20について説明する。サーバ20は、上述した検査装置1の一例である。サーバ20は身体部位の運動障害に関する検査を行う。サーバ20は、分析制御部21、情報管理DB22、及びIF部29を備えている。分析制御部21は、バレー徴候を示す動作の分析、徴候アラートの判定、及び通知を行う。情報管理DB22は座標情報の管理、動作分析結果の管理、及び通知先情報の管理を行う。
分析制御部21は、APL制御部211、分析部212、判定部213、及び通知部214を備えている。APL制御部211は、本実施形態にかかる検査処理を行う所定のアプリケーション(以下、アプリと称する)を制御する。例えば、APL制御部211は、アプリの起動及び停止を制御することで本実施形態にかかる処理を実行する。
また、APL制御部211は、上述した取得部2の一例である。APL制御部211は、所定の動作を行うユーザの身体部位の位置を示す座標情報を取得する。APL制御部211は、ユーザの認証の成功に応じて座標情報を取得してもよい。座標情報は、身体部位の骨格の位置を含み得る。身体部位は、例えば、ユーザU1の指先、手首、及び足首の少なくともいずれかを含み得る。座標情報について詳細は後述する。
分析部212は、上述した分析部3の一例である。分析部212は、座標情報に基づいてユーザU1の動作を分析する。例えば、分析部212は、APL制御部211で取得された座標情報を用いて、ユーザU1の上下肢の関節位置に対応する座標の変動を算出する。
分析部212は、所定時間における手首位置の変化、腕の回内動作、及び足首位置の変化、の少なくともいずれかを算出する。また分析部212は、麻痺の徴候が検出される可能性を示すリスクレベルを算出する。
また、分析部212は、座標情報の推移を示す推移グラフ(画像情報)を生成する生成部としても機能する。
判定部213は、上述した判定部4の一例である。判定部213は、分析結果に基づいて、身体部位に運動障害の徴候があるか否かを判定する。本実施形態では、判定部213は、分析結果に基づいて、身体部位の麻痺を示すバレー徴候があるか否かを判定する。判定部213は、例えば、徴候が検出されるリスクレベルが所定以上である場合に徴候があると判定し、そうでない場合は徴候がないと判定する。リスクレベルは、後述するアラート値を用いて表され得る。
また、判定部213は、座標の変動値に基づいて、バレー徴候の有無と通知の必要性を判断する。判定部213は、例えば、リスクレベルの変化に応じて徴候アラートの発出を判断する。判定部213は、リスクレベルが所定未満の場合であっても、リスクレベルが所定期間内に所定以上変化した場合、アラートを通知すると判定してもよい。
通知部214は、上述した通知部5の一例である。通知部214は、判定結果を通知する。通知部214は、通知をユーザ端末10及び医療機関システム40の両方に行ってもよいし、いずれか一方に行ってもよい。また、通知部214はネットワークNを介して他の装置に通知を行ってもよい。
情報管理DB22は、座標管理部221、分析結果管理部222、閾値管理部223、及び通知先管理部224を備えている。座標管理部221は、ユーザ端末10から取得した患者の座標情報を管理する。
分析結果管理部222は、分析結果を管理する。例えば、分析結果管理部222は座標変動の算出結果を格納する。閾値管理部223は、アラート通知を行うための閾値を管理する。閾値は、例えば、検査開始時と所定時間経過後のそれぞれにおける手首位置の高低差などを示すものであってよい。
通知先管理部224は、通知先情報を管理する。通知先情報は、例えば、医療機関システム40、医療機関、又はユーザU1の家族などに対して検査結果の通知を行うための連絡先を示す情報である。IF部29は、内部装置と外部装置とを接続する。IF部29は、APL制御部211、IF部19、及びIF部49を接続する。
(ユーザ端末10の構成)
続いてユーザ端末10について説明する。図5に示されるように、ユーザ端末10は、センシング制御部11、情報管理DB12、及びIF部19を備えている。
続いてユーザ端末10について説明する。図5に示されるように、ユーザ端末10は、センシング制御部11、情報管理DB12、及びIF部19を備えている。
センシング制御部11は、モーションセンシングの制御、カメラ制御、及びトレーニング処理を行う。APL制御部111は、ユーザU1の動作を3次元座標として取得する。アップロード部112は、座標情報をサーバ20へ送信する。モーションセンシング部113は、ユーザU1の動作を3次元座標に変換する。
カメラ制御部114は、ユーザ端末10に設けられた図示しないカメラの撮影機能を制御する。ログイン管理部115は、ユーザU1の生体情報に基づいて認証処理を行い、アプリへのログインを管理する。トレーニング部116は、ユーザU1が行うトレーニング動画コンテンツを再生する。例えばトレーニング部116は、徴候があるか否かの判定結果に応じて選択された、身体部位のトレーニングに関するコンテンツを再生する。
情報管理DB12は、座標情報の管理、トレーニング情報の管理、及びバレー徴候検査のリスク判定結果の管理を行う。情報管理DB12は、随時情報を更新することで最新の検査結果を管理することができる。
座標管理部121は、センシングした座標情報を管理する。認証管理部122は、ユーザU1の顔認証用の顔の特徴点データを管理する。トレーニング管理部123は、トレーニング用動画コンテンツを管理する。判定結果管理部124は、上下肢バレー徴候検査の最終的な検査結果を管理する。IF部19は、アップロード部112とIF部29とを接続する。
(医療機関システム40の構成)
続いて、医療機関システム40について説明する。図5に示されるように、医療機関システム40は、管理制御部41、情報管理DB42、及びIF部49を備えている。管理制御部41は、アプリの制御を行う。管理制御部41は、APL制御部411を備えている。APL制御部411は、ユーザU1のバレー徴候のアラートを、図示しない表示部に表示する。
続いて、医療機関システム40について説明する。図5に示されるように、医療機関システム40は、管理制御部41、情報管理DB42、及びIF部49を備えている。管理制御部41は、アプリの制御を行う。管理制御部41は、APL制御部411を備えている。APL制御部411は、ユーザU1のバレー徴候のアラートを、図示しない表示部に表示する。
情報管理DB42は、検査結果などを通知する通知先を管理する。情報管理DB42は、通知先管理部421を備えている。通知先管理部421は、通知情報を格納し、管理する。通知情報は、サーバ20から受信したアラート情報を含み得る。IF部49は、内部装置と外部装置とを接続する。IF部49は、IF部29とAPL制御部411とを接続する。
なお、図示しない構成として、ユーザ端末10、サーバ20、及び医療機関システム40は、表示部をそれぞれ備えている。各表示部は、本実施形態にかかる検査で用いられる表示画面を表示する。また、ユーザ端末10、サーバ20、及び医療機関システム40は、図示しない音声出力部をそれぞれ備えてもよい。各音声出力部は、本実施形態にかかる検査で用いられる音声を出力する。
以上、検査システム100の構成について説明したが、図5に示される構成は一例に過ぎない。検査システム100は、複数の構成が集約された装置などを用いて構成されてもよい。例えば、ユーザ端末10、サーバ20、及び医療機関システム40の各機能部のうち、一部が同一の装置に集約されていてもよい。また、例えば、ユーザ端末10、サーバ20、及び医療機関システム40の各機能部は、複数の装置などを用いて分散処理されてもよい。
(検査システム100の処理)
続いて、検査システム100が行う処理について説明する。以下では、処理の内容ごとに、処理ブロックA~Gに分けて説明を行う。なお、本開示にかかる検査システム100は、ユーザ端末10、サーバ20、及び医療機関システム40が、目的に応じて単独で動作することを許容する。以下に記載する一連の処理は検査システム100が実行する処理の一例である。よって、本開示にかかる検査処理は、以下に記載する処理の順序に限定されない。
続いて、検査システム100が行う処理について説明する。以下では、処理の内容ごとに、処理ブロックA~Gに分けて説明を行う。なお、本開示にかかる検査システム100は、ユーザ端末10、サーバ20、及び医療機関システム40が、目的に応じて単独で動作することを許容する。以下に記載する一連の処理は検査システム100が実行する処理の一例である。よって、本開示にかかる検査処理は、以下に記載する処理の順序に限定されない。
(処理ブロックA:通知閾値設定値の確認及び変更処理)
A-1.医療機関システム40は、管理制御部41で所定のアプリを起動する。ここで、図6を参照して、アプリの表示画面について説明する。図6は、アプリの画面遷移の一例を示す図である。医療機関システム40は、ログイン画面301を表示する。
A-1.医療機関システム40は、管理制御部41で所定のアプリを起動する。ここで、図6を参照して、アプリの表示画面について説明する。図6は、アプリの画面遷移の一例を示す図である。医療機関システム40は、ログイン画面301を表示する。
A-2.ユーザU2は、医療機関システム40を操作してID302及びパスワード303を入力し、ログインボタン304を押下する。医療機関システム40は、アプリ内にて一般的なIDとパスワードの認証処理を行う。医療機関システム40は、周知の技術を用いて当該認証処理を行い得る。当該認証は多要素認証であってもよい。認証処理の詳細については、機能ロジックを含めて詳細を省略する。認証処理に成功した場合、表示画面はホーム画面305に遷移する。
A-3.ユーザU2が閾値設定307を押下すると、通知閾値設定画面309へ遷移する。なお、ログアウトボタン308を押下するとログアウト処理が行われる。
A-4.通知閾値設定画面309では、現在の通知閾値310が表示される。図に示されるように、通知閾値310は、上肢及び下肢のそれぞれで設定可能である。
通知閾値310は、通知を行うか否かの判定に用いられる閾値である。ユーザU2は、通知閾値310を変更する場合、上肢設定変更値311又は下肢設定変更値312に変更値を入力し、設定変更313を押下する。ユーザU2は、上肢設定変更値311及び下肢設定変更値312の両方を変更してもよい。なお、ホームボタン314を選択するとホーム画面305へ遷移する。
APL制御部411は、ユーザU2からの入力を受け付けて、入力内容をサーバ20に送信する。APL制御部411は、IF部49及び29を経由して、入力内容をAPL制御部211に送信する。
APL制御部411は、設定変更要求、多要素認証情報、及び閾値設定変更値をサーバ20に送信する。ユーザU2の入力に応じて、これらの一部又は全部が送信され得る。また、閾値設定変更値は、上肢閾値設定変更値若しくは下肢閾値設定変更値、又はその両方が送信され得る。
A-5.サーバ20において、APL制御部211は、医療機関システム40から受信した多要素認証情報に基づいて、周知の技術を用いて多要素認証を行う。多要素認証に関しては一般技術を活用することができる。当該認証の機能ロジックを含む処理の詳細については説明を省略する。
認証に成功した場合、A-6へ遷移する。認証に失敗した場合、APL制御部211は、IF部29及び49を経由してAPL制御部411に否認通知を送信する。この場合、ホーム画面305のアラート情報306に認証エラーの旨が表示されて、処理は終了する。
A-6.APL制御部211は、医療機関システム40から受信した設定変更要求及び閾値設定変更値を判定部213に出力する。
A-7.判定部213は、閾値管理部223へ閾値設定変更値を出力する。図7は、閾値管理部223が管理するアラート閾値情報の一例を示す図である。アラート閾値情報は、医療機関システム40において予め設定され得る。
閾値管理部223は、上肢閾値設定変更値、若しくは下肢閾値設定変更値、又はその両方を上書きする。閾値管理部223は、閾値の変更完了を示す完了通知をAPL制御部211に返す。
A-8.APL制御部211は、IF部29及び49を経由してAPL制御部411へ完了通知を送信する。
A-9.APL制御部411は、通知先管理部421へ通知情報を格納する。ホーム画面305のアラート情報306には、完了通知が表示される。また、通知閾値設定画面309の現在の通知閾値310の上肢閾値設定変更値、若しくは下肢閾値設定変更値、又はその両方の値が設定変更値に更新される。これにより、通知閾値設定値の確認、及び変更処理(処理ブロックA)は完了する。
(処理ブロックB:ユーザU1による認証処理)
B-1.ユーザU1はユーザ端末10を操作して、アプリを起動して検査を開始する。APL制御部111は、ユーザU1の入力を受け付けてアプリを起動し、ログイン管理部115にログイン依頼を送信する。
B-1.ユーザU1はユーザ端末10を操作して、アプリを起動して検査を開始する。APL制御部111は、ユーザU1の入力を受け付けてアプリを起動し、ログイン管理部115にログイン依頼を送信する。
図8及び図9は、ユーザ端末10の表示部に表示される表示画面の一例を示す図である。ユーザU1は、図8及び図9に示される表示画面を視認することで、検査及びトレーニングを行うことができる。
B-2.ログイン管理部115がログイン依頼を受信すると、ユーザ端末10上では、認証画面501が表示される。ログイン管理部115は、カメラ制御部114を制御する。認証画面501上のカメラ映像表示枠502にインカメラ映像が表示される。
B-3.ユーザU1は、画面表示のガイダンスに従ってカメラ映像表示枠502中の丸い枠5021内に顔を収めるように自身の位置を調整する。カメラ制御部114は、枠5021内にユーザU1の顔が配置されたか否かを判定する。
ユーザU1の顔が枠5021内に配置されたと判定した場合、カメラ制御部114はユーザU1の顔を撮影し、顔画像を取得する。APL制御部111は、顔画像を解析して特徴点を抽出する。APL制御部111は、抽出された特徴点と認証依頼とを認証管理部122に出力する。
B-4.認証管理部122は、予め登録されたユーザU1の顔の特徴点と、APL制御部111から出力された特徴点と、を照合し、合致するか否かを判定する。認証管理部122は、両者が所定以上類似する場合に合致すると判定してよい。認証管理部122は、両者が合致した場合に認証に成功したと判定し、そうでない場合に認証に失敗したと判定する。
認証に成功したと判定された場合、ログイン管理部115はAPL制御部111に認証成功を通知し、B-5へ遷移する。認証に失敗した場合、ログイン管理部115はAPL制御部111に認証失敗を通知し、処理を終了する。
B-5.APL制御部111が認証に成功した旨を受信することで、ホーム画面503に画面遷移し、処理ブロックBは完了となる。
(処理ブロックC:ユーザU1によるバレー徴候検査処理、ユーザU2によるリスクアラート情報確認処理)
処理ブロックCでは、処理ブロックBで認証に成功したユーザU1がバレー徴候検査を行う。前提として、ユーザU1はユーザ端末10上で所定のセンシングアプリを起動させている。APL制御部111はセンシングアプリを実行することでユーザU1のバレー徴候検査を実行する。APL制御部111は、処理ブロックBを経てホーム画面503に画面遷移した状態で処理を開始とする。
C-1.ユーザU1がホーム画面503にてバレー徴候検査505を選択すると、APL制御部111はモーションセンシング部113に検査要求を送信する。
C-2.モーションセンシング部113は、カメラ制御部114へ画像取得要求を送信する。これにより、上肢の検査開始を示す上肢検査開始画面507が表示される。また、モーションセンシング部113が起動した状態となる。なお、ホームボタン509を選択するとホーム画面503へ遷移する。
モーションセンシング部113は、ユーザU1の身体部位の位置を示す座標情報を取得する。モーションセンシング部113は、例えば、Kinect(登録商標)で用いられるような、一般的な骨格推定のセンサを用いて各関節部位の動きを検出し得る。本実施形態では、当該センサは、直交するX軸、Y軸、及びZ軸のそれぞれの加速度を検出する3軸加速度センサであるものとして説明を行う。
なお、モーションセンシング部113は、検査対象の身体部位(例えば、手の平)に装着されるセンサを用いてセンシングを行ってもよい。センサは、3Dカメラ又はステレオカメラなどであってもよい。
モーションセンシング部113は、各関節部位の位置に対応する座標情報を取得する。座標情報は、各関節部位の位置を示す3D座標(x,y,z)の情報を含み得る。モーションセンシング部113は、座標情報をmsec単位で取得し、座標管理部121に各関節部位単位で格納する。
図10は、モーションセンシング部113が座標情報を取得する対象となる身体部位の一例を示す図である。図中の丸印に示されるように、モーションセンシング部113は、任意の身体部位のセンシングを行い得る。
本実施形態では一例として、図に示される身体部位のうち、符号を付した部位を検査対象とする。モーションセンシング部113は、右半身では、右手(指先)RH、右手親指RT、右手首RW、及び右足首RAのセンシングを行う。また、モーションセンシング部113は、左半身では、左手(指先)LH、左手親指LT、左手首LW、及び左足首LAのセンシングを行う。
上記部位は検査対象の一例であるので、他の部位が検査対象として設定されてもよい。本実施形態では、手の平が回内運動することを検出するために、上述したように、手の親指と指先、手首、及び足首を検査対象部位として設定した場合を説明するが、これに限られない。例えば、モーションセンシング部113は検査対象部位とは異なる他の部位の位置をセンシングし、上述した検査対象部位の位置を近似するようにしてもよい。
例えば、サーバ20は、該当する近似部位における検出結果を用いて、上述した右足首RA、右手RH、右手親指RT、右手首RW、右足首RA、左手LH、左手親指LT、左手首LW、及び左足首LAの検出結果を置換する。これにより、サーバ20は、本実施形態にかかる同じロジックと同様にしてバレー徴候検査を行うことができる。
ここで、図11~図15を参照して、本実施形態にかかる検査の基本的な内容を説明する。図11は、本実施形態にかかるセンサで取得される座標情報で用いられる座標の説明図である。X軸(横)は水平方向を示し、Z軸(高さ)は鉛直方向を示している。また、Y軸(奥行)は、X軸及びZ軸と直交する方向を示している。
図12は、上肢バレー徴候が検出される場合の動作を示す図である。検査開始時において、ユーザU1は、図の左側に示されるように、右手首RWと左手首LWとを同じ高さまで上げた状態にある。しかしながら、麻痺が生じている場合、所定時間経過後、図の右側に示されるように、右前腕の高さが検査開始時と比べて下がる場合がある。また、検査開始時と比べて、右手の手の平が下を向くように回転する(右の前腕に回内動作が生じる)場合がある。
図13は、図12をより詳細に説明する図である。図13は、図11を用いて説明したX軸、Y軸、及びZ軸のそれぞれを図12と対応付けて示している。
モーションセンシング部113は、センシング対象の各部位における骨格の位置を示す座標情報を取得する。例えば、図の左側に示されるように、検査開始時(t=0)における右手首RWの座標は、(0,RW_height_t0)で表すことができる。また、検査開始から20秒経過後(t=20)における右手首RWの座標は、(20,RW_height_t20)で表すことができる。
サーバ20において、分析部212は、検査で取得された座標情報に基づいてバレー徴候を検出するための分析を行う。例えば、検査開始時から終了時までにおける右手首RWの高さの最小値であるRW_height_minを算出し、(RW_height_t0 - RW_height_min)の計算式により表されるアラート値VRWを算出する。分析部212は、VRWの大きさの変化に基づいてユーザU1の動作を分析することができる。
このように、分析部212において身体部位の座標変化を求めることで、判定部213は、分析結果に基づいてバレー徴候があるか否かを判定することができる。なお、判定について、詳細は後述する。
図14は、図13を上方(Z軸正方向)側から見た図である。また、ここでは左手首LWに回内動作が生じている例を示している。回内動作が生じることで、左手親指LTが左手LH(指先)の内側に入ってくる、又は、X軸上の座標の点間が狭くなる。
図15は、下肢バレー徴候が検出される場合の動作を示す図である。ここでは右足首RAにバレー徴候が検出される例を示している。図に示されるように、検査開始時と所定時間経過後とでは、右足首RAの高さが変化している。
検査開始時(t=0)における右足首RAの高さをRA_height_t0、検査開始から20秒経過後(t=20)までにおける右足首RAの高さの最小値をRA_height_minとする。分析部212は、2つの高さの差であるアラート値VRAを、(RA_height_t0 - RA_height_min)の計算式で算出することができる。分析部212は、VRAを用いて動作を分析する。これにより、下肢についても、上肢と同様にしてバレー徴候があるか否かを判定することができる。
C-3.図8及び図9に戻り説明を続ける。上肢検査開始画面507は、ユーザU1が所定の動作を行うための案内画像を表示する。案内画像は、静止画像であってもよいし動画像であってもよい。また、案内画像と共に音声が出力されてもよい。また、案内画像は、身体部位を所定の位置に誘導するための誘導画像を含み得る。誘導画像は、ユーザを撮影した撮影画像と重畳的に表示され得る。
ここでは、案内画像の一例として、動作の模倣を促すアニメーション522を用いて説明する。APL制御部111は、図9に示される上肢検査中画面510に画面遷移するまでアニメーション522を繰り返し再生する。
ユーザU1は、表示されたアニメーション522に従い所定の動作を行う。ユーザU1は、自身の映像が表示される枠508中の手の目安位置(誘導画像)5081に、左右それぞれの手が配置されるように腕を動かす。ユーザU1は、手の平を上に向けた状態、かつ、両腕を伸ばした状態で姿勢を維持する。
目安位置5081は、例えば、グレー表示されている。このようにすることで、目安位置5081はユーザU1が検査のために適切な姿勢をユーザU1に対して案内することができる。目安位置5081は、グレー表示に限らず、他の領域と判別可能に表示され得る。目安位置5081は、他の表示領域と異なる色で表示されてよい。これにより目安位置5081は、ユーザU1の身体部位を所定の位置に誘導する。
右手RH、左手LH、右手親指RT、及び左手親指LTが目安位置5081内に収まるように配置されると、モーションセンシング部113は、測定処理を開始する。モーションセンシング部113は、右手RH、左手LH、右手親指RT、左手親指LT、右手首RW、及び左手首LWの3D座標の取得を開始する。表示画面は上肢検査中画面510に遷移する。
モーションセンシング部113は、各部位の座標を20秒間取得する。座標を取得する間隔は任意に設定されてよい。モーションセンシング部113は、座標管理部121に各関節部位単位の座標値を格納する。
C-4.センシングの開始から20秒が経過した場合、モーションセンシング部113は、APL制御部111へ上肢バレー徴候検査を終了する旨を送信する。APL制御部111は、モーションセンシング部113へ下肢バレー徴候検査要求を送信する。
C-5.モーションセンシング部113は、カメラ制御部114へ画像取得要求を送信する。これにより、表示部には下肢検査開始画面511が表示される。また、モーションセンシング部113が起動した状態となる。なお、ホームボタン512を選択するとホーム画面503へ遷移する。
C-6.表示部は、動作の模倣を促すためのアニメーション523を表示する。APL制御部111は、図9に示される下肢検査中画面513に遷移するまでアニメーション523を繰り返し再生する。
ユーザU1は、アニメーション523に表示された動作に従い、うつ伏せとなる。ユーザU1は、自身の映像が表示される枠521中の破線5211を目安として、踵を移動させる。破線5211は、踵の高さの目安を示すものである。破線5211は、上述した誘導画像の一例である。
ユーザU1は、踵が破線5211の高さに配置されるように、足を枠521内に移動させる。右足首RA、左足首LAが枠521中に収まるように配置されると、モーションセンシング部113は測定処理を開始する。
モーションセンシング部113は、右足首RA及び左足首LAの各3D座標の取得を開始する。表示画面は、下肢検査中画面513に遷移する。モーションセンシング部113は、各部位の座標を20秒間取得する。モーションセンシング部113は、座標管理部121に各関節部位単位の座標値を格納する。
C-7.センシング開始から20秒が経過した場合、モーションセンシング部113は、下肢バレー徴候検査を終了する旨をAPL制御部111に送信する。表示画面は、検査終了画面514に遷移し、センシングアプリにおける処理は完了する。APL制御部111は、アップロード部112へアップロード要求を送信する。
C-8.アップロード要求を受信したアップロード部112は、ユーザU1の右手RH、左手LH、右手親指RT、左手親指LT、右手首RW、左手首LW、右足首RA、左足首LAの3D座標情報を座標管理部121から取得する。
アップロード部112は、IF部19、IF部29、APL制御部211を経由して、座標情報を座標管理部221に送信する。座標管理部221は、アップロード部112から受信した座標情報を格納する。
C-9.APL制御部211は、分析部212へバレー徴候の分析依頼を送信する。
C-10.分析部212は、座標管理部121に格納されている右手RH、左手LH、右手親指RT、左手親指LT、右手首RW、左手首LW、右足首RA、及び左足首LAのそれぞれの3D座標情報に基づいて、処理ブロックD及びFの処理を並行処理する。処理ブロックDは上肢バレー徴候検査演算処理であり、処理ブロックFは下肢バレー徴候検査演算処理である。処理ブロックD終了後は自動的に処理ブロックEへ遷移する。
C-11.処理ブロックE及びFの処理が全て完了した場合、分析部212は、徴候動作の分析完了を示す分析完了通知をAPL制御部211に送信し、C-12に遷移する。処理ブロックE及びFの処理が未完了の場合、分析部212は、処理ブロックE又はFからの応答を待つ。
C-12.分析完了通知を受信すると、APL制御部211は、判定部213へリスクアラートの要否判断依頼を送信する。
C-13.リスクアラートの要否判断依頼を受信すると、判定部213は、分析結果管理部222に格納された各部位のリスク情報を参照する。
図16は、分析結果管理部222が格納する各部位のリスク情報の一例を示す図である。図に示されるように、分析結果管理部222は、リスク判定結果W及びアラート値Vを検査対象部位ごとに記憶する。また、リスク判定結果W及びアラート値Vは検査日時と対応付けてられている。
判定部213は、図中の右手首リスク判定結果WRW、右腕回内リスク判定結果WRF、左手首リスク判定結果WLW、左腕回内リスク判定結果WLF、右足首リスク判定結果WRA、及び左足首リスク判定結果WLAの各リスクを確認する。
判定部213は、リスク判定結果Wに基づいて、ユーザ端末10又は医療機関システム40への通知が必要であるか否かを判定する。各部位のリスク判定結果Wが全て0であった場合、判定部213は、通知が不要であると判定する。この場合、判定部213は判断結果として「不要」をAPL制御部211へ送信する。これにより処理ブロックCは完了する。
リスク判定結果Wが1である部位が1つ以上ある場合、判定部213は通知が必要であると判定し、C-14へ遷移する。
C-14.判定部213は、リスク判定結果Wに基づいて、リスクの内容を示す推移グラフを生成する。リスク判定結果Wが1の部位が1つでもある場合、判定部213は、リスク判定結果Wが1である検査対象部位の座標情報に基づいて、対応する推移グラフを生成する。判定部213はリスク判定結果Wが1であった部位の数に応じた数の推移グラフを生成する。したがって推移グラフの数は1又は複数であり得る。
図17は、推移グラフの一例である。図17の横軸は時間を示し、縦軸は上述したZ軸を示している。これらの詳細については後述する。判定部213は、生成した推移グラフをJPEG形式又はPNG形式などの画像データに変換する。
また判定部213は、判断結果として「要」を、判定部位の名称と共に通知部214に出力する。また、判定部213は、変換した画像データを通知部214に出力する。
C-15.APL制御部211は、通知依頼、判定部位名、及び画像データを通知部214に送信する。
C-16.通知部214は、通知依頼を受信すると、通知先管理部421を参照し、通知先の情報を取得する。例えば、通知部214は医療機関システム40で実行されるアプリのIDを識別することで通知先を取得してもよい。
通知部214は、リスク判定結果W及び画像データを含むリスクアラート情報を医療機関システム40に送信する。リスクアラート情報は、1つ又は複数の判定箇所名(例えば、右手首リスク)と、当該判定箇所に対応する画像データを含み得る。
通知部214は、APL制御部211、IF部29、IF部49、及びAPL制御部411を経由して、リスクアラート情報を通知先管理部421に送信する。通知先管理部421は、リスクアラート情報を格納する。
C-17.ユーザU2は、A-1及びA-2と同様の処理にてアプリにログインする。医療機関システム40の表示部は、図6に示されるホーム画面305を表示する。
C-18.APL制御部411は、通知先管理部421へリスクアラート情報の有無を問い合わせる。
リスクアラート情報がある場合、APL制御部411は、リスク判定箇所名及び画像データをAPL制御部411へ返す。APL制御部411は、アラート情報306にリスク情報を表示する。これにより処理ブロックCは完了する。
(処理ブロックD:上肢バレー徴候検査演算処理)
D-1.分析部212は、座標管理部221に格納されている右手首RW、左手首LWの3D座標情報に基づいて、20秒間(t=0~20)の右手首RWの高さ、及び左手首LWの高さに関する推移グラフを描く。
D-1.分析部212は、座標管理部221に格納されている右手首RW、左手首LWの3D座標情報に基づいて、20秒間(t=0~20)の右手首RWの高さ、及び左手首LWの高さに関する推移グラフを描く。
図17は手首位置の推移を示す推移グラフの一例である。なお、ここでは計測時間を20秒間としているが、計測時間は処理ブロックAにて適宜設定変更可能である。なお、以下の各ブロックについても同様である。
右手首RWの高さ及び左手首LWの高さは、上述したZ軸に対応する。分析部212は、検査中に取得された右手首RWの高さの最小値であるRW_height_minと、左手首LWの高さの最小値であるLW_height_minと、をそれぞれ算出する。
D-2.分析部212は、以下の式(1)及び(2)に基づいて、右手首RW及び左手首LWのアラート値VRW及びVLWをそれぞれ算出する。
VRW = RW_height_t0 - RW_height_min ・・・(1)
VLW = LW_height_t0 - LW_height_min ・・・(2)
VLW = LW_height_t0 - LW_height_min ・・・(2)
D-3.分析部212は、APL制御部211及び判定部213を経由して、閾値管理部223から閾値Th1を取得する。閾値Th1は、上肢のバレー徴候検査の判定に用いられる閾値である。
分析部212は、閾値Th1とVRWとを比較する。分析部212は、VRW≧Th1ならば1を、VRW<Th1ならば0を、リスク判定結果WRWとして分析結果管理部222のリスク情報に格納する。
分析部212は、APL制御部211、IF部29、IF部19、アップロード部112、APL制御部111、及びトレーニング部116を経由し、判定結果管理部124にも1又は0のリスク判定結果WRWを格納する。
また、分析部212は、VLWとTh1とを比較する。分析部212は、VLW≧Th1ならば1を、VLW<Th1ならば0を、リスク判定結果WLWとして分析結果管理部222に格納する。
分析部212は、APL制御部211、IF部29、IF部19、アップロード部112、APL制御部111、及びトレーニング部116を経由して判定結果管理部124にも1又は0のリスク判定結果WLWを格納する。処理は処理ブロックE(E-1)へ遷移する。
(処理ブロックE:上肢バレー徴候(前腕回内動作)検査演算処理)
E-1.分析部212は、座標管理部221に格納されている右手RH、右手親指RTの3D座標情報に基づいて、t=0~20間の右手RH、及び右手親指RTのX軸(横)に関する推移グラフを描く。
E-1.分析部212は、座標管理部221に格納されている右手RH、右手親指RTの3D座標情報に基づいて、t=0~20間の右手RH、及び右手親指RTのX軸(横)に関する推移グラフを描く。
図18及び図19は、右手の指先位置及び親指位置の推移を示す推移グラフの一例である。分析部212は、ユーザU1の状態に応じて図18又は図19のような推移グラフを描き得る。図18は健常時の推移を示し、図19はバレー徴候が検出される場合の推移を示している。
E-2.分析部212は、以下の式(3)に基づいて、右前腕RFの前腕回内動作に伴うアラート値VRF_t(n)を算出する。
VRF_t(n) = RH_t(n) - RT_t(n) ・・・(3)
分析部212は、VRF_t(n)を分析結果管理部222の前腕回内リスクDBに格納する。図20は、前腕回内リスクDBの一例である。
E-3.分析部212は、分析結果管理部222の前腕回内リスクDB中のt=0~20間のVRF_t(n)に基づいて、右前腕RFのバレー徴候を分析する。
分析部212は、t=0時のアラート値VRF_t(0)=RH_t(0) - RT_t(0)に対してVRF_t(n)が0に近似していかない、又はRH_t(n)<RT_t(n)とならない場合には0を、前腕回内リスクDBに格納する。
図18に示されるように、ユーザU1が手の平を上に向けたままで維持できた場合、右手RH、右手親指RTのX軸中の推移は5cm前後となる。手の平を上に向けたままならば、同一時刻でRH_t(n)<RT_t(n)となることはなく、RH_t(n)とRT_t(n)とは一定の間隔をあけて推移する。上記は、手を静止できた場合(図の左側)だけでなく、手が左右に多少動いた場合(図の右側)についても同様である。
図19に示されるように、回内運動が生じると、時間と共にRH_t(n)とRT_t(n)との間の間隔が狭まる(図の左側)。手の甲が上を向くにしたがって、両線は逆転し、RH_t(n)>RT_t(n)のように右手RH及び右手親指RTの位置が推移する(図の右側)。
図の左側に示されるように、VRF_t(n)が0に近似していく、又は図の右側に示されるように、RH_t(n)<RT_t(n)となるタイミングが検出された場合、分析部212は1を分析結果管理部222にリスク判定結果WRFとして格納する。
分析部212は、APL制御部211、IF部29、IF部19、アップロード部112、APL制御部111、及びトレーニング部116を経由して判定結果管理部124にも1又は0のリスク判定結果WRFを格納する。
E-4.分析部212は、座標管理部121に格納されている左手LH、左手親指LTの3D座標情報に基づいて、t=0~20間の左手LH、及び左手親指LTのX軸(横)に関する推移グラフを描く。
分析部212は、ユーザU1の状態により図21又は図22に示されるような推移グラフを描き得る。図21及び図22は、左手の指先位置及び親指位置の推移を示す推移グラフの一例である。図21は、健常時の推移を示し、図22はバレー徴候が検出される場合の推移を示している。図21及び図22は、上述した図18及び図19にそれぞれ対応する。
E-5.分析部212は、次の式(4)に基づいて、左前腕LFの回内動作に伴うアラート値VLF_t(n)を算出する。
VLF_t(n) = LT_t(n) - LH_t(n) ・・・(4)
分析部212は、VLF_t(n)を分析結果管理部222の前腕回内リスクDBに格納する。
E-6.分析部212は、分析結果管理部222の前腕回内リスクDB中のt=0~20間のアラート値VLF_t(n)に基づいて、左前腕LFのバレー徴候を分析する。
分析部212は、t=0時のアラート値VLF_t(0)=LT_t(0) - LH_t(0)に対して、VLF_t(n)が0に近似していかない、又はLT_t(n)<LH_t(n)とならない場合には0を分析結果管理部222のリスク判定結果WLWに格納する。
逆に、VLF_t(n)が0に近似していく、又はLT_t(n)<LH_t(n)となるタイミングが検出された場合、分析部212は、1をリスク判定結果WLFとして分析結果管理部222に格納する。
分析部212は、APL制御部211、IF部29、IF部19、アップロード部112、APL制御部111、トレーニング部116を経由して判定結果管理部124にも1又は0のリスク判定結果WLFを格納する。C-11へ遷移する。
(処理ブロックF:下肢バレー徴候検査演算処理)
F-1.分析部212は、座標管理部221に格納されている右足首RA、左足首LAの3D座標情報に基づいて、t=0~20間の右足首RA、及び左足首LAのZ軸(高さ)に関する推移グラフを描く。図23は、足首位置の推移を示す推移グラフの一例である。
F-1.分析部212は、座標管理部221に格納されている右足首RA、左足首LAの3D座標情報に基づいて、t=0~20間の右足首RA、及び左足首LAのZ軸(高さ)に関する推移グラフを描く。図23は、足首位置の推移を示す推移グラフの一例である。
分析部212は、右足首RAのZ軸における最小値であるRA_height_minと、左足首LAのZ軸における最小値であるLA_height_minと、をそれぞれ算出する。
F-2.分析部212は、以下の式(5)及び(6)に基づいて、右足首RA及び左足首LAのアラート値VRA_t(n)及びVLA_t(n)をそれぞれ算出する。
VRA_t(n) = RA_height_t0 - RA_height_min ・・・(5)
VLA_t(n) = LA_height_t0 - LA_height_min ・・・(6)
VLA_t(n) = LA_height_t0 - LA_height_min ・・・(6)
F-3.分析部212は、APL制御部211、及び判定部213を経由して、閾値管理部223から閾値Th2を取得する。閾値Th2は、下肢のバレー徴候検査の判定に用いられる閾値である。
分析部212は、VRA_t(n)とTh2とを比較する。分析部212は、VRA_t(n)≧Th2ならば1を、VRA_t(n)<Th2ならば0を、分析結果管理部222のリスク判定結果WRAに格納する。
分析部212は、APL制御部211、IF部29、IF部19、アップロード部112、APL制御部111、及びトレーニング部116を経由して、判定結果管理部124にも1又は0のリスク判定結果WRAを格納する。
分析部212は、VLA_t(n)とTh2とを比較する。分析部212は、VLA_t(n)≧Th2ならば1を、VLA_t(n)<Th2ならば0を、分析結果管理部222のリスク判定結果WLAに格納する。分析部212は、上記と同様にAPL制御部211などを経由して、判定結果管理部124にも1又は0のリスク判定結果WLAを格納する。C-11へ遷移する。
(処理ブロックG:ユーザU1のトレーニング処理)
以下にユーザU1によるトレーニングの手順を記載する。
以下にユーザU1によるトレーニングの手順を記載する。
G-1.ユーザU1は、ユーザ端末10上で所定のセンシングアプリを起動させる。ユーザ端末10は、処理ブロックBを経てホーム画面503(図8を参照)に画面遷移する。
G-2.ユーザU1がホーム画面503にてトレーニングボタン506を選択すると、トレーニング画面515に遷移する。
G-3.ユーザU1はトレーニング画面515にて、トレーニング部位を示す部位ボタンを押下する。部位ボタンは例えば、「部位01」、「部位02」、・・・、「部位08」のように複数のトレーニング部位を選択可能に設けられ得る。ユーザU1がいずれかの部位ボタンを押下すると、G-3-i-1へ遷移する。なお、ホームボタン517を選択するとホーム画面503へ遷移する。
また、ユーザU1がおすすめトレーニングボタン516を選択するとG-3-ii-1へ遷移する。
G-3-i-1.APL制御部111は、部位ボタンで選択されたボタンに対応する部位ID(例えば、「01」)をトレーニング部116に送信する。
G-3-i-2.トレーニング部116は、トレーニング管理部123に格納されたコンテンツ情報を参照し、受信した部位IDに対応付けられたコンテンツを選択する。
図24は、コンテンツ情報の一例を示す図である。コンテンツは、例えば、ユーザU1が行うトレーニングの内容を含む動画である。
コンテンツ情報は、部位IDごとに複数の異なるコンテンツを含み得る。図の例では、部位IDが1の場合、コンテンツIDが「01_1」、「01_2」、・・・、「01_M」のコンテンツを含んでいる。なお、Mは1以上の整数である。例えば、Mは1~100で可変に設定され得る。
例えば、トレーニング部116は、該当するコンテンツIDに対応付けられた複数のコンテンツの中から、1つのコンテンツをランダムに選択する。トレーニング部116は、ユーザU1のバレー徴候の有無、徴候のレベル、年齢や性別などの属性、又はトレーニング履歴などに応じてコンテンツを選択してもよい。または、トレーニング部116は、ユーザU1の入力を受け付けてコンテンツを選択してもよい。
コンテンツを選択すると、トレーニング動画再生画面518(図9を参照)に遷移する。トレーニング部116は、選択されたコンテンツを再生する。再度トレーニングを行う場合には、トレーニングボタン519を押下するとG-3へ戻り、ホームボタン520を選択するとホーム画面503へ遷移する。処理ブロックGは完了する。
G-3-ii-1.APL制御部111は、トレーニング部116へ「おすすめトレーニング実行依頼」を送信する。
G-3-ii-2.トレーニング部116は、判定結果管理部124に格納されたリスク判定結果を参照し、上肢リスク又は下肢リスク内の判定値が1となる項目を検索する。
図25は、リスク判定結果の一例を示す図である。トレーニング部116は、検索結果に応じて以下のようにしてコンテンツを選択する。
(a)上肢リスクが全て0であり、かつ、下肢リスクも全て0である場合、トレーニング部116は、コンテンツIDが「01_01」~「N_M」の中からランダムにコンテンツを選択する。また、トレーニング部116は、上肢リスクのいずれかに1が含まれており、かつ、下肢リスクのいずれかに1が含まれている場合についても、上記と同様、コンテンツIDが「01_01」~「N_M」の中からランダムにコンテンツを選択する。処理はG-3-ii-3へ遷移する。なお、Nは1以上の整数である。例えば、Nは初期値を8とし、Mは初期値3とする。N及びMは適宜変更され得る。
(b)上肢リスクが全て0であり、かつ、下肢リスクのいずれかに1が含まれている場合、トレーニング部116は、腰から下の部位に対応するコンテンツを選択する。例えば、トレーニング部116は、部位05~08のコンテンツ(コンテンツID:「05_01」~「N_M」)からランダムに選択する。処理はG-3-ii-3へ遷移する。
(c)上肢リスクのいずれかに1が含まれており、かつ、下肢リスクが全て0である場合、トレーニング部116は、首から腰までの部位に対応するコンテンツを選択する。例えば、トレーニング部116は、部位01~05のコンテンツ(コンテンツID:「01_01」~「05_M」)中のトレーニング動画からランダムに選択する。処理はG-3-ii-3へ遷移する。
G-3-ii-3.トレーニング動画再生画面518に遷移し、該当するトレーニング動画が再生される。再度トレーニングする場合には、トレーニングボタン519を押下するとG-3へ戻り、ホームボタン520を選択するとホーム画面503へ遷移する。処理ブロックGは完了する。
以上説明したように、本実施形態にかかる検査システム100によれば、ユーザ端末10は、所定の動作を行うユーザの身体部位の位置を示す座標情報を取得し、座標情報に基づいてユーザの動作を分析する。また、ユーザ端末10は、分析結果に基づいて、身体部位に麻痺の徴候があるか否かを判定し、判定結果を通知する。
このような構成により、身体部位の運動障害に関する検査を適切に行い、検査結果を他の装置に通知することができる。これにより、検査システム100は、日常生活の動作における見守りで検出することができないバレー徴候を適切に検出し、対処することができる。ユーザは、医療機関やリハビリ施設での専門家による診察を受けることなく、日常生活の中で実施可能な簡単な運動テストにより、上下肢バレー徴候を検出できる。少子高齢化が進む社会において、患者及び患者を見守る家族の通院に対する負荷、及び医療機関側の負荷を軽減することが可能となる。
また、本実施形態にかかる検査システム100は、検査結果に応じたトレーニング機能を備えている。ユーザは、トレーニング効果による検査結果の身体動作からの微細な効果を確認できる。これにより、明確なアウトカム効果を確認することができる。
さらに、検査システム100は、バレー徴候のリスクを検出した際に、医療関係者及び家族へリアルタイムに通知することができる。これにより、患者自身が連絡できない場合であっても、迅速に通知を行うことができる。そのため、検査中及び検査後の突発的な症状侵攻による健康状態悪化により患者本人が医療機関へ連絡することができない場合であっても、医療機関側でリスクを把握して迅速に対することができる。または、家族が異変に気付いて医療機関等と連携して迅速に対処することができる。
また、本実施形態にかかる検査システム100では、検査時における動作模倣用アニメーションの表示、自分自身の映像のモニタリング、手などをかざす目安となる位置のグレー表示、又は高さを合わせる位置の可視化が可能である。これにより、高齢の患者でも容易に自己検査を行うことができる。
そして、本実施形態にかかる検査システム100では、単にリスクアラートとなる閾値を超えたことを把握するのみならず、リスク徴候が動作として出始めていることを経過観察することができる。
そのため、医療関係機関システム又は家族が使用するスマートフォンなどのデバイスに導入するバレー徴候管理アプリケーションにて、リスクアラートとして通知する閾値を設定可能とする。これにより、例えば、次に示すような悪化前の初期バレー徴候を把握することができる。
・両腕を伸ばして左右同じ高さに挙上して静止を促すも片方の腕が少しだけ無意識に下がる徴候(大きく下がるまでには至っていない)
・手の平を上に向けたまま静止できずに少しだけ回内運動が生じる状態(手の甲が完全に上を向けるまでには至っていない)
・うつ伏せで両膝関節が接しないように直角に曲げて保持した状態から、少しだけ両膝関節が落下する(完全に落下するまでには至らない)
・両腕を伸ばして左右同じ高さに挙上して静止を促すも片方の腕が少しだけ無意識に下がる徴候(大きく下がるまでには至っていない)
・手の平を上に向けたまま静止できずに少しだけ回内運動が生じる状態(手の甲が完全に上を向けるまでには至っていない)
・うつ伏せで両膝関節が接しないように直角に曲げて保持した状態から、少しだけ両膝関節が落下する(完全に落下するまでには至らない)
<ハードウエアの構成例>
サーバ20、ユーザ端末10、及び医療機関システム40の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、サーバ20等の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
サーバ20、ユーザ端末10、及び医療機関システム40の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、サーバ20等の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図26は、サーバ20等を実現するコンピュータ900のハードウエア構成を例示するブロック図である。コンピュータ900は、サーバ20等を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ900は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよい。
例えば、コンピュータ900に対して所定のアプリケーションをインストールすることにより、コンピュータ900で、サーバ20等の各機能が実現される。上記アプリケーションは、サーバ20等の機能構成部を実現するためのプログラムで構成される。
コンピュータ900は、バス902、プロセッサ904、メモリ906、ストレージデバイス908、入出力インタフェース910、及びネットワークインタフェース912を有する。バス902は、プロセッサ904、メモリ906、ストレージデバイス908、入出力インタフェース910、及びネットワークインタフェース912が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ904などを互いに接続する方法は、バス接続に限定されない。
プロセッサ904は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ906は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス908は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
入出力インタフェース910は、コンピュータ900と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース910には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
ネットワークインタフェース912は、コンピュータ900をネットワークに接続するためのインタフェースである。このネットワークは、LAN(Local Area Network)であってもよいし、WAN(Wide Area Network)であってもよい。
ストレージデバイス908は、サーバ20等の各機能構成部を実現するプログラム(前述したアプリケーションを実現するプログラム)を記憶している。プロセッサ904は、このプログラムをメモリ906に読み出して実行することで、サーバ20等の各機能構成部を実現する。
プロセッサの各々は、アルゴリズムをコンピュータに行わせるための命令群を含む1又はそれ以上のプログラムを実行する。このプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
なお、本開示は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の説明では、各種処理をユーザ端末10、サーバ20、及び医療機関システム40に分散して行ったが、これに限られない。例えば、ユーザ端末10、サーバ20、及び医療機関システム40のいずれかが、各種処理を全て行うように構成されてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
身体部位の運動障害に関する検査を行う検査装置であって、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得する取得手段と、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を備える
検査装置。
(付記2)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記1に記載の検査装置。
(付記3)
前記分析手段は、所定時間における前記ユーザの手首位置の変化、腕の回内動作、及び足首位置の変化の少なくともいずれかを算出し、
前記判定手段は、算出結果に基づいて、前記身体部位の麻痺を示すバレー徴候があるか否かを判定する
付記1又は2に記載の検査装置。
(付記4)
前記分析手段は、前記徴候が検出される可能性を示すリスクレベルを算出し、
前記判定手段は、前記リスクレベルが所定以上である場合に前記徴候があると判定する
付記1~3のいずれか1項に記載の検査装置。
(付記5)
前記所定の動作を行うための案内画像を表示する表示手段をさらに備える
付記1~4のいずれか1項に記載の検査装置。
(付記6)
前記案内画像は、前記身体部位を所定の位置に誘導するための誘導画像を含む
付記5に記載の検査装置。
(付記7)
前記誘導画像は、前記ユーザを撮影した撮影画像と重畳的に表示される
付記6に記載の検査装置。
(付記8)
前記ユーザの生体情報に基づいて認証を行う認証手段をさらに備え、
前記取得手段は、前記認証の成功に応じて前記座標情報を取得する
付記1~7のいずれか1項に記載の検査装置。
(付記9)
前記座標情報の推移を示す画像情報を生成する生成手段をさらに備える
付記1~8のいずれか1項に記載の検査装置。
(付記10)
判定結果に応じて選択された、前記身体部位のトレーニングに関するコンテンツを再生する再生手段をさらに備える
付記1~9のいずれか1項に記載の検査装置。
(付記11)
身体部位の運動障害に関する検査を行う検査システムであって、
ユーザが使用するユーザ端末と、
サーバと、を備え、
前記ユーザ端末は、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得して前記サーバに送信し、
前記サーバは、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を有する
検査システム。
(付記12)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記11に記載の検査システム。
(付記13)
身体部位の運動障害に関する検査を行う検査装置が実行する検査方法であって、
コンピュータが、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
検査方法。
(付記14)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記13に記載の検査方法。
(付記15)
身体部位の運動障害に関する検査を行う検査システムが実行する検査方法であって、
ユーザが使用するユーザ端末のコンピュータが、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得してサーバに送信し、
前記サーバのコンピュータが、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
検査方法。
(付記16)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記15に記載の検査方法。
(付記17)
身体部位の運動障害に関する検査を行う検査装置が実行する検査方法をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体であって、
前記検査方法は、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
非一時的なコンピュータ可読媒体。
(付記18)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記17に記載の非一時的なコンピュータ可読媒体。
身体部位の運動障害に関する検査を行う検査装置であって、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得する取得手段と、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を備える
検査装置。
(付記2)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記1に記載の検査装置。
(付記3)
前記分析手段は、所定時間における前記ユーザの手首位置の変化、腕の回内動作、及び足首位置の変化の少なくともいずれかを算出し、
前記判定手段は、算出結果に基づいて、前記身体部位の麻痺を示すバレー徴候があるか否かを判定する
付記1又は2に記載の検査装置。
(付記4)
前記分析手段は、前記徴候が検出される可能性を示すリスクレベルを算出し、
前記判定手段は、前記リスクレベルが所定以上である場合に前記徴候があると判定する
付記1~3のいずれか1項に記載の検査装置。
(付記5)
前記所定の動作を行うための案内画像を表示する表示手段をさらに備える
付記1~4のいずれか1項に記載の検査装置。
(付記6)
前記案内画像は、前記身体部位を所定の位置に誘導するための誘導画像を含む
付記5に記載の検査装置。
(付記7)
前記誘導画像は、前記ユーザを撮影した撮影画像と重畳的に表示される
付記6に記載の検査装置。
(付記8)
前記ユーザの生体情報に基づいて認証を行う認証手段をさらに備え、
前記取得手段は、前記認証の成功に応じて前記座標情報を取得する
付記1~7のいずれか1項に記載の検査装置。
(付記9)
前記座標情報の推移を示す画像情報を生成する生成手段をさらに備える
付記1~8のいずれか1項に記載の検査装置。
(付記10)
判定結果に応じて選択された、前記身体部位のトレーニングに関するコンテンツを再生する再生手段をさらに備える
付記1~9のいずれか1項に記載の検査装置。
(付記11)
身体部位の運動障害に関する検査を行う検査システムであって、
ユーザが使用するユーザ端末と、
サーバと、を備え、
前記ユーザ端末は、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得して前記サーバに送信し、
前記サーバは、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を有する
検査システム。
(付記12)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記11に記載の検査システム。
(付記13)
身体部位の運動障害に関する検査を行う検査装置が実行する検査方法であって、
コンピュータが、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
検査方法。
(付記14)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記13に記載の検査方法。
(付記15)
身体部位の運動障害に関する検査を行う検査システムが実行する検査方法であって、
ユーザが使用するユーザ端末のコンピュータが、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得してサーバに送信し、
前記サーバのコンピュータが、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
検査方法。
(付記16)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記15に記載の検査方法。
(付記17)
身体部位の運動障害に関する検査を行う検査装置が実行する検査方法をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体であって、
前記検査方法は、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
非一時的なコンピュータ可読媒体。
(付記18)
前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
付記17に記載の非一時的なコンピュータ可読媒体。
1 検査装置
2 取得部
3 分析部
4 判定部
5 通知部
10 ユーザ端末
11 センシング制御部
19、29、49 IF部
20 サーバ
21 分析制御部
40 医療機関システム
41 管理制御部
100 検査システム
111 APL制御部
112 アップロード部
113 モーションセンシング部
114 カメラ制御部
115 ログイン管理部
116 トレーニング部
121 座標管理部
122 認証管理部
123 トレーニング管理部
124 判定結果管理部
211 APL制御部
212 分析部
213 判定部
214 通知部
221 座標管理部
222 分析結果管理部
223 閾値管理部
224 通知先管理部
301 ログイン画面
303 パスワード
304 ログインボタン
305 ホーム画面
306 アラート情報
307 閾値設定
308 ログアウトボタン
309 通知閾値設定画面
310 通知閾値
311 上肢設定変更値
312 下肢設定変更値
313 設定変更
314、509、512、517、520 ホームボタン
411 APL制御部
421 通知先管理部
501 認証画面
502 カメラ映像表示枠
503 ホーム画面
505 バレー徴候検査
506、516、519 トレーニングボタン
507 上肢検査開始画面
508 、521、5021 枠
510 上肢検査中画面
511 下肢検査開始画面
513 下肢検査中画面
514 検査終了画面
515 トレーニング画面
518 トレーニング動画再生画面
522、523 アニメーション
900 コンピュータ
902 バス
904 プロセッサ
906 メモリ
908 ストレージデバイス
910 入出力インタフェース
912 ネットワークインタフェース
5081 目安位置(誘導画像)
5211 破線(誘導画像)
12、22、42 情報管理DB
A~G 処理ブロック
N ネットワーク
RA 右足首
RF 右前腕
RH 右手(指先)
RT 右手親指
RW 右手首
LA 左足首
LF 左前腕
LH 左手(指先)
LT 左手親指
LW 左手首
Th1、Th2 閾値
U1、U2 ユーザ
V、VRW_t、・・・、VLA_t アラート値
W、WRW、・・・、WLA リスク判定結果
01~08 部位
2 取得部
3 分析部
4 判定部
5 通知部
10 ユーザ端末
11 センシング制御部
19、29、49 IF部
20 サーバ
21 分析制御部
40 医療機関システム
41 管理制御部
100 検査システム
111 APL制御部
112 アップロード部
113 モーションセンシング部
114 カメラ制御部
115 ログイン管理部
116 トレーニング部
121 座標管理部
122 認証管理部
123 トレーニング管理部
124 判定結果管理部
211 APL制御部
212 分析部
213 判定部
214 通知部
221 座標管理部
222 分析結果管理部
223 閾値管理部
224 通知先管理部
301 ログイン画面
303 パスワード
304 ログインボタン
305 ホーム画面
306 アラート情報
307 閾値設定
308 ログアウトボタン
309 通知閾値設定画面
310 通知閾値
311 上肢設定変更値
312 下肢設定変更値
313 設定変更
314、509、512、517、520 ホームボタン
411 APL制御部
421 通知先管理部
501 認証画面
502 カメラ映像表示枠
503 ホーム画面
505 バレー徴候検査
506、516、519 トレーニングボタン
507 上肢検査開始画面
508 、521、5021 枠
510 上肢検査中画面
511 下肢検査開始画面
513 下肢検査中画面
514 検査終了画面
515 トレーニング画面
518 トレーニング動画再生画面
522、523 アニメーション
900 コンピュータ
902 バス
904 プロセッサ
906 メモリ
908 ストレージデバイス
910 入出力インタフェース
912 ネットワークインタフェース
5081 目安位置(誘導画像)
5211 破線(誘導画像)
12、22、42 情報管理DB
A~G 処理ブロック
N ネットワーク
RA 右足首
RF 右前腕
RH 右手(指先)
RT 右手親指
RW 右手首
LA 左足首
LF 左前腕
LH 左手(指先)
LT 左手親指
LW 左手首
Th1、Th2 閾値
U1、U2 ユーザ
V、VRW_t、・・・、VLA_t アラート値
W、WRW、・・・、WLA リスク判定結果
01~08 部位
Claims (18)
- 身体部位の運動障害に関する検査を行う検査装置であって、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得する取得手段と、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を備える
検査装置。 - 前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
請求項1に記載の検査装置。 - 前記分析手段は、所定時間における前記ユーザの手首位置の変化、腕の回内動作、及び足首位置の変化の少なくともいずれかを算出し、
前記判定手段は、算出結果に基づいて、前記身体部位の麻痺を示すバレー徴候があるか否かを判定する
請求項1又は2に記載の検査装置。 - 前記分析手段は、前記徴候が検出される可能性を示すリスクレベルを算出し、
前記判定手段は、前記リスクレベルが所定以上である場合に前記徴候があると判定する
請求項1~3のいずれか1項に記載の検査装置。 - 前記所定の動作を行うための案内画像を表示する表示手段をさらに備える
請求項1~4のいずれか1項に記載の検査装置。 - 前記案内画像は、前記身体部位を所定の位置に誘導するための誘導画像を含む
請求項5に記載の検査装置。 - 前記誘導画像は、前記ユーザを撮影した撮影画像と重畳的に表示される
請求項6に記載の検査装置。 - 前記ユーザの生体情報に基づいて認証を行う認証手段をさらに備え、
前記取得手段は、前記認証の成功に応じて前記座標情報を取得する
請求項1~7のいずれか1項に記載の検査装置。 - 前記座標情報の推移を示す画像情報を生成する生成手段をさらに備える
請求項1~8のいずれか1項に記載の検査装置。 - 判定結果に応じて選択された、前記身体部位のトレーニングに関するコンテンツを再生する再生手段をさらに備える
請求項1~9のいずれか1項に記載の検査装置。 - 身体部位の運動障害に関する検査を行う検査システムであって、
ユーザが使用するユーザ端末と、
サーバと、を備え、
前記ユーザ端末は、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得して前記サーバに送信し、
前記サーバは、
前記座標情報に基づいて前記ユーザの動作を分析する分析手段と、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定する判定手段と、
判定結果を通知する通知手段と、を有する
検査システム。 - 前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
請求項11に記載の検査システム。 - 身体部位の運動障害に関する検査を行う検査装置が実行する検査方法であって、
コンピュータが、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
検査方法。 - 前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
請求項13に記載の検査方法。 - 身体部位の運動障害に関する検査を行う検査システムが実行する検査方法であって、
ユーザが使用するユーザ端末のコンピュータが、
所定の動作を行う前記ユーザの前記身体部位の位置を示す座標情報を取得してサーバに送信し、
前記サーバのコンピュータが、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
検査方法。 - 前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
請求項15に記載の検査方法。 - 身体部位の運動障害に関する検査を行う検査装置が実行する検査方法をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体であって、
前記検査方法は、
所定の動作を行うユーザの前記身体部位の位置を示す座標情報を取得し、
前記座標情報に基づいて前記ユーザの動作を分析し、
分析結果に基づいて、前記身体部位に前記運動障害の徴候があるか否かを判定し、
判定結果を通知する
非一時的なコンピュータ可読媒体。 - 前記座標情報は、前記身体部位の骨格の位置を含み、
前記身体部位は、前記ユーザの指先、手首、及び足首の少なくともいずれかを含む
請求項17に記載の非一時的なコンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/032552 WO2024047738A1 (ja) | 2022-08-30 | 2022-08-30 | 検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/032552 WO2024047738A1 (ja) | 2022-08-30 | 2022-08-30 | 検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024047738A1 true WO2024047738A1 (ja) | 2024-03-07 |
Family
ID=90099162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/032552 WO2024047738A1 (ja) | 2022-08-30 | 2022-08-30 | 検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024047738A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006085262A (ja) * | 2004-09-14 | 2006-03-30 | Nagoya Institute Of Technology | 携帯型障害予測報知装置 |
JP2012183291A (ja) * | 2011-02-18 | 2012-09-27 | Aisin Seiki Co Ltd | 腰痛予防装置及び腰痛予防方法 |
WO2015037089A1 (ja) * | 2013-09-11 | 2015-03-19 | 日立コンシューマエレクトロニクス株式会社 | 脳機能障害評価方法、脳機能障害評価装置およびそのプログラム |
JP2019054988A (ja) * | 2017-09-21 | 2019-04-11 | 恭太 青木 | 協調運動評価方法及びプログラム |
WO2022071427A1 (ja) * | 2020-09-29 | 2022-04-07 | 田辺三菱製薬株式会社 | 神経筋疾患評価システム |
-
2022
- 2022-08-30 WO PCT/JP2022/032552 patent/WO2024047738A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006085262A (ja) * | 2004-09-14 | 2006-03-30 | Nagoya Institute Of Technology | 携帯型障害予測報知装置 |
JP2012183291A (ja) * | 2011-02-18 | 2012-09-27 | Aisin Seiki Co Ltd | 腰痛予防装置及び腰痛予防方法 |
WO2015037089A1 (ja) * | 2013-09-11 | 2015-03-19 | 日立コンシューマエレクトロニクス株式会社 | 脳機能障害評価方法、脳機能障害評価装置およびそのプログラム |
JP2019054988A (ja) * | 2017-09-21 | 2019-04-11 | 恭太 青木 | 協調運動評価方法及びプログラム |
WO2022071427A1 (ja) * | 2020-09-29 | 2022-04-07 | 田辺三菱製薬株式会社 | 神経筋疾患評価システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2683728C (en) | Vision cognition and coordination testing and training | |
KR101811888B1 (ko) | 연상 능력 검사 및/또는 훈련 | |
US20150327794A1 (en) | System and method for detecting and visualizing live kinetic and kinematic data for the musculoskeletal system | |
US10709328B2 (en) | Main module, system and method for self-examination of a user's eye | |
CN108289613A (zh) | 用于生理监测的***、方法和计算机程序产品 | |
Melero et al. | Upbeat: Augmented Reality‐Guided Dancing for Prosthetic Rehabilitation of Upper Limb Amputees | |
US20200401214A1 (en) | Systems for monitoring and assessing performance in virtual or augmented reality | |
Hsiao et al. | The Digital Box and Block Test Automating traditional post-stroke rehabilitation assessment | |
JP6269377B2 (ja) | 診断支援装置および診断支援方法 | |
WO2016001796A1 (en) | Eye condition determination system | |
Rahman | Multimedia environment toward analyzing and visualizing live kinematic data for children with hemiplegia | |
JP2016080752A (ja) | 医療行為訓練適切度評価装置 | |
US12009083B2 (en) | Remote physical therapy and assessment of patients | |
US20180042543A1 (en) | Application for screening vestibular functions with cots components | |
KR101647883B1 (ko) | 액션 트레머 진단을 위한 손 떨림 측정 장치 및 방법 | |
JP2015089412A (ja) | リハビリ支援画像生成装置、リハビリ支援システム及びプログラム | |
WO2024047738A1 (ja) | 検査装置、検査システム、検査方法、及び非一時的なコンピュータ可読媒体 | |
Aldenhoven et al. | mBalance: Detect Postural Imbalance with Mobile Devices | |
JP6330638B2 (ja) | トレーニング支援装置およびプログラム | |
KR20190066429A (ko) | 가상 현실 콘텐츠의 시청 피로도 예측 모델에 관한 모니터링 장치 및 방법 | |
TWI699669B (zh) | 混合實境式動作功能評估系統 | |
TWI615174B (zh) | 屈膝仰臥起坐檢測器系統及其方法 | |
JP2015097004A (ja) | 診察支援装置及び診察支援方法 | |
Pistoia et al. | Integrated ICT system for the implementation of rehabilitation therapy for Alzheimer’s patients and for the improvement of quality and efficiency in managing their health: the rehab-dem project | |
JP2019195349A (ja) | うつ状態検知方法、及びうつ状態検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22957341 Country of ref document: EP Kind code of ref document: A1 |