WO2022065386A1 - 思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、コンピュータプログラム、および推論モデル - Google Patents

思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、コンピュータプログラム、および推論モデル Download PDF

Info

Publication number
WO2022065386A1
WO2022065386A1 PCT/JP2021/034867 JP2021034867W WO2022065386A1 WO 2022065386 A1 WO2022065386 A1 WO 2022065386A1 JP 2021034867 W JP2021034867 W JP 2021034867W WO 2022065386 A1 WO2022065386 A1 WO 2022065386A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
thought
inference model
inference
reaction
Prior art date
Application number
PCT/JP2021/034867
Other languages
English (en)
French (fr)
Inventor
知則 苅田
Original Assignee
国立大学法人愛媛大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人愛媛大学 filed Critical 国立大学法人愛媛大学
Priority to JP2022552045A priority Critical patent/JPWO2022065386A5/ja
Publication of WO2022065386A1 publication Critical patent/WO2022065386A1/ja
Priority to US18/178,922 priority patent/US20230206097A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a technique for inferring thoughts such as the desires of people who have difficulty speaking.
  • Electrical appliances such as air conditioners, televisions, lighting fixtures, and microwave ovens that are controlled according to the voice of the user are widespread. Electrical appliances that can handle only a limited number of commands were already widespread at the end of the 20th century, but in recent years, AI (Artificial Intelligence), IoT (Internet of Things), and ICT (Information and Communications Technology) technologies have become widespread. As a result, electrical appliances that can be controlled by the user by voice more humanly or interactively are becoming widespread. Electrical appliances that can be controlled by voice using these technologies are called “smart home appliances,” “IoT home appliances,” or "AI home appliances.”
  • smart speakers use AI, IoT, and ICT technologies to search for and present information based on the user's voice and control electrical appliances.
  • Mobile devices such as smartphones, tablet computers, and smartwatches also have such capabilities.
  • ICT devices such smart home appliances, smart speakers, and mobile devices.
  • the user can use the ICT device more humanly or interactively. Therefore, since the ICT device is easier to use for the physically handicapped person than the conventional device, the QOL (Quality of Life) of the physically handicapped person can be improved.
  • an ICT device has been used through a caregiver such as a family member or a medical person.
  • the conversation assisting terminal described in Patent Document 1 has an input device and a display device, and when a display image displayed on the display device is selected, a message corresponding to the selected display image is output by voice. do.
  • the user can utter a message on his behalf by selecting a display image.
  • the ICT device can hear the voice.
  • a display image must be selected, so that a child with severe physical and mental disabilities or a patient with dementia may be difficult to use without the assistance of a caregiver. In other words, there is a burden on the caregiver.
  • the thought reasoning system has a first condition when there is a first reaction of the body of a person who has difficulty speaking, and a first condition which the person who has difficulty speaking has when there is the first reaction.
  • the data set acquisition means for acquiring a plurality of sets of data sets showing the thoughts of the above and the first condition shown in each of the plurality of sets of the data sets are used as explanatory variables and the first thought is used as an objective variable.
  • the second It By inputting an inference model generation means that generates an inference model by performing machine learning using the inference model and input data indicating the second condition when there is a second reaction into the inference model, the second It has an inference means for inferring the second thought when there is a reaction of the above, and an output means for outputting the second thought.
  • the present invention it is possible to reduce the burden on the caregiver when a child with severe physical and mental disabilities or a patient with dementia uses the ICT device as compared with the conventional case.
  • FIG. 1 is a diagram showing an example of the overall configuration of the thought inference system 1.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the long-term care support server 2.
  • FIG. 3 is a diagram showing an example of the functional configuration of the long-term care support server 2.
  • FIG. 4 is a diagram showing an example of the hardware configuration of the caregiver terminal device 3.
  • FIG. 5 is a diagram showing an example of a functional configuration of the caregiver terminal device 3.
  • the thinking reasoning system 1 shown in FIG. 1 is a system that infers the thoughts or thoughts of the care recipient 81 by AI (Artificial Intelligence) and teaches the caregiver 82. For example, desires such as “want to go to school” or “want to watch TV”, “yes”, “no”, “here”, “that”, “don't know” for questions to the care recipient 81, etc.
  • AI Artificial Intelligence
  • the caregiver 82 is a family member or teacher of the care recipient 81, a veteran supporter, a qualified caregiver, or a medical worker.
  • the thought reasoning system 1 includes a care support server 2, a plurality of caregiver terminal devices 3, a plurality of video cameras 41, a plurality of indoor measuring instruments 42, a plurality of smart speakers 43, a plurality of biometric measuring devices 44, and a communication line 5. It is composed of such things.
  • the care support server 2 and each caregiver terminal device 3 can exchange data via the communication line 5.
  • the communication line 5 the Internet, a public line, or the like is used.
  • the care support server 2 generates an inference model by machine learning and infers the thought of the care recipient 81 based on the inference model.
  • a personal computer a workstation, a cloud server, or the like is used.
  • a personal computer is used as the long-term care support server 2 will be described as an example.
  • the care support server 2 includes a processor 20, a RAM (RandomAccessMemory) 21, a ROM (ReadOnlyMemory) 22, an auxiliary storage device 23, a network adapter 24, a keyboard 25, a pointing device 26, and a display. It is composed of 27 and the like.
  • the ROM 22 or the auxiliary storage device 23 stores a computer program such as an inference service program 2P in addition to the operating system.
  • the inference service program 2P is a program for realizing the functions of the learning unit 201, the inference model storage unit 202, the inference unit 203, and the like shown in FIG.
  • a hard disk, SSD (Solid State Drive), or the like is used as the auxiliary storage device 23 .
  • RAM 21 is the main memory of the long-term care support server 2.
  • a computer program such as the inference service program 2P is appropriately loaded in the RAM 21.
  • the processor 20 executes a computer program loaded in the RAM 21.
  • a GPU Graphics Processing Unit
  • a CPU Central Processing Unit
  • the network adapter 24 communicates with a device such as a caregiver terminal device 3 or a web server by a protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
  • a protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
  • NIC Network Interface Card
  • Wi-Fi Wireless Fidelity
  • the keyboard 25 and the pointing device 26 are input devices for the operator to input commands or data.
  • the display 27 displays a screen for inputting a command or data, a screen showing the result of calculation by the processor 20, and the like.
  • the caregiver terminal device 3 is used to provide data for machine learning to the care support server 2, request inference, and receive the inference result from the care support server 2.
  • a tablet computer, a smartphone, a personal computer, or the like is used as the caregiver terminal device 3. It is desirable that one caregiver terminal device 3 is distributed to each caregiver 82, but one caregiver terminal device 3 may be shared by a plurality of caregivers 82.
  • a case where a tablet computer is used as the caregiver terminal device 3 and one caregiver terminal device 3 is distributed for each caregiver 82 will be described as an example.
  • the caregiver terminal device 3 includes a processor 30, a RAM 31, a ROM 32, a flash memory 33, a touch panel display 34, a network adapter 35, a short-range wireless board 36, a video camera 37, a wired input / output board 38, and the like. And the voice processing unit 39 and the like.
  • the ROM 32 or the flash memory 33 stores a computer program such as a client program 3P in addition to the operating system.
  • the client program 3P is a program for realizing the functions of the data providing unit 301 and the client unit 302 shown in FIG.
  • the client program 3P is downloaded from the application server on the Internet to the caregiver terminal device 3 and installed in the flash memory 33 by the installer.
  • the installer may be downloaded from the application server together with the client program 3P, or may be prepared in advance in the ROM 32 or the flash memory 33.
  • the RAM 31 is the main memory of the caregiver terminal device 3.
  • a computer program such as a client program 3P is appropriately loaded in the RAM 31.
  • the processor 30 executes a computer program loaded in the RAM 31.
  • the touch panel display 34 is composed of a touch panel for the caregiver 82 to input commands or data, a display for displaying a screen, and the like.
  • the network adapter 35 communicates with another device such as the long-term care support server 2 by a protocol such as TCP / IP.
  • a protocol such as TCP / IP.
  • a communication device for Wi-Fi is used as the network adapter 35.
  • the short-range wireless board 36 communicates with a device within a few meters from the caregiver terminal device 3. In particular, in this embodiment, it communicates with the video camera 41, the indoor measuring device 42, and the biometric measuring device 44. As the short-range wireless board 36, a communication device for Bluetooth is used.
  • the video camera 37 captures a moving image and generates moving image data. In particular, in this embodiment, it is used to generate moving image data of the care recipient 81.
  • the wired input / output board 38 is a device that communicates with peripheral devices by wire.
  • the wired input / output board 38 is provided with a connection port, and peripheral devices can be connected to the connection port via a cable or directly.
  • As the wired input / output board 38 for example, a USB (Universal Serial Bus) standard input / output device is used.
  • the voice processing unit 39 is composed of a voice processing device, a microphone, a speaker, and the like.
  • the voice captured by the microphone is encoded into voice data by the voice processing device, the voice data transmitted from other devices is decoded into voice by the voice processing device, and the voice is reproduced by the speaker.
  • the video camera 41 is used to photograph the care recipient 81.
  • the video camera 41 is further equipped with a microphone and a voice processing device, and can also capture voice and generate voice data.
  • a commercially available small video camera having Bluetooth, Wi-Fi, or USB communication function and sound collection function is used.
  • one video camera 41 is assigned to each care recipient 81 and the care recipient 81 is arranged in advance so as to be within the shooting range.
  • the sound may be collected by taking a picture with the microphone of the video camera 37 of the caregiver terminal device 3 and the voice processing unit 39.
  • the caregiver terminal device 3 may be used instead of the video camera 41 to collect sound.
  • the sound is collected by shooting with the video camera 41 will be described as an example.
  • the indoor measuring instrument 42 measures the state in the room where the care recipient 81 is located. Specifically, the temperature, humidity, atmospheric pressure, illuminance, UV (ultraviolet) amount, pollen amount and the like in the room are measured.
  • a commercially available small measuring instrument for environmental measurement having a Bluetooth, Wi-Fi, or USB communication function is used as the indoor measuring instrument 42.
  • a device in which a plurality of commercially available sensors are combined may be used as the indoor measuring instrument 42.
  • a device combining various sensors such as a temperature / humidity sensor, a barometric pressure sensor, an illuminance sensor, and a UV sensor manufactured by Alps Alpine may be used.
  • the amount of pollen is the amount of pollen per unit volume.
  • the indoor measuring instrument 42 is installed in each room where the care recipient 81 is located. When there are a plurality of care recipients 81 in one room, only one indoor measuring instrument 42 may be installed in the room and shared, or one indoor measuring instrument 42 may be installed in the vicinity of each person. You may. Further, when going out, the care recipient 81 or the caregiver 82 may carry the indoor measuring device 42.
  • the smart speaker 43 recognizes voice and executes tasks such as information retrieval or control of electric appliances based on the recognition result. In this embodiment, these tasks are performed specifically for the care recipient 81.
  • a commercially available smart speaker having a Bluetooth, Wi-Fi, or USB communication function is used as the smart speaker 43.
  • the biometric measuring device 44 measures biometric information such as heart rate, pulse wave, blood oxygen concentration, blood pressure, electrocardiographic potential, body temperature, myoelectric potential, and sweating amount of the care recipient 81.
  • biometric device 44 a device having a Bluetooth, Wi-Fi, or USB communication function and a biometric information measurement function, for example, a general-purpose wearable terminal such as Apple Watch of Apple Inc., a wearable terminal with a health function, and the like. Alternatively, a wearable terminal for medical use is used.
  • the thoughts of the care recipient 81 can be inferred by the functions shown in FIGS. 3 and 5, respectively. Hereinafter, these functions will be described.
  • FIG. 6 is a diagram showing an example of the thought input screen 71.
  • FIG. 7 is a diagram showing an example of the option list 712.
  • FIG. 8 is a diagram showing an example of raw data 61.
  • FIG. 9 is a diagram showing an example of the data set 62.
  • FIG. 10 is a diagram showing an example of the classification tables 69A and 69B.
  • the operator of the long-term care support server 2 must collect a lot of data about the care recipient 81 in order to cause the long-term care support server 2 to perform machine learning and generate an inference model. Therefore, the data is collected with the cooperation of the caregiver 82, with the care recipient 81 as the target of data sampling.
  • Each care recipient 81 (81a, 81b, ...) Is given one unique user code in advance.
  • One inference model may be shared by a plurality of care recipients 81, but in order to generate a highly accurate inference model with a small amount of data, a dedicated inference model is generated for each one care recipient 81. Is desirable.
  • the data collection method will be described by taking as an example the case where data for generating an inference model dedicated to the care recipient 81a is collected when the care recipient 81a is being cared for by the caregiver 82a.
  • the caregiver 82a activates the client program 3P in advance on his / her caregiver terminal device 3 and sets the mode to the data collection mode. Then, the data providing unit 301 (see FIG. 5) becomes active.
  • the data providing unit 301 is composed of a moving image data extraction unit 30A, an environmental data acquisition unit 30B, a biological data acquisition unit 30C, a thought data generation unit 30D, and a raw data transmission unit 30E.
  • the care recipient 81a wants to convey a thought such as his / her desire, he / she moves his / her hand according to the thought. Then, the video camera 41 installed in the vicinity of the care recipient 81a captures the movement of the care recipient 81a and collects the sound around the care recipient 81a. When the care recipient 81a utters during the operation, the collected voice includes the voice of the care recipient 81a. Then, the moving image of the captured motion and the moving image sound data 601 of the collected sound are output from the video camera 41 and input to the caregiver terminal device 3 of the caregiver 82a. MP4, MOV, or the like is used as the format of the moving image / audio data 601.
  • the moving image data extraction unit 30A extracts the data of the moving image portion from the moving image audio data 601 as the moving image data 611. That is, the data of the audio part is cut.
  • the environmental data acquisition unit 30B performs a process of acquiring data related to the environment around the care recipient 81a as follows.
  • the environmental data acquisition unit 30B instructs the indoor measuring device 42 in the vicinity of the care recipient 81a to measure the current temperature and the like.
  • the indoor measuring device 42 measures the temperature, humidity, atmospheric pressure, illuminance, UV amount, pollen amount, etc., and transmits the spatial condition data 612 showing the measurement result to the caregiver terminal device 3.
  • the environmental data acquisition unit 30B accesses the API (Application Program Interface) of the website that sends information about the weather, for example, the OpenWeatherMap API via the Internet, and the current weather in the area where the care recipient 81a is currently located,
  • the API Application Program Interface
  • meteorological data 613 showing information such as the maximum temperature, minimum temperature, and sunshine time of the day in the area is acquired.
  • the maximum temperature, minimum temperature, and sunshine duration may be actually observed or predicted.
  • the sunshine hours may be calculated by the environmental data acquisition unit 30B from the times of sunrise and sunset.
  • the environmental data acquisition unit 30B acquires the current location data 614 indicating the current location of the care recipient 81a.
  • the latitude and longitude of the caregiver terminal device 3 itself are shown as the latitude and longitude of the current location of the care recipient 81a.
  • the latitude and longitude can be acquired by the GPS (Global Positioning System) function of the caregiver terminal device 3 itself.
  • the current location data 614 shows the position attribute of the care recipient 81a.
  • the "position attribute” of the care recipient 81a is an attribute of the facility in which the care recipient 81a is currently located. Examples of such attributes include “home”, “classroom”, “dining room”, “toilet”, “workplace”, “convenience store”, “hospital”, or “park”.
  • the position attribute may be acquired by the following method.
  • a table in which latitude and longitude are associated with attributes is prepared in advance in the client program 3P for each facility. Then, the environment data acquisition unit 30B collates the latitude and longitude acquired by the GPS function with the table, and acquires the attribute matching the latitude and longitude as the position attribute of the care recipient 81a.
  • an oscillator that emits a radio wave indicating a unique identifier is installed in advance for each facility, and a table in which the identifier and the attribute are associated is prepared in advance in the client program 3P. Then, the environmental data acquisition unit 30B collates the identifier shown in the radio wave received by the short-range wireless board 36 with the table, and acquires the attribute matching this identifier as the position attribute of the care recipient 81a.
  • an oscillator for example, an iBeacon oscillator is used. iBeacon is a registered trademark.
  • the environment data acquisition unit 30B acquires the time data 615 indicating the current time from the SNMP (Simple Network Time Protocol) server.
  • the time data 615 may be acquired from the OS (Operating System) of the caregiver terminal device 3 itself or the clock. It can be said that this time is the time when there was a desire expression reaction.
  • the biometric data acquisition unit 30C performs the process for acquiring the current biometric information of the care recipient 81a as follows.
  • the biometric data acquisition unit 30C instructs the biometric measuring device 44 of the care recipient 81a to measure the current biometric information.
  • the biometric device 44 of the care recipient 81a measures biometric information such as heartbeat, pulse wave, blood oxygen concentration, blood pressure, body temperature, myoelectric potential, sweating amount, and electrocardiographic potential, and biometric data showing the measurement result. 616 is transmitted to the caregiver terminal device 3.
  • the thought data generation unit 30D generates thought data 617 that indicates the thought that the care recipient 81a wants to convey as a correct thought, for example, as follows.
  • the thought data generation unit 30D displays the thought input screen 71 as shown in FIG. 6 on the touch panel display 34.
  • a list box 711 is arranged on the thought input screen 71.
  • the caregiver 82a touches the list box 711, the thought data generation unit 30D arranges the option list 712 directly under the list box 711 as shown in FIG. 7.
  • the option list 712 shows character strings representing each of the various thoughts preselected by the researcher, developer, caregiver 82a, and the like.
  • the thoughts selected in advance are described as "thinking candidates". Due to the size limitation of the touch panel display 34, the entire part of the option list 712 cannot be displayed at the same time, but the caregiver 82a can see the option list 712 part by part by scrolling the option list 712.
  • the caregiver 82a matches or is closest to the thought that the caregiver 81a wants to convey from among these thought candidates, based on the caregiver 81a's behavior and current context (environment such as time, place, climate). Judge things. Then, while scrolling, annotating is performed by touching and selecting a thought candidate determined to match or is closest from the option list 712, and the completion button 713 is touched.
  • the thinking data generation unit 30D generates thinking data 617 showing the selected thinking candidate as the correct thinking.
  • the caregiver 82a may select after confirming with the care recipient 81a. If you know it, you may select it after confirming with the care recipient 81a just in case. If there is no suitable thinking candidate, the caregiver 82a adds the thought that the care recipient 81a wants to convey as a new thinking candidate, and the thinking data 617 showing the thinking candidate as the correct thinking is generated. Part 30D may be generated.
  • the caregiver 82a may utter a thought candidate that is determined to match or is closest to the thought that the care recipient 81a wants to convey. Then, the voice of the caregiver 82a is recorded in the moving image voice data 601. Therefore, the thought data generation unit 30D extracts the voice of the caregiver 82a from the moving image voice data 601 and determines the uttered thought candidate by the voice recognition function. Then, the thinking data 617 showing the determined thinking candidate as the correct thinking is generated. If the uttered content (thinking) does not correspond to any of the existing thinking candidates, the uttered thinking is added as a new thinking candidate, and the thinking data 617 showing the added thinking candidate as the correct thinking is generated. You may. Alternatively, AI may classify the uttered thoughts into any existing thought candidates, and generate data indicating the classified destination thought candidates as thought data 617.
  • the raw data transmission unit 30E maps the moving image data 611, the spatial situation data 612, the meteorological data 613, the current location data 614, the time data 615, the biometric data 616, and the thought data 617 in association with the user code of the care recipient 81a. It is transmitted to the care support server 2 as a set of raw data 61 such as 8.
  • the learning unit 201 is composed of an operation pattern determination unit 20A, a data set generation unit 20B, a data set storage unit 20C, a machine learning processing unit 20D, and an accuracy test unit 20E, as shown in FIG.
  • the process for generating the inference model is performed as follows.
  • the motion pattern determination unit 20A determines that the motion of the care recipient 81a appearing in the moving image shown in the moving image data 611 in the raw data 61. Which of the plurality of predefined patterns corresponds to is determined, for example, as follows.
  • the motion pattern determination unit 20A extracts the position of the hand from each frame of the motion image shown in the motion image audio data 601 and identifies the change in the position of the hand, that is, the locus. Then, it is determined that the pattern most similar to the specified locus among the plurality of patterns corresponds to the pattern of the current movement of the care recipient 81a.
  • the locus can be specified by a known technique.
  • the locus may be specified by Kinovea, which is motion analysis software.
  • the operation pattern determination unit 20A determines which pattern the locus specified from the moving image data 611 corresponds to by this classifier.
  • the plurality of predefined patterns are, for example, as follows. "One direction” is a pattern in which the hand is linearly moved from one position to another only once. A “circle” is a pattern in which you move your hand in a circular motion. The “reciprocating” is a pattern in which the hand is linearly reciprocated only once between one position and another. "Weak” is a pattern of moving hands to tremble. "Repetition” is a pattern in which the same motion is performed twice or more in succession. However, in order to distinguish it from “weak”, it is a condition corresponding to "repetition” that the hand moves by a certain distance or more (for example, 20 cm or more) in one motion. “Random” is a pattern in which the hand is moved irregularly, and is a pattern that does not correspond to any of the above five patterns.
  • the data set generation unit 20B generates the operation pattern data 618 indicating the determination result by the operation pattern determination unit 20A, that is, the determined pattern, and replaces the moving image data 611 of the raw data 61 with the generated operation pattern data 618. , Generate the data set 62 as shown in FIG. Then, the generated data set 62 is stored in the data set storage unit 20C in association with the user code of the care recipient 81a.
  • one set of the data set 62 is generated by performing the above processing and the work triggered by the operation of the care recipient 81a, and is stored in the data set storage unit 20C.
  • one set of data sets 62 is generated by the above processing and operation, and is stored in the data set storage unit 20C.
  • the other information is also classified into one of the plurality of classes and is shown in the data set 62. good.
  • the data set generation unit 20B may classify the temperature shown in the spatial situation data 612 into any of the five categories according to the category table 69A shown in FIG. 10 (A). Then, this temperature may be replaced with the classified classification. Alternatively, the classified division may be added to the spatial situation data 612.
  • the data set generation unit 20B calculates the discomfort index based on the temperature and humidity shown in the spatial condition data 612, and according to the classification table 69B shown in FIG. 10B, any one of the five classifications. It may be classified into. Then, the classified division may be added to the spatial situation data 612.
  • the data set generation unit 20B sets the time shown in the time data 615 according to the lifestyle of the care recipient 81a, such as “sleep time zone”, “wake-up time zone”, “breakfast time zone”, and “class time”.
  • the timetable prepared in advance, one of the time zones such as “zone”, “lunch time zone”, “rest time zone”, “free time zone”, “dinner time zone”, “bedtime zone”, etc. It may be classified based on. Then, this time may be replaced with the classified time zone. Alternatively, the classified time zone may be added to the time data 615.
  • a timetable may be prepared for each day of the week, and the time may be classified based on the timetable according to the day of the week when the time data 615 is acquired.
  • the data set generation unit 20B may calculate the temperature difference from the maximum temperature and the minimum temperature shown in the meteorological data 613 and add it to the meteorological data 613.
  • Each data set 62 is generated by the above processing and operation, and each of them is generated. It is stored in the data set storage unit 20C in association with the user code.
  • FIG. 10 is a diagram showing an example of the processing flow of the test of the inference model 68.
  • the machine learning processing unit 20D is based on these data sets 62.
  • an inference model of the care recipient 81 is generated.
  • an inference model of the care recipient 81a is generated will be described as an example.
  • the machine learning processing unit 20D reads the data set 62 associated with the user code of the care recipient 81a from the data set storage unit 20C.
  • a predetermined ratio (for example, 70%) of these data sets 62 is used as training data, and the rest (for example, 30%) is used as test data.
  • training data 6A the data set 62 used as training data
  • test data 6B the data set 62 used as test data
  • the machine learning processing unit 20D uses the thinking data 617 of the data constituting each of the learning data 6A as the objective variable (correct answer data, label), and the remaining data, that is, the spatial situation data 612, the meteorological data 613, the current location data 614,
  • the inference model 68 is generated based on a known machine learning algorithm.
  • an inference model 68 is generated by a machine learning algorithm such as SVM (Support Vector Machine), random forest, or deep learning.
  • SVM and BORUTA may be used to generate the inference model 68.
  • the accuracy test unit 20E tests the accuracy of the inference model 68 using the test data 6B. That is, as shown in FIG. 10, the spatial situation data 612, the meteorological data 613, the current location data 614, the time data 615, the biological data 616, and the operation pattern data 618 of a certain test data 6B are input to the inference model 68 as target data. Infers the thoughts that the care recipient wants to convey (# 801 and # 802). Specifically, any one of the various thought candidates described above is output as an inference result.
  • the inference model 68 is generated by deep learning, there is one output node for each thought candidate, so the thought candidate of the output node that outputs the largest value is the thought that the care recipient wants to convey. Infer. The same applies to the inference processing unit 20H described later.
  • the accuracy test unit 20E determines whether or not the inferred thought (think candidate) and the correct thought shown in the thought data 617 match (# 803). Similarly, the processes of steps # 801 to # 803 are executed for the other test data 6B.
  • the accuracy test unit 20E Authenticates the inference model 68 as passing, and stores it in the inference model storage unit 202 in association with the user code of the care recipient 81a. This completes the preparation for inferring the thought of the care recipient 81a.
  • the accuracy test unit 20E discards the inference model 68 and continues the collection of the data set 62.
  • one of the items constitutes each of the target data (spatial situation data 612, meteorological data 613, current location data 614, time data 615, biometric data 616, and motion pattern data 618).
  • the target data spatial situation data 612, meteorological data 613, current location data 614, time data 615, biometric data 616, and motion pattern data 618.
  • the inference model 68 of the care recipient 81 (81b, ...) Other than the care recipient 81a is also generated by the same method, is associated with each user code, and is stored in the inference model storage unit 202.
  • FIG. 12 is a diagram showing an example of raw data 63.
  • FIG. 13 is a diagram showing an example of the flow of inference processing.
  • FIG. 14 is a diagram showing an example of the inference result screen 72.
  • the inference unit 203 of the care support server 2 and the client unit 302 of the caregiver terminal device 3 allow the care recipient to be covered. It becomes possible to infer the thoughts of the caregiver 81.
  • the inference method will be described by taking as an example a case where the care recipient 81a is photographed by the video camera 41 and the care recipient 81a's thoughts are inferred while the care recipient 81a is being cared for by the caregiver 82a.
  • the caregiver 82a activates the client program 3P in advance on his / her caregiver terminal device 3 and sets the mode to the inference mode. Then, the client unit 302 becomes active. As shown in FIG. 5, the client unit 302 is composed of a moving image data extraction unit 30F, an environmental data acquisition unit 30G, a biological data acquisition unit 30H, a raw data transmission unit 30J, and an inference result output unit 30K.
  • the care recipient 81a When the care recipient 81a performs an action to convey thoughts to the caregiver 82a, the care recipient 81a moves due to the video camera 41 installed in the vicinity of the care recipient 81a, as in the case of data collection. At the same time as being photographed, the sound around the care recipient 81a is collected. As a result, moving image audio data 601 is generated. Then, the moving image / audio data 601 is output from the video camera 41 and input to the caregiver terminal device 3 of the caregiver 82a.
  • the video data extraction unit 30F, the environmental data acquisition unit 30G, and the biological data acquisition unit Processing is performed by 30H and the raw data transmission unit 30J as follows.
  • the moving image data extraction unit 30F extracts the data of the moving image portion from the moving image audio data 601 input this time as the moving image data 631. That is, the data of the audio portion is cut in the same manner as the moving image data extraction unit 30A of the data providing unit 301.
  • the environmental data acquisition unit 30G acquires the next data by the same method as the processing method by the environmental data acquisition unit 30B.
  • spatial condition data 632 showing the current temperature, humidity, atmospheric pressure, illuminance, UV amount, pollen amount, etc. is obtained. get.
  • Meteorological data 633 showing information such as the current weather, cloud cover, wind direction, and wind speed in the area where the care recipient 81a is currently located, as well as the maximum and minimum temperatures of the day in the area, is acquired from the website.
  • the current location data 634 indicating the latitude and longitude of the current location of the care recipient 81a and the position attribute is acquired by the GPS function or iBeacon.
  • Acquires time data 635 indicating the current time from an SNMP server or the like.
  • the biological data acquisition unit 30H is the same method as the processing method by the biological data acquisition unit 30C, and is the current heartbeat, pulse wave, blood oxygen concentration, blood pressure, electrocardiographic potential, body temperature, myoelectric potential, and the care recipient 81a.
  • Biological data 636 showing biometric information such as the amount of sweating is acquired from the biometric measuring device 44 of the care recipient 81a.
  • the raw data transmission unit 30J associates the moving image data 631, the spatial situation data 632, the meteorological data 633, the current location data 634, the time data 635, and the biometric data 636 with the user code of the care recipient 81a, as shown in FIG. It is transmitted to the long-term care support server 2 as a set of raw data 63.
  • the inference unit 203 is composed of an operation pattern determination unit 20F, a target data generation unit 20G, an inference processing unit 20H, and an inference result answering unit 20J as shown in FIG. Infer as follows.
  • the motion pattern discriminating unit 20F When the raw data 63 is transmitted from the caregiver terminal device 3, the motion pattern discriminating unit 20F has a moving image shown in the moving image data 631 in the raw data 63 among a plurality of predefined patterns. It is determined which pattern the current movement of the care recipient 81a appearing in is applicable to. The method of discrimination is the same as the method of discrimination by the operation pattern discrimination unit 20A.
  • the target data generation unit 20G generates the operation pattern data 637 indicating the discrimination result by the operation pattern discrimination unit 20F, that is, the discriminated pattern, and replaces the moving image data 631 of the raw data 63 with the generated motion pattern data 637. , Generates the target data 64.
  • the inference processing unit 20H inputs the generated target data 64 into the inference model 68 stored in the inference model storage unit 202 in association with the user code of the care recipient 81a, and infers. By obtaining the output value from the model 68, the thought of the care recipient 81a is inferred. As described above, when the inference model 68 is generated by deep learning, it is inferred that the thought candidate of the output node that outputs the largest value is the thought of the care recipient.
  • the inference result answering unit 20J transmits the inference result data 65 indicating the thought of the care recipient 81a inferred by the inference processing unit 20H to the caregiver terminal device 3 of the caregiver 82a.
  • the inference result output unit 30K displays a character string representing the thought shown in the inference result data 65 on the inference result screen as shown in FIG. At 72, it is displayed on the touch panel display 34, and the voice expressing this thought is reproduced by the voice processing unit 39.
  • the voice reproduced by the voice processing unit 39 may be heard by the smart speaker 43 to deal with the desire of the care recipient 81a.
  • the smart speaker 43 turns on the air conditioner in the room where the care recipient 81a is located, or lowers the set temperature.
  • the smart speaker 43 generates an e-mail with the content "teacher, where” and sends it to the teacher at the school of the care recipient 81a.
  • the thoughts of the care recipient 81 (81b, %) Other than the care recipient 81a are also inferred by the same method based on the respective raw data 63 and the inference model 68, and the inference result is the caregiver 82 who cares for each. It is transmitted to the caregiver terminal device 3.
  • FIG. 15 is a flowchart showing an example of the overall flow of processing by the inference service program 2P.
  • the long-term care support server 2 executes the process according to the procedure shown in the flowchart of FIG. 15 based on the inference service program 2P.
  • the care support server 2 receives the raw data 61 (see FIG. 8) from the caregiver terminal device 3 (# 811), and based on the moving image data 611 in the raw data 61.
  • the locus of the hand of the care recipient 81 is calculated (# 812), and the pattern of movement represented by the locus is specified (# 813).
  • a user code is associated with the raw data 61.
  • the care support server 2 generates motion pattern data 618 indicating the specified pattern (# 814), and generates a data set 62 (see FIG. 9) by replacing the moving image data 611 with the motion pattern data 618 (see FIG. 9). # 815), the data set 62 is stored in association with this user code (# 816).
  • the long-term care support server 2 executes the processes of steps # 812 to # 816 each time the raw data 61 is received.
  • the care support server 2 In the machine learning phase, when the number of data sets 62 associated with the same user code exceeds a predetermined number, the care support server 2 infers by performing machine learning based on these data sets 62. Generate model 68 (# 821). Then, when it is confirmed by the test that the inference model 68 has a certain accuracy, the inference model 68 is stored in association with this user code (# 822).
  • the care support server 2 receives the raw data 63 (see FIG. 12) from the caregiver terminal device 3 (# 831), the care recipient is based on the moving image data 631 in the raw data 63.
  • the locus of 81 hands is calculated (# 832), and the pattern of movement represented by the locus is specified (# 833).
  • a user code is associated with the raw data 63.
  • the long-term care support server 2 generates motion pattern data 637 indicating the specified pattern (# 834), and generates target data 64 by replacing the moving image data 631 with the motion pattern data 637 (# 835).
  • the care support server 2 infers the thought of the care recipient 81 by inputting the target data 64 into the inference model 68 associated with this user code (# 836), and the inference result showing the inference result.
  • the data 65 is returned to the caregiver terminal device 3 (# 837).
  • the inference result is output by a character string or voice in the caregiver terminal device 3.
  • the long-term care support server 2 executes the processes of steps # 832 to # 837 each time the raw data 63 is received.
  • the care recipient 81 when the care recipient 81 has a thought such as a desire or a desire to convey, the thought can be inferred and output even without the caregiver 82. Therefore, the care recipient 81 can use the ICT device while reducing the burden on the caregiver 82 as compared with the conventional case. Even if the care recipient 81 is a child with severe physical and mental disabilities, a patient with dementia, or the like, the ICT device can be used more easily than before.
  • FIG. 16 is a diagram showing a modified example of the functional configuration of the long-term care support server 2.
  • FIG. 17 is a diagram showing a modified example of the functional configuration of the caregiver terminal device 3.
  • FIG. 18 is a diagram showing an example of the event table 605.
  • FIG. 19 is a diagram showing a modified example of the option list 732.
  • FIG. 20 is a diagram showing an example of the explanatory variable table 606.
  • the care support server 2 performs machine learning using the data set 62, that is, the data of the items shown in FIG. 9 as learning data, but the machine adds the data of other items to the data set 62. You may study. The same is true for reasoning.
  • the care support server 2 may perform machine learning and inference by including data showing the geomagnetism of the three axes of the current location of the care recipient 81 and the acceleration of the three axes in the data set 62 and the target data 64, respectively.
  • the data set 62 and the target data 64 include motion pattern data 618 and motion pattern data 637, respectively, as data indicating the desire expression reaction of the care recipient 81. That is, data showing the pattern of the hand movement of the care recipient 81 is included, and the care support server 2 performs machine learning and inference based on this pattern.
  • machine learning and reasoning may be performed based on other desire expression reactions. For example, machine learning and inference are performed based on the eye movement pattern, eyelid movement (opening / closing) pattern, voice height change pattern, vocalization presence / absence, facial expression pattern, etc. of the care recipient 81. May be good.
  • machine learning and inference may be performed based on a plurality of desire expression reactions (for example, hand movement patterns and facial expression patterns) arbitrarily selected from these desire expression reactions. The same applies to the modified examples described later with reference to FIGS. 16 to 20.
  • the movement of the eyes, the movement of the eyelids, and the facial expression may be extracted from the moving image taken by the video camera 41 or the video camera 37 of the caregiver terminal device 3.
  • a glasses-type wearable terminal may be hung on the care recipient 81, and the wearable terminal may capture the movement of the eyes and the movement of the eyelids.
  • the pitch of the voice and the presence or absence of vocalization may be specified from the voice data included in the moving image voice data 601.
  • the care support server 2 identifies the trajectory of the hand of the care recipient 81 based on the moving image, but the posture acquired by the gyro sensor of the biometric measuring device 44 attached to the wrist of the care recipient 81. , Angular velocity, or angular acceleration may be specified based on the data. The same applies to the modified examples described below with reference to FIGS. 16 to 20.
  • the long-term care support server 2 does not include the data of all the items shown in the raw data 61 (see FIG. 8) in the data set 62 (see FIG. 9), but includes only the data of some items in the data set 62. You may do so. For example, the current location data 614, the time data 615, the thinking data 617 in the raw data 61, the temperature and humidity data in the spatial condition data 612, the wind direction and wind speed data in the meteorological data 613, and the wind speed data.
  • Data set 62 may be generated to include only body temperature data out of biometric data 616.
  • the care support server 2 generates one inference model 68 for one care recipient 81, but the inference model 68 for each time zone and place for one care recipient 81. May be generated.
  • the generation method will be described by taking as an example the case of generating the inference model 68 for the care recipient 81a.
  • the inference service program 2Q is installed in the long-term care support server 2 instead of the inference service program 2P. According to the inference service program 2Q, the functions of the learning unit 211, the inference model storage unit 212, and the inference unit 213 shown in FIG. 16 are realized.
  • the learning unit 211 is composed of an operation pattern determination unit 21A, a data set generation unit 21B, a data set storage unit 21C, a machine learning processing unit 21D, and an accuracy test unit 21E, and performs processing for generating an inference model.
  • the inference unit 213 is composed of an operation pattern determination unit 21F, a target data generation unit 21G, an inference processing unit 21H, and an inference result answering unit 21J, and performs processing for inferring thoughts.
  • the client program 3Q is installed in the caregiver terminal device 3 instead of the client program 3P. According to the client program 3Q, the functions such as the data providing unit 311 and the client unit 312 shown in FIG. 17 are realized.
  • the data providing unit 311 is composed of a desire expression detection unit 31A, an environmental data acquisition unit 31B, a biological data acquisition unit 31C, a thought data generation unit 31D, and a raw data transmission unit 31E, and is used for learning to the care support server 2. Provide data.
  • the client unit 312 is composed of a desire expression detection unit 31F, an environmental data acquisition unit 31G, a biological data acquisition unit 31H, a raw data transmission unit 31J, and an inference result output unit 31K, and causes the long-term care support server 2 to perform inference.
  • the care recipient 81a moves his / her hand to convey his / her desires and other thoughts
  • the motion of the care recipient 81a is photographed by the video camera 41 in the vicinity of the care recipient 81a, and the voice is collected, and the moving image voice data.
  • 601 is output to the caregiver terminal device 3 of the caregiver 82a.
  • the desire expression detection unit 31A determines whether or not the desire expression reaction appears when the video / audio data 601 is input from the video camera 41 in the data acquisition mode. For example, the determination is made as follows based on the data 601.
  • the movement of the hand shown in the moving image / audio data 601 is a predetermined movement (for example, a movement of continuously reciprocating between two points), it is determined that the desire expression reaction has appeared.
  • a predetermined movement for example, a movement of continuously reciprocating between two points
  • the sound shown in the moving image sound data 601 continues for a predetermined time (for example, 2 seconds) or more, it may be determined that the desire expression reaction has appeared.
  • the environmental data acquisition unit 31B and the biological data acquisition unit 31C perform the following processing.
  • the environmental data acquisition unit 31B acquires data related to the environment around the care recipient 81a, that is, spatial condition data 612, meteorological data 613, current location data 614, and time data 615.
  • the acquisition method is the same as the acquisition method of these data by the environmental data acquisition unit 30B (see FIG. 5).
  • the biometric data acquisition unit 31C acquires the current biometric information data of the care recipient 81a, that is, the biometric data 616.
  • the acquisition method is the same as the data acquisition method by the biometric data acquisition unit 30C.
  • the desire expression detection unit 31A extracts the moving image data 611 from the moving image audio data 601 in the same manner as the moving image data extracting unit 30A.
  • the thought data generation unit 31D has an event table 605 for the care recipient 81a. As shown in FIG. 18, the event occurs on the event table 605 for each event (event, activity) such as daily break, lunch, class, free action, dinner, bath, walk, and bedtime of the care recipient 81a. The time and place of the event is shown. The location may be represented by latitude and longitude, or by location attributes (eg, "home”, “classroom”, “dining room”, “toilet”, etc.). Further, the event table 605 shows a plurality of thoughts that may occur in the care recipient 81a during the event as thought candidates. These thought candidates are predetermined by the researcher or developer in consultation with the caregiver 82a. The thought data generation unit 31D also has an event table 605 for each of the other care recipients 81 (81b, ).
  • event table 605 for each of the other care recipients 81 (81b, ).
  • the thought data generation unit 31D generates thought data 607 that indicates the thought that the care recipient 81a wants to convey as correct thought as follows based on the event table 605 and the like.
  • the thinking data generation unit 31D determines the event corresponding to the current location shown in the current location data 614 and the time indicated in the time data 615 based on the event table 605. For example, if the current location data 614 indicates "classroom” and the time data 615 indicates "11:50", it is determined that the event is "class".
  • the thought data generation unit 31D determines the event
  • the thought input screen 73 (see FIG. 6) is displayed on the touch panel display 34.
  • the option list 732 is arranged directly under the list box 711 as shown in FIG.
  • a plurality of thought candidates associated with this event in the event table 605 are arranged as options.
  • the caregiver 82a determines, based on the movement and state of the care recipient 81a, the one that matches or is closest to the thought that the care recipient 81a wants to convey from among the plurality of arranged thinking candidates. Then, the thinking candidate determined to be the closest is touched and selected from the option list 712, and the completion button 713 is touched.
  • the thinking data generation unit 31D generates thinking data 607 showing the selected thinking candidate as the correct thinking. If there is no suitable thought candidate, a new thought candidate may be added as in the thought data generation unit 30D.
  • the raw data transmission unit 31E uses the moving image data 611, the spatial situation data 612, the meteorological data 613, the current location data 614, the time data 615, the biometric data 616, and the thought data 607 for the event code of this event and the care recipient 81a. It is transmitted to the long-term care support server 2 as a set of raw data 61 in association with the user code.
  • the operation pattern determination unit 21A is to be cared for, which appears in the moving image shown in the moving image data 611 in the raw data 61. It is determined which of the plurality of predefined patterns the operation of the person 81a corresponds to.
  • the discrimination method is the same as the discrimination method by the operation pattern discrimination unit 20A in FIG.
  • the data set generation unit 21B generates the data set 62 (see FIG. 9) based on the discrimination result by the operation pattern discrimination unit 21A, similarly to the data set generation unit 20B. Then, the generated data set 62 is stored in the data set storage unit 21C in association with the user code of the care recipient 81a and the event code of this time.
  • the machine learning processing unit 21D has an explanatory variable table 606 of the care recipient 81a.
  • the explanatory variables table 606 shows, as shown in FIG. 20, one or more explanatory variables used for machine learning about the event and their respective weighting factors for each day-to-day event of the care recipient 81a. .. These explanatory variables are selected by the researcher or developer based on the daily situation of the care recipient 81a from among the variables included in the spatial situation data 612, the meteorological data 613, the biometric data 616, and the motion pattern data 618. It is decided in advance in consultation with the caregiver 82a.
  • the event table 605 see FIG. 18
  • the machine learning processing unit 21D also has an explanatory variable table 606 for each of the other care recipients 81 (81b, ).
  • the machine learning processing unit 21D is a data set storage unit in which the number of data sets 62 associated with the user code of the care recipient 81a and associated with the same event code is a certain number (for example, 100 sets) or more. When stored in the 21C, these data sets 62 are read out from the data set storage unit 21C. A predetermined ratio of these data sets 62 is used as training data 6A, and the rest is used as test data 6B.
  • the machine learning processing unit 21D uses the learning data 6A to generate an inference model 68 for this event of the care recipient 81a based on a known machine learning algorithm.
  • the point that the thinking data 617 of the data constituting each of the learning data 6A is used as the objective variable is the same as the machine learning by the machine learning processing unit 20D.
  • the explanatory variable table 606 of the care recipient 81a corresponds to this event.
  • the attached variable is selected and used as an explanatory variable.
  • the machine learning processing unit 21D performs machine learning using the thought data 617 and the data indicating the selected explanatory variables as a data set. At this time, the weighting coefficient of each variable (explanatory variable) shown in the explanatory variable table 606 is used.
  • the explanatory variables used in machine learning may be selected by the data set generation unit 21B instead of the machine learning processing unit 21D. That is, when the raw data 61 is transmitted from the caregiver terminal device 3, the data set generation unit 21B has an explanatory variable corresponding to the event code of the raw data 61 based on the explanatory variable table 606 of the care recipient 81a. Is selected as raw data 61. Then, the thought data 617 and the selected explanatory variable data are combined and stored in the data set storage unit 20C as a data set 62.
  • the accuracy test unit 21E tests the accuracy of the inference model 68 using the test data 6B.
  • the test method is basically the same as the test method by the accuracy test unit 20E. However, the explanatory variables shown in the explanatory variable table 606 are used.
  • the inference model 68 is stored in the inference model storage unit 212 in association with the user code of the care recipient 81a and the event code of this event.
  • Each part of the reasoning unit 213 of the care support server 2 and each part of the client part 312 of the caregiver terminal device 3 perform processing for inferring the thought of the care recipient 81.
  • this process will be described by taking as an example the case of inferring the thought of the care recipient 81a.
  • the desire expression detection unit 31F determines whether or not the desire expression reaction appears when the video / audio data 601 is input from the video camera 41 in the inference mode. The determination is made based on 601.
  • the discrimination method is the same as the discrimination method in the desire expression detection unit 31A. Further, the desire expression detection unit 31F extracts the moving image data 631 in the same manner as the moving image data extracting unit 30F (see FIG. 3).
  • the environmental data acquisition unit 31G and the biological data acquisition unit 31H perform the following processing.
  • the environmental data acquisition unit 31G acquires spatial status data 632, meteorological data 633, current location data 634, and time data 635 by the same method as the processing method by the environmental data acquisition unit 30B.
  • the biometric data acquisition unit 31H acquires biometric data 636 by the same method as the processing method by the biometric data acquisition unit 30C.
  • the raw data transmission unit 31J associates the moving image data 631, the spatial situation data 632, the meteorological data 633, the current location data 634, the time data 635, and the biometric data 636 with the user code of the care recipient 81a, and sets a set of raw data. It is transmitted to the care support server 2 as 61.
  • the operation pattern determination unit 21F determines which pattern the operation of the care recipient 81a corresponds to in the same manner as the operation pattern determination unit 20A.
  • the target data generation unit 21G generates the operation pattern data 637 showing the discrimination result by the operation pattern discrimination unit 21F, and replaces the moving image data 631 of the raw data 61 with the generated operation pattern data 637 to replace the target data 64. Generate.
  • the inference processing unit 21H has an explanatory variable table 606 (see FIG. 20) like the machine learning processing unit 21D.
  • the inference processing unit 21H determines the event corresponding to the current location shown in the current location data 634 and the time indicated in the time data 635 in the target data 64 based on the explanatory variable table 606. For example, if the current location data 634 indicates "classroom” and the time data 635 indicates "11:55", it is determined that the event is a "break".
  • the inference processing unit 21H inputs the value of the thought candidate corresponding to the determined event in the target data 64 into the user code of the care recipient 81a and the inference model 68 corresponding to the event code of this event, and the inference model 68. By obtaining the output value from, the thought of the care recipient 81a is inferred.
  • the inference result answering unit 21J transmits data indicating the thoughts of the care recipient 81a inferred by the inference processing unit 21H to the caregiver terminal device 3 of the caregiver 82a as inference result data 65.
  • the inference result output unit 31K When the inference result output unit 31K receives the inference result data 65 in the caregiver terminal device 3, the inference result output unit 31K displays a character string representing the thought shown in the inference result data 65 on the inference result screen 72 (see FIG. 14) on the touch panel display 34. And the voice expressing this thought is reproduced by the voice processing unit 39. Then, the desire of the care recipient 81a may be dealt with by letting the smart speaker 43 hear this voice.
  • the inference result output unit 31K displays a character string representing the thought shown in the inference result data 65 on the touch panel display 34 and displays the inference result data 65 on the touch panel display 34.
  • the voice processing unit 39 reproduces the voice expressing the thought.
  • the thoughts of the care recipient 81 (81b, %) Other than the care recipient 81a are also inferred by the same method based on the respective target data 64 and the inference model 68, and the inference result is the caregiver 82 who cares for each. It is transmitted to the caregiver terminal device 3.
  • the inventor has various variables (temperature, humidity, atmospheric pressure, illuminance, UV amount, pollen amount, weather, cloud amount, wind direction, wind velocity, maximum temperature, minimum temperature, minimum) regarding the thought of the care recipient 81 and the environment or body of the care recipient 81. Temperature, sunshine time, temperature difference, current location, time, time zone, 3-axis geomagnetism, 3-axis acceleration, heartbeat, pulse wave, blood oxygen concentration, blood pressure, body temperature, sweating amount, electrocardiogram, myoelectric potential, motion pattern, eyes Correlation with the movement of the air pressure, the movement of the eyelids, the change in the height of the voice, the presence or absence of vocalization, the facial expression pattern, etc.) was calculated by experiments.
  • the thought of the care recipient 81 is likely to change if the current location, that is, the place is different, and the thought of the care recipient 81 is likely to change if the time or time zone is different.
  • the place and time were highly correlated with the desire expression response.
  • the inventor was able to identify that the combination of place and time corresponds to the daily event of the care recipient 81. Therefore, as in the modification described above, the inference model 68 could be generated for each combination of place and time, that is, for each event.
  • explanatory variables used in machine learning are shown in event table 605 (see FIG. 18) and explanatory variable table 606 (FIG. 20), which the inventor experimented with and investigated at a school for the disabled. It was selected based on the results of the above.
  • the explanatory variables used in machine learning may be set for each care recipient 81 according to the context (environment) of the care recipient 81. For example, blood oxygen concentration may be included as an explanatory variable for an event in which the care recipient 81 has a chance to call someone. In particular, it is suitable when the care recipient 81 is equipped with a respirator.
  • the care support server 2 has performed the process of generating the data set 62 from the raw data 61, but the caregiver terminal device 3 may perform the process. Similarly, the caregiver terminal device 3 may perform a process of generating the target data 64 from the raw data 63.
  • the care support server 2 performed machine learning and inference, but different servers may perform the machine learning and inference.
  • machine learning may be performed by a machine learning server
  • inference may be performed by an inference server.
  • the machine learning server After the machine learning server generates the inference model 68, it sends the inference model 68 to the inference server and installs it in the inference server.
  • the inference model 68 is a trained model generated by deep learning, only the parameters of the inference model 68 may be sent to the inference server and the parameters may be applied to the inference model provided in the inference server. ..
  • the caregiver terminal device 3 transmits the raw data 61 to the machine learning server and the raw data 63 to the inference server.
  • the data set 62 is stored in the long-term care support server 2, but it may be stored in another server.
  • it may be stored in a cloud server such as JGN (Japan Gigabit Network) of the National Institute of Information and Communications Technology (NICT).
  • machine learning may be executed by a cloud server having a machine learning engine.
  • the inference model 68 is generated and used properly for each one care recipient 81, but a common inference model 68 may be generated and shared by a plurality of care recipients 81.
  • the configuration of the whole or each part of the thinking inference system 1, the nursing care support server 2, and the caregiver terminal device 3, the contents of processing, the order of processing, the configuration of the data set, etc. are appropriately changed according to the gist of the present invention. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】重度心身障害児者または認知症患者などの発話困難者がＩＣＴ装置を使用する際の介護者への負担を従来よりも軽減する。 【解決手段】介護支援サーバ２は、発話困難者の身体の第一の反応があった際の第一のコンディションおよびこの際に発話困難者が有する第一の思考を示すデータセットを複数組、取得し、複数組のデータセットそれぞれに示される第一のコンディションを説明変数として使用しかつ第一の思考を目的変数として使用して機械学習を行うことによって推論モデルを生成する。そして、第二の反応があった際の第二のコンディションを示す入力データを推論モデルに入力することによって、第二の反応があった際の第二の思考を推論し、介護者用端末装置は推論結果を出力する。

Description

思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、コンピュータプログラム、および推論モデル
　本発明は、発話困難者の欲求などの思考を推論する技術に関する。
　使用者の音声に従って制御されるエアコン、テレビ、照明器具、および電子レンジなどの電化製品が普及している。ごく限られたコマンドだけに対応可能な電化製品は２０世紀末期に既に普及していたが、近年は、ＡＩ（Artificial Intelligence）、ＩｏＴ（Internet of Things）、およびＩＣＴ（Information and Communications Technology）の技術によって、より人間的にまたは対話的に使用者が音声で制御することができる電化製品が普及し始めている。これらの技術を用いて音声での制御が可能な電化製品は、「スマート家電」、「ＩｏＴ家電」、または「ＡＩ家電」などと呼ばれている。
　また、スマートスピーカは、ＡＩ、ＩｏＴ、およびＩＣＴの技術によって使用者の音声に基づいて情報を検索して提示したり電化製品を制御したりする。スマートフォン、タブレットコンピュータ、およびスマートウォッチなどのモバイル装置にも、このような機能が備わっている。
　以下、このようなスマート家電、スマートスピーカ、およびモバイル装置を「ＩＣＴ装置」と記載する。
　使用者は、上述の通り、より人間的にまたは対話的にＩＣＴ装置を使用することができる。したがって、身体障害者にとっても、従来の装置よりもＩＣＴ装置のほうが使用しやすいので、身体障害者のＱＯＬ（Quality of Life）を向上させることができる。
　しかし、ＩＣＴ装置は、重度心身障害児者または認知症患者等の発話困難者のＱＯＬを直接的に向上させることが依然として難しい。これらの発話困難者の音声が、ＩＣＴ装置で採用されている音声認識機能では未だ認識しにくいからである。そこで、従来、家族または医療関係者などの介護者を介してＩＣＴ装置が使用されている。
特許第６３１５７４４号公報
　ところで、特許文献１に記載される会話補助端末は、入力装置および表示装置を有し、表示装置に表示された表示画像が選択されると、選択された表示画像に対応するメッセージを音声で出力する。この会話補助端末によると、使用者は、表示画像を選択することによってメッセージを自分の代わりに発声させることができる。これにより、ＩＣＴ装置に対して音声を聞かせることができる。
　しかし、この会話補助端末のような従来の装置によると、表示画像を選択しなければならないので、重度心身障害児者または認知症患者は、介護者の補助がなければ使いにくいことがある。つまり、介護者への負担がある。
　本発明は、このような問題点に鑑み、重度心身障害児者または認知症患者がＩＣＴ装置を使用する際の介護者への負担を従来よりも軽減することを、目的とする。
　本発明の一形態に係る思考推論システムは、発話困難者の身体の第一の反応があった際の第一のコンディションおよび当該第一の反応があった際に当該発話困難者が有する第一の思考を示すデータセットを複数組、取得する、データセット取得手段と、複数組の前記データセットそれぞれに示される前記第一のコンディションを説明変数として使用しかつ前記第一の思考を目的変数として使用して機械学習を行うことによって推論モデルを生成する推論モデル生成手段と、第二の反応があった際の第二のコンディションを示す入力データを前記推論モデルに入力することによって、当該第二の反応があった際の第二の思考を推論する、推論手段と、前記第二の思考を出力する出力手段と、を有する。
　本発明によると、重度心身障害児者または認知症患者がＩＣＴ装置を使用する際の介護者への負担を従来よりも軽減することができる。
思考推論システムの全体的な構成の例を示す図である。 介護支援サーバのハードウェア構成の例を示す図である。 介護支援サーバの機能的構成の例を示す図である。 介護者用端末装置のハードウェア構成の例を示す図である。 介護者用端末装置の機能的構成の例を示す図である。 思考入力画面の例を示す図である。 選択肢リストの例を示す図である。 生データの例を示す図である。 データセットの例を示す図である。 区分用テーブルの例を示す図である。 推論モデルのテストの処理の流れの例を示す図である。 生データの例を示す図である。 推論の処理の流れの例を示す図である。 推論結果画面の例を示す図である。 推論サービスプログラムのよる処理の全体的な流れの例を示すフローチャートである。 介護支援サーバの機能的構成の変形例を示す図である。 介護者用端末装置の機能的構成の変形例を示す図である。 イベントテーブルの例を示す図である。 選択肢リストの変形例を示す図である。 説明変数テーブルの例を示す図である。
　〔全体構成〕
　図１は、思考推論システム１の全体的な構成の例を示す図である。図２は、介護支援サーバ２のハードウェア構成の例を示す図である。図３は、介護支援サーバ２の機能的構成の例を示す図である。図４は、介護者用端末装置３のハードウェア構成の例を示す図である。図５は、介護者用端末装置３の機能的構成の例を示す図である。
　図１に示す思考推論システム１は、被介護者８１の思ったことまたは考えたことをＡＩ（Artificial Intelligence）によって推論し介護者８２へ教示するシステムである。例えば、「学校に行きたい」または「テレビが観たい」などの欲求、被介護者８１への質問に対する「はい」、「いいえ」、「こっち」、「そっち」、「分かりません」などの回答、「楽しみだ」、「怒っている」、「びっくりした」、または「悲しい」などの感情、「先生、見た？」、「早く！」、または「こんにちは」などの呼びかけ、「好き」または「嫌い」などの嗜好、「眠い」、「お腹が空いた」、「疲れた」、「頭が痛い」などの体調、「暑い」、「寒い」、「臭い」、「美味しい」、「眩しい」、または「酸っぱい」などの感覚、その他の様々な思いまたは考えを推論し教示する。以下、このような思いまたは考えを「思考」と記載する。介護者８２は、被介護者８１の家族もしくは教員、ベテラン支援者、介護資格者、または医療従事者である。
　思考推論システム１は、介護支援サーバ２、複数の介護者用端末装置３、複数のビデオカメラ４１、複数の室内測定器４２、複数のスマートスピーカ４３、複数の生体測定装置４４、および通信回線５などによって構成される。
　介護支援サーバ２および各介護者用端末装置３は、通信回線５を介してデータをやり取りすることができる。通信回線５として、インターネットまたは公衆回線などが用いられる。
　介護支援サーバ２は、機械学習によって推論モデルを生成し、被介護者８１の思考を推論モデルに基づいて推論する。介護支援サーバ２として、パーソナルコンピュータ、ワークステーション、またはクラウドサーバなどが用いられる。以下、介護支援サーバ２としてパーソナルコンピュータが用いられる場合を例に説明する。
　介護支援サーバ２は、図２に示すように、プロセッサ２０、ＲＡＭ（Random Access Memory）２１、ＲＯＭ（Read Only Memory）２２、補助記憶装置２３、ネットワークアダプタ２４、キーボード２５、ポインティングデバイス２６、およびディスプレイ２７などによって構成される。
　ＲＯＭ２２または補助記憶装置２３には、オペレーティングシステムのほか推論サービスプログラム２Ｐなどのコンピュータプログラムが記憶されている。推論サービスプログラム２Ｐは、図３に示す学習部２０１、推論モデル記憶部２０２、および推論部２０３などの機能を実現するためのプログラムである。補助記憶装置２３として、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
　ＲＡＭ２１は、介護支援サーバ２のメインメモリである。ＲＡＭ２１には、適宜、推論サービスプログラム２Ｐなどのコンピュータプログラムがロードされる。
　プロセッサ２０は、ＲＡＭ２１にロードされたコンピュータプログラムを実行する。プロセッサ２０として、ＧＰＵ（Graphics Processing Unit）またはＣＰＵ（Central Processing Unit）などが用いられる。
　ネットワークアダプタ２４は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで介護者用端末装置３またはウェブサーバなどの装置と通信する。ネットワークアダプタ２４として、ＮＩＣ（Network Interface Card）またはＷｉ－Ｆｉ用の通信装置が用いられる。
　キーボード２５およびポインティングデバイス２６は、コマンドまたはデータなどをオペレータが入力するための入力装置である。
　ディスプレイ２７は、コマンドもしくはデータを入力するための画面またはプロセッサ２０による演算の結果を示す画面などを表示する。
　図１に戻って、介護者用端末装置３は、機械学習のためのデータを介護支援サーバ２へ提供したり推論を要求し推論結果を介護支援サーバ２から受け取ったりするために用いられる。介護者用端末装置３として、タブレットコンピュータ、スマートフォン、またはパーソナルコンピュータなどが用いられる。介護者用端末装置３は、１人の介護者８２ごとに１台ずつ配付されているのが望ましいが、１台を複数の介護者８２が共用してもよい。以下、介護者用端末装置３としてタブレットコンピュータが用いられ、かつ、１人の介護者８２ごとに１台ずつ介護者用端末装置３が配付されている場合を例に説明する。
　介護者用端末装置３は、図４に示すように、プロセッサ３０、ＲＡＭ３１、ＲＯＭ３２、フラッシュメモリ３３、タッチパネルディスプレイ３４、ネットワークアダプタ３５、近距離無線ボード３６、ビデオカメラ３７、有線入出力ボード３８、および音声処理ユニット３９などによって構成される。
　ＲＯＭ３２またはフラッシュメモリ３３には、オペレーティングシステムのほかクライアントプログラム３Ｐなどのコンピュータプログラムが記憶されている。クライアントプログラム３Ｐは、図５に示すデータ提供部３０１およびクライアント部３０２などの機能を実現するためのプログラムである。クライアントプログラム３Ｐは、インターネット上のアプリケーションサーバから介護者用端末装置３へダウンロードされ、インストーラによってフラッシュメモリ３３にインストールされる。インストーラは、クライアントプログラム３Ｐとともにアプリケーションサーバからダウンロードされてもよいし、予めＲＯＭ３２またはフラッシュメモリ３３に用意されていてもよい。
　ＲＡＭ３１は、介護者用端末装置３のメインメモリである。ＲＡＭ３１には、適宜、クライアントプログラム３Ｐなどのコンピュータプログラムがロードされる。プロセッサ３０は、ＲＡＭ３１にロードされたコンピュータプログラムを実行する。
　タッチパネルディスプレイ３４は、コマンドまたはデータを介護者８２が入力するためのタッチパネルおよび画面を表示するためのディスプレイなどによって構成される。
　ネットワークアダプタ３５は、ＴＣＰ／ＩＰなどのプロトコルで介護支援サーバ２などの他の装置と通信する。ネットワークアダプタ３５として、Ｗｉ－Ｆｉ用の通信装置が用いられる。
　近距離無線ボード３６は、介護者用端末装置３からの距離が数メートル以内にある装置と通信する。特に本実施形態では、ビデオカメラ４１、室内測定器４２、および生体測定装置４４と通信する。近距離無線ボード３６として、Ｂｌｕｅｔｏｏｔｈ用の通信装置が用いられる。
　ビデオカメラ３７は、動画像を撮影し動画像データを生成する。特に本実施形態では、被介護者８１の動画像データを生成するために用いられる。
　有線入出力ボード３８は、有線で周辺機器と通信する装置である。有線入出力ボード３８には接続ポートが設けられており、周辺機器が接続ポートにケーブルを介してまたは直接、繋がれる。有線入出力ボード３８として、例えばＵＳＢ（Universal Serial Bus）規格の入出力装置が用いられる。
　音声処理ユニット３９は、音声処理装置、マイクロフォン、およびスピーカなどによって構成される。マイクロフォンによってキャプチャされた音声が音声処理装置によって音声データにエンコードされ、他の装置から送信されてきた音声データが音声処理装置によって音声にデコードされスピーカによって音声が再生される。
　図１に戻って、ビデオカメラ４１は、被介護者８１を撮影するために用いられる。ビデオカメラ４１には、マイクロフォンおよび音声処理装置がさらに備えられており、音声をキャプチャし音声データを生成することもできる。ビデオカメラ４１として、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、またはＵＳＢの通信機能および収音機能を有する市販の小型のビデオカメラが用いられる。
　介護者８２の負担を軽減するため、１人の被介護者８１につき１台ずつビデオカメラ４１が割り当てられ、被介護者８１が撮影範囲に入るように予め配置されているのが望ましい。もちろん、介護者用端末装置３のビデオカメラ３７および音声処理ユニット３９のマイクロフォンで撮影し集音してもよい。例えば、被介護者８１および介護者８２が外出先に居るときは、ビデオカメラ４１の代わりに介護者用端末装置３で撮影し集音してもよい。以下、ビデオカメラ４１で撮影し集音される場合を例に説明する。
　室内測定器４２は、被介護者８１の居る部屋の中の状態を測定する。具体的には、部屋の中の温度、湿度、気圧、照度、ＵＶ（ultraviolet）量、および花粉量などを測定する。室内測定器４２として、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、またはＵＳＢの通信機能を有する市販の小型の環境測定用の測定器が用いられる。複数の市販のセンサを複数組み合わせた装置を室内測定器４２として使用してもよい。例えば、アルプスアルパイン社の温湿度センサ、気圧センサ、照度センサ、ＵＶセンサなどの種々のセンサを組み合わせた装置を使用してもよい。なお、花粉量は、単位体積当たりの花粉の量である。
　室内測定器４２は、被介護者８１の居る部屋ごとに設置されている。１つの部屋に複数の被介護者８１が居る場合は、その部屋に室内測定器４２を１台だけ設置し、共用してもよいし、各人の近隣に室内測定器４２を１台ずつ設置してもよい。また、外出の際は、被介護者８１または介護者８２は、室内測定器４２を携帯してもよい。
　スマートスピーカ４３は、音声を認識し、認識結果に基づいて情報の検索または電化製品の制御などのタスクを実行する。本実施形態では、特に、被介護者８１のためにこれらのタスクを実行する。スマートスピーカ４３として、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、またはＵＳＢの通信機能を有する市販のスマートスピーカが用いられる。
　生体測定装置４４は、被介護者８１の心拍、脈波、血中酸素濃度、血圧、心電位、体温、筋電位、および発汗量などの生体情報を測定する。生体測定装置４４として、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉ、またはＵＳＢの通信機能および生体情報の測定機能を有する装置、例えば、アップル社のアップルウォッチのような汎用的なウェアラブル端末、ヘルス機能付きのウェアラブル端末、または医療用のウェアラブル端末が用いられる。
　図３および図５それぞれに示す機能などによって被介護者８１の思考を推論することができる。以下、これらの機能について説明する。
　〔データセットの準備〕
　図６は、思考入力画面７１の例を示す図である。図７は、選択肢リスト７１２の例を示す図である。図８は、生データ６１の例を示す図である。図９は、データセット６２の例を示す図である。図１０は、区分用テーブル６９Ａ、６９Ｂの例を示す図である。
　介護支援サーバ２の運営者は、介護支援サーバ２に機械学習を行わせ推論モデルを生成させるために、被介護者８１に関する多くのデータを収集しなければならない。そこで、被介護者８１をデータのサンプリングの対象者として、介護者８２の協力によってデータが収集される。なお、各被介護者８１（８１ａ、８１ｂ、…）には、ユニークなユーザコードが予め１つずつ与えられている。
　１つの推論モデルを複数の被介護者８１で共用しても構わないが、少ないデータで精度の高い推論モデルを生成するには、１人の被介護者８１ごとに専用の推論モデルを生成するのが望ましい。以下、被介護者８１ａが介護者８２ａによって介護されている際に被介護者８１ａ専用の推論モデルを生成するためのデータが収集される場合を例に、データ収集方法について説明する。
　介護者８２ａは、自分の介護者用端末装置３に予めクライアントプログラム３Ｐを起動させておき、モードをデータ収集モードに設定しておく。すると、データ提供部３０１（図５参照）がアクティブになる。データ提供部３０１は、動画像データ抽出部３０Ａ、環境データ取得部３０Ｂ、生体データ取得部３０Ｃ、思考データ生成部３０Ｄ、および生データ送信部３０Ｅによって構成される。
　ところで、一般に、人間は、欲求または感情などの思考が生じたときに、その思考が動作または表情に表われることがある。このような現象は、「欲求表出反応」と呼ばれることがある。以下、欲求表出反応が手の動作として表われる場合を例に説明する。
　被介護者８１ａは、自分の欲求などの思考を伝えたいときに、その思考に応じて手を動作させる。すると、被介護者８１ａの近隣に設置されているビデオカメラ４１によって、被介護者８１ａの動作が撮影されるとともに、被介護者８１ａの周囲の音声が集音される。動作の際に被介護者８１ａが発声した場合は、集音された音声には、被介護者８１ａの音声が含まれる。そして、撮影された動作の動画像および集音された音声の動画像音声データ６０１がビデオカメラ４１から出力され、介護者８２ａの介護者用端末装置３へ入力される。動画像音声データ６０１のフォーマットとして、ＭＰ４またはＭＯＶなどが用いられる。
　介護者用端末装置３において、データ収集モードが設定されている場合に動画像音声データ６０１がビデオカメラ４１から入力されると、動画像データ抽出部３０Ａ、環境データ取得部３０Ｂ、生体データ取得部３０Ｃ、思考データ生成部３０Ｄ、および生データ送信部３０Ｅは、次のように処理を行う。
　動画像データ抽出部３０Ａは、動画像音声データ６０１の中から動画像の部分のデータを動画像データ６１１として抽出する。つまり、音声の部分のデータをカットする。
　環境データ取得部３０Ｂは、被介護者８１ａの周囲の環境に関するデータを取得する処理を次のように行う。環境データ取得部３０Ｂは、現在の温度などを測定するように、被介護者８１ａの近隣の室内測定器４２へ指令する。
　すると、室内測定器４２は、温度、湿度、気圧、照度、ＵＶ量、および花粉量などを測定し、測定結果を示す空間状況データ６１２を介護者用端末装置３へ送信する。
　また、環境データ取得部３０Ｂは、気象に関する情報を発信するウェブサイトのＡＰＩ（Application Program Interface）、例えば、OpenWeatherMap APIへインターネットを介してアクセスし、被介護者８１ａが現在居る地域の現時点における天気、雲量、風向き、および風速の情報のほか、その地域の当日の最高気温、最低気温、および日照時間などの情報を示す気象データ６１３を取得する。最高気温、最低気温、および日照時間は、実際に観測されたものであってもよいし、予測されたものであってもよい。日照時間は、環境データ取得部３０Ｂが日の出および日の入の時刻から算出してもよい。
　また、環境データ取得部３０Ｂは、被介護者８１ａの現在地を示す現在地データ６１４を取得する。現在地データ６１４には、具体的には、介護者用端末装置３自身の緯度および経度が被介護者８１ａの現在地の緯度および経度として示される。緯度および経度は、介護者用端末装置３自身のＧＰＳ（Global Positioning System）機能によって取得することができる。
　さらに、現在地データ６１４には、被介護者８１ａの位置属性が示される。被介護者８１ａの「位置属性」は、被介護者８１ａが現在居る施設の属性である。このような属性の一例として、「自宅」、「教室」、「食堂」、「トイレ」、「職場」、「コンビニエンスストア」、「病院」、または「公園」などが挙げられる。位置属性は、次のような方法で取得すればよい。
　例えば、施設ごとに、緯度および経度と属性とを対応付けたテーブルをクライアントプログラム３Ｐに予め用意しておく。そして、環境データ取得部３０Ｂは、ＧＰＳ機能によって取得した緯度および経度をテーブルと照合し、緯度および経度と一致する属性を被介護者８１ａの位置属性として取得する。
　または、施設ごとに、ユニークな識別子を示す電波を発信する発振器を予め設置しておくとともに、識別子と属性とを対応付けたテーブルをクライアントプログラム３Ｐに予め用意しておく。そして、環境データ取得部３０Ｂは、近距離無線ボード３６によって受信した電波に示される識別子をテーブルと照合し、この識別子と一致する属性を被介護者８１ａの位置属性として取得する。このような発振器として、例えば、ｉＢｅａｃｏｎ発振器が用いられる。ｉＢｅａｃｏｎは、登録商標である。
　また、環境データ取得部３０Ｂは、現在の時刻を示す時刻データ６１５をＳＮＴＰ（Simple Network Time Protocol）サーバから取得する。介護者用端末装置３自身のＯＳ（Operating System）または時計から時刻データ６１５を取得してもよい。この時刻は、欲求表出反応があった時刻であると、言える。
　生体データ取得部３０Ｃは、被介護者８１ａの現在の生体情報を取得するための処理を次のように行う。生体データ取得部３０Ｃは、現在の生体情報を測定するように被介護者８１ａの生体測定装置４４へ指令する。すると、被介護者８１ａの生体測定装置４４は、心拍、脈波、血中酸素濃度、血圧、体温、筋電位、発汗量、および心電位などの生体情報を測定し、測定結果を示す生体データ６１６を介護者用端末装置３へ送信する。
　思考データ生成部３０Ｄは、被介護者８１ａが伝えたい思考を正解思考として示す思考データ６１７を、例えば次のように生成する。
　思考データ生成部３０Ｄは、図６のような思考入力画面７１をタッチパネルディスプレイ３４に表示させる。思考入力画面７１には、リストボックス７１１が配置されている。介護者８２ａがリストボックス７１１をタッチすると、思考データ生成部３０Ｄは、図７のように、リストボックス７１１の直下に選択肢リスト７１２を配置する。選択肢リスト７１２には、研究者、開発者、または介護者８２ａなどによって予め選出された様々な思考それぞれを表わす文字列が示されている。以下、予め選出された思考を「思考候補」と記載する。タッチパネルディスプレイ３４のサイズの制約により、選択肢リスト７１２の全部分を同時に表示させることができないが、介護者８２ａは、選択肢リスト７１２をスクロールさせることによって、選択肢リスト７１２を一部分ずつ見ることができる。
　介護者８２ａは、被介護者８１ａの動作および現在の文脈（時間、場所、気候などの環境）に基づいて、これらの思考候補の中から被介護者８１ａが伝えたい思考に一致しまたは最も近いものを判断する。そして、スクロールさせながら、一致しまたは最も近いと判断した思考候補を選択肢リスト７１２の中からタッチして選択することによってアノテーションを行い、完了ボタン７１３をタッチする。
　すると、思考データ生成部３０Ｄは、選択された思考候補を正解思考として示す思考データ６１７を生成する。
　なお、介護者８２ａは、被介護者８１ａが伝えたい思考が分からない場合および不確かな場合は、被介護者８１ａに確認してから選択してもよい。分かる場合も、念のために被介護者８１ａに確認してから選択してもよい。また、好適な思考候補がなければ、介護者８２ａが被介護者８１ａの伝えたい思考を介護者８２ａが新たな思考候補として追加し、その思考候補を正解思考として示す思考データ６１７を思考データ生成部３０Ｄが生成してもよい。
　または、被介護者８１ａが動作を行った際に、介護者８２ａは、被介護者８１ａが伝えたい思考と一致しまたは最も近いと判断した思考候補を発声してもよい。すると、動画像音声データ６０１には、介護者８２ａの音声が記録される。そこで、思考データ生成部３０Ｄは、動画像音声データ６０１から介護者８２ａの音声を抽出し、音声認識の機能によって、発声された思考候補を判別する。そして、判別した思考候補を正解思考として示す思考データ６１７を生成する。なお、発声された内容（思考）が既存の思考候補のいずれにも該当しない場合は、発声された思考を新たな思考候補として追加し、追加した思考候補を正解思考として示す思考データ６１７を生成してもよい。または、ＡＩによって、発声された思考を既存のいずれかの思考候補に分類し、分類先の思考候補を示すデータを思考データ６１７として生成してもよい。
　生データ送信部３０Ｅは、動画像データ６１１、空間状況データ６１２、気象データ６１３、現在地データ６１４、時刻データ６１５、生体データ６１６、および思考データ６１７を被介護者８１ａのユーザコードと対応付けて図８のような１組の生データ６１として介護支援サーバ２へ送信する。
　介護支援サーバ２において、学習部２０１は、図３に示すように動作パターン判別部２０Ａ、データセット生成部２０Ｂ、データセット記憶部２０Ｃ、機械学習処理部２０Ｄ、および精度テスト部２０Ｅによって構成され、推論モデルを生成するための処理を次のように行う。
　動作パターン判別部２０Ａは、生データ６１が介護者用端末装置３から送信されてくると、生データ６１の中の動画像データ６１１に示される動画像に表われる被介護者８１ａの動作が、予め定義された複数のパターンのうちのどのパターンに該当するのかを、例えば次のように判別する。
　動作パターン判別部２０Ａは、動画像音声データ６０１に示される動画像の各コマ（フレーム）から中から手の位置を抽出し、手の位置の変化すなわち軌跡を特定する。そして、複数のパターンのうちの特定した軌跡に最も類似するパターンが、被介護者８１ａの今回の動作のパターンに該当すると、判別する。
　軌跡は、公知の技術によって特定することができる。例えば、動作解析ソフトウェアであるＫｉｎｏｖｅａによって軌跡を特定してもよい。
　特定した軌跡がどのパターンに該当するのかも、公知の技術によって判別することができる。例えば、パターンマッチングによって判別してもよい。または、ＡＩによって判別してもよい。具体的には、予め多数の軌跡を用意し、それぞれの軌跡がどのパターンに該当するのかをオペレータがラベリングすることによって、データセットを用意する。教師あり学習によって、軌跡を分類するための分類器を生成する。そして、動作パターン判別部２０Ａは、この分類器によって、動画像データ６１１から特定された軌跡がどのパターンに該当するのかを判別する。
　予め定義された複数のパターンは、例えば、次の通りである。「一方向」は、ある位置から他の位置へ手を１回だけ直線的に動かすパターンである。「円」は、円を描くように手を動かすパターンである。「往復」は、ある位置と他の位置との間を手を１回だけ直線的に往復させるパターンである。「微弱」は、震えるように手を動かすパターンである。「反復」は、同じモーションを２回以上連続して行うパターンである。ただし、「微弱」と区別するため、１回のモーションにおいて手が一定の距離以上（例えば、２０センチメートル以上）移動することを「反復」に該当する条件とする。「ランダム」は、不規則に手を動かすパターンであって、上記の５つのパターンのいずれにも該当しないパターンである。
　データセット生成部２０Ｂは、動作パターン判別部２０Ａによる判別結果すなわち判別されたパターンを示す動作パターンデータ６１８を生成し、生データ６１の動画像データ６１１を、生成した動作パターンデータ６１８に置き換えることによって、図９のようなデータセット６２を生成する。そして、生成したデータセット６２を被介護者８１ａのユーザコードと対応付けてデータセット記憶部２０Ｃに記憶させる。
　このように、被介護者８１ａの動作をトリガとして上記の処理および作業が行われることによってデータセット６２が１組生成され、データセット記憶部２０Ｃに記憶される。準備のフェーズにおいては、被介護者８１ａが動作を行うごとに、上記の処理および作業によってデータセット６２が１組ずつ生成され、データセット記憶部２０Ｃに記憶される。
　なお、被介護者８１の動作が複数のパターンのうちのいずれかに分類されたように、他の情報も複数のクラスのうちのいずれかに分類され、データセット６２に示されるようにしてもよい。
　例えば、データセット生成部２０Ｂは、空間状況データ６１２に示される温度を、図１０（Ａ）に示す区分用テーブル６９Ａに従って、５個の区分のうちのいずれかに分類してもよい。そして、この温度を、分類した区分と置き換えてもよい。または、分類した区分を空間状況データ６１２に追記してもよい。
　または、データセット生成部２０Ｂは、空間状況データ６１２に示される温度および湿度に基づいて不快指数を算出し、図１０（Ｂ）に示す区分用テーブル６９Ｂに従って、５個の区分のうちのいずれかに分類してもよい。そして、分類した区分を空間状況データ６１２に追記してもよい。
　または、データセット生成部２０Ｂは、時刻データ６１５に示される時刻を、被介護者８１ａの生活スタイルに合わせて、「睡眠時間帯」、「起床時間帯」、「朝食時間帯」、「授業時間帯」、「給食時間帯」、「休憩時間帯」、「自由時間帯」、「夕食時間帯」、「就寝時間帯」などの時間帯のうちのいずれかに、予め用意された時間割表に基づいて分類してもよい。そして、この時刻を、分類した時間帯と置き換えてもよい。または、分類した時間帯を時刻データ６１５に追記してもよい。より正確に分類するために、時間割表を曜日ごとに用意し、時刻データ６１５を取得した曜日に応じた時間割表に基づいて時間を分類してもよい。
　そのほか、データセット生成部２０Ｂは、気象データ６１３に示される最高気温および最低気温から温度差を算出し、気象データ６１３に追記してもよい。
　また、被介護者８１ａ以外の被介護者８１（８１ｂ、…）が動作を行った場合も同様に、上記の処理および作業によって被介護者８１ｂ、…それぞれのデータセット６２が生成され、それぞれのユーザコードと対応付けられてデータセット記憶部２０Ｃに記憶される。
　〔推論モデルの生成〕
　図１０は、推論モデル６８のテストの処理の流れの例を示す図である。
　ある１人の被介護者８１のデータセット６２が一定の組数（例えば、１０００組）以上、データセット記憶部２０Ｃに記憶されると、機械学習処理部２０Ｄは、これらのデータセット６２に基づいて機械学習を行うことによって、その被介護者８１の推論モデルを生成する。以下、被介護者８１ａの推論モデルを生成する場合を例に説明する。
　機械学習処理部２０Ｄは、被介護者８１ａのユーザコードに対応付けられたデータセット６２をデータセット記憶部２０Ｃから読み出す。これらのデータセット６２のうちの所定の割合分（例えば、７０％分）が学習データとして使用され、残り（例えば、３０％分）がテストデータとして使用される。以下、学習データとして使用するデータセット６２を「学習データ６Ａ」と記載し、テストデータとして使用するデータセット６２を「テストデータ６Ｂ」と記載する。
　機械学習処理部２０Ｄは、学習データ６Ａそれぞれを構成するデータのうちの思考データ６１７を目的変数（正解データ、ラベル）として用いかつ残りのデータすなわち空間状況データ６１２、気象データ６１３、現在地データ６１４、時刻データ６１５、および生体データ６１６を説明変数（入力データ）として用いることによって、公知の機械学習アルゴリズムに基づいて推論モデル６８を生成する。例えば、ＳＶＭ（Support Vector Machine）、ランダムフォレスト、またはディープラーニングなどの機械学習アルゴリズムによって推論モデル６８を生成する。または、ＳＶＭおよびＢＯＲＵＴＡの両方を使用して推論モデル６８を生成してもよい。
　精度テスト部２０Ｅは、推論モデル６８が生成されると、テストデータ６Ｂを用いて推論モデル６８の精度をテストする。すなわち、図１０のように、あるテストデータ６Ｂの空間状況データ６１２、気象データ６１３、現在地データ６１４、時刻データ６１５、生体データ６１６、および動作パターンデータ６１８を対象データとして推論モデル６８に入力することによって、被介護者が伝えたい思考を推論する（＃８０１、＃８０２）。具体的には、前述の様々な思考候補のうちのいずれか１つが推論結果として出力される。ただし、推論モデル６８がディープラーニングによって生成された場合は、思考候補ごとに１つずつ出力ノードがあるので、最も大きい値を出力する出力ノードの思考候補が被介護者の伝えたい思考であると推論する。後述する推論処理部２０Ｈにおいても同様である。
　精度テスト部２０Ｅは、推論した思考（思考候補）と思考データ６１７に示される正解思考とが一致しているか否かを判別する（＃８０３）。他のテストデータ６Ｂについても同様に、ステップ＃８０１～＃８０３の処理を実行する。
　そして、ステップ＃８０１～＃８０３の処理を実施した回数に対する、ステップ＃８０３において正解思考と推論した思考とが一致した回数が所定の割合（例えば、９割）以上であれば、精度テスト部２０Ｅは、推論モデル６８を合格であると認証し、被介護者８１ａのユーザコードと対応付けられて推論モデル記憶部２０２に記憶される。これにより、被介護者８１ａの思考を推論するための準備が完了する。
　一方、所定の割合未満であれば、精度テスト部２０Ｅは推論モデル６８を破棄し、データセット６２の収集を継続させる。または、管理者が、対象データ（空間状況データ６１２、気象データ６１３、現在地データ６１４、時刻データ６１５、生体データ６１６、および動作パターンデータ６１８）それぞれを構成する項目のうちのいずれかの項目（例えば、気象データ６１３の天気、または、現在地データ６１４の位置属性）の重みパラメータの値を変更し、または、いずれかの項目（例えば、気象データ６１３の雲量、または現在地データ６１４の緯度、経度）を削除するなどして対象データを調整し、テストをやり直してもよい。
　被介護者８１ａ以外の被介護者８１（８１ｂ、…）の推論モデル６８も同様の方法によって生成され、それぞれのユーザコードと対応付けられて推論モデル記憶部２０２に記憶される。
　〔思考の推論〕
　図１２は、生データ６３の例を示す図である。図１３は、推論の処理の流れの例を示す図である。図１４は、推論結果画面７２の例を示す図である。
　データセット記憶部２０Ｃに、ある１人の被介護者８１の推論モデル６８が記憶されると、介護支援サーバ２の推論部２０３および介護者用端末装置３のクライアント部３０２によってその被介護者被介護者８１の思考の推論が可能になる。以下、被介護者８１ａが介護者８２ａによって介護されている際に被介護者８１ａをビデオカメラ４１で撮影して被介護者８１ａの思考を推論する場合を例に、推論方法について説明する。
　介護者８２ａは、自分の介護者用端末装置３に予めクライアントプログラム３Ｐを起動させておき、モードを推論モードに設定しておく。すると、クライアント部３０２がアクティブになる。クライアント部３０２は、図５のように、動画像データ抽出部３０Ｆ、環境データ取得部３０Ｇ、生体データ取得部３０Ｈ、生データ送信部３０Ｊ、および推論結果出力部３０Ｋによって構成される。
　被介護者８１ａが介護者８２ａへ思考を伝えるために動作を行うと、データ収集の際と同様に、被介護者８１ａの近隣に設置されているビデオカメラ４１によって、被介護者８１ａの動作が撮影されるとともに、被介護者８１ａの周囲の音声が集音される。これにより、動画像音声データ６０１が生成される。そして、動画像音声データ６０１がビデオカメラ４１から出力され介護者８２ａの介護者用端末装置３に入力される。
　介護者用端末装置３において、データ収集モードが設定されている場合に動画像音声データ６０１がビデオカメラ４１から入力されると、動画像データ抽出部３０Ｆ、環境データ取得部３０Ｇ、生体データ取得部３０Ｈ、および生データ送信部３０Ｊによって次のように処理が行われる。
　動画像データ抽出部３０Ｆは、今回入力された動画像音声データ６０１の中から動画像の部分のデータを動画像データ６３１として抽出する。つまり、データ提供部３０１の動画像データ抽出部３０Ａと同様に、音声の部分のデータをカットする。
　環境データ取得部３０Ｇは、環境データ取得部３０Ｂによる処理の方法と同様の方法で、次のデータを取得する。現在の温度などを測定するように被介護者８１ａの近隣の室内測定器４２へ指令することによって、現在の温度、湿度、気圧、照度、ＵＶ量、および花粉量などを示す空間状況データ６３２を取得する。被介護者８１ａが現在居る地域の現時点における天気、雲量、風向き、および風速の情報のほかその地域の当日の最高気温および最低気温などの情報を示す気象データ６３３をウェブサイトから取得する。ＧＰＳ機能またはｉＢｅａｃｏｎによって、被介護者８１ａの現在地の緯度および経度ならびに位置属性を示す現在地データ６３４を取得する。ＳＮＴＰサーバなどから現在の時刻を示す時刻データ６３５を取得する。
　生体データ取得部３０Ｈは、生体データ取得部３０Ｃによる処理の方法と同様の方法で、被介護者８１ａの現在の心拍、脈波、血中酸素濃度、血圧、心電位、体温、筋電位、および発汗量などの生体情報を示す生体データ６３６を被介護者８１ａの生体測定装置４４から取得する。
　生データ送信部３０Ｊは、動画像データ６３１、空間状況データ６３２、気象データ６３３、現在地データ６３４、時刻データ６３５、および生体データ６３６を被介護者８１ａのユーザコードと対応付けて図１２のような１組の生データ６３として介護支援サーバ２へ送信する。
　介護支援サーバ２において、推論部２０３は、図３のように動作パターン判別部２０Ｆ、対象データ生成部２０Ｇ、推論処理部２０Ｈ、および推論結果回答部２０Ｊによって構成され、被介護者８１ａの思考を次のように推論する。
　動作パターン判別部２０Ｆは、生データ６３が介護者用端末装置３から送信されてくると、予め定義された複数のパターンのうちの、生データ６３の中の動画像データ６３１に示される動画像に表われる被介護者８１ａの今回の動作がどのパターンに該当するのかを判別する。判別の方法は、動作パターン判別部２０Ａによる判別の方法と同様である。
　対象データ生成部２０Ｇは、動作パターン判別部２０Ｆによる判別結果すなわち判別されたパターンを示す動作パターンデータ６３７を生成し、生データ６３の動画像データ６３１を、生成した動作パターンデータ６３７に置き換えることによって、対象データ６４を生成する。
　推論処理部２０Ｈは、図１３のように、生成された対象データ６４を、被介護者８１ａのユーザコードと対応付けられて推論モデル記憶部２０２に記憶されている推論モデル６８に入力し、推論モデル６８からの出力値を得ることによって、被介護者８１ａの思考を推論する。なお、上述の通り、推論モデル６８がディープラーニングによって生成されたものである場合は、最も大きい値を出力する出力ノードの思考候補が被介護者の思考であると推論する。
　推論結果回答部２０Ｊは、推論処理部２０Ｈによって推論された被介護者８１ａの思考を示す推論結果データ６５を介護者８２ａの介護者用端末装置３へ送信する。
　介護者用端末装置３において、推論結果出力部３０Ｋ（図５参照）は、推論結果データ６５を受信すると、推論結果データ６５に示される思考を表わす文字列を、図１４のような推論結果画面７２でタッチパネルディスプレイ３４に表示するとともに、この思考を表わす音声を音声処理ユニット３９によって再生させる。
　さらに、音声処理ユニット３９によって再生される音声をスマートスピーカ４３に聞かせ、被介護者８１ａの欲求に対処させてもよい。例えば、「暑い」という音声が入力された場合は、スマートスピーカ４３は、被介護者８１ａの居る部屋のエアコンをオンにしたり、設定温度を下げたりする。または、「先生、どこ」という音声が入力された場合は、スマートスピーカ４３は、「先生、どこ」という内容の電子メールを生成し被介護者８１ａの学校の先生へ送信する。
　被介護者８１ａ以外の被介護者８１（８１ｂ、…）の思考も、それぞれの生データ６３および推論モデル６８に基づいて同様の方法によって推論され、推論結果が、それぞれを介護する介護者８２の介護者用端末装置３へ送信される。
　〔介護支援サーバ２の全体的な処理の流れ〕
　図１５は、推論サービスプログラム２Ｐのよる処理の全体的な流れの例を示すフローチャートである。
　次に、介護支援サーバ２における全体的な処理の流れを、フローチャートを参照しながら説明する。
　介護支援サーバ２は、推論サービスプログラム２Ｐに基づいて、図１５のフローチャートに示す手順で処理を実行する。
　データセットの準備のフェーズにおいて、介護支援サーバ２は、介護者用端末装置３から生データ６１（図８参照）を受信し（＃８１１）、生データ６１の中の動画像データ６１１に基づいて被介護者８１の手の軌跡を算出し（＃８１２）、軌跡が表わす動作のパターンを特定する（＃８１３）。なお、生データ６１にはユーザコードが対応付けられている。
　そして、介護支援サーバ２は、特定したパターンを示す動作パターンデータ６１８を生成し（＃８１４）、動画像データ６１１を動作パターンデータ６１８に置き換えることによってデータセット６２（図９参照）を生成し（＃８１５）、このユーザコードと対応付けてデータセット６２を記憶する（＃８１６）。
　介護支援サーバ２は、生データ６１を受信するごとに、ステップ＃８１２～＃８１６の処理を実行する。
　機械学習のフェーズにおいて、介護支援サーバ２は、同一のユーザコードに対応付けられているデータセット６２が所定の組数以上になったら、これらのデータセット６２に基づいて機械学習を行うことによって推論モデル６８を生成する（＃８２１）。そして、推論モデル６８が一定の精度を有することがテストによって確認されたら、このユーザコードと対応付けて推論モデル６８を記憶する（＃８２２）。
　推論のフェーズにおいて、介護支援サーバ２は、介護者用端末装置３から生データ６３（図１２参照）を受信すると（＃８３１）、生データ６３の中の動画像データ６３１に基づいて被介護者８１の手の軌跡を算出し（＃８３２）、軌跡が表わす動作のパターンを特定する（＃８３３）。なお、生データ６３にはユーザコードが対応付けられている。
　介護支援サーバ２は、特定したパターンを示す動作パターンデータ６３７を生成し（＃８３４）、動画像データ６３１を動作パターンデータ６３７に置き換えることによって対象データ６４を生成する（＃８３５）。
　そして、介護支援サーバ２は、対象データ６４を、このユーザコードに対応付けられている推論モデル６８に入力することによって被介護者８１の思考を推論し（＃８３６）、推論結果を示す推論結果データ６５を介護者用端末装置３へ返信する（＃８３７）。すると、介護者用端末装置３において推論結果が文字列または音声によって出力される。
　介護支援サーバ２は、生データ６３を受信するごとに、ステップ＃８３２～＃８３７の処理を実行する。
　本実施形態によると、被介護者８１が欲求することまたは伝達したいことなどの思考がある場合に、介護者８２がいなくても、その思考を推論し出力することができる。よって、被介護者８１は、介護者８２への負担を従来よりも軽減しつつ、ＩＣＴ装置を使用することができる。被介護者８１が重度心身障害児者または認知症患者等であっても、従来よりも容易にＩＣＴ装置を使用することができる。
　〔変形例〕
図１６は、介護支援サーバ２の機能的構成の変形例を示す図である。図１７は、介護者用端末装置３の機能的構成の変形例を示す図である。図１８は、イベントテーブル６０５の例を示す図である。図１９は、選択肢リスト７３２の変形例を示す図である。図２０は、説明変数テーブル６０６の例を示す図である。
　本実施形態では、介護支援サーバ２は、データセット６２すなわち図９に示した項目のデータを学習データとして用いて機械学習を行ったが、さらに他の項目のデータをデータセット６２に加えて機械学習を行ってもよい。推論も同様である。
　例えば、介護支援サーバ２は、被介護者８１の現在地の３軸の地磁気および３軸の加速度を示すデータをデータセット６２および対象データ６４それぞれに含めて機械学習および推論を行ってもよい。
　本実施形態では、データセット６２および対象データ６４には、それぞれ、被介護者８１の欲求表出反応を示すデータとして、動作パターンデータ６１８および動作パターンデータ６３７が含まれていた。つまり、被介護者８１の手の動作のパターンを示すデータが含まれており、介護支援サーバ２は、このパターンに基づいて機械学習および推論を行った。しかし、他の欲求表出反応に基づいて機械学習および推論を行ってもよい。例えば、被介護者８１の目の動きのパターン、瞼の動き（開閉）のパターン、音声の高さの変化のパターン、発声の有無、または表情のパターンなどに基づいて機械学習および推論を行ってもよい。または、これらの欲求表出反応の中から任意に選択した複数の欲求表出反応（例えば、手の動作のパターンおよび表情のパターン）に基づいて機械学習および推論を行ってもよい。後に図１６～図２０を用いて説明する変形例においても、同様である。
　なお、目の動き、瞼の動き、および表情は、ビデオカメラ４１または介護者用端末装置３のビデオカメラ３７によって撮影された動画像から抽出すればよい。または、眼鏡型のウェアラブル端末を被介護者８１に掛け、このウェアラブル端末によって目の動きおよび瞼の動きをキャプチャしてもよい。音声の高さおよび発声の有無は、動画像音声データ６０１に含まれる音声データより特定すればよい。
　本実施形態では、介護支援サーバ２は、被介護者８１の手の軌跡を動画像に基づいて特定したが、被介護者８１の手首に装着した生体測定装置４４のジャイロセンサによって取得される姿勢、角速度、または角加速度のデータに基づいて特定してもよい。次に図１６～図２０を用いて説明する変形例においても、同様である。
　介護支援サーバ２は、生データ６１（図８参照）に示されるすべての事項のデータをデータセット６２（図９参照）に含めるのではなく、一部の事項のデータのみをデータセット６２に含めるようにしてもよい。例えば、生データ６１の中の現在地データ６１４、時刻データ６１５、思考データ６１７のほか、空間状況データ６１２のうちの温度および湿度の各データ、気象データ６１３のうちの風向きおよび風速の各データ、ならびに生体データ６１６のうち体温のデータのみが含まれるようにデータセット６２を生成してもよい。
　本実施形態では、介護支援サーバ２は、１人の被介護者８１に対して１つの推論モデル６８を生成したが、１人の被介護者８１に対して時間帯および場所ごとに推論モデル６８を生成してもよい。以下、被介護者８１ａのための推論モデル６８を生成する場合を例に、生成方法を説明する。
　介護支援サーバ２には、推論サービスプログラム２Ｐの代わりに推論サービスプログラム２Ｑがインストールされている。推論サービスプログラム２Ｑによると、図１６に示す学習部２１１、推論モデル記憶部２１２、および推論部２１３の機能が実現される。
　学習部２１１は、動作パターン判別部２１Ａ、データセット生成部２１Ｂ、データセット記憶部２１Ｃ、機械学習処理部２１Ｄ、および精度テスト部２１Ｅによって構成され、推論モデルを生成するための処理を行う。
　推論部２１３は、動作パターン判別部２１Ｆ、対象データ生成部２１Ｇ、推論処理部２１Ｈ、および推論結果回答部２１Ｊによって構成され、思考を推論する処理を行う。
　介護者用端末装置３には、クライアントプログラム３Ｐの代わりにクライアントプログラム３Ｑがインストールされている。クライアントプログラム３Ｑによると、図１７に示すデータ提供部３１１およびクライアント部３１２などの機能が実現される。
　データ提供部３１１は、欲求表出検知部３１Ａ、環境データ取得部３１Ｂ、生体データ取得部３１Ｃ、思考データ生成部３１Ｄ、および生データ送信部３１Ｅによって構成され、介護支援サーバ２へ学習のためのデータを提供する。
　クライアント部３１２は、欲求表出検知部３１Ｆ、環境データ取得部３１Ｇ、生体データ取得部３１Ｈ、生データ送信部３１Ｊ、および推論結果出力部３１Ｋによって構成され、介護支援サーバ２に推論を行わせる。
　被介護者８１ａが自分の欲求などの思考を伝えるために手を動かすと、被介護者８１ａの近隣のビデオカメラ４１によって被介護者８１ａの動作が撮影され音声が集音され、動画像音声データ６０１が介護者８２ａの介護者用端末装置３へ出力される。
　介護者用端末装置３において、欲求表出検知部３１Ａは、データ収集モードの際に動画像音声データ６０１がビデオカメラ４１から入力されると、欲求表出反応が現われたか否かを動画像音声データ６０１に基づいて例えば次のように判別する。
　動画像音声データ６０１に示される手の動作が所定の動作（例えば、２点間を連続的に往復させる動作）であれば、欲求表出反応が現われたと判別する。または、動画像音声データ６０１に示される音声が所定の時間（例えば、２秒）以上続いたら、欲求表出反応が現われたと判別してもよい。
　欲求表出反応が現われたと欲求表出検知部３１Ａによって判別されると、環境データ取得部３１Ｂおよび生体データ取得部３１Ｃによって次の処理が行われる。
　環境データ取得部３１Ｂは、被介護者８１ａの周囲の環境に関するデータすなわち空間状況データ６１２、気象データ６１３、現在地データ６１４、および時刻データ６１５を取得する。取得方法は、環境データ取得部３０Ｂ（図５参照）によるこれらのデータの取得方法と同様である。
　生体データ取得部３１Ｃは、被介護者８１ａの現在の生体情報のデータすなわち生体データ６１６を取得する。取得方法は、生体データ取得部３０Ｃによるデータの取得方法と同様である。
　なお、欲求表出検知部３１Ａは、動画像データ抽出部３０Ａと同様に、動画像音声データ６０１から動画像データ６１１を抽出する。
　思考データ生成部３１Ｄは、被介護者８１ａのイベントテーブル６０５を有する。イベントテーブル６０５には、図１８のように、被介護者８１ａの日常の休憩、給食、授業、自由行動、夕食、風呂、散歩、就寝などのイベント（行事、活動）ごとに、そのイベントが発生する時間帯および場所が示されている。場所は、緯度および経度によって表わされてもよいし、位置属性（例えば、「自宅」、「教室」、「食堂」、「トイレ」など）によって表わされてもよい。さらに、イベントテーブル６０５には、そのイベントの最中に被介護者８１ａに生じる可能性のある複数の思考が思考候補として示される。これらの思考候補は、研究者または開発者が介護者８２ａと相談して予め決められる。なお、思考データ生成部３１Ｄは、他の被介護者８１（８１ｂ、…）それぞれのイベントテーブル６０５も有している。
　思考データ生成部３１Ｄは、被介護者８１ａが伝えたい思考を正解思考として示す思考データ６０７をイベントテーブル６０５などに基づいて次のように生成する。
　思考データ生成部３１Ｄは、現在地データ６１４に示される現在地および時刻データ６１５に示される時刻に対応するイベントをイベントテーブル６０５に基づいて判別する。例えば、現在地データ６１４に「教室」と示され、時刻データ６１５に「１１時５０分」と示される場合は、イベントが「授業」であると判別する。
　思考データ生成部３１Ｄは、イベントを判別すると、思考入力画面７３（図６参照）をタッチパネルディスプレイ３４に表示させる。介護者８２ａがリストボックス７３１をタッチすると、図１９のように、リストボックス７１１の直下に選択肢リスト７３２を配置する。選択肢リスト７３２には、このイベントとイベントテーブル６０５において対応付けられている複数の思考候補が選択肢として配置される。
　介護者８２ａは、被介護者８１ａの動作および様子などに基づいて、配置された複数の思考候補の中から被介護者８１ａが伝えたい思考に一致しまたは最も近いものを判断する。そして、最も近いと判断した思考候補を選択肢リスト７１２の中からタッチして選択し、完了ボタン７１３をタッチする。
　すると、思考データ生成部３１Ｄは、選択された思考候補を正解思考として示す思考データ６０７を生成する。なお、好適な思考候補がない場合は、思考データ生成部３０Ｄと同様に、新たに思考候補を追加できるようにしてもよい。
　生データ送信部３１Ｅは、動画像データ６１１、空間状況データ６１２、気象データ６１３、現在地データ６１４、時刻データ６１５、生体データ６１６、および思考データ６０７を今回のイベントのイベントコードおよび被介護者８１ａのユーザコードと対応付けて１組の生データ６１として介護支援サーバ２へ送信する。
　介護支援サーバ２において、動作パターン判別部２１Ａは、生データ６１が介護者用端末装置３から送信されてくると、生データ６１の中の動画像データ６１１に示される動画像に表われる被介護者８１ａの動作が、予め定義された複数のパターンのうちのどのパターンに該当するのかを判別する。判別方法は、図３の動作パターン判別部２０Ａによる判別の方法と同様である。
　データセット生成部２１Ｂは、データセット生成部２０Ｂと同様に、動作パターン判別部２１Ａによる判別結果に基づいてデータセット６２（図９参照）を生成する。そして、生成したデータセット６２を被介護者８１ａのユーザコードおよび今回のイベントコードと対応付けてデータセット記憶部２１Ｃに記憶させる。
　機械学習処理部２１Ｄは、被介護者８１ａの説明変数テーブル６０６を有する。説明変数テーブル６０６には、図２０のように、被介護者８１ａの日常のイベントごとに、そのイベントについての機械学習に使用する１つまたは複数の説明変数およびそれぞれの重み係数が示されている。これらの説明変数は、空間状況データ６１２、気象データ６１３、生体データ６１６、および動作パターンデータ６１８それぞれに含まれる変数の中から、被介護者８１ａの日頃の様子に基づいて研究者または開発者が介護者８２ａと相談して予め決められる。そのほか、イベントテーブル６０５（図１８参照）と同様、各イベントが発生する時間帯および場所が示されている。なお、機械学習処理部２１Ｄは、他の被介護者８１（８１ｂ、…）それぞれの説明変数テーブル６０６も有している。
　機械学習処理部２１Ｄは、被介護者８１ａのユーザコードに対応付けられ、かつ、同一のイベントコードに対応付けられたデータセット６２が一定の組数（例えば、１００組）以上、データセット記憶部２１Ｃに記憶されると、これらのデータセット６２をデータセット記憶部２１Ｃから読み出す。これらのデータセット６２のうちの所定の割合分が学習データ６Ａとして使用され、残りがテストデータ６Ｂとして使用される。
　機械学習処理部２１Ｄは、学習データ６Ａを用いて公知の機械学習アルゴリズムに基づいて被介護者８１ａのこのイベントの推論モデル６８を生成する。学習データ６Ａそれぞれを構成するデータのうちの思考データ６１７が目的変数として用いられる点は、機械学習処理部２０Ｄによる機械学習と同様である。しかし、空間状況データ６１２、気象データ６１３、現在地データ６１４、時刻データ６１５、生体データ６１６、および動作パターンデータ６１８それぞれに含まれる変数のうち、被介護者８１ａの説明変数テーブル６０６にこのイベントと対応付けられている変数が説明変数として選出されて用いられる。つまり、機械学習処理部２１Ｄは、思考データ６１７および選出した説明変数を示すデータをデータセットとして用いて機械学習を行う。また、この際に、この説明変数テーブル６０６に示される、各変数（説明変数）の重み付け係数が用いられる。
　なお、機械学習において使用する説明変数を、機械学習処理部２１Ｄではなくデータセット生成部２１Ｂが選出してもよい。すなわち、介護者用端末装置３から生データ６１が送信されてくると、データセット生成部２１Ｂは、被介護者８１ａの説明変数テーブル６０６に基づいて、生データ６１のイベントコードに対応する説明変数を生データ６１選出する。そして、思考データ６１７と選出した説明変数のデータとを組み合わせてデータセット６２としてデータセット記憶部２０Ｃに記憶させる。
　精度テスト部２１Ｅは、推論モデル６８が生成されると、テストデータ６Ｂを用いて推論モデル６８の精度をテストする。テスト方法は、精度テスト部２０Ｅによるテストの方法と基本的に同様である。ただし、説明変数テーブル６０６に示される説明変数が用いられる。
　そして、精度テスト部２１Ｅは、推論モデル６８を合格であると認証したら、被介護者８１ａのユーザコードおよびこのイベントのイベントコードと対応付けて推論モデル６８を推論モデル記憶部２１２に記憶させる。
　介護支援サーバ２の推論部２１３の各部および介護者用端末装置３のクライアント部３１２の各部は、被介護者８１の思考を推論するための処理を行う。以下、この処理を、被介護者８１ａの思考を推論する場合を例に説明する。
　介護者用端末装置３において、欲求表出検知部３１Ｆは、推論モードの際に動画像音声データ６０１がビデオカメラ４１から入力されると、欲求表出反応が現われたか否かを動画像音声データ６０１に基づいて判別する。判別方法は、欲求表出検知部３１Ａにおける判別の方法と同様である。さらに、欲求表出検知部３１Ｆは、動画像データ抽出部３０Ｆ（図３参照）と同様に、動画像データ６３１を抽出する。
　欲求表出反応が現われたと判別されると、環境データ取得部３１Ｇおよび生体データ取得部３１Ｈは次の処理を行う。
　環境データ取得部３１Ｇは、環境データ取得部３０Ｂによる処理の方法と同様の方法で空間状況データ６３２、気象データ６３３、現在地データ６３４、および時刻データ６３５を取得する。
　生体データ取得部３１Ｈは、生体データ取得部３０Ｃによる処理の方法と同様の方法で生体データ６３６を取得する。
　生データ送信部３１Ｊは、動画像データ６３１、空間状況データ６３２、気象データ６３３、現在地データ６３４、時刻データ６３５、および生体データ６３６を被介護者８１ａのユーザコードと対応付けて１組の生データ６１として介護支援サーバ２へ送信する。
　介護支援サーバ２において、動作パターン判別部２１Ｆは、動作パターン判別部２０Ａと同様の方法で、被介護者８１ａの動作がどのパターンに該当するのかを判別する。
　対象データ生成部２１Ｇは、動作パターン判別部２１Ｆによる判別結果を示す動作パターンデータ６３７を生成し、生データ６１の動画像データ６３１を、生成した動作パターンデータ６３７に置き換えることによって、対象データ６４を生成する。
　推論処理部２１Ｈは、機械学習処理部２１Ｄと同様に、説明変数テーブル６０６（図２０参照）を有する。
　推論処理部２１Ｈは、対象データ６４の中の現在地データ６３４に示される現在地および時刻データ６３５に示される時刻に対応するイベントを説明変数テーブル６０６に基づいて判別する。例えば、現在地データ６３４に「教室」と示され、時刻データ６３５に「１１時５５分」と示される場合は、イベントが「休憩」であると判別する。
　推論処理部２１Ｈは、対象データ６４の中の判別したイベントに対応する思考候補の値を、被介護者８１ａのユーザコードおよびこのイベントのイベントコードに対応する推論モデル６８に入力し、推論モデル６８からの出力値を得ることによって、被介護者８１ａの思考を推論する。
　推論結果回答部２１Ｊは、推論処理部２１Ｈによって推論された被介護者８１ａの思考を示すデータを推論結果データ６５として介護者８２ａの介護者用端末装置３へ送信する。
　介護者用端末装置３において、推論結果出力部３１Ｋは、推論結果データ６５を受信すると、推論結果データ６５に示される思考を表わす文字列を、推論結果画面７２（図１４参照）でタッチパネルディスプレイ３４に表示するとともに、この思考を表わす音声を音声処理ユニット３９によって再生させる。そして、この音声をスマートスピーカ４３に聞かせることによって、被介護者８１ａの欲求に対処させてもよい。
　介護者用端末装置３において、推論結果出力部３１Ｋ（図１７参照）は、推論結果データ６５を受信すると、推論結果データ６５に示される思考を表わす文字列をタッチパネルディスプレイ３４に表示するとともに、この思考を表わす音声を音声処理ユニット３９によって再生させる。
　被介護者８１ａ以外の被介護者８１（８１ｂ、…）の思考も、それぞれの対象データ６４および推論モデル６８に基づいて同様の方法によって推論され、推論結果が、それぞれを介護する介護者８２の介護者用端末装置３へ送信される。
　このような、使用する説明変数をイベントごとに予め選出して機械学習を実行する方法によると、イベントごとにフィットした推論モデル６８を生成することができ、推論の精度を向上させることができる。発明者がこの方法を案出することができた大きな要因の１つは、上述の種々の変数の中から欲求表出反応との相関関係の高いものを実験によって特定することできた点である。
　発明者は、被介護者８１の思考と被介護者８１の環境または身体に関する種々の変数（温度、湿度、気圧、照度、ＵＶ量、花粉量、天気、雲量、風向き、風速、最高気温、最低気温、日照時間、温度差、現在地、時刻、時間帯、３軸地磁気、３軸加速度、心拍、脈波、血中酸素濃度、血圧、体温、発汗量、心電位、筋電位、動作パターン、目の動き、瞼の動き、音声の高さの変化、発声の有無、表情パターンなど）との相関関係を実験によって算出した。その結果、特に、現在地すなわち場所が異なれば被介護者８１の思考が変わりやすく、かつ、時刻または時間帯が異なれば被介護者８１の思考が変わりやすいことが、分かった。つまり、場所および時間が欲求表出反応との相関関係が大きいことが分かった。
　また、発明者は、場所および時間の組合せが被介護者８１の日常のイベントに対応していることを特定することができた。そこで、上に述べた変形例のように、場所および時間の組合せすなわちイベントごとに推論モデル６８を生成することができた。
　さらに、実験の結果、発明者は、これらの種々の変数のうち欲求表出反応との相関関係が大きいものが、場所または時間に応じて異なることが分かった。機械学習において使用する説明変数の例を幾つかイベントテーブル６０５（図１８参照）および説明変数テーブル６０６（図２０）に示したが、これらの例は、発明者が、ある養護学校で実験し調査した結果に基づいて選出されたものである。機械学習で使用する説明変数は、被介護者８１の文脈（環境）に応じて、被介護者８１ごとに設定すればよい。例えば、被介護者８１が誰かを呼ぶ機会があるイベントの説明変数として、血中酸素濃度を含めてもよい。特に、被介護者８１が人工呼吸器を付けている場合に好適である。
　図３、図５、図１６、図１７の例では、生データ６１からデータセット６２を生成する処理を介護支援サーバ２が行ったが、介護者用端末装置３が行ってもよい。同様に、生データ６３から対象データ６４を生成する処理を介護者用端末装置３が行ってもよい。
　図３、図１６の例では、機械学習および推論を介護支援サーバ２が行ったが、それぞれ別のサーバが行ってもよい。例えば、機械学習を機械学習サーバが行い、推論を推論サーバが行ってもよい。この場合は、機械学習サーバは、推論モデル６８を生成したら、推論モデル６８を推論サーバへ送信し、推論サーバにインストールする。または、推論モデル６８がディープラーニングによって生成された学習済みモデルである場合は、推論モデル６８のパラメータのみを推論サーバへ送信し、推論サーバに用意されている推論モデルにパラメータを適用してもよい。介護者用端末装置３は、生データ６１を機械学習サーバへ送信し、生データ６３を推論サーバへ送信する。
　図３、図１６の例では、データセット６２を介護支援サーバ２に記憶させたが、他のサーバに記憶させてもよい。例えば、国立研究開発法人情報通信研究機構（ＮＩＣＴ）のＪＧＮ（Japan Gigabit Network）などのクラウドサーバに記憶させてもよい。また、機械学習は、機械学習エンジンを有するクラウドサーバに実行させてもよい。
　本実施形態では、推論モデル６８を１人の被介護者８１ごとに生成し使い分けたが、共通の推論モデル６８を生成し複数の被介護者８１で共用してもよい。
　その他、思考推論システム１、介護支援サーバ２、介護者用端末装置３の全体または各部の構成、処理の内容、処理の順序、データセットの構成などは、本発明の趣旨に沿って適宜変更することができる。

Claims (13)

  1. 　発話困難者の身体の第一の反応があった際の第一のコンディションおよび当該第一の反応があった際に当該発話困難者が有する第一の思考を示すデータセットを複数組、取得する、データセット取得手段と、
    　複数組の前記データセットそれぞれに示される前記第一のコンディションを説明変数として使用しかつ前記第一の思考を目的変数として使用して機械学習を行うことによって推論モデルを生成する推論モデル生成手段と、
    　第二の反応があった際の第二のコンディションを示す入力データを前記推論モデルに入力することによって、当該第二の反応があった際の第二の思考を推論する、推論手段と、
    　前記第二の思考を出力する出力手段と、
    　を有する、
    　ことを特徴とする思考推論システム。
  2. 　発話困難者の身体の反応があった際のコンディションおよび当該反応があった際に当該発話困難者が有する思考を示すデータセットを複数組、取得する、データセット取得手段と、
    　複数組の前記データセットそれぞれに示される前記コンディションを説明変数として使用しかつ前記思考を目的変数として使用して機械学習を行うことによって推論モデルを生成する推論モデル生成手段と、
    　を有することを特徴とする推論モデル生成システム。
  3. 　前記データセット取得手段は、時間帯と場所との組合せごとに、当該組合せに応じて前記コンディションとして予め決められた事項の情報を示すデータを前記データセットとして取得し、
    　前記推論モデル生成手段は、前記組合せごとに、当該組合せのために取得された前記データセットを使用して前記推論モデルを生成する、
    　請求項２に記載の推論モデル生成システム。
  4. 　前記データセット取得手段は、前記組合せごとに、前記事項の情報として前記反応があった際の前記発話困難者の生体情報または周囲の状態を示すデータを前記データセットとして取得する、
    　請求項３に記載の推論モデル生成システム。
  5. 　前記データセット取得手段は、前記周囲の状態として気候を示すデータを前記データセットとして取得する、
    　請求項４に記載の推論モデル生成システム。
  6. 　前記推論モデル生成手段は、前記事項ごとに設定された重み付け係数を用いて前記推論モデルを生成する、
    　請求項３ないし請求項５のいずれかに記載の推論モデル生成システム。
  7. 　前記データセット取得手段は、前記組合せごとに予め用意された複数の思考候補のうちの前記発話困難者を介護する者が前記反応に基づいて選択した思考候補を前記思考として示すデータを前記データセットとして取得する、
    　請求項３ないし請求項６のいずれかに記載の推論モデル生成システム。
  8. 　前記データセット取得手段は、前記反応、前記コンディション、および前記思考を示すデータを前記データセットとして取得し、
    　前記推論モデル生成手段は、前記反応をさらに前記説明変数として使用して前記推論モデルを生成する、
    　請求項２ないし請求項７のいずれかに記載の推論モデル生成システム。
  9. 　前記データセット取得手段は、前記反応があった際の時間帯、場所、前記発話困難者の生体情報、および周囲の状態を示すデータを前記データセットとして取得する、
    　請求項２に記載の推論モデル生成システム。
  10. 　請求項２ないし請求項９のいずれかに記載の推論モデル生成システムによって生成された推論モデルに、第二の反応があった際の第二のコンディションを示す入力データを入力することによって、当該第二の反応があった際の第二の思考を推論する、推論手段と、
    　前記第二の思考を出力する出力手段と、
    　を有する、
    　ことを特徴とする思考推論装置。
  11. 　発話困難者の身体の反応があった際のコンディションおよび当該反応があった際に当該発話困難者が有する思考を示すデータセットを複数組、取得し、
    　複数組の前記データセットそれぞれに示される前記コンディションを説明変数として使用しかつ前記思考を目的変数として使用して機械学習を行うことによって推論モデルを生成する、
    　ことを特徴とする推論モデル生成方法。
  12. 　発話困難者の身体の反応があった際のコンディションおよび当該反応があった際に当該発話困難者が有する思考を示すデータセットを複数組、取得する処理をコンピュータに実行させ、
    　複数組の前記データセットそれぞれに示される前記コンディションを説明変数として使用しかつ前記思考を目的変数として使用して機械学習を行うことによって推論モデルを生成する処理を前記コンピュータに実行させる、
    　ことを特徴とするコンピュータプログラム。
  13. 　請求項２ないし請求項９のいずれかに記載の推論モデル生成システムによって生成された推論モデル。
PCT/JP2021/034867 2020-09-23 2021-09-22 思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、コンピュータプログラム、および推論モデル WO2022065386A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022552045A JPWO2022065386A5 (ja) 2021-09-22 思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、およびコンピュータプログラム
US18/178,922 US20230206097A1 (en) 2020-09-23 2023-03-06 Thought inference system, inference model generation system, thought inference device, inference model generation method, and non-transitory computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-158438 2020-09-23
JP2020158438 2020-09-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/178,922 Continuation US20230206097A1 (en) 2020-09-23 2023-03-06 Thought inference system, inference model generation system, thought inference device, inference model generation method, and non-transitory computer readable storage medium

Publications (1)

Publication Number Publication Date
WO2022065386A1 true WO2022065386A1 (ja) 2022-03-31

Family

ID=80846587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034867 WO2022065386A1 (ja) 2020-09-23 2021-09-22 思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、コンピュータプログラム、および推論モデル

Country Status (2)

Country Link
US (1) US20230206097A1 (ja)
WO (1) WO2022065386A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012059107A (ja) * 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
JP2018142259A (ja) * 2017-02-28 2018-09-13 オムロン株式会社 作業管理装置、方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012059107A (ja) * 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
JP2018142259A (ja) * 2017-02-28 2018-09-13 オムロン株式会社 作業管理装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSHIYA FURUKAWA, TOMONORI FANTA, YOSHIHIRO YAGI, SHUICHIRO SENBA, TATSUO SAEKI, EIKO OHNISHI: "Development of desire estimation system for severe motility disabilities -Verifying accuracy of the app for recording supporter's interpretation of desires", CORRESPONDENCES ON HUMAN INTERFACE, vol. 22, no. 2, 26 March 2020 (2020-03-26), JP , pages 47 - 50, XP009535383, ISSN: 2185-9329 *

Also Published As

Publication number Publication date
JPWO2022065386A1 (ja) 2022-03-31
US20230206097A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
JP7149492B2 (ja) 文脈依存性ユーザインタフェースを備えた筋電位（ｅｍｇ）支援通信デバイス
US11237635B2 (en) Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
CN110780707B (zh) 信息处理设备、信息处理方法与计算机可读介质
CN109074117A (zh) 用于提升记忆力与作决策的以个人情绪为基础的计算机可读取认知感觉内存储器及认知洞察力
US10504379B2 (en) System and method for generating an adaptive embodied conversational agent configured to provide interactive virtual coaching to a subject
CN107658016B (zh) 用于老年保健陪伴的Nounou智能监护***
JP7010000B2 (ja) 情報処理装置及びプログラム
AU2022268375B2 (en) Multiple switching electromyography (emg) assistive communications device
JP2021506052A (ja) コミュニケーション方法及びシステム
Cooper et al. Social robotic application to support active and healthy ageing
Chen et al. Human-robot interaction based on cloud computing infrastructure for senior companion
WO2022065386A1 (ja) 思考推論システム、推論モデル生成システム、思考推論装置、推論モデル生成方法、コンピュータプログラム、および推論モデル
Quintas Context-based human-machine interaction framework for arti ficial social companions
Mansouri Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
US11853478B2 (en) Multi-modal switching controller for communication and control
Yang et al. RoCoSense: Integrating Robotics, Smart Clothing and Big Data Clouds for Emotion Sensing
Awada et al. An Integrated System for Improved Assisted Living of Elderly People
WO2023079970A1 (ja) 情報処理方法、情報処理システム及び情報処理装置
Qiao et al. An inertial sensor-based system to develop motor capacity in children with cerebral palsy
Umut et al. Novel Wearable System to Recognize Sign Language in Real Time
Flutura Mobile social signal interpretation in the wild for wellbeing
CN112489797A (zh) 一种陪护方法、装置及终端设备
JP2023530259A (ja) 被験者の睡眠を誘発するためのシステム及び方法
Krishna Mediated social interpersonal communication: evidence-based understanding of multimedia solutions for enriching social situational awareness

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872515

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022552045

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21872515

Country of ref document: EP

Kind code of ref document: A1