WO2021144931A1 - データ入力支援装置 - Google Patents
データ入力支援装置 Download PDFInfo
- Publication number
- WO2021144931A1 WO2021144931A1 PCT/JP2020/001343 JP2020001343W WO2021144931A1 WO 2021144931 A1 WO2021144931 A1 WO 2021144931A1 JP 2020001343 W JP2020001343 W JP 2020001343W WO 2021144931 A1 WO2021144931 A1 WO 2021144931A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- voice
- user
- text
- input
- output terminal
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 120
- 230000008569 process Effects 0.000 claims abstract description 107
- 238000012790 confirmation Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims description 170
- 238000006243 chemical reaction Methods 0.000 claims description 131
- 230000007774 longterm Effects 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 16
- 230000000474 nursing effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013479 data entry Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 27
- 230000036760 body temperature Effects 0.000 description 61
- 235000013305 food Nutrition 0.000 description 15
- 241001562081 Ikeda Species 0.000 description 14
- 235000012046 side dish Nutrition 0.000 description 12
- 238000013500 data storage Methods 0.000 description 10
- 230000036772 blood pressure Effects 0.000 description 6
- 230000029142 excretion Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 235000012054 meals Nutrition 0.000 description 5
- 235000014347 soups Nutrition 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000013872 defecation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 235000012631 food intake Nutrition 0.000 description 3
- 230000037406 food intake Effects 0.000 description 3
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 3
- 230000027939 micturition Effects 0.000 description 3
- 235000021152 breakfast Nutrition 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 241001122767 Theaceae Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 235000018823 dietary intake Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004617 sleep duration Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
Definitions
- the present invention relates to a data input support device in, for example, a pay nursing home with nursing care, a special elderly nursing home, a nursing care facility for the elderly, a home care service provider, and the like, and in particular, data input using voice.
- a data input support device in, for example, a pay nursing home with nursing care, a special elderly nursing home, a nursing care facility for the elderly, a home care service provider, and the like, and in particular, data input using voice.
- a data input support device in, for example, a pay nursing home with nursing care, a special elderly nursing home, a nursing care facility for the elderly, a home care service provider, and the like, and in particular, data input using voice.
- care staff go to the room where each user is accommodated, visually or visually confirm the event to be collected, and then obtain it in this way. It is customary to manually input data using an information processing device such as a laptop computer or tablet.
- the present invention has been made in view of the above-mentioned technical background, and the main object thereof is to make a mistake of a user who is a target of data input while maintaining the ease of input operation by voice.
- the purpose is to provide data input support devices, methods, systems, and computer programs in elderly care facilities that can ensure the reliability of input data without them.
- a data input support device a method, a system, and a computer program in a nursing care facility for the elderly, which have the following configurations.
- the data input support device in the elderly care facility is A voice input / output terminal that is portable to caregivers and has a built-in microphone, speaker, and communication function.
- the user information holding department that holds user information about the users of the elderly care facility
- the long-term care necessary information holding department that holds at least the long-term care necessary information about the users of the elderly care facility
- a voice / text / conversion unit that converts speech voice data into the corresponding text data according to a conversion model generated by learning of known input / output relationships.
- a text / voice / conversion unit that converts text data into corresponding speech voice data according to a conversion model generated by learning of known input / output relationships.
- a text decoding unit that decodes the content of the text by analyzing the obtained text data according to a dialogue model obtained by learning a known dialogue.
- the decoding result in the text decoding unit is an input request command or a confirmation request command related to the long-term care necessary information of one user, the user-specific word used to identify one user who is the target of the command processing.
- a target person determination processing unit that determines one user to be command processed, and a target person determination processing unit.
- the command execution unit that executes the processing specified by the input request command or the confirmation request command with respect to the long-term care necessary information holding unit is included.
- the target person determination processing unit When the "user-specific word" is composed of only a "last name” (or "first name”), the "user-specific word” is used as a search key in the user information of the user information holding unit.
- the "first name” of each user is automatically generated and transmitted to the voice input / output terminal via the text / voice / conversion unit, and then the voice / text conversion unit.
- the target person to be command processed is determined based on the "first name" (or "last name") included in the text data returned from the voice input / output terminal via the voice input / output terminal.
- the target person confirmation processing unit In the user information of the user information holding unit, the user search process using the "user specific word" as a search key is executed, and as a result, the number of hit users is two or more. And when there are people with the same surname and the same name among those users, text data corresponding to the selection request speech sound including the "room number" of each user is automatically generated, and via the text / voice / conversion unit. Is transmitted to the voice input / output terminal, and then the command is processed based on the "room number" included in the text data returned from the voice input / output terminal via the voice / text conversion unit. It may be something that determines the target person.
- the target person confirmation processing unit In the user information of the user information holding unit, when the user search process using the "user specific word" as a search key is executed and the number of hit users is 0 as a result, it corresponds to the case. Text data corresponding to a speech sound indicating that the user is not found may be automatically generated and transmitted to the voice input / output terminal via the text / voice / conversion unit.
- the command execution unit When the decoding result in the text decoding unit is an input request command related to the long-term care necessary information of one user, it is received from the voice input / output terminal via the voice / text conversion unit and the text analysis unit.
- the long-term care necessary information may be written in the fixed target person area in the long-term care necessary information holding unit.
- the command execution unit When the decoding result in the text decoding unit is the confirmation request command regarding the long-term care necessary information of the user 1, the long-term care necessary data read from the designated fixed target person area in the long-term care necessary information holding unit is referred to as the text /. It may be transmitted to a voice input / output terminal via a voice / conversion unit.
- the present invention viewed from another aspect can also be grasped as a data input support method in a nursing care facility for the elderly.
- the data input support method in the elderly care facility according to the present invention is A voice input / output terminal that is portable to caregivers and has a built-in microphone, speaker, and communication function.
- the user information holding department that holds user information about the users of the elderly care facility
- the long-term care necessary information holding department that holds the long-term care necessary information about the users of the elderly care facility
- a voice / text / conversion unit that converts speech voice data into the corresponding text data according to a conversion model generated by learning of known input / output relationships.
- the decoding result in the text decoding step is an input request command or a confirmation request command related to the long-term care necessary information of one user, the user-specific word used to identify one user who is the target of the command processing.
- a target person determination step of determining one user to be command processed Based on the user information and the result of dialogue processing with the care staff via the voice output terminal, a target person determination step of determining one user to be command processed, and a target person determination step.
- the command execution step of executing the processing specified by the input request command or the confirmation request command for the long-term care necessary information holding unit is included.
- the target person determination processing step is When the "user-specific word" is composed of only a "last name" (or "first name”), the "user-specific word" is used as a search key in the user information of the user information holding unit.
- the "first name” of each user is automatically generated and transmitted to the voice input / output terminal via the text / voice / conversion unit, and then the voice / text conversion unit.
- the target person to be command processed is determined based on the "first name" (or "last name") included in the text data returned from the voice input / output terminal via the voice input / output terminal.
- the present invention can be grasped as a data input support system in a nursing care facility for the elderly.
- the data input support system in the elderly care facility according to the present invention is A voice input / output terminal that is portable to the care staff, has a microphone and a speaker, and has a wireless network connection function.
- a user information holding server on the network that holds user information about the users of the elderly care facility A long-term care necessary information holding server on the network that holds long-term care necessary information about users of the elderly care facility,
- a voice / text conversion server on the network that converts speech voice data into the corresponding text data according to a conversion model generated by learning of known input / output relationships.
- a text / voice / conversion server on the network that converts text data into the corresponding speech voice data according to a conversion model generated by learning of known input / output relationships. Obtained by converting the speech voice data acquired through communication with the voice input / output terminal and generated by the care worker speaking to the microphone via the voice / text / conversion unit.
- a text decoding server on a network that decodes the content of the text by analyzing the obtained text data according to a dialogue model obtained by learning a known dialogue.
- the decoding result in the text decoding server is an input request command or a confirmation request command related to the care necessary information of one user, the user-specific word used to identify one user who is the target of the command processing.
- a target person determination processing server that determines one user to be command processed, and a target person determination processing server.
- the command execution unit that executes the processing specified by the input request command or the confirmation request command with respect to the long-term care necessary information holding unit is included.
- the target person confirmation processing server is When the "user-specific word" is composed of only a "last name" (or "first name”), the "user-specific word” is used as a search key in the user information of the user information holding unit.
- the "first name” of each user is automatically generated and transmitted to the voice input / output terminal via the text / voice / conversion unit, and then the voice / text conversion unit.
- the target person to be command processed is determined based on the "first name" (or "last name") included in the text data returned from the voice input / output terminal via the voice input / output terminal.
- the present invention seen from another aspect can also be grasped as a computer program.
- the computer program according to the present invention is A voice input / output terminal that is portable to caregivers and has a built-in microphone, speaker, and communication function.
- the user information holding department that holds user information about the users of the elderly care facility
- the vital information holding department that holds vital information about the users of the elderly care facility
- a voice / text / conversion unit that converts speech voice data into the corresponding text data according to a conversion model generated by learning of known input / output relationships.
- a data input support device in a nursing home for the elderly including a text / voice / conversion unit that converts text data into corresponding speech voice data according to a conversion model generated by learning of known input / output relationships.
- Computer Obtained by converting the speech voice data acquired through communication with the voice input / output terminal and generated by the care worker speaking to the microphone via the voice / text / conversion unit.
- a text decoding unit that decodes the content of the text by analyzing the obtained text data according to a dialogue model obtained by learning a known dialogue.
- the decoding result in the text decoding unit is an input request command or a confirmation request command related to the long-term care necessary information of one user, the user-specific word used to identify one user who is the target of the command processing.
- a target person determination processing unit Based on the user information and the result of dialogue processing with the care staff via the voice output terminal, a target person determination processing unit that determines one user to be command processed, and a target person determination processing unit.
- the command execution unit that executes the processing specified by the input request command or the confirmation request command with respect to the long-term care necessary information holding unit is included.
- the target person determination processing unit When the "user-specific word" is composed of only a "last name” (or "first name”), the "user-specific word” is used as a search key in the user information of the user information holding unit.
- the "first name" of each user ( Or, text data corresponding to the selection request speech sound including "last name) is automatically generated and transmitted to the voice input / output terminal via the text / voice / conversion unit, and then the voice / text conversion unit. It functions as a device for determining a target person to be command processed based on a "first name" (or "last name") included in the text data returned from the voice input / output terminal via the voice input / output terminal.
- the present invention seen from another aspect can also be grasped as a computer program.
- the computer program according to the present invention is A voice input / output terminal that is portable to the care staff, has a microphone and a speaker, and has a wireless network connection function.
- a user information holding server on the network that holds user information about the users of the elderly care facility A long-term care necessary information holding server on the network that holds long-term care necessary information about users of the elderly care facility,
- a voice / text conversion server on the network that converts speech voice data into the corresponding text data according to a conversion model generated by learning of known input / output relationships.
- a data input support system in an elderly care facility that has a text / voice / conversion server on the network that converts text data into corresponding speech voice data according to a conversion model generated by learning of known input / output relationships.
- Computer Obtained by converting the speech voice data acquired through communication with the voice input / output terminal and generated by the care worker speaking to the microphone via the voice / text / conversion unit.
- a text decoding unit that decodes the content of the text by analyzing the obtained text data according to a dialogue model obtained by learning a known dialogue.
- the decoding result in the text decoding unit is an input request command or a confirmation request command related to the long-term care necessary information of one user, the user-specific word used to identify one user who is the target of the command processing.
- a target person determination processing unit that determines one user to be command processed, and a target person determination processing unit.
- the command execution unit that executes the processing specified by the input request command or the confirmation request command with respect to the long-term care necessary information holding unit is included.
- the target person determination processing unit When the "user-specific word" is composed of only a "last name” (or "first name”), the "user-specific word” is used as a search key in the user information of the user information holding unit.
- the "first name" of each user is automatically generated and transmitted to the voice input / output terminal via the text / voice / conversion unit, and then the voice / text conversion unit. It functions as a server that determines the target person to be command processed based on the "first name" (or "last name") included in the text data returned from the voice input / output terminal via the voice input / output terminal.
- FIG. 1 is an illustration diagram depicting a state of operation of a voice input / output terminal by a care worker.
- FIG. 2 is a system configuration diagram showing an example of a case where the present invention is realized by a distributed server system.
- FIG. 3 is a flowchart showing a processing flow in the voice processing server.
- FIG. 4 is a chart showing two basic processes in the voice processing server as an image.
- FIG. 5 is a flowchart showing a processing flow in the dialogue processing server.
- FIG. 6 is a chart showing an image of five basic processes in the dialogue processing server.
- FIG. 7 is a flowchart showing the flow of command execution processing.
- FIG. 1 is an illustration diagram depicting a state of operation of a voice input / output terminal by a care worker.
- FIG. 2 is a system configuration diagram showing an example of a case where the present invention is realized by a distributed server system.
- FIG. 3 is a flowchart showing a processing flow in the voice processing server.
- FIG. 8 is a flowchart showing a specific example of command execution pre-processing, command execution processing, and response generation processing when the command classification result is “body temperature input command”.
- FIG. 9 is a flowchart showing a specific example of command execution pre-processing, command execution processing, and response generation processing when the command classification result is “body temperature confirmation command”.
- FIG. 10 is a flowchart showing a specific example of command execution pre-processing, command execution processing, and response generation processing when the command classification result is “meal amount input command”.
- FIG. 1 to 10 a preferred embodiment of the data input support system for the elderly care facility according to the present invention will be described in detail with reference to the attached drawings (FIGS. 1 to 10).
- the data input support device, method, and computer program according to another embodiment of the present invention those skilled in the art can take out or slightly modify a part thereof based on the configuration of the illustrated data input support system. Since it should be easy to carry out by applying the above, it is omitted to show the specific contents individually.
- the care staff usually uses the microphone of the voice input / output terminal having a wireless network connection function, for example, when the care staff talks with each other.
- the request contents for example, data input request, data confirmation request
- those request contents input request to the database that stores the care necessary information
- a question sentence speech voice in natural language for asking the unclear point will flow from the speaker of the voice input / output terminal, and respond to it.
- the unclear points are solved and the desired request contents are executed on the system side.
- a completion sentence speech voice notifying the completion of the execution starts to flow from the speaker of the terminal, and the care staff can confirm the completion of the data input by listening to this.
- the speaker of the voice input / output terminal corresponds to a repeat question to confirm the request content. Since the voice of the speech to be heard flows out, the care staff can ensure the accuracy of the request contents by speaking through the microphone, which is equivalent to a positive or negative response.
- a facility user to be subject to data entry or data confirmation may be specified by specifying the user's "first and last name", but a speech voice containing only the user's "last name” (for example, "" It can also be done by "Mr. Takahashi's body temperature", “Mr. Yamada's blood pressure”, etc.).
- a confirmation request speech voice for example, " Mr. Takahashi Yoshiaki" is returned with the "name" of the specified user.
- a negative or positive answer speech voice for example, "yes”
- this confirmation request speech voice includes the selection request speech voice including each "first name” (for example, "Takahashi has two people. Yoshiaki”. Or is it Mr. Noriyuki? ").
- the selection answer speech voice for example, "Yoshiaki-san”
- the selection request speech voice that specifies each of them by the room number (for example, "There are two Takahashi Yoshiaki. It is Takahashi Yoshiaki in Room 103.” Or is it Mr. Takahashi Yoshiaki in Room 115 ?
- Figure 1 shows an example of such voice operation by a care worker.
- the care worker 10 asks the microphone of the smartphone 20a, which is one of the voice input / output terminals, to the natural language sentence “ ⁇ -san's body temperature yesterday” corresponding to the request content (confirmation request CR01). Talk to them by "Tell me”. Then, on the system side, the body temperature data of the corresponding date and time is searched and taken out from the already registered storage area of Mr. ⁇ , and the natural language sentence "Mr. 20:11 is 38.2 degrees ”, and the corresponding voice starts to flow from the speaker of the smartphone 20a. By listening to this answer voice, the care staff 10 can confirm the target data (Mr. ⁇ 's body temperature yesterday).
- FIG. 2 shows a system configuration diagram when the above-mentioned system of the present invention is implemented by a plurality of servers distributed and arranged on a network. As shown in the figure, this system includes an "in-facility system” located inside the elderly care facility and an “out-of-facility system” located outside the elderly care facility.
- a device called a "server” is a transmitter / receiver, a microprocessor unit (MPU), or a specific function that enables transmission / reception via a network (for example, an inch net or LAN). It is composed of a central processing unit (CPU) composed of a dedicated IC (ASIC), a hard disk, a semiconductor memory, etc., and has a storage unit for storing control programs and data. For example, it is received via a network. It executes an operation specified in response to a processing request and sends the execution result to a specified party via a network.
- the system in the elderly care facility is configured to include one or more voice input / output terminals 20, a local server 22, and one or more personal computers (PCs) 23.
- the devices 20, 22, and 23 of the above are configured to be able to cooperate with each other via the LAN 21.
- the voice input / output terminal 20 is portable to the care worker 10, has a microphone and a speaker, and has a wireless network connection function.
- the smartphone 20a It is composed of a smart watch (registered trademark) 20b.
- Those devices 20a A dedicated application program (hereinafter, abbreviated as "app") for carrying out the present invention is installed in 20b.
- This app has a first function and a second function built-in.
- the first function is to generate speech voice data by A / D conversion, data compression, etc. of the voice spoken to the microphone, and use this as a speech voice / text conversion request in a predetermined command format.
- the data is transmitted to the voice processing server 32 (details will be described later) arranged on the Internet 31 via the LAN 21.
- the second function is to generate an analog speech signal by decompressing, D / A conversion, etc., the speech voice data received from the voice processing server 32 arranged on the Internet 31 via the LAN 21. By driving the speaker with a signal, the speaker utters a speech voice.
- the local server 22 stores various software related to accounting processing and user management of the elderly care facility, as well as various nursing care necessary data regarding individual users of all the users accommodated in the elderly care facility. These data include sleep data of each user, vital data such as blood pressure, body temperature, and heart rate, as well as recorded data of daily life such as dietary intake and excretion.
- PC 23 The personal computer (PC) 23 is used for executing various software stored in the local server 22 and for aggregating and analyzing the above-mentioned data of each user.
- the system outside the nursing care facility for the elderly includes a voice processing server 32, a data storage server 33, and an interactive processing server 34, which is a main part of the present invention.
- 33 and 34 are configured to be able to cooperate with each other via the Internet 31.
- the voice processing server 32 is generated by learning a known input / output relationship and a voice / text / conversion unit that converts speech voice data into the corresponding text data according to a conversion model generated by learning the known input / output relationship. It has a text / voice / conversion unit that converts text data into the corresponding speech voice data according to the converted conversion model, and details thereof are shown in FIGS. 3 and 4.
- the voice processing server 32 uses speech voice / text conversion (hereinafter referred to as "STT conversion”) as the request type each time a conversion request arrives via the Internet 31. It is determined whether or not there is text / speech voice / conversion (hereinafter referred to as "TTS conversion”) (step 101).
- STT conversion speech voice / text conversion
- TTS conversion text / speech voice / conversion
- step 101 when it is determined to be "STT conversion” (step 101, "STT"), the AI conversion process (step 102) for STT-converting the speech voice data included in the received conversion request into the corresponding text data, and A process (step 103) of transmitting the text data obtained by the conversion to the dialogue processing server 34 via the Internet 31 is executed.
- FIG. 4 (a) An image of STT conversion is shown in FIG. 4 (a).
- text data is converted into corresponding speech voice data according to a conversion model generated by learning of known input / output relationships.
- the speech voice data "What is Mr. Yamada's body temperature?" 701 is processed according to the conversion model and converted into the text data ⁇ text Mr. Yamada's body temperature ⁇ 702.
- step 101 the AI conversion process (step 101) of TTS-converting the text data included in the received conversion request into the corresponding speech voice data. 104) and the process (step 105) of transmitting the speech voice data obtained by the conversion to the voice input / output terminal 20 via the Internet 31 and the LAN 21 are executed.
- FIG. 4 (b) An image of TTS conversion is shown in FIG. 4 (b).
- text data is converted into corresponding speech voice data according to a conversion model generated by learning of known input / output relationships.
- the text data " ⁇ text:" Mr. Yamada's body temperature on 7/18 was 36.5 degrees at 10:30 and 36.2 at 14:00 " ⁇ ” 714 is processed according to the conversion model. Then, it is converted into the speech voice data "Mr. Yamada's body temperature on 7/18 was 36.5 degrees at 10:30 and 36.2 at 14:00" 715.
- the performance of the data input / output support system according to the present invention depends not a little on the performance of the above-mentioned "STT conversion” and “TTS” conversion, but the conversion processing thereof is performed by a major IT company (for example, Google or Google).
- a major IT company for example, Google or Google.
- the data storage server 33 is newly provided in connection with the present invention, and is used for "user information” for identifying individual users of the elderly care facility and management of individual users. Stores “necessary care information” to be provided to the server.
- each user's "ID number”, “last name”, “first name”, “phonetic character notation of surname”, “phonetic character notation of first name”, “room number”, etc. can be mentioned.
- the phonetic characters include katakana characters, hiragana characters, and romaji characters.
- "intermediate name”, “nickname”, “common name”, etc. may be included according to religious and customary conventions.
- Examples of long-term care necessary information include “vital information”, “food intake information”, “excretion information”, “sleep information”, “life record information”, etc. of each user.
- the “vital information” can include, for example, the body temperature, blood pressure, heart rate, etc. of each user.
- the “sleep information” can include each user's bedtime, wake-up time, sleep duration, and the like.
- the “food intake information” can include, for example, a staple food intake%, a side dish intake%, a soup intake%, a beverage intake% such as tea or water, and the like.
- the excretion information can include, for example, the number of defecations, the color, the shape, the amount, the number and amount of urination, and the like.
- the "life record information” can include the life records of each user such as "I slept for half a day”, “I was watching TV at night”, and "I was reading”. ..
- FIG. 2 an example of user information and long-term care necessary information is drawn on the upper right of the data storage server 33.
- a "user table” is drawn as a part of the user information
- a “vital information table” is drawn as a part of the long-term care necessary information.
- the "user table” stores user information for identifying individual users.
- each "user ID” has its own personal attribute (user's).
- the “vital information table” stores individual vital information of the user, and in this example, for each "user ID”, the vital attribute (the "recording date” of the user data). It is configured as a table that defines “day”, “body temperature”, “blood pressure”, “heart rate”, etc.).
- the data storage server 33 may also store a "food and drink information table”, an “excretion information table”, and the like.
- the “food and drink information table” stores individual food and drink information of users. For example, for each "user ID”, the food and drink attributes ("record date” of user data, “staple food”) ”,“ Side dish intake% ”,“ Juice intake% ”, etc.) are defined as a table.
- the “excretion information table” stores individual defecation and urination information of the quoter, and for example, for each "user ID”, its excretion attribute ("recording date” of user data, etc. It is configured as a table that defines "color, shape and amount of defecation", “number and amount of urination", etc.).
- the dialogue processing server 34 is for realizing a dialogue between the system and the care staff via the voice input / output terminal 20, and mainly includes a text analysis processing unit and a dialogue control processing unit. It is configured.
- the dialogue processing server 34 sequentially executes the text analysis processing (step 201) and the dialogue control processing (step 202) each time it receives some text data, thereby performing dialogue. Realizes various functions required as a processing server.
- the text analysis process (step 201) is configured to sequentially execute the variable extraction process (step 2011) and the command classification process (step 2012) as shown in FIG. 5 (b). ..
- variable extraction process (step 2011) is performed in the given text data by analyzing the text according to the dialogue model obtained by learning the known dialogue (for example, dialogue between care workers). From, "words" corresponding to predefined variables are extracted.
- FIG. 6 (a) An example of a concrete image of this variable extraction process (step 2011) is shown in FIG. 6 (a).
- the text data " ⁇ text: Mr. Yamada's body temperature is ⁇ " 703 is given.
- this text data is analyzed according to the dialogue model 704 obtained by learning the known dialogue, and the "words (variable values) corresponding to the predefined variables "last name”, “target”, and “date and time” are used. ) ”Is extracted respectively.
- “Yamada” is extracted as the "word” corresponding to the variable "last name”
- body temperature is extracted as the "word” corresponding to the variable "object”.
- no "word” as the variable "date and time” has been extracted.
- the command classification process (step 2012) is performed from the given text data by analyzing the text according to the dialogue model obtained by learning the known dialogue (for example, the dialogue between care workers). It classifies (determines) the type of command.
- FIG. 6 (b) An example of a concrete image of this command classification process (step 2012) is shown in FIG. 6 (b). As shown in the figure, it is assumed that the text data " ⁇ text: Mr. Yamada's body temperature is ⁇ " 706 is given. Then, the text data 706 is analyzed according to the dialogue model 707 obtained by learning the known dialogue, and the types of commands specified by voice are classified. In the illustrated example, as is clear from the classification result 708, the command classification result is certified as a "body temperature confirmation request command".
- the dialogue control processing includes command execution pre-processing (step 2021), command execution processing (step 2022), response generation processing (step 2023), and anti-portability. It is configured to include a terminal response transmission process (step 2024).
- the pre-command execution processing (step 2021) identifies one user who is the target of the command processing prior to executing the command classified by the command classification processing (step 2012). It goes through the "user specific word” (for example, "last name”) used, the "user information” (for example, “user table”) stored in the data storage server 33, and the voice output terminal 20. Based on the "dialogue processing result" with the care worker 10, the "target person confirmation process” for determining the user 1 to be commanded and the variables required for the command (for example, "last name”, “last name”, “ Of the “target” and “date and time"), the variable for which the corresponding "word (variable value)" is not satisfied is configured to include “variable supplement processing” for supplementing the "word”. ..
- Target person determination process is one of the main parts of the data input / output support system according to the present invention, and will be described in detail later with reference to FIGS. 8 and 9. Explain to.
- variable extraction result 709 among the three variables "last name”, “target”, and “date and time”, the variable "date and time” Assume that the value of is unsatisfied.
- the system automatically generates text data corresponding to the standard speech voice ("When do you want to check the body temperature?") When asking the care staff when it is necessary to confirm the date and time.
- the text data automatically generated in this way is transmitted to the voice processing server 32 via the Internet 31 as a "TTS" conversion request.
- step 101 "TTS", 104, 105) are sequentially executed in the voice processing server 32, and the speech voice data corresponding to the text data is generated.
- the speech voice data thus obtained is sent to the voice input / output terminal 20 via the Internet 31 and LAN 21.
- a speech voice (“When do you want to check the body temperature?”) Flows out from the speaker of the voice input / output terminal 20.
- the care worker 10 speaks the answer speech voice (“Yesterday's”) 711 to the microphone of the voice input / output terminal 20
- the voice input / output terminal 20 generates the corresponding speech voice data and outputs the corresponding speech voice data.
- a "STT" conversion request it is transmitted to the voice processing server 32 via the LAN 21 and the Internet 31.
- step 101 "STT", 102, 103) are sequentially executed in the voice processing server 32, and the answer text data corresponding to the answer speech voice data is generated.
- the text data thus obtained is sent to the dialogue processing server 34 via the Internet 30.
- the dialogue processing server 34 waits for the answer text data to be returned, extracts the word "yesterday” included in the answer text data, and calculates back from the current date and time to specify the specified date and time "7/18". Is obtained, and the command is completed by satisfying the value of the missing variable "date and time", and the process shifts to the command execution process.
- step 2022 The basics of the command execution processing (step 2022) are, in short, the “user (for example,” Tanaka Yoshinari ”)" and the “target (for example,” body temperature “”) determined by the target person confirmation process (details will be described later). ) ”, The process (body temperature recording process or body temperature confirmation process) according to the command“ type ”(for example, input request, confirmation request) is executed.
- the designated recording process (step 302) refers to the recording process of the command-designated user (target person) on the data storage server 33 regarding the command-designated "target” (for example, body temperature, blood pressure, etc.). It is what you do.
- the designated search process is data related to the command-designated "target” (for example, body temperature, blood pressure, etc.) with respect to the command-designated confirmed user (target user). It executes the search process in the storage server 33.
- FIG. 6 (d) A specific example of the command execution process (step 2022) is shown in FIG. 6 (d).
- the values of the three variables included in the command are "last name: Yamada", “target: body temperature”, and "date and time: 7/18".
- the data of the data storage server 33 (vital information table in this example) is accessed via the Internet 31 and the search process is executed to acquire the corresponding search result 712.
- the body temperature of Mr. Yamada on July 18 was 36.5 degrees at 10:30 and 36.2 degrees at 14:00.
- the text data constituting the command contains a command word corresponding to a predefined "all-user batch designation command with exception designation".
- a command word corresponding to a predefined "all-user batch designation command with exception designation”.
- the basis of the response generation process (step 2023) is to generate text data corresponding to various speech voices to be transmitted from the system side to the care staff side.
- These speech voices include a question speech voice for reciting and confirming the contents of the input request command, a completion speech voice for notifying the care staff that the execution of the input request command has been completed, and an execution result of the confirmation request command.
- Search result speech voice to convey the barrel search data to the care staff
- question speech voice to convey the question to the care staff when there is an unclear point in the given command, and so on.
- FIG. 6 (e) A specific example of such a response generation process is shown in FIG. 6 (e).
- the standard answer speech voice corresponding to the search result 712 (“Mr. Yamada's body temperature on 7/18 was 36.5 degrees at 10:30 and 36.2 degrees at 14:00") 713
- the answer text data corresponding to is automatically generated.
- Response transmission processing The basis of the response transmission processing (step 2024) is to convert various response-corresponding text data generated in the response generation processing (step 2023) in the form of text / speech voice / conversion request via the Internet 31.
- the data is transmitted to the voice processing server 32.
- target person determination processing which is one of the main parts of the present invention, will be described. As shown in FIG. 6 (c), this target person determination process is executed in the command execution pre-process (FIG. 5, step 2021) described above.
- This "target person determination process” is the command process when the analysis result in the text analysis unit (step 201) is an input request command or a confirmation request command related to the care necessary information (for example, "body temperature") of the user of 1.
- care necessary information for example, "body temperature”
- "User specific word” for example, "last name: Yamada”
- "user information” for example, "user table” information in FIG. 2 used to identify one user who is the target of )
- dialogue processing result with the care worker 10 via the voice output terminal 20, the user 1 to be the target of the command processing is determined.
- the care worker 10 may specify the user to be command processing by voice only by its "last name” (for example, "Yamada-san's body temperature”). After that, through dialogue (question and answer) with the system side, it becomes possible to accurately identify the user who is the target of command processing (for example, "Yamada Yoshiaki's body temperature”).
- the target person for command processing is specified by voice by "first name and last name” which is a combination of "first name and last name", but if you are busy or inadvertently forget it, However, as long as the "surname” is known, it will be possible to accurately identify the target person through dialogue with the system.
- a given command for example, an input request command, a confirmation request command
- Etc. the processing corresponding to
- a plurality of user-specific words such as "last name”, “first name”, “intermediate name”, “nickname”, etc., which are usually used for identifying an individual, are used.
- the "personal specific words” for example, "last name: Yamada”
- the "user specific word” for example, the user specific word
- the "user specific word” for example, the user specific word
- the user information holding unit for example, FIG. 2.
- the user search process using the "user specific word” for example, “last name: Yamada" as the search key was executed, and as a result, the number of hit users was 2 or more.
- a selection request speech sound including the "first name” (or "last name) of each user for example, "Yamada Yoshiaki and Yamada Hiroshi" Which one?
- text data corresponding to the selection request speech sound for example, "Which is Bill Clinton or Bill Gates?"
- Including the "last name” (or "first name") of each user is automatically generated. Then, it is transmitted to the voice input / output terminal 20 via the text / voice / conversion unit (FIG. 4 (b)), and then via the voice / text conversion unit (FIG. 4 (a)).
- the target person to be command processed is determined based on the "last name" (or "first name”) (for example, "gates") included in the text data returned from the voice input / output terminal 20.
- the "user specific word” (for example, "last name: Yamada") is further added in the user information holding unit (for example, FIG. 2, user table).
- the number of hit users is 2 or more and there are people with the same surname and the same name among those users as a result of executing the user search process using Text data corresponding to the selection request speech sound including the "room number” (for example, "Which room 105 or 115 is Mr. Yamada Yoshiaki?")
- the text / voice / conversion unit for example, The text is transmitted to the voice output terminal 20 via FIG. 4 (b), and then returned from the voice input / output terminal 20 via the voice / text conversion unit (FIG. 4 (a)).
- the target person to be command processed is determined.
- FIG. 8 is a process corresponding to the “body temperature input request command”
- FIG. 9 is a process corresponding to the “body temperature confirmation command”.
- target person there is at least one user (hereinafter referred to as "target person") to be input with body temperature (step 403). If it is determined that there is at least one target person (step 403YES), it is further determined whether the number of target persons corresponding to "last name: Ikeda" is one or two or more (step 404). ).
- step 404YES When it is determined that the number of persons corresponding to "Last name: Ikeda” is one (step 404YES), then, "time information" which is one of “variables” is added to the text data constituting the "body temperature input request command". It is determined whether or not some "word (variable value)” corresponding to "" exists (step 406).
- the three input request speech voices IR01, IR02, and IR03 which are the sources of the text data, have “words (variable values)” corresponding to "time information” which are “variables”. Since “11:50”, “now”, and “5 minutes ago” exist respectively, it is determined that the time information exists (step 406YES).
- the input request speech voice IR04 since the input request speech voice IR04 does not have the "word (value)" corresponding to the time information, it is determined that the time information does not exist (step 406NO).
- step 406YES If it is determined that the time information exists (step 406YES), the process immediately proceeds to the utterance processing of the input information (step 407). On the other hand, when it is determined that the time information does not exist (step 406NO), the current time is supplemented as the time information, and then the process proceeds to the utterance processing of the input information (step 407).
- a repeat question speech sound for example, "Mr. Ikeda Yoshiaki" for confirming the content of the input request speech sound spoken by the care worker 10 toward the microphone of the voice input / output terminal 20 is performed.
- the body temperature at 11:50 is 37.2 ° C. ” This is for making 416 speak from the speaker of the voice input / output terminal 20.
- the text data corresponding to the repeated question speech sound generated in this way is transmitted to the voice processing server 32 via the Internet 31 in the form of a text / speech voice / conversion request. Then, the repeat speech sound data generated by the voice processing server 32 is transmitted to the voice input / output terminal 20, and as a result, the repeat question speech sound (in this example, "" Ikeda Yoshiaki's body temperature at 11:50 is 37.2 ° C, isn't it? ”) Is spoken.
- the system is in a state of waiting for some text data corresponding to the response speech sound of the care staff from the voice input / output terminal 20 to arrive via the voice processing server 32 (step 408).
- a positive response speech sound eg, "yes”, “yes”, “yes”, “yes”
- the microphone step 408, affirmative response 419
- " "Ikeda Yoshiaki” is confirmed as the target of command processing, and in the vital information table (see Fig. 2), the body temperature at 11:50 is 37.2 ° C in relation to the user "Ikeda Yoshiaki". Information is recorded.
- text data corresponding to the recording completion speech voice "recorded" 420 corresponding to the recording completion is automatically generated, and voice processing is performed via the Internet 31 in the form of text / speech voice / conversion request. It is transmitted to the server 32. Then, the recording completion speech sound data generated by the voice processing server 32 is transmitted to the voice input / output terminal 20, whereby the recording completion speech sound (in this example, "" "Recorded") is spoken, and the care worker 10 is notified to that effect.
- step 408 is the care staff speaking a negative response speech sound (for example, "No", “No”, “Yes”, “No") to the microphone (step). 408, negative response 418), or if no response arrives within a certain waiting time (for example, 5 seconds) (step 408, ignore 419), "Ikeda Yoshiaki” is confirmed as the target of command processing.
- the above-mentioned recording process is not performed. As a result, the user's mistake is avoided.
- text data corresponding to a guidance speech sound (for example, "Please speak again” 421) prompting the microphone of the voice input / output terminal 30 to speak again is automatically generated, and this is a speech on the voice processing server 32.
- a guidance speech sound for example, "Please speak again” 421
- an inductive speech sound is uttered from the speaker of the voice input / output terminal 20.
- step 404 determines whether the number of target persons corresponding to "last name: Ikeda" is one or two or more. If it is determined that there is (step 404NO), the illustration is omitted, but further, it is determined whether or not there is a person with the same surname and the same name among the two or more target persons in the user table (see FIG. 2). It is done based on the contents of.
- This text data is transmitted to the voice processing server 31 in the form of a text / speech voice / conversion request, and further, the speech voice data converted by the voice processing server 31 is sent to the voice input / output terminal 20.
- a speech sound for example, "There are multiple Ikeda-san. Which is Yoshiaki-san or Norimasa-san?"
- a speech voice for selecting one of the two "names” (“Yoshiaki” and “Norimasa") is spoken to the voice input / output terminal 20 microphone. It is in a standby state (step 405).
- the input information utterance process (step 407) is executed after passing through a series of processes (steps 403YES, 404YES, 406YES) in the same manner as when there is only one subject with the same "last name”.
- the input information confirmation process (step 408), the body temperature data recording process for "Ikeda Yoshiaki-san" is completed.
- This text data is transmitted to the voice processing server 31 in the form of a text / speech voice / conversion request, and further, the speech voice data converted by the voice processing server 31 is sent to the voice input / output terminal 20.
- a speech sound prompting the selection for example, "There are multiple Mr. Ikeda Yoshiaki. What is the throat of rooms 201 and 302?") Flows out from the speaker of the voice input / output terminal 20.
- a speech voice for selecting one of the two "room numbers" (“room 201" and "room 302") speaks to the voice input / output terminal 20 microphone. It is in a state of waiting to be done (step 405).
- the input information utterance process (step 407) is executed after passing through a series of processes (steps 403YES, 404YES, 406YES) in the same manner as when there is only one subject with the same "last name”.
- the input information confirmation process (step 408), the body temperature data recording process for "Ikeda Yoshiaki-san" is completed.
- step 403 If it is determined in the determination process (step 403) that the target person does not exist (step 403NO), the speech voice corresponding to the absence of the target person and the inquiry of the further search request is made. ("Ikeda-san was not found. Would you like to find another person?") Text data corresponding to 410 was automatically generated, and this was converted to speech voice data via the voice processing server 32. After that, it is transmitted to the voice input / output terminal 20, and a speech sound to that effect is uttered. As a result, the user's mistake is avoided.
- Step 506 when there are two or more target persons and there is no person with the same surname and the same name (step 504NO) (513), and when there are two or more target persons and there are persons with the same surname and the same name.
- the correspondence (514) at the time of (step 504NO) is the same as that of the body temperature input request command described with reference to FIG.
- step 507NO when the body temperature data does not exist (step 507NO), a speech voice to the effect that the data does not exist is sent to the care staff via the voice input / output terminal 20 (“There is no body temperature data yesterday by Mr. Ikeda Yoshiaki”. ) 517 is spoken and the process ends (step 508).
- step 509NO When a single piece of data exists on the relevant day (step 509NO), a speech about body temperature is given to the care staff via the voice input / output terminal 20 ("Ikeda Yoshiaki's body temperature at 10:35 yesterday was 36". 8.8 ° C. ”) 518 is spoken and the process ends (step 510).
- step 509YES When multiple data exist on the relevant day (step 509YES), the care staff is given a speech about body temperature via the voice two-lap output terminal 20 ("Ikeda Yoshiaki's body temperature at 18:40 yesterday was 38". The body temperature at .2 ° C. and 12:10 is 37.2 ° C., and the body temperature at 10:35 is 36.8 ° C. ”) 519 is spoken and the process ends (step 511).
- step 603NO when the target person is one person (step 604YES) (607), the target person is two or more and has the same surname and the same name.
- step 604YES when there is no person (step 604NO) and the correspondence (612) when there are two or more target persons with the same surname and the same name, the figure is shown in the figure. It is processed in the same manner as in the case of the body temperature input request command described with reference to 8.
- the batch designation part for all target persons with exception designation includes the command word "other than” corresponding to the "collective designation command for all users with exception designation".
- the command word is premised on a preset population (for example, all users on the first floor, all users gathered in the cafeteria, etc.). With the exception of "users” who have a certain word order relationship with "other than”, the process of writing the same data to all of the above population is performed at once.
- the data input operation in this kind of elderly care facility can be easily and efficiently performed via voice. Therefore, it is possible to improve the workability of data input in a long-term care facility that employs long-term care staff and foreign workers who are not good at visually recognizing fine characters on the screen of an electronic device.
- the present invention can be effectively used by a software provider that provides various management software to a nursing care facility for the elderly.
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Child & Adolescent Psychology (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】音声による入力操作の容易性を維持しつつも、データ入力の対象となる利用者の取り違えをなくして、入力データの信頼性を担保すること。 【解決手段】介護職員が、音声入出力端末に対して、対象者をその「姓」のみで指定するデータ入力指示を音声で行うと、データベース上の対象者候補が同姓同名の複数人でない限り、それぞれの対象候補の「姓名」を含む確認用の質問が介護職員に音声でなされ、その質問音声に対していすれかの対象者候補に関して肯定回答を音声で行ったときに限り、その対象者候補は真の対象者と確認されて、指定のデータ入力処理が実行される。
Description
本発明は、例えば、介護付き有料老人ホーム、特別養護老人ホーム、介護老人保護施設、在宅介護サービス提供事業者、等々の老人介護施設におけるデータ入力支援装置に係り、特に、音声を利用したデータ入力支援装置に関する。
老人介護施設においては、施設利用者(以下、単に、「利用者」と称する)の健康管理や提供サービスの品質向上等を目的として、個々の利用者から日々の様々なデータ(例えば、バイタルデータ、睡眠データ、日常生活データ、等々)が収集・登録される。
従来、それらのデータの収集・登録のためには、介護職員が個々の利用者が収容される部屋に出向いて、データ収集の対象となる事象を目視又は計測器にて確認後、こうして得られるデータを、ノートパソコンやタブレット等の情報処理装置を用いて手入力するのが通例である。
昨今、人手不足から介護職員の高年齢化も進み、中には、電子機器の画面に映し出される細かな文字や図表の視認、さらには、入力のためのキー操作やタッチ操作が苦手な者も少なからず存在する。また、外国人労働者の場合には、日常会話程度には不自由しないものの、漢字を用いた日本語の読み書きが苦手な者も少なからず存在する。
それらの問題の解決策として、老人介護施設におけるこの種のデータ入力を、音声入出力が可能な携帯式端末(例えば、スマートフォン)を使用して音声を介して行おうとする試みもなされている(例えば、特許文献1参照)。
本発明は、上述の技術的背景に鑑みてなされたものであり、その主たる目的とするところは、音声による入力操作の容易性を維持しつつも、データ入力の対象となる利用者の取り違えをなくして、入力データの信頼性を担保することができる老人介護施設におけるデータ入力支援装置、方法、システム、並びに、コンピュータプログラムを提供することにある。
上述の技術的課題は、以下の構成を有する、老人介護施設におけるデータ入力支援装置、方法、システム、並びに、コンピュータプログラムにより解決することできる。
すなわち、本発明に係る老人介護施設におけるデータ入力支援装置は、
介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関する介護必要情報を少なくとも保持する介護必要情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換するテキスト/音声・変換部と、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、ものである。
介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関する介護必要情報を少なくとも保持する介護必要情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換するテキスト/音声・変換部と、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、ものである。
このような構成によれば、コマンド処理の対象となる利用者の指定を「姓」や「名」のみで行うことで、音声による入力操作の容易性を維持しつつも、データ入力の対象となる利用者の取り違えをなくして、入力データの信頼性を担保することができる。
好ましい実施の態様にあっては、
前記対象者確定処理部が、
前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在するときには、それぞれの利用者の「部屋番号」を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「部屋番号」に基づいて、コマンド処理対象となる対象者を確定する、ものであってもよい。
前記対象者確定処理部が、
前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在するときには、それぞれの利用者の「部屋番号」を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「部屋番号」に基づいて、コマンド処理対象となる対象者を確定する、ものであってもよい。
好ましい実施の態様にあっては、
前記対象者確定処理部が、
前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が0件のときには、該当する利用者を発見しない旨のスピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で、前記音声入出力端末へと送信する、ものであってもよい。
前記対象者確定処理部が、
前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が0件のときには、該当する利用者を発見しない旨のスピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で、前記音声入出力端末へと送信する、ものであってもよい。
好ましい実施の態様にあっては、
前記コマンド実行部は、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンドであるときには、前記音声/テキスト・変換部及び前記テキスト解析部を経由して、前記音声入出力端末から受信された介護必要情報を前記介護必要情報保持部内の確定した対象者領域に書き込む、 ものであってもよい。
前記コマンド実行部は、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンドであるときには、前記音声/テキスト・変換部及び前記テキスト解析部を経由して、前記音声入出力端末から受信された介護必要情報を前記介護必要情報保持部内の確定した対象者領域に書き込む、 ものであってもよい。
好ましい実施の態様にあっては、
前記コマンド実行部は、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する確認要求コマンドであるときには、前記介護必要情報保持部内の指定された確定した対象者領域から読み出した介護必要データを、前記テキスト/音声・変換部を経由して、音声入出力端末へと送信する、 ものであってもよい。
前記コマンド実行部は、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する確認要求コマンドであるときには、前記介護必要情報保持部内の指定された確定した対象者領域から読み出した介護必要データを、前記テキスト/音声・変換部を経由して、音声入出力端末へと送信する、 ものであってもよい。
別の一面から見た本発明は、老人介護施設におけるデータ入力支援方法として把握することもできる。
すなわち、本発明に係る老人介護施設におけるデータ入力支援方法は、
介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関する介護必要情報を保持する介護必要情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換するテキスト/音声・変換部と、を含み、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読ステップと、
前記テキスト解読ステップにおける解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定ステップと、
前記対象者確定処理ステップにて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行ステップとを包含し、
前記対象者確定処理ステップは、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、ものである。
すなわち、本発明に係る老人介護施設におけるデータ入力支援方法は、
介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関する介護必要情報を保持する介護必要情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換するテキスト/音声・変換部と、を含み、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読ステップと、
前記テキスト解読ステップにおける解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定ステップと、
前記対象者確定処理ステップにて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行ステップとを包含し、
前記対象者確定処理ステップは、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、ものである。
別の一面から見た本発明は、老人介護施設におけるデータ入力支援システムとして把握巣得ることもできる。
すなわち、本発明に係る老人介護施設におけるデータ入力支援システムは、
介護職員が携帯可能であって、マイクとスピーカとを有し、かつ無線によるネットワーク接続機能を備えた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する、ネットワーク上の利用者情報保持サーバと、
当該老人介護施設の利用者に関する介護必要情報を保持する、ネットワーク上の介護必要情報保持サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する、ネットワーク上の音声/テキスト・変換サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換する、ネットワーク上のテキスト/音声・変換サーバと、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するネットワーク上のテキスト解読サーバと、
前記テキスト解読サーバにおける解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理サーバと、
前記対象者確定処理サーバにて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理サーバは、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、ものである。
すなわち、本発明に係る老人介護施設におけるデータ入力支援システムは、
介護職員が携帯可能であって、マイクとスピーカとを有し、かつ無線によるネットワーク接続機能を備えた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する、ネットワーク上の利用者情報保持サーバと、
当該老人介護施設の利用者に関する介護必要情報を保持する、ネットワーク上の介護必要情報保持サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する、ネットワーク上の音声/テキスト・変換サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換する、ネットワーク上のテキスト/音声・変換サーバと、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するネットワーク上のテキスト解読サーバと、
前記テキスト解読サーバにおける解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理サーバと、
前記対象者確定処理サーバにて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理サーバは、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、ものである。
別の一面から見た本発明は、コンピュータプロクラムとして把握することもできる。
すなわち、本発明に係るコンピュータプログラムは、
介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関するバイタル情報を保持するバイタル情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換するテキスト/音声・変換部と、を含む老人介護施設におけるデータ入力支援装置において、
コンピュータを、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、装置として機能させるものである。
すなわち、本発明に係るコンピュータプログラムは、
介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関するバイタル情報を保持するバイタル情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換するテキスト/音声・変換部と、を含む老人介護施設におけるデータ入力支援装置において、
コンピュータを、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、装置として機能させるものである。
別の一面から見た本発明は、コンピュータプロクラムとして把握することもできる。
すなわち、本発明に係るコンピュータプログラムは、
介護職員が携帯可能であって、マイクとスピーカとを有し、かつ無線によるネットワーク接続機能を備えた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する、ネットワーク上の利用者情報保持サーバと、
当該老人介護施設の利用者に関する介護必要情報を保持する、ネットワーク上の介護必要情報保持サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する、ネットワーク上の音声/テキスト・変換サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換する、ネットワーク上のテキスト/音声・変換サーバと、を有する老人介護施設におけるデータ入力支援システムにおいて、
コンピュータを、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、サーバとして機能させるものである。
すなわち、本発明に係るコンピュータプログラムは、
介護職員が携帯可能であって、マイクとスピーカとを有し、かつ無線によるネットワーク接続機能を備えた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する、ネットワーク上の利用者情報保持サーバと、
当該老人介護施設の利用者に関する介護必要情報を保持する、ネットワーク上の介護必要情報保持サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを対応するテキストデータに変換する、ネットワーク上の音声/テキスト・変換サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換する、ネットワーク上のテキスト/音声・変換サーバと、を有する老人介護施設におけるデータ入力支援システムにおいて、
コンピュータを、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、サーバとして機能させるものである。
本発明によれば、コマンド処理の対象となる利用者の指定を「姓」や「名」のみで行うことで、音声による入力操作の容易性を維持しつつも、データ入力の対象となる利用者の取り違えをなくして、入力データの信頼性を担保することができる老人介護施設におけるデータ入力支援装置、方法、システム、並びに、コンピュータプログラムを提供することができる。
以下に、本発明に係る老人介護施設のデータ入力支援システムの好適な実施の一形態を添付図面(図1~図10)にしたがって詳細に説明する。なお、本発明の他の実施形態であるデータ入力支援装置、方法、コンピュータプログラムについては、当業者であれば、図示のデータ入力支援システムの構成に基づいて、その一部を取り出し又は僅かの改変を施すことで、容易に実施できる筈であるから、特段、個別にその具体的内容を図示することは省略する。
<<はじめに>>
後に詳述するように、本発明に係るデータ入力支援システムにおいては、介護職員は、無線によるネットワーク接続機能を有する音声入出力端末のマイクに対して、例えば介護職員同士の対話の際に通常使用される自然言語にて、依頼内容(例えば、データ入力要求、データ確認要求)に相当する話し掛けを行うだけで、システムに対して、それらの依頼内容(介護必要情報を格納するデータベースに対する入力要求、確認要求、等々)を自動的に実行させることができる。
後に詳述するように、本発明に係るデータ入力支援システムにおいては、介護職員は、無線によるネットワーク接続機能を有する音声入出力端末のマイクに対して、例えば介護職員同士の対話の際に通常使用される自然言語にて、依頼内容(例えば、データ入力要求、データ確認要求)に相当する話し掛けを行うだけで、システムに対して、それらの依頼内容(介護必要情報を格納するデータベースに対する入力要求、確認要求、等々)を自動的に実行させることができる。
その際に、システムの側で不明点がある場合には、音声入出力端末のスピーカからは、その不明点を問い質すための自然言語による質問文スピーチ音声が流れだし、それに応えるようにして、回答内容を当該端末に対して自然言語で話し掛けることにより、不明点は解消され、所望の依頼内容がシステム側で実行される。その実行完了とともに実行完了を知らせる完了文スピーチ音声が当該端末のスピーカから流れだし、介護職員はこれを聞いてデータ入力完了を確認することができる。
音声入出力端末のマイクへと依頼内容(例えば、データ入力要求、データ確認要求)に相当する話し掛けを行うと、音声入出力端末のスピーカからは、依頼内容を確認するための復唱質問文に相当するスピーチ音声が流れ出すから、それ対して、肯定的又は否定的な応答相当の話し掛けをマイクを通して行うことで、介護職員は依頼内容の正確さを担保することができる。
データ入力やデータ確認の対象となる施設利用者の指定は、その利用者の「姓名」を指定して行ってもよいが、その利用者の「姓」のみを含んだスピーチ音声(例えば、「タカハシさんの体温」、「ヤマダさんの血圧」、等々)によっても行うことができる。その際、利用者の取り違えを回避するために、指定された利用者の「名」をもって、確認要求スピーチ音声(例えば、「タカハシヨシアキさんですね」)が返される。それに対して、否定的又は肯定的な回答スピーチ音声(例えば、「そうです」)を返すことで、利用者の指定誤りを回避することができる。
この確認要求スピーチ音声は、同一の「姓」を有する利用者が複数人いる場合には、それぞれの「名」を含む選択要求スピーチ音声(例えば、「タカハシさんは2名います。ヨシアキさんですか、ノリユキさんですか」)により行われる。これに対して、選択回答スピーチ音声(例えば、「ヨシアキさん」)を返すことで、利用者の指定誤りを回避することができる。このとき、さらに、同姓同名の利用者が存在する場合には、それらの個々を部屋番号で指定する選択要求スピーチ音声(例えば、「タカハシヨシアキさんは2名います。103号室のタカハシヨシアキさんですか、それとも115号室のタカハシヨシアキさんですか」)により、利用者の指定誤りを回避することができる。この種の老人介護施設では、1部屋に1名の利用者を収容する個室管理方式か、希に、1部屋に2乃至4名を収容する少人数管理方式が通例であり、しかも、同室に同姓同名の利用者を収容しないのが前提でうるから、「姓名+部屋番号」による利用者指定は取り違え回避に有効である。
欧米仕様のシステムにあっては、上記の「姓」を「名」、「名」を「姓」とそれぞれ読み替えることができる。「ビルさん」と称呼指定したのち、「ビル」さんが施設内に1名しかいないときでも、「ビルゲイツさん」ですかと問い質すものである。また、「ビルさん」が二人いる場合には、「ビルゲイツさんですか、それともビルクリントンさんですか」と確認してもよい。また、「ビルさん」と「名」のみにて称呼指定したのち、念のための確認のためには、「愛称」や「中間名(ミドルネーム)」を付加してもよい。
施設利用者の全員を食堂に集めて朝食、昼食、夕食を提供するような場合を想定すると、集合した全員の人数(例えば、15名)及び個々の氏名は既知であって、そのうち、ある利用者(例えば、タカハシさん)以外は、主食も副食も完食したことを記録する場合も想定される。そのような場合に、15名の利用者のそれぞれについて、個別にスピーチ音声にて入力するのは手間が大きい。そのような場合、「例外指定付き全利用者一括指定命令」を含むスピーチ音声(例えば、「タカハシさん以外は、主食も副食も完食です」を使用することで、音声入力の手間を大幅に削減することができる。ここで、下線部分が「例外指定付き全利用者一括指定命令」に相当する。
そのような介護職員の音声操作の様子の一例を図1に示す。この例にあっては、介護職員10は、音声入出力端末の1つであるスマートフォン20aのマイクに対して、依頼内容(確認要求CR01)に相当する自然言語文「●●さんの昨日の体温教えて」により話し掛けを行う。すると、システムの側では、既に登録された●●さんの記憶領域から該当日時の体温データを検索して取り出し、確認要求に対する回答(CA01)に相当する自然言語文「●●さんの昨日の体温は、20時11分が38.2度です」を生成し、これに対応する音声が、スマートフォン20aのスピーカから流れだす。この回答音声を聞いて、介護職員10は目的とするデータ(●●さんの昨日の体温)を確認することができる。
<<システムの全体構成>>
上述の本発明システムをネットワーク上に分散配置された複数のサーバにより実施した場合のシステム構成図が、図2に示されている。同図に示されるように、このシステムは、老人介護施設内に配置される「施設内システム」と老人介護施設外に配置される「施設外システム」とを含んで構成される。
上述の本発明システムをネットワーク上に分散配置された複数のサーバにより実施した場合のシステム構成図が、図2に示されている。同図に示されるように、このシステムは、老人介護施設内に配置される「施設内システム」と老人介護施設外に配置される「施設外システム」とを含んで構成される。
なお、「サーバ」なる装置は、当業者にはよく知られているように、ネットワーク(例えば、インチーネットやLAN)を介する送受信を可能とする送受信部、マイクロプロセッサユニット(MPU)や特定機能専用IC(ASIC)により構成される中央処理部(CPU)、ハードディスクや半導体メモリ等々にて構成され、制御用プログラムやデータを格納するための記憶部を備え、例えば、ネットワークを介して受信された処理要求に応じて指定された処理を実行し、その実行結果をネットワークを介して指定された相手に送信すると言った動作を実行するものである。
<施設内システムの構成>
先ず、老人介護施設内のシステムについて説明する。老人介護施設内のシステムは、この例にあっては、1又は2以上の音声入出力端末20と、ローカルサーバ22と、1又は2以上のパソコン(PC)23とを含んで構成され、それらの機器20,22,23は、LAN21を介して互いに連携可能に構成されている。
先ず、老人介護施設内のシステムについて説明する。老人介護施設内のシステムは、この例にあっては、1又は2以上の音声入出力端末20と、ローカルサーバ22と、1又は2以上のパソコン(PC)23とを含んで構成され、それらの機器20,22,23は、LAN21を介して互いに連携可能に構成されている。
・音声入出力端末20
音声入出力端末20は、介護職員10が携帯可能であって、マイクとスピーカとを有し、かつ無線によるネットワーク接続機能を備えたものであり、この例では、具体的には、スマートフォン20aとスマートウォッチ(登録商標)20bとから構成されている。それらの機器20a.20b内には、本発明を実施するための専用のアプリケーションプログラム(以下、「アプリ」と略称する)がインストールされる。このアプリには、第1の機能と第2の機能とが組み込まれている。
音声入出力端末20は、介護職員10が携帯可能であって、マイクとスピーカとを有し、かつ無線によるネットワーク接続機能を備えたものであり、この例では、具体的には、スマートフォン20aとスマートウォッチ(登録商標)20bとから構成されている。それらの機器20a.20b内には、本発明を実施するための専用のアプリケーションプログラム(以下、「アプリ」と略称する)がインストールされる。このアプリには、第1の機能と第2の機能とが組み込まれている。
第1の機能とは、マイクに話しかけられた音声を、A/D・変換、データ圧縮、等々することでスピーチ音声データを生成し、これを所定コマンド形式のスピーチ音声/テキスト・変換要求として、インターネット31上に配置された音声処理サーバ32(詳細は後述)へとLAN21経由で送信するものである。
第2の機能とは、インターネット31上に配置された音声処理サーバ32からLAN21経由で受信されたスピーチ音声データを、データ伸張、D/A変換、等々することでアナログスピーチ信号を生成し、この信号にてスピーカを駆動することにより、スピーカからスピーチ音声による発話を行うものである。
・ローカルサーバ22
ローカルサーバ22は、当該老人介護施設の会計処理や利用者管理に関する各種のソフトウェアのほか、当該老人介護施設に収容された全ての利用者の個々に関する各種の介護必要データが格納されている。それらのデータとしては、各利用者の睡眠データ、血圧や体温や心拍数などのバイタルデータのほか、食事摂取量や***量などの日常生活の記録データが含まれている。
ローカルサーバ22は、当該老人介護施設の会計処理や利用者管理に関する各種のソフトウェアのほか、当該老人介護施設に収容された全ての利用者の個々に関する各種の介護必要データが格納されている。それらのデータとしては、各利用者の睡眠データ、血圧や体温や心拍数などのバイタルデータのほか、食事摂取量や***量などの日常生活の記録データが含まれている。
・パソコン(PC)23
パソコン(PC)23は、ローカルサーバ22に格納された各種のソフトウェアを実行したり、上述の各利用者のデータに関する集計や分析などのために利用される。
パソコン(PC)23は、ローカルサーバ22に格納された各種のソフトウェアを実行したり、上述の各利用者のデータに関する集計や分析などのために利用される。
<施設外システムの構成>
次に、老人介護施設外のシステムについて説明する。老人介護施設外のシステムは、この例にあっては、音声処理サーバ32と、データ保管サーバ33と、本発明の要部である対話処理サーバ34とを含んで構成され、それらのサーバ32,33,34は、インターネット31を介して互いに連携可能に構成されている。
次に、老人介護施設外のシステムについて説明する。老人介護施設外のシステムは、この例にあっては、音声処理サーバ32と、データ保管サーバ33と、本発明の要部である対話処理サーバ34とを含んで構成され、それらのサーバ32,33,34は、インターネット31を介して互いに連携可能に構成されている。
・音声処理サーバ32
音声処理サーバ32は、既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを該当するテキストデータに変換する音声/テキスト・変換部と、既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを該当するスピーチ音声データに変換するテキスト/音声・変換部とを有するもので、その詳細については、図3及び図4に示されている。
音声処理サーバ32は、既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを該当するテキストデータに変換する音声/テキスト・変換部と、既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを該当するスピーチ音声データに変換するテキスト/音声・変換部とを有するもので、その詳細については、図3及び図4に示されている。
音声処理サーバ32は、図3に示されるように、なんらかの変換要求がインターネット31を経由して到来するたびに、その要求種別がスピーチ音声/テキスト・変換(以下、「STT変換」と称する)であるか、又はテキスト/スピーチ音声・変換(以下、「TTS変換」と称する)であるかの判定を行う(ステップ101)。
そして、「STT変換」であると判定されたときには(ステップ101、「STT」)、受信された変換要求に含まれるスピーチ音声データを対応するテキストデータにSTT変換するAI変換処理(ステップ102)及び変換により得られたテキストデータを対話処理サーバ34へとインターネット31を経由して送信する処理(ステップ103)を実行する。
STT変換のイメージが、図4(a)に示されている。同図に示されるように、STT変換のためのAI変換処理においては、既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換する。この例にあっては、スピーチ音声データである「山田さんの体温は?」701は、変換モデルにしたがって処理されて、テキストデータである{text 山田さんの体温は}702へと変換される。
これに対して、「TTS」変換であると判定されたときには(ステップ101、「TTS」)、受信された変換要求に含まれるテキストデータを対応するスピーチ音声データにTTS変換するAI変換処理(ステップ104)及び変換により得られたスピーチ音声データを、インターネット31及びLAN21経由で、音声入出力端末20へと送信する処理(ステップ105)を実行する。
TTS変換のイメージが、図4(b)に示されている。同図に示されるように、TTS変換のためのAI変換処理においては、既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを対応するスピーチ音声データに変換する。この例にあっては、テキストデータである「{ text:"山田さんの7/18の体温は10時30分に36.5度、14時に36.2でした" }」714は、変換モデルにしたがって処理されて、スピーチ音声データである「山田さんの7/18の体温は10時30分に36.5度、14時に36.2でした」715へと変換される。
なお、本発明に係るデータ入出力支援システムの性能は、上述の「STT変換」及び「TTS」変換の性能に少なからず依存するが、それらの変換処理については、大手IT企業(例えば、GoogleやAmazon等々)が提供する双方向のAI音声変換サービスを利用することにより、高性能な変換処理を、比較的に、低コストに実現することができる。
・データ保管サーバ33
データ保管サーバ33は、この発明に関連して新たに設けられたものであって、当該老人介護施設を利用する利用者の個々を特定するための「利用者情報」や個々の利用者に関する管理に供するための「介護必要情報」を格納する。
データ保管サーバ33は、この発明に関連して新たに設けられたものであって、当該老人介護施設を利用する利用者の個々を特定するための「利用者情報」や個々の利用者に関する管理に供するための「介護必要情報」を格納する。
利用者情報としては、例えば、各利用者の「ID番号」、「姓」、「名」、「姓の表音文字表記」、「名の表音文字表記」、「部屋番号」、等々を挙げることができる。ここで、表音文字とは、カタカナ文字やひらがな文字やローマ字を挙げることができる。先に述べたように、日本以外の外国仕様のシステムの場合には、宗教上や慣習上のしきたりに合わせて、「中間名」、「愛称」、「俗称」、等々を含めてもよい。
介護必要情報としては、各利用者の「バイタル情報」、「食物摂取情報」、「***情報」、「睡眠情報」、「生活記録情報」、等々を挙げることができる。ここで、「バイタル情報」としては、例えば、各利用者の体温、血圧、心拍数、等々を含むことができる。また、「睡眠情報」としては、各利用者の就寝時刻、起床時刻、睡眠継続時間、等々を含むことができる。また、「食物摂取情報」としては、例えば、主食の摂取%、副食の摂取%、汁物の摂取%、お茶や水等の飲料の摂取%、等々を含むことができる。また、***情報としては、例えば、排便の回数や色や形や量、排尿の回数や量、等々を含むことができる。また、「生活記録情報」としては、「半日寝ていた。」「夜は、テレビを視聴していた。」「読書をしていた。」等々の各利用者の生活記録を含むことができる。
図2において、データ保管サーバ33の右上には、利用者情報及び介護必要情報の一例が描かれている。ここでは、利用者情報の一部として、「利用者テーブル」が描かれており、また介護必要情報の一部として「バイタル情報テーブル」が描かれている。「利用者テーブル」は、利用者の個々を特定するための利用者情報を格納するものであって、この例にあっては、各「利用者ID」毎に、その個人属性(利用者の「姓」、利用者の「名」、利用者の「姓のカタカナ表記」、利用者の「名のカタカナ表記」、利用者の収容される「部屋番号」、等々)を定義してなるテーブルとして構成されている。「バイタル情報テーブル」は、利用者の個々のバイタル情報を格納するものであって、この例にあっては、各「利用者ID」毎に、そのバイタル属性(利用者データの「記録年月日」、「体温」、「血圧」、「心拍数」、等々)を定義してなるテーブルとして構成されている。
なお、図示は省略するが、データ保管サーバ33内には、その他、「飲食情報テーブル」や「***情報テーブル」等々を格納してもよい。「飲食情報テーブル」は、利用者の個々の飲食情報を格納するものであって、例えば、各「利用者ID」毎に、その飲食属性(利用者データの「記録年月日」、「主食の摂取%」、「副食の摂取%」、「汁の摂取%」、等々)を定義してなるテーブルとして構成される。「***情報テーブル」は、引用者の個々の排便や排尿情報を格納するものであって、例えば、各「利用者ID」毎に、その***属性(利用者データの「記録年月日」、「排便の色や形や量」、「排尿の回数や量」、等々)を定義してなるテーブルとして構成される。
・対話処理サーバ34
対話処理サーバ34は、システムと介護職員との間における音声入出力端末20を経由しての対話を実現するためのものであって、主として、テキスト解析処理部と対話制御処理部とを含んで構成されている。
対話処理サーバ34は、システムと介護職員との間における音声入出力端末20を経由しての対話を実現するためのものであって、主として、テキスト解析処理部と対話制御処理部とを含んで構成されている。
対話処理サーバ34は、図5(a)に示されるように、なんらかのテキストデータを受信するたびに、テキスト解析処理(ステップ201)及び対話制御処理(ステップ202)を順次に実行することにより、対話処理サーバとして必要な様々な機能を実現する。
1.テキスト解析処理
テキスト解析処理(ステップ201)は、図5(b)に示されるように、変数抽出処理(ステップ2011)とコマンド分類処理(ステップ2012)とを順次に実行するように構成されている。
テキスト解析処理(ステップ201)は、図5(b)に示されるように、変数抽出処理(ステップ2011)とコマンド分類処理(ステップ2012)とを順次に実行するように構成されている。
1.1 変数抽出処理
変数抽出処理(ステップ2011)は、既知の対話(例えば、介護職員同士の対話)の学習により得られた対話モデルにしたがってテキストを解析することにより、与えられたテキストデータ中から、予め定義された変数に相当する「語」を抽出するものである。
変数抽出処理(ステップ2011)は、既知の対話(例えば、介護職員同士の対話)の学習により得られた対話モデルにしたがってテキストを解析することにより、与えられたテキストデータ中から、予め定義された変数に相当する「語」を抽出するものである。
この変数抽出処理(ステップ2011)の具体的なイメージの一例が、図6(a)に示されている。同図に示されるように、今仮に、テキストデータ「{text : 山田さんの体温は}」703が与えられたものと想定する。すると、このテキストデータは、既知の対話の学習により得られた対話モデル704にしたがって解析され、予め定義された変数である「姓」、「対象」、「日時」に相当する「語(変数値)」がそれぞれ抽出される。図示例にあっては、抽出結果705から明らかなように、変数「姓」に相当する「語」としては「山田」、変数「対象」に相当する「語」としては「体温」が抽出されたものの、変数「日時」としての「語」はなにも抽出されてはいない。
1.2 コマンド分類処理
コマンド分類処理(ステップ2012)は、既知の対話(例えば、介護職員同士の対話)の学習により得られた対話モデルにしたがってテキストを解析することにより、与えられたテキストデータからコマンドの種別を分類(判定)するものである。
コマンド分類処理(ステップ2012)は、既知の対話(例えば、介護職員同士の対話)の学習により得られた対話モデルにしたがってテキストを解析することにより、与えられたテキストデータからコマンドの種別を分類(判定)するものである。
このコマンド分類処理(ステップ2012)の具体的なイメージの一例が、図6(b)に示されている。同図に示されるように、今仮に、テキストデータ「{text : 山田さんの体温は}」706が与えられたものと想定する。すると、このテキストデータ706は、既知の対話の学習により得られた対話モデル707にしたがって解析され、音声により指定されたコマンドの種別が分類される。図示例にあっては、分類結果708から明らかなように、コマンド分類結果は、「体温の確認要求コマンド」と認定されている。
2.対話制御処理
対話制御処理(ステップ202)は、図5(c)に示されるように、コマンド実行前処理(ステップ2021)、コマンド実行処理(ステップ2022)、応答生成処理(ステップ2023)及び対携帯端末応答送信処理(ステップ2024)を含んで構成される。
対話制御処理(ステップ202)は、図5(c)に示されるように、コマンド実行前処理(ステップ2021)、コマンド実行処理(ステップ2022)、応答生成処理(ステップ2023)及び対携帯端末応答送信処理(ステップ2024)を含んで構成される。
2.1 コマンド実行前処理
コマンド実行前処理(ステップ2021)は、コマンド分類処理(ステップ2012)により分類されたコマンドを実行するに先立って、当該コマンド処理の対象となる1の利用者の特定に使用されている「利用者特定語」(例えば、「姓」)と、データ保管サーバ33に格納された「利用者情報」(例えば、「利用者テーブル」)と、音声出力端末20を経由する介護職員10との「対話処理結果」とに基づいて、コマンド処理の対象となる1の利用者を確定する「対象者確定処理」と、当該コマンドに必要な変数(例えば、「姓」、「対象」、「日時」)のうち、対応する「語(変数値)」が充足されていない変数について、「語」の補足を行うための「変数の補足処理」等を含んで構成されている。
コマンド実行前処理(ステップ2021)は、コマンド分類処理(ステップ2012)により分類されたコマンドを実行するに先立って、当該コマンド処理の対象となる1の利用者の特定に使用されている「利用者特定語」(例えば、「姓」)と、データ保管サーバ33に格納された「利用者情報」(例えば、「利用者テーブル」)と、音声出力端末20を経由する介護職員10との「対話処理結果」とに基づいて、コマンド処理の対象となる1の利用者を確定する「対象者確定処理」と、当該コマンドに必要な変数(例えば、「姓」、「対象」、「日時」)のうち、対応する「語(変数値)」が充足されていない変数について、「語」の補足を行うための「変数の補足処理」等を含んで構成されている。
2.1.1 対象者確定処理
対象者確定処理については、本発明に係るデータ入出力支援システムの要部の1つをなすものであって、追って、図8及び図9を参照して詳細に説明する。
対象者確定処理については、本発明に係るデータ入出力支援システムの要部の1つをなすものであって、追って、図8及び図9を参照して詳細に説明する。
2.1.2 変数の補足処理
今仮に、図6(c)に示されるように、変数抽出結果709において、3つの変数「姓」、「対象」、「日時」のうち、変数「日時」の値が未充足であると想定する。このような場合、システムの側では、日時の確認を要する場合に介護職員へと問い掛ける際の定型スピーチ音声(「いつの体温をお調べしますか?」)に相当するテキストデータを自動生成する。こうして自動生成されたテキストデータは、「TTS」変換要求として、インターネット31を経由して、音声処理サーバ32へと送信される。
今仮に、図6(c)に示されるように、変数抽出結果709において、3つの変数「姓」、「対象」、「日時」のうち、変数「日時」の値が未充足であると想定する。このような場合、システムの側では、日時の確認を要する場合に介護職員へと問い掛ける際の定型スピーチ音声(「いつの体温をお調べしますか?」)に相当するテキストデータを自動生成する。こうして自動生成されたテキストデータは、「TTS」変換要求として、インターネット31を経由して、音声処理サーバ32へと送信される。
すると、音声処理サーバ32内において、処理(図3、ステップ101「TTS」、104、105)が順次に実行されて、テキストデータに対応するスピーチ音声データが生成される。こうして、得られたスピーチ音声データは、インターネット31及びLAN21を経由して、音声入出力端末20へと送られる。すると、音声入出力端末20のスピーカからは、スピーチ音声(「いつの体温をお調べしますか?」)が流れ出す。この状態において、介護職員10が音声入出力端末20のマイクへと回答スピーチ音声(「昨日のです」)711を話し掛けると、音声入出力端末20は対応するスピーチ音声データを生成すると共に、これを「STT」変換要求として、LAN21及びインターネット31を経由して、音声処理サーバ32へと送信する。
すると、音声処理サーバ32内において、処理(図3、ステップ101「STT」、102、103)が順次に実行されて、回答スピーチ音声データに対応する回答テキストデータが生成される。こうして、得られたテキストデータは、インターネット30を経由して、対話処理サーバ34へと送られる。対話処理サーバ34では、回答テキストデータが返送されるのを待って、回答テキストデータに含まれる語「昨日」を抽出すると共に、現在の日時から逆算することで、指定の日時「7/18」を求め、不足していた変数「日時」の値を充足することでコマンドを完成し、コマンド実行処理へと移行する。
3.コマンド実行処理
コマンド実行処理(ステップ2022)の基本は、要するに、対象者確定処理(詳細は後述)により確定された「利用者(例えば、「タナカヨシナリ」)」及び「対象(例えば、「体温」)」に関して、コマンドの「種別」(例えば、入力要求、確認要求)に応じた処理(体温の記録処理又は体温の確認処理)を実行するものである。
コマンド実行処理(ステップ2022)の基本は、要するに、対象者確定処理(詳細は後述)により確定された「利用者(例えば、「タナカヨシナリ」)」及び「対象(例えば、「体温」)」に関して、コマンドの「種別」(例えば、入力要求、確認要求)に応じた処理(体温の記録処理又は体温の確認処理)を実行するものである。
すなわち、図7に示されるように、処理要求が与えられるたびに、コマンドの内容が判別され(ステップ301)、「入力要求コマンド」であると判定されると(ステップ301、「入力要求」)、指定の記録処理(ステップ302)、応答生成処理(ステップ303)、応答返送処理(ステップ304)が順次に実行される。ここで、指定の記録処理(ステップ302)とは、コマンド指定の利用者(対象者)に関して、コマンド指定の「対象」(例えば、体温、血圧、等々)に関するデータ保管サーバ33への記録処理を実行するものである。これに対して、「確認要求コマンド」であると判定されると(ステップ301、「確認要求」、指定の検索処理(ステップ305)、応答生成処理(ステップ306)、応答返送処理(ステップ307)が順次に実行される。ここで、指定の検索処理(ステップ305)とは、コマンド指定の確定利用者(対象者)に関して、コマンド指定の「対象」(例えば、体温、血圧、等々)に関するデータ保管サーバ33における検索処理を実行するものである。
コマンド実行処理(ステップ2022)の一具体例が、図6(d)に示されている。この例にあっては、コマンド種別は「確認要求」であるから、当該コマンドに含まれる3つの変数の値である「姓:山田」、「対象:体温」、「日時:7/18」を検索キーとして、インターネット31経由にてデータ保管サーバ33のデータ(この例では、バイタル情報テーブル)にアクセスして検索処理を実行することにより、該当する検索結果712を取得する。図示の検索結果712によれば、7月18日の山田さんの体温は、10時30分が36.5度、14時が36.2度であったことが判る。
後に、図10を参照して詳述するように、コマンドの実行に際しては、コマンドを構成するテキストデータに、予め定義された「例外指定付きの全利用者一括指定命令」に相当する命令語が含まれているときには、所定利用者範囲に関する一括記録が可能となるような工夫が施されていることを注記する(図6(d)の下部参照)。
4.応答生成処理
応答生成処理(ステップ2023)の基本は、システム側から介護職員側へと伝えるべき様々なスピーチ音声に相当するテキストデータを生成することにある。それらのスピーチ音声としては、入力要求コマンドの内容を復唱して確認するための質問スピーチ音声、入力要求コマンドの実行が完了したことを介護職員に伝えるための完了スピーチ音声、確認要求コマンドの実行結果たる検索データを介護職員に伝えるための検索結果スピーチ音声、与えられたコマンド中に不明点がある場合に質問を介護職員に伝えるための質問スピーチ音声、等々を挙げることができる。
応答生成処理(ステップ2023)の基本は、システム側から介護職員側へと伝えるべき様々なスピーチ音声に相当するテキストデータを生成することにある。それらのスピーチ音声としては、入力要求コマンドの内容を復唱して確認するための質問スピーチ音声、入力要求コマンドの実行が完了したことを介護職員に伝えるための完了スピーチ音声、確認要求コマンドの実行結果たる検索データを介護職員に伝えるための検索結果スピーチ音声、与えられたコマンド中に不明点がある場合に質問を介護職員に伝えるための質問スピーチ音声、等々を挙げることができる。
そのような応答生成処理の具体的な一例が、図6(e)に示されている。この例にあっては、検索結果712に対応する定型の回答スピーチ音声(「山田さんの7/18の体温は10時30分に36.5度、14時に36.2度でした」)713に対応する回答テキストデータを自動生成するものである。
5.応答送信処理
応答送信処理(ステップ2024)の基本は、応答生成処理(ステップ2023)にて生成された各種の応答対応テキストデータを、テキスト/スピーチ音声・変換要求の形式で、インターネット31を経由して、音声処理サーバ32へと送信するものである。
応答送信処理(ステップ2024)の基本は、応答生成処理(ステップ2023)にて生成された各種の応答対応テキストデータを、テキスト/スピーチ音声・変換要求の形式で、インターネット31を経由して、音声処理サーバ32へと送信するものである。
<対象者確定処理の一般的な説明>
次に、本発明の要部の1つである「対象者確定処理」について、説明する。この対象者確定処理は、図6(c)に示されるように、先に述べたコマンド実行前処理(図5、ステップ2021)において実行されるものである。
次に、本発明の要部の1つである「対象者確定処理」について、説明する。この対象者確定処理は、図6(c)に示されるように、先に述べたコマンド実行前処理(図5、ステップ2021)において実行されるものである。
この「対象者確定処理」は、テキスト解析部(ステップ201)における解析結果が1の利用者の介護必要情報(例えば、「体温」)に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている「利用者特定語」(例えば、「姓:ヤマダ」)と、「利用者情報」(例えば、図2の「利用者テーブル」の情報)と、音声出力端末20を経由する介護職員10との「対話処理結果」とに基づいて、コマンド処理の対象となる1の利用者を確定するものである。
斯かる「対象者確定処理」が実行される結果、介護職員10は、コマンド処理の対象となる利用者をその「姓」のみで音声指定(例えば、「ヤマダさんの体温~」)することができ、その後、システム側との対話(質疑応答)を通じて、コマンド処理の対象となる利用者を正確に特定(例えば、「ヤマダヨシアキさんの体温~」)することが可能となる。勿論、基本ルールとしては、「姓」と「名」との結合である「姓名」により、コマンド処理の対象者を音声指定するのであるが、仮に、多忙であったり、うっかり失念したりしても、「姓」さえ判っていれば、後はシステムとの対話を通じて、対象者を正確に特定することが可能となるのである。
この「対象者確定処理」には、第1の方式と第2の方式とからなる2通りの処理が存在する。コマンド実行処理(ステップ2022)においては、それらの「対象者確定処理」において、コマンド処理の対象となる利用得者が確定した場合に限り、与えられたコマンド(例えば、入力要求コマンド、確認要求コマンド、等々)に対応する処理(例えば、記録処理や検索処理)が実行される。
第1の方式の「対象者確定処理」にあっては、利用者特定語が、個人の特定に通常使用される「姓」、「名」、「中間名」、「愛称」等々の複数の「個人特定語」のうちの1つ(例えば、「姓:ヤマダ」)のみで構成されるときには、利用者情報保持部(例えば、図2、利用者テーブル)において、「利用者特定語」(例えば、「姓:ヤマダ」)を検索キーとした検索処理を実行し、その結果、ヒットした利用者の件数が1件のときには、「個人特定語」のうちの「利用者特定語」(例えば、「姓」)を除く残りの1又は2以上の「語」(例えば、「名:ヨシアキ」)を含む所定の再確認用スピーチ(例えば、「ヤマダヨシアキさんですね?」)に相当するテキストデータを生成して、テキスト/音声・変換部(図4(b))を経由して、音声入出力端末20へと送信し、しかるのち、音声・テキスト変換部(図4(a))を経由して、音声入出力端末20から肯定的返答(例えば、「そうです」)に相当するテキストデータを受信したときに限り、コマンド処理の対象となる1の利用者を確定するものである、
第2の方式による「対象者確定処理」にあっては、「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、利用者情報保持部(例えば、図2、利用者テーブル)において、「利用者特定語」(例えば、「姓:ヤマダ」)を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音(例えば、「ヤマダヨシアキさんとヤマダヒロシさんとのどちらですか?」)に相当するテキストデータを自動生成して、テキスト/音声・変換部(図4(b))を経由して、音声入出力端末20へと送信し、しかるのち、音声・テキスト変換部(図4(a))を経由して、音声入出力端末20から返送されるテキストデータに含まれる「名」(又は「姓」)(例えば、「ヨシアキさん」)に基づいて、コマンド処理対象となる対象者を確定するものである。
ここで、欧米仕様のシステムにあっては、上の説明における「姓」を「名」に、「名」を「姓」に置き換えることができる。すなわち、「利用者特定語」が、「名」(又は「姓」)のみで構成されるときには、利用者情報保持部(例えば、図2、利用者テーブル)において、「利用者特定語」(例えば、「名:ビル」)を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「姓」(又は「名」)を含む選択要求スピーチ音(例えば、「ビルクリントンさんとビルゲイツさんとのどちらですか?」)に相当するテキストデータを自動生成して、テキスト/音声・変換部(図4(b))を経由して、音声入出力端末20へと送信し、しかるのち、音声・テキスト変換部(図4(a))を経由して、音声入出力端末20から返送されるテキストデータに含まれる「姓」(又は「名」)(例えば、「ゲイツ」)に基づいて、コマンド処理対象となる対象者を確定するものである。
この第2方式による「対象者確定処理」にあっては、さらに、利用者情報保持部(例えば、図2、利用者テーブル)において、「利用者特定語」(例えば、「姓:ヤマダ」)を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在するときには、それぞれの利用者の「部屋番号」を含む選択要求スピーチ音(例えば、「105号室と115号室とのどちらのヤマダヨシアキさんですか?」)に相当するテキストデータを自動生成して、テキスト/音声・変換部(図4(b))を経由して、音声出力端末20へと送信し、しかるのち、音声・テキスト変換部(図4(a))を経由して、音声入出力端末20から返送されるテキストデータに含まれる「部屋番号」(例えば、「105号室です」)に基づいて、コマンド処理対象となる対象者を確定するものである。
<対象者確定処理の具体的な一例>
第1、第2の方式に係る対象者確定処理の具体的な一例を含むコマンド実行前処理及びコマンド実行処理の全体が、図8及び図9のフローチャートに示されている。図8は、「体温入力要求コマンド」に対応する処理であり、図9は「体温確認コマンド」に対応する処理である。
第1、第2の方式に係る対象者確定処理の具体的な一例を含むコマンド実行前処理及びコマンド実行処理の全体が、図8及び図9のフローチャートに示されている。図8は、「体温入力要求コマンド」に対応する処理であり、図9は「体温確認コマンド」に対応する処理である。
<体温入力要求コマンドに対応する処理>
先ず、図8を参照して、体温入力要求コマンドに対応する「対象者確定処理」について説明する。図示しない音声入出力端末20において、介護職員10が、「体温入力要求コマンド」に相当する入力要求スピーチ音声(図8、IR01~04)のいずれか1つをマイクに向けて話し掛けることにより、コマンド分類処理(図6(c)参照)において「体温入力要求コマンド」との判定が行われ、それにより、分岐処理(ステップ401)が肯定されて、コマンド実行前処理(ステップ2021)の一部として、「対象者確定処理」が開始される。
先ず、図8を参照して、体温入力要求コマンドに対応する「対象者確定処理」について説明する。図示しない音声入出力端末20において、介護職員10が、「体温入力要求コマンド」に相当する入力要求スピーチ音声(図8、IR01~04)のいずれか1つをマイクに向けて話し掛けることにより、コマンド分類処理(図6(c)参照)において「体温入力要求コマンド」との判定が行われ、それにより、分岐処理(ステップ401)が肯定されて、コマンド実行前処理(ステップ2021)の一部として、「対象者確定処理」が開始される。
1.「姓」の一致する対象者が1名の場合
この対象者確定処理では、先ず、インターネット31を経由して、データ保管サーバ33内の「利用者テーブル」がアクセスされて、利用者特定語である「イケダ」を検索キーとして、利用者の検索が行われる(ステップ402)。
この対象者確定処理では、先ず、インターネット31を経由して、データ保管サーバ33内の「利用者テーブル」がアクセスされて、利用者特定語である「イケダ」を検索キーとして、利用者の検索が行われる(ステップ402)。
続いて、検索結果に基づいて、体温入力対象となる利用者(以下、「対象者」と称する)が1人でも存在するか否かの判断が行われる(ステップ403)。対象者が1人でも存在すると判定される場合には(ステップ403YES)、さらに、「姓:イケダ」に該当する対象者の人数が1名か、2名以上かの判断が行われる(ステップ404)。
「姓:イケダ」の該当者の人数が1名と判定されると(ステップ404YES)、続いて、「体温入力要求コマンド」を構成するテキストデータに、「変数」の1つである「時間情報」に相当する何らかの「語(変数の値)」が存在するか否かの判断が行われる(ステップ406)。この例にあっては、テキストデータの元となる3つの入力要求スピーチ音声IR01,IR02,IR03には、「変数」である「時間情報」に相当する「語(変数の値)」として、「11:50」、「今」、「5分前」がそれぞれ存在するため、時間情報は存在するとの判定が行われる(ステップ406YES)。これに対して、入力要求スピーチ音声IR04には、時間情報に相当する「語(値)」が存在しないため、時間情報が存在しないと判定される(ステップ406NO)。
時間情報が存在すると判定された場合には(ステップ406YES)、直ちに、入力情報の発話処理(ステップ407)へと移行する。これに対して、時間情報は存在しないと判定された場合には(ステップ406NO)、時間情報として現在時刻を補足したのち、入力情報の発話処理(ステップ407)へと移行する。
入力情報の発話処理(ステップ407)は、音声入出力端末20のマイクに向けて、介護職員10が話し掛けた入力要求スピーチ音の内容を確認するための復唱質問スピーチ音(例えば、「イケダヨシアキさんの11:50の体温は37.2℃ですね」)416を音声入出力端末20のスピーカから発話させるためのものである。
この例では、入力要求スピーチ音に、変数である「姓」、「体温」、「時間情報」に対応する「語(値)」が全て存在する場合(図8のIR01~03)には、それら3つの変数の値及び「姓:イケダ」と対をなして利用者テーブルに記憶された「名:ヨシアキ」を利用して、復唱質問スピーチ音に相当する定型のテキストデータが生成される。
一方、入力要求スピーチ音に、変数である「姓」及び「体温」は存在するものの、変数である「時間情報」が欠落している場合(図8、IR04)には、変数である「時間情報」に現時刻を補足したのち、それら補足後の3つの変数、及び、「姓:イケダ」と対をなして利用者テーブルに記憶された「名:ヨシアキ」を利用して、復唱質問スピーチ音に相当する定型のテキストデータを生成する。
こうして生成された復唱質問スピーチ音に相当するテキストデータは、テキスト/スピーチ音声・変換要求の形式にて、インターネット31を経由して、音声処理サーバ32へと送信される。すると、音声処理サーバ32にて生成された復唱スピーチ音データは、音声入出力端末20へと送信され、これにより、音声入出力端末20のスピーカからは、復唱質問スピーチ音(この例では、「イケダヨシアキさんの11:50の体温は37.2℃ですね」)が発話される。
その後、システムの側では、音声入出力端末20から介護職員の返答スピーチ音に相当するなんらかのテキストデータが音声処理サーバ32を経由して到来するのを待機する状態となる(ステップ408)。この状態において、介護職員から肯定的な返答スピーチ音(例えば、「はい」、「うん」、「そう」、「Yes」)がマイクに対して話し掛けられると(ステップ408、肯定返答419)、「イケダヨシアキ」はコマンド処理の対象者として確定され、バイタル情報テーブル(図2参照)内には、利用者「イケダヨシアキ」と関係付けて、11:50の体温は37.2℃である旨の情報が記録される。
その後、記録完了に対応する記録完了スピーチ音声「記録しました」420に相当するテキストデータが自動的に生成され、テキスト/スピーチ音声・変換要求の形式にて、インターネット31を経由して、音声処理サーバ32へと送信される。すると、音声処理サーバ32にて生成された記録完了スピーチ音データは音声入出力端末20へと送信され、これにより、音声入出力端末20のスピーカからは、記録完了スピーチ音(この例では、「記録しました」)が発話され、介護職員10に対してその旨が通知される。
なお、前述の待機状態(ステップ408)において、介護職員から否定的な返答スピーチ音(例えば、「いいえ」、「No」、「そう」、「違う」)がマイクに対して話し掛けられるか(ステップ408、否定返答418)、或いは一定の待機時間(例えば、5秒)内に、なにの応答も到来しなければ(ステップ408、無視419)、「イケダヨシアキ」はコマンド処理の対象者と確定することはなく、上述の記録処理は行われない。これにより、利用者の取り違えが回避される。
その後、音声入出力端末30のマイクに対して再度の話し掛けを促す誘導スピーチ音(例えば、「再度お話してくだい」421)に相当するテキストデータが自動的に生成され、これが音声処理サーバ32でスピーチ音声データに変換されて、音声入出力端末20へ送られることにより、音声入出力端末20のスピーカから誘導スピーチ音(この例では、「再度お話しください」)が発話される。
2.「姓」の一致する対象者が2名以上の場合
「姓:イケダ」に該当する対象者の人数が1名か、2名以上かの判断(ステップ404)において、該当者が2名以上であると判定されると(ステップ404NO)、図示を省略するが、さらに、それら2名以上の対象者の中に同姓同名の者が存在するか否かの判断が利用者テーブル(図2参照)の内容に基づいて行われる。
「姓:イケダ」に該当する対象者の人数が1名か、2名以上かの判断(ステップ404)において、該当者が2名以上であると判定されると(ステップ404NO)、図示を省略するが、さらに、それら2名以上の対象者の中に同姓同名の者が存在するか否かの判断が利用者テーブル(図2参照)の内容に基づいて行われる。
2.1 同姓同名者が存在しない場合
ここで、同姓同名の者が含まれていないと判定されると、例えば、該当者が2名の場合であれば、それら2名の該当者のそれぞれの「名」(例えば、「ヨシアキ」、「ノリマサ」)が利用者テーブル(図2参照)から読み出され、それらのいずれかを選択させるための問い合わせスピーチ音(例えば、「イケダさんは複数います。ヨシアキさん、ノリマサさんのどちらでしょう」)411に対応するテキストデータが自動生成される。
ここで、同姓同名の者が含まれていないと判定されると、例えば、該当者が2名の場合であれば、それら2名の該当者のそれぞれの「名」(例えば、「ヨシアキ」、「ノリマサ」)が利用者テーブル(図2参照)から読み出され、それらのいずれかを選択させるための問い合わせスピーチ音(例えば、「イケダさんは複数います。ヨシアキさん、ノリマサさんのどちらでしょう」)411に対応するテキストデータが自動生成される。
このテキストデータは、テキスト/スピーチ音声・変換要求の形で音声処理サーバ31へと送信され、さらに、音声処理サーバ31にて変換されたスピーチ音声データは、音声入出力端末20へと送られる。これにより、音声入出力端末20のスピーカより、選択を促すスピーチ音(例えば、「イケダさんは複数います。ヨシアキさん、ノリマサさんのどちらでしょう」)が流れ出す。
その後、システム側では、音声入出力端末20において、それら2つの「名」(「ヨシアキ」、「ノリマサ」)の1つを選択するためのスピーチ音声が音声入出力端末20マイクに話し掛けられるのを待機する状態となる(ステップ405)。
この状態において、介護職員10が音声入出力端末20のマイクに対して、選択された1人の名(例えば、「ヨシアキさん」)に相当するスピーチ音声を入力すると、音声処理サーバ32経由で変換された対応するテキストデータ(「ヨシアキさん」413)に基づいて、対象者の確定が行われる。
以後、「姓」の一致する対象者が一名のときと同様にして、一連の処理(ステップ403YES、404YES、406YES)を経由したのち、入力情報の発話処理(ステップ407)が実行され、さらに、入力情報の確認処理(ステップ408)を経て、「イケダヨシアキさん」に関する体温データの記録処理が完了する。
2.2 同姓同名者が存在する場合
同姓同名の者が存在すると判定されると、例えば、該当者が2名の場合であれば、それら2名の該当者のそれぞれの「部屋番号」(例えば、「201号」、「302号」)が利用者テーブル(図2参照)から読み出され、それらのいずれかを選択させるための問い合わせスピーチ音(例えば、「イケダヨシアキさんは複数います。201号室、302号室のどたらでしょう」)412に対応するテキストデータが自動生成される。
同姓同名の者が存在すると判定されると、例えば、該当者が2名の場合であれば、それら2名の該当者のそれぞれの「部屋番号」(例えば、「201号」、「302号」)が利用者テーブル(図2参照)から読み出され、それらのいずれかを選択させるための問い合わせスピーチ音(例えば、「イケダヨシアキさんは複数います。201号室、302号室のどたらでしょう」)412に対応するテキストデータが自動生成される。
このテキストデータは、テキスト/スピーチ音声・変換要求の形で音声処理サーバ31へと送信され、さらに、音声処理サーバ31にて変換されたスピーチ音声データは、音声入出力端末20へと送られる。これにより、音声入出力端末20のスピーカより、選択を促すスピーチ音(例えば、「イケダヨシアキさんは複数います。201号室、302号室のどたらでしょう」)が流れ出す。
その後、システム側では、音声入出力端末20において、それら2つの「部屋番号」(「201号室」、「302号室」)の1つを選択するためのスピーチ音声が音声入出力端末20マイクに話し掛けられるのを待機する状態となる(ステップ405)。
この状態において、介護職員10が音声入出力端末20のマイクに対して、選択された1人の名(例えば、「201号室」)に相当するスピーチ音声を入力すると、音声処理サーバ32経由で変換された対応するテキストデータ(「201号室」414)に基づいて、対象者の確定が行われる。
以後、「姓」の一致する対象者が一名のときと同様にして、一連の処理(ステップ403YES、404YES、406YES)を経由したのち、入力情報の発話処理(ステップ407)が実行され、さらに、入力情報の確認処理(ステップ408)を経て、「イケダヨシアキさん」に関する体温データの記録処理が完了する。
なお、対象者が1人でも存在するかの判定処理(ステップ403)において、対象者が存在しないと判定されると(ステップ403NO)、対象者の不在並びにさらなる検索要求の問い合わせに対応するスピーチ音声(「イケダさんが見つかりませんでした。別の方をお調べしますか?」)410に相当するテキストデータが自動生成され、これが音声処理サーバ32を経由して、スピーチ音声データに変換されたのち、音声入出力端末20へと送信され、その旨のスピーチ音が発話される。これにより、利用者の取り違えが回避される。
<体温確認要求コマンドに対応する処理>
次に、図9を参照して、体温確認要求コマンドに対応する「対象者確定処理」について説明する。図示しない音声入出力端末20において、介護職員10が、「体温確認要求コマンド」に相当する確認要求スピーチ音声(図9、IR01~11)のいずれか1つをマイクに向けて話し掛けることにより、コマンド分類処理(図6(c)参照)において「体温確認要求コマンド」との判定が行われ、それにより、分岐処理(ステップ501)が肯定されて、コマンド実行前処理(ステップ2021)の一部として、「対象者確定処理」が開始される。
次に、図9を参照して、体温確認要求コマンドに対応する「対象者確定処理」について説明する。図示しない音声入出力端末20において、介護職員10が、「体温確認要求コマンド」に相当する確認要求スピーチ音声(図9、IR01~11)のいずれか1つをマイクに向けて話し掛けることにより、コマンド分類処理(図6(c)参照)において「体温確認要求コマンド」との判定が行われ、それにより、分岐処理(ステップ501)が肯定されて、コマンド実行前処理(ステップ2021)の一部として、「対象者確定処理」が開始される。
この体温確認要求コマンドに対応する処理においても、「コマンド実行前処理」については、対象者が存在しないとき(ステップ503NO)における対応(512)、対象者が1名のとき(ステップ504YES)の対応(ステップ506)、対象者が2名以上であって、同姓同名の者が存在しないとき(ステップ504NO)の対応(513)、及び対象者が2名以上であって、同姓同名の者が存在するとき(ステップ504NO)の対応(514)については、いずれも、図8を参照して説明した体温入力要求コマンドの場合と同様である。
一方、「コマンド実行処理」については、音声入力により生成されたテキストデータに体温データが存在するか否か(ステップ507)、該当日に複数データが存在するか否か(ステップ509)に応じて、その対応は異なる。
すなわち、体温データが存在しないとき(ステップ507NO)、介護職員に対しては、音声入出力端末20を介して、データ不存在の旨のスピーチ音声(「イケダヨシアキさんの昨日体温のデータはありません」)517が発話されて、処理は終了する(ステップ508)。
該当日に単一のデータが存在するとき(ステップ509NO)、介護職員に対しては、音声入出力端末20を介して、体温に関するスピーチ音声(「イケダヨシアキさんの昨日10:35の体温は36.8℃です」)518が発話されて、処理は終了する(ステップ510)。
該当日に複数のデータが存在するとき(ステップ509YES)、介護職員に対しては、音声二周出力端末20を介して、体温に関するスピーチ音声(「イケダヨシアキさんの昨日18:40の体温は38.2℃、12:10の体温は37.2℃、10:35の体温は36.8℃です」)519が発話されて、処理は終了する(ステップ511)。
<「例外指定付き前対象者一括処理命令」に対するコマンド実行処理>
次に、図10を参照して、「例外指定付き対象者一括処理命令を含む食事量入力要求コマンドに対するコマンド実行処理について説明する。図示しない音声入出力端末20において、介護職員10が、「食事量入力要求コマンド」に相当する入力要求スピーチ音声(図10、IR21,22)のいずれか1つをマイクに向けて話し掛けることにより、コマンド分類処理(図6(c)参照)において「食事量入力要求コマンド」との判定が行われ、分岐処理(ステップ601)が肯定されて、コマンド実行前処理(ステップ2021)の一部として、「対象者確定処理」が開始される。
次に、図10を参照して、「例外指定付き対象者一括処理命令を含む食事量入力要求コマンドに対するコマンド実行処理について説明する。図示しない音声入出力端末20において、介護職員10が、「食事量入力要求コマンド」に相当する入力要求スピーチ音声(図10、IR21,22)のいずれか1つをマイクに向けて話し掛けることにより、コマンド分類処理(図6(c)参照)において「食事量入力要求コマンド」との判定が行われ、分岐処理(ステップ601)が肯定されて、コマンド実行前処理(ステップ2021)の一部として、「対象者確定処理」が開始される。
食事量入力要求コマンドに相当する2通りのスピーチ音声(IR21,IR22)をSTT変換して得られるテキストデータの中には、対象者個別指定部分(「池田さんは主食80%、副食70%、汁50%」、「池田さんは主食50%、副食80%、汁は50%です」)と例外指定付きの全対象者一括指定部分(「池田さん以外昼食の主食と副食と汁は完食」、「昼食の主食と副食と汁は、池田さん以外完食」)とが含まれている。
対象者個別指定部分(「池田さんは主食80%、副食70%、汁50%」、「池田さんは主食50%、副食80%、汁は50%です」)に関しては、「対象者確定処理」については、対象者が存在しないとき(ステップ603NO)における対応(610)、対象者が1名のとき(ステップ604YES)の対応(607)、対象者が2名以上であって、同姓同名の者が存在しないとき(ステップ604NO)の対応(611)、及び対象者が2名以上であって、同姓同名の者が存在するとき(ステップ604NO)の対応(612)については、いずれも、図8を参照して説明した体温入力要求コマンドの場合と同様に処理される。
一方、例外指定付きの全対象者一括指定部分には、「例外指定付き全利用者一括指定命令」に相当する命令語「~以外」が含まれている。この命令語「~以外」がテキストデータ中に存在する場合には、予め設定された母集団(例えば、1階の全利用者、食堂に集合した全利用者、等々)を前提として、命令語「~以外」と一定の語順関係等にある「利用者」を例外として、上記の母集団の全員について、一括して同一のデータを書き込む処理が行われる。
例えば、施設利用者の全員を食堂に集めて朝食、昼食、夕食を提供するような場合を想定すると、集合した全員の人数(例えば、15名)及び個々の氏名は既知であって、そのうち、ある利用者(例えば、タカハシさん)以外は、主食も副食も完食したことを記録する場合も想定される。そのような場合に、15名の利用者のそれぞれについて、個別にスピーチ音声にて入力するのは大きな手間である。そのような場合、「例外指定付き全利用者一括指定命令」を含むスピーチ音声(例えば、「タカハシさん以外は、主食も副食も完食です」を使用することで、音声入力の手間を大幅に削減することができる。
以上説明した本発明の実施形態によれば、この種の老人介護施設におけるデータ入力の操作を音声を介して容易にかつ効率よく行うことができる。そのため、電子機器の画面上の細かな文字の視認が苦手な介護職員や外国人労働者を雇用する老人介護施設におけるデータ入力の作業性を向上させることができる。
本発明は、老人介護施設に対して各種の管理ソフトを提供するソフトウェア業者において有効に利用することができる。
10 介護職員
20 音声入出力端末
20a スマートフォン
20b スマートウォッチ
21 LAN
22 ローカルサーバ
23 パソコン(PC)
31 インターネット
32 音声処理サーバ
33 データ保管サーバ
34 対話処理サーバ
CR01 確認要求スピーチ
CA01 確認回答スピーチ
IR01~IR04 入力要求スピーチ
CR101~CR111 確認要求スピーチ
IR21~IR22 入力要求スピーチ
20 音声入出力端末
20a スマートフォン
20b スマートウォッチ
21 LAN
22 ローカルサーバ
23 パソコン(PC)
31 インターネット
32 音声処理サーバ
33 データ保管サーバ
34 対話処理サーバ
CR01 確認要求スピーチ
CA01 確認回答スピーチ
IR01~IR04 入力要求スピーチ
CR101~CR111 確認要求スピーチ
IR21~IR22 入力要求スピーチ
Claims (9)
- 介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関する介護必要情報を少なくとも保持する介護必要情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを該当するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを該当するスピーチ音声データに変換するテキスト/音声・変換部と、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、
老人介護施設におけるデータ入力支援装置。 - 前記対象者確定処理部が、
前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在するときには、それぞれの利用者の「部屋番号」を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「部屋番号」に基づいて、コマンド処理対象となる対象者を確定する、
請求項1に記載の老人介護施設におけるデータ入力支援装置。 - 前記対象者確定処理部が、
前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が0件のときには、該当する利用者を発見しない旨のスピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で、前記音声入出力端末へと送信する、
請求項1に記載の老人介護施設におけるデータ入力支援装置。 - 前記コマンド実行部は、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンドであるときには、前記音声/テキスト・変換部及び前記テキスト解析部を経由して、前記音声入出力端末から受信された介護必要情報を前記介護必要情報保持部内の確定した対象者領域に書き込む、
請求項1に記載の老人介護施設におけるデータ入力支援装置。 - 前記コマンド実行部は、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する確認要求コマンドであるときには、前記介護必要情報保持部内の指定された確定した対象者領域から読み出した介護必要データを、前記テキスト/音声・変換部を経由して、音声入出力端末へと送信する、
請求項1に記載の老人介護施設におけるデータ入力支援装置。 - 介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関する介護必要情報を保持する介護必要情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを該当するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを該当するスピーチ音声データに変換するテキスト/音声・変換部と、を含み、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読ステップと、
前記テキスト解読ステップにおける解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定ステップと、
前記対象者確定処理ステップにて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行ステップとを包含し、
前記対象者確定処理ステップは、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、
老人介護施設におけるデータ入力支援方法。 - 介護職員が携帯可能であって、マイクとスピーカとを有し、かつ無線によるネットワーク接続機能を備えた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する、ネットワーク上の利用者情報保持サーバと、
当該老人介護施設の利用者に関する介護必要情報を保持する、ネットワーク上の介護必要情報保持サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを該当するテキストデータに変換する、ネットワーク上の音声/テキスト・変換サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを該当するスピーチ音声データに変換する、ネットワーク上のテキスト/音声・変換サーバと、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するネットワーク上のテキスト解読サーバと、
前記テキスト解読サーバにおける解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理サーバと、
前記対象者確定処理サーバにて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理サーバは、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、
老人介護施設におけるデータ入力支援システム。 - 介護職員が携帯可能であって、マイクとスピーカと通信機能とが組み込まれた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する利用者情報保持部と、
当該老人介護施設の利用者に関するバイタル情報を保持するバイタル情報保持部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを該当するテキストデータに変換する音声/テキスト・変換部と、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを該当するスピーチ音声データに変換するテキスト/音声・変換部と、を含む老人介護施設におけるデータ入力支援装置において、
コンピュータを、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、
装置として機能させるためのコンピュータプログラム。 - 介護職員が携帯可能であって、マイクとスピーカとを有し、かつ無線によるネットワーク接続機能を備えた音声入出力端末と、
当該老人介護施設の利用者に関する利用者情報を保持する、ネットワーク上の利用者情報保持サーバと、
当該老人介護施設の利用者に関する介護必要情報を保持する、ネットワーク上の介護必要情報保持サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、スピーチ音声データを該当するテキストデータに変換する、ネットワーク上の音声/テキスト・変換サーバと、
既知の入出力関係の学習により生成された変換モデルにしたがって、テキストデータを該当するスピーチ音声データに変換する、ネットワーク上のテキスト/音声・変換サーバと、を有する老人介護施設におけるデータ入力支援システムにおいて、
コンピュータを、
前記音声入出力端末との通信を介して取得され、かつ前記介護職員が前記マイクに対して話しかけることにより生成されたスピーチ音声データを、前記音声/テキスト・変換部を介して変換することにより得られたテキストデータを、既知の対話の学習により得られた対話モデルにしたがって文章解析することにより、前記テキストの内容を解読するテキスト解読部と、
前記テキスト解読部における解読結果が1の利用者の介護必要情報に関する入力要求コマンド又は確認要求コマンドであるときには、当該コマンド処理の対象となる1の利用者の特定に使用されている利用者特定語と前記利用者情報と前記音声出力端末を経由する前記介護職員との対話処理結果とに基づいて、コマンド処理の対象となる1の利用者を確定する対象者確定処理部と、
前記対象者確定処理部にて確定された1の利用者に関して、前記入力要求コマンド又は前記確認要求コマンドにて指定された処理を前記介護必要情報保持部に関して実行するコマンド実行部とを包含し、
前記対象者確定処理部は、
前記「利用者特定語」が、「姓」(又は「名」)のみで構成されるときには、前記利用者情報保持部の利用者情報中において、前記「利用者特定語」を検索キーとした利用者検索処理を実行し、その結果、ヒットした利用者の件数が2件以上であって、かつそれらの利用者間に同姓同名の者が存在しないときには、それぞれの利用者の「名」(又は「姓」)を含む選択要求スピーチ音に相当するテキストデータを自動生成して、前記テキスト/音声・変換部経由で前記音声入出力端末へと送信し、しかるのち、前記音声・テキスト変換部経由で、前記音声入出力端末から返送されるテキストデータに含まれる「名」(又は「姓」)に基づいて、コマンド処理対象となる対象者を確定する、
サーバとして機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/001343 WO2021144931A1 (ja) | 2020-01-16 | 2020-01-16 | データ入力支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/001343 WO2021144931A1 (ja) | 2020-01-16 | 2020-01-16 | データ入力支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021144931A1 true WO2021144931A1 (ja) | 2021-07-22 |
Family
ID=76864239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/001343 WO2021144931A1 (ja) | 2020-01-16 | 2020-01-16 | データ入力支援装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2021144931A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001346236A (ja) * | 2000-05-31 | 2001-12-14 | Hitachi Information Technology Co Ltd | 音声応答電話転送システム |
JP2004110518A (ja) * | 2002-09-19 | 2004-04-08 | Sanyo Electric Co Ltd | 診療支援装置、診療支援システム |
JP2012073739A (ja) * | 2010-09-28 | 2012-04-12 | Sato Knowledge & Intellectual Property Institute | 訪問介護支援システムおよび訪問介護支援方法 |
JP2019175052A (ja) * | 2018-03-28 | 2019-10-10 | 大和ハウス工業株式会社 | 介護行為推定システム |
-
2020
- 2020-01-16 WO PCT/JP2020/001343 patent/WO2021144931A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001346236A (ja) * | 2000-05-31 | 2001-12-14 | Hitachi Information Technology Co Ltd | 音声応答電話転送システム |
JP2004110518A (ja) * | 2002-09-19 | 2004-04-08 | Sanyo Electric Co Ltd | 診療支援装置、診療支援システム |
JP2012073739A (ja) * | 2010-09-28 | 2012-04-12 | Sato Knowledge & Intellectual Property Institute | 訪問介護支援システムおよび訪問介護支援方法 |
JP2019175052A (ja) * | 2018-03-28 | 2019-10-10 | 大和ハウス工業株式会社 | 介護行為推定システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kumah-Crystal et al. | Electronic health record interactions through voice: a review | |
KR101689290B1 (ko) | 대화에서 정보를 추출하는 장치 | |
US8880403B2 (en) | Methods and systems for obtaining language models for transcribing communications | |
US9053096B2 (en) | Language translation based on speaker-related information | |
JP2020532757A (ja) | 複数のコンピューティングデバイスを使用したインターホン式の通信 | |
US20130144619A1 (en) | Enhanced voice conferencing | |
US20140019128A1 (en) | Voice Based System and Method for Data Input | |
US12008983B1 (en) | User feedback for speech interactions | |
CN103714813A (zh) | 短语辨认***和方法 | |
JP7276129B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
US20160189103A1 (en) | Apparatus and method for automatically creating and recording minutes of meeting | |
CN106713111B (zh) | 一种添加好友的处理方法、终端及服务器 | |
CN109285548A (zh) | 信息处理方法、***、电子设备、和计算机存储介质 | |
CN115280274A (zh) | 环境协作智能***和方法 | |
WO2019026617A1 (ja) | 情報処理装置、及び情報処理方法 | |
KR20170126667A (ko) | 회의 기록 자동 생성 방법 및 그 장치 | |
CN116762125A (zh) | 环境协作智能***和方法 | |
WO2021144930A1 (ja) | データ入力支援装置 | |
CN111400463B (zh) | 对话响应方法、装置、设备和介质 | |
Meliones et al. | SeeSpeech: an android application for the hearing impaired | |
WO2021144931A1 (ja) | データ入力支援装置 | |
WO2021144933A1 (ja) | データ入力支援装置 | |
US11763821B1 (en) | Tool for assisting people with speech disorder | |
JP2010054897A (ja) | 音声認識装置、音声認識プログラム、受付装置および受付プログラム | |
CN115831125A (zh) | 语音识别方法、装置、设备、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20914116 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20914116 Country of ref document: EP Kind code of ref document: A1 |