WO2019123775A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2019123775A1 WO2019123775A1 PCT/JP2018/037347 JP2018037347W WO2019123775A1 WO 2019123775 A1 WO2019123775 A1 WO 2019123775A1 JP 2018037347 W JP2018037347 W JP 2018037347W WO 2019123775 A1 WO2019123775 A1 WO 2019123775A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- confirmation response
- unit
- user
- information processing
- confirmation
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 189
- 238000003672 processing method Methods 0.000 title claims description 17
- 230000004044 response Effects 0.000 claims abstract description 633
- 238000012790 confirmation Methods 0.000 claims abstract description 403
- 238000012545 processing Methods 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000008520 organization Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 4
- 244000269722 Thea sinensis Species 0.000 description 3
- 235000020965 cold beverage Nutrition 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 235000021168 barbecue Nutrition 0.000 description 2
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 2
- 235000012171 hot beverage Nutrition 0.000 description 2
- 235000013336 milk Nutrition 0.000 description 2
- 239000008267 milk Substances 0.000 description 2
- 210000004080 milk Anatomy 0.000 description 2
- 208000005647 Mumps Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 208000010805 mumps infectious disease Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 235000020462 shikanjvi Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000021260 warm beverage Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Definitions
- the present disclosure relates to an information processing device, an information processing system, an information processing method, and a program. More specifically, the present invention relates to an information processing apparatus, an information processing system, an information processing method, and a program that make a response based on a voice recognition result of a user's speech.
- the system recognizes and understands a user's speech input via a microphone, and performs processing in accordance therewith. For example, when the user utters "Tell me the weather of tomorrow", the weather information is acquired from the weather information providing server, and a response based on the acquired information is generated and output from the speaker. Alternatively, when the user utters "Turn off the television", an operation to turn off the television is performed.
- the system may not be able to uniquely determine an action, such as when the degree of confidence in the speech recognition result or intention estimation result of the user's speech is low, or when there are multiple interpretations of the recognized result. .
- the system may generate and output an acknowledgment to the user to confirm the user's intention.
- the system reconfirms whether the user may perform the processing. May output an acknowledgment for
- Patent Document 1 Japanese Unexamined Patent Publication No. 2011-54088 discloses the following configuration.
- User utterances that are easy to make mistakes eg (Example 1) "get a cup” and “put a cut”, (Example 2) "Tell me about Ginkakuji” and “Tell me about Kinkakuji”,
- Example 2 "Tell me about Ginkakuji” and “Tell me about Kinkakuji”
- Disclosed is a configuration for outputting a response for confirming the user's intention when such a user's utterance is input.
- Patent Document 1 further describes the following example as an example in which there are a plurality of action targets and it can not be determined.
- Example 3 "take a cup”
- the user's utterance of the above (example 3) can be recognized, when there are a plurality of cups, it is not known which cup. Even in such a case, a response for confirming the user's intention is output.
- Patent Document 1 discloses such an interactive confirmation configuration.
- the present disclosure has been made in view of the above problems, for example, in the case where the system side can not determine the process, for example, when the recognition result of the user's speech is ambiguous or when there are a plurality of candidates, etc.
- An information processing apparatus, an information processing system, an information processing method, and a program that realize improvement in confirmation accuracy by providing information as added response when presenting a confirmation response for resolving ambiguity against The purpose is to
- the first aspect of the present disclosure is A voice input unit for inputting user utterances;
- a confirmation response generation unit configured to generate a confirmation response for requesting confirmation of the utterance user in response to the user utterance; It has an audio output unit that outputs the confirmation response generated by the confirmation response generation unit,
- the confirmation response generation unit The information processing apparatus executes generation of an acknowledgment using additional information obtained from at least one of dictionary data and application execution results.
- a second aspect of the present disclosure is: An information processing system having a user terminal and a data processing server;
- the user terminal is A voice input unit for inputting user utterances;
- a confirmation response generation unit configured to generate a confirmation response for requesting confirmation of the utterance user in response to the user utterance; It has an audio output unit that outputs the confirmation response generated by the confirmation response generation unit
- the data processing server is A voice recognition unit that executes recognition processing of input voice of the voice input unit;
- An intention understanding unit that executes intention understanding processing based on the recognition result of the speech recognition unit;
- the dialog control process based on the intention understanding result generated by the intention understanding unit is executed, and it is determined whether the confirmation response to the user's speech is necessary based on the intention understanding result, and it is determined that the confirmation response is necessary.
- a dialog control unit that outputs a confirmation response generation instruction to a confirmation response generation unit of the user terminal;
- the confirmation response generation unit of the user terminal may In response to the acknowledgment generation command input from the data processing server,
- An information processing system executes generation of an acknowledgment using additional information obtained from at least one of dictionary data and an application execution result.
- the third aspect of the present disclosure is: An information processing method to be executed in the information processing apparatus; A voice input step in which a voice input unit inputs user's speech; A confirmation response generation step of generating a confirmation response for requesting confirmation of the speaking user in response to the user utterance; The voice output unit executes a voice output step of outputting the confirmation response generated in the confirmation response generation step;
- the present invention is an information processing method for generating an acknowledgment using additional information obtained from at least one of dictionary data and application execution results.
- a fourth aspect of the present disclosure is: An information processing method to be executed in an information processing system having a user terminal and a data processing server,
- the user terminal is Execute voice input processing to input user utterances,
- the data processing server Voice recognition processing of input voice input in the voice input processing;
- An intention understanding process based on the speech recognition result generated by the speech recognition process;
- Based on the intention understanding result of the intention understanding processing it is determined whether or not the confirmation response to the user speech is necessary, and when it is determined that the confirmation response is necessary, the confirmation response generation instruction is output to the user terminal;
- the user terminal is Executing a confirmation response generation process for generating a confirmation response for requesting confirmation of the speaking user in response to the user utterance, in response to the confirmation response generation command input from the data processing server;
- the present invention is an information processing method of executing an acknowledgment response generation process using additional information obtained from at least one of dictionary data and an application execution result.
- a fifth aspect of the present disclosure is: A program that causes an information processing apparatus to execute information processing, A voice input step for causing the voice input unit to input a user's speech; A confirmation response generation step of causing the confirmation response generation unit to generate a confirmation response for requesting confirmation of the speaking user in response to the user utterance; Causing an audio output unit to execute an audio output step of outputting the confirmation response;
- the present invention is a program that executes generation of an acknowledgment using additional information obtained from dictionary data and / or application execution results.
- the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that provides various program codes in a computer-readable format to an information processing apparatus or computer system capable of executing the program code.
- a storage medium or a communication medium that provides various program codes in a computer-readable format to an information processing apparatus or computer system capable of executing the program code.
- a system is a logical set composition of a plurality of devices, and the device of each composition is not limited to what exists in the same case.
- the confirmation response when generating a confirmation response to a user's utterance, the confirmation response in which the possibility of misunderstanding is reduced by adding additional information acquired from the dictionary data and the application execution result is reduced.
- a voice input unit for inputting a user utterance a confirmation response generation unit for generating a confirmation response for asking for confirmation of the user of the user's utterance, and a sound for outputting the confirmation response generated by the confirmation response generation unit
- the confirmation response generation unit has an output unit, and executes the generation of the confirmation response using the additional information obtained from at least one of the dictionary data and the application execution result.
- a confirmation response using general knowledge base dictionary data, an execution result of an application, or information obtained from a photographed image, a sensor or the like is generated.
- a configuration is realized in which an acknowledgment response with reduced possibility of misunderstanding is generated by adding additional information acquired from dictionary data and application execution results.
- FIG. 2 is a view showing an example of the arrangement of an information processing apparatus 220 according to the first embodiment
- FIG. 8 is a diagram for explaining an example of confirmation response generation to which the information processing device 220 of the first embodiment is applied.
- FIG. 8 is a diagram for explaining an example of confirmation response generation to which the information processing device 220 of the first embodiment is applied.
- FIG. 8 is a diagram showing an example of the configuration of an information processing apparatus 240 according to a second embodiment.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 240 of the second embodiment is applied.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 240 of the second embodiment is applied.
- FIG. 18 is a diagram showing an example of the configuration of an information processing apparatus 260 according to a third embodiment.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 260 of the third embodiment is applied.
- FIG. 18 is a diagram showing an exemplary configuration of an information processing device 280 as a modification of the third embodiment.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 280 as a modified example of the third embodiment is applied.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 280 as a modified example of the third embodiment is applied.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 280 as a modified example of the third embodiment is applied.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 280 as a modified example of the third embodiment is applied.
- FIG. 18 is a diagram showing an exemplary configuration of an information processing apparatus 290 as a modified example of the third embodiment.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 280 as a modified example of the third embodiment is applied.
- FIG. 18 is a diagram showing an example of the configuration of an information processing apparatus 310 according to a fourth embodiment.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing apparatus 310 of the fourth embodiment is applied.
- FIG. 18 is a diagram showing an exemplary configuration of an information processing apparatus 320 as a modification of the fourth embodiment.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing device 320 as a modification of the fourth embodiment is applied.
- FIG. 18 is a diagram for explaining an example of confirmation response generation to which the information processing apparatus of the fifth embodiment is applied. It is a figure explaining an example of composition of an information processing system. It is a figure explaining the example of hardware constitutions of an information processor.
- Example 1 About a general configuration example of an information processing apparatus that recognizes a user's speech and responds or processes.
- Example 1 About an example in which a response generation unit generates a confirmation response using general knowledge base dictionary data.
- Example 2 About an example in which a response generation unit generates a confirmation response using an application (application) execution unit.
- Example 3 About an example in which a response generation unit generates a confirmation response using information of an information input unit.
- Example 4 About the example which performs the output of an image or a control signal in addition to the sound output.
- Example 5 About an example which generates a confirmation response based on dialogue history. 8. Configuration Example of Information Processing Device and Information Processing System About hardware configuration example of information processing apparatus Summary of configuration of the present disclosure
- FIG. 1 is a diagram showing a general configuration example of an information processing apparatus 100 that recognizes a user's speech and responds.
- the information processing apparatus 100 includes a voice input unit (microphone) 101, a voice recognition unit 102, an intention understanding unit 103, a dialogue control unit 104, an application execution unit 105, a response generation unit 106, a voice output unit A speaker) 107 is included.
- the voice of the user uttered from the voice input unit (microphone) 101 is converted from voice data into text data by the voice recognition unit 102.
- the speech recognition unit 102 has, for example, an Automatic Speech Recognition (ASR) function, and converts speech data into text data composed of a plurality of words.
- ASR Automatic Speech Recognition
- the text data generated by the speech recognition unit 102 is input to the intention understanding unit 103.
- the intention understanding unit 103 selects and outputs the user's intention candidate included in the text.
- the intention understanding unit 103 has a natural language recognition function such as NLU (Natural Language Understanding), for example, and selects a candidate of the user's utterance intention (Intent) from the text data.
- NLU Natural Language Understanding
- the intention understanding result generated by the intention understanding unit 103 is input to the dialogue control unit 104.
- the dialogue control unit 104 inputs the intention understanding result generated by the intention understanding unit 103, for example, estimates the current dialogue state from the past dialogue history and the like, and makes a call to execute processing necessary for generating a response. Decide which API to use and its arguments.
- the intention understanding result generated by the intention understanding unit 103 If the user's utterance is an intention understanding result that "It is an utterance asking for the weather of Tokyo", start the application that can obtain the weather information, pass Tokyo (argument) to the application, it is necessary for the response It is processing such as acquiring the information (the weather of Tokyo).
- API call and argument information from interaction control unit 104 are output to Abri execution unit 105, an application corresponding to the API call is executed, and API output according to the argument, that is, data required for response processing is response generation unit 106.
- API output according to the argument that is, data required for response processing is response generation unit 106.
- the response generation unit 106 receives the API output input from the abri execution unit 105, that is, data required for response processing, and generates audio data to be output as a response.
- the response generation unit 106 converts text data constituting response data into voice data based on a TTS (Text to Speech) function.
- the audio data generated by the response generator 106 is output to the user via the audio output unit (speaker) 107.
- the processing sequence described above is processing when the text conversion in the speech recognition unit 102 based on the user's speech and the intention understanding in the intention understanding unit 103 are performed without problems, and a correct response according to the user's intention is output. It is an example.
- the dialogue control unit 104 outputs an acknowledgment generation command for asking the user of the utterance of the user's utterance for confirmation of the user's utterance, that is, an “acknowledgement generation instruction” to generate a response.
- the unit 106 again requests the user to utter for confirmation.
- a response sentence may be generated and presented for asking the user for confirmation of the content.
- attribute information indicating the degree of reliability is added to the text conversion data in the speech recognition unit 102 and the intention understanding result data in the intention understanding unit 103, which are input to the dialogue control unit 104, and the dialogue control unit 104 The reliability can be determined based on the information.
- This example is an example in the case where the recognition and understanding certainty factor of the apparatus side is low for the date and time information (8th day) when the user utters.
- the information processing apparatus of the present disclosure has a configuration that solves such a problem. That is, when the recognition result of the user's speech is ambiguous, or when there are a plurality of candidates, when the system presents the confirmation response for disambiguation to the user, the confirmation accuracy can be obtained by adding information. It is possible to raise it. Specifically, for example, generation of an acknowledgment using additional information obtained from at least one of dictionary data and application execution results is executed.
- the configuration and processing of the information processing apparatus of the present disclosure will be described.
- FIG. 2 is a diagram showing an example of the configuration of the information processing apparatus 220 of the first embodiment.
- the information processing apparatus 220 includes a voice input unit (microphone) 101, a voice recognition unit 102, an intention understanding unit 103, a dialog control unit 104, an application execution unit 105, a response generation unit 106, a voice output unit And a general knowledge base dictionary data 221 used by the response generation unit 106 to generate a response.
- the voice input unit (microphone) 101, the voice recognition unit 102, the intention understanding unit 103, the dialogue control unit 104, the application execution unit 105, the response generation unit 106, the voice output unit (speaker) 107, and these components are basically Performs the process described above with reference to FIG.
- the speech recognition unit 102 has, for example, an Automatic Speech Recognition (ASR) function, and converts speech data into text data composed of a plurality of words.
- ASR Automatic Speech Recognition
- the text data generated by the speech recognition unit 102 is input to the intention understanding unit 103.
- the intention understanding unit 103 selects and outputs the user's intention candidate included in the text.
- the intention understanding unit 103 has a natural language recognition function such as NLU (Natural Language Understanding), for example, and selects a candidate of the user's utterance intention (Intent) from the text data.
- NLU Natural Language Understanding
- the intention understanding result generated by the intention understanding unit 103 is input to the dialogue control unit 104.
- the dialogue control unit 104 inputs the intention understanding result generated by the intention understanding unit 103, for example, estimates the current dialogue state from the past dialogue history and the like, and makes a call to execute processing necessary for generating a response. Decide which API to use and its arguments.
- API call and argument information from interaction control unit 104 are output to Abri execution unit 105, an application corresponding to the API call is executed, and API output according to the argument, that is, data required for response processing is response generation unit 106.
- API output according to the argument that is, data required for response processing is response generation unit 106.
- the response generation unit 106 receives the API output input from the abri execution unit 105, that is, data required for response processing, and generates audio data to be output as a response.
- the response generation unit 106 converts text data constituting response data into voice data based on a TTS (Text to Speech) function.
- the audio data generated by the response generator 106 is output to the user via the audio output unit (speaker) 107.
- the above-described processing sequence is the same processing as the processing sequence described above with reference to FIG. That is, this is processing when the text conversion in the speech recognition unit 102 based on the user's utterance and the intention understanding in the intention understanding unit 103 are performed without any problem, and is an example in which a correct response according to the user's intention is output.
- the dialogue control unit 104 performs the text conversion in the speech recognition unit 102 based on the user's utterance and the confidence degree of the intention understanding in the intention understanding unit 103 is low, or when the user's utterance is an important process such as schedule setting. It requests the response generation unit 106 to generate and output an acknowledgment.
- the confirmation response generation process executed by the response generation unit 106 is different from the process described above with reference to FIG.
- the response generation unit 106 of the information processing device 220 of the present disclosure shown in FIG. 2 uses the general knowledge base dictionary data 221 to make a confirmation response, that is, Generate a confirmation response asking for confirmation.
- the general knowledge base dictionary data 221 is data in which general knowledge such as various facts, common sense, customs, experiences, etc. is made into a database as computer readable data. It is also called knowledge base dictionary data.
- the response generation unit 106 of the information processing apparatus 220 of the present disclosure which will be described in FIG. 2 or later, not only generates and outputs a confirmation response when a response generation instruction is input from the interaction control unit 104. Even when a normal response generation command that is not a confirmation response generation command is input from the control unit 104, a confirmation response for reconfirming the user's utterance content may be generated and output. That is, when the response generation unit 106 determines by itself whether or not the confirmation response should be executed, and determines that the confirmation response should be executed, the response generation unit 106 generates the confirmation response and transmits it via the voice output unit (speaker) 107. Output.
- a specific example of the confirmation response generated by the response generation unit 106 of the information processing device 220 of the present disclosure will be described. First, three confirmation response generation examples 101 to 103 shown in FIG. 3 will be described.
- Example of Acknowledgment Generation 101 As shown in FIG. 3 (101), for example, it is assumed that the following "user's speech" is made. User utterance: "Can you schedule shopping on the 8th?" When such a user's utterance occurs, the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 are performed, and the intention understanding result is input to the dialogue control unit 104.
- the text conversion data in the speech recognition unit 102 and the intention understanding result data in the intention understanding unit 103 have attribute information indicating the degree of reliability added to the input data.
- the dialogue control unit 104 determines whether the reliability of the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 is low based on the attribute information. If the degree of reliability is lower than a predetermined reference value (threshold value), generation of an acknowledgment response and output of the response generation unit 106 are requested. Alternatively, even when the user's utterance is an important process such as schedule setting, the generation of an acknowledgment is requested to the response generation unit 106 and output.
- the intention understanding unit 103 of the information processing device 220 actually determines that "yoka” actually intends “8 days (yoka)", or the user says “4 days (4 days ( It can not be determined whether the user intended to utter “in order” and the intention understanding result that the user's intention is ambiguous (low confidence) is output to the dialogue control unit 104.
- the dialogue control unit 104 outputs an acknowledgment generation instruction to the response generation unit 106 based on the input from the intention understanding unit 103, that is, the intention understanding result that the user's intention is ambiguous.
- the dialogue control unit 104 has a result in which the intention understanding unit 103 adds, as attribute information, high-reliability information that the “yoruka” intends for the “eight days (yor)” in the intention understanding processing. Even in the case where the date is output, the dialogue control unit 104 may determine that it is necessary to reconfirm the date, based on the determination that the process is an important process of schedule setting. Also when this determination is made, an acknowledgment generation instruction is output to the response generation unit 106.
- a normal response generation instruction which is not a confirmation response generation instruction
- the response generation unit 106 determines whether or not the response generation unit 106 should execute the confirmation response. If it is determined that the confirmation response should be executed, the confirmation response is generated and output through the audio output unit (speaker) 107.
- the response generation unit 106 generates and outputs the following confirmation response for asking the user for confirmation using the data of the general knowledge base dictionary data 221.
- the above example is an example of an acknowledgment response that conveys both readings, using the knowledge that there are two readings, "Youka” and "Hachiichi,” on the 8th.
- This knowledge is acquired by the response generation unit 106 using the data of the general knowledge base dictionary data 221.
- the response generation unit 106 performs the following confirmation responses based on the knowledge obtained using the data of the general knowledge base dictionary data 221: "Do you register your shopping schedule on the 8th (Hachinichi), right?" Generate and output such an acknowledgment.
- the confirmation response is output to the user via the audio output unit (speaker) 107.
- the user hears a confirmation response asking for confirmation of the two readings (Yo, Hachi) of "8 days", and is convinced that the information processing device 220 wants to convey 8 days instead of 4 days You can do it and you can prevent mistakes.
- Example of generation of acknowledgment response 102 A second specific example of the confirmation response generated by the response generation unit 106 of the information processing device 220 illustrated in FIG. 2 will be described. As shown in FIG. 3 (102), for example, it is assumed that the following "user's speech" is made. User utterance: "Can you schedule shopping on the 8th?" When such a user's utterance occurs, the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 are performed, and the intention understanding result is input to the dialogue control unit 104.
- the dialogue control unit 104 sends the response generation unit 106 a message when the text conversion in the speech recognition unit 102 and the confidence level of the intention understanding in the intention understanding unit 103 are low, or when the user's speech is an important process such as schedule setting Requests generation and output of acknowledgments.
- the intention understanding unit 103 As a result of intention understanding in the intention understanding unit 103, it is ambiguous whether the user's utterance is intended for "eight days (yor)" or “four days (yoka)" (
- the dialogue control unit 104 inputs an intention understanding result that the degree of reliability is low. Further, the dialog control unit 104 determines that reconfirmation of the date is necessary based on the determination that the user's speech is an important process requiring a schedule setting, and based on this determination, the response generation unit 106 Output an acknowledgment generation instruction to.
- the response generation unit 106 generates and outputs the following confirmation response for asking the user for confirmation using the data of the general knowledge base dictionary data 221.
- the above example is an acknowledgment that the device performs to confirm whether the user's intention is "eight days (yor)" or "four days (or yes)".
- the response generation unit 106 of the information processing device 220 acquires the knowledge that the 8th is next Wednesday, using the data of the general knowledge base dictionary data 221, and information based on the acquired knowledge (the 8th is next Wednesday To generate an acknowledgment.
- the confirmation response is output to the user via the audio output unit (speaker) 107.
- the user can be sure that the information processing device 220 recognizes 8 days instead of 4 days.
- the true intention of the user himself wants to register a shopping schedule on Thursday the 9th, even if he / she has uttered it for 8 days due to his / her misunderstanding, the above
- the user will notice that it has been misinterpreted that the 8th is Thursday. That is, it can be noticed that the 8th is exactly Wednesday.
- Example of Acknowledgment Generation 103 A third specific example of the confirmation response generated by the response generation unit 106 of the information processing device 220 illustrated in FIG. 2 will be described. As shown in FIG. 3 (103), for example, it is assumed that the following "user's speech” is made. User utterance: "I have a shopping schedule in 3 days.” When such a user's utterance occurs, the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 are performed, and the intention understanding result is input to the dialogue control unit 104.
- the dialogue control unit 104 determines whether the reliability of the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 is low, and generates a confirmation response to the response generation unit 106 when the reliability is low. , Request output. Alternatively, even when the user's utterance is an important process such as schedule setting, the generation of an acknowledgment is requested to the response generation unit 106 and output.
- the dialog control unit 104 determines that reconfirmation of the date is necessary based on the determination that it is an important process of schedule setting, and based on this determination, the dialog generation unit 106 responds to the confirmation. Output a generation instruction.
- the response generation unit 106 generates and outputs the following confirmation response for asking the user for confirmation using the data of the general knowledge base dictionary data 221.
- the above example is an example of the confirmation response in the form of asking for confirmation by replacing “3 days later” included in the user utterance with the actual date and day (Thursday, 11th).
- the response generation unit 106 of the information processing device 220 acquires the knowledge that “3 days later” is “11 days” and “thursday” using the data of the general knowledge base dictionary data 221.
- the response generation unit 106 uses this knowledge to generate a response to which the acquired knowledge has been added (here, replaced). That is, "Is it Thursday the 11th?"
- the confirmation response is generated and output to the user via the audio output unit (speaker) 107.
- the user acquires information “11 days” “thursday” in addition to “3 days later” uttered by the user. This additional information can increase the degree of certainty about the date and time of registering the schedule.
- the user can confirm from a plurality of viewpoints.
- the user is aware of his / her misunderstanding, and as a result, the goal sought by the user can be reached quickly.
- confirmation can be made as to whether the system correctly understands the user's speech.
- the three specific examples (confirmation response generation examples 101 to 103) described above are examples relating to the date, but the user can use the knowledge obtained from the general knowledge base dictionary data 221 shown in FIG. It is possible to generate an acknowledgment that makes it possible to accurately obtain the intention of the Hereinafter, an example of generation of an acknowledgment response different from the date confirmation will be described. Two acknowledgment response generation examples 104 to 105 shown in FIG. 4 will be described.
- Example of acknowledgment response generation 104 A fourth specific example of the confirmation response generated by the response generation unit 106 of the information processing device 220 illustrated in FIG. 2 will be described.
- FIG. 4 (104) for example, it is assumed that the "user's speech" is made as follows. User utterance: “Tell me the way to Kinkakuji" With such user utterances, First, text conversion in the speech recognition unit 102 and intention understanding in the intention understanding unit 103 are performed, and the result of intention understanding is input to the dialogue control unit 104.
- the intention understanding unit 103 of the information processing device 220 intends, in intention understanding processing, whether “Kinkakuji” really intends “Kinkakuji” or “Ginkakuji”. Then, it is not possible to determine whether the user has made a mistake and the intention control result that the user's intention is ambiguous is output to the dialogue control unit 104.
- the dialogue control unit 104 outputs an acknowledgment generation instruction to the response generation unit 106 based on the intention understanding result.
- the response generation unit 106 of the information processing device 220 generates a confirmation response in response to the input of the confirmation response generation instruction from the dialogue control unit 104.
- the response generation unit 106 generates and outputs the following confirmation response for asking the user for confirmation using the data of the general knowledge base dictionary data 221.
- Equipment confirmation response "Is it Kinkakuji that Ashikaga Yoshimitsu made?"
- the response generation unit 106 can generate a confirmation response to which various information is added, based on the knowledge obtained from the general knowledge base dictionary data 221. For example, it is possible to generate various acknowledgments as follows. “Is it Golden Golden Temple?" "Is it Kinkakuji that became a novel of Yukio Mishima?” "Is the official name Kinkakuji called Shikanji?” For example, it is possible to obtain additional information on these Kinkakuji temples from the general knowledge base dictionary data 221, and generate and output a confirmation response to which the additional information is added.
- Example of Acknowledgment Generation 105 A fifth specific example of the confirmation response generated by the response generation unit 106 of the information processing device 220 illustrated in FIG. 2 will be described. As shown in FIG. 4 (105), for example, it is assumed that the following "user's speech” is made. User utterance: “Record one channel (5 minutes from 1 o'clock)" With such user utterances, First, text conversion in the speech recognition unit 102 and intention understanding in the intention understanding unit 103 are performed, and the result of intention understanding is input to the dialogue control unit 104.
- the intention understanding unit 103 of the information processing device 220 understood that the channel to be recorded is specified in the intention understanding processing, but it is unclear whether it is 1 ch (10 sec) or 10 ch (ju ch) Therefore, an intention understanding result that the user's intention is ambiguous is output to the dialogue control unit 104.
- the dialogue control unit 104 outputs an acknowledgment generation instruction to the response generation unit 106 based on the intention understanding result.
- the response generation unit 106 of the information processing device 220 generates a confirmation response in response to the input of the confirmation response generation instruction from the dialogue control unit 104.
- the response generation unit 106 generates and outputs the following confirmation response for asking the user for confirmation using the data of the general knowledge base dictionary data 221.
- the above example is understood that the user's speech intention specifies the channel to be recorded, but this is an example in which confirmation to the user is performed because it is unclear whether 1 ch or 10 ch.
- the response generation unit 106 uses the data of the general knowledge base dictionary data 221 to acquire the knowledge that one channel is a channel of “XYZ television”, and does not present a number + channel that is likely to cause an audible error. , Generate a confirmation response including the station name. This process enables the user to correctly understand the intention of the acknowledgment.
- FIG. 5 is a view showing a configuration example of the information processing apparatus 240 of the second embodiment.
- the information processing apparatus 240 includes a voice input unit (microphone) 101, a voice recognition unit 102, an intention understanding unit 103, a dialog control unit 104, an application execution unit 105, a response generation unit 106, a voice output unit It has the speaker) 107, and further has the application execution part 241 which the response generation part 106 uses for response generation.
- the voice input unit (microphone) 101, the voice recognition unit 102, the intention understanding unit 103, the dialogue control unit 104, the application execution unit 105, and the voice output unit (speaker) 107 have been described with reference to FIGS. Since the configuration is similar to the above, the description is omitted.
- the response generation unit 106 of the information processing apparatus 240 of the second embodiment shown in FIG. 5 generates a confirmation response using the application execution unit 241.
- the application execution unit 241 is, for example, not limited to the application in the information processing device 240, and may be configured to use applications executed in various devices connected by a network. For example, various applications such as a music playback application, a weather information acquisition application, and a restaurant reservation application can be used.
- a specific example of the confirmation response generated by the response generation unit 106 of the information processing apparatus 240 of the present embodiment will be described.
- two confirmation response generation examples 201 to 202 shown in FIG. 6 will be described.
- Example of acknowledgment response generation 201 As shown in FIG. 6 (201), for example, it is assumed that the following "user's speech” is made. User utterance: “Can you schedule shopping on the 10th?" When such a user's utterance occurs, the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 are performed, and the intention understanding result is input to the dialogue control unit 104.
- the dialogue control unit 104 determines whether the reliability of the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 is low, and generates a confirmation response to the response generation unit 106 when the reliability is low. , Request output. Alternatively, even when the user's utterance is an important process such as schedule setting, the generation of an acknowledgment is requested to the response generation unit 106 and output.
- the response generation unit 106 uses the application execution unit 241 to generate and output the following confirmation response for requesting confirmation from the user.
- Equipment acknowledgment "It's 10 days. It's going to live.”
- the above-mentioned example is a confirmation response which carries out reconfirmation about the date of shopping included in user utterance.
- the response generation unit 106 uses the application execution unit 241 to start up the scheduler application in which the user's schedule is registered, and searches for the schedule of the date (10th) included in the user utterance. As a result, it is confirmed that "plan to go to live" is set as the schedule of the user on the 10th.
- the response generation unit 106 generates a confirmation response in which the amount of information to be presented to the user is increased, using the confirmation result acquired using the application execution unit 241. That is, the following acknowledgment is generated.
- Equipment acknowledgment "It's 10 days. It's going to live.”
- Example of generation of acknowledgment response 202 A second specific example of the confirmation response generated by the response generation unit 106 of the information processing device 240 illustrated in FIG. 5 will be described.
- FIG. 6 (202) it is assumed that the "user's speech” is made as follows. User utterance: “Tell me the way to Ginkakuji" When such a user's utterance occurs, the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 are performed, and the intention understanding result is input to the dialogue control unit 104.
- the dialogue control unit 104 determines whether the reliability of the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 is low, and generates a confirmation response to the response generation unit 106 when the reliability is low. , Request output. Alternatively, even when the user's utterance is an important process such as schedule setting, the generation of an acknowledgment is requested to the response generation unit 106 and output.
- the dialogue control unit 104 has low confidence in the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103, that is, whether the user's utterance is "Kinkakuji" or "Ginkakuji". Based on the determination that the degree is low, generation of a confirmation response and output are requested to the response generation unit 106 in order to confirm which is the case.
- the response generation unit 106 uses the application execution unit 241 to generate and output the following confirmation response for requesting confirmation from the user.
- Equipment confirmation response "Is it Kinkakuji that we went last August?”
- the response generation unit 106 searches using the scheduler application (schedule registration application) activated in the application execution unit 241 whether or not there has been a schedule regarding “Kinkakuji” in the past, and combines the results to present it to the user Generate acknowledgments with increased amounts of information. That is, the following acknowledgment is generated.
- the dialogue control unit 104 determines whether the reliability of the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 is low, and generates a confirmation response to the response generation unit 106 when the reliability is low. , Request output. Alternatively, even when the user's utterance is an important process such as schedule setting, the generation of an acknowledgment is requested to the response generation unit 106 and output.
- the dialog control unit 104 confirms with the response generation unit 106 in order to confirm which one based on the determination that the degree of certainty about "Mr. Sato” or "Mr. Kato” is low. Requests generation and output of responses.
- the response generation unit 106 uses the application execution unit 241 to generate and output the following confirmation response for requesting confirmation from the user.
- the response generation unit 106 refers to the address information (name and place) registered in the address registration application or the acquaintance registration application activated in the application execution unit 241, combines the results, and presents the result to the user. Generate acknowledgments with increased amounts of information. That is, the following acknowledgment is generated. Equipment acknowledgment: "Are you the opposite Sato-san?"
- the user who heard the above confirmation response via the voice output unit 107 can be considered as (matched by Mr. Sato in the opposite direction, the system correctly estimates his own utterance), and a new user utterance , "that's right” It can be answered like.
- the example of acknowledgment generation 201 to 203 described above is an example in the case where the reliability of speech recognition and intention understanding results is low, but although the reliability of speech recognition and intention understanding results is high, the content is a plurality of candidates In the case of having the problem, the problem can be solved by the same means.
- an example of such a confirmation response generation will be described.
- Example of Acknowledgment Generation 204 A fourth specific example of the confirmation response generated by the response generation unit 106 of the information processing device 240 illustrated in FIG. 5 will be described.
- FIG. 7 (204) it is assumed that the "user's speech” is performed as follows. User utterance: "Please have a barbecue with Sato-san's family" When such a user's utterance occurs, the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 are performed, and the intention understanding result is input to the dialogue control unit 104.
- the dialogue control unit 104 determines whether the reliability of the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 is low, and generates a confirmation response to the response generation unit 106 when the reliability is low. , Request output. Alternatively, even when the user's utterance is an important process such as schedule setting, the generation of an acknowledgment is requested to the response generation unit 106 and output.
- the user's utterance is an important process such as schedule setting, and the generation of a confirmation response and output of the confirmation response are requested to the response generation unit 106.
- a normal response generation instruction which is not a confirmation response generation instruction, is input from the dialog control unit 104 to the response generation unit 106, whether the response generation unit 106 should execute the confirmation response or not. If it is determined that the confirmation response should be executed, the confirmation response is generated and output through the audio output unit (speaker) 107.
- the response generation unit 106 uses the application execution unit 241 to generate and output the following confirmation response for requesting confirmation from the user.
- the response generation unit 106 has two person data corresponding to “Mr. Sato” registered in the address registration application activated in the application execution unit 241 and the acquaintance registration application.
- the registered address is Sato in the neighborhood, and the registered address is distant, and Sato, who is a colleague of the company, is registered, and a confirmation response is generated to confirm which Sato is. That is, the following acknowledgment is generated.
- the user who heard the above confirmation response via the voice output unit 107 can think ((Sorry, there are a plurality of Mr. Sato, but I would like to register it by someone who is not Mr. Sato in the neighborhood), and new User utterances, for example, "No, my colleague's Sato" It can answer as above.
- the response generation unit 106 also uses, for example, the name under Mr. Sato registered in the address registration application, “Are Mr. Taro Sato?” You may generate such a response.
- FIG. 8 is a view showing a configuration example of the information processing device 260 of the third embodiment.
- the information processing apparatus 260 includes a voice input unit (microphone) 101, a voice recognition unit 102, an intention understanding unit 103, a dialogue control unit 104, an application execution unit 105, a response generation unit 106, a voice output unit A speaker) 107, and further, an image input unit (camera) 261, an image recognition unit 262, an object (image) database 263, and object related knowledge base dictionary data 264.
- the voice input unit (microphone) 101, the voice recognition unit 102, the intention understanding unit 103, the dialogue control unit 104, the application execution unit 105, and the voice output unit (speaker) 107 have been described with reference to FIGS. Since the configuration is similar to the above, the description is omitted.
- the information processing apparatus 260 of the third embodiment shown in FIG. 8 has an image input unit (camera) 261 that inputs an image around the user including an image of the user who executes speech.
- the photographed image of the image input unit (camera) 261 is input to the image recognition unit 262, and the image recognition unit 262 is compared with registration information of an object (image) database 263, which is a database in which various object images are registered in advance. And identify various objects (people and articles) included in the captured image.
- the response generation unit 106 inputs object information of the surrounding environment of the speaking user identified by the image recognition unit 262, and generates a confirmation response using the object related knowledge base dictionary data 264.
- a specific example of the confirmation response generated by the response generation unit 106 of the information processing device 260 of the present embodiment will be described.
- a confirmation response generation example 301 shown in FIG. 9 will be described.
- Example of confirmation response generation 301 As shown in FIG. 9 (301), for example, it is assumed that the following "user's speech” is made. User utterance: "Play music from the speaker” When such a user's utterance occurs, the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 are performed, and the intention understanding result is input to the dialogue control unit 104.
- the dialogue control unit 104 determines whether the reliability of the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 is low, and generates a confirmation response to the response generation unit 106 when the reliability is low. , Request output. Alternatively, even when the user's utterance is an important process such as schedule setting, the generation of an acknowledgment is requested to the response generation unit 106 and output.
- the dialogue control unit 104 can understand that the intention of the user's speech is the intention of “reproducing music from the speaker”, and the dialogue control unit 104 confirms the response generation unit 106. It may not require generation of response or output.
- the response generation unit 106 inputs the object information of the surrounding environment of the speaking user identified by the image recognition unit 262, and refers to the dictionary data of the object related knowledge base dictionary data 264 to obtain a plurality of information around the speaking user. It can be understood that the speaker is present. In such a case, the response generation unit 106 determines that the confirmation response should be executed, generates a confirmation response, and outputs the confirmation response via the audio output unit (speaker) 107. Specifically, it generates and outputs the following acknowledgment for the user. Equipment acknowledgment: "Are you sure with speakers near you?"
- the response generation unit 106 knows that there is a speaker near the speaking user by the input from the image recognition unit 262, and further that there are a plurality of speakers that can be controlled based on the object related knowledge base dictionary data 264. Acknowledgment generated by knowing. Since the user only designates "speaker", it is confirmed which speaker it is.
- the user who heard the above acknowledgment via the voice output unit 107 can be considered as (yes, this speaker), and as a result, a new user utterance, "Yeah, that's right.” It can be answered like.
- the information processing apparatus 280 shown in FIG. The configuration is similar to the configuration described with reference to FIG. 8, but the following points are different. Change the image recognition unit 262 of FIG. 8 to the user identification unit 282 of FIG. Change the object (image) database 263 of FIG. 8 to the user image database 283 of FIG. Change the object related knowledge base dictionary data 264 of FIG. 8 to the user information related knowledge base dictionary data 284 of FIG. These points are different.
- the information processing apparatus 280 shown in FIG. 10 inputs face images of people around the user who executes speech from the image input unit (camera) 261 to the user identification unit 282.
- the user identification unit 282 identifies a person included in the photographed image in comparison with registration information of a user image database 283 which is a database in which various user images are registered in advance.
- the response generation unit 106 inputs the user information identified by the user identification unit 282, and generates a confirmation response using the user information related knowledge base dictionary data 284.
- a specific example of the confirmation response generated by the response generation unit 106 of the information processing device 280 of the present embodiment will be described.
- a confirmation response generation example 302 shown in FIG. 11 will be described.
- Example of acknowledgment response generation 302 Here, it is assumed that a dialogue between the user and the information processing apparatus 280 is performed at a stage prior to the user's speech, and a process of determining a meal place tonight is performed. Thereafter, as shown in FIG. 11 (302), it is assumed that the following "user's speech" is made. User utterance: "Please email to Yuki.” When such a user's utterance occurs, the text conversion in the speech recognition unit 102 and the intention understanding in the intention understanding unit 103 are performed, the intention understanding result is input to the dialogue control unit 104, and the dialogue control unit 104 It requests the 106 to generate a response and output.
- the response generation unit 106 inputs personal information existing around the user identified by the user identification unit 282 and further refers to the dictionary data of the user information related knowledge base dictionary data 284 so as to surround the utterance user. Understand that "Yuki" is missing.
- the response generation unit 106 determines that there is a possibility that the name "Yuuki” included in the user utterance of the dad who is the uttering user: "Please e-mail me to Yuuki” is "Yuko", and the e-mail destination An acknowledgment is generated to confirm whether the is "Yuuki” or "Yuko”. That is, it is the following acknowledgment.
- the family registered in the user information related knowledge base dictionary data 284 is four persons of dad, mom, yuuki (son) and yuuko (daughter), but Yuko-san is based on the identification information of the user identification unit 282. Since we are aware that we are here, we combine the results and use it as a response sentence to increase the amount of information presented to the user. As a result, the user can think of (Yes, I want to send to Yuki), and as a result, a new user utterance, "Please, thanks” It can be answered like.
- the response generation unit 106 in the information processing apparatus 280 shown in FIG. 10 performs the following processing by using the user identification information of the user identification unit 282 and the information of the user information related knowledge base dictionary data 284. It can also be done.
- the response generation unit 106 can change the configuration of the confirmation response according to the attribute (age, etc.) of the speaking user when creating the response word. A specific example is shown in FIG.
- the confirmation response example 303 is an example in which the response generation unit 106 determines that the age of the speaking user is low using the user identification information of the user identification unit 282 or the information of the user information related knowledge base dictionary data 284. is there. As shown in FIG. 12 (303), it is assumed that the following "user's speech” is made. User utterance: "Tell me the way to Kinkakuji"
- the response generation unit 106 determines that the age of the speaking user is low using the user identification information of the user identification unit 282 and the information of the user information related knowledge base dictionary data 284. In this case, the response generation unit 106 generates and outputs the following acknowledgment. Equipment acknowledgment: "Golden golden shiny Temple?" If the user's age is low, it is likely that they do not have detailed knowledge about Kinkakuji or Ginkakuji. Therefore, for example, even if knowledge such as "Aikari Ashikaga made" is added to the response sentence, it will be rather confusing if the user does not have the knowledge for it. Therefore, ambiguity can be more reliably resolved by adding knowledge that is easy for anyone to understand for such a user.
- the confirmation response example 304 is an example in which the response generation unit 106 determines that the age of the speaking user is high using the user identification information of the user identification unit 282 or the information of the user information related knowledge base dictionary data 284. is there. As shown in FIG. 12 (304), it is assumed that the following "user's speech” is made. User utterance: "Register the going out schedule on the 10th"
- the response generation unit 106 determines that the age of the speaking user is high using the user identification information of the user identification unit 282 and the information of the user information related knowledge base dictionary data 284. In this case, the response generation unit 106 generates and outputs the following acknowledgment.
- Equipment acknowledgment "Are you ready for the 10th flag day?"
- the 10th When “the 10th” is a national holiday, it can be expressed in various words such as “holiday”, “day of holiday”, “holiday”, but there is “banner day” as an expression that has not been used recently.
- "banji” may be more easily understood, and in such a case, a response sentence is generated and output using an expression for that age.
- the response generation unit 106 identifies the user who uttered using the user identification information of the user identification unit 282 or the information of the user information related knowledge base dictionary data 284 and the user is a student of Shinagawa junior high school Get knowledge. Based on the acquired knowledge, the response generation unit 106 generates and outputs the following acknowledgment.
- the utterance user can easily confirm that the apparatus side correctly recognizes the user's utterance.
- the response generation unit 106 can also switch response contents according to the user's situation and history. A specific example is shown in FIG.
- An example acknowledgment response 306 shown in FIG. 13 is an example of a response when the speaking user (attribute in the family: father) is interacting alone
- the confirmation response example 307 is a response example when the speaking user (attribute in the family: father) interacts with the family.
- the response generation unit 106 uses the user identification information of the user identification unit 282 or the information of the user information related knowledge base dictionary data 284 to indicate that the user who uttered is the father, and in the case of the confirmation response example 306, It is assumed that it is identified that the speaking user (attribute in the family: father) is interacting alone. In this case, the response generation unit 106 generates and outputs the following acknowledgment. Equipment acknowledgment: "Are you (the user's grandmother) home?"
- the (307) confirmation response example 307 shown in FIG. 14 is an example in the case where it is identified that the speaking user (attribute in the family: father) is interacting with the family.
- the response generation unit 106 generates and outputs the following acknowledgment.
- Equipment acknowledgment "Is it the house of Mr. ⁇ (user's mother, grandmother seen from user's children)?"
- FIG. 8 The configuration is similar to the configuration described with reference to FIG. 8, but the following points are different.
- the object (image) database 263 of FIG. 8 is omitted in FIG.
- An information processing apparatus 290 illustrated in FIG. 14 inputs detection information of a sensor 291 that detects a situation (context) of a user who executes speech and various objects around the user, to a sensor detection signal analysis unit 292.
- the sensor 291 is, for example, a sensor that detects the temperature and humidity of the room of the speaking user, illuminance, or the like, or a sensor that detects the operating state of various devices around the speaking user, for example, the operating state of a television or an air conditioner, It is a detection sensor of a user's body temperature, heart rate, pulse and the like.
- the sensor detection signal analysis unit 292 analyzes detection signals of these sensors, and inputs an analysis result to the response generation unit 106.
- the response generation unit 106 inputs sensor detection information analyzed by the sensor detection signal analysis unit 292, and generates a confirmation response using the sensor detection information related knowledge base dictionary data 293.
- a specific example of the confirmation response generated by the response generation unit 106 of the information processing apparatus 290 of the present embodiment will be described.
- a confirmation response generation example 308 shown in FIG. 15 will be described.
- Example of acknowledgment response generation 308 The example described below is an example in the case where a temperature sensor for measuring the temperature of the room of the speaking user is used as the sensor 291.
- the sensor detection signal analysis unit 292 detects that the room temperature of the utterance room is 10 ° C. (cold), and inputs this temperature information (10 ° C.) to the response generation unit 106. Thereafter, as shown in FIG. 15 (308), it is assumed that the following "user's speech" is made.
- the response generation unit 106 determines that the temperature of the room of the utterance is 10 ° C. (cold), and confirms the following acknowledgment responses: Generate and output. Equipment acknowledgment: "Do you want hot coffee or tea?"
- the example of the above confirmation response is input from the sensor detection signal analysis unit 292 in a situation where there is a hot drink such as coffee or tea as a drink that can be provided to the user and a cold drink such as milk or juice. Based on the information, it is recognized that the temperature is as low as 10 ° C., and it is determined that the speech user is more likely to want a warm drink than a cold drink.
- the sensor detection information related knowledge base dictionary data 293 is acquired.
- the embodiment to be described below is an embodiment in which the output of an image or control signal is performed together with the output of an acknowledgment by voice to the user.
- This configuration uses information other than voice so that the user can easily understand the content of the response.
- the information processing apparatus 310 shown in FIG. 16 has a configuration in which an image output unit (monitor) 311 is added to the configuration of the information processing apparatus 220 shown in FIG. 2 described above as the first embodiment.
- the response generation unit 106 outputs the voice of the confirmation response via the voice output unit (speaker) 107, and also responds to the voice of the confirmation response via the image output unit (monitor) 311. Output an explanatory image.
- a specific example of the confirmation response generated by the response generation unit 106 of the information processing apparatus 310 of the present embodiment will be described.
- a confirmation response generation example 401 shown in FIG. 17 will be described.
- the response generation unit 106 is based on the data of the general knowledge base dictionary data 221, Check that the song "Tomorrow” is sung by multiple singers, and acquire the singer's name, a CD jacket image, etc.
- the response generation unit 106 outputs voice while outputting the singer's name of a singer singing "Tomorrow” obtained using data of the general knowledge base dictionary data 221, a CD jacket image, etc. to the image output unit 311.
- the following acknowledgment is output to unit 107.
- This example is an example in which a plurality of songs are found for the song name search "Tomorrow".
- it is necessary to convey several contents simultaneously For example, you have to tell if the writing is hiragana or kanji, and who's the song, but it is difficult to understand with speech alone.
- an image can be used as a modal for conveying a response, the user can easily understand the content by simultaneously displaying the title of the song, the artist name, the jacket photograph and the like.
- the response generation unit 106 outputs a control signal to an external device in addition to the output of the confirmation response.
- a configuration example of the information processing device 320 of this embodiment will be described with reference to FIG.
- the information processing apparatus 320 shown in FIG. 18 is based on the configuration of the information processing apparatus 260 shown in FIG. 8 described above as the third embodiment, and the response generation unit 106 outputs voice through the voice output unit (speaker) 107 In addition to the above, the control signal to the external device 321 is output.
- the response generation unit 106 outputs an audio of a confirmation response via the audio output unit (speaker) 107 and outputs a control signal to the external device 321 to control the external device 321. .
- a specific example of the confirmation response generated by the response generation unit 106 of the information processing device 320 of the present embodiment will be described.
- a confirmation response generation example 402 shown in FIG. 19 will be described.
- the response generation unit 106 acquires output mode information of control signals for each speaker from the position information of the plurality of speakers input from the image recognition unit 262 and the object related knowledge base dictionary data.
- the response generation unit 106 first outputs a control signal to blink the LED of the speaker (external device) closest to the user to the speaker (external device), , And outputs the following acknowledgment via the audio output unit 107.
- the response generation unit 106 Since the response generation unit 106 has confirmed that there is a speaker near the speaking user based on the image information, the response generation unit 106 outputs an LED blink control signal to the speaker, and “this speaker” included in the confirmation response is It becomes possible to make it possible for the user to surely recognize which speaker it is.
- the response generation unit 106 may be configured to further input, for example, the recognition / identification result by the sensor, and change the output mode of the response or the control signal according to the recognition / identification result by the sensor.
- FIG. 20 shows an example in which the following interaction takes place between the user and the device prior to the final device acknowledgment.
- User utterance "Tell me where to play in Yokohama” Device response: “Yokohama Minato Mirai has an amusement park called Yokohama Cosmo World.”
- User utterance "Look for a restaurant in Yokohama Minatomirai”
- Equipment response "For example, there are several restaurants in the Landmark Tower. would you like to tell more?”
- the response generation unit 106 determines that the possibility of being Konan-ku, Yokohama-shi is high from the history because the dialog about Yokohama was continued before this utterance. Therefore, the response generation unit 106 generates and outputs the confirmation response to which “Yokohama-no” is given, that is, the following confirmation response.
- Device confirmation response "Is it OK in Konan Ward, Yokohama?”
- FIGS. 2 to 20 each of these embodiments is configured by combining a plurality of arbitrary embodiments. It is possible. Furthermore, as described below, the functions and processes of the information processing apparatus shown in FIG. 2 and others may be distributed to a plurality of apparatuses.
- each processing function of the information processing apparatus shown in FIG. 2 and others described in these embodiments is all within one apparatus, for example, an apparatus such as a smartphone or PC owned by a user.
- an apparatus such as a smartphone or PC owned by a user.
- it is possible to configure it is also possible to configure a part of the configuration to be executed on a server or the like.
- FIG. 21 shows an example of the system configuration.
- Information processing system configuration example 1 is an apparatus including almost all functions of the information processing apparatus shown in FIG.
- the information processing apparatus 410 is a user terminal such as an agent device having a function.
- the information processing apparatus 410 corresponding to the user terminal executes communication with the application execution server 420 only when, for example, an external application is used when generating a response sentence.
- FIG. 21 (2) shows an information processing system configuration example 2 in the information processing apparatus 410 which is a user terminal such as a smartphone or a PC or an agent device owned by the user. And a part of the system is configured to be executed by the data processing server 460 capable of communicating with the information processing apparatus.
- the data processing server 460 capable of communicating with the information processing apparatus.
- the server side executes all the functions of the above.
- FIG. 22 is an example of the hardware configuration of the information processing apparatus described above with reference to FIG. 2 and others, and configures the data processing server 460 described with reference to FIG. It is an example of the hardware constitutions of the information processing apparatus to be.
- a central processing unit (CPU) 501 functions as a control unit or data processing unit that executes various processes in accordance with a program stored in a read only memory (ROM) 502 or a storage unit 508. For example, processing according to the sequence described in the above-described embodiment is performed.
- the RAM (Random Access Memory) 503 stores programs executed by the CPU 501, data, and the like.
- the CPU 501, the ROM 502, and the RAM 503 are mutually connected by a bus 504.
- the CPU 501 is connected to the input / output interface 505 via the bus 504.
- the input / output interface 505 is connected to an input unit 506 including various switches, a keyboard, a mouse, a microphone, and a sensor, and an output unit 507 including a display and a speaker. It is done.
- the CPU 501 executes various types of processing in response to an instruction input from the input unit 506, and outputs the processing result to, for example, the output unit 507.
- a storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk, and stores programs executed by the CPU 501 and various data.
- a communication unit 509 functions as a transmission / reception unit of data communication via a network such as Wi-Fi communication, Bluetooth (registered trademark) (BT) communication, or the Internet or a local area network, and communicates with an external device.
- BT registered trademark
- a drive 510 connected to the input / output interface 505 drives removable media 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
- the technology disclosed in the present specification can have the following configurations.
- a voice input unit for inputting user's speech A confirmation response generation unit configured to generate a confirmation response for requesting confirmation of the utterance user in response to the user utterance; It has an audio output unit that outputs the confirmation response generated by the confirmation response generation unit, The confirmation response generation unit
- An information processing apparatus that generates a confirmation response using additional information obtained from at least one of dictionary data and an application execution result.
- the confirmation response generation unit The information processing apparatus according to (1), wherein the confirmation response is generated using additional information configured by general knowledge acquired from general knowledge base dictionary data.
- the confirmation response generation unit The information processing apparatus according to any one of (1) to (4), which generates a confirmation response using information obtained from an application executed in an application execution unit.
- the application executed in the application execution unit is a schedule registration application
- the confirmation response generation unit The information processing apparatus according to (5), wherein generation of a confirmation response is performed using schedule information of a speaking user obtained from the schedule registration application.
- the application executed in the application execution unit is an acquaintance registration application
- the confirmation response generation unit The information processing apparatus according to (5), wherein the confirmation response is generated using the acquaintance information of the speaking user obtained from the acquaintance registration application.
- the information processing apparatus further includes: It has an image input unit that captures a surrounding image of the speaking user, or a sensor that inputs surrounding information of the speaking user,
- the confirmation response generation unit The information processing apparatus according to any one of (1) to (7), which analyzes an input image from the image input unit or sensor detection information, and generates a confirmation response using information obtained from an analysis result.
- the confirmation response generation unit The information processing apparatus according to (8), wherein a person or a thing included in an input image from the image input unit is identified, and a confirmation response using an identification result is generated.
- the confirmation response generation unit The information processing apparatus according to (8) or (9), which identifies an attribute of a person included in an input image from the image input unit and generates a confirmation response according to the identification attribute.
- the confirmation response generation unit The information processing apparatus according to any one of (8) to (10), which identifies the age of a person included in the input image from the image input unit and generates a confirmation response according to the identification age.
- the confirmation response generation unit The information processing apparatus according to any one of (8) to (11), which identifies a configuration of a person included in an input image from the image input unit and generates a confirmation response according to the configuration of the identified person.
- the confirmation response generation unit The information processing apparatus according to any one of (1) to (12), which generates an image for the confirmation response and outputs the image to the image output unit in addition to the audio output of the confirmation response.
- the confirmation response generation unit The information processing apparatus according to any one of (1) to (13), wherein a device control signal for confirmation response is generated in addition to the voice output of the confirmation response, and output to an external device to be controlled.
- the confirmation response generation unit The information processing apparatus according to any one of (1) to (14), which performs confirmation response generation processing based on dialogue history information.
- the information processing apparatus is A voice recognition unit that executes recognition processing of input voice of the voice input unit; An intention understanding unit that executes intention understanding processing based on the recognition result of the speech recognition unit; A dialogue control unit for executing dialogue control processing based on the intention understanding result generated by the intention understanding unit; The dialogue control unit Based on the intention understanding result generated by the intention understanding unit, it is determined whether or not to make a confirmation response for confirming the user of the utterance with respect to the user utterance.
- the confirmation response generation unit The information processing apparatus according to any one of (1) to (15), wherein, when it is determined that the confirmation response is to be made in the dialogue control unit, generation processing of the confirmation response is performed.
- An information processing system having a user terminal and a data processing server
- the user terminal is A voice input unit for inputting user utterances;
- a confirmation response generation unit configured to generate a confirmation response for requesting confirmation of the utterance user in response to the user utterance; It has an audio output unit that outputs the confirmation response generated by the confirmation response generation unit
- the data processing server is A voice recognition unit that executes recognition processing of input voice of the voice input unit;
- An intention understanding unit that executes intention understanding processing based on the recognition result of the speech recognition unit;
- the dialog control process based on the intention understanding result generated by the intention understanding unit is executed, and it is determined whether the confirmation response to the user's speech is necessary based on the intention understanding result, and it is determined that the confirmation response is necessary.
- a dialog control unit that outputs a confirmation response generation instruction to a confirmation response generation unit of the user terminal;
- the confirmation response generation unit of the user terminal may In response to the acknowledgment generation command input from the data processing server,
- An information processing system that generates a confirmation response using additional information obtained from at least one of dictionary data and application execution results.
- An information processing method to be executed in an information processing apparatus A voice input step in which a voice input unit inputs user's speech; A confirmation response generation step of generating a confirmation response for requesting confirmation of the speaking user in response to the user utterance; The voice output unit executes a voice output step of outputting the confirmation response generated in the confirmation response generation step;
- An information processing method to be executed in an information processing system having a user terminal and a data processing server The user terminal is Execute voice input processing to input user utterances, The data processing server Voice recognition processing of input voice input in the voice input processing; An intention understanding process based on the speech recognition result generated by the speech recognition process; Based on the intention understanding result of the intention understanding processing, it is determined whether or not the confirmation response to the user speech is necessary, and when it is determined that the confirmation response is necessary, the confirmation response generation instruction is output to the user terminal;
- the user terminal is Executing a confirmation response generation process for generating a confirmation response for requesting confirmation of the speaking user in response to the user utterance, in response to the confirmation response generation command input from the data processing server;
- a program for causing an information processing apparatus to execute information processing A voice input step for causing the voice input unit to input a user's speech; A confirmation response generation step of causing the confirmation response generation unit to generate a confirmation response for requesting confirmation of the speaking user in response to the user utterance; Causing an audio output unit to execute an audio output step of outputting the confirmation response;
- the series of processes described in the specification can be performed by hardware, software, or a combined configuration of both.
- the program recording the processing sequence is installed in memory in a computer built into dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It is possible to install and run.
- the program can be recorded in advance on a recording medium.
- the program can be installed from a recording medium to a computer, or can be installed in a recording medium such as a built-in hard disk by receiving a program via a network such as a LAN (Local Area Network) or the Internet.
- LAN Local Area Network
- a system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to those in the same housing.
- An arrangement that generates reduced likelihood acknowledgments.
- a voice input unit for inputting a user utterance
- a confirmation response generation unit for generating a confirmation response for asking for confirmation of the user of the user's utterance
- a sound for outputting the confirmation response generated by the confirmation response generation unit
- the confirmation response generation unit has an output unit, and executes the generation of the confirmation response using the additional information obtained from at least one of the dictionary data and the application execution result.
- a confirmation response using general knowledge base dictionary data, an execution result of an application, or information obtained from a photographed image, a sensor or the like is generated.
- a configuration is realized in which an acknowledgment response with reduced possibility of misunderstanding is generated by adding additional information acquired from dictionary data and application execution results. .
- information processing apparatus 101 voice input unit (microphone) 102 speech recognition unit 103 intention understanding unit 104 dialogue control unit 105 application execution unit 106 response generation unit 107 speech output unit (speaker) 220, 240, 260, 280, 290, 310, 320 information processing device 221 general knowledge base dictionary data 241 application execution unit 261 image input unit (camera) 262 Image recognition unit 263 Object (image) database 264 Object related knowledge base dictionary data 281 Image input unit (camera) 282 user identification unit 283 user image database 284 user information related knowledge base dictionary data 291 sensor 292 sensor detected signal analysis unit 293 sensor detected information related knowledge base dictionary data 311 image output unit (monitor) 321 External device 410 information processing apparatus 420 application execution server 460 data processing server 501 CPU 502 ROM 503 RAM 504 bus 505 input / output interface 506 input unit 507 output unit 508 storage unit 509 communication unit 510 drive 511 removable medium
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Machine Translation (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する。ユーザ発話を入力する音声入力部と、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、確認応答生成部の生成した確認応答を出力する音声出力部を有し、確認応答生成部は、辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。例えば、一般知識ベース辞書データや、アプリケーションの実行結果、あるいは、撮影画像やセンサー等から得られる情報を用いた確認応答を生成する。
Description
本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話の音声認識結果に基づいて応答を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
昨今、ユーザ発話の音声認識を行い、認識結果に基づいて応答を行う対話システムの利用が増大している。
この対話システムにおいては、例えばシステムが、マイクを介して入力するユーザ発話を認識理解して、それに応じた処理を行う。
例えばユーザが、「明日の天気を教えて」と発話した場合、天気情報提供サーバから天気情報を取得して、取得情報に基づく応答を生成してスピーカーから出力する処理を行う。あるいは、ユーザが、「テレビを消して」と発話した場合、テレビをオフにする動作を行う。
この対話システムにおいては、例えばシステムが、マイクを介して入力するユーザ発話を認識理解して、それに応じた処理を行う。
例えばユーザが、「明日の天気を教えて」と発話した場合、天気情報提供サーバから天気情報を取得して、取得情報に基づく応答を生成してスピーカーから出力する処理を行う。あるいは、ユーザが、「テレビを消して」と発話した場合、テレビをオフにする動作を行う。
しかし、このような対話システムにおいて、ユーザ発話の音声認識結果あるいは意図推定結果に対する信頼度が低い場合や、認識した結果の解釈が複数通りある場合等、システムが行動を一意に決定できない場合がある。
このような場合、システムは、ユーザに対してユーザ意図を確認するための確認応答を生成して出力することがある。
また、例えばシステムの記憶部に保存してあるデータの登録や削除など、失敗した場合のリスクが高い処理を行う場合には、システムはユーザに対して処理を行ってよいかどうかを再確認するための確認応答を出力することがある。
このような場合、システムは、ユーザに対してユーザ意図を確認するための確認応答を生成して出力することがある。
また、例えばシステムの記憶部に保存してあるデータの登録や削除など、失敗した場合のリスクが高い処理を行う場合には、システムはユーザに対して処理を行ってよいかどうかを再確認するための確認応答を出力することがある。
例えば、特許文献1(特開2011-54088号公報)は、以下の構成を開示している。
聞き間違いをしやすいユーザ発話、例えば、
(例1)「get a cup」と、「put a cut」、
(例2)「銀閣寺について教えて」と、「金閣寺について教えて」、
このようなユーザ発話を入力した場合に、ユーザの意図を確認するための応答を出力する構成を開示している。
聞き間違いをしやすいユーザ発話、例えば、
(例1)「get a cup」と、「put a cut」、
(例2)「銀閣寺について教えて」と、「金閣寺について教えて」、
このようなユーザ発話を入力した場合に、ユーザの意図を確認するための応答を出力する構成を開示している。
特許文献1には、さらに、行動の対象物が複数あって決定できない場合の例として以下の例が記載されている。
(例3)「コップを取って」
上記(例3)のユーザ発話は認識できるが、コップが複数ある場合には、どのコップなのかがわからない。このような場合にもユーザの意図を確認するための応答を出力する。
特許文献1には、このような対話型の確認構成が開示されている。
(例3)「コップを取って」
上記(例3)のユーザ発話は認識できるが、コップが複数ある場合には、どのコップなのかがわからない。このような場合にもユーザの意図を確認するための応答を出力する。
特許文献1には、このような対話型の確認構成が開示されている。
特許文献1に示す上記(例2)の場合にシステムが生成して出力する確認応答は、以下の応答である。
ユーザ:「銀閣寺(発音不明瞭)について教えて」
システム:「銀閣寺でよろしいですか?」
ユーザ:「銀閣寺(発音不明瞭)について教えて」
システム:「銀閣寺でよろしいですか?」
この先行技術の例では、ユーザ発話に対して「銀閣寺」という単語のみを利用したおうむ返しの応答文章を出力している。
ここで、システムの応答が音声でユーザに伝えられる場合を考えると、システムの応答が何らかの理由で聞き取りにくい場合には、システムが「銀閣寺」と発話したにも関わらず、ユーザは「金閣寺」と聞き間違いをすることがある。また、仮に音声だけではなく何らかの画面表示等も交えた応答出力を行う際でも、ユーザ自身が金閣寺と銀閣寺を勘違い等により逆に理解している場合には、本来は銀閣寺についての情報が欲しい場合でも、金閣寺の情報が欲しいと意志表明をすることになるため、最終的にユーザの意図とは異なる情報しか得られないことになる。
ここで、システムの応答が音声でユーザに伝えられる場合を考えると、システムの応答が何らかの理由で聞き取りにくい場合には、システムが「銀閣寺」と発話したにも関わらず、ユーザは「金閣寺」と聞き間違いをすることがある。また、仮に音声だけではなく何らかの画面表示等も交えた応答出力を行う際でも、ユーザ自身が金閣寺と銀閣寺を勘違い等により逆に理解している場合には、本来は銀閣寺についての情報が欲しい場合でも、金閣寺の情報が欲しいと意志表明をすることになるため、最終的にユーザの意図とは異なる情報しか得られないことになる。
上述したように、既存の対話システムにおいては、システムのユーザ発話に対する音声認識結果あるいは意図推定結果に対する信頼度が低い場合や、認識した結果の解釈が複数通りある場合等には、ユーザに対して確認応答を出力することがある。しかし、その際に、ユーザの発話をそのままおうむ返しする手法だと、ユーザがさらに聞き間違いをする可能性や、ユーザ自身が勘違いをしている場合にそれを正すことができず、本来ユーザが欲しい情報とは異なる情報を提供してしまう、といった問題が発生する。
本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザ発話の認識結果があいまいな場合、あるいは複数の候補がある場合等、システム側が処理を決定できない場合等において、システムがユーザに対して曖昧性解消のための確認応答を提示する際に情報を付加した応答とすることにより、確認精度の向上を実現する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記確認応答生成部は、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理装置にある。
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記確認応答生成部は、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理装置にある。
さらに、本開示の第2の側面は、
ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記データ処理サーバは、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行するとともに、意図理解結果に基づいて前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末の確認応答生成部に対して確認応答生成命令を出力する対話制御部を有し、
前記ユーザ端末の前記確認応答生成部は、
前記データ処理サーバからの確認応答生成命令入力に応じて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理システムにある。
ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記データ処理サーバは、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行するとともに、意図理解結果に基づいて前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末の確認応答生成部に対して確認応答生成命令を出力する対話制御部を有し、
前記ユーザ端末の前記確認応答生成部は、
前記データ処理サーバからの確認応答生成命令入力に応じて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理システムにある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
音声入力部が、ユーザ発話を入力する音声入力ステップと、
確認応答生成部が、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成ステップと、
音声出力部が、前記確認応答生成ステップで生成した確認応答を出力する音声出力ステップを実行し、
前記確認応答生成ステップにおいて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
音声入力部が、ユーザ発話を入力する音声入力ステップと、
確認応答生成部が、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成ステップと、
音声出力部が、前記確認応答生成ステップで生成した確認応答を出力する音声出力ステップを実行し、
前記確認応答生成ステップにおいて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理方法にある。
さらに、本開示の第4の側面は、
ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記音声入力処理において入力された入力音声の音声認識処理と、
前記音声認識処理の生成した音声認識結果に基づく意図理解処理と、
前記意図理解処理の意図理解結果に基づいて、前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末に対して確認応答生成命令を出力し、
前記ユーザ端末が、
前記データ処理サーバからの確認応答生成命令入力に応じて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成処理を実行し、
前記確認応答生成処理において、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成処理を実行する情報処理方法にある。
ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記音声入力処理において入力された入力音声の音声認識処理と、
前記音声認識処理の生成した音声認識結果に基づく意図理解処理と、
前記意図理解処理の意図理解結果に基づいて、前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末に対して確認応答生成命令を出力し、
前記ユーザ端末が、
前記データ処理サーバからの確認応答生成命令入力に応じて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成処理を実行し、
前記確認応答生成処理において、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成処理を実行する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
音声入力部に、ユーザ発話を入力させる音声入力ステップと、
確認応答生成部に、前記ユーザ発話に対する発話ユーザの確認を求めるための確認応答を生成させる確認応答生成ステップと、
音声出力部に、前記確認応答を出力させる音声出力ステップを実行させ、
前記確認応答生成ステップにおいては、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
音声入力部に、ユーザ発話を入力させる音声入力ステップと、
確認応答生成部に、前記ユーザ発話に対する発話ユーザの確認を求めるための確認応答を生成させる確認応答生成ステップと、
音声出力部に、前記確認応答を出力させる音声出力ステップを実行させ、
前記確認応答生成ステップにおいては、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
具体的には、例えば、ユーザ発話を入力する音声入力部と、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、確認応答生成部の生成した確認応答を出力する音声出力部を有し、確認応答生成部は、辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。例えば、一般知識ベース辞書データや、アプリケーションの実行結果、あるいは、撮影画像やセンサー等から得られる情報を用いた確認応答を生成する。
本構成により、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、ユーザ発話を入力する音声入力部と、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、確認応答生成部の生成した確認応答を出力する音声出力部を有し、確認応答生成部は、辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。例えば、一般知識ベース辞書データや、アプリケーションの実行結果、あるいは、撮影画像やセンサー等から得られる情報を用いた確認応答を生成する。
本構成により、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.ユーザ発話を認識して応答や処理を行う情報処理装置の一般的な構成例について
2.(実施例1)応答生成部が一般知識ベース辞書データを利用して確認応答を生成する実施例について
3.(実施例2)応答生成部がアプリ(アプリケーション)実行部を利用して確認応答を生成する実施例について
4.(実施例3)応答生成部が情報入力部の情報を利用して確認応答を生成する実施例について
5.(実施例4)音声出力に併せて、画像や制御信号の出力を実行する実施例について
6.(実施例5)対話履歴に基づいて、確認応答を生成する実施例について
7.情報処理装置、および情報処理システムの構成例について
8.情報処理装置のハードウェア構成例について
9.本開示の構成のまとめ
1.ユーザ発話を認識して応答や処理を行う情報処理装置の一般的な構成例について
2.(実施例1)応答生成部が一般知識ベース辞書データを利用して確認応答を生成する実施例について
3.(実施例2)応答生成部がアプリ(アプリケーション)実行部を利用して確認応答を生成する実施例について
4.(実施例3)応答生成部が情報入力部の情報を利用して確認応答を生成する実施例について
5.(実施例4)音声出力に併せて、画像や制御信号の出力を実行する実施例について
6.(実施例5)対話履歴に基づいて、確認応答を生成する実施例について
7.情報処理装置、および情報処理システムの構成例について
8.情報処理装置のハードウェア構成例について
9.本開示の構成のまとめ
[1.ユーザ発話を認識して応答や処理を行う情報処理装置の一般的な構成例について]
まず、図1を参照して、ユーザ発話を認識して応答や処理を行う情報処理装置の一般的な構成例について説明する。
まず、図1を参照して、ユーザ発話を認識して応答や処理を行う情報処理装置の一般的な構成例について説明する。
図1は、ユーザ発話を認識して応答を行う情報処理装置100の一般的な構成例を示す図である。
図1に示すように、情報処理装置100は、音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107を有する。
図1に示すように、情報処理装置100は、音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107を有する。
音声入力部(マイク)101から入力されたユーザ発話音声は音声認識部102において音声データからテキストデータに変換される。
音声認識部102は、例えばASR(Automatic Speech Recognition)機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
音声認識部102は、例えばASR(Automatic Speech Recognition)機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
音声認識部102において生成されたテキストデータは、意図理解部103に入力される。
意図理解部103は、テキストに含まれるユーザの意図候補を選択して出力する。
意図理解部103は、例えば、NLU(Natural Language Understanding)等の自然言語認識機能を有し、テキストデータから、ユーザ発話の意図(Intent)の候補を選択する。
意図理解部103の生成した意図理解結果は、対話制御部104に入力される。
意図理解部103は、テキストに含まれるユーザの意図候補を選択して出力する。
意図理解部103は、例えば、NLU(Natural Language Understanding)等の自然言語認識機能を有し、テキストデータから、ユーザ発話の意図(Intent)の候補を選択する。
意図理解部103の生成した意図理解結果は、対話制御部104に入力される。
対話制御部104は、意図理解部103の生成した意図理解結果を入力して、例えば、過去の対話履歴等から現在の対話状態を推定し、応答生成に必要となる処理を実行させるためにコールすべきAPIとその引数を決定する。
これは、具体的には、例えば、意図理解部103の生成した意図理解結果として、
ユーザ発話が、「東京の天気を問い合わせる発話である」との意図理解結果が得られた場合、天気情報を取得可能なアプリケーションを起動させて、東京(引数)をアプリケーションに渡して、応答に必要な情報(東京の天気)を取得させるといった処理である。
ユーザ発話が、「東京の天気を問い合わせる発話である」との意図理解結果が得られた場合、天気情報を取得可能なアプリケーションを起動させて、東京(引数)をアプリケーションに渡して、応答に必要な情報(東京の天気)を取得させるといった処理である。
対話制御部104によるAPIコールと引数情報がアブリ実行部105に出力されて、APIコール対応のアプリケーションが実行され、引数に応じたAPI出力、すなわち、応答処理に必要となるデータが応答生成部106に出力される。
応答生成部106は、アブリ実行部105から入力したAPI出力、すなわち、応答処理に必要となるデータを入力して、応答として出力すべき音声データを生成する。
応答生成部106は、TTS(Text to Speech)機能に基づいて、応答データを構成するテキストデータを音声データに変換する。
応答生成部106の生成した音声データは、音声出力部(スピーカー)107を介してユーザに向けて出力される。
応答生成部106は、TTS(Text to Speech)機能に基づいて、応答データを構成するテキストデータを音声データに変換する。
応答生成部106の生成した音声データは、音声出力部(スピーカー)107を介してユーザに向けて出力される。
上述した処理シーケンスは、ユーザ発話に基づく音声認識部102におけるテキスト変換、および意図理解部103における意図理解が問題なく行われた場合の処理であり、ユーザの意図に応じた正しい応答が出力された例である。
しかし、ユーザ発話に基づく音声認識部102におけるテキスト変換、および意図理解部103における意図理解が困難な場合がある。
このような場合には、対話制御部104は、応答生成部106に対して、ユーザ発話に対する発話ユーザの確認を求める確認応答の生成命令、すなわち「確認応答生成命令」を出力して、応答生成部106が、ユーザに再度、確認のための発話を要求する。
このような場合には、対話制御部104は、応答生成部106に対して、ユーザ発話に対する発話ユーザの確認を求める確認応答の生成命令、すなわち「確認応答生成命令」を出力して、応答生成部106が、ユーザに再度、確認のための発話を要求する。
すなわち、ユーザ発話の認識や理解の確信度が低い場合には、その内容をユーザに問い返して確認する応答文章を生成して提示することがある。
なお、音声認識部102におけるテキスト変換データや、意図理解部103における意図理解結果データには、信頼度を示す属性情報が付加され、対話制御部104に入力され、対話制御部104は、この属性情報に基づいて信頼度を判定することができる。
なお、音声認識部102におけるテキスト変換データや、意図理解部103における意図理解結果データには、信頼度を示す属性情報が付加され、対話制御部104に入力され、対話制御部104は、この属性情報に基づいて信頼度を判定することができる。
また、例えば、ユーザの発話が、スケジュール記録アプリケーションを起動して、予定を登録する処理や削除する処理を要求している場合等、スケジュール記録データベースに変更を加える必要がある場合等、重要な処理を行う場合は、その処理を行ってよいかどうかの確認を行うための応答文章を生成して出力する場合がある。
以下、情報処理装置100が、ユーザの意図を確認するための確認応答を行う場合の具体的な処理例について説明する。
例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「8日(よーか)に買い物の予定を入れてくれる?」
このようなユーザ発話があると、
情報処理装置100は、「よーか」が、本当に「8日(よーか)」を意図しているのか、あるいはユーザが「4日(よっか)」を意図して発話してしまったかを判別できない。
このため、情報処理装置100は、ユーザに対して確認を求める以下の確認応答を出力する。
装置の確認応答:「8日(よーか)ですね?」
例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「8日(よーか)に買い物の予定を入れてくれる?」
このようなユーザ発話があると、
情報処理装置100は、「よーか」が、本当に「8日(よーか)」を意図しているのか、あるいはユーザが「4日(よっか)」を意図して発話してしまったかを判別できない。
このため、情報処理装置100は、ユーザに対して確認を求める以下の確認応答を出力する。
装置の確認応答:「8日(よーか)ですね?」
この例は、ユーザが発話した日時情報(8日)について、装置側の認識理解確信度が低い場合の例である。
このような確認応答は、従来の装置においても多く行われる。
上記の確認応答では、ユーザの発話情報(「8日(よーか)」)をそのまま応答に用いている。このような応答を行う場合、以下に挙げるような問題が発生する可能性がある。
(a)装置が応答を、スピーカーを介して音声出力した場合、ユーザが「8日」を「4日」と聞き間違える可能性がある。
(b)ユーザの真の意図は8日ではないが、何らかの勘違い(例えば予定を入れたいのは水曜日だが、本来水曜日は7日なのに8日であると思い違いしている等)により8日と発話してしまった場合、その勘違いに気付くことができない
上記の確認応答では、ユーザの発話情報(「8日(よーか)」)をそのまま応答に用いている。このような応答を行う場合、以下に挙げるような問題が発生する可能性がある。
(a)装置が応答を、スピーカーを介して音声出力した場合、ユーザが「8日」を「4日」と聞き間違える可能性がある。
(b)ユーザの真の意図は8日ではないが、何らかの勘違い(例えば予定を入れたいのは水曜日だが、本来水曜日は7日なのに8日であると思い違いしている等)により8日と発話してしまった場合、その勘違いに気付くことができない
このように、従来の装置は、ユーザ発話の確認を求める確認応答を出力する際、ユーザ発話をそのまま「おうむ返し」する構成としたものが多い。
この手法は、ユーザがさらに聞き間違いをする可能性や、ユーザ自身が勘違いをしている場合にそれをただすことができず、本来ユーザが欲しい情報とは異なる情報を提供してしまう、といった問題が発生する。
この手法は、ユーザがさらに聞き間違いをする可能性や、ユーザ自身が勘違いをしている場合にそれをただすことができず、本来ユーザが欲しい情報とは異なる情報を提供してしまう、といった問題が発生する。
本開示の情報処理装置は、このような問題を解決する構成を有する。
すなわち、ユーザ発話の認識結果があいまいな場合、あるいは複数の候補がある場合において、システムがユーザに対して曖昧性解消のための確認応答を提示する際に、情報を付加することにより確認精度を上げることを可能としたものである。
具体的には、例えば、辞書データまたはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。
以下、本開示の情報処理装置の構成と処理の具体例について説明する。
すなわち、ユーザ発話の認識結果があいまいな場合、あるいは複数の候補がある場合において、システムがユーザに対して曖昧性解消のための確認応答を提示する際に、情報を付加することにより確認精度を上げることを可能としたものである。
具体的には、例えば、辞書データまたはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。
以下、本開示の情報処理装置の構成と処理の具体例について説明する。
[2.(実施例1)応答生成部が一般知識ベース辞書データを利用して確認応答を生成する実施例について]
まず、実施例1として、応答生成部が一般知識ベース辞書データを利用して確認応答を生成する実施例について説明する。
まず、実施例1として、応答生成部が一般知識ベース辞書データを利用して確認応答を生成する実施例について説明する。
図2は、本実施例1の情報処理装置220の構成例を示す図である。
図2に示すように、情報処理装置220は、音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107を有し、さらに、応答生成部106が応答生成に利用する一般知識ベース辞書データ221を有する。
図2に示すように、情報処理装置220は、音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107を有し、さらに、応答生成部106が応答生成に利用する一般知識ベース辞書データ221を有する。
音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107、これらの構成部は、基本的には、先に図1を参照して説明した処理を行う。
すなわち、音声入力部(マイク)101から入力されたユーザ発話音声は音声認識部102において音声データからテキストデータに変換される。
音声認識部102は、例えばASR(Automatic Speech Recognition)機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
音声認識部102は、例えばASR(Automatic Speech Recognition)機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
音声認識部102において生成されたテキストデータは、意図理解部103に入力される。
意図理解部103は、テキストに含まれるユーザの意図候補を選択して出力する。
意図理解部103は、例えば、NLU(Natural Language Understanding)等の自然言語認識機能を有し、テキストデータから、ユーザ発話の意図(Intent)の候補を選択する。
意図理解部103の生成した意図理解結果は、対話制御部104に入力される。
意図理解部103は、テキストに含まれるユーザの意図候補を選択して出力する。
意図理解部103は、例えば、NLU(Natural Language Understanding)等の自然言語認識機能を有し、テキストデータから、ユーザ発話の意図(Intent)の候補を選択する。
意図理解部103の生成した意図理解結果は、対話制御部104に入力される。
対話制御部104は、意図理解部103の生成した意図理解結果を入力して、例えば、過去の対話履歴等から現在の対話状態を推定し、応答生成に必要となる処理を実行させるためにコールすべきAPIとその引数を決定する。
対話制御部104によるAPIコールと引数情報がアブリ実行部105に出力されて、APIコール対応のアプリケーションが実行され、引数に応じたAPI出力、すなわち、応答処理に必要となるデータが応答生成部106に出力される。
応答生成部106は、アブリ実行部105から入力したAPI出力、すなわち、応答処理に必要となるデータを入力して、応答として出力すべき音声データを生成する。
応答生成部106は、TTS(Text to Speech)機能に基づいて、応答データを構成するテキストデータを音声データに変換する。
応答生成部106の生成した音声データは、音声出力部(スピーカー)107を介してユーザに向けて出力される。
応答生成部106は、TTS(Text to Speech)機能に基づいて、応答データを構成するテキストデータを音声データに変換する。
応答生成部106の生成した音声データは、音声出力部(スピーカー)107を介してユーザに向けて出力される。
上述した処理シーケンスは、先に図1を参照して説明した処理シーケンスと同様の処理である。
すなわち、ユーザ発話に基づく音声認識部102におけるテキスト変換、および意図理解部103における意図理解が問題なく行われた場合の処理であり、ユーザの意図に応じた正しい応答が出力された例である。
すなわち、ユーザ発話に基づく音声認識部102におけるテキスト変換、および意図理解部103における意図理解が問題なく行われた場合の処理であり、ユーザの意図に応じた正しい応答が出力された例である。
対話制御部104は、ユーザ発話に基づく音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い場合、あるいは、ユーザの発話がスケジュール設定等の重要処理である場合に、応答生成部106に対して確認応答の生成、出力を要求する。
本実施例1では、この応答生成部106の実行する確認応答生成処理が、先に図1を参照して説明した処理とは異なる。
本実施例1では、この応答生成部106の実行する確認応答生成処理が、先に図1を参照して説明した処理とは異なる。
先に、図1を参照して説明した確認応答は、
ユーザ発話:「8日(よーか)に買い物の予定を入れてくれる?」
このようなユーザ発話に対して、ユーザの意図が、「8日(よーか)」であるか、「4日(よっか)」であるかを確認するため、装置の確認応答として、
「8日(よーか)ですね?」
このようなおうむ返しの確認応答を行っていた。
ユーザ発話:「8日(よーか)に買い物の予定を入れてくれる?」
このようなユーザ発話に対して、ユーザの意図が、「8日(よーか)」であるか、「4日(よっか)」であるかを確認するため、装置の確認応答として、
「8日(よーか)ですね?」
このようなおうむ返しの確認応答を行っていた。
この場合、前述したように、
(a)装置が応答を、スピーカーを介して音声出力した場合、ユーザが「8日」を「4日」と聞き間違える可能性がある。
(b)ユーザの真の意図は8日ではないが、何らかの勘違い(例えば予定を入れたいのは水曜日だが、本来水曜日は7日なのに8日であると思い違いしている等)により8日と発話してしまった場合、その勘違いに気付くことができない
このような問題が発生する。
(a)装置が応答を、スピーカーを介して音声出力した場合、ユーザが「8日」を「4日」と聞き間違える可能性がある。
(b)ユーザの真の意図は8日ではないが、何らかの勘違い(例えば予定を入れたいのは水曜日だが、本来水曜日は7日なのに8日であると思い違いしている等)により8日と発話してしまった場合、その勘違いに気付くことができない
このような問題が発生する。
図2に示す本開示の情報処理装置220の応答生成部106は、このような問題の発生を低減させるため、一般知識ベース辞書データ221を利用して確認応答、すなわち、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する。
なお、一般知識ベース辞書データ221は、様々な事実や、常識、習慣、経験等の一般的な知識をコンピュータ可読形式のデータとしてデータベース化したデータである。ナレッジベース辞書データとも呼ばれる。
なお、一般知識ベース辞書データ221は、様々な事実や、常識、習慣、経験等の一般的な知識をコンピュータ可読形式のデータとしてデータベース化したデータである。ナレッジベース辞書データとも呼ばれる。
なお、図2以下において説明する本開示の情報処理装置220の応答生成部106は、対話制御部104から応答生成命令を入力した場合に確認応答を生成して出力するのみならず、さらに、対話制御部104から確認応答生成命令ではない通常の応答生成命令を入力した場合にも、ユーザ発話内容を再確認するための確認応答を生成して出力する場合がある。
すなわち、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
すなわち、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
本開示の情報処理装置220の応答生成部106の生成する確認応答の具体例について説明する。
まず、図3に示す3つの確認応答生成例101~103について説明する。
まず、図3に示す3つの確認応答生成例101~103について説明する。
(確認応答生成例101)
図3(101)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「8日(よーか)に買い物の予定を入れてくれる?」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。入力データには、音声認識部102におけるテキスト変換データや、意図理解部103における意図理解結果データには、信頼度を示す属性情報が付加されている。
図3(101)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「8日(よーか)に買い物の予定を入れてくれる?」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。入力データには、音声認識部102におけるテキスト変換データや、意図理解部103における意図理解結果データには、信頼度を示す属性情報が付加されている。
対話制御部104は、属性情報に基づいて、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い否かを判定する。信頼度が予め規定した基準値(しきい値)より低い場合、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
本処理例においては、例えば以下のような処理が行われることになる。
情報処理装置220の意図理解部103が、上記のユーザ発話に対する意図理解処理において、「よーか」が、本当に「8日(よーか)」を意図しているのか、あるいはユーザが「4日(よっか)」を意図して発話してしまったかを判別できず、ユーザの意図が曖昧である(信頼度が低い)という意図理解結果を対話制御部104に出力する。
情報処理装置220の意図理解部103が、上記のユーザ発話に対する意図理解処理において、「よーか」が、本当に「8日(よーか)」を意図しているのか、あるいはユーザが「4日(よっか)」を意図して発話してしまったかを判別できず、ユーザの意図が曖昧である(信頼度が低い)という意図理解結果を対話制御部104に出力する。
対話制御部104は、この意図理解部103からの入力、すなわち、ユーザの意図が曖昧であるという意図理解結果に基づいて、応答生成部106に確認応答生成命令を出力する。
なお、意図理解部103が、意図理解処理において、「よーか」が、「8日(よーか)」を意図しているとする高信頼度情報を属性情報として付加した結果を対話制御部104に出力した場合であっても、対話制御部104は、スケジュール設定の重要な処理であるとの判断に基づいて、日にちの再確認が必要であるとの判断を行う場合がある。この判断が行われた場合も、応答生成部106に確認応答生成命令を出力する。
また、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
本実施例において、応答生成部106は、一般知識ベース辞書データ221のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「8日(はちにち)に買い物の予定を登録しますね?」
装置の確認応答:「8日(はちにち)に買い物の予定を登録しますね?」
上記の例は、8日には「よーか」と「はちにち」の二通りの読み方がある、という知識を用いて、両方の読み方を伝える確認応答の例である。
この知識は、応答生成部106が、一般知識ベース辞書データ221のデータを利用して取得する。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して得られる知識により、以下の確認応答、すなわち、
「8日(はちにち)に買い物の予定を登録しますね?」
このような確認応答を生成して出力する。
この知識は、応答生成部106が、一般知識ベース辞書データ221のデータを利用して取得する。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して得られる知識により、以下の確認応答、すなわち、
「8日(はちにち)に買い物の予定を登録しますね?」
このような確認応答を生成して出力する。
この確認応答は、音声出力部(スピーカー)107を介してユーザに対して出力される。
ユーザは、「8日」の2つの読み方(よーか、はちにち)の確認を求める確認応答を聞き、情報処理装置220が伝えたいのは4日ではなく8日であると確信することができ、聞き間違いを防ぐことができる。
ユーザは、「8日」の2つの読み方(よーか、はちにち)の確認を求める確認応答を聞き、情報処理装置220が伝えたいのは4日ではなく8日であると確信することができ、聞き間違いを防ぐことができる。
(確認応答生成例102)
図2に示す情報処理装置220の応答生成部106が生成する確認応答の第2の具体例について説明する。
図3(102)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「8日に買い物の予定を入れてくれる?」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図2に示す情報処理装置220の応答生成部106が生成する確認応答の第2の具体例について説明する。
図3(102)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「8日に買い物の予定を入れてくれる?」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
対話制御部104は、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い場合、あるいは、ユーザの発話がスケジュール設定等の重要処理である場合、応答生成部106に対して確認応答の生成、出力を要求する。
本例では、意図理解部103における意図理解の結果として、ユーザ発話が「8日(よーか)」を意図しているか、「4日(よっか)」を意図しているかが曖昧である(信頼度が低い)との意図理解結果を対話制御部104が入力する。
さらに、対話制御部104は、ユーザ発話がスケジュール設定を要求する重要な処理であるとの判断から、日にちの再確認が必要であるとの判断を行い、この判断に基づいて、応答生成部106に確認応答生成命令を出力する。
さらに、対話制御部104は、ユーザ発話がスケジュール設定を要求する重要な処理であるとの判断から、日にちの再確認が必要であるとの判断を行い、この判断に基づいて、応答生成部106に確認応答生成命令を出力する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「来週水曜日の8日ですね?」
装置の確認応答:「来週水曜日の8日ですね?」
上記の例は、ユーザの意図が「8日(よーか)」であるか、「4日(よっか)」であるかを確認するために装置が実行する確認応答である。
情報処理装置220の応答生成部106は、一般知識ベース辞書データ221のデータを利用して、8日は来週水曜日であるという知識を取得して、取得した知識に基づく情報(8日は来週水曜日である)を付加した確認応答を生成する。
情報処理装置220の応答生成部106は、一般知識ベース辞書データ221のデータを利用して、8日は来週水曜日であるという知識を取得して、取得した知識に基づく情報(8日は来週水曜日である)を付加した確認応答を生成する。
この確認応答は、音声出力部(スピーカー)107を介してユーザに対して出力される。
これにより、ユーザは、情報処理装置220が、4日ではなく8日と認識していることを確信することができる。
また、例えば、ユーザ自身の真の意図が9日の木曜日に買い物の予定を登録したいと思っていた場合に、ユーザ自身の勘違いにより8日と発話してしまった場合であっても、上記の確認応答を装置から聞くことで、ユーザは8日を木曜日だと勘違いしていたことを気づくことになる。
すなわち、8日が正しくは水曜日であることに気付かせることができる。その結果として、ユーザが、本来、予定を登録したかった木曜日は9日であると認識でき、「9日に予定を入れておいて」のように、真の意図に基づく発話をさせることが可能となる。
これにより、ユーザは、情報処理装置220が、4日ではなく8日と認識していることを確信することができる。
また、例えば、ユーザ自身の真の意図が9日の木曜日に買い物の予定を登録したいと思っていた場合に、ユーザ自身の勘違いにより8日と発話してしまった場合であっても、上記の確認応答を装置から聞くことで、ユーザは8日を木曜日だと勘違いしていたことを気づくことになる。
すなわち、8日が正しくは水曜日であることに気付かせることができる。その結果として、ユーザが、本来、予定を登録したかった木曜日は9日であると認識でき、「9日に予定を入れておいて」のように、真の意図に基づく発話をさせることが可能となる。
(確認応答生成例103)
図2に示す情報処理装置220の応答生成部106の生成する確認応答の第3の具体例について説明する。
図3(103)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「3日後に買い物の予定を入れていて。」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図2に示す情報処理装置220の応答生成部106の生成する確認応答の第3の具体例について説明する。
図3(103)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「3日後に買い物の予定を入れていて。」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
対話制御部104は、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い否かを判定し、信頼度が低い場合、応答生成部106に対して確認応答の生成、出力を要求する。あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
本例では、対話制御部104は、スケジュール設定の重要な処理であるとの判断から、日にちの再確認が必要であるとの判断を行い、この判断に基づいて、応答生成部106に確認応答生成命令を出力する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「11日木曜日ですね?」
装置の確認応答:「11日木曜日ですね?」
上記の例は、ユーザ発話に含まれる「3日後」を、実際の日にちと曜日(11日木曜日)に置き換えて確認を求める形式の確認応答の例である。
情報処理装置220の応答生成部106は、一般知識ベース辞書データ221のデータを利用して、「3日後」は「11日」であり、さらに「木曜日」であるという知識を取得する。
情報処理装置220の応答生成部106は、一般知識ベース辞書データ221のデータを利用して、「3日後」は「11日」であり、さらに「木曜日」であるという知識を取得する。
応答生成部106は、この知識を用いて、取得した知識を付加した(ここでは置き換えた)応答を生成する。すなわち、
「11日木曜日ですね?」
この確認応答を生成して、音声出力部(スピーカー)107を介してユーザに対して出力する。
これにより、ユーザは、自分自身が発話した「3日後」に加え、「11日」「木曜日」という情報を取得する。
この付加的な情報によって、予定を登録する日時に対する確信度を上げることができる。
「11日木曜日ですね?」
この確認応答を生成して、音声出力部(スピーカー)107を介してユーザに対して出力する。
これにより、ユーザは、自分自身が発話した「3日後」に加え、「11日」「木曜日」という情報を取得する。
この付加的な情報によって、予定を登録する日時に対する確信度を上げることができる。
さらに、ユーザの真の意図は金曜日(4日後)への予定登録だった場合、すなわち、ユーザが「3日後が金曜日である」と誤解していた場合には、上記の情報処理装置220からの確認応答、すなわち、
「11日木曜日ですね?」
この確認応答によって、「木曜日」という情報がユーザに提供される。
この結果、ユーザは、「3日後は金曜日だと思っていたけど木曜日だったのか。じゃあ、4日後の12日にしよう」と考えなおして、新たな発話、
「4日後に予定を入れておいて」
という訂正発話を行うことが可能となる。
「11日木曜日ですね?」
この確認応答によって、「木曜日」という情報がユーザに提供される。
この結果、ユーザは、「3日後は金曜日だと思っていたけど木曜日だったのか。じゃあ、4日後の12日にしよう」と考えなおして、新たな発話、
「4日後に予定を入れておいて」
という訂正発話を行うことが可能となる。
このように、1つの情報に対して他の表現を加えて応答することにより、ユーザは複数の観点から確認することができるようになる。この例の場合、ユーザが自身の勘違いに気付く元ともなっており、結果としてユーザが求めているゴールに早く到達できることになる。また、システムがユーザの発話を正しく理解しているかどうかの確認も同時に行うことができる。
以上、説明した3つの具体例(確認応答生成例101~103)は、日付に関する例であるが、日付以外にも、図2に示す一般知識ベース辞書データ221から得られる知識を用いて、ユーザの意図を正確に取得可能とした確認応答を生成することができる。
以下、日付の確認と異なる確認応答の生成例について説明する。
図4に示す2つの確認応答生成例104~105について説明する。
以下、日付の確認と異なる確認応答の生成例について説明する。
図4に示す2つの確認応答生成例104~105について説明する。
(確認応答生成例104)
図2に示す情報処理装置220の応答生成部106の生成する確認応答の第4の具体例について説明する。
図4(104)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「金閣寺への行き方を教えて」
このようなユーザ発話があると、
まず、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図2に示す情報処理装置220の応答生成部106の生成する確認応答の第4の具体例について説明する。
図4(104)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「金閣寺への行き方を教えて」
このようなユーザ発話があると、
まず、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
本例では、例えば、情報処理装置220の意図理解部103は、意図理解処理において、「金閣寺」が、本当に「金閣寺(キンカクジ)」を意図しているのか、あるいは「銀閣寺(ギンカクジ)」を意図して誤って発話してしまったかを判別できず、ユーザの意図が曖昧であるという意図理解結果を対話制御部104に出力する。
対話制御部104は、この意図理解結果に基づいて、応答生成部106に確認応答生成命令を出力する。
情報処理装置220の応答生成部106は、対話制御部104からの確認応答生成命令の入力に応じて確認応答を生成する。
情報処理装置220の応答生成部106は、対話制御部104からの確認応答生成命令の入力に応じて確認応答を生成する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「足利義満が作った金閣寺ですか?」
装置の確認応答:「足利義満が作った金閣寺ですか?」
上記の例は、ユーザの発話意図が「金閣寺(キンカクジ)」を意図しているのか、あるいは「銀閣寺(ギンカクジ)」を意図しているかが、曖昧だったので、確認をしたい場合の確認応答である。
この確認応答において、例えば、そのまま「金閣寺ですか?」と応答を出した場合、その応答が音声のみの場合には、ユーザがまた聞き間違える(金閣寺を銀閣寺と聞き間違える)可能性がある。
例えば情報処理装置が表示部を有する場合には、表示部に音声出力した文字を表示することにより、ユーザの聞き違いを防ぐこともできるが、ユーザが表示部を見るとは限らない。
従って、音声だけでも誤解が生じにくい応答にすることが望ましい。
例えば情報処理装置が表示部を有する場合には、表示部に音声出力した文字を表示することにより、ユーザの聞き違いを防ぐこともできるが、ユーザが表示部を見るとは限らない。
従って、音声だけでも誤解が生じにくい応答にすることが望ましい。
よって、上記の例、すなわち、
装置の確認応答:「足利義満が作った金閣寺ですか?」
この確認応答のように、「足利義満が作った」という情報を追加することにより、ユーザにとっての確信度を上げることが可能となる。
装置の確認応答:「足利義満が作った金閣寺ですか?」
この確認応答のように、「足利義満が作った」という情報を追加することにより、ユーザにとっての確信度を上げることが可能となる。
なお、応答生成部106は、一般知識ベース辞書データ221から得られる知識に基づいて、様々な情報を付加した確認応答を生成することが可能である。
例えば、以下のような様々な確認応答を生成することが可能である。
「黄金色の金閣寺ですか?」
「三島由紀夫の小説になった金閣寺ですか?」
「正式名称は鹿苑寺と呼ばれる金閣寺ですか?」
例えば、これらの金閣寺に関する付加的な情報を、一般知識ベース辞書データ221から取得して、付加的情報を追加した確認応答を生成して出力することが可能である。
例えば、以下のような様々な確認応答を生成することが可能である。
「黄金色の金閣寺ですか?」
「三島由紀夫の小説になった金閣寺ですか?」
「正式名称は鹿苑寺と呼ばれる金閣寺ですか?」
例えば、これらの金閣寺に関する付加的な情報を、一般知識ベース辞書データ221から取得して、付加的情報を追加した確認応答を生成して出力することが可能である。
(確認応答生成例105)
図2に示す情報処理装置220の応答生成部106の生成する確認応答の第5の具体例について説明する。
図4(105)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「1チャンネル(いっちゃんねる)を5時から録画して」
このようなユーザ発話があると、
まず、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図2に示す情報処理装置220の応答生成部106の生成する確認応答の第5の具体例について説明する。
図4(105)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「1チャンネル(いっちゃんねる)を5時から録画して」
このようなユーザ発話があると、
まず、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
本例は、情報処理装置220の意図理解部103は、意図理解処理において、録画すべきチャネルを指定していると理解したが、それが1ch(いっちゃんねる)か10ch(じゅっちゃんねる)かが曖昧なため、ユーザの意図が曖昧であるという意図理解結果を対話制御部104に出力する。
対話制御部104は、この意図理解結果に基づいて、応答生成部106に確認応答生成命令を出力する。
情報処理装置220の応答生成部106は、対話制御部104からの確認応答生成命令の入力に応じて確認応答を生成する。
情報処理装置220の応答生成部106は、対話制御部104からの確認応答生成命令の入力に応じて確認応答を生成する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「XYZテレビでよろしいですか?」
装置の確認応答:「XYZテレビでよろしいですか?」
上記の例は、ユーザの発話意図は録画すべきチャネルを指定していると理解したが、それが1chか10chかが曖昧なため、ユーザへの確認を行った例である。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して、1チャンネルが「XYZテレビ」のチャンネルであるという知識を取得し、聞き間違いを起こしやすい数字+チャネルを提示するのではなく、放送局名を含む確認応答を生成する。
この処理により、ユーザは確認応答の意図を正しく理解することができるようになる。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して、1チャンネルが「XYZテレビ」のチャンネルであるという知識を取得し、聞き間違いを起こしやすい数字+チャネルを提示するのではなく、放送局名を含む確認応答を生成する。
この処理により、ユーザは確認応答の意図を正しく理解することができるようになる。
[3.(実施例2)応答生成部がアプリ(アプリケーション)実行部を利用して確認応答を生成する実施例について]
次に、実施例2として、応答生成部がアプリ(アプリケーション)実行部を利用して確認応答を生成する実施例について説明する。
次に、実施例2として、応答生成部がアプリ(アプリケーション)実行部を利用して確認応答を生成する実施例について説明する。
図5は、本実施例2の情報処理装置240の構成例を示す図である。
図5に示すように、情報処理装置240は、音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107を有し、さらに、応答生成部106が応答生成に利用するアプリ実行部241を有する。
図5に示すように、情報処理装置240は、音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107を有し、さらに、応答生成部106が応答生成に利用するアプリ実行部241を有する。
音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、音声出力部(スピーカー)107については、図1、図2を参照して説明したと同様の処理を行う構成であるので説明を省略する。
図5に示す本実施例2の情報処理装置240の応答生成部106は、アプリ実行部241を利用して確認応答を生成する。
なお、アプリ実行部241は、例えば、情報処理装置240内のアプリケーションに限らず、ネットワークによって接続された様々な装置において実行されるアプリケーションを利用することを可能な構成である。
例えば、音楽再生アプリ、天気情報取得アプリ、レストラン予約アプリ等、様々なアプリを利用することができる。
なお、アプリ実行部241は、例えば、情報処理装置240内のアプリケーションに限らず、ネットワークによって接続された様々な装置において実行されるアプリケーションを利用することを可能な構成である。
例えば、音楽再生アプリ、天気情報取得アプリ、レストラン予約アプリ等、様々なアプリを利用することができる。
本実施例の情報処理装置240の応答生成部106の生成する確認応答の具体例について説明する。
まず、図6に示す2つの確認応答生成例201~202について説明する。
まず、図6に示す2つの確認応答生成例201~202について説明する。
(確認応答生成例201)
図6(201)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「10日に買い物の予定を入れてくれる?」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図6(201)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「10日に買い物の予定を入れてくれる?」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
対話制御部104は、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い否かを判定し、信頼度が低い場合、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
本例では、ユーザ発話がスケジュール設定等の重要処理であると判断し、日にちの再確認が必要であるとの判断を行い、この判断に基づいて、応答生成部106に確認応答生成命令を出力する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
応答生成部106は、アプリ実行部241を利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「10日ですね。ライブに行く日ですね。」
上記の例は、ユーザ発話に含まれる買い物の日付について、再確認を行う確認応答である。
応答生成部106は、アプリ実行部241を利用して、ユーザのスケジュールが登録されているスケジューラアプリを起動して、ユーザ発話に含まれていた日付(10日)の予定を検索する。
その結果、ユーザの10日の予定として、「ライブに行く予定」が設定されていたことを確認する。
装置の確認応答:「10日ですね。ライブに行く日ですね。」
上記の例は、ユーザ発話に含まれる買い物の日付について、再確認を行う確認応答である。
応答生成部106は、アプリ実行部241を利用して、ユーザのスケジュールが登録されているスケジューラアプリを起動して、ユーザ発話に含まれていた日付(10日)の予定を検索する。
その結果、ユーザの10日の予定として、「ライブに行く予定」が設定されていたことを確認する。
応答生成部106は、アプリ実行部241を利用して取得したこの確認結果を利用して、ユーザへ提示する情報量を増やした確認応答を生成する。すなわち、以下の確認応答を生成する。
装置の確認応答:「10日ですね。ライブに行く日ですね。」
装置の確認応答:「10日ですね。ライブに行く日ですね。」
音声出力部107を介して上記の確認応答を聞いたユーザは、
ライブに行くのは9日だと思っていたけど、10日だったのか。じゃあ買い物は11日にしようと考え、
その結果、新たなユーザ発話、
「いや、11日にして」
を行い、予定をスムーズに修正することが可能となる。
ライブに行くのは9日だと思っていたけど、10日だったのか。じゃあ買い物は11日にしようと考え、
その結果、新たなユーザ発話、
「いや、11日にして」
を行い、予定をスムーズに修正することが可能となる。
(確認応答生成例202)
図5に示す情報処理装置240の応答生成部106の生成する確認応答の第2の具体例について説明する。
図6(202)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「銀閣寺への行き方を教えて」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図5に示す情報処理装置240の応答生成部106の生成する確認応答の第2の具体例について説明する。
図6(202)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「銀閣寺への行き方を教えて」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
対話制御部104は、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い否かを判定し、信頼度が低い場合、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
本例では、対話制御部104は、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い、すなわち、ユーザ発話が「金閣寺」なのか「銀閣寺」なのかについての確信度が低いとの判定に基づいて、どちらなのかを確認するため応答生成部106に対して確認応答の生成、出力を要求する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
応答生成部106は、アプリ実行部241を利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「昨年8月に行った金閣寺ですね?」
装置の確認応答:「昨年8月に行った金閣寺ですね?」
応答生成部106は、アプリ実行部241において起動されたスケジューラアプリ(スケジュール登録アプリケーション)を利用して「金閣寺」に関する予定が過去になかったかどうかを検索し、その結果を合わせて、ユーザへ提示する情報量を増やした確認応答を生成する。すなわち、以下の確認応答を生成する。
装置の確認応答:「昨年8月に行った金閣寺ですね?」
装置の確認応答:「昨年8月に行った金閣寺ですね?」
音声出力部107を介して上記の確認応答を聞いたユーザは、銀閣寺には行ったことがない、ということは、「装置側で「銀閣寺」を「金閣寺」と聞き間違えている」のだと気付くことができる。その結果、新たなユーザ発話、
「いや、金閣寺ではなくて銀閣寺」
を行い、正確なコミュニケーションを行うことが可能となる。
「いや、金閣寺ではなくて銀閣寺」
を行い、正確なコミュニケーションを行うことが可能となる。
(確認応答生成例203)
図5に示す情報処理装置240の応答生成部106の生成する確認応答の第3の具体例について説明する。
図7(203)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「佐藤さん家族とバーベキューって入れて」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図5に示す情報処理装置240の応答生成部106の生成する確認応答の第3の具体例について説明する。
図7(203)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「佐藤さん家族とバーベキューって入れて」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
対話制御部104は、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い否かを判定し、信頼度が低い場合、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
本例では、対話制御部104は、「佐藤さん」なのか「加藤さん」なのかについての確信度が低いとの判定に基づいて、どちらなのかを確認するため応答生成部106に対して確認応答の生成、出力を要求する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
応答生成部106は、アプリ実行部241を利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「お向かいの佐藤さんでよろしいですか?」
装置の確認応答:「お向かいの佐藤さんでよろしいですか?」
応答生成部106は、アプリ実行部241において起動された住所登録アプリや知人登録アプリに登録されているご近所さん情報(名前と場所)を参照して、その結果を合わせて、ユーザへ提示する情報量を増やした確認応答を生成する。すなわち、以下の確認応答を生成する。
装置の確認応答:「お向かいの佐藤さんでよろしいですか?」
装置の確認応答:「お向かいの佐藤さんでよろしいですか?」
音声出力部107を介して上記の確認応答を聞いたユーザは、(お向かいの佐藤さんで合っている、システムは自分の発話を正しく推定している)と考えることができ、新たなユーザ発話、
「そうだよ」
のように回答することができる。
「そうだよ」
のように回答することができる。
以上、説明した確認応答生成例201~203は、音声認識や意図理解結果の信頼度が低い場合の例であるが、音声認識や意図理解結果の信頼度が高いものの、その内容が複数の候補を持つ場合についても、同様の手段により、問題を解決することができる。
以下、このような確認応答生成例について説明する。
以下、このような確認応答生成例について説明する。
(確認応答生成例204)
図5に示す情報処理装置240の応答生成部106の生成する確認応答の第4の具体例について説明する。
図7(204)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「佐藤さん家族とバーベキューって入れて」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図5に示す情報処理装置240の応答生成部106の生成する確認応答の第4の具体例について説明する。
図7(204)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「佐藤さん家族とバーベキューって入れて」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
対話制御部104は、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い否かを判定し、信頼度が低い場合、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
本例では、ユーザの発話がスケジュール設定等の重要処理であり、応答生成部106に対して確認応答の生成、出力を要求する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
なお、対話制御部104から応答生成部106に対して、確認応答生成命令ではない、通常の応答生成命令が入力された場合であっても、応答生成部106が、確認応答を実行すべきか否かを自ら判断して、確認応答を実行すべきと判断した場合には、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
応答生成部106は、アプリ実行部241を利用して、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「ご近所の佐藤さんでよろしいですか?」
装置の確認応答:「ご近所の佐藤さんでよろしいですか?」
応答生成部106は、アプリ実行部241において起動された住所登録アプリや知人登録アプリに登録されている「佐藤さん」に該当する人データが2人ある。登録住所が近所の佐藤さんと、登録住所が遠方でかつ会社の同僚である佐藤さんが登録されており、どちらの佐藤さんなのかについて確認するための確認応答を生成する。すなわち、以下の確認応答を生成する。
装置の確認応答:「ご近所の佐藤さんでよろしいですか?」
装置の確認応答:「ご近所の佐藤さんでよろしいですか?」
音声出力部107を介して上記の確認応答を聞いたユーザは、(そっか、佐藤さんは複数人いるのか、でもご近所の佐藤さんじゃない方で登録したい)と考えることができ、新たなユーザ発話、例えば
「いや、同僚の佐藤さん」
上記のように回答することができる。
「いや、同僚の佐藤さん」
上記のように回答することができる。
なお、応答生成部106は、上述した例の他にも、例えば、住所登録アプリに登録されている佐藤さんの下の名前を用いて
「佐藤太郎さんでよろしいですか?」
このような応答を生成してもよいい。
「佐藤太郎さんでよろしいですか?」
このような応答を生成してもよいい。
[4.(実施例3)応答生成部が情報入力部の情報を利用して確認応答を生成する実施例について]
次に、実施例3として、応答生成部が、例えば画像入力部等、音声以外の情報入力部の情報を利用して確認応答を生成する実施例について説明する。
次に、実施例3として、応答生成部が、例えば画像入力部等、音声以外の情報入力部の情報を利用して確認応答を生成する実施例について説明する。
図8は、本実施例3の情報処理装置260の構成例を示す図である。
図5に示すように、情報処理装置260は、音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107を有し、さらに、画像入力部(カメラ)261、画像認識部262、オブジェクト(画像)データベース263、オブジェクト関連知識ベース辞書データ264を有する。
図5に示すように、情報処理装置260は、音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、応答生成部106、音声出力部(スピーカー)107を有し、さらに、画像入力部(カメラ)261、画像認識部262、オブジェクト(画像)データベース263、オブジェクト関連知識ベース辞書データ264を有する。
音声入力部(マイク)101、音声認識部102、意図理解部103、対話制御部104、アプリ実行部105、音声出力部(スピーカー)107については、図1、図2を参照して説明したと同様の処理を行う構成であるので説明を省略する。
図8に示す本実施例3の情報処理装置260は、発話を実行するユーザの画像を含むユーザ周囲の画像を入力する画像入力部(カメラ)261を有する。
画像入力部(カメラ)261の撮影画像は、画像認識部262に入力され、画像認識部262は、予め様々なオブジェクト画像が登録されたデータベースであるオブジェクト(画像)データベース263の登録情報と対比して、撮影画像に含まれる様々なオブジェクト(人や物品)を識別する。
画像入力部(カメラ)261の撮影画像は、画像認識部262に入力され、画像認識部262は、予め様々なオブジェクト画像が登録されたデータベースであるオブジェクト(画像)データベース263の登録情報と対比して、撮影画像に含まれる様々なオブジェクト(人や物品)を識別する。
応答生成部106は、画像認識部262が識別した発話ユーザの周囲環境のオブジェクト情報を入力するとともに、オブジェクト関連知識ベース辞書データ264を利用して確認応答を生成する。
本実施例の情報処理装置260の応答生成部106の生成する確認応答の具体例について説明する。
図9に示す確認応答生成例301について説明する。
図9に示す確認応答生成例301について説明する。
(確認応答生成例301)
図9(301)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「スピーカーから音楽を再生して」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
図9(301)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「スピーカーから音楽を再生して」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力される。
対話制御部104は、音声認識部102におけるテキスト変換、および意図理解部103における意図理解の信頼度が低い否かを判定し、信頼度が低い場合、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
あるいは、ユーザの発話がスケジュール設定等の重要処理である場合にも、応答生成部106に対して確認応答の生成、出力を要求する。
本例は、対話制御部104は、ユーザ発話の意図は、「スピーカーから音楽を再生して」という意図であることを理解できており、対話制御部104は、応答生成部106に対して確認応答の生成、出力を要求しない可能性がある。
しかし、応答生成部106は、画像認識部262が識別した発話ユーザの周囲環境のオブジェクト情報を入力し、オブジェクト関連知識ベース辞書データ264の辞書データを参照することにより、発話ユーザの周囲に複数のスピーカーが存在していることを把握することができる。
このような場合、応答生成部106自身で確認応答を実行すべきと判断し、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
具体的には、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「あなたの近くにあるスピーカーでよろしいですか?」
このような場合、応答生成部106自身で確認応答を実行すべきと判断し、確認応答を生成して音声出力部(スピーカ)107を介して出力する。
具体的には、ユーザに対して確認を求める以下の確認応答を生成して出力する。
装置の確認応答:「あなたの近くにあるスピーカーでよろしいですか?」
この例は、応答生成部106が、発話ユーザの近くにスピーカーがあることを画像認識部262からの入力によって知り、さらに、オブジェクト関連知識ベース辞書データ264に基づいて制御可能なスピーカーが複数あることを知ったことによって生成された確認応答である。
ユーザからは「スピーカー」とのみ指定されているため、どのスピーカーなのかについて確認をしている。
ユーザからは「スピーカー」とのみ指定されているため、どのスピーカーなのかについて確認をしている。
画像認識部262が解析した画像情報より、発話ユーザの近くにスピーカーがあることが確認できたため、その結果を合わせた応答文章を出力し、ユーザへ提示する情報量を増やして、以下の確認応答を生成して出力する。
装置の確認応答:「あなたの近くにあるスピーカーでよろしいですか?」
装置の確認応答:「あなたの近くにあるスピーカーでよろしいですか?」
音声出力部107を介して上記の確認応答を聞いたユーザは(そうそう、このスピーカー)と考えることができ、その結果、新たなユーザ発話、
「うん、そうだよ」
のように回答することができる。
「うん、そうだよ」
のように回答することができる。
次に、本実施例3の変形例として、情報入力部からの入力情報に基づいて話者識別を行う構成と処理について図10以下を参照して説明する。
図10に示す情報処理装置280は、
図8を参照して説明した構成と類似する構成であるが、以下の点が異なる。
図8の画像認識部262を、図10のユーザ識別部282に変更、
図8のオブジェクト(画像)データベース263を、図10のユーザ画像データベース283に変更、
図8のオブジェクト関連知識ベース辞書データ264を、図10のユーザ情報関連知識ベース辞書データ284に変更、
これらの点が異なる。
図10に示す情報処理装置280は、
図8を参照して説明した構成と類似する構成であるが、以下の点が異なる。
図8の画像認識部262を、図10のユーザ識別部282に変更、
図8のオブジェクト(画像)データベース263を、図10のユーザ画像データベース283に変更、
図8のオブジェクト関連知識ベース辞書データ264を、図10のユーザ情報関連知識ベース辞書データ284に変更、
これらの点が異なる。
図10に示す情報処理装置280は、発話を実行するユーザの周囲の人の顔画像を画像入力部(カメラ)261からユーザ識別部282に入力する。ユーザ識別部282は、予め様々なユーザ画像が登録されたデータベースであるユーザ画像データベース283の登録情報と対比して、撮影画像に含まれる人を識別する。
応答生成部106は、ユーザ識別部282が識別したユーザ情報を入力するとともに、ユーザ情報関連知識ベース辞書データ284利用して確認応答を生成する。
本実施例の情報処理装置280の応答生成部106の生成する確認応答の具体例について説明する。
図11に示す確認応答生成例302について説明する。
図11に示す確認応答生成例302について説明する。
(確認応答生成例302)
ここでは、ユーザ発話の前段階で、ユーザと情報処理装置280による対話が行われ、今晩の食事場所を決定する処理が行われたとする。その後、図11(302)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「じゃあユウキにメールしておいて」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力され、対話制御部104は、応答生成部106に対して応答生成、出力を要求する。
ここでは、ユーザ発話の前段階で、ユーザと情報処理装置280による対話が行われ、今晩の食事場所を決定する処理が行われたとする。その後、図11(302)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「じゃあユウキにメールしておいて」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力され、対話制御部104は、応答生成部106に対して応答生成、出力を要求する。
しかし、応答生成部106は、ユーザ識別部282が識別したユーザの周囲にいる人物情報を入力し、さらに、ユーザ情報関連知識ベース辞書データ284の辞書データを参照することにより、発話ユーザの周囲に「ユウキ」がいないことを把握する。
さらに、ユーザ識別部282の識別情報と、ユーザ情報関連知識ベース辞書データ284の辞書データに基づいて、発話ユーザがパパであることを判別し、ママと娘のユウコも一緒にいることを認識する。
応答生成部106は、発話ユーザであるパパのユーザ発話:「じゃあユウキにメールしておいて」に含まれる人名「ユウキ」が、「ユウコ」さんである可能性もあると判定し、メール先が「ユウキ」さんであるか、「ユウコ」さんであるかを確認させるための確認応答を生成する。すなわち以下の確認応答である。
装置の確認応答:「ユウキくんに送りますね?ユウキさんは今ここにはいないですよね?」
装置の確認応答:「ユウキくんに送りますね?ユウキさんは今ここにはいないですよね?」
上記の確認応答の例は、応答生成部106が、ユーザ識別部282の識別情報と、ユーザ情報関連知識ベース辞書データ284の辞書データに基づいて、対話しているのはパパであり、またママと娘のユウコも一緒に画面を見ていることを認識し、発話者の意図が「ユウコ」さんなのか「ユウキ」さんなのかについての確信度が低いと判定した結果に基づく確認応答の例である。
ユーザ情報関連知識ベース辞書データ284に登録されている家族は、パパ・ママ・ユウキ(息子)・ユウコ(娘)の4人であるが、ユーザ識別部282の識別情報に基づいて、ユウコさんが今ここにいることを認識しているため、その結果を合わせて応答文章とすることにより、ユーザへ提示する情報量を増やしている。その結果、ユーザは、(そう、ユウキに送って欲しい)と考えることができ、その結果、新たなユーザ発話、
「お願いね」
のように回答することができる。
「お願いね」
のように回答することができる。
さらに、図10に示す情報処理装置280における応答生成部106は、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用することで、以下のような処理を行うこともできる。
応答生成部106は、応答文言を作成する際に発話ユーザの属性(年齢等)によって確認応答の構成を変えることができる。
具体例を図12に示す。
具体例を図12に示す。
(確認応答生成例303)
確認応答例303は、応答生成部106が、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話ユーザの年齢が低いと判断した場合の例である。
図12(303)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「金閣寺への行き方を教えて」
確認応答例303は、応答生成部106が、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話ユーザの年齢が低いと判断した場合の例である。
図12(303)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「金閣寺への行き方を教えて」
応答生成部106は、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話ユーザの年齢が低いと判断する。
この場合、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「黄金色でピカピカしている金閣寺ですか?」
ユーザの年齢が低い場合、金閣寺や銀閣寺についての詳細な知識を持っていない可能性が高い。よって、例えば「足利義満が作った」というような知識を応答文に付加しても、ユーザがそれに対する知識を持ち合わせていなければ、かえって混乱の元になってしまう。そこで、そのようなユーザに向けては誰にでもわかりやすいような知識を付加することにより、曖昧性をより確実に解消することができる。
この場合、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「黄金色でピカピカしている金閣寺ですか?」
ユーザの年齢が低い場合、金閣寺や銀閣寺についての詳細な知識を持っていない可能性が高い。よって、例えば「足利義満が作った」というような知識を応答文に付加しても、ユーザがそれに対する知識を持ち合わせていなければ、かえって混乱の元になってしまう。そこで、そのようなユーザに向けては誰にでもわかりやすいような知識を付加することにより、曖昧性をより確実に解消することができる。
(確認応答生成例304)
確認応答例304は、応答生成部106が、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話ユーザの年齢が高いと判断した場合の例である。
図12(304)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「10日に外出の予定を登録」
確認応答例304は、応答生成部106が、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話ユーザの年齢が高いと判断した場合の例である。
図12(304)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「10日に外出の予定を登録」
応答生成部106は、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話ユーザの年齢が高いと判断する。
この場合、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「10日の旗日でよろしいですか?」
この場合、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「10日の旗日でよろしいですか?」
「10日」が国民の祝日の場合、「祝日」「休みの日」「休日」などいろいろな言葉で表現することができるが、最近使われなくなった表現として「旗日」がある。ユーザの年代(や環境)によっては「旗日」の方が簡単に理解できる場合もあり、そのような場合にはその年代向けの表現を用いて応答文を生成して出力する。
(確認応答生成例305)
確認応答例305は、応答生成部106が、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話ユーザがある中学校の学生であると判断した場合の例である。
図12(305)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「学校に電話かけて」
確認応答例305は、応答生成部106が、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話ユーザがある中学校の学生であると判断した場合の例である。
図12(305)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「学校に電話かけて」
この発話からは、多数存在する学校のうち、どの学校なのかを特定することができない。また、ユーザの家族に学生が二人以上いる場合(例えば小学生と中学生等)にも、どちらの学校を指しているかを特定することができない。
応答生成部106は、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話したユーザを特定し、かつ、そのユーザが、品川中学の学生である知識を取得する。この取得知識に基づいて、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「品川中学校でよろしいですね」
応答生成部106は、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話したユーザを特定し、かつ、そのユーザが、品川中学の学生である知識を取得する。この取得知識に基づいて、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「品川中学校でよろしいですね」
このように、学校名を用いた確認応答を発話ユーザに提示することで、発話ユーザは、装置側が、ユーザ発話を正しく認識していることを容易に確認することが可能となる。
さらに、応答生成部106は、ユーザの状況や履歴に応じて、応答内容を切り替えることもできる。
具体例を図13に示す。
具体例を図13に示す。
(確認応答生成例306,307)
図13に示す確認応答例306は、発話ユーザ(家族中の属性:父親)が一人で対話している場合の応答例であり、
確認応答例307は、発話ユーザ(家族中の属性:父親)が家族とともに対話している場合の応答例である。
図13に示す確認応答例306は、発話ユーザ(家族中の属性:父親)が一人で対話している場合の応答例であり、
確認応答例307は、発話ユーザ(家族中の属性:父親)が家族とともに対話している場合の応答例である。
図13(306)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「おばあさんの家までの道路状況を教えて」
ユーザ発話:「おばあさんの家までの道路状況を教えて」
応答生成部106は、ユーザ識別部282のユーザ識別情報や、ユーザ情報関連知識ベース辞書データ284の情報を利用して、発話したユーザが父親であること、さらに、確認応答例306の場合は、発話ユーザ(家族中の属性:父親)が一人で対話していることを識別したものとする。
この場合、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「△△さん(ユーザの祖母)の家ですね?」
この場合、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「△△さん(ユーザの祖母)の家ですね?」
一方、図14に示す(307)確認応答例307は、発話ユーザ(家族中の属性:父親)が家族とともに対話していることを識別した場合の例である。
この場合、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「○○さん(ユーザの母親、ユーザの子供たちから見た祖母)の家ですね?」
この場合、応答生成部106は、以下の確認応答を生成して出力する。
装置の確認応答:「○○さん(ユーザの母親、ユーザの子供たちから見た祖母)の家ですね?」
これらの例は、ユーザ発話が「おばさん」「おばあさん」のどちらを発話したかの確信度が低い場合である。ここで、「おばあさん」という言葉が指す相手は一意ではなく、誰にとっての祖母であるかによりその対象相手が異なる。ここで、ユーザが発話している状況がユーザ一人だけの場合は、ユーザ自身の祖母であり、ユーザがその子供たちと一緒に発話している状況であれば、子供たちにとっての祖母を指す可能性が高いという判断の下に、「おばあさん」にあたると思われる人の名前を応答文に入れている。このように、ユーザの状況に応じて確認応答を切り替えることにより、その場にいる対話参加者がより容易に内容を確認することが可能となる。
次に、本実施例3の変形例として、情報入力部を例えば、温度、照度、ユーザの脈拍等を検出するセンサーを用い、センサーからの入力情報に基づいて確認応答を生成する構成と処理について図14以下を参照して説明する。
図14に示す情報処理装置290は、
図8を参照して説明した構成と類似する構成であるが、以下の点が異なる。
図8の画像入力部(カメラ)261を、図14のセンサー291に変更、
図8の画像認識部262を、図14のセンサー検出信号解析部292に変更、
図8のオブジェクト(画像)データベース263を、図14では省略、
図8のオブジェクト関連知識ベース辞書データ264を、図14のセンサー検出情報関連知識ベース辞書データ293に変更、
これらの点が異なる。
図14に示す情報処理装置290は、
図8を参照して説明した構成と類似する構成であるが、以下の点が異なる。
図8の画像入力部(カメラ)261を、図14のセンサー291に変更、
図8の画像認識部262を、図14のセンサー検出信号解析部292に変更、
図8のオブジェクト(画像)データベース263を、図14では省略、
図8のオブジェクト関連知識ベース辞書データ264を、図14のセンサー検出情報関連知識ベース辞書データ293に変更、
これらの点が異なる。
図14に示す情報処理装置290は、発話を実行するユーザやユーザの周囲の様々なオブジェクトについての状況(コンテキスト)を検出するセンサー291の検出情報をセンサー検出信号解析部292に入力する。
センサー291は、例えば、発話ユーザの部屋の温度や湿度、照度等を検出するセンサー、あるいは発話ユーザの周辺にある様々な機器の動作状況を検出するセンサー、例えばテレビやエアコンの動作状況、さらに、ユーザの体温、心拍数、脈拍等の検出センサーである。
センサー291は、例えば、発話ユーザの部屋の温度や湿度、照度等を検出するセンサー、あるいは発話ユーザの周辺にある様々な機器の動作状況を検出するセンサー、例えばテレビやエアコンの動作状況、さらに、ユーザの体温、心拍数、脈拍等の検出センサーである。
センサー検出信号解析部292は、これらのセンサーの検出信号を解析して、解析結果を応答生成部106に入力する。
応答生成部106は、センサー検出信号解析部292が解析したセンサー検出情報を入力するとともに、センサー検出情報関連知識ベース辞書データ293を利用して確認応答を生成する。
応答生成部106は、センサー検出信号解析部292が解析したセンサー検出情報を入力するとともに、センサー検出情報関連知識ベース辞書データ293を利用して確認応答を生成する。
本実施例の情報処理装置290の応答生成部106の生成する確認応答の具体例について説明する。
図15に示す確認応答生成例308について説明する。
図15に示す確認応答生成例308について説明する。
(確認応答生成例308)
以下に説明する例は、センサー291として、発話ユーザの部屋の温度を計測する温度センサーを利用した場合の例である。
センサー検出信号解析部292は、発話ーザの部屋の温度が10℃(寒い)であることを検出して、応答生成部106にこの温度情報(10℃)を入力する。
その後、図15(308)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「飲み物をください」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力され、対話制御部104は、応答生成部106に対して応答生成、出力を要求する。
以下に説明する例は、センサー291として、発話ユーザの部屋の温度を計測する温度センサーを利用した場合の例である。
センサー検出信号解析部292は、発話ーザの部屋の温度が10℃(寒い)であることを検出して、応答生成部106にこの温度情報(10℃)を入力する。
その後、図15(308)に示すように、以下の「ユーザの発話」がなされたとする。
ユーザ発話:「飲み物をください」
このようなユーザ発話があると、音声認識部102におけるテキスト変換、および意図理解部103における意図理解が行われ、意図理解結果が対話制御部104に入力され、対話制御部104は、応答生成部106に対して応答生成、出力を要求する。
ここで、応答生成部106は、センサー検出信号解析部292から入力した情報に基づいて、発話ーザの部屋の温度が10℃(寒い)であると判断して、以下のような確認応答を生成して出力する。
装置の確認応答:「ホットコーヒーでよろしいですか?それともお茶がよろしいでしょうか?」
装置の確認応答:「ホットコーヒーでよろしいですか?それともお茶がよろしいでしょうか?」
上記の確認応答の例は、ユーザに提供可能な飲み物としてコーヒー、お茶等の温かい飲み物と、牛乳、ジュースなどの冷たい飲み物がある状況において、応答生成部106が、センサー検出信号解析部292から入力した情報に基づいて、気温が10℃と低い状態であることを認識して、発話ユーザが冷たい飲み物よりも温かい飲み物を欲しがっている可能性が高いと判断する。
なお、寒い場合は、コーヒー、お茶等の温かい飲み物をを欲しがっている可能性が高く、暑い場合は牛乳、ジュースなどの冷たい飲み物を欲しがっている可能性が高いとの知識は、センサー検出情報関連知識ベース辞書データ293から取得する。
[5.(実施例4)音声出力に併せて、画像や制御信号の出力を実行する実施例について]
次に、実施例4として、音声出力に併せて、画像や制御信号の出力を実行する実施例について説明する。
次に、実施例4として、音声出力に併せて、画像や制御信号の出力を実行する実施例について説明する。
以下に説明する実施例は、ユーザに対する音声による確認応答の出力に併せて画像や制御信号の出力を実行する実施例である。
ユーザが応答の内容を容易に理解できるように、音声以外の情報を用いた構成である。
ユーザが応答の内容を容易に理解できるように、音声以外の情報を用いた構成である。
図16を参照して本実施例の情報処理装置310の構成例について説明する。
図16に示す情報処理装置310は、先に実施例1として説明した図2に示す情報処理装置220の構成に、画像出力部(モニタ)311を追加した構成である。
この情報処理装置310は、応答生成部106は、音声出力部(スピーカー)107を介して、確認応答の音声を出力するとともに、画像出力部(モニタ)311を介して、確認応答の音声に応じて説明画像を出力する。
図16に示す情報処理装置310は、先に実施例1として説明した図2に示す情報処理装置220の構成に、画像出力部(モニタ)311を追加した構成である。
この情報処理装置310は、応答生成部106は、音声出力部(スピーカー)107を介して、確認応答の音声を出力するとともに、画像出力部(モニタ)311を介して、確認応答の音声に応じて説明画像を出力する。
本実施例の情報処理装置310の応答生成部106の生成する確認応答の具体例について説明する。
図17に示す確認応答生成例401について説明する。
図17に示す確認応答生成例401について説明する。
(確認応答生成例401)
図17に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「あしたという曲をかけて」
図17に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「あしたという曲をかけて」
ここで、「あした」という曲が、複数の歌手によって歌われているとする。
すなわち、情報処理装置310は、ユーザがどの歌手の「あした」をかけてほしいかを確認する必要がある。
応答生成部106は、一般知識ベース辞書データ221のデータに基づいて、
「あした」という曲が、複数の歌手によって歌われていることを確認し、その歌手名や、CDジャケット画像等を取得する。
すなわち、情報処理装置310は、ユーザがどの歌手の「あした」をかけてほしいかを確認する必要がある。
応答生成部106は、一般知識ベース辞書データ221のデータに基づいて、
「あした」という曲が、複数の歌手によって歌われていることを確認し、その歌手名や、CDジャケット画像等を取得する。
応答生成部106は、一般知識ベース辞書データ221のデータを利用して得られた「あした」を歌っている歌手の歌手名や、CDジャケット画像等を画像出力部311に出力しながら、音声出力部107に以下の確認応答を出力する。
装置の確認応答:「どちらの『あした』を再生しましょうか?」
装置の確認応答:「どちらの『あした』を再生しましょうか?」
この例は、「あした」という曲名検索に対して、複数の曲が見つかった例である。複数の例を音声だけでユーザに伝える場合、いくつかの内容を同時に伝える必要がある。例えば、表記がひらがななのか、あるいは漢字が使われているのか、また、誰の曲なのか、を伝えなくてはならないが、音声だけで理解するのは困難である。
ここで、応答を伝えるモーダルとして画像が使える場合には、曲のタイトルやアーティスト名、ジャケット写真等を同時に表示することにより、ユーザは容易にその内容を理解することが可能となる。ただし、この場合はユーザがその画面を見ていることが前提となるため、別途センサーを用いた認識などにより、ユーザが画面を見ているか、あるいは画面を見ることができる位置にいるかどうかを判定した上で、画面を用いるか音声のみを用いるかを決定する構成とすることが好ましい。
ここで、応答を伝えるモーダルとして画像が使える場合には、曲のタイトルやアーティスト名、ジャケット写真等を同時に表示することにより、ユーザは容易にその内容を理解することが可能となる。ただし、この場合はユーザがその画面を見ていることが前提となるため、別途センサーを用いた認識などにより、ユーザが画面を見ているか、あるいは画面を見ることができる位置にいるかどうかを判定した上で、画面を用いるか音声のみを用いるかを決定する構成とすることが好ましい。
さらに、本実施例の変形例として、応答生成部106が、確認応答の出力に併せて外部機器に対する制御信号を出力する例について説明する。
図18を参照して本実施例の情報処理装置320の構成例について説明する。
図18に示す情報処理装置320は、先に実施例3として説明した図8に示す情報処理装置260の構成をベースとしており、応答生成部106が音声出力部(スピーカー)107を介した音声出力を実行するのみならず、外部機器321に対する制御信号を出力する構成としたものである。
図18を参照して本実施例の情報処理装置320の構成例について説明する。
図18に示す情報処理装置320は、先に実施例3として説明した図8に示す情報処理装置260の構成をベースとしており、応答生成部106が音声出力部(スピーカー)107を介した音声出力を実行するのみならず、外部機器321に対する制御信号を出力する構成としたものである。
この情報処理装置310は、応答生成部106は、音声出力部(スピーカー)107を介して、確認応答の音声を出力するとともに、外部機器321に対する制御信号を出力して、外部機器321を制御する。
本実施例の情報処理装置320の応答生成部106の生成する確認応答の具体例について説明する。
図19に示す確認応答生成例402について説明する。
図19に示す確認応答生成例402について説明する。
(確認応答生成例402)
図19(402)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「スピーカーから音楽を再生して」
図19(402)に示すように、例えば以下のような、「ユーザの発話」がなされたとする。
ユーザ発話:「スピーカーから音楽を再生して」
ここで、発話ユーザの周囲には、複数のスピーカーがあるとする。
すなわち、情報処理装置320は、ユーザ周囲のどのスピーカーを利用して音楽再生を行うかを確認する必要がある。
応答生成部106は、画像認識部262から入力する複数のスピーカーの位置情報と、オブジェクト関連知識ベース辞書データから、各スピーカーに対する制御信号の出力態様情報を取得する。
すなわち、情報処理装置320は、ユーザ周囲のどのスピーカーを利用して音楽再生を行うかを確認する必要がある。
応答生成部106は、画像認識部262から入力する複数のスピーカーの位置情報と、オブジェクト関連知識ベース辞書データから、各スピーカーに対する制御信号の出力態様情報を取得する。
さらに、応答生成部106は、取得した情報を利用して、例えば、まず、ユーザに一番近いスピーカー(外部機器)のLEDを点滅させる制御信号をそのスピーカー(外部機器)に出力して、LEDを点滅させながら、音声出力部107を介して以下の確認応答を出力する。
装置の確認応答:「こちらのスピーカーでよろしいですか?」
装置の確認応答:「こちらのスピーカーでよろしいですか?」
この例は、ユーザ周囲には複数のスピーカーがあるが、ユーザからは「スピーカー」とのみ指定されているため、どのスピーカーなのかについて確認をするための確認応答である。
応答生成部106は、画像情報に基づいて、発話ユーザの近くにスピーカーがあることが確認できたため、そのスピーカーに対してLED点滅制御信号を出力し、確認応答に含まれる「こちらのスピーカー」がどのスピーカーであるかをユーザに確実に認識させることが可能となる。
その結果、ユーザは(そうそう、このスピーカー)と考えることができ、
「うん、そうだよ」
のように回答することができる。
「うん、そうだよ」
のように回答することができる。
ただし、この場合はユーザがそのスピーカーの近くにいることが前提となるため、別途センサーを用いた認識などにより、ユーザがスピーカーの近くにいるか、あるいはスピーカーを見ることができる位置にいるかどうかを判定した上で、最適な処理を行うように制御することが好ましい。
また、応答生成部106は、さらに例えばセンサーによる認識・識別結果を入力して、応答や制御信号の出力態様をセンサーによる認識・識別結果に応じて変更する構成としてもよい。
また、応答生成部106は、さらに例えばセンサーによる認識・識別結果を入力して、応答や制御信号の出力態様をセンサーによる認識・識別結果に応じて変更する構成としてもよい。
[6.(実施例5)対話履歴に基づいて、確認応答を生成する実施例について]
次に、対話履歴に基づいて、確認応答を生成する実施例について説明する。
次に説明する実施例は、上述した実施例1~4のいずれにおいても利用可能な実施例であり、対話履歴に基づいて、確認応答を生成する実施例である。
次に、対話履歴に基づいて、確認応答を生成する実施例について説明する。
次に説明する実施例は、上述した実施例1~4のいずれにおいても利用可能な実施例であり、対話履歴に基づいて、確認応答を生成する実施例である。
図20を参照して本実施例の応答生成部106の生成する確認応答の具体例について説明する。
図20には、最終的な装置の確認応答の前に、ユーザと装置間で以下の対話が行われた例を示している。
ユーザ発話:「横浜で遊べるところを教えて」
装置応答:「横浜みなとみらいに横浜コスモワールドという遊園地がありますよ」
ユーザ発話:「横浜みなとみらいのレストランを探して」
装置応答:「例えば、ランドマークタワーの中にいくつかレストランがありますよ。詳細をお知らせしましょうか?」
ユーザ発話:「港南区の地図を見せて」
図20には、最終的な装置の確認応答の前に、ユーザと装置間で以下の対話が行われた例を示している。
ユーザ発話:「横浜で遊べるところを教えて」
装置応答:「横浜みなとみらいに横浜コスモワールドという遊園地がありますよ」
ユーザ発話:「横浜みなとみらいのレストランを探して」
装置応答:「例えば、ランドマークタワーの中にいくつかレストランがありますよ。詳細をお知らせしましょうか?」
ユーザ発話:「港南区の地図を見せて」
ここで、「こうなん」という発話に対して、愛知県江南市、高知県香南市、横浜市港南区、新潟市江南区といった候補があり、一意に決められるだけの確信度がないものとする。
しかし、応答生成部106は、この発話以前に、横浜に関する対話を続けていたことにより、その履歴から横浜市港南区である可能性が高いと判断する。
そこで、応答生成部106は、『横浜の』を付与した確認応答、すなわち、以下の確認応答を生成して出力する。
装置確認応答:「横浜の港南区でよろしいですか?」
しかし、応答生成部106は、この発話以前に、横浜に関する対話を続けていたことにより、その履歴から横浜市港南区である可能性が高いと判断する。
そこで、応答生成部106は、『横浜の』を付与した確認応答、すなわち、以下の確認応答を生成して出力する。
装置確認応答:「横浜の港南区でよろしいですか?」
このような対話履歴に基づく付加情報(横浜の)を追加して確認応答を行うことで、ユーザは装置が正しく場所を認識したことを確認できる。
なお、図2~図20を参照して、本開示の情報処理装置の構成と処理の複数の例について説明したが、これらの各実施例は、任意の複数の実施例を組み合わせた構成とすることが可能である。さらに、以下において説明するように、図2他に示す情報処理装置の機能や処理は、複数の装置に分散させた構成とすることも可能である。
[7.情報処理装置、および情報処理システムの構成例について]
複数の実施例について説明したが、これらの実施例において説明した例えば、図2他に示す情報処理装置の各処理機能は、すべて一つの装置、例えばユーザの所有するスマホやPC等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。
複数の実施例について説明したが、これらの実施例において説明した例えば、図2他に示す情報処理装置の各処理機能は、すべて一つの装置、例えばユーザの所有するスマホやPC等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。
図21にシステム構成例を示す。
図21(1)情報処理システム構成例1は、図2他に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやPC、あるいは音声の入出力と画像の入出力機能を持つエージェント機器等のユーザ端末である情報処理装置410内に構成した例である。
ユーザ端末に相当する情報処理装置410は、例えば応答文生成時に外部アプリを利用する場合にのみ、アプリ実行サーバ420と通信を実行する。
図21(1)情報処理システム構成例1は、図2他に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやPC、あるいは音声の入出力と画像の入出力機能を持つエージェント機器等のユーザ端末である情報処理装置410内に構成した例である。
ユーザ端末に相当する情報処理装置410は、例えば応答文生成時に外部アプリを利用する場合にのみ、アプリ実行サーバ420と通信を実行する。
一方、図21(2)情報処理システム構成例2は、図2他に示す情報処理装置の機能の一部をユーザの所有するスマホやPC、エージェント機器等のユーザ端末である情報処理装置410内に構成し、一部を情報処理装置と通信可能なデータ処理サーバ460において実行する構成としたシステム例である。
例えば、図2に示す装置中の音声入力部101、音声出力部102のみ、あるいはこれらに画像入出力部や応答生成部106を含む機能のみをユーザ端末側の情報処理装置410側に設け、その他の機能をすべてサーバ側で実行するといった構成等が可能である。
例えば、図2に示す装置中の音声入力部101、音声出力部102のみ、あるいはこれらに画像入出力部や応答生成部106を含む機能のみをユーザ端末側の情報処理装置410側に設け、その他の機能をすべてサーバ側で実行するといった構成等が可能である。
[8.情報処理装置のハードウェア構成例について]
次に、図22を参照して、情報処理装置のハードウェア構成例について説明する。
図22を参照して説明するハードウェアは、先に図2他を参照して説明した情報処理装置のハードウェア構成例であり、また、図21を参照して説明したデータ処理サーバ460を構成する情報処理装置のハードウェア構成の一例である。
次に、図22を参照して、情報処理装置のハードウェア構成例について説明する。
図22を参照して説明するハードウェアは、先に図2他を参照して説明した情報処理装置のハードウェア構成例であり、また、図21を参照して説明したデータ処理サーバ460を構成する情報処理装置のハードウェア構成の一例である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホン、センサーなどよりなる入力部506、ディスプレイ、スピーカーなどよりなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
[9.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記確認応答生成部は、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理装置。
(1) ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記確認応答生成部は、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理装置。
(2) 前記確認応答生成部は、
一般知識ベース辞書データから取得した一般知識によって構成される付加情報を用いた確認応答の生成を実行する(1)に記載の情報処理装置。
一般知識ベース辞書データから取得した一般知識によって構成される付加情報を用いた確認応答の生成を実行する(1)に記載の情報処理装置。
(3) 前記一般知識は日付の読み方情報、またはカレンダー情報の少なくともいずれかである(2)に記載の情報処理装置。
(4) 前記一般知識は歴史情報、または組織情報の少なくともいずれかである(2)に記載の情報処理装置。
(5) 前記確認応答生成部は、
アプリケーション実行部において実行されるアプリケーションから得られる情報を用いた確認応答の生成を実行する(1)~(4)いずれかに記載の情報処理装置。
アプリケーション実行部において実行されるアプリケーションから得られる情報を用いた確認応答の生成を実行する(1)~(4)いずれかに記載の情報処理装置。
(6) 前記アプリケーション実行部において実行されるアプリケーションはスケジュール登録アプリケーションであり、
前記確認応答生成部は、
前記スケジュール登録アプリケーションから得られる発話ユーザのスケジュール情報を用いた確認応答の生成を実行する(5)に記載の情報処理装置。
前記確認応答生成部は、
前記スケジュール登録アプリケーションから得られる発話ユーザのスケジュール情報を用いた確認応答の生成を実行する(5)に記載の情報処理装置。
(7) 前記アプリケーション実行部において実行されるアプリケーションは知人登録アプリケーションであり、
前記確認応答生成部は、
前記知人登録アプリケーションから得られる発話ユーザの知人情報を用いた確認応答の生成を実行する(5)に記載の情報処理装置。
前記確認応答生成部は、
前記知人登録アプリケーションから得られる発話ユーザの知人情報を用いた確認応答の生成を実行する(5)に記載の情報処理装置。
(8) 前記情報処理装置は、さらに、
前記発話ユーザの周辺画像を撮影する画像入力部、または前記発話ユーザの周辺情報を入力するセンサーを有し、
前記確認応答生成部は、
前記画像入力部からの入力画像、またはセンサー検出情報を解析し、解析結果から得られる情報を用いた確認応答を生成する(1)~(7)いずれかに記載の情報処理装置。
前記発話ユーザの周辺画像を撮影する画像入力部、または前記発話ユーザの周辺情報を入力するセンサーを有し、
前記確認応答生成部は、
前記画像入力部からの入力画像、またはセンサー検出情報を解析し、解析結果から得られる情報を用いた確認応答を生成する(1)~(7)いずれかに記載の情報処理装置。
(9) 前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人または物を識別して、識別結果を用いた確認応答を生成する(8)に記載の情報処理装置。
前記画像入力部からの入力画像に含まれる人または物を識別して、識別結果を用いた確認応答を生成する(8)に記載の情報処理装置。
(10) 前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の属性を識別して、識別属性に応じた確認応答の生成を実行する(8)または(9)に記載の情報処理装置。
前記画像入力部からの入力画像に含まれる人の属性を識別して、識別属性に応じた確認応答の生成を実行する(8)または(9)に記載の情報処理装置。
(11) 前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の年齢を識別して、識別年令に応じた確認応答の生成を実行する(8)~(10)いずれかに記載の情報処理装置。
前記画像入力部からの入力画像に含まれる人の年齢を識別して、識別年令に応じた確認応答の生成を実行する(8)~(10)いずれかに記載の情報処理装置。
(12) 前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の構成を識別して、識別した人の構成に応じた確認応答の生成を実行する(8)~(11)いずれかに記載の情報処理装置。
前記画像入力部からの入力画像に含まれる人の構成を識別して、識別した人の構成に応じた確認応答の生成を実行する(8)~(11)いずれかに記載の情報処理装置。
(13) 前記確認応答生成部は、
確認応答の音声出力に併せて、確認応答のための画像を生成して画像出力部に出力する(1)~(12)いずれかに記載の情報処理装置。
確認応答の音声出力に併せて、確認応答のための画像を生成して画像出力部に出力する(1)~(12)いずれかに記載の情報処理装置。
(14) 前記確認応答生成部は、
確認応答の音声出力に併せて、確認応答のための機器制御信号を生成して、制御対象となる外部機器に出力する(1)~(13)いずれかに記載の情報処理装置。
確認応答の音声出力に併せて、確認応答のための機器制御信号を生成して、制御対象となる外部機器に出力する(1)~(13)いずれかに記載の情報処理装置。
(15) 前記確認応答生成部は、
対話履歴情報に基づく確認応答生成処理を実行する(1)~(14)いずれかに記載の情報処理装置。
対話履歴情報に基づく確認応答生成処理を実行する(1)~(14)いずれかに記載の情報処理装置。
(16) 前記情報処理装置は、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行する対話制御部を有し、
前記対話制御部は、
前記意図理解部の生成した意図理解結果に基づいて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を行うか否かを判定し、
前記確認応答生成部は、
前記対話制御部において確認応答を行うとの判定がなされた場合に、確認応答の生成処理を実行する(1)~(15)いずれかに記載の情報処理装置。
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行する対話制御部を有し、
前記対話制御部は、
前記意図理解部の生成した意図理解結果に基づいて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を行うか否かを判定し、
前記確認応答生成部は、
前記対話制御部において確認応答を行うとの判定がなされた場合に、確認応答の生成処理を実行する(1)~(15)いずれかに記載の情報処理装置。
(17) ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記データ処理サーバは、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行するとともに、意図理解結果に基づいて前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末の確認応答生成部に対して確認応答生成命令を出力する対話制御部を有し、
前記ユーザ端末の前記確認応答生成部は、
前記データ処理サーバからの確認応答生成命令入力に応じて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理システム。
前記ユーザ端末は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記データ処理サーバは、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行するとともに、意図理解結果に基づいて前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末の確認応答生成部に対して確認応答生成命令を出力する対話制御部を有し、
前記ユーザ端末の前記確認応答生成部は、
前記データ処理サーバからの確認応答生成命令入力に応じて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理システム。
(18) 情報処理装置において実行する情報処理方法であり、
音声入力部が、ユーザ発話を入力する音声入力ステップと、
確認応答生成部が、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成ステップと、
音声出力部が、前記確認応答生成ステップで生成した確認応答を出力する音声出力ステップを実行し、
前記確認応答生成ステップにおいて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理方法。
音声入力部が、ユーザ発話を入力する音声入力ステップと、
確認応答生成部が、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成ステップと、
音声出力部が、前記確認応答生成ステップで生成した確認応答を出力する音声出力ステップを実行し、
前記確認応答生成ステップにおいて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理方法。
(19) ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記音声入力処理において入力された入力音声の音声認識処理と、
前記音声認識処理の生成した音声認識結果に基づく意図理解処理と、
前記意図理解処理の意図理解結果に基づいて、前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末に対して確認応答生成命令を出力し、
前記ユーザ端末が、
前記データ処理サーバからの確認応答生成命令入力に応じて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成処理を実行し、
前記確認応答生成処理において、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成処理を実行する情報処理方法。
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記音声入力処理において入力された入力音声の音声認識処理と、
前記音声認識処理の生成した音声認識結果に基づく意図理解処理と、
前記意図理解処理の意図理解結果に基づいて、前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末に対して確認応答生成命令を出力し、
前記ユーザ端末が、
前記データ処理サーバからの確認応答生成命令入力に応じて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成処理を実行し、
前記確認応答生成処理において、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成処理を実行する情報処理方法。
(20) 情報処理装置において情報処理を実行させるプログラムであり、
音声入力部に、ユーザ発話を入力させる音声入力ステップと、
確認応答生成部に、前記ユーザ発話に対する発話ユーザの確認を求めるための確認応答を生成させる確認応答生成ステップと、
音声出力部に、前記確認応答を出力させる音声出力ステップを実行させ、
前記確認応答生成ステップにおいては、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行させるプログラム。
音声入力部に、ユーザ発話を入力させる音声入力ステップと、
確認応答生成部に、前記ユーザ発話に対する発話ユーザの確認を求めるための確認応答を生成させる確認応答生成ステップと、
音声出力部に、前記確認応答を出力させる音声出力ステップを実行させ、
前記確認応答生成ステップにおいては、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
具体的には、例えば、ユーザ発話を入力する音声入力部と、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、確認応答生成部の生成した確認応答を出力する音声出力部を有し、確認応答生成部は、辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。例えば、一般知識ベース辞書データや、アプリケーションの実行結果、あるいは、撮影画像やセンサー等から得られる情報を用いた確認応答を生成する。
本構成により、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
具体的には、例えば、ユーザ発話を入力する音声入力部と、ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、確認応答生成部の生成した確認応答を出力する音声出力部を有し、確認応答生成部は、辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する。例えば、一般知識ベース辞書データや、アプリケーションの実行結果、あるいは、撮影画像やセンサー等から得られる情報を用いた確認応答を生成する。
本構成により、ユーザ発話に対する確認応答を生成する際に、辞書データやアプリケーション実行結果から取得される付加情報を追加することで誤解が生じる可能性を低減した確認応答を生成する構成が実現される。
100 情報処理装置
101 音声入力部(マイク)
102 音声認識部
103 意図理解部
104 対話制御部
105 アプリ実行部
106 応答生成部
107 音声出力部(スピーカ)
220,240,260,280,290,310,320 情報処理装置
221 一般知識ベース辞書データ
241 アプリ実行部
261 画像入力部(カメラ)
262 画像認識部
263 オブジェクト(画像)データベース
264 オブジェクト関連知識ベース辞書データ
281 画像入力部(カメラ)
282 ユーザ識別部
283 ユーザ画像データベース
284 ユーザ情報関連知識ベース辞書データ
291 センサー
292 センサー検出信号解析部
293 センサー検出情報関連知識ベース辞書データ
311 画像出力部(モニタ)
321 外部機器
410 情報処理装置
420 アプリ実行サーサーバ
460 データ処理サーバ
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
101 音声入力部(マイク)
102 音声認識部
103 意図理解部
104 対話制御部
105 アプリ実行部
106 応答生成部
107 音声出力部(スピーカ)
220,240,260,280,290,310,320 情報処理装置
221 一般知識ベース辞書データ
241 アプリ実行部
261 画像入力部(カメラ)
262 画像認識部
263 オブジェクト(画像)データベース
264 オブジェクト関連知識ベース辞書データ
281 画像入力部(カメラ)
282 ユーザ識別部
283 ユーザ画像データベース
284 ユーザ情報関連知識ベース辞書データ
291 センサー
292 センサー検出信号解析部
293 センサー検出情報関連知識ベース辞書データ
311 画像出力部(モニタ)
321 外部機器
410 情報処理装置
420 アプリ実行サーサーバ
460 データ処理サーバ
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
Claims (20)
- ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記確認応答生成部は、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理装置。 - 前記確認応答生成部は、
一般知識ベース辞書データから取得した一般知識によって構成される付加情報を用いた確認応答の生成を実行する請求項1に記載の情報処理装置。 - 前記一般知識は日付の読み方情報、またはカレンダー情報の少なくともいずれかである請求項2に記載の情報処理装置。
- 前記一般知識は歴史情報、または組織情報の少なくともいずれかである請求項2に記載の情報処理装置。
- 前記確認応答生成部は、
アプリケーション実行部において実行されるアプリケーションから得られる情報を用いた確認応答の生成を実行する請求項1に記載の情報処理装置。 - 前記アプリケーション実行部において実行されるアプリケーションはスケジュール登録アプリケーションであり、
前記確認応答生成部は、
前記スケジュール登録アプリケーションから得られる発話ユーザのスケジュール情報を用いた確認応答の生成を実行する請求項5に記載の情報処理装置。 - 前記アプリケーション実行部において実行されるアプリケーションは知人登録アプリケーションであり、
前記確認応答生成部は、
前記知人登録アプリケーションから得られる発話ユーザの知人情報を用いた確認応答の生成を実行する請求項5に記載の情報処理装置。 - 前記情報処理装置は、さらに、
前記発話ユーザの周辺画像を撮影する画像入力部、または前記発話ユーザの周辺情報を入力するセンサーを有し、
前記確認応答生成部は、
前記画像入力部からの入力画像、またはセンサー検出情報を解析し、解析結果から得られる情報を用いた確認応答を生成する請求項1に記載の情報処理装置。 - 前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人または物を識別して、識別結果を用いた確認応答を生成する請求項8に記載の情報処理装置。 - 前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の属性を識別して、識別属性に応じた確認応答の生成を実行する請求項8に記載の情報処理装置。 - 前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の年齢を識別して、識別年令に応じた確認応答の生成を実行する請求項8に記載の情報処理装置。 - 前記確認応答生成部は、
前記画像入力部からの入力画像に含まれる人の構成を識別して、識別した人の構成に応じた確認応答の生成を実行する請求項8に記載の情報処理装置。 - 前記確認応答生成部は、
確認応答の音声出力に併せて、確認応答のための画像を生成して画像出力部に出力する請求項1に記載の情報処理装置。 - 前記確認応答生成部は、
確認応答の音声出力に併せて、確認応答のための機器制御信号を生成して、制御対象となる外部機器に出力する請求項1に記載の情報処理装置。 - 前記確認応答生成部は、
対話履歴情報に基づく確認応答生成処理を実行する請求項1に記載の情報処理装置。 - 前記情報処理装置は、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行する対話制御部を有し、
前記対話制御部は、
前記意図理解部の生成した意図理解結果に基づいて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を行うか否かを判定し、
前記確認応答生成部は、
前記対話制御部において確認応答を行うとの判定がなされた場合に、確認応答の生成処理を実行する請求項1に記載の情報処理装置。 - ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部と、
前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成部と、
前記確認応答生成部の生成した確認応答を出力する音声出力部を有し、
前記データ処理サーバは、
前記音声入力部の入力音声の認識処理を実行する音声認識部と、
前記音声認識部の認識結果に基づく意図理解処理を実行する意図理解部と、
前記意図理解部の生成した意図理解結果に基づく対話制御処理を実行するとともに、意図理解結果に基づいて前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末の確認応答生成部に対して確認応答生成命令を出力する対話制御部を有し、
前記ユーザ端末の前記確認応答生成部は、
前記データ処理サーバからの確認応答生成命令入力に応じて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理システム。 - 情報処理装置において実行する情報処理方法であり、
音声入力部が、ユーザ発話を入力する音声入力ステップと、
確認応答生成部が、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成ステップと、
音声出力部が、前記確認応答生成ステップで生成した確認応答を出力する音声出力ステップを実行し、
前記確認応答生成ステップにおいて、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行する情報処理方法。 - ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記音声入力処理において入力された入力音声の音声認識処理と、
前記音声認識処理の生成した音声認識結果に基づく意図理解処理と、
前記意図理解処理の意図理解結果に基づいて、前記ユーザ発話に対する確認応答が必要か否か判定し、確認応答が必要と判定した場合、前記ユーザ端末に対して確認応答生成命令を出力し、
前記ユーザ端末が、
前記データ処理サーバからの確認応答生成命令入力に応じて、前記ユーザ発話に対する発話ユーザの確認を求める確認応答を生成する確認応答生成処理を実行し、
前記確認応答生成処理において、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成処理を実行する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
音声入力部に、ユーザ発話を入力させる音声入力ステップと、
確認応答生成部に、前記ユーザ発話に対する発話ユーザの確認を求めるための確認応答を生成させる確認応答生成ステップと、
音声出力部に、前記確認応答を出力させる音声出力ステップを実行させ、
前記確認応答生成ステップにおいては、
辞書データ、またはアプリケーション実行結果の少なくともいずれかから得られる付加情報を用いた確認応答の生成を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18890607.7A EP3588492A4 (en) | 2017-12-22 | 2018-10-05 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM |
JP2019527566A JP7276129B2 (ja) | 2017-12-22 | 2018-10-05 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
US16/477,289 US11328716B2 (en) | 2017-12-22 | 2018-10-05 | Information processing device, information processing system, and information processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-245693 | 2017-12-22 | ||
JP2017245693 | 2017-12-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019123775A1 true WO2019123775A1 (ja) | 2019-06-27 |
Family
ID=66992550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/037347 WO2019123775A1 (ja) | 2017-12-22 | 2018-10-05 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11328716B2 (ja) |
EP (1) | EP3588492A4 (ja) |
JP (1) | JP7276129B2 (ja) |
WO (1) | WO2019123775A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11861521B2 (en) | 2021-12-21 | 2024-01-02 | PolyAI Limited | System and method for identification and verification |
JP7441142B2 (ja) | 2020-08-28 | 2024-02-29 | 株式会社Nttドコモ | 管理装置、及び見守りシステム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10271093B1 (en) * | 2016-06-27 | 2019-04-23 | Amazon Technologies, Inc. | Systems and methods for routing content to an associated output device |
CN108600911B (zh) * | 2018-03-30 | 2021-05-18 | 联想(北京)有限公司 | 一种输出方法及电子设备 |
JP2022521040A (ja) * | 2019-02-25 | 2022-04-05 | フォルシアクラリオン・エレクトロニクス株式会社 | ハイブリッド音声対話システム及びハイブリッド音声対話方法 |
US20240073518A1 (en) * | 2022-08-25 | 2024-02-29 | Rovi Guides, Inc. | Systems and methods to supplement digital assistant queries and filter results |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205430A (ja) * | 1998-01-20 | 1999-07-30 | Kobe Steel Ltd | 音声ダイアル機能付き電話機 |
JPH11249689A (ja) * | 1998-03-04 | 1999-09-17 | Mitsubishi Electric Corp | 音声認識装置および地図表示装置 |
JP2004310034A (ja) * | 2003-03-24 | 2004-11-04 | Matsushita Electric Works Ltd | 対話エージェントシステム |
JP2006018028A (ja) * | 2004-07-01 | 2006-01-19 | Nippon Telegr & Teleph Corp <Ntt> | 対話方法、対話装置、音声対話装置、対話プログラム、音声対話プログラム及び記録媒体 |
JP2010197709A (ja) * | 2009-02-25 | 2010-09-09 | Nec Corp | 音声認識応答方法、音声認識応答システム、及びそのプログラム |
JP2011054088A (ja) | 2009-09-04 | 2011-03-17 | National Institute Of Information & Communication Technology | 情報処理装置、情報処理方法、プログラム及び対話システム |
WO2014024751A1 (ja) * | 2012-08-10 | 2014-02-13 | エイディシーテクノロジー株式会社 | 音声応答装置 |
WO2017199486A1 (ja) * | 2016-05-16 | 2017-11-23 | ソニー株式会社 | 情報処理装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5918222A (en) * | 1995-03-17 | 1999-06-29 | Kabushiki Kaisha Toshiba | Information disclosing apparatus and multi-modal information input/output system |
JP3994368B2 (ja) * | 2000-01-25 | 2007-10-17 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに記録媒体 |
US7167832B2 (en) * | 2001-10-15 | 2007-01-23 | At&T Corp. | Method for dialog management |
CA2499305A1 (en) * | 2005-03-04 | 2006-09-04 | 668158 B.C. Ltd. | Method and apparatus for providing geographically targeted information and advertising |
JP2011209787A (ja) * | 2010-03-29 | 2011-10-20 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
US9026441B2 (en) * | 2012-02-29 | 2015-05-05 | Nant Holdings Ip, Llc | Spoken control for user construction of complex behaviors |
US9575963B2 (en) * | 2012-04-20 | 2017-02-21 | Maluuba Inc. | Conversational agent |
JP6251958B2 (ja) | 2013-01-28 | 2017-12-27 | 富士通株式会社 | 発話解析装置、音声対話制御装置、方法、及びプログラム |
AU2014233517B2 (en) * | 2013-03-15 | 2017-05-25 | Apple Inc. | Training an at least partial voice command system |
US9189742B2 (en) * | 2013-11-20 | 2015-11-17 | Justin London | Adaptive virtual intelligent agent |
JP6540414B2 (ja) * | 2015-09-17 | 2019-07-10 | 本田技研工業株式会社 | 音声処理装置および音声処理方法 |
WO2017112813A1 (en) * | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
US10332513B1 (en) * | 2016-06-27 | 2019-06-25 | Amazon Technologies, Inc. | Voice enablement and disablement of speech processing functionality |
US11436541B2 (en) * | 2017-02-02 | 2022-09-06 | Microsoft Technology Licensing, Llc | Macrotask execution for digital assistant devices |
US10089981B1 (en) * | 2017-03-09 | 2018-10-02 | Amazon Technologies, Inc. | Messaging account disambiguation |
KR102363794B1 (ko) * | 2017-03-31 | 2022-02-16 | 삼성전자주식회사 | 정보 제공 방법 및 이를 지원하는 전자 장치 |
-
2018
- 2018-10-05 WO PCT/JP2018/037347 patent/WO2019123775A1/ja unknown
- 2018-10-05 JP JP2019527566A patent/JP7276129B2/ja active Active
- 2018-10-05 US US16/477,289 patent/US11328716B2/en active Active
- 2018-10-05 EP EP18890607.7A patent/EP3588492A4/en not_active Ceased
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11205430A (ja) * | 1998-01-20 | 1999-07-30 | Kobe Steel Ltd | 音声ダイアル機能付き電話機 |
JPH11249689A (ja) * | 1998-03-04 | 1999-09-17 | Mitsubishi Electric Corp | 音声認識装置および地図表示装置 |
JP2004310034A (ja) * | 2003-03-24 | 2004-11-04 | Matsushita Electric Works Ltd | 対話エージェントシステム |
JP2006018028A (ja) * | 2004-07-01 | 2006-01-19 | Nippon Telegr & Teleph Corp <Ntt> | 対話方法、対話装置、音声対話装置、対話プログラム、音声対話プログラム及び記録媒体 |
JP2010197709A (ja) * | 2009-02-25 | 2010-09-09 | Nec Corp | 音声認識応答方法、音声認識応答システム、及びそのプログラム |
JP2011054088A (ja) | 2009-09-04 | 2011-03-17 | National Institute Of Information & Communication Technology | 情報処理装置、情報処理方法、プログラム及び対話システム |
WO2014024751A1 (ja) * | 2012-08-10 | 2014-02-13 | エイディシーテクノロジー株式会社 | 音声応答装置 |
WO2017199486A1 (ja) * | 2016-05-16 | 2017-11-23 | ソニー株式会社 | 情報処理装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3588492A4 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441142B2 (ja) | 2020-08-28 | 2024-02-29 | 株式会社Nttドコモ | 管理装置、及び見守りシステム |
US11861521B2 (en) | 2021-12-21 | 2024-01-02 | PolyAI Limited | System and method for identification and verification |
Also Published As
Publication number | Publication date |
---|---|
EP3588492A4 (en) | 2020-04-29 |
JP7276129B2 (ja) | 2023-05-18 |
EP3588492A1 (en) | 2020-01-01 |
US11328716B2 (en) | 2022-05-10 |
US20190378508A1 (en) | 2019-12-12 |
JPWO2019123775A1 (ja) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019123775A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
US11887590B2 (en) | Voice enablement and disablement of speech processing functionality | |
US11915684B2 (en) | Method and electronic device for translating speech signal | |
US9824687B2 (en) | System and terminal for presenting recommended utterance candidates | |
JP6357458B2 (ja) | 音声合成における同綴異音異義語の曖昧さの解消 | |
US20240153501A1 (en) | Voice to voice natural language understanding processing | |
WO2019098038A1 (ja) | 情報処理装置、及び情報処理方法 | |
US10672379B1 (en) | Systems and methods for selecting a recipient device for communications | |
US10599469B2 (en) | Methods to present the context of virtual assistant conversation | |
US11776541B2 (en) | Communicating announcements | |
US10699706B1 (en) | Systems and methods for device communications | |
WO2020105302A1 (ja) | 応答生成装置、応答生成方法及び応答生成プログラム | |
WO2019026617A1 (ja) | 情報処理装置、及び情報処理方法 | |
WO2019031268A1 (ja) | 情報処理装置、及び情報処理方法 | |
WO2016136207A1 (ja) | 音声対話装置、音声対話システム、音声対話装置の制御方法、および、プログラム | |
EP3893087A1 (en) | Response processing device, response processing method, and response processing program | |
US12033627B2 (en) | Response generation device and response generation method | |
WO2019138652A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
WO2019163242A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
US10841411B1 (en) | Systems and methods for establishing a communications session | |
WO2019150708A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
WO2021144930A1 (ja) | データ入力支援装置 | |
US20220108693A1 (en) | Response processing device and response processing method | |
US20200357385A1 (en) | Information processing apparatus and information processing method | |
Hofmann | Intuitive speech interface technology for information exchange tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2019527566 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18890607 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018890607 Country of ref document: EP Effective date: 20190923 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |