WO2019163242A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2019163242A1 WO2019163242A1 PCT/JP2018/044016 JP2018044016W WO2019163242A1 WO 2019163242 A1 WO2019163242 A1 WO 2019163242A1 JP 2018044016 W JP2018044016 W JP 2018044016W WO 2019163242 A1 WO2019163242 A1 WO 2019163242A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- user utterance
- information processing
- utterance
- data
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 272
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims abstract description 100
- 238000012545 processing Methods 0.000 claims description 283
- 230000008569 process Effects 0.000 claims description 92
- 230000004044 response Effects 0.000 claims description 80
- 238000011156 evaluation Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 description 56
- 230000006870 function Effects 0.000 description 16
- 239000000470 constituent Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000005611 electricity Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Definitions
- the present disclosure relates to an information processing apparatus, an information processing system, an information processing method, and a program. More specifically, the present invention relates to an information processing apparatus, an information processing system, an information processing method, and a program that perform processing corresponding to erroneous recognition of a user utterance.
- the weather information is acquired from the weather information providing server, a system response based on the acquired information is generated, and the generated response is output from the speaker.
- System utterance “Tomorrow's weather is sunny. However, there may be a thunderstorm in the evening.” Such a system utterance is output.
- the voice recognition system does not always recognize the user's utterance 100% accurately, and erroneous recognition may occur. If the system misrecognizes a user's utterance, the system may perform a process or response different from the user's request. For example, the following documents are disclosed as related arts that disclose processing for erroneous recognition of user utterances.
- Patent Document 1 Japanese Patent Application Laid-Open No. 2011-158902 discloses a method in which when a recognition result is wrong on the system side, the user side informs the system that the mistake has been made by uttering, and the system side corrects this in response to this indication. Disclosure. Patent Document 2 (Japanese Patent Laid-Open No. 2006-146008) and Patent Document 3 (Japanese Patent Laid-Open No. 2014-48506) display a plurality of candidate data obtained as a voice recognition result on the screen and display them by the user. A configuration is disclosed in which erroneous recognition is prevented by selecting data corresponding to a user utterance from the data.
- All of these conventional techniques require some user operation to correct or reduce misrecognition. That is, additional processing by the user, such as an utterance such as a correction request from the user for erroneous recognition, data selection by the user, and the like is required. In such a setting, the conversation between the system and the user is interrupted, and the conversation cannot be smoothly performed. In addition, if the user does not immediately notice the erroneous recognition, the correction timing may be missed.
- the present disclosure has been made in view of the above problems, for example, and an information processing apparatus and information that can detect and respond to erroneous recognition of a user's utterance on the system side without causing a load on the user It is an object to provide a processing system, an information processing method, and a program.
- the first aspect of the present disclosure is: A voice recognition unit that executes voice recognition processing of user utterances; An information processing apparatus having a learning processing unit that executes an update process of confidence level, which is an evaluation value indicating the likelihood of the speech recognition result of the user utterance, based on a dialogue between the user and the information processing apparatus after the user utterance is there.
- the second aspect of the present disclosure is: An information processing system having a user terminal and a data processing server,
- the user terminal is A voice input unit for inputting a user utterance;
- the data processing server A voice recognition unit for executing voice recognition processing of the user utterance received from the user terminal;
- An information processing system having a learning processing unit that performs an update process of confidence level, which is an evaluation value indicating the certainty of a speech recognition result of the user utterance, based on a dialogue between the user and the information processing apparatus after the user utterance is there.
- the third aspect of the present disclosure is: An information processing method executed in an information processing apparatus, A step of executing a voice recognition process of a user utterance by a voice recognition unit; Information including a step in which a learning processing unit executes a process of updating confidence level, which is an evaluation value indicating the certainty of the speech recognition result of the user utterance, based on a dialogue between the user and the information processing apparatus after the user utterance. It is in the processing method.
- the fourth aspect of the present disclosure is: An information processing method executed in an information processing system having a user terminal and a data processing server,
- the user terminal is Execute voice input processing to input user utterance
- the data processing server is Voice recognition processing of the user utterance received from the user terminal;
- an update process of confidence level which is an evaluation value indicating the certainty of the speech recognition result of the user utterance, is executed based on a dialogue between the user and the information processing apparatus after the user utterance.
- the fifth aspect of the present disclosure is: A program for executing information processing in an information processing apparatus; Let the speech recognition unit execute speech recognition processing for user utterances,
- the learning processing unit has a program for executing update processing of confidence level, which is an evaluation value indicating the certainty of the speech recognition result of the user utterance, based on the dialogue between the user and the information processing apparatus after the user utterance.
- the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
- a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
- system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
- an apparatus and a method for detecting misrecognition of a user utterance based on the content of a subsequent dialog are realized.
- an evaluation value indicating the likelihood of the speech recognition result of the user utterance based on the speech recognition unit that executes the speech recognition processing of the user utterance and the dialogue between the user and the information processing apparatus after the user utterance
- a learning processing unit that executes an update process of confidence level.
- the speech recognition unit generates user utterance recognition confidence degree data in which a plurality of user utterance candidates based on the speech recognition result of the user utterance and the confidence degree which is an evaluation value indicating the probability of each user utterance candidate are associated, and learning is performed.
- the processing unit analyzes the context of conversation between the user and the information processing apparatus after the user utterance or the consistency of the topic, and updates the confidence value of the user utterance recognition confidence data.
- FIG. 2 is a diagram illustrating a configuration example and a usage example of an information processing device. It is a figure explaining the outline
- FIG. 25 is a diagram for describing a specific configuration example of an information processing device. It is a figure explaining an example of the data stored in a memory
- FIG. 11 is a diagram for describing a specific example of processing executed by the information processing apparatus.
- FIG. 11 is a diagram for describing a specific example of processing executed by the information processing apparatus.
- FIG. 11 is a diagram for describing a specific example of processing executed by the information processing apparatus.
- FIG. 11 is a diagram for describing a specific example of processing executed by the information processing apparatus.
- FIG. 11 is a diagram for describing a specific example of processing executed by the information processing apparatus.
- FIG. 11 is a diagram illustrating a flowchart for describing a sequence of processing executed by the information processing apparatus. It is a figure explaining the structural example of an information processing system.
- FIG. 25 is a diagram for describing an example hardware configuration of an information processing device.
- FIG. 1 is a diagram illustrating a processing example of an information processing apparatus 10 that recognizes and responds to a user utterance made by a user 1.
- the information processing apparatus 10 executes processing based on the speech recognition result of the user utterance.
- the information processing apparatus 10 performs the following system response.
- System response “Tomorrow in Osaka, the afternoon weather is fine, but there may be a shower in the evening.”
- the information processing apparatus 10 executes speech synthesis processing (TTS: Text To Speech) to generate and output the system response.
- TTS Text To Speech
- the information processing apparatus 10 generates and outputs a response using knowledge data acquired from a storage unit in the apparatus or knowledge data acquired via a network.
- An information processing apparatus 10 illustrated in FIG. 1 includes a microphone 12, a display unit 13, and a speaker 14, and has a configuration capable of voice input / output and image output.
- the information processing apparatus 10 illustrated in FIG. 1 is called, for example, a smart speaker or an agent device.
- voice recognition processing and semantic analysis processing for user utterances may be performed in the information processing apparatus 10 or may be performed in a data processing server that is one of the servers 20 on the cloud side.
- the information processing apparatus 10 of the present disclosure is not limited to the agent device 10a, but may be various device forms such as a smartphone 10b and a PC 10c.
- the information processing apparatus 10 recognizes the utterance of the user 1 and performs a response based on the user utterance. For example, the information processing apparatus 10 also executes control of the external device 30 such as a television and an air conditioner illustrated in FIG. For example, when the user utterance is a request such as “change the TV channel to 1” or “set the air conditioner temperature to 20 degrees”, the information processing apparatus 10 determines whether the user utterance is based on the voice recognition result of the user utterance. A control signal (Wi-Fi, infrared light, etc.) is output to the external device 30 to execute control according to the user utterance.
- Wi-Fi Wi-Fi, infrared light, etc.
- the information processing apparatus 10 is connected to the server 20 via the network, and can acquire information necessary for generating a response to the user utterance from the server 20. Further, as described above, the server may be configured to perform voice recognition processing and semantic analysis processing.
- the information processing apparatus 10 determines by itself whether or not the information processing apparatus 10 has erroneously recognized the user utterance based on a dialogue sequence between the user and the system (information processing apparatus 10). When it is determined that there is a misrecognition, a correct recognition result is derived, and a response based on the correct recognition result is performed. Further, the recognition result of the correct answer is stored in the storage unit as learning data in association with the user utterance data.
- the information processing device 10 when an erroneous recognition occurs, the information processing device 10 itself detects the presence or absence of the erroneous recognition in the conversation with the user without the user pointing out the error. .
- step S01 the user 1 performs the following user utterance.
- User utterance What is the weather today?
- the information processing apparatus 10 that has input the user utterance performs the following system utterance as a response to the user utterance in step S02.
- System utterance The weather in Kyoto is sunny.
- the information processing apparatus 10 performs the user utterance in step S01, "What's the weather in Kyoto?" This is a system utterance resulting from misrecognition.
- the information processing apparatus 10 that has input the user utterance performs the following system utterance as a response to the user utterance in step S04.
- System utterance An event is held at Kiyomizu Temple.
- This system utterance is the information processing device 10
- User utterance in step S01 the result of misrecognizing “What is the weather in Kyoto?”
- As a result of correctly recognizing the user utterance “What is a recommended spot?”
- step S03 These are system utterances generated based on these recognition results.
- the information processing apparatus 10 that has input the user utterance performs the following system utterance as a response to the user utterance in step S06.
- System utterance Today is relatively free.
- This system utterance is the information processing device 10
- User utterance in step S01 the result of misrecognizing “What is the weather in Kyoto?”
- As a result of correctly recognizing the user utterance “What is a recommended spot?”
- step S05 These are system utterances generated based on these recognition results.
- step S01 “What is the weather in Kyoto?”
- step S03 “What are the recommended spots?”
- User utterance in step S05 “What is Tokyo Disneyland?”
- step S01 “What is the weather in Kyoto?”
- the information processing apparatus 10 that has input the user utterance performs the following system utterance as a response to the user utterance in step S08.
- System utterance Today is a temporary holiday.
- This system utterance is the information processing device 10
- step S07 These are system utterances generated based on these recognition results.
- step S01 “What is the weather in Kyoto?”
- step S03 “What are the recommended spots?”
- User utterance in step S05 “What is Tokyo Disneyland?”
- User utterance in step S07 “How about Sky Tree?”
- User utterance in step S01 “What is the weather in Kyoto?” There was an error in the recognition of this user utterance. That is, it is determined that there is a misrecognition.
- the information processing apparatus 10 has a plurality of user utterance candidates as candidates for speech recognition results for user utterances as shown in FIG.
- User utterance recognition confidence level data is generated, and the “user utterance recognition confidence level data” is sequentially updated according to the progress of the dialogue between the user and the information processing apparatus.
- the information processing apparatus 10 determines that the user utterance candidate remaining at the top is the final correct user utterance recognition result by the update process of the “user utterance recognition confidence data”. Furthermore, when the correct user utterance recognition result is obtained, the recognition result is recorded in the learning database in association with the user utterance data (voice waveform data). The data recorded in the learning database will be used for subsequent speech recognition and intention interpretation of user utterances, thereby reducing misrecognition. A specific processing example will be described later.
- FIG. 5 is a diagram illustrating a configuration example of the information processing apparatus 10 that recognizes a user utterance and performs processing and a response corresponding to the user utterance.
- the information processing apparatus 10 includes an audio input unit 101, an audio output unit 102, an image output unit 103, and a data processing unit 130.
- the data processing unit 130 may be configured in the information processing apparatus 10, but may not be configured in the information processing apparatus 10 and may use a data processing unit of an external server.
- the information processing apparatus 10 transmits input data input from the voice input unit 101 to the server via the network, receives a processing result of the data processing unit 130 of the server, and outputs an output unit. It outputs via (the audio
- the voice input unit 101 is a microphone, for example, and corresponds to the microphone 12 of the information processing apparatus 10 illustrated in FIG.
- the audio output unit 102 corresponds to the speaker 14 of the information processing apparatus 10 illustrated in FIG.
- the image output unit 103 corresponds to the display unit 13 of the information processing apparatus 10 illustrated in FIG. Note that the image output unit 103 can be configured by, for example, a projector or the like, or can be configured using a television display unit of an external device.
- the data processing unit 130 is configured in either the information processing apparatus 10 or a server that can communicate with the information processing apparatus 10.
- the data processing unit 130 includes a user utterance analysis unit 150, a storage unit 160, a response generation unit 171, a speech synthesis unit 172, and a display image generation unit 173.
- the user utterance analysis unit 150 includes a speech recognition unit 151, an utterance meaning analysis unit 152, and a learning processing unit 153.
- the storage unit 160 includes an utterance analysis dictionary DB (database) 161, a learning data DB 162, and a learning candidate data DB 163.
- the user's uttered voice is input to the voice input unit 101 such as a microphone.
- the voice input unit (microphone) 101 inputs the input user utterance voice to the voice recognition unit 151 of the user utterance analysis unit 150.
- the speech recognition unit 151 has, for example, an ASR (Automatic Speech Recognition) function, and converts speech data into text data composed of a plurality of words.
- ASR Automatic Speech Recognition
- the speech recognition unit 151 of the information processing apparatus 10 creates a plurality of user utterance candidates as the speech recognition result corresponding to the user utterance, and further, an evaluation value “confidence” indicating the likelihood of each of the candidates. Set degrees. That is, the “user utterance recognition confidence data” described above with reference to FIG. 4 is generated. Details of the process to which the “user utterance recognition confidence data” is applied will be described later.
- the speech recognition result corresponding to the user utterance generated by the speech recognition unit 151 is input to the utterance meaning analysis unit 152 and the learning processing unit 153.
- the utterance meaning analysis unit 152 executes utterance meaning analysis processing on text data.
- the utterance meaning analysis unit 152 has a natural language understanding function such as NLU (Natural Language Understanding), for example, and the intention (intent) of a user utterance from text data, or a meaningful element (significant) included in the utterance Entity information (entity) which is an element) is estimated.
- NLU Natural Language Understanding
- the knowledge dictionary stored in the utterance analysis dictionary DB (database) 161 of the storage unit 160 and the learning data stored in the learning data DB 162 are used.
- the utterance analysis dictionary DB 161 stores dictionary data necessary for interpreting the meaning of text data corresponding to various user utterances. For example, data applicable to analysis processing such as morphological analysis, syntax analysis, and vowel analysis, and a general knowledge dictionary, technical term dictionary, similar pronunciation dictionary, important word dictionary, and the like are included.
- learning data DB 162 correspondence data between user utterances (voice data) and semantic data indicating utterance contents is recorded. Further, context information indicating user information is recorded. This learning data is sequentially updated by the user utterance learning process.
- the information processing apparatus 10 can perform an accurate process on the user utterance. For example, in the above example, tomorrow's afternoon weather in Osaka can be obtained and output as a response.
- the user utterance analysis information acquired by the utterance meaning analysis unit 152 is output to the response generation unit 171 and also to the learning processing unit 153. Processing executed by the learning processing unit 153 will be described later.
- the response generation unit 171 generates response information for the user based on the user utterance analysis information acquired by the utterance meaning analysis unit 152.
- the response information is composed of at least one of sound and image.
- the voice synthesis unit 172 generates voice data based on the voice information included in the response generated by the response generation unit 171, and the generated response voice data is output via the voice output unit 102 such as a speaker.
- the display image generation unit 173 generates image data based on the image information included in the response generated by the response generation unit 171 and outputs the image data via the image output unit 103 such as a display unit.
- the display information generation unit 173 displays system utterance text information and other presentation information for the user. For example, when a user utters that the user shows a world map, the world map is displayed.
- the world map can be acquired from a service providing server, for example.
- the learning processing unit 153 inputs the following data. (1) A speech recognition result corresponding to a user utterance generated by the speech recognition unit 151, and data in which confidence levels are associated with a plurality of user utterance candidates are referred to as “user utterance recognition confidence level data”, (2) Analysis result information for the user utterance generated by the utterance meaning analysis unit 152; The learning processing unit 153 inputs these pieces of information and performs a learning process for acquiring a correct speech recognition result, user intention, and the like corresponding to the user utterance. The learning result is stored in the learning data DB 162.
- the learning processing unit 153 inputs the “user utterance recognition confidence level data” described with reference to FIG. 4 which is a plurality of user utterance candidates and confidence level correspondence data generated by the speech recognition unit 151, and receives the learning candidate data DB 163. To store. Further, the learning processing unit 153 sequentially updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163 according to the progress of the dialogue between the user and the information processing apparatus.
- the learning processing unit 153 records the following data in association with each other in the learning candidate data DB 163.
- A voice data corresponding to user utterances
- B “User utterance recognition confidence data”
- C morphological analysis data of each user utterance candidate
- D vowel analysis data of each user utterance candidate
- E Parsing data for each user utterance candidate;
- the voice recognition unit 151 sets the confidence level (initial value) of voice recognition for each of the plurality of user utterance candidates (1) to (4).
- the confidence level is in the range of 1.0 to 0.0, where 1.0 is the highest confidence level and 0.0 is the lowest confidence level.
- the voice recognition unit 151 sets the confidence level high when the certainty of voice recognition of the user utterance is high, and sets the confidence level low when the certainty of voice recognition is low.
- the learning processing unit 153 inputs the “user utterance recognition confidence level data” described with reference to FIG. 4 which is a plurality of user utterance candidates and confidence level correspondence data generated by the speech recognition unit 151, and receives the learning candidate data DB 163. To store. The learning processing unit 153 performs processing for updating the “user utterance recognition confidence data” stored in the learning candidate data DB 163 and the value of the confidence of this data according to the progress of the dialogue between the user and the information processing apparatus. . The learning processing unit 153 determines that the user utterance candidate remaining at the top is the final correct user utterance recognition result by the update process of the “user utterance recognition confidence data”.
- the recognition result is recorded in the learning data DB 162 in association with the user utterance data (speech waveform data).
- the learning data DB 162 records the following data in association with each other.
- the data recorded in the learning data DB 162 will be used for the subsequent speech recognition and intention interpretation of user utterances, thereby reducing misrecognition.
- the learning processing unit 153 executes the process of updating the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the update process of the confidence level is executed as the dialogue between the user and the information processing apparatus progresses.
- the learning processing unit 153 performs, for example, a series of user utterance context analysis and topic analysis, and determines whether or not a context and topic matching the user utterance recognition result of the information processing device is continuously being performed. To do.
- the voice recognition result of the voice recognition unit 151 of the information processing apparatus 10 may be incorrect, and is recorded at the top of the “user utterance recognition confidence data”.
- the confidence value of the (first candidate) is reduced, and the confidence values of the other candidates are also changed. For example, an update process is performed to increase the confidence level of a candidate determined to match the context of a series of user utterances or a topic.
- (1st candidate) Kyoto weather (2nd candidate) Today's weather (3rd candidate) Today's electricity (4th candidate) Bunkyo weather is updated for these multiple user utterance candidates
- the update process is terminated, and after the update process is completed, a process of storing data in the learning data DB 162 is performed.
- the end of the confidence update process and the data storage timing in the learning data DB 162 are one of the following timings as shown in FIG. (1)
- the user utterance candidate with the highest degree of confidence (first candidate) does not change for a certain period of time.
- the confidence level of the highest (first candidate) user utterance candidate is equal to or higher than a predetermined threshold value.
- the learning processing unit 153 ends the data update of the confidence levels of the plurality of user utterance candidates stored in the learning candidate data DB 163.
- the learning data DB 162 records the following data in association with each other.
- This “(b) utterance content of user utterance” is the (first candidate) data recorded at the top of “user utterance recognition confidence data”.
- the learning processing unit 153 generates data to be updated together with the similar pronunciation dictionary DB and the important word dictionary DB stored in the utterance analysis dictionary DB 161 when generating and recording the new learning data.
- the update data may be recorded in the utterance analysis dictionary DB 161.
- the learning process in the learning processing unit 153 is executed during the conversation between the user and the information processing apparatus, and during that time, the correct recognition result of the correct utterance of the user utterance that has been misrecognized may be clarified.
- the learning processing unit 153 of the information processing apparatus 10 creates and outputs a system utterance including correction contents for the conversation part affected by the erroneously recognized part to the response generation unit 171.
- the response generation unit 171 generates and outputs a system utterance corresponding to this request.
- the user utterance analysis unit 150 of the information processing apparatus 10 analyzes the content of the user's utterance, and creates a candidate as to what word was uttered. Among them, the content with the highest degree of confidence is determined as the utterance content, and a system response is generated based on the determination.
- the speech recognition unit 151 of the user utterance analysis unit 150 generates a plurality of user utterance candidates for one user utterance, and the initial confidence level of each candidate is determined. Set up. That is, the “user utterance recognition confidence data” described with reference to FIG. 4 is generated. After that, the learning processing unit 153 updates the confidence level of each candidate recorded in the “user utterance recognition confidence level data” based on the context and topic matching level according to the progress of the dialogue with the user.
- step S01 the user 1 performs the following user utterance.
- User utterance What is the weather today?
- the information processing apparatus 10 that has input the user utterance performs voice recognition processing in the voice recognition unit 151 of the user utterance analysis unit 150, sets a plurality of candidates estimated to be user utterances, that is, user utterance candidates, The confidence level (initial value) based on the degree of coincidence with the speech recognition result is set for each candidate. That is, “user utterance recognition confidence data” is generated.
- the example shown in the figure shows an example of “user utterance recognition confidence data” in which a plurality of user utterance candidates and confidence levels (initial values) are set.
- the plurality of user utterance candidates are candidate data generated by the voice recognition unit 151 based only on the user utterance in step S01.
- the confidence level is in the range of 1.0 to 0.0, where 1.0 is the highest confidence level and 0.0 is the lowest confidence level.
- the “user utterance recognition confidence data” generated by the voice recognition unit 151 is input from the voice recognition unit 151 to the learning processing unit 153 and stored in the learning candidate data DB 163. Furthermore, the learning processing unit 153 performs confidence level update processing as the subsequent dialogue between the user and the information processing apparatus 10 progresses.
- the user utterance in step S01 is (1st candidate)
- the weather in Kyoto confidence (0.7)
- the information processing apparatus 10 performs the following system utterance based on the determination result.
- System utterance The weather in Kyoto is sunny.
- the information processing apparatus 10 performs the user utterance in step S01, "What's the weather in Kyoto?" This is a system utterance based on the recognition result.
- the learning processing unit 153 of the information processing apparatus 10 that has input the user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 analyzes the degree of coincidence of the conversation context between the user and the device in steps S01 to S03 and the degree of coincidence of the topic.
- the learning processing unit 153 performs, for example, a context analysis or topic analysis of a series of conversations between the user and the information processing apparatus after step S01, and matches the user utterance recognition result of step S01 previously executed by the information processing apparatus. Judgment is made as to whether or not the context and topic to be continued.
- the learning candidate data DB 163 For example, if it is determined that the degree of coincidence is high, it is determined that the (first candidate) of the “user utterance recognition confidence degree data” stored in the learning candidate data DB 163 is likely to be a correct result, and this (first The value of the confidence level of (1 candidate) is increased, and the values of other candidates are updated according to the degree of similarity with the constituent word of (first candidate).
- the learning processing unit 153 determines that the degree of coincidence of the context and topic of the conversation between the user and the device in steps S01 to S03 is high. As a result, it is determined that the (first candidate) of the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is likely to be a correct result, and the confidence value of this (first candidate) is determined. For other candidates, the value is updated according to the degree of similarity with the constituent word of (first candidate).
- step S04 the information processing apparatus 10 performs the following system utterance as a response to the user utterance.
- System utterance An event is held at Kiyomizu Temple. This system utterance is the information processing device 10
- the learning processing unit 153 of the information processing apparatus 10 that has input this user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 analyzes the degree of coincidence of the context and topic of the conversation between the user and the device in steps S01 to S05. In the example illustrated in FIG. 7, the learning processing unit 153 determines that the degree of coincidence and topic coincidence between the user and the apparatus in steps S01 to S05 are low. Steps S01 to 04 were the topic of Kyoto because they were switched to the topic of Tokyo in step S05.
- the learning processing unit 153 determines that the (first candidate) of the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is likely to be incorrect, and the confidence of this (first candidate). The value of the degree is lowered, and the values of other candidates are updated according to the degree of similarity with the constituent word of (first candidate).
- the information processing apparatus 10 performs the following system utterance as a response to the user utterance in step S06.
- System utterance Today is relatively free. This system utterance is the information processing device 10
- the learning processing unit 153 of the information processing apparatus 10 that has input this user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 analyzes the degree of coincidence and topic coincidence of the dialog between the user and the device in steps S01 to S07. In the example illustrated in FIG. 7, the learning processing unit 153 determines that the degree of coincidence of the context and topic of the conversation between the user and the device in steps S01 to S07 is low. Steps S01 to 04 were the topic of Kyoto because they were the topic of Tokyo in steps S05 and S07.
- the learning processing unit 153 determines that the (first candidate) of the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is likely to be incorrect, and the user and the device in steps S01 to S07
- the user's utterance candidate that is determined to be the most appropriate for increasing the degree of coincidence of conversation contexts and the degree of coincidence of topics, that is, “Today's weather” is set as the first candidate with the highest degree of confidence.
- the value is updated according to the degree of similarity with the constituent word of (first candidate).
- the information processing apparatus 10 performs the following system utterance as a response to the user utterance in step S08.
- System utterance Today is a temporary holiday.
- the learning processing unit 153 determines that the candidate is a correct recognition result, and this data “(first candidate) today's weather” Is stored in the learning data DB 162 in association with the user utterance voice data.
- the learning data DB 162 records the following data in association with each other.
- the data recorded in the learning data DB 162 will be used for the subsequent speech recognition and intention interpretation of user utterances, thereby reducing misrecognition.
- the confidence value is f
- the learning processing unit 153 updates the degree of coincidence of the context between the user and the device when updating the confidence level of each candidate in the “user utterance recognition confidence level data” stored in the learning candidate data DB 163. , Explained that the processing in consideration of the degree of coincidence of topics. This specific process will be described.
- the learning processing unit 153 calculates a vector indicating each utterance content using, for example, a morphological analysis and a syntax analysis result of the utterance content. For the vector calculation, learning data learned in advance is used, and a similar vector is calculated as each utterance content is closer. If the similarity of each utterance vector is high, it is determined that a consistent dialogue that does not deviate from the context and the topic is established.
- the influence degree with respect to a vector setting may become high about the word included in the utterance, the time, a community, etc.
- User utterance in step S01 “What is the weather in Kyoto?”
- User utterance in step S05 “What is Tokyo Disneyland?” Since the vectors indicating the utterance contents include completely different places such as “Kyoto” and “Tokyo” as the words indicating the places, the vectors of the utterances are greatly different.
- the learning processing unit 153 determines that the consistency of the context and the topic is low when, for example, a series of user utterances includes completely different places “Kyoto” and “Tokyo” as described above.
- step S01 “What is the weather in Kyoto?” It is determined that there is a high possibility that the voice recognition result is erroneous recognition.
- the learning processing unit 153 executes an update process for reducing the confidence level of the user utterance candidate included in the “user utterance recognition confidence level data”.
- the vector calculation process and the confidence level update process when a place is included in an utterance are preferably set more finely.
- the vectors should not be greatly different. That is, it is determined that the degree of similarity is high.
- the information processing apparatus 10 may determine that the result is that the user utterance has been correctly recognized. In such a case, incorrect information may remain provided to the user.
- FIG. 8 describes an example in which “Fushimi” is spoken. “Fushimi” includes, for example, Fushimi in Kyoto and Fushimi in Nagoya. If there is no word such as Kyoto or Nagoya, the information processing apparatus 10 does not know which Fushimi is referring to.
- the user 1 performs the following user utterance in step S21.
- User utterance What is the weather at Fushimi Station?
- the information processing apparatus 10 that has input the user utterance performs voice recognition processing in the voice recognition unit 151 of the user utterance analysis unit 150, and sets a plurality of candidates estimated to be user utterances, that is, user utterance candidates. Furthermore, a confidence level (initial value) based on the degree of coincidence with the speech recognition result is set for each candidate. That is, “user utterance recognition confidence data” is generated.
- the example shown in the figure shows an example of “user utterance recognition confidence data” in which a plurality of user utterance candidates and confidence levels (initial values) are set.
- the plurality of user utterance candidates are candidate data generated by the voice recognition unit 151 based only on the user utterance in step S21.
- the confidence level is in the range of 1.0 to 0.0, where 1.0 is the highest confidence level and 0.0 is the lowest confidence level.
- the “user utterance recognition confidence data” generated by the voice recognition unit 151 is input from the voice recognition unit 151 to the learning processing unit 153 and stored in the learning candidate data DB 163. Furthermore, the learning processing unit 153 performs confidence level update processing as the subsequent dialogue between the user and the information processing apparatus 10 progresses.
- step S22 the information processing apparatus 10 performs the following system utterance based on the determination result.
- System utterance sunny.
- the information processing apparatus 10 performs the user utterance in step S21. "What's the weather at Fushimi (Kyoto) Station?" This is a system utterance based on the recognition result.
- step S23 How to access from here to Fushimi? User 1 is listening to access to Fushimi in Nagoya in this user utterance.
- the learning processing unit 153 of the information processing apparatus 10 that has input this user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 analyzes the degree of coincidence of the context and topic of the conversation between the user and the device in steps S21 to S23.
- the learning processing unit 153 performs, for example, a series of user utterance context analysis and topic analysis, and determines whether or not a context and topic matching the user utterance recognition result of the information processing device is continuously being performed. To do.
- the learning candidate data DB 163 For example, if it is determined that the degree of coincidence is high, it is determined that the (first candidate) of the “user utterance recognition confidence degree data” stored in the learning candidate data DB 163 is likely to be a correct result, and this (first The value of the confidence level of (1 candidate) is increased, and the values of other candidates are updated according to the degree of similarity with the constituent word of (first candidate).
- the learning processing unit 153 determines that the degree of coincidence of the context and topic of the conversation between the user and the device in steps S21 to S23 is high. As a result, it is determined that the (first candidate) of the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is likely to be a correct result, and the confidence value of this (first candidate) is determined. For other candidates, the value is updated according to the degree of similarity with the constituent word of (first candidate).
- step S24 the information processing apparatus 10 performs the following system utterance as a response to the user utterance.
- System utterance From Tokyo Station to Kyoto Station by Shinkansen ...
- This system utterance is the information processing device 10
- the result of recognizing the user utterance “What is the weather at Fushimi Station” in step S21 as “What is the weather at Fushimi Station in Kyoto?”
- User utterance in step S23 recognition result of "What is access from here to Fushimi?” These are system utterances generated based on these recognition results.
- the recognition process of user utterance “What is the weather at Fushimi Station?” In step S21, it is not determined at all that the location is misrecognized.
- step S25 the user 1 performs the following user utterance.
- User utterance How to get to Nagoya from here?
- the learning processing unit 153 of the information processing apparatus 10 that has input this user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 analyzes the degree of coincidence of the context and topic of the conversation between the user and the device in steps S21 to S25. In the example illustrated in FIG. 8, the learning processing unit 153 determines that the degree of coincidence of the context and topic of the conversation between the user and the device in steps S21 to S25 is low. Steps S21 to S24 were the topic of Kyoto because they were switched to the topic of Nagoya in step S25.
- the learning processing unit 153 determines that the (first candidate) of the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is likely to be incorrect, and the confidence of this (first candidate). The value of the degree is lowered, and the values of other candidates are updated according to the degree of similarity with the constituent word of (first candidate).
- step S26 the information processing apparatus 10 performs the following system utterance as a response to the user utterance.
- System utterance From Tokyo Station to Nagoya Station by Shinkansen ...
- This system utterance is the information processing device 10
- the user utterance “What is the weather at Fushimi Station” in step S21?
- User utterance in step S25 recognition result of "How is access from here to Nagoya?”
- the learning processing unit 153 of the information processing apparatus 10 that has input this user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 analyzes the degree of coincidence and topic coincidence between the user utterance in step S21 and the user utterance in step S27.
- the learning processing unit 153 determines that the degree of coincidence between the user utterance in step S21 and the context of the user utterance in step S27 is high. This is because both step S21 and step S27 are topics of Fushimi in Nagoya.
- the learning processing unit 153 updates the confidence level of each candidate in the “user utterance recognition confidence level data” stored in the learning candidate data DB 163 as follows.
- the information processing apparatus 10 performs the following system utterance as a response to the user utterance in step S28.
- System utterance 10:00, 10:30, 11:10 ...
- the user utterance in step S21 “What is the weather at Fushimi Station?” Re-recognizes that the weather at Fushimi Station in Nagoya means
- the learning data DB 162 records the following data in association with each other.
- the data recorded in the learning data DB 162 will be used for the subsequent speech recognition and intention interpretation of user utterances, thereby reducing misrecognition.
- misrecognition As for time, for example, there are utterances that are highly likely to cause misrecognition, such as temporary (1) and 7 (7). For this misrecognition, even if the information processing apparatus 10 misrecognizes, May not be aware of it and proceed with the dialogue.
- the user 1 performs the following user utterance in step S51.
- User utterance I want to reserve A store
- step S52 the information processing apparatus 10 performs the following system utterance.
- System utterance When do you confirm the reservation?
- the voice recognition unit 151 of the information processing apparatus 10 that has input this user utterance, As user utterance candidates of speech recognition results, (1st candidate) Temporary (Ichiji) (2nd candidate) 7 o'clock (shichiji) “User utterance recognition confidence data” in which these candidate data are recorded is generated. Here, only word candidate data indicating the time included in the user utterance will be extracted and described.
- the learning processing unit 153 stores the “user utterance recognition confidence data” generated by the voice recognition unit 151 in the learning candidate data DB 163.
- step S54 the information processing apparatus 10 performs the following system utterance as a response to the user utterance.
- System utterance reservation is possible at one time.
- This system utterance is the information processing device 10
- the user utterance is a system utterance generated based on the result of misrecognizing that "7 o'clock reservation is?" And "temporary reservation?” At this point, the information processing apparatus 10 has not made any determination that the time has been misrecognized.
- step S56 the information processing apparatus 10 performs the following system utterance as a response to the user utterance.
- System utterance Menu has A lunch and B lunch. This system utterance is the information processing device 10
- step S53 the user's utterance is a system response reflecting a result of erroneously recognizing that “7 o'clock reservation is” and “temporary reservation is”.
- the learning processing unit 153 of the information processing apparatus 10 that has input this user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 determines that the (first candidate) of the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is likely to be incorrect, and the confidence of this (first candidate). Decrease the degree value.
- the candidates are replaced as follows. (1st candidate) 7 o'clock (shichiji) (2nd candidate) Temporary (Ichiji)
- the information processing apparatus 10 Based on the re-recognition result, the information processing apparatus 10 performs the following system utterance in step S58.
- System utterance Course A, Course B, Recommended Course C.
- This system utterance is the information processing device 10
- User utterance in step S53 system response reflecting the result of correctly re-recognizing “7 o'clock reservation is”.
- the learning processing unit 153 of the information processing apparatus 10 that has input this user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 analyzes the degree of coincidence and topic coincidence between the user utterance in step S53 and the user utterance in step S57.
- the learning processing unit 153 determines that the degree of coincidence and topic coincidence between the user utterance in step S53 and the user utterance in step S57 are high. This is because step S53 and step S57 are both evening stories.
- the (first candidate) of the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is likely to be a correct result, and the confidence value of this (first candidate) is determined.
- the value is updated according to the degree of similarity with the constituent word of (first candidate).
- the information processing apparatus 10 performs the following system utterance as a response to the user utterance in step S58.
- System utterance reserved at 19:00.
- the learning processing unit 153 determines that the candidate is a correct recognition result, and associates this data with user utterance voice data to acquire learning data. Store in the DB 162.
- the learning data DB 162 records the following data in association with each other.
- the data recorded in the learning data DB 162 will be used for the subsequent speech recognition and intention interpretation of user utterances, thereby reducing misrecognition.
- the name of the community may change depending on the background. For example, in the case of “Geidai”, Kanto often refers to Tokyo University of the Arts, while in Kansai, it may refer to Osaka University of Arts.
- the example shown in FIG. 10 is an example of an utterance including “Maidai”. “Maidai” is often taken as an abbreviation for Meiji University, but in the Tokai region, Nagoya University is sometimes called “Maidai”.
- the user 1 obtains correct information from the information processing apparatus 10 by rephrasing it as a Nagoya dai.
- the information processing apparatus 10 that has input the user utterance performs voice recognition processing in the voice recognition unit 151 of the user utterance analysis unit 150, and sets a plurality of candidates estimated to be user utterances, that is, user utterance candidates. Furthermore, a confidence level (initial value) based on the degree of coincidence with the speech recognition result is set for each candidate. That is, “user utterance recognition confidence data” is generated.
- “user utterance recognition confidence data” including the following user utterance candidates is generated. (First candidate) Meiji University (Meiji University) (2nd candidate) Nagoya University (Nagoya University)
- Meiji University Meiji University
- Nagoya University Nagoya University
- word candidate data indicating a community included in the user utterance will be extracted and described.
- the “user utterance recognition confidence data” generated by the voice recognition unit 151 is input from the voice recognition unit 151 to the learning processing unit 153 and stored in the learning candidate data DB 163. Furthermore, the learning processing unit 153 performs confidence level update processing as the subsequent dialogue between the user and the information processing apparatus 10 progresses.
- the user utterance in step S71 is (First candidate) Meiji University (Meiji University)
- the information processing apparatus 10 performs the following system utterance based on the determination result.
- System utterance February 20 (Meiji University)
- the information processing apparatus 10 performs the user utterance in step S71, “What is Meidai's exam date?” This is a system utterance resulting from misrecognition.
- step S73 the user 1 performs the following user utterance in step S73.
- User utterance how to access? User 1 is listening to access to Nagoya University in this user utterance.
- step S75 the user 1 performs the following user utterance.
- User utterance Nagoya Maidai?
- the learning processing unit 153 of the information processing apparatus 10 that has input this user utterance updates the “user utterance recognition confidence data” stored in the learning candidate data DB 163.
- the learning processing unit 153 determines that the (first candidate) of the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is likely to be incorrect, and the confidence of this (first candidate). Decrease the degree value.
- the candidates are replaced as follows. (1st candidate) Nagoya University (Nagoya University) (2nd candidate) Meiji University (Meiji University)
- the learning processing unit 153 stores the data of the (first candidate) Nagoya University (Nagoya University) in the learning data DB 162.
- the data recorded in the learning data DB 162 will be used for the subsequent speech recognition and intention interpretation of user utterances, thereby reducing misrecognition.
- the information processing apparatus 10 Based on the re-recognition result, the information processing apparatus 10 performs the following system utterance in step S76.
- System utterance Test date is February 10, and it is a 5-minute walk from Nagoya University Station.
- the system utterance in step S76 includes a response for correcting all erroneous system responses made in steps S72 and S74. That is, the system response of step S72 and step S74 is: This is a system response based on misrecognition of the user utterance in step S71, and is different from the information required by the user.
- the information processing apparatus 10 When the information processing apparatus 10 provides information different from the information requested by the user as described above, the information processing apparatus 10 generates and outputs a system response including information obtained by correcting all the information. This process prevents the user from recognizing the incorrect information output by the information processing apparatus 10 as it is.
- processing examples described with reference to FIGS. 8 to 10 are processing based on the assumption that the information processing apparatus 10 does not store the user background data in the storage unit and cannot use it.
- context information such as user background information is stored in the storage unit 160 as already learned data
- processing using this information is possible.
- the evaluation value of the degree of confidence of the user utterance can be set, and correct recognition can be performed earlier.
- “Fushimi” described with reference to FIG. 8 “user utterance recognition confidence data” with Nagoya Fushimi as the first candidate is generated based on the user information stored in the storage unit 160. Is possible, and quicker correct recognition is possible.
- the system utterance is executed in the response generation unit 171. For example, when the learning processing unit 153 determines that the first candidate of the user utterance recognition confidence data has been changed and misrecognized, the learning processing unit 153 outputs the misrecognition information to the response generation unit 171.
- the response generation unit 171 executes the system utterance according to any of the above settings (a) to (d) according to this information.
- the system utterance executed after the information processing apparatus 10 determines that there is a misrecognition is the following utterance. Answer the weather in Fushimi in Nagoya, Presenting access to Fushimi Presenting access to Nagoya, Present the timetable for the Higashiyama Line, A system utterance including all of this information is performed.
- This processing is basically similar to the processing example in which only the wrong place in (b) is corrected. However, the degree of importance of the utterance content is judged, and utterance based on the correct recognition result is performed only for information that seems to be important.
- the learning processing unit 153 refers to the important word dictionary DB stored in the storage unit 160 and calculates the importance level of the conversation. When misrecognition occurs, the importance of the conversation up to that time is calculated, and only the conversation when the importance is judged to be corrected is executed. Further, the importance level may be calculated by performing a process using the order of conversation, such as setting the first conversation to a high importance level.
- Step S101 First, in step S101, the information processing apparatus 10 inputs a user utterance. This process is a process executed by the voice input unit 101 of the information processing apparatus 10 shown in FIG. (Step S102) Next, in step S102, the information processing apparatus 10 performs speech recognition and semantic analysis of the user utterance. This process is a process executed by the speech recognition unit 151 and the utterance meaning analysis unit 152 of the information processing apparatus 10 illustrated in FIG.
- step S103 the information processing apparatus 10 generates user utterance recognition confidence degree data in which a plurality of user utterance candidates are associated with the confidence degree in accordance with the speech recognition result of the user utterance.
- This process is a process executed by the voice recognition unit 151 of the information processing apparatus 10 shown in FIG.
- the speech recognition unit 151 of the user utterance analysis unit 150 generates a plurality of user utterance candidates for one user utterance, and performs initial setting of confidence for each candidate.
- step S01 what is the weather today?
- step S01 what is the weather today?
- the following user utterance recognition confidence data is generated.
- Today's weather confidence (0.5)
- Today's electricity is confidence level (0.3) (4th candidate)
- Educational weather confidence (0.2)
- the speech recognition unit 151 generates a plurality of speech recognition candidates for one user utterance, and sets the confidence level (initial value) corresponding to each candidate based on the degree of coincidence between each candidate and the recognition result.
- the confidence level is in the range of 1.0 to 0.0, where 1.0 is the highest confidence level and 0.0 is the lowest confidence level.
- the user utterance recognition confidence data generated by the voice recognition unit 151 is stored in the learning candidate data DB 163 of the storage unit 1360 via the learning processing unit 153. As described above with reference to FIG. 6, the following data is recorded in association with each other in the learning candidate data DB 163.
- A voice data corresponding to user utterances
- B “User utterance recognition confidence data”
- C morphological analysis data of each user utterance candidate
- D vowel analysis data of each user utterance candidate
- E Parsing data for each user utterance candidate;
- Step S104 Next, in step S ⁇ b> 104, the information processing apparatus 10 determines whether or not the preceding user utterance recognition confidence data corresponding to the preceding utterance has been stored in the storage unit 160.
- This process is a process executed by the learning processing unit 153 of the information processing apparatus 10 illustrated in FIG.
- step S ⁇ b> 104 the learning processing unit 153 of the user utterance analysis unit 150 determines whether or not the preceding user utterance recognition confidence data corresponding to the preceding utterance has been stored in the learning candidate data DB 163 of the storage unit 160. If already stored, the process proceeds to step S105. If not, the process proceeds to step S108.
- Step S105 When it is determined in step S104 that the preceding user utterance recognition confidence data corresponding to the preceding utterance has already been stored in the learning candidate data DB 163 of the storage unit 160, the process of step S105 is executed.
- step S105 the preceding user utterance recognition confidence degree data stored in the learning candidate data DB 163 is updated based on the conversation history context and topic analysis.
- This process is a process executed by the learning processing unit 153 of the information processing apparatus 10 illustrated in FIG.
- the preceding user utterance recognition confidence data stored in the learning candidate data DB 163 is user utterance recognition confidence data generated based on the utterance in step S01.
- the learning processing unit 153 performs confidence level update processing at the stage when a user utterance after step S03 shown in FIG. 7 is input.
- the learning processing unit 153 performs a context analysis or topic analysis of a series of conversations between the user and the information processing apparatus after step S01, and a context that matches the user utterance recognition result of step S01 previously executed by the information processing apparatus. Determine if the topic is ongoing.
- the learning candidate data DB 163 For example, if it is determined that the degree of coincidence is high, it is determined that the (first candidate) of the “user utterance recognition confidence degree data” stored in the learning candidate data DB 163 is likely to be a correct result, and this (first The value of the confidence level of (1 candidate) is increased, and the values of other candidates are updated according to the degree of similarity with the constituent word of (first candidate).
- step S106 the information processing apparatus 10 determines whether or not it is determined that the first candidate of the preceding user utterance recognition confidence degree data has been changed and erroneous recognition has occurred. If it is determined that the first candidate of the preceding user utterance recognition confidence degree data has been changed and misrecognized, the process proceeds to step S107. On the other hand, if the first candidate of the preceding user utterance recognition confidence degree data is not changed and it is not determined that there is an erroneous recognition, the process proceeds to step S108.
- Step S107 If it is determined in step S106 that the first candidate of the preceding user utterance recognition confidence degree data has been changed and there has been a misrecognition, the process proceeds to step S107.
- step S107 the information processing apparatus 10 executes the system utterance based on the correct recognition result according to the erroneous recognition determination result.
- the learning processing unit 153 outputs the erroneous recognition information to the response generation unit 171 when it is determined that the first candidate of the preceding user utterance recognition confidence degree data has been changed and erroneous recognition has occurred.
- the response generation unit 171 executes the system utterance according to any of the following settings, for example, according to this information.
- Step S108 On the other hand, if it is determined in step S106 that the first candidate of the preceding user utterance recognition confidence level data has not been changed and there has been a misrecognition, the process proceeds to step S108. In step S108, the information processing apparatus 10 executes system utterance based on the recognition result of the user utterance.
- step S104 Even if it is determined in step S104 that the preceding user utterance recognition confidence data corresponding to the preceding utterance is not stored in the learning candidate data DB 163 of the storage unit 160, the process proceeds to step S108, and the system based on the recognition result of the user utterance Perform an utterance.
- the “user utterance recognition confidence data” stored in the learning candidate data DB 163 is sequentially updated by the learning processing unit 153, but the updating process is terminated at a certain point in time. Then, after the update process is completed, a process for storing the data in the learning data DB 162 is performed.
- the end of the confidence update process and the data storage timing in the learning data DB 162 are any of the following timings as described above with reference to FIG. (1)
- the user utterance candidate with the highest degree of confidence does not change for a certain period of time.
- the confidence level of the highest user utterance candidate is equal to or greater than a predetermined threshold value.
- the learning processing unit 153 ends the data update of the confidence levels of the plurality of user utterance candidates stored in the learning candidate data DB 163, and stores the data The process which stores in learning data DB162 is performed.
- the data recorded in the learning data DB 162 will be used for speech recognition and intention interpretation of subsequent user utterances, thereby reducing misrecognition.
- FIG. 12 shows a system configuration example.
- Information processing system configuration example 1 has almost all the functions of the information processing apparatus shown in FIG. 5 as one apparatus, for example, a smartphone or PC owned by the user, or voice input / output and image input / output functions.
- the information processing apparatus 410 is a user terminal such as an agent device.
- the information processing apparatus 410 corresponding to the user terminal executes communication with the service providing server 420 only when an external service is used when generating a response sentence, for example.
- the service providing server 420 is, for example, a music providing server, a content providing server such as a movie, a game server, a weather information providing server, a traffic information providing server, a medical information providing server, a tourism information providing server, and the like, and executes processing for user utterances And a server group capable of providing information necessary for generating a response.
- FIG. 12 (2) information processing system configuration example 2 includes a part of the functions of the information processing apparatus shown in FIG. This is an example of a system that is configured and configured to be executed by a data processing server 460 that can partially communicate with an information processing apparatus.
- a configuration in which only the input unit 110 and the output unit 120 in the apparatus shown in FIG. 5 are provided on the information processing apparatus 410 side on the user terminal side and all other functions are executed on the server side is possible.
- the function division mode of the function on the user terminal side and the function on the server side can be set in various different ways, and a configuration in which one function is executed by both is also possible.
- FIG. 13 is an example of the hardware configuration of the information processing apparatus described above with reference to FIG. 5, and constitutes the data processing server 460 described with reference to FIG. It is an example of the hardware constitutions of information processing apparatus.
- a CPU (Central Processing Unit) 501 functions as a control unit or a data processing unit that executes various processes according to a program stored in a ROM (Read Only Memory) 502 or a storage unit 508. For example, processing according to the sequence described in the above-described embodiment is executed.
- a RAM (Random Access Memory) 503 stores programs executed by the CPU 501 and data.
- the CPU 501, ROM 502, and RAM 503 are connected to each other by a bus 504.
- the CPU 501 is connected to an input / output interface 505 via a bus 504.
- An input unit 506 including various switches, a keyboard, a mouse, a microphone, and a sensor, and an output unit 507 including a display and a speaker are connected to the input / output interface 505.
- the CPU 501 executes various processes in response to a command input from the input unit 506 and outputs a processing result to the output unit 507, for example.
- the storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk and stores programs executed by the CPU 501 and various data.
- a communication unit 509 functions as a transmission / reception unit for Wi-Fi communication, Bluetooth (BT) communication, and other data communication via a network such as the Internet or a local area network, and communicates with an external device.
- BT Bluetooth
- the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
- a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
- the technology disclosed in this specification can take the following configurations.
- the learning processing unit The information processing apparatus according to (1), wherein a context of a dialogue between the user and the information processing apparatus after the user utterance or consistency of topics is analyzed, and the update process of the confidence level is executed.
- the voice recognition unit Generating user utterance recognition confidence data in which a plurality of user utterance candidates based on voice recognition results of user utterances and confidence levels which are evaluation values indicating the certainty of the user utterance candidates are associated with each other;
- the learning processing unit (1) or (2) wherein the context of the dialogue between the user and the information processing apparatus after the user utterance or the consistency of the topic is analyzed, and the confidence value of the user utterance recognition confidence data is updated.
- the user utterance recognition confidence data is: A user utterance candidate with the highest confidence value is set as the first candidate, and the other candidates are listed below the second candidate in order of the confidence value,
- the learning processing unit The information processing apparatus according to (3), wherein when the first candidate is changed by updating the confidence value of the user utterance recognition confidence degree data, it is determined that the user utterance is erroneously recognized.
- the learning processing unit When it is determined that there is a misrecognition of the user utterance, a notification that there is a misrecognition in the response processing unit is executed, The information processing apparatus according to (4), wherein the response processing unit outputs a system response based on a correct recognition result according to a determination result of erroneous recognition.
- the learning processing unit The update process of the user utterance recognition confidence level data is stopped in response to the occurrence of a pre-defined prescribed condition, and the highest user utterance candidate with the highest confidence level value recorded in the user utterance recognition confidence level data.
- the prescribed conditions are: (Condition 1) The user utterance candidate with the highest degree of confidence does not change for a certain period. (Condition 2) The confidence level of the highest user utterance candidate is equal to or greater than a predetermined threshold value. (Condition 3) Recognizing that the topic of the user's utterance has changed, The information processing apparatus according to (7), which is any one of the above.
- An information processing system having a user terminal and a data processing server,
- the user terminal is A voice input unit for inputting a user utterance;
- the data processing server A voice recognition unit for executing voice recognition processing of the user utterance received from the user terminal;
- An information processing system comprising: a learning processing unit that executes an update process of confidence level, which is an evaluation value indicating the certainty of the speech recognition result of the user utterance, based on a dialogue between the user and the information processing apparatus after the user utterance.
- An information processing method executed in the information processing apparatus A step of executing a voice recognition process of a user utterance by a voice recognition unit; Information including a step in which a learning processing unit executes a process of updating confidence level, which is an evaluation value indicating the certainty of the speech recognition result of the user utterance, based on a dialogue between the user and the information processing apparatus after the user utterance. Processing method.
- An information processing method executed in an information processing system having a user terminal and a data processing server The user terminal is Execute voice input processing to input user utterance,
- the data processing server is Voice recognition processing of the user utterance received from the user terminal;
- An information processing method for executing update processing of confidence level which is an evaluation value indicating the certainty of the speech recognition result of the user utterance, based on a dialogue between the user and the information processing apparatus after the user utterance.
- a program for executing information processing in an information processing device Let the speech recognition unit execute speech recognition processing for user utterances, A program for causing a learning processing unit to perform a process of updating confidence level, which is an evaluation value indicating the certainty of a speech recognition result of the user utterance, based on a dialogue between the user and the information processing apparatus after the user utterance.
- the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
- the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
- the program can be recorded in advance on a recording medium.
- the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
- the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
- the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
- an apparatus and a method for detecting misrecognition of a user's utterance based on the content of a subsequent conversation are realized.
- an evaluation value indicating the likelihood of the speech recognition result of the user utterance based on the speech recognition unit that executes the speech recognition processing of the user utterance and the dialogue between the user and the information processing apparatus after the user utterance
- a learning processing unit that executes an update process of confidence level.
- the speech recognition unit generates user utterance recognition confidence degree data in which a plurality of user utterance candidates based on the speech recognition result of the user utterance and the confidence degree which is an evaluation value indicating the probability of each user utterance candidate are associated, and learning is performed.
- the processing unit analyzes the context of conversation between the user and the information processing apparatus after the user utterance or the consistency of the topic, and updates the confidence value of the user utterance recognition confidence data.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
ユーザ発話に対する誤認識をその後の対話内容に基づいて検出する装置、方法を実現する。ユーザ発話の音声認識処理を実行する音声認識部と、ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する。音声認識部は、ユーザ発話の音声認識結果に基づく複数のユーザ発話候補と、ユーザ発話候補各々の確からしさを示す評価値である自信度を対応付けたユーザ発話認識自信度データを生成し、学習処理部は、ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、ユーザ発話認識自信度データの自信度の値を更新する。
Description
本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話の誤認識に対応した処理を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
昨今、ユーザ発話の音声認識を行い、認識結果に基づく様々な処理や応答を行う音声認識システムの利用が増大している。
この音声認識システムにおいては、マイクを介して入力するユーザ発話の解析を行い、解析結果に応じた処理を行う。
この音声認識システムにおいては、マイクを介して入力するユーザ発話の解析を行い、解析結果に応じた処理を行う。
例えばユーザが、「明日の天気を教えて」と発話した場合、天気情報提供サーバから天気情報を取得して、取得情報に基づくシステム応答を生成して、生成した応答をスピーカーから出力する。具体的には、例えば、
システム発話=「明日の天気は晴れです。ただし、夕方、雷雨があるかもしれません」
このようなシステム発話を出力する。
システム発話=「明日の天気は晴れです。ただし、夕方、雷雨があるかもしれません」
このようなシステム発話を出力する。
しかし、音声認識システムは、ユーザ発話を100%正確に認識できるとは限らず、誤認識が発生する場合がある。
システムがユーザ発話を誤認識すると、システムはユーザの要求と異なる処理や応答を行ってしまう可能性がある。
ユーザ発話の誤認識に対する処理について開示した従来技術として、例えば、以下の文献がある。
システムがユーザ発話を誤認識すると、システムはユーザの要求と異なる処理や応答を行ってしまう可能性がある。
ユーザ発話の誤認識に対する処理について開示した従来技術として、例えば、以下の文献がある。
特許文献1(特開2011-158902号公報)は、システム側で認識結果を間違えた場合、ユーザ側から間違えたことをシステムに発話で伝え、システム側でこの指摘に応じて修正を行う方法を開示している。
また、特許文献2(特開2006-146008号公報)や、特許文献3(特開2014-48506号公報)は、音声認識結果として得られた複数の候補データを画面に表示し、ユーザが表示データからユーザ発話に対応するデータを選択することで誤認識の発生を防止する構成を開示している。
また、特許文献2(特開2006-146008号公報)や、特許文献3(特開2014-48506号公報)は、音声認識結果として得られた複数の候補データを画面に表示し、ユーザが表示データからユーザ発話に対応するデータを選択することで誤認識の発生を防止する構成を開示している。
これらの従来技術は、いずれも誤認識の修正や低減のために何らかのユーザ操作を必要としている。すなわち、誤認識に対するユーザからの訂正要求等の発話や、ユーザによるデータ選択等、ユーザによる付加的な処理が必要となる。
このような設定では、システムとユーザ間の対話に途切れが発生し、スムーズに対話ができなくなる。また、ユーザが誤認識にすぐに気付かない場合、修正タイミングを逃してしまうこともある。
このような設定では、システムとユーザ間の対話に途切れが発生し、スムーズに対話ができなくなる。また、ユーザが誤認識にすぐに気付かない場合、修正タイミングを逃してしまうこともある。
本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザに負荷を発生させずにユーザ発話の誤認識をシステム側で検出して対応することを可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の一実施例においては、ユーザ発話の誤認識が発生した場合、その訂正に関する特別なユーザ操作やユーザ発話を要求することなく、装置側で誤認識を検出して対応することを可能としている。
本開示の第1の側面は、
ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理装置にある。
ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理装置にある。
さらに、本開示の第2の側面は、
ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部を有し、
前記データ処理サーバは、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理システムにある。
ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部を有し、
前記データ処理サーバは、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理システムにある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
音声認識部が、ユーザ発話の音声認識処理を実行するステップと、
学習処理部が、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行するステップを有する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
音声認識部が、ユーザ発話の音声認識処理を実行するステップと、
学習処理部が、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行するステップを有する情報処理方法にある。
さらに、本開示の第4の側面は、
ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する情報処理方法にある。
ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
音声認識部に、ユーザ発話の音声認識処理を実行させ、
学習処理部に、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
音声認識部に、ユーザ発話の音声認識処理を実行させ、
学習処理部に、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、ユーザ発話に対する誤認識をその後の対話内容に基づいて検出する装置、方法が実現される。
具体的には、例えば、ユーザ発話の音声認識処理を実行する音声認識部と、ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する。音声認識部は、ユーザ発話の音声認識結果に基づく複数のユーザ発話候補と、ユーザ発話候補各々の確からしさを示す評価値である自信度を対応付けたユーザ発話認識自信度データを生成し、学習処理部は、ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、ユーザ発話認識自信度データの自信度の値を更新する。
本構成により、ユーザ発話に対する誤認識をその後の対話内容に基づいて検出する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、ユーザ発話の音声認識処理を実行する音声認識部と、ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する。音声認識部は、ユーザ発話の音声認識結果に基づく複数のユーザ発話候補と、ユーザ発話候補各々の確からしさを示す評価値である自信度を対応付けたユーザ発話認識自信度データを生成し、学習処理部は、ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、ユーザ発話認識自信度データの自信度の値を更新する。
本構成により、ユーザ発話に対する誤認識をその後の対話内容に基づいて検出する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.情報処理装置の実行する処理の概要について
2.情報処理装置の構成例について
3.ユーザ発話候補に対する自信度の設定、更新処理の詳細について
4.学習処理部における自信度算出処理の具体例について
5.ユーザ発話に含まれる場所、時間、コミュニティの誤認識に対応する処理例について
5-1.(処理例1)場所についての誤認識が発生した場合の対応処理例
5-2.(処理例2)時間についての誤認識が発生した場合の対応処理例
5-3.(処理例3)コミュニティについての誤認識が発生した場合の対応処理例
6.誤認識があったと判定した場合のシステム発話について
7.情報処理装置の実行する処理のシーケンスについて
8.情報処理装置、および情報処理システムの構成例について
9.情報処理装置のハードウェア構成例について
10.本開示の構成のまとめ
1.情報処理装置の実行する処理の概要について
2.情報処理装置の構成例について
3.ユーザ発話候補に対する自信度の設定、更新処理の詳細について
4.学習処理部における自信度算出処理の具体例について
5.ユーザ発話に含まれる場所、時間、コミュニティの誤認識に対応する処理例について
5-1.(処理例1)場所についての誤認識が発生した場合の対応処理例
5-2.(処理例2)時間についての誤認識が発生した場合の対応処理例
5-3.(処理例3)コミュニティについての誤認識が発生した場合の対応処理例
6.誤認識があったと判定した場合のシステム発話について
7.情報処理装置の実行する処理のシーケンスについて
8.情報処理装置、および情報処理システムの構成例について
9.情報処理装置のハードウェア構成例について
10.本開示の構成のまとめ
[1.情報処理装置の実行する処理の概要について]
まず、図1以下を参照して、本開示の情報処理装置の実行する処理の概要についてについて説明する。
まず、図1以下を参照して、本開示の情報処理装置の実行する処理の概要についてについて説明する。
図1は、ユーザ1の発するユーザ発話を認識して応答を行う情報処理装置10の一処理例を示す図である。
情報処理装置10は、ユーザの発話、例えば、
ユーザ発話=「大阪の明日、午後の天気を教えて」
このユーザ発話の音声認識処理を実行する。
情報処理装置10は、ユーザの発話、例えば、
ユーザ発話=「大阪の明日、午後の天気を教えて」
このユーザ発話の音声認識処理を実行する。
さらに、情報処理装置10は、ユーザ発話の音声認識結果に基づく処理を実行する。
図1に示す例では、ユーザ発話=「大阪の明日、午後の天気を教えて」に応答するためのデータを取得し、取得データに基づいて応答を生成して生成した応答を、スピーカー14を介して出力する。
図1に示す例では、情報処理装置10は、以下のシステム応答を行っている。
システム応答=「大阪の明日、午後の天気は晴れですが、夕方、にわか雨がある可能性があります。」
情報処理装置10は、音声合成処理(TTS:Text To Speech)を実行して上記のシステム応答を生成して出力する。
図1に示す例では、ユーザ発話=「大阪の明日、午後の天気を教えて」に応答するためのデータを取得し、取得データに基づいて応答を生成して生成した応答を、スピーカー14を介して出力する。
図1に示す例では、情報処理装置10は、以下のシステム応答を行っている。
システム応答=「大阪の明日、午後の天気は晴れですが、夕方、にわか雨がある可能性があります。」
情報処理装置10は、音声合成処理(TTS:Text To Speech)を実行して上記のシステム応答を生成して出力する。
情報処理装置10は、装置内の記憶部から取得した知識データ、またはネットワークを介して取得した知識データを利用して応答を生成して出力する。
図1に示す情報処理装置10は、マイク12、表示部13、スピーカー14を有しており、音声入出力と画像出力が可能な構成を有する。
図1に示す情報処理装置10は、マイク12、表示部13、スピーカー14を有しており、音声入出力と画像出力が可能な構成を有する。
図1に示す情報処理装置10は、例えばスマートスピーカーあるいはエージェント機器と呼ばれる。
なお、ユーザ発話に対する音声認識処理や意味解析処理は、情報処理装置10内で行ってもよいし、クラウド側のサーバ20の1つであるデータ処理サーバにおいて実行する構成としもよい。
なお、ユーザ発話に対する音声認識処理や意味解析処理は、情報処理装置10内で行ってもよいし、クラウド側のサーバ20の1つであるデータ処理サーバにおいて実行する構成としもよい。
本開示の情報処理装置10は、図2に示すように、エージェント機器10aに限らず、スマホ10bやPC10c等のような様々な装置形態とすることが可能である。
情報処理装置10は、ユーザ1の発話を認識して、ユーザ発話に基づく応答を行う他、例えば、ユーザ発話に応じて図2に示すテレビ、エアコン等の外部機器30の制御も実行する。
例えばユーザ発話が「テレビのチャンネルを1に変えて」、あるいは「エアコンの設定温度を20度にして」といった要求である場合、情報処理装置10は、このユーザ発話の音声認識結果に基づいて、外部機器30に対して制御信号(Wi-Fi、赤外光など)を出力して、ユーザ発話に従った制御を実行する。
例えばユーザ発話が「テレビのチャンネルを1に変えて」、あるいは「エアコンの設定温度を20度にして」といった要求である場合、情報処理装置10は、このユーザ発話の音声認識結果に基づいて、外部機器30に対して制御信号(Wi-Fi、赤外光など)を出力して、ユーザ発話に従った制御を実行する。
なお、情報処理装置10は、ネットワークを介してサーバ20と接続され、サーバ20から、ユーザ発話に対する応答を生成するために必要となる情報を取得することが可能である。また、前述したように音声認識処理や意味解析処理をサーバに行わせる構成としてもよい。
次に、図3を参照して、本開示の情報処理装置10が実行する処理の概要について説明する。
本開示の情報処理装置10は、ユーザとシステム(情報処理装置10)との対話シーケンスに基づいて、情報処理装置10がユーザ発話の誤認識があったか否かを自ら判定する。
誤認識があったと判定した場合、正解の認識結果を導き出して、正解の認識結果に基づく対応を行う。
さらに、正解の認識結果をユーザ発話データに対応付けて学習データとして記憶部に格納する。
本開示の情報処理装置10は、ユーザとシステム(情報処理装置10)との対話シーケンスに基づいて、情報処理装置10がユーザ発話の誤認識があったか否かを自ら判定する。
誤認識があったと判定した場合、正解の認識結果を導き出して、正解の認識結果に基づく対応を行う。
さらに、正解の認識結果をユーザ発話データに対応付けて学習データとして記憶部に格納する。
すなわち、本開示の処理では、誤認識が発生した場合、ユーザが誤りを指摘することなく、情報処理装置10がユーザとの会話の中で情報処理装置10自身が、誤認識の有無を検知する。
図3を参照して、ユーザ1と、本開示の情報処理装置10との対話例を説明する。
まず、ユーザ1は、ステップS01において、以下のユーザ発話を行う。
ユーザ発話=今日の天気は?
まず、ユーザ1は、ステップS01において、以下のユーザ発話を行う。
ユーザ発話=今日の天気は?
このユーザ発話を入力した情報処理装置10は、ステップS02においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=京都の天気は晴れです。
このシステム発話は、情報処理装置10が、ステップS01のユーザ発話を、
「京都の天気は?」
と誤認識した結果によるシステム発話である。
システム発話=京都の天気は晴れです。
このシステム発話は、情報処理装置10が、ステップS01のユーザ発話を、
「京都の天気は?」
と誤認識した結果によるシステム発話である。
その後、ユーザ1は、ステップS03において、以下のユーザ発話を行う。
ユーザ発話=おすすめスポットは?
ユーザ発話=おすすめスポットは?
このユーザ発話を入力した情報処理装置10は、ステップS04においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=清水寺でイベントをしています。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と誤認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と正解認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
システム発話=清水寺でイベントをしています。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と誤認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と正解認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
その後、ユーザ1は、ステップS05において、以下のユーザ発話を行う。
ユーザ発話=東京ディズニーランドは?
ユーザ発話=東京ディズニーランドは?
このユーザ発話を入力した情報処理装置10は、ステップS06においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=本日は比較的空いています。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と誤認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と正解認識した結果、
ステップS05のユーザ発話=「東京ディズニーランドは?」と正解認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
システム発話=本日は比較的空いています。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と誤認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と正解認識した結果、
ステップS05のユーザ発話=「東京ディズニーランドは?」と正解認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
この時点で、情報処理装置10は、
ステップS01のユーザ発話=「京都の天気は?」、
ステップS03のユーザ発話=「おすすめスポットは?」、
ステップS05のユーザ発話=「東京ディズニーランドは?」、
これらのユーザ発話中、
ステップS01のユーザ発話=「京都の天気は?」、
このユーザ発話の認識に誤りがあった可能性がある。すなわち、先に情報処理装置10が実行した音声認識処理の信頼度が低いと判定する。
ステップS01のユーザ発話=「京都の天気は?」、
ステップS03のユーザ発話=「おすすめスポットは?」、
ステップS05のユーザ発話=「東京ディズニーランドは?」、
これらのユーザ発話中、
ステップS01のユーザ発話=「京都の天気は?」、
このユーザ発話の認識に誤りがあった可能性がある。すなわち、先に情報処理装置10が実行した音声認識処理の信頼度が低いと判定する。
さらに、その後、ユーザ1は、ステップS07において、以下のユーザ発話を行う。
ユーザ発話=スカイツリーはどう?
ユーザ発話=スカイツリーはどう?
このユーザ発話を入力した情報処理装置10は、ステップS08においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=今日は臨時定休日です。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と誤認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と正解認識した結果、
ステップS05のユーザ発話=「東京ディズニーランドは?」と正解認識した結果、
ステップS07のユーザ発話=「スカイツリーはどう?」と正解認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
システム発話=今日は臨時定休日です。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と誤認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と正解認識した結果、
ステップS05のユーザ発話=「東京ディズニーランドは?」と正解認識した結果、
ステップS07のユーザ発話=「スカイツリーはどう?」と正解認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
この時点で、情報処理装置10は、
ステップS01のユーザ発話=「京都の天気は?」、
ステップS03のユーザ発話=「おすすめスポットは?」、
ステップS05のユーザ発話=「東京ディズニーランドは?」、
ステップS07のユーザ発話=「スカイツリーはどう?」
これらのユーザ発話中、
ステップS01のユーザ発話=「京都の天気は?」、
このユーザ発話の認識に誤りがあった。すなわち誤認識があったと判定する。
ステップS01のユーザ発話=「京都の天気は?」、
ステップS03のユーザ発話=「おすすめスポットは?」、
ステップS05のユーザ発話=「東京ディズニーランドは?」、
ステップS07のユーザ発話=「スカイツリーはどう?」
これらのユーザ発話中、
ステップS01のユーザ発話=「京都の天気は?」、
このユーザ発話の認識に誤りがあった。すなわち誤認識があったと判定する。
なお、具体的には、情報処理装置10は、例えば、図4に示すようなユーザ発話に対する音声認識結果の候補として複数のユーザ発話候補と、各候補に対する認識の自身度を対応付けたデータ(ユーザ発話認識自信度データ)を生成し、この「ユーザ発話認識自信度データ」をユーザと情報処理装置間の対話の進行に従って逐次、更新する処理を行う。
情報処理装置10は、この「ユーザ発話認識自信度データ」の更新処理によって、上位に残るユーザ発話候補を最終的な正解のユーザ発話認識結果であると判定する。
さらに、正解のユーザ発話認識結果が得られた場合、その認識結果を、ユーザ発話データ(音声波形データ)に対応付けて学習データベースに記録する。
学習データベースに記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
具体的な処理例については後段で説明する。
さらに、正解のユーザ発話認識結果が得られた場合、その認識結果を、ユーザ発話データ(音声波形データ)に対応付けて学習データベースに記録する。
学習データベースに記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
具体的な処理例については後段で説明する。
[2.情報処理装置の構成例について]
次に、図5を参照して、情報処理装置の具体的な構成例について説明する。
図5は、ユーザ発話を認識して、ユーザ発話に対応する処理や応答を行う情報処理装置10の一構成例を示す図である。
次に、図5を参照して、情報処理装置の具体的な構成例について説明する。
図5は、ユーザ発話を認識して、ユーザ発話に対応する処理や応答を行う情報処理装置10の一構成例を示す図である。
図5に示すように、情報処理装置10は、音声入力部101、音声出力部102、画像出力部103、データ処理部130を有する。
なお、データ処理部130は、情報処理装置10内に構成することも可能であるが、情報処理装置10内に構成せず、外部サーバのデータ処理部を利用してもよい。サーバを利用した構成の場合、情報処理装置10は、音声入力部101から入力した入力データを、ネットワークを介してサーバに送信し、サーバのデータ処理部130の処理結果を受信して、出力部(音声出力部102、画像出力部103)を介して出力する。
なお、データ処理部130は、情報処理装置10内に構成することも可能であるが、情報処理装置10内に構成せず、外部サーバのデータ処理部を利用してもよい。サーバを利用した構成の場合、情報処理装置10は、音声入力部101から入力した入力データを、ネットワークを介してサーバに送信し、サーバのデータ処理部130の処理結果を受信して、出力部(音声出力部102、画像出力部103)を介して出力する。
次に、図5に示す情報処理装置10の構成要素について説明する。
音声入力部101は、例えばマイクであり、図1に示す情報処理装置10のマイク12に対応する。
音声出力部102は、図1に示す情報処理装置10のスピーカー14に対応する。
画像出力部103は、図1に示す情報処理装置10の表示部13に対応する。
なお、画像出力部103は、例えば、プロジェクタ等によって構成することも可能であり、また外部装置のテレビの表示部を利用した構成とすることも可能である。
音声入力部101は、例えばマイクであり、図1に示す情報処理装置10のマイク12に対応する。
音声出力部102は、図1に示す情報処理装置10のスピーカー14に対応する。
画像出力部103は、図1に示す情報処理装置10の表示部13に対応する。
なお、画像出力部103は、例えば、プロジェクタ等によって構成することも可能であり、また外部装置のテレビの表示部を利用した構成とすることも可能である。
データ処理部130は、前述したように情報処理装置10、または情報処理装置10と通信可能なサーバのいずれかに構成される。
データ処理部130は、ユーザ発話解析部150、記憶部160、応答生成部171、音声合成部172、表示画像生成部173を有する。
データ処理部130は、ユーザ発話解析部150、記憶部160、応答生成部171、音声合成部172、表示画像生成部173を有する。
ユーザ発話解析部150は、音声認識部151、発話意味解析部152、学習処理部153を有する。
記憶部160は、発話解析用辞書DB(データベース)161、学習データDB162、学習候補データDB163を有する。
記憶部160は、発話解析用辞書DB(データベース)161、学習データDB162、学習候補データDB163を有する。
ユーザの発話音声はマイクなどの音声入力部101に入力される。
音声入力部(マイク)101は、入力したユーザ発話音声をユーザ発話解析部150の音声認識部151に入力する。
音声認識部151は、例えばASR(Automatic Speech Recognition)機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
音声入力部(マイク)101は、入力したユーザ発話音声をユーザ発話解析部150の音声認識部151に入力する。
音声認識部151は、例えばASR(Automatic Speech Recognition)機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
なお、本開示の情報処理装置10の音声認識部151は、ユーザ発話対応の音声認識結果として、複数のユーザ発話候補を作成し、さらに、この候補各々の確からしさを示す評価値である「自信度」を設定する。すなわち、先に図4を参照して説明した「ユーザ発話認識自信度データ」を生成する。
「ユーザ発話認識自信度データ」を適用した処理の詳細については後段で説明する。
「ユーザ発話認識自信度データ」を適用した処理の詳細については後段で説明する。
音声認識部151の生成したユーザ発話対応の音声認識結果は、発話意味解析部152、および学習処理部153に入力される。
発話意味解析部152は、テキストデータに対する発話意味解析処理を実行する。
発話意味解析部152は、例えば、NLU(Natural Language Understanding)等の自然言語理解機能を有し、テキストデータからユーザ発話の意図(インテント:Intent)や、発話に含まれる意味のある要素(有意要素)である実体情報(エンティティ:Entity)を推定する。
発話意味解析部152は、テキストデータに対する発話意味解析処理を実行する。
発話意味解析部152は、例えば、NLU(Natural Language Understanding)等の自然言語理解機能を有し、テキストデータからユーザ発話の意図(インテント:Intent)や、発話に含まれる意味のある要素(有意要素)である実体情報(エンティティ:Entity)を推定する。
音声認識部151や発話意味解析部152の処理に際しては、記憶部160の発話解析用辞書DB(データベース)161に格納された知識辞書や、学習データDB162に格納された学習データが利用される。
発話解析用辞書DB161には、様々なユーザ発話対応のテキストデータの意味解釈に必要な辞書データが格納されている。
例えば、形態素解析、構文解析、母音解析等の解析処理に適用可能なデータ、さらに、一般知識辞書、専門用語辞書、類似発音辞書、重要語辞書等が含まれる。
学習データDB162には、ユーザ発話(音声データ)と、発話内容を示す意味データとの対応データが記録されている。さらにユーザ情報を示すコンテキスト情報等も記録されている。
この学習データは、ユーザ発話の学習処理によって逐次、更新される。
例えば、形態素解析、構文解析、母音解析等の解析処理に適用可能なデータ、さらに、一般知識辞書、専門用語辞書、類似発音辞書、重要語辞書等が含まれる。
学習データDB162には、ユーザ発話(音声データ)と、発話内容を示す意味データとの対応データが記録されている。さらにユーザ情報を示すコンテキスト情報等も記録されている。
この学習データは、ユーザ発話の学習処理によって逐次、更新される。
発話意味解析部152の実行する処理の具体例について説明する。例えば以下のユーザ発話が入力されたとする。
ユーザ発話=明日の大阪の午後の天気を教えて
このユーザ発話の、
意図(インテント)は、天気を知りたいであり、
実体情報(エンティティ)は、大阪、明日、午後、これらのワードである。
ユーザ発話=明日の大阪の午後の天気を教えて
このユーザ発話の、
意図(インテント)は、天気を知りたいであり、
実体情報(エンティティ)は、大阪、明日、午後、これらのワードである。
ユーザ発話から、意図(インテント)と、実体情報(エンティティ)を正確に推定、取得することができれば、情報処理装置10は、ユーザ発話に対する正確な処理を行うことができる。
例えば、上記の例では、明日の大阪の午後の天気を取得して、応答として出力することができる。
例えば、上記の例では、明日の大阪の午後の天気を取得して、応答として出力することができる。
発話意味解析部152によって取得されたユーザ発話解析情報は、応答生成部171に出力されるとともに、学習処理部153に出力される。
学習処理部153の実行する処理については後段で説明する。
学習処理部153の実行する処理については後段で説明する。
応答生成部171は、発話意味解析部152によって取得されたユーザ発話解析情報に基づいて、ユーザに対する応答情報を生成する。
応答情報は、音声、または画像の少なくともいずれかによって構成される。
音声合成部172は、応答生成部171の生成した応答に含まれる音声情報に基づく音声データを生成し、生成した応答音声データがスピーカー等の音声出力部102を介して出力される。
応答情報は、音声、または画像の少なくともいずれかによって構成される。
音声合成部172は、応答生成部171の生成した応答に含まれる音声情報に基づく音声データを生成し、生成した応答音声データがスピーカー等の音声出力部102を介して出力される。
表示画像生成部173は、応答生成部171の生成した応答に含まれる画像情報に基づく画像データを生成し、表示部等の画像出力部103を介して出力する。
表示情報生成部173は、ユーザに対するシステム発話のテキスト情報や、その他の提示情報を表示する。
例えばユーザが世界地図を見せてというユーザ発話を行った場合、世界地図を表示する。
世界地図は、例えばサービス提供サーバから取得可能である。
表示情報生成部173は、ユーザに対するシステム発話のテキスト情報や、その他の提示情報を表示する。
例えばユーザが世界地図を見せてというユーザ発話を行った場合、世界地図を表示する。
世界地図は、例えばサービス提供サーバから取得可能である。
なお、情報処理装置10は、ユーザ発話に対する処理実行機能も有する。
例えば、
ユーザ発話=音楽を再生して
ユーザ発話=面白い動画を見せて
このような発話である場合、情報処理装置10は、ユーザ発話に対する処理、すなわち音楽再生処理や、動画再生処理を行う。
図5には示していないが、情報処理装置10は、このような様々な処理実行機能も有する。
例えば、
ユーザ発話=音楽を再生して
ユーザ発話=面白い動画を見せて
このような発話である場合、情報処理装置10は、ユーザ発話に対する処理、すなわち音楽再生処理や、動画再生処理を行う。
図5には示していないが、情報処理装置10は、このような様々な処理実行機能も有する。
次に、学習処理部153の実行する処理について説明する。
学習処理部153は、以下の各データを入力する。
(1)音声認識部151の生成したユーザ発話対応の音声認識結果、複数のユーザ発話候補に自信度を対応付けたデータを「ユーザ発話認識自信度データ」、
(2)発話意味解析部152の生成したユーザ発話に対する解析結果情報、
学習処理部153は、これらの情報を入力して、ユーザ発話に対応する正しい音声認識結果、ユーザ意図等を取得するための学習処理を行う。
学習結果は、学習データDB162に格納される。
学習処理部153は、以下の各データを入力する。
(1)音声認識部151の生成したユーザ発話対応の音声認識結果、複数のユーザ発話候補に自信度を対応付けたデータを「ユーザ発話認識自信度データ」、
(2)発話意味解析部152の生成したユーザ発話に対する解析結果情報、
学習処理部153は、これらの情報を入力して、ユーザ発話に対応する正しい音声認識結果、ユーザ意図等を取得するための学習処理を行う。
学習結果は、学習データDB162に格納される。
学習処理部153は、音声認識部151の生成した複数のユーザ発話候補と自信度対応データである図4を参照して説明した「ユーザ発話認識自信度データ」を入力して、学習候補データDB163に格納する。
さらに、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を、ユーザと情報処理装置間の対話の進行に応じて、逐次更新する。
さらに、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を、ユーザと情報処理装置間の対話の進行に応じて、逐次更新する。
学習候補データDB163に格納されるデータの例について、図6を参照して説明する。
図6に示すように、学習処理部153は、学習候補データDB163に以下の各データを対応付けて記録する。
(a)ユーザ発話対応の音声データ、
(b)「ユーザ発話認識自信度データ」、
(c)ユーザ発話候補各々の形態素解析データ、
(d)ユーザ発話候補各々の母音解析データ、
(e)ユーザ発話候補各々の構文解析データ、
図6に示すように、学習処理部153は、学習候補データDB163に以下の各データを対応付けて記録する。
(a)ユーザ発話対応の音声データ、
(b)「ユーザ発話認識自信度データ」、
(c)ユーザ発話候補各々の形態素解析データ、
(d)ユーザ発話候補各々の母音解析データ、
(e)ユーザ発話候補各々の構文解析データ、
図6に示す学習候補データDB163に格納された、
(b)「ユーザ発話認識自信度データ」、
図6に示すこのデータ(b)は、先に図3、図4を参照して説明した例に相当する。
すなわち、図3に示すステップS01のユーザ発話、
ユーザ発話=今日の天気は?、
このユーザ発話に対して情報処理装置10が生成した複数のユーザ発話候補である。
(b)「ユーザ発話認識自信度データ」、
図6に示すこのデータ(b)は、先に図3、図4を参照して説明した例に相当する。
すなわち、図3に示すステップS01のユーザ発話、
ユーザ発話=今日の天気は?、
このユーザ発話に対して情報処理装置10が生成した複数のユーザ発話候補である。
図に示す例では、以下の複数のユーザ発話候補を示している。
(第1候補)京都の天気は
(第2候補)今日の天気は
(第3候補)今日の電気は
(第4候補)文教の天気は
これらの複数のユーザ発話候補は、音声認識部151がユーザ発話に基づいて生成した候補データである。
(第1候補)京都の天気は
(第2候補)今日の天気は
(第3候補)今日の電気は
(第4候補)文教の天気は
これらの複数のユーザ発話候補は、音声認識部151がユーザ発話に基づいて生成した候補データである。
さらに、音声認識部151は、これら複数のユーザ発話候補(1)~(4)の各々に、音声認識の自信度(初期値)を設定する。自信度は、本例では、1.0~0.0の範囲であり、1.0が最高自信度、0.0が最低自信度である。
音声認識部151は、ユーザ発話の音声認識の確実性が高い場合は自信度の値を高く設定し、音声認識の確実性が低い場合は自信度の値を低く設定する。
具体的には、例えば、
ユーザ発話に含まれる単語として、「今日」、「京都」のように、いずれの単語であるかの判定が困難な単語が含まれる場合は、各発話候補の信頼度が低く設定されることになる。
ユーザ発話に含まれる単語として、「今日」、「京都」のように、いずれの単語であるかの判定が困難な単語が含まれる場合は、各発話候補の信頼度が低く設定されることになる。
学習処理部153は、音声認識部151の生成した複数のユーザ発話候補と自信度対応データである図4を参照して説明した「ユーザ発話認識自信度データ」を入力して、学習候補データDB163に格納する。
学習処理部153は、学習候補データDB163に格納した「ユーザ発話認識自信度データ」、このデータの自信度の値を、ユーザと情報処理装置との対話の進行に応じて、更新する処理を行う。
学習処理部153は、この「ユーザ発話認識自信度データ」の更新処理によって、最上位に残るユーザ発話候補を最終的な正解のユーザ発話認識結果であると判定する。
学習処理部153は、学習候補データDB163に格納した「ユーザ発話認識自信度データ」、このデータの自信度の値を、ユーザと情報処理装置との対話の進行に応じて、更新する処理を行う。
学習処理部153は、この「ユーザ発話認識自信度データ」の更新処理によって、最上位に残るユーザ発話候補を最終的な正解のユーザ発話認識結果であると判定する。
さらに、正解のユーザ発話認識結果が得られた場合、その認識結果を、ユーザ発話データ(音声波形データ)に対応付けて学習データDB162に記録する。
図6に示すように、学習データDB162には、以下のデータが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
図6に示すように、学習データDB162には、以下のデータが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
このように、学習処理部153は、学習候補データDB163に格納した「ユーザ発話認識自信度データ」を更新する処理を実行する。
自信度の更新処理は、ユーザと情報処理装置との対話の進行に伴って実行される。
学習処理部153は、例えば、一連のユーザ発話の文脈解析や、話題解析を実行して、情報処理装置のユーザ発話認識結果に一致する文脈、話題が継続して行われているか否かを判定する。
自信度の更新処理は、ユーザと情報処理装置との対話の進行に伴って実行される。
学習処理部153は、例えば、一連のユーザ発話の文脈解析や、話題解析を実行して、情報処理装置のユーザ発話認識結果に一致する文脈、話題が継続して行われているか否かを判定する。
例えば、一致度が高いと判定した場合は、情報処理装置10の音声認識部151の音声認識結果が正しい可能性が高いと判定して、「ユーザ発話認識自信度データ」の最上位に記録された(第1候補)の自信度の値をさらに高くし、その他の候補の自信度の値を低くする更新処理を行う。
一方、一致度が低いと判定した場合は、情報処理装置10の音声認識部151の音声認識結果が正しくない可能性があると判定して、「ユーザ発話認識自信度データ」の最上位に記録された(第1候補)の自信度の値を低くし、その他の候補の自信度の値についても変更する。例えば、一連のユーザ発話の文脈や、話題に一致すると判定される候補の自信度を高くする更新処理を行う。
学習処理部153においては、学習候補データDB163に格納された複数のユーザ発話候補、例えば、
(第1候補)京都の天気は
(第2候補)今日の天気は
(第3候補)今日の電気は
(第4候補)文教の天気は
これらの複数のユーザ発話候補について、自信度を更新していくが、ある時点で、更新処理を終了し、更新処理終了後に、データを学習データDB162に格納する処理を行う。
(第1候補)京都の天気は
(第2候補)今日の天気は
(第3候補)今日の電気は
(第4候補)文教の天気は
これらの複数のユーザ発話候補について、自信度を更新していくが、ある時点で、更新処理を終了し、更新処理終了後に、データを学習データDB162に格納する処理を行う。
この自信度更新処理終了と、学習データDB162へのデータ格納タイミングは、図6に示すように、以下のいずれかのタイミングである。
(1)一定期間、自信度の最上位(第1候補)のユーザ発話候補が変わらない、
(2)最上位(第1候補)のユーザ発話候補の自信度が、予め規定したしきい値以上になった、
(3)ユーザの発話の話題が変更されたと認識した、
学習処理部153は、上記(1)~(3)のいずれかの事象が発生した場合に、学習候補データDB163に格納された複数のユーザ発話候補の自信度のデータ更新を終了する。
(1)一定期間、自信度の最上位(第1候補)のユーザ発話候補が変わらない、
(2)最上位(第1候補)のユーザ発話候補の自信度が、予め規定したしきい値以上になった、
(3)ユーザの発話の話題が変更されたと認識した、
学習処理部153は、上記(1)~(3)のいずれかの事象が発生した場合に、学習候補データDB163に格納された複数のユーザ発話候補の自信度のデータ更新を終了する。
さらに、「ユーザ発話認識自信度データ」の最上位に記録された(第1候補)のデータを学習データDB162に格納する処理を行う。
図6に示すように、学習データDB162には、以下のデータが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
この「(b)ユーザ発話の発話内容」は、「ユーザ発話認識自信度データ」の最上位に記録された(第1候補)のデータとなる。
図6に示すように、学習データDB162には、以下のデータが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
この「(b)ユーザ発話の発話内容」は、「ユーザ発話認識自信度データ」の最上位に記録された(第1候補)のデータとなる。
なお、学習処理部153は、この新たな学習データの生成、記録処理に際して、発話解析用辞書DB161に格納された類似発音辞書DBや重要語辞書DBについても、併せて更新するデータを作成し、発話解析用辞書DB161に更新データを記録する構成としてもよい。
学習処理部153における学習処理は、ユーザと情報処理装置との対話中に実行され、その間に、誤認識したユーザ発話の正解の発話の正解の認識結果が明らかになる場合がある。
このような場合、情報処理装置10の学習処理部153は、応答生成部171に対して、誤認識のあった部分が影響する会話部分について、訂正内容を含むシステム発話を作成して出力するように依頼する。
応答生成部171は、この依頼に応じたシステム発話を生成して出力する。
このような場合、情報処理装置10の学習処理部153は、応答生成部171に対して、誤認識のあった部分が影響する会話部分について、訂正内容を含むシステム発話を作成して出力するように依頼する。
応答生成部171は、この依頼に応じたシステム発話を生成して出力する。
訂正内容を含むシステム発話には複数のバリエーションがある。例えば、
(1)間違ったところを訂正する、
(2)重要語から算出した会話の重要度が高い会話についてのみ訂正する、
(3)間違っていたところをユーザに提示して再度質問して貰う、
(4)間違えたことのみを伝える。
(5)すべての会話を遡り訂正された内容で再度発話をする、
例えばこれらのバリエーションがある。
これらはユーザが設定してもよいし、学習処理部153、あるいは応答生成部171において自らの判断に基づいて選択する構成としてもよい。
(1)間違ったところを訂正する、
(2)重要語から算出した会話の重要度が高い会話についてのみ訂正する、
(3)間違っていたところをユーザに提示して再度質問して貰う、
(4)間違えたことのみを伝える。
(5)すべての会話を遡り訂正された内容で再度発話をする、
例えばこれらのバリエーションがある。
これらはユーザが設定してもよいし、学習処理部153、あるいは応答生成部171において自らの判断に基づいて選択する構成としてもよい。
[3.ユーザ発話候補に対する自信度の設定、更新処理の詳細について]
次に、ユーザ発話解析部150の音声認識部151や、学習処理部153が実行するユーザ発話候補各々に対する自信度の設定処理、更新処理の具体例について説明する。
次に、ユーザ発話解析部150の音声認識部151や、学習処理部153が実行するユーザ発話候補各々に対する自信度の設定処理、更新処理の具体例について説明する。
情報処理装置10のユーザ発話解析部150はユーザの発話内容を分析し、なんという言葉を発していたかの候補を作成する。
そのうち、最も自信度が高い内容を発話内容と判断して、その判断に基づいてシステム応答を生成する。
そのうち、最も自信度が高い内容を発話内容と判断して、その判断に基づいてシステム応答を生成する。
前述したように、本開示の構成では、ユーザ発話解析部150の音声認識部151は、1つのユーザ発話に対して、複数のユーザ発話候補を生成して、各候補に対して自信度の初期設定を行う。すなわち図4を参照して説明した「ユーザ発話認識自信度データ」を生成する。
その後、学習処理部153が、ユーザとの対話の進行に応じて、文脈や話題の一致度に基づいて、「ユーザ発話認識自信度データ」に記録された各候補の自信度の更新を行う。
その後、学習処理部153が、ユーザとの対話の進行に応じて、文脈や話題の一致度に基づいて、「ユーザ発話認識自信度データ」に記録された各候補の自信度の更新を行う。
学習処理部153の実行する学習候補データDB163に格納した「ユーザ発話認識自信度データ」、
このデータの更新処理の具体例について、図7を参照して説明する。
このデータの更新処理の具体例について、図7を参照して説明する。
図7に示す例は、先に図3を参照して説明したユーザ-システム(情報処理装置)間の対話例と同様の対話例である。
まず、ユーザ1は、ステップS01において、以下のユーザ発話を行う。
ユーザ発話=今日の天気は?
まず、ユーザ1は、ステップS01において、以下のユーザ発話を行う。
ユーザ発話=今日の天気は?
このユーザ発話を入力した情報処理装置10は、ユーザ発話解析部150の音声認識部151において音声認識処理を行い、ユーザ発話であると推定される複数の候補、すなわちユーザ発話候補を設定し、さらに、各候補に対して、音声認識結果との一致度に基づく自信度(初期値)を設定する。すなわち、「ユーザ発話認識自信度データ」を生成する。
図に示す例では、以下の複数のユーザ発話候補と自信度(初期値)が設定された「ユーザ発話認識自信度データ」の例を示している。
(第1候補)京都の天気は=自信度(0.7)
(第2候補)今日の天気は=自信度(0.5)
(第3候補)今日の電気は=自信度(0.3)
(第4候補)文教の天気は=自信度(0.2)
これらの複数のユーザ発話候補は、音声認識部151が、ステップS01のユーザ発話のみに基づいて生成した候補データである。
なお、自信度は、本例では、1.0~0.0の範囲であり、1.0が最高自信度、0.0が最低自信度である。
図に示す例では、以下の複数のユーザ発話候補と自信度(初期値)が設定された「ユーザ発話認識自信度データ」の例を示している。
(第1候補)京都の天気は=自信度(0.7)
(第2候補)今日の天気は=自信度(0.5)
(第3候補)今日の電気は=自信度(0.3)
(第4候補)文教の天気は=自信度(0.2)
これらの複数のユーザ発話候補は、音声認識部151が、ステップS01のユーザ発話のみに基づいて生成した候補データである。
なお、自信度は、本例では、1.0~0.0の範囲であり、1.0が最高自信度、0.0が最低自信度である。
この音声認識部151の生成した「ユーザ発話認識自信度データ」は、音声認識部151から学習処理部153に入力され、学習候補データDB163に格納される。
さらに、学習処理部153は、その後のユーザと情報処理装置10間の対話の進行に伴い、自信度の更新処理を実行する。
さらに、学習処理部153は、その後のユーザと情報処理装置10間の対話の進行に伴い、自信度の更新処理を実行する。
音声認識部151における音声認識処理の結果として、
ステップS01のユーザ発話は、
(第1候補)京都の天気は=自信度(0.7)
である可能性が最も高いと判定し、この判定結果に基づいて、情報処理装置10は、ステップS02において、以下のシステム発話を行う。
システム発話=京都の天気は晴れです。
このシステム発話は、情報処理装置10が、ステップS01のユーザ発話を、
「京都の天気は?」
と認識した結果によるシステム発話である。
ステップS01のユーザ発話は、
(第1候補)京都の天気は=自信度(0.7)
である可能性が最も高いと判定し、この判定結果に基づいて、情報処理装置10は、ステップS02において、以下のシステム発話を行う。
システム発話=京都の天気は晴れです。
このシステム発話は、情報処理装置10が、ステップS01のユーザ発話を、
「京都の天気は?」
と認識した結果によるシステム発話である。
その後、ユーザ1は、ステップS03において、以下のユーザ発話を行う。
ユーザ発話=おすすめスポットは?
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
ユーザ発話=おすすめスポットは?
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、ステップS01~S03のユーザと装置間の対話の文脈の一致度や、話題の一致度の少なくともいずれかの一致度を解析する。
学習処理部153は、例えば、ステップS01以後の一連のユーザと情報処理装置との対話の文脈解析や、話題解析を実行し、情報処理装置が先に実行したステップS01のユーザ発話認識結果に一致する文脈、話題が継続しているか否かを判定する。
学習処理部153は、例えば、ステップS01以後の一連のユーザと情報処理装置との対話の文脈解析や、話題解析を実行し、情報処理装置が先に実行したステップS01のユーザ発話認識結果に一致する文脈、話題が継続しているか否かを判定する。
例えば、一致度が高いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
一方、一致度が低いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が誤認識である可能性が高いと判定し、この(第1候補)の自信度の値を低くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
一方、一致度が低いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が誤認識である可能性が高いと判定し、この(第1候補)の自信度の値を低くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
図7に示す例では、学習処理部153は、ステップS01~S03のユーザと装置間の対話の文脈の一致度、話題の一致度は高いと判定する。
その結果、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
その結果、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
図に示す例では、学習処理部153は、ステップS01~S03のユーザと装置間の対話に基づいて、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度を以下のように更新している。
(第1候補)京都の天気は=自信度(0.9)
(第2候補)今日の天気は=自信度(0.6)
(第3候補)今日の電気は=自信度(0.3)
(第4候補)文教の天気は=自信度(0.1)
(第1候補)京都の天気は=自信度(0.9)
(第2候補)今日の天気は=自信度(0.6)
(第3候補)今日の電気は=自信度(0.3)
(第4候補)文教の天気は=自信度(0.1)
情報処理装置10は、ステップS04においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=清水寺でイベントをしています。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
この時点では、ステップS01のユーザ発話=「京都の天気は?」は誤認識であるとの判定は全くなされていない。
システム発話=清水寺でイベントをしています。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
この時点では、ステップS01のユーザ発話=「京都の天気は?」は誤認識であるとの判定は全くなされていない。
その後、ユーザ1は、ステップS05において、以下のユーザ発話を行う。
ユーザ発話=東京ディズニーランドは?
ユーザ発話=東京ディズニーランドは?
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、ステップS01~S05のユーザと装置間の対話の文脈の一致度、話題の一致度を解析する。
図7に示す例では、学習処理部153は、ステップS01~S05のユーザと装置間の対話の文脈の一致度、話題の一致度は低いと判定する。
ステップS01~04までは京都の話題であったのが、ステップS05で東京の話題に切り替わったからである。
図7に示す例では、学習処理部153は、ステップS01~S05のユーザと装置間の対話の文脈の一致度、話題の一致度は低いと判定する。
ステップS01~04までは京都の話題であったのが、ステップS05で東京の話題に切り替わったからである。
その結果、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しくない可能性が高いと判定し、この(第1候補)の自信度の値を低くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
図に示す例では、学習処理部153は、ステップS01~S05のユーザと装置間の対話に基づいて、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度を以下のように更新している。
(第1候補)京都の天気は=自信度(0.7)
(第2候補)今日の天気は=自信度(0.7)
(第3候補)今日の電気は=自信度(0.4)
(第4候補)文教の天気は=自信度(0.1)
(第1候補)京都の天気は=自信度(0.7)
(第2候補)今日の天気は=自信度(0.7)
(第3候補)今日の電気は=自信度(0.4)
(第4候補)文教の天気は=自信度(0.1)
次に、情報処理装置10は、ステップS06においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=本日は比較的空いています。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と認識した結果、
ステップS05のユーザ発話=「東京ディズニーランドは?」と認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
システム発話=本日は比較的空いています。
このシステム発話は、情報処理装置10が、
ステップS01のユーザ発話=「京都の天気は?」と認識した結果と、
ステップS03のユーザ発話=「おすすめスポットは?」と認識した結果、
ステップS05のユーザ発話=「東京ディズニーランドは?」と認識した結果、
これらの認識結果に基づいて生成されたシステム発話である。
この時点において、学習処理部153は、ステップS01のユーザ発話=「京都の天気は?」は誤認識である可能性があると判定している。
さらに、その後、ユーザ1は、ステップS07において、以下のユーザ発話を行う。
ユーザ発話=スカイツリーはどう?
ユーザ発話=スカイツリーはどう?
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、ステップS01~S07のユーザと装置間の対話の文脈の一致度、話題の一致度を解析する。
図7に示す例では、学習処理部153は、ステップS01~S07のユーザと装置間の対話の文脈の一致度、話題の一致度は低いと判定する。
ステップS01~04までは京都の話題であったのが、ステップS05とステップS07で東京の話題になっているからである。
図7に示す例では、学習処理部153は、ステップS01~S07のユーザと装置間の対話の文脈の一致度、話題の一致度は低いと判定する。
ステップS01~04までは京都の話題であったのが、ステップS05とステップS07で東京の話題になっているからである。
その結果、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しくない可能性が高いと判定し、ステップS01~S07のユーザと装置間の対話の文脈の一致度、話題の一致度を高めるたるに最も適切と判定されるユーザ発話候補、すなわち「今日の天気は」を、最も自信度の高い第1候補に設定する。その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
図に示す例では、学習処理部153は、ステップS01~S07のユーザと装置間の対話に基づいて、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度を以下のように更新している。
(第1候補)今日の天気は=自信度(0.9)
(第2候補)京都の天気は=自信度(0.5)
(第3候補)今日の電気は=自信度(0.5)
(第4候補)文教の天気は=自信度(0.1)
(第1候補)今日の天気は=自信度(0.9)
(第2候補)京都の天気は=自信度(0.5)
(第3候補)今日の電気は=自信度(0.5)
(第4候補)文教の天気は=自信度(0.1)
次に、情報処理装置10は、ステップS08においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=今日は臨時定休日です。
このシステム発話を行う時点で、情報処理装置10は。
ステップS01のユーザ発話=「京都の天気は?」が誤認識であると判定しており、正解の認識結果が、
ユーザ発話=「今日の天気は?」
であると判断している。
システム発話=今日は臨時定休日です。
このシステム発話を行う時点で、情報処理装置10は。
ステップS01のユーザ発話=「京都の天気は?」が誤認識であると判定しており、正解の認識結果が、
ユーザ発話=「今日の天気は?」
であると判断している。
この時点で、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の第1候補の自信度は、0.9である。すなわち、
(第1候補)今日の天気は=自信度(0.9)
である。
例えば、しきい値=0.9以上の自信度が設定された場合、学習処理部153は、その候補が正しい認識結果であると判断し、このデータ「(第1候補)今日の天気は」をユーザ発話音声データに対応付けて学習データDB162に格納する。
(第1候補)今日の天気は=自信度(0.9)
である。
例えば、しきい値=0.9以上の自信度が設定された場合、学習処理部153は、その候補が正しい認識結果であると判断し、このデータ「(第1候補)今日の天気は」をユーザ発話音声データに対応付けて学習データDB162に格納する。
すなわち、先に図6を参照して説明したように、学習データDB162には、以下のデータが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
なお、「ユーザ発話認識自信度データ」の各ユーザ発話候補に対して設定する自信度の算出処理は、様々な設定が可能である。具体例を以下に示す。
例えば、自信度の値をfとしたとき、
音声認識結果から得られる初期値は、音声認識確信値スコアaを、そのまま用い、
f=a
として算出することができる。
また、その後、学習処理部153が後続対話シーケンスに基づいて更新する自信度の値fは、複数の連続する発話の文脈や話題の一致度を示す評価スコアbを用いて、
f=a×b
上記式によって算出することができる。
例えば、自信度の値をfとしたとき、
音声認識結果から得られる初期値は、音声認識確信値スコアaを、そのまま用い、
f=a
として算出することができる。
また、その後、学習処理部153が後続対話シーケンスに基づいて更新する自信度の値fは、複数の連続する発話の文脈や話題の一致度を示す評価スコアbを用いて、
f=a×b
上記式によって算出することができる。
[4.学習処理部における自信度算出処理の具体例について]
先に説明したように、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度の更新に際して、ユーザと装置間の対話の文脈の一致度、話題の一致度を考慮した処理を行うと説明した。
この具体的な処理について説明する。
先に説明したように、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度の更新に際して、ユーザと装置間の対話の文脈の一致度、話題の一致度を考慮した処理を行うと説明した。
この具体的な処理について説明する。
学習処理部153は、ユーザと装置間の対話の文脈の解析に際して、例えば、発話内容の形態素解析、構文解析結果を用いて、各発話内容を示すベクトルを計算する。
ベクトル計算には事前に学習した学習データを利用し、各発話内容が近いほど、類似するベクトルが算出される。
各発話のベクトルの類似度が高ければ、文脈、話題にずれない一貫性のある対話が成立していると判定する。
ベクトル計算には事前に学習した学習データを利用し、各発話内容が近いほど、類似するベクトルが算出される。
各発話のベクトルの類似度が高ければ、文脈、話題にずれない一貫性のある対話が成立していると判定する。
なお、発話内に含まれる場所や、時間や、コミュニティ等を示す単語については、ベクトル設定に対する影響度が高くなるように設定することが好ましい。
例えば図7を参照して説明した例において、
ステップS01のユーザ発話=「京都の天気は?」
ステップS05のユーザ発話=「東京ディズニーランドは?」
これらの発話内容を示すベクトルは、場所を示す単語として「京都」、「東京」の全く異なる場所が含まれるので、各発話のベクトルは、大きく異なることになる。
学習処理部153は、例えば、上記のように一連のユーザ発話に「京都」と「東京」の全く異なる場所が含まれる場合、文脈、話題の一貫性が低いと判定する。
例えば図7を参照して説明した例において、
ステップS01のユーザ発話=「京都の天気は?」
ステップS05のユーザ発話=「東京ディズニーランドは?」
これらの発話内容を示すベクトルは、場所を示す単語として「京都」、「東京」の全く異なる場所が含まれるので、各発話のベクトルは、大きく異なることになる。
学習処理部153は、例えば、上記のように一連のユーザ発話に「京都」と「東京」の全く異なる場所が含まれる場合、文脈、話題の一貫性が低いと判定する。
すなわち、図7の例では、
ステップS01のユーザ発話=「京都の天気は?」
この音声認識結果が誤認識である可能性が高いと判定することになる。
この場合、学習処理部153は、「ユーザ発話認識自信度データ」に含まれるこのユーザ発話候補の自信度を低下させる更新処理を実行する。
ステップS01のユーザ発話=「京都の天気は?」
この音声認識結果が誤認識である可能性が高いと判定することになる。
この場合、学習処理部153は、「ユーザ発話認識自信度データ」に含まれるこのユーザ発話候補の自信度を低下させる更新処理を実行する。
なお、発話に場所が含まれる場合のベクトル算出処理や自信度更新処理については、さらに細かく設定することが好ましい。例えば、「品川」と「東京」のように品川が東京の中に含まれるような場所の差異については、ベクトルは大きな差が発生しないようにする。すなわち類似度が高いものと判定する。
また、情報処理装置10の発するシステム発話と、その後の対話内容とのベクトルを比較して、発話内容の整合性を自信度へ反映させる構成としてもよい。
また、情報処理装置10の発するシステム発話と、その後の対話内容とのベクトルを比較して、発話内容の整合性を自信度へ反映させる構成としてもよい。
[5.ユーザ発話に含まれる場所、時間、コミュニティの誤認識に対応する処理例について]
次に、ユーザ発話に含まれる場所、時間、コミュニティの誤認識に対応する処理例について説明する。
次に、ユーザ発話に含まれる場所、時間、コミュニティの誤認識に対応する処理例について説明する。
ユーザ発話に場所、時間、コミュニティ等を示す単語が含まれ、これらの発話を、情報処理装置が誤認識した場合、情報処理装置が誤認識に基づく応答を行ってもユーザは、その応答が、情報処理装置10がユーザ発話を正しく認識した結果であると判断してしまう場合がある。
このような場合、誤った情報がユーザに提供されたままとなる可能性がある。
このような場合、誤った情報がユーザに提供されたままとなる可能性がある。
本開示の情報処理装置10は、このような場合、すなわち、情報処理装置10が誤認識に基づく応答を行ってしまった場合でも、最終的にユーザが情報処理装置10から取得する情報が、ユーザの要求する情報に自動修正する。
以下、具体的な処理例について説明する。
以下の3つの処理例について、順次、説明する。
(処理例1)場所についての誤認識が発生した場合の対応処理例
(処理例2)時間についての誤認識が発生した場合の対応処理例
(処理例3)コミュニティについての誤認識が発生した場合の対応処理例
以下、具体的な処理例について説明する。
以下の3つの処理例について、順次、説明する。
(処理例1)場所についての誤認識が発生した場合の対応処理例
(処理例2)時間についての誤認識が発生した場合の対応処理例
(処理例3)コミュニティについての誤認識が発生した場合の対応処理例
[5-1.(処理例1)場所についての誤認識が発生した場合の対応処理例]
まず、処理例1として、図8を参照して場所についての誤認識が発生した場合の対応処理例について説明する。
まず、処理例1として、図8を参照して場所についての誤認識が発生した場合の対応処理例について説明する。
日本各地には同様の地名や似たよう地名がいくつかある。図8の例は、「フシミ」を発話した例について説明している。「フシミ」には例えば京都の伏見や名古屋の伏見がある。京都や名古屋といった言葉がない場合、情報処理装置10はどちらの伏見のことを言っているかわからない。
図8に示すように、まず、ユーザ1は、ステップS21において、以下のユーザ発話を行う。
ユーザ発話=伏見(ふしみ)駅の天気は?
ユーザ発話=伏見(ふしみ)駅の天気は?
ユーザ1は、このユーザ発話において、名古屋の伏見の天気を聞いている。
一方、このユーザ発話を入力した情報処理装置10は、ユーザ発話解析部150の音声認識部151において音声認識処理を行い、ユーザ発話であると推定される複数の候補、すなわちユーザ発話候補を設定し、さらに、各候補に対して、音声認識結果との一致度に基づく自信度(初期値)を設定する。すなわち、「ユーザ発話認識自信度データ」を生成する。
一方、このユーザ発話を入力した情報処理装置10は、ユーザ発話解析部150の音声認識部151において音声認識処理を行い、ユーザ発話であると推定される複数の候補、すなわちユーザ発話候補を設定し、さらに、各候補に対して、音声認識結果との一致度に基づく自信度(初期値)を設定する。すなわち、「ユーザ発話認識自信度データ」を生成する。
図に示す例では、以下の複数のユーザ発話候補と自信度(初期値)が設定された「ユーザ発話認識自信度データ」の例を示している。
(第1候補)伏見(京都)=自信度(0.7)
(第2候補)富士見(埼玉)=自信度(0.5)
(第3候補)伏見(名古屋)=自信度(0.3)
(第4候補)ふじみ野=自信度(0.2)
なお、ここでは、ユーザ発話に含まれる場所を示す単語の候補データのみを抽出して説明する。
(第1候補)伏見(京都)=自信度(0.7)
(第2候補)富士見(埼玉)=自信度(0.5)
(第3候補)伏見(名古屋)=自信度(0.3)
(第4候補)ふじみ野=自信度(0.2)
なお、ここでは、ユーザ発話に含まれる場所を示す単語の候補データのみを抽出して説明する。
これらの複数のユーザ発話候補は、音声認識部151が、ステップS21のユーザ発話のみに基づいて生成した候補データである。
なお、自信度は、本例では、1.0~0.0の範囲であり、1.0が最高自信度、0.0が最低自信度である。
なお、自信度は、本例では、1.0~0.0の範囲であり、1.0が最高自信度、0.0が最低自信度である。
この音声認識部151の生成した「ユーザ発話認識自信度データ」は、音声認識部151から学習処理部153に入力され、学習候補データDB163に格納される。
さらに、学習処理部153は、その後のユーザと情報処理装置10間の対話の進行に伴い、自信度の更新処理を実行する。
さらに、学習処理部153は、その後のユーザと情報処理装置10間の対話の進行に伴い、自信度の更新処理を実行する。
音声認識部151における音声認識処理の結果として、
ステップS21のユーザ発話は、
(第1候補)伏見(京都)=自信度(0.7)
である可能性が最も高いと判定し、この判定結果に基づいて、情報処理装置10は、ステップS22において、以下のシステム発話を行う。
システム発話=晴れです。
このシステム発話は、情報処理装置10が、ステップS21のユーザ発話を、
「伏見(京都)駅の天気は?」
と認識した結果によるシステム発話である。
ステップS21のユーザ発話は、
(第1候補)伏見(京都)=自信度(0.7)
である可能性が最も高いと判定し、この判定結果に基づいて、情報処理装置10は、ステップS22において、以下のシステム発話を行う。
システム発話=晴れです。
このシステム発話は、情報処理装置10が、ステップS21のユーザ発話を、
「伏見(京都)駅の天気は?」
と認識した結果によるシステム発話である。
その後、ユーザ1は、ステップS23において、以下のユーザ発話を行う。
ユーザ発話=ここから伏見までのアクセスは?
ユーザ1は、このユーザ発話において、名古屋の伏見までのアクセスを聞いている。
ユーザ発話=ここから伏見までのアクセスは?
ユーザ1は、このユーザ発話において、名古屋の伏見までのアクセスを聞いている。
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、ステップS21~S23のユーザと装置間の対話の文脈の一致度、話題の一致度を解析する。
学習処理部153は、例えば、一連のユーザ発話の文脈解析や、話題解析を実行して、情報処理装置のユーザ発話認識結果に一致する文脈、話題が継続して行われているか否かを判定する。
学習処理部153は、例えば、一連のユーザ発話の文脈解析や、話題解析を実行して、情報処理装置のユーザ発話認識結果に一致する文脈、話題が継続して行われているか否かを判定する。
例えば、一致度が高いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
一方、一致度が低いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が誤認識である可能性が高いと判定し、この(第1候補)の自信度の値を低くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
一方、一致度が低いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が誤認識である可能性が高いと判定し、この(第1候補)の自信度の値を低くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
図8に示す例では、学習処理部153は、ステップS21~S23のユーザと装置間の対話の文脈の一致度、話題の一致度は高いと判定する。
その結果、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
その結果、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
図に示す例では、学習処理部153は、ステップS21~S23のユーザと装置間の対話に基づいて、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度を以下のように更新している。
(第1候補)伏見(京都)=自信度(0.7)
(第2候補)富士見(埼玉)=自信度(0.5)
(第3候補)伏見(名古屋)=自信度(0.3)
(第4候補)ふじみ野=自信度(0.1)
(第1候補)伏見(京都)=自信度(0.7)
(第2候補)富士見(埼玉)=自信度(0.5)
(第3候補)伏見(名古屋)=自信度(0.3)
(第4候補)ふじみ野=自信度(0.1)
情報処理装置10は、ステップS24においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=東京駅から新幹線で京都駅まで・・・
このシステム発話は、情報処理装置10が、
ステップS21のユーザ発話=「伏見駅の天気は?」を、「京都の伏見駅の天気は?」と認識した結果と、
ステップS23のユーザ発話=「ここから伏見までのアクセスは?」の認識結果、
これらの認識結果に基づいて生成されたシステム発話である。
この時点では、ステップS21のユーザ発話=「伏見駅の天気は?」の認識処理において、場所の誤認識がなされているとの判定は全くなされていない。
システム発話=東京駅から新幹線で京都駅まで・・・
このシステム発話は、情報処理装置10が、
ステップS21のユーザ発話=「伏見駅の天気は?」を、「京都の伏見駅の天気は?」と認識した結果と、
ステップS23のユーザ発話=「ここから伏見までのアクセスは?」の認識結果、
これらの認識結果に基づいて生成されたシステム発話である。
この時点では、ステップS21のユーザ発話=「伏見駅の天気は?」の認識処理において、場所の誤認識がなされているとの判定は全くなされていない。
その後、ユーザ1は、ステップS25において、以下のユーザ発話を行う。
ユーザ発話=ここから名古屋までのアクセスは?
ユーザ発話=ここから名古屋までのアクセスは?
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、ステップS21~S25のユーザと装置間の対話の文脈の一致度、話題の一致度を解析する。
図8に示す例では、学習処理部153は、ステップS21~S25のユーザと装置間の対話の文脈の一致度、話題の一致度は低いと判定する。
ステップS21~S24までは京都の話題であったのが、ステップS25で名古屋の話題に切り替わったからである。
図8に示す例では、学習処理部153は、ステップS21~S25のユーザと装置間の対話の文脈の一致度、話題の一致度は低いと判定する。
ステップS21~S24までは京都の話題であったのが、ステップS25で名古屋の話題に切り替わったからである。
その結果、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しくない可能性が高いと判定し、この(第1候補)の自信度の値を低くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
図に示す例では、学習処理部153は、ステップS21~S25のユーザと装置間の対話に基づいて、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度を以下のように更新している。
(第1候補)伏見(名古屋)=自信度(0.7)
(第2候補)伏見(京都)=自信度(0.6)
(第3候補)富士見(埼玉)=自信度(0.2)
(第4候補)ふじみ野=自信度(0.1)
(第1候補)伏見(名古屋)=自信度(0.7)
(第2候補)伏見(京都)=自信度(0.6)
(第3候補)富士見(埼玉)=自信度(0.2)
(第4候補)ふじみ野=自信度(0.1)
次に、情報処理装置10は、ステップS26においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=東京駅から新幹線で名古屋駅まで・・・
このシステム発話は、情報処理装置10が、
ステップS21のユーザ発話=「伏見駅の天気は?」を、「ユーザ発話認識自信度データ」の「(第1候補)伏見(名古屋)=自信度(0.7)」のデータに従って、名古屋の伏見駅であると再認識した結果と、
ステップS25のユーザ発話=「ここから名古屋までのアクセスは?」の認識結果、
これらの認識結果に基づいて生成されたシステム発話である。
システム発話=東京駅から新幹線で名古屋駅まで・・・
このシステム発話は、情報処理装置10が、
ステップS21のユーザ発話=「伏見駅の天気は?」を、「ユーザ発話認識自信度データ」の「(第1候補)伏見(名古屋)=自信度(0.7)」のデータに従って、名古屋の伏見駅であると再認識した結果と、
ステップS25のユーザ発話=「ここから名古屋までのアクセスは?」の認識結果、
これらの認識結果に基づいて生成されたシステム発話である。
この時点において、学習処理部153は、ステップS21のユーザ発話=「伏見駅の天気は?」に対して、場所の誤認識を行った可能性があると判定している。
さらに、その後、ユーザ1は、ステップS27において、以下のユーザ発話を行う。
ユーザ発話=東山線の時刻表を教えて?
ユーザ発話=東山線の時刻表を教えて?
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、ステップS21のユーザ発話と、ステップS27のユーザ発話の文脈の一致度、話題の一致度を解析する。
なお、この時点で、ステップS21のユーザ発話は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の第1候補、すなわち、
(第1候補)伏見(名古屋)=自信度(0.7)
として認識されている。
なお、この時点で、ステップS21のユーザ発話は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の第1候補、すなわち、
(第1候補)伏見(名古屋)=自信度(0.7)
として認識されている。
図8に示す例では、学習処理部153は、ステップS21のユーザ発話と、ステップS27のユーザ発話の文脈の一致度、話題の一致度は高いと判定する。
ステップS21とステップS27はいずれも名古屋の伏見の話題になっているからである。
ステップS21とステップS27はいずれも名古屋の伏見の話題になっているからである。
その結果、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度を以下のように更新する。
(第1候補)伏見(名古屋)=自信度(0.9)
(第2候補)伏見(京都)=自信度(0.5)
(第3候補)富士見(埼玉)=自信度(0.2)
(第4候補)ふじみ野=自信度(0.1)
学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の各候補の自信度を以下のように更新する。
(第1候補)伏見(名古屋)=自信度(0.9)
(第2候補)伏見(京都)=自信度(0.5)
(第3候補)富士見(埼玉)=自信度(0.2)
(第4候補)ふじみ野=自信度(0.1)
次に、情報処理装置10は、ステップS28においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=10:00,10:30,11:10・・・
このシステム発話を行う時点で、情報処理装置10は。
ステップS21のユーザ発話=「伏見駅の天気は?」が、名古屋の伏見駅の天気はの意味であることを再認識している。
システム発話=10:00,10:30,11:10・・・
このシステム発話を行う時点で、情報処理装置10は。
ステップS21のユーザ発話=「伏見駅の天気は?」が、名古屋の伏見駅の天気はの意味であることを再認識している。
この時点で、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の第1候補の自信度は、0.9である。すなわち、
(第1候補)伏見(京都)=自信度(0.9)
である。
例えば、しきい値=0.9以上の自信度が設定された場合、学習処理部153は、その候補が正しい認識結果であると判断し、このデータをユーザ発話音声データに対応付けて学習データDB162に格納する。
(第1候補)伏見(京都)=自信度(0.9)
である。
例えば、しきい値=0.9以上の自信度が設定された場合、学習処理部153は、その候補が正しい認識結果であると判断し、このデータをユーザ発話音声データに対応付けて学習データDB162に格納する。
すなわち、先に図6を参照して説明したように、学習データDB162には、以下のデータが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
[5-2.(処理例2)時間についての誤認識が発生した場合の対応処理例]
次に、処理例2として、図9を参照して時間についての誤認識が発生した場合の対応処理例について説明する。
次に、処理例2として、図9を参照して時間についての誤認識が発生した場合の対応処理例について説明する。
時間についても、例えば一時(いちじ)と七時(七時)等、誤認識の発生する可能性の高い発話があり、この誤認識については、情報処理装置10が誤認識しても、ユーザはそれに気づかず対話を進めてしまう可能性がある。
図9に示すように、まず、ユーザ1は、ステップS51において、以下のユーザ発話を行う。
ユーザ発話=A店を予約したい
ユーザ発話=A店を予約したい
情報処理装置10は、ステップS52において、以下のシステム発話を行う。
システム発話=いつの予約を確認しますか?
システム発話=いつの予約を確認しますか?
その後、ユーザ1は、ステップS53において、以下のユーザ発話を行う。
ユーザ発話=七時(しちじ)の予約は
ユーザ発話=七時(しちじ)の予約は
このユーザ発話を入力した情報処理装置10の音声認識部151は、
音声認識結果のユーザ発話候補として、
(第1候補)一時(いちじ)
(第2候補)七時(しちじ)
これらの候補データを記録した「ユーザ発話認識自信度データ」を生成する。
なお、ここでは、ユーザ発話に含まれる時間を示す単語の候補データのみを抽出して説明する。
学習処理部153は、音声認識部151の生成した「ユーザ発話認識自信度データ」を学習候補データDB163に格納する。
音声認識結果のユーザ発話候補として、
(第1候補)一時(いちじ)
(第2候補)七時(しちじ)
これらの候補データを記録した「ユーザ発話認識自信度データ」を生成する。
なお、ここでは、ユーザ発話に含まれる時間を示す単語の候補データのみを抽出して説明する。
学習処理部153は、音声認識部151の生成した「ユーザ発話認識自信度データ」を学習候補データDB163に格納する。
情報処理装置10は、ステップS54においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=一時は予約可能です。
このシステム発話は、情報処理装置10が、
ステップS53のユーザ発話=「七時の予約は?」を、「一時の予約は?」と誤認識した結果に基づいて生成されたシステム発話である。
この時点では、情報処理装置10は、時間の誤認識がなされているとの判定は全くなされていない。
システム発話=一時は予約可能です。
このシステム発話は、情報処理装置10が、
ステップS53のユーザ発話=「七時の予約は?」を、「一時の予約は?」と誤認識した結果に基づいて生成されたシステム発話である。
この時点では、情報処理装置10は、時間の誤認識がなされているとの判定は全くなされていない。
その後、ユーザ1は、ステップS55において、以下のユーザ発話を行う。
ユーザ発話=メニューを教えて
ユーザ発話=メニューを教えて
次に、情報処理装置10は、ステップS56においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=メニューはAランチ、Bランチがあります。
このシステム発話は、情報処理装置10が、
ステップS53のユーザ発話=「七時の予約は」を、「一時の予約は」と誤認識した結果を反映したシステム応答である。
システム発話=メニューはAランチ、Bランチがあります。
このシステム発話は、情報処理装置10が、
ステップS53のユーザ発話=「七時の予約は」を、「一時の予約は」と誤認識した結果を反映したシステム応答である。
さらに、その後、ユーザ1は、ステップS57において、以下のユーザ発話を行う。
ユーザ発話=ディナーメニューは?
ユーザ発話=ディナーメニューは?
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、
ステップS53のユーザ発話認識結果=「一時の予約は」と、
ステップS57のユーザ発話の認識結果=「ディナーメニューは?」
これらの発話の文脈の一致度、話題の一致度を解析する。
図9に示す例では、学習処理部153は、ステップS53のユーザ発話と、ステップS57の発話の文脈の一致度、話題の一致度は低いと判定する。
ステップS53では、お昼の話をしているのに、ステップS57ではディナーの話に切り替わったからである。
ステップS53のユーザ発話認識結果=「一時の予約は」と、
ステップS57のユーザ発話の認識結果=「ディナーメニューは?」
これらの発話の文脈の一致度、話題の一致度を解析する。
図9に示す例では、学習処理部153は、ステップS53のユーザ発話と、ステップS57の発話の文脈の一致度、話題の一致度は低いと判定する。
ステップS53では、お昼の話をしているのに、ステップS57ではディナーの話に切り替わったからである。
その結果、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しくない可能性が高いと判定し、この(第1候補)の自信度の値を低くする。例えば、以下のように候補の入れ替えを行う。
(第1候補)七時(しちじ)
(第2候補)一時(いちじ)
(第1候補)七時(しちじ)
(第2候補)一時(いちじ)
情報処理装置10は、この再認識結果に基づいて、ステップS58において、以下のシステム発話を行う。
システム発話=Aコース、Bコース、おすすめはCコースです。
このシステム発話は、情報処理装置10が、
ステップS53のユーザ発話=「七時の予約は」を正しく再認識した結果を反映したシステム応答である。
システム発話=Aコース、Bコース、おすすめはCコースです。
このシステム発話は、情報処理装置10が、
ステップS53のユーザ発話=「七時の予約は」を正しく再認識した結果を反映したシステム応答である。
さらに、その後、ユーザ1は、ステップS59において、以下のユーザ発話を行う。
ユーザ発話=19時にそコースで予約して
ユーザ発話=19時にそコースで予約して
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、ステップS53のユーザ発話と、ステップS57のユーザ発話の文脈の一致度、話題の一致度を解析する。
なお、この時点で、ステップS53のユーザ発話は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の第1候補、すなわち、
(第1候補)七時(しちじ)=自信度(0.9)
として認識されている。
なお、この時点で、ステップS53のユーザ発話は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の第1候補、すなわち、
(第1候補)七時(しちじ)=自信度(0.9)
として認識されている。
図8に示す例では、学習処理部153は、ステップS53のユーザ発話と、ステップS57のユーザ発話の文脈の一致度、話題の一致度は高いと判定する。
ステップS53とステップS57はいずれも夕方の話になっているからである。
ステップS53とステップS57はいずれも夕方の話になっているからである。
その結果、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
次に、情報処理装置10は、ステップS58においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=19時に予約しました。
このシステム発話を行う時点で、情報処理装置10は、
ステップS53のユーザ発話=「七時の予約は」を正しく認識している。
システム発話=19時に予約しました。
このシステム発話を行う時点で、情報処理装置10は、
ステップS53のユーザ発話=「七時の予約は」を正しく認識している。
この時点で、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の第1候補の自信度は、0.9である。すなわち、
(第1候補)七時(しちじ)=自信度(0.9)
である。
例えば、しきい値=0.9以上の自信度が設定された場合、学習処理部153は、その候補が正しい認識結果であると判断し、このデータをユーザ発話音声データに対応付けて学習データDB162に格納する。
(第1候補)七時(しちじ)=自信度(0.9)
である。
例えば、しきい値=0.9以上の自信度が設定された場合、学習処理部153は、その候補が正しい認識結果であると判断し、このデータをユーザ発話音声データに対応付けて学習データDB162に格納する。
すなわち、先に図6を参照して説明したように、学習データDB162には、以下のデータが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
(a)ユーザ発話対応の音声データ、
(b)ユーザ発話の発話内容、
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
[5-3.(処理例3)コミュニティについての誤認識が発生した場合の対応処理例]
次に、処理例3として、図10を参照してコミュニティについての誤認識が発生した場合の対応処理例について説明する。
次に、処理例3として、図10を参照してコミュニティについての誤認識が発生した場合の対応処理例について説明する。
コミュニティに関してもバックグラウンドによって呼び名が変わることがある。例えば「芸大」であれば関東の方は東京芸術大学を指すことが多いが、関西では大阪芸術大学などを指す場合がある。
図10に示す例は、「メイダイ」を含む発話の例である。「メイダイ」は明治大学の略称としてとらえられることが多いが、東海地方では名古屋大学のことを「メイダイ」と呼ぶことがある。例では、ユーザ1が名古屋のメイダイと言い直すことにより、情報処理装置10から正しい情報を取得している。
図10に示す例は、「メイダイ」を含む発話の例である。「メイダイ」は明治大学の略称としてとらえられることが多いが、東海地方では名古屋大学のことを「メイダイ」と呼ぶことがある。例では、ユーザ1が名古屋のメイダイと言い直すことにより、情報処理装置10から正しい情報を取得している。
図10に示すように、まず、ユーザ1は、ステップS71において、以下のユーザ発話を行う。
ユーザ発話=名大(めいだい)の試験日は?
ユーザ発話=名大(めいだい)の試験日は?
ユーザ1は、このユーザ発話において、名古屋の名古屋大学の試験日を聞いている。
一方、このユーザ発話を入力した情報処理装置10は、ユーザ発話解析部150の音声認識部151において音声認識処理を行い、ユーザ発話であると推定される複数の候補、すなわちユーザ発話候補を設定し、さらに、各候補に対して、音声認識結果との一致度に基づく自信度(初期値)を設定する。すなわち、「ユーザ発話認識自信度データ」を生成する。
一方、このユーザ発話を入力した情報処理装置10は、ユーザ発話解析部150の音声認識部151において音声認識処理を行い、ユーザ発話であると推定される複数の候補、すなわちユーザ発話候補を設定し、さらに、各候補に対して、音声認識結果との一致度に基づく自信度(初期値)を設定する。すなわち、「ユーザ発話認識自信度データ」を生成する。
例えば、以下の複数のユーザ発話候補を含む「ユーザ発話認識自信度データ」を生成する。
(第1候補)明大(明治大学)
(第2候補)名大(名古屋大学)
なお、ここでは、ユーザ発話に含まれるコミュニティを示す単語の候補データのみを抽出して説明する。
(第1候補)明大(明治大学)
(第2候補)名大(名古屋大学)
なお、ここでは、ユーザ発話に含まれるコミュニティを示す単語の候補データのみを抽出して説明する。
この音声認識部151の生成した「ユーザ発話認識自信度データ」は、音声認識部151から学習処理部153に入力され、学習候補データDB163に格納される。
さらに、学習処理部153は、その後のユーザと情報処理装置10間の対話の進行に伴い、自信度の更新処理を実行する。
さらに、学習処理部153は、その後のユーザと情報処理装置10間の対話の進行に伴い、自信度の更新処理を実行する。
音声認識部151における音声認識処理の結果として、
ステップS71のユーザ発話は、
(第1候補)明大(明治大学)
である可能性が最も高いと判定し、この判定結果に基づいて、情報処理装置10は、ステップS72において、以下のシステム発話を行う。
システム発話=2月20日です(明大)
このシステム発話は、情報処理装置10が、ステップS71のユーザ発話を、
「明大(めいだい)の試験日は?」
と誤認識した結果によるシステム発話である。
ステップS71のユーザ発話は、
(第1候補)明大(明治大学)
である可能性が最も高いと判定し、この判定結果に基づいて、情報処理装置10は、ステップS72において、以下のシステム発話を行う。
システム発話=2月20日です(明大)
このシステム発話は、情報処理装置10が、ステップS71のユーザ発話を、
「明大(めいだい)の試験日は?」
と誤認識した結果によるシステム発話である。
その後、ユーザ1は、ステップS73において、以下のユーザ発話を行う。
ユーザ発話=アクセス方法は?
ユーザ1は、このユーザ発話において、名古屋大学までのアクセスを聞いている。
ユーザ発話=アクセス方法は?
ユーザ1は、このユーザ発話において、名古屋大学までのアクセスを聞いている。
このユーザ発話を入力した情報処理装置10の学習処理部153は、ステップS71のユーザ発話を、
「明大(めいだい)の試験日は?」
と誤認識しているため、ユーザが、明治大学までのアクセス方法を聞いていると解釈して、ステップS74においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=御茶ノ水駅から徒歩3分です。
「明大(めいだい)の試験日は?」
と誤認識しているため、ユーザが、明治大学までのアクセス方法を聞いていると解釈して、ステップS74においてユーザ発話に対する応答として、以下のシステム発話を行う。
システム発話=御茶ノ水駅から徒歩3分です。
その後、ユーザ1は、ステップS75において、以下のユーザ発話を行う。
ユーザ発話=名古屋のメイダイは?
ユーザ発話=名古屋のメイダイは?
このユーザ発話を入力した情報処理装置10の学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」を更新する。
学習処理部153は、
ステップS71のユーザ発話認識結果=「明大の試験日は」と、
ステップS75のユーザ発話の認識結果=「名古屋のメイダイは?」
これらの発話の文脈の一致度、話題の一致度を解析する。
図10に示す例では、学習処理部153は、ステップS71のユーザ発話と、ステップS75の発話の文脈の一致度、話題の一致度は低いと判定する。
ステップS71では、明治大学の話をしているのに、ステップS75では名古屋大学の話に切り替わったからである。
ステップS71のユーザ発話認識結果=「明大の試験日は」と、
ステップS75のユーザ発話の認識結果=「名古屋のメイダイは?」
これらの発話の文脈の一致度、話題の一致度を解析する。
図10に示す例では、学習処理部153は、ステップS71のユーザ発話と、ステップS75の発話の文脈の一致度、話題の一致度は低いと判定する。
ステップS71では、明治大学の話をしているのに、ステップS75では名古屋大学の話に切り替わったからである。
その結果、学習処理部153は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しくない可能性が高いと判定し、この(第1候補)の自信度の値を低くする。例えば、以下のように候補の入れ替えを行う。
(第1候補)名大(名古屋大学)
(第2候補)明大(明治大学)
学習処理部153は、この(第1候補)名大(名古屋大学)のデータを、学習データDB162に格納する。
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
(第1候補)名大(名古屋大学)
(第2候補)明大(明治大学)
学習処理部153は、この(第1候補)名大(名古屋大学)のデータを、学習データDB162に格納する。
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
情報処理装置10は、この再認識結果に基づいて、ステップS76において、以下のシステム発話を行う。
システム発話=試験日は2月10日で、名古屋大学駅から徒歩5分です。
システム発話=試験日は2月10日で、名古屋大学駅から徒歩5分です。
このシステム発話は、情報処理装置10が、
ステップS71のユーザ発話=「名大の試験日は」を正しく再認識した結果を反映したシステム応答である。
ステップS71のユーザ発話=「名大の試験日は」を正しく再認識した結果を反映したシステム応答である。
この例では、ステップS76におけるシステム発話に、ステップS72とステップS74で行った誤ったシステム応答を全て訂正する応答を含めている。
すなわち、ステップS72とステップS74のシステム応答は、
ステップS71のユーザ発話の誤認識に基づくシステム応答であり、ユーザが必要とする情報とは異なる。
すなわち、ステップS72とステップS74のシステム応答は、
ステップS71のユーザ発話の誤認識に基づくシステム応答であり、ユーザが必要とする情報とは異なる。
情報処理装置10は、このようにユーザの要求する情報と異なる情報を提供した場合、これらの情報をすべて訂正した情報を含むシステム応答を生成して出力する。
この処理により、ユーザは、情報処理装置10が出力した誤った情報をそのまま認識してしまうといったことが防止される。
この処理により、ユーザは、情報処理装置10が出力した誤った情報をそのまま認識してしまうといったことが防止される。
なお、図8~図10を参照して説明した処理例は、情報処理装置10が、ユーザのバックグラウンドデータを記憶部に格納しておらず、利用できないことを前提とした処理である。
しかしながら、既に学習したデータとしてユーザのバックグラウンド情報等のコンテキスト情報が記憶部160に格納されている場合、この情報を利用した処理が可能である。
例えば発話しているユーザが名古屋出身というユーザ情報を記憶部160に格納している場合、あるいは、過去にたくさんの名古屋の話をしているといったコンテキスト情報を記憶部160に格納している場合、これらの情報を反映してユーザ発話の自信度の評価値を設定することができ、より早く正しい認識を行うことができる。
例えば、図8を参照して説明した「伏見」について、記憶部160に格納されたユーザ情報に基づいて名古屋の伏見を(第1候補)とした「ユーザ発話認識自信度データ」を生成することが可能となり、より早い正しい認識が可能となる。
しかしながら、既に学習したデータとしてユーザのバックグラウンド情報等のコンテキスト情報が記憶部160に格納されている場合、この情報を利用した処理が可能である。
例えば発話しているユーザが名古屋出身というユーザ情報を記憶部160に格納している場合、あるいは、過去にたくさんの名古屋の話をしているといったコンテキスト情報を記憶部160に格納している場合、これらの情報を反映してユーザ発話の自信度の評価値を設定することができ、より早く正しい認識を行うことができる。
例えば、図8を参照して説明した「伏見」について、記憶部160に格納されたユーザ情報に基づいて名古屋の伏見を(第1候補)とした「ユーザ発話認識自信度データ」を生成することが可能となり、より早い正しい認識が可能となる。
[6.誤認識があったと判定した場合のシステム発話について]
次に、情報処理装置10が、ユーザ発話に対して誤認識があったと判定した場合に実行するシステム発話について説明する。
次に、情報処理装置10が、ユーザ発話に対して誤認識があったと判定した場合に実行するシステム発話について説明する。
情報処理装置10が、ユーザ発話に対して誤認識があったと判定した場合のシステム発話の実行態様としては、例えば、以下のような態様がある。
(a)会話を遡って全部訂正する。
(b)間違ったところだけ訂正する。
(c)必要なところだけを訂正する。例えば重要度で判断する。
(d)間違ったことのみを伝えて、再度質問を促す。
これらはユーザが設定してもよいし、学習処理部153や応答生成部171において自らの判断に基づいて選択する構成としてもよい。
(a)会話を遡って全部訂正する。
(b)間違ったところだけ訂正する。
(c)必要なところだけを訂正する。例えば重要度で判断する。
(d)間違ったことのみを伝えて、再度質問を促す。
これらはユーザが設定してもよいし、学習処理部153や応答生成部171において自らの判断に基づいて選択する構成としてもよい。
なお、システム発話は、応答生成部171において実行される。
例えば、学習処理部153は、ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定した場合、この誤認識情報を応答生成部171に出力する。
応答生成部171は、この情報に従って、上記(a)~(d)いずれかの設定に従ったシステム発話を実行する。
例えば、学習処理部153は、ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定した場合、この誤認識情報を応答生成部171に出力する。
応答生成部171は、この情報に従って、上記(a)~(d)いずれかの設定に従ったシステム発話を実行する。
これらのシステム対応の具体例について説明する。
(a)会話を遡って全部訂正する。
会話を遡って全部訂正する処理は、誤認識と判定されたユーザ発話に対するシステム応答から今までの対話に含まれるすべてのシステム応答について、遡って、再度、正しい認識の下でシステム発話を実行する処理である。
(a)会話を遡って全部訂正する。
会話を遡って全部訂正する処理は、誤認識と判定されたユーザ発話に対するシステム応答から今までの対話に含まれるすべてのシステム応答について、遡って、再度、正しい認識の下でシステム発話を実行する処理である。
例えば先に図7を参照して説明した処理例では、情報処理装置10は、誤認識があったと判定した後に実行するシステム発話は、以下の発話となる。
名古屋の伏見の天気を回答、
伏見までのアクセス方法を提示、
名古屋までのアクセス方法を提示、
東山線の時刻表を提示、
これらの情報を全て含むシステム発話を行う。
名古屋の伏見の天気を回答、
伏見までのアクセス方法を提示、
名古屋までのアクセス方法を提示、
東山線の時刻表を提示、
これらの情報を全て含むシステム発話を行う。
(b)間違ったところだけ訂正する。
間違ったところだけ訂正する処理は、全部訂正と同じように誤認識と判定されたユーザ発話に対するシステム応答から今までの対話に含まれるすべてのシステム応答について遡るが、間違っている部分のみを選択して、発話する。
例えば先に図7を参照して説明した処理例では、情報処理装置10は、誤認識があったと判定した後に実行するシステム発話は、以下の発話となる。
名古屋の伏見の天気を回答、
伏見までのアクセス方法、
これらのみを発話すればよい。
名古屋までのアクセスと東山線の時刻表については誤認識した結果は影響しない会話のため、再度発話は行わない。
間違ったところだけ訂正する処理は、全部訂正と同じように誤認識と判定されたユーザ発話に対するシステム応答から今までの対話に含まれるすべてのシステム応答について遡るが、間違っている部分のみを選択して、発話する。
例えば先に図7を参照して説明した処理例では、情報処理装置10は、誤認識があったと判定した後に実行するシステム発話は、以下の発話となる。
名古屋の伏見の天気を回答、
伏見までのアクセス方法、
これらのみを発話すればよい。
名古屋までのアクセスと東山線の時刻表については誤認識した結果は影響しない会話のため、再度発話は行わない。
(c)必要なところだけを訂正する。例えば重要度で判断する。
この処理は、基本的には、上記(b)の間違ったところだけを訂正する処理例と類似する。ただし、発話内容の重要度を判断して、重要と思われる情報のみについて、正しい認識結果に基づく発話を行う。
例えば、学習処理部153は、記憶部160に格納された重要語辞書DBを参照して会話の重要度を算出する。誤認識が発生した場合にそれまでの会話の重要度を算出し、重要度が高いと判断された場合の会話のみ訂正の発話を実行する。
また、重要度の算出には最初の会話を高重要度にするといった会話の順番を用いた処理を行ってもよい。
この処理は、基本的には、上記(b)の間違ったところだけを訂正する処理例と類似する。ただし、発話内容の重要度を判断して、重要と思われる情報のみについて、正しい認識結果に基づく発話を行う。
例えば、学習処理部153は、記憶部160に格納された重要語辞書DBを参照して会話の重要度を算出する。誤認識が発生した場合にそれまでの会話の重要度を算出し、重要度が高いと判断された場合の会話のみ訂正の発話を実行する。
また、重要度の算出には最初の会話を高重要度にするといった会話の順番を用いた処理を行ってもよい。
(d)間違ったことのみを伝えて、再度質問を促す。
この処理は、特に訂正の発話は行わず、誤ったことのみを伝える方法である。
例えば先に図7を参照して説明した処理例では、情報処理装置10は、名古屋の伏見のことを京都の伏見と間違えていたこととをユーザに伝えて、再度質問を促す。
この処理は、特に訂正の発話は行わず、誤ったことのみを伝える方法である。
例えば先に図7を参照して説明した処理例では、情報処理装置10は、名古屋の伏見のことを京都の伏見と間違えていたこととをユーザに伝えて、再度質問を促す。
[7.情報処理装置の実行する処理のシーケンスについて]
次に、図11以下のフローチャートを参照して情報処理装置10の実行する処理のシーケンスについて説明する。
図11以下に示すフローチャートに従った処理は、例えば情報処理装置10の記憶部に格納されたプログラムに従って実行される。例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として実行可能である。
次に、図11以下のフローチャートを参照して情報処理装置10の実行する処理のシーケンスについて説明する。
図11以下に示すフローチャートに従った処理は、例えば情報処理装置10の記憶部に格納されたプログラムに従って実行される。例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として実行可能である。
図11に示すフローの各ステップの処理について説明する。
(ステップS101)
まず、情報処理装置10は、ステップS101において、ユーザ発話を入力する。
この処理は、図5に示す情報処理装置10の音声入力部101の実行する処理である。
(ステップS102)
次に、情報処理装置10は、ステップS102において、ユーザ発話の音声認識、意味解析を実行する。
この処理は、図5に示す情報処理装置10の音声認識部151、発話意味解析部152の実行する処理である。
まず、情報処理装置10は、ステップS101において、ユーザ発話を入力する。
この処理は、図5に示す情報処理装置10の音声入力部101の実行する処理である。
(ステップS102)
次に、情報処理装置10は、ステップS102において、ユーザ発話の音声認識、意味解析を実行する。
この処理は、図5に示す情報処理装置10の音声認識部151、発話意味解析部152の実行する処理である。
(ステップS103)
次に、情報処理装置10は、ステップS103において、ユーザ発話の音声認識結果に従い、複数のユーザ発話候補と自信度を対応付けたユーザ発話認識自信度データを生成する。
次に、情報処理装置10は、ステップS103において、ユーザ発話の音声認識結果に従い、複数のユーザ発話候補と自信度を対応付けたユーザ発話認識自信度データを生成する。
この処理は、図5に示す情報処理装置10の音声認識部151が実行する処理である。ユーザ発話解析部150の音声認識部151は、1つのユーザ発話に対して、複数のユーザ発話候補を生成して、各候補に対して自信度の初期設定を行う。
例えば、図7を参照して説明した例では、ステップS01の
ユーザ発話=今日の天気は?
このユーザ発話に対して、以下のようなユーザ発話認識自信度データを生成する。
(第1候補)京都の天気は=自信度(0.7)
(第2候補)今日の天気は=自信度(0.5)
(第3候補)今日の電気は=自信度(0.3)
(第4候補)文教の天気は=自信度(0.2)
ユーザ発話=今日の天気は?
このユーザ発話に対して、以下のようなユーザ発話認識自信度データを生成する。
(第1候補)京都の天気は=自信度(0.7)
(第2候補)今日の天気は=自信度(0.5)
(第3候補)今日の電気は=自信度(0.3)
(第4候補)文教の天気は=自信度(0.2)
音声認識部151は、1つのユーザ発話に対して複数の音声認識候補を生成し、各候補と認識結果との一致度に基づいて、各候補対応の自信度(初期値)を設定する。なお、自信度は、本例では、1.0~0.0の範囲であり、1.0が最高自信度、0.0が最低自信度である。
音声認識部151が生成したユーザ発話認識自信度データは、学習処理部153を介して記憶部1360の学習候補データDB163に格納される。
なお、先に図6を参照て説明したように、学習候補データDB163には、以下の各データが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)「ユーザ発話認識自信度データ」、
(c)ユーザ発話候補各々の形態素解析データ、
(d)ユーザ発話候補各々の母音解析データ、
(e)ユーザ発話候補各々の構文解析データ、
なお、先に図6を参照て説明したように、学習候補データDB163には、以下の各データが対応付けて記録される。
(a)ユーザ発話対応の音声データ、
(b)「ユーザ発話認識自信度データ」、
(c)ユーザ発話候補各々の形態素解析データ、
(d)ユーザ発話候補各々の母音解析データ、
(e)ユーザ発話候補各々の構文解析データ、
(ステップS104)
次に、情報処理装置10は、ステップS104において、先行発話対応の先行ユーザ発話認識自信度データが記憶部160に格納済みか否かを判定する。
次に、情報処理装置10は、ステップS104において、先行発話対応の先行ユーザ発話認識自信度データが記憶部160に格納済みか否かを判定する。
この処理は、図5に示す情報処理装置10の学習処理部153が実行する処理である。ユーザ発話解析部150の学習処理部153は、ステップS104において、先行発話対応の先行ユーザ発話認識自信度データが記憶部160の学習候補データDB163に格納済みか否かを判定する。
格納済みである場合は、ステップS105に進む。
格納されていない場合は、ステップS108に進む。
格納済みである場合は、ステップS105に進む。
格納されていない場合は、ステップS108に進む。
(ステップS105)
ステップS104において、先行発話対応の先行ユーザ発話認識自信度データが記憶部160の学習候補データDB163に格納済みであると判定した場合、ステップS105の処理を実行する。
ステップS104において、先行発話対応の先行ユーザ発話認識自信度データが記憶部160の学習候補データDB163に格納済みであると判定した場合、ステップS105の処理を実行する。
ステップS105では、対話履歴の文脈、話題解析に基づいて、学習候補データDB163に格納済みの先行ユーザ発話認識自信度データを更新する。
この処理は、図5に示す情報処理装置10の学習処理部153が実行する処理である。
この処理は、図5に示す情報処理装置10の学習処理部153が実行する処理である。
例えば、先に説明した図7に示す例では、学習候補データDB163に格納済みの先行ユーザ発話認識自信度データは、ステップS01の発話に基づいて生成されたユーザ発話認識自信度データである。
このデータについて、学習処理部153は、例えば、図7に示すステップS03以降のユーザ発話が入力された段階で、自信度の更新処理を行う。
学習処理部153は、ステップS01以後の一連のユーザと情報処理装置との対話の文脈解析や、話題解析を実行し、情報処理装置が先に実行したステップS01のユーザ発話認識結果に一致する文脈、話題が継続しているか否かを判定する。
このデータについて、学習処理部153は、例えば、図7に示すステップS03以降のユーザ発話が入力された段階で、自信度の更新処理を行う。
学習処理部153は、ステップS01以後の一連のユーザと情報処理装置との対話の文脈解析や、話題解析を実行し、情報処理装置が先に実行したステップS01のユーザ発話認識結果に一致する文脈、話題が継続しているか否かを判定する。
例えば、一致度が高いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が正しい結果である可能性が高いと判定し、この(第1候補)の自信度の値を高くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
一方、一致度が低いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が誤認識である可能性が高いと判定し、この(第1候補)の自信度の値を低くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
一方、一致度が低いと判定した場合は、学習候補データDB163に格納された「ユーザ発話認識自信度データ」の(第1候補)が誤認識である可能性が高いと判定し、この(第1候補)の自信度の値を低くし、その他の候補については、(第1候補)の構成単語との類似度に応じて値を更新する。
(ステップS106)
次に、情報処理装置10は、ステップS106において、先行ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定したか否かを判定する。
先行ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定した場合は、ステップS107に進む。
一方、先行ユーザ発話認識自信度データの第1候補が変更されず、誤認識があったと判定しなかった場合は、ステップS108に進む。
次に、情報処理装置10は、ステップS106において、先行ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定したか否かを判定する。
先行ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定した場合は、ステップS107に進む。
一方、先行ユーザ発話認識自信度データの第1候補が変更されず、誤認識があったと判定しなかった場合は、ステップS108に進む。
(ステップS107)
ステップS106において、先行ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定した場合は、ステップS107に進む。
ステップS107において、情報処理装置10は、誤認識の判定結果に従って、正しい認識結果に基づくシステム発話を実行する。
ステップS106において、先行ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定した場合は、ステップS107に進む。
ステップS107において、情報処理装置10は、誤認識の判定結果に従って、正しい認識結果に基づくシステム発話を実行する。
この処理は、図5に示す情報処理装置10の学習処理部153、応答生成部171等において実行される。
学習処理部153は、先行ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定した場合、この誤認識情報を応答生成部171に出力する。
学習処理部153は、先行ユーザ発話認識自信度データの第1候補が変更され、誤認識があったと判定した場合、この誤認識情報を応答生成部171に出力する。
応答生成部171は、この情報に従って、例えば以下のいずれかの設定に従ったシステム発話を実行する。
(a)会話を遡って全部訂正する。
(b)間違ったところだけ訂正する。
(c)必要なところだけを訂正する。例えば重要度で判断する。
(d)間違ったことのみを伝えて、再度質問を促す。
(a)会話を遡って全部訂正する。
(b)間違ったところだけ訂正する。
(c)必要なところだけを訂正する。例えば重要度で判断する。
(d)間違ったことのみを伝えて、再度質問を促す。
(ステップS108)
一方、ステップS106において、先行ユーザ発話認識自信度データの第1候補が変更されず、誤認識があったと判定されなかった場合は、ステップS108に進む。
ステップS108において、情報処理装置10は、ユーザ発話の認識結果に基づくシステム発話を実行する。
一方、ステップS106において、先行ユーザ発話認識自信度データの第1候補が変更されず、誤認識があったと判定されなかった場合は、ステップS108に進む。
ステップS108において、情報処理装置10は、ユーザ発話の認識結果に基づくシステム発話を実行する。
なお、ステップS104において、先行発話対応の先行ユーザ発話認識自信度データが記憶部160の学習候補データDB163に格納されていないと判定した場合も、ステップS108に進み、ユーザ発話の認識結果に基づくシステム発話を実行する。
なお、このフローには示していないが、学習候補データDB163に格納された「ユーザ発話認識自信度データ」は、学習処理部153によって、逐次、更新されるが、ある時点で、更新処理を終了し、更新処理終了後に、データを学習データDB162に格納する処理を行う。
この自信度更新処理終了と、学習データDB162へのデータ格納タイミングは、先に図6を参照して説明したように、以下のいずれかのタイミングである。
(1)一定期間、自信度の最上位のユーザ発話候補が変わらない、
(2)最上位のユーザ発話候補の自信度が、予め規定したしきい値以上になった、
(3)ユーザの発話の話題が変更されたと認識した、
学習処理部153は、上記(1)~(3)のいずれかの事象が発生した場合に、学習候補データDB163に格納された複数のユーザ発話候補の自信度のデータ更新を終了し、データを学習データDB162に格納する処理を行う。
(1)一定期間、自信度の最上位のユーザ発話候補が変わらない、
(2)最上位のユーザ発話候補の自信度が、予め規定したしきい値以上になった、
(3)ユーザの発話の話題が変更されたと認識した、
学習処理部153は、上記(1)~(3)のいずれかの事象が発生した場合に、学習候補データDB163に格納された複数のユーザ発話候補の自信度のデータ更新を終了し、データを学習データDB162に格納する処理を行う。
学習データDB162に記録されたデータは、その後のユーザ発話の音声認識や意図解釈に用いられることになり、誤認識が低減することになる。
[8.情報処理装置、および情報処理システムの構成例について]
本開示の情報処理装置10の実行する処理について説明したが、図5に示す情報処理装置10の各構成要素の処理機能は、すべて一つの装置、例えばユーザの所有するエージェント機器、あるいはスマホやPC等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。
本開示の情報処理装置10の実行する処理について説明したが、図5に示す情報処理装置10の各構成要素の処理機能は、すべて一つの装置、例えばユーザの所有するエージェント機器、あるいはスマホやPC等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。
図12にシステム構成例を示す。
図12(1)情報処理システム構成例1は、図5に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやPC、あるいは音声入出力と画像入出力機能を持つエージェント機器等のユーザ端末である情報処理装置410内に構成した例である。
ユーザ端末に相当する情報処理装置410は、例えば応答文生成時に外部サービスを利用する場合にのみ、サービス提供サーバ420と通信を実行する。
図12(1)情報処理システム構成例1は、図5に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやPC、あるいは音声入出力と画像入出力機能を持つエージェント機器等のユーザ端末である情報処理装置410内に構成した例である。
ユーザ端末に相当する情報処理装置410は、例えば応答文生成時に外部サービスを利用する場合にのみ、サービス提供サーバ420と通信を実行する。
サービス提供サーバ420は、例えば音楽提供サーバ、映画等のコンテンツ提供サーバ、ゲームサーバ、天気情報提供サーバ、交通情報提供サーバ、医療情報提供サーバ、観光情報提供サーバ等であり、ユーザ発話に対する処理の実行や応答生成に必要となる情報を提供可能なサーバ群によって構成される。
一方、図12(2)情報処理システム構成例2は、図5に示す情報処理装置の機能の一部をユーザの所有するスマホやPC、エージェント機器等のユーザ端末である情報処理装置410内に構成し、一部を情報処理装置と通信可能なデータ処理サーバ460において実行する構成としたシステム例である。
例えば、図5に示す装置中の入力部110、出力部120のみをユーザ端末側の情報処理装置410側に設け、その他の機能をすべてサーバ側で実行するといった構成等が可能である。
なお、ユーザ端末側の機能と、サーバ側の機能の機能分割態様は、様々な異なる設定が可能であり、また、1つの機能を双方で実行する構成も可能である。
なお、ユーザ端末側の機能と、サーバ側の機能の機能分割態様は、様々な異なる設定が可能であり、また、1つの機能を双方で実行する構成も可能である。
[9.情報処理装置のハードウェア構成例について]
次に、図13を参照して、情報処理装置のハードウェア構成例について説明する。
図13を参照して説明するハードウェアは、先に図5を参照して説明した情報処理装置のハードウェア構成例であり、また、図12を参照して説明したデータ処理サーバ460を構成する情報処理装置のハードウェア構成の一例である。
次に、図13を参照して、情報処理装置のハードウェア構成例について説明する。
図13を参照して説明するハードウェアは、先に図5を参照して説明した情報処理装置のハードウェア構成例であり、また、図12を参照して説明したデータ処理サーバ460を構成する情報処理装置のハードウェア構成の一例である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホン、センサーなどよりなる入力部506、ディスプレイ、スピーカーなどよりなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
[10.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理装置。
(1) ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理装置。
(2) 前記学習処理部は、
前記ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、前記自信度の更新処理を実行する(1)に記載の情報処理装置。
前記ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、前記自信度の更新処理を実行する(1)に記載の情報処理装置。
(3) 前記音声認識部は、
ユーザ発話の音声認識結果に基づく複数のユーザ発話候補と、前記ユーザ発話候補各々の確からしさを示す評価値である自信度を対応付けたユーザ発話認識自信度データを生成し、
前記学習処理部は、
前記ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、前記ユーザ発話認識自信度データの自信度の値を更新する(1)または(2)に記載の情報処理装置。
ユーザ発話の音声認識結果に基づく複数のユーザ発話候補と、前記ユーザ発話候補各々の確からしさを示す評価値である自信度を対応付けたユーザ発話認識自信度データを生成し、
前記学習処理部は、
前記ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、前記ユーザ発話認識自信度データの自信度の値を更新する(1)または(2)に記載の情報処理装置。
(4) 前記ユーザ発話認識自信度データは、
最も自信度の値が高いユーザ発話候補を第1候補として設定し、その他の候補を第2候補以下に自信度の値の順に並べたリストであり、
前記学習処理部は、
前記ユーザ発話認識自信度データの自信度の値の更新によって、前記第1候補が変更された場合に、前記ユーザ発話の誤認識があったと判定する(3)に記載の情報処理装置。
最も自信度の値が高いユーザ発話候補を第1候補として設定し、その他の候補を第2候補以下に自信度の値の順に並べたリストであり、
前記学習処理部は、
前記ユーザ発話認識自信度データの自信度の値の更新によって、前記第1候補が変更された場合に、前記ユーザ発話の誤認識があったと判定する(3)に記載の情報処理装置。
(5) 前記学習処理部は、
前記ユーザ発話の誤認識があったと判定した場合、応答処理部に誤認識があったことの通知を実行し、
応答処理部は、誤認識の判定結果に応じて、正しい認識結果に基づくシステム応答を出力する(4)に記載の情報処理装置。
前記ユーザ発話の誤認識があったと判定した場合、応答処理部に誤認識があったことの通知を実行し、
応答処理部は、誤認識の判定結果に応じて、正しい認識結果に基づくシステム応答を出力する(4)に記載の情報処理装置。
(6) 前記応答処理部は、
(a)前記ユーザ発話以後の全ての訂正処理、
(b)間違った部分のみの訂正処理、
(c)重要度に応じた訂正処理、
(d)間違ったことのみの通知処理、
上記(a)~(d)のいずれかの処理を実行する(5)に記載の情報処理装置。
(a)前記ユーザ発話以後の全ての訂正処理、
(b)間違った部分のみの訂正処理、
(c)重要度に応じた訂正処理、
(d)間違ったことのみの通知処理、
上記(a)~(d)のいずれかの処理を実行する(5)に記載の情報処理装置。
(7) 前記学習処理部は、
前記ユーザ発話認識自信度データの更新処理を、予め規定した規定条件の発生に応じて停止し、前記ユーザ発話認識自信度データに記録された最も自信度の値が高い最上位のユーザ発話候補である第1候補データを学習済みデータとして記憶部に格納する(3)~(6)いずれかに記載の情報処理装置。
前記ユーザ発話認識自信度データの更新処理を、予め規定した規定条件の発生に応じて停止し、前記ユーザ発話認識自信度データに記録された最も自信度の値が高い最上位のユーザ発話候補である第1候補データを学習済みデータとして記憶部に格納する(3)~(6)いずれかに記載の情報処理装置。
(8) 前記規定条件は、
(条件1)一定期間、自信度の最上位のユーザ発話候補が変わらない、
(条件2)最上位のユーザ発話候補の自信度が予め規定したしきい値以上になった、
(条件3)ユーザの発話の話題が変更されたと認識した、
上記のいずれかである(7)に記載の情報処理装置。
(条件1)一定期間、自信度の最上位のユーザ発話候補が変わらない、
(条件2)最上位のユーザ発話候補の自信度が予め規定したしきい値以上になった、
(条件3)ユーザの発話の話題が変更されたと認識した、
上記のいずれかである(7)に記載の情報処理装置。
(9) ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部を有し、
前記データ処理サーバは、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理システム。
前記ユーザ端末は、
ユーザ発話を入力する音声入力部を有し、
前記データ処理サーバは、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理システム。
(10) 情報処理装置において実行する情報処理方法であり、
音声認識部が、ユーザ発話の音声認識処理を実行するステップと、
学習処理部が、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行するステップを有する情報処理方法。
音声認識部が、ユーザ発話の音声認識処理を実行するステップと、
学習処理部が、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行するステップを有する情報処理方法。
(11) ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する情報処理方法。
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する情報処理方法。
(12) 情報処理装置において情報処理を実行させるプログラムであり、
音声認識部に、ユーザ発話の音声認識処理を実行させ、
学習処理部に、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行させるプログラム。
音声認識部に、ユーザ発話の音声認識処理を実行させ、
学習処理部に、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、ユーザ発話に対する誤認識をその後の対話内容に基づいて検出する装置、方法が実現される。
具体的には、例えば、ユーザ発話の音声認識処理を実行する音声認識部と、ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する。音声認識部は、ユーザ発話の音声認識結果に基づく複数のユーザ発話候補と、ユーザ発話候補各々の確からしさを示す評価値である自信度を対応付けたユーザ発話認識自信度データを生成し、学習処理部は、ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、ユーザ発話認識自信度データの自信度の値を更新する。
本構成により、ユーザ発話に対する誤認識をその後の対話内容に基づいて検出する装置、方法が実現される。
具体的には、例えば、ユーザ発話の音声認識処理を実行する音声認識部と、ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する。音声認識部は、ユーザ発話の音声認識結果に基づく複数のユーザ発話候補と、ユーザ発話候補各々の確からしさを示す評価値である自信度を対応付けたユーザ発話認識自信度データを生成し、学習処理部は、ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、ユーザ発話認識自信度データの自信度の値を更新する。
本構成により、ユーザ発話に対する誤認識をその後の対話内容に基づいて検出する装置、方法が実現される。
10 情報処理装置
12 マイク
13 表示部
14 スピーカー
20 サーバ
30 外部機器
101 音声入力部
102 音声出力部
103 画像出力部
130 データ処理部
150 ユーザ発話解析部
151 音声認識部
152 発話意味解析部
153 学習処理部
160 記憶部
161 発話解析用辞書DB
162 学習データDB
163 学習候補データDB
171 応答生成部
172 音声合成部
173 表示画像生成部
410 情報処理装置
420 サービス提供サーバ
460 データ処理サーバ
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
12 マイク
13 表示部
14 スピーカー
20 サーバ
30 外部機器
101 音声入力部
102 音声出力部
103 画像出力部
130 データ処理部
150 ユーザ発話解析部
151 音声認識部
152 発話意味解析部
153 学習処理部
160 記憶部
161 発話解析用辞書DB
162 学習データDB
163 学習候補データDB
171 応答生成部
172 音声合成部
173 表示画像生成部
410 情報処理装置
420 サービス提供サーバ
460 データ処理サーバ
501 CPU
502 ROM
503 RAM
504 バス
505 入出力インタフェース
506 入力部
507 出力部
508 記憶部
509 通信部
510 ドライブ
511 リムーバブルメディア
Claims (12)
- ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理装置。 - 前記学習処理部は、
前記ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、前記自信度の更新処理を実行する請求項1に記載の情報処理装置。 - 前記音声認識部は、
ユーザ発話の音声認識結果に基づく複数のユーザ発話候補と、前記ユーザ発話候補各々の確からしさを示す評価値である自信度を対応付けたユーザ発話認識自信度データを生成し、
前記学習処理部は、
前記ユーザ発話以後のユーザと情報処理装置間の対話の文脈、または話題の一貫性を解析して、前記ユーザ発話認識自信度データの自信度の値を更新する請求項1に記載の情報処理装置。 - 前記ユーザ発話認識自信度データは、
最も自信度の値が高いユーザ発話候補を第1候補として設定し、その他の候補を第2候補以下に自信度の値の順に並べたリストであり、
前記学習処理部は、
前記ユーザ発話認識自信度データの自信度の値の更新によって、前記第1候補が変更された場合に、前記ユーザ発話の誤認識があったと判定する請求項3に記載の情報処理装置。 - 前記学習処理部は、
前記ユーザ発話の誤認識があったと判定した場合、応答処理部に誤認識があったことの通知を実行し、
応答処理部は、誤認識の判定結果に応じて、正しい認識結果に基づくシステム応答を出力する請求項4に記載の情報処理装置。 - 前記応答処理部は、
(a)前記ユーザ発話以後の全ての訂正処理、
(b)間違った部分のみの訂正処理、
(c)重要度に応じた訂正処理、
(d)間違ったことのみの通知処理、
上記(a)~(d)のいずれかの処理を実行する請求項5に記載の情報処理装置。 - 前記学習処理部は、
前記ユーザ発話認識自信度データの更新処理を、予め規定した規定条件の発生に応じて停止し、前記ユーザ発話認識自信度データに記録された最も自信度の値が高い最上位のユーザ発話候補である第1候補データを学習済みデータとして記憶部に格納する請求項3に記載の情報処理装置。 - 前記規定条件は、
(条件1)一定期間、自信度の最上位のユーザ発話候補が変わらない、
(条件2)最上位のユーザ発話候補の自信度が予め規定したしきい値以上になった、
(条件3)ユーザの発話の話題が変更されたと認識した、
上記のいずれかである請求項7に記載の情報処理装置。 - ユーザ端末と、データ処理サーバを有する情報処理システムであり、
前記ユーザ端末は、
ユーザ発話を入力する音声入力部を有し、
前記データ処理サーバは、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理を実行する音声認識部と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する学習処理部を有する情報処理システム。 - 情報処理装置において実行する情報処理方法であり、
音声認識部が、ユーザ発話の音声認識処理を実行するステップと、
学習処理部が、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行するステップを有する情報処理方法。 - ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記ユーザ端末が、
ユーザ発話を入力する音声入力処理を実行し、
前記データ処理サーバが、
前記ユーザ端末から受信する前記ユーザ発話の音声認識処理と、
前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
音声認識部に、ユーザ発話の音声認識処理を実行させ、
学習処理部に、前記ユーザ発話以後のユーザと情報処理装置間の対話に基づいて、前記ユーザ発話の音声認識結果の確からしさを示す評価値である自信度の更新処理を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/969,446 US11694675B2 (en) | 2018-02-20 | 2018-11-29 | Information processing apparatus, information processing system, and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018027507 | 2018-02-20 | ||
JP2018-027507 | 2018-02-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019163242A1 true WO2019163242A1 (ja) | 2019-08-29 |
Family
ID=67688417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/044016 WO2019163242A1 (ja) | 2018-02-20 | 2018-11-29 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11694675B2 (ja) |
WO (1) | WO2019163242A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112151022A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 语音识别的优化方法、装置、设备以及存储介质 |
WO2022010471A1 (en) * | 2020-07-08 | 2022-01-13 | Google Llc | Identification and utilization of misrecognitions in automatic speech recognition |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004052A (ja) * | 2005-06-27 | 2007-01-11 | Nissan Motor Co Ltd | 音声対話装置及び音声理解結果生成方法 |
JP2007322757A (ja) * | 2006-06-01 | 2007-12-13 | Nissan Motor Co Ltd | 音声対話装置 |
JP2008145697A (ja) * | 2006-12-08 | 2008-06-26 | Mitsubishi Electric Corp | 音声情報選択装置及び音声情報選択方法 |
JP2014035361A (ja) * | 2012-08-07 | 2014-02-24 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識装置とその方法とプログラム |
JP2017090611A (ja) * | 2015-11-09 | 2017-05-25 | 三菱自動車工業株式会社 | 音声認識制御システム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4604178B2 (ja) | 2004-11-22 | 2010-12-22 | 独立行政法人産業技術総合研究所 | 音声認識装置及び方法ならびにプログラム |
JP5633042B2 (ja) | 2010-01-28 | 2014-12-03 | 本田技研工業株式会社 | 音声認識装置、音声認識方法、及び音声認識ロボット |
JP6150268B2 (ja) | 2012-08-31 | 2017-06-21 | 国立研究開発法人情報通信研究機構 | 単語登録装置及びそのためのコンピュータプログラム |
US9153231B1 (en) * | 2013-03-15 | 2015-10-06 | Amazon Technologies, Inc. | Adaptive neural network speech recognition models |
US9159317B2 (en) * | 2013-06-14 | 2015-10-13 | Mitsubishi Electric Research Laboratories, Inc. | System and method for recognizing speech |
US10162813B2 (en) * | 2013-11-21 | 2018-12-25 | Microsoft Technology Licensing, Llc | Dialogue evaluation via multiple hypothesis ranking |
US9460713B1 (en) * | 2015-03-30 | 2016-10-04 | Google Inc. | Language model biasing modulation |
US10108702B2 (en) * | 2015-08-24 | 2018-10-23 | International Business Machines Corporation | Topic shift detector |
WO2017112813A1 (en) * | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
US9972313B2 (en) * | 2016-03-01 | 2018-05-15 | Intel Corporation | Intermediate scoring and rejection loopback for improved key phrase detection |
US10832664B2 (en) * | 2016-08-19 | 2020-11-10 | Google Llc | Automated speech recognition using language models that selectively use domain-specific model components |
US11043205B1 (en) * | 2017-06-27 | 2021-06-22 | Amazon Technologies, Inc. | Scoring of natural language processing hypotheses |
US20190073994A1 (en) * | 2017-09-05 | 2019-03-07 | Microsoft Technology Licensing, Llc | Self-correcting computer based name entity pronunciations for speech recognition and synthesis |
US10425780B1 (en) * | 2018-02-22 | 2019-09-24 | Amazon Technologies, Inc. | Outputting notifications using device groups |
KR20210143953A (ko) * | 2019-04-19 | 2021-11-30 | 엘지전자 주식회사 | 다중 디바이스 제어 시스템과 방법 및 이를 실행하기 위한 컴포넌트가 저장된 비 일시적 컴퓨터 판독 가능 매체 |
KR102228549B1 (ko) * | 2019-06-11 | 2021-03-16 | 엘지전자 주식회사 | 음성 인에이블 디바이스 선택 방법, 음성 인에이블 디바이스 선택 장치 및 이를 제어하는 지능형 컴퓨팅 디바이스 |
-
2018
- 2018-11-29 US US16/969,446 patent/US11694675B2/en active Active
- 2018-11-29 WO PCT/JP2018/044016 patent/WO2019163242A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004052A (ja) * | 2005-06-27 | 2007-01-11 | Nissan Motor Co Ltd | 音声対話装置及び音声理解結果生成方法 |
JP2007322757A (ja) * | 2006-06-01 | 2007-12-13 | Nissan Motor Co Ltd | 音声対話装置 |
JP2008145697A (ja) * | 2006-12-08 | 2008-06-26 | Mitsubishi Electric Corp | 音声情報選択装置及び音声情報選択方法 |
JP2014035361A (ja) * | 2012-08-07 | 2014-02-24 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識装置とその方法とプログラム |
JP2017090611A (ja) * | 2015-11-09 | 2017-05-25 | 三菱自動車工業株式会社 | 音声認識制御システム |
Non-Patent Citations (1)
Title |
---|
MATSUMOTO, TOSHIYA ET AL.: "Voice recognition using corrected reliability based on inter-utterance word co- occurrence relation", PROCEEDINGS OF THE 12TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 12 March 2006 (2006-03-12), pages 28, 29, ISSN: 2188-4420 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022010471A1 (en) * | 2020-07-08 | 2022-01-13 | Google Llc | Identification and utilization of misrecognitions in automatic speech recognition |
CN112151022A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 语音识别的优化方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11694675B2 (en) | 2023-07-04 |
US20210005177A1 (en) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887604B1 (en) | Speech interface device with caching component | |
US11720326B2 (en) | Audio output control | |
US20220156039A1 (en) | Voice Control of Computing Devices | |
US10884701B2 (en) | Voice enabling applications | |
US11669300B1 (en) | Wake word detection configuration | |
US10332513B1 (en) | Voice enablement and disablement of speech processing functionality | |
JP5706384B2 (ja) | 音声認識装置、音声認識システム、音声認識方法および音声認識プログラム | |
JP3782943B2 (ja) | 音声認識装置、コンピュータ・システム、音声認識方法、プログラムおよび記録媒体 | |
US11705106B2 (en) | On-device speech synthesis of textual segments for training of on-device speech recognition model | |
US11545133B2 (en) | On-device personalization of speech synthesis for training of speech model(s) | |
JP2011002656A (ja) | 音声認識結果修正候補検出装置、音声書き起こし支援装置、方法及びプログラム | |
JP2015018265A (ja) | コンテキスト情報を使用した音声認識修正 | |
US8126715B2 (en) | Facilitating multimodal interaction with grammar-based speech applications | |
WO2019163242A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
US10841411B1 (en) | Systems and methods for establishing a communications session | |
WO2023148772A1 (en) | A system and method to reduce ambiguity in natural language understanding by user expectation handling | |
US11914923B1 (en) | Computer system-based pausing and resuming of natural language conversations | |
US12010387B1 (en) | Content-based voice targeting of devices using slot and task data | |
US20220399030A1 (en) | Systems and Methods for Voice Based Audio and Text Alignment | |
KR20230101452A (ko) | 대화 시스템 및 대화 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18906754 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18906754 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |