WO2016013503A1 - 音声認識装置及び音声認識方法 - Google Patents

音声認識装置及び音声認識方法 Download PDF

Info

Publication number
WO2016013503A1
WO2016013503A1 PCT/JP2015/070490 JP2015070490W WO2016013503A1 WO 2016013503 A1 WO2016013503 A1 WO 2016013503A1 JP 2015070490 W JP2015070490 W JP 2015070490W WO 2016013503 A1 WO2016013503 A1 WO 2016013503A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech recognition
unit
recognition result
voice
utterance
Prior art date
Application number
PCT/JP2015/070490
Other languages
English (en)
French (fr)
Inventor
裕介 伊谷
勇 小川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US15/315,201 priority Critical patent/US20170194000A1/en
Priority to JP2016514180A priority patent/JP5951161B2/ja
Priority to DE112015003382.3T priority patent/DE112015003382B4/de
Priority to CN201580038253.0A priority patent/CN106537494B/zh
Publication of WO2016013503A1 publication Critical patent/WO2016013503A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/34—Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/72—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for transmitting results of analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Definitions

  • the present invention relates to a speech recognition apparatus and a speech recognition method for performing processing for recognizing spoken speech data.
  • a conventional speech recognition apparatus that performs speech recognition between a client and a server first performs speech recognition at the client, and the recognition score of the speech recognition result of the client is low, resulting in poor recognition accuracy. If it is determined, the server recognizes the voice and adopts the voice recognition result of the server.
  • the client voice recognition and the server voice recognition are performed simultaneously in parallel, and the recognition score of the client voice recognition result is compared with the recognition score of the server voice recognition result.
  • the method employed is also disclosed in Patent Document 1.
  • Patent Document 2 discloses a method for correcting general nouns with proper nouns.
  • JP 2009-237439 A Japanese Patent No. 4902617
  • the speech recognition apparatus can prompt the user to speak again, but the conventional speech recognition apparatus has a problem that the user has a heavy burden because the user needs to speak from scratch.
  • the present invention has been made in order to solve the above-described problems. Even when the voice recognition result of either the server or the client is not returned, the utterance is reduced so as to reduce the burden on the user.
  • the present invention provides a voice recognition device that can prompt a part of a person to speak again.
  • the speech recognition apparatus of the present invention includes a transmission unit that transmits input speech to a server, and a first speech that is a result of speech recognition of the input speech transmitted by the transmission unit by the server.
  • a receiving unit that receives a recognition result; a voice recognition unit that performs voice recognition of an input voice and obtains a second voice recognition result; and an utterance rule storage unit that stores an utterance rule expressing the configuration of an utterance element of the input voice;
  • the utterance rule is configured by referring to the utterance rule and determining the utterance rule that matches the second speech recognition result, the presence or absence of the first speech recognition result and the presence or absence of the second speech recognition result.
  • a state determination unit that determines a speech recognition state indicating an utterance element for which a speech recognition result is not obtained, and a voice determined by the state determination unit.
  • Supports recognition status Includes a response sentence generation unit for generating an answering sentence inquiring the utterance element speech recognition result is not obtained, and an output unit for outputting the response sentence.
  • the present invention determines a portion where the voice recognition result cannot be obtained, and causes the user to speak again to determine the portion of the user. The effect which can reduce a burden is produced.
  • FIG. 1 is a configuration diagram showing a configuration example of a speech recognition system using the speech recognition apparatus according to Embodiment 1 of the present invention.
  • the voice recognition system includes a voice recognition server 101 and a client voice recognition device 102.
  • the voice recognition server 101 includes a reception unit 103, a voice recognition unit 104, and a transmission unit 105.
  • the receiving unit 103 receives voice data from the voice recognition device 102.
  • the voice recognition unit 104 of the server recognizes the received voice data and outputs a first voice recognition result.
  • the transmission unit 105 transmits the first voice recognition result output from the voice recognition unit 104 to the voice recognition device 102.
  • the voice recognition apparatus 102 of the client includes a voice input unit 106, a voice recognition unit 107, a transmission unit 108, a reception unit 109, a recognition result integration unit 110, a state determination unit 111, a response sentence generation unit 112, an output unit 113, and an utterance.
  • a rule determination unit 114 and an utterance rule storage unit 115 are provided.
  • the voice input unit 106 is a device having a microphone or the like that converts voice spoken by the user into a data signal, so-called voice data.
  • PCM Pulse Code Modulation
  • the voice recognition unit 107 recognizes the voice data input from the voice input unit 106 and outputs a second voice recognition result.
  • the voice recognition device 102 is configured by, for example, a microprocessor or a DSP (Digital Signal Processor).
  • the speech recognition apparatus 102 can have functions such as an utterance rule determination unit 114, a recognition result integration unit 110, a state determination unit 111, and a response sentence generation unit 112.
  • the transmission unit 108 is a transmitter that transmits input voice data to the voice recognition server 101.
  • the reception unit 109 is a receiver that receives the first speech recognition result transmitted from the transmission unit 105 of the speech recognition server 101.
  • a wireless transceiver or a wired transceiver is used as the transmission unit 108 and the reception unit 109.
  • the utterance rule determination unit 114 extracts a keyword from the second speech recognition result output from the speech recognition unit 107 and determines the utterance rule of the input speech.
  • the utterance rule storage unit 115 is a database storing utterance rule patterns of input speech.
  • the recognition result integration unit 110 includes the utterance rule determined by the utterance rule determination unit 114, the first speech recognition result received by the reception unit 109 from the speech recognition server 101, and the second speech recognition from the speech recognition unit 107. Based on the results, the speech recognition results described later are integrated. Then, the recognition result integration unit 110 outputs the integration result of the speech recognition results.
  • the integration result includes information on the presence / absence of the first speech recognition result and the presence / absence of the second speech recognition result.
  • the state determination unit 111 determines whether or not the command to the system can be determined based on the information on the presence / absence of the voice recognition result of the client and the server included in the integration result output from the recognition result integration unit 110. When the command to the system is not fixed, the state determination unit 111 determines the voice recognition state corresponding to the integration result. Then, the state determination unit 111 outputs the determined voice recognition state to the response sentence generation unit 112. When the command to the system is confirmed, the confirmed command is output to the system.
  • the response sentence generation unit 112 generates a response sentence corresponding to the voice recognition state output by the state determination unit 111 and outputs the response sentence to the output unit 113.
  • the output unit 113 is a display driving device that outputs an input response sentence to a display or the like, and a speaker or an interface device that outputs the response sentence as speech.
  • step S101 the voice input unit 106 converts voice uttered by the user into voice data using a microphone or the like, and then outputs the voice data to the voice recognition unit 107 and the transmission unit 108.
  • step S ⁇ b> 102 the transmission unit 108 transmits the voice data input from the voice input unit 106 to the voice recognition server 101.
  • steps S201 to S203 are processing of the speech recognition server 101.
  • step S ⁇ b> 201 when the receiving unit 103 receives voice data transmitted from the client voice recognition device 102, the voice recognition server 101 outputs the received voice data to the server voice recognition unit 104.
  • step S202 the speech recognition unit 104 of the server performs speech recognition of a free sentence with an arbitrary sentence as a recognition target for the speech data input from the reception unit 103, and the recognition result obtained as a result. Is output to the transmission unit 105.
  • a free sentence speech recognition method for example, a dictation technique based on N-gram continuous speech recognition is used.
  • the voice recognition unit 104 of the server performs voice recognition on the voice data received from the client voice recognition device 102 “e-mail to Kenji, returns now”, and then, as a voice recognition result candidate, For example, a speech recognition result list including “defeated by the prosecutor, return now” is output.
  • the speech recognition result of the server may include a recognition error because speech recognition is difficult when a person name or a command name is included in the speech data.
  • the transmission unit 105 transmits the speech recognition result output from the server speech recognition unit 104 to the client speech recognition apparatus 102 as the first speech recognition result, and ends the process.
  • the description returns to the operation of the speech recognition apparatus 102.
  • the voice recognition unit 107 of the client performs voice recognition for recognizing keywords such as a voice operation command and a person name for the voice data input from the voice input unit 106, and the recognition result obtained as a result thereof. Is output to the recognition result integration unit 110 as the second speech recognition result.
  • the keyword speech recognition method uses, for example, a phrase spotting technique that extracts phrases including particles.
  • the voice recognition unit 107 of the client stores a recognition dictionary in which voice operation commands and personal name information are registered and listed.
  • the voice recognition unit 107 recognizes a voice operation command and personal name information that are difficult to recognize in the large vocabulary recognition dictionary of the server, and when the user inputs a voice such as “mail to Kenji, return now”, The voice recognition unit 107 recognizes “mail” as a voice operation command and “healthy child” as personal name information, and outputs a voice recognition result including “mail to Kenji” as a voice recognition result candidate.
  • step S104 the utterance rule determination unit 114 compares the speech recognition result input from the speech recognition unit 107 with the utterance rule stored in the utterance rule storage unit 115, and the utterance that matches the speech recognition result. Determine the rules.
  • FIG. 4 is an example of an utterance rule stored in the utterance rule storage unit 115 of the speech recognition apparatus 102 according to Embodiment 1 of the present invention.
  • FIG. 4 shows an utterance rule corresponding to the voice operation command.
  • the utterance rule includes a proper noun including personal name information, a command, a free sentence, and a combination pattern thereof.
  • the utterance rule determination unit 114 compares the speech recognition result candidate “mail to Mr.
  • Kenji input from the speech recognition unit 107 with the utterance rule pattern stored in the utterance rule storage unit 115, and matches the speech
  • the operation command “San to mail” is found, information of “proper noun + command + free sentence” is acquired as an utterance rule of the input voice corresponding to the voice operation command.
  • the utterance rule determination unit 114 outputs the acquired utterance rule information to the recognition result integration unit 110 and also outputs it to the state determination unit 111.
  • step S105 when the receiving unit 109 receives the first speech recognition result transmitted from the server 101, the receiving unit 109 outputs the first speech recognition result to the recognition result integrating unit 110.
  • step S106 the recognition result integration unit 110 confirms whether the client voice recognition result and the server voice recognition result exist. When both results are complete, the following processing is performed.
  • the recognition result integration unit 110 refers to the utterance rule input from the utterance rule determination unit 114, and the first voice recognition result and the voice of the voice recognition server 101 input from the reception unit 109. It is determined whether or not the second speech recognition result input from the recognition unit 107 can be integrated. Whether or not integration is possible is determined as integration possible when a command for filling an utterance rule is included in both the first speech recognition result and the second speech recognition result, and a command is included in one of them. If not, it is determined that integration is impossible. If integration is possible, the process proceeds to step S108 by a YES branch, and if integration is not possible, the process proceeds to step S110 by a No branch.
  • the recognition result integration unit 110 confirms that the command “mail” exists in the character string from the utterance rule output by the utterance rule determination unit 114. Then, the position of “mail” in the text of the speech recognition result of the server is searched, and if “mail” is not included in the text, it is determined that integration is impossible. For example, when “mail” is input as the voice recognition result of the voice recognition unit 107 and “disappear” is input as the voice recognition result of the server, “mail” is not included in the voice recognition result text of the server. The utterance rule does not match the utterance rule input from the utterance rule determination unit 114. For this reason, the speech recognition result integration unit 110 determines that integration is impossible.
  • the recognition result integration unit 110 determines that the integration is impossible, the recognition result integration unit 110 treats the recognition result from the server as not being obtained. Therefore, the voice recognition result input from the voice recognition unit 107 and the fact that information from the server cannot be obtained are transmitted to the state determination unit 111. For example, the voice recognition result “mail” input from the voice recognition unit 107, the client voice recognition result: yes, and the server voice recognition result: no are sent to the state determination unit 111.
  • step S ⁇ b> 108 when the recognition result integration unit 110 determines that integration is possible, the first speech recognition result of the speech recognition server 101 input from the reception unit 109 and the speech recognition unit 107 input.
  • the position of the command is specified.
  • based on the utterance rule “proprietary noun + command + free sentence” it is determined that the character string after the position of “mail” in the command is a free sentence.
  • step S109 the recognition result integration unit 110 integrates the server speech recognition result and the client speech recognition result.
  • the recognition result integration unit 110 employs proper nouns and commands from the speech recognition result of the client and free sentences from the speech recognition result of the server for the utterance rule.
  • proper nouns, commands, and free sentences are applied to each utterance element of the utterance rule.
  • FIG. 5 is an explanatory diagram for explaining integration of the voice recognition result of the server and the voice recognition result of the client.
  • the recognition result integration unit 110 uses the voice recognition result of the client when the voice recognition result of the client is “mail to Kenji” and the voice recognition result of the server is “mail to the prosecutor, return now”.
  • the recognition result integration unit 110 outputs information indicating that the integration result and the recognition result of both the client and the server are obtained to the state determination unit 111. For example, the integrated result “e-mail to Mr. Kenji, return now”, client voice recognition result: yes, and server voice recognition result: yes are sent to the state determination unit 111.
  • step S110 the state determination unit 111 determines whether the speech recognition state can be determined based on the presence / absence of the client speech recognition result output from the recognition result integration unit 110, the presence / absence of the server speech recognition result, and the utterance rule. judge.
  • FIG. 6 is a diagram showing a correspondence relationship between the voice recognition state, the presence / absence of a client voice recognition result, the presence / absence of a server voice recognition result, and an utterance rule.
  • the voice recognition state indicates whether or not a voice recognition result is obtained for the utterance element of the utterance rule.
  • the state determination unit 111 stores a correspondence relationship in which the voice recognition state is uniquely determined from the presence / absence of the voice recognition result of the server, the presence / absence of the voice recognition result of the client, and the utterance rule, as shown in FIG.
  • the voice recognition state is uniquely determined from the presence / absence of the voice recognition result of the server, the presence / absence of the voice recognition result of the client, and the utterance rule, as shown in FIG.
  • the case where there is no speech recognition result from the server corresponds to the case where there is no free text.
  • the correspondence between the presence / absence of the speech recognition result of the server and the presence / absence of each utterance element in the utterance rule is defined. Therefore, it is possible to identify an utterance element for which no voice recognition result is obtained from information on the presence or absence of the voice recognition result of the server and the client.
  • the speech recognition is performed based on the stored correspondence.
  • the state is determined to be S1.
  • the voice recognition state S4 corresponds to the fact that the voice recognition state cannot be determined.
  • step S111 the state determination unit 111 determines whether a command to the system can be confirmed. For example, when the voice recognition state is S1, the integration result “mail to Kenji, return now” is determined as a system command, and the process proceeds to step S112 by branching YES. Next, in step S112, the state determination unit 111 outputs a system command “e-mail to Mr. Kenji, return now” to the system.
  • step S106 when the recognition result from the server is not obtained, for example, when there is no response from the server for a predetermined time T seconds or more, the receiving unit 109 sends information indicating that there is no voice recognition result of the server to the recognition result integrating unit 110. .
  • the recognition result integration unit 110 checks whether the voice recognition result from the client and the voice recognition result from the server are complete. If there is no voice recognition from the server, the processing from step S107 to S109 is not performed, and step S115 is performed. Proceed to
  • step S115 the recognition result integration unit 110 checks whether or not there is a client voice recognition result, and if there is a client voice recognition result, outputs the integration result to the state determination unit 111. , YES branches to step S110.
  • the integration result is the voice recognition result of the client. For example, the integration result: “e-mail to Mr. Kenji”, the voice recognition result of the client: yes, and the voice recognition result of the server: none are output to the state determination unit 111.
  • step S110 the state determination unit 111 uses the client speech recognition result and server speech recognition result output from the recognition result integration unit 110 and the speech rule output from the speech rule determination unit 114 to use the speech recognition state. To decide.
  • the voice recognition state of the client Yes
  • the voice recognition state of the server No
  • the utterance rule proper noun + command + free sentence
  • step S111 the state determination unit 111 determines whether or not the command to the system can be confirmed. Specifically, the state determination unit 111 determines that the command to the system is confirmed when the voice recognition state is S1. Here, since the voice recognition state obtained in step S110 is S2, the state determination unit 111 determines that the command to the system is not fixed, and outputs the voice recognition state S2 to the response sentence generation unit 112. . If the command to the system cannot be determined, the state determination unit 111 outputs the voice recognition state S2 to the voice input unit 106, and proceeds to step S113 by branching No. This is to instruct the voice input unit 106 that the next input voice is a free sentence and the voice data is transmitted to the server.
  • step S113 the response sentence generation unit 112 creates a response sentence that prompts the user to reply based on the voice recognition state output by the state determination unit 111.
  • FIG. 7 is a diagram illustrating the relationship between the voice recognition state and the generated response sentence.
  • the response sentence is a content that indicates to the user the utterance element from which the voice recognition result is obtained and urges the user to speak about the utterance element from which the voice recognition result has not been obtained.
  • the speech recognition state S2 the proper noun and the command are confirmed, and there is no speech recognition result of the free sentence.
  • the response sentence generation unit 112 outputs a response sentence “E-mail to Kenji. Please speak the text again” to the output unit 113.
  • step S114 the output unit 113 outputs the response sentence output from the response sentence generation unit 111, "E-mail to Kenji. Please utter the text again" from a display or a speaker.
  • step S101 In response to the response message, when the user once again speaks of “returning from now”, the process of step S101 described above is performed. However, the voice input unit 106 receives the voice recognition state S2 output from the state determination unit 111, and knows that the next voice data is a free sentence. For this reason, the voice input unit 106 outputs the voice data to the transmission unit 108 and does not output it to the voice recognition unit 107 of the client. Accordingly, the processes in steps S103 and S104 are not performed.
  • step S ⁇ b> 105 the reception unit 109 receives the speech recognition result transmitted from the server 101 and outputs the speech recognition result to the recognition result integration unit 110.
  • step S106 the recognition result integration unit 110 determines that there is a voice recognition result from the server but no voice recognition result from the client, and proceeds to step S115 by branching No.
  • step S115 since there is no client voice recognition result, the recognition result integration unit 110 outputs the server voice recognition result to the utterance rule determination unit 114, and proceeds to step S116 by branching No.
  • step S116 the utterance rule determination unit 114 performs the above-described utterance rule determination and outputs the determined utterance rule to the recognition result integration unit 110.
  • the recognition result integration unit 110 outputs the integration result “return from now” to the state determination unit 111 with the voice recognition result of the server: Yes.
  • the voice recognition result of the server becomes the integrated result as it is.
  • step S110 the state determination unit 111 stores the speech recognition state before the recurrent utterance, and from the integration result output from the recognition result integration unit 110 and the voice recognition result from the server: Update speech recognition status.
  • the previous speech recognition state is S2
  • the integrated result “return from now” is applied to the free text, and the command to the system “email to Kenji, return now” is confirmed.
  • step S111 the state determination unit 111 determines that the command to the system can be confirmed and the command output to the system is possible because the voice recognition state is S1.
  • step S112 the state determination unit 111 transmits a command “e-mail to Mr. Kenji, return now” to the system to the system.
  • step S106 if the server speech recognition result cannot be obtained within a predetermined time T seconds even after repeating N times, the state determination unit 111 cannot determine the state in step S110, so the speech recognition state is changed from S2 to S4.
  • Update to The state determination unit 111 outputs the voice recognition state S4 to the response sentence generation unit 112, and rejects the voice recognition state and the integration result.
  • the response sentence generation unit 112 generates a response sentence “voice recognition is not possible” corresponding to the voice recognition state S ⁇ b> 4 output by the recognition result integration unit 110 and outputs the response sentence to the output unit 113.
  • step S117 the output unit 113 notifies a response sentence. For example, the user is notified that “voice recognition is not possible”.
  • step S106 the state determination unit 111 checks whether the voice recognition result from the server and the voice recognition result of the client are complete.
  • the recognition result integration unit 110 does not perform the integration process.
  • step S115 the recognition result integration unit 110 confirms whether there is a voice recognition result of the client.
  • the recognition result integrating unit 110 outputs the voice recognition result of the server to the utterance rule determining unit 114, and proceeds to step S116 due to No branch.
  • step S116 the utterance rule determination unit 114 determines an utterance rule for the speech recognition result of the server.
  • the utterance rule determination unit 114 does not match the voice operation command stored in the utterance rule storage unit 115 or the voice of the server A voice operation command is searched from the recognition result list, and it is checked whether there is a portion with a high probability that the voice operation command is included, and the speech rule is determined.
  • the speech rule determination unit 114 determines that the speech rule is high from the speech recognition result list including “disappears at the prosecutor”, “e-mail to the prosecutor”, and the like, and the speech rule is high. Judged as proper noun + command + free sentence.
  • the utterance rule determination unit 114 outputs the determined utterance rule to the recognition result integration unit 110 and the state determination unit 111.
  • the recognition result integration unit 110 outputs to the state determination unit 111 the voice recognition result of the client: none, the voice recognition result from the server: yes, and the integration result: “I'm going back to the prosecutor and return now”.
  • the integration result is the server voice recognition result itself.
  • the state determination unit 111 includes the utterance rule output by the utterance rule determination unit 114, the presence / absence of the speech recognition result of the client output by the recognition result integration unit 110, the presence / absence of the speech recognition result of the server, and integration. From the result, it is determined whether the voice recognition state can be determined.
  • the state determination unit 111 determines the voice recognition state with reference to FIG. Here, since the utterance rule is proper noun + command + free sentence, and only the server has a speech recognition result, the state determination unit 111 determines and stores the speech recognition state as S3. Next, in step S111, the state determination unit 111 determines whether a command to the system can be confirmed.
  • the state determination unit 111 determines that the command to the system cannot be determined, determines the voice recognition state, and outputs the determined voice recognition state to the response sentence generation unit 112. Further, the state determination unit 111 outputs the determined voice recognition state to the voice input unit 106. This is because the next input voice is not transmitted to the server but output to the voice recognition unit 107 of the client.
  • step S113 the response sentence generation unit 112 generates a response sentence for the obtained speech recognition state with reference to FIG. Then, the response sentence generation unit 112 outputs the response sentence to the output unit 113. For example, when the voice recognition state is S 3, a response sentence “What are you going to do now?” Is created and output to the output unit 113.
  • step S ⁇ b> 114 the output unit 113 outputs a response sentence from a display, a speaker, or the like, and prompts the user to repeat the utterance element whose voice recognition result is not obtained.
  • the processing from S101 to S104 is the same as described above, and the description is omitted.
  • the voice input unit 106 determines where to send the voice of the recurrent speech in accordance with the voice recognition state output by the state determination unit 111. In the case of S2, the voice data is output only to the transmission unit 108 for transmission to the server, and in the case of S3, the voice data is output to the voice recognition unit 107 of the client.
  • step S106 the recognition result integration unit 110 receives the voice recognition result of the client and the utterance rule determination result output from the utterance rule determination unit 114, and whether the voice recognition result of the client and the voice recognition result of the server are complete. Confirm.
  • step S115 the recognition result integration unit 110 confirms whether or not the voice result of the client exists, and if it exists, the voice recognition result of the client: yes, the voice recognition result of the server: none, the integration result: “ “Mail to healthy child” is output to the state determination unit 111.
  • the recognition result integration unit 110 uses the voice recognition result of the client as the integration result.
  • step S110 the state determination unit 111 uses the stored speech recognition state before the re-speech, the client speech recognition result output from the recognition result integration unit 110, the server speech recognition result, and the integration result to determine the voice. Update recognition status.
  • the voice recognition state before the re-utterance was S3, and the voice recognition result of the client was none.
  • the state determination unit 111 changes the voice recognition state from S3 to S1.
  • the integration result “mail to Kenji” output from the recognition result integration unit 111 is applied to the stored utterance rule proper noun + command utterance element, and the command to the system “mail to Kenji, now Confirm “Return”. Since the following steps S111 to S112 are the same as described above, the description thereof will be omitted.
  • the correspondence between the presence / absence of the voice recognition result of the server and the presence / absence of the voice recognition result of the client and each utterance element of the utterance rule is determined, and the correspondence Is remembered. Therefore, even if the speech recognition result from either the server or the client cannot be obtained, the part where the speech recognition result is not obtained can be identified from the utterance rule and its correspondence, and the part is re-speaked to the user. Can be urged. As a result, there is no need to prompt the user to speak from the beginning, and the burden on the user can be reduced.
  • the response sentence generation unit 112 creates a response sentence “What are you going to do now?”
  • the free sentence from which the recognition result is obtained may be analyzed, the command may be estimated, and the estimated command candidate may be selected by the user.
  • the state determination unit 111 searches the free sentence for a sentence having a high affinity with a previously registered command, and determines command candidates in descending order of affinity.
  • the affinity is defined, for example, by accumulating past utterance sentence cases, and the co-occurrence probability between a command appearing in the case and each word in the free sentence. If the sentence is “return from now”, the candidate is output from the display or speaker on the assumption that the affinity with “mail” or “phone” is high.
  • the selection method may be a number, or the user may speak “mail” or “phone” again. By doing so, it is possible to further reduce the burden of the user re-speaking.
  • the response sentence generation unit 112 creates a response sentence “E-mail to Kenji. Please utter the text again”, but “E-mail to Kenji-san” You may create a response sentence.
  • the output unit 113 may output a response sentence from a display or a speaker, and after receiving a result of “yes” from the user, the state determination unit 111 may determine the voice recognition state. When the user utters “No”, the state determination unit 111 determines that the voice recognition state cannot be determined, and outputs the voice recognition state S4 to the response sentence generation unit 112. Thereafter, as shown in step S117, the user is notified through the output unit 113 that voice recognition has failed. In this way, it is possible to reduce recognition errors of proper nouns and commands by inquiring the user whether the proper noun + command utterance element can be determined.
  • Embodiment 2 Next, a speech recognition apparatus according to Embodiment 2 will be described.
  • the first embodiment the case where there is no voice recognition result of either the server or the client has been described.
  • the second embodiment there is a voice recognition result of either the server or the client, but the voice recognition result is ambiguous. Therefore, a case where a part of the speech recognition result is not fixed will be described.
  • the configuration of the speech recognition apparatus according to the second embodiment is the same as that of the first embodiment shown in FIG.
  • the voice recognition unit 107 performs voice recognition on voice data spoken by the user as “email to Kenji”. Depending on the utterance status, a plurality of voices such as “mail to Kenji” and “mail to Kenichi” are displayed. The recognition candidates are listed, and there is a possibility that any speech recognition candidate has a similar recognition score.
  • the recognition result integration unit 110 generates, for example, “e-mail to ??” as a speech recognition result in order to inquire the user about an ambiguous proper noun part.
  • the recognition result integration unit 110 outputs the voice recognition result of the server: yes, the voice recognition result of the client: yes, and the integration result “e-mail to ??
  • the state determination unit 111 determines which utterance element of the utterance rule is determined from the utterance rule and the integration result. Then, the state determination unit 111 determines the speech recognition state based on whether each utterance element of the utterance rule is confirmed, unconfirmed, or there is no utterance element.
  • FIG. 8 is a diagram illustrating a correspondence relationship between the state of the utterance element of the utterance rule and the voice recognition state. For example, in the case of “e-mail to ??, return now”, the proper noun part is unconfirmed and the command and free sentence are confirmed, so the speech recognition state is determined as S2.
  • the state determination unit 111 outputs the voice recognition state S2 to the response sentence generation unit 112.
  • the response sentence generation unit 112 creates a response sentence “Who do you want to mail?” That prompts the user to speak the proper noun again, and outputs the response sentence to the output unit 113 To do.
  • the options may be shown based on the voice recognition result list of the client. For example, a configuration may be considered in which “1: Kenji-san, 2: Kenichi-san, 3: Ken-san, who do you want to email?” And the like to utter a number. If the user's recurrent utterance is received and the recognition score is reliable, “Kenji” is confirmed, and the sentence “Mail to Kenji” is confirmed along with the voice operation command. Output.
  • 101 voice recognition server 102 client voice recognition device, 103 server reception unit, 104 server voice recognition unit, 105 server transmission unit, 106 voice input unit, 107 client voice recognition unit, 108 client transmission unit, 109 Client reception unit, 110 recognition result integration unit, 111 state determination unit, 112 response sentence generation unit, 113 output unit, 114 utterance rule determination unit, 115 utterance rule storage unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　従来のサーバ―クライアント型音声認識装置では、どちらか一方の音声認識結果が返ってこない場合、利用者が一から発話する必要があるため、利用者の負担が大きいという課題があった。　本発明の音声認識装置は、入力音声をサーバに送信し、送信された入力音声をサーバで音声認識した結果である第１の音声認識結果を受信し、入力音声の音声認識を行ない、第２の音声認識結果を得て、入力音声の発話要素の構成を表現する発話規則を参照し、第２の音声認識結果に合致する発話規則を判定し、第１の音声認識結果の有無及び第２の音声認識結果の有無と、発話規則を構成する発話要素の有無との対応関係により、音声認識結果が得られていない発話要素を示す音声認識状態を決定し、決定された音声認識状態に対応し、音声認識結果が得られていない発話要素を問い合わせる応答文を生成し、応答文を出力する。

Description

音声認識装置及び音声認識方法
　本発明は、発話された音声データの認識処理を行なう音声認識装置及び音声認識方法に関する。
　クライアントとサーバで音声認識を行なう従来の音声認識装置は、例えば特許文献１に開示されるように、最初にクライアントで音声認識を行ない、クライアントの音声認識結果の認識スコアが低く、認識精度が悪いと判定した場合に、サーバで音声認識を行なってサーバの音声認識結果を採用するようにしていた。
　また、クライアントの音声認識とサーバの音声認識を同時並列的に行ない、クライアントの音声認識結果の認識スコアとサーバの音声認識結果の認識スコアを比較して、認識スコアが良好な方を認識結果として採用する方法も特許文献１で開示されている。
　また、クライアントとサーバで音声認識を行なう他の従来例として、サーバが音声認識結果に加えて、一般名詞、助詞などの品詞情報を送信するようにし、クライアントが受信した品詞情報を用いて認識結果の修正を行なう方法として、例えば、一般名詞を固有名詞に置き換える方法が特許文献２に開示されている。
特開２００９－２３７４３９号公報 特許第４９０２６１７号
　従来のサーバ―クライアント型音声認識装置では、サーバ、クライアントのどちらか一方の音声認識結果が返ってこない場合、利用者に音声認識結果が通知できなかったり、通知できても片側のみの結果であった。この場合、音声認識装置は再度発話を促すことが可能であるが、従来の音声認識装置では、利用者が一から発話する必要があるため、利用者の負担が大きいという課題があった。
　本発明は上記のような課題を解決するためになされたもので、サーバ、クライアントのどちらか一方の音声認識結果が返ってこない場合であっても、利用者の負担が少ないように、発話の一部に対して再発話を促すことのできる音声認識装置を提供するものである。
　上記で述べた課題を解決するため、本発明の音声認識装置は、入力音声をサーバに送信する送信部と、送信部により送信された入力音声をサーバで音声認識した結果である第１の音声認識結果を受信する受信部と、入力音声の音声認識を行ない、第２の音声認識結果を得る音声認識部と、入力音声の発話要素の構成を表現する発話規則を記憶する発話規則記憶部と、発話規則を参照し、第２の音声認識結果に合致する発話規則を判定する発話規則判定部と、第１の音声認識結果の有無及び第２の音声認識結果の有無と、発話規則を構成する発話要素の有無との対応関係を記憶しており、対応関係により、音声認識結果が得られていない発話要素を示す音声認識状態を決定する状態決定部と、状態決定部により決定された音声認識状態に対応し、音声認識結果が得られていない発話要素を問い合わせる応答文を生成する応答文生成部と、応答文を出力する出力部とを備える。
　本発明は、サーバもしくはクライアントのどちらか一方から音声認識結果が得られない場合でも、音声認識結果が得られない部分を判定して、その部分を再度利用者に発話させることで、利用者の負担を少なくすることができる効果を奏する。
本発明の実施の形態１に係る音声認識装置を用いた音声認識システムの一構成例を示す構成図である。 本発明の実施の形態１に係る音声認識装置の処理の流れを示すフローチャート（前半）である。 本発明の実施の形態１に係る音声認識装置の処理の流れを示すフローチャート（後半）である。 本発明の実施の形態１に係る音声認識装置の発話規則記憶部が記憶する発話規則の一例である。 サーバの音声認識結果とクライアントの音声認識結果の統合を説明する説明図である。 音声認識状態と、クライアントの音声認識結果の有無と、サーバ音声認識結果の有無と、発話規則との対応関係を示す図である。 音声認識状態と、生成される応答文との関係を示す図である。 発話規則の発話要素の確定状態と音声認識状態との対応関係を示す図である。
実施の形態１．
　図１は、本発明の実施の形態１に係る音声認識装置を用いた音声認識システムの一構成例を示す構成図である。
　音声認識システムは、音声認識サーバ１０１およびクライアントの音声認識装置１０２によって構成される。
　音声認識サーバ１０１は、受信部１０３、音声認識部１０４、送信部１０５を備える。
　受信部１０３は、音声認識装置１０２から音声データを受信する。サーバの音声認識部１０４は、受信した音声データを音声認識して第１の音声認識結果を出力する。送信部１０５は、音声認識部１０４から出力された第１の音声認識結果を音声認識装置１０２へ送信する。
　一方、クライアントの音声認識装置１０２は、音声入力部１０６、音声認識部１０７、送信部１０８、受信部１０９、認識結果統合部１１０、状態決定部１１１、応答文生成部１１２、出力部１１３、発話規則判定部１１４、発話規則記憶部１１５を備える。
　音声入力部１０６は、利用者が発話した音声をデータ信号、いわゆる音声データに変換するマイク等を有するデバイスである。なお、音声データには、収音機器が取得した音信号をデジタル化したＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）データなどが用いられる。音声認識部１０７は、音声入力部１０６から入力された音声データを音声認識し、第２の音声認識結果を出力する。音声認識装置１０２は、例えばマイクロプロセッサやＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）によって構成される。音声認識装置１０２は、発話規則判定部１１４、認識結果統合部１１０、状態決定部１１１、応答文生成部１１２などの機能を持つことができる。送信部１０８は、入力された音声データを音声認識サーバ１０１へ送信する送信機である。受信部１０９は、音声認識サーバ１０１の送信部１０５から送信された第１の音声認識結果を受信する受信機である。送信部１０８や受信部１０９は、例えば無線送受信機や有線送受信機が用いられる。発話規則判定部１１４は、音声認識部１０７が出力した第２の音声認識結果からキーワードを抽出して入力音声の発話規則を判定する。発話規則記憶部１１５は、入力音声の発話規則のパターンを格納したデータベースである。
　認識結果統合部１１０は、発話規則判定部１１４により判定された発話規則と、受信部１０９が音声認識サーバ１０１から受信した第１の音声認識結果と、音声認識部１０７からの第２の音声認識結果とから、後述する音声認識結果の統合を行なう。そして、認識結果統合部１１０は、音声認識結果の統合結果を出力する。統合結果には、第１の音声認識結果の有無と第２の音声認識結果の有無の情報が含まれる。
　状態決定部１１１は、認識結果統合部１１０から出力される統合結果に含まれるクライアント及びサーバの音声認識結果の有無の情報に基づき、システムへのコマンドを確定できるか否かを判定する。システムへのコマンドが確定しない場合には、状態決定部１１１は、統合結果が該当する音声認識状態を決定する。そして、状態決定部１１１は、決定した音声認識状態を応答文生成部１１２に出力する。また、システムへのコマンドが確定した場合には、システムに確定したコマンドを出力する。
　応答文生成部１１２は、状態決定部１１１が出力した音声認識状態に対応する応答文を生成し、出力部１１３に応答文を出力する。出力部１１３は、入力された応答文をディスプレイ等に出力するディスプレイ駆動装置、応答文を音声として出力するスピーカ又はインターフェースデバイスである。
　次に、実施の形態１に係る音声認識装置１０２の動作について、図２及び図３を参照して説明する。
　図２及び図３は、実施の形態１に係る音声認識装置の処理の流れを示すフローチャートである。
　まず、ステップＳ１０１において、音声入力部１０６は、利用者が発話した音声をマイク等により音声データに変換した後、音声認識部１０７および送信部１０８へ音声データを出力する。
　次に、ステップＳ１０２において、送信部１０８は、音声入力部１０６から入力された音声データを音声認識サーバ１０１へ送信する。
　以下、ステップＳ２０１からステップＳ２０３は、音声認識サーバ１０１の処理である。
　まず、ステップＳ２０１において、音声認識サーバ１０１は、受信部１０３がクライアントの音声認識装置１０２から送信された音声データを受信すると、受信した音声データをサーバの音声認識部１０４へ出力する。
　次に、ステップＳ２０２において、サーバの音声認識部１０４は、受信部１０３から入力された音声データに対して任意の文章を認識対象とする自由文の音声認識を行ない、その結果得られた認識結果のテキスト情報を送信部１０５へ出力する。自由文の音声認識方法は、例えば、Ｎ－ｇｒａｍ連続音声認識によるディクテーション技術を用いる。具体的には、サーバの音声認識部１０４は、クライアントの音声認識装置１０２から受信した音声データ「健児さんにメール、今から帰る」に対して音声認識を行なった後、音声認識結果候補として、例えば「検事さんに滅入る、今から帰る」を含む音声認識結果リストを出力する。なお、この音声認識結果候補で示したように、サーバの音声認識結果は、音声データに人名やコマンド名などが含まれる場合、音声認識が難しいため、認識誤りを含むことがある。
　最後に、ステップＳ２０３において、送信部１０５は、サーバ音声認識部１０４が出力した音声認識結果を第１の音声認識結果としてクライアント音声認識装置１０２へ送信し、処理を終了する。
　次に、音声認識装置１０２の動作の説明に戻る。
　ステップＳ１０３において、クライアントの音声認識部１０７は、音声入力部１０６から入力された音声データに対して、音声操作用コマンドや人名などのキーワードを認識する音声認識を行ない、その結果得られた認識結果のテキスト情報を第２の音声認識結果として、認識結果統合部１１０へ出力する。キーワードの音声認識方法は、例えば、助詞も含めたフレーズを抽出するフレーズスポッティング技術を用いる。クライアントの音声認識部１０７は、音声操作用コマンドと人名情報が登録されてリスト化した認識辞書を記憶している。音声認識部１０７は、サーバのもつ大語彙の認識辞書では認識が難しい音声操作用コマンドと人名情報を認識対象とし、利用者が「健児さんにメール、今から帰る」と音声入力した場合に、音声認識部１０７は音声操作用コマンドの「メール」および人名情報である「健児」を認識し、音声認識結果候補として「健児さんにメール」を含む音声認識結果を出力する。
　次に、ステップＳ１０４において、発話規則判定部１１４は、音声認識部１０７から入力された音声認識結果と発話規則記憶部１１５に格納されている発話規則を照合して、音声認識結果に合致する発話規則を判定する。
　図４は、本発明の実施の形態１に係る音声認識装置１０２の発話規則記憶部１１５が記憶する発話規則の一例である。
　図４には、音声操作用コマンドに対応する発話規則が示されている。発話規則は、人名情報を含む固有名詞とコマンドと自由文、及びその組み合わせパターンにより構成される。発話規則判定部１１４は、音声認識部１０７から入力された音声認識結果候補「健児さんにメール」と、発話規則記憶部１１５に格納されている発話規則のパターンとを比較して、一致する音声操作用コマンド「さんにメール」が見つかった場合は、その音声操作用コマンドに対応する入力音声の発話規則として「固有名詞＋コマンド＋自由文」の情報を取得する。そして、発話規則判定部１１４は、取得した発話規則の情報を認識結果統合部１１０へ出力するとともに、状態決定部１１１へ出力する。
　次に、ステップＳ１０５において、受信部１０９はサーバ１０１から送信された第１の音声認識結果を受信すると、第１の音声認識結果を認識結果統合部１１０へ出力する。
　次に、ステップＳ１０６において、認識結果統合部１１０は、クライアントの音声認識結果とサーバの音声認識結果が存在するかを確認する。両方の結果がそろっている場合、以下の処理を行なう。
　次に、ステップＳ１０７において、認識結果統合部１１０は、発話規則判定部１１４から入力された発話規則を参照して、受信部１０９から入力された音声認識サーバ１０１の第１の音声認識結果と音声認識部１０７から入力された第２の音声認識結果との統合が可能か否かを判定する。統合可能か否かの判定は、発話規則を埋めるコマンドが第１の音声認識結果と第２の音声認識結果に共通に含まれている場合に統合可能と判定し、どちらか一方にコマンドが含まれていない場合に統合不可能と判定する。統合可能な場合は、ＹＥＳの分岐によりステップＳ１０８に進み、統合不可の場合は、Ｎｏの分岐によりステップＳ１１０に進む。
　統合可否の判定は、具体的には、以下のように行なう。認識結果統合部１１０は、発話規則判定部１１４が出力した発話規則から文字列の中に「メール」というコマンドが存在することを確認する。そして、サーバの音声認識結果のテキスト中の「メール」の位置を検索し、テキスト中に「メール」が含まれていない場合、統合は不可能と判断する。
例えば、音声認識部１０７の音声認識結果として「メール」が入力され、サーバの音声認識結果
として「滅入る」が入力された場合は、サーバの音声認識結果テキストに「メール」が含まれておらず、発話規則判定部１１４から入力された発話規則に合致しない。そのため、音声認識結果統合部１１０は、統合不可能と判定する。
　認識結果統合部１１０は、統合が不可能と判定した場合、サーバからの認識結果が得られなかったものとして扱う。したがって、音声認識部１０７から入力された音声認識結果と、サーバからの情報が得られなかった旨を状態決定部１１１へ送信する。例えば、音声認識部１０７から入力された音声認識結果「メール」、クライアント音声認識結果：あり、サーバ音声認識結果：なしを状態決定部１１１へ送信する。
　次に、ステップＳ１０８において、認識結果統合部１１０は、統合が可能と判定した場合、受信部１０９から入力された音声認識サーバ１０１の第１の音声認識結果と、音声認識部１０７から入力された第２の音声認識結果との統合の前処理として、コマンドの位置を特定する。まず、発話規則判定部１１４が出力した発話規則から文字列の中に「メール」というコマンドが存在することを確認し、サーバの音声認識結果のテキスト中の「メール」を検索して、「メール」の位置を特定する。そして、発話規則である「固有名詞＋コマンド＋自由文」に基づき、コマンドの「メール」の位置より後の文字列が自由文であると判断する。
　次に、ステップＳ１０９において、認識結果統合部１１０は、サーバの音声認識結果とクライアントの音声認識結果を統合する。認識結果統合部１１０は、まず、発話規則に対して、クライアントの音声認識結果から固有名詞とコマンドを採用し、サーバの音声認識結果から自由文を採用する。次に、発話規則の各発話要素に固有名詞、コマンド、自由文をあてはめる。ここでは、上記の処理を統合するという。
　図５は、サーバの音声認識結果とクライアントの音声認識結果の統合を説明する説明図である。
　認識結果統合部１１０は、クライアントの音声認識結果が「健児さんにメール」であり、サーバの音声認識結果が「検事さんにメール、今から帰る」であったときに、クライアントの音声認識結果から固有名詞として「健児」を、コマンドとして「メール」を採用し、サーバの音声認識結果から自由文として「今から帰る」を採用する。そして、発話規則の発話要素である固有名詞、コマンド、自由文に採用した文字列をあてはめ、統合結果「健児さんにメール、今から帰る」を得る。
　そして、認識結果統合部１１０は、統合結果とクライアント、サーバ両方の認識結果が得られたという情報を状態決定部１１１に出力する。例えば、統合結果「健児さんにメール、今から帰る」、クライアント音声認識結果：あり、サーバ音声認識結果：ありと状態決定部１１１へ送信する。
　次に、ステップＳ１１０において、状態決定部１１１は、認識結果統合部１１０が出力したクライアントの音声認識結果の有無、サーバ音声認識結果の有無及び発話規則に基づいて、音声認識状態を決定できるかを判定する。
　図６は、音声認識状態と、クライアントの音声認識結果の有無と、サーバ音声認識結果の有無と、発話規則との対応関係を示す図である。
　音声認識状態は、発話規則の発話要素に対して、音声認識結果が得られているか否かを示している。状態決定部１１１は、サーバの音声認識結果の有無、クライアントの音声認識結果の有無及び発話規則から一意に音声認識状態が決まる対応関係を図６のような対応表により記憶している。言い換えれば、サーバからの音声認識結果がない場合で、発話規則に自由文が含まれている場合、サーバからの音声認識結果なしの場合は、自由文なしの場合に該当するというように、予めサーバの音声認識結果の有無と発話規則における各発話要素の有無との対応を定めておく。そのため、サーバとクライアントの音声認識結果の有無の情報から、音声認識結果が得られていない発話要素を特定できる。
　例えば、状態決定部１１１は、発話規則：固有名詞＋コマンド＋自由文、クライアント音声認識結果：あり、サーバ音声認識結果：ありという情報を得た場合、記憶している対応関係に基づき、音声認識状態はＳ１と判断する。なお、図６において音声認識状態Ｓ４は、音声認識状態が決定できなかったことに対応する。
　次に、ステップＳ１１１において、状態決定部１１１は、システムへのコマンドを確定できるかを判定する。例えば、音声認識状態がＳ１である場合、統合結果「健児さんにメール、今から帰る」をシステムのコマンドとして確定し、ＹＥＳの分岐によりステップＳ１１２へ処理を進める。
　次に、ステップＳ１１２において、状態決定部１１１は、システムのコマンド「健児さんにメール、今から帰る」をシステムへ出力する。
　次に、クライアントの音声認識結果は得られるが、サーバからの音声認識結果が得られない場合の動作について説明する。
　ステップＳ１０６において、サーバからの認識結果が得られない場合、例えばサーバからの応答が一定時間Ｔ秒以上ない場合、受信部１０９は、サーバの音声認識結果なしという情報を認識結果統合部１１０へ送る。
　認識結果統合部１１０は、クライアントからの音声認識結果とサーバからの音声認識結果がそろっているかを確認し、サーバからの音声認識がない場合は、ステップＳ１０７からＳ１０９の処理を行わず、ステップＳ１１５に進む。
　次に、ステップＳ１１５において、認識結果統合部１１０は、クライアントの音声認識結果が存在するか否かを確認し、クライアントの音声認識結果が存在する場合、統合結果を状態決定部１１１に出力して、ＹＥＳの分岐によりステップＳ１１０に進む。ここでは、サーバからの音声認識結果はないため、統合結果はクライアントの音声認識結果となる。例えば、統合結果：「健児さんにメール」、クライアントの音声認識結果：あり、サーバの音声認識結果：なし、を状態決定部１１１に出力する。
　次に、ステップＳ１１０において、状態決定部１１１は、認識結果統合部１１０が出力したクライアントの音声認識結果及びサーバの音声認識結果と、発話規則判定部１１４が出力した発話規則を用いて音声認識状態を決定する。ここでは、クライアントの音声認識状態：あり、サーバの音声認識状態：なし、発話規則：固有名詞＋コマンド＋自由文であるから、図６を参照して、音声認識状態はＳ２と決定される。
　次に、ステップＳ１１１において、状態決定部１１１は、システムへのコマンドを確定できるか否かを判断する。具体的には、状態決定部１１１は、音声認識状態がＳ１のとき、システムへのコマンドが確定していると判断する。ここでは、ステップＳ１１０で得られた音声認識状態はＳ２であるので、状態決定部１１１は、システムへのコマンドが確定していないと判断し、音声認識状態Ｓ２を応答文生成部１１２に出力する。
　また、状態決定部１１１は、システムへのコマンドが確定できない場合、音声認識状態Ｓ２を音声入力部１０６に出力して、Ｎｏの分岐によりステップＳ１１３へ進む。これは、音声入力部１０６に、次の入力音声は自由文であり、サーバに音声データを送信するということを指示するためである。
　次に、ステップＳ１１３において、応答文生成部１１２は、状態決定部１１１が出力した音声認識状態に基づき、利用者の返答を促す応答文を作成する。
　図７は、音声認識状態と、生成される応答文との関係を示す図である。
　応答文は、音声認識結果が得られた発話要素を利用者に示し、音声認識結果が得られていない発話要素について発話を促す内容になっている。音声認識状態Ｓ２の場合は、固有名詞とコマンドは確定しており、自由文の音声認識結果がないため、自由文のみ発話を促す応答文を出力部１１３へ出力する。例えば、図７のＳ２で示すように「健児さんへメールします。本文をもう一度発話ください」という応答文を応答文生成部１１２は、出力部１１３へ出力する。
　ステップＳ１１４において、出力部１１３は、応答文生成部１１１が出力した応答文、「健児さんへメールします。本文をもう一度発話ください」を、ディスプレイやスピーカなどから出力する。
　応答文を受けて、利用者がもう一度「今から帰る」と発話した場合、前述したステップＳ１０１の処理を行なう。ただし、音声入力部１０６は、状態決定部１１１が出力した音声認識状態Ｓ２を受け取っており、次に来る音声データは自由文であると分かっている。このため、音声入力部１０６は、音声データを送信部１０８に出力し、クライアントの音声認識部１０７には出力しない。したがって、ステップＳ１０３，Ｓ１０４の処理は行われない。
　サーバにおけるステップＳ２０１からＳ２０３の処理は、前述と同様であるため、説明を省略する。
　ステップＳ１０５において、受信部１０９はサーバ１０１から送信された音声認識結果を受信し、その音声認識結果を認識結果統合部１１０へ出力する。
　ステップＳ１０６において、認識結果統合部１１０は、サーバからの音声認識結果は存在するが、クライアントからの音声認識結果は存在しないと判断し、Ｎｏの分岐によりステップＳ１１５へ進む。
　次に、ステップＳ１１５において、認識結果統合部１１０は、クライアントの音声認識結果は存在しないので、発話規則判定部１１４にサーバの音声認識結果を出力し、Ｎｏの分岐によりステップＳ１１６へ進む。
　次に、ステップＳ１１６において、発話規則判定部１１４は、前述の発話規則の判定を行ない、判定した発話規則を認識結果統合部１１０に出力する。次に、認識結果統合部１１０は、サーバの音声認識結果：あり、と統合結果「今から帰る」を状態決定部１１１に出力する。ここでは、クライアントの音声認識結果がないため、サーバの音声認識結果がそのまま統合結果になる。
　次に、ステップＳ１１０において、状態決定部１１１は、再発話以前の音声認識状態を記憶しており、認識結果統合部１１０が出力した統合結果と、サーバからの音声認識結果：ありという情報から、音声認識状態を更新する。以前の音声認識状態がＳ２に対して、サーバからの音声認識結果：ありという情報が加えると、クライアントの音声認識結果とサーバの音声認識結果が両方ありとなるので、図６から、音声認識状態はＳ２からＳ１に更新される。そして、今回の統合結果「今から帰る」を自由文のところにあてはめて、「健児さんにメール、今から帰る」というシステムへのコマンドが確定される。
　次に、ステップＳ１１１において、状態決定部１１１は、音声認識状態がＳ１であるため、システムへのコマンドが確定でき、システムへのコマンド出力が可能と判断する。
　次に、ステップＳ１１２において、状態決定部１１１は、システムへのコマンド「健児さんにメール、今から帰る」をシステムへ送信する。
　なお、ステップＳ１０６において、Ｎ回繰り返しても一定時間Ｔ秒内でサーバの音声認識結果が得られない場合、状態決定部１１１は、ステップＳ１１０において状態を決定できないため、音声認識状態をＳ２からＳ４に更新する。状態決定部１１１は、応答文生成部１１２に音声認識状態Ｓ４を出力するとともに、音声認識状態、統合結果を棄却する。応答文生成部１１２は、図７を参照して、認識結果統合部１１０が出力した音声認識状態Ｓ４に対応する応答文「音声認識できません。」を生成し、出力部１１３に出力する。
　次に、ステップＳ１１７において、出力部１１３は、応答文を通知する。例えば、「音声認識できません。」と利用者に通知する。
　次に、サーバからの音声認識結果は得られるが、クライアントでの音声認識結果が得られない場合について説明する。
Ｓ１０１～Ｓ１０４、Ｓ２０１～Ｓ２０３は、クライアントの音声認識結果は得られるが、サーバからの音声認識結果が得られない場合と同じであるので、説明を省略する。
　まず、ステップＳ１０６において、状態決定部１１１は、サーバからの音声認識結果とクライアントの音声認識結果がそろっているかを確認する。ここでは、サーバの音声認識結果は存在するが、クライアントの音声認識結果は存在しないため、認識結果統合部１１０は統合処理を行わない。
　次に、ステップＳ１１５において、認識結果統合部１１０はクライアントの音声認識結果があるかを確認する。クライアントの音声認識結果がない場合、認識結果統合部１１０は、サーバの音声認識結果を発話規則判定部１１４に出力し、Ｎｏの分岐によりステップＳ１１６に進む。
　次に、ステップＳ１１６において、発話規則判定部１１４は、サーバの音声認識結果に対して発話規則を判定する。例えば、「検事さんに滅入る、今から帰る」に対して、発話規則判定部１１４は、発話規則記憶部１１５に記憶されている音声操作用コマンドと一致するものがないか、もしくは、サーバの音声認識結果リストに対して音声操作用コマンドを検索し、音声操作用コマンドが含まれる確率が高い部分が存在するかを調べ、発話規則を判定する。ここでは、発話規則判定部１１４は、「検事さんに滅入る」「検事さんにメール」などを含む音声認識結果リストから、音声操作用コマンド「さんにメール」である確率が高いとして、発話規則が固有名詞＋コマンド＋自由文であると判定する。
　発話規則判定部１１４は、判定した発話規則を認識結果統合部１１０と状態決定部１１１に出力する。認識結果統合部１１０は、クライアントの音声認識結果：なし、サーバからの音声認識結果：あり、統合結果：「検事さんに滅入る、今から帰る。」を状態決定部１１１に出力する。ここで、クライアントの音声認識結果がないため、統合結果は、サーバの音声認識結果そのものである。
　次に、ステップＳ１１０において、状態決定部１１１は、発話規則判定部１１４が出力した発話規則と、認識結果統合部１１０が出力したクライアントの音声認識結果の有無、サーバの音声認識結果の有無、統合結果から、音声認識状態を決定できるか判断する。状態決定部１１１は、図６を参照して、音声認識状態を決定する。ここでは、発話規則が固有名詞＋コマンド＋自由文であり、サーバのみ音声認識結果があることから、状態決定部１１１は、音声認識状態をＳ３と決定するとともに記憶する。
　次に、ステップＳ１１１において、状態決定部１１１は、システムへのコマンドを確定できるかを判断する。状態決定部１１１は、音声認識状態がＳ１でないため、システムへのコマンドを確定できないとして、音声認識状態を決定して、決定した音声認識状態を応答文生成部１１２に出力する。また、状態決定部１１１は、決定した音声認識状態を音声入力部１０６に出力する。これは、次に入力された音声は、サーバに送信せず、クライアントの音声認識部１０７に出力するようにするためである。
　次に、ステップＳ１１３において、応答文生成部１１２は、得られた音声認識状態に対して、図７を参照して応答文を生成する。そして、応答文生成部１１２は、応答文を出力部１１３に出力する。例えば、音声認識状態がＳ３の場合、「今から帰るをどうしますか？」という応答文を作成し、出力部１１３に出力する。
　次に、ステップＳ１１４において、出力部１１３は、応答文をディスプレイやスピーカなどから出力し、利用者に音声認識結果が得られていない発話要素の再発話を促す。
　利用者に再発話を促して、利用者が「健児さんにメール」と再発話した場合、Ｓ１０１～Ｓ１０４の処理は前述の通りであるから説明を省略する。なお、音声入力部１０６は、状態決定部１１１が出力した音声認識状態に対応して、再発話の音声をどこに送るかを決定している。Ｓ２の場合は、サーバに送信するために送信部１０８のみに音声データを出力し、Ｓ３の場合はクライアントの音声認識部１０７に音声データを出力する。
　次に、ステップＳ１０６において、認識結果統合部１１０は、クライアントの音声認識結果と発話規則判定部１１４が出力した発話規則判定結果を受け取り、クライアントの音声認識結果とサーバの音声認識結果がそろっているかを確認する。
　次に、ステップＳ１１５において、認識結果統合部１１０は、クライアントの音声結果が存在するかを確認し、存在する場合、クライアントの音声認識結果：あり、サーバの音声認識結果：なし、統合結果：「健児さんにメール」を状態決定部１１１に出力する。ここで、認識結果統合部１１０は、サーバの音声認識結果がないため、クライアントの音声認識結果を統合結果としている。
　次に、ステップＳ１１０において、状態決定部１１１は、記憶していた再発話前の音声認識状態、認識結果統合部１１０が出力したクライアントの音声認識結果、サーバの音声認識結果及び統合結果から、音声認識状態を更新する。再発話前の音声認識状態はＳ３であり、クライアントの音声認識結果はなしであった。しかし、再発話により、クライアントの音声認識結果はありになるため、状態決定部１１１は、音声認識状態をＳ３からＳ１に変更する。また、認識結果統合部１１１が出力した統合結果「健児さんにメール」を、記憶していた発話規則の固有名詞＋コマンドの発話要素にあてはめて、システムへのコマンド「健児さんにメール、今から帰る」を確定する。
　以下のステップＳ１１１～Ｓ１１２は、前述と同様であるため、説明を省略する。
　以上のように、実施の形態１の発明によれば、サーバの音声認識結果の有無及びクライアントの音声認識結果の有無と、発話規則の各発話要素との対応関係を決めておき、その対応関係を記憶している。したがって、サーバもしくはクライアントのどちらか一方からの音声認識結果が得られない場合でも、発話規則とその対応関係から音声認識結果が得られていない部分を特定でき、その部分を利用者に再発話を促すことができる。その結果、利用者に一から発話を促す必要がなく、利用者の負担を小さくできるという効果がある。
　なお、クライアントからの音声認識結果が得られない場合、応答文生成部１１２は、「今から帰るをどうしますか。」という応答文を作成するとしたが、以下のように、状態決定部１１１が、認識結果の得られた自由文を解析し、コマンドを推定し、推定したコマンド候補を利用者に選択させても良い。状態決定部１１１は、自由文に対して、予め登録してあるコマンドとの親和度が高い文章が含まれているかを検索し、親和度が高い順にコマンドの候補を決定する。親和度は、例えば、過去の発話文の事例を蓄積しておき、事例中に出現するコマンドと、自由文中の各単語との共起確率により定義される。「今から帰る」という文章であれば、「メール」や「電話」との親和度が高いとして、その候補をディスプレイ又はスピーカから出力する。そして「１：メール、２：電話のどちらですか？」などと通知し、利用者に「１」と発話させることが考えられる。選択方法は番号でもよいし、利用者が「メール」もしくは「電話」と再度発話してもよい。このようにすることにより、利用者が再発話する負担をさらに減らすことができる。
　また、サーバからの音声認識結果が得られない場合、応答文生成部１１２は「健児さんにメールします。本文をもう一度発話ください」という応答文を作成するとしたが、「健児さんにメールしますか？」という応答文を作成しても良い。出力部１１３は応答文をディスプレイ又はスピーカから出力し、利用者の「はい」という結果を受けた後で、状態決定部１１１において音声認識状態を決定しても良い。
　なお、「いいえ」と利用者が発話した時は、状態決定部１１１は音声認識状態が決定できなかったと判断し、音声認識状態Ｓ４を応答文生成部１１２に出力する。その後はステップＳ１１７で示したように、出力部１１３を通して、利用者に音声認識できなかったことを通知する。このように、固有名詞＋コマンドの発話要素を確定して良いかを利用者に問い合わせることで、固有名詞やコマンドの認識間違いを減らすことができる。
実施の形態２
　次に、実施の形態２に係る音声認識装置を説明する。実施の形態１では、サーバ及びクライアントのどちらかの音声認識結果がない場合について述べたが、実施の形態２は、サーバ及びクライアントのどちらかの音声認識結果はあるが、音声認識結果にあいまいさがあるため、音声認識結果の一部が確定しない場合について述べる。
　実施に形態２に係る音声認識装置の構成は、図１に示す実施の形態１と同じであるため、各部の説明は省略する。
　次に、動作について説明する。
　音声認識部１０７は、利用者が「健児さんにメール」と発話した音声データに対して、音声認識を行なうが、発話状況により、「健児さんにメール」「健一さんにメール」と複数の音声認識候補がリストアップされ、かつどの音声認識候補も認識スコアが近い可能性がある。認識結果統合部１１０は、複数の音声認識候補がある場合、あいまいな固有名詞部分を利用者に問い合わせるために、音声認識結果として、例えば「？？さんにメール」を生成する。
　認識結果統合部１１０は、サーバの音声認識結果：あり、クライアントの音声認識結果：あり、統合結果「？？さんにメール、今から帰る」を状態決定部１１１に出力する。
　状態決定部１１１は、発話規則と統合結果から、発話規則のどの発話要素が確定しているかを判断する。そして、状態決定部１１１は、発話規則の各発話要素が確定しているか、未確定なのか、あるいは発話要素がないのかに基づき、音声認識状態を決定する。
　図８は、発話規則の発話要素の状態と音声認識状態の対応関係を示す図である。例えば、「？？さんにメール、今から帰る」の場合は、固有名詞の部分が未確定であり、コマンドと自由文は確定しているので、音声認識状態はＳ２と決定される。状態決定部１１１は、音声認識状態Ｓ２を応答文生成部１１２に出力する。
　応答文生成部１１２は、音声認識状態Ｓ２に対応して、利用者に固有名詞の再度発話を促す「どなたにメールしますか？」という応答文を作成し、応答文を出力部１１３に出力する。利用者に再発話を促す方法は、クライアントの音声認識結果リストを元に選択肢を示してもよい。例えば、「１：健児さん、２：健一さん、３：健吾さんのうちどなたにメールしますか？」などと通知し、番号を発話させる構成が考えられる。利用者の再発話内容を受け、認識スコアが信頼できるものになった場合、「健児さん」を確定させ、音声操作用コマンドと合わせ「健児さんにメール」という文を確定させ、音声認識結果を出力させる。
　以上のように、実施の形態２の発明によれば、サーバもしくはクライアントからの音声認識結果はあるが、認識結果の一部が確定しない場合であっても、利用者にすべてを発話させる必要がなくなり、利用者の負担を減らす効果がある。
　１０１　音声認識サーバ、１０２　クライアントの音声認識装置、１０３　サーバの受信部、１０４　サーバの音声認識部、１０５　サーバの送信部、１０６　音声入力部、１０７　クライアントの音声認識部、１０８　クライアントの送信部、１０９　クライアントの受信部、１１０　認識結果統合部、１１１　状態決定部、１１２　応答文生成部、１１３　出力部、１１４　発話規則判定部，１１５　発話規則記憶部。

Claims (6)

  1. 　入力音声をサーバに送信する送信部と、
    　前記送信部により送信された前記入力音声を前記サーバで音声認識した結果である第１の音声認識結果を受信する受信部と、
    　前記入力音声の音声認識を行ない、第２の音声認識結果を得る音声認識部と、
    　前記入力音声の発話要素の構成を表現する発話規則を記憶する発話規則記憶部と、
    　前記発話規則を参照し、前記第２の音声認識結果に合致する前記発話規則を判定する発話規則判定部と、
    　前記第１の音声認識結果の有無及び前記第２の音声認識結果の有無と、前記発話規則を構成する前記発話要素の有無との対応関係を記憶しており、前記対応関係により、音声認識結果が得られていない前記発話要素を示す音声認識状態を決定する状態決定部と、
    　前記状態決定部により決定された前記音声認識状態に対応し、音声認識結果が得られていない前記発話要素を問い合わせる応答文を生成する応答文生成部と、
    　前記応答文を出力する出力部と、
    を備える音声認識装置。
  2. 　前記発話規則を用いて、前記第１の音声認識結果と前記第２の音声認識結果とを統合して統合結果を出力する統合結果認識部を備え、
    　前記状態決定部は、前記統合結果に対する前記音声認識状態を決定する請求項１に記載の音声認識装置。
  3. 　前記発話規則は、固有名詞とコマンドと自由文とを備えることを特徴とする請求項１または請求項２に記載の音声認識装置。
  4. 　前記受信部は、前記サーバで自由文を音声認識した前記第１の音声認識結果を受信し、
    　前記状態決定部は、前記第１の音声認識結果に対してコマンドの推定を行ない、前記音声認識状態を決定する請求項３に記載の音声認識装置。
  5. 　前記音声認識部は、複数の前記第２の音声認識結果を出力し、
    　前記応答文生成部は、複数の前記第２の音声認識結果のうちいずれかを利用者に選択させる前記応答文を生成する請求項１から請求項４のいずれか１項に記載の音声認識装置。
  6. 　送信部と、受信部と、音声認識部と、発話規則判定部と、状態決定部と、応答文生成部と、出力部とを備え、発話要素の構成を表現する発話規則をメモリに記憶する音声認識装置の音声認識方法であって、
    　前記送信部が、入力音声をサーバに送信する送信ステップと、
    　前記受信部が、前記送信ステップにより送信された前記入力音声を前記サーバで音声認識した結果である第１の音声認識結果を受信する受信ステップと、
    　前記音声認識部が、前記入力音声の音声認識を行ない、第２の音声認識結果を得る音声認識ステップと、
    　前記発話規則判定部が、前記発話規則を参照し、前記第２の音声認識結果に合致する前記発話規則を判定する発話規則判定ステップと、
    　前記状態決定部が、前記第１の音声認識結果の有無及び前記第２の音声認識結果の有無と、前記発話規則を構成する前記発話要素の有無との対応関係を記憶しており、前記対応関係により、音声認識結果が得られていない前記発話要素を示す音声認識状態を決定する状態決定ステップと、
    　前記応答文生成部が、前記状態決定ステップにより決定された前記音声認識状態に対応し、音声認識結果が得られていない前記発話要素を問い合わせる応答文を生成する応答文生成ステップと、
    　前記出力部が、前記応答文を出力するステップと、
    を備える音声認識方法。
PCT/JP2015/070490 2014-07-23 2015-07-17 音声認識装置及び音声認識方法 WO2016013503A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/315,201 US20170194000A1 (en) 2014-07-23 2015-07-17 Speech recognition device and speech recognition method
JP2016514180A JP5951161B2 (ja) 2014-07-23 2015-07-17 音声認識装置及び音声認識方法
DE112015003382.3T DE112015003382B4 (de) 2014-07-23 2015-07-17 Spracherkennungseinrichtung und Spracherkennungsverfahren
CN201580038253.0A CN106537494B (zh) 2014-07-23 2015-07-17 语音识别装置和语音识别方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-149739 2014-07-23
JP2014149739 2014-07-23

Publications (1)

Publication Number Publication Date
WO2016013503A1 true WO2016013503A1 (ja) 2016-01-28

Family

ID=55163029

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/070490 WO2016013503A1 (ja) 2014-07-23 2015-07-17 音声認識装置及び音声認識方法

Country Status (5)

Country Link
US (1) US20170194000A1 (ja)
JP (1) JP5951161B2 (ja)
CN (1) CN106537494B (ja)
DE (1) DE112015003382B4 (ja)
WO (1) WO2016013503A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320752A (zh) * 2018-01-26 2018-07-24 青岛易方德物联科技有限公司 应用于社区门禁的云声纹识别***及其方法
WO2019142447A1 (ja) * 2018-01-17 2019-07-25 ソニー株式会社 情報処理装置および情報処理方法
JP2019535034A (ja) * 2016-09-30 2019-12-05 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 音声認識のためのシステム及び方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255266B2 (en) * 2013-12-03 2019-04-09 Ricoh Company, Limited Relay apparatus, display apparatus, and communication system
KR102346302B1 (ko) * 2015-02-16 2022-01-03 삼성전자 주식회사 전자 장치 및 음성 인식 기능 운용 방법
JP7040449B2 (ja) * 2016-09-09 2022-03-23 ソニーグループ株式会社 音声処理装置、情報処理装置、音声処理方法および情報処理方法
WO2018135303A1 (ja) * 2017-01-18 2018-07-26 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
CN108520760B (zh) * 2018-03-27 2020-07-24 维沃移动通信有限公司 一种语音信号处理方法及终端
JP2019200393A (ja) * 2018-05-18 2019-11-21 シャープ株式会社 判定装置、電子機器、応答システム、判定装置の制御方法、および制御プログラム
US20220148574A1 (en) * 2019-02-25 2022-05-12 Faurecia Clarion Electronics Co., Ltd. Hybrid voice interaction system and hybrid voice interaction method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011066A (ja) * 2004-06-25 2006-01-12 Nec Corp 音声認識／合成システム、同期制御方法、同期制御プログラム、および同期制御装置
WO2006083020A1 (ja) * 2005-02-04 2006-08-10 Hitachi, Ltd. 抽出された音声データを用いて応答音声を生成する音声認識システム
JP2010085536A (ja) * 2008-09-30 2010-04-15 Fyuutorekku:Kk 音声認識システム、音声認識方法、音声認識クライアントおよびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2355833B (en) * 1999-10-29 2003-10-29 Canon Kk Natural language input method and apparatus
JP2007033901A (ja) * 2005-07-27 2007-02-08 Nec Corp 音声認識システム、音声認識方法、および音声認識用プログラム
KR100834679B1 (ko) * 2006-10-31 2008-06-02 삼성전자주식회사 음성 인식 오류 통보 장치 및 방법
JP5042799B2 (ja) * 2007-04-16 2012-10-03 ソニー株式会社 音声チャットシステム、情報処理装置およびプログラム
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US9384736B2 (en) 2012-08-21 2016-07-05 Nuance Communications, Inc. Method to provide incremental UI response based on multiple asynchronous evidence about user input

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011066A (ja) * 2004-06-25 2006-01-12 Nec Corp 音声認識／合成システム、同期制御方法、同期制御プログラム、および同期制御装置
WO2006083020A1 (ja) * 2005-02-04 2006-08-10 Hitachi, Ltd. 抽出された音声データを用いて応答音声を生成する音声認識システム
JP2010085536A (ja) * 2008-09-30 2010-04-15 Fyuutorekku:Kk 音声認識システム、音声認識方法、音声認識クライアントおよびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019535034A (ja) * 2016-09-30 2019-12-05 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 音声認識のためのシステム及び方法
WO2019142447A1 (ja) * 2018-01-17 2019-07-25 ソニー株式会社 情報処理装置および情報処理方法
CN108320752A (zh) * 2018-01-26 2018-07-24 青岛易方德物联科技有限公司 应用于社区门禁的云声纹识别***及其方法

Also Published As

Publication number Publication date
DE112015003382T5 (de) 2017-04-20
JP5951161B2 (ja) 2016-07-13
US20170194000A1 (en) 2017-07-06
DE112015003382B4 (de) 2018-09-13
CN106537494A (zh) 2017-03-22
CN106537494B (zh) 2018-01-23
JPWO2016013503A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP5951161B2 (ja) 音声認識装置及び音声認識方法
US10210862B1 (en) Lattice decoding and result confirmation using recurrent neural networks
CN106663424B (zh) 意图理解装置以及方法
JP6574169B2 (ja) 多方向の復号をする音声認識
US10650802B2 (en) Voice recognition method, recording medium, voice recognition device, and robot
US20060122837A1 (en) Voice interface system and speech recognition method
KR101309042B1 (ko) 다중 도메인 음성 대화 장치 및 이를 이용한 다중 도메인 음성 대화 방법
WO2018092786A1 (ja) 音声認識装置、音声認識システム
JP2018081298A (ja) 自然語処理方法及び装置と自然語処理モデルを学習する方法及び装置
US10506088B1 (en) Phone number verification
JP2012063536A (ja) 端末装置、音声認識方法および音声認識プログラム
JP2008097082A (ja) 音声対話装置
US20240144933A1 (en) Voice-controlled communication requests and responses
JP2010048953A (ja) 対話文生成装置
US10866948B2 (en) Address book management apparatus using speech recognition, vehicle, system and method thereof
JP6468258B2 (ja) 音声対話装置および音声対話方法
JP2006189730A (ja) 音声対話方法および音声対話装置
KR101326262B1 (ko) 음성인식 단말 및 그 방법
JP6001944B2 (ja) 音声コマンド制御装置、音声コマンド制御方法及び音声コマンド制御プログラム
JP2019015950A (ja) 音声認識方法、プログラム、音声認識装置、及びロボット
US11735178B1 (en) Speech-processing system
JP3285704B2 (ja) 音声対話のための音声認識方法及び装置
KR100952974B1 (ko) 미등록어 처리를 지원하는 음성 인식 시스템과 방법 및이를 저장한 컴퓨터 판독 가능 기록매체
US11978445B1 (en) Confidence scoring for selecting tones and text of voice browsing conversations
JP2003228393A (ja) 音声対話装置及び方法、音声対話プログラム並びにその記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15825414

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016514180

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15315201

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015003382

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15825414

Country of ref document: EP

Kind code of ref document: A1