WO2012081788A1 - 온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법 - Google Patents

온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법 Download PDF

Info

Publication number
WO2012081788A1
WO2012081788A1 PCT/KR2011/005394 KR2011005394W WO2012081788A1 WO 2012081788 A1 WO2012081788 A1 WO 2012081788A1 KR 2011005394 W KR2011005394 W KR 2011005394W WO 2012081788 A1 WO2012081788 A1 WO 2012081788A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice recognition
unit
sound signal
time
client system
Prior art date
Application number
PCT/KR2011/005394
Other languages
English (en)
French (fr)
Inventor
이상호
김훈
구동욱
김준석
김상경
Original Assignee
엔에이치엔(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46244864&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2012081788(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엔에이치엔(주) filed Critical 엔에이치엔(주)
Priority to US13/995,085 priority Critical patent/US9318111B2/en
Priority to JP2013544373A priority patent/JP2014505270A/ja
Publication of WO2012081788A1 publication Critical patent/WO2012081788A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results

Definitions

  • Embodiments of the present invention relate to a voice recognition client system, a voice recognition server system and a voice recognition method for processing online voice recognition.
  • Speech recognition is to identify linguistic meaning content from speech by an automatic means. Specifically, speech recognition may mean a process of inputting a speech waveform to identify a word or word string and extracting meaning.
  • the speech recognition result is generated by using the entire sound signal input.
  • a search is performed using a voice recognition result generated after all user utterances are finished, and a search result is provided.
  • Voice recognition client system that provides the user with an intermediate result of voice recognition after the user starts talking and before the voice recognition ends, thereby reducing the user's worry about whether the voice recognition is being performed correctly and providing more accurate voice recognition.
  • a voice recognition server system and a voice recognition method are provided.
  • the partial sound signal is generated by accumulating at least one unit sound signal input for each predetermined unit time, and generates a voice recognition intermediate result based on the partial sound signal and provides the result to the user.
  • a voice recognition client system a voice recognition server system
  • a voice recognition method that can provide a sense of stability and show a process of voice recognition.
  • a voice recognition client system for displaying a voice recognition result of a sound signal input from the start point to the end point of the voice recognition, the unit sound signal input at every predetermined unit time from the start point to the end point
  • a voice recognition client system includes a communication unit for transmitting to a recognition server system and receiving a voice recognition intermediate result from a voice recognition server system and a display unit for displaying the received voice recognition intermediate result between a start point and an end point.
  • the speech recognition intermediate result may be generated through the partial sound signal accumulated at least one unit sound signal according to the input time in the speech recognition server system.
  • the display unit may sequentially display the plurality of voice recognition intermediate results between the start time and the end time.
  • the display unit may display all of two or more results when one of the voice recognition intermediate results includes two or more results.
  • the voice recognition client system may further include a user interface unit for receiving an event from the user, and if the result of one of two or more displayed results is selected through the event, the selected result is sent to the voice recognition server system The feedback may be reflected in the voice recognition process.
  • the voice recognition client system may further include an accuracy determiner that determines the accuracy of each of the two or more results when the voice recognition intermediate result includes two or more results.
  • the display unit may display two or more results in the order of accuracy or display the results with the highest accuracy.
  • the voice recognition client system may further include a feature information extractor for extracting feature information from the input unit sound signal and an encoder for encoding the input unit sound signal.
  • the communication unit may transmit the feature information and the encoded unit sound signal to the voice recognition server system as the input unit sound signal.
  • a voice recognition server system for generating a voice recognition result using a sound signal received from a voice recognition client system, wherein the unit sound signal input to the voice recognition client system is received every unit time from the start point to the end point of the voice recognition.
  • Receiving unit a voice recognition result generating unit for generating a voice recognition intermediate results using the partial sound signal accumulated at least one unit sound signal according to the input time and a transmission unit for transmitting the voice recognition intermediate results to the voice recognition client system
  • a voice recognition server system is provided. In this case, the voice recognition intermediate result is displayed through the display portion of the voice recognition client system between the start point and the end point.
  • a voice recognition client system for displaying a voice recognition result of a sound signal input from a start point to a end point of voice recognition, the voice recognition client system being input to at least one of a plurality of time points between a start point and a start point and an end point.
  • a voice recognition client system is provided that includes a control unit for controlling a voice recognition intermediate result of a partial sound signal to be displayed between a start time and an end time.
  • a voice recognition server system for generating a voice recognition result using a sound signal received from a voice recognition client system, wherein the voice recognition is performed from a start point of voice recognition to at least one of a plurality of time points between a start point and an end point.
  • a voice recognition server system including a voice recognition result generator for generating a voice recognition intermediate result using a partial sound signal input to the client system and a transmission unit for transmitting the voice recognition intermediate result to the voice recognition client system.
  • the voice recognition intermediate result is displayed through the display portion of the voice recognition client system between the start point and the end point.
  • a voice recognition method includes transmitting to a server system, receiving a voice recognition intermediate result from a voice recognition server system, and displaying the received voice recognition intermediate result between a start point and an end point.
  • a voice recognition method for generating a voice recognition result using a sound signal received from a voice recognition client system comprising: receiving a unit sound signal input to the voice recognition client system every unit time from the start point to the end point of the voice recognition
  • the voice recognition method includes generating a voice recognition intermediate result using a partial sound signal in which at least one unit sound signal is accumulated according to an input time, and transmitting the voice recognition intermediate result to a voice recognition client system. do.
  • the voice recognition intermediate result is displayed through the display portion of the voice recognition client system between the start point and the end point.
  • a speech recognition method includes controlling an intermediate result of speech recognition for a sound signal to be displayed between a start point and an end point.
  • a voice recognition method for generating a voice recognition result using a sound signal received from a voice recognition client system comprising: a voice recognition client from a start point of voice recognition to at least one of a plurality of time points between a start point and an end point
  • a voice recognition method comprising generating a voice recognition intermediate result by using a partial sound signal input to the system and transmitting the voice recognition intermediate result to the voice recognition client system.
  • the voice recognition intermediate result is displayed through the display portion of the voice recognition client system between the start point and the end point.
  • the user can reduce the worry about whether the speech recognition is correctly performed and perform more accurate speech recognition.
  • the partial sound signal is generated by accumulating at least one unit sound signal input for each predetermined unit time, and generates a voice recognition intermediate result based on the partial sound signal and provides the result to the user. It can give a sense of stability and show the process of speech recognition.
  • FIG. 1 is a diagram illustrating an overall system for online voice recognition according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a function-specific structure of a voice recognition client system and a voice recognition server system according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an internal configuration of a speech recognition unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of speech recognition according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a voice recognition result according to time in a voice recognition process according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating an internal configuration of a voice recognition client system and a voice recognition server system according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a voice recognition method performed by a voice recognition client system according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a voice recognition method performed by a voice recognition server system according to an embodiment of the present invention.
  • FIG. 9 is a block diagram showing the internal configuration of a voice recognition client system and a voice recognition server system according to another embodiment of the present invention.
  • 1 is a diagram illustrating an overall system for online voice recognition according to an embodiment of the present invention. 1 illustrates a user 110, a voice recognition client system 120, and a voice recognition server system 130.
  • the voice recognition client system 120 may be a terminal of the user 110 or one module included in the terminal.
  • the voice recognition client system 120 may extract a feature of the input voice.
  • the voice recognition client system 120 may transmit the extracted feature to the voice recognition server system 130, and the voice recognition server system 130 may perform voice recognition using the received feature to generate a voice recognition result.
  • the voice recognition server system 130 may transmit the generated voice recognition result to the voice recognition client system 120, and the voice recognition client system 120 displays the voice recognition result by using a display device or the like. ) Will be able to check the voice recognition result of the voice input by the user.
  • the voice recognition client system 120 and the voice recognition server system 130 not only provide a voice recognition result for the entire sound signal input after all of the utterances of the user 110 are completed.
  • the user 110 may further provide a voice recognition intermediate result for the sound signal input until the moment when the user 110 utters every predetermined unit time after starting the utterance. For example, the user 110 may start speaking and provide the user 110 with an intermediate result of speech recognition every one second or every 0.5 second after about one second.
  • the voice recognition client system 120 may transmit a sound signal input every 20 milliseconds to the voice recognition server system 130, and the voice recognition server system 130 recognizes a voice using a voice recognizer. Every 500 milliseconds thereafter, the voice recognition intermediate result may be returned to the voice recognition client system 120. In this case, the voice recognition client system 120 may display the received voice recognition intermediate result on the screen, and provide the same to the user 110.
  • the user 110 may be sensed with stability.
  • a specific example of a process of presenting one of the voice recognition intermediate result candidates to the user for example, when the user 110 who wants to obtain "Gustav Klimt” as the voice recognition result, speaks “9", “9", The identifier "g", “nose” or “g” selects the most likely result until then and sends the candidate (eg "9") to the client. The user 110 sees “9” at that time, but can be changed to "sphere” in the future by the voice spoken, and this process can be repeated until the final voice recognition result is shown.
  • the voice recognition server system 130 may transmit the final voice recognition result to the voice recognition client system 120 by using the entire transmitted sound signal.
  • the voice recognition client system 120 may provide the final voice recognition result to the user 110 by displaying the result on the screen.
  • the user 110 may generate an event in the voice recognition client system 120 to select an end point of the voice recognition. For example, although the user 110 completes the utterance, voice recognition may not continue due to ambient noise and may continue. In this case, an incorrect speech recognition result may be generated, and since the speech recognition time becomes long, the speech recognition client system 120 may control the speech recognition to be terminated when a preset event is generated from the user 110. have. In this case, the voice recognition client system 120 and the voice recognition server system 130 may generate a voice recognition final result by using the input sound signal until the voice recognition ends.
  • the speech recognition final result can be used as the user's input, such as a search query.
  • FIG. 2 is a block diagram illustrating a function-specific structure of a voice recognition client system and a voice recognition server system according to an embodiment of the present invention. That is, the embodiment of FIG. 2 illustrates the internal configuration of the voice recognition client system 120 and the voice recognition server system 130 described with reference to FIG. 1.
  • the voice recognition client system 120 may include a user interface 210, a sound signal compression unit 220, a feature extractor 230, and a client socket 240, and the voice recognition server system 130.
  • the sound signal decompression unit 250, a voice recognition unit 260, a handler 270 and a listener socket 280 may be included.
  • the user interface unit 210 may include a display device for displaying at least a voice recognition result and an input interface for receiving an event from a user. That is, the user interface unit 210 may include an interface for receiving an event from the user or displaying a voice recognition result to the user.
  • the sound signal compression unit 220 receives and records a sound signal input through the microphone 290.
  • the sound signal compression unit 220 may receive a sound signal at 16 KHz and mono.
  • the feature extractor 230 extracts the feature from the sound signal.
  • a method of extracting a feature from a sound signal such as a user's voice is widely known, a detailed description thereof will be omitted. That is, in the present embodiment, one of various known methods may be used as a method of extracting a feature.
  • the sound signal compression unit 220 encodes data for transmission to the voice recognition server system 130. That is, the feature extracted by the feature extractor 230 and the sound signal recorded by the sound signal compressor 220 may be encoded.
  • the voice recognition client system 120 extracts a feature from the sound signal input every unit time from the time when the voice recognition starts or after a predetermined time after the voice recognition starts, and extracts the extracted feature and
  • the sound signal may be encoded and transmitted to the voice recognition server system 130.
  • the sound signal decompression unit 250 of the voice recognition server system 130 decompresses the compressed sound signal in the packet received from the voice recognition client system 120.
  • the speech recognizer 260 obtains language data using the decompressed sound signal.
  • the handler 270 may include a server socket which is client information about the connected voice recognition client system 120 and a socket to which the voice recognition client system 120 is connected. In this case, one handler 270 may be generated for each of a plurality of connected voice recognition client systems.
  • the listener socket 280 may include a socket waiting for a connection request of a voice recognition client system.
  • the voice recognition server system 130 may use a multi-thread in order for a plurality of voice recognition client system to use the resource efficiently.
  • the voice recognition client system 120 in order to provide the voice recognition intermediate results to the user, the voice recognition client system 120 inputs a sound signal input every unit time
  • the voice recognition server system 130 may be transferred, and the voice recognition intermediate result generated every other unit time in the voice recognition server system 130 may be transferred to the voice recognition client system 120.
  • the voice recognition client system 120 displays the transferred voice recognition intermediate result to the user, so that the user can recognize that the voice recognition process is in progress and can feel a sense of stability.
  • the user interface 210 of the voice recognition client system 120 may receive an event for determining an end point of voice recognition from the user. In this case, the voice recognition client system 120 may terminate the voice recognition and recognize the voice recognition intermediate result of the voice signal input until the voice recognition is terminated as the final voice recognition result.
  • the voice recognition unit 260 described with reference to FIG. 2 may include the acoustic model unit 310, the language model unit 330, and the decoder 350 as shown in FIG. 3.
  • the voice database 320 and the query log 340 shown in FIG. 3 may be included in the voice recognition unit 260 or may be connected to the voice recognition unit 260 to provide data to the voice recognition unit 260. .
  • the acoustic model unit 310 of the speech recognition unit 260 presents a matching value between the received feature and the recognition unit word.
  • the acoustic model unit 310 may be used to create a unit word model from the pre-built speech database 320 and calculate a degree of matching between the unit word model and the received feature.
  • a matching method may also be performed using one of various known methods.
  • the language model unit 330 builds a language model.
  • a Bigram model or a Trigram model can be used to build a language model. Since the language model construction method is already well known, the detailed description thereof will be omitted.
  • the query log 340 described above may be used as the text database as a text database to be used for constructing the language model.
  • the query log 340 may include a user query log input for a search service.
  • the decoder 290 generates a voice recognition result using the output of the acoustic model unit 310 and the output of the language model unit 330.
  • the voice recognition result generated as described above may be transmitted to the voice recognition client system 120 described with reference to FIGS. 1 and 2.
  • the voice recognition server system 130 when the voice recognition client system 120 transmits a sound signal and a feature input every unit time, the voice recognition server system 130 also generates a voice recognition result using the received sound signal and features every other unit time. can do. In this case, the voice recognition server system 130 may transmit the generated voice recognition results to the voice recognition client system 120, and the voice recognition client system 120 sequentially displays the received voice recognition results during the voice recognition process. can do. Therefore, the user can recognize that voice recognition is currently in progress and can feel a sense of stability.
  • Table 1 shows an example of a voice recognition intermediate result and a final voice recognition result provided by a user to input a “bus from sperm station to Gangnam station”.
  • the order means the order in which the results of speech recognition are provided.
  • FIG. 4 is a diagram illustrating a process of speech recognition according to an embodiment of the present invention.
  • the first dotted line 410 means a process in which the voice recognition client system 120 is connected to the voice recognition server system 130.
  • TCP / IP may be used for the connection.
  • the first benefit chain 420 may mean that the voice recognition client system 120 provides the voice recognition server system 130 with a first control packet such as protocol version information or terminal information.
  • the second benefit chain 430 may mean that the voice recognition server system 130 provides the voice response client system 120 with the first response packet to the control packet.
  • the solid lines within the first range 440 may mean that the voice recognition client system 120 provides the voice recognition server system 130 with a packet including a sound signal every unit time.
  • the voice recognition client system 120 may transmit a packet including the sound signal input therein to the voice recognition server system 130 every 20 milliseconds.
  • the dashed-dotted lines in the second range 450 may mean that the voice recognition server system 130 provides the voice recognition intermediate result and the voice recognition final result generated every other unit time to the voice recognition client system 120. .
  • the voice recognition server system 130 may generate an intermediate result of voice information by using the partial sound signal generated by accumulating the received sound signal every 500 milliseconds, and generate the intermediate result of the voice information.
  • the voice recognition client system 130 when the voice recognition server system 130 obtains the final result from the voice recognition unit 260 described with reference to FIG. 2, the voice recognition server system 130 may generate the voice recognition final result and transmit the result to the voice recognition client system 130. At this time, when the voice recognition process is completed, the voice recognition server system 130 may discard the packets including the received sound signal.
  • the third benefit chain 460 may mean that the voice recognition client system 120 notifies the connection termination by transmitting the second control packet to the voice recognition server system 130.
  • the fourth benefit chain 470 may mean that the voice recognition server system 130 transmits a second response packet for the second control packet to the voice recognition client system 120 to confirm receipt of the connection termination notification. have.
  • the second dotted line 480 may mean that the voice recognition client system 120 terminates the connection with the voice recognition server system 130.
  • the packets used in FIG. 4 may basically consist of a header and a payload.
  • the header is essentially included and the payload may be optionally included. That is, the payload may be selectively included in the packet according to the type of the packet.
  • the graph 500 is a diagram illustrating a voice recognition result according to time in a voice recognition process according to an embodiment of the present invention.
  • the graph 500 illustrates an intermediate process of speech recognition generated over time (horizontal axis) when the user wants to input a voice of "Gustav Klimt".
  • an example of providing an intermediate result of speech recognition every unit time from the start point 510 of speech recognition is shown.
  • the results of the speech recognition intermediate results for the cumulative signal of the input sound signal up to that point are shown.
  • the vertical axis indicates the possibility of voice matching of the intermediate candidates, indicating that the candidates displayed at the top (except candidates marked with X) show the highest probability at each unit time point.
  • the candidate with the highest likelihood is displayed to the user as an intermediate result of speech recognition at that time.
  • the next N candidates may be exposed to the user.
  • FIG. 5 it is expressed as if one syllable is input every unit time. However, this is for convenience of description, and no voice may be included in one unit time. May be included. Also, a voice for a plurality of syllables may be included in one unit time.
  • a unit time of a reference for transmitting a sound signal and a unit time for generating and providing a voice recognition intermediate result may be different. For example, as described above, the unit sound signal input therebetween every 20 milliseconds may be transmitted from the voice recognition client system to the voice recognition server system.
  • a voice recognition intermediate result may be generated every 500 milliseconds and transmitted from the voice recognition server system to the voice recognition client system.
  • the first speech recognition intermediate result may include speech recognition results for 25 unit sound signals
  • the second speech recognition intermediate result may include speech recognition results for 50 unit sound signals.
  • FIG. 6 is a block diagram illustrating an internal configuration of a voice recognition client system and a voice recognition server system according to an embodiment of the present invention.
  • the voice recognition client system 610 includes a user interface 611, a feature information extractor 612, an encoder 613, a communication unit 614, and a display unit 615. ) May be included.
  • the user interface 611, the feature information extractor 612, and the encoder 613 may be selectively included in the voice recognition client system 610 as necessary.
  • the voice recognition server system 620 includes a receiver 621, a partial sound signal generator 622, a voice recognition result generator 623, and a transmitter 624, as shown in FIG. 6. can do. Even in this case, the receiver 621 and the partial sound signal generator 622 may be selectively included in the voice recognition server system 620 as necessary.
  • the user interface 611 receives an event from a user.
  • an event may include an event for initiating speech recognition or an event used to select one result from a speech recognition intermediate result comprising two or more results.
  • the feature information extractor 612 extracts feature information from the input unit sound signal.
  • the encoder 613 encodes the input unit sound signal.
  • the unit sound signal may include a sound signal input every predetermined time from the start point to the end point of voice recognition.
  • the communication unit 614 transmits the unit sound signal to the voice recognition server system 620 every unit time, and receives a voice recognition intermediate result from the voice recognition server system 620.
  • the communication unit 614 may transmit the feature information extracted by the feature information extractor 612 and the unit sound signal encoded by the encoder 613 to the voice recognition server system 620 every unit time.
  • the voice recognition intermediate result may be generated through the partial sound signal in which at least one unit sound signal is accumulated according to an input time in the voice recognition server system 620.
  • the voice recognition client system 610 transmits a unit sound signal every 20 milliseconds
  • the voice recognition server system 620 generates and transmits a voice recognition intermediate result every 500 milliseconds.
  • 620 may generate an intermediate result of speech recognition using the partial sound signal in which the first 25 unit sound signals are accumulated.
  • a partial sound signal in which 50 unit sound signals are accumulated may be used.
  • the display unit 615 displays the received voice recognition intermediate result between the start point and the end point of the voice recognition.
  • the display unit 615 may sequentially display the plurality of voice recognition intermediate results between the start point and the end point. have. For example, when the first speech recognition intermediate result is 'sleep', the second speech recognition intermediate result is 'auto', and the third speech recognition intermediate result is 'car' received, the display unit 615 starts and ends. Between the viewpoints, the ruler, auto and car may be sequentially displayed.
  • the voice recognition client system 610 may further include a user interface unit (not shown) that receives an event for determining an end point of voice recognition from the user.
  • a final result of speech recognition may be generated using the unit sound signals input until the event is input. That is, the voice recognition client system 610 notifies the voice recognition server system 620 that voice recognition has ended, and generates the last received voice recognition intermediate result as the voice recognition final result or inputs until the voice recognition ends.
  • the unit sound signals can be controlled to generate a final result of speech recognition.
  • the receiver 621 receives a unit sound signal input to the voice recognition client system 610 every unit time from the start point of the voice recognition to the end point.
  • the partial sound signal generator 622 generates a partial sound signal by accumulating a predetermined number of unit sound signals transmitted from the voice recognition client system 610 every unit time.
  • the speech recognition result generator 623 generates a speech recognition intermediate result by using the partial sound signal generated by the partial sound signal generator 622. That is, the voice recognition result generator 623 may generate the voice recognition intermediate result through at least one unit sound signal input to the middle while the user is speaking through the voice recognition client system 610. Basically, the voice recognition result generator 623 may generate a voice recognition intermediate result for the partial sound signal generated whenever the partial sound signal is generated.
  • the transmitter 624 transmits the voice recognition intermediate result to the voice recognition client system 610. At this time, the transmitter 624 transmits only one of the most likely intermediate results to the client system 610. In this case, the voice recognition server system 620 manages all of the intermediate result candidates because the most appropriate result may be different when more voices are input in the future. For example, when “9”, “nose”, “old”, and “g” are candidates, only "9” is transmitted to the client system 610, but the remaining candidates are not discarded by the voice recognition server system 620. Will continue to calculate the matching degree of candidates using the incoming voice.
  • the voice recognition server system 620 may transmit a plurality of results to the client system 610 instead of one as a voice recognition intermediate result.
  • it may further include an accuracy determiner (not shown) for determining the accuracy of each of the two or more results.
  • the transmitter 624 may generate a voice recognition intermediate result including two or more results in the order of accuracy, a voice recognition intermediate result including the accuracy of each of the two or more results and the two or more results, and a result having the highest accuracy.
  • One of the voice recognition intermediate results may be transmitted to the voice recognition client system 610. For example, suppose that the accuracy of Gusta is 5, higher than the accuracy of Kosdaq 3, for the two results, KOSDAQ and Gusta.
  • the transmission unit 624 transmits the voice recognition intermediate results arranged in the order of 'Gusta', 'Kosdaq' or the voice recognition intermediate results including the accuracy such as 'Gusta-5', 'KOSDAQ-3' Or a voice recognition intermediate result including only the Gusta, which has the highest accuracy.
  • '-' Is a symbol indicating that the following number is accuracy, which is assumed arbitrarily in this example, and accuracy may be transmitted to the voice recognition client system 610 through various methods.
  • FIG. 7 is a flowchart illustrating a voice recognition method performed by a voice recognition client system according to an embodiment of the present invention.
  • the voice recognition method according to the present embodiment may be performed by the voice recognition client system 610 described with reference to FIG. 6.
  • FIG. 7 a voice recognition method will be described by explaining a process in which each step is performed by the voice recognition client system 610.
  • the voice recognition client system 610 transmits a unit sound signal input every pre-selected unit time from the start point to the end point of the voice recognition to the voice recognition server system every unit time.
  • the voice recognition client system 610 extracts feature information from a unit sound signal input for a unit time with respect to a sound signal input through an interface such as a microphone, and encodes the input unit sound signal.
  • the voice recognition client system 610 may transmit the extracted feature information and the encoded unit sound signal to the voice recognition server system every unit time.
  • the voice recognition server system may correspond to the voice recognition server system 620 described with reference to FIG. 6.
  • the voice recognition client system 610 receives a voice recognition intermediate result from the voice recognition server system.
  • the voice recognition intermediate result may be generated through the partial sound signal in which at least one unit sound signal is accumulated according to the input time in the voice recognition server system. For example, if the voice recognition client system 610 transmits a unit sound signal every 20 milliseconds, and the voice recognition server system generates and transmits a voice recognition intermediate result every 500 milliseconds, the voice recognition server system may be the first time.
  • An intermediate result of speech recognition may be generated using partial sound signals in which unit sound signals are accumulated. In order to generate the second speech recognition intermediate result, a partial sound signal in which 50 unit sound signals are accumulated may be used.
  • the voice recognition client system 610 displays the received voice recognition intermediate result between the start point and the end point of the voice recognition.
  • the voice recognition client system 610 may sequentially display the plurality of voice recognition intermediate results between the start time and the end time. have. For example, when the first voice recognition intermediate result is 'sleep', the second voice recognition intermediate result is 'automatic', and the third voice recognition intermediate result is 'car', the voice recognition client system 610 is started.
  • the ruler, auto and car may be sequentially displayed between the start point and the end point.
  • each of the voice recognition intermediate results may include one result, but may include two or more results.
  • the voice recognition intermediate result for "gu” is "9", “gu", “nose”, “g Etc.
  • the voice recognition client system 610 may show the candidates sorted by the matching value or only the candidate having the highest value.
  • the voice recognition client system 610 may further perform a step (not shown) of receiving an event for determining an end point of voice recognition from the user.
  • a final result of speech recognition may be generated using the unit sound signals input until the event is input. That is, the voice recognition client system 610 notifies the voice recognition server system 620 that voice recognition has ended, and generates the last received voice recognition intermediate result as the voice recognition final result or inputs until the voice recognition ends.
  • the unit sound signals can be controlled to generate a final result of speech recognition.
  • FIG. 8 is a flowchart illustrating a voice recognition method performed by a voice recognition server system according to an embodiment of the present invention.
  • the voice recognition method according to the present embodiment may be performed by the voice recognition server system 620 described with reference to FIG. 6.
  • FIG. 8 a voice recognition method will be described by explaining a process in which each step is performed by the voice recognition server system 620.
  • the voice recognition server system 620 receives a unit sound signal input to the voice recognition client system every unit time from the start point to the end point of the voice recognition.
  • the voice recognition client system may correspond to the voice recognition client system 610 described with reference to FIG. 6.
  • the voice recognition server system 620 generates a voice recognition intermediate result by using the partial sound signal in which at least one unit sound signal is accumulated according to an input time. That is, the voice recognition server system 620 may generate a voice recognition intermediate result through at least one unit sound signal input to the middle while the user is talking through the voice recognition client system 610. Basically, the voice recognition server system 620 may generate a voice recognition intermediate result for the partial sound signal generated whenever the partial sound signal is generated.
  • the partial sound signal may be generated by accumulating a predetermined number of unit sound signals transmitted from the voice recognition client system every unit time.
  • the voice recognition server system 620 transmits the voice recognition intermediate result to the voice recognition client system.
  • the voice recognition server system 620 may transmit one voice recognition intermediate result including all of the two or more results to the voice recognition client system. For example, even if a single voice recognition intermediate result includes four results of '9', 'nose', 'phrase', and 'g', the voice recognition server system 620 outputs four results in one voice. As a result of the recognition, it can be sent to the voice recognition client system.
  • the voice recognition server system 620 may determine the accuracy of each of the two or more results.
  • the speech recognition server system 620 includes the speech recognition intermediate result including two or more results sorted in the order of accuracy, the speech recognition intermediate result including the accuracy of each of the two or more results and the two or more results, and the highest accuracy.
  • One of the speech recognition intermediate results including the results may be sent to the speech recognition client system. For example, suppose that the accuracy of Gusta is 5, higher than the accuracy of Kosdaq 3, for the two results, KOSDAQ and Gusta.
  • the voice recognition server system 620 transmits the voice recognition intermediate results arranged in the order of 'Gusta' and 'KOSDAQ', or includes voice recognition intermediate such as 'Gusta-5' and 'KOSDAQ-3'.
  • the results can be sent or a voice recognition intermediate result containing only the Gusta, which has the highest accuracy.
  • '-' Is a symbol indicating that the following number is accuracy, which is assumed arbitrarily in this example, and accuracy may be transmitted to the voice recognition client system through various methods.
  • FIG. 9 is a block diagram showing the internal configuration of a voice recognition client system and a voice recognition server system according to another embodiment of the present invention.
  • the voice recognition client system 910 may include a transmitter 911, a receiver 912, a display unit 913, and a controller 914.
  • the transmitter 911, the receiver 912, and the display 913 may be selectively included in the voice recognition client system 910 as necessary.
  • the voice recognition client system 910 may be one module included in a user's terminal. That is, the voice recognition client system 910 may include only the controller 914 to control the transmitter 911, the receiver 912, and the display 913 of the terminal to perform voice recognition.
  • the voice recognition server system 920 includes a receiver 921, a partial sound signal generator 922, a voice recognition result generator 923, and a transmitter 924 as shown in FIG. 9. can do.
  • the transmission unit 911 in the voice recognition client system 910 transmits the unit sound signal input every predetermined unit time to the voice recognition server system 920
  • the receiver 912 is the voice recognition intermediate
  • the result is received from the voice recognition server system 920.
  • the display unit 913 displays the received voice recognition intermediate result between the start point and the end point of the voice recognition.
  • the voice recognition intermediate result may be generated through a partial sound signal in which at least one unit sound signal of the transmitted unit sound signals is accumulated according to an input time.
  • the partial sound signal may include a signal in which at least one unit sound signal is accumulated according to an input time, and the unit sound signal may include a sound signal input every unit time from a start point.
  • the transmission unit 911 in the voice recognition client system 910 transmits the partial sound signal accumulated in accordance with the input time of the unit sound signal input every unit time from the start time to the voice recognition server system 920
  • the receiving unit 912 receives the voice recognition intermediate result generated through the partial sound signal from the voice recognition server system 920.
  • the display unit 913 displays the received voice recognition intermediate result between the start point and the end point of the voice recognition.
  • the voice recognition client system 910 transmits the unit sound signal input for the unit time to the voice recognition server system 920 every unit time or the partial sound signal in which a certain number of unit sound signals are accumulated according to the input time.
  • the voice recognition server system 920 may transmit the same.
  • the voice recognition server system 920 may generate the partial sound signal through the unit sound signals, and generate the voice recognition intermediate result using the generated partial sound signal.
  • the voice recognition client system 910 is provided with the phrases 'gu', 'speaker', 'ta', and 'f' for four unit times. ',' Ta ',' pe 'can be sent.
  • the voice recognition client system 920 generates a partial sound signal in which unit sound signals are accumulated, such as 'gu', 'goose', 'gusta' and 'gustav', and generates a voice for each partial sound signal. Can generate intermediate results.
  • a partial sound signal which is a sound signal in which at least one unit sound signal is accumulated, may be transmitted from the voice recognition client system 910 to the voice recognition server system 920, and the voice recognition server system 920 may simply
  • the received partial sound signal may generate an intermediate result of speech recognition.
  • the voice recognition client system 910 has four phrases such as nine phrases, phrases, strokes, strokes, and audible sound signals for four unit times.
  • the partial sound signal in which the unit sound signals are accumulated, such as', 'Gusta' and 'Gustaf' may be transmitted.
  • the voice recognition client system 920 may generate a voice recognition intermediate result by using the received partial sound signal such as 'gu', 'gus', 'gusta' and 'gustav'.
  • the controller 914 controls the voice recognition intermediate result for the partial sound signal input from at least one of a plurality of time points between the start time and the end time of the voice recognition to be displayed between the start time and the end time. do.
  • the controller 914 may control the transmitter 911, the receiver 912, and the display 913 so that the voice recognition intermediate result is displayed between the start time and the end time.
  • the controller 914 may control to display all of the two or more results when a single voice recognition intermediate result includes two or more results. Even in this case, as described above, the voice recognition client system 910 transmits a result selected through an event input from the user to the voice recognition server system 920 to generate a next voice recognition intermediate result or a voice recognition final result. Can be reflected in the
  • the voice recognition client system 910 may further include an accuracy determiner (not shown) that determines the accuracy of each of the two or more results when one voice recognition intermediate result includes two or more results.
  • the controller 914 may control to display two or more results in the order of accuracy or to display the results with the highest accuracy.
  • the controller 914 may control the plurality of voice recognition intermediate results to be sequentially displayed between a start time and an end time.
  • the voice recognition client system 910 may further include a user interface unit (not shown) that receives an event for determining an end point of voice recognition from the user.
  • a final result of speech recognition may be generated using the partial sound signal input until the event is input. That is, the voice recognition client system 610 notifies the voice recognition server system 620 that voice recognition has ended, and generates the last received voice recognition intermediate result as the voice recognition final result or inputs until the voice recognition ends.
  • the partial sound signal can be controlled to generate a final result of speech recognition.
  • the receiving unit 921 receives unit sound signals input to the voice recognition client system 910 from the voice recognition client system 910 at every predetermined unit time or every predetermined time. At least one unit sound signal among the unit sound signals input to the voice recognition client system 910 may be received from the voice recognition client system 910 based on an input time.
  • the voice recognition result generator 922 uses the partial sound signal input to the voice recognition client system 910 to at least one of a plurality of time points between the start point and the start point and the end point of the voice recognition. Produce intermediate results. That is, the voice recognition result generator 922 directly generates the partial sound signal using the unit sound signal when the receiver 921 receives the unit sound signal, and generates the voice recognition intermediate result using the generated partial sound signal. When the receiver 921 receives the partial sound signal, it may generate an intermediate result of speech recognition using the received partial sound signal.
  • the transmitter 923 transmits the voice recognition intermediate result to the voice recognition client system 910.
  • the voice recognition intermediate result may be displayed through the display unit 913 of the voice recognition client system 910 between the start time and the end time.
  • a voice recognition intermediate result for a partial sound signal input from at least one time point between a start time point and a start time point and a stop point time of voice recognition is input. It may include a first step (not shown) for controlling to be displayed between the start time and the end time. In this case, the voice recognition client system 910 controls the second voice (not shown) and the voice recognition intermediate to transmit the unit sound signal input to the voice recognition server system 920 every unit time predetermined in the first step. A third step (not shown) of controlling to receive the result from the voice recognition server system 920 and a fourth step (not shown) of controlling to display the received voice recognition intermediate result between the start point and the end point. Can be done.
  • the voice recognition client system 910 controls to transmit the partial sound signal accumulated in accordance with the input time of the unit sound signal input every unit time from the start point to the voice recognition server system 920.
  • a fourth step may be performed.
  • the voice recognition client system 910 may further perform a step (not shown) of receiving an event for determining an end point of voice recognition from the user.
  • a final result of speech recognition may be generated using the partial sound signal input until the event is input. That is, the voice recognition client system 910 notifies the voice recognition server system 920 that voice recognition has ended, and generates the last received voice recognition intermediate result as the voice recognition final result or inputs until the voice recognition ends.
  • the partial sound signal can be controlled to generate a final result of speech recognition.
  • the voice recognition method performed by the voice recognition server system 920 receives or pre-selects unit sound signals input to the voice recognition client system 910 at predetermined unit times.
  • the voice recognition server system 920 may directly generate the partial sound signal using the unit sound signal, and generate the voice recognition intermediate result using the generated partial sound signal.
  • an intermediate result of speech recognition may be generated using the received partial sound signal.
  • the voice recognition intermediate result may be displayed through the display unit 913 of the voice recognition client system 910 between the start time and the end time.
  • the user by providing the user with an intermediate result of speech recognition after the user starts speech and before speech recognition ends, the user is correctly performing the speech recognition. You can reduce your worry.
  • the partial sound signal is generated, and based on the partial sound signal, a voice recognition intermediate result is generated and provided to the user. It can give a sense of stability to the user and show the process of speech recognition.
  • Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. remind
  • Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • the above-described file system can be recorded in a computer-readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법이 개시된다. 음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 클라이언트 시스템은, 시작시점부터 종료시점까지 기선정된 단위시간마다 입력되는 단위소리신호를 단위시간마다 음성인식 서버 시스템으로 전송하고, 음성인식 서버 시스템으로부터 음성인식 중간 결과를 수신하는 통신부 및 수신된 음성인식 중간 결과를 시작시점과 종료시점 사이에 표시하는 표시부를 포함한다.

Description

온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법
본 발명의 실시예들은 온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법에 관한 것이다.
음성인식(speech recognition)은 자동적 수단에 의하여 음성으로부터 언어적 의미 내용을 식별하는 것으로, 구체적으로 음성파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리 과정을 의미할 수 있다.
이러한 음성인식을 이용한 종래기술에서는 사용자 발화가 모두 끝난 경우, 입력된 전체 소리신호를 이용하여 음성인식 결과가 생성된다. 예를 들어, 음성인식을 이용한 음성 검색에서는 사용자 발화가 모두 끝난 후 생성되는 음성인식 결과를 이용하여 검색이 수행되고, 검색 결과가 제공된다.
그러나, 이러한 종래기술에서 사용자는 의도하는 단어나 문장이 입력될 수 있도록 단어나 문장에 대한 전체 소리신호를 입력하고, 전체 소리신호에 대한 음성인식 결과가 생성되기를 기다려야 하기 때문에, 음성인식의 과정 중간에는 음성인식이 제대로 맞게 수행되고 있는 것인지 궁금한 상태로 기다려야만 하는 문제점이 있다.
본 명세서에서는 보다 효과적으로 음성인식을 수행할 수 있는 시스템 및 방법이 제공된다.
사용자가 발성을 시작한 후 음성인식이 종료하기 전 음성인식 중간 결과를 사용자에게 제공함으로써, 사용자가 음성인식이 정확히 수행되고 있는가에 대한 걱정을 줄이고, 보다 정확한 음성인식을 수행할 수 있는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법이 제공된다.
사용자가 발성을 시작한 후 기선정된 단위시간마다 입력되는 적어도 하나의 단위소리신호를 누적하여 부분소리신호를 생성하고, 부분소리신호에 기초하여 음성인식 중간 결과를 생성하여 사용자에게 제공함으로써, 사용자에게 안정감을 주고 음성인식의 처리 과정을 보여줄 수 있는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법이 제공된다.
음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 클라이언트 시스템에 있어서, 시작시점부터 종료시점까지 기선정된 단위시간마다 입력되는 단위소리신호를 단위시간마다 음성인식 서버 시스템으로 전송하고, 음성인식 서버 시스템으로부터 음성인식 중간 결과를 수신하는 통신부 및 수신된 음성인식 중간 결과를 시작시점과 종료시점 사이에 표시하는 표시부를 포함하는 음성인식 클라이언트 시스템이 제공된다.
일측에 따르면, 음성인식 중간 결과는 음성인식 서버 시스템에서 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 통해 생성될 수 있다.
다른 측면에 따르면, 표시부는 음성인식 서버 시스템으로부터 복수의 음성인식 중간 결과가 수신되는 경우, 복수의 음성인식 중간 결과를 시작시점과 종료시점 사이에 순차적으로 표시할 수 있다.
또 다른 측면에 따르면, 표시부는 하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 둘 이상의 결과를 모두 표시할 수 있다.
또 다른 측면에 따르면, 음성인식 클라이언트 시스템은 사용자로부터 이벤트를 입력받는 사용자 인터페이스부를 더 포함할 수 있고, 표시된 둘 이상의 결과 중 하나의 결과가 이벤트를 통해 선택되는 경우, 선택된 결과가 음성인식 서버 시스템으로 피드백되어 음성인식 과정에 반영될 수 있다.
또 다른 측면에 따르면, 음성인식 클라이언트 시스템은 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 둘 이상의 결과 각각의 정확도를 결정하는 정확도 결정부를 더 포함할 수 있다. 이 경우, 표시부는 정확도의 순서로 둘 이상의 결과를 정렬하여 표시하거나 또는 정확도가 가장 높은 결과를 표시할 수 있다.
또 다른 측면에 따르면, 음성인식 클라이언트 시스템은 입력된 단위소리신호에서 특징정보를 추출하는 특징정보 추출부 및 입력된 단위소리신호를 부호화하는 부호화부를 더 포함할 수 있다. 이 경우, 통신부는 특징정보 및 부호화된 단위소리신호를 입력된 단위소리신호로서 음성인식 서버 시스템으로 전송할 수 있다.
음성인식 클라이언트 시스템으로부터 수신된 소리신호를 이용하여 음성인식 결과를 생성하는 음성인식 서버 시스템에 있어서, 음성인식의 시작시점부터 종료시점까지 단위시간마다 음성인식 클라이언트 시스템으로 입력되는 단위소리신호를 수신하는 수신부, 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 음성인식 결과 생성부 및 음성인식 중간 결과를 음성인식 클라이언트 시스템으로 전송하는 전송부를 포함하는 음성인식 서버 시스템이 제공된다. 이 경우, 음성인식 중간 결과는 시작시점과 종료시점 사이에 음성인식 클라이언트 시스템의 표시부를 통해 표시된다.
음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 클라이언트 시스템에 있어서, 시작시점부터 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 입력되는 부분소리신호에 대한 음성인식 중간 결과가 시작시점과 종료시점 사이에 표시되도록 제어하는 제어부를 포함하는 음성인식 클라이언트 시스템이 제공된다.
음성인식 클라이언트 시스템으로부터 수신된 소리신호를 이용하여 음성인식 결과를 생성하는 음성인식 서버 시스템에 있어서, 음성인식의 시작시점부터 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 음성인식 클라이언트 시스템으로 입력된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 음성인식 결과 생성부 및 음성인식 중간 결과를 음성인식 클라이언트 시스템으로 전송하는 전송부를 포함하는 음성인식 서버 시스템이 제공된다. 이 경우, 음성인식 중간 결과는 시작시점과 종료시점 사이에 음성인식 클라이언트 시스템의 표시부를 통해 표시된다.
음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 방법에 있어서, 시작시점부터 종료시점까지 기선정된 단위시간마다 입력되는 단위소리신호를 단위시간마다 음성인식 서버 시스템으로 전송하고, 음성인식 서버 시스템으로부터 음성인식 중간 결과를 수신하는 단계 및 수신된 음성인식 중간 결과를 시작시점과 종료시점 사이에 표시하는 단계를 포함하는 음성인식 방법이 제공된다.
음성인식 클라이언트 시스템으로부터 수신된 소리신호를 이용하여 음성인식 결과를 생성하는 음성인식 방법에 있어서, 음성인식의 시작시점부터 종료시점까지 단위시간마다 음성인식 클라이언트 시스템으로 입력되는 단위소리신호를 수신하는 단계, 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 단계 및 음성인식 중간 결과를 음성인식 클라이언트 시스템으로 전송하는 단계를 포함하는 음성인식 방법이 제공된다. 이 경우, 음성인식 중간 결과는 시작시점과 종료시점 사이에 음성인식 클라이언트 시스템의 표시부를 통해 표시된다.
음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 방법에 있어서, 시작시점부터 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 입력되는 부분소리신호에 대한 음성인식 중간 결과가 시작시점과 종료시점 사이에 표시되도록 제어하는 단계를 포함하는 음성인식 방법이 제공된다.
음성인식 클라이언트 시스템으로부터 수신된 소리신호를 이용하여 음성인식 결과를 생성하는 음성인식 방법에 있어서, 음성인식의 시작시점부터 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 음성인식 클라이언트 시스템으로 입력된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 단계 및 음성인식 중간 결과를 음성인식 클라이언트 시스템으로 전송하는 단계를 포함하는 음성인식 방법이 제공된다. 이 경우, 음성인식 중간 결과는 시작시점과 종료시점 사이에 음성인식 클라이언트 시스템의 표시부를 통해 표시된다.
사용자가 발성을 시작한 후 음성인식이 종료하기 전 음성인식 중간 결과를 사용자에게 제공함으로써, 사용자가 음성인식이 정확히 수행되고 있는가에 대한 걱정을 줄이고, 보다 정확한 음성인식을 수행할 수 있다.
사용자가 발성을 시작한 후 기선정된 단위시간마다 입력되는 적어도 하나의 단위소리신호를 누적하여 부분소리신호를 생성하고, 부분소리신호에 기초하여 음성인식 중간 결과를 생성하여 사용자에게 제공함으로써, 사용자에게 안정감을 주고 음성인식의 처리 과정을 보여줄 수 있다.
도 1은 본 발명의 일실시예에 있어서, 온라인 음성인식을 위한 전반적인 시스템을 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 음성인식 클라이언트 시스템과 음성인식 서버 시스템의 기능별 구조를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 음성 인식부의 내부 구성을 설명하기 위한 블록도이다.
도 4는 본 발명이 일실시예에 있어서, 음성인식의 과정을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 있어서, 음성인식 과정에서 시간에 따른 음성인식 결과를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 있어서, 음성인식 클라이언트 시스템 및 음성인식 서버 시스템의 내부 구성을 도시한 블록도이다.
도 7은 본 발명의 일실시예에 있어서, 음성인식 클라이언트 시스템이 수행하는 음성인식 방법을 도시한 흐름도이다.
도 8은 본 발명의 일실시예에 있어서, 음성인식 서버 시스템이 수행하는 음성인식 방법을 도시한 흐름도이다.
도 9는 본 발명의 다른 실시예에 있어서, 음성인식 클라이언트 시스템 및 음성인식 서버 시스템의 내부 구성을 도시한 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 온라인 음성인식을 위한 전반적인 시스템을 도시한 도면이다. 도 1은 사용자(110), 음성인식 클라이언트 시스템(120) 및 음성인식 서버 시스템(130)을 도시하고 있다.
여기서, 음성인식 클라이언트 시스템(120)은 사용자(110)의 단말기이거나 또는 단말기에 포함된 하나의 모듈일 수 있다. 이때, 사용자(110)가 음성인식 클라이언트 시스템(120)을 통해 음성을 입력하면, 음성인식 클라이언트 시스템(120)은 입력된 음성의 특징으로 추출할 수 있다. 음성인식 클라이언트 시스템(120)은 추출된 특징을 음성인식 서버 시스템(130)으로 전달하고, 음성인식 서버 시스템(130)은 수신된 특징을 이용하여 음성인식을 수행하여 음성인식 결과를 생성할 수 있다. 음성인식 서버 시스템(130)은 생성된 음성인식 결과를 음성인식 클라이언트 시스템(120)으로 전달할 수 있고, 음성인식 클라이언트 시스템(120)은 음성인식 결과를 디스플레이 장치 등을 이용하여 표시함으로써, 사용자(110)는 자신이 입력한 음성에 대한 음성인식 결과를 확인할 수 있게 된다.
이때, 본 발명의 실시예들에서 음성인식 클라이언트 시스템(120)과 음성인식 서버 시스템(130)은 사용자(110)의 발화가 모두 끝난 후 입력된 전체 소리신호에 대한 음성인식 결과를 제공할 뿐만 아니라, 사용자(110)가 발성을 시작한 후 기선정된 단위시간마다 사용자(110)의 발화가 진행된 순간까지 입력되는 소리신호에 대해 음성인식 중간 결과를 더 제공할 수 있다. 예를 들어, 사용자(110)가 발성을 시작하고, 약 1초 후부터 매 1초마다 또는 매 0.5초마다 음성인식의 중간 결과를 사용자(110)에게 제공할 수 있다.
보다 자세한 예로, 음성인식 클라이언트 시스템(120)은 20 밀리초마다 입력되는 소리신호를 음성인식 서버 시스템(130)으로 전송할 수 있고, 음성인식 서버 시스템(130)은 음성 인식기를 이용하여 음성을 인식한 후 500 밀리초마다 음성인식 중간 결과를 음성인식 클라이언트 시스템(120)으로 반송할 수 있다. 이때, 음성인식 클라이언트 시스템(120)은 수신된 음성인식 중간 결과를 화면을 통해 표시함으로써, 사용자(110)에게 제공할 수 있다.
이상에서와 같이 음성인식을 위한 프로세스가 진행되는 과정을 사용자(110)에게 보여줌으로써 사용자(110)에게 안정감을 줄 수 있다. 여기서, 음성인식 중간 결과 후보들 중 하나를 사용자에게 제시해 주는 과정의 구체적인 예를 들면, "구스타프 클림트"를 음성인식 결과로 얻고자 하는 사용자(110)가 "구"까지 발성한 경우, "9", "구", "코" "g" 중 인식기가 그 때까지 가장 가능성이 높은 결과를 선택해서 해당 후보 (예를 들어 "9")를 클라이언트에 보낸다. 사용자(110)는 그 시점에서는 "9"를 보게 되지만, 이 후 발성되는 음성에 의해서 향후에 "구"로 바뀔 수 있게 되며, 이러한 과정은 최종 음성인식 결과를 보여주기 전까지 계속 반복될 수 있다.
또한, 음성인식 서버 시스템(130)은 음성인식이 완료된 것으로 판단되면, 전송된 전체 소리신호를 이용하여 최종 음성인식 결과를 음성인식 클라이언트 시스템(120)으로 전송할 수 있다. 이때, 음성인식 클라이언트 시스템(120)은 최종 음성인식 결과를 화면을 통해 표시함으로써, 사용자(110)에게 제공할 수 있다.
뿐만 아니라, 음성인식 중간 결과에 사용자(110)가 의도한 결과가 포함되는 경우, 사용자(110)가 음성인식 클라이언트 시스템(120)에서 이벤트를 발생시켜 음성인식의 종료 시점을 선택하도록 할 수 있다. 예를 들어, 사용자(110)가 발화를 완료하였으나, 주변 잡음에 의해 음성인식이 종료되지 않고, 계속 진행될 수 있다. 이 경우, 잘못된 음성인식 결과가 생성될 수도 있고, 음성인식의 시간이 길어지기 때문에, 음성인식 클라이언트 시스템(120)은 사용자(110)로부터 미리 설정된 이벤트가 발생되면, 음성인식이 종료되도록 제어할 수 있다. 이 경우, 음성인식 클라이언트 시스템(120)과 음성인식 서버 시스템(130)은 음성인식이 종료된 시점까지 입력된 소리신호를 이용하여 음성인식 최종 결과를 생성할 수 있다.
음성인식 최종 결과는 검색 쿼리와 같은 사용자의 입력으로서 이용될 수 있다.
도 2는 본 발명의 일실시예에 있어서, 음성인식 클라이언트 시스템과 음성인식 서버 시스템의 기능별 구조를 나타낸 블록도이다. 즉, 도 2의 실시예에서는 도 1을 통해 설명한 음성인식 클라이언트 시스템(120)과 음성인식 서버 시스템(130)의 내부 구성을 나타내고 있다. 이때, 음성인식 클라이언트 시스템(120)은 사용자 인터페이스부(210), 소리신호 압축부(220), 특징 추출부(230) 및 클라이언트 소켓(240)을 포함할 수 있고, 음성인식 서버 시스템(130)은 소리신호 압축 해제부(250), 음성인식부(260), 핸들러(270) 및 리스너 소켓(280)을 포함할 수 있다.
사용자 인터페이스부(210)는 음성인식 결과를 적어도 표시하기 위한 디스플레이 장치와 사용자로부터 이벤트를 입력받기 위한 입력 인터페이스를 포함할 수 있다. 즉, 사용자 인터페이스부(210)는 사용자로부터 이벤트를 입력받거나 사용자에게 음성인식 결과를 표시하기 위한 인터페이스를 포함할 수 있다.
이러한 사용자 인터페이스(210)를 이용하여 음성인식의 과정이 시작되면, 소리신호 압축부(220)는 마이크(290)를 통해 입력되는 소리신호를 입력받아 기록한다. 예를 들어, 소리신호 압축부(220)는 16 KHz, 모노로 소리신호를 입력받을 수 있다.
이때, 특징 추출부(230)는 소리신호에서 특징을 추출한다. 이때, 사용자의 음성과 같은 소리신호에서 특징을 추출하는 방법은 이미 널리 알려져 있기 때문에 자세한 설명은 생략한다. 즉, 본 실시예에서 특징을 추출하는 방법으로는 이미 알려진 다양한 방법들 중 하나가 이용될 수 있다.
또한, 소리신호 압축부(220)는 음성인식 서버 시스템(130)으로 전송하기 위한 데이터를 부호화한다. 즉, 특징 추출부(230)에서 추출된 특징과 소리신호 압축부(220)에서 기록된 소리신호가 부호화될 수 있다.
이때, 본 실시예에서는 음성인식 클라이언트 시스템(120)은 음성인식이 시작된 시점부터 또는 음성인식이 시작되고 기선정된 시간이 지난 후부터 단위시간마다 입력되는 소리신호로부터 특징을 추출하고, 추출된 특징과 소리신호를 부호화하여 음성인식 서버 시스템(130)으로 전송할 수 있다.
음성인식 서버 시스템(130)의 소리신호 압축 해제부(250)는 음성인식 클라이언트 시스템(120)으로부터 수신되는 패킷에서 압축된 소리신호의 압축을 해제한다.
음성 인식부(260)는 압축이 해제된 소리신호를 이용하여 언어자료를 획득한다.
핸들러(270)는 접속한 음성인식 클라이언트 시스템(120)에 대한 클라이언트 정보 및 음성인식 클라이언트 시스템(120)이 접속한 소켓인 서버 소켓을 포함할 수 있다. 이때, 핸들러(270)는 접속한 다수의 음성인식 클라이언트 시스템마다 하나씩 생성될 수 있다.
리스너 소켓(280)은 음성인식 클라이언트 시스템의 접속 요청을 대기하는 소켓을 포함할 수 있다.
이때, 음성인식 서버 시스템(130)은 다수의 음성인식 클라이언트 시스템이 효율적으로 자원을 사용하도록 하기 위해 멀티-스레드를 이용할 수 있다.
즉, 음성인식 클라이언트 시스템(120)과 음성인식 서버 시스템(130)은 상술한 바와 같이, 음성인식 중간 결과를 사용자에게 제공하기 위해, 음성인식 클라이언트 시스템(120)에서 단위시간마다 입력된 소리신호를 음성인식 서버 시스템(130)으로 전달하고, 음성인식 서버 시스템(130)에서 또 다른 단위시간마다 생성된 음성인식 중간 결과를 음성인식 클라이언트 시스템(120)으로 전달할 수 있다. 이때, 음성인식 클라이언트 시스템(120)은 전달된 음성인식 중간 결과를 사용자에게 표시함으로써, 사용자가 음성인식의 과정이 진행중임을 인식할 수 있고, 안정감을 느낄 수 있도록 할 수 있다.
또한, 음성인식 클라이언트 시스템(120)의 사용자 인터페이스부(210)는 사용자로부터 음성인식의 종료 시점을 결정하는 이벤트를 수신할 수 있다. 이 경우, 음성인식 클라이언트 시스템(120)은 음성인식을 종료하고, 음성인식이 종료된 시점까지 입력된 소리신호에 대한 음성인식 중간 결과를 음성인식 최종 결과로서 인식할 수 있다.
도 3은 본 발명의 일실시예에 있어서, 음성 인식부의 내부 구성을 설명하기 위한 블록도이다. 즉, 도 2를 통해 설명한 음성인식부(260)는 도 3에 도시된 바와 같이, 음향 모델부(310), 언어 모델부(330) 및 디코더(350)를 포함할 수 있다. 또한, 도 3에 나타난 음성 데이터베이스(320)와 쿼리 로그(340)는 음성 인식부(260)에 포함되거나 또는 음성 인식부(260)와 연계되어 음성 인식부(260)로 데이터를 제공할 수 있다.
음성 인식부(260)의 음향 모델부(310)는 수신된 특징과 인식 단위 단어와의 매칭값을 제시한다. 여기서, 음향 모델부(310)는 미리 구축된 음성 데이터베이스(320)로부터 단위 단어 모델을 만들어두고 단위 단어 모델과 수신된 특징을 매칭되는 정도를 계산하는 방법이 사용될 수 있는데, 이러한 단위 단어 모델 생성 방법 및 매칭 방법 역시 이미 알려진 다양한 방법들 중 하나를 이용하여 수행될 수 있다.
언어 모델부(330)는 언어 모델을 구축한다. 예를 들어, 바이그램(Bigram) 모델이나 트라이그램(Trigram) 모델이 언어 모델 구축에 이용될 수 있다. 이러한 언어 모델의 구축 방법에 대해서도 이미 널리 알려져 있기에 자세한 설명은 생략한다. 이때, 언어 모델의 구축을 위해서 사용될 텍스트 데이터베이스로는 상술한 쿼리 로그(340)가 텍스트 데이터베이스로서 이용될 수 있다. 여기서, 쿼리 로그(340)는 검색 서비스를 위해 입력되는 사용자 쿼리 로그를 포함할 수 있다.
디코더(290)는 음향 모델부(310)의 출력과 언어 모델부(330)의 출력을 이용하여 음성인식 결과를 생성한다. 이와 같이 생성된 음성인식 결과는 도 1 및 도 2를 통해 설명한 음성인식 클라이언트 시스템(120)으로 전송될 수 있다.
즉, 음성인식 클라이언트 시스템(120)이 단위시간마다 입력되는 소리신호와 특징을 전송하면, 음성인식 서버 시스템(130) 역시 또 다른 단위시간마다 수신된 소리신호와 특징들을 이용하여 음성인식 결과를 생성할 수 있다. 이때, 음성인식 서버 시스템(130)은 생성된 음성인식 결과를 음성인식 클라이언트 시스템(120)으로 전송할 수 있고, 음성인식 클라이언트 시스템(120)은 수신한 음성인식 결과를 음성인식의 과정 도중에 순차적으로 표시할 수 있다. 따라서, 사용자는 음성인식이 현재 진행중임을 인지할 수 있고, 안정감을 느낄 수 있게 된다.
아래 표 1은 사용자가 "정자역에서 강남역까지 가는 버스"를 입력하는데 제공되는 음성인식 중간 결과와 최종 음성인식 결과를 나타낸 일례이다. 표 1에서, 순서는 음성인식의 결과가 제공된 순서를 의미한다.
[표 1]
Figure PCTKR2011005394-appb-I000001
도 4는 본 발명이 일실시예에 있어서, 음성인식의 과정을 나타낸 도면이다.
우선, 제1 점선(410)은 음성인식 클라이언트 시스템(120)이 음성인식 서버 시스템(130)과 접속되는 과정을 의미한다. 예를 들어, 상기 접속에는 TCP/IP가 이용될 수 있다. 제1 이점쇄선(420)은 음성인식 클라이언트 시스템(120)이 음성인식 서버 시스템(130)으로 프로토콜 버전 정보나 단말기 정보와 같은 제1 제어 패킷을 제공함을 의미할 수 있다. 제2 이점쇄선(430)은 제어 패킷에 대한 제1 응답 패킷을 음성인식 서버 시스템(130)이 음성인식 클라이언트 시스템(120)으로 제공함을 의미할 수 있다.
제1 범위(440) 내의 실선들은 음성인식 클라이언트 시스템(120)이 음성인식 서버 시스템(130)으로 단위시간마다 소리신호가 포함된 패킷을 제공함을 의미할 수 있다. 예를 들어, 음성인식 클라이언트 시스템(120)은 20 밀리초마다 그 동안 입력된 소리신호를 포함하는 패킷을 음성인식 서버 시스템(130)으로 전송할 수 있다.
제2 범위(450) 내의 일점쇄선들은 음성인식 서버 시스템(130)이 음성인식 클라이언트 시스템(120)으로 또 다른 단위시간마다 생성된 음성인식 중간 결과와 음성인식 최종 결과를 제공함을 의미할 수 있다. 예를 들어, 음성인식 서버 시스템(130)은 500 밀리초마다 그 동안 수신된 소리신호를 누적하여 생성된 부분소리신호를 이용하여 음성정보 중간 결과를 생성할 수 있고, 생성된 음성정보 중간 결과를 음성인식 클라이언트 시스템(130)으로 전송할 수 있다. 또한, 음성인식 서버 시스템(130)은 도 2를 통해 설명한 음성 인식부(260)로부터 최종 결과를 획득하면, 음성인식 최종 결과를 생성하여 음성인식 클라이언트 시스템(130)으로 전송할 수 있다. 이때, 음성인식의 과정이 종료되면, 음성인식 서버 시스템(130)은 그 동안 수신된 소리신호를 포함하는 패킷들을 폐기할 수 있다.
제3 이점쇄선(460)은 음성인식 클라이언트 시스템(120)이 제2 제어 패킷을 음성인식 서버 시스템(130)으로 전송함으로써, 접속 종료를 통지함을 의미할 수 있다. 또한, 제4 이점쇄선(470)은 음성인식 서버 시스템(130)이 제2 제어 패킷에 대한 제2 응답 패킷을 음성인식 클라이언트 시스템(120)으로 전송하여 접속 종료 통지 수신을 확인함을 의미할 수 있다.
제2 점선(480)은 음성인식 클라이언트 시스템(120)이 음성인식 서버 시스템(130)과의 접속을 해지함을 의미할 수 있다.
이때, 도 4에서 이용된 패킷들은 기본적으로 헤더(header)와 페이로드(payload)로 구성될 수 있다. 여기서, 헤더는 필수적으로 포함되고, 페이로드는 선택적으로 포함될 수 있다. 즉, 페이로드는 패킷의 타입에 따라 선택적으로 패킷에 포함될 수 있다.
도 5는 본 발명의 일실시예에 있어서, 음성인식 과정에서 시간에 따른 음성인식 결과를 나타낸 도면이다. 그래프(500)는 사용자가 "구스타프 클림트"라는 음성을 입력하고자 하는 경우, 시간(가로축)이 지남에 따라 생성되는 음성인식 중간 과정을 나타내고 있다. 본 실시예에서는 음성인식의 시작 시점(510)으로부터 매 단위시간마다 음성인식 중간 결과를 제공하는 일례를 나타내고 있는데, 편의상 하나의 단위시간 동안 소리신호가 하나의 음절만 입력된다고 가정하고, 각 단위시간의 시점에서 그 때까지 입력된 소리신호의 누적신호에 대한 음성인식 중간 결과 후보들을 보여주고 있다. 여기서, 세로축은 중간결과후보들의 음성 매칭 가능성을 나타내는 축으로서 가장 상위에 표시된 (X 표시된 후보는 제외) 후보가 각 단위시간의 시점에서 가장 높은 가능성을 보여주고 있음을 나타낸다. 이와 같이 가장 높은 가능성을 보여주는 후보가 해당 시점에서의 음성인식 중간 결과로 사용자에게 표시된다. 이 때 가장 높은 가능성을 보여주는 후보 이외에도 차상위 N개의 후보를 사용자에게 함께 노출시켜 줄 수도 있다.
즉, 그래프(500)에서는 첫 번째 단위시간에 대해 음성인식 중간 결과로서 '9', '코', '구' 및 'g'가 가능성이 높은 단어들이라는 것을 의미한다. 이 중 "9"가 가장 높은 가능성을 가지고 있기 때문에 사용자에게 "9"가 표시된다. 두 번째 단위시간에는 "9" 다음에 '스' 음절이 붙여졌을 때 적절한 한국어라고 판단되지 않으므로 "9"로 시작된 단어는 후보에서 제외되고, '코스', '구스', 'goose'가 상위 후보들이 되고, 이 중 "코스"가 가장 높은 가능성을 가지므로 사용자에게 표시된다. 세 번째 단위시간에는 '코스닥', '구스타' 및 'gooster'가 후보가 되는데 "코스닥"이 가장 높은 가능성을 가지므로 사용자에게 표시되고, 네 번째 단위시간에는 "코스닥" 다음에 "프로" 혹은 "프로야구"와 같이 "프"로 시작하는 단어가 바로 다음에 나올 수 있어서 "코스닥프"가 후보가 되고 "구스타프"가 하나의 단어로서 의미가 있어서 후보가 될 수 있다. 이때까지는 "프"를 제외하고 "코스닥" 자체의 매칭값이 높아서 "코스닥프"가 사용자에게 보여지게 된다. 마지막 단위시간에는 사용자가 의도한 '구스타프 클림트'가 음성인식 최종 결과로서 사용자에게 표시되었음을 나타내고 있다. 이때, 이전 단위시간에서 예측되었던 "코스닥 프로" "코스닥 프로야구"는 "구스타프 클림트"와의 음성 매칭 정도가 낮으므로 후보에서 탈락되게 된다.
이때, 도 5에서는 마치 단위시간마다 하나의 음절을 입력받는 것처럼 표현되었으나, 이는 설명의 편의를 위한 것으로, 하나의 단위시간에는 아무런 음성도 포함되지 않을 수도 있고, 하나의 음절 중 일부에 대한 음성이 포함될 수도 있다. 또한, 하나의 단위시간에 복수의 음절에 대한 음성이 포함될 수도 있다. 또한, 소리신호가 전송되는 기준의 단위시간과, 음성인식 중간 결과가 생성되어 제공되는 단위시간은 서로 다를 수도 있다. 일례로, 상술한 바와 같이, 20 밀리초마다 그 사이에 입력된 단위소리신호가 음성인식 클라이언트 시스템에서 음성인식 서버 시스템으로 전송될 수 있다. 또한, 음성인식 중간 결과가 500 밀리초마다 생성되어 음성인식 서버 시스템에서 음성인식 클라이언트 시스템으로 전송될 수도 있다. 이 경우, 최초 음성인식 중간 결과는 25개의 단위소리신호에 대한 음성인식 결과를 포함할 수 있고, 두 번째 음성인식 중간 결과는 50개의 단위소리신호에 대한 음성인식 결과를 포함할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 음성인식 클라이언트 시스템 및 음성인식 서버 시스템의 내부 구성을 도시한 블록도이다.
본 실시예에 따른 음성인식 클라이언트 시스템(610)은 도 6에 도시된 바와 같이, 사용자 인터페이스부(611), 특징정보 추출부(612), 부호화부(613), 통신부(614) 및 표시부(615)를 포함할 수 있다. 이때, 사용자 인터페이스부(611), 특징정보 추출부(612) 및 부호화부(613)는 필요에 따라 선택적으로 음성인식 클라이언트 시스템(610)에 포함될 수 있다.
본 실시예에 따른 음성인식 서버 시스템(620)은 도 6에 도시된 바와 같이 수신부(621), 부분소리신호 생성부(622), 음성인식 결과 생성부(623) 및 전송부(624)를 포함할 수 있다. 이 경우에도 수신부(621) 및 부분소리신호 생성부(622)는 필요에 따라 선택적으로 음성인식 서버 시스템(620)에 포함될 수 있다.
우선, 음성인식 클라이언트 시스템(610)에서, 사용자 인터페이스부(611)는 사용자로부터 이벤트를 입력받는다. 이러한 이벤트는 음성인식을 시작하기 위한 이벤트나 둘 이상의 결과를 포함하는 음성인식 중간 결과에서 하나의 결과를 선택하는데 이용되는 이벤트를 포함할 수 있다.
특징정보 추출부(612)는 입력된 단위소리신호에서 특징정보를 추출한다.
부호화부(613)는 입력된 단위소리신호를 부호화한다.
이때, 단위소리신호는 음성인식의 시작시점부터 종료시점까지 기선정된 단위시간마다 입력되는 소리신호를 포함할 수 있다.
통신부(614)는 단위소리신호를 단위시간마다 음성인식 서버 시스템(620)으로 전송하고, 음성인식 서버 시스템(620)으로부터 음성인식 중간 결과를 수신한다. 이때, 통신부(614)는 특징정보 추출부(612)에서 추출된 특징정보와 부호화부(613)에서 부호화된 단위소리신호를 매 단위시간마다 음성인식 서버 시스템(620)으로 전송할 수 있다.
또한, 음성인식 중간 결과는 음성인식 서버 시스템(620)에서 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 통해 생성될 수 있다. 예를 들어, 음성인식 클라이언트 시스템(610)이 20 밀리초마다 단위소리신호를 전송하고, 음성인식 서버 시스템(620)에서 500 밀리초마다 음성인식 중간 결과를 생성하여 전송하는 경우, 음성인식 서버 시스템(620)은 최초 25개의 단위소리신호가 누적된 부분소리신호를 이용하여 음성인식 중간 결과를 생성할 수 있다. 두 번째 음성인식 중간 결과의 생성을 위해서는 최초 25개와 그 이후 수신된 25개인 총 50개의 단위소리신호가 누적된 부분소리신호가 이용될 수 있다.
표시부(615)는 수신된 음성인식 중간 결과를 음성인식의 시작시점과 종료시점 사이에 표시한다. 이때, 일실시예로, 표시부(615)는 음성인식 서버 시스템(620)으로부터 복수의 음성인식 중간 결과가 수신되는 경우, 복수의 음성인식 중간 결과를 시작시점과 종료시점 사이에 순차적으로 표시할 수 있다. 예를 들어, 첫 번째 음성인식 중간 결과로 '자', 두 번째 음성인식 중간 결과로 '자동', 세 번째 음성인식 중간 결과로 '자동차'가 수신되는 경우, 표시부(615)는 시작시점과 종료시점 사이에 '자', '자동' 및 '자동차'를 순차적으로 표시할 수 있다.
이때, 음성인식 클라이언트 시스템(610)은 사용자로부터 음성인식의 종료 시점을 결정하기 위한 이벤트를 입력받는 사용자 인터페이스부(미도시)를 더 포함할 수 있다. 이 경우, 상기 이벤트가 입력되기 이전까지 입력된 단위소리신호들을 이용하여 음성인식 최종 결과가 생성될 수 있다. 즉, 음성인식 클라이언트 시스템(610)은 음성인식이 종료되었음을 음성인식 서버 시스템(620)에 알리고, 마지막으로 수신된 음성인식 중간 결과를 음성인식 최종 결과로서 생성하거나 또는 음성인식이 종료된 시점까지 입력된 단위소리신호들을 통해 음성인식 최종 결과가 생성되도록 제어할 수 있다.
음성인식 서버 시스템(620)에서, 수신부(621)는 음성인식의 시작시점부터 종료시점까지 단위시간마다 음성인식 클라이언트 시스템(610)으로 입력되는 단위소리신호를 수신한다.
부분소리신호 생성부(622)는 단위시간마다 음성인식 클라이언트 시스템(610)으로부터 전송되는 단위소리신호를 기선정된 수만큼 누적하여 부분소리신호를 생성한다.
음성인식 결과 생성부(623)는 부분소리신호 생성부(622)에서 생성된 부분소리신호를 이용하여 음성인식 중간 결과를 생성한다. 즉, 음성인식 결과 생성부(623)는 사용자가 음성인식 클라이언트 시스템(610)을 통해 발성중인 동안에도 중간까지 입력된 적어도 하나의 단위소리신호를 통해 음성인식 중간 결과를 생성할 수 있다. 기본적으로 음성인식 결과 생성부(623)는 부분소리신호가 생성될 때마다 생성된 부분소리신호에 대한 음성인식 중간 결과를 생성할 수 있다.
전송부(624)는 음성인식 중간 결과를 음성인식 클라이언트 시스템(610)으로 전송한다. 이때, 전송부(624)는 가장 가능성이 높은 중간 결과 하나만을 클라이언트 시스템(610)으로 전송한다. 이 경우 음성인식 서버 시스템(620)에는 중간 결과 후보들을 모두 관리하게 되는데, 이는 향후에 좀 더 음성이 들어왔을 때 가장 적절한 결과가 달라질 수 있기 때문이다. 예를 들어 "9", "코", "구", "g"가 후보일 때 "9"만을 클라이언트 시스템(610)에 전송하지만, 나머지 후보들을 음성인식 서버 시스템(620)에서는 버리지 않고 가지고 있다가 향후에 들어오는 음성을 이용해서 계속 후보들의 매칭 정도를 계산하게 된다.
또한, 음성인식 서버 시스템(620)은 음성인식 중간 결과로서 하나가 아닌 복수개의 결과를 클라이언트 시스템(610)에 전송할 수도 있다. 이 경우 둘 이상의 결과 각각의 정확도를 결정하는 정확도 결정부(미도시)를 더 포함할 수 있다. 이 경우, 전송부(624)는 정확도의 순서로 둘 이상의 결과를 정렬하여 포함하는 음성인식 중간 결과, 둘 이상의 결과 및 둘 이상의 결과 각각의 정확도를 포함하는 음성인식 중간 결과 및 정확도가 가장 높은 결과를 포함하는 음성인식 중간 결과 중 하나를 음성인식 클라이언트 시스템(610)으로 전송할 수 있다. 예를 들어, 두 개의 결과인 '코스닥'과 '구스타'에 대해 '구스타'의 정확도가 5로 '코스닥'의 정확도 3보다 높다고 가정하자. 이때, 전송부(624)는 '구스타', '코스닥' 순서로 정렬된 음성인식 중간 결과를 전송하거나 '구스타-5', '코스닥-3'과 같이 정확도를 포함하는 음성인식 중간 결과를 전송하거나 또는 정확도가 가장 높은 '구스타'만을 포함하는 음성인식 중간 결과를 전송할 수 있다. '-'는 뒤의 숫자가 정확도임을 나타내는 기호로 본 일례에서 임의로 가정한 것일 뿐, 보다 다양한 방법을 통해 정확도가 음성인식 클라이언트 시스템(610)으로 전송될 수 있다.
도 7은 본 발명의 일실시예에 있어서, 음성인식 클라이언트 시스템이 수행하는 음성인식 방법을 도시한 흐름도이다. 본 실시예에 따른 음성인식 방법은 도 6을 통해 설명한 음성인식 클라이언트 시스템(610)에 의해 수행될 수 있다. 도 7에서는 음성인식 클라이언트 시스템(610)에 의해 각각의 단계가 수행되는 과정을 설명함으로써, 음성인식 방법을 설명한다.
단계(710)에서 음성인식 클라이언트 시스템(610)은 음성인식의 시작시점부터 종료시점까지 기선정된 단위시간마다 입력되는 단위소리신호를 단위시간마다 음성인식 서버 시스템으로 전송한다. 우선, 음성인식 클라이언트 시스템(610)은 마이크와 같은 인터페이스를 통해 입력되는 소리신호에 대해 단위시간동안 입력되는 단위소리신호에서 특징정보를 추출하고, 입력된 단위소리신호를 부호화한다. 이때, 음성인식 클라이언트 시스템(610)은 추출된 특징정보와 부호화된 단위소리신호를 매 단위시간마다 음성인식 서버 시스템으로 전송할 수 있다. 여기서, 음성인식 서버 시스템은 도 6을 통해 설명한 음성인식 서버 시스템(620)에 대응될 수 있다.
단계(720)에서 음성인식 클라이언트 시스템(610)은 음성인식 서버 시스템으로부터 음성인식 중간 결과를 수신한다. 여기서, 음성인식 중간 결과는 음성인식 서버 시스템에서 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 통해 생성될 수 있다. 예를 들어, 음성인식 클라이언트 시스템(610)이 20 밀리초마다 단위소리신호를 전송하고, 음성인식 서버 시스템에서 500 밀리초마다 음성인식 중간 결과를 생성하여 전송하는 경우, 음성인식 서버 시스템은 최초 25개의 단위소리신호가 누적된 부분소리신호를 이용하여 음성인식 중간 결과를 생성할 수 있다. 두 번째 음성인식 중간 결과의 생성을 위해서는 최초 25개와 그 이후 수신된 25개인 총 50개의 단위소리신호가 누적된 부분소리신호가 이용될 수 있다.
단계(730)에서 음성인식 클라이언트 시스템(610)은 수신된 음성인식 중간 결과를 음성인식의 시작시점과 종료시점 사이에 표시한다. 이때, 일실시예로, 음성인식 클라이언트 시스템(610)은 음성인식 서버 시스템으로부터 복수의 음성인식 중간 결과가 수신되는 경우, 복수의 음성인식 중간 결과를 시작시점과 종료시점 사이에 순차적으로 표시할 수 있다. 예를 들어, 첫 번째 음성인식 중간 결과로 '자', 두 번째 음성인식 중간 결과로 '자동', 세 번째 음성인식 중간 결과로 '자동차'가 수신되는 경우, 음성인식 클라이언트 시스템(610)은 시작시점과 종료시점 사이에 '자', '자동' 및 '자동차'를 순차적으로 표시할 수 있다.
또한, 음성인식 중간 결과 각각은 하나의 결과를 포함할 수도 있으나, 둘 이상의 결과가 포함될 수도 있다. 예를 들어, "구스타프 클림트"를 음성인식 결과로 얻고자 하는 사용자가 "구"까지 발성한 경우, "구"에 대한 음성인식 중간 결과로 "9", "구", "코", "g" 등이 음성인식 클라이언트 시스템(610)에 제공되고 이 때 각 후보들의 매칭 정도를 함께 보냄으로써 음성인식 클라이언트 시스템(610)에서 매칭값으로 정렬하여 보여주거나 가장 높은 값을 가지는 후보만을 보여줄 수 있다.
이때, 음성인식 클라이언트 시스템(610)은 사용자로부터 음성인식의 종료 시점을 결정하기 위한 이벤트를 입력받는 단계(미도시)를 더 수행할 수 있다. 이 경우, 상기 이벤트가 입력되기 이전까지 입력된 단위소리신호들을 이용하여 음성인식 최종 결과가 생성될 수 있다. 즉, 음성인식 클라이언트 시스템(610)은 음성인식이 종료되었음을 음성인식 서버 시스템(620)에 알리고, 마지막으로 수신된 음성인식 중간 결과를 음성인식 최종 결과로서 생성하거나 또는 음성인식이 종료된 시점까지 입력된 단위소리신호들을 통해 음성인식 최종 결과가 생성되도록 제어할 수 있다.
도 8은 본 발명의 일실시예에 있어서, 음성인식 서버 시스템이 수행하는 음성인식 방법을 도시한 흐름도이다. 본 실시예에 따른 음성인식 방법은 도 6을 통해 설명한 음성인식 서버 시스템(620)에 의해 수행될 수 있다. 도 8에서는 음성인식 서버 시스템(620)에 의해 각각의 단계가 수행되는 과정을 설명함으로써, 음성인식 방법을 설명한다.
단계(810)에서 음성인식 서버 시스템(620)은 음성인식의 시작시점부터 종료시점까지 단위시간마다 음성인식 클라이언트 시스템으로 입력되는 단위소리신호를 수신한다. 여기서, 음성인식 클라이언트 시스템은 도 6을 통해 설명한 음성인식 클라이언트 시스템(610)에 대응될 수 있다.
단계(820)에서 음성인식 서버 시스템(620)은 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 이용하여 음성인식 중간 결과를 생성한다. 즉, 음성인식 서버 시스템(620)은 사용자가 음성인식 클라이언트 시스템(610)을 통해 발성중인 동안에도 중간까지 입력된 적어도 하나의 단위소리신호를 통해 음성인식 중간 결과를 생성할 수 있다. 기본적으로 음성인식 서버 시스템(620)은 부분소리신호가 생성될 때마다 생성된 부분소리신호에 대한 음성인식 중간 결과를 생성할 수 있다. 여기서, 부분소리신호는 단위시간마다 음성인식 클라이언트 시스템으로부터 전송되는 단위소리신호를 기선정된 수만큼 누적하여 생성될 수 있다.
단계(830)에서 음성인식 서버 시스템(620)은 음성인식 중간 결과를 음성인식 클라이언트 시스템으로 전송한다. 이때, 음성인식 서버 시스템(620)은 하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 둘 이상의 결과를 모두 포함하는 하나의 음성인식 중간 결과를 음성인식 클라이언트 시스템으로 전송할 수 있다. 예를 들어, 하나의 음성인식 중간 결과가 '9', '코', '구', 'g'의 네 개의 결과를 포함한다 하더라도, 음성인식 서버 시스템(620)은 네 개의 결과를 하나의 음성인식 중간 결과로서 음성인식 클라이언트 시스템으로 전송할 수 있다.
또한, 음성인식 서버 시스템(620)은 하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 둘 이상의 결과 각각의 정확도를 결정할 수 있다. 이 경우, 음성인식 서버 시스템(620)은 정확도의 순서로 둘 이상의 결과를 정렬하여 포함하는 음성인식 중간 결과, 둘 이상의 결과 및 둘 이상의 결과 각각의 정확도를 포함하는 음성인식 중간 결과 및 정확도가 가장 높은 결과를 포함하는 음성인식 중간 결과 중 하나를 음성인식 클라이언트 시스템으로 전송할 수 있다. 예를 들어, 두 개의 결과인 '코스닥'과 '구스타'에 대해 '구스타'의 정확도가 5로 '코스닥'의 정확도 3보다 높다고 가정하자. 이때, 음성인식 서버 시스템(620)은 '구스타', '코스닥' 순서로 정렬된 음성인식 중간 결과를 전송하거나 '구스타-5', '코스닥-3'과 같이 정확도를 포함하는 음성인식 중간 결과를 전송하거나 또는 정확도가 가장 높은 '구스타'만을 포함하는 음성인식 중간 결과를 전송할 수 있다. '-'는 뒤의 숫자가 정확도임을 나타내는 기호로 본 일례에서 임의로 가정한 것일 뿐, 보다 다양한 방법을 통해 정확도가 음성인식 클라이언트 시스템으로 전송될 수 있다.
도 9은 본 발명의 다른 실시예에 있어서, 음성인식 클라이언트 시스템 및 음성인식 서버 시스템의 내부 구성을 도시한 블록도이다.
본 실시예에 따른 음성인식 클라이언트 시스템(910)은 도 9에 도시된 바와 같이, 전송부(911), 수신부(912), 표시부(913) 및 제어부(914)를 포함할 수 있다. 이때, 전송부(911), 수신부(912) 및 표시부(913)는 필요에 따라 선택적으로 음성인식 클라이언트 시스템(910)에 포함될 수 있다. 예를 들어, 음성인식 클라이언트 시스템(910)은 사용자의 단말기에 포함된 하나의 모듈일 수 있다. 즉, 음성인식 클라이언트 시스템(910)은 제어부(914)만을 포함하여, 단말기의 전송부(911), 수신부(912) 및 표시부(913)를 제어하여 음성인식이 수행되도록 할 수 있다.
본 실시예에 따른 음성인식 서버 시스템(920)은 도 9에 도시된 바와 같이 수신부(921), 부분소리신호 생성부(922), 음성인식 결과 생성부(923) 및 전송부(924)를 포함할 수 있다.
일실시예로, 음성인식 클라이언트 시스템(910)에서 전송부(911)는 기선정된 단위시간마다 입력된 단위소리신호를 음성인식 서버 시스템(920)으로 전송하고, 수신부(912)는 음성인식 중간 결과를 음성인식 서버 시스템(920)으로부터 수신한다. 또한, 표시부(913)는 수신된 음성인식 중간 결과를 음성인식의 시작시점과 종료시점 사이에 표시한다. 여기서, 음성인식 중간 결과는 전송된 단위소리신호들 중 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 통해 생성될 수 있다. 부분소리신호는 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 신호를 포함할 수 있고, 단위소리신호는 시작시점부터 단위시간마다 입력된 소리신호를 포함할 수 있다.
다른 실시예로, 음성인식 클라이언트 시스템(910)에서 전송부(911)는 시작시점부터 단위시간마다 입력된 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 음성인식 서버 시스템(920)으로 전송하고, 수신부(912)는 부분소리신호를 통해 생성된 음성인식 중간 결과를 음성인식 서버 시스템(920)으로부터 수신한다. 또한, 표시부(913)는 수신된 음성인식 중간 결과를 음성인식의 시작시점과 종료시점 사이에 표시한다.
즉, 음성인식 클라이언트 시스템(910)은 단위시간마다 단위시간동안 입력된 단위소리신호를 음성인식 서버 시스템(920)으로 전송하거나 또는 일정 개수의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 음성인식 서버 시스템(920)으로 전송할 수 있다.
전자의 경우에는, 음성인식 서버 시스템(920)에서 단위소리신호들을 통해 부분소리신호를 생성하고, 생성된 부분소리신호를 이용하여 음성인식 중간 결과를 생성할 수 있다. 예를 들어, 음성인식 클라이언트 시스템(910)은 네 개의 단위시간 동안 소리신호 '구', '스', '타', '프'가 입력된 경우, 각각의 단위시간마다 '구', '스', '타', '프'를 전송할 수 있다. 이 경우, 음성인식 클라이언트 시스템(920)은 '구', '구스', '구스타', '구스타프'와 같이 단위소리신호들이 누적된 부분소리신호를 생성하고, 각각의 부분소리신호에 대해 음성인식 중간 결과를 생성할 수 있다.
후자의 경우에는, 음성인식 클라이언트 시스템(910)에서 적어도 하나의 단위소리신호가 누적된 소리신호인 부분소리신호를 음성인식 서버 시스템(920)으로 전송할 수 있고, 음성인식 서버 시스템(920)은 단순히 수신된 부분소리신호를 통해 음성인식 중간 결과를 생성할 수 있다. 예를 들어, 음성인식 클라이언트 시스템(910)은 네 개의 단위시간 동안 소리신호 '구', '스', '타', '프'가 입력된 경우, 각각의 단위시간마다 '구', '구스', '구스타', '구스타프'와 같이 단위소리신호가 누적된 부분소리신호를 전송할 수 있다. 이 경우, 음성인식 클라이언트 시스템(920)은 '구', '구스', '구스타', '구스타프'와 같이 수신된 부분소리신호를 그대로 이용하여 음성인식 중간 결과를 생성할 수 있다.
제어부(914)는 음성인식의 시작시점부터 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 입력되는 부분소리신호에 대한 음성인식 중간 결과가 시작시점과 종료시점 사이에 표시되도록 제어한다. 이때, 제어부(914)는 음성인식 중간 결과가 시작시점과 종료시점 사이에 표시되도록 전송부(911), 수신부(912) 및 표시부(913)를 제어할 수 있다.
이때, 제어부(914)는 하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 둘 이상의 결과가 모두 표시되도록 제어할 수 있다. 이 경우에도, 음성인식 클라이언트 시스템(910)은 상술한 바와 같이, 사용자로부터 입력되는 이벤트를 통해 선택되는 결과를 음성인식 서버 시스템(920)으로 전송하여 다음 음성인식 중간 결과나 음성인식 최종 결과의 생성에 반영되도록 할 수 있다.
다른 실시예로, 음성인식 클라이언트 시스템(910)은 하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 둘 이상의 결과 각각의 정확도를 결정하는 정확도 결정부(미도시)를 더 포함할 수 있다. 이 경우, 제어부(914)는 둘 이상의 결과가 정확도의 순서로 정렬되어 표시되도록 제어하거나 또는 정확도가 가장 높은 결과가 표시되도록 제어할 수 있다.
또한, 제어부(914)는 음성인식 서버 시스템(920)으로부터 복수의 음성인식 중간 결과가 수신되는 경우, 복수의 음성인식 중간 결과가 시작시점과 종료시점 사이에 순차적으로 표시되도록 제어할 수 있다.
이때, 음성인식 클라이언트 시스템(910)은 사용자로부터 음성인식의 종료 시점을 결정하기 위한 이벤트를 입력받는 사용자 인터페이스부(미도시)를 더 포함할 수 있다. 이 경우, 상기 이벤트가 입력되기 이전까지 입력된 부분소리신호를 이용하여 음성인식 최종 결과가 생성될 수 있다. 즉, 음성인식 클라이언트 시스템(610)은 음성인식이 종료되었음을 음성인식 서버 시스템(620)에 알리고, 마지막으로 수신된 음성인식 중간 결과를 음성인식 최종 결과로서 생성하거나 또는 음성인식이 종료된 시점까지 입력된 부분소리신호를 통해 음성인식 최종 결과가 생성되도록 제어할 수 있다.
음성인식 서버 시스템(920)에서 수신부(921)는 기선정된 단위시간마다 음성인식 클라이언트 시스템(910)으로 입력된 단위소리신호들을 음성인식 클라이언트 시스템(910)으로부터 수신하거나 또는 기선정된 단위시간마다 음성인식 클라이언트 시스템(910)으로 입력된 단위소리신호들 중 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 음성인식 클라이언트 시스템(910)으로부터 수신할 수 있다.
음성인식 결과 생성부(922)는 음성인식의 시작시점부터 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 음성인식 클라이언트 시스템(910)으로 입력된 부분소리신호를 이용하여 음성인식 중간 결과를 생성한다. 즉, 음성인식 결과 생성부(922)는 수신부(921)에서 단위소리신호를 수신하는 경우에는 단위소리신호를 이용하여 부분소리신호를 직접 생성하고, 생성된 부분소리신호를 이용하여 음성인식 중간 결과를 생성할 수 있고, 수신부(921)에서 부분소리신호를 수신하는 경우에는 수신된 부분소리신호를 이용하여 음성인식 중간 결과를 생성할 수 있다.
전송부(923)는 음성인식 중간 결과를 음성인식 클라이언트 시스템(910)으로 전송한다. 이때, 음성인식 중간 결과는 시작시점과 종료시점 사이에 음성인식 클라이언트 시스템(910)의 표시부(913)를 통해 표시될 수 있다.
음성인식 클라이언트 시스템(910)에 의해 수행되는 음성인식 방법은 음성인식의 시작시점부터 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 입력되는 부분소리신호에 대한 음성인식 중간 결과가 시작시점과 종료시점 사이에 표시되도록 제어하는 제1 단계(미도시)를 포함할 수 있다. 이 경우, 음성인식 클라이언트 시스템(910)은 제1 단계에 기선정된 단위시간마다 입력된 단위소리신호를 음성인식 서버 시스템(920)으로 전송하도록 제어하는 제2 단계(미도시)와 음성인식 중간 결과를 음성인식 서버 시스템(920)으로부터 수신하도록 제어하는 제3 단계(미도시) 및 수신된 음성인식 중간 결과를 시작시점과 종료시점 사이에 표시하도록 제어하는 제4 단계(미도시)를 포함하여 수행할 수 있다.
다른 실시예로, 음성인식 클라이언트 시스템(910)은 제1 단계에 시작시점부터 단위시간마다 입력된 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 음성인식 서버 시스템(920)으로 전송하도록 제어하는 제2 단계, 부분소리신호를 통해 생성된 음성인식 중간 결과를 음성인식 서버 시스템(920)으로부터 수신하도록 제어하는 제3 단계 및 수신된 음성인식 중간 결과를 시작시점과 종료시점 사이에 표시하도록 제어하는 제4 단계를 포함하여 수행할 수 있다.
이때, 음성인식 클라이언트 시스템(910)은 사용자로부터 음성인식의 종료 시점을 결정하기 위한 이벤트를 입력받는 단계(미도시)를 더 수행할 수 있다. 이 경우, 상기 이벤트가 입력되기 이전까지 입력된 부분소리신호를 이용하여 음성인식 최종 결과가 생성될 수 있다. 즉, 음성인식 클라이언트 시스템(910)은 음성인식이 종료되었음을 음성인식 서버 시스템(920)에 알리고, 마지막으로 수신된 음성인식 중간 결과를 음성인식 최종 결과로서 생성하거나 또는 음성인식이 종료된 시점까지 입력된 부분소리신호를 통해 음성인식 최종 결과가 생성되도록 제어할 수 있다.
또한, 음성인식 서버 시스템(920)에 의해 수행되는 음성인식 방법은 기선정된 단위시간마다 음성인식 클라이언트 시스템(910)으로 입력된 단위소리신호들을 음성인식 클라이언트 시스템(910)으로부터 수신하거나 또는 기선정된 단위시간마다 음성인식 클라이언트 시스템(910)으로 입력된 단위소리신호들 중 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 음성인식 클라이언트 시스템(910)으로부터 수신하는 제1단계(미도시), 음성인식의 시작시점부터 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 음성인식 클라이언트 시스템(910)으로 입력된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 제2 단계(미도시) 및 음성인식 중간 결과를 음성인식 클라이언트 시스템(910)으로 전송하는 제3 단계(미도시)를 포함한다. 즉, 음성인식 서버 시스템(920)은 단위소리신호를 수신하는 경우에는 단위소리신호를 이용하여 부분소리신호를 직접 생성하고, 생성된 부분소리신호를 이용하여 음성인식 중간 결과를 생성할 수 있고, 부분소리신호를 수신하는 경우에는 수신된 부분소리신호를 이용하여 음성인식 중간 결과를 생성할 수 있다. 이때, 음성인식 중간 결과는 시작시점과 종료시점 사이에 음성인식 클라이언트 시스템(910)의 표시부(913)를 통해 표시될 수 있다.
이와 같이, 본 발명의 실시예들에 따른 시스템 및 방법을 이용하면, 사용자가 발성을 시작한 후 음성인식이 종료하기 전 음성인식 중간 결과를 사용자에게 제공함으로써, 사용자가 음성인식이 정확히 수행되고 있는가에 대한 걱정을 줄일 수 있다. 또한, 사용자가 발성을 시작한 후 기선정된 단위시간마다 입력되는 적어도 하나의 단위소리신호를 누적하여 부분소리신호를 생성하고, 부분소리신호에 기초하여 음성인식 중간 결과를 생성하여 사용자에게 제공함으로써, 사용자에게 안정감을 주고 음성인식의 처리 과정을 보여줄 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (30)

  1. 음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 클라이언트 시스템에 있어서,
    상기 시작시점부터 상기 종료시점까지 기선정된 단위시간마다 입력되는 단위소리신호를 상기 단위시간마다 음성인식 서버 시스템으로 전송하고, 상기 음성인식 서버 시스템으로부터 음성인식 중간 결과를 수신하는 통신부; 및
    상기 수신된 음성인식 중간 결과를 상기 시작시점과 상기 종료시점 사이에 표시하는 표시부
    를 포함하는 음성인식 클라이언트 시스템.
  2. 제1항에 있어서,
    상기 음성인식 중간 결과는 상기 음성인식 서버 시스템에서 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 통해 생성되는, 음성인식 클라이언트 시스템.
  3. 제1항에 있어서,
    상기 표시부는,
    상기 음성인식 서버 시스템으로부터 복수의 음성인식 중간 결과가 수신되는 경우, 상기 복수의 음성인식 중간 결과를 상기 시작시점과 상기 종료시점 사이에 순차적으로 표시하는, 음성인식 클라이언트 시스템.
  4. 제1항에 있어서,
    상기 표시부는,
    상기 단위시간마다의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 상기 둘 이상의 결과를 모두 전송받아 표시하는 음성인식 클라이언트 시스템.
  5. 제1항에 있어서,
    상기 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 상기 둘 이상의 결과 각각의 정확도를 결정하는 정확도 결정부
    를 더 포함하고,
    상기 표시부는,
    상기 정확도의 순서로 상기 둘 이상의 결과를 정렬하여 표시하거나 또는 상기 정확도가 가장 높은 결과를 표시하는, 음성인식 클라이언트 시스템.
  6. 제1항에 있어서,
    상기 입력된 단위소리신호에서 특징정보를 추출하는 특징정보 추출부; 및
    상기 입력된 단위소리신호를 부호화하는 부호화부
    를 더 포함하고,
    상기 통신부는,
    상기 특징정보 및 상기 부호화된 단위소리신호를 상기 입력된 단위소리신호로서 상기 음성인식 서버 시스템으로 전송하는, 음성인식 클라이언트 시스템.
  7. 제1항에 있어서,
    사용자로부터 음성인식의 종료 시점을 결정하기 위한 이벤트를 입력받는 사용자 인터페이스부
    를 더 포함하고,
    상기 이벤트가 입력되기 이전까지 입력된 단위소리신호들을 이용하여 음성인식 최종 결과가 생성되는, 음성인식 클라이언트 시스템.
  8. 음성인식 클라이언트 시스템으로부터 수신된 소리신호를 이용하여 음성인식 결과를 생성하는 음성인식 서버 시스템에 있어서,
    음성인식의 시작시점부터 종료시점까지 단위시간마다 상기 음성인식 클라이언트 시스템으로 입력되는 단위소리신호를 수신하는 수신부;
    적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 음성인식 결과 생성부; 및
    상기 음성인식 중간 결과를 상기 음성인식 클라이언트 시스템으로 전송하는 전송부
    를 포함하고,
    상기 음성인식 중간 결과는 상기 시작시점과 상기 종료시점 사이에 상기 음성인식 클라이언트 시스템의 표시부를 통해 표시되는, 음성인식 서버 시스템.
  9. 제8항에 있어서,
    상기 단위시간마다 상기 음성인식 클라이언트 시스템으로부터 전송되는 단위소리신호를 기선정된 수만큼 누적하여 부분소리신호를 생성하는 부분소리신호 생성부를 더 포함하는, 음성인식 서버 시스템.
  10. 제9항에 있어서,
    상기 음성인식 결과 생성부는,
    상기 부분소리신호가 생성될 때마다 상기 생성된 부분소리신호에 대한 음성인식 중간 결과를 생성하는, 음성인식 서버 시스템.
  11. 제8항에 있어서,
    상기 전송부는,
    하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 상기 둘 이상의 결과를 모두 포함하는 상기 하나의 음성인식 중간 결과를 상기 음성인식 클라이언트 시스템으로 전송하는, 음성인식 서버 시스템.
  12. 제8항에 있어서,
    하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 상기 둘 이상의 결과 각각의 정확도를 결정하는 정확도 결정부
    를 더 포함하고,
    상기 전송부는,
    상기 정확도의 순서로 상기 둘 이상의 결과를 정렬하여 포함하는 음성인식 중간 결과, 상기 둘 이상의 결과 및 상기 둘 이상의 결과 각각의 정확도를 포함하는 음성인식 중간 결과 및 상기 정확도가 가장 높은 결과를 포함하는 음성인식 중간 결과 중 하나를 상기 음성인식 클라이언트 시스템으로 전송하는, 음성인식 서버 시스템.
  13. 음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 클라이언트 시스템에 있어서,
    상기 시작시점부터 상기 시작시점과 상기 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 입력되는 부분소리신호에 대한 음성인식 중간 결과가 상기 시작시점과 상기 종료시점 사이에 표시되도록 제어하는 제어부
    를 포함하는 음성인식 클라이언트 시스템.
  14. 제13항에 있어서,
    상기 부분소리신호는 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 신호를 포함하고,
    상기 단위소리신호는 상기 시작시점부터 단위시간마다 입력된 소리신호를 포함하는, 음성인식 클라이언트 시스템.
  15. 제13항에 있어서,
    상기 제어부는,
    상기 음성인식 서버 시스템으로부터 복수의 음성인식 중간 결과가 수신되는 경우, 상기 복수의 음성인식 중간 결과가 상기 시작시점과 상기 종료시점 사이에 순차적으로 표시되도록 제어하는, 음성인식 클라이언트 시스템.
  16. 제13항에 있어서,
    기선정된 단위시간마다 입력된 단위소리신호를 음성인식 서버 시스템으로 전송하는 전송부;
    음성인식 중간 결과를 상기 음성인식 서버 시스템으로부터 수신하는 수신부; 및
    상기 수신된 음성인식 중간 결과를 상기 시작시점과 상기 종료시점 사이에 표시하는 표시부
    를 더 포함하고,
    상기 음성인식 중간 결과는 상기 전송된 단위소리신호들 중 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 통해 생성되는, 음성인식 클라이언트 시스템.
  17. 제13항에 있어서,
    상기 시작시점부터 단위시간마다 입력된 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 음성인식 서버 시스템으로 전송하는 전송부;
    상기 부분소리신호를 통해 생성된 음성인식 중간 결과를 상기 음성인식 서버 시스템으로부터 수신하는 수신부; 및
    상기 수신된 음성인식 중간 결과를 상기 시작시점과 상기 종료시점 사이에 표시하는 표시부
    를 더 포함하는 음성인식 클라이언트 시스템.
  18. 제16항 또는 제17항에 있어서,
    상기 제어부는,
    상기 음성인식 중간 결과가 상기 시작시점과 상기 종료시점 사이에 표시되도록 상기 전송부, 상기 수신부 및 상기 표시부를 제어하는, 음성인식 클라이언트 시스템.
  19. 제13항에 있어서,
    상기 제어부는,
    하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 상기 둘 이상의 결과가 모두 표시되도록 제어하는, 음성인식 클라이언트 시스템.
  20. 제13항에 있어서,
    하나의 음성인식 중간 결과가 둘 이상의 결과를 포함하는 경우, 상기 둘 이상의 결과 각각의 정확도를 결정하는 정확도 결정부
    를 더 포함하고,
    상기 제어부는,
    상기 둘 이상의 결과가 상기 정확도의 순서로 정렬되어 표시되도록 제어하거나 또는 상기 정확도가 가장 높은 결과가 표시되도록 제어하는, 음성인식 클라이언트 시스템.
  21. 제13항에 있어서,
    사용자로부터 음성인식의 종료 시점을 결정하기 위한 이벤트를 입력받는 사용자 인터페이스부
    를 더 포함하고,
    상기 이벤트가 입력되기 이전까지 입력된 부분소리신호를 이용하여 음성인식 최종 결과가 생성되는, 음성인식 클라이언트 시스템.
  22. 음성인식 클라이언트 시스템으로부터 수신된 소리신호를 이용하여 음성인식 결과를 생성하는 음성인식 서버 시스템에 있어서,
    음성인식의 시작시점부터 상기 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 상기 음성인식 클라이언트 시스템으로 입력된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 음성인식 결과 생성부; 및
    상기 음성인식 중간 결과를 상기 음성인식 클라이언트 시스템으로 전송하는 전송부
    를 포함하고,
    상기 음성인식 중간 결과는 상기 시작시점과 상기 종료시점 사이에 상기 음성인식 클라이언트 시스템의 표시부를 통해 표시되는, 음성인식 서버 시스템.
  23. 제22항에 있어서,
    상기 부분소리신호는 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 신호를 포함하고,
    상기 단위소리신호는 상기 시작시점부터 단위시간마다 입력된 소리신호를 포함하는, 음성인식 서버 시스템.
  24. 제22항에 있어서,
    기선정된 단위시간마다 상기 음성인식 클라이언트 시스템으로 입력된 단위소리신호들을 상기 음성인식 클라이언트 시스템으로부터 수신하는 수신부
    를 더 포함하고,
    상기 음성인식 결과 생성부는,
    상기 수신된 단위소리신호들 중 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 상기 부분소리신호를 이용하여 상기 음성인식 중간 결과를 생성하는, 음성인식 서버 시스템.
  25. 제22항에 있어서,
    기선정된 단위시간마다 상기 음성인식 클라이언트 시스템으로 입력된 단위소리신호들 중 적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 상기 음성인식 클라이언트 시스템으로부터 수신하는 수신부
    를 더 포함하는, 음성인식 서버 시스템.
  26. 음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 방법에 있어서,
    상기 시작시점부터 상기 종료시점까지 기선정된 단위시간마다 입력되는 단위소리신호를 상기 단위시간마다 음성인식 서버 시스템으로 전송하고, 상기 음성인식 서버 시스템으로부터 음성인식 중간 결과를 수신하는 단계; 및
    상기 수신된 음성인식 중간 결과를 상기 시작시점과 상기 종료시점 사이에 표시하는 단계
    를 포함하는 음성인식 방법.
  27. 음성인식 클라이언트 시스템으로부터 수신된 소리신호를 이용하여 음성인식 결과를 생성하는 음성인식 방법에 있어서,
    음성인식의 시작시점부터 종료시점까지 단위시간마다 상기 음성인식 클라이언트 시스템으로 입력되는 단위소리신호를 수신하는 단계;
    적어도 하나의 단위소리신호가 입력 시간에 따라 누적된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 단계; 및
    상기 음성인식 중간 결과를 상기 음성인식 클라이언트 시스템으로 전송하는 단계
    를 포함하고,
    상기 음성인식 중간 결과는 상기 시작시점과 상기 종료시점 사이에 상기 음성인식 클라이언트 시스템의 표시부를 통해 표시되는, 음성인식 방법.
  28. 음성인식의 시작시점부터 종료시점까지 입력되는 소리신호에 대한 음성인식 결과를 표시하는 음성인식 방법에 있어서,
    상기 시작시점부터 상기 시작시점과 상기 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 입력되는 부분소리신호에 대한 음성인식 중간 결과가 상기 시작시점과 상기 종료시점 사이에 표시되도록 제어하는 단계
    를 포함하는 음성인식 방법.
  29. 음성인식 클라이언트 시스템으로부터 수신된 소리신호를 이용하여 음성인식 결과를 생성하는 음성인식 방법에 있어서,
    음성인식의 시작시점부터 상기 시작시점과 종료시점 사이의 복수의 시점들 중 적어도 하나의 시점까지 상기 음성인식 클라이언트 시스템으로 입력된 부분소리신호를 이용하여 음성인식 중간 결과를 생성하는 단계; 및
    상기 음성인식 중간 결과를 상기 음성인식 클라이언트 시스템으로 전송하는 단계
    를 포함하고,
    상기 음성인식 중간 결과는 상기 시작시점과 상기 종료시점 사이에 상기 음성인식 클라이언트 시스템의 표시부를 통해 표시되는, 음성인식 방법.
  30. 제26항 내지 제29항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
PCT/KR2011/005394 2010-12-16 2011-07-21 온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법 WO2012081788A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/995,085 US9318111B2 (en) 2010-12-16 2011-07-21 Voice recognition client system for processing online voice recognition, voice recognition server system, and voice recognition method
JP2013544373A JP2014505270A (ja) 2010-12-16 2011-07-21 オンライン音声認識を処理する音声認識クライアントシステム、音声認識サーバシステム及び音声認識方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0129217 2010-12-16
KR1020100129217A KR101208166B1 (ko) 2010-12-16 2010-12-16 온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법

Publications (1)

Publication Number Publication Date
WO2012081788A1 true WO2012081788A1 (ko) 2012-06-21

Family

ID=46244864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/005394 WO2012081788A1 (ko) 2010-12-16 2011-07-21 온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법

Country Status (4)

Country Link
US (1) US9318111B2 (ko)
JP (2) JP2014505270A (ko)
KR (1) KR101208166B1 (ko)
WO (1) WO2012081788A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175443A1 (ko) * 2015-04-30 2016-11-03 주식회사 아마다스 음성 인식을 이용한 정보 검색 방법 및 장치
CN115188368A (zh) * 2022-06-30 2022-10-14 北京百度网讯科技有限公司 语音测试方法、装置、电子设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130133629A (ko) 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
CN103076893B (zh) * 2012-12-31 2016-08-17 百度在线网络技术（北京）有限公司 一种用于实现语音输入的方法与设备
KR102301880B1 (ko) * 2014-10-14 2021-09-14 삼성전자 주식회사 전자 장치 및 이의 음성 대화 방법
EP3282447B1 (en) * 2015-03-31 2020-08-26 Sony Corporation PROGRESSIVE UTTERANCE ANALYSIS FOR SUCCESSIVELY DISPLAYING EARLY SUGGESTIONS BASED ON PARTIAL SEMANTIC PARSES FOR VOICE CONTROL. 
REAL TIME PROGRESSIVE SEMANTIC UTTERANCE ANALYSIS FOR VISUALIZATION AND ACTIONS CONTROL.
KR102365757B1 (ko) * 2015-09-09 2022-02-18 삼성전자주식회사 인식 장치, 인식 방법 및 협업 처리 장치
JP6766991B2 (ja) * 2016-07-13 2020-10-14 株式会社富士通ソーシアルサイエンスラボラトリ 端末装置、翻訳方法、及び、翻訳プログラム
US10339224B2 (en) 2016-07-13 2019-07-02 Fujitsu Social Science Laboratory Limited Speech recognition and translation terminal, method and non-transitory computer readable medium
KR102502220B1 (ko) 2016-12-20 2023-02-22 삼성전자주식회사 전자 장치, 그의 사용자 발화 의도 판단 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10229682B2 (en) 2017-02-01 2019-03-12 International Business Machines Corporation Cognitive intervention for voice recognition failure
JP2019016206A (ja) * 2017-07-07 2019-01-31 株式会社富士通ソーシアルサイエンスラボラトリ 音声認識文字表示プログラム、情報処理装置、及び、音声認識文字表示方法
KR102412523B1 (ko) * 2017-07-18 2022-06-24 삼성전자주식회사 음성 인식 서비스 운용 방법, 이를 지원하는 전자 장치 및 서버
KR102443079B1 (ko) 2017-12-06 2022-09-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP3888080A4 (en) * 2018-11-27 2022-07-13 LG Electronics Inc. MULTIMEDIA DEVICE FOR VOICE COMMAND PROCESSING
US11211063B2 (en) 2018-11-27 2021-12-28 Lg Electronics Inc. Multimedia device for processing voice command
US11538481B2 (en) * 2020-03-18 2022-12-27 Sas Institute Inc. Speech segmentation based on combination of pause detection and speaker diarization
KR20240068017A (ko) * 2022-11-08 2024-05-17 한국전자기술연구원 턴프리 대화 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283972A (ja) * 2004-03-30 2005-10-13 Advanced Media Inc 音声認識方法及びこの音声認識方法を利用した情報提示方法と情報提示装置
JP2005331616A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> クライアント・サーバ音声認識方法、これに用いる装置、そのプログラム及び記録媒体
JP2010048890A (ja) * 2008-08-19 2010-03-04 Ntt Docomo Inc クライアント装置、認識結果フィードバック方法、認識結果フィードバックプログラム、サーバ装置、音声認識のモデル更新方法、音声認識のモデル更新プログラム、音声認識システム、音声認識方法、音声認識プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175093A (ja) 1997-12-08 1999-07-02 Nippon Telegr & Teleph Corp <Ntt> 音声認識確認応答方法
US20030182113A1 (en) * 1999-11-22 2003-09-25 Xuedong Huang Distributed speech recognition for mobile communication devices
US7409349B2 (en) * 2001-05-04 2008-08-05 Microsoft Corporation Servers for web enabled speech recognition
JP2004094077A (ja) 2002-09-03 2004-03-25 Nec Corp 音声認識装置及び制御方法並びにプログラム
US7774694B2 (en) * 2002-12-06 2010-08-10 3M Innovation Properties Company Method and system for server-based sequential insertion processing of speech recognition results
JP2005037615A (ja) 2003-07-18 2005-02-10 Omron Corp クライアント装置、音声認識サーバ、分散型音声認識システム、音声認識プログラム、およびコンピュータ読み取り可能な記録媒体
US7729912B1 (en) * 2003-12-23 2010-06-01 At&T Intellectual Property Ii, L.P. System and method for latency reduction for automatic speech recognition using partial multi-pass results
JP4297349B2 (ja) * 2004-03-30 2009-07-15 Ｋｄｄｉ株式会社 音声認識システム
TWI251754B (en) * 2004-12-16 2006-03-21 Delta Electronics Inc Method for optimizing loads of speech/user recognition system
CA2648617C (en) * 2006-04-05 2017-12-12 Yap, Inc. Hosted voice recognition system for wireless devices
US8352264B2 (en) * 2008-03-19 2013-01-08 Canyon IP Holdings, LLC Corrective feedback loop for automated speech recognition
US8352261B2 (en) * 2008-03-07 2013-01-08 Canyon IP Holdings, LLC Use of intermediate speech transcription results in editing final speech transcription results
US20090070109A1 (en) 2007-09-12 2009-03-12 Microsoft Corporation Speech-to-Text Transcription for Personal Communication Devices
JP5495612B2 (ja) * 2008-04-23 2014-05-21 キヤノン株式会社 カメラ制御装置及び方法
US8019608B2 (en) * 2008-08-29 2011-09-13 Multimodal Technologies, Inc. Distributed speech recognition using one way communication
JP4902617B2 (ja) * 2008-09-30 2012-03-21 株式会社フュートレック 音声認識システム、音声認識方法、音声認識クライアントおよびプログラム
US8965545B2 (en) * 2010-09-30 2015-02-24 Google Inc. Progressive encoding of audio

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283972A (ja) * 2004-03-30 2005-10-13 Advanced Media Inc 音声認識方法及びこの音声認識方法を利用した情報提示方法と情報提示装置
JP2005331616A (ja) * 2004-05-18 2005-12-02 Nippon Telegr & Teleph Corp <Ntt> クライアント・サーバ音声認識方法、これに用いる装置、そのプログラム及び記録媒体
JP2010048890A (ja) * 2008-08-19 2010-03-04 Ntt Docomo Inc クライアント装置、認識結果フィードバック方法、認識結果フィードバックプログラム、サーバ装置、音声認識のモデル更新方法、音声認識のモデル更新プログラム、音声認識システム、音声認識方法、音声認識プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016175443A1 (ko) * 2015-04-30 2016-11-03 주식회사 아마다스 음성 인식을 이용한 정보 검색 방법 및 장치
US10403277B2 (en) 2015-04-30 2019-09-03 Amadas Co., Ltd. Method and apparatus for information search using voice recognition
CN115188368A (zh) * 2022-06-30 2022-10-14 北京百度网讯科技有限公司 语音测试方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US9318111B2 (en) 2016-04-19
KR101208166B1 (ko) 2012-12-04
US20140316776A1 (en) 2014-10-23
JP6139598B2 (ja) 2017-05-31
JP2014505270A (ja) 2014-02-27
KR20120067680A (ko) 2012-06-26
JP2015179287A (ja) 2015-10-08

Similar Documents

Publication Publication Date Title
WO2012081788A1 (ko) 온라인 음성인식을 처리하는 음성인식 클라이언트 시스템, 음성인식 서버 시스템 및 음성인식 방법
CN113327609B (zh) 用于语音识别的方法和装置
WO2015068947A1 (ko) 녹취된 음성 데이터에 대한 핵심어 추출 기반 발화 내용 파악 시스템과, 이 시스템을 이용한 인덱싱 방법 및 발화 내용 파악 방법
WO2016194740A1 (ja) 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法
JP5042194B2 (ja) 話者テンプレートを更新する装置及び方法
US8521525B2 (en) Communication control apparatus, communication control method, and non-transitory computer-readable medium storing a communication control program for converting sound data into text data
WO2019143022A1 (ko) 음성 명령을 이용한 사용자 인증 방법 및 전자 장치
JP2003308087A (ja) 文法更新システム及び方法
JP2009169139A (ja) 音声認識装置
WO2019208860A1 (ko) 음성 인식 기술을 이용한 다자간 대화 기록/출력 방법 및 이를 위한 장치
US20100178956A1 (en) Method and apparatus for mobile voice recognition training
WO2020054980A1 (ko) 음소기반 화자모델 적응 방법 및 장치
WO2021251539A1 (ko) 인공신경망을 이용한 대화형 메시지 구현 방법 및 그 장치
JP2018045001A (ja) 音声認識システム、情報処理装置、プログラム、音声認識方法
WO2021091145A1 (en) Electronic apparatus and method thereof
JP7026004B2 (ja) 会話補助装置、会話補助方法及びプログラム
JP2007322523A (ja) 音声翻訳装置及びその方法
TW200304638A (en) Network-accessible speaker-dependent voice models of multiple persons
JP2018174442A (ja) 会議支援システム、会議支援方法、会議支援装置のプログラム、および端末のプログラム
WO2009104332A1 (ja) 発話分割システム、発話分割方法および発話分割プログラム
KR20120127773A (ko) 음성인식 정보검색 시스템 및 그 방법
JP2017068061A (ja) 通信端末及び音声認識システム
WO2015030340A1 (ko) 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
CN108174030B (zh) 定制化语音控制的实现方法、移动终端及可读存储介质
WO2016129188A1 (ja) 音声認識処理装置、音声認識処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11848718

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013544373

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13995085

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11848718

Country of ref document: EP

Kind code of ref document: A1