JP2016080750A - Voice recognition device, voice recognition method, and voice recognition program - Google Patents
Voice recognition device, voice recognition method, and voice recognition program Download PDFInfo
- Publication number
- JP2016080750A JP2016080750A JP2014208834A JP2014208834A JP2016080750A JP 2016080750 A JP2016080750 A JP 2016080750A JP 2014208834 A JP2014208834 A JP 2014208834A JP 2014208834 A JP2014208834 A JP 2014208834A JP 2016080750 A JP2016080750 A JP 2016080750A
- Authority
- JP
- Japan
- Prior art keywords
- speech recognition
- voice
- sound source
- speech
- voice recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 230000008569 process Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、任意の方向からの音声を認識する音声認識装置、音声認識方法、及び音声認識プログラムに関する。 The present invention relates to a speech recognition device that recognizes speech from an arbitrary direction, a speech recognition method, and a speech recognition program.
近年、音声認識によって、機器操作、情報取得、及び対話等を行う技術が普及しつつある。特に、ロボット等の機器に音声認識を実行させ、音声認識結果に基づく処理を実行させる場合、機器に対して任意の方向から到来する音声を精度良く認識できることが求められる。このような目的のために音源方向を推定し、音源方向にマイクロフォンアレイの指向方向を設定する装置が知られている。 In recent years, techniques for device operation, information acquisition, dialogue, and the like by voice recognition are becoming widespread. In particular, when a device such as a robot performs voice recognition and executes a process based on a voice recognition result, it is required that the device can accurately recognize a voice coming from an arbitrary direction. For this purpose, a device that estimates a sound source direction and sets the directivity direction of a microphone array in the sound source direction is known.
例えば特許文献1には、音源方向に死角を向けた空間フィルタの他に音源方向に指向性を向けた空間フィルタも生成し、それぞれについて方向とゲインとのパターンを求め、両方のパターンに基づいて音源方向を推定することが記載されている。また、特許文献2には、音源方向を推定する方法として、MUSIC法を使用することが記載されている。また、特許文献3には、話者が手のひらを打ち鳴らす音を合図音として検出して、マイクロフォンアレイの指向方向を設定することが記載されている。 For example, in Patent Document 1, in addition to a spatial filter having a blind spot directed to a sound source direction, a spatial filter having directivity directed to a sound source direction is also generated, a pattern of direction and gain is obtained for each, and based on both patterns It is described that a sound source direction is estimated. Patent Document 2 describes that the MUSIC method is used as a method of estimating the sound source direction. Japanese Patent Application Laid-Open No. 2004-228561 describes that the sound of a speaker hitting the palm of the hand is detected as a cue sound and the directivity direction of the microphone array is set.
しかしながら、上記特許文献1,2に記載されている手法では、機器利用者が発した音声とは異なる周囲の雑音等の音源に対して指向方向が設定されてしまうおそれがある。また、音源方向を推定するために多少の期間に亘って音声信号を観測する必要がある。また、上記特許文献3に記載されている手法によれば、周囲の雑音等に対して指向方向が設定されてしまうことを防止し得るが、音源方向の推定のために最初にユーザが手を叩く等の動作を行う必要がある。つまり、音源方向の推定がされた後に音声認識が開始されるため、音声認識結果が得られるまでに時間がかかってしまい、ユーザの体感価値が損なわれてしまう。 However, in the methods described in Patent Documents 1 and 2, there is a possibility that the directivity direction is set for a sound source such as ambient noise different from the sound uttered by the device user. In addition, it is necessary to observe an audio signal for a certain period in order to estimate the sound source direction. Further, according to the method described in Patent Document 3, it is possible to prevent the directivity direction from being set with respect to ambient noise or the like. It is necessary to perform actions such as tapping. That is, since speech recognition is started after the sound source direction is estimated, it takes time until a speech recognition result is obtained, and the user's experience value is impaired.
本発明は、上記の課題に鑑みてなされたものであり、音源方向の推定に伴う遅延を伴わずに、任意の方向からの音声を精度良く認識することができる音声認識装置、音声認識方法、及び音声認識プログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and a voice recognition device, a voice recognition method, and the like that can accurately recognize a voice from an arbitrary direction without a delay associated with estimation of a sound source direction. And a speech recognition program.
本発明に係る音声認識装置は、複数の方向からの音声ストリームのそれぞれを取得する音声取得手段と、音声取得手段により取得された複数の方向からの音声ストリームのそれぞれに対して音声認識を実行する音声認識処理手段と、音声認識処理手段により、予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、当該音声認識結果が得られた音声ストリームに対応する方向を音源方向として決定する音源方向決定手段と、を備える。 The speech recognition apparatus according to the present invention performs speech recognition on each of the sound acquisition means for acquiring each of the sound streams from a plurality of directions and each of the sound streams from the plurality of directions acquired by the sound acquisition means. When a speech recognition result satisfying a predetermined reliability criterion is obtained by the speech recognition processing means and the speech recognition processing means, the direction corresponding to the speech stream from which the speech recognition result is obtained is set as the sound source direction. Sound source direction determining means for determining.
本発明に係る音声認識方法は、音声認識装置により実行される音声認識方法であって、複数の方向からの音声ストリームのそれぞれを取得する音声取得ステップと、音声取得ステップにおいて取得された複数の方向からの音声ストリームのそれぞれに対して音声認識を実行する音声認識処理ステップと、音声認識処理ステップにおいて、予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、当該音声認識結果が得られた音声ストリームに対応する方向を音源方向として決定する音源方向決定ステップと、を含む。 The speech recognition method according to the present invention is a speech recognition method executed by a speech recognition apparatus, and includes a speech acquisition step of acquiring each of speech streams from a plurality of directions, and a plurality of directions acquired in the speech acquisition step. A speech recognition processing step for performing speech recognition on each of the speech streams from and a speech recognition result that satisfies a predetermined reliability criterion in the speech recognition processing step. And a sound source direction determining step for determining a direction corresponding to the audio stream from which the sound stream is obtained as a sound source direction.
本発明に係る音声認識プログラムは、コンピュータを、複数の方向からの音声ストリームのそれぞれを取得する音声取得手段と、音声取得手段により取得された複数の方向からの音声ストリームのそれぞれに対して音声認識を実行する音声認識処理手段と、音声認識処理手段により、予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、当該音声認識結果が得られた音声ストリームに対応する方向を音源方向として決定する音源方向決定手段、として実行させる。 The speech recognition program according to the present invention enables a computer to perform speech recognition on each of an audio acquisition unit that acquires audio streams from a plurality of directions and each of the audio streams from a plurality of directions acquired by the audio acquisition unit. When a speech recognition result that satisfies a predetermined reliability criterion is obtained by the speech recognition processing means that executes the above and the speech recognition processing means, the direction corresponding to the speech stream from which the speech recognition result is obtained is determined. This is executed as sound source direction determining means for determining the sound source direction.
本発明に係る音声認識装置では、音声取得手段により取得される複数の方向からの音声ストリームのそれぞれに対する音声認識結果が、音声認識処理手段により得られる。併せて、音声認識処理手段により予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、音源方向決定手段により、当該音声認識結果が得られた音声ストリームに対応する方向が音源方向として決定される。このように、上記音声認識装置によれば、音源方向を決定してから音声認識を開始するのではなく、継続的に音声認識を実行しつつ音源方向を決定することができる。即ち、音源方向の推定に伴う遅延を伴わずに、任意の方向からの音声に対する音声認識を実行することが可能となる。また、音源方向が決定された後は、例えば決定された音源方向からの音声ストリームに対してより高精度な音声認識を実行させるといったことが可能となるため、音声認識の精度を高めることが可能となる。従って、上記音声認識装置によれば、音源方向の推定に伴う遅延を伴わずに、任意の方向からの音声を精度良く音声認識することができる。 In the voice recognition apparatus according to the present invention, the voice recognition processing means obtains the voice recognition results for each of the voice streams from a plurality of directions acquired by the voice acquisition means. In addition, when a speech recognition result satisfying a predetermined reliability criterion is obtained by the speech recognition processing means, the direction corresponding to the sound stream from which the speech recognition result is obtained is indicated by the sound source direction determining means. Determined as direction. As described above, according to the voice recognition device, it is possible to determine the sound source direction while continuously performing the voice recognition, instead of starting the voice recognition after determining the sound source direction. That is, it is possible to execute speech recognition for speech from an arbitrary direction without a delay associated with estimation of the sound source direction. In addition, after the sound source direction is determined, for example, it is possible to perform higher-accuracy speech recognition on an audio stream from the determined sound source direction, so that the accuracy of speech recognition can be improved. It becomes. Therefore, according to the speech recognition apparatus, it is possible to recognize speech from any direction with high accuracy without the delay associated with estimation of the sound source direction.
上記音声認識装置は、音声取得手段により取得された音声ストリームのうち音源方向決定手段により決定された音源方向からの音声ストリームに対して、音声認識処理手段による音声認識よりも精度の高い音声認識を実行する第2音声認識処理手段を更に備えてもよい。 The voice recognition apparatus performs voice recognition with higher accuracy than the voice recognition by the voice recognition processing unit on the voice stream from the sound source direction determined by the sound source direction determination unit among the voice streams acquired by the voice acquisition unit. You may further provide the 2nd audio | voice recognition process means to perform.
上記音声認識装置によれば、音源方向決定手段により音源方向が決定された場合に、第2音声認識処理手段により、当該音源方向からの音声ストリームに対してより高精度な音声認識を実行することができる。 According to the speech recognition apparatus, when the sound source direction is determined by the sound source direction determination unit, the second speech recognition processing unit performs more accurate speech recognition on the audio stream from the sound source direction. Can do.
上記音声認識装置では、音声取得手段は、予め定められた複数の方向に指向性ビームを設定することにより、各指向性ビームのビーム方向に対応する音声ストリームを取得してもよい。 In the voice recognition apparatus, the voice acquisition unit may acquire a voice stream corresponding to the beam direction of each directional beam by setting the directional beam in a plurality of predetermined directions.
上記音声認識装置によれば、予め定められた複数の方向(固定された方向)のそれぞれからの音声ストリームを精度良く取得することができる。 According to the voice recognition apparatus, it is possible to accurately acquire voice streams from each of a plurality of predetermined directions (fixed directions).
上記音声認識装置では、音声取得手段は、所定の方法により推定された音源方向の候補となる複数の方向に指向性ビームを設定することにより、各指向性ビームのビーム方向に対応する音声ストリームを取得してもよい。 In the voice recognition apparatus, the voice acquisition unit sets a directional beam in a plurality of directions that are candidates for the sound source direction estimated by a predetermined method, thereby generating a voice stream corresponding to the beam direction of each directional beam. You may get it.
上記音声認識装置によれば、例えばMUSIC法等により推定された音源方向の候補となる複数の方向に指向性ビームを設定することで、音源方向である可能性が高い方向からの音声ストリームを優先的に取得でき、音声認識の精度向上を図ることができる。 According to the speech recognition apparatus, for example, by setting directional beams in a plurality of directions that are candidates for the sound source direction estimated by the MUSIC method or the like, a sound stream from a direction that is highly likely to be a sound source direction is given priority. And the accuracy of speech recognition can be improved.
上記音声認識装置では、音声認識処理手段は、予め定められた単語が音声認識結果に含まれている場合に、当該音声認識結果は予め定められた信頼度の基準を満たすと判定してもよい。 In the speech recognition apparatus, the speech recognition processing means may determine that the speech recognition result satisfies a predetermined reliability criterion when a predetermined word is included in the speech recognition result. .
上記音声認識装置によれば、予め定められた単語が音声認識されたか否かに基づいて音声認識結果の信頼度の判定を簡易且つ精度良く実行することができる。 According to the voice recognition device, it is possible to easily and accurately determine the reliability of the voice recognition result based on whether or not a predetermined word is voice-recognized.
上記音声認識装置では、音声認識処理手段は、発話区間を検出するための発話区間検出処理を実行し、当該発話区間検出処理により検出された発話区間に対して音声認識を実行してもよい。 In the above speech recognition apparatus, the speech recognition processing means may execute an utterance section detection process for detecting an utterance section, and perform speech recognition on the utterance section detected by the utterance section detection process.
上記音声認識装置によれば、発話区間検出処理により検出された発話区間についてのみ音声認識を実行することが可能となる。これにより、音声ストリームのうち発話区間以外の区間に対する無駄な音声認識処理の実行を防止でき、消費電力を低減することができる。 According to the voice recognition device, it is possible to perform voice recognition only for the speech section detected by the speech section detection process. As a result, it is possible to prevent unnecessary speech recognition processing from being performed on sections other than the speech section in the voice stream, and to reduce power consumption.
本発明によれば、音源方向の推定に伴う遅延を伴わずに、任意の方向からの音声を精度良く認識することができる。 According to the present invention, it is possible to accurately recognize a voice from an arbitrary direction without a delay accompanying estimation of a sound source direction.
以下、図面を参照しながら、本発明の実施形態に係る音声認識装置、音声認識方法、及び音声認識プログラムについて説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。図1は、本実施形態に係る音声認識装置1の機能構成を示すブロック図である。図1に示すように、音声認識装置1は、音声入力部11と、指向性制御部12と、第1音声認識処理部13と、音源方向決定部14と、第2音声認識処理部15と、音声認識結果出力部16と、を備えている。
Hereinafter, a voice recognition device, a voice recognition method, and a voice recognition program according to embodiments of the present invention will be described with reference to the drawings. Where possible, the same parts are denoted by the same reference numerals, and redundant description is omitted. FIG. 1 is a block diagram showing a functional configuration of the speech recognition apparatus 1 according to the present embodiment. As shown in FIG. 1, the speech recognition apparatus 1 includes a
音声認識装置1は、ユーザの発話音声を音声認識し、音声認識結果に応じた処理を実行する装置として構成される。例えば、音声認識装置1は、家庭内のリビングに設置され、ユーザの発話音声を音声認識し、音声認識結果に応じた処理の実行を家電機器等に無線電波等により指示する装置として構成されてもよいし、音声認識結果に応じた処理を実行する機器自体に組み込まれてもよい。また、音声認識装置1は、ユーザからの問いかけに対する応答結果をテキスト及び音声等により当該ユーザに提示する音声対話装置(例えばロボット等)として構成されてもよい。 The speech recognition device 1 is configured as a device that recognizes a user's uttered speech and executes processing according to the speech recognition result. For example, the voice recognition device 1 is configured as a device that is installed in a living room in a home, recognizes a user's uttered voice, and instructs a home appliance or the like to execute processing according to the voice recognition result by radio waves or the like. Alternatively, it may be incorporated in the device itself that executes processing according to the voice recognition result. The voice recognition device 1 may be configured as a voice interaction device (for example, a robot or the like) that presents a response result to a question from a user to the user by text, voice, or the like.
図2は、音声認識装置1のハードウェア構成の一例を示すブロック図である。図2に示すように、音声認識装置1は、例えばハードウェア構成として、CPU(Central Processing Unit)10Aと、RAM(Random Access Memory)10Bと、ROM(Read Only Memory)10Cと、入力装置10Dと、外部装置との通信を行う無線電波モジュール等の通信装置10Eと、補助記憶装置10Fと、出力装置10Gと、を備える。入力装置10Dは、音声入力部11に相当する複数のマイクロフォンを含み、その他、例えば入力デバイスであるキーボード及びマウス等を含む。出力装置10Gは、例えば応答結果をテキストとして出力するディスプレイや、応答結果を音声として出力するスピーカー等である。音声認識装置1の各機能は、例えば、RAM10B等に後述する音声認識プログラムPを読み込ませ、CPU10Aにより当該音声認識プログラムPを実行させることにより実現される。
FIG. 2 is a block diagram illustrating an example of a hardware configuration of the speech recognition apparatus 1. As shown in FIG. 2, the speech recognition apparatus 1 includes, for example, a CPU (Central Processing Unit) 10A, a RAM (Random Access Memory) 10B, a ROM (Read Only Memory) 10C, and an
なお、音声認識装置1は、必ずしも上記のハードウェア構成を全て備えている必要はない。例えば、音声認識装置1は、応答結果をテキスト及び音声等で出力する機能を備えない場合には、出力装置10Gを備えなくともよい。また、音声認識装置1は、物理的に単一の機器として構成されてもよいし、物理的に分離された複数の機器が協調して動作するように構成されてもよい。
Note that the speech recognition apparatus 1 does not necessarily have to include all of the hardware configurations described above. For example, the speech recognition device 1 may not include the
音声入力部11は、音声認識装置1の周囲の音を集音し、複数チャネル(複数の周波数帯域)の信号として取得する音声入力手段である。音声入力部11は、例えば複数のマイクロフォンにより構成される。
The
指向性制御部12は、複数の方向からの音声ストリームのそれぞれを取得する音声取得手段である。指向性制御部12は、例えば固定ビームフォーマ等の周知の手法を用いることにより、予め設定されたビーム方向から到来した音声のみを強調し他の方向から到来した音声を抑圧する信号処理を実行する。より具体的には、指向性制御部12は、音声入力部11から得られた複数チャネルの信号に対して上述の信号処理を実行することで、複数のビーム方向のそれぞれについて、各ビーム方向から到来した音声のみが強調され、他のビーム方向から到来した音声が抑圧された音声ストリームを生成する。
The
指向性制御部12は、予め定められた複数の方向に指向性ビームを設定することにより、各指向性ビームのビーム方向に対応する音声ストリームを取得してもよい。即ち、指向性制御部12により設定される複数のビーム方向は、予め設定された固定のビーム方向であってもよい。これにより、予め定められた複数の方向(固定された方向)のそれぞれからの音声ストリームを精度良く取得することができる。特に、音声がどの方向から到来するかが予めわかっていない場合には、図3に示すように複数のビームが全方向を被覆するようビーム方向を設定すればよい。図3の例では、音声認識装置1を中心として、水平方向に45度間隔で区切った8方向にビーム方向が設定されている。このようにビーム方向が設定されることで、指向性制御部12は、例えば音声認識装置1から図3における右上に向けて設定されたビーム方向aの先にある音源Xから到来する音声が強調された音声ストリームを生成することができる。
The
また、音声認識装置1に対して入力される音声の発信源(音源方向)の候補が一定の範囲に限定される場合には、指向性制御部12は、複数のビームが当該一定の範囲のみを被覆するようにビーム方向を設定してもよい。例えば、音声認識装置1がテレビ受像機に組み込まれており、ユーザが発話によって、テレビ受像機に対して所定の操作(例えばチャンネル変更等)の実行を指示する場合について考える。この場合、ユーザの位置は、テレビ受像機の画面前方であることが想定される。即ち、音源方向の候補は、テレビ受像機の画面前方180度の範囲に限定される。従って、この場合には、指向性制御部12は、テレビ受像機の画面前方180度の範囲のみを被覆するようにビーム方向を設定すればよい。なお、設定されるビーム方向の数は、マイクロフォンの数、及び信号処理によって設定される指向性の鋭さ等に依存するが、通常マイクロフォンの数よりも多くのビーム方向を設定することができる。
In addition, when the candidates of the sound transmission source (sound source direction) input to the speech recognition apparatus 1 are limited to a certain range, the
また、指向性制御部12は、所定の方法により推定された音源方向の候補となる複数の方向に指向性ビームを設定することにより、各指向性ビームのビーム方向に対応する音声ストリームを取得してもよい。即ち、指向性制御部12は、例えば音声入力部11に入力される音響信号を用いたMUSIC法等によって推定された音源方向の複数の候補を、複数のビーム方向として設定してもよい。或いは、指向性制御部12は、MUSIC法等による音源方向推定に加えてカルマンフィルタやパーティクルフィルタ等の手法による音源方向トラッキングにより推定された音源方向の複数の候補を、複数のビーム方向として設定してもよい。このようにして複数のビーム方向が設定される場合には、上述した固定ビームフォーマを用いる場合と異なり、複数のビーム方向は、音響信号に依存して設定及び変更されるため、可変となる。このように、MUSIC法等により推定された音源方向の候補となる複数の方向に指向性ビームを設定することで、音源方向である可能性が高い方向からの音声ストリームを優先的に取得でき、音声認識の精度向上を図ることができる。
Further, the
第1音声認識処理部13は、指向性制御部12により取得された複数の方向からの音声ストリームのそれぞれに対して音声認識を実行する音声認識処理手段である。以下、指向性制御部12により取得された複数の方向からの音声ストリームのそれぞれを、指向性音声ストリームともいう。複数の指向性音声ストリームは、上述した音声入力部11及び指向性制御部12の処理により連続的に取得され、第1音声認識処理部13に入力される。このため、第1音声認識処理部13は、複数の指向性音声ストリームのそれぞれについて、音声認識を連続的に実行することになる。
The first voice
指向性音声ストリームには、人の声でなく雑音のみが含まれている場合もある。また、指向性音声ストリームには、ほぼ無音である区間しか含まれていない場合もある。そこで、第1音声認識処理部13は、指向性音声ストリームに含まれている雑音を人の声であると誤認して誤った音声認識結果を得ることを防ぐために、各指向性音声ストリームに対して音声認識を実行する前に周知の雑音除去処理を実行してもよい。また、第1音声認識処理部13は、音声認識を実行すべき発話区間(人の声が含まれている区間)を検出するために、指向性音声ストリームに対して周知の発話区間検出処理を実行し、当該発話区間検出処理により検出された発話区間に対して音声認識を実行してもよい。これにより、指向性音声ストリームのうち発話区間以外の区間に対する無駄な音声認識処理の実行を防止でき、消費電力を低減することができる。
In some cases, the directional audio stream contains only noise, not human voice. In addition, the directional audio stream may include only a section that is almost silent. Therefore, in order to prevent the first speech
第1音声認識処理部13は、各指向性音声ストリーム(或いは、上述の雑音除去処理や発話区間検出処理等を実行した後の各指向性音声ストリーム)に対して音声認識を実行することにより得られた音声認識結果について、予め定められた信頼度の基準を満たすか否かを判定する。このような判定に用いる信頼度としては、例えば、統計的音声認識の分野において周知の指標である出力仮説の尤度に基づく信頼度を用いることができる。
The first speech
音声認識装置1にユーザの発話音声を音声認識させて所定の処理を実行させるために最初に発話(音声入力)すべき一以上のコマンド単語が予め定められている場合には、第1音声認識処理部13は、予め定められたコマンド単語が音声認識結果に含まれている場合に、当該音声認識結果は予め定められた信頼度の基準を満たすと判定してもよい。なお、この場合、第1音声認識処理部13は、コマンド単語のみを音声認識対象の語彙としてもよい。これにより、第1音声認識処理部13は、指向性音声ストリームを音声認識し、何らかの音声認識結果(即ち、いずれかのコマンド単語を認識したことを示す結果)が得られた場合に、当該音声認識結果が予め定められた信頼度の基準を満たすと判定することができる。即ち、音声認識結果の信頼度の判定を、コマンド単語が音声認識されたか否かに基づいて簡易且つ精度良く実行することができる。
When one or more command words to be uttered (speech input) first to make the speech recognition apparatus 1 recognize speech of the user's speech and execute predetermined processing are determined in advance, the first speech recognition When the predetermined command word is included in the voice recognition result, the
第1音声認識処理部13は、ある指向性音声ストリームから、予め定められた信頼度の基準を満たす音声認識結果を得た場合、当該指向性音声ストリームの到来方向(即ち、当該指向性音声ストリームに対応するビーム方向)から人の発話音声が到来していると推定し、そのビーム方向を音源方向決定部14に通知する。また、第1音声認識処理部13は、各指向性ストリームに対する音声認識により得られた音声認識結果を音声認識結果出力部16に出力する。
When the first speech
音源方向決定部14は、第1音声認識処理部13により予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、当該音声認識結果が得られた音声ストリームに対応する方向を音源方向として決定する音源方向決定手段である。
The sound source
音源方向決定部14は、例えば、上述したように第1音声認識処理部13から人の発話音声の到来方向であると推定されたビーム方向を通知された場合、当該ビーム方向を音源方向として決定する。そして、音源方向決定部14は、当該ビーム方向に対応する指向性音声ストリームを指向性制御部12から取得し、当該指向性音声ストリームを第2音声認識処理部15に出力する。或いは、音源方向決定部14は、音声入力部11から得られた複数チャネルの信号を取得し、当該信号に対して独自の信号処理を実行することで、第1音声認識処理部13から通知されたビーム方向に対応する指向性音声ストリームを取得してもよい。
For example, when the first sound
音源方向決定部14は、過去に第1音声認識処理部13から何らのビーム方向も通知されていない初期状態においては、第2音声認識処理部15に対して、予め設定された初期ビーム方向に対応する指向性音声ストリームを出力してもよいし、何らの指向性音声ストリームも出力しなくともよい。
In the initial state in which no beam direction has been notified from the first speech
また、音源方向決定部14は、過去に第1音声認識処理部13からビーム方向を通知されてから、その後ビーム方向の通知を受けずに予め設定された一定時間を経過した場合には、初期状態に復帰してもよい。また、音源方向決定部14は、過去に第1音声認識処理部13から一のビーム方向を通知され、更にその後の時点において第1音声認識処理部13から他のビーム方向を通知された場合は、後に通知された他のビーム方向を最新の音源方向として決定し、当該音源方向に対応する指向性音声ストリームを第2音声認識処理部15に出力してもよい。
The sound source
第2音声認識処理部15は、指向性制御部12により取得された音声ストリームのうち音源方向決定部14により決定された音源方向からの音声ストリームに対して音声認識を実行する第2音声認識処理手段である。第2音声認識処理部15による音声認識処理は、第1音声認識処理部13による音声認識よりも多くの語彙を音声認識対象とし、精度の高い音声認識を実行する。これにより、音源方向決定部14により音源方向が決定された場合に、第2音声認識処理部15により、当該音源方向からの音声ストリームに対してより高精度な音声認識を実行することが可能となる。例えば、第1音声認識処理部13による音声認識を、音声認識装置1内で認識処理を実行するローカル型音声認識とし、第2音声認識処理部15による音声認識を、外部のサーバを利用したサーバ型音声認識としてもよい。なお、第2音声認識処理部15による音声認識処理は、第1音声認識処理部13による音声認識処理と同一であってもよい。
The second voice
第2音声認識処理部15は、上述のサーバ型音声認識を実行する場合には、音源方向決定部14から取得した指向性音声ストリームを、音声認識を実行する機能を有するサーバ(不図示)に送信し、当該サーバに音声認識を実行させ、その音声認識結果(例えばテキスト等。以下同じ。)を当該サーバから受信することで、音声認識を実行してもよい。このように、第2音声認識処理部15は、高性能な音声認識エンジンを備えるサーバ等に音声認識を実行させることで、音源方向決定部14により決定された音源方向からの音声ストリームに対してより高精度な音声認識を実行することができる。なお、第2音声認識処理部15と上記サーバとの間のデータの送受信は、例えば、上述した通信装置10Eの通信機能を用いることで、インターネット及びLAN(Local Area Network)等を介して行われる。
When executing the above-described server-type speech recognition, the second speech
第2音声認識処理部15は、上述のようにして音源方向決定部14から取得した指向性音声ストリームに対して音声認識を実行し、その結果として得られた音声認識結果を音声認識結果出力部16に出力する。
The second speech
音声認識結果出力部16は、第1音声認識処理部13及び第2音声認識処理部15の少なくとも一方から取得された音声認識結果を出力する音声認識結果出力手段である。音声認識結果出力部16は、第1音声認識処理部13及び第2音声認識処理部15の一方から取得した音声認識結果のみを出力してもよいし、第1音声認識処理部13及び第2音声認識処理部15の両方から取得した音声認識結果を結合したテキストを出力してもよい。音声認識結果の出力の具体的な方法としては、音声認識結果出力部16は、例えば、音声認識結果(テキスト)をディスプレイ等の出力装置10Gに出力することでユーザに提示してもよいし、音声認識結果に対応する音声を周知の手法により音声合成し、得られた音声をスピーカー等の出力装置10Gに出力してもよい。
The speech recognition
また、音声認識結果出力部16は、音声認識結果をテキストや音声等により出力する以外に、音声認識結果に基づく何らかの応答結果を示す情報をユーザに提示してもよい。例えば、音声認識装置1がユーザからの発話内容に基づく情報検索を実行する装置として構成されている場合には、音声認識結果出力部16は、検索結果をテキストや音声等でユーザに提示してもよい。同様に、音声認識装置1がユーザからの発話内容に基づいて所定の機器操作(例えばリモートコントローラを通じて電灯を消灯する操作等)を実行する装置として構成されている場合には、音声認識結果出力部16は、当該機器操作の結果(例えば電灯を消灯したことを示す情報)をテキストや音声等でユーザに提示してもよい。また、音声認識装置1が雑談等のユーザの問いかけに対して回答することでユーザとの対話を実現する装置として構成されている場合には、音声認識結果出力部16は、ユーザの問いかけに対する回答メッセージをテキストや音声等でユーザに提示してもよい。
Further, the voice recognition
続いて、図4に示すフローチャートを参照して、音声認識装置1により実行される処理(音声認識方法)の一例について説明する。まず、複数のマイクロフォン等により構成される音声入力部11に外部からの音声が継続的に入力される。そして、指向性制御部12により、音声入力部11から得られた複数チャネルの信号に対して信号処理が実行され、複数の方向からの音声ストリームのそれぞれ(即ち、複数のビーム方向のそれぞれに対応する指向性音声ストリーム)が取得される(ステップS1、音声取得ステップ)。
Next, an example of processing (voice recognition method) executed by the voice recognition device 1 will be described with reference to the flowchart shown in FIG. First, external audio is continuously input to the
続いて、第1音声認識処理部13により、各指向性音声ストリームに対して音声認識が実行される(ステップS2、音声認識処理ステップ)。そして、第1音声認識処理部13により、各指向性音声ストリームに対する音声認識結果が予め定められた信頼度の基準を満たすか否かが判定される(ステップS3)。
Subsequently, voice recognition is performed on each directional voice stream by the first voice recognition processing unit 13 (step S2, voice recognition processing step). Then, the first speech
ステップS3において、予め定められた信頼度の基準を満たす音声認識結果が得られたと判定された場合(ステップS3:YES)には、第1音声認識処理部13により、当該音声認識結果が得られた指向性音声ストリームに対応するビーム方向が音源方向決定部14に通知される。そして、音源方向決定部14により、当該音声認識結果が得られた音声ストリームに対応する方向が音源方向として決定され(ステップS4、音源方向決定ステップ)、当該音源方向に対応する指向性音声ストリームが第2音声認識処理部15に出力される。
If it is determined in step S3 that a speech recognition result satisfying a predetermined reliability criterion has been obtained (step S3: YES), the first speech
一方、ステップS3において、予め定められた信頼度の基準を満たす音声認識結果が得られたと判定されなかった場合(ステップS3:NO)には、第1音声認識処理部13から音源方向決定部14に対してビーム方向(音源方向と推定されるビーム方向)の通知はされず、音源方向決定部14により、予め設定された初期ビーム方向(或いは過去一定期間内に第1音声認識処理部13から通知されたビーム方向)に対応する指向性音声ストリームが第2音声認識処理部15に出力される。
On the other hand, if it is not determined in step S3 that a speech recognition result satisfying a predetermined reliability criterion has been obtained (step S3: NO), the first speech
続いて、第2音声認識処理部15により、設定されている音源方向からの音声ストリームに対して音声認識が実行される(ステップS5、第2音声認識処理ステップ)。ここで、「設定されている音源方向」とは、ステップS3で予め定められた信頼度の基準を満たす音声認識結果が得られたと判定された場合(ステップS3:YES)には、ステップS4で音源方向決定部14により決定された音源方向であり、ステップS3で予め定められた信頼度の基準を満たす音声認識結果が得られたと判定されなかった場合(ステップS3:NO)には、予め設定された初期ビーム方向(或いは過去一定期間内に第1音声認識処理部13から通知されたビーム方向)である。
Subsequently, voice recognition is performed on the voice stream from the set sound source direction by the second voice recognition processing unit 15 (step S5, second voice recognition processing step). Here, the “set sound source direction” means that if it is determined that a speech recognition result satisfying the reliability criterion determined in advance in step S3 is obtained (step S3: YES), in step S4. If the sound source direction determined by the sound source
続いて、音声認識結果出力部16により、第1音声認識処理部13による各指向性音声ストリームに対する音声認識結果、及び第2音声認識処理部15による音声認識結果の少なくとも一つが出力される(ステップS6)。ここで、音声認識結果は、音声認識結果がそのままテキストや音声等でユーザに提示される形で出力されてもよいし、音声認識結果に基づく何らかの応答結果を示す情報(例えば、検索結果、機器操作の結果、ユーザの問いかけに対する回答メッセージ等)がテキストや音声等でユーザに提示される形で出力されてもよい。
Subsequently, the speech recognition
以上述べた音声認識装置1では、指向性制御部12により取得される複数の方向からの音声ストリームのそれぞれに対する音声認識結果が、第1音声認識処理部13により得られる。併せて、第1音声認識処理部13により予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、音源方向決定部14により、当該音声認識結果が得られた音声ストリームに対応する方向が音源方向として決定される。このように、上記音声認識装置1によれば、音源方向を決定してから音声認識を開始するのではなく、継続的に音声認識を実行しつつ音源方向を決定することができる。即ち、音源方向の推定に伴う遅延を伴わずに、任意の方向からの音声に対する音声認識を実行することが可能となる。
In the voice recognition device 1 described above, the first voice
より具体的に説明すると、音源方向が決定されているか否かに関わらず、第1音声認識処理部13による音声認識が継続的に実行される。このため、ユーザが音声認識装置1に対して何らかの処理(例えば上述した機器操作等)を実行させるための発話を行った場合、少なくとも第1音声認識処理部13による音声認識が即時に実行される。従って、音声認識装置1は、当該音声認識に成功した場合に、音源方向の推定に伴う遅延を伴わずに、音声認識結果に基づく何らかの処理を適切に実行することが可能となる。
More specifically, voice recognition by the first voice
更に、音源方向が決定された後は、第2音声認識処理部15が、決定された音源方向からの音声ストリームに対してより高精度な音声認識を実行することにより、音声認識の精度を高めることが可能となる。従って、上記音声認識装置1によれば、音源方向の推定に伴う遅延を伴わずに、任意の方向からの音声を精度良く音声認識することができる。
Furthermore, after the sound source direction is determined, the second speech
続いて、上述した一連の音声認識装置1による処理をコンピュータに実行させるための音声認識プログラムについて説明する。音声認識プログラムP1は、コンピュータに挿入されてアクセスされる、或いはコンピュータが備える記録媒体に形成されたプログラム格納領域内に格納される。 Next, a voice recognition program for causing a computer to execute the above-described series of processing by the voice recognition device 1 will be described. The speech recognition program P1 is inserted into a computer and accessed, or stored in a program storage area formed on a recording medium included in the computer.
図5に示すように、音声認識プログラムP1は、音声入力モジュールP11、指向性制御モジュールP12、第1音声認識処理モジュールP13、音源方向決定モジュールP14、第2音声認識処理モジュールP15、及び音声認識結果出力モジュールP16を備えて構成される。音声入力モジュールP11、指向性制御モジュールP12、第1音声認識処理モジュールP13、音源方向決定モジュールP14、第2音声認識処理モジュールP15、及び音声認識結果出力モジュールP16を実行させることにより実現される機能は、上述した音声認識装置1の音声入力部11、指向性制御部12、第1音声認識処理部13、音源方向決定部14、第2音声認識処理部15、及び音声認識結果出力部16とそれぞれ同様である。
As shown in FIG. 5, the speech recognition program P1 includes a speech input module P11, a directivity control module P12, a first speech recognition processing module P13, a sound source direction determination module P14, a second speech recognition processing module P15, and speech recognition results. An output module P16 is provided. Functions realized by executing the voice input module P11, the directivity control module P12, the first voice recognition processing module P13, the sound source direction determination module P14, the second voice recognition processing module P15, and the voice recognition result output module P16. The
なお、音声認識プログラムP1は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録(インストールを含む)される構成としてもよい。また、音声認識プログラムP1の各モジュールは、1つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムによって上述した一連の音声認識装置1の処理が行われる。 Note that a part or all of the voice recognition program P1 may be transmitted via a transmission medium such as a communication line and received and recorded (including installation) by another device. Further, each module of the speech recognition program P1 may be installed in any one of a plurality of computers instead of one computer. In that case, the above-described series of processing of the speech recognition apparatus 1 is performed by the computer system of the plurality of computers.
以上、本発明の好適な実施形態及び変形例について説明したが、本発明は、上記実施形態に限られず、その要旨を逸脱しない範囲において様々な変形が可能である。 As mentioned above, although preferred embodiment and the modification of this invention were demonstrated, this invention is not restricted to the said embodiment, A various deformation | transformation is possible in the range which does not deviate from the summary.
1…音声認識装置、11…音声入力部、12…指向性制御部、13…第1音声認識処理部、14…音源方向決定部、15…第2音声認識処理部、16…音声認識結果出力部、P1…音声認識プログラム、P11…音声入力モジュール、P12…指向性制御モジュール、P13…第1音声認識処理モジュール、P14…音源方向決定モジュール、P15…第2音声認識処理モジュール、P16…音声認識結果出力モジュール。 DESCRIPTION OF SYMBOLS 1 ... Voice recognition apparatus, 11 ... Voice input part, 12 ... Directivity control part, 13 ... 1st voice recognition processing part, 14 ... Sound source direction determination part, 15 ... 2nd voice recognition processing part, 16 ... Voice recognition result output P1 ... voice recognition program, P11 ... voice input module, P12 ... directivity control module, P13 ... first voice recognition processing module, P14 ... sound source direction determination module, P15 ... second voice recognition processing module, P16 ... voice recognition Result output module.
Claims (8)
前記音声取得手段により取得された複数の方向からの音声ストリームのそれぞれに対して音声認識を実行する音声認識処理手段と、
前記音声認識処理手段により、予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、当該音声認識結果が得られた音声ストリームに対応する方向を音源方向として決定する音源方向決定手段と、
を備える音声認識装置。 Audio acquisition means for acquiring each of audio streams from a plurality of directions;
Speech recognition processing means for performing speech recognition on each of the audio streams from a plurality of directions acquired by the sound acquisition means;
When the voice recognition processing unit obtains a voice recognition result that satisfies a predetermined reliability criterion, sound source direction determination is performed to determine the direction corresponding to the voice stream from which the voice recognition result is obtained as the sound source direction. Means,
A speech recognition apparatus comprising:
請求項1記載の音声認識装置。 A voice recognition with higher accuracy than the voice recognition by the voice recognition processing means is performed on the voice stream from the sound source direction determined by the sound source direction determination means among the voice streams acquired by the voice acquisition means. 2 further comprises voice recognition processing means,
The speech recognition apparatus according to claim 1.
請求項1又は2記載の音声認識装置。 The sound acquisition means acquires a sound stream corresponding to the beam direction of each directional beam by setting directional beams in a plurality of predetermined directions.
The speech recognition apparatus according to claim 1 or 2.
請求項1又は2記載の音声認識装置。 The sound acquisition unit acquires a sound stream corresponding to the beam direction of each directional beam by setting directional beams in a plurality of directions that are candidates for a sound source direction estimated by a predetermined method.
The speech recognition apparatus according to claim 1 or 2.
請求項1〜4のいずれか一項記載の音声認識装置。 The speech recognition processing means determines that the speech recognition result satisfies a predetermined reliability criterion when a predetermined word is included in the speech recognition result.
The speech recognition device according to any one of claims 1 to 4.
請求項1〜5のいずれか一項記載の音声認識装置。 The speech recognition processing means executes speech segment detection processing for detecting a speech segment, and performs speech recognition on the speech segment detected by the speech segment detection process.
The speech recognition device according to any one of claims 1 to 5.
複数の方向からの音声ストリームのそれぞれを取得する音声取得ステップと、
前記音声取得ステップにおいて取得された複数の方向からの音声ストリームのそれぞれに対して音声認識を実行する音声認識処理ステップと、
前記音声認識処理ステップにおいて、予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、当該音声認識結果が得られた音声ストリームに対応する方向を音源方向として決定する音源方向決定ステップと、
を含む音声認識方法。 A speech recognition method executed by a speech recognition device,
An audio acquisition step for acquiring each of audio streams from a plurality of directions;
A speech recognition processing step of executing speech recognition for each of the sound streams from the plurality of directions acquired in the sound acquisition step;
In the speech recognition processing step, when a speech recognition result satisfying a predetermined reliability criterion is obtained, sound source direction determination is performed to determine a direction corresponding to the sound stream from which the speech recognition result is obtained as a sound source direction. Steps,
A speech recognition method including:
複数の方向からの音声ストリームのそれぞれを取得する音声取得手段と、
前記音声取得手段により取得された複数の方向からの音声ストリームのそれぞれに対して音声認識を実行する音声認識処理手段と、
前記音声認識処理手段により、予め定められた信頼度の基準を満たす音声認識結果が得られた場合に、当該音声認識結果が得られた音声ストリームに対応する方向を音源方向として決定する音源方向決定手段、
として実行させる音声認識プログラム。 Computer
Audio acquisition means for acquiring each of audio streams from a plurality of directions;
Speech recognition processing means for performing speech recognition on each of the audio streams from a plurality of directions acquired by the sound acquisition means;
When the voice recognition processing unit obtains a voice recognition result that satisfies a predetermined reliability criterion, sound source direction determination is performed to determine the direction corresponding to the voice stream from which the voice recognition result is obtained as the sound source direction. means,
Voice recognition program to be executed as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014208834A JP6450139B2 (en) | 2014-10-10 | 2014-10-10 | Speech recognition apparatus, speech recognition method, and speech recognition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014208834A JP6450139B2 (en) | 2014-10-10 | 2014-10-10 | Speech recognition apparatus, speech recognition method, and speech recognition program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016080750A true JP2016080750A (en) | 2016-05-16 |
JP6450139B2 JP6450139B2 (en) | 2019-01-09 |
Family
ID=55958464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014208834A Active JP6450139B2 (en) | 2014-10-10 | 2014-10-10 | Speech recognition apparatus, speech recognition method, and speech recognition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6450139B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859749A (en) * | 2017-11-30 | 2019-06-07 | 阿里巴巴集团控股有限公司 | A kind of voice signal recognition methods and device |
CN110246501A (en) * | 2019-07-02 | 2019-09-17 | 苏州思必驰信息科技有限公司 | Audio recognition method and system for minutes |
WO2020079733A1 (en) * | 2018-10-15 | 2020-04-23 | 三菱電機株式会社 | Speech recognition device, speech recognition system, and speech recognition method |
WO2020138943A1 (en) * | 2018-12-27 | 2020-07-02 | 한화테크윈 주식회사 | Voice recognition apparatus and method |
JP2021015084A (en) * | 2019-07-16 | 2021-02-12 | Kddi株式会社 | Sound source localization device and sound source localization method |
JP2021505933A (en) * | 2017-12-06 | 2021-02-18 | シナプティクス インコーポレイテッド | Voice enhancement of audio signals with modified generalized eigenvalue beamformer |
JP2021076874A (en) * | 2021-02-17 | 2021-05-20 | 日本電信電話株式会社 | Speaker direction enhancement device, speaker direction enhancement method, and program |
JP2021515281A (en) * | 2018-06-28 | 2021-06-17 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | Speech recognition methods, devices, computer devices, electronic devices and computer programs |
US11094323B2 (en) | 2016-10-14 | 2021-08-17 | Samsung Electronics Co., Ltd. | Electronic device and method for processing audio signal by electronic device |
WO2022239650A1 (en) * | 2021-05-11 | 2022-11-17 | ピクシーダストテクノロジーズ株式会社 | Information processing device, information processing method, and program |
US11694710B2 (en) | 2018-12-06 | 2023-07-04 | Synaptics Incorporated | Multi-stream target-speech detection and channel fusion |
US11763838B2 (en) | 2018-12-27 | 2023-09-19 | Hanwha Techwin Co., Ltd. | Device and method to recognize voice |
US11823707B2 (en) | 2022-01-10 | 2023-11-21 | Synaptics Incorporated | Sensitivity mode for an audio spotting system |
US11937054B2 (en) | 2020-01-10 | 2024-03-19 | Synaptics Incorporated | Multiple-source tracking and voice activity detections for planar microphone arrays |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57205800A (en) * | 1981-06-15 | 1982-12-16 | Fujitsu Ltd | Voice recognition circuit |
JP2000101598A (en) * | 1998-09-25 | 2000-04-07 | Matsushita Electric Works Ltd | Voice communication system |
GB2412997A (en) * | 2004-04-07 | 2005-10-12 | Mitel Networks Corp | Method and apparatus for hands-free speech recognition using a microphone array |
JP2009020423A (en) * | 2007-07-13 | 2009-01-29 | Fujitsu Ten Ltd | Speech recognition device and speech recognition method |
JP2011107603A (en) * | 2009-11-20 | 2011-06-02 | Sony Corp | Speech recognition device, speech recognition method and program |
JP2011232619A (en) * | 2010-04-28 | 2011-11-17 | Ntt Docomo Inc | Voice recognition device and voice recognition method |
-
2014
- 2014-10-10 JP JP2014208834A patent/JP6450139B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57205800A (en) * | 1981-06-15 | 1982-12-16 | Fujitsu Ltd | Voice recognition circuit |
JP2000101598A (en) * | 1998-09-25 | 2000-04-07 | Matsushita Electric Works Ltd | Voice communication system |
GB2412997A (en) * | 2004-04-07 | 2005-10-12 | Mitel Networks Corp | Method and apparatus for hands-free speech recognition using a microphone array |
JP2009020423A (en) * | 2007-07-13 | 2009-01-29 | Fujitsu Ten Ltd | Speech recognition device and speech recognition method |
JP2011107603A (en) * | 2009-11-20 | 2011-06-02 | Sony Corp | Speech recognition device, speech recognition method and program |
JP2011232619A (en) * | 2010-04-28 | 2011-11-17 | Ntt Docomo Inc | Voice recognition device and voice recognition method |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11094323B2 (en) | 2016-10-14 | 2021-08-17 | Samsung Electronics Co., Ltd. | Electronic device and method for processing audio signal by electronic device |
CN109859749A (en) * | 2017-11-30 | 2019-06-07 | 阿里巴巴集团控股有限公司 | A kind of voice signal recognition methods and device |
JP2021505933A (en) * | 2017-12-06 | 2021-02-18 | シナプティクス インコーポレイテッド | Voice enhancement of audio signals with modified generalized eigenvalue beamformer |
JP7324753B2 (en) | 2017-12-06 | 2023-08-10 | シナプティクス インコーポレイテッド | Voice Enhancement of Speech Signals Using a Modified Generalized Eigenvalue Beamformer |
JP7109852B2 (en) | 2018-06-28 | 2022-08-01 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | Speech recognition method, apparatus, computer device, electronic equipment and computer program |
US11217229B2 (en) | 2018-06-28 | 2022-01-04 | Tencent Technology (Shenzhen) Company Ltd | Method and apparatus for speech recognition, and electronic device |
JP2021515281A (en) * | 2018-06-28 | 2021-06-17 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | Speech recognition methods, devices, computer devices, electronic devices and computer programs |
JPWO2020079733A1 (en) * | 2018-10-15 | 2021-02-15 | 三菱電機株式会社 | Speech recognition device, speech recognition system, and speech recognition method |
WO2020079733A1 (en) * | 2018-10-15 | 2020-04-23 | 三菱電機株式会社 | Speech recognition device, speech recognition system, and speech recognition method |
US11694710B2 (en) | 2018-12-06 | 2023-07-04 | Synaptics Incorporated | Multi-stream target-speech detection and channel fusion |
WO2020138943A1 (en) * | 2018-12-27 | 2020-07-02 | 한화테크윈 주식회사 | Voice recognition apparatus and method |
US11763838B2 (en) | 2018-12-27 | 2023-09-19 | Hanwha Techwin Co., Ltd. | Device and method to recognize voice |
CN110246501A (en) * | 2019-07-02 | 2019-09-17 | 苏州思必驰信息科技有限公司 | Audio recognition method and system for minutes |
JP7010900B2 (en) | 2019-07-16 | 2022-01-26 | Kddi株式会社 | Sound source localization device and sound source localization method |
JP2021015084A (en) * | 2019-07-16 | 2021-02-12 | Kddi株式会社 | Sound source localization device and sound source localization method |
US11937054B2 (en) | 2020-01-10 | 2024-03-19 | Synaptics Incorporated | Multiple-source tracking and voice activity detections for planar microphone arrays |
JP2021076874A (en) * | 2021-02-17 | 2021-05-20 | 日本電信電話株式会社 | Speaker direction enhancement device, speaker direction enhancement method, and program |
WO2022239650A1 (en) * | 2021-05-11 | 2022-11-17 | ピクシーダストテクノロジーズ株式会社 | Information processing device, information processing method, and program |
US11823707B2 (en) | 2022-01-10 | 2023-11-21 | Synaptics Incorporated | Sensitivity mode for an audio spotting system |
Also Published As
Publication number | Publication date |
---|---|
JP6450139B2 (en) | 2019-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6450139B2 (en) | Speech recognition apparatus, speech recognition method, and speech recognition program | |
US11138977B1 (en) | Determining device groups | |
JP7434137B2 (en) | Speech recognition method, device, equipment and computer readable storage medium | |
US10643606B2 (en) | Pre-wakeword speech processing | |
CN110268470B (en) | Audio device filter modification | |
CN110556103B (en) | Audio signal processing method, device, system, equipment and storage medium | |
US11694710B2 (en) | Multi-stream target-speech detection and channel fusion | |
EP3347894B1 (en) | Arbitration between voice-enabled devices | |
CN108351872B (en) | Method and system for responding to user speech | |
US10149049B2 (en) | Processing speech from distributed microphones | |
US10482904B1 (en) | Context driven device arbitration | |
US9076450B1 (en) | Directed audio for speech recognition | |
EP3014607B1 (en) | Detecting self-generated wake expressions | |
US9940949B1 (en) | Dynamic adjustment of expression detection criteria | |
WO2020103703A1 (en) | Audio data processing method and apparatus, device and storage medium | |
US8981994B2 (en) | Processing signals | |
TWI711035B (en) | Method, device, audio interaction system, and storage medium for azimuth estimation | |
JP2019518985A (en) | Processing audio from distributed microphones | |
JP6844608B2 (en) | Voice processing device and voice processing method | |
JP2020115206A (en) | System and method | |
US11631411B2 (en) | System and method for multi-microphone automated clinical documentation | |
JP2020024310A (en) | Speech processing system and speech processing method | |
JP6361360B2 (en) | Reverberation judgment device and program | |
US20180096697A1 (en) | Noise reduction device and method for reducing noise | |
JP2019537071A (en) | Processing sound from distributed microphones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170818 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6450139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |