JP6127143B2 - Method and apparatus for voice activity detection - Google Patents
Method and apparatus for voice activity detection Download PDFInfo
- Publication number
- JP6127143B2 JP6127143B2 JP2015529753A JP2015529753A JP6127143B2 JP 6127143 B2 JP6127143 B2 JP 6127143B2 JP 2015529753 A JP2015529753 A JP 2015529753A JP 2015529753 A JP2015529753 A JP 2015529753A JP 6127143 B2 JP6127143 B2 JP 6127143B2
- Authority
- JP
- Japan
- Prior art keywords
- vad
- hangover
- term activity
- primary
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims description 118
- 238000000034 method Methods 0.000 title claims description 34
- 238000001514 detection method Methods 0.000 title claims description 25
- 206010019133 Hangover Diseases 0.000 claims description 146
- 230000007774 longterm Effects 0.000 claims description 64
- 238000004590 computer program Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000007792 addition Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 101150059859 VAD1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008842 detection of inactivity Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/012—Comfort noise or silence coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Telephonic Communication Services (AREA)
- Geophysics And Detection Of Objects (AREA)
- Mobile Radio Communication Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Emergency Alarm Devices (AREA)
- Telephone Function (AREA)
Description
本発明は、音声アクティビティ検出(VAD)のための方法及び装置に関する。 The present invention relates to a method and apparatus for voice activity detection (VAD).
会話音声に対して使用される音声符号化方式において、符号化の効率を向上するために間欠送信(DTX:discontinuous transmission)を使用することが一般的である。これは、一方の人が話している間は他方の人は聞いている等、会話音声にはその音声内に多くの無音区間を含むためである。そのため、DTXを用いる場合、音声符号器がアクティブなのは平均して約50%の時間だけであり、残りの時間はコンフォートノイズを使用して符号化されうる。この特徴を有するコーデックとしては例えばAMR NB (Adaptive Multi-Rate Narrow Band)、EVRC (Enhanced Variable Rate Codec)がある。AMR NBはDTXを使用し、EVRCは可変ビットレート (VBR) を使用する。ここで、RDA (Rate Determination Algorithm) は、フレーム毎に、VAD判定に基づき、使用するデータレートを決定する。DTX演算において、音声アクティブフレームはコーデックを用いて符号化されるが、アクティブ領域の間のフレームはコンフォートノイズで置き換えられる。エンコーダでコンフォートノイズ・パラメータが推定され、低減されたフレームレートで、かつ、アクティブ音声に用いられるビットレートよりも低いビットレートで、デコーダに送られる。 In a speech coding method used for conversational speech, it is common to use discontinuous transmission (DTX) in order to improve the coding efficiency. This is because the conversation voice includes many silent sections in the voice, such as one person is listening while the other person is speaking. Thus, when using DTX, the speech encoder is only active on average about 50% of the time, and the remaining time can be encoded using comfort noise. Examples of codecs having this feature include AMR NB (Adaptive Multi-Rate Narrow Band) and EVRC (Enhanced Variable Rate Codec). AMR NB uses DTX and EVRC uses variable bit rate (VBR). Here, RDA (Rate Determination Algorithm) determines a data rate to be used for each frame based on VAD determination. In DTX computation, voice active frames are encoded using a codec, but frames between active areas are replaced with comfort noise. The comfort noise parameter is estimated at the encoder and sent to the decoder at a reduced frame rate and at a bit rate lower than that used for active speech.
高品質なDTX動作のためには、すなわち、音質を劣化させないためには、入力信号における音声の区間を検出することが重要である。これは通常、音声アクティビティ検出器 (VAD) (DTX及びRDAの両方に使用される) によって行われる。図1に一般的なVAD 100の概略ブロック図を示す。VAD 100では、実施内容に依存して5〜30msのデータフレームに分割された入力信号 111を入力として受信し、出力として、典型的には1フレームにつき1つのVAD判定値を生成する。VAD判定値は、そのフレームが音声か雑音かを示すフレーム毎の判定である。
For high-quality DTX operation, that is, in order not to deteriorate the sound quality, it is important to detect a voice section in the input signal. This is usually done by a voice activity detector (VAD) (used for both DTX and RDA). FIG. 1 shows a schematic block diagram of a
この例では、プライマリ音声検出部101により、プライマリ判定値vad_prim 113が作成される。基本的に、これは現フレームの特徴と(前の入力フレームから推定される)背景音の特徴との単なる比較であり、差分がしきい値より大きい場合にプライマリ判定は音声アクティブ(active)とされる。他の例において、プライマリ判定は以下に示すような他の方法でも行われうる。プライマリ音声検出器の内部動作の詳細は、本開示においては特に重要ではなく、本願において重要なのは、プライマリ音声検出部は予備的な判定値を生成するという点である。この例において、ハングオーバ付加部102は、過去のプライマリ判定値に基づきプライマリ判定値を延長し、最終判定値vad_flag 115を形成する。ハングオーバを使用する理由は、主に、音声バーストの中間部や後端部で音声がクリッピングされてしまうリスクを低減/除去するためである。ただし、ハングオーバは音楽の楽句のクリッピングを避けるのにも利用されうる。
In this example, the primary
DTXの目的のために、追加的なハングオーバを付加することも可能である。図1において、これはオプショナルな出力vad_flag_dtx 117によって示されている。出力がDTXに使用される場合に、出力がvad_flagの1つだけで、他の設定がハングオーバの論理に使用されることは、珍しいことではない。この開示においては、記載を簡単にするため、各実施形態において、vad_flag 115及びvad_flag_dtx 117の2つの最終判定値に別れる。もっとも、他のハングオーバ設定や単一出力に基づく方法でもよい。
Additional hangovers can be added for DTX purposes. In FIG. 1, this is indicated by the
異なる最終判定値を用いる、あるいは、VAD判定値をDTXに使用するか否かに依存するハングオーバ設定を用いるのには、2つの理由がある。第1に、音質の観点からは、DTXに用いられる場合にはVADには厳しい要件が求められる。そのため、コンフォートノイズに切り替える前に音声の終端がくることを確実にすることが望まれる。第2に、背景雑音の特徴の推定に、追加的なハングオーバを用いることができるからである。例えば、AMR NBの例において、特定のDTXハングオーバの使用に基づいて、第1コンフォートノイズ推定がデコーダで行われる。 There are two reasons for using a different final decision value or using a hangover setting that depends on whether a VAD decision value is used for DTX. First, from the viewpoint of sound quality, strict requirements are required for VAD when used in DTX. Therefore, it is desirable to ensure that the end of the voice comes before switching to comfort noise. Second, additional hangover can be used to estimate background noise features. For example, in the AMR NB example, a first comfort noise estimate is made at the decoder based on the use of a particular DTX hangover.
上述したように、VAD判定に用いることのできる多くの特徴がある。使用可能な1つの特徴は、フレームエネルギだけをみて、これをしきい値と比較して、当該フレームに音声が含まれるか否かを判定するというものである。この方法は、信号対雑音比 (SNR) が高い環境であれば概ね良好に動作するが、SNRが低い場合には性能が低下する。低SNR環境では、例えば音声の特徴と雑音信号を比較する他の尺度を用いることが好ましい。リアルタイム処理を実現するには、演算量がVAD機能の追加的な要件となり、これは、標準コーデックにおいてはサブバンドSNR VADの多くの代表値に反映される。サブバンドVADは一般に、各サブバンドのSNRを結合して共通の尺度にし、プライマリ判定のためにしきい値と比較される。 As mentioned above, there are many features that can be used for VAD determination. One feature that can be used is to look at only the frame energy and compare it to a threshold to determine if the frame contains speech. This method generally works well in environments with a high signal-to-noise ratio (SNR), but performance degrades when the SNR is low. In a low SNR environment, it is preferable to use another measure that compares, for example, speech features and noise signals. In order to realize real-time processing, the amount of computation becomes an additional requirement of the VAD function, and this is reflected in many representative values of the subband SNR VAD in the standard codec. The subband VAD is typically combined into a common measure by combining the SNRs of each subband and compared to a threshold for primary determination.
VAD 100は、サブバンドエネルギの特徴を提供する特徴抽出部106と、サブバンドエネルギ推定値を提供する背景推定部105を有する。フレーム毎に、VAD100は特徴を計算する。アクティブフレームを特定するために、現フレームの特徴が、その特徴が背景信号をどのくらい「予期」しているかの推定値と比較される。
The VAD 100 includes a
ハングオーバ付加部102は、過去のプライマリ判定値に基づいて、プライマリVADからVAD判定を延長して最終VAD判定値“vad_flag"を形成するのに使用される。すなわちここでは、過去のVAD判定値が考慮される。前述したとおり、ハングオーバを使用する理由は主に、音声バーストの中間部または後端部で音声がクリッピングされるリスクを低減/除去するためである。ただし、ハングオーバは、音楽の楽句におけるクリッピングを避けるためにも使用可能である。動作制御部107は、入力信号の特徴に従って、プライマリ音声検出部のしきい値やハングオーバ付加の長さを調整することができる。
The hangover adding unit 102 is used to form a final VAD determination value “vad_flag” by extending the VAD determination from the primary VAD based on the past primary determination value. In other words, the past VAD determination value is considered here. As described above, the reason for using hangover is mainly to reduce / eliminate the risk of speech clipping at the middle or rear end of a speech burst. However, hangover can also be used to avoid clipping in musical phrases. The
特性の異なる複数の特徴量をプライマリ判定に用いる公知の技術も存在する。サブバンドSNRの原理に基づくVADに対して、有意閾値 (significance thresholds) ともよばれるサブバンドSNRの計算における非線形性の導入によって、バブル雑音やオフィス雑音といった非定常雑音下でのVADの性能を改善できることが示されている。しかし、これらの場合において、入力信号の状態に適応したハングオーバを付加して最終判定値を形成するためのプライマリ判定値は一般的には1つである。また、多くのVADは、非常に低い入力レベルにおいてプライマリ判定値が非アクティブ状態とされるような無音検出のための入力エネルギ閾値を有する。 There is also a known technique that uses a plurality of feature quantities having different characteristics for primary determination. Improve the performance of VAD under non-stationary noise such as bubble noise and office noise by introducing nonlinearity in the calculation of subband SNR, also called significance thresholds, compared to VAD based on subband SNR principle It is shown. However, in these cases, there is generally only one primary judgment value for forming a final judgment value by adding a hangover adapted to the state of the input signal. Many VADs also have an input energy threshold for silence detection where the primary decision value is deactivated at very low input levels.
国際公開第2008/143569号パンフレットに、有意閾値を用いてデュアルVADを実現する例が開示されている。ここで、デュアルVADは背景雑音の更新をミュージック検出を改善するために使用される。しかし、積極的 (aggressive) なプライマリVADだけが最終のvad_flag判定に使用されている。 An example of realizing dual VAD using a significant threshold is disclosed in WO 2008/143569. Here, dual VAD is used to improve music detection with background noise updates. However, only aggressive primary VADs are used for the final vad_flag determination.
国際公開第2008/143569号パンフレットにおいては、ミュージックの存在を検出するのに、ローパスフィルタリングされた短期アクティビティに基づく尺度が使用されている。追加vad_music判定値がハングオーバ付加部に提供され、これにより、特有の方法で音楽サウンドを扱うことが可能になっている。 In WO 2008/143569, a measure based on low-pass filtered short-term activity is used to detect the presence of music. An additional vad_music decision value is provided to the hangover adder, which makes it possible to handle music sounds in a unique way.
複数のプライマリVAD判定値を生成するにはいくつかの方法がある。最もベーシックな方法は、オリジナルのVAD判定値と同じ特徴量を用いるとともに、第2閾値を用いた第2プライマリ判定値を取得する方法である。他の方法は、推定されるSNRの状態に応じてVADを切り替える方法である。例えば、高SNR状態ではエネルギを用いたVADを行い、中SNR状態及び低SNR状態ではサブバンドSNR演算に切り替える。 There are several ways to generate multiple primary VAD decision values. The most basic method is a method of using the same feature amount as the original VAD determination value and acquiring the second primary determination value using the second threshold. Another method is a method of switching VAD according to the estimated SNR state. For example, VAD using energy is performed in a high SNR state, and switching to subband SNR calculation is performed in a medium SNR state and a low SNR state.
国際公開第2011/049516号パンフレットにおいて、音声アクティビティ検出器及び方法が開示されている。音声アクティビティ検出器は受信した入力信号の音声アクティビティを検出する。VADは、VADのプライマリ音声検出器からプライマリVAD判定値を示す信号を受信する組み合わせ論理部を有する。組み合わせ論理部は、更に、外部VADから、音声アクティビティ判定値を示す少なくとも1つの信号を受信する。プロセッサは、受信した信号により示される音声アクティビティ判定値を組み合わせて修正VAD判定値を生成する。修正VAD判定値はハングオーバ付加部に送信される。 In WO 2011/049516 a voice activity detector and method is disclosed. The voice activity detector detects the voice activity of the received input signal. The VAD has a combinational logic unit that receives a signal indicating the primary VAD determination value from the primary voice detector of the VAD. The combinational logic unit further receives at least one signal indicating a voice activity determination value from the external VAD. The processor combines the voice activity determination value indicated by the received signal to generate a modified VAD determination value. The corrected VAD determination value is transmitted to the hangover adding unit.
課題の1つは、ハングオーバをいつどれくらい使うべきかを決めることである。音質の観点からは、ハングオーバを追加することは基本的には有益である。しかし、ハングオーバを追加しすぎると、DTXの効率が落ちるため、望ましくない。短いアクティブのバーストごとにハングオーバを追加するのは望ましくないので、最終判定値vad_flagを生成するためにハングオーバを追加することを考慮する前に、プライマリ検出値vad_primからのアクティブフレームの最小の数を持たせることを要件とするのが一般的である。しかし、音声のクリッピングを避けるために、この要件とするアクティブフレームの数は、なるべく少ない数にしておくことが望ましい。 One challenge is deciding when and how much to use hangovers. From a sound quality perspective, adding a hangover is basically beneficial. However, adding too much hangover is undesirable because it reduces the efficiency of DTX. It is not desirable to add a hangover for each short active burst, so before considering adding a hangover to generate the final decision value vad_flag, have a minimum number of active frames from the primary detection value vad_prim. It is a general requirement that However, in order to avoid audio clipping, it is desirable that the number of active frames as a requirement is as small as possible.
非定常雑音に対しては、要件とするアクティブフレームの数を少なくしておくことは、雑音自体によって、ハングオーバ追加のトリガとなるのに十分な長さのVADイベントを生じさせることができる。 For non-stationary noise, keeping the number of active frames required can cause VAD events that are long enough to trigger additional hangover by the noise itself.
高効率なVADのためにハングオーバを追加する前に要件とするアクティブフレームの数についての他の問題は、発話における短い休止 (pauses) を検出する能力にある。この場合において、発話を正しく検出しているのだが、それは、話者は発話を継続する前にわずかな休止を入れただけの場合もある。この場合、VADは、休止を検出し、ハングオーバが追加される前にプライマリのアクティブフレームの新たな区間が再度必要となる。これにより、無声破裂音(unvoiced explosives)で終わる発話のような音声区間の後続部の、終端クリッピングによる耳障りな音が生じうる。 Another problem with the number of active frames required before adding a hangover for highly efficient VAD is the ability to detect short pauses in speech. In this case, the utterance is correctly detected, but the speaker may have just paused for a while before continuing the utterance. In this case, the VAD detects a pause and again needs a new section of the primary active frame before the hangover is added. This can cause an annoying sound due to end clipping in the subsequent part of the speech segment, such as an utterance ending with unvoiced explosives.
本発明の実施形態の目的は、上記した問題の少なくとも1つ解決することであり、かかる目的は、添付の独立請求項に従う方法及び装置、及び、従属請求項に従う実施形態によって達成される。 The object of the embodiments of the present invention is to solve at least one of the above-mentioned problems, which is achieved by the method and apparatus according to the attached independent claims and the embodiments according to the dependent claims.
本発明の一側面によれば、プライマリVAD判定値を示す信号を生成するステップと、前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定するステップとを含む音声アクティビティ検出(VAD)のための方法が提供される。ハングオーバ付加の決定は、短期アクティビティ尺度及び長期アクティビティ尺度に基づいて行われる。そして、前記ハングオーバ付加の決定の少なくとも一部に依存して、最終VAD判定値を示す信号が生成される。 According to one aspect of the present invention, for voice activity detection (VAD), comprising: generating a signal indicating a primary VAD determination value; and determining whether to perform hangover addition of the primary VAD determination value A method is provided. Decision hangover addition is performed on the basis of short-term activity measure and long activity scale degree. Then, depending on at least a part of the determination of the hangover addition, a signal indicating the final VAD determination value is generated.
一実施形態において、前記短期アクティビティ尺度は、最新のN_st個のプライマリVAD判定値から推定される。 In one embodiment, the short term activity measure is estimated from the most recent N_st primary VAD decision values.
一実施形態において、前記長期アクティビティ尺度は、最新のN_lt個のプライマリVAD判定値又は最新のN_lt個の最終VAD判定値から推定される。 In one embodiment, the long-term activity measure is estimated from the latest N_lt primary VAD decision values or the latest N_lt final VAD decision values.
一実施形態において、最終判定値の2つのバージョンである第1最終VAD判定値及び第2最終VAD判定値が生成される。前記第2最終VAD判定値は、前記短期アクティビティ尺度及び/又は長期アクティビティ尺度を用いずに生成され、また、前記長期アクティビティ尺度は、最新のN_lt個の第2最終VAD判定値から推定される。 In one embodiment, two versions of the final decision value, a first final VAD decision value and a second final VAD decision value, are generated. The second final VAD decision value is generated without using the short-term activity measure and / or the long-term activity measure, and the long-term activity measure is estimated from the latest N_lt second final VAD decision values.
一実施形態において、ハングオーバ付加を行わないと決定された場合は、最終VAD判定値はプライマリVAD判定値と等しい。ハングオーバ付加を行うと決定された場合は、最終VAD判定値はアクティブフレームを示す音声アクティビティ判定値と等しい。 In one embodiment, if it is determined not to add hangover, the final VAD determination value is equal to the primary VAD determination value. If it is determined to add hangover, the final VAD determination value is equal to the voice activity determination value indicating the active frame.
本発明の別の側面によれば、音声アクティビティ検出のための装置が提供される。装置は、入力部と、プライマリ音声検出部と、ハングオーバ付加部とを有する。入力部は、入力信号を受信する。プライマリ音声検出部は、入力部に接続される。プライマリ音声検出部は、前記受信した入力信号の音声アクティビティを検出し、前記受信した入力信号のプライマリVAD判定値を示す信号を生成する。ハングオーバ付加部は、プライマリ音声検出部と接続される。ハングオーバ付加部は、前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定し、前記ハングオーバ付加の決定の少なくとも一部に依存して、最終VAD判定値を示す信号を生成する。装置は更に、短期アクティビティ推定部と、長期アクティビティ推定部とを有する。短期アクティビティ推定部は、ハングオーバ付加部の入力に接続される。長期アクティビティ推定部は、前記ハングオーバ付加部の出力に接続される。前記ハングオーバ付加部は、更に、前記短期アクティビティ推定部及び前記長期アクティビティ推定部の出力に接続される。前記ハングオーバ付加部は、短期アクティビティ尺度及び長期アクティビティ尺度に応じて前記ハングオーバ付加の決定を行う。 According to another aspect of the invention, an apparatus for voice activity detection is provided. The apparatus includes an input unit, a primary voice detection unit, and a hangover addition unit. The input unit receives an input signal. The primary voice detection unit is connected to the input unit. The primary voice detection unit detects a voice activity of the received input signal and generates a signal indicating a primary VAD determination value of the received input signal. The hangover adding unit is connected to the primary voice detecting unit. The hangover addition unit determines whether or not to perform hangover addition of the primary VAD determination value, and generates a signal indicating the final VAD determination value depending on at least a part of the determination of the hangover addition. The apparatus further comprises a short-term activity estimator, and a long-term activity estimation unit. The short-term activity estimator is connected to the input of the hangover adder. The long-term activity estimating unit is connected to the output of the hangover adding unit. The hangover adding unit is further connected to the output of the short-term activity prediction unit and the long-term activity estimation unit. The hangover adding unit makes a decision of the hangover added in response to short-term activity measure and long activity scale degree.
一実施形態において、前記短期アクティビティ推定部(403)は、最新のN_st個のプライマリVAD判定値から前記短期アクティビティ尺度を推定する。 In one embodiment, the short-term activity estimator (403) estimates the short-term activity measure from the latest N_st primary VAD decision values.
一実施形態において、前記長期アクティビティ推定部(404)は、最新のN_lt個のプライマリVAD判定値又は最新のN_lt個の最終VAD判定値から前記長期アクティビティ尺度を推定する。 In one embodiment, the long-term activity estimator (404) estimates the long-term activity measure from the latest N_lt primary VAD decision values or the latest N_lt final VAD decision values.
一実施形態において、装置が提供される。この実施形態は、例えばマイクロプロセッサのようなプロセッサに基づくものである。プロセッサは、プライマリVAD判定値を示す信号を生成するためのソフトウェアコンポーネントと、前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定するためのソフトウェアコンポーネントと、前記ハングオーバ付加の決定の少なくとも一部に依存して、最終VAD判定値を示す信号を生成するためのソフトウェアコンポーネントとを実行する。この実施形態において、プロセッサは、最新のN_st個のプライマリVAD判定値から前記短期アクティビティ尺度を推定するためのソフトウェアコンポーネント、及び、最新のN_lt個の最終VAD判定値から前記長期アクティビティ尺度を推定するためのソフトウェアコンポーネントの少なくともいずれか一方を実行する。これらのソフトウェアコンポーネントはメモリに格納される。 In one embodiment, an apparatus is provided. This embodiment is based on a processor such as a microprocessor. The processor includes a software component for generating a signal indicating a primary VAD determination value, a software component for determining whether or not to perform hangover addition of the primary VAD determination value, and at least a part of the determination of hangover addition And a software component for generating a signal indicating the final VAD determination value. In this embodiment, the processor is a software component for estimating the short-term activity measure from the latest N_st primary VAD decision values, and to estimate the long-term activity measure from the latest N_lt final VAD decision values. Execute at least one of the software components. These software components are stored in memory.
本発明の別の側面によれば、コンピュータプログラムが提供される。コンピュータプログラムは、装置で実行されると、前記装置に、プライマリVAD判定値を示す信号を生成するステップと、短期アクティビティ尺度及び長期アクティビティ尺度に基づいて、前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定するステップと、前記ハングオーバ付加の決定の少なくとも一部に依存して、最終VAD判定値を示す信号を生成するステップとを実行させる。 According to another aspect of the present invention, a computer program is provided. The computer program performs when executed by the apparatus, the apparatus and generating a signal indicative of a primary VAD decision value based on the short-term activity measure and long activity scale degree, the hangover addition of the primary VAD decision value And a step of generating a signal indicating a final VAD determination value depending on at least a part of the determination of the hangover addition.
本発明の別の側面によれば、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピュータ読み取り可能な媒体と、前記コンピュータ読み取り可能な媒体に格納されたコンピュータプログラムとを含む。コンピュータプログラムは、プライマリVAD判定値を示す信号を生成するステップと、短期アクティビティ尺度及び長期アクティビティ尺度に基づいて、前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定するステップと、前記ハングオーバ付加の決定の少なくとも一部に依存して、最終VAD判定値を示す信号を生成するステップとを装置に実行させるためのコンピュータプログラムを含む。 According to another aspect of the invention, a computer program product is provided. The computer program product includes a computer readable medium and a computer program stored on the computer readable medium. Computer program includes the steps of generating a signal indicative of a primary VAD decision value, comprising the steps of: based on the short-term activity measure and long activity scale degree, determines whether to hangover addition of the primary VAD decision value, the hangover A computer program for causing the apparatus to perform a step of generating a signal indicative of a final VAD decision value, depending on at least a portion of the determination of addition.
上記課題を解決する1つの方法は、プライマリ検出尺度と最終判定尺度の時間的な特性を使用することである。これらは追加ハングオーバの調整によく適している。ハングオーバ付加部に入力される一次(プライマリ)判定値及びハングオーバ付加部から出力される最終判定値のうちの少なくとも1つを、ハングオーバ付加部に影響を及ぼすように使用するのが好ましく、両者を使用するのが最も好ましい。ハングオーバ付加部に入力されたプライマリ判定値はプライマリ音声検出器から取得されたオリジナルのプライマリ判定値であってもよいし、オリジナルのプライマリ判定値の修正バージョンであってもよい。修正は他のVADからの出力に基づいて行われうる。 One way to solve the above problem is to use the temporal characteristics of the primary detection measure and the final decision measure. These are well suited for adjusting additional hangovers. It is preferable to use at least one of the primary (primary) judgment value input to the hangover addition part and the final judgment value output from the hangover addition part so as to affect the hangover addition part. Most preferably. The primary determination value input to the hangover adding unit may be the original primary determination value acquired from the primary sound detector, or may be a modified version of the original primary determination value. Modifications can be made based on outputs from other VADs.
図2に、ハングオーバ付加部202に入力されるプライマリ判定値及びハングオーバ付加部202から出力される最終判定値を用いる一般的なVAD 200の一実施形態を示す。
FIG. 2 shows an embodiment of a
特徴抽出部206は特徴量サブバンドエネルギを提供し、背景推定部205はサブバンドエネルギ推定値を提供し、動作制御部207は、入力信号の特徴に応じて、プライマリ音声検出部の閾値及びハングオーバ付加の長さを調整し、プライマリ音声検出部201は、図1で示したような予備判定値vad_prim 213を生成する。
The
本実施形態において、音声アクティビティ検出器 (voice activity detector) 200は、短期アクティビティ推定部 (short term activity estimator) 203及び長期アクティビティ推定部 (long term activity estimator) 204の少なくともいずれかを更に有する。プライマリ判定値vad_prim 213の短期アクティビティ及び最終判定値vad_flag 215の長期アクティビティの特徴を用いて、時間的な特性が取得される。そしてこれらの尺度はハングオーバ付加の調整に使用され、代替最終判定値 (alternate final decision) vad_flag_dtx 217を生成することにより、DTXに使用されるVAD性能が改善される。
In the present embodiment, the
この場合、短期アクティビティは、メモリ内の、最新のN_st個のプライマリ判定値vad_prim 213のアクティブフレームの個数をカウントすることにより測定される。同様に、長期アクティビティは、最新の N_lt個のフレームにおける最終判定値vad_flag 215のアクティブフレームの個数をカウントすることにより測定される。N_ltはN_stより大きく、好ましくは、かなり大きい。これらの尺度は代替最終判定値 vad_flag_dtx 217を生成するのに使用される。これらの尺度を利用する利点は、既に高いアクティビティを示しているときにはハングオーバを追加しやすいので、ハングオーバの調整を単純化できる点にある。
In this case, short-term activity is measured by counting the number of active frames of the latest N_st primary decision values vad_prim 213 in memory. Similarly, long-term activity is measured by counting the number of active frames of the final decision value vad_flag 215 in the latest N_lt frames. N_lt is larger than N_st, and preferably much larger. These measures are used to generate the alternative final
高い短期アクティビティは、アクティブなバーストの始まり、中央部、又は終わりのいずれかを示す。一見すると、この尺度は、前述したようなアクティブフレームが連続する数を要求するだけの一般的な方法に同じにみえるかもしれない。しかし、非アクティブ判定がされたときでも短期アクティビティはリセットされないという大きな違いがある。代わりに、最終的にメモリから削除される前にN_st個のフレームまでのアクティブフレームを記憶するメモリを有する。したがって、非アクティブフレームによって、平均の短期アクティビティがいくらか減少するだけである。十分に高い短期アクティビティに対しては、短期アクティビティは既に高く、追加ハングオーバはトータルのアクティビティに小さな影響しか及ぼさないので、いくつかのハングオーバのフレームを追加することは安全である。非アクティブフレームがまばらであれば、ハングオーバ処理を中止するのに十分なまでに短期アクティビティを減少させることはない。 High short-term activity indicates either the beginning, middle or end of an active burst. At first glance, this measure may seem the same as a general method that only requires a continuous number of active frames as described above. However, there is a big difference that short-term activities are not reset even when inactive determination is made. Instead, it has memory to store up to N_st active frames before they are finally deleted from memory. Thus, inactive frames only reduce some of the average short-term activity. For short enough activities that are high enough, it is safe to add several hangover frames, since short-term activity is already high and additional hangovers have only a small effect on the total activity. If the inactive frames are sparse, short-term activity is not reduced enough to stop the hangover process.
まばらな非アクティブフレームは、発話中間部の短い休止に対応するか、あるいは、非アクティブとの検出が、例えば短時間の無声音によって生じた誤りであるかもしれない。上記したような方法で短期アクティビティを用いることにより、このような場合にもハングオーバ付加が維持されうる。 A sparse inactive frame may correspond to a short pause in the speech middle, or detection of inactivity may be an error caused by, for example, a short silent sound. By using short-term activity in the manner described above, hangover addition can be maintained even in such a case.
同様に、高い長期アクティビティは、音声バーストがある一定の時間にわたってアクティブであることを示す。したがって、長期アクティビティが高い場合、いくつかの追加ハングオーバフレームを付加する可能性が高く、トータルのアクティビティに対する影響はやはり小さい。 Similarly, high long-term activity indicates that a voice burst is active over a period of time. Thus, if long-term activity is high, it is likely to add some additional hangover frames, and the impact on total activity is still small.
一実施形態において、短期アクティビティ及び長期アクティビティはそれぞれ、それぞれの所定の閾値と比較される。所定の閾値に達した場合、所定数のハングオーバフレームが付加される。 In one embodiment, the short term activity and the long term activity are each compared to a respective predetermined threshold. When the predetermined threshold is reached, a predetermined number of hangover frames are added.
長期アクティビティは、実際の音声アクティビティの終了に依存して相対的に遅い反応を示すので、多くの追加ハングオーバフレームが音声バーストの終了後の比較的長時間使用されてしまうというリスクがある。このため、音声バーストの終了の指示として低い短期アクティビティを使用することも可能である。したがって、短期アクティビティが所定の閾値を下回る場合、追加ハングオーバの量を制限する実施態様が望まれる場合もあろう。すなわち、短期アクティビティが十分に低く、同時に高い長期アクティビティが示される場合には、ハングオーバフレームの付加を無効にしてもよい。 Since long-term activity exhibits a relatively slow response depending on the end of actual voice activity, there is a risk that many additional hangover frames will be used for a relatively long time after the end of the voice burst. For this reason, it is also possible to use low short-term activity as an indication of the end of a voice burst. Thus, an implementation that limits the amount of additional hangover may be desired if short-term activity is below a predetermined threshold. That is, if short-term activity is sufficiently low and high long-term activity is indicated at the same time, the addition of a hangover frame may be disabled.
以下、実施形態を、演算量の増加の少ない従来手法の改良として、いくつか説明する。ただし、上記の尺度を用いてより信頼性の高いVAD判定を提供するための全く新しいVADを設計することも可能である。 In the following, some embodiments will be described as improvements of the conventional method with little increase in the amount of calculation. However, it is also possible to design a completely new VAD to provide a more reliable VAD decision using the above measures.
一実施形態において、図3に示されるように、受信した入力信号における音声アクティビティを検出するための音声アクティビティ検出器における方法は、好ましくは受信した入力信号の特徴を分析することによって、受信した入力信号についてのプライマリVAD判定値を示す信号を生成するステップ310を含む。ステップ320において、プライマリVAD判定値のハングオーバ付加を行うか否かが決定される。ステップ330において、最終VAD判定値を示す信号が生成される。ハングオーバ付加を行わないと決定された場合、最終VAD判定値はプライマリVAD判定値と等しい。ハングオーバ付加を行うと決定された場合、最終VAD判定値は音声アクティビティ判定値と等しい。ハングオーバが付加されるので、音声アクティビティ判定値はアクティブフレームを示すように、すなわち、フレームは雑音ではなく音声を含むことを示すように、設定される。ステップ340で、最新のN_st個のプライマリVAD判定値から短期アクティビティ尺度が推定され、かつ/または、ステップ342で、最新のN_lt個の最終VAD判定値から長期アクティビティ尺度が推定される。ハングオーバ付加を行うか否かの決定は、短期アクティビティ尺度及び長期アクティビティ尺度のうちの少なくともいずれかに基づいて行われる。図3はイベントの単純なフローとして表されているが、実際のシステムではフレームごとに繰り返される。破線の矢印は短期アクティビティ尺度及び長期アクティビティ尺度の少なくともいずれかの効力が後続フレームに及ぶことを示している。
In one embodiment, as shown in FIG. 3, a method in a voice activity detector for detecting voice activity in a received input signal is preferably received by analyzing the characteristics of the received input signal. Generating 310 a signal indicative of a primary VAD decision value for the signal; In
図3は信号フローを表しているのではなく、本発明の実施形態に従う方法ステップを表している。すなわち、最終VAD判定値を生成するステップ330は、短期アクティビティ尺度及び長期アクティビティ尺度の少なくともいずれかに基づいて代替最終判定値(例えば、vad_flag_dtx 217)を生成するステップを含む。ただし、代替最終判定値は、長期アクティビティ推定部204への入力としては使用されない。(測定される特徴量を、調整されたハングオーバ付加で修正するために)アクティビティのフィードバックループとなってしまうからである。したがって、最終VAD判定値を生成するステップ330は、従来のハングオーバ技術及び(長期アクティビティ尺度ではなく)短期アクティビティ尺度の少なくともいずれかに基づいて最終判定値(例えば、vad_flag 215)を生成するステップを含んでもよい。最終判定値(例えば、vad_flag 215)は、図2に示されるように、長期アクティビティ推定部204の入力として使用される。
FIG. 3 does not represent signal flow, but represents method steps according to an embodiment of the present invention. That is, the
一実施形態において、図4Aに示されるように、音声アクティビティ検出器400は、入力部412、プライマリ音声検出部401、ハングオーバ付加部402を有する。入力部は入力信号を受信する。プライマリ音声検出部401は、入力部412と接続されている。プライマリ音声検出部401は、受信した入力信号の音声アクティビティを検出し、受信した入力信号についてのプライマリVAD判定値を示す信号を生成する。ハングオーバ付加部402は、プライマリ音声検出部401と接続されている。ハングオーバ付加部402はプライマリVAD判定値のハングオーバ付加を行うか否かを決定し、最終VAD判定値を示す信号を生成する。ハングオーバ付加を行わないと決定した場合、最終VAD判定値はプライマリVAD判定値と等しい。ハングオーバ付加を行うと決定した場合は、最終VAD判定値は音声アクティビティ判定値と等しい。音声アクティビティ検出器400は、短期アクティビティ推定部403及び長期アクティビティ推定部404の少なくともいずれかを更に有する。短期アクティビティ推定部403は、ハングオーバ付加部402の入力に接続されている。短期アクティビティ推定部403は、最新のN_st個のプライマリVAD判定値から短期アクティビティ尺度を推定する。長期アクティビティ推定部404は、ハングオーバ付加部402の出力と接続されている。長期アクティビティ推定部404は、最新のN_lt個の最終VAD判定値から長期アクティビティ尺度を推定する。ハングオーバ付加部402は、短期アクティビティ推定部403及び長期アクティビティ推定部404の少なくともいずれかの出力と接続されている。ハングオーバ付加部402は、短期アクティビティ尺度及び長期アクティビティ尺度の少なくともいずれかに基づきハングオーバの決定を行う。短期アクティビティ尺度及び長期アクティビティ尺度の少なくともいずれかに基づくハングオーバの決定は、代替最終判定値を生成することによりDTXにおける使用のためのVAD性能の向上のために、ハングオーバ付加の調整にも用いることができる。
In one embodiment, as shown in FIG. 4A, the
音声アクティビティ検出器は、一般には、音声コーデックまたはサウンドコーデックに提供される。これらのコーデックは一般に、例えば通信ネットワークにおける端末装置において提供される。端末装置としては、サウンドの検出又は記録が行われる、例えば電話機、コンピュータ等が挙げられるが、これに限定されない。 Voice activity detectors are typically provided with voice codecs or sound codecs. These codecs are generally provided in a terminal device in a communication network, for example. Examples of the terminal device include, but are not limited to, a telephone set and a computer in which sound is detected or recorded.
一実施形態において、図4Bに示されるように、最終VAD判定値は、典型的にはDTX用の最終VAD判定値として、短期アクティビティ尺度又は長期アクティビティ尺度を用いずに生成された最終VAD判定値以外の、追加フラグ410として与えられる。最終判定値の2つのバージョンは、異なる処理部または機能部にて、並行して使用されうる。別の実施形態において、短期アクティビティ尺度又は長期アクティビティ尺度の使用のオン/オフを、VAD判定を使用する状況に応じて切り替えるようにしてもよい。
In one embodiment, as shown in FIG. 4B, the final VAD decision value is typically a final VAD decision value generated without using a short-term activity measure or a long-term activity measure as the final VAD decision value for DTX. It is given as an
他の実施形態において、最終VAD判定値が得られず又は適当でなく長期アクティビティ分析をオンにできない場合は、かわりにプライマリVAD判定値で長期アクティビティ分析を行ってもよい。このような実施形態においては、図4Cに示されるように、長期アクティビティ推定部404はハングオーバ付加部402の入力に接続されて、最新のN_lt個のプライマリVAD判定値から長期アクティビティ尺度が推定される。
In other embodiments, if the final VAD decision value is not available or not suitable and long-term activity analysis cannot be turned on, a long-term activity analysis may be performed with the primary VAD decision value instead. In such an embodiment, as shown in FIG. 4C, the long-term
更に他の実施形態においては、ハングオーバ付加の調整が行われるプライマリVAD判定値及び/又は最終VAD判定値とは異なるプライマリVAD判定値及び/又は最終VAD判定値で短期及び長期アクティビティの推定を行ってもよい。考えられる1つの手法は、プライマリVAD判定値を生成する簡単なVADと、それを最終VAD判定値に修正する簡単なハングオーバ付加部を持たせることである。プライマリVAD判定値及び最終VAD判定値の少なくともいずれか短期及び長期アクティビティの動きが分析される。しかし、例えばより高度なVAD設定など、他のVAD設定を、ハングオーバ付加の調整のために着目するプライマリVAD判定値を提供するために使用してもよい。分析された動きは、より高度なVADシステムのハングオーバ付加部402の演算を制御するために使用され、信頼性の高い最終VAD判定値が与えられる。
In yet another embodiment, the short-term and long-term activity is estimated using a primary VAD judgment value and / or a final VAD judgment value different from the primary VAD judgment value and / or the final VAD judgment value to be adjusted for hangover addition. Also good. One possible approach is to have a simple VAD that generates the primary VAD decision value and a simple hangover adder that modifies it to the final VAD decision value. The movement of the short-term and long-term activities of at least one of the primary VAD determination value and the final VAD determination value is analyzed. However, other VAD settings, such as more advanced VAD settings, may be used to provide a primary VAD decision value of interest for adjusting hangover addition. The analyzed motion is used to control the operation of the
以下、図5を参照して音声アクティビティ検出器500の実施形態を説明する。この実施形態は、マイクロプロセッサ等のプロセッサ510に基づく。プロセッサ510は、プライマリVAD判定値を示す信号を生成するためのソフトウェアコンポーネント501と、プライマリVAD判定値のハングオーバ付加を行うか否かを決定するためのソフトウェアコンポーネント502と、最終VAD判定値を示す信号を生成するためのソフトウェアコンポーネント503とを実行する。この実施形態においては、プロセッサ510は、最新のN_st個のプライマリVAD判定値から短期アクティビティ尺度を推定するためのソフトウェアコンポーネント504、及び、最新のN_lt個の最終VAD判定値から長期アクティビティ尺度を推定するためのソフトウェアコンポーネント505、のうちの少なくともいずれかを実行する。これらのソフトウェアコンポーネントはメモリ520に格納されている。プロセッサ510は、システムバス515を介して、メモリ520と通信する。プロセッサ510及びメモリ520に接続される入力/出力(I/O)バス516を制御するI/Oコントローラ530によって、音声信号が受信される。この実施形態において、I/Oコントローラ530によって受信された信号は、メモリ520に記憶され、ソフトウェアコンポーネントによって処理される。ソフトウェアコンポーネント501は、図3を参照して上述した実施形態におけるステップ310の機能を実装する。ソフトウェアコンポーネント502は、図3を参照して上述した実施形態におけるステップ320の機能を実装する。ソフトウェアコンポーネント503は、図3を参照して上述した実施形態におけるステップ330の機能を実装する。ソフトウェアコンポーネント504は、図3を参照して上述した実施形態におけるステップ340の機能を実装する。ソフトウェアコンポーネント505は、図3を参照して上述した実施形態におけるステップ342の機能を実装する。
Hereinafter, an embodiment of the
I/Oユニット530は、I/Oバス516を介して、プロセッサ510及びメモリ520の少なくともいずれかと相互接続され、入力信号や最終VAD判定値といった関連するデータの入出力が可能になっている。
The I /
一実施形態において、上述したような、メモリ内のプライマリ判定値及び最終判定値アクティブフレームに対するカウンタが使用されうる。別の実施形態において、メモリ内のアクティブフレームの経過時間に依存した重み付けを行ってもよい。これは、短期プライマリアクティビティ及び長期最終判定値アクティビティの両方に対して適用可能である。更に他の実施形態においては、推定音声レベル、ノイズレベル、SNR等の他の入力信号の特徴量に依存して、別の追加的なハングオーバを適用することも可能である。 In one embodiment, counters for the primary decision value and final decision value active frames in memory as described above may be used. In another embodiment, weighting may be performed depending on the elapsed time of active frames in memory. This is applicable for both short-term primary activity and long-term final decision value activity. In still other embodiments, other additional hangovers may be applied depending on other input signal features such as estimated speech level, noise level, SNR, etc.
更に別の実施形態においては、アクティブの音声バーストの始端部、中間部、終端部を精度よく特定できるように、2つ以上の時間的な特性を用いることも可能である。 In yet another embodiment, more than one temporal characteristic can be used to accurately identify the beginning, middle and end of an active voice burst.
更に別の実施形態においては、上述のハングオーバ決定原理を、国際公開第2011/049516号で提示されたマルチVADコンバイナ(Multi VAD combiner)の原理のような他のVAD改良案と組み合わせることも可能である。この場合、修正プライマリVAD判定値を、短期アクティビティ推定部ハングオーバ付加部への入力として使用することができる。マルチVADコンバイナは、プライマリ音声検出部の一部として考えることができる。 In yet another embodiment, the hangover decision principle described above can be combined with other VAD improvements such as the Multi VAD combiner principle presented in WO 2011/049516. is there. In this case, the corrected primary VAD determination value can be used as an input to the short-term activity estimation unit hangover addition unit. A multi-VAD combiner can be considered as part of the primary voice detector.
同様に、本アイデアには、背景音を推定するための他の追加的な方法を、好都合にかつ容易に、組み合わせることが可能である。 Similarly, the idea can be conveniently and easily combined with other additional methods for estimating background sounds.
以下に説明する実施形態は、3GPP2標準規格に従うG.718コーデックに基づくものである。関連する部分の詳細は、例えば国際公開第WO2009/000073 A1号に記載されている。 The embodiments described below are based on the G.718 codec according to the 3GPP2 standard. Details of relevant parts are described in, for example, International Publication No. WO2009 / 000073 A1.
図6は、国際公開第WO2009/000073 A1号の音声通信システムのブロック図であり、このシステムは、プリプロセッサ601、スペクトル分析器602、サウンドアクティビティ検出器603、ノイズ推定器604、オプションのノイズ抑圧器605、LPC分析器及びピッチ追跡器606、ノイズエネルギ推定更新モジュール607、信号分類器608、及びサウンド・エンコーダ609を含む。サウンドアクティビティ検出器603において、過去のフレームで計算されたノイズエネルギ推定値を用いて、サウンドアクティビティ検出(信号分類の第1ステージ)が実行される。サウンドアクティビティ検出603の出力は2進変数である。この変数は、エンコーダ609で更に使用され、かつ、現フレームがアクティブとして符号化されるか非アクティブとして符号化されるかを決定する。
FIG. 6 is a block diagram of a speech communication system of International Publication No. WO2009 / 000073 A1, which includes a
“SNRベースSAD”モジュール603は、本実施形態が実装されうるモジュールである。本実施形態では16kHzサンプリングの広帯域信号チェーンだけを想定しているが、8kHzサンプリング又はその他のサンプリング速度での狭帯域信号チェーンにも同様の改良を行うことが可能である。
The “SNR-based SAD”
国際公開第WO2011/049516 A1号に開示された方法に基づく実施形態において、国際公開第WO2009/000073 A1号のオリジナルVAD (VAD 1) が、第1VADとして使用され、ローカルVAD及びvad_flagの信号を生成する。このローカルVADは、本実施形態においては、短期アクティビティ推定が行われるVAD_prim 213として使用される。
In the embodiment based on the method disclosed in International Publication No. WO2011 / 049516 A1, the original VAD (VAD 1) of International Publication No. WO2009 / 000073 A1 is used as the first VAD to generate local VAD and vad_flag signals To do. This local VAD is used as
追加VAD (VAD 2) も、国際公開第WO2009/000073 A1号に基づくが、背景ノイズ推定及びSNRベースSADの改良を用いることにより、達成される。図7は、第2VADのブロック図である。このブロック図には、プリプロセッサ701、スペクトル分析器702、“SNRベースSAD”モジュール703、ノイズ推定器704、オプションのノイズ抑圧器705、LPC分析器及びピッチ追跡器706、ノイズエネルギ推定更新モジュール707、信号分類器708、及び、サウンド・エンコーダ709が示されている。
Additional VAD (VAD 2) is also based on WO 2009/000073 A1, but is achieved by using background noise estimation and SNR based SAD improvements. FIG. 7 is a block diagram of the second VAD. This block diagram includes a
ブロック図にはまた、VAD 2のプライマリVAD判定値localVAD_he 710及び最終VAD判定値vad_flag_he 711が示されている。localVAD_he 710及びvad_flag_he 711は、ローカルVADを出力するためのVAD1のプライマリ音声検出部において使用される。
The block diagram also shows a primary VAD
本実施形態において、以下の変数がエンコーダState (Encoder_State)に追記される。 In the present embodiment, the following variables are added to the encoder state (Encoder_State).
long long vad_flag_reg; /* 過去のvad_flagのメモリ */
long long vad_prim_reg; /* 過去のlocalVADのメモリ */
short vad_flag_cnt_50; /* vad_flagアクティブフレームのカウンタ */
short vad_prim_cnt_16; /* プライマリアクティブフレームのカウンタ */
short hangover_cnt_dtx; /* DTX用のハングオーバフレームのカウンタ */
long long vad_flag_reg; / * Memory of past vad_flag * /
long long vad_prim_reg; / * memory of past localVAD * /
short vad_flag_cnt_50; / * vad_flag active frame counter * /
short vad_prim_cnt_16; / * primary active frame counter * /
short hangover_cnt_dtx; / * Hangover frame counter for DTX * /
ルーチンwb_vad_init()で実行される初期化がなされている間は、これらのStateは全て0に設定される。 While the initialization executed by the routine wb_vad_init () is being performed, these states are all set to zero.
さらに、短期及び長期アクティビティの特徴量が更新される。これは、各フレームの処理の終了時に行われる。これは、適切なソースファイルに以下のコードを追記するで実行されうる。 In addition, the short-term and long-term activity feature quantities are updated. This is performed at the end of processing of each frame. This can be done by adding the following code to the appropriate source file:
if ((st->vad_flag_reg & (long long) 0x01LL << 49) != 0)
{
st->vad_flag_cnt_50=st->vad_flag_cnt_50-1;
}
st->vad_flag_reg = (st->vad_flag_reg & (long long) 0x3fffffffffffffffLL ) << 1;
if (vad_flag)
{
st->vad_flag_reg = st->vad_flag_reg | 0x01L;
st->vad_flag_cnt_50 = st->vad_flag_cnt_50+1;
}
if ((st->vad_prim_reg & (long long) 1LL << 15) != 0)
{
st->vad_prim_cnt_16=st->vad_prim_cnt_16-1;
}
st->vad_prim_reg = (st->vad_prim_reg & (long long) 0x3fffffffffffffffLL ) << 1;
if (localVAD)
{
st->vad_prim_reg = st->vad_prim_reg | 0x01L;
st->vad_prim_cnt_16 = st->vad_prim_cnt_16+1;
}
if ((st-> vad_flag_reg & (long long) 0x01LL << 49)! = 0)
{
st-> vad_flag_cnt_50 = st->vad_flag_cnt_50-1;
}
st-> vad_flag_reg = (st-> vad_flag_reg & (long long) 0x3fffffffffffffffLL) <<1;
if (vad_flag)
{
st-> vad_flag_reg = st-> vad_flag_reg | 0x01L;
st-> vad_flag_cnt_50 = st-> vad_flag_cnt_50 + 1;
}
if ((st-> vad_prim_reg & (long long) 1LL << 15)! = 0)
{
st-> vad_prim_cnt_16 = st->vad_prim_cnt_16-1;
}
st-> vad_prim_reg = (st-> vad_prim_reg & (long long) 0x3fffffffffffffffLL) <<1;
if (localVAD)
{
st-> vad_prim_reg = st-> vad_prim_reg | 0x01L;
st-> vad_prim_cnt_16 = st-> vad_prim_cnt_16 + 1;
}
ここで、変数stは、割り当てられたエンコーダのEncoder_State変数を参照する。次のフレームのために、State変数st->vad_flag_cnt_50は、最新の50フレームにおいてアクティブであるフレームの数の形で長期アクティビティ最終判定値を含み、State変数st->vad_prim_cnt_16は、最新の16フレームにおいてプライマリ判定値がアクティブであるフレームの数の形で短期プライマリアクティビティを含む。The length of the memory of the 短期アクティビティの記憶長さである16フレームと、長期アクティビティの記憶長さである50フレームは、この特定の実施形態における値である。これらの数値は動作しうる実施上の値であって、その絶対値そのものが非常に重要ということではない。したがって、例えばハングオーバ特性の調整のような、実施上の調整が入れば、これらの値はそれに応じて設定されうる。一般に、長期アクティビティの記憶長さは短期アクティビティの記憶長さよりも長く、好ましくは、上述の例のように、非常に長い。典型例において、長期アクティビティの記憶長さと短期アクティビティの記憶長さとの比は、2.5〜5の間である。この比率も、多く存在すると予想される音の種類が異なるような実施上の違いに応じて異なる値に設定されうる。 Here, the variable st refers to the Encoder_State variable of the assigned encoder. For the next frame, the State variable st-> vad_flag_cnt_50 contains the long-term activity final decision value in the form of the number of frames active in the last 50 frames, and the State variable st-> vad_prim_cnt_16 is in the last 16 frames The primary decision value includes short-term primary activity in the form of the number of active frames. The length of the memory of the short-term activity memory length of 16 frames and the long-term activity memory length of 50 frames are values in this particular embodiment. These numbers are operational values that can work, and the absolute values themselves are not very important. Therefore, if practical adjustments such as adjustment of the hangover characteristics are entered, these values can be set accordingly. In general, the storage length of long-term activity is longer than the storage length of short-term activity, preferably very long, as in the above example. In a typical example, the ratio of the long-term activity storage length to the short-term activity storage length is between 2.5-5. This ratio can also be set to a different value depending on practical differences such that the types of sounds that are expected to be present are different.
以下のコード修正により、ハングオーバhangover_shortをいくつにするかを決めるためのコードが実装されてもよい。 With the following code modification, code for determining how many hangover_shorts may be implemented may be implemented.
lp_snr ローパスフィルタリングされたSNR推定値
th_clean 入力がクリーン音声であるかを判定するためのSNR閾値
thr1 プライマリ音声検出部の計算された閾値
if( lp_snr < th_clean )
{
thr1 = nk * lp_snr + nc; /* ノイジー音声のための線形関数 */
if( st->Opt_SC_VBR )
{
hangover_short = 1;
}
else
{
hangover_short = 4;
}
}
else
{
thr1 = sk * lp_snr + sc; /* クリーン音声のための線形関数 */
hangover_short = 1;
}
lp_snr Low-pass filtered SNR estimate
th_clean SNR threshold to determine if input is clean speech
thr1 Calculated threshold of primary voice detector
if (lp_snr <th_clean)
{
thr1 = nk * lp_snr + nc; / * Linear function for noisy speech * /
if (st-> Opt_SC_VBR)
{
hangover_short = 1;
}
else
{
hangover_short = 4;
}
}
else
{
thr1 = sk * lp_snr + sc; / * Linear function for clean speech * /
hangover_short = 1;
}
以下で、DTX用のハングオーバhangover_short_dtxの適応化に必要なコードを追加する。 Below, the code necessary for adapting the hangover_short_dtx for DTX is added.
if( lp_snr < th_clean )
{
thr1 = nk * lp_snr + nc; /* ノイジー音声のための線形関数 */
if( st->Opt_SC_VBR )
{
hangover_short = 1;
}
else
{
hangover_short = 4;
}
}
else
{
thr1 = sk * lp_snr + sc; /* クリーン音声のための線形関数 */
hangover_short = 1;
}
hangover_short_dtx = hangover_short; /* DTX用のハングオーバは同じ値で開始 */
if (st->Opt_DTX_ON)
{
if (st->vad_prim_cnt_16 > 12 ) /* 12は概ね80%のプライマリアクティブを要する値 */
{
hangover_short_dtx = hangover_short_dtx + 1;
}
if (st->vad_flag_cnt_50 > 40 ) /* 40は概ね80%のフラグアクティブを要する値 */
{
hangover_short_dtx = hangover_short_dtx + 3;
}
/* hangover_shortを最大ハングオーバカウント値より低い値に維持しておく */
if (hangover_short_dtx > hangover_LONG-1)
{
hangover_short_dtx=hangover_LONG-1;
}
/* アクティブフレームが十分になければ短いHOだけを許容 */
if ( st->vad_prim_cnt_16 < 7 && hangover_short_dtx > 4 )
{
hangover_short_dtx=4;
}
}
if (lp_snr <th_clean)
{
thr1 = nk * lp_snr + nc; / * Linear function for noisy speech * /
if (st-> Opt_SC_VBR)
{
hangover_short = 1;
}
else
{
hangover_short = 4;
}
}
else
{
thr1 = sk * lp_snr + sc; / * Linear function for clean speech * /
hangover_short = 1;
}
hangover_short_dtx = hangover_short; / * Hangover for DTX starts with the same value * /
if (st-> Opt_DTX_ON)
{
if (st->vad_prim_cnt_16> 12) / * 12 is the value that requires 80% primary active * /
{
hangover_short_dtx = hangover_short_dtx + 1;
}
if (st->vad_flag_cnt_50> 40) / * 40 is a value that requires 80% flag active * /
{
hangover_short_dtx = hangover_short_dtx + 3;
}
/ * Keep hangover_short below the maximum hangover count * /
if (hangover_short_dtx> hangover_LONG-1)
{
hangover_short_dtx = hangover_LONG-1;
}
/ * Allow only short HO if there are not enough active frames * /
if (st-> vad_prim_cnt_16 <7 &&hangover_short_dtx> 4)
{
hangover_short_dtx = 4;
}
}
また、ここで、特定の数値が記述されているが、これらは設計値である。したがって、これらの値は、ハングオーバ特性の調整等、実装上の調整によって適合されうるものである。 Here, although specific numerical values are described, these are design values. Therefore, these values can be adapted by implementation adjustment such as adjustment of the hangover characteristic.
以下の修正によって、実際のハングオーバが行われるためのコードが実装される。 The following modifications will implement the code for the actual hangover.
flag ハングオーバを含む最終VAD判定値
localVAD プライマリ判定値
snr_sum サブバンドSNR推定値の形でのVAD特徴量
st->nb_active_frames 連続するアクティブフレームの数 (プライマリ判定値)
st->hangover_cnt 使用されたハングオーバフレームのカウンタ
flag = 0;
*localVAD = 0;
if ( snr_sum > thr1 && ( st->Opt_HE_SAD_ON == 0 || (flag_he == 1 && flag_he1 == 1) ) ) /* 音声あり */
{
flag = 1;
if ( snr_sum > thr1 )
{
*localVAD = 1; /* ハングオーバなしのVAD */
}
st->nb_active_frames++; /* 連続するアクティブ音声フレームのカウンタ */
if ( st->nb_active_frames >= ACTIVE_FRAMES )
{
st->nb_active_frames = ACTIVE_FRAMES;
st->hangover_cnt = 0; /* 少なくとも"active_frames"音声フレームの後のハングオーバフレームのカウンタをリセット */
}
/* HO区間内 */
if( st->hangover_cnt < hangover_LONG && st->hangover_cnt != 0 )
{
st->hangover_cnt++;
}
}
else
{ /* ハングオーバアルゴリズムを開始するのに要する音声フレームのカウンタをリセット */
st->nb_active_frames = 0;
if( st->hangover_cnt < hangover_LONG ) /* HO区間内 */
{
st->hangover_cnt++;
}
if( st->hangover_cnt <= hangover_short ) /* "ハード" ハングオーバ */
{
flag = 1 ;
}
flag Final VAD judgment value including hangover
localVAD primary judgment value
snr_sum VAD features in the form of subband SNR estimates
st-> nb_active_frames Number of consecutive active frames (primary judgment value)
st-> hangover_cnt Hangover frame counter used
flag = 0;
* localVAD = 0;
if (snr_sum> thr1 &&(st-> Opt_HE_SAD_ON == 0 || (flag_he == 1 && flag_he1 == 1)))) / * With audio * /
{
flag = 1;
if (snr_sum> thr1)
{
* localVAD = 1; / * VAD without hangover * /
}
st-> nb_active_frames ++; / * Counter for consecutive active voice frames * /
if (st->nb_active_frames> = ACTIVE_FRAMES)
{
st-> nb_active_frames = ACTIVE_FRAMES;
st-> hangover_cnt = 0; / * At least reset the hangover frame counter after the "active_frames" audio frame * /
}
/ * Within HO section * /
if (st-> hangover_cnt <hangover_LONG &&st-> hangover_cnt! = 0)
{
st-> hangover_cnt ++;
}
}
else
{/ * Reset audio frame counter required to start hangover algorithm * /
st-> nb_active_frames = 0;
if (st-> hangover_cnt <hangover_LONG) / * Within HO section * /
{
st-> hangover_cnt ++;
}
if (st-> hangover_cnt <= hangover_short) / * "hard" hangover * /
{
flag = 1;
}
これは、新たなDTX用のVAD判定値vad_flag_dtxを含むよう、以下のように修正される。上で定義されたDTXハングオーバ適応hangover_short_dtxを用いる。ここで以下の変数が追加される。 This is modified as follows to include a new DTX VAD determination value vad_flag_dtx. Use the DTX hangover adaptation hangover_short_dtx defined above. The following variables are added here.
flag_dtx DTX用ハングオーバも含む最終VAD判定値
st->hangover_cnt_dtx DTXに使用するハングオーバフレーム数のカウンタ
flag = 0;
flag_dtx = 0;
*localVAD = 0;
if ( snr_sum > thr1 && ( st->Opt_HE_SAD_ON == 0 || (flag_he == 1 && flag_he1 == 1) ) ) /* 音声あり */
{
flag = 1;
flag_dtx=1;
if ( snr_sum > thr1 )
{
*localVAD = 1; /* ハングオーバなしのVAD */
}
st->nb_active_frames++; /* 連続するアクティブ音声フレームのカウンタ */
if ( st->nb_active_frames >= ACTIVE_FRAMES )
{
st->nb_active_frames = ACTIVE_FRAMES;
st->hangover_cnt = 0; /* 少なくとも"active_frames"音声フレームの後のハングオーバフレームのカウンタをリセット */
}
if (st->Opt_DTX_ON)
{
if (st->vad_flag_cnt_50 > 45 ) /* 45は概ね90%のフラグアクティブを要する値 */
{
/* アクティブフレームの要件なしで最後の2つの追加ハングオーバの間、十分にアクティブである場合 */
st->hangover_cnt_dtx=0;
}
}
/* HO区間内 */
if( st->hangover_cnt < hangover_LONG && st->hangover_cnt != 0 )
{
st->hangover_cnt++;
}
if( st->hangover_cnt_dtx < hangover_LONG && st->hangover_cnt_dtx != 0 )
{
st->hangover_cnt_dtx++;
}
}
else
{ /* ハングオーバアルゴリズムを開始するのに要する音声フレームのカウンタをリセット */
st->nb_active_frames = 0;
if( st->hangover_cnt < hangover_LONG ) /* HO区間内 */
{
st->hangover_cnt++;
}
if( st->hangover_cnt <= hangover_short ) /* "ハード" ハングオーバ */
{
flag = 1 ;
flag_dtx = 1 ;
}
if( st->hangover_cnt_dtx < hangover_LONG ) /* HO区間内 */
{
st->hangover_cnt_dtx++;
}
if( st->hangover_cnt_dtx <= hangover_short_dtx ) /* "ハード" ハングオーバ */
{
flag_dtx = 1;
}
flag_dtx Final VAD judgment value including hangover for DTX
st-> hangover_cnt_dtx Hangover frame count counter used for DTX
flag = 0;
flag_dtx = 0;
* localVAD = 0;
if (snr_sum> thr1 &&(st-> Opt_HE_SAD_ON == 0 || (flag_he == 1 && flag_he1 == 1)))) / * With audio * /
{
flag = 1;
flag_dtx = 1;
if (snr_sum> thr1)
{
* localVAD = 1; / * VAD without hangover * /
}
st-> nb_active_frames ++; / * Counter for consecutive active voice frames * /
if (st->nb_active_frames> = ACTIVE_FRAMES)
{
st-> nb_active_frames = ACTIVE_FRAMES;
st-> hangover_cnt = 0; / * At least reset the hangover frame counter after the "active_frames" audio frame * /
}
if (st-> Opt_DTX_ON)
{
if (st->vad_flag_cnt_50> 45) / * 45 is a value that requires 90% flag active * /
{
/ * If fully active during the last two additional hangovers without the requirement for active frames * /
st-> hangover_cnt_dtx = 0;
}
}
/ * Within HO section * /
if (st-> hangover_cnt <hangover_LONG &&st-> hangover_cnt! = 0)
{
st-> hangover_cnt ++;
}
if (st-> hangover_cnt_dtx <hangover_LONG &&st-> hangover_cnt_dtx! = 0)
{
st-> hangover_cnt_dtx ++;
}
}
else
{/ * Reset audio frame counter required to start hangover algorithm * /
st-> nb_active_frames = 0;
if (st-> hangover_cnt <hangover_LONG) / * Within HO section * /
{
st-> hangover_cnt ++;
}
if (st-> hangover_cnt <= hangover_short) / * "hard" hangover * /
{
flag = 1;
flag_dtx = 1;
}
if (st-> hangover_cnt_dtx <hangover_LONG) / * Within HO section * /
{
st-> hangover_cnt_dtx ++;
}
if (st-> hangover_cnt_dtx <= hangover_short_dtx) / * "Hard" hangover * /
{
flag_dtx = 1;
}
プライマリ判定値の短期アクティビティ及び最終判定値の長期アクティビティの特徴量の使用により、具体的には音声バースト内及び音声バーストの終端部に、追加のハングオーバを付加することができ、これにより、とりわけ高効率なVADにおいて、音声がクリップされてしまうことを少なくすることができる。 By using the features of the short-term activity of the primary decision value and the long-term activity of the final decision value, it is possible to add additional hangovers specifically within the voice burst and at the end of the voice burst. In an efficient VAD, it is possible to reduce audio clipping.
最終判定値の長期アクティビティによって、長い発話の後の短いバーストにハングオーバを付加することができ、これにより、無声破裂音の後端部をクリップしてしまうリスクを低減することができる。 The long-term activity of the final decision value can add a hangover to a short burst after a long utterance, thereby reducing the risk of clipping the trailing edge of an unvoiced plosive.
アクティビティ特徴量の使用により、既に高い音声アクティビティを持つ区間のハングオーバを延長することができる。これにより、全体的なアクティビティが大幅に増加するリスクなしにハングオーバを延長することができる。 By using the activity feature amount, it is possible to extend the hangover of the section having already high voice activity. This can extend the hangover without the risk of a significant increase in overall activity.
上述したような追加的な特徴によって、音声レベルが低いといった更に限定された条件下であってもハングオーバの延長を可能にする改良が可能である。 Additional features such as those described above allow improvements that allow for extended hangover even under more limited conditions, such as low audio levels.
積極的なSADによって、とりわけ既にアクティビティの高い区間に対しては、ハングオーバの延長を付加することにより、音声クリッピングを除去するのが容易になる。この方法よれば、並行して動作する複数のSADに基づく方法を再調整する方法に比べ、調整が容易になる。 Aggressive SAD makes it easier to eliminate audio clipping by adding a hangover extension, especially for sections with already high activity. According to this method, adjustment is easier than the method of readjusting a method based on a plurality of SADs operating in parallel.
上述の実施形態は本発明のいくつかの例示である。当業者であれば、実施形態の一般的な範囲から逸脱することなく実施形態に対して種々の改変、組合せ、変更を行うことが可能である。特に、異なる実施形態における異なる解決策の部分を組み合わせて異なる構成とすることが、技術的に可能である。 The above described embodiments are some examples of the invention. Those skilled in the art can make various modifications, combinations, and changes to the embodiments without departing from the general scope of the embodiments. In particular, it is technically possible to combine different solution parts in different embodiments into different configurations.
Claims (20)
受信した入力信号に基づいて、1フレームの前記VADの予備的な判定値であるプライマリVAD判定値を示す信号を生成するステップ(310)と、
前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定するステップ(320)と、
前記ハングオーバ付加の決定に依存して、最終VAD判定値を示す信号を生成するステップ(330)と、
を有し、
前記ハングオーバ付加の前記決定は、最新のN_st個のプライマリVAD判定値から推定される最新のN_stフレームにおける音声アクティビティの高さを示す短期アクティビティ尺度と、最新のN_lt(ただし、N_lt>N_st)個の最終VAD判定値から推定される最新のN_ltフレームにおける音声アクティビティの高さを示す長期アクティビティ尺度とに基づくことを特徴とする方法。 A method for voice activity detection (VAD) comprising:
Generating a signal indicating a primary VAD determination value that is a preliminary determination value of the VAD of one frame based on the received input signal (310);
Determining whether to perform hangover addition of the primary VAD determination value (320);
Depending on the determination of hangover addition, generating a signal indicating a final VAD determination value (330);
Have
The determination of the hangover addition includes a short-term activity measure indicating the height of voice activity in the latest N_st frame estimated from the latest N_st primary VAD decision values, and the latest N_lt (where N_lt> N_st) A method based on a long-term activity measure that indicates the height of voice activity in the latest N_lt frame estimated from the final VAD decision value.
入力信号を受信する入力部(412)と、
前記入力部(412)に接続され、前記受信した入力信号の1フレームの音声アクティビティを検出し、該1フレームの前記VADの予備的な判定値であるプライマリVAD判定値を示す信号を生成するプライマリ音声検出部(401)と、
前記プライマリ音声検出部(401)に接続され、前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定し、前記ハングオーバ付加の前記決定に依存して、最終VAD判定値を示す信号を生成するハングオーバ付加部(402)と、
を有し、
前記装置は更に、
前記ハングオーバ付加部(402)の入力に接続され、最新のN_st個のプライマリVAD判定値から最新のN_stフレームにおける音声アクティビティの高さを示す短期アクティビティ尺度を推定する短期アクティビティ推定部(403)と、
前記ハングオーバ付加部(402)の出力に接続され、最新のN_lt(ただし、N_lt>N_st)個の最終VAD判定値から最新のN_ltフレームにおける音声アクティビティの高さを示す長期アクティビティ尺度を推定する長期アクティビティ推定部(404)と、
を有し、
前記ハングオーバ付加部(402)は、更に、前記短期アクティビティ推定部(403)及び前記長期アクティビティ推定部(404)の出力に接続され、前記短期アクティビティ尺度及び前記長期アクティビティ尺度に応じて前記ハングオーバ付加の前記決定を行うことを特徴とする装置。 A device for voice activity detection (VAD),
An input unit (412) for receiving an input signal;
A primary connected to the input unit (412) for detecting voice activity of one frame of the received input signal and generating a signal indicating a primary VAD determination value which is a preliminary determination value of the VAD of the one frame Voice detector (401),
Connected to the primary voice detection unit (401), determines whether or not to perform hangover addition of the primary VAD determination value, and generates a signal indicating a final VAD determination value depending on the determination of the hangover addition Hangover addition part (402),
Have
The apparatus further includes:
A short-term activity estimation unit (403) connected to the input of the hangover addition unit (402) and estimating a short-term activity measure indicating the height of voice activity in the latest N_st frame from the latest N_st primary VAD determination values;
A long-term activity that is connected to the output of the hangover adder (402) and estimates a long-term activity measure indicating the height of voice activity in the latest N_lt frame from the latest N_lt (where N_lt> N_st) final VAD judgment values An estimation unit (404);
Have
The hangover adding unit (402) is further connected to the outputs of the short-term activity estimating unit (403) and the long-term activity estimating unit (404), and the hangover adding unit is added according to the short-term activity measure and the long-term activity measure. An apparatus for making the determination.
受信した入力信号に基づいて、1フレームのVADの予備的な判定値であるプライマリVAD判定値を示す信号を生成するステップ(310)と、
前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定するステップ(320)と、
前記ハングオーバ付加の前記決定に依存して、最終VAD判定値を示す信号を生成するステップ(330)と、
を実行させ、
前記ハングオーバ付加の前記決定は、最新のN_st個のプライマリVAD判定値から推定される最新のN_stフレームにおける音声アクティビティの高さを示す短期アクティビティ尺度と、最新のN_lt(ただし、N_lt>N_st)個の最終VAD判定値から推定される最新のN_ltフレームにおける音声アクティビティの高さを示す長期アクティビティ尺度とに基づくことを特徴とするコンピュータプログラム。 A computer program containing computer readable code that, when executed on a device, includes:
Generating a signal indicating a primary VAD determination value, which is a preliminary determination value of one frame of VAD, based on the received input signal (310);
Determining whether to perform hangover addition of the primary VAD determination value (320);
Dependent on the determination of the hangover addition, generating a signal indicating a final VAD decision value (330);
And execute
The determination of the hangover addition includes a short-term activity measure indicating the height of voice activity in the latest N_st frame estimated from the latest N_st primary VAD decision values, and the latest N_lt (where N_lt> N_st) A computer program, characterized in that it is based on a long-term activity measure indicating the height of speech activity in the latest N_lt frame estimated from the final VAD decision value.
ソフトウェアコンポーネント(501, 502, 503, 504, 505)を格納するメモリ(520)と、
を有し、
前記プロセッサ(510)は、
受信した入力信号に基づいて、1フレームのVADの予備的な判定値であるプライマリVAD判定値を示す信号を生成するためのソフトウェアコンポーネント(501)と、
前記プライマリVAD判定値のハングオーバ付加を行うか否かを決定するためのソフトウェアコンポーネント(502)と、
前記ハングオーバ付加の前記決定に依存して、最終VAD判定値を示す信号を生成するためのソフトウェアコンポーネント(503)と、
最新のN_st個のプライマリVAD判定値から最新のN_stフレームにおける音声アクティビティの高さを示す短期アクティビティ尺度を推定するためのソフトウェアコンポーネント(504)と、
最新のN_lt個の最終VAD判定値から最新のN_ltフレームにおける音声アクティビティの高さを示す長期アクティビティ尺度を推定するためのソフトウェアコンポーネント(505)と、
を実行するように構成されており、
前記ハングオーバ付加を行うか否かを決定するためのソフトウェアコンポーネント(502)は、前記短期アクティビティ尺度及び前記長期アクティビティ尺度に応じて前記ハングオーバ付加を決定するように構成されている
ことを特徴とする装置(500)。 Processor (510),
A memory (520) for storing software components (501, 502, 503, 504, 505);
Have
The processor (510)
A software component (501) for generating a signal indicating a primary VAD determination value, which is a preliminary determination value of one frame of VAD, based on the received input signal;
A software component (502) for determining whether to perform hangover addition of the primary VAD determination value;
Depending on the determination of the hangover addition, a software component (503) for generating a signal indicating a final VAD decision value;
A software component (504) for estimating a short-term activity measure indicating the height of voice activity in the latest N_st frame from the latest N_st primary VAD decision values;
A software component (505) for estimating a long-term activity measure indicating the height of voice activity in the latest N_lt frame from the latest N_lt final VAD decision values;
Is configured to run
A software component (502) for determining whether to perform the hangover addition is configured to determine the hangover addition according to the short-term activity measure and the long-term activity measure. (500).
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261695623P | 2012-08-31 | 2012-08-31 | |
US61/695,623 | 2012-08-31 | ||
PCT/SE2013/051020 WO2014035328A1 (en) | 2012-08-31 | 2013-08-30 | Method and device for voice activity detection |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017077712A Division JP6404396B2 (en) | 2012-08-31 | 2017-04-10 | Method and apparatus for voice activity detection |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015532731A JP2015532731A (en) | 2015-11-12 |
JP6127143B2 true JP6127143B2 (en) | 2017-05-10 |
Family
ID=49226493
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015529753A Active JP6127143B2 (en) | 2012-08-31 | 2013-08-30 | Method and apparatus for voice activity detection |
JP2017077712A Expired - Fee Related JP6404396B2 (en) | 2012-08-31 | 2017-04-10 | Method and apparatus for voice activity detection |
JP2018170864A Active JP6671439B2 (en) | 2012-08-31 | 2018-09-12 | Method and apparatus for voice activity detection |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017077712A Expired - Fee Related JP6404396B2 (en) | 2012-08-31 | 2017-04-10 | Method and apparatus for voice activity detection |
JP2018170864A Active JP6671439B2 (en) | 2012-08-31 | 2018-09-12 | Method and apparatus for voice activity detection |
Country Status (12)
Country | Link |
---|---|
US (6) | US9472208B2 (en) |
EP (3) | EP2891151B1 (en) |
JP (3) | JP6127143B2 (en) |
CN (2) | CN107195313B (en) |
BR (1) | BR112015003356B1 (en) |
DK (1) | DK2891151T3 (en) |
ES (2) | ES2604652T3 (en) |
HU (1) | HUE038398T2 (en) |
IN (1) | IN2015DN00783A (en) |
RU (3) | RU2609133C2 (en) |
WO (1) | WO2014035328A1 (en) |
ZA (2) | ZA201500780B (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2391228T3 (en) * | 2007-02-26 | 2012-11-22 | Dolby Laboratories Licensing Corporation | Entertainment audio voice enhancement |
CN107195313B (en) * | 2012-08-31 | 2021-02-09 | 瑞典爱立信有限公司 | Method and apparatus for voice activity detection |
ES2688021T3 (en) * | 2012-12-21 | 2018-10-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Adding comfort noise to model background noise at low bit rates |
WO2014096279A1 (en) | 2012-12-21 | 2014-06-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation of a comfort noise with high spectro-temporal resolution in discontinuous transmission of audio signals |
TWI566242B (en) * | 2015-01-26 | 2017-01-11 | 宏碁股份有限公司 | Speech recognition apparatus and speech recognition method |
TWI557728B (en) * | 2015-01-26 | 2016-11-11 | 宏碁股份有限公司 | Speech recognition apparatus and speech recognition method |
JP6444490B2 (en) * | 2015-03-12 | 2018-12-26 | 三菱電機株式会社 | Speech segment detection apparatus and speech segment detection method |
CN107170451A (en) * | 2017-06-27 | 2017-09-15 | 乐视致新电子科技(天津)有限公司 | Audio signal processing method and device |
KR102406718B1 (en) | 2017-07-19 | 2022-06-10 | 삼성전자주식회사 | An electronic device and system for deciding a duration of receiving voice input based on context information |
CN109068012B (en) * | 2018-07-06 | 2021-04-27 | 南京时保联信息科技有限公司 | Double-end call detection method for audio conference system |
US10861484B2 (en) * | 2018-12-10 | 2020-12-08 | Cirrus Logic, Inc. | Methods and systems for speech detection |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63281200A (en) * | 1987-05-14 | 1988-11-17 | 沖電気工業株式会社 | Voice section detecting system |
JPH0394300A (en) * | 1989-09-06 | 1991-04-19 | Nec Corp | Voice detector |
JPH03141740A (en) * | 1989-10-27 | 1991-06-17 | Mitsubishi Electric Corp | Sound detector |
US5410632A (en) * | 1991-12-23 | 1995-04-25 | Motorola, Inc. | Variable hangover time in a voice activity detector |
JP3234044B2 (en) | 1993-05-12 | 2001-12-04 | 株式会社東芝 | Voice communication device and reception control circuit thereof |
WO1998001847A1 (en) * | 1996-07-03 | 1998-01-15 | British Telecommunications Public Limited Company | Voice activity detector |
JP3297346B2 (en) * | 1997-04-30 | 2002-07-02 | 沖電気工業株式会社 | Voice detection device |
US6453289B1 (en) * | 1998-07-24 | 2002-09-17 | Hughes Electronics Corporation | Method of noise reduction for speech codecs |
US20010014857A1 (en) * | 1998-08-14 | 2001-08-16 | Zifei Peter Wang | A voice activity detector for packet voice network |
US6424938B1 (en) * | 1998-11-23 | 2002-07-23 | Telefonaktiebolaget L M Ericsson | Complex signal activity detection for improved speech/noise classification of an audio signal |
US6671667B1 (en) * | 2000-03-28 | 2003-12-30 | Tellabs Operations, Inc. | Speech presence measurement detection techniques |
US6889187B2 (en) * | 2000-12-28 | 2005-05-03 | Nortel Networks Limited | Method and apparatus for improved voice activity detection in a packet voice network |
CA2392640A1 (en) | 2002-07-05 | 2004-01-05 | Voiceage Corporation | A method and device for efficient in-based dim-and-burst signaling and half-rate max operation in variable bit-rate wideband speech coding for cdma wireless systems |
CN1703736A (en) * | 2002-10-11 | 2005-11-30 | 诺基亚有限公司 | Methods and devices for source controlled variable bit-rate wideband speech coding |
JP3922997B2 (en) * | 2002-10-30 | 2007-05-30 | 沖電気工業株式会社 | Echo canceller |
WO2006107837A1 (en) | 2005-04-01 | 2006-10-12 | Qualcomm Incorporated | Methods and apparatus for encoding and decoding an highband portion of a speech signal |
RU2419226C2 (en) * | 2006-03-31 | 2011-05-20 | Квэлкомм Инкорпорейтед | Memory control for high-speed control of access to environment |
CN100483509C (en) * | 2006-12-05 | 2009-04-29 | 华为技术有限公司 | Aural signal classification method and device |
RU2336449C1 (en) | 2007-04-13 | 2008-10-20 | Валерий Александрович Мухин | Orbit reduction gearbos (versions) |
CN101681619B (en) * | 2007-05-22 | 2012-07-04 | Lm爱立信电话有限公司 | Improved voice activity detector |
JP5395066B2 (en) | 2007-06-22 | 2014-01-22 | ヴォイスエイジ・コーポレーション | Method and apparatus for speech segment detection and speech signal classification |
CN101335000B (en) * | 2008-03-26 | 2010-04-21 | 华为技术有限公司 | Method and apparatus for encoding |
AU2009267507B2 (en) | 2008-07-11 | 2012-08-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and discriminator for classifying different segments of a signal |
KR101072886B1 (en) | 2008-12-16 | 2011-10-17 | 한국전자통신연구원 | Cepstrum mean subtraction method and its apparatus |
US9202476B2 (en) * | 2009-10-19 | 2015-12-01 | Telefonaktiebolaget L M Ericsson (Publ) | Method and background estimator for voice activity detection |
JP2013508773A (en) * | 2009-10-19 | 2013-03-07 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | Speech encoder method and voice activity detector |
CN104485118A (en) * | 2009-10-19 | 2015-04-01 | 瑞典爱立信有限公司 | Detector and method for voice activity detection |
JP4981163B2 (en) | 2010-08-19 | 2012-07-18 | 株式会社Lixil | sash |
CN102741918B (en) * | 2010-12-24 | 2014-11-19 | 华为技术有限公司 | Method and apparatus for voice activity detection |
CN107195313B (en) * | 2012-08-31 | 2021-02-09 | 瑞典爱立信有限公司 | Method and apparatus for voice activity detection |
US9502028B2 (en) * | 2013-10-18 | 2016-11-22 | Knowles Electronics, Llc | Acoustic activity detection apparatus and method |
-
2013
- 2013-08-30 CN CN201710599104.2A patent/CN107195313B/en active Active
- 2013-08-30 BR BR112015003356-3A patent/BR112015003356B1/en active IP Right Grant
- 2013-08-30 JP JP2015529753A patent/JP6127143B2/en active Active
- 2013-08-30 HU HUE16184741A patent/HUE038398T2/en unknown
- 2013-08-30 RU RU2015111150A patent/RU2609133C2/en active
- 2013-08-30 ES ES13765821.7T patent/ES2604652T3/en active Active
- 2013-08-30 DK DK13765821.7T patent/DK2891151T3/en active
- 2013-08-30 EP EP13765821.7A patent/EP2891151B1/en active Active
- 2013-08-30 CN CN201380044957.XA patent/CN104603874B/en active Active
- 2013-08-30 US US14/424,223 patent/US9472208B2/en active Active
- 2013-08-30 EP EP16184741.3A patent/EP3113184B1/en active Active
- 2013-08-30 ES ES16184741.3T patent/ES2661924T3/en active Active
- 2013-08-30 EP EP17201781.6A patent/EP3301676A1/en active Pending
- 2013-08-30 WO PCT/SE2013/051020 patent/WO2014035328A1/en active Application Filing
- 2013-08-30 RU RU2017101656A patent/RU2670785C9/en active
-
2015
- 2015-01-30 IN IN783DEN2015 patent/IN2015DN00783A/en unknown
- 2015-02-03 ZA ZA2015/00780A patent/ZA201500780B/en unknown
-
2016
- 2016-08-05 US US15/229,372 patent/US9997174B2/en active Active
-
2017
- 2017-04-10 JP JP2017077712A patent/JP6404396B2/en not_active Expired - Fee Related
-
2018
- 2018-01-25 ZA ZA2018/00523A patent/ZA201800523B/en unknown
- 2018-06-07 US US16/002,074 patent/US10607633B2/en active Active
- 2018-09-12 JP JP2018170864A patent/JP6671439B2/en active Active
- 2018-10-10 RU RU2018135681A patent/RU2768508C2/en active
-
2020
- 2020-02-18 US US16/793,061 patent/US11417354B2/en active Active
-
2022
- 2022-07-28 US US17/876,017 patent/US11900962B2/en active Active
-
2023
- 2023-12-14 US US18/540,361 patent/US20240119962A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6404396B2 (en) | Method and apparatus for voice activity detection | |
JP6096242B2 (en) | Voice interval detector and method | |
US20120215536A1 (en) | Methods and Voice Activity Detectors for Speech Encoders | |
JP5712220B2 (en) | Method and background estimator for speech activity detection | |
KR20100017279A (en) | Improved voice activity detector | |
KR20170001751A (en) | Comfort noise addition for modeling background noise at low bit-rates | |
JP2010525376A (en) | Method for adjusting length of DTX hangover period and speech coding apparatus | |
CN102903364A (en) | Method and device for adaptive discontinuous voice transmission | |
RU2707144C2 (en) | Audio encoder and audio signal encoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6127143 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |