JP4966453B2 - フレーム消去隠蔽処理装置 - Google Patents
フレーム消去隠蔽処理装置 Download PDFInfo
- Publication number
- JP4966453B2 JP4966453B2 JP2000612929A JP2000612929A JP4966453B2 JP 4966453 B2 JP4966453 B2 JP 4966453B2 JP 2000612929 A JP2000612929 A JP 2000612929A JP 2000612929 A JP2000612929 A JP 2000612929A JP 4966453 B2 JP4966453 B2 JP 4966453B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- speech
- pitch
- buffer
- ffa
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 73
- 230000008569 process Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 36
- 230000003111 delayed effect Effects 0.000 claims description 6
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 230000004044 response Effects 0.000 claims 1
- 239000000872 buffer Substances 0.000 description 122
- 239000002131 composite material Substances 0.000 description 40
- 238000010586 diagram Methods 0.000 description 14
- 230000007704 transition Effects 0.000 description 13
- 238000005070 sampling Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 230000000737 periodic effect Effects 0.000 description 7
- 230000002238 attenuated effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005461 lubrication Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Computational Linguistics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Error Detection And Correction (AREA)
Description
(技術分野)
この仮特許出願ではない特許出願は、1999年4月19日に出願された、米国特許仮出願第60/130,016号の利益を主張し、その主題をここに引用し編入する。以下の文書もまた、ここに引用し編入する。すなわち、ITU-T Recommendation G.711- Appendix I,"A high quality low complexity algorithm for packet loss concealment with G.711"(9/99)及びAmerican National Standard for Telecommunications - Packet Loss Concealment for Use with ITU-T Recommendation G.711 (T1.521-1999)である。
【0002】
本発明はパケットロス又はフレーム消去の隠蔽(Frame Erasure Concealment)(FEC)を実行する技法に関する。
【0003】
(背景技術)
フレーム消去の隠蔽(FEC)アルゴリズムは、音声通信システムにおける送信ロスを隠し、このシステムでは、入力スピーチ信号が、送信機において符号化及びパケット化され、ネットワーク上(どのような種類のものでもよい)に送信され、パケットを復号しスピーチ出力を再生する受信器において受信される。G.723.1やG.728やG.729などの標準的なCELPに基づくスピーチコーダの多くが、FECアルゴリズムを内蔵する又はその規格において提案されているが、G.711などには現在、そのような規格は存在しない。
【0004】
FECの目的は、合成スピーチ信号を生成し、受信したビットストリーム内の欠落データを補うことである。理想的には合成信号は、欠落した信号と同じ音色(timbre)及びスペクトル特性を有し、不自然な産物(unnatural artifact)を作り出さない。スピーチ信号はしばしば、局地的に静止しているので、信号の過去の履歴を使い、欠落部分の妥当な近似を生成することが可能である。消去が長すぎなければ、そして、信号が素早く変化してる領域において消去が起きなければ、隠蔽によって、消去を聞こえないほどにすることもできる。
【0005】
従来のシステムは、フレーム消去を隠蔽するためにピッチ波形複製技術(pitch waveform replication techniques)を利用する。この複製技法は例えば、D. J. Goodman et al., Waveform Substitution Techniques for Recovering Missing Speech Segments in Packet Voice Communications, Vol. 34, No. 6, IEEE Trans. on Acoustics, Speech, and Signal Processing 1440 - 48 (December 1996)や、O. J. Wasem et al., The Effect of Waveform Substitution on the Quality of PCM Packet Communications, Vol. 36, No. 3, IEEE Transactions on Acoustics, Speech, and Signal Processing 342 - 48 (March 1988)などを含む。
【0006】
ピッチ波形複製及びオーバーラップ加算技術を使い、音声データの失われたフレームを隠蔽する信号を合成していたが、これらの技術では時に、聞き手に不快感を与える「ビー」という音のアーティファクトを生じる。
【0007】
(発明の開示)
本発明は、内蔵又は標準FEC処理を持たないスピーチコーダにおいてパケットロス又はフレーム消去の隠蔽(FEC)を実行する方法及び装置に関する。復号器を備える受信器が、符号器から送信された、圧縮された音声情報の符号化されたフレームを受信する。受信器における遺失フレーム検出器が、符号化されたフレームが送信中に遺失したか又は破損したか、又は消去されたかを判断する。符号化されたフレームが消去されていなければ、符号化されたフレームは復号器によって復号され、復号器の出力によって一時メモリが更新される。所定の遅延期間の後、音声フレームが出力される。
【0008】
遺失フレーム検出器が、符号化されたフレームが消去されたと判断した場合は、FECモジュールがフレーム隠蔽処理を信号に施す。FEC処理は、消去されたフレームにおいて、自然に聞こえる合成音声を生成する。
【0009】
本発明は、音声符号化システム処理のパケットロス又はフレーム消去の隠蔽(FEC)を実行する方法又は装置に関する。符号化されたフレームが消去された場合、フレーム隠蔽処理が信号に施される。この処理は、欠落した音声を合成するためにピッチ波形の複製を使うが、従来の技術と違いこの処理は、消去の長さが増加するに従って、ピッチ波形の数を増やして複製(replicate)する。FEC処理は、消去されたフレームに対して、自然に聞こえる合成音声を生成することによりこの分野における進歩を作り出す。
【0010】
(発明を実施するための最良の形態)
近年、サービス品質の保証無しにG.711をパケットネットワーク上で使い公衆電話交換ネットワーク(Plain-Old Telephony Service)(POTS)をサポートすることに関心が集まっている。フレーム消去(又はパケットロス)が、これらのネットワーク上で発生した場合、呼の品質を著しく劣化させないために、隠蔽技法が必要とされる。高品質で複雑さが低いフレーム消去隠蔽(FEC)技法が開発され、以下に詳述する。
【0011】
FECを備える音声システムを例示するブロック図を図1に示す。図1において、符号器110が入力音声フレームを受信し、符号化されたビットストリームを出力する。ビットストリームは、遺失フレーム検出器115によって受信され、この遺失フレーム検出器115は、いずれかのフレームが失われたかどうかを判断する。遺失フレーム検出器115が、フレームが失われたと判断すると、遺失フレーム検出器115は、FECモジュール130に信号を送り、FECアルゴリズム又は処理を施し、欠落したフレームを再構築する。
【0012】
よって、FEC処理は、音声システムにおける送信の遺失を隠す。ここで音声システムは、入力信号が送信器において符号化及びパケット化され、ネットワーク上に送られ、フレームが失われたことを判断する遺失フレーム検出器115において受信されるようなものである。図1において、遺失フレーム検出器115は、予期されるフレームが到着しないこと又は使用不能なほど遅れて到着したことを判断する方法を備えているものと仮定される。IPネットワーク上ではこれは通常、送信されるフレーム内のデータに、シーケンスナンバ又はタイムスタンプを追加することにより実施される。遺失フレーム検出器115は、到着したフレームのシーケンスナンバと、フレームが失われていない場合に予期されるシーケンス数とを比較する。遺失フレーム検出器115が、予期された時にフレームが到着したと検出した場合、フレームは復号器120によって復号され、音声の出力フレームが出力システムに与えられる。フレームが失われていた場合、FECモジュール130が、当該フレーム分の合成音声を、その欠落したフレームの代わりに生成することにより、欠落した音声フレームを隠す処理を施す。
【0013】
G.723.1、G.728、及びG.729などの標準ITU−T CELPに基づくスピーチコーダの多くは、その復号器において音声の再生をモデル化する。よって復号器は、FEC処理を直接復号器に一体化させるために十分な状態情報を有する。これらのスピーチコーダでは、FECアルゴリズム又は処理が、その規格の一部として指定されている。
【0014】
これに対してG.711は、サンプル毎の符号化機構であり、音声の再現をモデル化しない。FECを助けるための状態情報がコーダ内に存在しない。その結果、G.711におけるFEC処理は、コーダとは独立したものである。
【0015】
G.711コーダと共に使われるシステムを例示するブロック図を図2に示す。図1と同様に、G.711符号器210は、ビットストリームデータを符号化し、遺失フレーム検出器215に送信する。ここでも、遺失フレーム検出器215が、到着するフレームのシーケンスナンバを、フレームが一つも失われていない時に予期されるシーケンスナンバと比較する。予期された時にフレームが到着した場合、フレームは復号器220による復号のために転送され、信号を記憶する履歴バッファ240に出力される。フレームが失われていた場合、遺失フレーム検出器215は、FECモジュール230に知らせ、FECモジュール230は、そのフレーム分の合成音声を、当該欠落したフレームの代わりに生成することにより、欠落した音声フレームを隠す処理を施す。
【0016】
しかしながら、欠落フレームを隠すためには、FECモジュール230は、G.711FEC処理を施す。この処理では、履歴バッファ240によって提供される、復号された出力信号の過去の履歴を使い、欠落フレーム内の信号がどのようなものであるべきかを推定する。これに加え、消去されたフレームと消去されなかったフレームとの間の潤滑な移行を保証するために、遅延モジュール250が、システムの出力を、例えば3.75ミリ秒(msec)などの所定の期間、遅延させる。この遅延により、合成消去信号が、消去の開始時において本物の出力信号とゆっくりと混合されるようになる。
【0017】
FECモジュール230と、履歴バッファ240のブロック及び遅延モジュール250の各ブロックの間の矢印は、FEC処理によって記憶された履歴が使用され、合成信号が生成されることを示す。これに加え、FECモジュール230の出力は、消去部分の期間中、履歴バッファ240を更新するために使われる。FEC処理は、G.711の復号された出力のみに依存するので、この処理はスピーチコーダが存在しない場合でも同様に正しく機能することに留意すべきである。
【0018】
FECモジュール230において、FEC処理によって入力信号がどのように処理されるのかを、図3にグラフで例示する。
【0019】
図中最上段の波形は、男性の話者よる有声音声の、ある領域において20ミリ秒の消去が発生した場合のシステムへの入力を示す。その下の波形では、FEC処理がこの間隙内で合成音声を生成することにより、欠落した部分を隠蔽している。比較の目的で、消去されていないオリジナルの入力信号も示す。理想的なシステムでは、隠蔽された音声は、元の音声と同じように聞こえる。図から明らかなように、合成波形は、欠落部分の元の音声に非常に似ている。「隠蔽された」波形が、「入力」波形からどのように生成されるかを、より詳しく下に述べる。
【0020】
FECモジュール230によって使われるFEC処理は、履歴バッファ240に記憶されている音声と同様の特徴を持つ合成音声を生成することにより、欠落フレームを隠蔽する。基本的な考え方は次のようなものである。信号が声に出されていた場合、信号は、準周期的であり局地的に一様であると仮定する。ピッチを推定し、履歴バッファ240内で最後に現れたピッチ周期を数回繰り返す。しかしながら、消去が長い場合又はピッチが短い場合(周波数が高い場合)、同じピッチ周期を繰り返しすぎると、自然な音声と比較して、正弦成分(harmonic)の多すぎる出力に繋がる。これらの、ビーという音やボーンという音として聞こえる人工的な正弦波的音声(ハーモニック・アーティファクト)を避けるために、履歴バッファ240から使われるピッチ周期の数は、消去の長さが大きくなるにつれて増やされる。短い消去部分では、最後のピッチ周期又は最後のいくつかのピッチ周期のみを履歴バッファ240から使い、合成信号を生成する。長い消去部分に対しては、履歴バッファ240の更に以前のピッチ周期も使う。長い消去部分に対しては、履歴バッファ240からのピッチ周期は、オリジナルの音声に現れた順序と異なる順序で再生される。しかしながら、実験により、長い消去の場合に生成される合成音声信号も、自然な音を作り出すことが確かめられている。
【0021】
消去部分が長ければ長いほど、合成信号が本物の信号から逸脱する可能性が高くなる。特定の種類の音を長く持続させることによって引き起こされるアーティファクトを回避するために、合成信号は、消去部分が長くなるにしたがって減衰される。10ミリ秒以下の期間の消去部分においては、減衰は必要とされない。10ミリ秒よりも長い消去部分には、合成信号は、追加の10ミリ秒毎に20%の割合で減衰される。60ミリ秒を過ぎると、合成信号はゼロ(無音)に設定される。これは、合成信号が元の信号と異なりすぎるため、平均的には、欠落した音声を60ミリ秒以降も隠蔽しようと努力し続けても、利点よりも害が多くなるためである。
【0022】
異なる源(source)からの信号間で移行(transision)が行われた場合には、この移行が非連続性を導入しないことが重要となる。この非連続性は、出力信号中のクリック又は不自然なアーティファクトとして聞こえる。これらの移行は、いくつかの場所で起きる。
【0023】
1.消去部分のはじめの部分、つまり合成信号の開始部と最後の良いフレームの尾部との境界。
【0024】
2.消去部分の終りの部分、つまり合成信号と消去部分の後の最初の良いフレームの開始部との境界。
【0025】
3.履歴バッファ240から使われるピッチ周期の数が、信号のバリエーションを増加させるために変更された時。
【0026】
4.履歴バッファ240の繰り返し部分間の境界。
【0027】
潤滑な移行を保証するため、オーバーラップ加算(Ovelap Adds)(OLA)が全ての信号境界において実行される。OLAは、一つの端部において重複する二つの信号を潤滑に組合わせる方法である。信号が重複する領域では、信号が窓によって重みを与えられ、その後、足される(混合される)。窓は、どのサンプルにおいても、重みの和が1になるように設計される。すなわち、信号の全体的な和に対する利得又は減衰は適用されない。これに加え、窓は、左側の信号では重みが1から始まり徐々に0へとフェードアウトし、右側の信号では重みが0から始まり徐々に1へとフェードインするよう設計される。よって、重複する窓の左側の領域では、左信号のみが存在し、重複する窓の右側の領域では、右信号のみが存在する。重複した領域内では、信号が左側の信号から右側の信号へと徐々に移行する。FEC処理では、三角形の窓が使われ、長さを変更可能な窓の計算の複雑さを低く保つが、例えばハニング窓(Hanning window)などの他の窓をその代わりに使っても良い。
【0028】
図4は、20ミリ秒間の消去の終了時における、合成音声が、消去部分の後に始まる本物の音声とOLAされるものを示す。この例では、OLA重み付け窓は、5.75ミリ秒の三角形の窓である。最上段の信号は、消去中に対応して生成された合成信号であり、その下のオーバーラップした信号は、消去部分の後の本物の音声である。OLA重み付け窓は、信号の下に示される。ここでは、消去期間中の本物の信号内でのピッチの変化によって、合成信号のピークと本物の信号のピークとが一致せず、OLA無しに信号を組合わせようとした場合に導入される非連続性を、「OLA無しの組合わせ」とラベルを付けたグラフに示す。「OLA無しの組み合わせ」グラフは、OLA窓の開始までの合成信号をと、その期間中の本物の信号とを複写することにより作成されている。OLA作業の結果は、境界での非連続性がどのように潤滑にされるかを示す。
【0029】
前述の論議は、ほぼ一様な、有声音声に、処理の例がどのように働くかに関連するものであるが、音声信号が素早く変化してる場合又は声に出されていない場合、音声信号は、周期的な構造を持たない場合もある。しかしながら、これらの信号も以下に示すように同じ方法で処理される。
【0030】
第一に、例示する実施形態で許容される最小のピッチ周期のピッチ推定値は5ミリ秒であり、これは200Hzの周波数に対応する。高周波の女性及び子供の話者の一部は、200Hz以上の基本振動数を有することが知られているが、窓を比較的大きく保つために、200Hzに制限する。この方法では、10ミリ秒間の消去フレーム内では、選択されたピッチ周期は、最大二回繰り返される。高周波の話者の場合、これは、ピッチ推定法が本物のピッチ周期の倍数を返すため、実際には出力が劣化しない。いずれの音声も多く繰り返しすぎないようにすることにより、処理は、非周期的な音声から周期的な合成音声を作り出さない。第二に、合成音声を生成するために使われるピッチ周期の数は、消去部分が長くなるにしたがって増やされるため、信号に十分な多様性が追加され、長い消去部分においても周期性が導入されない。
【0031】
音声の時間スケールのための波形類似オーバーラップ加算(Waveform Similarity Overlap Add)(WSOLA)処理もまた、大きな固定された大きさのOLA窓を使用し、周期的な音声信号及び非周期的な音声信号の両方の時間スケールを変更するために同じ処理が使えることに留意されたい。
【0032】
例示するFEC処理の全体像が上で説明されたが、個々のステップを下に、より詳しく説明する。
【0033】
説明の目的のために、フレームが10ミリ秒間の音声を含み、サンプリング速度が例えば8kHzであると仮定する。よって、消去は80サンプル(8000*0.010=80)ごとに起きる可能性がある。FEC処理は、その他のフレームの大きさ及びサンプリング速度に対しても容易に適合できることに留意すべきである。サンプリング速度を変更するには、単純に、ミリ秒単位で与えられる時間に0.001を掛け、その後サンプリング速度でかけて適切なバッファの大きさを取得する。例えば、履歴バッファ240は、最近48.75ミリ秒間の音声を含む。8kHzではこれは、バッファが(48.75*0.001*8000)=390サンプル分の長さであることを意味する。16kHzのサンプリングでは、バッファの大きさは二倍又は780サンプルとなる。
【0034】
バッファの大きさのいくつかは、処理が予想する最低の周波数に基づく。例えば、ここに例示する処理は、8kHzのサンプリングで見られる最低周波数が66+(2/3)Hzであると仮定する。これにより、最大ピッチ周期は、15ミリ秒(1/(66+(2/3))=0.015)と導かれる。履歴バッファ240の長さは、最低周波数の周期の3.25倍である。よって、履歴バッファ240は15*3.25=48.75ミリ秒となる。16kHzのサンプリングで、入力フィルタが50Hz(20ミリ秒の周期)までの低い周波数を許容する場合、履歴バッファ240は、20*3.25=65ミリ秒に伸ばされる。
【0035】
フレームの大きさもまた変更できる。10ミリ秒間がデフォルトとして選択されたのは、G.729などのいくつかの標準スピーチコーダによって使われるフレームの大きさであり、またいくつかの無線システムでも使われているからである。フレームの大きさを変更することは簡単である。望まれるフレームサイズが10ミリ秒の倍数である場合、処理は変更しない。単純に、消去処理のフレームサイズを10ミリ秒のままにして、それを一フレームに対して複数回呼び出す。望まれるパケットフレームサイズが、5ミリ秒など10ミリ秒の約数である場合、FEC処理は基本的には変更しない。しかしながら、ピッチバッファ内の周期を増大させたレートを、10ミリ秒間のフレーム数に基づいて変更する必要がある。12ミリ秒など、10ミリ秒の倍数でも約数でもないフレームサイズもまた順応させることができる。FEC処理は、ピッチバッファから使われるピッチ周期の数を増大させたレートを変更することに対し、柔軟性を有する。周期の数を、10ミリ秒毎から12ミリ秒毎に増やすことは、さほどの違いを生じない。
【0036】
図5は、図2に例示する実施形態において実行されるFEC処理のブロック図である。主要な機能のいくつかを実施するために必要とされる副ステップを、図7、図12、及び図16に更に詳しく示し、下で説明する。以下の論議では、値及びバッファを保持するためにいくつかの変数が使われる。これらの変数の概要を次の表に示す。
【0037】
【表1】
【0038】
図5のフローチャートに示すように、処理はステップ505から始まり、このステップでは、遺失フレーム検出器215によって次のフレームが受信される。ステップ510では、遺失フレーム検出器215が、フレームが消去されたかどうかを判断する。フレームが消去されていなければ、ステップ512においてフレームは復号器220によって復号される。次に、ステップ515において、復号されたフレームが、FECモジュール230による使用のために、履歴バッファ240に記憶される。
【0039】
履歴バッファ更新ステップでは、このバッファ240の長さは、予想される最長ピッチ周期の長さの3.25倍である。8kHzのサンプリングでは、最長ピッチ周期は15ミリ秒又は120サンプルであり、よって履歴バッファ240の長さは48.75ミリ秒又は390サンプルである。したがって、各フレームが復号器220によって復号された後、履歴バッファ240は、最新の音声履歴を含むように更新される。履歴バッファ240の更新を図6に示す。この図に示すように、履歴バッファ240は、最新の音声サンプルを右側に含み、最古の音声サンプルを左側に含む。復号された音声の最新フレームが受信された時には、この最新フレームはバッファ240の右からシフトされ、最古の音声に対応するサンプルがバッファの左から外へとシフトされる(図6bを参照)。
【0040】
これに加え、ステップ520において、遅延モジュール250が、音声の出力を最長ピッチ周期の1/4だけ遅延させる。8kHzサンプリングではこれは、120*1/4=30サンプル又は3.75ミリ秒にあたる。この遅延により、FECモジュール230が1/4波長OLAを消去の開始時に実行することを可能にし、これにより、消去の前の本物の信号と、FECモジュール230によって作り出された合成信号との間の潤滑な移行を保証する。フレームを復号した直後は、次のフレームが消去されたかどうか分からないため、出力を遅延させる必要がある。
【0041】
ステップ525において、音声が出力され、ステップ530において処理は、更にフレームが存在するかどうかを判断する。更なるフレームが存在しなければ、処理は終了する。更なるフレームが存在すれば、処理はステップ505に戻り次のフレームを取得する。
【0042】
しかしながら、ステップ510において、遺失フレーム検出器215が、受信したフレームが消去されたものと判断した場合、処理はステップ535に進み、ここでFECモジュール230が第一の消去されたフレームを隠蔽する。この処理は、下に図7に関して詳しく説明する。第一フレームが隠蔽された後、ステップ540において、遺失フレーム検出器215が、次のフレームを取得する。ステップ545において、遺失フレーム検出器215は、次のフレームが消去されているかどうかを判断する。もし次のフレームが消去されていなければ、ステップ555においてFECモジュール230が、消去後の第一フレームを処理する。この処理は、図16に関して下に詳しく説明する。第一フレームが処理された後、処理はステップ530に戻り、ここで遺失フレーム検出器215が更なるフレームが存在するかどうかを判断する。
【0043】
ステップ545で、遺失フレーム検出器215が、次又は後続のフレームが消去されていると判断した場合、FECモジュール230が第二及び後続のフレームを隠蔽する。この処理は下に図12に関して詳しく説明する。
【0044】
図7に、消去の最初の10ミリ秒間を隠蔽するために採られるステップを詳しく示す。ステップは、以下に詳しく考察される。
【0045】
図7に示すように、ステップ705において、消去部分の開始時点における第一の作業は、ピッチの推定である。これを行うためには、タップ遅延が40から120サンプルの、20ミリ秒(160サンプル)の窓を用いて、履歴バッファ240の信号に対し、正規化した自動相関が実行される。8kHzのサンプリングにおいては、これらの遅延は、5から15ミリ秒のピッチ周期又は200から66+(2/3)Hzの基本振動数に対応する。自動相関のピークにおけるタップが、ピッチ推定値Pである。Hがこの履歴を含むものと仮定し、−1(消去部分直前のサンプル)から−390(消去部分が始まる390サンプル前のサンプル)まで索引を付けられていると仮定すると、タップjに対する自動相関は、数学的に次のように表すことができる。
【0046】
【数1】
【0047】
自動相関のピーク又はピッチ推定値は、次のように表すことができる。
【0048】
【数2】
【0049】
上述のように、許容される最低ピッチ周期、5ミリ秒又は40サンプルは、単一のピッチ周期が10ミリ秒である消去されたフレームの間に最大二回繰り返されるのに十分な大きさである。これにより、無声音声中のアーティファクトを回避し、また、高ピッチの話者の不自然なハーモニックアーティファクトを回避する。
【0050】
図3の消去部分における、正規化した自動相関の計算例を、図8にグラフで示す。
【0051】
「履歴」とラベルを付けた波形は、消去部分直前の履歴バッファ240の内容である。水平な点線は、信号の基準部分、履歴バッファ240 H[−1]:H[−160]を示し、これは消去直前の20ミリ秒間の音声である。水平な直線は、40サンプル(最上段の線、5ミリ秒周期、200Hz周波数)から120サンプル(最下段の線、15ミリ秒周期、66+(2/3)Hz周波数)のタップにおいて遅延された20ミリ秒間の窓である。相関の出力もまた、窓の場所と整列してグラフに表示される。相関中の垂直な点線は、曲線のピークであり、推定ピッチを表す。この線は、消去の開始時から一周期戻る。この場合、Pは、7ミリ秒のピッチ周期及び142.9Hzの基本振動数に対応する56サンプルに等しい。
【0052】
自動相関の複雑さを低減するために、二つの特別な手順が使われる。これらの簡略化(shortcut)は、実質的には出力を変化させないが、処理の全体的な実行時間の複雑さに大きな影響を及ぼす。FEC処理の複雑さの大半は、自動相関に帰する。
【0053】
まず、全てのタップにおいて相関を計算する代わりに、ピークの大まかな推定を、省略された信号でまず判断し、その後、大まかなピークの近傍の領域において細かい検索が行われる。大まかな推定値のために、上述の自動相関(Autocor)関数を、2:1の省略された信号に作用する新しい関数に修正し、一つ置きのタップのみを検査する。
【0054】
【数3】
【0055】
次に、この大まかな推定値を使い、元の検索処理を、Prough−1≦j≦Prough+1の範囲のみで繰り返す。jが、元の40から120サンプルの範囲に納まるように注意が払われる。サンプリング速度が増やされた場合、省略率もまた増やすべきであり、これにより処理の全体的な複雑さがほぼ一定になるようにすべきであることに留意されたい。本発明者らは、8:1の省略率で、44.1kHzでサンプルされた音声において実験を行い、良好な結果を得た。図9は、簡略化自動相関(Autocorrough)のグラフと、通常の自動相関(Autocor)のグラフとを比較する図である。この図から明らかなように、Autocorroughは、Autocorに近い近似であり、8kHzのサンプリングにおいては、複雑さがおよそ4倍に低減されている。この4倍は、一つおきのタップのみが検査されることにより2倍、与えられたタップにおいて、一つおきのサンプルのみが検査されることによる2倍、からである。
【0056】
Autocor及びAutocorroughのエネルギ計算の複雑さを低減させるために第二の手順が実行される。各ステップで、完全な和を計算する代わりに、エネルギの継続和(running sum)が保持される。すなわち、
【0057】
【数4】
とすると、
【0058】
【数5】
となる。
【0059】
したがって、最初のエネルギの項が計算された後は、2度の掛け算及び2度の足し算のみが、FEC処理の各ステップでエネルギの項を更新するために必要となる。
【0060】
ピッチ推定値Pを得た後、消去部分の波形生成が開始される。図7のフローチャートに戻り、ステップ710において、最新の波長の3.25倍の部分(3.25*Pサンプル)が、履歴バッファ240、すなわちHからピッチバッファBへと複写される。最新の1/4波長以外のピッチバッファの内容は、消去部分の間一定に保たれる。これに対し、履歴バッファ240は、消去部分の間、合成音声によって更新し続けられる。
【0061】
ステップ715において、履歴バッファ240からの最新の1/4波長分(0.25*Pサンプル)が、最終クオーターバッファLに記憶される。この1/4波長分は、OLA作業のいくつかで必要とされる。簡便のため、履歴バッファ240にアクセスするために使ったものと同じ、負の数による索引付けの方法を使ってB及びLバッファにアクセスする。B[−1]は、消去部分が到着する前の最後のサンプルであり、B[−2]はその前のサンプル、などである。合成音声は、合成バッファSに入れられ、合成バッファSは、0から昇順に索引付けられる。よって、S[0]が最初の合成されたサンプルであり、S[1]が第二のサンプル、などとなる。
【0062】
図3に示す消去時の、ピッチバッファB及び最終クオーターバッファLの内容を、図10に示す。上述の部分で、周期Pは56サンプルと計算されている。よってピッチバッファは、3.25*56=182サンプルの長さである。最終クオーターバッファは、0.25*56=14サンプルの長さである。図においては、消去部分の開始時からPサンプル戻る毎に、垂直な線が配置されている。
【0063】
最初の10ミリ秒間の消去の間は、ピッチバッファからの最終ピッチ周期のみが使われ、よってステップ720において、U=1である。音声信号が、真に周期的であり、ピッチ推定値が推定値ではなく、正確に真正な値であった場合、ピッチバッファBから合成バッファSに直接波形を複写でき、この場合、合成信号は滑らかであり、かつ連続している。すなわち、S[0]=B[−P]、S[1]=B[−P+1]、などとなる。ピッチが10ミリ秒間のフレームよりも短い場合、すなわちP<80の場合、消去フレーム内で、単一のピッチ周期が一回よりも多く繰り返される。ここに示す例では、P=56であり、よって複写は、S[56]で戻って(roll over)くる。すなわち、サンプル56近くのサンプル毎の複写順序は、S[54]=B[−2]、S[55]=B[−1]、S[56]=B[−56]、S[57]=B[−55]、などとなる。
【0064】
実際には、ピッチ推定値は正確ではなく、信号は真に周期的でない場合もある。(a)本物の信号と合成信号との間の境界及び(b)周期が繰り返される境界における非連続性を回避するために、OLAが必要とされる。これら両方の境界において、本物の音声の終了時B[−1]から、一周期戻った音声B[−P]までの潤滑な移行が望ましい。したがって、ステップ725において、B[−P]の前の1/4波長と、履歴バッファ240の最終1/4波長又はLの内容と、をオーバーラップ加算することにより、これが達成される。グラフではこれは、ピッチバッファ内の最終1+(1/4)波長を取り出し、右に一波長分ずらし、OLAを1/4波長のオーバーラップした領域において行うことに等しい。ステップ730において、OLAの結果が、履歴バッファ240の最終1/4波長に複写される。合成波形の追加の周期を生成するために、ピッチバッファが追加の波長分だけずらされ、追加のOLAが実行される。
【0065】
図11は、最初の2回の反復におけるOLA作業を示す。この図では、全ての波形を交差する垂直な線は、消去部分の開始時を示す。短い垂直線は、ピッチマーカであり、消去境界からPサンプルの位置に配置される。波形「ピッチバッファ」と波形「Pだけ、右にずらされたもの」の間のオーバーラップ領域は、波形「Pだけ右にずらされたもの」と波形「2Pだけ、右にずらされたもの」の間のオーバーラップ領域と正確に同じサンプルに対応することを理解すべきである。したがって、1/4波長OLAは、一回だけ計算されればよい。
【0066】
ステップ735において、OLAをまず計算し、その結果をピッチバッファの最終1/4波長に入れることにより、真に周期的な信号に対する、合成波形の生成処理を使用できる。サンプルB[−P]からはじめ、ピッチバッファから合成バッファへと単純にサンプルを複写し、ピッチバッファの最後部に達した時には、ピッチバッファポインタをピッチ周期の最初に戻す。この技法を使い、どのような期間の合成波形でも生成できる。図11の「OLAと組合わせた」の波形における、消去開始時より左側のピッチ周期は、ピッチバッファの更新された内容に対応する。
【0067】
「OLAとの組合わせ」波形は、単一周期のピッチバッファが、周期Pの周期的な信号を非連続性なしに生成することを示している。この履歴バッファ240内の単一の波長から生成された合成音声は、消去部分の第一の10ミリ秒間を隠蔽するために使われる。OLAの効果は、「ピッチバッファ」内の消去部分の開始直前の1/4波長と「OLAと組合わせた」波形内のそれとを比較することにより見ることができる。ステップ730において、この「OLAと組合わせた」波形内の1/4波長はまた、履歴バッファ240内の最終1/4波長を置換える。
【0068】
三角形の窓を使ったOLA作業もまた、数学的に表現することができる。まず、変数P4を、サンプル内のピッチ周期の1/4と定義する。よって、P4=P>>2である。ここに示す例では、Pが56なので、P4は14となる。OLA作業は、1≦i≦P4の範囲で次のように表現できる。
【0069】
【数6】
【0070】
OLAの結果は、履歴バッファ240及びピッチバッファの両方の最後の1/4波長部分を置換える。履歴バッファ240を置換えることにより、履歴バッファもまた出力を3.75ミリ秒間遅延させるので、履歴バッファ240が更新される時に、1/4OLA移行が出力される。消去の第一の10ミリ秒間における出力波形は、図3の「隠蔽された」波形の最初の2つの点線間の領域に見ることができる。
【0071】
ステップ740において、フレームの合成音声の生成の終了時に、現在のオフセットが変数Oとしてピッチバッファに記憶される。このオフセットは、合成波形が次のフレームに続くことを可能にし、これにより、次のフレームの本物の信号又は合成信号とのOLAを可能にする。Oはまた、消去が10ミリ秒を超える場合に、正しい合成信号の位相を保持することを可能にする。ここに示す80サンプルのフレーム及びP=56の例では、消去の開始時には、オフセットは−56である。56サンプル後、オフセットは−56に戻る。更に、80−56=24サンプル後、オフセットは−56+24=−32であり、よって、第一のフレーム終了時にはOは−32である。
【0072】
ステップ745において、合成バッファにS[0]からS[79]が満たされた後、このSが履歴バッファ240を更新するために用いられる。ステップ750において、履歴バッファ240はまた、3.75ミリ秒の遅延を追加する。履歴バッファ240の取り扱い(handling)は、消去されたフレームの間も消去されなかったフレームの間も同じである。この時点で、図5のステップ535に示す第一フレームの隠蔽作業が終了し、処理は、図5のステップ540に進む。
【0073】
FECモジュール230が、図5のステップ550に示すように、10ミリ秒よりも後の後続のフレームを隠蔽するためにどのように機能するかを、図12に詳しく示す。第二及び後続の消去されたフレームにおいて、合成信号を生成する技法は、第一の消去されたフレームに類似しており、これに更に、信号にいくらかの多様性を足すための追加の作業が必要とされる。
【0074】
ステップ1205において、消去コードは、第二又は第三フレームが消去されているかどうかを判断する。第二及び第三の消去されたフレームの期間中は、ピッチバッファから使われるピッチ周期の数が増やされる。これにより信号に、より大きな多様性を導入し、合成出力が、ハーモニックしすぎて聞こえることを防止する。他の全ての移行と同様に、ピッチ周期数が増加された時には、境界を滑らかにするためにOLAが必要とされる。第三フレーム(30ミリ秒間の消去)より後は、ピッチバッファは、三波長の長さに一定に保たれる。これらの三波長が、消去の期間中の全合成音声を生成する。よって、図12の左側の分岐は、第二及び第三の消去されたフレームに対してのみ行われる。
【0075】
次に、ステップ1210において、ピッチバッファで使われる波長の数を増加させる。すなわち、U=U+1とする。
【0076】
第二又は第三の消去されたフレームの開始時に、ステップ1215において、一つ前のフレームからの合成信号が、更に1/4波長分、現在のフレームの開始部に続く。例えばここに示す例では、第二のフレームの開始時には、図13に示すように合成信号が現れる。この1/4波長は、ピッチバッファからの古い波長を使う新しい合成信号にオーバーラップ加算される。
【0077】
第二の消去フレームの開始時に、波長の数は2に増やされ、すなわちU=2とされる。単一波長ピッチバッファ同様、二波長(2-wavelength)ピッチバッファがそれ自体を繰り返す境界では、OLAを実行する必要がある。ここでは、ステップ1220において、ピッチバッファBの尾部から戻って1/4波長分の終わりのU波長が、最終クオーターバッファLの内容とオーバーラップ加算される。OLA演算子は、1≦i≦P4の範囲で次のように表すことができる。
【0078】
【数7】
【0079】
前述の方程式との違いは、右辺の、Bのインデックスに使われた定数Pが、PUに置き換えられていることのみである。二波長ピッチバッファの作成を図14にグラフで示す。
【0080】
図11と同様、消去開始時の左側の「OLAと組合わせた」波形は、二周期ピッチバッファの更新された内容である。短い垂直線は、ピッチ周期を表す。「OLAと組合わせた」波形の連続したピークの詳しい検査により、ピークが、消去部分の開始時点より1又は2波長分前に戻ったピークから交互になることが示される。
【0081】
第二のフレームの合成出力の開始時には、新しいピッチバッファからの信号を、図13において生成された1/4波長と合成させる必要がある。新しいピッチバッファからの合成信号は、使用されるバッファの最古の部分からのものであることが望ましい。しかしながら、新しい部分が、波形の類似した部分からのものであることに注意をしないと、耳障りなアーティファクトが作り出されるので、そのような注意が必要である。すなわち、正確な位相を保持することが望ましく、保持できなければ、波形が混合される際に、相殺的干渉を引き起こす可能性がある。
【0082】
これは、ステップ1225(図12)において、一つ前のフレームの終了時に記憶されたオフセットOから、ピッチバッファの使用部分内の最古の波長を指すまで、周期Pを引くことにより達成される。
【0083】
例えば、第一の消去されたフレームでは、ピッチバッファBの有効なインデックスは、−1から−Pであった。よって、第一の消去されたフレームから記憶されたOは、必ずこの範囲内にある。第二の消去されたフレームでは、有効な範囲は、−1から−2Pである。よって、Oが、−2P≦O<−Pの範囲内になるまで、OからPを引く。より一般的に言うと、Oが、−UP≦O<−(U−1)Pの範囲内になるまで、OからPを引く。ここに示す例では、第一の消去されたフレームの終了時において、P=56であり、O=−32である。−32から56を引いて、−88を得る。よって、第二フレーム内の第一の合成サンプルは、B[−88]から来る。次の合成サンプルは、B[−87]、などとなる。
【0084】
第二の消去されたフレームの開始時における、単一及び二周期ピッチバッファからの合成信号のOLA混合を、図15に示す。
【0085】
OからPを引くことにより、正確な波形位相が保持され、「1Pピッチバッファ」波形及び「2Pピッチバッファ」波形の信号のピークが整列されることに留意されたい。「OLAと組合わせた」波形は、第二の消去されたフレームの開始時において、異なるピッチバッファ間の潤滑な移行を示す。図15に示す「OLAと組合わせた」波形の第二フレームを出力できるまでに、もう一つの作業が必要とされる。
【0086】
ステップ1230(図12)において、新しいオフセットが使われ、ピッチバッファから一時バッファに1/4波長が複写される。ステップ1235において、1/4波長が、オフセットに足される。次に、ステップ1240において、一時バッファが、出力バッファの開始部とOLAされ、この結果が、出力バッファの第一の1/4波長に入れられる。
【0087】
ステップ1245において、オフセットが使われ、出力バッファ内の信号の残りの部分が生成される。ピッチバッファが、10ミリ秒間のフレームの間、出力バッファに複写される。ステップ1250において、現在のオフセットが、変数Oとしてピッチバッファに記憶される。
【0088】
第二及び後続の消去されたフレームの期間中は、ステップ1255において、線形の傾斜によって合成信号が減衰される。合成信号は、60ミリ秒後に設定される0又は沈黙へ徐々にフェードアウトする。消去が長くなるに従って、隠蔽された音声が真の信号から逸脱する可能性が高くなる。特定の種類の音を長時間保留すると、その音が短い期間中に隔離された状態では自然に聞こえても、隠蔽処理の出力中の不自然に聞こえるアーティファクトを生じる場合もある。これらの合成信号中のアーティファクトを回避するために、ゆっくりとしたフェードアウトが使われる。同様の作業が、G.723、G.728、及びG.729などの標準スピーチコーダにおける隠蔽処理においても行われている。
【0089】
FEC処理は、第二のフレームの開始時から、10ミリ秒間のフレーム毎に20%の割合で信号を減衰する。合成バッファSが減衰前の合成信号を含み、Fが連続して消去されたフレームの数(第一の消去されたフレームがF=1、第二の消去されたフレームがF=2、など)である場合、減衰は、次のように表すことができる。
【0090】
【数8】
【0091】
ここで、0≦i≦79であり、2≦F≦6である。例えば、第二の消去されたフレームの開始時のサンプルでは、F=2であり、F−2=0及び0.2/80=0.0025である。よって、S’[0]=1・S[0]、S’[1]=0.9975S[1]、S’[2]=0.995S[2]、及びS’[79]=0.8025S[79]である。第六の消去されたフレーム以降は、出力は単純にゼロに設定される。
【0092】
合成信号は、ステップ1255において減衰された後、ステップ1260において、履歴バッファ240に与えられ、ステップ1265において、出力が3.75ミリ秒間、遅延される。オフセットポインタOもまた、ピッチバッファ内の第二フレームの終了時の位置に更新され、これにより、合成信号が次のフレームに続くことができる。処理は、ステップ540に戻り、次のフレームを取得する。
【0093】
消去が二フレーム以上続いた場合、第三フレームの処理は、第二のフレームと同様に行われるが、ピッチバッファ内の周期の数は、1から2ではなく、2から3へと増やされる。ここに示す例では、消去は二フレームで終了するが、第三フレーム及びその後に使われる、三周期ピッチバッファを図17に示す。第三フレーム以降は、ピッチバッファ内の周期の数は、3に固定されるため、図12の右側の経路のみが使われる。この場合、単純にオフセットポインタOは単純にピッチバッファを合成出力に複写するために使われ、オーバーラップ加算作業は必要とされない。
【0094】
消去後の、第一の良好フレームに対するFECモジュール230の作業を図16に詳しく示す。消去部分の終了時点では、消去中に生成された合成音声と、本物の音声との間に、潤滑な移行が必要とされる。消去が一フレームのみの長さであった場合、ステップ1610において、1/4波長のための合成信号が続けられ、本物の音声とのオーバーラップ加算が実行される。
【0095】
ステップ1620において、FECモジュール230が、消去が10ミリ秒よりも長かったと判断した場合、合成信号と本物の信号とが一致しない可能性が高く、よって、ステップ1630において、合成音声生成が続けられ、OLA窓が更に、消去されたフレーム一つにつき4ミリ秒間分増やされる。このOLA窓の増加は、最大10ミリ秒間まで行われる。ピッチの推定値が、多少ずれていた場合又は本物の音声のピッチが消去期間中に変化していた場合、合成信号と本物の信号との位相の不一致の可能性は、消去が長くなればなるほど増加する。より長いOLA窓により、合成信号が、よりゆっくりとフェードアウトし、本物の音声信号が、よりゆっくりとフェードインすることを可能にする。消去が10ミリ秒よりも長かった場合、OLAを実行する前に、ステップ1640において合成音声を減衰する必要があり、これにより合成信号を、一つ前のフレームの信号レベルと一致させる。
【0096】
ステップ1650において、出力バッファの内容(合成音声)と、新しい入力フレームの開始部とにOLAが実行される。入力バッファの開始部は、OLAの結果によって置き換えられる。上述の例の消去部分の終了時点におけるOLAは、図4に見ることができる。上述の例の隠蔽処理の完全な出力は、図3の「隠蔽」波形に見ることができる。
【0097】
ステップ1660において、履歴バッファが入力バッファの内容によって更新される。ステップ1670において、音声の出力が3.75ミリ秒間遅延され、処理は図5のステップ530に戻り、次のフレームを取得する。
【0098】
小さな調整により、FEC処理をG.726など、サンプル間又はフレーム間の状態情報を保持し隠蔽を提供しないような、他のスピーチコーダに応用することもできる。FEC処理は上述と全く同じように使われ、消去期間中の合成波形を生成する。しかしながら、コーダの内部状態変数が、FEC処理によって生成された合成音声を探知することを保証するよう注意することが必要である。そうでなければ、消去部分の終了後、復号器が間違った状態を使って再始動するに従って、アーティファクト及び非連続部分が出力に現れる。消去部分終了時点のOLA窓はこの作業を助けるが、OLA窓以上のことをする必要がある。
【0099】
図18に示すように、消去の期間中、復号器1820を符号器1860に変換し、FECモジュール1830の合成出力を符号器1860の入力として使うことにより、より良い結果が得られる。
【0100】
これにより、復号器1820の変数状態は、隠蔽された音声を探知できる。典型的な符号器と違い、符号器1860は、状態情報を保持するためのみに作動され、その出力は使われないことに留意されたい。よって、簡略化の手法(short cut)を使って実行時間中の複雑さを相当に低減できる。
【0101】
上述のように、本発明によって多くの利点及び態様が提供される。特に、フレーム消去が進むにしたがって、合成信号を生成するために信号履歴から使われるピッチ周期が、時間の関数として増やされる。これにより、長い消去の際のハーモニック・アーティファクトをかなり低減できる。ピッチ周期は、元の順序で再生されないが、それでも出力は自然に聞こえる。
【0102】
サンプル間又はフレーム間の状態情報を保持するG.726及び他のコーダでは、復号器を、隠蔽処理の合成出力の出力に対する符号器として作動させてもよい。これにより、復号器の内部状態変数が出力を探知し、復号器内の間違った状態情報に起因する、消去部分終了後の非連続性を回避し、又は少なくともそのような非連続性を低減できる。符号器からの出力は使われない(この符号器の唯一の目的は、状態情報を保持することである)ため、機能を省略した、複雑さが低い型の符号器を使うことができる。
【0103】
例示する実施形態(40サンプル又は200Hz)で許容される最低ピッチ周期は、一部の女性及び子供の話者の基本振動数として予測されるものよりも大きい。よって、高周波数の話者の場合、消去部分の開始時点においても、合成音声を生成するために、1よりも多いピッチ周期が使われる。基本振動数が高い話者の場合、より頻繁に波形が繰り返される。合成信号の複数のピッチ周期により、ハーモニック・アーティファクトの可能性が低くなる。この技法はまた、音声内の無声部分や停止などの急激な移行部分において、信号が自然に聞こえるよう保つことを助ける。
【0104】
消去部分の後の最初の良好なフレームの終了時におけるOLA窓は、消去の長さと共に大きくなる。消去が長い場合、新しい良好フレームが到着した時に、位相の不一致が起きる可能性が高い。OLA窓を消去の長さの関数として伸ばすことにより、長い消去部分の際の位相不一致に起因する、突然の不調(glitch)を低減させ、同時に、消去が短い場合には、信号を迅速に回復させることを可能にする。
【0105】
本発明のFEC処理はまた、長さを変更可能なOLA窓を使う。このOLA窓は、1/4波長である推定ピッチの小さな断片であり、ピッチピークと整列していない。
【0106】
本発明のFEC処理は、有声(voiced)音声と、無声(unvoiced)音声とを区別しない。その代わりに、FEC処理は、処理の以下の二つの特性のため、無声音声をうまく再現することができる。(A)最小の窓の大きさが、ほどよく大きいため、音声の無声領域もほどよい多様性を有する。(B)処理が進むにつれてピッチバッファの長さが増やされ、これによりハーモニック・アーティファクトが導入されないことを保証する。大きな窓を使い有声音声と無声音声とに対する異なる取り扱いを避けることはまた、広く知られた時間スケール技法であるWSOLAにも存在することに留意すべきである。
【0107】
遅延を追加し、消去部分の開始時点におけるOLAを可能にすることは、本発明の処理においては、望ましくない態様と考えられるが、消去開始時において、本物の信号と合成信号との間の潤滑な移行を保証するために必要である。
【0108】
本発明は、上に概要を説明した特定の実施形態に関連して説明されたが、多くの代替案、変更案、及び変形案が、当業者には明らかであろう。したがって、上述の本発明の好適な実施形態は、例として示すものであり、制限するものではない。後述の請求項に定義される本発明の精神及び範囲から逸脱することなく、様々な変更を行ってもよい。
【0109】
本発明は、以下の図面を参照して詳述され、これらの図面において同様の符号は同様の要素を参照する。
【図面の簡単な説明】
【図1】 音声送信システムを例示する図である。
【図2】 G.711コーダ及びFECモジュールを備える音声送信システムを例示する図である。
【図3】 FEC技法を使った、出力音声信号を示す図である。
【図4】 消去の終了時における、オーバーラップ加算(overlap-add)(OLA)作業を示す図である。
【図5】 G.711コーダを使いFECを実行する処理を例示するフローチャートである。
【図6】 履歴バッファの更新処理を示すグラフである。
【図7】 信号の第一フレームの隠蔽処理を例示するフローチャートである。
【図8】 自動相関からのピッチの推定を示す図である。
【図9】 細かいピッチ推定と粗いピッチ推定との対比を示す図である。
【図10】 ピッチ及び最終クオーターバッファ(lastquarter buffer)内の信号を示す図である。
【図11】 単一周期ピッチバッファを使った、合成信号の生成を示す図である。
【図12】 信号の第二の又は後続の消去されたフレームを隠蔽する処理を例示するフローチャートである。
【図13】 第二の消去されたフレームへと続く合成信号を示す図である。
【図14】 二周期ピッチバッファを使った合成信号の生成を示す図である。
【図15】 第二の消去されたフレームの開始時におけるOLAを示す図である。
【図16】 消去後の第一フレームを処理する方法を例示するフローチャートである。
【図17】 三周期ピッチバッファを使った、合成信号の生成を示す図である。
【図18】 FEC技法を他のスピーチコーダで使用する例を示すブロック図である。
Claims (3)
- フレーム消去隠蔽処理装置であって、
検出器と、
前記検出器に接続された復号器と、
前記復号器に結合されたバッファ、および前記バッファに結合された遅延モジュールを含んで構成され、前記フレーム消去隠蔽処理装置の出力ポートに音声サンプルを出力するメモリと、
前記バッファと前記検出器とに接続されたFECモジュールと、
を備え、
前記検出器は、
音声情報を含む符号化情報に応じて動作し、前記符号化情報が復号化可能なフレームに相当すると判断した場合は、復号化可能なフレームを前記復号器に与え、前記符号化情報が予期されていないフレームに相当すると判断した場合は、前記FECモジュールにその旨を知らせ、前記予期されていないフレームには、フレームが遺失、破損、消去、または遅延したものが含まれ、
前記復号器は、
前記復号化可能なフレームを音声サンプルを含む音声セグメントに復号化し、その音声サンプルを前記バッファに記憶し、
前記FECモジュールは、
前記バッファに記憶された音声サンプルに基づいて音声ピッチ周期を推定する手段と、更新手段とを有し、
前記更新手段は、
第1の予期されていないフレームに関する知らせが前記FECモジュールに与えられた場合に、推定された音声ピッチ周期に基づいて定められる第1時間長の音声セグメントを前記バッファから取得し、前記第1時間長の音声セグメントを用いて第1合成音声セグメントを生成し、
前記第1の予期されていないフレームの直後の第2の予期されていないフレームに関する知らせが前記FECモジュールに与えられた場合に、推定された音声ピッチ周期に基づいて定められ前記第1時間長より長い第2時間長の音声セグメントを前記バッファから取得し、前記第2時間長の音声セグメントを用いて第2合成音声セグメントを生成し、その際にOLA処理を前記第1合成音声セグメントと前記第2合成音声セグメントとの間の境界部に適用し、前記第1合成音声セグメントおよび前記第2合成音声セグメントを前記バッファに記憶することを特徴とするフレーム消去隠蔽処理装置。 - 請求項1に記載のフレーム消去隠蔽処理装置において、
前記第1時間長は、
推定された音声ピッチ周期の自然数N倍の時間に、その音声ピッチ周期についての4分の1波長に相当する時間を加えた時間長であり、
前記第2時間長は、
推定された音声ピッチ周期の自然数(N+1)倍の時間に、その音声ピッチ周期についての4分の1波長に相当する時間を加えた時間長であることを特徴とするフレーム消去隠蔽処理装置。 - フレーム消去隠蔽処理装置であって、
検出器と、
前記検出器に接続された復号器と、
前記復号器に結合されたバッファ、および前記バッファに結合された遅延モジュールを含んで構成され、前記フレーム消去隠蔽処理装置の出力ポートに音声サンプルを出力するメモリと、
前記バッファと前記検出器とに接続されたFECモジュールと、
を備え、
前記検出器は、
音声情報を含む符号化情報に応じて動作し、前記符号化情報が復号化可能なフレームに相当すると判断した場合は、復号化可能なフレームを前記復号器に与え、前記符号化情報が予期されていないフレームに相当すると判断した場合は、前記FECモジュールにその旨を知らせ、前記予期されていないフレームには、フレームが遺失、破損、消去、または遅延したものが含まれ、
前記復号器は、
前記復号化可能なフレームを音声サンプルを含む音声セグメントに復号化し、その音声サンプルを前記バッファに記憶し、
前記FECモジュールは、
前記バッファに記憶された音声サンプルに基づいて、音声ピッチ周期を推定する手段と、更新手段とを有し、
前記更新手段は、
前記FECモジュールに対する知らせに応答して、推定された音声ピッチ周期と前記予期されていないフレームに先行して連続する予期されていないフレームの数とに基づいた時間長の音声セグメントを前記バッファから取得し、取得した音声セグメントを用いて合成音声セグメントを生成し、その際にOLA処理を前記合成音声セグメントと前記合成音声セグメント直前のフレームとの間の境界部に適用し、前記合成音声セグメントを前記バッファに記憶することを特徴とするフレーム消去隠蔽処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13001699P | 1999-04-19 | 1999-04-19 | |
US60/130,016 | 1999-04-19 | ||
PCT/US2000/010637 WO2000063885A1 (en) | 1999-04-19 | 2000-04-19 | Method and apparatus for performing packet loss or frame erasure concealment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002542521A JP2002542521A (ja) | 2002-12-10 |
JP4966453B2 true JP4966453B2 (ja) | 2012-07-04 |
Family
ID=22442648
Family Applications (12)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000612927A Expired - Lifetime JP4966452B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612925A Expired - Lifetime JP4441126B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612929A Expired - Lifetime JP4966453B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612928A Expired - Lifetime JP4975213B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612926A Expired - Lifetime JP5314232B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2010226159A Expired - Lifetime JP5341857B2 (ja) | 1999-04-19 | 2010-10-06 | 受信器において実行される方法および受信器 |
JP2010226160A Expired - Lifetime JP4967054B2 (ja) | 1999-04-19 | 2010-10-06 | 受信器において実行される方法および受信器 |
JP2012166660A Expired - Lifetime JP5426735B2 (ja) | 1999-04-19 | 2012-07-27 | フレーム消去隠蔽を実行するための装置 |
JP2012166661A Pending JP2012198581A (ja) | 1999-04-19 | 2012-07-27 | パケットロス又はフレーム消去隠蔽を実行するための方法及び装置 |
JP2013181789A Expired - Lifetime JP5690890B2 (ja) | 1999-04-19 | 2013-09-03 | 受信器、および受信器において実行される方法 |
JP2014150366A Expired - Lifetime JP5834116B2 (ja) | 1999-04-19 | 2014-07-24 | 受信器において実行される方法および受信器 |
JP2015139530A Expired - Lifetime JP6194336B2 (ja) | 1999-04-19 | 2015-07-13 | 受信器において実行される方法、受信器、およびフレーム消去隠蔽を実行するための装置 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000612927A Expired - Lifetime JP4966452B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612925A Expired - Lifetime JP4441126B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
Family Applications After (9)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000612928A Expired - Lifetime JP4975213B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612926A Expired - Lifetime JP5314232B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2010226159A Expired - Lifetime JP5341857B2 (ja) | 1999-04-19 | 2010-10-06 | 受信器において実行される方法および受信器 |
JP2010226160A Expired - Lifetime JP4967054B2 (ja) | 1999-04-19 | 2010-10-06 | 受信器において実行される方法および受信器 |
JP2012166660A Expired - Lifetime JP5426735B2 (ja) | 1999-04-19 | 2012-07-27 | フレーム消去隠蔽を実行するための装置 |
JP2012166661A Pending JP2012198581A (ja) | 1999-04-19 | 2012-07-27 | パケットロス又はフレーム消去隠蔽を実行するための方法及び装置 |
JP2013181789A Expired - Lifetime JP5690890B2 (ja) | 1999-04-19 | 2013-09-03 | 受信器、および受信器において実行される方法 |
JP2014150366A Expired - Lifetime JP5834116B2 (ja) | 1999-04-19 | 2014-07-24 | 受信器において実行される方法および受信器 |
JP2015139530A Expired - Lifetime JP6194336B2 (ja) | 1999-04-19 | 2015-07-13 | 受信器において実行される方法、受信器、およびフレーム消去隠蔽を実行するための装置 |
Country Status (6)
Country | Link |
---|---|
EP (5) | EP1088302B1 (ja) |
JP (12) | JP4966452B2 (ja) |
KR (5) | KR100736817B1 (ja) |
CA (5) | CA2335003C (ja) |
DE (5) | DE60029715T2 (ja) |
WO (5) | WO2000063885A1 (ja) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7177278B2 (en) | 1999-12-09 | 2007-02-13 | Broadcom Corporation | Late frame recovery method |
US6584438B1 (en) * | 2000-04-24 | 2003-06-24 | Qualcomm Incorporated | Frame erasure compensation method in a variable rate speech coder |
EP1217613A1 (fr) * | 2000-12-19 | 2002-06-26 | Koninklijke Philips Electronics N.V. | Reconstitution de trames manquantes ou mauvaises en téléphonie cellulaire |
US7308406B2 (en) | 2001-08-17 | 2007-12-11 | Broadcom Corporation | Method and system for a waveform attenuation technique for predictive speech coding based on extrapolation of speech waveform |
US7143032B2 (en) | 2001-08-17 | 2006-11-28 | Broadcom Corporation | Method and system for an overlap-add technique for predictive decoding based on extrapolation of speech and ringinig waveform |
US7453897B2 (en) * | 2001-10-03 | 2008-11-18 | Global Ip Solutions, Inc. | Network media playout |
FR2830970B1 (fr) * | 2001-10-12 | 2004-01-30 | France Telecom | Procede et dispositif de synthese de trames de substitution, dans une succession de trames representant un signal de parole |
CN1323532C (zh) * | 2001-11-15 | 2007-06-27 | 松下电器产业株式会社 | 错误隐蔽装置和方法 |
US7061912B1 (en) | 2002-01-17 | 2006-06-13 | Microtune (San Diego) , Inc. | Method and apparatus of packet loss concealment for CVSD coders |
EP1359698B1 (en) * | 2002-04-30 | 2005-01-12 | Psytechnics Ltd | Method and apparatus for transmission error characterisation |
DE60327371D1 (de) * | 2003-01-30 | 2009-06-04 | Fujitsu Ltd | EINRICHTUNG UND VERFAHREN ZUM VERBERGEN DES VERSCHWINDENS VON AUDIOPAKETEN, EMPFANGSENDGERuT UND AUDIOKOMMUNIKAITONSSYSTEM |
WO2004102531A1 (en) * | 2003-05-14 | 2004-11-25 | Oki Electric Industry Co., Ltd. | Apparatus and method for concealing erased periodic signal data |
JP4365653B2 (ja) * | 2003-09-17 | 2009-11-18 | パナソニック株式会社 | 音声信号送信装置、音声信号伝送システム及び音声信号送信方法 |
KR100587953B1 (ko) | 2003-12-26 | 2006-06-08 | 한국전자통신연구원 | 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템 |
EP2189978A1 (en) | 2004-08-30 | 2010-05-26 | QUALCOMM Incorporated | Adaptive De-Jitter Buffer for voice over IP |
US8085678B2 (en) | 2004-10-13 | 2011-12-27 | Qualcomm Incorporated | Media (voice) playback (de-jitter) buffer adjustments based on air interface |
US7519535B2 (en) | 2005-01-31 | 2009-04-14 | Qualcomm Incorporated | Frame erasure concealment in voice communications |
JP2008529073A (ja) * | 2005-01-31 | 2008-07-31 | ソノリト・アンパルトセルスカブ | 重み付けされたオーバーラップ加算方法 |
US8155965B2 (en) | 2005-03-11 | 2012-04-10 | Qualcomm Incorporated | Time warping frames inside the vocoder by modifying the residual |
US8355907B2 (en) | 2005-03-11 | 2013-01-15 | Qualcomm Incorporated | Method and apparatus for phase matching frames in vocoders |
US7930176B2 (en) | 2005-05-20 | 2011-04-19 | Broadcom Corporation | Packet loss concealment for block-independent speech codecs |
US7831421B2 (en) | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
JP4510742B2 (ja) * | 2005-10-13 | 2010-07-28 | 日本電信電話株式会社 | 音声パケット受信再生方法及びその装置、そのプログラム記録媒体 |
KR100792209B1 (ko) * | 2005-12-07 | 2008-01-08 | 한국전자통신연구원 | 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치 |
CN1983909B (zh) * | 2006-06-08 | 2010-07-28 | 华为技术有限公司 | 一种丢帧隐藏装置和方法 |
WO2008022207A2 (en) * | 2006-08-15 | 2008-02-21 | Broadcom Corporation | Time-warping of decoded audio signal after packet loss |
US8054969B2 (en) * | 2007-02-15 | 2011-11-08 | Avaya Inc. | Transmission of a digital message interspersed throughout a compressed information signal |
JP4504389B2 (ja) | 2007-02-22 | 2010-07-14 | 富士通株式会社 | 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム |
US8428953B2 (en) * | 2007-05-24 | 2013-04-23 | Panasonic Corporation | Audio decoding device, audio decoding method, program, and integrated circuit |
CN101325631B (zh) | 2007-06-14 | 2010-10-20 | 华为技术有限公司 | 一种估计基音周期的方法和装置 |
WO2009047461A1 (fr) * | 2007-09-21 | 2009-04-16 | France Telecom | Dissimulation d'erreur de transmission dans un signal numerique avec repartition de la complexite |
GB0920729D0 (en) * | 2009-11-26 | 2010-01-13 | Icera Inc | Signal fading |
US9787501B2 (en) | 2009-12-23 | 2017-10-10 | Pismo Labs Technology Limited | Methods and systems for transmitting packets through aggregated end-to-end connection |
US10218467B2 (en) | 2009-12-23 | 2019-02-26 | Pismo Labs Technology Limited | Methods and systems for managing error correction mode |
JP5637379B2 (ja) | 2010-11-26 | 2014-12-10 | ソニー株式会社 | 復号装置、復号方法、およびプログラム |
FR2977439A1 (fr) * | 2011-06-28 | 2013-01-04 | France Telecom | Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard. |
JP5671630B2 (ja) * | 2011-11-22 | 2015-02-18 | パイオニア株式会社 | 音声信号補正装置及び音声信号補正方法 |
FR3004876A1 (fr) * | 2013-04-18 | 2014-10-24 | France Telecom | Correction de perte de trame par injection de bruit pondere. |
BR112015031606B1 (pt) | 2013-06-21 | 2021-12-14 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Aparelho e método para desvanecimento de sinal aperfeiçoado em diferentes domínios durante ocultação de erros |
CN104751849B (zh) | 2013-12-31 | 2017-04-19 | 华为技术有限公司 | 语音频码流的解码方法及装置 |
CN107369455B (zh) * | 2014-03-21 | 2020-12-15 | 华为技术有限公司 | 语音频码流的解码方法及装置 |
US9706317B2 (en) | 2014-10-24 | 2017-07-11 | Starkey Laboratories, Inc. | Packet loss concealment techniques for phone-to-hearing-aid streaming |
GB2542219B (en) * | 2015-04-24 | 2021-07-21 | Pismo Labs Technology Ltd | Methods and systems for estimating missing data |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07271391A (ja) * | 1994-04-01 | 1995-10-20 | Toshiba Corp | 音声復号装置 |
JPH07325594A (ja) * | 1994-03-14 | 1995-12-12 | At & T Corp | 復号器において使用されるパラメータ信号アダプタの動作方法 |
JPH08305398A (ja) * | 1995-04-28 | 1996-11-22 | Matsushita Electric Ind Co Ltd | 音声復号化装置 |
JPH1022936A (ja) * | 1996-07-01 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 補間装置 |
JPH1069298A (ja) * | 1996-08-27 | 1998-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 音声復号化方法 |
WO1998013941A1 (en) * | 1996-09-25 | 1998-04-02 | Qualcomm Incorporated | Method and apparatus for detecting bad data packets received by a mobile telephone using decoded speech parameters |
JPH10282995A (ja) * | 1997-04-01 | 1998-10-23 | Matsushita Electric Ind Co Ltd | 欠落音声補間符号化方法、欠落音声補間符号化装置、及び記録媒体 |
WO1999066494A1 (en) * | 1998-06-19 | 1999-12-23 | Comsat Corporation | Improved lost frame recovery techniques for parametric, lpc-based speech coding systems |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS54139417A (en) * | 1978-04-21 | 1979-10-29 | Nippon Telegr & Teleph Corp <Ntt> | Interpolation receiving devices at voice short break time |
JPS5549042A (en) * | 1978-10-04 | 1980-04-08 | Nippon Telegr & Teleph Corp <Ntt> | Sound momentary break interpolating receiver |
JPS5782897A (en) * | 1980-11-12 | 1982-05-24 | Hitachi Ltd | Voice pitch extraction |
JPS5876891A (ja) * | 1981-10-30 | 1983-05-10 | 株式会社日立製作所 | 音声ピツチ抽出方法 |
JPS59143199A (ja) * | 1983-02-04 | 1984-08-16 | オムロン株式会社 | ピツチ抽出方法 |
JPS62203199A (ja) * | 1986-03-03 | 1987-09-07 | 富士通株式会社 | ピツチ周期抽出方式 |
JPH06350540A (ja) * | 1993-06-03 | 1994-12-22 | Sanyo Electric Co Ltd | デジタルオーディオ信号のエラー補償方法 |
SE501340C2 (sv) * | 1993-06-11 | 1995-01-23 | Ericsson Telefon Ab L M | Döljande av transmissionsfel i en talavkodare |
FI98164C (fi) * | 1994-01-24 | 1997-04-25 | Nokia Mobile Phones Ltd | Puhekooderin parametrien käsittely tietoliikennejärjestelmän vastaanottimessa |
US5615298A (en) * | 1994-03-14 | 1997-03-25 | Lucent Technologies Inc. | Excitation signal synthesis during frame erasure or packet loss |
JP3240832B2 (ja) * | 1994-06-06 | 2001-12-25 | 日本電信電話株式会社 | パケット音声復号方法 |
US5907822A (en) * | 1997-04-04 | 1999-05-25 | Lincom Corporation | Loss tolerant speech decoder for telecommunications |
DE19814633C2 (de) * | 1998-03-26 | 2001-09-13 | Deutsche Telekom Ag | Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung |
US6351730B2 (en) * | 1998-03-30 | 2002-02-26 | Lucent Technologies Inc. | Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment |
US6188987B1 (en) * | 1998-11-17 | 2001-02-13 | Dolby Laboratories Licensing Corporation | Providing auxiliary information with frame-based encoded audio information |
-
2000
- 2000-04-19 EP EP00926180A patent/EP1088302B1/en not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010637 patent/WO2000063885A1/en active IP Right Grant
- 2000-04-19 KR KR1020007014193A patent/KR100736817B1/ko active IP Right Grant
- 2000-04-19 EP EP00926156A patent/EP1088301B1/en not_active Expired - Lifetime
- 2000-04-19 KR KR1020007014272A patent/KR100630253B1/ko active IP Right Grant
- 2000-04-19 DE DE60029715T patent/DE60029715T2/de not_active Expired - Lifetime
- 2000-04-19 JP JP2000612927A patent/JP4966452B2/ja not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010576 patent/WO2000063883A1/en active IP Right Grant
- 2000-04-19 JP JP2000612925A patent/JP4441126B2/ja not_active Expired - Lifetime
- 2000-04-19 EP EP00923528A patent/EP1086451B1/en not_active Expired - Lifetime
- 2000-04-19 JP JP2000612929A patent/JP4966453B2/ja not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010467 patent/WO2000063881A1/en active IP Right Grant
- 2000-04-19 WO PCT/US2000/010577 patent/WO2000063884A1/en active IP Right Grant
- 2000-04-19 DE DE60039565T patent/DE60039565D1/de not_active Expired - Lifetime
- 2000-04-19 CA CA002335003A patent/CA2335003C/en not_active Expired - Lifetime
- 2000-04-19 DE DE60022597T patent/DE60022597T2/de not_active Expired - Lifetime
- 2000-04-19 JP JP2000612928A patent/JP4975213B2/ja not_active Expired - Lifetime
- 2000-04-19 KR KR1020007014271A patent/KR100745387B1/ko active IP Right Grant
- 2000-04-19 EP EP00928202A patent/EP1088303B1/en not_active Expired - Lifetime
- 2000-04-19 KR KR1020007014191A patent/KR100633720B1/ko active IP Right Grant
- 2000-04-19 CA CA002335006A patent/CA2335006C/en not_active Expired - Lifetime
- 2000-04-19 CA CA002335008A patent/CA2335008C/en not_active Expired - Lifetime
- 2000-04-19 DE DE60023237T patent/DE60023237T2/de not_active Expired - Lifetime
- 2000-04-19 EP EP00928201A patent/EP1086452B1/en not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010477 patent/WO2000063882A1/en active IP Right Grant
- 2000-04-19 CA CA002335005A patent/CA2335005C/en not_active Expired - Lifetime
- 2000-04-19 JP JP2000612926A patent/JP5314232B2/ja not_active Expired - Lifetime
- 2000-04-19 DE DE60016532T patent/DE60016532T2/de not_active Expired - Lifetime
- 2000-04-19 KR KR1020007014192A patent/KR100615344B1/ko active IP Right Grant
- 2000-04-19 CA CA002335001A patent/CA2335001C/en not_active Expired - Lifetime
-
2010
- 2010-10-06 JP JP2010226159A patent/JP5341857B2/ja not_active Expired - Lifetime
- 2010-10-06 JP JP2010226160A patent/JP4967054B2/ja not_active Expired - Lifetime
-
2012
- 2012-07-27 JP JP2012166660A patent/JP5426735B2/ja not_active Expired - Lifetime
- 2012-07-27 JP JP2012166661A patent/JP2012198581A/ja active Pending
-
2013
- 2013-09-03 JP JP2013181789A patent/JP5690890B2/ja not_active Expired - Lifetime
-
2014
- 2014-07-24 JP JP2014150366A patent/JP5834116B2/ja not_active Expired - Lifetime
-
2015
- 2015-07-13 JP JP2015139530A patent/JP6194336B2/ja not_active Expired - Lifetime
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07325594A (ja) * | 1994-03-14 | 1995-12-12 | At & T Corp | 復号器において使用されるパラメータ信号アダプタの動作方法 |
JPH07271391A (ja) * | 1994-04-01 | 1995-10-20 | Toshiba Corp | 音声復号装置 |
JPH08305398A (ja) * | 1995-04-28 | 1996-11-22 | Matsushita Electric Ind Co Ltd | 音声復号化装置 |
JPH1022936A (ja) * | 1996-07-01 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 補間装置 |
JPH1069298A (ja) * | 1996-08-27 | 1998-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 音声復号化方法 |
WO1998013941A1 (en) * | 1996-09-25 | 1998-04-02 | Qualcomm Incorporated | Method and apparatus for detecting bad data packets received by a mobile telephone using decoded speech parameters |
JPH10282995A (ja) * | 1997-04-01 | 1998-10-23 | Matsushita Electric Ind Co Ltd | 欠落音声補間符号化方法、欠落音声補間符号化装置、及び記録媒体 |
WO1999066494A1 (en) * | 1998-06-19 | 1999-12-23 | Comsat Corporation | Improved lost frame recovery techniques for parametric, lpc-based speech coding systems |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6194336B2 (ja) | 受信器において実行される方法、受信器、およびフレーム消去隠蔽を実行するための装置 | |
US6952668B1 (en) | Method and apparatus for performing packet loss or frame erasure concealment | |
US7117156B1 (en) | Method and apparatus for performing packet loss or frame erasure concealment | |
US20060167693A1 (en) | Method and apparatus for performing packet loss or frame erasure concealment | |
US6973425B1 (en) | Method and apparatus for performing packet loss or Frame Erasure Concealment | |
US6961697B1 (en) | Method and apparatus for performing packet loss or frame erasure concealment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070416 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100705 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100712 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100805 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100812 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100902 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110816 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110823 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110914 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110922 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111012 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120402 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |