JP2002542519A - パケットロス又はフレーム消去隠蔽を実行するための方法及び装置 - Google Patents
パケットロス又はフレーム消去隠蔽を実行するための方法及び装置Info
- Publication number
- JP2002542519A JP2002542519A JP2000612927A JP2000612927A JP2002542519A JP 2002542519 A JP2002542519 A JP 2002542519A JP 2000612927 A JP2000612927 A JP 2000612927A JP 2000612927 A JP2000612927 A JP 2000612927A JP 2002542519 A JP2002542519 A JP 2002542519A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- signal
- pitch
- buffer
- erased
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000005236 sound signal Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 57
- 238000012545 processing Methods 0.000 abstract description 23
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 239000000872 buffer Substances 0.000 description 119
- 239000002131 composite material Substances 0.000 description 37
- 238000010586 diagram Methods 0.000 description 14
- 230000007704 transition Effects 0.000 description 13
- 238000005070 sampling Methods 0.000 description 12
- 230000000737 periodic effect Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000001050 lubricating effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Computational Linguistics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Error Detection And Correction (AREA)
Abstract
Description
国特許仮出願第60/130,016号の利益を主張し、その主題をここに引用
し編入する。以下の文書もまた、ここに引用し編入する。すなわち、ITU-T Reco
mmendation G.711- Appendix I,"A high quality low complexity algorithm fo
r packet loss concealment with G.711"(9/99)及びAmerican National Standar
d for Telecommunications - Packet Loss Concealment for Use with ITU-T Re
commendation G.711 (T1.521-1999)である。
(FEC)を実行する技法に関する。
信ロスを隠し、このシステムでは、入力スピーチ信号が、送信機において符号化
及びパケット化され、ネットワーク上(どのような種類のものでもよい)に送信
され、パケットを復号しスピーチ出力を再生する受信器において受信される。G
.723.1やG.728やG.729などの標準的なCELPに基づくスピー
チコーダの多くが、FECアルゴリズムを内蔵する又はその規格において提案さ
れている。
欠落データを補うことである。理想的には合成信号は、欠落した信号と同じ音色
(timbre)及びスペクトル特性を有し、不自然なアーティファクト(unnatural
artifact)を作り出さない。スピーチ信号はしばしば、局地的に静止しているの
で、信号の過去の履歴を使い、欠落部分の妥当な近似を生成することが可能であ
る。消去が長すぎなければ、そして、信号が素早く変化してる領域において消去
が起きなければ、隠蔽によって、消去を聞こえないほどにすることもできる。
h waveform replication techniques)を利用する。この複製技法は例えば、D.
J. Goodman et al., Waveform Substitution Techniques for Recovering Missi
ng Speech Segments in Packet Voice Communications, Vol. 34, No. 6, IEEE
Trans. on Acoustics, Speech, and Signal Processing 1440 - 48 (December 1
996)や、O. J. Wasem et al., The Effect of Waveform Substitution on the Q
uality of PCM Packet Communications, Vol. 36, No. 3, IEEE Transactions o
n Acoustics, Speech, and Signal Processing 342 - 48 (March 1988)などを含
む。
レームを隠蔽する信号を合成していたが、これらの技術では時に、聞き手に不快
感を与える不自然なアーティファクトを生じる。
ィファクトを低減させる技法に関し、この不自然なアーティファクトは、FEC
技法を施すことに起因する場合もある。技法は、音声情報を表す受信されたパケ
ットに基づいて、音声復号器によって音声信号を生成し、復号器において、音声
データを含むパケットが音声信号を形成するために利用できないという判断に応
答し、以前に形成された音声信号の一部を使い、利用できないパケットに対応す
る音声信号の一部を合成することに関する。生成される音声信号が、所定の閾値
よりも高い基本振動数を有する場合(例えば小さな子供に関連する周波数)、基
本振動数が閾値よりも低い場合(例えば大人の男性に関連する周波数)と比較し
て、より多数の、以前に形成された音声信号のピッチ周期が使われ音声が合成さ
れる。
、FECモジュールがフレーム隠蔽処理を信号に施す。FEC処理は、消去され
たフレームにおいて、自然に聞こえる合成音声を生成する。
FEC)を実行する方法又は装置に関する。符号化されたフレームが消去された
場合、フレーム隠蔽処理が信号に施される。この処理は、欠落した音声を合成す
るためにピッチ波形の複製を使うが、従来の技術と違いこの処理は、消去の長さ
が増加するに従って、ピッチ波形の数を増やして複製(replicate)する。FE
C処理は、消去されたフレームに対して、自然に聞こえる合成音声を生成するこ
とによりこの分野における進歩を作り出す。
公衆電話交換ネットワーク(Plain-Old Telephony Service)(POTS)をサ
ポートすることに関心が集まっている。フレーム消去(又はパケットロス)が、
これらのネットワーク上で発生した場合、呼の品質を著しく劣化させないために
、隠蔽技法が必要とされる。高品質で複雑さが低いフレーム消去隠蔽(FEC)
技法が開発され、以下に詳述する。
て、符号器110が入力音声フレームを受信し、符号化されたビットストリーム
を出力する。ビットストリームは、遺失フレーム検出器115によって受信され
、この遺失フレーム検出器115は、いずれかのフレームが失われたかどうかを
判断する。遺失フレーム検出器115が、フレームが失われたと判断すると、遺
失フレーム検出器115は、FECモジュール130に信号を送り、FECアル
ゴリズム又は処理を施し、欠落したフレームを再構築する。
システムは、入力信号が送信器において符号化及びパケット化され、ネットワー
ク上に送られ、フレームが失われたことを判断する遺失フレーム検出器115に
おいて受信されるようなものである。図1において、遺失フレーム検出器115
は、予期されるフレームが到着しないこと又は使用不能なほど遅れて到着したこ
とを判断する方法を備えているものと仮定される。IPネットワーク上ではこれ
は通常、送信されるフレーム内のデータに、シーケンスナンバ又はタイムスタン
プを追加することにより実施される。遺失フレーム検出器115は、到着したフ
レームのシーケンスナンバと、フレームが失われていない場合に予期されるシー
ケンス数とを比較する。遺失フレーム検出器115が、予期された時にフレーム
が到着したと検出した場合、フレームは復号器120によって復号され、音声の
出力フレームが出力システムに与えられる。フレームが失われていた場合、FE
Cモジュール130が、当該フレーム分の合成音声を、その欠落したフレームの
代わりに生成することにより、欠落した音声フレームを隠す処理を施す。
Pに基づくスピーチコーダの多くは、その復号器において音声の再生をモデル化
する。よって復号器は、FEC処理を直接復号器に一体化させるために十分な状
態情報を有する。これらのスピーチコーダでは、FECアルゴリズム又は処理が
、その規格の一部として指定されている。
デル化しない。FECを助けるための状態情報がコーダ内に存在しない。その結
果、G.711におけるFEC処理は、コーダとは独立したものである。
。図1と同様に、G.711符号器210は、ビットストリームデータを符号化
し、遺失フレーム検出器215に送信する。ここでも、遺失フレーム検出器21
5が、到着するフレームのシーケンスナンバを、フレームが一つも失われていな
い時に予期されるシーケンスナンバと比較する。予期された時にフレームが到着
した場合、フレームは復号器220による復号のために転送され、信号を記憶す
る履歴バッファ240に出力される。フレームが失われていた場合、遺失フレー
ム検出器215は、FECモジュール230に知らせ、FECモジュール230
は、そのフレーム分の合成音声を、当該欠落したフレームの代わりに生成するこ
とにより、欠落した音声フレームを隠す処理を施す。
.711FEC処理を施す。この処理では、履歴バッファ240によって提供さ
れる、復号された出力信号の過去の履歴を使い、欠落フレーム内の信号がどのよ
うなものであるべきかを推定する。これに加え、消去されたフレームと消去され
なかったフレームとの間の潤滑な移行を保証するために、遅延モジュール250
が、システムの出力を、例えば3.75ミリ秒(msec)などの所定の期間、遅延
させる。この遅延により、合成消去信号が、消去の開始時において本物の出力信
号とゆっくりと混合されるようになる。
ル250の各ブロックの間の矢印は、FEC処理によって記憶された履歴が使用
され、合成信号が生成されることを示す。これに加え、FECモジュール230
の出力は、消去部分の期間中、履歴バッファ240を更新するために使われる。
FEC処理は、G.711の復号された出力のみに依存するので、この処理はス
ピーチコーダが存在しない場合でも同様に正しく機能することに留意すべきであ
る。
処理されるのかを、図3にグラフで例示する。
秒の消去が発生した場合のシステムへの入力を示す。その下の波形では、FEC
処理がこの間隙内で合成音声を生成することにより、欠落した部分を隠蔽してい
る。比較の目的で、消去されていないオリジナルの入力信号も示す。理想的なシ
ステムでは、隠蔽された音声は、元の音声と同じように聞こえる。図から明らか
なように、合成波形は、欠落部分の元の音声に非常に似ている。「隠蔽された」
波形が、「入力」波形からどのように生成されるかを、より詳しく下に述べる。
に記憶されている音声と同様の特徴を持つ合成音声を生成することにより、欠落
フレームを隠蔽する。基本的な考え方は次のようなものである。信号が声に出さ
れていた場合、信号は、準周期的であり局地的に一様であると仮定する。ピッチ
を推定し、履歴バッファ240内で最後に現れたピッチ周期を数回繰り返す。し
かしながら、消去が長い場合又はピッチが短い場合(周波数が高い場合)、同じ
ピッチ周期を繰り返しすぎると、自然な音声と比較して、正弦成分(harmonic)
の多すぎる出力に繋がる。これらの、ビーという音やボーンという音として聞こ
える人工的な正弦波的音声(ハーモニック・アーティファクト)を避けるために
、履歴バッファ240から使われるピッチ周期の数は、消去の長さが大きくなる
につれて増やされる。短い消去部分では、最後のピッチ周期又は最後のいくつか
のピッチ周期のみを履歴バッファ240から使い、合成信号を生成する。長い消
去部分に対しては、履歴バッファ240の更に以前のピッチ周期も使う。長い消
去部分に対しては、履歴バッファ240からのピッチ周期は、オリジナルの音声
に現れた順序と異なる順序で再生される。しかしながら、実験により、長い消去
の場合に生成される合成音声信号も、自然な音を作り出すことが確かめられてい
る。
くなる。特定の種類の音を長く持続させることによって引き起こされるアーティ
ファクトを回避するために、合成信号は、消去部分が長くなるにしたがって減衰
される。10ミリ秒以下の期間の消去部分においては、減衰は必要とされない。
10ミリ秒よりも長い消去部分には、合成信号は、追加の10ミリ秒毎に20%
の割合で減衰される。60ミリ秒を過ぎると、合成信号はゼロ(無音)に設定さ
れる。これは、合成信号が元の信号と異なりすぎるため、平均的には、欠落した
音声を60ミリ秒以降も隠蔽しようと努力し続けても、利点よりも害が多くなる
ためである。
この移行が非連続性を導入しないことが重要となる。この非連続性は、出力信号
中のクリック又は不自然なアーティファクトとして聞こえる。これらの移行は、
いくつかの場所で起きる。
の尾部との境界。
ームの開始部との境界。
ンを増加させるために変更された時。
全ての信号境界において実行される。OLAは、一つの端部において重複する二
つの信号を潤滑に組合わせる方法である。信号が重複する領域では、信号が窓に
よって重みを与えられ、その後、足される(混合される)。窓は、どのサンプル
においても、重みの和が1になるように設計される。すなわち、信号の全体的な
和に対する利得又は減衰は適用されない。これに加え、窓は、左側の信号では重
みが1から始まり徐々に0へとフェードアウトし、右側の信号では重みが0から
始まり徐々に1へとフェードインするよう設計される。よって、重複する窓の左
側の領域では、左信号のみが存在し、重複する窓の右側の領域では、右信号のみ
が存在する。重複した領域内では、信号が左側の信号から右側の信号へと徐々に
移行する。FEC処理では、三角形の窓が使われ、長さを変更可能な窓の計算の
複雑さを低く保つが、例えばハニング窓(Hanning window)などの他の窓をその
代わりに使っても良い。
始まる本物の音声とOLAされるものを示す。この例では、OLA重み付け窓は
、5.75ミリ秒の三角形の窓である。最上段の信号は、消去中に対応して生成
された合成信号であり、その下のオーバーラップした信号は、消去部分の後の本
物の音声である。OLA重み付け窓は、信号の下に示される。ここでは、消去期
間中の本物の信号内でのピッチの変化によって、合成信号のピークと本物の信号
のピークとが一致せず、OLA無しに信号を組合わせようとした場合に導入され
る非連続性を、「OLA無しの組合わせ」とラベルを付けたグラフに示す。「O
LA無しの組み合わせ」グラフは、OLA窓の開始までの合成信号をと、その期
間中の本物の信号とを複写することにより作成されている。OLA作業の結果は
、境界での非連続性がどのように潤滑にされるかを示す。
するものであるが、音声信号が素早く変化してる場合又は声に出されていない場
合、音声信号は、周期的な構造を持たない場合もある。しかしながら、これらの
信号も以下に示すように同じ方法で処理される。
ミリ秒であり、これは200Hzの周波数に対応する。高周波の女性及び子供の
話者の一部は、200Hz以上の基本振動数を有することが知られているが、窓
を比較的大きく保つために、200Hzに制限する。この方法では、10ミリ秒
間の消去フレーム内では、選択されたピッチ周期は、最大二回繰り返される。高
周波の話者の場合、これは、ピッチ推定法が本物のピッチ周期の倍数を返すため
、実際には出力が劣化しない。いずれの音声も多く繰り返しすぎないようにする
ことにより、処理は、非周期的な音声から周期的な合成音声を作り出さない。第
二に、合成音声を生成するために使われるピッチ周期の数は、消去部分が長くな
るにしたがって増やされるため、信号に十分な多様性が追加され、長い消去部分
においても周期性が導入されない。
ity Overlap Add)(WSOLA)処理もまた、大きな固定された大きさのOL
A窓を使用し、周期的な音声信号及び非周期的な音声信号の両方の時間スケール
を変更するために同じ処理が使えることに留意されたい。
り詳しく説明する。
度が例えば8kHzであると仮定する。よって、消去は80サンプル(8000
*0.010=80)ごとに起きる可能性がある。FEC処理は、その他のフレ
ームの大きさ及びサンプリング速度に対しても容易に適合できることに留意すべ
きである。サンプリング速度を変更するには、単純に、ミリ秒単位で与えられる
時間に0.001を掛け、その後サンプリング速度でかけて適切なバッファの大
きさを取得する。例えば、履歴バッファ240は、最近48.75ミリ秒間の音
声を含む。8kHzではこれは、バッファが(48.75*0.001*800
0)=390サンプル分の長さであることを意味する。16kHzのサンプリン
グでは、バッファの大きさは二倍又は780サンプルとなる。
ば、ここに例示する処理は、8kHzのサンプリングで見られる最低周波数が6
6+(2/3)Hzであると仮定する。これにより、最大ピッチ周期は、15ミ
リ秒(1/(66+(2/3))=0.015)と導かれる。履歴バッファ24
0の長さは、最低周波数の周期の3.25倍である。よって、履歴バッファ24
0は15*3.25=48.75ミリ秒となる。16kHzのサンプリングで、
入力フィルタが50Hz(20ミリ秒の周期)までの低い周波数を許容する場合
、履歴バッファ240は、20*3.25=65ミリ秒に伸ばされる。
れたのは、G.729などのいくつかの標準スピーチコーダによって使われるフ
レームの大きさであり、またいくつかの無線システムでも使われているからであ
る。フレームの大きさを変更することは簡単である。望まれるフレームサイズが
10ミリ秒の倍数である場合、処理は変更しない。単純に、消去処理のフレーム
サイズを10ミリ秒のままにして、それを一フレームに対して複数回呼び出す。
望まれるパケットフレームサイズが、5ミリ秒など10ミリ秒の約数である場合
、FEC処理は基本的には変更しない。しかしながら、ピッチバッファ内の周期
を増大させたレートを、10ミリ秒間のフレーム数に基づいて変更する必要があ
る。12ミリ秒など、10ミリ秒の倍数でも約数でもないフレームサイズもまた
順応させることができる。FEC処理は、ピッチバッファから使われるピッチ周
期の数を増大させたレートを変更することに対し、柔軟性を有する。周期の数を
、10ミリ秒毎から12ミリ秒毎に増やすことは、さほどの違いを生じない。
である。主要な機能のいくつかを実施するために必要とされる副ステップを、図
7、図12、及び図16に更に詳しく示し、下で説明する。以下の論議では、値
及びバッファを保持するためにいくつかの変数が使われる。これらの変数の概要
を次の表に示す。
ステップでは、遺失フレーム検出器215によって次のフレームが受信される。
ステップ510では、遺失フレーム検出器215が、フレームが消去されたかど
うかを判断する。フレームが消去されていなければ、ステップ512においてフ
レームは復号器220によって復号される。次に、ステップ515において、復
号されたフレームが、FECモジュール230による使用のために、履歴バッフ
ァ240に記憶される。
長ピッチ周期の長さの3.25倍である。8kHzのサンプリングでは、最長ピ
ッチ周期は15ミリ秒又は120サンプルであり、よって履歴バッファ240の
長さは48.75ミリ秒又は390サンプルである。したがって、各フレームが
復号器220によって復号された後、履歴バッファ240は、最新の音声履歴を
含むように更新される。履歴バッファ240の更新を図6に示す。この図に示す
ように、履歴バッファ240は、最新の音声サンプルを右側に含み、最古の音声
サンプルを左側に含む。復号された音声の最新フレームが受信された時には、こ
の最新フレームはバッファ240の右からシフトされ、最古の音声に対応するサ
ンプルがバッファの左から外へとシフトされる(図6bを参照)。
を最長ピッチ周期の1/4だけ遅延させる。8kHzサンプリングではこれは、
120*1/4=30サンプル又は3.75ミリ秒にあたる。この遅延により、
FECモジュール230が1/4波長OLAを消去の開始時に実行することを可
能にし、これにより、消去の前の本物の信号と、FECモジュール230によっ
て作り出された合成信号との間の潤滑な移行を保証する。フレームを復号した直
後は、次のフレームが消去されたかどうか分からないため、出力を遅延させる必
要がある。
更にフレームが存在するかどうかを判断する。更なるフレームが存在しなければ
、処理は終了する。更なるフレームが存在すれば、処理はステップ505に戻り
次のフレームを取得する。
したフレームが消去されたものと判断した場合、処理はステップ535に進み、
ここでFECモジュール230が第一の消去されたフレームを隠蔽する。この処
理は、下に図7に関して詳しく説明する。第一フレームが隠蔽された後、ステッ
プ540において、遺失フレーム検出器215が、次のフレームを取得する。ス
テップ545において、遺失フレーム検出器215は、次のフレームが消去され
ているかどうかを判断する。もし次のフレームが消去されていなければ、ステッ
プ555においてFECモジュール230が、消去後の第一フレームを処理する
。この処理は、図16に関して下に詳しく説明する。第一フレームが処理された
後、処理はステップ530に戻り、ここで遺失フレーム検出器215が更なるフ
レームが存在するかどうかを判断する。
去されていると判断した場合、FECモジュール230が第二及び後続のフレー
ムを隠蔽する。この処理は下に図12に関して詳しく説明する。
く示す。ステップは、以下に詳しく考察される。
一の作業は、ピッチの推定である。これを行うためには、タップ遅延が40から
120サンプルの、20ミリ秒(160サンプル)の窓を用いて、履歴バッファ
240の信号に対し、正規化した自動相関が実行される。8kHzのサンプリン
グにおいては、これらの遅延は、5から15ミリ秒のピッチ周期又は200から
66+(2/3)Hzの基本振動数に対応する。自動相関のピークにおけるタッ
プが、ピッチ推定値Pである。Hがこの履歴を含むものと仮定し、−1(消去部
分直前のサンプル)から−390(消去部分が始まる390サンプル前のサンプ
ル)まで索引を付けられていると仮定すると、タップjに対する自動相関は、数
学的に次のように表すことができる。
一のピッチ周期が10ミリ秒である消去されたフレームの間に最大二回繰り返さ
れるのに十分な大きさである。これにより、無声音声中のアーティファクトを回
避し、また、高ピッチの話者の不自然なハーモニックアーティファクトを回避す
る。
す。
である。水平な点線は、信号の基準部分、履歴バッファ240 H[−1]:H
[−160]を示し、これは消去直前の20ミリ秒間の音声である。水平な直線
は、40サンプル(最上段の線、5ミリ秒周期、200Hz周波数)から120
サンプル(最下段の線、15ミリ秒周期、66+(2/3)Hz周波数)のタッ
プにおいて遅延された20ミリ秒間の窓である。相関の出力もまた、窓の場所と
整列してグラフに表示される。相関中の垂直な点線は、曲線のピークであり、推
定ピッチを表す。この線は、消去の開始時から一周期戻る。この場合、Pは、7
ミリ秒のピッチ周期及び142.9Hzの基本振動数に対応する56サンプルに
等しい。
簡略化(shortcut)は、実質的には出力を変化させないが、処理の全体的な実行
時間の複雑さに大きな影響を及ぼす。FEC処理の複雑さの大半は、自動相関に
帰する。
を、省略された信号でまず判断し、その後、大まかなピークの近傍の領域におい
て細かい検索が行われる。大まかな推定値のために、上述の自動相関(Auto
cor)関数を、2:1の省略された信号に作用する新しい関数に修正し、一つ
置きのタップのみを検査する。
るように注意が払われる。サンプリング速度が増やされた場合、省略率もまた増
やすべきであり、これにより処理の全体的な複雑さがほぼ一定になるようにすべ
きであることに留意されたい。本発明者らは、8:1の省略率で、44.1kH
zでサンプルされた音声において実験を行い、良好な結果を得た。図9は、簡略
化自動相関(Autocorrough)のグラフと、通常の自動相関(Autoc
or)のグラフとを比較する図である。この図から明らかなように、Autoc
orroughは、Autocorに近い近似であり、8kHzのサンプリングにお
いては、複雑さがおよそ4倍に低減されている。この4倍は、一つおきのタップ
のみが検査されることにより2倍、与えられたタップにおいて、一つおきのサン
プルのみが検査されることによる2倍、からである。
るために第二の手順が実行される。各ステップで、完全な和を計算する代わりに
、エネルギの継続和(running sum)が保持される。すなわち、
足し算のみが、FEC処理の各ステップでエネルギの項を更新するために必要と
なる。
ャートに戻り、ステップ710において、最新の波長の3.25倍の部分(3.
25*Pサンプル)が、履歴バッファ240、すなわちHからピッチバッファB
へと複写される。最新の1/4波長以外のピッチバッファの内容は、消去部分の
間一定に保たれる。これに対し、履歴バッファ240は、消去部分の間、合成音
声によって更新し続けられる。
.25*Pサンプル)が、最終クオーターバッファLに記憶される。この1/4
波長分は、OLA作業のいくつかで必要とされる。簡便のため、履歴バッファ2
40にアクセスするために使ったものと同じ、負の数による索引付けの方法を使
ってB及びLバッファにアクセスする。B[−1]は、消去部分が到着する前の
最後のサンプルであり、B[−2]はその前のサンプル、などである。合成音声
は、合成バッファSに入れられ、合成バッファSは、0から昇順に索引付けられ
る。よって、S[0]が最初の合成されたサンプルであり、S[1]が第二のサ
ンプル、などとなる。
を、図10に示す。上述の部分で、周期Pは56サンプルと計算されている。よ
ってピッチバッファは、3.25*56=182サンプルの長さである。最終ク
オーターバッファは、0.25*56=14サンプルの長さである。図において
は、消去部分の開始時からPサンプル戻る毎に、垂直な線が配置されている。
が使われ、よってステップ720において、U=1である。音声信号が、真に周
期的であり、ピッチ推定値が推定値ではなく、正確に真正な値であった場合、ピ
ッチバッファBから合成バッファSに直接波形を複写でき、この場合、合成信号
は滑らかであり、かつ連続している。すなわち、S[0]=B[−P]、S[1
]=B[−P+1]、などとなる。ピッチが10ミリ秒間のフレームよりも短い
場合、すなわちP<80の場合、消去フレーム内で、単一のピッチ周期が一回よ
りも多く繰り返される。ここに示す例では、P=56であり、よって複写は、S
[56]で戻って(roll over)くる。すなわち、サンプル56近くのサンプル
毎の複写順序は、S[54]=B[−2]、S[55]=B[−1]、S[56
]=B[−56]、S[57]=B[−55]、などとなる。
。(a)本物の信号と合成信号との間の境界及び(b)周期が繰り返される境界
における非連続性を回避するために、OLAが必要とされる。これら両方の境界
において、本物の音声の終了時B[−1]から、一周期戻った音声B[−P]ま
での潤滑な移行が望ましい。したがって、ステップ725において、B[−P]
の前の1/4波長と、履歴バッファ240の最終1/4波長又はLの内容と、を
オーバーラップ加算することにより、これが達成される。グラフではこれは、ピ
ッチバッファ内の最終1+(1/4)波長を取り出し、右に一波長分ずらし、O
LAを1/4波長のオーバーラップした領域において行うことに等しい。ステッ
プ730において、OLAの結果が、履歴バッファ240の最終1/4波長に複
写される。合成波形の追加の周期を生成するために、ピッチバッファが追加の波
長分だけずらされ、追加のOLAが実行される。
波形を交差する垂直な線は、消去部分の開始時を示す。短い垂直線は、ピッチマ
ーカであり、消去境界からPサンプルの位置に配置される。波形「ピッチバッフ
ァ」と波形「Pだけ、右にずらされたもの」の間のオーバーラップ領域は、波形
「Pだけ右にずらされたもの」と波形「2Pだけ、右にずらされたもの」の間の
オーバーラップ領域と正確に同じサンプルに対応することを理解すべきである。
したがって、1/4波長OLAは、一回だけ計算されればよい。
最終1/4波長に入れることにより、真に周期的な信号に対する、合成波形の生
成処理を使用できる。サンプルB[−P]からはじめ、ピッチバッファから合成
バッファへと単純にサンプルを複写し、ピッチバッファの最後部に達した時には
、ピッチバッファポインタをピッチ周期の最初に戻す。この技法を使い、どのよ
うな期間の合成波形でも生成できる。図11の「OLAと組合わせた」の波形に
おける、消去開始時より左側のピッチ周期は、ピッチバッファの更新された内容
に対応する。
的な信号を非連続性なしに生成することを示している。この履歴バッファ240
内の単一の波長から生成された合成音声は、消去部分の第一の10ミリ秒間を隠
蔽するために使われる。OLAの効果は、「ピッチバッファ」内の消去部分の開
始直前の1/4波長と「OLAと組合わせた」波形内のそれとを比較することに
より見ることができる。ステップ730において、この「OLAと組合わせた」
波形内の1/4波長はまた、履歴バッファ240内の最終1/4波長を置換える
。
、変数P4を、サンプル内のピッチ周期の1/4と定義する。よって、P4=P
>>2である。ここに示す例では、Pが56なので、P4は14となる。OLA
作業は、1≦i≦P4の範囲で次のように表現できる。
4波長部分を置換える。履歴バッファ240を置換えることにより、履歴バッフ
ァもまた出力を3.75ミリ秒間遅延させるので、履歴バッファ240が更新さ
れる時に、1/4OLA移行が出力される。消去の第一の10ミリ秒間における
出力波形は、図3の「隠蔽された」波形の最初の2つの点線間の領域に見ること
ができる。
セットが変数Oとしてピッチバッファに記憶される。このオフセットは、合成波
形が次のフレームに続くことを可能にし、これにより、次のフレームの本物の信
号又は合成信号とのOLAを可能にする。Oはまた、消去が10ミリ秒を超える
場合に、正しい合成信号の位相を保持することを可能にする。ここに示す80サ
ンプルのフレーム及びP=56の例では、消去の開始時には、オフセットは−5
6である。56サンプル後、オフセットは−56に戻る。更に、80−56=2
4サンプル後、オフセットは−56+24=−32であり、よって、第一のフレ
ーム終了時にはOは−32である。
た後、このSが履歴バッファ240を更新するために用いられる。ステップ75
0において、履歴バッファ240はまた、3.75ミリ秒の遅延を追加する。履
歴バッファ240の取り扱い(handling)は、消去されたフレームの間も消去さ
れなかったフレームの間も同じである。この時点で、図5のステップ535に示
す第一フレームの隠蔽作業が終了し、処理は、図5のステップ540に進む。
よりも後の後続のフレームを隠蔽するためにどのように機能するかを、図12に
詳しく示す。第二及び後続の消去されたフレームにおいて、合成信号を生成する
技法は、第一の消去されたフレームに類似しており、これに更に、信号にいくら
かの多様性を足すための追加の作業が必要とされる。
ているかどうかを判断する。第二及び第三の消去されたフレームの期間中は、ピ
ッチバッファから使われるピッチ周期の数が増やされる。これにより信号に、よ
り大きな多様性を導入し、合成出力が、ハーモニックしすぎて聞こえることを防
止する。他の全ての移行と同様に、ピッチ周期数が増加された時には、境界を滑
らかにするためにOLAが必要とされる。第三フレーム(30ミリ秒間の消去)
より後は、ピッチバッファは、三波長の長さに一定に保たれる。これらの三波長
が、消去の期間中の全合成音声を生成する。よって、図12の左側の分岐は、第
二及び第三の消去されたフレームに対してのみ行われる。
させる。すなわち、U=U+1とする。
一つ前のフレームからの合成信号が、更に1/4波長分、現在のフレームの開始
部に続く。例えばここに示す例では、第二のフレームの開始時には、図13に示
すように合成信号が現れる。この1/4波長は、ピッチバッファからの古い波長
を使う新しい合成信号にオーバーラップ加算される。
される。単一波長ピッチバッファ同様、二波長(2-wavelength)ピッチバッファ
がそれ自体を繰り返す境界では、OLAを実行する必要がある。ここでは、ステ
ップ1220において、ピッチバッファBの尾部から戻って1/4波長分の終わ
りのU波長が、最終クオーターバッファLの内容とオーバーラップ加算される。
OLA演算子は、1≦i≦P4の範囲で次のように表すことができる。
Uに置き換えられていることのみである。二波長ピッチバッファの作成を図14
にグラフで示す。
ッチバッファの更新された内容である。短い垂直線は、ピッチ周期を表す。「O
LAと組合わせた」波形の連続したピークの詳しい検査により、ピークが、消去
部分の開始時点より1又は2波長分前に戻ったピークから交互になることが示さ
れる。
、図13において生成された1/4波長と合成させる必要がある。新しいピッチ
バッファからの合成信号は、使用されるバッファの最古の部分からのものである
ことが望ましい。しかしながら、新しい部分が、波形の類似した部分からのもの
であることに注意をしないと、耳障りなアーティファクトが作り出されるので、
そのような注意が必要である。すなわち、正確な位相を保持することが望ましく
、保持できなければ、波形が混合される際に、相殺的干渉を引き起こす可能性が
ある。
記憶されたオフセットOから、ピッチバッファの使用部分内の最古の波長を指す
まで、周期Pを引くことにより達成される。
クスは、−1から−Pであった。よって、第一の消去されたフレームから記憶さ
れたOは、必ずこの範囲内にある。第二の消去されたフレームでは、有効な範囲
は、−1から−2Pである。よって、Oが、−2P≦O<−Pの範囲内になるま
で、OからPを引く。より一般的に言うと、Oが、−UP≦O<−(U−1)P
の範囲内になるまで、OからPを引く。ここに示す例では、第一の消去されたフ
レームの終了時において、P=56であり、O=−32である。−32から56
を引いて、−88を得る。よって、第二フレーム内の第一の合成サンプルは、B
[−88]から来る。次の合成サンプルは、B[−87]、などとなる。
からの合成信号のOLA混合を、図15に示す。
ァ」波形及び「2Pピッチバッファ」波形の信号のピークが整列されることに留
意されたい。「OLAと組合わせた」波形は、第二の消去されたフレームの開始
時において、異なるピッチバッファ間の潤滑な移行を示す。図15に示す「OL
Aと組合わせた」波形の第二フレームを出力できるまでに、もう一つの作業が必
要とされる。
ッファから一時バッファに1/4波長が複写される。ステップ1235において
、1/4波長が、オフセットに足される。次に、ステップ1240において、一
時バッファが、出力バッファの開始部とOLAされ、この結果が、出力バッファ
の第一の1/4波長に入れられる。
りの部分が生成される。ピッチバッファが、10ミリ秒間のフレームの間、出力
バッファに複写される。ステップ1250において、現在のオフセットが、変数
Oとしてピッチバッファに記憶される。
線形の傾斜によって合成信号が減衰される。合成信号は、60ミリ秒後に設定さ
れる0又は沈黙へ徐々にフェードアウトする。消去が長くなるに従って、隠蔽さ
れた音声が真の信号から逸脱する可能性が高くなる。特定の種類の音を長時間保
留すると、その音が短い期間中に隔離された状態では自然に聞こえても、隠蔽処
理の出力中の不自然に聞こえるアーティファクトを生じる場合もある。これらの
合成信号中のアーティファクトを回避するために、ゆっくりとしたフェードアウ
トが使われる。同様の作業が、G.723、G.728、及びG.729などの
標準スピーチコーダにおける隠蔽処理においても行われている。
0%の割合で信号を減衰する。合成バッファSが減衰前の合成信号を含み、Fが
連続して消去されたフレームの数(第一の消去されたフレームがF=1、第二の
消去されたフレームがF=2、など)である場合、減衰は、次のように表すこと
ができる。
フレームの開始時のサンプルでは、F=2であり、F−2=0及び0.2/80
=0.0025である。よって、S’[0]=1・S[0]、S’[1]=0.
9975S[1]、S’[2]=0.995S[2]、及びS’[79]=0.
8025S[79]である。第六の消去されたフレーム以降は、出力は単純にゼ
ロに設定される。
いて、履歴バッファ240に与えられ、ステップ1265において、出力が3.
75ミリ秒間、遅延される。オフセットポインタOもまた、ピッチバッファ内の
第二フレームの終了時の位置に更新され、これにより、合成信号が次のフレーム
に続くことができる。処理は、ステップ540に戻り、次のフレームを取得する
。
同様に行われるが、ピッチバッファ内の周期の数は、1から2ではなく、2から
3へと増やされる。ここに示す例では、消去は二フレームで終了するが、第三フ
レーム及びその後に使われる、三周期ピッチバッファを図17に示す。第三フレ
ーム以降は、ピッチバッファ内の周期の数は、3に固定されるため、図12の右
側の経路のみが使われる。この場合、単純にオフセットポインタOは単純にピッ
チバッファを合成出力に複写するために使われ、オーバーラップ加算作業は必要
とされない。
6に詳しく示す。消去部分の終了時点では、消去中に生成された合成音声と、本
物の音声との間に、潤滑な移行が必要とされる。消去が一フレームのみの長さで
あった場合、ステップ1610において、1/4波長のための合成信号が続けら
れ、本物の音声とのオーバーラップ加算が実行される。
りも長かったと判断した場合、合成信号と本物の信号とが一致しない可能性が高
く、よって、ステップ1630において、合成音声生成が続けられ、OLA窓が
更に、消去されたフレーム一つにつき4ミリ秒間分増やされる。このOLA窓の
増加は、最大10ミリ秒間まで行われる。ピッチの推定値が、多少ずれていた場
合又は本物の音声のピッチが消去期間中に変化していた場合、合成信号と本物の
信号との位相の不一致の可能性は、消去が長くなればなるほど増加する。より長
いOLA窓により、合成信号が、よりゆっくりとフェードアウトし、本物の音声
信号が、よりゆっくりとフェードインすることを可能にする。消去が10ミリ秒
よりも長かった場合、OLAを実行する前に、ステップ1640において合成音
声を減衰する必要があり、これにより合成信号を、一つ前のフレームの信号レベ
ルと一致させる。
フレームの開始部とにOLAが実行される。入力バッファの開始部は、OLAの
結果によって置き換えられる。上述の例の消去部分の終了時点におけるOLAは
、図4に見ることができる。上述の例の隠蔽処理の完全な出力は、図3の「隠蔽
」波形に見ることができる。
される。ステップ1670において、音声の出力が3.75ミリ秒間遅延され、
処理は図5のステップ530に戻り、次のフレームを取得する。
の状態情報を保持し隠蔽を提供しないような、他のスピーチコーダに応用するこ
ともできる。FEC処理は上述と全く同じように使われ、消去期間中の合成波形
を生成する。しかしながら、コーダの内部状態変数が、FEC処理によって生成
された合成音声を探知することを保証するよう注意することが必要である。そう
でなければ、消去部分の終了後、復号器が間違った状態を使って再始動するに従
って、アーティファクト及び非連続部分が出力に現れる。消去部分終了時点のO
LA窓はこの作業を助けるが、OLA窓以上のことをする必要がある。
し、FECモジュール1830の合成出力を符号器1860の入力として使うこ
とにより、より良い結果が得られる。
型的な符号器と違い、符号器1860は、状態情報を保持するためのみに作動さ
れ、その出力は使われないことに留意されたい。よって、簡略化の手法(short
cut)を使って実行時間中の複雑さを相当に低減できる。
ーム消去が進むにしたがって、合成信号を生成するために信号履歴から使われる
ピッチ周期が、時間の関数として増やされる。これにより、長い消去の際のハー
モニック・アーティファクトをかなり低減できる。ピッチ周期は、元の順序で再
生されないが、それでも出力は自然に聞こえる。
は、復号器を、隠蔽処理の合成出力の出力に対する符号器として作動させてもよ
い。これにより、復号器の内部状態変数が出力を探知し、復号器内の間違った状
態情報に起因する、消去部分終了後の非連続性を回避し、又は少なくともそのよ
うな非連続性を低減できる。符号器からの出力は使われない(この符号器の唯一
の目的は、状態情報を保持することである)ため、機能を省略した、複雑さが低
い型の符号器を使うことができる。
期は、一部の女性及び子供の話者の基本振動数として予測されるものよりも大き
い。よって、高周波数の話者の場合、消去部分の開始時点においても、合成音声
を生成するために、1よりも多いピッチ周期が使われる。基本振動数が高い話者
の場合、より頻繁に波形が繰り返される。合成信号の複数のピッチ周期により、
ハーモニック・アーティファクトの可能性が低くなる。この技法はまた、音声内
の無声部分や停止などの急激な移行部分において、信号が自然に聞こえるよう保
つことを助ける。
さと共に大きくなる。消去が長い場合、新しい良好フレームが到着した時に、位
相の不一致が起きる可能性が高い。OLA窓を消去の長さの関数として伸ばすこ
とにより、長い消去部分の際の位相不一致に起因する、突然の不調(glitch)を
低減させ、同時に、消去が短い場合には、信号を迅速に回復させることを可能に
する。
は、1/4波長である推定ピッチの小さな断片であり、ピッチピークと整列して
いない。
別しない。その代わりに、FEC処理は、処理の以下の二つの特性のため、無声
音声をうまく再現することができる。(A)最小の窓の大きさが、ほどよく大き
いため、音声の無声領域もほどよい多様性を有する。(B)処理が進むにつれて
ピッチバッファの長さが増やされ、これによりハーモニック・アーティファクト
が導入されないことを保証する。大きな窓を使い有声音声と無声音声とに対する
異なる取り扱いを避けることはまた、広く知られた時間スケール技法であるWS
OLAにも存在することに留意すべきである。
明の処理においては、望ましくない態様と考えられるが、消去開始時において、
本物の信号と合成信号との間の潤滑な移行を保証するために必要である。
の代替案、変更案、及び変形案が、当業者には明らかであろう。したがって、上
述の本発明の好適な実施形態は、例として示すものであり、制限するものではな
い。後述の請求項に定義される本発明の精神及び範囲から逸脱することなく、様
々な変更を行ってもよい。
は同様の要素を参照する。
ムを例示する図である。
OLA)作業を示す図である。
チャートである。
。
の信号を示す図である。
ある。
例示するフローチャートである。
。
ある。
トである。
る。
図である。
Claims (1)
- 【請求項1】 生成された音声中の欠落した音声情報の影響を隠蔽する方法
であって、前記音声信号は、圧縮され、パケットで受信機に送信されたパケット
の一つ又はそれ以上が前記受信機において受信されないことによって欠落するも
のであり、 音声情報を表す受信されたパケットに基づいて音声信号を生成するステップと
、 前記受信機において、音声信号の形成にパケットが利用できないという判断に
応答し、事前に形成された音声信号の一部を使い、前記利用できないパケットに
対応する音声信号の一部を合成するステップと、 を含み、基本振動数が閾値より高い音声においては、基本振動数が閾値より低
い音声よりも、前記合成ステップで用いられる、事前形成された部分のピッチ周
期の数が大きいことを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13001699P | 1999-04-19 | 1999-04-19 | |
US60/130,016 | 1999-04-19 | ||
PCT/US2000/010576 WO2000063883A1 (en) | 1999-04-19 | 2000-04-19 | Method and apparatus for performing packet loss or frame erasure concealment |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002542519A true JP2002542519A (ja) | 2002-12-10 |
JP2002542519A5 JP2002542519A5 (ja) | 2007-06-28 |
JP4966452B2 JP4966452B2 (ja) | 2012-07-04 |
Family
ID=22442648
Family Applications (12)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000612927A Expired - Lifetime JP4966452B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612925A Expired - Lifetime JP4441126B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612929A Expired - Lifetime JP4966453B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612928A Expired - Lifetime JP4975213B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612926A Expired - Lifetime JP5314232B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2010226159A Expired - Lifetime JP5341857B2 (ja) | 1999-04-19 | 2010-10-06 | 受信器において実行される方法および受信器 |
JP2010226160A Expired - Lifetime JP4967054B2 (ja) | 1999-04-19 | 2010-10-06 | 受信器において実行される方法および受信器 |
JP2012166660A Expired - Lifetime JP5426735B2 (ja) | 1999-04-19 | 2012-07-27 | フレーム消去隠蔽を実行するための装置 |
JP2012166661A Pending JP2012198581A (ja) | 1999-04-19 | 2012-07-27 | パケットロス又はフレーム消去隠蔽を実行するための方法及び装置 |
JP2013181789A Expired - Lifetime JP5690890B2 (ja) | 1999-04-19 | 2013-09-03 | 受信器、および受信器において実行される方法 |
JP2014150366A Expired - Lifetime JP5834116B2 (ja) | 1999-04-19 | 2014-07-24 | 受信器において実行される方法および受信器 |
JP2015139530A Expired - Lifetime JP6194336B2 (ja) | 1999-04-19 | 2015-07-13 | 受信器において実行される方法、受信器、およびフレーム消去隠蔽を実行するための装置 |
Family Applications After (11)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000612925A Expired - Lifetime JP4441126B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612929A Expired - Lifetime JP4966453B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612928A Expired - Lifetime JP4975213B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2000612926A Expired - Lifetime JP5314232B2 (ja) | 1999-04-19 | 2000-04-19 | フレーム消去隠蔽処理装置 |
JP2010226159A Expired - Lifetime JP5341857B2 (ja) | 1999-04-19 | 2010-10-06 | 受信器において実行される方法および受信器 |
JP2010226160A Expired - Lifetime JP4967054B2 (ja) | 1999-04-19 | 2010-10-06 | 受信器において実行される方法および受信器 |
JP2012166660A Expired - Lifetime JP5426735B2 (ja) | 1999-04-19 | 2012-07-27 | フレーム消去隠蔽を実行するための装置 |
JP2012166661A Pending JP2012198581A (ja) | 1999-04-19 | 2012-07-27 | パケットロス又はフレーム消去隠蔽を実行するための方法及び装置 |
JP2013181789A Expired - Lifetime JP5690890B2 (ja) | 1999-04-19 | 2013-09-03 | 受信器、および受信器において実行される方法 |
JP2014150366A Expired - Lifetime JP5834116B2 (ja) | 1999-04-19 | 2014-07-24 | 受信器において実行される方法および受信器 |
JP2015139530A Expired - Lifetime JP6194336B2 (ja) | 1999-04-19 | 2015-07-13 | 受信器において実行される方法、受信器、およびフレーム消去隠蔽を実行するための装置 |
Country Status (6)
Country | Link |
---|---|
EP (5) | EP1088302B1 (ja) |
JP (12) | JP4966452B2 (ja) |
KR (5) | KR100736817B1 (ja) |
CA (5) | CA2335003C (ja) |
DE (5) | DE60029715T2 (ja) |
WO (5) | WO2000063885A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2004068098A1 (ja) * | 2003-01-30 | 2006-05-18 | 富士通株式会社 | 音声パケット消失隠蔽装置,音声パケット消失隠蔽方法,受信端末および音声通信システム |
JP2006526177A (ja) * | 2003-05-14 | 2006-11-16 | 沖電気工業株式会社 | 補償回路 |
US8812927B2 (en) | 2010-11-26 | 2014-08-19 | Sony Corporation | Decoding device, decoding method, and program for generating a substitute signal when an error has occurred during decoding |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7177278B2 (en) | 1999-12-09 | 2007-02-13 | Broadcom Corporation | Late frame recovery method |
US6584438B1 (en) * | 2000-04-24 | 2003-06-24 | Qualcomm Incorporated | Frame erasure compensation method in a variable rate speech coder |
EP1217613A1 (fr) * | 2000-12-19 | 2002-06-26 | Koninklijke Philips Electronics N.V. | Reconstitution de trames manquantes ou mauvaises en téléphonie cellulaire |
US7308406B2 (en) | 2001-08-17 | 2007-12-11 | Broadcom Corporation | Method and system for a waveform attenuation technique for predictive speech coding based on extrapolation of speech waveform |
US7143032B2 (en) | 2001-08-17 | 2006-11-28 | Broadcom Corporation | Method and system for an overlap-add technique for predictive decoding based on extrapolation of speech and ringinig waveform |
US7453897B2 (en) * | 2001-10-03 | 2008-11-18 | Global Ip Solutions, Inc. | Network media playout |
FR2830970B1 (fr) * | 2001-10-12 | 2004-01-30 | France Telecom | Procede et dispositif de synthese de trames de substitution, dans une succession de trames representant un signal de parole |
CN1323532C (zh) * | 2001-11-15 | 2007-06-27 | 松下电器产业株式会社 | 错误隐蔽装置和方法 |
US7061912B1 (en) | 2002-01-17 | 2006-06-13 | Microtune (San Diego) , Inc. | Method and apparatus of packet loss concealment for CVSD coders |
EP1359698B1 (en) * | 2002-04-30 | 2005-01-12 | Psytechnics Ltd | Method and apparatus for transmission error characterisation |
JP4365653B2 (ja) * | 2003-09-17 | 2009-11-18 | パナソニック株式会社 | 音声信号送信装置、音声信号伝送システム及び音声信号送信方法 |
KR100587953B1 (ko) | 2003-12-26 | 2006-06-08 | 한국전자통신연구원 | 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템 |
EP2189978A1 (en) | 2004-08-30 | 2010-05-26 | QUALCOMM Incorporated | Adaptive De-Jitter Buffer for voice over IP |
US8085678B2 (en) | 2004-10-13 | 2011-12-27 | Qualcomm Incorporated | Media (voice) playback (de-jitter) buffer adjustments based on air interface |
US7519535B2 (en) | 2005-01-31 | 2009-04-14 | Qualcomm Incorporated | Frame erasure concealment in voice communications |
JP2008529073A (ja) * | 2005-01-31 | 2008-07-31 | ソノリト・アンパルトセルスカブ | 重み付けされたオーバーラップ加算方法 |
US8155965B2 (en) | 2005-03-11 | 2012-04-10 | Qualcomm Incorporated | Time warping frames inside the vocoder by modifying the residual |
US8355907B2 (en) | 2005-03-11 | 2013-01-15 | Qualcomm Incorporated | Method and apparatus for phase matching frames in vocoders |
US7930176B2 (en) | 2005-05-20 | 2011-04-19 | Broadcom Corporation | Packet loss concealment for block-independent speech codecs |
US7831421B2 (en) | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
JP4510742B2 (ja) * | 2005-10-13 | 2010-07-28 | 日本電信電話株式会社 | 音声パケット受信再生方法及びその装置、そのプログラム記録媒体 |
KR100792209B1 (ko) * | 2005-12-07 | 2008-01-08 | 한국전자통신연구원 | 디지털 오디오 패킷 손실을 복구하기 위한 방법 및 장치 |
CN1983909B (zh) * | 2006-06-08 | 2010-07-28 | 华为技术有限公司 | 一种丢帧隐藏装置和方法 |
WO2008022207A2 (en) * | 2006-08-15 | 2008-02-21 | Broadcom Corporation | Time-warping of decoded audio signal after packet loss |
US8054969B2 (en) * | 2007-02-15 | 2011-11-08 | Avaya Inc. | Transmission of a digital message interspersed throughout a compressed information signal |
JP4504389B2 (ja) | 2007-02-22 | 2010-07-14 | 富士通株式会社 | 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム |
US8428953B2 (en) * | 2007-05-24 | 2013-04-23 | Panasonic Corporation | Audio decoding device, audio decoding method, program, and integrated circuit |
CN101325631B (zh) | 2007-06-14 | 2010-10-20 | 华为技术有限公司 | 一种估计基音周期的方法和装置 |
WO2009047461A1 (fr) * | 2007-09-21 | 2009-04-16 | France Telecom | Dissimulation d'erreur de transmission dans un signal numerique avec repartition de la complexite |
GB0920729D0 (en) * | 2009-11-26 | 2010-01-13 | Icera Inc | Signal fading |
US9787501B2 (en) | 2009-12-23 | 2017-10-10 | Pismo Labs Technology Limited | Methods and systems for transmitting packets through aggregated end-to-end connection |
US10218467B2 (en) | 2009-12-23 | 2019-02-26 | Pismo Labs Technology Limited | Methods and systems for managing error correction mode |
FR2977439A1 (fr) * | 2011-06-28 | 2013-01-04 | France Telecom | Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard. |
JP5671630B2 (ja) * | 2011-11-22 | 2015-02-18 | パイオニア株式会社 | 音声信号補正装置及び音声信号補正方法 |
FR3004876A1 (fr) * | 2013-04-18 | 2014-10-24 | France Telecom | Correction de perte de trame par injection de bruit pondere. |
BR112015031606B1 (pt) | 2013-06-21 | 2021-12-14 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Aparelho e método para desvanecimento de sinal aperfeiçoado em diferentes domínios durante ocultação de erros |
CN104751849B (zh) | 2013-12-31 | 2017-04-19 | 华为技术有限公司 | 语音频码流的解码方法及装置 |
CN107369455B (zh) * | 2014-03-21 | 2020-12-15 | 华为技术有限公司 | 语音频码流的解码方法及装置 |
US9706317B2 (en) | 2014-10-24 | 2017-07-11 | Starkey Laboratories, Inc. | Packet loss concealment techniques for phone-to-hearing-aid streaming |
GB2542219B (en) * | 2015-04-24 | 2021-07-21 | Pismo Labs Technology Ltd | Methods and systems for estimating missing data |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07271391A (ja) * | 1994-04-01 | 1995-10-20 | Toshiba Corp | 音声復号装置 |
JPH07325594A (ja) * | 1994-03-14 | 1995-12-12 | At & T Corp | 復号器において使用されるパラメータ信号アダプタの動作方法 |
JPH08500235A (ja) * | 1993-06-11 | 1996-01-09 | テレフオンアクチーボラゲツト エル エム エリクソン | 伝送誤りの隠蔽(concealment) |
JPH08305398A (ja) * | 1995-04-28 | 1996-11-22 | Matsushita Electric Ind Co Ltd | 音声復号化装置 |
JPH1022936A (ja) * | 1996-07-01 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 補間装置 |
JPH1069298A (ja) * | 1996-08-27 | 1998-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 音声復号化方法 |
WO1998013941A1 (en) * | 1996-09-25 | 1998-04-02 | Qualcomm Incorporated | Method and apparatus for detecting bad data packets received by a mobile telephone using decoded speech parameters |
JPH10282995A (ja) * | 1997-04-01 | 1998-10-23 | Matsushita Electric Ind Co Ltd | 欠落音声補間符号化方法、欠落音声補間符号化装置、及び記録媒体 |
WO1999066494A1 (en) * | 1998-06-19 | 1999-12-23 | Comsat Corporation | Improved lost frame recovery techniques for parametric, lpc-based speech coding systems |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS54139417A (en) * | 1978-04-21 | 1979-10-29 | Nippon Telegr & Teleph Corp <Ntt> | Interpolation receiving devices at voice short break time |
JPS5549042A (en) * | 1978-10-04 | 1980-04-08 | Nippon Telegr & Teleph Corp <Ntt> | Sound momentary break interpolating receiver |
JPS5782897A (en) * | 1980-11-12 | 1982-05-24 | Hitachi Ltd | Voice pitch extraction |
JPS5876891A (ja) * | 1981-10-30 | 1983-05-10 | 株式会社日立製作所 | 音声ピツチ抽出方法 |
JPS59143199A (ja) * | 1983-02-04 | 1984-08-16 | オムロン株式会社 | ピツチ抽出方法 |
JPS62203199A (ja) * | 1986-03-03 | 1987-09-07 | 富士通株式会社 | ピツチ周期抽出方式 |
JPH06350540A (ja) * | 1993-06-03 | 1994-12-22 | Sanyo Electric Co Ltd | デジタルオーディオ信号のエラー補償方法 |
FI98164C (fi) * | 1994-01-24 | 1997-04-25 | Nokia Mobile Phones Ltd | Puhekooderin parametrien käsittely tietoliikennejärjestelmän vastaanottimessa |
US5615298A (en) * | 1994-03-14 | 1997-03-25 | Lucent Technologies Inc. | Excitation signal synthesis during frame erasure or packet loss |
JP3240832B2 (ja) * | 1994-06-06 | 2001-12-25 | 日本電信電話株式会社 | パケット音声復号方法 |
US5907822A (en) * | 1997-04-04 | 1999-05-25 | Lincom Corporation | Loss tolerant speech decoder for telecommunications |
DE19814633C2 (de) * | 1998-03-26 | 2001-09-13 | Deutsche Telekom Ag | Verfahren zur Verschleierung von Sprachsegmentverlusten bei paketorientierter Übertragung |
US6351730B2 (en) * | 1998-03-30 | 2002-02-26 | Lucent Technologies Inc. | Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment |
US6188987B1 (en) * | 1998-11-17 | 2001-02-13 | Dolby Laboratories Licensing Corporation | Providing auxiliary information with frame-based encoded audio information |
-
2000
- 2000-04-19 EP EP00926180A patent/EP1088302B1/en not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010637 patent/WO2000063885A1/en active IP Right Grant
- 2000-04-19 KR KR1020007014193A patent/KR100736817B1/ko active IP Right Grant
- 2000-04-19 EP EP00926156A patent/EP1088301B1/en not_active Expired - Lifetime
- 2000-04-19 KR KR1020007014272A patent/KR100630253B1/ko active IP Right Grant
- 2000-04-19 DE DE60029715T patent/DE60029715T2/de not_active Expired - Lifetime
- 2000-04-19 JP JP2000612927A patent/JP4966452B2/ja not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010576 patent/WO2000063883A1/en active IP Right Grant
- 2000-04-19 JP JP2000612925A patent/JP4441126B2/ja not_active Expired - Lifetime
- 2000-04-19 EP EP00923528A patent/EP1086451B1/en not_active Expired - Lifetime
- 2000-04-19 JP JP2000612929A patent/JP4966453B2/ja not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010467 patent/WO2000063881A1/en active IP Right Grant
- 2000-04-19 WO PCT/US2000/010577 patent/WO2000063884A1/en active IP Right Grant
- 2000-04-19 DE DE60039565T patent/DE60039565D1/de not_active Expired - Lifetime
- 2000-04-19 CA CA002335003A patent/CA2335003C/en not_active Expired - Lifetime
- 2000-04-19 DE DE60022597T patent/DE60022597T2/de not_active Expired - Lifetime
- 2000-04-19 JP JP2000612928A patent/JP4975213B2/ja not_active Expired - Lifetime
- 2000-04-19 KR KR1020007014271A patent/KR100745387B1/ko active IP Right Grant
- 2000-04-19 EP EP00928202A patent/EP1088303B1/en not_active Expired - Lifetime
- 2000-04-19 KR KR1020007014191A patent/KR100633720B1/ko active IP Right Grant
- 2000-04-19 CA CA002335006A patent/CA2335006C/en not_active Expired - Lifetime
- 2000-04-19 CA CA002335008A patent/CA2335008C/en not_active Expired - Lifetime
- 2000-04-19 DE DE60023237T patent/DE60023237T2/de not_active Expired - Lifetime
- 2000-04-19 EP EP00928201A patent/EP1086452B1/en not_active Expired - Lifetime
- 2000-04-19 WO PCT/US2000/010477 patent/WO2000063882A1/en active IP Right Grant
- 2000-04-19 CA CA002335005A patent/CA2335005C/en not_active Expired - Lifetime
- 2000-04-19 JP JP2000612926A patent/JP5314232B2/ja not_active Expired - Lifetime
- 2000-04-19 DE DE60016532T patent/DE60016532T2/de not_active Expired - Lifetime
- 2000-04-19 KR KR1020007014192A patent/KR100615344B1/ko active IP Right Grant
- 2000-04-19 CA CA002335001A patent/CA2335001C/en not_active Expired - Lifetime
-
2010
- 2010-10-06 JP JP2010226159A patent/JP5341857B2/ja not_active Expired - Lifetime
- 2010-10-06 JP JP2010226160A patent/JP4967054B2/ja not_active Expired - Lifetime
-
2012
- 2012-07-27 JP JP2012166660A patent/JP5426735B2/ja not_active Expired - Lifetime
- 2012-07-27 JP JP2012166661A patent/JP2012198581A/ja active Pending
-
2013
- 2013-09-03 JP JP2013181789A patent/JP5690890B2/ja not_active Expired - Lifetime
-
2014
- 2014-07-24 JP JP2014150366A patent/JP5834116B2/ja not_active Expired - Lifetime
-
2015
- 2015-07-13 JP JP2015139530A patent/JP6194336B2/ja not_active Expired - Lifetime
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08500235A (ja) * | 1993-06-11 | 1996-01-09 | テレフオンアクチーボラゲツト エル エム エリクソン | 伝送誤りの隠蔽(concealment) |
JPH07325594A (ja) * | 1994-03-14 | 1995-12-12 | At & T Corp | 復号器において使用されるパラメータ信号アダプタの動作方法 |
JPH07271391A (ja) * | 1994-04-01 | 1995-10-20 | Toshiba Corp | 音声復号装置 |
JPH08305398A (ja) * | 1995-04-28 | 1996-11-22 | Matsushita Electric Ind Co Ltd | 音声復号化装置 |
JPH1022936A (ja) * | 1996-07-01 | 1998-01-23 | Matsushita Electric Ind Co Ltd | 補間装置 |
JPH1069298A (ja) * | 1996-08-27 | 1998-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 音声復号化方法 |
WO1998013941A1 (en) * | 1996-09-25 | 1998-04-02 | Qualcomm Incorporated | Method and apparatus for detecting bad data packets received by a mobile telephone using decoded speech parameters |
JPH10282995A (ja) * | 1997-04-01 | 1998-10-23 | Matsushita Electric Ind Co Ltd | 欠落音声補間符号化方法、欠落音声補間符号化装置、及び記録媒体 |
WO1999066494A1 (en) * | 1998-06-19 | 1999-12-23 | Comsat Corporation | Improved lost frame recovery techniques for parametric, lpc-based speech coding systems |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2004068098A1 (ja) * | 2003-01-30 | 2006-05-18 | 富士通株式会社 | 音声パケット消失隠蔽装置,音声パケット消失隠蔽方法,受信端末および音声通信システム |
JP2006526177A (ja) * | 2003-05-14 | 2006-11-16 | 沖電気工業株式会社 | 補償回路 |
US8812927B2 (en) | 2010-11-26 | 2014-08-19 | Sony Corporation | Decoding device, decoding method, and program for generating a substitute signal when an error has occurred during decoding |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6194336B2 (ja) | 受信器において実行される方法、受信器、およびフレーム消去隠蔽を実行するための装置 | |
US7117156B1 (en) | Method and apparatus for performing packet loss or frame erasure concealment | |
US6952668B1 (en) | Method and apparatus for performing packet loss or frame erasure concealment | |
US7047190B1 (en) | Method and apparatus for performing packet loss or frame erasure concealment | |
US6961697B1 (en) | Method and apparatus for performing packet loss or frame erasure concealment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070416 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070416 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100406 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100706 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100713 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100806 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100813 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100903 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110816 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110823 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110915 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110926 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111011 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120402 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |