JP3580723B2

JP3580723B2 - 受信バッファ制御方法及び音声パケット復号装置

Info

Publication number: JP3580723B2
Application number: JP11973099A
Authority: JP
Inventors: 弘美青柳; 敦新保
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1999-04-27
Filing date: 1999-04-27
Publication date: 2004-10-27
Anticipated expiration: 2019-04-27
Also published as: JP2000312223A; US6678660B1

Description

【０００１】
【発明の属する技術分野】
この発明は、音声信号情報のパケット伝送に関するものである。
【０００２】
【従来の技術】
現在、インターネット等のネットワークを利用した音声通信が盛んに行われている。これは音声符号化情報をパケット化し、ネットワークを通じて伝送するものである。
【０００３】
【発明が解決しようとする課題】
この時、ネットワークの状態により音声パケットが遅れて到着することがあり、この場合受信側では補完音声パケット等を挿入して音声復号器を動作させている。これにより音声通信に遅延が生じ、遅延を回復するために例えば受信パケットを廃棄する等の処置がとられてる。この時、音声信号の性質に無関係に受信パケットを廃棄していたため、合成音声信号品質が劣化するという問題があった。
【０００４】
本発明は、音声通信に遅延が生じた場合でも、音声品質を劣化させることなく遅延を回復するものである。
【０００５】
【課題を解決するための手段】
このような問題を解決するために、本発明の受信バッファ制御方法は、ネットワークより得られる受信パケットを内部の受信バッファに貯え、ある一定の周期毎に受信バッファに貯えられた最も古い受信パケットを出力し、この時、受信バッファ内の受信パケット数がゼロの場合には、予め用意した補完パケットを挿入し、補完パケットを挿入した場合はカウンタを加算し、音声復号器により最も古い受信パケットから生成された合成音声信号を基に有音・無音を判定し、この有音・無音判定の結果が無音でありかつカウンタの値が０より大きくかつ受信バッファ内に貯えられた受信パケット数が１より大きい場合に最も古い受信パケット出力後、受信バッファに貯えられた最も古い受信パケットを廃棄し、カウンタの値を減算する。このように、音声復号情報を用いて有音／無音判定を行い、無音と判定された場合に音声パケットを削除することにより、遅延を回復する。
【０００６】
【発明の実施の形態】
（第１の実施例）
本発明の第１の実施例である、音声パケット復号装置の構成を図１に示す。
【０００７】
音声符号器１０１は入力音声信号Ｓを１０ｍｓのフレーム毎に符号化し、符号化パケットＣを出力する。
【０００８】
この符号化パケットＣは、ネットワークを経由して、この音声パケット復号装置の受信バッファ１０２に貯えられる。そして、この受信バッファ１０２は、ある一定の周期、ここでは１０ｍｓ毎に貯えられた最も古い符号化パケットＣｄを、音声復号器１０３に出力する。
【０００９】
音声復号器１０３は、受信バッファ制御回路１０２から渡された符号化パケットＣｄを１０ｍｓ毎に復号して合成音声信号Ｓｄを生成する。
【００１０】
有音・無音判定回路１０４は１０ｍｓ毎の合成音声信号Ｓｄより、まずフレームパワーＲを計算する。得られたＲが式（１）を満たす場合は有音であると判定してＶ＝１を、そうでない場合は無音であると判定してＶ＝０を出力する。
【００１１】
Ｒ＞Ｂ×Ｔ（１）
なお、Ｂは背景雑音パワー推定値を表しており、初期値は０である。そして、上記判定後以下のように更新する。
【００１２】
Ｂ＝ｍｉｎ（Ｒ、ｍａｘ（Ｂ×Ｄ、Ｂ＋１））
ただし、ｍｉｎ（ｘ、ｙ）はｘとｙのうちで値の小さいものを選択することを表し、ｍａｘ（ｘ，ｙ）はｘとｙのうちで値の大きいものを選択することを表す。また、Ｔ及びＤは有音パワー閾値と雑音パワー推定係数を表す予め設定した定数であり、この実施例では１６と１．００２６としている。
【００１３】
受信バッファ制御回路１０６は、ネットワークより受信する符号化パケットＣに基づいて、以下のように動作する。
【００１４】
ネットワークより受信した符号化パケットＣは、順に受信バッファ１０２に貯えられる。そして、受信バッファ１０２は、貯えている符号化パケットＣを、古い順にＣｄ＝Ｃとして一定周期１０ｍｓ毎に出力する。
【００１５】
もしも、ネットワークの遅延等により、受信バッファ１０２内に符号化パケットが存在しない場合は、補完パケット挿入部１０５が補完パケットを挿入し、カウンタ１０７に１を加算する。
【００１６】
なお、カウンタ１０７の初期値は０とする。また、補完パケットは、復号音声が無音となるようななデータが、予め用意されている。
【００１７】
受信バッファ１０２内の符号化パケット数が１より大きく、かつ有音・無音判定回路１０４による有音・無音の判定が前１０ｍｓにおいてＶ＝０であり、かつカウンタ１０７の値が１以上の場合は、受信バッファ１０２内の最も古い符号化パケットを削除し、カウンタ１０７から１を減ずる。
【００１８】
図２は、この音声パケット復号装置の、受信バッファ制御の動作を具体的に示したものである。音声符号化器１０１から符号化パケット（１），（２），（３），〜が、ネットワークを経由して、音声パケット復号装置に伝送され、受信バッファ１０２に順に貯えられる。
【００１９】
本来ならば、符号化パケットは１０ｍｓの一定間隔で伝送されるはずであるが、何らかの理由で遅延が生じる可能性がある。例えば、符号化パケット（２）の伝送に際して１０ｍｓの遅延が生じており、このような場合、補完パケット挿入部１０５が補完パケット×を挿入する。そして、この補完パケット×を音声復号器１０３に出力すると共に、カウンタを１とする。
【００２０】
符号化パケット（３）が伝送され、受信バッファ１０２に貯えられる際には、カウンタは加算され１となっているが、前１０ｍｓのＶの値が１、すなわち有音なので、受信バッファ１０２に貯えられた最も古い符号化パケットである符号化パケット（２）の廃棄は行われない。
【００２１】
次に符号化パケット（４）が伝送され、受信バッファ１０２に貯えられる際にも、カウンタは１となっており、前１０ｍｓのＶの値が０、すなわち無音なので、受信バッファ１０２に貯えられた最も古い符号化パケットである符号化パケット（３）の廃棄が行われる。そして、カウンタの値は減算され０に戻っている。
【００２２】
また、符号化パケット（６），（７）の伝送に際しては、２０ｍｓの遅延が生じており、２回連続して補完パケット×が出力されると共に、二度の加算が行われ、カウンタの値は２となっている。その後は、カウンタの値が０となるまで、前１０ｍｓのＶの値が０の場合に、最も古い符号化パケットを廃棄する動作を繰り返し、符号化パケット（１２）の伝送の時点では、遅延は解消されている。
【００２３】
このような構成によって、無音部分の音声を削除することにより、音声品質を劣化させることなく遅延が回復できる。また、常に遅延を０にするように動作するので、音声通信中の違和感も少なくなる。
【００２４】
（第２の実施例）
本発明の第２の実施例である、音声パケット復号装置の構成を図３に示す。
【００２５】
なお、この図３に示された各構成のうち、音声符号器１０１，受信バッファ１０２，音声復号器１０３，有音・無音判定回路１０４，カウンタ１０７及び受信バッファ制御回路１０６については第１の実施例と同様に動作するので、詳細については説明を省略する。
【００２６】
フレーム遅延器２０８は、受信バッファ１０２の出力を１フレーム遅延させて、補完パケット挿入部２０５に出力する構成となっている。
【００２７】
そして、この音声パケット復号装置は、以下の点を除き第１の実施例の音声パケット復号装置と同様に動作する。
【００２８】
すなわち、補完パケット挿入部２０５は、受信バッファ１０２内に符号化パケットが存在しない場合は、フレーム遅延器２０８に入力されている前周期の出力Ｃｄを、補完パケットＣｄｐとして受信バッファ１０２に供給する。
【００２９】
第１の実施例における補完パケットは、音声信号の性質（例えば、有音か無音か）とは無関係のものが挿入される。本実施例では直前の音声信号と同様の性質のものが補完パケットとして挿入されるため、音声信号の連続性をより良く再現でき、特に有音部分で挿入された場合に第１の実施例に比べ音声品質の劣化を減少させることができる。
【００３０】
（第３の実施例）
本発明の第３の実施例である、音声パケット復号装置の構成を図４に示す。
【００３１】
この音声パケット復号装置には、第１及び第２の実施例には設けられていたカウンタが存在せず、その代わりに、受信バッファ３０２から符号化パケット数が受信バッファ制御回路３０６に供給されると共に、この受信バッファ制御回路３０６には調整パケット数供給部３０９が接続されている。
【００３２】
受信バッファ３０２は、ある一定の周期毎に貯えられた最も古い符号化パケットＣｄを、音声復号器１０３に出力する点では、第１の実施例と同様に動作する。
【００３３】
また、この図４に示された各構成のうち、音声符号器１０１，受信バッファ１０２，音声復号器１０３及び有音・無音判定回路１０４については第１の実施例と同様に動作する。更に、フレーム遅延器２０８については第２の実施例と同様に動作するので、これらの構成の詳細については説明を省略する。
【００３４】
この第３の実施例の音声パケット復号装置は、ネットワークより受信する符号化パケットＣを用いて、以下のように動作する。
【００３５】
ネットワークより受信した符号化パケットＣは、順に受信バッファ３０２に貯えられる。そして、受信バッファ３０２は、貯えている符号化パケットＣを、古い順にＣｄ＝Ｃとして一定周期１０ｍｓ毎に出力する。
【００３６】
もしも、ネットワークの遅延等により受信バッファ３０２内に符号化パケットが存在しない場合は、補完パケット挿入部３０５が補完パケットを挿入する。
【００３７】
そして、受信バッファ制御回路３０６は、受信バッファ３０２内の符号化パケット数が、調整パケット数供給部３０９から与えられる調整パケット数Ｉより大きく、かつ有音・無音判定回路１０４による有音・無音の判定が前１０ｍｓにおいてＶ＝０である場合は、受信バッファ３０２内の最も古い符号化パケットを削除する。なお、この実施例では調整パケット数Ｉは３に設定されている。
【００３８】
図５は、この音声パケット復号装置の、受信バッファ制御の動作を具体的に示したものである。音声符号化器１０１から符号化パケット（１），（２），（３），〜が、ネットワークを経由して、音声パケット復号装置に伝送され、受信バッファ３０２に順に貯えられる。
【００３９】
本来ならば、符号化パケットは１０ｍｓの一定間隔で伝送されるはずであるが、何らかの理由で遅延が生じる可能性がある。例えば、符号化パケット（２）の伝送に際して１０ｍｓの遅延が生じており、このような場合、補完パケット挿入部３０５が補完パケット×を挿入する。そして、この補完パケット×を音声復号器１０３に出力する。
【００４０】
次に、符号化パケット（２）及び（３）が伝送され、受信バッファ３０２に貯えられると符号化パケット数は２となるが、調整パケット数Ｉ（＝３）には達していないので、有音・無音に関係なくパケットの廃棄は行われない。
【００４１】
そして、符号化パケット（５）の伝送に際して遅延が生じると、補完パケット×ではなく符号化パケット（４）が出力される。
【００４２】
パケットの廃棄は、符号化パケット（１３）が遅延して伝送され、受信バッファ３０２に貯えられた符号化パケット数が４と、調整パケット数Ｉよりも大きくなり、かつ前１０ｍｓのＶの値が０、すなわち無音のときに初めて実行される。
【００４３】
ネットワークによっては、頻繁に遅延が発生することがある。この場合、常に遅延回復処理を行うと、パケット挿入・削除が頻繁に発生し合成音声信号品質が劣化する。ネットワーク遅延の分布を予め調査しておき、これを基に調整パケット数Ｉとして与える。これによりパケット挿入・削除が頻繁に発生することが無くなり、合成音声信号品質の劣化を抑えることができる。
【００４４】
（第４の実施例）
本発明の第４の実施例である、音声パケット復号装置の構成を図６に示す。
【００４５】
この音声パケット復号装置の受信バッファ制御回路４０６には、調整パケット数供給部３０９に代わって、調整パケット数Ｉの初期値Ｉ_０を供給する調整パケット数供給部４０９と、一定の受信パケット出力数に対してパケットを廃棄した回数をカウントする廃棄パケットカウンタ４１０が接続されている点で、第３の実施例の受信バッファ制御回路３０６と構成が異なる。そして、調整パケット数Ｉの初期値Ｉ_０は調整パケット数供給部４０９から供給されるが、この音声パケット復号装置が動作を開始した後は、廃棄パケットカウンタ４１０から供給されるパケットを廃棄した回数に基づいて、受信バッファ制御回路４０６は調整パケット数Ｉの値を適応的に変更する構成となっている。
【００４６】
なお、この図６に示された他の構成は、第３の実施例のそれと同様に動作するので、それらの詳細については説明を省略し、受信バッファ制御回路４０６の動作に関してのみ以下に説明する。
【００４７】
この音声パケット復号装置の受信バッファ制御回路４０６では、廃棄パケットカウンタ４１０から供給される、１００フレーム（１０ｍｓ×１００＝１秒）毎のパケット削除数すなわちパケットを廃棄した回数が、所定の廃棄パケット数Ｐを超えた場合は、現在の調整パケット数Ｉに１を加算し、そうでない場合はＩから１を減ずる。そして、減じた結果が初期値Ｉ_０を下回った場合は、Ｉ＝Ｉ_０とする。この様にして、調整パケット数Ｉを１００フレーム毎に適応的に変化させる。
【００４８】
上記の点を除き、受信バッファ制御回路４０６は、第３の実施例の受信バッファ制御回路３０６と同様に動作する。
【００４９】
このような構成とすることで、ネットワーク遅延の分布が予め調査できない場合でも、第３の実施例と同様の効果が得ることができる。
【００５０】
（第５の実施例）
最後に、本発明の第５の実施例である、音声パケット復号装置の構成を図７に示す。
【００５１】
なお、この図７に示された各構成のうち、音声復号器５０３と有音・無音判定回路５０４以外の各構成は、第３の実施例の対応する構成と同様の動作を行うので、その詳細に関しては説明を省略する。
【００５２】
この第５の実施例において、音声復号器５０３は、符号化パケットＣｄを１０ｍｓ毎に復号して合成音声信号Ｓｄを生成すると共に、復号したゲインｇを有音・無音判定回路５０４に出力する。
【００５３】
有音・無音判定回路５０４は、ゲインｇが式（２）を満たす場合は有音であると判断してＶ＝１を、そうでない場合は無音であると判断してＶ＝０を出力する。
【００５４】
ｇ＞Ｔｇ（２）
なお、Ｔｇは、有音ゲイン閾値を意味する予め設定した定数であり、例えば０．５に設定する。
【００５５】
このような構成とすることによって、有音・無音判定の処理が簡便になるため、第３の実施例に比べて処理量をより小さくすることができる。
【００５６】
この第５の実施例は、パケット廃棄に関する基本的な構成に関しては第３の実施例の構成をベースにしており、有音・無音判定に関してのみ相違する構成となっているが、この有音・無音判定の手法に関しては、他の実施例の構成にも適用可能である。
【００５７】
【発明の効果】
以上説明したように、本発明では、音声復号情報を用いて有音／無音判定を行い、無音と判定された場合に音声パケットを削除することにより遅延を回復する。この結果、音声通信に遅延が生じた場合でも、音声品質を劣化させることなく遅延を回復することが可能となる。
【図面の簡単な説明】
【図１】第１の実施例の音声パケット復号装置の構成を示した図である。
【図２】第１の実施例の受信バッファ制御の手順を具体的に示した図である。
【図３】第２の実施例の音声パケット復号装置の構成を示した図である。
【図４】第３の実施例の音声パケット復号装置の構成を示した図である。
【図５】第３の実施例の受信バッファ制御の手順を具体的に示した図である。
【図６】第４の実施例の音声パケット復号装置の構成を示した図である。
【図７】第５の実施例の音声パケット復号装置の構成を示した図である。
【符号の説明】
１０１音声符号器
１０２，３０２受信バッファ
１０３，５０３音声復号器
１０４，５０４有音・無音判定回路
１０５，２０５，３０５補完パケット挿入部
１０６，３０６，４０６受信バッファ制御回路
１０７カウンタ
２０８フレーム遅延器
３０９，４０９調整パケット数供給部
４１０廃棄パケットカウンタ

Claims

ネットワークより得られる受信パケットを内部の受信バッファに貯え、
ある一定の周期毎に前記受信バッファに貯えられた最も古い受信パケットを出力し、
この時、前記受信バッファ内の受信パケット数がゼロの場合には、予め用意した補完パケットを挿入し、
前記補完パケットを挿入した場合はカウンタを加算し、
音声復号器により前記最も古い受信パケットから生成された合成音声信号を基に有音・無音を判定し、
前記有音・無音判定の結果が無音でありかつ前記カウンタの値が０より大きくかつ前記受信バッファ内に貯えられた受信パケット数が１より大きい場合に前記最も古い受信パケット出力後、前記受信バッファに貯えられた最も古い受信パケットを廃棄し、前記カウンタの値を減算することを特徴とする受信バッファ制御方法。
ネットワークより得られる受信パケットを内部の受信バッファに貯え、
ある一定の周期毎に前記受信バッファに貯えられた最も古い受信パケットを出力し、
この時前記受信バッファ内の受信パケット数がゼロの場合には、予め用意した補完パケットを挿入し、
音声復号器により前記最も古い受信パケットから生成された合成音声信号を基に有音・無音を判定し、
前記有音・無音判定の結果が無音でありかつ前記受信バッファ内に貯えられた受信パケット数が所定の調整パケット数より大きい場合に前記最も古い受信パケット出力後、前記受信バッファに貯えられた最も古い受信パケットを廃棄することを特徴とする受信バッファ制御方法。
請求項２記載の受信バッファ制御方法において、
前記調整パケット数の初期値が供給され、
ある一定の受信パケット出力数に対してパケットを廃棄した回数をカウントし、
ある一定の数の受信パケットを出力する毎に前記カウントした値と所定の廃棄パケット数とを比較し、
前記カウントした値が前記廃棄パケット数を超えた場合は前記調整パケット数を加算し、
前記カウントした値が前記廃棄パケット数を超えない場合は前記調整パケット数を減算することを特徴とする受信バッファ制御方法。
請求項１又２記載の受信バッファ制御方法において、
前記補完パケットは前周期時に出力した受信パケットと同一のものであることを特徴とする受信バッファ制御方法。
ネットワークより得られる受信パケットを貯え、ある一定の周期毎に貯えられた最も古い受信パケットを出力する受信バッファと、
前記受信バッファが受信パケットを出力しようとした際に、前記受信バッファ内の受信パケット数がゼロの場合には、前記受信バッファに予め用意した補完パケットを挿入する補完パケット挿入部と、
前記補完パケット挿入部が前記補完パケットを挿入した場合に加算するカウンタと、
前記最も古い受信パケットに基づいて合成音声信号を生成する音声復号器と、
前記合成音声信号を基に有音・無音を判定する有音・無音判定回路と、
前記有音・無音判定回路の判定結果が無音でありかつ前記カウンタの値が０より大きくかつ前記受信バッファ内に貯えられた受信パケット数が１より大きい場合に前記最も古い受信パケットを出力後、前記受信バッファに貯えられた最も古い受信パケットを廃棄し、前記カウンタの値を減算する受信バッファ制御回路とを有することを特徴とする音声パケット復号装置。
ネットワークより得られる受信パケットを貯え、ある一定の周期毎に貯えられた最も古い受信パケットを出力する受信バッファと、
前記受信バッファが受信パケットを出力しようとした際に、前記受信バッファ内の受信パケット数がゼロの場合には、前記受信バッファに予め用意した補完パケットを挿入する補完パケット挿入部と、
前記最も古い受信パケットに基づいて合成音声信号を生成する音声復号器と、
前記合成音声信号を基に有音・無音を判定する有音・無音判定回路と、
前記有音・無音判定回路の判定結果が無音でありかつ前記受信バッファ内に貯えられた受信パケット数が所定の調整パケット数より大きい場合に前記最も古い受信パケットを出力後、前記受信バッファに貯えられた最も古い受信パケットを廃棄する受信バッファ制御回路とを有することを特徴とする音声パケット復号装置。
請求項６記載の音声パケット復号装置において、
前記調整パケット数の初期値を供給する初期値供給部と、ある一定の受信パケット出力数に対してパケットを廃棄した回数をカウントする廃棄パケットカウンタと、
ある一定の数の受信パケットを出力する毎に前記廃棄パケットカウンタの値と所定の廃棄パケット数とを比較する比較回路と、
前記受信バッファ制御回路は前記カウンタの値が前記廃棄パケット数を超えた場合は前記調整パケット数を加算し、前記カウントした値が前記廃棄パケット数を超えない場合は前記調整パケット数を減算することを特徴とする音声パケット復号装置。
請求項５又６記載の音声パケット復号装置において、前記補完パケットは前周期時に出力した受信パケットと同一のものであることを特徴とする音声パケット復号装置。