JP2003241799A - 音響符号化方法、復号化方法、符号化装置、復号化装置及び符号化プログラム、復号化プログラム - Google Patents

Abstract

(57)【要約】 【課題】スケーラブル符号化を適用するとともに、パケ
ット損失が発生するような状況においても音質劣化が抑
制される音響符号化方法を提供する。 【解決手段】入力音響信号から所定の時間間隔で波形を
切り出し（ステップ１０１）、スケーラブル符号化を実
行し（ステップ１０２）。第１の帯域（主要階層Ａ）か
らの符号ビット列Ａ、第１の帯域における符号化誤差を
含む第２の帯域（補助階層Ｂ）からの符号ビット列Ｂ、
第２の帯域までの符号化誤差を含む第３の帯域（補助階
層Ｃ）からの符号ビット列Ｃを得る。これらの符号ビッ
トを、各階層ごとに独立したパケットとなるように、パ
ケット化する（ステップ１０３）。必要に応じ、第１の
帯域側の優先度が高くなるように誤り保護を行った上で
（ステップ１０４）、パケットを伝送する（ステップ１
０５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音響符号化方法、
復号化方法、符号化装置及び復号化装置に関し、特に、
音響信号を入力とするスケーラブルによる音響符号化方
法及び音響符号化装置と、それに対応する音響復号化方
法及び音響復号化装置に関する。

【０００２】

【従来の技術】楽音信号または音声信号の符号化におい
ては、従来、スケーラブル符号化技術が存在しなかった
ため、音声または楽音の符号ビット列をネットワーク経
由で配信する場合には、非スケーラブル符号化によって
配信していた。非スケーラブル符号化による配信では、
配信する符号ビット列は、パケット配信による場合、１
符号化フレームを１パケットとしたり複数符号化フレー
ムを１パケットとしたり、あるいは、１符号化フレーム
を複数パケットにしたりして、パケット化が行なわれて
いた。また、パケットをインタリーブしたりパケット損
失した場合には再送するなどの方法によってパケット損
失に対する耐性を高める方法が考案されてきた。しかし
ながら、これらの従来の方法では、非スケーラブル符号
化方式であるため、各パケットに含まれる情報は、入力
信号を所定の時間領域で区切った信号系列の全帯域にわ
たる情報であり、したがって、あるパケットが損失すれ
ば、そのパケットに含まれる全帯域の音が損失し、大き
な雑音または歪となって表れる。すなわち、非スケーラ
ブル符号化による音響信号の伝送は、聴感上は必ずしも
好ましいものではなかった。

【０００３】例えば、インターネット等において音声や
楽音の符号ビット列をパケット化して配信することを考
えると、ネットワーク上でトラヒックの集中による輻輳
が発生した場合や受信パケットのジッタ吸収に失敗した
場合にはパケット損失による音質劣化が生じることにな
る。この音質劣化は、音切れやバーストノイズとなって
現れ、非常に耳障りである。特に、インターネット上に
おけるＶｏＩＰ（Voice over IP）やインターネットラ
ジオ、インターネットテレビなどを使って音声や楽音な
どの音響信号を配信する際には、ライブ送信であること
が重要であってパケット再生処理などを採用し難いの
で、このようなパケット損失は大きな問題となり、この
パケット損失による音の劣化を抑制することができれ
ば、心地よく音響信号を伝達することができる。

【０００４】ところで、本発明者らは、特許第３１３９
６０２号明細書（あるいは特開平８−２６３０９６号公
報）において、復号品質や符号化圧縮率に選択性を持た
せるスケーラブル符号化による音響信号の符号化方法と
して、ある帯域（第１帯域）の音響を符号化し、第１帯
域よりも広い帯域の第２帯域の音響と第１帯域の符号化
残差を符号化し、という一連の処理を繰り返す方法を提
案している。この方法によれば、下位層（第１帯域側）
と上位層とに異なる圧縮技術による符号化を適用した場
合であっても、上位層までの復号信号において符号化品
質が低下せず、また、どの階層で復号しても聴感上の復
号品質が最適となる、という効果を奏する。

【０００５】しかしながら、このようなスケーラブル符
号化であっても、従来の方法では、パケット損失等があ
った場合に、聴感上かなり大きな音質劣化が生じること
がある。

【０００６】

【発明が解決しようとする課題】上述したように、非ス
ケーラブル符号化方法により音響信号を符号化し、さら
に符号化された信号をパケット化した場合には、伝送時
のパケット損失などにより音切れやバーストノイズが現
れるという問題点がある。スケーラブル符号化方法を用
いた場合であっても、パケット損失により音質劣化が生
じ得る。そこで、パケット損失時にも音質があまり劣化
しない符号化方式やパケット伝送方式が要望されてい
る。

【０００７】本発明の目的は、スケーラブル符号化を適
用するとともに、パケット損失が発生するような状況に
おいても音質劣化が抑制されるか、または音質劣化が抑
制されるように送信パケットの誤り保護対象や誤り保護
の強さを制御できる、音響符号化方法及び音響符号化装
置と、それに対応する音響復号化方法及び音響復号化装
置を提供することにある。

【０００８】

【課題を解決するための手段】本発明の第１の音響符号
化方法は、音響信号を符号化して伝送する音響符号化方
法であって、入力する音響符号に対してスケーラブル符
号化を行い、スケーラブル符号化における各階層ごとに
得られた符号をパケット化し、各階層のパケットを配信
する。ここで、重要度の高い階層のパケットほど優先度
が高くなるように誤り保護処理を行ってから各階層のパ
ケットを配信するようにすることが好ましい。

【０００９】本発明の第２の音響符号化方法は、音響信
号をＮ（Ｎは２以上の整数）個の帯域ごとに符号化する
音響符号化方法であって、ｉを２以上Ｎ以下の各整数と
して、第ｉの帯域は第ｉ−１の帯域を含み、音響信号の
第１の帯域の成分信号を抽出する第１の抽出過程と、第
１の帯域の成分信号を符号化して第１の符号を求める第
１の符号化過程と、第１乃至第ｉ−１の符号に基づいて
第ｉ−１の帯域の復号信号を求める第ｉ−１の復号過程
と、音響信号の第ｉの帯域の成分信号を抽出する第ｉの
抽出過程と、第ｉの帯域の成分信号と第ｉ−１の帯域の
復号信号との残差信号を符号化して第ｉの符号を求める
第ｉの符号化過程と、第１乃至第Ｎの符号を前記各帯域
ごとに分けて伝送する過程と、を有する。ここで、第ｉ
−１の帯域での伝送誤りまたは欠落が第ｉの帯域におけ
る伝送誤りまたは欠落よりも少なくなるように誤り保護
処理を行ってから、伝送する過程を実施することが好ま
しい。

【００１０】本発明の音響復号化方法は、音響符号化に
よる符号を格納したパケットを受信して前記符号を復号
する音響復号化方法であって、音響符号化は複数の階層
を有するスケーラブル符号化であって、パケットは階層
ごとに設定されており、パケット伝送におけるパケット
損失の有無を検査する過程と、パケット損失が検出され
なかった階層ごとに、当該階層のパケットから符号を取
り出して復号し、復号信号を得る過程と、パケット損失
が検出された階層に関しては無音として、各復号信号を
加算する過程と、加算の結果に基づいて音響を再生する
過程と、を有する。

【００１１】本発明の第１の音響符号化装置は、音響信
号を符号化して伝送する音響符号化装置であって、入力
する音響符号に対してスケーラブル符号化を行う手段
と、スケーラブル符号化における各階層ごとに得られた
符号をパケット化する手段と、各階層のパケットを配信
する手段と、を有する。ここで、伝送前に、重要度の高
い階層のパケットほど優先度が高くなるように誤り保護
を行う手段をさらに設けることが好ましい。

【００１２】本発明の第２の音響符号化装置は、音響信
号をＮ（Ｎは２以上の整数）個の帯域ごとに符号化する
音響符号化装置であって、ｉを２以上Ｎ以下の各整数と
して、第ｉの帯域は第ｉ−１の帯域を含み、音響信号の
第１の帯域の成分信号を抽出する第１の抽出器と、第１
の帯域の成分信号を符号化して第１の符号を求める第１
の符号化器と、第１乃至第ｉ−１の符号に基づいて第ｉ
−１の帯域の復号信号を求める第ｉ−１の復号器と、音
響信号の第ｉの帯域の成分信号を抽出する第ｉの抽出器
と、第ｉの帯域の成分信号と前記第ｉ−１の帯域の復号
信号との残差信号を符号化して第ｉの符号を求める第ｉ
の符号化器と、第１乃至第Ｎの符号を前記各帯域ごとに
分けて伝送する手段と、を有する。を有する音響符号化
装置。

【００１３】本発明の音響復号化装置は、音響符号化に
よる符号を格納したパケットを受信して符号を復号する
音響復号化装置であって、音響符号化は複数の階層を有
するスケーラブル符号化であって、パケットは前記階層
ごとに設定されており、パケット伝送におけるパケット
損失の有無を検査する手段と、パケット損失が検出され
なかった階層ごとに、当該階層のパケットから符号を取
り出して復号し、復号信号を得る手段と、パケット損失
が検出された階層に関しては無音として、各復号信号を
加算する手段と、加算の結果に基づいて音響を再生する
手段と、を有する。

【００１４】すなわち、本発明では、音声または楽音の
符号ビット列をパケット化して配信する場合に、スケー
ラブル符号化によって符号情報を階層化し、各階層ごと
に符号ビット列を独立してパケット化し配信する。この
方法によって、一部分の配信パケットが損失しても、音
が途切れたり、大きな歪や雑音が発生することははとん
どなくなる。さらに、このようにしてスケーラブル符号
ビット列を送る際に、人の聴覚に聞こえやすい主要な音
を含む階層のパケットを重点的に誤り保護したり、階層
に優先順位をつけて、重要度の高い階層のパケットに強
い誤り保護を実施することによって、さらにパケット損
失時の音質劣化を小さく抑えることができる。

【００１５】本発明において、パケット損失には、所定
の遅延時間内に受信側にパケットが到達しないことも含
まれる。

【００１６】

【発明の実施の形態】次に、本発明の好ましい実施の形
態について、図面を参照して説明する。

【００１７】本発明の音響符号化方法では、スケーラブ
ル符号化を採用するとともに、スケーラブル符号化での
階層ごとにパケット化を行う。その結果、パケット損失
があったとしても、同一の符号化フレームに属する複数
のパケットが同時に損失することは稀であると考えられ
るため、いずれかの帯域の波形が残ることとなって、著
しい音質劣化を防止することができる。さらに、最も重
要な音響成分を含む帯域に対応するパケットを、伝送誤
りやパケット消失に対して高い優先度で伝送するように
すれば、最も重要な音響成分に対応するパケットにおけ
る伝送誤りやパケット消失が防止され、それ以外のパケ
ットにおいて伝送誤りやパケット消失が発生したとして
も、聴感上、ほとんど音質が劣化していないように感じ
られるようになる。

【００１８】スケーラブル符号化における階層数として
は適宜の値を採用することができる。ここでスケーラブ
ル符号化における階層数をＮとおくと（ただしＮ≧
２）、本発明に基づく音響符号化方法では、具体的に
は、ｉを２≦ｉ≦Ｎの各整数とし、入力する音響信号を
第ｉの帯域が第ｉ−１の帯域を含むようにＮ個の帯域に
分割するものとして、音響信号の第１の帯域の成分信号
を抽出する第１の抽出過程と、第１の帯域の成分信号を
符号化して第１の符号を求める第１の符号化過程と、第
１の符号〜第ｉ−１の符号に基づいて第ｉ−１の帯域の
復号信号を求める第ｉ−１の復号過程と、音響信号の第
ｉの帯域の成分信号を抽出する第ｉの抽出過程と、第ｉ
の帯域の成分信号と第ｉ−１の帯域の復号信号との残差
信号を符号化して第ｉの符号を求める第ｉの符号化過程
とを実行するとともに、必要に応じて第ｉ−１の帯域で
の伝送誤りまたは欠落が第ｉの帯域の伝送誤りまたは欠
落よりも少なくするように、このように得られたＮ個の
符号（第１の符号〜第Ｎの符号）に対して伝送処理を行
う。なお、第ｉ−１の復号過程を実行する際、ｉ＞２で
あれば、この時点で第ｉ−２の帯域の復号信号が求めら
れていれば、スケーラブル符号化における符号の階層性
により、第ｉ−１の符号のみを復号して得た信号に対し
て第ｉ−２の帯域の復号信号を加算することにより、第
ｉ−１の帯域の復号信号を得ることができる。また、第
１の符号化過程で用いる圧縮技術、第２の符号化過程で
用いる圧縮技術、…、第Ｎの符号化過程で用いる圧縮技
術は、それぞれ、異なるものであってもよい。階層符号
化の考え方からすれば、各階層に応じて最適な符号化方
法、圧縮方法が採用されるべきである。

【００１９】図１は、本発明に基づく音響符号化方法を
説明する図であり、ここでは、スケーラブル符号化を例
として３階層で表している。音の主要な帯域を網羅する
階層を主要階層Ａとし、その補助的な階層をＢ、Ｃとす
る。音の主要な帯域とは、音声を主とする音源の場合に
は、例えば、０〜４ｋＨｚ程度の帯域であり、音楽（あ
るいは楽音）を主とする音源の場合には、例えば、０〜
８ｋＨｚ程度である。補助階層Ｂは主要階層Ａの帯域を
完全に含み、補助階層Ｃは補助階層Ｂの帯域を完全に含
んでいる（したがって補助階層Ｃは主要階層Ａの帯域も
完全に含んでいる）。もちろん、スケーラブル符号化に
おける階層数は２以上であればいくつであってもよい。

【００２０】入力信号（音響信号）から所定の時間間隔
（符号化フレーム単位）で波形を切り出し（ステップ１
０１）、スケーラブル符号化を実行する（ステップ１０
２）。スケーラブル符号化としては、上述した特許第３
１３９６０２号明細書に開示されたような処理を用いる
ことができる。ここでは入力信号のパワースペクトルが
階層Ａ〜Ｃに対応して図示２００に示すようになってい
るとする。なお、このパワースペクトルにおいて、階層
Ａの領域に細長く位置する階層Ｂの領域は、階層Ａを符
号化した後の符号化残差に対応している。

【００２１】スケーラブル符号化によって、原音から符
号化フレーム単位で切り出された波形が符号化され、主
要階層Ａから符号ビット列Ａが生じ、補助階層Ｂから符
号ビット列Ｂが生じ、補助階層Ｃから符号ビット列Ｃが
生じる。これらはスケーラブルなビット列となる。

【００２２】このように得られた符号ビット列は、次
に、パケット化される（ステップ１０３）。このスケー
ラブルな符号ビット列をパケット化する際には、各階層
ごとに独立したパケットとする。その結果、符号ビット
列Ａ〜Ｃに対応してパケットＡ〜Ｃが得られる。このよ
うにして得られたパケットＡ〜Ｃは、後述するように必
要に応じて誤り保護を行った上で（ステップ１０４）、
伝送路１１０上に送出され伝送される（ステップ１０
５）。階層Ａ〜Ｃごとに独立したパケットとしているの
で、伝送路１１０上においても、これらのパケットＡ〜
Ｃが階層ごとに独立して伝送されることになる。このよ
うなパケットは、インターネットなどの回線を経由して
受信側に到達する。

【００２３】なお、ここでは、主要階層Ａ、補助階層
Ｂ，Ｃの全てのパケットについて送信するようにしてい
るが、全ての階層のパケットを伝送するのではなく、主
要階層から予め定めた階層までのパケットを送信するこ
とも可能である。受信側での処理については後述する
が、受信側においても、受信した全てのパケットに基づ
いて復号化を行うのではなく、必要とする音質に応じ、
主要階層から予め定めた階層までのパケットを用いて復
号化を行い音を再生することが可能である。また、上述
の説明では、１符号化フレーム単位でパケット化するも
のとしているが、２〜３符号化フレームでパケット化を
行うようにしてもよい。また、パケットＡ〜Ｃをそれぞ
れ独立して伝送するものとしているが、主要階層Ａの符
号と補助階層Ｂの符号をあわせて１パケットとし、補助
階層Ｃの符号を１パケットとするように、複数の階層の
符号から１パケットを生成してもよい。複数の階層の符
号から１パケットを生成する場合、全ての階層の符号を
１パケットとしたのでは、パケット損失が起きたときに
重大な音質劣化が生じることとなるから、階層数より生
成するパケット数は少なくてよいものの、入力音響信号
における同一時間帯に対して複数個のパケットが生成す
るようにする。

【００２４】パケット配信の際には、ネットワーク上で
トラヒックの集中による輻輳が発生したり、受信パケッ
トのジッタ吸収に失敗するなど、パケットが損失する場
合がある。このようなパケット損失がある場合、普通の
非スケーラブル符号化方式では、１符号化フレームまた
は複数の符号化フレームを１パケットとしてパケット化
し、これらのパケットは全帯域の情報を含むので、パケ
ット損失のある符号化フレーム部分は、全帯域が消失し
てしまい、音質が著しく劣化する。しかしながらこの実
施の形態の場合、１符号化フレームを構成するパケット
Ａ、パケットＢ、パケットＣが同時に全て損失すること
は稀であると考えられるため、図２（ａ）〜（ｃ）に示
すように、どこかの帯域の波形が損失せずに残ることと
なる。したがって、音質が著しく劣化することはほとん
どない。図１にパワースペクトルを示した音響信号をス
ケーラブル符号化して伝送したとして、図２（ａ）は主
要階層Ａのパケットが損失したとしたときのパワースペ
クトルを示し、図２（ｂ）は補助階層Ｂのパケットが損
失したときのパワースペクトルを示し、図２（ｃ）は補
助階層Ｃのパケットが損失したときのパワースペクトル
を示している。

【００２５】ここで述べた例では、スケーラブル符号化
の特性により、主要階層Ａに対応するパケットＡが損失
せずに残っていれば、他の階層のパケット（パケット
Ｂ，Ｃ）が損失しても音質はほとんど劣化しないことに
なる。そこで、図１におけるステップ１０４の誤り保護
を実施するとともに、誤り保護においては、重要な階層
のパケットについては伝送路においてより損失しにくく
なるように、各階層ごとにパケットに優先順位を設定す
るようにするとよい。ここで述べた例で言えば、音響信
号の主要な要素を構成するパケットＡは優先度大とし、
次に主要なパケットＢは優先度中とし、最も補助的なパ
ケットＣは優先度小とする。そして、このような優先度
に基づいて、優先度の高いパケットＡに対しては高度の
誤り保護を行って、受信側におけるパケット損失の割合
が極めて小さい所定の値以下となるようにし、優先度が
中程度のパケットＢに対しては中程度の誤り保護を行っ
て、受信側におけるパケット損失の割合が誤り保護を行
わない場合よりも小さいがパケットＡの場合よりも大き
くなるようにする。優先度が小のパケットＣに対して
は、軽度の誤り保護を行うか誤り保護を行わないように
する。あるいは、ＱｏＳ(Quality of Service)技術など
の利用により、パケットＡについては早く目的地に到達
するように優先度を高くし、パケットＣはゆっくり到達
してもよいものと設定するような方法もある。

【００２６】伝送路上などでエラーが発生した場合に受
信側におけるパケット損失を防ぐ誤り保護の手法として
は、冗長符号や再送などの各種のものが知られており、
本発明では、適宜の誤り保護の手法を用いることができ
る。例えば、「損失パケット」を「ある遅延時間（例え
ば５００ミリ秒）で受信側へ到達できなかったパケッ
ト」とするならば、最重要の階層である第１の階層（こ
こでの主要階層Ａ）についての再送要求信号を受信側か
ら送信側に送ってそのパケットを再送させる、あるい
は、二重、三重のパケット送信を行うなどの手法があ
る。また、第１の階層のみ、エラー再送や誤り訂正処理
などを組み込んだプロトコルであるＴＣＰ(transmissio
n control protocol)を用いて伝送し、他の階層（ここ
での補助階層Ｂ，Ｃ）についてはエラー再送や誤り訂正
処理などを含まないプロトコルであるＵＤＰ(user diag
ram protocol)を用いて伝送する手法もある。さらに
は、例えば、特許第３２１２１２３号明細書（あるいは
特開平５−２８１９９８号公報）に記載されているよう
に、訂正能力、検出能力が異なる複数の誤り訂正符号器
や誤り訂正復号器を用い、第１の階層のパケットに対し
ては、例えばリードソロモン符号など、訂正能力、検出
能力が高い誤り訂正符号化を行い、第２の階層（ここで
の補助階層Ｂ）については、第１の階層で用いたものよ
りも訂正能力、検出能力が劣る、例えばＢＣＨ(Bose-Ch
audhuri-Hocquennghem)符号などを用いて誤り訂正符号
化を行い、第３の階層（ここでの補助階層Ｃ）について
は誤り訂正符号化を行わないなどの方法もある。パケッ
トＡのみ高速で確実な専用線などを経由して伝送し、パ
ケットＢ，Ｃはある程度の遅延や誤りをゆするインター
ネットなどを経由して伝送する、という方法網明日。

【００２７】図３（ａ）〜（ｃ）は、図１にパワースペ
クトルを示した音響信号をスケーラブル符号化して伝送
したとして、このような誤り保護を行った場合の受信側
で得られるパワースペクトルを示している。図３（ａ）
はパケットＢとパケットＣが損失した場合を示し、図３
（ｂ）はパケットＣが損失した場合を示し、図３（ｃ）
はパケットＢが損失した場合を示している。主要な帯域
に対するパケットＡはなるべく損失しないように保護さ
れるため、パケット損失が発生したとしても主要な帯域
は波形は残存し、したがって、音質はほとんど劣化しな
くなる。

【００２８】次に、このような誤り保護について説明す
る。ここでは、３階層スケーラブル符号化によって、ス
ケーラブルな階層構造を持つ符号ビット列を各階層ごと
にパケット化して配信する場合に、パケット損失が生じ
てもあまり音質が劣化しないようにするための構成を説
明する。図４（ａ）に示すように、ネットワーク１０に
送信側（符号化装置）１１と受信側（復号化装置）１２
が接続しているものとする。

【００２９】図４（ｂ）に示すように、まず、音響信号
符号パケットを配信する前に、何らかの方法で送信側ま
たは受信側または送受信間でネットワーク１０の混み具
合を調査、予想し（ステップ１３１）、パケット損失推
定値を得る（ステップ１３２）。ネットワークの混み具
合とは、ネットワーク中で、どの程度、通信が占有され
ているかを示すパラメータであり、例えば、ＴＣＰプロ
トコルを使用している場合であれば、送信側と受信側の
間でパケットを監視したり、あるいは、本番の送信の前
にテストパケットを配信し受信側に至るまでにどれくら
いの割合で欠落するかを観測する方法などによって、予
測することができる。ネットワークの混み具合を受信側
で調査する場合には、受信側から送信側に向けて調査結
果を通知する。そして、推定されたパケット損失率に応
じて、スケーラブル符号化の各階層に対し、受信側への
受信成功確率が指定値以上に保証されるように誤り保護
を設定し（ステップ１３３）、各階層のパケットを、そ
のような設定値に基づいて誤り保護情報を与えてから配
信する（ステップ１３４）。

【００３０】具体的な数値で例を示すと、ここでは簡単
のため、（誤り保護処理以前の）全パケットのパケット
サイズが同一であるとして、平均パケット損失率推定値
が１５％以下であるときには、パケットの受信側への受
信成功確率において、主要階層Ａのパケットを９９％以
上、補助階層Ｂのパケットを９５％以上、補助階層Ｃの
パケットを９１％以上で保証されるようにしたり、ある
いは、平均パケット損失率推定値が１６％以上５５％以
下であるときには、パケットの受信側への受信成功確率
において、主要階層Ａのパケットを９５％以上、補助階
層Ｂのパケットを８０％以上、補助階層Ｃのパケットを
７０％以上で保証されるようにする、などの指定を行
う。

【００３１】そして送信終了かどうかを判断し（ステッ
プ１３５）、送信終了であれば処理を終了し、送信終了
でなければ、次のパケットに誤り保護情報を与えてその
パケットを送出するために、ステップ１３４に戻る。

【００３２】このような誤り保護処理を行うことによ
り、主要階層の音が優先的に保護される仕組みが達成で
きるため、受信側でデコードする際に、上述したパケッ
ト損失率の推定値程度のパケット損失が発生したとして
も、音質の劣化の度合いを小さくすることができる。

【００３３】パケットの受信成功率に優先順位を与える
場合に、誤り保護情報により、受信側においてある遅延
条件の範囲内でほぼ１００％に近似できるような受信成
功確率を保証できるような通信プロトコルを使用する場
合を想定する。その場合は、そのように誤り保護情報が
与えられたパケットは、実質的に必ず受信に成功できる
ものとみなすことができよう。その場合も、上述の誤り
保護処理の例と同様の過程を経て、パケット配信前に平
均パケット損失率推定値を求め、パケット損失が発生す
ることが予想される場合には、主要階層Ａのパケットに
ついては受信成功確率が１００％に近似できるような値
となるように誤り保護情報を与え、その他のパケットＢ
とＣにおいてパケット損失が発生するように、パケット
損失状態をコントロールする。例えば、平均パケット損
失率推定値が１５％以下であるときには、主要階層Ａの
パケットは実質的に損失しないように保証し、補助階層
Ｂが９５％以上、補助階層Ｃが９０％以上でのパケット
の受信成功確率となるように、配信パケットに誤り保護
情報を与えて配信する。あるいは、平均パケット損失率
推定値が１６％以上５５％以下であるときには、主要階
層Ａのパケットは損失しないように保証し、補助階層Ｂ
が８５％以上、補助階層Ｃが７０％以上でのパケットの
受信成功確率となるように配信パケットに誤り保護情報
を与えて配信する。

【００３４】このような誤り保護を実行することによっ
て、主要階層Ａのパケットが確実に保護され、伝送路上
でたとえパケット損失が発生しても、前述の図３（ａ）
〜（ｃ）に示すように、主要部分（帯域）の音質は劣化
を免れるため、良好な品質が保たれる。

【００３５】次に、上述したような音響符号化を行う音
響符号化装置について説明する。このような音響符号化
装置は、具体的には、例えば、スケーラブル符号化にお
ける階層数をＮとおくと（ただしＮ≧２）、ｉを２≦ｉ
≦Ｎの各整数とし、入力する音響信号を第ｉの帯域が第
ｉ−１の帯域を含むようにＮ個の帯域に分割するものと
して、音響信号の第１の帯域の成分信号を抽出する第１
の抽出器と、第１の帯域の成分信号を符号化して第１の
符号を求める第１の符号化器と、第１の符号〜第ｉ−１
の符号に基づいて第ｉ−１の帯域の復号信号を求める第
ｉ−１の復号器と、音響信号の第ｉの帯域の成分信号を
抽出する第ｉの抽出器と、第ｉの帯域の成分信号と第ｉ
−１の帯域の復号信号との残差信号を符号化して第ｉの
符号を求める第ｉの符号化器と、各階層の符号（第１乃
至第Ｎの符号）をそれぞれパケット化するパケット化器
と、これらのパケットを伝送路に送出する多重化部とを
備えている。第ｉ−１の復号器は合計Ｎ−１個設けら
れ、第ｉの抽出器も合計Ｎ−１個設けられ、第ｉの符号
化器も合計Ｎ−１個設けられ、パケット化器は合計Ｎ個
設けられる。さらに、上述したような誤り保護を行うの
であれば、各階層に対応してそれぞれのパケットに対し
て誤り保護処理を行う誤り保護部（合計Ｎ個）を設け、
第ｉ−１の帯域での伝送誤りまたは欠落が第ｉの帯域の
伝送誤りまたは欠落よりも少なくするように、各誤り保
護部で誤り保護の処理を行う。

【００３６】図５は、Ｎ＝３すなわち上述した例におけ
る３階層のスケーラブル符号化を行うと場合に用いられ
る音響符号化装置の具体的な構成を示している。ここで
は、音響の主要な帯域に対応して第１の帯域（主要階層
Ａの帯域）が設定され、第１の帯域を含むように第１の
帯域より広い第２の帯域（補助階層Ｂの帯域）が設定さ
れ、第２の帯域を含むように第２の帯域より広い第３の
帯域（補助階層Ｃの帯域）が設定されているものとす
る。

【００３７】この音響符号化装置は、入力信号（音響信
号）から波形切り出しを行って符号化フレームを得る切
り出し部２１と、第１の帯域（主要階層Ａの帯域）の成
分信号を抽出する第１の抽出器２２と、第１の帯域の成
分信号に対して符号化を行い第１の符号を得る第１の符
号化器２３と、第１の符号を復号して第１の帯域の復号
信号を得る第１の復号器２４と、第２の帯域（補助階層
Ｂの帯域）の成分信号を抽出する第２の抽出器２５と、
第２の帯域の成分信号から第１の帯域の復号信号を差し
引くことにより残差信号を生成する減算器２６と、減算
器２６で得られた残差信号に対して符号化を行い第２の
符号を得る第２の符号化器２７と、第２の符号化器２７
から出力される第２の符号を復号する第２の復号器２８
と、上述の第１の帯域の復号信号と第２の復号器２８の
出力信号を加算して第２の帯域の復号信号とする加算器
２９と、第３の帯域（補助階層Ｃの帯域）の成分信号を
抽出する第３の抽出器３０と、第３の帯域の成分信号か
ら第２の帯域の復号信号を差し引くことにより残差信号
を生成する減算器３１と、減算器３１で得られた残差信
号に対して符号化を行い第３の符号を得る第２の符号化
器３２と、第１の符号をパケット化する第１のパケット
化器３３と、第２の符号をパケット化する第２のパケッ
ト化器３４と、第３の符号をパケット化する第３のパケ
ット化器３５と、第１のパケット化器３３の出力パケッ
トに対して誤り保護処理を行う第１の誤り保護部３６
と、第２のパケット化器３４の出力パケットに対して誤
り保護処理を行う第２の誤り保護部３７と、第３のパケ
ット化器３５の出力パケットに対して誤り保護処理を行
う第３の誤り保護部３８と、各誤り保護部３６〜３８で
の誤り保護処理のレベルを設定する誤り保護制御部３９
と、誤り保護処理がなされた各階層のパケットを多重化
して伝送路上に送出する多重化部４０とを備えている。
各誤り保護部３６〜３８には、第１の帯域のパケットに
対して最も優先度の高い誤り保護がなされ、第２の帯域
のパケットに対して次の順位の優先度の誤り保護がなさ
れ、第３の帯域のパケットには最も優先度の低い誤り保
護がなされる（誤り保護を実行しない場合も含む）よう
に、誤り保護制御部３９によって誤り保護処理のレベル
が設定される。

【００３８】次に、ここで述べたように送信側において
音響符号化がなされたとして、受信側での復号処理につ
いて説明する。

【００３９】受信側では、伝送路からパケットを受取る
と、まず、各階層ごとにパケットを仕分ける。そして、
階層ごとに、パケットを検査し、誤り保護情報が付加さ
れている場合には誤り検出や誤り訂正を行い、その階層
の符号を得る。そして、各階層の符号を復号し、各復号
信号を加算して音響信号に再生することにより、出力音
響信号を得る。このとき、パケット損失（制限時間まで
に受信側へ到着しない未着パケットや誤り訂正で訂正で
きない誤りがあるパケット）があったときは、パケット
損失のあった階層だけはパケットがなかったものとして
扱い、したがって、各復号信号を加算する場合にもその
階層は加算対象とされないようにする。すなわちその階
層については無音であったものとする。このように処理
しても、図２あるいは図３を用いて説明したように、残
りの階層の波形から音響信号が再生されることになるの
で、出力音響信号における著しい音質の劣化は避けられ
る。特に、主要階層のパケットについて十分な誤り保護
がなされている場合には、その主要階層のパケットは損
失となることが実質的になく、したがって、パケット損
失に伴なう音質の劣化が著しく軽減される。ここでは、
パケット損失があった階層は無音化すると説明したが、
パケット損失があった場合に、その階層の直前の符号化
フレームのパケットを再度用いるようにしてもよいし、
その階層の直前の符号化フレームのパケットと直後の符
号化フレームのパケットの相加平均を求めてその相加平
均の信号列を用いるようにしてもよい。

【００４０】このような音響復号化装置は、スケーラブ
ル符号化における階層数がＮであって上述したように音
響信号がＮ個の帯域に分割されているものとして（ただ
しＮ≧２）、ｊを１≦ｊ≦Ｎの各整数とすると、第ｊの
符号における符号の誤りまたは欠落を検出する第ｊの符
号検査部と、誤りも欠落も検出されなかった場合にその
第ｊの符号を復号して第ｊの帯域の復号信号を求める第
ｊの復号器と、誤りも欠落も検出されなかった第ｊの帯
域の復号信号を帯域にわたり加算する加算器と、加算器
によって求められた加算成分に基づいて音響信号を再生
する音響信号再生部とを備えている。

【００４１】Ｎ＝３であるとすると、このような音響復
号化装置は、図６に示すように、受信信号中のパケット
を各階層に分離する符号分離器５１と、第１の階層のパ
ケットについて誤りや欠落の検査を行い第１の符号を取
り出す第１の符号検査部５２と、第１の符号検査部５２
において誤りも欠落も検出されなかった場合にその第１
の符号を復号して第１の帯域の復号信号を求める第１の
復号器５３と、第２の階層のパケットについて誤りや欠
落の検査を行い第２の符号を取り出す第２の符号検査部
５４と、第２の符号検査部５４において誤りも欠落も検
出されなかった場合にその第２の符号を復号して第２の
帯域の復号信号を求める第２の復号器５５と、第３の階
層のパケットについて誤りや欠落の検査を行い第３の符
号を取り出す第３の符号検査部５６と、第３の符号検査
部５６において誤りも欠落も検出されなかった場合にそ
の第３の符号を復号して第３の帯域の復号信号を求める
第１の復号器５７と、第１乃至第３の帯域の復号信号を
帯域にわたり加算する加算器５８と、加算器５８での加
算結果に基づき音響信号再生処理を行う音響信号再生部
５９と、を備えている。ただし、加算器５８において
は、利用者の必要に応じて、階層Ａの復号音のみを使用
したり、階層ＡとＢを加算した復号音を使用したり、階
層Ａ，Ｂ，Ｃの全てを加算した復号音を使用したりする
ことができる。

【００４２】以上、本発明の好ましい実施の形態につい
て説明したが、上述した音響符号化装置および音響復号
化装置は、ハードウエア構成とすることもできるし、汎
用のコンピュータやマイクロプロセッサなどを用い、ソ
フトウェアによって構成することもできる。

【００４３】すなわち、音響符号化装置、音響復号化装
置とも、上述した音響符号化方法、音響復号化方法を実
行するためのプログラムを、マイクロプロセッサなどを
含む例えば１ボードコンピュータなどのコンピュータに
読み込ませ、そのプログラムを実行させることによって
も実現できる。音響符号化方法、音響復号化方法を行う
ためのプログラムは、ＣＤ−ＲＯＭや不揮発性メモリな
どの記録媒体によって、あるいはネットワークを介して
コンピュータに読み込まれる。このコンピュータは、例
えば、マイクロプロセッサなどのＣＰＵと、プログラム
やデータを格納するためのメモリと、音響信号などが入
出力する入出力装置と、ネットワークとの接続を行うネ
ットワークインタフェースと、記録媒体を読み取る読み
取り装置とから構成されている。メモリ、入出力装置、
ネットワークインタフェース及び読み取り装置は、いず
れもＣＰＵに接続している。この計算機では、音響符号
化や音響復号化を行うためのプログラムを記録媒体やネ
ットワークから読み出してメモリ上に展開し、そのプロ
グラムをＣＰＵが実行することにより、上述したような
音響符号化あるいは音響復号化が実行される。

【００４４】

【発明の効果】以上説明したように本発明は、音響信号
をスケーラブル符号化で符号化するとともに、スケーラ
ブル符号化での各階層に対応するパケットを階層ごとに
分けられた形で配信するため、パケット損失が生じた場
合に著しい音質劣化を被ることを防止できるという効果
がある。また、重要階層のパケットに対しては十分な誤
り保護を行うことにより、パケット損失が発生したとし
ても、音質の低下を最小限にとどめることができるよう
になる。したがって、本発明によれば、インターネット
などの様々な回線でパケット化した楽音または音声デー
タを配信する際に、音切れや劣化の感じられない伝送を
行なうことが期待できる。特に、インターネットラジオ
放送、インターネットテレビ放送などにおけるライブ番
組や、インターネット電話、インターネット会議システ
ムなど、リアルタイム伝送が要求される通信システムで
は、パケット損失が生じた場合に再送ができないため、
本発明によって、損失パケットを再送しなくても品質の
劣化しない、またはほとんど劣化の感じられないライブ
通信の実現が期待できる。

【図面の簡単な説明】

【図１】本発明の実施の一形態の音響符号化方法を説明
する図である。

【図２】（ａ）〜（ｃ）は、各階層のパケットが損失し
たときの再生音スペクトルを示す図である。

【図３】（ａ）〜（ｃ）は、主要階層Ａに対応するパケ
ットに対して高度の誤り保護を行った場合に他の階層の
パケットが損失したときの再生音スペクトルを示す図で
ある。

【図４】（ａ）はネットワーク構成を示すブロック図で
あり、（ｂ）は誤り保護情報を設定する場合の手順を示
すフローチャートである。

【図５】本発明の実施の一形態の音響符号化装置を説明
するブロック図である。

【図６】本発明の実施の一形態の音響復号化装置を説明
するブロック図である。

【符号の説明】

１０ ネットワーク １１ 送信側 １２ 受信側 ２１ 切り出し部 ２２，２５，３０ 抽出器 ２３，２７，３２ 符号化器 ２４，２８，５３，５５，５７ 復号器 ２６，３１ 減算器 ２９，５８ 加算器 ３３〜３５ パケット化器 ３６〜３８ 誤り保護部 ３９ 誤り保護制御部 ４０ 多重化部 ５１ 符号分離器 ５２，５４，５６ 符号検査部 ５９ 音響信号再生部 １１０ 伝送路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 和永 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 森 岳至 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5D045 DA01 DA11 5K028 AA12 EE08 KK32 MM09 SS05 SS15

Claims (13)

【特許請求の範囲】
1. 【請求項１】 音響信号を符号化して伝送する音響符号
   化方法であって、 入力する音響符号に対してスケーラブル符号化を行い、 前記スケーラブル符号化における各階層ごとに得られた
   符号をパケット化し、 前記各階層のパケットを配信する、音響符号化方法。
2. 【請求項２】 重要度の高い階層のパケットほど優先度
   が高くなるように誤り保護処理を行ってから前記各階層
   のパケットを配信する、請求項１に記載の音響符号化方
   法。
3. 【請求項３】 音響信号をＮ（Ｎは２以上の整数）個の
   帯域ごとに符号化する音響符号化方法であって、 ｉを２以上Ｎ以下の各整数として、第ｉの帯域は第ｉ−
   １の帯域を含み、 前記音響信号の第１の帯域の成分信号を抽出する第１の
   抽出過程と、 前記第１の帯域の成分信号を符号化して第１の符号を求
   める第１の符号化過程と、 第１乃至第ｉ−１の符号に基づいて第ｉ−１の帯域の復
   号信号を求める第ｉ−１の復号過程と、 前記音響信号の第ｉの帯域の成分信号を抽出する第ｉの
   抽出過程と、 前記第ｉの帯域の成分信号と前記第ｉ−１の帯域の復号
   信号との残差信号を符号化して第ｉの符号を求める第ｉ
   の符号化過程と、 前記第１乃至第Ｎの符号を前記各帯域ごとに分けて伝送
   する過程と、を有する音響符号化方法。
4. 【請求項４】 第ｉ−１の帯域での伝送誤りまたは欠落
   が第ｉの帯域における伝送誤りまたは欠落よりも少なく
   なるように誤り保護処理を行ってから、前記伝送する過
   程を実施する請求項３に記載の音響符号化方法。
5. 【請求項５】 音響符号化による符号を格納したパケッ
   トを受信して前記符号を復号する音響復号化方法であっ
   て、 前記音響符号化は複数の階層を有するスケーラブル符号
   化であって、前記パケットは前記階層ごとに設定されて
   おり、 パケット伝送におけるパケット損失の有無を検査する過
   程と、 パケット損失が検出されなかった階層ごとに、当該階層
   のパケットから符号を取り出して復号し、復号信号を得
   る過程と、 パケット損失が検出された階層に関しては無音として、
   前記各復号信号を加算する過程と、 前記加算の結果に基づいて音響を再生する過程と、を有
   する音響復号化方法。
6. 【請求項６】 音響符号化による符号を格納したパケッ
   トを受信して前記符号を復号する音響復号化方法であっ
   て、 前記音響符号化は複数の階層を有するスケーラブル符号
   化であって、前記パケットは前記階層ごとに設定されて
   おり、 パケット伝送におけるパケット損失の有無を検査する過
   程と、 パケット損失が検出されなかった階層ごとに、当該階層
   のパケットから符号を取り出して復号し、復号信号を得
   る過程と、 パケット損失が検出された階層に関しては同一階層の直
   前及び直後の少なくとも一方の符号化フレームにおける
   パケットでの復号結果を用いて復号信号とする過程と、 前記各復号信号を加算する過程と、 前記加算の結果に基づいて音響を再生する過程と、を有
   する音響復号化方法。
7. 【請求項７】 Ｎを２以上の整数とし、ｊを１からＮま
   での各整数として、第ｊの符号における符号の誤りまた
   は欠落を検出する第ｊの符号検査過程と、 前記第ｊの符号における誤りも欠落も検出されなかった
   場合に、前記第ｊの符号を復号して第ｊの帯域の復号信
   号を求める第ｊの復号過程と、 誤りも欠落も検出されなかった各帯域の復号成分を帯域
   にわたり加算する加算過程と、 前記加算過程で求められた加算成分に基づいて音響信号
   を再生する音響信号再生過程と、を有し、 前記第ｊの符号はスケーラブル符号化における第ｊの帯
   域に対応し、ｉを２からＮまでの各整数として、第ｉの
   帯域は第ｉ−１の帯域を含む、音響復号化方法。
8. 【請求項８】 音響信号を符号化して伝送する音響符号
   化装置であって、 入力する音響符号に対してスケーラブル符号化を行う手
   段と、 前記スケーラブル符号化における各階層ごとに得られた
   符号をパケット化する手段と、 前記各階層のパケットを配信する手段と、を有する音響
   符号化装置。
9. 【請求項９】 伝送前に、重要度の高い階層のパケット
   ほど優先度が高くなるように誤り保護を行う手段をさら
   に有する請求項８に記載の音響符号化装置。
10. 【請求項１０】 音響信号をＮ（Ｎは２以上の整数）個
    の帯域ごとに符号化する音響符号化装置であって、 ｉを２以上Ｎ以下の各整数として、第ｉの帯域は第ｉ−
    １の帯域を含み、 前記音響信号の第１の帯域の成分信号を抽出する第１の
    抽出器と、 前記第１の帯域の成分信号を符号化して第１の符号を求
    める第１の符号化器と、 第１乃至第ｉ−１の符号に基づいて第ｉ−１の帯域の復
    号信号を求める第ｉ−１の復号器と、 前記音響信号の第ｉの帯域の成分信号を抽出する第ｉの
    抽出器と、 前記第ｉの帯域の成分信号と前記第ｉ−１の帯域の復号
    信号との残差信号を符号化して第ｉの符号を求める第ｉ
    の符号化器と、 前記第１乃至第Ｎの符号を前記各帯域ごとに分けて伝送
    する手段と、を有する音響符号化装置。
11. 【請求項１１】 音響符号化による符号を格納したパケ
    ットを受信して前記符号を復号する音響復号化装置であ
    って、 前記音響符号化は複数の階層を有するスケーラブル符号
    化であって、前記パケットは前記階層ごとに設定されて
    おり、 パケット伝送におけるパケット損失の有無を検査する手
    段と、 パケット損失が検出されなかった階層ごとに、当該階層
    のパケットから符号を取り出して復号し、復号信号を得
    る手段と、 パケット損失が検出された階層に関しては無音として、
    前記各復号信号を加算する手段と、 前記加算の結果に基づいて音響を再生する手段と、を有
    する音響復号化装置。
12. 【請求項１２】 コンピュータに、音響信号を符号化し
    て伝送する音響符号化を実施させるプログラムであっ
    て、 前記コンピュータに、 入力する音響符号に対してスケーラブル符号化を行う処
    理と、 前記スケーラブル符号化における各階層ごとに得られた
    符号をパケット化する処理と、 重要度の高い階層のパケットほど優先度が高くなるよう
    に誤り保護を行う処理と、 前記各階層のパケットを配信する処理と、を実施させる
    プログラム。
13. 【請求項１３】 コンピュータに、音響符号化による符
    号を格納したパケットを受信して前記符号を復号する音
    響復号化を実施させるプログラムであって、 前記音響符号化は複数の階層を有するスケーラブル符号
    化であって、前記パケットは前記階層ごとに設定されて
    おり、 前記コンピュータに、 パケット伝送におけるパケット損失の有無を検査する処
    理と、 パケット損失が検出されなかった階層ごとに、当該階層
    のパケットから符号を取り出して復号し、復号信号を得
    る処理と、 パケット損失が検出された階層に関しては無音として、
    前記各復号信号を加算する処理と、 前記加算の結果に基づいて音響を再生する処理と、を実
    施させるプログラム。