JP3926730B2 - 符号送受信システム - Google Patents
符号送受信システム Download PDFInfo
- Publication number
- JP3926730B2 JP3926730B2 JP2002326520A JP2002326520A JP3926730B2 JP 3926730 B2 JP3926730 B2 JP 3926730B2 JP 2002326520 A JP2002326520 A JP 2002326520A JP 2002326520 A JP2002326520 A JP 2002326520A JP 3926730 B2 JP3926730 B2 JP 3926730B2
- Authority
- JP
- Japan
- Prior art keywords
- code
- unit
- transmission
- code string
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Communication Control (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば、インターネットを通じてオーディオ信号をダウンロードしながら再生する、いわゆるストリーミングに適用される符号送受信システムに関するものである。
【０００２】
【従来の技術】
近年、インターネットを用いてオーディオやビデオなどのディジタル信号の圧縮符号を一部ずつ順次ダウンロードしながら、復号、再生を実時間で実施する、つまりストリーミングが行われるようになってきている。
このストリーミングに用いる従来の符号伝送方法は、オーディオやビデオなどのディジタル信号を圧縮符号化した符号列をサーバから、例えばインターネット経由で受信して伝送速度の変動等を吸収するためのバッファに蓄積し、このバッファから時間順に符号列を取り出し、この符号列を復号化してオーディオやビデオの信号を再生するものである（例えば特許文献１）。この場合の符号伝送方法の構成を図１に簡単に示す。
【０００３】
送信側、例えばサーバの送信符号列蓄積部１にはオーディオやビデオなどのディジタル信号をフレーム単位で符号化した符号列が蓄積されていて、時間順にフレーム毎の送信符号列が伝送路送信部２に出力される。伝送路送信部２と伝送路受信部３の間は一般のインターネットなどを通じる伝送路４であり、受信されたフレーム毎の受信符号列が受信バッファ５に入力され、一旦受信バッファ５に蓄積される。受信バッファ５より古い符号列から時間順に復号符号列として復号化部６に伝えられる。復号化部６では入力された時間順の復号符号列の復号が行われ、復号ディジタル信号が出力される。
【０００４】
伝送路４におけるトラフィックの輻輳状態による通常の伝送速度変動や受信符号列の到着遅延に対しある程度耐性が得られるように受信バッファ５のサイズ（蓄積容量）が選定されている。しかし送信側の送信基準時刻（タイミング）と受信側の復号基準時刻（タイミング）とにずれがあると、復号できないフレームが生じ、音切れやコマ飛びが生じる。この点より前記特許文献１では受信バッファ５の空き容量が１／２以上になるとデータ送信要求を送信側へ送り、送信側はその送信要求を受信すると、受信バッファ５の蓄積容量の１／２以下のデータを受信側に送信する。また受信側で受信バッファ５の空き容量に応じた送信要求を送信側に送り、送信側でその要求量に応じた量のデータを送信することも示されている。この場合送信データ量の増減を、１フレーム内のディジタル信号の一部を落して行ってはいない。以上のようにして音切れやコマ飛びが生じないようにしている。
【０００５】
しかし、伝送路４のトラフィック量が大幅に変動し、可成りひどい輻輳状態になると、復号化部６で連続して復号化することができなくなり、音切れやコマ飛びが生じる。
このような問題を解決するためにディジタル信号を階層符号化し、上位（高品質）の条件の符号列が下位（低品質）の条件の符号列を包含するようにし、伝送速度が十分であれば、上位の条件の符号列を伝送して、高品質のディジタル信号の再生を可能とし、伝送速度が不十分になると下位の条件の符号列を伝送して品質が低下するがディジタル信号の再生を可能にして、音切れやコマ飛びなく実時間連続復号再生、つまりストリーミングを可能とすることが提案されている（例えば非特許文献１）。
【０００６】
即ち図２に示すように、音源４１よりの振幅語長が２４ビット、標本化周波数が９６ｋＨｚのディジタル信号が右シフト部４２により各サンプルが８ビット右へシフトされ、つまり下位８桁が除去され、振幅語長が１６ビットとされ、その後左シフト部４３で８ビット左へシフトされ、各サンプルの振幅語長が２４ビットで下位８ビットが０の信号とされ、この信号が減算部４４で入力ディジタル信号より差し引かれ、下位８ビットが符号Ｄとして出力される。右シフト部４２よりの信号はダウンサンプル部４５で標本化周波数が４８ｋＨｚにダウンサンプリングされ、このダウンサンプリングされた信号がアップサンプル部４６で標本化周波数９６ｋＨｚにアップサンプリングされ、このアップサンプリングされた信号と、右シフト部４２よりの信号との誤差信号が減算部４７で生成され、この誤差信号が可逆圧縮部４８で可逆圧縮符号化され、その符号Ｃが出力される。
【０００７】
ダウンサンプル部４５より１６ビット４８ｋＨｚのディジタル信号は非可逆符号化部４９で符号化方法ＭＰＥＧ−４により圧縮符号化され、その圧縮符号Ａが出力される。この圧縮符号は局部復号部５０で復号され、局部復号信号が生成され、この局部復号信号と、ダウンサンプル部４５よりの１６ビット４８ｋＨｚディジタル信号との誤差信号が減算部５１で生成され、その誤差信号は可逆圧縮部５２で可逆圧縮符号化され、その符号Ｂが出力される。
可逆圧縮部４８，５２は予測符号化した後、可逆符号化をするとよい。つまり図３に示すように、誤差信号は線形予測部６１で線形予測分析され、その予測係数と入力誤差信号とから予測値を求め、その予測値を整数化部６２で整数値とし、その整数値とされた予測値を誤差信号から減算部６３で差し引き、その残差信号を可逆圧縮部６４で可逆圧縮符号化する。なお、線形予測係数も符号化して出力する。
【０００８】
この場合上位の符号列はＡ〜Ｄであり、最下位の符号列はＡである。伝送路の状態に応じて送信情報量を動的に制御し、受信側では通常は上位の符号列Ａ〜Ｄを受信して、高品質なディジタル信号を再生し、伝送路状態が悪い場合でも下位の符号Ａを受信して、品質が低下するが、連続的に再生信号を得ることができる。
可逆圧縮部４８，５２，６４での可逆圧縮法は非特許文献１にも説明されているが、特許文献２に詳細に説明されている。この特許文献２に示す可逆圧縮法とその可逆伸張法を簡単に説明する。
【０００９】
図４に示すように、符号器では、入力端子１００よりのディジタル入力信号の時系列（以下「ディジタル入力信号系列」と称する）が、フレーム分割部１１０で、例えば１０２４個のディジタル入力信号（即ち、１０２４点のサンプル）からなるフレーム単位に順次分割され、このフレーム単位ごとにディジタル信号が非可逆量子化部１２０で非可逆圧縮符号化される。この符号化は、復号化時に元のディジタル入力信号をある程度再現できる方式であれば、入力信号に適した如何なる方式でもよい。例えば、上記ディジタル入力信号が音声であればＩＴＵ−Ｔの音声符号化などが利用でき、音楽であればＭＰＥＧまたはＴwinＶＱなどが利用でき、映像であればＭＰＥＧなどを利用できる。この非可逆圧縮符号Ｉ（ｎ）は逆量子化部１３０で局部復号され、この局部復号信号と元のディジタル信号との誤差信号が差回路１４０で生成される。この誤差信号の振幅は通常は元のディジタル信号の振幅よりもかなり小さい。よって、ディジタル信号を可逆圧縮符号化するよりも、誤差信号を可逆圧縮符号化する方が情報量を小さくできる。
【００１０】
この可逆圧縮符号化の効率を上げるために、誤差信号即ち、ディジタルのサンプル列をならびかえ部１６０でならびかえる。即ちこの誤差信号を、２の補数表現によるサンプル列から、符号絶対値表現（極性と絶対値の２進数）によるサンプル列へ変換し、その各サンプルのビット位置、つまりＭＳＢ，第２ＭＳＢ，…，ＬＳＢ毎に、サンプルを跨いだ、フレーム内のビットからなるビット列として、可逆符号化部１５０で可逆圧縮符号化して符号Ｉ（ｅ）を出力する。つまり誤差信号の各サンプルＶ（ｋ）は例えば図５Ａに示すように、ＬＳＢ〜極性ビットより、サンプル数が１０２４個であり、ならびかえられたビット列の１つＤＨ（ｉ）は図５Ｂに示すように、図５Ａの各サンプルの同一桁位置のビットよりなる１０２４個ビット列である。誤差信号は振幅が小さいので、上位のビットは全て“０”となることが多く、その結果、ならびかえたビット列ＤＨ（ｉ）は“０”が連続することによって、誤差信号の可逆圧縮符号化効率を上げることができる。この可逆圧縮符号化としては、例えば、同一符号（１又は０）が連続する系列がある場合や頻繁に出現する系列がある場合を利用した、ハフマン符号化や算術符号化などのエントロピィ符号化などを用いることができる。
【００１１】
復号化器では、可逆復号化部２１０で可逆圧縮符号Ｉ（ｅ）が復号化され、その復号信号に対し、ならびかえ部２２０でならびかえ部１６０と逆の処理が行われ、誤差信号がフレーム単位で順次再生される。また、逆量子化部２３０で、非可逆圧縮符号Ｉ（ｎ）が復号化され、この復号信号と再生された誤差信号とが加算部２４０で加算され、最後に、フレーム合成部２５０でフレームごとの各加算信号が順次連結されて、元のディジタル信号系列が再生される。
非特許文献１には非可逆圧縮符号Ｉ（ｎ）を優先度１番のパケットＰ１として、誤差信号のＭＳＢに対する可逆圧縮符号Ｉ（ｅ５）を優先度２番のパケットＰ２として、誤差信号のＭＳＢのすぐ下位桁位置（例えば第１５桁位置）のビットに対する可逆圧縮符号Ｉ（ｅ１５）を優先度３番のパケットＰ３として、以下桁位置が下る程対応可逆圧縮符号Ｉ（ｅ１４），…，Ｉ（ｅ１）を順次優先度の順位を下げたパケットＰ４，…，Ｐ１７とすることが示されている。
【００１２】
【特許文献１】
特開平１１−１０３３１７号公報（段落番号［００６９］〜［００７８］、図８、図９、図１６、図２０）
【特許文献２】
特開２００１−１４４８７号公報（第６〜８頁、図３）
【非特許文献１】
T.Moriya他４名著"Sampling Rate Scalable Lossless Audio coding"2002 IEEE Speech Coding Workshop proceedings 2002，10月
【００１３】
【発明が解決しようとする課題】
階層符号列を用い、伝送路状態に応じて動的に送信する符号列情報量を増減することによりストリーミングを実現することが非特許文献１に示されている。伝送路状態をどのように検出して、送信する符号列情報量をどのように制御するかは示されていない。送信したパケットが受信側で受信されたことを確認し、送信したパケットを必ず受信側に受信させる伝送プロトコルを用いれば、受信確認情報の遅れから、伝送路の輻輳状態を推定でき、その場合は、符号列の送信タイミング間隔を大とすると共に優先度の高い符号列のみを送信することが考えられるが、その場合、音切れやコマ飛びなしにストリーミングができるか保証はない。この発明の目的は、伝送路状態に応じて、送信符号情報量を制御し、ストリーミングを保証する具体的符号送信方法、符号受信方法、それらの装置及びそれらのプログラムを提供することにある。
【００１４】
【課題を解決するための手段】
この発明によれば、ディジタル信号が単位時間毎に階層符号化された符号列の全部または一部の階層を送信、受信、復号して復号ディジタル信号を生成する符号送受信システムであって、符号送受信システムは、符号送信装置から送信された符号列は確実に符号受信装置で受信されるよう制御される非同期のデータ転送プロトコルで接続される伝送路を介して接続された上記符号送信装置と上記符号受信装置とにより構成されている。
符号送信装置は、入力されたバッファ残量情報に従って、バッファ残量が予め設定された所定値より多ければ単位時間ごとの階層符号化された符号列のうち最も優先度が高い階層の符号列から優先度が低い階層の符号列までを送信することを決定し、バッファ残量が上記所定値より少なければ単位時間ごとの階層符号化された符号列のうち最も優先度が高い階層の符号列のみを送信することを決定する送信符号列決定部と、送信することが決定された送信符号列を上記データ転送プロトコルに従って送信する伝送路送信部を具備する。
また、符号受信装置は、伝送路送信部から送信された符号列の全てを上記データ転送プロトコルに従って受信する伝送路受信部と、受信した符号列が何番目の単位時間に対するものであるかを識別するように蓄積され、単位時間毎にその順に対応するすべての符号列が取り出される受信バッファと、単位時間ごとに取り出されたすべての符号列により１つのディジタル信号を復号する復号化部と、受信バッファに蓄積されている符号列量と対応するバッファ残量情報を生成出力する残量情報生成部とを具備する。
【００１５】
また、別の観点によれば、ディジタル信号が単位時間毎に階層符号化された符号列の全部または一部の階層を送信、受信、復号して復号ディジタル信号を生成する符号送受信システムであって、上記符号送受信システムは、符号送信装置から送信された符号列は確実に符号受信装置で受信されるよう制御される非同期のデータ転送プロトコルで接続される伝送路を介して接続された上記符号送信装置と上記符号受信装置とにより構成されている。
符号送信装置は、単位時間ごとに、入力されたバッファ残量情報に従って、バッファ残量が予め設定された所定値より多ければ最も優先度が高い階層の符号列から優先度が低い階層の符号列までを符号化部が出力するように指定し、バッファ残量が所定値より少なければ最も優先度が高い階層の符号列のみを符号化部が出力するように指定する符号化クラス指定部と、単位時間ごとに上記ディジタル信号の符号化を行い、符号化クラス指定部で出力することを指定された階層の符号列を得る符号化部と、符号化部で得られた送信符号列を上記データ転送プロトコルに従って送信する伝送路送信部とを具備する。
符号受信装置は、伝送路送信部から送信された符号列の全てを上記データ転送プロトコルに従って受信する伝送路受信部と、受信した符号列が何番目の単位時間に対するものであるかを識別するように蓄積され、単位時間毎にその順に対応するすべての符号列が取り出される受信バッファと、単位時間ごとに取り出されたすべての符号列により１つのディジタル信号を復号する復号化部と、受信バッファに蓄積されている符号列量と対応するバッファ残量情報を生成出力する残量情報生成部とを具備する。
【００１８】
【発明の実施の形態】
以下、図面を用いてこの発明の実施の形態を説明する。
第１実施形態
第１実施形態は、ディジタル信号から優先度の異なる複数の符号列を得るために２階層符号化を用いる場合である。この２階層符号化方法により、ディジタル信号は、復号化に必ず必要とし、低ビットレート伝送が可能で品質は落ちるがディジタル信号を再生することができるベースレイヤの符号列＃１Ａ，＃２Ａ，…と、高品質な復号のために必要なエンハンストレイヤの符号列＃１Ｂ，＃２Ｂ，…とに変換されるものとする。つまり、符号列＃１Ｂ，＃２Ｂ，…の復号信号と符号列＃１Ａ，＃２Ａ，…の復号信号を加算して高品質の再生ディジタル信号が得られ、符号列＃１Ａ，＃２Ａ，…だけを復号して低品質の再生ディジタル信号が得られ、＃１Ａ，＃２Ａ，…は下位（低品質）の条件の符号列であり、符号列（＃１Ａ，＃１Ｂ），（＃２Ａ，＃２Ｂ），…は上位（高品質）の条件の符号列である。
【００１９】
ここでは簡単に説明するために２階層符号化方法を用いるが、ここで用いる符号化方法は３以上の階層をもつ階層符号化方法であってもよく、また優先度の異なる符号列を出力するものであれば階層符号化でなくてもよい。
図６は、この第１実施形態の符号送信装置３００、符号受信装置４００の機能の構成を示し、図１と対応する部分に同一参照番号を付けてある。
符号送信装置３００において、送信符号列蓄積部１にはオーディオやビデオなどのディジタル信号を前記の２階層符号化方法で符号化した符号列が蓄積されていて、時間順にフレーム毎のすべて（ベースレイヤとエンハンストレイヤとの符号列）または１つ（ベースレイヤ）の符号列が符号列送出制御部７からの送出符号列指定情報に従って伝送路送信部２に出力される。符号列送出制御部７では、符号受信装置４００から入力されるバッファ残量情報に従って、受信バッファの残量が十分である場合には送信符号列蓄積部１が各フレーム毎のすべての符号列を、受信バッファの残量が減少している場合には送信符号列蓄積部１が各フレーム毎の優先度の高い符号列のみを出力するように、送出符号列指定情報を生成して送信符号列蓄積部１に出力する。例えば符号列送出制御部７にはバッファ残量情報と送出符号列指定情報との関係を示すテーブル７ａが設けられ、受信されたバッファ残量情報によりテーブル７ａを参照して対応する送出符号列指定情報を送信符号列蓄積部１に出力する。符号送信装置３００の伝送路送信部２と符号受信装置４００の伝送路受信部３との間は一般のインターネットなどを通じて互いに接続することができる伝送路４があり、ここではデータを確実に伝送できる、例えばＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）のようなデータ転送プロトコルでデータの送受信が行われ、送信データは結果として必ず受信される。
【００２０】
伝送路受信部３に受信された受信符号列はフレーム毎に一旦受信バッファ５に蓄積される。また、この受信バッファ５に蓄積されている受信符号列は古いものから時間順にフレーム毎に復号符号列として復号化部６に伝えられる。さらに、残量情報生成部８は受信バッファ５に蓄積されているフレーム毎の符号列の個数を常に監視していて、蓄積されている符号列が減少した場合には符号送信装置の符号列送出制御部７にバッファ残量情報を伝える。ここでバッファ残量情報としては、バッファ残量が所定値以下に減少したことを示す情報、結果として送信側の符号列送出制御部７に対し、受信バッファ５に蓄積されている符号列の残量が十分であるか減少しているかを伝えることができるようにすればよく、バッファ残量が所定値以上である場合のみそのことを示す情報をバッファ残量情報として出力してもよい、またバッファ残量のおおよその量、つまりバッファ蓄積容量の１／２，１／４，などや、またバッファ容量に対する蓄積量の予め決めたいくつかのパーセンテージなどにバッファ残量（又はバッファ空き量）がなったことをそれぞれ示す情報、あるいはバッファ残量（あるいは空き量）の個数そのものを示す情報をバッファ残量情報としてもよい。更に、バッファ残量の減少傾向、例えば各フレームごとに受信バッファに入力された符号列の数に対する出力された符号列の数の差を示す情報をバッファ残量情報としてもよい。復号化部６では入力された時間順の復号符号列の復号が行われ、復号ディジタル信号が出力される。
【００２１】
なお、復号化部６は受信バッファ５にある程度符号列が蓄積されると復号を開始するが、バッファ残量の監視も復号の開始と同時、またはそれよりある程度遅れて開始する。
８フレームのディジタル信号を伝送する際に、伝送路４の伝送速度が十分な場合の送信符号、受信符号列、バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図７に示す。ここでは、各フレームの符号列をベースレイヤ、エンハンストレイヤの順に伝送されるものとし、また符号受信装置４００でフレーム＃１を復号する状態以後について示してある。送信符号列蓄積部１では常は例えばフレーム時間ごとにそのフレームのすべてレイヤの符号列を出力する。伝送路送信部２では前述したようにＴＣＰのようなデータ転送プロトコルを用いており、復号受信装置４００でデータが受信されたことを確認して、送るべきデータは必ず着信するようにしている。この確認は、一般に１つの符号列の送信から、いくつかの遅れたタイミングになってできる。この確認の遅れ状態から伝送路の輻輳状態、つまり符号送信装置３００から符号受信装置４００に到る伝送路の伝送速度を推定でき、これに応じて符号列の送信速度を変更するようにされている。なお送信符号蓄積部１と伝送路送信部２とは通常はその処理の同期をとっていない。
【００２２】
図７の最初のタイミングＴ（０）では、符号送信装置３００から符号列＃４Ａが送信され、受信バッファ５には受信符号列＃４Ａが入力され、復号符号列＃１Ａ，＃１Ｂが１フレーム分として出力され、受信バッファ５には５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積され、バッファ残量が所定数、５以上であるため、残差情報生成部８はバッファ残量情報を出力しない。このことは図７では×印で示している。
次のタイミングＴ（１）では、伝送速度が十分であると推定されているため、送信装置３００から符号列＃４Ｂが送信され、受信バッファ５には受信符号列＃４Ｂが入力され、復号符号列は出力されず、受信バッファには６個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。バッファ残量情報は送出されない。
【００２３】
タイミングＴ（２）では、送信装置３００から符号列＃５Ａが送信され、受信バッファには受信符号列＃５Ａが入力され、復号符号列＃２Ａ，＃２Ｂが１フレーム分として出力され、受信バッファには５個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。
このように、伝送速度が十分な場合には、最後のフレーム＃８の符号列＃８Ｂが受信バッファに蓄積されるまで受信バッファの蓄積符号列数は５個または６個であり、伝送が行なわれている間には減少することはなく、バッファ残量情報はすべてのタイミングで出力されない。また、すべてのフレームを復号するタイミングで、そのフレームのすべての符号列、つまりベースレイヤとエンハンスメントレイヤの各符号を復号符号列として復号化部に入力することができる。従って、すべてのフレームで高品質の復号ディジタル信号を得ることができる。
【００２４】
伝送路４の伝送速度が不十分な場合の送信符号列、受信符号列、バッファに蓄積されている符号列、バッファ残量情報出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図８に示す。この図では、タイミングＴ（０）の前は伝送速度は十分であると推定され、各タイミングごとに符号ＡとＢが交互に送信されていたが、伝送速度が不十分になったと推定され、タイミングＴ（０）から符号列の送信速度をそれまでの１／２にした場合である。
図８の最初のタイミングＴ（０）では、送信装置３００から符号列＃４Ａが送信され、受信バッファ５には受信符号列＃４Ａが入力され、１フレーム分の復号符号列＃１Ａ，＃１Ｂが出力され、受信バッファ５には５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積されている。受信バッファ内の符号列の個数は、４個より多く、十分であるため、残量情報生成部８はバッファ残量情報を出力しない。
【００２５】
タイミングＴ（１）では伝送速度が遅いため、送受信は行われない。
タイミングＴ（２）では送信装置３００から符号列＃４Ｂが送信され、受信バッファ５には受信符号列＃４Ｂが入力され、復号符号列＃２Ａ，＃２Ｂが出力され、受信バッファ５には４個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。ここで、受信バッファ５内の符号列の個数が所定数４以下に減少しているため、残量情報生成部８はバッファ残量情報を符号列送出制御部７に向けて出力する。
符号列送出制御部７はタイミングＴ（４）では、バッファ残量情報が伝えられたことにより、次のフレーム中の優先度の高いベースレイヤの符号列＃５Ａを出力する。受信バッファ５には受信符号列＃５Ａが入力され、復号符号列＃３Ａ，＃３Ｂが１フレーム分として出力され、受信バッファ５には３個の符号列＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。ここで、受信バッファ５内の符号列の個数が所定数以下であるため、残量情報生成部８はバッファ残量情報を符号列送出制御部７に向けて出力する。
【００２６】
符号列送出制御部７はタイミングＴ（６）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストストレイヤ＃５Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃６Ａを出力する。受信バッファ５には受信符号列＃６Ａが入力され、復号符号列＃４Ａ，＃４Ｂが出力され、受信バッファ５には２個の符号列＃５Ａ，＃６Ａが蓄積されている。これまでは各フレームごとにエンハンストレイヤとベースレイヤの符号列が復号化部６に入力されるため、高品質の復号ディジタル信号を得ることができる。
符号列送出制御部７はタイミングＴ（８）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストレイヤ＃６Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃７Ａを出力する。受信バッファ５には受信符号列＃７Ａが入力され、復号符号列＃５Ａが１フレーム分として出力され、受信バッファ５には２個の符号列＃６Ａ，＃７Ａが蓄積されている。このフレームでは復号符号列として５Ａのみしか復号化部６に入力されない、しかし品質は低下するがディジタル信号を復号することができる。この説明から理解されるように、受信した各符号列は、フレームごとにそのフレームに属するすべての符号列を受信バッファ５から取り出すことができるように、受信バッファ５に蓄積される。
【００２７】
符号送出制御部７はタイミングＴ（１０）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストレイヤ＃７Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃８Ａを出力する。受信バッファ５には受信符号列＃８Ａが入力され、復号符号列＃６Ａが１フレーム分として出力され、受信バッファには２個の符号列＃７Ａ，＃８Ａが蓄積されている。
以降、タイミングＴ（１２），Ｔ（１４）では受信バッファ５から復号符号列＃７Ａ，＃８Ａがそれぞれ１フレーム分として出力されることから、復号化部６ではそれぞれのフレームの復号化を行い復号ディジタル信号＃７，＃８を得ることができる。つまりタイミングＴ（８）以後は各フレームごとにベースレイヤの符号Ａのみによる復号ディジタル信号となり、エンハンストレイヤを含む場合より品質は低下するが、従来の符号伝送方法で生じていた復号ディジタル信号の途切れは発生することなく、ストリーミングを行うことができる。なお上述ではバッファ残量情報として受信バッファ５の蓄積残量が所定値以下の時のみ生成出力する例としたが、先に述べたように、例えば受信バッファ５の蓄積残量を示す情報をバッファ残量情報として用いる場合は、バッファ残量情報をフレームごとに生成送信する。また図６中に破線で示すように送出符号列指定情報を伝送路送信部２へ入力し、伝送路送信部２でこれにより送信する符号列を図８中の送信符号列になるように制御してもよい。この場合は送信符号列蓄積部１からは各フレームごとにすべての符号列、この例ではＡとＢを伝送路送信部２に供給する。
【００２８】
第２実施形態
この発明の第２実施形態において２階層符号化を用いて８フレームのディジタル信号を伝送する場合を例として説明する。ベースレイヤの符号列を＃１Ａ，＃２Ａ，…とし、エンハンストレイヤの符号列を＃１Ｂ，＃２Ｂ，…とする。
この場合も３以上の階層をもつ階層符号化方法であってもよく、また優先度の異なる符号列を出力するものであれば階層符号化でなくてもよい。
図９に第２実施形態の機能構成例を示す。符号送信装置３００の符号化部９では、オーディオやビデオなどのディジタル信号が時間順に入力され、前記の２階層符号化方法によって符号化される。ここで、符号化クラス指定部９０から符号化クラス指定情報により２階層両方の符号列を出力するように指定された場合には２階層両方、つまりベースレイヤ及びエンハンストレイヤの符号化が行われて２階層両方の符号列が出力され、符号化クラス指定情報によりベースレイヤのみの符号列を出力するように指定された場合にはベースレイヤのみの符号化が行われてベースレイヤの符号列が出力される。フレーム毎のすべてまたは１つの符号列は伝送路送信部２に出力される。符号化クラス指定部９０では、符号受信装置４００から入力されるバッファ残量情報に従って、受信バッファの残量が十分である場合には符号化部９で２階層すべての符号化を行い、受信バッファの残量が減少している場合には符号化部９でベースレイヤのみを符号化するように、例えば残量情報と符号化クラス指定情報の関係を格納したテーブル９０ａが設けられ、バッファ残量情報に応じた符号化クラス指定情報を生成して符号化部９に出力する。符号化部９よりの符号列は伝送路送信部２により、伝送路４を通じて符号受信装置４００へ送信される。この伝送路４での伝送は第１実施例と同様にデータを確実に伝送できる、例えばＴＣＰのようなデータ転送プロトコルで行われる。
【００２９】
符号受信装置４００は第１実施形態の符号受信装置４００と同様の機能構成を備え、符号受信装置４００から符号送信装置３００へ送信されるバッファ残量情報も、第１実施形態で定義したものと同様のものである。
伝送路４の伝送速度が十分な場合の送信符号列、受信符号列、受信バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号のタイミングは、第１実施形態で説明した図７と全く同じであるため、ここでは説明を省略する。
伝送路４の伝送速度が不十分な場合の受信符号列、受信バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図１０に示す。この場合も推定伝送速度の低下によりタイミングＴ（０）から送信速度を２分の１にした状態を示す。
【００３０】
図１０の最初のタイミングＴ（０）では、送信装置３００でフレーム＃４の符号化が行われて符号化符号列＃４Ａおよび＃４Ｂが得られ、受信装置４００に向けて符号列＃４Ａが送信され、受信バッファには受信符号列＃４Ａが入力され、復号符号列＃１Ａ，＃１Ｂが出力され、受信バッファには５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積されている。受信バッファ内の符号列の個数は十分であるため、ここではバッファ残量情報を出力されない。
タイミングＴ（１）では伝送速度が遅いため、送受信は行われない。
タイミングＴ（２）では送信側ではフレーム＃５の符号化が行われて符号化符号列＃５Ａおよび＃５Ｂが得られると共に、送信装置３００から符号列＃４Ｂが送信され、受信バッファには受信符号列＃４Ｂが入力され、復号符号列＃２Ａ，＃２Ｂが出力され、受信バッファには４個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。ここで、受信バッファ内の符号列の個数が所定値４以下に減少しているため、残量情報生成部はバッファ残量情報を符号化クラス指定部９０に向けて出力する。
【００３１】
タイミングＴ（４）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃６の符号化はベースレイヤのみが行われて符号列＃６Ａが得られる。送出される符号列は先のタイミングＴ（２）で送信した符号列＃４Ｂの次の＃５Ａである。受信バッファには受信符号列＃５Ａが入力され、復号符号列＃３Ａ，＃３Ｂが出力され、受信バッファには３個の符号列＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。ここで、受信バッファ内の符号列の個数が所定値４以下に減少しているため、残量情報生成部はバッファ残量情報を符号クラス指定部９０に向けて出力する。
【００３２】
タイミングＴ（６）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃７の符号化はベースレイヤのみが行われて符号列＃７Ａが得られる。送出される符号列は先のタイミングＴ（４）で送出した符号列＃５Ａの次の＃５Ｂである。受信バッファには受信符号列＃５Ｂが入力され、復号符号列＃４Ａ，＃４Ｂが出力され、受信バッファには２個の符号列＃５Ａ，＃５Ｂが蓄積されている。
タイミングＴ（８）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃８の符号化はベースレイヤのみが行われて符号列＃８Ａが得られる。送出される符号列は先のタイミングＴ（６）で送出した符号列＃５Ｂの次の＃６Ａである。受信バッファには受信符号列＃６Ａが入力され、復号符号列＃５Ａが出力され、受信バッファには１個の符号列＃６Ａが蓄積されている。
【００３３】
タイミングＴ（１０）では、送出装置３００では、先のタイミングＴ（８）で送出した符号列＃６Ａの次の符号列＃７Ａが出力される。受信バッファには受信符号列＃７Ａが入力され、復号符号列＃６Ａが出力され、受信バッファには１個の符号列＃７Ａが蓄積されている。
以降、タイミングＴ（１２），Ｔ（１４）では受信バッファから復号符号列＃７Ａ，＃８Ａがそれぞれ出力されることから、復号化部ではそれぞれのフレームの復号化を行い復号ディジタル信号＃７，＃８を得ることができ、従来の符号伝送方法で生じていた復号ディジタル信号の途切れはこの第２実施形態では発生しない。
【００３４】
なお図６中の符号列送出制御部７、図９中の符号化クラス指定部９０は、以上の説明から理解されるように１フレームにおける送信すべき符号列を決定しており、これらを総称して送信符号列決定部とする。図９において符号化部９は各フレームごとにすべてのレイヤの符号化を行い、第１実施形態中の符号列送出制御部７と同様な送出符号列指定情報を入力されたバッファ残量情報に応じて生成出力し、この送出符号列指定情報に従って符号化部９では生成した符号列中の、この例ではベースレイヤおよびエンハンストレイヤの各符号列、またはベースレイヤの符号列のみを出力するようにしてもよい。送出符号列指定情報を用いる場合は、第１実施形態と同様に、送出符号列指定情報を伝送路送信部２に供給して、図１０中に示す送信符号列を送信するようにしてもよい。
【００３５】
上述した実施形態では説明を簡単にするために２階層符号化を用いたので、伝送速度が元の符号化速度の半分のベースレイヤの符号化速度を下回ると音切れやコマ飛びが発生するが、例えばベースレイヤに全体の符号化速度の何十分の１というような非常に符号化速度の遅い高圧縮な符号化を用いることにより、伝送速度が大きく変動して著しく劣化するようなインターネットにおけるストリーミングに用いた場合でも音切れやコマ飛びが発生しないという大きな特徴がある。
また、上述の実施形態では説明を簡単にするために受信バッファの最大サイズを５または６としているが、実際には数十から数百といった大きなバッファサイズとすることにより、速度変動や到着遅延への耐性を大きく高めることができる。
【００３６】
階層符号化、復号化
この発明は各種階層符号化法、復号化法を用いることができる。階層符号化方法の一般的な手法を図１１を参照して説明する。信号源１０からのディジタル信号は圧縮部１１−１により圧縮符号化されて第１符号列が生成される。この第１符号列はベースレイヤの符号列であって最も下位（低品質）の条件の符号列であり、この圧縮部１１−１は一般に高圧縮の非可逆圧縮符号化され、図４中の非可逆量子化部１２０で用いる圧縮符号化法と同様な手法が用いられる。
【００３７】
第１符号列の符号化残差が残差生成部９１−１で第１符号化残差信号として生成され、この第１符号化残差信号は圧縮部１１−２で圧縮符号化されて第２符号列が生成される。以下同様に圧縮符号化された符号列の符号化残差が残差生成部で残差信号として生成され、この残差信号が圧縮符号化されて符号列が生成されることが順次行われ、ＮM 階層符号化においては第ＮM −１符号列の符号化残差が残差生成部９１−ＮM −１で第ＮM −１残差信号として生成され（ＮM は２以上の自然数）、その第ＮM −１残差信号が圧縮部１１−ＮM で圧縮符号化され、第ＮM 符号列が生成される。残差信号に対する圧縮符号化を行う圧縮部１１−２〜１１−ＮM は、可逆圧縮符号化が好ましい。
【００３８】
図６中の符号列送出制御部７ａよりの送出符号列指定情報や図９中の符号化クラス指定部９０よりの符号化クラス指定情報の生成は、例えば入力されたバッファ残量情報に応じた値Ｍが決定され（ＭはＮM 以下の自然数）、第１符号列ないし第Ｍ符号列を出力する情報である。つまり第１符号列ないし第ＮM 符号列の優先度はそれぞれ１番ないしＮM 番になる。
この階層符号化方法による第１ないし第ＮM 符号列の復号方法を図１２を参照して説明する。第１符号列ないし第ＮM 符号列はそれぞれ伸張部３０−１ないし伸張部３０−ＮM で伸張復号化される。伸張部３０−１は図１１中の圧縮部１１−１の圧縮符号化と対応する伸張復号化を行うものであり、一般に非可逆伸張復号化を行い、第１復号信号を生成する。伸張部３０−２〜３０−ＮM は図１１中の圧縮部１１−２〜１１−ＮM の圧縮符号化と対応する伸張復号化を行うものであり、一般に可逆伸張復号化を行い、それぞれ第１符号化残差信号〜第ＮM −１符号化残差信号を生成する。
【００３９】
伸張部３０−１よりの第１復号信号と伸張部３０−２よりの第１符号化残差信号とが加算部３２−２で加算されて第２復号信号が復号される。以下順次、伸張部３０−Ｌよりの第Ｌ−１符号化残差信号と加算部３２−Ｌ−１よりの第Ｌ−１復号信号とが加算部３２−Ｌで加算されて第Ｌ復号信号が生成される。Ｌ＝２，…，ＮM 、伸張部３０−２〜３０−ＮM は図１１中の圧縮部１１−２〜１１−ＮM の圧縮符号化と対応した伸張符号化とされ、一般には可逆伸張復号化が行われる。受信バッファ５から１フレーム分として第１〜第Ｍ符号列が取り出された場合は、第Ｍ復号信号が得られる。この場合のＭはＮM 以下の自然数である。
【００４０】
次に階層符号化、復号化の具体例を説明する。
図１３に標本化周波数が１９２ｋＨｚの音楽信号を３階層符号化する具体例を示す。音源１０から標本化周波数が１９２ｋＨｚのディジタル信号（以下１９２ｋＨｚディジタル信号と表記する）がダウンサンプル部２２3 でダウンサンプリングされて標本化周波数が９６ｋＨｚのディジタル信号とされ、この信号はダウンサンプル部２２2 で更にダウンサンプリングされて４８ｋＨｚディジタル信号とされ、この４８ｋＨｚディジタル信号は圧縮部１１1 で非可逆圧縮符号化されて第１符号Ａとして出力される。
【００４１】
ダウンサンプル部２２2 よりの４８ｋＨｚディジタル信号はアップサンプル部２６2 で９６ｋＨｚディジタル信号にアップサンプリングされ、この９６ｋＨｚディジタル信号とダウンサンプル部２２3 よりの９６ｋＨｚディジタル信号との差が減算部１３3 でとられその９６ｋＨｚ差信号が圧縮部１１2 で圧縮符号化されて第２符号Ｂが出力される。またダウンサンプル部２２3 よりの９６ｋＨｚがアップサンプル部２６3 でアップサンプリングされた１９２ｋＨｚディジタル信号と音源１０より１９２ｋＨｚディジタル信号との差が減算部１３3 でとられ、その１９２ｋＨｚ差信号が圧縮部１１3 で圧縮符号化されて第３符号Ｃが出力される。
【００４２】
減算部１３2 及びアップサンプル部２６2 は残差生成部９１−１に相当し、第１符号Ａの符号化残差信号が減算部１３2 より得られ、減算部１３3 及びアップサンプル部２６3 は残差生成部９１−２に相当し、減算部１３3 より第２符号Ｂの符号化残差信号が出力される。圧縮部１１2 ，１１3 は図４中の可逆符号化部１５０での処理と同様な処理により可逆圧縮符号化を行う。
バッファ残量情報に応じ、例えば残量が十分な場合は第１〜第３符号Ａ，Ｂ，Ｃの符号を送信し、残量が１／２になれば、第２及び第１符号Ａ，Ｂの符号を送信し、残量が１／４になれば第１符号Ａのみを送信する。バッファ残量情報が受信バッファ５に蓄積されている符号列の量（残量）の減少傾向を表わす場合は、減少傾向がそれ程急でなければ第１及び第２符号Ａ，Ｂを送信し、減少傾向が急であれば第１符号Ａのみを送信する。このように符号化の階層が３以上であればバッファ残量情報に応じて送信符号をどの優先度までとするか、段階的に制御することができる。その際、図９に示した実施例においては符号化クラス、指定情報が例えば第２優先度までであれば、圧縮部１１−１，１１−２、残差生成部９１−１のみが動作し、第１、第２符号列が出力される。
【００４３】
図１３に示した符号化部と対応する復号化部を図１４に示す。第１、第２、第３符号Ａ，Ｂ，Ｃはそれぞれ伸張部３０1 ，３０2 ，３０3 で伸張復号化され、標本化周波数４８ｋＨｚの第１復号信号、標本化周波数９６ｋＨｚの第１符号化残差信号、標本化周波数１９２ｋＨｚの第２符号化残差信号がそれぞれ生成される。第１復号信号はアップサンプル部３３1 により標本化周波数９６ｋＨｚにアップサンプリングされ、加算部３２2 で第２符号化残差信号と加算されて９６ｋＨｚディジタル信号が復号され、この９６ｋＨｚディジタル信号がアップサンプル部３３2 で標本化周波数が１９２ｋＨｚにアップサンプリングされ、加算部３２3 で第２符号化残差信号と加算されて１９２ｋＨｚディジタル信号が復号される。
【００４４】
複数種類の標本化周波数に対応する階層的統合したディジタル信号の符号化のみならず、複数種類の標本化周波数と複数種類の振幅分解能（量子化精度乃至振幅語長）とに対応する２次元階層的なディジタル信号の圧縮符号化を行ってもよい。その例として、１６ビット、２０ビット、２４ビットの３種類の振幅語長と、４８ｋＨｚ、９６ｋＨｚ、１９２ｋＨｚの３種類の標本化周波数（サンプリングレート）との組み合せの全てのディジタル信号の生成を可能とする、ディジタル信号の２次元的階層符号化について説明する。
２次元的階層符号化のための２４ビット１９２ｋＨｚのディジタル信号の部分信号への分解とその各符号の例を図１５Ａに示す。振幅語長が２４ビットのディジタル信号中の下位８ビットを除いた上位１６ビットについて、標本化周波数が４８ｋＨｚで符号化した符号Ａと、符号Ａにより符号化された成分以上の周波数成分について標本化周波数９６ｋＨｚで符号化した符号Ｂと、更に符号Ｂにより符号化された成分以上の周波数成分について標本化周波数１９２ｋＨｚで符号化した符号Ｃとに標本化周波数方向に階層化される。つまり周波数方向のスケーラビリティは１６ビット語長の信号で実現される。
【００４５】
１６ビット語長に対し下位４ビットを含む２０ビット語長の信号については、その下位４ビットの成分、つまり２０ビット語長信号から１６ビット語長成分を差し引いた残差成分について、同様に標本化周波数４８ｋＨｚで符号化した符号Ｄ、その符号Ｄの符号化成分以上の周波数成分を９６ｋＨｚで符号化した符号Ｅと更に符号Ｅで符号化された成分以上の周波数成分について１９２ｋＨｚで符号化した符号Ｆとに階層化する。２０ビット語長に対し下位４ビットを含む２４ビット語長信号については、その下位４ビットの成分、つまり２４ビット語長信号から２０ビット語長成分を差し引いた残差成分について、同様に標本化周波数４８ｋＨｚで符号化した符号Ｇ、その周波数成分以上を９６ｋＨｚで符号化した符号Ｈと、その成分以上を１９２ｋＨｚで符号化した符号Ｉとに階層化する。
【００４６】
このように振幅語長（振幅分解能，量子化精度）と標本化周波数との二次元階層的９種類の符号化条件により符号化された符号Ａ〜Ｉを用いることにより、３種類の振幅語長と３種類の標本化周波数の組み合せの全てである９種類のディジタル信号を出力することができる。つまり各標本化周波数と振幅語長との各組み合せについて図１５Ｂに示す使用符号（１）を用いればよい。例えば、標本化周波数９６ｋＨｚ、振幅語長２４ビットの場合、符号ＡとＢとＤとＥとＧとＨを用いればよい。
この図１５に示した２次元階層符号化を行う符号化部の機能機構を図１６に示す。音源１０よりの振幅語長が２４ビット標本化周波数が１９２ｋＨｚのディジタル信号はまず、ビット分割部２０で各サンプルの２４ビットの振幅語長は上位１６ビットと、その下位の４ビットと、更に下位の４ビットとに分割される。上位１６ビットはダウンサンプル部２２1,3 で標本化周波数が９６ｋＨｚにダウンサンプリングされ、その出力が、更にダウンサンプル部２２1,2 で標本化周波数が４８ｋＨｚにダウンサンプリングされて、圧縮部１１1,1 に供給されて、可逆圧縮符号化され、符号Ａが出力される。
【００４７】
ダウンサンプル部２２1,2 の出力はアップサンプル部２６1,1 により標本化周波数が９６ｋＨｚにアップサンプリングされ、そのアップサンプリング出力と、ダウンサンプル部２２1,3 の出力との差分が減算部１３1,2 でとられ、その差分信号が圧縮部１１1,2 で可逆圧縮符号化され、符号Ｂが出力される。
ダウンサンプル部２２1,3 の出力はアップサンプル部２６1,2 で標本化周波数が１９２ｋＨｚにアップサンプリングされ、このアップサンプル部２６1,2 の出力とビット分割部２０よりの分割された１６ビットの信号との差分が減算部１３1,3 でとられ、その差分出力が圧縮部１１1,3 で可逆圧縮符号化されて符号Ｃが出力される。
【００４８】
分割部２０よりの上位１６ビットの下位４ビットはダウンサンプル部２２2,3 ，４５2,2 により標本化周波数が４８ｋＨｚの信号とされ、圧縮部１１2,1 により可逆圧縮符号化されて符号Ｄが出力され、ダウンサンプル部２２2,3 の出力と、ダウンサンプル部２２2,2 の出力のアップサンプル部２６2,1 によるアップサンプリング出力との減算部１３2,2 での差分を圧縮部１１2,2 で可逆圧縮符号化することにより符号Ｅを出力し、ダウンサンプリング部２２2,3 の出力のアップサンプリング部２６2,2 によるアップサンプリング出力と、ビット分割部２０よりの４ビット信号の減算部１３2,3 での差分を圧縮部１１2,3 で可逆圧縮符号化して符号Ｆを出力する。
【００４９】
更に同様にして、ビット分割部２０の最下位４ビットが、ダウンサンプリング部２２3,3 ，２２3,2 、アップサンプル部２６3,1 ，２６3,2 、減算部１３3,2 ，１３3,3 、圧縮部１１3,1 ，１１3,2 ，１１3,3 により符号Ｇ，Ｈ，Ｉを生成出力する。
なお図１６において各アップサンプル部は、その入力信号に対し、不足するサンプル時点を０とし、その０を挿入したサンプル列を補間フィルタで処理することにより、対応する減算部の出力差分信号の振幅がなるべく小さなものとなるようにされる。
【００５０】
例えば減算部４７1,3 の出力は振幅語長が１６ビット、標本化周波数が１９２ｋＨｚの信号であり、最大９６ｋＨｚの成分を含む。しかし、振幅が小さく、特に０〜４８ｋＨｚの成分はほとんど０である。このため圧縮部１１2,1 では例えば図３に示した予測符号化などを用いることによって効率よく圧縮することができる。その他の圧縮部も同様に予測符号化などを用いて効率的に圧縮できる。
符号化の手順として、上述ではまず振幅語長（振幅分解能）で信号を分割し、それら各分割された信号を、標本化周波数で階層化したが、先ず標本化周波数で階層化し、その後、各階層の誤差信号について、振幅語長を分割してもよい。
【００５１】
この場合は優先度の決め方により、送信符号列が異なり、またそれと対応する残差生成部の構成が異なる。仮に図１５Ｂにおいて、最下行の符号Ａを第１優先度とし（これは常にそうなる）、第１行目の符号Ａ〜Ｉを最も低い優先度とする。第１符号列は符号Ａ、第２符号列は符号Ｄで、第１符号化残差信号の生成部はビット分割部２０及びダウンサンプル部２２2,3 ，２２2,2 となり、第３符号列は符号で、第２符号化残差信号の生成部はビット分割部２０及びダウンサンプル部２２3,3 ，２２3,2 よりなり、第４符号列は符号Ｂでその第３符号化残差信号の生成部は減算部１３1,2 及びアップサンプル部２６1,1 であるが、この符号化残差信号は２４ｂ，１９２ｋＨｚディジタル信号に対し、符号Ａ，Ｄ及びＧ（第３符号列）で符号化した残差信号であり、これを圧縮部１１1,2 は振幅語長１６ビット標本化周波数９６ｋＨｚで圧縮符号化した符号がＢであると云える。第５符号列は符号Ｄ及びＥであり、その第４符号化残差信号、生成部はビット分割部２０、ダウンサンプル部２２2,3 ，２２2,2 、減算部１３2,2 及びアップサンプル部２６2,1 よりなる。第６符号列は符号Ｇ及びＨであり、その第５符号化残差信号生成部はビット分割部２０、ダウンサンプル部２２3,3 ，２２3,2 、減算部１３3,2 及びアップサンプル部２６3,1 よりなる。以下同様である。
【００５２】
図１６に示した符号化部と対応する復号化部を図１７に示す。
符号Ａ，Ｂ，…，Ｉは伸張部３０1,1 ，３０1,2 ，３０1,3 ，３０2,1 ，３０2,2 ，３０2,3 ，３０3,1 ，３０3,2 ，３０3,3 でそれぞれ伸張復号化され、符号化部の対応する圧縮部の入力部分信号がそれぞれ得られる。伸張部３０1,1 は、図４中の復号器逆量子化部２３０と同様に非可逆復号化を行い、伸張部３０1,2 ，…，３０3,3 は可逆復号化部２１０及びならびかえ部２２０と同様の手法で可逆復号化を行うことができる。伸張部３０1,1 よりの復号信号は振幅語長が１６ビット、標本化周波数が４８ｋＨｚのディジタル信号（以下、１６ｂ，４８ｋＨｚディジタル信号と書く）の再生信号として出力されると共にアップサンプル部３３1,1 で標本化周波数が９６ｋＨｚにアップサンプリングされ、このアップサンプリングされた信号は伸張部３０1,2 よりの復号（残差）信号と加算部３２1,2 で加算されて再生１６ｂ，９６ｋＨｚディジタル信号として出力される。この１６ｂ，９６ｋＨｚディジタル信号はアップサンプル部３３1,2 で標本化周波数が１９２ｋＨｚにアップサンプリングされて、伸張部３０1,3 よりの復号（残差）信号と加算部３２1,3 で加算され、再生１６ｂ，１９２ｋＨｚディジタル信号として出力される。再生１６ｂ，４８ｋＨｚディジタル信号は伸張部３０2,1 より復号（残差）信号と加算部３２2,1 で加算されて、再生２０ｂ，４８ｋＨｚディジタル信号として出力される。
【００５３】
以下同様に復号された部分信号を組み合せて各ディジタル信号が再生される。その標本化周波数が異なる場合はアップサンプリングにより標本化周波数を合せて加算する。アップサンプル部３３の添字の２番目の数字１は標本化周波数を４８ｋＨｚから９６ｋＨｚにアップサンプリングすることを、数字２は標本化周波数を９６ｋＨｚから１９２ｋＨｚにアップサンプリングすることを示す。要するに、部分信号をアップサンプリングと、振幅方向のビットをつなぐことにより精度の高い信号を再構成する。
前述したように優先度が１番高い第１符号列はＡであり、これが１６ｂ，４８ｋＨｚ第１復号信号に復号され、伸張部３０1,2 で第２符号列Ｄより第１符号化残差信号が復号され、同様に第２符号化残差信号は伸張部３０3,1 よりの復号信号であり、伸張部３０1,2 で第４符号列Ｂより第３符号化残差信号が復号され、アップサンプル部３３1,1 及び加算部３２1,2 は図１２中の加算部３２−４に相当する。第５符号列はＤ及びＥであり、これより復号される第４符号化残差信号は、符号Ｄ，Ｅの各伸張部３０2,1 ，３０2,2 、アップサンプル部３３2,1 及び加算部３２2,2 により生成され、これらの構成は図１２中の伸張部３０−５に相当し、加算部３２2,2 は図１２中の加算部３２−５に相当する。第６符号列はＧ及びＨであり、第５符号化残差信号の復号は伸張部３０3,1 ，３０3,2 、アップサンプル部３３3,1 及び加算部３２3,2 により生成され、これらの構成は伸張部３３−６に相当し、加算部３２3,2 ´は加算部３２−６に相当する。以下も同様である。
【００５４】
先に述べたように、この発明は階層符号に限らず、例えば１フレームのディジタル信号を、その各種のパラメータについてそれぞれ符号化した複数の符号を、そのフレームの圧縮符号とする場合に、その構成する複数の符号中の１ないし複数がなくても、ある程度の品質のディジタル信号を再生できる符号化方法がある。そのような符号に対し、その重要なもの、ある程度の品質を得るため必要なものに高い優先度を与え、他の符号に低い優先度を与えて、受信バッファ５の残量が十分な場合は各フレームについてすべての符号を送信し、残量が不十分になると各フレームについて最も優先度が高い符号のみを送信するようにしてもよい。例えばＴwin ＶＱ符号化方法においては、スペクトル包絡の線形予測係数の符号、ピッチ成分の符号、バーク尺度スペクトル包絡の符号、パワーの符号、ベクトル量子化符号の６つの符号が用いられるが、ベクトル量子化符号は優先度を低くし、線形予測係数符号やパワー符号は優先度を高くする。同様にエンベッデッドＡＤＰＣＭ（Ｇ．７２７）において、入力ディジタル信号をサンプル当たり５ビットで予測誤差を量子化し、符号化部、復号化部で共通に行う内部状態の更新にはすべて上位２ビットの量子化符号を使い、この上位２ビットを最優先度とし、下位３ビットの優先度を低くする。Ｔwin ＶＱ、エンベッデッドＡＤＰＣＭ（Ｇ．７２７）について例えば守谷健弘著「音声符号化」電子情報通信学会、平成１０年１０月２０日発行、８８〜９０頁、１２６〜１２８頁をそれぞれ参照されたい。
【００５５】
バッファ残量情報は先に定義したが、あらためて注意すべき点を述べる。つまり、フレームごとに受信バッファ５内の符号列量の蓄積量又は空き量を検出するが、例えば蓄積量が所定値以下になった場合のみバッファ残量情報を生成送信し、蓄積量が所定値以上ではバッファ残量情報を生成送信しないが、このバッファ残量情報を送信しないことは、符号送信装置ではバッファ残量情報が受信されないということは、バッファ残量が所定値以上であると認識でき、従って、この明細書では符号受信装置はバッファ残量情報を実質的には送信したとみなすものである。更に受信バッファ５の符号列蓄積量の減少傾向をバッファ残量情報とする場合でも、符号受信装置は通常は受信バッファ５の符号列蓄積量が所定値になってから復号を開始するため、蓄積量の減少が急であれば、受信バッファの蓄積量がどんどん減り、蓄積量が少ないことにより、蓄積量の減少がゆるやかであれば、バッファの蓄積量が比較的多いことになり、つまり減少傾向を積分しなくても、蓄積量をほぼ推定しているということができ、この明細書では蓄積量の減少傾向を示す情報もバッファ残量情報とするものである。
【００５６】
上述した各実施形態にそれぞれ示した各符号送信装置、各符号受信装置を、それぞれコンピュータにプログラムを実行させて機能させる構成としてもよい。この場合は、例えば符号送信装置について云えば、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体から、又は通信回線を通して符号送信プログラムをコンピュータ内にダウンロードさせ、その復号化プログラムをコンピュータに実行させればよい。
【００５７】
【発明の効果】
以上説明したように、この発明によれば、受信バッファに蓄積されている符号列が減少した場合に、送信側に優先度の高いクラスの符号列のみを送出させ、受信側では受信バッファに優先度の高いクラスの符号列のみが蓄積されている場合には優先度の高いクラスの符号列のみを復号化して復号ディジタル信号を得る。これにより、伝送路送信部と伝送路受信部の間の伝送速度がすべての符号列を伝送するには不十分な場合であっても、優先度の高いクラスの符号列のみを伝送して復号化して復号ディジタル信号を得ることで、音切れやコマ飛びが発生しない符号伝送を実現できる。
【図面の簡単な説明】
【図１】従来の符号伝送方式を簡略に示すブロック図。
【図２】従来の階層的分割符号化の機能構成を示す図。
【図３】図２中の可逆圧縮部の具体的機能構成を示す図。
【図４】従来の可逆圧縮符号化、復号化器の機能構成を示す図。
【図５】図４中のならびかえ部１６０の処理を説明するための図。
【図６】この発明の第１実施形態の符号送信装置及び符号受信装置の各機能構成を示す図。
【図７】第１実施形態の伝送速度が十分な場合における伝送状態の例を示すタイムチャート。
【図８】第１実施形態の伝送速度が不十分な場合における伝送状態の例を示すタイムチャート。
【図９】この発明の第２実施形態の符号送信装置及び符号受信装置の機能構成例を示す図。
【図１０】第２実施形態の伝送速度が不十分な場合における伝送状態の例を示す図。
【図１１】階層符号化部の一般的機能構成例を示す図。
【図１２】階層符号復号化部の一般的機能構成の例を示す図。
【図１３】１次元階層符号化部の具体例を示す図。
【図１４】図１４に示した符号化部と対応する復号化部の具体例を示す図。
【図１５】Ａは２次元階層的分割符号の例を示す図、Ｂは図１５Ａに示した階層的分割された符号と各種標本化周波数及び各種振幅分解能の組み合せ信号との関係を示す図である。
【図１６】図１５Ａに示した２次元階層的分割符号の符号化部の機能構成例を示す図。
【図１７】図１６に示した符号化部と対応する復号化部の機能構成例を示す図。
【発明の属する技術分野】
この発明は、例えば、インターネットを通じてオーディオ信号をダウンロードしながら再生する、いわゆるストリーミングに適用される符号送受信システムに関するものである。
【０００２】
【従来の技術】
近年、インターネットを用いてオーディオやビデオなどのディジタル信号の圧縮符号を一部ずつ順次ダウンロードしながら、復号、再生を実時間で実施する、つまりストリーミングが行われるようになってきている。
このストリーミングに用いる従来の符号伝送方法は、オーディオやビデオなどのディジタル信号を圧縮符号化した符号列をサーバから、例えばインターネット経由で受信して伝送速度の変動等を吸収するためのバッファに蓄積し、このバッファから時間順に符号列を取り出し、この符号列を復号化してオーディオやビデオの信号を再生するものである（例えば特許文献１）。この場合の符号伝送方法の構成を図１に簡単に示す。
【０００３】
送信側、例えばサーバの送信符号列蓄積部１にはオーディオやビデオなどのディジタル信号をフレーム単位で符号化した符号列が蓄積されていて、時間順にフレーム毎の送信符号列が伝送路送信部２に出力される。伝送路送信部２と伝送路受信部３の間は一般のインターネットなどを通じる伝送路４であり、受信されたフレーム毎の受信符号列が受信バッファ５に入力され、一旦受信バッファ５に蓄積される。受信バッファ５より古い符号列から時間順に復号符号列として復号化部６に伝えられる。復号化部６では入力された時間順の復号符号列の復号が行われ、復号ディジタル信号が出力される。
【０００４】
伝送路４におけるトラフィックの輻輳状態による通常の伝送速度変動や受信符号列の到着遅延に対しある程度耐性が得られるように受信バッファ５のサイズ（蓄積容量）が選定されている。しかし送信側の送信基準時刻（タイミング）と受信側の復号基準時刻（タイミング）とにずれがあると、復号できないフレームが生じ、音切れやコマ飛びが生じる。この点より前記特許文献１では受信バッファ５の空き容量が１／２以上になるとデータ送信要求を送信側へ送り、送信側はその送信要求を受信すると、受信バッファ５の蓄積容量の１／２以下のデータを受信側に送信する。また受信側で受信バッファ５の空き容量に応じた送信要求を送信側に送り、送信側でその要求量に応じた量のデータを送信することも示されている。この場合送信データ量の増減を、１フレーム内のディジタル信号の一部を落して行ってはいない。以上のようにして音切れやコマ飛びが生じないようにしている。
【０００５】
しかし、伝送路４のトラフィック量が大幅に変動し、可成りひどい輻輳状態になると、復号化部６で連続して復号化することができなくなり、音切れやコマ飛びが生じる。
このような問題を解決するためにディジタル信号を階層符号化し、上位（高品質）の条件の符号列が下位（低品質）の条件の符号列を包含するようにし、伝送速度が十分であれば、上位の条件の符号列を伝送して、高品質のディジタル信号の再生を可能とし、伝送速度が不十分になると下位の条件の符号列を伝送して品質が低下するがディジタル信号の再生を可能にして、音切れやコマ飛びなく実時間連続復号再生、つまりストリーミングを可能とすることが提案されている（例えば非特許文献１）。
【０００６】
即ち図２に示すように、音源４１よりの振幅語長が２４ビット、標本化周波数が９６ｋＨｚのディジタル信号が右シフト部４２により各サンプルが８ビット右へシフトされ、つまり下位８桁が除去され、振幅語長が１６ビットとされ、その後左シフト部４３で８ビット左へシフトされ、各サンプルの振幅語長が２４ビットで下位８ビットが０の信号とされ、この信号が減算部４４で入力ディジタル信号より差し引かれ、下位８ビットが符号Ｄとして出力される。右シフト部４２よりの信号はダウンサンプル部４５で標本化周波数が４８ｋＨｚにダウンサンプリングされ、このダウンサンプリングされた信号がアップサンプル部４６で標本化周波数９６ｋＨｚにアップサンプリングされ、このアップサンプリングされた信号と、右シフト部４２よりの信号との誤差信号が減算部４７で生成され、この誤差信号が可逆圧縮部４８で可逆圧縮符号化され、その符号Ｃが出力される。
【０００７】
ダウンサンプル部４５より１６ビット４８ｋＨｚのディジタル信号は非可逆符号化部４９で符号化方法ＭＰＥＧ−４により圧縮符号化され、その圧縮符号Ａが出力される。この圧縮符号は局部復号部５０で復号され、局部復号信号が生成され、この局部復号信号と、ダウンサンプル部４５よりの１６ビット４８ｋＨｚディジタル信号との誤差信号が減算部５１で生成され、その誤差信号は可逆圧縮部５２で可逆圧縮符号化され、その符号Ｂが出力される。
可逆圧縮部４８，５２は予測符号化した後、可逆符号化をするとよい。つまり図３に示すように、誤差信号は線形予測部６１で線形予測分析され、その予測係数と入力誤差信号とから予測値を求め、その予測値を整数化部６２で整数値とし、その整数値とされた予測値を誤差信号から減算部６３で差し引き、その残差信号を可逆圧縮部６４で可逆圧縮符号化する。なお、線形予測係数も符号化して出力する。
【０００８】
この場合上位の符号列はＡ〜Ｄであり、最下位の符号列はＡである。伝送路の状態に応じて送信情報量を動的に制御し、受信側では通常は上位の符号列Ａ〜Ｄを受信して、高品質なディジタル信号を再生し、伝送路状態が悪い場合でも下位の符号Ａを受信して、品質が低下するが、連続的に再生信号を得ることができる。
可逆圧縮部４８，５２，６４での可逆圧縮法は非特許文献１にも説明されているが、特許文献２に詳細に説明されている。この特許文献２に示す可逆圧縮法とその可逆伸張法を簡単に説明する。
【０００９】
図４に示すように、符号器では、入力端子１００よりのディジタル入力信号の時系列（以下「ディジタル入力信号系列」と称する）が、フレーム分割部１１０で、例えば１０２４個のディジタル入力信号（即ち、１０２４点のサンプル）からなるフレーム単位に順次分割され、このフレーム単位ごとにディジタル信号が非可逆量子化部１２０で非可逆圧縮符号化される。この符号化は、復号化時に元のディジタル入力信号をある程度再現できる方式であれば、入力信号に適した如何なる方式でもよい。例えば、上記ディジタル入力信号が音声であればＩＴＵ−Ｔの音声符号化などが利用でき、音楽であればＭＰＥＧまたはＴwinＶＱなどが利用でき、映像であればＭＰＥＧなどを利用できる。この非可逆圧縮符号Ｉ（ｎ）は逆量子化部１３０で局部復号され、この局部復号信号と元のディジタル信号との誤差信号が差回路１４０で生成される。この誤差信号の振幅は通常は元のディジタル信号の振幅よりもかなり小さい。よって、ディジタル信号を可逆圧縮符号化するよりも、誤差信号を可逆圧縮符号化する方が情報量を小さくできる。
【００１０】
この可逆圧縮符号化の効率を上げるために、誤差信号即ち、ディジタルのサンプル列をならびかえ部１６０でならびかえる。即ちこの誤差信号を、２の補数表現によるサンプル列から、符号絶対値表現（極性と絶対値の２進数）によるサンプル列へ変換し、その各サンプルのビット位置、つまりＭＳＢ，第２ＭＳＢ，…，ＬＳＢ毎に、サンプルを跨いだ、フレーム内のビットからなるビット列として、可逆符号化部１５０で可逆圧縮符号化して符号Ｉ（ｅ）を出力する。つまり誤差信号の各サンプルＶ（ｋ）は例えば図５Ａに示すように、ＬＳＢ〜極性ビットより、サンプル数が１０２４個であり、ならびかえられたビット列の１つＤＨ（ｉ）は図５Ｂに示すように、図５Ａの各サンプルの同一桁位置のビットよりなる１０２４個ビット列である。誤差信号は振幅が小さいので、上位のビットは全て“０”となることが多く、その結果、ならびかえたビット列ＤＨ（ｉ）は“０”が連続することによって、誤差信号の可逆圧縮符号化効率を上げることができる。この可逆圧縮符号化としては、例えば、同一符号（１又は０）が連続する系列がある場合や頻繁に出現する系列がある場合を利用した、ハフマン符号化や算術符号化などのエントロピィ符号化などを用いることができる。
【００１１】
復号化器では、可逆復号化部２１０で可逆圧縮符号Ｉ（ｅ）が復号化され、その復号信号に対し、ならびかえ部２２０でならびかえ部１６０と逆の処理が行われ、誤差信号がフレーム単位で順次再生される。また、逆量子化部２３０で、非可逆圧縮符号Ｉ（ｎ）が復号化され、この復号信号と再生された誤差信号とが加算部２４０で加算され、最後に、フレーム合成部２５０でフレームごとの各加算信号が順次連結されて、元のディジタル信号系列が再生される。
非特許文献１には非可逆圧縮符号Ｉ（ｎ）を優先度１番のパケットＰ１として、誤差信号のＭＳＢに対する可逆圧縮符号Ｉ（ｅ５）を優先度２番のパケットＰ２として、誤差信号のＭＳＢのすぐ下位桁位置（例えば第１５桁位置）のビットに対する可逆圧縮符号Ｉ（ｅ１５）を優先度３番のパケットＰ３として、以下桁位置が下る程対応可逆圧縮符号Ｉ（ｅ１４），…，Ｉ（ｅ１）を順次優先度の順位を下げたパケットＰ４，…，Ｐ１７とすることが示されている。
【００１２】
【特許文献１】
特開平１１−１０３３１７号公報（段落番号［００６９］〜［００７８］、図８、図９、図１６、図２０）
【特許文献２】
特開２００１−１４４８７号公報（第６〜８頁、図３）
【非特許文献１】
T.Moriya他４名著"Sampling Rate Scalable Lossless Audio coding"2002 IEEE Speech Coding Workshop proceedings 2002，10月
【００１３】
【発明が解決しようとする課題】
階層符号列を用い、伝送路状態に応じて動的に送信する符号列情報量を増減することによりストリーミングを実現することが非特許文献１に示されている。伝送路状態をどのように検出して、送信する符号列情報量をどのように制御するかは示されていない。送信したパケットが受信側で受信されたことを確認し、送信したパケットを必ず受信側に受信させる伝送プロトコルを用いれば、受信確認情報の遅れから、伝送路の輻輳状態を推定でき、その場合は、符号列の送信タイミング間隔を大とすると共に優先度の高い符号列のみを送信することが考えられるが、その場合、音切れやコマ飛びなしにストリーミングができるか保証はない。この発明の目的は、伝送路状態に応じて、送信符号情報量を制御し、ストリーミングを保証する具体的符号送信方法、符号受信方法、それらの装置及びそれらのプログラムを提供することにある。
【００１４】
【課題を解決するための手段】
この発明によれば、ディジタル信号が単位時間毎に階層符号化された符号列の全部または一部の階層を送信、受信、復号して復号ディジタル信号を生成する符号送受信システムであって、符号送受信システムは、符号送信装置から送信された符号列は確実に符号受信装置で受信されるよう制御される非同期のデータ転送プロトコルで接続される伝送路を介して接続された上記符号送信装置と上記符号受信装置とにより構成されている。
符号送信装置は、入力されたバッファ残量情報に従って、バッファ残量が予め設定された所定値より多ければ単位時間ごとの階層符号化された符号列のうち最も優先度が高い階層の符号列から優先度が低い階層の符号列までを送信することを決定し、バッファ残量が上記所定値より少なければ単位時間ごとの階層符号化された符号列のうち最も優先度が高い階層の符号列のみを送信することを決定する送信符号列決定部と、送信することが決定された送信符号列を上記データ転送プロトコルに従って送信する伝送路送信部を具備する。
また、符号受信装置は、伝送路送信部から送信された符号列の全てを上記データ転送プロトコルに従って受信する伝送路受信部と、受信した符号列が何番目の単位時間に対するものであるかを識別するように蓄積され、単位時間毎にその順に対応するすべての符号列が取り出される受信バッファと、単位時間ごとに取り出されたすべての符号列により１つのディジタル信号を復号する復号化部と、受信バッファに蓄積されている符号列量と対応するバッファ残量情報を生成出力する残量情報生成部とを具備する。
【００１５】
また、別の観点によれば、ディジタル信号が単位時間毎に階層符号化された符号列の全部または一部の階層を送信、受信、復号して復号ディジタル信号を生成する符号送受信システムであって、上記符号送受信システムは、符号送信装置から送信された符号列は確実に符号受信装置で受信されるよう制御される非同期のデータ転送プロトコルで接続される伝送路を介して接続された上記符号送信装置と上記符号受信装置とにより構成されている。
符号送信装置は、単位時間ごとに、入力されたバッファ残量情報に従って、バッファ残量が予め設定された所定値より多ければ最も優先度が高い階層の符号列から優先度が低い階層の符号列までを符号化部が出力するように指定し、バッファ残量が所定値より少なければ最も優先度が高い階層の符号列のみを符号化部が出力するように指定する符号化クラス指定部と、単位時間ごとに上記ディジタル信号の符号化を行い、符号化クラス指定部で出力することを指定された階層の符号列を得る符号化部と、符号化部で得られた送信符号列を上記データ転送プロトコルに従って送信する伝送路送信部とを具備する。
符号受信装置は、伝送路送信部から送信された符号列の全てを上記データ転送プロトコルに従って受信する伝送路受信部と、受信した符号列が何番目の単位時間に対するものであるかを識別するように蓄積され、単位時間毎にその順に対応するすべての符号列が取り出される受信バッファと、単位時間ごとに取り出されたすべての符号列により１つのディジタル信号を復号する復号化部と、受信バッファに蓄積されている符号列量と対応するバッファ残量情報を生成出力する残量情報生成部とを具備する。
【００１８】
【発明の実施の形態】
以下、図面を用いてこの発明の実施の形態を説明する。
第１実施形態
第１実施形態は、ディジタル信号から優先度の異なる複数の符号列を得るために２階層符号化を用いる場合である。この２階層符号化方法により、ディジタル信号は、復号化に必ず必要とし、低ビットレート伝送が可能で品質は落ちるがディジタル信号を再生することができるベースレイヤの符号列＃１Ａ，＃２Ａ，…と、高品質な復号のために必要なエンハンストレイヤの符号列＃１Ｂ，＃２Ｂ，…とに変換されるものとする。つまり、符号列＃１Ｂ，＃２Ｂ，…の復号信号と符号列＃１Ａ，＃２Ａ，…の復号信号を加算して高品質の再生ディジタル信号が得られ、符号列＃１Ａ，＃２Ａ，…だけを復号して低品質の再生ディジタル信号が得られ、＃１Ａ，＃２Ａ，…は下位（低品質）の条件の符号列であり、符号列（＃１Ａ，＃１Ｂ），（＃２Ａ，＃２Ｂ），…は上位（高品質）の条件の符号列である。
【００１９】
ここでは簡単に説明するために２階層符号化方法を用いるが、ここで用いる符号化方法は３以上の階層をもつ階層符号化方法であってもよく、また優先度の異なる符号列を出力するものであれば階層符号化でなくてもよい。
図６は、この第１実施形態の符号送信装置３００、符号受信装置４００の機能の構成を示し、図１と対応する部分に同一参照番号を付けてある。
符号送信装置３００において、送信符号列蓄積部１にはオーディオやビデオなどのディジタル信号を前記の２階層符号化方法で符号化した符号列が蓄積されていて、時間順にフレーム毎のすべて（ベースレイヤとエンハンストレイヤとの符号列）または１つ（ベースレイヤ）の符号列が符号列送出制御部７からの送出符号列指定情報に従って伝送路送信部２に出力される。符号列送出制御部７では、符号受信装置４００から入力されるバッファ残量情報に従って、受信バッファの残量が十分である場合には送信符号列蓄積部１が各フレーム毎のすべての符号列を、受信バッファの残量が減少している場合には送信符号列蓄積部１が各フレーム毎の優先度の高い符号列のみを出力するように、送出符号列指定情報を生成して送信符号列蓄積部１に出力する。例えば符号列送出制御部７にはバッファ残量情報と送出符号列指定情報との関係を示すテーブル７ａが設けられ、受信されたバッファ残量情報によりテーブル７ａを参照して対応する送出符号列指定情報を送信符号列蓄積部１に出力する。符号送信装置３００の伝送路送信部２と符号受信装置４００の伝送路受信部３との間は一般のインターネットなどを通じて互いに接続することができる伝送路４があり、ここではデータを確実に伝送できる、例えばＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）のようなデータ転送プロトコルでデータの送受信が行われ、送信データは結果として必ず受信される。
【００２０】
伝送路受信部３に受信された受信符号列はフレーム毎に一旦受信バッファ５に蓄積される。また、この受信バッファ５に蓄積されている受信符号列は古いものから時間順にフレーム毎に復号符号列として復号化部６に伝えられる。さらに、残量情報生成部８は受信バッファ５に蓄積されているフレーム毎の符号列の個数を常に監視していて、蓄積されている符号列が減少した場合には符号送信装置の符号列送出制御部７にバッファ残量情報を伝える。ここでバッファ残量情報としては、バッファ残量が所定値以下に減少したことを示す情報、結果として送信側の符号列送出制御部７に対し、受信バッファ５に蓄積されている符号列の残量が十分であるか減少しているかを伝えることができるようにすればよく、バッファ残量が所定値以上である場合のみそのことを示す情報をバッファ残量情報として出力してもよい、またバッファ残量のおおよその量、つまりバッファ蓄積容量の１／２，１／４，などや、またバッファ容量に対する蓄積量の予め決めたいくつかのパーセンテージなどにバッファ残量（又はバッファ空き量）がなったことをそれぞれ示す情報、あるいはバッファ残量（あるいは空き量）の個数そのものを示す情報をバッファ残量情報としてもよい。更に、バッファ残量の減少傾向、例えば各フレームごとに受信バッファに入力された符号列の数に対する出力された符号列の数の差を示す情報をバッファ残量情報としてもよい。復号化部６では入力された時間順の復号符号列の復号が行われ、復号ディジタル信号が出力される。
【００２１】
なお、復号化部６は受信バッファ５にある程度符号列が蓄積されると復号を開始するが、バッファ残量の監視も復号の開始と同時、またはそれよりある程度遅れて開始する。
８フレームのディジタル信号を伝送する際に、伝送路４の伝送速度が十分な場合の送信符号、受信符号列、バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図７に示す。ここでは、各フレームの符号列をベースレイヤ、エンハンストレイヤの順に伝送されるものとし、また符号受信装置４００でフレーム＃１を復号する状態以後について示してある。送信符号列蓄積部１では常は例えばフレーム時間ごとにそのフレームのすべてレイヤの符号列を出力する。伝送路送信部２では前述したようにＴＣＰのようなデータ転送プロトコルを用いており、復号受信装置４００でデータが受信されたことを確認して、送るべきデータは必ず着信するようにしている。この確認は、一般に１つの符号列の送信から、いくつかの遅れたタイミングになってできる。この確認の遅れ状態から伝送路の輻輳状態、つまり符号送信装置３００から符号受信装置４００に到る伝送路の伝送速度を推定でき、これに応じて符号列の送信速度を変更するようにされている。なお送信符号蓄積部１と伝送路送信部２とは通常はその処理の同期をとっていない。
【００２２】
図７の最初のタイミングＴ（０）では、符号送信装置３００から符号列＃４Ａが送信され、受信バッファ５には受信符号列＃４Ａが入力され、復号符号列＃１Ａ，＃１Ｂが１フレーム分として出力され、受信バッファ５には５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積され、バッファ残量が所定数、５以上であるため、残差情報生成部８はバッファ残量情報を出力しない。このことは図７では×印で示している。
次のタイミングＴ（１）では、伝送速度が十分であると推定されているため、送信装置３００から符号列＃４Ｂが送信され、受信バッファ５には受信符号列＃４Ｂが入力され、復号符号列は出力されず、受信バッファには６個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。バッファ残量情報は送出されない。
【００２３】
タイミングＴ（２）では、送信装置３００から符号列＃５Ａが送信され、受信バッファには受信符号列＃５Ａが入力され、復号符号列＃２Ａ，＃２Ｂが１フレーム分として出力され、受信バッファには５個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。
このように、伝送速度が十分な場合には、最後のフレーム＃８の符号列＃８Ｂが受信バッファに蓄積されるまで受信バッファの蓄積符号列数は５個または６個であり、伝送が行なわれている間には減少することはなく、バッファ残量情報はすべてのタイミングで出力されない。また、すべてのフレームを復号するタイミングで、そのフレームのすべての符号列、つまりベースレイヤとエンハンスメントレイヤの各符号を復号符号列として復号化部に入力することができる。従って、すべてのフレームで高品質の復号ディジタル信号を得ることができる。
【００２４】
伝送路４の伝送速度が不十分な場合の送信符号列、受信符号列、バッファに蓄積されている符号列、バッファ残量情報出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図８に示す。この図では、タイミングＴ（０）の前は伝送速度は十分であると推定され、各タイミングごとに符号ＡとＢが交互に送信されていたが、伝送速度が不十分になったと推定され、タイミングＴ（０）から符号列の送信速度をそれまでの１／２にした場合である。
図８の最初のタイミングＴ（０）では、送信装置３００から符号列＃４Ａが送信され、受信バッファ５には受信符号列＃４Ａが入力され、１フレーム分の復号符号列＃１Ａ，＃１Ｂが出力され、受信バッファ５には５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積されている。受信バッファ内の符号列の個数は、４個より多く、十分であるため、残量情報生成部８はバッファ残量情報を出力しない。
【００２５】
タイミングＴ（１）では伝送速度が遅いため、送受信は行われない。
タイミングＴ（２）では送信装置３００から符号列＃４Ｂが送信され、受信バッファ５には受信符号列＃４Ｂが入力され、復号符号列＃２Ａ，＃２Ｂが出力され、受信バッファ５には４個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。ここで、受信バッファ５内の符号列の個数が所定数４以下に減少しているため、残量情報生成部８はバッファ残量情報を符号列送出制御部７に向けて出力する。
符号列送出制御部７はタイミングＴ（４）では、バッファ残量情報が伝えられたことにより、次のフレーム中の優先度の高いベースレイヤの符号列＃５Ａを出力する。受信バッファ５には受信符号列＃５Ａが入力され、復号符号列＃３Ａ，＃３Ｂが１フレーム分として出力され、受信バッファ５には３個の符号列＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。ここで、受信バッファ５内の符号列の個数が所定数以下であるため、残量情報生成部８はバッファ残量情報を符号列送出制御部７に向けて出力する。
【００２６】
符号列送出制御部７はタイミングＴ（６）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストストレイヤ＃５Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃６Ａを出力する。受信バッファ５には受信符号列＃６Ａが入力され、復号符号列＃４Ａ，＃４Ｂが出力され、受信バッファ５には２個の符号列＃５Ａ，＃６Ａが蓄積されている。これまでは各フレームごとにエンハンストレイヤとベースレイヤの符号列が復号化部６に入力されるため、高品質の復号ディジタル信号を得ることができる。
符号列送出制御部７はタイミングＴ（８）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストレイヤ＃６Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃７Ａを出力する。受信バッファ５には受信符号列＃７Ａが入力され、復号符号列＃５Ａが１フレーム分として出力され、受信バッファ５には２個の符号列＃６Ａ，＃７Ａが蓄積されている。このフレームでは復号符号列として５Ａのみしか復号化部６に入力されない、しかし品質は低下するがディジタル信号を復号することができる。この説明から理解されるように、受信した各符号列は、フレームごとにそのフレームに属するすべての符号列を受信バッファ５から取り出すことができるように、受信バッファ５に蓄積される。
【００２７】
符号送出制御部７はタイミングＴ（１０）では、バッファ残量情報が伝えられたことにより、優先度の低いエンハンストレイヤ＃７Ｂではなく、次のフレーム中の優先度の高いベースレイヤの符号列＃８Ａを出力する。受信バッファ５には受信符号列＃８Ａが入力され、復号符号列＃６Ａが１フレーム分として出力され、受信バッファには２個の符号列＃７Ａ，＃８Ａが蓄積されている。
以降、タイミングＴ（１２），Ｔ（１４）では受信バッファ５から復号符号列＃７Ａ，＃８Ａがそれぞれ１フレーム分として出力されることから、復号化部６ではそれぞれのフレームの復号化を行い復号ディジタル信号＃７，＃８を得ることができる。つまりタイミングＴ（８）以後は各フレームごとにベースレイヤの符号Ａのみによる復号ディジタル信号となり、エンハンストレイヤを含む場合より品質は低下するが、従来の符号伝送方法で生じていた復号ディジタル信号の途切れは発生することなく、ストリーミングを行うことができる。なお上述ではバッファ残量情報として受信バッファ５の蓄積残量が所定値以下の時のみ生成出力する例としたが、先に述べたように、例えば受信バッファ５の蓄積残量を示す情報をバッファ残量情報として用いる場合は、バッファ残量情報をフレームごとに生成送信する。また図６中に破線で示すように送出符号列指定情報を伝送路送信部２へ入力し、伝送路送信部２でこれにより送信する符号列を図８中の送信符号列になるように制御してもよい。この場合は送信符号列蓄積部１からは各フレームごとにすべての符号列、この例ではＡとＢを伝送路送信部２に供給する。
【００２８】
第２実施形態
この発明の第２実施形態において２階層符号化を用いて８フレームのディジタル信号を伝送する場合を例として説明する。ベースレイヤの符号列を＃１Ａ，＃２Ａ，…とし、エンハンストレイヤの符号列を＃１Ｂ，＃２Ｂ，…とする。
この場合も３以上の階層をもつ階層符号化方法であってもよく、また優先度の異なる符号列を出力するものであれば階層符号化でなくてもよい。
図９に第２実施形態の機能構成例を示す。符号送信装置３００の符号化部９では、オーディオやビデオなどのディジタル信号が時間順に入力され、前記の２階層符号化方法によって符号化される。ここで、符号化クラス指定部９０から符号化クラス指定情報により２階層両方の符号列を出力するように指定された場合には２階層両方、つまりベースレイヤ及びエンハンストレイヤの符号化が行われて２階層両方の符号列が出力され、符号化クラス指定情報によりベースレイヤのみの符号列を出力するように指定された場合にはベースレイヤのみの符号化が行われてベースレイヤの符号列が出力される。フレーム毎のすべてまたは１つの符号列は伝送路送信部２に出力される。符号化クラス指定部９０では、符号受信装置４００から入力されるバッファ残量情報に従って、受信バッファの残量が十分である場合には符号化部９で２階層すべての符号化を行い、受信バッファの残量が減少している場合には符号化部９でベースレイヤのみを符号化するように、例えば残量情報と符号化クラス指定情報の関係を格納したテーブル９０ａが設けられ、バッファ残量情報に応じた符号化クラス指定情報を生成して符号化部９に出力する。符号化部９よりの符号列は伝送路送信部２により、伝送路４を通じて符号受信装置４００へ送信される。この伝送路４での伝送は第１実施例と同様にデータを確実に伝送できる、例えばＴＣＰのようなデータ転送プロトコルで行われる。
【００２９】
符号受信装置４００は第１実施形態の符号受信装置４００と同様の機能構成を備え、符号受信装置４００から符号送信装置３００へ送信されるバッファ残量情報も、第１実施形態で定義したものと同様のものである。
伝送路４の伝送速度が十分な場合の送信符号列、受信符号列、受信バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号のタイミングは、第１実施形態で説明した図７と全く同じであるため、ここでは説明を省略する。
伝送路４の伝送速度が不十分な場合の受信符号列、受信バッファに蓄積されている符号列、バッファ残量情報の出力の有無、復号符号列、復号ディジタル信号の変化の様子の例を図１０に示す。この場合も推定伝送速度の低下によりタイミングＴ（０）から送信速度を２分の１にした状態を示す。
【００３０】
図１０の最初のタイミングＴ（０）では、送信装置３００でフレーム＃４の符号化が行われて符号化符号列＃４Ａおよび＃４Ｂが得られ、受信装置４００に向けて符号列＃４Ａが送信され、受信バッファには受信符号列＃４Ａが入力され、復号符号列＃１Ａ，＃１Ｂが出力され、受信バッファには５個の符号列＃２Ａ，＃２Ｂ，＃３Ａ，＃３Ｂ，＃４Ａが蓄積されている。受信バッファ内の符号列の個数は十分であるため、ここではバッファ残量情報を出力されない。
タイミングＴ（１）では伝送速度が遅いため、送受信は行われない。
タイミングＴ（２）では送信側ではフレーム＃５の符号化が行われて符号化符号列＃５Ａおよび＃５Ｂが得られると共に、送信装置３００から符号列＃４Ｂが送信され、受信バッファには受信符号列＃４Ｂが入力され、復号符号列＃２Ａ，＃２Ｂが出力され、受信バッファには４個の符号列＃３Ａ，＃３Ｂ，＃４Ａ，＃４Ｂが蓄積されている。ここで、受信バッファ内の符号列の個数が所定値４以下に減少しているため、残量情報生成部はバッファ残量情報を符号化クラス指定部９０に向けて出力する。
【００３１】
タイミングＴ（４）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃６の符号化はベースレイヤのみが行われて符号列＃６Ａが得られる。送出される符号列は先のタイミングＴ（２）で送信した符号列＃４Ｂの次の＃５Ａである。受信バッファには受信符号列＃５Ａが入力され、復号符号列＃３Ａ，＃３Ｂが出力され、受信バッファには３個の符号列＃４Ａ，＃４Ｂ，＃５Ａが蓄積されている。ここで、受信バッファ内の符号列の個数が所定値４以下に減少しているため、残量情報生成部はバッファ残量情報を符号クラス指定部９０に向けて出力する。
【００３２】
タイミングＴ（６）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃７の符号化はベースレイヤのみが行われて符号列＃７Ａが得られる。送出される符号列は先のタイミングＴ（４）で送出した符号列＃５Ａの次の＃５Ｂである。受信バッファには受信符号列＃５Ｂが入力され、復号符号列＃４Ａ，＃４Ｂが出力され、受信バッファには２個の符号列＃５Ａ，＃５Ｂが蓄積されている。
タイミングＴ（８）では、送出装置３００では、バッファ残量情報が伝えられたことにより、フレーム＃８の符号化はベースレイヤのみが行われて符号列＃８Ａが得られる。送出される符号列は先のタイミングＴ（６）で送出した符号列＃５Ｂの次の＃６Ａである。受信バッファには受信符号列＃６Ａが入力され、復号符号列＃５Ａが出力され、受信バッファには１個の符号列＃６Ａが蓄積されている。
【００３３】
タイミングＴ（１０）では、送出装置３００では、先のタイミングＴ（８）で送出した符号列＃６Ａの次の符号列＃７Ａが出力される。受信バッファには受信符号列＃７Ａが入力され、復号符号列＃６Ａが出力され、受信バッファには１個の符号列＃７Ａが蓄積されている。
以降、タイミングＴ（１２），Ｔ（１４）では受信バッファから復号符号列＃７Ａ，＃８Ａがそれぞれ出力されることから、復号化部ではそれぞれのフレームの復号化を行い復号ディジタル信号＃７，＃８を得ることができ、従来の符号伝送方法で生じていた復号ディジタル信号の途切れはこの第２実施形態では発生しない。
【００３４】
なお図６中の符号列送出制御部７、図９中の符号化クラス指定部９０は、以上の説明から理解されるように１フレームにおける送信すべき符号列を決定しており、これらを総称して送信符号列決定部とする。図９において符号化部９は各フレームごとにすべてのレイヤの符号化を行い、第１実施形態中の符号列送出制御部７と同様な送出符号列指定情報を入力されたバッファ残量情報に応じて生成出力し、この送出符号列指定情報に従って符号化部９では生成した符号列中の、この例ではベースレイヤおよびエンハンストレイヤの各符号列、またはベースレイヤの符号列のみを出力するようにしてもよい。送出符号列指定情報を用いる場合は、第１実施形態と同様に、送出符号列指定情報を伝送路送信部２に供給して、図１０中に示す送信符号列を送信するようにしてもよい。
【００３５】
上述した実施形態では説明を簡単にするために２階層符号化を用いたので、伝送速度が元の符号化速度の半分のベースレイヤの符号化速度を下回ると音切れやコマ飛びが発生するが、例えばベースレイヤに全体の符号化速度の何十分の１というような非常に符号化速度の遅い高圧縮な符号化を用いることにより、伝送速度が大きく変動して著しく劣化するようなインターネットにおけるストリーミングに用いた場合でも音切れやコマ飛びが発生しないという大きな特徴がある。
また、上述の実施形態では説明を簡単にするために受信バッファの最大サイズを５または６としているが、実際には数十から数百といった大きなバッファサイズとすることにより、速度変動や到着遅延への耐性を大きく高めることができる。
【００３６】
階層符号化、復号化
この発明は各種階層符号化法、復号化法を用いることができる。階層符号化方法の一般的な手法を図１１を参照して説明する。信号源１０からのディジタル信号は圧縮部１１−１により圧縮符号化されて第１符号列が生成される。この第１符号列はベースレイヤの符号列であって最も下位（低品質）の条件の符号列であり、この圧縮部１１−１は一般に高圧縮の非可逆圧縮符号化され、図４中の非可逆量子化部１２０で用いる圧縮符号化法と同様な手法が用いられる。
【００３７】
第１符号列の符号化残差が残差生成部９１−１で第１符号化残差信号として生成され、この第１符号化残差信号は圧縮部１１−２で圧縮符号化されて第２符号列が生成される。以下同様に圧縮符号化された符号列の符号化残差が残差生成部で残差信号として生成され、この残差信号が圧縮符号化されて符号列が生成されることが順次行われ、ＮM 階層符号化においては第ＮM −１符号列の符号化残差が残差生成部９１−ＮM −１で第ＮM −１残差信号として生成され（ＮM は２以上の自然数）、その第ＮM −１残差信号が圧縮部１１−ＮM で圧縮符号化され、第ＮM 符号列が生成される。残差信号に対する圧縮符号化を行う圧縮部１１−２〜１１−ＮM は、可逆圧縮符号化が好ましい。
【００３８】
図６中の符号列送出制御部７ａよりの送出符号列指定情報や図９中の符号化クラス指定部９０よりの符号化クラス指定情報の生成は、例えば入力されたバッファ残量情報に応じた値Ｍが決定され（ＭはＮM 以下の自然数）、第１符号列ないし第Ｍ符号列を出力する情報である。つまり第１符号列ないし第ＮM 符号列の優先度はそれぞれ１番ないしＮM 番になる。
この階層符号化方法による第１ないし第ＮM 符号列の復号方法を図１２を参照して説明する。第１符号列ないし第ＮM 符号列はそれぞれ伸張部３０−１ないし伸張部３０−ＮM で伸張復号化される。伸張部３０−１は図１１中の圧縮部１１−１の圧縮符号化と対応する伸張復号化を行うものであり、一般に非可逆伸張復号化を行い、第１復号信号を生成する。伸張部３０−２〜３０−ＮM は図１１中の圧縮部１１−２〜１１−ＮM の圧縮符号化と対応する伸張復号化を行うものであり、一般に可逆伸張復号化を行い、それぞれ第１符号化残差信号〜第ＮM −１符号化残差信号を生成する。
【００３９】
伸張部３０−１よりの第１復号信号と伸張部３０−２よりの第１符号化残差信号とが加算部３２−２で加算されて第２復号信号が復号される。以下順次、伸張部３０−Ｌよりの第Ｌ−１符号化残差信号と加算部３２−Ｌ−１よりの第Ｌ−１復号信号とが加算部３２−Ｌで加算されて第Ｌ復号信号が生成される。Ｌ＝２，…，ＮM 、伸張部３０−２〜３０−ＮM は図１１中の圧縮部１１−２〜１１−ＮM の圧縮符号化と対応した伸張符号化とされ、一般には可逆伸張復号化が行われる。受信バッファ５から１フレーム分として第１〜第Ｍ符号列が取り出された場合は、第Ｍ復号信号が得られる。この場合のＭはＮM 以下の自然数である。
【００４０】
次に階層符号化、復号化の具体例を説明する。
図１３に標本化周波数が１９２ｋＨｚの音楽信号を３階層符号化する具体例を示す。音源１０から標本化周波数が１９２ｋＨｚのディジタル信号（以下１９２ｋＨｚディジタル信号と表記する）がダウンサンプル部２２3 でダウンサンプリングされて標本化周波数が９６ｋＨｚのディジタル信号とされ、この信号はダウンサンプル部２２2 で更にダウンサンプリングされて４８ｋＨｚディジタル信号とされ、この４８ｋＨｚディジタル信号は圧縮部１１1 で非可逆圧縮符号化されて第１符号Ａとして出力される。
【００４１】
ダウンサンプル部２２2 よりの４８ｋＨｚディジタル信号はアップサンプル部２６2 で９６ｋＨｚディジタル信号にアップサンプリングされ、この９６ｋＨｚディジタル信号とダウンサンプル部２２3 よりの９６ｋＨｚディジタル信号との差が減算部１３3 でとられその９６ｋＨｚ差信号が圧縮部１１2 で圧縮符号化されて第２符号Ｂが出力される。またダウンサンプル部２２3 よりの９６ｋＨｚがアップサンプル部２６3 でアップサンプリングされた１９２ｋＨｚディジタル信号と音源１０より１９２ｋＨｚディジタル信号との差が減算部１３3 でとられ、その１９２ｋＨｚ差信号が圧縮部１１3 で圧縮符号化されて第３符号Ｃが出力される。
【００４２】
減算部１３2 及びアップサンプル部２６2 は残差生成部９１−１に相当し、第１符号Ａの符号化残差信号が減算部１３2 より得られ、減算部１３3 及びアップサンプル部２６3 は残差生成部９１−２に相当し、減算部１３3 より第２符号Ｂの符号化残差信号が出力される。圧縮部１１2 ，１１3 は図４中の可逆符号化部１５０での処理と同様な処理により可逆圧縮符号化を行う。
バッファ残量情報に応じ、例えば残量が十分な場合は第１〜第３符号Ａ，Ｂ，Ｃの符号を送信し、残量が１／２になれば、第２及び第１符号Ａ，Ｂの符号を送信し、残量が１／４になれば第１符号Ａのみを送信する。バッファ残量情報が受信バッファ５に蓄積されている符号列の量（残量）の減少傾向を表わす場合は、減少傾向がそれ程急でなければ第１及び第２符号Ａ，Ｂを送信し、減少傾向が急であれば第１符号Ａのみを送信する。このように符号化の階層が３以上であればバッファ残量情報に応じて送信符号をどの優先度までとするか、段階的に制御することができる。その際、図９に示した実施例においては符号化クラス、指定情報が例えば第２優先度までであれば、圧縮部１１−１，１１−２、残差生成部９１−１のみが動作し、第１、第２符号列が出力される。
【００４３】
図１３に示した符号化部と対応する復号化部を図１４に示す。第１、第２、第３符号Ａ，Ｂ，Ｃはそれぞれ伸張部３０1 ，３０2 ，３０3 で伸張復号化され、標本化周波数４８ｋＨｚの第１復号信号、標本化周波数９６ｋＨｚの第１符号化残差信号、標本化周波数１９２ｋＨｚの第２符号化残差信号がそれぞれ生成される。第１復号信号はアップサンプル部３３1 により標本化周波数９６ｋＨｚにアップサンプリングされ、加算部３２2 で第２符号化残差信号と加算されて９６ｋＨｚディジタル信号が復号され、この９６ｋＨｚディジタル信号がアップサンプル部３３2 で標本化周波数が１９２ｋＨｚにアップサンプリングされ、加算部３２3 で第２符号化残差信号と加算されて１９２ｋＨｚディジタル信号が復号される。
【００４４】
複数種類の標本化周波数に対応する階層的統合したディジタル信号の符号化のみならず、複数種類の標本化周波数と複数種類の振幅分解能（量子化精度乃至振幅語長）とに対応する２次元階層的なディジタル信号の圧縮符号化を行ってもよい。その例として、１６ビット、２０ビット、２４ビットの３種類の振幅語長と、４８ｋＨｚ、９６ｋＨｚ、１９２ｋＨｚの３種類の標本化周波数（サンプリングレート）との組み合せの全てのディジタル信号の生成を可能とする、ディジタル信号の２次元的階層符号化について説明する。
２次元的階層符号化のための２４ビット１９２ｋＨｚのディジタル信号の部分信号への分解とその各符号の例を図１５Ａに示す。振幅語長が２４ビットのディジタル信号中の下位８ビットを除いた上位１６ビットについて、標本化周波数が４８ｋＨｚで符号化した符号Ａと、符号Ａにより符号化された成分以上の周波数成分について標本化周波数９６ｋＨｚで符号化した符号Ｂと、更に符号Ｂにより符号化された成分以上の周波数成分について標本化周波数１９２ｋＨｚで符号化した符号Ｃとに標本化周波数方向に階層化される。つまり周波数方向のスケーラビリティは１６ビット語長の信号で実現される。
【００４５】
１６ビット語長に対し下位４ビットを含む２０ビット語長の信号については、その下位４ビットの成分、つまり２０ビット語長信号から１６ビット語長成分を差し引いた残差成分について、同様に標本化周波数４８ｋＨｚで符号化した符号Ｄ、その符号Ｄの符号化成分以上の周波数成分を９６ｋＨｚで符号化した符号Ｅと更に符号Ｅで符号化された成分以上の周波数成分について１９２ｋＨｚで符号化した符号Ｆとに階層化する。２０ビット語長に対し下位４ビットを含む２４ビット語長信号については、その下位４ビットの成分、つまり２４ビット語長信号から２０ビット語長成分を差し引いた残差成分について、同様に標本化周波数４８ｋＨｚで符号化した符号Ｇ、その周波数成分以上を９６ｋＨｚで符号化した符号Ｈと、その成分以上を１９２ｋＨｚで符号化した符号Ｉとに階層化する。
【００４６】
このように振幅語長（振幅分解能，量子化精度）と標本化周波数との二次元階層的９種類の符号化条件により符号化された符号Ａ〜Ｉを用いることにより、３種類の振幅語長と３種類の標本化周波数の組み合せの全てである９種類のディジタル信号を出力することができる。つまり各標本化周波数と振幅語長との各組み合せについて図１５Ｂに示す使用符号（１）を用いればよい。例えば、標本化周波数９６ｋＨｚ、振幅語長２４ビットの場合、符号ＡとＢとＤとＥとＧとＨを用いればよい。
この図１５に示した２次元階層符号化を行う符号化部の機能機構を図１６に示す。音源１０よりの振幅語長が２４ビット標本化周波数が１９２ｋＨｚのディジタル信号はまず、ビット分割部２０で各サンプルの２４ビットの振幅語長は上位１６ビットと、その下位の４ビットと、更に下位の４ビットとに分割される。上位１６ビットはダウンサンプル部２２1,3 で標本化周波数が９６ｋＨｚにダウンサンプリングされ、その出力が、更にダウンサンプル部２２1,2 で標本化周波数が４８ｋＨｚにダウンサンプリングされて、圧縮部１１1,1 に供給されて、可逆圧縮符号化され、符号Ａが出力される。
【００４７】
ダウンサンプル部２２1,2 の出力はアップサンプル部２６1,1 により標本化周波数が９６ｋＨｚにアップサンプリングされ、そのアップサンプリング出力と、ダウンサンプル部２２1,3 の出力との差分が減算部１３1,2 でとられ、その差分信号が圧縮部１１1,2 で可逆圧縮符号化され、符号Ｂが出力される。
ダウンサンプル部２２1,3 の出力はアップサンプル部２６1,2 で標本化周波数が１９２ｋＨｚにアップサンプリングされ、このアップサンプル部２６1,2 の出力とビット分割部２０よりの分割された１６ビットの信号との差分が減算部１３1,3 でとられ、その差分出力が圧縮部１１1,3 で可逆圧縮符号化されて符号Ｃが出力される。
【００４８】
分割部２０よりの上位１６ビットの下位４ビットはダウンサンプル部２２2,3 ，４５2,2 により標本化周波数が４８ｋＨｚの信号とされ、圧縮部１１2,1 により可逆圧縮符号化されて符号Ｄが出力され、ダウンサンプル部２２2,3 の出力と、ダウンサンプル部２２2,2 の出力のアップサンプル部２６2,1 によるアップサンプリング出力との減算部１３2,2 での差分を圧縮部１１2,2 で可逆圧縮符号化することにより符号Ｅを出力し、ダウンサンプリング部２２2,3 の出力のアップサンプリング部２６2,2 によるアップサンプリング出力と、ビット分割部２０よりの４ビット信号の減算部１３2,3 での差分を圧縮部１１2,3 で可逆圧縮符号化して符号Ｆを出力する。
【００４９】
更に同様にして、ビット分割部２０の最下位４ビットが、ダウンサンプリング部２２3,3 ，２２3,2 、アップサンプル部２６3,1 ，２６3,2 、減算部１３3,2 ，１３3,3 、圧縮部１１3,1 ，１１3,2 ，１１3,3 により符号Ｇ，Ｈ，Ｉを生成出力する。
なお図１６において各アップサンプル部は、その入力信号に対し、不足するサンプル時点を０とし、その０を挿入したサンプル列を補間フィルタで処理することにより、対応する減算部の出力差分信号の振幅がなるべく小さなものとなるようにされる。
【００５０】
例えば減算部４７1,3 の出力は振幅語長が１６ビット、標本化周波数が１９２ｋＨｚの信号であり、最大９６ｋＨｚの成分を含む。しかし、振幅が小さく、特に０〜４８ｋＨｚの成分はほとんど０である。このため圧縮部１１2,1 では例えば図３に示した予測符号化などを用いることによって効率よく圧縮することができる。その他の圧縮部も同様に予測符号化などを用いて効率的に圧縮できる。
符号化の手順として、上述ではまず振幅語長（振幅分解能）で信号を分割し、それら各分割された信号を、標本化周波数で階層化したが、先ず標本化周波数で階層化し、その後、各階層の誤差信号について、振幅語長を分割してもよい。
【００５１】
この場合は優先度の決め方により、送信符号列が異なり、またそれと対応する残差生成部の構成が異なる。仮に図１５Ｂにおいて、最下行の符号Ａを第１優先度とし（これは常にそうなる）、第１行目の符号Ａ〜Ｉを最も低い優先度とする。第１符号列は符号Ａ、第２符号列は符号Ｄで、第１符号化残差信号の生成部はビット分割部２０及びダウンサンプル部２２2,3 ，２２2,2 となり、第３符号列は符号で、第２符号化残差信号の生成部はビット分割部２０及びダウンサンプル部２２3,3 ，２２3,2 よりなり、第４符号列は符号Ｂでその第３符号化残差信号の生成部は減算部１３1,2 及びアップサンプル部２６1,1 であるが、この符号化残差信号は２４ｂ，１９２ｋＨｚディジタル信号に対し、符号Ａ，Ｄ及びＧ（第３符号列）で符号化した残差信号であり、これを圧縮部１１1,2 は振幅語長１６ビット標本化周波数９６ｋＨｚで圧縮符号化した符号がＢであると云える。第５符号列は符号Ｄ及びＥであり、その第４符号化残差信号、生成部はビット分割部２０、ダウンサンプル部２２2,3 ，２２2,2 、減算部１３2,2 及びアップサンプル部２６2,1 よりなる。第６符号列は符号Ｇ及びＨであり、その第５符号化残差信号生成部はビット分割部２０、ダウンサンプル部２２3,3 ，２２3,2 、減算部１３3,2 及びアップサンプル部２６3,1 よりなる。以下同様である。
【００５２】
図１６に示した符号化部と対応する復号化部を図１７に示す。
符号Ａ，Ｂ，…，Ｉは伸張部３０1,1 ，３０1,2 ，３０1,3 ，３０2,1 ，３０2,2 ，３０2,3 ，３０3,1 ，３０3,2 ，３０3,3 でそれぞれ伸張復号化され、符号化部の対応する圧縮部の入力部分信号がそれぞれ得られる。伸張部３０1,1 は、図４中の復号器逆量子化部２３０と同様に非可逆復号化を行い、伸張部３０1,2 ，…，３０3,3 は可逆復号化部２１０及びならびかえ部２２０と同様の手法で可逆復号化を行うことができる。伸張部３０1,1 よりの復号信号は振幅語長が１６ビット、標本化周波数が４８ｋＨｚのディジタル信号（以下、１６ｂ，４８ｋＨｚディジタル信号と書く）の再生信号として出力されると共にアップサンプル部３３1,1 で標本化周波数が９６ｋＨｚにアップサンプリングされ、このアップサンプリングされた信号は伸張部３０1,2 よりの復号（残差）信号と加算部３２1,2 で加算されて再生１６ｂ，９６ｋＨｚディジタル信号として出力される。この１６ｂ，９６ｋＨｚディジタル信号はアップサンプル部３３1,2 で標本化周波数が１９２ｋＨｚにアップサンプリングされて、伸張部３０1,3 よりの復号（残差）信号と加算部３２1,3 で加算され、再生１６ｂ，１９２ｋＨｚディジタル信号として出力される。再生１６ｂ，４８ｋＨｚディジタル信号は伸張部３０2,1 より復号（残差）信号と加算部３２2,1 で加算されて、再生２０ｂ，４８ｋＨｚディジタル信号として出力される。
【００５３】
以下同様に復号された部分信号を組み合せて各ディジタル信号が再生される。その標本化周波数が異なる場合はアップサンプリングにより標本化周波数を合せて加算する。アップサンプル部３３の添字の２番目の数字１は標本化周波数を４８ｋＨｚから９６ｋＨｚにアップサンプリングすることを、数字２は標本化周波数を９６ｋＨｚから１９２ｋＨｚにアップサンプリングすることを示す。要するに、部分信号をアップサンプリングと、振幅方向のビットをつなぐことにより精度の高い信号を再構成する。
前述したように優先度が１番高い第１符号列はＡであり、これが１６ｂ，４８ｋＨｚ第１復号信号に復号され、伸張部３０1,2 で第２符号列Ｄより第１符号化残差信号が復号され、同様に第２符号化残差信号は伸張部３０3,1 よりの復号信号であり、伸張部３０1,2 で第４符号列Ｂより第３符号化残差信号が復号され、アップサンプル部３３1,1 及び加算部３２1,2 は図１２中の加算部３２−４に相当する。第５符号列はＤ及びＥであり、これより復号される第４符号化残差信号は、符号Ｄ，Ｅの各伸張部３０2,1 ，３０2,2 、アップサンプル部３３2,1 及び加算部３２2,2 により生成され、これらの構成は図１２中の伸張部３０−５に相当し、加算部３２2,2 は図１２中の加算部３２−５に相当する。第６符号列はＧ及びＨであり、第５符号化残差信号の復号は伸張部３０3,1 ，３０3,2 、アップサンプル部３３3,1 及び加算部３２3,2 により生成され、これらの構成は伸張部３３−６に相当し、加算部３２3,2 ´は加算部３２−６に相当する。以下も同様である。
【００５４】
先に述べたように、この発明は階層符号に限らず、例えば１フレームのディジタル信号を、その各種のパラメータについてそれぞれ符号化した複数の符号を、そのフレームの圧縮符号とする場合に、その構成する複数の符号中の１ないし複数がなくても、ある程度の品質のディジタル信号を再生できる符号化方法がある。そのような符号に対し、その重要なもの、ある程度の品質を得るため必要なものに高い優先度を与え、他の符号に低い優先度を与えて、受信バッファ５の残量が十分な場合は各フレームについてすべての符号を送信し、残量が不十分になると各フレームについて最も優先度が高い符号のみを送信するようにしてもよい。例えばＴwin ＶＱ符号化方法においては、スペクトル包絡の線形予測係数の符号、ピッチ成分の符号、バーク尺度スペクトル包絡の符号、パワーの符号、ベクトル量子化符号の６つの符号が用いられるが、ベクトル量子化符号は優先度を低くし、線形予測係数符号やパワー符号は優先度を高くする。同様にエンベッデッドＡＤＰＣＭ（Ｇ．７２７）において、入力ディジタル信号をサンプル当たり５ビットで予測誤差を量子化し、符号化部、復号化部で共通に行う内部状態の更新にはすべて上位２ビットの量子化符号を使い、この上位２ビットを最優先度とし、下位３ビットの優先度を低くする。Ｔwin ＶＱ、エンベッデッドＡＤＰＣＭ（Ｇ．７２７）について例えば守谷健弘著「音声符号化」電子情報通信学会、平成１０年１０月２０日発行、８８〜９０頁、１２６〜１２８頁をそれぞれ参照されたい。
【００５５】
バッファ残量情報は先に定義したが、あらためて注意すべき点を述べる。つまり、フレームごとに受信バッファ５内の符号列量の蓄積量又は空き量を検出するが、例えば蓄積量が所定値以下になった場合のみバッファ残量情報を生成送信し、蓄積量が所定値以上ではバッファ残量情報を生成送信しないが、このバッファ残量情報を送信しないことは、符号送信装置ではバッファ残量情報が受信されないということは、バッファ残量が所定値以上であると認識でき、従って、この明細書では符号受信装置はバッファ残量情報を実質的には送信したとみなすものである。更に受信バッファ５の符号列蓄積量の減少傾向をバッファ残量情報とする場合でも、符号受信装置は通常は受信バッファ５の符号列蓄積量が所定値になってから復号を開始するため、蓄積量の減少が急であれば、受信バッファの蓄積量がどんどん減り、蓄積量が少ないことにより、蓄積量の減少がゆるやかであれば、バッファの蓄積量が比較的多いことになり、つまり減少傾向を積分しなくても、蓄積量をほぼ推定しているということができ、この明細書では蓄積量の減少傾向を示す情報もバッファ残量情報とするものである。
【００５６】
上述した各実施形態にそれぞれ示した各符号送信装置、各符号受信装置を、それぞれコンピュータにプログラムを実行させて機能させる構成としてもよい。この場合は、例えば符号送信装置について云えば、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体から、又は通信回線を通して符号送信プログラムをコンピュータ内にダウンロードさせ、その復号化プログラムをコンピュータに実行させればよい。
【００５７】
【発明の効果】
以上説明したように、この発明によれば、受信バッファに蓄積されている符号列が減少した場合に、送信側に優先度の高いクラスの符号列のみを送出させ、受信側では受信バッファに優先度の高いクラスの符号列のみが蓄積されている場合には優先度の高いクラスの符号列のみを復号化して復号ディジタル信号を得る。これにより、伝送路送信部と伝送路受信部の間の伝送速度がすべての符号列を伝送するには不十分な場合であっても、優先度の高いクラスの符号列のみを伝送して復号化して復号ディジタル信号を得ることで、音切れやコマ飛びが発生しない符号伝送を実現できる。
【図面の簡単な説明】
【図１】従来の符号伝送方式を簡略に示すブロック図。
【図２】従来の階層的分割符号化の機能構成を示す図。
【図３】図２中の可逆圧縮部の具体的機能構成を示す図。
【図４】従来の可逆圧縮符号化、復号化器の機能構成を示す図。
【図５】図４中のならびかえ部１６０の処理を説明するための図。
【図６】この発明の第１実施形態の符号送信装置及び符号受信装置の各機能構成を示す図。
【図７】第１実施形態の伝送速度が十分な場合における伝送状態の例を示すタイムチャート。
【図８】第１実施形態の伝送速度が不十分な場合における伝送状態の例を示すタイムチャート。
【図９】この発明の第２実施形態の符号送信装置及び符号受信装置の機能構成例を示す図。
【図１０】第２実施形態の伝送速度が不十分な場合における伝送状態の例を示す図。
【図１１】階層符号化部の一般的機能構成例を示す図。
【図１２】階層符号復号化部の一般的機能構成の例を示す図。
【図１３】１次元階層符号化部の具体例を示す図。
【図１４】図１４に示した符号化部と対応する復号化部の具体例を示す図。
【図１５】Ａは２次元階層的分割符号の例を示す図、Ｂは図１５Ａに示した階層的分割された符号と各種標本化周波数及び各種振幅分解能の組み合せ信号との関係を示す図である。
【図１６】図１５Ａに示した２次元階層的分割符号の符号化部の機能構成例を示す図。
【図１７】図１６に示した符号化部と対応する復号化部の機能構成例を示す図。
Claims (2)
- ディジタル信号が単位時間毎に階層符号化された符号列の全部または一部の階層を送信、受信、復号して復号ディジタル信号を生成する符号送受信システムであって、
上記符号送受信システムは、符号送信装置から送信された符号列は確実に符号受信装置で受信されるよう制御される非同期のデータ転送プロトコルで接続される伝送路を介して接続された上記符号送信装置と上記符号受信装置とにより構成され、
上記符号送信装置は、
入力されたバッファ残量情報に従って、バッファ残量が予め設定された所定値より多ければ単位時間ごとの階層符号化された符号列のうち最も優先度が高い階層の符号列から優先度が低い階層の符号列までを送信することを決定し、バッファ残量が上記所定値より少なければ単位時間ごとの階層符号化された符号列のうち最も優先度が高い階層の符号列のみを送信することを決定する送信符号列決定部と、
上記送信することが決定された送信符号列を上記データ転送プロトコルに従って送信する伝送路送信部とを具備し、
上記符号受信装置は、
上記伝送路送信部から送信された符号列の全てを上記データ転送プロトコルに従って受信する伝送路受信部と、
上記受信した符号列が何番目の単位時間に対するものであるかを識別するように蓄積され、単位時間毎にその順に対応するすべての符号列が取り出される受信バッファと、
単位時間ごとに取り出されたすべての符号列により１つのディジタル信号を復号する復号化部と、
上記受信バッファに蓄積されている符号列量と対応するバッファ残量情報を生成出力する残量情報生成部とを具備することを特徴とする符号送受信システム。 - ディジタル信号が単位時間毎に階層符号化された符号列の全部または一部の階層を送信、受信、復号して復号ディジタル信号を生成する符号送受信システムであって、
上記符号送受信システムは、符号送信装置から送信された符号列は確実に符号受信装置で受信されるよう制御される非同期のデータ転送プロトコルで接続される伝送路を介して接続された上記符号送信装置と上記符号受信装置とにより構成され、
上記符号送信装置は、
単位時間ごとに、入力されたバッファ残量情報に従って、バッファ残量が予め設定された所定値より多ければ最も優先度が高い階層の符号列から優先度が低い階層の符号列までを符号化部が出力するように指定し、バッファ残量が上記所定値より少なければ最も優先度が高い階層の符号列のみを符号化部が出力するように指定する符号化クラス指定部と、
単位時間ごとに上記ディジタル信号の符号化を行い、上記符号化クラス指定部で出力することを指定された階層の符号列を得る上記符号化部と、
上記符号化部で得られた送信符号列を上記データ転送プロトコルに従って送信する伝送路送信部とを具備し、
上記符号受信装置は、
上記伝送路送信部から送信された符号列の全てを上記データ転送プロトコルに従って受信する伝送路受信部と、
上記受信した符号列が何番目の単位時間に対するものであるかを識別するように蓄積され、単位時間毎にその順に対応するすべての符号列が取り出される受信バッファと、
単位時間ごとに取り出されたすべての符号列により１つのディジタル信号を復号する復号化部と、
上記受信バッファに蓄積されている符号列量と対応するバッファ残量情報を生成出力する残量情報生成部とを具備することを特徴とする符号送受信システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002326520A JP3926730B2 (ja) | 2002-11-11 | 2002-11-11 | 符号送受信システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002326520A JP3926730B2 (ja) | 2002-11-11 | 2002-11-11 | 符号送受信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004165776A JP2004165776A (ja) | 2004-06-10 |
| JP3926730B2 true JP3926730B2 (ja) | 2007-06-06 |
Family
ID=32805413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002326520A Expired - Fee Related JP3926730B2 (ja) | 2002-11-11 | 2002-11-11 | 符号送受信システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3926730B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7756006B2 (en) * | 2006-01-18 | 2010-07-13 | Hitachi Kokusai Electric Inc. | Communication device |
| JP4793339B2 (ja) * | 2007-07-09 | 2011-10-12 | ソニー株式会社 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
| JP2010197957A (ja) * | 2009-02-27 | 2010-09-09 | Seiko Epson Corp | 画像音声供給装置、画像音声出力装置、画像供給方法、画像音声出力方法、及びプログラム |
| US20140214431A1 (en) * | 2011-07-01 | 2014-07-31 | Dolby Laboratories Licensing Corporation | Sample rate scalable lossless audio coding |
| JP6432180B2 (ja) * | 2014-06-26 | 2018-12-05 | ソニー株式会社 | 復号装置および方法、並びにプログラム |
| CN112422675A (zh) * | 2020-11-17 | 2021-02-26 | 中国人民解放军战略支援部队信息工程大学 | 一种基于fpga的异构处理平台流控管理方法及装置 |
| CN117555494B (zh) * | 2024-01-12 | 2024-03-22 | 南京荧火泰讯信息科技有限公司 | 一种用于信号处理板的编码管理*** |
-
2002
- 2002-11-11 JP JP2002326520A patent/JP3926730B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004165776A (ja) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2387022C2 (ru) | Масштабируемый аудиокодер без потерь и авторское инструментальное средство | |
| JP4056407B2 (ja) | スケーラブル無損失オーディオ符号化／復号化装置及びその方法 | |
| JP5384780B2 (ja) | 無損失オーディオ符号化方法、無損失オーディオ符号化装置、無損失オーディオ復号化方法、無損失オーディオ復号化装置及び記録媒体 | |
| CN1639984B (zh) | 数字信号编码方法、解码方法、编码设备、解码设备 | |
| JP3960932B2 (ja) | ディジタル信号符号化方法、復号化方法、符号化装置、復号化装置及びディジタル信号符号化プログラム、復号化プログラム | |
| JP2005260969A (ja) | 無損失オーディオ符号化／復号化方法および装置 | |
| JP2000503510A (ja) | ライスエンコーダ／デコーダを用いるデータ圧縮／拡大 | |
| WO2004098066A1 (ja) | 浮動小数点形式ディジタル信号可逆符号化方法、及び復号化方法と、その各装置、その各プログラム | |
| KR100307596B1 (ko) | 디지털 오디오 데이터의 무손실 부호화 및 복호화장치 | |
| CN1726644B (zh) | 用于产生压缩数据的多种描述的设备和方法 | |
| JP3926730B2 (ja) | 符号送受信システム | |
| US7162419B2 (en) | Method in the decompression of an audio signal | |
| JPH10285048A (ja) | デジタルデータの符号化／復号化方法及び装置 | |
| US20070143118A1 (en) | Apparatus and method for lossless audio signal compression/decompression through entropy coding | |
| JP2004289837A (ja) | デジタルデータの符号化／復号化方法および装置 | |
| JPH03108824A (ja) | 音声符号化・復号化伝送方式 | |
| JP4835855B2 (ja) | 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム | |
| US6549147B1 (en) | Methods, apparatuses and recorded medium for reversible encoding and decoding | |
| KR100480785B1 (ko) | 그레이코드를 이용한 비트플레인 부호화 및 복호화 방법및 장치 | |
| JP2001268514A (ja) | 信号記録装置、信号記録方法、信号再生装置、信号再生方法、媒体、および情報集合体 | |
| JP3942523B2 (ja) | ディジタル信号符号化方法、復号化方法、符号器、復号器及びこれらのプログラム | |
| JP3617804B2 (ja) | Ｐｃｍ信号符号化装置及び復号化装置 | |
| KR100975522B1 (ko) | 스케일러블 오디오 복/부호화 방법 및 장치 | |
| JP4139704B2 (ja) | 時系列信号の符号化装置および復号装置 | |
| JP3816859B2 (ja) | ディジタル信号符号化方法、復号化方法、これらの符号器、復号器及びこれらのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050120 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20061018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070228 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3926730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |