JP3024380B2 - 画像符号化制御方式 - Google Patents
画像符号化制御方式Info
- Publication number
- JP3024380B2 JP3024380B2 JP22016292A JP22016292A JP3024380B2 JP 3024380 B2 JP3024380 B2 JP 3024380B2 JP 22016292 A JP22016292 A JP 22016292A JP 22016292 A JP22016292 A JP 22016292A JP 3024380 B2 JP3024380 B2 JP 3024380B2
- Authority
- JP
- Japan
- Prior art keywords
- max
- buffer
- image
- frame
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【産業上の利用分野】この発明は、例えばテレビ会議や
テレビ電話器等に用いられるデータ符号化、復号化処理
制御に関するものである。
テレビ電話器等に用いられるデータ符号化、復号化処理
制御に関するものである。
【0002】
【従来の技術】一般に画像の符号化処理技術は、「村上
篤道著 高能率符号化技術」(テレビジョン学会誌 V
ol.42#11P.1198〜)に示されるように、
情報源符号化処理技術と伝送路符号化処理技術に大別で
きる。情報源符号化処理技術では、動画像を静止画像
(以下、フレーム)の連続と考え、フレームを構成する
ディジタル画像データを隣接する複数個毎にまとめたブ
ロックを符号化処理の単位として、これに多様な符号化
処理を組み合わせて適用することで画像が持つ情報量の
高能率圧縮を図る。一方、伝送路符号化処理は、多様な
符号化処理の結果として得られる複数の符号化データを
実際に伝送するときに施され、各々の符号化データをそ
の発生頻度に応じた可変長符号に置換して、これらをシ
リアル多重する。
篤道著 高能率符号化技術」(テレビジョン学会誌 V
ol.42#11P.1198〜)に示されるように、
情報源符号化処理技術と伝送路符号化処理技術に大別で
きる。情報源符号化処理技術では、動画像を静止画像
(以下、フレーム)の連続と考え、フレームを構成する
ディジタル画像データを隣接する複数個毎にまとめたブ
ロックを符号化処理の単位として、これに多様な符号化
処理を組み合わせて適用することで画像が持つ情報量の
高能率圧縮を図る。一方、伝送路符号化処理は、多様な
符号化処理の結果として得られる複数の符号化データを
実際に伝送するときに施され、各々の符号化データをそ
の発生頻度に応じた可変長符号に置換して、これらをシ
リアル多重する。
【0003】以下に、従来の技術の一例として、画像デ
ータを符号化及び復号化する画像伝送装置の動作を説明
する。図9は、上記の論文の内容を簡略化して表現した
一般的な画像伝送装置の構成図であり、図中、1はA/
D変換部、2はフォーマット変換部、3は情報源符号化
部、4は伝送路符号化部、5は送信制御部、6は伝送
路、7は受信制御部、8は伝送路復号部、9は情報源復
号部、10はフォーマット逆変換部、11はD/A変換
部である。
ータを符号化及び復号化する画像伝送装置の動作を説明
する。図9は、上記の論文の内容を簡略化して表現した
一般的な画像伝送装置の構成図であり、図中、1はA/
D変換部、2はフォーマット変換部、3は情報源符号化
部、4は伝送路符号化部、5は送信制御部、6は伝送
路、7は受信制御部、8は伝送路復号部、9は情報源復
号部、10はフォーマット逆変換部、11はD/A変換
部である。
【0004】図9において、アナログテレビジョン信号
は、A/D変換部1でディジタル化され、更にフォーマ
ット変換部2で情報源符号化に適するようにブロック化
される。情報源符号化部3において、ブロック化された
ディジタル画像データは、動き補償や離散コサイン変
換、量子化などの多様な符号化処理が施され、種々の符
号化データに展開される。これら各種の符号化データは
伝送路符号化部4にてエントロピー符号化、多重化さ
れ、送信制御部5の制御により画像符号化ビット列とし
て伝送路6に送出される。このとき、画像符号化ビット
列の送出速度は、伝送路6の通信速度に対応している。
伝送路6の通信速度は一般的に固定である。受信制御部
7では、通信相手からの画像符号化ビット列を伝送路6
から受信し、伝送路復号部8で各種符号化データを分離
・復号する。情報源復号部9では、各種符号化データを
もとに、情報下符号化部3における符号化処理と逆の手
順でブロック化されたディジタル画像データを復号し、
更にフォーマット逆変換部10でデブロッキングを行
い、D/A変換部11を経由してアナログテレビジョン
信号を復元する。以上が一般的な画像伝送装置における
符号化処理の概要である。なお、一般的な画像符号化処
理方式としては、CCITT SGXV Report
R37’Recommendation of th
e H−seriesH.261’(以下、H261と
記載する。)がある。
は、A/D変換部1でディジタル化され、更にフォーマ
ット変換部2で情報源符号化に適するようにブロック化
される。情報源符号化部3において、ブロック化された
ディジタル画像データは、動き補償や離散コサイン変
換、量子化などの多様な符号化処理が施され、種々の符
号化データに展開される。これら各種の符号化データは
伝送路符号化部4にてエントロピー符号化、多重化さ
れ、送信制御部5の制御により画像符号化ビット列とし
て伝送路6に送出される。このとき、画像符号化ビット
列の送出速度は、伝送路6の通信速度に対応している。
伝送路6の通信速度は一般的に固定である。受信制御部
7では、通信相手からの画像符号化ビット列を伝送路6
から受信し、伝送路復号部8で各種符号化データを分離
・復号する。情報源復号部9では、各種符号化データを
もとに、情報下符号化部3における符号化処理と逆の手
順でブロック化されたディジタル画像データを復号し、
更にフォーマット逆変換部10でデブロッキングを行
い、D/A変換部11を経由してアナログテレビジョン
信号を復元する。以上が一般的な画像伝送装置における
符号化処理の概要である。なお、一般的な画像符号化処
理方式としては、CCITT SGXV Report
R37’Recommendation of th
e H−seriesH.261’(以下、H261と
記載する。)がある。
【0005】次に、伝送路符号化部4および伝送路復号
部8の動作の詳細を以下に説明する。伝送路符号化部4
において、画像符号化ビット列を生成する際に、各種の
符号化データをその発生頻度に応じた可変長符号に置換
し、これらをシリアル多重するので、画像1フレームあ
たりの画像符号化ビット列の符号量は、符号化対象フレ
ームの性質に応じて変動する。特に、上記H261代表
される動き補償予測フレーム間符号化を適用するとき
に、上記の傾向が顕著に現れる。該画像符号化ビット列
の伝送を効率よく行うためには、画像伝送装置の送信側
および受信側で該画像符号化ビット列をバッファリング
することが必須である。ただし、送信側バッファ(TB
F)および受信側バッファ(RBF)における画像符号
化ビット列の蓄積量に比例して、画像伝送装置全系の処
理遅延が増加する。図7は伝送路符号化部周辺、図8は
伝送路復号部周辺の機能ブロック図である。図中、3は
情報源符号化部、4は伝送路符号化部、41,42,4
3は可変長符号変換器、44はシリアル多重器、45は
TBF、46は伝送路符号化制御部、5は送信制御部、
7は受信制御部、8は伝送路復号部、81はRBF、8
2は符号語分離器、83,84,85は可変長符号逆変
換器、86は伝送路復号制御部、9は情報源復号部であ
る。
部8の動作の詳細を以下に説明する。伝送路符号化部4
において、画像符号化ビット列を生成する際に、各種の
符号化データをその発生頻度に応じた可変長符号に置換
し、これらをシリアル多重するので、画像1フレームあ
たりの画像符号化ビット列の符号量は、符号化対象フレ
ームの性質に応じて変動する。特に、上記H261代表
される動き補償予測フレーム間符号化を適用するとき
に、上記の傾向が顕著に現れる。該画像符号化ビット列
の伝送を効率よく行うためには、画像伝送装置の送信側
および受信側で該画像符号化ビット列をバッファリング
することが必須である。ただし、送信側バッファ(TB
F)および受信側バッファ(RBF)における画像符号
化ビット列の蓄積量に比例して、画像伝送装置全系の処
理遅延が増加する。図7は伝送路符号化部周辺、図8は
伝送路復号部周辺の機能ブロック図である。図中、3は
情報源符号化部、4は伝送路符号化部、41,42,4
3は可変長符号変換器、44はシリアル多重器、45は
TBF、46は伝送路符号化制御部、5は送信制御部、
7は受信制御部、8は伝送路復号部、81はRBF、8
2は符号語分離器、83,84,85は可変長符号逆変
換器、86は伝送路復号制御部、9は情報源復号部であ
る。
【0006】図7において、情報源符号化部3は、例え
ば画像符号化方式として上記H261を用いた場合に
は、符号化対象画像データに対して動き補償予測や離散
コサイン変換、スカラ量子化などを施し、符号化データ
としてスカラ量子化後の離散コサイン変換係数、動き補
償情報、量子化特性を出力する。伝送路符号化部4で
は、前記符号化データの各々を可変長符号変換器41,
42,43にて独立に符号語へ置換する。ここで、該符
号語には、発生頻度に応じて符号長を定められたユニー
クな可変長符号を用いる。更に、シリアル多重器44
は、伝送路符号化制御部46の制御に応じて、各符号化
データの可変長符号をブッロク単位にシリアル多重す
る。なお、以上によって得られた画像符号化ビット列
は、一旦TBF45に蓄積してから送信制御部5経由で
伝送路に送出される。一方、図8において、受信制御部
7は、伝送路6から受信したビット列内の画像符号化ビ
ット列のみを伝送路復号部8に送出する。伝送路復号部
8では、該画像符号化ビット列を一旦RBF81に蓄積
した後、伝送路復号制御部86の制御に応じて符号語分
離器82が必要な画像符号化ビット列をRBF81から
取り出し、各符号化データ(例えば、スカラ量子化後の
離散コサイン変換係数、動き補償情報、量子化特性)に
対応した符号語を分離して、各々を可変長符号逆変換器
83,84,85に入力する。該可変長符号逆変換器8
3,84,85は、符号語入力を、対応する符号化デー
タに置換して情報源復号部9に出力する。
ば画像符号化方式として上記H261を用いた場合に
は、符号化対象画像データに対して動き補償予測や離散
コサイン変換、スカラ量子化などを施し、符号化データ
としてスカラ量子化後の離散コサイン変換係数、動き補
償情報、量子化特性を出力する。伝送路符号化部4で
は、前記符号化データの各々を可変長符号変換器41,
42,43にて独立に符号語へ置換する。ここで、該符
号語には、発生頻度に応じて符号長を定められたユニー
クな可変長符号を用いる。更に、シリアル多重器44
は、伝送路符号化制御部46の制御に応じて、各符号化
データの可変長符号をブッロク単位にシリアル多重す
る。なお、以上によって得られた画像符号化ビット列
は、一旦TBF45に蓄積してから送信制御部5経由で
伝送路に送出される。一方、図8において、受信制御部
7は、伝送路6から受信したビット列内の画像符号化ビ
ット列のみを伝送路復号部8に送出する。伝送路復号部
8では、該画像符号化ビット列を一旦RBF81に蓄積
した後、伝送路復号制御部86の制御に応じて符号語分
離器82が必要な画像符号化ビット列をRBF81から
取り出し、各符号化データ(例えば、スカラ量子化後の
離散コサイン変換係数、動き補償情報、量子化特性)に
対応した符号語を分離して、各々を可変長符号逆変換器
83,84,85に入力する。該可変長符号逆変換器8
3,84,85は、符号語入力を、対応する符号化デー
タに置換して情報源復号部9に出力する。
【0007】ここで、画像符号化ビット列における画像
1フレーム毎の符号量が均等でないため、各フレームの
符号化終了時点でのTBF45の蓄積量は変動する。更
に、前記画像1フレームあたりの符号量の大小によって
は、TBF45にオーバーフローまたはアンダーフロー
が起こり得る。このことは、RBF81についても同様
である。TBF45およびRBF81にオーバーフロー
が発生すると、該バッファに入力すべき画像符号化ビッ
ト列の一部が廃棄されるため、システムの動作破綻とな
る。また、TBF45のアンダーフロー時には、画像符
号化ビット列以外のビット列を伝送路に送出することに
なるので、画像符号化ビット列の伝送効率が低下する。
更に、RBF81のアンダーフロー時には、復号処理が
断続的に行われることに起因して、符号化対象画像のフ
レーム間隔を忠実に再生できず、駒落としが発生する。
1フレーム毎の符号量が均等でないため、各フレームの
符号化終了時点でのTBF45の蓄積量は変動する。更
に、前記画像1フレームあたりの符号量の大小によって
は、TBF45にオーバーフローまたはアンダーフロー
が起こり得る。このことは、RBF81についても同様
である。TBF45およびRBF81にオーバーフロー
が発生すると、該バッファに入力すべき画像符号化ビッ
ト列の一部が廃棄されるため、システムの動作破綻とな
る。また、TBF45のアンダーフロー時には、画像符
号化ビット列以外のビット列を伝送路に送出することに
なるので、画像符号化ビット列の伝送効率が低下する。
更に、RBF81のアンダーフロー時には、復号処理が
断続的に行われることに起因して、符号化対象画像のフ
レーム間隔を忠実に再生できず、駒落としが発生する。
【0008】TBF45のオーバーフロー/アンダーフ
ロー対策の一例としては、次の処理がある。すなわち、
伝送路符号化制御部46はTBF45の蓄積量を監視し
て、オーバーフローの寸前には情報源符号化部3に対し
て符号化処理停止を、アンダーフローの寸前には送信制
御部5に対して画像符号化ビット列送信無効を通知する
処理である。符号化処理停止を受けた情報源符号化部3
は即座に符号化処理を停止して、該符号化処理停止が解
除されるのを待つ。また、画像符号化ビット列送信無効
を受けた送信制御部5は、受信側で識別・廃棄可能な
「画像符号化ビット列以外のビット列」を伝送路6に送
出する。ただし、前者は送信画像のフレーム数減少の原
因であり、後者は伝送効率の低下の原因になる。
ロー対策の一例としては、次の処理がある。すなわち、
伝送路符号化制御部46はTBF45の蓄積量を監視し
て、オーバーフローの寸前には情報源符号化部3に対し
て符号化処理停止を、アンダーフローの寸前には送信制
御部5に対して画像符号化ビット列送信無効を通知する
処理である。符号化処理停止を受けた情報源符号化部3
は即座に符号化処理を停止して、該符号化処理停止が解
除されるのを待つ。また、画像符号化ビット列送信無効
を受けた送信制御部5は、受信側で識別・廃棄可能な
「画像符号化ビット列以外のビット列」を伝送路6に送
出する。ただし、前者は送信画像のフレーム数減少の原
因であり、後者は伝送効率の低下の原因になる。
【0009】伝送路復号部8においては、画像符号化ビ
ット列から画像1フレーム分の各種符号化データを分離
・復号するために必要な時間が不規則に変動する。これ
は、画像符号化ビット列における1フレームあたりの符
号量および画像1フレームあたりに発生するシンボル数
が均等でないことに起因する。このことは、符号化対象
画像のフレーム間隔の忠実な再生を阻害し、駒落とし発
生の原因になる。上記の対策としては、画像符号化ビッ
ト列から各種符号化データを分離・復号した後に該符号
化データを更にバッファリングすることが挙げられる。
しかし、同対策に必要なバッファ容量は、冗長度を廃し
た画像符号化ビット列を蓄積するRBF81に比較して
膨大であり、装置規模が増大する。
ット列から画像1フレーム分の各種符号化データを分離
・復号するために必要な時間が不規則に変動する。これ
は、画像符号化ビット列における1フレームあたりの符
号量および画像1フレームあたりに発生するシンボル数
が均等でないことに起因する。このことは、符号化対象
画像のフレーム間隔の忠実な再生を阻害し、駒落とし発
生の原因になる。上記の対策としては、画像符号化ビッ
ト列から各種符号化データを分離・復号した後に該符号
化データを更にバッファリングすることが挙げられる。
しかし、同対策に必要なバッファ容量は、冗長度を廃し
た画像符号化ビット列を蓄積するRBF81に比較して
膨大であり、装置規模が増大する。
【0010】以上の問題点を解決するためには、画像伝
送装置の送信側および受信側における画像符号化ビット
列のバッファリングに何等かの制約が必要となるが、例
えば、上記H261においては、画像符号化ビット列1
フレームあたりの符号量上限と標準疑似復号器のRBF
容量を規定するに止まっており、的確な制約条件は示さ
れていない。
送装置の送信側および受信側における画像符号化ビット
列のバッファリングに何等かの制約が必要となるが、例
えば、上記H261においては、画像符号化ビット列1
フレームあたりの符号量上限と標準疑似復号器のRBF
容量を規定するに止まっており、的確な制約条件は示さ
れていない。
【0011】
【発明が解決しようとする課題】従来の伝送装置におい
ては、符号化ビット列のバッファリングに関して、TB
FおよびRBFのオーバーフローまたはアンダーフロー
等が発生して、符号化ビット列の伝送効率低下や画像伝
送装置の場合、駒落としによる再生画像の視覚特性劣化
の原因になっている。このことは、放送品質画像の固定
レートによるディジタル伝送や記録・蓄積に代表される
「高品質かつ駒落としを許容しない用途」へ画像符号化
を適用するうえでの問題点になっていた。
ては、符号化ビット列のバッファリングに関して、TB
FおよびRBFのオーバーフローまたはアンダーフロー
等が発生して、符号化ビット列の伝送効率低下や画像伝
送装置の場合、駒落としによる再生画像の視覚特性劣化
の原因になっている。このことは、放送品質画像の固定
レートによるディジタル伝送や記録・蓄積に代表される
「高品質かつ駒落としを許容しない用途」へ画像符号化
を適用するうえでの問題点になっていた。
【0012】この発明は、小規模の装置でTBFおよび
RBFのオーバーフロー/アンダーフローを防止して、
符号化ビット列の伝送効率低下を防ぐことを目的とす
る。
RBFのオーバーフロー/アンダーフローを防止して、
符号化ビット列の伝送効率低下を防ぐことを目的とす
る。
【0013】
【課題を解決するための手段】この発明に係る画像符号
化制御方式は、送信側では複数フレームからなる画像デ
ータを符号化して複数の符号語からなる符号化ビット列
を生成し、生成した符号化ビット列をいったん送信側バ
ッファに格納してから受信側へ送信し、受信側ではその
符号化ビット列を受信して受信側バッファに格納してか
ら復号する際の上記送信側における画像符号化制御方式
であって、上記受信側における1符号語当たりの平均復
号時間をt、上記送信側バッファのバッファリング遅延
時間を符号化対象画像データのフレーム周期T、1フレ
ームを小領域に分割した場合における1フレームあたり
の小領域の総数をAとした場合、上記小領域単位で生成
される最大符号語数Smaxが、 Smax≦T/(A×t) となるように上記送信側における符号化の際の符号語数
を制御することを特徴とする。
化制御方式は、送信側では複数フレームからなる画像デ
ータを符号化して複数の符号語からなる符号化ビット列
を生成し、生成した符号化ビット列をいったん送信側バ
ッファに格納してから受信側へ送信し、受信側ではその
符号化ビット列を受信して受信側バッファに格納してか
ら復号する際の上記送信側における画像符号化制御方式
であって、上記受信側における1符号語当たりの平均復
号時間をt、上記送信側バッファのバッファリング遅延
時間を符号化対象画像データのフレーム周期T、1フレ
ームを小領域に分割した場合における1フレームあたり
の小領域の総数をAとした場合、上記小領域単位で生成
される最大符号語数Smaxが、 Smax≦T/(A×t) となるように上記送信側における符号化の際の符号語数
を制御することを特徴とする。
【0014】また、次の発明に係る画像符号化制御方式
は、送信側では複数フレームからなる画像データを符号
化して複数の符号語からなる符号化ビット列を生成し、
生成した符号化ビット列をいったん送信側バッファに格
納してから受信側へ送信し、受信側ではその符号化ビッ
ト列を受信して受信側バッファに格納してから復号する
際の上記送信側における画像符号化制御方式であって、
上記送信側バッファのバッファリング遅延時間を符号化
対象画像データのフレーム周期T、上記送信側バッファ
から符号化ビット列を出力する際の出力速度をR、上記
送信側の起動後i番目のフレームの発生符号量をE i 、
とした場合、上記送信側バッファの最大蓄積容量B e max
を、B e max ≧2RT に設定し、 上記送信側バッファの蓄積量B e i 、および上
記i番目のフレームに対する発生符号量E i が、それぞ
れ、 RT≦B e i ≦B e max −RT 2RT−B e i-1 ≦E i ≦B e max −B e i-1 となるように上記送信側における符号化の際のフレーム
毎の発生符号量を制御することを特徴とする。
は、送信側では複数フレームからなる画像データを符号
化して複数の符号語からなる符号化ビット列を生成し、
生成した符号化ビット列をいったん送信側バッファに格
納してから受信側へ送信し、受信側ではその符号化ビッ
ト列を受信して受信側バッファに格納してから復号する
際の上記送信側における画像符号化制御方式であって、
上記送信側バッファのバッファリング遅延時間を符号化
対象画像データのフレーム周期T、上記送信側バッファ
から符号化ビット列を出力する際の出力速度をR、上記
送信側の起動後i番目のフレームの発生符号量をE i 、
とした場合、上記送信側バッファの最大蓄積容量B e max
を、B e max ≧2RT に設定し、 上記送信側バッファの蓄積量B e i 、および上
記i番目のフレームに対する発生符号量E i が、それぞ
れ、 RT≦B e i ≦B e max −RT 2RT−B e i-1 ≦E i ≦B e max −B e i-1 となるように上記送信側における符号化の際のフレーム
毎の発生符号量を制御することを特徴とする。
【0015】また、これらの発明において、送信側の起
動より前に、受信側が動作する場合、上記受信側が符号
化ビット列を受信するビットレートをR、上記送信側バ
ッファのバッファリング遅延時間を符号化対象画像デー
タのフレーム周期T、上記受信側バッファのバッファリ
ング遅延時間をL、として、上記送信側バッファの最大
容量B e max と、上記受信側バッファの最大容量B d max と
を、それぞれ、 2RT≦B e max ≦R(L+T) B d max x≧R(L+T) に設定することを特徴とする。
動より前に、受信側が動作する場合、上記受信側が符号
化ビット列を受信するビットレートをR、上記送信側バ
ッファのバッファリング遅延時間を符号化対象画像デー
タのフレーム周期T、上記受信側バッファのバッファリ
ング遅延時間をL、として、上記送信側バッファの最大
容量B e max と、上記受信側バッファの最大容量B d max と
を、それぞれ、 2RT≦B e max ≦R(L+T) B d max x≧R(L+T) に設定することを特徴とする。
【0016】また、これらの発明において、送信側の起
動後に、受信側が動作して、受信開始直後から最初に検
出されるフレーム先頭位置までの1フレーム分に満たな
い不完全符号化ビット列を廃棄して、当該フレーム先頭
位置からの符号化ビット列を受信バッファが蓄積する場
合、上記受信側が符号化ビット列を受信するビットレー
トをR、上記送信側バッファのバッファリング遅延時間
を符号化対象画像データのフレーム周期T、上記受信側
バッファのバッファリング遅延時間をL、として、上記
送信側バッファの最大容量B e max と、上記受信側バッフ
ァの最大容量B d max とを、それぞれ、 2RT≦B e max ≦R(L+T) B d max ≧R(L−T)+B e max に設定することを特徴とする。
動後に、受信側が動作して、受信開始直後から最初に検
出されるフレーム先頭位置までの1フレーム分に満たな
い不完全符号化ビット列を廃棄して、当該フレーム先頭
位置からの符号化ビット列を受信バッファが蓄積する場
合、上記受信側が符号化ビット列を受信するビットレー
トをR、上記送信側バッファのバッファリング遅延時間
を符号化対象画像データのフレーム周期T、上記受信側
バッファのバッファリング遅延時間をL、として、上記
送信側バッファの最大容量B e max と、上記受信側バッフ
ァの最大容量B d max とを、それぞれ、 2RT≦B e max ≦R(L+T) B d max ≧R(L−T)+B e max に設定することを特徴とする。
【0017】また、これらの発明において、送信側の起
動後に、上記受信側が動作して、上記受信側バッファが
受信したすべての画像符号化ビット列をいったん蓄積す
る場合には、上記受信側が符号化ビット列を受信するビ
ットレートをR、上記送信側バッファのバッファリング
遅延時間を符号化対象画像データのフレーム周期T、上
記受信側バッファのバッファリング遅延時間を(L+
T)、として、上記送信側バッファの最大容量B
e max と、上記受信側バッファの最大容量B d max とを、そ
れぞれ、 2RT≦B e max ≦R(L+T) B d max ≧RL+B e max に設定することを特徴とする。
動後に、上記受信側が動作して、上記受信側バッファが
受信したすべての画像符号化ビット列をいったん蓄積す
る場合には、上記受信側が符号化ビット列を受信するビ
ットレートをR、上記送信側バッファのバッファリング
遅延時間を符号化対象画像データのフレーム周期T、上
記受信側バッファのバッファリング遅延時間を(L+
T)、として、上記送信側バッファの最大容量B
e max と、上記受信側バッファの最大容量B d max とを、そ
れぞれ、 2RT≦B e max ≦R(L+T) B d max ≧RL+B e max に設定することを特徴とする。
【0018】
【0019】
【0020】
【0021】
【0022】
【作用】検知手段が符号化手段の符号化に関する情報を
検知して、この検知手段の検知にもとづいて、制御手段
が符号化手段の符号化を制御するものである。
検知して、この検知手段の検知にもとづいて、制御手段
が符号化手段の符号化を制御するものである。
【0023】
【実施例】以下に、本発明に係るデータ符号化、復号化
処理制御装置の一実施例である画像伝送装置について説
明する。本制御方式は、画像伝送装置の機能ブロックの
うち、主に伝送路符号化部および伝送路復号部に適用さ
れる。以下に、上記の両機能ブロックの動作を説明す
る。図1は伝送路符号化部周辺、図2は伝送路復号部周
辺の機能ブロック図である。図中、3は情報源符号化
部、31は符号量/シンボル数制御部、4は伝送路符号
化部、41,42,43は可変長符号変換器、44はシ
リアル多重器、45はTBF、46は伝送路符号化制御
部、47は符号量/シンボル数計数部、5は送信制御
部、51,71は通信手順制御部、7は受信制御部、7
2はフレーム先頭位置検出部、8は伝送路復号部、81
はRBF、82は符号語分離器、83,84,85は可
変長符号逆変換器、86は伝送路復号制御部、87はタ
イマ、9は情報源復号部である。
処理制御装置の一実施例である画像伝送装置について説
明する。本制御方式は、画像伝送装置の機能ブロックの
うち、主に伝送路符号化部および伝送路復号部に適用さ
れる。以下に、上記の両機能ブロックの動作を説明す
る。図1は伝送路符号化部周辺、図2は伝送路復号部周
辺の機能ブロック図である。図中、3は情報源符号化
部、31は符号量/シンボル数制御部、4は伝送路符号
化部、41,42,43は可変長符号変換器、44はシ
リアル多重器、45はTBF、46は伝送路符号化制御
部、47は符号量/シンボル数計数部、5は送信制御
部、51,71は通信手順制御部、7は受信制御部、7
2はフレーム先頭位置検出部、8は伝送路復号部、81
はRBF、82は符号語分離器、83,84,85は可
変長符号逆変換器、86は伝送路復号制御部、87はタ
イマ、9は情報源復号部である。
【0024】本発明に係る伝送路符号化部4および伝送
路復号部8の動作は従来技術の説明における動作と相違
点のみを以下に説明する。図1において、符号量/シン
ボル数計数部47はシリアル多重器44が出力する画像
符号化ビット列を監視して、符号量およびシンボル数を
リアルタイムで集計して、該集計結果を符号量/シンボ
ル数制御部31に帰還する。符号量/シンボル数制御部
31においては、上記集計結果をもとに、現在符号化中
のフレームに対するの符号量/シンボル数が所定の制約
条件を満たすように、量子化特性を変更する等して、情
報源符号化部3を制御する。特に、シンボル数の制御
は、フレームより細かい小領域単位で行える構成であ
る。併せて、同フレームの符号化終了時には、次フレー
ムに対する符号量/シンボル数の制約条件を求める。通
信手順制御部51は、受信側が備える同機能ブロックと
制御信号を受け渡すことで、画像符号化ビット列の送信
開始条件を整える。図2において、通信手順制御部71
は、例えば、受信側が画像符号化ビット列受信可能にな
るまで画像符号化ビット列送信を禁止するよう制御す
る。フレーム先頭位置検出部72は受信制御部7が受信
した画像符号化ビット列を監視して、同画像符号化ビッ
ト列における先頭位置を伝送路復号制御部86に通知す
る。ところで、画像符号化ビット列から1フレームあた
りの符号語の分離・復号に要する実際の処理時間は、同
フレームの符号量およびシンボル数によって異なるが、
符号化対象画像におけるフレーム間隔を再現するために
は、該処理時間を該符号化対象画像のフレーム周期:T
に補正する必要がある。上記補正のリファレンスとし
て、タイマ87を用いる。例えば、該時間補正の管理を
フレーム単位で行うなら、1フレーム分の符号語の分離
・復号時間がTに満たない場合に該不足時間をタイマ8
7で判別し、その期間中におけるRBF81からの画像
符号化ビット列取り出しを禁止する。ただし、1フレー
ム分の符号語の分離・復号時間は、T以下であることが
前提である。また、以上のようにして分離・復号された
各種の符号化データは、逐次情報源復号部9に送出さ
れ、同機能ブロックにて復号処理される。符号化手段
は、情報源符号化部3と可変長符号変換器41,42,
43とで構成され、送信側記憶手段はTBF45で構成
され、送信制御手段は、送信制御部5と通信手順制御部
とで構成され、受信制御手段は、受信制御部7と通信手
順制御部とで構成され、受信側記憶手段はRBF81で
構成され、復号化手段は情報源復号部9と可変長符号逆
変換器とで構成され、検知手段は符号量/シンボル数計
数部、制御手段は符号量/シンボル数制御部とで構成さ
れている。
路復号部8の動作は従来技術の説明における動作と相違
点のみを以下に説明する。図1において、符号量/シン
ボル数計数部47はシリアル多重器44が出力する画像
符号化ビット列を監視して、符号量およびシンボル数を
リアルタイムで集計して、該集計結果を符号量/シンボ
ル数制御部31に帰還する。符号量/シンボル数制御部
31においては、上記集計結果をもとに、現在符号化中
のフレームに対するの符号量/シンボル数が所定の制約
条件を満たすように、量子化特性を変更する等して、情
報源符号化部3を制御する。特に、シンボル数の制御
は、フレームより細かい小領域単位で行える構成であ
る。併せて、同フレームの符号化終了時には、次フレー
ムに対する符号量/シンボル数の制約条件を求める。通
信手順制御部51は、受信側が備える同機能ブロックと
制御信号を受け渡すことで、画像符号化ビット列の送信
開始条件を整える。図2において、通信手順制御部71
は、例えば、受信側が画像符号化ビット列受信可能にな
るまで画像符号化ビット列送信を禁止するよう制御す
る。フレーム先頭位置検出部72は受信制御部7が受信
した画像符号化ビット列を監視して、同画像符号化ビッ
ト列における先頭位置を伝送路復号制御部86に通知す
る。ところで、画像符号化ビット列から1フレームあた
りの符号語の分離・復号に要する実際の処理時間は、同
フレームの符号量およびシンボル数によって異なるが、
符号化対象画像におけるフレーム間隔を再現するために
は、該処理時間を該符号化対象画像のフレーム周期:T
に補正する必要がある。上記補正のリファレンスとし
て、タイマ87を用いる。例えば、該時間補正の管理を
フレーム単位で行うなら、1フレーム分の符号語の分離
・復号時間がTに満たない場合に該不足時間をタイマ8
7で判別し、その期間中におけるRBF81からの画像
符号化ビット列取り出しを禁止する。ただし、1フレー
ム分の符号語の分離・復号時間は、T以下であることが
前提である。また、以上のようにして分離・復号された
各種の符号化データは、逐次情報源復号部9に送出さ
れ、同機能ブロックにて復号処理される。符号化手段
は、情報源符号化部3と可変長符号変換器41,42,
43とで構成され、送信側記憶手段はTBF45で構成
され、送信制御手段は、送信制御部5と通信手順制御部
とで構成され、受信制御手段は、受信制御部7と通信手
順制御部とで構成され、受信側記憶手段はRBF81で
構成され、復号化手段は情報源復号部9と可変長符号逆
変換器とで構成され、検知手段は符号量/シンボル数計
数部、制御手段は符号量/シンボル数制御部とで構成さ
れている。
【0025】第1の実施例として、画像伝送装置の情報
源符号化部の画像データ処理にて発生する符号化データ
のシンボル数の制約条件を導出し、この制約条件に基づ
いて情報源符号化部の画像データ処理の符号化を制御す
る。伝送路復号部8において、符号語の分離・復号処理
時間の補正を、フレームを均等に”A”分割した小領域
単位で行なうことを想定する。 同小領域あたりの補正目標時間:τ=T/A (T:符号化対象画像のフレーム周期) なお、上記の「”A”分割した小領域」は、受信側にお
ける符号語の分離・復号時間補正の管理単位であり、A
=1のときは、該時間補正の管理をフレーム単位で行う
場合に相当する。ところで、符号語1シンボルあたりの
平均復号時間をtとすると、該小領域あたりに発生する
シンボル数の上限:Smaxについてシンボル数制御部
が演算処理する。 Smax=τ/t =T/(A×t)
(1) シンボル数制御部は符号語の分離・復号処理時間補正の
単位である小領域のフレームあたりの総数と符号化対象
画像のフレーム周期を入力し、上記演算式(1)より、
各小領域あたりに発生するシンボル数をSmax以下に
なるように、情報源符号化部3を制御する。
源符号化部の画像データ処理にて発生する符号化データ
のシンボル数の制約条件を導出し、この制約条件に基づ
いて情報源符号化部の画像データ処理の符号化を制御す
る。伝送路復号部8において、符号語の分離・復号処理
時間の補正を、フレームを均等に”A”分割した小領域
単位で行なうことを想定する。 同小領域あたりの補正目標時間:τ=T/A (T:符号化対象画像のフレーム周期) なお、上記の「”A”分割した小領域」は、受信側にお
ける符号語の分離・復号時間補正の管理単位であり、A
=1のときは、該時間補正の管理をフレーム単位で行う
場合に相当する。ところで、符号語1シンボルあたりの
平均復号時間をtとすると、該小領域あたりに発生する
シンボル数の上限:Smaxについてシンボル数制御部
が演算処理する。 Smax=τ/t =T/(A×t)
(1) シンボル数制御部は符号語の分離・復号処理時間補正の
単位である小領域のフレームあたりの総数と符号化対象
画像のフレーム周期を入力し、上記演算式(1)より、
各小領域あたりに発生するシンボル数をSmax以下に
なるように、情報源符号化部3を制御する。
【0026】次に、第2の実施例としてTBF45の蓄
積容量の変動について考える。ここで、情報源符号化部
3および伝送路符号化部4は符号化対象画像を滞りなく
符号化処理できるものとする。更に、TBF45は符号
化処理の起動以前にフラッシュされ、符号化処理の起動
後から期間:Tのバッファリング遅延を確保した後、固
定ビットレート:Rによる読みだしがスタートする。な
お、Tは符号化対象画像のフレーム周期である。また、
該TBFバッファリング遅延は、符号化処理部におい
て、符号化対象フレームに対する画像符号化ビット列の
発生が同フレーム周期の終了間際に集中する場合を補償
するための遅延である。符号化対象フレームに対する画
像符号化ビット列は、同フレーム周期内でバースト的に
発生する。なお、該画像符号化ビット列が発生する具合
は、画像の特性(絵柄や被写体の動き等)や符号化処理
部の構成によって異なる。図3は、以上を考慮して示し
たTBF蓄積量の時系列変化である(符号化処理起動後
で最初の符号化対象フレームを第1フレームとする)。
図中のハッチング箇所は、TBF蓄積量が取り得る領域
を示す。さて、情報源符号化部の発生符号量に対する制
約条件は、TBF45のオーバーフロー/アンダーフロ
ー防止条件として与えられる。ここで、 ・Ei :第iフレームの符号量(便宜上、E0 =0と
する)(シリアル多重器44から入力) ・Be i:時刻iTにおけるTBF蓄積量(便宜上、B
e 0=RTとする)(TBF45から入力) ・Be max:TBF容量(システム固定のパラメータか
ら算出) とすると、図3よりTBF45のオーバーフロー/アン
ダーフロー防止条件は、 RT≦Be i≦Be max−RT (2) よって、 Be max≧2RT 一方、
積容量の変動について考える。ここで、情報源符号化部
3および伝送路符号化部4は符号化対象画像を滞りなく
符号化処理できるものとする。更に、TBF45は符号
化処理の起動以前にフラッシュされ、符号化処理の起動
後から期間:Tのバッファリング遅延を確保した後、固
定ビットレート:Rによる読みだしがスタートする。な
お、Tは符号化対象画像のフレーム周期である。また、
該TBFバッファリング遅延は、符号化処理部におい
て、符号化対象フレームに対する画像符号化ビット列の
発生が同フレーム周期の終了間際に集中する場合を補償
するための遅延である。符号化対象フレームに対する画
像符号化ビット列は、同フレーム周期内でバースト的に
発生する。なお、該画像符号化ビット列が発生する具合
は、画像の特性(絵柄や被写体の動き等)や符号化処理
部の構成によって異なる。図3は、以上を考慮して示し
たTBF蓄積量の時系列変化である(符号化処理起動後
で最初の符号化対象フレームを第1フレームとする)。
図中のハッチング箇所は、TBF蓄積量が取り得る領域
を示す。さて、情報源符号化部の発生符号量に対する制
約条件は、TBF45のオーバーフロー/アンダーフロ
ー防止条件として与えられる。ここで、 ・Ei :第iフレームの符号量(便宜上、E0 =0と
する)(シリアル多重器44から入力) ・Be i:時刻iTにおけるTBF蓄積量(便宜上、B
e 0=RTとする)(TBF45から入力) ・Be max:TBF容量(システム固定のパラメータか
ら算出) とすると、図3よりTBF45のオーバーフロー/アン
ダーフロー防止条件は、 RT≦Be i≦Be max−RT (2) よって、 Be max≧2RT 一方、
【0027】
【数1】
【0028】(3)式より Ei =Be i−Be i-1+RT (4) (2)式、(4)式より、 2RT−Be i-1 ≦Ei≦Be max−Be i-1 以上より、TBF45のオーバーフロー/アンダーフロ
ー防止のためには、 Be max≧2RT なる設定を行い、 RT≦Be i≦Be max−RT (5) 2RT−Be i-1 ≦Ei≦Be max−Be i-1 (6) なる符号量制御を行う。
ー防止のためには、 Be max≧2RT なる設定を行い、 RT≦Be i≦Be max−RT (5) 2RT−Be i-1 ≦Ei≦Be max−Be i-1 (6) なる符号量制御を行う。
【0029】以下には、画像伝送装置の送信側において
上記のシンボル数制御および符号量制御が行われたとき
の受信側の動作を記載する。ここで、情報源復号部9
は、画像データ1フレームあたりの復号処理を送信側に
おけるフレーム周期:Tにて滞りなく実行することを想
定する。また、RBF81は受信側起動時にフラッシュ
されており、受信制御部7が回線速度に対応した固定ビ
ットレート:Rで出力するビット列を滞りなく蓄積する
一方、所定のバッファリング遅延を確保した後、伝送路
復号制御部86の制御に応じて画像1フレーム分の画像
符号化ビット列を送信側におけるフレーム周期:T以内
に出力するものとする。なお、RBF81からの画像符
号化ビット列の取り出しは、可変長符号逆変換器の構成
に依存して、該フレーム周期:T内でバースト的に行わ
れる。以上の条件下で、RBF81の蓄積容量の変動を
次の3つの場合について考える。
上記のシンボル数制御および符号量制御が行われたとき
の受信側の動作を記載する。ここで、情報源復号部9
は、画像データ1フレームあたりの復号処理を送信側に
おけるフレーム周期:Tにて滞りなく実行することを想
定する。また、RBF81は受信側起動時にフラッシュ
されており、受信制御部7が回線速度に対応した固定ビ
ットレート:Rで出力するビット列を滞りなく蓄積する
一方、所定のバッファリング遅延を確保した後、伝送路
復号制御部86の制御に応じて画像1フレーム分の画像
符号化ビット列を送信側におけるフレーム周期:T以内
に出力するものとする。なお、RBF81からの画像符
号化ビット列の取り出しは、可変長符号逆変換器の構成
に依存して、該フレーム周期:T内でバースト的に行わ
れる。以上の条件下で、RBF81の蓄積容量の変動を
次の3つの場合について考える。
【0030】(第1の条件) まず、第1の条件について説明する。画像伝送装置の送
信側起動前に同受信側が動作可能になる場合を想定す
る。これは、例えば、画像蓄積系メディアの通常再生時
に相当し、画像伝送装置においては、通信手順制御部5
1,71の制御で実現する。なお、画像符号化ビット列
以外のビット列については、受信制御部7がこれを検出
し、廃棄する。さて、RBF81に期間:Lなるバッフ
ァリング遅延を設定したときのRBF蓄積量の時系列変
化を図4に示す(受信側起動後で最初の画像フレームの
復号処理開始可能時刻を0とする)。図中のハッチング
箇所は、RBF蓄積量が取り得る領域を示す。ここで、
RBF81のオーバーフロー/アンダーフロー防止条件
から、バッファリングに関する新たな制約条件を導出す
る。 ・Bd1 k :時刻kTにおけるRBF蓄積量(ここで、B
d1 0 =RLである) ・Bd1 max :RBF容量:システム固定のパラメータ とすると、
信側起動前に同受信側が動作可能になる場合を想定す
る。これは、例えば、画像蓄積系メディアの通常再生時
に相当し、画像伝送装置においては、通信手順制御部5
1,71の制御で実現する。なお、画像符号化ビット列
以外のビット列については、受信制御部7がこれを検出
し、廃棄する。さて、RBF81に期間:Lなるバッフ
ァリング遅延を設定したときのRBF蓄積量の時系列変
化を図4に示す(受信側起動後で最初の画像フレームの
復号処理開始可能時刻を0とする)。図中のハッチング
箇所は、RBF蓄積量が取り得る領域を示す。ここで、
RBF81のオーバーフロー/アンダーフロー防止条件
から、バッファリングに関する新たな制約条件を導出す
る。 ・Bd1 k :時刻kTにおけるRBF蓄積量(ここで、B
d1 0 =RLである) ・Bd1 max :RBF容量:システム固定のパラメータ とすると、
【0031】
【数2】
【0032】(2)式、(7)式より、 R(L+2T)−Be max≦Bd1 k ≦RL (8) 図4より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd1 k ≦Bd1 max −RT (9) (8)式、(9)式より、新たな制約条件は次のとお
り。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (10) ・Bd1 max ≧R(L+T) (11)
ー防止のためには RT≦Bd1 k ≦Bd1 max −RT (9) (8)式、(9)式より、新たな制約条件は次のとお
り。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (10) ・Bd1 max ≧R(L+T) (11)
【0033】(第2の条件) 次に、第2の条件について説明する。画像伝送装置の送
信側起動後に同受信側が動作可能になる場合で、受信開
始直後から最初に検出されるフレーム先頭までの1フレ
ーム分に満たない不完全な画像符号化ビット列をRBF
81の蓄積対象外とする場合を想定する。これは、通常
の画像伝送装置において散見される状況への対処例であ
り、復号対象の画像符号化ビット列のみをRBF81に
蓄積することで、トータルのバッファリング遅延縮小を
図るものである。不完全フレームの画像符号化ビット列
廃棄にあたっては、画像符号化ビット列におけるフレー
ム先頭位置をフレーム先頭位置検出部72にて検知し、
結果を伝送路復号制御部86に通知して廃棄対象ビット
列を識別する。また、画像符号化ビット列以外のビット
列は、受信制御部7が廃棄する。さて、RBF81に期
間:Lなるバッファリング遅延を設定したときのRBF
蓄積量の時系列変化を図5に示す(受信側起動後で最初
の画像フレームの復号処理開始可能時刻を0とし、送信
側における同フレームのシリアルナンバをc+1とす
る)。図中のハッチング箇所は、RBF蓄積量が取り得
る領域を示す。ここで、RBF81のオーバーフロー/
アンダーフロー防止条件から、バッファリングに関する
新たな制約条件を導出する。 ・Bd2 n :時刻n TにおけるRBF蓄積量(ここで、B
d2 0 =RLである) ・Bd2 max :RBF容量:システム固定のパラメータ とすると、
信側起動後に同受信側が動作可能になる場合で、受信開
始直後から最初に検出されるフレーム先頭までの1フレ
ーム分に満たない不完全な画像符号化ビット列をRBF
81の蓄積対象外とする場合を想定する。これは、通常
の画像伝送装置において散見される状況への対処例であ
り、復号対象の画像符号化ビット列のみをRBF81に
蓄積することで、トータルのバッファリング遅延縮小を
図るものである。不完全フレームの画像符号化ビット列
廃棄にあたっては、画像符号化ビット列におけるフレー
ム先頭位置をフレーム先頭位置検出部72にて検知し、
結果を伝送路復号制御部86に通知して廃棄対象ビット
列を識別する。また、画像符号化ビット列以外のビット
列は、受信制御部7が廃棄する。さて、RBF81に期
間:Lなるバッファリング遅延を設定したときのRBF
蓄積量の時系列変化を図5に示す(受信側起動後で最初
の画像フレームの復号処理開始可能時刻を0とし、送信
側における同フレームのシリアルナンバをc+1とす
る)。図中のハッチング箇所は、RBF蓄積量が取り得
る領域を示す。ここで、RBF81のオーバーフロー/
アンダーフロー防止条件から、バッファリングに関する
新たな制約条件を導出する。 ・Bd2 n :時刻n TにおけるRBF蓄積量(ここで、B
d2 0 =RLである) ・Bd2 max :RBF容量:システム固定のパラメータ とすると、
【0034】
【数3】
【0035】(2)式、(12)式より、 R(L+T)+Be c−Be max≦Bd2 n ≦R(L−T)+Be c すなわち、 R(L+2T)−Be max≦Bd2 n≦R(L−2T)+Be max (13) 図5より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd2 n ≦Bd2 max −RT (14) (13)式、(14)式より、新たな制約条件は次のと
おり。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (15) ・Bd2 max ≧R(L−T)+Be max (16) なお、上記の制約条件は、画像符号化応用機器受信側が
同送信側起動前に動作可能となるときについても有効で
ある。
ー防止のためには RT≦Bd2 n ≦Bd2 max −RT (14) (13)式、(14)式より、新たな制約条件は次のと
おり。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (15) ・Bd2 max ≧R(L−T)+Be max (16) なお、上記の制約条件は、画像符号化応用機器受信側が
同送信側起動前に動作可能となるときについても有効で
ある。
【0036】(第3の条件) 更に、第3の条件について説明する。画像伝送装置の送
信側起動後に同受信側が動作可能になる場合で、受信す
るすべての画像符号化ビット列をRBF81の蓄積対象
とする場合を想定する。これは先の説明と同様に、通常
の画像伝送装置において散見される状況への対処例であ
り、受信するすべての画像符号化ビット列をRBF81
に蓄積することで、RBF81の制御を簡略化するもの
である。なお、不完全フレームの画像符号化ビット列
は、符号語分離器82がRBF81をアクセスする際に
即座に廃棄する。また、画像符号化ビット列以外のビッ
ト列は、受信制御部7が廃棄する。さて、RBF81に
期間:Xなるバッファリング遅延を設定したときのRB
F蓄積量の時系列変化を図6に示す(受信側起動後で最
初の完全な画像フレームの復号処理開始可能時刻を0と
し、送信側における同フレームのシリアルナンバをc+
1とする)。図中のハッチング箇所は、RBF蓄積量が
取り得る領域を示す。ここで、RBF81のオーバーフ
ロー/アンダーフロー防止条件から、バッファリングに
関する新たな制約条件を導出する。 ・Ec pt :廃棄すべき不完全フレーム(送信側における
第cフレーム)符号量 ・Bd3 m :時刻mTにおけるRBF蓄積量(ここで、B
d3 0 =RXである) ・Bd3 max :RBF容量:システム固定のパラメータ とすると、
信側起動後に同受信側が動作可能になる場合で、受信す
るすべての画像符号化ビット列をRBF81の蓄積対象
とする場合を想定する。これは先の説明と同様に、通常
の画像伝送装置において散見される状況への対処例であ
り、受信するすべての画像符号化ビット列をRBF81
に蓄積することで、RBF81の制御を簡略化するもの
である。なお、不完全フレームの画像符号化ビット列
は、符号語分離器82がRBF81をアクセスする際に
即座に廃棄する。また、画像符号化ビット列以外のビッ
ト列は、受信制御部7が廃棄する。さて、RBF81に
期間:Xなるバッファリング遅延を設定したときのRB
F蓄積量の時系列変化を図6に示す(受信側起動後で最
初の完全な画像フレームの復号処理開始可能時刻を0と
し、送信側における同フレームのシリアルナンバをc+
1とする)。図中のハッチング箇所は、RBF蓄積量が
取り得る領域を示す。ここで、RBF81のオーバーフ
ロー/アンダーフロー防止条件から、バッファリングに
関する新たな制約条件を導出する。 ・Ec pt :廃棄すべき不完全フレーム(送信側における
第cフレーム)符号量 ・Bd3 m :時刻mTにおけるRBF蓄積量(ここで、B
d3 0 =RXである) ・Bd3 max :RBF容量:システム固定のパラメータ とすると、
【0037】
【数4】
【0038】ここで、(2)式および(4)式より、 0<(Bc −Ec pt )<Be max−RT (18) (2)式および(17)式、(18)式より R(X+T)−Ec pt +Be c−Be max≦Bd3 m≦R(X−T)+Be c−Ec pt すなわち、 R(L+X)+Be max<Bd3 m<R(X−2T)+Be max (19) 図6より、RBF81のオーバーフロー/アンダーフロ
ー防止のためには RT≦Bd3 m ≦Bd3 max −RT (20) (19)式、(20)式より、 ・2RT≦Be max≦RX (ただし、X≧2Tである) (21) ・Bd3 max ≧R(X−T)+Be max (22) ところで、X=L+Tとして、上記結果を整理すると、
新たな制約条件は次のとおり。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (23) ・Bd3 max≧RL+Be max (24) ・RBFバッファリング遅延:(L+T) なお、上記の制約条件は、画像符号化応用機器受信側が
同送信側起動前に動作可能となるときについても有効で
ある。同様に、画像符号化応用機器受信側が同送信側起
動後に動作可能となり、かつ不完全フレームの画像符号
化ビット列をRBFの蓄積対象外とするときについても
上記の制約条件はあてはまる。
ー防止のためには RT≦Bd3 m ≦Bd3 max −RT (20) (19)式、(20)式より、 ・2RT≦Be max≦RX (ただし、X≧2Tである) (21) ・Bd3 max ≧R(X−T)+Be max (22) ところで、X=L+Tとして、上記結果を整理すると、
新たな制約条件は次のとおり。 ・2RT≦Be max≦R(L+T)(ただし、L≧Tである) (23) ・Bd3 max≧RL+Be max (24) ・RBFバッファリング遅延:(L+T) なお、上記の制約条件は、画像符号化応用機器受信側が
同送信側起動前に動作可能となるときについても有効で
ある。同様に、画像符号化応用機器受信側が同送信側起
動後に動作可能となり、かつ不完全フレームの画像符号
化ビット列をRBFの蓄積対象外とするときについても
上記の制約条件はあてはまる。
【0039】以上のように、この発明は画像符号化応用
機器復号側において、フレームを均等に”A”分割して
得られるA個の小領域毎に符号語の分離・復号時間が均
一になるよう補正し、送信側においては、該A個の小領
域あたりに発生するシンボル数:Smaxに以下の式
(1)の制約を与えることで、1フレーム分の符号語の
分離・復号時間が一定値:Tになる保証が得られるの
で、駒落としのない画像符号化データ伝送を小容量のバ
ッファで実現できる。 Smax≦T/(A×t) (1) (ただし、T:符号化対象画像データのフレーム周期 t:符号語1シンボルあたりの平均復号時間)
機器復号側において、フレームを均等に”A”分割して
得られるA個の小領域毎に符号語の分離・復号時間が均
一になるよう補正し、送信側においては、該A個の小領
域あたりに発生するシンボル数:Smaxに以下の式
(1)の制約を与えることで、1フレーム分の符号語の
分離・復号時間が一定値:Tになる保証が得られるの
で、駒落としのない画像符号化データ伝送を小容量のバ
ッファで実現できる。 Smax≦T/(A×t) (1) (ただし、T:符号化対象画像データのフレーム周期 t:符号語1シンボルあたりの平均復号時間)
【0040】また、画像符号化応用機器送信側におい
て、画像1フレームあたりの符号量に以下の式(5),
(6)の制約を与えることで、TBFにオーバーフロー
/アンダーフローが発生せず、システムの動作破綻や伝
送効率低下を防止できる。 Be max≧2RT RT≦Be i≦Be max−RT (5) 2RT−Be i-1≦Ei ≦Be max−Be i-1 (6) (ただし、T:符号化対象画像データのフレーム周期 R:回線速度に対応した固定ビットレート Ei :i番目のフレームに対する発生符号量 Be i:同フレーム符号化終了時におけるTBF蓄積量 Be max:TBF容量)
て、画像1フレームあたりの符号量に以下の式(5),
(6)の制約を与えることで、TBFにオーバーフロー
/アンダーフローが発生せず、システムの動作破綻や伝
送効率低下を防止できる。 Be max≧2RT RT≦Be i≦Be max−RT (5) 2RT−Be i-1≦Ei ≦Be max−Be i-1 (6) (ただし、T:符号化対象画像データのフレーム周期 R:回線速度に対応した固定ビットレート Ei :i番目のフレームに対する発生符号量 Be i:同フレーム符号化終了時におけるTBF蓄積量 Be max:TBF容量)
【0041】また、画像符号化応用機器受信側が同送信
側起動前に動作可能となるとき、TBFおよびRBFの
バッファリング遅延をそれぞれTおよびLとして、TB
F容量とRBF容量の各々に以下の式(10),(1
1)の制約を与えることで、一定フレームレートの画像
符号化データ伝送を、システムの動作破綻や伝送効率低
下を起こすことなく実現できる。 2RT≦Be max≦R(L+T) (10) Bd1 max ≧R(L+T) (11) (ただし、L≧T Be max:TBF容量 Bd1 max :RBF容量)
側起動前に動作可能となるとき、TBFおよびRBFの
バッファリング遅延をそれぞれTおよびLとして、TB
F容量とRBF容量の各々に以下の式(10),(1
1)の制約を与えることで、一定フレームレートの画像
符号化データ伝送を、システムの動作破綻や伝送効率低
下を起こすことなく実現できる。 2RT≦Be max≦R(L+T) (10) Bd1 max ≧R(L+T) (11) (ただし、L≧T Be max:TBF容量 Bd1 max :RBF容量)
【0042】また、画像符号化応用機器受信側が同送信
側起動後に動作可能となり、かつ不完全フレームの画像
符号化ビット列をRBFの蓄積対象外とするとき、TB
FおよびRBFのバッファリング遅延をそれぞれTおよ
びLとして、TBF容量とRBF容量の各々に以下の制
約を与えることで、一定フレームレートの画像符号化デ
ータ伝送を、システムの動作破綻や伝送効率低下を起こ
すことなく実現できる。なお、以下の式(15),(1
6)の制約条件は、画像符号化応用機器受信側が同送信
側起動前に動作可能となるときについても有効である。 2RT≦Be max≦R(L+T) (15) Bd2 max ≧R(L−T)+Be max (16) (ただし、L≧T Be max:TBF容量 Bd2 max :RBF容量)
側起動後に動作可能となり、かつ不完全フレームの画像
符号化ビット列をRBFの蓄積対象外とするとき、TB
FおよびRBFのバッファリング遅延をそれぞれTおよ
びLとして、TBF容量とRBF容量の各々に以下の制
約を与えることで、一定フレームレートの画像符号化デ
ータ伝送を、システムの動作破綻や伝送効率低下を起こ
すことなく実現できる。なお、以下の式(15),(1
6)の制約条件は、画像符号化応用機器受信側が同送信
側起動前に動作可能となるときについても有効である。 2RT≦Be max≦R(L+T) (15) Bd2 max ≧R(L−T)+Be max (16) (ただし、L≧T Be max:TBF容量 Bd2 max :RBF容量)
【0043】更にまた、画像符号化応用機器受信側が同
送信側起動後に動作可能となり、受信するすべての画像
符号化ビット列をRBFの蓄積対象とするとき、TBF
およびRBFのバッファリング遅延をそれぞれTおよび
L+Tとして、TBF容量とRBF容量の各々に以下の
制約を与えることで、一定フレームレートの画像符号化
データ伝送を、システムの動作破綻や伝送効率低下を起
こすことなく実現できる。なお、以下の制約条件は、画
像符号化応用機器受信側が同送信側起動前に動作可能と
なるときについても有効である。同様に、画像符号化応
用機器受信側が同送信側起動後に動作可能となり、かつ
不完全フレームの画像符号化ビット列をRBFの蓄積対
象外とするときについても以下の式(23),(24)
の制約条件はあてはまる。 2RT≦Be max≦R(L+T) (23) Bd3 max≧RL+Be max (24) (ただし、L≧T Be max:TBF容量 Bd3 max :RBF容量)
送信側起動後に動作可能となり、受信するすべての画像
符号化ビット列をRBFの蓄積対象とするとき、TBF
およびRBFのバッファリング遅延をそれぞれTおよび
L+Tとして、TBF容量とRBF容量の各々に以下の
制約を与えることで、一定フレームレートの画像符号化
データ伝送を、システムの動作破綻や伝送効率低下を起
こすことなく実現できる。なお、以下の制約条件は、画
像符号化応用機器受信側が同送信側起動前に動作可能と
なるときについても有効である。同様に、画像符号化応
用機器受信側が同送信側起動後に動作可能となり、かつ
不完全フレームの画像符号化ビット列をRBFの蓄積対
象外とするときについても以下の式(23),(24)
の制約条件はあてはまる。 2RT≦Be max≦R(L+T) (23) Bd3 max≧RL+Be max (24) (ただし、L≧T Be max:TBF容量 Bd3 max :RBF容量)
【0044】
【発明の効果】以上のようにこの発明は符号化手段で符
号化されたデータに関する情報を検知して、この検知結
果に基づいて符号化手段の符号化処理を制御することに
より、高効率伝送が可能になる。
号化されたデータに関する情報を検知して、この検知結
果に基づいて符号化手段の符号化処理を制御することに
より、高効率伝送が可能になる。
【図1】本発明を用いた画像伝送装置における伝送路符
号化部周辺の機能ブロック図。
号化部周辺の機能ブロック図。
【図2】本発明を用いた画像伝送装置における伝送路復
号部周辺の機能ブロック図。
号部周辺の機能ブロック図。
【図3】本発明にかかるTBF蓄積容量の時系列変化を
示す図。
示す図。
【図4】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動前に動作
可能となるときについて示す図。
を、画像符号化応用機器受信側が同送信側起動前に動作
可能となるときについて示す図。
【図5】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動後に動作
可能となり、かつ不完全フレームの画像符号化ビット列
をRBFの蓄積対象外とするときについて示す図。
を、画像符号化応用機器受信側が同送信側起動後に動作
可能となり、かつ不完全フレームの画像符号化ビット列
をRBFの蓄積対象外とするときについて示す図。
【図6】本発明にかかるRBF蓄積容量の時系列変化
を、画像符号化応用機器受信側が同送信側起動後に動作
可能となり、受信するすべての画像符号化ビット列をR
BFの蓄積対象とするときについて示す図。
を、画像符号化応用機器受信側が同送信側起動後に動作
可能となり、受信するすべての画像符号化ビット列をR
BFの蓄積対象とするときについて示す図。
【図7】従来の画像伝送装置における伝送路符号化部周
辺の機能ブロック図。
辺の機能ブロック図。
【図8】従来の画像伝送装置における伝送路復号部周辺
の機能ブロック図。
の機能ブロック図。
【図9】一般的な画像伝送装置の機能ブロック図。
3 情報源符号化部 4 伝送路符号化部 5 送信制御部 7 受信制御部 8 伝送路復号部 9 情報源復号部 31 符号量/シンボル数制御部 41 可変長符号変換器 42 可変長符号変換器 43 可変長符号変換器 44 シリアル多重器 45 TBF 46 伝送路符号化制御部 47 符号量/シンボル数計数部 51 通信手順制御部 71 通信手順制御部 72 フレーム先頭位置検出部 81 RBF 82 符号語分離器 83 可変長符号逆変換器 84 可変長符号逆変換器 85 可変長符号逆変換器 86 伝送路復号制御部 87 タイマ なお、図中同一符号は、同一または相当部分を示す。
フロントページの続き (72)発明者 岡田 信一 鎌倉市大船五丁目1番1号 三菱電機株 式会社 通信システム研究所内 (56)参考文献 特開 平3−148981(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 G06T 9/00 H03M 7/30
Claims (5)
- 【請求項1】 送信側では複数フレームからなる画像デ
ータを符号化して複数の符号語からなる符号化ビット列
を生成し、生成した符号化ビット列をいったん送信側バ
ッファに格納してから受信側へ送信し、受信側ではその
符号化ビット列を受信して受信側バッファに格納してか
ら復号する際の上記送信側における画像符号化制御方式
であって、 上記受信側における1符号語当たりの平均復号時間を
t、上記送信側バッファのバッファリング遅延時間を符
号化対象画像データのフレーム周期T、1フレームを小
領域に分割した場合における1フレームあたりの小領域
の総数をAとした場合、上記小領域単位で生成される最
大符号語数Smaxが、 Smax≦T/(A×t) となるように上記送信側における符号化の際の符号語数
を制御することを特徴とする画像符号化制御方式。 - 【請求項2】 送信側では複数フレームからなる画像デ
ータを符号化して複数の符号語からなる符号化ビット列
を生成し、生成した符号化ビット列をいったん送信側バ
ッファに格納してから受信側へ送信し、受信側ではその
符号化ビット列を受信して受信側バッファに格納してか
ら復号する際の上記送信側における画像符号化制御方式
であって、 上記送信側バッファのバッファリング遅延時
間を符号化対象画像データのフレ ーム周期T、上記送信側バッファから符号化ビット列を
出力する際の出力速度をR、上記送信側の起動後i番目
のフレームの発生符号量をE i 、とした場合、上記送信
側バッファの最大蓄積容量B e max を、 B e max ≧2RT に設定し、 上記送信側バッファの蓄積量B e i 、および上記i番目の
フレームに対する発生符号量E i が、それぞれ、 RT≦B e i ≦B e max −RT 2RT−B e i-1 ≦E i ≦B e max −B e i-1 となるように上記送信側における符号化の際のフレーム
毎の発生符号量を制御す ることを特徴とする画像符号化
制御方式。 - 【請求項3】 送信側の起動より前に、受信側が動作す
る場合、上記受信側が符号化ビット列を受信するビット
レートをR、上記送信側バッファのバッファリング遅延
時間を符号化対象画像データのフレーム周期T、上記受
信側バッファのバッファリング遅延時間をL、として、
上記送信側バッファの最大容量B e max と、上記受信側バ
ッファの最大容量B d max とを、それぞれ、 2RT≦B e max ≦R(L+T) B d max x≧R(L+T) に設定することを特徴とする請求項1または請求項2記
載の画像符号化制御方式。 - 【請求項4】 送信側の起動後に、受信側が動作して、
受信開始直後から最初に検出されるフレーム先頭位置ま
での1フレーム分に満たない不完全符号化ビット列を廃
棄して、当該フレーム先頭位置からの符号化ビット列を
受信バッファが蓄積する場合、上記受信側が符号化ビッ
ト列を受信するビットレートをR、上記送信側バッファ
のバッファリング遅延時間を符号化対象画像データのフ
レーム周期T、上記受信側バッファのバッファリング遅
延時間をL、として、上記送信側バッファの最大容量B
e max と、上記受信側バッファの最大容量B d max とを、そ
れぞれ、 2RT≦B e max ≦R(L+T) B d max ≧R(L−T)+B e max に設定することを特徴とする請求項1または請求項2記
載の画像符号化制御方式。 - 【請求項5】 送信側の起動後に、上記受信側が動作し
て、上記受信側バッファが受信したすべての画像符号化
ビット列をいったん蓄積する場合には、上記受信側が符
号化ビット列を受信するビットレートをR、上記送信側
バッファのバッファリング遅延時間を符号化対象画像デ
ータのフレーム周期T、上記受信側バッファのバッファ
リング遅延時間を(L+T)、として、上記送信側バッ
ファの最大容量B e max と、上記受信側バッファの最大容
量B d max とを、それぞれ、 2RT≦B e max ≦R(L+T) B d max ≧RL+B e max に設定することを特徴とする請求項1または請求項2記
載の画像符号化制御方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22016292A JP3024380B2 (ja) | 1992-08-19 | 1992-08-19 | 画像符号化制御方式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22016292A JP3024380B2 (ja) | 1992-08-19 | 1992-08-19 | 画像符号化制御方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0670300A JPH0670300A (ja) | 1994-03-11 |
JP3024380B2 true JP3024380B2 (ja) | 2000-03-21 |
Family
ID=16746861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22016292A Expired - Fee Related JP3024380B2 (ja) | 1992-08-19 | 1992-08-19 | 画像符号化制御方式 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3024380B2 (ja) |
-
1992
- 1992-08-19 JP JP22016292A patent/JP3024380B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0670300A (ja) | 1994-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2986039B2 (ja) | 多重チャネル画像圧縮システム用の統計的マルチプレクサ | |
US7865024B2 (en) | Encoding apparatus, video camera | |
US5809041A (en) | Image processing apparatus and method for concealing errors by replacing only part of a block | |
US5818537A (en) | Image processing method and apparatus for converting between data coded in different formats | |
US6226328B1 (en) | Transcoding apparatus for digital video networking | |
JP3762392B2 (ja) | 動画像符号化方法及び装置 | |
CA2108338A1 (en) | Adaptive Video Encoder for Two-Layer Encoding of Video Signals on ATM (Asynchronous Transfer Mode) Networks | |
US6215824B1 (en) | Transcoding method for digital video networking | |
EP0920214B1 (en) | Apparatus and method of coding/decoding moving picture | |
US6091455A (en) | Statistical multiplexer for recording video | |
JP3244399B2 (ja) | 圧縮動画像符号信号の情報量変換回路、及び方法 | |
US5333137A (en) | Coding system having data controlling mechanism activated when error is detected | |
EP0708566A2 (en) | Method for controlling a video data encoder buffer | |
JP3418485B2 (ja) | 画像データ蓄積装置 | |
JP2000511722A (ja) | 信号のビットレートの変更に関する改良 | |
JP3024380B2 (ja) | 画像符号化制御方式 | |
JPH0823539A (ja) | 高能率符号化におけるトランスコーダ装置 | |
JPH08191434A (ja) | 動画/音声符号化データ多重化方法及び動画/音声符号化データ多重化装置 | |
JP2936627B2 (ja) | 廃築補償機能を備えた画像復号化方式 | |
EP1571769B1 (en) | Encoding/transmission device and encoding/transmission method | |
JPH0289472A (ja) | 画像符号化伝送装置 | |
KR100216776B1 (ko) | 화상회의시스템에서 비디오 디코딩 장치 | |
JP2777523B2 (ja) | 通信端末装置 | |
JP2002368824A (ja) | パケット信号伝送システム、パケット信号送信端末及びパケット信号受信端末 | |
JPH1093977A (ja) | 画像信号処理装置とその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080121 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |