JPH03250884A - 画像データ符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 以下の順序で本発明を説明する。

Ａ産業上の利用分野 Ｂ発明の概要 Ｃ従来の技術（第８図〜第１０図） Ｄ発明が解決しようとする課題 Ｅ１ｍ！Ｎを解決するための手段（第１図及び第６図）
Ｆ作用（第１図及び第６図） Ｇ実施例 （Ｇ１）画像情報伝送システムの全体構成（第１図〜第
５図） （Ｇ２）実施例による駒落し処理（第１図、第４図、第
５図、第６図及び第７図） （Ｇ３）他の実施例 Ｈ発明の効果 Ａ産業上の利用分野 本発明は映像信号符号化装置に関し、例えば映像信号を
高能率符号化データに変換して伝送する場合に適用して
好適なものである。

Ｂ発明の概要 本発明は、映像信号符号化装置において、伝送バッファ
メモリのデータ残量に応じて駒落し処理を実行する際に
、駒落し処理を開始するデータ残量値に対して駒落し処
理を終了するデータ残量値を小さなレベルに設定するこ
とにより、伝送画像の動きを視覚上一段と滑らかにし得
る。

Ｃ従来の技術 従来、テレビ電話システム、会議電話システムにおいて
、動画映像でなる映像信号をフレーム内符号化データ及
びフレーム間符号化データに高能率符号化することによ
り、伝送容量に比較的厳しい制限がある伝送路を通じて
動画映像信号を伝送する映像信号伝送システムが提案さ
れている（特開昭６３−１１８３号公報）。

すなわち、例えば第８図（Ａ）に示すように、時点Ｌ−
Ｌ＋　、Ｌｘ　、ｊｓ・・・・・・において動画を構成
する各画像ＰＣＩ、ＰＯ２、ＰＯ３・・・・・・を伝送
しようとする場合、映像信号には時間の経過に従つて自
己相関が大きい特徴がある点を利用して伝送処理すべき
画像データを圧縮処理することにより伝送効率を高める
ような処理をするもので、フレーム内符号化処理は画像
ＰＣＩ、ＰＯ２、ＰＯ３・・・・・・を例えば画素デー
タを所定の基準値と比較して差分を求めるような圧縮処
理を実行し、かくして各画像ＰＣＩ、ＰＯ２、ＰＯ３・
・・・・・について同一フレーム内における画素データ
間の自己相関を利用して圧縮されたデータ量の画像デー
タを伝送する。

またフレーム間符号化処理は、第８図（Ｂ）に示すよう
に、順次隣合う画像ＰＣＩ及びＰＯ２、ＰＯ２及びＰＯ
３・・・・・・間の画素データの差分でなる画像データ
ＰＣ１２、ＰＯ２３・・・・・・を求め、これを時点１
−１＋における初期画像ＰＣＩについてフレーム内符号
化処理された画像データと共に伝送する。

かくして画像ＰＣＩ、ＰＯ２、ＰＯ３・・・・・・をそ
のすべての画像データを伝送する場合と比較して格段的
にデータ量が少ないディジタルデータに高能率符号化し
て伝送路に送出することができる。

かかる映像信号の符号化処理は、第１１図に示す構成の
画像データ発生装置１において実行される。

画像データ発生装置１は入力映像信号ＶＤを前処理回路
２において処理することにより片フィールド落し処理及
び片フィールドライン間引き処理等の処理をした後、輝
度信号及びクロマ信号を１６画素（水平方間に）Ｘ１６
１ｉ素（垂直方向に）分のデータでなる伝送単位ブロッ
ク（これをマクロブロックと呼ぶ）データ３１１に変換
して画像データ符号化回路３に供給する。

画像データ符号化回路３は予測符号化回路４において形
成される予測現フレームデータＳ１２を受けてマクロブ
ロックデータ３１１との差分を求めることによってフレ
ーム間符号化データを発生しくこれをフレーム間符号化
モードと呼ぶ）、又はマクロブロックデータ３１１と基
準値データとの差分を求めることによりフレーム内符号
化データを形成してこれを差分データＳ１３として変換
符号化回路５に供給する。

変換符号化回路５はディスクリートコサイン変換回路で
構成され、差分データＳ１３を直交変換することによっ
て高能率符号化してなる変換符号化データＳ１４を量子
化回路６に与えることシこより量子化画像データＳ１５
を送出させる。

かくして量子化回路６から得られる量子化画像データＳ
１５は可変長符号化回路を含んでなる再変換符号化回路
７において再度高能率符号化処理された後、伝送画像デ
ータ３１６として伝送バッファメモリ８に供給される。

これに加えて量子化画像データＳ１５は予測符号化回路
４において逆量子化、逆変換符号化処理されることより
差分データに復号化された後予測前フレームデータを差
分データによって修正演Ｉすることにより新たな予測前
フレームデータを保存すると共に、マクロブロックデー
タＳｌｌに基づいて形成される動き検出データによって
予測符号化回路４に保存されている予測前フレームデー
タを動き補償することにより予測現フレームデー夕を形
成して画像データ符号化回路３に供給できるようになさ
れ、これにより現在伝送しようとするフレーム（すなわ
ち現フレーム）のマクロブロックデータ３１１と予測現
フレームデータ３１２との差分を差分データＳ１３とし
て得るようになされている。

第９図の構成において、第８図について上述した動画像
を伝送する場合、先ず第８図（Ａ）の時点ｔ１において
画像ＰＣＩの画像データがマクロブロックデータＳｌｌ
として与えられたとき、画像データ符号化回路３はフレ
ーム内符号化モードになってこれをフレーム内符号化処
理された差分データ３１３として変換符号化回路５に供
給し、これにより量子化回路６、再変換符号化回路７を
介して伝送バッファメモリ８に伝送画像データＳ１６を
供給する。

これと共に、量子化回路６の出力端に得られる量子化画
像データ３１５が予測符号化回路４において予測符号化
処理されることにより、伝送バッファメモリ８に送出さ
れた伝送画像データＳ１６を表す予測前フレームデータ
が前フレームメモリに保持され、続いて時点ｔ＝におい
て画像ＰＣ２を表すマクロブロックデータＳｌｌが画像
データ符号化回路３に供給されたとき、予測現フレーム
データ３１２に動き補償されて画像データ符号化回路３
に供給される。

かくして時点ｔ　””　Ｔ、　ｚにおいて画像データ符
号化回路３はフレーム間符号化処理された差分データＳ
１３を変換符号化回路５に供給し、これにより当該フレ
ーム間の画像の変化を表す差分データが伝送画像データ
Ｓ１６として伝送バッファメモリ８に供給されると共に
、その量子化画像データ３１５が予測符号化回路４に供
給されることにより予測符号化回路４において予測前フ
レームデータが形成、保存される。

以下同様の動作が繰り返されることにより、画像データ
符号化回路３がフレーム間符号化処理を実行している間
、前フレームと現フレームとの間の画像の変化を表す差
分データだけが伝送バッファメモリ８に順次送出される
ことになる。

伝送バッファメモリ８はこのようにして送出されて来る
伝送画像データ３１６を溜めておき、伝送路９の伝送容
量によって決まる所定のデータ伝送速度で、溜めた伝送
画像データ５１６を順次伝送データＤア□。とじて引き
出して伝送路９に伝送して行く。

これと同時に伝送バッファメモリ８は残留しているデー
タ量を検出して当該残留データ量に応じて変化する残量
データ５１７を量子化回路６にフィードバックして残量
データＳ１７に応じて量子化ステップサイズを制御する
ことにより、伝送画像データ３１６として発生されるデ
ータ量を調整することにより伝送バッファメモリ８内に
適正な残量（オーバーフロー又はアンダーフローを生じ
させないようなデータ量）のデータを維持できるように
なされている。

因に伝送バッファメモリ８のデータ残量が許容上限にま
で増量して来たとき、残量データＳ１７によつｔ量子化
回路６の量子化ステップ５ＴＰＳ（第１Ｏ図）のステッ
プサイズを大きくすることにより、量子化回路６におい
て粗い量子化を実行させることにより伝送画像データＳ
１６のデータ量を低下させる。

これとは逆に伝送バッファメモリ８のデータ残量が許容
下限値まで減量して来たとき、残量データＳ１７は量子
化回路６の量子化ステップ５ＴＰＳのステップサイズを
小さい値になるように制御し、これにより量子化回路６
において細かい量子化を実行させるようにすることによ
り伝送画像データ３１６のデータ発生量を増大させる。

Ｄ発明が解決しようとする課題 ところでかかる構成の画像データ発生装置１においては
、伝送しようとする動画像が動きの激しい画像であった
り、例えばシーンチェンジ等のように画像の内容が大き
く変化する場合においては、符号化された伝送データの
発生量が増加することによって伝送バッファメモリがオ
ーバーフローする問題があった。

この問題を解決するための一つの方法として伝送データ
の発生量が増加した際に、続（フレームを符号化処理し
ないようにして、駒落しする方法が考えられている。

ところが動きの激しい画像を比較的長時間伝送するよう
な場合においては、この間伝送データの発生量が増加し
続けることによって駒落しが頻繁に繰り返され、再現さ
れた動画像の動きの滑らかさが視覚工夫われる問題があ
り、動画像を伝送するうえで未だ不十分であった。

本発明は以上の点を考慮してなされたもので、動画像の
動きを視覚上できるだけ滑らかにしながら駒落しするよ
うになされた映像信号符号化装置を提案しようとするも
のである。

Ｅ！Ｉ！！Ｉを解決するための手段 かかる課題を解決するため本発明においては、伝送バッ
ファ回路３２を有し、当該伝送バッファ回路３２に高能
率符号化処理されてなる伝送画像データ３４０を一旦格
納し、伝送路４３のデータ伝送容量に基づいて格納され
た伝送画像データＳ４０を伝送路４３に順次出力する映
像信号符号化装置（２１）において、伝送バッファ回路
３２のデータ残量値Ｂｕｆｆｅｒが所定の上限値（ＱＮ
Ｔ　＝３１）を越えた際に、伝送画像データＳ４０の駒
落し処理を実行し、伝送バッファ回路３２のデータ残量
値Ｂｕｆｆｅｒが上限ｆｌｉ　（ＱＮＴ　＝３１）より
も少ない所定の目標値レベルＭＣ（ＱＮＴ　＝　１　）
まで減少した際に、駒落し処理を終了するようにする。

Ｆ作用 伝送バッファ回路３２のデータ残量値Ｂｕｆｆｅｒが上
限値（ＱＮＴ　＝３１）を越えたとき駒落し処理の実行
待を指定した後、データ残量値Ｂｕｆｆｅｒが上限値（
ＱＮＴ−３１）よりも小さな目標値ＭＧ　（ＱＮＴ　＝
　１）を下回ったとき駒落し処理の終了を指定すること
により、駒落し処理が終了した後にデータ残量値Ｂｕｆ
ｆｅｒが急激に増加する場合においても、駒落し処理が
直ちに再開されることを回避し得ると共に、駒落し処理
が終了した後にデータ発生量が減少した際にデータ残量
Ｂｕｆｆｅｒをすみやかに目標値ＭＣ（ＱＮＴ　−１）
に収束されることができる。

かくするにつき出力画像の動きを視覚上滑らかにし得る
と共に、両賞の劣化を回避できる。

Ｃ実施例 以下図面について、本発明の一実施例を詳述する。

（Ｇ１）画像情報伝送システムの全体構成第１図及び第
２図において画像情報伝送システム２１はエンコーダ２
１Ａ及びデコーダ２１Ｂによって構成され、エンコーダ
２１Ａは、入力映像信号ＶＤ＋Ｎを入力回路部２２にお
いて前処理した後、アナログ／ディジタル変換回路２３
において１６　Ｘ　１６画素分の画素データでなる伝送
単位ブロックデータ、すなわちマクロブロックＭＢの画
素データでなる入力画像データＳ２１を画素データ処理
系ＳＹＭＩに送り込むと共に、当該画素データ処理系Ｓ
ＹＭＩの各処理段においてマクロブロックＭＢを単位と
して画素データが処理されるタイミングにおいて当該処
理されるデータに対応する処理情報データがへラダデー
タ処理系ＳＹＭ２を介して順次伝送されて行くようにな
され、かくして画素データ及びヘッダデータがそれぞれ
画素データ処理系ＳＹＭＩ及びヘッダデータ処理系ＳＹ
Ｍ２においてパイプライン方式によって処理されて行く
。

この実施例の場合、入力画像データ３２１として順次送
出されて来るマクロブロックデータは、第３図に示すよ
うな手法でフレーム画像データＦＲＭから抽出される。

先ず１枚のフレーム画像データＦＲＭは第３図（Ａ）に
示すように２個（水平方向に）×６個（垂直方向に）の
ブロックグループＣＯＢに分割され、各ブロックグルー
プＧＯＢが第３図（Ｂ）に示すように１１個（水平方向
に）×３個（垂直方向に）のマクロブロックＭＢを含む
ようになされ、各マクロブロックＭＢは第３図（Ｃ）に
示すように１６Ｘ１６画素分の輝度信号データＹ０゜〜
Ｙ、□（それぞれ８×８画素分の輝度信号データでなる
）及び輝度信号データＹ０゜〜Ｙ１１の全画素データに
対応する色信号データでなる色信号データＣ５及びＣ，
を含んでなる。

かくしてマクロブロックＭＢごとに送出される入力画像
データＳ２１は動き補償回路２５に与えられ、動き補償
回路２５はへラダデータ処理系ＳＹＭ２に対して設けら
れている動き補償制御ユニット２６から与えられる動き
検出制御信号Ｓ２２に応動して予測前フレームメモリ２
７の予測前フレームデータＳ２３と入力画像データ３２
１とを比較して動きベクトルデータＭＶＤ　（ｘ）及び
ＭＶＤ　（ｙ）を検出して動き補償制御ユニット２６に
第１のへラダデータＭＤＩ（第４図）のデータとして供
給すると共に、動き補償回路本体２５Ａにおいて予測前
フレームデータ３２３に対して動きベクトルデータＭＶ
Ｄ　（Ｘ）及びＭＶＤ　Ｃｌ）分の動き補償をすること
により予測現フレームデータ３２４を形成して現在処理
しようとしている入力画像データ５２１でなる現フレー
ムデータＳ２５と共に画像データ符号化回路２８に供給
する。

ここで動き補償制御ユニット２６は、第４図に示すよう
に、第１のへラダデータＨＤＩとして現在処理している
マクロブロックごとに、フレーム画像データＦＲＭの伝
送順序を表す伝送フレーム番号データＴＲＣｏｕｎｔｅ
ｒと、そのブロックグループＧＯＢ　（第３図（Ａ））
を表すブロックグループ番号データＧＯＢ　ａｄｄｒｅ
ｓｓ　と、そのうちのマクロブロックＭＢを表すマクロ
ブロック番号データＭＢ　ａｄｄｒｅｓｓとを付加する
ことによって順次画素データ処理系ＳＹＭＩの各処理段
に伝送されて行くマクロブロックＭＢを表示するように
なされていると共に、当該処理対象マクロブロックＭＢ
の処理ないし処理形式を表すフラグデータＦＬＡＧＳと
、当該マクロブロックＭＢの動きベクトルデータＭＶＤ
　（ｘ）及びＭＶＤ（ｙ）と、その評価値を表す差分デ
ータΣＡ−Ｂ　ｌと形成する。

フラグデータＦＬＡＧＳは第５図に示すように、最大１
１１１ワード（１６ビツト）分のフラグをもち得るよう
になされ、第０ビツトには、当該処理対象マクロブロッ
クＭＢについて動き補償モードで処理すべきか否かを表
す動き補償制御フラグＭＣｏｎｌｏｆｆがセットされる
。

またフラグデータＦＬＡＧＳの第１ビツトには、当該処
理対象マクロブロックＭＢをフレーム間符号化モードで
処理すべきであるか又はフレーム内符号化モードで処理
すべきであるかを表すフレーム間／フレーム内フラグ１
ｎｔｅｒ／Ｉｎｔｒａがセットされる。

またフラグデータＦＬＡＧＳの第２ビツトには、動き補
償回路２５のループフィルタ２５Ｂを使用するか否かを
表すフィルタフラグＦｉｌｔｅｒ　ｏｎｌｏｆｆが設定
される。

またフラグデータＦＬＡＧＳの第３ビツトには、当該処
理対象マクロブロックに含まれるブロックデータＹ０゜
〜Ｃ，，（第３図（Ｃ））を伝送すべきであるか否かを
表す送信フラグＣｏｄｅｄ／Ｎｏｔ−ｃｏｄｅｄを設定
できるようになされている。

またフラグデータＦＬＡＧＳの第４ビツトには、当該処
理対象マクロブロックＭＢを駒落しするか否かを表ず駒
落しフラグＤｒｏｐ　ｆｒａ＋ｍｅ　ｆｌａｇを設定し
得るようになされている。

またフラグデータＦＬＡＧＳの第５ビツト一二は、当該
処理対象マクロブロックＭＢを強制リフレッシュするか
否かを表す強制リフレッシュフラグＲｅｆｒｅｓｈ　ｏ
ｎｌｏｆｆを設定できるようになされている。

またフラグデータＦＬＡＧＳの第６ビツトには、マクロ
ブロックパワー評価フラグＭＢＰ　ａｐｐｒｅｃｉａｔ
ｅを設定できるようになされている。

また差分データΣＩＡ−Ｂｌは、現フレームデータＳ２
５の現在処理しようとするマクロブロックデータＡと、
予測前フレームデータＳ２３の検出用動きベクトルによ
って補償されたマクロブロックデータＢとの差分のうち
の最小債を表し、これにより検出された動きベクトルの
評価をなし得るようになされている。

画像データ符号化回路２８はフレーム内符号化モードの
とき動き補償回路２５から与えられる現フレームデータ
３２５をそのまま差分データＳ２６として変換符号化回
路２９に供給し、これに対してフレーム間符号化モード
のとき現フレームデータＳ２５の画素データと予測現フ
レームデータ３２４の画素データとの差分てなる差分デ
ータＳ２６を変換符号化回路２９に供給する。

ヘッダデータ処理系ＳＹＭ２には画像データ符号化回路
２８に対応するようにフレーム間／フレーム内符号化制
御ユニット３０が設けられ、動き補償制御ユニット２６
から供給されるヘッダデータＭＤＩ及び画像データ符号
化回路２８から供給される演算データ３３１に基づいて
、画像データ符号化回路２８の符号化モードを指定する
ためのフレーム間／フレーム内フラグＩｎｔｅｒ／Ｉｎ
ｔｒａ　　（第５図）及び動き補償回路２５のループフ
ィルタ２５Ｂの動作を制御するためのフィルタフラグＦ
ｉｌｔｅｒ　ｏｎｌｏｆｆ　　（第５図）とを得るのに
必要なデータを演算して第２のへラダデータＨＤ２とし
てフィルタ制御ユニット３１に送出する。

第２のへラダデータＨＤ２は、第４図に示すように、ヘ
ッダデータＨＤＩを構成する伝送フレーム番号データＴ
ＲＣｏｕｎＬｅｒ〜差分データΣｌ　Ａ−Ｂをそのまま
引き継ぐと共に、フィルタ制御ユニット３１においてフ
レーム間／フレーム内符号化モード切換信号３３３及び
フィルタオン／オフ信号３３４を形成するために必要な
パワーデータΣ（Ａ）”　（Ｌ）及びΣ（Ａ）２（Ｈ＞
　、Σ（Ａ−Ｂ）”（Ｌ）及びΣ（Ａ−Ｂ）”　（Ｈ）
　、Σ（Ａ−ＦＢ）”（Ｌ）及びΣ（Ａ−ＦＢ）”　（
Ｈ）　、Σ（Ａ）をフレーム間／フレーム内符号化制御
ユニット３０において付加されるようになされている。

ここで、パワーデータΣ（Ａ）”（Ｌ）及びΣ（Ａ）”
（Ｈ）は現フレームデータ３２５のマクロブロック画素
データＡの２乗和の下位ビット及び上位ビットを表し、
パワーデータΣ（Ａ−Ｂ）”　（Ｌ）及びΣ（Ａ−Ｂ）
”　（Ｈ）は現フレームデータＳ２５のマクロブロック
画素データＡとループフィルタ２５Ｂを介さずに形成さ
れた予測現フレームデータＳ２４のマクロブロック画素
データＢとの差分Ａ−Ｂの２乗和の下位ビット及び上位
ビットを表し、パワーデータΣ（Ａ−ＦＢ）ｚ（Ｌ）及
びΣ（Ａ−ＦＢ）”　（Ｈ）は現フレームデータＳ２５
のマクロブロック画素データＡとループフィルタ２５Ｂ
を介して形成された予測現フレームデータＳ２４のマク
ロブロック画素データＦＢとの差分Ａ−ＦＢの２乗和の
下位ビット及び上位ビットを表し、パワーデータΣ（Ａ
）は現フレームデータ３２５のマクロブロック画素デー
タＡの和を表し、それぞれ処理するデータの大きさを評
価するためにデータ量をパワー値として表現したもの（
２乗和は符号に無関係な値として求めた）である。

フィルタ制御ユニット３１は、フレーム間／フレーム内
符号化制御ユニット３０から渡された第２のへラダデー
タＨＤ２と、伝送バッファメモリ３２から供給される残
量データＳ３２とに基づいて、画像データ符号化回路２
８に対してフレーム間／フレーム内符号化モード切換信
号Ｓ３３を送出すると共に、ループフィルタ２５Ｂに対
してフィルタオン／オフ信号３３４を送出すると共に、
当該フィルタオン／オフ信号３３４の内容を表すフィル
タフラグＦｉｌｔｅｒ　ｏｎｌｏｆｆを第２のへラダデ
ータＨＤ２に付加して第３のへラダデータＨＤ３として
スレショルド制御ユニット３５に渡す。

ここでフィルタ制御ユニット３１は第１に、フレーム間
符号化処理をした場合の伝送データ量の方がフレーム内
符号化処理をした場合の伝送データ量より大きくなった
とき画像データ符号化回路２８をフレーム内符号化モー
ドに制御する。

またフィルタ制御ユニット３１は第２に、フレーム間符
号化モードで処理をしている状態においてループフィル
タ２５Ｂにおける処理を受けた予測現フレームデータＳ
２４より当該処理を受けない予測現フレームデータＳ２
４の方が差分値が小さい場合には、フィルタオン／オフ
信号Ｓ３４によってフィルタリング動作をさせないよう
にループフィルタ２５Ｂを制御する。

またフィルタ制御ユニット３１は第３に、強制リフレッ
シュモードになったとき、フレーム間／フレーム内符号
化モード切換信号Ｓ３３によって画像データ符号化回路
２８をフレーム内符号化モードに切り換える。

さらにフィルタ制御ユニット３１は第４に、伝送バッフ
ァメモリ３２から供給される残量データＳ３２に基づい
て伝送バッファメモリ３２がオーバーフローするおそれ
がある状態になったとき、こで５を検出して駒落し処理
をすべきことを命令するフラグを含んでなる第３のへラ
ダデータＨＤ３をスレショルド制御ユニット３５に送出
する。

かくして画像データ符号化回路２８は現フレームデータ
３２５と予測現フレームデータ３２４との差分が最も小
さくなるようなモードで符号化してなる差分データＳ２
６を変換符号化回路２９に供給する。

第３のへラダデータＨＤ３は、第４図に示すように、ヘ
ッダデータＨＤ２から伝送フレーム番号データＴＲＣｏ
ｕｎｔｅｒ〜動きベクトルデーターＶＤ　（ｘ）及びＭ
ＶＤ　（ｙ）を引き継ぐと共に、フィルタ制御ユニット
３１においてブロックデータＹ０゜〜Ｃｒに対応する６
ビツト分のフィルタフラグＦｉｌｔｅｒ　ｏｎｌｏｆｆ
を付加される。

変換符号化回路２９はディスクリートコサイン変換回路
でなり、　ディスクリートコサイン変換後の係数値を６
個のブロックＹ０゜、Ｙ　ｏ＋、Ｙｌ。、Ｙ、、、Ｃ，
、Ｃ，ごとにジグザグスキャンしてなる変換符号化デー
タ３３５として伝送ブロック設定回路３４に送出する。

伝送ブロック設定回路３４は変換符号化データ３３５と
して送出されて来る６個のブロックデータＹ０゜〜Ｃ，
，（第３図（Ｃ））について、それぞれ先頭の係数デー
タからｎ個までの２乗和を演算して当該演算結果をパワ
ー検出データＳ３６としてスレショルド制御ユニット３
５に渡す。

このときスレショルド制御ユニット３５は各ブロックデ
ータＹ、。〜ＣＦごとにパワー検出データＳ３６を所定
のスレショルドと比較し、パワー検出データＳ３６が当
該スレショルドより小さいとき当該ブロックデータの伝
送を許容せず、これに対して大きいとき許容することを
表す６ビツト分の伝送可否データＣＢＰＮを形成してこ
れをフィルタ制御ユニット３１から渡された第３のへラ
ダデータＨＤ３に付加して第４のへラダデータＨＤ４と
して量子化制御ユニット３６に渡すと共に、伝送ブロッ
ク設定回路３４から対応するブロックデータＹ０゜〜Ｃ
，，を量子化回路３７に送信ブロックパターン化データ
Ｓ３７として送出させる。

ここで第４のへラダデータＨＤ４は第４図に示すように
、ヘッダデータＨＤ３の伝送フレーム番号データＴＲＣ
ｏｕｎｔｅｒ〜フィルタフラグＦｉｌｔｅｒ　ｏｎｌｏ
ｆｆをそのまま引き継ぐと共に、スレショルド制御ユニ
ット３５においてブロックＹ０゜〜Ｃ，に対応して発生
する６ビツト分の送信可否フラグＣＢＰＮが付加される
。

量子化制御ユニット３６はスレショルド制御ユニット３
５から渡された第４のへラダデータＨＤ４と、伝送バッ
ファメモリ３２から送出される残量データＳ３２とに基
づいて量子化ステップサイズを決定することにより量子
化ステップサイズ制御信号３３Ｂを量子化回路３７に与
え、これにより量子化回路３７をマクロブロックＭＢに
含まれるデータに適応した量子化ステップサイズで量子
化処理させ、その結果量子化回路３７の出力端に得られ
る量子化画像データ３３９を可変長符号化回路３日に供
給させる。

これと共に量子化制御ユニット３６は、第４図に示すよ
うに、　第５のへラダデータＨＤ３として、ヘッダデー
タＨＤ４に基づいてブロックデータＹ０゜〜Ｃ，（第３
図（Ｃ））にそれぞれ対応するフラグデータＦＬＡＧＳ
及び動きベクトルデータＭＶＤ（ｘ）及びＭＶＤ　（ｙ
）に分離してこれを直列に配列させたデータを形成して
可変長符号化回路３８及び逆量子化回路４０に渡す。

ここで、ヘッダデータＨＤ５は、第４図に示すように、
ヘッダデータＨＤ４のうち伝送フレーム番号データＴＲ
Ｃｏｕｎｔｅｒ〜マクロブロック番号データＭＢ　ａｄ
ｄｒｅｓｓをそのまま引き継ぐと共に、量子化制御ユニ
ット３６において量子化サイズデータＱＮＴと、ブロッ
クデータＹ、、ｘＣ，に対するフラグデータＦＬＡＧＳ
　、動きベクトルデータ雪ＶＤ（ｘ）及び１ｖＤ　＜ｙ
）を付加する。

可変長符号化回路３８はへラダデータＨＤ　５及び量子
化画像データ３３９を可変長符号化処理して伝送画像デ
ータＳ４０を形成し、これを伝送バッファメモリ３２に
供給する。

可変長符号化回路３８はブロックデータＹ０゜〜Ｃ，、
を可変長符号化する際に、対応するフラグデータＦＬＡ
ＧＳに基づいて「駒落し」、又はｒ送信不可」が指定さ
れているとき、当該ブロックデータを伝送画像データＳ
４０として送出させずに捨てるような処理をする。

伝送バッファメモリ３２は伝送画像データＳ４０を溜め
込んで行くと共に、これを所定の伝送速度で読み出して
マルチプレクサ４１において音声データ発生装２４２か
ら送出される伝送音声データ５４１と合成して伝送路４
３に送出する。

逆量子化回路４０は量子化回路３７から送出される量子
化画像データ３３９をヘッダデータＨＤ５に基づいて逆
量子化した後、当該逆量子化データ３４２を逆変換符号
化回路４３に供給することにより逆変換符号化データＳ
４３に変換させた後デコーダ回路４４に供給させ、かく
して伝送画像データＳ４０として送出された画像情報を
表す符号化差分データＳ４４を予測前フレームメモリ２
７に供給させる。

このとき予測前フレームメモリ２７は、符号化差分デー
タ３４４を用いてそれまで保存していた予測前フレーム
データを修正演算して新たな予測前フレームデータとし
て保存する。

かくして第１図の構成のエンコーダ２１Ａによれば、ヘ
ッダデータ処理系ＳＹＭ２から供給されるヘッダ情報に
基づいて画素データ処理系ＳＹＭ１において画素データ
がマクロブロック単位でパイプライン処理されて行（の
に対して、これと同期するようにヘッダデータ処理系Ｓ
ＹＭ２においてへラダデータを受は渡して行（ようにす
ることにより、ヘッダデータ処理系ＳＹＭ２の各処理段
において必要に応じてヘッダデータを付加又は削除する
ことにより画素データを必要に応じて適応処理できる。

デコーダ２１Ｂは第２図に示すように、伝送路４３を介
してエンコーダ２１Ａから伝送されて来る伝送データを
デマルチプレクサ５１を介して伝送バッファメモリ５２
に受けると共に、伝送音声データＳ５１を音声データ受
信装置５３に受ける。

伝送バッファメモリ５２に受けた画像データは可変長逆
変換回路５４において受信画像データＳ５２及びヘッダ
データＨＤＩＩに分離され、逆量子化回路５５において
逆量子化データ３５３に逆量子化された後逆変換符号化
回路５６においてディスクリート逆変換処理されて逆変
換符号化データ＄５４に逆変換される。

この逆変換符号化データ３５４は逆量子化回路５５にお
いて形成されたヘッダデータＨＤ１２と共にデコーダ回
路５７に与えられ、符号化差分データＳ５５としてフレ
ームメモリ５８に蓄積される。

か（してフレームメモリ５８には符号化差分データＳ５
５に基づいて伝送されて来た画像データが復号化され、
当該復号化画像データ５５６がディジタル／アナログ変
換回路５９においてアナログ信号に変換された後出力回
路部６０を介して出力映像信号ＶＤｏｕｖとして送出さ
れる。

（Ｇ２）実施例による駒落し処理 第１図に示す画像情報伝送システム２１において、伝送
バッファメモリ３２は、データ残量Ｂｕｆｆｅｒを示す
残量データＳ３２を量子化制御ユニット３６にフィード
バックする二とにより、量子化回路３７の量子化処理に
おける量子化ステップサイズＱＮＴを変化させてオーバ
ーフロー又ｉまアンダーフローしないように制御するよ
うになされている。

すなわちこの実施例の場合量子化回路３７は第６図に示
すように、量子化ステップサイズＱＮＴのテーブルとし
て上限値ＱＮＴ　＝３１かδ下限値ＱＮＴ１までの段階
を可変できるようになされ、量子化制御ユニット３６は
伝送バッファメモリ３２のデータ残ＩＢｕｆｆｅｒがマ
ージンＭａｒｇｉｎｅ　と量子化サイズ可制御範囲ＱＣ
Ｒとの和（すなわちデータ残量の許容上限値）に近付い
ている場合には、量子化ステップサイズＱＮＴを粗くす
る（すなわらＱＮＴ　＝３１方向に変化させる）。

従って量子化回路３７は粗い量子化ステップサイズで変
換符号化データＳ３５の量子化を実行することにより、
量子化画像データＳ３９のデータ量は小さい値に制御さ
れ、これにより伝送ハツフアメモリ３２のデータ残量Ｂ
ｕｆｆｅｒは低下して行く。

これに対して伝送バッファメモリ３２のデータ残量が少
なくなると、量子化制御ユニット３６は量子化回路３７
における量子化ステップサイズＱＮＴをこれに応じて細
かい値（すなわちＱＮＴ　＝　１の方間）に変化させる
ことにより、伝送バッファメモリ３２のデータ残量Ｂｕ
ｆｆｅｒを常に目標値ＭＧ（ＱＮＴ　＝　１　）のレベ
ルに収束させるようになされている。

またフィルタ制御ユニッ）３１は伝送バッファメモリ３
２によってフィードバックされた残量データ３３２を入
力することにより、常に伝送バッファメモリ３２のデー
タ残量Ｂｕｆｆｅｒを監視しながらフィールド単位で駒
落しを実行するか否かを判断するようになされている。

すなわちフィルタ制御ユニット３１は、変換符号化デー
タＳ３５のデータ発生量が増加して伝送バッファメモリ
３２のデータ残量Ｂｕｆｆｅｒが量子化回路３７によっ
て制御し得なくなる上限値（マージンＭａｒｇｉｎｅ十
量子化サイズ可制御範囲ＱＣＩ？　）を越えた時点ｔｌ
（第６図）において、伝送バッファメモリ３２がオーバ
フロー状態に近付きつつあることを判断して、続く第３
のフレームＦＲＭ２の１フイ一ルド分の画像データに対
応する各マクロブロックＭＢのへラダデータＨＤ２のフ
ラグデータＦＬＡＧＳに含まれる駒落しフラグＤｒｏｐ
　ｆｒａ■ｅｆｌａｇ　　（第５図）を「１」に指定し
、これをヘッダデータＨＤ３、ＨＤ４及びＨＤ５に順次
受は渡すことにより、可変長符号化回路３８及び逆量子
化回路４０に送出する。

可変長符号化回路３８は、入力されたヘッダデータＨＤ
５のフラグデータＦＬＡＧＳに含まれる駒落しフラグＤ
ｒｏｐ　ｆｒａｍｅ　ｆｌａｇが「１」に指定されてい
る場合には、当該ヘッダデータＨＤ５に対応して入力さ
れる量子化画像データＳ３９を可変長符号化回路しない
ことにより、伝送画像データＳ４０を送出しないように
なされている。

このようにしてフィルタ制御ユニット３５は第２のフレ
ームＦＲＭ２の全てのマクロブロックＭＢについて駒落
しフラグＤｒｏｐ　ｆｒａｍｅ　ｆｌａｇを口１」に指
定することにより、当該フレームＦＲＭ２の全てのマク
ロブロックＭＢについて可変長符号化回路３８において
伝送画像データｓ４０を送ａしないように制御すること
により、当該フレームＦＲＭ２が駒落しされる。

従ってデータ残量Ｂｕｆｆｅｒが上限値を越えた状態の
伝送バッファメモリ３２においては、当該１フレ一ム分
のデータが入力されないことにより、伝送路４３にデー
タを出方する分データ残量Ｂｕｆｆｅｒが減少する。

これに対して逆量子化回路４ｏは入力されるヘッダデー
タＨＤ５の駒落しフラグＤｒｏｐ　ｆｒａｍｅ　ｆｌａ
ｇが「１」に指定されているときには、当該ヘッダデー
タＨＤ５に対応して入力される量子化画像データ３３９
を逆量子化処理しないことにより、逆量子化データ３４
２を送出しないようになされている。

従ってフィルタ制御ユニット３１において駒落しが指定
されたフレームＦＲＭ２の１フレ一ム分の全てのマクロ
ブロックＭＢが逆量子化データＳ４２として出力されな
いこと二こより、予測前フレームメモリ２７にあるだに
路網される予測前フレームデータにおいても当該フレー
ムＦＲＭ２のデータが駒落しされる。

かくして伝送バッファメモリ３２を介して出力される画
像データの駒落し処理に対応して予測前フレームデータ
においても画像データが駒落し処理される。

ここでフィルタ制御ユニット３１は伝送バッファメモリ
３２のデータ残量Ｂｕｆｆｅｒに基づいて駒落し指定を
開始すると、当該データ残量Ｂｕｆｆｅｒが目標残量値
ＭＧを下回るまでフレーム単位で駒落し処理の指定を続
ける。

従って伝送バッファメモリ３２のデータ残量Ｂｕｆｆｅ
ｒが時点ｔ２（第６図）において上限値を下回っても駒
落し処理が続けられ、第４のフレームＦＲＭ４の時点ｔ
３において目標値ＭＣを下回った際に、フィルタ制御ユ
ニット３１はこれを検出してこのとき駒落し処理を実行
しているフレームＦＲＭ４の全てのマクロブロックＭＢ
の駒落し指定が完了した後、続くフレームＦＲＭ５に対
応するヘッダデータの駒落しフラグＤｒｏｐ　ｆｒａｍ
ｅ　ｆｌａｇを「０コに指定することにより、当該フレ
ームＦＲＭ５において量子化画像データ３３９の可変長
符号化処理を再開する。

従ってこのフレームＦＲＭ５の伝送画像データＳ４０か
ら再び伝送バッファメモリ３２に入力されることにより
、当該伝送バッファメモリ３２のデータ残量Ｂｕｆｆｅ
ｒは再び入力データ量及び出力データ量に応じて変化す
る。

かくしてフィルタ制御ユニット３１は、データ残量Ｂｕ
ｆｆｅｒが再び上限値を越えない限りフレーム単位ごと
に当該フレームを構成する全てのマクロブロックＭＢに
対応するヘッダデータの駒落しフラグ叶ｏｐ　ｆｒａｍ
ｅ　ｆｌａｇを「０」に指定することにより、伝送画像
データＳ４０が伝送バッファメモＵ　３２に入力され、
これに応してデータ残量Ｂｕｆｆｅｒが変化する。

このとき入力される伝送画像データＳ４０のデータ発生
量が駒落し処理を実行する前の状態と同じように急激に
増加している場合においても、伝送バッファメモリ３２
においてはデータ残量Ｂｕｆｆｅｒが目標値ＭＯまで減
らされていることにより、直ちに駒落し処理が再開され
ないようになされている。

従って伝送されるフレーム及び駒落しされて伝送されな
いフレームが例えば１フレームごとに繰り返されるよう
な状態を回避することができ、伝送バッファメモリ３２
から出力される画像データを再生して得られる映像にお
いては、視覚上動きの滑らかさが損なわれないようにし
得る。

また駒落し処理によってデータ残量Ｂｕｆｆｅｒが目標
値ＭＧ　（ＱＮＴ　＝　１　）まで減らされていること
により、例えば続くフレームＦＲＭ６において伝送画像
データＳ４０のデータ発生量が減少した場合には、当該
データ残量Ｂｕｆｆｅｒが上限値まで増加していないの
でこの分当該データ残量Ｂｕｆｆｅｒを一段と短時間の
うちに目標値ＭＧ　（ＱＮＴ　＝　１　）に収束させる
ことができる。

従って動きの速い画像（すなわち伝送画像データ量が多
い画像）が急に動きの遅いＴＲ１（す；わち伝送画像デ
ータ量が少ない画像）に変化した壕には、短時間で細か
い量子化ステップ（ＱＮＴ　＝　１）に制御されること
により、画像の動きが遅くなった際に直ちに細かい画像
表現をすることができる。

因に動きの速い画像は粗い画像で表現しても視覚上画像
が劣化したことを認識しないと共に、動きの遅い画像に
おいては視覚上細かい部分まで敏感に認識し得ることに
より、画像の動きが遅くなった際に直ちに量子化ステッ
プサイズを細かくすることができることにより、画質の
劣化を視覚上回避することができる。

ここで第７図は伝送バッファメモリ３２に入力される各
フレームの伝送画像データ量（すなわち可変長符号化デ
ータ）の累積値Ｔ　ＲＭを示し、ＦＤｌｌ〜ＦＤ２６は
各フレームＦＲＭＩＩ〜ＦＲＭ２６におけるそれぞれ１
フレ一ム分の伝送画像データ量を表わす。

例えばフレームＦＲＭ１６におけるｌフレーム分の伝送
画像データ量ＦＤ１６が入力されてデータ残量Ｂｕｆｆ
ｅｒが上１１Ｈｉ！Ｅ　（ＱＮＴ　＝３１）を越えると
当該フレームＦＲＭ１６のすべてのデータが入力し終る
と同時に駒落し処理が開始され、データ残量Ｂｕｆｆｅ
ｒが相対的に減少する。

その結果フレームＦＲＭ１７の伝送画像データＦＤ１７
が入力される前に伝送バッファメモリ３２のデータ残量
Ｂｕｆｆｅｒが目標値ＭＧ　（ＱＮＴ　＝　１　）を下
回ることにより、当該フレームＦＲＭ１７の伝送画像デ
ータの入力が再開される。

このとき例えば続くフレームＦＲＭ１７、ＦＲＭｌＢ及
びＦＲＭ１９の伝送画像データ量ＦＤｉ７、ＦＤ１８及
びＦＤ１９が小さい値であり、フレームＦＲＭ２０の伝
送画像データを入力する前に伝送バッファメモリ３２の
データ残量Ｂｕｆ　ｆｅｒがアンダーフローレベルＩＪ
ＮＤＥＲを下回る場合には、当該アンダーフローレベル
ｔｌＮＤＥＲを下回る前にデータ間にスタッフィングビ
ットを介挿することにより、伝送バッファメモリ３２が
アンダーフローしないようになされている。

か（して伝送バッファメモリ３２においては、防落し処
理又はスタッフィングビット介挿処理の手法を用いてデ
ータ残量Ｂｕｆｆｅｒがオーバーフロー又はアンダーフ
ローレないようになされ、目標値（Ｑ！ＪＴ　＝　１　
）にできるだけ収束するように制御される。

以上の構成によれば、伝送バッファメモリ３２のデータ
残量Ｂｕｆｆｅｒを目標値ＭＧ　（ＱＮＴ　＝　１　）
に収束させるように防落し処理をするようにしたことに
より、当該伝送バッファメモリ３２の出力データを再生
するにつき、視覚上一段と動きの滑らかな映像を得ると
共に画質の劣化を回避することができる。

（Ｇ３）他の実施例 上述の実施例においては、防落し終了の検出レベルとし
て目標値ＭＧ　（ＱＮＴ　＝　１　）の値を用いた場合
について述べたが、本発明はこれに限らず、例えば動き
の速い映像又は動きの遅い映像等による伝送画像データ
の発生量の幅間によって量子化サイズ可制御範囲ＱＣ１
２内の他のレベルに目標値ＭＯを変更するようにしても
良い。

また上述の実施例においては、フィルタ制御ユニット３
１において伝送バッファメモリ３２のデータ残量Ｂｕｆ
ｆｅｒを検出し、防落じ指定をする場合について述べた
が、本発明はこれに限らず、伝送バッファメモリ３２の
前段に設けられた他のデータ処理ユニットにおいて検出
及び指定処理するようにしても良い。

また上述の実施例においては、可変長符号化回路３８に
おいて防落し処理を実行するようにした場合について述
べたが、本発明はこれに限らず、例えば量子化回路３７
においてへラダデータの防落し指定を検出して防落し処
理を実行する等、要は伝送バッファメモリ３２の前段に
おいて防落し処理をすれば良い。

さらに上述の実施例においては、音声信号と共に映像信
号を伝送する画像情報伝送システムに本発明を適用した
場合について述べたが、本発明はこれに限らず、映像信
号を高能率符号化処理して伝送する場合等に広く適用す
ることができる。

Ｈ発明の効果 上述のように本発明によれば、伝送バッファメモリのデ
ータ残量値が所定の上限値を越えた際に、当該データ残
量値が上記上限値よりも少ない所定のデータ残量値まで
減少するまで、防落し処理を実行するようにしたことに
より、視覚上一段と動きの滑らかな映像を得ることがで
きると共に、画質の劣化を回避することができる。

【図面の簡単な説明】

第１図及び第２図は本発明による映像信号符号化装置を
用いた画像情報伝送システムを構成するエンコーダ及び
デコーダを示すブロック図、第３図はフレーム画像デー
タの構成を示す路線図、第４図は第１図のへラダデータ
処理系を示すブロック図、第５図は第４図のフラグデー
タの構成を示す路線図、第６図は防落しによる伝送バッ
ファメモリのデータ残量の変化を示す特性曲線図、第７
図は伝送バッファメモリに入力される伝送画像データの
累積値を示す曲線図、第８図はフレーム内／フレーム間
符号化処理の説明に供する路線図、第９図は従来の画像
データ発生装置を示すブロック図、第１０図はその量子
化ステップを示す曲線図である。 ２１・・・・・・画像情報伝送システム、２１Ａ・・・
・・・エンコーダ、２１Ｂ・・・・・・デコーダ、２５
・・・・・・動き補償回路、２６・・・・・・動き補償
制御ユニット、２７・・・・・・予測前フレームメモリ
、２８・・・・・・画像データ符号化回路、２９・・・
・・・変換符号化回路、３０・・・・・・フレーム間／
フレーム内符号化制御ユニット、３１・・・・・・フィ
ルタ制御ユニット、３２・・・・・・伝送バッファメモ
リ、３４・・・・・・伝送ブロック設定回路、３５・・
・・・・スレショルド制御ユニット、３６・・・・・・
量子化制御ユニット、３７・・・・・・量子化回路、３
８・・・・・・可変長符号化回路、４３・・・・・・伝
送路、Ｓ３２・・・・・・残量データ、Ｓ４０・・・・
・・伝送画像データ。

Claims (1)

1. 【特許請求の範囲】 伝送バッファ回路を有し、当該伝送バッファ回路に高能
   率符号化処理されてなる伝送画像データを一旦格納し、
   伝送路のデータ伝送容量に基づいて上記格納された伝送
   画像データを上記伝送路に順次出力する映像信号符号化
   装置において、上記伝送バッファ回路のデータ残量値が
   所定の上限値を越えた際に、伝送画像データの駒落し処
   理を実行し、 上記伝送バッファ回路のデータ残量値が上記上限値より
   も少ない所定の目標値レベルまで減少した際に、上記駒
   落し処理を終了するようにしたことを特徴とする映像信
   号符号化装置。