JP3674761B2 - 符号化装置及び方法 - Google Patents
符号化装置及び方法 Download PDFInfo
- Publication number
- JP3674761B2 JP3674761B2 JP2000108032A JP2000108032A JP3674761B2 JP 3674761 B2 JP3674761 B2 JP 3674761B2 JP 2000108032 A JP2000108032 A JP 2000108032A JP 2000108032 A JP2000108032 A JP 2000108032A JP 3674761 B2 JP3674761 B2 JP 3674761B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- quantization
- image data
- processing
- cosine transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は符号化装置及び方法に関し、特に映像信号を高能率符号化して画像データに変換処理する場合に適用して好適なものである。
【０００２】
【従来の技術】
従来、テレビ電話システム、会議電話システムにおいて、動画映像でなる映像信号をフレーム内符号化データ及びフレーム間符号化データに高能率符号化することにより、伝送容量に比較的厳しい制限がある伝送路を通じて動画映像信号を伝送する映像信号伝送システムが提案されている（特開昭63-1183 号公報）。
【０００３】
すなわち、例えば第１０図（Ａ）に示すように、時点ｔ＝ｔ1 、ｔ2 、ｔ3 ……において動画を構成する各画像ＰＣ１、ＰＣ２、ＰＣ３……を伝送しようとする場合、映像信号には時間の経過に従って自己相関が大きい特徴がある点を利用して伝送処理すべき画像データを圧縮処理することにより伝送効率を高めるような処理をするもので、フレーム内符号化処理は画像ＰＣ１、ＰＣ２、ＰＣ３……を例えば画素データを所定の基準値と比較して差分を求めるような圧縮処理を実行し、かくして各画像ＰＣ１、ＰＣ２、ＰＣ３……について同一フレーム内における画素データ間の自己相関を利用して圧縮されたデータ量の画像データを伝送する。
【０００４】
またフレーム間符号化処理は、第１０図（Ｂ）に示すように、順次隣合う画像ＰＣ１及びＰＣ２、ＰＣ２及びＰＣ３……間の画素データの差分でなる画像データＰＣ１２、ＰＣ２３……を求め、これを時点ｔ＝ｔ1 における初期画像ＰＣ１についてフレーム内符号化処理された画像データと共に伝送する。
【０００５】
かくして画像ＰＣ１、ＰＣ２、ＰＣ３……をそのすべての画像データを伝送する場合と比較して格段的にデータ量が少ないディジタルデータに高能率符号化して伝送路に送出することができる。
【０００６】
かかる映像信号の符号化処理は、第１１図に示す構成の画像データ発生装置１において実行される。
【０００７】
画像データ発生装置１は入力映像信号ＶＤを前処理回路２において処理することにより片フィールド落し処理及び片フィールドライン間引き処理等の処理をした後、輝度信号及びクロマ信号を16画素（水平方向に）×16画素（垂直方向に）分のデータでなる伝送単位ブロック（これをマクロブロックと呼ぶ）データＳ１１に変換して画像データ符号化回路３に供給する。
【０００８】
画像データ符号化回路３は予測符号化回路４において形成される予測現フレームデータＳ１２を受けてマクロブロックデータＳ１１との差分を求めることによってフレーム間符号化データを発生し（これをフレーム間符号化モードと呼ぶ）、又はマクロブロックデータＳ１１と基準値データとの差分を求めることによりフレーム内符号化データを形成してこれを差分データＳ１３として変換符号化回路５に供給する。
【０００９】
変換符号化回路５はディスクリートコサイン変換回路で構成され、差分データＳ１３を直交変換する（すなわちディスクリートコサイン変換する）ことによって高能率符号化してなる変換符号化データＳ１４を量子化回路６に与えることにより量子化画像データＳ１５を送出させる。
【００１０】
かくして量子化回路６から得られる量子化画像データＳ１５は可変長符号化回路を含んでなる再変換符号化回路７において再度高能率符号化処理された後、伝送画像データＳ１６として伝送バッファメモリ８に供給される。
【００１１】
これに加えて量子化画像データＳ１５は予測符号化回路４において逆量子化、逆変換符号化処理されることより差分データに復号化された後予測前フレームデータを差分データによって修正演算することにより新たな予測前フレームデータを保存すると共に、マクロブロックデータＳ１１に基づいて形成される動き検出データによって予測符号化回路４に保存されている予測前フレームデータを動き補償することにより予測現フレームデータを形成して画像データ符号化回路３に供給できるようになされ、これにより現在伝送しようとするフレーム（すなわち現フレーム）のマクロブロックデータＳ１１と予測現フレームデータＳ１２との差分を差分データＳ１３として得るようになされている。
【００１２】
第１１図の構成において、第１０図について上述した動画像を伝送する場合、先ず第１０図（Ａ）の時点ｔ1 において画像ＰＣ１の画像データがマクロブロックデータＳ１１として与えられたとき、画像データ符号化回路３はフレーム内符号化モードになってこれをフレーム内符号化処理された差分データＳ１３として変換符号化回路５に供給し、これにより量子化回路６、再変換符号化回路７を介して伝送バッファメモリ８に伝送画像データＳ１６を供給する。
【００１３】
これと共に、量子化回路６の出力端に得られる量子化画像データＳ１５が予測符号化回路４において予測符号化処理されることにより、伝送バッファメモリ８に送出された伝送画像データＳ１６を表す予測前フレームデータが前フレームメモリに保持され、続いて時点ｔ2 において画像ＰＣ２を表すマクロブロックデータＳ１１が画像データ符号化回路３に供給されたとき、予測現フレームデータＳ１２に動き補償されて画像データ符号化回路３に供給される。
【００１４】
かくして時点ｔ＝ｔ2 において画像データ符号化回路３はフレーム間符号化処理された差分データＳ１３を変換符号化回路５に供給し、これにより当該フレーム間の画像の変化を表す差分データが伝送画像データＳ１６として伝送バッファメモリ８に供給されると共に、その量子化画像データＳ１５が予測符号化回路４に供給されることにより予測符号化回路４において予測前フレームデータが形成、保存される。
【００１５】
以下同様の動作が繰り返されることにより、画像データ符号化回路３がフレーム間符号化処理を実行している間、前フレームと現フレームとの間の画像の変化を表す差分データだけが伝送バッファメモリ８に順次送出されることになる。
【００１６】
伝送バッファメモリ８はこのようにして送出されて来る伝送画像データＳ１６を溜めておき、伝送路９の伝送容量によって決まる所定のデータ伝送速度で、溜めた伝送画像データＳ１６を順次伝送データＤTRANS として引き出して伝送路９に伝送して行く。
【００１７】
これと同時に伝送バッファメモリ８は残留しているデータ量を検出して当該残留データ量に応じて変化する残量データＳ１７を量子化回路６にフィードバックして残量データＳ１７に応じて量子化ステップサイズを制御することにより、伝送画像データＳ１６として発生されるデータ量を調整することにより伝送バッファメモリ８内に適正な残量（オーバーフロー又はアンダーフローを生じさせないようなデータ量）のデータを維持できるようになされている。
【００１８】
因に伝送バッファメモリ８のデータ残量が許容上限にまで増量して来たとき、残量データＳ１７によって量子化回路６の量子化ステップＳＴＰＳ（第１２図）のステップサイズを大きくすることにより、量子化回路６において粗い量子化を実行させることにより伝送画像データＳ１６のデータ量を低下させる。
【００１９】
これとは逆に伝送バッファメモリ８のデータ残量が許容下限値まで減量して来たとき、残量データＳ１７は量子化回路６の量子化ステップＳＴＰＳのステップサイズを小さい値になるように制御し、これにより量子化回路６において細かい量子化を実行させるようにすることにより伝送画像データＳ１６のデータ発生量を増大させる。
【００２０】
【発明が解決しようとする課題】
このように従来の画像データ発生装置１は、伝送データＤTRANS のデータ伝送速度が伝送路９の伝送容量に基づいて制限されている伝送条件に整合させながら有意画像情報を伝送する手段として、発生した画像データを伝送バッファメモリ８に溜め込むようにすることにより常時伝送路９の伝送容量に相当するデータ量の画像データを常時伝送路９の伝送容量の分だけ引き出すことができるように構成されているが、実際上伝送しようとする画像データによって表される信号値が大きい場合にはこれをそのまま量子化すれば信号値が大きい分伝送バッファメモリ８に溜るデータ量が過大になるおそれがあり、実用上適正なデータ量に圧縮できるようにすることが望ましい。
【００２１】
本発明は以上の点を考慮してなされたもので、簡易かつ適正な符号化画像データを発生できるようにしようとするものである。
【００２２】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像データを符号化することによって符号化画像データを生成する符号化装置において、動き補償された画像データに対して、ディスクリートコサイン変換処理をすることによって、ディスクリートコサイン変換係数データを生成する手段と、指定された量子化ステップに関する情報によりディスクリートコサイン変換係数データに対して量子化処理をすることによって、量子化ディスクリートコサイン変換係数データを生成する手段とを有し、これにより画像データの画素データに対して順次ディスクリートコサイン変換処理及び量子化処理をして行く画素データ処理系と、画素データ処理系において画素データが順次ディスクリートコサイン変換処理及び量子化処理をされるタイミングに合せて、当該ディスクリートコサイン変換処理及び量子化処理の処理結果を表す処理情報データを順次転送して行くヘッダデータ処理系と、ヘッダデータ処理系から得られる処理情報データを、マクロブロック単位で、画素データ処理系から得られる画像データに付加することによって、符号化画像データを生成する手段とを設けるようにする。
【００２３】
【発明の実施の形態】
以下図面について、本発明をテレビ電話に適用した場合の実施の形態を詳述する。
【００２４】
(G1)画像情報伝送システムの全体構成
第１図及び第２図において画像情報伝送システム２１はエンコーダ２１Ａ及びデコーダ２１Ｂによって構成され、エンコーダ２１Ａは、入力映像信号ＶＤINを入力回路部２２において前処理した後、アナログ／ディジタル変換回路２３において16×16画素分の画素データでなる伝送単位ブロックデータ、すなわちマクロブロックＭＢの画素データでなる入力画像データＳ２１を画素データ処理系ＳＹＭ１に送り込むと共に、当該画素データ処理系ＳＹＭ１の各処理段においてマクロブロックＭＢを単位として画素データが処理されるタイミングにおいて当該処理されるデータに対応する処理情報データがヘッダデータ処理系ＳＹＭ２を介して順次伝送されて行くようになされ、かくして画素データ及びヘッダデータがそれぞれ画素データ処理系ＳＹＭ１及びヘッダデータ処理系ＳＹＭ２においてパイプライン方式によって処理されて行く。
【００２５】
この実施例の場合、入力画像データＳ２１として順次送出されて来るマクロブロックデータは、第３図に示すような手法でフレーム画像データＦＲＭから抽出される。
【００２６】
先ず１枚のフレーム画像データＦＲＭは第３図（Ａ）に示すように２個（水平方向に）×６個（垂直方向に）のブロックグループＧＯＢに分割され、各ブロックグループＧＯＢが第３図（Ｂ）に示すように11個（水平方向に）×３個（垂直方向に）のマクロブロックＭＢを含むようになされ、各マクロブロックＭＢは第３図（Ｃ）に示すように16×16画素分の輝度信号データＹ00〜Ｙ11（それぞれ８×８画素分の輝度信号データでなる）及び輝度信号データＹ00〜Ｙ11の全画素データに対応する色信号データでなる色信号データＣb 及びＣr を含んでなる。
【００２７】
かくしてマクロブロックＭＢごとに送出される入力画像データＳ２１は動き補償回路２５に与えられ、動き補償回路２５はヘッダデータ処理系ＳＹＭ２に対して設けられている動き補償制御ユニット２６から与えられる動き検出制御信号Ｓ２２に応動して予測前フレームメモリ２７の予測前フレームデータＳ２３と入力画像データＳ２１とを比較して動きベクトルデータMVD(x)及びMVD(y)を検出して動き補償制御ユニット２６に第１のヘッダデータＨＤ１（第４図）のデータとして供給すると共に、動き補償回路本体２５Ａにおいて予測前フレームデータＳ２３に対して動きベクトルデータMVD(x)及びMVD(y)分の動き補償をすることにより予測現フレームデータＳ２４を形成して現在処理しようとしている入力画像データＳ２１でなる現フレームデータＳ２５と共に画像データ符号化回路２８に供給する。
【００２８】
ここで動き補償制御ユニット２６は、第４図に示すように、第１のヘッダデータＨＤ１として現在処理しているマクロブロックごとに、フレーム画像データＦＲＭの伝送順序を表す伝送フレーム番号データTR Counterと、そのブロックグループＧＯＢ（第３図（Ａ））を表すブロックグループ番号データGOB address と、そのうちのマクロブロックＭＢを表すマクロブロック番号データMB addressとを付加することによって順次画素データ処理系ＳＹＭ１の各処理段に伝送されて行くマクロブロックＭＢを表示するようになされていると共に、当該処理対象マクロブロックＭＢの処理ないし処理形式を表すフラグデータFLAGS と、当該マクロブロックＭＢの動きベクトルデータMVD(x)及びMVD(y)と、その評価値を表す差分データΣ｜Ａ−Ｂ｜と形成する。
【００２９】
フラグデータFLAGS は第５図に示すように、最大限１ワード（16ビット）分のフラグをもち得るようになされ、第０ビットには、当該処理対象マクロブロックＭＢについて動き補償モードで処理すべきか否かを表す動き補償制御フラグMC on/off がセットされる。
【００３０】
またフラグデータFLAGS の第１ビットには、当該処理対象マクロブロックＭＢをフレーム間符号化モードで処理すべきであるか又はフレーム内符号化モードで処理すべきであるかを表すフレーム間／フレーム内フラグInter/Intra がセットされる。
【００３１】
またフラグデータFLAGS の第２ビットには、動き補償回路２５のループフィルタ２５Ｂを使用するか否かを表すフィルタフラグFilter on/off が設定される。
【００３２】
またフラグデータFLAGS の第３ビットには、当該処理対象マクロブロックに含まれるブロックデータＹ00〜Ｃr （第３図（Ｃ））を伝送すべきであるか否かを表す送信フラグCoded/Not-coded を設定できるようになされている。
【００３３】
またフラグデータFLAGS の第４ビットには、当該処理対象マクロブロックＭＢを駒落しするか否かを表す駒落しフラグDrop frame flag を設定し得るようになされている。
【００３４】
またフラグデータFLAGS の第５ビットには、当該処理対象マクロブロックＭＢを強制リフレッシュするか否かを表す強制リフレッシュフラグRefresh on/offを設定できるようになされている。
【００３５】
またフラグデータFLAGS の第６ビットには、マクロブロックパワー評価フラグMBP appreciateを設定できるようになされている。
【００３６】
また差分データΣ｜Ａ−Ｂ｜は、現フレームデータＳ２５の現在処理しようとするマクロブロックデータＡと、予測前フレームデータＳ２３の検出用動きベクトルによって補償されたマクロブロックデータＢとの差分のうちの最小値を表し、これにより検出された動きベクトルの評価をなし得るようになされている。
【００３７】
画像データ符号化回路２８はフレーム内符号化モードのとき動き補償回路２５から与えられる現フレームデータＳ２５をそのまま差分データＳ２６として変換符号化回路２９に供給し、これに対してフレーム間符号化モードのとき現フレームデータＳ２５の画素データと予測現フレームデータＳ２４の画素データとの差分でなる差分データＳ２６を変換符号化回路２９に供給する。
【００３８】
ヘッダデータ処理系ＳＹＭ２には画像データ符号化回路２８に対応するようにフレーム間／フレーム内符号化制御ユニット３０が設けられ、動き補償制御ユニット２６から供給されるヘッダデータＨＤ１及び画像データ符号化回路２８から供給される演算データＳ３１に基づいて、画像データ符号化回路２８の符号化モードを指定するためのフレーム間／フレーム内フラグInter/Intra （第５図）及び動き補償回路２５のループフィルタ２５Ｂの動作を制御するためのフィルタフラグFilter on/off （第５図）とを得るのに必要なデータを演算して第２のヘッダデータＨＤ２としてフィルタ制御ユニット３１に送出する。
【００３９】
第２のヘッダデータＨＤ２は、第４図に示すように、ヘッダデータＨＤ１を構成する伝送フレーム番号データTR Counter〜差分データΣ｜Ａ−Ｂ｜をそのまま引き継ぐと共に、フィルタ制御ユニット３１においてフレーム間／フレーム内符号化モード切換信号Ｓ３３及びフィルタオン／オフ信号Ｓ３４を形成するために必要なパワーデータΣ (Ａ)2 (Ｌ）及びΣ（Ａ)2（Ｈ）、Σ（Ａ−Ｂ)2（Ｌ）及びΣ（Ａ−Ｂ)2（Ｈ）、Σ（Ａ−ＦＢ)2（Ｌ）及びΣ（Ａ−ＦＢ)2（Ｈ）、Σ（Ａ）をフレーム間／フレーム内符号化制御ユニット３０において付加されるようになされている。
【００４０】
ここで、パワーデータΣ（Ａ)2（Ｌ）及びΣ（Ａ)2（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ−Ｂ)2（Ｌ）及びΣ（Ａ−Ｂ)2（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡとループフィルタ２５Ｂを介さずに形成された予測現フレームデータＳ２４のマクロブロック画素データＢとの差分Ａ−Ｂの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ−ＦＢ)2（Ｌ）及びΣ（Ａ−ＦＢ)2（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡとループフィルタ２５Ｂを介して形成された予測現フレームデータＳ２４のマクロブロック画素データＦＢとの差分Ａ−ＦＢの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ）は現フレームデータＳ２５のマクロブロック画素データＡの和を表し、それぞれ処理するデータの大きさを評価するためにデータ量をパワー値として表現したもの（２乗和は符号に無関係な値として求めた）である。
【００４１】
フィルタ制御ユニット３１は、フレーム間／フレーム内符号化制御ユニット３０から渡された第２のヘッダデータＨＤ２と、伝送バッファメモリ３２から供給される残量データＳ３２とに基づいて、画像データ符号化回路２８に対してフレーム間／フレーム内符号化モード切換信号Ｓ３３を送出すると共に、ループフィルタ２５Ｂに対してフィルタオン／オフ信号Ｓ３４を送出し、さらに当該フィルタオン／オフ信号Ｓ３４の内容を表すフィルタフラグFilter on/off を第２のヘッダデータＨＤ２に付加して第３のヘッダデータＨＤ３としてスレショルド制御ユニット３５に渡す。
【００４２】
ここでフィルタ制御ユニット３１は第１に、フレーム間符号化処理をした場合の伝送データ量の方がフレーム内符号化処理をした場合の伝送データ量より大きくなったとき画像データ符号化回路２８をフレーム内符号化モードに制御する。
【００４３】
またフィルタ制御ユニット３１は第２に、フレーム間符号化モードで処理をしている状態においてループフィルタ２５Ｂにおける処理を受けた予測現フレームデータＳ２４より当該処理を受けない予測現フレームデータＳ２４の方が差分値が小さい場合には、フィルタオン／オフ信号Ｓ３４によってフィルタリング動作をさせないようにループフィルタ２５Ｂを制御する。
【００４４】
またフィルタ制御ユニット３１は第３に、強制リフレッシュモードになったとき、フレーム間／フレーム内符号化モード切換信号Ｓ３３によって画像データ符号化回路２８をフレーム内符号化モードに切り換える。
【００４５】
さらにフィルタ制御ユニット３１は第４に、伝送バッファメモリ３２から供給される残量データＳ３２に基づいて伝送バッファメモリ３２がオーバーフローするおそれがある状態になったとき、これを検出して駒落し処理をすべきことを命令するフラグを含んでなる第３のヘッダデータＨＤ３をスレショルド制御ユニット３５に送出する。
【００４６】
かくして画像データ符号化回路２８は現フレームデータＳ２５と予測現フレームデータＳ２４との差分が最も小さくなるようなモードで符号化してなる差分データＳ２６を変換符号化回路２９に供給する。
【００４７】
第３のヘッダデータＨＤ３は、第４図に示すように、ヘッダデータＨＤ２から伝送フレーム番号データTR Counter〜動きベクトルデータMVD(x)及びMVD(y)を引き継ぐと共に、フィルタ制御ユニット３１においてブロックデータＹ00〜Ｃr に対応する６ビット分のフィルタフラグFilter on/off を付加される。
【００４８】
変換符号化回路２９はディスクリートコサイン変換回路でなり、 ディスクリートコサイン変換後のディスクリートコサイン変換係数値を６個のブロックＹ00、Ｙ01、Ｙ10、Ｙ11、Ｃb 、Ｃr ごとにジグザグスキャンしてなる変換符号化データＳ３５として伝送ブロック設定回路３４に送出する。
【００４９】
伝送ブロック設定回路３４は変換符号化データＳ３５として送出されて来る６個のブロックデータＹ00〜Ｃr （第３図（Ｃ））について、それぞれ先頭の係数データからｎ個までの２乗和を演算して当該演算結果をパワー検出データＳ３６としてスレショルド制御ユニット３５に渡す。
【００５０】
このときスレショルド制御ユニット３５は各ブロックデータＹ00〜Ｃr ごとにパワー検出データＳ３６を所定のスレショルドと比較し、パワー検出データＳ３６が当該スレショルドより小さいとき当該ブロックデータの伝送を許容せず、これに対して大きいとき許容することを表す６ビット分の送信可否フラグデータＣＢＰＮを形成してこれをフィルタ制御ユニット３１から渡された第３のヘッダデータＨＤ３に付加して第４のヘッダデータＨＤ４として量子化制御ユニット３６に渡すと共に、伝送ブロック設定回路３４から対応するブロックデータＹ00〜Ｃr を量子化回路３７に送信ブロックパターン化データＳ３７として送出させる。
【００５１】
ここで第４のヘッダデータＨＤ４は第４図に示すように、ヘッダデータＨＤ３の伝送フレーム番号データTR Counter〜フィルタフラグFilter on/off をそのまま引き継ぐと共に、スレショルド制御ユニット３５においてブロックＹ00〜Ｃr に対応して発生する６ビット分の送信可否フラグＣＢＰＮが付加される。
【００５２】
量子化制御ユニット３６はスレショルド制御ユニット３５から渡された第４のヘッダデータＨＤ４と、伝送バッファメモリ３２から送出される残量データＳ３２とに基づいて第６図に示す量子化ステップサイズ決定処理ルーチンＲＴ０を実行することにより量子化ステップサイズ制御信号Ｓ３８を量子化回路３７に与え、これにより量子化回路３７をマクロブロックＭＢに含まれるデータに適応した量子化ステップサイズで量子化処理させ、その結果量子化回路３７の出力端に得られる量子化画像データＳ３９を可変長符号化回路３８に供給させる。
【００５３】
これと共に量子化制御ユニット３６は、第４図に示すように、 第５のヘッダデータＨＤ５として、ヘッダデータＨＤ４に基づいてブロックデータＹ00〜Ｃr （第３図（Ｃ））にそれぞれ対応するフラグデータFLAGS 及び動きベクトルデータMVD(x)及びMVD(y)に分離してこれを直列に配列させたデータを形成して可変長符号化回路３８及び逆量子化回路４０に渡す。
【００５４】
ここで、ヘッダデータＨＤ５は、第４図に示すように、ヘッダデータＨＤ４のうち伝送フレーム番号データTR Counter〜マクロブロック番号データMB addressをそのまま引き継ぐと共に、量子化制御ユニット３６において量子化サイズデータQNT と、ブロックデータＹ00〜Ｃr に対するフラグデータFLAGS 、動きベクトルデータMVD(x)及びMVD(y)を付加する。
【００５５】
可変長符号化回路３８はヘッダデータＨＤ５及び量子化画像データＳ３９を可変長符号化処理して伝送画像データＳ４０を形成し、これを伝送バッファメモリ３２に供給する。
【００５６】
可変長符号化回路３８はブロックデータＹ00〜Ｃr を可変長符号化する際に、対応するフラグデータFLAGS に基づいて「駒落し」、又は「送信不可」が指定されているとき、当該ブロックデータを伝送画像データＳ４０として送出させずに捨てるような処理をする。
【００５７】
伝送バッファメモリ３２は伝送画像データＳ４０を溜め込んで行くと共に、これを所定の伝送速度で読み出してマルチプレクサ４１において音声データ発生装置４２から送出される伝送音声データＳ４１と合成して伝送路４３に送出する。
【００５８】
逆量子化回路４０は量子化回路３７から送出される量子化画像データＳ３９をヘッダデータＨＤ５に基づいて逆量子化した後、当該逆量子化データＳ４２を逆変換符号化回路４３に供給することにより逆変換符号化データＳ４３に変換させた後デコーダ回路４４に供給させ、かくして伝送画像データＳ４０として送出された画像情報を表す符号化差分データＳ４４を予測前フレームメモリ２７に供給させる。
【００５９】
このとき予測前フレームメモリ２７は、符号化差分データＳ４４を用いてそれまで保存していた予測前フレームデータを修正演算して新たな予測前フレームデータとして保存する。
【００６０】
かくして第１図の構成のエンコーダ２１Ａによれば、ヘッダデータ処理系ＳＹＭ２から供給されるヘッダ情報に基づいて画素データ処理系ＳＹＭ１において画素データがマクロブロック単位でパイプライン処理されて行くのに対して、これと同期するようにヘッダデータ処理系ＳＹＭ２においてヘッダデータを受け渡して行くようにすることにより、ヘッダデータ処理系ＳＹＭ２の各処理段において必要に応じてヘッダデータを付加又は削除することにより画素データを必要に応じて適応処理できる。
【００６１】
デコーダ２１Ｂは第２図に示すように、伝送路４３を介してエンコーダ２１Ａから伝送されて来る伝送データをデマルチプレクサ５１を介して伝送バッファメモリ５２に受けると共に、伝送音声データＳ５１を音声データ受信装置５３に受ける。
【００６２】
伝送バッファメモリ５２に受けた画像データは可変長逆変換回路５４において受信画像データＳ５２及びヘッダデータＨＤ１１に分離され、逆量子化回路５５において逆量子化データＳ５３に逆量子化された後逆変換符号化回路５６においてデイスクリート逆変換処理されて逆変換符号化データＳ５４に逆変換される。
【００６３】
この逆変換符号化データＳ５４は逆量子化回路５５において形成されたヘッダデータＨＤ１２と共にデコーダ回路５７に与えられ、符号化差分データＳ５５としてフレームメモリ５８に蓄積される。
【００６４】
かくしてフレームメモリ５８には符号化差分データＳ５５に基づいて伝送されて来た画像データが復号化され、当該復号化画像データＳ５６がディジタル／アナログ変換回路５９においてアナログ信号に変換された後出力回路部６０を介して出力映像信号ＶＤOUT として送出される。
【００６５】
(G2)量子化ステップサイズ決定処理
量子化制御ユニット３６は第６図に示す量子化ステップサイズ決定処理ルーチンＲＴ０をマクロブロックＭＢごとに実行することによって現在処理しようとしているマクロブロックＭＢがもつ画像データの形式（これをマクロブロックタイプと呼ぶ）に適応するような量子化ステップサイズQNT を選定して量子化ステップサイズ制御信号Ｓ３８として量子化回路３７に供給することにより、マクロブロックタイプによっては生ずるおそれがある画質の乱れを生じさせないように量子化回路３７を制御する。
【００６６】
この実施例の場合量子化回路３７は第７図に示すように、量子化ステップサイズQNT として上限値QNT ＝31から下限値QNT ＝１までの段階を可変できるようになされ、量子化制御ユニット３６は伝送バッファメモリ３２のデータ残量Bufferが量子化ステップサイズQNT の可変制御範囲に相当する値、すなわち量子化サイズ可制御範囲QCR の範囲に入るような適正の値になるように量子化ステップサイズQNT の値をマクロブロックタイプMacro Block Typeに応じて適応制御する。
【００６７】
(G2-1)データ残量が過大の場合の処理
すなわち量子化制御ユニット３６は第６図の量子化ステップサイズ決定処理ルーチンＲＴ０に入ると、ステップＳＰ１において伝送バッファメモリ３２の残量データBufferがマージンMargine と量子化サイズ可制御範囲QCR との和より大きいか否かの判断をする。
【００６８】
ここで肯定結果が得られると、このことは伝送バッファメモリ３２のデータ残量Bufferが上限値を超えていることを意味し、このとき量子可制御ユニット３６はステップＳＰ２に移って量子化ステップサイズQNT を最大値、すなわちQNT ＝31に設定するような量子化ステップサイズ制御信号Ｓ３８を量子化回路３７に供給した後、ステップＳＰ３に移って現在設定した量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTとして保存する。
【００６９】
かくして量子化制御ユニット３６は当該量子化ステップサイズ決定処理ルーチンＲＴ０をステップＳＰ４において終了し、これにより量子化回路３７において最も粗い量子化ステップサイズで変換符号化データＳ３５の量子化を実行する。
【００７０】
この結果量子化回路３７から発生される量子化画像データＳ３９のデータ量は最も小さい値に制御されることにより、伝送バッファメモリ３２のデータ残量Bufferは低下して行く。
【００７１】
この動作はステップＳＰ１において肯定結果が得られる間繰り返し実行され、その結果やがて伝送バッファメモリ３２の残量データがマージンMargine 及び量子化サイズ可制御範囲QCR の和QCR ＋Margine より小さい値になる。
【００７２】
(G2-2)フレーム内符号化モードにおける処理
このような状態になると、量子化制御ユニット３６はステップＳＰ１において否定結果が得られることによりステップＳＰ５に移り、マクロブロックタイプMacro Block Typeがフレーム内符号化ブロックであり、かつ強制リフレッシュブロックではないブロックnot refresh block であるか否かの判断をする。
【００７３】
ここでマクロブロックタイプMacro Block Typeは、第８図に示すように、スレショルド制御ユニット３５から量子化制御ユニット３６に渡されるヘッダデータＨＤ４に含まれるフラグデータFLAGS の第２ビット、第１ビット、第０ビットによって表されており、これらのビットが「０１０」のときマクロブロックタイプはフレーム内符号化型Intra であり、「０００」のときフレーム間符号化型Inter であり、「００１」のときフィルタ不使用動き補償型MC-not filtered であり、「１０１」のときフィルタ使用動き補償型MC-filtered になる。
【００７４】
そこでステップＳＰ５において肯定結果が得られたとき、このことはフラグデータFLAGS の第２、第１、第０ビットが「０００」であり、かつ第４ビットの強制リフレッシュフラグrefresh が論理「０」の状態にあることを表している。
【００７５】
ところでこのような状態は、マクロブロックタイプがフィルタ内符号化を必要とする程前フレームに対する現フレームの変化が激しいことを意味しており、しかも現在は強制リフレッシュモードが指定されていないような条件下にあることを意味している。
【００７６】
このような条件下にあるとき量子化回路３７において細かい量子化ステップサイズで量子化をすれば量子化回路３７から発生される量子化画像データＳ３９のデータ量が極く大きい値になり、結局バッファメモリ３２にオーバーフローが生ずるおそれが近づいていると言って良い。
【００７７】
このとき量子化制御ユニット３６はステップＳＰ６に移って量子化ステップサイズQNT を上限値QNT ＝31に設定し、これにより量子化回路３７から発生する量子化データＳ３９のデータ量を抑制するような処理を実行し、その結果伝送バッファメモリ３２がオーバーフローする状態の発生を未然に回避させる。
【００７８】
これに対してステップＳＰ５において否定結果が得られたとき、このことは処理対象マクロブロックのタイプがフレーム内符号化型Intra ではないこと、又はフレーム内符号化型Intra であっても強制リフレッシュの結果生じたものであることを表しており、このとき量子化制御ユニット３６はステップＳＰ６の処理をせずにこれをジャンプする。
【００７９】
(G2-3)強制リフレッシュモードにおける処理
次に量子化制御ユニット３６はステップＳＰ７において処理対象マクロブロックのタイプが強制リフレッシュ型refresh block であるか否かの判断をする。
【００８０】
ここで肯定結果が得られると、このことは強制リフレッシュをすべきことが指定されたことを表しており、このとき量子化制御ユニット３６はステップＳＰ８に移って量子化ステップサイズQNT として前フレームの量子化処理の際に用いられた前フレーム量子化ステップサイズPQNTを設定し、これにより強制リフレッシュ処理を実行すべきことが指定されたときには前フレームと同じ量子化ステップサイズで量子化を実行するようにする。
【００８１】
このようにすれば、強制リフレッシュ処理を実行する際に、当該強制リフレッシュ処理をした際にこれが実用上目障りにならないように画質を変化させないようにすることができる。
【００８２】
因に強制リフレッシュは所定の周期でしかも画像の内容とは無関係に実行されるので、画像の内容には変化がないにもかかわらず前フレームと比較して量子化ステップサイズの値が変化すると当該変化が目障りになる場合が多い。
【００８３】
これに対して強制リフレッシュが指定されたとき量子化ステップサイズの値を変更しないようにすれば、当該リフレッシュの際に目障りな画像の変化を生じさせないようにできる。
【００８４】
なお量子化ステップサイズの値として同じ値を選定することに代えて少し小さい値を選定するようにしても上述の場合と同様の効果を得ることができる。
【００８５】
因に画像の変化がない状態において強制リフレッシュが指定されたとき、量子化ステップサイズを大きくすれば、このことは復元画像の画質を劣化させることになるのに対して、量子化ステップサイズを少し小さくすれば、復元画像の画質を少し改善できることにより実用上人の目には画像の変化として感じさせないようにし得る。
【００８６】
これに対してステップＳＰ７において否定結果が得られると、このことは現在強制リフレッシュの指定がされていないことを表しており、このとき量子化制御ユニット３６はステップＳＰ８おける処理をせずにこれをジャンプする。
【００８７】
(G2-4)差分データのパワーが大きい場合の処理
次に量子化制御ユニット３６はステップＳＰ９においてマクロブロックタイプがフレーム間符号化型Inter でありかつマクロブロックパワーMBP が所定のスレショルド値Threshold より大きいか否かの判断をする。
【００８８】
ここで、マクロブロックパワーMBP は、
【００８９】
【数１】
【００９０】
によって定義され、かくしてステップＳＰ９において肯定結果が得られると、このことは当該マクロブロックＭＢの画像データ、すなわち差分データのマクロブロックパワーMBP が大きいために、ある程度粗い量子化ステップサイズで量子化して伝送しても復元画像の画質が極端に劣化するような影響は生じない状態にあることを意味する。
【００９１】
そこで量子化制御ユニット３６はこのような条件を満足するマクロブロックが変換符号化回路２９においてディスクリートコサイン変換されたときには、これをステップＳＰ９において確認してステップＳＰ１０に移って量子化ステップサイズQNT を最も粗い値、すなわち上限値31に設定する。
【００９２】
これに対してマクロブロックパワーMBP がそれ程大きくないマクロブロックの変換符号化データＳ３５が送出された場合には、量子化制御ユニット３６はステップＳＰ１０の処理をしないようにこれをジャンプする。
【００９３】
ところで、（１）式によって表されるマクロブロックパワーMBP は、変換符号化回路２９におけるディスクリートコサイン変換処理の結果得られるディスクリートコサイン変換係数Ｃoeff（ｉ）に基づいて各マクロブロックの重みを演算しようとするもので、当該ディスクリートコサイン変換係数の重みはディスクリートコサイン変換することによって得られた伝送信号の強さを表しており、従ってマクロブロックパワーMBP が大きいことは信号伝送手段としての伝送信号の強さが大きいから、これを若干圧縮して伝送しても受信側において外来雑音に影響されることなく伝送情報を正しく再現できることを表している。
【００９４】
そこでこのような場合量子化制御ユニット３６は量子化ステップサイズQNT を大きい値に変更することにより量子化回路３７において発生される量子化データＳ３９のデータ量を圧縮することにより伝送路４３への負担を軽減するようにする。
【００９５】
因に変換符号化回路２９を構成するディスクリートコサイン変換回路は次式、
【００９６】
【数２】
【００９７】
によってディスクリートコサイン変換を実行すると共に、逆変換符号化回路５６を形成するディスクリートコサイン逆変換回路は次式、
【００９８】
【数３】
【００９９】
によってディスクリートコサイン逆変換を実行する。ここでｘ、ｙはマクロブロックにおける画素の座標（左上隅の座標（０、０）とする）、ｕ、ｖはディスクリートコサイン変換時の係数の座標を表す。
【０１００】
またｕ、ｖ＝０のとき、
【０１０１】
【数４】
【０１０２】
になり、その他の場合には、
【０１０３】
【数５】
【０１０４】
のようになる。
【０１０５】
（２）式及び（３）式の変換は実際上、Ｘをマクロブロック内の画像データ行列、Ｃをディスクリートコサイン変換時の変換行列とした場合、変換符号化回路２９においては先ず、画像データ行列Ｘを水平変換することにより変換画像データ行列ＸＣ-1を得た後、次に再度垂直変換処理をすることにより変換画像データ行列Ｃ（Ｘ）Ｃ-1を得る。
【０１０６】
かくして得られる変換画像データ行列Ｃ（Ｘ）Ｃ-1は、第９図に示すように、係数Ｃoeff（１）、Ｃoeff（２）、Ｃoeff（３）……Ｃoeff（64）が８×８行列でなる変換係数行列として表すことができ、当該変換係数行列の各係数Ｃoeff（ｉ）（ｉ＝１〜64）を時間の経過に従って変換行列の中からｉ＝１、２、３……64の順序でスキャンをしながら読み出して行く。
【０１０７】
かくして１マクロブロック分の画像データは変換行列を構成する変換係数Ｃoeff（ｉ）（ｉ＝１〜64）に変換され、これが時間直列的に配列された伝送データとして量子化回路３７に供給されることになる。
【０１０８】
かくして量子化回路３７に供給される変換係数データ列Ｃoeff（１）、Ｃoeff（２）……Ｃoeff（64）は、伝送しようとする情報を表していると共に、伝送しようとする信号の強さをも表しており、従って（１）式によって表されているように、変換係数データ列Ｃoeff（ｉ）（ｉ＝１、２……64）に含まれるｉ＝１〜ｎまでの変換係数データの２乗は、伝送しようとする信号の強さを水平方向及び垂直方向の影響が等しくなるように累積加算した値となり、結局（１）式はこれをマクロブロックパワーMBP として定義していることになる。
【０１０９】
実際上画像データをディスクリートコサイン変換することにより第９図に示すような変換係数行列を得た場合、左上隅部の変換係数Ｃoeff（ｉ）、すなわち低次の変換係数にパワーが集中し、これに対して右下隅部の変換係数、すなわち高次の変換係数には有意情報が生じない傾向があり、かくしてディスクリートコサイン変換によって伝送データの圧縮を実現できる。
【０１１０】
従って第６図のステップＳＰ９においてマクロブロックタイプMacro Block Typeがフレーム間符号化型Inter であることを確認したとき、（１）式に基づいて得られるマクロブロックパワーMBP が所定のスレショルド値Threshold より大きいことを確認できれば、このことは当該マクロブロックＭＢにおける差分データの値が十分に大きく、従って粗い量子化をしても良いことを確認し得たことになる。そこでかかる判断に従ってステップＳＰ１０において量子化ステップサイズQNT を上限値に選定すれば、当該差分データを比較的少ないデータ量によって伝送できることになる。
【０１１１】
(G2-5)フレーム間符号化モードにおける処理
量子化制御ユニット３６は第６図のステップＳＰ１１において、マクロブロックタイプMacro Block Typeがフレーム間符号化型Inter でありかつマクロブロックパワーMBP が所定のスレショルド値Threshold より小さいことを確認したときステップＳＰ１２に移って量子化ステップサイズQNT を前フレームにおいて使用された前フレーム量子化ステップサイズPQNTの 1/2の値に設定し、その後ステップＳＰ１３において当該設定した量子化ステップサイズQNT の値が下限値１より小さいか否かを判断し、小さいときステップＳＰ１４において量子化ステップサイズQNT を下限値１に再設定し直すと共に、１より小さくない時には再設定することなくそのままの値を量子化ステップサイズQNT として設定するような処理をする。
【０１１２】
ここでマクロブロックパワーMBP は（１）式について上述したように当該マクロブロックの画像データの差分データ信号の強さを表しているので、ステップＳＰ１１において肯定結果が得られたときには当該差分が小さいこと、従って画像の内容が前フレームの画像と比較して変化が小さいことを表している。
【０１１３】
このような画像データが得られた場合には、現在伝送しようとする画像は、前フレームの画像を大幅に変更することなく部分的に手直しする程度の変化しか生じていない状態にあることを表している。
【０１１４】
そこで量子化制御ユニット３６がステップＳＰ１２において前フレームの量子化処理結果に基づいてその量子化ステップサイズPQNTを 1/2に細かくして現フレームの量子化ステップサイズQNT として設定するようにすれば、前フレームと比較して動きが少なくなった現フレームに対して当該変化が少なくなった分量子化ステップサイズを細かくできることにより、一段と最適な量子化ステップサイズに設定できることになる。
【０１１５】
このような量子化ステップサイズの縮小化処理はその後動きが少ない画像が続く限り量子化制御ユニット３６がステップＳＰ１１及びＳＰ１２において繰り返し実行するので、結局動きが少ない画像を伝送し続ける場合にはこれに適応するような値に量子化ステップサイズを収束させることができることになる。
【０１１６】
かくするにつき、ステップＳＰ１３及びＳＰ１４において量子化ステップサイズQNT を下限値１より小さくさせないようにしたことにより、結局量子化制御ユニット３６は動きが少ない画像を伝送する場合には量子化ステップサイズQNT を下限値に収束させた状態で安定に量子化処理をできることになる。
【０１１７】
これに対してステップＳＰ１１において否定結果が得られたとき、量子化制御ユニット３６は現在伝送しようとする画像の変化が大きいと判断してステップＳＰ１２、ＳＰ１３、ＳＰ１４の処理をせずにこれをジャンプする。
【０１１８】
(G2-6)量子化制御ユニット３６の動作
第６図において、第１に、伝送バッファメモリ３２の残量データBufferが上限値（QCF ＋Margin）を超えると、量子化制御ユニット３６はこれをステップＳＰ１において検出してステップＳＰ２において量子化回路３７の量子化ステップサイズQNT を上限値31に設定し、これにより伝送バッファメモリ３２のデータ残量データBufferを低減させることにより上限値以下の状態に維持させるように制御する。
【０１１９】
この状態において第２に、マクロブロックタイプMacro Block Typeがフレーム内符号化型でかつ強制リフレッシュブロックではないブロックデータが量子化回路３７に与えられたとき量子化制御ユニット３６はこれをステップＳＰ５において確認してステップＳＰ６において量子化回路３７の量子化ステップサイズQNT を上限値31に設定することにより伝送バッファメモリ３２がオーバーフローしないように制御する。
【０１２０】
このような動作モードのとき量子化制御ユニット３６はステップＳＰ７、ＳＰ９、ＳＰ１１においてそれぞれ否定結果が得られることにより、ステップＳＰ６において設定した量子化ステップサイズをステップＳＰ３において前フレーム量子化ステップサイズPQNTとして設定した後当該処理手順を終了する。
【０１２１】
第３に、量子化回路３７に強制リフレッシュブロック型のマクロブロックタイプをもつデータが与えられたとき、量子化制御ユニット３６は量子化ステップサイズ決定処理ルーチンＲＴ０においてステップＳＰ１−ＳＰ５−ＳＰ７のループによってこれを判断し、ステップＳＰ８において量子化回路３７の量子化ステップサイズQNT として前フレーム量子化ステップサイズPQNTを設定し、これにより強制リフレッシュモードに入ったときに伝送する画像の画質を前フレームの画像から変化させないようにすることにより、強制リフレッシュ時に目障りな画質の変化を生じさせないようにする。
【０１２２】
このとき量子化制御ユニット３６はステップＳＰ９、ＳＰ１１においてそれぞれ否定結果が得られることによりステップＳＰ８において設定した量子化ステップサイズQNT をステップＳＰ３において前フレーム量子化ステップサイズPQNTとして設定して当該処理を終了する。
【０１２３】
第４に、量子化回路３７にマクロブロックパワーMBP が大きなマクロブロックの画像データが供給されたとき、量子化制御ユニット３６は量子化ステップサイズ決定処理ルーチンＲＴ０においてステップＳＰ１−ＳＰ５−ＳＰ７−ＳＰ９のループによってこれを確認し、ステップＳＰ１０において量子化回路３７の量子化ステップサイズQNT を上限値31に設定し、これにより、量子化回路３７において発生するデータ量を小さい値に抑制し、その結果一段と効率良く画像データの伝送をさせるようにできる。
【０１２４】
このとき量子化制御ユニット３６はかかる処理が終了した後、ステップＳＰ１１において否定結果が得られることによりステップＳＰ３においてステップＳＰ１０で設定された量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTとして設定し直した後、当該処理ルーチンを終了する。
【０１２５】
第５に、量子化回路３７にフレーム間符号化型でマクロブロックパワーMBP が小さいマクロブロックデータが供給されたとき量子化制御ユニット３６はこれを量子化ステップサイズ決定処理ルーチンＲＴ０のステップＳＰ１−ＳＰ５−ＳＰ７−ＳＰ９−ＳＰ１１のループによって確認し、ステップＳＰ１２において前フレーム量子化ステップサイズPQNTの 1/2の値を量子化ステップサイズQNT として設定することにより、量子化ステップサイズを下限値１に収束させて行く。
【０１２６】
かくしてマクロブロックパワーMBP に適用して最適な量子化ステップサイズを設定することができる。
【０１２７】
(G3)他の実施例
(1) 第６図のステップＳＰ６及びＳＰ１０において量子化ステップサイズQNT を上限値31に設定した場合について述べたが、設定する量子化ステップサイズQNT としては上限値に限らず、その他の値を選定しても良く、要は、粗い量子化を実行し得る大きさの粗量子化値を選定するようにすれば良い。
【０１２８】
(2) 第６図のステップＳＰ９及びＳＰ１１においてマクロブロックパワーMBP の大きさを判断するにつき、同じスレショルド値Threshold を選定するようにした場合について述べたが、これに代え、異なる値を選定するようにしても上述の場合と同様の効果を得ることができる。
【０１２９】
(3) 第６図のステップＳＰ１２において量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTから求めるにつき、その 1/2の値を設定するようにした場合について述べたが、その比率は 1/2に限らず必要に応じて他の値に変更しても良く、要は前フレーム量子化ステップサイズに対して所定の比率で縮小した大きさの量子化ステップサイズに選定すれば良い。
【０１３０】
(4) 第６図のステップＳＰ１３及びＳＰ１４において量子化ステップサイズQNT を下限値１に収束させるようにした場合について述べたが、収束させる値は下限値に限らず必要に応じてその他の値を選定するようにしても良い。
【０１３１】
【発明の効果】
上述のように、本発明によれば、画素データ処理系の複数の符号化処理のタイミングに合わせて、ヘッダデータ処理系においてディスクリートコサイン変換処理及び量子化変換処理の処理結果を表す処理情報データを転送して行くと共に、画像データの伝送の直前に、当該処理情報データを画素データ処理系から得られる画像データに付加するようにしたことにより、簡易かつ適正に伝送用の符号化画像データを発生させることができる。
【図面の簡単な説明】
【図１】本発明による映像信号符号化方法を適用した画像情報伝送システムを構成するエンコーダを示すブロック図である。
【図２】本発明による映像信号符号化方法を適用した画像情報伝送システムを構成するデコーダを示すブロック図である。
【図３】フレーム画像データの構成を示す略線図である。
【図４】図１のヘッダデータ処理系を示すブロック図である。
【図５】図４のフラグデータの構成を示す略線図である。
【図６】図１の量子化制御ユニット３６の量子化ステップサイズ決定処理ルーチンを示すフローチャートである。
【図７】図１の伝送バッファメモリ３２の残量データの変化を示す曲線図である。
【図８】マクロブロックタイプの類型を示す図表である。
【図９】変換係数行列を示す図表である。
【図１０】フレーム内／フレーム間符号化処理の説明に供する略線図である。
【図１１】従来の画像データ発生装置を示すブロック図である。
【図１２】その量子化ステップを示す曲線図である。
【符号の説明】
２１……画像情報伝送システム、２１Ａ……エンコーダ、２１Ｂ……デコーダ、２５……動き補償回路、２６……動き補償制御ユニット、２７……予測前フレームメモリ、２８……画像データ符号化回路、２９……変換符号化回路、３０……フレーム間／フレーム内符号化制御ユニット、３１……フィルタ制御ユニット、３２……伝送バッファメモリ、３４……伝送ブロック設定回路、３５……スレショルド制御ユニット、３６……量子化制御ユニット、３７……量子化回路、３８……可変長符号化回路。
【発明の属する技術分野】
本発明は符号化装置及び方法に関し、特に映像信号を高能率符号化して画像データに変換処理する場合に適用して好適なものである。
【０００２】
【従来の技術】
従来、テレビ電話システム、会議電話システムにおいて、動画映像でなる映像信号をフレーム内符号化データ及びフレーム間符号化データに高能率符号化することにより、伝送容量に比較的厳しい制限がある伝送路を通じて動画映像信号を伝送する映像信号伝送システムが提案されている（特開昭63-1183 号公報）。
【０００３】
すなわち、例えば第１０図（Ａ）に示すように、時点ｔ＝ｔ1 、ｔ2 、ｔ3 ……において動画を構成する各画像ＰＣ１、ＰＣ２、ＰＣ３……を伝送しようとする場合、映像信号には時間の経過に従って自己相関が大きい特徴がある点を利用して伝送処理すべき画像データを圧縮処理することにより伝送効率を高めるような処理をするもので、フレーム内符号化処理は画像ＰＣ１、ＰＣ２、ＰＣ３……を例えば画素データを所定の基準値と比較して差分を求めるような圧縮処理を実行し、かくして各画像ＰＣ１、ＰＣ２、ＰＣ３……について同一フレーム内における画素データ間の自己相関を利用して圧縮されたデータ量の画像データを伝送する。
【０００４】
またフレーム間符号化処理は、第１０図（Ｂ）に示すように、順次隣合う画像ＰＣ１及びＰＣ２、ＰＣ２及びＰＣ３……間の画素データの差分でなる画像データＰＣ１２、ＰＣ２３……を求め、これを時点ｔ＝ｔ1 における初期画像ＰＣ１についてフレーム内符号化処理された画像データと共に伝送する。
【０００５】
かくして画像ＰＣ１、ＰＣ２、ＰＣ３……をそのすべての画像データを伝送する場合と比較して格段的にデータ量が少ないディジタルデータに高能率符号化して伝送路に送出することができる。
【０００６】
かかる映像信号の符号化処理は、第１１図に示す構成の画像データ発生装置１において実行される。
【０００７】
画像データ発生装置１は入力映像信号ＶＤを前処理回路２において処理することにより片フィールド落し処理及び片フィールドライン間引き処理等の処理をした後、輝度信号及びクロマ信号を16画素（水平方向に）×16画素（垂直方向に）分のデータでなる伝送単位ブロック（これをマクロブロックと呼ぶ）データＳ１１に変換して画像データ符号化回路３に供給する。
【０００８】
画像データ符号化回路３は予測符号化回路４において形成される予測現フレームデータＳ１２を受けてマクロブロックデータＳ１１との差分を求めることによってフレーム間符号化データを発生し（これをフレーム間符号化モードと呼ぶ）、又はマクロブロックデータＳ１１と基準値データとの差分を求めることによりフレーム内符号化データを形成してこれを差分データＳ１３として変換符号化回路５に供給する。
【０００９】
変換符号化回路５はディスクリートコサイン変換回路で構成され、差分データＳ１３を直交変換する（すなわちディスクリートコサイン変換する）ことによって高能率符号化してなる変換符号化データＳ１４を量子化回路６に与えることにより量子化画像データＳ１５を送出させる。
【００１０】
かくして量子化回路６から得られる量子化画像データＳ１５は可変長符号化回路を含んでなる再変換符号化回路７において再度高能率符号化処理された後、伝送画像データＳ１６として伝送バッファメモリ８に供給される。
【００１１】
これに加えて量子化画像データＳ１５は予測符号化回路４において逆量子化、逆変換符号化処理されることより差分データに復号化された後予測前フレームデータを差分データによって修正演算することにより新たな予測前フレームデータを保存すると共に、マクロブロックデータＳ１１に基づいて形成される動き検出データによって予測符号化回路４に保存されている予測前フレームデータを動き補償することにより予測現フレームデータを形成して画像データ符号化回路３に供給できるようになされ、これにより現在伝送しようとするフレーム（すなわち現フレーム）のマクロブロックデータＳ１１と予測現フレームデータＳ１２との差分を差分データＳ１３として得るようになされている。
【００１２】
第１１図の構成において、第１０図について上述した動画像を伝送する場合、先ず第１０図（Ａ）の時点ｔ1 において画像ＰＣ１の画像データがマクロブロックデータＳ１１として与えられたとき、画像データ符号化回路３はフレーム内符号化モードになってこれをフレーム内符号化処理された差分データＳ１３として変換符号化回路５に供給し、これにより量子化回路６、再変換符号化回路７を介して伝送バッファメモリ８に伝送画像データＳ１６を供給する。
【００１３】
これと共に、量子化回路６の出力端に得られる量子化画像データＳ１５が予測符号化回路４において予測符号化処理されることにより、伝送バッファメモリ８に送出された伝送画像データＳ１６を表す予測前フレームデータが前フレームメモリに保持され、続いて時点ｔ2 において画像ＰＣ２を表すマクロブロックデータＳ１１が画像データ符号化回路３に供給されたとき、予測現フレームデータＳ１２に動き補償されて画像データ符号化回路３に供給される。
【００１４】
かくして時点ｔ＝ｔ2 において画像データ符号化回路３はフレーム間符号化処理された差分データＳ１３を変換符号化回路５に供給し、これにより当該フレーム間の画像の変化を表す差分データが伝送画像データＳ１６として伝送バッファメモリ８に供給されると共に、その量子化画像データＳ１５が予測符号化回路４に供給されることにより予測符号化回路４において予測前フレームデータが形成、保存される。
【００１５】
以下同様の動作が繰り返されることにより、画像データ符号化回路３がフレーム間符号化処理を実行している間、前フレームと現フレームとの間の画像の変化を表す差分データだけが伝送バッファメモリ８に順次送出されることになる。
【００１６】
伝送バッファメモリ８はこのようにして送出されて来る伝送画像データＳ１６を溜めておき、伝送路９の伝送容量によって決まる所定のデータ伝送速度で、溜めた伝送画像データＳ１６を順次伝送データＤTRANS として引き出して伝送路９に伝送して行く。
【００１７】
これと同時に伝送バッファメモリ８は残留しているデータ量を検出して当該残留データ量に応じて変化する残量データＳ１７を量子化回路６にフィードバックして残量データＳ１７に応じて量子化ステップサイズを制御することにより、伝送画像データＳ１６として発生されるデータ量を調整することにより伝送バッファメモリ８内に適正な残量（オーバーフロー又はアンダーフローを生じさせないようなデータ量）のデータを維持できるようになされている。
【００１８】
因に伝送バッファメモリ８のデータ残量が許容上限にまで増量して来たとき、残量データＳ１７によって量子化回路６の量子化ステップＳＴＰＳ（第１２図）のステップサイズを大きくすることにより、量子化回路６において粗い量子化を実行させることにより伝送画像データＳ１６のデータ量を低下させる。
【００１９】
これとは逆に伝送バッファメモリ８のデータ残量が許容下限値まで減量して来たとき、残量データＳ１７は量子化回路６の量子化ステップＳＴＰＳのステップサイズを小さい値になるように制御し、これにより量子化回路６において細かい量子化を実行させるようにすることにより伝送画像データＳ１６のデータ発生量を増大させる。
【００２０】
【発明が解決しようとする課題】
このように従来の画像データ発生装置１は、伝送データＤTRANS のデータ伝送速度が伝送路９の伝送容量に基づいて制限されている伝送条件に整合させながら有意画像情報を伝送する手段として、発生した画像データを伝送バッファメモリ８に溜め込むようにすることにより常時伝送路９の伝送容量に相当するデータ量の画像データを常時伝送路９の伝送容量の分だけ引き出すことができるように構成されているが、実際上伝送しようとする画像データによって表される信号値が大きい場合にはこれをそのまま量子化すれば信号値が大きい分伝送バッファメモリ８に溜るデータ量が過大になるおそれがあり、実用上適正なデータ量に圧縮できるようにすることが望ましい。
【００２１】
本発明は以上の点を考慮してなされたもので、簡易かつ適正な符号化画像データを発生できるようにしようとするものである。
【００２２】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像データを符号化することによって符号化画像データを生成する符号化装置において、動き補償された画像データに対して、ディスクリートコサイン変換処理をすることによって、ディスクリートコサイン変換係数データを生成する手段と、指定された量子化ステップに関する情報によりディスクリートコサイン変換係数データに対して量子化処理をすることによって、量子化ディスクリートコサイン変換係数データを生成する手段とを有し、これにより画像データの画素データに対して順次ディスクリートコサイン変換処理及び量子化処理をして行く画素データ処理系と、画素データ処理系において画素データが順次ディスクリートコサイン変換処理及び量子化処理をされるタイミングに合せて、当該ディスクリートコサイン変換処理及び量子化処理の処理結果を表す処理情報データを順次転送して行くヘッダデータ処理系と、ヘッダデータ処理系から得られる処理情報データを、マクロブロック単位で、画素データ処理系から得られる画像データに付加することによって、符号化画像データを生成する手段とを設けるようにする。
【００２３】
【発明の実施の形態】
以下図面について、本発明をテレビ電話に適用した場合の実施の形態を詳述する。
【００２４】
(G1)画像情報伝送システムの全体構成
第１図及び第２図において画像情報伝送システム２１はエンコーダ２１Ａ及びデコーダ２１Ｂによって構成され、エンコーダ２１Ａは、入力映像信号ＶＤINを入力回路部２２において前処理した後、アナログ／ディジタル変換回路２３において16×16画素分の画素データでなる伝送単位ブロックデータ、すなわちマクロブロックＭＢの画素データでなる入力画像データＳ２１を画素データ処理系ＳＹＭ１に送り込むと共に、当該画素データ処理系ＳＹＭ１の各処理段においてマクロブロックＭＢを単位として画素データが処理されるタイミングにおいて当該処理されるデータに対応する処理情報データがヘッダデータ処理系ＳＹＭ２を介して順次伝送されて行くようになされ、かくして画素データ及びヘッダデータがそれぞれ画素データ処理系ＳＹＭ１及びヘッダデータ処理系ＳＹＭ２においてパイプライン方式によって処理されて行く。
【００２５】
この実施例の場合、入力画像データＳ２１として順次送出されて来るマクロブロックデータは、第３図に示すような手法でフレーム画像データＦＲＭから抽出される。
【００２６】
先ず１枚のフレーム画像データＦＲＭは第３図（Ａ）に示すように２個（水平方向に）×６個（垂直方向に）のブロックグループＧＯＢに分割され、各ブロックグループＧＯＢが第３図（Ｂ）に示すように11個（水平方向に）×３個（垂直方向に）のマクロブロックＭＢを含むようになされ、各マクロブロックＭＢは第３図（Ｃ）に示すように16×16画素分の輝度信号データＹ00〜Ｙ11（それぞれ８×８画素分の輝度信号データでなる）及び輝度信号データＹ00〜Ｙ11の全画素データに対応する色信号データでなる色信号データＣb 及びＣr を含んでなる。
【００２７】
かくしてマクロブロックＭＢごとに送出される入力画像データＳ２１は動き補償回路２５に与えられ、動き補償回路２５はヘッダデータ処理系ＳＹＭ２に対して設けられている動き補償制御ユニット２６から与えられる動き検出制御信号Ｓ２２に応動して予測前フレームメモリ２７の予測前フレームデータＳ２３と入力画像データＳ２１とを比較して動きベクトルデータMVD(x)及びMVD(y)を検出して動き補償制御ユニット２６に第１のヘッダデータＨＤ１（第４図）のデータとして供給すると共に、動き補償回路本体２５Ａにおいて予測前フレームデータＳ２３に対して動きベクトルデータMVD(x)及びMVD(y)分の動き補償をすることにより予測現フレームデータＳ２４を形成して現在処理しようとしている入力画像データＳ２１でなる現フレームデータＳ２５と共に画像データ符号化回路２８に供給する。
【００２８】
ここで動き補償制御ユニット２６は、第４図に示すように、第１のヘッダデータＨＤ１として現在処理しているマクロブロックごとに、フレーム画像データＦＲＭの伝送順序を表す伝送フレーム番号データTR Counterと、そのブロックグループＧＯＢ（第３図（Ａ））を表すブロックグループ番号データGOB address と、そのうちのマクロブロックＭＢを表すマクロブロック番号データMB addressとを付加することによって順次画素データ処理系ＳＹＭ１の各処理段に伝送されて行くマクロブロックＭＢを表示するようになされていると共に、当該処理対象マクロブロックＭＢの処理ないし処理形式を表すフラグデータFLAGS と、当該マクロブロックＭＢの動きベクトルデータMVD(x)及びMVD(y)と、その評価値を表す差分データΣ｜Ａ−Ｂ｜と形成する。
【００２９】
フラグデータFLAGS は第５図に示すように、最大限１ワード（16ビット）分のフラグをもち得るようになされ、第０ビットには、当該処理対象マクロブロックＭＢについて動き補償モードで処理すべきか否かを表す動き補償制御フラグMC on/off がセットされる。
【００３０】
またフラグデータFLAGS の第１ビットには、当該処理対象マクロブロックＭＢをフレーム間符号化モードで処理すべきであるか又はフレーム内符号化モードで処理すべきであるかを表すフレーム間／フレーム内フラグInter/Intra がセットされる。
【００３１】
またフラグデータFLAGS の第２ビットには、動き補償回路２５のループフィルタ２５Ｂを使用するか否かを表すフィルタフラグFilter on/off が設定される。
【００３２】
またフラグデータFLAGS の第３ビットには、当該処理対象マクロブロックに含まれるブロックデータＹ00〜Ｃr （第３図（Ｃ））を伝送すべきであるか否かを表す送信フラグCoded/Not-coded を設定できるようになされている。
【００３３】
またフラグデータFLAGS の第４ビットには、当該処理対象マクロブロックＭＢを駒落しするか否かを表す駒落しフラグDrop frame flag を設定し得るようになされている。
【００３４】
またフラグデータFLAGS の第５ビットには、当該処理対象マクロブロックＭＢを強制リフレッシュするか否かを表す強制リフレッシュフラグRefresh on/offを設定できるようになされている。
【００３５】
またフラグデータFLAGS の第６ビットには、マクロブロックパワー評価フラグMBP appreciateを設定できるようになされている。
【００３６】
また差分データΣ｜Ａ−Ｂ｜は、現フレームデータＳ２５の現在処理しようとするマクロブロックデータＡと、予測前フレームデータＳ２３の検出用動きベクトルによって補償されたマクロブロックデータＢとの差分のうちの最小値を表し、これにより検出された動きベクトルの評価をなし得るようになされている。
【００３７】
画像データ符号化回路２８はフレーム内符号化モードのとき動き補償回路２５から与えられる現フレームデータＳ２５をそのまま差分データＳ２６として変換符号化回路２９に供給し、これに対してフレーム間符号化モードのとき現フレームデータＳ２５の画素データと予測現フレームデータＳ２４の画素データとの差分でなる差分データＳ２６を変換符号化回路２９に供給する。
【００３８】
ヘッダデータ処理系ＳＹＭ２には画像データ符号化回路２８に対応するようにフレーム間／フレーム内符号化制御ユニット３０が設けられ、動き補償制御ユニット２６から供給されるヘッダデータＨＤ１及び画像データ符号化回路２８から供給される演算データＳ３１に基づいて、画像データ符号化回路２８の符号化モードを指定するためのフレーム間／フレーム内フラグInter/Intra （第５図）及び動き補償回路２５のループフィルタ２５Ｂの動作を制御するためのフィルタフラグFilter on/off （第５図）とを得るのに必要なデータを演算して第２のヘッダデータＨＤ２としてフィルタ制御ユニット３１に送出する。
【００３９】
第２のヘッダデータＨＤ２は、第４図に示すように、ヘッダデータＨＤ１を構成する伝送フレーム番号データTR Counter〜差分データΣ｜Ａ−Ｂ｜をそのまま引き継ぐと共に、フィルタ制御ユニット３１においてフレーム間／フレーム内符号化モード切換信号Ｓ３３及びフィルタオン／オフ信号Ｓ３４を形成するために必要なパワーデータΣ (Ａ)2 (Ｌ）及びΣ（Ａ)2（Ｈ）、Σ（Ａ−Ｂ)2（Ｌ）及びΣ（Ａ−Ｂ)2（Ｈ）、Σ（Ａ−ＦＢ)2（Ｌ）及びΣ（Ａ−ＦＢ)2（Ｈ）、Σ（Ａ）をフレーム間／フレーム内符号化制御ユニット３０において付加されるようになされている。
【００４０】
ここで、パワーデータΣ（Ａ)2（Ｌ）及びΣ（Ａ)2（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ−Ｂ)2（Ｌ）及びΣ（Ａ−Ｂ)2（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡとループフィルタ２５Ｂを介さずに形成された予測現フレームデータＳ２４のマクロブロック画素データＢとの差分Ａ−Ｂの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ−ＦＢ)2（Ｌ）及びΣ（Ａ−ＦＢ)2（Ｈ）は現フレームデータＳ２５のマクロブロック画素データＡとループフィルタ２５Ｂを介して形成された予測現フレームデータＳ２４のマクロブロック画素データＦＢとの差分Ａ−ＦＢの２乗和の下位ビット及び上位ビットを表し、パワーデータΣ（Ａ）は現フレームデータＳ２５のマクロブロック画素データＡの和を表し、それぞれ処理するデータの大きさを評価するためにデータ量をパワー値として表現したもの（２乗和は符号に無関係な値として求めた）である。
【００４１】
フィルタ制御ユニット３１は、フレーム間／フレーム内符号化制御ユニット３０から渡された第２のヘッダデータＨＤ２と、伝送バッファメモリ３２から供給される残量データＳ３２とに基づいて、画像データ符号化回路２８に対してフレーム間／フレーム内符号化モード切換信号Ｓ３３を送出すると共に、ループフィルタ２５Ｂに対してフィルタオン／オフ信号Ｓ３４を送出し、さらに当該フィルタオン／オフ信号Ｓ３４の内容を表すフィルタフラグFilter on/off を第２のヘッダデータＨＤ２に付加して第３のヘッダデータＨＤ３としてスレショルド制御ユニット３５に渡す。
【００４２】
ここでフィルタ制御ユニット３１は第１に、フレーム間符号化処理をした場合の伝送データ量の方がフレーム内符号化処理をした場合の伝送データ量より大きくなったとき画像データ符号化回路２８をフレーム内符号化モードに制御する。
【００４３】
またフィルタ制御ユニット３１は第２に、フレーム間符号化モードで処理をしている状態においてループフィルタ２５Ｂにおける処理を受けた予測現フレームデータＳ２４より当該処理を受けない予測現フレームデータＳ２４の方が差分値が小さい場合には、フィルタオン／オフ信号Ｓ３４によってフィルタリング動作をさせないようにループフィルタ２５Ｂを制御する。
【００４４】
またフィルタ制御ユニット３１は第３に、強制リフレッシュモードになったとき、フレーム間／フレーム内符号化モード切換信号Ｓ３３によって画像データ符号化回路２８をフレーム内符号化モードに切り換える。
【００４５】
さらにフィルタ制御ユニット３１は第４に、伝送バッファメモリ３２から供給される残量データＳ３２に基づいて伝送バッファメモリ３２がオーバーフローするおそれがある状態になったとき、これを検出して駒落し処理をすべきことを命令するフラグを含んでなる第３のヘッダデータＨＤ３をスレショルド制御ユニット３５に送出する。
【００４６】
かくして画像データ符号化回路２８は現フレームデータＳ２５と予測現フレームデータＳ２４との差分が最も小さくなるようなモードで符号化してなる差分データＳ２６を変換符号化回路２９に供給する。
【００４７】
第３のヘッダデータＨＤ３は、第４図に示すように、ヘッダデータＨＤ２から伝送フレーム番号データTR Counter〜動きベクトルデータMVD(x)及びMVD(y)を引き継ぐと共に、フィルタ制御ユニット３１においてブロックデータＹ00〜Ｃr に対応する６ビット分のフィルタフラグFilter on/off を付加される。
【００４８】
変換符号化回路２９はディスクリートコサイン変換回路でなり、 ディスクリートコサイン変換後のディスクリートコサイン変換係数値を６個のブロックＹ00、Ｙ01、Ｙ10、Ｙ11、Ｃb 、Ｃr ごとにジグザグスキャンしてなる変換符号化データＳ３５として伝送ブロック設定回路３４に送出する。
【００４９】
伝送ブロック設定回路３４は変換符号化データＳ３５として送出されて来る６個のブロックデータＹ00〜Ｃr （第３図（Ｃ））について、それぞれ先頭の係数データからｎ個までの２乗和を演算して当該演算結果をパワー検出データＳ３６としてスレショルド制御ユニット３５に渡す。
【００５０】
このときスレショルド制御ユニット３５は各ブロックデータＹ00〜Ｃr ごとにパワー検出データＳ３６を所定のスレショルドと比較し、パワー検出データＳ３６が当該スレショルドより小さいとき当該ブロックデータの伝送を許容せず、これに対して大きいとき許容することを表す６ビット分の送信可否フラグデータＣＢＰＮを形成してこれをフィルタ制御ユニット３１から渡された第３のヘッダデータＨＤ３に付加して第４のヘッダデータＨＤ４として量子化制御ユニット３６に渡すと共に、伝送ブロック設定回路３４から対応するブロックデータＹ00〜Ｃr を量子化回路３７に送信ブロックパターン化データＳ３７として送出させる。
【００５１】
ここで第４のヘッダデータＨＤ４は第４図に示すように、ヘッダデータＨＤ３の伝送フレーム番号データTR Counter〜フィルタフラグFilter on/off をそのまま引き継ぐと共に、スレショルド制御ユニット３５においてブロックＹ00〜Ｃr に対応して発生する６ビット分の送信可否フラグＣＢＰＮが付加される。
【００５２】
量子化制御ユニット３６はスレショルド制御ユニット３５から渡された第４のヘッダデータＨＤ４と、伝送バッファメモリ３２から送出される残量データＳ３２とに基づいて第６図に示す量子化ステップサイズ決定処理ルーチンＲＴ０を実行することにより量子化ステップサイズ制御信号Ｓ３８を量子化回路３７に与え、これにより量子化回路３７をマクロブロックＭＢに含まれるデータに適応した量子化ステップサイズで量子化処理させ、その結果量子化回路３７の出力端に得られる量子化画像データＳ３９を可変長符号化回路３８に供給させる。
【００５３】
これと共に量子化制御ユニット３６は、第４図に示すように、 第５のヘッダデータＨＤ５として、ヘッダデータＨＤ４に基づいてブロックデータＹ00〜Ｃr （第３図（Ｃ））にそれぞれ対応するフラグデータFLAGS 及び動きベクトルデータMVD(x)及びMVD(y)に分離してこれを直列に配列させたデータを形成して可変長符号化回路３８及び逆量子化回路４０に渡す。
【００５４】
ここで、ヘッダデータＨＤ５は、第４図に示すように、ヘッダデータＨＤ４のうち伝送フレーム番号データTR Counter〜マクロブロック番号データMB addressをそのまま引き継ぐと共に、量子化制御ユニット３６において量子化サイズデータQNT と、ブロックデータＹ00〜Ｃr に対するフラグデータFLAGS 、動きベクトルデータMVD(x)及びMVD(y)を付加する。
【００５５】
可変長符号化回路３８はヘッダデータＨＤ５及び量子化画像データＳ３９を可変長符号化処理して伝送画像データＳ４０を形成し、これを伝送バッファメモリ３２に供給する。
【００５６】
可変長符号化回路３８はブロックデータＹ00〜Ｃr を可変長符号化する際に、対応するフラグデータFLAGS に基づいて「駒落し」、又は「送信不可」が指定されているとき、当該ブロックデータを伝送画像データＳ４０として送出させずに捨てるような処理をする。
【００５７】
伝送バッファメモリ３２は伝送画像データＳ４０を溜め込んで行くと共に、これを所定の伝送速度で読み出してマルチプレクサ４１において音声データ発生装置４２から送出される伝送音声データＳ４１と合成して伝送路４３に送出する。
【００５８】
逆量子化回路４０は量子化回路３７から送出される量子化画像データＳ３９をヘッダデータＨＤ５に基づいて逆量子化した後、当該逆量子化データＳ４２を逆変換符号化回路４３に供給することにより逆変換符号化データＳ４３に変換させた後デコーダ回路４４に供給させ、かくして伝送画像データＳ４０として送出された画像情報を表す符号化差分データＳ４４を予測前フレームメモリ２７に供給させる。
【００５９】
このとき予測前フレームメモリ２７は、符号化差分データＳ４４を用いてそれまで保存していた予測前フレームデータを修正演算して新たな予測前フレームデータとして保存する。
【００６０】
かくして第１図の構成のエンコーダ２１Ａによれば、ヘッダデータ処理系ＳＹＭ２から供給されるヘッダ情報に基づいて画素データ処理系ＳＹＭ１において画素データがマクロブロック単位でパイプライン処理されて行くのに対して、これと同期するようにヘッダデータ処理系ＳＹＭ２においてヘッダデータを受け渡して行くようにすることにより、ヘッダデータ処理系ＳＹＭ２の各処理段において必要に応じてヘッダデータを付加又は削除することにより画素データを必要に応じて適応処理できる。
【００６１】
デコーダ２１Ｂは第２図に示すように、伝送路４３を介してエンコーダ２１Ａから伝送されて来る伝送データをデマルチプレクサ５１を介して伝送バッファメモリ５２に受けると共に、伝送音声データＳ５１を音声データ受信装置５３に受ける。
【００６２】
伝送バッファメモリ５２に受けた画像データは可変長逆変換回路５４において受信画像データＳ５２及びヘッダデータＨＤ１１に分離され、逆量子化回路５５において逆量子化データＳ５３に逆量子化された後逆変換符号化回路５６においてデイスクリート逆変換処理されて逆変換符号化データＳ５４に逆変換される。
【００６３】
この逆変換符号化データＳ５４は逆量子化回路５５において形成されたヘッダデータＨＤ１２と共にデコーダ回路５７に与えられ、符号化差分データＳ５５としてフレームメモリ５８に蓄積される。
【００６４】
かくしてフレームメモリ５８には符号化差分データＳ５５に基づいて伝送されて来た画像データが復号化され、当該復号化画像データＳ５６がディジタル／アナログ変換回路５９においてアナログ信号に変換された後出力回路部６０を介して出力映像信号ＶＤOUT として送出される。
【００６５】
(G2)量子化ステップサイズ決定処理
量子化制御ユニット３６は第６図に示す量子化ステップサイズ決定処理ルーチンＲＴ０をマクロブロックＭＢごとに実行することによって現在処理しようとしているマクロブロックＭＢがもつ画像データの形式（これをマクロブロックタイプと呼ぶ）に適応するような量子化ステップサイズQNT を選定して量子化ステップサイズ制御信号Ｓ３８として量子化回路３７に供給することにより、マクロブロックタイプによっては生ずるおそれがある画質の乱れを生じさせないように量子化回路３７を制御する。
【００６６】
この実施例の場合量子化回路３７は第７図に示すように、量子化ステップサイズQNT として上限値QNT ＝31から下限値QNT ＝１までの段階を可変できるようになされ、量子化制御ユニット３６は伝送バッファメモリ３２のデータ残量Bufferが量子化ステップサイズQNT の可変制御範囲に相当する値、すなわち量子化サイズ可制御範囲QCR の範囲に入るような適正の値になるように量子化ステップサイズQNT の値をマクロブロックタイプMacro Block Typeに応じて適応制御する。
【００６７】
(G2-1)データ残量が過大の場合の処理
すなわち量子化制御ユニット３６は第６図の量子化ステップサイズ決定処理ルーチンＲＴ０に入ると、ステップＳＰ１において伝送バッファメモリ３２の残量データBufferがマージンMargine と量子化サイズ可制御範囲QCR との和より大きいか否かの判断をする。
【００６８】
ここで肯定結果が得られると、このことは伝送バッファメモリ３２のデータ残量Bufferが上限値を超えていることを意味し、このとき量子可制御ユニット３６はステップＳＰ２に移って量子化ステップサイズQNT を最大値、すなわちQNT ＝31に設定するような量子化ステップサイズ制御信号Ｓ３８を量子化回路３７に供給した後、ステップＳＰ３に移って現在設定した量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTとして保存する。
【００６９】
かくして量子化制御ユニット３６は当該量子化ステップサイズ決定処理ルーチンＲＴ０をステップＳＰ４において終了し、これにより量子化回路３７において最も粗い量子化ステップサイズで変換符号化データＳ３５の量子化を実行する。
【００７０】
この結果量子化回路３７から発生される量子化画像データＳ３９のデータ量は最も小さい値に制御されることにより、伝送バッファメモリ３２のデータ残量Bufferは低下して行く。
【００７１】
この動作はステップＳＰ１において肯定結果が得られる間繰り返し実行され、その結果やがて伝送バッファメモリ３２の残量データがマージンMargine 及び量子化サイズ可制御範囲QCR の和QCR ＋Margine より小さい値になる。
【００７２】
(G2-2)フレーム内符号化モードにおける処理
このような状態になると、量子化制御ユニット３６はステップＳＰ１において否定結果が得られることによりステップＳＰ５に移り、マクロブロックタイプMacro Block Typeがフレーム内符号化ブロックであり、かつ強制リフレッシュブロックではないブロックnot refresh block であるか否かの判断をする。
【００７３】
ここでマクロブロックタイプMacro Block Typeは、第８図に示すように、スレショルド制御ユニット３５から量子化制御ユニット３６に渡されるヘッダデータＨＤ４に含まれるフラグデータFLAGS の第２ビット、第１ビット、第０ビットによって表されており、これらのビットが「０１０」のときマクロブロックタイプはフレーム内符号化型Intra であり、「０００」のときフレーム間符号化型Inter であり、「００１」のときフィルタ不使用動き補償型MC-not filtered であり、「１０１」のときフィルタ使用動き補償型MC-filtered になる。
【００７４】
そこでステップＳＰ５において肯定結果が得られたとき、このことはフラグデータFLAGS の第２、第１、第０ビットが「０００」であり、かつ第４ビットの強制リフレッシュフラグrefresh が論理「０」の状態にあることを表している。
【００７５】
ところでこのような状態は、マクロブロックタイプがフィルタ内符号化を必要とする程前フレームに対する現フレームの変化が激しいことを意味しており、しかも現在は強制リフレッシュモードが指定されていないような条件下にあることを意味している。
【００７６】
このような条件下にあるとき量子化回路３７において細かい量子化ステップサイズで量子化をすれば量子化回路３７から発生される量子化画像データＳ３９のデータ量が極く大きい値になり、結局バッファメモリ３２にオーバーフローが生ずるおそれが近づいていると言って良い。
【００７７】
このとき量子化制御ユニット３６はステップＳＰ６に移って量子化ステップサイズQNT を上限値QNT ＝31に設定し、これにより量子化回路３７から発生する量子化データＳ３９のデータ量を抑制するような処理を実行し、その結果伝送バッファメモリ３２がオーバーフローする状態の発生を未然に回避させる。
【００７８】
これに対してステップＳＰ５において否定結果が得られたとき、このことは処理対象マクロブロックのタイプがフレーム内符号化型Intra ではないこと、又はフレーム内符号化型Intra であっても強制リフレッシュの結果生じたものであることを表しており、このとき量子化制御ユニット３６はステップＳＰ６の処理をせずにこれをジャンプする。
【００７９】
(G2-3)強制リフレッシュモードにおける処理
次に量子化制御ユニット３６はステップＳＰ７において処理対象マクロブロックのタイプが強制リフレッシュ型refresh block であるか否かの判断をする。
【００８０】
ここで肯定結果が得られると、このことは強制リフレッシュをすべきことが指定されたことを表しており、このとき量子化制御ユニット３６はステップＳＰ８に移って量子化ステップサイズQNT として前フレームの量子化処理の際に用いられた前フレーム量子化ステップサイズPQNTを設定し、これにより強制リフレッシュ処理を実行すべきことが指定されたときには前フレームと同じ量子化ステップサイズで量子化を実行するようにする。
【００８１】
このようにすれば、強制リフレッシュ処理を実行する際に、当該強制リフレッシュ処理をした際にこれが実用上目障りにならないように画質を変化させないようにすることができる。
【００８２】
因に強制リフレッシュは所定の周期でしかも画像の内容とは無関係に実行されるので、画像の内容には変化がないにもかかわらず前フレームと比較して量子化ステップサイズの値が変化すると当該変化が目障りになる場合が多い。
【００８３】
これに対して強制リフレッシュが指定されたとき量子化ステップサイズの値を変更しないようにすれば、当該リフレッシュの際に目障りな画像の変化を生じさせないようにできる。
【００８４】
なお量子化ステップサイズの値として同じ値を選定することに代えて少し小さい値を選定するようにしても上述の場合と同様の効果を得ることができる。
【００８５】
因に画像の変化がない状態において強制リフレッシュが指定されたとき、量子化ステップサイズを大きくすれば、このことは復元画像の画質を劣化させることになるのに対して、量子化ステップサイズを少し小さくすれば、復元画像の画質を少し改善できることにより実用上人の目には画像の変化として感じさせないようにし得る。
【００８６】
これに対してステップＳＰ７において否定結果が得られると、このことは現在強制リフレッシュの指定がされていないことを表しており、このとき量子化制御ユニット３６はステップＳＰ８おける処理をせずにこれをジャンプする。
【００８７】
(G2-4)差分データのパワーが大きい場合の処理
次に量子化制御ユニット３６はステップＳＰ９においてマクロブロックタイプがフレーム間符号化型Inter でありかつマクロブロックパワーMBP が所定のスレショルド値Threshold より大きいか否かの判断をする。
【００８８】
ここで、マクロブロックパワーMBP は、
【００８９】
【数１】
によって定義され、かくしてステップＳＰ９において肯定結果が得られると、このことは当該マクロブロックＭＢの画像データ、すなわち差分データのマクロブロックパワーMBP が大きいために、ある程度粗い量子化ステップサイズで量子化して伝送しても復元画像の画質が極端に劣化するような影響は生じない状態にあることを意味する。
【００９１】
そこで量子化制御ユニット３６はこのような条件を満足するマクロブロックが変換符号化回路２９においてディスクリートコサイン変換されたときには、これをステップＳＰ９において確認してステップＳＰ１０に移って量子化ステップサイズQNT を最も粗い値、すなわち上限値31に設定する。
【００９２】
これに対してマクロブロックパワーMBP がそれ程大きくないマクロブロックの変換符号化データＳ３５が送出された場合には、量子化制御ユニット３６はステップＳＰ１０の処理をしないようにこれをジャンプする。
【００９３】
ところで、（１）式によって表されるマクロブロックパワーMBP は、変換符号化回路２９におけるディスクリートコサイン変換処理の結果得られるディスクリートコサイン変換係数Ｃoeff（ｉ）に基づいて各マクロブロックの重みを演算しようとするもので、当該ディスクリートコサイン変換係数の重みはディスクリートコサイン変換することによって得られた伝送信号の強さを表しており、従ってマクロブロックパワーMBP が大きいことは信号伝送手段としての伝送信号の強さが大きいから、これを若干圧縮して伝送しても受信側において外来雑音に影響されることなく伝送情報を正しく再現できることを表している。
【００９４】
そこでこのような場合量子化制御ユニット３６は量子化ステップサイズQNT を大きい値に変更することにより量子化回路３７において発生される量子化データＳ３９のデータ量を圧縮することにより伝送路４３への負担を軽減するようにする。
【００９５】
因に変換符号化回路２９を構成するディスクリートコサイン変換回路は次式、
【００９６】
【数２】
によってディスクリートコサイン変換を実行すると共に、逆変換符号化回路５６を形成するディスクリートコサイン逆変換回路は次式、
【００９８】
【数３】
によってディスクリートコサイン逆変換を実行する。ここでｘ、ｙはマクロブロックにおける画素の座標（左上隅の座標（０、０）とする）、ｕ、ｖはディスクリートコサイン変換時の係数の座標を表す。
【０１００】
またｕ、ｖ＝０のとき、
【０１０１】
【数４】
になり、その他の場合には、
【０１０３】
【数５】
のようになる。
【０１０５】
（２）式及び（３）式の変換は実際上、Ｘをマクロブロック内の画像データ行列、Ｃをディスクリートコサイン変換時の変換行列とした場合、変換符号化回路２９においては先ず、画像データ行列Ｘを水平変換することにより変換画像データ行列ＸＣ-1を得た後、次に再度垂直変換処理をすることにより変換画像データ行列Ｃ（Ｘ）Ｃ-1を得る。
【０１０６】
かくして得られる変換画像データ行列Ｃ（Ｘ）Ｃ-1は、第９図に示すように、係数Ｃoeff（１）、Ｃoeff（２）、Ｃoeff（３）……Ｃoeff（64）が８×８行列でなる変換係数行列として表すことができ、当該変換係数行列の各係数Ｃoeff（ｉ）（ｉ＝１〜64）を時間の経過に従って変換行列の中からｉ＝１、２、３……64の順序でスキャンをしながら読み出して行く。
【０１０７】
かくして１マクロブロック分の画像データは変換行列を構成する変換係数Ｃoeff（ｉ）（ｉ＝１〜64）に変換され、これが時間直列的に配列された伝送データとして量子化回路３７に供給されることになる。
【０１０８】
かくして量子化回路３７に供給される変換係数データ列Ｃoeff（１）、Ｃoeff（２）……Ｃoeff（64）は、伝送しようとする情報を表していると共に、伝送しようとする信号の強さをも表しており、従って（１）式によって表されているように、変換係数データ列Ｃoeff（ｉ）（ｉ＝１、２……64）に含まれるｉ＝１〜ｎまでの変換係数データの２乗は、伝送しようとする信号の強さを水平方向及び垂直方向の影響が等しくなるように累積加算した値となり、結局（１）式はこれをマクロブロックパワーMBP として定義していることになる。
【０１０９】
実際上画像データをディスクリートコサイン変換することにより第９図に示すような変換係数行列を得た場合、左上隅部の変換係数Ｃoeff（ｉ）、すなわち低次の変換係数にパワーが集中し、これに対して右下隅部の変換係数、すなわち高次の変換係数には有意情報が生じない傾向があり、かくしてディスクリートコサイン変換によって伝送データの圧縮を実現できる。
【０１１０】
従って第６図のステップＳＰ９においてマクロブロックタイプMacro Block Typeがフレーム間符号化型Inter であることを確認したとき、（１）式に基づいて得られるマクロブロックパワーMBP が所定のスレショルド値Threshold より大きいことを確認できれば、このことは当該マクロブロックＭＢにおける差分データの値が十分に大きく、従って粗い量子化をしても良いことを確認し得たことになる。そこでかかる判断に従ってステップＳＰ１０において量子化ステップサイズQNT を上限値に選定すれば、当該差分データを比較的少ないデータ量によって伝送できることになる。
【０１１１】
(G2-5)フレーム間符号化モードにおける処理
量子化制御ユニット３６は第６図のステップＳＰ１１において、マクロブロックタイプMacro Block Typeがフレーム間符号化型Inter でありかつマクロブロックパワーMBP が所定のスレショルド値Threshold より小さいことを確認したときステップＳＰ１２に移って量子化ステップサイズQNT を前フレームにおいて使用された前フレーム量子化ステップサイズPQNTの 1/2の値に設定し、その後ステップＳＰ１３において当該設定した量子化ステップサイズQNT の値が下限値１より小さいか否かを判断し、小さいときステップＳＰ１４において量子化ステップサイズQNT を下限値１に再設定し直すと共に、１より小さくない時には再設定することなくそのままの値を量子化ステップサイズQNT として設定するような処理をする。
【０１１２】
ここでマクロブロックパワーMBP は（１）式について上述したように当該マクロブロックの画像データの差分データ信号の強さを表しているので、ステップＳＰ１１において肯定結果が得られたときには当該差分が小さいこと、従って画像の内容が前フレームの画像と比較して変化が小さいことを表している。
【０１１３】
このような画像データが得られた場合には、現在伝送しようとする画像は、前フレームの画像を大幅に変更することなく部分的に手直しする程度の変化しか生じていない状態にあることを表している。
【０１１４】
そこで量子化制御ユニット３６がステップＳＰ１２において前フレームの量子化処理結果に基づいてその量子化ステップサイズPQNTを 1/2に細かくして現フレームの量子化ステップサイズQNT として設定するようにすれば、前フレームと比較して動きが少なくなった現フレームに対して当該変化が少なくなった分量子化ステップサイズを細かくできることにより、一段と最適な量子化ステップサイズに設定できることになる。
【０１１５】
このような量子化ステップサイズの縮小化処理はその後動きが少ない画像が続く限り量子化制御ユニット３６がステップＳＰ１１及びＳＰ１２において繰り返し実行するので、結局動きが少ない画像を伝送し続ける場合にはこれに適応するような値に量子化ステップサイズを収束させることができることになる。
【０１１６】
かくするにつき、ステップＳＰ１３及びＳＰ１４において量子化ステップサイズQNT を下限値１より小さくさせないようにしたことにより、結局量子化制御ユニット３６は動きが少ない画像を伝送する場合には量子化ステップサイズQNT を下限値に収束させた状態で安定に量子化処理をできることになる。
【０１１７】
これに対してステップＳＰ１１において否定結果が得られたとき、量子化制御ユニット３６は現在伝送しようとする画像の変化が大きいと判断してステップＳＰ１２、ＳＰ１３、ＳＰ１４の処理をせずにこれをジャンプする。
【０１１８】
(G2-6)量子化制御ユニット３６の動作
第６図において、第１に、伝送バッファメモリ３２の残量データBufferが上限値（QCF ＋Margin）を超えると、量子化制御ユニット３６はこれをステップＳＰ１において検出してステップＳＰ２において量子化回路３７の量子化ステップサイズQNT を上限値31に設定し、これにより伝送バッファメモリ３２のデータ残量データBufferを低減させることにより上限値以下の状態に維持させるように制御する。
【０１１９】
この状態において第２に、マクロブロックタイプMacro Block Typeがフレーム内符号化型でかつ強制リフレッシュブロックではないブロックデータが量子化回路３７に与えられたとき量子化制御ユニット３６はこれをステップＳＰ５において確認してステップＳＰ６において量子化回路３７の量子化ステップサイズQNT を上限値31に設定することにより伝送バッファメモリ３２がオーバーフローしないように制御する。
【０１２０】
このような動作モードのとき量子化制御ユニット３６はステップＳＰ７、ＳＰ９、ＳＰ１１においてそれぞれ否定結果が得られることにより、ステップＳＰ６において設定した量子化ステップサイズをステップＳＰ３において前フレーム量子化ステップサイズPQNTとして設定した後当該処理手順を終了する。
【０１２１】
第３に、量子化回路３７に強制リフレッシュブロック型のマクロブロックタイプをもつデータが与えられたとき、量子化制御ユニット３６は量子化ステップサイズ決定処理ルーチンＲＴ０においてステップＳＰ１−ＳＰ５−ＳＰ７のループによってこれを判断し、ステップＳＰ８において量子化回路３７の量子化ステップサイズQNT として前フレーム量子化ステップサイズPQNTを設定し、これにより強制リフレッシュモードに入ったときに伝送する画像の画質を前フレームの画像から変化させないようにすることにより、強制リフレッシュ時に目障りな画質の変化を生じさせないようにする。
【０１２２】
このとき量子化制御ユニット３６はステップＳＰ９、ＳＰ１１においてそれぞれ否定結果が得られることによりステップＳＰ８において設定した量子化ステップサイズQNT をステップＳＰ３において前フレーム量子化ステップサイズPQNTとして設定して当該処理を終了する。
【０１２３】
第４に、量子化回路３７にマクロブロックパワーMBP が大きなマクロブロックの画像データが供給されたとき、量子化制御ユニット３６は量子化ステップサイズ決定処理ルーチンＲＴ０においてステップＳＰ１−ＳＰ５−ＳＰ７−ＳＰ９のループによってこれを確認し、ステップＳＰ１０において量子化回路３７の量子化ステップサイズQNT を上限値31に設定し、これにより、量子化回路３７において発生するデータ量を小さい値に抑制し、その結果一段と効率良く画像データの伝送をさせるようにできる。
【０１２４】
このとき量子化制御ユニット３６はかかる処理が終了した後、ステップＳＰ１１において否定結果が得られることによりステップＳＰ３においてステップＳＰ１０で設定された量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTとして設定し直した後、当該処理ルーチンを終了する。
【０１２５】
第５に、量子化回路３７にフレーム間符号化型でマクロブロックパワーMBP が小さいマクロブロックデータが供給されたとき量子化制御ユニット３６はこれを量子化ステップサイズ決定処理ルーチンＲＴ０のステップＳＰ１−ＳＰ５−ＳＰ７−ＳＰ９−ＳＰ１１のループによって確認し、ステップＳＰ１２において前フレーム量子化ステップサイズPQNTの 1/2の値を量子化ステップサイズQNT として設定することにより、量子化ステップサイズを下限値１に収束させて行く。
【０１２６】
かくしてマクロブロックパワーMBP に適用して最適な量子化ステップサイズを設定することができる。
【０１２７】
(G3)他の実施例
(1) 第６図のステップＳＰ６及びＳＰ１０において量子化ステップサイズQNT を上限値31に設定した場合について述べたが、設定する量子化ステップサイズQNT としては上限値に限らず、その他の値を選定しても良く、要は、粗い量子化を実行し得る大きさの粗量子化値を選定するようにすれば良い。
【０１２８】
(2) 第６図のステップＳＰ９及びＳＰ１１においてマクロブロックパワーMBP の大きさを判断するにつき、同じスレショルド値Threshold を選定するようにした場合について述べたが、これに代え、異なる値を選定するようにしても上述の場合と同様の効果を得ることができる。
【０１２９】
(3) 第６図のステップＳＰ１２において量子化ステップサイズQNT を前フレーム量子化ステップサイズPQNTから求めるにつき、その 1/2の値を設定するようにした場合について述べたが、その比率は 1/2に限らず必要に応じて他の値に変更しても良く、要は前フレーム量子化ステップサイズに対して所定の比率で縮小した大きさの量子化ステップサイズに選定すれば良い。
【０１３０】
(4) 第６図のステップＳＰ１３及びＳＰ１４において量子化ステップサイズQNT を下限値１に収束させるようにした場合について述べたが、収束させる値は下限値に限らず必要に応じてその他の値を選定するようにしても良い。
【０１３１】
【発明の効果】
上述のように、本発明によれば、画素データ処理系の複数の符号化処理のタイミングに合わせて、ヘッダデータ処理系においてディスクリートコサイン変換処理及び量子化変換処理の処理結果を表す処理情報データを転送して行くと共に、画像データの伝送の直前に、当該処理情報データを画素データ処理系から得られる画像データに付加するようにしたことにより、簡易かつ適正に伝送用の符号化画像データを発生させることができる。
【図面の簡単な説明】
【図１】本発明による映像信号符号化方法を適用した画像情報伝送システムを構成するエンコーダを示すブロック図である。
【図２】本発明による映像信号符号化方法を適用した画像情報伝送システムを構成するデコーダを示すブロック図である。
【図３】フレーム画像データの構成を示す略線図である。
【図４】図１のヘッダデータ処理系を示すブロック図である。
【図５】図４のフラグデータの構成を示す略線図である。
【図６】図１の量子化制御ユニット３６の量子化ステップサイズ決定処理ルーチンを示すフローチャートである。
【図７】図１の伝送バッファメモリ３２の残量データの変化を示す曲線図である。
【図８】マクロブロックタイプの類型を示す図表である。
【図９】変換係数行列を示す図表である。
【図１０】フレーム内／フレーム間符号化処理の説明に供する略線図である。
【図１１】従来の画像データ発生装置を示すブロック図である。
【図１２】その量子化ステップを示す曲線図である。
【符号の説明】
２１……画像情報伝送システム、２１Ａ……エンコーダ、２１Ｂ……デコーダ、２５……動き補償回路、２６……動き補償制御ユニット、２７……予測前フレームメモリ、２８……画像データ符号化回路、２９……変換符号化回路、３０……フレーム間／フレーム内符号化制御ユニット、３１……フィルタ制御ユニット、３２……伝送バッファメモリ、３４……伝送ブロック設定回路、３５……スレショルド制御ユニット、３６……量子化制御ユニット、３７……量子化回路、３８……可変長符号化回路。
Claims (2)
- 画像データを符号化することによって符号化画像データを生成する符号化装置において、
動き補償された上記画像データに対して、ディスクリートコサイン変換処理をすることによって、ディスクリートコサイン変換係数データを生成する手段と、指定された量子化ステップに関する情報により上記ディスクリートコサイン変換係数データに対して量子化処理をすることによって、量子化ディスクリートコサイン変換係数データを生成する手段とを有し、これにより上記画像データの画素データに対して順次上記ディスクリートコサイン変換処理及び上記量子化処理をして行く画素データ処理系と、
上記画素データ処理系において上記画素データが順次上記ディスクリートコサイン変換処理及び上記量子化処理をされるタイミングに合わせて、当該ディスクリートコサイン変換処理及び量子化処理の処理結果を表す処理情報データを順次転送して行くヘッダデータ処理系と、
上記ヘッダデータ処理系から得られる上記処理情報データを、マクロブロック単位で、上記画素データ処理系から得られる画像データに付加することによって、上記符号化画像データを生成する手段と
を具えることを特徴とする符号化装置。 - 画像データを符号化することによって符号化画像データを生成する符号化方法において、
画素データ処理系において、動き補償された上記画像データに対して、ディスクリートコサイン変換処理をすることによって、ディスクリートコサイン変換係数データを生成し、指定された量子化ステップに関する情報により上記ディスクリートコサイン変換係数データに対して量子化処理をすることによって、量子化ディスクリートコサイン変換係数データを生成し、これにより上記画像データの画素データに対して順次上記ディスクリートコサイン変換処理及び上記量子化処理をして行き、
上記画素データ処理系において上記画素データが順次上記ディスクリートコサイン変換処理及び上記量子化処理をされるタイミングに合わせて、ヘッダデータ処理系において、当該ディスクリートコサイン変換処理及び量子化処理の処理結果を表す処理情報データを順次転送して行き、
上記ヘッダデータ処理系から得られる上記処理情報データを、マクロブロック単位で、上記画素データ処理系から得られる画像データに付加することによって、上記符号化画像データを生成する
ことを特徴とする符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000108032A JP3674761B2 (ja) | 1990-02-26 | 2000-04-05 | 符号化装置及び方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000065766A JP3461151B2 (ja) | 1990-02-26 | 2000-03-06 | 符号化装置及び方法 |
| JP2000108032A JP3674761B2 (ja) | 1990-02-26 | 2000-04-05 | 符号化装置及び方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000065766A Division JP3461151B2 (ja) | 1990-02-26 | 2000-03-06 | 符号化装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000316156A JP2000316156A (ja) | 2000-11-14 |
| JP3674761B2 true JP3674761B2 (ja) | 2005-07-20 |
Family
ID=34839990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000108032A Expired - Lifetime JP3674761B2 (ja) | 1990-02-26 | 2000-04-05 | 符号化装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3674761B2 (ja) |
-
2000
- 2000-04-05 JP JP2000108032A patent/JP3674761B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000316156A (ja) | 2000-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0739143B1 (en) | Video signal coding system and method | |
| KR100221889B1 (ko) | 동화 부호화 데이타 기록방법 | |
| JP3043599B2 (ja) | ニューラルネットワークを用いた量子化ステップサイズ制御装置 | |
| WO1995013682A1 (en) | Animation encoding method, animation decoding method, animation recording medium and animation encoder | |
| JP4747494B2 (ja) | データ処理装置およびその方法と符号化装置 | |
| US20050259879A1 (en) | Video decoder with deblocker within decoding loop | |
| JP3674761B2 (ja) | 符号化装置及び方法 | |
| JP3038759B2 (ja) | 画像データ符号化装置 | |
| JP3786340B2 (ja) | 符号化装置及び方法 | |
| JP3830722B2 (ja) | 符号化装置及び方法 | |
| JP4407249B2 (ja) | データ処理装置およびその方法と符号化装置、その方法及びプログラム | |
| JP3154254B2 (ja) | 画像データ符号化装置 | |
| JP3461151B2 (ja) | 符号化装置及び方法 | |
| JP3287836B2 (ja) | 画像データ符号化装置 | |
| JP2000333178A (ja) | 符号化装置及び方法 | |
| JP3122108B2 (ja) | 映像信号符号化方法及びその装置 | |
| JP2000316159A (ja) | 符号化装置及び方法 | |
| JP2000324500A (ja) | 符号化装置及び方法 | |
| JPH03247191A (ja) | 映像信号符号化方法 | |
| JP2000341692A (ja) | 符号化装置及び方法 | |
| JP2000316161A (ja) | 符号化装置及び方法 | |
| JP2000316155A (ja) | 符号化装置及び方法 | |
| JP2877225B2 (ja) | 映像信号符号化方法 | |
| JP3166835B2 (ja) | 動画像の高能率符号化方法及び装置 | |
| JPH0416082A (ja) | 動画符号化データ伝送方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040806 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041006 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041122 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050420 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |