JP2002027465A

JP2002027465A - 画像情報変換装置及び方法

Info

Publication number: JP2002027465A
Application number: JP2000208932A
Authority: JP
Inventors: Kazufumi Sato; 数史佐藤; Takefumi Nagumo; 武文名雲; Kuniaki Takahashi; 邦明高橋; Teruhiko Suzuki; 輝彦鈴木; Yoichi Yagasaki; 陽一矢ケ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-10
Filing date: 2000-07-10
Publication date: 2002-01-25
Anticipated expiration: 2020-07-10
Also published as: JP4517468B2

Abstract

(57)【要約】【課題】参照量子化スケールの変動を抑制する。【解決手段】跳び越し走査のＭＰＥＧ２画像圧縮情報
（ビットストリーム）を順次走査のＭＰＥＧ４画像圧縮
情報（ビットストリーム）に変換するものであって、疑
似スライスのコンプレキシティを算出する疑似スライス
コンプレキシティ算出部２５と、ＶＯＰのコンプレキシ
ティを算出するＶＯＰコンプレキシティ算出部２４と、
ＶＯＰの目標符号量を算出するＶＯＰ目標符号量算出部
２６と、疑似スライスの目標符号量を算出する疑似スラ
イス目標符号量算出部２７とを有し、ＭＰＥＧ４画像情
報符号化部（Ｉ／Ｐ−ＶＯＰ）２０は、画像情報をＭＰ
ＥＧ４画像圧縮情報（ビットストリーム）に符号化際
に、目標符号量に応じて符号量制御を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報を変換す
る画像情報変換装置及び方法に関し、詳しくは、離散コ
サイン変換等の直交変換と動き補償によって圧縮された
ＭＰＥＧ等の画像情報（ビットストリーム）を衛星放
送、ケーブルＴＶ、インターネット等のネットワークメ
ディアを介して受信する際に、若しくは光、磁気ディス
クのような記憶メディア上で処理する際に用いられる画
像情報を変換する画像情報変換装置及び方法に関する。

【０００２】

【従来の技術】近年、画像情報をディジタルとして取り
扱い、効率の高い情報の伝送、蓄積を目的とし、画像情
報特有の冗長性を利用して、離散コサイン変換等の直交
変換と動き補償により圧縮するＭＰＥＧなどの画像情報
圧縮方式が提供されている。そして、このような画像情
報圧縮方法に準拠した装置は、放送局などの情報配信、
及び一般家庭における情報受信の双方において普及しつ
つある。

【０００３】特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３
８１８−２）は、飛び越し走査画像及び順次走査画像の
双方、並びに標準解像度画像及び高精細画像を網羅す
る、汎用画像符号化方式として定義されている。

【０００４】すなわち、ＭＰＥＧ２符号化圧縮方式によ
れば、例えば、７２０×４８０画素を持つ標準解像度の
飛び越し走査画像に４〜８Ｍｂｐｓの符号量（ビットレ
ート）を割り当て、１９２０×１０８８画素を持つ高解
像度の飛び越し走査画像に対して１８〜２２Ｍｂｐｓの
符号量（ビットレート）を割り当てることにより、高い
圧縮率と良好な画質の実現が可能となる。

【０００５】このようなことから、ＭＰＥＧ２は、プロ
フェッショナル用途及びコンシューマー用途の広範なア
プリケーションに今後とも用いられるものと予想され
る。しかし、ＭＰＥＧ２は、主として放送用に適合する
高画質符号化を対象としており、例えばＭＰＥＧ１より
低い符号量（ビットレート）、つまりより高い圧縮率の
符号化方式には対応していなかった。

【０００６】一方で、近年の携帯端末の普及により、今
後とも高い圧縮率の符号化方式のニーズは高まると思わ
れ、これに対応して、高い圧縮率を有するＭＰＥＧ４符
号化方式の標準化が行われている。この画像符号化方式
に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４
４９６−２として国際標準の規格が承認された。

【０００７】ところで、ディジタル放送用に一度符号化
されたＭＰＥＧ２画像圧縮情報（ビットストリーム）
を、携帯端末上等で処理するのにより適した、より低い
符号量（ビットレート）の画像圧縮情報（ビットストリ
ーム）に変換したいというニーズがある。

【０００８】かかる目的を達成するために、“Field-to
-Frame Transcoding with Spatial and Temporal
Downsampling”（Susie L Wee, John G. Aposto
lopoulos, and Nick Feamster, ICIP 99、以下こ
れを文献１と呼ぶ）において画像情報変換装置（トラン
スコーダ）が提供されている。

【０００９】この文献１において提供された画像情報変
換装置（トランスコーダ）は、図６に示すように、ピク
チャタイプ判別部１と、ＭＰＥＧ２画像情報復号化部
（Ｉ／Ｐピクチャ）２と、間引き部３と、ＭＰＥＧ４画
像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４と、動きベクトル
合成部５と、動きベクトル検出部６とから構成されてい
る。

【００１０】この画像情報変換装置には、フレーム内で
符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、
表示順序で順方向を参照して予測符号化された順方向予
測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向
及び逆方向を参照して予測符号化された双方向予測符号
化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査
のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力
される。

【００１１】このＭＰＥＧ２画像圧縮情報（ビットスト
リーム）は、ピクチャタイプ判別部１において、Ｉ／Ｐ
ピクチャに関するものか、Ｂピクチャに関するものであ
るかを判別され、Ｉ／Ｐピクチャのみ後続のＭＰＥＧ２
画像情報復号化部（Ｉ／Ｐピクチャ）２に出力され、Ｂ
ピクチャは破棄される。

【００１２】ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピク
チャ）２における処理は通常のＭＰＥＧ２画像情報復号
化装置と同様に、ＭＰＥＧ２画像圧縮情報（ビットスト
リーム）を画像信号に復号するものである。

【００１３】ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピク
チャ）２の出力となる画素値は、間引き部３に入力され
る。間引き部３は、水平方向には１／２の間引き処理を
施し、垂直方向には、第一フィールド若しくは第二フィ
ールドのどちらか一方のデータのみを残し、もう一方を
廃棄する。このような間引きによって、入力となる画像
情報の１／４の大きさを持つ順次走査画像を生成する。

【００１４】間引き部３によって生成された順次走査画
像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４
によってフレーム内で符号化されたＩ−ＶＯＰ及び表示
順序で順方向を参照して予測符号化されたＰ−ＶＯＰに
符号化され、ＭＰＥＧ４画像圧縮情報（ビットストリー
ム）として出力される。尚、ＶＯＰはVideo objectPla
neを意味し、ＭＰＥＧ２におけるフレームに相当するも
のである。

【００１５】その際、入力となるＭＰＥＧ２画像圧縮情
報（ビットストリーム）中の動きベクトル情報は、動き
ベクトル合成部５において間引き後の画像情報に対する
動きベクトルにマッピングされ、動きベクトル検出部６
においては、動きベクトル合成部５において合成された
動きベクトル値を元に高精度の動きベクトルを検出す
る。

【００１６】文献１は、入力となるＭＰＥＧ２画像圧縮
情報（ビットストリーム）の１／２×１／２の大きさを
持つ順次走査画像のＭＰＥＧ４画像圧縮情報（ビットス
トリーム）を生成する画像情報変換装置に関して記述し
ている。すなわち、例えば入力となるＭＰＥＧ２画圧縮
情報（ビットストリーム）がＮＴＳＣ（National Tele
vision System Committee）の規格に準拠したもので
あった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩ
Ｆサイズ（３５２×２４０画素）ということになる。

【００１７】ところで、図６に示した画像情報変換装置
においては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−Ｖ
ＯＰ）４における符号量制御が、出力となるＭＰＥＧ４
画像圧縮情報（ビットストリーム）における画質を決定
する大きな要因となる。ＩＳＯ／ＩＥＣ１４４９６−
２においては、符号量制御の方式に関しては特に規定さ
れておらず、各ベンダが、アプリケーションに応じて、
演算量及び出力画質の観点から最適と考えられる方式を
用いることが出来る。以下では、代表的な符号量制御方
式として、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５（Ｉ
ＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４０
０）で述べられている方式について述べる。

【００１８】この符号量制御のフローを図７に示すフロ
ーを用いて説明する。最初のステップＳ１１において、
画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、目標符号量
（ターゲットビットレート）、及び、ＧＯＰ（ｇroup
of pictures）構成を入力変数として、各ピクチャへの
ビット配分を行う。ここで、ＧＯＰとは、ランダムアク
セス可能なピクチャの組である。

【００１９】すなわち、ステップＳ１１において、画像
情報符号化部（Ｉ／Ｐ−ＶＯＰ）４は、ＧＯＰ内の各ピ
クチャに対する割り当てビット量を、割り当て対象ピク
チャを含めＧＯＰ内でまだ復号化されていないピクチャ
に対して割り当てられるビット量（以下、これをＲとす
る）を基に配分する。この配分をＧＯＰ内の符号化ピク
チャ順に繰り返す。その際、以下に述べる２つの仮定を
用いて各ピクチャへの符号量割り当てを行う。

【００２０】まず、第一に、各ピクチャを符号化する際
に用いる平均量子化スケールコードと発生符号量の積
は、画面が変化しない限り、ピクチャタイプ毎に一定値
となると仮定する。そこで、各ピクチャを符号化した
後、各ピクチャタイプ毎に、画面の複雑さを示す変数Ｘ
_i，Ｘ_p，Ｘ_b（grobal complelxity measure）を次の
式（１）によって更新する。

【００２１】

【数４】

【００２２】ここでＳ_i，Ｓ_p，Ｓ_bはピクチャ符号化時
の発生符号ビット量であり、Ｑ_i，Ｑ _p，Ｑ_bは、ピクチ
ャ符号化時の平均量子化スケールコードである。また、
初期値は、目標符号量（ターゲットビットレート）ｂｉ
ｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、式（２）
で示される値とする。

【００２３】

【数５】

【００２４】第二に、Ｉピクチャの量子化スケールコー
ドを基準としたＰ，Ｂピクチャの量子化スケールコード
の比率Ｋ_p，Ｋ_bが式（３）に定めた値となる場合に常に
全体の画質が最適化されると仮定する。

【００２５】

【数６】

【００２６】すなわち、Ｂピクチャの量子化スケールコ
ードは、Ｉ，Ｐピクチャの量子化スケールコードの常に
１．４倍としている。これは、ＢピクチャをＩ，Ｐピク
チャに比較して多少粗めに符号化することにより、Ｂピ
クチャで節約できる符号量をＩ，Ｐピクチャに加える
と、Ｉ，Ｐピクチャの画質が改善され、これを参照する
Ｂピクチャの画質も改善されることを想定している。

【００２７】上記２つの仮定より、ＧＯＰの各ピクチャ
に対する割り当てビット量（Ｔ_i，Ｔ_p，Ｔ_b）は式
（４）に示す値とする。

【００２８】

【数７】

【００２９】ここでＮ_p，Ｎ_bはＧＯＰ内でまだ符号化さ
れていないＰ，Ｂピクチャの枚数である。

【００３０】このようにして求めた割当符号量を基にし
て、各ピクチャをステップＳ１１，Ｓ１２に従って符号
化する毎に、ＧＯＰ内の未符号化ピクチャに対して割り
当てられるビット量Ｒを式（５）で更新する。

【００３１】

【数８】

【００３２】また、ＧＯＰの最初のピクチャを符号化す
る際には、式（６）によりＲを更新する。

【００３３】

【数９】

【００３４】ＮはＧＯＰ内のピクチャ数である。また、
シーケンスの最初でのＲの初期値は０とする。

【００３５】次に、ステップＳ１２において、画像情報
符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、仮想バッファを用
いたレート制御を行う。すなわち、ステップＳ１２にお
いて、画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、ス
テップＳ１１で式（４）により求められた各ピクチャに
対する割当ビット量（Ｔ_i，Ｔ_p，Ｔ_b）と、実際の発生
符号量を一致させるため、各ピクチャ毎に独立に設定し
た３種類の仮想バッファの容量を基に、量子化スケール
コードを、マクロブロック単位のフィードバック制御で
求める。

【００３６】まず、ｊ番目のマクロブロック符号化に先
立ち、仮想バッファの占有量を式（７）によって求め
る。

【００３７】

【数１０】

【００３８】ここで、ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^bは各仮想バッフ
ァの初期占有量、Ｂ_jはピクチャの先頭からｊ番目のマ
クロブロックまでの発生ビット量、ＭＢ＿ｃｎｔは１ピ
クチャ内のマクロブロック数である。各ピクチャ符号化
終了時の仮想バッファ占有量（ｄ_{MB_cnt} ⁱ，ｄ_{MB_cnt} ^p，
ｄ_{MB_cnt} ^b）は、それぞれ同一のピクチャタイプで、次
のピクチャに対する仮想バッファ占有量の初期値
（ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^b）として用いられる。

【００３９】次に、ｊ番目のマクロブロックに対する量
子化スケールコードを式（８）により計算する。

【００４０】

【数１１】

【００４１】ここで、ｒはリアクションパラメーターと
呼ばれるフィードバックループの応答を制御する変数で
あり、式（９）により与えられる。

【００４２】

【数１２】

【００４３】尚、符号化開始時における仮想バッファの
初期値は式（１０）で与えられる。

【００４４】

【数１３】

【００４５】最後に、ステップＳ１３において、画像情
報符号化装置（Ｉ／Ｐ−ＶＯＰ）４は、視覚特性を考慮
したマクロブロック毎の適応量子化を行う。すなわち、
ステップＳ１３において、画像情報符号化部（Ｉ／Ｐ−
ＶＯＰ）４は、ステップＳ１２で求められた量子化スケ
ールコードを、視覚的に劣化の目立ちやすい平坦部でよ
り細かく量子化し、劣化の比較的目立ちにくい絵柄の複
雑な部分で粗く量子化するように、各マクロブロック毎
のアクティビティと呼ばれる変数によって変化させてい
る。

【００４６】アクティビティは、原画の輝度信号画素値
を用い、フレーム離散コサイン変換モードにおける４個
のブロックと、フィールド離散コサイン変換モードにお
ける４個のブロックとの、合計８ブロックの画素値を用
いて式（１１）で与えられる。

【００４７】

【数１４】

【００４８】ここで、Ｐ_kは原画の輝度信号ブロック内
画素値である。式（１１）において最小値を採るのは、
マクロブロック内の一部だけでも平坦部分のある場合に
は量子化を細かくするためである。

【００４９】更に、式（１２）によりその値が０．５〜
２の範囲を取る正規化アクティビティＮａｃｔ_jを求め
る。

【００５０】

【数１５】

【００５１】ここで、ａｖｇ＿ａｃｔは、直前に符号化
したピクチャでのａｃｔ_jの平均値である。

【００５２】視覚特性を考慮した量子化スケールコード
ｍｑｕａｎｔ_jはステップＳ１２で得られた量子化スケ
ールコードＱ_jを基に式（１３）で与えられる。

【００５３】

【数１６】

【００５４】ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５に
おいて定められた上記符号量制御方式には以下の制限の
あることが知られており、実際の制御を行う場合には、
これらの制限に対する対策が必要となる。すなわち、第
一の制限は、第一ステップＳ１１はシーンチェンジに対
応出来ず、また、シーンチェンジ後には第三ステップＳ
１３で用いる媒介変数ａｖｇ＿ａｃｔが間違った値とな
るということである。第二の制限は、ＭＰＥＧ２及びＭ
ＰＥＧ４において規定されているＶＢＶ（Video Buffe
r Verifier）の拘束条件を満たす保証がないことであ
る。

【００５５】ところで、文献”ＭＰＥＧ圧縮効率の理論
解析とその符号量制御への応用”（信学技報、ＩＥ−９
５，ＤＳＰ９５−１０，１９９５年５月、以下これ
を文献２と呼ぶ）でも述べられている通り、Ｔｅｓｔ
Ｍｏｄｅｌ５で定められている符号量制御方式は、Ｍ
ＰＥＧ−２画像符号化装置において、必ずしも良好な画
質を与えるものではない。

【００５６】この文献２では、特に、良好な画質を与え
るための、ＧＯＰ内における各フレーム毎の最適な符号
量配分を与える手法として以下の方式を提案している。
すなわち、Ｎ_I，Ｎ_P，Ｎ_Bを、ＧＯＰ内においてまだ符
号化されていないＩ，Ｐ，Ｂピクチャの枚数として、こ
れらに割り当てられる符号量をＲ_I，Ｒ_P，Ｒ_Bとする。
また、式（１４）で与えられる固定レート条件の下に、
それぞれにおける量子化ステップサイズをＱ_I，Ｑ_P，Ｑ
_Bとし、ｍを、量子化ステップサイズと再生誤差分散を
関係付ける次数（すなわち、量子化ステップサイズをｍ
乗したものの平均値の最小化が再生誤差分散を最低にす
ると仮定する）とする。そして、式（１５）を最小にす
ることを考える。

【００５７】

【数１７】

【００５８】

【数１８】

【００５９】尚、それぞれのフレームにおける平均量子
化スケールＱ、及び符号量Ｒは、ＴｅｓｔＭｏｄｅｌ
５でも用いられる媒体変数である各フレームのコンプ
レキシティＸと、式（１６）のように関係づけられる。

【００６０】

【数１９】

【００６１】式（１６）の関係も考慮しつつ、式（１
４）の拘束条件の元に式（１５）を最小にするＲ_I，
Ｒ_P，Ｒ_Bを、ラグランジェの未定乗数法を用いて算出す
ると、最適なＲ_I，Ｒ_P，Ｒ_Bとして以下の式のような値
が求められる。

【００６２】

【数２０】

【００６３】α＝１として、式（１７）と、ＭＰＥＧ２
ＴｅｓｔＭｏｄｅｌ５で定められた符号量制御方
式における式（４）との関係は以下の通りであると言え
る。すなわち、式（１７）は、符号量制御の媒介変数で
あるＫ_p，Ｋ_bを、各フレームのコンプレキシティＸ_I，
Ｘ_P，Ｘ_Bに応じて、式（１８）のように適応的に算出し
ていることに他ならない。

【００６４】

【数２１】

【００６５】文献２では、１／（１＋ｍ）の値として、
０．６〜１．２程度に設定することで良好な画質が得ら
れることが示されている。

【００６６】図６に示した画像情報変換装置内で、ＭＰ
ＥＧ４画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）４におい
て、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５において定
められたのと同様な手法を用いて符号量制御を行った場
合、シーンチェンジ等に起因する、ＧＯＰ内でのコンプ
レキシティの変化に対応することが不可能であるため、
安定した符号量制御が困難となり、画質劣化を引き起こ
すことが考えられる。ＭＰＥＧ２画像情報復号化部（Ｉ
／Ｐピクチャ）２において抽出される、入力となるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）内の情報をＭ
ＰＥＧ４画像圧縮情報符号化部（Ｉ／Ｐ−ＶＯＰ）４に
おいて利用することでこの問題を回避することが可能で
あると期待される。

【００６７】かかる問題を解決するため、本願出願人
は、先に図８に示すような画像情報変換装置を提案し
た。

【００６８】この画像情報変換装置は、ピクチャタイプ
判別部７と、圧縮情報解析部８と、ＭＰＥＧ２画像情報
復号化部（Ｉ／Ｐピクチャ）９と、間引き部１０と、Ｍ
ＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１と、
動きベクトル合成部１２と、動きベクトル検出部１３
と、情報バッファ１４と、コンプレキシティ算出部１５
とから構成される。

【００６９】この画像情報変換装置は、圧縮情報解析部
８、情報バッファ１４、コンプレキシティ算出部１５及
びＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１
における符号量制御以外の動作原理については、図６に
示した画像情報変換装置と同様であるため、以下では、
圧縮情報解析部８、情報バッファ１４、コンプレキシテ
ィ算出部１５における動作原理及びＭＰＥＧ４画像情報
符号化部（Ｉ／Ｐ−ＶＯＰ）１１における符号量制御に
ついて述べることにする。

【００７０】圧縮情報解析部８において、復号処理に用
いられた量子化スケールのフレーム全体に渡る平均値
Ｑ、及び、入力となるＭＰＥＧ２画像圧縮情報（ビット
ストリーム）において、当該フレームに割り当てられた
総符号量（ビット数）Ｂは、情報バッファ１４に格納さ
れる。

【００７１】コンプレキシティ算出部１５においては、
情報バッファ１４に格納されたフレーム毎の情報Ｑ及び
Ｂから、当該フレームに対するコンプレキシティＸを式
（１９）により算出する。

【００７２】

【数２２】

【００７３】式（１９）によって算出された、当該フレ
ームに対するコンプレキシティＸは、１ＧＯＶ（group
of VOPs）分バッファリングされた後、ＭＰＥＧ４画
像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１に符号量制御の
ための媒介変数として伝送される。このため、１ＧＯＶ
分の遅延が必要となる。この遅延は図示しない遅延バッ
ファを用いて実現される。ここで、ＧＯＶとは、ランダ
ムアクセス可能なＶＯＰの組である。

【００７４】以下では、式（１９）において算出され
た、ＧＯＶ内の各フレームに対するコンプレキシティＸ
が、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１
１においてどのように用いられるかについて述べる。
尚、以下では、ピクチャタイプ判別部７がこの画像情報
変換装置内に存在せず、フレームレートの変換を行わな
い場合をも考慮することにする。

【００７５】式（１８）によって求められたＫ_P，Ｋ_Bの
意味するところは、Ｉ−ＶＯＰに対する理想的な平均量
子化スケールＱ_{i_ideal}に対するＰ−ＶＯＰ／Ｂ−ＶＯ
Ｐに対する理想的な平均量子化スケールＱ_{p_ideal}，Ｑ
_{b_ideal}の比が、式（２０）によって与えられるという
ことである。

【００７６】

【数２３】

【００７７】ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５に
おいては、式（１８）のように適応的にＫ_p，Ｋ_bを算出
することを行わず、式（３）に示したような固定値を用
いている。

【００７８】式（１８）及び式（２０）から、或るＶＯ
Ｐ１と、或るＶＯＰ２に対するコンプレキシティをそれ
ぞれＸ₁，Ｘ₂とし、理想的な量子化スケールをＱ
_{1_ideal}，Ｑ_{2_ideal}とすれば、式（２１）のようにな
る。

【００７９】

【数２４】

【００８０】或いはまた、ＭＰＥＧ２ＴｅｓｔＭｏ
ｄｅｌ５のように、式（３）に示した固定値を用いた
い場合には、式（２１）に代えて、式（２２）のように
すれば良い。

【００８１】

【数２５】

【００８２】今、ＧＯＶ内の未符号化されたＶＯＰに対
して割り当てられる総符号量（ビット数）をＲとし、Ｒ
が、各ＶＯＰに対して、Ｒ₁，Ｒ₂，…Ｒ_nといったよう
に割り当てられる時、当該ＧＯＶに対する画質が最適化
されるものとする。ここでＲとＲ₁，Ｒ₂，…Ｒ_nの間に
は式（２３）のような関係式が成り立つ。

【００８３】

【数２６】

【００８４】或るＶＯＰ_kに対する平均量子化スケール
Ｑ_k、割当符号量Ｒ_k、コンプレキシティＸ_kの間には式
（２４）なる関係があることにも注意して、式（２３）
を変形すれば式（２５）が得られる。

【００８５】

【数２７】

【００８６】

【数２８】

【００８７】式（２５）において、Ｋ（Ｘ₁，Ｘ₂）に関
しては、式（２１）に示した値を用いても、式（２２）
に示した値を用いても良いが、前者の方が、画像に応じ
た、より最適な符号量配分を実現することが可能であ
る。その際、１／（１＋ｍ）の値を１．０と設定するこ
とで、指数演算を行うことが不要となり、高速な実行が
可能となる。また、１／（１＋ｍ）の値を１．０以外に
設定する場合にも、予めテーブルを持ち、これを参照し
て指数演算を行うことで高速な実行が可能となる。

【００８８】式（２５）における各ＶＯＰに対するコン
プレキシティＸ_kはＭＰＥＧ４画像符号化によるもので
あるが、ＭＰＥＧ２画像符号化による各フレームに対す
るコンプレキシティと、ＭＰＥＧ４画像符号化による各
フレームに対するコンプレキシティが等しいと仮定すれ
ば、コンプレキシティ算出部１５に格納されたＸ_kを用
いることで、式（２５）によって当該ＶＯＰに対する目
標符号量を算出することが可能である。

【００８９】この目標符号量の算出のフローを図９に示
す。最初のステップＳ２１において、圧縮情報解析部８
は、ＭＰＥＧ２画像情報復号化部９における復号処理に
用いられるＧＯＰ内の各フレームに対する平均量子化ス
ケールＱ，及び割当符号量（ビット数）Ｂを抽出する。

【００９０】ステップＳ２２において、コンプレキシテ
ィ算出部１５は、平均量子化スケールＱ及び割当符号量
（ビット数）Ｂの積で与えられるコンプレキシティＸを
算出する。

【００９１】ステップＳ２３において、ＭＰＥＧ４画像
符号化部（Ｉ／Ｐ−ＶＯＰ）１１は、コンプレキシティ
Ｘに応じた目標符号量（ターゲットビット）を算出す
る。

【００９２】ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５で
は、ＧＯＰ内におけるＩ，Ｐ，Ｂピクチャに対するコン
プレキシティＸ_i，Ｘ_p，Ｘ_bは一定であると仮定してい
るが実際にはシーンチェンジをＧＯＰ内に含む場合や、
ＧＯＰ内で背景が著しく変化する場合等ではこの仮定が
成り立たず、安定した符号量制御の妨げとなり、画質劣
化の要因ともなる。図８に示した画像情報変換装置にお
いては、そのような場合にも、入力となるＭＰＥＧ２画
像圧縮情報（ビットストリーム）における、各フレーム
に対するコンプレキシティに基づいた符号量制御を行う
ため、画質劣化を引き起こすことなく、安定した符号量
制御を行うことが可能である。

【００９３】

【発明が解決しようとする課題】ところで、図７に示し
た符号量制御方式において、ステップＳ１３における適
応量子化が有効に作用するためには、ｊ番目のマクロブ
ロックに対する量子化スケールコード、つまり式（８）
におけるＱ_Jがフレーム全体に渡って均一な値を取るこ
とが望ましい。そこで、ＣＣＩＲ（Comite Consultant
if Internationale des Radio Communications）テ
ストシーケンスの一つである“ＦｌｏｗｅｒＧａｒｄ
ｅｎ”を、ｎ＝１５；ｍ＝３の条件の元、４Ｍｂｐｓに
圧縮したＭＰＥＧ２画像圧縮情報（ビットストリーム）
を、図８に示した画像情報変換装置を用いて、ｎ＝５；
ｍ＝１のＭＰＥＧ４画像圧縮情報（ビットストリーム）
に変換する際の、あるＶＯＰに対するＱ_Jがどのような
値を取るかを図１０に示す。

【００９４】先述の通り、理想的にはＱ_JがＶＯＰ全体
に渡って均一な値を取ることが望ましいが、実際には、
式（７）における仮想バッファ占有量（ｄ_j ⁱ，ｄ_j ^p，ｄ
_j ^b）がマクロブロック毎に変化するため、ＶＯＰ全体に
渡って均一な値とならない。

【００９５】本発明は、上述の実情に鑑みて提案される
ものであって、Ｑ_jの変動を抑制して符号量を制御する
ような画像情報変換装置及び方法を提供することを目的
とする。

【００９６】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明は、第１の圧縮符号化方式で圧縮された飛
び越し走査の入力画像圧縮情報を、第２の圧縮符号化方
式で圧縮された順次走査の出力画像圧縮情報に変換する
ものであって、上記入力画像圧縮情報及び上記出力画像
圧縮情報を構成する符号化画像は、それぞれ複数の画素
からなる画素ブロックから構成され、上記出力画像圧縮
情報の符号化画像における画素ブロックからなる疑似画
像ブロック列に対するコンプレキシティ情報に基づい
て、上記疑似画像ブロック列に対する目標符号量を与え
て画像情報を変換するものである。

【００９７】本発明は、飛び越し走査のＭＰＥＧ２画像
圧縮情報（ビットストリーム）を入力画像圧縮情報と
し、順次操作のＭＰＥＧ４画像圧縮情報（ビットストリ
ーム）を出力画像圧縮情報とする。これらＭＰＥＧ２画
像圧縮情報（ビットストリーム）及びＭＰＥＧ４画像圧
縮情報は、複数の画素から構成される画素ブロックすな
わちマクロブロックから構成され、疑似画素ブロック列
すなわち疑似スライスを利用している。

【００９８】また、ＭＰＥＧ２画像圧縮情報（ビットス
トリーム）及びＭＰＥＧ４画像圧縮情報（ビットストリ
ーム）は、画像群すなわちＧＯＰ（group of picture
s）及びＧＯＶ（group of VOPs）からそれぞれ構成さ
れている。そして、画像群であるＧＯＰ及びＧＯＶは、
複数の符号化画像すなわちピクチャ（picture）及びＶ
ＯＰ（video object plane）からそれぞれ構成されて
いる。

【００９９】すなわち、本発明は、飛び越し走査のＭＰ
ＥＧ２画像情報圧縮情報（ビットストリーム）を入力と
し、ピクチャタイプ判別部、圧縮情報解析部、ＭＰＥＧ
２画像情報復号化部（Ｉ／Ｐピクチャ）、間引き部、Ｍ
ＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、動きベ
クトル合成部、動きベクトル検出部、情報バッファ、Ｖ
ＯＰコンプレキシテイ算出部、擬似スライスコンプレキ
シティ算出部、ＶＯＰ目標符号量算出部、擬似スライス
目標符号量算出部を兼ね備え、入力となるＭＰＥＧ２画
像圧縮情報（ビットストリーム）における、各スライス
に対するコンプレキシティ情報を用いて、ＭＰＥＧ４画
像符号化の際に擬似スライス単位の目標符号量（ターゲ
ットビット）を与えることで、符号量制御のステップ２
に伴う参照量子化スケールの変動を最小限に抑え、各マ
クロブロックに対する符号量割当が画像に対して最適化
された状態で、順次走査のＭＰＥＧ４画像圧縮情報（ビ
ットストリーム）を出力する手段を提供するものであ
る。

【０１００】上記構成において、ピクチャタイプ判別部
は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリ
ーム）内で、Ｉ／Ｐピクチャに関するものだけ残してＢ
ピクチャに関するものは廃棄する。圧縮情報解析部は、
１ＧＯＰ分の遅延を実現すると同時に、入力となるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）内で、各フレ
ームに対して割り当てられた符号量（ビット数）及び各
フレームにおける平均量子化スケール、並びに、各フレ
ームにおいて、後段のＭＰＥＧ４画像圧縮情報でそれぞ
れの擬似スライスを構成するマクロブロック全体に渡る
平均量子化スケール及び発生符号量（ビット数）を抽出
する。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）
は、ピクチャタイプ判別部の出力となる、Ｉ／Ｐピクチ
ャに関する圧縮情報（ビットストリーム）を、水平方向
垂直方向ともに、８次の離散コサイン係数全てを用い
た、若しくはその低域成分のみを用いた復号処理を行
う。間引き部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐ
ピクチャ）の出力である画像情報の第一フィールド若し
くは第二フイールドのみを取り出して順次走査画像への
変換を行うと同時に、所望の画枠サイズに変換するため
のダウンサンプリングを行う。ＭＰＥＧ４画像情報符号
化部（Ｉ／Ｐ−ＶＯＰ）は、間引き部の出力となる画像
情報をＭＰＥＧ４符号化方式により符号化する。動きベ
クトル合成部は、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐ
ピクチャ）で検出された、入力となる画像圧縮情報（ビ
ットストリーム）内の動きベクトル値を元に、走査変換
後の画像データに対する動きベクトル値にマッピングを
行う。動きベクトル検出部は、動きベクトル合成部から
出力される動きベクトル値を元に、高精度の動きベクト
ル検出を行う。情報バッファは、圧縮情報解析部におい
て抽出された、入力となるＭＰＥＧ２画像圧縮情報（ビ
ットストリーム）における各フレームに割り当てられた
符号量（ビット数）及び各フレームに対する平均量子化
スケール、並びに、各フレームにおいて、後段のＭＰＥ
Ｇ４画像圧縮情報でそれぞれの擬似スライスを構成する
マクロブロック全体に渡る平均量子化スケール及び発生
符号量（ビット数）を格納する。ＶＯＰコンプレキシテ
イ算出部は、情報バッファに格納された、入力となるＭ
ＰＥＧ２画像圧縮情報（ビットストリーム）における、
各フレームに割り当てられた符号量（ビット数）、及び
各フレームに対する平均量子化スケールから、出力とな
るＭＰＥＧ４画像圧縮情報（ビットストリーム）におけ
る各ＶＯＰに対するコンプレキシティの推定値を算出す
る。擬似スライスコンプレキシティ算出部においては、
情報バッファに格納された、入力となるＭＰＥＧ２画像
圧縮情報（ビットストリーム）における、各擬似スライ
スに割り当てられた符号量（ビット数）、及び各擬似ス
ライスに対する平均量子化スケールから、出力となるＭ
ＰＥＧ４画像圧縮情報（ビットストリーム）における各
擬似スライスに対するコンプレキシティの推定値を算出
する。ＶＯＰ目標符号量算出部は、ＶＯＰコンプレキシ
ティ算出部において算出された、各ＶＯＰに対するコン
プレキシティに基づいて、各ＶＯＰに対する目標符号量
（ターゲットビット）の算出を行い、擬似スライス目標
符号量算出部においては、ＶＯＰ目標符号量算出部にお
いて算出された各ＶＯＰに対する目標符号量（ターゲッ
トビット）、及び擬似スライスコンプレキシティ算出部
において算出された、各擬似スライスに対するコンプレ
キシティから、各擬似スライスに対する目標符号量（タ
ーゲットビット）を算出し、その情報をＭＰＥＧ４画像
情報符号化装置（Ｉ／Ｐ−ＶＯＰ）に伝送する。

【０１０１】なお、ピクチャタイプ判別部を持たず、フ
レームレートの変換を行わない装置構成も可能である。
また、ＶＯＰ目標符号量算出部において、入力となるＭ
ＰＥＧ２画像圧縮情報（ビットストリーム）における各
フレームに対するコンプレキシティを用いず、ＭＰＥＧ
２ＴｅｓｔＭｏｄｅｌ５に定められているのと同
様の方式により各ＶＯＰに対する目標符号量を算出する
装置構成も考えられる。

【０１０２】

【発明の実施の形態】以下、図面を参照し、本発明の実
施例について説明する。

【０１０３】まず、本発明を適用した第１の実施の形態
の画像情報変換装置について、図１を参照して説明す
る。

【０１０４】この画像情報処理装置は、ピクチャタイプ
判別部１６と、圧縮情報解析部１７と、ＭＰＥＧ２画像
情報復号化部（Ｉ／Ｐピクチャ）１８と、間引き部１９
と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２
０と、動きベクトル合成部２１と、動きベクトル検出部
２２と、情報バッファ２３と、ＶＯＰコンプレキシティ
算出部２４と、擬似スライスコンプレキシティ算出部２
５と、ＶＯＰ目標符号量算出部２６と、擬似スライス目
標符号量算出部２７とから構成される。

【０１０５】この画像情報変換装置には、フレーム内で
符号化されたイントラ符号化画像（Ｉピクチャ；Ｉ）、
表示順序で順方向を参照して予測符号化された順方向予
測符号化画像（Ｐピクチャ；Ｐ）及び表示順序で順方向
及び逆方向を参照して予測符号化された双方向予測符号
化画像（Ｂピクチャ；Ｂ）から構成される飛び越し走査
のＭＰＥＧ２画像圧縮情報（ビットストリーム）が入力
される。

【０１０６】このＭＰＥＧ２画像圧縮情報（ビットスト
リーム）は、ピクチャタイプ判別部１６において、Ｉ／
Ｐピクチャに関するものか、Ｂピクチャに関するもので
あるかを判別され、Ｉ／Ｐピクチャのみ後続の圧縮情報
解析部１７に出力され、Ｂピクチャは破棄される。

【０１０７】圧縮情報解析部１７において、ＭＰＥＧ２
画像情報復号化装置（Ｉ／Ｐピクチャ）１８における復
号処理に用いられる量子化スケールのフレーム全体に渡
る平均値Ｑ、及び、入力となるＭＰＥＧ２画像圧縮情報
（ビットストリーム）において、当該フレームに割り当
てられた総符号量（ビット数）Ｂは、情報バッファ２３
に格納される。

【０１０８】ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピク
チャ）１８における処理は通常のＭＰＥＧ２画像情報復
号化装置と同様に、ＭＰＥＧ２画像圧縮情報（ビットス
トリーム）を画像信号に復号するものである。ここで、
Ｂピクチャに関するデータはピクチャタイプ判別部１６
において廃棄されているので、ＭＰＥＧ２画像情報復号
化部（Ｉ／Ｐピクチャ）１８は、Ｉ／Ｐピクチャのみを
復号化出来る機能を有すればよい。

【０１０９】ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピク
チャ）１８の出力となる画素値は、間引き部１９に入力
される。間引き部１９は、水平方向には１／２の間引き
処理を施し、垂直方向には、第一フィールド若しくは第
二フィールドのどちらか一方のデータのみを残し、もう
一方を廃棄する。このような間引きによって、入力とな
る画像情報の１／４の大きさを持つ順次走査画像を生成
する。

【０１１０】ところで、間引き部１９から出力された画
像をＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２
０において１６×１６画素で構成されるマクロブロック
単位で符号化するためには、水平方向、垂直方向とも
に、その画素数が１６の倍数である必要が有る。間引き
部１９においては、このための画素の補填若しくは廃棄
を、間引きと同時に行う。

【０１１１】例えば、入力となるＭＰＥＧ２画像圧縮情
報（ビットストリーム）がＮＴＳＣ（National Televi
sion System Committee）の規格に準拠したもの、つ
まり７２０×４８０画素、３０Ｈｚの飛び越し走査画像
であった場合、間引き後の画枠はＳＩＦ（３６０×２４
０画素）サイズということになる。この画像に対して、
間引き部１９において、例えば水平方向の右端若しくは
左端の８ラインを廃棄して３５２×２４０画素とする。

【０１１２】なお、間引き部１９における動作の変更を
行うことで、これ以外の画枠、例えば上記の例で、約１
／４×１／４の画枠であるＱＳＩＦ（１７６×１１２画
素）サイズの画像に変換することも可能である。

【０１１３】更に、上述した文献１は、ＭＰＥＧ２画像
情報復号化部（Ｉ／Ｐピクチャ）１８における処理とし
て、水平方向、垂直方向それぞれについて、入力となる
ＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８
次の離散コサイン変換係数すべてを用いた復号処理を行
う画像情報変換装置について述べられているが、図１に
示した装置に関してはその限りではなく、水平方向の
み、或いは水平方向、垂直方向ともに、８次の離散コサ
イン変換係数のうちの低域成分のみを用いた復号処理を
行い、画質劣化を最小限に抑えながら、復号処理に伴う
演算量とビデオメモリ容量を削減することが可能であ
る。

【０１１４】間引き部１９によって生成された順次走査
画像はＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）
２０によってフレーム内で符号化されたＩ−ＶＯＰ及び
表示順序で順方向を参照して予測符号化されたＰ−ＶＯ
Ｐに符号化され、ＭＰＥＧ４画像圧縮情報（ビットスト
リーム）として出力される。

【０１１５】尚、ＶＯＰはVideo object Planeを意味
し、ＭＰＥＧ２におけるフレームに相当するものであ
る。また、Ｉ−ＶＯＰはＩピクチャに対応するイントラ
符号化ＶＯＰ、Ｐ−ＶＯＰはＰピクチャに対応する順方
向予測符号化ＶＯＰ、Ｂ−ＶＯＰはＢピクチャに対応す
る双方向予測符号化ＶＯＰである。

【０１１６】ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−Ｖ
ＯＰ）２０における符号化の際には、入力となるＭＰＥ
Ｇ２画像圧縮情報（ビットストリーム）中の動きベクト
ル情報は、動きベクトル合成部２１において間引き後の
画像情報に対する動きベクトルにマッピングされ、動き
ベクトル検出部２２においては、動きベクトル合成部２
１において合成された動きベクトル値を元に高精度の動
きベクトルを検出する。

【０１１７】ここで、本実施の形態の画像情報変換装置
で用いられる、擬似スライスの概念について述べる。

【０１１８】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）には、図２に示すようなスライス層が存在する。す
なわち、スライス層では、画面内で図２のように横長の
帯状の領域を示し、（図２のａ，ｂ，ｃ…の領域）画面
を複数のスライスで構成することにより、あるスライス
層でエラーが発生しても、次のスライス層の開始（ｓｌ
ｉｃｅ＿ｓｔａｒｔ＿ｃｏｄｅ）からの同期でエラー回
復が可能となる。スライス層は１個以上のマクロブロッ
クから構成され、ラスタスキャンオーダで、左から右、
上から下に並び、その長さや開始位置は自由で、画面毎
に変更可能である。但し、並列処理や効果的なエラー耐
性を目的として、一つのスライスは右方向にのみ伸び、
下方にまで伸びることはない。

【０１１９】ＭＰＥＧ４画像圧縮情報（ビットストリー
ム）においては、低ビットレートにおける符号化効率を
考慮して、図２に示したようなスライス層は構文上定義
されていないが、本実施の形態においては、ＭＰＥＧ４
画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０における符号
化処理のため、図３に示すような擬似スライスを定義す
る。すなわち、例えば、図１に示した画像情報変換装置
によって、入力となる、飛び越し走査のＭＰＥＧ２画像
圧縮情報（ビットストリーム）が、１／２×１／２の画
枠を持つ順次走査のＭＰＥＧ４画像圧縮情報（ビットス
トリーム）に変換される場合を考える。この時、図３の
Ａにおける入力となるＭＰＥＧ２画像圧縮情報（ビット
ストリーム）内の４つのマクロブロックＭＢ₀，ＭＢ₁，
ＭＢ_2m，ＭＢ_2m+1が、図３のＢに示す出力となるＭＰＥ
Ｇ４画像圧縮情報（ビットストリーム）においては１つ
のマクロブロックＭｂ₀に対応することになる。この
時、図３のＡにおいてマクロブロックＭ_B0，Ｍ_B1，…Ｍ
Ｂ_4m-1から構成される領域ａに対応して、図３のＢに示
す出力となるＭＰＥＧ４画像圧縮情報（ビットストリー
ム）における、マクロブロックＭｂ₀，Ｍｂ₁，…，Ｍｂ
_m-1から構成されるマクロブロック群ａを擬似スライス
０と定義する。疑似スライス１以降に関しても同様であ
る。

【０１２０】圧縮情報解析部１７においては、入力とな
るＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、
各フレームに対する割当符号量（ビット数）Ｂ_k、及び
各フレームにおける平均量子化スケールＱ_kに関する情
報を抽出し、情報バッファ２３に格納する。同時に、各
フレームにおいて、出力となるＭＰＥＧ４画像圧縮情報
（ビットストリーム）において擬似スライス１を構成す
るマクロブロック群に対する割当符号量（ビット数）Ｂ
_{pseudo_slice1}，及び平均量子化スケールＱ_pse
_{udo_slice1}を情報バッファ２３に格納する。図３のＡに
おいて、ｎを整数として、入力となる画像圧縮情報（ビ
ットストリーム）内のあるマクロブロックＭＢ_nに対す
る発生符号量及び量子化スケールをそれぞれＢ_MBn，Ｑ
_MBnとすれば、擬似スライス０に対して、次の式（２
６）が成り立つ。

【０１２１】

【数２９】

【０１２２】擬似スライス１以降に関しても同様であ
る。但し、ｍが奇数の場合、例えば入力となる飛び越し
走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）の
画枠が７２０×４８０画素であった場合、その１／２×
１／２は３６０×２４０画素ということになるが、後続
のＭＰＥＧ４画像情報符号化装置（Ｉ／Ｐ−ＶＯＰ）２
０においてマクロブロック単位の処理を行うためには、
間引き部１９において、例えば画枠に対する右４画素を
破棄して、３５２×２４０画素とする必要がある。この
場合には、式（２６）に示した値をとしてＢ
_{pseudo_slice0}，Ｑ_{pseudo_sl} _ice0として用いても良い
し、次の式（２７）のようにしても良い。

【０１２３】

【数３０】

【０１２４】ＶＯＰコンプレキシティ算出部２４におい
ては、情報バッファ２３に格納された、入力となるＭＰ
ＥＧ２画像圧縮情報（ビットストリーム）内の、各フレ
ームに対する割当符号量（ビット数）Ｂ_k及び各フレー
ムにおける平均量子化スケールＱ_kに関する情報から、
各ＶＯＰに対するコンプレキシティの推測値Ｘ_kを次の
式（２８）のように１ＧＯＶ分算出する。

【０１２５】

【数３１】

【０１２６】ＶＯＰ目標符号量算出部２６においては、
ＶＯＰコンプレキシテイ算出部２４を用いて、式（２
５）により、各ＶＯＰに対する目標符号量（ターゲット
ビット）を算出する。以下では、式（２５）によつて求
められる各ＶＯＰに対する目標符号量（式ではＲ₁）を
Ｔ_vopと表す。

【０１２７】擬似スライスコンプレキシティ算出部２５
においては、情報バッファ２３に格納された、出力とな
るＭＰＥＧ４画像圧縮情報（ビットストリーム）におい
て擬似スライス１を構成するマクロブロック群に対する
割当符号量（ビット数）Ｂ_ps _{eudo_slice1}及び平均量子
化スケールＱ_{pseudo_slice1}に関する情報から、各擬似
スライスに対するコンプレキシティＸ
_{pseudo_slice1}を、次の式（２９）のように算出する。

【０１２８】

【数３２】

【０１２９】今、当該ＶＯＰが、擬似スライス０，擬似
スライス１，…擬似スライスＮ−１から構成されている
とすれば、疑似スライス目標量算出部２７においては、
疑似スライス１に対する目標符号量Ｔ
_{pseudo_slice1}が、次の式（３０）のように算出され、
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０に
伝送される。

【０１３０】

【数３３】

【０１３１】Ｉ−ＶＯＰ，Ｐ−ＶＯＰ，Ｂ−ＶＯＰに対
するＴ_{pseudo_slice1}をそれぞれＴ_i _{_pseudo_slice1}，Ｔ
_{p_pseudo_slice1}，Ｔ_{b_pseudo_slice1}とすれば、ＭＰＥ
Ｇ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０におい
て、仮想バッファ（ｄ_j ⁱ，ｄ_j ^p，ｄ_j ^b）の占有量を、式
（２７）に対応して、次の式（３１）のように算出す
る。

【０１３２】

【数３４】

【０１３３】ここで、ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^bは、擬似スライ
ス先頭における各仮想バッファの占有量であり、Ｂ
_{pseudo_slice_j}は、擬似スライス先頭からｊ番目のマク
ロブロックでの発生符号量である。Ｐ＿ＳＬＩＣＥ＿Ｃ
ＮＴは１擬似スライスに含まれるマクロブロックの個数
で、各擬似スライス符号化終了時における仮想バッファ
の占有量（ｄ_{P_SLICE_CNT} ⁱ，ｄ_{P_SLICE_CNT} ^p，ｄ
_{P_SLICE_CNT} ^ib）は、次の擬似スライスに対する仮想バ
ッファの占有量の初期値（ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^b）として用
いられる。

【０１３４】以上のようなＭＰＥＧ４画像情報符号化部
（Ｉ／Ｐ−ＶＯＰ）２０における一連の符号量制御の動
作原理について、図４を参照して説明する。

【０１３５】最初のステップＳ３１において、圧縮情報
解析部１７は、ピクチャタイプ判別部１６を介して入力
されたＭＰＥＧ２画像圧縮情報（ビットストリーム）の
構文を解析し、各フレームに対する割当符号量（ビット
数）Ｂ_k、及び各フレームにおける平均量子化スケール
Ｑ_kに関する情報を抽出し、情報バッファ２３に格納す
る。同時に、各フレームにおいて、出力となるＭＰＥＧ
４画像圧縮情報（ビットストリーム）において疑似スラ
イス１を構成するマクロブロック群に対する割当符号量
（ビット数）Ｂ_{pseudo_slice1}、及び平均量子化スケー
ルＱ_{pseudo_slic} _e1を情報バッファ２３に格納する。

【０１３６】ステップＳ３２において、ＶＯＰコンプレ
キシティ算出部２４は、情報バッファ２３に格納され
た、入力となるＭＰＥＧ２画像圧縮情報（ビットストリ
ーム）内の、各フレームに対する割当符号量（ビット
数）Ｂ_k、及び各フレームにおける平均量子化スケール
Ｑ_kに関する情報から、各ＶＯＰに対するコンプレキシ
ティの推測値Ｘ_kを１ＧＯＶ分算出する。

【０１３７】ステップＳ３３において、ＶＯＰ目標符号
量算出部２６は、各ＶＯＰに対する目標符号量（ターゲ
ットビット）を算出する。

【０１３８】ステップＳ３４において、疑似スライスコ
ンプレキシティ算出部２５は、情報バッファ２３に格納
された、出力となるＭＰＥＧ４画像圧縮情報（ビットス
トリーム）において疑似スライス１を構成するマクロブ
ロック群に対する割当符号量（ビット数）Ｂ
_{pseudo_slice1}、及び平均量子化スケールＱ
_{pseudo_slice1}に関する情報から、各疑似スライスに対
するコンプレキシティＸ_{pseudo_slice1}を算出する。

【０１３９】ステップＳ３５において、疑似スライス目
標符号量算出部２７は、各疑似スライスに対応する目標
符号量（ターゲットビット）を算出し、ＭＰＥＧ４画像
情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０に伝送する。

【０１４０】ステップＳ３６において、ＭＰＥＧ４画像
情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０は、仮想バッファ
を用いたレート制御を行う。ステップＳ３７において、
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）２０
は、視角特性を考慮したマクロブロックごとの適応量子
化を行う。

【０１４１】次に、本発明を適用した第２の実施の形態
の画像情報変換装置について、図５を参照して説明す
る。

【０１４２】この画像情報装置は、ピクチャタイプ判別
部２８と、圧縮情報解析部２９と、ＭＰＥＧ２画像情報
復号化部（Ｉ／Ｐピクチャ）３０と、間引き部３１と、
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）３２
と、動きベクトル合成部３３と、動きベクトル検出部３
４と、情報バッファ３５と、擬似スライスコンプレキシ
ティ算出部３６と、ＶＯＰ目標符号量算出部３７と、擬
似スライス目標符号量算出部３８とから構成される。

【０１４３】図１に示した画像情報変換装置と図５に示
した画像情報変換装置における相違点は、図１に示した
画像情報変換装置においては、ＭＰＥＧ４画像情報符号
化部（Ｉ／Ｐ−ＶＯＰ）２０における、各ＶＯＰに対す
る目標符号量（ターゲットビット）を式（２５）により
算出するのに対し、図５に示した画像情報変換装置にお
いては、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯ
Ｐ）３２における、各ＶＯＰに対する目標符号量（ター
ゲットビット）を式（４）により算出する点にある。す
なわち、図５に示した画像情報変換装置においては、圧
縮情報解析部２９において、入力となるＭＰＥＧ２画像
圧縮情報（ビットストリーム）におけるＧＯＰ構造を抽
出してこれを情報バッファ３５に格納し、これより、Ｖ
ＯＰ目標符号量算出部３７においては、出力となるＭＰ
ＥＧ４画像圧縮情報（ビットストリーム）におけるＧＯ
Ｖ構造を決定し、式（４）に基づいて各ＶＯＰに対する
目標符号量（ターゲットビット）の算出を行う。

【０１４４】以上、入力としてＭＰＥＧ２画像圧縮情報
（ビットストリーム）を、出力としてＭＰＥＧ４画像圧
縮情報（ビットストリーム）を対象としてきたが、入
力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．
２６３などの画像圧縮情報（ビツトストリーム）でも良
い。

【０１４５】

【発明の効果】以上述べてきた様に、本発明は、飛び越
し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）
を入力とし、入力となるＭＰＥＧ２画像圧縮情報（ビッ
トストリーム）における、各スライスに対するコンプレ
キシティ情報を用いて、ＭＰＥＧ４画像符号化の際に擬
似スライス単位の目標符号量（ターゲットビット）を与
えることで、符号量制御におけるコンプレキシティを算
出するステップに伴う参照量子化スケールの変動を最小
限に抑え、各マクロブロックに対する符号量割当が画像
に対して最適化された状態で順次走査のＭＰＥＧ４画像
圧縮情報（ビツトストリーム）に変換して出力する手段
を提供するものである。

【図面の簡単な説明】

【図１】第１の実施の形態の画像情報変換装置の構成を
示すブロック図である。

【図２】ＭＰＥＧ２画像圧縮情報（ビットストリーム）
におけるスライス層の概念を説明する図である。

【図３】ＭＰＥＧ４画像圧縮情報（ビットストリーム）
における疑似スライスの概念を示す図である。

【図４】コンプレキシティを用いて符号量制御を行う動
作フローを示す図である。

【図５】第２の実施の形態の画像情報変換装置の構成を
示すブロック図である。

【図６】従来の画像情報変換装置の構成を示すブロック
図である。

【図７】ＭＰＥＧ２ＴｅｓｔＭｏｄｅ１５（ＩＳ
Ｏ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４０
０）で述べられている符号量制御方式の動作原理を示す
フローチャートである。

【図８】本願出願人が提案した画像情報変換装置の構成
を示す図である。

【図９】図８の画像情報変換装置における符号量制御の
動作を示すフローチャートである。

【図１０】ＣＣＩＲテストシーケンスの一つである“Ｆ
ｌｏｗｅｒＧａｒｄｅｎ”を、ｎ＝１５；ｍ＝３の条
件の元、４Ｍｂｐｓに圧縮したＭＰＥＧ２画像圧縮情報
（ビットストリーム）を、図８に示した画像情報変換装
置を用いて、ｎ＝５；ｍ＝１のＭＰＥＧ４画像圧縮情報
（ビットストリーム）に変換する際の、あるＶＯＰに対
するＱ_jがどのような値を取るかを示した図である。

【符号の説明】

１６ピクチャタイプ判別部、１７圧縮情報解析部、
１８ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチ
ャ）、１９間引き部、２０ＭＰＥＧ４画像情報符号
化部（Ｉ／Ｐ−ＶＯＰ）、２１動きベクトル合成部、
２２動きベクトル検出部、２３情報バッファ、２４
ＶＯＰコンプレキシテイ算出部、２５擬似スライス
コンプレキシティ算出部、２６ＶＯＰ目標符号量算出
部、２７擬似スライス目標符号量算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者高橋邦明東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者鈴木輝彦東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者矢ケ崎陽一東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C059 LA07 MA00 MA05 MB00 MC11 MC38 PP05 PP06 PP07 SS01 SS11 TA46 TA57 TB03 TB08 TC10 TC38 TD03 UA38 5J064 AA01 BA09 BB03 BB05 BC01 BC14 BC26 BD02 BD03

Claims

【特許請求の範囲】

【請求項１】第１の圧縮符号化方式で圧縮された飛び
越し走査の入力画像圧縮情報を、第２の圧縮符号化方式
で圧縮された順次走査の出力画像圧縮情報に変換する画
像情報変換装置において、上記入力画像圧縮情報及び上記出力画像圧縮情報を構成
する符号化画像は、それぞれ複数の画素からなる画素ブ
ロックから構成され、上記出力画像圧縮情報の符号化画像における画素ブロッ
クからなる疑似画像ブロック列に対する目標符号量を算
出する目標符号量算出手段と、上記目標符号量算出手段で算出した目標符号量を用い、
画像情報を上記出力画像圧縮情報に符号化する符号化手
段とを有することを特徴とする画像情報変換装置。
【請求項２】上記疑似画素ブロック列とは、上記出力
画像圧縮情報の符号化画像における水平方向一列分の画
素ブロック群であることを特徴とする請求項１記載の画
像情報変換装置。
【請求項３】上記疑似画素ブロック列を構成する画素
ブロックに対応する上記入力画像圧縮情報の符号化画像
における画素ブロック群の平均量子化スケール及び割当
符号量を上記入力画像圧縮情報から抽出する解析手段
と、この解析手段で検出した平均量子化スケール及び割当符
号量を格納する情報バッファとを有することを特徴とす
る請求項２記載の画像情報変換装置。
【請求項４】上記解析手段は、上記情報バッファに格
納した平均量子化スケール及び割当符号量を用いて、上
記出力画像圧縮情報及び符号化画像におけるｋ番目の疑
似画素ブロック列に対するコンプレキシティを次の式に
よって算出することを特徴とする請求項３記載の画像情
報変換装置。【数１】ただし、ｋ番目の疑似画素ブロック列に対する平均量子
化スケールをＱ_pseudo _{_slicek}と、割当符号量をＢ
_{pseudo_slicek}と、コンプレキシティをＸ_{pseudo_sli} _cek
とする。
【請求項５】上記解析手段は、上記出力画像圧縮情報
を構成する符号化画像に対する目標符号量及び各疑似画
素ブロック列に対するコンプレキシティを用いて、上記
出力画像圧縮情報を構成する符号化画像を構成するｋ番
目の疑似画素ブロック列に対するコンプレキシティを次
の式によって算出することを特徴とする請求項４記載の
画像情報変換装置。【数２】ただし、当該符号化画像に対する目標符号量をＴ
_vopと、ｌ番目の疑似画素ブロック列に対するコンプレ
キシティをＸ_{pseudo_slicel}と、目標符号量をＴ_pseud
_{o_slicek}とする。
【請求項６】上記入力画像圧縮情報は複数の符号化画
像からなる画像群から構成され、上記解析手段は、上記
入力画像圧縮情報を構成する画像群の構造を解析するこ
とにより、上記出力画像圧縮情報の符号化画像に対する
目標符号量を算出することを特徴とする請求項５記載の
画像情報変換装置。
【請求項７】上記解析手段は、上記入力画像圧縮情報
を構成する各フレームに対するコンプレキシティを抽出
し、このコンプレキシティを利用して上記出力画像圧縮
情報の符号化画像に対する目標符号量を算出することを
特徴とする請求項５記載の画像情報変換装置。
【請求項８】上記出力画像圧縮情報は、フレーム内で
符号化されたイントラ符号化画像、表示順序で順方向を
参照して符号化された順方向予測符号化画像、表示順序
で順方向及び逆方向を参照して符号化された双方向予測
符号化画像から構成され、上記変換手段は、各種類の符
号化画像を構成するｊ番目の画素ブロックにおける仮想
バッファの占有量をそれぞれ次の式によって与えること
を特徴とする請求項５記載の画像情報変換装置。【数３】ただし、イントラ符号化画像、順方向予測符号化画像、
双方向予測符号化画像に対するｌ番目の目標符号量Ｔ
_{pseudo_slicel}をそれぞれＴ_{i_pseudo_slicel}，Ｔ
_{p_pseudo_slicel}，Ｔ_{b_pseudo_slicel}と、ｊ番目の画素
ブロックに対する仮想バッファの占有量をｄ_j ⁱ，ｄ_j ^p，
ｄ_j ^bと、仮想バッファの占有量の初期値をｄ₀ ⁱ，ｄ₀ ^p，
ｄ₀ ^bとする。また、疑似画素ブロック列の先頭からｊ番
目のマクロブロックまでに発生した符号量（ビット数）
をＢ_{pseudo_slicej}と、疑似画素ブロック列を構成する
画素ブロックの個数をＰ＿ＳＬＩＣＥ＿ＣＮＴとする。
【請求項９】上記変換手段は、各疑似画素ブロック列
の処理終了時における上記仮想バッファの占有量を、次
の疑似画素ブロック列に対する上記仮想バッファの占有
量の初期値とすることを特徴とする請求項８記載の画像
情報変換装置。
【請求項１０】上記入力画像圧縮情報は、フレーム内
で符号化されたイントラ符号化画像、表示順序で順方向
を参照して符号化された順方向予測符号化画像、表示順
序で順方向及び逆方向を参照して符号化された双方向予
測符号化画像から構成され、上記イントラ符号化画像及
び上記順方向予測符号化画像を通過させるが、上記双方
向予測符号化画像を破棄する判別手段を有することを特
徴とする請求項１記載の画像情報変換装置。
【請求項１１】上記第１の圧縮符号化方式はＭＰＥＧ
２であり、上記第２の圧縮符号化方式はＭＰＥＧ４であ
ることを特徴とする請求項１記載の画像情報変換装置。
【請求項１２】第１の圧縮符号化方式で圧縮された飛
び越し走査の入力画像圧縮情報を、第２の圧縮符号化方
式で圧縮された順次走査の出力画像圧縮情報に変換する
画像情報変換方法において、上記入力画像圧縮情報及び上記出力画像圧縮情報を構成
する符号化画像は、それぞれ複数の画素からなる画素ブ
ロックから構成され、上記出力画像圧縮情報の符号化画像における画素ブロッ
クからなる疑似画像ブロック列に対する目標符号量を算
出し、上記目標符号量を用い、画像情報を上記出力画像圧縮情
報に符号化することを特徴とする画像情報変換方法。
【請求項１３】上記疑似画素ブロック列とは、上記出
力画像圧縮情報の符号化画像における水平方向一列分の
画素ブロック群であることを特徴とする請求項１２記載
の画像情報変換方法。
【請求項１４】上記疑似画素ブロック列を構成する画
素ブロックに対応する上記入力画像圧縮情報の符号化画
像における画素ブロック群の平均量子化スケール及び割
当符号量を上記入力画像圧縮情報から抽出し、情報バッ
ファに格納することを特徴とする請求項１３記載の画像
情報変換方法。