JP2000236547A

JP2000236547A - 画像情報変換装置及び画像情報変換方法

Info

Publication number: JP2000236547A
Application number: JP18360299A
Authority: JP
Inventors: Kazufumi Sato; 数史佐藤; Takeshi Kubozono; 猛窪園; Shintaro Okada; 紳太郎岡田; Iku Ryuu; イクリュウ; Hisafumi Yanagihara; 尚史柳原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-12-15
Filing date: 1999-06-29
Publication date: 2000-08-29

Abstract

(57)【要約】【課題】ＭＰＥＧ−２方式で圧縮符号化したビットス
トリームのビットレートを、復号画像の画質劣化を最小
限に抑えながら削減する。【解決手段】逆量子化装置２６は、ＭＰＥＧ−２のビ
ットストリームを逆量子化して、ＤＣＴブロック単位の
離散コサイン係数を出力する。帯域制限装置２７は、離
散コサイン係数の水平方向の高周波成分の値を０と置き
換える。量子化装置２８は、元々の量子化幅と異なる量
子化幅で離散コサイン係数を量子化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、所定の画素ブロッ
ク単位で直交変換するとともに直交変換して得られた上
記直交変換ブロック内の直交変換係数を量子化すること
により圧縮符号化をした画像圧縮情報のビットレートを
変換する画像情報変換装置及び画像情報変換方法に関す
るものである。例えば、本発明は、衛星放送やケーブル
テレビジョン等のネットワークに伝送する場合や、光デ
ィスクや磁気ディスク等の記録メディアに記録する場合
などに、ＭＰＥＧ−２等により圧縮符号化した画像圧縮
情報のビットレートを削減するものである。

【０００２】

【従来の技術】近年、画像情報をデジタルデータとして
取り扱い、そのデジタルデータを画像情報特有の冗長性
を利用した直交変換と動き補償により圧縮を行い、衛星
放送やケーブルテレビジョン等のネットワークメディア
へ伝送や、光ディスクや磁気ディスク等のストレージメ
ディアへの記録を行う装置が普及している。このような
装置では、一般に、画像圧縮方式に、離散コサイン変換
を用いたＭＰＥＧ−２（Moving Picture Experts Group
phase - 2）が用いられている。

【０００３】また、近年、このＭＰＥＧ−２等の画像圧
縮方式を用いたデジタルテレビジョン放送の規格化が進
められている。デジタルテレビジョン放送の規格には、
標準解像度画像（例えば垂直方向の有効ライン数が５７
６本）に対応した規格、高解像度画像（例えば垂直方向
の有効ライン数が１１５２本）に対応した規格等があ
る。

【０００４】ところで、この高解像度画像の画像情報は
膨大であり、ＭＰＥＧ−２等の符号化方式を用いて圧縮
しても、十分な画質を得るためには多くの符号量（ビッ
トレート）が必要となる。例えば、画枠が１９２０画素
×１０８０画素の３０Ｈｚの飛び越し走査画像の場合に
は、１８〜２２Ｍｂｐｓ程度或いはそれ以上の符号量
（ビットレート）を必要とする。

【０００５】そのため、例えば衛星放送やケーブルテレ
ビジョン等のネットワークメディアへこのような高解像
度画像を伝送する場合には、伝送経路のバンド幅に合わ
せて更に符号量（ビットレート）の削減をしなければな
らない。同様に、光ディスクや磁気ディスク等のストレ
ージメディアへこのような高解像度画像を記録する場合
にも、メディアの記録容量に合わせて、更に符号量（ビ
ットレート）の削減をしなければならない。また、この
ような符号量（ビットレート）の削減の必要性は、高解
像度画像のみならず、標準解像度画像（例えば画枠が７
２０画素×４８０画素の３０Ｈｚの飛び越し走査画像
等）でも生じることが考えられる。

【０００６】従来より、図４１に示すような、画像復号
化装置１１０と画像符号化装置１２０とが直列接続され
て構成された画像情報変換装置が、画像圧縮情報（ビッ
トストリーム）の持つ符号量（ビットレート）を削減す
る装置として知られている。

【０００７】この従来の画像情報変換装置では、高ビッ
トレートの画像圧縮情報（ビットストリーム）が画像復
号化装置１１０に入力する。この画像復号化装置１１０
は、高ビットレートの画像圧縮情報を一旦完全に復号
し、ベースバンドのビデオデータを出力する。そして、
画像符号化装置１２０は、画像復号化装置２１の出力と
して得られるベースバンドのビデオデータを再符号化
し、低ビットレートの画像圧縮情報（ビットストリー
ム）を出力する。このとき、画像符号化装置１２０は、
入力された画像圧縮情報の符号量（高ビットレート）よ
り低い目標符号量（ターゲットビットレート）が予め与
えられ、この目標符号量に応じた量子化処理をする。

【０００８】以上のような処理を行うことにより、従来
の画像情報変換装置では、画像圧縮情報の符号量を削減
することができる。

【０００９】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の画像情報変換装置では、復号化及び符号化に
伴う全てのハードウェア構成が必要となるため、コスト
と消費電力が大きくなり、民生用の機器や携帯型の機器
に組み込むことは困難であった。また、このような従来
の画像情報変換装置では、復号化及び符号化に伴う処理
を全て行わなければならないため、演算処理量が非常に
膨大となり、汎用の集積回路を用いてソフトウエアとし
て実現する場合には、回路の持つ演算処理能力では実時
間内に処理が終わらないといった問題が生じる可能性が
あった。

【００１０】また、従来の画像情報変換装置の画像符号
化装置１２０では、入力された高ビットレートの画像圧
縮情報に対して、より低い目標符号量（ターゲットビッ
トレート）が与えられるため、量子化幅が粗くなり、こ
れによって生じる量子化雑音が復号画像においてブロッ
クノイズとして現れ、良好な画質が得られなかった。

【００１１】本発明の目的は、上記問題点を解決するも
ので、入力された多くの符号量（高いビットレート）の
画像圧縮情報（ビットストリーム）を、復号画像の画質
劣化を最小限に抑えながら符号量（ビットレート）を削
減して、少ない符号量（低いビットレート）の画像圧縮
情報を出力する画像情報変換装置及び画像情報変換方法
を提供するものである。

【００１２】

【課題を解決するための手段】本発明にかかる画像情報
変換装置は、所定の画素ブロック（直交変換ブロック）
単位で直交変換するとともに直交変換して得られた上記
直交変換ブロック内の直交変換係数を量子化することに
より、画像信号を圧縮符号化をした第１のビットレート
の第１の画像圧縮情報を、上記第１のビットレートより
低い第２のビットレートの第２の画像圧縮情報に変換す
る画像情報変換装置であって、入力された第１の画像圧
縮情報の直交変換係数の量子化幅に応じて、この直交変
換係数を逆量子化する逆量子化手段と、出力する第２の
画像圧縮情報が上記第２のビットレートとなるような量
子化幅に応じて、上記逆量子化手段により逆量子化され
た直交変換係数を再量子化する量子化手段とを備えるこ
とを特徴とする。

【００１３】この画像情報変換装置では、直交変換係数
を逆量子化した後量子化幅を変えて再量子化する。

【００１４】また、本発明にかかる画像情報変換装置
は、上記逆量子化手段により逆量子化された直交変換係
数の水平方向の高周波成分の値を制限する帯域制限手段
を備え、上記量子化手段は、出力する第２の画像圧縮情
報が上記第２のビットレートとなるような量子化幅に応
じて、上記帯域制限手段により水平方向の高周波成分が
制限された直交変換係数を再量子化することを特徴とす
る。

【００１５】この画像情報変換装置では、直交変換係数
を逆量子化した後、直交変換係数の水平方向の高周波成
の値を制限し、量子化幅を変えて再量子化する。

【００１６】また、本発明にかかる画像情報変換装置
は、所定の画素ブロック（直交変換ブロック）単位で直
交変換するとともに直交変換して得られた上記直交変換
ブロック内の直交変換係数を量子化することにより、画
像信号を圧縮符号化をした第１のビットレートの第１の
画像圧縮情報を、上記第１のビットレートより低い第２
のビットレートの第２の画像圧縮情報に変換する画像情
報変換装置であって、入力された第１の画像圧縮情報の
直交変換係数の量子化幅に応じて、この直交変換係数を
逆量子化する第１の逆量子化手段と、上記第１の逆量子
化手段により逆量子化された直交変換係数と動き補償誤
差補正係数とを加算する加算手段と、出力する第２の画
像圧縮情報が上記第２のビットレートとなるような量子
化幅に応じて、上記加算手段により動き補償誤差係数が
加算された直交変換係数を再量子化する量子化手段と上
記量子化手段により再量子化された直交変換係数を逆量
子化する第２の逆量子化手段と、上記第２の逆量子化手
段により逆量子化された直交変換係数から上記加算手段
により動き補償補正係数が加算された直交変換係数を減
算する減算手段と、上記減算手段により減算した上記直
交変換係数を直交変換して動きベクトルに基づき動き補
償し、動き補償で得た値を逆直交変換をして上記動き補
償誤差補正係数を生成する動き補償誤差補正手段とを備
えることを特徴とする。

【００１７】この画像情報変換装置では、直交変換係数
を逆量子化した後量子化幅を変えて再量子化するととも
に、入力された直交変換係数と再量子化した直交変換係
数との差分を動き補償して動き補償による誤差を補正す
る。

【００１８】また、本発明にかかる画像情報変換装置
は、上記第１の逆量子化手段により逆量子化された直交
変換係数の水平方向の高周波成分の値を制限する帯域制
限手段を備え、上記量子化手段は、出力する第２の画像
圧縮情報が上記第２のビットレートとなるような量子化
幅に応じて、上記帯域制限手段により水平方向の高周波
成分が制限された直交変換係数を再量子化することを特
徴とする。

【００１９】この画像情報変換装置では、直交変換係数
を逆量子化した後直交変換係数の水平方向の高周波成の
値を制限し量子化幅を変えて再量子化するとともに、入
力された直交変換係数と再量子化した直交変換係数との
差分を動き補償して動き補償による誤差を補正する。

【００２０】また、本発明にかかる画像情報変換装置
は、上記直交変換係数は、水平方向８係数と垂直方向８
係数の８×８係数からなり、上記動き補償誤差補正手段
が、水平方向８係数及び垂直方向８係数からなる量子化
誤差係数に対して、４×８の逆直交変換を行い、空間領
域の量子化誤差値を生成する４×８逆直交変換部と、上
記４×８逆直交変換部により生成された空間領域の量子
化誤差値に対して、水平方向に１／４画素精度で動き補
償をし、垂直方向に１／２画素精度で動き補償をして、
空間領域の量子化誤差補正値を生成する動き補償部と、
上記動き補償部により生成された空間領域の量子化誤差
補正値に対して、４×８の直交変換を行い、周波数領域
の上記動き補償誤差補正係数を生成する４×８直交変換
部とを有することを特徴とする。

【００２１】この画像情報変換装置では、直交変換係数
を逆量子化した後直交変換係数の水平方向の高周波成の
値を制限し量子化幅を変えて再量子化するとともに、入
力された直交変換係数と再量子化した直交変換係数との
差分の水平方向の低域４係数及び垂直方向の８係数と
を、動き補償して動き補償による誤差を補正する。

【００２２】本発明にかかる画像情報変換方法は、所定
の画素ブロック（直交変換ブロック）単位で直交変換す
るとともに直交変換して得られた上記直交変換ブロック
内の直交変換係数を量子化することにより、画像信号を
圧縮符号化をした第１のビットレートの第１の画像圧縮
情報を、上記第１のビットレートより低い第２のビット
レートの第２の画像圧縮情報に変換する画像情報変換方
法であって、上記第１のビットレートの第１の画像圧縮
情報を入力し、入力された第１の画像圧縮情報の直交変
換係数の量子化幅に応じて、この直交変換係数を逆量子
化し、出力する第２の画像圧縮情報が上記第２のビット
レートとなるような量子化幅に応じて、逆量子化された
上記直交変換係数を再量子化し、再量子化して生成した
第２の画像圧縮情報を出力することを特徴とする。

【００２３】この画像情報変換方法では、直交変換係数
を逆量子化した後量子化幅を変えて再量子化する。

【００２４】また、本発明にかかる画像情報変換方法
は、逆量子化された上記直交変換係数の水平方向の高周
波成分の値を制限し、出力する第２の画像圧縮情報が上
記第２のビットレートとなるような量子化幅に応じて、
水平方向の高周波成分が制限された上記直交変換係数を
再量子化することを特徴とする。

【００２５】この画像情報変換方法では、直交変換係数
を逆量子化した後、直交変換係数の水平方向の高周波成
の値を制限し、量子化幅を変えて再量子化する。

【００２６】また、本発明にかかる画像情報変換方法
は、所定の画素ブロック（直交変換ブロック）単位で直
交変換するとともに直交変換して得られた上記直交変換
ブロック内の直交変換係数を量子化することにより、画
像信号を圧縮符号化をした第１のビットレートの第１の
画像圧縮情報を、上記第１のビットレートより低い第２
のビットレートの第２の画像圧縮情報に変換する画像情
報変換方法であって、上記第１のビットレートの第１の
画像圧縮情報を入力し、入力された第１の画像圧縮情報
の直交変換係数の量子化幅に応じて、この直交変換係数
を逆量子化し、逆量子化された上記直交変換係数と動き
補償誤差補正係数とを加算し、出力する第２の画像圧縮
情報が上記第２のビットレートとなるような量子化幅に
応じて、動き補償誤差係数が加算された直交変換係数を
再量子化し、再量子化して生成した第２の画像圧縮情報
を出力し、再量子化された上記直交変換係数を逆量子化
し、逆量子化された直交変換係数から動き補償補正係数
が加算された直交変換係数を減算し、減算した直交変換
係数を直交変換して動きベクトルに基づき動き補償し、
動き補償をした値を逆直交変換をして上記動き補償誤差
補正係数を生成することを特徴とする。

【００２７】この画像情報変換方法では、直交変換係数
を逆量子化した後量子化幅を変えて再量子化するととも
に、入力された直交変換係数と再量子化した直交変換係
数との差分を動き補償して動き補償による誤差を補正す
る。

【００２８】また、本発明にかかる画像情報変換方法
は、逆量子化された直交変換係数の水平方向の高周波成
分の値を制限し、出力する第２の画像圧縮情報が上記第
２のビットレートとなるような量子化幅に応じて、水平
方向の高周波成分が制限された直交変換係数を再量子化
することを特徴とする。

【００２９】この画像情報変換方法では、直交変換係数
を逆量子化した後直交変換係数の水平方向の高周波成の
値を制限し量子化幅を変えて再量子化するとともに、入
力された直交変換係数と再量子化した直交変換係数との
差分を動き補償して動き補償による誤差を補正する。

【００３０】また、本発明にかかる画像情報変換方法
は、上記直交変換係数が、水平方向８係数と垂直方向８
係数の８×８係数からなり、水平方向８係数及び垂直方
向８係数からなる量子化誤差係数に対して、４×８の逆
直交変換を行い、空間領域の量子化誤差値を生成し、上
記空間領域の量子化誤差値に対して、水平方向に１／４
画素精度で動き補償をし、垂直方向に１／２画素精度で
動き補償をして、空間領域の量子化誤差補正値を生成
し、上記空間領域の量子化誤差補正値に対して、４×８
の直交変換を行い、周波数領域の上記動き補償誤差補正
係数を生成することを特徴とする。

【００３１】この画像情報変換方法では、直交変換係数
を逆量子化した後直交変換係数の水平方向の高周波成の
値を制限し量子化幅を変えて再量子化するとともに、入
力された直交変換係数と再量子化した直交変換係数との
差分の水平方向の低域４係数及び垂直方向の８係数と
を、動き補償して動き補償による誤差を補正する。

【００３２】

【発明の実施の形態】以下、本発明の実施の形態とし
て、ＭＰＥＧ−２方式で符号化された画像圧縮情報（ビ
ットストリーム）の符号量（ビットレート）を削減する
画像情報変換装置について説明する。ＭＰＥＧ−２（Ｉ
ＳＯ／ＩＥＣ１３８１８−２）は、飛び越し走査画像
及び順次走査画像、並びに、標準解像度画像及び高解像
度画像の双方に対応した画像情報の圧縮方式である。

【００３３】まず、本発明の実施の形態の画像情報変換
装置を説明する前に、ＭＰＥＧ−２方式の画像圧縮情報
（ビットストリーム）を符号化するＭＰＥＧ−２画像情
報符号化装置、並びに、ＭＰＥＧ−２方式の画像圧縮情
報（ビットストリーム）の構成について説明する。

【００３４】（画像情報符号化装置）図１に、ＭＰＥＧ
−２画像情報符号化装置のブロック図を示す。

【００３５】ＭＰＥＧ−２画像情報符号化装置は、この
図１に示すように、画面並べ替えバッファ１と、加算器
２と、離散コサイン変換装置３と、量子化装置４と、可
変長符号化装置５と、符号バッファ６と、符号量制御装
置７と、逆量子化装置８と、逆離散コサイン変換装置９
と、加算器１０と、ビデオメモリ１１と、動き予測装置
１２とから構成される。

【００３６】画像並べ替えバッファ１には、ベースバン
ドのビデオデータが入力される。この画像並べ替えバッ
ファ１は、表示時間順に時系列に並んでいるフレーム順
序を、ＭＰＥＧ−２の符号化順序に応じたフレーム順序
に並び替える。

【００３７】図２に、画面並べ替えバッファ１によるフ
レーム順序の並べ替え処理の一例を示す。

【００３８】入力されたビデオデータの各フレームが、
図２（Ａ）に示すように、表示時間順に時系列に並んで
いたとする。このとき、ＭＰＥＧ−２画像情報符号化装
置では、まず、表示順序で３番目のフレームをフレーム
内符号化によって符号化する。次に、この３番目のフレ
ームを参照フレームとして、６番目のフレームを予測符
号化によって符号化し、更に、この３番目のフレームと
６番目のフレームを参照フレームとして、４番目、５番
目のフレームを予測符号化によって符号化するといった
符号化処理がなされる。そこで、この画像並べ替えバッ
ファ１では、図２（Ｂ）に示すように、フレームの並べ
替えを行う。ＭＰＥＧ−２では、フレーム内符号化が行
われた画像、及び、この画像を元にしてフレーム間符号
化が行われた画像群からなるＧＯＰ（Group Of Picture
s）が定義されている。このＭＰＥＧ−２画像符号化装
置では、フレーム内符号化によって符号化された画像
（以下これをＩピクチャと呼ぶ。）が１枚と、１つの参
照フレーム（時間軸上で処理されるフレームより過去に
あるもの）を予測フレームとしてフレーム間符号化によ
って符号化された画像（以下、これをＰピクチャと呼
ぶ。）が４枚と、２つの参照フレーム（時間軸上で、処
理されるフレームより過去にあるもの及び未来にあるも
の）を予測フレームとしてフレーム間符号化によって符
号化された画像（以下、これをＢピクチャと呼ぶ）が１
０枚の合計１５枚の画像から構成されるＧＯＰを符号化
するものとする。

【００３９】このような画像並べ替えバッファ１により
並べ替えられた各フレームは、加算器２に送られる。

【００４０】加算器２は、Ｐピクチャ又はＢピクチャが
送られてきた場合には、そのフレームと、後述する動き
補償予測装置１２により生成されたこのフレームの予測
フレームとを減算して、離散コサイン変換装置３に送
る。また、加算器２は、Ｉピクチャが送られてきた場合
には、そのフレームから何らデータを減算せずに、その
フレームを離散コサイン変換装置３に送る。

【００４１】離散コサイン変換装置３は、各フレームを
８画素×８画素のブロック（ＤＣＴブロック）に分割
し、各ＤＣＴブロックに対し、水平方向、垂直方向それ
ぞれに８次の離散コサイン変換を施す。離散コサイン変
換を施すことにより、２次元の画像信号が直交変換さ
れ、空間周波数係数（離散コサイン変換係数）となる。
その際、入力されたビデオデータが例えば図３に示すよ
うなＹ：Ｕ：Ｖ＝４：２：０信号である場合、輝度信号
の１６画素×１６画素及び色差信号の８画素×８画素を
一つのブロック（以下、これをマクロブロックとい
う。）として処理を行う。この場合離散コサイン変換装
置３は、輝度信号に関しては、図４に示すようなフレー
ムを単位として８画素×８画素の離散コサイン変換を施
すモード（以下フレーム離散コサイン変換モードと呼
ぶ。）と、図５に示すような各マクロブロックのデータ
をフィールド毎に分離して８画素×８画素の離散コサイ
ン変換を施すモード（以下フィールド離散コサイン変換
モードと呼ぶ。）との２つのモードのうち、符号化効率
の良い方の離散コサイン変換を選択して行う。

【００４２】離散コサイン変換装置３は、離散コサイン
変換を施して得られたデータ（離散コサイン変換係数）
を量子化装置４に送る。

【００４３】量子化装置４は、水平方向、垂直方向の８
次の離散コサイン変換係数に対して、所定の量子化行列
を用いて量子化を行う。この量子化行列の量子化スケー
ルは、後段の符号バッファ６がオーバフロー及びアンダ
ーフロー等しないように、符号量制御装置７により予め
定められた目標符号量（ターゲットビットレート）に基
づきフィードバック制御される。量子化装置４は、量子
化した離散コサイン係数を可変長符号化装置５及び逆量
子化装置８に送る。

【００４４】可変長復号化装置５は、量子化した離散コ
サイン変換係数を、平均符号長が短くなるように可変長
符号化する。その際、可変長復号化装置５は、離散コサ
イン変換係数の直流成分に関しては、１ブロック前の直
流成分係数を予測値としてその差分を符号化し、その他
の成分に関しては、予め設定された走査方式（ジグザグ
スキャン若しくはオルタネートスキャン）に基づいて１
次元の配列データに並べ替えた後、連続する０係数の数
（ラン）及び非０係数（レベル）のペアを事象とした符
号化を行う。

【００４５】図６（Ａ）にジグザグスキャンによる水平
方向及び垂直方向の８次の離散コサイン変換係数に対す
るスキャン順序を示し、図６（Ｂ）にオルタネートスキ
ャンによる水平方向及び垂直方向の８次の離散コサイン
変換係数に対するスキャン順序を示す。量子化装置４
は、ＤＣＴブロック内のスキャンを行っている際に、そ
れ以降の係数の値が全て０となった場合、ＥＯＢ（End
Of Block）と呼ばれる符号を出力し、そのブロックに対
する可変長符号化を終了する。

【００４６】そして、可変長符号化装置５により可変長
符号化された離散コサイン変換係数は符号バッファ６に
送られ、この符号バッファ６に一時格納されたのち、Ｍ
ＰＥＧ−２に規定されたビットストリーム構造とされ
て、圧縮画像情報として出力される。

【００４７】一方、量子化装置４により量子化されたデ
ータは、逆量子化装置８にも送られる。この逆量子化装
置８は、送られたデータを逆量子化して、逆離散コサイ
ン変換装置９に送る。

【００４８】逆離散コサイン変換装置９は、逆量子化し
た離散コサイン変換係数に対して、逆離散コサイン変換
を施す。逆離散コサイン変換を施して得られた画素値
は、加算器１０を介して、ビデオメモリ１１に格納され
る。

【００４９】加算器１０は、逆離散コサイン変換装置８
からＰピクチャが送られてきた場合には、そのフレーム
と、後述する動き補償予測装置１２により生成されたこ
のフレームの参照フレームとを加算して、ビデオメモリ
１１に格納する。また、加算器１０は、Ｉピクチャが送
られてきた場合には、そのフレームに何らデータ加算せ
ずに、ビデオメモリ１１に格納する。

【００５０】動き補償予測装置１２は、Ｐピクチャ及び
Ｂピクチャに対するマクロブロックを単位とした１／２
画素精度の動きベクトル情報を、ブロックマッチング法
などの方式により検出する。動きベクトル情報は、符号
バッファ６から出力される画像圧縮情報（ビットストリ
ーム）に格納されて外部に送出される。また、これとと
もに、動き補償予測装置１２は、検出したベクトル情報
に基づきビデオメモリ１１に格納された画素データに対
して動き補償を行ってＰピクチャ及びＢピクチャの予測
フレームを生成し、その予測フレームを加算器２に供給
する。

【００５１】Ｉピクチャに関してはフレーム内予測符号
化を行うので動きベクトル情報は検出されないが、Ｐピ
クチャ及びＢピクチャに関しても、動きベクトルに基づ
くフレーム間予測による符号化効率が高くない場合に
は、マクロブロック単位で、フレーム内予測を行うこと
も可能である。以下、フレーム内予測に基づいて符号化
されるマクロブロックをイントラマクロブロック、フレ
ーム間予測に基づいて符号化されるマクロブロックをイ
ンターマクロブロックと呼ぶ。Ｉピクチャに含まれるマ
クロブロックは全てイントラマクロブロックである。

【００５２】以上のように、この図１に示したＭＰＥＧ
−２画像情報符号化装置では、入力されたベースバンド
のビデオデータを符号化して、画像圧縮情報（ビットス
トリーム）を出力する。

【００５３】つぎに、上述した量子化装置４における量
子化処理について更に詳しく述べる。

【００５４】まず、イントラマクロブロックの直流係数
に関しては、以下の式（１）に基づいて量子化される。

【００５５】

【数１】

【００５６】この式（１）に示した“Ｆ′′［０］
［０］”は直流係数値の量子化代表値であり、“ＱＦ
［０］［０］”は直流係数値の量子化代表値レベル番号
である。逆量子化係数（intra dc mult）は、図７に示
すように、各フレーム毎に設定可能な変数であり、直流
係数のビット精度を表すイントラＤＣ精度（intra dc p
recision）によって設定される。

【００５７】イントラマクロブロックの直流係数以外の
係数に関しては、以下の式（２）に基づいて量子化され
る。

【００５８】

【数２】

【００５９】この式（２）に示した“Ｆ′′［ｕ］
［ｖ］”は第（ｕ，ｖ）係数値の量子化代表値であり、
“ＱＦ［ｕ］［ｖ］”は第（ｕ，ｖ）係数値の量子化代
表値レベル番号である。ｋは以下の式（３）によって与
えられる。

【００６０】

【数３】

【００６１】また、“Ｗ［ｗ］［ｖ］［ｕ］”は量子化
行列であり、“ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ”は量
子化スケールである。

【００６２】上記量子化行列は、ＤＣＴブロック内の離
散コサイン変換係数値間での相対的な量子化精度を設定
するために設けられた行列である。この量子化行列は、
視覚的に劣化が目に付きにくい高域成分の離散コサイン
変換係数を粗く量子化し、視覚的に劣化が目に付き易い
低域成分の離散コサイン変換係数を細かく量子化するこ
とができる。そのため、この量子化行列を用いることに
より画質劣化を最小限に抑えながら符号量を削減するこ
とが可能となる。

【００６３】この量子化行列は、各フレーム毎に設定す
ることが可能である。設定されない場合には、イントラ
マクロブロックについては図８（Ａ）に示すようなデフ
ォルト値に設定された量子化行列が用いられ、インター
マクロブロックについては図８（Ｂ）に示すようなデフ
ォルト値に設定された量子化行列が用いられる。

【００６４】また、上記ｑｕａｎｔｉｓｅｒ＿ｓｃａｌ
ｅ（量子化スケール）は、ＭＰＥＧ２画像圧縮情報（ビ
ットストリーム）の構文中で、フレーム毎に定義される
ｑ＿ｓｃａｌｅ＿ｔｙｐｅ（量子化スケールタイプ）
と、マクロブロック毎に定義されるｑ＿ｓｃａｌｅ＿ｃ
ｏｄｅ（量子化スケールコード）とによって、図９に示
すように定義される。各マクロブロックに対するｑ＿ｓ
ｃａｌｅ＿ｃｏｄｅの割り当ては、符号量制御装置７に
よって行われる。

【００６５】つぎに、符号量制御装置７における処理に
ついて更に詳しく述べる。

【００６６】符号量制御装置７における処理について
は、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）で
は特に定められておらず、符号化装置の開発者が、出力
符号バッファ６においてオーバーフロー及びアンダーフ
ローを起こさないという拘束条件の下に、同じ符号量で
より良好な画質が得られるように自由に設定する。ここ
では、ＭＰＥＧ２ＴｅｓｔＭｏｄｅｌ５（ＩＳＯ
／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４０
０）で述べられている一般的な処理について、図１０に
示すフローチャートを用いて述べる。

【００６７】符号量制御装置７は、図１０に示すよう
に、目標符号量（ターゲットビットレート）及びＧＯＰ
構成要素を設定し、この目標符号量及びＧＯＰ構成要素
を入力変数として、まずステップＳ１として各ピクチャ
ヘのビット配分を行い、続いてステップＳ２として仮想
バッファを用いたレート制御を行い、最後に、ステップ
Ｓ３として視覚特性を考慮した適応量子化を行う。符号
量制御装置７は、これらの処理を、出力符号バッファ６
の占有量（バッファフルネス）を監視しながら行う。

【００６８】まず、上記ステップＳ１では、割り当て対
象ピクチャを含めＧＯＰ内でまだ符号化されていないピ
クチャに対して割り当てられるビット量（以下、これを
Ｒとする）を配分して、ＧＯＰ内の各ピクチャに対して
符号量を割り当てる。この符号量の割り当てをＧＯＰ内
のピクチャ順に繰り返し行う。その際、以下に述べる第
１と第２の２つの仮定に基づいて各ピクチャヘの符号量
の割り当てを行う。

【００６９】第１に、各ピクチャを符号化する際に用い
る平均量子化スケールコードと発生符号量の積（画面の
複雑さ）は画面が変化しない限りピクチャタイプ毎に一
定値となる、と仮定する。そして、各ピクチャを符号化
した後、各ピクチャタイプ毎に、画面の複雑さを示す変
数Ｘｉ，Ｘｐ，Ｘｂ（grobal complexity measure）を
以下の式（４）に基づき更新する。

【００７０】

【数４】

【００７１】この式（４）に示した“Ｓｉ”，“Ｓ
ｐ”，“Ｓｂ”はピクチャ符号化時の発生符号ビット量
であり、“Ｑｉ”，“Ｑｐ”，“Ｑｂ”はピクチャ符号
化時の平均量子化スケールコードである。

【００７２】画面の複雑さを示す変数Ｘｉ，Ｘｐ，Ｘｂ
の初期値は、目標符号量（ターゲットビットレート）ｂ
ｉｔ＿ｒａｔｅ［ｂｉｔｓ／ｓｅｃ］を用いて、以下の
式（５）、式（６）、式（７）で示される値とする。

【００７３】

【数５】

【００７４】

【数６】

【００７５】

【数７】

【００７６】第２に、Ｉピクチャの量子化スケールコー
ドを基準としたＰ，Ｂピクチャの量子化スケールコード
の比率Ｋｐ，Ｋｂが以下の式（８）に定めた値となる場
合に常に全体の画質が最適化される、と仮定する。

【００７７】

【数８】

【００７８】以上第１及び第２の２つの仮定から、ＧＯ
Ｐの各ピクチャに対する割り当てビット量（Ｔｉ，Ｔ
ｐ，Ｔｂ）は、以下の式（９）、式（１０）、式（１
１）に示す値とする。

【００７９】

【数９】

【００８０】

【数１０】

【００８１】

【数１１】

【００８２】この式（９）〜（１１）に示した“Ｎ
ｐ”，“Ｎｂ”はＧＯＰ内でまだ符号化されていない
Ｐ，Ｂピクチャの枚数である。

【００８３】このようにして求めた割当符号量を基にし
て、ＧＯＰ内の未符号化ピクチャに対して割り当てるビ
ット量Ｒを、各ピクチャを符号化する毎に、以下の式
（１２）により更新する。

【００８４】

【数１２】

【００８５】また、ＧＯＰの最初のピクチャを符号化す
る際には、以下の（１３）によりＲを更新する。

【００８６】

【数１３】

【００８７】この式（１３）で示した“Ｎ”はＧＯＰ内
のピクチャ数である。また、シーケンスの最初のＲを０
とする。

【００８８】続いて、ステップＳ２では、実際の発生符
号量とステップ１で求められた各ピクチャに対する割当
ビット量（Ｔｉ，Ｔｐ，Ｔｂ）と一致させるため、各ピ
クチャタイプに独立に設定した３種類の仮想バッファの
容量に基づき、量子化スケールコードをマクロブロック
単位のフィードバック制御により求める。

【００８９】まず、ｊ番目のマクロブロック符号化に先
だって、仮想バッファの占有量を以下の式（１４）、式
（１５）、式（１６）により求める。

【００９０】

【数１４】

【００９１】

【数１５】

【００９２】

【数１６】

【００９３】式（１４）〜（１６）で示した“ｄ₀ ⁱ”，
“ｄ₀ ^p”，“ｄ₀ ^b”はＩ，Ｐ，Ｂの各ピクチャの仮想バ
ッファの初期占有量であり、“Ｂｊ”はピクチャの先頭
からｊ番目のマクロブロックまでの発生ビット量であ
り、“ＭＢ＿ｃｎｔ”は１ピクチャ内のマクロブロック
数である。ピクチャ符号化終了時の各仮想バッファ占有
量（ｄ_{MB_cnt} ⁱ，ｄ_{MB_cnt} ^p，ｄ_{MB_cnt} ^b）は、それぞれ
同一のピクチャタイプで、次のピクチャに対する仮想バ
ッファ占有量の初期値（ｄ₀ ⁱ，ｄ₀ ^p，ｄ₀ ^b）として用い
られる。

【００９４】次にｊ番目のマクロブロックに対する量子
化スケールコードを、以下の式（１７）により計算す
る。

【００９５】

【数１７】

【００９６】この式（１７）で示した“ｒ”はリアクシ
ョンパラメーターと呼ばれるフィードバックループの応
答を制御する変数であり、以下の式（１８）により与え
られる。

【００９７】

【数１８】

【００９８】なお、符号化開始時における仮想バッファ
の初期値は以下の式（１９）で与えられる。

【００９９】

【数１９】

【０１００】最後に、ステップ３では、視覚的に劣化の
目立ちやすい平坦部でより細かく量子化し、劣化の比較
的目立ちにくい絵柄の複雑な部分で粗く量子化するよう
に、ステップ２で求められた量子化スケールコードを、
各マクロブロック毎のアクティビティと呼ばれる変数に
よって変化させる。

【０１０１】アクティビティａｃｔ_jは、原画の輝度信
号画素値を用い、フレーム離散コサイン変換モードにお
ける４個のブロックと、フィールド離散コサイン変換モ
ードにおける４個のブロックとの、合計８ブロックの画
素値を用いて、以下の式（２０）、式（２１）、式（２
２）で与えられる。

【０１０２】

【数２０】

【０１０３】

【数２１】

【０１０４】

【数２２】

【０１０５】式（２０）、式（２１）、式（２２）で示
したＰｋは原画の輝度信号ブロック内画素値である。式
（２０）において最小値を採るのは、マクロブロック内
の一部だけでも平坦部分のある場合には量子化を細かく
するためである。

【０１０６】更に、以下の式（２３）により、その値が
０．５〜２の範囲を取る正規化アクティビティＮａｃｔ
_jを求める。

【０１０７】

【数２３】

【０１０８】この式（２３）で示したａｖｇ＿ａｃｔは
直前に符号化したピクチャでのａｃｔ_jの平均値であ
る。

【０１０９】視覚特性を考慮した量子化スケールコード
ｍｑｕａｎｔ_jはステップ２で得られた量子化スケール
コードＱｊに基づき以下の式（２４）で与えられる。

【０１１０】

【数２４】

【０１１１】符号化制御装置７では、以上のようなステ
ップＳＳ１〜ステップＳ３の処理を行い、出力符号バッ
ファ６においてオーバーフロー及びアンダーフローを起
こさず、同じ符号量でより良好な画質が得られるように
自由に設定する。

【０１１２】つぎに、出力符号バッファ６における拘束
条件について述べる。

【０１１３】ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８
−２）では、ＶＢＶ（Video BufferVerifier）バッファ
と呼ばれる仮想バッファが復号化装置に対して定義され
ている。符号量制御装置７では、この画像符号化装置の
出力である画像圧縮情報（ビットストリーム）が、この
拘束条件を満たすように符号の割当が行われる。ＶＢＶ
バッファには、符号化装置とＶＢＶバッファとは完全に
同期して動作するという第１の理想条件と、各ピクチャ
の復号は瞬時に行われ各ピクチャのデータはＶＢＶバッ
ファより瞬時に抜き取られるという第２の理想条件との
２つの理想条件の下で動作することが仮定されている。
なお、ＶＢＶバッファを定義する目的は、あくまでこの
モデルによって画像圧縮情報（ビットストリーム）に対
する規定を加えることであり、現実の復号化装置の実現
方式を規定するものではない。

【０１１４】ＶＢＶバッファは、単位時間当たりの符号
量が一定の場合（固定レート：ＣＢＲ［Constant Bit R
ate］）及び単位時間当たりの符号量が一定ではない場
合（可変レート：ＶＢＲ［Variable Bit Rate］）の双
方に対応しており、固定レートは可変レートの特別な場
合として定められている。

【０１１５】また、様々な応用に対応するため、ＶＢＶ
バッファに対するデータの入力は以下の第１の方法と第
２の方法の２種類の方法で規定することが可能となって
いる。第１の方法では、入力レートがピクチャ単位で変
化するよう規定される。第２の方法では、入力レートが
ＶＢＶバッファの状態に応じてピークレート若しくは０
のいずれかの値を取るように規定される。いずれの方法
も、そのピークレートＲｍａｘ〔ｂｉｔ／ｓｅｃ］が、
ＭＰＥＧ２による画像圧縮情報の構文（シンタクス）に
おいて、シーケンスヘッダと呼ばれる部分のパラメータ
ビットレートで指定される。２種類の方法の区別は、各
フレーム毎に定義されるｖｂｖ＿ｄｅｌａｙと呼ばれる
変数によってされる。

【０１１６】各ピクチャのｖｂｖ＿ｄｅｌａｙが全て最
大値“０ｘＦＦＦＦ”でない場合、ｖｂｖ＿ｄｅｌａｙ
は、各ピクチャのスタートコードがＶＢＶバッファに入
力されてから復号されるまでの時間を示す。この場合、
ＶＢＶバッファへのデータの入力レートは、ピクチャデ
ータ単位で可変レートとなる。ｎ番目のピクチャデータ
がＶＢＶバッファに入力されるレートＲ（ｎ）［ｂｉｔ
／ｓｅｃ］は、以下の式（２５）で定められる。

【０１１７】

【数２５】

【０１１８】この式（２５）に示したｄｎ^*は、ｎ番目
のピクチャに対するスタートコードから、（ｎ＋１）番
目のピクチャに対するスタートコードまでの符号量であ
る。τ（ｎ）は、ｎ番目のピクチャに対して設定された
変数ｖｂｖ＿ｄｅｌａｙの値であり、ｔ（ｎ）はｎ番目
のピクチャに対する値がＶＢＶバッファより抜き取られ
る時刻である。固定レート（ＣＢＲ）データは、Ｒ
（ｎ）がｎによらず一定の値である特別な場合としてこ
の規定に含まれることになる。

【０１１９】図１１に、ＶＢＶバッファのビット占有量
の変化を示す。ＶＢＶバッファは、初期状態において、
そのビット占有量が０となっている。ＶＢＶバッファ
は、最初のピクチャのスタートコードの入力時点から、
変数ｖｂｖ＿ｄｅｌａｙが示す時間の経過の後に復号が
開始される。引き続き定めれた復号時間問隔で、各ピク
チャの復号とＶＢＶバッファの検証を継続する。

【０１２０】各ピクチャのｖｂｖ＿ｄｅｌａｙが全て最
大値“０ｘＦＦＦＦ”の場合、ＶＢＶバッファに対する
データの入力レートは、このＶＢＶバッファのビット占
有量で決定される。この入力レートは、ＶＢＶバッファ
に空きがあるときにはＲｍａｘとなり、空きのない場合
は０となる。

【０１２１】この場合、ＶＢＶバッファは、初期状態に
おいて、ビット占有量が０となっている。バッファに空
きがなくなった時点で復号を開始する。引き続き、定め
られた復号時間間隔で各ピクチャの復号とＶＢＶバッフ
ァの検証を継続する。

【０１２２】画像圧縮情報（ビットストリーム）は、以
上の規定に従ってＶＢＶバッファに対するデータの入力
を行う。その際に、画像圧縮情報（ビットストリーム）
は、ピクチャデータをＶＢＶバッファから瞬時に抜き取
る直前にＶＢＶバッファがオーバーフローしないという
条件（条件（１））、ピクチャデータをＶＢＶバッファ
から瞬時に抜き取った直後におけるＶＢＶバッファがア
ンダーフローをしないという条件（条件（２））、とい
う２つの条件を満たすよう検証がされて符号化される。

【０１２３】なお、上記条件（２）に関しては、変数ｌ
ｏｗ−ｄｅｌａｙで指定される低遅延モードの場合とそ
うでない場合で検証内容が異なる。低遅延モードとは、
Ｂピクチャの使用を禁ずるモードである。この低遅延モ
ードは、符号化及び復号化の際のピクチャの並べ替えに
よって生じる遅延を防ぐとともに、符号化ピクチャでの
スキップ（駒落し）を許してＶＢＶバッファでの遅延を
少なくする。

【０１２４】低遅延モードでない場合には、ＶＢＶバッ
ファからピクチャデータを瞬時に抜き取った直後にＶＢ
Ｖバッファがアンダーフローを起こしてはならないよう
に検証がされる。

【０１２５】低遅延モードの場合には、仮にピクチャデ
ータを抜き取ると、ＶＢＶバッファがアンダーフローを
起こすことを許す。この場合には、その時刻でのピクチ
ャデータを抜き取らず、２フィールド間隔毎に全てのピ
クチャデータが到達したかどうかの検証を繰り返し、初
めて到達した時点でピクチャデータを抜き取る。

【０１２６】従って、低遅延モードの場合も含め、１ピ
クチャのデータ量はＶＢＶバッファサイズより小さくな
ければならない。

【０１２７】（ＭＰＥＧ−２方式の画像圧縮情報の構
成）つぎに、図１に示すＭＰＥＧ−２画像情報符号化装
置により符号化されたＭＰＥＧ２画像圧縮情報（ビット
ストリーム）のデータ構成について説明する。

【０１２８】図１２に、ＭＰＥＧ２画像圧縮情報（ビッ
トストリーム）のデータ構成を模式的に示す。

【０１２９】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）は、この図１２に示すように階層構造となってお
り、上位層から順に、シーケンス（Sequence）層、ＧＯ
Ｐ（Group of Pictures）層、ピクチャ（Picture）層、
スライス（Slice）層、マクロブロック（Macro Block）
層、ブロック（Block）層から構成される。

【０１３０】シーケンス層からスライス層までの各階層
では、“０ｘ０００００１”に続く８ビット（１バイ
ト）のユニークなスタートコード（合計３２ビット（４
バイト））が予め定義されている。ＭＰＥＧ２画像圧縮
情報（ビットストリーム）では、このスタートコードに
より各層が区別され、また、このスタートコードがエラ
ー回復ポイントになっている。各階層におけるスタート
コードのコード値を図１３に示す。

【０１３１】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）の各階層のブロック構成を図１４に示し、以下、こ
のＭＰＥＧ２画像圧縮情報データ構成についてさらに詳
細に説明する。

【０１３２】シーケンス層は、この図１４に示すよう
に、画像圧縮情報（ビットストリーム）の一番上位に位
置する階層で、シーケンスヘッダで始まり、シーケンス
エンドコード（sequence_end_code）で終了する。この
シーケンス層には、基本的に１つ以上のＧＯＰ層が含ま
れる。このシーケンス層では、シーケンス拡張部、及
び、拡張部＆ユーザデータ（１）が含まれており、この
シーケンス拡張のスタートコード（extension_start_co
de）の有無でＭＰＥＧ１とＭＰＥＧ２の画像圧縮情報
（ビットストリーム）の分類が行われる。

【０１３３】シーケンスヘッダには、図１５に示すよう
に、シーケンスヘッダコード（sequence_header_cod
e）、水平方向画素数情報（horizontal_size_value）、
垂直方向ライン数情報（vertical_size_value）、画素
アスペクト比情報（aspect_ratio_information）、フレ
ームレートコード（frame_rate_code）、ビットレート
情報（bit_rate_value）、ＶＢＶバッファサイズ情報
（vbv_buffer_size_value）、イントラマクロブロック
用量子化行列（intra_quantiser_matrix[64]）、インタ
ーマクロブロック用量子化行列（non_intra_quantiser_
matrix[64]）等のシーケンス単位で設定される情報が含
まれる。

【０１３４】シーケンス拡張部には、シーケンス拡張部
のスタートコード（extension_start_code）の後に、図
１６に示すように、ＭＰＥＧ２で用いられているプロフ
ァイル，レベル表示情報（profile_and_level_indicati
on）、シーケンス全体の順次走査画像フラグ（progress
ive_sequence）、色差フォーマット（chroma_forma
t）、低遅延モード（low_delay）、及び、ＭＰＥＧ１と
共有しているシーケンスヘッダでの画素数や符号量（ビ
ットレート）等の上限をＭＰＥＧ２用に拡張するための
付加データが含まれている。

【０１３５】拡張部＆ユーザデータ（１）には、図１７
に示すように、拡張データ（１）（extension_data
(1)）、シーケンス表示拡張部（）（sequence_display_
extension()）、シーケンススケーラブル拡張部（）（s
equence_scalable_extension）、シーケンススケーラブ
ル拡張ＩＤ（extension_start_code_identifier）、ス
ケーラビリティモード情報（scalable_mode）、スケー
ラブル階層のレイヤＩＤ（layer_id）が含まれている。
シーケンス表示拡張部（）には、原信号のＲＧＢ変換特
性や表示画像サイズ等の情報が含まれている。また、シ
ーケンススケーラブル拡張部（）には、スケーラビリテ
ィモード（空間、ＳＮＲ、テンポラル、データパーティ
ション）、スケーラビリティのレイヤの設定がされる。
また、拡張部＆ユーザデータ（１）には、空間スケーラ
ビリティとテンポラルスケーラビリティとでそれぞれ以
下の変数が設定される。空間スケーラビリティの場合に
は、予測用下位レイヤの水平サイズ（lower_layer_pred
iction_horizontal_size）、予測用下位レイヤの垂直サ
イズ（lower_layer_prediction_vertical_size）、垂直
方向アップサンプル用除数（vertical_subsampling_fac
tor_n）が含まれ、テンポラルスケーラビリティの場合
には、第１ベースレイヤ画像前の付加レイヤ画像数（pi
cture_mux_order）、ベースレイヤ間の付加レイヤの画
像数（picture_mux_factor）、ユーザデータ（）（user
_data()）、ユーザデータ（user_data）が含まれる。ユ
ーザデータ（）（user_data()）には、シーケンスレベ
ルでのユーザデータが自由に設定できる。

【０１３６】続いて、ＧＯＰ層は、図１４に示すよう
に、シーケンス層の下の階層に位置し、ＧＯＰヘッダに
始まり、拡張部＆ユーザデータ（２）と、１つ以上のピ
クチャ層から構成される。ＧＯＰ層の最初のピクチャ
は、参照画面を用いずに独立して符号化（イントラ符号
化）されるＩピクチャとなる。このため、このＧＯＰ
は、このＩピクチャを用いることによりランダムアクセ
スを行うエントリーポイントとして用いられる。例えば
１つのＧＯＰを１０〜１５枚のピクチャで構成した場
合、毎秒３０フレームのビデオデータであれば０．３〜
０．５秒毎にランダムアクセスポイントが存在すること
になる。また、ＧＯＰの長さは任意であるため、シーン
の切り替わりポイントでＧＯＰを開始又は終了して符号
化効率を高めることも可能である。なお、Ｉピクチャは
非常に大きな符号量となり占有バッファ量も大きくなる
ため、低遅延特性が要求される通信などのアプリケーシ
ョンでも用いることができるように、ＭＰＥＧ２では、
ＧＯＰ層を省略することが可能となっている。この場
合、例えば、フレーム内符号化を行うスライス（以下、
イントラスライスと呼ぶ）を用い、各スライスのイント
ラ符号化データを数画面に分けて巡回させることによ
り、Ｉピクチャの代用となるとともに、どの画面のバッ
ファ占有量も平均的に低くすることが可能である。

【０１３７】ＧＯＰヘッダには、図１８に示すように、
ＧＯＰヘッダのスタートコード（group_start_code）の
後に、タイムコード（time_code）、ＧＯＰの独立性を
示すフラグ（closed_gop）、ＧＯＰ内Ｉピクチャ前のＢ
ピクチャの正当性を示すフラグ（broken_link）が含ま
れている。ＧＯＰ内Ｉピクチャ前のＢピクチャの正当性
を示すフラグ（broken_link）は、例えば前ＧＯＰが編
集によりカットされたこと等による、ＧＯＰ内の最初の
Ｉピクチャより前にあるＢピクチャが正確に復号できな
いことを示している。また、ＧＯＰの独立性を示すフラ
グ（closed_gop）は、当該ＧＯＰが他のＧＯＰ内の画像
に依存しないを示している。これらのコードはランダム
アクセス時の不当なＢピクチャ表示の回避や、編集でＧ
ＯＰをカットした際のフラグとして用いられる。

【０１３８】拡張部＆ユーザデータ（２）には、図１９
に示すように、拡張データ（２）（extension_data
(2)）、ユーザデータ（）（user_data()）、ユーザデー
タ（user_data）が含まれ、ＧＯＰレベルでのユーザデ
ータの設定がされる。

【０１３９】続いて、ピクチャ層は、図１４に示すよう
に、ＧＯＰ層の下の階層に位置し、各画面に相当する層
である。ピクチャ層は、ピクチャヘッダ、ピクチャ符号
化拡張部、拡張部＆ユーザデータ（３）、ピクチャデー
タが含まれる。このピクチャ層は図１２で示したよう
に、１個以上のスライス層に分割されている。

【０１４０】ピクチャヘッダには、図２０に示すよう
に、ピクチャスタートコード（picture_start_code）、
テンポラルリファレンス（temporal_reference）、ピク
チャ符号化タイプ情報（picture_coding_type）、符号
開始までのＶＢＶ遅延量情報（vbv_delay）が含まれて
いる。テンポラルリファレンス（temporal_reference）
は、ＧＯＰ内における当該ピクチャの表示順序を示す画
像番号で、ＧＯＰ毎に初期値が０にリセットされる。ピ
クチャの符号化タイプ情報（picture_coding_type）に
は、ピクチャ毎のＩ，Ｐ，Ｂの区別が設定される。ま
た、符号開始までのＶＢＶ遅延量情報（vbv_delay）
は、先に述べたＶＢＶバッファによる復号開始時刻まで
の遅延量が設定される。

【０１４１】ピクチャ符号化拡張部には、図２１に示す
ように、動きベクトル範囲情報（f_code[s][t]）、イン
トラマクロブロックのＤＣ係数精度情報（intra_dc_pre
cision）、ピクチャ構造情報（picture_structure）、
表示フィールドの指定情報（top_field_first）、フレ
ーム予測及びフレームＤＣＴフラグ（frame_pred_frame
_dct）、イントラマクロブロック用コンシールメント動
きベクトルフラグ（concealment_motion_vector）、量
子化スケールタイプ情報（q_scale_type）、イントラマ
クロブロック用可変長符号タイプ情報（intra_vlc_form
at）、スキャンタイプ情報（alternate_scan）、２：３
プルダウン用フィールドリピート情報（repeat_first_f
ield）、４２０タイプ情報（chroma_420_type）、順次
走査フラグ（progressive_frame）が含まれている。動
きベクトル範囲情報（f_code[s][t]）には、前・後方向
及び水平・垂直方向の動きベクトル範囲が設定される。
ピクチャ構造情報（picture_structure）には、フィー
ルド毎に符号化・復号化処理を行うか（以下、フィール
ド構造と呼ぶ）、フレーム毎に符号化・復号化処理を行
うか（以下、フレーム構造と呼ぶ）が設定される。ま
た、イントラマクロブロック用可変長符号タイプ情報
（intra_vlc_format）には、線形・非線型量子化スケー
ルの設定がされ、スキャンタイプ情報（alternate_sca
n）には、そのピクチャの可変長符号化処理のタイプの
選択（オルタネートスキャンか、ジグザグスキャンかの
選択）の設定がされる。

【０１４２】拡張部＆ユーザデータ（３）には、図２２
に示すように、拡張データ（３）（extension_data
(3)）、量子化行列拡張部（）（quant_matrix_extensio
n()）、イントラマクロブロック量子化行列（intra_qua
ntiser_matrix[64]）、インターマクロブロック量子化
行列（non_intra_quantiser_matrix[64]）、色差イント
ラマクロブロック量子化行列（chroma_intra_quantiser
_matrix[64]）、色差インターマクロブロック量子化行
列（chroma_non_intra_quantiser_matrix[64]）、著作
権拡張部（）（copyright_extension()）、ピクチャ表
示拡張部（）（picture_display_extension()）、ピク
チャ空間スケーラブル拡張部（）（picture_spatial_sc
alable_extention()）、アップサンプル用空間重み付け
テーブル（spatial_temporal_weight_code_table_inde
x）、下位レイヤ順次走査画像フラグ（lower_layer_pro
gressive_frame）、下位レイヤのフィールド選択情報
（lower_layer_deinterlaced_field_select）、ピクチ
ャテンポラルスケーラブル拡張部（）（picture_tempor
al_scalable_extention()）、参照画面の選択コード（r
eference_select_code）、前方向予測用の下位レイヤの
画像番号（forward_temporal_reference）、後方向予測
用の下位レイヤの画像番号（backward_tempral_referen
ce）、ユーザデータ（）（user_data()）、ユーザデー
タ（user_data）が含まれる。

【０１４３】量子化行列拡張部（）（quant_matrix_ext
ension()）には、量子化マトリクスの設定がされる。こ
のため、ピクチャ毎にイントラ、インター、輝度、色差
ブロックの量子化行列を変更することも可能であり、各
画面の特性に応じた量子化を行うことが可能となる。著
作権拡張部（）（copyright_extension()）には、著作
権番号の設定がされる。ピクチャ表示拡張部（）（pict
ure_display_extension()）には、表示領域の設定がさ
れる。これにより、例えば１６：９の高解像度画像（Ｈ
ＤＴＶ）を復号し、最も興味にある部分に対して４：３
の標準解像度テレビサイズでその領域を指定して、標準
解像度テレビで高解像度画像の一部表示を行うといった
パン−スキャン機能を実現することができる。ピクチャ
空間スケーラブル拡張部（）（picture_spatial_scalab
le_extention()）やピクチャテンポラルスケーラブル拡
張部（）（picture_temporal_scalable_extention()）
は、空間スケーラビリティやテンポラルスケーラビリテ
ィで、上位レイヤの予測に用いる下位レイヤの画像番号
などの情報が設定される。

【０１４４】続いて、スライス層は、図１４に示すよう
に、ピクチャ層の下の階層に位置する層である。スライ
ス層は、図２３のように、画面内で分割された横長の帯
状の領域（図２３のＡ，Ｂ，Ｃ・・・Ｑ領域）から構成
され、図２４に示すようなスライスデータとして定義さ
れる。画面を複数のスライス層で構成することにより、
あるスライス層でエラーが発生しても、次のスライス層
の開始コード（slice_start_code）からの同期でエラー
回復が可能となる。スライス層は、１個以上のマクロブ
ロックから構成され、ラスタスキャンオーダで、左から
右、上から下へと並ぶ。その長さや開始位置は自由で、
画面毎に変更可能である。但し、並列処理や効果的なエ
ラー耐性を目的として、一つのスライスは右方向にのみ
に伸び、下方にまで伸びることはない。

【０１４５】スライスデータには、図２５に示すよう
に、スライス層のスタートコード（slice_start_cod
e）、スライス垂直位置拡張情報（slice_vertical_posi
tion_extension）、データパーティショニング用区分点
情報（priority_breakpoint）、量子化スケールコード
（quantiser_scale_code）、イントラスライスフラグ
（intra_slice）、マクロブロックデータ（macrobloc
k()）とが含まれる。スライス層のスタートコード（sli
ce_start_code）、スライス垂直位置拡張情報（slice_v
ertical_position_extension）には、スライスの開始の
垂直位置が設定される。量子化スケールコード（quanti
ser_scale_code）には、図９に示した量子化スケールコ
ードが設定される。イントラスライスフラグ（intra_sl
ice）には、スライス内のマクロブロックが全てイント
ラマクロブロックであるかどうかが設定される。

【０１４６】続いて、マクロブロック層は、図１４に示
すように、スライス層の下の階層に位置する層である。
マクロブロック層には、マクロブロック情報、ブロック
データが含まれている。

【０１４７】マクロブロックデータには、図２６に示す
ように、マクロブロックのアドレス拡張データ（macrob
lock_escape）、現マクロブロックと前マクロブロック
アドレスの差分量（macroblock_address_increment）、
マクロブロックモード（）（macroblock_modes()）、マ
クロブロック符号化タイプ情報（macroblock_type）、
アップサンプル用時空間重み付けコード（spatial_temp
oral_weight_code）、フレーム構造の動き補償タイプ情
報（frame_motion_type）、フィールド構造の動き補償
タイプ情報（field_motion_type）、ＤＣＴタイプ情報
（dct_type）、マクロブロック量子化スケールコード
（quantiser_scale_code）、動きベクトル（ｓ）（moti
on_vectors[s]）、予測に用いる参照フィールドの選択
情報（motion_vertical_field_select[r][s]）、動きベ
クトル（ｒ，ｓ）（motion_vectors[s][r]）、基本差分
動きベクトル（motion_code[r][s][t] ）、残差ベクト
ル（motion_residual[r][s][t]）デュアルプライム用差
分ベクトル（dmvector[t]）、ＣＢＰ（coded_block_pat
tern）、ブロックデータ（block(i)）が含まれている。

【０１４８】現マクロブロックと前マクロブロックアド
レスの差分量（macroblock_address_increment）には、
現在のマクロブロックの位置（macroblock_address）
が、直前のマクロブロックの位置（previous_macrobloc
k_address）との差分として設定される。この現マクロ
ブロックと前マクロブロックアドレスの差分量（macrob
lock_address_increment）が１より大きい場合には、現
在のマクロブロックと直前の符号化マクロブロックとの
間のマクロブロックはスキップマクロブロックとなり、
画像圧縮情報（ビットストリーム）中に動きベクトルや
離散コサイン変換係数などの符号化情報が存在しない。
スキップマクロブロックとなる条件は、Ｐピクチャでは
動きベクトル値が水平、垂直成分ともに０且つ離散コサ
イン変換係数が全て０であることであり、Ｂピクチャで
は一つ前のマクロブロックと動き補償予測モード（前方
向、後方向、双方向）及び動きベクトルが同じで且つ離
散コサイン変換係数が全て０であることである。ＭＰＥ
Ｇ２では、スキップマクロブロックの導入により、不要
なマクロブロックの情報の削減を図っている。なお、Ｉ
ピクチャではスキップマクロブロックは存在せず、ま
た、Ｐ，Ｂピクチャにおいても、スライスの最初と最後
のマクロブロックはスキップマクロブロックとはならず
に必ず符号化される。

【０１４９】マクロブロック符号化タイプ情報（macrob
lock_type）には、動き補償予測モード、及び、離散コ
サイン変換係数符号化モードが決定される。ピクチャタ
イプによって可能なモードは異なるが、基本的には、動
きベクトルが０かどうかを示すＭＣ／Ｎｏ＿ＭＣ選択モ
ード（Ｐピクチャの場合）、動き補償予測の方向（Ｂピ
クチャの場合で、前方向、後方向若しくは双方向）、Ｃ
ｏｄｅｄ／Ｎｏｔ＿Ｃｏｄｅｄ（離散コサイン変換係数
の有無を示す）、フレーム内符号化及び量子化スケール
コードの更新が設定される。

【０１５０】フレーム構造の動き補償タイプ情報（fram
e_motion_type）及びフィールド構造の動き補償タイプ
情報（field_motion_type）には、フィールド単位の動
き補償を行うか、フレーム単位の動き補償を行うかが設
定される。以下、前者をフィールド動き補償モード、後
者をフレーム動き補償モードと呼ぶ。

【０１５１】動きベクトル（ｓ）（motion_vectors
[s]）では、動きベクトルが設定される。アップサンプ
ル用時空間重み付けコード（spatial_temporal_weight_
code）では、下位レイヤをアップサンプルして上位レイ
ヤを予測するための時空間重み付け係数が設定される。
マクロブロック量子化スケールコード（quantiser_scal
e_code）では、マクロブロック毎の量子化スケールのサ
イズが設定されている。なお、量子化スケールの制御に
関しては、先述のように、符号量制御装置７によって行
われる。

【０１５２】続いて、ブロック層は、図１４に示すよう
に、マクロブロック層の下の階層に位置する層である。
ブロック層には、量子化された離散コサイン変換係数か
ら構成されたブロックデータ（block(i)）が定義され
る。ブロックデータ（block(i)）は、輝度信号若しくは
色差信号の８ライン×８画素から構成され、離散コサイ
ン変換及び逆離散コサイン変換はこの単位で行われる。

【０１５３】ブロックデータには、図２７に示すよう
に、ＤＣＴ輝度直流係数差分サイズ（dct_dc_size_lumi
nance）、ＤＣＴ輝度直流係数差分値（dct_dc_differen
cial）、ＤＣＴ色差直流係数差分サイズ（dct_dc_size_
chrominance）、ＤＣＴ色差直流係数差分値（dct_dc_di
fferencial）、非イントラブロックの第一非零係数（Fi
rst_DCT_coefficients）、後続のＤＣＴ係数（Subsquen
ce_DCT_coefficients）、ブロック内のＤＣＴ係数終了
フラグ（End_of_Block）が含まれている。

【０１５４】ＤＣＴ輝度直流係数差分サイズ（dct_dc_s
ize_luminance）には、輝度成分のイントラマクロブロ
ック内の直流成分係数と、隣のブロックとの差分の大き
さが与えられる。ＤＣＴ輝度直流係数差分値（dct_dc_d
ifferencial）には、輝度成分のイントラマクロブロッ
クの直流成分の係数の差分情報が与えられる。ＤＣＴ色
差直流係数差分サイズ（dct_dc_size_chrominance）、
色差成分のイントラマクロブロック内の直流成分係数
と、隣のブロックとの差分の大きさが与えられる。ＤＣ
Ｔ色差直流係数差分値（dct_dc_differencial）では、
色差成分のイントラマクロブロックの直流成分の係数の
差分情報が与えられる。非イントラブロックの第一非零
係数（First_DCT_coefficients）では、インターマクロ
ブロックの非０量子化離散コサイン変換係数までの０係
数の長さ（以下、ラン長と呼ぶ。）が与えられる。後続
のＤＣＴ係数（Subsquence_DCT_coefficients）では、
インターマクロブロックの非０係数の大きさが与えられ
る。ブロック内のＤＣＴ係数終了フラグ（End_of_Bloc
k）では、各ブロックでの離散コサイン変換係数が終了
情報が与えられる。

【０１５５】以上のように構成されるＭＰＥＧ２画像圧
縮情報（ビットストリーム）は、ＭＰＥＧ−２画像情報
符号化装置により符号化され復号装置等に送出される。

【０１５６】（本発明の第１の実施の形態の画像情報変
換装置）つぎに、本発明を適用した第１の実施の形態の
画像情報変換装置について説明する。

【０１５７】図２８に本発明の第１の実施の形態の画像
情報変換装置のブロック図を示す。この画像情報変換装
置は、ＭＰＥＧ−２方式で符号化された画像圧縮情報
（ビットストリーム）の符号量（ビットレート）を削減
して、低ビットレートの画像圧縮情報を出力する装置で
ある。

【０１５８】図２８に示す画像情報変換装置２０は、符
号バッファ２３と、圧縮情報解析装置２４と、可変長復
号化装置２５と、逆量子化装置２６と、帯域制限装置２
７と、量子化装置２８と、可変長符号化装置２９と、符
号バッファ３０と、符号量制御装置３１とから構成され
る。

【０１５９】符号バッファ２３には、多くの符号量（高
いビットレート）の画像圧縮情報（ビットストリーム）
が入力される。画像圧縮情報（ビットストリーム）は、
上述したようにＶＢＶバッファの拘束条件を満たすよう
符号化されているので、符号バッファ２３でオーバーフ
ロー、アンダーフローを起こすことはない。符号バッフ
ァ２３に格納された画像圧縮情報（ビットストリーム）
は、圧縮情報解析装置２４に送られる。

【０１６０】圧縮情報解析装置２４は、図１５〜図２７
に示したような、ＭＰＥＧ−２の構文（シンタクス）に
従って画像圧縮情報（ビットストリーム）中から情報を
抽出して、抽出した情報を可変長復号化装置２５及び以
後の各装置に送る。

【０１６１】可変長復号化装置２５は、まず、イントラ
マクロブロックの直流成分に対しては隣のブロックとの
差分値として符号化されているデータを可変長復号し、
その他の係数に対してはランとレベルにより符号化され
たデータを可変長復号し、量子化された一次元の離散コ
サイン変換係数を検出する。次に、可変長復号化装置２
５は、圧縮情報解析装置２４により抽出された走査方式
（ジグザグスキャン若しくはオルタネートスキャン）に
関する情報に基づき、一次元配列された離散コサイン変
換係数を逆スキャンして、量子化された二次元の離散コ
サイン変換係数に再配列する。二次元配列された量子化
された離散コサイン変換係数は、逆量子化装置２６に送
られる。

【０１６２】逆量子化装置２６は、圧縮情報解析装置２
４により抽出された量子化幅及び量子化行列に関する情
報に基づき、量子化されている離散コサイン変換係数を
逆量子化する。逆量子化された離散コサイン変換係数
は、帯域制限装置２７に送られる。

【０１６３】帯域制限装置は、逆量子化装置２６から送
られた離散コサイン変換係数に対して、ＤＣＴブロック
毎に、水平方向高周波成分係数の帯域制限をする。

【０１６４】図２９に、帯域制限装置２７における水平
方向高周波成分の帯域制限処理の一例を示す。例えば、
帯域制限装置２７は、輝度信号に関しては、図２９
（Ａ）に示すように８×８の離散コサイン変換係数のう
ち、水平方向低域成分である６×８係数のみの値を保存
し、残りを０と置きかえる。また、帯域制限装置２７
は、色差信号に関しては、図２９（Ｂ）に示すように、
８×８の離散コサイン変換係数のうち、水平方向低域成
分である４×８係数のみの値を保存し、残りを０と置き
かえる。

【０１６５】このように離散コサイン変換係数の高周波
成分を帯域制限することで、周波数領域において符号量
（ビットレート）の削減をすることができる。

【０１６６】また、入力となる画像圧縮情報（ビットス
トリーム）が、飛び越し走査画像のものである場合に
は、フィールド間の時間差に関する情報を、離散コサイ
ン変換係数の垂直方向高域成分が含むことになる。その
ため、垂直方向の離散コサイン変換係数の帯域制限を行
うことは大幅な画質劣化に繋がる。従って、この帯域制
限装置２７では、垂直方向の帯域制限は行わない。

【０１６７】また、この帯域制限装置２７では、劣化が
より人間の目に付きやすい輝度信号に比べ、より人間の
目に付きにくい色差信号に対して、より大きく帯域制限
を行っている。このことにより、この帯域制限装置２７
では、画質劣化を最小限に抑えながら、再量子化の歪み
を低減することができる。なお、削減する符号量（ビッ
トレート）が少ない場合や回路的な制限がある場合等
は、輝度信号と色差信号との帯域制限を同一にしてもよ
い。

【０１６８】また、帯域制限装置２７における水平方向
の離散コサイン変換係数の帯域制限処理は、この図２９
に示したような係数を０と置く処理に限らない。例え
ば、０と置き換える代わりに、予め用意した重み係数を
離散コサイン変換の水平方向高域成分に乗じることで同
様に符号量（ビットレート）を削減することが可能であ
る。

【０１６９】帯域制限装置２７により帯域制限がされた
離散コサイン変換係数は、量子化装置２８に送られる。

【０１７０】量子化装置２８は、帯域制限装置２７から
送られた８×８離散コサイン変換係数を量子化する。そ
の際用いられる量子化幅は、以下に説明するように符号
量制御装置３１により制御される。また、量子化の際に
用いる量子化行列は、入力された高い符号量（高ビット
レート）の画像圧縮情報（ビットストリーム）で用いら
れている量子化行列をそのまま用いても良いが、再量子
化に適した行列を新たに設定して用いてもよい。

【０１７１】以下符号化制御装置３１における量子化幅
の制御方法について説明する。

【０１７２】図１０において説明したように、ＭＰＥＧ
−２画像情報符号化装置において適用されるＭＰＥＧ−
２ＴｅｓｔＭｏｄｅｌ５（ＩＳＯ／ＩＥＣＪＴ
Ｃ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で用いられて
いる手法では、まず、ＧＯＰを構成するピクチャ（Ｉピ
クチャ，Ｐピクチャ，Ｂピクチャ）に関する情報に基づ
きピクチャ毎の目標符号量（ターゲットビットレート）
が算出され、符号化処理が行われる。しかしながら、本
実施の形態の画像情報変換装置２０では、画像圧縮情報
（ビットストリーム）が入力されるので、ヘッダ情報か
らＧＯＰ情報を読み取ることができなず、ＭＰＥＧ−２
ＴｅｓｔＭｏｄｅｌ５で用いられている手法をそ
のまま適用することができない。

【０１７３】そのため、画像情報変換装置２０では、図
３０に示すように、まず、圧縮情報解析装置２４におい
て、１ピクチャに割り当てられた符号量を予め解析する
（ステップＳ１１）。そして、解析した１ピクチャに割
り当てられた符号量の情報を、符号量制御装置３１に与
える。符号量制御装置３１は、与えられたこの符号量を
Ｂ₁とし、入力ビットストリームのビットレートをＲ₁と
し、出力ビットストリームのビットレートをＲ₂とし
て、当該ピクチャの目標符号量（ターゲットビットレー
ト）Ｔを、以下の式（２６）によって算出して、目標符
号量を設定する（ステップＳ１２）。

【０１７４】

【数２６】

【０１７５】なお、Ｒ₁、Ｒ₂は、図１５に示したシーケ
ンスヘッダ内の情報を解析することにより抽出すること
ができる。

【０１７６】そして、符号量制御装置３１は、以下、図
１０に示したステップＳ１、ステップＳ２、ステップＳ
３と同一の処理を行う。

【０１７７】このように画像情報変換装置２０では、１
ピクチャに割り当てられた符号量を予め解析し、この解
析した符号量に入出力される画像圧縮情報のビットレー
トの比率を乗じることで、ＧＯＰに関する情報が無くて
も、ＭＰＥＧ−２ＴｅｓｔＭｏｄｅｌ５で定められ
た方式での符号量の制御を行うことができる。

【０１７８】また、符号量制御装置３１は、符号バッフ
ァ３０において、先述のＶＢＶバッファの拘束条件が満
たされるよう、各マクロブロックに対して量子化幅の割
当も行う。

【０１７９】以上のように再量子化された離散コサイン
変換係数は、量子化装置２９から可変長符号化装置２９
に送られる。

【０１８０】可変長復号化装置２９は、量子化した離散
コサイン変換係数を、平均符号長が短くなるように符号
化する。その際、可変長復号化装置５は、離散コサイン
変換係数の直流成分に関しては、１ブロック前の直流成
分係数を予測値としてその差分を符号化し、その他の成
分に関しては、予め設定された走査方式（ジグザグスキ
ャン若しくはオルタネートスキャン）に基づいて１次元
の配列データに並べ替えた後、連続する０係数の数（ラ
ン）及び非０係数（レベル）のペアを事象とした可変長
符号化を行う。そして、量子化装置４は、ＤＣＴブロッ
ク内のスキャンを行っている際に、それ以降の係数の値
が全て０となった場合、ＥＯＢ（End OfBlock）と呼ば
れる符号を出力し、そのブロックに対する可変長符号化
を終了する。

【０１８１】なお、可変長符号化装置２９は、入力され
た高い符号量（高ビットレート）の画像圧縮情報のスキ
ャン方式に関わらず、オルタネートスキャン方式により
離散コサイン変換係数を１次元データに配列してもよ
い。オルタネートスキャン方式により離散コサイン変換
係数を１次元データに配列するのは、以下の理由によ
る。

【０１８２】すなわち、入力となる画像圧縮情報（ビッ
トストリーム）のあるブロックの離散コサイン変換係数
が、例えば、図３１（Ａ）に示すようになっていたとす
る。図３１において、●で示す係数は非０係数であり、
○で示すは０係数である。このような離散コサイン変換
係数に対して離散コサイン変換係数の水平高周波成分を
０としたとすると、非０係数の分布は例えば図３１
（Ｂ）に示すようになる。この図３１（Ｂ）に示す水平
高周波成分を０とした離散コサイン変換係数を、ジグザ
グスキャンで再符号化すると、最後の非０係数のスキャ
ン番号は５０となる（図６（Ａ）参照）。それに対し、
走査変換を行ってオルタネートスキャンで改めて符号化
すると、最後の非０係数のスキャン番号は４４になる
（図６（Ｂ）参照）。このことから、水平高周波成分を
０とした離散コサイン変換係数に対して可変長符号化す
る場合には、オルタネートスキャン方式によりスキャン
をすれば、ジグザグスキャンの場合より早いスキャン番
号でＥＯＢ信号を設定することが可能となる。そのた
め、量子化幅としてより細かな値を割り当てることがで
き、再量子化に伴う量子化歪みを低減することができ
る。

【０１８３】そして、可変長符号化装置５により可変長
符号化された離散コサイン変換係数は符号バッファ６に
送られ、この符号バッファ６に一時格納されたのち、Ｍ
ＰＥＧ−２に規定されたビットストリーム構造とされ
て、圧縮画像情報として出力される。

【０１８４】以上のように、本発明の第１の実施の形態
の画像情報変換装置２０では、周波数領域で各ブロック
のデータの受け渡しを行って符号量（ビットレート）を
削減することができるので、ベースバンドのビデオデー
タまで復号した後符号化する従来の画像情報変換装置に
比べて、演算量が少なくなり、また、回路構成を大幅に
削減することができる。

【０１８５】なお、上記画像情報変換装置２０では、逆
量子化装置２６と量子化装置２８との間に帯域制限装置
２７を設けているが、符号量（ビットレート）の削減量
によってはこの帯域制限装置２７を設けなくても良い。

【０１８６】（本発明の第２の実施の形態の画像情報変
換装置）つぎに、本発明を適用した第２の実施の形態の
画像情報変換装置について説明する。

【０１８７】図３２に本発明の第２の実施の形態の画像
情報変換装置のブロック図を示す。なお、この第２の実
施の形態の画像情報変換装置を説明するのにあたり、上
記第１の実施の形態の画像情報変換装置２０と同一の構
成要素には図面中に同一の符号を付け、その詳細な説明
を省略する。

【０１８８】図３２に示す画像情報変換装置４０は、符
号バッファ２３と、圧縮情報解析装置２４と、可変長復
号化装置２５と、逆量子化装置２６と、加算器４１と、
帯域制限装置２７と、量子化装置２８と、可変長符号化
装置２９と、符号バッファ３０と、符号量制御装置３１
と、動き補償誤差補正装置４２とから構成される。

【０１８９】加算器４１は、逆量子化装置２６と帯域制
限装置２７との間に設けられる。加算器４１は、逆量子
化装置２６が逆量子化して得られた離散コサイン変換係
数から、動き補償誤差補正装置４２により生成された動
き補償誤差補正係数を減算する。

【０１９０】動き補償誤差補正装置４２は、逆量子化装
置２６により逆量子化した離散コサイン変換係数を、量
子化装置２８により再量子化する際に生じる動き補償誤
差を補正する動き補償誤差補正係数を生成する。

【０１９１】まず、動き補償誤差が生じる原因について
述べる。

【０１９２】原画像の画素値をＯとし、入力された高い
符号量（高ビットレート）の画像圧縮情報（ビットスト
リーム）のこの原画像の画素値Ｏに対する量子化幅をＱ
₁とし、再符号化後の低い符号量（低ビットレート）の
画像圧縮情報（ビットストリーム）のこの原画像の画素
値Ｏに対する量子化幅をＱ₂とする。また、量子化幅
Ｑ₁、量子化幅Ｑ₂で復号された参照画像の画素値を、そ
れぞれＬ（Ｑ₁），Ｌ（Ｑ₂）とする。

【０１９３】インターマクロブロックの画素は、符号化
時において、例えば図１に示したＭＰＥＧ−２画像情報
符号化装置の加算器２により差分値“Ｏ−Ｌ（Ｑ₁）”
が計算され、この差分値“Ｏ−Ｌ（Ｑ₁）”に離散コサ
イン変換が施される。このように符号化されたインター
マクロブロックの画素は、復号時においては、差分値
“Ｏ−Ｌ（Ｑ₁）”に逆離散コサイン変換が施され、こ
の差分値“Ｏ−Ｌ（Ｑ₁）”から動き補償により生成さ
れた参照画像“Ｌ（Ｑ₁）”が減算され、原画像の画素
値Ｏが復号される。

【０１９４】一方、インターマクロブロックの画素は、
図２８に示した画像情報変換装置２０による符号量（ビ
ットレート）を削減時において、逆量子化装置２６及び
量子化装置２８により差分値“Ｏ−Ｌ（Ｑ₁）”の量子
化幅がＱ１からＱ２に変換される。このように符号量を
削減したインターマクロブロックの画素は、復号時にお
いては、差分値“Ｏ−Ｌ（Ｑ₂）”が量子化幅Ｑ₂で符号
化されたものと見なされて復号される。

【０１９５】ここで、画像情報変換装置２０において量
子化幅を変えて符号量を削減していることからＱ₁＝Ｑ₂
は成立せず、インターマクロブロックの復号時に量子化
誤差が生じる。従って、インターマクロブロックにより
符号化がされているＰピクチャ、Ｂピクチャに、動き補
償に伴う誤差が発生する。

【０１９６】Ｐピクチャで生じた誤差は、以後このＰピ
クチャを参照画像とするＰピクチャやＢピクチャに伝播
し、さらなる画質劣化に繋がる。

【０１９７】この第２の実施の形態の画像情報圧縮装置
４０の動き補償誤差補正装置４２では、動き補償誤差補
正係数を生成し、逆量子化装置２６により逆量子化した
離散コサイン変換係数から減算し、以上の動き補償誤差
を補正している。

【０１９８】続いてこの動き補償誤差補正装置４２につ
いて説明する。

【０１９９】動き補償誤差補正装置４２は、逆量子化装
置４３と、加算器４４と、逆離散コサイン変換装置４５
と、ビデオメモリ４６と、動き補償予測装置４７と、離
散コサイン変換装置４８とから構成されている。

【０２００】逆量子化装置４３は、量子化装置２８によ
り再量子化された離散コサイン変換係数を、上記量子化
装置２８で用いられた量子化行列に基づき逆量子化す
る。逆量子化装置４３により逆量子化された離散コサイ
ン変換係数は、加算器４４に送られる。

【０２０１】加算器４４は、逆量子化装置４３により逆
量子化された離散コサイン変換係数から、加算器４１に
より動き補償誤差補正係数が減算された離散コサイン変
換係数を減算して、周波数領域の量子化誤差係数を生成
し、逆離散コサイン変換装置４５に送る。

【０２０２】逆離散コサイン変換装置４５は、加算器４
４から送られた周波数領域の量子化誤差係数に対して、
逆離散コサイン変換を施す。逆離散コサイン変換を施し
て得らた結果は、空間領域の量子化誤差値として、ビデ
オメモリ４６に格納される。

【０２０３】動き補償予測装置４７は、入力された高い
符号量（高ビットレート）の画像圧縮情報（ビットスト
リーム）内における動き補償予測モード情報（フィール
ド動き補償予測モード或いはフレーム動き補償予測モー
ド、及び、前方向予測モード、後方向予測モード、或い
は、双方向予測モード）及び、動きベクトル情報に基づ
き、ビデオメモリ４６内の空間領域の量子化誤差値に対
して動き補償を行う。動き補償がされたデータが、空間
領域での動き補償誤差補正値となる。この動き補償誤差
補正値は、離散コサイン変換装置４８に送られる。

【０２０４】離散コサイン変換装置４８は、送られた空
間領域での動き補償誤差補正値に対して離散コサイン変
換を施し、周波数領域での動き補償誤差補正係数を生成
する。この動き補償誤差補正係数は、加算器４１に送ら
れる。

【０２０５】そして、この加算器４１において、逆量子
化装置２６により逆量子化された離散コサイン変換係数
から、この動き補償誤差補正係数を減算することによっ
て、動き補償に起因する誤差の補正がされる。

【０２０６】以上のように、本発明の第２の実施の形態
の画像情報変換装置４０では、周波数領域で各ブロック
のデータの受け渡しを行って符号量（ビットレート）を
削減することができるので、ベースバンドのビデオデー
タまで復号した後符号化する従来の画像情報変換装置に
比べて、演算量が少なくなり、また、回路構成を大幅に
削減することができる。これとともに、画像情報変換装
置４０では、動き補償誤差の蓄積に起因する画質劣化を
生じさせずに、符号量を削減することができる。

【０２０７】なお、上記動き補償誤差補正装置４２の逆
離散コサイン変換装置４５及び離散コサイン変換装置４
８では、高速アルゴリズムを適用することが可能であ
る。

【０２０８】図３３に、文献”Ａｆａｓｔｃｏｍｐ
ｕｔａｔｉｏｎａｌａｌｇｏｒｉｔｈｍｆｏｒｔ
ｈｅｄｉｓｃｒｅｔｅｃｏｓｉｎｅｔｒａｎｓｆ
ｏｒｍ”（ＩＥＥＥＴｒａｎｓ．Ｃｏｍｍｕｎ．，ｖ
ｏｌ．２５，ｎｏ．９ｐｐ．１００４−１００９，１
９７７）に示されている高速アルゴリズムを適用した場
合のフロー図を示す。

【０２０９】この方式は、図３３中の矢印の方向（変数
［ｘ（０）・・・ｘ（７）］から変数［Ｘ（０）・・・
Ｘ（７）］へ向かう方向）に処理することで離散コサイ
ン変換を実行することが可能である。また、図３３中の
矢印と反対の方向（変数［Ｘ（０）・・・Ｘ（７）］か
ら変数［ｘ（０）・・・ｘ（７）］へ向かう方向）に処
理することで逆離散コサイン変換を実行することが可能
である。なお、この図３３で示す“Ｃ_l ⁱ”は、ＣＯＳ
（ｉπ／ｌ）を意味する。

【０２１０】また、逆離散コサイン変換装置４５及び離
散コサイン変換装置４８では、帯域制限装置３７におい
て水平高域成分の係数が０と置き換えられている場合、
０と置き換えられている係数に対する逆離散コサイン変
換及び離散コサイン変換を省くことで、回路規模及び演
算処理量を削減することが可能である。

【０２１１】更に、画像における色差信号の劣化は、輝
度信号の劣化に比べ、人間の目には分かり難いという特
色を有しているため、上記の動き補償誤差補正を、輝度
信号のみに適用することで、画質劣化を最小に保ちなが
ら回路規模及び演算処理量を大幅に削減することもでき
る。また、Ｐピクチャにおける誤差はＢピクチャに伝播
するが、Ｂピクチャにおける誤差はそれ以上伝播しな
い。一方、Ｂピクチャには双方向予測モードを含み、多
大なる演算処理量を要する。そこで、Ｐピクチャにのみ
動き補償誤差補正を行うことで、画質劣化を最小に保ち
ながら回路規模及び演算処理量を大幅に削減することも
考えられる。Ｂピクチャにおける処理を行わないこと
で、ビデオメモリ４６の容量を削減することも可能とな
る。

【０２１２】また、以上、入力として、ＭＰＥＧ２によ
る画像圧縮情報（ビットストリーム）を対象としてきた
が、直交変換と動き補償によって符号化された画像圧縮
情報（ビットストリーム）では、本装置と同様の構成で
符号量（ビットレート）の削減を行うことが可能であ
る。

【０２１３】（本発明の第３の実施の形態の画像情報変
換装置）つぎに、本発明を適用した第３の実施の形態の
画像情報変換装置について説明する。

【０２１４】図３２に本発明の第３の実施の形態の画像
情報変換装置のブロック図を示す。なお、この第３の実
施の形態の画像情報変換装置を説明するのにあたり、上
記第１の実施の形態の画像情報変換装置２０及び上記第
２の実施の形態の画像情報変換装置４０と同一の構成要
素には図面中に同一の符号を付け、その詳細な説明を省
略する。

【０２１５】図３４に示す画像情報変換装置５０は、符
号バッファ２３と、圧縮情報解析装置２４と、可変長復
号化装置２５と、逆量子化装置２６と、加算器４１と、
帯域制限装置２７と、量子化装置２８と、可変長符号化
装置２９と、符号バッファ３０と、符号量制御装置３１
と、動き補償誤差補正装置５１とから構成される。

【０２１６】加算器４１は、逆量子化装置２６と帯域制
限装置２７との間に設けられる。加算器４１は、逆量子
化装置２６が逆量子化して得られた離散コサイン変換係
数から、動き補償誤差補正装置５１により生成された動
き補償誤差補正係数を減算する。

【０２１７】動き補償誤差補正装置５１は、逆量子化装
置２６により逆量子化した離散コサイン変換係数を、量
子化装置２８により再量子化する際に生じる動き補償誤
差を補正する動き補償誤差補正係数を生成する。そし
て、この動き補償誤差補正装置５１は、この動き補償誤
差補正係数を、逆量子化装置２６により逆量子化した離
散コサイン変換係数から減算し、動き補償誤差を補正し
ている。

【０２１８】続いてこの動き補償誤差補正装置５１につ
いて説明する。

【０２１９】動き補償誤差補正装置５１は、逆量子化装
置４３と、加算器４４と、４×８逆離散コサイン変換装
置５２と、ビデオメモリ５３と、補間装置５４と、動き
補償予測装置５５と、４×８離散コサイン変換装置５６
とから構成されている。

【０２２０】逆量子化装置４３は、量子化装置２８によ
り再量子化された離散コサイン変換係数を、上記量子化
装置２８で用いられた量子化行列に基づき逆量子化す
る。逆量子化装置４３により逆量子化された離散コサイ
ン変換係数は、加算器４４に送られる。

【０２２１】加算器４４は、逆量子化装置４３により逆
量子化された離散コサイン変換係数から、加算器４１に
より動き補償誤差補正係数が減算された離散コサイン変
換係数を減算し、周波数領域の量子化誤差係数を生成し
て、４×８逆離散コサイン変換装置５２に送る。

【０２２２】４×８逆離散コサイン変換装置５２は、加
算器４４から送られた量子化誤差係数に対して、４×８
の逆離散コサイン変換を施し、空間領域の４×８量子化
誤差値を算出する。４×８逆離散コサイン変換装置５２
は、逆離散コサイン変換を施して得らた結果である空間
領域の４×８量子化誤差値を、ビデオメモリ５３に格納
する。

【０２２３】ビデオメモリ５３は、空間領域の４×８量
子化誤差値を格納する。この４×８量子化誤差値は、水
平方向のデータが１／２間引かれているので、入力とな
る画像圧縮情報の解像度に対して１／２の解像度のデー
タが格納できる容量を有していればよい。

【０２２４】補間装置５４は、ビデオメモリ５３に格納
されている４×８量子化誤差値の水平方向のデータの補
間処理を行う。この補間装置５４により水平方向の４×
８量子化誤差値の補間を行っておくことにより、後段の
動き補償予測装置５５で水平方向の情報に対して１／４
画素精度の動き予測を行うことができる。補間装置５４
は、例えば線形内挿若しくはハーフバンドフィルタ等の
数タップのデジタルフィルタを用いた内挿を行うことで
補間を行う。なお、この補間装置５４は、動きベクトル
の値に応じて、必要な値のみを補間して生成すればよ
い。

【０２２５】図３５に、線形内挿により、水平方向の１
／４画素精度の補間を行う場合の処理内容を示す。動き
ベクトルが元画素と同位相の画素位置を示している場合
には、図３５（Ａ）に示すように、元画素の値が補間し
た画素の値となる。動きベクトルが元画素と１／４位相
ずれた画素位置を示している場合には、図３５（Ｂ）、
図３５（Ｃ）及び図３５（Ｄ）に示すように、水平方向
に近接する２つの画素値に、その画素との距離の割合を
乗じて、補間した画素の値を求める。

【０２２６】動き補償予測装置５５は、入力された高い
符号量（高ビットレート）の画像圧縮情報（ビットスト
リーム）内における動き補償予測モード情報（フィール
ド動き補償予測モード或いはフレーム動き補償予測モー
ド、及び、前方向予測モード、後方向予測モード、或い
は、双方向予測モード）及び、動きベクトル情報に基づ
き、ビデオメモリ５３内の空間領域の４×８量子化誤差
値に対して動き補償を行う。このとき、水平方向には補
間装置５４で補間した値を用いて１／４画素精度で動き
補償を行い、垂直方向には１／２画素精度で動き補償を
行う。

【０２２７】動き補償がされたデータが、空間領域での
４×８動き補償誤差補正値となる。この４×８動き補償
誤差補正値は、４×８離散コサイン変換装置５６に送ら
れる。

【０２２８】４×８離散コサイン変換装置５６は、送ら
れた４×８動き補償誤差補正値に対して、４×８の離散
コサイン変換を施し、周波数領域の動き補償誤差補正係
数を生成する。この動き補償誤差補正係数は、加算器４
１に送られる。

【０２２９】そして、この加算器４１において、逆量子
化装置２６により逆量子化された離散コサイン変換係数
から、この動き補償誤差補正係数を減算することによっ
て、動き補償に起因する誤差の補正がされる。

【０２３０】このように画像情報変換装置５０では、８
×８の離散コサイン係数として表される動き補償に起因
する誤差成分のうち、誤差補正に対して大きく寄与する
水平方向の低域成分及び垂直方向の全周波数成分に対し
てのみ演算処理を行い、水平方向の高周波成分に対して
は演算処理を行わない。水平方向の誤差の高周波成分
は、元々誤差の分布の頻度は低く、さらに、帯域制限装
置２７が高周波成分を削減する処理を行っているので、
演算処理を行わなくてもほとんど画質の劣化が生じな
い。もっとも、垂直方向の誤差成分は、例えば入力とな
る画像圧縮情報が飛び越し走査によるものである場合に
は、フィールド間の時間差に関する情報が高域成分に含
まれているので、全周波数成分に対して演算処理を行
う。

【０２３１】以上のように、本発明の第３の実施の形態
の画像情報変換装置５０では、周波数領域で各ブロック
のデータの受け渡しを行って符号量（ビットレート）を
削減することができるので、ベースバンドのビデオデー
タまで復号した後符号化する従来の画像情報変換装置に
比べて、演算量が少なくなり、また、回路構成を大幅に
削減することができる。これとともに、画像情報変換装
置５０では、動き補償誤差の蓄積に起因する画質劣化を
生じさせずに、符号量を削減することができる。また、
動き補償誤差補正係数を求める動き補償誤差補正装置５
１が、水平方向の高周波成分に対しては演算処理を行わ
ないので、さらに演算量を少なくすることができる。

【０２３２】また、４×８逆離散コサイン変換装置５２
及び４×８離散コサイン変換装置５６の垂直方向に対す
る処理としては、通常の８次の逆離散コサイン変換及び
８次の離散コサイン変換を施す。この際、４×８逆離散
コサイン変換装置５２及び４×８離散コサイン変換装置
５６では、高速アルゴリズムを適用することが可能であ
る。

【０２３３】図３６に、文献”Ａｆａｓｔｃｏｍｐ
ｕｔａｔｉｏｎａｌａｌｇｏｒｉｔｈｍｆｏｒｔ
ｈｅｄｉｓｃｒｅｔｅｃｏｓｉｎｅｔｒａｎｓｆ
ｏｒｍ”（ＩＥＥＥＴｒａｎｓ．Ｃｏｍｍｕｎ．，ｖ
ｏｌ．２５，ｎｏ．９ｐｐ．１００４−１００９，１
９７７）に示されている高速アルゴリズムを適用した場
合のフロー図を示す。

【０２３４】この方式は、図３６中の矢印の方向（変数
［ｘ（０）・・・ｘ（７）］から変数［Ｘ（０）・・・
Ｘ（７）］へ向かう方向）に処理することで離散コサイ
ン変換を実行することが可能である。また、図３６中の
矢印と反対の方向（変数［Ｘ（０）・・・Ｘ（７）］か
ら変数［ｘ（０）・・・ｘ（７）］へ向かう方向）に処
理することで逆離散コサイン変換を実行することが可能
である。なお、この図３６で示す“Ｃ_l ⁱ”は、ＣＯＳ
（ｉπ／ｌ）を意味する。

【０２３５】また、４×８逆離散コサイン変換装置５２
及び４×８離散コサイン変換装置５６の水平方向に対す
る処理としては、以下の２つの方式がある。

【０２３６】第１の方式は、４×８逆離散コサイン変換
装置５２において、８次の離散コサイン係数である周波
数領域の量子化誤差係数のうち、低域４係数のみに対し
て４次の逆離散コサイン変換を施する。４×８離散コサ
イン変換装置５６において、動き補償によって生成され
た４×８の空間領域の動き補償誤差補正値に対して、水
平方向の４次の離散コサイン変換を施す。このことによ
り、４×８の周波数領域の動き補償誤差補正係数を出力
することができる。ここで、４次の逆離散コサイン変換
及び４次の離散コサイン変換に高速アルゴリズムを適用
することが可能である。図３７に、４次の高速アルゴリ
ズムを適用した場合のフロー図を示す。この４次の高速
アルゴリズムは、Ｆ（０）〜Ｆ（３）を入力とし、ｆ
（０）〜ｆ（３）を出力とすることにより、逆離散コサ
イン変換を実行することが可能である。また、ｆ（０）
〜ｆ（３）を入力とし、Ｆ（０）〜Ｆ（３）を出力とす
ることにより、離散コサイン変換を実行することが可能
である。

【０２３７】第２の方式は、４×８逆離散コサイン変換
装置５２において、８次の離散コサイン係数である周波
数領域の量子化誤差係数のうち、高域４係数を０と置き
換えて８次の離散コサイン変換を施して、８次の空間領
域の量子化誤差値を得る。続いて、４×８逆離散コサイ
ン変換装置５２は、８次の空間領域の量子化誤差値に対
して、水平方向に平均化処理又は間引き処理を行い、空
間領域の４次の量子化誤差値を生成する。４×８離散コ
サイン変換装置５６は、動き補償によって得られた画素
領域の４点の誤差補正値を、補間処理によって８点にす
る。続いて、４×８離散コサイン変換装置５６は、補間
処理によって８点にした空間領域の動き補償画素補正値
に対して離散コサイン変換を施した後、４次までの低域
成分を取り出す。このことにより４×８の周波数領域で
の誤差補正係数を出力することができる。

【０２３８】なお、この第２の方式において、４×８逆
離散コサイン変換装置５２は、逆離散コサイン変換と平
均化処理、又は、逆離散コサイン変換と間引き処理を、
一連の処理として１つの行列で演算しても良い。逆離散
コサイン変換と平均化処理とを１つの行列で演算する場
合の演算式（ｉＤ₄＿ａｖｅ）を図３８に示す。また、
逆離散コサイン変換と間引き処理とを１つの行列で演算
する場合の演算式（ｉＤ₄＿ｄｅｃｉ）を図３９に示
す。

【０２３９】また、４×８離散コサイン変換装置５６
も、同様に、補間処理と離散コサイン変換とを一連の処
理として１つの行列で演算しても良い。平均化処理に対
応する補間処理と離散コサイン変換とを１つの行列で演
算する場合の演算式（Ｄ₄＿ａｖｅ）、及び、間引き処
理に対応する補間処理と逆離散コサイン変換とを１つの
行列で演算する場合の演算式（Ｄ₄＿ｄｅｃｉ）は、以
下の式で示される。なお、^t（）は転置行列を示してい
る。

【０２４０】

【数２７】

【０２４１】また、画像における色差信号の劣化は、輝
度信号の劣化に比べ、人間の目には分かり難いという特
色を有している。そのため、４×８逆離散コサイン変換
装置５２では、図４０に示すように、色差信号の離散コ
サイン係数の垂直方向の高域成分４係数を０に置き換え
て、逆直交変換をして演算量の削減を行っても良い。

【０２４２】また、以上、入力として、ＭＰＥＧ２によ
る画像圧縮情報（ビットストリーム）を対象としてきた
が、直交変換と動き補償によって符号化された画像圧縮
情報（ビットストリーム）では、本装置と同様の構成で
符号量（ビットレート）の削減を行うことが可能であ
る。

【０２４３】

【発明の効果】本発明にかかる画像情報変換装置及び方
法では、直交変換係数を逆量子化した後量子化幅を変え
て再量子化する。このことにより本発明では、画像信号
をベースバンドで処理をせずに周波数領域で処理をする
ことができ、そのため、少ない演算量及び回路規模でビ
ットレートの削減をすることができる。また、本発明で
は、再量子化による歪みを低減でき画質劣化を少なくし
てビットレートの削減をすることができる。

【０２４４】また、本発明にかかる画像情報変換装置及
び方法では、直交変換係数を逆量子化した後、直交変換
係数の水平方向の高周波成の値を制限し、量子化幅を変
えて再量子化する。このことにより、本発明では、再量
子化による歪みを低減でき画質劣化を少なくしてビット
レートの削減をすることができる。また、本発明では、
フィールド間の差分情報を含む垂直方向の情報を制限し
ないので、画質劣化を少なくしてビットレートの削減を
することができる。

【０２４５】また、本発明にかかる画像情報変換装置及
び方法では、直交変換係数を逆量子化した後量子化幅を
変えて再量子化するとともに、入力された直交変換係数
と再量子化した直交変換係数との差分を動き補償して動
き補償による誤差を補正する。このことにより、再量子
化にともなう動き補償の誤差の蓄積が減少し、画質の劣
化を少なくしてビットレートの削減をすることができ
る。

【０２４６】また、本発明にかかる画像情報変換装置及
び方法では、直交変換係数を逆量子化した後直交変換係
数の水平方向の高周波成の値を制限し量子化幅を変えて
再量子化するとともに、入力された直交変換係数と再量
子化した直交変換係数との差分の水平方向の低域４係数
及び垂直方向の８係数とを、動き補償して動き補償によ
る誤差を補正する。このことにより、再量子化にともな
う動き補償の誤差の蓄積が減少し、画質の劣化を少なく
してビットレートの削減をすることができるとともに、
回路規模を削減することができる。

【図面の簡単な説明】

【図１】ＭＰＥＧ−２画像情報符号化装置のブロック図
である。

【図２】上記ＭＰＥＧ−２画像情報符号化装置の画面並
べ替えバッファによるフレーム順序の並べ替え処理を説
明する図である。（Ａ）は並べ替え前のフレーム順序を
示す図であり、（Ｂ）は並べ替え後のフレーム順序を示
す図である。

【図３】ビデオデータが４：２：０信号の場合のマクロ
ブロックの構成を説明する図である。

【図４】フレーム離散コサイン変換モードの際のＤＣＴ
ブロックを説明する図である。

【図５】フィールド離散コサイン変換モードの際のＤＣ
Ｔブロックを説明する図である。

【図６】可変長符号化をする際の離散コサイン変換係数
のスキャン順序を示す図である。（Ａ）はジグザグスキ
ャンのスキャン順序を示す図であり、（Ｂ）はオルタネ
ートスキャンのスキャン順序を示す図である。

【図７】イントラＤＣ精度に対する逆量子化係数の関係
を示す図である。

【図８】量子化行列のデフォルト値を示す図である。
（Ａ）はイントラマクロブロックについて用いられるデ
フォルトに設定された量子化行列を示す図である。
（Ｂ）はインターマクロブロックについて用いられるデ
フォルト値に設定された量子化行列を示す図である。

【図９】ＭＰＥＧ２画像圧縮情報（ビットストリーム）
の構文中で定義されるｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ
（量子化スケール）を説明する図である。

【図１０】上記ＭＰＥＧ−２画像情報符号化装置の符号
量制御装置の動作内容を示すフローチャートである。

【図１１】ＶＢＶバッファのビット占有量の変化を示す
図である。

【図１２】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）の階層構成を示す図である。

【図１３】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）の各階層におけるスタートコードのコード値を示す
図である。

【図１４】ＭＰＥＧ２画像圧縮情報（ビットストリー
ム）の各階層のブロック構成を示す図である。

【図１５】シーケンスヘッダに含まれる情報を説明する
図である。

【図１６】シーケンス拡張部に含まれる情報を説明する
図である。

【図１７】拡張部＆ユーザデータ（１）に含まれる情報
を説明する図である。

【図１８】ＧＯＰヘッダに含まれる情報を説明する図で
ある。

【図１９】拡張部＆ユーザデータ（２）に含まれる情報
を説明する図である。

【図２０】ピクチャヘッダに含まれる情報を説明する図
である。

【図２１】ピクチャ符号化拡張部に含まれる情報を説明
する図である。

【図２２】拡張部＆ユーザデータ（３）に含まれる情報
を説明する図である。

【図２３】画面内に分割されたスライス層を説明する図
である。

【図２４】スライス層を定義するスライスデータを説明
する図である。

【図２５】スライスデータに含まれる情報を説明する図
である。

【図２６】マクロブロックデータに含まれる情報を説明
する図である。

【図２７】ブロックデータに含まれる情報を説明する図
である。

【図２８】本発明の第１の実施の形態の画像情報変換装
置のブロック図である。

【図２９】上記画像情報変換装置の帯域制限装置による
離散コサイン変換係数の水平高周波成分の帯域制限例を
説明する図である。（Ａ）は輝度信号に対する離散コサ
イン変換係数の帯域制限例を示す図であり、（Ｂ）は色
差信号に対する離散コサイン変換係数の帯域制限例を示
す図である。

【図３０】上記画像情報変換装置の符号量制御装置の動
作内容を示すフローチャートである。

【図３１】入力された信号のスキャン方式に関わらず、
オルタネートスキャン方式により離散コサイン変換係数
をスキャンすることを説明する図である。（Ａ）は帯域
制限まえの離散コサイン変換係数を示す図であり、
（Ｂ）は帯域制限後の離散コサイン変換係数を示す図で
ある。

【図３２】本発明の第２の実施の形態の画像情報変換装
置のブロック図である。

【図３３】離散コサイン変換及び逆離散コサイン変換に
高速アルゴリズムを適用した場合の処理フローを示す図
である。

【図３４】本発明の第３の実施の形態の画像情報変換装
置のブロック図である。

【図３５】線形内挿により水平方向の１／４画素精度の
補間を行うときの処理内容を示す図である。

【図３６】４×８離散コサイン変換及び４×８逆離散コ
サイン変換に高速アルゴリズムを適用した場合の処理フ
ローを示す図である。

【図３７】４×８離散コサイン変換及び４×８逆離散コ
サイン変換に他の高速アルゴリズムを適用した場合の処
理フローを示す図である。

【図３８】逆離散コサイン変換と平均化処理とを１つの
行列で演算する場合の演算式を説明する図である。

【図３９】逆離散コサイン変換と間引き処理とを１つの
行列で演算する場合の演算式を説明する図である。

【図４０】色差信号の離散コサイン係数の垂直方向の高
域成分４係数を０に置き換える処理を説明する図であ
る。

【図４１】従来の画像情報変換装置のブロック図であ
る。

【符号の説明】

２０，４０，５０画像情報変換装置、２４圧縮情報
解析装置、２５、可変長復号化装置、２６逆量子化装
置、２７帯域制限装置、２８量子化装置、２９可
変長符号化装置、３１符号量制御装置、４１，４４
加算器、４２，５１動き補償誤差補正装置、４３逆量
子化装置、４５逆離散コサイン変換装置、４６，５３
ビデオメモリ、４７，５５動き補償予測装置、４８
離散コサイン変換装置、５２４×８逆離散コサイン変
換装置、５４補間装置、５６４×８離散コサイン変換
装置

フロントページの続き (72)発明者岡田紳太郎東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者リュウイク東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者柳原尚史東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5C059 KK01 KK22 MA00 MA23 MC11 MC38 ME01 NN01 PP04 PP16 SS01 SS02 SS13 TA53 TB08 TC10 TD02 TD03 UA02 UA05 UA11

Claims

【特許請求の範囲】

【請求項１】所定の画素ブロック（直交変換ブロッ
ク）単位で直交変換するとともに直交変換して得られた
上記直交変換ブロック内の直交変換係数を量子化するこ
とにより、画像信号を圧縮符号化をした第１のビットレ
ートの第１の画像圧縮情報を、上記第１のビットレート
より低い第２のビットレートの第２の画像圧縮情報に変
換する画像情報変換装置において、入力された第１の画像圧縮情報の直交変換係数の量子化
幅に応じて、この直交変換係数を逆量子化する逆量子化
手段と、出力する第２の画像圧縮情報が上記第２のビットレート
となるような量子化幅に応じて、上記逆量子化手段によ
り逆量子化された直交変換係数を再量子化する量子化手
段とを備えることを特徴とする画像情報変換装置。
【請求項２】上記逆量子化手段により逆量子化された
直交変換係数の水平方向の高周波成分の値を制限する帯
域制限手段を備え、上記量子化手段は、出力する第２の画像圧縮情報が上記
第２のビットレートとなるような量子化幅に応じて、上
記帯域制限手段により水平方向の高周波成分が制限され
た直交変換係数を再量子化することを特徴とする請求項
１記載の画像情報変換装置。
【請求項３】上記帯域制限手段は、輝度成分の直交変
換係数よりも色差信号の直交変換係数を、より低い成分
の直交変換係数まで制限することを特徴とする請求項２
記載の画像情報変換装置。
【請求項４】入力された第１の画像圧縮情報の１ピク
チャ毎の符号量を解析する画像圧縮情報解析手段と、上記量子化手段の量子化幅を制御して出力する第２の画
像圧縮情報の符号量を制御する符号量制御手段とを備
え、上記符号量制御手段は、入力された第１の画像圧縮情報
の１ピクチャ毎の符号量をＢ、上記第１のビットレート
をＲ１、上記第２のビットレートをＲ２としたとき、第
２の画像圧縮情報の各ピクチャの目標符号量（ターゲッ
トビット）ＴをＴ＝Ｂ（Ｒ２／Ｒ１）により求めて、量子化幅を制御することを特徴とする請
求項１記載の画像情報変換装置。
【請求項５】上記量子化手段は、上記第１の画像圧縮
情報の直交変換係数を量子化した量子化行列と異なる量
子化行列を用いて、上記逆量子化手段により逆量子化さ
れた直交変換係数を再量子化することを特徴とする請求
項１記載の画像情報変換装置。
【請求項６】入力された第１の画像圧縮情報を可変長
復号する可変長復号化手段と、上記量子化手段により再量子化した画像圧縮情報を可変
長符号化する可変長符号化手段とを備え、上記可変長符号化手段は、オルタネートスキャン方式で
直交変換ブロックを一次元信号に変換して可変長符号化
することを特徴とする請求項１記載の画像情報変換装
置。
【請求項７】所定の画素ブロック（直交変換ブロッ
ク）単位で直交変換するとともに直交変換して得られた
上記直交変換ブロック内の直交変換係数を量子化するこ
とにより、画像信号を圧縮符号化をした第１のビットレ
ートの第１の画像圧縮情報を、上記第１のビットレート
より低い第２のビットレートの第２の画像圧縮情報に変
換する画像情報変換装置において、入力された第１の画像圧縮情報の直交変換係数の量子化
幅に応じて、この直交変換係数を逆量子化する第１の逆
量子化手段と、上記第１の逆量子化手段により逆量子化された直交変換
係数と動き補償誤差補正係数とを加算する加算手段と、出力する第２の画像圧縮情報が上記第２のビットレート
となるような量子化幅に応じて、上記加算手段により動
き補償誤差係数が加算された直交変換係数を再量子化す
る量子化手段と、上記量子化手段により再量子化された直交変換係数を逆
量子化する第２の逆量子化手段と、上記第２の逆量子化手段により逆量子化された直交変換
係数から上記加算手段により動き補償補正係数が加算さ
れた直交変換係数を減算して周波数領域の量子化誤差係
数を生成する減算手段と、上記減算手段により減算した上記直交変換係数を直交変
換して動きベクトルに基づき動き補償し、動き補償で得
た値を逆直交変換をして上記動き補償誤差補正係数を生
成する動き補償誤差補正手段とを備えることを特徴とす
る画像情報変換装置。
【請求項８】上記第１の逆量子化手段により逆量子化
された直交変換係数の水平方向の高周波成分の値を制限
する帯域制限手段を備え、上記量子化手段は、出力する第２の画像圧縮情報が上記
第２のビットレートとなるような量子化幅に応じて、上
記帯域制限手段により水平方向の高周波成分が制限され
た直交変換係数を再量子化することを特徴とする請求項
７記載の画像情報変換装置。
【請求項９】上記帯域制限手段は、輝度成分の直交変
換係数よりも色差信号の直交変換係数を、より低い成分
の直交変換係数まで制限することを特徴とする請求項８
記載の画像情報変換装置。
【請求項１０】上記動き補償誤差補正手段は、上記帯
域制限手段が０とした直交変換係数に対する逆直交変換
及び直交変換を行わないことを特徴とする請求項８記載
の画像情報変換装置。
【請求項１１】入力された第１の画像圧縮情報の１ピ
クチャ毎の符号量を解析する画像圧縮情報解析手段と、上記量子化手段の量子化幅を制御して出力する第２の画
像圧縮情報の符号量を制御する符号量制御手段とを備
え、上記符号量制御手段は、入力された第１の画像圧縮情報
の１ピクチャ毎の符号量をＢ、上記第１のビットレート
をＲ１、上記第２のビットレートをＲ２としたとき、第
２の画像圧縮情報の各ピクチャの目標符号量（ターゲッ
トビット）ＴをＴ＝Ｂ（Ｒ２／Ｒ１）により求めて、量子化幅を制御することを特徴とする請
求項７記載の画像情報変換装置。
【請求項１２】上記量子化手段は、上記第１の画像圧
縮情報の直交変換係数を量子化した量子化行列と異なる
量子化行列を用いて、上記逆量子化手段により逆量子化
された直交変換係数を再量子化することを特徴とする請
求項７記載の画像情報変換装置。
【請求項１３】入力された第１の画像圧縮情報を可変
長復号する可変長復号化手段と、上記量子化手段により再量子化した画像圧縮情報を可変
長符号化する可変長符号化手段とを備え、上記可変長符号化手段は、入力された第１の画像圧縮情
報のスキャン方式にかかわらず、オルタネートスキャン
方式で直交変換ブロックを一次元信号に変換して可変長
符号化することを特徴とする請求項７記載の画像情報変
換装置。
【請求項１４】上記動き補償誤差補正手段は、Ｐピク
チャには動き補償誤差補正係数を生成し、Ｂピクチャに
は動き補償誤差補正係数を生成することを特徴とする請
求項７記載の画像情報変換装置。
【請求項１５】上記動き補償誤差補正手段は、輝度信
号には動き補償誤差補正係数を生成し、色差信号には動
き補償誤差補正係数を生成することを特徴とする請求項
７記載の画像情報変換装置。
【請求項１６】上記動き補償誤差補正手段は、高速ア
ルゴリズムに基づき、逆直交変換及び直交変換をするこ
とを特徴とする請求項７記載の画像情報変換装置。
【請求項１７】上記直交変換係数は、水平方向８係数
と垂直方向８係数の８×８係数からなり、上記動き補償誤差補正手段は、水平方向８係数及び垂直方向８係数からなる量子化誤差
係数に対して、４×８の逆直交変換を行い、空間領域の
量子化誤差値を生成する４×８逆直交変換部と、上記４×８逆直交変換部により生成された空間領域の量
子化誤差値に対して、水平方向に１／４画素精度で動き
補償をし、垂直方向に１／２画素精度で動き補償をし
て、空間領域の量子化誤差補正値を生成する動き補償部
と、上記動き補償部により生成された空間領域の量子化誤差
補正値に対して、４×８の直交変換を行い、周波数領域
の上記動き補償誤差補正係数を生成する４×８直交変換
部とを有することを特徴とする請求項７記載の画像情報
変換装置。
【請求項１８】上記４×８逆直交変換部は、色差信号
の直交変換係数の垂直方向の高域成分の値を０に置き換
えて、逆直交変換をすることを特徴とする請求項１７記
載の画像情報変換装置。
【請求項１９】上記動き補償誤差補正手段は、上記４
×８逆直交変換部により生成された空間領域の量子化誤
差値に対して、水平方向の１／４画素精度の画素補間を
する補間部を有し、上記動き補償部は、上記補間部が補間した補間値を用い
て、水平方向の動き補償をすることを特徴とする請求項
１７記載の画像情報変換装置。
【請求項２０】上記４×８逆直交変換部は、水平方向
には周波数領域の８次の量子化誤差係数のうち低域４係
数のみ対して４次の逆直交変換を行い、垂直方向には８
次の逆直交変換を行い、上記４×８直交変換部は、空間領域の動き補償誤差補正
値に対して、水平方向には４次の直交変換を行い、垂直
方向には８次の直交変換を行うことを特徴とする請求項
１７記載の画像情報変換装置。
【請求項２１】上記４×８逆直交変換部は、水平方向
には、周波数領域の８次の量子化誤差係数のうち高域４
係数を０と置き換え８次の逆直交変換を行った後、間引
き処理又は平均化処理を行って４次の空間領域の量子化
誤差値を生成し、上記４×８直交変換部は、水平方向には、空間領域の４
点の動き補償誤差補正値を補間処理して８点の動き補償
誤差補正値にした後、離散コサイン変換をすることを特
徴とする請求項１７記載の画像情報変換装置。
【請求項２２】上記４×８逆直交変換部は、逆直交変
換及び間引き処理、又は、逆直交変換及び平均化処理を
１つの行列により演算し、上記４×８直交変換部は、補間処理及び直交変換を１つ
の行列で演算することを特徴とする請求項２１記載の画
像情報変換装置。
【請求項２３】所定の画素ブロック（直交変換ブロッ
ク）単位で直交変換するとともに直交変換して得られた
上記直交変換ブロック内の直交変換係数を量子化するこ
とにより、画像信号を圧縮符号化をした第１のビットレ
ートの第１の画像圧縮情報を、上記第１のビットレート
より低い第２のビットレートの第２の画像圧縮情報に変
換する画像情報変換方法において、上記第１のビットレートの第１の画像圧縮情報を入力
し、入力された第１の画像圧縮情報の直交変換係数の量子化
幅に応じて、この直交変換係数を逆量子化し、出力する第２の画像圧縮情報が上記第２のビットレート
となるような量子化幅に応じて、逆量子化された上記直
交変換係数を再量子化し、再量子化して生成した第２の画像圧縮情報を出力するこ
とを特徴とする画像情報変換方法。
【請求項２４】逆量子化された上記直交変換係数の水
平方向の高周波成分の値を制限し、出力する第２の画像圧縮情報が上記第２のビットレート
となるような量子化幅に応じて、水平方向の高周波成分
が制限された上記直交変換係数を再量子化することを特
徴とする請求項２３記載の画像情報変換方法。
【請求項２５】所定の画素ブロック（直交変換ブロッ
ク）単位で直交変換するとともに直交変換して得られた
上記直交変換ブロック内の直交変換係数を量子化するこ
とにより、画像信号を圧縮符号化をした第１のビットレ
ートの第１の画像圧縮情報を、上記第１のビットレート
より低い第２のビットレートの第２の画像圧縮情報に変
換する画像情報変換方法において、上記第１のビットレートの第１の画像圧縮情報を入力
し、入力された第１の画像圧縮情報の直交変換係数の量子化
幅に応じて、この直交変換係数を逆量子化し、逆量子化された上記直交変換係数と動き補償誤差補正係
数とを加算し、出力する第２の画像圧縮情報が上記第２のビットレート
となるような量子化幅に応じて、動き補償誤差係数が加
算された直交変換係数を再量子化し、再量子化して生成した第２の画像圧縮情報を出力し、再量子化された上記直交変換係数を逆量子化し、逆量子
化された直交変換係数から動き補償補正係数が加算され
た直交変換係数を減算し、減算した直交変換係数を直交
変換して動きベクトルに基づき動き補償し、動き補償を
した値を逆直交変換をして上記動き補償誤差補正係数を
生成することを特徴とする画像情報変換方法。
【請求項２６】逆量子化された直交変換係数の水平方
向の高周波成分の値を制限し、出力する第２の画像圧縮情報が上記第２のビットレート
となるような量子化幅に応じて、水平方向の高周波成分
が制限された直交変換係数を再量子化することを特徴と
する請求項２５記載の画像情報変換方法。
【請求項２７】上記直交変換係数は、水平方向８係数
と垂直方向８係数の８×８係数からなり、水平方向８係数及び垂直方向８係数からなる量子化誤差
係数に対して、４×８の逆直交変換を行い、空間領域の
量子化誤差値を生成し、上記空間領域の量子化誤差値に対して、水平方向に１／
４画素精度で動き補償をし、垂直方向に１／２画素精度
で動き補償をして、空間領域の量子化誤差補正値を生成
し、上記空間領域の量子化誤差補正値に対して、４×８の直
交変換を行い、周波数領域の上記動き補償誤差補正係数
を生成することを特徴とする請求項２５記載の画像情報
変換方法。