JP6749725B2 - 画像符号化装置、画像処理装置、画像符号化方法 - Google Patents

Description

本発明は画像符号化装置、画像処理装置、画像符号化方法に関する。

近年、デジタルビデオなどの撮像装置は高解像度化、高フレームレート化に伴って、システムで扱う画像データ量が著しく増加しており、画像メモリやバスインターフェース回路の高速化が要求されている。これに対し、画像メモリやバスインターフェースの前後で画像の圧縮符号化を行って、画像データ量を削減することで回路の高速化の要求に対応することができる。

この場合、画像圧縮のための符号化方式は回路規模が小型で、符号化遅延の小さいことが望まれる。そのため、従来のＪＰＥＧやＭＰＥＧ２に代表されるＤＣＴベースの符号化方式は不向きである。そこでＤＰＣＭ（Differential Pulse Code Modulation：差分パルス符号変調）ベースの予測符号化方式での提案がされている（特許文献１を参照）。

特開２０１０−００４５１４号公報

しかし、ＤＰＣＭベースの予測符号化方式では、画素レベルの変動が大きいエッジ部分の画質劣化が生じやすい。特許文献１の提案方式では、隣接画素データの差分値が所定の閾値以下であれば画質劣化の少ない符号化が可能である。しかし、急峻なエッジ部分のように隣接画素データの差分値が所定の閾値を超える場合、量子化により元の画素データビットを半分にする（例えば、１０ビットから５ビットにする）必要があり、大きな画質劣化の原因になる。同様に、予測画像と符号化対象画像との差分が大きい場合にも、大きな画質劣化の原因となる。

本発明は上記課題に鑑み、効率的に符号化を行い、急峻なエッジ部分など、画素間での差分が大きい部分での画質劣化の低減を目的とする。

上記課題を解決するための本発明は、画像符号化装置であって、
それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定手段と、
前記符号化対象のブロックについて、該ブロックに含まれる前記グループごとに前記決定手段が決定した前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行って符号化データを生成する符号化手段と
を備え、
前記決定手段は、
前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式に決定し、
前記決定された符号化方式で符号化した場合の前記符号化対象のブロックの符号長が前記所定値を超えず、且つ、最大の値となるように、前記グループのそれぞれの量子化ステップを複数の量子化ステップのうちでより小さい量子化ステップに決定し、前記グループのそれぞれの前記決定された符号化方式を前記第１の符号化方式に変更することを特徴とする。

本発明によれば、効率的に符号化を行い、急峻なエッジ部分など、画素間での差分が大きい部分での画質劣化を低減することができる。

発明の実施形態に対応する画像処理装置及び画像符号化部の構成例を示すブロック図。 発明の実施形態に対応する画像復号化部の構成例を示すブロック図。 発明の実施形態に対応する画像符号化部の構成例を示すブロック図。 符号化ブロックを構成する画素データと画素グループとの関係を説明するための図。 発明の実施形態に対応するＱＰ決定部１１５における処理の一例を示すフローチャート。 図５のＳ５０３の処理の一例を示すフローチャート。 図５のＳ５０４の処理の一例を示すフローチャート。 図５のＳ５０４の処理の他の一例を示すフローチャート。 図５のＳ５０５の処理の一例を示すフローチャート。 発明の実施形態に対応する画素グループ単位の符号長及び選択されたＱＰの一例を示す図。 発明の実施形態に対応する符号化データのフォーマットの例を示す図。

以下、添付の図面を参照しながら、発明の実施形態について詳細に説明する。

［実施形態１］
（画像処理装置の説明）
以下、発明の実施形態に対応する画像処理装置を説明する。図１（ａ）は発明の実施形態における画像処理装置の構成の一例を示す図である。画像処理装置１００は、例えば取得部１０、画像符号化部２０、バッファ３０、出力部４０を有する。図１の画像処理装置１００において、各ブロックは、撮像素子や表示素子のような物理的デバイスを除き専用のデバイス、ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。画像処理装置１００は例えばデジタルカメラとして実施することができるが、それ以外にも、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。

図１（ａ）において、取得部１０は画像データを入力する機能を有する。取得部１０は、例えば、撮像センサを備える撮像部や、外部から伝送路を介して画像データを入力する構成を含む。或いは、取得部１０は、記録媒体などから画像データを読み出す構成を含む。また、取得される画像データは、静止画データであってもよく、動画データであってもよい。取得部１０が取得する画像データが動画データの場合、複数のフレームの動画データが連続的に取得されてもよい。

取得部１０は、取得した画像データを画像符号化部２０に供給する。画像符号化部２０は、取得部１０から供給される画像データをパルス符号変調（ＰＣＭ）または差分パルス符号変調（ＤＰＣＭ）のいずれかの符号化方式に従って符号化し、情報量が圧縮された符号化データを出力する。出力された符号化データは、出力部４０による出力タイミングを調整するためにバッファ３０に一時的に保持される。バッファ３０は、画像符号化部２０から出力された符号化データ及びダミーデータ（スタッフィングデータ）を記憶するために必要な記憶容量を有する。出力部４０は、バッファ３０に保持された符号化データを後段の処理部に出力し、当該処理部で現像処理や更なる圧縮処理が実施される。

本実施形態では、画像符号化部２０から出力される符号化データの符号量（ブロック符号長）が目標符号量よりも少ない場合、出力部４０からの送信タイミングを合わせるためにバッファ３０において符号化データにダミーデータを挿入（スタッフィング処理）して、出力する符号化データの符号量を目標符号量に一致させるようにしている。例えば、変化の少ない平坦画像の場合、ＰＣＭ符号化方式よりもＤＰＣＭ符号化方式の方が圧縮効率が高いため、ＤＰＣＭ符号化方式が採用され、仮に量子化ステップを最小としても符号化データの符号量が目標符号量よりも小さくなりえる。この時、目標符号量に満たない分はスタッフィング処理によりダミーデータが挿入される。ダミーデータの挿入は瞬間的な符号化データの発生とみなされる。そこで、ダミーデータの変動を吸収するようにバッファ容量を決定する必要があり、必要とされるバッファ容量は１シンボルに発生する符号化データサイズと、挿入されるダミーデータの最大データサイズとに応じた値となる。

その一方で、例えば図１（ａ）の構成を１チップ内に実装することを想定した場合、バッファ３０のサイズはできるだけ小さい方が望ましい。よって、使用する可能性のあるダミーデータの量をできるだけ少なくしてバッファサイズを最小化することが望ましい。以下に説明する本実施形態では、効率的な符号化により画素間での差分が大きい部分での画質劣化を低減しつつ、必要とされるバッファサイズをできるだけ縮小するための技術を提供する。

なお、図１（ａ）では、取得部１０、画像符号化部２０、バッファ３０及び出力部４０を独立した構成として示しているが、画像処理装置１００に実装するに当り、これらを一体に例えば１チップに統合してもよいし、あるいは別体として独立に構成しても良い。

（画像符号化部の説明）
以下、図１（ｂ）を参照して、発明の実施形態に対応する画像符号化部２０の構成を説明する。図１（ｂ）は、発明の実施形態に係る画像符号化部２０の構成例を示すブロック図である。以下、本実施形態の画像符号化部２０の各ブロックの動作について説明する。
図１（ａ）に示した画像符号化部２０は、仮符号化系１１０と本符号化系１２０の２つの大ブロックより構成される。さらに仮符号化系１１０は符号化部１１１Ａ〜１１１Ｄ、ＱＰ決定部１１５から構成され、本符号化系１２０で本符号化を行う際に使用する量子化パラメータのセットを決定するように動作する。本符号化系１２０は遅延部１２１、符号化部１１１Ｅ、多重化部１２３で構成され、仮符号化系１１０で決定された量子化パラメータのセットを用いた量子化処理を含む本符号化を実行するように動作する。画像符号化部２０は、画像符号化装置として専用のデバイス、ロジック回路やメモリを用いてハードウェア的に一体的に構成されても良いし、或いは、複数のデバイス等で分散して構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

画像符号化部２０には、外部から符号化対象となる画像データが入力端子１０１を介して入力される。本実施形態では画像データの形式として、図４（ａ）に示すＲＧＢ画像データを例として説明するが、他のデータ形式であっても良い。他のデータ形式の詳細は本実施形態の最後に図４（ｂ）及び（ｃ）を参照して説明する。また、画像データはラスタースキャン順に入力され、各カラー要素であるＲ（赤）、Ｇ（緑）、Ｂ（青）の各画素データは時分割に多重されており順次入力されるものとする。また各画素のビット深度は一例として１０ビットとする。

（符号ブロックと画素グループの説明）
本実施形態において画像符号化部２０が実行する画像符号化処理では、入力画像データを所定サイズ（画素数）を有するブロック（以下、「符号化ブロック」という）に分割し、符号化ブロック単位に符号化を行うものとする。また、符号化ブロックは１つ以上の所定数の画素からなる「画素グループ」にさらに分割される。画素グループは後述する符号化方式（ＰＣＭ／ＤＰＣＭ）の切り替えや、量子化パラメータ（以下、「ＱＰ」という）の切り替えを行う単位となる。画素グループは同一座標の画素や隣接画素など相関性の高い画素で構成されることが望ましく、単一のカラー要素のみで構成してもよいし、複数のカラー要素で構成してもよい。

本実施形態では、ＲＧＢ画像データの各カラー要素それぞれ水平１６画素×垂直１画素×３色＝４８画素を符号化ブロックとする。また、各カラー要素の１画素ずつの計３画素を画素グループとする。

図４（ａ）は本実施形態における符号化ブロックを構成する画素データと、画素グループとの関係を説明するための図である。図４（ａ）に示すように、符号化ブロックは、Ｒ、Ｇ、Ｂの各カラー要素について１６画素ずつから構成され、画素位置に応じてＲ、Ｇ、Ｂからなるカラー要素の組のそれぞれにグループ番号が割り当てられ、各画素には画素番号０から４７までのいずれかがそれぞれ割り当てられている。例えば、各カラー要素の１画素目のデータであるＲ０、Ｇ０、Ｂ０はグループ番号が「０」の画素グループを構成し、２画素目のデータであるＲ１、Ｇ１、Ｂ１はグループ番号が「１」の画素グループを構成している。本実施形態では、各画素のデータのことを「画像データ」と呼ぶことにする。

（符号化部１１１の説明）
次に、仮符号化系１１０、本符号化系１２０で共通に使用される符号化部１１１の構成及び動作について、図３を参照して説明する。図３は符号化部１１１の構成例を示すブロック図である。図３に示すように、符号化部１１１は、例えば量子化部３０１、予測部３０２、減算器３０３、可変長符号化部３０４、ＰＣＭ符号長算出部３０５、符号長比較部３０６、セレクタ３０７、３０８を含んで構成される。

符号化部１１１には、画像データ、ＱＰ及び強制ＰＣＭフラグが入力される。仮符号化系１１０の場合、ＱＰは符号化部１１１Ａから１１１Ｄのそれぞれに対して固定値として予め割り当てられていてもよい。図１（ｂ）では一例として、符号化部１１１Ａから１１１Ｄまで順にＱＰとして０、１、２、３がそれぞれ割り当てられている場合を示している。仮符号化系１１０の場合、各符号化部が予めＱＰの値を保持していても良い。本符号化系１２０には、仮符号化系１１０で決定されたＱＰと強制ＰＣＭフラグとがＱＰ決定部１１５から入力される。

強制ＰＣＭフラグは、後述するＰＣＭ／ＤＰＣＭ選択時において、符号長比較部３０６に強制的にＰＣＭ方式を選択させるかどうかを制御するためのフラグ信号である。本実施形態において、強制ＰＣＭフラグの値が「１」の場合に強制ＰＣＭが有効となり、「０」の場合に強制ＰＣＭは無効となる。仮符号化系１１０の場合、符号化部１１１Ａから１１１Ｄでは強制ＰＣＭを行わないため、各符号長比較部３０６に入力される強制ＰＣＭフラグの値は「０」となる。本符号化系１２０の場合、仮符号化系１１０で決定された強制ＰＣＭフラグがＱＰ決定部１１５から符号長比較部３０６に入力される。以下、符号化部１１１の具体的構成及びその動作について詳述する。

まず、符号化部１１１に入力された画像データは量子化部３０１に入力される。量子化部３０１は与えられたＱＰにより入力画像データを量子化し、量子化されたデータを予測部３０２、減算器３０３、セレクタ３０７にそれぞれ出力する。本発明では量子化部３０１で量子化された量子化データをＰＣＭデータと呼ぶ。本実施形態では、ＱＰの値を０を最小値とする整数値とし、０から３までの範囲で変更できるものとして説明するが、より大きなＱＰの値を設定して更に大きな量子化ステップを使用しても良い。

本実施形態において量子化部３０１は、ＱＰが小さいほど量子化ステップを小さく（細かく）し、ＱＰが大きいほど量子化ステップを大きく（粗く）する。そして、ＱＰが１増えるとＰＣＭデータの有意ビットが１ビット減少するように量子化を行う。例えば、式１で表される量子化を行う。
Ｑｕａｎｔ ＝ Ｄａｔａ ／ （１ ＜＜ ＱＰ） ・・・式１
（Ｑｕａｎｔ：量子化データ、Ｄａｔａ：入力画像データ、ＱＰ：量子化パラメータである。）
また、１＜＜ＱＰとは、入力された画像データが、ＱＰで示されるビット数だけ、ビットシフトすることを示す。

式１のように量子化することよってＱＰに対する出力値、有意ビットは以下のようになる。
ＱＰ＝０：量子化ステップ＝１、入力データは量子化されずそのまま出力。有意ビット不変。
ＱＰ＝１：量子化ステップ＝２、入力データは１／２に量子化。有意ビットは１ビット減少。
ＱＰ＝２：量子化ステップ＝４、入力データは１／４に量子化。有意ビットは２ビット減少。
ＱＰ＝ｎ：量子化ステップ＝（１＜＜ｎ）、入力データは１／（１＜＜ｎ）に量子化。有意ビットはｎビット減少。

上記式１は本実施形態における量子化処理の一例を示すものであって、これに限定されるものではない。ＱＰが１変化するたびに符号長が１ビット減少するような量子化であればよい。例えば非線形量子化を行ってもよい。本実施形態において、ＱＰ＝０からＱＰ＝ｎまでＱＰの値を１ずつ増加させることを量子化ステップを１段上げる、１段大きくする、１段粗くする等といい、逆にＱＰ＝ｎからＱＰ＝０までＱＰの値を１ずつ減少させることを量子化ステップを１段下げる、１段小さくする、１段細かくする等というものとする。

ＰＣＭ符号長算出部３０５は、量子化部３０１から出力されたＰＣＭデータの符号長を、画像データのビット数（本実施形態では１０ビット）とＱＰとから、下記の式２を用いて決定する。
ＰＣＭ符号長 ＝ 画像データビット数 − ＱＰ ・・・式２
本実施形態では、ＱＰの値が１増える毎に、ＰＣＭデータの符号長が１ビットずつ減少する。よって、ＱＰ＝０を初期値として、ＱＰが１増える毎に、ＰＣＭデータの符号長は１０ビットから１ビットずつ短くなる。ここで、仮符号化系１１０では、ＱＰの値は符号化部１１１Ａから１１１Ｄのそれぞれについて固定的に割り当てられているのでＰＣＭ符号長も固定値となる。よって、ＰＣＭ符号長算出部３０５は式２の演算によりＰＣＭ符号長を算出するのではなく、割り当てられたＱＰの値に基づくＰＣＭ符号長の固定値を保持し、出力する構成であってもよい。ＰＣＭ符号長算出部３０５は、決定したＰＣＭ符号長を符号長比較部３０６とセレクタ３０８とにそれぞれ出力する。

次に、予測部３０２の動作を説明する。予測部３０２は図３に示すように逆量子化部３１０、画素遅延部３１１、量子化部３１２を含むように構成される。予測部３０２に入力されたＰＣＭデータは逆量子化部３１０にて一旦逆量子化された後、画素遅延部３１１に入力される。逆量子化部３１０での逆量子化処理では、量子化部３０１が画像データの量子化に使用したＱＰがそのまま用いられる。画素遅延部３１１は、同じカラー要素の前値が予測データとなるようカラー要素分遅延する。

例えば、本実施形態では図４（ａ）に示すようにＲＧＢの各カラー要素の画像データが順に入力され、画像データＧ０の符号化後、次にＧ１を符号化するまでにＢ０、Ｒ１の画像データを先に符号化する。よって、画素遅延部３１１は３画素分遅延させて、Ｇ１を符号化するタイミングで量子化部３１２に対して保持していた逆量子化された画像データを出力する。量子化部３１２は、画素遅延部３１１から入力された画像データを量子化する。このとき量子化部３１２には、量子化部３０１が画像データＧ１を量子化する際に用いるＱＰが入力されるので、量子化部３０１と量子化部３１２との間で量子化ステップが一致する。予測部３０２で逆量子化を行った後で再度量子化する構成は、ＱＰの値が画素間で異なる場合に量子化ステップを一致させるために必要な構成であって、本符号化系１２０では必須である。一方、仮符号化系１１０ではＱＰは固定のため逆量子化部３１０、量子化部３１２を省略して、画素遅延部３１１だけでもよい。量子化部３１２での量子化結果は予測データとして減算器３０３に出力される。なお、各カラー要素の符号化ブロックの最初の画素（Ｒ０、Ｇ０、Ｂ０）は前画素が存在しないため、予測データとしては０の値を出力する。

減算器３０３は、量子化部３０１からのＰＣＭデータと、予測部３０２からの予測データとの差分を予測差分データとして、可変長符号化部３０４へ出力する。予測差分データは正負の値を持つデータであり、画像データの変動の小さい平坦な部分では０付近の値となり、変動の大きいエッジ部分などでは大きな値になる。予測差分データは一般に０を中心としたラプラス分布の特性を持つ。

可変長符号化部３０４は、入力された予測差分データに対して所定の可変長符号化方式による符号化を行って、１画素毎に符号データと符号長とを出力する。符号データはセレクタ３０７へ出力され、符号長は符号長比較部３０６及びセレクタ３０８にそれぞれ出力される。所定の可変長符号化方式には、例えばハフマン符号、ゴロム符号などが含まれる。可変長符号化部３０４が実行する可変長符号化方式では、入力値が０の場合に最も短い符号長の符号データが割り当てられており、入力値の絶対値が大きくなるほど、符号データの符号長は長くなる。なお、本実施形態において、可変長符号化部３０４から出力される符号データをＤＰＣＭデータと呼び、同符号長をＤＰＣＭ符号長と呼ぶ。

符号長比較部３０６は、ＰＣＭ符号長とＤＰＣＭ符号長とを前述の画素グループ単位で比較し、符号長がより小さくなる符号データを選択するためのＰＣＭ／ＤＰＣＭ選択フラグを生成する。なお、入力された強制ＰＣＭフラグの値が「１」の場合はＰＣＭ符号長とＤＰＣＭ符号長との比較結果によらず、ＰＣＭを選択するフラグが生成される。符号長比較部３０６は、画素グループを構成するＲ、Ｇ、Ｂの各色のＰＣＭ符号長とＤＰＣＭ符号長とを保持するように構成される。ＰＣＭ／ＤＰＣＭ選択フラグは、セレクタ３０７、セレクタ３０８に出力され、各セレクタでの出力データの切替えに用いられる。また、符号化部１１１の外部にも出力される。

符号長の比較は前述した画素グループ単位で行われる。画素グループ単位での符号長の比較は具体的には以下のように算出する。ここでは、図４（ａ）のＲＧＢコンポネント形式のデータ入力について、グループ番号１の画素を対象に実行した例を示している。
Ｓ_ＰＣＭ＿Ｒ１：Ｒ１のＰＣＭ符号長
Ｓ_ＰＣＭ＿Ｇ１：Ｇ１のＰＣＭ符号長
Ｓ_ＰＣＭ＿Ｂ１：Ｂ１のＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｒ１：Ｒ１のＤＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｇ１：Ｇ１のＤＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｂ１：Ｂ１のＤＰＣＭ符号長
ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ：ＰＣＭ／ＤＰＣＭ選択フラグ
ＦＯＲＣＥ＿ＰＣＭ［１］：画素グループ１の強制ＰＣＭフラグ
Ｓ＿ＰＣＭ ＝Ｓ＿ＰＣＭ＿Ｒ１ ＋Ｓ＿ＰＣＭ＿Ｇ１ ＋Ｓ＿ＰＣＭ＿Ｂ１
Ｓ＿ＤＰＣＭ＝Ｓ＿ＤＰＣＭ＿Ｒ１＋Ｓ＿ＤＰＣＭ＿Ｇ１＋Ｓ＿ＤＰＣＭ＿Ｂ１
ｉｆ（ＦＯＲＣＥ＿ＰＣＭ［１］ ＝＝ １）
ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ ＝ ０
ｅｌｓｅ｛
ｉｆ（Ｓ＿ＰＣＭ ＞ Ｓ＿ＤＰＣＭ）
ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ ＝ １
ｅｌｓｅ
ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ ＝ ０
｝

符号長比較部３０６は、ＰＣＭ強制フラグの値を判定し、ＰＣＭ強制フラグの値が「１」の場合にはＰＣＭ／ＤＰＣＭ選択フラグの値を０とする。一方、ＰＣＭ強制フラグの値が「０」の場合は、画素グループごとにＰＣＭ符号長またはＤＰＣＭ符号長を合計してグループの符号長の合計（Ｓ＿ＰＣＭ、Ｓ＿ＤＰＣＭ）を算出する。次に、これを比較して、ＤＰＣＭ符号長の合計の方が小さい場合にＰＣＭ／ＤＰＣＭ選択フラグの値を１とし、ＰＣＭ符号長の合計の方が小さい場合にＰＣＭ／ＤＰＣＭ選択フラグの値を０とする。

セレクタ３０７にはＰＣＭデータとＤＰＣＭデータが入力されており、ＰＣＭ／ＤＰＣＭ選択フラグに従って符号データが選択されて、符号化部１１１の外部へと出力される。ここでは、ＰＣＭ強制フラグの値が「０」である場合、ＰＣＭデータとＤＰＣＭデータのうち、符号長の小さい方の符号データが選択される。具体的に、ＰＣＭ／ＤＰＣＭ選択フラグの値が１の場合はＤＰＣＭデータが選択され、フラグ値が０の場合はＰＣＭデータが選択される。セレクタ３０８にはＰＣＭ符号長とＤＰＣＭ符号長が入力されており、ＰＣＭ／ＤＰＣＭ選択フラグに従った符号長が選択されて、符号化部１１１の外部へと出力される。このとき、ＰＣＭ／ＤＰＣＭ選択フラグのフラグ値が１の場合はＤＰＣＭ符号長が選択され、フラグ値が０の場合はＰＣＭ符号長が選択される。

（仮符号化系の説明）
ここで図１の画像符号化部２０の説明に戻り、仮符号化系１１０における仮符号化処理について説明する。図１の仮符号化系１１０に入力された画像データは複数の符号化部１１１Ａ〜１１１Ｄによって、ＱＰが０〜３でそれぞれ仮符号化が行われ符号長がＱＰ決定部１１５に出力される。この符号長は、各ＱＰに対応する量子化ステップで量子化処理を行った量子化結果をＰＣＭまたはＤＰＣＭで符号化した符号データの符号長を表す。符号化部１１１Ａ〜１１１Ｄは図３に示した構成を有し、入力信号として強制ＰＣＭフラグが存在するが、この仮符号化系１１０では強制ＰＣＭフラグは０に固定して強制ＰＣＭを無効とする。また、出力信号として、符号データ、符号長、ＰＣＭ／ＤＰＣＭ選択フラグが存在するが、この仮符号化系１１０では符号長のみを使用し、符号データ、ＰＣＭ／ＤＰＣＭ選択フラグは使用しなくてもよい。

なお、本実施形態では符号化に用いるＱＰの範囲として０〜３としたため、仮符号化系１１０は符号化部１１１を４つ備えているが、発明の実施形態は当該構成に限定されるものではなく、符号化に用いるＱＰの範囲に応じて、符号化部１１１の数を変更することができる。

ＱＰ決定部１１５は前段の符号化部１１１Ａ〜１１１Ｄから入力されたＱＰ毎の複数の符号長の情報に基づき、画素グループ単位に適用するＱＰ（適用ＱＰ）を決定する。以下、ＱＰ決定部１１５における適用ＱＰの決定方法の詳細を説明する。

本施形態における、ＱＰ決定部１１５が実行する処理手順の概要を、図５を用いて説明する。図５において、符号化ブロック毎に本処理が開始されると、Ｓ５０１にてＱＰ決定部１１５は符号化部１１１Ａ〜１１１Ｄから、各符号化部に割り当てられたＱＰ毎に算出された符号長の情報を画素グループ単位に取得する。以下、取得される符号データの符号長を、ＱＰの値：ｑｐ、画素グループ番号：ｐｇを要素とする、ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］と表す。ｑｐは０から３までの値をとり、ｐｇは０から１５までの値をとる。

次に、Ｓ５０２においてＱＰ決定部１１５は、ＱＰ毎に符号化ブロック全体の符号長を算出する。符号化ブロック全体の符号長の算出に際しては符号化データに多重するヘッダ情報の符号長を加味する必要がある。ヘッダ情報とは復号時に必要な画素グループ毎のＱＰやＰＣＭ／ＤＰＣＭ選択フラグの情報であり、ヘッダ情報の符号長は、本実施形態ではＱＰ（０〜３）の表現のための２ビット×１６画素グループ＝３２ビットと、ＰＣＭ／ＤＰＣＭ選択フラグの１ビット×１６画素グループ＝１６ビットの合計４８ビットとなる。このとき、ヘッダ情報の符号長はＱＰや画像データの値に依らず固定値として予め予測可能であるので、ヘッダ情報の符号長を除外して符号化ブロックの符号長を算出してもよい。

ヘッダ情報の符号長ｈｄ＿ｓｉｚｅ（＝４８ビット）と、全画素グループの符号長との合計を加算したブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］の算出が行われる。図９（ａ）は、ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］とｂｌ＿ｓｉｚｅ［ｑｐ］の値の具体的な例を示す。図９（ａ）において、例えば参照番号９０１が示す値（３０）はｐｇ＿ｓｉｚｅ［０］［０］であり、符号化ブロックにおける先頭の画素グループをＱＰ＝０で符号化した場合の符号長を示す。同様に、参照番号９０２が示す値（１８）はｐｇ＿ｓｉｚｅ［０］［１５］であり、符号化ブロックにおける最後の画素グループをＱＰ＝０で符号化した場合の符号長を示す。また、参照番号９０３が示す値（３８２）はｂｌ＿ｓｉｚｅ［０］であり、ＱＰ＝０で符号化した場合のブロック符号長を示し、参照番号９０４が示す値（２９３）はｂｌ＿ｓｉｚｅ［３］であり、ＱＰ＝３で符号化した場合のブロック符号長を示す。それぞれの値はビット単位で表されている。同図の値は以降の説明でも、具体的な値の例として用いて説明する。また、図９（ｄ）は、ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］とｂｌ＿ｓｉｚｅ［ｑｐ］の値について、図９（ａ）とは異なる具体例を示す。図９（ｄ）は符号化対象の画像データが比較的変化の少ない平坦画像の場合の符号化結果に対応している。図９（ｄ）の例は図９（ａ）の例と比べて、画素データの変動が少ないため、各画素グループとも少ない符号長となっている。

次に、Ｓ５０３においてＱＰ決定部１１５は、ｂｌ＿ｓｉｚｅ［ｑｐ］の中から所定の目標符号量ｔａｒｇｅｔ＿ｓｉｚｅ以下で、かつ最大の値を有するブロック符号長をｓｅｌ＿ｓｉｚｅに選定し、この時のｑｐをｓｅｌ＿ｑｐに選定する。Ｓ５０３における具体的な処理は、図６のフローチャートに示すとおりである。

まずＳ６０１にて、ＱＰ決定部１１５はＱＰの値：ｑｐを０に初期化する。次にＳ６０２にてＱＰ決定部１１５は、現在選択されているＱＰにおける符号化ブロックの符号長：ｂｌ＿ｓｉｚｅ［ｑｐ］と目標符号量：ｔａｒｇｅｔ＿ｓｉｚｅとを比較する。比較の結果、ｂｌ＿ｓｉｚｅ［ｑｐ］がｔａｒｇｅｔ＿ｓｉｚｅ以下である場合（Ｓ６０２で「ＹＥＳ」）にはＳ６０３に移行し、ｂｌ＿ｓｉｚｅ［ｑｐ］がｔａｒｇｅｔ＿ｓｉｚｅより大きい場合（Ｓ６０２で「ＮＯ」）にはＳ６０５に移行する。

Ｓ６０３では、Ｓ６０２において判定対象となったｂｌ＿ｓｉｚｅ［ｑｐ］を選択すべきブロック符号長ｓｅｌ＿ｓｉｚｅに決定する。次いでＳ６０４では、ｂｌ＿ｓｉｚｅ［ｑｐ］のＱＰの値を符号化ブロックの暫定的なＱＰを表すｓｅｌ＿ｑｐに決定し、処理を終了する。

Ｓ６０５では、現在選択されているＱＰの値が最大値（ＭＡＸ＿ＱＰ）よりも小さいかどうかを判定し、最大値より小さい場合（Ｓ６０５で「ＹＥＳ」）はＳ６０６においてＱＰの値を１つ更新し、Ｓ６０２に戻って処理を継続する。現在のＱＰの値が最大値以上の場合（Ｓ６０５で「ＮＯ」）は処理を終了する。本実施形態におけるＭＡＸ＿ＱＰの値は３となる。なお、Ｓ６０５でＮＯと判定された場合、目標符号量より小さいブロック符号長が存在せず、ＱＰを選択できないこととなる。しかし、実際には、画像データのビット数に基づき、ＱＰの設定範囲及び目標符号量の値を予め調整することにより、ＱＰの最小値から最大値の間で目標符号量を下回るブロック符号長が得られるように設計することができる。

このようにＱＰ＝０の初期値から１ずつ更新して、量子化ステップを１から２へ、２から４へと１段ずつ上げながら符号化ブロックの符号長を順に目標符号量と比較していく。そして、最初に目標符号量以下となった符号長に対応するＱＰの値を暫定的なＱＰ値とすることができる。目標符号量ｔａｒｇｅｔ＿ｓｉｚｅの具体的値については、本実施形態では例示的に３６０ビットとして説明する。この値は、符号化前の画像データの情報量が１０ビット×３×１６＝４８０ビットであるので、その３／４に相当する。目標符号量の大きさは期待する圧縮率に応じて任意に設定することができる。図９（ａ）に示す例では、ＱＰ：２のブロック符号長ｂｌ＿ｓｉｚｅ［２］である３２６（ビット）が目標符号量３６０ビットよりも小さく、ｓｅｌ＿ｓｉｚｅとして選定される。またこのときのＱＰの値２がｓｅｌ＿ｑｐに決定される。ここで、符号化ブロックの符号長にヘッダ情報の符号長を含めていない場合、目標符号量の値は３６０ビットからヘッダ情報の符号長を差し引いた値となる。上述の例ではヘッダの符号長は４８ビットであったので、この場合の目標符号量は３１２ビットとなる。また、図９（ｄ）に示す例では、ＱＰ：０のブロック符号長ｂｌ＿ｓｉｚｅ［０］である２５２（ビット）でも目標符号量３６０ビットよりも小さくなるので、２５２がｓｅｌ＿ｓｉｚｅとして選定され、ｓｅｌ＿ｑｐは０に決定される。ここで設定されたブロック符号長のパラメータｓｅｌ＿ｓｉｚｅは、後述のＳ５０５における強制ＰＣＭフラグの生成処理において、ブロック符号長ｐｒｅ＿ｓｉｚｅとして用いられる。

図５の説明に戻り、Ｓ５０４ではＱＰ決定部１１５がＳ５０３で決定した符号化ブロックの暫定的なＱＰの値ｓｅｌ＿ｑｐに対し画素グループ単位の調整を行う。これにより、画素グループ単位の適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］を決定することができる。Ｓ５０４におけるｐｇ＿ｑｐ［ｐｇ］を決定するための処理は、例えば、図７Ａまたは図７Ｂのフローチャートの処理に従って実行することができる。Ｓ５０４において、図７Ａまたは図７Ｂのいずれかの処理を行うことができる。

図７ＡはＳ５０４の処理の一例を示している。図７Ａにおいて、まずＳ７００では、ＱＰ決定部１１５は、Ｓ５０３で決定されたＱＰ：ｓｅｌ＿ｑｐが０でないかを判定する。ＱＰが０の場合、本処理によりＱＰを変更することはできないので処理を終了し、Ｓ５０５に移行する。例えば、図９（ｄ）の例では、ＱＰ＝０が選択されているのでＳ５０５に移行する。一方、図９（ａ）の例のようにＱＰが０で無い場合は、Ｓ７１１以降の処理を行う。

続くＳ７０１では、ＱＰ決定部１１５は画素グループ単位の適用ＱＰであるｐｇ＿ｑｐ［ｐｇ］を、Ｓ５０３で決定された暫定的なＱＰの値ｓｅｌ＿ｑｐで初期化する。このとき、ｐｇ＿ｑｐ［０］〜ｐｇ＿ｑｐ［１５］までの全てがｓｅｌ＿ｑｐの値に初期化される。図９（ａ）の例では、ＱＰ＝２が選択されたのでｐｇ＿ｑｐ［０］〜ｐｇ＿ｑｐ［１５］は全て２に初期化される。次にＳ７０２において、ＱＰ決定部１１５は処理対象の画素グループの番号を示すパラメータｐｇを初期化する。画素グループは０から１５までの１６グループがあるので、ｐｇ＝０に初期化される。

続くＳ７０３では、ＱＰ決定部１１５は現在選択されているＱＰを示すパラメータｑｐの値をｓｅｌ＿ｑｐの値で初期化し、Ｓ７０４に移行する。Ｓ７０４では、ＱＰ決定部１１５はｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］とｐｇ＿ｓｉｚｅ［ｓｅｌ＿ｑｐ］［ｐｇ］とを比較し、両者が一致するか否かを判定する。ここで、ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］は、Ｓ７０２、Ｓ７０３で設定された画素グループの番号ｐｇとｑｐとの値における符号長を表す。またｐｇ＿ｓｉｚｅ［ｓｅｌ＿ｑｐ］［ｐｇ］は、画素グループの番号ｐｇとｓｅｌ＿ｑｐに一致するｑｐとの値における符号長を表す。

Ｓ７０４にて両者が一致すると判定された場合（Ｓ７０４で「ＹＥＳ」）、Ｓ７０５に移行して、ＱＰ決定部１１５はその時点でのｑｐの値を、画素グループ単位の適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］の値とする。その後、Ｓ７０６に移行する。また、Ｓ７０４にて両者が一致しない判定された場合（Ｓ７０４で「ＮＯ」）、Ｓ７０８に移行する。Ｓ７０６では、ＱＰ決定部１１５はｑｐの値が最小値である０より大きいか否かを判定する。Ｓ７０６にて、ｑｐの値が０であれば（Ｓ７０６で「ＮＯ」）Ｓ７０８に移行する。一方、０より大きい値と判定されれば（Ｓ７０６で「ＹＥＳ」）、Ｓ７０７に移行してｑｐの値を１だけ減じてＳ７０４に戻って処理を継続する。例えばｑｐがｓｅｌ＿ｑｐ＝２に設定されていた場合は、新たに１に設定されＳ７０４に戻って符号長が一致するかどうかが判定されることになる。

ここで、Ｓ７０４からＳ７０７の処理の具体例を、図９（ａ）を参照して説明する。図９（ａ）の例では、ｓｅｌ＿ｑｐ＝２とする。まず、初期化により画素グループ番号ｐｇ＝０についてｑｐ＝ｓｅｌ＿ｑｐ＝２が選択された場合、Ｓ７０４ではｐｇ＿ｓｉｚｅ［ｓｅｌ＿ｑｐ＝２］［０］＝ｐｇ＿ｓｉｚｅ［ｑｐ＝２］［０］＝２４となる。よって、Ｓ７０４ではＹＥＳ判定となりＳ７０５にて、適用ＱＰ：ｐｇ＿ｑｐ［０］の値にｑｐ＝ｓｅｌ＿ｑｐ＝２が設定される。次いでＳ７０６ではｑｐ＞０であるのでｑｐが１減じられｑｐ＝１となって、Ｓ７０４に戻る。Ｓ７０４での２回目の判定において、比較対象となる符号長ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］は、ｐｇ＿ｓｉｚｅ［１］［０］＝２７となる。もう一方の符号長ｐｇ＿ｓｉｚｅ［ｓｅｌ＿ｑｐ］［ｐｇ］は、ｐｇ＿ｓｉｚｅ［２］［０］＝２４である。両者を比較するとｐｇ＿ｓｉｚｅ［１］［０］＞ｐｇ＿ｓｉｚｅ［２］［０］となり、Ｓ７０４ではＮＯ判定となる。従って、処理対象の画素グループの適用ＱＰ：ｐｇ＿ｑｐ［０］はｑｐ＝ｓｅｌ＿ｑｐ＝２のまま変更されず、画素グループ番号：ｐｇ＝０における適用ＱＰは２となり、そのときの符号長は２４である（図９（ｂ）を参照のこと）。

次に、図９（ａ）の画素グループの番号ｐｇ＝８のケースに着目すると、ＱＰが２から０間における各符号長は、ｐｇ＿ｓｉｚｅ［２］［８］＝ｐｇ＿ｓｉｚｅ［１］［８］＝ｐｇ＿ｓｉｚｅ［０］［８］＝ｐｇ＿ｓｉｚｅ［ｓｅｌ＿ｑｐ２］［８］＝１６である。この場合Ｓ７０４では常にＹＥＳ判定となり、Ｓ７０５において適用ＱＰ：ｐｇ＿ｑｐ［８］の値は２、１、０の順で更新される。さらに、図９（ａ）の画素グループの番号ｐｇ＝１０のケースのように、ＱＰの値が２と１では符号長が１７で不変であるが、ＱＰが０になると符号長が長くなってしまう場合、適用ＱＰ：ｐｇ＿ｑｐ［１０］の値の更新は１止まりとなる。

このようにしてＱＰ決定部１１５はＳ７０４からＳ７０７の処理を繰り返すことにより、画素グループ単位に符号長が変化しない範囲で、適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］の値をより小さな値に決定することができる。その後のＳ７０８、Ｓ７０９の処理では処理対象となる画素グループを更新していく。具体的にＳ７０８では、ＱＰ決定部１１５は現在の処理対象の画素グループの番号ｐｇが画素グループの番号の最大値（ＭＡＸ＿ＰＧ）より小さいか否かを判定する。ＭＡＸ＿ＰＧの値は、本実施形態の場合、１５となる。ここで、ｐｇが最大値より小さい場合（Ｓ７０８で「ＹＥＳ」）、Ｓ７０９に移行してＱＰ決定部１１５はｐｇを１だけ更新して、Ｓ７０４に戻って新たな画素グループについて画素グループ単位の適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］を決定する処理を行う。一方、ｐｇが最大値に一致する場合（Ｓ７０８で「ＮＯ」）、本処理を終了する。このようにして決定された適用ＱＰの値はＱＰ決定部１１５から本符号化系１２０へ出力される。また、本処理で用いたブロック符号長のパラメータｓｅｌ＿ｓｉｚｅは後述のＳ５０５における強制ＰＣＭ信号の生成処理において、ブロック符号長ｐｒｅ＿ｓｉｚｅとして用いられる。

以上の処理により決定された適用ＱＰの具体的な値を図９（ｂ）に示す。図９（ｂ）では、太線で囲った符号長に対応するＱＰが、画素グループ毎に決定された適用ＱＰを表している。画素グループ単位の適用ＱＰの値は、ｐｇ＿ｑｐ［０〜７、９、１１、１３、１５］は２、ｐｇ＿ｑｐ［８，１２，１４］は０、ｐｇ＿ｑｐ［１０］は１となる。符号長が同一であってもＱＰが小さいほど量子化ステップが小さく画質が良いので、ブロック全体の符号長を増加させることなく画素グループ単位で品質をできる限り向上させることができる。

図７ＢはＳ５０４の処理の他の例を示している。次に図７Ｂにおいて、まずＳ７１０では、ＱＰ決定部１１５は、Ｓ５０３で決定されたＱＰ：ｓｅｌ＿ｑｐが０でないかを判定する。ＱＰが０の場合、本処理によりＱＰを変更することはできないので処理を終了し、Ｓ５０５に移行する。例えば、図９（ｄ）の例では、ＱＰ＝０が選択されているのでＳ５０５に移行する。一方、図９（ａ）の例のようにＱＰが０で無い場合は、Ｓ７１１以降の処理を行う。

続くＳ７１１では、ＱＰ決定部１１５は画素グループ単位の適用ＱＰであるｐｇ＿ｑｐ［ｐｇ］を、Ｓ５０３で決定されたＱＰ：ｓｅｌ＿ｑｐで初期化する。このとき、ｐｇ＿ｑｐ［０］〜ｐｇ＿ｑｐ［１５］までの全てがｓｅｌ＿ｑｐの値に初期化される。図９（ａ）の例では、ＱＰ＝２が選択されたのでｐｇ＿ｑｐ［０］〜ｐｇ＿ｑｐ［１５］は全て２に初期化される。次にＳ７１２では、ＱＰ決定部１１５は現時点の符号化ブロックの符号長を表すパラメータｎｅｗ＿ｓｉｚｅを、Ｓ６０３で決定されたｓｅｌ＿ｓｉｚｅの値に初期化する。例えば図９（ａ）の例では、ｓｅｌ＿ｓｉｚｅはＱＰが２のときのブロック符号長３２６に決定されたので、Ｓ７１２ではｎｅｗ＿ｓｉｚｅの値は３２６に初期化される。ヘッダ符号長を考慮していない場合は、ブロック符号長は２７８となる。次にＳ７１３では、ＱＰ決定部１１５は現在選択されているＱＰを示すパラメータｑｐの値をＳ６０４で決定されたｓｅｌ＿ｑｐの値で初期化する。例えば図９（ａ）の例では、ｓｅｌ＿ｑｐは２に決定されたので、Ｓ７１３ではｑｐの値は２に初期化される。

次にＳ７１４では、ＱＰ決定部１１５は新たなＱＰを示すパラメータｎｅｗ＿ｑｐの値を、ｑｐより１を減じた値で初期化する。ｎｅｗ＿ｑｐは、現在選択されているｑｐの値を１つ繰り下げた値を示す。さらにＳ７１５では、ＱＰ決定部１１５は処理対象の画素グループの番号を示すパラメータｐｇを初期化する。画素グループは０から１５までの１６グループがあるので、ｐｇ＝０に初期化される。さらにＳ７１６、Ｓ７１７ではＱＰ決定部１１５はｍｉｎｕｓ＿ｓｉｚｅをｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］に設定し、ｐｌｕｓ＿ｓｉｚｅをｐｇ＿ｓｉｚｅ［ｎｅｗ＿ｑｐ］［ｐｇ］に設定する。ここで、ｍｉｎｕｓ＿ｓｉｚｅとは、現在のｑｐの値に基づく選択画素グループの符号長を示し、ｐｌｕｓ＿ｓｉｚｅは現在のｑｐから１減じたｎｅｗ＿ｑｐの値に基づく選択画素グループの符号長を示す。例えば、ｐｇ＝０でｑｐ＝２の場合を考えると、図９（ａ）に示す例では、ｍｉｎｕｓ＿ｓｉｚｅは２４となり、ｐｌｕｓ＿ｓｉｚｅは２７となる。このｍｉｎｕｓ＿ｓｉｚｅと、ｐｌｕｓ＿ｓｉｚｅとは、画素グループ単位にｑｐを１だけ変更した場合に想定される符号化ブロックのブロック符号長の変化量を計算するために用いられる。

Ｓ７１８では、ＱＰ決定部１１５は画素グループ単位にｑｐを１だけ変更した場合のブロック符号長を示すパラメータｔｍｐ＿ｓｉｚｅを、上記のｎｅｗ＿ｓｉｚｅ、ｍｉｎｕｓ＿ｓｉｚｅ、ｐｌｕｓ＿ｓｉｚｅから式３により求める。
ｔｍｐ＿ｓｉｚｅ＝ｎｅｗ＿ｓｉｚｅ−ｍｉｎｕｓ＿ｓｉｚｅ＋ｐｌｕｓ＿ｓｉｚｅ・・・式３
例えば、ｐｇ＝０でｑｐ＝２の場合を考えると、図９（ａ）の例ではｎｅｗ＿ｓｉｚｅ＝３２６、ｍｉｎｕｓ＿ｓｉｚｅ＝２４、ｐｌｕｓ＿ｓｉｚｅ＝２７であるから、ｔｍｐ＿ｓｉｚｅ＝３２９となる。

次にＳ７１９にてＱＰ決定部１１５は、Ｓ７１８で求めたｑｐ変更後の符号長ｔｍｐ＿ｓｉｚｅが、目標符号量（ｔａｒｇｅｔ＿ｓｉｚｅ）以下かどうかを判定する。ｔｍｐ＿ｓｉｚｅの値が目標符号量を上回る場合（Ｓ７１９で「ＮＯ」）、Ｓ７２４に移行する。一方、ｔｍｐ＿ｓｉｚｅの値が目標符号量以下の場合（Ｓ７１９で「ＹＥＳ」）、Ｓ７２０に移行する。Ｓ７２０では、ＱＰ決定部１１５はｎｅｗ＿ｓｉｚｅの値をｔｍｐ＿ｓｉｚｅの値で更新する。次いでＳ７２１においてＱＰ決定部１１５は処理対象の画素グループの適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］をｎｅｗ＿ｑｐの値で更新する。その後のＳ７２２、Ｓ７２３の処理では処理対象となる画素グループを更新していく。具体的にＳ７２２では、ＱＰ決定部１１５は現在の処理対象の画素グループの番号ｐｇが画素グループの番号の最大値（ＭＡＸ＿ＰＧ）より小さいか否かを判定する。ＭＡＸ＿ＰＧの値は、本実施形態の場合１５となる。ここで、ｐｇが最大値より小さい場合（Ｓ７２２で「ＹＥＳ」）、Ｓ７２３に移行してＱＰ決定部１１５はｐｇを１だけ更新して、Ｓ７１６に戻って新たな画素グループについて画素グループ単位の適用ＱＰ：ｐｇ＿ｑｐ［ｐｇ］を決定する処理を行う。一方、ｐｇが最大値に一致する場合（Ｓ７２３で「ＮＯ」）、Ｓ７２４に移行する。

次にＳ７２４では、ＱＰ決定部１１５は現在のｑｐの値が０より大きいか否かを判定すると共に、ｓｅｌ＿ｑｐから現在のｑｐを引いた値がＭＡＸ＿ＤＩＦＦより小さいか否かを判定する。ＭＡＸ＿ＤＩＦＦは、ｓｅｌ＿ｑｐからｑｐを下げることが可能な回数を規定している。ＭＡＸ＿ＤＩＦＦはＱＰが取り得る範囲に応じて任意に決定でき、例えば２とすることができ、その場合にはｓｅｌ＿ｑｐの値から２回まではｑｐの値を下げることができる。上記の例ではｓｅｌ＿ｑｐ＝２であるから、ｑｐ＝０となるまで処理を行うことができる。仮にｓｅｌ＿ｑｐ＝３であった場合にはｑｐ＝１までは下げられるが、ｑｐ＝０には下げられない。またＭＡＸ＿ＤＩＦＦを１または３としてもよい。このように回数を制限するのは、再帰的処理の実行時間を制限するためである。ＭＡＸ＿ＤＩＦＦを設定することによりｓｅｌ＿ｑｐに追加して適用ＱＰに含めることが可能なＱＰの種類数を規定することができる。

Ｓ７２４では、ＱＰ決定部１１５はｑｐが０であった場合、または、ｑｐを下げた回数がＭＡＸ＿ＤＩＦＦに一致する場合（Ｓ７２４で「ＮＯ」）は本処理を終了する。ｑｐが０より大きく、かつ、ｑｐを下げた回数がＭＡＸ＿ＤＩＦＦに満たない場合（Ｓ７２４で「ＹＥＳ」）は、Ｓ７２５に移行する。Ｓ７２５ではＱＰ決定部１１５はｑｐの値を１だけ減じて、Ｓ７１４に戻って処理を繰り返す。このようにして決定された適用ＱＰはＱＰ決定部１１５から本符号化系１２０へ出力される。また、本処理で用いたブロック符号長のパラメータｎｅｗ＿ｓｉｚｅは後述のＳ５０５における強制ＰＣＭフラグの生成処理おいて、ブロック符号長ｐｒｅ＿ｓｉｚｅとして用いられる。

ここで、図７Ｂにおける処理の具体例を、図９（ａ）を参照して説明する。選定されたｓｅｌ＿ｓｉｚｅ（図９（ａ）の例では３２６）を基にして、まず、画素グループ番号０の画素グループのＱＰの値を１だけ小さくした場合のブロック符号長（３２６−２４−２７＝３２９）を算出し、目標符号量（３６０）と比較する。算出したブロック符号長が目標符号量以下であった場合、次の画素グループ番号１のＱＰを１だけ小さくした場合のブロック符号長を算出して、同じように目標符号量と比較する。このとき算出される画素グループ番号１のブロック符号長は（３２９−２４＋２７＝３３２）であり、目標符号量よりも小さい。同様にして、画素グループを順に選択してブロック符号長を算出していく。このようにして算出されたブロック符号長において、画素グループ番号１３のブロック符号長は目標符号量を超えてしまう。よって、これ以降は再び画素グループ番号０に戻ってＱＰの値を更に１だけ減少させて、同じようにブロック符号長を算出していく。但し、ＭＡＸ＿ＤＩＦＦ＝１であった場合にはこの時点で処理を終了する。図９（ａ）の例では画素グループ番号１において目標符号量を超えてしまう。この時点でｑｐの値は０となっているので処理を終了する。

以上により決定された適用ＱＰの具体的な値を図９（ｃ）に示す。図９（ｃ）では、太線で囲った符号長に対応するＱＰが、画素グループ毎に決定された適用ＱＰを表している。画素グループ単位の適用ＱＰの各値は、ｐｇ＿ｑｐ［０］は０、ｐｇ＿ｑｐ［１〜１２］は１、ｐｇ＿ｑｐ［１３〜１５］は２となる。このように、本実施形態では、先頭の画素グループから順により小さいＱＰが割り当てられる。図９（ｃ）では先頭の画素グループのみにＱＰ＝０が割り当てられたが、他の条件では先頭の画素グループを含む連続する複数の画素グループに対して最小のＱＰを割り当てることも可能である。以上の例では、ヘッダ情報の符号長を考慮した場合について説明したが、ヘッダ情報の符号長を考慮しない場合には上述の数値からヘッダ情報の符号長４８ビットを適宜差し引くだけでよい。

図７Ｂのフローチャートに対応する処理によれば、ＱＰ決定部１１５におけるＳ５０４の画素グループ単位の適用ＱＰの決定方法において、ブロックの総符号量が目標符号量を超えない範囲で、先頭の画素グループから順にＱＰを小さい値に変更することができる。特に、ブロック符号量が所定値を超えない範囲でＱＰを高画質となる方向に調整して未使用のビットを可能な限り削減しつつ、符号化結果の品質を向上させることができる。図７Ａの方法と比較すると、図７Ａの方法では画像データに対して割り当てられたビット数は２７８ビットであったのに対し、図７Ｂの方法では画像データに対して３１２ビットを割り当てることができる。また、図７Ａの方法ではＱＰ＝１、０が使用されている割合は４／１６であるのに対し、図７Ｂの方法では１３／１６となっている。これにより、量子化ステップが小さいＱＰの使用割合が増え、未使用のビット数を削減できるため、符号化による画質劣化をさらに低減できる。

図５の説明に戻り、Ｓ５０５ではＱＰ決定部１１５は、Ｓ５０３またはＳ５０４で決定した適用ＱＰで符号化した場合のブロック符号長ｐｒｅ＿ｓｉｚｅに応じて、強制ＰＣＭフラグＦＯＲＣＥ＿ＰＣＭ［ｐｇ］を生成する。強制ＰＣＭフラグは、ブロック符号長が目標符号量を所定量を超えて下回る場合に、グループ単位で符号化方式をＰＣＭに切り替えて符号長を増加させて、目標符号量に近づけるように作用する。Ｓ５０５におけるＦＯＲＣＥ＿ＰＣＭ［ｐｇ］を決定するための処理の詳細を、図８のフローチャートを参照して詳述する。

本処理は図９（ａ）及び図９（ｄ）に示す符号長の例に基づいて説明する。図９（ａ）の例では、Ｓ５０４において決定された適用ＱＰは図９（ｂ）または（ｃ）に示すパターンとなっている。また図９（ｄ）の例では、適用ＱＰは全画素グループとも０となり、ブロック符号長は２５２ビットとなっている。

図８において、Ｓ８０１では、ＱＰ決定部１１５はＳ５０４で決定された適用ＱＰに基づくブロック符号長と目標符号量とを比較し、ブロック符号長が目標符号量よりも小さいか否かを判定する。ブロック符号長が目標符号量と一致する場合には本処理を終了する。一方、ブロック符号長が目標符号量より小さい場合、Ｓ８０２に移行して処理を継続する。このとき、ブロック符号長と目標符号量との差分が所定の閾値を超えるか否かを判定してもよい。もし、差分が閾値を超えない場合には本処理を終了する。一方、差分が閾値を超えた場合、Ｓ８０２に移行して処理を継続する。
このとき所定の閾値は、符号化データをバッファ３０に格納する際に使用されるダミーデータのサイズに基づいて決定することができる。ダミーデータの最大量を例えば１０ビットとした場合、上記閾値は１０ビットであり、差分が１０ビットより大きい場合には以下の処理を実行する。図９（ｂ）の例では、ブロック符号長は３２６で、目標符号量３６０より小さい。また、差分は３６０−３２６＝３４で、１０ビットより大きいのでＳ８０２以降の処理を実行する。図９（ｃ）の例ではブロック符号長は３６０で目標符号量と一致するので、これ以降の処理は行わずに終了する。なお、図７Ｂのフローチャートに従った処理において必ずブロック符号長が３６０になるわけではなく、差分が発生する場合も当然に想定され、そのような場合には、当該差分の大きさに基づきＳ８０２以降の処理を実行できる。図９（ｄ）の例では、ブロック符号長は２５２で、目標符号量３６０より小さい。また、差分は１０ビットより明らかに大きいのでＳ８０２以降の処理を実行する。

Ｓ８０２では、ＱＰ決定部１１５はＦＯＲＣＥ＿ＰＣＭ［ｐｇ］を０で初期化する。これにより、ＦＯＲＣＥ＿ＰＣＭ［０］〜ＦＯＲＣＥ＿ＰＣＭ［１５］はデフォルト値として０に初期化される。以降、画素グループごとに処理を行うが、途中で処理が終了した場合の処理が施されない画素グループの強制ＰＣＭフラグはこのデフォルト値０が適用されることになる。

次にＳ８０３では、ＱＰ決定部１１５は現時点の符号化ブロックの符号長を表すパラメータｎｅｗ＿ｓｉｚｅを、Ｓ５０３またはＳ５０４で決定した画素グループの適用ＱＰに基づくブロック符号長の値ｐｒｅ＿ｓｉｚｅに初期化する。例えば、図９（ｂ）の例では、ブロック符号長ｐｒｅ＿ｓｉｚｅは３２６であるので、ｎｅｗ＿ｓｉｚｅの値は３２６となる。また、図９（ｄ）の例では、ブロック符号長ｐｒｅ＿ｓｉｚｅは２５２であるので、ｎｅｗ＿ｓｉｚｅの値は２５２となる。

次にＳ８０４では、ＱＰ決定部１１５は処理対象の画素グループの番号を示すパラメータｐｇを初期化する。画素グループは０から１５までの１６グループがあるので、ｐｇ＝０に初期化される。次にＳ８０５ではＱＰ決定部１１５はｍｉｎｕｓ＿ｓｉｚｅをｐｇ＿ｓｉｚｅ［ｐｇ＿ｑｐ［ｐｇ］］［ｐｇ］に設定する。ここで、ｍｉｎｕｓ＿ｓｉｚｅとは、Ｓ５０３またはＳ５０４で決定されたＱＰに基づく選択画素グループの符号長を示す。例えば、ｐｇ＝１の場合を考えると、図９（ｄ）に示す例では、ｍｉｎｕｓ＿ｓｉｚｅは１２となる。さらにＳ８０５ではＱＰ決定部１１５はｐｌｕｓ＿ｓｉｚｅをｐｃｍ＿ｓｉｚｅに設定する。ｐｌｕｓ＿ｓｉｚｅはＰＣＭ符号化方式での画素グループの符号長であり、ＱＰ＝０では入力画像データのビット深度×グループの画素数から定まる値と一致する。

ここで、ＱＰの値が１増える毎に、グループの画素数に乗ずる値が入力画像データのビット深度よりも１ビットずつ下がっていく。例えば、ＱＰ＝１では、（入力画像データのビット深度−１）×グループの画素数となり、ＱＰ＝２では、（入力画像データのビット深度−２）×グループの画素数となる。本実施形態では画像データのビット数は１０ビット、グループの画素数は３であるので、ＱＰ＝０では３０、ＱＰ＝１では２７、ＱＰ＝２では２４等となる。このｍｉｎｕｓ＿ｓｉｚｅと、ｐｌｕｓ＿ｓｉｚｅとは、画素グループ単位に符号化方式をＰＣＭに変更した場合に想定される符号化ブロックのブロック符号長の変化量を計算するために用いられる。

Ｓ８０７では、ＱＰ決定部１１５は画素グループ単位に符号化方式をＰＣＭに変更した場合のブロック符号長を示すパラメータｔｍｐ＿ｓｉｚｅを、上記のｎｅｗ＿ｓｉｚｅ、ｍｉｎｕｓ＿ｓｉｚｅ、ｐｌｕｓ＿ｓｉｚｅから式４により求める。
ｔｍｐ＿ｓｉｚｅ＝ｎｅｗ＿ｓｉｚｅ−ｍｉｎｕｓ＿ｓｉｚｅ＋ｐｌｕｓ＿ｓｉｚｅ・・・式４
例えば、図９（ｂ）の例では、ｐｇ＝３において、ｎｅｗ＿ｓｉｚｅ＝３２６、ｍｉｎｕｓ＿ｓｉｚｅ＝１８、ｐｌｕｓ＿ｓｉｚｅ＝２４であるから、ｔｍｐ＿ｓｉｚｅ＝３３２となる。また、図９（ｄ）の例では、ｐｇ＝１においてｎｅｗ＿ｓｉｚｅ＝２５２、ｍｉｎｕｓ＿ｓｉｚｅ＝１２、ｐｌｕｓ＿ｓｉｚｅ＝３０であるから、ｔｍｐ＿ｓｉｚｅ＝２７０となる。

次にＳ８０８にてＱＰ決定部１１５は、Ｓ８０７で求めた符号化方式変更後の符号長ｔｍｐ＿ｓｉｚｅが、目標符号量（ｔａｒｇｅｔ＿ｓｉｚｅ）以下かどうかを判定する。ｔｍｐ＿ｓｉｚｅの値が目標符号量を上回る場合（Ｓ８０８で「ＮＯ」）、本処理を終了する。一方、ｔｍｐ＿ｓｉｚｅの値が目標符号量以下の場合（Ｓ８０８で「ＹＥＳ」）、Ｓ８０９に移行する。Ｓ８０９では、ＱＰ決定部１１５はｎｅｗ＿ｓｉｚｅの値をｔｍｐ＿ｓｉｚｅの値で更新する。次いでＳ８１０においてＱＰ決定部１１５は処理対象の画素グループのＦＯＲＣＥ＿ＰＣＭ［ｐｇ］に値１で更新する。 その後のＳ８１１、Ｓ８１２の処理では処理対象となる画素グループを更新していく。具体的にＳ８１１では、ＱＰ決定部１１５は現在の処理対象の画素グループの番号ｐｇが画素グループの番号の最大値（ＭＡＸ＿ＰＧ）より小さいか否かを判定する。ＭＡＸ＿ＰＧの値は、本実施形態の場合１５となる。ここで、ｐｇが最大値より小さい場合（Ｓ８１１で「ＹＥＳ」）、Ｓ８１２に移行してＱＰ決定部１１５はｐｇを１だけ更新して、Ｓ８０５に戻って新たな画素グループについて強制ＰＣＭフラグＦＯＲＣＥ＿ＰＣＭ［ｐｇ］を決定する処理を行う。一方、ｐｇが最大値に一致する場合（Ｓ８１１で「ＮＯ」）、本処理を終了する。このようにして生成された強制ＰＣＭフラグはＱＰ決定部１１５から本符号化系１２０へ出力される。

ここで、図８における処理の具体例を、図９（ｂ）及び（ｄ）を参照して説明する。図９（ｂ）の例につき、決定されたｐｒｅ＿ｓｉｚｅ（３２６）を基にして、まず画素グループ番号０の画素グループの符号化方式をＰＣＭに変更した場合のブロック符号長（３２６−２４＋２４＝３２６）を算出し、目標符号量（３６０）と比較する。算出したブロック符号長が目標符号量以下であった場合、次の画素グループ番号１の符号化方式をＰＣＭに変更した場合のブロック符号長を算出して、同じように目標符号量と比較する。このとき算出される画素グループ番号１のブロック符号長は（３２６−２４＋２４＝３２６）であり、やはり目標符号量よりも小さい。このようにして画素グループを順に選択してブロック符号長を算出していくと以下のようになる。

画素グループ番号２：３２６−２４＋２４＝３２６
画素グループ番号３：３２６−１８＋２４＝３３２
画素グループ番号４：３３２−１９＋２４＝３３７
画素グループ番号５：３３７−１５＋２４＝３４６
画素グループ番号６：３４６−１３＋２４＝３５７
画素グループ番号７：３５７−１３＋２４＝３６８
上記算出されたブロック符号長において、画素グループ番号７のブロック符号長は目標符号量（３６０）を超えてしまう。よって、この時点で処理を終了する。このようにして決定された強制ＰＣＭフラグはＦＯＲＣＥ＿ＰＣＭ［０〜６］が１、ＦＯＲＣＥ＿ＰＣＭ［７〜１５］が０となる。

次に、図９（ｄ）の例につき、決定されたｐｒｅ＿ｓｉｚｅ（２５２）を基にして、まず、画素グループ番号０の画素グループの符号化方式をＰＣＭに変更した場合のブロック符号長（２５２−３０＋３０＝２５２）を算出し、目標符号量（３６０）と比較する。算出したブロック符号長が目標符号量以下であった場合、次の画素グループ番号１の符号化方式をＰＣＭに変更した場合のブロック符号長を算出して、同じように目標符号量と比較する。このとき算出される画素グループ番号１のブロック符号長は（２５２−１２＋３０＝２７０）であり、目標符号量よりも小さい。このようにして画素グループを順に選択してブロック符号長を算出していくと以下のようになる。

画素グループ番号２：２７０−９＋３０＝２９１
画素グループ番号３：２９１−１２＋３０＝３０９
画素グループ番号４：３０９−１２＋３０＝３２７
画素グループ番号５：３２７−１２＋３０＝３４５
画素グループ番号６：３４５−１２＋３０＝３６３
上記算出されたブロック符号長において、画素グループ番号６のブロック符号長は目標符号量を超えてしまう。よって、この時点で処理を終了する。このようにして決定された強制ＰＣＭフラグはＦＯＲＣＥ＿ＰＣＭ［０〜５］が１、ＦＯＲＣＥ＿ＰＣＭ［６〜１５］が０となる。

このようにして決定された強制ＰＣＭフラグの具体的な値を図９（ｅ）及び（ｆ）に示す。図９（ｅ）に示すように、図９（ｂ）の例について、画素グループ単位の強制ＰＣＭフラグ９０５の各値は、ＦＯＲＣＥ＿ＰＣＭ［０〜６］が１、ＦＯＲＣＥ＿ＰＣＭ［７〜１５］が０となる。また、太線で囲った符号長は本処理によって更新された値となっている。また、図９（ｆ）に示すように、図９（ｄ）の例について画素グループ単位の強制ＰＣＭフラグ９０６の各値は、ＦＯＲＣＥ＿ＰＣＭ［０〜５］が１、ＦＯＲＣＥ＿ＰＣＭ［６〜１５］が０となる。また、太線で囲った符号長は本処理によって更新された値となっている。

このようにブロック符号長が目標符号量未満であった場合にブロック符号長が目標符号量を超えない範囲で、先頭の画素グループから順に符号化方式をＰＣＭに変更することによって、未使用のビットを可能な限り削減することができる。よって、スタッフィングデータの挿入による無駄な処理サイクルをできるだけ削減するとともに、必要なバッファサイズを小さくすることができる。

（本符号化系の説明）
次に、図１の本符号化系１２０の動作について説明する。本符号化系１２０にも仮符号化系１１０に入力された画像データと同一の画像データが入力されるが、仮符号化系１１０のＱＰ決定部１１５が適用ＱＰを決定し出力するまで待機する必要がある。そこで、入力画像データは遅延部１２１に入力され、仮符号化系１１０が適用ＱＰを決定するために必要な所定の処理サイクル分だけ遅延される。遅延後の画像データは遅延部１２１から符号化部１１１Ｅへ出力される。これにより符号化部１１１Ｅは、仮符号化系１１０が適用ＱＰを決定した符号化ブロックを、当該決定された適用ＱＰを用いて符号化することができる。

符号化部１１１Ｅは、図３に示した符号化部１１１と同一の構成を有し、適用ＱＰおよび、強制ＰＣＭフラグを用いて、遅延された画像データを本符号化する。これによりＱＰ決定部１１５が決定したブロック符号長と同じ符号長の符号データが生成され、ＰＣＭ／ＤＰＣＭ選択フラグ、符号長と共に多重化部１２３に出力される。多重化部１２３には符号化部１１１Ｅからの符号データ、符号長、ＰＣＭ／ＤＰＣＭ選択フラグと、ＱＰ決定部１１５からのＱＰが入力されており、符号ブロック毎に所定のフォーマットで多重化が行われる。

以下、発明の実施形態に対応するフォーマットの一例について図１０（ａ）及び図１０（ｂ）を用いて説明する。図１０（ａ）及び（ｂ）は符号化フォーマットのデータ構造を表す図であり、括弧で示す数値は各領域に格納されるデータのビット数を表している。

まず、図１０（ａ）において、ブロックの全体の符号化データ１００１（３６０ビット）は、ヘッダ部１００２（４８ビット）と、画素データ部１００３（３１２ビット）から構成される。ヘッダ部１００２はＱＰの値を格納するＱＰ値部１００４（３２ビット）とＰＣＭ／ＤＰＣＭ選択フラグを格納するフラグ部１００５（１６ビット）とで構成される。ＱＰ値部１００４には画素グループ毎に２ビットのＱＰ（１００４＿０〜１００４＿ｆまで）が１６個分格納される。フラグ部１００５には画素グループ毎に１ビットのＰＣＭ／ＤＰＣＭ選択フラグのフラグ値（１００５＿０〜１５０５＿ｆまで）が１６個分格納される。画素データ部１００３には符号データが画素数分（３×１６＝４８画素分）格納される。多重化された符号化データ１００１はストリームデータとして出力端子１０２に出力され、非図示の画像メモリ、バスインターフェースに出力される。

図１０（ａ）では、ＱＰを格納する領域１００４を３２ビット分用意した。これに対し図１０（ｂ）では、先頭（画素グループ番号：０）のＱＰと、ＱＰが切り替る位置を示す画素グループ番号の情報を格納するようにした。図１０（ｂ）では、先頭のＱＰをｑｐ０、ＱＰが１番目に変化する画素グループ番号をｑｐ＿ｐｏｓ１、ＱＰが２番目に変化する画素グループ番号をｑｐ＿ｐｏｓ２としてヘッダに格納する。このようなフォーマットによりヘッダ部の符号長を削減し、符号化データに含める画素データのサイズを増加させることができる。この結果、量子化ステップの小さいＱＰの使用割合が増えるため、符号化による画質劣化をさらに低減できる。

具体的に、図１０（ｂ）においてブロックの全体の符号化データ１０１１（３６０ビット）は、ヘッダ部１０１２（２６ビット）と、画素データ部１０１３（３３４ビット）から構成される。ヘッダ部１０１２はＱＰを格納するＱＰ値部１０１４（１０ビット）とＰＣＭ／ＤＰＣＭ選択フラグを格納するフラグ部１０１５（１６ビット）とで構成される。ＱＰ値部１０１４にはｑｐ０の２ビット（１０１６）、ｑｐ＿ｐｏｓ１の４ビット（１０１７）、ｑｐ＿ｐｏｓ２の４ビット（１０１８）が格納される。

図９（ｃ）の例では、（０、１、１３）の値が格納される。フラグ部１０１５には画素グループ毎に１ビットのＰＣＭ／ＤＰＣＭ選択フラグのフラグ値（１０１５＿０〜１０１５＿ｆ）が１６個分格納される。画素データ部１０１３には可変長符号である符号データが画素数分（３×１６＝４８画素分）格納される。多重化された符号化データ１０１１はストリームデータとして出力端子１０２に出力され、非図示の画像メモリ、バスインターフェースに出力される。

図１０（ｂ）に示すヘッダフォーマットでは、ヘッダ符号長が２６ビットで画像データ部の符号長が３３４ビットとなるため、上述の実施形態におけるブロック符号長の算出方法及び目標符号量の値が異なる。具体的に図５のＳ５０２におけるブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］の算出においては、ヘッダ符号長を考慮する場合には、その大きさを２６ビットとする。ブロック符号長の算出にヘッダ符号長を考慮しない場合、Ｓ５０３の目標符号量を３３４ビットとする。

図１０（ｂ）では、ヘッダ部にＱＰの切り替わり位置の情報を２つ持たせる場合を説明したが、ヘッダ部に含めるべき切り替わり位置の情報の数は、図７ＢのＳ７２４における判定で使用したＭＡＸ＿ＤＩＦＦの値に依存する。図１０（ｂ）はＭＡＸ＿ＤＩＦＦ＝２の場合を示したが、ＭＡＸ＿ＤＩＦＦ＝１の場合は切り替わりの位置の情報としてｑｐ＿ｐｏｓ１の４ビットだけあれば足りるので、ヘッダ部１０１２のサイズを更に４ビット削減し、画素データ部１０１３のサイズを更に４ビット増加することができる。

（画像復号化部の説明）
次に、画像符号化部２０で生成された符号化データを復号する、発明の実施形態に対応する画像復号化部の構成例及び動作について説明する。図２は、発明の実施形態に対応する画像復号化部５０の構成例を示すブロック図である。画像処理装置１００は画像復号化部５０を有し、バッファ３０を介して出力部４０から出力された符号化データを復号することができる。以下、本実施形態の画像復号化部の構成例において各ブロックの動作について説明する。

図２に示す画像復号化部５０は、分離部２０３、可変長復号化部２０４、加算器２０５、セレクタ２０６、逆量子化部２０７、予測部２０８で構成されている。画像復号化部５０は、専用のデバイス、ロジック回路やメモリを用いてハードウェア的に一体的に構成されても良いし、或いは、複数のデバイス等で分散して構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

画像復号化部５０には、非図示の画像メモリ、バスインターフェースなどを介して、画像符号化部２０で生成され、バッファ３０を介して出力部４０が出力したストリームデータが入力端子２０１を介して分離部２０３に入力される。分離部２０３は入力されたストリームデータを所定のフォーマットに従ってデコードして、ＱＰ、ＰＣＭ／ＤＰＣＭ選択フラグ、符号データの情報を分離し、処理サイクル毎に順次出力する。ＱＰは逆量子化部２０７と量子化部２１０に出力し、ＰＣＭ／ＤＰＣＭ選択フラグはセレクタ２０６に出力する。符号データのうち、ＰＣＭデータはセレクタ２０６に出力し、ＤＰＣＭデータは可変長復号化部２０４に出力する。可変長復号化部２０４は入力されたＤＰＣＭデータの可変長復号化を行い、復号化されたＤＰＣＭデータを加算器２０５に出力する。加算器２０５は、後述の予測部２０８からの予測値と復号されたＤＰＣＭデータを加算して復号値を得て、セレクタ２０６に出力する。

セレクタ２０６は分離部２０３からのＰＣＭデータと、加算器２０５からの復号値を、ＰＣＭ／ＤＰＣＭ選択フラグに応じて切り替えて量子化データとして出力し、逆量子化部２０７へ出力する。逆量子化部２０７はＱＰ値を用いて、セレクタ２０６からの量子化データを逆量子化して、復号画像データを生成し、予測部２０８と出力端子２０２に出力する。予測部２０８は画素遅延部２０９、量子化部２１０から構成される。逆量子化部２０７から入力された復号画像データは、画素遅延部２０９にて同じカラー要素の前値が予測値となるようカラー要素分遅延され、量子化部２１０にて量子化されて予測値として出力される。なお、各カラー要素の符号化ブロックの最初の画素は前画素が存在しないため、予測値としては０の値を出力する。逆量子化部２０７から出力された復号画像データは出力端子２０２を介し、外部へと出力される。

以上説明したように、本実施形態では、複数の画素グループからなる符号化対象の符号化ブロック毎の固定長の符号化を行うため、まず、仮符号化系にて複数のＱＰで仮符号化して符号量を求め、それらの符号量から画素グループ単位に適用するＱＰの値を決定する。次いで本符号化系にて、決定された適用ＱＰを用いて本符号化を行う構成とした。このとき、符号化ブロックのブロック符号長が所定値を超えない範囲で最大の値となるような最小のＱＰの値を決定することができるので、画素グループ単位に画質を向上させることができる。

また、符号化の際に用いるＱＰおよびＰＣＭ／ＤＰＣＭ選択フラグは画素グループ単位で選択（切替）が可能な構成とした。ＰＣＭ／ＤＰＣＭ選択は、隣接画素差分に応じて、差分が大きい場合はＰＣＭとし、差分が小さい場合はＤＰＣＭにするのではなく、各画素グループでＰＣＭ、ＤＰＣＭの両方の符号長を算出しておき、符号長がより小さくなる符号化方式を選択するようにした。これにより、ブロック単位での効率的な符号化が可能となる。

さらに、ブロック符号長が目標符号量未満であった場合にブロック符号長が目標符号量を超えない範囲で、先頭の画素グループから順に符号化方式をＰＣＭに変更することで、未使用のビットを可能な限り削減することができる。これにより、符号データ出力時におけるスタッフィングデータの挿入による無駄な処理サイクルを可能な限り削減することができる。また、バッファ３０に確保すべきスタッフィングデータを保持するため領域を可能な限り縮小することができる。

さらに本実施形態では、隣接画素間の差分が大きくなる場合であっても特許文献１のようにＰＣＭ符号化の場合に符号長を１０ビットから５ビットに強制的に半分にはしない。その代わり、量子化ステップ１を含む段階的に設定された複数の量子化ステップを用いて、ＰＣＭ及びＤＰＣＭの各符号化結果において符号長の短いものを画素グループ毎に選択しておく。また、グループ単位の符号長だけでなく、符号化ブロックのブロック符号長を考慮して量子化ステップを選択するため、一部の画素グループにおいて符号長が大きくなったとしても、他の画素グループの符号長が小さければそこで相殺される。よって、符号化ブロック内に急峻なエッジが含まれ、当該エッジ成分で大きな符号長が費やされたとしても、エッジの前後が平坦であれば当該エッジの符号長の分はそこで吸収されるので、エッジ成分を符号化する際に特許文献１のように不必要にビットを削減する必要がなくなる。

上述の発明の実施形態において、画像データのビット数は、１０ビットに限定されるものではなく、８ビット、１２ビットなど異なるビット数であってもよい。また、ブロックサイズは水平１６画素×垂直１画に限定されるものではなく、任意のサイズでよい。例えば水平４画素×垂直４画素のように２次元構造としてもよい。

さらに、符号化対象の画像データの形式はＲＧＢ画像データに限定されるものではなく、グレースケール画像、カラー画像のうちＹＣｂＣｒ、ベイヤー配列データなどの画像データ形式であってもよい。図４（ｂ）は画像データ形式が輝度信号（Ｙ）と、二つの色差信号（Ｃｒ，ｂ）であり、ＹＣｂＣｒ４：２：２の場合の符号化ブロックを構成する画素データと、画素グループとの関係について示す。図４（ｂ）では、Ｙを２画素、Ｃｂ、Ｃｒを１画素ずつの計４画素を単位画素グループとし、符号化ブロックを４×８＝３２画素から構成する例を示している。ここで、符号化ブロックに含める画素グループの数はより８グループよりも多くても良い。図４（ｃ）は、画像データ形式がベイヤー配列の場合の符号化ブロックを構成する画素データと、画素グループとの関係について示す。図４（ｃ）では、Ｇを２画素、Ｒ、Ｂを１画素ずつの計４画素を単位画素グループとし、符号化ブロックを４×８＝３２画素から構成する例を示している。ここで、符号化ブロックに含める画素グループの数はより８グループよりも多くても良い。グレースケール画像については不図示であるが、グレースケール画像を構成する画素のうち隣接画素の組から画素グループを構成することができる。その際、単位画素グループには例えば３画素または４画素の隣接画素を含めることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：取得部、２０：画像符号化部、３０：バッファ、４０：出力部、１０１：入力端子、１０２：出力端子、１１０：仮符号化系、１２０：本符号化系

Claims (14)

1. それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定手段と、
   前記符号化対象のブロックについて、該ブロックに含まれる前記グループごとに前記決定手段が決定した前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行って符号化データを生成する符号化手段と
   を備え、
   前記決定手段は、
   前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式に決定し、
   前記決定された符号化方式で符号化した場合の前記符号化対象のブロックの符号長が前記所定値を超えず、且つ、最大の値となるように、前記グループのそれぞれの量子化ステップを複数の量子化ステップのうちでより小さい量子化ステップに決定し、前記グループのそれぞれの前記決定された符号化方式を前記第１の符号化方式に変更することを特徴とする画像符号化装置。
2. 前記決定手段は、前記決定された量子化ステップと前記決定された符号化方式とに基づく前記符号化対象のブロックの符号長が前記所定値より小さい場合に、前記第１の符号化方式への変更を行うことを特徴とする請求項１に記載の画像符号化装置。
3. 前記決定手段は、前記符号化対象のブロックの符号長と前記所定値との差分が閾値より大きい場合に、前記第１の符号化方式への変更を行うことを特徴とする請求項２に記載の画像符号化装置。
4. 前記閾値は、前記符号化データに対して行われるスタッフィング処理において挿入が可能なデータサイズに基づくことを特徴とする請求項３に記載の画像符号化装置。
5. 前記決定手段が前記第１の符号化方式への変更を行う場合、前記複数のグループのうち先頭のグループを含む連続する複数のグループの符号化方式が前記第１の符号化方式に決定されることを特徴とする請求項１から４のいずれか１項に記載の画像符号化装置。
6. 前記決定手段は、前記複数の量子化ステップのうち、少なくとも第１の量子化ステップと第２の量子化ステップとの何れかを前記グループごとに決定し、
   前記第１の量子化ステップは、前記符号化対象のブロックに含まれる前記グループの全てについて該第１の量子化ステップを用いて量子化を行い、該グループのそれぞれについて前記決定された符号化方式で符号化した場合の前記符号化対象のブロックの符号長が前記所定値を超えず、且つ、最大の値となる量子化ステップであって、
   前記第２の量子化ステップは、前記第１の量子化ステップよりも小さい量子化ステップである
   ことを特徴とする請求項１から５のいずれか１項に記載の画像符号化装置。
7. 前記第２の量子化ステップは、前記符号化対象のブロックに含まれるグループのそれぞれについて、該第２の量子化ステップを用いて量子化した場合の符号長が、前記第１の量子化ステップを用いて量子化した場合の符号長と同じである最小の量子化ステップであり、
   前記符号化データのヘッダ部には、前記複数のグループのそれぞれについて決定された量子化ステップの情報が少なくとも含まれる
   ことを特徴とする、請求項６に記載の画像符号化装置。
8. 前記第２の量子化ステップは、
   前記第１の量子化ステップを１段下げた量子化ステップであって、
   前記複数のグループのうち、少なくとも前記符号化対象のブロックの先頭のグループに割り当てられ、
   複数の異なる量子化ステップを含む場合に、前記符号化対象のブロックの先頭のグループには、前記複数の異なる量子化ステップのうち最小の量子化ステップが割り当てられる
   ことを特徴とする、請求項６に記載の画像符号化装置。
9. 前記決定手段は、前記複数のグループのうち一部のグループに前記第２の量子化ステップを割り当て、前記複数のグループの残りのグループに前記第１の量子化ステップを割り当て、
   前記一部のグループは、
   前記一部のグループのそれぞれを前記第２の量子化ステップを用いて量子化し、該一部のグループのそれぞれについて前記決定された符号化方式で符号化した場合の符号長の第１の合計と、
   前記残りのグループのそれぞれを前記第１の量子化ステップを用いて量子化し、該残りのグループのそれぞれについて前記決定された符号化方式で符号化した場合の符号長の第２の合計と
   の合計が、前記所定値を超えず、且つ、最大の値となるように決定されることを特徴とする、請求項８に記載の画像符号化装置。
10. 前記符号化データのヘッダ部には、
    前記先頭のグループに割り当てられた前記第２の量子化ステップの情報と、前記量子化ステップが切り替わるグループの位置を示す情報とが少なくとも含まれるか、または、
    前記第１の量子化ステップの情報と、前記量子化ステップが切り替わるグループの位置を示す情報とが少なくとも含まれる
    ことを特徴とする、請求項８または９に記載の画像符号化装置。
11. 前記量子化ステップは、該量子化ステップが１段上がるごとに量子化結果が１ビットずつ小さくなることを特徴とする、請求項１から１０のいずれか１項に記載の画像符号化装置。
12. 前記画像データがカラー画像データである場合に、前記グループは該カラー画像データを構成するカラー要素の組であり、
    前記画像データがグレースケール画像データである場合に、前記グループは該グレースケール画像データを構成する隣接画素の組である、ことを特徴とする、請求項１から１１のいずれか１項に記載の画像符号化装置。
13. 画像データを取得する取得手段と、
    前記取得手段が取得した前記画像データを符号化処理する請求項１から１２のいずれか１項に記載の画像符号化装置と
    を備えることを特徴とする画像処理装置。
14. 画像符号化装置が実行する画像符号化方法であって、
    前記画像符号化装置の決定手段が、それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定工程と、
    前記画像符号化装置の符号化手段が、前記符号化対象のブロックについて該ブロックに含まれる前記グループごとに、前記決定工程で決定された前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行って符号化データを生成する符号化工程と
    を含み、
    前記決定工程では、
    前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式に決定され、
    前記決定された符号化方式で符号化した場合の前記符号化対象のブロックの符号長が前記所定値を超えず、且つ、最大の値となるように、前記グループのそれぞれの量子化ステップが複数の量子化ステップのうちでより小さい量子化ステップに決定され、前記グループのそれぞれの前記決定された符号化方式が前記第１の符号化方式に変更される
    ことを特徴とする画像符号化方法。

Images