JP2017005433A - 画像符号化装置、画像処理装置、画像符号化方法 - Google Patents

Abstract

【課題】効率的に符号化を行い、急峻なエッジ部分など、画素間での差分が大きい部分での画質劣化を低減する。
【解決手段】画像符号化装置であって、それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が、符号化対象のブロックの目標符号量に応じた所定値を超えないように、グループごとに、グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定手段と、決定手段により選択された符号化モードに従って符号化対象のブロックの画像データを符号化する符号化手段であって、符号化対象のブロックに含まれるグループごとに決定手段が決定した量子化ステップと符号化方式とに基づき符号化処理を行う符号化手段とを備える。
【選択図】図１

Description

本発明は画像符号化装置、画像処理装置、画像符号化方法に関する。

近年、デジタルビデオなどの撮像装置は高解像度化、高フレームレート化に伴って、システムで扱う画像データ量が著しく増加しており、画像メモリやバスインターフェース回路の高速化が要求されている。これに対し、画像メモリやバスインターフェースの前後で画像の圧縮符号化を行って、画像データ量を削減することで回路の高速化の要求に対応することができる。

この場合、画像圧縮のための符号化方式は回路規模が小型で、符号化遅延の小さいことが望まれる。そのため、従来のＪＰＥＧやＭＰＥＧ２に代表されるＤＣＴベースの符号化方式は不向きである。そこでＤＰＣＭ（Differential Pulse Code Modulation：差分パルス符号変調）ベースの予測符号化方式での提案がされている（特許文献１を参照）。

特開２０１０−００４５１４号公報

しかし、ＤＰＣＭベースの予測符号化方式では、画素レベルの変動が大きいエッジ部分の画質劣化が生じやすい。特許文献１の提案方式では、隣接画素データの差分値が所定の閾値以下であれば画質劣化の少ない符号化が可能である。しかし、急峻なエッジ部分のように隣接画素データの差分値が所定の閾値を超える場合、量子化により元の画素データビットを半分にする（例えば、１０ビットから５ビットにする）必要があり、大きな画質劣化の原因になる。同様に、予測画像と符号化対象画像との差分が大きい場合にも、大きな画質劣化の原因となる。

本発明は上記課題に鑑み、効率的に符号化を行い、急峻なエッジ部分など、画素間での差分が大きい部分での画質劣化の低減を目的とする。

上記課題を解決するための本発明は、画像符号化装置であって、
それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が、前記符号化対象のブロックの目標符号量に応じた所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定手段であって、
前記符号化対象のブロックにおける前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式を選択する第１の符号化モードと、前記符号化対象のブロックにおける前記複数のグループの全てについて前記第１の符号化方式を選択する第２の符号化モードとのうち、前記複数のグループのそれぞれに割り当てられる量子化ステップの値の合計がより小さくなる符号化モードを、前記符号化対象のブロックを単位として選択し、
前記選択した符号化モードに従い前記複数のグループのそれぞれについて前記符号化方式と前記量子化ステップとを決定し、前記量子化ステップを、少なくとも第１の量子化ステップと、前記第１の量子化ステップよりも小さい第２の量子化ステップとを含むように決定する決定手段と、
前記決定手段により選択された符号化モードに従って符号化対象のブロックの画像データを符号化する符号化手段であって、前記符号化対象のブロックに含まれる前記グループごとに前記決定手段が決定した前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行う符号化手段とを備えることを特徴とする。

本発明によれば、効率的に符号化を行い、急峻なエッジ部分など、画素間での差分が大きい部分での画質劣化を低減することができる。

発明の実施形態に対応する画像処理装置及び画像符号化部の構成例を示すブロック図。 発明の実施形態に対応する画像復号化部の構成例を示すブロック図。 発明の実施形態に対応する画像符号化部の構成例を示すブロック図。 符号化ブロックを構成する画素データと画素グループとの関係を説明するための図。 発明の実施形態に対応するＱＰ決定部における処理の一例を示すフローチャート。 図５のＳ５０３の処理の一例を示すフローチャート。 発明の実施形態に対応する符号長比較部における処理の一例を示すフローチャート。 図５のＳ５０４の処理の一例を示すフローチャート。 発明の実施形態に対応する画素グループ単位の符号長及び選択されたＱＰの一例を示す図。 発明の実施形態に対応する符号化データのフォーマットの例を示す図。 発明の実施形態に対応するヘッダ省略判定部における処理の一例を示すフローチャート。 発明の第２の実施形態に対応する符号化データのフォーマットの例を示す図。 発明の第３の実施形態に対応する画像符号化部の構成例を示すブロック図。 発明の第３の実施形態に対応する符号化データのフォーマットの例を示す図。

（第１の実施形態）
以下、発明の実施形態に対応する画像処理装置を説明する。図１（ａ）は発明の実施形態における画像処理装置の構成の一例を示す図である。画像処理装置１００は、例えば取得部１０、画像符号化部２０、メモリ３０を有する。図１の画像処理装置１００において、各ブロックは、撮像素子や表示素子のような物理的デバイスを除き専用のデバイス、ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。画像処理装置１００は例えばデジタルカメラとして実施することができるが、それ以外にも、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。

図１（ａ）において、取得部１０は画像データを入力する機能を有する。取得部１０は、例えば、撮像センサを備える撮像部や、外部から伝送路を介して画像データを入力する構成を含む。或いは、取得部１０は、記録媒体などから画像データを読み出す構成を含む。また、取得される画像データは、静止画データであってもよく、動画データであってもよい。取得部１０が取得する画像データが動画データの場合、複数のフレームの動画データが連続的に取得されてもよい。

取得部１０は、取得した画像データを画像符号化部２０に供給する。画像符号化部２０は、取得部１０から供給される画像データをパルス符号変調（ＰＣＭ）または差分パルス符号変調（ＤＰＣＭ）のいずれかの符号化方式に従って符号化し、情報量が圧縮された符号化データを出力する。出力された符号化データは、メモリ３０に記憶される。メモリ３０は、画像符号化部２０から出力された符号化データを記憶するために必要な記憶容量を有する。メモリ３０に記憶された符号化データには後段の処理部において現像処理や更なる圧縮処理が実施される。

なお、図１（ａ）では、取得部、画像符号化部２０及びメモリ３０を独立した構成として示しているが、画像処理装置１００に実装するに当り、これらを一体に例えば１チップに統合してもよいし、あるいは別体として独立に構成しても良い。

＜画像符号化部の説明＞
以下、図１（ｂ）を参照して、発明の実施形態に対応する画像符号化部２０の構成及び動作を説明する。図１（ｂ）は、発明の実施形態に係る画像符号化部２０の構成例を示すブロック図である。画像符号化部２０は、仮符号化系１１０と本符号化系１２０の２つの大ブロックより構成される。さらに仮符号化系１１０は符号化部１１１Ａ〜１１１Ｄ、ＱＰ決定部１１５および１１６、ヘッダ省略判定部１１７から構成される。

仮符号化系１１０は、本符号化系１２０で本符号化を行う際に使用する量子化パラメータのセット及びヘッダ省略モードフラグを決定するように動作する。ヘッダ省略モードフラグは、本符号化系１２０が実施する符号化処理において、後述するＰＣＭ／ＤＰＣＭが混在し得る第１の符号化モードとＰＣＭに固定される第２の符号化モードとを切替えるために使用される。本符号化系１２０は、遅延部１２１、符号化部１１１Ｅ、多重化部１２３で構成され、仮符号化系１１０で決定された量子化パラメータのセットを用いた量子化処理を含む本符号化を実行する。また、符号化結果を多重化し、ヘッダ省略モードフラグの値に従って符号化データを生成して外部に出力する。

画像符号化部２０は、画像符号化装置として専用のデバイス、ロジック回路やメモリを用いてハードウェア的に一体的に構成されても良いし、或いは、複数のデバイス等で分散して構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

＜符号ブロックと画素グループ＞
本実施形態において画像符号化部２０が実行する画像符号化処理では、入力画像データを所定サイズ（画素数）を有するブロック（以下、「符号化ブロック」という）に分割し、符号化ブロック単位に符号化を行うものとする。また、符号化ブロックは１つ以上の所定数の画素からなる「画素グループ」にさらに分割される。画素グループは後述する符号化方法（ＰＣＭ／ＤＰＣＭ）の切り替えや、量子化パラメータ（以下、「ＱＰ」という）の切り替えを行う単位となる。画素グループは同一座標の画素や隣接画素など相関性の高い画素で構成されることが望ましく、単一のカラー要素のみで構成してもよいし、複数のカラー要素で構成してもよい
本実施形態ではＲＧＢ画像データの各カラー要素それぞれ水平１６画素×垂直１画素×３色＝４８画素を符号化ブロックとする。また、各カラー要素の１画素ずつの計３画素を画素グループとする。

図４（ａ）は本実施形態における符号化ブロックを構成する画素データと、画素グループとの関係を説明するための図である。図４（ａ）に示すように、符号化ブロックは、Ｒ、Ｇ、Ｂの各カラー要素について１６画素ずつから構成される。また、画素位置に応じてＲ、Ｇ、Ｂからなるカラー要素の組のそれぞれにグループ番号が割り当てられ、各画素には画素番号０から４７までのいずれかがそれぞれ割り当てられている。例えば、各カラー要素の１画素目のデータであるＲ０、Ｇ０、Ｂ０はグループ番号が「０」の画素グループを構成し、２画素目のデータであるＲ１、Ｇ１、Ｂ１はグループ番号が「１」の画素グループを構成している。本実施形態では、各画素のデータのことを「画像データ」と呼ぶことにする。

＜符号化部１１１の説明＞
次に、仮符号化系１１０、本符号化系１２０で共通に使用される符号化部１１１の構成及び動作について図３を参照して説明する。図３は符号化部１１１の構成例を示すブロック図である。図３に示すように符号化部１１１は、例えば量子化部３０１、予測部３０２、減算器３０３、可変長符号化部３０４、ＰＣＭ符号長算出部３０５、符号長比較部３０６、セレクタ３０７、３０８、３０９を含んで構成される。

符号化部１１１には、画像データとＱＰとが入力される。仮符号化系１１０の場合、ＱＰは符号化部１１１Ａから１１１Ｄのそれぞれに対して固定値として予め割り当てられていてもよい。図１（ｂ）では一例として、符号化部１１１Ａから１１１Ｄまで順にＱＰとして０、１、２、３がそれぞれ割り当てられている場合を示している。仮符号化系１１０の場合、各符号化部が予めＱＰの値を保持していても良い。本符号化系１２０には、仮符号化系１１０で決定されたＱＰがヘッダ省略判定部１１７から入力される。以下、符号化部１１１の具体的構成及びその動作について詳述する。

まず、符号化部１１１に入力された画像データは量子化部３０１に入力される。量子化部３０１は与えられたＱＰにより入力画像データを量子化し、量子化されたデータを予測部３０２、減算器３０３、セレクタ３０７にそれぞれ出力する。本発明では量子化部３０１で量子化された量子化データをＰＣＭデータと呼ぶ。本実施形態では、ＱＰの値を０を最小値とする整数値とし、０から３までの範囲で変更できるものとして説明するが、より大きなＱＰの値を設定して更に大きな量子化ステップを使用しても良い。

本実施形態において量子化部３０１は、ＱＰが小さいほど量子化ステップを小さく（細かく）し、ＱＰが大きいほど量子化ステップを大きく（粗く）する。そして、ＱＰが１増えるとＰＣＭデータの有意ビットが１ビット減少するように量子化を行う。例えば、式１で表される量子化を行う。
Ｑｕａｎｔ ＝ Ｄａｔａ ／ （１ ＜＜ ＱＰ） ・・・（式１）
（Ｑｕａｎｔ：量子化データ、Ｄａｔａ：入力画像データ、ＱＰ：量子化パラメータである。）
また、１＜＜ＱＰとは、入力された画像データが、ＱＰで示されるビット数だけ、ビットシフトすることを示す。

式１のように量子化することよってＱＰに対する出力値、有意ビットは以下のようになる。
ＱＰ＝０：量子化ステップ＝１、入力データは量子化されずそのまま出力。有意ビット不変。
ＱＰ＝１：量子化ステップ＝２、入力データは１／２に量子化。有意ビットは１ビット減少。
ＱＰ＝２：量子化ステップ＝４、入力データは１／４に量子化。有意ビットは２ビット減少。
ＱＰ＝ｎ：量子化ステップ＝（１＜＜ｎ）、入力データは１／（１＜＜ｎ）に量子化。有意ビットはｎビット減少。

上記式１は本実施形態における量子化処理の一例を示すものであって、これに限定されるものではない。ＱＰが１変化するたびに符号長が１ビット減少するような量子化であればよい。例えば非線形量子化を行ってもよい。本実施形態において、ＱＰ＝０からＱＰ＝ｎまでＱＰの値を１ずつ増加させることを量子化ステップを１段上げる、１段大きくする、１段粗くする等という。また、逆にＱＰ＝ｎからＱＰ＝０までＱＰの値を１ずつ減少させることを量子化ステップを１段下げる、１段小さくする、１段細かくする等というものとする。

ＰＣＭ符号長算出部３０５は、量子化部３０１から出力されたＰＣＭデータの符号長を、画像データのビット数（本実施形態では１０ビット）とＱＰとから、下記の式２を用いて決定する。
ＰＣＭ符号長 ＝ 画像データビット数 − ＱＰ ・・・（式２）
本実施形態では、ＱＰの値が１増える毎に、ＰＣＭデータの符号長が１ビットずつ減少する。よって、ＱＰ＝０を初期値として、ＱＰが１増える毎に、ＰＣＭデータの符号長は１０ビットから１ビットずつ短くなる。ここで、仮符号化系１１０では、ＱＰの値は符号化部１１１Ａから１１１Ｄのそれぞれについて固定的に割り当てられているのでＰＣＭ符号長も固定値となる。よって、ＰＣＭ符号長算出部３０５は式２の演算によりＰＣＭ符号長を算出するのではなく、割り当てられたＱＰの値に基づくＰＣＭ符号長の固定値を保持し、出力する構成であってもよい。ＰＣＭ符号長算出部３０５は、決定したＰＣＭ符号長を符号長比較部３０６とセレクタ３０８とにそれぞれ出力すると共に、符号化部１１１の外部へも出力する。

次に、予測部３０２の動作を説明する。予測部３０２は図３に示すように逆量子化部３１０、画素遅延部３１１、量子化部３１２を含むように構成される。予測部３０２に入力されたＰＣＭデータは逆量子化部３１０にて一旦逆量子化された後、画素遅延部３１１に入力される。逆量子化部３１０での逆量子化処理では、量子化部３０１が画像データの量子化に使用したＱＰがそのまま用いられる。画素遅延部３１１は、同じカラー要素の前値が予測データとなるようカラー要素分遅延する。

例えば、本実施形態では図４（ａ）に示すようにＲＧＢの各カラー要素の画像データが順に入力され、画像データＧ０の符号化後、次にＧ１を符号化するまでにＢ０、Ｒ１の画像データを先に符号化する。よって、画素遅延部３１１は３画素分遅延させて、Ｇ１を符号化するタイミングで量子化部３１２に対して保持していた逆量子化された画像データを出力する。量子化部３１２は、画素遅延部３１１から入力された画像データを量子化する。このとき量子化部３１２には、量子化部３０１が画像データＧ１を量子化する際に用いるＱＰが入力されるので、量子化部３０１と量子化部３１２との間で量子化ステップが一致する。予測部３０２で逆量子化を行った後で再度量子化する構成は、ＱＰの値が画素間で異なる場合に量子化ステップを一致させるために必要な構成であって、本符号化系１２０では必須である。一方、仮符号化系１１０ではＱＰは固定のため逆量子化部３１０、量子化部３１２を省略して、画素遅延部３１１だけでもよい。量子化部３１２での量子化結果は予測データとして減算器３０３に出力される。なお、各カラー要素の符号化ブロックの最初の画素（Ｒ０、Ｇ０、Ｂ０）は前画素が存在しないため、予測データとしては０の値を出力する。

減算器３０３は、量子化部３０１からのＰＣＭデータと、予測部３０２からの予測データとの差分を予測差分データとして、可変長符号化部３０４へ出力する。予測差分データは正負の値を持つデータであり、画像データの変動の小さい平坦な部分では０付近の値となり、変動の大きいエッジ部分などでは大きな値になる。予測差分データは一般に０を中心としたラプラス分布の特性を持つ。

可変長符号化部３０４は、入力された予測差分データに対して所定の可変長符号化方式による符号化を行って、１画素毎に符号データと符号長とを出力する。符号データはセレクタ３０７へ出力され、符号長は符号長比較部３０６、セレクタ３０８及び符号化部１１１の外部にそれぞれ出力される。所定の可変長符号化方式には、例えばハフマン符号、ゴロム符号などが含まれる。可変長符号化部３０４が実行する可変長符号化方式では、入力値が０の場合に最も短い符号長の符号データが割り当てられており、入力値の絶対値が大きくなるほど、符号データの符号長は長くなる。なお、本実施形態において、可変長符号化部３０４から出力される符号データをＤＰＣＭデータと呼び、同符号長をＤＰＣＭ符号長と呼ぶ。

符号長比較部３０６は、ＰＣＭ符号長とＤＰＣＭ符号長とを前述の画素グループ単位で比較し、符号長がより小さくなる符号データを選択するためのＰＣＭ／ＤＰＣＭ選択フラグを生成する。符号長比較部３０６は、画素グループを構成するＲ、Ｇ、Ｂの各色のＰＣＭ符号長とＤＰＣＭ符号長とを保持するように構成される。ＰＣＭ／ＤＰＣＭ選択フラグはセレクタ３０９に出力され、ヘッダ省略モードフラグに応じて各セレクタでの出力データの切替えに用いられる。また、符号化部１１１の外部にも出力される。

＜符号長比較フロー＞
ここで、符号長比較部３０６における符号長の比較の詳細を図７のフローチャートを参照して説明する。符号長の比較は前述した画素グループ単位で行われる。

符号長比較部３０６は、Ｓ７０１においてＰＣＭ符号長算出部３０５から、以下の色成分毎のＰＣＭを取得し、続くＳ７０２において可変長符号化部３０４から以下の色成分毎のＤＰＣＭ符号長を取得する。

Ｓ_ＰＣＭ＿Ｒｎ：ＲｎのＰＣＭ符号長
Ｓ_ＰＣＭ＿Ｇｎ：ＧｎのＰＣＭ符号長
Ｓ_ＰＣＭ＿Ｂｎ：ＢｎのＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｒｎ：ＲｎのＤＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｇｎ：ＧｎのＤＰＣＭ符号長
Ｓ_ＤＰＣＭ＿Ｂｎ：ＢｎのＤＰＣＭ符号長
ここでは、図４（ａ）のＲＧＢコンポネント形式のデータ入力について、グループ番号ｎの画素を対象に実行した例を示している。本実施形態では、上述のステップで各符号長を取得しているが、画素グループ内のすべての画素についてＤＰＣＭとＰＣＭ符号長が取得できていればよく特に順番を限定するものではない。

続いて、符号長比較部３０６は、ステップＳ７０３において、ＰＣＭ符号長の合計値（Ｓ＿ＰＣＭ）を、ステップＳ７０１で取得した符号長を加算して取得する。同様に、符号長比較部３０６は、ステップＳ７０４においてＤＰＣＭ符号長の合計値（Ｓ＿ＤＰＣＭ）を、ステップＳ７０２で取得した符号長を加算して取得する。続くＳ７０５において符号長比較部３０６はＳ＿ＰＣＭとＳ＿ＤＰＣＭとを比較し、大小を判定する。もし、画素グループのＤＰＣＭの符号長が小さい場合（Ｓ７０５でＹＥＳ）は、Ｓ７０６に移行してＤＰＣＭ符号データを選択するＰＣＭ／ＤＰＣＭ選択フラグ情報（ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ＝１）を出力する。一方、ＰＣＭの符号長の方が小さい場合（Ｓ７０５のＮＯ）は、Ｓ７０７に移行してＰＣＭ符号データを選択するＰＣＭ/ＤＰＣＭ選択フラグ情報（ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ＝０）を出力する。

図３の説明に戻り、セレクタ３０９は、符号長比較部３０６から入力されるＰＣＭ／ＤＰＣＭ選択フラグと、予め与えられた固定値とを符号化部１１１の外部より入力されるヘッダ省略モードフラグに従って切替えてセレクタ３０７及び３０８へ出力する。ヘッダ省略モードフラグの値が１の場合、セレクタ３０９は固定値が選択される。一方、ヘッダ省略モードフラグの値が０の場合、ＰＣＭ／ＤＰＣＭ選択フラグを選択し、当該フラグ情報がそのままセレクタ３０７および３０８へ通知される。本実施形態では固定値は０であり、ＰＣＭ／ＤＰＣＭ選択フラグの値が０に固定（ＰＣＭモード固定（ＰＣＭ＿ＤＰＣＭ＿ＳＥＬ＿ＦＬＡＧ＝０））されることになる。よって、セレクタ３０７及び３０８はＰＣＭデータ及びＰＣＭデータの符号長を選択する。

セレクタ３０７にはＰＣＭデータとＤＰＣＭデータが入力されており、セレクタ３０９からのＰＣＭ／ＤＰＣＭ選択フラグに従って符号データが選択され、符号化部１１１の外部へと出力される。具体的に、ＰＣＭ／ＤＰＣＭ選択フラグのフラグ値が１の場合はＤＰＣＭデータが選択され、フラグ値が０の場合はＰＣＭデータが選択される。セレクタ３０８にはＰＣＭ符号長とＤＰＣＭ符号長が入力されており、ＰＣＭ／ＤＰＣＭ選択フラグに従って符号長が選択されて、符号化部１１１の外部へと出力される。セレクタ３０８から出力される符号長を本実施形態では特に「選択符号長」と呼ぶ。具体的に、ＰＣＭ／ＤＰＣＭ選択フラグのフラグ値が１の場合はＤＰＣＭ符号長が選択され、フラグ値が０の場合はＰＣＭ符号長が選択される。

＜仮符号化系の説明＞
ここで図１の画像符号化部２０の説明に戻り、仮符号化系１１０における仮符号化処理について説明する。図１の仮符号化系１１０に入力された画像データは複数の符号化部１１１Ａから１１１Ｄによって、ＱＰが０から３でそれぞれ符号化が行われ選択符号長がＱＰ決定部１１５に、ＰＣＭ符号長がＱＰ決定部１１６にそれぞれ出力される。ここで選択符号長は、各符号化部が各ＱＰに対応する量子化ステップで量子化処理を行った量子化結果をＰＣＭまたはＤＰＣＭで符号化した符号データの符号長を表し、セレクタ３０８から出力される。ＰＣＭ符号長は、各符号化部が各ＱＰに対応する量子化ステップで量子化処理を行った量子化結果の符号長を表し、ＰＣＭ符号長算出部３０５から出力される。符号化部１１１Ａ〜１１１Ｄは図３に示した構成を有し、出力信号として、符号データ、選択符号長、ＰＣＭ符号長、ＰＣＭ／ＤＰＣＭ選択フラグが存在する。しかし、仮符号化系１１０では選択符号長及びＰＣＭ符号長を使用し、符号データ、ＰＣＭ／ＤＰＣＭ選択フラグは使用しなくてもよい。

本実施形態では符号化に用いるＱＰの範囲として０〜３としたため、仮符号化系１１０は符号化部１１１を４つ備えている。しかし、発明の実施形態は当該構成に限定されるものではなく、符号化に用いるＱＰの範囲に応じて、符号化部１１１の数を変更することができる。また仮符号化系１１０では、符号化部１１１Ａから１１１Ｄへの入力信号であるヘッダ省略モードフラグを０に固定し、常に上述の符号長比較部３０６の判断結果に基づくＰＣＭ／ＤＰＣＭ選択フラグが用いられるものとする。

＜ＱＰ決定部の動作＞
仮符号化系１１０において、ＱＰ決定部１１５と１１６とは前段の符号化部１１１Ａ〜１１１Ｄから入力されたＱＰ毎の複数の符号長の情報に基づき、本符号化系１２０で画素グループ単位に適用する適用ＱＰの候補となるＱＰａｌｔ、ＱＰｐｃｍをそれぞれ決定する。ここで、ＱＰ決定部１１５への入力信号となる選択符号長は、各符号化部１１１において得られたＰＣＭ符号長またはＤＰＣＭ符号長のうち、より小さい値となった符号長である。一方のＱＰ決定部１１６への入力信号となる符号長は、各符号化部１１１におけるＰＣＭ符号長となる。ＱＰ決定部１１６は、入力信号が異なるだけで、基本的な構成及び処理内容はＱＰ決定部１１５と同じである。以下では各ＱＰ決定部の動作を説明する。

＜ＱＰ決定部１１５の動作＞
本施形態におけるＱＰ決定部１１５が実行する処理手順の概要を、図５を用いて説明する。図５において、符号化ブロック毎に本処理が開始されると、Ｓ５０１にてＱＰ決定部１１５は符号化部１１１Ａ〜１１１Ｄから、各符号化部に割り当てられたＱＰ毎に算出された符号長の情報を画素グループ単位に取得する。以下、取得される符号データの符号長を、ＱＰの値：ｑｐ、画素グループ番号：ｐｇを要素とする、ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］と表す。ｑｐは０から３までの値をとり、ｐｇは０から１５までの値をとる。

次に、Ｓ５０２においてＱＰ決定部１１５は、ＱＰ毎に符号化ブロック全体の符号長を算出する。符号化ブロック全体の符号長の算出に際しては符号化データに多重するヘッダ情報の符号長を加味する必要がある。ヘッダ情報とは復号時に必要な画素グループ毎のＱＰやＰＣＭ／ＤＰＣＭ選択フラグの情報であり、ここでのヘッダ情報の符号長は２３ビットとする。このヘッダ情報のデータ構造については、図１０（ｂ）を参照して後述する。

ヘッダ情報の符号長ｈｄ＿ｓｉｚｅ（＝２３ビット）と、全画素グループの符号長との合計を加算したブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］の算出が行われる。図９（ａ）は、ｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］とｂｌ＿ｓｉｚｅ［ｑｐ］の値の具体的な例を示す。図９（ａ）において、例えば参照番号９０１が示す値（３５）はｐｇ＿ｓｉｚｅ［０］［０］であり、符号化ブロックにおける先頭の画素グループをＱＰ＝０で符号化した場合の符号長を示す。同様に、参照番号９０２が示す値（２４）はｐｇ＿ｓｉｚｅ［０］［１５］であり、符号化ブロックにおける最後の画素グループをＱＰ＝０で符号化した場合の符号長を示す。また、参照番号９０３が示す値（４３３）はｂｌ＿ｓｉｚｅ［０］であり、ＱＰ＝０で符号化した場合のブロック符号長を示し、参照番号９０４が示す値（３４９）はｂｌ＿ｓｉｚｅ［３］であり、ＱＰ＝３で符号化した場合のブロック符号長を示す。それぞれの値はビット単位で表されている。同図の値は以降の説明でも、具体的な値の例として用いて説明する。

次に、Ｓ５０３においてＱＰ決定部１１５は、ｂｌ＿ｓｉｚｅ［ｑｐ］の中から所定の目標符号量ｔａｒｇｅｔ＿ｓｉｚｅ以下で、かつ最大の値を有するブロック符号長をｓｅｌ＿ｓｉｚｅに選定し、この時のｑｐをｓｅｌ＿ｑｐに選定する。Ｓ５０３における具体的な処理は、図６のフローチャートに示すとおりである。

まずＳ６０１にて、最大のＱＰ（ＭＡＸ＿ＱＰ）でもブロック符号長が目標符号量であるｔａｒｇｅｔ＿ｓｉｚｅを超えていることを識別するためのフラグｏｖｅｒ＿ｆｌａｇを１に初期化する。ここでは、フラグｏｖｅｒ＿ｆｌａｇが１である場合に、最大のＱＰ（ＭＡＸ＿ＱＰ）でもブロック符号長が目標符号量であるｔａｒｇｅｔ＿ｓｉｚｅを超えていることを示すものとする。つづいてＳ６０２にて、ＱＰ決定部１１５はＱＰの値：ｑｐを０に初期化する。次にＳ６０３にてＱＰ決定部１１５は、現在選択されているＱＰにおける符号化ブロックの符号長：ｂｌ＿ｓｉｚｅ［ｑｐ］と目標符号量：ｔａｒｇｅｔ＿ｓｉｚｅとを比較する。比較の結果、ｂｌ＿ｓｉｚｅ［ｑｐ］がｔａｒｇｅｔ＿ｓｉｚｅ以下である場合（Ｓ６０３で「ＹＥＳ」）にはＳ６０４に移行し、ｂｌ＿ｓｉｚｅ［ｑｐ］がｔａｒｇｅｔ＿ｓｉｚｅより大きい場合（Ｓ６０３で「ＮＯ」）にはＳ６０７に移行する。

Ｓ６０４では、Ｓ６０３において判定対象となったｂｌ＿ｓｉｚｅ［ｑｐ］を選択すべきブロック符号長ｓｅｌ＿ｓｉｚｅに決定する。次いでＳ６０５では、ｂｌ＿ｓｉｚｅ［ｑｐ］のＱＰの値を符号化ブロックの暫定的なＱＰを表すｓｅｌ＿ｑｐに決定する。その後、Ｓ６０６にてｏｖｅｒ＿ｆｌａｇを０に更新し、Ｓ６０９にてｏｖｅｒ＿ｆｌａｇの値をヘッダ省略判定部１１７に出力した後、処理を終了する。

Ｓ６０７では、現在選択されているＱＰの値が最大値（ＭＡＸ＿ＱＰ）よりも小さいかどうかを判定し、最大値より小さい場合（Ｓ６０７で「ＹＥＳ」）はＳ６０８においてＱＰの値を１つ更新し、Ｓ６０３に戻って処理を継続する。現在のＱＰの値が最大値以上の場合（Ｓ６０７で「ＮＯ」）は、Ｓ６０９にてｏｖｅｒ＿ｆｌａｇの値をヘッダ省略判定部１１７に出力した後、処理を終了する。本実施形態におけるＭＡＸ＿ＱＰの値は３となる。Ｓ６０７でＮＯと判定された場合、目標符号量に対応する所定値以下のブロック符号長が存在せず、ＱＰを選択できないこととなる。しかし、この場合はｏｖｅｒ＿ｆｌａｇが１のままとなるので、ヘッダ省略モードが選択されることとなる。

このようにＱＰ＝０の初期値から１ずつ更新して、量子化ステップを１から２へ、２から４へと１段ずつ上げながら符号化ブロックの符号長を順に目標符号量と比較していく。そして、最初に目標符号量以下となったブロック符号長に対応するＱＰの値を暫定的なＱＰ値とすることができる。また、最大のＱＰ（ＭＡＸ＿ＱＰ）でもブロック符号長が目標符号量に対応する所定値以下とならない場合には、そのことをフラグｏｖｅｒ＿ｆｌａｇの値１により示すことができる。

目標符号量ｔａｒｇｅｔ＿ｓｉｚｅの具体的値については、本実施形態では例示的に３６０ビットとして説明する。この値は、符号化前の画像データの情報量が１０ビット×３×１６＝４８０ビットであるので、その３／４に相当する。目標符号量の大きさは期待する圧縮率に応じて任意に設定することができる。図９（ａ）に示す例では、ＱＰ：３のブロック符号長ｂｌ＿ｓｉｚｅ［３］である３４９（ビット）が目標符号量３６０ビットよりも小さく、ｓｅｌ＿ｓｉｚｅとして選定される。またこのときのＱＰの値３がｓｅｌ＿ｑｐに決定される。ここで、符号化ブロックの符号長にヘッダ情報の符号長を含めていない場合、目標符号量の値は３６０ビットからヘッダ情報の符号長を差し引いた値となる。上述の例ではヘッダの符号長は２３ビットであったので、この場合の目標符号量は３３７ビットとなる。

図５の説明に戻り、Ｓ５０４では、図６の処理において暫定的なＱＰ値であるＱＰ（ｓｅｌ＿ｑｐ）が決定されたかどうかを判定する。前述のように、目標符号量以下となるブロック符号長が存在しない場合（Ｓ５０４で「ＮＯ」）には、ＱＰ（ｓｅｌ＿ｑｐ）が決定されず、ｏｖｅｒ＿ｆｌａｇの値が１に設定されるので、そのまま処理が終了する。また、ＱＰ（ｓｅｌ＿ｑｐ）が決定された場合（Ｓ５０４で「ＹＥＳ」）、Ｓ５０５ではＱＰ決定部１１５がＳ５０３で決定した符号化ブロックの暫定的なＱＰの値ｓｅｌ＿ｑｐに対し画素グループ単位の調整を行う。これにより、画素グループ単位のＱＰａｌｔ：ｐｇ＿ｑｐ［ｐｇ］を決定することができる。Ｓ５０５におけるｐｇ＿ｑｐ［ｐｇ］を決定するための処理の詳細を、図８のフローチャートを参照して詳述する。

図８において、Ｓ８０１では、ＱＰ決定部１１５は画素グループ単位のＱＰａｌｔであるｐｇ＿ｑｐ［ｐｇ］を、Ｓ５０３で決定されたＱＰ：ｓｅｌ＿ｑｐで初期化する。このとき、ｐｇ＿ｑｐ［０］〜ｐｇ＿ｑｐ［１５］までの全てがｓｅｌ＿ｑｐの値に初期化される。図９（ａ）の例では、ＱＰ＝３が選択されたのでｐｇ＿ｑｐ［０］〜ｐｇ＿ｑｐ［１５］は全て３に初期化される。次にＳ８０２では、ＱＰ決定部１１５は現時点の符号化ブロックの符号長を表すパラメータｎｅｗ＿ｓｉｚｅを、Ｓ６０３で決定されたｓｅｌ＿ｓｉｚｅの値に初期化する。例えば図９（ａ）の例では、ｓｅｌ＿ｓｉｚｅはＱＰが３のときのブロック符号長３４９に決定されたので、Ｓ８０２ではｎｅｗ＿ｓｉｚｅの値は３４９に初期化される。ヘッダ符号長を考慮していない場合は、ブロック符号長は３２６となる。次にＳ８０３では、ＱＰ決定部１１５は現在選択されているＱＰを示すパラメータｑｐの値をＳ６０４で決定されたｓｅｌ＿ｑｐの値で初期化する。例えば図９（ａ）の例では、ｓｅｌ＿ｑｐは３に決定されたので、Ｓ８０３ではｑｐの値は３に初期化される。

次にＳ８０４では、ＱＰ決定部１１５は新たなＱＰを示すパラメータｎｅｗ＿ｑｐの値を、ｑｐより１を減じた値で初期化する。ｎｅｗ＿ｑｐは、現在選択されているｑｐの値を１つ繰り下げた値を示す。さらにＳ８０５では、ＱＰ決定部１１５は処理対象の画素グループの番号を示すパラメータｐｇを初期化する。画素グループは０から１５までの１６グループがあるので、ｐｇ＝０に初期化される。さらにＳ８０６、Ｓ８０７ではＱＰ決定部１１５はｍｉｎｕｓ＿ｓｉｚｅをｐｇ＿ｓｉｚｅ［ｑｐ］［ｐｇ］に設定し、ｐｌｕｓ＿ｓｉｚｅをｐｇ＿ｓｉｚｅ［ｎｅｗ＿ｑｐ］［ｐｇ］に設定する。ここで、ｍｉｎｕｓ＿ｓｉｚｅとは、現在のｑｐの値に基づく選択画素グループの符号長を示し、ｐｌｕｓ＿ｓｉｚｅは現在のｑｐから１減じたｎｅｗ＿ｑｐの値に基づく選択画素グループの符号長を示す。例えば、ｐｇ＝０でｑｐ＝３の場合を考えると、図９（ａ）に示す例では、ｍｉｎｕｓ＿ｓｉｚｅは３０となり、ｐｌｕｓ＿ｓｉｚｅは３２となる。このｍｉｎｕｓ＿ｓｉｚｅと、ｐｌｕｓ＿ｓｉｚｅとは、画素グループ単位にｑｐを１だけ変更した場合に想定される符号化ブロックのブロック符号長の変化量を計算するために用いられる。

Ｓ８０８では、ＱＰ決定部１１５は画素グループ単位にｑｐを１だけ変更した場合のブロック符号長を示すパラメータｔｍｐ＿ｓｉｚｅを、上記のｎｅｗ＿ｓｉｚｅ、ｍｉｎｕｓ＿ｓｉｚｅ、ｐｌｕｓ＿ｓｉｚｅから式３により求める。
ｔｍｐ＿ｓｉｚｅ＝ｎｅｗ＿ｓｉｚｅ−ｍｉｎｕｓ＿ｓｉｚｅ＋ｐｌｕｓ＿ｓｉｚｅ・・・式３
例えば、ｐｇ＝０でｑｐ＝３の場合を考えると、図９（ａ）の例ではｎｅｗ＿ｓｉｚｅ＝３４９、ｍｉｎｕｓ＿ｓｉｚｅ＝３０、ｐｌｕｓ＿ｓｉｚｅ＝３２であるから、ｔｍｐ＿ｓｉｚｅ＝３５１となる。

次にＳ８０９にてＱＰ決定部１１５は、Ｓ８０８で求めたｑｐ変更後の符号長ｔｍｐ＿ｓｉｚｅが、目標符号量（ｔａｒｇｅｔ＿ｓｉｚｅ）以下かどうかを判定する。ｔｍｐ＿ｓｉｚｅの値が目標符号量を上回る場合（Ｓ８０９で「ＮＯ」）、Ｓ８１４に移行する。一方、ｔｍｐ＿ｓｉｚｅの値が目標符号量以下の場合（Ｓ８０９で「ＹＥＳ」）、Ｓ８１０に移行する。Ｓ８１０では、ＱＰ決定部１１５はｎｅｗ＿ｓｉｚｅの値をｔｍｐ＿ｓｉｚｅの値で更新する。次いでＳ８１１においてＱＰ決定部１１５は処理対象の画素グループのＱＰａｌｔ：ｐｇ＿ｑｐ［ｐｇ］をｎｅｗ＿ｑｐの値で更新する。その後のＳ８１２、Ｓ８１３の処理では処理対象となる画素グループを更新していく。具体的にＳ８１２では、ＱＰ決定部１１５は現在の処理対象の画素グループの番号ｐｇが画素グループの番号の最大値（ＭＡＸ＿ＰＧ）より小さいか否かを判定する。ＭＡＸ＿ＰＧの値は、本実施形態の場合１５となる。ここで、ｐｇが最大値より小さい場合（Ｓ８１２で「ＹＥＳ」）、Ｓ８１３に移行してＱＰ決定部１１５はｐｇを１だけ更新して、Ｓ８０６に戻って新たな画素グループについて画素グループ単位のＱＰａｌｔ：ｐｇ＿ｑｐ［ｐｇ］を決定する処理を行う。一方、ｐｇが最大値に一致する場合（Ｓ８１３で「ＮＯ」）、Ｓ８１４に移行する。

次にＳ８１４では、ＱＰ決定部１１５は現在のｑｐの値が０より大きいか否かを判定すると共に、ｓｅｌ＿ｑｐから現在のｑｐを引いた値がＭＡＸ＿ＤＩＦＦより小さいか否かを判定する。ＭＡＸ＿ＤＩＦＦは、ｓｅｌ＿ｑｐからｑｐを下げることが可能な回数を規定している。ＭＡＸ＿ＤＩＦＦはＱＰが取り得る範囲に応じて任意に決定でき、例えば１とすることができ、その場合にはｓｅｌ＿ｑｐの値から１回まではｑｐの値を下げることができる。上記の例ではｓｅｌ＿ｑｐ＝３であるから、ｑｐ＝２となるまで処理を行うことができる。このように回数を制限するのは、再帰的処理の実行時間を制限するためであるが、ＭＡＸ＿ＤＩＦＦを２または３としてもよい。ＭＡＸ＿ＤＩＦＦを設定することによりｓｅｌ＿ｑｐに追加してＱＰａｌｔに含めることが可能なＱＰの種類数を規定することができる。

Ｓ８１４では、ＱＰ決定部１１５はｑｐが０であった場合、または、ｑｐを下げた回数がＭＡＸ＿ＤＩＦＦに一致する場合（Ｓ８１４で「ＮＯ」）は本処理を終了する。ｑｐが０より大きく、かつ、ｑｐを下げた回数がＭＡＸ＿ＤＩＦＦに満たない場合（Ｓ８１４で「ＹＥＳ」）は、Ｓ８１５に移行する。Ｓ８１５ではＱＰ決定部１１５はｑｐの値を１だけ減じて、Ｓ８０４に戻って処理を繰り返す。このようにして決定された適用ＱＰの候補となるＱＰａｌｔはＱＰ決定部１１５からヘッダ省略判定部１１７へ出力される。

ここで、図８における処理の具体例を、図９（ａ）を参照して説明する。選定されたｓｅｌ＿ｓｉｚｅ（図９（ａ）の例では３４９）を基にして、まず、画素グループ番号０の画素グループのＱＰの値を１だけ小さくした場合のブロック符号長（３４９−３０＋３２＝３５１）を算出し、目標符号量（３６０）と比較する。算出したブロック符号長が目標符号量以下であった場合、次の画素グループ番号１のＱＰを１だけ小さくした場合のブロック符号長を算出して、同じように目標符号量と比較する。このとき算出される画素グループ番号１のブロック符号長は（３５１−３０＋３２＝３５３）であり、目標符号量よりも小さい。このようにして画素グループを順に選択してブロック符号長を算出していくと以下のようになる。
画素グループ番号２：３５３−２４＋２４＝３５３
画素グループ番号３：３５３−２０＋２２＝３５５
画素グループ番号４：３５５−２０＋２２＝３５７
画素グループ番号５：３５７−２０＋２２＝３５９
画素グループ番号６：３５９−１６＋１８＝３６１

上記算出されたブロック符号長において、画素グループ番号６のブロック符号長は目標符号量を超えてしまう。よって、この時点で本処理を終了する。このようにして決定されたＱＰａｌｔの具体的な値を図９（ｂ）に示す。図９（ｂ）では、太線で囲った符号長に対応するＱＰが、画素グループ毎に決定されたＱＰａｌｔを表している。画素グループ単位のＱＰａｌｔの各値は、ｐｇ＿ｑｐ［０〜５］は２、ｐｇ＿ｑｐ［６〜１５］は３となる。このようにしてＱＰ値を組み合わせたブロック符号長は３５９ビットとなるが、目標符号量３６０ビットに対して足りないビットについては、後段の多重化部１２３でパディングビットを付加する処理を行う。生成されたＱＰａｌｔはＱＰ決定部１１５から出力され、ヘッダ省略判定部１１７へ入力される。

このように、本実施形態では、先頭の画素グループから順により小さいＱＰが割り当てられる。図９（ｂ）では先頭の画素グループを含む連続する複数の画素グループに対して最小のＱＰが割り当てられたが、他の条件では先頭の画素グループのみに最小のＱＰが割り当てられる場合もある。

また、Ｓ８１４の判定においてＭＡＸ＿ＤＩＦＦ＝２であった場合には再び画素グループ番号０に戻ってＱＰの値を更に１だけ減少させて、同じようにブロック符号長を算出していく。上記の例では、
画素グループ番号０：３５９−３２＋３２＝３５９
画素グループ番号１：３５９−３２＋３２＝３５９
画素グループ番号２：３５９−２４＋２６＝３６１
となり、ここでは画素グループ番号２において目標符号量を超えてしまう。この時点でｑｐの値は１となっているので処理を終了する。このようにして決定された画素グループ単位のＱＰａｌｔの各値は、ｐｇ＿ｑｐ［０〜１］は１、ｐｇ＿ｑｐ［２〜５］は２、ｐｇ＿ｑｐ［６〜１５］は３となる。このようにしてＱＰ値を組み合わせたブロック符号長は３５９ビットとなる。以上の例では、ヘッダ情報の符号長を考慮した場合について説明したが、ヘッダ情報の符号長を考慮しない場合には上述の数値からヘッダ情報の符号長２３ビットを適宜差し引くだけでよい。

＜ＱＰ決定部１１６の動作＞
次に、ＱＰ決定部１１６の動作を説明する。ＱＰ決定部１１６は、ＱＰ決定部１１５と同一構成を有するが、ヘッダ省略モードに対応するＱＰ決定処理を行う。ヘッダ省略モードでは、ヘッダ情報をｈｅａｄｅｒ＿ｓｋｉｐ＿ｆｌｇの１ビットのみとし、画素ブロック内の全ての画素をＰＣＭ符号化するとともに、符号化ブロック内の画素に対するＱＰ値の割当パターンを一意に定める。その結果、どのような入力画像であっても、全画素をＰＣＭ符号化することによって必ず目標符号量に収めることができる。また、ヘッダ符号長を１ビットとすることで、画像データに多くの符号量を割り当てることができる。

ＱＰ決定部１１６への入力信号である符号長はすべてＰＣＭ符号化処理を行った結果の符号長である。各符号化部では全画素ブロックで同じ結果が得られるため、最初の画素ブロックだけＱＰ値を算出することとしてもよい。また、ＱＰ決定部１１５の動作ではＳ５０２において加算するヘッダ符号長ｈｄ＿ｓｉｚｅが２３ビットであったが、ＱＰ決定部１１６の動作では同ヘッダ符号長ｈｄ＿ｓｉｚｅが１ビットとなる。このヘッダ情報のデータ構造については、図１０（ｃ）を参照して後述する。またＱＰ決定部１１６では、ＱＰ値を変化させる画素グループの番号を特定する必要がないので画素グループ単位でＱＰ値を設定する必要はなく、画素単位でＱＰ値を設定する点がＱＰ決定部１１５の動作と異なる。

以下、図５、図６及び図８のフローチャートにおけるＱＰ決定部１１６の動作につき、ヘッダ符号長ｈｄ＿ｓｉｚｅの相違に基づきＱＰ決定部１１５の動作と異なる点を主に説明する。ＱＰ決定部１１６の動作においては、画素グループ単位ではなく画素単位にＱＰを決定するため、各ステップにおけるｐｇは、ｐｎに読み替える。ｐｎは０から４７までの値を取る。

図５のＳ５０２において、ヘッダ情報の符号長ｈｄ＿ｓｉｚｅ（＝１ビット）と、全画素グループの符号長との合計を加算したブロック符号長ｂｌ＿ｓｉｚｅ［ｑｐ］の算出が行われる。図９（ｃ）は、ｐｎ＿ｓｉｚｅ［ｑｐ］［ｐｎ］とｂｌ＿ｓｉｚｅ［ｑｐ］の値の具体的な例を示す。

次に、Ｓ５０３においてＱＰ決定部１１６は、ｂｌ＿ｓｉｚｅ［ｑｐ］の中から所定の目標符号量ｔａｒｇｅｔ＿ｓｉｚｅ以下で、かつ最大の値を有するブロック符号長をｓｅｌ＿ｓｉｚｅに選定し、この時のｑｐをｓｅｌ＿ｑｐに選定する。図９（ｃ）に示す例では、ＱＰ：３のブロック符号長ｂｌ＿ｓｉｚｅ［３］である３３７（ビット）が目標符号量ｔａｒｇｅｔ＿ｓｉｚｅの３６０ビットよりも小さく、ｓｅｌ＿ｓｉｚｅとして選定される。またこのときのＱＰの値３がｓｅｌ＿ｑｐに決定される。ここで、符号化ブロックの符号長にヘッダ情報の符号長を含めていない場合、目標符号量の値は３６０ビットからヘッダ情報の符号長を差し引いた値となる。上述の例ではヘッダの符号長は１ビットであったので、この場合の目標符号量は３５９ビットとなる。

図８において、Ｓ８０１では、ＱＰ決定部１１６は画素グループ単位のＱＰｐｃｍであるｐｎ＿ｑｐ［ｐｎ］を、Ｓ５０３で決定されたＱＰ：ｓｅｌ＿ｑｐで初期化する。このとき、ｐｎ＿ｑｐ［０］〜ｐｎ＿ｑｐ［４７］までの全てがｓｅｌ＿ｑｐの値に初期化される。図９（ｃ）の例では、ＱＰ＝３が選択されたのでｐｎ＿ｑｐ［０］〜ｐｎ＿ｑｐ［４７］は全て３に初期化される。次にＳ８０２では、ＱＰ決定部１１６は現時点の符号化ブロックの符号長を表すパラメータｎｅｗ＿ｓｉｚｅを、Ｓ６０３で決定されたｓｅｌ＿ｓｉｚｅの値に初期化する。例えば図９（ｃ）の例では、ｓｅｌ＿ｓｉｚｅはＱＰが３のときのブロック符号長３３７に決定されたので、Ｓ８０２ではｎｅｗ＿ｓｉｚｅの値は３３７に初期化される。ヘッダ符号長を考慮していない場合は、ブロック符号長は３３６となる。次にＳ８０３では、ＱＰ決定部１１６は現在選択されているＱＰを示すパラメータｑｐの値をＳ６０４で決定されたｓｅｌ＿ｑｐの値で初期化する。例えば図９（ｃ）の例では、ｓｅｌ＿ｑｐは３に決定されたので、Ｓ８０３ではｑｐの値は３に初期化される。

Ｓ８０６、Ｓ８０７ではＱＰ決定部１１６はｍｉｎｕｓ＿ｓｉｚｅをｐｎ＿ｓｉｚｅ［ｑｐ］［ｐｎ］に設定し、ｐｌｕｓ＿ｓｉｚｅをｐｎ＿ｓｉｚｅ［ｎｅｗ＿ｑｐ］［ｐｎ］に設定する。例えば、ｐｎ＝０でｑｐ＝３の場合を考えると、図９（ｃ）に示す例では、ｍｉｎｕｓ＿ｓｉｚｅは７となり、ｐｌｕｓ＿ｓｉｚｅは８となる。このｍｉｎｕｓ＿ｓｉｚｅと、ｐｌｕｓ＿ｓｉｚｅとは、画素単位にｑｐを１だけ変更した場合に想定される符号化ブロックのブロック符号長の変化量を計算するために用いられる。

Ｓ８０８ではｔｍｐ＿ｓｉｚｅは、例えばｐｎ＝０でｑｐ＝３の場合、図９（ｃ）の例ではｎｅｗ＿ｓｉｚｅ＝３３７、ｍｉｎｕｓ＿ｓｉｚｅ＝７、ｐｌｕｓ＿ｓｉｚｅ＝８であるから、ｔｍｐ＿ｓｉｚｅ＝３３８となる。

以下、図８における処理の具体例を図９（ｃ）を参照して説明する。選定されたｓｅｌ＿ｓｉｚｅ（図９（ｃ）の例では３３７）を基にして、まず、画素番号０の画素のＱＰの値を１だけ小さくした場合のブロック符号長（３３７−７＋８＝３３８）を算出し、目標符号量（３６０）と比較する。算出したブロック符号長が目標符号量以下であった場合、次の画素番号１のＱＰを１だけ小さくした場合のブロック符号長を算出して、同じように目標符号量と比較する。このとき算出されるブロック符号長は（３３８−７＋８＝３３９）であり、目標符号量よりも小さい。このようにして画素を順に選択してＱＰを変更し、ブロック符号長を算出していくと、ブロック符号長は画素番号が１増えるに応じて１だけ大きくなる。そして画素番号２２においてブロック符号長は３６０と一致する。

上記算出されたブロック符号長において、画素番号２２のブロック符号長が目標符号量と一致するので、この時点で本処理を終了する。このようにして決定されたＱＰｐｃｍの具体的な値を図９（ｃ）の太枠に示す。図９（ｃ）では、太線で囲った符号長に対応するＱＰが、ＱＰ決定部１１６が画素毎に決定したＱＰｐｃｍを表している。画素単位のＱＰｐｃｍの各値は、ｐｎ＿ｑｐ［０〜２２］は２、ｐｎ＿ｑｐ［２３〜４７］は３となる。このようにしてＱＰ値を組み合わせたブロック符号長は３６０ビットとなり、目標符号量３６０ビットと一致する。生成された適用ＱＰの候補となるＱＰｐｃｍはＱＰ決定部１１６から出力され、ヘッダ省略判定部１１７へ入力される。

上記では、説明のためにＱＰｐｃｍを決定する処理の流れを示したがＰＣＭ符号化の場合には各画素に割り当てられるＱＰ値は圧縮率（画素ブロックの目標符号量）に応じて一意に決定される。そのため、圧縮率に応じたＱＰパターンを予めＱＰ決定部１１６が記憶しておいても良い。例えば、画素ブロックの目標符号量が３６０ビットである場合、図９（ｃ）に示すように、画素番号０〜２２のデータがＱＰ２で符号化され、画素番号２３〜４７のデータがＱＰ３で符号化される。また、上記では画素単位にＱＰｐｃｍを決定することとしているが、ＱＰ決定部１１５と同様に画素グループ単位に決定しても良い。

＜ヘッダ省略判定部＞
次に、ヘッダ省略判定部１１７の動作を説明する。ヘッダ省略判定部１１７は、ＰＣＭ／ＤＰＣＭが混在し得る第１の符号化モードと、ＰＣＭに固定する第２の符号化モードとのいずれを選択するかを符号化ブロック単位に判定する。また、当該判定結果に基づいて、本符号化系１２０の符号化部１１１Ｅが使用する適用ＱＰを、ＱＰ決定部１１５及び１１６のそれぞれから入力されたＱＰａｌｔとＱＰｐｃｍとのいずれかに決定する。

図１１はヘッダ省略判定部１１７が実行する処理の一例を示すフローチャートである。ヘッダ省略判定部１１７は、ＱＰ決定部１１５が出力したｏｖｅｒ＿ｆｌａｇの値や、第１の符号化モードと第２の符号化モードのそれぞれにおけるＱＰ値の合計に基づき、いずれの符号化モードを採用するか否かを判定する。

具体的に、ヘッダ省略判定部１１７は、まずＳ１１０１ではｏｖｅｒ＿ｆｌａｇをＱＰ決定部１１５から取得する。次に、Ｓ１１０２ではｏｖｅｒ＿ｆｌａｇの値が１であるか否かを判定する。もし値が１の場合（Ｓ１１０２でＹＥＳ）、Ｓ１１０６に移行する。この場合、ＰＣＭ／ＤＰＣＭが混在し得る第１の符号化モードでは目標符号量以下で符号化ができないため、ＰＣＭ固定で符号化を行う第２の符号化モードを選択する。その一方、値が０の場合（Ｓ１１０２でＮＯ）Ｓ１１０３に移行する。Ｓ１１０３では、ＱＰ決定部１１５が出力したＱＰａｌｔの符号化ブロック内での合計値ＳｕｍＱＰａｌｔを算出する。また、Ｓ１１０４では、ＱＰ決定部１１６が出力したＱＰｐｃｍの符号化ブロック内での合計値ＳｕｍＱＰｐｃｍを算出する。

Ｓ１１０５では、Ｓ１１０３とＳ１１０４で算出されたＱＰの各合計値を比較する。ここでＳｕｍＱＰｐｃｍの値がＳｕｍＱＰａｌｔの値以上の場合（Ｓ１１０５でＮＯ）、Ｓ１１０７に移行し、ＳｕｍＱＰｐｃｍの値がＳｕｍＱＰａｌｔの値より小さい場合（Ｓ１１０５でＹＥＳ）、Ｓ１１０６に移行する。Ｓ１１０６では、ヘッダ省略モードフラグを有効（header_skip_flg＝１）に設定して、Ｓ１１０８に移行する。一方Ｓ１１０７ではヘッダ省略モードフラグを無効（header_skip_flg＝０）に設定して、Ｓ１１０８に移行する。

次いでＳ１１０８では、上記で設定されたヘッダ省略モードフラグと、該フラグの設定値に従い、ＱＰ決定部１１５及び１１６のうちのいずれか一方が出力したＱＰを適用ＱＰとして本符号化系１２０の符号化部１１１Ｅ及び多重化部１２３へ出力する。このようにして、符号化ブロックの符号量を確実に目標符号量以下とする一方で、ＱＰの合計値がより小さくなる符号化モードを第１の符号化モードと第２の符号化モードとのいずれかから選択することができる。

上述の図９（ｂ）及び図９（ｃ）の例では、ＰＣＭ／ＤＰＣＭが混在しえる符号化モードのＱＰａｌｔの合計値は１２６、ＰＣＭに固定した符号化モードのＱＰｐｃｍの合計値は１２１となる。よって、後段の本符号化系１２０ではＰＣＭモード固定で圧縮符号化を行うこととなる。

図１１の処理では、符号化ブロックにおけるＱＰ値合計を原画像に対する量子化誤差に起因する画質劣化の度合いを示す指標として用い、当該合計値が小さい方の符号化方式を決定する。また、ＰＣＭ／ＤＰＣＭが混在し得る第１の符号化モードでは目標符号量以下にできない場合でも、ＰＣＭ固定の第２の符号化モードでは、画素データに最大限に符号を割り当てて画質の劣化を抑えながらも、目標符号量に必ず収めることができる。

＜本符号化系の動作説明＞
次に、図１の本符号化系１２０の動作について説明する。本符号化系１２０にも仮符号化系１１０に入力された画像データと同一の画像データが入力されるが、仮符号化系１１０のヘッダ省略判定部１１７が適用ＱＰとヘッダ省略モードフラグを決定し出力するまで待機する必要がある。そこで、入力画像データは遅延部１２１に入力され、仮符号化系１１０が適用ＱＰ及びヘッダ省略モードフラグを決定するために必要な所定の処理サイクル分だけ遅延される。遅延後の画像データは遅延部１２１から符号化部１１１Ｅへ出力される。これにより符号化部１１１Ｅは、仮符号化系１１０が適用ＱＰを決定した符号化ブロックを、当該決定された適用ＱＰを用いて符号化することができる。

符号化部１１１Ｅは、図３に示した符号化部１１１と同一の構成を有し、適用ＱＰを用いて、遅延された画像データを本符号化する。これによりＱＰ決定部１１５または１１６が決定したブロック符号長と同じ符号長の符号データが生成され、ＰＣＭ／ＤＰＣＭ選択フラグ、選択符号長と共に多重化部１２３に出力される。多重化部１２３には符号化部１１１Ｅからの符号データ、選択符号長、ＰＣＭ／ＤＰＣＭ選択フラグと、ヘッダ省略判定部１１７からのＱＰ及びヘッダ省略モードフラグが入力されており、符号ブロック毎に所定のフォーマットで多重化が行われる。多重化部１２３は、ヘッダ省略モードフラグの値に応じて以下に示す図１０（ｂ）及び図１０（ｃ）のいずれかのフォーマットに従い多重化を行って符号化データを生成し、出力する。

以下、発明の実施形態に対応する符号化データのフォーマットの一例について、図１０（ａ）から（ｃ）を参照して説明する。図１０（ａ）は、符号化フォーマットのデータ構造の一例を表す図である。括弧で示す数値は各領域に格納されるデータのビット数を表している。図１０（ａ）は、符号化ブロックの各画素グループに割り当てられたＱＰの値と、ＰＣＭ／ＤＰＣＭフラグ情報とを全画素グループについて記憶しておくフォーマットを示す。ブロックの全体の符号化データ１００１（３６０ビット）は、ヘッダ部１００２（４８ビット）と、画素データ部１００３（３１２ビット）から構成される。ヘッダ部１００２はＱＰの値を格納するＱＰ値部１００４（３２ビット）とＰＣＭ／ＤＰＣＭ選択フラグを格納するフラグ部１００５（１６ビット）とで構成される。ＱＰ値部１００４には画素グループ毎に２ビットのＱＰ（１００４＿０〜１００４＿ｆまで）が１６個分格納される。フラグ部１００５には画素グループ毎に１ビットのＰＣＭ／ＤＰＣＭ選択フラグのフラグ値（１００５＿０〜１５０５＿ｆまで）が１６個分格納される。画素データ部１００３には符号データが画素数分（３×１６＝４８画素分）格納される。

このようなフォーマットに対し、ヘッダ部のサイズを小さくし、その分だけ画素データ部のサイズを大きく確保することを可能とする本実施形態に対応する符号化フォーマットを以下に示す。まず、図９（ｂ）に示した適用ＱＰのセットは、画素グループの先頭を含む連続する一部の画素グループについて同一のＱＰが割り当てられ、残りの画素グループには異なるＱＰが割り当てられている。そしてＱＰの変化の割合は１段階である。このような性質に基づき、本実施形態に対応する符号化フォーマットでは、符号化ブロックに含まれる全てのＱＰの値を保持する必要がない。その代わりに、先頭（画素グループ番号：０）のＱＰと、ＱＰが切り替る位置を示す画素グループ番号の情報をヘッダ部に含む。一例として、先頭のＱＰをｑｐ０、ＱＰが変化する画素グループ番号をｑｐ＿ｐｏｓで示すこととする。また、上記では格納すべきＱＰ値として先頭のＱＰ、即ち最小のＱＰとしたが、同様の効果は割り当てられた最大のＱＰとした場合でも得られる。この場合でも切り替わり位置が特定できれば正しいＱＰの割当てを再現することができるからである。また、本実施形態では、ヘッダ省略モードフラグの値に応じて更にヘッダ部のサイズを小さくすることが可能となる。以下、本実施形態に対応する符号化フォーマットの例を図１０（ｂ）及び図１０（ｃ）を参照して説明する。

まず図１０（ｂ）は、ヘッダ省略モードフラグが無効（０）を示す場合の符号化フォーマットのデータ構造の一例を示す図である。ブロックの全体の符号化データ１０１１（３６０ビット）は、ヘッダ部１０１２（２３ビット）と、画素データ部１０１３（３３７ビット）から構成される。ヘッダ部１０１２はＱＰを格納するＱＰ値部１０１４（７ビット）とＰＣＭ／ＤＰＣＭ選択フラグを格納するフラグ部１０１５（１６ビット）とで構成される。ＱＰ値部１０１４にはヘッダ省略モードフラグの１ビット（１０１６）、ｑｐ０の２ビット（１０１７）、ｑｐ＿ｐｏｓの４ビット（１０１８）が格納される。図９（ｂ）の例では、（０、２、６）の値が格納される。フラグ部１０１５には画素グループ毎に１ビットのＰＣＭ／ＤＰＣＭ選択フラグのフラグ値（１０１５＿０〜１０１５＿ｆ）が１６個分格納される。画素データ部１０１３には可変長符号である符号データが画素数分（３×１６＝４８画素分）格納される。多重化された符号化データ１０１１はストリームデータとして出力端子１０２に出力され、非図示の画像メモリ、バスインターフェースに出力される。このような図１０（ｂ）のフォーマットでは、図１０（ａ）のフォーマットに比べヘッダ部の大きさが２５ビット分小さくなり、その分を画素データ部に振り分けることが可能となる。

次に、図１０（ｃ）は、ヘッダ省略モードフラグが有効（１）を示す場合の符号化フォーマットのデータ構造の一例を示す図である。ブロックの全体の符号化データ１０２１（３６０ビット）は、ヘッダ部１０２２（１ビット）と、画素データ部１０２３（３５９ビット）から構成される。前述のように、ヘッダ省略モードでは、画素ブロックにおける各画素データのＱＰが一意に決定される。そのため、ヘッダ部１０２２にはヘッダ省略モードフラグのみが格納され、図１０（ｂ）におけるｑｐ０、ｑｐ＿ｐｏｓの４ビットは省略される。このフォーマットが使用される場合には、ヘッダ省略モードフラグの値１が格納される。画素データ部１０２３には可変長符号である符号データが画素数分（３×１６＝４８画素分）格納される。多重化された符号化データ１０２１はストリームデータとして出力端子１０２に出力され、非図示の画像メモリ、バスインターフェースに出力される。このような図１０（ｃ）のフォーマットでは、図１０（ｂ）のフォーマットに比べてヘッダ省略モードフラグの１ビット以外の情報が不要となるのでヘッダ部が２２ビットさらに小さくなる。図１０（ａ）との比較では、ヘッダ部が４７ビット小さくなり、その分を画素データ部に振り分けることが可能となる。

このように本実施形態では、符号化ブロックの全画素をＰＣＭで固定的に符号化したことを示す１ビットのフラグ情報を導入することで、当該フラグ情報以外の他の情報をヘッダ部から省略してヘッダ部のサイズを１ビットにまで縮小することが可能となった。この結果、目標符号量のうち、画素データ部に割り当てる符号量を増やすことが可能となり、入力画像によっては、ＱＰ決定部１１５が決定したＱＰａｌｔよりも小さなＱＰで符号化可能になるため、画質劣化を低減する効果が得られる。

＜画像復号化部の説明＞
次に、画像符号化部２０で生成された符号化データを復号する、発明の実施形態に対応する画像復号化部の構成例及び動作について説明する。図２は、発明の実施形態に対応する画像復号化部４０の構成例を示すブロック図である。画像処理装置１００は画像復号化部４０を有し、メモリ３０に記憶された符号化データを復号することができる。以下、本実施形態の画像復号化部の構成例において各ブロックの動作について説明する。

図２に示す画像復号化部４０は、分離部２０３、可変長復号化部２０４、加算器２０５、セレクタ２０６、逆量子化部２０７、予測部２０８で構成されている。画像復号化部４０は、専用のデバイス、ロジック回路やメモリを用いてハードウェア的に一体的に構成されても良いし、或いは、複数のデバイス等で分散して構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

画像復号化部４０には、非図示の画像メモリ、バスインターフェースなどを介して、画像符号化部２０で生成されたストリームデータが入力端子２０１を介して分離部２０３に入力される。分離部２０３は入力されたストリームデータを所定のフォーマットに従ってデコードして、ＱＰ、ＰＣＭ／ＤＰＣＭ選択フラグ、符号データの情報を分離し、処理サイクル毎に順次出力する。また、分離部２０３は、ヘッダにおけるヘッダ省略モードフラグが無効（値０）を示している場合は、その後に多重されているＰＣＭ／ＤＰＣＭ選択フラグが示す値を順次出力する。また、ヘッダ情報に含まれる先頭のＱＰと、ＱＰが切り替る位置の情報に基づき、逆量子化部２０７、量子化部２１０にＱＰを所定のタイミングで出力する。

ヘッダにおけるヘッダ省略モードフラグが有効（値１）を示している場合、分離部２０３は、このブロックの全ての画素について、ＰＣＭモードを示す値をＰＣＭ／ＤＰＣＭ選択フラグとして出力する。また、予め定められた画素ごとのＱＰパターンに基づきＱＰを逆量子化部２０７と量子化部２１０に出力し、ＰＣＭ／ＤＰＣＭ選択フラグはセレクタ２０６に出力する。当該ＱＰパターンは、ＱＰ決定部１１６と同様の処理によって算出してもよいし、予め算出した値を分離部２０３が保持しておいてもよい。符号データのうち、ＰＣＭデータはセレクタ２０６に出力し、ＤＰＣＭデータは可変長復号化部２０４に出力する。可変長復号化部２０４は入力されたＤＰＣＭデータの可変長復号化を行い、復号化されたＤＰＣＭデータを加算器２０５に出力する。加算器２０５は、後述の予測部２０８からの予測値と復号されたＤＰＣＭデータを加算して復号値を得て、セレクタ２０６に出力する。

セレクタ２０６は分離部２０３からのＰＣＭデータと、加算器２０５からの復号値を、ＰＣＭ／ＤＰＣＭ選択フラグに応じて切り替えて量子化データとして出力し、逆量子化部２０７へ出力する。逆量子化部２０７はＱＰ値を用いて、セレクタ２０６からの量子化データを逆量子化して、復号画像データを生成し、予測部２０８と出力端子２０２に出力する。予測部２０８は画素遅延部２０９、量子化部２１０から構成される。逆量子化部２０７から入力された復号画像データは、画素遅延部２０９にて同じカラー要素の前値が予測値となるようカラー要素分遅延され、量子化部２１０にて量子化されて予測値として出力される。なお、各カラー要素の符号化ブロックの最初の画素は前画素が存在しないため、予測値としては０の値を出力する。逆量子化部２０７から出力された復号画像データは出力端子２０２を介し、外部へと出力される。

このように本実施形態では、複数の画素グループからなる符号化対象の符号化ブロック毎の固定長の符号化を行うため、まず、仮符号化系にて複数のＱＰで仮符号化して符号量を求め、それらの符号量から画素グループ単位に適用するＱＰの値を決定する。次いで本符号化系にて、決定された適用ＱＰを用いて本符号化を行う構成とした。これにより、符号化ブロックのブロック符号長が所定値を超えない最大の値となるように各画素グループのＱＰの値を決定することができる。このようにしてブロック単位での効率的な符号化により、隣接画素差分が大きい画像データで生じていた画質劣化を低減することが可能となる。

さらに、符号化データのフォーマットを、画素グループ単位でＰＣＭ／ＤＰＣＭを切り替える第１の符号化モードに対応するものと、全画素グループ（各画素）をＰＣＭで固定的に符号化する第２の符号化モードに対応するものとについて、個別に定義した。また、当該符号化フォーマットに基づき、本符号化系に適用するＱＰを第１の符号化モードと、第２の符号化モードとのそれぞれについて求め、ＱＰの合計が小さいモードを選択するようにした。これにより、符号化ブロック単位で量子化誤差を軽減して画質劣化を抑えつつ、効率的な符号化が可能となる。

また、第１の符号化モードで目標符号量以下に抑えることができない場合には、第２の符号化モードにて確実に目標符号量での符号化を実施可能とする。特に、第２の符号化モードに対応するヘッダ情報のデータフォーマットとして、画素ブロック内の各画素についてＱＰ値とＰＣＭ／ＤＰＣＭ選択を一意に決め、ヘッダ情報を１ビットのみとするヘッダ省略モードを定義した。これにより、第１の符号化モードでは目標符号量以下にできない場合に、画素データに最大限に符号を割り当てて、画質の劣化を抑えながらも目標符号量に必ず収めることができる。

また、本実施形態では、隣接画素間の差分が大きくなる場合であっても特許文献１のようにＰＣＭ符号化の場合に符号長を１０ビットから５ビットに強制的に半分にはしない。その代わり、量子化ステップ１を含む段階的に設定された複数の量子化ステップを用いて、ＰＣＭ及びＤＰＣＭの各符号化結果において符号長の短いものを画素グループ毎に選択しておく。さらに、本実施形態ではグループ単位の符号長だけでなく、符号化ブロックのブロック符号長を考慮して量子化ステップを選択する。これにより、一部の画素グループにおいて符号長が大きくなったとしても、他の画素グループの符号長が小さければそこで相殺される。よって、符号化ブロック内に急峻なエッジが含まれ、当該エッジ成分で大きな符号長が費やされたとしても、エッジの前後が平坦であれば当該エッジの符号長の分はそこで吸収される。その結果として、エッジ成分を符号化する際に特許文献１のように不必要にビットを削減する必要がなくなる。

上述の発明の実施形態において、画像データのビット数は、１０ビットに限定されるものではなく、８ビット、１２ビットなど異なるビット数であってもよい。また、ブロックサイズは水平１６画素×垂直１画に限定されるものではなく、任意のサイズでよい。例えば水平４画素×垂直４画素のように２次元構造としてもよい。

さらに、符号化対象の画像データの形式はＲＧＢ画像データに限定されるものではなく、グレースケール画像データ、カラー画像データのうちＹＣｂＣｒ、ベイヤー配列データなどの画像データ形式であってもよい。図４（ｂ）は画像データ形式が輝度信号（Ｙ）と、二つの色差信号（Ｃｒ，ｂ）であり、ＹＣｂＣｒ４：２：２の場合の符号化ブロックを構成する画素データと、画素グループとの関係について示す。図４（ｂ）では、Ｙを２画素、Ｃｂ、Ｃｒを１画素ずつの計４画素を単位画素グループとし、符号化ブロックを４×８＝３２画素から構成する例を示している。ここで、符号化ブロックに含める画素グループの数はより８グループよりも多くても良い。図４（ｃ）は、画像データ形式がベイヤー配列の場合の符号化ブロックを構成する画素データと、画素グループとの関係について示す。図４（ｃ）では、Ｇを２画素、Ｒ、Ｂを１画素ずつの計４画素を単位画素グループとし、符号化ブロックを４×８＝３２画素から構成する例を示している。ここで、符号化ブロックに含める画素グループの数はより８グループよりも多くても良い。グレースケール画像については不図示であるが、グレースケール画像を構成する画素のうち隣接画素の組から画素グループを構成することができる。その際、単位画素グループには例えば３画素または４画素の隣接画素を含めることができる。

（第２の実施形態）
上記第１の実施形態では図１０（ｂ）に示すように、ヘッダ情報においてヘッダ省略モードフラグとＱＰとを示す領域を独立に設け、固定長の３ビットのヘッダ領域を使用していた。これに対し本実施形態では、これらを統合して可変長符号として取り扱うこととする。

図１２は、本実施形態に対応する符号化データのフォーマットの一例を示す図である。まず、図１２（ａ）は、符号語の割当て例を示す。本実施形態では、ヘッダ省略モードフラグの値とＱＰ値との組み合わせに応じて２ビットまたは３ビットの符号語が割り当てられる。ＱＰ値は０から３までの４つの値のいずれかを取りえるが、ＱＰ値が２または３の場合に符号語がより短くなるように割当てを行うことができる。これは、ＱＰ値が大きく量子化ステップが粗い場合に、符号量を画素データにより多く割当て可能とし画質劣化を抑えるためである。またヘッダ省略モードフラグが１の場合はＱＰ値を符号化する必要がなく、２ビットとする。但し、図１２（ａ）に示す符号語の割り当てはあくまで一例であって、発明の実施形態はこの例に限定されるものではない。

図１２（ｂ）は、ヘッダ省略モードフラグが無効（０）を示す場合の符号化フォーマットのデータ構造の一例を示す図である。ブロックの全体の符号化データ１２０１（３６０ビット）は、ヘッダ部１２０２（２２〜２３ビット）と、画素データ部１２０３（３３７〜３３８ビット）から構成される。ヘッダ部１２０２はＱＰを格納するＱＰ値部１２０４（６〜７ビット）とＰＣＭ／ＤＰＣＭ選択フラグを格納するフラグ部１２０５（１６ビット）とで構成される。ＱＰ値部１２０４にはヘッダ省略モードフラグの値とｑｐ０の値との組み合わせに応じて決定される符号語１２０６（２〜３ビット）と、ｑｐ＿ｐｏｓ１２０７（４ビット）が格納される。また、フラグ部１２０５には画素グループ毎に１ビットのＰＣＭ／ＤＰＣＭ選択フラグのフラグ値（１２０５＿０〜１２０５＿ｆ）が１６個分格納される。画素データ部１２０３には可変長符号である符号データが画素数分（３×１６＝４８画素分）格納される。

図１２（ｃ）は、ヘッダ省略モードフラグが有効（１）を示す場合の符号化フォーマットのデータ構造の一例を示す図である。ブロックの全体の符号化データ１２１１（３６０ビット）は、ヘッダ部１２１２（２ビット）と、画素データ部１２１３（３５８ビット）から構成される。ヘッダ部１２１２はヘッダ省略モードフラグの値が格納される。画素データ部１２０３には可変長符号である符号データが画素数分（３×１６＝４８画素分）格納される。図１２（ｃ）では、ヘッダ部１２１２の符号長が２ビット、圧縮画素データの符号長が３５８ビットとなり、第１の実施形態の場合と比較すると局所的には圧縮画素データに割り当てられる符号量が少なくなってしまう。しかし、通常は第１の符号化モードで符号化される場合の方が多いと想定されるので、フレームやシーケンス全体でのトータルで画質の劣化を抑えることが可能となる。

本実施形態の場合、ＱＰ決定部１１５は、先頭のＱＰ値の値に応じたヘッダ符号長にてＱＰａｌｔを第１の実施形態の方法で決定する。また、ＱＰ決定部１１６は、符号割当部１３０１が決定した符号割当情報に従って、ヘッダ符号長を２ビットとして第１の実施形態の方法でＱＰｐｃｍを決定する。多重化部１２３は、ヘッダ省略モードフラグの値及び適用ＱＰ値の先頭のＱＰ値の値に応じて図１２（ｂ）及び図１２（ｃ）に示すフォーマットに従って多重化を行う。

また、本実施形態に対応する画像復号化部４０の分離部２０３は、ヘッダ部の先頭２ビットを参照し、「１１」の場合はヘッダ省略モードフラグが有効（値１）の場合の動作を行う。先頭２ビットが「１１」でない場合は、ヘッダ省略モードフラグが無効（値０）の場合の動作を行う。その際、先頭２ビットが「１０」または「０１」で無い場合は、先頭３ビットを参照して「０００」と「００１」のいずれかを判定する。本実施形態では、図１２（ｃ）のように予め符号語が固定的に割り当てられているので、割当てに従ってＱＰ値を特定した後、第１の実施形態と同様に動作を実行する。

以上のように、本実施形態ではヘッダ情報においてヘッダ省略モードフラグとＱＰとを統合して可変長符号として取り扱う。これにより、ヘッダ情報のビット数を可変にした上で、仮符号化によって符号化データ総量に占めるヘッダ情報のビット数分を考慮して量子化パラメータを決定することができる。よって、画像データに適切なビット割り当てることができ、特にＱＰ値が大きく量子化ステップが粗い場合に、符号量を画素データにより多く割当てて画質劣化を抑えることが可能となる。

（第３の実施形態）
上記第２の実施形態では、ヘッダ省略モードフラグとＱＰ値との組み合わせに対して符号語を固定的に割当てた。これに対し第３の実施形態では、フレーム単位の符号化モードの選択状況に基づき、最も選択頻度の高い符号化モードに対して最も短い符号語を割り当てることで画質の劣化を抑えることを可能とする。

図１３は、本実施形態に係る画像符号化部２０の構成例を示すブロック図である。本実施形態の画像符号化部２０は、第１の実施形態で説明した画像符号化部２０に対し、符号割当部１３０１が追加される点と、ＱＰ決定部１１５および１１６と多重化部１２３とに符号割当部１３０１が出力する符号割当情報が入力される点が異なる。それ以外は、第１の実施形態と同様の構成となっている。よって、画像符号化部２０の全体的な動作は第１の実施形態と同様であるので、本実施形態に特有の動作について以下詳細に説明する。

符号割当部１３０１は、ヘッダ省略判定部１１７から、各画素ブロックの適用ＱＰ値と、ヘッダ省略モードフラグとが入力される。符号割当部１３０１は当該入力に基づき、フレームごとに各ＱＰ値が選択された回数（頻度）とヘッダ省略モードが選択された回数（頻度）とを算出する。符号割当部１３０１は、処理対象のフレームに先行するフレームにおいて選択される頻度が最も高いＱＰ値に符号長が最短の符号語を割り当てるように符号割当てを決定する。先行フレームは直前フレームでもよいし、先行する複数のフレームであってもよい。符号割当部１３０１は、決定した符号割当てを符号割当情報としてＱＰ決定部１１５および１１６と、多重化部１２３に出力する。最初のフレームの場合、予め定められた初期値を用いるものとする。

本実施形態では、符号語として図１４（ａ）の右側に記載のものを使用する。図１４は、本実施形態に対応する符号化データのフォーマットの一例を示す図である。本実施形態では、最短の符号長として１ビットの符号語を１つ用意し、それ以外は３ビットの符号長の符号語を４つ使用する。符号語は「０００」、「００１」、「０１０」、「０１１」を使用するが、最上位ビットは１ビットの符号語と重複するため使用しない。例えば、ＱＰ＝２が選択回数が最も多い（選択頻度が最も高い）場合、ＱＰ＝２に対して１ビットの符号語を割り当てる。それ以外に対しては、ヘッダ省略モードも含めて３ビットの符号語を割当てる。その際の割当て方法は任意であるが、例えば、ＱＰ値が小さい順とし最後にヘッダ省略モードの順で割り当てても良い。これは、最も使用頻度が高いＱＰ値について、符号量を画素データにより多く割当て可能とし画質劣化を抑えるためである。

ＱＰ決定部１１５は、符号割当部１３０１が決定した符号割当情報に従い、先頭のＱＰ値の値に応じたヘッダ符号長にてＱＰａｌｔを第１の実施形態の方法で決定する。また、ＱＰ決定部１１６は、符号割当部１３０１が決定した符号割当情報に従うヘッダ符号長につき、第１の実施形態の方法でＱＰｐｃｍを決定する。多重化部１２３は符号割当部１３０１が決定した符号割当情報に従って、図１４（ｂ）および図１４（ｃ）に示すフォーマットに従って多重化を行う。符号割当情報は、フレームの先頭の符号化データに配置されるフレームのヘッダ情報に格納して画像復号化部４０に通知される。

図１４（ｂ）は、ヘッダ省略モードフラグが無効（０）を示す場合の符号化フォーマットのデータ構造の一例を示す図である。ブロックの全体の符号化データ１４０１（３６０ビット）は、ヘッダ部１４０２（２１〜２３ビット）と、画素データ部１４０３（３３７〜３３９ビット）から構成される。ヘッダ部１４０２はＱＰを格納するＱＰ値部１４０４（５〜７ビット）とＰＣＭ／ＤＰＣＭ選択フラグを格納するフラグ部１４０５（１６ビット）とで構成される。ＱＰ値部１４０４にはヘッダ省略モードフラグの値とｑｐ０の値との組み合わせに応じて決定される符号語１４０６（１〜３ビット）と、ｑｐ＿ｐｏｓ１４０７（４ビット）が格納される。フラグ部１４０５には画素グループ毎に１ビットのＰＣＭ／ＤＰＣＭ選択フラグのフラグ値（１４０５＿０〜１４０５＿ｆ）が１６個分格納される。画素データ部１４０３には可変長符号である符号データが画素数分（３×１６＝４８画素分）格納される。

図１４（ｃ）は、ヘッダ省略モードフラグが有効（１）を示す場合の符号化フォーマットのデータ構造の一例を示す図である。ブロックの全体の符号化データ１４１１（３６０ビット）は、ヘッダ部１４１２（１〜３ビット）と、画素データ部１４１３（３５７〜３５９ビット）から構成される。ヘッダ部１４１２は図１４（ａ）の５つの符号語のうちのいずれかが格納される。１フレーム内でヘッダ省略モードフラグが有効となる回数が最も多い場合には、ヘッダ部１４１２のサイズは１ビットとなる。もし、いずれかのＱＰ値の選択回数の方が、ヘッダ省略モードフラグが有効となる回数よりも多い場合は、ヘッダ部１４１２のサイズは３ビットとなる。

画素データ部１４１３には可変長符号である符号データが画素数分（３×１６＝４８画素分）格納される。図１４（ｃ）では、ヘッダ部１４１２の符号長が３ビットで、圧縮画素データの符号長が３５７ビットとなる場合が含まれる。これを第１や第２の実施形態の場合と比較すると、局所的には画素データ部に割り当てられる符号量が少なくなる場合もある。しかし、発生頻度が最も高い条件について画素データ部により多くの符号長が割り当てられるので、フレームやシーケンス全体でのトータルで画質の劣化を抑えることが可能となる。

また、本実施形態に対応する画像復号化部４０の分離部２０３は予め画像符号化部２０から受け取った符号割当情報に従い、ヘッダ省略モードフラグとＱＰ値とを判定する。そして、第１の実施形態と同様にして、ヘッダ省略モードフラグが有効（値１）の場合の動作、及び、ヘッダ省略モードフラグが無効（値０）の場合の各ＱＰ値についての動作を行う。

本実施形態では、ヘッダ情報においてヘッダ省略モードフラグとＱＰとを統合して可変長符号として取り扱うに当り、符号語の割当てをフレーム単位の選択頻度に基づくこととした。これにより、フレーム単位に最も使用頻度の高い符号化モードに対して最も短い符号語を割り当てられ、ヘッダ部の符号量が平均的に短く済む。よって、画素データ部により多くの符号量を割り当てることができ、画質の劣化を抑えることができる。

１０：取得部、２０：画像符号化部、３０：メモリ、１０１：入力端子、１０２：出力端子、１１０：仮符号化系、１２０：本符号化系

Claims (19)

1. それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が、前記符号化対象のブロックの目標符号量に応じた所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定手段であって、
   前記符号化対象のブロックにおける前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式を選択する第１の符号化モードと、前記符号化対象のブロックにおける前記複数のグループの全てについて前記第１の符号化方式を選択する第２の符号化モードとのうち、前記複数のグループのそれぞれに割り当てられる量子化ステップの値の合計がより小さくなる符号化モードを、前記符号化対象のブロックを単位として選択し、
   前記選択した符号化モードに従い前記複数のグループのそれぞれについて前記符号化方式と前記量子化ステップとを決定し、前記量子化ステップを、少なくとも第１の量子化ステップと、前記第１の量子化ステップよりも小さい第２の量子化ステップとを含むように決定する決定手段と、
   前記決定手段により選択された符号化モードに従って符号化対象のブロックの画像データを符号化する符号化手段であって、前記符号化対象のブロックに含まれる前記グループごとに前記決定手段が決定した前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行う符号化手段とを備える
   ことを特徴とする画像符号化装置。
2. 前記決定手段は、前記第１の符号化モードで符号化した場合の前記符号化対象のブロックの符号長が前記所定値以下にならない場合、前記量子化ステップの値の前記合計の大小にかかわらず前記第２の符号化モードを選択することを特徴とする、請求項１に記載の画像符号化装置。
3. 前記符号化手段は、前記第１の符号化モードにおいて前記符号化対象のブロックの目標符号量のうち前記符号化処理により得られる符号化データに割り当てる符号量を、前記第２の符号化モードにおいて前記ブロックの目標符号量のうち前記符号化処理により得られる符号化データに割り当てる符号量よりも小さくすることを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記決定手段は、前記符号化対象のブロックに含まれる前記グループの全てについて前記第１の量子化ステップを用いて量子化を行い、該グループのそれぞれについて前記決定された符号化方式で画像データを符号化した場合の前記符号化対象のブロックの符号長が前記所定値を超えず、且つ、最大の値となる量子化ステップを、前記第１の量子化ステップとして決定することを特徴とする請求項１から３のいずれか１項に記載の画像符号化装置。
5. 前記決定手段は、前記複数のグループのうち、少なくとも前記符号化対象のブロックの先頭のグループに対して前記第２の量子化ステップを割り当てることを特徴とする、請求項１から４のいずれか１項に記載の画像符号化装置。
6. 前記決定手段は、前記複数のグループのうち、前記先頭のグループを含む連続する複数のグループに対して前記第２の量子化ステップを割り当てることを特徴とする、請求項５に記載の画像符号化装置。
7. 前記決定手段は、前記複数のグループのうち、前記連続する複数のグループを除いたグループに対して前記第１の量子化ステップを割り当てることを特徴とする、請求項６に記載の画像符号化装置。
8. 前記第２の量子化ステップは、複数の異なる量子化ステップを含み、
   前記決定手段は、前記符号化対象のブロックの先頭のグループに対し、前記複数の異なる量子化ステップのうち最小の量子化ステップを割り当てることを特徴とする、請求項６または７に記載の画像符号化装置。
9. 前記決定手段は、前記複数のグループのうち一部のグループに前記第２の量子化ステップを割り当て、前記複数のグループの残りのグループに前記第１の量子化ステップを割り当て、
   前記一部のグループは、
   前記一部のグループのそれぞれを前記第２の量子化ステップを用いて量子化し、該一部のグループのそれぞれについて前記決定された符号化方式で符号化した場合の符号長の第１の合計と、
   前記残りのグループのそれぞれを前記第１の量子化ステップを用いて量子化し、該残りのグループのそれぞれについて前記決定された符号化方式で符号化した場合の符号長の第２の合計と
   の合計が、前記所定値を超えず、且つ、最大の値となるように決定されることを特徴とする、請求項１から８のいずれか１項に記載の画像符号化装置。
10. 前記決定手段は、前記第２の符号化モードを選択する場合に、前記量子化ステップを前記符号化対象のブロックに含まれる画素ごとに決定することを特徴とする請求項１から９のいずれか１項に記載の画像符号化装置。
11. 前記符号化手段は、前記符号化対象のブロックの画像データを符号化することにより得られた符号化データに対し、前記決定手段が前記第１の符号化モードと前記第２の符号化モードとのいずれを選択したかを識別するためのフラグ情報を含むヘッダを多重することを特徴とする、請求項１から１０のいずれか１項に記載の画像符号化装置。
12. 前記符号化手段は、前記決定手段により前記第２の符号化モードが選択された場合、前記フラグ情報以外の情報を含まないヘッダを前記符号化データに多重し、
    前記ブロックの目標符号量のうち、前記ヘッダのサイズを除くサイズを前記符号化処理により得られた符号化データに割り当てることを特徴とする請求項１１に記載の画像符号化装置。
13. 前記符号化手段は、前記決定手段が選択した符号化モードと、前記第１の量子化ステップまたは前記第２の量子化ステップの情報との組み合わせに基づく符号語を含むヘッダを多重することを特徴とする、請求項１から１０のいずれか１項に記載の画像符号化装置。
14. 前記決定手段は、前記第１の量子化ステップと前記第２の量子化ステップとを、所定数の量子化ステップの中から決定し、
    前記符号化手段は、前記所定数の量子化ステップのうち、より粗い量子化ステップを含む組み合わせに対して符号量の少ない前記符号語を割り当てることを特徴とする請求項１３に記載の画像符号化装置。
15. 前記決定手段は、前記第１の量子化ステップと前記第２の量子化ステップとを、所定数の量子化ステップの中から選択し、
    前記符号化手段は、処理対象のフレームに先行するフレームにおける前記符号化モードの選択頻度と、前記所定数の量子化ステップのそれぞれの選択頻度とに基づき、選択頻度がもっとも高い組み合わせに対して符号量が最小の前記符号語を割り当てることを特徴とする請求項１３に記載の画像符号化装置。
16. 前記画像データがカラー画像データである場合に、前記グループは該カラー画像データを構成するカラー要素の組であることを特徴とする、請求項１から１５のいずれか１項に記載の画像符号化装置。
17. 前記画像データがグレースケール画像データである場合に、前記グループは該グレースケール画像データを構成する隣接画素の組であることを特徴とする、請求項１から１５のいずれか１項に記載の画像符号化装置。
18. 画像を取得する取得手段と、
    前記取得手段が取得した前記画像を符号化処理する請求項１から１７のいずれか１項に記載の画像符号化装置と
    を備えることを特徴とする画像処理装置。
19. 画像符号化装置が実行する画像符号化方法であって、
    前記画像符号化装置の決定手段が、それぞれが所定数の画素からなる複数のグループを含む符号化対象のブロックの符号長が、前記符号化対象のブロックの目標符号量に応じた所定値を超えないように、前記グループごとに、前記グループの画像データの符号化処理における量子化のための量子化ステップと符号化方式とを決定する決定工程であって、
    前記符号化対象のブロックにおける前記グループごとに、量子化された画像データを出力する第１の符号化方式と、量子化された画像データと予測データとの差分を符号化したデータを出力する第２の符号化方式とのうち、符号長がより小さくなる符号化方式を選択する第１の符号化モードと、前記符号化対象のブロックにおける前記複数のグループの全てについて前記第１の符号化方式を選択する第２の符号化モードとのうち、前記複数のグループのそれぞれに割り当てられる量子化ステップの値の合計がより小さくなる符号化モードを、前記符号化対象のブロックを単位として選択し、
    前記選択された符号化モードに従い前記複数のグループのそれぞれについて前記符号化方式と前記量子化ステップとが決定され、前記量子化ステップは、少なくとも第１の量子化ステップと、前記第１の量子化ステップよりも小さい第２の量子化ステップとを含むように決定する決定工程と、
    前記画像符号化装置の符号化手段が、前記決定工程において選択された符号化モードに従って符号化対象のブロックの画像データを符号化する符号化工程であって、前記符号化対象のブロックに含まれる前記グループごとに前記決定工程で決定された前記量子化ステップと前記符号化方式とに基づき前記符号化処理を行う符号化工程と
    を含むことを特徴とする画像符号化方法。

Images