JP4956612B2 - 画像符号化装置及び画像符号化方法 - Google Patents

Description

本発明は、画像信号の量子化・逆量子化に用いられる画像符号化装置及び画像符号化方法に関するものである。

ＩＴＵ−Ｔ及びＩＳＯ／ＩＥＣ等で勧告されているＩＴＵ−Ｔ Ｔ．８１及びＩＳＯ／ＩＥＣ１０９１８−１（以下、ＪＰＥＧ：Joint Photographic Experts Group）では、変換係数を同じ量子化スケールで量子化（符号化）する場合、全周波数領域に対して均等に量子化が行われている。また、人間の視覚特性は、高周波数領域部分に比較的鈍感であるため、ＪＰＥＧでは、量子化マトリクスと呼ばれる係数表を用いて周波数領域毎に重み付けを行うことで、低周波数成分に比べて高周波数成分でより粗い量子化を行うのが一般的である。このような視覚特性を利用した量子化マトリクスは、ＤＣＴ（離散コサイン変換）係数の分布をラプラス分布と仮定し、符号化歪みが最小となるよう設計が行われている。

また、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１、２、４、ＩＴＵ−Ｔ Ｈ．２６１、Ｈ．２６３といった従来の動画符号化方法でも、直交変換後のＤＣＴ（離散コサイン変換）係数に対して量子化を行い、変換係数の符号量削減を行っている。更に近年、符号化効率を大幅に向上させた動画像符号化方法が、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとにより、ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４及びＩＳＯ／ＩＥＣ １４４９６−１０として勧告されている（以下、「Ｈ．２６４」という）。このＨ．２６４ハイプロファイルでは、二種類の変換量子化ブロックサイズ（４×４画素ブロックと８×８画素ブロック）に対応して、符号化モード毎（画面内予測と画面間予測）、信号毎（輝度信号、色差信号）に合計８種類の異なる量子化マトリクスを持つことが可能となっている。

従来、周波数位置毎に量子化スケールを変更できるという量子化マトリクスの特性を生かすため、視覚特性を考慮した量子化マトリクスの設計方法が提案されている（例えば、非特許文献１参照）。また、符号化効率を向上させるため画像依存性が高い量子化マトリクスを符号化歪みＤと符号量Ｒの最適化によって設計する技術が提案されている（例えば、非特許文献２参照）。また、量子化マトリクスをモデル化することで設計を簡易化する技術が提案されている（例えば、非特許文献３参照）。

Ｙ．Ｃｈｅｎ、"Ｆａｓｔ Ｃｏｍｐｕｔａｔｉｏｎ ｏｆ ｐｅｒｃｅｐｔｕａｌｌｙ Ｏｐｔｉｍａｌ Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ ｆｏｒ Ｍｐｅｇ−２ Ｉｎｔｒａ Ｐｉｃｔｕｒｅｓ"、ＩＣＩＰ−９８ ｐ４１９−４２２、Ｏｃｔ、１９９８ Ｓ．Ｗ．Ｗｕ、"Ｒａｔｅ−Ｃｏｎｓｔｒａｉｎｅｄ Ｐｉｃｔｕｒｅ−Ａｄａｐｔｉｖｅ Ｑｕａｎｔｉｚａｔｉｏｎ ｆｏｒ ＪＰＥＧ Ｂａｓｅｌｉｎｅ Ｃｏｄｅｒｓ"、ＩＣＡＳＰ−９３、ｐ３８９−３９２、Ａｐｒｉｌ １９９３ Ｊ．Ｌｅｅ、"Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ Ｐａｒａｍｅｔｅｒｉｚｅｄ Ｑｕａｎｔｉｚａｔｉｏｎ Ｍａｔｒｉｘ ｆｏｒ ＭＰＥＧ−２ Ｅｎｃｏｄｉｎｇ"、ＩＣＩＰ−９８ ｐ３８３−３８６、Ｏｃｔ、１９９８

しかしながら、非特許文献１の技術では、実際の符号量は考慮されていないため、符号化効率の点から見ると最適に設計されているとは言えず、非効率的な符号化が行われてしまう可能性がある。また、非特許文献２の技術では、周波数位置毎の再符号化処理が必要となるため、比較的大きな処理コストが必要となり実用的ではない。また、非特許文献３の技術では、モデル化に必要なパラメータの組み合わせが大量に存在するため、非特許文献２と同様比較的大きな処理コストが必要となり実用的ではない。

本発明は、上記に鑑みてなされたものであって、符号化効率の向上とともに、量子化マトリクスの設計に要する処理コストを削減することが可能な画像符号化装置及び画像符号化方法を提供することである。

上述した課題を解決し、目的を達成するために、本発明は、画像信号を取得する画像取得手段と、量子化マトリクスを導出するためのモデル式に含まれる複数のパラメータから、一つの選択パラメータを順次選択し、この選択パラメータの値を所定の値に更新するモデル化パラメータ設定手段と、前記選択パラメータの更新毎に、前記モデル式を用いて前記量子化マトリクスを算出する量子化マトリクス算出手段と、前記量子化マトリクスを用いて前記画像信号の仮符号化を行い、符号量、符号化歪み、及び、量子化スケールを示した量子化パラメータ、を導出する仮符号化手段と、前記符号量と選択パラメータとの関係を近似した第１近似式と、前記符号化歪みと選択パラメータとの関係を近似した第２近似式と、を夫々算出する近似式推定手段と、前記第１近似式及び第２近似式を用いて、前記符号量と符号化歪みとの関係を示した符号量歪み関係式を算出する符号量歪み式算出手段と、前記符号量歪み関係式と前記量子化パラメータとを用いて、目標符号量又は目標符号化歪みを算出する目標符号量算出手段と、前記第１近似式を用いて前記目標符号量に対応する前記選択パラメータの値、又は、前記第２近似式を用いて前記目標符号化歪みに対応する前記選択パラメータの値を算出するモデル化パラメータ算出手段と、前記モデル化パラメータ算出手段により算出された前記選択パラメータの値と、前記モデル式とに基づいて、前記画像信号の符号化に利用するための最適化済量子化マトリクスを算出する最適化済量子化マトリクス算出手段と、前記最適化済量子化マトリクスを用いて、前記画像信号の符号化を行う本符号化処理手段と、を備え、前記近似式推定手段は、前記符号量の対数と前記符号化歪みの対数とが前記選択パラメータに対して夫々線形近似となるよう、前記第１近似式及び前記第２近似式を算出することを特徴とする。

また、本発明は、画像信号を取得する画像取得工程と、量子化マトリクスを導出するためのモデル式に含まれる複数のパラメータから、一つの選択パラメータを順次選択し、前記選択パラメータの値を所定の値に更新するモデル化パラメータ設定工程と、前記選択パラメータの更新毎に、前記モデル式を用いて前記量子化マトリクスを算出する量子化マトリクス算出工程と、前記量子化マトリクスを用いて前記画像信号の仮符号化を行い、符号量、符号化歪み、及び、量子化スケールを示した量子化パラメータ、を導出する仮符号化工程と、前記符号量と選択パラメータとの関係を近似した第１近似式と、前記符号化歪みと選択パラメータとの関係を近似した第２近似式と、を夫々算出する近似式推定工程と、前記第１近似式及び第２近似式を用いて、前記符号量と符号化歪みとの関係を示した符号量歪み関係式を算出する符号量歪み式算出工程と、前記符号量歪み関係式と前記量子化パラメータとを用いて、目標符号量又は目標符号化歪みを算出する目標符号量算出工程と、前記第１近似式を用いて前記目標符号量に対応する前記選択パラメータの値、又は、前記第２近似式を用いて前記目標符号化歪みに対応する前記選択パラメータの値を算出するモデル化パラメータ算出工程と、前記モデル化パラメータ算出工程で算出された前記選択パラメータの値と、前記モデル式とに基づいて、前記画像信号の符号化に利用するための最適化済量子化マトリクスを算出する最適化済量子化マトリクス算出工程と、前記最適化済量子化マトリクスを用いて、前記画像信号の符号化を行う本符号化処理工程と、を含み、前記近似式推定工程では、前記符号量の対数と前記符号化歪みの対数とが前記選択パラメータに対して夫々線形近似となるよう前記第１近似式及び第２近似式を算出することを特徴とする。

本発明によれば、仮符号化時に実際に算出された符号量及び符号化歪みを用いてモデル式から量子化マトリクスを求めるため、画像信号に適した量子化マトリクスを設計することができ、符号化効率の向上を図ることができる。また、符号量及び符号化歪みと量子化マトリクスにかかるパラメータとの関係を近似式で表し、当該近似式に基づいて最適化済量子化マトリクスを求めるため、量子化マトリクスの設計に要する処理コストを削減することができる。

図１は、第１の実施形態の構成を示したブロック図である。 図２は、第１の実施形態の機能構成を示したブロック図である。 図３は、符号化処理部の処理の流れを示した図である。 図４−１は、符号化フレームを模式的に示した図である。 図４−２は、符号化フレームの分割例を示した図である。 図４−３は、符号化フレームの分割例を示した図である。 図４−４は、画素ブロックを模式的に示した図である。 図５−１は、量子化マトリクスの一例を示した図である。 図５−２は、量子化マトリクスの一例を示した図である。 図６−１は、量子化マトリクスの位置と量子スケールとの関係を示したグラフである。 図６−２は、量子化マトリクスの位置と量子スケールとの関係を示したグラフである。 図６−３は、サイン関数を示したグラフである。 図７は、量子化マトリクス設計部の機能構成を示したブロック図である。 図８は、モデル化パラメータテーブルを模式的に示した図である。 図９は、線形近似の一例を示した図である。 図１０は、画像符号化処理の流れを示したフローチャートである。 図１１は、モデル化パラメータ設定処理の流れを示したフローチャートである。 図１２は、モデル化パラメータ曲線推定処理の流れを示したフローチャートである。 図１３は、符号量歪み曲線推定処理の流れを示したフローチャートである。 図１４は、目標符号量算出処理の流れを示したフローチャートである。 図１５は、他の態様の機能構成を示したブロック図である。 図１６は、第２の実施形態の機能構成を示したブロック図である。 図１７は、領域分割部の機能構成を示したブロック図である。 図１８−１は、領域分割処理を説明するための図である。 図１８−２は、領域分割処理を説明するための図である。 図１９は、第３の実施形態の機能構成を示したブロック図である。 図２０は、領域選択部の機能構成を示したブロック図である。 図２１−１は、ダウンサンプリング処理を説明するための図である。 図２１−２は、ダウンサンプリング処理を説明するための図である。 図２１−３は、ダウンサンプリング処理を説明するための図である。

１００ 画像符号化装置
２００ 画像符号化装置
３００ 画像符号化装置
１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ ＨＤＤ
５ 通信Ｉ／Ｆ
６ バス
１１ 符号化処理部
１２ 量子化マトリクス設計部
１２１ モデル化パラメータ初期化部
１２２ モデル化パラメータ設定部
１２３ 量子化マトリクス算出部
１２４ モデル化曲線推定部
１２５ 符号量歪み曲線推定部
１２６ 目標符号量算出部
１２７ モデル化パラメータ算出部
１２８ 目標符号化歪み算出部
１３ 符号化制御部
１４ 領域分割部
１４１ 特徴量抽出部
１４２ 領域分別部
１４３ 領域分割情報生成部
１４４ 分割処理制御部
１５ 領域選択部
１５１ ダウンサンプリング部
１５２ ポストフィルタ部
１５３ 切り替えスイッチ
１５４ 選択制御部

以下に添付図面を参照して、この発明にかかる画像符号化装置及び画像符号化方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

［第１の実施の形態］
図１は、本実施形態の画像符号化装置１００の構成を示すブロック図である。図１に示すように、画像符号化装置１００は、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３、ＨＤＤ（Hard Disk Drive）４、通信Ｉ／Ｆ５等から構成されており、各部はバス６により接続されている。

ＣＰＵ１は、ＲＡＭ３の所定領域を作業領域として、ＲＯＭ２やＨＤＤ４（以下、総称して記憶部という）に予め記憶された各種制御プログラムとの協働により各種処理（例えば、後述する画像符号化処理）を実行し、画像符号化装置１００を構成する各部の動作を統括的に制御する。

ＲＯＭ２は、画像符号化装置１００の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。

ＲＡＭ３は、ＳＤＲＡＭ（Synchronous DRAM）等の記憶装置であって、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ１の作業エリアとして機能してバッファ等の役割を果たす。

ＨＤＤ４は、磁気的又は光学的に記録可能な記録媒体を有し、通信Ｉ／Ｆ５を介して入力された画像信号や後述する符号化処理部１１（図２参照）により符号化された符号化データ、画像符号化装置１００の制御にかかるプログラムや各種設定情報等を記憶する。

通信Ｉ／Ｆ５は、画像処理装置等の外部機器との間で通信を行うインターフェースであって、外部機器から入力された画像信号（以下、入力画像信号という）をＣＰＵ１に出力する。なお、ここで画像信号とは、静止画像、動画像を含む概念であるものとする。

図２は、画像符号化装置１００の機能構成を示すブロック図である。図２に示すように、ＣＰＵ１が記憶部に予め記憶された所定のプログラムに従って各部を制御することにより、符号化処理部１１、量子化マトリクス設計部１２及び符号化制御部１３がＲＡＭ３に生成されるようになっている。ここで、通信Ｉ／Ｆ５を介して入力された入力画像信号は、符号化制御部１３が管理するタイミングで符号化処理部１１へと入力されるようになっている。

符号化処理部１１は、通信Ｉ／Ｆ５を介して入力された１フレームの入力画像信号（符号化フレーム）を取得し、この入力画像信号に対し、図３に示した予測処理Ｓ１、モード判定処理Ｓ２、変換量子化処理Ｓ３、エントロピー符号化処理Ｓ４等を施すことで、符号化データを生成し出力する。

予測処理Ｓ１では、既に復号化処理が行われた参照画像信号を用いて、予測モードとして予め規定された方法により、符号化フレーム毎の予測信号（予測画像）を生成する。ここで、参照画像信号とは、既に符号化処理が終了しており、後述する局所復号画像として生成された、時間的又は空間的に位置する特定の画素を指している。具体的な予測モードの例としては、符号化フレーム内の参照画像信号だけを用いて予測する画面内（フレーム内）予測モードや、時間的に異なるフレームの参照画像信号を用いて予測する画面間（フレーム間）予測モード等が挙げられる。予測処理Ｓ１では更に、入力画像信号と予測信号を差し引いた予測誤差信号の生成も行う。

モード判定処理Ｓ２では、予測処理Ｓ１により生成された予測誤差信号に基づいて、予め規定された複数の予測モード候補のうち、符号化対象となった符号化フレームに適した予測モードを選択する。具体的に説明すると、モード判定処理Ｓ２では、予測処理Ｓ１により生成された差分誤差値、つまり予測信号と原画像信号（つまり、符号化対象となった１フレーム分の入力画像信号）との差分値の絶対値を表す差分誤差ＳＡＤと、現在の予測モードに必要なサイド情報の値ＯＨと、を下記（１）式のコスト関数に代入することでコストＫの値を導出し、このコストＫの値に基づいて予測モードの妥当性を判定する。ここで、λは量子化スケールに対応する量子化パラメータの値に応じて定まる所定の定数である。

モード判定処理Ｓ２では、予測モード毎に（１）式のコスト関数により導出される各コストＫの値を比較し、その値が最小となる予測モードを符号化対象となった符号化フレームに最適な予測モードとして選択する。一般に、最適となる予測モードは、符号化フレーム内に含まれる画素ブロックの性質によって夫々異なることになる。そのため、本実施形態のように符号化フレーム毎にその性質に応じた適切な予測モードを選択することで、高い符号化効率を得ることができる。

なお、本実施形態では、差分誤差ＳＡＤとサイド情報の値ＯＨとを用いて、予測モードの妥当性を判定する態様としたが、これに限らず、例えば、差分誤差ＳＡＤ又はサイド情報の値ＯＨのみを用いて判定する態様としてもよいし、量子化スケールを利用してコスト関数を作成し、このコスト関数から導出されるコストＫに基づいて判定する態様としてもよい。また、これらをアダマール変換したり、近似したりした値を用いて判定する態様としてもよい。また、後述する入力画像信号のアクティビティを用いてコスト関数を作成してもよいし、量子化スケールを利用してコスト関数を作成してもよい。

また、他の態様としては、特定の予測モードにて一旦仮符号化を行った後、仮符号化した際の符号量と変換係数を局所復号した局所復号画像と入力画像信号との二乗誤差を用いて予測モードの妥当性を判定することとしてもよい。この場合のモード判定式は下記式（２）のように表すことができる。

ここで、Ｄは入力画像信号と後述する局所復号画像信号の二乗誤差を表す符号化歪みであり、Ｒは仮符号化によって見積もられた符号量を表している。モード判定処理Ｓ２では、各予測モードに応じて（２）式により導出されるコストＪのうち、その値が最小となる予測モードを最適な予測モードとして選択する。本例においては、符号化モード毎にエントロピー符号化と局所復号（逆量子化処理や逆変換処理を含む）を行うため、正確な符号量と符号化歪みを用いることが可能となり、符号化効率を高く維持することができる。なお、（２）式で示したコスト関数の場合も、符号化歪みＤ又は符号量Ｒのみを用いて判定する態様としてもよいし、これらを近似等した値を用いて判定する態様としてもよい。

変換量子化処理Ｓ３では、予測処理Ｓ１で生成された予測信号と入力画像信号との差分値を直行変換（例えば、離散コサイン変換等）する。また、変換量子化処理Ｓ３では、直行変換された差分値（以下、変換係数という）に対し、後述する量子化マトリクス（最適化済量子化マトリクス）を用いて量子化処理を行う。なお、変換量子化処理Ｓ３では、局所復号画像信号を生成するために行われる逆量子化処理、逆変換処理も行われるものとする。この逆量子化処理では量子化された変換係数が逆量子化され、更に逆変換処理において逆量子化された変換係数が逆変換されることで差分値が抽出される。そして、抽出された差分値と予測信号とが加算することによって、局所復号画像信号が生成される。この生成された局所復号画像信号は、予測処理Ｓ１を行うための上述した参照画像信号として利用されるようになっている。

エントロピー符号化処理Ｓ４では、量子化された変換係数をエントロピー符号化処理によりエントロピー符号化（例えば、ハフマン符号化や算術符号化等）を行う。

符号化処理部１１では、エントロピー符号化処理Ｓ４の過程で符号化が完了した際の符号量Ｒを算出し、また、局所復号画像と入力画像信号との二乗誤差を符号化歪みＤとして算出する。そして、これら符号量Ｒ、符号化歪みＤとともに量子化を行った際の量子化スケール等を示した量子化パラメータを、量子化マトリクス設計部１２に出力する。

なお、本実施形態では、上記符号化処理を図４−１に示した符号化フレームＦ単位で処理するものとするが、これに限らず、例えば、符号化シーケンス単位で処理する態様としてもよいし、図４−２に示したように、符号化フレームＦを複数の矩形スライス（例えば、矩形スライス１〜３）に分割し、各矩形スライス単位で処理する態様としてもよい。また、図４−３に示したように、符号化フレームＦを、円形、菱形、ダイヤモンド型、Ｌ字型等の形状領域（例えば、スライス１、２）に分割し、各形状領域単位で処理を行う態様としてもよいし、図４−４に示したように、複数の画素Ｐ（例えば、１６×１６画素）から構成される画素ブロック（量子化ブロック）Ｂを処理単位としてもよい。

量子化マトリクス設計部１２は、符号化処理部１１から入力される符号量Ｒ、符号化歪みＤ及び量子化パラメータに基づいて、量子化マトリクスを設計し、この設計した量子化マトリクスを符号化処理部１１へと出力する。ここで、量子化マトリクス設計部１２で設計される量子化マトリクスは、所定の関係式により予めモデル化が実施されているものとする。以下、量子化マトリクスのモデル化について説明する。量子化マトリクスは、符号化処理部１１で利用される処理単位（量子化ブロック）の形状に応じた行列で表される。ここで、図５−１は、量子化ブロックが４×４画素の場合の量子化マトリクスの一例を示しており、図５−２は、量子化ブロックが８×８画素の場合の量子化マトリクスの一例を示している。

量子化マトリクスの行列に含まれる夫々の値は、量子化スケールの重み付けの大きさを示しており、大きな値は荒く量子化され、小さな値は細かく量子化されるようになっている。行列中の左上（０、０）成分が周波数におけるＤＣ値に対応する量子化スケールの重み付けの大きさを表しており、右下に行くほどＡＣ成分の高周波成分に対応する値となる。ここで量子化マトリクスのモデル化とは、複数のモデル化パラメータを用いて量子化マトリクスを定式化することである。以下、量子化マトリクスを定式化する方法の一例を、図６を参照しながら説明する。

図６−１、図６−２は、モデル化した量子化マトリクスの位置（周波数位置ｒ）と量子化マトリクスの値Ｑとの関係を示したグラフである。ここで、周波数位置ｒは、下記式（３）により導出される値である。

ここで、i、jは夫々量子化マトリクスの位置を表すインデックスである。例えば、図５−１で示した量子化マトリクスにおいて、ＤＣ値は（ｉ、ｊ）＝（０、０）であるため、その量子化マトリクスの値Ｑは、Ｑ（０、０）＝６となる。なお、図６−１、６−２において、ＤＣ値のマトリクスの値ＱをＣとしている。図６−１では、このＤＣ値の量子化スケールＣを切片として、マトリクスの値の変化の傾きを勾配ａとすることで、量子化マトリクスをモデル化している。モデル化された量子化マトリクスは、下記（４）のモデル式で表される。なお、（４）式においてＱ（ｒ）は、Ｑ（ｉ、ｊ）を一次元で表したものである。

一方、図６−２は、他の方法を用いてモデル化した場合の状態を示している。ここでは、より複雑なモデルとして、図６−３で示されるサイン関数を用いている。ここで用いたサイン関数は、下記（５）式で定義されるように、大きさｂの振幅を有している。

ここで、（４）式と（５）式を加算することで、図６−２の量子化マトリクスの状態を下記（６）のモデル式で表すことができる。

（４）式において、量子化マトリクスのモデル化のためのパラメータセット（以下、モデル化パラメータセットという）は（ａ、ｃ）の二つであり、（６）式では（ａ、ｂ、ｃ）の三つとなる。以下説明する、量子化マトリクス設計部１２では、符号化処理部１１から入力される符号量、符号化歪み及び量子化パラメータに基づいて、これらモデル化パラメータセットの値を導出し、後述する最適化済量子化マトリクスの算出を行う。

本実施形態では、上記した（６）式を用いたモデル化方法について以下詳細に説明するが、これに限らず、（４）式を用いることとしてもよいし、ｓｉｎ関数の内部変数を変更してもよい。また、周波数位置を示す「ｒ」を縦方向又は横方向に重み付けた関数として利用してもよいし、コサイン関数や指数関数、シグモイド関数等を用いて新たにモデル化してもよい。いずれにせよ、モデル化パラメータによって、周波数位置毎に量子化スケールの値が変化し、モデル化パラメータの増減によって後述する符号量Ｒと符号化歪みＤとの対数が線形に変化する性質の関係を利用することが重要である。

以下、図７を参照して量子化マトリクス設計部１２が有する各機能部について説明する。図７は、量子化マトリクス設計部１２の機能構成を示したブロック図である。同図に示すとおり、量子化マトリクス設計部１２は、モデル化パラメータ初期化部１２１、モデル化パラメータ設定部１２２、モデル化曲線推定部１２４、符号量歪み曲線推定部１２５、目標符号量算出部１２６、モデル化パラメータ算出部１２７及び量子化マトリクス算出部１２３を有する。

モデル化パラメータ初期化部１２１は、（６）式のモデル化パラメータセット（ａ、ｂ、ｃ）を、記憶部に予め記憶された設定情報に基づいて、所定の初期値（例えば、（ａ、ｂ、ｃ）＝（０、０、１６））に設定（初期化）する。また、モデル化パラメータ初期化部１２１は、記憶部に記憶された後述するモデル化曲線情報、符号化歪み曲線情報、目標符号量を所定の初期値（例えば、ｎｕｌｌ）に初期化する。

モデル化パラメータ設定部１２２は、後述するモデル化パラメータ算出部１２７から入力されるモデル化パラメータ算出フラグに基づいて、モデル化パラメータの設定を行う。ここで、モデル化パラメータ算出フラグとは、モデル化パラメータ算出部１２７から入力されるモデル化パラメータの算出にかかる状態を示すフラグである。このモデル化パラメータ算出フラグが「０」を示す場合、モデル化パラメータの算出が不可能な状態であることを意味し、「１」を示す場合、モデル化パラメータの算出が可能な状態であることを意味している。

モデル化パラメータ設定部１２２は、記憶部に予め記憶されたモデル化パラメータテーブルを参照し、モデル化パラメータ算出フラグの状態に応じた値をモデル化パラメータ毎に設定する。図８は、記憶部に記憶されたモデル化パラメータテーブルの一例を模式的に示した図である。

図８を参照して、モデル化パラメータ設定部１２２の動作を説明する。モデル化パラメータ算出部１２７から入力されたモデル化パラメータ算出フラグが「０」であった場合、モデル化パラメータ設定部１２２は、後述するモデル化パラメータインデックスに対応するモデル化パラメータに、モデル化パラメータテーブルの１回目に登録された値を設定することで、モデル化パラメータセットを更新する。一方、モデル化パラメータ算出フラグが「１」であった場合、後述するモデル化パラメータインデックスに対応するモデル化パラメータに、モデル化パラメータテーブルの２回目に登録された値を設定することで、モデル化パラメータセットを更新する。

つまり、モデル化パラメータａには、モデル化パラメータ算出フラグが「０」の時「０」が、モデル化パラメータ算出フラグが「１」の時「４」が夫々設定されることになる。同様に、モデル化パラメータｂには、モデル化パラメータ算出フラグが「０」の時「−２」が、モデル化パラメータ算出フラグが「１」の時「２」が夫々設定されることになり、モデル化パラメータｃには、モデル化パラメータ算出フラグが「０」の時「１０」が、モデル化パラメータ算出フラグが「１」の時「２０」が夫々設定されることになる。なお、モデル化パラメータ設定部１２２は、モデル化パラメータ算出フラグが「１」あった場合、上述したモデル化パラメータの設定とともに、後述するモデル化パラメータインデックスの値を１インクリメントすることで、次のモデル化パラメータを設定対象とする。

また、モデル化パラメータ設定部１２２は、モデル化パラメータセット（ａ、ｂ、ｃ）のうち、処理対象となるモデル化パラメータを示すモデル化パラメータインデックスをＲＡＭに保持している。具体的には、モデル化パラメータａの推定時にはモデル化パラメータインデックスは「０」を設定するようになっている。また、モデル化パラメータｂの推定時にはモデル化パラメータインデックスは「１」を、モデル化パラメータｃの推定時にはモデル化パラメータインデックスは「２」を設定するようになっている。

モデル化パラメータ設定部１２２では、まずモデル化パラメータａの一回目（モデル化パラメータ算出フラグ「０」）の値が設定されると、この設定されたモデル化パラメータａの値が量子化マトリクス算出部１２３及びモデル化曲線推定部１２４へと渡される。つまり、モデル化パラメータ設定部１２２は、モデル化パラメータの設定毎に、当該設定されたモデル化パラメータの値を量子化マトリクス算出部１２３及びモデル化曲線推定部１２４へと渡すようになっている。

量子化マトリクス算出部１２３では、モデル化パラメータ設定部１２２で設定されたモデル化パラメータの値を受けると、当該モデル化パラメータの値を代入した（６）式を用いて、量子化マトリクスを求め、この量子化マトリクスを符号化処理部１１に出力する。これにより、この量子化マトリクスに応じた符号量Ｒ、符号化歪みＤ及び量子化パラメータが符号化処理部１１から量子化マトリクス設計部１２にフィードバックされることになる。そして、符号化処理部１１から出力された符号量Ｒ、符号化歪みＤ及び量子化パラメータは、量子化マトリクス設計部１２の各機能部が参照可能なＲＡＭの所定領域に保持される。

また、量子化マトリクス算出部１２３は、モデル化パラメータ算出部１２７から、後述する最適化済パラメータセット（ａ、ｂ、ｃ）を受け取ると、この最適化済パラメータセットの各値を代入した（６）式用いて、量子化マトリクス（以下、最適化済量子化マトリクスという）を求め、この最適化済量子化マトリクスを符号化処理部１１に出力する。

モデル化曲線推定部１２４は、モデル化パラメータ設定部１２２で設定されたモデル化パラメータセットと、符号化処理部１１から入力された符号量Ｒ及び符号化歪みＤとに基づいて、後述するモデル化曲線情報を算出し、符号量歪み曲線推定部１２５に出力する。

具体的に、モデル化曲線推定部１２４は、モデル化パラメータ算出部１２７により設定されたモデル化パラメータ算出フラグの状態をチェックし、この値が「０」である時、入力された各種情報を１回目のモデル化パラメータとしてＲＡＭ３に格納し、モデル化パラメータの推定を行わずに、モデル化パラメータ初期化部１２１で初期化されたモデル化曲線情報を符号化歪み曲線推定部１２５に出力する。

また、モデル化パラメータ算出フラグの状態が「１」である時、モデル化曲線推定部１２４は、入力された各種情報を２回目のモデル化パラメータとしてＲＡＭ３に格納する。そして、モデル化曲線推定部１２４は、格納した２回分のモデル化パラメータに基づいて、モデル化パラメータを表す近似式（モデル化曲線）の算出（推定）を行う。なお、本実施形態では、モデル化パラメータＳが符号量Ｒの対数と、符号化歪みＤの対数とに線形近似できる性質を利用して、モデル化曲線を推定する。ここで、モデル化パラメータＳは、モデル化パラメータａ、ｂ、ｃのうち、最適化対象となった一のモデル化パラメータを意味する。

図９は、モデル化パラメータＳを符号量Ｒの対数と、符号化歪みＤの対数とに線形近似した一例を示す図である。ここではモデル化パラメータの増加に伴って、符号量Ｒの対数と符号化歪みＤの対数とが単調変化する様子が図示されている。同図で示すような符号量Ｒ及び符号化歪みＤは、下記（７）式及び（８）式で近似することができる。

ここで、ｄ、ｅ、ｆ、ｇは、符号化領域ごとに異なる所定の固定値を示している。また、Ｒは符号量、Ｄは符号化歪みを表しており、Ｓはモデル化パラメータを表している。モデル化曲線推定部１２４は、ＲＡＭ３に格納した２回分の符号量Ｒと符号化歪みＤとのセット（Ｒ１、Ｄ１）、（Ｒ２、Ｄ２）を用いて、上記（７）、（８）式から、ｄ、ｅ、ｆ、ｇの値を算出する。これにより、符号量Ｒとモデル化パラメータＳとの関係式と、符号化歪みＤとモデル化パラメータＳとの関係式とが得られる。モデル化曲線推定部１２４は、この取得した二つの関係式をモデル化曲線情報として、符号量歪み曲線推定部１２５に出力する。なお、モデル化曲線推定部１２４は、量子化マトリクス算出部１２３において、符号化処理部１１の処理単位に応じて量子化マトリクスが求められた場合には、この処理単位毎にモデル化曲線情報を出力することは言うまでもない。

符号量歪み曲線推定部１２５は、モデル化曲線推定部１２４から入力されたモデル化曲線情報に基づいて、後述する符号量歪み曲線情報を算出し、目標符号量算出部１２６に出力する。

具体的に、符号量歪み曲線推定部１２５は、モデル化曲線推定部１２４から入力されたモデル化曲線情報が初期値であるか否かを判別し、初期値であることを確認した場合、モデル化パラメータ初期化部１２１で初期化された符号量歪み曲線情報を符号化歪み曲線推定部１２５に出力する。

また、入力されたモデル化曲線情報が初期値でないことを確認した場合、符号量歪み曲線の推定を行う。具体的に説明すると、符号量歪み曲線推定部１２５は、モデル化曲線情報として入力された上記（７）、（８）式からモデル化パラメータＳを削除し、次の（９）式を導出する。

ここで、ｋ、ｌは、下記式（１０）、（１１）で示される。

つまり、符号量歪み曲線推定部１２５では、入力されたモデル化曲線情報から、（９）式の関係式が算出される。そして、この算出された関係式が符号量歪み曲線情報として、目標符号量算出部１２６に出力される。

目標符号量算出部１２６は、符号量歪み曲線推定部１２５から入力された符号量歪み曲線情報に基づいて、後述する目標符号量情報を算出し、モデル化パラメータ算出部１２７に出力する。

具体的に、目標符号量算出部１２６は、符号量歪み曲線推定部１２５から入力された符号量歪み曲線情報が初期値であるか否かを判別し、初期値であることを確認した場合、モデル化パラメータ初期化部１２１で初期化された目標符号量情報をモデル化パラメータ算出部１２７に出力する。

また、入力された符号量歪み曲線情報が初期値でないことを確認した場合、目標符号量の算出を行う。具体的に説明すると、目標符号量算出部１２６は、符号量歪み曲線情報として入力された（９）式を、下記（１２）式のように変形する。

次に、目標符号量算出部１２６は、（１２）式の両辺を符号量Ｒについて偏微分することで、下記（１３）式を導出する。

ここで、（２）式で示されるラグランジュ未定乗数法を用いることにより、目標符号量Ｒｃ＜符号量Ｒの制約から下記（１４）式が成り立つ。

次に、目標符号量算出部１２６は、（１３）及び（１４）式から、下記（１５）式を導出し、この導出した（１５）式を目標符号量情報として、モデル化パラメータ算出部１２７へと出力する。なお、（１５）式において、ｋ及びｌは、（１０）、（１１）式により導出された値である。

モデル化パラメータ算出部１２７は、目標符号量算出部１２６から入力された目標符号量情報及び符号化処理部１１から入力された量子化パラメータを用いて、モデル化パラメータＳの値を算出する。

具体的に、モデル化パラメータ算出部１２７は、目標符号量算出部１２６から入力された目標符号量情報が初期値か否かを判別し、初期値であることを確認した場合、モデル化パラメータ算出フラグを「１」に設定した後、後述する算出処理によりモデル化パラメータＳの算出を行う。また、入力された目標符号量情報が初期値でないことを確認した場合、モデル化パラメータ算出フラグを「０」に設定した後、モデル化パラメータＳの算出を行う。

以下、モデル化パラメータＳの算出について説明する。本実施形態のモデル化パラメータ算出部１２７は、下記（１５）式で示されるラグランジュ未定乗数が量子化パラメータの関数で近似できる性質を利用することで、モデル化パラメータＳを導出する。なお、（１６）式において、ＱＰは量子化パラメータを示している。

まず、モデル化パラメータ算出部１２７は、（１６）式と（１５）式で表される目標符号量情報とに基づいて、λを消去することにより目標符号量Ｒｃを算出する。そして、モデル化パラメータ算出部１２７は、算出した目標符号量Ｒｃを、（７）式の符号量Ｒに代入することにより、モデル化パラメータＳを導出する。

ここで、一回目及び二回目に導出したモデル化パラメータＳの値が大きく外れている場合、符号化フレーム内の発生符号量が非常に少ないことが予想される。例えば、変換係数が全て０の場合、符号化対象のフレームでは量子化を行う必要が無く、量子化マトリクスによって符号量が変動しない。そのため、モデル化パラメータ算出部１２７は、一回目と二回目に導出したモデル化パラメータＳの値を比較し、両モデル化パラメータＳの値が所定値以上離れている場合、予め規定しておいた想定値範囲内（例えば、モデル化パラメータａでは、図８の０〜４の範囲内）の値にクリッピングする（置き換える）ことでモデル化パラメータの補正を行う。

これにより、モデル化パラメータＳの値が想定される所定値から大きく外れてしまうような場合であっても、予め規定しておいた想定値範囲内に補正することが可能であるため、符号化効率を維持することができる。

なお、本実施形態では、クリッピングを行う態様としたが、これに限らず、他の実施態様として、予め規定しておいたデフォルトの値に設定する態様としてもよいし、導出したモデル化パラメータＳを利用しないよう設定する態様としてもよい。

上述したとおり、モデル化パラメータ算出部１２７により設定されたモデル化パラメータ算出フラグは、モデル化パラメータ設定部１２２及びモデル化曲線推定部１２４へと渡される。これにより、モデル化パラメータ算出ループ（モデル化パラメータ設定部１２２→量子化マトリクス算出部１２３→符号化処理部１１→モデル化曲線推定部１２４→符号量歪み曲線推定部１２５→目標符号量算出部１２６→モデル化パラメータ算出部１２７へと渡る処理のループ）は、１のモデル化パラメータに対して２回ずつ行われることになる。本実施形態では、３つのモデル化パラメータ（ａ、ｂ、ｃ）が導出される必要があるため、合計６回のモデル化パラメータ算出ループが行われることになる。

モデル化パラメータ算出部１２７では、６回のモデル化パラメータ算出ループを行うことで得られたモデル化パラメータセット（以下、最適化済パラメータセットという）を量子化マトリクス算出部１２３へと出力する。

図２に戻り、符号化制御部１３は、符号化処理部１１の発生符号量のフィードバック制御及び量子化特性制御、モード判定制御等を行う、発生符号量の制御を行うレート制御や、予測処理の制御、外部入力パラメータの制御、符号化全体の制御を行う。また、符号化制御部１３は、量子化マトリクス設計部１２と符号化処理部１１とのタイミング制御を行い、適切なタイミングで符号化データを外部に出力する機能を有する。

次に、図１０を参照して、本実施形態の画像符号化装置１００で行われる画像符号化方法について説明する。図１０は、画像符号化処理の流れを示したフローチャートである。

まず、画像符号化装置１００に１フレーム分の入力画像信号が入力されると、符号化制御部１３により制御の下、モデル化パラメータ初期化部１２１は、所定のタイミングでモデル化パラメータセット、モデル化曲線情報、符号化歪み曲線情報及び目標符号量の初期化を行い、初期化したモデル化パラメータセットをモデル化パラメータ設定部１２２に出力する（ステップＳ１１）。

続くステップＳ１２では、モデル化パラメータ設定部１２２により、モデル化パラメータ設定処理が行われる。以下、図１１を参照して、ステップＳ１２のモデル化パラメータ設定処理について説明する。

図１１は、モデル化パラメータ設定部１２２により実行されるモデル化パラメータ設定処理の流れを示したフローチャートである。まず、モデル化パラメータ設定部１２２は、モデル化パラメータ算出部１２７から入力されたモデル化パラメータ算出フラグの状態を判別する（ステップＳ１２１）。ここで、入力されたモデル化パラメータ算出フラグが「０」と判別した場合には（ステップＳ１２１；０）、モデル化パラメータテーブルを参照し、モデル化パラメータセットのうち、最適化対象となったモデル化パラメータに当該モデル化パラメータに対応する１回目の設定値を設定することで、モデル化パラメータセットを更新し（ステップＳ１２２）、ステップＳ１３へと移行する。

一方、ステップＳ１２１において、モデル化パラメータ算出フラグが「１」と判別した場合には（ステップＳ１２１；１）、モデル化パラメータテーブルを参照し、モデル化パラメータセットのうち、最適化対象となったモデル化パラメータに当該モデル化パラメータに対応する２回目の設定値を設定することで、モデル化パラメータセットを更新する（ステップＳ１２３）。そして、内部インデックスであるモデル化パラメータインデックスを１インクリメントした後（ステップＳ１２４）、ステップＳ１３へと移行する。

図１０に戻り、量子化マトリクス算出部１２３は、モデル化パラメータ設定部１２２により更新されたモデル化パラメータセットを、上述した（６）式に代入することで量子化マトリクスを導出し、符号化処理部１１に出力する（ステップＳ１３）。

続くステップＳ１４では、符号化処理部１１が、入力された量子化マトリクスを用いて仮符号化を行い（ステップＳ１４）、この時算出した符号量Ｒ及び符号化歪みＤを量子化パラメータとともに量子化マトリクス設計部１２に出力（フィードバック）する（ステップＳ１５）。

ステップＳ１６では、モデル化曲線推定部１２４により、モデル化パラメータ曲線推定処理が行われる。以下、図１２を参照して、ステップＳ１６のモデル化パラメータ曲線推定処理について説明する。

図１２は、モデル化曲線推定部１２４により実行されるモデル化パラメータ曲線推定処理の流れを示したフローチャートである。まず、モデル化曲線推定部１２４は、モデル化パラメータ算出部１２７から入力されたモデル化パラメータ算出フラグの状態を判別する（ステップＳ１６１）。ここで、入力されたモデル化パラメータ算出フラグが「０」と判別した場合には（ステップＳ１６１；０）、ステップＳ１５で符号化処理部１１から入力された符号量Ｒ及び符号化歪みＤを１回目のモデル化パラメータとしてＲＡＭ３の所定領域に格納する（ステップＳ１６２）。そして、ステップＳ１１で初期化されたモデル化曲線情報を符号量歪み曲線推定部１２５に出力した後（ステップＳ１６３）、ステップＳ１７の符号量歪み曲線推定処理へと移行する。

一方、入力されたモデル化パラメータ算出フラグが「１」と判別した場合には（ステップＳ１６１；１）、ステップＳ１５で符号化処理部１１から入力された符号量Ｒ及び符号化歪みＤを２回目のモデル化パラメータとしてＲＡＭ３の所定領域に格納する（ステップＳ１６４）。そして、モデル化曲線推定部１２４は、ＲＡＭに記憶された２回分のモデル化パラメータセット（Ｒ１、Ｄ１）、（Ｒ２、Ｄ２）と、モデル化パラメータＳを用いて、符号量Ｒにかかるモデル化パラメータＳの近似式と符号化歪みＤにかかるモデル化パラメータＳの近似式とを算出し（ステップＳ１６５）、モデル化曲線情報として符号量歪み曲線推定部１２５に出力した後（ステップＳ１６６）、ステップＳ１７の符号量歪み曲線推定処理へと移行する。

図１３は、ステップＳ１７の符号量歪み曲線推定処理の流れを示したフローチャートである。まず、ステップＳ１７１において、符号量歪み曲線推定部１２５は、モデル化曲線推定部１２４から入力されたモデル化曲線情報が、初期値か否かを判別する（ステップＳ１７１）。ここで、モデル化曲線情報が初期値と判別した場合（ステップＳ１７１；Ｙｅｓ）、符号量歪み曲線推定部１２５は、ステップＳ１１で初期化された符号量歪み曲線情報を目標符号量算出部１２６に出力した後（ステップＳ１７２）、ステップＳ１８の目標符号量算出処理へと移行する。

一方、ステップＳ１７１において、モデル化曲線情報が初期値ではないと判別した場合（ステップＳ１７１；Ｎｏ）、符号量歪み曲線推定部１２５は、入力されたモデル化曲線情報から、（９）式で示した関係式を算出し（ステップＳ１７３）、この算出した関係式を符号量歪み曲線情報として目標符号量算出部１２６に出力した後（ステップＳ１７４）、ステップＳ１８の目標符号量算出処理へと移行する。

図１４は、ステップＳ１８の目標符号量算出処理の流れを示したフローチャートである。まず、ステップＳ１８１において、目標符号量算出部１２６は、符号量歪み曲線推定部１２５から入力された符号量歪み曲線情報が、初期値か否かを判別する（ステップＳ１８１）。ここで、符号量歪み曲線情報が初期値と判別した場合（ステップＳ１８１；Ｙｅｓ）、目標符号量算出部１２６は、ステップＳ１１で初期化された目標符号量情報をモデル化パラメータ算出部１２７に出力した後（ステップＳ１８２）、ステップＳ１９の目標符号量算出処理へと移行する。

一方、ステップＳ１８１において、符号量歪み曲線情報が初期値ではないと判別した場合（ステップＳ１８１；Ｎｏ）、目標符号量算出部１２６は、入力された符号量歪み曲線情報及び（１２）〜（１５）式を用いて目標符号量情報を算出し（ステップＳ１８３）、モデル化パラメータ算出部１２７に出力した後（ステップＳ１８４）、ステップＳ１９の目標符号量算出処理へと移行する。

図１０に戻り、ステップＳ１９では、モデル化パラメータ算出部１２７が、目標符号量算出部１２６から入力された目標符号量情報が、初期値か否かを判別する（ステップＳ１９）。ここで、目標符号量情報を初期値と判別した場合（ステップＳ１９；Ｙｅｓ）、モデル化パラメータ算出部１２７は、モデル化パラメータ算出フラグを「１」に設定し、モデル化パラメータ設定部１２２及びモデル化曲線推定部１２４に出力した後（ステップＳ２０）、ステップＳ１２へと再び戻る。

また、ステップＳ１９において、目標符号量情報を初期値ではないと判別した場合には（ステップＳ１９；Ｎｏ）、モデル化パラメータ算出部１２７は、入力された目標符号量情報及び（１６）、（７）式を用いて、処理対象となったモデル化パラメータＳの値を導出する（ステップＳ２１）。そして、モデル化パラメータ算出部１２７は、モデル化パラメータ算出フラグを「０」に設定し、モデル化パラメータ設定部１２２及びモデル化曲線推定部１２４に出力した後（ステップＳ２２）、ステップＳ２３へと移行する。

続くステップＳ２３において、モデル化パラメータ算出部１２７は、モデル化パラメータ算出ループを６回行ったか否か、即ち、全てのモデル化パラメータＳについてステップＳ２１の処理を施したか否かを判定する（ステップＳ２３）。ここで、未処理のモデル化パラメータＳが存在するような場合には（ステップＳ２３；Ｎｏ）、ステップＳ１２へと再び戻り、モデル化パラメータ算出ループを再び実行する。

一方、ステップＳ２３において、全てのモデル化パラメータＳについてステップＳ２１の処理を施したと判定した場合には（ステップＳ２３；Ｙｅｓ）、これまでに導出したモデル化パラメータセット（最適化済パラメータセット）を量子化マトリクス算出部１２３へと出力する（ステップＳ２４）。

次いで、量子化マトリクス算出部１２３では、モデル化パラメータ算出部１２７から入力された最適化済パラメータセット及び（６）式を用いることで、量子化マトリクス（最適化済量子化マトリクス）を導出し（ステップＳ２５）、符号化処理部１１へと出力する（ステップＳ２６）。

そして、符号化処理部１１は、入力された最適化済量子化マトリクスを用いて、ステップＳ１１で入力された１フレーム分の入力画像信号の符号化（本符号化）を行い（ステップＳ２７）、本処理は終了する。なお、本処理は１フレーム分の入力画像信号の入力毎に行われるものとする。

以上のように、本実施形態によれば、仮符号化時に算出された実際の符号量及び符号化歪みを用いてモデル式から量子化マトリクスを求めるため、画像信号に適した量子化マトリクスを設計することができ、符号化効率の向上を図ることができる。また、符号量及び符号化歪みと量子化マトリクスにかかるモデル化パラメータとの関係を近似式で表し、当該近似式に基づいて最適化済量子化マトリクスを求めるため、量子化マトリクスの設計に要する処理コストを削減することができる。

なお、本実施形態では、１枚の符号化フレームに対して量子化マトリックスを設計する態様に関して説明したが、量子化マトリックスの設計単位はこれに限らないものとする。例えば、３２×３２画素ブロックや１６×１６画素ブロック、８×８画素ブロック等に対して上述の方式を用いて量子化マトリクスを設計する態様としてもよい。この場合、符号化処理部１１は、１つの３２×３２画素ブロックや１６×１６画素ブロック、８×８画素ブロック等に対して符号化処理を行った時に得られる符号量Ｒ及び符号化歪みＤが、量子化マトリクス設計部１２に出力されるものとする。

また、本実施形態では、符号量Ｒの対数と、符号化歪みＤの対数とがモデル化パラメータＳに対して線形近似できる性質を利用したが、このことは、上記した（７）、（８）式を下記（１７）、（１８）式のように変形することで明らかなように、符号量Ｒと符号化歪みＤとがモデル化パラメータＳに対して指数近似できる性質を利用していることと等価である。

ここで、ｍ、ｎ、ｏ、ｐは画像データに対して一意に定まる変数である。同様な概念で、（９）の性質は、符号量Ｒが符号化歪みＤに対して累乗近似できる性質とみなすことができる。本実施形態では、近似の容易さから、線形近似できる性質を利用することとしたが、これに限らず、上述した他の近似を行ってモデル化パラメータを導出する態様としてもよい。

また、本実施形態では、符号量Ｒに基づき、目標符号量算出部１２６により算出された目標符号量情報を用いてモデル化パラメータを導出する態様としたが、これに限らず、符号化歪みＤに基づいてモデル化パラメータを導出する態様としてもよい。この場合、量子化マトリクス設計部１２の構成は図１５のように示すことができる。なお、上述した図３の構成と同様の要素については、同一の符号を付し、その説明は適宜省略する。

図１５において、目標符号化歪み算出部１２８は、上記（９）式を符号化歪みＤで偏微分することで下記（１９）式を算出する。そして、目標符号化歪み算出部１２８は、（１４）式と（１９）式を用いることで、下記（２０）式を導出する。

よって、目標符号化歪み算出部１２８は、（２０）式で算出される目標符号化歪みＤｖを目標符号化歪み情報としてモデル化パラメータ算出部１２７に出力する。モデル化パラメータ算出部１２７では、入力された目標符号化歪み情報から（１６）式、（８）式を用いてモデル化パラメータＳを導出することが可能である。

また、本実施形態では、量子化マトリクスとして４×４画素ブロック、８×８画素ブロックの例を示しているが、量子化マトリクスは符号化処理における量子化ブロックサイズに合わせて設計されるものとする。符号化処理部１１で時間と空間を含めた３次元量子化などを行う場合、量子化マトリクスとして４×４×４、８×８×８、８×８×４等の任意の形状の量子化マトリクスも作成可能である。このような量子化マトリクスに対しても、同様のモデル化を行い、このモデル化パラメータに対して上述した推定方式を用いることによって符号量Ｒと符号化歪みＤを考慮した量子化マトリクスを設計できる。

また、本実施形態では、符号化フレーム毎に６回の符号化処理が必要となるが、予測処理Ｓ１やモード判定処理Ｓ２を簡略化することとしてもよい。具体的には、複数ある予測モードの内、選択率の高い予測モードの予測処理とモード判定処理を行い、選択率の低い予測モードを省略することが可能である。この場合、最適な符号量Ｒと符号化歪みＤが得られないため、推定精度が多少下がるが、高速な量子化マトリクス設計が可能となる。

さらに前述した画面間予測を行う場合、当該符号化フレームと、時間的に異なる参照画像を用いて動き探索を行う。動き探索処理は、通常ブロック毎のマッチング処理によってなされるが、ブロック毎のマッチングは多大な反復処理によって処理コストが大きいことが知られている。量子化マトリクスの設計時に、高速な仮符号化を実行するため、上記マッチング処理を減らすことが重要である。具体的に説明すると、量子化マトリクス設計時には、探索点数を削減した動き探索を行い、処理コストを削減する。量子化マトリクスの設計が完了し、本符号化を行う際には、より予測性能の良い動き探索を行うことで符号化効率を維持することができる。また、量子化マトリクス設計時にはダイヤモンドサーチを用い、本符号化処理にはフルサーチを用いることで処理コストを削減する態様としてもよい。

また、本実施形態においては、モデル化パラメータを、輝度成分と色差成分毎に夫々導出することが可能である。具体的には、仮符号化時において、発生符号量Ｒと符号化歪みＤを算出する際、輝度の符号量ＲＬと符号化歪みＤＬ、色差の符号量ＲＣと符号化歪みＤＣを個別に算出する。そして、各成分に対応するモデル化パラメータセット（ＲＬ、ＤＬ）、（ＲＣ、ＤＣ）に対して（７）式〜（１６）式を用いてモデル化パラメータを近似することで、夫々の成分に対して量子化マトリクスを設計することが可能となる。ここで、入力画像がＲ、Ｇ、Ｂ等の色空間を保持している場合、それぞれＲ、Ｇ、Ｂ毎に量子化マトリクスを設計することも可能である。更に、それぞれの符号量ＲＬ、ＲＣを算出する際、輝度と色差の符号化モードが共通の場合には、符号化モードとしてデコーダ側に送信されるサイド情報を分割できないため、それぞれの成分で発生する変換係数の符号量を用いることによって、量子化マトリクスを設計することも可能である。

また、本実施形態では、上述したようにモデル化パラメータを量子化ブロックサイズ毎に導出することが可能であるが、符号化装置によっては４×４画素ブロックや８×８画素ブロックの量子化ブロックが混在するような場合があり、各量子化ブロックサイズによって、最適な量子化マトリクス値は異なる場合がある。そこで、仮符号化時に、各量子化ブロックサイズに最適な量子化マトリクスを利用して、４×４画素ブロックで符号化したときの符号量Ｒ４と符号化歪みＤ４、８×８画素ブロックで符号化したときの符号量Ｒ８と符号化歪みＤ８とを夫々算出し、各ブロックサイズに対応するモデル化パラメータセット（Ｒ４、Ｄ４）、（Ｒ８、Ｄ８）に対して（７）式〜（１６）式を用いてモデル化パラメータを近似することで、それぞれの量子化ブロックに最適な量子化マトリクスを設計することができる。なお、ここでは４×４画素ブロックと８×８画素ブロックのときの例を示したが、１６×１６画素ブロックや、２×２画素ブロック、また４×２画素ブロックや４×４×２画素ブロックなどの様々な画素ブロックに対しても同様に適応が可能である。

また、本実施形態では、モデル化パラメータを符号化モード毎に導出することが可能である。動画像符号化では、当該符号化フレームだけを用いて符号化が行われる画面内符号化と、時間的に前後する符号化フレームを用いて符号化が行われる画面間符号化が利用される。それぞれ予測構造が異なるため、発生する予測誤差の傾向は大きく異なり、この理由によって最適な量子化マトリクス値は異なる傾向が多い。そこで、仮符号化時に、画面内符号化に限定して符号化した場合の符号量Ｒｉｎｔｒａと符号化歪みＤｉｎｔｒａ、また画面間符号化に限定して符号化した場合の符号量Ｒｉｎｔｅｒと符号化歪みＤｉｎｔｅｒを算出し、夫々対応する（Ｒｉｎｔｒａ，Ｄｉｎｔｒａ）、（Ｒｉｎｔｅｒ、Ｄｉｎｔｅｒ）に対して数７から数１６を用いてモデル化パラメータを近似する態様としてもよい。これにより、符号化フレーム毎の性質に適した量子化マトリクスの設計が可能となる。

［第２の実施形態］
次に、第２の実施形態の画像符号化装置について説明する。なお、上述した第１の実施形態と同様の要素については、同一の符号を付し、その説明は適宜省略する。

図１６は、本実施形態の画像符号化装置２００の機能的構成を示した図である。上述した第１の実施形態と異なる機能部として、領域分割部１４が追加されている。なお、領域分割部１４は、他の機能部と同様に、ＣＰＵ１が記憶部に予め記憶された所定のプログラムに従って各部を制御することによりＲＡＭ３に生成されるようになっている。以下、領域分割部１４について説明する。

領域分割部１４は、入力画像信号の特徴量を利用して符号化フレーム内の領域分けを行う機能を有する。量子化マトリクス設計部１２は、符号化処理部１１による仮符号化によって得られた符号量Ｒと符号化歪みＤによって量子化マトリクスを設計する。このため、符号化の難易度によって、量子化マトリクスの最適解が異なる。そこで、入力画像信号の難易度に対応する特徴量を用いて符号化前に領域分けを行うことで、領域別に量子化マトリクスを設計する。

図１７は、領域分割部１４の機能構成を示したブロック図である。同図に示すとおり、領域分割部１４は、特徴量抽出部１４１、領域分別部１４２、領域分割情報生成部１４３、分割処理制御部１４４を有している。

特徴量抽出部１４１は、入力画像信号を構成する複数の画素から、８×８画素ブロック毎に信号のアクティビティを計算する。ここで信号のアクティビティとは、ブロック内の輝度値の分散を意味している。ここで、符号化難易度が高い領域を表す一指標として、アクティビティの程度を用いることができる。複雑なテクスチャを持つ画像領域では、アクティビティが高くなるため、符号化難易度が高いと考えることができる。一方、平坦な画像領域ではアクティビティが低くなるため、符号化難易度は低いと考えることができる。このように、特徴量抽出部１４１は、８×８画素ブロック毎のアクティビティを算出し、この算出したアクティビティを特徴量情報として領域分別部１４２に出力する。

領域分別部１４２は、特徴量抽出部１４１から入力された特徴量情報を所定の閾値に基づいて分別する閾値処理を施すことで、符号化フレームを複数の領域に分割する。例えば、２つの領域に分割する場合には、符号化フレームに対してラスタスキャン順でＸ番目の８×８画素ブロックのアクティビティをＡ（Ｘ）とすると、閾値ＴＨよりＡ（Ｘ）が大きい場合はクラス１に、小さい場合はクラス２に分別する。このように分別された分別結果が分別結果情報として領域分割情報生成部１４３に出力される。

領域分割情報生成部１４３は、領域分別部１４２から入力された分別結果情報を元に量子化マトリクスを設計するために必要な領域分割情報を生成する。また、分割処理制御部１４４は、領域分割部１４に含まれる各機能の動作を統括的に制御する。

以下、図１８を参照して、領域分割情報の生成について説明する。図１８−１は、分別結果情報の一例を示した模式図である。この符号化フレームＦは２４個の８×８画素ブロックＢ１により構成されている。同図に示すとおり、領域分別部１４２により、各ブロックはクラス１とクラス２とに夫々分別されている。

ここで、領域分割情報生成部１４３は、図１８−１に示された四つ分の画素ブロックＢ１の分別結果情報に基づいて、図１８−２で示した１６×１６画素毎の領域（量子化マトリクス１、量子化マトリクス２）Ｂ２に分割したデータに変換する。具体的には、四つ分の画素ブロックＢ１夫々が属するクラスに基づいて多数決を取り、より多数となったクラスをその領域の属性とする。なお、図１８−２では、クラス１とクラス２に属するブロック数が同数であった場合、その領域はクラス１となるよう設定した場合を例示している。

このように領域分割部１４では、図１８−２で示した量子化マトリクス分割情報を、領域分割情報として生成し、量子化マトリクス設計部１２に出力する。

領域分割情報が量子化マトリクス設計部１２に入力されると、量子化マトリクス設計部１２は、領域分割情報で示された領域毎に、符号化処理部１１から入力された符号量Ｒと符号化歪みＤに基づいて量子化マトリクスを導出する。これらの制御は、符号化制御部１３が担っており、１６×１６画素ブロック毎に符号量Ｒと符号化歪みＤの累積を切り替えるようになっている。

以上のように、本実施形態によれば、符号化対象となった画像信号（符号化フレーム）を複数の領域に分割し、当該分割された領域毎に量子化マトリクスを求めることで、画像信号により適した量子化マトリクスを設計することができるため、符号化効率をより向上させることができる。

なお、本実施形態では、８×８画素ブロック毎にアクティビティを計算したが、これに限らず、例えば、計算対象の画素ブロックサイズを４×４画素ブロック、１６×１６画素ブロックとしても良いし、８×１６画素ブロックや１６×８画素ブロック等としてもよい。

また、本実施形態では、画像の特徴量として入力画像信号の分散として算出可能なアクティビティを用いることとしたが、これに限らず、例えば他の特徴量として、入力画像から算出可能なフレーム内の輝度分布、フレーム内の色差分布、フレーム間の差分値等の何れかを用いてもよい。また、より複雑な特徴量として、フレーム間の動きベクトル、フレーム内及びフレーム間の変換係数分布、フレーム内及びフレーム間の量子化誤差（符号化歪み）分布等の何れかを用いてもよい。この場合、実際に予測処理や動きベクトル探索処理、直交変換処理、量子化処理、逆量子化処理などが必要になるが、より正確な領域分割が可能となるため、符号化効率をより向上させることができる。

［第３の実施形態］
次に、第３の実施形態の画像符号化装置について説明する。なお、上述した第１の実施形態と同様の要素については、同一の符号を付し、その説明は適宜省略する。

図１９は、本実施形態の画像符号化装置３００の機能的構成を示した図である。上述した第１の実施形態と異なる機能部として、領域選択部１５が追加されている。なお、領域選択部１５は、他の機能部と同様に、ＣＰＵ１が記憶部に予め記憶された所定のプログラムに従って各部を制御することによりＲＡＭ３に生成されるようになっている。以下、領域選択部１５について説明する。

第１の実施形態及び第２の実施形態と異なり、本実施形態では、入力画像信号は領域選択部１５へと入力されるようになっている。領域選択部１５は、入力画像信号から、量子化マトリクス設計に利用する画像範囲を選択する機能を有する。具体的には、入力画像信号に対してダウンサンプリング処理を行うことによって縮小画像を作成し、仮符号化で必要となる処理コストを削減しつつ、効果的に量子化マトリクスを作成する。

図２０は、領域選択部１５の機能構成を示したブロック図である。同図に示すとおり、領域選択部１５は、ダウンサンプリング部１５１、ポストフィルタ部１５２、切り替えスイッチ１５３、選択制御部１５４を有している。

ダウンサンプリング部１５１は、入力画像信号に図２１に示されるようなダウンサンプリング処理を行って画像を縮小する。図２１は最も単純なダウンサンプリング処理を示している。ここで、図２１−１は、４×４画素で表示された入力画像信号を模式的に示している。ダウンサンプリング部１５１では、この入力画像信号に含まれた複数の画素Ｐを１つおきに選択し、図２１−２に示される４つの画素Ｐ１〜Ｐ４を決定する。そして、この４つの画素Ｐ１〜Ｐ４だけを集めた画像が図２１−３で表される１／４縮小画像となる。この縮小画像はフィルタ前縮小画像として、ポストフィルタ部１５２に出力される。

ポストフィルタ部１５２では、平滑化フィルタを用いることによってフィルタ前縮小画像を補正し、補正後のフィルタ前縮小画像をフィルタ後縮小画像として、切り替えスイッチ１５３に出力する。一般に、図２１−２のようなダウンサンプリングを行う場合、サンプリング境界の不連続性が発生し、リンギングノイズとなって目立つことがある。ポストフィルタ部１５２では、このノイズを削減するため、フィルタ前縮小画像に補正を施す。

切り替えスイッチ１５３は、選択制御部１５４が制御するタイミングで、スイッチの切り替えを行う。具体的に説明すると、選択制御部１５４は、画像符号化装置３００の２つのフェーズを制御している。１つは量子化マトリクス設計フェーズであり、２つ目は本符号化フェーズである。切り替えスイッチ１５３は、選択制御部１５４から与えられるフェーズが量子化マトリクス設計フェーズであるときは、ポストフィルタ部１５２の出力端と接続する。一方、本符号化フェーズであるときは入力画像信号が直接出力されるように切り替えスイッチ１５３が制御される。

以上のように、本実施形態によれば、画像符号化装置３００のフェーズに応じて切り替えスイッチ１５３を動的に制御することで、量子化マトリクスの設計時にはダウンサンプリング部１５１、ポストフィルタ部１５２を経て、縮小された画像を用いて量子化マトリクスを設計し、本符号化時に、この量子マトリクスを用いて入力画像信号に符号化を施すことができるため、量子化マトリクスの設計時間を大幅に短縮することが可能となる。

なお、本実施形態では、単純な１つ飛ばしのダウンサンプリング方法について説明したが、これに限らず、信号特性や回路特性に応じてより高度なダウンサンプリングを用いることとしてもよい。更に、縮小画像は１／４画像に必ずしも限定する必要はなく、１／２画像や１／８画像なども利用できる。但し、画像サイズが小さくなればなるほど、量子化マトリクスの設計に必要な時間は減少する一方で、入力画像信号に対して符号化効率の点で劣化が見られるため、処理コストと符号化効率の両面でバランスの取れた選択を行うことが重要である。

また、ポストフィルタ部１５２で用いるフィルタの種別は、対応するダウンサンプリング処理に応じて選択されるものとする。また、本実施形態では、単純な平滑化フィルタについて説明したが、これに限らず、例えば、タップ長の異なる適応フィルタなどを用いる態様としてもよい。

以上のように、本発明にかかる画像符号化装置及び画像符号化方法は、画像信号の量子化・逆量子化に有用であり、特に、量子化マトリクスを用いる場合に適している。

Claims (6)

1. 画像信号を取得する画像取得手段と、
   量子化マトリクスを導出するためのモデル式に含まれる複数のパラメータから、一つの選択パラメータを順次選択し、この選択パラメータの値を所定の値に更新するモデル化パラメータ設定手段と、
   前記選択パラメータの更新毎に、前記モデル式を用いて前記量子化マトリクスを算出する量子化マトリクス算出手段と、
   前記量子化マトリクスを用いて前記画像信号の仮符号化を行い、符号量、符号化歪み、及び、量子化スケールを示した量子化パラメータ、を導出する仮符号化手段と、
   前記符号量と選択パラメータとの関係を近似した第１近似式と、前記符号化歪みと選択パラメータとの関係を近似した第２近似式と、を夫々算出する近似式推定手段と、
   前記第１近似式及び第２近似式を用いて、前記符号量と符号化歪みとの関係を示した符号量歪み関係式を算出する符号量歪み式算出手段と、
   前記符号量歪み関係式と前記量子化パラメータとを用いて、目標符号量又は目標符号化歪みを算出する目標符号量算出手段と、
   前記第１近似式を用いて前記目標符号量に対応する前記選択パラメータの値、又は、前記第２近似式を用いて前記目標符号化歪みに対応する前記選択パラメータの値を算出するモデル化パラメータ算出手段と、
   前記モデル化パラメータ算出手段により算出された前記選択パラメータの値と、前記モデル式とに基づいて、前記画像信号の符号化に利用するための最適化済量子化マトリクスを算出する最適化済量子化マトリクス算出手段と、
   前記最適化済量子化マトリクスを用いて、前記画像信号の符号化を行う本符号化処理手段と、
   を備え、
   前記近似式推定手段は、前記符号量の対数と前記符号化歪みの対数とが前記選択パラメータに対して夫々線形近似となるよう、前記第１近似式及び前記第２近似式を算出することを特徴とする画像符号化装置。
2. 前記画像信号に含まれた所定の画素ブロック単位の特徴量を抽出する特徴量抽出手段と、
   前記特徴量に基づいて、前記画像信号を複数の領域に分割する領域分割手段と、
   を更に備え、
   前記量子化マトリクス算出手段は、前記分割された領域毎に前記量子化マトリクスを算出することを特徴とする請求項１に記載の画像符号化装置。
3. 前記特徴量抽出手段は、前記画像信号内の輝度分布、色差分布、アクティビティ、連続して入力された前記画像信号間の差分値、動きベクトル、画像信号内の変換係数分布、画像信号間の変換係数分布、画像信号内の量子化誤差分布、画像信号間の量子化誤差分布のうち少なくとも一つを前記特徴量として用いることを特徴とする請求項２に記載の画像符号化装置。
4. 画像信号を取得する画像取得工程と、
   量子化マトリクスを導出するためのモデル式に含まれる複数のパラメータから、一つの選択パラメータを順次選択し、前記選択パラメータの値を所定の値に更新するモデル化パラメータ設定工程と、
   前記選択パラメータの更新毎に、前記モデル式を用いて前記量子化マトリクスを算出する量子化マトリクス算出工程と、
   前記量子化マトリクスを用いて前記画像信号の仮符号化を行い、符号量、符号化歪み、及び、量子化スケールを示した量子化パラメータ、を導出する仮符号化工程と、
   前記符号量と選択パラメータとの関係を近似した第１近似式と、前記符号化歪みと選択パラメータとの関係を近似した第２近似式と、を夫々算出する近似式推定工程と、
   前記第１近似式及び第２近似式を用いて、前記符号量と符号化歪みとの関係を示した符号量歪み関係式を算出する符号量歪み式算出工程と、
   前記符号量歪み関係式と前記量子化パラメータとを用いて、目標符号量又は目標符号化歪みを算出する目標符号量算出工程と、
   前記第１近似式を用いて前記目標符号量に対応する前記選択パラメータの値、又は、前記第２近似式を用いて前記目標符号化歪みに対応する前記選択パラメータの値を算出するモデル化パラメータ算出工程と、
   前記モデル化パラメータ算出工程で算出された前記選択パラメータの値と、前記モデル式とに基づいて、前記画像信号の符号化に利用するための最適化済量子化マトリクスを算出する最適化済量子化マトリクス算出工程と、
   前記最適化済量子化マトリクスを用いて、前記画像信号の符号化を行う本符号化処理工程と、
   を含み、
   前記近似式推定工程では、前記符号量の対数と前記符号化歪みの対数とが前記選択パラメータに対して夫々線形近似となるよう前記第１近似式及び第２近似式を算出することを特徴とする画像符号化方法。
5. 前記画像信号に含まれた所定の画素ブロック単位の特徴量を抽出する特徴量抽出工程と、
   前記特徴量に基づいて、前記画像信号を複数の領域に分割する領域分割工程と、
   を更に含み、
   前記量子化マトリクス算出工程では、前記分割された領域毎に前記量子化マトリクスを算出することを特徴とする請求項４に記載の画像符号化方法。
6. 前記特徴量抽出工程では、前記画像信号内の輝度分布、色差分布、アクティビティ、連続して入力された前記画像信号間の差分値、動きベクトル、画像信号内の変換係数分布、画像信号間の変換係数分布、画像信号内の量子化誤差分布、画像信号間の量子化誤差分布のうち少なくとも一つを前記特徴量として用いることを特徴とする請求項５に記載の画像符号化方法。

Images