JP6137817B2 - 画像符号化装置、画像符号化方法及びプログラム - Google Patents

Description

本発明は画像符号化装置、画像符号化方法及びプログラムに関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知られている。

さらに、近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始され、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。このＪＣＴ−ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化が進められている（非特許文献１）。

ＨＥＶＣにおいては符号化効率を向上させるために、画面内における画素間の相関を利用して画面内予測（以下、イントラ予測と記す）を行い、予測残差を符号化する、イントラ予測符号化が採用されている（非特許文献１の８．４章）。このイントラ予測は、輝度成分のイントラ予測を行う輝度イントラ予測と、Ｃｂ成分及びＣｒ成分の各色差成分のイントラ予測を行う色差イントラ予測とから構成される。

特開２０１０−２５１９５２号公報

ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｉ１００３＿ｄ４．ｄｏｃ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／ ＞

ＨＥＶＣにおいては、イントラ予測の単位である予測ブロックのサイズ（以下、予測ブロックサイズ）として、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素または４×４画素の５種類のうち、いずれかを取り得る。尚、６４×６４画素は水平方向６４画素、垂直方向６４画素のブロックを示し、本発明の実施形態においては、これを以下、６４×６４画素と表記する。また、画素数が変化しても同様である。

さらに、ＨＥＶＣにおいては、画像の輝度成分のイントラ予測モード（以下、輝度イントラ予測モード）として、各予測ブロックサイズに対して図９に示すように３５個のモードが夫々定義されている（非特許文献１の８．４．１節）。そして、ＨＥＶＣにおいてイントラ予測符号化を行う場合に、当該３５個のモードから最適な輝度イントラ予測モードを選択しないと、予測誤差が大きくなり、符号化効率が低下してしまう。

ＨＥＶＣにおいて、画像の各色差成分（Ｃｂ成分、及びＣｒ成分）のイントラ予測モード（以下、色差イントラ予測モード）は、輝度イントラ予測モードの３５個のモードに比べると選択可能なモード数が制限されている。即ち、色差イントラ予測モードは、輝度イントラ予測モードに基づいて、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モード／輝度参照モード／モード３４（図９）の６個のモードが夫々定義されている（非特許文献１の８．４．２節Ｔａｂｌｅ８−３）。

そして、色差イントラ予測モードとして、輝度イントラ予測モードを色差イントラ予測でそのまま使用する「輝度参照モード」を使用して符号化効率を向上させるためには、各色差成分にとって最適なモードが、輝度イントラ予測モードとして選択される必要がある。

従来、輝度イントラ予測モード、及び色差イントラ予測モードを決定する方法としては、輝度成分のみを考慮して輝度イントラ予測モードを決定する方法が提案されている（特許文献１）。特許文献１では、符号化ブロック内に複数存在する各予測ブロックについて、色差成分を考慮せずに、輝度成分のみを考慮して輝度イントラ予測モードを決定している。

しかし、輝度成分のみを考慮して輝度イントラ予測モードを決定してしまうと、次のような課題があった。即ち、輝度成分のみを考慮して輝度イントラ予測モードを決定する場合、色差成分を考慮して輝度イントラ予測モードを決定した場合と比較して、ＨＥＶＣの輝度参照モードによる色差成分イントラ予測において、色差成分の符号化効率が低下してしまう。また、この色差成分の符号化効率の低下は、色差成分の画素サンプル数（以下、色差サンプル数）が輝度成分の画素サンプル数（以下、輝度サンプル数）と同等（４：２：２）もしくはそれ以上（４：４：４）の画像が入力された場合に特に顕著となる。尚、４：２：２及び４：４：４は、デジタルコンポーネント映像信号の入力画像フォーマットを表現する一般的な呼び方（以下、入力画像フォーマットと記す）であり、輝度成分（Ｙ）と色差成分（Ｃｂ、及びＣｒ）のサンプリングの周波数の比率を表している。

本発明は上記課題を鑑みて提案されたものであり、色差成分の符号化効率を考慮して輝度イントラ予測モードを決定することを目的とする。

かかる課題を解決するため、本発明の画像符号化装置は、下記の構成を有する。即ち、符号化対象ブロックの色差成分の符号化において選択され得る複数の色差の予測モードの各々の評価を表す複数の第１の値を取得する第１の取得手段と、前記符号化対象ブロックの輝度成分の符号化において選択され得る複数の輝度の予測モードの各々の評価を表す複数の第２の値を取得する第２の取得手段と、前記複数の輝度の予測モードのうち前記符号化対象ブロックの輝度成分を符号化する場合に用いる輝度の予測モードを決定する決定手段とを有し、前記第１の値は、前記色差の予測モードを用いて前記符号化対象ブロックの前記色差成分を符号化して算出される符号量に係る値であり、前記第２の値は、前記輝度の予測モードを用いて前記符号化対象ブロックの前記輝度成分を符号化して算出される符号量に係る値であり、前記決定手段は、各予測モードにおける前記第１の値と前記第２の値とを合計した値に基づいて、前記複数の輝度の予測モードから、前記符号化対象ブロックの輝度成分を符号化する場合に用いる輝度の予測モードを決定する。

本発明により、色差成分を考慮して輝度イントラ予測モードを決定することができる。このため、本発明により、輝度成分のみを考慮して輝度イントラ予測モードを決定する場合と比較して、色差成分の符号化効率を向上させ、符号量を低減させることが可能である。

実施形態１及び実施形態２の画像符号化装置の構成を示す図 実施形態１の符号化ブロック、予測ブロック、及び参照サンプルを示す図 実施形態１の輝度色差統合予測モード判定部の構成を示す図 実施形態１のイントラ予測モードを決定するフローチャートを示す図 実施形態１の輝度色差統合予測モード判定部におけるイントラ予測モード探索処理のタイミングチャートを示す図 実施形態１のイントラ予測モードの決定例を示す図 実施形態２の輝度色差統合予測モード判定部の構成を示す図 実施形態３の画像符号化装置の構成を示す図 ＨＥＶＣのイントラ予測モードを表す図 本発明の符号化方式変換装置に適用可能なコンピュータのハードウェア構成例を示すブロック図

＜実施形態１＞
本実施形態においては、一枚以上の入力画像を３２×３２画素の符号化ブロックに分割し、当該符号化ブロック単位で符号化が行われる。即ち、本実施形態においては、符号化ブロックサイズは３２×３２画素とする。また、本実施形態は、画面内予測（以下、イントラ予測）を用いて符号化する、Ｉスライスのみを符号化対象とすることを前提としている。即ち、動きベクトルを伴って画面間予測（以下、インター予測）を用いて符号化する、Ｐスライス、及びＢスライスは符号化対象としないものとする。

以下、本発明の実施形態１における画像符号化装置の動作について図１を用いて説明する。

全体制御部１３０は、画像符号化装置内の各処理部の制御、及び各処理部間のパラメータ伝達を行う。尚、図１において、全体制御部１３０と画像符号化装置内の各処理部との間の結線を省略している。そして、全体制御部１３０は画像符号化装置内の各処理部の制御、及び各処理部間のパラメータの読み書きを、パラメータ信号線またはレジスタバスのいずれかを通じて行うことが可能である。また、本実施形態において、図１の全体制御部１３０は、画像符号化装置内に設置されているが、本発明はこれに限定されない。即ち、全体制御部１３０は、当該画像符号化装置外に設置され、当該画像符号化装置内の各処理部の制御、及び各処理部間のパラメータの読み書きを、パラメータ信号線またはレジスタバスのいずれかを通じて行ってもよい。

ブロックバッファ１０１には、輝度成分の画素群（輝度サンプルと称す）、及び色差成分の画素群（色差サンプルと称す）から成る１つもしくは複数の符号化ブロックが記録されている。

ブロックサイズ設定部１０２は、ブロックバッファ１０１に記録された１つもしくは複数の符号化ブロックから１符号化ブロック毎に符号化対象である符号化対象ブロックを読み込む。そして、ブロックサイズ設定部１０２は、読み込んだ符号化対象ブロックに対して、予め決定した予測ブロックのサイズ（予測ブロックサイズ）、及び変換ブロックのサイズ（変換ブロックサイズ）を設定する。本実施形態においては、輝度成分の予測ブロックサイズは１６×１６画素、各色差成分の予測ブロックサイズは８×８画素であるとする。尚、色差成分はＣｂ成分、及びＣｒ成分から成り、本発明の各実施形態において、各色差成分とはＣｂ成分、及びＣｒ成分を示す。

イントラ予測部１１０は、ブロックバッファ１０１に記録された、符号化対象ブロックの輝度サンプル及び色差サンプルを読み込む。また、イントラ予測部１１０は、ブロックサイズ設定部１０２で設定された、輝度成分、及び各色差成分の予測ブロックサイズを夫々読み込む。そして、イントラ予測部１１０は、輝度成分のイントラ予測モード（輝度イントラ予測モード）の候補、及び色差成分のイントラ予測モード（色差イントラ予測モード）の候補から、輝度イントラ予測モード、及び色差イントラ予測モードを夫々探索する。

以下、輝度イントラ予測モードの候補、及び色差イントラ予測モードの候補を、輝度予測モード候補、及び色差予測モード候補と称す。尚、本実施形態においてＨＥＶＣを用いて符号化する場合、輝度予測モード候補としては、図９に示す３５個のモードが定義されている。また、色差予測モード候補としては、輝度イントラ予測モードに基づいて、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モード／輝度参照モード／モード３４（図９）の６個のモードが定義されている。

尚、輝度イントラ予測モードが、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モードのいずれかのモードである場合は、色差イントラ予測モードはＰｌａｎａｒモード／ＤＣモード／水平モード／垂直モード／輝度参照モードから選択することができる。また、輝度イントラ予測モードが、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モード以外のモードである場合は、色差イントラ予測モードはＰｌａｎａｒモード／ＤＣモード／水平モード／垂直モード／モード３４から選択することができる。即ち、色差イントラ予測モードとして、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モードのいずれかを使用する場合には、色差イントラ予測の符号化効率は輝度イントラ予測モードに依存しない。

イントラ予測部１１０内の構成要素の動作について、以下に述べる。

輝度予測モード探索部１１０１（第一のイントラ予測部）は、各輝度予測モード候補に対応して、輝度成分の参照ブロック（参照輝度ブロック）の生成、及び輝度成分の予測残差ブロック（輝度予測残差ブロック）の算出を夫々行う処理部である。同様に、色差予測モード探索部１１０３（第二のイントラ予測部）は、各色差予測モード候補に対応して、色差成分の参照ブロック（参照色差ブロック）の生成、及び色差成分の予測残差ブロック（色差予測残差ブロック）の算出を夫々行う処理部である。イントラ予測モードの候補（輝度予測モード候補、及び色差予測モード候補）から、符号化で使用するイントラ予測モード（輝度イントラ予測モード、及び色差イントラ予測モード）を探索するアルゴリズムについては後述する。

まず、輝度予測モード探索部１１０１は、輝度サンプルバッファ１１０２に記録されている、イントラ予測に必要な輝度成分の参照画素群（参照輝度サンプルと称す）を入力する。

輝度サンプルバッファ１１０２に記録されている、イントラ予測に必要な参照輝度サンプルを図２に示す。尚、当該参照輝度サンプルは、輝度イントラ予測部１１０６で再構成された輝度画素群から成る再構成輝度ブロックに基づくが、輝度イントラ予測部１１０６の処理については後述する。

本実施形態のように、符号化ブロックサイズが３２×３２画素の場合、符号化対象ブロックに隣接する符号化ブロック（隣接符号化ブロック）内の、以下に記す所定の輝度画素群（図２（ａ）の網かけ部分）が参照輝度サンプルとして必要となる。

・符号化対象ブロックの上方及び右斜め上に隣接する、隣接符号化ブロックの下端の６４画素（ｐ［０、−１］〜ｐ［６３、−１］）
・符号化対象ブロックの左方に隣接する、隣接符号化ブロックの右端の３２画素（ｐ［−１、０］〜ｐ［−１、３１］）
・符号化対象ブロックの左斜め上の１画素（ｐ［−１、−１］）
また、本実施形態のように、符号化対象ブロックの予測ブロックサイズが１６×１６画素の場合、同一符号化ブロック内の、以下の所定の輝度画素群（図２（ｂ）の網掛け部分）が参照輝度サンプルとして必要となる。

・各予測ブロックの右端の各１５画素（ｒ［１５、０］〜ｒ［１５、１４］、ｒ［３１、０］〜ｒ［３１、１４］、ｒ［１５、１６］〜ｒ［１５、３０］、ｒ［３１、１６］〜ｒ［３１、３０］）
・予測ブロックの下端の各１５画素（ｒ［０、１５］〜ｒ［１４、１５］、ｒ［１６、１５］〜ｒ［３０、１５］、ｒ［０、３１］〜ｒ［１４、３１］、ｒ［１６、３１］〜ｒ［３０、３１］）
・予測ブロックの右斜め下の１画素（ｒ［１５、１５］、ｒ［３１、１５］、ｒ［１５、３１］、ｒ［３１、３１］）
上述のように、輝度予測モード探索部１１０１は、隣接する符号化ブロック内の所定の輝度画素群（図２（ａ））と、符号化対象ブロック内の所定の輝度画素群（図２（ｂ））とを、参照輝度サンプルとして輝度サンプルバッファ１１０２から入力する。図２は輝度成分におけるイントラ予測に必要である参照輝度サンプルについてのみ図示したが、各色差成分におけるイントラ予測に必要である色差成分の参照画素群（参照色差サンプルと称す）についても同様である。即ち、色差予測モード探索部１１０３は、当該参照色差サンプルを色差サンプルバッファ１１０４から入力する。

次に、輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３において、各輝度予測モード候補、及び各色差予測モード候補に対応して、符号化で使用する輝度イントラ予測モード、及び色差イントラ予測モードを探索するアルゴリズムを説明する。

輝度予測モード探索部１１０１は、輝度予測モード候補のうちの探索対象のモード（輝度探索対象モード）で使用される参照輝度サンプルを輝度サンプルバッファ１１０２から読み込み、参照輝度ブロックを生成する。同様に、色差予測モード探索部１１０３は、色差予測モード候補のうちの探索対象のモード（色差探索対象モード）で使用される参照色差サンプルを色差サンプルバッファ１１０４から読み込み、参照色差ブロックを生成する。当該参照輝度ブロック、及び当該参照色差ブロックは、非特許文献１においてｐｒｅｄＳａｍｐｌｅ［ｘ、ｙ］として記載されている。即ち、３５個の各イントラ予測モードに対応する生成アルゴリズムは、非特許文献１の８．４．３．１節に記載されているので記述を省略する。

次に、輝度予測モード探索部１１０１は、符号化対象ブロック内の各予測ブロックに対して、輝度サンプルバッファ１１０２に記録された参照輝度サンプルから生成した参照輝度ブロックと、ブロックバッファ１０１から入力した輝度サンプルとの差分を算出する。これにより、輝度予測モード探索部１１０１は、符号化対象ブロック内の各予測ブロックに対して、当該参照輝度ブロックと当該輝度サンプルとの差分である輝度予測残差ブロックを生成する。同様に、色差予測モード探索部１１０３は、符号化対象ブロック内の各予測ブロックに対して、色差サンプルバッファ１１０４に記録された参照色差サンプルから生成した参照色差ブロックと、ブロックバッファ１０１から入力した色差サンプルとの差分を算出する。これにより、色差予測モード探索部１１０３は、当該参照色差ブロックと当該色差サンプルとの差分である色差予測残差ブロックを生成する。尚、本実施形態において、輝度予測残差ブロックは１６×１６画素、色差予測残差ブロックは各色差成分において夫々８×８画素である。

さらに、輝度予測モード探索部１１０１は、画像の輝度成分について生成した輝度予測残差ブロックを統合予測モード判定部１１０５に送出する。同様に、色差予測モード探索部１１０３は、各色差成分について夫々生成した各色差予測残差ブロックを統合予測モード判定部１１０５に送出する。

統合予測モード判定部１１０５は、輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３から、輝度探索対象モードに対応する輝度予測残差ブロック、及び色差探索対象モードに対応する色差予測残差ブロックを夫々入力する。さらに、統合予測モード判定部１１０５は、輝度予測モード候補、及び色差予測モード候補に対応する輝度予測残差ブロック、及び色差予測残差ブロックの推定発生符号量に関する評価値を夫々算出する。そして、算出した各評価値に基づいて、符号化で使用する輝度イントラ予測モード、及び色差イントラ予測モードを夫々決定する。評価値の算出方法、及び輝度イントラ予測モード及び色差イントラ予測モードの決定方法については後述する。

輝度イントラ予測部１１０６は、統合予測モード判定部１１０５で決定された輝度イントラ予測モードに対応する輝度予測残差ブロックを生成し、直交変換部１２０へ出力する。同様に、色差イントラ予測部１１０７は、統合予測モード判定部１１０５で決定された色差イントラ予測モードに対応する色差予測残差ブロックを生成し、直交変換部１２０へ出力する。

以下、直交変換部１２０が輝度イントラ予測部１１０６から輝度予測残差ブロックを入力した場合の、直交変換部１２０、量子化部１２１、エントロピー符号化及び多重化部１２２、逆量子化部１２３、及び逆直交変換部１２４における各処理を説明する。

直交変換部１２０は、ブロックサイズ設定部１０２で設定された変換ブロック単位で、輝度イントラ予測部１１０６で生成された輝度予測残差ブロックを夫々直交変換し、直交変換係数を生成する。さらに、直交変換部１２０は、生成した直交変換係数を量子化部１２１に出力する。

量子化部１２１は、全体制御部１３０から入力される量子化パラメータに基づいて、直交変換部１２０から入力された直交変換係数の量子化を行い、量子化した直交変換係数をエントロピー符号化及び多重化部１２２に送出する。

エントロピー符号化及び多重化部１２２は、量子化部１２１で量子化された直交変換係数のエントロピー符号化を行う。また、エントロピー符号化及び多重化部１２２は、統合予測モード判定部１１０５で決定された輝度イントラ予測モード等ヘッダ情報のエントロピー符号化も行う。エントロピー符号化及び多重化部１２２は、エントロピー符号化した直交変換係数とエントロピー符号化したヘッダ情報とを多重化し、多重化したデータを符号化ストリームとして画像符号化装置外へ出力する。

逆量子化部１２３は、量子化部１２１で量子化された直交変換係数に対して逆量子化を行う。

逆直交変換部１２４は、逆量子化部１２３で逆量子化された直交変換係数に対して、直交変換部１２０で直交変換する際に用いたものと同一の変換ブロック単位で逆直交変換を施す。さらに、逆直交変換部１２４は、逆直交変換した直交変換係数を復号し、輝度予測残差ブロックを生成する。逆直交変換部１２４は、生成した輝度予測残差ブロックを輝度イントラ予測部１１０６へ送出する。

上述では、各処理部１２０〜１２４が、輝度予測残差ブロックに対して施す処理について夫々説明したが、色差予測残差ブロックに対しても同様の処理を行う。即ち、直交変換部１２０が色差イントラ予測部１１０７から色差予測残差ブロックを入力した場合、各処理部１２０〜１２４は同様に、直交変換、量子化、エントロピー符号化及び多重化、逆量子化、及び逆直交変換の処理を夫々行う。逆直交変換部１２４は、生成した色差予測残差ブロックを色差イントラ予測部１１０７へ送出する。

輝度イントラ予測部１１０６は、逆直交変換部１２４で生成された復号輝度予測残差ブロックと、輝度イントラ予測部１１０６で輝度予測残差ブロックの生成時に使用した参照輝度ブロックとを加算し、再構成輝度ブロックを生成する。さらに、輝度イントラ予測部１１０６は、図２（ｃ）の網掛け部分に示すように、再構成輝度ブロック内の右端の画素群と下端の画素群とを再構成輝度サンプルとして輝度サンプルバッファ１１０２に記録する。即ち、再構成輝度サンプルは、再構成輝度ブロック内の右端の画素群（ｒ［１５、０］〜ｒ［１５、１５］）と下端の画素群（ｒ［０、１５］〜ｒ［１４、１５］）とからなる。同様にして、色差イントラ予測部１１０７は、逆直交変換部１２４で生成された復号色差予測残差ブロックと、色差イントラ予測部１１０７で色差予測残差ブロックの生成時に使用した参照色差ブロックとを加算し、再構成色差ブロックを生成する。さらに、色差イントラ予測部１１０７は、再構成色差ブロック内の右端の画素と下端の画素とを再構成色差サンプルとして色差サンプルバッファ１１０４に記録する。

輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３におけるイントラ予測モードの探索により、及び統合予測モード判定部１１０５におけるイントラ予測モードを決定するアルゴリズムについて、以下に説明する。

本実施形態において、輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３は、以下の順序で輝度イントラ予測モード、及び色差イントラ予測モードを探索する。尚、以下、非特許文献１の８．４．１節記載の名称を使用して説明する。

＃０： Ｉｎｔｒａ＿Ｐｌａｎａｒ（モード０、Ｐｌａｎａｒモード）
＃１： Ｉｎｔｒａ＿ＤＣ（モード１、ＤＣモード）
＃２： Ａｎｇｕｌａｒ＿１０（モード１０、水平モード）
＃３： Ａｎｇｕｌａｒ＿２６（モード２６、垂直モード）
＃４： Ａｎｇｕｌａｒ＿２（モード２）
＃５： Ａｎｇｕｌａｒ＿３（モード３）
｜
（モード１０、２６を除くモード４〜モード３４）
｜
＃３４： Ａｎｇｕｌａｒ＿３４（モード３４）
尚、上述したイントラ予測モードの括弧内のモード番号は図９のモード番号に対応している。例えば、Ａｎｇｕｌａｒ＿１０（モード１０）は図９における１０の方向の画素を予測に用いるモードである。

統合予測モード判定部１１０５は、輝度予測モード探索部１１０１で生成された輝度予測残差ブロック、及び色差予測モード探索部１１０３で生成された色差予測残差ブロックに基づいて、式１により評価値ＩＳｔｏｔａｌ［ｉ］を算出する。尚、統合予測モード判定部１１０５は、評価値ＩＳｔｏｔａｌ［ｉ］を、各イントラ予測モードの候補（各輝度予測モード候補、及び各色差予測モード）に対して夫々算出する。
ＩＳｔｏｔａｌ［ｉ］＝
（Ｗｙ［ｉ］×ＩＳｙ［ｉ］）＋（Ｗｃｂ［ｉ］×ＩＳｃｂ［ｉ］）＋（Ｗｃｒ［ｉ］＋ＩＳｃｒ［ｉ］）
ｗｉｔｈ ｉ＝０．．３４ 式１

式１において、ｉは探索対象のイントラ予測モードの候補を示しており、上記＃０〜＃３４に対応している。例えば、ＩＳｙ［２］は、輝度イントラ予測モードを水平モード（＃２）とした場合の輝度予測残差ブロックに基づく評価値である。

輝度評価値ＩＳｙ［ｉ］、Ｃｂ評価値ＩＳｃｂ［ｉ］、及びＣｒ評価値ＩＳｃｒ［ｉ］は、輝度予測残差ブロック、Ｃｂ成分予測残差ブロック、及びＣｒ成分予測残差ブロックの推定発生符号量を示す評価値である。本実施形態では、評価値を算出する手段（評価値算出手段）として、絶対値化した予測残差を予測残差ブロック内で合計する、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を使用する。また、式１においてＷｙ［ｉ］は輝度成分の重み、Ｗｃｂ［ｉ］はＣｂ成分の重み、Ｗｃｒ［ｉ］はＣｒ成分の重みを夫々示している。

式１を実現する統合予測モード判定部１１０５の構成を図３に示す。図３に示すように、本実施形態における統合予測モード判定部１１０５は、ＦＩＦＯ３０１〜３０３、評価値算出部３０４、重み付け評価部３０５、及び予測モード判定部３０６を有する。

ＦＩＦＯ３０１は、輝度予測モード探索部１１０１から輝度予測残差ブロックを入力し、蓄積する。同様に、ＦＩＦＯ３０２、及びＦＩＦＯ３０３は、色差予測モード探索部１１０３から各色差予測残差ブロック（Ｃｂ予測残差ブロック、及びＣｒ予測残差ブロック）を夫々入力し、蓄積する。各予測残差ブロック（輝度予測残差ブロック、Ｃｂ予測残差ブロック、及びＣｒ予測残差ブロック）は、夫々異なるタイミングで生成されることが一般的である。このため、統合予測モード判定部１１０５は、各予測残差ブロックをＦＩＦＯ３０１〜３０３に蓄積した後に評価値算出部３０４に送出する構成にすることで、同期を取ることができる。

評価値算出部３０４は、各ＦＩＦＯ３０１〜３０３から、輝度予測残差ブロック、Ｃｂ予測残差ブロック、及びＣｒ予測残差ブロックを夫々入力する。そして、評価値算出部３０４は、入力した輝度予測残差ブロック、Ｃｂ予測残差ブロック、及びＣｒ予測残差ブロックの評価値である輝度評価値ＩＳｙ［ｉ］、Ｃｂ評価値ＩＳｃｂ［ｉ］、Ｃｒ評価値ＩＳｃｒ［ｉ］を夫々算出する。評価値算出部３０４は、輝度評価値ＩＳｙ［ｉ］、Ｃｂ評価値ＩＳｃｂ［ｉ］、及びＣｒ評価値ＩＳｃｒ［ｉ］を夫々異なるタイミングで算出する。このため、各成分（輝度成分、Ｃｂ成分、及びＣｂ成分）で評価値を算出する評価値算出部を夫々用意する必要がなく、評価値算出部３０４を共有することが可能である。このため、評価値算出部３０４を有する本実施形態における画像符号化装置は、各成分で独立して評価値を算出する場合と比べて回路規模を削減することが可能である。

重み付け評価部３０５は、各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］と、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｒ［ｉ］とを夫々重み付け（乗算）して加算することにより、評価値ＩＳｔｏｔａｌ［ｉ］を算出する。評価値ＩＳｔｏｔａｌ［ｉ］は、各イントラ予測モードの候補（各輝度予測モード候補、及び各色差予測モード候補）において、夫々算出される。

イントラ予測モード判定部３０６は、重み付け評価部３０５から各イントラ予測モード候補の評価値である評価値ＩＳｔｏｔａｌ［ｉ］を夫々入力し、蓄積する。全イントラ予測モード候補の中で評価値ＩＳｔｏｔａｌ［ｉ］が最小となるモード、即ち符号量が最小となるモードを最適なイントラ予測モードとして、輝度イントラ予測モード、及び色差イントラ予測モードを決定する。尚、イントラ予測モード判定部３０６は、後述するように、重み付け評価部３０５で決定された色差イントラ予測モードを出力することも可能である。

以下、重み付け評価部３０５における各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］の決定方法、及びイントラ予測モード判定部３０６における輝度イントラ予測モード及び色差イントラ予測モードの決定方法について、図４のフローチャートを用いて説明する。

ステップＳ４０１において、重み付け評価部３０５は各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］に対して初期値を設定する。尚、本実施形態において、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］の初期値は、式２〜式４のように、輝度成分と各色差成分の量子化パラメータの比に基づいた値とする。
Ｗｙ［ｉ］ ＝ １ 式２
Ｗｃｂ［ｉ］＝αｃｂ×ｑｐ＿ｌｕｍａ／（ｑｐ＿ｌｕｍａ＋ｑｐ＿ｃｂ＿ｏｆｆｓｅｔ） 式３
Ｗｃｒ［ｉ］＝αｃｒ×ｑｐ＿ｌｕｍａ／（ｑｐ＿ｌｕｍａ＋ｑｐ＿ｃｒ＿ｏｆｆｓｅｔ） 式４

式３、及び式４における各パラメータについて説明する。

まず、ｑｐ＿ｌｕｍａは符号化対象ブロックの輝度成分の量子化パラメータである。また、ｑｐ＿ｃｂ＿ｏｂｂｓｅｔ、及びｑｐ＿ｃｒ＿ｏｂｂｓｅｔは、各色差成分（Ｃｂ成分、及びＣｒ成分）の量子化パラメータオフセットであり、輝度成分の量子化パラメータからのオフセット（差分値）を示す。また、αｃｂ、及びαｃｒは、画像符号化装置のユーザー等により任意の値に設定することが可能なパラメータ値であり、画像の内容や用途に応じてカスタマイズすることができる。尚、重み付け評価部３０５は、ユーザー等が予め設定したデータ容量に基づくターゲット符号量や、ヘッダ情報の符号量に基づいてαｃｂ、及びαｃｒを設定することで、各成分の符号量を調整することが可能である。また、式２〜式４に示した、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］の初期値、及び各パラメータ値αｃｂ、αｃｒは、図１の全体制御部１３０によって重み付け評価部３０５に設定される。

ステップＳ４０２において、重み付け評価部３０５は、後述する色差イントラ予測をＰｌａｎａｒモード／ＤＣモード／水平モード／垂直モードのいずれかのモードに決定するために閾値ＴｈＣを設定する。尚、閾値ＴｈＣは、ユーザー等により全体制御部１３０に設定され、さらに、全体制御部１３０から重み付け評価部３０５へ入力される。

ステップＳ４０３において、重み付け評価部３０５は、輝度イントラ予測モード及び色差イントラ予測モードにおける所定のモードに対応する各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］、及びＩＳｔｏｔａｌ［ｉ］を夫々算出する。尚、本実施形態において、所定のモードとは、Ｐｌａｎａｒモード（＃０）／ＤＣモード（＃１）／水平モード（＃２）／垂直モード（＃３）のことである。そして、当該所定のモード＃０〜＃３は、輝度イントラ予測モードに依存せずに、色差イントラ予測モードとして選択できるモードである。

ステップＳ４０４において、重み付け評価部３０５は、ステップＳ４０３で算出した各所定のモードにおけるＣｂ評価値ＩＳｃｂ［ｉ］とＣｒ評価値ＩＳｃｒ［ｉ］の和（ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］）の最小値を算出する。尚、本実施形態において、ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］を色差成分評価値と称す。そして、重み付け評価部３０５は、算出した当該色差成分評価値の最小値と、ステップＳ４０２において設定された閾値ＴｈＣとを比較し、当該色差成分評価値の最小値が当該閾値ＴｈＣ以下であるか否かを判定する。そして、当該色差成分評価値の最小値が当該閾値ＴｈＣ以下である場合、ステップＳ４０５に進み、当該色差成分評価値の最小値が当該閾値ＴｈＣより大きい場合、ステップＳ４０８に進む。

尚、本実施形態において、重み付け評価部３０５は、色差成分評価値の最小値と、全体制御部１３０に設定された閾値ＴｈＣとを比較し、当該色差成分評価値の最小値が当該閾値ＴｈＣ以下であるか否かを判定するが、本発明はこれに限定されない。即ち、ステップＳ４０３で算出した各所定のモードにおける色差成分評価値のうち、当該閾値ＴｈＣ以下であるモードがあるかないかを判定してもよい。各所定のモードにおける色差成分評価値のうち、当該閾値ＴｈＣ以下であるモードがある場合にテップＳ４０５に進み、当該閾値ＴｈＣ以下のモードがない場合に、ステップＳ４０８に進むようにしてもよい。

ステップＳ４０４でＹＥＳ（色差成分評価値ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］の最小値が閾値ＴｈＣ以下である）と判定された場合、重み付け評価部３０５は、ステップＳ４０５の処理を行う。ステップＳ４０５において、重み付け評価部３０５は、所定のモードのうち色差成分評価値ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］の最小値に対応するモードを、色差成分の符号化において用いる色差イントラ予測モードとして決定する。さらに、重み付け評価部３０５は、決定した色差イントラ予測モードをイントラ予測モード判定部３０６に送出する。ステップＳ４０５において、色差成分評価値の最小値が閾値ＴｈＣ以下であり、十分小さいことから、当該色差成分評価値の最小値に対応するモードを色差イントラ予測モードとして用いることで、色差成分に対して十分な符号化効率を実現できると判断する。

ステップＳ４０６において、重み付け評価部３０５は、各所定のモード＃０〜＃３以外の各モード＃４〜＃３４に対応する輝度評価値ＩＳｙ［ｉ］を算出する。尚、全体制御部１３０は、重み付け評価部３０５で使用される色差成分の各重みＷｃｂ［ｉ］、Ｗｃｂ［ｉ］をゼロに設定してもよい。即ち、ステップＳ４０６において全体制御部１３０は、各モード＃０〜＃３４に対応する評価値ＩＳｔｏｔａｌ［ｉ］をＩＳｔｏｔａｌ［ｉ］＝ＩＳｙ［ｉ］と変更し、重み付け評価部３０５が評価値ＩＳｔｏｔａｌ［ｉ］を算出するようにしてもよい。ここで、ステップＳ４０４で決定された色差イントラ予測モードは、輝度イントラ予測モードがどのモードを使用していても選択可能である。このため、輝度評価値ＩＳｙ［ｉ］のみを算出する、または色差成分の各重みＷｃｂ［ｉ］、Ｗｃｂ［ｉ］をゼロに設定して評価値ＩＳｔｏｔａｌ［ｉ］を算出することにより、輝度成分のみを考慮して最適な輝度イントラ予測モードを探索することができる。

ステップＳ４０７において、イントラ予測モード判定部３０６は、輝度予測モード候補である各モード＃０〜＃３４のうち、輝度評価値ＩＳｙ［ｉ］が最小となるモードを輝度イントラ予測モードとして決定する。尚、ステップＳ４０６において全体制御部１３０が色差成分の各重みＷｃｂ［ｉ］、Ｗｃｂ［ｉ］をゼロに設定し、重み付け評価部３０５が評価値ＩＳｔｏｔａｌ［ｉ］を算出した場合は次のような処理を行う。即ち、この場合、イントラ予測モード判定部３０６は、ゼロに設定された色差成分の各重みＷｃｂ［ｉ］、Ｗｃｂ［ｉ］を用いて、評価値ＩＳｔｏｔａｌ［ｉ］が最小となるモードをイントラ予測モードとして決定してもよい。

上述したように、ステップＳ４０４〜４０７の処理により、色差イントラ予測モードとして輝度イントラ予測モードに依存しない所定のモードを使用した場合の評価値に基づいて色差イントラ予測モードを決定する。そして、輝度評価値ＩＳｙ［ｉ］のみに基づいて輝度イントラ予測モードを決定する。これにより、色差イントラ予測モードとして所定のモードを設定した場合の評価値が閾値ＴｈＣ以下の場合、全ての色差予測モード候補ついて探索する必要がなく、演算量を減少することができる。また、色差イントラ予測モードとして所定のモードを設定した場合の評価値が閾値ＴｈＣ以下の場合、色差成分の符号化効率に過剰に影響されることなく輝度イントラ予測モードを選択することが可能になる。

ステップＳ４０８において、重み付け評価部３０５は、各所定のモード＃０〜＃３以外の各モード＃４〜＃３４に対応する各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］、及びＩＳｔｏｔａｌ［ｉ］を夫々算出する。

ステップＳ４０９において、イントラ予測モード判定部３０６は、輝度予測モード候補である各モード＃０〜＃３４のうち、評価値ＩＳｔｏｔａｌ［ｉ］が最小となるモードを輝度イントラ予測モードとして決定する。また、ステップＳ４０９において、イントラ予測モード判定部３０６は、色差イントラ予測モードを輝度参照モードに決定する。即ち、ステップＳ４０４でＮＯ（色差成分評価値の最小値が閾値ＴｈＣより大きい）と判定された場合、イントラ予測モード判定部３０６は、ステップＳ４０９で決定した輝度イントラ予測モードと同じモードを当該色差イントラ予測モードとして決定する。

上述したように、各輝度予測モード候補と各色差予測モード候補とに対応する評価値を重み付けして夫々算出することにより、色差成分の符号化効率を考慮して輝度イントラ予測モード、及び色差イントラ予測モードを決定することができる。

次に、輝度予測モード探索部１１０１、色差予測モード探索部１１０３、及び統合予測モード判定部１１０５の各動作を時系列で示したタイミングチャートを図５に示す。図５は、図２（ａ）で示した３２×３２画素の各符号化ブロックを符号化するタイミングチャートを示しており、１６×１６画素の予測ブロックを４ブロック分処理する様子を示している。

時刻ｔ１において、輝度予測モード探索部１１０１は、輝度サンプルバッファ１１０２から入力した参照輝度サンプルに基づいて、Ｉｎｔｒａ＿Ｐｌａｎａｒ（＃０、図５では０と表記）に対応する参照輝度ブロックの生成を行う。そして、輝度予測モード探索部１１０１は、ブロックバッファ１０１から入力した予測対象ブロック（図２における予測ブロック１）の輝度サンプルと、生成した参照輝度ブロックとの差分である輝度予測残差ブロックを算出する。さらに、輝度予測モード探索部１１０１は、算出した輝度予測残差ブロックを統合予測モード判定部１１０５に送出する。続いて、Ｉｎｔｒａ＿ＤＣ（＃１、図５では１と表記）、Ａｎｇｕｌａｒ＿１０〜Ａｎｇｕｌａｒ＿３４（＃２〜３４、図５では２〜３４と表記）についても同様に輝度予測残差ブロックを夫々算出し、統合予測モード判定部１１０５に送出する。このように、輝度予測モード探索部１１０１は、輝度予測モード候補である全て（３５個）のモードについて夫々探索処理を行う。

時刻ｔ２において、色差予測モード探索部１１０３は、各色差成分（Ｃｂ成分及びＣｒ成分）において、色差サンプルバッファ１１０４から入力した参照色差サンプルに基づいて、Ｉｎｔｒａ＿Ｐｌａｎａｒ（＃０）に対応する参照色差ブロックの生成を行う。そして、色差予測モード探索部１１０３は、ブロックバッファ１０１から読み込んだ、予測対象ブロック（図２における予測ブロック１）の色差サンプルと、生成した参照色差ブロックとの差分である色差予測残差ブロックを算出する。さらに、色差予測モード探索部１１０３は、算出した色差予測ブロックを統合予測モード判定部１１０５に送出する。続いて、Ｉｎｔｒａ＿ＤＣ（＃１）、Ａｎｇｕｌａｒ＿１０〜Ａｎｇｕｌａｒ＿３４（＃２〜＃３４）についても同様に色差予測残差ブロックを夫々算出し、統合予測モード判定部１１０５に送出する。このように、色差予測モード探索部１１０３は、色差予測モード候補である全て（３５個）のモードについて探索する。

尚、本実施形態において、色差予測モード探索部１１０３は、１つの色差予測モード候補について、各色差成分（Ｃｂ成分及びＣｒ成分）の色差予測残差ブロックを夫々生成してから、次の色差予測モード候補の探索を行う。また、本実施形態において、入力画像フォーマットは４：２：０である。入力画像フォーマットが４：２：０の場合、符号化ブロックに含まれるＣｂ成分の画素サンプル数は輝度成分の画素サンプル数の１／４である。このため、輝度成分の予測残差ブロック生成処理よりも色差成分の予測残差ブロック生成処理は高速に行うことができる。

時刻ｔ３において、統合予測モード判定部１１０５は、全成分（輝度成分、Ｃｂ成分、Ｃｒ成分）の予測残差ブロックが、ＦＩＦＯ３０１〜３０３において利用可能になっているため、各予測モード候補の評価値の算出を行う。

時刻ｔ４において、イントラ予測モード判定部３０６は、全ての輝度予測モード候補、及び色差予測モード候補に対応する評価値が算出されているため、輝度イントラ予測モード、及び色差イントラ予測モードを図４で示したフローチャートのように決定する。

上記の処理を、符号化対象ブロック内の全予測ブロック、及び画面内の符号化ブロック数分だけ繰り返すことにより、画面全体を符号化する。

次に、上述の重み付けを用いたアルゴリズムによる、輝度イントラ予測モード、及び色差イントラ予測モードの決定例を図６に示す。図６（ａ）、（ｂ）は、ある入力画像に対する、各イントラ予測モードの探索過程及び決定例を示した図であり、図中の数字は各イントラ予測モードに対応する予測残差ブロックの評価値を夫々例示している。

尚、表記を簡略化するために、イントラ予測モードは７つのモードのみを抜粋し表記しているが、本発明において用いられるイントラ予測モードは当該７つのモードに限定されない。即ち、イントラ予測モードとして、使用可能である全３５モード用いてもよいし、任意の一部のイントラ予測モード群のみを用いてもよい。尚、図６に示す各評価値の例において、式３、及び式４における各パラメータ値αｃｂ、αｃｒは夫々「１」であるとしている。同様に、各色差成分の量子化パラメータオフセットｑｐ＿ｃｂ＿ｏｆｆｓｅｔ、ｑｐ＿ｃｒ＿ｏｆｆｓｅｔは、夫々ゼロとしており、各色差成分の重みＷｃｂ［ｉ］、Ｗｃｂ［ｉ］の初期値は、夫々１となる。また、図４のステップＳ４０２で設定される閾値ＴｈＣは１０００としている。

一方、図６（ａ）において、従来技術のように輝度成分のみを考慮して最適な輝度イントラ予測モードを決定する場合、輝度イントラ予測モードとして、推定発生符号量がもっとも小さい輝度イントラ予測モードであるＡｎｇｕｌａｒ＿１０（水平モード）を選択する。しかし、輝度イントラ予測モードがＡｎｇｕｌａｒ＿１０の場合、色差イントラ予測モードとして、色差成分にとって符号化効率が優れるモードであるＡｎｇｕｌａｒ＿１８を選択することができず、輝度成分と色差成分との合計の発生符号量は最適とならない。このため、図６（ａ）において、輝度成分のみを考慮して輝度イントラ予測モードを選択する場合、本発明により色差成分を考慮して輝度イントラ予測モードを選択するよりも符号化効率が低下してしまう。

一方、図６（ａ）において、輝度成分だけでなく色差成分も考慮した評価値ＩＳｔｏｔａｌ［ｉ］が最小になるのは、輝度イントラ予測モードと色差イントラ予測モードとをＡｎｇｕｌａｒ＿１８とした場合である。従って、本実施形態において符号化方式としてＨＥＶＣを用いる場合、輝度イントラ予測モードとしてＡｎｇｕｌａｒ＿１８を選択し、色差イントラ予測モードとして輝度参照モードを選択する。これにより、色差イントラ予測モードとしてＡｎｇｕｌａｒ＿１８を使用することができる。このように、輝度成分だけでなく色差成分も考慮することにより、輝度成分と色差成分との合計の発生符号量が最適（最小）となる輝度イントラ予測モードを選択可能である。

図６（ｂ）は、色差イントラ予測モードの評価値に関する閾値ＴｈＣが有効に作用する例を示した図である。Ａｎｇｕｌａｒ＿２６（垂直モード）について、輝度成分の評価値ＩＳｙ［ｉ］は最適でないが、各色差成分の評価値ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］は最適であり、色差成分評価値ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］が閾値ＴｈＣである１０００を下回っている。このため、図６（ｂ）では、色差イントラ予測モードを輝度成分に依存せず選択可能なＡｎｇｕｌａｒ＿２６に決定し、輝度イントラ予測モードを輝度成分の評価値ＩＳｙ［ｉ］が最適（最小）となるＡｎｇｕｌａｒ＿１０（水平モード）に決定する。このように、色差イントラ予測モードにおいて、輝度成分に依存せずに選択可能なモードの評価値が十分小さい場合には、輝度イントラ予測モードと、色差イントラ予測モードとで夫々異なるモードを使用し、最適な符号化効率を実現することができる。

尚、本実施形態において輝度成分の予測ブロックサイズは１６×１６画素、各色差成分の予測ブロックサイズは８×８画素であるが、本発明はこれに限定されない。即ち、ＨＥＶＣにおいて取り得る予測ブロックサイズ（６４×６４画素、３２×３２画素、１６×１６画素、８×８画素、４×４画素）のうち、符号化ブロックサイズ以下のサイズのいずれかを使用してもよい。例えば、ＨＥＶＣを用いた符号化において、符号化ブロックサイズが３２×３２画素である場合、予測ブロックサイズとしては３２×３２画素、１６×１６画素、８×８画素、または４×４画素のいずれかを使用することが可能である。

また、本発明は変換ブロックサイズに限定されない。即ち、ＨＥＶＣを用いた画像符号化装置において、ＨＥＶＣにおいて取り得る変換ブロックサイズ（３２×３２画素、１６×１６画素、８×８画素、４×４画素）のうち、符号化ブロックサイズ以下のサイズのいずれかを使用してよい。例えば、ＨＥＶＣを用いた符号化において、符号化ブロックサイズが３２×３２画素である場合、変換ブロックサイズとしては３２×３２画素、１６×１６画素、８×８画素、または４×４画素のいずれかを使用することが可能である。

また、本実施形態においてブロックサイズ設定部１０２は、符号化対象ブロックのデータを解析した結果に基づいて、予め予測ブロックサイズを決定するが、本発明はこれに限定されない。即ち、ブロックサイズ設定部１０２は、使用可能な全ての予測ブロックサイズについて、イントラ予測部１１０を夫々動作させ、最適な予測ブロックサイズを探索してもよい。また、ブロックサイズ設定部１０２は、本実施形態の画像符号化装置の内外で予め決定された、予測ブロックサイズ、及び変換ブロックサイズを読み込んで、夫々設定してもよい。さらに、本発明は予測ブロックサイズの決定方法について、特定のアルゴリズムに依存せず、既存のいかなるアルゴリズムも適用することが可能である。

また、本実施形態において、輝度予測モード探索部１１０１は、輝度サンプルバッファ１１０２に記録されている所定の輝度画素群を参照輝度サンプルとして使用する。同様に、本実施形態において、色差予測モード探索部１１０３は、色差サンプルバッファ１１０４に記録されている所定の色差画素群を参照色差サンプルとして使用する。しかし、本発明はこれに限定されない。即ち、輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３は、ブロックバッファ１０１に記録されている、符号化対象ブロック及び隣接符号化ブロックの輝度サンプル、及び色差サンプルを使用して各イントラ予測モードを探索してもよい。これにより、探索処理を高速化することが可能である。

本実施形態において、イントラ予測モードの候補を全て評価するアルゴリズムを使用したが、本発明はこれに限定されない。即ち、高速化のために、一部のイントラ予測モードの候補の評価を省略する等してイントラ予測モードの探索するアルゴリズムについても、同様の方法で適用することができる。また、各イントラ予測モードの候補の探索順序についても上記に限定されず、いかなる順番で探索することも可能である。

尚、本実施形態において、入力画像フォーマットは４：２：０であると仮定したが、本発明はこれに限定されない。即ち、輝度成分の画素サンプル数（輝度サンプル数）と色差成分のサンプル数（色差サンプル数）の比には依存せず、一般的に使用されている４：２：０、４：２：２、及び４：４：４のいかなる入力画像フォーマットにおいても使用することが可能である。

また、本実施形態では、輝度成分、及び色差成分のイントラ予測モードに対応する各評価値を重み付けして算出することにより、輝度イントラ予測モードを決定したが、本発明はこれに限定されない。即ち、色差成分の符号化効率を考慮して輝度イントラ予測モードを決定する方法であればよい。本実施形態において、重み付け評価部３０５は、各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］と、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｒ［ｉ］とを夫々重み付け（乗算）して加算することにより、評価値ＩＳｔｏｔａｌ［ｉ］を算出した。しかし、本発明はこれに限定されず、各色差評価値ＩＳｃｂ［ｉ］、及びＩＳｃｒ［ｉ］のみを算出し、各重みＷｃｂ［ｉ］、及びＷｃｒ［ｉ］を用いて重み付けすることにより、輝度イントラ予測モードを決定してもよい。これにより、輝度評価値ＩＳｙ［ｉ］を算出する必要がないため、演算量を削減できる。

尚、式２〜式４において、各重みＷｙ、Ｗｃｂ、Ｗｃｒは、輝度サンプル数と色差サンプル数の比を使用せずに算出されるが、これは本実施形態において各評価値の算出に用いる評価値算出手段であるＳＡＤが各サンプル数に比例して算出される値のためである。このため、輝度サンプル数と色差サンプル数の比に依存しない評価値を使用する場合には、後述する実施形態のように、各サンプル数に基づいて各重みＷｙ、Ｗｃｂ、Ｗｃｒを夫々決定する必要がある。

また、評価値算出手段も上述のＳＡＤに限定されず、予測残差ブロックの分散等のいかなる算出手段を用いて評価値を使用することも可能である。また、本実施形態は、イントラ予測を用いて符号化する、Ｉスライスのみを符号化対象とし、動きベクトルを伴ってインター予測を用いて符号化する、Ｐスライス、及びＢスライスは符号化対象としないものとしたが、本発明はこれに限定されるものではない。即ち、後述する実施形態３のようにＰスライスまたはＢスライス内でイントラ予測を用いて符号化ブロックを符号化する際に適用してもよい。

＜実施形態２＞
次に、本発明の実施形態２について説明する。本実施形態における画像符号化装置の構成は図１と同一であるが、本実施形態において、図１の統合予測モード判定部１１０５の内部の構成が実施形態１における図３とは異なる。また、本実施形態では、各イントラ予測モードに対する評価値を算出する評価値算出手段として、実施形態１で使用したＳＡＤとは異なる手段を使用する。尚、本実施形態において、図４のフローチャート、及び図５のタイミングチャートについては、実施形態１と同一の図が適用可能であるため、説明は省略する。また、本実施形態において、入力画像フォーマットは４：２：０であると仮定する。

図７は、本実施形態における統合予測モード判定部１１０５の内部構成を示した図であり、評価値算出部７０１、７０２、７０３、ＦＩＦＯ７０４、７０５、７０６、重み付け評価部７０７、及び予測モード判定部３０６を有する。尚、図７において、図３と同じ処理を行う処理部は同じ符号を付与して説明を省略する。

評価値算出部７０１は、図１の輝度予測モード探索部１１０１から入力した輝度予測残差ブロックに対して評価値ＩＳｙ［ｉ］を算出し、ＦＩＦＯ７０４に格納する。評価値算出部７０２、及び評価値算出部７０３は、図１の色差予測モード探索部１１０３から入力した色差予測残差ブロックに対して評価値ＩＳｃｂ［ｉ］、及び評価値ＩＳｃｒ［ｉ］を夫々算出し、さらに、ＦＩＦＯ７０５、及びＦＩＦＯ７０６に夫々格納する。

重み付け評価部７０７は、各ＦＩＦＯ７０４、７０５、７０６から読み出した各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］を実施形態１の図３における重み付け評価部３０５における処理と同様に重み付け加算し、ＩＳｔｏｔａｌ［ｉ］を算出する。このように、各輝度予測モード候補と各色差予測モード候補とに対応する評価値を重み付けして夫々算出することにより、色差成分の符号化効率を考慮して輝度イントラ予測モード、及び色差イントラ予測モードを決定することができる。

本実施形態において、各評価値算出部７０１、７０２、７０３における各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］は、３２×３２画素の輝度予測残差ブロック、及び１６×１６画素の色差予測残差ブロックにおける最大絶対値を夫々使用する。

また、本実施形態において、重み付け評価部３０５における輝度予測残差ブロック、及び色差予測残差ブロックに対する各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］の初期値は以下のように決定される。
Ｗｙ［ｉ］ ＝４ 式５
Ｗｃｂ［ｉ］＝αｃｂ×ｑｐ＿ｌｕｍａ／（ｑｐ＿ｌｕｍａ＋ｑｐ＿ｃｂ＿ｏｆｆｓｅｔ） 式６
Ｗｃｒ［ｉ］＝αｃｒ×ｑｐ＿ｌｕｍａ／（ｑｐ＿ｌｕｍａ＋ｑｐ＿ｃｒ＿ｏｆｆｓｅｔ） 式７
本実施形態では、各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］を算出するための評価値算出手段として、実施形態１で用いたＳＡＤ（入力画像フォーマットに依存する算出手段）ではなく、入力画像フォーマットに依存しない手段を用いる。このため、式５のように、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］の初期値に輝度サンプル数と色差サンプル数の比を反映させている。本実施形態において、入力画像フォーマットは４：２：０である。入力画像フォーマットが４：２：０である場合、輝度サンプル数は色差サンプル数の４倍であるため、式５においてＷｙ［ｉ］＝４としている。

このように、入力画像フォーマットに依存しない評価値算出手段を用いて各評価値を算出する場合でも、各重みに入力画像フォーマットに基づく輝度サンプル数及び色差サンプル数の違いを反映させることで、適切なＩＳｔｏｔａｌ［ｉ］を算出することができる。尚、本実施形態は入力画像フォーマットとして４：２：０を用いたが、４：２：２、及び４：４：４等のいかなる入力画像フォーマットを用いる場合も、重みの初期値を適宜変更することにより、容易に対応することが可能である。

また、本実施形態における統合予測モード判定部１１０５の構成は、前述した実施形態１における評価値算出部３０４に比べて各評価値算出部７０１〜７０３の回路規模が大きくなる。一方、本実施形態における各ＦＩＦＯ７０４〜７０６が夫々必要とする容量は、実施形態１における各ＦＩＦＯ３０１〜３０３に比べて少なくなる。

実施形態１において、ＦＩＦＯ３０１が輝度イントラ予測モード１つ分の輝度予測残差ブロックを保持するためには、符号化ブロックサイズが３２×３２画素であることから、３２×３２画素分の容量が必要となる。即ち、各予測残差ブロックは９ビットであるため、実施形態１におけるＦＩＦＯ３０１は輝度イントラ予測モード１つにつき、３２×３２×９＝９２１６ビットの容量が必要となる。

一方、本実施形態において、ＦＩＦＯ７０４が輝度イントラ予測モード１つ分の輝度予測残差ブロックに対する評価値を保持するためには、評価値１つ分のデータ量が一般的に３２ビットであることから、３２ビットの容量が必要となる。即ち、実施形態１のＦＩＦＯ３０１が輝度イントラ予測モード１つにつき必要な容量が９２１６ビットなのに対し、本実施形態のＦＩＦＯ７０１が輝度イントラ予測モード１つにつき必要な容量は３２ビットであり、本実施形態により必要な容量を削減できる。特に、予測ブロックサイズが大きくなるほど、本実施形態の構成の方が実施形態１の構成に比べて回路規模が少なくなり、結果として低コストを実現することが可能である。尚、本実施形態において予測ブロックサイズ、及びイントラ予測モード探索アルゴリズムは、実施形態１と同様のものを用いたが、本発明は特定の予測ブロックサイズ、及びイントラ予測モード探索アルゴリズムに限定されない。

＜実施形態３＞
次に、本発明の実施形態３について説明する。前述した実施形態１、及び実施形態２において、各符号化ブロックはイントラ予測を用いて符号化する、Ｉスライスのみを使用することを前提としていた。本実施形態では、イントラ予測に加え、動きベクトルを伴いインター予測を用いて符号化する、Ｐスライス、及びＢスライスを用いて符号化する画像符号化装置に本発明を適用する。

図８は、本実施形態における画像符号化装置を示す図であり、実施形態１、及び実施形態２における図１と同じ処理を行う処理部は、図１と同じ符号を付与して説明を省略する。

動きベクトル探索部８０１は、予め定められた動きベクトル探索アルゴリズムに基づいて、動きベクトルの候補（動きベクトル候補）を算出する。動きベクトル探索部８０１は、算出した動きベクトル候補のうち、探索対象である動きベクトル（探索対象ベクトル）に対応する、再構成輝度サンプルを動き予測用メモリ８０６から読み込む。動きベクトル探索部８０１は、ブロックサイズ設定部１０２で設定された予測ブロックサイズに基づいて、動き予測用メモリ８０６から読み込んだ再構成輝度サンプルから参照輝度ブロックを生成する。尚、本実施形態において、実施形態１、及び実施形態２と同様に、予測ブロックサイズは１６×１６画素とする。このため、本実施形態において、動き予測用メモリ８０６から読み込む再構成輝度サンプル、及び動きベクトル探索部８０１で生成される参照輝度ブロックのサイズは１６×１６画素である。尚、動き予測用メモリに記録されている再構成輝度サンプルの生成方法等については後述する。

そして、動きベクトル探索部８０１は、生成した参照輝度ブロックと、ブロックバッファ１０１から入力した、予測対象ブロックの輝度サンプルとの差分を算出し、輝度予測残差ブロックを生成する。さらに、動きベクトル探索部８０１は、生成した輝度予測残差ブロックに基づいて、各動きベクトル候補に対応する評価値を夫々算出する。尚、当該評価値は当該輝度予測残差ブロックの推定発生量を示す。さらに、当該評価値を算出する方法としては、ＳＡＤ等いかなる算出方法も用いることができる。動きベクトル探索部８０１は、全ての動きベクトル候補について、同様に、各評価値を夫々算出し、算出した当該各評価値のうちの最適な評価値に対応する動きベクトル候補を予測で使用する動きベクトルとして決定する。そして、動きベクトル探索部８０１は、決定した動きベクトルを動き予測部８０２に伝達する。

本実施形態では、動きベクトル探索部８０１は輝度成分について考慮して動きベクトルを算出するが、本発明はこれに限定されない。即ち、動きベクトル探索部８０１は、上述した輝度成分に対する処理と同様の処理により色差予測残差ブロックを生成し、当該色差予測残差ブロックに基づいて算出した各動きベクトル候補の評価値により動きベクトルを決定してもよい。さらに、動きベクトル探索部８０１は、輝度予測残差ブロックに基づいて算出された各評価値と色差予測残差ブロックに基づいて算出された各評価値との両方を考慮して動きベクトルを決定してもよい。

次に、動き予測部８０２は、動きベクトル探索部８０１で決定された動きベクトルに基づいて、当該動きベクトルに対応する再構成輝度サンプルを動き予測用メモリ８０６から読み込み、参照輝度ブロックを生成する。さらに、動き予測部８０２は、生成した参照輝度ブロックと、ブロックバッファ１０１から入力した輝度サンプルとの差分である輝度予測残差ブロックを生成し、生成した輝度予測残差ブロックに対する評価値を算出する。さらに、動き予測部８０２は、動きベクトル探索部８０１で決定された動きベクトルを、エントロピー符号化及び多重化部１２２に送出する。

全体制御部８３０は、イントラ予測部１１０で算出された評価値と、動き予測部８０２で算出された評価値とを比較する。尚、イントラ予測部１１０で算出された評価値とは、統合予測モード判定部１１０５で決定された輝度イントラ予測モードに対して算出した評価値である。また、動き予測部８０２で算出された評価値とは、動きベクトル探索部８０１で決定された動きベクトルに対して算出した評価値である。さらに、全体制御部８３０は、比較結果に基づいて、予測対象ブロックの予測においてイントラ予測またはインター予測のどちらを使用するかを決定し、決定した予測方法を選択部８０３へ伝達する。

選択部８０３は、全体制御部８３０で決定された予測方法に基づいて、当該決定された予測方法の輝度予測残差ブロックをイントラ予測部１１０、または動き予測部８０２から入力し、入力した輝度予測残差ブロックを直交変換部１２０に出力する。即ち、全体制御部８３０で決定された予測方法がイントラ予測の場合、選択部８０３はイントラ予測部１１０から輝度予測残差ブロックを入力し、直交変換部１２０に出力する。一方、全体制御部８３０で決定された予測方法がインター予測の場合、選択部８０３は動き予測部８０２から輝度予測残差ブロックを入力し、直交変換部１２０に出力する。

直交変換部１２０、量子化部１２１、及びエントロピー符号化及び多重化部１２２は、選択部８０３から入力された輝度予測残差ブロックに対して、直交変換、量子化、エントロピー符号化及び多重化の処理を夫々行う。尚、逆量子化部１２３、及び逆直交変換部１２４は、実施形態１、及び実施形態２と同様の処理を行うので説明は省略する。

動き予測部８０２は、逆直交変換部１２４で復号され、生成された輝度予測残差ブロックを入力する。そして、動き予測部８０２は、入力した当該輝度予測残差ブロックと動きベクトル探索部８０１で輝度予測残差ブロックを生成するために用いられた参照輝度ブロックとを加算し、再構成輝度ブロックとして選択部８０４に出力する。

選択部８０４は、全体制御部８３０の制御に基づき、イントラ予測部１１０で生成された再構成輝度ブロック、または動き予測部８０２で生成された再構成輝度ブロックのいずれかを選択し、ポストフィルタ処理部８０５に出力する。

ポストフィルタ処理部８０５は、選択部８０４から入力した再構成輝度ブロックに対して、デブロッキングフィルタ処理等のフィルタ処理を施し、画質劣化を低減させる。さらに、ポストフィルタ処理部８０５は、フィルタ処理を施した画像を動き予測用メモリ８０６に記録する。尚、動き予測用メモリ８０６に記録された再構成輝度ブロックは、後続画像におけるインター予測の参照輝度ブロックを生成するために使用される。

尚、上述では、図８の各処理部８０２〜８０７、８３０、１０１、１０２、１１０、１２０〜１２４が、輝度予測残差ブロックに対して施す処理について夫々説明したが、色差予測残差ブロックに対しても同様の処理を行う。即ち、動き予測部８０２は、動きベクトル探索部８０１で決定された動きベクトルに基づいて、色差予測ブロックを算出し、以降の処理を輝度予測残差ブロックと同様に行う。そして、エントロピー符号化及び多重化部１２２は、輝度成分と色差成分とにおいて、エントロピー符号化した直交変換係数とエントロピー符号化したヘッダ情報とを多重化し、多重化したデータを符号化ストリームとして画像符号化装置外へ出力する。

本実施形態により、本発明のイントラ予測のアルゴリズムは、イントラ符号化及びインター符号化の両方を用いる画像符号化装置においても容易に組み込むことが可能である。

尚、本発明は特定の動きベクトル探索アルゴリズムには依存せず、一般的に使用されているどのような動きベクトル探索アルゴリズムも適用することが可能である。

尚、本実施形態において、動き予測部８０２は、動きベクトル探索部８０１で決定された動きベクトルに対して評価値等を算出するが、本発明はこれに限定されない。即ち、動きベクトル探索部８０１は、予測に用いる動きベクトルを探索するために算出した、各動きベクトル候補に対する評価値等を動きベクトル探索部８０１内部のメモリ（不図示）に記録してもよい。そして、動き予測部８０２は、動きベクトル探索部８０１に記録された当該評価値等から、動きベクトル探索部８０１で決定された動きベクトルに対応する評価値等を読み出してもよい。

尚、本実施形態における画像符号化装置は、動きベクトル探索部８０１で決定された動きベクトルを、動き予測部８０２を介してエントロピー符号化及び多重化部１２２に入力したが、本発明はこれに限定されない。即ち、本発明における画像符号化装置は、動きベクトル探索部８０１で決定された動きベクトルを、エントロピー符号化及び多重化部１２２に直接入力してもよい。

また、本実施形態において、全体制御部８３０が予測方法（画面内符号化または画面間符号化のいずれか）を決定し、選択部８０３は全体制御部８３０で決定された予測方法に基づいて予測残差ブロックの伝送を行うが、本発明はこれに限定されない。即ち、本発明において、選択部８０３が予測方法を決定してもよい。

＜実施形態４＞
上記実施形態１、実施形態２、及び実施形態３において、其々図１、図３、図７、及び図８に示した各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムで実行しても良い。

図１０は、上記実施形態１、実施形態２、及び実施形態３に係る画像符号化装置の各処理部が行う処理を実行するコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上述した実施形態に係る画像符号化装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１００１は、図１、図３、図７、及び図８に示した各処理部として機能することになる。

ＲＡＭ１００２は、外部記憶装置１００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１００７を介して、外部から取得したデータ等を一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１００２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１００３は、本コンピュータの設定データや、ブートプログラム等を格納する。

操作部１００４は、キーボードやマウス等により構成されており、本コンピュータのユーザーが操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。

表示部１００５は、ＣＰＵ１００１による処理結果を表示する。また、表示部１００５は、例えば液晶ディスプレイで構成される。

外部記憶装置１００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１００６には、オペレーティングシステム（ＯＳ）や、図１、図３、図７、及び図８に示した各部の機能をＣＰＵ１００１に実現させるためのコンピュータプログラムが保存されている。さらには、外部記憶装置１００６には、処理対象としての各画像が保存されていても良い。

外部記憶装置１００６に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜、ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。

Ｉ／Ｆ１００７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置等の他の機部を接続することができ、本コンピュータはこのＩ／Ｆ１００７を介して様々な情報を取得したり、送出したりすることができる。

バス１００８は、上述の各部を繋ぐ。

上述の構成における作動は、前述のフローチャートで説明した作動をＣＰＵ１００１が中心となってその制御を行う。

＜その他の実施形態＞
前述した実施形態では、輝度成分、及び色差成分のイントラ予測モードに対応する評価値を重み付けして算出することにより、色差成分の符号化効率を考慮して輝度イントラ予測モードを決定したが、本発明はこれに限定されない。即ち、色差成分の符号化効率を考慮して輝度イントラ予測モードを決定する方法であればよく、画像符号化装置に入力された入力画像の輝度成分、及び色差成分の画素から算出される属性情報を使用して、輝度イントラ予測モードを決定する方法を用いてもよい。例えば、入力画像の輝度成分、及び色差成分のエッジ、及びグラデーションの方向を算出し、当該方向に基づいて輝度イントラ予測モードを決定してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 符号化対象ブロックの色差成分の符号化において選択され得る複数の色差の予測モードの各々の評価を表す複数の第１の値を取得する第１の取得手段と、
   前記符号化対象ブロックの輝度成分の符号化において選択され得る複数の輝度の予測モードの各々の評価を表す複数の第２の値を取得する第２の取得手段と、
   前記複数の輝度の予測モードのうち前記符号化対象ブロックの輝度成分を符号化する場合に用いる輝度の予測モードを決定する決定手段と
   を有し、
   前記第１の値は、前記色差の予測モードを用いて前記符号化対象ブロックの前記色差成分を符号化して算出される符号量に係る値であり、
   前記第２の値は、前記輝度の予測モードを用いて前記符号化対象ブロックの前記輝度成分を符号化して算出される符号量に係る値であり、
   前記決定手段は、各予測モードにおける前記第１の値と前記第２の値とを合計した値に基づいて、前記複数の輝度の予測モードから、前記符号化対象ブロックの輝度成分を符号化する場合に用いる輝度の予測モードを決定する
   ことを特徴とする画像符号化装置。
2. 前記決定手段は、
   前記複数の色差の予測モードの内の所定の予測モードを用いて前記符号化対象ブロックの前記色差成分を符号化して算出される符号量に係る値が、所定の閾値以上の場合に、各予測モードにおける前記第１の値と前記第２の値とを合計した値に基づいて、前記複数の輝度の予測モードから、前記符号化対象ブロックの輝度成分を符号化する場合に用いる輝度の予測モードを決定し、
   前記複数の色差の予測モードの内の所定の予測モードを用いて前記符号化対象ブロックの前記色差成分を符号化して算出される符号量に係る値が、前記所定の閾値より小さい場合は、前記所定の予測モードを、前記符号化対象ブロックの輝度成分を符号化する場合に用いる輝度の予測モードとして決定する、
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の値は、前記色差の予測モードを用いて前記符号化対象ブロックの前記色差成分を符号化して算出される符号量に第１の重みを乗算した値であり、
   前記第２の値は、前記輝度の予測モードを用いて前記符号化対象ブロックの前記輝度成分を符号化して算出される符号量に第２の重みを乗算した値である
   ことを特徴とする請求項１に記載の画像符号化装置。
4. 前記第１の重みは、前記符号化対象ブロックの前記色差成分の符号化における量子化パラメータに基づいて決定され、
   前記第２の重みは、前記符号化対象ブロックの前記輝度成分の符号化における量子化パラメータに基づいて決定される
   ことを特徴とする請求項３に記載の画像符号化装置。
5. 前記第１の重みは、前記符号化対象ブロックの前記色差成分のサンプル数に基づいて決定され、
   前記第２の重みは、前記符号化対象ブロックの前記輝度成分のサンプル数に基づいて決定される
   ことを特徴とする請求項３に記載の画像符号化装置。
6. 前記決定手段は、各予測モードにおける前記第１の値と前記第２の値とを合計した値に基づいて、前記複数の色差の予測モードから、前記符号化対象ブロックの色差成分を符号化する場合に用いる色差の予測モードを決定する
   ことを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像符号化装置。
7. 前記決定手段は、
   前記複数の色差の予測モードの内の所定の予測モードを用いて前記符号化対象ブロックの前記色差成分を符号化して算出される符号量に係る値が、前記所定の閾値以上の場合に、各予測モードにおける前記第１の値と前記第２の値とを合計した値に基づいて、前記複数の色差の予測モードから、前記符号化対象ブロックの色差成分を符号化する場合に用いる色差の予測モードを決定し、
   前記複数の色差の予測モードの内の所定の予測モードを用いて前記符号化対象ブロックの前記色差成分を符号化して算出される符号量に係る値が、前記所定の閾値より小さい場合は、前記所定の予測モードを、前記符号化対象ブロックの色差成分を符号化する場合に用いる色差の予測モードとして決定する、
   ことを特徴とする請求項６記載の画像符号化装置。
8. 前記所定の予測モードは、前記符号化対象ブロックの輝度成分の符号化において用いる輝度予測モードが前記複数の輝度の予測モードのうちのいずれであっても、前記符号化対象ブロックの色差成分の符号化において用いることのできるモードである
   ことを特徴とする請求項２又は７に記載の画像符号化装置。
9. 前記所定のモードは、水平モード、垂直モード、ＤＣモード、またはＰｌａｎａｒモードのうちの１つである
   ことを特徴とする請求項２又は７に記載の画像符号化装置。
10. 符号化対象ブロックの色差成分の符号化において選択され得る複数の色差の予測モードの各々の評価を表す複数の第１の値を取得する第１の取得工程と、
    前記符号化対象ブロックの輝度成分の符号化において選択され得る複数の輝度の予測モードの各々の評価を表す複数の第２の値を取得する第２の取得工程と、
    前記複数の輝度の予測モードのうち前記符号化対象ブロックの輝度成分を符号化する場合に用いる輝度の予測モードを決定する決定工程と
    を有し、
    前記第１の値は、前記色差の予測モードを用いて前記符号化対象ブロックの前記色差成分を符号化して算出される符号量に係る値であり、
    前記第２の値は、前記輝度の予測モードを用いて前記符号化対象ブロックの前記輝度成分を符号化して算出される符号量に係る値であり、
    前記決定工程において、各予測モードにおける前記第１の値と前記第２の値とを合計した値に基づいて、前記複数の輝度の予測モードから、前記符号化対象ブロックの輝度成分を符号化する場合に用いる輝度の予測モードを決定する
    ことを特徴とする画像符号化方法。
11. コンピュータを、請求項１乃至請求項９のいずれか一項に記載の画像符号化装置の各手段として機能させるためのプログラム。

Images