JPWO2009157577A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

本発明は、回路規模を削減することができる。画像符号化装置（１００）は、入力画像（９１）が簡易な処理により符号化されてなる簡易符号化データであるＤＣＴ係数を、量子化因子である量子化パラメータ（ＱＰ）から離散的に選択された選択量子化パラメータ（ＱＰｌ）に基づいて入力画像である入力画像（９１）を少なくとも量子化することにより入力画像（９１）を符号化し、符号化による入力画像（９１）の発生符号量を算出する。画像符号化装置（１００）は、符号化による入力画像の発生符号量における簡易な処理に応じて発生する誤差を補正し、低精度発生符号量を算出する。画像符号化装置（１００）は、選択量子化パラメータ（ＱＰｌ）に基づいて入力画像（９１）が符号化されたときの低精度発生符号量に対する補間処理により、選択量子化パラメータ（ＱＰｌ）以外の量子化パラメータ（ＱＰ）に基づいて入力画像（９１）が符号化されたときの低精度発生符号量を算出する。

Description

本発明は、例えば画像符号化装置等に係り、特に１ピクチャに与えられた目標符号量に画面内フィードバック制御を行わずに発生符号量を合わせ込む技術分野に関する。

従来、動画のビットストリームを伝送したり記録メディアに記録したりするシステム等においては、伝送路或いは記録容量を効率良く利用するために、高能率符号化が実施されている。これを実現する画像符号化装置では、エンコーダで発生するビットストリームの符号化ビットレートは伝送メディアの転送レートに合わせて一定とされており、この制限の下でデータ発生量、つまり、エンコーダにおける量子化の量子化ステップが制御されている。すなわち、例えば絵柄が複雑な画像が連続するときは量子化ステップを大きくしてデータ発生量を抑圧し、これとは逆に単純な絵柄が連続するときは量子化ステップを小さくしてデータ発生量を増加させることで、バッファメモリのオーバーフロー又はアンダーフローを生じさせないようにして固定レートを保持している。
従って、このような従来技術に係る画像符号化装置では、複雑な画像が連続するときは量子化ステップが大きくなり画質が劣化し、単純な画像が連続するときは量子化ステップが小さくなり全体を通じて均等な画質を得ることができなかった。この問題に鑑みて、例えば特許文献１では、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）毎の符号化の難易度と複数のＧＯＰの符号化の難易度の総和の比に従って各ＧＯＰ自身に割り当てられる割当符号量を、絵柄が複雑な画像を含むＧＯＰに対しては多く割り当て、絵柄が単純な画像を含むＧＯＰに対しては少なく割り当てるように算出する画像符号化装置が開示されている。
一方、１ピクチャに与えられた目標符号量に発生符号量を合わせ込む方法として、例えばＴＭ５（ｔｅｓｔ ｍｏｄｅｌ ５）のｓｔｅｐ２が良く知られている。これは、ピクチャに割り当てられた符号量をマクロブロック（ＭＢ；Ｍａｃｒｏ ｂｌｏｃｋ）に均等に配分したものをＭＢの目標符号量とし、ピクチャ内でフィードバック（ｆｅｅｄ ｂａｃｋ）制御をかける事で、目標符号量に合わせ込む手法である。
特許第３３５８６２０号公報。

しかしながら、前述したＴＭ５のｓｔｅｐ２の方法では、シーケンス先頭ピクチャやシーンチェンジ直後ピクチャのエンコードにおいて、量子化ステップの初期値が、そのピクチャの絵柄に合ったものではないため、画質が劣化する場合があった。
例えばフィードバック制御において絵柄に追従するまでの部分の量子化ステップが大きすぎる場合は、その部分の画質が他の部分に比べて劣化してしまい、量子化ステップが小さすぎる場合は、その部分で符号量を使いすぎてしまい、他の部分にその影響が及ぶおそれがある。
また、ＭＢの目標符号量を常に一定にしているため、画面内で画の難しさに偏りがある時などは、不適切な符号量配分になっていた。そこで、画像符号化装置は、予め並列に符号化を実行して発生符号量を予測し、１ピクチャに与えられた目標符号量に画面内フィードバック制御を行わずに発生符号量を合わせ込むことが望ましい。しかしながら、画像符号化装置は、量子化パラメータの数だけ並列して量子化を実行するのでは、回路規模が大きくなってしまうという問題があった。

かかる課題を解決するため、本発明の画像処理装置においては、入力画像が簡易な処理により簡易符号化されてなる簡易符号化データを、量子化因子から離散的に選択された選択量子化因子に基づく量子化ステップを用いて少なくとも量子化することにより上記入力画像を符号化し、符号化による上記入力画像の発生符号量を算出する選択発生符号量算出部と、上記符号化による上記入力画像の発生符号量における上記簡易な処理に応じて発生する誤差を補正する誤差補正部と、上記選択量子化因子に基づいて上記入力画像が符号化されたときの発生符号量に対する補間処理により、選択量子化パラメータ以外の量子化パラメータに基づいて上記入力画像が符号化されたときの発生符号量を算出する補間発生符号量算出部とを設けるようにした。
これにより、画像処理装置は、全ての量子化パラメータに基づいて入力画像を符号化しなくても済むと共に、簡易的な符号化により入力画像を符号化するため、回路構成を簡略化しつつ、当該簡易的な符号化に基づく誤差を補正して発生符号量の精度を向上させ得る。
さらに本発明の画像処理方法においては、入力画像が簡易な処理により簡易符号化されてなる簡易符号化データを、量子化因子から離散的に選択された選択量子化因子に基づく量子化ステップを用いて少なくとも量子化することにより上記入力画像を符号化し、符号化による上記入力画像の発生符号量を算出する選択発生符号量算出ステップと、上記符号化による上記入力画像の発生符号量における上記簡易な処理に応じて発生する誤差を補正する誤差補正ステップと、上記選択量子化因子に基づいて上記入力画像が符号化されたときの発生符号量に対する補間処理により、選択量子化パラメータ以外の量子化パラメータに基づいて上記入力画像が符号化されたときの発生符号量を算出する補間発生符号量算出ステップとを設けるようにした。
これにより、画像処理方法は、全ての量子化パラメータに基づいて入力画像を符号化しなくても済むと共に、簡易的な符号化により入力画像を符号化するため、回路構成を簡略化しつつ、当該簡易的な符号化に基づく誤差を補正して発生符号量の精度を向上させ得る。
さらに本発明の画像処理装置においては、入力画像を少なくとも量子化因子に基づいて量子化することにより入力画像を簡易符号化し、簡易符号化による入力画像の発生符号量を算出する簡易発生符号量算出部と、簡易発生符号量算出部によって算出された発生符号量に基づいて、入力画像を符号化したときの発生符号量が目標符号量に最も近いと予測される量子化因子を基本量子化因子として決定する基本量子化因子決定部と、量子化因子に基づくリスケーリングファクタにより入力画像を除算したときの剰余に基づいて、入力画像が前回符号化されたときに使用された量子化因子を検出量子化因子として符号化単位ごとに検出するバックサーチ部と、バックサーチ部によって検出された検出量子化因子に基づいて入力画像を符号化し、符号化単位ごとの発生符号量を算出する検出発生符号量算出部と、バックサーチ部によって検出量子化因子が検出されなかった符号化単位についての基本量子化因子に基づく発生符号量と、バックサーチ部によって量子化因子が検出された符号化単位についての検出発生符号量算出部によって算出された発生符号量とを加算することにより、複数の符号化単位から構成される制御単位ごとの発生符号量を算出する制御単位発生符号量算出部とを設けるようにした。
これにより、画像処理装置は、非原画でなる入力画像に対して、バックサーチ部によって検出量子化因子が検出されなかった符号化単位についての基本量子化因子に基づく発生符号量を用いることにより、簡易な構成でバックサーチ部によって検出された検出量子化因子に基づいて入力画像を符号化した場合の発生符号量を算出することができる。
本発明によれば、全ての量子化パラメータに基づいて入力画像を符号化しなくても済むと共に、簡易的な符号化により入力画像を符号化するため、回路構成を簡略化しつつ、当該簡易的な符号化に基づく誤差を補正して発生符号量の精度を向上させ得る。かくして本発明は、発生符号量を算出する際に回路規模を削減し得る画像処理装置及び画像処理方法を実現し得る。
さらに本発明によれば、非原画でなる入力画像に対して、バックサーチ部によって検出量子化因子が検出されなかった符号化単位についての基本量子化因子に基づく発生符号量を用いることにより、簡易な構成でバックサーチ部によって検出された検出量子化因子に基づいて入力画像を符号化した場合の発生符号量を算出することができる。かくして本発明は、発生符号量を算出する際に回路規模を削減し得る画像処理装置及び画像処理方法を実現し得る。

図１は、本発明の第１の実施の形態に係る画像符号化装置の構成図。
図２は、離散的な値のＱＰの補正を行い、間のＱＰについて補間により符号量を計算することを説明する概念図。
図３は、本発明の第１の実施の形態に係る画像符号化装置による符号化の処理手順を詳細に説明するフローチャート。
図４は、適応的なＱ Ｍａｔｒｉｘの切り替え処理について更に説明するフローチャート。
図５は、本発明の低精度発生符号量の算出処理について説明するフローチャート。
図６は、本発明の第２の実施の形態に係る画像符号化装置の構成図。
図７は、本発明の第２の実施の形態に係る画像符号化装置による符号化の処理手順を詳細に説明するフローチャート。
図８は、前回のパラメータ推定処理を説明するフローチャート。
図９は、原画モードかダビングモードかの判定を説明するフローチャート。

１……第１のプレエンコード部、２……第２のプレエンコード部、３……エンコード部、４……符号量制御部、６，７……ディレイバッファ、１１……画面内予測モード決定部、１２……画面内予測処理部、１３……ＤＣＴ部、１４……量子化部、１５……エントロピー符号長計算部、２１……画面内予測処理部、２２……ＤＣＴ部、２３……量子化部、２４……エントロピー符号長計算部、２５……バッファ、２６……ＩＤＣＴ部、２７……逆量子化部、３１……画面内予測処理部、３２……ＤＣＴ部、３３……量子化部、３４……エントロピー符号化部、３５……バッファ、３６……ＩＤＣＴ部、３７……逆量子化部、４０……前定モード推定プレエンコード部、４１……画面内予測処理部、４２……ＤＣＴ部、４３……バックサーチ部、４４……バッファ、４５……量子化部、４６……エントロピー符号長計算部

以下、図面を参照して、本発明を実施するための最良の形態（以下、単に実施の形態と称する）について詳細に説明する。なお説明は以下の順序で行う。
１．第１の実施の形態（補間による低精度発生符号量の予測）
２．第２の実施の形態（バックサーチによる高精度発生符号量の予測）
＜１．第１の実施の形態＞
［１−１．本発明の特徴］
この実施の形態に係る画像符号化装置１００及び画像符号化方法は、以下などを特徴とする。
画像符号化装置１００は、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；高度動画像圧縮符号化標準）等に代表される算術符号化を用いた画像圧縮方式でなる。画像符号化装置１００は、符号量制御を行う際に、ピクチャ内で良好な符号量分布を実現するために、並列プレエンコード（Ｐｒｅ Ｅｎｃｏｄｅ）と直列プレエンコードを組み合わせる。これにより、画像符号化装置１００は、回路規模とＬａｔｅｎｃｙ（遅延時間）の増加を抑えつつ、精度のよい予測を行う。
より詳細には、画像符号化装置１００は、第１及び第２のプレエンコード部１及び２により、量子化と符号長計算部のみ並列に行い、他の処理要素は共用することで、回路共通化による回路規模の削減を図る。
つまり、本来であれば、並列プレエンコードを行う場合には、全ての処理要素を並列に設ける必要があるところ、この実施の形態に係る画像符号化装置１００では、精度に影響なく共通化できる処理要素を的確に特定し、該処理要素につき回路を共通化する。これにより、第１及び第２のプレエンコード部１及び２自体の回路規模とｌａｔｅｎｃｙ（遅延時間）の増加を抑える。
そして、第１のプレエンコード部１では、少し精度を落とし回路規模並びに処理負荷を抑えた並列プレエンコードを広い範囲の量子化パラメータ（ＱＰ）で行い、目標符号量を実現するＱＰを粗く見積もる。第２のプレエンコード部２では、精度を上げた並列プレエンコードを狭い範囲で行い、本エンコード部３で使用する基本量子化パラメータＱＰ_ＭＢを決定する。以上により、画像符号化装置１００は、画像符号化の精度を上げつつ処理負荷を軽減する。さらに、プレエンコードを簡略化したことによる誤差がビットレートや量子化パラメータＱＰと相関を持つことから、詳細は後述するような統計モデルを予め作成しておき、ビットレートや量子化パラメータＱＰから誤差の補正を行うこととしている。
図１には、本発明の一実施の形態に係る画像符号化装置１００の構成を示し説明する。
この画像符号化装置１００は、第１のプレエンコード部１、第２のプレエンコード部２、本エンコード部３、符号量制御部４、ディレイバッファ５，６を有している。
第１のプレエンコード部１は、第１のプレエンコードを行うモジュールであり、画面内予測モード決定部１１、画面内予測処理部１２、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）部１３、量子化部１４、エントロピー符号長計算部１５、アクティビティ（Ａｃｔｉｖｉｔｙ）計算部１６を備えている。
第２のプレエンコード部２は、第２のプレエンコードを行うモジュールであり、画面内予測処理部２１、ＤＣＴ部２２、量子化部２３、エントロピー符号長計算部２４、バッファ２５、ＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ）部２６、逆量子化部２７を備えている。
そして、本エンコード部３は、本エンコードを行うモジュールであり、画面内予測処理部３１、ＤＣＴ部３２、量子化部３３、エントロピー符号化部３４、バッファ３５、ＩＤＣＴ部３６、逆量子化部３７を備えている。
符号量制御部４は、符号量制御を行うモジュールである。
［１−２．量子化パラメータ及び量子化行列の予測］
［１−２−１．低精度発生符号量の算出］
画像符号化装置１００は、符号化難易度に応じて例えば３つの量子化行列Ｑ Ｍａｔｒｉｘを適用的に選択して使用する（詳しくは後述する）。画像符号化装置１００は、一の量子化行列Ｑ Ｍａｔｒｉｘを設定すると共に、当該設定された量子化行列Ｑ Ｍａｔｒｉｘの取り得る範囲の量子化パラメータＱＰについて、第１のプレエンコード部１による簡易な処理によって発生符号量を粗く見積もる。以下、当該プレエンコード部１の結果により見積もられた発生符号量を低精度発生符号量と呼ぶ。画像符号化装置１００は、全ての量子化行列Ｑ Ｍａｔｒｉｘについて同様の処理を実行し、量子化行列Ｑ Ｍａｔｒｉｘ及び量子化パラメータＱＰを変更したときの低精度発生符号量を算出する。そして画像符号化装置１００は、低精度発生符号量が目標符号量に最も近くなる量子化パラメータＱＰ及び量子化行列Ｑ Ｍａｔｒｉｘを次のステップ（第２のプレエンコード部２）でピクチャの平均量子化パラメータＢａｓｅ ＱＰとして使用する予測量子化パラメータＱＰｄ、次のステップで使用するピクチャの量子化行列Ｑ Ｍａｔｒｉｘ（以下、これを予測量子化行列Ｑ ＭａｔｒｉｘＤと呼ぶ）とする。
このとき画像符号化装置１００は、離散的に選択された一部の量子化パラメータＱＰ（以下、これを選択量子化パラメータＱＰｌと呼ぶ）を用いて入力画像９１における低精度発生符号量を算出する。画像符号化装置１００は、選択量子化パラメータＱＰｌ間の低精度発生符号量を補間によって算出することにより、量子化行列Ｑ Ｍａｔｒｉｘが取り得る範囲の量子化パラメータＱＰの全てについて、低精度発生符号量を算出するようになされている。
実際上、入力画像９１は、最初に第１のプレエンコード部１の画面内予測モード決定部１１に入力される。画面内予測モード決定部１１は、この入力画像９１に基づいて、全ての画面内予測モードによって差分画像データを生成すると共に、当該差分画像データの発生符号量の予測に基づいて画面内予測モードを決定する。予測モード（予測方向）は、最小４×４画素単位で９通りの予測モードの中から決定されることになる。
この決定された画面内予測モードは、画面内予測処理部１２に送出されると共に、第２のプレエンコード部２や本エンコード部３にも送出される。この画面内予測モードは、第２のプレエンコード部２による第２のプレエンコード、本エンコード部３による本エンコードでも使用される。
次に画面内予測処理部１２は、予測画像と入力画像９１との差分画像を計算し、差分画像データを生成する。ここでの予測画像は、処理を削減するため入力画像９１から作られる。このように、第１のプレエンコード部１は、入力画像を用いて画面内予測処理を行うことで、逆量子化部、ＩＤＣＴ部、バッファを削減することができ、回路規模を削減することが可能となる。
ＤＣＴ部１３は、差分画像データに対して整数精度ＤＣＴ処理を実行し、ＤＣＴ係数を生成すると、これを量子化部１４に送出する。量子化部１４は、このＤＣＴ係数について量子化を行い、量子化係数を生成すると、これをエントロピー符号長計算部１５に送出する。エントロピー符号長計算部１５は、量子化係数に対し、コンテキスト適応型可変長符号化方式（ＣＡＶＬＣ；Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）を行うことにより符号量を計算する。ＣＡＶＬＣによれば、周囲の状況に応じて高効率の符号化方式を適応的に選択できる。
このように第１のプレエンコードでは、本エンコードにおいてエントロピー符号化方式としてＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）を用いる場合でも、符号量計算にＣＡＶＬＣを用いることを特徴の一つとしている。尚、ＣＡＢＡＣとは、コンテキスト適応型２値算術符号化方式である。
ここで、量子化部１４は、並列に設けられた量子化部１４−１，…，１４−ｎ（ｎ＝１，２，３・・）により構成され、エントロピー符号長計算部１５は、並列に設けられたエントロピー符号長計算部１５−１，…，１５−ｎ（ｎ＝１，２，３・・）により構成されている。ｎの値は、例えば１５に設定されている。量子化部１４は、０〜５１でなる量子化パラメータＱＰのうち、設定されている量子化行列Ｑ Ｍａｔｒｉｘに対応した選択量子化パラメータＱＰｌを各量子化部１４−１，…，１４−ｎに設定する。この選択量子化パラメータＱＰｌは、量子化行列Ｑ Ｍａｔｒｉｘが取り得る量子化パラメータＱＰの範囲から、任意の間隔で離散的に選択される。なお選択量子化パラメータＱＰｌは、例えば一定間隔で選択されても良く、量子化パラメータＱＰの値に応じて変化する間隔で選択されても良い。このような構成の下、第１のプレエンコード部１は、量子化と符号長計算を、上記並列数と同数の複数の量子化パラメータＱＰに対して並列に実行し、それぞれの発生符号量を符号量制御部４に出力する。
即ち、第１のプレエンコード部１は、量子化部１４、エントロピー符号長計算部１５による回路規模を抑えた並列プレエンコードにより、広い範囲の量子化パラメータＱＰで第１のプレエンコードを行うことで、広い範囲の量子化パラメータＱＰに対する発生符号量を算出する。
ここで、アクティビティ計算部１６は、画面内予測モード決定部１１による画面内予測モードの決定と同時並行して、アクティビティ（Ａｃｔｉｖｉｔｙ）を計算し、該アクティビティによりマクロブロック（ＭＢ；Ｍａｃｒｏ Ｂｌｏｃｋ）をグループ分けする。 つまり、ＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐのグループに分ける場合を想定すると、アクティビティ計算部１６は、ＡｃｔｉｖｉｔｙＴｈｅｓｈｏｌｄ［０］〜ＡｃｔｉｖｉｔｙＴｈｅｓｈｏｌｄ［ＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐ−２］とアクティビティの値とを比較することにより、アクティビティグループを決定する。
尚、量子化処理において実際に使用される量子化パラメータＱＰは、ピクチャの平均量子化パラメータＱＰ（ＢａｓｅＱＰ）に対して、アクティビティグループに依存したオフセット（ＡｄａｐｔＱＰＤｅｌｔａ）を加えることで求められる。

例えば、ＮｕｍＯｆＡｃｔｉｖｉｔｙＧｒｏｕｐを１３とするなら、ＡｄａｐｔＱＰＤｅｌｔａの各値は、
ＡｄａｐｔＱＰＤｅｌｔａ［１３］＝｛−６，−５，−４，−３，−２，−１，０，１，２，３，４，５，６｝
とすることができる。
各ＭＢに対して決定されたアクティビティグループ（Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐ）番号は、量子化部１４に入力される。量子化部１４は、選択量子化パラメータＱＰｌに対し、アクティビティグループに応じたオフセットを付加して適応量子化パラメータＱＰｔを算出する。量子化部１４は、適応量子化パラメータＱＰｔに基づいて、ＤＣＴ係数に対する量子化処理を実行する。
第１のプレエンコード部１は、次の量子化行列Ｑ Ｍａｔｒｉｘ及び当該量子化行列Ｑ Ｍａｔｒｉｘに対応する選択量子化パラメータＱＰｌを設定することにより、同様にして発生符号量を算出する。この結果、第１のプレエンコード部１は、量子化行列Ｑ Ｍａｔｒｉｘ及び当該量子化行列Ｑ Ｍａｔｒｉｘに対応する選択量子化パラメータＱＰｌについて、発生符号量をそれぞれ算出することになる。
［１−２−２．発生符号量の誤差の補正］
符号量制御部４は、第１のプレエンコード部１において算出された発生符号量に対して補正を行う。
ここでの補正は、誤差が、ある程度の傾向を持っている事を利用して行う。
一つ目の誤差要因は、画面内予測処理にローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画ではなく入力画像９１を用いている事である。この場合、画面内予測に使う画にコーデック（Ｃｏｄｅｃ）による歪がのっていないので、実際のエンコードより符号化効率が良くなり、符号量が少なめに出る傾向がある。この誤差の大きさは、歪の大きさに依存するので、発生符号量と誤差の関係では、ビットレート（Ｂｉｔ ｒａｔｅ）が小さくなると誤差が大きくなる傾向がある。また、量子化パラメータＱＰと誤差の関係では、量子化パラメータＱＰが大きくなると誤差が大きくなる傾向にある。よって、予め誤差の大きさの統計データを取り、ビットレート“ｒ”とＱＰ“ｑ”の関数として定義する。
具体的に、符号量制御部４は、ＣＡＶＬＣによって符号化されたときの発生符号量について、ビットレートによる平均的な誤差のモデル、量子化パラメータＱＰによる平均的な誤差のモデルをそれぞれ作成しておく。この誤差モデルは、量子化パラメータＱＰ及びビットレートにそれぞれ対応する例えば数式やテーブルとして予め記憶される。符号量制御部４は、量子化パラメータＱＰ及びビットレートから補正すべき誤差を表す補正量Ｃ＿ｒａｔｅ、Ｃ＿ｑｐを、対応する誤差モデルからそれぞれ算出する。符号量制御部４は、量子化パラメータＱＰ及びビットレートに対応する補正量Ｃ＿ｒａｔｅ、Ｃ＿ｑｐのうち、次式に従って小さい値を補正量Ｃｖとして選択する。
補正量Ｃｖ＝ｍｉｎ（Ｃ＿ｒａｔｅ、Ｃ＿ｑｐ）
これにより、誤差の補正量が大きくなり過ぎてしまい、補正された発生符号量が第２のプレエンコード部２において算出される高精度発生符号量よりも大きくなってしまうことを防止し得るようになされている。なおこの補正量Ｃ＿ｒａｔｅ、Ｃ＿ｑｐは、第１のプレエンコード部１によって算出された発生符号量（Ｐｒｅ−Ｅｎｃｏｄｅ符号量）に対する補正量の割合（％）を表している。
符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量に対し、次式に従って補正量Ｃｖを乗算することにより、発生符号量に対する補正量（以下、これをＣＡＶＬＣ補正符号量と呼ぶ）を算出する。
ＣＡＶＬＣ補正符号量＝Ｐｒｅ−Ｅｎｃｏｄｅ符号量×Ｃｖ
符号量制御部４は、発生符号量に対してＣＡＶＬＣ補正符号量を加算することにより、ＣＡＶＬＣについての低精度発生符号量を算出する。
二つ目の誤差要因は、エントロピー符号化方式でＣＡＢＡＣを選択したときのみ発生するものである。第１のプレエンコード部１では、ＣＡＢＡＣによる符号化を実行せず、ＣＡＶＬＣの符号量からＣＡＢＡＣによって符号化したときの低精度発生符号量を予測する。ＣＡＢＡＣはＣＡＶＬＣより符号化効率が良いので、ＣＡＶＬＣでプレエンコードした発生符号量は、実際の符号量より多めに出る傾向がある。例えば、発生符号量と誤差の関係では、この誤差の大きさは統計的に見てビットレート（Ｂｉｔ ｒａｔｅ）が小さくなるとＣＡＢＡＣの効率が良くなることに起因して、大きくなる傾向にある。これも同様に、予め誤差の大きさの統計データを取り、平均的な誤差のモデルを作成しておくことで補正する。
ＣＡＢＡＣに起因する誤差は、ＣＡＶＬＣの符号量による符号化において生じる誤差と比較して、量子化パラメータＱＰ及びビットレートに関し反対側に変化し、その変化量は小さいことが明らかになった。
そこで、ＣＡＢＡＣについての補正量（以下、これをＣＡＢＡＣ補正量と呼ぶ）をビットレート“ｒ”とＱＰ“ｑ”の関数として定義する。このとき、補正量Ｃｂは、次式によって算出される。
補正量Ｃｂ＝ｍｉｎ（ｒ，ｑ）
符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量（Ｐｒｅ−Ｅｎｃｏｄｅ符号量）に対し、次式に従って補正量Ｃｖを乗算することにより、発生符号量に対する補正量（以下、これをＣＡＢＡＣ補正符号量と呼ぶ）を算出する。
ＣＡＢＡＣ補正符号量＝Ｐｒｅ−Ｅｎｃｏｄｅ符号量×Ｃｂ
符号量制御部４は、低精度発生符号量に対してＣＡＢＡＣ補正符号量を加算することにより、ＣＡＢＡＣについての低精度発生符号量を算出する。符号量制御部４は、図２に示すように、第１のプレエンコード部１によって算出された発生符号量（四角で表す）に対して補正されたＣＡＶＬＣ補正量及びＣＡＢＡＣ補正符号量（黒丸で表す）をそれぞれ算出することができる。
次に、符号量制御部４は、量子化パラメータ（ＱＰ）の推定処理を行う。上述したように、第１のプレエンコード部１は、任意の間隔で、離散的な値の選択量子化パラメータＱＰｌでプレエンコードを行って発生符号量を取得している。符号量制御部４は、量子化行列Ｑ Ｍａｔｒｉｘの取り得る量子化パラメータＱＰの範囲のうち、選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰに関して、補間により発生符号量を計算する（白丸で示す）。補間処理としては、線形補間など一般的な補間処理を用いることができる。
即ち、図２に示されるように、第１のプレエンコード部１で得た離散的な値の量子化パラメータＱＰ（四角で示す）ついて、補正を行い補正後の量子化パラメータＱＰ（黒丸で示す）を得て、更に、その間の量子化パラメータＱＰ（白に丸で示す）について補間により符号量を計算することになる。
このように、符号量制御部４は、第１のプレエンコード部１によって算出された発生符号量に対し、当該第１のプレエンコード部１において簡易化した処理に応じて発生する発生符号量の誤差を補正してＣＡＶＬＣについての低精度発生符号量を算出する。これにより、符号量制御部４は、簡易化された符号化処理による発生符号量の予測精度を向上させ得る。符号量制御部４は、ＣＡＶＬＣについての低精度発生符号量を用いてＣＡＢＡＣによる発生符号量の予測量である低精度発生符号量を算出する。これにより、符号量制御部４は、処理の複雑なＣＡＢＡＣを行うことなく、ＣＡＢＡＣによる低精度発生符号量を見積もることができる。符号量制御部４は、離散的に選択された選択量子化パラメータＱＰｌによって予測された低精度発生符号量から、補間処理により、当該選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰについての低精度発生符号量を予測する。これにより、符号量制御部４は、わざわざ全ての量子化パラメータＱＰを用いて入力画像９１を符号化せずに済み、第１のプレエンコード部１の構成を簡易にすることができる。
［１−２−３．予測量子化行列の決定］
上述したように、量子化行列Ｑ Ｍａｔｒｉｘが取り得る全ての量子化パラメータＱＰについて、低精度発生符号量が算出された。符号量制御部４は、符号化難易度に応じて量子化行列Ｑ Ｍａｔｒｉｘを変更し、変更された量子化行列Ｑ Ｍａｔｒｉｘに対応する低精度発生符号量に基づいて、目標符号量に最も近い量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択するようになされている。
符号量制御部４は、量子化行列Ｑ Ｍａｔｒｉｘ毎に、目標符号量に一番近い低精度発生符号量が生成されたときに使用された量子化パラメータＱＰを近傍量子化パラメータＱＰｎとして選択する。符号量制御部４は、符号化難易度として、例えば各量子化行列Ｑ Ｍａｔｒｉｘ毎に選択された近傍量子化パラメータＱＰｎを使用する。もちろん、アクティビティなど別の指標を用いることも可能である。ここでは、切り替えて使う量子化行列Ｑ Ｍａｔｒｉｘの数をＮｕｍＯｆＱＭａｔｒｉｘＩｄとし、傾斜の緩やかな量子化行列Ｑ Ｍａｔｒｉｘから昇順にＩｄ（識別子）を付け、各量子化行列Ｑ Ｍａｔｒｉｘの取り得る範囲における最大の量子化パラメータＱＰをＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］とする。
符号量制御部４は、Ｉｄの値の小さい量子化行列Ｑ Ｍａｔｒｉｘから近傍量子化パラメータＱＰｎとＱＭａｔｒｉｘＴｈｅｓｈｏｌｄとを比較する。符号量制御部４は、近傍量子化パラメータＱＰｎがＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］より小さい量子化行列Ｑ Ｍａｔｒｉｘのうち、最小のＩｄを有する量子化行列Ｑ Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤとして決定する。符号量制御部４は、当該予測量子化行列Ｑ ＭａｔｒｉｘＤにおける近傍量子化パラメータＱＰｎを予測量子化パラメータＱＰｄとして決定する。
すなわち符号量制御部４は、低精度発生符号量が目標符号量に近い量子化パラメータＱＰを取り得る量子化行列Ｑ Ｍａｔｒｉｘのうち、最小の傾斜を有する量子化行列Ｑ Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤとして決定する。この予測量子化行列Ｑ ＭａｔｒｉｘＤは本エンコード部３による本エンコードにも使用されることになる。符号量制御部４は、低精度発生符号量の条件を満たす中で最小の傾斜を有する量子化行列Ｑ Ｍａｔｒｉｘを用いることができるため、画質の劣化を極力防止することができる。
なお、符号量制御部４は、第１のプレエンコード部１によってＩｄの小さい量子化行列Ｑ Ｍａｔｒｉｘから順に当該量子化行列Ｑ Ｍａｔｒｉｘの取り得る範囲の選択量子化パラメータＱＰｌについて低精度発生符号量を算出する。そして符号量制御部４は、近傍量子化パラメータＱＰｎがＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］より小さい量子化行列Ｑ Ｍａｔｒｉｘを検出した場合には、当該量子化行列Ｑ Ｍａｔｒｉｘ及び近傍量子化パラメータＱＰｎを予測量子化行列Ｑ ＭａｔｒｉｘＤ及び予測量子化パラメータＱＰｄとして決定する。このとき符号量制御部４は、第１のプレエンコード部１に次のピクチャに対する処理を開始させる。すなわち符号量制御部４は、第１のプレエンコード部１に処理中のピクチャに関する次のＩｄでなる量子化行列Ｑ Ｍａｔｒｉｘについての低精度発生符号量を算出させない。これにより、符号量制御部４は、予測量子化パラメータＱＰｄ及び予測量子化行列Ｑ ＭａｔｒｉｘＤを決定するのに要する処理時間を短縮し得る。
このように、符号量制御部４は、低精度発生符号量が目標符号量に近くなる量子化パラメータＱＰを取り得る量子化行列Ｑ Ｍａｔｒｉｘのうち、画質の低下を防止するために最も傾斜の小さい量子化行列Ｑ Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤとして選択する。符号量制御部４は、予測量子化行列Ｑ ＭａｔｒｉｘＤにおいて低精度発生符号量が目標符号量に最も近くなる量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択する。これにより、符号量制御部４は、画質を極力低下させないように適応的に量子化行列Ｑ Ｍａｔｒｉｘを変更しつつ、低精度発生符号量が目標符号量に最も近くなる量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択することができる。
［１−３．基本量子化パラメータの決定］
第２のプレエンコード部２は、予測量子化パラメータＱＰｄ及び予測量子化行列Ｑ ＭａｔｒｉｘＤを用いて実際にエンコーダ３と同様の符号化を実行することにより、高精度発生符号量を高い精度で算出する。以下、この第２のプレエンコード部２によって算出された発生符号量を高精度発生符号量と呼ぶ。このとき第２のプレエンコード部２は、予測量子化パラメータＱＰｄだけでなく、当該予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰを用いて高精度発生符号量を算出し、その変動率を用いて予測量子化パラメータＱＰｄ近傍の高精度発生符号量を予測する。
符号量制御部４は、予測量子化パラメータＱＰｄ、予測量子化行列Ｑ ＭａｔｒｉｘＤ及び各ＭＢのアクティビティグループを第２のプレエンコード部２に供給する。第２のプレエンコード部２は、これらの値に基づいて第２のプレエンコードを行う。
第２のプレエンコード部２では、入力画像９１が、ディレイバッファ５を介して遅延処理された後に画面内予測処理部２１に入力される。画面内予測処理部２１は、予測画像と入力画像９１との差分を計算し、差分画像データを生成する。そして、ＤＣＴ部２２は、差分画像データに対してＤＣＴ処理を実行しＤＣＴ係数を生成する。量子化部２３は、ＤＣＴ係数に対して量子化処理を実行し、量子化係数を生成する。エントロピー符号長計算部２４は、ＣＡＶＬＣ又はＣＡＢＡＣを用いて量子化係数をそれぞれエントロピー符号化し、高精度発生符号量を計算する。
尚、第２のプレエンコード部２における処理の過程において、量子化部２３は量子化係数を逆量子化部２７に送出する。逆量子化部２７は、量子化係数を逆量子化してＤＣＴ係数を再生する。そして、ＩＤＣＴ部２６はＤＣＴ係数をＩＤＣＴ変換し、ローカルデコード画像を生成し、バッファ２５に保存することになる。
ここで、量子化部２３は、この例では３段の量子化部２３−１，２３−２，２３−３により構成され、エントロピー符号長計算部２４は、この例では３段のエントロピー符号長計算部２４−１，２４−２，２４−３により構成されている。３段と少なくしているのは、既に第１のプレエンコードで量子化パラメータＱＰが広い範囲で粗く見積もられているからである。
このような構成の下、量子化部２３、エントロピー符号長計算部２４は、並列に処理を実行し、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰでの高精度発生符号量を得ることになる。このとき、エントロピー符号長計算部２４は、本エンコード部３による本エンコードのエントロピー符号化方式と同じ方式をＣＡＢＡＣ／ＣＡＶＬＣのいずれかから選択する。
続いて、符号量制御部４は、第２のプレエンコードにより得られた高精度発生符号量から、本エンコードで使用するピクチャの基本量子化パラメータＱＰ_ＭＢを決定する。そして、符号量制御部４は、この決定されたピクチャの基本量子化パラメータＱＰ_ＭＢや予測量子化行列Ｑ ＭａｔｒｉｘＤ、各ＭＢのアクティビティグループから、量子化の情報（Ｑ Ｍａｔｒｉｘ、各ＭＢのＱＰ等）を本エンコード部３に送出する。
より詳細には、目標符号量が、第２のプレエンコードで得られた高精度発生符号量に挟まれている場合、つまり、

の場合には、目標符号量に最も近い量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択する。
そうでない場合、符号量制御部４は、量子化パラメータＱＰの変化に対する高精度発生符号量の変動率を、第２のプレエンコードの結果から求める。予測量子化パラメータＱＰｄは、第１のプレエンコード部１による低精度発生符号量に基づいて算出されている。このため目標符号量に最も近い量子化パラメータＱＰは、予測量子化パラメータＱＰｄの近傍に存在する。量子化パラメータＱＰの値が近い場合、発生符号量の変動率は略一定である。そこで、符号量制御部４は、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰにおける高精度発生符号量の変動率から各量子化パラメータＱＰでの高精度発生符号量を予測し、目標符号量に最も近い量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択する。
まず、量子化パラメータＱＰが「１」減算されたときに、高精度発生符号量が何％変わるかを表すＤｉｆｆＲａｔｉｏ＿１を、第２のプレエンコード２の結果から以下のようにして求める。なお、Ｇｅｎｅｒａｔｅｄ＿ｂｉｔｓは第２のプレエンコード２における発生符号量を表しており、ＱＰ＿ｐｒｅｃｏｄｅ１は、予測量子化パラメータＱＰｄを、ＱＰ＿ｐｒｅｃｏｄｅ１−１は予測量子化パラメータＱＰｄより「１」小さい量子化パラメータＱＰを表している。

量子化パラメータＱＰが「１」加算されたときに、高精度発生符号量が何％変わるかを表すＤｉｆｆＲａｔｉｏ＿２を、第２のプレエンコード２の結果から以下のようにして求める。ＱＰ＿ｐｒｅｃｏｄｅ１＋１は予測量子化パラメータＱＰｄより「１」大きい量子化パラメータＱＰを表している。

予測量子化パラメータＱＰｄの近傍における高精度発生符号量の変動率ＤｉｆｆＲａｔｉｏを、以下のようにして求める。
ＤｉｆｆＲａｔｉｏ＝（ＤｉｆｆＲａｔｉｏ＿１＋ＤｉｆｆＲａｔｉｏ＿２）／２
すなわち、予測量子化パラメータＱＰｄから正負の方向にそれぞれ「１」だけ変化したときの発生符号量の変動の平均値としてＤｉｆｆＲａｔｉｏを算出する。
ＤｅｌｔａＱＰを、高精度発生符号量が目標符号量に最も近い量子化パラメータＱＰと予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）との差の絶対値とすると、目標符号量に最も近い高精度発生符号量に対応する量子化パラメータＱＰが予測量子化パラメータＱＰｄより１だけ小さい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１−１）より小さいときには、高精度発生符号量が目標符号量に最も近い量子化パラメータＱＰの高精度発生符号量（Ｇｅｎｅｒａｔｅｄ＿ｂｉｔｓ（ＱＰ））を以下のように算出する。

目標符号量に最も近い高精度発生符号量に対応する量子化パラメータＱＰが予測量子化パラメータＱＰｄより１だけ大きい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１＋１）より大きいときには、高精度発生符号量が目標符号量に最も近い量子化パラメータＱＰの高精度発生符号量（Ｇｅｎｅｒａｔｅｄ＿ｂｉｔｓ（ＱＰ））を以下のように算出する。

すなわち、符号量制御部４は、予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰを用いたときの高精度発生符号量に対し、予測量子化パラメータＱＰｄを中心に量子化パラメータＱＰの値が「１」だけ変化したときの変動率に応じた符号量だけ増減させる。符号量制御部４は、予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰを用いた場合の高精度発生符号量を高い精度で算出することができる。
以上のようにして、符号量制御部４は、目標符号量に最も近い量子化パラメータＱＰを本エンコードにおいて平均量子化パラメータ（ＢａｓｅＱＰ）として使用する基本量子化パラメータＱＰ_ＭＢとして選択することになる。
上述したように、第２のプレエンコード部２では、第１のプレエンコード部１により推定された予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）と、ひとつ大きい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１＋１），ひとつ小さい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１−１）でプレエンコードする。ここで、回路規模削減のため、前述したように、量子化部２３とエントロピー符号長計算部２４のみ並列化し、その他の処理は共用する。
このとき、画面内予測処理で使用するローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画は、第１のプレエンコード部１の結果に基づいて推定された予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）で量子化したデータとする。つまり、逆量子化とＩＤＣＴで処理されるデータは、予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）の量子化の出力である。これは、予測量子化パラメータＱＰｄの前後の量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１＋１、ＱＰ＿ｐｒｅｃｏｄｅ１−１）を使うプレエンコードの画面内予測処理の入力を、自分自身のローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画ではなく、予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）のローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画で代用することを意味する。
このように、符号量制御部４は、第１のプレエンコード部１の結果に基づく低精度発生符号量の予測により、低精度発生符号量が目標符号量に最も近くなる可能性が極めて高い予測量子化パラメータＱＰｄ及びその前後の量子化パラメータＱＰによって本エンコードと同様の符号化によって高精度発生符号量を算出する。これにより、符号量制御部４は、予測量子化パラメータＱＰｄ及びその前後の量子化パラメータＱＰを用いた場合の高精度発生符号量をほぼ正確に算出することができる。さらに本発明は、狭い範囲内では量子化パラメータＱＰの変化に伴う高精度発生符号量の変動率がほぼ一定であることに着目した。符号量制御部４は、予測量子化パラメータＱＰｄ及びその前後の量子化パラメータＱＰにおける高精度発生符号量の変動率に基づいて、予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰを用いたときの高精度発生符号量を算出する。これにより符号量制御部４は、予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰについても、ほぼ正確に高精度発生符号量を算出することができる。
［１−４．本エンコード］
本エンコード部３は、第２のプレエンコード部２の結果に基づいて得られる基本量子化パラメータＱＰ_ＭＢ、並びに第１のプレエンコード部１の結果に基づいて得られる予測量子化行列Ｑ Ｍａｔｒｉｘ、アクティビティグループ、画面内予測モード等を使用して本エンコードを行う。即ち、本エンコード部３は、ディレイバッファ６を介して遅延処理された入力画像９１を受けると、画面内予測処理部３１では第１のプレエンコード時に決定された画面内予測モードで、予測画像と入力画像９１との差分画像データが計算される。ＤＣＴ部３２はＤＣＴ処理を行い、量子化部３３はＤＣＴ係数の量子化を行う。量子化部３３の出力（量子化係数）は逆量子化部３７にも送られる。逆量子化部３７は、量子化係数を逆量子化してＤＣＴ係数を再生する。そして、ＩＤＣＴ部３６はＤＣＴ係数をＩＤＣＴ変換し、予測画像を生成し、バッファ３５に保存する。
こうして、前述したようなＤＣＴ部３２によるＤＣＴ、量子化部３３によるＤＣＴ係数の量子化を経て、エントロピー符号化部３４によりエントロピー符号化がなされ、目標符号量とされた出力ストリーム９２が出力される。
［１−５．まとめ］
このように、この実施の形態に係る画像符号化装置１００では、第１のプレエンコード部１による第１のプレエンコードにおいて、複数の選択量子化パラメータＱＰｌでエンコードした時の低精度発生符号量を粗く計算することにより、目標符号量になる予測量子化パラメータＱＰｄを見積もる。
このとき、第１のプレエンコード部１は、任意の間隔の選択量子化パラメータＱＰｌでエンコードした場合の発生符号量を計算するために、並列にエンコードを行うこととしている。
一般的には、並列にエンコードを行うためには、回路規模が非常に大きくなってしまうが、この実施の形態では、回路規模削減のために並列エンコードを実現しつつ、出来るだけ共通に処理を行うようにして問題を解消している。
即ち、より具体的に、第１のプレエンコード部１は、先に説明したように、量子化部１４とエントロピー符号長計算部１５のみ並列に設け、他の処理は共用する。また、逆量子化部、ＩＤＣＴ部、バッファを削減するために、予測画像として入力画像を用いて、画面内予測処理を行うこととしている。
一方、エントロピー符号化でＣＡＢＡＣを用いる場合、高いビットレートでは、処理できない事である。即ち、第１のプレエンコード部１は、仮にエントロピー符号化でＣＡＢＡＣを用いる場合、符号量予測のために、ある量子化パラメータＱＰで符号量計算を行おうとしたとき、その量子化パラメータＱＰでの符号量が大きい場合（すなわち量子化係数における各値が大きい場合）、発生符号量を予測することが出来ない。
ＣＡＢＡＣは１ｂｉｔ毎に確率計算を行ってデータを圧縮していくエントロピー符号化方式である。１ｂｉｔずつ処理するということは、符号量が多くなると処理時間が長くなることを意味し、一定の時間内（例えば１フレームの時間）に処理が終了しなくなる。よって、第１のプレエンコード部１は、仮にエントロピー符号化でＣＡＢＡＣを用いる場合、符号量が多い場合は、エントロピー符号化後の発生符号量を計算することができなくなり、高いビットレートにおいて発生符号量を予測することができないのである。
この点、第１の実施の形態において、第１のプレエンコード部１は、符号量計算にＣＡＶＬＣを用いる。このように、第１のプレエンコード部１では、回路規模を削減し、処理を削減し、簡略化したプレエンコードを行うことで、低精度発生符号量を粗く見積もる。そして符号量制御部４は、目標符号量に近い低精度発生符号量を有する量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択する。
第２のプレエンコード部２では、第１のプレエンコード部１による予測量子化パラメータＱＰｄの推定が誤差を持っていることに鑑み、再度プレエンコードすることで、量子化パラメータＱＰ推定の精度を上げる。即ち、第１のプレエンコード部１により大まかに見積もった予測量子化パラメータＱＰｄの周辺の量子化パラメータＱＰで、再度プレエンコードすることにより高精度発生符号量を取得し、目標とする高精度発生符号量に一番近い量子化パラメータＱＰを再度求める。エントロピー符号長計算は、本エンコードと同じ方式（ＣＡＢＡＣ又はＣＡＶＬＣ）を用いる。
尚、画面内予測処理の入力（ローカルデコード画像）が異なる事による誤差は存在するが、量子化パラメータＱＰが略同じ値であり、エンコードによる歪も略同じ量であるので、無視できるものとする。
［１−６．処理手順］
以下、図３のフローチャートを参照して、本発明の一実施の形態に係る画像符号化装置１００による符号化の処理手順ＲＴ１を詳細に説明する。この処理手順の一部または全部は、一実施の形態に係る画像符号化方法にも相当する。
先ず、アクティビティ計算部１６は、ＭＢ毎にアクティビティを計算し、その値に応じてＭＢをアクティビティグループに分ける（ステップＳ１）。
続いて、画面内予測モード決定部１１は、入力画像９１に基づいて画面内予測モードを決定する（ステップＳ２）。この画面内予測モードは、第２のプレエンコード部２による第２のプレエンコード、本エンコード部３による本エンコードでも使用される。
次に画面内予測処理部１２は、予測画像と入力画像との差分画像データを計算する。ここでの予測画像は、処理を削減するため入力画像９１が用いられる。次いで、ＤＣＴ部１３は、整数精度ＤＣＴを行い、ＤＣＴ係数を量子化部１４に送出する（ステップＳ３）。
量子化部１４は、任意の間隔の複数の選択量子化パラメータＱＰｌをピクチャの平均量子化パラメータ（ＢａｓｅＱＰ）としてＤＣＴ係数値を量子化する。エントロピー符号長計算部１５は、量子化係数を可変長符号化し、符号長計算を行うことで、選択量子化パラメータＱＰｌごとの発生符号量を取得する（ステップＳ４）。この時、ＭＢの量子化パラメータＱＰは、前述したようにアクティビティを考慮した値が与えられて、エンコードされる。即ち、前述したように、ＭＢの量子化パラメータＱＰは、ピクチャの平均量子化パラメータ（ＢａｓｅＱＰ）に対して、アクティビティグループに依存したオフセットを加えることで求められる。
尚、適応的な量子化行列Ｑ Ｍａｔｒｉｘ切り替え処理に対応させる場合には、上記の処理を量子化行列Ｑ Ｍａｔｒｉｘ毎に行う。つまり、量子化行列Ｑ Ｍａｔｒｉｘ毎に、離散的な（飛び飛びの）値の選択量子化パラメータＱＰｌでプレエンコードを行って、１ピクチャ分の発生符号量を取得する。この時、量子化行列Ｑ Ｍａｔｒｉｘ毎に量子化パラメータＱＰの取り得る範囲をカバーするように選択量子化パラメータＱＰｌを選択する。
次に符号量制御部４が、第１のプレエンコード部１によって算出された発生符号量の補正処理を行い、低精度発生符号量を算出する。符号量制御部４は、プレエンコードを簡略化したことによる誤差の補正を行うと共に、補間処理により、選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰに対応する低精度発生符号量を算出する（ステップＳ５）。
符号量制御部４は、各量子化行列Ｑ Ｍａｔｒｉｘに対し、ステップＳ５の処理を実行し、量子化行列Ｑ Ｍａｔｒｉｘごとの低精度発生符号量を算出する（ステップＳ６）。以上の処理で、必要となる全ての量子化パラメータＱＰに対する低精度発生符号量が求められるので、その中で目標符号量に最も近い低精度発生符号量を生成し得る量子化パラメータＱＰのうち、傾斜の最も小さい量子化行列Ｑ Ｍａｔｒｉｘ予測量子化行列Ｑ ＭａｔｒｉｘＤとして選択する。さらに符号量制御部４は、予測量子化行列Ｑ ＭａｔｒｉｘＤに対応する目標符号量に最も近い低精度発生符号量を生成し得る量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択する。（ステップＳ７）。また、上記の様に量子化行列Ｑ Ｍａｔｒｉｘを選択することで、取り得る量子化パラメータＱＰの範囲を限定することになり、第１のプレエンコード部１で低精度発生符号量を算出する際の選択量子化パラメータＱＰｌの範囲を減らすことが可能になる。これが、第１のプレエンコード部１にて決定された予測量子化行列Ｑ ＭａｔｒｉｘＤと予測量子化パラメータＱＰｄとなる。
続いて、第２のプレエンコード部２による発生符号量取得処理を行う（ステップＳ８〜Ｓ１０）。この第２のプレエンコード部２の目的は、第１のプレエンコード部１による予測量子化パラメータＱＰｄの推定が誤差を持っていることに鑑みて、再度プレエンコードすることで、基本量子化パラメータＱＰ_ＭＢ推定の精度を上げることにある。
即ち、第１のプレエンコード部１の結果により大まかに見積もった予測量子化パラメータＱＰｄの周辺の量子化パラメータＱＰで、再度プレエンコードすることにより高精度発生符号量を取得し、目標符号量に一番近い量子化パラメータＱＰを再度求める。エントロピー符号長計算は、本エンコードと同じ方式（ＣＡＢＡＣ又はＣＡＶＬＣ）が用いられる。
具体的には、第１のプレエンコード部１の結果により決定された画面内予測モードを用いて画面内予測処理部２１による画面内予測処理及びＤＣＴ部２２によるＤＣＴを行う（ステップＳ８）。第２のプレエンコード部２は、画面内予測で使用するローカルデコード画像（予測画像）として、第１のプレエンコード部１の結果により推定された予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）で量子化したローカルデコード画像を共用する。
量子化に際しては、第１のプレエンコード部１の結果により決定された予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）、量子化行列Ｑ Ｍａｔｒｉｘ及びアクティビティグループ（Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐ）が用いられる。量子化部２３−１には予測量子化パラメータＱＰｄ（ＱＰ＿ｐｒｅｃｏｄｅ１）が設定され、量子化部２３−２には予測量子化パラメータＱＰｄよりも「１」だけ小さい量子化パラメータＱＰ（ＱＰ＿ｐｒｅｃｏｄｅ１−１）が設定され、量子化部２３−３には予測量子化パラメータＱＰｄよりも「１」だけ大きい量子化パラメータ（ＱＰ＿ｐｒｅｃｏｄｅ１＋１）が設定される。
さらに、ＭＢの量子化パラメータ（ＱＰ）には、アクティビティを考慮した値が与えられてエンコードされる。以上の第２のプレエンコードにより、１ピクチャの高精度発生符号量を取得することができる（ステップＳ９）。
続いて、符号量制御部４は、第２のプレエンコード部２に基づいて得られた高精度発生符号量から基本量子化パラメータＱＰ_ＭＢを決定する（ステップＳ１０）。
続いて、本エンコード部３が本エンコードを行う（ステップＳ１１）。本エンコードでは、第２のプレエンコード部２の結果により決定されたピクチャの基本量子化パラメータＱＰ_ＭＢ、第１のプレエンコード部１の結果により決定された予測量子化行列Ｑ ＭａｔｒｉｘＤ、Ａｃｔｉｖｉｔｙ Ｇｒｏｕｐを使用してエンコードを行う。こうして符号化に関わる一連の処理を終了する。
以下、図４のフローチャートを参照して、画像符号化装置１００による符号化の処理手順ＲＴ１のステップＳ７において実行されるＱ Ｍａｔｒｉｘ決定処理手順ＲＴ２について更に説明する。
この処理を開始すると、符号量制御部４は、先ずＩｄをＩｄ＝０にイニシャライズした後（ステップＳ２１）、Ｉｄの値の小さい量子化行列Ｑ−Ｍａｔｒｉｘから、低精度発生符号量が目標符号量に最も近い量子化パラメータ（ＱＰ）と、量子化行列Ｑ−Ｍａｔｒｉｘにおいて取り得る最大の量子化パラメータＱＰ（ＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］）とを比較する（ステップＳ２２）。そして、符号量制御部４は、Ｉｄ番目の量子化行列Ｑ−Ｍａｔｒｉｘでの低精度発生符号量が目標符号量に最も近い量子化パラメータ（ＱＰ）がＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］より小さければ、現在の量子化行列Ｑ−Ｍａｔｒｉｘを予測量子化行列Ｑ ＭａｔｒｉｘＤに決定する。さらに符号量制御部４は、予測量子化行列Ｑ ＭａｔｒｉｘＤにおける低精度発生符号量が目標符号量に最も近い量子化パラメータ（ＱＰ）を予測量子化パラメータＱＰｄに決定すると（ステップＳ２３）、ＱＭａｔｒｉｘ決定処理手順ＲＴ２を終了する。
一方、ステップＳ２２において、符号量制御部４は、Ｉｄ番目の量子化行列Ｑ−Ｍａｔｒｉｘでの低精度発生符号量が目標符号量に最も近い量子化パラメータ（ＱＰ）がＱＭａｔｒｉｘＴｈｅｓｈｏｌｄ［Ｉｄ］以上であれば、Ｉｄをインクリメント（ステップＳ２４）する。符号量制御部４は、Ｉｄ＝量子化行列Ｑ−Ｍａｔｒｉｘの総数よりも「１」小さい（ＮｕｍＯｆＱＭａｔｒｉｘＩｄ−１）であるか否かを判断する（ステップＳ２５）。そして、Ｉｄ＝ＮｕｍＯｆＱＭａｔｒｉｘＩｄ−１でなければステップＳ２２に戻り、次の量子化行列Ｑ−Ｍａｔｒｉｘをチェックする。一方、Ｉｄ＝ＮｕｍＯｆＱＭａｔｒｉｘＩｄ−１であれば、一番急峻な傾斜を有する量子化行列Ｑ−Ｍａｔｒｉｘ（ＩＤがＮｕｍＯｆＱＭａｔｒｉｘＩｄの量子化行列Ｑ−Ｍａｔｒｉｘ）が選択され（ステップＳ２３）、Ｑ Ｍａｔｒｉｘ決定処理手順ＲＴ２を終了する。
この図４のＱ Ｍａｔｒｉｘ決定処理手順ＲＴ２により、符号量制御部４は、量子化行列Ｑ−Ｍａｔｒｉｘ毎に、取り得る最大の量子化パラメータＱＰを設定して、傾斜の緩やかな量子化行列Ｑ−Ｍａｔｒｉｘから順に、低精度発生符号量が目標符号量に最も近いと推定された量子化パラメータＱＰに対応する低精度発生符号量が目標符号量に本当に近い値を示すか否かを判断する。そして、近い値であれば対応する量子化行列Ｑ−Ｍａｔｒｉｘを本エンコードで用いる予測量子化行列Ｑ ＭａｔｒｉｘＤとして決定することになる。
以上説明したように、本発明の一実施の形態では、ピクチャ単位の２回のプレエンコードを実施する。そして、画像符号化装置１００は、効率向上のためには、処理量が増大し、それに起因してエンコードの回路規模が増大するとの問題を解消するために、回路一部共有化による部分的並列構成を採用する。これにより、プレエンコーダの構成を簡略化しつつ、該簡略化に伴う誤差を統計データで補正する。
従って、画像符号化装置１００は、１ピクチャに与えられた目標符号量に、画面内Ｆｅｅｄ Ｂａｃｋ制御を行わずに本エンコードにおいて発生する本エンコード発生符号量を合わせ込むことが可能になる。これにより、画像符号化装置１００は、Ｆｅｅｄ Ｂａｃｋパラメータの不適切な初期値による弊害や、不適切な目標符号量配分など、Ｆｅｅｄ Ｂａｃｋ制御の問題を取り除くことが可能になる。その結果、画像符号化装置１００は、目標符号量に本エンコード発生符号量を一致させ、視覚特性を考慮した符号量配分、つまり適切な量子化パラメータの決定が可能となる。
なお、本発明は前述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で種々の改良や変更が可能である。
たとえば、上記画像符号化装置１００及び画像符号化方法は、該装置に実装されるコンピュータプログラム或いは該プログラムを記録した記録媒体、該方法を実施するコンピュータプログラム或いは該プログラムを記録した記録媒体としての実施も可能である。
［１−７．動作及び効果］
以上の構成によれば、画像処理装置としての画像符号化装置１００は、入力画像９１が簡易な処理により符号化されてなる簡易符号化データであるＤＣＴ係数を、量子化因子である量子化パラメータＱＰから離散的に選択された選択量子化パラメータＱＰｌに基づいて入力画像である入力画像９１を少なくとも量子化することにより入力画像９１を符号化し、符号化による入力画像９１の発生符号量を算出する。
画像符号化装置１００は、符号化による入力画像の発生符号量における簡易な処理に応じて発生する誤差を補正し、低精度発生符号量を算出する。
画像符号化装置１００は、選択量子化パラメータＱＰｌに基づいて入力画像９１が符号化されたときの低精度発生符号量に対する補間処理により、選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰに基づいて入力画像９１が符号化されたときの低精度発生符号量を算出する。
これにより、画像符号化装置１００は、全ての量子化パラメータＱＰを符号化しなくても、当該全ての量子化パラメータＱＰに基づく低精度発生符号量を算出することができ、低精度発生符号量の算出を簡易にすると共に、算出回路を削減することができる。
画像符号化装置１００は、選択量子化パラメータＱＰｌに基づく符号化及び補間処理により算出された低精度発生符号量に基づいて、入力画像９１を符号化したときの本エンコード発生符号量が目標符号量に最も近いと予測される量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして決定する。画像符号化装置１００は、本エンコード部３により基本量子化パラメータＱＰ_ＭＢに基づいて入力画像９１を符号化（本エンコード）する。
これにより、画像符号化装置１００は、簡易な処理により生成された低精度発生符号量に基づいて基本量子化パラメータＱＰ_ＭＢを決定することができるため、基本量子化パラメータＱＰ_ＭＢを決定するための処理を簡易化することができる。
画像符号化装置１００は、基本量子化パラメータＱＰ_ＭＢに対してアクティビティに応じたオフセットを付加した適応量子化パラメータＱＰｔに基づいて入力画像９１を符号化する。
これにより、画像符号化装置１００は、画質に応じた適切な適応量子化パラメータＱＰｔを用いて入力画像９１を符号化できるため、出力ストリーム９２における画質の低下を極力抑制できる。
画像符号化装置１００は、量子化の際に使用する量子化行列Ｑ Ｍａｔｒｉｘが取り得る量子化パラメータＱＰの範囲内から選択された選択量子化パラメータＱＰｌを使用する。
これにより、画像符号化装置１００は、量子化パラメータＱＰの範囲を限定することができるため、選択量子化パラメータＱＰｌの数を低減させて回路構成を簡易化できる。また、選択量子化パラメータＱＰｌの間隔を小さく設定することができるため、低精度発生符号量の精度を向上させ得る。
画像符号化装置１００は、以下のようにして選択量子化パラメータＱＰｌに基づく符号化及び補間処理により算出された低精度発生符号量に基づいて、入力画像９１を符号化したときの発生符号量が目標符号量に最も近いと予測される量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして決定する。すなわち、画像符号化装置１００は、低精度発生符号量において、目標符号量に最も近い発生符号量に対応する量子化パラメータＱＰを予測量子化パラメータＱＰｄとして選択する。画像符号化装置１００は、選択された予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに基づいて入力画像９１を符号化し、符号化による入力画像９１の高精度発生符号量を算出する。画像符号化装置１００は、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰのいずれかに基づいて入力画像９１を符号化したときの高精度発生符号量が目標符号量に最も近い場合に、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰから、目標符号量に最も近い高精度発生符号量に対応する量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択する。
これにより、画像符号化装置１００は、予測量子化パラメータＱＰｄ及びその近傍の量子化パラメータＱＰに基づく発生符号量を算出することができる。この予測量子化パラメータＱＰｄは、目標符号量と最も近い本エンコード発生符号量を生成し得る基本量子化パラメータＱＰ_ＭＢの近傍であると予測されるものである。このため、画像符号化装置１００は、目標符号量と最も近い発生符号量を生成し得る量子化パラメータＱＰである可能性の高い予測量子化パラメータＱＰｄに基づいて入力画像９１を符号化し、その発生符号量を算出することができる。
画像符号化装置１００は、傾斜の小さい量子化行列Ｑ Ｍａｔｒｉｘから順に使用して符号化による入力画像９１の発生符号量を算出し、予測量子化パラメータＱＰｄが使用された量子化行列Ｑ Ｍａｔｒｉｘの取り得る範囲内であった場合に、使用された量子化行列Ｑ Ｍａｔｒｉｘを本エンコード部３によって使用する予測量子化行列Ｑ ＭａｔｒｉｘＤに決定する。画像符号化装置１００は、予測量子化パラメータＱＰｄの直前及び直後の量子化パラメータＱＰを予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰｄとする。画像符号化装置１００は、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに基づいて入力画像９１を符号化したときの高精度発生符号量の範囲内に、目標符号量が入る場合には、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰから、目標符号量に最も近い高精度発生符号量に対応する量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択する。
これにより、画像符号化装置１００は、入力画像９１を基本量子化パラメータＱＰ_ＭＢによって実際に符号化したときの高精度発生符号量に基づいて基本量子化パラメータＱＰ_ＭＢを決定できるため、基本量子化パラメータＱＰ_ＭＢの検出精度を向上させ得る。
画像符号化装置１００は、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに基づいて入力画像９１を符号化したときの発生符号量の範囲内に、目標符号量が入らない場合には、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに基づいて入力画像９１を符号化したときの高精度発生符号量から、量子化パラメータＱＰの変動に伴う高精度発生符号量の変動率ＤｉｆｆＲａｔｉｏを算出する。画像符号化装置１００は、変動率算出部によって算出された変動率ＤｉｆｆＲａｔｉｏから、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰ以外の量子化パラメータＱＰに基づいて入力画像９１を符号化したときの高精度発生符号量を算出する。画像符号化装置１００は、高精度発生符号量において、目標符号量に最も近い発生符号量に対応する量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして選択する。
これにより、画像符号化装置１００は、量子化パラメータＱＰが近い範囲内においては高精度発生符号量の変動率ＤｉｆｆＲａｔｉｏがほぼ一定であるという性質を利用して、予測量子化パラメータＱＰｄの周辺の量子化パラメータＱＰにおける高精度発生符号量を高い精度で算出することができる。
画像符号化装置１００は、簡易的な処理により、簡易符号化による入力画像９１の低精度発生符号量を算出する。これにより、画像符号化装置１００は、第１のプレエンコード部１の構成を簡易にすることができる。
画像符号化装置１００は、本エンコード部３と同等の処理により、第２のプレエンコード部２によって実行される符号化による入力画像９１の高精度発生符号量を算出する。これにより、画像符号化装置１００は、本エンコード発生符号量とほぼ同一の符号量を示す高精度発生符号量に基づいて基本量子化パラメータＱＰ_ＭＢを決定できる。このため、画像符号化装置１００は、基本量子化パラメータＱＰ_ＭＢを用いて本符号化（本エンコード）したときの本エンコード発生符号量を目標符号量に近くできる。
画像符号化装置１００は、本エンコード部３により基本量子化パラメータＱＰ_ＭＢに基づいて入力画像９１を本エンコードし、第１のエンコード部１により本エンコードと比して、簡易な処理により入力画像９１を符号化する。
これにより、画像符号化装置１００は、簡易な処理により粗く見積もられた低精度発生符号量に基づいて、まず基本量子化パラメータＱＰ_ＭＢの近傍であると予測される予測量子化パラメータＱＰｄを決定する。そして画像符号化装置１００は、第２のプレエンコード部２により、予測量子化パラメータＱＰｄに基づいて基本量子化パラメータＱＰ_ＭＢを決定する。このため、画像符号化装置１００は、簡易な構成により、高い精度で基本量子化パラメータＱＰ_ＭＢを決定することができる。
画像符号化装置１００は、本エンコード部３により量子化の前にローカルデコード画像を予測画像とする画面内予測を実行する。画像符号化装置１００は、第１のプレエンコード部１により量子化の前に入力画像９１を予測画像とする画面内予測を実行することにより、入力画像９１の簡易符号化による低精度発生符号量を算出する。画像符号化装置１００は、低精度発生符号量に対し、予測画像を入力画像９１としたことに応じて発生する誤差を補正する。
画像符号化装置１００は、予め統計によりモデル化された誤差情報を用いて予測画像を入力画像９１としたことに応じて発生する誤差を補正することにより、低精度発生符号量を算出する。
この誤差情報は、量子化パラメータＱＰ及び入力画像９１の符号化による発生符号量の関数として定義されている。
これにより、画像符号化装置１００は、誤差を適切に定義することができるため、ＣＡＶＬＣ補正量を適切に算出して低精度発生符号量の精度を向上させ得る。
画像符号化装置１００は、量子化パラメータＱＰ及び入力画像９１の符号化による低精度発生符号量を指標としてそれぞれモデル化された誤差情報を有し、より小さい誤差量を示す誤差情報からＣＡＶＬＣ補正量を決定する。
これにより、画像符号化装置１００は、ＣＡＶＬＣ補正量を不要に大きくしてしまうことを防止し、補正後の低精度発生符号量の精度を向上させ得る。
画像符号化装置１００は、本エンコード部３による入力画像９１の量子化の後に、可変長符号化又は算術符号化を入力画像９１に応じて切り替えて実行する。画像符号化装置１００は、第２のプレエンコード部２により可変長符号化を実行することにより、可変長符号化による入力画像９１の発生符号量を算出し、本エンコード部３が入力画像９１に対して算術符号化を実行する場合には、可変長符号化による入力画像９１の発生符号量を補正することにより、算術符号化による入力画像９１の低精度発生符号量を算出する。
これにより、画像符号化装置１００は、算術符号化を実行することなく算術符号化による入力画像９１の低精度発生符号量を予測することができるため、算術符号化のための複雑な回路を設けずに済む。
画像符号化装置１００は、予め統計によりモデル化された誤差情報を用いて可変長符号化による入力画像９１の発生符号量を補正し、算術符号化による入力画像９１の低精度発生符号量を予測する。
これにより、画像符号化装置１００は、比較的複雑な傾向を示す算術符号化による誤差を適切に定義することができるため、ＣＡＢＡＣ補正量を適切に算出して低精度発生符号量の精度を向上させ得る。
画像符号化装置２００は、本エンコード部３によって量子化の前にローカルデコード画像を予測画像とする画面内予測を実行する。画像符号化装置２００は、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに基づいて入力画像９１を符号化する際、予測量子化パラメータＱＰｄに基づくローカルデコード画像を当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに対する予測画像とする。
これにより、画像符号化装置１００は、予測量子化パラメータＱＰｄに基づくローカル画像を当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰと共用することができるため、回路構成を簡易にすることができる。
以上の構成によれば、図５のフローチャートに示すように、画像符号化装置１００は、離散的に選択された選択量子化パラメータＱＰｌを用いて簡易的な符号化により入力画像９１を符号化して発生符号量を算出（ステップＳ３１）し、当該発生符号量における簡易的な符号化によって発生する誤差を補正し（ステップＳ３２）、低精度発生符号量を算出する。画像符号化装置１００は、補正された発生符号量を補間することにより、選択量子化パラメータＱＰｌ以外の量子化パラメータＱＰについての低精度発生符号量を算出する（ステップＳ３３）。
これにより、画像符号化装置１００は、簡易的な符号化及び選択量子化パラメータＱＰｌによる簡易な構成により、比較的精度の高い低精度発生符号量を算出することができる。
［２．第２の実施の形態］
図６〜図９に示す第２の実施の形態では、図１〜図５に示した第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、バックサーチを実行する前モード推定プレエンコード部４０を有している点が第１の実施の形態と異なっている。
［２−１．バックサーチ］
本発明は、例えば画像符号化装置等に係り、特にダビング時の画質の劣化を防ぎ所望とする本エンコード発生符号量に制御する技術分野に関する。
従来、テレビジョン放送局間で映像データの伝送を行う際、或いは複数のビデオテープレコーダ（ＶＴＲ装置）を用いて映像データの複写を行う際には、ＭＰＥＧ（Ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）２方式で圧縮符号化した映像データを伸長復号し、再度、圧縮符号化することから、エンコーダとデコーダを直列にタンデム接続する必要がある。
そして、このようなタンデム接続時の圧縮符号化と伸長復号の繰り返しによる映像の品質劣化を低減する手法として所謂「バックサーチ」という手法が採用されている。
ここで、「バックサーチ」とは、以前の圧縮符号化で使用された量子化ステップ、或いは、その倍数関係にある量子化ステップを用いると、離散余弦変換（ＤＣＴ；ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｅｒ）係数の剰余の総和が極小となるという性質を利用して、最小値に係る量子化ステップを最適な量子化ステップとして求める手法である。
この「バックサーチ」を用いた技術については、例えば特許文献１では、前回の圧縮符号化における量子化ステップをバックサーチ方式により再生し、前回と同じ量子化ステップおよびＧＯＰ（Ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）位相で再び入力映像データを圧縮符号化し、エンコーダとデコーダをタンデム接続して映像データの圧縮符号化及び伸長復号を繰り返した場合の映像の品質の劣化を防止する映像データ圧縮装置が開示されている。
このＭＰＥＧ２など、直交変換を用いた符号化方式において、ダビング時の劣化を防ぐ方法として、量子化ステップや、Ｉｎｔｅｒの予測画像（動きベクトル）を再現あるいは再利用する方法がある（例えば特許文献２参照）。
特開平１０−１７４０９８号公報。

一方、Ｈ２６４（ＡＶＣ；Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；高度動画像圧縮符号化標準）Ｉｎｔｒａ画像では、フレーム内予測（Ｉｎｔｒａ予測）があり、ピクチャ単位の量子化行列Ｑ Ｍａｔｒｉｘ、ＤＣＴブロック単位の画面内予測モードとマクロブロック単位の量子化ステップを再現することで、ダビング時の劣化を防ぐことができる。
［２−２．画像符号化装置の構成］
図６には、本発明の一実施の形態に係る画像符号化装置２００の構成を示し説明する。
即ち、Ｈ／２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；高度動画像圧縮符号化標準）に代表される算術符号化を用いた画像圧縮方式で、符号量制御を行う際に、ピクチャ内で良好な符号量分布を実現し、同時にダビング特性を向上させるために、第１のプレエンコード部１で求めたパラメータを用いて、第２のプレエンコード部２と前モード推定プレエンコード部４０によるプレエンコードを並列に行い、ダビングモードでエンコードするか、原画モードでエンコードするかを決定する。
そして、この前モード推定プレエンコード部４０では、第１のプレエンコード部１で求めた予測量子化行列Ｑ ＭａｔｒｉｘＤを用い、また第１のプレエンコード部１で求めた予測量子化パラメータＱＰｄを起点として、上下の一定の範囲の量子化パラメータＱＰに対して推定処理を行い、前回の符号化に使用された量子化パラメータＱＰを求めることで、バックサーチ処理のサーチ範囲を限定し回路規模を削減する。
さらに、画像符号化装置２００は、第２のプレエンコード部２と前モード推定プレエンコード部４０による処理を並列に行うことにより、バックサーチ結果での符号量が条件を満たさない場合に対処できるようにする。これにより、画像符号化装置２００は、量子化パラメータＱＰの推定範囲を符号量が増える方向にも取れる様にする。
そして、本エンコード部３では、原画モードかダビングモードであるかにより、エンコードに使うパラメータを切り替えて本エンコードを行う。
前モード推定プレエンコード部４０は、前モードを推定するためのプレエンコードを行うモジュールであり、画面内予測処理部４１、ＤＣＴ部４２、バックサーチ部４３、バッファ４４、量子化部４５、エントロピー符号長計算部４６を備えている。
符号量制御部４は、符号量制御を行うモジュールである。
尚、ＡＶＣ Ｉｎｔｒａでは、復号の際に、一度符号化、復号化を通じた画像を再度復号化する際に、前回の符号化で使われた量子化パラメータＱＰ及び画面内予測モードを使うと、前回の符号化で量子化歪みが既に落とされているので、それ以上、量子化歪みが生じにくいという性質がある。このように前回の符号化で使われた量子化パラメータＱＰ及び画面内予測モードを検出することを、「バックサーチ」と称するものとする。
バックサーチ部４３は、量子化パラメータＱＰ検出機能、並びに画面内予測モードの検出機能を備える。バックサーチ部４３は、量子化パラメータＱＰ検出機能により、前回のエンコードの過程で得られるＤＣＴ係数に基づいて、前回のエンコードにおいて使われた量子化パラメータＱＰを検出する。以下、検出された量子化パラメータＱＰを検出量子化パラメータＱＰｅと呼ぶ。具体的に、バックサーチ部４３は、ＭＢ毎にＤＣＴ係数を複数の量子化パラメータＱＰによるリスケーリングファクターＲＦで除算したときの剰余を用いて、検出量子化パラメータＱＰｅを検出する。そして、バックサーチ部４３は、画面内予測モード検出機能により、検出された検出量子化パラメータＱＰｅに基づいて前回の符号化に使用された画面内予測モードを検出する。この構成の詳細については、特許文献３に記載されている。なお本実施の形態においては、処理の軽減化のため、バックサーチとして検出量子化パラメータＱＰｅと画面内予測モードの検出のみを実行し、量子化行列Ｑ ＭａｔｒｉｘＥの検出を実行しない。
国際出願番号ＰＣＴ／ＪＰ２００８／０６６９１７

エントロピー符号長計算部４６は、本エンコード部３による本エンコードのエントロピー符号化と同じ方式をＣＡＢＡＣ／ＣＡＶＬＣから選択する。前モード推定プレエンコード部４０は、検出量子化パラメータＱＰｅ及び検出された画面内予測モードに基づいて、バックサーチ発生符号量を算出する。符号量制御部４は、こうして得られたバックサーチ発生符号量から、目標符号量を満たすかを判断することになる。
符号量制御部４は、第２のプレエンコード部２と前モード推定プレエンコード部４０の結果から、原画モードでエンコードするか、ダビングモードでエンコードするかを決定し、最終的なエンコードのパラメータを決定する（詳しくは後述する）。符号量制御部４は、原画モード／ダビングモードの判定結果と、基本量子化パラメータＱＰ_ＭＢ、予測量子化行列Ｑ ＭａｔｒｉｘＤ、及び画面内予測モード、並びに各ＭＢのアクティビティグループ（以下、これらをまとめて本エンコード情報と呼ぶ）を本エンコード部３に渡す。この結果、本エンコード部３は、原画モード及びダビングモードのいずれかに移行し、当該原画モード及びダビングモードに応じた本エンコード情報を用いてエンコードを行う。
本エンコード部３は、ディレイバッファ６を介して遅延処理された入力画像９１を受け取ると、第１のプレエンコード部１によって決定された画面内予測モードを用い、画面内予測処理部３１によって予測画像と入力画像との差分画像データを生成する。ＤＣＴ部３２はＤＣＴ処理を行い、量子化部３３はＤＣＴ係数の量子化を行う。量子化部３３の出力は逆量子化部３７にも送られる。逆量子化部３７は、逆量子化してＤＣＴ係数を再生する。そして、ＩＤＣＴ部３６はＤＣＴ係数をＩＤＣＴ変換し、入力画像を再生し、バッファ３５に保存する。こうして、前述したようなＤＣＴ部３２によるＤＣＴ、量子化部３３によるＤＣＴ係数の量子化を経て、エントロピー符号化部３４によりエントロピー符号化がなされ、目標符号量とされた出力ストリーム９２が出力される。
［２−３．非原画に対するモードの選択］
次に、原画モード／ダビングモードの判定処理について説明する。上述したように、バックサーチ部４３によって、処理対象となるＭＢから検出量子化パラメータＱＰｅが検出されている。このとき、入力画像９１が原画あっても、偶発的にバックサーチが成功し、検出量子化パラメータＱＰｅが検出される場合がある。逆に、入力画像９１が非原画であっても、偶発的にバックサーチが不成功となり、検出量子化パラメータＱＰｅが検出されない場合がある。
そこで、符号量制御部４は、バックサーチの成功率が閾値以上であるか否かにより、現在処理中の入力画像９１におけるピクチャが原画であるか非原画であるかを判定する。
ここで、原則としてピクチャが非原画であるときに使用されるダビングモードでは、バックサーチが成功したＭＢに対しては検出量子化パラメータＱＰｅを用いるのに対し、バックサーチが不成功のＭＢに対して基本量子化パラメータＱＰ_ＭＢ及びアクティビティによるオフセットを用いる。このとき、これらの組み合わせによっては、ピクチャのバックサーチ発生符号量が目標符号量を超えてしまう場合がある。このため、符号量制御部４は、ピクチャが非原画であると判定した場合には、ダビングモードにおけるバックサーチ発生符号量を算出し、バックサーチ発生符号量が目標符号量内に収まる場合には、ダビングモードを選択し、バックサーチ発生符号量が目標符号量内に収まらない場合には、原画モードを選択するようになされている。
具体的に、符号量制御部４は、バックサーチが成功したＭＢ（以下、これを成功ＭＢと呼ぶ）の発生符号量の和（ＧｅｎＢｉｔｓ＿ｓｕｃｃｅｓｓ）を算出する。成功ＭＢでは、アクティビティを考慮することなく、検出量子化パラメータＱＰｅをそのまま使用する。そのため符号量制御部４は、成功ＭＢについて、前モード推定プレエンコード部４０によって算出された発生符号量を使用し、発生符号量の和（ＧｅｎＢｉｔｓ＿ｓｕｃｃｅｓｓ）を算出する。
符号量制御部４は、バックサーチが不成功のＭＢ（以下、これを不成功ＭＢと呼ぶ）について、第２のプレエンコード部２において算出された高精度発生符号量に基づいて、基本量子化パラメータＱＰ_ＭＢを用いたときの発生符号量の和（ＧｅｎＢｉｔｓ＿ｎｏｔ＿ｓｕｃｃｅｓｓ）を算出する。上述したように、第２のプレエンコード部２では、量子化パラメータＱＰが「１」だけ変化したときの変動率（Ｄｉｆｆｒａｔｉｏ）、及び基本量子化パラメータＱＰ_ＭＢを算出している。符号量制御部４は、発生符号量の和（ＧｅｎＢｉｔｓ＿ｎｏｔ＿ｓｕｃｃｅｓｓ）に対し、予測量子化パラメータＱＰｅと基本量子化パラメータＱ_ＭＢとの差分値（Ｄｉｆｆ＿ＱＰ）の回数だけ変動率（Ｄｉｆｆｒａｔｉｏ）を乗算することにより、不成功ＭＢについて基本量子化パラメータＱＰ_ＭＢを用いたときの発生符号量（ＧｅｎＢｉｔｓ＿ｎｏｔ＿ｓｕｃｃｅｓｓ＿ｒｅｖ）を算出する。すなわち、基本量子化パラメータＱＰ_ＭＢが予測量子化パラメータＱＰｄより大きい時、

と求め、基本量子化パラメータＱＰ_ＭＢが予測量子化バラメータＱＰｄより小さい時、

として求める。
符号量制御部４は、成功ＭＢの発生符号量（ＧｅｎＢｉｔｓ＿ｓｕｃｃｅｓｓ）と不成功ＭＢの発生符号量（ＧｅｎＢｉｔｓ＿ｎｏｔ＿ｓｕｃｃｅｓｓ＿ｒｅｖ）を加算することにより、ダビングモードを使用した場合のピクチャのバックサーチ発生符号量（ＧｅｎＢｉｔｓ＿ｒｅｖ）を次式のように算出する。

次に、符号量制御部４は、ピクチャのバックサーチ発生符号量（ＧｅｎＢｉｔｓ＿ｒｅｖ）が目標符号量内に収まるか否かについて判別する。
符号量制御部４は、次式に従い、ピクチャのバックサーチ発生符号量（ＧｅｎＢｉｔｓ＿ｒｅｖ）と目標符号量（ＴａｒｇｅｔＢｉｔ）とを比較する。なおαは、符号量の揺れがどの程度まで許容されるかによって決定される加算符号量である。
ＧｅｎＢｉｔｓ＿ｒｅｖ＜＝（ＴａｒｇｅｔＢｉｔｓ＋α）
符号量制御部４は、ピクチャのバックサーチ発生符号量（ＧｅｎＢｉｔｓ＿ｒｅｖ）が目標符号量内に収まる場合、ダビングモードを選択する。
一方、符号量制御部４は、ピクチャのバックサーチ発生符号量（ＧｅｎＢｉｔｓ＿ｒｅｖ）が目標符号量内に収まらない場合、不成功ＭＢの発生符号量（ＧｅｎＢｉｔｓ＿ｎｏｔ＿ｓｕｃｃｅｓｓ＿ｒｅｖ）が計算によって算出されたことによる誤差によって目標符号量内に収まらない可能性があるため、この可能性について検証する。符号量制御部４は、成功ＭＢの発生符号量（ＧｅｎＢｉｔｓ＿ｓｕｃｃｅｓｓ）と不成功ＭＢの予測量子化パラメータＱＰｄを用いたときの発生符号量（ＧｅｎＢｉｔｓ＿ｎｏｔ＿ｓｕｃｃｅｓｓ）とを加算したピクチャの修正前発生符号量（ＧｅｎＢｉｔｓ）と目標符号量（ＴａｒｇｅｔＢｉｔ）とを次式に従って比較する。
ＧｅｎＢｉｔｓ＜＝（ＴａｒｇｅｔＢｉｔｓ＋α）
符号量制御部４は、ピクチャの修正前発生符号量（ＧｅｎＢｉｔｓ）が目標符号量（ＴａｒｇｅｔＢｉｔ）を超えている場合、計算によって算出されたことによる誤差がない状態であっても、発生符号量が目標符号量（ＴａｒｇｅｔＢｉｔ）を超えているため、原画モードを選択する。
なお、前モード推定プレエンコード部４０は、画面内予測処理部４１で予測画像として入力画像９１を使用しているが、一度エンコードされた画に対して、同じパラメータでエンコードした場合、歪は乗らない。ゆえに、入力画像９１とローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画像は同じになり、符号量に誤差は乗らない。よって、検出率が高い場合、予測画像として入力画像９１を用いたことによる誤差は非常に小さく無視できる。
このように、符号量制御部４は、ピクチャが非原画であった場合には、ダビングモードを使用した場合におけるピクチャのバックサーチ発生符号量を予測し、ピクチャのバックサーチ発生符号量が目標符号量に収まる場合には、ダビングモードを選択する。一方、符号量制御部４は、ピクチャのバックサーチ発生符号量が目標符号量に収まらない場合には、原画モードを選択するようになされている。
［２−４．本エンコード］
この時、本エンコード部３の画面内予測処理部３１は、原画モードであれば、画面内予測モード決定部１１で決定された画面内予測モードを処理対象となるＭＢに対して使用する。画面内予測処理部３１は、ダビングモードであれば、処理対象となるＭＢごとに使用する画面内予測モードを変更する。すなわち画面内予測処理部３１は、処理対象となるＭＢにおいてバックサーチが成功した場合には、バンクサーチ部４３によって検出された画面内予測モードを使用する。画面内予測処理部３１は、処理対象となるＭＢにおいてバックサーチが不成功であった場合には、第１のプレエンコード部１によって検出された第１位の画面内予測モードを使用する。
このとき、量子化部３３は、処理対象となるＭＢごとに使用する量子化パラメータＱＰを変更する。すなわち画面内予測処理部３１は、処理対象となるＭＢにおいてバックサーチが成功した場合には、バックサーチ部４３によって検出された検出量子化パラメータＱＰｅをそのまま使用する。画面内予測処理部３１は、処理対象となるＭＢにおいてバックサーチが不成功であった場合には、第２のプレエンコード部２の結果に応じて決定された基本量子化パラメータＱＰ_ＭＢを使用する。なお、基本量子化パラメータＱＰ_ＭＢは、平均量子化パラメータ（ＱＰＢａｓｅ）として用いられ、第１のプレエンコード部１によって決定されたアクティビティグループに応じたオフセットが付加される。量子化部３３は、バックサーチの成功の有無に拘らず、量子化行列Ｑ Ｍａｔｒｉｘとして第１のプレエンコード部１によって決定された予測量子化行列Ｑ ＭａｔｒｉｘＤを用いる。
このように、画像符号化装置２００は、原画モード／ダビングモード判定結果に基づいて原画モードに移行し、第２のプレエンコード部２の結果に応じて決定された基本量子化パラメータＱＰ_ＭＢをピクチャの平均量子化パラメータ（ＱＰＢａｓｅ）として用いる。一方、画像符号化装置２００は、ダビングモードに移行すると、前モード推定プレエンコード部４０によって検出された検出量子化パラメータＱＰｅをそのまま用いるようになされている。
［２−５．処理手順］
以下、図７のフローチャートを参照して、本発明の一実施の形態に係る画像符号化装置による符号化処理手順ＲＴ１０を詳細に説明する。この処理手順の一部または全部は、一実施の形態に係る画像符号化方法にも相当する。
尚、ステップＳ１〜Ｓ１０については、図３と同様のため、説明を省略する。
画像処理装置２００は、前モード推定プレエンコード部４０による前モード推定プレエンコードを行う（ステップＳ４１乃至Ｓ４３）。この前モード推定プレエンコードにおいて、前モード推定プレエンコード部４０は、前回の符号化パラメータ（量子化パラメータＱＰ及び画面内予測モード）を推定し、推定された符号化パラメータで符号化した場合のバックサーチ発生符号量を取得する。
画像符号化装置２００は、画面内予測処理部４１によって予測画像と入力画像９１との差分画像データを生成する。この時、画面内予測処理部４１は、画面内予測モード決定部１１で決定された第１候補から第Ｍ候補まで各々で差分画像データを計算する。画面内予測処理では、本来ローカルデコード（Ｌｏｃａｌ Ｄｅｃｏｄｅ）画像を使用して処理を行うが、ここでは入力画像９１を用いて行う。
次に画像符号化装置２００は、ＤＣＴ部４２によるＤＣＴ変換を行い、その出力を、バックサーチ部４３、バッファ４４に供給する（ステップＳ４１）。続いて、前モード推定プレエンコード部４０は、サブルーチンＳＲＴ２０へ移り、前回のパラメータ推定処理を行う（ステップＳ４２）。
続いて、画像符号化装置２００は、量子化部４５によって量子化を行い、エントロピー符号長計算部４６によって符号量計算処理を行う（ステップＳ４３）。
即ち、量子化部４５は、バックサーチ部４３から出力された画面内予測モードに応じて、バッファ４４に格納されているデータから指定された画面内予測モードに該当するデータを選択し、量子化を行う。このとき、量子化部４５は、バックサーチ部４３から出力された検出量子化パラメータＱＰｅに基づいて量子化を行う。その後、画像符号化装置２００は、エントロピー符号長計算部４６によってＭＢごとの発生符号量を計算する。エントロピー符号長計算は、本エンコードのエントロピー符号化と同じ方式（ＣＡＢＡＣ／ＣＡＶＬＣ）で行われる。そして符号量制御部４は、バックサーチの成功の有無に応じて、ダビングモードを使用したときのピクチャのバックサーチ発生符号量を推定する。
次に、画像符号化装置２００は、エンコードモード（原画モード／ダビングモード）判定を行う（ステップＳ４４）。
画像符号化装置２００は、本エンコード部３による本エンコードを行う（ステップＳ４５）。この本エンコードでは、原画モードかダビングモードであるかにより、エンコードに使うパラメータを切り替えてエンコードを行う。
こうして画像符号化装置２００は、符号化処理手順ＲＴ１０の一連の処理を終了する。
以下、図８のフローチャートを参照して、符号化処理手順ＲＴ１０のステップＳ４２において実行される前モードの推定処理を説明する。
まず、第１のプレエンコード結果により算出された予測量子化パラメータＱＰｄ及び各ＭＢのアクティビティグループから、推定の起点となる初期の量子化パラメータＱＰを設定する。（ステップＳ１０１）。
続いて、検出量子化パラメータＱＰｅの推定処理を行う（ステップＳ１０２）。検出量子化パラメータＱＰｅの推定処理は、ステップＳ１０１において設定された値に対して、一定の範囲の量子化パラメータＱＰに対して行われる。つまり、０〜５１でなる量子化パラメータＱＰのうち、上限値（ＱＰ ＬｏｗｅｒＱＰＲａｎｇｅ）から下限値（ＱＰ ＵｐｐｅｒＱＰＲａｎｇｅ）の範囲の量子化パラメータＱＰに対して推定処理を行う。なお、この範囲は例えば「１０」程度に設定される。
換言すれば、前モード推定プレエンコード部４０は、第１のプレエンコード部１で求めた予測量子化行列Ｑ ＭａｔｒｉｘＤを用い、第１のプレエンコード部１の結果に基づいて算出された予測量子化パラメータＱＰｄを起点として、所定の範囲の量子化パラメータＱＰに対して推定処理を行うことになる。
そして、バックサーチ部４３は、検出量子化パラメータＱＰｅの推定が成功したか否かを判断し（ステップＳ１０３）、推定が不成功の場合は、予測量子化パラメータＱＰｄと画面内予測モード決定部１１で決定された第１候補の画面内予測モードを出力する（ステップＳ１０４）。一方、バックサーチ部４３は、推定が成功した場合は、推定された検出量子化パラメータＱＰｅを出力し（ステップＳ１０５）、画面内予測モードの推定処理を行う（ステップＳ１０６）。
この画面内予測モードの推定処理は、第１候補から第Ｍ候補に対して行われる。バックサーチ部４３は、画面内予測モードの推定が成功したか否かを判断し（ステップＳ１０７）、成功した場合は、推定された画面内予測モードを出力し（ステップＳ１０８）、不成功の場合は、画面内予測モード決定部１１で決定された第１候補の画面内予測モードを出力する（ステップＳ１０９）。
バックサーチ部４３は、画面内予測を行うブロック数を処理したか否かを判断し（ステップＳ１１０）、処理が完了していなければステップＳ１０６に戻り、上記処理を繰り返す。一方、バックサーチ部４３は、処理が完了していると判断した場合には、符号化処理手順ＲＴ１０のステップＳ４２（図７）に戻る。
以下、図９のフローチャートを参照して、符号化処理手順ＲＴ１０のステップＳ４４において実行される原画モード／ダビングモードの判定処理にについて説明する。
この処理に入ると、先ず、符号量制御部４は、原画／非原画（符号化された画）の判定を行う（ステップＳ１１１）。即ち、符号量制御部４は、前回の符号化に使用された量子化パラメータＱＰの推定処理で検出量子化パラメータＱＰｅが検出されたＭＢの数と、ＭＢ総数から、検出率を求め、この検出率が一定以上であるとき非原画と判定する。
ここで、符号量制御部４は、処理対象であるピクチャが原画であると判定した場合には（ステップＳ１１２をＹｅｓに分岐）、原画モードに決定し（ステップＳ１１７）、符号化処理手順ＲＴ１０（図７）のステップＳ４４に戻る。
一方、符号量制御部４は、処理対象であるピクチャが非原画であると判定した場合（ステップＳ１１２をＮｏに分岐）、ダビングモードで処理対象のピクチャを符号化した場合のバックサーチ発生符号量を予測する（ステップＳ１１３）。ここでは、符号量制御部４は、不成功ＭＢについては、第２のプレエンコード部２の結果により求めた基本量子化パラメータＱＰ_ＭＢを使った場合の符号量を予測する。符号量制御部４は、ビットレート（発生符号量）の条件を満たす場合には（ステップＳ１１５をＹｅｓに分岐）、本エンコード部３におけるエンコードモードをダビングモードに決定する（ステップＳ１１６）。一方、符号量制御部４は、ビットレートの条件を満たさない場合、本エンコード部３におけるエンコードモードを原画モードとし（ステップＳ１１７）、符号化処理手順ＲＴ１０（図７）のステップＳ４４に戻る。
［２−６．まとめ］
以上のように、画像符号化装置２００において、前モード推定プレエンコード部４０による処理は、第２のプレエンコード部２によるプレエンコード処理と並列に実行される。このように、画像符号化装置２００は、第２のプレエンコード部２及び前モード推定プレエンコード部４０による処理を並列に実行する。画像符号化装置２００は、検出量子化パラメータＱＰｅの推定を、第１のプレエンコード部１で決定された予測量子化パラメータＱＰｄより小さい方向（符号量が増える方向）にも行うことが可能になり、推定による検出率を上げることができる。つまり、アクティビティグループの前回のエンコードからの変化で、ＭＢの量子化パラメータＱＰが変化したことへの対応が十分に行えるようになる。
また、画像符号化装置２００は、第２のプレエンコード部２の処理と前モード推定プレエンコード部４０の処理を並列に行うことで、バックサーチ結果でのバックサーチ発生符号量が条件を満たさない場合に対処できる。この結果、画像符号化装置２００は、検出量子化パラメータＱＰｅの推定範囲を符号量が増える方向にも取れる様にでき、バックサーチの検出率を向上させ得る。
そして、画像符号化装置２００は、前モード推定プレエンコード部４０における画面内予測処理において、予測画像として入力画像９１を用いることで、構成を簡易にすると共に、バックサーチの検出率を向上させる。また、画像符号化装置２００は、パラメータ推定処理に量子化とエントロピー符号長計算のみを追加することで発生符号量の計算を実現し、回路規模を削減することを可能としている。
［２−７．動作及び効果］
以上の構成によれば、画像符号化装置２００は、入力画像９１を少なくとも量子化パラメータＱＰに基づいて量子化することにより、第１のプレエンコード部１によって入力画像９１を簡易符号化し、簡易符号化による入力画像９１の低精度発生符号量を算出する。画像符号化装置２００は、簡易符号化によって算出された低精度発生符号量に基づいて、本エンコード部３によって入力画像９１を符号化したときの本エンコード発生符号量が目標符号量に最も近いと予測される量子化パラメータＱＰを基本量子化パラメータＱＰ_ＭＢとして決定する。画像符号化装置２００は、量子化パラメータＱＰに基づくリスケーリングファクタＲＦにより入力画像９１を除算したときの剰余に基づいて、入力画像９１が前回符号化されたときに使用された量子化パラメータＱＰを符号化単位であるＭＢごとに検出する。画像符号化装置２００は、検出された検出量子化パラメータＱＰｅに基づいて入力画像９１を符号化し、ＭＢごとの発生符号量を算出する。画像符号化装置２００は、検出量子化パラメータＱＰｅが検出されなかったＭＢについての基本量子化パラメータＱＰ_ＭＢに基づく発生符号量ＧｅｎＢｉｔｓ＿ｎｏｔ＿ｓｕｃｃｅｓｓ＿ｒｅｖと、検出量子化パラメータＱＰｅが検出されたＭＢについての発生符号量ＧｅｎＢｉｔｓ＿ｓｕｃｃｅｓｓとを加算することにより、複数のＭＢから構成される制御単位であるピクチャごとの発生符号量を算出する。
これにより、画像符号化装置２００は、バックサーチ処理の結果に応じて本エンコードを実行した場合のピクチャごとの発生符号量ＧｅｎＢｉｔｓ＿ｒｅｖを予測することができる。
画像符号化装置２００は、第２のプレエンコード部２及び前モード推定エンコード部４０を同時並行して処理させることにより、ＭＢごとの発生符号量を算出する。
これにより、画像符号化装置２００は、入力画像９１が非原画であった場合であっても、基本量子化パラメータＱＰ_ＭＢに基づく発生符号量を算出できる。このため、画像符号化装置２００は、バックサーチが不成功のＭＢに対して基本量子化パラメータＱＰ_ＭＢに基づく発生符号量を用いることができ、ダビングモードにおけるピクチャごとの発生符号量ＧｅｎＢｉｔｓ＿ｒｅｖを予測することができる。
画像符号化装置２００は、検出量子化パラメータＱＰｅの検出率に基づいて、入力画像が原画であるか非原画であるかを判定する。画像符号化装置２００は、入力画像９１が非原画であると判定され、かつピクチャ単位ごとの発生符号量ＧｅｎＢｉｔｓ＿ｒｅｖが目標符号量に基づく許容値（ＴａｒｇｅｔＢｉｔｓ＋α）に収まる場合、検出量子化パラメータＱＰｅが検出されたＭＢについては、検出量子化パラメータＱＰｅを本エンコードで使用する量子化パラメータＱＰ（本エンコード量子化因子）とし、検出量子化パラメータＱＰｅが検出されなかったＭＢについては、基本量子化パラメータＱＰ_ＭＢを本エンコードで使用する量子化パラメータＱＰとする。
これにより、画像符号化装置２００は、検出量子化パラメータＱＰｅを用いて本エンコードする場合に、本エンコード発生符号量を確実に目標符号量に基づく許容値内に収めることができる。なお、画像符号化装置２００は、画質の劣化を極力抑制するため、発生符号量の若干の超過があった場合でも、許容値（ＴａｒｇｅｔＢｉｔｓ＋α）以内であればダビングモードを使用することにしている。
画像符号化装置２００は、入力画像９１が原画であると判定された場合には、基本量子化パラメータＱＰ_ＭＢを本エンコードで使用する量子化パラメータＱＰとする。この許容値（ＴａｒｇｅｔＢｉｔｓ＋α）は、目標符号量ＴａｒｇｅｔＢｉｔｓに対し、許容されるぶれ量αを加算した値でなる。
これにより、画像符号化装置２００は、原画に対して、基本量子化パラメータＱＰ_ＭＢを用いて本エンコードをすることができ、本エンコード発生符号量を目標符号量に抑制することができる。
画像符号化装置２００は、基本量子化パラメータＱＰ_ＭＢ又はその近傍であると予測される予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに基づいて入力画像９１を符号化し、符号化による入力画像９１の高精度発生符号量を算出する。画像符号化装置２００は、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに基づいて入力画像９１を符号化したときの高精度発生符号量から、量子化パラメータＱＰの変動に伴う発生符号量の変動率ＤｉｆｆＲａｔｉｏを算出する。画像符号化装置２００は、予測量子化パラメータＱＰｄに基づくＭＢごとの高精度発生符号量に対し、基本量子化パラメータＱＰ_ＭＢの予測量子化パラメータＱＰｄからの差分値と同一回数（Ｄｉｆｆ＿ＱＰ）だけ変動率ＤｉｆｆＲａｔｉｏに１を加算した変動乗数（（１．０＋ＤｉｆｆＲａｔｉｏ））を乗算する。
これにより、画像符号化装置２００は、予測量子化パラメータＱＰｄ及び当該予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰに基づいて基本量子化パラメータＱＰ_ＭＢに基づく高精度発生符号量を算出することができ、構成を簡易にすることができる。
以上の構成によれば、画像符号化装置２００は、検出量子化パラメータＱＰｅが検出されたＭＢについては検出量子化パラメータＱＰｅを用いたときの発生符号量を用い、検出量子化パラメータＱＰｅが検出されなかったＭＢについては基本量子化パラメータＱＰ_ＭＢを用いた発生符号量を用いることにより、ダビングモードにおけるピクチャごとのバックサーチ発生符号量を算出するようにした。
これにより、画像符号化装置２００は、ダビングモードにおけるバックサーチ発生符号量を予め予測し得るようになされている。
［３．他の実施の形態］
なお上述した第１及び第２の実施の形態においては、選択量子化パラメータＱＰｌが１５だけ選択されるようにした場合について述べた。本発明はこれに限らず、その数に制限はない。また、量子化行列Ｑ Ｍａｔｒｉｘに応じて選択量子化パラメータＱＰｌの数を変更したり、選択される間隔を変更したりしても良い。また、選択量子化パラメータＱＰｌの間隔を任意に変更することも可能である。
また上述した第１及び第２の実施の形態においては、第１のプレコード部１において予測画像として入力画像９１が用いられるようにした場合について述べた。本発明はこれに限らず、ローカルデコード画像が用いられるようにしても良い。
さらに上述した第１及び第２の実施の形態においては、第１のプレコード部１のエントロピー符号化としてＣＡＶＬＣのみが実行されるようにした場合について述べた。本発明はこれに限らず、ＣＡＶＬＣとＣＡＢＡＣの両方が実行されるようにしても良い。
さらに上述した第１及び第２の実施の形態においては、低精度発生符号量に基づいて予測量子化パラメータＱＰｄが選択され、さらに当該予測量子化パラメータＱＰｄに基づいて基本量子化パラメータＱＰ_ＭＢが選択されるようにした場合について述べた。本発明はこれに限らず、例えば低精度発生符号量に基づいて直接基本量子化パラメータＱＰ_ＭＢが選択されるようにしても良い。
さらに上述した第１及び第２の実施の形態においては、ピクチャごとの発生符号量を目標符号量内に抑えるようにした場合について述べた。本発明はこれに限らず、例えばスライスごとの発生符号量を目標符号量内に抑えるようにしても良い。
さらに上述した第１及び第２の実施の形態においては、符号量制御として、ピクチャごとの発生符号量を目標符号量内に抑えるようにした場合について述べた。本発明はこれに限らず、例えば複数のピクチャごとの平均発生符号量を目標符号量内に抑えるようにしても良い。
さらに上述した第１及び第２の実施の形態においては、選択量子化パラメータＱＰｌが量子化行列Ｑ Ｍａｔｒｉｘの取り得る範囲から選択されるようにした場合について述べた。本発明はこれに限らず、量子化行列Ｑ Ｍａｔｒｉｘに拘らず一律的に選択量子化パラメータＱＰｌが選択されるようにしても良い。
さらに上述した第１及び第２の実施の形態においては、傾斜の低い量子化行列Ｑ Ｍａｔｒｉｘから順に使用して符号化し、予測量子化行列Ｑ ＭａｔｒｉｘＤを決定するようにした場合について述べた。本発明はこれに限らず、例えば傾斜の大きい量子化行列Ｑ Ｍａｔｒｉｘから順に使用して符号化し、全て符号化し終えた後に予測量子化行列Ｑ ＭａｔｒｉｘＤを選択するようにしても良い。
さらに上述した第１及び第２の実施の形態においては、第２のプレエンコード部４０において予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰとして、当該予測量子化パラメータＱＰの前後の値を用いるようにした場合について述べた。本発明はこれに限らず、例えば２つ飛びの値を近傍の量子化パラメータＱＰとしても良い。この近傍の量子化パラメータＱＰは、例えば量子化パラメータＱＰの値に応じた変動率の変化に応じて適宜選択されても良い。
さらに上述した第１及び第２の実施の形態においては、第２のプレエンコード部２において、予測量子化パラメータＱＰｄ及び予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰにおける高精度発生符号量の変動率に基づいて他の量子化パラメータＱＰによる高精度発生符号量を算出するようにした場合について述べた。本発明はこれに限らず、例えば近傍の量子化パラメータＱＰの数を増大させて逐次符号化することにより、高精度発生符号量を算出するようにしても良い。
さらに上述した第１及び第２の実施の形態においては、第２のプレエンコード部において、予測量子化パラメータＱＰｄのローカルデコード画像を予測量子化パラメータＱＰｄの近傍の量子化パラメータＱＰとして共用するようにした場合について述べた。本発明はこれに限らず、それぞれについてローカルデコード画像を生成するようにしても良い。
さらに上述した第１及び第２の実施の形態においては、ビットレート及び量子化パラメータＱＰについての誤差情報をそれぞれ有し、小さい値を有する誤差情報から誤差量を選択するようにした場合について述べた。本発明はこれに限らず、例えばビットレート及び量子化パラメータＱＰのいずれかに対応する誤差情報から誤差量を選択したり、ビットレート及び量子化パラメータＱＰの双方に対応する一つの誤差情報から誤差量を選択するようにしても良い。
さらに上述した第１及び第２の実施の形態においては、ＣＡＶＬＣについて補正した低精度発生符号量を補正することによりＣＡＢＡＣについての低精度発生符号量を算出するようにした場合について述べた。本発明はこれに限らず、ＣＡＶＬＣについて補正前の発生符号量からＣＡＢＡＣについての低精度発生符号量を算出するようにしても良い。
さらに上述した第２の実施の形態においては、バックサーチにより符号化単位としてＭＢごとに量子化パラメータＱＰを検出するようにした場合について述べた。本発明はこれに限らず、符号化単位として、量子化パラメータＱＰが設定される単位ごとであれば良く、そのサイズに制限はない。
さらに上述した第２の実施の形態においては、ダビングモードにおいて、不成功ＭＢについて基本量子化パラメータＱＰ_ＭＢに応じた発生符号量を用いるようにした場合について述べた。本発明はこれに限らず、さらにアクティビティを付加し、適応量子化パラメータＱＰｔに応じた発生符号量を用いるようにしても良い。
さらに上述した第２の実施の形態においては、画質の劣化防止を優先し、バックサーチ発生符号量が許容されるぶれ量を加算した許容値以下の場合にダビングモードへ移行するようにした場合について述べた。本発明はこれに限らず、発生符号量の制御を優先し、バックサーチ発生符号量が目標符号量以下の場合にダビングモードに移行するようにしても良い。
さらに、上述した第１及び第２の実施の形態においては、ＡＶＣに本発明を適用するようにした場合について述べた。本発明はこれに限らず、適応的にＶＬＣテーブルを選択する種々の符号化方式に本発明を適用することが可能である。
さらに上述した第１の実施の形態においては、選択発生符号量算出部としての第１のプレエンコード部１と、誤差補正部及び補間発生符号量算出部としての符号量制御部４とによって画像処理装置としての画像符号化装置１００を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成による選択発生符号量算出部と、誤差補正部と、補間発生符号量算出部とによって本発明の画像処理装置を構成するようにしても良い。
さらに上述した第２の実施の形態においては、簡易発生符号量算出部としての第１のプレエンコード部１と、基本量子化因子決定部としての第２のプレエンコード部２及び符号量制御部４と、バックサーチ部としてのバックサーチ部４３と、検出発生符号量算出部としての量子化部４５と、制御単位発生符号量算出部としての符号量制御部４とによって画像処理装置としての画像符号化装置２００を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成でなる簡易発生符号量算出部と、基本量子化因子決定部と、バックサーチ部と、検出発生符号量算出部と、制御単位発生符号量算出部とによって本発明の画像処理装置を構成するようにしても良い。

Claims (20)

1. 入力画像が簡易な処理により簡易符号化されてなる簡易符号化データを、量子化因子から離散的に選択された選択量子化因子に基づく量子化ステップを用いて少なくとも量子化することにより上記入力画像を符号化し、符号化による上記入力画像の発生符号量を算出する選択発生符号量算出部と、
   上記符号化による上記入力画像の発生符号量における上記簡易な処理に応じて発生する誤差を補正する誤差補正部と、
   上記選択量子化因子に基づいて上記入力画像が符号化されたときの発生符号量に対する補間処理により、選択量子化パラメータ以外の量子化パラメータに基づいて上記入力画像が符号化されたときの発生符号量を算出する補間発生符号量算出部と
   を有する画像処理装置。
2. 上記選択発生符号量算出部及び上記補間発生符号量算出部によって算出された上記発生符号量に基づいて、上記入力画像を符号化したときの発生符号量が目標符号量に最も近いと予測される量子化因子を基本量子化因子として決定する基本量子化因子決定部と、
   上記基本量子化因子決定部によって決定された基本量子化因子に基づいて入力画像を符号化する本符号化部と
   をさらに有する請求項１に記載の画像処理装置。
3. 上記選択発生符号量算出部は、
   量子化の際に使用する量子化行列が取り得る量子化因子の範囲内から選択された上記選択量子化因子を使用する
   請求項２に記載の画像処理装置。
4. 上記選択発生符号量算出部及び上記補間発生符号量算出部によって算出された上記発生符号量において、目標符号量に最も近い発生符号量に対応する量子化因子を予測量子化因子として選択する予測量子化因子選択部
   をさらに有し、
   上記基本量子化因子決定部は、
   上記予測量子化因子選択部によって選択された上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて上記入力画像を符号化し、符号化による上記入力画像の発生符号量を算出する近傍発生符号量算出部と、
   上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子のいずれかに基づいて上記入力画像を符号化したときの発生符号量が上記目標符号量に最も近い場合に、上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子から、目標符号量に最も近い発生符号量に対応する量子化因子を上記基本量子化因子として選択する選択部とを有する
   請求項４に記載の画像処理装置。
5. 上記選択発生符号量算出部は、
   上記傾斜の小さい量子化行列から順に使用して符号化による上記入力画像の発生符号量を算出し、上記予測量子化因子が使用した量子化行列の取り得る範囲内であった場合に、上記使用した量子化行列を本符号化部によって使用する量子化行列に決定する
   請求項４に記載の画像処理装置。
6. 上記近傍発生符号量算出部は、
   当該予測量子化因子の直前及び直後の量子化因子を上記予測量子化因子の近傍の量子化因子とし、
   上記選択部は、
   上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて上記入力画像を符号化したときの発生符号量の範囲内に、上記目標符号量が入る場合には、上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子から、目標符号量に最も近い発生符号量に対応する量子化因子を上記基本量子化因子として選択する
   請求項５に記載の画像処理装置。
7. 上記基本量子化因子決定部は、
   上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて上記入力画像を符号化したときの発生符号量の範囲内に、上記目標符号量が入らない場合には、上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて上記入力画像を符号化したときの発生符号量から、量子化因子の変動に伴う発生符号量の変動率を算出する変動率算出部と、
   上記変動率算出部によって算出された上記変動率から、上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子以外の量子化因子に基づいて上記入力画像を符号化したときの発生符号量を算出する変動発生符号量算出部とをさらに有し、 上記選択部は、
   変動発生符号量算出部によって算出された発生符号量において、上記目標符号量に最も近い発生符号量に対応する量子化因子を上記基本量子化因子として選択する
   請求項４に記載の画像処理装置。
8. 上記基本量子化因子決定部によって決定された基本量子化因子に基づいて入力画像を符号化する本符号化部をさらに有し、
   上記選択発生符号量算出部は、
   上記本符号化部と比して、簡易な処理により入力画像を簡易符号化する
   請求項１に記載の画像処理装置。
9. 上記本符号化部は、
   量子化の前にローカルデコード画像を予測画像とする画面内予測を実行し、
   上記選択発生符号量算出部は、
   量子化の前に入力画像を上記予測画像とする画面内予測を実行することにより、上記入力画像の符号化による発生符号量を算出し、当該発生符号量に対し、上記予測画像を入力画像としたことに応じて発生する誤差を補正する
   請求項８に記載の画像処理装置。
10. 上記選択発生符号量算出部は、
    予め統計によりモデル化された誤差情報を用いて上記予測画像を入力画像としたことに応じて発生する誤差を補正する
    を有する請求項９に記載の画像処理装置。
11. 上記誤差情報は、
    上記量子化因子及び上記入力画像の符号化による発生符号量の関数として定義されている
    請求項１０に記載の画像処理装置。
12. 上記選択発生符号量算出部は、
    上記量子化因子及び上記入力画像の符号化による発生符号量を指標としてそれぞれモデル化された誤差情報を有し、より小さい誤差量を示す誤差情報から補正量を決定する
    請求項１１に記載の画像処理装置。
13. 上記本符号化部は、
    上記入力画像の量子化の後に、可変長符号化又は算術符号化を入力画像に応じて切り替えて実行し、
    上記選択発生符号量算出部は、
    上記簡易符号化データの量子化の後に、上記可変長符号化を実行することにより、上記可変長符号化による上記入力画像の発生符号量を算出し、上記本符号化部が上記入力画像に対して上記算術符号化を実行する場合には、上記可変長符号化による上記入力画像の発生符号量を補正することにより、上記算術符号化による上記入力画像の発生符号量を算出する
    請求項８に記載の画像処理装置。
14. 上記本符号化部は、
    量子化の前にローカルデコード画像を予測画像とする画面内予測を実行し、
    上記基本量子化因子決定部は、
    近傍発生符号量算出部は、
    上記予測量子化因子選択部によって選択された上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて上記入力画像を符号化する際、上記予測量子化因子に基づくローカルデコード画像を当該予測量子化因子の近傍の量子化因子に対する予測画像とする
    請求項４に記載の画像処理装置。
15. 入力画像を少なくとも量子化因子に基づいて量子化することにより上記入力画像を簡易符号化し、簡易符号化による上記入力画像の発生符号量を算出する簡易発生符号量算出部と、
    上記簡易発生符号量算出部によって算出された上記発生符号量に基づいて、上記入力画像を符号化したときの発生符号量が目標符号量に最も近いと予測される量子化因子を基本量子化因子として決定する基本量子化因子決定部と、
    上記量子化因子に基づくリスケーリングファクタにより上記入力画像を除算したときの剰余に基づいて、上記入力画像が前回符号化されたときに使用された量子化因子を検出量子化因子として符号化単位ごとに検出するバックサーチ部と、
    上記バックサーチ部によって検出された検出量子化因子に基づいて上記入力画像を符号化し、上記符号化単位ごとの発生符号量を算出する検出発生符号量算出部と、
    上記バックサーチ部によって上記検出量子化因子が検出されなかった上記符号化単位についての上記基本量子化因子に基づく発生符号量と、上記バックサーチ部によって上記量子化因子が検出された上記符号化単位についての上記検出発生符号量算出部によって算出された発生符号量とを加算することにより、複数の符号化単位から構成される制御単位ごとの発生符号量を算出する制御単位発生符号量算出部と
    を有する画像処理装置。
16. 上記基本発生符号量算出部及び上記検出発生符号量算出部は、
    同時並行して上記符号化単位ごとの発生符号量を算出する
    を有する請求項１５に記載の画像処理装置。
17. 上記バックサーチ部による上記量子化因子の検出率に基づいて、上記入力画像が原画であるか非原画であるかを判定する判定部と
    本エンコード量子化因子に基づいて入力画像を符号化する本符号化部とをさらに有し、
    上記符号量単位発生符号量算出部は、
    上記判定部により上記入力画像が非原画であると判定され、かつ上記制御単位発生符号量算出部によって算出された制御単位ごとの発生符号量が目標符号量に基づく許容値に収まる場合、上記バックサーチ部によって上記量子化因子が検出された上記符号化単位については、上記バックサーチ部によって検出された検出量子化因子を本エンコード量子化因子とし、上記バックサーチ部によって上記量子化因子が検出されなかった上記符号化単位については、上記基本量子化因子決定部によって決定された基本量子化因子を上記本エンコード量子化因子とする
    請求項１６に記載の画像処理装置。
18. 上記符号量単位発生符号量算出部は、
    上記判定部により上記入力画像が原画であると判定された場合には、上記基本量子化因子決定部によって決定された基本量子化因子を上記本エンコード量子化因子とする
    請求項１７に記載の画像処理装置。
19. 上記基本量子化因子決定部は、
    基本量子化因子又はその近傍であると予測される予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて上記入力画像を符号化し、符号化による上記入力画像の発生符号量を算出する近傍発生符号量算出部と、
    上記予測量子化因子及び当該予測量子化因子の近傍の量子化因子に基づいて上記入力画像を符号化したときの発生符号量から、量子化因子の変動に伴う発生符号量の変動率を算出する変動率算出部とを有し、
    上記制御単位発生符号量算出部は、上記予測量子化因子に基づく量子化単位ごとの発生符号量に対し、上記基本量子化因子の上記予測量子化因子からの差分値と同一回数だけ上記変動率に１を加算した変動乗数を乗算する
    請求項１６に記載の画像処理装置。
20. 入力画像が簡易な処理により簡易符号化されてなる簡易符号化データを、量子化因子から離散的に選択された選択量子化因子に基づく量子化ステップを用いて少なくとも量子化することにより上記入力画像を符号化し、符号化による上記入力画像の発生符号量を算出する選択発生符号量算出ステップと、
    上記符号化による上記入力画像の発生符号量における上記簡易な処理に応じて発生する誤差を補正する誤差補正ステップと、
    上記選択量子化因子に基づいて上記入力画像が符号化されたときの発生符号量に対する補間処理により、選択量子化パラメータ以外の量子化パラメータに基づいて上記入力画像が符号化されたときの発生符号量を算出する補間発生符号量算出ステップと
    を有する画像処理方法。

Images