JP7015183B2 - 画像符号化装置及びその制御方法及びプログラム - Google Patents

Description

本発明は動画像の符号化技術に関するものである。

現在、デジタルビデオカメラ等、動画像を記録するデジタルの撮像装置が普及しており、近年ではRAW画像を記録する方式が、静止画のみならず動画にも適用されている。RAW画像は記録に必要なデータ量が膨大になるものの、オリジナル画像に対する補正や劣化を最低限に抑えることができ、撮影後の画像編集の自由度が高い。そのため、RAW画像記録は、撮像装置を使用する者の中でも上級者によって好んで使われている。

RAW画像の動画記録時は、所定の記録媒体に一定時間の動画像が記録できるよう、データ量を所望の符号量へ圧縮する圧縮符号化が必要となる。RAW画像は、R, G, B 各色がモザイク状に配置されたベイヤー配列で構成される。ベイヤー配列における隣接する画素は、異なる色成分色のため、隣接画素間の相関が低い。故に、そのまま符号化しても高い圧縮効率を得ることは難しい。そこで、RAW画像から同じ色成分の画素のみを抜出して複数のプレーンを生成する。そして、プレーン毎に符号化を行うことで、プレーン内の画素間の相関を高めて圧縮効率を向上させる、プレーン変換技術が圧縮符号化の手法の一つとして一般的に利用される。

また、従来の代表的な圧縮符号化方式として、H.264(H.264/ MPEG-4 Part10 : Advanced Video Coding)が知られている。この圧縮符号化方式では、１フレーム内で所定画素数から成るブロック毎に、動画像が有する時間冗長性と空間冗長性を利用してデータ量を圧縮が行われる。

上記H.264では、時間冗長性に対する動き検出及び動き補償、空間冗長性に対する周波数変換として離散コサイン変換(Discrete Cosine Transform ; DCT) 、更に量子化やエントロピー符号化といった技術を組み合わせることで圧縮符号化を実現している。ただし、ある程度以上圧縮率を上げると、DCT変換特有のブロック歪みが顕著になり、主観的に画像劣化が目立つようになる。

そこで、水平及び垂直方向に低域と高域フィルタリングをそれぞれ適用し、サブバンドと呼ばれる周波数帯に分解する離散ウェーブレット変換(Discrete Wavelet Transform; DWT)を用いるサブバンド符号化技術がJPEG2000方式等で採用されている。このサブバンド符号化は、DCTを用いた符号化技術に比べ、ブロック歪みが生じにくく、高圧縮時の圧縮特性が良いといった特徴を有する。

以上のような技術に加えて、所望の符号量へ符号量を圧縮するためには、圧縮符号化において符号量制御を行う。一般的な符号量制御は、符号化が完了しているフレームの情報を元に、次に符号化するフレームの目標符号量を決定する。そして、１フレームあたりの目標符号量へ発生符号量を収束させるため、符号量差分(発生符号量から目標符号量を減じることで算出される値)の絶対値が小さくなるように、量子化に利用する量子化パラメータQpを、画像の所定の単位毎に変更する量子化制御を行うことで符号量の制御を行う。量子化パラメータQpが大きい程、発生する符号量を少なくするできるものの、画質劣化の度合いが大きくなる。そのため、量子化パラメータQpは、可能な限り小さく、且つ、画面内で一定であることが望ましいパラメータと言うことができる。

一般に時間的に近接するフレーム間では画像の相関が高い。つまり、符号化使用とする着目フレームは、符号化済みであり時間的に近接する前フレームと高い相関性を有する。そこで、例えば前フレームの画面上側の符号化難易度が高く、画面下側は低いが分かっている場合を考察する。例えば、前フレームの上部は多くの高周波成分を有し、下部は比較的単調で高周波成分を含んでいない場合がこれに相当する。この場合、着目フレームでも、同様の傾向があるものと推定し、着目フレームの上部の目標符号量を大きくし、下部の目標符号量を小さくすれば、画像の上部と下部との間での量子化パラメータQpの変動（差）が小さくできる。このように、前フレームの符号化結果に従って着目フレーム（現フレーム）の符号量制御を行うことを、以降、フィードバック制御と記す。

しかし、動画像の各フレーム間で相関が高いわけではない。例えば、外的にフラッシュが焚かれるシーンや、動きの激しいシーンなどはフレーム間の相関が低い。

そこで、H.264をはじめとする従来の符号化技術では、フレームバッファを有し、符号化前に既に符号化済みのフレームと、着目するフレームとの相関性を調査してから符号化を始めることができるように構成されている。このような制御を以降フィードフォワード制御と記す。フィードフォワード制御を利用することができれば、フレーム間の相関性が低い場合でも、Qpの変動の小さい量子化制御をすることが可能となる。

しかしながら、入力動画像に対してリアルタイム処理が要求され、リソースの観点から符号化前に事前の解析ができないようなシステムにおいては、フレーム間の相関が低い場合でも、前述のフィードバック制御に頼らざるを得ない。

ここで、フィードバック制御のシステムにおけるフレーム間の相関が低い場合の問題点を例を挙げて説明する。

着目フレームの直前のフレームの画面の上側の符号化難易度が高く、下側は低いものとする。そして、着目フレームについては画面の上側の符号化難易度が低く、下側は高いものとする。フィードバック制御の参照フレームが直前のフレームとするわけであるから、着目フレームを符号化する場合に、その画面上側の目標符号量は大きく、画面下側は小さくすることになる。この目標符号量の割り当てにより、着目フレームでは画面上側では符号量が想定よりも発生せず量子化パラメータQpが小さくなる。一方、画面の下側では、符号量が想定よりも多く発生するので、量子化パラメータQpが大きくなるように制御されることになる。つまり、１つの画面内で、量子化パラメータQｐの変化が大きなものとなる。

以上から、フィードフォワード制御の無い動画像の符号量制御では、後述するシーンチェンジ時の制御方法に何らかの工夫が望まれ、実現するためには着目フレームの符号化をしながらシーンチェンジの検出をする必要がある。なお、以降の説明では、画像の部分的であることも含めてフレーム間で符号化難易度が異なり、符号量や量子化パラメータQpの制御性が悪化し得るフレーム間の関係を、広義のシーンチェンジとしてシーンチェンジと呼称する。

このような課題に鑑みて、特許文献１には、スライスに含まれる単位領域の個数とスライス符号量から、圧縮した際の量子化パラメータQpと同じ量子化パラメータQpを用いて以降のスライスの圧縮が行われた場合の圧縮符号化データの符号量を推定し、推定符号量とピクチャ目標符号量によって、シーンチェンジの有無を判断し、以降の領域の符号量制御性を向上させる技術が記載されている。

特開２０１１－６１５３４号公報

特許文献１によれば、予測符号量とピクチャ目標符号量の比較（符号量差分の予測値相当）によってシーンチェンジを判断する。そして、符号量を用いたシーンチェンジ検出により、検出以降は最低保障画質のQpに変更することで、該当画像の符号量を抑え込むことができる。しかしながら、特許文献１に記載された技術は、発生符号量が目標符号量と乖離しなければシーンチェンジとして認識されない。

ここで、以下では、フレームごとの量子化パラメーQpの制御感度に言及する。まず、量子化パラメータQpの制御感度を、その値が高いほど目標符号量へ発生符号量が収束する一方で、量子化パラメータQpがフレーム内で変動するパラメータと定義する。前述のように、量子化パラメータQpはフレーム内で一定であるほど画質が良好であるパラメータであるものの、発生符号量の収束性とトレードオフの関係にある。

符号量制御は、復号用のデータバッファの容量に応じてリアルタイム再生処理ができる範囲で、１フレームあたりの符号量の増減を許容することができるため、必ずしも量子化パラメータQpの制御感度を高くし、１フレームあたりの符号量の収束性を上げる必要はない。

しかしながら、あるフレームで発生符号量が目標符号量に対して超過し過ぎると、以降のフレームの発生符号量を抑制しなければならないため、着目フレーム以降の画質劣化が懸念される。フレーム間で符号量の差が大きい場合、画質としてフリッカ感の増加も懸念される。また、動画像の編集性の観点から、CBR(固定ビットレート)制御が要求される場合や、近年ニーズが高まってきた、動画像から一枚の静止画を切り出すような機能の実現には不向きである。以上から、今後、量子化パラメータQpの制御感度の高い符号量制御は益々必要になると考えられる。

ここで特許文献１に話を戻すと、制御感度が高いシステムにおいては、フレーム間の相関が低い場合においても、発生符号量は目標符号量へ近似する傾向になる。このため、制御感度が高いシステムにおいては、特許文献１の技術ではシーンチェンジを精度良く検出することができない。

一見、発生符号量が目標符号量に収束するため、シーンチェンジの検出は不要かと思われるが、発生符号量が目標符号量に近似していても、量子化パラメータQpが画面内で大きく変化してしまうため、画質が不安定になってしまう問題が生じるのである。

以上から、より画質の高い符号化を行うには、発生符号量が目標符号量に収束している如何に関わらず、量子化パラメータQpが大きく変動してしまうようなシーンチェンジの場合には画質を安定させるための機構が必要となるのが理解できよう。

本発明は上記の問題点に鑑み、フレーム内の量子化パラメータの変動に応じてシーンチェンジを推定し、シーンチェンジ検出以前と以降とで量子化パラメータの決定法を切り替えることで、着目フレームの未符号化の領域の画質劣化を抑制した符号化データを生成する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
前記動画像データにおける着目フレームの画像データを、予め設定された所定ブロックごとに、目標符号量に基づいて設定された量子化パラメータに従って量子化する量子化手段と、
前記量子化手段で得られた量子化後のデータを符号化する符号化手段と、
前記符号化手段により発生する符号量が目標符号量に近づくように前記量子化パラメータを制御する量子化制御手段と、
前記着目フレームの少なくとも一部がシーンチェンジであるか否かを検出するシーンチェンジ検出手段とを有し、
前記シーンチェンジ検出手段は、前記量子化制御手段で決定する量子化パラメータと、着目フレームの符号化開始時の量子化パラメータとの関係に応じてシーンチェンジを検出し、
前記量子化制御手段は、少なくとも２つの制御方法を有し、着目フレームの符号化開始時は第１の量子化制御法を適用し、前記シーンチェンジ検出手段がシーンチェンジを検出した場合には前記第１の量子化制御法とは異なる第２の量子化制御法に切り替え、
前記第１の量子化制御法は、着目フレームの直前のフレームの符号化結果を参照して目標符号量を設定する量子化制御法であり、前記第２の量子化制御法は、直前のフレームの符号化結果を参照せずに、着目フレームにおいて符号化していないブロックに対して同じ目標符号量を設定する量子化制御法であることを特徴とする。

本発明によれば、フレーム内の量子化パラメータの変動に応じてシーンチェンジを推定し、シーンチェンジ検出以前と以降とで量子化パラメータの決定法を切り替えることで、着目フレームの未符号化の領域の画質劣化を抑制した符号化データを生成することが可能になる。

第１の実施形態に係る画像符号化装置の構成例を示すブロック図。 第１の実施形態に係るベイヤー配列をRGBから成る4プレーンへ分離したときのプレーン形成図である。 第１の実施形態に係る離散ウェーブレット変換(DWT)の垂直、水平フィルタリングをそれぞれ三回施した場合のサブバンド形成図。 第１の実施形態に係る領域分割方法と、サブブロックにおける対応ブロックラインの関係を示す図。 第１の実施形態に係るシーンチェンジ検出部の処理フローチャート。 第１の実施形態に係る目標符号量算出部の処理フローチャート。 第１の実施形態に係る動画像例。 フレーム毎の量子化パラメータの推移を例示する図。 第１の実施形態に係るシーンチェンジ検出機構を適用した場合の目標符号量と量子化パラメータの推移を示す図。 第２の実施形態に係るシーンチェンジ検出部の処理フローチャート。 第２の実施形態に係る動画像例。 第２の実施形態に係るシーンチェンジ検出機構を適用した場合の図11記載のNフレームにおける目標符号量と量子化パラメータの推移を示す図。 第３の実施形態に係る画像符号化装置の構成例を示すブロック図。 第３の実施形態に係る第２のシーンチェンジ検出部の処理フローチャート。 第３の実施形態に係る第２のシーンチェンジ検出部におけるシーンチェンジ検出による目標符号量と発生符号量の推移を示す図。

以下添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
＜構成＞
図１は、第１の実施形態に係る画像符号化装置の構成例を示すブロック図である。この画像符号化装置は、例えばデジタルビデオカメラ等の撮像装置に組み込まれるものとする。つまり、符号化対象の動画像データは、不図示の撮像部から供給されるものとする。

＜プレーン変換部＞
プレーン変換部101は、撮像部からの入力画像データを複数のプレーンへ分離する。本実施形態では、入力画像データはベイヤ配列のＲＡＷ画像とする。図２は、入力画像データであるベイヤー配列を、Ｒ成分のみで構成されるＲプレーン、Ｇ１成分のみで構成されるＧ１プレーン、Ｇ２成分のみで構成されるＧ２プレーン、そして、Ｂ成分のみで構成されるＢプレーンの、４プレーンへ分離したときのプレーン形成図である。ベイヤ配列のＲＡＷ画像内の隣り合う画素は、その画素が表す色成分が異なることもあって、相関が低く、圧縮符号化に不向きである。かかる点、プレーン変換を行うことで、１つのプレーンは単一の成分となり、且つ、隣り合う画素の相関も高く、高い圧縮効率が期待できる。

＜離散ウェーブレット変換(Discrete Wavelet Transform; ＤＷＴ)部＞
離散ウェーブレット変換部102は、プレーン変換部101から出力されるプレーンが表す画像を周波数領域信号へ変換することで変換係数を生成する。ＤＷＴの実行回数に特に制限はないが、実施形態ではこの回数を３として説明する。

図３は、垂直、水平フィルタリング処理を１セットとするＤＷＴを３回実行した場合に得られるサブバンド形成図である。図示において“Ｌ”,“Ｈ”はそれぞれ低域、高域を示し、その順序は、前側が水平フィルタリングを行った結果の帯域、後側が垂直フィルタリングを行った結果の帯域を示す。“Ｌｖ”の後の数字はＤＷＴの分解レベルを示す。ＤＷＴを２回以上行う場合、１つ前の変換で得られた低域周波数帯域であるサブバンドＬＬが変換対象となる。それ故、ＤＷＴの実行回数を重ねるにしたがって、直前の変換のサブバンドの水平、垂直とも１／２のサイズとなっていく。また、この理由で、サブバンドＬＬは最終回のＤＷＴで残るので、図示のように分解レベルを表す表記は行わないのが普通である。

ＤＷＴは、一般に画像全体に対してフィルタリングを行うが、フィルタタップ数分の画素がメモリに溜まったタイミングで、垂直方向及び水平方向のフィルタリングを行うことが可能である。従って、ＤＷＴをプレーンデータ1ライン単位に行い、更に生成された低域サブバンドに対して再帰的にＤＷＴをかけることで、各サブバンドを並列に処理することが可能である。

なお、実施形態における離散ウェーブレット変換部102は、符号化対象の着目フレーム（ＲＡＷ画像）から生成された４つのプレーンを順にＤＷＴを実行するが、処理時間短縮のために離散ウェーブレット変換部102を複数設けるようにしても良い。例えば、離散ウェーブレット変換部102を２つ並列に設ける場合には、１つの場合と比較し、ＤＷＴに係る負担は１／２にとなり、変換に係る時間も１／２とすることができる。また、離散ウェーブレット変換部102を並列に４つ設ける場合には、１つの場合と比較してＤＷＴに係る時間を１／４とすることが可能である。

本実施形態では、離散ウェーブレット変換部102は各サブバンドで1ライン分の変換係数が生成される度に、各サブバンドの１ライン分の変換係数を順次量子化部103へ出力するものとして説明する。

＜量子化部＞
量子化部103は、量子化制御部105で生成した量子化パラメータQpを利用し、変換係数を１係数毎に量子化する。なお、量子化パラメータQpは、その値が大きいほど、量子化後の値が小さくなって符号量の削減が可能になるものの、画質劣化が顕著になるパラメータである。また、４プレーンの変換係数の量子化はプレーン毎に行っても、全プレーンについて並列して行っても良いが、量子化部103は、各プレーンにおける同じサブバンド、同じ位置の変換係数を、共通な量子化パラメータQpで量子化し、その量子化結果を符号化部104に供給するものとする。

＜符号化部＞
符号化部104は、量子化部103で量子化後の各プレーンの変換係数をエントロピー符号化して符号化データを生成し、出力する。

＜初期設定＞
初期目標符号量設定部112は、着目フレーム（着目ＲＡＷ画像）の符号化開始時の、各領域の目標符号量を設定する（領域分割に関しては後述する）。初期量子化値設定部113は、着目フレーム符号化開始時の量子化パラメータQpを設定する。シーンチェンジ閾値設定部114は、後述するシーンチェンジ検出部109のシーンチェンジの有無の検出に用いる閾値を設定する。なお、符号化開始時の各種設定値は、前フレームの符号化情報を元にフィードバック制御で算出することが一般的である。

＜量子化制御＞
次に、実施形態における量子化制御部105について説明する。量子化制御部105は、着目フレームの発生符号量が着目フレームの目標符号量に収束するように、量子化パラメータQpを制御する。

実施形態では、１フレームのＲＡＷ画像から４つのプレーンを分離し、それぞれに対して離散ウェーブレット変換を行い、量子化、符号化が行われる。４つのプレーンについて量子化する際に用いる量子化パラメータQpは、サブバンドの種類が同じであれば共通であり、量子化パラメータQpの更新する位置も同じである。これは、着目フレーム（４プレーン分）の符号量に基づき、共通に用いる量子化パラメータQpを更新するからである。

＜制御単位＞
次に、実施形態における上記の領域、及び、量子化パラメータQpの制御単位を説明する。

まず、本実施形態では、着目フレーム（ＲＡＷ画像データ）を構成するＲ，Ｇ１，Ｇ２，Ｂプレーンそれぞれを図４（ａ）に示すように垂直方向に４等分する。なお、この分割数は特に制限はなく、４以外であっても構わない。そして、実施形態では、４領域それぞれに目標符号量を設定する。また、符号化済み領域の符号化結果を用いて後続する未符号化領域の目標符号量を算出する（詳細は後述する）。そして、初期目標符号量設定部112は、この４つの領域それぞれに目標符号量を設定する。画質観点から、これら４つの領域間での量子化パラメータQpの変動は極力小さくするほど望ましい。

そこで、初期目標符号量設定部112は、着目フレームと時間的に近接する直前フレームの符号化時に判明した難易度の高い領域ほど目標符号量を多く割り当て、符号化難易度の低い領域ほど目標符号量を小さく割り当てる。

なお、符号化難易度は、その領域の符号化時に生成された符号化データの符号量を利用する。画像が複雑であればあるほど、その領域の符号化データの符号量が多くなるからである。

また、更に、領域内の各ブロックライン（定義については後述）の符号化の際に用いた量子化パラメータQpの平均値を加味しても良い。量子化パラメータが大きな値となるのは、その符号化データの量が多くなることを表しているためである。この場合、各領域の難易度は、その領域の符号量と量子化パラメータの平均値との積で表せばよい。

領域判定部111は、予め設定した領域の先頭ブロックラインか否かの判定を実施する。

次に、量子化パラメータQpの制御単位について説明する。前述のように、入力画像はベイヤ配列のＲＡＷ画像であり、プレーン変換部101で４つのプレーンに分離される。そして、各プレーンに対してDWTが実行される。

符号化単位をサブバンド毎の係数ラインとしているが、量子化の制御単位は、同一画素位置の各サブバンドのウェーブレット変換係数の集合体とする。即ち、図４（ｂ）に示すように、分解レベル３のサブバンド｛Lv3HL,Lv3LH,Lv3HH｝及びサブバンド{LL}の１ライン、分解レベル２のサブバンド｛Lv2HL,Lv2LH,Lv3HH｝の２ライン、分解レベル１のサブバンド｛Lv1HL,Lv1LH,Lv1HH｝の４ラインを、一回の量子化パラメータQpによる制御単位とする。そして、この制御単位である各サブバンド内の対応する変換係数の集合を、以降ブロックライン（又は単にブロック）と呼ぶ。

なお、１ブロックラインは、入力フレームであるＲＡＷ画像の１６ライン分に相当するため、上記４つの領域の境界を跨ぐ可能性があるが、本実施形態では領域内全ての符号化が完了したときに領域の更新を行うものとする。

以下、量子化制御部105のその他構成の説明に戻る。

発生符号量保持部106は、符号化部104から通知される各ブロックラインを符号化した際の符号化データの符号量を保持する。

目標符号量算出部110は、初期目標符号量設定部112から通知される領域毎の初期の目標符号量を基に、領域判定部111が領域の先頭ブロックラインのQpを制御するタイミングと判断した場合に、その領域におけるブロックライン目標符号量（又はブロック目標符号量）を算出する。また、後述するシーンチェンジ検出部109がシーンチェンジ有りと判断した場合、ブロックライン目標符号量を更新する。目標符号量算出方法の詳細については後述する。

差分算出部107は、ブロックライン毎に、発生符号量とブロックライン目標符号量の差分を算出し、差分の積算値である積算差分量を更に算出する。

量子化値算出部108は、差分算出部107から通知される積算差分量に基づき、Qpを算出する。詳細は後述する。

シーンチェンジ検出部109は、量子化値算出部108で算出された量子化パラメータQpとシーンチェンジ閾値設定部114から通知される閾値に基づき、着目ブロックラインでシーンチェンジの有無の検出（推定）を行う（詳細は後述）。以上により符号量を制御する。

＜量子化値算出＞
量子化パラメータ算出方法の一つに、MPEG2 Test Model 5に示された公知技術がある。Test Model 5によれば、初期量子化パラメータQiniと、着目画素ブロックが第ｉ番目としたとき、先頭画素ブロックから第ｉ－１番目までの各画素ブロックにおける符号量と１画素ブロック当たりの目標符号量の差の積算を表すΣE(i-1)から、次式（１）を用いて、着目画素ブロックの量子化パラメータQp[i]を算出する。
Qp[i] ＝ Qini ＋ r ×ΣE[i-1] …（１）
ここで、ｒは量子化パラメータの制御感度を示す。制御感度rは、大きいほど急峻にQpを変動させる一方、符号量の制御性が向上するパラメータである。

本実施形態では、４分割した各領域のブロックラインを符号化単位としているので、着目領域の着目ブロックラインの量子化パラメータQp[i]を、
Qp[i] ＝ Qp_ref ＋ r ×ΣE[i-1] …（２）
として算出することができる。
ここで、Qp_refは、領域0では初期量子化値設定部112で設定した初期量子化パラメータQp_iniであり、それ以外の領域では、直前領域の最終ブロックラインの量子化パラメータQpである。

実施形態では、ベイヤ配列のＲＡＷ画像をＲ、Ｇ１，Ｇ２，Ｂプレーンに分離している。各プレーンを識別するための値０、１、２、３を各プレーンに割り当て、この値を変数plとして表す。そして、色プレーンｐの第ｉ番目のブロックラインをBL(pl,i)と表す。そして、ブロックラインBL(pl,i)の符号量をC(BL(pl,i))とし、着目領域のブロックライン目標符号量をTCとしたとき、式（２）のΣE[i-1]は次式の意味を持つ。
ΣE[i-1]＝ΣΣ｛TC-C(BL(pl,k))}
ここで、ΣΣは、pl=0,1,2,3、及び、k=0,1,2,…,i-1の合算を表す。

量子化値算出部108は、符号化対象のブロックラインに対する量子化パラメータQpを式（２）に従って算出し、その量子化パラメータQpを、実際の各サブバンドの量子化パラメータQp(Qp[pl][sb])に更に変換した上で量子化部103に通知する。なお、pl,sbはそれぞれ、該当プレーン、該当サブバンドを示す。量子化値算出部108は、式(３)に示すように、予め設定したプレーンやサブバンド毎に有するマトリクスmtxに、式(２)で決定したブロックラインの量子化パラメータQpを適用することで、サブバンドの量子化パラメータQp(Qp[pl][sb])を算出する。
Qp[pl][sb] = Qp[i] × mtx[pl][sb] …（３）
ここで、sbは、サブバンドの種類と分解レベルを特定する変数とする。

一般的に、高域のサブバンドほどQpを大きく、低域のサブバンドほどQpを小さく設定し符号量制御を行うことで、人間の視覚特性上画質劣化(量子化誤差)を視認しづらい、画像データの高域成分ほど発生符号量を圧縮し、符号化効率を向上させる。そのため、マトリクスは、高域サブバンドほどQpが大きく、低域サブバンドほどQpが小さくなるように設定する。

＜シーンチェンジ検出・目標符号量補正＞
＜処理フロー＞
図５は、本実施形態におけるシーンチェンジ検出部109の処理手順を示すフローチャートである。また、図６は、本実施形態における目標符号量算出部110のフローチャートである。以下、図５、図６を参照して、本実施形態の特徴である、シーンチェンジの検出方法及びシーンチェンジ後の制御について説明する。

まず、図５を参照して、シーンチェンジの検出方法について説明する。なお、シーンチェンジ検出部109は、ブロックライン毎に処理を実施する。なお、フローチャート中のシーンチェンジフラグは、着目フレームの符号化開始時は無効状態（シーンチェンジ無し）を示す値で初期化されているものとする。

S501にて、シーンチェンジ検出部109は、着目フレームのシーンチェンジフラグが有効か否かを判定する。有効であれば、シーンチェンジ検出部109は、本処理を終了し、無効であればS502へ処理を進める。

S502にて、シーンチェンジ検出部109は、着目ブロックラインの量子化パラメータQpと、着目領域の初期の量子化パラメータQp(Qp_ini)の差の絶対値を算出する。そして、S503にて、シーンチェンジ検出部109は、算出した絶対値が、シーンチェンジ閾値設定部114から通知される着目領域の初期の量子化パラメータQpに対するシーンチェンジ閾値以上か否かを判定し、以上の場合には処理をS504へ分岐させ、絶対値がシーンチェンジ閾値未満の場合には本処理を終了する。

S504にて、シーンチェンジ検出部109は、シーンチェンジ有りを示すため値をシーンチェンジフラグに設定する。

以上、実施形態におけるシーンチェンジ検出部109の処理を説明した。次に、図６を参照して、実施形態における目標符号量算出部110の目標符号量の算出方法について説明する。

S601にて、目標符号量算出部110は、シーンチェンジフラグが有効を示す値になっている否かを判定する。シーンチェンジフラグが有効を示す値である場合、目標符号量算出部110は、S602へ処理を進め、そうでなければ処理をS603へ分岐する。

S602にて、目標符号量算出部110は、着目ブロックライン以降のブロックライン目標符号量を、フレームの目標符号量から着目ブロックラインまでの発生符号量で減じた残余符号量を、符号化ブロックライン数で除算した値とする。数式で示せば次の通りである。
ブロックライン目標符号量＝（着目フレームの目標符号量－着目ブロックラインまでの発生符号量）／未符号化ブロックライン数
例えば、着目ブロックラインが「領域２」内に位置した場合、「領域２」における着目ブロック以降のブロックラインは勿論のこと、残りの「領域３」の全ブロックラインについても、上式で算出したブロックライン目標符号量を適用して、符号化する。

S603にて、目標符号量算出部110は、着目ブロックラインが着目領域の先頭のブロックラインであるか否かを判定する。着目ブロックラインが着目ブロックの先頭ブロックラインである場合、目標符号量算出部110は処理をS604に進め、そうでない場合は本処理を終える。

S604にて、目標符号量算出部110は、着目ブロックライン以降のブロックライン目標符号量を、次式に従って決定する。
ブロックライン目標符号量＝着目領域の目標符号量／着目領域内のブロックライン数

なお、例えば、着目ブロックラインが「領域２」内に位置した場合、「領域２」における着目ブロック以降のブロックラインは上式で算出したブロックライン目標符号量を適用して、符号化する。以降シーンチェンジフラグが有効になっていなければ、領域３の先頭で、改めてS604に従ってブロックライン目標符号量を算出する。

以上のように、シーンチェンジが検出された場合、そうでない場合と目標符号量の算出方法を切り替える。

＜効果＞
図７は、本実施形態における効果を示すため動画像の例を示している。図示において、第Ｎフレームが符号化しようとしている着目フレームであり、第Ｎ－１フレームは着目フレームの直前のフレーム、第Ｎ－２フレームは着目フレームの２つ前のフレームを示している。

図示では、Ｎ－１フレームまではフレーム間の相関が非常に高く、Ｎフレームでシーンチェンジが発生する場合を示しており、グレーになっている領域が、画像の中でも符号化難易度が高い領域を示している。

図８（ａ）は、本実施形態における図７の第Ｎ－１フレームにおける目標符号量と量子化パラメータQpの推移を示す図であり、図８（ｂ）は、シーンチェンジ検出機構がない場合の図７の第Ｎフレームにおける目標符号量と量子化パラメータQpの推移を示す図である。

図８（ａ）のように、第Ｎ－１フレームは第Ｎ－２フレームとの相関が高いので、第Ｎ－１フレームを符号化した場合の目標符号量と発生符号量が近似すると共に、量子化パラメータQpは、ほぼ初期Qpから変動することなく着目フレームを符号化することが可能である。

しかし、図８（ｂ）のように、第Ｎフレームが、直前の第Ｎ－１フレームとの相関が低い場合、シーンチェンジ検出機構がないと、量子化パラメータQpの変動が生じる。

第Ｎ－１フレームでは、上側の領域から、相対的に符号化難易度が易しい・難しい・易しい・難しい領域が交互になるような画像であるため、フィードバックにより算出される第Ｎフレームの目標符号量は、上側の領域から、相対的に小さい・大きい・小さい・大きいように設定される。しかし、実際の第Ｎフレームの符号化難易度は、難しい・易しい・難しい・易しい領域が交互になるような画像である。このため、誤った目標符号量に発生符号量が追従し、量子化パラメータQpが大きく変動し、画質劣化の一因となる。

一方で本実施形態のシーンチェンジ機構を利用すれば、前述の画質劣化の緩和が可能である。

図９は、本実施形態におけるシーンチェンジ検出機構を適用した場合の図７の第Ｎフレームにおける目標符号量と量子化パラメータの推移を示す図である。

図９のように、本実施形態を適用し、量子化パラメータQpが一定以上変動した場合にはまだ符号化されていないブロックラインの目標符号量をフィードバックによるものではなく、ブロックラインそれぞれに当分配することによって、シーンチェンジ以降の領域の符号量を平均化し、平均的な画質を担保することが可能になる。

なお、初期の量子化パラメータQpに対するシーンチェンジ閾値は、小さすぎるとシーンチェンジの検出感度が増し、制御を変更する必要のないフレームでも検出してしまう恐れがあるため、画質劣化が主観的に視認できない範囲で設定し、それ以上は量子化パラメータQpが変動しないようシーンチェンジ検出を実施することで、効果的に画質の改善をすることが可能である。

以上のように、符号化パラメータである量子化パラメータの画面内変動量に応じてシーンチェンジを検出し、シーンチェンジ検出以降の処理を切り替えることで、着目フレームのまだ符号化されていない領域の画質を向上することができる。

なお、シーンチェンジ閾値設定部114で設定する初期の量子化パラメータQpに対するシーンチェンジ閾値を、着目フレームで設定される初期の量子化パラメータQpが小さいほど、小さく設定することは、本実施形態の範疇である。

つまり、着目領域におけるシーンチェンジ判定のための閾値Ｔを、着目領域の初期量子化パラメータQp_refを引数とする関数で決定する。
Ｔ＝Ｆ（Qp_ref）
本実施形態の目的は、画質を担保することにある。そのため、初期の量子化パラメータQpが小さい場合、初期の量子化パラメータQpが大きい場合ほどは符号化処理過程での量子化パラメータQpの変動による主観的な画質に影響がでないため、感度よくシーンチェンジを検出し、平均的な画質制御へ切り替える必要がないためである。

また、本実施形態ではシーンチェンジ検出後の第Ｎ－１フレームを、
ブロックライン目標符号量＝(フレーム目標符号量－着目ブロックラインまでの発生符号量)／未符号化ブロックライン数
として説明した。しかし、シーンチェンジ検出後のブロックライン目標符号量を、次式のようにして決定しても良い。
ブロックライン目標符号量＝(フレーム目標符号量／着目フレームの全ブロックライン数)
つまり、あたかも符号化開始時からシーンチェンジであることがわかっていたかのような目標符号量の設定に切り替えてもよい。

また、本実施形態では初期の量子化パラメータQpから符号化が進むにつれ、量子化パラメータQpが大きくなっていく例で説明をしたがその限りではなく、符号化が進むにつれ量子化パラメータがQpが小さくなるような場合においても、シーンチェンジ検出を行うことは本実施形態の範疇である。量子化パラメータQpが小さくなる場合、一見そのQpで符号化した領域は画質が良く見えるが、それは目標符号量を誤って大きく割り当て過ぎたからであって、反対に未符号化領域の目標符号量は想定より小さく割り当てている可能性が高い。量子化パラメータQpを小さくした反動で未符号化領域では、量子化パ貯めたQpが大きくなる可能性があるため、初期の量子化パラメータQpに対して、量子化パラメータQpが小さく変動した場合であっても、シーンチェンジと検出し、フレーム終盤での画質劣化を抑制することが可能である。

以降、構成に関する補足であるが、プレーン変換やDWTを施さない場合も本実施形態の範疇であり、その場合、プレーン変換部は入力画像をスルーで後段に通し、DWT分解レベルが０とみなすことに相当する。また、DWTはその分下位の回数に制限は無く、DWT４回以上の複数分解まで、フィルタリングすることも、本実施形態の範疇である。また、入力画像の領域分割数にも特に制限は無い。また、量子化制御単位はこの限りではなく、ラインを更に水平に分割することや、各ブロックラインに含まれるサブバンドが、ブロックライン毎に異なることも、本実施形態の範疇である。

また、プレーン変換は、べイヤーRAW画像の各色要素であるR,G1,G2,Bへ分離せずとも、R,G1,G2,B各色要素を利用して、輝度情報、色差情報などから成る複数プレーンへ変換することも本実施例の範疇である。その場合、輝度プレーンの量子化パラメータは、色差プレーンよりも小さい値となるように式(3)に示すMtxを設定することで、人間の視覚特性上劣化が視認しやすい輝度成分の画質を保護することも本実施例の範疇である。

［第２の実施形態］
以下、第２の実施形態を説明する。第２の実施形態の構成例は、第１の実施形態と同様に図１を参照する。上記の第１の実施形態と異なる点は、シーンチェンジ検出部109が、シーンチェンジ検出に利用する変動量を算出する場合の基準の量子化パラメータQpとして、初期量子化パラメータQpに限らず、着目ブロックラインに対して予め設定された相対的位置にある、符号化済みブロックラインの量子化パラメータQpを利用できることである。

＜処理フロー＞
図１０は、本第２の実施形態におけるシーンチェンジ検出部109の処理内容を示すフローチャートである。以下、同図を参照して、シーンチェンジ検出部109によるシーンチェンジの検出方法について説明する。なお、着目フレームの符号化開始時の初期化状態は第１の実施形態と同様である。

S1001にて、シーンチェンジ検出部109は、着目フレームのシーンチェンジフラグに有効を示す値が格納されているか否かを判定する。シーンチェンジ検出部109は、有効を示す値が格納されていると判定した場合は本処理を終了し、無効を示す値が格納されていればS1002に処理を進める。

S1002にて、シーンチェンジ検出部109は、着目ブロックラインのQpと、着目ブロックラインが属する良識の初期の量子化パラメータQp(Qp_ini)の差の絶対値を算出する。そして、S1003にて、シーンチェンジ検出部109は、S1002で算出した絶対値が、シーンチェンジ閾値設定部114から通知される初期の量子化パラメータQpに対するシーンチェンジ閾値以上か否かを判定する。シーンチェンジ検出部109は、絶対値が閾値以上であると判定した場合、処理をS1004へ進める。また、シーンチェンジ検出部109は、絶対値が閾値未満であると判定した場合、処理をS1005へ分岐する。

S1004にて、シーンチェンジ検出部109はで、シーンチェンジフラグを有効を表す値に設定する。

S1005にて、シーンチェンジ検出部109は、着目ブロックラインで利用することになる量子化パラメータQpと、符号化済みで且つ着目ブロックラインに対して予め定めた相対位置の所定のブロックラインで用いた量子化パラメータQpとの差の絶対値を算出する。ここでは、相対的位置として、着目ブロックラインの直前のブロックラインとする。

S1006にて、シーンチェンジ検出部109は、S1005で算出した絶対値が、シーンチェンジ閾値設定部114から通知される、上記の所定のブロックラインの量子化パラメータQpに対するシーンチェンジ閾値以上か否かを判定する。シーンチェンジ検出部109は、絶対値が閾値以上であると判定した場合、処理をS1007へ分岐し、そうでなければ本処理を終了する。

S1007にて、シーンチェンジ検出部109で、シーンチェンジフラグに、有効を表す値を設定し、本処理を終える。

＜効果＞
図１１は、本実施形態における効果を示すために用いる動画像の一例である。図７と同様に、同様に、第Ｎ－１まではフレーム間の相関が非常に高く、第Ｎフレームでシーンチェンジが発生する場合を示している。グレーになっている領域が、画像の中でも符号化難易度が高い領域を示している。

動画像によっては、フレーム全体の画像の特徴が変わるのではなく、画面の一部の特徴が変わるシーンチェンジも存在する。

図１２は、本実施形態におけるシーンチェンジ検出機構を適用した場合の、図１１の第Ｎフレームにおける目標符号量と量子化パラメータの推移を示す図である。

図１１の第Ｎフレームは、第Ｎ－１フレームに対して上側の領域でそれほど画像の特徴が変わっていないため、量子化パラメータQpもそれほど大きく変動しない。第１の実施形態を適用すると、シーンチェンジを検出できない、或いは、検出できたとしてもその検出位置が画面の終端となり、シーンチェンジの検出が実施されるため、検出の効果が低くなる。

一方で、本第２の実施形態を適用すると、図１２のように、第１の実施形態の効果に加えて、着目領域の初期の量子化パラメータQpではなく、ある予め定めた相対位置のブロックライン（実施形態では直前のブロックライン）の量子化パラメータQpからの変動量によってシーンチェンジの検出ができる。これにより、画面途中からの急激なシーンの変化にも対応でき、より早いタイミングで目標符号量の補正が可能となることで、画質を保障することができる。

以上のように、フレーム途中の既に符号化したブロックラインの量子化パラメータと、着目ブロックラインの量子化パラメータとの差の絶対値に応じてシーンチェンジを検出することで、フレーム内での急激なシーンチェンジにおいても検出精度の高いシーンチェンジ検出を行うことができ、着目フレームのまだ符号化されていない領域の画質を向上することができる。

なお、着目領域の初期の量子化パラメータQpに対するシーンチェンジ閾値と、所定ブロックラインの量子化パラメータQpに対するシーンチェンジ閾値との関係に制約はないが、所定ブロックラインのQpに対するシーンチェンジ閾値の方が小さいほうが望ましい。

これは、初期の量子化パラメータQpに対するシーンチェンジは、フレーム間における、画像全面の相関関係による検出を実現するものである一方、所定ブロックラインのQpに対するシーンチェンジは、特定領域の局所的なシーンチェンジの検出を目的としているため、着目する面積が小さく、その分Qpの変化量もフレーム全面に比べて相対的に小さいためである。

［第３の実施形態］
次に第３の実施形態を説明する。第１、第２の実施形態と異なる点は、シーンチェンジ検出機構を二種類備え、制御感度に応じて制御を切り替えることで、シーンチェンジ検出の精度を高める点にある。

＜構成＞
図１３に、本第３の実施形態に係る画像符号化装置のブロック構成図を示す。同時において、参照符号101～108並びに110～114は第１の実施形態の構成例と同一である。

シーンチェンジ検出選択部1316は、第１のシーンチェンジ検出部1309と、第２のシーンチェンジ検出部1315で構成される。第１のシーンチェンジ検出部1309は、第１の実施形態のシーンチェンジ検出部109と同一であるとし、その説明は省略する。第２のシーンチェンジ検出部1315、シーンチェンジ検出選択部1316の動作について順に後述する。

なお、シーンチェンジ閾値設定部114は、符号量に基づくシーンチェンジ閾値（以下、符号量シーンチェンジ閾値）を更に通知し、差分算出部107は、積算差分量をシーンチェンジ検出選択部1317へ更に通知する。

＜第２のシーンチェンジ検出部の動作＞
図１４に、本第３の実施形態における、第２のシーンチェンジ検出部1315の処理手順を示すフローチャートを示す。以下、同図を参照して、第２のシーンチェンジ検出部1315のシーンチェンジ検出処理手順を説明する。なお、着目フレームの符号化開始時の初期化状態は第１の実施形態と同様である。

S1401にて、第２のシーンチェンジ検出部1315は、着目フレームのシーンチェンジフラグに有効を示す値が格納されているか否かを判定する。有効を示す値がシーンチェンジフラグに格納されている場合、第２のシーンチェンジ検出部1315は本処理を終了する。また、無効を示す値がシーンチェンジフラグに格納されている場合、第２のシーンチェンジ検出部1315は処理をS1402に進める。

S1402にて、第２のシーンチェンジ検出部1315は、着目ブロックラインまでの、各ブロックラインから得た符号化データの符号量と、ブロックライン目標符号量との差の積算値（以下、単に積算差分量）の絶対値を算出する。この絶対値は、要するに、着目ブロックラインまでのブロックラインの符号量が、目標符号量に対してどれだけずれているかを表していると言うことができる。

そして、S1403にて、第２のシーンチェンジ検出部1315は、S1402で算出した絶対値と、シーンチェンジ閾値設定部114から通知される符号量シーンチェンジ閾値とを比較する。
そして、第２のシーンチェンジ検出部1315は、絶対値が閾値以上であれば処理をS1404へ進め、そうでなければ本処理を終了する。

S1404にて、第２のシーンチェンジ検出部1315は、シーンチェンジフラグを有効にする。以上により、シーンチェンジを検出する。

＜第２のシーンチェンジ検出部の検出効果＞
本第３の実施形態では、第１の実施形態と同様に図７の画像例を用いて、第２のシーンチェンジ検出部1315の効果を説明する。

図１５は、制御感度が低い場合の、図７における第Ｎフレームにおける目標符号量と発生符号量の関係を示す図である。

図１５のように、制御感度が低い場合、シーンチェンジ検出を行わないと積算目標符号量に対して着目フレームの符号化が進むにつれて積算符号量が乖離していき、着目フレームの符号化完了時に積算符号量が積算目標符号量を超過して、以降のフレームの画質劣化の影響が高まる。

一方で、第２のシーンチェンジ検出を実施することで、一定以上積算差分量の絶対値が大きくなった場合に、以降の目標符号量を各ブロックラインに当分配することで、発生符号量を抑制することが可能である。ただし、量子化パラメータQpはその分変動し、着目フレームの画質に或る程度影響を起こすことはこれまでの説明から明らかである。

＜シーンチェンジ検出方法とその効果＞
本第３の実施形態では、第１のシーンチェンジ検出部1309と第２のシーンチェンジ検出部1315の両方でシーンチェンジの検出を行う。そして、シーンチェンジ検出選択部1316は、いずれかによりシーンチェンジフラグに有効を示す値が格納された場合、そのフラグを目標符号量算出部110へシーンチェンジフラグとして通知する。

例えば、式（２）で示される制御感度rが高い場合、符号量の収束性が高いため、第２のシーンチェンジ検出部ではシーンチェンジの検出ができない場合がある。また、逆に制御感度が低い場合、着目フレーム内の量子化パラメータQpの変動量は小さいため、第１のシーンチェンジ検出部ではシーンチェンジの検出ができない場合がある。しかし、本第３の実施形態を適用すれば、量子化パラメータQpの変動量と発生符号量のいずれの方式も適用されるため、シーンチェンジの検出精度を高めることが可能である。

以上のように、量子化パラメータQpの変動量を用いたシーンチェンジ検出と発生符号量を用いたシーンチェンジ検出方法のいずれも実装する構成とすることで、シーンチェンジの検出精度を高め、フレーム間の相関の低い動画像の画質を担保することが可能である。

なお、着目フレームの符号化開始前に、予め第１のシーンチェンジ検出部1309と第２のシーンチェンジ検出部1315のいずれかを選択し、一方のみ動作させることも本実施形態の範疇である。

たとえば、制御感度を高く指定する場合はQpが変動することによる着目フレームの画質劣化を抑制するために第１のシーンチェンジ検出部1309のみ駆動する。そして、制御感度を低く指定する場合には、着目フレームで発生符号量が想定以上に生じてしまうことによる以降のフレームの画質劣化を抑制するために、第２のシーンチェンジ検出部1315のみを駆動する。このような制御感度を用いたシーンチェンジ検出部の切り替えのことを指す。

前述のように制御感度に応じて検出し易い検出方式は異なるため、予め検出し易いシーンチェンジ検出部のみ動作させることで、電力削減することが可能である。

以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施形態の構成要素を全部又は複数を組み合わせることも可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…プレーン変換部、１０２…離散ウェーブレット変換部、１０３…量子化部、１０４…符号化部、１０５…量子化制御部、１０６…発生符号量保持部、１０７…差分算出部、１０８…量子化値算出部、１０９…シーンチェンジ検出部、１１０…目標符号量算出部、１１１…領域判定部、１１２…初期目標符号量設定部、１１３…初期量子化値設定部、１１４…シーンチェンジ閾値設定部、１３０９…第１のシーンチェンジ検出部、１３１５…第２のシーンチェンジ検出部、１３１６…シーンチェンジ検出選択部

Claims (15)

1. 撮像手段で撮像した動画像データを符号化する画像符号化装置であって、
   前記動画像データにおける着目フレームの画像データを、予め設定された所定ブロックごとに、目標符号量に基づいて設定された量子化パラメータに従って量子化する量子化手段と、
   前記量子化手段で得られた量子化後のデータを符号化する符号化手段と、
   前記符号化手段により発生する符号量が目標符号量に近づくように前記量子化パラメータを制御する量子化制御手段と、
   前記着目フレームの少なくとも一部がシーンチェンジであるか否かを検出するシーンチェンジ検出手段とを有し、
   前記シーンチェンジ検出手段は、前記量子化制御手段で決定する量子化パラメータと、着目フレームの符号化開始時の量子化パラメータとの関係に応じてシーンチェンジを検出し、
   前記量子化制御手段は、少なくとも２つの制御方法を有し、着目フレームの符号化開始時は第１の量子化制御法を適用し、前記シーンチェンジ検出手段がシーンチェンジを検出した場合には前記第１の量子化制御法とは異なる第２の量子化制御法に切り替え、
   前記第１の量子化制御法は、着目フレームの直前のフレームの符号化結果を参照して目標符号量を設定する量子化制御法であり、前記第２の量子化制御法は、直前のフレームの符号化結果を参照せずに、着目フレームにおいて符号化していないブロックに対して同じ目標符号量を設定する量子化制御法である
   ことを特徴とする画像符号化装置。
2. 前記シーンチェンジ検出手段は、前記量子化制御手段で決定する量子化パラメータと、着目フレームの符号化開始時の量子化パラメータとの差の絶対値に応じてシーンチェンジを検出することに加えて、更に、前記量子化制御手段で決定する量子化パラメータと、予め定めた所定の位置で算出済みの量子化パラメータとの差の絶対値に応じてシーンチェンジを検出する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記シーンチェンジ検出手段は、前記量子化制御手段で決定する量子化パラメータと、着目フレームの符号化開始時の量子化パラメータとの差の絶対値が、シーンチェンジ閾値以上の場合にシーンチェンジと検出し、着目フレームの符号化開始時の量子化パラメータが小さいほど、前記シーンチェンジ閾値を小さく設定することを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記シーンチェンジ検出手段を第１のシーンチェンジ検出手段とし、
   当該第１のシーンチェンジ検出手段と異なる第２のシーンチェンジ検出手段を更に有し、
   前記第２のシーンチェンジ検出手段は、着目フレームの発生符号量に応じてシーンチェンジを検出する
   ことを特徴とする請求項１または２に記載の画像符号化装置。
5. 着目フレームにおける量子化パラメータの制御感度について高、低のいずれかを設定でき、高を設定した場合は前記第１のシーンチェンジ検出手段によりシーンチェンジを検出し、低を設定した場合は前記第２のシーンチェンジ検出手段によりシーンチェンジを検出するように切り替える
   ことを特徴とする請求項４に記載の画像符号化装置。
6. 前記所定ブロックは、画素が並ぶラインであることを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
7. 前記動画像データにおける着目フレームの画像データを複数のプレーンに分解する分解手段と、
   前記分解手段で生成された各プレーンが表す画像データそれぞれを離散ウェーブレット変換する変換手段とを更に有し、
   前記量子化手段は、前記変換手段により生成された変換係数を量子化する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像符号化装置。
8. 前記動画像データにおけるフレームが表す画像はベイヤ配列の画像であって、
   前記分解手段は、１つのフレームから、４つの単一の色成分のプレーンを分解する
   ことを特徴とする請求項７に記載の画像符号化装置。
9. 前記動画像データの各フレームが表す画像はＲＡＷ画像であることを特徴とする請求項１乃至８のいずれか１項に記載の画像符号化装置。
10. 前記量子化制御手段は、
    前記第１の量子化制御法では、着目フレームの直前のフレームの符号化結果に応じてブロック目標符号量を決定することで、ブロックに対する量子化パラメータを決定し、
    前記第２の量子化制御法では、着目フレームの目標符号量から、シーンチェンジを検出した着目ブロックまでの符号化で得た符号化データの符号量を減じた残余符号量を、着目ブロックからの残りのブロックの数で除算し、当該除算した値を前記着目ブロックに後続するブロックの目標符号量として決定することで、ブロックに対する量子化パラメータを決定する
    ことを特徴とする請求項１に記載の画像符号化装置。
11. 前記量子化制御手段は、前記第１の量子化制御法では、
    着目フレームを複数の領域に分割し、前記着目フレームの直前のフレームの符号化結果に応じて前記複数の領域に目標符号量を決定し、前記複数の領域毎に、前記決定された目標符号量と領域に含まれるブロックの数とに基づいてブロック目標符号量を決定することで、ブロックに対する量子化パラメータを決定する
    ことを特徴とする請求項１０に記載の画像符号化装置。
12. 前記量子化制御手段は、前記第１の量子化制御法において、
    前記直前のフレームの各領域の符号化時に用いた量子化パラメータを参照して、前記複数の領域の目標符号量を決定する
    ことを特徴とする請求項１１に記載の画像符号化装置。
13. 前記シーンチェンジ検出手段は、着目ブロックが属する領域の先頭ブロックに対して設定された量子化パラメータと前記着目ブロックに設定された量子化パラメータとの差の絶対値が、予め設定された第１の閾値以上の場合に前記シーンチェンジが有ると推定する
    ことを特徴とする請求項１１又は１２に記載の画像符号化装置。
14. 撮像手段で撮像した動画像データを符号化する画像符号化装置の制御方法であって、
    前記動画像データにおける着目フレームの画像データを、予め設定された所定ブロックごとに、目標符号量に基づいて設定された量子化パラメータに従って量子化する量子化工程と、
    前記量子化工程で得られた量子化後のデータを符号化する符号化工程と、
    前記符号化工程により発生する符号量が目標符号量に近づくように前記量子化パラメータを制御する量子化制御工程と、
    前記着目フレームの少なくとも一部がシーンチェンジであるか否かを検出するシーンチェンジ検出工程とを有し、
    前記シーンチェンジ検出工程は、前記量子化制御工程で決定する量子化パラメータと、着目フレームの符号化開始時の量子化パラメータとの関係に応じてシーンチェンジを検出し、
    前記量子化制御工程は、少なくとも二つの制御方法を有し、着目フレームの符号化開始時は第１の量子化制御法を適用し、前記シーンチェンジ検出工程でシーンチェンジを検出した場合には前記第１の量子化制御法とは異なる第２の量子化制御法に切り替え、
    前記第１の量子化制御法は、着目フレームの直前のフレームの符号化結果を参照して目標符号量を設定する量子化制御方法であり、前記第２の量子化制御法は、直前のフレームの符号化結果を参照せずに、着目フレームにおいて符号化していないブロックに対して同じ目標符号量を設定する量子化制御方法である
    ことを特徴とする画像符号化装置の制御方法。
15. コンピュータが読み込み実行することで、前記コンピュータに、請求項１４に記載の方法の各工程を実行させるためのプログラム。

Images