JP2019004294A - 特徴量推定装置及びプログラム - Google Patents

Abstract

【課題】ピクチャ発生符号量の予測精度を向上させる。【解決手段】画像選択部は、第一特徴量を推定する対象の対象画像の第二特徴量、及び、複数の参考画像それぞれの第二特徴量に基づき、複数の参考画像から推定に用いられる選択画像を選択する。対象画像特徴量推定部は、選択画像の第一特徴量に基づき対象画像の第一特徴量を推定する。第二特徴量は、対象画像と当該対象画像の符号化において参照する他の画像との時間的距離、対象画像と当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の予測誤差値、対象画像と当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の統計量、及び、対象画像の画素値の分散値のうち一以上である。【選択図】図１

Description

本発明は、特徴量推定装置及びプログラムに関する。

映像符号化の技術には、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣ（Advanced Video Coding）などが多く用いられている。最近では、次世代の映像符号化規格であるＨＥＶＣ（High Efficiency Video Coding）が規格化され、今後の普及が見込まれる。

デジタル放送における映像符号化方式については、ＡＲＩＢ（Association of Radio Industries and Broadcast，一般社団法人電波産業会）が、ＡＲＩＢ ＳＴＤ−Ｂ３２において「デジタル放送における映像符号化、音声符号化及び多重化方式」を映像符号化方式の標準規格として策定している。ＡＲＩＢ ＳＴＤ−Ｂ３２では、ＭＰＥＧ−２ Ｖｉｄｅｏ、ＭＰＥＧ−４ ＡＶＣ、ＨＥＶＣの３つに準拠した映像符号化方式が策定されている。特にＡＲＩＢ ＳＴＤ−Ｂ３２におけるＨＥＶＣでは、２１６０／１２０／Ｐ及び４３２０／１２０／Ｐの映像フォーマットが規定され、空間解像度が４Ｋ（３８４０画素×２１６０ライン）・８Ｋ（７６８０画素×４３２０ライン）かつフレームレートが１２０Ｐとなる、高解像度かつ高フレームレートな映像が扱われるようになっている。ＡＲＩＢ規定における２１６０／１２０／Ｐ及び４３２０／１２０／Ｐの映像は、ＨＥＶＣに準拠した時間方向階層符号化方式によるエンコードを前提としており、１２０／Ｐビットストリームは、６０／Ｐサブビットストリームと残りの１２０／Ｐサブセットとに分離されて伝送される。

映像配信・放送の実サービスにおいては、符号化されたストリームのビットレートが一定となるＣＢＲ（constant bit rate）が一般的である。所定のビットレートとするためには、各符号化ブロックの符号化モードや量子化ステップを決定する符号化制御が必要とされる。一方で、ＨＥＶＣをはじめとする映像符号化規格では、符号化対象ブロック周辺の符号化済みブロック情報を用いながら符号化を行うため、各ブロックの逐次処理が必要となる。また、ＡＲＩＢで規定されるような高解像度・高フレームレートの映像の符号化には、通常膨大な演算量が必要とされる。

そこで、データサイズが大きな映像を低演算量で符号化するために、図１４に示すような符号化制御手法が多く用いられている。すなわち、（手順１）過去の複数フレームの特徴量などの符号化情報を抽出し、（手順２）抽出した特徴量を利用して現フレーム、すなわち、符号化対象フレームの特徴量や符号量の予測を行う。そして、（手順３）予測した特徴量や符号量を元に符号化対象フレームの目標符号量を決定した上で、（手順４）実際の発生符号量と目標符号量との差に応じて各符号化ブロックの量子化パラメータ（Ｏｐ）を決定し、量子化ステップを適宜変化させていく。特に、ハードウェアエンコーダにおける実装の観点では、演算量はハードウェア規模に直結する要素であるため、より計算負荷の少ない符号化制御手法が求められる。さらに、実時間映像符号化装置などにおいては、符号化処理をリアルタイムに行い、かつ符号化による遅延を抑えるために、１パスで各符号化ブロックの量子化ステップを決定していく手法が多く用いられる。

ピクチャの符号量予測において、ＭＰＥＧ−２ ｔｅｓｔ ｍｏｄｅｌやＨＥＶＣ ｔｅｓｔ ｍｏｄｅｌなどの従来の符号化制御手法では、ピクチャの発生符号量と平均量子化スケール（もしくは量子化ステップ）との積である複雑さ指標をピクチャ符号化終了後に求めておき、過去のピクチャの複雑さ指標を元に符号化対象ピクチャの発生符号量を予測する手法がとられている。さらに、ピクチャを事前に数種類のグループに分類し、各グループごとに直近数フレームの複雑さ指標の平均値をとることで、符号化対象ピクチャの符号量予測精度を向上させている。ピクチャの分類においては、Ｉ、Ｐ、Ｂといったピクチャタイプ、もしくは、TemporalID（ＴＩＤ）を元に分類が行われる。TemporalIDは、時間方向の階層番号を示す識別子である。

画面間符号化における動き予測においては、符号化すべき情報を小さくするために、映像の正しい動きを捉えた予測を行うことが望ましい。一方で、精確な動きベクトル検出処理には一般的に膨大な演算量が必要となり、ハードウェア実装の観点ではハードウェア規模に直結する要素であるため、効率的な動き探索処理が不可欠である。

また、特許文献１に記載の符号化手法では、入力画像の分散値や、入力画像とその参照フレームとの間で行なわれた動き探索の予測誤差値を用いて、それぞれのピクチャグループ毎に分散値のｎ次式、予測誤差値のｎ次式といった推定式に従って発生符号量を近似推定する。このような構成を用いることで、符号化対象ピクチャ自身の情報も利用して符号量予測精度の向上を図っている。

特開２００２−２４７５８４号公報

しかしながら、前者の従来手法、および特許文献１に記載の符号化手法では、上記の手順１においては、以下のような前提によって、グループ分類およびグループごとに直近過去フレームから特徴量を算出して処理を行っている。つまり、Ｉ、Ｐ、Ｂといったピクチャタイプが同じピクチャ群、もしくはTemporalIDが等しいピクチャ群は、符号化時の特性（フレームの符号量・特徴量）が近く、各ピクチャの符号量も近い値になりやすい、という前提である。しかしながら、ピクチャタイプおよびTemporalIDが等しい場合でもピクチャ符号量や特徴量にばらつきが出る場合には、過去フレームから特徴量の算出を行うと、現フレームの符号量の予測精度が低下する。この予測精度の低下によって、符号量配分が不正確となり、符号化効率も低下してしまうという問題があった。

特にＡＲＩＢの１２０Ｐ時間方向階層符号化方式においては、図１５のＡＲＩＢ規定の１２０Ｐ時間スケーラビリティ対応参照構造に示すように、１２０／Ｐサブセットに相当するTemporalID（ＴＩＤ）＝４のエンハンスメントレイヤのピクチャは、全てTemporalIDが等しいＢピクチャである。しかし、エンハンスメントレイヤにおいては参照フレームまでの時間的な距離（参照距離）が各ピクチャで異なるため、符号量に大きなばらつきが発生しやすい。つまり、TemporalIDを共通の特徴量に用い、１２０／Ｐサブセットのピクチャを全て同一グループとして複雑さ指標計算や近似推定を行ってしまうと、正確な符号量予測ができない。従って、決定した目標符号量から外れた値となることが多くなり、ビットレート制御も破綻しやすくなるため、大きな符号化効率低下が発生する傾向にある。

また、前者の従来手法、および特許文献１に記載の符号化手法では、グループ分類はピクチャタイプおよびTemporalIDを元に固定的に決定されてしまう。このため、近しい符号量・符号化傾向となりやすい複数のグループが存在しても複雑さ指標計算や近似推定は別々に行われ、映像の絵柄に従って符号量予測値を敏感に変化させることができず、符号化効率の低下につながる。さらに、グループ分類が固定化されることで、映像の絵柄が大きく変化してもグループ分類を変更することができず、符号量予測精度の低下、および符号化効率の低下が生じる傾向にある。

上記事情に鑑み、本発明は、ピクチャ発生符号量の予測精度を向上させることができる特徴量推定装置及びプログラム提供することを目的としている。

本発明の一態様は、第一特徴量を推定する対象の画像である対象画像から得られる画像の特性に基づく値である第二特徴量、及び、推定に用いられる候補の画像である複数の参考画像それぞれの第二特徴量に基づき、複数の前記参考画像から推定に用いられる少なくとも１つの選択画像を選択する画像選択部と、前記選択画像の前記第一特徴量に基づき前記対象画像の第一特徴量を推定する対象画像特徴量推定部と、を備え、前記第二特徴量は、前記対象画像と、当該対象画像の符号化において参照する他の画像との時間的距離、前記対象画像と、当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の予測誤差値、前記対象画像と、当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の統計量、及び、前記対象画像の画素値の分散値のうち一以上である、特徴量推定装置である。

本発明の一態様は、上述の特徴量推定装置であって、前記画像選択部は、前記対象画像から得られる前記第二特徴量と、複数の前記参考画像それぞれの前記第一特徴量及び前記第二特徴量と、に基づき前記選択画像を選択する。

本発明の一態様は、上述の特徴量推定装置であって、前記第二特徴量に基づく予め定められた基準により前記参考画像が分類される複数の小クラスのそれぞれを、前記小クラスに属する前記参考画像の前記第一特徴量に基づいて、前記小クラスの数よりも少ない数の複数の大クラスに分類する画像分類更新部をさらに備え、前記画像選択部は、前記基準により前記対象画像が分類される前記小クラスを判定し、前記対象画像と同じ前記小クラスの前記参考画像の中から前記選択画像を選択する処理と、前記対象画像と同じ前記小クラスに属する前記選択画像と同じ大クラスに分類される他の前記小クラスの前記参考画像の中から前記選択画像を選択する処理とを行う。

本発明の一態様は、上述の特徴量推定装置であって、前記対象画像は、符号化対象の入力フレームであり、前記参考画像は、前記入力フレームよりも過去に符号化された他の入力フレームであり、前記画像選択部は、前記第二特徴量に応じて入力フレームを小クラスに分類する入力フレーム分類方法により前記入力フレームが分類される前記小クラスを決定し、さらに、小クラスが属する大クラスを決定する画像クラス決定方法により、前記入力フレームを、決定された前記小クラスが属する前記大クラスへ分類し、前記対象画像特徴量推定部は、前記入力フレームが分類された前記大クラスに属する前記小クラスから選択された前記他の入力フレームの前記第一特徴量に基づき前記入力フレームの前記第一特徴量を推定し、前記特徴量推定装置は、前記対象画像特徴量推定部により推定された前記第一特徴量に応じて、前記入力フレームの符号化に用いる量子化パラメータを決定する量子化パラメータ制御部と、前記量子化パラメータ制御部により決定された前記量子化パラメータに従って前記入力フレームの符号化を行う符号化部と、前記符号化部による符号化後に前記入力フレームの第一特徴量を算出する第一特徴量算出部と、前記小クラスに分類された前記入力フレーム及び前記他の入力フレームの前記第一特徴量に基づいて前記画像クラス決定方法を変更する画像クラス決定方法変更部とをさらに備える。

本発明の一態様は、上述の特徴量推定装置であって、前記画像クラス決定方法変更部は、シーンチェンジが検出された場合に前記画像クラス決定方法を初期状態とする。

本発明の一態様は、コンピュータを、上述のいずれかの特徴量推定装置として動作させるプログラムである。

本発明により、ピクチャ発生符号量の予測精度を向上させることが可能となる。

本発明の一実施形態による映像符号化装置の構成例を示すブロック図である。 同実施形態による入力画像分類部の一構成例を示す図である。 同実施形態による符号量制御部の一構成例を示す図である。 同実施形態による画像分類更新部の一構成例を示す図である。 ＡＲＩＢ規定の時間方向階層符号化の参照構造の一例を示す図である。 同実施形態による符号量制御処理部の動作概要を示す図である。 同実施形態による符号化制御処理部の処理の例を示すフロー図である。 同実施形態による小クラスの分類例を示す図である。 同実施形態による小クラス代表複雑さ指標の算出に用いるＰＯＣの例を示す図である。 同実施形態による変更前の画像クラス決定方法を示す図である。 同実施形態による変更後の画像クラス決定方法を示す図である。 同実施形態による大クラス代表複雑さ指標の更新に使用される変更前のＰＯＣを示す図である。 同実施形態による大クラス代表複雑さ指標の更新に使用される変更後のＰＯＣを示す図である。 従来技術による符号化制御手法の例を示す図である。 ＡＲＩＢ規定の１２０Ｐ時間スケーラビリティ対応参照構造を示す図である。

以下、図面を参照しながら本発明の一実施形態について説明する。本発明の実施形態による特徴量推定装置は、主に符号量の制御処理を行う映像符号化装置において用いられる。以下で用いる「符号化ブロック」については、ＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格ではマクロブロックのことを示し、ＨＥＶＣではコーディングユニット（ＣＵ）又はプレディクションユニット（ＰＵ）のことを示す。

図１は、本発明の一実施形態による映像符号化装置１の構成例を示すブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。映像符号化装置１は、符号量制御処理部１００及び符号化部３００を備える。符号化部３００など、符号量制御処理部１００以外の映像符号化装置１の部分には、Ｈ．２６４／ＡＶＣやＨＥＶＣ等の映像符号化器として用いられている従来の一般的な構成を用いることができる。

映像符号化装置１は、符号化対象の映像信号（原画像）と符号化パラメータとを入力とし、入力された映像信号を指定された符号化パラメータに従って符号化し、符号化結果を符号化ビットストリームとして出力する。符号量制御処理部１００は、符号化対象ピクチャの符号量予測・符号量配分・量子化パラメータ制御を行う。符号化部３００は、符号量制御処理部１００によって決定された量子化パラメータに従って、映像の符号化処理を行う。Ｈ．２６４／ＡＶＣやＨＥＶＣ等の符号化規格においては、入力映像信号のピクチャをブロックに分割してブロックごとに符号化が行われるため、符号化部３００の処理は、符号化ブロック単位で実行される。

符号化部３００は、イントラ予測処理部３０１、インター予測処理部３０２、予測残差信号生成部３０３、変換・量子化処理部３０４、エントロピー符号化部３０５、逆量子化・逆変換処理部３０６、復号信号生成部３０７及びループフィルタ処理部３０８を備える。符号化部３００の処理を説明する。

予測残差信号生成部３０３は、入力映像信号とイントラ予測処理部３０１あるいはインター予測処理部３０２の出力である予測信号との差分を求め、それを予測残差信号として出力する。変換・量子化処理部３０４は、予測残差信号に対して離散コサイン変換等の直交変換を行い、変換係数を量子化し、その量子化された変換係数を出力する。量子化においては、符号量制御処理部１００の量子化パラメータ制御部５０２（後述の図３参照）によって決定された値を受け取り、量子化スケールもしくは量子化ステップが決定される。エントロピー符号化部３０５は、量子化された変換係数をエントロピー符号化し、符号化ストリームとして出力する。さらに、エントロピー符号化部３０５は、符号化結果を符号量制御処理部１００の複雑さ指標算出部６０１（後述の図４参照）に出力する。

変換・量子化処理部３０４によって量子化された変換係数は、逆量子化・逆変換処理部３０６にも入力される。逆量子化・逆変換処理部３０６は、量子化された変換係数に逆量子化及び逆直交変換を行い、予測残差復号信号を出力する。復号信号生成部３０７は、予測残差復号信号と、イントラ予測処理部３０１又はインター予測処理部３０２の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号信号を生成する。この復号信号は、インター予測処理部３０２で参照画像として用いるために、ループフィルタ処理部３０８に入力される。ループフィルタ処理部３０８は、復号信号に符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の画像を参照画像としてインター予測処理部３０２に入力する。
符号化部３００は、上記の処理を符号化ブロック単位で実行する。

符号量制御処理部１００は、入力画像分類部１０２、符号量制御部１０３及び画像分類更新部１０４を備える。以下に、入力画像分類部１０２、符号量制御部１０３及び画像分類更新部１０４のそれぞれについて、詳細な構成と処理を説明する。

図２は、入力画像分類部１０２の一構成例を示す図である。入力画像分類部１０２は、入力フレームの画像特性・符号化特性を元に、入力フレームの分類を行う。入力画像分類部１０２は、画像解析部４０１、小クラス決定部４０２及び大クラス決定部４０３を備える。

画像解析部４０１は、入力フレームの小クラスを決定するために必要となる（小クラスの分類に用いる指標）情報を、入力フレームの特性解析や、入力フレームの符号化パラメータの解析を行うことで、算出する。小クラス決定部４０２は、画像解析部４０１により算出された解析情報を元に、入力フレームがどの小クラスに分類されるかを、固定された入力フレーム分類方法に従って、決定する。つまり、入力フレーム分類方法は、画像解析部４０１が取得した指標に基づいて、入力フレームが属する小クラスを決定する基準となる固定の規則を示す。大クラス決定部４０３は、小クラス決定部４０２により決定された入力フレームの小クラスが、どの大クラスに分類されるのかを、画像分類更新部１０４によって順次更新される画像クラス決定方法に従って、決定する。画像クラス決定方法は、小クラスが属する大クラスを決定する規則である。

図３は、符号量制御部１０３の一構成例を示す図である。符号量制御部１０３は、入力フレームの分類結果と過去の符号化結果を元に、符号量予測・量子化制御を行う。符号量制御部１０３は、符号量予測・配分決定部５０１及び量子化パラメータ制御部５０２を備える。

符号量予測・配分決定部５０１は、入力画像分類部１０２によって決定された入力フレームの大クラスに対し、画像分類更新部１０４によって順次更新される大クラス代表複雑さ指標を元に、入力フレームの符号量予測および符号量配分の決定を行う。量子化パラメータ制御部５０２は、符号量予測・配分決定部５０１により決定された符号量予測値・配分値をもとに、量子化パラメータの決定・制御を行い、量子化パラメータ制御結果を符号化部３００に出力する。

図４は、画像分類更新部１０４の一構成例を示す図である。画像分類更新部１０４は、入力フレームの符号化結果をもとに、画像クラス決定方法を適宜変更しながら、各大クラスの代表複雑さ指標を決定する。画像分類更新部１０４は、複雑さ指標算出部６０１、小クラス代表複雑さ指標更新部６０２、画像クラス決定方法変更部６０３及び大クラス代表複雑さ指標更新部６０４を備える。

複雑さ指標算出部６０１は、符号化部３００のエントロピー符号化部３０５による入力フレームの符号化結果を元に、入力フレームの複雑さ指標の算出を行う。小クラス代表複雑さ指標更新部６０２は、複雑さ指標算出部６０１により算出された入力フレームの複雑さ指標をもとに、各小クラスの小クラス代表複雑さ指標の更新を行う。小クラス代表複雑さ指標は、小クラスに分類された過去の入力フレームのうち、新しいものから所定枚数の入力フレームの複雑さ指標に基づいて算出される。画像クラス決定方法変更部６０３は、小クラス代表複雑さ指標更新部６０２により更新された小クラス代表複雑さ指標をもとに、各小クラスがどの大クラスに分類されるかを決める画像クラス決定方法の変更を行う。大クラス代表複雑さ指標更新部６０４は、画像クラス決定方法変更部６０３により変更された画像クラス決定方法を元に、各大クラスそれぞれの大クラス代表複雑さ指標の更新を行う。大クラス代表複雑さ指標は、大クラスに分類された過去の入力フレームのうち、新しいものから所定枚数の入力フレームの複雑さ指標に基づいて算出される。

以下に、ＡＲＩＢ規定の時間方向階層符号化の規格に基づいた符号量制御処理部１００の動作例を説明する。
図５は、ＡＲＩＢ規定の時間方向階層符号化の参照構造の一例を示す図である。ＡＲＩＢ規定の時間方向階層符号化では、１２０／Ｐサブセットの復号時刻が等間隔になるようにインター予測における参照構造が定められる。

同図に示すように、各ピクチャは参照のパターンによって５つの階層に分類される。それぞれの階層には、TemporalID（時間識別子、ＴＩＤ）とよばれる値が割り振られている。TemporalID＝０，１，２，３に属するピクチャは、６０／Ｐサブビットストリームであり、TemporalID＝４に属するピクチャは、１２０／Ｐサブセットである。TemporalID＝０のピクチャから次のTemporalID＝０のピクチャまでを、ＧＯＰ（Group of Picture）と呼ぶ。同図では、ＧＯＰのサイズが１６の場合における、ＡＲＩＢ規定の時間方向階層符号化の参照構造を表している。

また、ピクチャの表示順序をＰＯＣ（Picture Order Count）と呼び、同図に示すＧＯＰ内では０〜１６までを割り振っている。同図においては、それぞれの符号化対象画像における参照画像を矢印で示しており、ＰＯＣ１からＰＯＣ１５までのピクチャでは、前方向・後方向それぞれ１つ、合計で２つの参照画像を用いる双方向動き探索を行っている。また、本参照構造を達成するためには、ピクチャの表示順序と復号順序が異なっている必要がある。同図において各ピクチャに対応した矩形内に記された数値のうち、左側の数値がピクチャの表示順序（ＰＯＣ）を表し、右側の数値がピクチャの復号順序を表している。

ＡＲＩＢにおける時間方向階層符号化において、６０／Ｐサブビットストリームの各ピクチャの参照構造は、従来の６０Ｐにおける参照構造として多く利用される構造と等しく、対称な構造となっている。特に、同一のTemporalIDに属するピクチャは、前方向動き予測と後方向動き予測とにおける時間的距離である参照距離が、全て等しい。例として図５において、TemporalID＝３のピクチャについては、時間な参照距離が前方向動き予測と後方向動き予測の全てにおいて２フレームである。従って、同一TemporalIDのピクチャでは符号化時の特性が近しくなることが多く、符号化後の符号量においても、同一TemporalIDかつ同一量子化ステップの場合、近しい値となる場合が多い。そのため、従来の符号量制御においては、同一TemporalIDに属するフレームを同じクラスとみなしてグルーピングし、それぞれのクラスにおいて直近の複数フレームから、各クラスの符号化特性を表すクラス複雑さ指標を算出していた。これにより、映像の絵柄による特性の変化を短時間で反映することができ、複数フレームから平均された指標を導出できる。このように、グルーピングは、クラス複雑さ指標を用いた符号量の予測、および量子化パラメータの決定を、精度よく行うことを目的としていた。

一方で、ＡＲＩＢ時間方向階層符号化における１２０／Ｐサブセットの各ピクチャの参照構造は、従来の６０Ｐでは利用されることのない、非対称な構造となっている。１２０／Ｐサブセットでは全てのピクチャがTemporalID＝４だが、同一TemporalIDであっても、動き予測の時間な参照距離は、ピクチャによって大きく変動する。例として、ＰＯＣ＝１のピクチャの参照距離は１フレームと１５フレームだが、ＰＯＣ＝３のピクチャの参照距離は３フレームと５フレームである。このため、１２０／Ｐサブセットでは、同一TemporalIDであるにも関わらず、符号量が大きく変動する場合が多い。したがって、従来のTemporalIDを元にクラス分類をする手法では、同一クラスの直近の複数フレームから平均化してクラス複雑さ指標を算出しても、TemporalID＝４のクラスの特性を正しく表すことができない。よって、クラス複雑さ指標をもとに行われる符号量予測の精度も低下し、符号化効率の低下が生じる傾向にある。

そこで、映像符号化装置１の符号量制御処理部１００は、過去の複数フレームの符号化情報をもとに、入力フレームのクラス分類方法を適宜更新していくことによって、より高精度な入力フレームの符号量予測を行い、符号化制御の効率を向上する。

図６は、符号量制御処理部１００の動作概要を示す図である。
符号量制御処理部１００には、入力フレームとして、画像１、画像２、画像３、…が入力される。入力画像分類部１０２は、フレームが入力されるたびに、入力フレームを小クラスに分類する。小クラスへの分類を行うため、まず、入力画像分類部１０２の画像解析部４０１は、入力フレームの参照距離を導出する。入力画像分類部１０２の小クラス決定部４０２は、参照距離に基づき小クラスを分類する固定の規則である入力フレーム分類方法に従って、入力フレームが分類される小クラスを、その入力フレームの参照距離に応じて決定する。

図６（ａ）は、画像５が入力されたときに、各小クラスに分類済みの画像を示す図である。同図では、画像１及び画像２は小クラスａに分類され、画像３は小クラスｂに分類され、画像４及び画像５は小クラスｃに分類されている。

図６（ｂ）は、画像１０が入力されたときに、各小クラスに分類済みの画像を示す図である。新たな入力フレームが入力されるたびに、各小クラスに分類される画像が増加するが、符号量制御処理部１００は、各小クラスに分類された入力フレームのうち、最新の所定枚数の入力フレームのみを保存する。画像１０が入力されたとき、符号量制御処理部１００は、画像１０と同じ小クラスａに分類された入力フレームとして画像１、画像２及び画像９を保存している。

図６（ｃ）は、画像１０が入力されたときに、各大クラスに分類されている画像を示す図である。画像分類更新部１０４の画像クラス決定方法変更部６０３は、各小クラスの小クラス代表複雑さ指標に基づいて、小クラスを統合して大クラスに分類する規則である画像クラス決定方法を適応的に更新している。図６（ｃ）の場合、画像クラス決定方法は、小クラスａ及び小クラスｃが大クラスＡに、小クラスｂが大クラスＢに分類されることを示す。

小クラス代表複雑さ指標は、小クラス内の最新の所定枚数の入力フレームから得られた複雑さ指標の平均値として算出される。小クラスａの小クラス代表複雑さ指標は画像１、画像２及び画像９の複雑さ指標の平均値であり、小クラスｂの小クラス代表複雑さ指標は画像３、画像７及び画像８の複雑さ指標の平均値であり、小クラスｃの小クラス代表複雑さ指標には画像４、画像５及び画像６の複雑さ指標の平均値である。

符号量制御処理部１００は、各大クラスに分類された入力フレームのうち、最新の所定枚数のフレームのみを保存する。例えば、新たな入力フレームである画像１０が入力された時点では、大クラスＡについては、小クラスａに分類された画像１、画像２及び画像９と、小クラスｃに分類された画像４、画像５及び画像６とのうち、最新の画像５、画像６及び画像９の３枚が保存されている。

符号量制御部１０３は、入力画像分類部１０２により新たな入力フレームである画像１０が大クラスＡに分類された場合、大クラスＡの画像５、画像６及び画像９の複雑さ指標値の平均値として得られた大クラス代表複雑さ指標値に基づき、画像１０の複雑さ指標値と符号量を推定する。このように、入力フレームが分類された大クラスに含まれる、複数枚の符号化済みピクチャを、入力フレームの複雑さ指標値と符号量を推定するために用いる。画像１０と画像５、画像６及び画像９とは、ピクチャタイプが異なることや、符号化階層が異なることや、それら両方が異なることもある。

画像１０の符号化後、小クラスａに分類された入力フレームからは、画像１が削除され、画像１０が追加される。さらに、大クラスＡに分類された入力フレームからは、画像５が削除され、画像１０が追加される。画像分類更新部１０４は、各小クラスに含まれる符号化済みピクチャの複雑さ指標の平均値に基づき、各々の小クラスがどの大クラスに属するかを適応的に変化させる。

本実施形態の符号量制御処理部１００における処理フローを詳細に説明する。
図７は、本実施形態の符号量制御処理部１００の処理の例を示すフロー図である。符号量制御処理部１００は、各入力フレームについて図７の処理を行う。
まず、画像解析部４０１および小クラス決定部４０２においては、入力フレームを小クラスに分類する（ステップＳ１０、Ｓ２０）。この際、入力フレームの時間的参照距離が前後方向ともに等しい組み合わせとなるものを、同一の小クラスとする。入力フレームがどの小クラスに分類されるかを決定する入力フレーム分類方法としては、図８に示すような小クラスと参照距離との対応付けにより表される固定の画像クラス決定方法が使用される。

図８は、小クラスの分類例を示す図である。同図は、図５に示すＡＲＩＢ時間方向階層符号化による入力フレームを、前後方向の時間的参照距離の組み合わせに従って分類した小クラスを示す。括弧内の左側は前方向の時間的参照距離を、右側は後ろ方向の時間的参照距離を示す。小クラス群には小クラスａ〜ｉまでの９種類が存在する。同図には、それぞれの小クラスにおける時間的参照距離の組み合わせと、各小クラスに分類されるフレームのＰＯＣとが示されている。図７において、画像解析部４０１は、符号化パラメータに従って入力フレームの参照距離を導出し（ステップＳ１０）、小クラス決定部４０２は、導出された参照距離をもとに、図８に示す分類に従って、入力フレームの小クラスを決定する(ステップＳ２０）。このように時間的参照距離を用いて小クラスに分類することで、１２０／Ｐサブセットにおいても、異なる符号化特性を持つフレームが同一クラスに分類されることを防ぐことができる。

本実施形態の処理フロー例では、時間的参照距離を用いて小クラスに分類しているが、入力フレームに対して動き補償画面間予測処理を行う場合、後段の符号化部３００の処理に先行して、入力フレームと参照フレームとの間で事前に動きベクトル探索を行っておくことで、事前の動き探索の予測誤差値の統計量を用いて、小クラスに分類を行うことも可能である。その場合、画像解析部４０１は、入力フレームに対して事前動き探索を行って予測誤差値の統計量を算出し、小クラス決定部４０２は、画像解析部４０１により導出された予測誤差値の統計量の大小をもとに入力フレームの小クラスを決定する。

また、入力フレームに対して動き補償画面間予測処理を行う場合、後段の符号化部３００の処理に先行して、入力フレームと参照フレームとの間で事前に動きベクトル探索を行っておくことで、事前の動き探索の動きベクトル探索結果の統計量の大小を用いて、小クラスに分類を行うことも可能である。その場合、画像解析部４０１は、入力フレームに対して事前動き探索を行って動きベクトル探索結果の統計量を算出し、小クラス決定部４０２は、画像解析部４０１により算出された動きベクトル探索結果の統計量をもとに小クラス決定部４０２において入力フレームの小クラスを決定する。

また、後段の符号化部３００の処理に先行して、入力フレームの画素値の分散値の算出を行っておくことで、分散値を用いて、小クラスに分類を行うことも可能である。その場合、画像解析部４０１は、入力フレームの画素値の分散値を算出し、小クラス決定部４０２は、画像解析部４０１により算出された分散値の大小をもとに小クラス決定部４０２において入力フレームの小クラスを決定する。

さらに、事前動き探索の動きベクトル探索結果の予測誤差値の統計量と、動きベクトル探索結果の統計量と、入力フレームの画素値の分散値と、入力フレームの時間的参照距離とのうち任意の２以上の複数のパラメータを入力フレーム分類方法に用いて、入力フレームの小クラスを決定することも可能である。例として、入力フレームの時間的参照距離によりｎ種類に分類し、入力フレームの画素値の分散値の大小でｍ種類に分類する場合、入力フレームの小クラス分類は、時間的参照距離および分散値によって（ｎ×ｍ）種類の小クラスを持つことが、考えられる。

大クラス決定部４０３は、小クラス決定部４０２により決定された入力フレームの小クラスと、小クラスがどの大クラスに分類されるのかを決定する画像クラス決定方法とに従って、入力フレームの大クラスを決定する（ステップＳ３０）。ただし、画像クラス決定方法は、画像分類更新部１０４によって順次更新されているため、大クラス決定部４０３は、直前に更新された画像クラス決定方法を用いて入力フレームの大クラスを決定する。

符号量予測・配分決定部５０１は、大クラス決定部４０３により決定された入力フレームの大クラスの大クラス代表複雑さ指標を元に、入力フレームの符号量予測および符号量配分の決定を行う(ステップＳ４０）。量子化パラメータ制御部５０２は、符号量予測・配分決定部５０１により決定された符号量予測値・配分値をもとに、量子化パラメータの決定・制御を行い、量子化パラメータ制御結果を符号化部３００に出力する（ステップＳ５０）。符号化部３００は、量子化パラメータ制御結果に従って入力フレームの符号化を行う。

符号化部３００により入力フレームが１フレーム符号化されるたびに、画像分類更新部１０４は、画像クラス決定方法と大クラス代表複雑さ指標とを更新する。そこで、画像分類更新部１０４の複雑さ指標算出部６０１は、入力フレームの符号化結果である発生符号量や平均量子化スケール（もしくは量子化ステップ）などをパラメータとして用いて、入力フレームの符号化結果後のフレーム複雑さ指標を求める（ステップＳ６０）。従来手法と同様に、発生符号量と平均量子化スケール（もしくは量子化ステップ）との積をフレーム複雑さ指標として設定してもよく、発生符号量と平均量子化スケールを用いた別の計算式でフレーム複雑さ指標を設定してもよい。図８に示されるような小クラスにおいて、各小クラスはそれぞれ小クラス代表複雑さ指標を１つ持つ。

小クラス代表複雑さ指標更新部６０２は、小クラス代表複雑さ指標を更新するが、同一の小クラスに分類される直近の過去複数フレームのフレーム複雑さ指標を用いて、小クラス代表複雑さ指標を更新する（ステップＳ７０）。

図９は、小クラス代表複雑さ指標の算出に用いるＰＯＣの例を示す図である。同図の例では、小クラス代表複雑さ指標として使用する過去のフレーム数を４枚とする。このとき、ＰＯＣ＝６５のフレーム複雑さ指標更新の直後に、小クラス代表複雑さ指標を更新する場合は、各小クラスについて小クラス代表複雑さ指標の更新に使われるＰＯＣは図９に示すようになる。各小クラスの小クラス代表複雑さ指標は、更新に使用される４枚のフレームのフレーム複雑さ指標の平均値として決定される。本例ではフレーム複雑さ指標の平均値を小クラス代表複雑さ指標としているが、各フレームのフレーム複雑さ指標に重み係数を付加した総和を、小クラス代表複雑さ指標としてもよい。

図７において、画像クラス決定方法変更部６０３は、更新された小クラス代表複雑さ指標をもとに、小クラスがどの大クラスに分類されるかを決定する画像クラス決定方法を変更する(ステップＳ８０）。図１０及び図１１を用いて、各小クラスの小クラス代表複雑さ指標の大小に従って、画像クラス決定方法を変更する例を説明する。

図１０及び図１１は、各小クラスの小クラス代表複雑さ指標と、画像クラス決定方法を示す図である。図１０は変更前の例を、図１１は変更後の例を示す。画像クラス決定方法変更部６０３は、２つの小クラスの小クラス代表複雑さ指標の差が閾値を超えた場合に、２つの小クラスが異なる大クラスとなるようにしている。具体的には、図１０に示す画像クラス決定方法では、小クラスａの小クラス代表複雑さ指標と、小クラスｅの小クラス代表複雑さ指標との差は閾値以内であるため、小クラスａと小クラスｅは同じ大クラスに分類される。入力フレームが小クラスｅに分類されると、小クラスｅの小クラス代表複雑さ指標が更新される。図１１では、小クラスａの小クラス代表複雑さ指標と、小クラスｅそれぞれの小クラス代表複雑さ指標との差が閾値を超えたため、小クラスａと小クラスｅが異なる大クラスに分類されるよう画像クラス決定方法が更新される。

また、シーンチェンジ等によって映像の絵柄が極端に大きく変化する場合は、過去の小クラス代表複雑さ指標による上記画像クラス決定方法の変更では、クラス分類による符号量予測精度の低下および符号化効率の低下が、発生することも考えられる。このため、画像クラス決定方法変更部６０３は、シーンチェンジ検出によって入力フレームの前後でシーンチェンジが発生したことが検知出来た場合、画像クラス決定方法を初期状態に設定し、過去の小クラス代表複雑さ指標の影響が画像クラス決定方法に生じないようにすることも、考えられる。

図７において、大クラス代表複雑さ指標更新部６０４は、画像クラス決定方法変更部６０３により変更された画像クラス決定方法をもとに、大クラス代表複雑さ指標を更新する(ステップＳ９０）。大クラス代表複雑さ指標の更新には、同一の大クラスに分類される直近の過去の複数フレームのフレーム複雑さ指標を用いる。図１２及び図１３を用いて、大クラス代表複雑さ指標の更新について説明する。

図１２及び図１３は、大クラス代表複雑さ指標の更新に使用されるＰＯＣの例を示す図である。これらの図は、大クラス代表複雑さ指標として使用する過去のフレーム数が４枚であり、ＰＯＣ＝６５の符号化時に画像クラス決定方法が変更された前後の場合に、大クラス代表複雑さ指標の更新に使用されるＰＯＣを、示している。図１２はＰＯＣ＝６５の符号化前の各大クラスに属するＰＯＣを、図１３は、ＰＯＣ＝６５の符号化後の各大クラスに属するＰＯＣを示している。図１２、図１３において、大クラス代表複雑さ指標更新部６０４は、各大クラスが有する４枚のフレームのフレーム複雑さ指標の平均値を、大クラス代表複雑さ指標として決定する。本例ではフレーム複雑さ指標の平均値を大クラス代表複雑さ指標としているが、各フレームのフレーム複雑さ指標に重み係数を付加した総和を、大クラス代表複雑さ指標としてもよい。

本手法は、１パスで各符号化対象ピクチャの符号量予測および量子化ステップ決定を行うため、符号化遅延を抑制することができる。よって、本手法は、リアルタイムの符号化処理に適した手法であり、実時間映像符号化にとって望ましい。さらに、本手法は、小クラスの分類は固定とした上で大クラス分類を変更していくことで、ピクチャのクラス数が過剰になりすぎることを避け、クラス分類における煩雑化が防止される。よって、演算量が膨大となることもなく、ハードウェア実装の観点でも望ましい。

本実施形態によれば、映像符号化処理において、フレーム符号量予測およびフレーム間符号量配分がより効率よく行なうことができるようになり、符号化効率の向上を実現できるようになる。

以上説明した実施形態によれば、特徴量推定装置は、画像選択部と、対象画像特徴量推定部とを備える。例えば、特徴量推定装置は映像符号化装置１であり、画像選択部は入力画像分類部１０２であり、対象画像特徴量推定部は大クラス代表複雑さ指標更新部６０４である。画像選択部は、第一特徴量を推定する対象の画像である対象画像から得られる画像の特性に基づく値である第二特徴量、及び、推定に用いられる候補の画像である複数の参考画像それぞれの第二特徴量に基づき、複数の参考画像から推定に用いられる少なくとも１つの選択画像を選択する。対象画像特徴量推定部は、選択画像の第一特徴量に基づき対象画像の第一特徴量を推定する。

第一特徴量は、例えば、複雑さ指標である。第二特徴量は、（１）対象画像と当該対象画像の符号化において参照する他の画像との時間的距離、（２）対象画像と、対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の予測誤差値、（３）対象画像と、対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の統計量、（４）対象画像の画素値の分散値、のうち一以上である。よって、対象画像と選択画像とのピクチャタイプ又は符号化階層の少なくともいずれか一方とは、等しいとは限らない。

なお、画像選択部は、対象画像から得られる第二特徴量と、複数の参考画像それぞれの第一特徴量及び第二特徴量と、に基づき選択画像を選択してもよい。この場合、特徴量推定装置は、第二特徴量に基づく予め定められた基準により参考画像が分類される複数の小クラスのそれぞれを、小クラスに属する参考画像の第一特徴量に基づいて、小クラスの数よりも少ない数の複数の大クラスに分類する画像分類更新部をさらに備えてもよい。画像選択部は、上記の定められた基準により対象画像が分類される小クラスを判定し、対象画像と同じ小クラスの参考画像の中から選択画像を選択する処理と、対象画像と同じ小クラスに属する選択画像と同じ大クラスに分類される他の小クラスの参考画像の中から選択画像を選択する処理とを行う。

また、特徴量推定装置は、量子化パラメータ制御部と、符号化部と、第一特徴量算出部と、画像クラス決定方法変更部とをさらに備えてもよい。対象画像は、符号化対象の入力フレームであり、参考画像は、その入力フレームよりも過去に符号化された他の入力フレームである。画像選択部は、第二特徴量に応じて入力フレームを小クラスに分類する入力フレーム分類方法により、入力フレームが分類される小クラスを決定する。さらに、画像選択部は、小クラスが属する大クラスを決定する画像クラス決定方法により、入力フレームを、決定された小クラスが属する大クラスへ分類する。対象画像特徴量推定部は、入力フレームが分類された大クラスに属する小クラスから選択された他の入力フレームの第一特徴量に基づき入力フレームの第一特徴量を推定する。量子化パラメータ制御部は、対象画像特徴量推定部により推定された第一特徴量に応じて、入力フレームの符号化に用いる量子化パラメータを決定する。符号化部は、量子化パラメータ制御部により決定された量子化パラメータに従って入力フレームの符号化を行う。第一特徴量算出部は、符号化部による符号化後に入力フレームの第一特徴量を算出する。画像クラス決定方法変更部は、小クラスに分類された入力フレーム及び他の入力フレームの第一特徴量に基づいて画像クラス決定方法を変更する。画像クラス決定方法変更部は、シーンチェンジが検出された場合に画像クラス決定方法を初期状態としてもよい。第一特徴量算出部は、例えば、複雑さ指標算出部６０１である。

入力フレームに対して動き補償画面間予測処理を行う場合、画像選択部は、入力フレームと参照フレームとの表示時間差である時間的参照距離を符号化パラメータから算出し、第二特徴量として用いる。なお、動きベクトル探索結果の予測誤差値又は動きベクトル探索結果の統計量を第二特徴量として用いる場合、画像選択部は、入力フレームと参照フレームとの動きベクトル探索結果の予測誤差値を後段の符号化部に対して先行して求める。また、画素値の分散値を第二特徴量として用いる場合、画像選択部は、入力フレームの画素値の分散値を後段の符号化部に対して先行して求める。

なお、画像クラス決定方法変更部は、同一の小クラスに属する過去の複数フレームのフレーム複雑さ指標から小クラス代表複雑さ指標を算出し、異なる小クラスの小クラス代表複雑さ指標の差が閾値以上になる場合、それら小クラスが異なる大クラスに配属されるように、クラス分類決定方法を変更してもよい。また、画像クラス決定方法変更部は、シーンチェンジが検出される場合に、大クラスを決定するクラス分類決定方法を初期状態に戻してもよい。

第二特徴量の値が近いフレームは同じ小クラスに分類され、また、小クラスが同じフレームは必ず同じ大クラスとなり、予測符号量も同じ値となる。そのため、理想的には、第二特徴量の値が近しいフレームについては、必ず符号量も近しい値になるべきであり、第二特徴量はそういった特徴を持つべきである。特に画面間参照を行う場合、「（Ａ）画面間参照を行った予測結果」が符号量に直結する。この予測性能は、「（Ｂ）対象フレーム自体の性質」と、「（Ｃ）対象フレームと予測先フレームとの関係性」の二つから決定されると考えられる。

符号量に直結する「（Ａ）画面間参照を行った予測結果」を素直に第二特徴量に選んだケースが、「動きベクトル探索結果の統計量」に相当する。
一方で、ハード実装・リアルタイム性を考えると、動き探索→符号量推定の間に複雑な処理を入れることが難しい場合もある。そのため、「（Ｂ）対象フレーム自体の性質」を考慮して第二特徴量を選ぶ場合は、対象フレームがどのくらい難しい画像か、という観点になる。そのケースが、「対象画像の画素値の分散値」に相当する。
さらに、「（Ｃ）対象フレームと予測先フレームとの関係性」を考慮して第二特徴量を選ぶ場合は、対象フレームが予測先フレームとどのくらい違っているか、という観点になる。このケースが、「対象フレームと予測先フレームとの時間的距離」に相当する。

本実施形態によれば、ピクチャのグループ分類をピクチャタイプおよびTemporalIDによらずに適応的に行うことで、ピクチャ発生符号量の予測精度を向上させ、符号化制御の効率向上させることができる。

上述した実施形態における映像符号化装置１の少なくとも一部の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

符号量の制御が必要となる映像符号化装置とそのプログラムに適用できる。

１…映像符号化装置， １００…符号量制御処理部， １０２…入力画像分類部， １０３…符号量制御部， １０４…画像分類更新部， ３００…符号化部， ３０１…イントラ予測処理部， ３０２…インター予測処理部， ３０３…予測残差信号生成部， ３０４…変換・量子化処理部， ３０５…エントロピー符号化部， ３０６…逆量子化・逆変換処理部， ３０７…復号信号生成部， ３０８…ループフィルタ処理部， ４０１…画像解析部， ４０２…小クラス決定部， ４０３…大クラス決定部， ５０１…符号量予測・配分決定部， ５０２…量子化パラメータ制御部， ６０１…複雑さ指標算出部， ６０２…小クラス代表複雑さ指標更新部， ６０３…画像クラス決定方法変更部， ６０４…大クラス代表複雑さ指標更新部

Claims (6)

1. 第一特徴量を推定する対象の画像である対象画像から得られる画像の特性に基づく値である第二特徴量、及び、推定に用いられる候補の画像である複数の参考画像それぞれの第二特徴量に基づき、複数の前記参考画像から推定に用いられる少なくとも１つの選択画像を選択する画像選択部と、
   前記選択画像の前記第一特徴量に基づき前記対象画像の第一特徴量を推定する対象画像特徴量推定部と、
   を備え、
   前記第二特徴量は、
   前記対象画像と、当該対象画像の符号化において参照する他の画像との時間的距離、
   前記対象画像と、当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の予測誤差値、
   前記対象画像と、当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の統計量、及び、
   前記対象画像の画素値の分散値のうち一以上である、
   特徴量推定装置。
2. 前記画像選択部は、
   前記対象画像から得られる前記第二特徴量と、複数の前記参考画像それぞれの前記第一特徴量及び前記第二特徴量と、に基づき前記選択画像を選択する、
   請求項１に記載の特徴量推定装置。
3. 前記第二特徴量に基づく予め定められた基準により前記参考画像が分類される複数の小クラスのそれぞれを、前記小クラスに属する前記参考画像の前記第一特徴量に基づいて、前記小クラスの数よりも少ない数の複数の大クラスに分類する画像分類更新部をさらに備え、
   前記画像選択部は、前記基準により前記対象画像が分類される前記小クラスを判定し、前記対象画像と同じ前記小クラスの前記参考画像の中から前記選択画像を選択する処理と、前記対象画像と同じ前記小クラスに属する前記選択画像と同じ大クラスに分類される他の前記小クラスの前記参考画像の中から前記選択画像を選択する処理とを行う、
   請求項２に記載の特徴量推定装置。
4. 前記対象画像は、符号化対象の入力フレームであり、
   前記参考画像は、前記入力フレームよりも過去に符号化された他の入力フレームであり、
   前記画像選択部は、前記第二特徴量に応じて入力フレームを小クラスに分類する入力フレーム分類方法により前記入力フレームが分類される前記小クラスを決定し、さらに、小クラスが属する大クラスを決定する画像クラス決定方法により、前記入力フレームを、決定された前記小クラスが属する前記大クラスへ分類し、
   前記対象画像特徴量推定部は、前記入力フレームが分類された前記大クラスに属する前記小クラスから選択された前記他の入力フレームの前記第一特徴量に基づき前記入力フレームの前記第一特徴量を推定し、
   前記特徴量推定装置は、
   前記対象画像特徴量推定部により推定された前記第一特徴量に応じて、前記入力フレームの符号化に用いる量子化パラメータを決定する量子化パラメータ制御部と、
   前記量子化パラメータ制御部により決定された前記量子化パラメータに従って前記入力フレームの符号化を行う符号化部と、
   前記符号化部による符号化後に前記入力フレームの第一特徴量を算出する第一特徴量算出部と、
   前記小クラスに分類された前記入力フレーム及び前記他の入力フレームの前記第一特徴量に基づいて前記画像クラス決定方法を変更する画像クラス決定方法変更部とをさらに備える、
   請求項１に記載の特徴量推定装置。
5. 前記画像クラス決定方法変更部は、シーンチェンジが検出された場合に前記画像クラス決定方法を初期状態とする、
   請求項４に記載の特徴量推定装置。
6. コンピュータを、請求項１から請求項５のいずれか一項に記載の特徴量推定装置として動作させるプログラム。

Images