JP6069929B2 - 画像選択方法、画像選択装置、符号化装置、画像選択システム、画像選択プログラム、符号化プログラム、及び画像符号化選択プログラム - Google Patents

Description

開示の技術は、画像選択方法、画像選択装置、符号化装置、画像選択システム、画像選択プログラム、符号化プログラム、及び画像符号化選択プログラムに関する。

複数のフレーム画像を含む動画像から任意のフレーム画像を利用者が選択して、静止画として保存したり、プリントしたりする場合がある。

なお、動画像は、各フレーム画像が符号化された状態で保存されることが多く、再生時には符号化したデータを復号して、その復号画像を表示することが多い。符号化に関する技術としては、例えば、符号化される画像データをウェーブレット変換してウェーブレット係数を取得し、該ウェーブレット係数を量子化した量子化係数を符号化する技術が知られている。

特開２０１１−２３９０６６号公報

復号画像全体ではなく特定の領域の画質を優先して、複数の復号画像から任意の画像を選択する場合、該領域の符号化ノイズ（例えば、ブロックノイズやモスキートノイズ等）による画質の劣化の度合いが小さい復号画像を素早く選択できることが望ましい。

しかしながら、例えば、復号画像をサムネイル表示（縮小して表示）し、この縮小画像から利用者が任意の画像を選択する方法では、表示画像のサイズが小さすぎて動画像の細かい符号化ノイズを利用者が確認することは困難である。また、復号画像を等倍表示して目視でフレーム間の符号化ノイズの比較を行うと、手間と時間がかかるという問題がある。

開示の技術は、一つの側面として、利用者が容易に特徴領域の画質の劣化の度合いが低い復号画像を把握できるようにすることを目的とする。

開示の技術は、選択部と提示部とを備えたコンピュータにより実現される。選択部は、動画像に含まれる複数のフレーム画像を符号化して生成された複数の符号化データから復号された複数の復号画像の中から、画質の劣化の度合いを示す指標値が示す劣化の度合いが最も低い復号画像を選択する。なお、複数の符号化データは、符号化の際に、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について、符号化により生じた画質の劣化の度合いを示す指標値が算出される。そして、提示部は、選択部により選択された復号画像を提示する。

開示の技術は、一つの側面として、利用者が容易に特徴領域の画質の劣化の度合いが低い復号画像を把握できる、という効果を有する。

実施形態に係る符号化装置及び画像選択装置を組み合わせた画像選択システムの構成図である。 符号化装置の構成図である。 生成部の構成図である。 顔領域の抽出結果の一例を示す図である。 複数の固定領域の一例を示す図である。 静止領域の抽出結果の一例を示す図である。 動領域の抽出結果の一例を示す図である。 輝度に応じて分割した分割領域の一例を示す図である。 符号化情報のデータ構造例を示す図である。 符号化装置として機能するコンピュータの概略ブロック図である。 符号化プログラムの処理の流れを示すフローチャートである。 実施形態に係る画像選択装置の構成図である。 復号部の構成図である。 選択画面の一例を示す図である。 選択画面において利用者が顔領域を指定した場合の選択画面の表示例を示す図である。 選択画面において利用者が固定領域を指定した場合の選択画面の表示例を示す図である。 選択画面において利用者が輝度に応じた分割領域を指定した場合の選択画面の表示例を示す図である。 画像選択装置として機能するコンピュータの概略ブロック図である。 画像選択プログラムの処理の流れを示すフローチャートである。 画像選択装置として機能するコンピュータの概略ブロック図の他の例である。 符号化装置及び画像選択装置の機能を、１台のコンピュータにより実現し、画像選択システムを構成したときの構成図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

図１には、本実施形態に係る画像選択システム３が示されている。画像選択システム３は、符号化装置１及び画像選択装置２を備えている。

図２には、本実施形態に係る符号化装置１が示されている。符号化装置１は、例えばＭＰＥＧ２やＨ．２６４等の方式により動画像を符号化する装置であって、生成部１０、蓄積部４０、抽出部４２、及び算出部４４を備えている。

なお、符号化装置１の各機能部は例えば電子回路等で実現することができ、生成部１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現してもよい。

生成部１０は、動画像に含まれるフレーム画像を符号化処理し、フレーム画像毎に符号化情報を生成して所定の出力先に出力する。

図３には、本実施形態に係る生成部１０の構成が示されている。生成部１０は、予測誤差画像生成部１２、変換部１４、量子化部１６、逆量子化部１８、逆変換部２０、復号画像生成部２２、予測画像生成部２６、切替部３２、及びエントロピー符号化部３４を備えている。

予測誤差画像生成部１２には、動画像に含まれるフレーム画像の画像情報が符号化対象として供給される。

また、予測誤差画像生成部１２には、予測画像生成部２６から予測画像の画像情報が供給される。予測画像については後述する。予測誤差画像生成部１２は、符号化対象の画像情報と、予測画像の画像情報との差分を示す差分情報を演算し、この差分情報を予測誤差画像の情報として変換部１４に供給する。このように、予測誤差画像生成部１２において予測誤差画像が生成される。

変換部１４は、供給された予測誤差画像の情報に変換処理を施し、予測誤差画像を水平及び垂直方向の周波数成分に分離する。変換処理で得られた各周波数成分の情報は量子化部１６に入力される。

量子化部１６は、変換部１４から供給された情報を量子化する。量子化部１６は量子化することにより当該予測誤差画像の符号量を低減する。量子化部１６は、量子化後の情報をエントロピー符号化部３４及び逆量子化部１８に供給する。

逆量子化部１８は、量子化部１６から供給された情報を逆量子化して逆変換部２０に供給する。

逆変換部２０は、逆量子化部１８から供給された情報を逆変換処理する。ここで、逆変換処理とは、変換部１４で行われる変換処理と逆方向に変換する処理をいう。

逆量子化部１８及び逆変換部２０によって復号処理が行われることにより、符号化前の予測誤差画像と同程度の画像の情報が得られる。該情報を再生予測誤差画像と呼称する。

復号画像生成部２２には、逆変換部２０で逆変換処理された再生予測誤差画像の画像情報が供給される。また、復号画像生成部２２は、予測画像生成部２６で生成された予測画像の画像情報が供給される。復号画像生成部２２は、再生予測誤差画像の画像情報と予測画像の画像情報とを加算することにより、符号化対象の画像を復号した画像（復号画像）を生成し、該画像情報を蓄積部４０に蓄積する。

蓄積部４０は、復号画像生成部２２から供給された復号画像の画像情報の各々が蓄積されるメモリである。蓄積された復号画像の画像情報は、後述するフレーム間予測画像生成部３０に供給され、他のフレーム画像を符号化するときの動きベクトル検出や動き補償等で参照される。従って、蓄積された復号画像のうち、フレーム間予測画像生成部３０で予測画像の生成の際に参照される復号画像は、「参照画像」とも呼ばれる。どの復号画像が参照されるかは、符号化対象フレーム画像の予測モード等に応じて定まる。

予測画像生成部２６は、フレーム内予測画像生成部２８及びフレーム間予測画像生成部３０を有している。予測画像生成部２６は、予測画像を生成して予測誤差画像生成部１２及び（切替部３２を介して）復号画像生成部２２に供給すると共に、予測画像の生成の際に得られたサイド情報をエントロピー符号化部３４に供給する。サイド情報には、例えば、動きベクトルの情報や予測モード等が含まれる。

フレーム内予測画像生成部２８は、フレーム内予測符号化方法で符号化を行うときの予測画像を生成する。フレーム内予測符号化方法は、他のフレーム画像を用いず、符号化対象となるフレーム画像の情報のみで画像を符号化・復号する方法である。具体的には、１枚のフレーム画像を複数のブロックに分割したときの符号化対象のブロックの周辺のブロックの画像から、所定方向に沿って近傍の画像の動きを推定して、符号化対象のブロックの画像を予測し、符号化対象のブロックの画像との差分を符号化する。

フレーム間予測画像生成部３０は、フレーム間予測符号化方法で符号化を行うときの予測画像を生成する。フレーム間予測符号化方法は、異なる時刻のフレーム画像に基づいて予測画像を生成し、符号化対象の画像と予測画像との差分(誤差)画像を符号化する方式である。

ここで、フレーム間予測画像生成部３０における処理内容を具体的に説明する。ここでは、符号化対象のフレーム画像を複数のブロック（以下、符号化ブロックという）に分割したときの個々の符号化ブロックが単位とされる。そして、符号化対象のフレーム画像に時間的に近い復号画像（参照画像）から、符号化ブロックに空間的に近い複数のブロック（以下、参照ブロックという）が抽出される。更に、各参照ブロックと符号化ブロックとの相対的な位置関係（ずれ量及びずれ方向）を示す動きベクトルが動きベクトル候補として生成される。また、各参照ブロックの画像の各々と、符号化ブロックの画像との誤差が計算され、最も誤差が小さくなる動きベクトル候補が、処理対象の符号化ブロックに対する動きベクトルとして選択される。該選択された動きベクトルにより周知の動き補償が行われ、最終的に、フレーム画像単位の予測画像が生成される。なお、上記検出された動きベクトルの情報は、サイド情報としてエントロピー符号化部３４にも供給される。

切替部３２は、フレーム内予測画像生成部２８で生成された予測画像及びフレーム間予測画像生成部３０で生成された予測画像の一方を選択して予測誤差画像生成部１２及び復号画像生成部２２に供給する。切替部３２は、不図示の制御部により制御され、切替えられる。

エントロピー符号化部３４は、量子化部１６から供給された量子化後の予測誤差画像の情報と、予測画像生成部２６から供給されたサイド情報とをエントロピー符号化する。エントロピー符号化とは、シンボルの出現頻度に応じて、可変長の符号を割り当て符号化する処理をいう。

また、エントロピー符号化部３４には、後述する算出部４４で算出された指標値の情報が入力される。エントロピー符号化部３４は、エントロピー符号化により生成した符号化データと、算出部４４から入力された指標値の情報とを含む符号化情報をフレーム画像単位で生成して出力する（図９も参照）。

抽出部４２は、蓄積部４０に蓄積されている各復号画像から少なくとも１種類の特徴領域を抽出する。なお、特徴領域の種類によっては、生成部１０において符号化の際に検出された動きベクトルの情報も、特徴領域の抽出に使用される。

なお、抽出部４２において、蓄積部４０に蓄積された復号画像から抽出する特徴領域の種類は予め設定されている。例えば、所定の特徴を有する領域としてもよいし、予め設定された位置及び大きさの領域としてもよい。抽出部４２は、抽出した特徴領域の各画素の画素位置及び画素値の各々を算出部４４に出力する。

算出部４４には、復号画像を生成する元となった符号化処理前のフレーム画像の画像情報が入力されると共に、抽出部４２で抽出された特徴領域の画素位置及び画素値が入力される。上記復号画像を生成する元となった符号化処理前のフレーム画像を、元画像と呼称する。

算出部４４は、特徴領域の画素値と、該特徴領域が抽出された復号画像に対応する元画像内の該特徴領域と同一位置の画素値と、を比較し、該特徴領域について、生成部１０による符号化の際に生じる画質の劣化の度合いを示す指標値を算出する。算出部４４は、抽出部４２において抽出される特徴領域が１種類の場合には、該１種類の特徴領域について指標値を算出する。また、抽出部４２において抽出される特徴領域が複数種類の場合には、該複数種類の特徴領域の各々について指標値を算出する。

本実施形態において、算出部４４は、ＰＳＮＲ（Peak Signal-to-Noise Ratio：ピーク信号対雑音比）を指標値として算出する。

なお、ＰＳＮＲは、画素が取り得る最大画素値を２５５とすると、以下の式で算出される。

式（１）により算出されるＭＳＥを式（２）に代入してＰＳＮＲが算出される。ここで、式（１）により算出されるＭＳＥは、特徴領域の画素値と、元画像内の該特徴領域と同一位置の画素値と、の平均二乗誤差を表す。

なお、Ｎｐは、ＰＳＮＲ算出対象画素数である。
Ｏ（ｉ，ｊ）は、元画像の画素値である。
Ｌ（ｉ，ｊ）は、復号画像の画素値である。
ｉ，ｊは、ＰＳＮＲ算出対象矩形内のｘ座標、ｙ座標である。

算出部４４は、上記算出した指標値をエントロピー符号化部３４に出力する。

ここで、特徴領域の抽出処理及び指標値の算出処理の具体例を説明する。本実施形態では、抽出部４２により以下の５種類の特徴領域が抽出され、算出部４４により該抽出された５種類の特徴領域毎に指標値が算出されるものとする。

なお、算出部４４で算出される指標値としてＰＳＮＲを例に挙げて説明したが、算出部４４で算出される指標値は、復号画像から抽出した特徴領域の劣化の度合いを示す値であれば特に限定されない。例えば、復号画像から抽出した特徴領域の画素値と、元画像の画素値との誤差に関する値、例えば、式（１）で示したＭＳＥを指標値として算出してもよい。また、特徴領域の画素値と、元画像内の該特徴領域と同一位置の画素値と、の誤差の平均値を指標値として算出してもよい。

（１）顔領域
抽出部４２は、復号画像に対して顔認識処理を行い、復号画像から顔が存在する領域を抽出する。顔認識処理は、公知の技術を用いて行えばよく、使用する技術は特に限定されない。例えば、P. Viola and M. Jones, “Robust real-time object detection”, Proc. of IEEE Workshop on Statistical and Computational Theories in Computer Vision, pp.1-25, July 2001.等に記載の技術を採用できる。

図４に、顔領域の抽出結果の一例を示す。図４では、２カ所の顔領域が抽出されている。抽出部４２は、顔領域の各画素の画素位置及び画素値の各々を算出部４４に出力する。

算出部４４は、抽出部４２により抽出された復号画像内の顔領域の画素値と、該復号画像に対応する元画像内の上記顔領域と同一位置の画素値と、の比較を行ない、指標値を算出する。顔領域については、１フレーム画像につき、１個の指標値が算出される。なお、図４では、顔領域が２カ所抽出されているが、２カ所の領域をまとめて顔領域として扱うため、ここでは、１つの指標値が算出されることになる。

（２）位置及びサイズが固定の固定領域
特徴領域として抽出するＮ個の固定領域の位置及びサイズを予め符号化装置１に設定しておく。Ｎは、１以上の自然数とする。この設定は、利用者が事前に行なってもよいし、符号化装置１の製造者が出荷前に行なってもよい。

ここでは、固定領域を矩形領域とするが、矩形でなくてもよい。固定領域が矩形ではない場合には、形状も設定しておくとよい。また、図５に示す例では、Ｎ＝１５であるが、Ｎの値に制約はない。固定領域のサイズは任意である。また、各固定領域のサイズ及び形状の少なくとも一方は、位置毎に異ならせてもよいし、同一であってもよい。

抽出部４２は、復号画像から、抽出すべき特徴領域として予め設定されているＮ個の固定領域を抽出し、該抽出した固定領域の各画素の画素値とその画素位置を算出部４４に出力する。

算出部４４は、抽出部４２により抽出された復号画像内のＮ個の固定領域の画素値と、該復号画像に対応する元画像内の上記固定領域と同一位置の画素値と、の比較を行ない、指標値を算出する。ここでは、Ｎ個の固定領域のそれぞれについて、指標値を算出する。従って、予め設定された領域については、１フレーム画像につき、Ｎ個の指標値が算出される。

（３）静止領域及び動領域
抽出部４２は、復号画像を予め定められた大きさのＭａ個の矩形領域（ブロック）に分割し、各ブロック毎に、動きベクトルの大きさを算出する。抽出部４２は、該算出した動きベクトルが閾値Ｓ未満の場合には、該ブロックを静止領域と判定し、該算出した動きベクトルの大きさの絶対値が閾値Ｓ以上の場合には、該矩形領域を動領域と判定する。

また、複数のブロックが静止領域として判定された場合には、該静止領域として判定された複数のブロック全体が１つの静止領域として抽出される。複数のブロックが動領域として判定された場合には、該動領域として判定された複数のブロック全体が１つの動領域として抽出される。図６に静止領域の抽出結果の一例を示し、図７に動領域の抽出結果の一例を示す。

抽出部４２は、静止領域の画素位置及び画素値の各々を算出部４４に出力すると共に、動領域の画素位置及び画素値の各々を算出部４４に出力する。

算出部４４は、抽出部４２により抽出された復号画像内の静止領域の画素値と、該復号画像に対応する元画像内の該静止領域と同一位置の画素値と、を比較して、指標値を算出する。また、算出部４４は、抽出部４２により抽出された復号画像内の動領域の画素値と、該復号画像に対応する元画像内の該動領域と同一位置の画素値と、を比較して、指標値を算出する。

上記処理により、１フレーム分の復号画像を動領域と静止領域の２つに分類することができ、動領域、静止領域それぞれにおいて、指標値が算出される。すなわち、１フレーム画像につき、動領域１個、静止領域１個の指標値が得られる。

なお、動領域か静止領域かを判定する動きベクトルとして、生成部１０で検出された動きベクトルを用いてもよい。抽出部４２において分割したブロックのサイズが、生成部１０で動きベクトルを検出したときのサイズより大きい場合には、生成部１０で検出された動きベクトルの平均値を求めてもよい。また、生成部１０で検出された動きベクトルは用いずに、ブロック毎に時間の異なるフレームとのブロックマッチングを行って算出してもよい。また、ブロック分割数Ｍａ、閾値Ｓの値に制約はなく、例えば、図６及び図７には、Ｍａ＝１６、Ｓ＝１とする例を図示した。

（４）輝度に応じた分割領域
ここで、１画素あたり８ビットの精度とした場合、輝度値は０〜２５５の範囲を取る。抽出部４２は、例えば、図８のテーブルに示すように、輝度値を互いに異なる複数の輝度範囲（バンド）の何れかに分類し、バンド毎の指標値を算出する。より具体的には、抽出部４２は、まず、復号画像をＭｂ個の矩形領域（ブロック）に分割し、分割したブロック毎に、該ブロックの輝度の平均値Ｌを算出する。そして、抽出部４２は、輝度の平均値Ｌがどのバンドに属しているかを判定する。抽出部４２は、バンド毎に、該バンドに属する各画素の画素位置及び画素値を算出部４４に出力する。

算出部４４は、バンド毎に、抽出部４２により抽出された復号画像内の画素の画素値と、該復号画像に対応する元画像内の該復号画像の画素と同一位置の画素値と、を比較して、指標値を算出する。

上記処理により、１フレーム分の復号画像をＭｂ個のブロックに分割したときの全ブロックが８つのバンドの何れかに分類され、それぞれのバンド毎に指標値が算出される。すなわち、輝度に応じたバンドの領域（分割領域）については、１フレーム画像につき、８個の指標値が算出される。

なお、ブロック分割数Ｍｂに制約はなく、例えば、図８の左図に示すように、Ｍｂ＝６６が例として挙げられる。また、バンドの分割数は８に限らず、任意の数で良い。

以上説明したように、顔領域、固定領域、静止領域、動領域、輝度に応じた分割領域、の５種類の特徴領域が抽出され、各々について指標値が算出される。

全ての指標値が算出部４４により算出されると、エントロピー符号化部３４は、該算出された指標値の情報を、符号化情報に埋め込む。

図９に、符号化情報のデータ構造例を示す。前述したように、エントロピー符号化部３４は、各フレーム画像毎に、フレーム画像の画像情報をエントロピー符号化した符号化データと、該フレーム画像の各特徴領域についての、算出部４４により算出された指標値の情報とを含む符号化情報を生成する。

指標値の情報は、後述する画像選択装置２において使用される。

なお、本実施形態において、指標値の情報は、符号化情報内の、指標値を使用しない復号装置においても復号処理が可能となるような（復号処理に影響しない）領域に格納される。例えば、符号化方式がＨ．２６４の場合には、User data unregistered SEI messageの領域が該当する。これにより、指標値を使用しない復号装置においては、符号化情報から指標値の情報を読み飛ばして復号処理される。

また、指標値の情報を符号化情報に埋め込まずに、別途任意の形式で（ただし、符号化データを含む符号化情報と該指標値とが対応するように）保存して、後述する画像選択装置２に提供してもよい。

また、ここでは、指標値を５種類の特徴領域の各々について算出する例について説明したが、該例に限定されず、少なくとも１種類の特徴領域について算出すればよい。

また、指標値の各々と、該指標値に対応する特徴領域の位置及びサイズの情報とを対応付けて符号化情報に含めてもよい。

また、ここでは、符号化装置１を電子回路等により実現する例について説明したが、例えば図１０に示すコンピュータ５０で実現することもできる。コンピュータ５０はＣＰＵ(Central Processing Unit)５１、プログラムを記憶した不揮発性のプログラム記憶部５２、ＲＡＭ(random access memory)５３、外部ＩＦ(Interface)５４、画像入力ＩＦ５５を備えている。ＣＰＵ５１、プログラム記憶部５２、ＲＡＭ５３、外部ＩＦ５４、及び画像入力ＩＦ５５は、バス５８を介して互いに接続されている。

プログラム記憶部５２には、動画像の各フレーム画像を符号化して符号化データを生成するプロセス、特徴領域を抽出するプロセス、及び指標値を算出するプロセスを含む符号化プログラムが記憶されている。

ＣＰＵ５１は、プログラム記憶部５２から符号化プログラムを読み出してＲＡＭ５３に展開し、上記符号化プログラムの各プロセスを実行する。ＣＰＵ５１が各プロセスを実行することで、図２に示した生成部１０、抽出部４２、及び算出部４４の各機能が実現される。

ＲＡＭ５３には、蓄積部４０に相当する記憶領域が設けられている。

外部ＩＦ５４は、記録メディア５６及び操作パネルコントローラ５７のインタフェースである。記録メディア５６は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢ(Universal Serial Bus)を介して接続可能なフラッシュメモリ等を適用することができ、生成した符号化情報等を記憶することができる。操作パネルコントローラ５７は、ＬＣＤ(液晶ディスプレイ)等から成る表示部及びテンキーやタッチパネル等を含み利用者による操作を受け付ける受付部が設けられた操作パネルを制御する。

画像入力ＩＦ５５は、動画像の画像情報等を入力するためのインタフェースである。例えば、動画像を撮像する撮像装置との接続が可能なインタフェースであってもよいし、広域ネットワーク等の通信網を介して他の装置から画像情報を取得することが可能なインタフェースであってもよい。

図１１は、符号化プログラムの処理の流れを示すフローチャートである。

ステップ１００において、生成部１０によって、符号化対象のフレーム画像（元画像）が取得される。

ステップ１０２において、生成部１０によって、取得した元画像を符号化した符号化データが生成される。

ステップ１０４において、生成部１０によって、復号画像（参照画像）が生成され、蓄積部４０に記憶される。

ステップ１０６において、抽出部４２によって、少なくとも１種類の特徴領域が抽出される。

ステップ１０８において、算出部４４によって、上記抽出された特徴領域毎に、指標値が算出される。

ステップ１１０において、生成部１０によって、上記算出された指標値を含む符号化情報が生成される。

このように、ＣＰＵ５１がプログラム記憶部５２等の記憶部に記憶されているプログラムを読み出して実行することにより、上記ハードウェアとプログラムとを協働させて符号化装置１の機能を実現することもできる。

次に、上記符号化装置１で生成された符号化情報に含まれる指標値の情報に基づいて、複数の復号画像から画質の劣化の度合いが小さい復号画像を選択して提示する処理を行う画像選択装置２について具体例を挙げて説明する。

図１２には、本実施形態に係る画像選択装置２が示されている。画像選択装置２は、復号部７１、第１蓄積部８０、第２蓄積部８１、選択部８２、受付部８３、及び提示部８４を備えている。

なお、画像選択装置２の各機能部は例えば電子回路等で実現することができ、生成部１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現してもよい。

復号部７１は、符号化情報に含まれる符号化データを復号して復号画像の画像情報を生成する。復号画像の画像情報は、第１蓄積部８０に蓄積される。また、復号部７１は、符号化情報に含まれる指標値を抽出し、第２蓄積部８１に蓄積する。

図１３には、本実施形態に係る復号部７１の構成が示されている。復号部７１は、エントロピー復号部７２、逆量子化部７３、逆変換部７４、復号画像生成部７５、予測画像生成部７６、及び切替部７９を備えている。

エントロピー復号部７２は、符号化装置１で生成された符号化情報に含まれる符号化データ（ビットストリーム）をエントロピー復号（可変長復号）し、予測誤差画像の量子化係数と、サイド情報とを出力する。エントロピー復号とは、シンボルの出現頻度に応じて、可変長の符号を元の信号に戻す処理をいう。復号された量子化係数は逆量子化部７３に供給され、復号されたサイド情報は予測画像生成部７６に供給される。

更にまた、エントロピー復号部７２は、符号化情報に含まれる指標値の情報を取り出して、第２蓄積部８１に蓄積する。

逆量子化部７３は、エントロピー復号部７２で復号された量子化係数を逆量子化（スケーリング）し、再生周波数係数を出力する。逆量子化部７３は、スケーリングすることによって、圧縮されていた周波数の量子化係数を元のスケールに戻した再生周波数係数を生成して、逆変換部７４に供給する。

逆変換部７４は、逆量子化部７３から供給された再生周波数係数を逆変換処理する。逆変換部７４は、逆変換処理によって、再生周波数係数の周波数成分を元の予測誤差画像（再生予測誤差画像）へ戻す。そして、再生予測誤差画像を復号画像生成部７５に供給する。

復号画像生成部７５は、予測画像生成部７６により生成された予測画像と、逆量子化部７３及び逆変換部７４により生成された再生予測誤差画像とを加算する。加算して復号（再生）された復号画像の画像情報は、第１蓄積部８０に蓄積される。蓄積された復号画像は、後述するフレーム間予測画像生成部７８に供給され、他のフレーム画像を復号するときの動き補償で参照される。従って、蓄積された復号画像のうち、フレーム間予測画像生成部７８で予測画像の生成の際に参照される復号画像は、「参照画像」と呼ばれる。どの復号画像が参照されるかは、復号対象フレーム画像の予測モード等に応じて定まる。

予測画像生成部７６は、フレーム内予測画像生成部７７及びフレーム間予測画像生成部７８を有している。予測画像生成部７６は、エントロピー復号部７２から供給されたサイド情報と、必要ならば復号画像とに基づいて、予測画像を生成し、切替部７９を介して復号画像生成部７５に供給する。

フレーム内予測画像生成部７７は、サイド情報に基づいて、フレーム内予測符号化方法で符号化された符号化データを復号するときの予測画像をブロック単位で生成する。

フレーム間予測画像生成部７８は、サイド情報と復号画像とに基づいて、フレーム間予測符号化方法で符号化された符号化データを復号するときの予測画像をブロック単位で生成する。具体的には、サイド情報に含まれる動きベクトルの情報で示された復号画像内の画素値を参照して、予測画像を生成する。

切替部７９は、フレーム内予測画像生成部７７で生成された予測画像及び予測画像生成部７６で生成された予測画像の一方を選択して復号画像生成部７５に供給する。切替部７９は、不図示の制御部により制御され、切替えられる。

第１蓄積部８０に蓄積された復号画像の画像情報は、提示部８４に入力される。提示部８４は、動画像から時間軸上で連続する複数のフレーム画像（第１蓄積部８０に蓄積された復号画像）を抜き出してディスプレイに表示する機能を有する。例えば、提示部８４は、復号画像を縮小した縮小画像（以下、サムネイル画像という）を生成し、復号画像の選択画面に組み込んで表示する。

図１４に、選択画面３００の一例を示す。

エリア３０３は、サムネイル画像の表示エリアである。利用者は、エリア３０３に表示された複数のサムネイル画像から、復号画像の選択基準となる復号画像（以下、基準画像という）のサムネイル画像を指定することができる。基準画像の指定結果は、受付部８３により受け付けられ、選択部８２に入力される。また、エリア３０３には、画像選択装置２の選択部８２が選択した復号画像の選択結果が表示される。これにより、該選択結果が利用者に提示される。

エリア３０１は、利用者が優先する特徴領域の種類を指定するエリアである。利用者が、不図示の操作部を操作することにより図示されるボタンを選択すると、該選択されたボタンの右側に示される特徴領域が指定される。特徴領域の指定結果は、受付部８３により受け付けられ、選択部８２に入力される。本実施形態では、５種類の特徴領域、すなわち、顔領域、Ｎ個の固定領域（以下、Ｎ点という）、動領域、静止領域、及び輝度に応じた分割領域（以下、輝度分布という）の中から１つを利用者に選択（指定）させる。

エリア３０２には、エリア３０１において指定された特徴領域の位置を示す位置画像を、基準画像のサムネイル画像に重畳した画像が表示される。更にまた、エリア３０１において利用者がＮ点、或いは輝度分布の特徴領域を指定した場合には、エリア３０２において、利用者は更に詳細な指定を行うことができる。ここで特徴領域の詳細を指定した指定結果は、受付部８３により受け付けられ、選択部８２に入力される。

位置画像は、例えば、前述したように、指標値の各々と、該指標値に対応する特徴領域の位置及びサイズの情報とが対応付けられて符号化情報に格納されている場合には、該特徴領域の位置及びサイズに基づいて基準画像に重畳することができる。また、特徴領域を画像処理によりその都度抽出し、該抽出した位置に位置画像を重畳してもよい。

選択部８２には、第１蓄積部８０に蓄積された復号画像の画像情報、第２蓄積部８１に蓄積された指標値の情報、及び受付部８３により受け付けられた指定結果が供給される。選択部８２は、受付部８３により受け付けられた指定結果と、第２蓄積部８１に蓄積された指標値の情報に基づいて、第１蓄積部８０に蓄積されている復号画像から、画質の劣化の度合いが最も低い画像を選択し、該選択結果を提示部８４に出力する。

具体的には、エリア３０３から利用者が指定した基準画像を含む所定範囲内の複数の復号画像から、エリア３０１及びエリア３０２から利用者が指定した特徴領域の指標値が示す画質の劣化の度合いが最も低い復号画像を選択する。

基準画像を含む所定範囲内の復号画像の具体例としては、例えば、時間軸において、基準画像及び基準画像の前後ｎフレーム分（ｎは１以上の整数）の復号画像としてもよい。また、基準画像のフレームから基準画像のｓ秒後のフレームまでの複数の復号画像としてもよい。また、この選択範囲は予め設定しておいてもよいし、利用者が事前に設定してもよい。

なお、指標値としてＰＳＮＲを用いる場合には、選択部８２は、利用者により指定された特徴領域のＰＳＮＲが最大となる復号画像を選択する。

提示部８４は、選択部８２から出力された選択結果が示す復号画像を、利用者に提示する。例えば、選択画面３００のエリア３０３に表示したサムネイル画像のうち、選択部８２により選択された復号画像のサムネイル画像の表示形式を他のサムネイル画像と異ならせることにより提示するようにしてもよい。

以下、本実施形態の画像選択装置２の作用の具体例を説明する。

まず、復号部７１は、符号化情報に含まれる符号化データを復号して、復号画像を生成する。更に、提示部８４は、選択画面３００をディスプレイに表示する。このとき、選択画面のエリア３０３に、例えば、１つの動画像のファイルから、先頭の復号画像を開始点として、該開始点から所定時間間隔に含まれる複数の復号画像を抜き出して、該複数の復号画像のサムネイル画像をディスプレイに表示してもよい。

更にまた、このように複数のサムネイル画像が表示されている状態で、例えば、不図示の操作部により利用者が「進むボタン」を押下した場合などの所定の操作を行ったときに、提示部８４が、サムネイル画像の表示を切り換えるようにしてもよい。

より具体的には、例えば、表示中のサムネイル画像のうち最後に表示されているサムネイル画像が表わす復号画像の１つ後の復号画像のサムネイル画像を生成して、エリア３０３に新たに追加表示する。そして、表示中のサムネイル画像のうち先頭に表示されている復号画像のサムネイル画像をエリア３０３から消去する。

或いは、表示中のサムネイル画像のうち最後に表示されている復号画像、或いは該復号画像の１つ後の復号画像を開始点として、該開始点から所定時間間隔後までに含まれる複数の復号画像のサムネイル画像に表示を切り換えるようにしてもよい。

また、例えば、利用者が「戻るボタン」を押下した場合などの所定の操作を行ったときには、上記とは逆の表示切り替えを行なうこともできる。すなわち、表示中のサムネイル画像のうち先頭に表示されているサムネイル画像が表わす復号画像の１つ前の復号画像のサムネイル画像を生成して、エリア３０３に新たに追加表示する。そして、表示中のサムネイル画像のうち最後に表示されている復号画像のサムネイル画像をエリア３０３から消去する。

或いは、表示中のサムネイル画像のうち先頭に表示されている復号画像、或いは該復号画像の１つ前の復号画像を終了点として、該終了点から所定時間間隔前までに含まれる複数の復号画像のサムネイル画像に表示を切り換えるようにしてもよい。

これにより、利用者は、所望のシーンを選択画面３００のエリア３０３に表示させることができる。

更に、利用者は、操作部を操作してエリア３０３の表示を変更しながら、所望のシーンのサムネイル画像から選択の基準となる基準画像を指定することができる。

利用者は、選択画面３００のエリア３０１から、特徴領域の種類を指定する。この指定結果は、受付部８３が受け付け、選択部８２に出力する。利用者が、エリア３０１において顔領域を指定した場合の選択画面の表示例を図１５に示す。エリア３０３には複数の復号画像に対応するサムネイル画像が表示されている。図１５のエリア３０３に明示されているサムネイル画像Ａは、利用者が基準画像として選択した復号画像のサムネイル画像である。

提示部８４は、エリア３０１において指定された特徴領域の位置を示す位置画像を、基準画像のサムネイル画像に重畳した画像をエリア３０２に表示する。図１５に示す例では、顔領域の位置に矩形の枠画像が重畳されている。

選択部８２は、選択画面３００から顔領域を指定した指定結果が、受付部８３から入力されると、第２蓄積部８１から、利用者が指定した基準画像を含む所定範囲内の復号画像に対応する顔領域の指標値を取得する。選択部８２は、上記所定範囲内の複数の復号画像から、該取得した顔領域の指標値が示す画質の劣化の度合いが最も低い復号画像を選択する。例えば、指標値がＰＳＮＲの場合には、上記所定範囲内の複数の復号画像の中で顔領域のＰＳＮＲの値が最大であれば、劣化の度合いが最も低いと判断される。また、指標値がＭＳＥの場合には、上記所定範囲内の複数の復号画像の中で顔領域のＭＳＥの値が最小であれば、劣化の度合いが最も低いと判断される。選択結果は、提示部８４に出力される。

提示部８４は、選択結果を受け取ると、選択部８２により選択された復号画像を提示する。例えば、エリア３０３に該選択された復号画像のサムネイル画像を時間的に連続する復号画像のサムネイル画像と共に表示し、更に、該選択された復号画像に対応するサムネイル画像の表示状態を他のサムネイル画像とは異ならせるようにしてもよい。図１５において、サムネイル画像Ｂが選択部８２により選択された復号画像のサムネイル画像であって、該サムネイル画像Ｂには、二重線の枠画像が重畳されている。

次に、利用者がＮ点の特徴画像を指定した場合の選択画面の表示例を図１６に示す。選択画面３００のエリア３０３に表示されているサムネイル画像Ａは、利用者が選択の基準として指定した基準画像のサムネイル画像である。提示部８４は、基準画像のサムネイル画像Ａをエリア３０２に表示し、画面内のＮ個の固定領域から、更に領域を利用者に指定させる。この選択は、Ｎ個の固定領域の中から複数個選んでよい。利用者が固定領域を指定するとその選択結果は受付部８３を介して選択部８２に入力される。選択部８２は、利用者が指定した基準画像を含む所定範囲内の復号画像に対応する該指定した固定領域の指標値を取得する。選択部８２は、上記所定範囲内の複数の復号画像から、該取得した指標値が示す画質の劣化の度合いが最も低い復号画像を選択する。例えば、指標値がＰＳＮＲの場合には、上記所定範囲内の複数の復号画像の中で利用者が指定した固定領域のＰＳＮＲの値が最大であれば、劣化の度合いが最も低いと判断される。また、指標値がＭＳＥの場合には、上記所定範囲内の複数の復号画像の中で利用者が指定した固定領域のＭＳＥの値が最小であれば、劣化の度合いが最も低いと判断される。なお、利用者が指定した固定領域が複数であった場合には、複数の指標値の平均値を用いてもよいし、複数の指標値の最大値或いは最小値を代表値として用いて選択してもよい。選択部８２の選択結果は、提示部８４に出力される。

提示部８４は、選択結果を受け取ると、選択部８２により選択された復号画像を提示する。図１６において、サムネイル画像Ｂが選択部８２により選択された復号画像のサムネイル画像であって、該サムネイル画像Ｂには、二重線の枠画像が重畳されている。

次に、利用者が輝度分布の特徴画像を指定した場合の選択画面の表示例を図１７に示す。選択画面３００のエリア３０３に表示されているサムネイル画像Ａは、利用者が選択の基準として指定した基準画像のサムネイル画像である。提示部８４は、基準画像のサムネイル画像Ａをエリア３０２に表示し、利用者に画面内の任意の位置を指定させる。選択部８２は、受付部８３を介して指定位置の情報を受け取ると、該指定位置に該当する矩形領域（ブロック）の輝度の平均値Ｌを算出し、該輝度の平均値Ｌがどのバンドに属しているかを判定する。判定結果は、提示部８４に出力され、提示部８４は、該判定結果をエリア３０２に表示する。例えば、利用者が山の部分を指定することにより、指定した位置に該当するバンド２が指定される（図１７のエリア３０２も参照）。

また、選択部８２は、第２蓄積部８１から、利用者が指定した基準画像を含む所定範囲内の復号画像の指標値のうち、利用者が指定したバンドの指標値を取得する。選択部８２は、上記所定範囲内の複数の復号画像から、該取得したバンドの指標値が示す画質の劣化の度合いが最も低い復号画像を選択する。例えば、指標値がＰＳＮＲの場合には、上記所定範囲内の複数の復号画像の中で利用者が指定したバンドのＰＳＮＲの値が最大であれば、劣化の度合いが最も低いと判断される。また、指標値がＭＳＥの場合には、上記所定範囲内の複数の復号画像の中で利用者が指定したバンドのＭＳＥの値が最小であれば、劣化の度合いが最も低いと判断される。選択結果は、提示部８４に出力される。

なお、ここでは、画像内の位置を指定することによりバンドを指定する例について説明したが、利用者はバンドを直接指定しても良い。また、指定するバンドは複数あっても良い。この場合には、各バンドの指標値の平均値を用いて、復号画像を選択する。

提示部８４は、選択結果を受け取ると、選択部８２により選択された復号画像を提示する。図１７において、サムネイル画像Ｂが選択部８２により選択された復号画像のサムネイル画像であって、該サムネイル画像Ｂには、二重線の枠画像が重畳されている。

なお、ここでは図示を省略するが、利用者が動領域又は静止領域を指定した場合には、該領域の指標値を用いて、上記と同様に復号画像を選択して提示することができる。

また、上記では、画像選択装置２を電子回路等により実現する例について説明したが、例えば図１８に示すコンピュータ６０で実現することもできる。コンピュータ６０はＣＰＵ(Central Processing Unit)６１、プログラムを記憶した不揮発性のプログラム記憶部６２、ＲＡＭ(random access memory)６３、画像処理部６４、外部ＩＦ(Interface)６６、及び画像出力ＩＦ６７を備えている。そして、ＣＰＵ６１、プログラム記憶部６２、ＲＡＭ６３、画像処理部６４、外部ＩＦ６６、及び画像出力部ＩＦ６７はバス７０を介して互いに接続されている。

プログラム記憶部６２には、復号された複数の復号画像から画質の劣化の度合いの小さい画像を選択する選択プロセス、利用者の指定を受け付ける受付プロセス、及び選択された復号画像を提示するプロセス含む画像選択プログラムが記憶されている。なお、画像選択プログラムに、動画像の各フレーム画像を符号化した符号化データを復号する復号プロセスが含まれていても良いし、画像選択プログラムとは別の独立したプログラムとして復号プログラムが記憶されていてもよい。

ＣＰＵ６１は、画像選択装置２全体の制御を行なう。また、ＣＰＵ６１は、プログラム記憶部６２から画像選択プログラムを読み出してＲＡＭ６３に展開し、上記画像選択プログラムの各プロセスを実行する。ＣＰＵ６１が各プロセスを実行することで、図１２に示した復号部７１、選択部８２、受付部８３、及び提示部８４の各機能が実現される。

ＲＡＭ６３には、第１蓄積部８０及び第２蓄積部８１に相当する記憶領域が設けられている。また、符号化装置１で生成された符号化情報や、選択画面３００の画像情報をバッファリングするバッファ領域も備えている。

画像処理部６４は、復号画像の画像情報に縮小処理を施してサムネイル画像の画像情報を生成したり、選択画面３００を表示するための画像情報を生成したりする等、各種画像処理を行なう。

外部ＩＦ６６は、記録メディア６８及び操作パネルコントローラ６９のインタフェースである。記録メディア６８は、例えば、ＣＤ−ＲＷや、ＵＳＢ(Universal Serial Bus)を介して接続可能なフラッシュメモリ等とすることができる。符号化装置１により生成された符号化情報が記録メディア６８に記憶された場合には、該外部ＩＦ６６を介して記録メディア６８から符号化情報を取得することができる。操作パネルコントローラ６９は、ＬＣＤ(液晶ディスプレイ)等から成る表示部及びテンキーやタッチパネル等から成り利用者による操作を受け付ける受付部が設けられた操作パネルを制御する。

画像出力ＩＦ６７は、ディスプレイに接続され、ＲＡＭ６３から読出された復号画像の画像情報や、上記選択画面３００の画像情報（サムネイル画像の画像情報を含む）をディスプレイに出力するためのインタフェースである。これにより、ディスプレイに復号画像やサムネイル画像が表示される。

図１９は、画像選択プログラムの処理の流れを示すフローチャートである。

ステップ２００において、復号部７１は、記録メディア６８から符号化情報を読出してＲＡＭ６３にバッファリングする。

ステップ２０２において、復号部７１は、ＲＡＭ６３から符号化情報を読出して、符号化情報に含まれる符号化データを復号する。復号画像の画像情報は、ＲＡＭ６３の第１蓄積部８０に相当する記録領域に記憶される。

ステップ２０４において、復号部７１は、ＲＡＭ６３から符号化情報を読出して、符号化情報に含まれる指標値を抽出し、ＲＡＭ６３の第２蓄積部８１に相当する記憶領域に記憶する。

ステップ２０６において、提示部８４は、画像処理部６４を制御して、画像処理部６４に、復号画像の画像情報に対する縮小処理を実行させ、サムネイル画像の画像情報を生成させる。サムネイル画像の画像情報は、ＲＡＭ６３に記憶される。

ステップ２０８において、提示部８４は、選択画面３００の画像情報に上記サムネイル画像の画像情報を合成して、最終的な表示画像をディスプレイに表示する。

ステップ２１０において、受付部８３は、利用者から基準画像及び特徴領域の種類の指定を受け付ける。

ステップ２１２において、選択部８２は、上記受け付けられた基準画像を含む所定範囲内の複数の復号画像から、利用者が指定した特徴領域の指標値に基づいて、該指標値が示す画質の劣化の度合いが最も低い復号画像を選択する。

ステップ２１４において、提示部８４は、上記選択結果を提示する。

なお、ここでは、ＣＰＵ６１がプログラムを実行することにより、復号部７１の機能を実現する例について説明したが、該例に限定されない。例えば、復号部７１は電子回路等のハードウェアにより実現し、選択部８２、受付部８３、及び提示部８４の機能をＣＰＵ６１がプログラムを実行することにより実現するようにしてもよい。この場合のハードウェア構成図を図２０に示す。図２０において、図１２及び図１８と同一の部分には同じ記号を付した。図２０に示すように、復号部７１をバス７０に接続することで、復号部７１の機能がソフトウェア処理ではなくハードウェア処理により実現されるように構成されている。このような構成によっても、上記と同様に作用する。或いは、画像選択装置２に復号部７１の機能を設けず、他の装置が復号するようにしてもよい。画像選択装置２は、他の装置から復号した復号画像の画像情報及び指標値を取得して、上記画像選択の処理を行ってもよい。

また、上記では、利用者が基準画像を指定し、該基準画像を含む所定範囲内の復号画像から画質の劣化の度合いが低い復号画像を選択する例について説明したが、該例に限定されない。例えば、ディスプレイに表示されている（例えば、上記ではディスプレイに表示された選択画面３００のエリア３０３に含まれる）サムネイル画像に対応する復号画像から選択するようにしてもよい。この場合には、利用者は、基準画像を指定しなくてもよい。

なお、ここでは、符号化情報に、複数種類の特徴領域の指標値の各々が含まれている例について説明したが、符号化情報に１種類の特徴領域の指標値が含まれている場合には、上記エリア３０１での特徴領域の種類の指定は省略される。

また、上記エリア３０１及びエリア３０２での利用者による特徴領域の種類の指定や詳細な指定のデフォルト値が予め画像選択装置２に設定されていてもよい。この場合には、利用者の指定は省略でき、受付部８３による利用者からの指定の受付は省略される。

また、上記では、選択部８２が、利用者が指定した基準画像を含む所定範囲内の複数の復号画像から、画質の劣化の度合いが最も低い復号画像を選択する例について説明したが、該例に限定されない。例えば、利用者が、基準画像ではなく、選択範囲を指定し、選択部８２は、該選択範囲内の複数の復号画像から、画質の劣化の度合いが最も低い復号画像を選択するようにしてもよい。

また、上記では、画質の劣化の度合いが最も低い復号画像を選択する例について説明したが、該例に限定されない。例えば、画質の劣化の度合いが最も低い復号画像だけでなく、劣化の度合いが低い順から上位Ｐ個（Ｐは２以上の整数）の復号画像を選択するようにしてもよい。この場合には、該選択された複数の復号画像を、劣化の度合いの順位が明示されるように提示することができる。例えば、順位が高いほど、目立つように表示する、順位を示す数値を表示する、等である。

以上説明したように、本実施形態によれば、特徴領域の指標値に基づいて画質の劣化の度合いの低い復号画像を選択して利用者に提示できる。これにより、利用者は、容易に特徴領域の画質の良好な復号画像を把握できる。

更にまた、図２１に示すように、符号化装置１及び画像選択装置２の機能を、１台のコンピュータ９０により実現し、画像選択システム３を提供することもできる。例えば、撮像機能及びディスプレイを備えた携帯端末に、符号化装置１及び画像選択装置２の各機能を設ける態様が挙げられる。

コンピュータ９０はＣＰＵ(Central Processing Unit)９１、プログラムを記憶した不揮発性のプログラム記憶部９２、ＲＡＭ(random access memory)９３、画像処理部９４、外部ＩＦ(Interface)９５、画像入力ＩＦ９６、画像出力ＩＦ９７を備えている。そして、ＣＰＵ９１、プログラム記憶部９２、ＲＡＭ９３、画像処理部９４、外部ＩＦ９５、画像入力ＩＦ９６、画像出力ＩＦ９７は、バス９８を介して互いに接続されている。

プログラム記憶部９２には、符号化プログラム及び画像選択プログラムを組み合わせて構成された画像符号化選択プログラムが記憶されている。

ＣＰＵ９１は、プログラム記憶部９２から画像符号化選択プログラムを読み出してＲＡＭ９３に展開し、該符号化プログラム及び画像選択プログラムの各プロセスを実行する。ＣＰＵ９１が各プロセスを実行することで、図２及び図１２に示した生成部１０、抽出部４２、算出部４４、選択部８２、受付部８３、及び提示部８４の各機能が実現される。

ＲＡＭ９３には、蓄積部４０、第１蓄積部８０、及び第２蓄積部８１に相当する記憶領域が設けられている。

外部ＩＦ９５は、記録メディア９９及び操作パネルコントローラ８９のインタフェースである。画像入力ＩＦ９６は、動画像の画像情報等を入力するためのインタフェースである。画像出力ＩＦ９７は、ディスプレイに接続され、ＲＡＭ９３から読出された復号画像の画像情報や、上記選択画面３００の画像情報をディスプレイに出力するためのインタフェースである。

このような構成によっても、上記と同様に作用する。

なお、上記では符号化プログラムがプログラム記憶部５２、９２に記憶されている態様を説明したが、符号化プログラムは、ＣＤ−ＲＯＭや、ＵＳＢを介して接続可能なフラッシュメモリ等の可搬型の記録媒体に記録されている形態で提供することも可能である。また、画像選択プログラムがプログラム記憶部６２、９２に記憶されている態様を説明したが、画像データ蓄積プログラムは、ＣＤ−ＲＯＭや、ＵＳＢを介して接続可能なフラッシュメモリ等の可搬型の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
動画像に含まれる複数のフレーム画像を符号化した複数の符号化データを生成すると共に、前記符号化により生じた画質の劣化の度合いを示す指標値を、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について算出し、
前記生成した複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択し、該選択した復号画像を提示する
ことを含む画像選択方法。

（付記２）
前記指標値の算出の際には、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値を算出し、
前記復号画像の選択の際には、前記複数の符号化データから復号された複数の復号画像の中から、前記複数の指標値のうち利用者により予め指定された特徴領域に対応する指標値が示す劣化の度合いが最も低い復号画像を選択する
付記１に記載の画像選択方法。

（付記３）
前記復号画像の選択の際には、利用者により予め指定された範囲内の復号画像、又は利用者により予め指定された復号画像を含む所定範囲内の復号画像の中から前記指標値が示す劣化の度合いが最も低い復号画像を選択する
付記１又は付記２に記載の画像選択方法。

（付記４）
前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
付記１〜付記３の何れか１項記載の画像選択方法。

（付記５）
前記復号画像の選択の際には、前記劣化の度合いが低い順から上位Ｎ個（Ｎは２以上の整数）の復号画像を選択する
付記１〜付記４の何れか１項記載の画像選択方法。

（付記６）
動画像に含まれる複数のフレーム画像を符号化して生成された複数の符号化データであって、該符号化の際に、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について、前記符号化により生じた画質の劣化の度合いを示す指標値が算出された複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択する選択部と、
前記選択部により選択された復号画像を提示する提示部と、
を備えた画像選択装置。

（付記７）
前記符号化データの各々に対して、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値が算出されており、
前記選択部は、前記複数の符号化データから復号された複数の復号画像の中から、前記複数の指標値のうち利用者により予め指定された特徴領域に対応する指標値が示す劣化の度合いが最も低い復号画像を選択する
付記６に記載の画像選択装置。

（付記８）
前記選択部は、利用者により予め指定された範囲内の復号画像、又は利用者により予め指定された復号画像を含む所定範囲内の復号画像の中から前記指標値が示す劣化の度合いが最も低い復号画像を選択する
付記６又は付記７に記載の画像選択装置。

（付記９）
前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
付記６〜付記８の何れか１項記載の画像選択装置。

（付記１０）
前記選択部は、前記劣化の度合いが低い順から上位Ｎ個（Ｎは２以上の整数）の復号画像を選択する
付記６〜付記９の何れか１項記載の画像選択装置。

（付記１１）
動画像に含まれる複数のフレーム画像を符号化した複数の符号化データを生成する生成部と、
前記符号化により生じた画質の劣化の度合いを示す指標値を、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について算出する算出部と、
を備えた符号化装置。

（付記１２）
前記算出部は、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値を算出する
付記１１に記載の符号化装置。

（付記１３）
前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
付記１１又は付記１２記載の符号化装置。

（付記１４）
動画像に含まれる複数のフレーム画像を符号化した複数の符号化データを生成する生成部、前記符号化により生じた画質の劣化の度合いを示す指標値を、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について算出する算出部を備えた符号化装置と、
前記符号化装置により生成された複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択する選択部、及び前記選択部により選択された復号画像を提示する提示部を備えた画像選択装置と、
を有する画像選択システム。

（付記１５）
前記算出部は、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値を算出し、
前記選択部は、前記複数の符号化データから復号された複数の復号画像の中から、前記複数の指標値のうち利用者により予め指定された特徴領域に対応する指標値が示す劣化の度合いが最も低い復号画像を選択する
付記１４に記載の画像選択システム。

（付記１６）
前記選択部は、利用者により予め指定された範囲内の復号画像、又は利用者により予め指定された復号画像を含む所定範囲内の復号画像の中から前記指標値が示す劣化の度合いが最も低い復号画像を選択する
付記１４又は付記１５に記載の画像選択システム。

（付記１７）
前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
付記１４〜付記１６の何れか１項記載の画像選択システム。

（付記１８）
前記選択部は、前記劣化の度合いが低い順から上位Ｎ個（Ｎは２以上の整数）の復号画像を選択する
付記１４〜付記１７の何れか１項記載の画像選択システム。

（付記１９）
コンピュータに、
動画像に含まれる複数のフレーム画像を符号化して生成された符号化データであって、該符号化の際に、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について、前記符号化により生じた画質の劣化の度合いを示す指標値が算出された複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択し、
前記選択された復号画像を提示する
処理を実行させるための画像選択プログラム又は画像選択プログラムを記録した記録媒体。

（付記２０）
前記符号化データの各々に対して、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値が算出されており、
前記復号画像の選択の際には、前記複数の符号化データから復号された複数の復号画像の中から、前記複数の指標値のうち利用者により予め指定された特徴領域に対応する指標値が示す劣化の度合いが最も低い復号画像を選択する
付記１９に記載の画像選択プログラム又は画像選択プログラムを記録した記録媒体。

（付記２１）
前記復号画像の選択の際には、利用者により予め指定された範囲内の復号画像、又は利用者により予め指定された復号画像を含む所定範囲内の復号画像の中から前記指標値が示す劣化の度合いが最も低い復号画像を選択する
付記１９又は付記２０に記載の画像選択プログラム又は画像選択プログラムを記録した記録媒体。

（付記２２）
前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
付記１９〜付記２１の何れか１項記載の画像選択プログラム又は画像選択プログラムを記録した記録媒体。

（付記２３）
前記復号画像の選択の際には、前記劣化の度合いが低い順から上位Ｎ個（Ｎは２以上の整数）の復号画像を選択する
付記１９〜付記２２の何れか１項記載の画像選択プログラム又は画像選択プログラムを記録した記録媒体。

（付記２４）
コンピュータに、
動画像に含まれる複数のフレーム画像を符号化した複数の符号化データを生成し、
前記符号化により生じた画質の劣化の度合いを示す指標値を、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について算出する
処理を実行させるための符号化プログラム又は符号化プログラムを記録した記録媒体。

（付記２５）
前記指標値の算出の際には、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値を算出する
付記２４に記載の符号化プログラム又は符号化プログラムを記録した記録媒体。

（付記２６）
前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
付記２４又は付記２５記載の符号化プログラム又は符号化プログラムを記録した記録媒体。

（付記２７）
コンピュータに、
動画像に含まれる複数のフレーム画像を符号化した複数の符号化データを生成し、
前記符号化により生じた画質の劣化の度合いを示す指標値を、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について算出し、
前記生成した複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択し、
前記選択した復号画像を提示する
処理を実行させるための画像符号化選択プログラム又は画像符号化選択プログラムを記録した記録媒体。

（付記２８）
前記指標値の算出の際には、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値を算出し、
前記復号画像の選択の際には、前記複数の符号化データから復号された複数の復号画像の中から、前記複数の指標値のうち利用者により予め指定された特徴領域に対応する指標値が示す劣化の度合いが最も低い復号画像を選択する
付記２７に記載の画像符号化選択プログラム又は画像符号化選択プログラムを記録した記録媒体。

（付記２９）
前記復号画像の選択の際には、利用者により予め指定された範囲内の復号画像、又は利用者により予め指定された復号画像を含む所定範囲内の復号画像の中から前記指標値が示す劣化の度合いが最も低い復号画像を選択する
付記２７又は付記２８に記載の画像符号化選択プログラム又は画像符号化選択プログラムを記録した記録媒体。

（付記３０）
前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
付記２７〜付記２９の何れか１項記載の画像符号化選択プログラム又は画像符号化選択プログラムを記録した記録媒体。

（付記３１）
前記復号画像の選択の際には、前記劣化の度合いが低い順から上位Ｎ個（Ｎは２以上の整数）の復号画像を選択する
付記２７〜付記３０の何れか１項記載の画像符号化選択プログラム又は画像符号化選択プログラムを記録した記録媒体。

１ 符号化装置
２ 画像選択装置
３ 画像選択システム
１０ 生成部
４０ 蓄積部
４２ 抽出部
４４ 算出部
５０、６０、９０ コンピュータ
７１ 復号部
８０ 第１蓄積部
８１ 第２蓄積部
８２ 選択部
８３ 受付部
８４ 提示部

Claims (13)

1. 選択部と提示部とを備えたコンピュータが実行する画像選択方法であって、
   前記選択部は、動画像に含まれる複数のフレーム画像を符号化して生成された複数の符号化データであって、該符号化の際に、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について、前記符号化により生じた画質の劣化の度合いを示す指標値が算出された複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択し、
   前記提示部は、前記選択部により選択された復号画像を提示する
   ことを特徴とする画像選択方法。
2. 前記符号化データの各々に対して、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値が算出され、
   前記選択部は、前記複数の符号化データから復号された複数の復号画像の中から、前記複数の指標値のうち利用者により予め指定された特徴領域に対応する指標値が示す劣化の度合いが最も低い復号画像を選択する
   請求項１に記載の画像選択方法。
3. 前記選択部は、利用者により予め指定された範囲内の復号画像、又は利用者により予め指定された復号画像を含む所定範囲内の復号画像の中から前記指標値が示す劣化の度合いが最も低い復号画像を選択する
   請求項１又は請求項２に記載の画像選択方法。
4. 前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
   請求項１〜請求項３の何れか１項記載の画像選択方法。
5. 前記選択部は、前記劣化の度合いが低い順から上位Ｎ個（Ｎは２以上の整数）の復号画像を選択する
   請求項１〜請求項４の何れか１項記載の画像選択方法。
6. 動画像に含まれる複数のフレーム画像を符号化して生成された複数の符号化データであって、該符号化の際に、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について、前記符号化により生じた画質の劣化の度合いを示す指標値が算出された複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択する選択部と、
   前記選択部により選択された復号画像を提示する提示部と、
   を備えた画像選択装置。
7. 前記符号化データの各々に対して、前記各フレーム画像内の予め設定した複数種類の特徴領域毎に前記指標値が算出されており、
   前記選択部は、前記複数の符号化データから復号された複数の復号画像の中から、前記複数の指標値のうち利用者により予め指定された特徴領域に対応する指標値が示す劣化の度合いが最も低い復号画像を選択する
   請求項６に記載の画像選択装置。
8. 前記選択部は、利用者により予め指定された範囲内の復号画像、又は利用者により予め指定された復号画像を含む所定範囲内の復号画像の中から前記指標値が示す劣化の度合いが最も低い復号画像を選択する
   請求項６又は請求項７に記載の画像選択装置。
9. 前記予め設定した特徴領域は、顔領域、位置及びサイズが予め定められた固定領域、動きベクトルが閾値未満の静止領域、動きベクトルが閾値以上の動領域、輝度に応じて分割された分割領域、のうちの少なくとも１種類を含む
   請求項６〜請求項８の何れか１項記載の画像選択装置。
10. 前記選択部は、前記劣化の度合いが低い順から上位Ｎ個（Ｎは２以上の整数）の復号画像を選択する
    請求項６〜請求項９の何れか１項記載の画像選択装置。
11. 動画像に含まれる複数のフレーム画像を符号化した複数の符号化データを生成する生成部、前記符号化により生じた画質の劣化の度合いを示す指標値を、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について算出する算出部を備えた符号化装置と、
    前記符号化装置により生成された複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択する選択部、及び前記選択部により選択された復号画像を提示する提示部を備えた画像選択装置と、
    を有する画像選択システム。
12. コンピュータを、選択部及び提示部として機能させるための画像選択プログラムであって、
    前記選択部は、動画像に含まれる複数のフレーム画像を符号化して生成された複数の符号化データであって、該符号化の際に、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について、前記符号化により生じた画質の劣化の度合いを示す指標値が算出された複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択し、
    前記提示部は、前記選択部により選択された復号画像を提示する
    画像選択プログラム。
13. コンピュータを、生成部、算出部、選択部及び提示部として機能させるための画像符号化選択プログラムであって、
    前記生成部は、動画像に含まれる複数のフレーム画像を符号化した複数の符号化データを生成し、
    前記算出部は、前記符号化により生じた画質の劣化の度合いを示す指標値を、各フレーム画像内の予め設定した少なくとも１種類の特徴領域について算出し、
    前記選択部は、前記生成部により生成された複数の符号化データから復号された複数の復号画像の中から、前記指標値が示す劣化の度合いが最も低い復号画像を選択し、
    前記提示部は、前記選択部により選択された復号画像を提示する
    画像符号化選択プログラム。