JP2005277981A - 画像処理のための対象画像の選択 - Google Patents

Abstract

【課題】 画像の選択操作におけるユーザの好みを次回の画像の選択に適切に反映することのできる技術を提供する。
【解決手段】 各画像に関して、所定の複数の評価項目の評価値をそれぞれ計算するとともに、複数の評価値のそれぞれに重みを乗じて総合した総合評価値を算出する。そして、この総合評価値に基づいて、画像群の中から複数の候補画像を選択して表示する。この候補画像の中からユーザによって処理対象画像が選択されると、選択された処理対象画像における複数の評価項目の評価値に基づいて、ユーザによる選択と各評価項目との相関度を求める。そして、相関度が高い評価項目に対する重みを増大させる。
【選択図】 図７

Description

この発明は、動画や静止画の処理のために対象画像を選択する技術に関する。

動画を処理するための技術として、下記の特許文献１に記載されたものが知られている。この従来技術では、対象となる映像から数値データを抽出し、この数値データに基づいて各シーンの重要度を決定する。そして、需要度が閾値以上の部分から要約を作成する。

特開２００１−１１９６４９号公報

しかし、従来の方法では、必ずしも画像の選択操作におけるユーザの好みを、次回の画像の選択に適切に反映することができない場合があった。このような問題は、動画の処理する場合に限らず、一般に複数の画像群から、処理対象とすべき適切な画像を選択するための場合に共通する問題であった。

本発明は、画像の選択操作におけるユーザの好みを次回の画像の選択に適切に反映することのできる技術を提供することを目的とする。

上記目的を達成するために、本発明による画像処理装置は、
所定の処理の対象となるべき処理対象画像の候補として、与えられた画像群の中から複数の候補画像を選択する候補画像選択部と、
前記複数の候補画像を表示部に表示させるとともに、前記複数の候補画像の中からユーザによって選択された処理対象画像を認識するユーザインタフェース部と、
を備え、
前記候補画像選択部は、
前記画像群の画像に関して、所定の複数の評価項目の評価値をそれぞれ計算するとともに、前記複数の評価値のそれぞれに重みを乗じて総合した総合評価値を算出する評価値算出部と、
前記総合評価値に基づいて、前記画像群の中から前記複数の候補画像を選択する選択実行部と、
前記処理対象画像として選択された候補画像における前記複数の評価項目の評価値に基づいて前記ユーザによる選択と各評価項目との相関度を求め、前記相関度が高い評価項目に対する前記重みを増大させる重み調整部と、を備える。

この画像処理装置によれば、ユーザによる選択との相関度が高い評価項目に対する重みを増大させるので、次の選択を行う際に、ユーザの好みを適切に反映することができる。

なお、前記重み調整部は、前記相関度が最も高い評価項目に対する前記重みを増大させるとともに、前記相関度が最も低い評価項目に対する前記重みを減少させるようにしてもよい。

また、前記重み調整部は、
ユーザによって複数の処理対象画像が選択されたときに、前記複数の処理対象画像における前記複数の評価項目の評価値に関する主成分分析を行って第１主成分を求め、前記第１主成分に対する固有ベクトルの成分を前記相関度として用いて前記重みの調整を行うようにしてもよい。

この構成によれば、各評価項目の相関度を定量的に容易に決定できるので、重みを適切に調整することが可能である。

前記ユーザインタフェース部は、
前記複数の候補画像を、前記総合評価値に応じた位置関係で表示するようにしてもよい。

この構成によれば、ユーザが複数の候補画像の中から好ましい処理対象画像を容易に選択することが可能である。

前記画像群は動画を構成するフレーム画像群であり、
前記複数の候補画像は、前記動画を複数のシーン区画に区分したときの各シーン区画を代表する代表画像であり、
各代表画像に対する各評価項目の評価値は、各代表画像に対応するシーン区画を代表する評価値であるものとしてもよい。

この構成によれば、動画の中から好ましいシーン区画を選択する操作をサポートすることができる。

前記画像処理装置は、さらに、
前記処理対象画像として選択された代表画像に対応するシーン区画を主とするダイジェスト動画を作成する処理を前記所定の処理として実行するダイジェスト動画作成部を備えるようにしてもよい。

この構成によれば、ダイジェストの作成時にユーザの好みを適切に反映することができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、動画編集方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を以下の順序で説明する。
Ａ．実施例：
Ｂ．変形例：

Ａ．実施例：
図１は、本発明の一実施例としての画像処理システムを示す説明図である。この画像処理システムは、デジタルビデオカメラ１００とコンピュータ２００とを備えている。コンピュータ２００は、動画の編集処理を実行する画像編集部３００を備えている。画像編集部３００は、ビデオカメラ１００で撮影された動画を対象として、種々の編集処理を行うことができる。後述するように、本実施例では、動画のダイジェストを作成する処理が実行される。

図２は、画像編集部３００の内部構成を示すブロック図である。画像編集部３００は、シーン分割部３１０と、評価値計算部３２０と、候補選択部３３０と、ＵＩ処理部３４０と、統計処理部（重み調整部）３５０と、動画編集部３６０と、データ格納部３７０と、を有している。これらの各部の機能については後述する。シーン分割部３１０から動画編集部３６０までの各部の機能は、コンピュータ２００が図示しないＣＰＵ（プロセッサ）とメモリとを用いてコンピュータプログラムを実行することによって実現される。

図３は、実施例における処理手順を示すフローチャートである。ステップＳ１００では、ユーザによって処理対象の動画（入力動画）が選択され、そのダイジェストの作成が指示される。ステップＳ１１０では、シーン分割部３１０がその動画を複数の分割シーンに区分する。ここで、「分割シーン」とは、動画の中の連続した１期間を意味しており、以下では「シーン区画」または単に「シーン」とも呼ぶ。なお、動画は複数のフレーム画像で構成されており、１つの分割シーンにも複数のフレーム画像が含まれている。以下ではフレーム画像を単に「フレーム」とも呼ぶ。

シーンの分割は、種々の方法で行うことが可能である。例えば、時間的な長さによってシーンを分割するようにしてもよい。あるいは、所定の項目（輝度または色のヒストグラム、フレーム間の輝度または色の差、音声など）に関する指標値が大きく変化するところを分割シーンの境界とすることも可能である。

ステップＳ１２０では、評価値計算部３２０が、動画中の各フレームに関する評価値を算出する。図４は、評価値算出の対象となる評価項目と、重み付け係数の例を示している。この例のように、評価項目としては多数のものを利用可能であるが、本実施例では、図５に示す「色の分散」と「エッジ強度」と「明度の分散」の３つの評価項目のみを使用する例について説明する。これらの３つの評価項目に関する評価値は、例えば以下のように算出される。

（１）色の分散に関するフレーム評価値ＥＦ１の算出：
色の分散に関するフレーム評価値ＥＦ１は、フレーム画像内の色の分散が大きいほど高くなるように設定される。この評価値ＥＦ１の計算の際には、まず、各フレーム画像内の全画素について、色相に関連する色成分毎にヒストグラムが作成される。例えば、フレーム画像がＲＧＢ表色系で表されているときには、Ｒ，Ｇ，Ｂの３つの成分についてヒストグラムが作成される。また、フレーム画像がＹＣｒＣｂ表色系で表されているときには、色差成分Ｃｒ，Ｃｂについてヒストグラムが算出される。そして、これらのヒストグラムから、各色成分についての統計的な分散を算出する。色の分散に関するフレーム評価値ＥＦ１は、この分散が大きいほど高くなるように設定される。図６（Ａ）は、色の分散と評価値ＥＦ１との関係の一例を示している。この例では、色成分の分散が所定の値Ｖ１に達するまでは評価値ＥＦ１が０から直線的に増加しており、色成分の分散がこの値Ｖ１以上のときには所定の最大値ＥＦ１max に維持される。最大値ＥＦ１max が設定されている理由は、他の評価値に比べて色の分散のフレーム評価値ＥＦ１が過大になることを防止するためである。但し、最大値ＥＦ１max を設けないようにしてもよい。図６（Ｂ）は、色の分散と評価値ＥＦ１との関係の他の例を示している。この例では、色成分の分散が所定の値Ｖ０に達するまでは評価値ＥＦ１が０に保たれており、色成分の分散が値Ｖ０からＶ１の間では評価値ＥＦ１が０から最大値ＥＦ１max まで直線的に増加する。図６（Ａ），６（Ｂ）の例のように、色の分散に関する評価値ＥＦ１を、フレーム画像内の色の分散の増大に伴って増加するように設定すれば、フレーム画像内の色の分布状態を客観的に示す評価値を得ることができる。

（２）エッジ強度に関するフレーム評価値ＥＦ２の算出：
エッジ強度に関するフレーム評価値ＥＦ２は、フレーム画像内に、より強いエッジが多いほど高くなるように設定される。この評価値ＥＦ２の計算の際には、まず、各フレーム画像内の全画素についてエッジ強度が算出される。エッジ強度としては、例えば各画素の輝度値にラプラシアンフィルタを適用して得られた結果の絶対値を採用することができる。フレーム画像がＲＧＢ表色系で表されているときには、Ｇ成分を用いてエッジ強度が算出される。また、フレーム画像がＹＣｒＣｂ表色系で表されているときには、輝度成分Ｙを用いてエッジ強度が算出される。次に、各画素のエッジ強度が大きいほど高くなるようなエッジ強度ポイントを各画素ごとに計算する。例えば、エッジ強度そのものをエッジ強度ポイントとして使用してもよく、あるいは、エッジ強度の関数としてエッジ強度ポイントを算出してもよい。そして、フレーム画像内のエッジ強度ポイントの合計値を次の（１）式に従って算出する。

この式において、エッジ強度ポイントＥ（ｘ，ｙ）は、フレーム画像内の画素位置（ｘ，ｙ）の画素値にラプラシアンフィルタを適用した結果の絶対値である。また、係数Ｃは、位置（ｘ，ｙ）におけるエッジ強度Ｅ（ｘ，ｙ）に応じて決定される重み付け係数である。この係数Ｃは、エッジ強度が強いほど大きくなるように設定することが好ましい。たとえば、線形増加関数や、対数関数を用いて係数Ｃを算出することができる。あるいは、Ｃ＝１一定としても良い。そして、このエッジ強度ポイント合計値に応じてエッジ強度に関するフレーム評価値ＥＦ２が算出される。図６（Ｃ）は、エッジ強度ポイント合計値と評価値ＥＦ２との関係の一例を示している。この例では、エッジ強度ポイント合計値が所定の値Ｇ０に達するまでは評価値ＥＦ２が０に保たれており、エッジ強度ポイント合計値が値Ｇ０からＧ１の間で評価値ＥＦ２が０から最大値ＥＦ２max まで直線的に増加する。但し、図６（Ａ）と同様のグラフを利用することも可能である。このように、エッジ強度に関するフレーム評価値ＥＦ２を、フレーム画像内のエッジ強度の合計値の増加に伴って増加するように設定すれば、フレーム画像内のエッジ強度を客観的に示す評価値を得ることができる。

（３）明度の分散に関するフレーム評価値ＥＦ３の算出：
明度の分散に関するフレーム評価値ＥＦ３は、フレーム画像内に、明るい画素から暗い画素までさまざまな明るさが存在しているほど、より高くなるように設定される。本実施例では、この評価値ＥＦ３の計算にＹＣｂＣｒ表色系の輝度値Ｙを使用する。まず、各フレーム画像内の全画素について、輝度値のヒストグラムが作成される。そして、このヒストグラムから、輝度値Ｙについての統計的な分散が算出される。この分散を「輝度の分散」または「明度の分散」と呼ぶ。明るさに関するフレーム評価値ＥＦ３は、この明度の分散が大きいほど高くなるように設定される。明度の分散と評価値ＥＦ３の関係は、色の分散と評価値ＥＦ１の関係と同様に設定することができる（例えば図６（Ａ），（Ｂ））。

なお、上述したヒストグラムやエッジ強度の計算時において、各フレーム画像内の全画素を用いる代わりに、ある程度のサンプリング間隔で選択された複数の画素のみを用いても良い。また、ヒストグラムを作成するときには、値を複数の範囲に区分してその範囲て画素をグルーピングし、各グループ毎に頻度を求めてもよい。例えば赤色成分Ｒが０〜２５５の値を取り得るときに、この範囲を０〜５，６〜９，１０〜１５，…，２４０〜２５５の１６個のグループに区分し、各グループにそれぞれに属する画素数の合計値を求めてもよい。このとき、閾値よりも画素数が少ないグループは、分散計算時の母集団から除外することも可能である。

ステップＳ１２０では、さらに、以下の（２）式に従って各フレーム画像のフレーム総合評価値ＥＦsum（ｉ）が算出される。

ここで、ＥＦn はｎ番目の評価項目の評価値、ｋn はｎ番目の評価項目に関する重み付け係数、ｐは評価項目の個数である。

図５に示したように、各評価項目の重み付け係数ｋn の初期値（調整前の値）は１．０に設定されている。後述するように、ユーザによる選択操作が行われると、その選択操作に応じて各重み付け係数ｋn の値が調整される。ステップＳ１２０では、調整前の重み付け係数ｋ１〜ｋ３の値が使用されると仮定する。

こうして、各フレーム画像の総合評価値ＥＦsum が算出されると、図３のステップＳ１３０において、評価値計算部３２０が、次の（３）式に従って各分割シーンの総合評価値ＥＳ（ｍ）を算出する。

ここで、Ｎはｍ番目の分割シーンに含まれるフレーム画像の枚数である。分割シーン総合評価値ＥＳは、その分割シーン内に含まれる各フレーム画像の総合評価値ＥＦsum の平均値である。

図７（Ａ），（Ｂ）は、分割シーンの区分と分割シーン総合評価値ＥＳの例を示している。この例では、動画が５つの分割シーンに区分されている。図７（Ａ）は、３つの評価項目のフレーム評価値の変化を示している。但し、ここでは各フレーム評価値ＥＦ１〜ＥＦ３に重み付け係数ｋ１〜ｋ３を乗じた値が使用されている。従って、分割シーン総合評価値ＥＳは、図７（Ａ）に示す値ＥＦ１・ｋ１，ＥＦ２・ｋ２，ＥＦ３・ｋ３を各分割シーン内で累算し、その累算値をフレーム画像枚数Ｎで除した値に相当する。図７（Ｂ）に示すように、分割シーン総合評価値ＥＳは、分割シーン１で最も高く、分割シーン３で最も低い。

図３のステップＳ１４０では、候補選択部３３０が、分割シーン総合評価値ＥＳに基づいて、処理対象の候補（「出力候補」とも呼ぶ）となる分割シーンを決定し、ＵＩ処理部３４０がその結果を表示部に表示する。

図８は、シーン選択用ウィンドウの一例を示している。このウィンドウは、複数の分割シーンの代表画像ＲＧ１〜ＲＧ５を表示するための代表画像表示領域ＲＤＡを有している。代表画像ＲＧ１〜ＲＧ５としては、例えば、各分割シーン中で最もフレーム評価値が高いフレーム画像のサムネール画像を利用することができる。あるいは、各分割シーンの所定の位置（最初または中央）のフレーム画像のサムネール画像を代表画像として利用することも可能である。代表画像表示領域ＲＤＡの横軸は、時間を示している。この例では、各代表画像ＲＧ１〜ＲＧ５のフレーム画像のタイムスタンプに応じて、各代表画像の横方向位置が決定されている。但し、各分割シーンの代表画像を均等の間隔で配置し、時間表示をそれに合致させるように表示しても良い。代表画像表示領域ＲＤＡの縦軸は、分割シーン総合評価値ＥＳを示している。すなわち、図７（Ｂ）に示した分割シーン総合評価値ＥＳに応じて各代表画像ＲＧ１〜ＲＧ５の上下方向位置が決定されている。

なお、ユーザが１つの代表画像をマウスＭＳでクリックして選択すると、選択された代表画像が破線で囲まれて他の代表画像と区別される。また、ユーザが１つの代表画像をダブルクリックすると、その分割シーンの内容が別ウィンドウで再生表示される。この再生表示機能を利用すると、ダイジェスト作成処理を開始する前に、分割シーンの内容を確認することができる。

代表画像表示領域ＲＤＡの中央付近には、しきい値表示線ＴＨＬが視認可能に表示されている。このしきい値表示線ＴＨＬは、分割シーン総合評価値ＥＳの所定のしきい値に対応する位置に表示される。このしきい値表示線ＴＨＬよりも代表画像の下端が上にあるときには、その代表画像が太線で囲まれて出力候補（ダイジェクトの候補）であることが示される。また、その代表画像で代表される分割シーンがこの動画のダイジェストとして使用される。例えば、図８の例では、第１と第５の分割シーンがダイジェストとして使用される。換言すれば、この代表画像表示領域ＲＤＡには、２つの代表画像ＲＧ１，ＲＧ５が、ダイジェストを構成する分割シーンの候補として表示されていることになる。あるいは、全ての代表画像ＲＧ１〜ＲＧ５が候補として表示されており、各候補がその評価値に応じた位置関係で表示されていると考えることも可能である。ユーザは、各代表画像の上下位置を変更して、ダイジェストを構成する分割シーンを変更することができる。

なお、しきい値表示線ＴＨＬに対応するしきい値としては、すべての分割シーン１〜５に関する分割シーン総合評価値ＥＳの平均値を利用することも可能である。あるいは、動画の短縮時間（ダイジェストの時間）をユーザが指定できる場合には、ダイジェストの時間がその指定時間に近くなるように、しきい値を設定するようにしてもよい。具体的には、例えば、１つの分割シーンが３０秒であり、ダイジェストの時間が１分間である場合を考える。この場合には、分割シーン総合評価値ＥＳが最も大きな２つの分割シーンに対応する代表画像のみがしきい値表示線ＴＨＬの上に配置されるように、しきい値を設定することができる。

図３のステップＳ１５０，Ｓ１６０では、ユーザが代表画像の上下方向位置を変更することによって、ダイジェストを構成する分割シーン（すなわち出力候補）を変更する。図９は、この操作の一例を示している。ここでは、第１の分割シーンの代表画像ＲＧ１がしきい値表示線ＴＨＬよりも下の位置に移動し、第２と第４の分割シーンの代表画像ＲＧ２，ＲＧ４がしきい値表示線ＴＨＬよりも上の位置に移動している。この結果、第２と第４と第５の分割シーンがダイジェストの構成要素として選択されていることになる。

ユーザによる選択操作が終了すると、ステップＳ１７０において、動画編集部３６０がダイジェストを作成する。図１０（Ａ）は動画全体を示し、図１０（Ｂ）はダイジェストを示している。ここでは、図９において選択されていた３つの分割シーン２，４，５によってダイジェストが構成されている。なお、ダイジェスト作成の際には、各分割シーンに含まれるフレーム画像のうちの一部を削除して、ダイジェスト全体を短縮するようにしてもよい。

図３のステップ１８０では、統計処理部３５０が、ステップＳ１５０，Ｓ１６０におけるユーザの選択操作の結果を利用して、各評価項目の重み付け係数を調整する。このステップでは、複数の評価項目の重み付け係数の中で、処理対象として選択された分割シーンとの相関度が高い評価項目の重み付け係数が相対的に大きくなるように、各重み付け係数が調整される。

図１１は、ステップＳ１８０の詳細工程を示すフローチャートである。ここでは、統計処理の一種である主成分分析を行って、どの評価項目が、ユーザによって選択された分割シーン２，４，５により密接に関係しているかを分析する。まず、ステップＳ２００では、分割シーン２，４，５内に含まれる多数のフレーム画像に関するフレーム評価値ＥＦ１，ＥＦ２，ＥＦ３から、次の（４）式に示す分散共分散行列を作成する。

ここで、各符号の意味は以下の通りである。
Ｓ11：フレーム評価値ＥＦ１の分散、
Ｓ22：フレーム評価値ＥＦ２の分散、
Ｓ33：フレーム評価値ＥＦ３の分散、
Ｓ12, Ｓ21：フレーム評価値ＥＦ１，ＥＦ２の共分散、
Ｓ13, Ｓ31：フレーム評価値ＥＦ１，ＥＦ３の共分散、
Ｓ23, Ｓ32：フレーム評価値ＥＦ２，ＥＦ３の共分散、
ａ１，ａ２，ａ３：固有ベクトルの成分、
λ：固有値。

ステップＳ２１０では、上記（４）式を解いて固有値λを求める。（４）式は３変量の式なので、３つの固有値λが得られる。次の（５）式は、図７（Ａ）の例を適用して得られた分散共分散式と、これを解いて得られた固有値λを示している。

固有値の最大値λ１は、いわゆる第１主成分に対する固有値である。

ステップＳ２２０では、第１主成分の固有ベクトル（ａ１，ａ２，ａ３）が算出される。固有ベクトル（ａ１，ａ２，ａ３）は、次の（６）式を解くことによって得ることができる。

この（６）式に上記（５）式の値を代入して解くと、固有ベクトル（ａ１，ａ２，ａ３）の成分として以下の値が得られる。
ａ１＝−０．４６６，
ａ２＝＋０．７４８，
ａ３＝−０．４７２

この固有ベクトルの３つの成分ａ１，ａ２，ａ３は、３つの評価項目にそれぞれ対応している。また、これらの成分は、ａ１，ａ２，ａ３は、各評価項目が、ユーザによる選択操作にどの程度の影響を与えているかを表している。上記の例では、第２の評価項目（エッジ強度）に対する固有ベクトル成分ａ２の値が最も大きいので、この評価項目に関するフレーム評価値ＥＦ２が、ユーザによる選択操作に最も大きな影響を与えていたことが分かる。また、第１と第３の評価項目（色の分散および明度の分散）の影響は少ない。すなわち、固有ベクトルの成分ａ１，ａ２，ａ３は、ユーザによる選択操作に対する各評価項目の相対的な影響度を示す指標値としての意味を有している。また、これらの成分ａ１，ａ２，ａ３は、ユーザによる選択操作との相関度を示す指標値であると考えることも可能である。

ステップＳ２３０では、こうして得られた固有ベクトル（ａ１，ａ２，ａ３）に基づいて、各評価項目の重み付け係数ｋn を調整する。すなわち、固有ベクトルの成分ａ１，ａ２，ａ３の中で、より大きな値を有する成分に対応する評価項目の重みを相対的に増大させ、一方、より小さな値を有する成分に対応する評価項目の重みを相対的に減少させる。このような重みの調整は、例えば次の（７）式に従って行われる。

ここで、Ｍｉｎ（ａ），Ｍａｘ（ａ）は固有ベクトル成分ａ１〜ａ３の最小値と最大値であり、ｂは所定の正の定数である。

この（７）式は、ｎ番目の評価項目の重み付け係数ｋn に対する固有ベクトルの成分ａｎと最小値Ｍｉｎ（ａ）との差を、最大値Ｍａｘ（ａ）と最小値Ｍｉｎ（ａ）との差で正規化したものである。定数ｂは、調整後の重み付け係数ｋn が０にならないようにするためのものである。なお、定数ｂは、例えば１以下の値に設定される。定数ｂを０．１に設定したとき、３つの評価項目に対する重み付け係数ｋ１〜ｋ３は、以下の（８ａ）〜（８ｃ）式のように得られる。

この結果から理解できるように、上記（７）式による調整では、固有ベクトル成分の最大値Ｍａｘ（ａ）に対応する評価項目の重み付け係数は同じ値に維持され、それ以外の固有ベクトル成分に対応する評価項目の重み付け係数はより小さい値に設定される。この結果、ユーザによる選択操作に相関度の高い評価項目の重みが相対的に大きくなっていることが理解できる。この例からも理解できるように、本明細書において「重みを増大する」という用語は、その重み付け係数を大きくすることを直接的には意味しておらず、他の重み付け係数と比較して相対的に大きくすることを意味している。

なお、重みの調整は、（７）式以外の種々の式を用いて行うことが可能である。例えば、固有ベクトル成分の最大値Ｍａｘ（ａ）に対応する評価項目の重み付け係数を増大させ、それ以外の固有ベクトル成分に対応する評価項目の重み付け係数を減少させるような式を用いてもよい。具体的には、例えば上記（８ａ）〜（８ｃ）式で得られた重み付け係数ｋ１〜ｋ３の平均値が１．０になるように規格化すると、修正後の係数はｋ１＝０．２６，ｋ２＝２．４９，ｋ３＝０．２５となる。これらの修正後の係数を用いるようにしてもよい。但し、本実施例では、上記（８ａ）〜（８ｃ）式で得られた重み付け係数ｋ１〜ｋ３をそのまま使用している。

こうして重み付け係数が調整されると、図３のステップＳ１９０において、統計処理部３５０が、調整後の重み付け係数をデータ格納部３７０に保存する。これらの重み付け係数は、ユーザが次に動画のダイジェスト作成を行う際に利用される。

図１２は、調整後の重み付け係数を用いて図７に示した各種の評価値を再計算した例を示している。図１２（Ａ）に示すように、ユーザによって選択された分割シーン２，４，５において、エッジ強度に関する値ＥＦ２・ｋ２が相対的に大きくなっていることが理解できる。また、図１２（Ｂ）に示すように、調整後の重み付け係数を使用すると、分割シーン２，４，５の分割シーン総合評価値ＥＳが比較的大きくなるので、図３のステップＳ１３０において、これらの３つの分割シーン２，４，５が最初からダイジェストの候補として表示されることが理解できる。但し、調整後の重み付け係数が使用されるのは、ユーザが次にダイジェスト作成処理を行うときであり、図１２は、図７と同じ動画に対して再度ダイジェスト作成処理を行うと仮定したときの仮想的な図である。このように、調整後の重み付け係数は、次のダイジェスト作成処理の際に利用されるので、ステップＳ１２０，Ｓ１３０において、ユーザの好みを反映した適切な候補を表示することができる。この結果、処理対象の選択時におけるユーザーの操作を軽減することが可能である。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｂ１．変形例１：
上記実施例では、デジタルビデオカメラ１００から供給されてコンピュータ２００に格納された動画を対象として処理を行っていたが、処理対象の動画としては種々のものを利用することができる。例えば、放送によって配信された動画からダイジェストを作成する場合にも適用することができる。

また、ビデオ配信用のサーバに対してユーザがダイジェスト作成処理を要求する際に本発明を適用することも可能である。この時には、動画自体は、ネットワークを介してコンピュータ２００に接続されているサーバに格納されている。そして、コンピュータ２００上でユーザが図９に示すようなウィンドウ上で選択操作を行うと、サーバ側で動画のダイジェストを作成してコンピュータ２００に配信する。この場合に、図２に示す各部の一部（例えば評価値計算部３２０と統計処理部３５０と動画編集部３６０）はサーバ側に設けるようにしてもよい。

Ｂ２．変形例２：
上記実施例では、画像処理の対象として動画を使用していたが、静止画を処理対象とすることも可能である。この場合には、複数の静止画の中から次の所定の画像処理（例えばアルバムへの貼り込みや印刷）などに使用する一部の複数の静止画を選択する際に本発明を適用することができる。

なお、処理対象として１つのフレーム画像または１つの静止画のみがユーザによって選択される場合もある。この場合には、例えば、選択された１つの画像において評価値の高い評価項目の重みを相対的に大きくするように重みを調整することができる。また、１回に１つの画像を選択する操作が複数回繰り返されたときには、複数回の選択において選択された複数の画像における各評価項目の評価値を用いて上記実施例と同様な主成分分析を行い、複数の評価項目の重みを調整することも可能である。

なお、１回に１つの画像を選択する場合にも、また、１回に複数の画像を選択する場合にも、最近に選択されたＭ個（Ｍは２以上の所定の整数）の画像における各評価項目の評価値を用いて、複数の評価項目の重みを調整するようにしてもよい。この構成によれば、常に最新のユーザ選択操作に適合して、次の機会における画像の選択をサポートすることが可能である。

Ｂ３．変形例３：
上記実施例では、主成分分析を用いてユーザの選択操作と評価項目との相関度を求めていたが、他の方法を用いて相関度を求めることも可能である。例えば、ユーザによって選択された画像において最も高い評価値を有する評価項目の相関度を所定の高い値（例えば１）とし、他の評価項目の相関度を所定の低い値（例えば０．５）と設定することも可能である。

また、上記実施例では、すべての評価項目の重みを調整していたが、ユーザによる選択操作と最も相関度の高い評価項目の重みを少なくとも高くするようにすれば良く、他の評価項目については重みを再調整する必要は無い。但し、少なくとも最も相関度の高い評価項目の重みを高くするとともに、最も相関度の低い評価項目の重みを低くするように調整することが好ましい。

あるいは、相関度が所定の中間的な範囲内にある評価項目については重みの調整を行わず、相関度がこの範囲よりも高い評価項目の重みを高くするとともに、相関度がこの範囲よりも低い評価項目の重みは低くするようにしてもよい。

Ｂ４．変形例４：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、画像編集部３００（図２）の機能の一部をハードウェア回路で実行することも可能である。

本発明の一実施例としての画像処理システムを示す説明図である。 画像変種部の内部構成を示すブロック図である。 実施例における処理手順を示すフローチャートである。 評価値算出の対象となる評価項目の例を示す説明図である。 評価値算出の対象となる評価項目の他の例を示す説明図である。 評価値の算出方法を示すグラフである。 分割シーンの区分と分割シーン総合評価値の例を示す説明図である。 シーン選択用ウィンドウの一例を示す説明図である。 ユーザによる選択操作の例を示す説明図である。 動画全体とダイジェストの関係を示す説明図である。 ステップＳ１８０の詳細工程を示すフローチャートである。 調整後の重みを用いて評価値を再計算した例を示す説明図である。

符号の説明

１００…デジタルビデオカメラ
２００…コンピュータ
３００…画像編集部
３１０…シーン分割部
３２０…評価値計算部
３３０…候補選択部
３４０…ＵＩ処理部
３５０…統計処理部（重み調整部）
３６０…動画編集部
３７０…データ格納部

Claims (8)

1. 画像処理装置であって、
   所定の処理の対象となるべき処理対象画像の候補として、与えられた画像群の中から複数の候補画像を選択する候補画像選択部と、
   前記複数の候補画像を表示部に表示させるとともに、前記複数の候補画像の中からユーザによって選択された処理対象画像を認識するユーザインタフェース部と、
   を備え、
   前記候補画像選択部は、
   前記画像群の画像に関して、所定の複数の評価項目の評価値をそれぞれ計算するとともに、前記複数の評価値のそれぞれに重みを乗じて総合した総合評価値を算出する評価値算出部と、
   前記総合評価値に基づいて、前記画像群の中から前記複数の候補画像を選択する選択実行部と、
   前記処理対象画像として選択された候補画像における前記複数の評価項目の評価値に基づいて前記ユーザによる選択と各評価項目との相関度を求め、前記相関度が高い評価項目に対する前記重みを増大させる重み調整部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記重み調整部は、前記相関度が最も高い評価項目に対する前記重みを増大させるとともに、前記相関度が最も低い評価項目に対する前記重みを減少させる、画像処理装置。
3. 請求項１又は２記載の画像処理装置であって、
   前記重み調整部は、
   ユーザによって複数の処理対象画像が選択されたときに、前記複数の処理対象画像における前記複数の評価項目の評価値に関する主成分分析を行って第１主成分を求め、前記第１主成分に対する固有ベクトルの成分を前記相関度として用いて前記重みの調整を行う、画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置であって、
   前記ユーザインタフェース部は、
   前記複数の候補画像を、前記総合評価値に応じた位置関係で表示する、画像処理装置。
5. 請求項１ないし４のいずれかに記載の画像処理装置であって、
   前記画像群は動画を構成するフレーム画像群であり、
   前記複数の候補画像は、前記動画を複数のシーン区画に区分したときの各シーン区画を代表する代表画像であり、
   各代表画像に対する各評価項目の評価値は、各代表画像に対応するシーン区画を代表する評価値である、画像処理装置。
6. 請求項５記載の画像処理装置であって、さらに、
   前記処理対象画像として選択された代表画像に対応するシーン区画を主とするダイジェスト動画を作成する処理を前記所定の処理として実行するダイジェスト動画作成部を備える、画像処理装置。
7. 画像処理方法であって、
   （ａ）所定の処理の対象となるべき処理対象画像の候補として、与えられた画像群の中から複数の候補画像を選択する工程と、
   （ｂ）前記複数の候補画像を表示部に表示させるとともに、前記複数の候補画像の中からユーザによって選択された処理対象画像を認識する工程と、
   を備え、
   前記工程（ａ）は、
   （ｉ）前記画像群の画像に関して、所定の複数の評価項目の評価値をそれぞれ計算するとともに、前記複数の評価値のそれぞれに重みを乗じて総合した総合評価値を算出する工程と、
   （ｉｉ）前記総合評価値に基づいて、前記画像群の中から前記複数の候補画像を選択する工程と、を含み、
   前記方法は、さらに、
   （ｃ）前記処理対象画像として選択された候補画像における前記複数の評価項目の評価値に基づいて前記ユーザによる選択と各評価項目との相関度を求め、前記相関度が高い評価項目に対する前記重みを増大させる工程、を備えることを特徴とする画像処理方法。
8. 画像処理のためのプログラムであって、
   所定の処理の対象となるべき処理対象画像の候補として、与えられた画像群の中から複数の候補画像を選択する候補画像選択機能と、
   前記複数の候補画像を表示部に表示させるとともに、前記複数の候補画像の中からユーザによって選択された処理対象画像を認識するユーザインタフェース機能と、
   をコンピュータに実現させるプログラムを備え、
   前記候補画像選択機能は、
   前記画像群の画像に関して、所定の複数の評価項目の評価値をそれぞれ計算するとともに、前記複数の評価値のそれぞれに重みを乗じて総合した総合評価値を算出する評価値算出機能と、
   前記総合評価値に基づいて、前記画像群の中から前記複数の候補画像を選択する選択実行機能と、
   前記処理対象画像として選択された候補画像における前記複数の評価項目の評価値に基づいて前記ユーザによる選択と各評価項目との相関度を求め、前記相関度が高い評価項目に対する前記重みを増大させる重み調整機能と、
   を備えることを特徴とするプログラム。

Images