JP4909315B2 - 映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体 - Google Patents

Description

本発明は、映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に係り、特に、映像の動きを表現した代表画像を生成するための映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体に関する。

映像の中から映像内容を表す代表画像を抽出する技術は多数存在する。以下に例をあげる。

（１）第１の従来技術として、映像中の隣接フレーム画像間の内容変化が大きなところから小さくなる所を検出することで映像シーンの変化部分を表すサムネイルを検出している（例えば、特許文献１参照）。

（２）第２の従来技術として、映像の動きベクトルの総量を時系列にグラフ化し、そのローカルミニマムを代表画像として採用する方法である。こうすることで、印象的なシーンや、カメラや俳優の動作の節目となるサムネイルを取り出すことを狙っている。また付随する効果として比較的はっきりとした画像が抽出できる（例えば、非特許文献１参照）。

（３）第３の従来技術として、動きベクトルを用いて映像を動物体と背景に分離し、動物体が大きく写ったフレーム画像（動物体アップフレーム）を検出し、それらの隣接したものを統合することで映像区間（動物体アップショット）を算出する。また、撮影者が動物体に注目し、フォローしているフォローショットを検出する（例えば、非特許文献２参照）。
特許第３１９４８３７号公報 Wayne Wolf, "Key Frame Selection by Motion Analysis." IEEE ICASSP 96, pp. 1228, 1996 鳥井他、「映像の動きを用いた動物体アップショット・フォローショット検出」、MIRU2005 Proc. pp. 24-31 Jul. 2005

しかしながら、上記従来の技術には以下のような問題がある。

第１の従来技術は、色特徴変化を主に利用しているが、明度等に敏感なため、一つの映像に対し、非常に多くサムネイルが検出され、見難くなる。また、一般的に色特徴変化によるサムネイル抽出では被写体・背景を分離して、映像の被写体・背景及びその動作までを分離して考慮したサムネイルを抽出することは難しい。例えば、固定カメラで撮影した被写体の動きに応じたサムネイルを抽出することはできない（以下、問題ａと記す）。

第２の従来技術は、フレーム全体の動き総量ではその動きが被写体の動きなのかカメラの動きなのかが判別がつかないため、効果的なサムネイル抽出にならない場合もある。例えば、スノーボードの映像ではジャンプしているような箇所は見所になるが、動き総量のローカルミニマムでは検出できない（以下、問題ｂと記す）。

第３の従来技術は、動物体の大きく写っている場面は検出できるが、その中から効果的なサムネイルを選択できない。また、フォローショットの検出において、フレーム単位で検出された局所的な動き量を利用していたため、過剰検出を起すという問題がある。

本発明は、上記の点に鑑みなされたもので、映像から被写体（動物体）の存在する区間のうち、被写体または背景の動きが強調された画像、及び被写体または背景がはっきり写った画像をそれぞれ抽出することが可能な映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。

更なる目的は、被写体をカメラがフォローして撮影しているショットを比較的安定して抽出でき、注目被写体のサムネイルを抽出することが可能な映像処理装置及び方法及びプログラム及びコンピュータ読取可能な記録媒体を提供することである。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、映像の中から映像内容を表す代表画像を抽出する映像処理方法であって、
映像入力手段が、映像を入力し、映像フレーム記憶手段に格納する映像入力ステップ（ステップ１）と、
被写体検出手段が、前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って（ステップ２）被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出ステップ（ステップ３）と、
サムネイル画像抽出手段が、前記時系列被写体リスト記憶手段に格納された前記被写体の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と被写***置との距離の逆数と、被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出ステップ（ステップ４）と、を行う。

本発明（請求項２）は、映像の中から映像内容を表す代表画像を抽出する映像処理方法であって、
映像入力手段が、映像を入力し、映像フレーム記憶手段に格納する映像入力ステップと、
被写体検出手段が、前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出ステップと、
画像単位対応手段が、画像単位毎のフレーム間の動きベクトルを算出し、背景の情報を前記時系列被写体リスト記憶手段に格納する画像単位対応ステップと、
サムネイル画像抽出手段が、前記時系列被写体リスト記憶手段に格納された情報を利用して、背景の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と被写***置との距離の逆数と、被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出ステップと、を行う。

また、本発明（請求項３）は、サムネイル画像抽出ステップにおいて、
時系列被写体リスト記憶手段に格納された情報を利用して、被写体と背景の両者の動き量を算出し、被写体の動き量及び前記背景の動き量の一方の極大・極小値の時点を取り出し、取り出した時点の周辺において、他方の動き量による条件を加えて決まる時点を抽出時点とする。

本発明（請求項４）は、サムネイル画像抽出ステップにおいて、
時系列被写体リスト記憶手段に格納された情報を利用して、被写体と背景の両者の動き量を算出し、背景の動き量の２つの連続する極小値間における被写体の動き量の平均値を算出し、２つの連続する極小値間にある背景の動き量の極大値の前後近傍に被写体の動き量の極小値が存在し、かつ、その極小値が被写体の動き量の平均値より小さい場合に、被写体の動き量の極小値の時点を抽出時点とする。

図２は、本発明の原理構成図である。

本発明（請求項５）は、映像の中から映像内容を表す代表画像を抽出する映像処理装置であって、
映像を入力し、映像フレーム記憶手段に格納する映像入力手段１１０と、
映像フレーム記憶手段１０２から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出手段１４０と、
時系列被写体リスト記憶手段１０４に格納された被写体の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と被写***置との距離の逆数と、被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出手段１５０と、を有する。

本発明（請求項６）は、映像の中から映像内容を表す代表画像を抽出する映像処理装置であって、
映像を入力し、映像フレーム記憶手段に格納する映像入力手段と、
映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出手段と、
画像単位毎のフレーム間の動きベクトルを算出し、背景の情報を時系列被写体リスト記憶手段に格納する画像単位対応手段と、
時系列被写体リスト記憶手段に格納された情報を利用して、背景の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と被写***置との距離の逆数と、被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出手段と、を有する。

また、本発明（請求項７）は、サムネイル画像抽出手段において、
時系列被写体リスト記憶手段に格納された情報を利用して、被写体と背景の両者の動き量を算出し、被写体の動き量及び背景の動き量の一方の極大・極小値の時点を取り出し、取り出した時点の周辺において、他方の動き量による条件を加えて決まる時点を抽出時点とする。

また、本発明（請求項８）は、サムネイル画像抽出手段において、
時系列被写体リスト記憶手段に格納された情報を利用して、被写体と背景の両者の動き量を算出し、背景の動き量の２つの連続する極小値間における被写体の動き量の平均値を算出し、２つの連続する極小値間にある背景の動き量の極大値の前後近傍に被写体の動き量の極小値が存在し、かつ、その極小値が被写体の動き量の平均値より小さい場合に、被写体の動き量の極小値の時点を抽出時点とする。

本発明（請求項９）は、請求項５乃至８のいずれか１項に記載の映像処理装置を構成する各手段としてコンピュータを機能させるための映像処理プログラムである。

本発明（請求項１０）は、請求項９記載の映像処理プログラムを格納したコンピュータ読取可能な記録媒体である。

上記のように本発明によれば、ショット全てのサムネイルを提示するのではなく、被写体検出処理を行い、例えば被写体が検出された箇所に着目し、そこから画像を抽出・提示することで、無意味なフレーム画像の提示を避け、動作を表すのに効果的なフレーム画像のみを提示することができ、前述の問題ａを解決できる。

また、本発明は、フレーム全体の動きではなく、注目被写体を検出し、被写体領域の動きとそれ以外の動き（背景の動き）と分離して利用し、注目すべき動きを表現できるサムネイルを抽出することで解決する。また動きの極小だけでなく極大部分のサムネイルも提示することで動作途中の様子を知ることができる。これにより、前述の問題ｂを解決できる。

また、動物体の大きさだけではなく、動物体の動き及び背景の動きを考慮することで、被写体の動き及び場面の流れを表現できるサムネイル画像を抽出する。また、時間的連続性を考慮してフォローショットを検出することで、前述の問題ｃを解決できる。

上記のように、本発明では、被写体と背景を分離し、動き特徴・画像特徴をそれぞれ別に利用することで、映像から被写体（動物体）の存在する区間のうち、被写体または背景の動きが強調された画像、及び被写体または背景がはっきり写った画像をそれぞれ区別して抽出することが可能となる。例えば、その動きの極大・極小画像を交互に表示することで、被写体の動作あるいはカメラの視点移行等の動き及びその過程を表現したスライドショーを作成することが可能になる。また、被写体をカメラがフォローして撮影しているショットを比較的安定に抽出でき、注目被写体のサムネイルを抽出することができる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における映像処理装置の構成を示す。

同図に示す映像処理装置は、映像入力部１１０、カット点検出部１２０、画像単位対応部１３０、被写体検出部１４０、サムネイル画像抽出部１５０、出力部１６０、映像記憶部１０１、フレームバッファ１０２、被写体映像区間リスト記憶部１０３、時系列被写体リスト記憶部１０４、サムネイル時刻リスト記憶部１０５から構成される。

上記の映像記憶部１０１、フレームバッファ１０２、被写体映像区間リスト記憶部１０３、時系列被写体リスト記憶部１０４、サムネイル時刻リスト部１０５はハードディスクデバイスやメモリ等の記憶媒体である。

フレームバッファ１０２はフレーム番号（映像時刻）と画像データを格納する。被写体映像区間リスト記憶部１０３は開始時刻と終了時刻を格納する。時系列被写体リスト記憶部１０４は、被写体ＩＤ、画像単位座標（集合）、分類、重み（面積などの評価値）を格納する。サムネイル時刻リスト記憶部１０５は映像フレーム番号を格納する。

映像入力部１１０は、映像記憶部１０１から映像データを入力し、指定されたフレーム番号（映像時刻）、あるいは読み込んだフレーム画像を順に出力する。このとき、映像時刻情報を取得して、その映像時刻に対応するフレーム画像を取得する。また、入力映像フレームをフレームバッファ１０２へ格納し、指定時刻の映像データの取得を効率化することが望ましい。また、入力映像のデインタレース（インタレース解除）処理を行ってもよい。以下では、フレーム画像とその映像時刻とは常に組で入出力を行うものとする。

カット点検出部１２０は、現在処理対象としているフレーム時刻と前回処理対象としたフレーム時刻の間に不連続点であるカット点が存在するかどうかを判定する装置である。当該方法については、例えば、特許第２８３９１３２号公報に記載の手法等を用いることが可能である。カット点のような映像の不連続点では動き検出の信頼性が低くなる。そのためカット点間の連続した映像区間（ショットと呼ぶ）単位で各映像処理を行い、カット点間での処理を回避する。処理対象の映像にカット点が含まれていない、あるいは、カット点における処理上の問題がないことが分かっている場合は省略可能である。

被写体検出部１４０は、映像入力部１１０より入力したフレーム画像を処理して、その画像に被写体（動物体）が存在するか否かを判定し、その情報を時系列被写体リスト記憶部１０４に格納する。これは画像に対する顔などのオブジェクト検出（認識）技術、背景差分法等の物体検出手法を用いて被写体検出を行う、あるいは、前述の非特許文献２に記載の特徴点ベースの動物体検出手法等を利用するなどして実現することが可能である。検出された被写体（動物体）はその被写体が存在する座標（集合）を、被写体毎に被写体ＩＤを付して時系列被写体リスト記憶部１０４に記憶する。この被写体検出部１４０にて格納する座標は、例えば、画像ブロック、画素集合、特徴点、画像テンプレートなど被写体及びその動きを検出する画像単位を表す座標である。

なお、上記の被写体検出手法により画像単位毎の動きベクトル、被写体の動き（フレーム間の対応付け）が内部的に算出される場合で、かつ背景の動きを利用しない場合は、以下で説明する画像単位対応部１３０は省略可能である。被写体のフレーム間対応（動き）が内部的に算出される被写体検出手法の例として、テンプレートマッチングや各種オブジェクト認識技術や前述の非特許文献２のような動きを用いた被写体検出などが挙げられる。また、被写体の動きが検出できない被写体検出方法の例として背景差分法があげられる。以下では、被写体の動きが検出できる手法を用いた場合に関して述べるが、被写体のフレーム間対応付けを別途行えば、被写体の動きを検出できない手法を利用した場合でも同様の処理が可能である。

上記のフレーム間対応付けの手法としては、例えば、被写体ＩＤとして仮の数値を記録し、画像単位対応部１３０において、前フレームの各被写体領域との重なり面積の、前フレームの比較対象となっている領域面積に対する割合が一定値以上である場合を全処理フレームと同一ＩＤとする方法や、前フレームと現フレームとの間の動きベクトルを算出して、前フレームの被写体領域の移動先を被写体領域内で算出された動きベクトルの平均ベクトルなどとして推定し、現フレームで検出されている各被写体と重なり割合が一定値以上である領域のＩＤを対応付ける等、種々の方法が考えられる。

時系列被写体リスト記憶部１０４は、処理対象のフレーム画像毎に記憶されるリストを記憶する。記憶レコードは、被写体ＩＤと画像単位の座標（集合）、分類、及び重み（面積などの評価値）からなる。「被写体ＩＤ」は、被写体あるいは画像単位毎に付与され、時系列的に対応付いた数値である。時系列被写体リスト記憶部１０４は、画像単位あるいはその集合によりその被写体を表す位置を記憶する。「画像単位座標（集合）」は、被写体検出の検出単位により記憶される内容は異なる。例えば、矩形の画像単位を用いた被写体検出・追跡であればその矩形の左上、右下の座標対、画素単位で物体抽出・追跡される場合のその１物体をなす画素の点集合、特徴点単位での被写体検出・追跡の場合には特徴点座標集合が、それぞれ記憶される。「分類」には、検出された被写体の種類等を格納する。基本的には"被写体"または"背景"を「分類」として記憶するが、利用する被写体検出手段に応じて被写体分類、例えば、文字（テロップ）、動物、人、顔などの意味的な分類も付与してもよい。「重み」は、検出された被写体の面積（画素数）や、特徴点毎の支配領域を表す重み（非特許文献２）を記憶する。また、検出時のその確からしさの評価値も合わせて重みとして記憶してもよい。

画像単位対応部１３０は、被写体以外の領域（背景）の動きベクトルを利用したサムネイル生成を行う場合に必要な装置である。背景の動きベクトルが推定されていない場合に、各画像単位の動きベクトルを推定して時系列被写体リスト記憶部１０４に記憶する。その際の時系列被写体リスト記憶部１０４の「分類」の欄には"背景"を表す数値など、被写体とは別の分類を設定するものとする。

上記の背景の動きベクトルの算出方法は、例えば、複数時刻のフレーム画像を入力し、それら２つのフレーム画像間の画像単位毎のマッチングをとることで算出可能である。動きベクトルの算出方法としては、既存技術のブロックマッチングや非特許文献２に記載の特徴点追跡技術など種々の技術を利用することができる。動きベクトル算出の単位領域（画像単位）は、例えばブロックマッチングでは画像ブロックを指し、また、特徴点追跡では特徴点である。

サムネイル画像抽出部１５０は、被写体検出部１４０にて被写体が消滅したと判定された場合、あるいは、被写体が検出されたままショット終端まで来た場合に動作し、時系列被写体リスト記憶部１０４に蓄積された情報を利用して、その被写体映像区間からサムネイルを抽出し、その映像フレーム番号、または、抽出されたサムネイルの時刻をサムネイル時刻リスト記憶部１０５に格納する。

上記の構成における動作の詳細を以下に示す。以下では、
（１）被写体検出部１４０においてフレーム間の対応付けが可能であり、被写体の動きのみを利用してサムネイルを抽出する処理；
（２）被写体及び背景の動きを利用してサムネイルを抽出する処理；
に分けて説明する。

（１）の処理を図４に示し、（２）の処理を図５に示す。

まず、上記の（１）の処理について説明する。当該処理は装置構成に画像単位対応部１３０が含まれない場合を示す。

図４は、本発明の一実施の形態における動作のフローチャート（画像ベース被写体検出利用）である。

ステップ１０１） 映像入力更新手順：
映像入力部１１０は、映像の次の処理フレームをフレームバッファ１０２等へ読み出し、各装置（カット点検出部１２０、画像単位対応部１３０、被写体検出部１４０、サムネイル画像抽出部１５０）から利用可能にする手順である。処理を初めて開始した際には、カット点検出部１２０及び被写体検出手順における処理に必要なフレーム数を、例えば、フレームバッファ１０２に読み出す。例えば特徴点追跡を利用した被写体検出であれば２枚である。

ステップ１０２）カット点検出手順：
カット点検出部１２０は、読み出した処理対象フレーム間にカット点があるかどうか判定し、カット点がある場合は処理を飛ばすために映像入力更新手順（ステップ１０１）に戻る。カット点がない場合は被写体検出手順（ステップ１０３）に移行する。

ステップ１０３） 被写体検出手順：
被写体検出部１４０は、被写体の検出有無を、例えば、特徴点を画像単位として動きによって判定し、時系列被写体リスト記憶部１０４に格納し、ステップ１０２に戻る。

ステップ１０４） サムネイル検出手順：
サムネイル画像抽出部１５０は、ステップ１０３で格納された時系列被写体リスト記憶部１０４の情報を基にサムネイルとして抽出するフレーム画像を選択し、選択された画像の映像時刻等をサムネイル時刻リスト記憶部１０５に記憶する。具体的な手順は図６に後述する。

ステップ１０５） 映像が終端であるかを判定する。判定方法は、次のフレームを読み出そうとして、読み出させるかどうかを判定するなど種々の方法がある。映像が終端の場合は、ステップ１０６に移行し、終端でない場合はステップ１０１に移行する。

ステップ１０６） 出力部１６０において、サムネイル時刻リスト記憶部１０５等、必要なファイル出力の開放やメモリの開放などの終了手順を行う。

次に、上記の（２）の処理について説明する。以下では、装置構成に、画像単位対応部１３０が含まれる場合の処理について説明する。

図５は、本発明の一実施の形態における動作のフローチャート（画像ベース被写体検出利用）である。同図において、図４と同一の手順については同一のステップ番号を付し、その説明を省略する。

図５に示す動作は、図４の動作に画像単位対応手順（ステップ２０１）が追加されたものである。具体的には画像単位対応部１３０において、各画像単位毎のフレーム間対応をとり、時系列被写体リスト記憶部１０４に記憶する。画像単位毎のフレーム間の対応をとる方法は、前述のようにブロックマッチング、特徴点追跡手法を用いることで実現可能である。これは、被写体検出手順（ステップ１０３）に被写体同士の対応付け、あるいは動きベクトル（画像単位対応付け）の処理が入っていない場合に必要となる。

＜サムネイルの抽出方法：被写体動きを利用＞
次に、上記のステップ１０４における被写体動きを利用したサムネイルの抽出方法について説明する。

図６は、本発明の一実施の形態におけるサムネイル画像抽出手順のフローチャートである。

ステップ１０４１） 被写体・背景動き量算出手順
サムネイル画像抽出部１５０は、時系列被写体リスト記憶部１０４の情報を利用して被写体及び背景の動き量を算出する。例えば、前述の非特許文献２の手法では、画像単位座標（集合）は特徴点集合で記憶されている。動きベクトルを対応する特徴点の各フレーム間のベクトル差分として、例えば、全被写体の動きベクトル絶対値の中央値を被写体の動き量として算出する。また、背景の動き量をサムネイル抽出条件に利用する場合は、被写体同様に背景の特徴点に関して動きベクトル絶対値の中央値を背景の動き量として算出する。この算出をショット内の全てのフレーム間で行う。その後、必要に応じてその動き量グラフに対して平滑化処理を行うなどの前処理を行う。こうして被写体及び背景の動き量のグラフを作成する。スノーボードを行っている映像に対して作成したグラフの例を図７に示す。なお、被写体検出部１４０に別の手法を用いた場合、例えば、矩形を画像単位とするオブジェクト認識手法の場合は、被写体領域の矩形重心座標同士のベクトル差を上記被写体動き量とすることで同様の処理を行うことができる。また、被写体・背景動き量を中央値として算出しているが、他の計算方法を用いてもよい。

ステップ１０４２）サムネイル抽出条件検出手順：
被写体・背景動き量算出手順（ステップ１０４１）で得られた各動き量のグラフの極大・極小値及び被写体の位置や大きさを考慮してサムネイルを検出する。以下にその検出例を示す。始めに被写体・背景動き量算出手順にて算出された動き量それぞれに対して極大・極小を取る映像時刻を選択する。更に、その各映像時刻前後のある範囲内で被写体の位置、大きさに対する条件を最も満たす映像時刻をそれぞれ選択する。被写体の位置・大きさの評価基準は、例えば、画面中央の垂線と被写体重心座標との距離の逆数（距離が０の場合はある定数）と、また被写体が画面に占める割合とを掛け合わせたものを評価基準（大きな方がより適している）として利用する。そして評価値として被写体の位置及び大きさの評価基準の重み付き和を上記評価値として選択基準に利用することで被写体の位置・大きさを満たす時刻を算出することができる。

なお、被写体と背景を区別せずに合わせた動き量を算出し、極大・極小値をとるサムネイルを検出してもよい。この場合、画面内容全体の変化の様子を表すサムネイルを抽出できる。また、評価値の算出方法は他の任意の算術計算でもよい。

動きの極大値付近で選択された前後の画像を任意の方法で複数枚抽出してもよい（例えば、等間隔で一定枚数抽出するなど）。スノーボードなどのスポーツ映像に対しては映像内の動き、すなわち変化が激しいため、動きの変化を詳しく見られるサムネイルを抽出するために必要となる。

極大・極小を取る映像時刻を選択する際、その山と谷の高さに条件を入れて選択を絞りこんでもよい。例えば、前後の極大・極小の差が一定値以下の場合はその極値は選択しない、などである。被写体、背景あるいは画面全体が大きく動いた時点のサムネイルのみを選択することが可能になる。処理対象映像によって山と谷の高さの条件を変更することでより映像内容を表現したサムネイルを抽出可能になる。

被写体動き、背景動き共に突発的にインパルス応答を示し、被写体・背景の動きにあまり差がない場合は有意な画像でない場合が多いため検出しなくてもよい。この理由は「背景動きを利用したサムネイル抽出」の項で後述する。

また、時系列被写体リスト記憶部１０４の被写体の分類に人や車などの分類が記憶されている場合には、特定の被写体の動き量のみを利用して上記サムネイル選択を行ってもよい。この場合、注目被写体のみの変化に着目したサムネイルを抽出できる。

ステップ１０４３）検出時刻記憶手順：
サムネイル抽出条件検出手順（ステップ１０４２）で検出されたサムネイル時刻をサムネイル時刻リスト記憶部１０４に格納する。または、映像入力部１１０により該当時刻の画像を取得し、ファイル、メモリ等に記憶してもよい。

＜サムネイル画像抽出手順：背景動きを利用したサムネイル抽出＞
例として、ドラマ映像に対して、被写体・背景動き算出手順（ステップ１０４１）で作成した被写体・背景のグラフを図８に示す。

サムネイル抽出条件を背景動きの極大・極小とすることで、カメラの動きに応じたサムネイルを抽出できる。視点を切り替えるため、あるいは風景を見渡すためにカメラを動かした際の場面の移り変わりを表現したサムネイルを抽出可能である。

なお、視点切り換えと風景撮影を区別して検出する方法は、突発的に背景動き及び被写体動きの極大値が共に閾値以上で、両者の比が一定値以下になる場合を"視点切り換え"とし、それ以外に発生した背景動きを"風景撮影"と見なすことで実現可能である。すなわち、これは"視点切り換え"の場合はカメラを動かす途中の場面には興味がないため、"風景撮影"に比べてカメラを素早く動かすことを仮定したものである。なお、突発性の評価は、例えば、極大値の中央値より一定以上大きな極大値の５０％地点の幅（図８（ｂ））が一定値以下の場合を"突発的"と見なすことで行うことができる。

なお、図８（ｃ）に示すような、被写体と背景動きがほぼ等しい区間は被写体がアップで写った区間である（なお、非特許文献２ではこれを利用してカメラワークに生じる急激な変化を検出することでアップショットを検出している）。背景サムネイルの抽出では、例えば、この区間を事前に除くことで過剰検出を防ぐことが可能である。検出方法は検出された背景・被写体動きの極大・極小値の差分絶対値を連続してある個数だけ平均した値が閾値以下として検出する、あるいは、極大・極小値の代わりにその区間内の差分絶対値の平均を利用するなどして検出可能である。

＜フォローショット検出＞
本発明は、上記の背景動きに加えて、被写体動きも考慮することで、被写体に注目して追跡撮影したフォローショットを検出可能である。図９にグラフの例を示す。

注目被写体が歩き、カメラがそれを追ったとき、被写体の映像の見た目上の動きは比較的小さくなる一方、カメラの動きが発生する。サムネイル画像抽出部１５０がそれを検出することで、フォローショットを検出できる。具体例としては、カメラワーク区間をカメラ動きの極小値間（図９（ａ））とし、その区間内の被写体動き平均値を算出し、背景極大値の前後近傍に被写体動き極小値が存在し、その極小値が被写体動き平均値に比して小さい場合にフォローショットとして検出する。

検出されたフォローショット前後で前述の「サムネイルの抽出方法：被写体動きを利用」、「サムネイル画像抽出手順：背景動きを利用したサムネイル抽出」の手順と同様にサムネイルを抽出することで、注目被写体を含むサムネイルを抽出することが可能となる。

＜出力部：スライドショー提示の方法＞
出力部１６０では、サムネイル時刻リスト記憶部１０５の映像フレーム番号に基づいてフレームバッファ１０２からサムネイルを抽出し、そのサムネイルを、例えば、画像を順次表示していくスライドショーのような提示方法でユーザに提示するのが効果的である。

スライドショーを提示する際に、例えば、動きの極大値にあたるサムネイルは動きの極小値にあたるサムネイルより短く表示する。また、画像と画像を入れ替える際にディゾルブなどの効果を入れることで、より動きを強調したスライドショーとなる。

スライドショーとして表示するサムネイル検出方法として適するサムネイル抽出の方法は対象映像によって異なる。スポーツのように被写体の動きが重要な場合は、被写体動きを利用したサムネイル抽出が適している。また、ドラマのように場面の転換も重要な場合は、被写体動きを利用する手法及び背景動きを利用する方法の両者の方法で抽出されたサムネイルを利用する。個人が撮影した映像など撮影者が注目した被写体を追い続ける傾向がある場合は、前述のフォローショットのサムネイルを利用することも効果的である。

なお、図３に示す映像処理装置の各構成要素の動作をプログラムとして構築し、映像処理装置として利用されるコンピュータにインストールする、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、映像から映像内容を表す代表画像を抽出する技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における映像処理装置の構成図である。 本発明の一実施の形態における動作のフローチャート（その１）である。 本発明の一実施の形態における動作のフローチャート（その２）である。 本発明の一実施の形態におけるサムネイル画像抽出手順のフローチャートである。 本発明の一実施の形態における抽出サムネイル例（被写体動き利用）である。 本発明の一実施の形態における被写体・背景動き量グラフと抽出サムネイル例（背景動き利用）である。 本発明の一実施の形態における被写体・背景動き量グラフと抽出サムネイル例（背景・被写体動き利用）である。

符号の説明

１０１ 映像記憶部
１０２ 映像フレーム記憶手段、フレームバッファ
１０３ 被写体映像区間リスト記憶部
１０４ 時系列被写体リスト記憶部、時系列被写体リスト記憶部
１０５ サムネイル時刻記憶手段、サムネイル時刻リスト記憶部
１１０ 映像入力手段、映像入力部
１２０ カット点検出部
１３０ 画像単位対応部
１４０ 被写体検出手段、被写体検出部
１５０ サムネイル画像抽出手段、サムネイル画像抽出部
１６０ 出力部

Claims (10)

1. 映像の中から映像内容を表す代表画像を抽出する映像処理方法であって、
   映像入力手段が、映像を入力し、映像フレーム記憶手段に格納する映像入力ステップと、
   被写体検出手段が、前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出ステップと、
   サムネイル画像抽出手段が、前記時系列被写体リスト記憶手段に格納された前記被写体の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と前記被写***置との距離の逆数と、前記被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出ステップと、
   を行うことを特徴とする映像処理方法。
2. 映像の中から映像内容を表す代表画像を抽出する映像処理方法であって、
   映像入力手段が、映像を入力し、映像フレーム記憶手段に格納する映像入力ステップと、
   被写体検出手段が、前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出ステップと、
   画像単位対応手段が、画像単位毎のフレーム間の動きベクトルを算出し、背景の情報を前記時系列被写体リスト記憶手段に格納する画像単位対応ステップと、
   サムネイル画像抽出手段が、前記時系列被写体リスト記憶手段に格納された情報を利用して、背景の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と前記被写***置との距離の逆数と、前記被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出ステップと、
   を行うことを特徴とする映像処理方法。
3. 前記サムネイル画像抽出ステップにおいて、
   前記時系列被写体リスト記憶手段に格納された情報を利用して、前記被写体と背景の両者の動き量を算出し、前記被写体の動き量及び前記背景の動き量の一方の極大・極小値の時点を取り出し、取り出した時点の周辺において、他方の動き量による条件を加えて決まる時点を前記抽出時点とする
   請求項２記載の映像処理方法。
4. 前記サムネイル画像抽出ステップにおいて、
   前記時系列被写体リスト記憶手段に格納された情報を利用して、前記被写体と背景の両者の動き量を算出し、背景の動き量の２つの連続する極小値間における前記被写体の動き量の平均値を算出し、前記２つの連続する極小値間にある背景の動き量の極大値の前後近傍に前記被写体の動き量の極小値が存在し、かつ、その極小値が前記被写体の動き量の平均値より小さい場合に、前記被写体の動き量の極小値の時点を前記抽出時点とする
   請求項２記載の映像処理方法。
5. 映像の中から映像内容を表す代表画像を抽出する映像処理装置であって、
   映像を入力し、映像フレーム記憶手段に格納する映像入力手段と、
   前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出手段と、
   前記時系列被写体リスト記憶手段に格納された前記被写体の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と前記被写***置との距離の逆数と、前記被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出手段と、
   を有することを特徴とする映像処理装置。
6. 映像の中から映像内容を表す代表画像を抽出する映像処理装置であって、
   映像を入力し、映像フレーム記憶手段に格納する映像入力手段と、
   前記映像フレーム記憶手段から映像フレームを取得して、該映像フレーム内の被写体を検出し、フレーム対応付けを行って被写体の位置とともに時系列被写体リスト記憶手段に格納する被写体検出手段と、
   画像単位毎のフレーム間の動きベクトルを算出し、背景の情報を前記時系列被写体リスト記憶手段に格納する画像単位対応手段と、
   前記時系列被写体リスト記憶手段に格納された情報を利用して、背景の動き量を算出し、算出した動き量の極大・極小値の時点を抽出時点とし、当該抽出時点の周辺の中で、画面中央と前記被写***置との距離の逆数と、前記被写体面積の画面に占める割合との重み付き和を評価値とし、当該評価値に基づいて、サムネイル画像を抽出するサムネイル画像抽出手段と、
   を有することを特徴とする映像処理装置。
7. 前記サムネイル画像抽出手段は、
   前記時系列被写体リスト記憶手段に格納された情報を利用して、前記被写体と背景の両者の動き量を算出し、前記被写体の動き量及び前記背景の動き量の一方の極大・極小値の時点を取り出し、取り出した時点の周辺において、他方の動き量による条件を加えて決まる時点を前記抽出時点とする
   請求項６記載の映像処理装置。
8. 前記サムネイル画像抽出手段は、
   前記時系列被写体リスト記憶手段に格納された情報を利用して、前記被写体と背景の両者の動き量を算出し、背景の動き量の２つの連続する極小値間における前記被写体の動き量の平均値を算出し、前記２つの連続する極小値間にある背景の動き量の極大値の前後近傍に前記被写体の動き量の極小値が存在し、かつ、その極小値が前記被写体の動き量の平均値より小さい場合に、前記被写体の動き量の極小値の時点を前記抽出時点とする
   請求項６記載の映像処理装置。
9. 請求項５乃至８のいずれか１項に記載の映像処理装置を構成する各手段としてコンピュータを機能させるための映像処理プログラム
10. 請求項９記載の映像処理プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体。

Images