JP2014187687A - 動画像のハイライトシーン抽出装置及び方法 - Google Patents

Abstract

【課題】動画像中から人物の顔を含む特定のハイライトシーンを抽出する。
【解決手段】ハイライトシーン抽出装置は、フレーム画像から人物の顔を検出するフレーム抽出回路２と、フレーム画像における検出された顔の位置及び大きさによって決まる複数の特徴値を含むシーン構図特徴Ｃを生成するシーン構図決定回路４と、少なくとも１つの特定のハイライトシーンにおける人物の顔の位置及び大きさによって決まる複数の特徴値の範囲をシーン構図条件Ｄとして予め格納したシーン記憶装置５と、シーン構図特徴Ｃの特徴値がシーン構図条件Ｄの特徴値の範囲内にあるか否かを判定するハイライトシーン抽出装置６と、シーン構図特徴Ｃの特徴値がシーン構図条件Ｄの特徴値の範囲内にあるとき、フレーム画像にハイライトシーンのインデックスを付与するインデックス生成回路７とを備える。
【選択図】図１

Description

本発明は、動画像のハイライトシーン抽出装置及び方法に関し、特に、動画像中から人物の顔を含む特定のハイライトシーンを抽出する装置及び方法に関する。

動画像から人物の顔を抽出し、顔インデックスを作成する技術として、例えば特許文献１の発明が知られている。

特許文献１の発明は、動画像蓄積部、顔画像追跡部、代表顔決定部、顔インデックス構築部を備える。動画像蓄積部から取り出された各フレーム画像に対して、顔画像追跡部は、各フレーム画像中の顔を検出し、連続フレーム中で、検出された顔がフレーム中の同じ位置にある場合、同一人物の画像として追跡し、１つのまとまったフレーム群情報を生成する。次いで、代表顔決定部は、まとまったフレーム群から正面顔に近いものを代表顔画像として選択する。顔インデックス構築部は、この選択された代表顔画像を顔画像キーとして用いて、顔インデックスを構築する。ユーザは、例えばサムネイル画像として表示された顔画像キーを選ぶことで、その顔画像の人物が登場しているシーンを検索して再生することができる。

特開２００８−２５２２９６号公報

P. Viola, M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), Vol. 1, pp. 511-51, 2001

動画像は、その内容に応じて、さまざまなハイライトシーンを含む。例えば、ドラマの盛り上がるシーンでは、２人の人物の顔が大きく表示されることがあり、また、重要なシーン又はスポーツ等のインタビューでは、１人の人物が大きく表示されることがある。

特許文献１の発明では、ユーザが動画像から選択できるシーンは、顔画像キーで特定されるものに限られていた。従って、特許文献１の発明では、ユーザは、顔画像キーの人物が登場しているシーンを検索して再生することができるが、特定のハイライトシーンを検索して再生することが困難であった。

本発明の目的は、以上の問題点を解決し、動画像中から人物の顔を含む特定のハイライトシーンを抽出する動画像のハイライトシーン抽出装置及び方法を提供することにある。

本発明の態様に係る動画像のハイライトシーン抽出装置は、
動画像のフレームから人物の顔を検出する手段と、
上記フレームにおける上記検出された顔の位置及び大きさによって決まる複数の特徴値を含むシーン構図特徴を生成する手段と、
少なくとも１つの特定のハイライトシーンにおける人物の顔の位置及び大きさによって決まる複数の特徴値の範囲をシーン構図条件として予め格納した格納手段と、
上記シーン構図特徴の特徴値が上記シーン構図条件の特徴値の範囲内にあるか否かを判定する第１の判定手段と、
上記シーン構図特徴の特徴値が上記シーン構図条件の特徴値の範囲内にあるとき、上記フレームにハイライトシーンのインデックスを付与するインデックス手段とを備えたことを特徴とする。

本発明によれば、動画像中から人物の顔を含む特定のハイライトシーンを抽出することができる。

本発明の実施の形態１に係るハイライトシーン抽出装置の構成を示すブロック図である。 図１のハイライトシーン抽出装置によって実行されるインデックス生成処理を示すフローチャートである。 図１の顔検出回路３により、フレーム画像１００から人物Ｐ０の顔を検出する例を示す図である。 図１の顔検出回路３により、フレーム画像１０１から複数の人物Ｐ０及びＰ１の顔を検出する例を示す図である。 図１のシーン構図決定回路４により決定された、複数の人物Ｐ０〜ＰＮを含むフレーム画像のシーン構図特徴Ｃを示す表である。 ドラマのハイライトシーンを含むフレーム画像１１０の例を示す図である。 図６のフレーム画像１１０における注目領域１１１及び注目人物Ｐｉの顔Ｆｉを示す図である。 図６のフレーム画像１１０におけるシーン構図特徴Ｃを示す図である。 本発明の実施の形態２に係るハイライトシーン抽出装置の構成を示すブロック図である。 図９の動画像ジャンル決定回路１１、シーン構図選択回路１２、及び顔追跡回路１３によって実行されるシーン選択処理Ｓ５Ａを示すフローチャートである。 インタビューシーンを含むフレーム画像１２０の例を示す図である。 インタビューシーンを含む動画像のシーン構図特徴Ｃの例を示す図である。 本発明の実施の形態３に係るハイライトシーン抽出装置の構成を示すブロック図である。 図１３のハイライトシーン抽出装置によって実行されるインデックス生成処理を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について説明する。各図面にわたって、同様の構成要素は、同じ符号により示す。

実施の形態１．
図１は、本発明の実施の形態１に係るハイライトシーン抽出装置の構成を示すブロック図である。図１のハイライトシーン抽出装置は、動画像入力回路１、フレーム抽出回路２、顔検出回路３、シーン構図決定回路４、シーン記憶装置５、ハイライトシーン判定回路６、インデックス生成回路７、及び動画像記憶装置８を備える。

動画像入力回路１は、チューナ、ＤＶＤもしくはブルーレイなどの記録媒体、又は、ＬＡＮもしくはインターネットなどのネットワークから動画像を取得する。動画像入力回路１は、後述する動画像記憶装置８から動画像を取得してもよい。フレーム抽出回路２は、入力された動画像から一連のフレーム画像を生成する。顔検出回路３は、生成された各フレーム画像から人物の顔を検出する。フレーム画像から顔を検出するために、例えば非特許文献１の方法を使用可能である。

図３は、図１の顔検出回路３により、フレーム画像１００から人物Ｐ０の顔を検出する例を示す図である。図４は、図１の顔検出回路３により、フレーム画像１０１から複数の人物Ｐ０及びＰ１の顔を検出する例を示す図である。図３のフレーム画像１００は、サイズｈ×ｗを有する。図３のフレーム画像１００は人物Ｐ０を含み、人物Ｐ０の顔は、頂点Ａ０，Ｂ０を有する矩形領域Ｆ０として検出される。人物Ｐ０の顔Ｆ０は、例えば正方形領域であり、その位置は重心Ｇ０＝（ｘ_０，ｙ_０）により特定され、その大きさは辺の長さｌ_０により特定される。また、図４のフレーム画像１０１は人物Ｐ０，Ｐ１を含み、人物Ｐ１の顔Ｆ１は、例えば正方形領域であり、その位置は重心Ｇ１＝（ｘ_１，ｙ_１）により特定され、その大きさは辺の長さｌ_１により特定される。

シーン構図決定回路４は、フレーム画像における検出された顔の位置及び大きさによって決まる複数の特徴値を含むシーン構図特徴Ｃを生成する。動画像において盛り上がるシーン又は重要なシーン等は、登場人物の空間的な配置により定義することができる。従って、シーン構図特徴Ｃの特徴値は、この登場人物の空間的な配置を定義する。

図５は、図１のシーン構図決定回路４により決定された、複数の人物Ｐ０〜ＰＮを含むフレーム画像のシーン構図特徴Ｃを示す表である。シーン構図特徴Ｃの各要素Ｃ_ｉｊ（１≦ｉ，ｊ≦Ｎ）は、任意の一対の人物Ｐｉ，Ｐｊについて、以下のように定義される。

［数１］
Ｃ_ｉｊ＝（ｘ_ｉ，ｙ_ｉ，ｈ_ｉ，ｓ_ｉｊ，ｄ_ｉｊ）
［数２］
ｈ_ｉ＝ｌ_ｉ／ｈ
［数３］
ｓ_ｉｊ＝ｌ_ｊ／ｌ_ｉ
［数４］
ｄ_ｉｊ＝ｓｑｒｔ（（ｘ_ｉ−ｘ_ｊ）^２＋（ｙ_ｉ−ｙ_ｊ）^２）／ｈ

ここで、ｘ_ｉ，ｙ_ｉは、人物Ｐｉの顔の位置（重心）を示す。ｈ_ｉは、フレーム画像のサイズｈで正規化された人物Ｐｉの顔の大きさである。ｓ_ｉｊは、人物Ｐｉ，Ｐｊの顔の大きさの比である。ｄ_ｉｊは、フレーム画像のサイズｈで正規化された人物Ｐｉ，Ｐｊの顔の間の距離である。言い換えると、シーン構図特徴Ｃの各要素Ｃ_ｉｊは、人物Ｐｉ自体の顔を特定する特徴値（位置ｘ_ｉ，ｙ_ｉ及び大きさｈ_ｉ）と、他の人物Ｐｊの顔との関係を示す特徴値（大きさの比ｓ_ｉｊ及び距離ｄ_ｉｊ）とを含む。なお、一般的なフレーム画像は横長であり（ｗ＞ｈ）、このため、数２及び数４では、短辺の長さｈを用いている。

シーン記憶装置５は、少なくとも１つの特定のハイライトシーンにおける人物の顔の位置及び大きさによって決まる複数の特徴値の範囲をシーン構図条件Ｄとして予め格納している。言い換えると、シーン構図条件Ｄは、フレーム画像が特定のハイライトシーンであるときに、当該ハイライトシーンが有すると考えられるシーン構図特徴Ｃの特徴値の予め決められた範囲を示す。

例示的なシーン構図条件Ｄを以下に示す。

［数５］
ｒ_０／３≦ｘ_ｉ／ｈ≦ｒ_０×２／３
［数６］
１／３≦ｙ_ｉ／ｈ≦２／３
［数７］
１／２≦ｈ_ｉ≦１
［数８］
０．８≦ｓ_ｉｊ≦１．２
［数９］
ｈ_ｉ×１．５≦ｄ_ｉｊ≦ｈ_ｉ×２．５

ここで、係数ｒ_０＝ｗ／ｈである。数５〜数９のシーン構図条件Ｄは、動画像がドラマである場合を示す。ドラマの場合、主人公と、それと主に関係する重要人物とが存在し、シナリオの展開の中で重要なシーンでは、主人公とその重要人物とが大きく表示されることが多い。このようなシーンのシーン構図特徴Ｃ及びシーン構図条件Ｄについて、図６〜図８を参照して以下に説明する。

図６は、ドラマのハイライトシーンを含むフレーム画像１１０の例を示す図である。図７は、図６のフレーム画像１１０における注目領域１１１及び注目人物Ｐｉの顔Ｆｉを示す図である。図８は、図６のフレーム画像１１０におけるシーン構図特徴Ｃを示す図である。図６のフレーム画像１１０は、注目人物（主人公）となる人物Ｐｉと、その周辺人物となる人物Ｐｊとを含む。まず、フレーム画像１１０の中央の注目領域１１１で大きく表示されている顔Ｆｉを有する人物Ｐｉを、注目人物として決定し（図７）、また、注目人物である人物Ｐｉの近くにおいて、人物Ｐｉと同様に大きく表示されている顔Ｆｊを有する人物Ｐｊを、周辺人物として決定する（図８）。注目人物及び周辺人物は、その顔の位置（ｘ_ｉ，ｙ_ｉ；ｘ_ｊ，ｙ_ｊ）及び大きさ（ｈ_ｉ；ｈ_ｊ）が数５〜数７を満たす人物である。さらに、フレーム画像１１０は、数８及び数９をさらに満たすとき、ドラマのハイライトシーンであると判断される。なお、数５〜数９に例示した特徴値の範囲は、固定値ではなく、設計時に任意に設定できる。

シーン記憶装置５に格納されるシーン構図条件Ｄは、数５〜数９に例示された特徴値の範囲に限定されるものではなく、また、ドラマ以外の他のハイライトシーンが有すると考えられるシーン構図特徴Ｃの特徴値の範囲を格納してもよい。

ハイライトシーン判定回路６は、シーン構図決定回路４によって生成されたシーン構図特徴Ｃの特徴値が、シーン記憶装置５に格納されたシーン構図条件Ｄの特徴値の範囲内にあるか否かを判定する。次いで、インデックス生成回路７は、シーン構図特徴Ｃの特徴値がシーン構図条件Ｄの特徴値の範囲内にあるとき、フレーム画像にハイライトシーンのインデックスを付与する。

ハイライトシーン判定回路６による判定を、以下のコードにより説明する。

［数１０］
ｆｏｒ ｉ：＝１ ｔｏ Ｎ ｄｏ
ｆｏｒ ｊ：＝１ ｔｏ Ｎ ｄｏ
ｉｆ ｉ≠ｊ ｔｈｅｎ
ｖａｌ：＝ｃａｌｃ＿ｃｏｒｒ（Ｃ_ｉｊ，Ｄ）
ｉｆ ｖａｌ＝＝ｔｒｕｅ ｔｈｅｎ
ｍａｋｅ＿ｉｎｄｅｘ（ｉ，ｊ，Ｄ）
ｅｎｄ
ｅｎｄ

数１０によれば、あるフレーム画像のシーン構図特徴Ｃの各要素Ｃ_ｉｊ（１≦ｉ，ｊ≦Ｎ）のうち、ｉ≠ｊのすべての要素について、関数ｃａｌｃ＿ｃｏｒｒ（Ｃ_ｉｊ，Ｄ）を実行し、関数ｃａｌｃ＿ｃｏｒｒ（Ｃ_ｉｊ，Ｄ）がｔｒｕｅ（真）の値を返すとき、関数ｍａｋｅ＿ｉｎｄｅｘ（ｉ，ｊ，Ｄ）を実行する。関数ｃａｌｃ＿ｃｏｒｒ（Ｃ_ｉｊ，Ｄ）は、あるフレーム画像のシーン構図特徴Ｃの特徴値が数５〜数９のシーン構図条件Ｄの特徴値の範囲内にあるか否かを判定し、ＹＥＳのときｔｒｕｅ（真）の値を返し、ＮＯのときｆａｌｓｅ（偽）の値を返す。ここで、関数ｃａｌｃ＿ｃｏｒｒ（Ｃ_ｉｊ，Ｄ）がｔｒｕｅの値を返すとき、インデックス生成回路７は、関数ｍａｋｅ＿ｉｎｄｅｘ（ｉ，ｊ，Ｄ）を実行することで、フレーム画像にハイライトシーンのインデックスを付与する。詳しくは、インデックス生成回路７は、フレーム画像のタイムスタンプ情報を動画像記憶装置８に記憶することで、当該フレーム画像にハイライトシーンが含まれることを示す。

動画像記憶装置８は、ハイライトシーンのインデックスを記憶するとともに、動画像入力回路１によって取得された動画像を記憶する。ユーザは、動画像の再生時にハイライトシーンのインデックスを用いて、動画中のハイライトシーンを検索することができる。なお、ハイライトシーンのインデックスを記憶する記憶装置と、動画像入力回路１によって取得された動画像を記憶する記憶装置とが、別個に設けられてもよい。

図２は、図１のハイライトシーン抽出装置によって実行されるインデックス生成処理を示すフローチャートである。図２のステップＳ１において、動画像入力回路１は動画像を取得する。ステップＳ２において、フレーム抽出回路２は、取得された動画像からフレーム画像を生成する。ステップＳ３において、顔検出回路３は、生成されたフレーム画像から顔を検出する。ステップＳ４において、シーン構図決定回路４は、検出された顔情報を用いてシーン構図特徴を生成する。ステップＳ５のシーン選択処理において、ハイライトシーン判定回路６は、シーン構図条件をシーン記憶装置５から読み出す。ステップＳ６において、ハイライトシーン判定回路６は、シーン構図特徴の特徴値が、シーン構図条件の特徴値の予め決められた範囲内にあるか否かを判定し、ＹＥＳのときはステップＳ７に進み、ＮＯのときはステップＳ８に進む。ステップＳ７において、インデックス生成回路７は、フレームにハイライトシーンのインデックスを付与し、当該インデックスを動画像記憶装置８に記憶する。ステップＳ８において、シーン構図決定回路４は、取得された動画像から次のフレーム画像を生成し、ステップＳ３に戻る。

以上説明したように、本発明の実施の形態１に係るハイライトシーン抽出装置によれば、動画像中から人物の顔を含む特定のハイライトシーンを抽出することができる。

本発明では、動画像の撮影者の意図（ハイライトシーンであるか否か）がフレーム画像中における人物の配置として現れることに着目している。本発明では、人物の配置として、フレーム画像における検出された顔の位置及び大きさによって決まる複数の特徴値を含むシーン構図特徴を生成する。本発明によれば、フレーム画像から生成されたシーン構図特徴の特徴値が、予め格納されたシーン構図条件の特徴値の範囲内にあるか否かを判定し、動画像の中から特定のハイライトシーンだけを検索して再生することができる。

従来技術の手法では、動画像中に顔が現れるか否かという点だけに注目し、各フレーム画像から顔を検出し、顔が現れる部分に対して検索用の顔インデックスを作成していた。これに対して、本発明の実施の形態１では、シーン構図特徴を用いることで、ある人物が登場する特定のハイライトシーンを抽出することができる。

実施の形態２．
一般に、動画像は特定のジャンルに関連付けられ、ジャンルに応じて、異なるハイライトシーンを含む可能性がある。本発明の実施の形態２では、動画像のジャンルに応じて異なるシーン構図条件を選択する。

図９は、本発明の実施の形態２に係るハイライトシーン抽出装置の構成を示すブロック図である。図９のハイライトシーン抽出装置は、図１のハイライトシーン抽出装置の構成要素に加えて、動画像ジャンル決定回路１１、シーン構図選択回路１２、及び顔追跡回路１３を備える。また、図９のハイライトシーン抽出装置は、図１のインデックス生成回路７に代えて、顔追跡回路１３から出力される信号に応じて動作するインデックス生成回路７Ａを備える。シーン記憶装置５は、少なくとも１つの特定のジャンルのハイライトシーンにおける人物の顔の位置及び大きさによって決まる複数の特徴値の範囲をシーン構図条件として予め格納している。

動画像ジャンル決定回路１１は、例えば放送波中のＥＰＧ（電子番組ガイド）情報から、動画像のジャンルを示すジャンル情報（ドラマ、ニュース、スポーツなど）を取得する。次いで、動画像ジャンル決定回路１１は、動画像がインタビューシーンを含むジャンルであるか否かを判定する。動画像がインタビューシーンを含むジャンル（ニュース又はスポーツなど）であるとき、シーン構図選択回路１２は、当該ジャンルと同じジャンルのハイライトシーンに対応するシーン構図条件をシーン記憶装置５から選択してハイライトシーン判定回路６に送り、顔追跡回路１３は、フレーム画像における検出された顔を一定時間にわたって追跡する。一方、動画像がインタビューシーンを含まないジャンル（ドラマなど）であるとき、シーン構図選択回路１２は、当該ジャンルと同じジャンルのハイライトシーンに対応するシーン構図条件をシーン記憶装置５から選択してハイライトシーン判定回路６に送り、顔追跡回路１３は顔の追跡を実行しない。

ここで、図１１及び図１２を参照して、顔追跡回路１３による顔の追跡について説明する。

図１１は、インタビューシーンを含むフレーム画像１２０の例を示す図である。図１２は、インタビューシーンを含む動画像のシーン構図特徴の例を示す図である。動画像入力回路１、フレーム抽出回路２、及び顔検出回路３は、実施の形態１の場合と同様に動作する。図１２の時間ｔ_０においてフレーム画像１２０に含まれる人物Ｐ１０の顔Ｆ１０が検出されたとき、顔追跡回路１３は、時間ｔ_０におけるフレーム画像から時間的に連続した複数のフレーム画像のうちの各隣接したフレーム画像において検出される顔の位置又は大きさの変化量が、所定のしきい値より小さいか否かを判定する。言い換えると、顔追跡回路１３は、顔の位置の変化量のしきい値ｔｈ_ｄ、又は、顔の大きさの変化量のしきい値ｔｈ_ｈに対して、次式のいずれかを満たすか否かを判定する。

［数１１］
ｔｈ_ｄ≦ｓｑｒｔ（（ｘ（ｎ＋１）−ｘ（ｎ））^２＋（ｙ（ｎ＋１）−ｙ（ｎ））^２）
［数１２］
ｔｈ_ｈ≦ａｂｓ｜ｈ（ｎ＋１）−ｈ（ｎ）｜

ここで、整数ｎは、離散化された時間ｔを示す。

図１２の例では、時間ｔ_０から時間ｔ_１までの時間期間にわたって、フレーム画像１２０は実質的に一定の顔Ｆ１０を含み、従って、数１１及び数１２のいずれも成立しない。時間ｔ_０から時間ｔ_１までの時間期間では、顔の位置又は大きさの変化量がしきい値ｔｈ_ｄ又はｔｈ_ｈより小さいフレーム画像が連続し、この時間期間を「追跡時間長ｔａ」と呼ぶ。

顔追跡回路１３は、数１１及び数１２のいずれかが満たされたとき、追跡時間長ｔａが所定のしきい値ｔｈ_１を超えているか否かを判定する。追跡時間長ｔａがしきい値ｔｈ_１を超えているとき、フレーム画像１２０はインタビューシーン（すなわち、フレーム画像の中央に同一人物の顔が長時間にわたって大きく表示されているシーン）を含むと考えられる。このとき、顔追跡回路１３は、インタビューシーンに対応するシーン構図条件をシーン記憶装置５から選択してハイライトシーン判定回路６に送るようにシーン構図選択回路１２に指示し、さらに、顔追跡回路１３は、追跡時間長ｔａの開始時間ｔ_０をインデックス生成回路７Ａに通知する。一方、追跡時間長ｔａがしきい値ｔｈ_１を超えていないとき、フレーム画像１２０はインタビューシーンを含まないと考えられる。このとき、顔追跡回路１３は、動画像ジャンル決定回路１１によって判定された動画像のジャンルに対応するシーン構図条件をシーン記憶装置５から選択してハイライトシーン判定回路６に送るようにシーン構図選択回路１２に指示する。

ハイライトシーン判定回路６は、シーン構図選択回路１２により送られたシーン構図条件に基づいて、実施の形態１の場合と同様に、シーン構図特徴の特徴値がシーン構図条件の特徴値の範囲内にあるか否かを判定する。

インデックス生成回路７Ａは、追跡時間長ｔａがしきい値ｔｈ_１を超えているとき（すなわち、顔追跡回路１３から追跡時間長ｔａが入力されているとき）、かつ、シーン構図特徴の特徴値がシーン構図条件の特徴値の範囲内にあるとき、追跡時間長ｔａの開始時間ｔ_０のフレーム画像にハイライトシーンのインデックスを付与する。なお、追跡時間長ｔａがしきい値ｔｈ_１以下であるとき（すなわち、顔追跡回路１３から追跡時間長ｔａが入力されていないとき）、かつ、シーン構図特徴の特徴値がシーン構図条件の特徴値の範囲内にあるとき、現在のフレーム画像にハイライトシーンのインデックスを付与する。

図１０は、図９の動画像ジャンル決定回路１１、シーン構図選択回路１２、及び顔追跡回路１３によって実行されるシーン選択処理Ｓ５Ａを示すフローチャートである。図１０のシーン選択処理Ｓ５Ａは、図２のシーン選択処理Ｓ５に代えて実行される。図１０のステップＳ１１において、動画像ジャンル決定回路１１は、動画像のジャンル情報を取得する。ステップＳ１２において、動画像ジャンル決定回路１１は、動画像がインタビューシーンを含むジャンルであるか否かを判定し、ＹＥＳのときはステップＳ１３に進み、ＮＯのときはステップＳ１６に進む。ステップＳ１３において、顔追跡回路１３は、フレーム画像における検出された顔を一定時間にわたって追跡する。ステップＳ１４において、顔追跡回路１３は、顔画像の追跡時間長ｔａがしきい値ｔｈ_１を超えているか否かを判定し、ＹＥＳのときはステップＳ１５に進み、ＮＯのときはステップＳ１６に進む。ステップＳ１５において、シーン構図選択回路１２は、インタビューシーンに対応するシーン構図条件をハイライトシーン判定回路６に送り、図２のステップＳ６に進む。ステップＳ１６において、動画像ジャンル決定回路１１によって判定された動画像のジャンルに対応するシーン構図条件をハイライトシーン判定回路６に送り、図２のステップＳ６に進む。

以上説明したように、本発明の実施の形態２に係るハイライトシーン抽出装置によれば、動画像のジャンルに応じて異なるシーン構図条件を選択することができる。

ハイライトシーンのシーン構図は、動画像のジャンルによって異なる。そこで、動画像のジャンルを示すジャンル情報を取得し、動画像のジャンルと同じジャンルのハイライトシーンに対応するシーン構図条件を用いることで、特定のジャンルの動画像から特定のハイライトシーンを抽出することができる。

実施の形態３．
一般に、動画像において映像情報と音声情報とは互いに密接に関係しているので、ハイライトシーンを決定するとき、シーン構図特徴と、そのシーン構図特徴に高い関連性を有する音声特徴とを利用することで、ハイライトシーンをより正確に抽出することが可能になる。

図１３は、本発明の実施の形態３に係るハイライトシーン抽出装置の構成を示すブロック図である。図１３のハイライトシーン抽出装置は、図１のシーン記憶装置５及びハイライトシーン判定回路６に代えてシーン記憶装置５Ｂ及びハイライトシーン判定回路６Ｂを備え、さらに、音声特徴生成回路２１を備える。音声特徴生成回路２１は、動画像から音声情報を分離して音声特徴を生成し、音声特徴をハイライトシーン判定回路６Ｂに送る。シーン記憶装置５Ｂは、シーン構図条件の特徴値の範囲に加えて、少なくとも１つの特定のハイライトシーンの前後における音声情報に係る複数の特徴値の範囲を音声条件として予め格納している。言い換えると、音声条件は、フレーム画像が特定のハイライトシーンであるときに、当該ハイライトシーンの前後の音声情報が有すると考えられる音声特徴の特徴値の範囲を示す。

図１４は、図１３のハイライトシーン抽出装置によって実行されるインデックス生成処理を示すフローチャートである。図１４のステップＳ１〜Ｓ４は、図２のステップＳ１〜Ｓ４と同様である。音声特徴生成回路２１は、ステップＳ２１において、動画像入力回路１により取得された動画像（ステップＳ１）から音声情報を分離し、ステップＳ２２において、音声情報から音声特徴を生成してハイライトシーン判定回路６Ｂに送る。ステップＳ５Ｂのシーン選択処理において、ハイライトシーン判定回路６Ｂは、シーン構図条件及び音声条件をシーン記憶装置５Ｂから読み出す。ステップＳ６Ｂにおいて、ハイライトシーン判定回路６Ｂは、シーン構図特徴及び音声特徴の各特徴値が、シーン構図条件及び音声条件の各特徴値の予め決められた範囲内にあるか否かを判定し、ＹＥＳのときはステップＳ７に進み、ＮＯのときはステップＳ８に進む。図１４のステップＳ７〜Ｓ８は、図２のステップＳ７〜Ｓ８と同様である。

音声特徴としては、抽出しようとするシーン構図特徴と関連性の高いものを用いることができる。例えば、ハイライトシーンでは音量（音の大きさ）｜Ｖ｜が大きくなることが多いので、音声特徴として音量｜Ｖ｜を使用し、音声条件として音量のしきい値｜Ｖｔｈ｜を使用してもよい。この場合、ステップＳ６Ｂにおいて、ハイライトシーン判定回路６Ｂは、音量｜Ｖ｜がしきい値｜Ｖｔｈ｜より大きいかどうかを判定する。また、ハイライトシーンにおいて観客が興奮するようなケースでは音の周波数が高くなるので、音声特徴として音の周波数｜Ｆｖ｜を使用し、音声条件として周波数のしきい値｜Ｆｔｈ｜を使用してもよい。ハイライトシーン判定回路６Ｂは、周波数｜Ｆｖ｜がしきい値｜Ｆｔｈ｜より高いかどうかを判定する。

以上説明したように、本発明の実施の形態３に係るハイライトシーン抽出装置によれば、映像情報からのシーン構図特徴と、音声情報からの音声特徴とを組み合わせることで、動画像中から人物の顔を含む特定のハイライトシーンをより精度良く抽出することができる。

本発明の動画像のハイライトシーン抽出装置及び方法は、動画像を記録するハードディスクレコーダなどに適用可能である。

１ 動画像入力回路、２ フレーム抽出回路、３ 顔検出回路、４ シーン構図決定回路、５，５Ｂ シーン記憶装置、６，６Ｂ ハイライトシーン判定回路、７，７Ａ インデックス生成回路、８ 動画像記憶装置、１１ 動画像ジャンル判定回路、１２ シーン構図選択回路、１３ 顔追跡回路、１００，１０１，１１０，１２０ フレーム画像、１１１ 注目領域、Ａ０，Ｂ０ 頂点、Ｆ０，Ｆ１，Ｆｉ，Ｆｊ，Ｆ１０ 顔、Ｇ０，Ｇ１，Ｇｉ，Ｇｊ，Ｇ１０ 重心、Ｐ０，Ｐ１，Ｐｉ，Ｐｊ，Ｐ１０ 人物。

Claims (10)

1. 動画像のフレームから人物の顔を検出する手段と、
   上記フレームにおける上記検出された顔の位置及び大きさによって決まる複数の特徴値を含むシーン構図特徴を生成する手段と、
   少なくとも１つの特定のハイライトシーンにおける人物の顔の位置及び大きさによって決まる複数の特徴値の範囲をシーン構図条件として予め格納した格納手段と、
   上記シーン構図特徴の特徴値が上記シーン構図条件の特徴値の範囲内にあるか否かを判定する第１の判定手段と、
   上記シーン構図特徴の特徴値が上記シーン構図条件の特徴値の範囲内にあるとき、上記フレームにハイライトシーンのインデックスを付与するインデックス手段とを備えたことを特徴とする動画像のハイライトシーン抽出装置。
2. 上記動画像は特定のジャンルに関連付けられ、
   上記格納手段は、少なくとも１つの特定のジャンルのハイライトシーンにおける人物の顔の位置及び大きさによって決まる複数の特徴値の範囲をシーン構図条件として予め格納し、
   上記動画像のハイライトシーン抽出装置は、
   上記動画像のジャンルを示すジャンル情報を取得する手段と、
   上記動画像のジャンルと同じジャンルのハイライトシーンに対応するシーン構図条件を上記格納手段から選択する手段とをさらに備え、
   上記第１の判定手段は、上記シーン構図特徴の特徴値が上記選択されたシーン構図条件の特徴値の範囲内にあるか否かを判定することを特徴とする請求項１記載の動画像のハイライトシーン抽出装置。
3. 上記シーン構図特徴の特徴値は、上記フレームが複数の人物を含むとき、上記複数の人物の顔の大きさの比、及び、上記複数の人物の顔の間の距離を含み、
   上記シーン構図条件は、複数の人物の顔の大きさの比の範囲、及び、複数の人物の顔の間の距離の範囲を含むことを特徴とする請求項１又は２記載の動画像のハイライトシーン抽出装置。
4. 上記動画像のハイライトシーン抽出装置は、
   第１のフレームから時間的に連続した複数のフレームのうちの各隣接したフレームにおいて検出される顔の位置又は大きさの変化量が第１のしきい値より小さいか否かを判定し、上記変化量が上記第１のしきい値より小さいフレームが連続する時間長が第２のしきい値を超えているか否かを判定する第２の判定手段をさらに備え、
   上記インデックス手段は、上記変化量が上記第１のしきい値より小さいフレームが連続する時間長が第２のしきい値を超えているとき、かつ、上記シーン構図特徴の特徴値が上記シーン構図条件の特徴値の範囲内にあるとき、上記第１のフレームにハイライトシーンのインデックスを付与することを特徴とする請求項１〜３のうちのいずれか１つに記載の動画像のハイライトシーン抽出装置。
5. 上記動画像は映像情報及び音声情報を含み、
   上記ハイライトシーン抽出装置は、上記音声情報に係る複数の特徴値を含む音声特徴を生成する手段をさらに備え、
   上記格納手段は、少なくとも１つの特定のハイライトシーンの前後における音声情報に係る複数の特徴値の範囲を音声条件として予め格納し、
   上記第１の判定手段は、上記シーン構図特徴及び上記音声特徴の各特徴値が上記シーン構図条件及び上記音声条件の各特徴値の範囲内にあるか否かを判定し、
   上記インデックス手段は、上記シーン構図特徴及び上記音声特徴の各特徴値が上記シーン構図条件及び上記音声条件の各特徴値の範囲内にあるとき、上記フレームにハイライトシーンのインデックスを付与することを特徴とする請求項１〜４のうちのいずれか１つに記載の動画像のハイライトシーン抽出装置。
6. 動画像のフレームから人物の顔を検出するステップと、
   上記フレームにおける上記検出された顔の位置及び大きさによって決まる複数の特徴値を含むシーン構図特徴を生成するステップと、
   少なくとも１つの特定のハイライトシーンにおける人物の顔の位置及び大きさによって決まる複数の特徴値の範囲をシーン構図条件として格納手段に予め格納するステップと、
   上記シーン構図特徴の特徴値が上記シーン構図条件の特徴値の範囲内にあるか否かを判定するステップと、
   上記シーン構図特徴の特徴値が上記シーン構図条件の特徴値の範囲内にあるとき、上記フレームにハイライトシーンのインデックスを付与するステップとを含むことを特徴とする動画像のハイライトシーン抽出方法。
7. 上記動画像は特定のジャンルに関連付けられ、
   上記格納手段は、少なくとも１つの特定のジャンルのハイライトシーンにおける人物の顔の位置及び大きさによって決まる複数の特徴値の範囲をシーン構図条件として予め格納し、
   上記動画像のハイライトシーン抽出方法は、
   上記動画像のジャンルを示すジャンル情報を取得するステップと、
   上記動画像のジャンルと同じジャンルのハイライトシーンに対応するシーン構図条件を上記格納手段から選択するステップと、
   上記シーン構図特徴の特徴値が上記選択されたシーン構図条件の特徴値の範囲内にあるか否かを判定するステップとを含むことを特徴とする請求項６記載の動画像のハイライトシーン抽出方法。
8. 上記シーン構図特徴の特徴値は、上記フレームが複数の人物を含むとき、上記複数の人物の顔の大きさの比、及び、上記複数の人物の顔の間の距離を含み、
   上記シーン構図条件は、複数の人物の顔の大きさの比の範囲、及び、複数の人物の顔の間の距離の範囲を含むことを特徴とする請求項６又は７記載の動画像のハイライトシーン抽出方法。
9. 上記動画像のハイライトシーン抽出方法は、
   第１のフレームから時間的に連続した複数のフレームのうちの各隣接したフレームにおいて検出される顔の位置又は大きさの変化量が第１のしきい値より小さいか否かを判定し、上記変化量が上記第１のしきい値より小さいフレームが連続する時間長が第２のしきい値を超えているか否かを判定するステップと、
   上記変化量が上記第１のしきい値より小さいフレームが連続する時間長が第２のしきい値を超えているとき、かつ、上記シーン構図特徴の特徴値が上記シーン構図条件の特徴値の範囲内にあるとき、上記第１のフレームにハイライトシーンのインデックスを付与するステップとを含むことを特徴とする請求項６〜８のうちのいずれか１つに記載の動画像のハイライトシーン抽出方法。
10. 上記動画像は映像情報及び音声情報を含み、
    上記動画像のハイライトシーン抽出方法は、
    上記音声情報に係る複数の特徴値を含む音声特徴を生成するステップと、
    少なくとも１つの特定のハイライトシーンの前後における音声情報に係る複数の特徴値の範囲を音声条件として予め格納するステップと、
    上記シーン構図特徴及び上記音声特徴の各特徴値が上記シーン構図条件及び上記音声条件の各特徴値の範囲内にあるか否かを判定するステップと、
    上記シーン構図特徴及び上記音声特徴の各特徴値が上記シーン構図条件及び上記音声条件の各特徴値の範囲内にあるとき、上記フレームにハイライトシーンのインデックスを付与するステップとをさらに含むことを特徴とする請求項６〜９のうちのいずれか１つに記載の動画像のハイライトシーン抽出方法。

Images