JP4398994B2 - 映像処理装置及び方法 - Google Patents

Description

本発明は、画面上で文字または画像が合成された映像データを扱う映像処理装置及び方法に関する。

近年、放送の多チャンネル化等、情報インフラの発展により、多くの映像コンテンツが流通するようになっている。一方で、録画装置の側もハードディスク・レコーダーやチューナー搭載パソコンのような機器の普及によって、映像コンテンツをデジタルデータとして保存し、処理を行うことで、効率的な視聴が可能となっている。このような処理の１つとして１つの映像コンテンツを一定のまとまりのあるシーンに分割し、「頭出し」や「とばし見」ができる機能がある。これらのシーンの開始点はチャプタ点とも呼ばれ、機器が自動的にチャプタ点を検出して設定したり、ユーザが任意の箇所にチャプタ点を設定できる。

映像をシーンに分割する方法として、テロップの出現を検出し、同一のテロップが出現している区間を１つのシーンとする方法がある。例えば、テロップを検出するために、１フレーム内の画像をブロックに分割し、隣接する２フレーム間で輝度などが一定の条件を満たすブロックを抽出し、縦または横に連続するブロックをテロップ領域とする（例えば、特許文献１参照）。

また、重要なシーンを抽出することにより、短時間に要約された映像を作成したり、コンテンツの代表フレームを決定してサムネイル画像を作成したりすることができる。例えば、スポーツ映像における重要シーンを抽出するために、歓声を利用して盛りあがりを検出する方法がある。

チャプタ点により、分割されたシーン単位で再生や編集を行うことができる。サムネイルにより、一覧から好みのコンテンツや好みのシーンを探して選択して再生したりすることができる。要約された映像データや、映像を要約再生させるためのプレイリストのデータにより、短時間で映像を再生させることができる。このように、映像データの再生、編集、検索に用いられる支援データが利用されている。

また、会社名や商品名等のロゴは映像コンテンツを通じた広告の手段としてよく用いられる。このようなロゴの存在を映像中から検出して、放送における広告効果を分析する方法がある（例えば、特許文献２参照）。
特開平１０−１５４１４８号公報 特開２００５−５０９９６２公報

スポーツ映像においては、得点や試合経過、残り時間を表示するテロップが長時間表示されるものがある。このようなテロップの出現を検出することにより試合部分を他と分割することはできるが、同一テロップが表示されている区間内での重要なシーンを得ることはできない。

歓声による重要シーン抽出方法は、時間精度を高くすることが難しい。また、競技時間が短い場合に、さらにその中の重要シーンを精度よく得ることが難しい。

また、同一のテロップが断続的に出現する場合、テロップの出現する区間を基準に映像を分割すると過剰に分割される恐れがある。

そこで、本発明は上記問題点を解決するためになされたもので、スポーツなどの映像中の重要シーンを精度よく抽出することができるとともに、分割に適した区間を求めることができる映像処理装置及び方法を提供することを目的とする。

映像データを記憶手段に記憶し、
前記映像データから、表示時間が予め定められた時間以上の第１の画像オブジェクトの表示領域及び該第１の画像オブジェクトの表示区間と、前記映像データ中の前記第１の画像オブジェクトの表示領域を基準とする所定の範囲内にあり、且つ前記第１の画像オブジェクトよりも表示時間が短い第２の画像オブジェクトの表示領域及び該第２の画像オブジェクトの表示区間とを検出し、
前記映像データ中の前記第２の画像オブジェクトの表示区間に基づき、前記映像データの再生、編集、及び検索のうちの少なくとも１つに用いられる支援データを生成する生成する。

スポーツなどの映像中の重要シーンを精度よく抽出することができるとともに、分割に適した区間を求めることができる。

以下、本発明の実施形態について図面を参照しながら説明する。
（第１の実施形態）
第１の実施形態に係る映像処理装置について図１を参照して説明する。
図１の映像処理装置は、映像記憶部１０１、第１画像検出部１０２、第２画像検出部１０３及び支援データ生成部１０４を備えている。

映像記憶部１０１には、映像データ、すなわち、時系列な複数の映像フレーム（映像フレーム群）が入力される。映像記憶部１０１は、入力された映像フレーム群を１つの時空間画像として記憶する。

第１画像検出部１０２は、映像記憶部１０１に記憶された映像フレーム群から、予め定められた時間以上（予め定められたフレーム数以上の映像フレームに連続して）表示されている第１の画像オブジェクトの表示領域１６１と、該第１の画像オブジェクトが上記映像フレーム群のうち、どこからどこまでの映像フレームに表示されているかを示す表示区間１６２とを検出する。そして、各映像フレーム中の第１の画像オブジェクトの表示領域１６１の位置情報と、該第１の画像オブジェクトの表示区間１６２とを含む第１の画像オブジェクト情報を出力する。

第２画像検出部１０３は、上記第１の画像オブジェクト情報を基に、各第１の画像オブジェクトの表示領域１６１が検出された各映像フレーム中の、該表示領域１６１を基準とする所定の範囲１６３から、該第１の画像オブジェクトの表示区間１６２より短い時間表示されている（第１の画像オブジェクトが表示されている映像フレーム数より少ない数の映像フレームに連続して表示されている）第２の画像オブジェクトの表示領域１７１と、該第２の画像オブジェクトが上記映像フレーム群のうち、どこからどこまでの映像フレームに表示されているかを示す表示区間１７２とを検出する。そして、各映像フレーム中の第２の画像オブジェクトの表示領域１７１の位置情報と、該第２の画像オブジェクトの表示区間１７２とを含む第２の画像オブジェクト情報を出力する。

支援データ生成部１０４は、第２の画像オブジェクトの表示区間１７２に基づいて、上記映像フレーム群に対応する支援データを生成する。

ここで、支援データとは、映像データの再生、編集、検索などに用いられる区間の開始時刻や終了時刻、当該区間内の映像データなどを含み、利用者が所望する再生や編集、検索等ができるように支援するものである。

次に、第１画像検出部１０２及び第２画像検出部１０３において検出される第１及び第２の画像オブジェクトの表示領域と表示区間とについて、図２及び図３を参照して説明する。

図２（ａ）は、第１画像検出部１０２により、映像フレーム群から検出される第１の画像オブジェクトの表示領域１６１の例を示している。ここでは、２つの第１の画像オブジェクトＡ、Ｂのそれぞれの表示領域１６１Ａ、１６１Ｂを示している。

図２（ｂ）は、時間を横軸にとり、第１の画像オブジェクトＡに対応する表示区間１６２Ａと、第２の画像オブジェクトＢに対応する表示区間１６２Ｂを示している。第１の画像オブジェクトＡは図２（ｂ）中の左端から右端までの長時間表示されており、第２の画像オブジェクトＢは左端から右端までのうち中央付近に若干表示されていない区間がある。

図３（ａ）は、第２画像検出部１０３により、第１の画像オブジェクトＡの表示領域１６１Ａ及び第１の画像オブジェクトＢの表示領域１６１Ｂを基準とする所定の範囲１６３Ａ及び１６３Ｂと、そこで検出された第２の画像オブジェクトの表示領域１７１の例を示している。ここでは、表示領域１６１Ｂを基準とする所定の範囲１６３Ｂに、第２の画像オブジェクトＣ及びＤがあり、そのそれぞれの表示領域１７１として表示領域１７１Ｃ、表示領域１７１Ｄと示している。

図３（ａ）に示すように、所定の範囲１６３Ａや１６３Ｂは、表示領域１６１Ａや１６１Ｂの上下左右に接する領域である。または、表示領域１６１Ａや１６１Ｂの上下左右で所定距離以内の領域である。

また、第２の画像オブジェクトは、図３（ａ）に示すように、矩形または角の丸い矩形あるいは長円形のグラフィックである場合が多い。

図３（ｂ）は、時間を横軸にとり、第１の画像オブジェクトＡの表示区間１６２Ａ、第１の画像オブジェクトＢの表示区間１６２Ｂの他、さらに、第２の画像オブジェクトＣの表示区間１７２Ｃと第２の画像オブジェクトＤの表示区間１７２Ｄを示している。

次に、第１画像検出部１０２及び第２画像検出部１０３の処理の流れについて、図４のフローチャートを参照して説明する。

まず、第１画像検出部１０２は、全画面（長時間領域）探索処理を行う（ステップＳ１）。すなわち、映像フレーム群の各映像フレームの全画面を探索して、予め定められた時間以上表示されている第１の画像オブジェクトの表示領域（例えば、図２（ａ）の１６１Ａ、１６１Ｂ）と表示区間（図２（ｂ）の１６２Ａ、１６２Ｂ）を検出する。

全映像フレームの全画面についての探索が終了したら（ステップＳ２）、検出された第１の画像オブジェクトの表示領域の位置情報と表示区間とを含む第１の画像オブジェクト情報を出力する。なお、ここでは、検出された第１の画像オブジェクトの表示領域及び表示区間を長時間領域と呼ぶ。

次に、第２画像検出部１０３は、検出された上記長時間領域周辺を探索対象とする周辺（短時間領域）再探索処理を行う（ステップＳ３）。すなわち、検出された第１の画像オブジェクトの各表示領域の周辺の所定の範囲（例えば図３の１６３Ａ、１６３Ｂ）を探索し、該第１の画像オブジェクトの表示区間より短い時間表示されている第２の画像オブジェクトの表示領域（例えば図３（ａ）の１７１Ｃ、１７１Ｄ）及び表示区間（図３（ｂ）の１７２Ｃ、１７２Ｄ）を検出する。

検出された全ての長時間領域についての探索が終了したら（ステップＳ４）、検出された第２の画像オブジェクトの表示領域の位置情報と表示区間とを含む第２のオブジェクト情報を出力する。なお、ここでは、検出された第２の画像オブジェクトの表示領域及び表示区間を短時間領域と呼ぶ。

次に、ステップＳ１の全画面（長時間領域）探索処理について説明する。図５の３００は、映像記憶部１０１に記憶されている映像フレーム群を、奥行き方向を時間軸として、時刻順に並べた時空間画像を表している。すなわち、時空間画像は、時刻の小さい映像フレームから順に時間軸の対応する時刻上に映像フレームを並べた、複数の映像フレームからなる集合である。映像フレーム３０１は、時空間画像に含まれる１枚の映像フレームを抜き出したものを示す。
第１画像検出部１０２は、時空間画像３００を時間軸に平行な１つ以上の面で切断する。面は水平な面（ｙ＝一定）でもよいし、垂直な面（ｘ＝一定）でもよいし、斜めの面でもよいし、曲面であってもよい。第１画像検出部１０２は、まず、時空間画像を曲面で切断し、テロップなどの第１の画像オブジェクトが存在しそうな位置を探る。次ぎに、探った位置近辺を切断するような面で時空間画像を切断してもよい。また、テロップなどの第１の画像オブジェクトは通常、画面の端近辺に存在することが多いので、端近辺を切断するような面で時空間画像を切断することが望ましい。
切断面が複数あるときは複数のスライス画像が生成される。ｙを１ずつずらしながら水平な面で切断すれば、画像の高さと同じ数のスライス画像が生成される。図５では、例として、ｙ＝ｓ１、ｓ２、ｓ３の３箇所の面で切断して３つのスライス画像を得ている。スライス画像３０２はｙ＝ｓ３のスライス画像である。３０３のようなテロップなどの第１の画像オブジェクトを含む面で切断したスライス画像には、第１の画像オブジェクトと背景とのエッジ部分が３０４のような複数の線分の集合として現れる。第１画像検出部１０２はこれらの線分の集合を、図２（ｂ）に示したような表示区間１６２Ａ、１６２Ｂとして検出する。なお、この線分の長さは表示時間に相当する。

次に、この線分の検出方法について図６〜図１３を参照して説明する。画像から線分を検出するには様々な方法があるが、ここではその一例を示す。
図６の線分５００は、図５のスライス画像３０２における線分集合３０４のうちの一本の線分付近を拡大した図である。５０１は注目画素５０２（太線内）を中心にした一部の画素の配置を示す。以下、注目画素５０２が線分の一部であるか否かを判定する方法について、図７に示すフローチャートを参照して説明する。

まず、注目画素が一定以上の輝度であるか判定する（ステップＳ６０１）。これは第１のオブジェクトとなり得るテロップが背景に対して輝度が高い場合が多いためである。一定以上の輝度である場合はステップＳ６０２へ進む。そうでない場合は線分ではないとして処理を終了する。

次に、注目画素が時間軸方向に連続した色成分であるかを判定する（ステップＳ６０２）。図８のように、注目画素と、注目画素と同じ時間軸上にある別の画素との距離をｄ１とし、「ｄ１ ＜ 閾値」を満たす場合、注目画素が時間軸方向に連続した色成分であると判定できる。ここでの距離には色や輝度などの特徴量の距離を用いる。色の距離としては、例えば、ＲＧＢ値またはＨＳＶ値のユークリッド距離がある。Ｈは色相、Ｓは彩度、Ｖは輝度を示す。また、別の方法として、図９のように注目画素の近傍のＮ個の画素との距離の平均＜ｄ１＞＝Σｄ１／Ｎを求め、「＜ｄ１＞ ＜ 閾値」を満たす場合に注目画素が時間軸方向に連続した色成分であると判定してもよい。このＮは予め決定しておく。以後同様。注目画素が時間軸方向に連続した色成分である場合はステップＳ６０４へ進む。そうでない場合は線分ではないとして処理を終了する。

次に、注目画素のエッジの強度が一定以上であるかを判定する（ステップＳ６０４）。図１０のように、注目画素と、時間軸に直交する向きに隣接する画素との距離をｄ２とし、「ｄ２ ＞ 閾値」を満たす場合、注目画素のエッジの強度が一定以上であると判定する。また、別の方法として、図１１に示すように、注目画素の近傍のＮ個の隣接画素の組の距離の平均＜ｄ２＞＝Σｄ２／Ｎを求め、「＜ｄ２＞ ＞ 閾値」を満たす場合に注目画素のエッジの強度が一定以上であると判定してもよい。注目画素のエッジの強度が一定以上である場合は線分であるとして処理を終了する。そうでない場合は線分ではないとして処理を終了する。

次に、半透明の線分の検出を可能にするため、注目画素のエッジの強度から隣接画素の色成分を差し引いた差分が時間方向に連続しているかを判定する（ステップＳ６０３）。注目画素のエッジの強度から隣接画素の色成分を差し引いた差分が時間方向に連続していると判定された場合にはステップＳ６０４に進み、連続していないと判定された場合には線分ではないとして処理を終了する。図１０と同様に、注目画素と隣接する画素との組の距離色成分ごとの差分を求め、図１２のように時間軸方向に隣接する別の組との距離差分の差分距離ｄ３を求める。「ｄ３ ＜ 閾値」を満たす場合、注目画素のエッジの強度から隣接画素の色成分を差し引いた差分が時間方向に連続していると判定する。また、別の方法として、図１３のように注目画素の近傍のＮ個の組との距離差分の差分距離の平均＜ｄ３＞ ＝ Σｄ３／Ｎを求め、「＜ｄ３＞ ＜ 閾値」を満たす場合に注目画素のエッジの強度から隣接画素の色成分を差し引いた差分が時間方向に連続していると判定してもよい。

図７のフローチャートはあくまで一例を示したものであり、ステップＳ６０１〜Ｓ６０４の処理は必ずしもすべてが必要なわけではなく、一部の処理だけを含んだり、順番が入れ替わったり、他の処理を含んだフローを用いて判定してもよい。他の処理としては分断された微小な領域を結合したり除去するための線分の拡張や閾値処理なども含まれる。

線分の拡張は、図７のフローチャートの後の処理であり、例えば、注目画素の周りの９画素について５個以上が線分であるかどうかを判定する。５個以上が線分である場合にはその注目画素も線分に含まれ、５個以上が線分でない場合には注目画素は線分に含まれないとして、線分の拡張を行う。線分の閾値処理は、注目画素を他の線分と結合したり、注目画素を消去することである。例えば、注目画素が２つの線分の間に挟まれている場合には、２つの線分を１つの線分に結合して、その注目画素を新たな線分に含める。また、例えば、注目画素が線分から所定の距離以上離れている場合には、その線分を消去する。

第１画像検出部１０２は、以上のようにして、線分の長さ（時間）が予め定められた値以上の線分の集合を検出し、スライス画像内の該線分の集合が検出された位置及び線分の長さ（区間）を、第１の画像オブジェクトの表示領域の位置及び表示区間として検出する。

次に、ステップＳ３の周辺（短時間領域）再探索処理について説明する。第２の画像検出部１０３は、図５の時空間画像３００を、第１のオブジェクトの表示領域の周辺で切断することにより、上述の全画面（長時間領域）探索処理と同様にして、第１のオブジェクトに対応する線分よりも短い線分の集合を検出する。そして、第２画像検出部１０３は、当該スライス画像内の該線分の集合が検出された位置及び線分の長さを、第２の画像オブジェクトの表示領域の位置及び表示区間として検出する。

図１４〜図１７に示す映像フレームに基づいて、検出される画像オブジェクトの具体例を説明する。

図１４乃至図１６は、競泳の映像の例である。図１４に示すように、競技の開始から終了までの間、画面の隅の方にタイム（経過）２０１が表示されることが多い。

ここで、図１５のように、タイム２０１の表示に接して、注目すべき情報（ここでは５０ｍターンを表す「５０ｍ」と、トップの泳者が３コースであることを表す「３」）２０２〜２０３を表示することもよく行われる。また、図１６のように、ゴールのタイミングに合わせて（ゴールの数秒前から）従来の世界記録「ＷＲ」２０４が表示されたり、ゴール直後に世界新記録「ＮｅｗＷＲ」２０５などの表示が行われたりする。さらに、特に大きな国際競技大会等では、世界中に配信される国際映像として制作される場合に、ゴールのタイミングに合わせて数秒間（一般的には５秒以下）、タイムの表示領域に接した領域に、広告として商標・社名などのデザイン文字（ロゴ）２０６を表示することがよく行われる。

図１４〜図１６に示した映像からは、タイム２０１の部分が第１の画像オブジェクトとして検出され、第２の画像オブジェクトとして、図１５や図１６にあるような２０２〜２０６が検出される。

陸上の短距離、自転車、ボート、アルペンスキー等のタイム競技の映像も、上述の競泳の映像と同様である。

柔道の映像では、競技の開始から終了までの間、画面の隅の方にタイム（残り時）が表示されるが、一本勝ちで終了した場合などに図１６と同様にロゴが表示されることも多い。ただし、一瞬で決まる一本勝ちのタイミングに合わせて事前に表示することは困難なため、ロゴ表示のタイミングは遅れるのが普通であり、重要シーンはロゴよりかなり前にある可能性がある。このように、競技によって、ロゴの表示区間と重要シーンとの時間区間は異なるように構成するのがよい。

図１７は、サッカーの映像の例である。タイム（経過）とともに得点も表示されるのが普通である。両方を常時表示しつづける場合もあるが、得点は必要に応じて表示するようになっている場合もある。国際映像では、得点表示は若干長め（例えば８秒）であっても、それに接して表示されるロゴは短い（例えば５秒）ことが多い。この場合、第１の画像オブジェクトの１つとして得点表示部分２１１が検出され、第２の画像オブジェクトとしてロゴ部分２１２が検出される。このように、タイムより得点が注目される競技においても適用可能な場合がある。

次に、支援データ生成部１０４において生成される支援データについて説明する。

支援データ生成部１０４では、第２の画像オブジェクト情報に含まれる表示区間１７２に基づいて、重要シーンの区間を選択したり、選択された重要シーンを繋げた短縮映像を作成したり、代表画像を作成したり、映像データを複数の区間に分割して、頭出し等に用いる各区間の開始時刻を求める。これら重要シーン、短縮映像、代表画像、頭出し等に用いる各区間の開始時刻をチャプタ点（頭出し点）として設定された映像データなどを、ここでは支援データと呼ぶ。

支援データ生成部１０４で、これら支援データを生成する際に用いる映像データの区間は、表示区間１７２と同一であってもよいが、それに限られない。例えば、表示区間１７２の開始数秒前（ゴール目前で盛りあがることが多い部分に相当）から終了数秒後（続々と各選手がゴールしたり、勝った選手のアップが入ったりする部分に相当）までのように、前後を含む区間を使用してもよい。

支援データ生成部１０４は、例えば、第２の画像オブジェクトの表示区間１７２を基準とする所定の区間（例えば当該表示区間１７２の開始時刻より数秒前から当該表示区間１７２の終了時刻の数秒後までの区間）を重要シーンとして抽出する。この重要シーンとして抽出された区間のなかから代表画像を選択する。複数の表示区間１７２が検出された場合には、各表示区間１７２に対し、上記重要シーンを抽出し、これら重要シーンとして抽出された区間の映像データを繋げて短縮映像を生成する。

短縮映像や代表画像を作成する場合、上記所定の区間に、第２の画像オブジェクトの表示区間が含まれていてもいが、第２の画像オブジェクトが競技の結果に関するものである場合、特にスポーツにおいては、結果が最初にわかってしまうと映像の視聴目的を損なうおそれもある。従って、短縮映像や代表画像を作成する場合、上記所定の区間に第２の画像オブジェクトの表示区間が含まれていない方が望ましい。この場合は、第２の画像オブジェクトの表示区間１７２を基準とする所定の区間（例えば当該表示区間１７２の開始時刻より数秒前から当該表示区間１７２の終了時刻の数秒後までの区間）から、当該表示区間１７２を除いて、当該表示区間１７２の前後の区間のみから短縮映像や代表画像を作成する。あるいは、当該所定の区間内の第２の画像オブジェクトが表示されているフレームから当該第２の画像オブジェクトの表示領域を削除したり、当該表示領域にぼかし処理をして識別できないように処理したりした後に、短縮映像や代表画像を作成する。また、第２の画像オブジェクトがロゴの場合、短縮映像や代表画像に必要以上にロゴが含まれないことが望ましい場合もあり、上記同様の処理をするとよい。

また、支援データ生成部１０４は、表示区間１７２を容易に頭出しして視聴できるように、映像データ中に支援データとしてチャプタ点（頭出し点）を決定する。例えば、第２の画像オブジェクトの表示区間１７２の開始時刻から所定時間前を頭出し点と決定する。頭出しを可能にすることにより、第２の画像オブジェクトの表示されていない区間をスキップして視聴することが可能になる。支援データ生成部１０４は、上記決定された時刻をチャプタ点（頭出し点）として設定された映像データを支援データとして生成する。

以上説明したように、上記第１の実施形態によれば、スポーツなどの映像中の重要シーンを（支援データとして）精度よく抽出することが可能となり、より適切な要約映像やサムネイル画像、プロモ映像が支援データとして作成できる。また、スポーツなどの映像を分割する際に、分割に適した区間を求めることができる。

（第２の実施形態）
第２の実施形態に係る映像処理装置について図１８を参照して説明する。
図１８の映像処理装置は、映像記憶部６０１、画像検出部６０２、画像選択部６０３及び支援データ生成部６０４を備えている。

映像記憶部６０１は、第１の実施形態における映像記憶部１０１と同様、映像データ、すなわち、時系列な複数の映像フレーム（以下、映像フレーム群）が入力され、入力された映像フレーム群を１つの時空間画像として記憶する。

以下、画像検出部６０２及び画像選択部６０３について、図２０のフローチャートを参照して説明する。

画像検出部６０２は、図２０のステップＳ２１において、第１の実施形態で説明した、第１画像検出部１０２と同様の処理（図７参照）を行って、映像記憶部６０１に記憶された映像フレーム群について、予め定められた第１の時間以上（予め定められた第１のフレーム数以上の映像フレームに連続して）表示されている画像オブジェクトの表示領域１８０と、該画像オブジェクトが上記映像フレーム群のうち、どこからどこまでの映像フレームに表示されているかを示す表示区間１８１とを検出する。全映像フレームの全画面についての探索が終了したら（ステップＳ２２）、検出された画像オブジェクトの表示領域の位置情報と表示区間とを含む画像オブジェクト情報を出力する。

次に、画像選択部６０３は、図２０のステップＳ２３において、画像オブジェクト情報を参照して、表示領域及び表示区間の検出された画像オブジェクトのなかから、上記第１の時間よりも長い予め定められた第２の時間以上（上記第１のフレーム数より多い予め定められた第２のフレーム数以上の映像フレームに連続して）表示されている画像オブジェクトを第１の画像オブジェクトとして選択し、その表示領域及び表示区間を得る。これは、前述の第１の実施形態における第１の画像オブジェクトの表示領域１６１及び表示区間１６２に対応する。さらに、第１の画像オブジェクトの表示領域１６１を基準とする所定の範囲１６３から、表示区間が上記第２の時間よりも短い画像オブジェクトを第２の画像オブジェクトとして選択し、その表示領域及び表示区間を得る。これは、前述の第２の実施形態における第２の画像オブジェクトの表示領域１７１及び表示区間１７２に対応する。そして、各映像フレーム中の第２の画像オブジェクトの表示領域１７１の位置情報と、該第２の画像オブジェクトの表示区間１７２とを含む第２の画像オブジェクト情報を出力する。

支援データ生成部６０４は、第２の画像オブジェクトの表示区間１７２に基づいて、上記映像フレーム群に対応する支援データを生成する。

次に、画像検出部６０２で検出される画像オブジェクトと、画像選択部２０３で選択される第１及び第２の画像オブジェクトについて、図１９を参照して説明する。

図１９（ａ）は、画像検出部６０２により、映像フレーム群から検出される画像オブジェクトの表示領域１８０の例を示している。ここでは、４つの画像オブジェクトＡ〜Ｄのそれぞれの表示領域１８０Ａ〜１８０Ｄを示している。

図１９（ｂ）は、時間を横軸にとり、画像オブジェクトＡに対応する表示区間１８１Ａと、画像オブジェクトＢに対応する表示区間１８１Ｂと、画像オブジェクトＣに対応する表示区間１８１Ｃと、画像オブジェクトＤに対応する表示区間１８１Ｄとを示している。

画像検出部６０２は、図７に示した手順で、これら画像オブジェクトの表示領域や表示区間を検出する。

画像オブジェクトＡは図１９（ｂ）の左端から右端までの長時間表示されており、画像オブジェクトＢは左端から右端までのうち中央付近に若干表示されていない区間がある。画像オブジェクトＣ及びＤは、より短い区間のみ表示されている。

画像選択部６０３は、これら画像オブジェクトＡ〜Ｄのうち、表示区間が第１の時間以上の画像オブジェクトＡ及びＢを第１の画像オブジェクトとして選択する。次に、画像選択部６０３は、第１の画像オブジェクトＡ及びＢのそれぞれを基準とする所定の範囲から第２の画像オブジェクトを選択する。図１９（ｂ）の点線で囲まれた部分は、画像オブジェクトＢを基準とする所定の範囲１８３Ｂを示している。画像選択部６０３は、この範囲１８３Ｂに存在する画像オブジェクトＣ及びＤを第２の画像オブジェクトとして選択する。

支援データ生成部６０４は、第１の実施形態における支援データ生成部１０４と同様であり、第２の画像オブジェクトの表示区間１８１情報に基づいて、重要シーンを選択したり、短縮映像や代表画像を作成したり、頭出し等を可能にしたりする。

以上説明したように、上記第２の実施形態によれば、上記第１の実施形態と同様、スポーツなどの映像中の重要シーンを（支援データとして）精度よく抽出することが可能となり、より適切な要約映像やサムネイル画像、プロモ映像が支援データとして作成できる。また、スポーツなどの映像を分割する際に、分割に適した区間を求めることができる。

（第３の実施形態）
第３の実施形態に係る映像処理装置について図２１を参照して説明する。
なお、図２１において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図２１の映像処理装置は、図１の映像記憶部１０１、第１画像検出部１０２、及び第２画像検出部１０３の他、図１の支援データ生成部１０４に代わる支援データ生成部７０４と、さらに音声記憶部７０１及び盛りあがり検出部７０２を備えている。

音声記憶部７０１は、入力される映像データに含まれている音声を、映像フレームと対応付けて（例えば、映像フレーム群の再生時刻や各映像フレームのフレーム番号と対応付けて）記憶する。

盛りあがり検出部７０２は、音声記憶部７０１に記憶された音声を分析し、歓声や拍手の音の大きさにより盛りあがりシーンの時刻または区間を検出する。

支援データ生成部７０４は、第２の画像オブジェクトの表示区間１７２と、盛りあがり検出部７０２で検出された盛りあがりシーンの時刻または区間とに基づいて、映像フレーム群に対応する支援データを生成する。

例えば、第２の画像オブジェクトの表示区間の開始時点より所定時間（例えば１分）前までの区間に、盛りあがりシーンの時刻または区間の開始時刻が存在する場合には、当該第２の画像オブジェクトの表示区間の開始時刻より所定時間前の時刻、あるいは盛りあがりシーンの時刻または盛りあがりシーン区間の開始時刻を頭出し点（チャプタ点）として決定する。そして、この時刻を頭出し点（チャプタ点）として設定された映像データを支援データとして生成する。

以上説明したように、上記第３の実施形態によれば、上記第１乃至第２の実施形態と同様、スポーツなどの映像中の重要シーンを（支援データとして）精度よく抽出することが可能となり、より適切な要約映像やサムネイル画像、プロモ映像が支援データとして作成できる。また、スポーツなどの映像を分割する際に、分割に適した区間を求めることができる。

（第４の実施形態）
第４の実施形態に係る映像処理装置について図２２を参照して説明する。
なお、図２２において、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図２２の映像処理装置は、図１の映像記憶部１０１、第１画像検出部１０２、及び第２画像検出部１０３の他、図１の支援データ生成部１０４に代わる支援データ生成部７１４と、さらに統合部７１１を備えている。

統合部７１１は、第１画像検出部１０２で求めた第１の画像オブジェクトの複数の表示区間のうち、第２の画像オブジェクトが表示されていない区間を、その後続の当該第１の画像オブジェクトの表示区間と統合する。なお、当該後続の表示区間との間隔が所定時間以上の場合には統合しないようにしてもよい。この結果、第２の画像オブジェクトの表示区間は後続区間とは統合されず、区間の末尾となる。

例えば、図２３に示すように、第１画像検出部１０２により、映像フレーム群から、２つの第１の画像オブジェクトＡ、Ｂの表示区間が１６２Ａ、１６２Ｂが検出され、第２画像検出部１０３により、第２の画像オブジェクトＤの表示区間１７２Ｄが検出されたとする。なお、図２３では、時間を横軸にとり、各表示区間を示している。

また、ここでは、第１画像検出部１０２で検出された複数の表示区間１６２Ｂ−１〜１６２Ｂ−７は、第１画像検出部１０２において、映像フレーム中の位置や色などの特徴量の類似度に基づくクラスタリングを行うことにより、１つの画像オブジェクトＢの表示区間１６２Ｂにグルーピングされている。各表示区間１６２Ｂ−１〜１６２Ｂ−７の合計時間が予め定められた時間以上であるため、ここでは、複数の表示区間１６２Ｂ−１〜１６２Ｂ−７は、第１の画像オブジェクトＢの表示区間として検出されている。

さらに、第２画像検出部１０３により、第１の画像オブジェクトＢの表示領域を基準するとする所定の範囲から検出された複数の表示区間１７２Ｄ−１〜１７２Ｄ−３は、第２画像検出部１０３において、映像フレーム中の位置や色などの特徴量の類似度に基づくクラスタリングを行うことにより、１つの画像オブジェクトＤの表示区間１７２Ｄにグルーピングされている。

図２３に示すように、第１の画像オブジェクトＢの表示区間１６２Ｂ−２は、第２の画像オブジェクトＤの表示区間１７２Ｄ−１を含み、第１の画像オブジェクトＢの表示区間１６２Ｂ−４は、第２の画像オブジェクトＤの表示区間１７２Ｄ−２を含み、第１の画像オブジェクトＢの表示区間１６２Ｂ−７は、第２の画像オブジェクトＤの表示区間１７２Ｄ−３を含む。

統合部７１１は、第１の画像オブジェクトＢの表示区間１６２Ｂ−１は、第２の画像オブジェクトの表示区間が含まれていないので、その後続の表示区間１６２Ｂ−２と統合する。表示区間１６２Ｂ−２は、第２の画像オブジェクトＤの表示区間１７２Ｄ−１を含むので、その後続の表示区間１６２Ｂ−３とは統合されない。同様に、第１の画像オブジェクトＢの表示区間１６２Ｂ−３は、第２の画像オブジェクトの表示区間が含まれていないので、その後続の（第２の画像オブジェクトＤの表示区間１７２Ｄ−２を含む）表示区間１６２Ｂ−４と統合される。さらに、第１の画像オブジェクトＢの表示区間１６２Ｂ−５及び１６２Ｂ−６は、第２の画像オブジェクトの表示区間が含まれていないので、その後続の（第２の画像オブジェクトＤの表示区間１７２Ｄ−３を含む）表示区間１６２Ｂ−７と統合される。

支援データ生成部７１４は、統合部７１１での上記統合結果を用いて、図２３に示すように、映像データを、表示区間１６２Ｂ−１及び１６２Ｂ−２を含む第１の区間と、表示区間１６２Ｂ−３及び１６２Ｂ−４を含む第２の区間と、表示区間１６２Ｂ−５〜１６２Ｂ−７を含む第３の区間とに分割する。支援データ生成部７１４は、当該映像データ中の上記各区間の開始時刻をチャプタの開始点に設定することにより、支援データを生成する。

以上説明したように、上記第４の実施形態によれば、上記第１乃至第３の実施形態と同様、スポーツなどの映像中の重要シーンを（支援データとして）精度よく抽出することが可能となり、より適切な要約映像やサムネイル画像、プロモ映像が支援データとして作成できる。また、スポーツなどの映像を分割する際に、分割に適した区間を求めることができる。

本発明の実施の形態に記載した本発明の手法（特に、図１，図１８、図２１，及び図２２に示した各構成部）は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態に係る映像処理装置の構成例を示した図。 第１の画像オブジェクトの表示領域及び表示区間を説明するための図。 第２の画像オブジェクトの表示領域及び表示区間を説明するための図。 第１画像検出部及び第２画像検出部の処理動作を説明するためのフローチャート。 時空間画像とスライス画像の関係を示す図。 線分検出方法を説明するための図。 線分検出方法を説明するためのフローチャート。 注目画素と、注目画素と同じ時間軸上にある別の画素との距離を示す図。 注目画素の近傍のＮ個の画素との距離の平均を示す図。 注目画素と、時間軸に直交する向きに隣接する画素との距離を示す図。 注目画素の近傍のＮ個の隣接画素の組の距離の平均を示す図。 時間軸方向に隣接する別の組との距離の差分を示す図。 注目画素の近傍のＮ個の組との距離の差分の平均を示す図。 競泳の映像データから検出される、画像オブジェクト（第１の画像オブジェクト）の具体例を示した図。 競泳の映像データから検出される、画像オブジェクト（第１及び第２の画像オブジェクト）の具体例を示した図。 競泳の映像データから検出される、画像オブジェクト（第１及び第２の画像オブジェクト）の具体例を示した図。 サッカーの映像データから検出される、画像オブジェクト（第１及び第２の画像オブジェクト）の具体例を示した図。 第２の実施形態に係る映像処理装置の構成例を示した図。 映像データから検出される各画像オブジェクトの表示領域及び表示区間を説明するための図。 画像検出部及び画像選択部の処理動作について説明するためのフローチャート。 第３の実施形態に係る映像処理装置の構成例を示した図。 第４の実施形態に係る映像処理装置の構成例を示した図。 図２２の統合部の処理動作を説明するための図。

符号の説明

１０１、６０１…映像記憶部
１０２…第１画像検出部
１０３…第２画像検出部
１０４、６０４、７０４、７１４…支援データ生成部
６０２…画像検出部
６０３…画像選択部
７０１…音声記憶部
７０２…盛りあがり検出部
７１１…統合部

Claims (20)

1. 映像データを記憶する記憶手段と、
   前記映像データから、表示時間が予め定められた時間以上の第１の画像オブジェクトの表示領域及び該第１の画像オブジェクトの表示区間と、前記映像データ中の前記第１の画像オブジェクトの表示領域を基準とする所定の範囲内にあり、且つ前記第１の画像オブジェクトよりも表示時間が短い第２の画像オブジェクトの表示領域及び該第２の画像オブジェクトの表示区間とを検出する検出手段と、
   前記映像データ中の前記第２の画像オブジェクトの表示区間に基づき、前記映像データの再生、編集、及び検索のうちの少なくとも１つに用いられる支援データを生成する生成手段と、
   を具備したことを特徴とする映像処理装置。
2. 前記検出手段は、
   前記映像データから、前記第１の画像オブジェクトの表示領域及び表示区間を検出する第１の検出手段と、
   前記映像データ中の前記第１の画像オブジェクトの表示領域を基準とする所定の範囲から、前記第２の画像オブジェクトの表示領域及び表示区間を検出する第２の検出手段と、
   を含む請求項１記載の映像処理装置。
3. 前記検出手段は、
   前記映像データから、表示時間が予め定められた第１の時間以上の画像オブジェクトの表示領域及び該画像オブジェクトの表示区間を検出する手段と、
   検出された画像オブジェクトのなかから、表示時間が前記第１の時間よりも長い予め定められた第２の時間以上の第１の画像オブジェクトと、前記映像データ中の前記第１の画像オブジェクトの表示領域を基準する所定の範囲内にあり、且つ表示時間が前記第２の時間よりも短い第２の画像オブジェクトとを選択する選択手段と、
   を含む請求項１記載の映像処理装置。
4. 前記生成手段は、前記第２の画像オブジェクトの前記表示区間を基準とする所定区間を重要シーンとして抽出することにより、前記支援データを生成することを特徴とする請求項１記載の映像処理装置。
5. 前記生成手段は、前記第２の画像オブジェクトの前記表示区間を基準とする所定区間の映像データに基づいて、前記支援データとしての短縮映像を生成することを特徴とする請求項１記載の映像処理装置。
6. 前記生成手段は、前記第２の画像オブジェクトの前記表示区間を基準とする所定区間の映像データに基づいて、前記支援データとしての代表画像を生成することを特徴とする請求項１記載の映像処理装置。
7. 前記所定の区間の映像データから、前記第２のオブジェクトの前記表示区間内の映像データを削除した後、あるいは、前記所定の区間の映像データから前記第２のオブジェクトの表示領域を削除した後、前記支援データを生成することを特徴とする請求項４乃至請求項６のいずれか１つに記載の映像処理装置。
8. 前記生成手段は、前記第２の画像オブジェクトの前記表示区間の開始時刻から所定時間前を頭出し点として設定された映像データを前記支援データとして生成することを特徴とする請求項１記載の映像処理装置。
9. 前記映像データに含まれる音声から盛りあがりシーンの時刻または区間を検出する盛りあがり検出手段をさらに具備し、
   前記生成手段は、前記第２の画像オブジェクトの表示区間の開始時刻より所定時間前の、前記盛りあがりシーンの時刻または前記盛りあがりシーンの区間の開始時刻を頭出し点として設定された映像データを前記支援データとして生成することを特徴とする請求項１記載の映像処理装置。
10. 前記盛りあがり検出手段は、前記音声に含まれる歓声または拍手を検出することを特徴とする請求項９に記載の映像処理装置。
11. 前記検出手段で検出された、前記第１の画像オブジェクトの複数の前記表示区間のうち前記第２の画像オブジェクトの前記表示区間を含まない表示区間を、その後続の他の表示区間と統合する統合手段をさらに具備し、
    前記生成手段は、前記統合手段で統合した結果得られた複数の区間に基づいて、前記映像データを分割することにより、前記支援データを生成することを特徴とする請求項１記載の映像処理装置。
12. 前記統合手段は、前記複数の表示区間のうち、前記第２の画像オブジェクトの前記表示区間を含む表示区間は、その後続の表示区間と統合しないことを特徴とする請求項１１記載の映像処理装置。
13. 前記第１の画像オブジェクトの表示領域を基準とする所定の範囲は、前記表示領域の上下左右に接する領域、または、所定距離以内の領域であることを特徴とする請求項１記載の映像処理装置。
14. 前記検出手段は、前記映像データの複数の映像フレームが時刻順に配置されている時空間画像を時間軸に平行な面で切断したスライス画像から時間軸に平行な線分の集合を抽出し、該線分の集合の長さを基に、前記第１の画像オブジェクトの表示領域及び表示区間を検出することを特徴とする請求項１記載の映像処理装置。
15. 前記第２の画像オブジェクトは、矩形または角の丸い矩形あるいは長円形のグラフィックであることを特徴とする請求項１記載の映像処理装置。
16. 前記第２の画像オブジェクトの表示時間は５秒以下であることを特徴とする請求項１記載の映像処理装置。
17. 映像データを記憶手段に記憶するステップと、
    前記映像データから、表示時間が予め定められた時間以上の第１の画像オブジェクトの表示領域及び該第１の画像オブジェクトの表示区間と、前記映像データ中の前記第１の画像オブジェクトの表示領域を基準とする所定の範囲内にあり、且つ前記第１の画像オブジェクトよりも表示時間が短い第２の画像オブジェクトの表示領域及び該第２の画像オブジェクトの表示区間とを検出する検出ステップと、
    前記映像データ中の前記第２の画像オブジェクトの表示区間に基づき、前記映像データの再生、編集、及び検索のうちの少なくとも１つに用いられる支援データを生成する生成ステップと、
    を含む映像処理方法。
18. 前記検出ステップは、
    前記映像データから、表示時間が予め定められた第１の時間以上の画像オブジェクトの表示領域及び該画像オブジェクトの表示区間を検出するステップと、
    検出された画像オブジェクトのなかから、表示時間が前記第１の時間よりも長い予め定められた第２の時間以上の第１の画像オブジェクトと、前記映像データ中の前記第１の画像オブジェクトの表示領域を基準する所定の範囲内にあり、且つ表示時間が前記第２の時間よりも短い第２の画像オブジェクトとを選択する選択ステップと、
    を含む請求項１７記載の映像処理方法。
19. コンピュータを、
    映像データを記憶する記憶手段、
    前記映像データから、表示時間が予め定められた時間以上の第１の画像オブジェクトの表示領域及び該第１の画像オブジェクトの表示区間と、前記映像データ中の前記第１の画像オブジェクトの表示領域を基準とする所定の範囲内にあり、且つ前記第１の画像オブジェクトよりも表示時間が短い第２の画像オブジェクトの表示領域及び該第２の画像オブジェクトの表示区間とを検出する検出手段、
    前記映像データ中の前記第２の画像オブジェクトの表示区間に基づき、前記映像データの再生、編集、及び検索のうちの少なくとも１つに用いられる支援データを生成する生成手段、
    として機能させるためのプログラム。
20. 前記検出手段は、
    前記映像データから、表示時間が予め定められた第１の時間以上の画像オブジェクトの表示領域及び該画像オブジェクトの表示区間を検出する手段と、
    検出された画像オブジェクトのなかから、表示時間が前記第１の時間よりも長い予め定められた第２の時間以上の第１の画像オブジェクトと、前記映像データ中の前記第１の画像オブジェクトの表示領域を基準する所定の範囲内にあり、且つ表示時間が前記第２の時間よりも短い第２の画像オブジェクトとを選択する選択手段と、
    を含む請求項１９記載のプログラム。

Images