JP2012221322A - オーサリング支援装置、オーサリング支援方法およびプログラム - Google Patents

Abstract

【課題】シーンの途切れや抽出漏れを低減し、自然な映像を抽出するオーサリング支援装置を提供する。
【解決手段】オーサリング支援装置は、映像コンテンツを記憶する記憶部と、映像コンテンツを解析してメタデータを生成する解析部と、メタデータに基づいて映像コンテンツからシーンを抽出する検索部とを具備する。解析部は、分解部、切り出し部、抽出部、生成部、追跡部、追加部を備える。分解部は映像データをフレームに分解し、切り出し部はフレームから対象を識別すべき領域を切り出す。抽出部は領域から個々の対象を識別するための特徴情報を抽出し、生成部は特徴情報に基づいて識別された対象の有無を示すメタデータをフレームごとに生成する。追跡部は特徴情報に基づいてそれぞれの対象を複数のフレームにわたり追跡する。追加部は、複数のフレームにわたって、当該特定の対象の存在の連続性が認められれば、その範囲を示す情報をメタデータに追加する。
【選択図】図４

Description

本発明の実施形態は、オーサリングを支援するためのオーサリング支援装置、オーサリング支援方法およびプログラムに関する。

近年、映像などのコンテンツを編集するためのオーサリング技術が発展してきている。オーサリングに際しては、画像フレームに予め対応づけられたメタデータが利用される。メタデータはコンテンツデータを解析して生成されるデータであり、その生成のために様々な手法が提案されている。

映像コンテンツとして代表的なものに、コンサートなどのイベント中継、あるいはスポーツ中継がある。既存のビデオオーサリングツールによれば、例えばオブジェクト識別と称する技術を用いてユーザ（あるいは視聴者）の所望する画像を特定することが可能である。これを応用して、選手がゼッケンや背番号をつけているスポーツ（マラソン、サッカー、バスケットボールなど）、あるいはカーレースなどを撮影した映像コンテンツから、指定されたゼッケンや背番号の人物、物体が登場するシーンを取り出すことが考えられている。

特開２０００−２６１７５４号公報

既存の技術においてはユーザが映像コンテンツの全てのシーンを目視して確認したり、チャプターの代表的シーンから類推するなどして所望のシーンを抽出していた。あるいは、このような作業を支援するオーサリングツールを用いてオブジェクト識別を行っていた。しかしながら、個体を識別すべき情報がコンテンツの時系列上で途切れたりすると、所望のシーンを連続して検知することができない。このためシーン途切れや抽出漏れが発生し、不自然な映像が抽出されてしまうことがある。
目的は、シーンの途切れや抽出漏れを低減し、自然な映像を抽出することの可能なオーサリング支援装置、オーサリング支援方法およびプログラムを提供することにある。

実施形態によれば、オーサリング支援装置は、映像コンテンツを含む映像データを記憶する記憶部と、映像コンテンツを解析して映像データに付随するメタデータを生成する解析部と、メタデータに基づいて映像コンテンツからシーンを抽出する検索部とを具備する。解析部は、分解部と、切り出し部と、抽出部と、生成部と、追跡部と、追加部とを備える。分解部は、映像データをフレームに分解する。切り出し部は、フレームから対象を識別すべき領域を切り出す。抽出部は、領域から個々の対象を識別するための特徴情報を抽出する。生成部は、特徴情報に基づいて識別された対象の有無を示すメタデータをフレームごとに生成する。追跡部は、特徴情報に基づいてそれぞれの対象を複数のフレームにわたり追跡する。追加部は、追跡の結果、特定の対象の存在についての連続性が、連続する複数のフレームにわたって認められれば、当該特定の対象が複数のフレームの全てに存在することを意味する追加情報をメタデータに追加する。

実施形態に係わるオーサリング支援装置を含むシステムの一例を示す図。 図１に示される解析部２２の一例を示す機能ブロック図。 図１に示される検索部２３の一例を示す機能ブロック図。 実施形態に係わるオーサリング支援装置により実施される処理手順の一例を示すフローチャート。 各フレームから生成されたメタデータ２１ｂの一例を示す図。 図５に示されるメタデータ２１ｂに新たなメタデータが追記されたことを示す図。 実施形態に係わるオーサリング支援装置の適用のイメージを例示する図。 実施形態に係わるオーサリング支援装置の適用のイメージを例示する図。 実施形態に係わるオーサリング支援装置の適用のイメージを例示する図。 実施形態の変形例を示す図。

図１は、実施形態に係わるオーサリング支援装置を含むシステムの一例を示す図である。実施形態では、例えば野球、サッカー、マラソン、バスケット、バレーボールなどといったスポーツの試合の映像を加工し、編集するのに利用可能なオーサリング支援装置を想定するが、実施形態はこれに限定されるものではない。

図１に示されるシステムは、例えばユーザ宅に備え付けられるパーソナルコンピュータ（ＰＣ）２００を主体として構成される。実施形態では、オーサリング支援方法を実行するための処理手順が記述されたプログラムをＰＣ２００にロードすることにより、ＰＣ２００をオーサリング支援装置として機能させる。

ＰＣ２００は、撮影装置としてのビデオカメラ１０に接続される。そのインタフェースには、例えばイーサネット（登録商標）やＩＥＥＥ１３９４などの高速インタフェース、あるいはＵＳＢ（Universal Serial Bus）などを用いることができる。または、ＳＤメモリカードのような記憶媒体（図示しない）を介して映像コンテンツの受け渡しをしても良い。

ＰＣ２００はビデオカメラ１０、あるいは外部の映像配信装置（図示しない）などから映像コンテンツを受け取り、映像データ２１ａとして記憶部２１に記憶する。なお映像コンテンツは複数のアングルから撮影された複数の映像を含むものであってよい。また映像コンテンツは複数であっても良い。例えば、或るスポーツの試合を複数のアングルから異なるカメラで撮影した映像であっても良い。または、マラソンの映像のように、スタート付近の映像コンテンツ、コース途中の映像コンテンツ、およびゴールの映像コンテンツを含むものであっても良い。

さらにＰＣ２００は、解析部２２および検索部２３を備える。記憶部２１はハードディスクドライブ（ＨＤＤ）などの大容量ストレージメディア、あるいは大容量の半導体メモリなどである。解析部２２、検索部２３は、例えばＣＰＵ（Central Processing Unit）の演算処理により実現される処理機能として実現される。

解析部２２は、記憶部２１の映像コンテンツ（映像データ２１ａ）を解析し、映像データ２１ａに付随するメタデータ２１ｂを生成する。生成されたメタデータ２１ｂは映像データ２１ａを構成するフレームのそれぞれに対応付けられ、記憶部２１に記憶される。
検索部２３は、例えばユーザにより入力された検索条件に合致するシーンを、メタデータを参照して映像コンテンツから抽出する。すなわち検索部２３は、抽出条件の入力を受け付けてメタデータを検索し、条件に一致するメタデータに関連する映像コンテンツを出力する。出力されたシーンは、メディアドライブ（図示しない）により例えばＤＶＤ（Digital Versatile Disk）やＣＤ−ＲＯＭ、ブルーレイディスクなどの記録メディアに記録される。

図２は、図１に示される解析部２２の一例を示す機能ブロック図である。解析部２２はその処理機能として、分解部２２ａ、切り出し部２２ｂ、抽出部２２ｃ、生成部２２ｄ、追跡部２２ｅ、および、追加部２２ｆを備える。
分解部２２ａは、映像データ２１ａを個々のフレームに分解する。なお実施形態において、映像データ２１ａがＭＰＥＧ−２（Moving Picture Expert Group - 2）で圧縮されていれば、例えばＩピクチャをフレームの単位とすることができる。

切り出し部２２ｂは、フレームから対象を識別すべき領域を切り出す。抽出部２２ｃは、切り出された領域から個々の対象を識別するための特徴情報を抽出する。生成部２２ｄは、特徴情報に基づいて識別された対象の有無を示すメタデータを、個々のフレームごとに生成する。生成されたメタデータはその元となるフレームに対応付けられる。

追跡部２２ｅは、特徴情報に基づいてそれぞれの対象を複数のフレームにわたり追跡する。
追加部２２ｆは、追跡の結果、特定の対象（例えば個々の被写体）の存在についての連続性が、一定の期間内、例えば複数のフレームにわたって認められるか否かを判定する。そして、上記連続性が認められると判定すれば、追跡部２２ｅは、当該特定の対象が上記期間内の全てのフレームに存在することを意味する追加情報を、メタデータに追加する。

すなわち追加部２２ｆは、特定の対象が消滅したフレームに続く規定数以内のフレームにおいて当該特定の対象が再度出現すれば、上記連続性が当該複数のフレームにわたって認められるとみなす。
つまり追加部２２ｆは、ある被写体が有るか無いかを、連続する複数のフレームにわたって判定する。そして、この被写体が一時的に消滅したとしても直ぐに再出現すれば、これら複数のフレームの全てにおいて上記被写体が存在するとみなし、そのことを意味するメタデータを生成する。なお、この判定の機能を追跡部２２ｅに持たせるようにしてもよい。これはソフトウェアコーディングの際の事情に応じてどのようにもできる。

図３は、図１に示される検索部２３の一例を示す機能ブロック図である。検索部２３は、検索処理部２３ａと、シーン抽出処理部２３ｂとを備える。検索処理部２３ａは、例えばユーザにより指定された対象（被写体など）を含むシーンを、メタデータに基づいて検索する。シーン抽出処理部２３ｂは、検索されたシーンを映像コンテンツ（映像データ２１ａ）から抽出して出力する。

すなわち検索部２３は、ユーザが視聴を所望する人物や物体のメタデータをメタデータ２１ｂから探す。視聴を所望する人物や物体を指定するための検索条件としては、文字や記号などのテキストデータであっても良い。または、映像コンテンツの中の画像からＧＵＩ（Graphical User Interface）により領域を指定し、その領域の特徴を抽出して得られるメタデータを検索条件としても良い。検索部２３は、このような検索条件に対応するメタデータに対応付けられたフレームに基づく映像コンテンツを取り出す。これにより、ユーザが視聴を所望する人物や物体が登場するシーンのみの映像を得ることができる。次に、上記構成における作用を説明する。

図４は、実施形態に係わるオーサリング支援装置により実施される処理手順の一例を示すフローチャートである。
図４において、ＰＣ２００は、記憶部２１に記憶された映像データ２１ａを個々のフレームに分解する（ステップＳ１）。次にＰＣ２００は、人物や物体を識別するための情報が含まれる画像領域を各フレームから切り出す（ステップＳ２）。人物や物体を識別するための情報とは例えばゼッケンの数字やアルファベット、背番号、ナンバープレートなど、個体をユニークに識別できる情報である。次にＰＣ２００は、切り出された領域中に表現される特徴を抽出し（ステップＳ３）、個々のフレームに対応付けられるメタデータを生成する（ステップＳ４）。

メタデータが生成されたフレームには、個体識別された人物や物体が存在する。これらを以下では被写体と総称する。次にＰＣ２００は、被写体を時間軸上の前後フレーム方向に追跡する（ステップＳ５）。この追跡の結果、ある被写体がフレームから消滅したとしても、同じ被写体が規定数フレーム後に再度出現すれば（ステップＳ６でＹｅｓ）、ＰＣ２００は消滅から再出現までの全てのフレームにおいて被写体が存在するフラグを立てたメタデータを生成する。このメタデータは記憶部２１のメタデータ２１ｂに追加される（ステップＳ７）。一方、被写体の消滅から既定数フレームがカウントされたのち再度の出現が無ければ（ステップＳ６でＮｏ）、処理手順はステップＳ１に戻る。

図５は、各フレームから生成されたメタデータ２１ｂの一例を示す図である。図５において、フレームＩＤで示されるフレームごとに、被写体の例えば個体色、背番号などの特徴情報が、区別された被写体ＩＤに対応付けてメタデータ化される。例えばフレーム００１には、背番号が２０，２，５の被写体ＡＡＡ，ＢＢＢ，ＣＣＣが検出されたことが示される。被写体ＡＡＡ，ＢＢＢの個体色は青であり、被写体ＣＣＣの個体色は赤である。

フレーム００１に続くフレーム００２においては被写体ＣＣＣのみが検出され、被写体ＡＡＡ，ＢＢＢは検出されなかったことが示される。続くフレーム００３においては被写体ＢＢＢが検知されたとともに、被写体ＤＤＤが新たに検知されたことが示される。
続くフレーム００４においては、被写体ＤＤＤが消滅するとともに被写体ＡＡＡが再度出現したことが示される。既存の技術においてはメタデータ２１ｂは図５のままである。

図６は、図５に示されるメタデータ２１ｂに新たなメタデータが追記されたことを示す図である。実施形態においてＰＣ２００は、フレーム００４に被写体ＡＡＡが再度出現したことを受けて、中間のフレーム００２，００３においても被写体ＡＡＡが存在することを示す情報を、メタデータ２１ｂに追記する。図６の斜線囲み部分にそのことが示される。ここでは図４のステップＳ６における既定数フレームは、例えば３フレームである。

以上説明したようにこの実施形態では、個体識別情報が抽出されたフレームに連続する前後のフレームについても、当該の個体と認識できるフレームには同じ個体が存在するものとし、そのことを反映したメタデータを生成するようにする。そうして、映像の特徴や画面上の位置などから同じ個体が出現していると判断されるフレームについては、同じメタデータを付与するようにする。このような処理により、連続して識別すべき特徴情報が途切れた場合であっても動きを考慮した追跡を行うことが可能になり、途切れの無い一連の映像シーンを抽出することが可能となる。

すなわち実施形態によれば、映像コンテンツからゼッケンや背番号などで個体を識別してシーンを抽出する際に、その個体の識別が時間軸上途切れてしまう場合において、個体がフレーム内に存在することを考慮に入れることができるようになる。
例えばマラソンやカーレースの映像の場合、ゼッケンの特徴を検知して個体識別を行うが、被写体の向きが変わったり、被写体の手前を別の物体が横切るなどによって検知が途切れることがある。その際、実施形態の手法により前後フレーム方向に動きを考慮した追跡を行うことで、途切れることの無い一連のフレームとして認識することが可能になる。従って、各選手の見どころが自然なかたちで、つまり、不自然な切れ目の無いかたちでまとめられたデータファイルを作成できるようになる。

よって、シーンの途切れや抽出漏れを低減し、ユーザにとって自然で、より高品質な抽出映像を提示することができる。これらのことから、シーンの途切れや抽出漏れを低減し、自然な映像を抽出することの可能なオーサリング支援装置、オーサリング支援方法およびプログラムを提供することが可能となる。

図７乃至図９は、実施形態に係わるオーサリング支援装置の適用のイメージを例示する図である。図７において、ビデオカメラ１０などで撮影されたオリジナルの映像をフレーム単位に分解し、キーとなるフレーム（例えばＩピクチャ）ごとに選手のゼッケン、背番号を抽出してメタデータを生成する。メタデータには例えば青２０番、青２番といった情報が記述される。

ＰＣ２００において、ユーザは抽出したいメタデータ（ゼッケン・背番号）を検索条件として指定する。そして検索にヒットしたフレームから該当の選手（例えばゼッケン２０番）が特定され、その選手の動きが前後のフレームで追跡される。これにより特定の選手が登場するシーンを不自然なく出力することができる。

図８に示すようにマラソン中継においては、沿道に複数のカメラを設置し、連続的に撮影を行なうことが想定される。映像データは無線、あるいはメモリカードなどを介してオーサリング支援装置に入力される。オーサリング支援装置はコンテンツの受付、一次保存を行なうとともに、コマンド入力により映像コンテンツの自動加工、自動編集を行なう。編集では、例えばコンテンツに含まれる動画、あるいは静止画からゼッケンをキーとしてランナーを特定し、シーンを切り出し、スタートからゴールまでの順にシーンを繋ぎ合わせることができる。このほかフレームに付与された時刻情報（タイムスタンプ）を利用して時系列的にシーンを並べ替えても良い。
このようにして編集、加工されたデータは大会の終了後に、各出走者の記録用や記念として、例えばＤＶＤなどに焼いて配布することができる。また大会前後（開会式、表彰式）の映像をプレミアム動画として配布用データに付加しても良い。

図９に示すように、スポーツ動画におけるゼッケン／背番号を認識させた映像加工編集においては、背番号を検出して人物を特定し、フレーム間の動き（移動）をトレースしてメタデータを生成する。既存の技術では、所望の選手が登場するフレームが大量に存在したり、または不連続に散在することにより検索が困難になることもあったが、実施形態では見たい選手（背番号）が登場しているシーンを自動的かつ一定以上の連続した時間で抽出し、視聴することができる。抽出後の映像はＤＶＤなどにオーサリングしてもよい。

なお本発明は上記実施形態に限定されるものではない。例えばＩＰ（Internet Protocol）ネットワークを介して不特定多数のユーザに映像コンテンツを配信するコンテンツ配信システムに、実施形態を適用することができる。近年ではインターネットなどのＩＰネットワークを介して映像コンテンツを配信するシステムが知られている。放送局と各ユーザとを結ぶ回線の容量は年々拡大しており、その品質も高くなってきている。また、ＷｉＭＡＸ（worldwide interoperability for microwave access）といった新たなモバイルブロードバンド回線の構築に伴い、新たな形態のサービスを提供できる素地も生まれてきている。

さらに、動画共有サイトを介してユーザ間で映像コンテンツを共有するシステムも構築されている。この種のシステムでは、投稿者からサーバにアップロードされた映像コンテンツをインターネット上に公開できるようになっている。映像コンテンツを配信するサイトには、或る特定のイベントなどに対して複数の映像コンテンツがアップロードされることがある。しかしながらそれぞれの映像コンテンツ相互を関連づけて、且つ、ユーザが所望するシーンを抽出する仕組みは知られていない。実施形態はこの種のシステムにも適用することが可能である。

図１０は、実施形態の変形例を示す図である。図１０において、ビデオカメラ１０、ストレージサーバ２１０、解析サーバ２２０、パーソナルコンピュータ（ＰＣ）２３０、およびコンテンツホルダ３００が通信ネットワーク１００を介して相互に接続されている。そして、ストレージサーバ２１０は記憶部２１を備え、ビデオカメラ１０、あるいはコンテンツホルダ３００から提供される映像コンテンツを記憶部２１に記憶する。解析サーバ２２０は解析部２２の機能を備える。ＰＣ２３０には検索部２３の機能を持たせるようにする。このように、オーサリング支援装置に備わる機能をネットワークに分散して配置し、システム化するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…ビデオカメラ、２００…パーソナルコンピュータ（ＰＣ）、２１…記憶部、２１ａ…映像データ、２１ｂ…メタデータ、２２…解析部、２２ａ…分解部、２２ｂ…切り出し部、２２ｃ…抽出部、２２ｄ…生成部、２２ｅ…追跡部、２２ｆ…追加部、２３…検索部、２３ａ…検索処理部、２３ｂ…シーン抽出処理部、１００…通信ネットワーク、２１０…ストレージサーバ、２２０…解析サーバ、２３０…パーソナルコンピュータ（ＰＣ）、３００…コンテンツホルダ

Claims (15)

1. 映像コンテンツを含む映像データを記憶する記憶部と、
   前記映像コンテンツを解析して前記映像データに付随するメタデータを生成する解析部と、
   前記メタデータに基づいて前記映像コンテンツからシーンを抽出する検索部とを具備し、
   前記解析部は、
   前記映像データをフレームに分解する分解部と、
   前記フレームから対象を識別すべき領域を切り出す切り出し部と、
   前記領域から個々の対象を識別するための特徴情報を抽出する抽出部と、
   前記特徴情報に基づいて識別された対象の有無を示すメタデータを前記フレームごとに生成する生成部と、
   前記特徴情報に基づいてそれぞれの対象を複数のフレームにわたり追跡する追跡部と、
   前記追跡の結果、特定の対象の存在についての連続性が、連続する複数のフレームにわたって認められれば、当該特定の対象が前記複数のフレームの全てに存在することを意味する追加情報を前記メタデータに追加する追加部と、を備えるオーサリング支援装置。
2. 前記検索部は、
   指定された対象を含むシーンを前記メタデータに基づいて検索する検索処理部と、
   前記検索されたシーンを前記映像コンテンツから抽出して出力するシーン抽出処理部とを備える、請求項１に記載のオーサリング支援装置。
3. さらに、前記出力されたシーンを記録メディアに記録する記録部を具備する、請求項２に記載のオーサリング支援装置。
4. 前記追加部は、前記特定の対象が消滅したフレームに続く規定数以内のフレームにおいて当該特定の対象が再度出現すれば、前記連続性が前記複数のフレームにわたって認められるとみなす、請求項１に記載のオーサリング支援装置。
5. 前記映像コンテンツは、複数のアングルから撮影された複数の映像を含む、請求項１に記載のオーサリング支援装置。
6. 映像コンテンツを含む映像データを記憶する記憶部と、前記映像コンテンツを解析して前記映像データに付随するメタデータを生成する解析部と、前記メタデータに基づいて前記映像コンテンツからシーンを抽出する検索部とを具備する装置に用いられるオーサリング支援方法において、
   前記装置は、
   前記映像データをフレームに分解し、
   前記フレームから対象を識別すべき領域を切り出し、
   前記領域から個々の対象を識別するための特徴情報を抽出し、
   前記特徴情報に基づいて識別された対象の有無を示すメタデータを前記フレームごとに生成し、
   前記特徴情報に基づいてそれぞれの対象を複数のフレームにわたり追跡し、
   前記追跡の結果、特定の対象の存在についての連続性が、連続する複数のフレームにわたって認められるか否かを判定し、
   前記判定の結果、前記連続性が認められれば、当該特定の対象が前記複数のフレームの全てに存在することを意味する追加情報を前記メタデータに追加する、オーサリング支援方法。
7. 前記装置は、
   指定された対象を含むシーンを前記メタデータに基づいて検索し、
   前記検索されたシーンを前記映像コンテンツから抽出して出力する、請求項６に記載のオーサリング支援方法。
8. 前記装置は、さらに、前記出力されたシーンを記録メディアに記録する、請求項７に記載のオーサリング支援方法。
9. 前記判定することは、前記特定の対象が消滅したフレームに続く規定数以内のフレームにおいて当該特定の対象が再度出現すれば、前記連続性が前記複数のフレームにわたって認められると判定する、請求項６に記載のオーサリング支援方法。
10. 前記映像コンテンツは、複数のアングルから撮影された複数の映像を含む、請求項６に記載のオーサリング支援方法。
11. コンピュータにより実行されるプログラムであって、前記プログラムは前記コンピュータを、
    映像コンテンツを含む映像データを記憶する記憶部と、
    前記映像コンテンツを解析して前記映像データに付随するメタデータを生成する解析部と、
    前記メタデータに基づいて前記映像コンテンツからシーンを抽出する検索部と、
    前記映像データをフレームに分解する分解部と、
    前記フレームから対象を識別すべき領域を切り出す切り出し部と、
    前記領域から個々の対象を識別するための特徴情報を抽出する抽出部と、
    前記特徴情報に基づいて識別された対象の有無を示すメタデータを前記フレームごとに生成する生成部と、
    前記特徴情報に基づいてそれぞれの対象を複数のフレームにわたり追跡する追跡部と、
    前記追跡の結果、特定の対象の存在についての連続性が、連続する複数のフレームにわたって認められれば、当該特定の対象が前記複数のフレームの全てに存在することを意味する追加情報を前記メタデータに追加する追加部と、
    して動作させる、プログラム。
12. 前記コンピュータを、
    指定された対象を含むシーンを前記メタデータに基づいて検索する検索処理部と、
    前記検索されたシーンを前記映像コンテンツから抽出して出力するシーン抽出処理部と、
    して動作させる、請求項１１に記載のプログラム。
13. さらに、前記コンピュータを、前記出力されたシーンを記録メディアに記録する記録部として動作させる、請求項１２に記載のプログラム。
14. 前記追加部に、前記特定の対象が消滅したフレームに続く規定数以内のフレームにおいて当該特定の対象が再度出現すれば、前記連続性が前記複数のフレームにわたって認められるとみなす処理を実行させる、請求項１１に記載のプログラム。
15. 前記映像コンテンツは、複数のアングルから撮影された複数の映像を含む、請求項１１に記載のプログラム。

Images