JP2010509830A - ビデオデータストリームの要約を生成するための方法及び装置 - Google Patents

Abstract

ビデオデータストリームにおけるテキスト情報の表現（スコアボードのような）が検出され（１０５）、該ビデオデータストリームの要約へと埋め込まれる（１０７）。該要約は、当該要約のために選択されたフレームに表示されていなかったものであっても良いテキスト情報を含む。

Description

本発明は、テキスト情報の表現を含むようにビデオデータストリームの要約を生成することに関する。

スポーツ放送は、テレビジョン放送の大きな割合を構成している。ＨＤＤレコーダ及びMedia Center PCのような現在の消費者向け製品は、多くのスポーツコンテンツを録画する機能をユーザに与えるが、録画されたものを容易に閲覧する機能や、例えばゴールを決めた場面のようなスポーツ放送の主要なイベントを含む要約のような必須部分へと長いスポーツイベントを短縮する機能を欠いている。

この目的のため、例えばEkin、A.M.Tekalp及びR. Mehrotraによる「Automatic Soccer Video analysis and summarization」（IEEE Trans. Image Processing、 2003年6月）において提案されるような、多くの自動スポーツ要約生成システムが開発されてきた。ビデオ中の重要なイベント（例えばフリーキック、ゴール等）の検出に基づいて、これらのシステムは、ビデオマテリアルからクリップを選択し、試合又はスポーツイベントの重要な瞬間の概観を生成する。

スポーツ放送においては通常、得点のような情報を中継するため、放送の間にはテキスト情報が表示され、又は代替として、物理的なスコアボードが捕捉され得る。常に、該情報は、放送の間中、継続的に表示されているわけではない。このことはしばしば、リプレイ及びスローモーション場面において生じる。自動的に生成された要約は常に、多くのリプレイ及びスローモーション場面を含み、結果として、テキスト情報（スコア）は要約の再生の間は表示されない。

しかしながら、該情報が利用可能であることが、しばしば望ましい。ユーザにとっては、要約の再生の際に、背景状況から抜き出されて表示される放送の断片を理解することが、困難である。斯かるテキスト情報を可視とすることは、自動的に生成されたスポーツの要約の知覚される品質を改善し得る。

本発明は、テキスト情報の表現が含まれる、ビデオデータストリームの自動的な要約生成を提供することを目的とする。

本目的は、本発明の一態様によれば、ビデオデータストリームの要約を生成する方法であって、前記ビデオデータストリームは複数のフレームを有し、前記方法は、ビデオデータストリームにおいて表示されるテキスト情報の表現を検出するステップと、先行する又は後続するフレームにおいて検出されたテキスト情報が埋め込まれた、前記ビデオデータストリームの前記複数のフレームから選択されたフレームを有する、前記ビデオデータストリームの要約を生成するステップと、を有する方法により達成される。

本目的はまた、本発明の他の態様によれば、ビデオデータストリームの要約を生成するための装置であって、前記ビデオデータストリームは複数のフレームを有し、前記装置は、ビデオデータストリームにおいて表示されるテキスト情報の表現を検出するための検出器と、先行する又は後続するフレームにおいて検出されたテキスト情報が埋め込まれた、前記ビデオデータストリームの前記複数のフレームから選択されたフレームを有する、前記ビデオデータストリームの要約を生成するための手段と、を有する装置により達成される。

要約は、検出されたテキスト情報を少なくとも１つの他のフレームに埋め込み、該検出されたテキスト情報を埋め込まれた少なくとも１つの他のフレームを含む要約を生成するように複数のフレームを選択することにより、生成されても良い。代替としては、要約は、複数のフレームを選択し、該検出されたテキスト情報を埋め込むことにより生成される。このようにして、最新のスコア又は当該ゲームについての種々の統計的な情報等のような利用可能な全ての情報をユーザが持つことを保証するため、要約は自動的に、必ずしも要約に含まれないフレームにおいて表示されていた情報を含むこととなる。

好適な実施例においては、目標のオブジェクトが認識されても良く、該オブジェクトの名前等のようなデータが、要約における該オブジェクトの出現の際に表示されても良い。

本発明のより完全な理解のため、添付図面と共に為される以下の説明が参照される。

第１の実施例による装置の簡略化された模式図である。 第２の実施例による装置の簡略化された模式図である。

本発明の第１の実施例が、図１を参照しながら以下に説明される。装置１００は、入力端子１０１を有する。入力端子１０１は、検出器１０３に接続される。検出器１０３は、例えばD. Zhang、R. K. Rajendran及びS.-F. Changによる「General and domain specific techniques for detecting and recognizing superimposed text in video」（IEEE 2002 International Conference on Image Processing、ニューヨーク州Rochester）のような、いずれかの既知の方法を用いた、画面上のグラフィカル情報データ又は物理的なスコアボードといったテキスト情報の表現の、自動検出のためのものである。

検出器１０３は、ローカルの記憶手段（クリップボード）１０５及びペースト手段１０７に接続される。ペースト手段１０７は、要約生成器１０９に接続される。要約生成器１０９は、記憶手段１１１及び出力端子１１３に接続される。

本装置の動作が、以下により詳細に説明される。スポーツ放送のようなビデオデータストリームは、入力端子１０１において入力される。ビデオデータストリームは、複数のフレームを有する。検出器１０３は、抽出されてローカルの記憶手段１０５に保存された、入力ビデオデータストリームのフレームにおいて表示されるテキスト情報の表現を検出する。該テキスト情報がどのフレームにおいて表示されるかに関するデータもまた、ローカルの記憶手段１０５に記録される。

入力ビデオデータストリームは次いでペースト手段１０７に入力され、該ペースト手段１０７において、テキスト情報を持たないフレーム（又は少なくとも１つのフレーム）が識別され、ローカルの記憶手段１０５に保存された先行する又は後続するフレームにおけるテキスト情報の表現が、該テキスト情報を持たないフレームへとペーストされる。

ペーストされるべきテキスト情報の表現は、該テキスト情報を持たないフレームに最も近いフレームにおいて示された情報として選択されても良い。このようにして、最も関連するテキスト情報が、要約中の当該フレームにおいて表示される。テキスト情報の表現は、先行するフレームにおいて表示されていることに基づいて選択されても良く、新たなテキスト情報が検出されるまでの、全ての後続するテキスト情報を持たないフレームへと、テキストがペーストされても良い。

要約生成器１０９は次いで、イベントを含むフレームを選択することにより、例えばリプレイ及びスローモーション場面の出現を検出することにより、編集されたビデオデータストリームを要約する。付加的なフレーム、好適には全てのフレームが、ここではテキスト情報の表現を含むため、該要約がここではテキスト情報を含むこととなる。該要約は、記憶手段１１１に保存されても良く、必要に応じて再生のために出力端子１１３において出力されても良い。

本発明の第２の実施例が、図２を参照しながら以下に説明される。装置２００は、第１及び第２の入力端子２０１及び２０２を有する。第１の入力端子２０１は、図１のものと類似する要約生成器１０９に接続される。第２の入力端子２０２は、検出器１０３に接続される。検出器１０３は、第１の実施例におけるように、ローカルの記憶手段１０５に接続される。検出器１０３及び要約生成器１０９は、ペースト手段１０７に接続される。ペースト手段１０７は、記憶手段１１１及び出力端子２１３に接続される。

図２の装置２００の要素は、図１の装置１００の対応する要素に類似するものであり、これらの動作の詳細な説明はここでは説明されない。要約生成器１０９は、第１の入力端子２０１において入力されるビデオデータストリームから、複数のフレームを選択することにより、要約を生成する。要約されたビデオデータストリームは次いで、ペースト手段１０７に入力される。該要約されたビデオデータストリームに対して、第１の実施例に関連して説明されたように検出器１０３により検出され抽出されたテキスト情報が埋め込まれる。編集された要約は次いで、出力端子２０３において出力されるか、又は必要に応じ後の再生ために記憶手段１１１に保存される。

テキスト情報の表現は、スポーツイベントのスコアの画面上におけるグラフィカルな表現を含んでも良いし、若しくは特定の選手、ゲーム、状況等に関する種々の統計及び情報のような他のデータを含んでも良く、又は代替として、ビデオにより捕捉された物理的なスコアボードであっても良い。

検出されたテキスト情報はまた、状況に関連した情報を含んでも良く（例えば或る選手が表示されるときに当該選手についての統計情報が表示される）、要約において同じ状況（例えば同じ選手）が出現したときに該要約において表示されても良い。この点において、顔の特徴を抽出し選手を認識するための既知の手法を用いることにより選手の認識が為されても良く、次いで要約において該選手の後続する出現の際に、当該選手に関連するテキスト情報が表示されても良い。

本装置は、ディジタルビデオレコーダ、ＴＶ、自動要約生成システム、ビデオ・オン・デマンド・システム等において、利用され得る。

本発明の好適な実施例が添付図面において示され以上の記載において説明されたが、本発明はこれら実施例に限定されるものではなく、請求項に示される本発明の範囲から逸脱することなく多くの変更が可能であることは、理解されるであろう。本発明は、それぞれの及び全ての新規な特徴及び特徴のそれぞれの及び全ての組み合わせに存する。請求項における参照番号は、請求の範囲を限定するものではない。動詞「有する（comprise）」及びその語形変化の使用は、請求項に記載されたもの以外の要素の存在を除外するものではない。要素に先行する冠詞「１つの（a又はan）」は、複数の斯かる要素の存在を除外するものではない。

当業者には明らかであるように、「手段（means）」は、単独の又は他の要素と協働する、いずれのハードウェア（別個の又は集積された回路又は電子素子のような）又は、特定の機能を動作時に実行する若しくは実行するように構成されたソフトウェアをも含むことを意図している。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記した装置請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。「コンピュータプログラム」は、フロッピー（登録商標）ディスクのようなコンピュータ読み取り可能な媒体に保存されたもの、インターネットのようなネットワークを介してダウンロード可能なもの、又は他のいずれかの態様で入手可能な、いずれのソフトウェアをも意味するものと理解されるべきである。

Claims (8)

1. ビデオデータストリームの要約を生成する方法であって、前記ビデオデータストリームは複数のフレームを有し、前記方法は、
   ビデオデータストリームにおいて表示されるテキスト情報の表現を検出するステップと、
   前記ビデオデータストリームの前記複数のフレームから選択されたフレームを有し、先行する又は後続するフレームにおいて検出されたテキスト情報が埋め込まれた、前記ビデオデータストリームの要約を生成するステップと、
   を有する方法。
2. 前記ビデオデータストリームの要約を生成するステップは、
   前記検出されたテキスト情報の表現を、前記ビデオデータストリームの少なくとも１つの他のフレームに埋め込むステップと、
   前記要約を生成するために、前記検出されたテキスト情報の表現を埋め込まれた前記少なくとも１つの他のフレームを含む、複数のフレームを選択するステップと、
   を有する、請求項１に記載の方法。
3. 前記ビデオデータストリームの要約を生成するステップは、
   前記要約を生成するため複数のフレームを選択するステップと、
   前記検出されたテキスト情報の表現を、前記選択されたフレームの少なくとも１つに埋め込むステップと、
   を有する、請求項１に記載の方法。
4. 前記検出されたテキスト情報の表現は、新たなテキスト情報の表現が検出されるまでの、全ての後続するフレームに埋め込まれる、請求項１に記載の方法。
5. 前記ビデオデータストリーム中のオブジェクトを認識するステップと、
   前記認識されたオブジェクトの後続する出現の際に、前記認識されたオブジェクトに関連する検出されたテキスト情報の表現を表示する、前記ビデオデータストリームの要約を生成するステップと、
   を更に有する、請求項１に記載の方法。
6. 前記テキスト情報の表現は、スコアの表示を含む、請求項１に記載の方法。
7. 請求項１乃至６のいずれか一項に記載の方法を実行するための複数のプログラムコード部分を有する、コンピュータプログラム。
8. ビデオデータストリームの要約を生成するための装置であって、前記ビデオデータストリームは複数のフレームを有し、前記装置は、
   ビデオデータストリームにおいて表示されるテキスト情報の表現を検出するための検出器と、
   先行する又は後続するフレームにおいて検出されたテキスト情報が埋め込まれた、前記ビデオデータストリームの前記複数のフレームから選択されたフレームを有する、前記ビデオデータストリームの要約を生成するための手段と、
   を有する装置。

Images