JP4452122B2 - メタデータ生成装置及びメタデータ生成プログラム - Google Patents

Description

本発明は、コンテンツに含まれる種々の情報に基づいて、当該コンテンツの情報を記述したメタデータを生成するメタデータ生成装置及びメタデータ生成プログラムに関する。

近年、番組等のコンテンツ（映像コンテンツ）の情報を記述したメタデータを、コンテンツに含まれる種々の情報から生成する研究が行われ、種々のメタデータ生成手法が開示されている。例えば、映像コンテンツを解析し、その特徴をメタデータとするもの（特許文献１参照）、コンテンツ内のテキスト情報からキーワードを抽出してメタデータとするもの（特許文献２参照）、音を解析して音楽の区間やスピーチの区間毎の情報をメタデータとするもの（非特許文献１参照）等が存在する。
また、最近では、マルチモーダルと称する、映像や音声などの多様な情報を統合的に処理する研究が行われ、複数のメディア、例えば、映像処理によって生成されるメタデータと、音声処理によって生成されるメタデータとを統合して新しいメタデータを生成する技術が存在する（非特許文献２参照）。
特開２００４−７５３５号公報（図１） 特開２００３−２２８５６９号公報（図１） 南憲一、他３名「音情報を用いた映像インデキシングとその応用」、電子情報通信学会論文誌 Ｖｏｌ．Ｊ８１−Ｄ２ Ｎｏ．３ ｐｐ．５２９−５３７ 笹森重和、他２名「インターモーダル協調による映像メディアからのイベント抽出」、電子情報通信学会 ＰＲＭＵ９８−１８９、ｐｐ．９９−１０６（１９９９）

前記した従来のメタデータ生成手法は、個々に特化した固有の手法によってメタデータを生成しているため、生成されるメタデータのデータ形式も、手法によってそれぞれ異なっている。そのため、例えば、１つのコンテンツから、映像、音声等に関するメタデータを生成する場合、データ形式の異なるメタデータが複数生成されるため、コンテンツとして１つの定型化したメタデータを生成するには、複数のメタデータを個々に編集しなければならず、手間がかかってしまうという問題があった。
また、個々のメタデータを汎用的に生成・編集するためのツール（装置、プログラム）は、これまで開発報告等がなく、種々のメタデータを、共通のインタフェースにより同じ操作環境で統一的に生成・編集することが可能なツールに対する要求が高まっている。

本発明は、以上のような課題を解決するためになされたものであり、コンテンツのメタデータを生成する際に、ユーザ（利用者）に対して共通の操作環境を提供し、映像、音声等で異なるメタデータを統一した形式のメタデータとして生成・編集が可能なメタデータ生成装置及びメタデータ生成プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のメタデータ生成装置は、コンテンツにおいて、ある事象の事象区間毎に、前記コンテンツの内容を示す意味情報を対応付けた、当該コンテンツにおける前記事象区間毎の情報である区間メタデータを生成するメタデータ生成装置であって、区間情報抽出手段と、事象選択手段と、区間情報取得処理手段と、意味情報抽出手段と、種別選択手段と、意味情報取得処理手段とを備える構成とした。

かかる構成によれば、メタデータ生成装置は、コンテンツから事象を検出し、少なくとも当該事象の開始時刻及び終了時刻を区間情報として抽出する複数の区間情報抽出手段を備え、事象選択手段によって、複数の事象の中から１つを選択事象として指示されることで、当該選択事象に対応する区間情報抽出手段を選択する。これによって、当該メタデータ生成装置のユーザ（利用者）が、コンテンツの中から、所望する事象が発生している事象区間を示す区間情報を抽出する区間情報抽出手段を選択することが可能になる。なお、ここで事象とは、コンテンツ内で発生する固有の現象や変化であって、例えば、映像のシーンの切り替わりや、音声の周波数変化等である。また、事象区間は、例えば、映像のシーンの切り替わりとなるカット点間の区間や、ある周波数領域の音声区間等、コンテンツとなる映像、音声等の特徴を示す区間のことをいう。
そして、メタデータ生成装置は、区間情報取得処理手段によって、事象選択手段で選択された区間情報抽出手段から、コンテンツにおける選択事象の区間情報を取得し、第１の区間メタデータを生成する。これによって、少なくとも事象の開始時刻及び終了時刻を含んだ区間メタデータが生成される。

さらに、メタデータ生成装置は、コンテンツを解析し、そのコンテンツの内容を示す意味情報を区間情報における開始時刻及び終了時刻に対応付けて抽出する複数の意味情報抽出手段を備え、種別選択手段によって、意味情報の種別の中から１つを選択種別として指示されることで、当該選択種別に対応する意味情報抽出手段を選択する。これによって、当該メタデータ生成装置のユーザが、コンテンツの中から、所望する意味情報を抽出する意味情報抽出手段を選択することが可能になる。なお、ここで意味情報とは、コンテンツ内のある区間（ここでは、区間情報で示される事象区間）における意味・内容を示す情報であって、例えば、映像内に登場する人物名やその動作、あるいは、スポーツ中継等でアナウンサが話すコメント等である。
そして、メタデータ生成装置は、意味情報取得処理手段によって、種別選択手段で選択された意味情報抽出手段から、意味情報を取得し、区間情報と意味情報とを対応付けた第２の区間メタデータを生成する。これによって、コンテンツの事象区間毎に、意味情報が対応付けられた区間メタデータが生成される。

また、請求項２に記載のメタデータ生成装置は、請求項１に記載のメタデータ生成装置において、前記区間情報抽出手段が、予め当該区間情報抽出手段の機能を示す文字列を保持しており、前記事象選択手段が、前記区間情報抽出手段から前記文字列を取得することで、当該文字列を表示装置の画面上に一覧表示する構成とした。

かかる構成によれば、メタデータ生成装置は、予め個々の区間情報抽出手段がその機能を示す文字列を保持しておくことで、事象選択手段が、区間情報抽出手段からその文字列を取得する。そして、メタデータ生成装置は、その文字列を表示装置の画面上に一覧表示する。これによって、ユーザは、どの区間情報抽出手段が利用可能で、どの区間情報抽出手段がどのような機能を有しているのかを認識することができる。

さらに、請求項３に記載のメタデータ生成装置は、請求項１又は請求項２に記載のメタデータ生成装置において、前記区間情報抽出手段が、予め当該区間情報抽出手段において前記区間情報を抽出するためのパラメータの項目を保持しており、前記区間情報取得処理手段が、前記区間情報抽出手段から前記パラメータの項目を取得することで、当該パラメータの項目を表示した当該パラメータの入力画面を表示装置に表示する構成とした。

かかる構成によれば、メタデータ生成装置は、予め個々の区間情報抽出手段が区間情報を抽出するためのパラメータの項目を保持しておくことで、区間情報取得処理手段が、区間情報抽出手段からそのパラメータの項目を取得する。そして、メタデータ生成装置は、そのパラメータの項目を表示したパラメータの入力画面を表示装置に表示することで、ユーザに対して、パラメータの入力を促す。これによって、メタデータ生成装置は、異なる区間情報抽出手段を動作させる場合であっても、ユーザに対して共通のインタフェースを提供することが可能になる。

また、請求項４に記載のメタデータ生成装置は、請求項１に記載のメタデータ生成装置において、前記意味情報抽出手段が、予め当該意味情報抽出手段の機能を示す文字列を保持しており、前記種別選択手段が、前記意味情報抽出手段から前記文字列を取得することで、当該文字列を表示装置の画面上に一覧表示する構成とした。

かかる構成によれば、メタデータ生成装置は、予め個々の意味情報抽出手段がその機能を示す文字列を保持しておくことで、種別選択手段が、意味情報抽出手段からその文字列を取得する。そして、メタデータ生成装置は、その文字列を表示装置の画面上に一覧表示する。これによって、ユーザは、どの意味情報抽出手段が利用可能で、どの意味情報抽出手段がどのような機能を有しているのかを認識することができる。

さらに、請求項５に記載のメタデータ生成装置は、請求項１又は請求項４に記載のメタデータ生成装置において、前記意味情報抽出手段が、予め当該意味情報抽出手段において前記意味情報を抽出するためのパラメータの項目を保持しており、前記意味情報取得処理手段が、前記意味情報抽出手段から前記パラメータの項目を取得することで、当該パラメータの項目を表示した当該パラメータの入力画面を表示装置に表示する構成とした。

かかる構成によれば、メタデータ生成装置は、予め個々の意味情報抽出手段が意味情報を抽出するためのパラメータの項目を保持しておくことで、意味情報取得処理手段が、意味情報抽出手段からそのパラメータの項目を取得する。そして、メタデータ生成装置は、そのパラメータの項目を表示したパラメータの入力画面を表示装置に表示することで、ユーザに対して、パラメータの入力を促す。これによって、メタデータ生成装置は、異なる意味情報抽出手段を動作させる場合であっても、ユーザに対して共通のインタフェースを提供することが可能になる。

また、請求項６に記載のメタデータ生成装置は、請求項１乃至請求項５のいずれか一項に記載のメタデータ生成装置において、前記意味情報取得処理手段が、前記意味情報を取得する毎に、前記区間情報に複数の前記意味情報を対応付けた区間メタデータを生成する構成とした。

かかる構成によれば、メタデータ生成装置は、種別選択手段によって、異なる意味情報抽出手段が選択され、意味情報取得処理手段によって、意味情報を取得する毎に、同一の事象区間である１つの区間情報に対して、異なる意味情報が順次付加された区間メタデータを生成する。

さらに、請求項７に記載のメタデータ生成プログラムは、コンテンツにおいて、ある事象に対して、少なくとも当該事象の開始時刻及び終了時刻を区間情報として前記コンテンツから抽出する、前記事象毎に異なる複数の区間情報抽出モジュールと、前記コンテンツを解析し、当該コンテンツの内容を示す意味情報を時刻に対応付けて抽出する、前記意味情報の種別毎に異なる複数の意味情報抽出モジュールとに基づいて、前記コンテンツにおける事象区間毎の情報である区間メタデータを生成するために、コンピュータを、事象選択手段、区間情報取得処理手段、種別選択手段、意味情報取得処理手段として機能させる構成とした。

かかる構成によれば、メタデータ生成プログラムは、事象選択手段によって、複数の事象の中から１つを選択事象として指示されることで、当該選択事象に対応する区間情報抽出モジュールを選択する。これによって、コンテンツの中から、ユーザが所望する事象が発生している事象区間を示す区間情報を抽出する区間情報抽出モジュールを選択することが可能になる。
そして、メタデータ生成プログラムは、区間情報取得処理手段によって、事象選択手段で選択された区間情報抽出モジュールから、コンテンツにおける選択事象の区間情報を取得し、第１の区間メタデータを生成する。

さらに、メタデータ生成プログラムは、種別選択手段によって、意味情報の種別の中から１つを選択種別として指示されることで、当該選択種別に対応する前記意味情報抽出モジュールを選択する。これによって、コンテンツの中から、ユーザが所望する意味情報を抽出する意味情報抽出モジュールを選択することが可能になる。
そして、メタデータ生成プログラムは、意味情報取得処理手段によって、種別選択手段で選択された意味情報抽出モジュールから、意味情報を取得し、区間情報と意味情報とを対応付けた第２の区間メタデータを生成する。

請求項１に記載の発明によれば、メタデータ生成装置は、コンテンツの事象区間毎に、区間情報と意味情報とを対応付けた区間メタデータを生成することができる。このとき、ユーザは、複数の区間情報抽出手段や意味情報抽出手段から、所望の機能を行う手段を選択するだけの簡単な操作で、区間メタデータを生成することができる。さらに、メタデータ生成装置において生成された区間メタデータは、区間情報抽出手段や意味情報抽出手段の機能が異なる場合であっても、区間情報と意味情報とを含んだ共通した形式となる。そのため、メタデータ生成装置は、従来では、個別に生成されたメタデータを、共通に扱うことが可能なプラットフォームとなり、メタデータ（区間メタデータ）を分散して処理したり、メタデータを相互に交換したり等、種々な流通形態を実現することができる。

請求項２又は請求項４に記載の発明によれば、メタデータ生成装置は、区間情報抽出手段又は意味情報抽出手段が保持している機能を示す文字列を画面上に一覧表示するため、ユーザは一覧表示された項目の中から１つを選択するだけの簡単な操作で、所望の機能を行う手段を選択することができる。また、区間情報抽出手段又は意味情報抽出手段を追加する場合、区間情報抽出手段又は意味情報抽出手段に、共通のインタフェースとして、文字列を通知する機能を付加しておくだけで、簡単に区間情報抽出手段又は意味情報抽出手段の機能を示す文字列を一覧表示に付加することができる。

請求項３又は請求項５に記載の発明によれば、メタデータ生成装置は、区間情報抽出手段又は意味情報抽出手段が保持しているパラメータの項目を入力画面に表示して、ユーザに対してパラメータの入力を促すため、機能が異なる手段が選択された場合であっても、ユーザは、容易にその機能を実現するためのパラメータを認識し入力することができる。また、区間情報抽出手段又は意味情報抽出手段を追加する場合、共通のインタフェースとして、パラメータの項目を通知する機能を付加しておくだけで、簡単に区間情報抽出手段又は意味情報抽出手段のパラメータの項目を入力画面に表示することができる。

請求項６に記載の発明によれば、メタデータ生成装置は、１つの区間情報に複数の意味情報を対応付けることができ、異なる意味情報抽出手段を用いる場合であっても、共通の形式で区間メタデータを生成することができる。これによって、メタデータ生成装置は、メタデータを生成する統合プラットフォームとして機能させることができる。

請求項７の記載の発明によれば、メタデータ生成プログラムは、コンテンツの事象区間毎に、区間情報と意味情報とを対応付けた区間メタデータを生成することができる。このとき、メタデータ生成プログラムは、各区間情報や意味情報を抽出する手段として、モジュール化されたプログラムを使用するため、共通のインタフェースを持つモジュールを生成することで、簡単に機能追加を行うことができる。

以下、本発明の実施の形態について図面を参照して説明する。
［メタデータ生成システムの構成］
まず、図１を参照して、本発明に係るメタデータ生成システムの構成について説明する。図１は、本発明に係るメタデータ生成システムの構成を示すブロック図である。
図１に示すように、メタデータ生成システム１００は、コンテンツ（映像、音声、テキスト情報）から、その特徴に基づいて、ある時間幅である区間（セグメント）毎の情報を抽出し、さらに、その区間に対して、意味（ラベル）を対応付けることで、抽出した区間毎のメタデータ（区間メタデータ）を生成及び編集するものである。ここで、メタデータ生成システム１００は、メタデータ生成装置１と、モジュール蓄積装置２と、コンテンツ蓄積装置３とを備えている。

メタデータ生成装置１は、モジュール蓄積装置２に蓄積されているモジュールを選択し、メタデータ生成装置１内に組み込んで動作させることで、コンテンツから、区間メタデータを生成するとともに、その編集を行うものである。このメタデータ生成装置１の詳細な構成については後記する。

モジュール蓄積装置２は、コンテンツから区間（セグメント）毎の情報を抽出するプログラム（モジュール：区間情報抽出モジュールＳＭ（ＳＭ１、ＳＭ２、ＳＭ３…））と、その区間に対して意味（ラベル）を対応付けるプログラム（モジュール：意味情報抽出モジュールＬＭ（ＬＭ１、ＬＭ２、ＬＭ３…））とを蓄積するもので、ハードディスク等の記憶装置である。

区間情報抽出モジュールＳＭは、コンテンツの特徴に基づいて、その特徴となる区間を開始時刻及び終了時刻として抽出するものである。なお、区間情報抽出モジュールＳＭは、後記するメタデータ生成装置１の区間情報抽出モジュール選択手段１０によって選択され、メタデータ生成装置１の区間情報抽出手段１０ａとして組み込まれて動作する。この区間情報抽出モジュールＳＭは、例えば、動的リンクライブラリ（ＤＬＬ）として生成しておくことができる。ここでは、区間情報抽出モジュール（ＳＭ１、ＳＭ２、ＳＭ３…）は、それぞれ、異なる特徴によって区間情報を抽出するものとする。

例えば、区間情報抽出モジュールＳＭ１は、番組（コンテンツ）がサッカーの中継番組である場合、観客の歓声をデジタイズした音声ファイル（コンテンツ蓄積装置３内の音声Ａ１）から、ある一定音量となる時間区間を抽出するものとして機能する。なお、区間情報抽出モジュールＳＭは、コンテンツから目的となる特定の区間を抽出するものであれば、これに限定されるものではなく、例えば、映像の切り替わりフレームであるカット点を検出し、そのカット点間の区間（開始時刻、終了時刻）を区間情報として抽出するものでもよい。

意味情報抽出モジュールＬＭは、区間情報抽出モジュールＳＭで抽出された区間情報に対応付けて、コンテンツから、当該コンテンツの内容等を意味情報として抽出するものである。なお、意味情報抽出モジュールＬＭは、後記するメタデータ生成装置１の意味情報抽出モジュール選択手段１２によって選択され、メタデータ生成装置１の意味情報抽出手段１２ａとして組み込まれて動作する。この意味情報抽出モジュールＬＭは、区間情報抽出モジュールＳＭと同様に動的リンクライブラリ（ＤＬＬ）として生成し、同一のコンテンツから異なる意味情報を抽出する複数の意味情報抽出モジュール（ＬＭ１、ＬＭ２、ＬＭ３…）として、モジュール蓄積装置２に蓄積しておく。

例えば、意味情報抽出モジュールＬＭ１は、番組（コンテンツ）がサッカーの中継番組である場合、一般的な顔認識技術により、映像ファイル（コンテンツ蓄積装置３内の映像Ｖ１）から、区間情報抽出モジュールＳＭ１で抽出した区間内の映像に映っている選手を検出し、その選手名を意味情報として区間情報に対応付ける。なお、意味情報抽出モジュールＬＭは、コンテンツから目的となる内容を意味情報として抽出するものであれば、これに限定されるものではなく、例えば、サッカーの中継番組におけるアナウンサのコメントをテキスト化したテキスト情報（コンテンツ蓄積装置３内のテキスト情報Ｔ１）から、区間情報に対応するコメントを抽出するものでもよい。

コンテンツ蓄積装置３は、コンテンツを蓄積するもので、ハードディスク等の記憶装置である。ここでは、コンテンツ蓄積装置３は、コンテンツとして、映像（Ｖ１、Ｖ２…）、音声（Ａ１、Ａ２…）、テキスト情報（Ｔ１、Ｔ２、…）を記憶している。
ここで、映像（Ｖ１等）は、例えば、ＭＰＥＧ等の映像ファイルである。また、音声（Ａ１等）は、映像（Ｖ１等）と同一時刻の音声を収録した音声ファイルである。例えば、音声Ａ１は、Ｗｉｎｄｏｗｓ（登録商標）の標準的なＷＡＶＥ形式（ＰＣＭ録音された音声データ）の音声ファイルである。また、テキスト情報（Ｔ１等）は、映像（Ｖ１等）の再生時刻に対応付けられた種々の情報をテキストデータで記述したテキストファイルである。例えば、テキスト情報Ｔ１は、アナウンサのコメントを時刻毎にテキスト化したテキストファイルである。

このように、メタデータ生成装置１は、モジュール蓄積装置２から、区間情報を抽出するモジュール（区間情報抽出モジュールＳＭ）を選択し、そのモジュールによってコンテンツを区間毎に区分（セグメント化）する。そして、メタデータ生成装置１は、モジュール蓄積装置２から、意味情報を抽出するモジュール（意味情報抽出モジュールＬＭ）を選択し、そのモジュールによってセグメント化された区間情報に、意味情報を対応付けることで、区間メタデータを生成する。

ここで、図２を参照して、区間メタデータについて説明する。図２は、区間メタデータの構成を説明するための説明図であって、（ａ）は区間メタデータの構成、（ｂ）は区間メタデータの例を示している。

図２（ａ）に示すように、区間メタデータは、識別情報と、区間情報と、意味情報とを含んだ、コンテンツの内容を示すデータである。
ここで、識別情報は、当該区間メタデータを識別するための固有の情報であって、数値等の識別子（ＩＤ）である。
また、区間情報は、コンテンツにおける当該区間メタデータの時間区間を示す情報であって、開始時刻（Ｉｎ）と終了時刻（Ｏｕｔ）である。

また、意味情報は、区間情報で区分されたコンテンツの時間区間における意味・内容を、キー（Ｋｅｙ）と値（Ｖａｌｕｅ）とに対応付けた情報である。ここでキー（Ｋｅｙ）は、意味・内容の種別を示す情報である。また、値（Ｖａｌｕｅ）は、キー（Ｋｅｙ）で示される種別の詳細な情報である。さらに、ここでは、意味情報として、各区間メタデータの関係（区間関係）を示す情報を付加している。この意味情報では、区間関係をタイプ（Ｔｙｐｅ）とターゲット（Ｔａｒｇｅｔ）とに対応付けている。ここでタイプ（Ｔｙｐｅ）は、当該区間に対して、他の区間がどのような意味合いを有しているのかを示す情報である。また、ターゲット（Ｔａｒｇｅｔ）は、区間関係の対象となる他の区間を示す情報（識別子）である。なお、同一の区間メタデータ内に、複数の意味情報を対応付けることも可能である。

この区間メタデータの具体例を図２（ｂ）で説明する。
図２（ｂ）に示すように、識別情報である識別子ＩＤ（「００１」、「００２」、「００３」）によって、区間メタデータＭ１、区間メタデータＭ２、区間メタデータＭ３が識別される。
また、区間メタデータは、開始時刻Ｉｎ及び終了時刻Ｏｕｔによって、コンテンツの時刻（番組時刻）において、どの時間区間のメタデータであるかが表されている。例えば、区間メタデータＭ１は、「０９：００：３２−００」から「０９：００：５４−００」の時間区間のメタデータであることを表している。なお、時刻「ＸＸ：ＸＸ：ＸＸ−ＸＸ」は、「時：分：秒−フレーム番号」を示している。

また、区間メタデータは、意味・内容を示すキー（Ｋｅｙ）及び値（Ｖａｌｕｅ）によって、当該区間におけるコンテンツの内容を示している。例えば、区間メタデータＭ１は、ある事象が発生したことを示す「イベント」をキー（Ｋｅｙ）とし、そのイベントの詳細な情報である「シュート」を値（Ｖａｌｕｅ）として、当該区間の意味・内容を示している。また、区間メタデータＭ２は、映像内に選手が映っていることを示す「選手」をキー（Ｋｅｙ）とし、その選手の詳細な情報である選手名「Ｂ選手」を値（Ｖａｌｕｅ）として、当該区間の意味・内容を示している。

さらに、区間メタデータは、区間関係を示すタイプ（Ｔｙｐｅ）及びターゲット（Ｔａｒｇｅｔ）によって、当該区間と他の区間との関係を示している。例えば、区間メタデータＭ１は、他の区間（ここでは、識別子「００３」）をターゲット（Ｔａｒｇｅｔ）とし、他の区間の映像が、本区間のスロー再生映像（「スロー再生」）であることを、タイプ（Ｔｙｐｅ）によって示している。
このように、区間メタデータを定義しておくことで、異なる特徴によってコンテンツから区間情報を抽出したり、異なる意味情報を抽出したりする場合であっても、共通の区間メタデータの形式で表現することができる。
以下、図１に戻って、メタデータ生成装置の詳細な構成について説明する。

［メタデータ生成装置の構成］
図１に示すように、メタデータ生成装置１は、区間情報抽出モジュール選択手段１０と、区間情報取得処理手段１１と、意味情報抽出モジュール選択手段１２と、意味情報取得処理手段１３と、区間メタデータ生成制御手段１４と、メタデータ蓄積手段１５と、選択映像再生手段１６と、区間メタデータ編集手段１７と、ユーザ指示受け付け手段１８と、区間メタデータ入出力手段１９とを備えている。

区間情報抽出モジュール選択手段（事象選択手段）１０は、後記するユーザ指示受け付け手段１８を介して、複数の事象の中から１つを選択事象（例えば、サッカー中継番組における観客の歓声）として、ユーザから指示されることで、当該選択事象に対応する区間情報抽出モジュールＳＭを、モジュール蓄積装置２から選択するものである。なお、区間情報抽出モジュール選択手段１０は、複数の区間情報抽出モジュールＳＭから、個々の機能を示す文字列を取得し、ユーザ指示受け付け手段１８を介して、ユーザに提示することで、ユーザに対して区間情報抽出モジュールＳＭを選択するための補助となる情報を提示する。

そして、区間情報抽出モジュール選択手段１０は、選択された区間情報抽出モジュールＳＭを、図示していないメモリ等に展開し動作させる。これによって、区間情報抽出モジュールＳＭを、区間情報抽出手段１０ａとして機能させる。なお、この区間情報抽出手段（区間情報抽出モジュール）１０ａは、後記する区間情報取得処理手段１１からの指示に基づいて動作を行う。

ここでは、区間情報抽出手段１０ａは、複数の区間情報抽出モジュールＳＭにおいて選択された１つのモジュールを示しているが、予め複数の区間情報抽出モジュールＳＭを複数の区間情報抽出手段１０ａとして、メタデータ生成装置１内に組み込んで構成することとしてもよい。ただし、区間情報抽出モジュールを、一般的なモジュールとして提供される形態とする場合は、本形態のようにユーザが必要なモジュールを選択して、メタデータ生成装置１内に組み込むことで動作する形態の方が、汎用性が高く好ましい。

区間情報取得処理手段１１は、区間情報抽出モジュール選択手段１０で選択された区間情報抽出手段（区間情報抽出モジュール）１０ａを動作させることで、区間情報抽出手段１０ａから、コンテンツにおける選択事象の区間情報を取得し、区間メタデータ（第１の区間メタデータ）を生成するものである。ここでは、区間情報取得処理手段１１は、パラメータ設定手段１１ａと、区間情報取得手段１１ｂとを備えている。

パラメータ設定手段１１ａは、コンテンツから区間情報を抽出するために必要となるパラメータの項目を区間情報抽出手段１０ａから取得するとともに、ユーザが入力するパラメータの値を区間情報抽出手段１０ａに設定するものである。このパラメータ設定手段１１ａは、区間情報抽出手段１０ａから取得したパラメータの項目を、ユーザ指示受け付け手段１８を介して、ユーザに提示する。そして、パラメータ設定手段１１ａは、ユーザが入力したパラメータの値をユーザ指示受け付け手段１８から取得し、区間情報抽出手段１０ａに設定する。ここで、区間情報を抽出するために必要となるパラメータとは、例えば、どの音声（Ａ１等）から区間情報を抽出するのかを示す音声ファイルのファイル名等である。
このように、区間情報抽出手段１０ａから、必要となるパラメータの項目を取得し、ユーザに提示することで、区間情報抽出手段１０ａが、異なる区間情報抽出モジュールＳＭであっても、ユーザに対する操作インタフェースを統一することができる。

区間情報取得手段１１ｂは、区間情報抽出手段１０ａに対して、区間情報の抽出を指示し、区間情報抽出手段１０ａの区間情報の抽出動作を実行させ、その抽出結果である区間情報を取得するものである。ここで取得した区間情報は、メタデータ蓄積手段１５に区間メタデータ（Ｍ１、Ｍ２…）として書き込まれる。この区間情報取得手段１１ｂによって、区間メタデータ（Ｍ１、Ｍ２…）には、図２に示した識別情報である識別子ＩＤと、区間情報である開始時刻Ｉｎ及び終了時刻Ｏｕｔのみが書き込まれる。なお、特許請求の範囲に記載の第１の区間メタデータは、識別情報に対応付けて区間情報のみが記述されたメタデータである。

意味情報抽出モジュール選択手段（種別選択手段）１２は、後記するユーザ指示受け付け手段１８を介して、意味情報を解析する複数の解析手法の種別から１つを選択種別（例えば、顔認識解析、アナウンサコメント解析）として、ユーザから指示されることで、当該選択種別に対応する意味情報抽出モジュールＬＭを、モジュール蓄積装置２から選択するものである。なお、意味情報抽出モジュール選択手段１２は、複数の意味情報抽出モジュールＬＭから、個々の機能を示す文字列を取得し、ユーザ指示受け付け手段１８を介して、ユーザに提示することで、ユーザに対して意味情報抽出モジュールＬＭを選択するための補助となる情報を提示する。

そして、意味情報抽出モジュール選択手段１２は、選択された意味情報抽出モジュールＬＭを、図示していないメモリ等に展開し動作させる。これによって、意味情報抽出モジュールＬＭを、意味情報抽出手段１２ａとして機能させる。なお、この意味情報抽出手段（意味情報抽出モジュール）１２ａは、後記する意味情報取得処理手段１３からの指示に基づいて動作を行う。

ここでは、意味情報抽出手段１２ａは、複数の意味情報抽出モジュールＬＭにおいて選択された１つのモジュールを示しているが、予め複数の意味情報抽出モジュールＬＭを複数の意味情報抽出手段１２ａとして、メタデータ生成装置１内に組み込んで構成することとしてもよい。ただし、意味情報抽出モジュールを、一般的なモジュールとして提供される形態とする場合は、本形態のようにユーザが必要なモジュールを選択して、メタデータ生成装置１内に組み込むことで動作する形態の方が、汎用性が高く好ましい。

意味情報取得処理手段１３は、意味情報抽出モジュール選択手段１２で選択された意味情報抽出手段（意味情報抽出モジュール）１２ａを動作させることで、意味情報抽出手段１２ａから、選択された解析手法により抽出された意味情報を取得し、区間メタデータ（第２の区間メタデータ）を生成するものである。ここでは、意味情報取得処理手段１３は、パラメータ設定手段１３ａと、意味情報取得手段１３ｂとを備えている。

パラメータ設定手段１３ａは、コンテンツから意味情報を抽出するために必要となるパラメータの項目を意味情報抽出手段１２ａから取得するとともに、ユーザが入力するパラメータの値を意味情報抽出手段１２ａに設定するものである。このパラメータ設定手段１３ａは、意味情報抽出手段１２ａから取得したパラメータの項目を、ユーザ指示受け付け手段１８を介して、ユーザに提示する。そして、パラメータ設定手段１３ａは、ユーザが入力したパラメータの値をユーザ指示受け付け手段１８から取得し、意味情報抽出手段１２ａに設定する。ここで、意味情報を抽出するために必要となるパラメータとは、例えば、どの映像（Ｖ１等）から意味情報を抽出するのかを示す映像ファイルのファイル名、顔認識を行う際の顔の特徴と選手名とを対応付けたテキストファイルのファイル名等である。

このように、意味情報抽出手段１２ａから、必要となるパラメータの項目を取得し、ユーザに提示することで、意味情報抽出手段１２ａが、異なる意味情報抽出モジュールＬＭであっても、統一したパラメータの入力画面を表示することができ、ユーザに対する操作インタフェースを統一することができる。
なお、メタデータ蓄積手段１５に蓄積されている区間メタデータ（Ｍ１、Ｍ２…）の区間情報（開始時刻、終了時刻）は、そのままパラメータとして意味情報抽出手段１２ａに設定される。

意味情報取得手段１３ｂは、意味情報抽出手段１２ａに対して、意味情報の抽出を指示し、意味情報抽出手段１２ａの意味情報の抽出動作を実行させ、その抽出結果である意味情報を取得するものである。ここで取得した意味情報は、メタデータ蓄積手段１５に蓄積されている区間メタデータ（Ｍ１、Ｍ２…）の区間情報（開始時刻、終了時刻）に対応付けて、区間メタデータ（Ｍ１、Ｍ２…）に追加して書き込まれる。これによって、区間メタデータ（Ｍ１、Ｍ２…）には、識別情報と、区間情報と、意味情報とが書き込まれることになる。なお、特許請求の範囲に記載の第２の区間メタデータは、識別情報に対応付けて区間情報と意味情報とが記述されたメタデータである。

区間メタデータ生成制御手段１４は、メタデータ生成装置１内の全体を制御する主制御手段である。この区間メタデータ生成制御手段１４は、各手段から通知される制御情報に基づいて、動作を決定し、他の手段に対して指示を行う。例えば、区間メタデータ生成制御手段１４は、区間情報抽出モジュール１０から、区間情報抽出モジュールＳＭの機能を示す文字列をユーザに提示する旨の指示を通知された場合、ユーザ指示受け付け手段１８に対して、図示していない表示装置に、区間情報抽出モジュールＳＭを選択するための選択画面を提示する旨の指示を行う。

メタデータ蓄積手段１５は、区間メタデータを蓄積するものであって、半導体メモリ、ハードディスク等の記憶装置である。このメタデータ蓄積手段１５に蓄積される区間メタデータ（Ｍ１、Ｍ２…）は、区間情報取得処理手段１１や、意味情報取得処理手段１３によって、区間情報や意味情報が書き込まれることで生成される。
なお、ここで蓄積される区間メタデータの形式は、特に限定されるものではないが、例えば、ＭＰＥＧ−７等のＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式である。

選択映像再生手段１６は、区間メタデータ（Ｍ１、Ｍ２…）の中で、ユーザ指示受け付け手段１８を介して、ユーザによって選択された区間メタデータに対応するコンテンツの映像をコンテンツ蓄積装置３から読み出して再生するものである。例えば、コンテンツ蓄積装置３に蓄積されている映像（Ｖ１等）がＭＰＥＧ符号化された映像である場合、選択映像再生手段１６は、ＭＰＥＧデコーダとして機能し、映像を再生することで、図示していない表示装置に映像を表示する。これによって、ユーザは、選択された区間メタデータが、正常にセグメント化されているかどうかを確認することができる。

区間メタデータ編集手段１７は、区間メタデータ（Ｍ１、Ｍ２…）を、ユーザ指示受け付け手段１８を介して、ユーザに提示し、その区間メタデータを修正するものである。例えば、区間メタデータ編集手段１７は、ユーザ指示受け付け手段１８を介して表示画面上に、区間メタデータの内容（区間情報、意味情報）を提示し、ユーザから、図示していないキーボード等によって、区間メタデータの内容が修正された場合に、その修正結果に基づいてメタデータ蓄積手段１５の内容を更新する。

ユーザ指示受け付け手段１８は、図示していない表示装置に、ユーザからの指示を受け付ける画面を提示し、図示していないマウス、キーボート等の入力装置を介して、ユーザからの指示を受け付けるものである。ここで指示された内容は、随時区間メタデータ生成制御手段１４に通知され、その指示内容に沿った動作が実行される。なお、このユーザからの指示を受け付ける画面については、後で画面例を示して説明する。

区間メタデータ入出力手段１９は、区間メタデータを入出力するためのインタフェースである。例えば、ＤＶＤ−ＲＡＭ等の記録媒体に対して区間メタデータを書き込んだり、区間メタデータを読み出したりするディスクドライブ装置等である。あるいは、通信回線を介して、区間メタデータの送受信を行う通信ボードであってもよい。
なお、ここでは、区間メタデータ（Ｍ１、Ｍ２…）は、共通のデータ形式となっているため、外部で生成された区間メタデータを入力することで、その区間メタデータを活用することもできる。例えば、他のメタデータ生成装置で区間情報のみが書き込まれた区間メタデータを入力し、当該メタデータ生成装置１で、その区間メタデータに意味情報を付加することができる。

以上、メタデータ生成装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、メタデータ生成装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（メタデータ生成プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

［メタデータ生成装置の画面例］
次に、メタデータ生成装置１が表示する画面例について説明する。
（区間情報抽出用画面）
まず、図３及び図４を参照（適宜図１参照）して、区間情報抽出モジュールＳＭを選択して、コンテンツから区間情報を抽出する画面例について説明する。図３は、区間情報抽出モジュールを選択する選択画面の一例を示す画面例である。図４は、区間情報抽出モジュールに通知するパラメータを入力するパラメータ入力画面の一例を示す画面例である。

図３に示すように、区間情報抽出モジュールＳＭを選択するための選択画面Ｗ１は、区間情報抽出モジュールＳＭの機能を示す文字列をリスト表示（一覧表示）し、ユーザからの選択を受け付ける画面となっている。
メタデータ生成装置１では、区間情報抽出モジュール選択手段１０が、区間情報抽出モジュールＳＭを選択する場合、ユーザ指示受け付け手段１８を介して、画面上に選択画面Ｗ１を表示する。この選択画面Ｗ１において、リストボタンＢをマウスでクリックされることで、区間情報抽出モジュール選択手段１０が、複数の区間情報抽出モジュールＳＭから取得した、個々の区間情報抽出モジュール（ＳＭ１、ＳＭ２、ＳＭ３…）の機能を示す文字列をリスト表示（一覧表示）する。ここでは、区間情報抽出モジュールＳＭ１から「歓声セグメント化モジュール（ＳＬ１）」、区間情報抽出モジュールＳＭ２から「映像カット点セグメント化モジュール（ＳＬ２）」の各文字列が取得され、その文字列ＳＬ１、ＳＬ２をリスト表示している。これによって、ユーザは、どのような機能で区間情報を抽出するのかを選択することができる。
そして、この選択画面Ｗ１で、区間情報抽出モジュールＳＭが選択された段階で、図４のパラメータ入力画面Ｗ２が表示される。

図４に示すように、区間情報を抽出するために必要となるパラメータの値を入力する入力画面Ｗ２は、各パラメータＰ１、Ｐ２に対して、入力欄ＡＲ１、ＡＲ２を設けることで、ユーザからの入力を受け付ける画面となっている。
メタデータ生成装置１では、区間情報取得処理手段１１のパラメータ設定手段１１ａが、区間情報抽出手段（区間情報抽出モジュール）１０ａから、区間情報を抽出するために必要となるパラメータを取得し、ユーザ指示受け付け手段１８を介して、画面上に入力画面Ｗ２を表示する。この入力画面Ｗ２では、パラメータとして、「解析対象ファイル名（Ｐ１）」と「最大エントロピ法モデルファイル名（Ｐ２）」とが、区間情報抽出手段１０ａから通知された状態を示している。これによって、ユーザは、各パラメータの値（ファイル名）を、各パラメータの入力欄ＡＲ１、ＡＲ２に入力し、実行ボタンＥＸをマウスでクリックすることで、区間情報の抽出が実行される。

（意味情報抽出用画面）
次に、図５及び図６を参照（適宜図１参照）して、意味情報抽出モジュールＬＭを選択して、コンテンツから意味情報を抽出する画面例について説明する。図５は、意味情報抽出モジュールを選択する選択画面の一例を示す画面例である。図６は、意味情報抽出モジュールに通知するパラメータを入力するパラメータ入力画面の一例を示す画面例である。

図５に示すように、意味情報抽出モジュールＬＭを選択するための選択画面Ｗ３は、意味情報抽出モジュールＬＭの機能を示す文字列をリスト表示（一覧表示）し、ユーザからの選択を受け付ける画面となっている。
メタデータ生成装置１では、意味情報抽出モジュール選択手段１２が、意味情報抽出モジュールＬＭを選択する場合、ユーザ指示受け付け手段１８を介して、画面上に選択画面Ｗ３を表示する。この選択画面Ｗ３において、リストボタンＢをマウスでクリックされることで、意味情報抽出モジュール選択手段１２が、複数の意味情報抽出モジュールＬＭから取得した、個々の意味情報抽出モジュール（ＬＭ１、ＬＭ２、ＬＭ３…）の機能を示す文字列をリスト表示（一覧表示）する。ここでは、意味情報抽出モジュールＬＭ１から「顔認識ラベル付けモジュール（ＬＬ１）」、意味情報抽出モジュールＬＭ２から「コメント解析ラベル付けモジュール（ＬＬ２）」の各文字列が取得され、その文字列ＬＬ１、ＬＬ２をリスト表示している。これによって、ユーザは、どのような機能で意味情報を抽出するのかを選択することができる。
そして、この選択画面Ｗ３で、意味情報抽出モジュールＬＭが選択された段階で、図６のパラメータ入力画面Ｗ４が表示される。

図６に示すように、意味情報を抽出するために必要となるパラメータの値を入力する入力画面Ｗ４は、各パラメータＰ３、Ｐ４に対して、入力欄ＡＲ３、ＡＲ４を設けることで、ユーザからの入力を受け付ける画面となっている。
メタデータ生成装置１では、意味情報取得処理手段１３のパラメータ設定手段１３ａが、意味情報抽出手段（意味情報抽出モジュール）１２ａから、意味情報を抽出するために必要となるパラメータを取得し、ユーザ指示受け付け手段１８を介して、画面上に入力画面Ｗ４を表示する。この入力画面Ｗ４では、パラメータとして、「解析対象ファイル名（Ｐ３）」と「選手名ファイル名（Ｐ４）」とが、意味情報抽出手段１２ａから通知された状態を示している。これによって、ユーザは、各パラメータの値（ファイル名）を、各パラメータの入力欄ＡＲ３、ＡＲ４に入力し、実行ボタンＥＸをマウスでクリックすることで、意味情報の抽出が実行される。

（区間メタデータ確認・編集画面）
次に、図７を参照（適宜図１参照）して、生成された区間メタデータを、画面上で確認・編集する画面例について説明する。図７は、区間メタデータの確認・編集を行う確認・編集画面の一例を示す画面例である。

図７に示すように、確認・編集画面Ｗ５は、映像再生領域Ｖａと、区間情報提示領域ＳＩと、意味情報（意味・内容）提示領域ＬＩ１と、意味情報（区間関係）提示領域ＬＩ２とで主に画面を構成している。なお、ここでは、区間情報抽出モジュールＳＭからの情報を提示する情報提示領域Ｓａと、意味情報抽出モジュールＬＭからの情報を提示する情報提示領域Ｌａとを、さらに画面上に構成している。
なお、区間メタデータは、区間情報によって一意に決まるため、ここでは、区間メタデータの選択は、区間情報提示領域ＳＩに表示される区間情報を選択することで行うこととしている。

映像再生領域Ｖａは、選択された区間メタデータの区間情報（開始時刻Ｉｎと終了時刻Ｏｕｔ）で示される時間区間の映像を、再生・表示する領域である。メタデータ生成装置１では、区間メタデータが選択されたことを、ユーザ指示受け付け手段１８が検出し、選択映像再生手段１６に通知することで、選択映像再生手段１６が、該当する時間区間の映像を再生する。

区間情報提示領域ＳＩは、区間メタデータから抽出された識別情報（識別子ＩＤ）と、区間情報（開始時刻Ｉｎ、終了時刻Ｏｕｔ）とを表示する領域である。なお、ここでは、開始時刻Ｉｎにおけるフレーム画像（Ｆａ１等）を同時に表示することとしている。そして、ユーザがマウスによって、区間情報提示領域ＳＩ内の所望の区間情報Ｓｅを選択することで、区間メタデータが選択される。

意味情報（意味・内容）提示領域ＬＩ１は、区間メタデータから抽出された意味情報（意味・内容）であるキー及び値を表示する領域である。この意味情報（意味・内容）提示領域ＬＩ１は、区間情報提示領域ＳＩで区間メタデータが選択された段階で、当該区間メタデータの意味情報（意味・内容）が表示される。

意味情報（区間関係）提示領域ＬＩ２は、区間メタデータから抽出された意味情報（区間関係）であるタイプ及びターゲットを表示する領域である。この意味情報（区間関係）提示領域ＬＩ２は、区間情報提示領域ＳＩで区間メタデータが選択された段階で、当該区間メタデータの意味情報（区間関係）が表示される。
なお、区間情報提示領域ＳＩ、意味情報（意味・内容）提示領域ＬＩ１及び意味情報（区間関係）提示領域ＬＩ２は、区間メタデータ編集手段１７によって表示され、編集を行う際には、キーボード等からデータを入力することで、区間情報及び意味情報の変更等を行う。

情報提示領域Ｓａは、区間情報抽出モジュールＳＭから詳細情報を取得可能な場合に、その詳細情報を提示する領域である。この情報提示領域Ｓａは、区間情報抽出モジュールＳＭから、当該区間情報抽出モジュールＳＭの抽出手法、バージョン等を文字列として取得可能な場合に、その文字列を提示する。あるいは、区間情報として、区間情報提示領域ＳＩに提示した情報以外の情報、例えば、色平均、最大音量、最低音量等を提示することとしてもよい。

情報提示領域Ｌａは、意味情報抽出モジュールＬＭから詳細情報を取得可能な場合に、その詳細情報を提示する領域である。この情報提示領域Ｌａは、意味情報抽出モジュールＬＭから、当該意味情報抽出モジュールＬＭの抽出手法、バージョン等を文字列として取得可能な場合に、その文字列を提示する。あるいは、意味情報として、意味情報（意味・内容）提示領域ＬＩ１及び意味情報（区間関係）提示領域ＬＩ２に提示した情報以外の情報、例えば、当該区間におけるアナウンサコメントの全文等を提示することとしてもよい。
このように、区間メタデータを視覚化することで、区間メタデータの内容の確認・編集を容易に行うことができる。

［メタデータ生成装置の動作］
次に、図８乃至図１０を参照（構成については、適宜図１参照）して、本発明に係るメタデータ生成装置の動作について説明する、図８は、メタデータ生成装置の全体動作を示すフローチャートである。図９は、メタデータ生成装置の区間情報の抽出動作を示すフローチャートである。図１０は、メタデータ生成装置の意味情報の抽出動作を示すフローチャートである。

（全体動作）
まず、図８を参照して、メタデータ生成装置１の全体動作について説明する。なお、図８では、各動作において生成される区間メタデータの内容についても例示している。
最初に、メタデータ生成装置１は、コンテンツ蓄積装置３に蓄積されているコンテンツ（映像（Ｖ１等）、音声（Ａ１等）、テキスト情報（Ｔ１等））から、区間情報である開始時刻及び終了時刻の抽出を行う（ステップＳ１０）。
このステップＳ１０では、例えば、音声（Ａ１等）から区間情報の抽出（歓声によるセグメント化）を行うことで、図８（ａ）に示すような開始時刻と終了時刻とを含んだ区間メタデータ（Ｍ１₁、Ｍ２₁、Ｍ３₁）が生成される。なお、図中、各区間メタデータの識別情報は省略している。このステップＳ１０の詳細動作については、図９を参照して後記する。

続けて、メタデータ生成装置１は、コンテンツ蓄積装置３に蓄積されているコンテンツ（映像（Ｖ１等）、音声（Ａ１等）、テキスト情報（Ｔ１等））から、区間メタデータ（Ｍ１₁、Ｍ２₁、Ｍ３₁）における開始時刻及び終了時刻に対応する意味情報の抽出を行う（ステップＳ２０）。
このステップＳ２０では、例えば、映像（Ｖ１等）から意味情報の抽出（顔認識によるラベル付け）を行うことで、図８（ｂ）に示すように、図８（ａ）における区間メタデータ（Ｍ１₁、Ｍ２₁、Ｍ３₁）に、キー（選手）と値（Ａ選手等）とが付加された区間メタデータ（Ｍ１₂、Ｍ２₂、Ｍ３₂）が生成される。
なお、このステップＳ２０では、さらに、テキスト情報（Ｔ１等）から意味情報の抽出（アナウンサのコメントによるラベル付け）を行うことで、図８（ｃ）に示すように、図８（ｂ）における区間メタデータ（Ｍ１₂、Ｍ２₂、Ｍ３₂）に、キー（イベント）と値（シュート等）とが付加された区間メタデータ（Ｍ１₃、Ｍ２₃、Ｍ３₃）が生成される。

そして、メタデータ生成装置１は、ステップＳ２０で生成された区間メタデータ（Ｍ１₃、Ｍ２₃、Ｍ３₃）を出力する（ステップＳ３０）。
このように、メタデータ生成装置１は、コンテンツから区間情報を抽出するステップ（ステップＳ１０）と、意味情報を抽出するステップ（ステップＳ２０）の２つのステップによって、区間メタデータを生成し、出力する。

（区間情報の抽出動作）
次に、図９を参照して、メタデータ生成装置１における区間情報の抽出動作（図８のステップＳ１０）の動作について詳細に説明する。
まず、メタデータ生成装置１は、区間情報抽出モジュール選択手段１０によって、区間情報抽出モジュールＳＭから、個々の機能を示す文字列を取得する（ステップＳ１００）。ここでは、区間情報抽出モジュールＳＭが、関数（ＩｓＳｅｇｍｅｎｔＭｏｄｕｌｅ（））によって、文字列を返すこととしている。

この文字列を取得した区間情報抽出モジュール選択手段１０は、ユーザ指示受け付け手段１８を介して、区間情報抽出モジュールＳＭを選択する選択画面（図３参照）を提示する（ステップＳ１０１）。ここで、ユーザ指示受け付け手段１８が、選択画面において、ユーザによる区間情報抽出モジュールＳＭの選択を受け付け、区間情報抽出モジュール選択手段１０に対して、選択された区間情報抽出モジュールＳＭを通知する。

そして、メタデータ生成装置１は、区間情報抽出モジュール選択手段１０によって、ユーザ指示受け付け手段１８から通知された区間情報抽出モジュールＳＭを、区間情報抽出手段１０ａとして組み込む。これによって、実際に区間情報を抽出する区間情報抽出モジュールＳＭが選択されたことになる（ステップＳ１０２）。

そして、メタデータ生成装置１は、区間情報取得処理手段１１のパラメータ設定手段１１ａによって、区間情報を抽出するために必要となるパラメータ（パラメータ項目）を区間情報抽出手段１０ａ（ここでは、区間情報抽出モジュールＳＭ１）から取得する（ステップＳ１０３）。ここでは、区間情報抽出モジュールＳＭが、関数（ＧｅｔＲｅｑｕｉｒｅｄＤａｔａ（））によって、パラメータの項目を返すこととしている。

このパラメータを取得したパラメータ設定手段１１ａは、ユーザ指示受け付け手段１８を介して、パラメータの値を入力する入力画面（図４参照）を提示する（ステップＳ１０４）。ここで、ユーザ指示受け付け手段１８が、入力画面において、ユーザによるパラメータの値の入力を受け付け、パラメータ設定手段１１ａに対して、入力されたパラメータの値を通知する。

そして、パラメータ設定手段１１ａが、パラメータの値を区間情報抽出手段１０ａ（ここでは、区間情報抽出モジュールＳＭ１）に通知（設定）する（ステップＳ１０５）。ここでは、区間情報抽出モジュールＳＭが、関数（ＳｅｔＲｅｑｕｉｒｅｄＤａｔａ（））によって、パラメータを設定することとしている。

そして、区間情報取得手段１１ｂが、区間情報抽出手段１０ａに対して、区間情報の抽出を指示することで、区間情報の抽出を実行する（ステップＳ１０６）。ここでは、区間情報抽出モジュールＳＭが、関数（ＧｅｔＳｅｇｍｅｎｔ（））によって、区間情報の抽出結果を返すこととしている。ここで抽出された区間情報は、区間メタデータ編集手段１７によって、確認・編集画面（図７参照）に提示される。

この段階で、ユーザが区間情報の内容の確認を行う。すなわち、メタデータ生成装置１は、ユーザ指示受け付け手段１８によって、ユーザから区間情報の抽出のやり直し（ステップＳ１０７）、区間情報の編集（ステップＳ１０８）、他の区間情報抽出モジュールＳＭの実行（ステップＳ１０９）を行うかどうかの指示が入力されるかどうかを判定する。

そして、メタデータ生成装置１は、ユーザから区間情報の抽出のやり直しを指示された場合（ステップＳ１０７でＹｅｓ）は、ステップＳ１０３に戻って、パラメータの値の再入力を行うことで、再度区間情報の抽出を行う。
また、メタデータ生成装置１は、ユーザから区間メタデータの編集を指示された場合（ステップＳ１０８でＹｅｓ）は、区間メタデータ編集手段１７によって、区間メタデータの編集を行う（ステップＳ１１０）。なお、この区間メタデータの編集後、ステップＳ１０７に戻る。

さらに、メタデータ生成装置１は、ユーザから他の区間情報抽出モジュールＳＭの実行を指示された場合（ステップＳ１０９でＹｅｓ）は、ステップＳ１００に戻って、区間情報抽出モジュールＳＭの選択動作から動作を再実行する。
そして、メタデータ生成装置１は、ユーザが区間情報の内容を確認した段階（ステップＳ１０７、ステップＳ１０８及びステップＳ１０９でＮｏ）で、区間情報の抽出動作を終了する。

（意味情報の抽出動作）
次に、図１０を参照して、メタデータ生成装置１における意味情報の抽出動作（図８のステップＳ２０）の動作について詳細に説明する。
まず、メタデータ生成装置１は、意味情報抽出モジュール選択手段１２によって、意味情報抽出モジュールＬＭから、個々の機能を示す文字列を取得する（ステップＳ２００）。ここでは、意味情報抽出モジュールＬＭが、関数（ＩｓＬａｂｅｌＭｏｄｕｌｅ（））によって、文字列を返すこととしている。

この文字列を取得した意味情報抽出モジュール選択手段１２は、ユーザ指示受け付け手段１８を介して、意味情報抽出モジュールＬＭを選択する選択画面（図５参照）を提示する（ステップＳ２０１）。ここで、ユーザ指示受け付け手段１８が、選択画面において、ユーザによる意味情報抽出モジュールＬＭの選択を受け付け、意味情報抽出モジュール選択手段１２に対して、選択された意味情報抽出モジュールＬＭを通知する。

そして、メタデータ生成装置１は、意味情報抽出モジュール選択手段１２によって、ユーザ指示受け付け手段１８から通知された意味情報抽出モジュールＬＭを、意味情報抽出手段１２ａとして組み込む。これによって、実際に意味情報を抽出する意味情報抽出モジュールＬＭが選択されたことになる（ステップＳ２０２）。

そして、メタデータ生成装置１は、意味情報取得処理手段１３のパラメータ設定手段１３ａによって、意味情報を抽出するために必要となるパラメータ（パラメータ項目）を意味情報抽出手段１２ａ（ここでは、意味情報抽出モジュールＬＭ１）から取得する（ステップＳ２０３）。ここでは、意味情報抽出モジュールＬＭが、関数（ＧｅｔＲｅｑｕｉｒｅｄＤａｔａ（））によって、パラメータの項目を返すこととしている。
このパラメータを取得したパラメータ設定手段１３ａは、ユーザ指示受け付け手段１８を介して、パラメータの値を入力する入力画面（図６参照）を提示する（ステップＳ２０４）。ここで、ユーザ指示受け付け手段１８が、入力画面において、ユーザによるパラメータの値の入力を受け付け、パラメータ設定手段１３ａに対して、入力されたパラメータの値を通知する。

そして、パラメータ設定手段１３ａが、パラメータの値を意味情報抽出手段１２ａ（ここでは、意味情報抽出モジュールＬＭ１）に通知（設定）する（ステップＳ２０５）。ここでは、意味情報抽出モジュールＬＭが、関数（ＳｅｔＲｅｑｕｉｒｅｄＤａｔａ（））によって、パラメータを設定することとしている。

そして、意味情報取得手段１３ｂが、意味情報抽出手段１２ａに対して、意味情報の抽出を指示することで、意味情報の抽出を実行する（ステップＳ２０６）。ここでは、意味情報抽出モジュールＬＭが、関数（ＧｅｔＬａｂｅｌ（））によって、意味情報（意味・内容）の抽出結果を返し、関数（ＧｅｔＲｅｌａｔｉｏｎ（））によって、意味情報（区間関係）の抽出結果を返すこととしている。ここで抽出された意味情報は、区間メタデータ編集手段１７によって、確認・編集画面（図７参照）に提示される。

この段階で、ユーザが意味情報の内容の確認を行う。すなわち、メタデータ生成装置１は、ユーザ指示受け付け手段１８によって、ユーザから意味情報の抽出のやり直し（ステップＳ２０７）、意味情報の編集（ステップＳ２０８）、他の意味情報抽出モジュールＬＭの実行（ステップＳ２０９）を行うかどうかの指示が入力されるかどうかを判定する。
そして、メタデータ生成装置１は、ユーザから意味情報の抽出のやり直しを指示された場合（ステップＳ２０７でＹｅｓ）は、ステップＳ２０３に戻って、パラメータの値の再入力を行うことで、再度意味情報の抽出を行う。

また、メタデータ生成装置１は、ユーザから意味情報の編集を指示された場合（ステップＳ２０８でＹｅｓ）は、区間メタデータ編集手段１７によって、意味情報の編集を行う（ステップＳ２１０）。なお、この意味情報の編集後、ステップＳ２０７に戻る。
さらに、メタデータ生成装置１は、ユーザから他の意味情報抽出モジュールＬＭの実行を指示された場合（ステップＳ２０９でＹｅｓ）は、ステップＳ２００に戻って、意味情報抽出モジュールＬＭの選択動作から動作を再実行する。
そして、メタデータ生成装置１は、ユーザが意味情報の内容を確認した段階（ステップＳ２０７、ステップＳ２０８及びステップＳ２０９でＮｏ）で、意味情報の抽出動作を終了する。

以上、メタデータ生成装置１の動作として、予めコンテンツ蓄積装置３に蓄積されたコンテンツから区間メタデータを生成する動作（オフライン動作）について説明した。しかし、本発明は、ストリームデータとして入力されるコンテンツからも区間メタデータを抽出することが可能である。以下、図１１を参照（適宜図１参照）して、メタデータ生成装置１において、ストリームデータとして入力されるコンテンツから区間メタデータを生成する動作（オンライン動作）について説明する。

（オンライン処理による区間メタデータ生成動作）
図１１は、メタデータ生成装置のオンライン処理による区間メタデータ生成動作を示すフローチャートである。
まず、メタデータ生成装置１は、区間情報抽出モジュール選択手段１０によって、区間情報抽出モジュールＳＭを選択し、区間情報取得処理手段１１のパラメータ設定手段１１ａによって、区間情報を抽出するために必要となるパラメータを設定する（ステップＳ４０）。なお、このステップＳ４０は、図９のステップＳ１００からステップＳ１０５に相当する。

また、メタデータ生成装置１は、意味情報抽出モジュール選択手段１２によって、意味情報抽出モジュールＬＭを選択し、意味情報取得処理手段１３のパラメータ設定手段１３ａによって、意味情報を抽出するために必要となるパラメータを設定する（ステップＳ４１）。なお、このステップＳ４１は、図１０のステップＳ２００からステップＳ２０５に相当する。
そして、メタデータ生成装置１は、区間情報取得処理手段１１の区間情報取得手段１１ｂによって、区間情報抽出手段１０ａを介して、入力されるコンテンツから区間情報を１つ（１セグメント）抽出する（ステップＳ４２）。

続けて、メタデータ生成装置１は、意味情報取得処理手段１３の意味情報取得手段１３ｂによって、意味情報抽出手段１２ａを介して、ステップＳ４２で抽出された区間情報で示される区間内（１セグメント内）で、コンテンツから意味情報を抽出する（ステップＳ４３）。なお、区間情報で示される区間のコンテンツのデータは、図示していない蓄積手段に一時的に蓄積され、意味情報抽出手段１２ａによって、その区間におけるコンテンツのデータから意味情報が抽出される。

そして、１区間毎に区間メタデータの確認・編集を行う場合（ステップＳ４４でＹｅｓ）は、区間メタデータ編集手段１７が、ステップＳ４３で抽出し、生成した区間メタデータを表示画面上に表示し、確認・編集作業を行う（ステップＳ４５）。
さらに、１区間毎に区間メタデータを出力する場合（ステップＳ４６でＹｅｓ）は、区間メタデータ入出力手段１９が、１セグメント分の区間メタデータを出力する（ステップＳ４７）。

そして、コンテンツの入力が終了したかどうかを判断し（ステップＳ４８）、終了していない場合（ステップＳ４８でＮｏ）は、ステップＳ４２に戻って、区間情報及び意味情報の抽出を続ける。
一方、コンテンツの入力が終了した場合（ステップＳ４８でＹｅｓ）は、全区間の区間メタデータに対して確認・編集を行うかどうかを判定し（ステップＳ４９）、確認・編集を行う場合（ステップＳ４９でＹｅｓ）は、区間メタデータ編集手段１７が、図７に示したような確認・編集画面を表示し、確認・編集作業を行う（ステップＳ５０）。
そして、メタデータ生成装置１は、生成された区間メタデータ（複数セグメント分）を区間メタデータ入出力手段１９によって出力する（ステップＳ５１）。
以上の動作によって、メタデータ生成装置１は、オンライン処理によって、コンテンツから区間メタデータを生成し出力することができる。

本発明に係るメタデータ生成装置を含んだメタデータ生成システムの構成を示すブロック図である。 区間メタデータの構成を説明するための説明図であって、（ａ）は区間メタデータの構成、（ｂ）は区間メタデータの例を示す。 区間情報抽出モジュールを選択する選択画面の一例を示す画面例である。 区間情報抽出モジュールに通知するパラメータを入力するパラメータ入力画面の一例を示す画面例である。 意味情報抽出モジュールを選択する選択画面の一例を示す画面例である。 意味情報抽出モジュールに通知するパラメータを入力するパラメータ入力画面の一例を示す画面例である。 区間メタデータの確認・編集を行う確認・編集画面の一例を示す画面例である。 本発明に係るメタデータ生成装置の全体動作を示すフローチャートである。 本発明に係るメタデータ生成装置の区間情報の抽出動作を示すフローチャートである。 本発明に係るメタデータ生成装置の意味情報の抽出動作を示すフローチャートである。 本発明に係るメタデータ生成装置のオンライン処理による区間メタデータ生成動作を示すフローチャートである。

符号の説明

１ メタデータ生成装置
１０ 区間情報抽出モジュール選択手段（事象選択手段）
１０ａ 区間情報抽出手段
１１ 区間情報取得処理手段
１１ａ パラメータ設定手段
１１ｂ 区間情報取得手段
１２ 意味情報抽出モジュール選択手段（種別選択手段）
１２ａ 意味情報抽出手段
１３ 意味情報取得処理手段
１３ａ パラメータ設定手段
１３ｂ 意味情報取得手段
１４ 区間メタデータ生成制御手段
１５ メタデータ蓄積手段
１６ 選択映像再生手段
１７ 区間メタデータ編集手段
１８ ユーザ指示受け付け手段
１９ 区間メタデータ入出力手段
ＳＭ 区間情報抽出モジュール
ＬＭ 意味情報抽出モジュール

Claims (7)

1. コンテンツにおいて、ある事象の事象区間毎に、前記コンテンツの内容を示す意味情報を対応付けた、当該コンテンツにおける前記事象区間毎の情報である区間メタデータを生成するメタデータ生成装置であって、
   前記コンテンツから、前記事象を検出し、少なくとも当該事象の開始時刻及び終了時刻を区間情報として抽出する、前記事象毎に異なる複数の区間情報抽出手段と、
   複数の前記事象の中から１つを選択事象として指示されることで、当該選択事象に対応する前記区間情報抽出手段を選択する事象選択手段と、
   この事象選択手段で選択された区間情報抽出手段から前記コンテンツにおける前記選択事象の区間情報を取得し、第１の前記区間メタデータを生成する区間情報取得処理手段と、
   前記コンテンツを解析し、前記意味情報を前記区間情報における開始時刻及び終了時刻に対応付けて抽出する、前記意味情報の種別毎に異なる複数の意味情報抽出手段と、
   前記意味情報の種別の中から１つを選択種別として指示されることで、当該選択種別に対応する前記意味情報抽出手段を選択する種別選択手段と、
   この種別選択手段で選択された意味情報抽出手段から前記意味情報を取得し、前記区間情報と前記意味情報とを対応付けた第２の前記区間メタデータを生成する意味情報取得処理手段と、
   を備えていることを特徴とするメタデータ生成装置。
2. 前記区間情報抽出手段が、予め当該区間情報抽出手段の機能を示す文字列を保持しており、前記事象選択手段が、前記区間情報抽出手段から前記文字列を取得することで、当該文字列を表示装置の画面上に一覧表示することを特徴とする請求項１に記載のメタデータ生成装置。
3. 前記区間情報抽出手段が、予め当該区間情報抽出手段において前記区間情報を抽出するためのパラメータの項目を保持しており、前記区間情報取得処理手段が、前記区間情報抽出手段から前記パラメータの項目を取得することで、当該パラメータの項目を表示した当該パラメータの入力画面を表示装置に表示することを特徴とする請求項１又は請求項２に記載のメタデータ生成装置。
4. 前記意味情報抽出手段が、予め当該意味情報抽出手段の機能を示す文字列を保持しており、前記種別選択手段が、前記意味情報抽出手段から前記文字列を取得することで、当該文字列を表示装置の画面上に一覧表示することを特徴とする請求項１に記載のメタデータ生成装置。
5. 前記意味情報抽出手段が、予め当該意味情報抽出手段において前記意味情報を抽出するためのパラメータの項目を保持しており、前記意味情報取得処理手段が、前記意味情報抽出手段から前記パラメータの項目を取得することで、当該パラメータの項目を表示した当該パラメータの入力画面を表示装置に表示することを特徴とする請求項１又は請求項４に記載のメタデータ生成装置。
6. 前記意味情報取得処理手段が、前記意味情報を取得する毎に、前記区間情報に複数の前記意味情報を対応付けた区間メタデータを生成することを特徴とする請求項１乃至請求項５のいずれか一項に記載のメタデータ生成装置。
7. コンテンツにおいて、ある事象に対して、少なくとも当該事象の開始時刻及び終了時刻を区間情報として前記コンテンツから抽出する、前記事象毎に異なる複数の区間情報抽出モジュールと、前記コンテンツを解析し、当該コンテンツの内容を示す意味情報を時刻に対応付けて抽出する、前記意味情報の種別毎に異なる複数の意味情報抽出モジュールとに基づいて、前記コンテンツにおける事象区間毎の情報である区間メタデータを生成するために、コンピュータを、
   複数の前記事象の中から１つを選択事象として指示されることで、当該選択事象に対応する前記区間情報抽出モジュールを選択する事象選択手段、
   この事象選択手段で選択された区間情報抽出モジュールから、前記コンテンツにおける前記選択事象の区間情報を取得し、第１の前記区間メタデータを生成する区間情報取得処理手段、
   前記意味情報の種別の中から１つを選択種別として指示されることで、当該選択種別に対応する前記意味情報抽出モジュールを選択する種別選択手段、
   この種別選択手段で選択された意味情報抽出モジュールから、前記意味情報を取得し、前記区間情報と前記意味情報とを対応付けた第２の前記区間メタデータを生成する意味情報取得処理手段、
   として機能させることを特徴とするメタデータ生成プログラム。

Images