JP4065142B2 - オーサリング装置およびオーサリング方法 - Google Patents
オーサリング装置およびオーサリング方法 Download PDFInfo
- Publication number
- JP4065142B2 JP4065142B2 JP2002160528A JP2002160528A JP4065142B2 JP 4065142 B2 JP4065142 B2 JP 4065142B2 JP 2002160528 A JP2002160528 A JP 2002160528A JP 2002160528 A JP2002160528 A JP 2002160528A JP 4065142 B2 JP4065142 B2 JP 4065142B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- keyword
- identifier
- authoring
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 35
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000010586 diagram Methods 0.000 description 18
- 238000000605 extraction Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
- G11B2220/215—Recordable discs
- G11B2220/216—Rewritable discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
- G11B2220/2575—DVD-RAMs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画へのインデックス情報付与を行うオーサリング装置およびオーサリング方法に関する。
【０００２】
【従来の技術】
近年、動画をデジタルファイルとして保存することが普及している。それに伴い膨大な量の動画ファイルから所望のものを迅速に検索したり、効率的に管理したりすることが困難になってきている。これを解決するために動画へのインデックス情報付与およびインデックス情報を使用した映像検索や映像要約の方法が提案されている。
【０００３】
この方法としては、例えば、特開平１１−２８８４２４号公報に開示された方法がある。この公報には、映像の特定の時間区間と対応させたキーワード情報等を動画ファイルとは別のファイルで用意しておきそのファイルを検索等に用いる方法が具体的に示されている。インデックス情報ファイルの書式は広く普及しているＸＭＬフォーマットで記述するのが一般的で、さらに今日では映像コンテンツの記述を目的としたＭＰＥＧ７規格も提案されている。インデックス情報としては映像内容に対応するキーワードを映像の時間区間と対応させてテーブル化することがキーワードを使った検索を行うために有効であるが、ＭＰＥＧ７規格ではさらに、そのキーワードがどの程度映像に該当しているかを示す該当レベルも付与することが提案されている。なお、ＭＰＥＧ７規格ではキーワードと該当レベルをそれぞれ、ＰｏｉｎｔＯｆＶｉｅｗ（観点）、Ｉｍｐｏｒｔａｎｃｅ（スコア）という名称で扱っている。この該当レベルの使用方法を次に説明する。
【０００４】
例えば３０分のスポーツ映像があるとする。予めこの映像の重要な部分（映像区間）に「重要」というキーワードを付与しておけば、このスポーツ映像のダイジェストを作成する際に、「重要」が付与されている時間区間のみをつなぎ合わせることで、ダイジェスト映像を簡単に作成することができる。しかしながら、ダイジェスト映像の時間は「重要」が付与された時間の合計時間であり、例えばダイジェストを３分になるようにしたい、１分になるようにしたいといった要望には応えられない。このような場合、該当レベルを「重要」というキーワードに付与しておけば、該当レベルの高い順に時間区間を足しこんでいくことにより前述したような時間指定の要望にも応えられる。
【０００５】
例えば、重要度の程度に応じて、該当レベルを１．０から０．１まで０．１刻みで１０段階使用し、映像に付与したとする。１分のダイジェストの要望があったときに、まず該当レベル１．０が付与されている区間を合計する。その合計時間が１分に満たなければさらに該当レベル０．９の区間を合計する。このように該当レベルの高い順に時間区間を追加しておくことにより希望された１分にもっとも近くなるようにダイジェストを作成することが可能となる。もちろん、ダイジェストを再生する際には各区間を時系列順に再生することにより時系列的に矛盾のないダイジェストを再生することができる。
【０００６】
キーワードを付与するオーサリングプログラムは例えばパイオニアＲ＆Ｄ Ｖｏｌ．１１ Ｎｏ．２（２００１年９月）２７ページ「ＭＰＥＧ−７アプリケーションの開発」に一例が記述されている。この例と同様に従来のオーサリングプログラムは、インデックス情報を入力するのに、ユーザが各シーン対し直接数値や文字を入力するようなＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）が提案されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のオーサリングプログラムによる方法では、キーワードと該当レベルを映像の時間区間であるシーンに付与することはできても、各シーンに対して付与した結果を直感的あるいは視覚的に把握して、各シーン間に付与した結果、つまり全体状況を確認するといったことが考慮されていない。このため、各シーン間に該当レベルがバランスよく付与されているか、高い該当レベルはどの部分に付与されているかといったことが判りづらく、イメージ通りのオーサリング作業を行うのに膨大な時間を要していた。また、キーワードと該当レベルをいちいち各シーンに手入力するという点でも作業に時間がかかっていた。
【０００８】
本発明は、映像シーンへのキーワードと該当レベルの付与の操作性を高め、なおかつキーワードと該当レベルの付与状況を視覚的に確認できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面を表示し、動画ファイルを所定区間に区切ったシーンを示す識別子をマトリクス平面上に配置して表示し、ユーザがマトリクス平面上に配置した識別子の位置を所望の移動した場合に、マトリクス平面上に配置された識別子の位置に対応する該当レベルを識別子に対応するシーンの該当レベルとして決定するようにしたものである。
【００１０】
これにより、マトリクス平面上でシーンに対してキーワードと該当レベルを入力できるので、シーンへのキーワードと該当レベルの付与の操作性を高め、なおかつキーワードと該当レベルの付与状況を視覚的に確認できる。
【００１１】
【発明の実施の形態】
本発明の第１の態様にかかるオーサリング装置は、動画ファイルを所定区間に区切ったシーンを示す識別子を時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面上に配置し表示手段に表示する表示制御手段と、前記マトリクス平面上に配置した前記識別子の位置を移動する識別子配置手段と、前記識別子の前記マトリクス平面上の位置が移動した場合に、当該識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定するインデックス決定手段と、を具備した構成を採る。
【００１２】
これにより、時間の軸と該当レベルの軸が交差するマトリックス平面を表示し、このマトリックス平面上に配置されたシーンを示す識別子の位置を所望の位置に配置することで、シーンの特定のキーワードへの該当レベルを決定するようにできる。また、シーンの該当レベルの状態を、時系列を加味しながら視覚的に把握しやすくなるので、簡単な作業で適切に該当レベルの配分をできる。この結果、オーサリング作業効率が上がる。
【００１３】
本発明の第２の態様は、第１の態様にかかるオーサリング装置において、前記シーンの長さを示す情報を前記シーンに対応する前記識別子の近傍に表示する。
【００１４】
これにより、各シーンの長さを視覚的に把握でき、各シーン間の長さのバランスを調整する際にも各シーンの長さが直感的に把握できて有用性が高い。
【００１５】
本発明の第３の態様は、第１の態様または第２の態様にかかるオーサリング装置において、所定の前記該当レベル以上の前記シーンを繋ぎ合わせたダイジェスト映像の合計時間を前記マトリクス平面上に表示する。
【００１６】
これにより、該当レベル毎のシーンの合計時間を視覚的に把握でき、合計時間の長さを認識しながら該当レベルの配分を決めながら該当レベルを付与できる。この結果、オーサリング作業効率が上がる。
【００１７】
本発明の第４の態様は、第１の態様から第３の態様のいずれかのオーサリング装置において、ユーザが前記マトリクス平面上に配置された複数の前記識別子を結合する処理をすると、結合した前記識別子に対応する前記シーンを結合して新たなシーンを生成する。
【００１８】
これにより、マトリクス平面上で簡単にシーンの結合ができる。
【００１９】
本発明の第５の態様は、第１の態様から第３の態様のいずれかのオーサリング装置において、ユーザが前記マトリクス平面上に配置された前記識別子に対応する前記シーンを再生しながら所定の位置で分割する指示をすると、当該シーンを前記所定の位置で分割した、複数のシーンを新たに生成する。
【００２０】
これにより、シーンを再生しながらシーンの区切りを認識でき、この区切りの位置で簡単に映像シーンの分割ができる。
【００２１】
本発明の第６の態様は、第１の態様から第５の態様のいずれかのオーサリング装置において、前記所定のキーワードに対応して所定の単位に分割された前記シーンに対して前記所定のキーワードに対する前記該当レベルを決定した後に、別のキーワードに対する該当レベルをシーンに対して決定する場合に、各シーンは前記所定のキーワードに対応したシーンの分割単位を引き継ぐ。
【００２２】
これにより、別のキーワードに対応するシーンへの該当レベル付与を行う際に前のキーワードに対応するシーンの時間区間を引き継ぐことで、シーンを生成する作業を２度しなくてよくなり作業効率が高まる。
【００２３】
本発明の第７の態様は、第１の態様から第６の態様のいずれかのオーサリング装置において、前記インデックス決定手段が決定した前記シーンの前記該当レベルを用いたメタデータを編集する。
【００２４】
これにより、オーサリング処理の結果をメタデータとしてファイル化することができる。
【００２５】
本発明の第８の態様は、第７の態様のオーサリング装置において、前記メタデータは、ＭＰＥＧ７の規格に基づいて作成されている。
【００２６】
これにより、メタデータに、汎用性を持たす事ができる。
【００２７】
本発明の第９の態様は、第１の態様から第８の態様のいずれかのオーサリング装置において、前記識別子は、前記シーンの特徴を示す代表フレーム画像である。
【００２８】
これにより、代表フレーム画像からシーンの内容を判断することができる。
【００２９】
本発明の第１０の態様にかかるオーサリング装置は、動画ファイルを再生する動画再生手段と、複数のキーワード一覧を表示するキーワード表示手段と、前記複数のキーワードから所定のキーワードを選択するキーワード選択手段と、前記動画ファイルに対して前記所定のキーワードの付与を開始するためのキーワード開始手段と、前記動画ファイルに対して前記所定のキーワードの付与を終了するためのキーワード終了手段と、前記動画ファイル再生中に前記キーワード開始手段および前記キーワード終了手段からの入力があった場合に、前記キーワード開始手段からの入力と前記キーワード終了手段からの入力があった区間に対応する前記動画ファイルをシーンとすると共に前記シーンに前記所定のキーワードを付与するキーワード付与手段と、前記シーンを示す識別子を時間の軸と前記所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面上に配置し表示手段に表示する表示制御手段と、前記マトリクス平面上に配置した前記識別子の位置を移動する識別子配置手段と、前記識別子の前記マトリクス平面上の位置が移動した場合に、当該識別子の位置に対応する前記該当レベルを当該識別子に対応する前記シーンの前記該当レベルとして決定するインデックス決定手段と、を具備した構成を採る。
【００３０】
これにより、映像を見ながら、リアルタイムで、所定のキーワードをシーンに付与できる。また、シーンの識別子をマトリクス平面上で認識しながら、該当レベルを付与できる。
【００３１】
本発明の第１１の態様は、第１０の態様のオーサリング装置において、前記識別子の長さは、前記シーンの長さに対応した長さになっている。
【００３２】
これにより、各シーンの長さを視覚的に認識できる。
【００３３】
本発明の第１２の態様は、第１０の態様または第１１の態様のオーサリング装置において、前記キーワード表示手段は前記キーワード毎に異なる色もしくは網掛けをして表示し、前記識別子は対応する前記キーワードに使用されている色もしくは網掛け表示形態を用いて表示される。
【００３４】
これにより、識別子とキーワードとの対応関係を視覚的に認識でき、作業の効率が向上する。
【００３５】
本発明の第１３の態様は、時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面を表示するステップと、動画ファイルを前記所定のキーワードを用いて所定区間に区切ったシーンを示す識別子を前記マトリクス平面上に配置して表示するステップと、ユーザが前記マトリクス平面上に配置した前記識別子を所望の位置に移動した場合に、前記マトリクス平面上に配置された前記識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定するステップと、を具備したことを特徴とするオーサリング方法である。
【００３６】
本発明の第１４の態様は、コンピュータに、時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面を表示させるステップと、動画ファイルを前記所定のキーワードを用いて所定区間に区切ったシーンを示す識別子を前記マトリクス平面上に配置して表示させるステップと、ユーザが前記マトリクス平面上に配置した前記識別子を所望の位置に移動した場合に、前記マトリクス平面上に配置された前記識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定させるステップと、を行わせることを特徴とするプログラムである。
【００３７】
本発明の第１５の態様は、第１４の態様に記載のプログラムを格納した記憶媒体である。
【００３８】
（実施の形態１）
以下、本発明の実施の形態１について、添付図面を用いて説明する。まず、実施の形態１にかかるオーサリング装置の構成について説明する。図１は、実施の形態１にかかるオーサリング装置の構成図である。
【００３９】
実施の形態１にかかるオーサリング装置１００には、オーサリングに関する各種処理を行うオーサリング処理部１０１が設けられている。
【００４０】
また、オーサリング装置１００には、オーサリング処理部１０１が使用する各種情報を記憶する記憶部１０２が設けられている。記憶部１０２は、オーサリング装置１００が内部に備えるディスク等であってもいいし、外部のサーバー等の記憶媒体であってもよい。記憶部１０２は、オーサリングの対象とする動画ファイル１０３を保持する。また、記憶部１０２は、オーサリングの結果作成されたインデックス情報、すなわちメタデータ１０４も保持する。なお、記憶部１０２は、動画ファイル１０３およびメタデータ１０４を別々の記憶媒体に保存する形態であっても、同一の記憶媒体に記憶する形態であっても良い。
【００４１】
ここで、メタデータ１０４について図２を用いて説明する。図２は、実施の形態１にかかるメタデータの構成図である。
【００４２】
図２に示すように、メタデータは、縦軸に時間２０１、横軸に複数のキーワード２０２、そして時間２０１とキーワード２０２の交差する位置に該当レベル２０３を記述したテーブルとして記憶されている。また、縦軸の時間２０１は、シーン単位で区切られている。なお、図２の例では、縦軸を時間２０１で示しているが、単純にシーンの番号にするようにしても良い。
【００４３】
また、メタデータのテーブルをファイル化するには種々の方法が提案されているが、本実施の形態ではＭＰＥＧ７の規格に基づいて、ＸＭＬを用いる。
【００４４】
ここで、メタデータを、ＸＭＬを用いてファイル化したものについて図３を用いて説明する。図３は、実施の形態１にかかるＸＭＬを用いたメタデータのファイルを示す図である。なお、図３は、図２に示すテーブルに対応したものであるが、説明の簡易化のために、図２に示すテーブルのうち時間が０：３１〜０：３６および０：３９〜０：４８の区間に対する部分のみの記述になっている。
【００４５】
図３に示すＸＭＬのファイルには、二つのセグメント２０４ａ、２０４ｂが記述されている。二つのセグメント２０４ａ、２０４ｂには、図中２０５ａ、２０５ｂに示すように、図２に示す０：３１〜０：３６および０：３９〜０：４８の区間に対応するような時間情報が記述されている。また、二つのセグメント２０４ａ、２０４ｂには、図中２０６ａ、２０６ｂに示すように、図２に示すキーワード「シュート」および「重要」がＰｏｉｎｔＯｆＶｉｅｗの部分に記述されている。そして、二つのセグメント２０４ａ、２０４ｂには、図中２０７ａ、２０７ｂに示すように、キーワード「シュート」および「重要」に対応した該当レベル（Ｉｍｐｏｒｔａｎｃｅ）が記述されている。
【００４６】
このようにメタデータをＸＭＬで記述することにより、汎用性を持たす事ができる。
【００４７】
なお、マークアップ記述言語としてＳＧＭＬを用いても良い。また、メタデータの方式として、マークアップ記述言語以外を用いても良い。
【００４８】
また、オーサリング装置１００には、オーサリング処理部１０１が処理した結果を表示するディスプレイ１０５と、オーサリング処理部１０１に各種情報を入力するための操作部１０６が設けられている。操作部１０６は、キーボード、マウス等で構成することができる。
【００４９】
次に、オーサリング処理部１０１の構成について説明する。オーサリング処理部１０１には、操作部１０６から入力されたユーザのオーサリング作業情報を内部に入力する入力処理部１０７が設けられている。
【００５０】
また、オーサリング処理部１０１には、フレーム抽出部１０８が設けられている。フレーム抽出部１０８は、ユーザによるオーサリング作業に先立って、対象とする動画ファイル１０３を読み出し、シーンの区切りを形成する。シーンの区切りは例えば１０秒単位といったように時間単位で区切ってもいいし、動画を構成する一枚一枚のフレーム画像の前後を比較して画像が不連続になるポイント、いわゆるカットを検出してそこを区切りにしてもよい。また、フレーム抽出部１０８は、以上のような手法を用いてシーンを区切った後に、各シーンの代表フレーム画像を抽出する。代表フレーム画像は各シーンの最初のフレーム画像としてもよいし、時間区切りの中央に位置するフレーム画像としてもよい。近年では画像の特徴認識技術を用いて顔などの特徴的なイメージが含まれるフレーム画像を代表画像として抽出する技術も開発されているので、この技術を採用しても良い。
【００５１】
また、オーサリング処理部１０１には、動画ファイル１０３を読み込み再生する動画再生部１０９が設けられている。また、動画再生部１０９は、ダイジェスト映像の再生も行う。
【００５２】
また、オーサリング処理部１０１には、フレーム抽出部１０８により抽出されたフレーム画像をオーサリングのためのＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）に合成するＧＵＩ処理部１１０が設けられている。ＧＵＩ処理部１１０は、入力処理部１０７から入力された内容をＧＵＩに反映して出力処理部１１１に送る。また、ＧＵＩ処理部１１０は、ダイジェスト映像の生成も行う。
【００５３】
出力処理部１１１は、ディスプレイ１０５にＧＵＩを出力し、ディスプレイ１０５がユーザにＧＵＩを表示する。
【００５４】
また、オーサリング処理部１０１には、各シーンにキーワードおよび該当レベルを関連付け、記憶部１０２のメタデータ１０４を更新するメタデータ編集部１１２が設けられている。
【００５５】
次に、ＧＵＩ処理部１１０が合成するオーサリングのＧＵＩについて説明する。
【００５６】
本実施の形態にかかるＧＵＩは、横軸がタイムライン、縦軸が所定のキーワードに対する該当レベルであるマトリックス平面上に、ユーザが映像シーンを示す識別子（代表フレーム画像）を配置することにより、特定のキーワードに対する映像シーンの該当レベルを決定するＧＵＩを備えることを特徴としている。
【００５７】
以下、ＧＵＩ処理部１１０が合成するオーサリングのＧＵＩについて図４を用いて詳細に説明する。図４は、実施の形態１にかかるＧＵＩの構成を示した図である。
【００５８】
オーサリングのＧＵＩ３０１のメインウインドウ３０２は、横軸に時間、縦軸に該当レベルを取ったマトリックス平面となっている。
【００５９】
また、メインウインドウ３０２には、動画ファイル１０３から抽出したシーンの代表フレーム画像（シーンフレーム画像）３０３ａ〜３０３ｄが、その時間に合わせた位置に配置される。このシーンフレーム画像３０３ａ〜３０３ｄは、映像シーン毎にひとつあるものである。
【００６０】
また、オーサリングのＧＵＩ３０１のメインウインドウ３０２における上部には、各シーンに付与するためのキーワードを指定するキーワードウインドウ３０４が設けられている。ユーザは、キーワードを予め作成したキーワードリストから選択してもよいし、直接入力してもよい。
【００６１】
また、メインウインドウ３０２の左側部には、複数の該当レベル３０５ａ〜３０５ｄが縦方向に昇順で記述されている。また、該当レベル３０５ａ〜３０５ｄの上部近傍には、それぞれ該当レベル３０５ａ〜３０５ｄを用いてダイジェスト映像を作成した場合の合計時間３０６ａ〜３０６ｄが記述されている。また、該当レベル３０５ａ〜３０５ｄの上部には、それぞれ該当レベル３０５ａ〜３０５ｄを用いて作成したダイジェスト映像を再生する再生ボタン３０７ａ〜３０７ｄおよび停止ボタン３０８ａ〜３０８ｄが配置されている。
【００６２】
また、シーンフレーム画像３０３ａ〜３０３ｄの下部には、シーンフレーム画像３０３ａ〜３０３ｄに対応するシーンの長さを示すタイムバー３０９ａ〜３０９ｄが表示されている。また、メインウインドウ３０２の下部には、タイムバー３０９ａ〜３０９ｄの時間の縮尺を示す時間縮尺３１０が表示されている。タイムバー３０９ａ〜３０９ｄは、時間縮尺３１０に基づいたバーの長さで表現されている。
【００６３】
このようにタイムバー３０９ａ〜３０９ｂを備えることで、各シーンの長さを視覚的に把握でき、該当レベル３０５ａ〜３０５ｄを指定することによる再生時間を行い易くできる。また、このタイムバー３０９ａ〜３０９ｄは該当レベル３０５ａ〜３０５ｄ別の合計時間３０６ａ〜３０６ｄを調整する際にも、シーンの該当レベル変更した際にも、該当レベル３０５ａ〜３０５ｄ別の合計時間３０６ａ〜３０６ｄの予測ができて便利であるが、各シーン間の長さのバランスを調整する際にも各シーンの長さが直感的に把握できて有用性が高い。
【００６４】
なお、タイムバー３０９ａ〜３０９ｄの位置は、シーンとの関連がわかるならばシーンフレーム画像３０３ａ〜３０３ｄの下に限ったものではなく上下左右どこに配置してもよい。
【００６５】
また、メインウインドウ３０２の上部には、シーンをカット点で区切るのではなく所定の間隔で区切る際に、区切る間隔を入力するためのシーン間隔入力部３１１が配置されている。これにより、ユーザが所望の間隔を入力することで、所望の長さのシーンを生成できる。これにより、カット点があまりない動画の場合に、シーンの長さが長くなってしまうことを防げる。
【００６６】
また、ＧＵＩ３０１には、シーンを所望の長さに分割するために使用する分割ウインドウ３１２が設けられている。分割ウインドウ３１２には、選択したシーンを再生する再生ボタン３１３、コマ送り巻き戻し再生するコマ送り巻き戻しボタン３１４、コマ送り再生するコマ送り再生ボタン３１５、静止画を表示するポーズボタン３１６および、現在再生されている位置でシーンを分割するための分割ボタン３１７が設けられている。
【００６７】
ユーザは、所望のシーンを分割しようとする場合に、所望のシーンをクリックして選択し、その後各種ボタン３１３〜３１６を用いてシーンを再生し、所望の位置を検出した後に、分割ボタン３１７を押下することで、シーンを分割できる。
【００６８】
次に、ユーザによるオーサリング作業に伴うオーサリング装置１００の処理の流れについて、図５を用いて説明する。図５は、実施の形態１にかかるオーサリング装置のオーサリング処理のフロー図である。
【００６９】
まず、オーサリング装置１００は、記憶部１０２の動画ファイル１０３を参照し、動画ファイルの一覧をディスプレイ１０５に表示する。そして、ユーザが操作部１０６を操作することで、オーサリングを行う対象の動画ファイルを選択すると、入力処理部１０７が動画ファイル１０３の選択情報をＧＵＩ処理部１１０に送る。次に、ＧＵＩ処理部１１０は、この選択情報をフレーム抽出部１０８に送る。
【００７０】
そして、フレーム抽出部１０８は、ユーザが選択した動画ファイル１０３を読み込む（ＳＴ４０１）。次に、フレーム抽出部１０８は、読み込んだ動画ファイル１０３をシーンの特定の時間で区切り、シーンフレーム画像の抽出を行う（ＳＴ４０２）。次に、フレーム抽出部１０８は、抽出したシーンフレーム画像をＧＵＩ処理部１１０に送る。
【００７１】
そして、ＧＵＩ処理部１１０は、メインウインドウ３０２を生成し、フレーム抽出部１０８が抽出したシーンフレーム画像をメインウインドウ３０２の所定の位置に配置し、出力処理部１１１に送る。そして、出力処理部１１１が、このシーンフレーム画像を所定の位置に配置したメインウインドウ３０２をディスプレイ１０５に表示する（ＳＴ４０３）。
【００７２】
ＳＴ４０３の処理を詳細に説明すると、ＧＵＩ処理部１１０は、複数のシーンフレーム画像３０３ａ〜３０３ｄを、まず、メインウインドウ３０２に、時系列に左から右に並べる。次に、ＧＵＩ処理部１１０は、シーンフレーム画像３０３ａ〜３０３ｄを縦軸の該当レベル０の位置に全て配置する。したがって、オーサリング作業前の状態には、シーンフレーム画像３０３ａ〜３０３ｄは、該当レベル０の列に時間軸方向に時系列順に並べられることになる。
【００７３】
次に、ユーザが操作部１０６を操作してキーワードウインドウ３０４にキーワードを指定し、次にシーンフレーム画像３０３ａ〜３０３ｄをドラッグ・アンド・ドロップにより入力したキーワードに対する適切な該当レベル（該当度）の位置に縦方向に移動すると、入力処理部１０７が入力されたキーワードおよびシーンフレーム画像３０３ａ〜３０３ｄに対応する該当レベルをＧＵＩ処理部１１０に入力する（ＳＴ４０４）。そして、ＧＵＩ処理部１１０は、入力されたキーワードおよびシーンフレーム画像３０３ａ〜３０３ｄに対応する該当レベルをメタデータ編集部１１２に送る。メタデータ編集部１１２は、各シーンフレーム画像３０３ａ〜３０３ｄに対応したシーンのキーワードに該当レベルを関連付け、システムのＲＡＭのような記憶部にオーサリング作業内容を一時的に記憶する（ＳＴ４０５）。
【００７４】
なお、この形態では、メタデータ編集部１１２は、メタデータ１０４の更新情報を、システムのＲＡＭのような記憶部にオーサリング作業内容を一時的に記憶しておき、オーサリング作業終了後に一括してメタデータ１０４を更新するが、メタデータ１０４の更新を、ユーザによるオーサリング作業中にリアルタイムに行ってもよい。
【００７５】
そして、オーサリング装置１００は、ＳＴ４０４、ＳＴ４０５の処理を、ユーザが入力した全てのキーワード毎に繰り返す（ＳＴ４０６）。
【００７６】
このようにして、ひとつのシーンに複数のキーワードを付与することができる。
【００７７】
そして、オーサリング作業終了後、ユーザにより、各シーンフレーム画像３０３ａ〜３０３ｄに対応したシーン（ファイル）にメタデータ１０４を保存すると選択されると（ＳＴ４０７）、メタデータ編集部１１２は、記憶しておいたメタデータをシーン情報として保存して（ＳＴ４０８）、処理を終了する。
【００７８】
このようにして、動画ファイルの各シーンに対するキーワードおよび該当レベルの付与を従来の直接的な数値入力ではなく、シーンフレーム画像をメインウインドウ３０２上でドラッグ・アンド・ドロップするという動作で行える。これにより、操作性を格段に向上させることができる。また、ユーザは、シーン毎に付与した該当レベルの値を視覚的に一目で把握できる。これにより、全体状況を把握しつつ該当レベルの修正を行うといった際の効率がよくなる。
【００７９】
次に、実施の形態１にかかるオーサリング装置１００による、メタデータを用いたダイジェスト映像再生について、図６を用いて説明する。図６は、実施の形態１にかかるオーサリング装置のダイジェスト映像再生のフロー図である。
【００８０】
ダイジェスト映像再生は、ユーザが例えば３時間のスポーツ動画ファイルから重要シーンのみのダイジェストを見たい場合に、前述した方法で作成されたメタデータを使用して動画ファイルから所望のダイジェストを生成し、再生するものである。なお、以下に説明する処理をプログラムにし、コンピュータがこのプログラムを読み込んで処理する形態であっても良い。
【００８１】
まず、オーサリング装置１００の動画再生部１０９が、ユーザにより指定された動画ファイル１０３の存在を確認し、指定された動画ファイル１０３を読み込み、ＧＵＩ処理部１１０に入力する（ＳＴ５０１）。次に、オーサリング装置１００のメタデータ編集部１１２が、動画ファイル１０３に対応付けられているメタデータ１０４を検索して読み込み、ＧＵＩ処理部１１０に入力する（ＳＴ５０２）。次に、ＧＵＩ処理部１１０が、メインウインドウ３０２（ＧＵＩ画面）を生成し、出力処理部１１１を介してディスプレイ１０５に送信し、ディスプレイ１０５がメインウインドウ３０２を表示する（ＳＴ５０３）。
【００８２】
なお、ＳＴ５０１〜５０３の順序は前後しても構わない。
【００８３】
次に、メインウインドウ３０２を見たユーザが操作部１０６を操作して、該当レベルとキーワードを入力すると、ＧＵＩ処理部１１０は、ユーザがＳＴ５０１において指定した動画ファイルのシーンフレーム画像を、メインウインドウ３０２の、入力されたキーワードの該当レベルに応じた位置に配置する。これにより、ユーザは、視覚的に、該当レベル毎に配置されたシーンを認識できる。
【００８４】
次に、ユーザが、メインウインドウ３０２を見て、所望の該当レベルに対応する再生ボタン３０７ａ〜３０７ｄを押下すると、入力処理部１０７が押下された再生ボタン３０７ａ〜３０７ｄの該当レベルと、キーワードをＧＵＩ処理部１１０に入力する（ＳＴ５０４）。
【００８５】
次に、ＧＵＩ処理部１１０が、ＳＴ５０２において読み込んだメタデータ１０４を検索して（ＳＴ５０５）、ユーザが指定したキーワードの該当レベル以上のシーンフレーム画像を抽出し、抽出したシーンフレーム画像のリストを作成する（ＳＴ５０６）。そして、ＧＵＩ処理部１１０は、ＳＴ５０６で作成したリストを参照しながら、リストに対応した動画ファイル（シーン）１０３を連続再生する（ＳＴ５０７）。
【００８６】
このようにして、メタデータを使用して、ユーザが指定したキーワードおよび該当レベルに対応するダイジェスト映像を作成する。
【００８７】
しかしながら、ユーザが該当レベルの指定をしただけでは、所望の再生時間のダイジェスト映像が得られるとは限らない。ユーザとしては、適切な再生時間のダイジェスト映像が得られることが望ましい。例えば、該当レベル３ ３０５ａを選択したときには３０秒のダイジェスト、該当レベル２ ３０５ｂを指定したときには１分のダイジェスト、該当レベル１ ３０５ｃを指定したときには２分のダイジェストが定常的に得られれば、自分の自由な時間に応じて映像視聴をすることが可能になる。
【００８８】
このようなサービスを実現するにはオーサリング作業の時点で各該当レベルでの再生時間が適正になるよう名インデックス情報（メタデータ）を作成する必要がある。しかしながら、実施の形態１では、図４に示すように各該当レベル３０５ａ〜３０５ｄを用いてダイジェスト映像を生成した場合の合計時間３０６ａ〜３０６ｄが表示されるようになっている。これにより、ユーザは、該当レベル指定による再生時間がどの程度になるか把握しながらオーサリング作業を進めることができる。なお、合計時間３０６ａ〜３０６ｄは、各該当レベル３０５ａ〜３０５ｄ以上のシーンの合計時間３０６ａ〜３０６ｄはとしたほうがよりユーザの利用シーンと整合性が取れて利便性が高まるが、各該当レベル３０５ａ〜３０５ｄが同じものを単に合計してもよい。
【００８９】
次に、ＧＵＩ処理部１１０がダイジェスト映像の合計時間３０６ａ〜３０６ｄを表示する処理について図７を用いて説明する。図７は、実施の形態１にかかるオーサリング装置１００のダイジェスト映像の合計時間を表示するフロー図である。
【００９０】
まず、フレーム抽出部１０８が、ユーザが選択した動画ファイル１０３を読み込む（ＳＴ６０１）。次に、フレーム抽出部１０８が、読み込んだ動画ファイルをシーンの特定の時間で区切り、シーンフレーム画像の抽出を行い、ＧＵＩ処理部１１０に入力する（ＳＴ６０２）。このとき、ＧＵＩ処理部１１０は、各シーンの長さを認識し、ＧＵＩ３０１、タイムバー３０９ａ〜３０９ｄおよび時間縮尺３１０を、出力処理部１１１を介してディスプレイ１０５に出力する。そして、ディスプレイ１０５がタイムバー３０９ａ〜３０９ｄおよび時間縮尺３１０をメインウインドウ３０２に表示する。
【００９１】
次に、ＧＵＩ処理部１１０は、該当レベル３０５ａ〜３０５ｄ別に含まれるシーンの合計時間３０６ａ〜３０６ｄを計算して、出力処理部１１１を介してディスプレイ１０５に出力し、ディスプレイ１０５が、合計時間３０６ａ〜３０６ｄをＧＵＩ３０１に表示する（ＳＴ６０３）。
【００９２】
次に、ユーザが、キーワードおよび該当レベルを更新するために、新たにキーワードを入力し、さらにシーンフレーム画像３０３ａ〜３０３ｄを上下にドラッグ・アンド・ドロップすると、入力処理部１０７は入力されたキーワードおよびシーンフレーム画像３０３ａ〜３０３ｄの配置された位置に対応する該当レベル３０５ａ〜３０５ｄをＧＵＩ処理部１１０に入力する（ＳＴ６０４）。そして、ＧＵＩ処理部１１０が、シーンフレーム画像３０３ａ〜３０３ｄのキーワードおよび該当レベルを、入力されたキーワードおよび該当レベルに変更することで、シーンフレーム画像３０３ａ〜３０３ｄのインデックス情報を更新する（ＳＴ６０５）。
【００９３】
このとき、ＧＵＩ処理部１１０は、変更された該当レベル３０５ａ〜３０５ｄ別にシーンの合計時間３０６ａ〜３０６ｄを再計算して表示する（ＳＴ６０６）。
【００９４】
さらに、ユーザが別のキーワードを入力した場合は、ＧＵＩ処理部１１０は、ＳＴ６０４〜ＳＴ６０６の処理を繰り返す（ＳＴ６０７）。
【００９５】
そして、オーサリング作業終了後、ユーザが、各シーンフレーム画像３０３ａ〜３０３ｄに対応したシーン（ファイル）に更新したシーン情報を保存するという選択をすると（ＳＴ６０８）、メタデータ編集部１１２は、記憶しておいたシーン情報を保存して（ＳＴ６０９）、処理を終了する。
【００９６】
次に、オーサリング装置１００の各シーンの長さ調整について説明する。図５のフロー図で説明したように実施の形態１のオーサリング装置１００は、動画ファイル読み込み時に、自動的に時間区間の分割を行い複数のシーンを生成する。分割の方法としては例えば１０秒間隔といったように特定の時間間隔で分割してもよいし、シーンの変化点で分割してもよいことは前述した。
【００９７】
しかしながら、シーンの開始および終了点は時間調整の観点からも、内容に応じた適切性の観点からも、オーサリング作業をしている人間によって変更できることが望ましい。例えば、サッカー映像のゴールシーンをシーンとして区切る場合、カット検出や、１０秒間隔という区切りでは余計な映像が前後についたり、逆に映像が尻切れになったりして不都合が起こる場合がある。
【００９８】
シーンの開始および終了点の調整の方法としては、直接時間情報を編集してもよいが、本オーサリング装置１００を用いればより効率的に作業を進めることができる。
【００９９】
実施の形態１のオーサリング装置１００では、あるシーンフレーム画像を前または後に配置されたシーンフレーム画像にドラッグ・アンド・ドロップすることにより二つのシーンが結合されるようになっている。このように、メインウインドウ３０２上で簡単にシーンの結合ができる。
【０１００】
また、シーンフレーム画像をクリックするとそのシーンが最初から最後まで再生されるようになっている。
【０１０１】
また、本オーサリング装置１００は、ユーザが所定のシーンを再生すると同時に、再生ボタン３１３、コマ送り巻き戻しボタン３１４、コマ送り再生ボタン３１５、静止画を表示するポーズボタン３１６、および分割ボタン３１７を持つ分割ウインドウ３１２が出現する。そして、ユーザが、ポーズボタン３１６を用いて所望の位置でストップし、さらに、コマ送り巻き戻しボタン３１４およびコマ送り再生ボタン３１５で位置決めを調整し、分割ボタン３１７を押すことで一つのシーンが二つに分割されるようになっている。このようなＧＵＩのしくみはｊａｖａ（Ｒ）などのプログラム言語を使用すれば簡単に開発することができる。
【０１０２】
これにより、メインウインドウ３０２上で映像シーンを再生しながら、所望のカット点を検出でき、簡単に映像シーンの分割ができる。
【０１０３】
ところで、図５のＳＴ４０６で示すような複数のキーワードに対して、シーンの開始および終了点を調節する必要が生じた場合、キーワード毎にシーンの開始および終了点を調節する手間が生じる。
【０１０４】
本実施の形態では、異なるキーワードであっても、シーン開始および終了点が同じことが頻繁に発生することに着目し、あるキーワードに対して一度時間区切りの調整をした後に、他のキーワードに対して時間区切り調整をする際に、あるキーワードに対して調整した時間区切りが、他のキーワードに引き継がれるようにした。例えば、サッカーにおけるゴールシーンはシュートシーンのうち、得点が決まったものであり時間区間の開始または終了点が同じであることは多いので、シュートで編集した時間区切りをゴールの編集で引き継げば同じ編集作業を２度しなくてよくなり作業効率が高まるというものである。
【０１０５】
以下、オーサリング装置１００の各シーンの長さ調整について、図８および図９を用いて詳細に説明する。図８は実施の形態１にかかるオーサリング装置１００のシーン長さ調整のフロー図であり、図９は実施の形態１にかかるシーンの時間引継ぎのイメージ図である。
【０１０６】
オーサリング装置１００のＧＵＩ処理部１１０は、シーン長さ調整を開始する際に、まず映像に関連付けられているキーワードを選択する（ＳＴ７０１）。次に、ＧＵＩ処理部１１０は、ＳＴ７０１において選択したキーワードについて、初めてのシーン長さ調整作業か判断する（ＳＴ７０２）。
【０１０７】
そして、ＳＴ７０２において、ＳＴ７０１において選択したキーワードについてのシーン長さ調整処理が始めてでないと判断した場合は、ＧＵＩ処理部１１０は、以前にこのキーワードに対して調整した時間情報を読み込む（ＳＴ７０３）。そして、ＧＵＩ処理部１１０は、以前にこのキーワードで時間調整をしたメタデータを反映したＧＵＩ３０１を表示する（ＳＴ７０４）。つまり、ＧＵＩ処理部１１０は、以前にこのキーワードで時間調整をしたシーンをメインウインドウ３０２に並べる。
【０１０８】
次に、ユーザが、ＳＴ７０４において表示されたＧＵＩ３０１を見ながら分割ウインドウ３１２を操作することで、各シーンの開始点および終了点の調整を行うと、ＧＵＩ処理部１１０はユーザの調整した情報を用いて、各シーンの時間調整を行う（ＳＴ７０５）。
【０１０９】
次に、ＧＵＩ処理部１１０は、処理していないキーワードがあり、引き続き他のキーワード該当レベル付与を行う場合には（ＳＴ７０６）、ＳＴ７０１の処理に戻る。
【０１１０】
一方、ＳＴ７０２において、ＳＴ７０１において選択したキーワードについての時間調整処理が初めてであると判断した場合は、以前に他のキーワードで時間調整した時間データがあるか判断する（ＳＴ７０７）。そして、ＳＴ７０７において、他のキーワードに対して時間調整した時間データはないと判断すると、ＧＵＩ処理部１１０はＳＴ７０４に進み、図５に示すような通常の該当レベル付与の作業を行う。
【０１１１】
一方、ＳＴ７０７において、以前に他のキーワードで時間調整した時間データがあると判断すると、このキーワードに対して直前に作業した時間データがあるので、この直前に作業したキーワードに対する時間データの引継ぎ処理を行い（ＳＴ７０８）、ＳＴ７０４の処理に移行する。
【０１１２】
次に、ＳＴ７０８の時間データ引継ぎ処理について図９を用いて説明する。図中９０１で示される図は、ＧＵＩ処理部１１０が、自動的にカット検出して区切ったシーンの時間区切を説明する図である。
【０１１３】
最初のキーワードのオーサリング作業では、図中９０１で示される自動的に検出されたシーンの時間区間が引き継がれ、図中９０２に示す図となる。この例では、最初のキーワードが「シュート」だったとする。
【０１１４】
次に、ユーザが、「シュート」に該当するシーンの開始終了時間および該当レベルの調整処理に移行する。この例では、ユーザが、「シュート」に該当するシーンの開始終了時間を修正して図中９０３に示す開始終了時間とし、さらに、時間０：１５〜０：３０と１：００〜１：３０を該当レベル１とする。
【０１１５】
次に、ユーザは、他のキーワードに対する開始終了時間および該当レベル付与作業を行う。この例では、ユーザは、キーワード「ゴール」に対する開始終了時間および該当レベル付与作業を行う。この場合、本実施の形態では、図中９０３に示す開始終了時間を引き継ぎ、図中９０４に示す図の開始終了時間になる。
【０１１６】
次に、ユーザは、図中９０４で示す開始時間情報に対して、別のキーワード（「ゴール」）に対する開始終了時間と該当レベルの編集をする。この例では、図中９０５で示される図のように１：１５〜１：３０に該当レベル１を付与する。
【０１１７】
このように、複数のキーワードへの該当レベル付与を行う際に前のキーワードの時間区間を引き継ぐと作業効率が高まる。
【０１１８】
以上説明したように実施の形態１によれば、所定のキーワードを設定し、横軸が時間軸、縦軸が該当レベルであるマトリックス平面を表示し、このマトリックス平面上に配置された映像シーンを示すシーンフレーム画像の位置を所望の位置に配置することで、映像シーンの特定のキーワードへの該当レベルを決定するようにできる。また、映像シーンの該当レベルの状態を、時系列を加味しながら視覚的に把握しやすくなるので、簡単な作業で該当レベルの配分をできる。この結果、オーサリング作業効率が上がる。
【０１１９】
また、実施の形態１によれば、複数の異なるキーワードへの該当レベルを連続的に決定する際に、現在作業するキーワードの映像シーンの区切りを、一つ前に作業したキーワードの区切りを引き継ぐようにできる。これにより、時間軸の区切り作業を重複して行う必要がなくなるためオーサリング作業効率が上がる。
【０１２０】
また、実施の形態１によれば、該当レベル毎に、映像シーンの合計時間を表示することができる。これにより、該当レベル毎の映像シーンの合計時間を視覚的に把握でき、合計時間の長さを認識しながら該当レベルの配分を決めながら該当レベルを付与できる。この結果、オーサリング作業効率が上がる。
【０１２１】
また、実施の形態１では、時間軸と該当レベルからなるマトリックス平面（メインウインドウ３０２）に配置する映像シーンの識別子として動画から抽出したシーンフレーム画像を用いることで、シーンフレーム画像から映像シーンの内容を判断することができる。なお、識別子は、必ずしもシーンフレーム画像に限るものではない。例えば、識別子として、シーンフレーム画像の代わりに、シーンフレームのＩＤやシーンフレームの色や形状、内容などの特徴を用いてもよい。
【０１２２】
また、実施の形態１では動画ファイルに対するオーサリングの例で説明したが、音声のみのファイルに対しても有効である。すなわち、音声の特徴や連番のＩＤなどファイル中のどの部分かを識別できる情報をシーンフレーム画像の代わりに配置すれば、動画ファイルと同様のオーサリング作業となる。
【０１２３】
また、実施の形態１では、キーワードに対するシーンの該当レベルの付与について説明したが、いわゆるキーワードだけでなく他の情報についての該当レベルの付与を行う形態でも良い。例えば、出演者や製作者、日付などの様々な情報に対する該当レベルを付与するのオーサリング処理でも良い。
【０１２４】
また、実施の形態１におけるオーサリング処理部１０１が行う処理をプログラムとし、プログラムを汎用のコンピュータに実行させる形態であっても良い。これにより、実施の形態１にかかるオーサリング処理部１０１を汎用のコンピュータで実現することができる。この場合には、ＪＡＶＡ（Ｒ）などのプログラム言語を使用すればよく、ＧＵＩの各パーツのプログラミング手法は広く知られている。
【０１２５】
また、各シーンに対してキーワードおよび該当レベルを階層化して付与するようにしてもよい。例えば、キーワード間に階層構造を持たせ、「シュート」というキーワードの下位に「ゴール」というキーワードを設定して、付与するようにしても良い。
【０１２６】
また、実施の形態１では、ひとつのファイルに対して、所望のキーワードおよび該当レベルを用いてダイジェスト映像を作る形態で説明したが、複数のファイルファイルに対して同時に所望のキーワードおよび該当レベルを用いて複数のファイルを用いたダイジェスト映像を作る形態であっても良い。
【０１２７】
（実施の形態２）
本発明の実施の形態２は、映像を見ながらリアルタイムで、映像の所定区間にキーワードを付与できるようにしたものである。また、実施の形態２では、複数の異なるキーワードに対する該当レベルを映像に対して同時に付与できるようにしたものである。
【０１２８】
以下、実施の形態２にかかるオーサリング装置について説明する。実施の形態２にかかるオーサリング装置の構成については、実施の形態１と同様であるので説明を省略する。
【０１２９】
次に、実施の形態２のＧＵＩを図１０に示し、実施の形態２にかかるＧＵＩの特徴について説明する。図１０は、実施の形態２にかかるＧＵＩの構成を示す図である。
【０１３０】
実施の形態２にかかるＧＵＩ１００１のメインウインドウ１００２の上部中央には、動画再生ウインドウ１００３が配置されている。また、動画再生ウインドウ１００３の下方近傍には、動画コントロールパネル１００４が配置されている。動画コントロールパネル１００４には、動画再生ウインドウ１００３で動画を再生する再生ボタン１００５、動画を停止する停止ボタン１００６、動画を巻き戻しコマ送りするコマ送り巻き戻しボタン１００７、動画をコマ送りするコマ送りボタン１００８、および動画をポーズ再生するポーズボタン１００９が設けられており、オーサリング対象の動画再生をコントロールすることができる。
【０１３１】
また、メインウインドウ１００２の動画再生ウインドウ１００３の右方には、オーサリングで使用するキーワードを列挙するキーワードテーブル１０１０が配置されている。キーワードテーブル１０１０には、複数のキーワード欄１０１１ａ〜１０１１ｅが設けられていて、複数のキーワードをセットできるようになっている。この図の例では、各キーワード欄１０１１ａ〜１０１１ｅに、キーワードとして、ゴール、シュート、反則、および重要がセットされている。また、キーワードテーブル１０１０のキーワード欄１０１１ａ〜１０１１ｅは色分けされている。
【０１３２】
また、キーワードテーブル１０１０のキーワード欄１０１１ａ〜１０１１ｅの右方には、動画再生ウインドウ１００３に再生されている動画に対してキーワードの付与を開始するための開始ボタン１０１２ａ〜１０１２ｅと、キーワード付与を終了するための終了ボタン１０１３ａ〜１０１３ｅが配置されている。
【０１３３】
また、メインウインドウ１００２の下部には、縦軸にーワードに対する該当レベル、横軸に時間軸を取ったマトリクス平面１０１４が配置されている。
【０１３４】
マトリクス平面１０１４には、オーサリング作業でキーワードテーブル１０１０が操作されキーワードの付与が行われると、マトリクス平面１０１４の該当する時間の位置に、キーワード付与を示す識別子であるタイムバー１０１５ａ〜１０１５ｄ配置される。また、タイムバー１０１５ａ〜１０１５ｄの色は、キーワード欄１０１１ａ〜１０１１ｅの色に対応している。また、タイムバー１０１５ａ〜１０１５ｄの長さは、実際の映像の長さに比例している。
【０１３５】
また、マトリクス平面１０１４の左側部には、複数の該当レベル１０１６ａ〜１０１６ｄが縦方向に昇順で記述されている。また、該当レベル１０１６ａ〜１０１６ｄの右方近傍には、それぞれ該当レベル１０１６ａ〜１０１６ｄに含まれる映像の合計時間１０１７ａ〜１０１７ｄが記述されている。また、該当レベル１０１６ａ〜１０１６ｄの上部には、それぞれ該当レベル１０１６ａ〜１０１６ｄを用いて作成したダイジェスト映像を再生する再生ボタン１０１８ａ〜１０１８ｄおよび停止ボタン１０１９ａ〜１０１９ｄが配置されている。
【０１３６】
次に、実施の形態２にかかるオーサリング装置の動作について図１０と図１１を用いて説明する。図１１は、実施の形態２にかかるオーサリング装置のオーサリング処理フロー図である。
【０１３７】
まず、ユーザが動画ファイル１０３から映像ファイルを選択し、再生ボタン１００５を押下すると、動画再生部１０９が選択された映像ファイルを読み込み（ＳＴ１１０１）、読み込んだ映像が動画再生ウインドウ１００３に再生される（ＳＴ１１０２）。
【０１３８】
次に、ユーザがキーワードテーブル１０１０のキーワード欄１０１１ａ〜１０１１ｅからいずれかのキーワードを選択し（ＳＴ１１０３）、開始ボタン１０１２ａ〜１０１２ｅおよび終了ボタン１０１３ａ〜１０１３ｅを押下すると、ＧＵＩ処理部１１０がユーザの選択したキーワードをユーザが押下した開始ボタン１０１２ａ〜１０１２ｅおよび終了ボタン１０１３ａ〜１０１３ｅに対応する時間にセットする（ＳＴ１１０４）。そして、ＧＵＩ処理部１１０は、マトリクス平面１０１４上にユーザが選択したキーワード欄１０１１ａ〜１０１１ｅに対応する色のタイムバー１０１５ａ〜１０１５ｄを描画する。
【０１３９】
このように、ユーザが選択したキーワードと表示されるタイムバー１０１５ａ〜１０１５ｄとの色が同じなので、どのキーワードがどのタイムバー１０１５ａ〜１０１５ｄに対応しているかが一目でわかる。また、タイムバー１０１５ａ〜１０１５ｄは、ユーザが押下した開始ボタン１０１２ａ〜１０１２ｅおよび終了ボタン１０１３ａ〜１０１３ｅに対応する時間に対応した長さで表示されるので、どの時間区間にそのキーワードが関連付けられたかが一目でわかる。
【０１４０】
次に、ユーザが、表示されたタイムバー１０１５ａ〜１０１５ｄは実施の形態１と同様にマトリクス平面１０１４上を上下にドラッグ・アンド・ドロップすることにより該当レベル１０１６ａ〜１０１６ｄを設定すると（ＳＴ１１０５）、ＧＵＩ処理部１１０は、ユーザが設定したタイムバー１０１５ａ〜１０１５ｄに該当レベル１０１６ａ〜１０１６ｄを関連付ける。
【０１４１】
また、ユーザが同じ時間区間に複数のキーワードを選択すると、タイムバー１０１５ａ〜１０１５ｄが重なり分かりにくくなるため、タイムバー１０１５ａ〜１０１５ｄが重ならないようにキーワード毎にマトリックスの縦方向に位置をずらして重ならないように配置する。
【０１４２】
さらに、ユーザが別のキーワードを入力した場合は、ＧＵＩ処理部１１０は、ＳＴ１１０３〜ＳＴ１１０５の処理を繰り返す（ＳＴ１１０６）。
【０１４３】
そして、オーサリング作業終了後、ユーザが、上述した編集した情報を保存するという選択をすると（ＳＴ１１０７）、メタデータ編集部１１２は、編集したシーン情報を保存して（ＳＴ１１０８）、処理を終了する。
【０１４４】
以上説明したように、実施の形態２によれば、オーサリング作業で付与するキーワードをＧＵＩ１００１上に複数、かつ色分けして表示し、さらに、ユーザが選択したキーワードに対応させた色のタイムバーをマトリクス平面１０１４上に配置することができる。これにより、複数の異なるキーワードに対する該当レベルを同時に付与できる。
【０１４５】
また、実施の形態２では、オーサリング作業で付与するキーワードをキーワードに対応させた色のタイムバーをマトリクス平面１０１４に配置することができるため、ユーザがタイムバーとキーワードとの対応関係を視覚的に認識でき、作業状況を把握しやすく効率が向上する。
【０１４６】
また、実施の形態２によれば、ユーザが映像を見ながら、開始ボタン１０１２および終了ボタン１０１３を押下することで、リアルタイムで、所定のキーワードを映像の所定の区間（映像シーン）に付与できる。また、映像シーンの識別子であるタイムバーをマトリクス平面上で認識しながら、該当レベルを付与できるなお、実施の形態２ではキーワードとの関連を示すのに色を使用したが、特に色に限るものではない。例えば、赤、青、白などの色ではなく、網掛け、ハーフトーンなどの白黒のパターンを用いてもよい。また、タイムバーの形状を長方形でなく波線や二重線などの図形パターンとして、図形パターンとキーワードを関連付けてもよい。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、映像シーンに対応する識別子を縦軸に該当レベル、横軸に時間を持つ平面上に表示し、この識別子をこの平面上で操作することで、映像シーンに対してキーワードとこのキーワードに対応する該当レベルの付与できるので、映像シーンのキーワードと該当レベルの付与の操作性を高められ、なおかつキーワードと該当レベルの付与状況を視覚的に確認できるようにできる。
【図面の簡単な説明】
【図１】本発明の実施の形態１にかかるオーサリング装置の構成図
【図２】実施の形態１にかかるメタデータの構成図
【図３】実施の形態１にかかるＸＭＬを用いたメタデータのファイルを示す図
【図４】実施の形態１にかかるＧＵＩの構成を示した図
【図５】実施の形態１にかかるオーサリング装置のオーサリング処理のフロー図
【図６】実施の形態１にかかるオーサリング装置のダイジェスト映像再生のフロー図
【図７】実施の形態１にかかるオーサリング処理装置のダイジェスト映像の合計時間を表示するフロー図
【図８】実施の形態１にかかるオーサリング装置のシーン長さ調整のフロー図
【図９】実施の形態１にかかるシーンの時間引継ぎのイメージ図
【図１０】本発明の実施の形態２にかかるＧＵＩの構成を示す図
【図１１】実施の形態２にかかるオーサリング装置のオーサリング処理フロー図
【符号の説明】
１００ オーサリング装置
１０１ オーサリング処理部
１０２ 記憶部
１０３ 動画ファイル
１０４ メタデータ
１０５ ディスプレイ
１０６ 操作部
１０７ 入力処理部
１０８ フレーム抽出部
１０９ 動画再生部
１１０ ＧＵＩ処理部
１１１ 出力処理部
１１２ メタデータ編集部
【発明の属する技術分野】
本発明は、動画へのインデックス情報付与を行うオーサリング装置およびオーサリング方法に関する。
【０００２】
【従来の技術】
近年、動画をデジタルファイルとして保存することが普及している。それに伴い膨大な量の動画ファイルから所望のものを迅速に検索したり、効率的に管理したりすることが困難になってきている。これを解決するために動画へのインデックス情報付与およびインデックス情報を使用した映像検索や映像要約の方法が提案されている。
【０００３】
この方法としては、例えば、特開平１１−２８８４２４号公報に開示された方法がある。この公報には、映像の特定の時間区間と対応させたキーワード情報等を動画ファイルとは別のファイルで用意しておきそのファイルを検索等に用いる方法が具体的に示されている。インデックス情報ファイルの書式は広く普及しているＸＭＬフォーマットで記述するのが一般的で、さらに今日では映像コンテンツの記述を目的としたＭＰＥＧ７規格も提案されている。インデックス情報としては映像内容に対応するキーワードを映像の時間区間と対応させてテーブル化することがキーワードを使った検索を行うために有効であるが、ＭＰＥＧ７規格ではさらに、そのキーワードがどの程度映像に該当しているかを示す該当レベルも付与することが提案されている。なお、ＭＰＥＧ７規格ではキーワードと該当レベルをそれぞれ、ＰｏｉｎｔＯｆＶｉｅｗ（観点）、Ｉｍｐｏｒｔａｎｃｅ（スコア）という名称で扱っている。この該当レベルの使用方法を次に説明する。
【０００４】
例えば３０分のスポーツ映像があるとする。予めこの映像の重要な部分（映像区間）に「重要」というキーワードを付与しておけば、このスポーツ映像のダイジェストを作成する際に、「重要」が付与されている時間区間のみをつなぎ合わせることで、ダイジェスト映像を簡単に作成することができる。しかしながら、ダイジェスト映像の時間は「重要」が付与された時間の合計時間であり、例えばダイジェストを３分になるようにしたい、１分になるようにしたいといった要望には応えられない。このような場合、該当レベルを「重要」というキーワードに付与しておけば、該当レベルの高い順に時間区間を足しこんでいくことにより前述したような時間指定の要望にも応えられる。
【０００５】
例えば、重要度の程度に応じて、該当レベルを１．０から０．１まで０．１刻みで１０段階使用し、映像に付与したとする。１分のダイジェストの要望があったときに、まず該当レベル１．０が付与されている区間を合計する。その合計時間が１分に満たなければさらに該当レベル０．９の区間を合計する。このように該当レベルの高い順に時間区間を追加しておくことにより希望された１分にもっとも近くなるようにダイジェストを作成することが可能となる。もちろん、ダイジェストを再生する際には各区間を時系列順に再生することにより時系列的に矛盾のないダイジェストを再生することができる。
【０００６】
キーワードを付与するオーサリングプログラムは例えばパイオニアＲ＆Ｄ Ｖｏｌ．１１ Ｎｏ．２（２００１年９月）２７ページ「ＭＰＥＧ−７アプリケーションの開発」に一例が記述されている。この例と同様に従来のオーサリングプログラムは、インデックス情報を入力するのに、ユーザが各シーン対し直接数値や文字を入力するようなＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）が提案されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のオーサリングプログラムによる方法では、キーワードと該当レベルを映像の時間区間であるシーンに付与することはできても、各シーンに対して付与した結果を直感的あるいは視覚的に把握して、各シーン間に付与した結果、つまり全体状況を確認するといったことが考慮されていない。このため、各シーン間に該当レベルがバランスよく付与されているか、高い該当レベルはどの部分に付与されているかといったことが判りづらく、イメージ通りのオーサリング作業を行うのに膨大な時間を要していた。また、キーワードと該当レベルをいちいち各シーンに手入力するという点でも作業に時間がかかっていた。
【０００８】
本発明は、映像シーンへのキーワードと該当レベルの付与の操作性を高め、なおかつキーワードと該当レベルの付与状況を視覚的に確認できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面を表示し、動画ファイルを所定区間に区切ったシーンを示す識別子をマトリクス平面上に配置して表示し、ユーザがマトリクス平面上に配置した識別子の位置を所望の移動した場合に、マトリクス平面上に配置された識別子の位置に対応する該当レベルを識別子に対応するシーンの該当レベルとして決定するようにしたものである。
【００１０】
これにより、マトリクス平面上でシーンに対してキーワードと該当レベルを入力できるので、シーンへのキーワードと該当レベルの付与の操作性を高め、なおかつキーワードと該当レベルの付与状況を視覚的に確認できる。
【００１１】
【発明の実施の形態】
本発明の第１の態様にかかるオーサリング装置は、動画ファイルを所定区間に区切ったシーンを示す識別子を時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面上に配置し表示手段に表示する表示制御手段と、前記マトリクス平面上に配置した前記識別子の位置を移動する識別子配置手段と、前記識別子の前記マトリクス平面上の位置が移動した場合に、当該識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定するインデックス決定手段と、を具備した構成を採る。
【００１２】
これにより、時間の軸と該当レベルの軸が交差するマトリックス平面を表示し、このマトリックス平面上に配置されたシーンを示す識別子の位置を所望の位置に配置することで、シーンの特定のキーワードへの該当レベルを決定するようにできる。また、シーンの該当レベルの状態を、時系列を加味しながら視覚的に把握しやすくなるので、簡単な作業で適切に該当レベルの配分をできる。この結果、オーサリング作業効率が上がる。
【００１３】
本発明の第２の態様は、第１の態様にかかるオーサリング装置において、前記シーンの長さを示す情報を前記シーンに対応する前記識別子の近傍に表示する。
【００１４】
これにより、各シーンの長さを視覚的に把握でき、各シーン間の長さのバランスを調整する際にも各シーンの長さが直感的に把握できて有用性が高い。
【００１５】
本発明の第３の態様は、第１の態様または第２の態様にかかるオーサリング装置において、所定の前記該当レベル以上の前記シーンを繋ぎ合わせたダイジェスト映像の合計時間を前記マトリクス平面上に表示する。
【００１６】
これにより、該当レベル毎のシーンの合計時間を視覚的に把握でき、合計時間の長さを認識しながら該当レベルの配分を決めながら該当レベルを付与できる。この結果、オーサリング作業効率が上がる。
【００１７】
本発明の第４の態様は、第１の態様から第３の態様のいずれかのオーサリング装置において、ユーザが前記マトリクス平面上に配置された複数の前記識別子を結合する処理をすると、結合した前記識別子に対応する前記シーンを結合して新たなシーンを生成する。
【００１８】
これにより、マトリクス平面上で簡単にシーンの結合ができる。
【００１９】
本発明の第５の態様は、第１の態様から第３の態様のいずれかのオーサリング装置において、ユーザが前記マトリクス平面上に配置された前記識別子に対応する前記シーンを再生しながら所定の位置で分割する指示をすると、当該シーンを前記所定の位置で分割した、複数のシーンを新たに生成する。
【００２０】
これにより、シーンを再生しながらシーンの区切りを認識でき、この区切りの位置で簡単に映像シーンの分割ができる。
【００２１】
本発明の第６の態様は、第１の態様から第５の態様のいずれかのオーサリング装置において、前記所定のキーワードに対応して所定の単位に分割された前記シーンに対して前記所定のキーワードに対する前記該当レベルを決定した後に、別のキーワードに対する該当レベルをシーンに対して決定する場合に、各シーンは前記所定のキーワードに対応したシーンの分割単位を引き継ぐ。
【００２２】
これにより、別のキーワードに対応するシーンへの該当レベル付与を行う際に前のキーワードに対応するシーンの時間区間を引き継ぐことで、シーンを生成する作業を２度しなくてよくなり作業効率が高まる。
【００２３】
本発明の第７の態様は、第１の態様から第６の態様のいずれかのオーサリング装置において、前記インデックス決定手段が決定した前記シーンの前記該当レベルを用いたメタデータを編集する。
【００２４】
これにより、オーサリング処理の結果をメタデータとしてファイル化することができる。
【００２５】
本発明の第８の態様は、第７の態様のオーサリング装置において、前記メタデータは、ＭＰＥＧ７の規格に基づいて作成されている。
【００２６】
これにより、メタデータに、汎用性を持たす事ができる。
【００２７】
本発明の第９の態様は、第１の態様から第８の態様のいずれかのオーサリング装置において、前記識別子は、前記シーンの特徴を示す代表フレーム画像である。
【００２８】
これにより、代表フレーム画像からシーンの内容を判断することができる。
【００２９】
本発明の第１０の態様にかかるオーサリング装置は、動画ファイルを再生する動画再生手段と、複数のキーワード一覧を表示するキーワード表示手段と、前記複数のキーワードから所定のキーワードを選択するキーワード選択手段と、前記動画ファイルに対して前記所定のキーワードの付与を開始するためのキーワード開始手段と、前記動画ファイルに対して前記所定のキーワードの付与を終了するためのキーワード終了手段と、前記動画ファイル再生中に前記キーワード開始手段および前記キーワード終了手段からの入力があった場合に、前記キーワード開始手段からの入力と前記キーワード終了手段からの入力があった区間に対応する前記動画ファイルをシーンとすると共に前記シーンに前記所定のキーワードを付与するキーワード付与手段と、前記シーンを示す識別子を時間の軸と前記所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面上に配置し表示手段に表示する表示制御手段と、前記マトリクス平面上に配置した前記識別子の位置を移動する識別子配置手段と、前記識別子の前記マトリクス平面上の位置が移動した場合に、当該識別子の位置に対応する前記該当レベルを当該識別子に対応する前記シーンの前記該当レベルとして決定するインデックス決定手段と、を具備した構成を採る。
【００３０】
これにより、映像を見ながら、リアルタイムで、所定のキーワードをシーンに付与できる。また、シーンの識別子をマトリクス平面上で認識しながら、該当レベルを付与できる。
【００３１】
本発明の第１１の態様は、第１０の態様のオーサリング装置において、前記識別子の長さは、前記シーンの長さに対応した長さになっている。
【００３２】
これにより、各シーンの長さを視覚的に認識できる。
【００３３】
本発明の第１２の態様は、第１０の態様または第１１の態様のオーサリング装置において、前記キーワード表示手段は前記キーワード毎に異なる色もしくは網掛けをして表示し、前記識別子は対応する前記キーワードに使用されている色もしくは網掛け表示形態を用いて表示される。
【００３４】
これにより、識別子とキーワードとの対応関係を視覚的に認識でき、作業の効率が向上する。
【００３５】
本発明の第１３の態様は、時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面を表示するステップと、動画ファイルを前記所定のキーワードを用いて所定区間に区切ったシーンを示す識別子を前記マトリクス平面上に配置して表示するステップと、ユーザが前記マトリクス平面上に配置した前記識別子を所望の位置に移動した場合に、前記マトリクス平面上に配置された前記識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定するステップと、を具備したことを特徴とするオーサリング方法である。
【００３６】
本発明の第１４の態様は、コンピュータに、時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面を表示させるステップと、動画ファイルを前記所定のキーワードを用いて所定区間に区切ったシーンを示す識別子を前記マトリクス平面上に配置して表示させるステップと、ユーザが前記マトリクス平面上に配置した前記識別子を所望の位置に移動した場合に、前記マトリクス平面上に配置された前記識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定させるステップと、を行わせることを特徴とするプログラムである。
【００３７】
本発明の第１５の態様は、第１４の態様に記載のプログラムを格納した記憶媒体である。
【００３８】
（実施の形態１）
以下、本発明の実施の形態１について、添付図面を用いて説明する。まず、実施の形態１にかかるオーサリング装置の構成について説明する。図１は、実施の形態１にかかるオーサリング装置の構成図である。
【００３９】
実施の形態１にかかるオーサリング装置１００には、オーサリングに関する各種処理を行うオーサリング処理部１０１が設けられている。
【００４０】
また、オーサリング装置１００には、オーサリング処理部１０１が使用する各種情報を記憶する記憶部１０２が設けられている。記憶部１０２は、オーサリング装置１００が内部に備えるディスク等であってもいいし、外部のサーバー等の記憶媒体であってもよい。記憶部１０２は、オーサリングの対象とする動画ファイル１０３を保持する。また、記憶部１０２は、オーサリングの結果作成されたインデックス情報、すなわちメタデータ１０４も保持する。なお、記憶部１０２は、動画ファイル１０３およびメタデータ１０４を別々の記憶媒体に保存する形態であっても、同一の記憶媒体に記憶する形態であっても良い。
【００４１】
ここで、メタデータ１０４について図２を用いて説明する。図２は、実施の形態１にかかるメタデータの構成図である。
【００４２】
図２に示すように、メタデータは、縦軸に時間２０１、横軸に複数のキーワード２０２、そして時間２０１とキーワード２０２の交差する位置に該当レベル２０３を記述したテーブルとして記憶されている。また、縦軸の時間２０１は、シーン単位で区切られている。なお、図２の例では、縦軸を時間２０１で示しているが、単純にシーンの番号にするようにしても良い。
【００４３】
また、メタデータのテーブルをファイル化するには種々の方法が提案されているが、本実施の形態ではＭＰＥＧ７の規格に基づいて、ＸＭＬを用いる。
【００４４】
ここで、メタデータを、ＸＭＬを用いてファイル化したものについて図３を用いて説明する。図３は、実施の形態１にかかるＸＭＬを用いたメタデータのファイルを示す図である。なお、図３は、図２に示すテーブルに対応したものであるが、説明の簡易化のために、図２に示すテーブルのうち時間が０：３１〜０：３６および０：３９〜０：４８の区間に対する部分のみの記述になっている。
【００４５】
図３に示すＸＭＬのファイルには、二つのセグメント２０４ａ、２０４ｂが記述されている。二つのセグメント２０４ａ、２０４ｂには、図中２０５ａ、２０５ｂに示すように、図２に示す０：３１〜０：３６および０：３９〜０：４８の区間に対応するような時間情報が記述されている。また、二つのセグメント２０４ａ、２０４ｂには、図中２０６ａ、２０６ｂに示すように、図２に示すキーワード「シュート」および「重要」がＰｏｉｎｔＯｆＶｉｅｗの部分に記述されている。そして、二つのセグメント２０４ａ、２０４ｂには、図中２０７ａ、２０７ｂに示すように、キーワード「シュート」および「重要」に対応した該当レベル（Ｉｍｐｏｒｔａｎｃｅ）が記述されている。
【００４６】
このようにメタデータをＸＭＬで記述することにより、汎用性を持たす事ができる。
【００４７】
なお、マークアップ記述言語としてＳＧＭＬを用いても良い。また、メタデータの方式として、マークアップ記述言語以外を用いても良い。
【００４８】
また、オーサリング装置１００には、オーサリング処理部１０１が処理した結果を表示するディスプレイ１０５と、オーサリング処理部１０１に各種情報を入力するための操作部１０６が設けられている。操作部１０６は、キーボード、マウス等で構成することができる。
【００４９】
次に、オーサリング処理部１０１の構成について説明する。オーサリング処理部１０１には、操作部１０６から入力されたユーザのオーサリング作業情報を内部に入力する入力処理部１０７が設けられている。
【００５０】
また、オーサリング処理部１０１には、フレーム抽出部１０８が設けられている。フレーム抽出部１０８は、ユーザによるオーサリング作業に先立って、対象とする動画ファイル１０３を読み出し、シーンの区切りを形成する。シーンの区切りは例えば１０秒単位といったように時間単位で区切ってもいいし、動画を構成する一枚一枚のフレーム画像の前後を比較して画像が不連続になるポイント、いわゆるカットを検出してそこを区切りにしてもよい。また、フレーム抽出部１０８は、以上のような手法を用いてシーンを区切った後に、各シーンの代表フレーム画像を抽出する。代表フレーム画像は各シーンの最初のフレーム画像としてもよいし、時間区切りの中央に位置するフレーム画像としてもよい。近年では画像の特徴認識技術を用いて顔などの特徴的なイメージが含まれるフレーム画像を代表画像として抽出する技術も開発されているので、この技術を採用しても良い。
【００５１】
また、オーサリング処理部１０１には、動画ファイル１０３を読み込み再生する動画再生部１０９が設けられている。また、動画再生部１０９は、ダイジェスト映像の再生も行う。
【００５２】
また、オーサリング処理部１０１には、フレーム抽出部１０８により抽出されたフレーム画像をオーサリングのためのＧＵＩ（ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）に合成するＧＵＩ処理部１１０が設けられている。ＧＵＩ処理部１１０は、入力処理部１０７から入力された内容をＧＵＩに反映して出力処理部１１１に送る。また、ＧＵＩ処理部１１０は、ダイジェスト映像の生成も行う。
【００５３】
出力処理部１１１は、ディスプレイ１０５にＧＵＩを出力し、ディスプレイ１０５がユーザにＧＵＩを表示する。
【００５４】
また、オーサリング処理部１０１には、各シーンにキーワードおよび該当レベルを関連付け、記憶部１０２のメタデータ１０４を更新するメタデータ編集部１１２が設けられている。
【００５５】
次に、ＧＵＩ処理部１１０が合成するオーサリングのＧＵＩについて説明する。
【００５６】
本実施の形態にかかるＧＵＩは、横軸がタイムライン、縦軸が所定のキーワードに対する該当レベルであるマトリックス平面上に、ユーザが映像シーンを示す識別子（代表フレーム画像）を配置することにより、特定のキーワードに対する映像シーンの該当レベルを決定するＧＵＩを備えることを特徴としている。
【００５７】
以下、ＧＵＩ処理部１１０が合成するオーサリングのＧＵＩについて図４を用いて詳細に説明する。図４は、実施の形態１にかかるＧＵＩの構成を示した図である。
【００５８】
オーサリングのＧＵＩ３０１のメインウインドウ３０２は、横軸に時間、縦軸に該当レベルを取ったマトリックス平面となっている。
【００５９】
また、メインウインドウ３０２には、動画ファイル１０３から抽出したシーンの代表フレーム画像（シーンフレーム画像）３０３ａ〜３０３ｄが、その時間に合わせた位置に配置される。このシーンフレーム画像３０３ａ〜３０３ｄは、映像シーン毎にひとつあるものである。
【００６０】
また、オーサリングのＧＵＩ３０１のメインウインドウ３０２における上部には、各シーンに付与するためのキーワードを指定するキーワードウインドウ３０４が設けられている。ユーザは、キーワードを予め作成したキーワードリストから選択してもよいし、直接入力してもよい。
【００６１】
また、メインウインドウ３０２の左側部には、複数の該当レベル３０５ａ〜３０５ｄが縦方向に昇順で記述されている。また、該当レベル３０５ａ〜３０５ｄの上部近傍には、それぞれ該当レベル３０５ａ〜３０５ｄを用いてダイジェスト映像を作成した場合の合計時間３０６ａ〜３０６ｄが記述されている。また、該当レベル３０５ａ〜３０５ｄの上部には、それぞれ該当レベル３０５ａ〜３０５ｄを用いて作成したダイジェスト映像を再生する再生ボタン３０７ａ〜３０７ｄおよび停止ボタン３０８ａ〜３０８ｄが配置されている。
【００６２】
また、シーンフレーム画像３０３ａ〜３０３ｄの下部には、シーンフレーム画像３０３ａ〜３０３ｄに対応するシーンの長さを示すタイムバー３０９ａ〜３０９ｄが表示されている。また、メインウインドウ３０２の下部には、タイムバー３０９ａ〜３０９ｄの時間の縮尺を示す時間縮尺３１０が表示されている。タイムバー３０９ａ〜３０９ｄは、時間縮尺３１０に基づいたバーの長さで表現されている。
【００６３】
このようにタイムバー３０９ａ〜３０９ｂを備えることで、各シーンの長さを視覚的に把握でき、該当レベル３０５ａ〜３０５ｄを指定することによる再生時間を行い易くできる。また、このタイムバー３０９ａ〜３０９ｄは該当レベル３０５ａ〜３０５ｄ別の合計時間３０６ａ〜３０６ｄを調整する際にも、シーンの該当レベル変更した際にも、該当レベル３０５ａ〜３０５ｄ別の合計時間３０６ａ〜３０６ｄの予測ができて便利であるが、各シーン間の長さのバランスを調整する際にも各シーンの長さが直感的に把握できて有用性が高い。
【００６４】
なお、タイムバー３０９ａ〜３０９ｄの位置は、シーンとの関連がわかるならばシーンフレーム画像３０３ａ〜３０３ｄの下に限ったものではなく上下左右どこに配置してもよい。
【００６５】
また、メインウインドウ３０２の上部には、シーンをカット点で区切るのではなく所定の間隔で区切る際に、区切る間隔を入力するためのシーン間隔入力部３１１が配置されている。これにより、ユーザが所望の間隔を入力することで、所望の長さのシーンを生成できる。これにより、カット点があまりない動画の場合に、シーンの長さが長くなってしまうことを防げる。
【００６６】
また、ＧＵＩ３０１には、シーンを所望の長さに分割するために使用する分割ウインドウ３１２が設けられている。分割ウインドウ３１２には、選択したシーンを再生する再生ボタン３１３、コマ送り巻き戻し再生するコマ送り巻き戻しボタン３１４、コマ送り再生するコマ送り再生ボタン３１５、静止画を表示するポーズボタン３１６および、現在再生されている位置でシーンを分割するための分割ボタン３１７が設けられている。
【００６７】
ユーザは、所望のシーンを分割しようとする場合に、所望のシーンをクリックして選択し、その後各種ボタン３１３〜３１６を用いてシーンを再生し、所望の位置を検出した後に、分割ボタン３１７を押下することで、シーンを分割できる。
【００６８】
次に、ユーザによるオーサリング作業に伴うオーサリング装置１００の処理の流れについて、図５を用いて説明する。図５は、実施の形態１にかかるオーサリング装置のオーサリング処理のフロー図である。
【００６９】
まず、オーサリング装置１００は、記憶部１０２の動画ファイル１０３を参照し、動画ファイルの一覧をディスプレイ１０５に表示する。そして、ユーザが操作部１０６を操作することで、オーサリングを行う対象の動画ファイルを選択すると、入力処理部１０７が動画ファイル１０３の選択情報をＧＵＩ処理部１１０に送る。次に、ＧＵＩ処理部１１０は、この選択情報をフレーム抽出部１０８に送る。
【００７０】
そして、フレーム抽出部１０８は、ユーザが選択した動画ファイル１０３を読み込む（ＳＴ４０１）。次に、フレーム抽出部１０８は、読み込んだ動画ファイル１０３をシーンの特定の時間で区切り、シーンフレーム画像の抽出を行う（ＳＴ４０２）。次に、フレーム抽出部１０８は、抽出したシーンフレーム画像をＧＵＩ処理部１１０に送る。
【００７１】
そして、ＧＵＩ処理部１１０は、メインウインドウ３０２を生成し、フレーム抽出部１０８が抽出したシーンフレーム画像をメインウインドウ３０２の所定の位置に配置し、出力処理部１１１に送る。そして、出力処理部１１１が、このシーンフレーム画像を所定の位置に配置したメインウインドウ３０２をディスプレイ１０５に表示する（ＳＴ４０３）。
【００７２】
ＳＴ４０３の処理を詳細に説明すると、ＧＵＩ処理部１１０は、複数のシーンフレーム画像３０３ａ〜３０３ｄを、まず、メインウインドウ３０２に、時系列に左から右に並べる。次に、ＧＵＩ処理部１１０は、シーンフレーム画像３０３ａ〜３０３ｄを縦軸の該当レベル０の位置に全て配置する。したがって、オーサリング作業前の状態には、シーンフレーム画像３０３ａ〜３０３ｄは、該当レベル０の列に時間軸方向に時系列順に並べられることになる。
【００７３】
次に、ユーザが操作部１０６を操作してキーワードウインドウ３０４にキーワードを指定し、次にシーンフレーム画像３０３ａ〜３０３ｄをドラッグ・アンド・ドロップにより入力したキーワードに対する適切な該当レベル（該当度）の位置に縦方向に移動すると、入力処理部１０７が入力されたキーワードおよびシーンフレーム画像３０３ａ〜３０３ｄに対応する該当レベルをＧＵＩ処理部１１０に入力する（ＳＴ４０４）。そして、ＧＵＩ処理部１１０は、入力されたキーワードおよびシーンフレーム画像３０３ａ〜３０３ｄに対応する該当レベルをメタデータ編集部１１２に送る。メタデータ編集部１１２は、各シーンフレーム画像３０３ａ〜３０３ｄに対応したシーンのキーワードに該当レベルを関連付け、システムのＲＡＭのような記憶部にオーサリング作業内容を一時的に記憶する（ＳＴ４０５）。
【００７４】
なお、この形態では、メタデータ編集部１１２は、メタデータ１０４の更新情報を、システムのＲＡＭのような記憶部にオーサリング作業内容を一時的に記憶しておき、オーサリング作業終了後に一括してメタデータ１０４を更新するが、メタデータ１０４の更新を、ユーザによるオーサリング作業中にリアルタイムに行ってもよい。
【００７５】
そして、オーサリング装置１００は、ＳＴ４０４、ＳＴ４０５の処理を、ユーザが入力した全てのキーワード毎に繰り返す（ＳＴ４０６）。
【００７６】
このようにして、ひとつのシーンに複数のキーワードを付与することができる。
【００７７】
そして、オーサリング作業終了後、ユーザにより、各シーンフレーム画像３０３ａ〜３０３ｄに対応したシーン（ファイル）にメタデータ１０４を保存すると選択されると（ＳＴ４０７）、メタデータ編集部１１２は、記憶しておいたメタデータをシーン情報として保存して（ＳＴ４０８）、処理を終了する。
【００７８】
このようにして、動画ファイルの各シーンに対するキーワードおよび該当レベルの付与を従来の直接的な数値入力ではなく、シーンフレーム画像をメインウインドウ３０２上でドラッグ・アンド・ドロップするという動作で行える。これにより、操作性を格段に向上させることができる。また、ユーザは、シーン毎に付与した該当レベルの値を視覚的に一目で把握できる。これにより、全体状況を把握しつつ該当レベルの修正を行うといった際の効率がよくなる。
【００７９】
次に、実施の形態１にかかるオーサリング装置１００による、メタデータを用いたダイジェスト映像再生について、図６を用いて説明する。図６は、実施の形態１にかかるオーサリング装置のダイジェスト映像再生のフロー図である。
【００８０】
ダイジェスト映像再生は、ユーザが例えば３時間のスポーツ動画ファイルから重要シーンのみのダイジェストを見たい場合に、前述した方法で作成されたメタデータを使用して動画ファイルから所望のダイジェストを生成し、再生するものである。なお、以下に説明する処理をプログラムにし、コンピュータがこのプログラムを読み込んで処理する形態であっても良い。
【００８１】
まず、オーサリング装置１００の動画再生部１０９が、ユーザにより指定された動画ファイル１０３の存在を確認し、指定された動画ファイル１０３を読み込み、ＧＵＩ処理部１１０に入力する（ＳＴ５０１）。次に、オーサリング装置１００のメタデータ編集部１１２が、動画ファイル１０３に対応付けられているメタデータ１０４を検索して読み込み、ＧＵＩ処理部１１０に入力する（ＳＴ５０２）。次に、ＧＵＩ処理部１１０が、メインウインドウ３０２（ＧＵＩ画面）を生成し、出力処理部１１１を介してディスプレイ１０５に送信し、ディスプレイ１０５がメインウインドウ３０２を表示する（ＳＴ５０３）。
【００８２】
なお、ＳＴ５０１〜５０３の順序は前後しても構わない。
【００８３】
次に、メインウインドウ３０２を見たユーザが操作部１０６を操作して、該当レベルとキーワードを入力すると、ＧＵＩ処理部１１０は、ユーザがＳＴ５０１において指定した動画ファイルのシーンフレーム画像を、メインウインドウ３０２の、入力されたキーワードの該当レベルに応じた位置に配置する。これにより、ユーザは、視覚的に、該当レベル毎に配置されたシーンを認識できる。
【００８４】
次に、ユーザが、メインウインドウ３０２を見て、所望の該当レベルに対応する再生ボタン３０７ａ〜３０７ｄを押下すると、入力処理部１０７が押下された再生ボタン３０７ａ〜３０７ｄの該当レベルと、キーワードをＧＵＩ処理部１１０に入力する（ＳＴ５０４）。
【００８５】
次に、ＧＵＩ処理部１１０が、ＳＴ５０２において読み込んだメタデータ１０４を検索して（ＳＴ５０５）、ユーザが指定したキーワードの該当レベル以上のシーンフレーム画像を抽出し、抽出したシーンフレーム画像のリストを作成する（ＳＴ５０６）。そして、ＧＵＩ処理部１１０は、ＳＴ５０６で作成したリストを参照しながら、リストに対応した動画ファイル（シーン）１０３を連続再生する（ＳＴ５０７）。
【００８６】
このようにして、メタデータを使用して、ユーザが指定したキーワードおよび該当レベルに対応するダイジェスト映像を作成する。
【００８７】
しかしながら、ユーザが該当レベルの指定をしただけでは、所望の再生時間のダイジェスト映像が得られるとは限らない。ユーザとしては、適切な再生時間のダイジェスト映像が得られることが望ましい。例えば、該当レベル３ ３０５ａを選択したときには３０秒のダイジェスト、該当レベル２ ３０５ｂを指定したときには１分のダイジェスト、該当レベル１ ３０５ｃを指定したときには２分のダイジェストが定常的に得られれば、自分の自由な時間に応じて映像視聴をすることが可能になる。
【００８８】
このようなサービスを実現するにはオーサリング作業の時点で各該当レベルでの再生時間が適正になるよう名インデックス情報（メタデータ）を作成する必要がある。しかしながら、実施の形態１では、図４に示すように各該当レベル３０５ａ〜３０５ｄを用いてダイジェスト映像を生成した場合の合計時間３０６ａ〜３０６ｄが表示されるようになっている。これにより、ユーザは、該当レベル指定による再生時間がどの程度になるか把握しながらオーサリング作業を進めることができる。なお、合計時間３０６ａ〜３０６ｄは、各該当レベル３０５ａ〜３０５ｄ以上のシーンの合計時間３０６ａ〜３０６ｄはとしたほうがよりユーザの利用シーンと整合性が取れて利便性が高まるが、各該当レベル３０５ａ〜３０５ｄが同じものを単に合計してもよい。
【００８９】
次に、ＧＵＩ処理部１１０がダイジェスト映像の合計時間３０６ａ〜３０６ｄを表示する処理について図７を用いて説明する。図７は、実施の形態１にかかるオーサリング装置１００のダイジェスト映像の合計時間を表示するフロー図である。
【００９０】
まず、フレーム抽出部１０８が、ユーザが選択した動画ファイル１０３を読み込む（ＳＴ６０１）。次に、フレーム抽出部１０８が、読み込んだ動画ファイルをシーンの特定の時間で区切り、シーンフレーム画像の抽出を行い、ＧＵＩ処理部１１０に入力する（ＳＴ６０２）。このとき、ＧＵＩ処理部１１０は、各シーンの長さを認識し、ＧＵＩ３０１、タイムバー３０９ａ〜３０９ｄおよび時間縮尺３１０を、出力処理部１１１を介してディスプレイ１０５に出力する。そして、ディスプレイ１０５がタイムバー３０９ａ〜３０９ｄおよび時間縮尺３１０をメインウインドウ３０２に表示する。
【００９１】
次に、ＧＵＩ処理部１１０は、該当レベル３０５ａ〜３０５ｄ別に含まれるシーンの合計時間３０６ａ〜３０６ｄを計算して、出力処理部１１１を介してディスプレイ１０５に出力し、ディスプレイ１０５が、合計時間３０６ａ〜３０６ｄをＧＵＩ３０１に表示する（ＳＴ６０３）。
【００９２】
次に、ユーザが、キーワードおよび該当レベルを更新するために、新たにキーワードを入力し、さらにシーンフレーム画像３０３ａ〜３０３ｄを上下にドラッグ・アンド・ドロップすると、入力処理部１０７は入力されたキーワードおよびシーンフレーム画像３０３ａ〜３０３ｄの配置された位置に対応する該当レベル３０５ａ〜３０５ｄをＧＵＩ処理部１１０に入力する（ＳＴ６０４）。そして、ＧＵＩ処理部１１０が、シーンフレーム画像３０３ａ〜３０３ｄのキーワードおよび該当レベルを、入力されたキーワードおよび該当レベルに変更することで、シーンフレーム画像３０３ａ〜３０３ｄのインデックス情報を更新する（ＳＴ６０５）。
【００９３】
このとき、ＧＵＩ処理部１１０は、変更された該当レベル３０５ａ〜３０５ｄ別にシーンの合計時間３０６ａ〜３０６ｄを再計算して表示する（ＳＴ６０６）。
【００９４】
さらに、ユーザが別のキーワードを入力した場合は、ＧＵＩ処理部１１０は、ＳＴ６０４〜ＳＴ６０６の処理を繰り返す（ＳＴ６０７）。
【００９５】
そして、オーサリング作業終了後、ユーザが、各シーンフレーム画像３０３ａ〜３０３ｄに対応したシーン（ファイル）に更新したシーン情報を保存するという選択をすると（ＳＴ６０８）、メタデータ編集部１１２は、記憶しておいたシーン情報を保存して（ＳＴ６０９）、処理を終了する。
【００９６】
次に、オーサリング装置１００の各シーンの長さ調整について説明する。図５のフロー図で説明したように実施の形態１のオーサリング装置１００は、動画ファイル読み込み時に、自動的に時間区間の分割を行い複数のシーンを生成する。分割の方法としては例えば１０秒間隔といったように特定の時間間隔で分割してもよいし、シーンの変化点で分割してもよいことは前述した。
【００９７】
しかしながら、シーンの開始および終了点は時間調整の観点からも、内容に応じた適切性の観点からも、オーサリング作業をしている人間によって変更できることが望ましい。例えば、サッカー映像のゴールシーンをシーンとして区切る場合、カット検出や、１０秒間隔という区切りでは余計な映像が前後についたり、逆に映像が尻切れになったりして不都合が起こる場合がある。
【００９８】
シーンの開始および終了点の調整の方法としては、直接時間情報を編集してもよいが、本オーサリング装置１００を用いればより効率的に作業を進めることができる。
【００９９】
実施の形態１のオーサリング装置１００では、あるシーンフレーム画像を前または後に配置されたシーンフレーム画像にドラッグ・アンド・ドロップすることにより二つのシーンが結合されるようになっている。このように、メインウインドウ３０２上で簡単にシーンの結合ができる。
【０１００】
また、シーンフレーム画像をクリックするとそのシーンが最初から最後まで再生されるようになっている。
【０１０１】
また、本オーサリング装置１００は、ユーザが所定のシーンを再生すると同時に、再生ボタン３１３、コマ送り巻き戻しボタン３１４、コマ送り再生ボタン３１５、静止画を表示するポーズボタン３１６、および分割ボタン３１７を持つ分割ウインドウ３１２が出現する。そして、ユーザが、ポーズボタン３１６を用いて所望の位置でストップし、さらに、コマ送り巻き戻しボタン３１４およびコマ送り再生ボタン３１５で位置決めを調整し、分割ボタン３１７を押すことで一つのシーンが二つに分割されるようになっている。このようなＧＵＩのしくみはｊａｖａ（Ｒ）などのプログラム言語を使用すれば簡単に開発することができる。
【０１０２】
これにより、メインウインドウ３０２上で映像シーンを再生しながら、所望のカット点を検出でき、簡単に映像シーンの分割ができる。
【０１０３】
ところで、図５のＳＴ４０６で示すような複数のキーワードに対して、シーンの開始および終了点を調節する必要が生じた場合、キーワード毎にシーンの開始および終了点を調節する手間が生じる。
【０１０４】
本実施の形態では、異なるキーワードであっても、シーン開始および終了点が同じことが頻繁に発生することに着目し、あるキーワードに対して一度時間区切りの調整をした後に、他のキーワードに対して時間区切り調整をする際に、あるキーワードに対して調整した時間区切りが、他のキーワードに引き継がれるようにした。例えば、サッカーにおけるゴールシーンはシュートシーンのうち、得点が決まったものであり時間区間の開始または終了点が同じであることは多いので、シュートで編集した時間区切りをゴールの編集で引き継げば同じ編集作業を２度しなくてよくなり作業効率が高まるというものである。
【０１０５】
以下、オーサリング装置１００の各シーンの長さ調整について、図８および図９を用いて詳細に説明する。図８は実施の形態１にかかるオーサリング装置１００のシーン長さ調整のフロー図であり、図９は実施の形態１にかかるシーンの時間引継ぎのイメージ図である。
【０１０６】
オーサリング装置１００のＧＵＩ処理部１１０は、シーン長さ調整を開始する際に、まず映像に関連付けられているキーワードを選択する（ＳＴ７０１）。次に、ＧＵＩ処理部１１０は、ＳＴ７０１において選択したキーワードについて、初めてのシーン長さ調整作業か判断する（ＳＴ７０２）。
【０１０７】
そして、ＳＴ７０２において、ＳＴ７０１において選択したキーワードについてのシーン長さ調整処理が始めてでないと判断した場合は、ＧＵＩ処理部１１０は、以前にこのキーワードに対して調整した時間情報を読み込む（ＳＴ７０３）。そして、ＧＵＩ処理部１１０は、以前にこのキーワードで時間調整をしたメタデータを反映したＧＵＩ３０１を表示する（ＳＴ７０４）。つまり、ＧＵＩ処理部１１０は、以前にこのキーワードで時間調整をしたシーンをメインウインドウ３０２に並べる。
【０１０８】
次に、ユーザが、ＳＴ７０４において表示されたＧＵＩ３０１を見ながら分割ウインドウ３１２を操作することで、各シーンの開始点および終了点の調整を行うと、ＧＵＩ処理部１１０はユーザの調整した情報を用いて、各シーンの時間調整を行う（ＳＴ７０５）。
【０１０９】
次に、ＧＵＩ処理部１１０は、処理していないキーワードがあり、引き続き他のキーワード該当レベル付与を行う場合には（ＳＴ７０６）、ＳＴ７０１の処理に戻る。
【０１１０】
一方、ＳＴ７０２において、ＳＴ７０１において選択したキーワードについての時間調整処理が初めてであると判断した場合は、以前に他のキーワードで時間調整した時間データがあるか判断する（ＳＴ７０７）。そして、ＳＴ７０７において、他のキーワードに対して時間調整した時間データはないと判断すると、ＧＵＩ処理部１１０はＳＴ７０４に進み、図５に示すような通常の該当レベル付与の作業を行う。
【０１１１】
一方、ＳＴ７０７において、以前に他のキーワードで時間調整した時間データがあると判断すると、このキーワードに対して直前に作業した時間データがあるので、この直前に作業したキーワードに対する時間データの引継ぎ処理を行い（ＳＴ７０８）、ＳＴ７０４の処理に移行する。
【０１１２】
次に、ＳＴ７０８の時間データ引継ぎ処理について図９を用いて説明する。図中９０１で示される図は、ＧＵＩ処理部１１０が、自動的にカット検出して区切ったシーンの時間区切を説明する図である。
【０１１３】
最初のキーワードのオーサリング作業では、図中９０１で示される自動的に検出されたシーンの時間区間が引き継がれ、図中９０２に示す図となる。この例では、最初のキーワードが「シュート」だったとする。
【０１１４】
次に、ユーザが、「シュート」に該当するシーンの開始終了時間および該当レベルの調整処理に移行する。この例では、ユーザが、「シュート」に該当するシーンの開始終了時間を修正して図中９０３に示す開始終了時間とし、さらに、時間０：１５〜０：３０と１：００〜１：３０を該当レベル１とする。
【０１１５】
次に、ユーザは、他のキーワードに対する開始終了時間および該当レベル付与作業を行う。この例では、ユーザは、キーワード「ゴール」に対する開始終了時間および該当レベル付与作業を行う。この場合、本実施の形態では、図中９０３に示す開始終了時間を引き継ぎ、図中９０４に示す図の開始終了時間になる。
【０１１６】
次に、ユーザは、図中９０４で示す開始時間情報に対して、別のキーワード（「ゴール」）に対する開始終了時間と該当レベルの編集をする。この例では、図中９０５で示される図のように１：１５〜１：３０に該当レベル１を付与する。
【０１１７】
このように、複数のキーワードへの該当レベル付与を行う際に前のキーワードの時間区間を引き継ぐと作業効率が高まる。
【０１１８】
以上説明したように実施の形態１によれば、所定のキーワードを設定し、横軸が時間軸、縦軸が該当レベルであるマトリックス平面を表示し、このマトリックス平面上に配置された映像シーンを示すシーンフレーム画像の位置を所望の位置に配置することで、映像シーンの特定のキーワードへの該当レベルを決定するようにできる。また、映像シーンの該当レベルの状態を、時系列を加味しながら視覚的に把握しやすくなるので、簡単な作業で該当レベルの配分をできる。この結果、オーサリング作業効率が上がる。
【０１１９】
また、実施の形態１によれば、複数の異なるキーワードへの該当レベルを連続的に決定する際に、現在作業するキーワードの映像シーンの区切りを、一つ前に作業したキーワードの区切りを引き継ぐようにできる。これにより、時間軸の区切り作業を重複して行う必要がなくなるためオーサリング作業効率が上がる。
【０１２０】
また、実施の形態１によれば、該当レベル毎に、映像シーンの合計時間を表示することができる。これにより、該当レベル毎の映像シーンの合計時間を視覚的に把握でき、合計時間の長さを認識しながら該当レベルの配分を決めながら該当レベルを付与できる。この結果、オーサリング作業効率が上がる。
【０１２１】
また、実施の形態１では、時間軸と該当レベルからなるマトリックス平面（メインウインドウ３０２）に配置する映像シーンの識別子として動画から抽出したシーンフレーム画像を用いることで、シーンフレーム画像から映像シーンの内容を判断することができる。なお、識別子は、必ずしもシーンフレーム画像に限るものではない。例えば、識別子として、シーンフレーム画像の代わりに、シーンフレームのＩＤやシーンフレームの色や形状、内容などの特徴を用いてもよい。
【０１２２】
また、実施の形態１では動画ファイルに対するオーサリングの例で説明したが、音声のみのファイルに対しても有効である。すなわち、音声の特徴や連番のＩＤなどファイル中のどの部分かを識別できる情報をシーンフレーム画像の代わりに配置すれば、動画ファイルと同様のオーサリング作業となる。
【０１２３】
また、実施の形態１では、キーワードに対するシーンの該当レベルの付与について説明したが、いわゆるキーワードだけでなく他の情報についての該当レベルの付与を行う形態でも良い。例えば、出演者や製作者、日付などの様々な情報に対する該当レベルを付与するのオーサリング処理でも良い。
【０１２４】
また、実施の形態１におけるオーサリング処理部１０１が行う処理をプログラムとし、プログラムを汎用のコンピュータに実行させる形態であっても良い。これにより、実施の形態１にかかるオーサリング処理部１０１を汎用のコンピュータで実現することができる。この場合には、ＪＡＶＡ（Ｒ）などのプログラム言語を使用すればよく、ＧＵＩの各パーツのプログラミング手法は広く知られている。
【０１２５】
また、各シーンに対してキーワードおよび該当レベルを階層化して付与するようにしてもよい。例えば、キーワード間に階層構造を持たせ、「シュート」というキーワードの下位に「ゴール」というキーワードを設定して、付与するようにしても良い。
【０１２６】
また、実施の形態１では、ひとつのファイルに対して、所望のキーワードおよび該当レベルを用いてダイジェスト映像を作る形態で説明したが、複数のファイルファイルに対して同時に所望のキーワードおよび該当レベルを用いて複数のファイルを用いたダイジェスト映像を作る形態であっても良い。
【０１２７】
（実施の形態２）
本発明の実施の形態２は、映像を見ながらリアルタイムで、映像の所定区間にキーワードを付与できるようにしたものである。また、実施の形態２では、複数の異なるキーワードに対する該当レベルを映像に対して同時に付与できるようにしたものである。
【０１２８】
以下、実施の形態２にかかるオーサリング装置について説明する。実施の形態２にかかるオーサリング装置の構成については、実施の形態１と同様であるので説明を省略する。
【０１２９】
次に、実施の形態２のＧＵＩを図１０に示し、実施の形態２にかかるＧＵＩの特徴について説明する。図１０は、実施の形態２にかかるＧＵＩの構成を示す図である。
【０１３０】
実施の形態２にかかるＧＵＩ１００１のメインウインドウ１００２の上部中央には、動画再生ウインドウ１００３が配置されている。また、動画再生ウインドウ１００３の下方近傍には、動画コントロールパネル１００４が配置されている。動画コントロールパネル１００４には、動画再生ウインドウ１００３で動画を再生する再生ボタン１００５、動画を停止する停止ボタン１００６、動画を巻き戻しコマ送りするコマ送り巻き戻しボタン１００７、動画をコマ送りするコマ送りボタン１００８、および動画をポーズ再生するポーズボタン１００９が設けられており、オーサリング対象の動画再生をコントロールすることができる。
【０１３１】
また、メインウインドウ１００２の動画再生ウインドウ１００３の右方には、オーサリングで使用するキーワードを列挙するキーワードテーブル１０１０が配置されている。キーワードテーブル１０１０には、複数のキーワード欄１０１１ａ〜１０１１ｅが設けられていて、複数のキーワードをセットできるようになっている。この図の例では、各キーワード欄１０１１ａ〜１０１１ｅに、キーワードとして、ゴール、シュート、反則、および重要がセットされている。また、キーワードテーブル１０１０のキーワード欄１０１１ａ〜１０１１ｅは色分けされている。
【０１３２】
また、キーワードテーブル１０１０のキーワード欄１０１１ａ〜１０１１ｅの右方には、動画再生ウインドウ１００３に再生されている動画に対してキーワードの付与を開始するための開始ボタン１０１２ａ〜１０１２ｅと、キーワード付与を終了するための終了ボタン１０１３ａ〜１０１３ｅが配置されている。
【０１３３】
また、メインウインドウ１００２の下部には、縦軸にーワードに対する該当レベル、横軸に時間軸を取ったマトリクス平面１０１４が配置されている。
【０１３４】
マトリクス平面１０１４には、オーサリング作業でキーワードテーブル１０１０が操作されキーワードの付与が行われると、マトリクス平面１０１４の該当する時間の位置に、キーワード付与を示す識別子であるタイムバー１０１５ａ〜１０１５ｄ配置される。また、タイムバー１０１５ａ〜１０１５ｄの色は、キーワード欄１０１１ａ〜１０１１ｅの色に対応している。また、タイムバー１０１５ａ〜１０１５ｄの長さは、実際の映像の長さに比例している。
【０１３５】
また、マトリクス平面１０１４の左側部には、複数の該当レベル１０１６ａ〜１０１６ｄが縦方向に昇順で記述されている。また、該当レベル１０１６ａ〜１０１６ｄの右方近傍には、それぞれ該当レベル１０１６ａ〜１０１６ｄに含まれる映像の合計時間１０１７ａ〜１０１７ｄが記述されている。また、該当レベル１０１６ａ〜１０１６ｄの上部には、それぞれ該当レベル１０１６ａ〜１０１６ｄを用いて作成したダイジェスト映像を再生する再生ボタン１０１８ａ〜１０１８ｄおよび停止ボタン１０１９ａ〜１０１９ｄが配置されている。
【０１３６】
次に、実施の形態２にかかるオーサリング装置の動作について図１０と図１１を用いて説明する。図１１は、実施の形態２にかかるオーサリング装置のオーサリング処理フロー図である。
【０１３７】
まず、ユーザが動画ファイル１０３から映像ファイルを選択し、再生ボタン１００５を押下すると、動画再生部１０９が選択された映像ファイルを読み込み（ＳＴ１１０１）、読み込んだ映像が動画再生ウインドウ１００３に再生される（ＳＴ１１０２）。
【０１３８】
次に、ユーザがキーワードテーブル１０１０のキーワード欄１０１１ａ〜１０１１ｅからいずれかのキーワードを選択し（ＳＴ１１０３）、開始ボタン１０１２ａ〜１０１２ｅおよび終了ボタン１０１３ａ〜１０１３ｅを押下すると、ＧＵＩ処理部１１０がユーザの選択したキーワードをユーザが押下した開始ボタン１０１２ａ〜１０１２ｅおよび終了ボタン１０１３ａ〜１０１３ｅに対応する時間にセットする（ＳＴ１１０４）。そして、ＧＵＩ処理部１１０は、マトリクス平面１０１４上にユーザが選択したキーワード欄１０１１ａ〜１０１１ｅに対応する色のタイムバー１０１５ａ〜１０１５ｄを描画する。
【０１３９】
このように、ユーザが選択したキーワードと表示されるタイムバー１０１５ａ〜１０１５ｄとの色が同じなので、どのキーワードがどのタイムバー１０１５ａ〜１０１５ｄに対応しているかが一目でわかる。また、タイムバー１０１５ａ〜１０１５ｄは、ユーザが押下した開始ボタン１０１２ａ〜１０１２ｅおよび終了ボタン１０１３ａ〜１０１３ｅに対応する時間に対応した長さで表示されるので、どの時間区間にそのキーワードが関連付けられたかが一目でわかる。
【０１４０】
次に、ユーザが、表示されたタイムバー１０１５ａ〜１０１５ｄは実施の形態１と同様にマトリクス平面１０１４上を上下にドラッグ・アンド・ドロップすることにより該当レベル１０１６ａ〜１０１６ｄを設定すると（ＳＴ１１０５）、ＧＵＩ処理部１１０は、ユーザが設定したタイムバー１０１５ａ〜１０１５ｄに該当レベル１０１６ａ〜１０１６ｄを関連付ける。
【０１４１】
また、ユーザが同じ時間区間に複数のキーワードを選択すると、タイムバー１０１５ａ〜１０１５ｄが重なり分かりにくくなるため、タイムバー１０１５ａ〜１０１５ｄが重ならないようにキーワード毎にマトリックスの縦方向に位置をずらして重ならないように配置する。
【０１４２】
さらに、ユーザが別のキーワードを入力した場合は、ＧＵＩ処理部１１０は、ＳＴ１１０３〜ＳＴ１１０５の処理を繰り返す（ＳＴ１１０６）。
【０１４３】
そして、オーサリング作業終了後、ユーザが、上述した編集した情報を保存するという選択をすると（ＳＴ１１０７）、メタデータ編集部１１２は、編集したシーン情報を保存して（ＳＴ１１０８）、処理を終了する。
【０１４４】
以上説明したように、実施の形態２によれば、オーサリング作業で付与するキーワードをＧＵＩ１００１上に複数、かつ色分けして表示し、さらに、ユーザが選択したキーワードに対応させた色のタイムバーをマトリクス平面１０１４上に配置することができる。これにより、複数の異なるキーワードに対する該当レベルを同時に付与できる。
【０１４５】
また、実施の形態２では、オーサリング作業で付与するキーワードをキーワードに対応させた色のタイムバーをマトリクス平面１０１４に配置することができるため、ユーザがタイムバーとキーワードとの対応関係を視覚的に認識でき、作業状況を把握しやすく効率が向上する。
【０１４６】
また、実施の形態２によれば、ユーザが映像を見ながら、開始ボタン１０１２および終了ボタン１０１３を押下することで、リアルタイムで、所定のキーワードを映像の所定の区間（映像シーン）に付与できる。また、映像シーンの識別子であるタイムバーをマトリクス平面上で認識しながら、該当レベルを付与できるなお、実施の形態２ではキーワードとの関連を示すのに色を使用したが、特に色に限るものではない。例えば、赤、青、白などの色ではなく、網掛け、ハーフトーンなどの白黒のパターンを用いてもよい。また、タイムバーの形状を長方形でなく波線や二重線などの図形パターンとして、図形パターンとキーワードを関連付けてもよい。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、映像シーンに対応する識別子を縦軸に該当レベル、横軸に時間を持つ平面上に表示し、この識別子をこの平面上で操作することで、映像シーンに対してキーワードとこのキーワードに対応する該当レベルの付与できるので、映像シーンのキーワードと該当レベルの付与の操作性を高められ、なおかつキーワードと該当レベルの付与状況を視覚的に確認できるようにできる。
【図面の簡単な説明】
【図１】本発明の実施の形態１にかかるオーサリング装置の構成図
【図２】実施の形態１にかかるメタデータの構成図
【図３】実施の形態１にかかるＸＭＬを用いたメタデータのファイルを示す図
【図４】実施の形態１にかかるＧＵＩの構成を示した図
【図５】実施の形態１にかかるオーサリング装置のオーサリング処理のフロー図
【図６】実施の形態１にかかるオーサリング装置のダイジェスト映像再生のフロー図
【図７】実施の形態１にかかるオーサリング処理装置のダイジェスト映像の合計時間を表示するフロー図
【図８】実施の形態１にかかるオーサリング装置のシーン長さ調整のフロー図
【図９】実施の形態１にかかるシーンの時間引継ぎのイメージ図
【図１０】本発明の実施の形態２にかかるＧＵＩの構成を示す図
【図１１】実施の形態２にかかるオーサリング装置のオーサリング処理フロー図
【符号の説明】
１００ オーサリング装置
１０１ オーサリング処理部
１０２ 記憶部
１０３ 動画ファイル
１０４ メタデータ
１０５ ディスプレイ
１０６ 操作部
１０７ 入力処理部
１０８ フレーム抽出部
１０９ 動画再生部
１１０ ＧＵＩ処理部
１１１ 出力処理部
１１２ メタデータ編集部
Claims (15)
- 動画ファイルを所定区間に区切ったシーンを示す識別子を時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面上に配置し表示手段に表示する表示制御手段と、前記マトリクス平面上に配置した前記識別子の位置を移動する識別子配置手段と、前記識別子の前記マトリクス平面上の位置が移動した場合に、当該識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定するインデックス決定手段と、を具備したことを特徴とするオーサリング装置。
- 前記シーンの長さを示す情報を前記シーンに対応する前記識別子の近傍に表示することを特徴とする請求項１記載のオーサリング装置。
- 所定の前記該当レベル以上の前記シーンを繋ぎ合わせたダイジェスト映像の合計時間を前記マトリクス平面上に表示することを特徴とする請求項１または請求項２記載のオーサリング装置。
- ユーザが前記マトリクス平面上に配置された複数の前記識別子を結合する処理をすると、結合した前記識別子に対応する前記シーンを結合して新たなシーンを生成することを特徴とする請求項１から請求項３のいずれかに記載のオーサリング装置。
- ユーザが前記マトリクス平面上に配置された前記識別子に対応する前記シーンを再生しながら所定の位置で分割する指示をすると、当該シーンを前記所定の位置で分割した、複数のシーンを新たに生成すること特徴とする請求項１から請求項３のいずれかに記載のオーサリング装置。
- 前記所定のキーワードに対応して所定の単位に分割された前記シーンに対して前記所定のキーワードに対する前記該当レベルを決定した後に、別のキーワードに対する該当レベルをシーンに対して決定する場合に、各シーンは前記所定のキーワードに対応したシーンの分割単位を引き継ぐことを特徴とする請求項１から請求項５のいずれかに記載のオーサリング装置。
- 前記インデックス決定手段が決定した前記シーンの前記該当レベルを用いたメタデータを編集することを特徴とする請求項１から請求項６のいずれかに記載のオーサリング装置。
- 前記メタデータは、ＭＰＥＧ７の規格に基づいて作成されていることを特徴とする請求項７記載のオーサリング装置。
- 前記識別子は、前記シーンの特徴を示す代表フレーム画像であることを特徴とする請求項１から請求項８のいずれかに記載のオーサリング装置。
- 動画ファイルを再生する動画再生手段と、複数のキーワード一覧を表示するキーワード表示手段と、前記複数のキーワードから所定のキーワードを選択するキーワード選択手段と、前記動画ファイルに対して前記所定のキーワードの付与を開始するためのキーワード開始手段と、前記動画ファイルに対して前記所定のキーワードの付与を終了するためのキーワード終了手段と、前記動画ファイル再生中に前記キーワード開始手段および前記キーワード終了手段からの入力があった場合に、前記キーワード開始手段からの入力と前記キーワード終了手段からの入力があった区間に対応する前記動画ファイルをシーンとすると共に前記シーンに前記所定のキーワードを付与するキーワード付与手段と、前記シーンを示す識別子を時間の軸と前記所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面上に配置し表示手段に表示する表示制御手段と、前記マトリクス平面上に配置した前記識別子の位置を移動する識別子配置手段と、前記識別子の前記マトリクス平面上の位置が移動した場合に、当該識別子の位置に対応する前記該当レベルを当該識別子に対応する前記シーンの前記該当レベルとして決定するインデックス決定手段と、を具備したことを特徴とするオーサリング装置。
- 前記識別子の長さは、前記シーンの長さに対応した長さになっていることを特徴とする請求項１０に記載のオーサリング装置。
- 前記キーワード表示手段は前記キーワード毎に異なる色もしくは網掛けをして表示し、前記識別子は対応する前記キーワードに使用されている色もしくは網掛け表示形態を用いて表示されることを特徴とする請求項１０または請求項１１に記載のオーサリング装置。
- 時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面を表示するステップと、動画ファイルを前記所定のキーワードを用いて所定区間に区切ったシーンを示す識別子を前記マトリクス平面上に配置して表示するステップと、ユーザが前記マトリクス平面上に配置した前記識別子を所望の位置に移動した場合に、前記マトリクス平面上に配置された前記識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定するステップと、を具備したことを特徴とするオーサリング方法。
- コンピュータに、時間の軸と所定のキーワードに対する該当レベルの軸とが交差するマトリックス平面を表示させるステップと、動画ファイルを前記所定のキーワードを用いて所定区間に区切ったシーンを示す識別子を前記マトリクス平面上に配置して表示させるステップと、ユーザが前記マトリクス平面上に配置した前記識別子を所望の位置に移動した場合に、前記マトリクス平面上に配置された前記識別子の位置に対応する前記該当レベルを前記識別子に対応する前記シーンの前記該当レベルとして決定させるステップと、を行わせることを特徴とするプログラム。
- 請求項１４に記載のプログラムを格納したことを特徴とする記憶媒体。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160528A JP4065142B2 (ja) | 2002-05-31 | 2002-05-31 | オーサリング装置およびオーサリング方法 |
| PCT/JP2003/005737 WO2003102953A1 (fr) | 2002-05-31 | 2003-05-08 | Dispositif de creation et procede de creation |
| AU2003235876A AU2003235876A1 (en) | 2002-05-31 | 2003-05-08 | Authoring device and authoring method |
| CNB038016869A CN100462960C (zh) | 2002-05-31 | 2003-05-08 | 创作装置和创作方法 |
| US10/491,903 US7849406B2 (en) | 2002-05-31 | 2003-05-08 | Apparatus and method for authoring |
| EP03723249A EP1511035A4 (en) | 2002-05-31 | 2003-05-08 | CREATION DEVICE AND CREATION METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160528A JP4065142B2 (ja) | 2002-05-31 | 2002-05-31 | オーサリング装置およびオーサリング方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007271A JP2004007271A (ja) | 2004-01-08 |
| JP4065142B2 true JP4065142B2 (ja) | 2008-03-19 |
Family
ID=29706549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002160528A Expired - Fee Related JP4065142B2 (ja) | 2002-05-31 | 2002-05-31 | オーサリング装置およびオーサリング方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7849406B2 (ja) |
| EP (1) | EP1511035A4 (ja) |
| JP (1) | JP4065142B2 (ja) |
| CN (1) | CN100462960C (ja) |
| AU (1) | AU2003235876A1 (ja) |
| WO (1) | WO2003102953A1 (ja) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100619064B1 (ko) | 2004-07-30 | 2006-08-31 | 삼성전자주식회사 | 메타 데이터를 포함하는 저장 매체, 그 재생 장치 및 방법 |
| JP4123209B2 (ja) * | 2004-09-07 | 2008-07-23 | ソニー株式会社 | 映像素材の管理装置及び方法，記録媒体並びにプログラム |
| CN100440955C (zh) * | 2004-11-29 | 2008-12-03 | 奥林巴斯映像株式会社 | 图像显示装置和图像显示方法 |
| JP4601666B2 (ja) * | 2005-03-29 | 2010-12-22 | 富士通株式会社 | 映像検索装置 |
| TWI362876B (en) * | 2005-12-28 | 2012-04-21 | Panasonic Corp | Input unit, mobile terminal unit, and content data manipulation method in mobile terminal unit |
| JP4247638B2 (ja) * | 2006-04-06 | 2009-04-02 | ソニー株式会社 | 記録再生装置および記録再生方法 |
| US20090297120A1 (en) * | 2006-09-20 | 2009-12-03 | Claudio Ingrosso | Methods an apparatus for creation and presentation of polymorphic media |
| US20090297121A1 (en) * | 2006-09-20 | 2009-12-03 | Claudio Ingrosso | Methods and apparatus for creation, distribution and presentation of polymorphic media |
| EP2068323A3 (en) * | 2006-09-20 | 2009-07-01 | John W Hannay & Company Limited | Methods and apparatus for creation, distribution and presentation of polymorphic media |
| JP2008099012A (ja) * | 2006-10-12 | 2008-04-24 | Mitsubishi Electric Corp | コンテンツ再生システム及びコンテンツ蓄積システム |
| JP4905103B2 (ja) * | 2006-12-12 | 2012-03-28 | 株式会社日立製作所 | 動画再生装置 |
| GB2447053A (en) * | 2007-02-27 | 2008-09-03 | Sony Uk Ltd | System for generating a highlight summary of a performance |
| US20100128058A1 (en) * | 2007-03-27 | 2010-05-27 | Akihiro Kawabata | Image viewing apparatus and method |
| JP2010524124A (ja) * | 2007-04-13 | 2010-07-15 | トムソン ライセンシング | メディア資産管理のためにフレーム精度の画像を規定するシステム及び方法 |
| WO2008127322A1 (en) * | 2007-04-13 | 2008-10-23 | Thomson Licensing | Method, apparatus and system for presenting metadata in media content |
| CN101802823A (zh) * | 2007-08-20 | 2010-08-11 | 诺基亚公司 | 用于流式多媒体数据的分段的元数据和位标 |
| KR101268987B1 (ko) * | 2007-09-11 | 2013-05-29 | 삼성전자주식회사 | 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치 |
| US8661096B2 (en) * | 2007-11-05 | 2014-02-25 | Cyberlink Corp. | Collaborative editing in a video editing system |
| JP2011507416A (ja) * | 2007-12-20 | 2011-03-03 | エーティーアイ・テクノロジーズ・ユーエルシー | ビデオ処理を記述するための方法、装置および機械可読記録媒体 |
| US9646648B2 (en) * | 2008-10-23 | 2017-05-09 | Google Technology Holdings LLC | Method and apparatus for creating short video clips of important events |
| US8407596B2 (en) * | 2009-04-22 | 2013-03-26 | Microsoft Corporation | Media timeline interaction |
| US9400842B2 (en) * | 2009-12-28 | 2016-07-26 | Thomson Licensing | Method for selection of a document shot using graphic paths and receiver implementing the method |
| GB2477120A (en) * | 2010-01-22 | 2011-07-27 | Icescreen Ehf | Media editing using poly-dimensional display of sequential image frames |
| CN102385893B (zh) * | 2010-08-31 | 2015-12-16 | 腾讯科技（北京）有限公司 | 多媒体播放的时间轴生成***及方法 |
| US20120072845A1 (en) * | 2010-09-21 | 2012-03-22 | Avaya Inc. | System and method for classifying live media tags into types |
| KR20130102368A (ko) * | 2012-03-07 | 2013-09-17 | 삼성전자주식회사 | 동영상 특징 정보를 가이드하기 위한 동영상 편집 장치 및 방법 |
| GB201210167D0 (en) * | 2012-06-08 | 2012-07-25 | Macat Internat Ltd | A system and method for assembling educational materials |
| US8793582B2 (en) * | 2012-08-22 | 2014-07-29 | Mobitv, Inc. | Personalized timeline presentation |
| US20140181668A1 (en) | 2012-12-20 | 2014-06-26 | International Business Machines Corporation | Visual summarization of video for quick understanding |
| US20140201778A1 (en) * | 2013-01-15 | 2014-07-17 | Sap Ag | Method and system of interactive advertisement |
| EP2965505A1 (en) * | 2013-03-08 | 2016-01-13 | Thomson Licensing | Method and apparatus for using a list driven selection process to improve video and media time based editing |
| JP2015032253A (ja) * | 2013-08-06 | 2015-02-16 | ソニー株式会社 | 情報処理装置および情報処理方法 |
| EP2999213A1 (en) | 2013-08-23 | 2016-03-23 | Canon Kabushiki Kaisha | Image recording apparatus and method, and image playback apparatus and method |
| TWI510071B (zh) * | 2013-09-18 | 2015-11-21 | Vivotek Inc | 播放視訊資料的前處理方法與播放介面裝置 |
| EP3103118A1 (en) * | 2014-02-03 | 2016-12-14 | Nokia Technologies OY | Ordering of highlight video segments |
| US10564924B1 (en) * | 2015-09-30 | 2020-02-18 | Amazon Technologies, Inc. | Navigating metadata in long form content |
| EP3627831A4 (en) * | 2017-05-18 | 2020-06-03 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
| CN111314775B (zh) * | 2018-12-12 | 2021-09-07 | 华为终端有限公司 | 一种视频拆分方法及电子设备 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5610653A (en) * | 1992-02-07 | 1997-03-11 | Abecassis; Max | Method and system for automatically tracking a zoomed video image |
| JPH0778804B2 (ja) * | 1992-05-28 | 1995-08-23 | 日本アイ・ビー・エム株式会社 | シーン情報入力システムおよび方法 |
| EP0598516A3 (en) * | 1992-11-05 | 1996-07-03 | Sony Corp | Recording and playback of moving pictures. |
| US6262732B1 (en) * | 1993-10-25 | 2001-07-17 | Scansoft, Inc. | Method and apparatus for managing and navigating within stacks of document pages |
| US5606359A (en) * | 1994-06-30 | 1997-02-25 | Hewlett-Packard Company | Video on demand system with multiple data sources configured to provide vcr-like services |
| GB9506493D0 (en) * | 1995-03-30 | 1995-05-17 | Thomson Consumer Electronics | The implementation of trick-play modes for pre-encoded video |
| US6628303B1 (en) * | 1996-07-29 | 2003-09-30 | Avid Technology, Inc. | Graphical user interface for a motion video planning and editing system for a computer |
| US5905493A (en) * | 1996-11-13 | 1999-05-18 | Unalink Communications, Inc. | Color coded instructional scheme for computers and the like system, method and article of manufacture |
| KR19990077225A (ko) * | 1996-11-22 | 1999-10-25 | 이데이 노부유끼 | 편집 장치, 편집 시스템 및 편집 방법 |
| JPH11175625A (ja) * | 1997-12-11 | 1999-07-02 | Dainippon Screen Mfg Co Ltd | 実時間連続データ編集装置及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP3208116B2 (ja) * | 1998-02-03 | 2001-09-10 | 株式会社次世代情報放送システム研究所 | 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法 |
| US6490370B1 (en) * | 1999-01-28 | 2002-12-03 | Koninklijke Philips Electronics N.V. | System and method for describing multimedia content |
| KR100296967B1 (ko) | 1999-01-30 | 2001-09-26 | 구자홍 | 멀티미디어 스트림의 다단계 요약 세그먼트 정보 스킴 구성 방법 및 구성된 다단계 요약 세그먼트 정보 스킴으로 부터 요약 스트림 발생 방법과 이러한 방법에 의해 제공되는 다단계 요약 스트림의 브라우징/녹화/편집 장치 |
| KR100305964B1 (ko) | 1999-10-22 | 2001-11-02 | 구자홍 | 사용자 적응적인 다단계 요약 스트림 제공방법 |
| JP3583970B2 (ja) | 2000-02-23 | 2004-11-04 | 株式会社リコー | 映像構造編集装置、構造要素再構成装置およびその装置の各手段としてコンピュータを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2001258005A (ja) * | 2000-03-13 | 2001-09-21 | Sony Corp | 配信装置、配信システムおよびその方法 |
| US7548565B2 (en) * | 2000-07-24 | 2009-06-16 | Vmark, Inc. | Method and apparatus for fast metadata generation, delivery and access for live broadcast program |
| US7624337B2 (en) * | 2000-07-24 | 2009-11-24 | Vmark, Inc. | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
| JP2002152655A (ja) * | 2000-08-29 | 2002-05-24 | Matsushita Electric Ind Co Ltd | データ関連情報生成方法、データ関連情報生成装置、画像データ生成方法、画像データ再生方法、画像データ再生装置およびデータ記憶媒体 |
| JP2002142189A (ja) * | 2000-11-06 | 2002-05-17 | Canon Inc | 画像処理装置、画像処理方法及び記憶媒体 |
| JP3640615B2 (ja) | 2001-03-02 | 2005-04-20 | シャープ株式会社 | ダイジェスト作成装置 |
| JP2002281449A (ja) * | 2001-03-16 | 2002-09-27 | Sanyo Electric Co Ltd | 映像装置 |
| JP4225701B2 (ja) | 2001-03-19 | 2009-02-18 | 三洋電機株式会社 | 要約映像特定装置、および要約映像特定方法 |
| US7082572B2 (en) * | 2002-12-30 | 2006-07-25 | The Board Of Trustees Of The Leland Stanford Junior University | Methods and apparatus for interactive map-based analysis of digital video content |
-
2002
- 2002-05-31 JP JP2002160528A patent/JP4065142B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-08 AU AU2003235876A patent/AU2003235876A1/en not_active Abandoned
- 2003-05-08 WO PCT/JP2003/005737 patent/WO2003102953A1/ja active Application Filing
- 2003-05-08 EP EP03723249A patent/EP1511035A4/en not_active Withdrawn
- 2003-05-08 US US10/491,903 patent/US7849406B2/en active Active
- 2003-05-08 CN CNB038016869A patent/CN100462960C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004007271A (ja) | 2004-01-08 |
| CN1596445A (zh) | 2005-03-16 |
| US7849406B2 (en) | 2010-12-07 |
| US20040263529A1 (en) | 2004-12-30 |
| WO2003102953A1 (fr) | 2003-12-11 |
| EP1511035A4 (en) | 2010-09-15 |
| CN100462960C (zh) | 2009-02-18 |
| EP1511035A1 (en) | 2005-03-02 |
| AU2003235876A1 (en) | 2003-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4065142B2 (ja) | オーサリング装置およびオーサリング方法 | |
| JP4514928B2 (ja) | 編集装置及び方法 | |
| JP4194272B2 (ja) | 動画像管理装置及び方法 | |
| US6571054B1 (en) | Method for creating and utilizing electronic image book and recording medium having recorded therein a program for implementing the method | |
| US7432940B2 (en) | Interactive animation of sprites in a video production | |
| US10015463B2 (en) | Logging events in media files including frame matching | |
| JP4354806B2 (ja) | 動画像管理装置及び方法 | |
| US20130086458A1 (en) | Information processing apparatus, information processing method, and computer readable medium | |
| JP2009508379A (ja) | ビデオのナビゲーション方法及び装置 | |
| JPH1175150A (ja) | 動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体 | |
| JPH05282379A (ja) | 動画像の管理方法及び管理装置 | |
| JP2001306599A (ja) | 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 | |
| JP4555214B2 (ja) | 情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体 | |
| US8750685B2 (en) | Image processing apparatus | |
| WO2013040244A1 (en) | Logging events in media files including frame matching | |
| JP2001285780A (ja) | 映像編集方法及び装置、並びにそのための記憶媒体 | |
| US20050078940A1 (en) | Information editing device, information editing method, and computer product | |
| JP2005341182A (ja) | 料理レシピ編集提示システム | |
| JP2007208651A (ja) | コンテンツ視聴装置 | |
| JP4218319B2 (ja) | 映像閲覧システムおよび方法 | |
| JP4366439B1 (ja) | 映像コンテンツの編集方法とこれを用いた編集装置ならびに遠隔編集装置 | |
| JP4228662B2 (ja) | 映像閲覧システムおよび方法 | |
| KR102078479B1 (ko) | 영상 편집 방법 및 영상 편집 장치 | |
| JP2005318618A (ja) | 動画像管理装置及び方法 | |
| JP2000059720A (ja) | 連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071228 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4065142 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140111 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |