JP2008005010A - 動画編集方法 - Google Patents

Abstract

【課題】蓄積済みの動画データに対し、イベントタイムタグを正確に、かつ容易に付与する方法を提供する。
【解決手段】タグ付加手段102を備え、手元のイベントタイムタグ未付加動画100に対して、別途時刻情報とイベントタイムタグが示されたメタデータ101を獲得し、動画データに、前記メタデータに沿ったタグを付加する。この際、メタデータに付加されている特徴量と、未タグ付け動画の特徴量が最も適合するずれ時間を計算し、その時間ずれをもって、メタデータに付与されているイベントタイムタグ情報を未タグ付け動画に付加してもよい。これにより、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、イベントタイムタグを正確に、かつ容易に付与することが可能になり、イベントタイムタグが付与されたタグ付き動画が得られる。
【選択図】図1

Description

本発明は、録画済の動画の編集に関し、より詳細には、録画済の動画にイベントタイムタグを付加する方法および、付加したイベントタイムタグを参照して動画を編集する動画編集方法に関する。

ＴＶ放送の多チャンネル化、録画機の大容量化、録画予約の容易化等を背景として、視聴者が録画する量は増大の一途をたどっており、その結果、蓄積されたまま視聴せずに放置されている動画の量も増加する傾向にある。そこで、その動画のうち、必要部分のみを視聴したり、不要部分を削除したりする機能、ひいてはそれを支援するため、動画のシーンの変わり目にイベントタイムタグを付加する機能が要望されている。

この要望を実現する手段として、録画時にＥＰＧ情報を参照して、不要部分を録画しないという方法が提案されている(特許文献１)。

特許文献１で示す方法の概略を図１３に示した。映像、番組データを入力する入力手段１１と、前記入力手段１１から送られてきた映像を記録する録画手段１２と、録画スケジュールを作成する録画スケジュール作成手段１３と、前記録画手段１２を制御する録画制御手段１４と、視聴者が見たい番組の条件を管理する登録手段１５と、録画された映像情報を蓄積する蓄積媒体１６とからなる。

入力手段１１に対し、映像データと番組データが入力される。ここで、番組データとは、いわゆるＥＰＧ(電子番組ガイド)のことで、番組データが電子的に配布されたものである。加えてこの場合、通常のＥＰＧデータには、番組内のシーンの時刻が含まれていない場合もあるのに対し、番組内のシーン時刻が含まれているケースを想定している。

視聴者は、登録手段１５に対し、俳優の名前や映画監督の名前等、自分の見たい番組の条件を指定する。条件の設定により、録画スケジュール作成手段１３が、条件にマッチするシーンのみを選択的に録画するよう録画スケジュールを作成し、録画制御手段１４がそのスケジュールに沿って録画することにより、視聴者が指定した条件にマッチしたシーンのみが抽出された動画が記録されるという効果がある。

一方、蓄積された動画データに対し、音量など、動画データの特徴量シーケンスを参照してタイムタグ付加を行う方法が提案されている(特許文献２)。

特許文献２で示す方法のフローの一例を図１４に示した。この方法は、映像情報を記録する録画保存手段と、録画保存手段に保存されているコンテンツの音声レベルを検出し、当該音声レベルに従ってタグ情報を作成する編集手段からなる。

前記編集手段は、録画保存手段に保存されている映像データに対して、録画領域における全域に対して音声レベルをサーチし、その音声レベルが周りより高い部分を抽出し、その抽出した部分、たとえばスポーツ番組において歓声による音声レベルが高い注目シーンについてタグ情報を作成したり、そのタグ情報に従って映像ファイルを自動編集したりすることができるという効果がある。
特開２００１−１３４９９８号公報 特開２００２−３３０３９０号公報

前記特許文献１で示す方法は、放送と同時にＥＰＧを取得する方法であり、そのＥＰＧが誤っていない限り、精度良く番組の切り出しを行うことができるが、同方法は、録画時にＥＰＧデータが既知である必要があり、また、ＥＰＧ情報を参照して録画するする機能に非対応の録画機で録画した場合、ＥＰＧデータと録画データの整合性が失われるため、その後同機能に対応の機器にダビング等を行っても、編集が不可能となる。すなわち、録画時にＥＰＧデータが既知であること、また最初の録画時に録画機が上記機能に対応している必要があり、それを満たさない動画に対しては適用することができないという課題が存在する。

例えば、既に既存のＶＴＲ等の録画装置で蓄積済みの動画や、放送時にＥＰＧが配信されている時点で録画した動画であっても、同機能非対応の録画機で録画した動画がそれに該当する。

また、前記特許文献２で示す方法は、任意の動画データに適用可能であるが、リファレンスとなるデータがないため、シーンを誤抽出する可能性が高い。また、ここからが何らかのシーンであるという、タイム情報の付与のみが可能であって、それぞれのシーンの内容を示すことができない。すなわち、テキスト情報を付加することはできない、ひいては、キーワード等を指定しての自動編集が不可能であるという課題があった。

つまり、前記特許文献１ないし２の方法では、例えば、既にＶＴＲで記録済みの動画や、今後、メタデータやＥＰＧ情報が整備されたケースであっても、前記メタデータやＥＰＧ情報を破棄する機械で録画した動画を、イベントタイムタグ対応の、コンピュータや録画機にダビングした時等は、全くイベントタイムタグの付加や自動編集ができないか(特許文献１)、不十分な精度で、内容に関する情報を全く含まないタグ付加、自動編集(特許文献２)が可能であるというレベルにとどまるという課題が存在する。

したがって、本発明の目的は、蓄積済みの動画データに対し、イベントタイムタグを正確に、かつ容易に付与し、また、付与したイベントタイムタグを参照して、自動的または容易に動画の編集を行うことができる動画編集方法を提供することである。

上記課題を解決するために、本発明の請求項１記載の動画編集方法は、動画に組み込まれたイベントの時刻を示すイベントタイムタグが付与されていない動画データに対し、イベント時刻が記録され、動画情報を含まないメタデータを取得し、動画データに、メタデータに基づいてイベントタイムタグを付与することを特徴とする。

請求項２記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データの、使用者が指定した条件に一致しない不要部分を削除する。

請求項３記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データの、使用者が指定した特定部分を検索する。

請求項４記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データに、キャプション、静止画または動画を付加する。

請求項５記載の動画編集方法は、請求項１記載の動画編集方法において、メタデータに、時刻に対応した動画の特徴量シーケンス情報が付加され、イベントタイムタグが付与されていない未タグ付け動画の時刻に対応した動画の特徴量シーケンス情報とメタデータに付加された特徴量シーケンス情報と照合することにより、相互の特徴量が最も一致する時刻を基にして、動画データにイベントタイムタグを付与する。

請求項６記載の動画編集方法は、請求項５記載の動画編集方法において、動画の特徴量シーケンス情報として、音声の特徴量を用いる。

請求項７記載の動画編集方法は、請求項５記載の動画編集方法において、動画の特徴量シーケンス情報として、画像の特徴量を用いる。

請求項８記載の動画編集方法は、請求項５記載の動画編集方法において、動画の特徴量シーケンス情報として、複数の特徴量を組合せたベクトルを用いる。

請求項９記載の動画編集方法は、請求項５，６，７または８記載の動画編集方法において、特徴量の照合方法として、相互相関関数を用いる。

請求項１０記載の動画編集方法は、請求項５，６，７または８記載の動画編集方法において、特徴量の照合方法として、動的計画法を用いる。

請求項１１記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、複数のメタデータの中から、各メタデータに付加された情報のうち、使用者が指定した条件に一致する情報を有するメタデータを選択することを特徴とする。

請求項１２記載の動画編集方法は、請求項１記載の動画編集方法において、イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、タグ付けを意図している動画が決定しているとき、複数のメタデータの中から、各メタデータに付加された特徴量シーケンス情報と、タグ付けを意図している動画の特徴量シーケンス情報が一致する程度が高いメタデータを選択することを特徴とする。

請求項１３記載の動画編集方法は、請求項１，２，３，４，５，６，７，８，９，１０，１１または１２記載の動画編集方法において、タグ付けに使用するメタデータを、メタデータを蓄積する中央サーバから取得する。

請求項１４記載の動画編集方法は、請求項１３記載の動画編集方法において、中央サーバは、使用者の与えた絞り込み条件から、蓄積されたメタデータを絞り込む機能を有する。

請求項１５記載の動画編集方法は、請求項１３または１４記載の動画編集方法において、中央サーバは、未タグ付け動画の時刻に対応した特徴量シーケンス情報と、サーバに蓄積されている複数のメタデータの時刻に対応した特徴量シーケンス情報とを照合し、一致する程度が高いメタデータを選択する。

請求項１６記載の動画編集方法は、請求項１３記載の動画編集方法において、中央サーバはメタデータを蓄積するメタデータデータベースを管理し、使用者が所有するメタデータを中央サーバにアップロードし、メタデータデータベースを更新することができる。

請求項１７記載の動画編集方法は、請求項１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５または１６記載の動画編集方法において、メタデータを作成する際、イベント情報を含んだ放送からイベント時刻を抽出してメタデータを作成する。

請求項１８記載の動画編集方法は、請求項１７記載の動画編集方法において、イベント時刻に対応した特徴量シーケンス情報を抽出して、特徴量シーケンス情報を含んだメタデータを作成する。

本発明の動画編集方法によれば、イベントタイムタグが付与されていない動画データに対し、イベント時刻が記録され、動画情報を含まないメタデータを取得し、動画データに、メタデータに基づいてイベントタイムタグを付与するので、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、イベントタイムタグを正確に、かつ容易に付与することが可能になり、イベントタイムタグが付与されたタグ付き動画が得られる。

また、本発明において、請求項２記載の動画編集方法では、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データの、使用者が指定した条件に一致しない不要部分を削除するので、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、使用者の嗜好に沿った動画編集を容易に行うことができる。

また、本発明において、請求項３記載の動画編集方法では、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データの、使用者が指定した特定部分を検索するので、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、容易にシーン検索を行うができ、使用者の希望する部分のみが再生可能となる。

また、本発明において、請求項４記載の動画編集方法では、イベントタイムタグ情報に基づいて、イベントタイムタグを付与した動画データに、キャプション、静止画または動画を付加するので、キャプション等の付加された編集済み動画が簡単に得られる。

また、本発明において、請求項５記載の動画編集方法では、メタデータに、時刻に対応した動画の特徴量シーケンス情報が付加され、イベントタイムタグが付与されていない未タグ付け動画の時刻に対応した動画の特徴量シーケンス情報とメタデータに付加された特徴量シーケンス情報と照合することにより、相互の特徴量が最も一致する時刻を基にして、動画データにイベントタイムタグを付与するので、すでに蓄積済みで、イベントタイムタグが付与されていない動画データに対して、動画の前後に過不足があった場合でも、容易に正しくイベントタイムタグを付与することができる。さらに付与したイベントタイムタグを参照して動画の編集等を行うことが可能となる。

また、本発明において、動画の特徴量シーケンス情報として、音声の特徴量、画像の特徴量、または複数の特徴量を組合せたベクトルを用いることが好ましい。例えば、音量データ、画像明度や色相、スペクトル、それらの時間変化等、スカラー値、組合せたベクトル値を用いることが可能である。

また、本発明において、特徴量の照合方法として、相互相関関数、または動的計画法を用いることが好ましい。相互相関関数等を求めることにより、最も一致するずれ時間を計算することで、ずれ時間を適切なタグ付け開始時刻として与えることができる。

また、本発明において、請求項１１記載の動画編集方法では、イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、複数のメタデータの中から、各メタデータに付加された情報のうち、使用者が指定した条件に一致する情報を有するメタデータを選択するので、メタデータ群の中から、タグ付けに用いる希望のメタデータを容易に選別することが可能となる。

また、本発明において、請求項１２記載の動画編集方法では、イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、タグ付けを意図している動画が決定しているとき、複数のメタデータの中から、各メタデータに付加された特徴量シーケンス情報と、タグ付けを意図している動画の特徴量シーケンス情報が一致する程度が高いメタデータを選択するので、タグ付けしたい動画が既知の場合、特に使用者がキーワード等の指定をしなくても、メタデータ群の中から、タグ付けに用いるメタデータを自動的に選別することが可能となる。

また、本発明において、請求項１３記載の動画編集方法では、タグ付けに使用するメタデータを、メタデータを蓄積する中央サーバから取得するので、メタデータ群を使用者間で共有することが可能となる。

また、本発明において、中央サーバは、使用者の与えた絞り込み条件から、蓄積されたメタデータを絞り込む機能を有することが好ましい。これにより、使用者間でデータベースを共有しつつ、多数のメタデータ群から、必要なメタデータを容易に選択することができる。

また、本発明において、請求項１５記載の動画編集方法では、中央サーバは、未タグ付け動画の時刻に対応した特徴量シーケンス情報と、サーバに蓄積されている複数のメタデータの時刻に対応した特徴量シーケンス情報とを照合し、特徴量シーケンス情報が一致する程度が高いメタデータを選択するので、特に使用者がキーワード等の指定をしなくても、動画に付加すべきタグを含んだメタデータを容易に抽出でき、なおかつ、動画そのものではなく、特徴量シーケンスの転送のみでメタデータを選択可能であるため、通信回線への負担が少ないという効果がある。

また、本発明において、請求項１６記載の動画編集方法では、中央サーバはメタデータを蓄積するメタデータデータベースを管理し、使用者が所有するメタデータを中央サーバにアップロードし、メタデータデータベースを更新することができるので、メタデータデータベースを、使用者の手によって充実させることが可能となり、メタデータの作成コストが低減でき、また、メタデータデータベースに使用者の嗜好が反映される。

また、本発明において、請求項１７記載の動画編集方法では、メタデータを作成する際、イベント情報を含んだ放送からイベント時刻を抽出してメタデータを作成するので、メタデータを自動的に作成することが可能となり、メタデータの作成コストが低減できる。

また、本発明において、イベント時刻に対応した特徴量シーケンス情報を抽出して、特徴量シーケンス情報を含んだメタデータを作成することが好ましい。これにより、請求項５に記載の効果が得られる。

以下、本発明の実施の形態について、添付図面に基づいて説明する。なお、以下に示す実施の形態は、本発明の説明のための例示に過ぎず、他のさまざまな方法によって実施可能である。

本発明の第１の実施形態を図１に基づいて説明する。図１は、動画情報そのものを含まないメタデータを利用して、動画データにイベントタイムタグを付加することを特徴とする発明の実施の形態である。

図１に示すように、タグが付加されていない動画（動画データ）１００、メタデータ１０１、およびタグ付加手段１０２が存在する。タグ付加手段１０２は、手元のイベントタイムタグ未付加動画１００に対して、別途時刻情報とイベントタイムタグが示されたメタデータ１０１を獲得し、動画データ１００に、メタデータ１０１に沿ったタグを付加する。

メタデータ１０１は、ある番組に対して、何らかのイベントが発生する時刻と、そのイベントの種類を示す情報の対を、１つもしくは複数含むが、その番組そのものの動画を含まないデータである。従来、この種のメタデータは、動画と一体となった形でしか存在せず、著作権等の見地から、柔軟な利用が難しかったのに対し、本発明におけるメタデータ１０１は、動画そのものの情報を含まないため、柔軟な利用が可能であるという利点がある。

ここでは、メタデータ１０１は、歌番組”Music-TV”に関して、どの時刻にどのアーティストが登場したか、歌ったか、ＣＭが入ったかというデータだとする。なお、ここでは対象を「番組」としたが、実際には番組に限定されず、映画、コンサート、演説等、さまざまなマルチメディアコンテンツを対象とすることが可能である。

また、メタデータ１０１に含まれているような、イベントの時刻とそのイベントの種類を示す情報の対が、動画に組み込まれた場合、それをイベントタイムタグ１０４と呼称する。また、イベントタイムタグ１０４が組み込まれた動画を、タグ付き動画１０３と呼称する。

タグ付加手段１０２は、動画１００に対して、メタデータ１０１に含まれる一つのイベント時刻とイベント内容の対、もしくは複数のイベント時刻とイベント内容の対を、あるオフセット時間を付加した上で付与し、タグ付き動画１０３を出力するものである。ただし、ここでは、前記オフセット時間を時刻t_０とする。開始点t_０は、手動または自動で与えられる。

この結果、イベントタイムタグ１０４が付加されたタグ付き動画１０３が得られるという効果がある。

本発明の第２の実施形態を図２〜図４に基づいて説明する。図２〜図４は、動画データに付加されたイベントタイムタグを利用して動画の検索もしくは編集を行うことを特徴とする発明の実施の形態の説明図である。そのうち、図２は、動画データに付加されたイベントタイムタグを利用して、動画の不要部分の削除を行うことを特徴とする発明の実施の形態である。

図２に示すように、図１に示した発明と同様、タグが付加されていない動画２００、メタデータ２０１、およびタグ付加手段２０２が存在する。図１に示した方法と同じ方法で、タグ付き動画２０３が得られる。本実施形態では、さらに、イベントタイムタグを付加した動画２０３に対して、タグ情報を参照して、動画２０３の、条件にマッチする部分以外の不要部分の削除を行う動画編集手段２０４が存在する。ここでは、動画編集手段２０４により、アーティスト名「△☆」というキーワードにヒットする部分以外を削除し、編集済み動画２０５として出力するものとする。これにより、使用者の嗜好に沿った動画編集が容易になるという効果がある。

図３は、動画データに付加されたイベントタイムタグを利用して、動画の検索を行うことを特徴とする発明の実施の形態である。

図３に示すように、図１に示した発明と同様、タグが付加されていない動画３００、メタデータ３０１、およびタグ付加手段３０２が存在する。それに加え、イベントタイムタグを付加した動画３０３に対して、タグ情報を参照して、動画３０３の、条件にマッチする部分の検索を行うシーン検索手段３０４が存在する。図１に示した方法と同じ方法で、タグ付き動画３０３が得られる。本実施形態では、さらに、シーン検索手段３０４が、タグの内容を検索して、実際の再生時に使用者の所望のシーンの頭出しを行う。ここでは、シーン検索手段３０４は、アーティスト名「△☆」というキーワードにヒットする部分のみを抜き出して頭出しするものとする。これにより、動画自体の完全性を損なわないまま、自動的に、使用者の希望する部分のみが再生可能であるという効果がある。

図４は、動画データに付加されたイベントタイムタグを利用して、動画に何らかの付加を行うことを特徴とする発明の実施の形態である。

図４に示すように、図１に示した発明と同様、タグが付加されていない動画４００、メタデータ４０１、およびタグ付加手段４０２が存在する。それに加え、イベントタイムタグを付加した動画４００に対して、タグ情報を参照して、動画４００に、キャプション等を付加する動画編集手段４０４が存在する。図１に示した方法と同じ方法で、タグ付き動画４０３が得られる。本実施形態では、さらに、動画編集手段４０４が、タグの内容に沿って、動画４０３にキャプション４０５の付加を行う。なおキャプションとしては、ここではシーンの内容を示す文としたが、他にも歌詞、字幕、野球中継における球種や、さらには静止画、動画等も考えられる。

これにより、キャプション等の付加された編集済み動画４０６が簡単に得られるという効果がある。

本発明の第３の実施形態を図５に基づいて説明する。図５は、動画データの特徴量シーケンスをリファレンスデータと照合することにより、動画に余分や不足があっても、正しくイベントタイムタグを付加することを特徴とする方法の発明の実施の形態の説明図である。

図５に示すように、タグが付加されていない動画５００、特徴量シーケンスを算出する特徴量算出手段５０１、メタデータ５０２、特徴量照合手段５０５が存在する。メタデータに、時刻に対応した、その番組固有の特性を示すと考えられる、音量や画像明度等の特徴量シーケンス情報が付加されており、タグ未付加動画の同特徴量シーケンスと、前記メタデータ付与の特徴量シーケンスと照合することにより、イベントタイムタグの時刻が、タグ未付加動画のどの時刻に最もマッチするかを検出し、動画の過不足にかかわらず、正しくタグ付けする。ここでは、動画５００は、ある歌番組”Music-TV”を録画したものとする。また、動画５００は、使用者が、同動画を録画した機械の時計が不正確であることから、番組の前後に数分の余裕を持たせて録画しておいたものとする。また、メタデータ５０２は、図１〜図４で示すメタデータ１０１,２０１,３０１,４０１と相違し、何らかのイベントが発生する時刻とそのイベントの種類を示すテキストの対のほかに番組”Music-TV”のリファレンスに対して、あらかじめ計算された特徴量シーケンスデータ５０３を含む。

特徴量算出手段５０１は、動画５００の特徴量シーケンスデータ５０４を算出する。なお、ここで特徴量シーケンスとは、具体的には音量データとするが、画像明度や色相、スペクトル、それらの時間変化等、さまざまなスカラー値、ベクトル値を用いることが可能である。

特徴量照合手段５０５は、動画５００から導出された特徴量シーケンス５０４と、メタデータに含まれる特徴量シーケンス５０３が最も一致するずれ時間を算出する。ここでは、相互相関関数５０６を求めることにより、最も一致するずれ時間を計算するものとする。ここで、相互相関関数のピークとなる時刻がt_１だとすると、動画５００の先頭に時刻t_１分の余分が付加されていることが判明する。このずれ時間t_１を、図１のシステムのタグ付け開始時刻t_０として与えることにより、動画５００の先頭の余分がどれほどであっても、自動的に適切な時刻にタグデータを付加することができるという効果がある。

なお、特徴量シーケンス照合に用いる方法として、動的計画法を用いてもよい。

本発明の第４の実施形態を図６に基づいて説明する。図６は、メタデータ群の中から、ユーザの指定した検索キーに従って、使用するメタデータを選択することを特徴とする方法の発明の実施の形態の説明図である。

図６に示すように、使用者６００、メタデータデータベース６０１およびメタデータ選別手段６０２が存在する。メタデータデータベース６０１は、図１〜図５で示した実施形態において利用するメタデータを多数蓄積している。本実施の形態は、複数のメタデータの中から、使用者が動画タグ付けに使用するメタデータを選出する方法であり、メタデータ選別手段６０２が、メタデータに付加された情報のうち、使用者の指定した条件に該当するものを抽出することにより、希望のメタデータを選択する。

すなわち、使用者は、メタデータ選別手段６０２に、所望の検索条件６０３を入力する。条件としては、番組名、タグに含まれるキーワード、番組の長さ、放送日時、放送局等、さまざまな条件を指定することができる。ここでは、番組名”Music-TV”を指定したものとする。

メタデータ選別手段６０２は、メタデータデータベース６０１にアクセスし、検索条件６０３に該当するメタデータ群６０４を選択する。これにより、多数のメタデータ群から、必要なメタデータを容易に選択することができるという効果がある。

本発明の第５の実施の形態を図７および図８に基づいて説明する。図７および図８は、メタデータ群の中から、動画の持つ特徴量シーケンスとのマッチングを行うことにより、使用するメタデータを選択することを特徴とする方法の発明の実施の形態の説明図である。

図７および図８に示すように、使用者７００が動画７０１を所有しており、さらにメタデータデータベース７０２、特徴量算出手段７０３、および特徴量照合手段７０４が存在する。特徴量算出手段７０３は図５で説明したものと同様である。本実施の形態は、タグ付けをする動画が既知の場合に、複数のメタデータの中から、使用者が動画タグ付けに使用するメタデータを選出する方法であり、メタデータ群中の、それぞれのメタデータに付加された特徴量シーケンスと、タグ付けをする動画の同特徴量シーケンスをそれぞれ照合し、もっとも適合度が高い特徴量シーケンスを付与されたメタデータを選出する。

すなわち、特徴量算出手段７０３は、動画７０１の特徴量を、図５で示した方法と同様に算出し、特徴量シーケンス７０５を算出する。ここで、特徴量とは、具体的には音量データとするが、画像明度や色相、スペクトル、それらの時間変化等、さまざまなスカラー値、ベクトル値を用いることが可能であることも図５で示した方法と同様である。

特徴量照合手段７０４は、動画７０１の特徴量シーケンス７０５と、メタデータデータベース７０２に蓄積されているメタデータ群のそれぞれの特徴量シーケンスとの比較を行い、適合度の高いメタデータ１つまたは複数を抽出し、マッチしたメタデータ７０６(もしくは、マッチしたメタデータ群)を選出する。

前記、適合度の高いメタデータの抽出方法の一例を図８に示す。まず、特徴量照合手段７０４は、前記特徴量シーケンスデータ８００と、蓄積されている各メタデータの持つ特徴量シーケンスデータ８０１〜８０３との、相互相関関数８０４〜８０６を計算する。次に、相互相関関数８０４〜８０６のうちもっとも大きなピーク値を持つものを検索する。メタデータ１の”Music-TV”の特徴量シーケンスデータ８０１は、前後に余分がある以外は、送信されてきた特徴量シーケンスデータ８００とほぼ一致しており、あるずれ時間t_１において非常に大きな相互相関値ピークを示すはずである。メタデータ選別手段７０４は、入力特徴量データ８００に相当する動画７０１に付加されるべきメタデータは、もっとも大きな相互相関値ピークを示す、メタデータ１であると判断する。

なお、ここでは照合の手段として相互相関関数を用いたが、動的計画法を用いても同様の方法が可能である。

また、図７では特徴量照合手段７０４が出力するのは、マッチしたメタデータ７０６のみとしているが、これに加えて動画のずれ量t_１も同時に出力することができる。

この方法により、特に使用者がキーワード等の指定をしなくても、動画７０１に付加すべきタグを含んだメタデータを容易に抽出できるという効果がある。

本発明の第６の実施形態を図９に基づいて説明する。図９は、中央サーバからメタデータを取得することを特徴とする方法の発明の実施の形態の説明図である。

図９に示すように、使用者９００とサーバ９０１が存在し、サーバ９０１はメタデータデータベース９０２およびメタデータ選別手段９０３を含む。メタデータデータベース９０２は、図１〜図５で示した形態において利用するメタデータを多数蓄積している。本実施の形態は、タグ付けに用いるメタデータの取得方法であり、タグ付けに用いるメタデータを、メタデータを蓄積する中央サーバ９０１から取得する。また、中央サーバ９０１が、使用者の与えたキーワードや放送日時情報等の絞り込み条件に従って、蓄積されたメタデータの中から絞り込み条件に適合するメタデータを選出する。

すなわち、使用者９００は、サーバ９０１に、所望の検索条件９０４を入力する。条件としては、図６で例示したものがそのまま適用可能である。ここでは、番組名”Music-TV”を指定したものとする。

メタデータ選別手段９０３は、メタデータデータベース９０２にアクセスし、検索条件９０４に該当するメタデータ群９０５を選択し、使用者９００に送信する。これにより、ユーザ間でデータベースを共有しつつ、多数のメタデータ群から、必要なメタデータを容易に選択することができるという効果がある。

本発明の第７の実施形態を図１０に基づいて説明する。図１０は、中央サーバが、蓄積されたメタデータの中から、使用者側から送信されてきた特徴量シーケンスと最も適合したメタデータを選別することを特徴とする方法の発明の実施形態の説明図である。

図１０に示すように、使用者１０００が動画１００１を所有しており、特徴量算出手段１００２を備える。また、サーバ１００３が存在し、メタデータデータベース１００４、特徴量照合手段１００５を備える。タグ付けをする動画が既知の場合に、使用者１０００側で、タグ付けする動画の特徴量シーケンスを算出し、それを受信した中央サーバ１００３が、タグ付けをする動画の特徴量シーケンスと、蓄積されたメタデータ群中の各メタデータに付与された特徴量シーケンスの照合を行い、適合度の高いメタデータを選出する。

すなわち、特徴量算出手段１００２は、動画１００１の特徴量を、図５で示した方法と同様に算出し、特徴量シーケンス１００６を算出する。ここで、特徴量とは、具体的には音量データとするが、画像明度や色相、スペクトル、それらの時間変化等、さまざまなスカラー値、ベクトル値を用いることが可能であることも、図５で示した方法と同様である。

特徴量シーケンス１００６は、通信路を介してサーバ１００３に送られ、サーバの特徴量照合手段１００５により、メタデータデータベース１００４に蓄積されているメタデータ群の特徴量シーケンスそれぞれと比較され、適合度の高いメタデータ１つまたは複数を抽出し、マッチしたメタデータ１００７(もしくは、マッチしたメタデータ群)が選出され、再び通信路を介して使用者１０００側に送られる。

なお、特徴量照合手段１００５の行うマッチングは、図７〜図８で示したマッチングと同様である。

また、図１０では特徴量照合手段１００５が出力するのは、マッチしたメタデータ１００７のみとしているが、これに加えて動画のずれ量t_１も同時に出力することができる。

この方法により、ユーザ間でデータベースを共有しつつ、特に使用者がキーワード等の指定をしなくても、動画１００１に付加すべきタグを含んだメタデータを容易に抽出でき、なおかつ、動画そのものではなく、特徴量シーケンスの転送のみでこの機能を実現可能であるため、通信回線への負担が少ないという効果がある。

本発明の第８の実施形態を図１１に基づいて説明する。図１１は、メタデータを蓄積した中央サーバに、使用者がメタデータをアップロードすることを特徴とする方法の発明の実施の形態の説明図である。

図１１に示すように、使用者１１００が、自ら手動でタグ付けをしたタグつき動画１１０１および、タグデータ抽出手段１１０２を所持している。また、サーバ１１０３が存在し、サーバ１１０３は、メタデータデータベース１１０４を含む。本実施の形態は、中央サーバ１１０３の備えるメタデータデータベース１１０４の管理方法であり、使用者が、自らの所有するメタデータを、回線を介して送信し、メタデータデータベース１１０４を更新することができる。

すなわち、使用者１１００は、タグつき動画１１０１をタグデータ抽出手段１１０２に入力し、メタデータを作成する。これを使用者作成メタデータ１１０５とする。なお、図ではメタデータはイベントタイムのみのデータとしているが、タグデータ抽出手段１１０２が、図５で説明したような特徴量算出手段を備えており、使用者作成メタデータ１１０５が、特徴量シーケンスデータを含む形態も存在する。

使用者１１００は、作成したメタデータ１１０５を、通信回線を介してサーバ１１０３に送信する。サーバは、使用者作成メタデータを、メタデータデータベース１１０４に追加する。

この方法により、メタデータデータベースに蓄積されるメタデータが増加し、メタデータを作成するコストの削減ができる効果、また、メタデータデータベースに使用者の嗜好が反映される効果がある。

本発明の第９の実施の形態を図１２に基づいて説明する。図１２は、タグ付きの放送データから、メタデータを抽出する方法の発明の実施の形態の説明図である。

図１２に示すように、イベントタイムタグつき放送１２００が配信される環境および、メタデータ抽出手段１２０１が存在する。本実施の形態は、メタデータの自動作成方法であり、イベントをポイントする情報を含んだ放送から、イベントの時刻を抽出してメタデータを作成する。

すなわち、タグデータ抽出手段１２０１は、タグつき放送１２００から、タイムタグデータや番組名を抽出し、メタデータを作成する。これを自動作成メタデータ１２０２とする。なお、同図ではメタデータはイベントタイムのみのデータとしているが、他の形態として、タグデータ抽出手段１２０１が、図５で説明したような特徴量算出手段を備えており、自動作成メタデータ１２０２が、特徴量シーケンスデータを含む形態も存在する。

この方法により、メタデータが自動的に作成されるため、メタデータを作成するコストの削減ができる効果がある。

なお、上記各実施形態は適宜組み合わせて実施できる。

本発明にかかる動画編集方法は、録画済の動画データに対して、全自動でイベントタイムタグを付加すること、および付加して編集することが可能となる。本発明は、ＤＶＤレコーダやパーソナルコンピュータ上のソフトウェアとして利用可能性がある。

本発明の第１の実施形態の、動画データにイベントタイムタグを付加することを特徴とする方法の説明図である。 本発明の第２の実施形態において、動画データに付加されたイベントタイムタグを利用して動画の切り出しを行うことを特徴とする方法の説明図である。 本発明の第２の実施形態の、動画データに付加されたイベントタイムタグを利用して動画の検索を行うことを特徴とする方法の説明図である。 本発明の第２の実施形態の、動画データに付加されたイベントタイムタグを利用して動画の編集を行うことを特徴とする方法の説明図である。 本発明の第３の実施形態の、動画データの特徴量シーケンスをリファレンスデータと照合することにより、動画に余分や不足があっても、正しくイベントタイムタグを付加することを特徴とする方法の説明図である。 本発明の第４の実施形態の、メタデータ群の中から、ユーザの指定した検索キーに従って、使用するメタデータを選択することを特徴とする方法の説明図である。 本発明の第５の実施形態の、メタデータ群の中から、動画の持つ特徴量シーケンスのマッチングを行うことにより、使用するメタデータを選択することを特徴とする方法の説明図である。 図７で説明する、本発明の第５の実施形態のうち、適合する程度の高いメタデータを抽出する部分の図である。 本発明の第６の実施形態の、中央サーバからメタデータを取得することを特徴とする方法の説明図である。 本発明の第７の実施形態の、中央サーバが、蓄積されたメタデータの中から、使用者側から送信されてきた特徴量シーケンスと最も適合したメタデータを選別することを特徴とする方法の説明図である。 本発明の第８の実施形態の、メタデータを蓄積した中央サーバに、使用者がメタデータをアップロードすることを特徴とする方法の説明図である。 本発明の第９の実施形態の、タグ付きの放送データから、メタデータを抽出する方法の説明図である。 従来例の概略図である。 別の従来例の概略図である。

符号の説明

１００ 動画データ
１０１ 動画に付加される、メタデータ
１０２ タグ付加手段
１０３ 出力された、タグ付き動画
１０４ 付与されたイベントタイムタグ
２００ 動画データ
２０１ 動画に付加される、メタデータ
２０２ タグ付加手段
２０３ 出力された、タグ付き動画
２０４ 動画編集手段
２０５ 出力された、編集済み動画
３００ 動画データ
３０１ 動画に付加される、メタデータ
３０２ タグ付加手段
３０３ 出力された、タグ付き動画
３０４ シーン検索手段
４００ 動画データ
４０１ 動画に付加される、メタデータ
４０２ タグ付加手段
４０３ 出力された、タグ付き動画
４０４ 動画編集手段
４０５ 動画に付加される、キャプション
４０６ 出力された、編集済み動画
５００ 動画データ
５０１ 特徴量算出手段
５０２ メタデータ
５０３ メタデータに付加されている、特徴量シーケンス
５０４ 動画データから算出された、特徴量シーケンス
５０５ 特徴量照合手段
５０６ 相互相関関数
６００ 使用者
６０１ メタデータデータベース
６０２ メタデータ選別手段
６０３ 検索条件、番組名 Music-TV
６０４ 選別されたメタデータ群
７００ 使用者
７０１ 動画データ
７０２ メタデータデータベース
７０３ 特徴量算出手段
７０４ 特徴量照合手段
７０５ 動画データから算出された、特徴量シーケンス
７０６ 選別されたメタデータ
８００ 入力特徴量シーケンスデータ
８０１ メタデータ１
８０２ メタデータ２
８０３ メタデータｎ
８０４ 入力特徴量シーケンスデータとメタデータ１の、相互相関関数
８０５ 入力特徴量シーケンスデータとメタデータ２の、相互相関関数
８０６ 入力特徴量シーケンスデータとメタデータｎの、相互相関関数
９００ 使用者
９０１ サーバ
９０２ メタデータデータベース
９０３ メタデータ選別手段
９０４ 検索条件、番組名Music-TV
９０５ 選別されたメタデータ
１０００ 使用者
１００１ 動画データ
１００２ 特徴量算出手段
１００３ サーバ
１００４ メタデータデータベース
１００５ 特徴量照合手段
１００６ 動画データから算出された、特徴量シーケンス
１００７ 選別されたメタデータ
１１００ 使用者
１１０１ タグ付き動画
１１０２ タグデータ抽出手段
１１０３ サーバ
１１０４ メタデータデータベース
１１０５ 使用者が作成したメタデータ
１２００ タグ付き放送データ
１２０１ タグデータ抽出手段
１２０２ 出力された、自動作成メタデータ

Claims (18)

1. 動画に組み込まれたイベントの時刻を示すイベントタイムタグが付与されていない動画データに対し、イベント時刻が記録され、動画情報を含まないメタデータを取得し、前記動画データに、前記メタデータに基づいてイベントタイムタグを付与することを特徴とする動画編集方法。
2. 前記イベントタイムタグ情報に基づいて、前記イベントタイムタグを付与した動画データの、使用者が指定した条件に一致しない不要部分を削除する請求項１記載の動画編集方法。
3. 前記イベントタイムタグ情報に基づいて、前記イベントタイムタグを付与した動画データの、使用者が指定した特定部分を検索する請求項１記載の動画編集方法。
4. 前記イベントタイムタグ情報に基づいて、前記イベントタイムタグを付与した動画データに、キャプション、静止画または動画を付加する請求項１記載の動画編集方法。
5. 前記メタデータに、時刻に対応した動画の特徴量シーケンス情報が付加され、前記イベントタイムタグが付与されていない未タグ付け動画の時刻に対応した動画の特徴量シーケンス情報と前記メタデータに付加された特徴量シーケンス情報と照合することにより、相互の特徴量が最も一致する時刻を基にして、動画データにイベントタイムタグを付与する請求項１記載の動画編集方法。
6. 前記動画の特徴量シーケンス情報として、音声の特徴量を用いる請求項５記載の動画編集方法。
7. 前記動画の特徴量シーケンス情報として、画像の特徴量を用いる請求項５記載の動画編集方法。
8. 前記動画の特徴量シーケンス情報として、複数の特徴量を組合せたベクトルを用いる請求項５記載の動画編集方法。
9. 前記特徴量の照合方法として、相互相関関数を用いる請求項５，６，７または８記載の動画編集方法。
10. 前記特徴量の照合方法として、動的計画法を用いる請求項５，６，７または８記載の動画編集方法。
11. 請求項１記載の動画編集方法において前記イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、複数のメタデータの中から、各メタデータに付加された情報のうち、使用者が指定した条件に一致する情報を有するメタデータを選択することを特徴とする動画編集方法。
12. 請求項１記載の動画編集方法において前記イベントタイムタグを付与するタグ付けに使用するメタデータを取得する際、タグ付けを意図している動画が決定しているとき、複数のメタデータの中から、各メタデータに付加された特徴量シーケンス情報と、前記タグ付けを意図している動画の特徴量シーケンス情報が一致する程度が高いメタデータを選択することを特徴とする動画編集方法。
13. 前記タグ付けに使用するメタデータを、メタデータを蓄積する中央サーバから取得する請求項１，２，３，４，５，６，７，８，９，１０，１１または１２記載の動画編集方法。
14. 前記中央サーバは、使用者の与えた絞り込み条件から、蓄積されたメタデータを絞り込む機能を有する請求項１３記載の動画編集方法。
15. 前記中央サーバは、未タグ付け動画の時刻に対応した特徴量シーケンス情報と、サーバに蓄積されている複数のメタデータの時刻に対応した特徴量シーケンス情報とを照合し、一致する程度が高いメタデータを選択する請求項１３または１４記載の動画編集方法。
16. 前記中央サーバはメタデータを蓄積するメタデータデータベースを管理し、使用者が所有するメタデータを前記中央サーバにアップロードし、前記メタデータデータベースを更新することができる請求項１３記載の動画編集方法。
17. 前記メタデータを作成する際、イベント情報を含んだ放送からイベント時刻を抽出してメタデータを作成する請求項１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５または１６記載の動画編集方法。
18. 前記イベント時刻に対応した特徴量シーケンス情報を抽出して、前記特徴量シーケンス情報を含んだメタデータを作成する請求項１７記載の動画編集方法。

Images