JP4649266B2 - コンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラム - Google Patents

コンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラム Download PDF

Info

Publication number
JP4649266B2
JP4649266B2 JP2005147543A JP2005147543A JP4649266B2 JP 4649266 B2 JP4649266 B2 JP 4649266B2 JP 2005147543 A JP2005147543 A JP 2005147543A JP 2005147543 A JP2005147543 A JP 2005147543A JP 4649266 B2 JP4649266 B2 JP 4649266B2
Authority
JP
Japan
Prior art keywords
metadata
integrated
section
content
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005147543A
Other languages
English (en)
Other versions
JP2006325047A (ja
Inventor
雅規 佐野
英樹 住吉
伸行 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2005147543A priority Critical patent/JP4649266B2/ja
Publication of JP2006325047A publication Critical patent/JP2006325047A/ja
Application granted granted Critical
Publication of JP4649266B2 publication Critical patent/JP4649266B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、番組等のコンテンツに、付与するメタデータを編集するコンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラムに関する。
従来、番組等のコンテンツに、当該コンテンツの内容(例えば、出演者名(選手名)、シーンの簡単な解説等)と時刻(コンテンツの再生が開始されてから経過した時間)とを対応付けたメタデータを付与する発明や研究が盛んに行われている。その中で、マルチモーダルと呼ばれる、メタデータを付与するコンテンツに関連する複数のメディアから得られた情報を活用するものがある。
このマルチモーダルでは、例えば、コンテンツの映像を処理したメタデータと、当該コンテンツの音声を処理したメタデータとを統合して新しいメタデータを生成する試みが行われている(例えば、非特許文献1参照)。
この非特許文献1で開示されている「インターモーダル協調による映像メディアからのイベント抽出」では、複数の情報(ここでは映像および音声)を用いることで、映像のみから抽出した場合では欠落してしまう部分、逆に、音声のみから抽出した場合では欠落してしまう部分、または、誤った判定をしてしまう部分を、相互に補完し合うことができ、検出するイベントの正確さを増加させることができる。
つまり、従来のマルチモーダル等における複数の情報を統合してイベントを検出する手法は、情報A(例えば、映像)と情報B(例えば、音声)とが同時に発生した場合に、イベントの発生を検出するというルールに基づくものである。
例えば、テニスの試合に関する番組において、当該番組の映像および音声から、テニスプレーヤーがサービスショットをするという場面(イベント)を抽出する場合、映像から、双方のテニスプレーヤーがテニスコートのベースライン沿いに位置し、ほぼ静止した状態を検出すると共に、サービスショットの打音を手がかりにすることで、正確にサービスショットの場面(イベント)を抽出することができる。
笹森 重和、他2名「インターモーバル協調による映像メディアからのイベント抽出」電子情報通信学会 PRMU98−189、pp.99−106(1999)
しかしながら、従来のマルチモーダルのように、複数の情報を統合してイベントを検出する手法では、情報の数が増加すると、抽出するイベントによって、各情報の重要度が異なっている場合が生じ、イベントの抽出精度の低下を招いたり、複数の情報の時間的なずれが考慮されておらず、イベントの正確な抽出が行えない場合があるという問題がある。
そこで、本発明では、前記した問題を解決し、統合する情報の数が増加しても、イベントの抽出精度を低下させずに、イベントの正確な抽出を行うことができるコンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラムを提供することを目的とする。
前記課題を解決するため、請求項1に記載のコンテンツメタデータ編集装置は、コンテンツに予め付与され、開始時刻および終了時刻によって存在する区間が区切られている区間メタデータを、当該コンテンツの経過時間に沿って発生するイベントごとに統合した統合メタデータを編集するコンテンツメタデータ編集装置であって、テンプレート取得手段と、区間メタデータ取得手段と、テンプレートマッチング手段と、統合メタデータ蓄積手段と、コンテンツ再生手段と、入力手段と、統合メタデータ編集手段と、を備える構成とした。
かかる構成によれば、コンテンツメタデータ編集装置は、テンプレート取得手段によって、複数の区間メタデータの組み合わせによってイベントを定義すると共に、当該イベントとして定義される区間メタデータが存在している時間または前後の時間に、当該イベントが発生したとする発生時刻を定義し、この発生時刻から所定時間に亘って存在している区間メタデータを統合するテンプレートを取得する。また、このコンテンツメタデータ編集装置は、区間メタデータ取得手段によって、区間メタデータを取得する。
そして、コンテンツメタデータ編集装置は、テンプレートマッチング手段によって、テンプレート取得手段で取得されたテンプレートにより定義される区間メタデータと、区間メタデータ取得手段で取得された区間メタデータとのマッチングを行う。つまり、このテンプレートマッチング手段では、テンプレートで定義されている区間メタデータの組み合わせと一致する区間メタデータの組み合わせ(区間メタデータ群)が検出されることになる。そして、コンテンツメタデータ編集装置は、統合メタデータ蓄積手段に、テンプレートマッチング手段でマッチングした、テンプレートで定義されたイベントと、時刻情報(経過時間上(コンテンツ時間軸上)での発生時刻、開始時刻、終了時刻)とを、統合メタデータとして蓄積する。
また、コンテンツメタデータ編集装置は、コンテンツ再生手段によって、コンテンツの再生表示を行い、入力手段によって、統合メタデータに統合されている区間メタデータの削除または統合メタデータに連なる他の区間データの付加を指示すると共に、統合メタデータの修正を指示する指示情報を入力する。
して、コンテンツメタデータ編集装置は、統合メタデータ編集手段によって、入力手段で入力された指示情報に基づいて、統合メタデータ蓄積手段に蓄積されている統合メタデータを読み出して、統合されている区間メタデータの削除または他の区間メタデータの付加を行うと共に、必要があれば、統合メタデータの修正を行う。なお、統合メタデータの修正とは、区間メタデータが統合された後に、改めて、統合メタデータの時間情報を修正したり、統合メタデータがどのような内容のものであるのかを説明したコメントを付け加えたりすることである。
請求項に記載のコンテンツメタデータ編集装置は、請求項1に記載のコンテンツメタデータ編集装置において、統合メタデータ入出力手段を備えることを特徴とする。
かかる構成によれば、コンテンツメタデータ編集装置は、統合メタデータ入出力手段によって、統合メタデータ蓄積手段に蓄積されている統合メタデータの出力をすると共に、他の統合メタデータ(例えば、別のコンテンツメタデータ編集装置で統合された統合メタデータ)の入力をする。
請求項に記載のコンテンツメタデータ編集プログラムは、コンテンツに予め付与され、開始時刻および終了時刻によって存在する区間が区切られている区間メタデータを、当該コンテンツの経過時間に沿って発生するイベントごとに統合した統合メタデータを編集するために、前記統合メタデータを蓄積する統合メタデータ蓄積手段を備えたコンピュータを、テンプレート取得手段、区間メタデータ取得手段、テンプレートマッチング手段、統合メタデータ蓄積制御手段、コンテンツ再生手段、入力手段、統合メタデータ編集手段として機能させる構成とした。
かかる構成によれば、コンテンツメタデータ編集プログラムは、テンプレート取得手段によって、複数の区間メタデータの組み合わせによってイベントを定義すると共に、当該イベントとして定義される区間メタデータが存在している時間または前後の時間に、当該イベントが発生したとする発生時刻を定義し、この発生時刻から所定時間に亘って存在している区間メタデータを統合するテンプレートを取得する。また、このコンテンツメタデータ編集プログラムは、区間メタデータ取得手段によって、区間メタデータを取得する。
そして、コンテンツメタデータ編集プログラムは、テンプレートマッチング手段によって、テンプレート取得手段で取得されたテンプレートにより定義される区間メタデータと、区間メタデータ取得手段で取得された区間メタデータとのマッチングを行う。そして、コンテンツメタデータ編集プログラムは、統合メタデータ蓄積制御手段によって、統合メタデータ蓄積手段に、テンプレートマッチング手段でマッチングした、マッチングしたテンプレートで定義されたイベントと、時刻情報(経過時間上(コンテンツ時間軸上)での発生時刻、開始時刻、終了時刻)とを、統合メタデータとして蓄積する。また、コンテンツメタデータ編集プログラムは、コンテンツ再生手段によって、コンテンツの再生表示を行い、入力手段によって、統合メタデータに統合されている区間メタデータの削除または統合メタデータに連なる他の区間データの付加を指示すると共に、統合メタデータの修正を指示する指示情報を入力する。そして、コンテンツメタデータ編集プログラムは、統合メタデータ編集手段によって、入力手段で入力された指示情報に基づいて、統合メタデータ蓄積手段に蓄積されている統合メタデータを読み出して、統合されている区間メタデータの削除または他の区間メタデータの付加を行うと共に、必要があれば、統合メタデータの修正を行う。なお、統合メタデータの修正とは、区間メタデータが統合された後に、改めて、統合メタデータの時間情報を修正したり、統合メタデータがどのような内容のものであるのかを説明したコメントを付け加えたりすることである。
請求項1または請求項に記載の発明によれば、連続する区間メタデータの組み合わせによってイベントを定義したテンプレートを必要なだけ用意しておき、このイベントを構成する区間メタデータの有無によって、当該イベントの発生を検出しているので、統合する情報の数が増加しても、増加数に応じたテンプレートを用いれば、イベントの抽出精度を低下させずに、イベントの正確な抽出を行うことができる。
また、請求項1または請求項3に記載の発明によれば、コンテンツの再生表示を行って、統合メタデータに統合されている区間メタデータの削除または統合メタデータに連なる他の区間データの付加を指示する指示情報に基づいて、統合メタデータの編集を行うことができる。つまり、テンプレートに基づいて統合された統合メタデータを、編集者は、再生表示されたコンテンツを見ながら、指示情報を入力することで編集することができ、イベントの抽出精度を低下させずに、イベントの正確な抽出を行うことができる。
請求項に記載の発明によれば、蓄積されている統合メタデータの出力と、他の統合メタデータの入力とを行っているので、統合メタデータを自在に入出力して、編集を行うことができる。
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈コンテンツメタデータ編集装置の構成〉
図1は、コンテンツメタデータ編集装置のブロック図である。この図1に示すように、コンテンツメタデータ編集装置1は、コンテンツに付与されている区間メタデータを編集して、当該コンテンツの経過時間(進行時間)に沿って発生する何らかのイベントごとに統合するもので、テンプレート取得手段3と、区間メタデータ取得手段5と、テンプレートマッチング手段7と、統合メタデータ蓄積手段9と、区間メタデータ統合処理制御手段11と、コンテンツ再生手段13と、入力手段15と、統合メタデータ編集手段17と、統合メタデータ入出力手段19とを備えている。
区間メタデータは、コンテンツの内容に即して当該コンテンツの経過時間(コンテンツ開始時刻からコンテンツ終了時刻までの間)に沿って予め付与されているものである。つまり、区間メタデータは、内容情報と時刻情報とから構成されている。
ここで、区間メタデータの例について、図2を参照して説明する。なお、区間メタデータは、別名称として、関連情報、区間セグメントといったように呼称される場合がある。この図2に示した例では、コンテンツがスポーツ番組(サッカーの中継番組)であり、コンテンツ開始時刻が9時、コンテンツ終了時刻が11時(図示せず)の場合の冒頭の時刻Aから時刻Bまでを示している。
この場合に、関連情報(区間メタデータ、歓声がわいた)1では、お客さんから歓声がわいた時間(歓声大、In(開始時刻)09:00:32、Out(終了時刻)09:00:54)を示している。また、関連情報(区間メタデータ、スロー再生)2では、スロー再生が行われた時間(スロー再生、In(開始時刻)09:01:02、Out(終了時刻)09:01:30)を示している。
また、区間セグメント(区間メタデータ、選手位置)3では、キックオフがされた時間(Kickoff、In(開始時刻)09:01:55、Out(終了時刻)09:02:07)と、ゴール前に複数の選手による“塊”が静止している時間(ゴール前に塊静止、In(開始時刻)09:03:58、Out(終了時刻)09:04:33)とを示している。
さらに、区間セグメント(区間メタデータ、アナウンサコメント)4では、コーナーキックが行われている時間(コーナーキック、In(開始時刻)09:03:42、Out(終了時刻)09:03:50)を示している。
このように、区間メタデータは、番組時刻(番組の経過時刻)に沿って、数秒または数十秒単位に付与されているものである。なお、この区間メタデータの抽出技術については、様々なものが開示されており、どのような抽出技術を用いてもよい。
イベントは、コンテンツの中における出来事を示す場面、つまり、特定のシーンを示すものである。例えば、コンテンツがサッカーのスポーツ番組である場合、例示すると、得点シーン、コーナーキックが行われているシーン、フリーキックが行われているシーン等が、サッカーのスポーツ番組におけるイベントということになる。
また、例えば、コンテンツがドラマ番組(ここでは、アクションもののドラマを想定している)である場合、例示すると、ある役者(出演者、主人公)と別の役者(出演者、敵役)と争っているシーンや、爆発等の特殊効果が表現されているシーンがドラマ番組におけるイベントということになる。
図1に戻ってコンテンツメタデータ編集装置1の構成の説明を続ける。
テンプレート取得手段3は、外部から既存の(予め作成しておいた)テンプレートを入力するものである。テンプレート取得手段3は、入力手段15から入力された情報に基づいて、区間メタデータ統合処理制御手段11で生成されたテンプレートを取得する(入力とする)ことも可能である。なお、このテンプレート取得手段3で取得されたテンプレートは、図示を省略した蓄積手段に蓄積される。
テンプレートは、複数の区間メタデータの組み合わせによってイベントを定義すると共に、当該イベントとして定義される区間メタデータが存在している時間または前後の時間に、当該イベントが発生したとする発生時刻を定義し、この発生時刻から所定時間に亘って存在している区間メタデータを統合するものである。つまり、このテンプレートは、複数の区間メタデータの発生パターンからイベントの検出を可能にしている。また、テンプレートは、関連する(連続する、重なり合う)各区間メタデータについて、抽出するイベント(目的イベント)における相対的時刻関係と、当該目的イベントの検出する際の重み付けとを定義している。
場合によっては、あるイベントが発生しているにも拘わらず、テンプレートで定義されている区間メタデータがすべて発生しているとは限らないことがあり、こういった場合に、各区間メタデータに定義した重み付けを利用することで、当該イベントの検出精度を維持することができる。つまり、当該イベントがどのくらいの確かさで存在しているのかを算出することが可能になる。
ここで、図3〜図5を参照して、テンプレートのひながたの例について説明する。図3はテンプレートのひながたの例を説明した図であり、図4はコンテンツがスポーツ番組(サッカーの中継番組)である場合に、得点を検出するテンプレートの例を説明した図であり、図5はコンテンツがスポーツ番組(サッカーの中継番組)である場合に、コーナーキックを検出するテンプレートの例を説明した図である。
図3(a)に示すように、テンプレートのひながたでは、目的イベント(抽出したいイベント)の発生点を発生時刻と定義しており、この発生時刻を挟んで所定時間(前後30秒)に亘って存在している情報A、情報Bおよび情報C(区間メタデータ)を含むと、イベントが発生したと定義している。
また、図3(b)に示すように、このテンプレートのひながたでは、情報A、情報Bおよび情報Cがそれぞれ存在しているか否かを決定する係数(存在している場合の係数は“1”、存在していない場合の係数は“0”)と、情報の重要度を示す重み(重みαは“0<α<1”[または、百分率表示0<α<100])とが定義されていると共に、確率関数F(x)が備えられており、イベント発生の可能性(ここでは、××%)が算出可能になっている。つまり、この確率関数における各情報に乗算される係数が「重み」ということになる。
例えば、確率関数F(x)は、F(x)=情報A*0.2+情報B*0.5+情報C*0.3といったように定義されている。この場合、情報A、情報Bおよび情報Cが存在した場合には、イベント発生確率は1となり、情報Aおよび情報Bのみが存在した場合、イベント発生確率は0.7となり、情報Bおよび情報Cのみが存在した場合、イベント発生確率は0.8となり、情報Aおよび情報Cのみが存在した場合、イベント発生確率は0.5となる。
図4(a)に示すように、得点を検出するテンプレートは、イベントが発生したとする発生時刻から10秒後まで(10秒間程度)歓声が大きくなり、発生時刻の12秒後から40秒後まで(30秒間程度)スロー再生が行われて、発生時刻の35秒後から60秒後まで(30秒間程度)キックオフする位置に選手が存在する場合(キックオフらしき選手位置)に、得点があったこと(イベント「得点」)を検出するものである。
また、図4(b)に示すように、この得点を検出するテンプレートでは、「歓声大」、「スロー再生」および「キックオフ」それぞれの情報の重要度を示す重み「20」、「20」および「60」が定義されていると共に、確率関数F(x)が備えられている。この場合、イベント発生(得点シーン)の可能性は、「歓声大」および「キックオフ」が存在しているので、F(x)=「歓声大」*0.2+「キックオフ」*0.6で、80%ということになる。
図5(a)に示すように、コーナーキックを検出するテンプレートは、イベントが発生したとする発生時刻の35秒前から10秒前まで(25秒間程度)に“コーナーキック”という言葉が検出されて、発生時刻の20秒前から発生時刻の5秒後まで、ゴール前で動かない(動きが少ない)選手群(複数の選手の塊)がある場合に、コーナーキックがあったこと(イベント「コーナーキック」)を検出するものである。
図5(b)に示すように、このコーナーキックを検出するテンプレートでは、「キーワード“コーナーキック”」および「ゴール前で動かない選手群」それぞれの情報の重要度を示す重み「40」および「60」が定義されていると共に、確率関数F(x)が備えられている。この場合、イベント発生(コーナーキック)の可能性は、「キーワード“コーナーキック”」および「ゴール前で動かない選手群」が共に存在しているので、F(x)=「キーワード“コーナーキック”」*0.4+「ゴール前で動かない選手群」*0.6で、100%ということになる。
また、確率関数F(x)に負の項を含めることで、ある区間メタデータが存在した場合に、目的イベント(抽出したいイベント)の発生確率を低くすることができ、目的イベントの高精度の検出が可能になる。
図1に戻ってコンテンツメタデータ編集装置1の構成の説明を続ける。
区間メタデータ取得手段5は、コンテンツに付与されている区間メタデータを取得するものである。なお、この区間メタデータ取得手段5で取得された区間メタデータは、図示を省略した蓄積手段に蓄積される。
テンプレートマッチング手段7は、テンプレート取得手段3で取得されたテンプレートと、区間メタデータ取得手段5で取得された区間メタデータとのマッチングを取って(照合して)、マッチングを取った結果(照合結果)を、統合メタデータとして、統合メタデータ蓄積手段9に出力するものである。
このテンプレートマッチング手段7によるテンプレートと区間メタデータとのマッチングは、前記した図4および図5に示したように、テンプレートで定義されている区間メタデータと、区間メタデータ取得手段5で取得された区間メタデータとを照合する、つまり、定義されている区間メタデータと、取得された区間メタデータとがほぼ一致するか否かによって行われる。
ここで、ほぼ一致するとしているのは、取得された区間メタデータの開始時刻および終了時刻と、テンプレートで定義されている各区間メタデータの開始時刻および終了時刻とが完全に一致していなくても、所定時間の範囲(例えば、±5秒)であれば、該当する区間メタデータは存在すると判定する。
統合メタデータ蓄積手段9は、テンプレートマッチング手段7でテンプレートとマッチングされた区間メタデータ、すなわち、マッチングしたテンプレートで定義されたイベントと、時刻情報(経過時間上(コンテンツ時間軸上)での発生時刻、開始時刻、終了時刻)とが統合された統合メタデータを蓄積するもので、一般的なハードディスクやメモリ等の記録媒体によって構成されている。この統合メタデータ蓄積手段9では、テンプレートマッチング手段7から入力された統合メタデータ以外に、統合メタデータ入出力手段19を介して入力された統合メタデータが蓄積される。
この統合メタデータ蓄積手段9は、区間メタデータ統合処理制御手段11によって、テンプレートマッチング手段7、統合メタデータ編集手段17および統合メタデータ入出力手段19からの統合メタデータの書き込み(入力)と、統合メタデータ編集手段17および統合メタデータ入出力手段19への読み出し(出力)とが制御されている。
区間メタデータ統合処理制御手段11は、入力手段15を用いて当該装置1の操作者である編集者が入力した操作情報(指示情報を含む)に基づいて、コンテンツメタデータ編集装置1の制御を司るものである。つまり、この区間メタデータ統合処理制御手段11では、各手段を制御する各種の制御信号を出力する。
各種の制御信号には、テンプレート取得手段3からテンプレートマッチング手段7に、取得したテンプレートを出力させるテンプレート出力制御信号と、区間メタデータ取得手段5からテンプレートマッチング手段7に、取得した区間メタデータを出力させる区間メタデータ出力制御信号と、テンプレートマッチング手段7でマッチングを行わせるマッチング実行制御信号とがある。また、各種制御信号には、統合メタデータ蓄積手段9に統合メタデータの書き込みまたは読み込みを行わせる統合メタデータ書込読込制御信号と、コンテンツ再生手段13にコンテンツの再生を行わせるコンテンツ再生制御信号と、入力手段15から入力された指示情報に基づいて、統合メタデータ編集手段17に統合メタデータの編集を行わせる統合メタデータ編集制御信号とがある。
コンテンツ再生手段13は、区間メタデータ取得手段5で取得した区間メタデータが付与されるコンテンツを取得し、図示を省略した蓄積手段に蓄積していると共に、区間メタデータ統合処理制御手段11による制御に基づいて(コンテンツ再生制御信号に従って)、蓄積しているコンテンツを再生(表示)するものである。
入力手段15は、当該装置1の操作者である編集者が、操作情報(指示情報を含む)を入力する際に用いるもので、キーボードやマウス等の入力デバイスによって構成されている。操作情報は、当該装置1の各種の機能を実行させるものである。
指示情報は、編集者が、コンテンツ再生手段13により再生されたコンテンツを視聴しながら、統合メタデータ編集手段17で統合メタデータの編集(区間メタデータの削除または付加、或いは、統合メタデータの修正)を行わせるものである。
統合メタデータ編集手段17は、統合メタデータ蓄積手段9に蓄積されている統合メタデータを読み出して、入力手段15から入力された指示情報に基づいて(統合メタデータ編集制御信号に従って)、統合メタデータの編集を行うものである。なお、この統合メタデータ編集手段17で編集された統合メタデータは、統合メタデータ蓄積手段9に再蓄積される。
統合メタデータ入出力手段19は、区間メタデータ統合処理制御手段11による制御に基づいて(統合メタデータ書込読込制御信号に従って)、統合メタデータ蓄積手段9に蓄積されている統合メタデータを外部に出力したり、外部から入力された統合メタデータを統合メタデータ蓄積手段9に出力したりするものである。例えば、外部から入力された統合メタデータは、別のコンテンツメタデータ編集装置1からネットワークを介して送信されたものである。
このコンテンツメタデータ編集装置1によれば、テンプレート取得手段3によって、連続する区間メタデータの組み合わせによってイベントを定義したテンプレートを必要なだけ取得しておき、区間メタデータ取得手段5で取得した区間メタデータと、テンプレートとをテンプレートマッチング手段7で照合して、イベントを構成する区間メタデータの有無によって、当該イベントの発生を検出しているので、統合する情報の数が増加しても、増加数に応じたテンプレートを用いれば、イベントの抽出精度を低下させずに、イベントの正確な抽出を行うことができる。
また、コンテンツメタデータ編集装置1によれば、コンテンツ再生手段13によって、コンテンツの再生表示を行って、入力手段15によって入力された、統合メタデータに統合されている区間メタデータの削除または統合メタデータに連なる他の区間データの付加を指示する指示情報に基づいて、統合メタデータの編集を行っている。つまり、テンプレートに基づいて統合された統合メタデータを、編集者は、再生表示されたコンテンツを見ながら、指示情報を入力することで編集することができ、イベントの抽出精度を低下させずに、イベントの正確な抽出を行うことができる。
さらに、コンテンツメタデータ編集装置1によれば、統合メタデータ入出力手段19によって、統合メタデータ蓄積手段9に蓄積されている統合メタデータの出力を行うと共に、別のコンテンツメタデータ編集装置1で統合された統合メタデータの入力を行っているので、統合メタデータを自在に入出力して、編集を行うことができる。
〈コンテンツメタデータ編集装置の動作〉
次に、図6に示すフローチャートを参照して、コンテンツメタデータ編集装置1の動作について説明する(適宜、図1参照)
まず、コンテンツメタデータ編集装置1は、テンプレート取得手段3によって、テンプレートを取得し(ステップS1)、区間メタデータ取得手段5によって、区間メタデータを取得する(ステップS2)。
続いて、コンテンツメタデータ編集装置1は、テンプレートマッチング手段7によって、テンプレート取得手段3で取得されたテンプレートで定義されている区間メタデータと、区間メタデータ取得手段5で取得された区間メタデータとのマッチングを行って、マッチングしたものを統合メタデータ蓄積手段9に出力する(ステップS3)。そうすると、コンテンツメタデータ編集装置1は、テンプレートマッチング手段7でマッチングしたテンプレートで定義されるイベントと、時刻情報とを、統合メタデータとして、蓄積する(ステップS4)。
そして、コンテンツメタデータ編集装置1は、入力手段15から入力された操作情報に基づいて、統合メタデータを編集するか否かを判定し(ステップS5)、統合メタデータを編集すると判定した場合(ステップS5、Yes)、コンテンツ再生手段13によって、コンテンツを再生する(ステップS6)。
そうした後、コンテンツメタデータ編集装置1は、入力手段15から指示情報が入力されると(ステップS7)、この指示情報に基づいて、統合メタデータ編集手段17によって、統合メタデータ蓄積手段9に蓄積されている統合メタデータを読み出して、編集する(ステップS8)。なお、ステップS5において、統合メタデータを編集すると判定しなかった場合(ステップS5、No)、ステップS6からステップS8まではスキップされることになる。
そして、コンテンツメタデータ編集装置1は、入力手段15から入力された操作情報に基づいて、統合メタデータを出力するか否かを判定し(ステップS9)、統合メタデータを出力すると判定した場合(ステップS9、Yes)、統合メタデータ入出力手段19によって、統合メタデータを出力する(ステップS10)。なお、統合メタデータを出力すると判定しなかった場合(ステップS9、No)、このステップS10はスキップされる。
そして、コンテンツメタデータ編集装置1は、入力手段15から入力された操作情報に基づいて、当該装置1の動作を終了するか否かを判定し(ステップS11)、動作を終了すると判定した場合(ステップS11、Yes)には、動作を終了する。なお、コンテンツメタデータ編集装置1は、入力手段15から入力された操作情報に基づいて、動作を終了すると判定しなかった場合(ステップS11、No)、新たな統合メタデータを生成するか判定し(ステップS12)、新たな統合メタデータを生成すると判定した場合(ステップS12、Yes)には、ステップS1に戻り、新たな統合メタデータを生成すると判定しなかった場合(ステップS12、No)には、ステップS5(または、ステップS9)に戻る。
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、コンテンツメタデータ編集装置1として説明したが、当該装置1を構成する各構成の処理を、一般的または汎用的なコンピュータ言語で記述したコンテンツメタデータ編集プログラムとみなすことも可能である。この場合、コンテンツメタデータ編集装置1と同様の効果を得ることができる。
本発明の実施形態に係るコンテンツメタデータ編集装置のブロック図である。 区間メタデータの例を説明した図である。 テンプレートのひながたの例を説明した図である。 コンテンツがスポーツ番組(サッカーの中継番組)である場合に、イベント「得点」を検出するテンプレートの例を説明した図である。 コンテンツがスポーツ番組(サッカーの中継番組)である場合に、イベント「コーナーキック」を検出するテンプレートの例を説明した図である。 図1に示したコンテンツメタデータ編集装置の動作を説明したフローチャートである。
符号の説明
1 コンテンツメタデータ編集装置
3 テンプレート取得手段
5 区間メタデータ取得手段
7 テンプレートマッチング手段
9 統合メタデータ蓄積手段
11 区間メタデータ統合処理制御手段
13 コンテンツ再生手段
15 入力手段
17 統合メタデータ編集手段
19 統合メタデータ入出力手段

Claims (3)

  1. コンテンツに予め付与され、開始時刻および終了時刻によって存在する区間が区切られている区間メタデータを、当該コンテンツの経過時間に沿って発生するイベントごとに統合した統合メタデータとして、編集するコンテンツメタデータ編集装置であって、
    複数の前記区間メタデータの組み合わせによって前記イベントを定義すると共に、当該イベントとして定義される区間メタデータが存在している時間または前後の時間に、当該イベントが発生したとする発生時刻を定義し、前記発生時刻から所定時間に亘って存在している区間メタデータを統合するテンプレートを入力するテンプレート入力手段と、
    前記区間メタデータを入力する区間メタデータ入力手段と、
    前記テンプレート入力手段で入力されたテンプレートにより定義される区間メタデータと、区間メタデータ入力手段で入力された区間メタデータとのマッチングを行うテンプレートマッチング手段と、
    このテンプレートマッチング手段でマッチングした、前記テンプレートで定義されたイベントと前記経過時間にかかる時刻情報とを、統合メタデータとして蓄積する統合メタデータ蓄積手段と、
    前記コンテンツの再生表示を行うコンテンツ再生手段と、
    前記統合メタデータに統合されている区間メタデータの削除または前記統合メタデータに連なる他の区間メタデータの付加を指示すると共に、前記統合メタデータの修正を指示する指示情報を入力する入力手段と、
    この入力手段で入力された指示情報に基づいて、前記統合メタデータ蓄積手段に蓄積されている統合メタデータを読み出して、統合されている区間メタデータの削除または他の区間メタデータの付加を行うと共に、前記統合メタデータの修正を行う統合メタデータ編集手段と、を備えることを特徴とするコンテンツメタデータ編集装置。
  2. 前記統合メタデータ蓄積手段に蓄積されている統合メタデータの出力をすると共に、他の統合メタデータの入力をする統合メタデータ入出力手段を備えることを特徴とする請求項1に記載のコンテンツメタデータ編集装置。
  3. コンテンツに予め付与され、開始時刻および終了時刻によって存在する区間が区切られている区間メタデータを、当該コンテンツの経過時間に沿って発生するイベントごとに統合した統合メタデータとして編集するために、前記統合メタデータを蓄積する統合メタデータ蓄積手段を備えたコンピュータを、
    複数の前記区間メタデータの組み合わせによって前記イベントを定義すると共に、当該イベントとして定義される区間メタデータが存在している時間または前後の時間に、当該イベントが発生したとする発生時刻を定義し、前記発生時刻から所定時間に亘って存在している区間メタデータを統合するテンプレートを入力するテンプレート入力手段、
    前記区間メタデータを入力する区間メタデータ入力手段、
    前記テンプレート入力手段で入力されたテンプレートにより定義される区間メタデータと、区間メタデータ入力手段で入力された区間メタデータとのマッチングを行うテンプレートマッチング手段、
    このテンプレートマッチング手段でマッチングした、前記テンプレートで定義されたイベントと前記経過時間にかかる時刻情報とを、前記統合メタデータとして前記統合メタデータ蓄積手段に蓄積させる統合メタデータ蓄積制御手段、
    前記コンテンツの再生表示を行うコンテンツ再生手段、
    前記統合メタデータに統合されている区間メタデータの削除または前記統合メタデータに連なる他の区間メタデータの付加を指示すると共に、前記統合メタデータの修正を指示する指示情報を入力する入力手段、
    この入力手段で入力された指示情報に基づいて、前記統合メタデータ蓄積手段に蓄積されている統合メタデータを読み出して、統合されている区間メタデータの削除または他の区間メタデータの付加を行うと共に、前記統合メタデータの修正を行う統合メタデータ編集手段、
    として機能させることを特徴とするコンテンツメタデータ編集プログラム。
JP2005147543A 2005-05-20 2005-05-20 コンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラム Expired - Fee Related JP4649266B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005147543A JP4649266B2 (ja) 2005-05-20 2005-05-20 コンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005147543A JP4649266B2 (ja) 2005-05-20 2005-05-20 コンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラム

Publications (2)

Publication Number Publication Date
JP2006325047A JP2006325047A (ja) 2006-11-30
JP4649266B2 true JP4649266B2 (ja) 2011-03-09

Family

ID=37544370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005147543A Expired - Fee Related JP4649266B2 (ja) 2005-05-20 2005-05-20 コンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラム

Country Status (1)

Country Link
JP (1) JP4649266B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021259333A1 (zh) * 2020-06-23 2021-12-30 北京字节跳动网络技术有限公司 视频处理方法、装置、设备及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4725554B2 (ja) * 2007-05-31 2011-07-13 日本ビクター株式会社 番組記録再生システム及び番組記録再生方法
US10877735B1 (en) * 2017-09-25 2020-12-29 Amazon Technologies, Inc. Automated generation of software applications using analysis of submitted content items

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026837A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> スポーツ映像インデックス生成装置、その方法、そのプログラム及びスポーツ中継アナウンスデータ生成装置並びにスポーツダイジェスト映像生成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026837A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> スポーツ映像インデックス生成装置、その方法、そのプログラム及びスポーツ中継アナウンスデータ生成装置並びにスポーツダイジェスト映像生成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021259333A1 (zh) * 2020-06-23 2021-12-30 北京字节跳动网络技术有限公司 视频处理方法、装置、设备及计算机可读存储介质
US11967344B2 (en) 2020-06-23 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Video processing method and apparatus, device and computer readable storage medium

Also Published As

Publication number Publication date
JP2006325047A (ja) 2006-11-30

Similar Documents

Publication Publication Date Title
US20040266337A1 (en) Method and apparatus for synchronizing lyrics
JP6398341B2 (ja) 映像抽出方法、映像再生方法、プログラム、及び装置
US20070168864A1 (en) Video summarization apparatus and method
CN113841418A (zh) 动态视频精彩场面
JP2009163643A (ja) 映像検索装置、編集装置、映像検索方法およびプログラム
KR20070084421A (ko) 타임라인 파일들을 주해하는 방법
US20110153328A1 (en) Obscene content analysis apparatus and method based on audio data analysis
JP2008022103A (ja) テレビ番組動画像ハイライト抽出装置及び方法
US20220189173A1 (en) Generating highlight video from video and text inputs
JP2010161722A (ja) データ処理装置、データ処理方法、及び、プログラム
US9558784B1 (en) Intelligent video navigation techniques
JP2008283486A (ja) 情報処理装置、情報処理方法、およびプログラム
US20100054692A1 (en) Electronic apparatus, method of changing a moving image data section, and program
US10134445B2 (en) Method of extracting a point from footage of a baseball game
JP4197014B2 (ja) 映像の検索方法および装置
JP2008242838A (ja) 説明表現付加装置、プログラムおよび説明表現付加方法
US11675834B2 (en) Query system with spoiler prevention
JP2009118168A (ja) 番組録画再生装置、および、番組録画再生方法
JP4649266B2 (ja) コンテンツメタデータ編集装置およびコンテンツメタデータ編集プログラム
JP2006343941A (ja) コンテンツ検索・再生方法、装置、プログラム、及び記録媒体
JP2004159192A (ja) 映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体
KR102624650B1 (ko) 스포츠 이벤트를 검출하는 방법 및 이를 수행하는 시스템
JP4401740B2 (ja) 編集装置
JP2005141284A (ja) 記録、再生方法及び装置
KR102066750B1 (ko) 녹음 파일 제어 단말 장치 및 방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4649266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees