JP3815371B2 - 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体 - Google Patents
映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体 Download PDFInfo
- Publication number
- JP3815371B2 JP3815371B2 JP2002130743A JP2002130743A JP3815371B2 JP 3815371 B2 JP3815371 B2 JP 3815371B2 JP 2002130743 A JP2002130743 A JP 2002130743A JP 2002130743 A JP2002130743 A JP 2002130743A JP 3815371 B2 JP3815371 B2 JP 3815371B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- related information
- electronic document
- data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明は、映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体に係り、特に、映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体に関する。
【0002】
詳しくは、映像データから映像解析処理、あるいは人手により生成された映像の関連情報と内容が関連する一般の電子文書データを映像データの新たな関連情報として取得し、取得した電子文書データを含む映像データの関連情報をもとに複数の映像を分類し、分類結果に基づいて映像及びその映像に関連する電子文書データを映像視聴者に提示する映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体に関する。具体的には、映像データとWWW情報のような既存の電子文書情報の対応関係定義情報を自動的に作成し、かつ、その対応関係の内容を分類するための映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体に関する。
【0003】
【従来の技術】
近年の映像のディジタル化技術の進歩により、パーソナルコンピュータなどの情報処理装置で映像データを扱うことが容易になってきている。映像データのみを扱うのではなく、電子文書等の他のメディアとの関連付け、特に、インターネット上でのWWW(World Wide Web) システム上の電子文書メディアと関連付けを行い、映像データと関連付けられた電子文書を同時にインターネット上に配信し、映像視聴者に提示するシステムが登場している。
例えば、Microsoft 社の"Windows(登録商標) Media Technology", Real Networks 社の"Real System" を利用したシステムが挙げられる。これらのシステムでは、映像に同期して、WWW上の情報を映像の関連情報として表示することができる。これは、映像データの情報及び、それに関連するWWW情報の対応関係が記述された対応関係定義情報を用いることで実現するものである。
【0004】
このような技術に関連する従来の方式として、特開平11−353325「映像と関連情報の同期表示シスム」、特開2000−308017「映像視聴装置」、特開2001−76094「文字列情報抽出装置及び方法及びその方法を記録した記録媒体」、特開2002−14973「映像検索装置、方法、映像検索プログラムを記録した記録媒体」等があり、これらの方式に代表されるように、近年多く提案されている。
【0005】
特開平11−353325で提案されている方式は、映像データのシーン情報に付与されているキーワード情報を元に電子文書DBを検索し、関連する電子文書データの元のシーンの関連情報として対応付けるものである。これにより、映像視聴者は、映像視聴中に電子文書データと関連付けられているシーンを視聴しながら、そのシーンと関連する電子文書情報を見ることができる。
【0006】
また、特開2000−308017、特開2001−76094、特開2002−14973で提案されている方式は、入力映像データに対して、予め決められた方法を用いて、映像解析処理を行い、得られた映像特徴量を元に事前に構築されている映像特徴量DBを検索し、関連する映像特徴を持つ映像データと入力映像データとを関連付け、関連する複数の映像を一つのグループとして分類し、管理するものである。これにより、映像視聴者は同一のグループに属する映像を同時に視聴することができる。この方式は、特に映像中にテロップ情報や音声情報といった映像解析結果が直接映像の意味内容を反映する映像特徴を利用する場合には、効果的に映像のグループ化が行える。例えば、複数のニュース番組の中に含まれる同一の話題に関する複数の映像をテロップ情報や音声情報の認識結果を利用して、同じグループとして纏めることができる。
【0007】
【発明が解決しようとする課題】
しかしながら、上記従来の技術においては、次のような問題がある。
【0008】
特開平11−353325で提案されているような映像と電子文書を自動的に関連付ける方法では、予め映像にキーワードを付与しておく必要があり、関連情報の作成のコストが大きくなってしまう。
【0009】
また、特開2000−308017、特開2002−14973で提案されるような映像の特徴量同士を関連付け、映像をグループ化する方法では、映像データに含まれる情報でしかグループ化ができないため、例えば、テロップ情報や音声情報等の映像の意味内容を反映したような映像特徴量を獲得しにくい場合には、映像の意味内容を反映したグループ化が行えず、映像視聴者の期待するグループ化が行えない場合がある。
【0010】
また、従来のいずれの技術においても、複数の映像を意味内容に基づいてグループ化した後、同一のグループに属する映像データに加え、それらに関連する電子文書情報を合わせて関連する映像、及び電子文書を参照したい場合には、映像と電子文書をそれぞれ別々に探し出す必要がある。
【0011】
本発明は、上記の点に鑑みなされたもので、映像データと電子文書情報を関連付ける際に、映像データに対し、一から予めキーワードを付与するようなコストの高い作業を必要としない関連付けの方法を提供し、また、複数の映像データに対し、映像解析処理により映像の意味内容に合った言語情報を獲得するのが困難な場合でも、意味内容を反映した映像のグループ化を実現し、また、映像視聴者が同一の話題に関する映像、及び電子文書を参照したい場合に、映像、電子文書をそれぞれ別々に探さなくてもよい映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体を提供することを目的とする。
【0012】
【課題を解決するための手段】
図1は、本発明の原理を説明するための図である。
【0014】
本発明(請求項1)は、映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成方法において、
映像データと該映像データを特定する映像識別番号を入力する映像入力ステップ(ステップ1)と、
入力された映像データ及び映像識別番号を格納する映像データ格納ステップ(ステップ2)と、
映像データに対し、予め決められた方法を用いて映像解析処理を行い、該映像データ中の映像特徴を抽出する第1の映像特徴抽出ステップ(ステップ3)と、
第1の映像特徴抽出ステップ(ステップ3)で得られた映像特徴を予め決められた方法を用いて修正すると共に、入力された映像データに関する映像特徴以外の書誌情報を入力し、修正した映像特徴、映像識別番号及び該書誌情報を、該映像データについての映像関連情報として入力する映像関連情報入力ステップ(ステップ4)と、
映像関連情報入力ステップ(ステップ4)で入力された映像関連情報を格納する映像関連情報格納ステップ(ステップ5)と、
テキスト、映像データを含む電子文書データ、及び該電子文書データを特定する電子文書識別番号を入力する電子文書入力ステップ(ステップ6)と、
電子文書入力ステップ(ステップ6)において入力された電子文書データ及び電子文書識別番号を格納する電子文書格納ステップ(ステップ7)と、
電子文書データ中の映像データに対し、予め決められた方法を用いて解析処理を行い、映像特徴を抽出する第2の映像特徴抽出ステップ(ステップ8)と、
第2の映像特徴抽出ステップ(ステップ8)で得られた映像特徴を予め決められた方法で修正すると共に、電子文書データ中の映像データに関する該映像特徴以外の書誌情報を入力し、修正した映像特徴、電子文書識別番号及び、該書誌情報を該電子文書データについての電子文書関連情報として入力する電子文書関連情報入力ステップ(ステップ9)と、
電子文書関連情報を格納する電子文書関連情報格納ステップ(ステップ10)と、
映像関連情報格納ステップ(ステップ5)と電子文書関連情報格納ステップ(ステップ10)で格納された映像関連情報と電子文書関連情報とを予め決められた方法を用いて比較し、該映像関連情報と関連する電子文書関連情報が存在する場合に、該電子文書関連情報を該映像関連情報の1つとして格納する映像関連情報生成ステップ(ステップ11)と、
電子文書関連情報を含む映像関連情報、及び、電子文書データを利用して、予め決められた方法を用いて、該映像関連情報を分類する映像関連情報分類ステップ(ステップ12と、
映像関連情報分類ステップ(ステップ12)で得られた分類結果のカテゴリに応じて、映像関連情報格納ステップ(ステップ5)において格納された映像関連情報及び該映像関連情報に含まれる映像識別番号と対応する映像データ及び該映像関連情報に含まれる電子文書関連情報、及び該電子文書関連情報と対応する電子文書データを予め決められた様式に従って表示する映像関連情報表示ステップ(ステップ13)と、を行う。
【0015】
本発明(請求項2)は、映像関連情報表示ステップにおいて、
映像関連情報分類ステップで得られた分類結果のカテゴリを代表するキーワードを表示画面の第1の領域に並べて表示するカテゴリ表示ステップと、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の映像関連情報入力ステップで入力された映像関連情報を表示画面の第2の領域に一覧表示する映像情報表示ステップと、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の映像関連情報生成ステップで生成された電子文書情報を表示画面の第3の領域に一覧表示する電子文書情報表示ステップと、を行う。
【0016】
図2は、本発明の原理構成図である。
【0018】
本発明(請求項3)は、映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成装置であって、
映像データと該映像データを特定する映像識別番号を入力する映像入力手段1と、
入力された映像データ及び映像識別番号を格納する映像データ格納手段2と、
映像データに対し、予め決められた方法を用いて映像解析処理を行い、該映像データ中の映像特徴を抽出する第1の映像特徴抽出手段12と、
第1の映像特徴抽出手段12で得られた映像特徴を予め決められた方法を用いて修正すると共に、入力された映像データに関する映像特徴以外の書誌情報を入力し、修正した映像特徴、映像識別番号及び該書誌情報を、該映像データについての映像関連情報として入力する映像関連情報入力手段3と、
映像関連情報入力手段3で入力された映像関連情報を格納する映像関連情報格納手段と、
テキスト、映像データを含む電子文書データ、及び該電子文書データを特定する電子文書識別番号を入力する電子文書入力手段5と、
電子文書入力手段5において入力された電子文書データ及び電子文書識別番号を格納する電子文書格納手段6と、
電子文書データ中の映像データに対し、予め決められた方法を用いて解析処理を行い、映像特徴を抽出する第2の映像特徴抽出手段13と、
第2の映像特徴抽出手段13で得られた映像特徴を予め決められた方法で修正すると共に、電子文書データ中の映像データに関する該映像特徴以外の書誌情報を入力し、修正した映像特徴、電子文書識別番号及び、該書誌情報を該電子文書データについての電子文書関連情報として入力する電子文書関連情報入力手段7と、
電子文書関連情報を格納する電子文書関連情報格納手段8と、
映像関連情報格納手段4と電子文書関連情報格納手段8で格納された映像関連情報と電子文書関連情報とを予め決められた方法を用いて比較し、該映像関連情報と関連する電子文書関連情報が存在する場合に、該電子文書関連情報を該映像関連情報の1つとして格納する映像関連情報生成手段9と、
電子文書関連情報を含む映像関連情報、及び、電子文書データを利用して、予め決められた方法を用いて、該映像関連情報を分類する映像関連情報分類手段10と、
映像関連情報分類手段10で得られた分類結果のカテゴリに応じて、映像関連情報格納手段において格納された映像関連情報及び該映像関連情報に含まれる映像識別番号と対応する映像データ及び該映像関連情報に含まれる電子文書関連情報、及び該電子文書関連情報と対応する電子文書データを予め決められた様式に従って表示する映像関連情報表示手段11と、を有する。
【0019】
本発明(請求項4)は、映像関連情報表示手段11は、
映像関連情報分類手段10で得られた分類結果のカテゴリを代表するキーワードを表示画面の第1の領域に並べて表示するカテゴリ表示手段と、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の映像関連情報入力手段で入力された映像関連情報を表示画面の第2の領域に一覧表示する映像情報表示手段と、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の映像関連情報生成手段で生成された電子文書情報を表示画面の第3の領域に一覧表示する電子文書情報表示手段と、を有する。
【0020】
本発明(請求項5)は、コンピュータに、
請求項3または4記載の映像関連情報生成装置の各手段の機能を実行させる映像関連情報生成プログラムである。
【0021】
本発明(請求項6)は、コンピュータに、請求項3または4記載の映像関連情報生成装置の各手段の機能を実行させる映像関連情報生成プログラムを格納した記憶媒体である。
【0022】
上記のように、本発明では、映像データの意味内容に関する情報を映像解析処理により自動的に獲得し、解析結果に誤りがなければ、そのまま自動的に得られた映像関連情報を格納できるため、映像データを電子文書に関連付ける際に、従来の技術のように映像データに予めキーワードを付与するような作業は必要なく、関連付け処理のコストを削減することが可能となる。また、仮に、映像解析処理に誤りがあっても、誤った部分を修正、加工するだけで済むので、従来の技術のようにキーワードを付与するための元となる情報が全くない状態からキーワードを付与する作業に比べ、作業コストを削減することが可能となる。
【0023】
また、本発明では、映像データの関連情報として、テロップ情報、音声情報のような映像の意味内容を反映した映像特徴が得られていない場合でも、例えば、色情報、形状情報、動き情報等の獲得できている映像特徴を用いて電子文書中の映像、画像から得られる同様の特徴量と関連付けを行うことで、電子文書情報を映像データの関連情報として獲得することが可能となる。また、勿論、テロップ情報、音声情報といった映像の意味内容を反映した映像特徴が得られる場合も、同様に電子文書情報を映像データの関連情報として獲得することが可能である。即ち、映像データから得られる映像特徴量が映像の意味内容を反映している場合、反映していない場合、どちらの場合でも、電子文書を映像の関連情報として獲得することが可能である。このため、本発明では、電子文書情報を含んだ映像関連情報を用いて映像データのグループ化を行うことで、映像特徴の性質によらず、映像の意味内容を反映したグループ化を行うことが可能である。
【0024】
また、本発明では、映像識別情報に対応する映像データ、及び電子文書識別情報に対応する電子文書データを映像視聴者の要求に応じて、同時に提示することも可能である。このため、映像視聴者は、同一のグループに属する映像関連情報、映像データ、電子文書データを同時に参照することができ、従来のように映像、及び電子文書情報をそれぞれ別々に探し出す必要はなく、従来に比べより効率的かつ、効果的な情報取得が可能となる。
【0025】
【発明の実施の形態】
以下、図面と共に本発明の実施の形態を説明する。
【0026】
図3は、本発明の一実施の形態における映像関連情報生成装置の構成を示す。同図に示す映像関連情報生成装置は、映像入力部1、映像データ格納部2、映像関連情報入力部3、映像関連情報格納部4、電子文書入力部5、電子文書格納部6、電子文書関連情報入力部7、電子文書関連情報格納部8、映像関連情報生成部9、映像関連情報分類部10、映像関連情報表示部11から構成される。
【0027】
映像入力部1は、映像データを映像データを特定する映像識別番号を入力するものである。
【0028】
映像データ格納部2は、映像入力部1から入力された映像データ、及び映像識別番号を格納するものである。これらは、例えば、ビデオテープ再生装置、パーソナルコンピュータ、映像取込みボード、及び制御用のソフトウェアを利用することで実現可能である。
【0029】
具体的には、映像データがアナログ形式のテープ媒体で存在するような場合は、映像データをビデオテープ再生装置で再生させ、再生装置からの出力ビデオ信号をパーソナルコンピュータに付属の映像取込みボードで取込み、制御用ソフトウェアを用いて映像信号をディジタイズし、パーソナルコンピュータに付属のハードディスクにファイルとして保存する。また、その際のファイル名に映像を特定する識別番号を反映させたものを付けることで識別番号の格納が可能となる。予めディジタイズされた状態で映像データが存在する場合には、パーソナルコンピュータ上の映像ファイルとして同様に、ファイル名に映像を特定する識別番号を付けてハードディスク上に格納することで実現可能である。
【0030】
映像関連情報入力部3は、映像入力部1から入力された映像データに対し、予め決められた方法を用いて、映像解析処理を行い、映像データ中の映像特徴情報を抽出し、抽出した結果をオペレータが必要に応じて修正し、また、入力映像データに関する映像特徴以外の書誌情報もオペレータが入力し、修正された映像特徴、書誌情報及び、映像識別番号を入力映像データについての関連情報として入力するものである。これは、例えば、パーソナルコンピュータ、及びパーソナルコンピュータ上のソフトウェアとして実現可能である。
【0031】
映像解析処理の具体的な方法としては、従来までに提案されている映像中のシーンの切り替わりを検出する方法(特許第2839132号,谷口他「映像カット点検出方法及び装置」)や、テロップの文字を認識する方法(森他「背景・文字の形状特徴と動的識別修正識別関数を用いた映像中テロップ文字認識」電子情報通信学会論文誌(D−II),vol.J83-D-II,no.7,pp.1658-1666,2000 )、あるいは、音声区間を検出する方法(特願平8−340293,南他「映像分類方法及び装置」)、音声情報を認識する方法(野田他、「音声認識エンジンVoiceRexを開発」NTT技術ジャーナル1999年12月号p.14)、また、映像中の色情報、カメラワーク情報を抽出する方法(特願平11−152655「映像検索方法及び装置と映像検索プログラムを記録した記録媒体」)などを用いることが可能である。これらはいずれもコンピュータ上のソフトウェアとして実現されるものである。
【0032】
映像特徴の具体的な修正方法としては、例えば、映像中のテロップ情報や音声情報を認識した結果のテキストコード情報を修正するには、パーソナルコンピュータ上のテキスト編集用ソフトウェアを利用することで実現可能である。
【0033】
書誌情報は、前述のようにオペレータがパーソナルコンピュータ上で動作する専用のソフトウェアを使用して入力することが可能である。
【0034】
映像関連情報格納部4は、映像関連情報入力部3から入力された映像関連情報を格納するものであり、例えば、パーソナルコンピュータのハードディスクで実現可能である。前述の映像関連情報をパーソナルコンピュータのファイルシステム上のファイル形式のデータとして取り扱うことで、ハードディスクに格納することができる。
【0035】
電子文書入力部5は、テキスト、映像データを含む電子文書データと電子文書データを特定する電子文書識別番号を入力するものであり、例えば、パーソナルコンピュータ上のソフトウェアとして実現されるものである。電子文書データの一例としては、WWW上のホームページ情報などがある。具体的には、ニュース映像とニュース内容を説明するテキスト情報が含まれるようなテレビ放送局のホームページファイル(HTMLファイル、及び関連付けられた映像ファイル)を用いることが可能である。
【0036】
電子文書格納部6は、電子文書入力部5で入力されたテキスト、映像データを含む電子文書データ及び、電子文書識別番号を格納するものであり、例えば、パーソナルコンピュータに付属のハードディスクを利用することで実現できる。
【0037】
電子文書関連情報入力部7は、電子文書入力部5から入力されたテキスト、映像データを含む電子文書データの中の映像データに対し、予め決められた方法を用いて映像解析処理を行い、映像特徴を抽出するものであり、抽出した結果をオペレータが必要に応じて修正し、また、映像データに関する映像特徴以外の書誌情報もオペレータが入力し、修正された映像特徴、書誌情報、及び電子文書識別番号を入力電子文書データについての関連情報として入力するものである。これは、例えば、パーソナルコンピュータ、及びパーソナルコンピュータ上のソフトウェアとして実現可能である。
【0038】
具体的には、映像関連情報入力部3と同様の処理を行うものであり、映像の解析方法としては、同じく、特許第2839132号,谷口他「映像カット点検出方法及び装置」、森他「背景・文字の形状特徴と動的識別修正識別関数を用いた映像中テロップ文字認識」電子情報通信学会論文誌(D−II),vol.J83-D-II,no.7,pp.1658-1666,2000 、特願平8−340293,南他「映像分類方法及び装置」、野田他,「音声認識エンジンVoiceRexを開発」NTT技術ジャーナル1999年12月号p.14)、特願平11−152655,宮川他,「映像検索方法及び装置と映像検索プログラムを記録した記録媒体」に開示されている方法を用いることが可能である。これらの方法により、映像中のシーン情報、被写体情報、音に関する情報を抽出し、入力された電子文書の関連情報とする。映像解析の方法は、パーソナルコンピュータ上のソフトウェアとして実現可能である。
【0039】
映像特徴の具体的な修正方法も同様に、例えば、映像中のテロップ情報や音声情報を認識した結果のテキストコード情報を修正するには、パーソナルコンピュータ上のテキスト編集用ソフトウェアを利用することで実現可能である。
【0040】
同じく書誌情報は、前述のようにオペレータがパーソナルコンピュータ上で動作する専用のソフトウェアを使用して入力することが可能である。また、電子文書データの書誌情報としては、既に存在する電子文書データそのものから必要な情報を取り出し、利用することが可能である。電子文書データから必要な情報を取り出す方法としては、オペレータがマニュアルで行う方法もあるが、従来提案されている方法(大本,「日本語新聞記事からのキーワード自動抽出と重要度評価」,電子情報通信学会論文誌,vol.32,No2,pp.220-228,1991)を用いて自動的に行うことも可能である。
【0041】
電子文書関連情報格納部8は、電子文書関連情報入力部7で入力された電子文書関連情報及び、電子文書識別番号を格納するものであり、例えば、パーソナルコンピュータのファイルシステム上のファイル形式のデータとして取り扱うことでハードディスクに格納することができる。
【0042】
映像関連情報生成部9は、映像関連情報格納部4と電子文書関連情報格納部8にそれぞれ格納される映像関連情報と電子文書関連情報を予め決められた方法を用いて比較し、比較の結果、電子文書関連情報の中で映像関連情報と類似すると判断された電子文書関連情報及び、電子文書識別番号を対応する映像関連情報の一つとして登録するものであり、例えば、パーソナルコンピュータ、及びパーソナルコンピュータ上のソフトウェアとして実現可能である。
【0043】
映像関連情報と電子文書関連情報の比較を行う方法としては、従来提案されているテキスト、映像特徴のマッチング方法を用いることが可能である。例えば、テキストのマッチング方法としては、「大本,『日本語新聞記事からのキーワード自動抽出と重要度評価』,電子情報通信学会論文誌,vol.32,No2,pp.220-228,1991」が開示されており、映像特徴のうち、テロップ文字の認識結果同士を比較する方式としては、「特願2000−194972,桑野他『映像検索装置、方法、映像検索プログラムを記録した記録媒体』」があり、シーン情報を色、カメラワーク、時間長情報で比較する方式としては、前述の特願平11−152655があり、本発明にはこれらが適用可能である。いずれの方法もパーソナルコンピュータ上のソフトウェアとして実現可能である。
【0044】
映像関連情報分類部10は、映像関連情報格納部4に格納される映像関連情報、電子文書格納部6に格納される電子文書データ、及び電子文書関連情報格納部8に格納される電子文書関連情報を利用して、映像関連情報を分類するものであり、例えば、パーソナルコンピュータ、及びその上で動作するソフトウェアとして実現可能である。
【0045】
映像関連情報を分類する方法としては、従来提案されているテキストの分類、映像特徴の分類の方法を用いることが可能である。例えば、テキストの分類方法としては、「永田他、『テキスト分類−学習理論の「見本市」,情報処理学会学会誌,vol.42,No.1,2001 」があり、映像特徴のうち、テロップ文字の認識結果を分類する方法としては、特願2000−194972があり、シーン情報を色、カメラワーク等で分類する方法として、特願平11−152655がある。これらはいずれも、パーソナルコンピュータ、及び、その上で動作するソフトウェアとして実現可能である。
【0046】
映像関連情報表示部11は、映像関連情報、映像関連情報に関連する映像データ、及び、映像関連情報に含まれる電子文書識別番号と対応する電子文書データを予め決められた様式で表すものであり、例えば、パーソナルコンピュータ、その上で動作するソフトウェア、及びパーソナルコンピュータと接続されたディスプレイ装置を利用することで実現する。
【0047】
表示の様式は例えば、コンピュータディスプレイ上に映像関連情報、映像データ、電子文書情報を、例えば、対応するもの同士を一行に並べ、テーブル形式で表示する方法をとることで、映像視聴者は、映像と関連情報を一覧することが可能である。
【0048】
以下、上記の構成における動作を説明する。
【0049】
最初に、上記の構成における動作の概要を説明する。
【0050】
図4は、本発明の一実施の形態における映像関連情報生成装置の動作の概要を示すフローチャートである。
【0051】
ステップ10) 映像入力部1において、映像データと当該映像データを特定する映像識別番号を入力し、映像関連情報入力部3に転送すると共に、映像データ格納部2に格納する。
【0052】
ステップ20) 映像関連情報入力部3において、映像入力部1から入力された映像データに対し、映像解析処理を行い、映像関連情報格納部4に映像関連情報を映像関連情報格納部4に格納する。動作の詳細については、図5で後述する。
【0053】
ステップ30) 電子文書入力部5より電子文書データ及び電子文書識別番号を入力し、電子文書関連情報入力部7に転送すると共に、電子文書格納部6に格納する。
【0054】
ステップ40) 電子文書関連情報入力部7において、電子文書入力部5から入力された電子文書データから映像データを取り出し、映像データから抽出された映像特徴情報に対して基本関連情報を統合し、電子文書関連情報格納部6に格納する。動作の詳細については、図6で後述する。
【0055】
ステップ50) 映像関連情報生成部9において、映像関連情報格納部4に格納されている映像関連情報と、電子文書関連情報入力部7より入力される電子文書関連情報から新たな映像関連情報を生成し、映像関連情報格納部4に格納する。動作の詳細については、図7で後述する。
【0056】
ステップ60) 映像関連情報分類部10において、映像関連情報格納部4に格納されている映像関連情報を、電子文書関連情報格納部8の電子文書関連情報を利用して分類する。
【0057】
ステップ70) 映像関連情報表示部11において、映像関連情報格納部4に格納されている映像関連情報、映像データ格納部2に格納されている映像関連情報に関連する映像データ、電子文書格納部6に格納されている電子文書情報を表示する。
【0058】
次に、映像関連情報入力部3の動作を説明する。
【0059】
図5は、本発明の一実施の形態における映像関連情報入力部の処理のフローチャートである。
【0060】
まず、映像関連情報入力部3の前段の処理を行う映像入力部1から映像データ、及び映像識別番号を入力し、入力された映像データに対し、映像解析処理を行い、映像特徴を抽出し(ステップ21)、映像特徴を必要に応じて修正を行う(ステップ22)。次に、基本関連情報を入力する(ステップ23)。基本関連情報とは、例えば、入力映像のタイトル、概要、キーワードといった映像データを特定する映像特徴以外の映像関連情報を意味する。次に、映像識別番号、抽出した映像特徴の修正結果、並びに、基本関連情報を入力映像データの関連情報として統合し、これを映像関連情報格納部4へ出力する(ステップ24)。
【0061】
次に、電子文書関連情報入力部7における動作を説明する。
【0062】
図6は、本発明の一実施の形態における電子文書関連情報入力部の処理のフローチャートである。
【0063】
電子文書入力部5から電子文書関連情報入力部7に電子文書データ及び電子文書識別番号が入力されると(ステップ30)、入力された電子文書データの中から映像データを取り出す(ステップ41)。電子文書データの中から映像データを取り出す方法としては、例えば、WWW上でテキストと映像データを含むホームページ情報から映像データだけを取り出す場合は、ホームページ情報であるHTML形式のファイルに記述される映像データのリンク情報から実際の映像データの所在場所の情報を獲得し、獲得した所在場所にアクセスすることで映像データを取得できる。
【0064】
次に、取得した映像データに対し、映像解析処理を行い、映像特徴を抽出し(ステップ42)、映像特徴情報を必要に応じて修正を行い(ステップ43)、また、基本関連情報がある場合には入力する(ステップ44)。ここで、基本関連情報とは、例えば、電子文書データのタイトル、概要、キーワードといった電子文書データを特定する映像特徴以外の関連情報を意味する。
【0065】
最後に、電子文書識別番号、映像データから抽出した映像特徴の修正結果、並びに、基本関連情報を入力された電子文書データの関連情報として統合し、これを電子文書関情報格納部8に出力する(ステップ45)。
【0066】
次に、映像関連情報生成部9の動作を説明する。
【0067】
図7は、本発明の一実施の形態における映像関連情報生成部の処理のフローチャートである。
【0068】
同図に示すフローチャートでは、M個の映像関連情報とN個の電子文書関連情報の比較処理を行い、映像関連情報を生成する処理について説明する。
【0069】
まず、カウンタ変数Iを0に初期化し(ステップ51)、次に、カウンタ変数Jを0に初期化する(ステップ52)。
【0070】
I番目の映像関連情報を情報Aとし、J番目の電子文書関連情報を情報Bとし、情報Aと情報Bを比較する(ステップ53)。比較する方法としては、例えば、前述の大本「日本語新聞記事からのキーワード自動抽出と重要度評価」,電子情報通信学会論文誌,vol.32,No2,pp.220-228,1991)で提案されている従来のテキスト情報のマッチング方法を適用することができる。あるいは、各関連情報の中にテキストではなく、色情報等の数値情報が含まれる場合の比較方法としては、前述の特願平11−152655に開示されている方法等を適用することができる。
【0071】
次に、情報Aと情報Bを比較した結果、類似すると判断された場合(ステップ54,yes)は、ステップ55に移行し、類似しないと判断された場合(ステップ54,no)はステップ56に移行する。類似すると判断された場合には、I番目の映像関連情報として、J番目の電子文書関連情報を追加登録し(ステップ55)、ステップ56に移行する。これにより、I番目の映像関連情報を持つ映像データとJ番目の電子文書関連情報を持つ電子文書データが関連付けられた新たな映像関連情報が生成されたことになる。
【0072】
カウンタ変数Jと定数Nを比較し、JがN未満の場合(ステップ56,yes)、カウンタ変数Jを1増やし、ステップ53に移行する。JがN以上の場合(ステップ56,no)、JがN以上の場合、カウンタ変数Iと定数Mを比較し、IがM未満の場合(ステップ57,yes)、カウンタ変数Iを1増やし、ステップ52に移行する(ステップ59)。
【0073】
【実施例】
以下、図面と共に本発明の実施例を説明する。
【0074】
最初に、前述の図5に示した映像関連情報入力部3で実施される各処理ステップについて、具体例を用いて説明する。
【0075】
図8は、本発明の一実施例の映像関連情報入力部で実施される処理フローの各ステップで得られる情報の例を示す。
【0076】
同図(A)は、映像特徴の抽出処理で得られる映像特徴の例を示しており、図5のステップ21で得られる映像特徴である。同図は、映像特徴の例として、映像中のシーン情報及び該当するシーン中のテロップ情報、音声情報を示した表である。“シーン情報1”として、映像の最初から1分20秒までの区間が検出され、その間、テロップ文字の認識処理結果は何も得られず、音声認識結果としては、「お昼のニュースです」という結果、また、“シーン情報2”として、映像中の1分20秒から1分50秒までの区間が検出され、その間、テロップ文字の認識結果として、「日米百脳合談始まる」、音声認識結果として、「日平首脳会談がありました」という結果が得られたことを示している。これらの情報の自動抽出処理は、いずれも前述の特許第2839132号、森他「背景・文字の形状特徴と動的識別修正識別関数を用いた映像中テロップ文字認識」電子情報通信学会論文誌(D−II),vol.J83-D-II,no.7,pp.1658-1666,2000 )、特願平8−340293,南他「映像分類方法及び装置」、野田他、「音声認識エンジンVoiceRexを開発」NTT技術ジャーナル1999年12月号p.14、等に記載されている従来の提案技術を用いることで実現可能である。
【0077】
同図(B)は、抽出結果の修正処理で得られる修正結果の例を示しており、図5のステップ22で得られる修正結果である。同図に示す修正結果は、同図(A)の内容を正しく修正したものを示した表である。“シーン情報2”のテロップ情報が、同図(A)では、「日米百脳合談はじまる」であったが、「百脳」の「百」を「首」に、「合談」の「合」を「会」にそれぞれ修正し、『日米首脳会談はじまる』と修正したものである。同様に、“シーン情報2”の音声情報が、同図8(A)では、「日平首脳会談がありました」であったが、「日平」の「平」を「米」に、「ありました」を「始まりました」にそれぞれ修正し、「日米首脳会談が始まりました」と修正したものである。
【0078】
このように、オペレータが自動的に抽出した映像特徴を必要に応じて部分的に修正することで、各シーンに対してのより正確な関連情報が作成できる。映像特徴を事前に抽出せず、何もない状態からシーン情報、及び関連情報を作成するのに比べ、作業量が少なく、作成コストを削減することができる。
【0079】
同図(C)は、基本関連情報の入力処理で入力される基本関連情報の例を示している。映像のタイトルとして「お昼のニュース」、映像内容の概要として「○月△日のお昼のニュース」、キーワードとして「Aキャスター」、放送年月日として、「A年B月C日」、著作権者として「A放送局」という情報が入力された例である。
【0080】
ここで、同図(B)の特徴抽出結果を修正したものと同図(C)の基本関連情報、更には、映像入力部1で入力された映像識別番号を、全て合わせて入力映像に対する関連情報とし、これを映像関連情報格納部4に格納する。
【0081】
次に、図6のフローチャートで示した電子文書関連情報入力部7で実施される図9は、本発明の一実施例の電子文書関連情報入力部で実施される処理フローの各ステップで得られる情報の例を示す。
【0082】
同図(A)は、図6のステップ42で得られる映像情報の例であり、映像中のシーン情報及び、該当するシーン中のテロップ情報、音声情報を示した表である。“シーン情報1”として、映像の最初から1分30秒までの区間が検出され、その間、テロップ文字の認識処理結果として、「ワシントンに倒着したK首相」、音声認識結果として、「会談を楽しみ西てる」という結果、また、“シーン情報2”としては、区間は1分30秒から2分30秒までであるが、テロップ情報も音声情報も得られず、また、“シーン情報3”としては、映像中の2分30秒から3分00秒までの区間が検出され、その間、テロップ文字の認識結果として、「合見するK首相」、音声認識結果として、「よい会談楽器た」という結果が得られたことを示している。これらの情報の自動抽出の処理は、いずれも前述の特許第2839132号、森他「背景・文字の形状特徴と動的識別修正識別関数を用いた映像中テロップ文字認識」電子情報通信学会論文誌(D−II),vol.J83-D-II,no.7,pp.1658-1666,2000 )、特願平8−340293,南他「映像分類方法及び装置」、野田他、「音声認識エンジンVoiceRexを開発」NTT技術ジャーナル1999年12月号p.14、等に示されている従来の提案技術を用いることで実現可能である。
【0083】
同図(B)は、図6のステップ43で得られる修正結果の例であり、同図(A)の内容を正しく修正したものを示した表である。“シーン情報1”のテロップ情報が同図(A)では、「ワシントンに倒着したK首相」であったが、「倒着」の「倒」を「到」に変更し、「ワシントンに到着したK首相」と修正したものであり、また、音声情報が映像特徴抽出時は、「会談を楽しみ西てる」であったが、「西てる」を「にしている」と変更し、「会談を楽しみにしている」と修正したものである。同様に“シーン情報3”の音声情報が同図(A)では、「よい会談楽器た」であったが、「楽器た」を「ができた」にそれぞれ変更し、「よい会談ができた」と修正したものである。
【0084】
このように自動的に抽出した映像特徴を必要に応じて部分的に修正することで、各シーンに対してのより正確な関連情報が作成できる。映像特徴を事前に抽出せず、何もない状態からシーン情報、及び関連情報を作成するのに比べ、作業量が少なく作成コストを削減することができる。
【0085】
同図(C)は、図6のステップ44で入力される基本関連情報の例を示したものである。電子文書データのタイトルとして「○○新聞データ」、電子文書の内容についての概要として「○月△日の政治トピック」、キーワードとして「日米首脳会談」、電子文書データの配信開始年月日として「A年B月C日」、著作権者として「A放送局」という情報が入力された例である。
【0086】
前述の映像関連情報入力部3の説明の中でも述べたが、この基本関連情報は、元の電子文書データ中のテキスト情報として既に存在しているような場合には、オペレータがマニュアルで選択して入力しなくとも、従来提案されている方法(大本,「日本語新聞記事からのキーワード自動抽出と重要度評価」,電子情報通信学会論文誌,vol.32,No2,pp.220-228,1991)を用いて自動的に入力することも可能である。
【0087】
図9(B)の抽出結果を修正したものと、図9(C)の基本情報、さらには、映像入力部1で入力された映像識別番号を、全て合わせて入力映像に対する関連情報とし、これを電子文書関連情報格納部8に格納する。
【0088】
次に、映像関連情報分類部10における映像関連情報の分類処理について説明する。
【0089】
図10は、本発明の一実施例の映像関連情報分類部における映像関連情報の分類結果の例を示す。
【0090】
同図(A)は、分類前の映像関連情報の状態を表形式で示したものである。例として、各映像関連情報の映像識別番号、タイトル、作成日時の3つの情報を示している。映像識別番号として「000001」から「000005」まで存在し、映像識別番号「000001」の映像は、タイトル「K首相、日米首脳会談に向けワシントンへ出発」、作成日は「2002年2月10日15時45分」であり、映像識別番号「000003」の映像は、タイトル「携帯電話に新サービス」、作成日時は「2002年2月10日17時30分」である。これは、分類前の状態であり、まだ、各映像関連情報はそれぞれ独立の関係にある。
【0091】
同図(B)は、分類後の映像関連情報の状態を表形式で示したものである。同図(A)の表の一番左に分類により生成される複数、あるいは単数のカテゴリに付けられる「カテゴリ番号」という列が加わったものである。カテゴリ番号「0001」として分類された映像関連情報は、識別番号「000001」と「000005」の2つであることが示されている。このカテゴリは、「日米首脳会談」に関して類似する情報を持つものとしてひとまとまりになったものである。また、カテゴリ番号「002」として分類された映像関連情報は、識別番号「000002」と「000004」の2つであることを示されている。このカテゴリでは、「オリンピック」に関して類似する情報をもつものがひとまとまりにされたものである。
【0092】
このような映像関連情報を分類する方法としては、例えば、「永田他、『テキスト分類−学習理論の「見本市」,情報処理学会学会誌,vol.42,No.1,2001 」に示されている従来の方法を用いることで実現可能である。映像関連情報を分類することにより、例えば、分類により生成された各カテゴリ内の映像関連情報同士に共通するキーワードの情報、及び各カテゴリに含まれる映像関連情報の件数を利用することで新しい映像視聴の方法が考えられる。次の例で新しい映像視聴の例を示す。
【0093】
図11は、本発明の一実施例の映像関連情報表示部における映像関連情報の表示例を示す。
【0094】
映像関連情報表示部11において、前述した映像関連情報格納部4に格納されている映像関連情報を、予め決められた方法に基づいて分類した結果を用いて、映像データそのものに加え、映像のタイトル等の映像関連情報、映像関連情報の一つとして含まれている電子文書関連情報に対応する電子文書データを生成されたカテゴリ毎に整理して表示した例である。同図では、時事ニュースに関するテレビ映像、及び電子文書データとして、新聞記事データを用いた表示例を示している。
【0095】
同図は、パーソナルコンピュータのディスプレイ画面に表示されるウィンドウ画面を示している。ウィンドウ中の領域Aは、「ニュースヘッドライン」というタイトルと共に、映像関連情報の分類の結果得られる各カテゴリを代表するキーワード、及び各カテゴリに含まれる映像関連情報の件数を添えて表示したものである。同図では、カテゴリは、個々のニュース項目毎に生成された場合を示している。各カテゴリを代表するキーワードは、カテゴリ内の各映像関連情報に含まれる最頻出の単語を自動、あるいは、マニュアルで選択したものである。自動で選択する場合は、「大本,「日本語新聞記事からのキーワード自動抽出と重要度評価」,電子情報通信学会論文誌,vol.32,No2,pp.220-228,1991」に記載されている方法が適用可能である。
【0096】
領域Aでは、カテゴリ内の映像関連情報の件数が多い順に上から並べて表示している。各カテゴリを代表するキーワードとして、上から順に「日米首脳会談」、「オリンピック」、「携帯電話サービス」が表示されている。同図の領域Aのように、時事ニュースを対象にして、映像関連情報の件数に基づき、各ニュース項目を表示した場合、映像視聴者は、領域Aの表示を参照することで、その時どのようなニュースが話題性のあるものか、一目で確認することが可能である。
【0097】
領域Bは、領域Aで表示される各ニュース項目のキーワードのテキスト表示部分をポインタで選択した際に表示されるものであり、選択されたニュース項目に関してテレビ放送で放送されたニュース映像を一覧する画面例である。同図の例では、領域A中の「日米首脳会談」関連というテキスト表示が選択された場合の領域Bの表示内容の一連を示している。領域Bには、「日米首脳会談」関連のニュース映像が35件のうち、8件が表示されている。
【0098】
各ニュース映像表示は、上から順に、トピック番号、放送された際の具体的なニュースタイトル名、実際の映像の代表静止画像、放送日時、放送局名の順に映像関連情報入力部3で入力された情報が表示される。任意の静止代表画像を選択した場合、該当する映像データが再生される。ここで、トピック番号とは、映像関連情報分類部10で生成された映像関連情報の各カテゴリ内における各映像関連情報を特定するための識別番号である。また、映像の代表静止画像とは、実際の放送映像データの内容を表す代表的なシーンの静止画像である。代表静止画像の選択は、映像特徴抽出処理により自動的に抽出されるシーン情報を利用するか、映像関連情報入力部3でマニュアルで選択されたシーン情報を利用する。
【0099】
映像視聴者は、領域Bの内容を参照することで、同一のニュース情報について、複数の放送局から放送された映像を網羅的に一覧することができる。本実施例の場合、映像視聴者は、テレビ番組表には掲載されておらず、事前には詳細な放送時間を知ることができないようなニュース番組中の個々のニュース映像を視聴したい場合に、従来のようにリモコン装置等を用いてテレビチャンネルを切替ながら、所望の映像を探し出す操作を必要とせず、同一のニュース情報について、各放送局から放送された映像を漏らすことなく、全て入手することが可能となる。
【0100】
領域Cには、領域Bと同様に、領域Aで表示される各ニュース項目のキーワードのテキスト表示部分をマウスで選択し、クリックした際に表示されるものであり、選択されたニュース項目に関しての電子文書情報としてインターネット上で配信されている複数の新聞記事情報を一覧する画面例である。同図の例では、領域A中の「日米首脳会談」関連というテキスト表示が選択された場合の領域Cの表示内容の一例を示している。領域Cには、「日米首脳会談」関連の新聞記事が表示されている。具体的には、同図中の領域Cには、A新聞の「日米首脳会談」に関する新聞記事のテキスト情報、及び、会談の様子を表す画像情報が表示されている。
【0101】
本実施例の場合、「日米首脳会談」に関して網羅的に情報を入手したい場合に、領域Bの複数のニュース映像の他、インターネット上の新聞記事も併せて、一つの画面内で簡単に一覧できる。これにより、テレビ放送中の所望のニュース映像やインターネット上の新聞記事情報を自ら探し出す操作を必要とせず、知りたい情報を簡単に、かつ、網羅的に入手することが可能となる。
【0102】
また、上記の映像関連情報生成装置における映像入力部1、映像関連情報入力部3、電子文書入力部5、電子文書関連情報入力部7、映像関連情報生成部9、映像関連情報分類部10及び映像関連情報表示部11の動作をプログラムとして構築し、映像関連情報生成装置として利用されるコンピュータにインストールすることも可能である。
【0103】
また、構築されたプログラムを映像関連情報生成装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、CD−ROM等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることにより、容易に本発明を実現できる。
【0104】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【0105】
【発明の効果】
上述のように、本発明によれば、映像データの意味内容に関する情報を映像解析処理により自動的に獲得し、解析結果に誤りがなければそのまま自動的に得られた映像関連情報を映像関連情報格納部に格納することが可能であるため、映像データを電子文書に関連付ける際に、従来のように映像データに予めキーワードを付与するような作業は必要なく、関連付け処理のコストを削減することが可能である。また、仮に映像解析処理に誤りがあっても、誤った部分を修正・加工するだけで済むので、従来のようにキーワードを付与するための元となる情報が全くない状態からキーワードを付与する作業に比べ、作業コストを削減することができる。
【0106】
また、本発明では、映像データの関連情報として、テロップ情報、音声情報のような映像の意味内容を反映した映像特徴が得られていない場合でも、例えば、色情報、形状情報、動き情報等の獲得できている映像特徴を用いて電子文書中の映像、画像から得られる同様の特徴量と関連付けを行うことで、電子文書情報を映像データの関連情報として獲得することができる。また、勿論、テロップ情報、音声情報といった映像の意味内容を反映した映像特徴が得られる場合も、同様に電子文書情報を映像データの関連情報として獲得することが可能である。即ち、映像データから得られる映像特徴量が映像の意味内容を反映している場合、反映していない場合、どちらの場合でも電子文書を映像の関連情報として獲得できる。そのため、電子文書情報を含んだ映像関連情報を用いて映像データのグループ化を行うことで、映像特徴の性質によらず、映像の意味内容を反映したグループ化を行うことが可能である。
【0107】
また、本発明では、映像関連情報格納部に含まれる映像識別情報に対応する映像データ、及び電子文書識別情報に対応する電子文書データを映像視聴者の要求に応じて、同時に提示することも可能である。このため、映像視聴者は同一のグループに属する映像関連情報、映像データ、電子文書データを同時に参照することができ、従来のように映像、及び電子文書情報をそれぞれ別々に探し出す必要がなく、従来に比べより効率的かつ効果的な情報取得が可能となる。
【図面の簡単な説明】
【図1】本発明の原理を説明するための図である。
【図2】本発明の原理構成図である。
【図3】本発明の一実施の形態における映像関連情報生成装置の構成図である。
【図4】本発明の一実施の形態における映像関連情報生成装置の動作の概要を示すフローチャートである。
【図5】本発明の一実施の形態における映像関連情報入力部の処理のフローチャートである。
【図6】本発明の一実施の形態における電子文書関連情報入力部の処理のフローチャートである。
【図7】本発明の一実施の形態における映像関連情報生成部の処理のフローチャートである。
【図8】本発明の一実施例の映像関連情報入力部で実施される処理フローの各ステップで得られる情報の例である。
【図9】本発明の一実施例の電子文書関連情報入力部で実施される処理フローの各ステップで得られる情報の例である。
【図10】本発明の一実施例の映像関連情報分類部における映像関連情報の分類結果の例である。
【図11】本発明の一実施例の映像関連情報表示部における映像関連情報の表示例である。
【符号の説明】
1 映像入力手段、映像入力部
2 映像データ格納手段、映像データ格納部
3 映像関連情報入力手段、映像関連情報入力部
4 映像関連情報格納手段、映像関連情報格納部
5 電子文書入力手段、電子文書入力部
6 電子文書格納手段、電子文書格納部
7 電子文書関連情報入力手段、電子文書関連情報入力部
8 電子文書関連情報格納手段、電子文書関連情報格納部
9 映像関連情報生成手段、映像関連情報生成部
10 映像関連情報分類手段、映像関連情報分類部
11 映像関連情報表示手段、映像関連情報表示部
12 第1の映像特徴抽出手段
13 第2の映像特徴抽出手段
Claims (6)
- 映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成方法において、
映像データと該映像データを特定する映像識別番号を入力する映像入力ステップと、
入力された前記映像データ及び前記映像識別番号を格納する映像データ格納ステップと、
前記映像データに対し、予め決められた方法を用いて映像解析処理を行い、該映像データ中の映像特徴を抽出する第1の映像特徴抽出ステップと、
前記第1の映像特徴抽出ステップで得られた前記映像特徴を予め決められた方法を用いて修正すると共に、入力された前記映像データに関する映像特徴以外の書誌情報を入力し、修正した映像特徴、前記映像識別番号及び該書誌情報を、該映像データについての映像関連情報として入力する映像関連情報入力ステップと、
前記映像関連情報入力ステップで入力された前記映像関連情報を格納する映像関連情報格納ステップと、
テキスト、映像データを含む電子文書データ、及び該電子文書データを特定する電子文書識別番号を入力する電子文書入力ステップと、
前記電子文書入力ステップにおいて入力された前記電子文書データ及び前記電子文書識別番号を格納する電子文書格納ステップと、
前記電子文書データ中の映像データに対し、予め決められた方法を用いて解析処理を行い、映像特徴を抽出する第2の映像特徴抽出ステップと、
前記第2の映像特徴抽出ステップで得られた前記映像特徴を予め決められた方法で修正すると共に、前記電子文書データ中の前記映像データに関する該映像特徴以外の書誌情報を入力し、修正した映像特徴、前記電子文書識別番号及び、該書誌情報を該電子文書データについての電子文書関連情報として入力する電子文書関連情報入力ステップと、
前記電子文書関連情報を格納する電子文書関連情報格納ステップと、
前記映像関連情報格納ステップと前記電子文書関連情報格納ステップで格納された前記映像関連情報と前記電子文書関連情報とを予め決められた方法を用いて比較し、該映像関連情報と関連する電子文書関連情報が存在する場合に、該電子文書関連情報を該映像関連情報の1つとして格納する映像関連情報生成ステップと、
前記電子文書関連情報を含む前記映像関連情報、及び、前記電子文書データを利用して、予め決められた方法を用いて、該映像関連情報を分類する映像関連情報分類ステップと、
前記映像関連情報分類ステップで得られた分類結果のカテゴリに応じて、前記映像関連情報格納ステップにおいて格納された前記映像関連情報及び該映像関連情報に含まれる前記映像識別番号と対応する映像データ及び該映像関連情報に含まれる電子文書関連情報、及び該電子文書関連情報と対応する電子文書データを予め決められた様式に従って表示する映像関連情報表示ステップと、
を行うことを特徴とする映像関連情報生成方法。 - 前記映像関連情報表示ステップでは、
前記映像関連情報分類ステップで得られた分類結果のカテゴリを代表するキーワードを表示画面の第1の領域に並べて表示するカテゴリ表示ステップと、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の前記映像関連情報入力ステップで入力された前記映像関連情報を表示画面の第2の領域に一覧表示する映像情報表示ステップと、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の前記映像関連情報生成ステップで生成された前記電子文書情報を表示画面の第3の領域に一覧表示する電子文書情報表示ステップと、
を行う請求項1記載の映像関連情報生成方法。 - 映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成装置であって、
映像データと該映像データを特定する映像識別番号を入力する映像入力手段と、
入力された前記映像データ及び前記映像識別番号を格納する映像データ格納手段と、
前記映像データに対し、予め決められた方法を用いて映像解析処理を行い、該映像データ中の映像特徴を抽出する第1の映像特徴抽出手段と、
前記第1の映像特徴抽出手段で得られた前記映像特徴を予め決められた方法を用いて修正すると共に、入力された前記映像データに関する映像特徴以外の書誌情報を入力し、修正した映像特徴、前記映像識別番号及び該書誌情報を、該映像データについての映像関連情報として入力する映像関連情報入力手段と、
前記映像関連情報入力手段で入力された前記映像関連情報を格納する映像関連情報格納手段と、
テキスト、映像データを含む電子文書データ、及び該電子文書データを特定する電子文書識別番号を入力する電子文書入力手段と、
前記電子文書入力手段において入力された前記電子文書データ及び前記電子文書識別番号を格納する電子文書格納手段と、
前記電子文書データ中の映像データに対し、予め決められた方法を用いて解析処理を行い、映像特徴を抽出する第2の映像特徴抽出手段と、
前記第2の映像特徴抽出手段で得られた前記映像特徴を予め決められた方法で修正すると共に、前記電子文書データ中の前記映像データに関する該映像特徴以外の書誌情報を入力し、修正した映像特徴、前記電子文書識別番号及び、該書誌情報を該電子文書データについての電子文書関連情報として入力する電子文書関連情報入力手段と、
前記電子文書関連情報を格納する電子文書関連情報格納手段と、
前記映像関連情報格納手段と前記電子文書関連情報格納手段で格納された前記映像関連情報と前記電子文書関連情報とを予め決められた方法を用いて比較し、該映像関連情報と関連する電子文書関連情報が存在する場合に、該電子文書関連情報を該映像関連情報の1つとして格納する映像関連情報生成手段と、
前記電子文書関連情報を含む前記映像関連情報、及び、前記電子文書データを利用して、予め決められた方法を用いて、該映像関連情報を分類する映像関連情報分類手段と、
前記映像関連情報分類手段で得られた分類結果のカテゴリに応じて、前記映像関連情報格納手段において格納された前記映像関連情報及び該映像関連情報に含まれる前記映像識別番号と対応する映像データ及び該映像関連情報に含まれる電子文書関連情報、及び該電子文書関連情報と対応する電子文書データを予め決められた様式に従って表示する映像関連情報表示手段と、
を有することを特徴とする映像関連情報生成装置。 - 前記映像関連情報表示手段は、
前記映像関連情報分類手段で得られた分類結果のカテゴリを代表するキーワードを表示画面の第1の領域に並べて表示するカテゴリ表示手段と、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の前記映像関連情報入力手段で入力された前記映像関連情報を表示画面の第2の領域に一覧表示する映像情報表示手段と、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の前記映像関連情報生成手段で生成された前記電子文書情報を表示画面の第3の領域に一覧表示する電子文書情報表示手段と、
を有する請求項3記載の映像関連情報生成装置。 - コンピュータに、
請求項3または4記載の映像関連情報生成装置の各手段の機能を実行させることを特徴とする映像関連情報生成プログラム。 - コンピュータに、
請求項3または4記載の映像関連情報生成装置の各手段の機能を実行させる映像関連情報生成プログラムを格納したことを特徴とする映像関連情報生成プログラムを格納した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002130743A JP3815371B2 (ja) | 2002-05-02 | 2002-05-02 | 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002130743A JP3815371B2 (ja) | 2002-05-02 | 2002-05-02 | 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003323437A JP2003323437A (ja) | 2003-11-14 |
JP3815371B2 true JP3815371B2 (ja) | 2006-08-30 |
Family
ID=29543686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002130743A Expired - Fee Related JP3815371B2 (ja) | 2002-05-02 | 2002-05-02 | 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3815371B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101151674B (zh) * | 2005-03-31 | 2012-04-25 | 皇家飞利浦电子股份有限公司 | 复合新闻报导的合成 |
JP4906552B2 (ja) * | 2007-03-20 | 2012-03-28 | 日本放送協会 | メタ情報付加装置及びメタ情報付加プログラム |
-
2002
- 2002-05-02 JP JP2002130743A patent/JP3815371B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003323437A (ja) | 2003-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7616840B2 (en) | Techniques for using an image for the retrieval of television program information | |
US9244923B2 (en) | Hypervideo browsing using links generated based on user-specified content features | |
US10031649B2 (en) | Automated content detection, analysis, visual synthesis and repurposing | |
US7769760B2 (en) | Information processing apparatus, method and program thereof | |
US8196045B2 (en) | Various methods and apparatus for moving thumbnails with metadata | |
US7640272B2 (en) | Using automated content analysis for audio/video content consumption | |
KR100684484B1 (ko) | 비디오 세그먼트를 다른 비디오 세그먼트 또는 정보원에링크시키는 방법 및 장치 | |
US7051048B2 (en) | Data management system, data management method, and program | |
US20020051077A1 (en) | Videoabstracts: a system for generating video summaries | |
US8478759B2 (en) | Information presentation apparatus and mobile terminal | |
US20030093794A1 (en) | Method and system for personal information retrieval, update and presentation | |
US20040181391A1 (en) | Speech recognition dictionary creation apparatus and information search apparatus | |
US20040117405A1 (en) | Relating media to information in a workflow system | |
KR20110007179A (ko) | 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치 | |
US7099894B2 (en) | Multimedia information collection control apparatus and method | |
JP4446728B2 (ja) | 複数のマルチメディア文書に格納された情報の表示法 | |
KR20030007727A (ko) | 자동 비디오 리트리버 제니 | |
US20070136348A1 (en) | Screen-wise presentation of search results | |
JP2002108892A (ja) | データ管理システム、データ管理方法、及び、記録媒体 | |
US20020059303A1 (en) | Multimedia data management system | |
US7848598B2 (en) | Image retrieval processing to obtain static image data from video data | |
EP1405212B1 (en) | Method and system for indexing and searching timed media information based upon relevance intervals | |
US20080016068A1 (en) | Media-personality information search system, media-personality information acquiring apparatus, media-personality information search apparatus, and method and program therefor | |
JP3815371B2 (ja) | 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体 | |
JP2006139382A (ja) | 情報処理装置及びその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060529 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130616 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140616 Year of fee payment: 8 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |