JP3815371B2 - 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体に係り、特に、映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体に関する。
【０００２】
詳しくは、映像データから映像解析処理、あるいは人手により生成された映像の関連情報と内容が関連する一般の電子文書データを映像データの新たな関連情報として取得し、取得した電子文書データを含む映像データの関連情報をもとに複数の映像を分類し、分類結果に基づいて映像及びその映像に関連する電子文書データを映像視聴者に提示する映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体に関する。具体的には、映像データとＷＷＷ情報のような既存の電子文書情報の対応関係定義情報を自動的に作成し、かつ、その対応関係の内容を分類するための映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体に関する。
【０００３】
【従来の技術】
近年の映像のディジタル化技術の進歩により、パーソナルコンピュータなどの情報処理装置で映像データを扱うことが容易になってきている。映像データのみを扱うのではなく、電子文書等の他のメディアとの関連付け、特に、インターネット上でのＷＷＷ（World Wide Web) システム上の電子文書メディアと関連付けを行い、映像データと関連付けられた電子文書を同時にインターネット上に配信し、映像視聴者に提示するシステムが登場している。
例えば、Microsoft 社の"Windows（登録商標） Media Technology", Real Networks 社の"Real System" を利用したシステムが挙げられる。これらのシステムでは、映像に同期して、ＷＷＷ上の情報を映像の関連情報として表示することができる。これは、映像データの情報及び、それに関連するＷＷＷ情報の対応関係が記述された対応関係定義情報を用いることで実現するものである。
【０００４】
このような技術に関連する従来の方式として、特開平１１−３５３３２５「映像と関連情報の同期表示シスム」、特開２０００−３０８０１７「映像視聴装置」、特開２００１−７６０９４「文字列情報抽出装置及び方法及びその方法を記録した記録媒体」、特開２００２−１４９７３「映像検索装置、方法、映像検索プログラムを記録した記録媒体」等があり、これらの方式に代表されるように、近年多く提案されている。
【０００５】
特開平１１−３５３３２５で提案されている方式は、映像データのシーン情報に付与されているキーワード情報を元に電子文書ＤＢを検索し、関連する電子文書データの元のシーンの関連情報として対応付けるものである。これにより、映像視聴者は、映像視聴中に電子文書データと関連付けられているシーンを視聴しながら、そのシーンと関連する電子文書情報を見ることができる。
【０００６】
また、特開２０００−３０８０１７、特開２００１−７６０９４、特開２００２−１４９７３で提案されている方式は、入力映像データに対して、予め決められた方法を用いて、映像解析処理を行い、得られた映像特徴量を元に事前に構築されている映像特徴量ＤＢを検索し、関連する映像特徴を持つ映像データと入力映像データとを関連付け、関連する複数の映像を一つのグループとして分類し、管理するものである。これにより、映像視聴者は同一のグループに属する映像を同時に視聴することができる。この方式は、特に映像中にテロップ情報や音声情報といった映像解析結果が直接映像の意味内容を反映する映像特徴を利用する場合には、効果的に映像のグループ化が行える。例えば、複数のニュース番組の中に含まれる同一の話題に関する複数の映像をテロップ情報や音声情報の認識結果を利用して、同じグループとして纏めることができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の技術においては、次のような問題がある。
【０００８】
特開平１１−３５３３２５で提案されているような映像と電子文書を自動的に関連付ける方法では、予め映像にキーワードを付与しておく必要があり、関連情報の作成のコストが大きくなってしまう。
【０００９】
また、特開２０００−３０８０１７、特開２００２−１４９７３で提案されるような映像の特徴量同士を関連付け、映像をグループ化する方法では、映像データに含まれる情報でしかグループ化ができないため、例えば、テロップ情報や音声情報等の映像の意味内容を反映したような映像特徴量を獲得しにくい場合には、映像の意味内容を反映したグループ化が行えず、映像視聴者の期待するグループ化が行えない場合がある。
【００１０】
また、従来のいずれの技術においても、複数の映像を意味内容に基づいてグループ化した後、同一のグループに属する映像データに加え、それらに関連する電子文書情報を合わせて関連する映像、及び電子文書を参照したい場合には、映像と電子文書をそれぞれ別々に探し出す必要がある。
【００１１】
本発明は、上記の点に鑑みなされたもので、映像データと電子文書情報を関連付ける際に、映像データに対し、一から予めキーワードを付与するようなコストの高い作業を必要としない関連付けの方法を提供し、また、複数の映像データに対し、映像解析処理により映像の意味内容に合った言語情報を獲得するのが困難な場合でも、意味内容を反映した映像のグループ化を実現し、また、映像視聴者が同一の話題に関する映像、及び電子文書を参照したい場合に、映像、電子文書をそれぞれ別々に探さなくてもよい映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】
図１は、本発明の原理を説明するための図である。
【００１４】
本発明（請求項１）は、映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成方法において、
映像データと該映像データを特定する映像識別番号を入力する映像入力ステップ（ステップ１）と、
入力された映像データ及び映像識別番号を格納する映像データ格納ステップ（ステップ２）と、
映像データに対し、予め決められた方法を用いて映像解析処理を行い、該映像データ中の映像特徴を抽出する第１の映像特徴抽出ステップ（ステップ３）と、
第１の映像特徴抽出ステップ（ステップ３）で得られた映像特徴を予め決められた方法を用いて修正すると共に、入力された映像データに関する映像特徴以外の書誌情報を入力し、修正した映像特徴、映像識別番号及び該書誌情報を、該映像データについての映像関連情報として入力する映像関連情報入力ステップ（ステップ４）と、
映像関連情報入力ステップ（ステップ４）で入力された映像関連情報を格納する映像関連情報格納ステップ（ステップ５）と、
テキスト、映像データを含む電子文書データ、及び該電子文書データを特定する電子文書識別番号を入力する電子文書入力ステップ（ステップ６）と、
電子文書入力ステップ（ステップ６）において入力された電子文書データ及び電子文書識別番号を格納する電子文書格納ステップ（ステップ７）と、
電子文書データ中の映像データに対し、予め決められた方法を用いて解析処理を行い、映像特徴を抽出する第２の映像特徴抽出ステップ（ステップ８）と、
第２の映像特徴抽出ステップ（ステップ８）で得られた映像特徴を予め決められた方法で修正すると共に、電子文書データ中の映像データに関する該映像特徴以外の書誌情報を入力し、修正した映像特徴、電子文書識別番号及び、該書誌情報を該電子文書データについての電子文書関連情報として入力する電子文書関連情報入力ステップ（ステップ９）と、
電子文書関連情報を格納する電子文書関連情報格納ステップ（ステップ１０）と、
映像関連情報格納ステップ（ステップ５）と電子文書関連情報格納ステップ（ステップ１０）で格納された映像関連情報と電子文書関連情報とを予め決められた方法を用いて比較し、該映像関連情報と関連する電子文書関連情報が存在する場合に、該電子文書関連情報を該映像関連情報の１つとして格納する映像関連情報生成ステップ（ステップ１１）と、
電子文書関連情報を含む映像関連情報、及び、電子文書データを利用して、予め決められた方法を用いて、該映像関連情報を分類する映像関連情報分類ステップ（ステップ１２と、
映像関連情報分類ステップ（ステップ１２）で得られた分類結果のカテゴリに応じて、映像関連情報格納ステップ（ステップ５）において格納された映像関連情報及び該映像関連情報に含まれる映像識別番号と対応する映像データ及び該映像関連情報に含まれる電子文書関連情報、及び該電子文書関連情報と対応する電子文書データを予め決められた様式に従って表示する映像関連情報表示ステップ（ステップ１３）と、を行う。
【００１５】
本発明（請求項２）は、映像関連情報表示ステップにおいて、
映像関連情報分類ステップで得られた分類結果のカテゴリを代表するキーワードを表示画面の第１の領域に並べて表示するカテゴリ表示ステップと、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の映像関連情報入力ステップで入力された映像関連情報を表示画面の第２の領域に一覧表示する映像情報表示ステップと、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の映像関連情報生成ステップで生成された電子文書情報を表示画面の第３の領域に一覧表示する電子文書情報表示ステップと、を行う。
【００１６】
図２は、本発明の原理構成図である。
【００１８】
本発明（請求項３）は、映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成装置であって、
映像データと該映像データを特定する映像識別番号を入力する映像入力手段１と、
入力された映像データ及び映像識別番号を格納する映像データ格納手段２と、
映像データに対し、予め決められた方法を用いて映像解析処理を行い、該映像データ中の映像特徴を抽出する第１の映像特徴抽出手段１２と、
第１の映像特徴抽出手段１２で得られた映像特徴を予め決められた方法を用いて修正すると共に、入力された映像データに関する映像特徴以外の書誌情報を入力し、修正した映像特徴、映像識別番号及び該書誌情報を、該映像データについての映像関連情報として入力する映像関連情報入力手段３と、
映像関連情報入力手段３で入力された映像関連情報を格納する映像関連情報格納手段と、
テキスト、映像データを含む電子文書データ、及び該電子文書データを特定する電子文書識別番号を入力する電子文書入力手段５と、
電子文書入力手段５において入力された電子文書データ及び電子文書識別番号を格納する電子文書格納手段６と、
電子文書データ中の映像データに対し、予め決められた方法を用いて解析処理を行い、映像特徴を抽出する第２の映像特徴抽出手段１３と、
第２の映像特徴抽出手段１３で得られた映像特徴を予め決められた方法で修正すると共に、電子文書データ中の映像データに関する該映像特徴以外の書誌情報を入力し、修正した映像特徴、電子文書識別番号及び、該書誌情報を該電子文書データについての電子文書関連情報として入力する電子文書関連情報入力手段７と、
電子文書関連情報を格納する電子文書関連情報格納手段８と、
映像関連情報格納手段４と電子文書関連情報格納手段８で格納された映像関連情報と電子文書関連情報とを予め決められた方法を用いて比較し、該映像関連情報と関連する電子文書関連情報が存在する場合に、該電子文書関連情報を該映像関連情報の１つとして格納する映像関連情報生成手段９と、
電子文書関連情報を含む映像関連情報、及び、電子文書データを利用して、予め決められた方法を用いて、該映像関連情報を分類する映像関連情報分類手段１０と、
映像関連情報分類手段１０で得られた分類結果のカテゴリに応じて、映像関連情報格納手段において格納された映像関連情報及び該映像関連情報に含まれる映像識別番号と対応する映像データ及び該映像関連情報に含まれる電子文書関連情報、及び該電子文書関連情報と対応する電子文書データを予め決められた様式に従って表示する映像関連情報表示手段１１と、を有する。
【００１９】
本発明（請求項４）は、映像関連情報表示手段１１は、
映像関連情報分類手段１０で得られた分類結果のカテゴリを代表するキーワードを表示画面の第１の領域に並べて表示するカテゴリ表示手段と、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の映像関連情報入力手段で入力された映像関連情報を表示画面の第２の領域に一覧表示する映像情報表示手段と、
カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の映像関連情報生成手段で生成された電子文書情報を表示画面の第３の領域に一覧表示する電子文書情報表示手段と、を有する。
【００２０】
本発明（請求項５）は、コンピュータに、
請求項３または４記載の映像関連情報生成装置の各手段の機能を実行させる映像関連情報生成プログラムである。
【００２１】
本発明（請求項６）は、コンピュータに、請求項３または４記載の映像関連情報生成装置の各手段の機能を実行させる映像関連情報生成プログラムを格納した記憶媒体である。
【００２２】
上記のように、本発明では、映像データの意味内容に関する情報を映像解析処理により自動的に獲得し、解析結果に誤りがなければ、そのまま自動的に得られた映像関連情報を格納できるため、映像データを電子文書に関連付ける際に、従来の技術のように映像データに予めキーワードを付与するような作業は必要なく、関連付け処理のコストを削減することが可能となる。また、仮に、映像解析処理に誤りがあっても、誤った部分を修正、加工するだけで済むので、従来の技術のようにキーワードを付与するための元となる情報が全くない状態からキーワードを付与する作業に比べ、作業コストを削減することが可能となる。
【００２３】
また、本発明では、映像データの関連情報として、テロップ情報、音声情報のような映像の意味内容を反映した映像特徴が得られていない場合でも、例えば、色情報、形状情報、動き情報等の獲得できている映像特徴を用いて電子文書中の映像、画像から得られる同様の特徴量と関連付けを行うことで、電子文書情報を映像データの関連情報として獲得することが可能となる。また、勿論、テロップ情報、音声情報といった映像の意味内容を反映した映像特徴が得られる場合も、同様に電子文書情報を映像データの関連情報として獲得することが可能である。即ち、映像データから得られる映像特徴量が映像の意味内容を反映している場合、反映していない場合、どちらの場合でも、電子文書を映像の関連情報として獲得することが可能である。このため、本発明では、電子文書情報を含んだ映像関連情報を用いて映像データのグループ化を行うことで、映像特徴の性質によらず、映像の意味内容を反映したグループ化を行うことが可能である。
【００２４】
また、本発明では、映像識別情報に対応する映像データ、及び電子文書識別情報に対応する電子文書データを映像視聴者の要求に応じて、同時に提示することも可能である。このため、映像視聴者は、同一のグループに属する映像関連情報、映像データ、電子文書データを同時に参照することができ、従来のように映像、及び電子文書情報をそれぞれ別々に探し出す必要はなく、従来に比べより効率的かつ、効果的な情報取得が可能となる。
【００２５】
【発明の実施の形態】
以下、図面と共に本発明の実施の形態を説明する。
【００２６】
図３は、本発明の一実施の形態における映像関連情報生成装置の構成を示す。同図に示す映像関連情報生成装置は、映像入力部１、映像データ格納部２、映像関連情報入力部３、映像関連情報格納部４、電子文書入力部５、電子文書格納部６、電子文書関連情報入力部７、電子文書関連情報格納部８、映像関連情報生成部９、映像関連情報分類部１０、映像関連情報表示部１１から構成される。
【００２７】
映像入力部１は、映像データを映像データを特定する映像識別番号を入力するものである。
【００２８】
映像データ格納部２は、映像入力部１から入力された映像データ、及び映像識別番号を格納するものである。これらは、例えば、ビデオテープ再生装置、パーソナルコンピュータ、映像取込みボード、及び制御用のソフトウェアを利用することで実現可能である。
【００２９】
具体的には、映像データがアナログ形式のテープ媒体で存在するような場合は、映像データをビデオテープ再生装置で再生させ、再生装置からの出力ビデオ信号をパーソナルコンピュータに付属の映像取込みボードで取込み、制御用ソフトウェアを用いて映像信号をディジタイズし、パーソナルコンピュータに付属のハードディスクにファイルとして保存する。また、その際のファイル名に映像を特定する識別番号を反映させたものを付けることで識別番号の格納が可能となる。予めディジタイズされた状態で映像データが存在する場合には、パーソナルコンピュータ上の映像ファイルとして同様に、ファイル名に映像を特定する識別番号を付けてハードディスク上に格納することで実現可能である。
【００３０】
映像関連情報入力部３は、映像入力部１から入力された映像データに対し、予め決められた方法を用いて、映像解析処理を行い、映像データ中の映像特徴情報を抽出し、抽出した結果をオペレータが必要に応じて修正し、また、入力映像データに関する映像特徴以外の書誌情報もオペレータが入力し、修正された映像特徴、書誌情報及び、映像識別番号を入力映像データについての関連情報として入力するものである。これは、例えば、パーソナルコンピュータ、及びパーソナルコンピュータ上のソフトウェアとして実現可能である。
【００３１】
映像解析処理の具体的な方法としては、従来までに提案されている映像中のシーンの切り替わりを検出する方法（特許第２８３９１３２号，谷口他「映像カット点検出方法及び装置」）や、テロップの文字を認識する方法（森他「背景・文字の形状特徴と動的識別修正識別関数を用いた映像中テロップ文字認識」電子情報通信学会論文誌（Ｄ−ＩＩ），vol.J83-D-II,no.7,pp.1658-1666,2000 ）、あるいは、音声区間を検出する方法（特願平８−３４０２９３，南他「映像分類方法及び装置」）、音声情報を認識する方法（野田他、「音声認識エンジンVoiceRexを開発」ＮＴＴ技術ジャーナル1999年12月号p.14）、また、映像中の色情報、カメラワーク情報を抽出する方法（特願平１１−１５２６５５「映像検索方法及び装置と映像検索プログラムを記録した記録媒体」）などを用いることが可能である。これらはいずれもコンピュータ上のソフトウェアとして実現されるものである。
【００３２】
映像特徴の具体的な修正方法としては、例えば、映像中のテロップ情報や音声情報を認識した結果のテキストコード情報を修正するには、パーソナルコンピュータ上のテキスト編集用ソフトウェアを利用することで実現可能である。
【００３３】
書誌情報は、前述のようにオペレータがパーソナルコンピュータ上で動作する専用のソフトウェアを使用して入力することが可能である。
【００３４】
映像関連情報格納部４は、映像関連情報入力部３から入力された映像関連情報を格納するものであり、例えば、パーソナルコンピュータのハードディスクで実現可能である。前述の映像関連情報をパーソナルコンピュータのファイルシステム上のファイル形式のデータとして取り扱うことで、ハードディスクに格納することができる。
【００３５】
電子文書入力部５は、テキスト、映像データを含む電子文書データと電子文書データを特定する電子文書識別番号を入力するものであり、例えば、パーソナルコンピュータ上のソフトウェアとして実現されるものである。電子文書データの一例としては、ＷＷＷ上のホームページ情報などがある。具体的には、ニュース映像とニュース内容を説明するテキスト情報が含まれるようなテレビ放送局のホームページファイル（ＨＴＭＬファイル、及び関連付けられた映像ファイル）を用いることが可能である。
【００３６】
電子文書格納部６は、電子文書入力部５で入力されたテキスト、映像データを含む電子文書データ及び、電子文書識別番号を格納するものであり、例えば、パーソナルコンピュータに付属のハードディスクを利用することで実現できる。
【００３７】
電子文書関連情報入力部７は、電子文書入力部５から入力されたテキスト、映像データを含む電子文書データの中の映像データに対し、予め決められた方法を用いて映像解析処理を行い、映像特徴を抽出するものであり、抽出した結果をオペレータが必要に応じて修正し、また、映像データに関する映像特徴以外の書誌情報もオペレータが入力し、修正された映像特徴、書誌情報、及び電子文書識別番号を入力電子文書データについての関連情報として入力するものである。これは、例えば、パーソナルコンピュータ、及びパーソナルコンピュータ上のソフトウェアとして実現可能である。
【００３８】
具体的には、映像関連情報入力部３と同様の処理を行うものであり、映像の解析方法としては、同じく、特許第２８３９１３２号，谷口他「映像カット点検出方法及び装置」、森他「背景・文字の形状特徴と動的識別修正識別関数を用いた映像中テロップ文字認識」電子情報通信学会論文誌（Ｄ−ＩＩ），vol.J83-D-II,no.7,pp.1658-1666,2000 、特願平８−３４０２９３，南他「映像分類方法及び装置」、野田他，「音声認識エンジンVoiceRexを開発」ＮＴＴ技術ジャーナル1999年12月号p.14）、特願平１１−１５２６５５，宮川他，「映像検索方法及び装置と映像検索プログラムを記録した記録媒体」に開示されている方法を用いることが可能である。これらの方法により、映像中のシーン情報、被写体情報、音に関する情報を抽出し、入力された電子文書の関連情報とする。映像解析の方法は、パーソナルコンピュータ上のソフトウェアとして実現可能である。
【００３９】
映像特徴の具体的な修正方法も同様に、例えば、映像中のテロップ情報や音声情報を認識した結果のテキストコード情報を修正するには、パーソナルコンピュータ上のテキスト編集用ソフトウェアを利用することで実現可能である。
【００４０】
同じく書誌情報は、前述のようにオペレータがパーソナルコンピュータ上で動作する専用のソフトウェアを使用して入力することが可能である。また、電子文書データの書誌情報としては、既に存在する電子文書データそのものから必要な情報を取り出し、利用することが可能である。電子文書データから必要な情報を取り出す方法としては、オペレータがマニュアルで行う方法もあるが、従来提案されている方法（大本，「日本語新聞記事からのキーワード自動抽出と重要度評価」，電子情報通信学会論文誌，vol.32,No2,pp.220-228,1991）を用いて自動的に行うことも可能である。
【００４１】
電子文書関連情報格納部８は、電子文書関連情報入力部７で入力された電子文書関連情報及び、電子文書識別番号を格納するものであり、例えば、パーソナルコンピュータのファイルシステム上のファイル形式のデータとして取り扱うことでハードディスクに格納することができる。
【００４２】
映像関連情報生成部９は、映像関連情報格納部４と電子文書関連情報格納部８にそれぞれ格納される映像関連情報と電子文書関連情報を予め決められた方法を用いて比較し、比較の結果、電子文書関連情報の中で映像関連情報と類似すると判断された電子文書関連情報及び、電子文書識別番号を対応する映像関連情報の一つとして登録するものであり、例えば、パーソナルコンピュータ、及びパーソナルコンピュータ上のソフトウェアとして実現可能である。
【００４３】
映像関連情報と電子文書関連情報の比較を行う方法としては、従来提案されているテキスト、映像特徴のマッチング方法を用いることが可能である。例えば、テキストのマッチング方法としては、「大本，『日本語新聞記事からのキーワード自動抽出と重要度評価』，電子情報通信学会論文誌，vol.32,No2,pp.220-228,1991」が開示されており、映像特徴のうち、テロップ文字の認識結果同士を比較する方式としては、「特願２０００−１９４９７２，桑野他『映像検索装置、方法、映像検索プログラムを記録した記録媒体』」があり、シーン情報を色、カメラワーク、時間長情報で比較する方式としては、前述の特願平１１−１５２６５５があり、本発明にはこれらが適用可能である。いずれの方法もパーソナルコンピュータ上のソフトウェアとして実現可能である。
【００４４】
映像関連情報分類部１０は、映像関連情報格納部４に格納される映像関連情報、電子文書格納部６に格納される電子文書データ、及び電子文書関連情報格納部８に格納される電子文書関連情報を利用して、映像関連情報を分類するものであり、例えば、パーソナルコンピュータ、及びその上で動作するソフトウェアとして実現可能である。
【００４５】
映像関連情報を分類する方法としては、従来提案されているテキストの分類、映像特徴の分類の方法を用いることが可能である。例えば、テキストの分類方法としては、「永田他、『テキスト分類−学習理論の「見本市」，情報処理学会学会誌,vol.42,No.1,2001 」があり、映像特徴のうち、テロップ文字の認識結果を分類する方法としては、特願２０００−１９４９７２があり、シーン情報を色、カメラワーク等で分類する方法として、特願平１１−１５２６５５がある。これらはいずれも、パーソナルコンピュータ、及び、その上で動作するソフトウェアとして実現可能である。
【００４６】
映像関連情報表示部１１は、映像関連情報、映像関連情報に関連する映像データ、及び、映像関連情報に含まれる電子文書識別番号と対応する電子文書データを予め決められた様式で表すものであり、例えば、パーソナルコンピュータ、その上で動作するソフトウェア、及びパーソナルコンピュータと接続されたディスプレイ装置を利用することで実現する。
【００４７】
表示の様式は例えば、コンピュータディスプレイ上に映像関連情報、映像データ、電子文書情報を、例えば、対応するもの同士を一行に並べ、テーブル形式で表示する方法をとることで、映像視聴者は、映像と関連情報を一覧することが可能である。
【００４８】
以下、上記の構成における動作を説明する。
【００４９】
最初に、上記の構成における動作の概要を説明する。
【００５０】
図４は、本発明の一実施の形態における映像関連情報生成装置の動作の概要を示すフローチャートである。
【００５１】
ステップ１０） 映像入力部１において、映像データと当該映像データを特定する映像識別番号を入力し、映像関連情報入力部３に転送すると共に、映像データ格納部２に格納する。
【００５２】
ステップ２０） 映像関連情報入力部３において、映像入力部１から入力された映像データに対し、映像解析処理を行い、映像関連情報格納部４に映像関連情報を映像関連情報格納部４に格納する。動作の詳細については、図５で後述する。
【００５３】
ステップ３０） 電子文書入力部５より電子文書データ及び電子文書識別番号を入力し、電子文書関連情報入力部７に転送すると共に、電子文書格納部６に格納する。
【００５４】
ステップ４０） 電子文書関連情報入力部７において、電子文書入力部５から入力された電子文書データから映像データを取り出し、映像データから抽出された映像特徴情報に対して基本関連情報を統合し、電子文書関連情報格納部６に格納する。動作の詳細については、図６で後述する。
【００５５】
ステップ５０） 映像関連情報生成部９において、映像関連情報格納部４に格納されている映像関連情報と、電子文書関連情報入力部７より入力される電子文書関連情報から新たな映像関連情報を生成し、映像関連情報格納部４に格納する。動作の詳細については、図７で後述する。
【００５６】
ステップ６０） 映像関連情報分類部１０において、映像関連情報格納部４に格納されている映像関連情報を、電子文書関連情報格納部８の電子文書関連情報を利用して分類する。
【００５７】
ステップ７０） 映像関連情報表示部１１において、映像関連情報格納部４に格納されている映像関連情報、映像データ格納部２に格納されている映像関連情報に関連する映像データ、電子文書格納部６に格納されている電子文書情報を表示する。
【００５８】
次に、映像関連情報入力部３の動作を説明する。
【００５９】
図５は、本発明の一実施の形態における映像関連情報入力部の処理のフローチャートである。
【００６０】
まず、映像関連情報入力部３の前段の処理を行う映像入力部１から映像データ、及び映像識別番号を入力し、入力された映像データに対し、映像解析処理を行い、映像特徴を抽出し（ステップ２１）、映像特徴を必要に応じて修正を行う（ステップ２２）。次に、基本関連情報を入力する（ステップ２３）。基本関連情報とは、例えば、入力映像のタイトル、概要、キーワードといった映像データを特定する映像特徴以外の映像関連情報を意味する。次に、映像識別番号、抽出した映像特徴の修正結果、並びに、基本関連情報を入力映像データの関連情報として統合し、これを映像関連情報格納部４へ出力する（ステップ２４）。
【００６１】
次に、電子文書関連情報入力部７における動作を説明する。
【００６２】
図６は、本発明の一実施の形態における電子文書関連情報入力部の処理のフローチャートである。
【００６３】
電子文書入力部５から電子文書関連情報入力部７に電子文書データ及び電子文書識別番号が入力されると（ステップ３０）、入力された電子文書データの中から映像データを取り出す（ステップ４１）。電子文書データの中から映像データを取り出す方法としては、例えば、ＷＷＷ上でテキストと映像データを含むホームページ情報から映像データだけを取り出す場合は、ホームページ情報であるＨＴＭＬ形式のファイルに記述される映像データのリンク情報から実際の映像データの所在場所の情報を獲得し、獲得した所在場所にアクセスすることで映像データを取得できる。
【００６４】
次に、取得した映像データに対し、映像解析処理を行い、映像特徴を抽出し（ステップ４２）、映像特徴情報を必要に応じて修正を行い（ステップ４３）、また、基本関連情報がある場合には入力する（ステップ４４）。ここで、基本関連情報とは、例えば、電子文書データのタイトル、概要、キーワードといった電子文書データを特定する映像特徴以外の関連情報を意味する。
【００６５】
最後に、電子文書識別番号、映像データから抽出した映像特徴の修正結果、並びに、基本関連情報を入力された電子文書データの関連情報として統合し、これを電子文書関情報格納部８に出力する（ステップ４５）。
【００６６】
次に、映像関連情報生成部９の動作を説明する。
【００６７】
図７は、本発明の一実施の形態における映像関連情報生成部の処理のフローチャートである。
【００６８】
同図に示すフローチャートでは、Ｍ個の映像関連情報とＮ個の電子文書関連情報の比較処理を行い、映像関連情報を生成する処理について説明する。
【００６９】
まず、カウンタ変数Ｉを０に初期化し（ステップ５１）、次に、カウンタ変数Ｊを０に初期化する（ステップ５２）。
【００７０】
Ｉ番目の映像関連情報を情報Ａとし、Ｊ番目の電子文書関連情報を情報Ｂとし、情報Ａと情報Ｂを比較する（ステップ５３）。比較する方法としては、例えば、前述の大本「日本語新聞記事からのキーワード自動抽出と重要度評価」，電子情報通信学会論文誌，vol.32,No2,pp.220-228,1991）で提案されている従来のテキスト情報のマッチング方法を適用することができる。あるいは、各関連情報の中にテキストではなく、色情報等の数値情報が含まれる場合の比較方法としては、前述の特願平１１−１５２６５５に開示されている方法等を適用することができる。
【００７１】
次に、情報Ａと情報Ｂを比較した結果、類似すると判断された場合（ステップ５４，ｙｅｓ）は、ステップ５５に移行し、類似しないと判断された場合（ステップ５４，ｎｏ）はステップ５６に移行する。類似すると判断された場合には、Ｉ番目の映像関連情報として、Ｊ番目の電子文書関連情報を追加登録し（ステップ５５）、ステップ５６に移行する。これにより、Ｉ番目の映像関連情報を持つ映像データとＪ番目の電子文書関連情報を持つ電子文書データが関連付けられた新たな映像関連情報が生成されたことになる。
【００７２】
カウンタ変数Ｊと定数Ｎを比較し、ＪがＮ未満の場合（ステップ５６，ｙｅｓ）、カウンタ変数Ｊを１増やし、ステップ５３に移行する。ＪがＮ以上の場合（ステップ５６，ｎｏ）、ＪがＮ以上の場合、カウンタ変数Ｉと定数Ｍを比較し、ＩがＭ未満の場合（ステップ５７，ｙｅｓ）、カウンタ変数Ｉを１増やし、ステップ５２に移行する（ステップ５９）。
【００７３】
【実施例】
以下、図面と共に本発明の実施例を説明する。
【００７４】
最初に、前述の図５に示した映像関連情報入力部３で実施される各処理ステップについて、具体例を用いて説明する。
【００７５】
図８は、本発明の一実施例の映像関連情報入力部で実施される処理フローの各ステップで得られる情報の例を示す。
【００７６】
同図（Ａ）は、映像特徴の抽出処理で得られる映像特徴の例を示しており、図５のステップ２１で得られる映像特徴である。同図は、映像特徴の例として、映像中のシーン情報及び該当するシーン中のテロップ情報、音声情報を示した表である。“シーン情報１”として、映像の最初から１分２０秒までの区間が検出され、その間、テロップ文字の認識処理結果は何も得られず、音声認識結果としては、「お昼のニュースです」という結果、また、“シーン情報２”として、映像中の１分２０秒から１分５０秒までの区間が検出され、その間、テロップ文字の認識結果として、「日米百脳合談始まる」、音声認識結果として、「日平首脳会談がありました」という結果が得られたことを示している。これらの情報の自動抽出処理は、いずれも前述の特許第２８３９１３２号、森他「背景・文字の形状特徴と動的識別修正識別関数を用いた映像中テロップ文字認識」電子情報通信学会論文誌（Ｄ−ＩＩ），vol.J83-D-II,no.7,pp.1658-1666,2000 ）、特願平８−３４０２９３，南他「映像分類方法及び装置」、野田他、「音声認識エンジンVoiceRexを開発」ＮＴＴ技術ジャーナル1999年12月号p.14、等に記載されている従来の提案技術を用いることで実現可能である。
【００７７】
同図（Ｂ）は、抽出結果の修正処理で得られる修正結果の例を示しており、図５のステップ２２で得られる修正結果である。同図に示す修正結果は、同図（Ａ）の内容を正しく修正したものを示した表である。“シーン情報２”のテロップ情報が、同図（Ａ）では、「日米百脳合談はじまる」であったが、「百脳」の「百」を「首」に、「合談」の「合」を「会」にそれぞれ修正し、『日米首脳会談はじまる』と修正したものである。同様に、“シーン情報２”の音声情報が、同図８（Ａ）では、「日平首脳会談がありました」であったが、「日平」の「平」を「米」に、「ありました」を「始まりました」にそれぞれ修正し、「日米首脳会談が始まりました」と修正したものである。
【００７８】
このように、オペレータが自動的に抽出した映像特徴を必要に応じて部分的に修正することで、各シーンに対してのより正確な関連情報が作成できる。映像特徴を事前に抽出せず、何もない状態からシーン情報、及び関連情報を作成するのに比べ、作業量が少なく、作成コストを削減することができる。
【００７９】
同図（Ｃ）は、基本関連情報の入力処理で入力される基本関連情報の例を示している。映像のタイトルとして「お昼のニュース」、映像内容の概要として「○月△日のお昼のニュース」、キーワードとして「Ａキャスター」、放送年月日として、「Ａ年Ｂ月Ｃ日」、著作権者として「Ａ放送局」という情報が入力された例である。
【００８０】
ここで、同図（Ｂ）の特徴抽出結果を修正したものと同図（Ｃ）の基本関連情報、更には、映像入力部１で入力された映像識別番号を、全て合わせて入力映像に対する関連情報とし、これを映像関連情報格納部４に格納する。
【００８１】
次に、図６のフローチャートで示した電子文書関連情報入力部７で実施される図９は、本発明の一実施例の電子文書関連情報入力部で実施される処理フローの各ステップで得られる情報の例を示す。
【００８２】
同図（Ａ）は、図６のステップ４２で得られる映像情報の例であり、映像中のシーン情報及び、該当するシーン中のテロップ情報、音声情報を示した表である。“シーン情報１”として、映像の最初から１分３０秒までの区間が検出され、その間、テロップ文字の認識処理結果として、「ワシントンに倒着したＫ首相」、音声認識結果として、「会談を楽しみ西てる」という結果、また、“シーン情報２”としては、区間は１分３０秒から２分３０秒までであるが、テロップ情報も音声情報も得られず、また、“シーン情報３”としては、映像中の２分３０秒から３分００秒までの区間が検出され、その間、テロップ文字の認識結果として、「合見するＫ首相」、音声認識結果として、「よい会談楽器た」という結果が得られたことを示している。これらの情報の自動抽出の処理は、いずれも前述の特許第２８３９１３２号、森他「背景・文字の形状特徴と動的識別修正識別関数を用いた映像中テロップ文字認識」電子情報通信学会論文誌（Ｄ−ＩＩ），vol.J83-D-II,no.7,pp.1658-1666,2000 ）、特願平８−３４０２９３，南他「映像分類方法及び装置」、野田他、「音声認識エンジンVoiceRexを開発」ＮＴＴ技術ジャーナル1999年12月号p.14、等に示されている従来の提案技術を用いることで実現可能である。
【００８３】
同図（Ｂ）は、図６のステップ４３で得られる修正結果の例であり、同図（Ａ）の内容を正しく修正したものを示した表である。“シーン情報１”のテロップ情報が同図（Ａ）では、「ワシントンに倒着したＫ首相」であったが、「倒着」の「倒」を「到」に変更し、「ワシントンに到着したＫ首相」と修正したものであり、また、音声情報が映像特徴抽出時は、「会談を楽しみ西てる」であったが、「西てる」を「にしている」と変更し、「会談を楽しみにしている」と修正したものである。同様に“シーン情報３”の音声情報が同図（Ａ）では、「よい会談楽器た」であったが、「楽器た」を「ができた」にそれぞれ変更し、「よい会談ができた」と修正したものである。
【００８４】
このように自動的に抽出した映像特徴を必要に応じて部分的に修正することで、各シーンに対してのより正確な関連情報が作成できる。映像特徴を事前に抽出せず、何もない状態からシーン情報、及び関連情報を作成するのに比べ、作業量が少なく作成コストを削減することができる。
【００８５】
同図（Ｃ）は、図６のステップ４４で入力される基本関連情報の例を示したものである。電子文書データのタイトルとして「○○新聞データ」、電子文書の内容についての概要として「○月△日の政治トピック」、キーワードとして「日米首脳会談」、電子文書データの配信開始年月日として「Ａ年Ｂ月Ｃ日」、著作権者として「Ａ放送局」という情報が入力された例である。
【００８６】
前述の映像関連情報入力部３の説明の中でも述べたが、この基本関連情報は、元の電子文書データ中のテキスト情報として既に存在しているような場合には、オペレータがマニュアルで選択して入力しなくとも、従来提案されている方法（大本，「日本語新聞記事からのキーワード自動抽出と重要度評価」，電子情報通信学会論文誌，vol.32,No2,pp.220-228,1991）を用いて自動的に入力することも可能である。
【００８７】
図９（Ｂ）の抽出結果を修正したものと、図９（Ｃ）の基本情報、さらには、映像入力部１で入力された映像識別番号を、全て合わせて入力映像に対する関連情報とし、これを電子文書関連情報格納部８に格納する。
【００８８】
次に、映像関連情報分類部１０における映像関連情報の分類処理について説明する。
【００８９】
図１０は、本発明の一実施例の映像関連情報分類部における映像関連情報の分類結果の例を示す。
【００９０】
同図（Ａ）は、分類前の映像関連情報の状態を表形式で示したものである。例として、各映像関連情報の映像識別番号、タイトル、作成日時の３つの情報を示している。映像識別番号として「０００００１」から「０００００５」まで存在し、映像識別番号「０００００１」の映像は、タイトル「Ｋ首相、日米首脳会談に向けワシントンへ出発」、作成日は「２００２年２月１０日１５時４５分」であり、映像識別番号「０００００３」の映像は、タイトル「携帯電話に新サービス」、作成日時は「２００２年２月１０日１７時３０分」である。これは、分類前の状態であり、まだ、各映像関連情報はそれぞれ独立の関係にある。
【００９１】
同図（Ｂ）は、分類後の映像関連情報の状態を表形式で示したものである。同図（Ａ）の表の一番左に分類により生成される複数、あるいは単数のカテゴリに付けられる「カテゴリ番号」という列が加わったものである。カテゴリ番号「０００１」として分類された映像関連情報は、識別番号「０００００１」と「０００００５」の２つであることが示されている。このカテゴリは、「日米首脳会談」に関して類似する情報を持つものとしてひとまとまりになったものである。また、カテゴリ番号「００２」として分類された映像関連情報は、識別番号「０００００２」と「０００００４」の２つであることを示されている。このカテゴリでは、「オリンピック」に関して類似する情報をもつものがひとまとまりにされたものである。
【００９２】
このような映像関連情報を分類する方法としては、例えば、「永田他、『テキスト分類−学習理論の「見本市」，情報処理学会学会誌,vol.42,No.1,2001 」に示されている従来の方法を用いることで実現可能である。映像関連情報を分類することにより、例えば、分類により生成された各カテゴリ内の映像関連情報同士に共通するキーワードの情報、及び各カテゴリに含まれる映像関連情報の件数を利用することで新しい映像視聴の方法が考えられる。次の例で新しい映像視聴の例を示す。
【００９３】
図１１は、本発明の一実施例の映像関連情報表示部における映像関連情報の表示例を示す。
【００９４】
映像関連情報表示部１１において、前述した映像関連情報格納部４に格納されている映像関連情報を、予め決められた方法に基づいて分類した結果を用いて、映像データそのものに加え、映像のタイトル等の映像関連情報、映像関連情報の一つとして含まれている電子文書関連情報に対応する電子文書データを生成されたカテゴリ毎に整理して表示した例である。同図では、時事ニュースに関するテレビ映像、及び電子文書データとして、新聞記事データを用いた表示例を示している。
【００９５】
同図は、パーソナルコンピュータのディスプレイ画面に表示されるウィンドウ画面を示している。ウィンドウ中の領域Ａは、「ニュースヘッドライン」というタイトルと共に、映像関連情報の分類の結果得られる各カテゴリを代表するキーワード、及び各カテゴリに含まれる映像関連情報の件数を添えて表示したものである。同図では、カテゴリは、個々のニュース項目毎に生成された場合を示している。各カテゴリを代表するキーワードは、カテゴリ内の各映像関連情報に含まれる最頻出の単語を自動、あるいは、マニュアルで選択したものである。自動で選択する場合は、「大本，「日本語新聞記事からのキーワード自動抽出と重要度評価」，電子情報通信学会論文誌，vol.32,No2,pp.220-228,1991」に記載されている方法が適用可能である。
【００９６】
領域Ａでは、カテゴリ内の映像関連情報の件数が多い順に上から並べて表示している。各カテゴリを代表するキーワードとして、上から順に「日米首脳会談」、「オリンピック」、「携帯電話サービス」が表示されている。同図の領域Ａのように、時事ニュースを対象にして、映像関連情報の件数に基づき、各ニュース項目を表示した場合、映像視聴者は、領域Ａの表示を参照することで、その時どのようなニュースが話題性のあるものか、一目で確認することが可能である。
【００９７】
領域Ｂは、領域Ａで表示される各ニュース項目のキーワードのテキスト表示部分をポインタで選択した際に表示されるものであり、選択されたニュース項目に関してテレビ放送で放送されたニュース映像を一覧する画面例である。同図の例では、領域Ａ中の「日米首脳会談」関連というテキスト表示が選択された場合の領域Ｂの表示内容の一連を示している。領域Ｂには、「日米首脳会談」関連のニュース映像が３５件のうち、８件が表示されている。
【００９８】
各ニュース映像表示は、上から順に、トピック番号、放送された際の具体的なニュースタイトル名、実際の映像の代表静止画像、放送日時、放送局名の順に映像関連情報入力部３で入力された情報が表示される。任意の静止代表画像を選択した場合、該当する映像データが再生される。ここで、トピック番号とは、映像関連情報分類部１０で生成された映像関連情報の各カテゴリ内における各映像関連情報を特定するための識別番号である。また、映像の代表静止画像とは、実際の放送映像データの内容を表す代表的なシーンの静止画像である。代表静止画像の選択は、映像特徴抽出処理により自動的に抽出されるシーン情報を利用するか、映像関連情報入力部３でマニュアルで選択されたシーン情報を利用する。
【００９９】
映像視聴者は、領域Ｂの内容を参照することで、同一のニュース情報について、複数の放送局から放送された映像を網羅的に一覧することができる。本実施例の場合、映像視聴者は、テレビ番組表には掲載されておらず、事前には詳細な放送時間を知ることができないようなニュース番組中の個々のニュース映像を視聴したい場合に、従来のようにリモコン装置等を用いてテレビチャンネルを切替ながら、所望の映像を探し出す操作を必要とせず、同一のニュース情報について、各放送局から放送された映像を漏らすことなく、全て入手することが可能となる。
【０１００】
領域Ｃには、領域Ｂと同様に、領域Ａで表示される各ニュース項目のキーワードのテキスト表示部分をマウスで選択し、クリックした際に表示されるものであり、選択されたニュース項目に関しての電子文書情報としてインターネット上で配信されている複数の新聞記事情報を一覧する画面例である。同図の例では、領域Ａ中の「日米首脳会談」関連というテキスト表示が選択された場合の領域Ｃの表示内容の一例を示している。領域Ｃには、「日米首脳会談」関連の新聞記事が表示されている。具体的には、同図中の領域Ｃには、Ａ新聞の「日米首脳会談」に関する新聞記事のテキスト情報、及び、会談の様子を表す画像情報が表示されている。
【０１０１】
本実施例の場合、「日米首脳会談」に関して網羅的に情報を入手したい場合に、領域Ｂの複数のニュース映像の他、インターネット上の新聞記事も併せて、一つの画面内で簡単に一覧できる。これにより、テレビ放送中の所望のニュース映像やインターネット上の新聞記事情報を自ら探し出す操作を必要とせず、知りたい情報を簡単に、かつ、網羅的に入手することが可能となる。
【０１０２】
また、上記の映像関連情報生成装置における映像入力部１、映像関連情報入力部３、電子文書入力部５、電子文書関連情報入力部７、映像関連情報生成部９、映像関連情報分類部１０及び映像関連情報表示部１１の動作をプログラムとして構築し、映像関連情報生成装置として利用されるコンピュータにインストールすることも可能である。
【０１０３】
また、構築されたプログラムを映像関連情報生成装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることにより、容易に本発明を実現できる。
【０１０４】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【０１０５】
【発明の効果】
上述のように、本発明によれば、映像データの意味内容に関する情報を映像解析処理により自動的に獲得し、解析結果に誤りがなければそのまま自動的に得られた映像関連情報を映像関連情報格納部に格納することが可能であるため、映像データを電子文書に関連付ける際に、従来のように映像データに予めキーワードを付与するような作業は必要なく、関連付け処理のコストを削減することが可能である。また、仮に映像解析処理に誤りがあっても、誤った部分を修正・加工するだけで済むので、従来のようにキーワードを付与するための元となる情報が全くない状態からキーワードを付与する作業に比べ、作業コストを削減することができる。
【０１０６】
また、本発明では、映像データの関連情報として、テロップ情報、音声情報のような映像の意味内容を反映した映像特徴が得られていない場合でも、例えば、色情報、形状情報、動き情報等の獲得できている映像特徴を用いて電子文書中の映像、画像から得られる同様の特徴量と関連付けを行うことで、電子文書情報を映像データの関連情報として獲得することができる。また、勿論、テロップ情報、音声情報といった映像の意味内容を反映した映像特徴が得られる場合も、同様に電子文書情報を映像データの関連情報として獲得することが可能である。即ち、映像データから得られる映像特徴量が映像の意味内容を反映している場合、反映していない場合、どちらの場合でも電子文書を映像の関連情報として獲得できる。そのため、電子文書情報を含んだ映像関連情報を用いて映像データのグループ化を行うことで、映像特徴の性質によらず、映像の意味内容を反映したグループ化を行うことが可能である。
【０１０７】
また、本発明では、映像関連情報格納部に含まれる映像識別情報に対応する映像データ、及び電子文書識別情報に対応する電子文書データを映像視聴者の要求に応じて、同時に提示することも可能である。このため、映像視聴者は同一のグループに属する映像関連情報、映像データ、電子文書データを同時に参照することができ、従来のように映像、及び電子文書情報をそれぞれ別々に探し出す必要がなく、従来に比べより効率的かつ効果的な情報取得が可能となる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における映像関連情報生成装置の構成図である。
【図４】本発明の一実施の形態における映像関連情報生成装置の動作の概要を示すフローチャートである。
【図５】本発明の一実施の形態における映像関連情報入力部の処理のフローチャートである。
【図６】本発明の一実施の形態における電子文書関連情報入力部の処理のフローチャートである。
【図７】本発明の一実施の形態における映像関連情報生成部の処理のフローチャートである。
【図８】本発明の一実施例の映像関連情報入力部で実施される処理フローの各ステップで得られる情報の例である。
【図９】本発明の一実施例の電子文書関連情報入力部で実施される処理フローの各ステップで得られる情報の例である。
【図１０】本発明の一実施例の映像関連情報分類部における映像関連情報の分類結果の例である。
【図１１】本発明の一実施例の映像関連情報表示部における映像関連情報の表示例である。
【符号の説明】
１ 映像入力手段、映像入力部
２ 映像データ格納手段、映像データ格納部
３ 映像関連情報入力手段、映像関連情報入力部
４ 映像関連情報格納手段、映像関連情報格納部
５ 電子文書入力手段、電子文書入力部
６ 電子文書格納手段、電子文書格納部
７ 電子文書関連情報入力手段、電子文書関連情報入力部
８ 電子文書関連情報格納手段、電子文書関連情報格納部
９ 映像関連情報生成手段、映像関連情報生成部
１０ 映像関連情報分類手段、映像関連情報分類部
１１ 映像関連情報表示手段、映像関連情報表示部
１２ 第１の映像特徴抽出手段
１３ 第２の映像特徴抽出手段

Claims (6)

1. 映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成方法において、
   映像データと該映像データを特定する映像識別番号を入力する映像入力ステップと、
   入力された前記映像データ及び前記映像識別番号を格納する映像データ格納ステップと、
   前記映像データに対し、予め決められた方法を用いて映像解析処理を行い、該映像データ中の映像特徴を抽出する第１の映像特徴抽出ステップと、
   前記第１の映像特徴抽出ステップで得られた前記映像特徴を予め決められた方法を用いて修正すると共に、入力された前記映像データに関する映像特徴以外の書誌情報を入力し、修正した映像特徴、前記映像識別番号及び該書誌情報を、該映像データについての映像関連情報として入力する映像関連情報入力ステップと、
   前記映像関連情報入力ステップで入力された前記映像関連情報を格納する映像関連情報格納ステップと、
   テキスト、映像データを含む電子文書データ、及び該電子文書データを特定する電子文書識別番号を入力する電子文書入力ステップと、
   前記電子文書入力ステップにおいて入力された前記電子文書データ及び前記電子文書識別番号を格納する電子文書格納ステップと、
   前記電子文書データ中の映像データに対し、予め決められた方法を用いて解析処理を行い、映像特徴を抽出する第２の映像特徴抽出ステップと、
   前記第２の映像特徴抽出ステップで得られた前記映像特徴を予め決められた方法で修正すると共に、前記電子文書データ中の前記映像データに関する該映像特徴以外の書誌情報を入力し、修正した映像特徴、前記電子文書識別番号及び、該書誌情報を該電子文書データについての電子文書関連情報として入力する電子文書関連情報入力ステップと、
   前記電子文書関連情報を格納する電子文書関連情報格納ステップと、
   前記映像関連情報格納ステップと前記電子文書関連情報格納ステップで格納された前記映像関連情報と前記電子文書関連情報とを予め決められた方法を用いて比較し、該映像関連情報と関連する電子文書関連情報が存在する場合に、該電子文書関連情報を該映像関連情報の１つとして格納する映像関連情報生成ステップと、
   前記電子文書関連情報を含む前記映像関連情報、及び、前記電子文書データを利用して、予め決められた方法を用いて、該映像関連情報を分類する映像関連情報分類ステップと、
   前記映像関連情報分類ステップで得られた分類結果のカテゴリに応じて、前記映像関連情報格納ステップにおいて格納された前記映像関連情報及び該映像関連情報に含まれる前記映像識別番号と対応する映像データ及び該映像関連情報に含まれる電子文書関連情報、及び該電子文書関連情報と対応する電子文書データを予め決められた様式に従って表示する映像関連情報表示ステップと、
   を行うことを特徴とする映像関連情報生成方法。
2. 前記映像関連情報表示ステップでは、
   前記映像関連情報分類ステップで得られた分類結果のカテゴリを代表するキーワードを表示画面の第１の領域に並べて表示するカテゴリ表示ステップと、
   カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の前記映像関連情報入力ステップで入力された前記映像関連情報を表示画面の第２の領域に一覧表示する映像情報表示ステップと、
   カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の前記映像関連情報生成ステップで生成された前記電子文書情報を表示画面の第３の領域に一覧表示する電子文書情報表示ステップと、
   を行う請求項１記載の映像関連情報生成方法。
3. 映像データの関連情報を生成し、生成された関連情報を内容に基づき分類し、分類結果に基づいて、映像及び関連情報を映像視聴者に提示するための映像関連情報生成装置であって、
   映像データと該映像データを特定する映像識別番号を入力する映像入力手段と、
   入力された前記映像データ及び前記映像識別番号を格納する映像データ格納手段と、
   前記映像データに対し、予め決められた方法を用いて映像解析処理を行い、該映像データ中の映像特徴を抽出する第１の映像特徴抽出手段と、
   前記第１の映像特徴抽出手段で得られた前記映像特徴を予め決められた方法を用いて修正すると共に、入力された前記映像データに関する映像特徴以外の書誌情報を入力し、修正した映像特徴、前記映像識別番号及び該書誌情報を、該映像データについての映像関連情報として入力する映像関連情報入力手段と、
   前記映像関連情報入力手段で入力された前記映像関連情報を格納する映像関連情報格納手段と、
   テキスト、映像データを含む電子文書データ、及び該電子文書データを特定する電子文書識別番号を入力する電子文書入力手段と、
   前記電子文書入力手段において入力された前記電子文書データ及び前記電子文書識別番号を格納する電子文書格納手段と、
   前記電子文書データ中の映像データに対し、予め決められた方法を用いて解析処理を行い、映像特徴を抽出する第２の映像特徴抽出手段と、
   前記第２の映像特徴抽出手段で得られた前記映像特徴を予め決められた方法で修正すると共に、前記電子文書データ中の前記映像データに関する該映像特徴以外の書誌情報を入力し、修正した映像特徴、前記電子文書識別番号及び、該書誌情報を該電子文書データについての電子文書関連情報として入力する電子文書関連情報入力手段と、
   前記電子文書関連情報を格納する電子文書関連情報格納手段と、
   前記映像関連情報格納手段と前記電子文書関連情報格納手段で格納された前記映像関連情報と前記電子文書関連情報とを予め決められた方法を用いて比較し、該映像関連情報と関連する電子文書関連情報が存在する場合に、該電子文書関連情報を該映像関連情報の１つとして格納する映像関連情報生成手段と、
   前記電子文書関連情報を含む前記映像関連情報、及び、前記電子文書データを利用して、予め決められた方法を用いて、該映像関連情報を分類する映像関連情報分類手段と、
   前記映像関連情報分類手段で得られた分類結果のカテゴリに応じて、前記映像関連情報格納手段において格納された前記映像関連情報及び該映像関連情報に含まれる前記映像識別番号と対応する映像データ及び該映像関連情報に含まれる電子文書関連情報、及び該電子文書関連情報と対応する電子文書データを予め決められた様式に従って表示する映像関連情報表示手段と、
   を有することを特徴とする映像関連情報生成装置。
4. 前記映像関連情報表示手段は、
   前記映像関連情報分類手段で得られた分類結果のカテゴリを代表するキーワードを表示画面の第１の領域に並べて表示するカテゴリ表示手段と、
   カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の前記映像関連情報入力手段で入力された前記映像関連情報を表示画面の第２の領域に一覧表示する映像情報表示手段と、
   カテゴリを代表するキーワードが選択された場合に、当該カテゴリに属する映像の前記映像関連情報生成手段で生成された前記電子文書情報を表示画面の第３の領域に一覧表示する電子文書情報表示手段と、
   を有する請求項３記載の映像関連情報生成装置。
5. コンピュータに、
   請求項３または４記載の映像関連情報生成装置の各手段の機能を実行させることを特徴とする映像関連情報生成プログラム。
6. コンピュータに、
   請求項３または４記載の映像関連情報生成装置の各手段の機能を実行させる映像関連情報生成プログラムを格納したことを特徴とする映像関連情報生成プログラムを格納した記憶媒体。

Images