JP3208116B2 - 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法 - Google Patents
映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法Info
- Publication number
- JP3208116B2 JP3208116B2 JP24952698A JP24952698A JP3208116B2 JP 3208116 B2 JP3208116 B2 JP 3208116B2 JP 24952698 A JP24952698 A JP 24952698A JP 24952698 A JP24952698 A JP 24952698A JP 3208116 B2 JP3208116 B2 JP 3208116B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- video
- segment
- index information
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
情報を記録した記録媒体、映像インデックス情報を用い
た映像情報管理方法、音声インデックス情報を記録した
記録媒体および音声インデックス情報を用いた音声情報
管理方法に関し、より詳細には、動画または/および音
声の検索、放送情報へのインデックス付与、映像番組の
編集・作成、映像情報に対する新たな情報サービスの提
供等に利用可能な映像インデックス情報を記録した記録
媒体、映像インデックス情報を用いた映像情報管理方
法、音声インデックス情報を記録した記録媒体および音
声インデックス情報を用いた音声情報管理方法に関す
る。
技術の発展や、インターネット、イントラネット、エク
ストラネット等の電子ネットワークの普及に伴って、日
常の生活・業務・サービス等で利用される身の回りのあ
らゆる情報が電子化され、電子情報として伝達された
り、あるいはコンピュータ世界のデータベース等に蓄積
されて、利用・活用されている。
ログデータであるか、デジタルデータであるかに関わら
ず、様々な形で利用・活用(例えば、情報の加工・情報
の検索・情報の伝達等)されており、この電子情報その
ものを利用・活用し易い形式・データ構造で扱う技術が
種々提供されている。
報は、その論理的な構造を表現するために、SGML、
HTML、XML等の論理構造を表現する構造タグが定
義され、情報を伝達するときに、内容とその論理構造で
表現することができるようになっている。このため、テ
キスト情報を利用・活用する際に、例えば、内部の論理
構造を用いて、効率的な検索・適切な要約文の生成・処
理速度の高速化等を図ることができる。
しても、静止画や、動画を効率的に蓄積したり、検索し
たりできる画像ファイリング技術が提供されている。
しては、例えば、特開平9−18432号公報『映像音
声素材管理検索システム』や、特開平9−50436号
公報『映像検索方法』、特開平10−40260号公報
『映像検索方法』が提供されている。
来の技術によれば、音声と動画とを有する映像情報に関
しては、映像情報の内部の論理構造を表現する方法が提
供されていないため、他の情報と比較して映像情報の利
用・活用が容易でないという問題点や、映像情報を再現
する際の再現方法に制約があるという問題点があった。
換言すれば、映像情報の操作性・作業性・取扱性の向上
を図れる十分なユーザ・インターフェースの手法が提供
されていないという問題点があった。
報に及んだ検索ができないという不具合や、目的のシ
ーンを特定するためには、一度映像情報を全て観ること
によってマークを付ける等の処理を行わないと頭だしが
できないという不具合や、映像情報の要約(ダイジェ
スト)を作成するには専門の機器や技術が必要であると
いう不具合等があった。
術によれば、複数の映像情報(例えば、複数の動画コン
テンツ)の中から所望の映像(シーン)が含まれる映像
情報を検索したり、または1つの映像情報中において所
望の映像が含まれる位置(区間)を特定することが可能
であるものの、以下の不具合が存在するため、一般化し
て全ての映像情報に適用することはできないという問題
点があった。
材管理検索システム』によれば、放送局や、大量・多量
の映像情報を扱う会社・施設等で使用するシステムが前
提であり、かつ、検索対象となる映像がニュース番組等
のように映像の内容を文字で表現した原稿が存在するも
のに限られるという不具合があった。
検索方法』によれば、各映像情報に対して検索用キーワ
ードが付与されているので、所望の映像情報を示す検索
キーワードを入力することにより、検索キーワードと一
致する検索用キーワードが付与された映像情報を所望の
映像情報として検索することができるものの、検索用キ
ーワードを付与する際に、基本的には対象となる映像情
報全体の内容を考慮して検索用キーワードを付与する必
要があるため、例えば、1つの映像情報に多数のトピッ
クスが存在する場合や、1つの映像情報の時間が長い場
合には、検索用キーワードを選択または決定して付与す
ることが面倒であるという不具合があった。
像検索方法』では、検索対象となる映像情報中にテロッ
プ等の文字情報が含まれることが前提であるため、テロ
ップ等を含まない映像情報には適用できないという不具
合があった。
声情報に関しても、音声情報の内部の論理構造を表現す
る方法が提供されていないため、他の情報と比較して音
声情報の利用・活用が容易でないという問題点や、音声
情報を再現する際の再現方法に制約があるという問題点
があった。換言すれば、音声情報の操作性・作業性・取
扱性の向上を図れる十分なユーザ・インターフェースの
手法が提供されていないという問題点があった。
て、映像情報の内部の論理構造を表現可能なデータ構造
を有する映像インデックス情報を記録した記録媒体を提
供することを第1の目的とする。
であって、映像情報の内部の論理構造を表現可能なデー
タ構造を有する映像インデックス情報を用いることによ
り、映像検索の利便性の向上を図った映像インデックス
情報を記録した記録媒体を提供することを第2の目的と
する。
であって、映像情報の内部の論理構造を表現可能とし、
映像情報の利用・活用を容易にし、映像情報の再現方法
の自由度を高め、映像情報の操作性・作業性・取扱性の
向上を図ったユーザ・インターフェースの手法を提供す
ることを第3の目的とする。
であって、映像情報の再現方法の自由度を高めて、映像
情報を効率的・効果的に利用・活用できるユーザ・イン
ターフェースの手法を提供することを第4の目的とす
る。
て、音声情報の内部の論理構造を表現可能なデータ構造
を有する音声インデックス情報を記録した記録媒体を提
供することを第5の目的とする。
であって、音声情報の内部の論理構造を表現可能なデー
タ構造を有する音声インデックス情報を用いることによ
り、音声検索の利便性の向上を図った音声インデックス
情報を記録した記録媒体を提供することを第6の目的と
する。
であって、音声情報の内部の論理構造を表現可能とし、
音声情報の利用・活用を容易にし、音声情報の再現方法
の自由度を高め、音声情報の操作性・作業性・取扱性の
向上を図ったユーザ・インターフェースの手法を提供す
ることを第7の目的とする。
的を達成するために、請求項1に係る映像インデックス
情報を記録した記録媒体は、映像情報を解析して作成し
た映像インデックス情報を記録したコンピュータ読み取
り可能な記録媒体であって、前記映像インデックス情報
が、前記映像情報中の任意の連続するフレームを1単位
の情報として管理する少なくとも1つのフレーム情報
と、前記映像情報中の任意の範囲に対応した音声を1単
位の情報として管理する少なくとも1つのサウンド情報
と、1単位の情報である前記フレーム情報およびサウン
ド情報を分類して、所望の意味のある集合として管理す
る少なくとも1つのセグメント情報と、前記セグメント
情報を複数まとめて管理するためのパッケージ情報と、
を構造要素オブジェクトとしたツリー構造であり、さら
に前記セグメント情報が、そのセグメント情報が管理す
る前記フレーム情報およびサウンド情報と同一の範囲の
フレームおよび音声を用いて生成された他のセグメント
情報を複数まとめて管理するためのパッケージ情報を管
理し、前記ツリー構造において、1つのセグメント情報
の下位に、前記フレーム情報およびサウンド情報に加え
て前記パッケージ情報を配置したデータ構造であるもの
である。
報を記録した記録媒体は、請求項1記載の映像インデッ
クス情報を記録した記録媒体において、前記構造要素オ
ブジェクトのうち、少なくとも1種類の構造要素オブジ
ェクトが、その構造要素オブジェクトが直接または間接
的に管理するフレームまたは/および音声の内容を検索
するための検索情報を有するものである。
報を記録した記録媒体は、請求項1記載の映像インデッ
クス情報を記録した記録媒体において、前記構造要素オ
ブジェクトが、それぞれその構造要素オブジェクトが直
接または間接的に管理するフレームまたは/および音声
の内容を検索するための検索情報を有するものである。
請求項4に係る映像インデックス情報を用いた映像情報
管理方法は、少なくとも複数のフレームを含む映像情報
を解析して、前記映像情報とは別に前記映像情報を管理
するための映像インデックス情報を生成し、生成した映
像インデックス情報を参照することにより前記映像情報
を管理する映像インデックス情報を用いた映像情報管理
方法であって、前記映像インデックス情報が、前記映像
情報中の任意の連続するフレームを1単位の情報として
管理する少なくとも1つのフレーム情報と、前記映像情
報中の任意の範囲に対応した音声を1単位の情報として
管理する少なくとも1つのサウンド情報と、1単位の情
報である前記フレーム情報およびサウンド情報を分類し
て、所望の意味のある集合として管理する少なくとも1
つのセグメント情報と、前記セグメント情報を複数まと
めて管理するためのパッケージ情報と、を構造要素オブ
ジェクトとしたツリー構造であり、さらに前記セグメン
ト情報が、そのセグメント情報が管理する前記フレーム
情報およびサウンド情報と同一の範囲のフレームおよび
音声を用いて生成された他のセグメント情報を複数まと
めて管理するためのパッケージ情報を管理し、前記ツリ
ー構造において、1つのセグメント情報の下位に、前記
フレーム情報およびサウンド情報に加えて前記パッケー
ジ情報を配置し、前記映像インデックス情報のツリー構
造および構造要素オブジェクトを用いて前記映像情報を
管理するものである。
報を用いた映像情報管理方法は、請求項4記載の映像イ
ンデックス情報を用いた映像情報管理方法において、前
記映像インデックス情報のツリー構造中の特定の構造要
素オブジェクトを指定し、該当する構造要素オブジェク
トのみを可視または/および可聴するものである。
報を用いた映像情報管理方法は、請求項4または5記載
の映像インデックス情報を用いた映像情報管理方法にお
いて、前記フレーム情報が、ツリー構造中のノードI
D、そのフレーム情報で管理する連続するフレームの範
囲、および前記映像情報における位置を示すポインタを
有しているものである。
報を用いた映像情報管理方法は、請求項4〜6記載のい
ずれか一つの映像インデックス情報を用いた映像情報管
理方法において、前記サウンド情報が、ツリー構造中の
ノードID、そのサウンド情報で管理する任意の範囲、
および前記映像情報における位置を示すポインタを有し
ているものである。
報を用いた映像情報管理方法は、請求項4〜7記載のい
ずれか一つの映像インデックス情報を用いた映像情報管
理方法において、前記セグメント情報が、ツリー構造中
のノードID、そのセグメント情報で管理するフレーム
情報・サウンド情報・パッケージ情報を特定するための
特定情報、および、そのセグメント情報が属する上位の
パッケージ情報へのポインタを有しているものである。
報を用いた映像情報管理方法は、請求項4〜8記載のい
ずれか一つの映像インデックス情報を用いた映像情報管
理方法において、前記パッケージ情報が、ツリー構造中
のノードID、そのパッケージ情報で管理するセグメン
ト情報のリスト、および、そのパッケージ情報が属する
上位のセグメント情報へのポインタを有しているもので
ある。
情報を用いた映像情報管理方法は、請求項4〜9記載の
いずれか一つの映像インデックス情報を用いた映像情報
管理方法において、さらに前記映像インデックス情報
が、そのツリー構造中に任意の属性オブジェクトを配置
することが可能であり、前記映像インデックス情報中の
全ての構造要素オブジェクトは、前記属性オブジェクト
へのポインタを有し、前記属性オブジェクトおよび前記
属性オブジェクトへのポインタを用いて、任意の構造要
素オブジェクトに対して任意の付加情報を追加すること
が可能であるものである。
請求項11に係る映像インデックス情報を用いた映像情
報管理方法は、少なくとも複数のフレームを含む映像情
報を解析して、前記映像情報とは別に前記映像情報を管
理するための映像インデックス情報を生成し、生成した
映像インデックス情報を参照することにより前記映像情
報を管理する映像インデックス情報を用いた映像情報管
理方法であって、前記映像インデックス情報が、少なく
とも前記映像情報中の任意の連続するフレームの範囲を
管理するための複数のセグメント情報と、前記複数のセ
グメント情報をどのような順序でたどるかを示すセグメ
ント情報間のリンクリストからなるビュー情報と、を有
し、あらかじめ前記映像情報を構成する前記複数のセグ
メント情報の中から、所望の数のセグメント情報を所望
の順序でたどるリンクリストを複数生成し、各々のリン
クリストに対応する複数のビュー情報を設定し、前記複
数のビュー情報を有する前記映像インデックス情報を用
いて前記映像情報を管理するものである。
情報を用いた映像情報管理方法は、請求項11記載の映
像インデックス情報を用いた映像情報管理方法におい
て、前記映像インデックス情報の複数のビュー情報の中
から特定のビュー情報を指定し、指定したビュー情報の
リンクリストを用いて前記映像情報中の一部を可視また
は/および可聴するものである。
情報を用いた映像情報管理方法は、請求項4〜12記載
のいずれか一つの映像インデックス情報を用いた映像情
報管理方法において、前記映像インデックス情報を前記
映像情報と分離して保存するものである。
ために、請求項14に係る音声インデックス情報を記録
した記録媒体は、音声情報を解析して作成した音声イン
デックス情報を記録したコンピュータ読み取り可能な記
録媒体であって、前記音声インデックス情報が、前記音
声情報中の任意の範囲に対応した音声を1単位の情報と
して管理する少なくとも1つのサウンド情報と、1単位
の情報である前記サウンド情報を分類して、所望の意味
のある集合として管理する少なくとも1つのセグメント
情報と、前記セグメント情報を複数まとめて管理するた
めのパッケージ情報と、を構造要素オブジェクトとした
ツリー構造であり、さらに前記セグメント情報が、その
セグメント情報が管理する前記サウンド情報と同一の範
囲の音声を用いて生成された他のセグメント情報を複数
まとめて管理するためのパッケージ情報を管理し、前記
ツリー構造において、1つのセグメント情報の下位に、
前記サウンド情報に加えて前記パッケージ情報を配置し
たものである。
情報を記録した記録媒体は、請求項14記載の音声イン
デックス情報を記録した記録媒体において、前記構造要
素オブジェクトのうち、少なくとも1種類の構造要素オ
ブジェクトが、その構造要素オブジェクトが直接または
間接的に管理する音声の内容を検索するための検索情報
を有するものである。
情報を記録した記録媒体は、請求項14記載の音声イン
デックス情報を記録した記録媒体において、前記構造要
素オブジェクトが、それぞれその構造要素オブジェクト
が直接または間接的に管理する音声の内容を検索するた
めの検索情報を有するものである。
請求項17に係る音声インデックス情報を用いた音声情
報管理方法は、音声情報を解析して、前記音声情報とは
別に前記音声情報を管理するための音声インデックス情
報を生成し、生成した音声インデックス情報を参照する
ことにより前記音声情報を管理する音声インデックス情
報を用いた音声情報管理方法であって、前記音声インデ
ックス情報が、前記音声情報中の任意の範囲に対応した
音声を1単位の情報として管理する少なくとも1つのサ
ウンド情報と、1単位の情報である前記サウンド情報を
分類して、所望の意味のある集合として管理する少なく
とも1つのセグメント情報と、前記セグメント情報を複
数まとめて管理するためのパッケージ情報と、を構造要
素オブジェクトとしたツリー構造であり、さらに前記セ
グメント情報が、そのセグメント情報が管理する前記サ
ウンド情報と同一の範囲の音声を用いて生成された他の
セグメント情報を複数まとめて管理するためのパッケー
ジ情報を管理し、前記ツリー構造において、1つのセグ
メント情報の下位に、前記サウンド情報に加えて前記パ
ッケージ情報を配置し、前記音声インデックス情報のツ
リー構造および構造要素オブジェクトを用いて前記音声
情報を管理するものである。
情報を用いた音声情報管理方法は、請求項17記載の音
声インデックス情報を用いた音声情報管理方法におい
て、前記音声インデックス情報を前記音声情報と分離し
て保存するものである。
情報を記録した記録媒体、映像インデックス情報を用い
た映像情報管理方法、音声インデックス情報を記録した
記録媒体および音声インデックス情報を用いた音声情報
管理方法について、〔実施の形態1〕〜〔実施の形態
3〕の順で、添付の図面を参照して詳細に説明する。
デックス情報を用いた映像情報管理方法では、映像情報
として、例えば、放送情報、ビデオ情報等のように動画
と音声とを含む情報を対象としており、少なくとも複数
のフレームを含む映像情報を解析して、映像情報とは別
に映像情報を管理するための映像インデックス情報を生
成する。この映像インデックス情報は、基本的に後述す
るフレーム情報、サウンド情報、セグメント情報および
パッケージ情報を構造要素オブジェクトとしたツリー構
造で構成されており、この生成した映像インデックス情
報のツリー構造および構造要素オブジェクトを用いて映
像情報を管理するものである。
意の属性オブジェクトを配置することが可能であり、こ
の属性オブジェクトを用いて、上記構造要素オブジェク
トに対応させて必要なデータを保持することができる構
成である。なお、この属性オブジェクトとして、各構造
要素オブジェクトが直接または間接的に管理するフレー
ムまたは/音声の内容を検索するための検索情報を設定
することにより、映像インデックス情報によって構造化
された映像情報の詳細な検索を容易に行うことが可能と
なる。
報を用いた映像情報管理方法について、 実施の形態1の映像インデックス情報のデータ構造 実施の形態1の映像インデックス情報の生成方法 応用例 の順で詳細に説明する。
のデータ構造 図1は、映像インデックス情報のデータ構造を示す説明
図である。映像インデックス情報100は、図示の如
く、複数の構造要素オブジェクトを階層化したツリー構
造で構成されており、この映像インデックス情報100
そのものを一つのデータ・ファイル(インデックス・フ
ァイル)として取り扱うことができる。したがって、映
像インデックス情報100は、映像情報と一体で保存す
ることも可能であり、また映像情報と分離して保存する
ことも可能である。
ブジェクトは、ツリー情報101と、フレーム情報10
2(102A〜102F)と、サウンド情報103(1
03A〜103F)と、セグメント情報104(104
A〜104F)と、パッケージ情報105(105A〜
105C)と、から構成される。
クス情報100のツリー構造の最上位に設定される情報
であり、1つの映像情報に関する全ての構造要素オブジ
ェクトがこの下位の層に配置されている。換言すれば、
1つの映像インデックス情報100の入口を宣言する情
報である。また、このツリー情報101の下位には、映
像情報(音声および動画)全体を表す1つのパッケージ
情報105Aが配置されており、このパッケージ情報1
05Aの下には映像情報全体を表す1つのセグメント情
報104Aが配置されている。
の連続するフレームを1単位の情報として管理するため
の情報であり、ツリー構造中のノードID、そのフレー
ム情報で管理する連続するフレームの範囲、および映像
情報における位置を示すポインタを有している。
の範囲に対応した音声を1単位の情報として管理するた
めの情報であり、ツリー構造中のノードID、そのサウ
ンド情報で管理する任意の範囲、および映像情報におけ
る位置を示すポインタを有している。
あるフレーム情報102およびサウンド情報103を分
類して、所望の意味のある集合として管理するための情
報であると共に、そのセグメント情報104が管理する
フレーム情報102およびサウンド情報103と同一の
範囲のフレームおよび音声を用いて生成された他のセグ
メント情報104を複数まとめて管理するためのパッケ
ージ情報105を管理するための情報である。なお、セ
グメント情報104は、ツリー構造中のノードID、そ
のセグメント情報104で管理するフレーム情報・サウ
ンド情報・パッケージ情報を特定するための特定情報、
および、そのセグメント情報104が属する上位のパッ
ケージ情報105へのポインタを有している。
4Aは、フレーム情報102A、サウンド情報103A
およびパッケージ情報105Bを管理するための情報で
あり、セグメント情報104AのノードIDと、フレー
ム情報102A・サウンド情報103A・パッケージ情
報105Bを特定するための特定情報と、そのセグメン
ト情報104Aが属する上位のパッケージ情報105A
へのポインタとを有している。
104を複数まとめて管理するための情報であり、ツリ
ー構造中のノードID、そのパッケージ情報105で管
理するセグメント情報104のリスト、および、そのパ
ッケージ情報105が属する上位のセグメント情報10
4へのポインタを有している。
5Bは、3つのセグメント情報104B〜104Dをま
とめて管理するための情報であり、ツリー構造中のノー
ドID、そのパッケージ情報105Bで管理するセグメ
ント情報104B〜104Cのリスト、および、そのパ
ッケージ情報105Bが属する上位のセグメント情報1
04Aへのポインタを有している。
100は、各構造要素オブジェクトからなるツリー構造
において、1つのセグメント情報104の下位に、フレ
ーム情報102およびサウンド情報103に加えてパッ
ケージ情報105を配置することができる。
のツリー構造中に任意の属性オブジェクトを配置するこ
とが可能である。また、映像インデックス情報100中
の全ての構造要素オブジェクト(ツリー情報101、フ
レーム情報102、サウンド情報103、セグメント情
報104およびパッケージ情報105)は、属性オブジ
ェクトへのポインタを有し、属性オブジェクトおよび属
性オブジェクトへのポインタを用いて、任意の構造要素
オブジェクトに対して任意の付加情報を追加することが
可能である。
リー構造中に属性オブジェクトを配置した例を示し、図
2では、付加情報の追加を行いたい構造要素オブジェク
ト(ここでは、パッケージ情報105A〜105C)の
下層に、属性オブジェクト106(属性オブジェクト1
06A〜106C)を配置し、対応する属性オブジェク
ト106へのポインタ107をそれぞれの構造要素オブ
ジェクトに設定した例を示している。なお、属性オブジ
ェクト106の配置場所は特に限定するものではなく、
例えば、ツリー構造中の特定の場所に属性オブジェクト
106のみを集めて配置し、各構造要素オブジェクトか
らポインタ107を介して対応する属性オブジェクト1
06にリンクさせる構成でも良い。
の生成方法 次に、映像情報を解析して映像インデックス情報100
を生成する方法について簡単に説明する。
メント情報104は、分割された映像(動画および音
声)のフレーム連続および音声連続の塊を表し、構造化
された映像の1単位の情報として定義できる。1つの長
大な映像情報も、はじめは全体をひと塊とみなすことが
できるので、1つのセグメント情報104A(図1参
照)として存在する。セグメント情報104A以外の他
のセグメント情報104は、親となるセグメント情報1
04を分割した一部分である。例えば、セグメント情報
104B〜104Dはそれぞれ親となるセグメント情報
104Aを分割した一部分であり、セグメント情報10
4E、104Fはそれぞれ親となるセグメント情報10
4Cを分割した一部分である。
えば、セグメント情報104C)を複数に分割した場
合、その分割された一部分であるセグメント情報104
(ここでは、104E、104F)同士をまとめて管理
するものがパッケージ情報105であるということがで
きる。
て映像インデックス情報100を生成する場合、先ず、
映像情報を解析する必要があるが、この映像情報の解析
は、映像情報をどうのような目的で利用・活用するかに
よって様々な解析方法を適用することができる。例え
ば、単純に背景色に注目して映像情報を解析する方法
や、動きに注目して解析する方法、特定のオブジェクト
の存在有無によって解析する方法、単純な時分割によっ
て解析する方法等が考えられる。換言すれば、映像情報
の解析は、当該映像情報をどうのような目的で利用・活
用するかに基づいて作成されたアルゴリズム(目的に応
じたアルゴリズム)を適用して自由に行うことができ、
その解析方法は特に限定されるべきではない。さらに付
け加えれば、特別な解析アルゴリズムによらず、利用者
が直接映像情報を見て、手操作で解析結果を入力する方
法でも良い。
し、この解析結果を用いて映像インデックス情報100
を生成する方法について説明する。
2回セグメント分割した場合の、セグメント情報104
とパッケージ情報105との関係を示す説明図である。
なお、同図の右側はツリー構造を示し、左側は対応する
映像情報の状態をフレームの連続で示したものである。
ただし、この映像情報の状態は、説明を分かりやすくす
るために映像インデックス情報100中のフレーム情報
102およびサウンド情報103を抽象化(イメージ
化)して表したものであり、実際に生の映像情報(オリ
ジナルの映像情報)の状態を示しているものではない。
が全く構造化されていないので、映像インデックス情報
100のツリー構造としては、ツリー情報101と、1
つのパッケージ情報105およびセグメント情報104
のみが存在する。すなわち、1つの映像インデックス情
報100の入口を宣言するツリー情報101の下に、映
像情報(音声および動画)全体を表す1つのパッケージ
情報105Aが配置されており、このパッケージ情報1
05Aの下には映像情報全体を表す1つのセグメント情
報104Aが配置されている。この状態の映像情報に対
して背景色の変化を検出するアルゴリズムを適用し、矢
印の部分で映像情報(連続するフレーム)を分割し、同
図(b)の状態のツリー構造および映像情報のフレーム
の状態を生成する。
ント情報104Aの下位に3つのセグメント情報104
B〜104Dが作成され、ツリーが構造化(階層化)さ
れたようすを示している。なお、これらの3つのセグメ
ント情報104B〜104Dはパッケージ情報105B
によってまとめられ、セグメント情報104Aで管理さ
れることになる。
ータを細かく設定したものを適用して、さらに同図
(b)の左側の矢印で示す部分で映像情報をそれぞれ分
割し、同図(c)の状態のツリー構造および映像情報の
フレームの状態を生成する。
ント情報104B〜104Dに対して、下位パッケージ
情報105C〜105Eが作成され、パッケージ情報1
05Cに分割されたセグメント情報104E、104F
が格納され、パッケージ情報105Dに分割されたセグ
メント情報104G、104Hが格納され、パッケージ
情報105Eに分割されたセグメント情報104I、1
04Jが格納される。作成されたツリー構造は、背景の
変化によるシーン抽出(背景色の変化を検出するアルゴ
リズム)によって、下位にいくほど細かく構造化された
ものとなる。
フレーム情報102およびセグメント情報104は、探
査モジュールによって検出され、図1で示したようにツ
リー構造中の対応するセグメント情報104の下位に保
持される。
ケージ情報105を生成する際に、属性オブジェクト1
06を用いて、利用・活用する目的に応じて所望の情報
を付加情報(例えば,検索情報)として生成し、後で検
索等に利用することもできる。具体的は、属性オブジェ
クト106としてテキスト情報を用いて、各構造要素オ
ブジェクトの特徴となるキーワード等を設定し、後にキ
ーワードを用いて検索したり、分類したりすることがで
きる。
作によって、下位にパッケージ情報105を作成した
り、フレーム情報102およびサウンド情報103を登
録することにより、映像インデックス情報100の生成
を行うことができる。
情報100が、例えば、図1に示すようなツリー構造と
して提供されることになる。以上の説明から明らかなよ
うに映像インデックス情報100は、文書(テキスト情
報)を章、節、項等で構造化するように、映像をセグメ
ント分割により構造化して表したものであるため、文書
でのタイトルのように、分割したセグメント情報104
およびパッケージ情報105を用いて、所望のフレーム
情報102や、サウンド情報103の検索に役立てるこ
とができる。また、ツリー構造中の特定の構造要素オブ
ジェクトを指定し、該当する構造要素オブジェクトのみ
を可視または/および可聴が容易に行える。
一の映像情報に異なるアルゴリズムを適用して解析し、
映像インデックス情報100を生成した場合、または同
一の映像情報を異なる分割の仕方で分割して、複数のパ
ッケージ情報を生成した場合について説明する。
ズムを適用して、セグメント情報104Aを矢印の部分
で3つのセグメント情報104B〜104Dに分割し、
パッケージ情報105Bを生成する。次に、同図(b)
に示すように、第2のアルゴリズムを適用して、セグメ
ント情報104Aを矢印の部分で2つのセグメント情報
104E、104Fに分割してパッケージ情報105C
を生成すると、映像インデックス情報100は、同図
(c)に示すように、セグメント情報104Aの下位に
2つのパッケージ情報105B、105Cが配置された
ツリー構造となる。
連続して行っても良く、同一の時間に異なる場所で異な
る作業として行っても良い。すなわち、映像インデック
ス情報100がツリー構造であり、さらに実際の映像情
報を加工するものではないため、同一のセグメント情報
104に対する操作(換言すれば、該当するセグメント
情報104の下位のツリー構造の生成)であっても、異
なる作業者が異なる場所で同一の時間に行う等、何の制
約もなく行うことができる。また、それぞれが生成した
映像インデックス情報100は、同一の映像情報であれ
ば、一つのツリー情報101の下にマージして管理する
ことができる。
リズムを適用して生成した映像インデックス情報100
を1つのツリー情報101の下にマージした状態と認識
することもできる。
像情報管理方法を具体的に実施した場合の応用例につい
て説明する。
図である。応用例1としては、映像インデックス情報1
00と実際の映像情報の分離が可能なことを利用して、
テレビ放送等によって映像情報が実際に送信される前
に、センター501から映像インデックス情報100を
インターネットを介して専用の端末装置502に配信す
る。あるいは、放送予定番組の番組表を専用に放送する
チャネルを有する場合には、番組表と共に映像インデッ
クス情報を放送しても良い。
情報100を用いて録画したい部分のみを選択して、録
画予約を行い。実際に映像情報を放送で受信した際に、
必要な部分のみを録画することができる。あるいは、映
像情報を録画しておき、先に受信した映像インデックス
情報100を用いて、希望の映像の部分のみを再生して
観ることもできる。
図である。応用例2は、映像インデックス情報100を
映像情報の検索ツールに利用した例を示し、複数の映像
情報を記憶した映像情報ライブラリィ601と、映像情
報ライブラリィ601の各映像情報に対応した複数の映
像インデックス情報を記憶した映像インデックス情報デ
ータベース602と、映像インデックス情報を用いた専
用の映像情報検索ツール603と、を用いて、例えば、
過去の映像をアーカイブして必要な時に再利用するサー
ビス等がテレビ局等で実際された場合、必要な映像を検
索する場合に、タイトルのみの検索だけでなく、映像情
報の内容で、『〜が登場し、〜と喋った映像』とか、
『このシーンに似ているシーンがある映像』、『この音
楽が使われている映像』といったように映像情報の内容
の情報に及んだ検索を行うことができる。この場合には
予め属性オブジェクト106に検索情報としてキーワー
ドを詳細に設定することが望ましいのは勿論である。
で、『クリントンの出ているシーン全て』とか、希望し
た情報のみの収集で『ニュースの株価の情報のみを収録
せよ』とか、希望した情報によるチャンネル変更で『尾
崎のティーショットになったら見せろ』とか、ダイジェ
ストの作成で『この映画を5分程度でブラウズしたい』
等の要望に応えるサービスを提供することも可能とな
る。
像情報に対応させて作成した映像インデックス情報を参
照して、複数の映像情報の中から検索条件に一致する所
望の映像情報を検索するものである。
デックス情報200のデータ構造を示す説明図である。
なお、図1に示した実施の形態1の映像インデックス情
報100と共通の構成は同一の符号を付して説明を省略
する。
報101を最上位(入口)とするツリー構造の構造要素
オブジェクトとして、フレーム情報102と、サウンド
情報103と、セグメント情報104と、パッケージ情
報105とを有している。
メント情報104には、その下位に存在するフレーム情
報102およびサウンド情報103の内容を検索するた
めの検索情報201(201A〜201F)が付与され
ている。また、ツリー情報101には、映像インデック
ス情報200と対応する映像情報(ストリーム全体)の
再生時間やフォーマットを示す基本的な情報が含まれて
おり、この情報もまた検索情報として利用される。
概略フローチャートを示す。なお、システムの構成とし
ては、図6に示したように複数の映像情報を記憶した映
像情報ライブラリィ601と、映像情報ライブラリィ6
01の各映像情報に対応した複数の映像インデックス情
報(ここでは、映像インデックス情報200)を記憶し
た映像インデックス情報データベース602と、映像イ
ンデックス情報を用いた専用の映像情報検索ツール60
3と、を用いるものとする。
と、必要に応じて検索条件を構成する検索項目に対する
重み付けを入力する(S801)。あらかじめ異なる複
数の映像情報から作成された複数の映像インデックス情
報400を検索して検索条件と一致する検索情報を含む
映像インデックス情報を特定し(S802)、特定した
映像インデックス情報に対応した映像情報のリストを検
索結果として出力する(S803)。
件および検索結果(リスト)の例を挙げて具体的に説明
する。検索対象となる映像情報(換言すれば、映像イン
デックス情報200)の数は1つ以上幾つでも良いが、
ここでは説明を簡単にするために、検索対象として2つ
の映像情報(Movie1、Movie2)が存在する
場合を例として説明する。なお、図9は、2つの映像情
報(Movie1、Movie2)に対応する映像イン
デックス情報200A、200Bを示すものである。
は、それぞれツリー情報の下に1つのパッケージ情報を
有し、そのパッケージ情報の下に3つのセグメント情報
(および検索情報)が配置され、セグメント情報の下に
フレーム情報およびサウンド情報が配置されたツリー構
造である。
ス情報200Aには、以下に示すように、検索情報とし
て、ツリー情報に『再生時間、フォーマット』が付加さ
れ、他の3つのセグメント情報にはそれぞれ『セグメン
トの再生区間(再生時間の範囲)、キーフレームID
(代表となるフレーム)、登場人物』が付加されてい
る。 Movie1: Tree(ツリー情報中の検索情報) 再生時間: 00:30:00 フォーマット: MPEG2 Segment#1(セグメント情報の検索情報) セグメントの再生区間: 00:00:00−00:15:00 キーフーレームID: 0 登場人物: A,B Segment#2(セグメント情報の検索情報) セグメントの再生区間: 00:15:00−00:20:00 キーフーレームID: 27000 登場人物: A,C Segment#3(セグメント情報の検索情報) セグメントの再生区間: 00:20:00−00:30:00 キーフーレームID: 36000 登場人物: C,B
ス情報200Bには、以下に示すように、検索情報とし
て、ツリー情報に『再生時間、フォーマット』が付加さ
れ、他の3つのセグメント情報にはそれぞれ『セグメン
トの再生区間、キーフレームID(代表となるフレー
ム)、登場人物』が付加されている。 Movie2: Tree(ツリー情報中の検索情報) 再生時間: 00:10:00 フォーマット: MPEG1 Segment#1(セグメント情報の検索情報) セグメントの再生区間: 00:00:00−00:03:00 キーフーレームID: 0 登場人物: D,E Segment#2(セグメント情報の検索情報) セグメントの再生区間: 00:03:00−00:05:00 キーフーレームID: 5400 登場人物: A,E Segment#1(セグメント情報の検索情報) セグメントの再生区間: 00:05:00−00:10:00 キーフーレームID: 9000 登場人物: C,E
索情報は上記の項目に限定するものではなく、例えば、
セグメント情報の下位に存在するサウンド情報によって
特定される音声中の曲名・曲調・音声の内容等を設定し
ても良く、フレーム情報によって特定される映像中に存
在する特定の物・色・場所・映像の内容等を設定しても
良いのは勿論である。
件として、図10に示すような、それぞれ3つの検索項
目を有する条件1〜条件5の検索条件を与えたものとす
る。なお、これらの検索条件において、再生時間、フォ
ーマット、登場人物の各検索項目の関係は、一般的なブ
ーリアン検索式と同様にAND、ORを用いて定義でき
るものとする。
項目をそれぞれANDで検索すると、検索条件は(1)
式のようになり、検索結果のリストは図11に示すよう
になる。 (再生時間)AND (フォーマット)AND (登場人物) ‥‥‥(1)
条件(検索条件)と、該当する検索条件によって検索さ
れた結果と、検索された結果に与えられた評価値(スコ
ア)と、検索の際の一致内容とが出力される。例えば、
条件1で検索を行うと、Movie2が検索され、スコ
アが1(一致内容:登場人物の一致が1回)である。ま
た、条件2で検索を行うと、Movie1とMovie
2の2つが検索され、スコアはMovie1が2(一致
内容:登場人物の一致が2回)で、Movie2が1
(一致内容:登場人物の一致が1回)である。条件2で
示すように、該当する映像情報が複数存在する場合は、
スコア(評価値)に基づいてランキング順(ここではス
コアの大きな順に)に出力する。このようにランキング
順に出力することよって、利用者は所望の映像に最も近
い映像をランキングから判断することができる。
目をそれぞれORで検索すると、検索条件は(2)式の
ようになり、検索結果のリストは図12に示すようにな
る。 (再生時間)OR(フォーマット)OR(登場人物) ‥‥‥(2)
条件(検索条件)と、該当する検索条件によって検索さ
れた結果と、検索された結果に与えられた評価値(スコ
ア)と、検索の際の一致内容とが出力される。例えば、
条件3で検索を行うと、Movie1とMovie2の
2つが検索され、スコアはMovie1が2(一致内
容:登場人物の一致が2回)で、Movie1が1(一
致内容:再生時間の一致が1回、登場人物の一致が1
回)である。また、条件5で検索を行うと、Movie
2とMovie1の2つが検索され、スコアはMovi
e2が3(一致内容:再生時間の一致が1回、フォーマ
ットの一致が1回、登場人物の一致が1回)で、Mov
ie1が2(一致内容:登場人物の一致が2回)であ
る。ここでも、該当する映像情報が複数存在する場合
は、スコア(評価値)に基づいてランキング順(ここで
はスコアの大きな順に)に出力する。また、ランキング
順に出力することに加えて、一致内容を出力するので、
利用者は所望の映像に最も近い映像をランキングから判
断できると共に、さらに一致内容に基づいて、最も重要
な検索項目の一致した映像を選択することができる。
項目に対してそれぞれ独立した重み付けを行うことが可
能である。したがって、重要な検索項目に対して重みを
付けることにより、利用者の意図する所望の映像を検索
し易くすることができる。また、検索結果として出力す
るリスト上の各映像情報には、検索項目の重み付けに基
づいて評価された評価値が付与される。
2倍の重みをかけ、条件1〜条件5をそれぞれANDで
検索すると、検索結果のリストは図13に示すようにな
る。
倍の重みをかけ、条件1〜条件5をそれぞれORで検索
すると、検索結果のリストは図14に示すようになる。
3および図14を、検索項目に重みの差を設けていない
図11および図12と比較すると明らかなように、図1
3および図14では検索結果のリストのスコア(評価
値)の値のバラツキが大きくなり、リスト上での比較検
討が容易になる。換言すれば、利用者が重要と認識して
いる検索項目をスコア上に反映できるので、より所望の
映像を検索し易くなる。
12ではMovie2、Movie1の順のランキング
であったものが、図14では同一のランキングとなり、
利用者の意図がより反映された形となっている。なお、
応用例3では検索対象となる映像情報を2つとしたた
め、ランキングの入れ替わりが分かりにくいが、検索結
果として数十の映像(映像情報)がリスト上にランキン
グされてる場合には、重み付けによるランキングの入れ
替わりが大きく、ランキングの上位に適切な映像が配置
されることになる。
キングを変化させ、所望の映像をランキングの上位に配
置することもできる。例えば、登場人物に3倍の重みを
かけ、条件1〜条件5をそれぞれORで検索すると、検
索結果のリストは図15に示すようになる。
12ではMovie2、Movie1の順のランキング
であったものが、図14では同一のランキングとなり、
図15ではMovie1、Movie2の順のランキン
グに入れ替わっているのが分かる。
情報のセグメント情報に検索情報を付加してあるため、
検索結果として出力されるリスト上の各映像情報に対し
て、検索条件と一致する検索情報を有するセグメント情
報に基づいて所望の映像の位置を特定した位置情報を付
加して出力することが可能である。
索対象とし、検索条件『登場人物AあるいはEが出演し
ている映像』で検索を行い、検索結果のリストに位置情
報(検索条件と一致する検索情報を有するセグメント情
報を特定する情報)を付加して出力すると図16に示す
ようになる。
e2、Movie1の順でランキングされており、さら
にMovie2の中で検索条件と一致した検索情報を有
するセグメント情報を特定するための情報として位置情
報が、スコア(セグメントスコア)と共にランキングさ
れて出力されている。これによって、利用者は所望の映
像が存在する映像情報(Movie2)を検索できると
共に、位置情報(Segment#2)から映像情報中
のどの部分に所望の映像が存在するか容易に知ることが
できる。このように映像情報を特定し、さらに詳細な位
置が判別できるのは、映像インデックス情報のデータ構
造によるものである。
ス情報を用いた映像検索方法によれば、映像情報の内部
の論理構造を表現可能なデータ構造を有する映像インデ
ックス情報を用いることにより、映像検索の利便性の向
上を図ると共に、全ての映像情報に適用可能な映像検索
方法を提供することができる。
した映像インデックス情報を参照して、1つの映像情報
の中から検索条件に一致する所望の映像を検索するもの
である。
インデックス情報300のデータ構造において、所望の
映像の条件である検索条件を入力し、映像インデックス
情報300を検索して検索条件と一致する検索情報を含
む構造要素オブジェクトを特定し、特定した構造要素オ
ブジェクトのリストを検索結果として出力するものであ
る。
報300のデータ構造を示す説明図である。なお、図1
に示した実施の形態1の映像インデックス情報100と
共通の構成は同一の符号を付して説明を省略する。
報101を最上位(入口)とするツリー構造の構造要素
オブジェクトとして、フレーム情報102と、サウンド
情報103と、セグメント情報104と、パッケージ情
報105とを有しており、さらに、各構造要素オブジェ
クトには、その下位に存在するフレーム情報102およ
びサウンド情報103の内容を検索するための検索情報
が付与されている。また、ツリー情報101には、映像
インデックス情報300と対応する映像情報(ストリー
ム全体)の再生時間やフォーマットを示す基本的な情報
が含まれており、この情報もまた検索情報として利用さ
れる。
ンデックス情報300のツリー構造中における深さ方向
の階層レベルを検索範囲として入力し、映像インデック
ス情報300中の検索範囲に存在する構造要素オブジェ
クトの検索情報のみを検索対象として、検索条件と一致
する検索情報を含む構造要素オブジェクトを特定し、特
定した構造要素オブジェクトのリストを検索結果として
出力できるようにしている。
中における深さ方向の階層レベルの定義の仕方は、特に
限定するものではないが、例えば、図18に示すよう
に、映像インデックス情報300中に階層的に存在する
パッケージ情報105を基準として、先ず、最上位のツ
リー情報101の階層レベルを『0』とし、ツリー情報
101の直下にぶら下がるパッケージ情報105Aと、
パッケージ情報105Aから次のパッケージ情報105
Bの間に存在する構造要素オブジェクト(セグメント情
報104A、フレーム情報102A、サウンド情報10
3A)を階層レベル『1』として、以下同様にパッケー
ジ情報105を基準単位として階層レベルを定義しても
良い。なお、この場合、例えば、階層レベル『3』が指
定されると、階層レベル『0』〜『2』までを含むもの
とする。
ジェクトを基準として階層レベルを定義しても良い。
範囲を階層レベルで指定可能とすることにより、例え
ば、検索対象となる映像情報の映像インデックス情報3
00が膨大であり、詳細に検索情報が設定されている場
合に、階層レベルを指定することで、検索する検索情報
の量(範囲)を減らし、検索時間を短縮して検索するこ
とが可能となる。逆に、より詳細な検索を行いたい場合
には、階層レベルを深くして検索範囲を指定することに
より、映像情報中の個々の映像(一部のシーン)にまで
及んだ検索を行えるようになる。
ータ構造において、階層レベルを指定して検索可能であ
ることから、逆に、映像インデックス情報300中に検
索情報を設定する場合に、上位の階層レベルで全体の概
略に関する検索情報を設定し、下位になる程、詳細な検
索情報を設定できるので、検索情報の設定が容易となる
と共に、結果的に精度の高い検索情報の設定が可能とな
る。また、映像情報の全体の内容には無関係であるが、
ある映像(特定のシーン)の視覚的特徴や、映像中に登
場する物等を示す情報を、該当する構造要素オブジェク
ト(例えば、フレーム情報102)の検索情報に設定し
た場合でも、全体の検索効率や検索精度を低下させるこ
となく、検索を行うことができるようになる。
の概略フローチャートを示す。なお、システムの構成と
しては、図6に示したように複数の映像情報を記憶した
映像情報ライブラリィ601と、映像情報ライブラリィ
601の各映像情報に対応した複数の映像インデックス
情報(ここでは、映像インデックス情報300)を記憶
した映像インデックス情報データベース602と、映像
インデックス情報を用いた専用の映像情報検索ツール6
03と、を用いるものとする。
(S2001)、所望の映像の条件である検索条件(必
要に応じて検索条件を構成する検索項目に対する重み付
けする)と、検索範囲として階層レベルを入力する(S
2002)。例えば、映像情報として、『アメリカの対
日政策』というタイトルの番組ビデオを指定し、検索条
件として、『クリントン大統領、自動車、円高をキーワ
ードとして、OR検索で自動車の重みを2倍』を設定
し、検索範囲として階層レベル『3』を指定する。
インデックス情報300を、指定された検索範囲で検索
して、検索条件と一致する検索情報を含む構造要素オブ
ジェクトを特定する(S2003)。ここで例えば、検
索条件に一致した検索情報を有する4つの構造要素オブ
ジェクトが存在し、それぞれの検索情報の階層レベルお
よび内容が以下の通りであるものとする。 『階層レベル1:クリントン大統領の発言』 『階層レベル2:円高と貿易摩擦』 『階層レベル3:円安による自動車産業の被害、ク
リントン発言』 『階層レベル3:円高による米国自動車産業の日本
向け輸出不振』 検索範囲として階層レベル3まで指定されているので、
上記〜の4つの構造要素オブジェクトが該当するも
のとして特定されるが、検索範囲が階層レベル2であれ
ばとが検索されず、との2つの構造要素オブジ
ェクトのみが検索されるのは明らかである。
リストを検索結果として出力する(S2004)。構造
要素オブジェクトのリストは、図21に示すように、重
み付けに基づいてランキング順に出力される。したがっ
て、ランキングに基づいて、利用者は最も相応しい映像
(所望の映像)を容易に選択することができる。また、
所望の映像が含まれる構造要素オブジェクトを特定する
ので、構造要素オブジェクトの有する情報から容易に映
像情報中の該当する映像を呼び出して確認することがで
きる。
報の内部の論理構造を表現可能なデータ構造を有する映
像インデックス情報を用いることにより、映像検索の利
便性の向上を図ると共に、全ての映像情報に適用可能な
映像検索方法を提供することができる。
クス情報を用いた映像情報管理方法によれば、ツリー情
報、フレーム情報、サウンド情報、セグメント情報、パ
ッケージ情報を構造要素オブジェクトとしたツリー構造
を有する映像インデックス情報を用いて映像情報を管理
するので、映像情報の内部の論理構造を表現可能とし、
映像情報の利用・活用を容易にし、映像情報の再現方法
の自由度を高め、映像情報の操作性・作業性・取扱性の
向上を図ったユーザ・インターフェースの手法を提供す
ることができる。
ス情報を記録媒体に記録することにより、映像情報の内
部の論理構造を表現可能なデータ構造を有する映像イン
デックス情報を記録した記録媒体を提供することができ
る。例えば、映像インデックス情報は、ハードディス
ク、フロッピーディスク、CD−ROM、MO、DVD
等のコンピュータで読み取り可能な記録媒体に記録さ
れ、コンピュータによって記録媒体から読み出すことに
よって様々な利用方法を提供することが可能である。ま
た、この映像インデックス情報は記録媒体を介して配布
することもできる。
報は、どのような映像情報に対しても、特に制約なく、
自由に作成することができるので、この映像インデック
ス情報を用いることにより、映像検索の利便性の向上を
図ることができると共に、全ての映像情報の検索に適用
できる映像検索方法を提供することが可能となる。
デックス情報を用いた映像情報管理方法は、少なくとも
映像情報の内部情報が管理されていることを前提とし
て、映像情報中の内部情報をどのようにたどるかを設定
および管理できるようにしたものである。
報を用いた映像情報管理方法も、実施の形態1と同様
に、少なくとも複数のフレームを含む映像情報を解析し
て、映像情報とは別に映像情報を管理するための映像イ
ンデックス情報を生成し、生成した映像インデックス情
報を参照することにより映像情報を管理するものであ
る。
ス情報400のデータ構造を示す説明図である。なお、
図1に示した実施の形態1の映像インデックス情報10
0と共通の構成は同一の符号を付して説明を省略する。
も映像情報中の任意の連続するフレームの範囲を管理す
るための複数のセグメント情報104と、複数のセグメ
ント情報104をどのような順序でたどるかを示すセグ
メント情報間のリンクリストからなるビュー情報401
(401A〜401C)と、を有している。なお、ここ
では、映像インデックス情報400をツリー構造で示す
が特に限定するものではない。
複数設定されており、あらかじめ映像情報を構成する複
数のセグメント情報104の中から、所望の数のセグメ
ント情報104を所望の順序でたどるリンクリストを複
数(ここでは、3つ)生成し、各々のリンクリストに対
応するビュー情報401A〜401Cとして設定する。
実施の形態2では、この複数のビュー情報401A〜4
01Cを有する映像インデックス情報400を用いて映
像情報を管理するものである。
施の形態1の映像インデックス情報100と同様に映像
情報と分離して保存することも可能である。
る視点で表現するために、セグメント情報104(また
はパッケージ情報105)のたどりかたをリンクリスト
として表現したものである。なお、セグメント情報10
4だけのリンクリスト、パッケージ情報105だけのリ
ンクリスト、混在するリンクリストの何れでも表現可能
であるが、基本的にはセグメント情報104のリンクリ
ストと同一のものである。また、ビュー情報401の作
成方法については省略するが、専用の作成モジュールに
よって容易に作成可能である。
1のリンクリストについて具体的に説明する。ビュー情
報401のリンクリストの設定の仕方によって、1つの
ビュー情報401で映像情報全体を特定の視点で観たダ
イジェスト(要約)を作成することもでき、または単純
に2つのセグメント情報104をつなぐことも自由であ
る。
目的で分割したパッケージ情報Bのセグメント情報をお
おまかにを再生する場合を例として、リンクリストにつ
いて説明する。ここで、このパッケージ情報Bは3つの
セグメント情報で構成されており、またパッケージ情報
Bの先頭部分のセグメント情報には、下位パッケージ情
報E、Fが存在する。
純に再生すると、パッケージ情報B中の3つのセグメン
ト情報B1〜B3がそのまま再生される。ここで、リン
クリストとして(セグメント情報E1→E2→B2→B
3)を作成すると、図中の(1)に示す順序でセグメン
ト情報が再生される。すなわち、セグメント情報B1の
うち、セグメント情報F1に相当する部分が再生されな
いことと同じであり、セグメント情報B1がおおまかに
再生されたことになる。
トを作成することにより、所望の順序でセグメント情報
を指定することができる。
1→G2→G3→C3→D1)として作成すると図中の
(2)で示す順序でセグメント情報が再生される。リン
クリストを(セグメント情報G1→G2→G3→C3→
I1→I2)として作成すると図中の(3)で示す順序
でセグメント情報が再生される。
ことに代えて、各セグメント情報の代表フレーム(例え
ば、各セグメント情報の先頭の所定時間分のフレーム情
報)を再生するようにすると、さらにダイジェスト再生
(要約再生)を顕著にすることができる。具体的には、
セグメント情報そのものをたどることに代えて、セグメ
ント情報中のフレーム情報をたどる場合を想定するとリ
ンクリストの効果が実感し易い。例えば、図中の(1)
の場合、パッケージ情報Bは1時間ビデオを20分ずつ
の3つのセグメント情報B1〜B3に分け、セグメント
情報B1を分けたパッケージ情報Eが5分ずつの2つの
セグメント情報E1、E2で構成され、パッケージ情報
Fが10分のセグメント情報F1で構成されている場
合、それぞれのセグメント情報から各1分ずづのフレー
ム情報を再生することで、内容的に1/5、1/5、1
/20、1/20の粗さとなり、ダイジェストの意図を
反映することができる。
メント情報を時系列にたどる例のみを示したが、例え
ば、リンクリストとして(セグメント情報E2→G3→
H2→I2→D2)のように飛び飛びにリンクしても良
い。また、時系列を無視して、所望の順序でリンクリス
トを作成しても良い。
ば、暴力シーンを除いたセグメント情報のみをリンクし
たリンクリストを有するビュー情報や、激写シーンのセ
グメント情報のみをリンクしたリンクリストを有するビ
ュー情報等のように、利用・活用する目的に応じたビュ
ー情報を複数設定しておき、必要に応じて所望のビュー
情報を選択することにより、1つの映像情報(コンテン
ツ)を多目的な立場から観ることが可能となる。
作者側で、映像情報に複数のビュー情報401を有する
映像インデックス情報400を付けて、配布することが
でき、さらに視聴者側では、リンクリストを選択するこ
とにより、1つの映像情報(番組)を自分の嗜好にあっ
た観方で観ることができる。
するビュー情報を用いるため、映像情報の再現方法の自
由度を高めて、映像情報を効率的・効果的に利用・活用
できるユーザ・インターフェースの手法を提供すること
ができる。
400の複数のビュー情報の中から特定のビュー情報を
指定し、指定したビュー情報のリンクリストを用いて映
像情報中の一部を可視または/および可聴することがで
きる。
デックス情報を用いた音声情報管理方法は、基本的に実
施の形態1の映像インデックス情報を用いた映像情報管
理方法における映像インデックス情報100からフレー
ム情報102を除いたものを音声インデックス情報とし
て定義したものである。なお、対象となる情報が映像情
報から音声情報に変わった点以外は、実施の形態1と共
通であるため、ここでは異なる部分のみを説明する。
と、セグメント情報と、パッケージ情報とを構造要素オ
ブジェクトとしたツリー構造である。
の範囲に対応した音声を1単位の情報として管理するも
のである。セグメント情報は、この1単位の情報である
サウンド情報を分類して、所望の意味のある集合として
管理する。パッケージ情報は、セグメント情報を複数ま
とめて管理する。さらにセグメント情報は、そのセグメ
ント情報が管理するサウンド情報と同一の範囲の音声を
用いて生成された他のセグメント情報を複数まとめて管
理するためのパッケージ情報を管理し、ツリー構造にお
いて、1つのセグメント情報の下位に、サウンド情報に
加えてパッケージ情報を配置し、音声インデックス情報
のツリー構造および構造要素オブジェクトを用いて音声
情報を管理するものである。
1と同様に音声情報と分離して保存することができる。
ることにより、音声情報の内部の論理構造を表現可能と
し、音声情報の利用・活用を容易にし、音声情報の再現
方法の自由度を高め、音声情報の操作性・作業性・取扱
性の向上を図ったユーザ・インターフェースの手法を提
供することができる。
報を用いた音声情報管理方法の応用例として、音声イン
デックス情報を用いた音声検索方法を説明する。以下に
説明する音声検索方法においては、基本的に実施の形態
1の応用例3または応用例4で説明した映像インデック
ス情報を用いた映像検索方法における映像インデックス
情報200、300からフレーム情報102を除いたも
のを音声インデックス情報として定義する。なお、対象
となる情報が映像情報から音声情報に変わった点以外
は、実施の形態1の応用例3または応用例4と共通であ
るため、ここでは異なる部分のみを説明する。
と、セグメント情報と、パッケージ情報とを構造要素オ
ブジェクトとしたツリー構造である。
報から所望の音声を検索する場合や、複数の音声情報の
中から『鳥の鳴き声』を収録した音声情報を検索する場
合を想定する。検索条件として『カワセミの鳴き声、せ
せらぎの音』を入力し、音声インデックス情報を用いて
音声検索を行うことにより、実施の形態1の応用例3ま
たは応用例4と同様に検索結果(リスト)を出力するこ
とができる。
ば、音声情報の内部の論理構造を表現可能なデータ構造
を有する音声インデックス情報を用いることにより、音
声検索の利便性の向上を図った音声検索方法を提供する
ことができる。したがって、例えば、音楽CD等におい
て音声インデックス情報を用いることにより、聞きたい
曲の特定の一部分のみを再生したり、楽しい曲・爽やか
な曲・賑やかな曲等のように音楽の内容に及んだ検索を
行うことも可能となる。
デックス情報を記録した記録媒体(請求項1〜3)は、
映像情報の内部の論理構造を表現可能なデータ構造を有
すると共に、映像検索の利便性の向上を図った映像イン
デックス情報を記録した記録媒体を提供することができ
る。
いた映像情報管理方法(請求項4〜10、13)は、少
なくとも複数のフレームを含む映像情報を解析して、映
像情報とは別に映像情報を管理するための映像インデッ
クス情報を生成し、生成した映像インデックス情報を参
照することにより映像情報を管理する映像インデックス
情報を用いた映像情報管理方法であって、映像インデッ
クス情報は、映像情報中の任意の連続するフレームを1
単位の情報として管理する少なくとも1つのフレーム情
報と、映像情報中の任意の範囲に対応した音声を1単位
の情報として管理する少なくとも1つのサウンド情報
と、1単位の情報であるフレーム情報およびサウンド情
報を分類して、所望の意味のある集合として管理する少
なくとも1つのセグメント情報と、セグメント情報を複
数まとめて管理するためのパッケージ情報と、を構造要
素オブジェクトとしたツリー構造であり、さらにセグメ
ント情報は、そのセグメント情報が管理するフレーム情
報およびサウンド情報と同一の範囲のフレームおよび音
声を用いて生成された他のセグメント情報を複数まとめ
て管理するためのパッケージ情報を管理し、ツリー構造
において、1つのセグメント情報の下位に、フレーム情
報およびサウンド情報に加えてパッケージ情報を配置
し、映像インデックス情報のツリー構造および構造要素
オブジェクトを用いて映像情報を管理するため、映像情
報の内部の論理構造を表現可能とし、映像情報の利用・
活用を容易にし、映像情報の再現方法の自由度を高め、
映像情報の操作性・作業性・取扱性の向上を図ったユー
ザ・インターフェースの手法を提供することができる。
また、映像情報の内容にまで踏み込んだ検索や、分類等
を行うこともできる。
いた映像情報管理方法(請求項11〜13)は、少なく
とも複数のフレームを含む映像情報を解析して、映像情
報とは別に映像情報を管理するための映像インデックス
情報を生成し、生成した映像インデックス情報を参照す
ることにより映像情報を管理する映像インデックス情報
を用いた映像情報管理方法であって、映像インデックス
情報は、少なくとも映像情報中の任意の連続するフレー
ムの範囲を管理するための複数のセグメント情報と、複
数のセグメント情報をどのような順序でたどるかを示す
セグメント情報間のリンクリストからなるビュー情報
と、を有し、あらかじめ映像情報を構成する複数のセグ
メント情報の中から、所望の数のセグメント情報を所望
の順序でたどるリンクリストを複数生成し、各々のリン
クリストに対応する複数のビュー情報を設定し、複数の
ビュー情報を有する映像インデックス情報を用いて映像
情報を管理するため、映像情報の再現方法の自由度を高
めて、映像情報を効率的・効果的に利用・活用できるユ
ーザ・インターフェースの手法を提供することができ
る。
録した記録媒体(請求項14〜16)は、音声情報の内
部の論理構造を表現可能なデータ構造を有すると共に、
音声検索の利便性の向上を図った音声インデックス情報
を記録した記録媒体を提供することができる。
いた音声情報管理方法(請求項17、18)は、音声情
報を解析して、音声情報とは別に音声情報を管理するた
めの音声インデックス情報を生成し、生成した音声イン
デックス情報を参照することにより音声情報を管理する
音声インデックス情報を用いた音声情報管理方法であっ
て、音声インデックス情報は、音声情報中の任意の範囲
に対応した音声を1単位の情報として管理する少なくと
も1つのサウンド情報と、1単位の情報であるサウンド
情報を分類して、所望の意味のある集合として管理する
少なくとも1つのセグメント情報と、セグメント情報を
複数まとめて管理するためのパッケージ情報と、を構造
要素オブジェクトとしたツリー構造であり、さらにセグ
メント情報は、そのセグメント情報が管理するサウンド
情報と同一の範囲の音声を用いて生成された他のセグメ
ント情報を複数まとめて管理するためのパッケージ情報
を管理し、ツリー構造において、1つのセグメント情報
の下位に、サウンド情報に加えてパッケージ情報を配置
し、音声インデックス情報のツリー構造および構造要素
オブジェクトを用いて音声情報を管理するため、音声情
報の内部の論理構造を表現可能とし、音声情報の利用・
活用を容易にし、音声情報の再現方法の自由度を高め、
音声情報の操作性・作業性・取扱性の向上を図ったユー
ザ・インターフェースの手法を提供することができる。
また、音声情報の内容にまで踏み込んだ検索や、分類等
を行うこともできる。
映像情報管理方法における映像インデックス情報のデー
タ構造を示す説明図である。
構造中に属性オブジェクトを配置した例を示す説明図で
ある。
生成する方法を示す説明図である。
るアルゴリズムを適用して解析して映像インデックス情
報を生成した場合、または同一の映像情報を異なる分割
の仕方で分割して複数のパッケージ情報を生成した場合
を示す説明図である。
ンデックス情報のデータ構造を示す説明図である。
の概略フローチャートである。
例である2つの映像情報(Movie1、Movie
2)に対応するそれぞれの映像インデックス情報を示す
説明図である。
の例(条件1〜条件5)を示す説明図である。
示す各条件中の各検索項目をそれぞれANDで検索した
場合の検索結果の一例を示す説明図である。
示す各条件中の各検索項目をそれぞれORで検索した場
合の検索結果の一例を示す説明図である。
示す各条件中の検索項目の一つに2倍の重みをかけ、各
検索項目をそれぞれANDで検索した場合の検索結果の
一例を示す説明図である。
示す各条件中の検索項目の一つに2倍の重みをかけ、各
検索項目をそれぞれORで検索した場合の検索結果の一
例を示す説明図である。
示す各条件中の検索項目の一つに3倍の重みをかけ、各
検索項目をそれぞれORで検索した場合の検索結果の一
例を示す説明図である。
と一致した検索情報が存在する位置を示す位置情報を含
む検索結果の一例を示す説明図である。
インデックス情報のデータ構造を示す説明図である。
デックス情報のツリー構造中における深さ方向の階層レ
ベルの定義例を示す説明図である。
デックス情報のツリー構造中における深さ方向の階層レ
ベルの定義例を示す説明図である。
理の概略フローチャートである。
デックス情報中の構造要素オブジェクトを検索した検索
結果の一例を示す説明図である。
た映像情報管理方法における映像インデックス情報のデ
ータ構造を示す説明図である。
示す説明図である。
Claims (18)
- 【請求項1】 映像情報を解析して作成した映像インデ
ックス情報を記録したコンピュータ読み取り可能な記録
媒体であって、 前記映像インデックス情報は、前記映像情報中の任意の
連続するフレームを1単位の情報として管理する少なく
とも1つのフレーム情報と、前記映像情報中の任意の範
囲に対応した音声を1単位の情報として管理する少なく
とも1つのサウンド情報と、1単位の情報である前記フ
レーム情報およびサウンド情報を分類して、所望の意味
のある集合として管理する少なくとも1つのセグメント
情報と、前記セグメント情報を複数まとめて管理するた
めのパッケージ情報と、を構造要素オブジェクトとした
ツリー構造であり、 さらに前記セグメント情報は、そのセグメント情報が管
理する前記フレーム情報およびサウンド情報と同一の範
囲のフレームおよび音声を用いて生成された他のセグメ
ント情報を複数まとめて管理するためのパッケージ情報
を管理し、 前記ツリー構造において、1つのセグメント情報の下位
に、前記フレーム情報およびサウンド情報に加えて前記
パッケージ情報を配置したデータ構造であることを特徴
とする映像インデックス情報を記録した記録媒体。 - 【請求項2】 前記構造要素オブジェクトのうち、少な
くとも1種類の構造要素オブジェクトは、その構造要素
オブジェクトが直接または間接的に管理するフレームま
たは/および音声の内容を検索するための検索情報を有
することを特徴とする請求項1記載の映像インデックス
情報を記録した記録媒体。 - 【請求項3】 前記構造要素オブジェクトは、それぞれ
その構造要素オブジェクトが直接または間接的に管理す
るフレームまたは/および音声の内容を検索するための
検索情報を有することを特徴とする請求項1記載の映像
インデックス情報を記録した記録媒体。 - 【請求項4】 少なくとも複数のフレームを含む映像情
報を解析して、前記映像情報とは別に前記映像情報を管
理するための映像インデックス情報を生成し、生成した
映像インデックス情報を参照することにより前記映像情
報を管理する映像インデックス情報を用いた映像情報管
理方法であって、 前記映像インデックス情報は、前記映像情報中の任意の
連続するフレームを1単位の情報として管理する少なく
とも1つのフレーム情報と、前記映像情報中の任意の範
囲に対応した音声を1単位の情報として管理する少なく
とも1つのサウンド情報と、1単位の情報である前記フ
レーム情報およびサウンド情報を分類して、所望の意味
のある集合として管理する少なくとも1つのセグメント
情報と、前記セグメント情報を複数まとめて管理するた
めのパッケージ情報と、を構造要素オブジェクトとした
ツリー構造であり、 さらに前記セグメント情報は、そのセグメント情報が管
理する前記フレーム情報およびサウンド情報と同一の範
囲のフレームおよび音声を用いて生成された他のセグメ
ント情報を複数まとめて管理するためのパッケージ情報
を管理し、 前記ツリー構造において、1つのセグメント情報の下位
に、前記フレーム情報およびサウンド情報に加えて前記
パッケージ情報を配置し、 前記映像インデックス情報のツリー構造および構造要素
オブジェクトを用いて前記映像情報を管理することを特
徴とする映像インデックス情報を用いた映像情報管理方
法。 - 【請求項5】 前記映像インデックス情報のツリー構造
中の特定の構造要素オブジェクトを指定し、該当する構
造要素オブジェクトのみを可視または/および可聴する
ことを特徴とする請求項4記載の映像インデックス情報
を用いた映像情報管理方法。 - 【請求項6】 前記フレーム情報は、ツリー構造中のノ
ードID、そのフレーム情報で管理する連続するフレー
ムの範囲、および前記映像情報における位置を示すポイ
ンタを有していることを特徴とする請求項4または5記
載の映像インデックス情報を用いた映像情報管理方法。 - 【請求項7】 前記サウンド情報は、ツリー構造中のノ
ードID、そのサウンド情報で管理する任意の範囲、お
よび前記映像情報における位置を示すポインタを有して
いることを特徴とする請求項4〜6記載のいずれか一つ
の映像インデックス情報を用いた映像情報管理方法。 - 【請求項8】 前記セグメント情報は、ツリー構造中の
ノードID、そのセグメント情報で管理するフレーム情
報・サウンド情報・パッケージ情報を特定するための特
定情報、および、そのセグメント情報が属する上位のパ
ッケージ情報へのポインタを有していることを特徴とす
る請求項4〜7記載のいずれか一つの映像インデックス
情報を用いた映像情報管理方法。 - 【請求項9】 前記パッケージ情報は、ツリー構造中の
ノードID、そのパッケージ情報で管理するセグメント
情報のリスト、および、そのパッケージ情報が属する上
位のセグメント情報へのポインタを有していることを特
徴とする請求項4〜8記載のいずれか一つの映像インデ
ックス情報を用いた映像情報管理方法。 - 【請求項10】 さらに前記映像インデックス情報は、
そのツリー構造中に任意の属性オブジェクトを配置する
ことが可能であり、前記映像インデックス情報中の全て
の構造要素オブジェクトは、前記属性オブジェクトへの
ポインタを有し、前記属性オブジェクトおよび前記属性
オブジェクトへのポインタを用いて、任意の構造要素オ
ブジェクトに対して任意の付加情報を追加することが可
能であることを特徴とする請求項4〜9記載のいずれか
一つの映像インデックス情報を用いた映像情報管理方
法。 - 【請求項11】 少なくとも複数のフレームを含む映像
情報を解析して、前記映像情報とは別に前記映像情報を
管理するための映像インデックス情報を生成し、生成し
た映像インデックス情報を参照することにより前記映像
情報を管理する映像インデックス情報を用いた映像情報
管理方法であって、 前記映像インデックス情報は、少なくとも前記映像情報
中の任意の連続するフレームの範囲を管理するための複
数のセグメント情報と、前記複数のセグメント情報をど
のような順序でたどるかを示すセグメント情報間のリン
クリストからなるビュー情報と、を有し、 あらかじめ前記映像情報を構成する前記複数のセグメン
ト情報の中から、所望の数のセグメント情報を所望の順
序でたどるリンクリストを複数生成し、各々のリンクリ
ストに対応する複数のビュー情報を設定し、前記複数の
ビュー情報を有する前記映像インデックス情報を用いて
前記映像情報を管理することを特徴とする映像インデッ
クス情報を用いた映像情報管理方法。 - 【請求項12】 前記映像インデックス情報の複数のビ
ュー情報の中から特定のビュー情報を指定し、指定した
ビュー情報のリンクリストを用いて前記映像情報中の一
部を可視または/および可聴することを特徴とする請求
項11記載の映像インデックス情報を用いた映像情報管
理方法。 - 【請求項13】 前記映像インデックス情報を前記映像
情報と分離して保存することを特徴とする請求項4〜1
2記載のいずれか一つの映像インデックス情報を用いた
映像情報管理方法。 - 【請求項14】 音声情報を解析して作成した音声イン
デックス情報を記録したコンピュータ読み取り可能な記
録媒体であって、 前記音声インデックス情報は、前記音声情報中の任意の
範囲に対応した音声を1単位の情報として管理する少な
くとも1つのサウンド情報と、1単位の情報である前記
サウンド情報を分類して、所望の意味のある集合として
管理する少なくとも1つのセグメント情報と、前記セグ
メント情報を複数まとめて管理するためのパッケージ情
報と、を構造要素オブジェクトとしたツリー構造であ
り、 さらに前記セグメント情報は、そのセグメント情報が管
理する前記サウンド情報と同一の範囲の音声を用いて生
成された他のセグメント情報を複数まとめて管理するた
めのパッケージ情報を管理し、 前記ツリー構造において、1つのセグメント情報の下位
に、前記サウンド情報に加えて前記パッケージ情報を配
置したことを特徴とする音声インデックス情報を記録し
た記録媒体。 - 【請求項15】 前記構造要素オブジェクトのうち、少
なくとも1種類の構造要素オブジェクトは、その構造要
素オブジェクトが直接または間接的に管理する音声の内
容を検索するための検索情報を有することを特徴とする
請求項14記載の音声インデックス情報を記録した記録
媒体。 - 【請求項16】 前記構造要素オブジェクトは、それぞ
れその構造要素オブジェクトが直接または間接的に管理
する音声の内容を検索するための検索情報を有すること
を特徴とする請求項14記載の音声インデックス情報を
記録した記録媒体。 - 【請求項17】 音声情報を解析して、前記音声情報と
は別に前記音声情報を管理するための音声インデックス
情報を生成し、生成した音声インデックス情報を参照す
ることにより前記音声情報を管理する音声インデックス
情報を用いた音声情報管理方法であって、 前記音声インデックス情報は、前記音声情報中の任意の
範囲に対応した音声を1単位の情報として管理する少な
くとも1つのサウンド情報と、1単位の情報である前記
サウンド情報を分類して、所望の意味のある集合として
管理する少なくとも1つのセグメント情報と、前記セグ
メント情報を複数まとめて管理するためのパッケージ情
報と、を構造要素オブジェクトとしたツリー構造であ
り、 さらに前記セグメント情報は、そのセグメント情報が管
理する前記サウンド情報と同一の範囲の音声を用いて生
成された他のセグメント情報を複数まとめて管理するた
めのパッケージ情報を管理し、 前記ツリー構造において、1つのセグメント情報の下位
に、前記サウンド情報に加えて前記パッケージ情報を配
置し、 前記音声インデックス情報のツリー構造および構造要素
オブジェクトを用いて前記音声情報を管理することを特
徴とする音声インデックス情報を用いた音声情報管理方
法。 - 【請求項18】 前記音声インデックス情報を前記音声
情報と分離して保存することを特徴とする請求項17記
載の音声インデックス情報を用いた音声情報管理方法。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24952698A JP3208116B2 (ja) | 1998-02-03 | 1998-09-03 | 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法 |
EP99116848A EP0984367B1 (en) | 1998-09-03 | 1999-09-03 | Recording media with video, respectively audio index information, information management and retrieval methods for video, respectively audio information and a video retrieval system |
DE69907829T DE69907829T2 (de) | 1998-09-03 | 1999-09-03 | Speichermedien mit Video- beziehungsweise Audioindexinformation, Verwaltungsverfahren und Wiederauffindungsverfahren für Video-, bzw Audioinformation und Videowiederauffindungssystem |
US09/389,326 US6771875B1 (en) | 1998-09-03 | 1999-09-03 | Recording medium with video index information recorded therein video information management method which uses the video index information recording medium with audio index information recorded therein audio information management method which uses the audio index information and a video retrieval system |
ES99116848T ES2195488T3 (es) | 1998-09-03 | 1999-09-03 | Medios de registro con informaciones de indice video y respectivamente audio, metodos de gestion y de recuperacion de informaciones de video, respectivamente audio y sistema de recuperacion de video. |
AT99116848T ATE240559T1 (de) | 1998-09-03 | 1999-09-03 | Speichermedien mit video- beziehungsweise audioindexinformation, verwaltungsverfahren und wiederauffindungsverfahren für video-, bzw audioinformation und videowiederauffindungssystem |
US10/766,891 US7277621B2 (en) | 1998-09-03 | 2004-01-30 | Recording medium with video index information recorded therein video information management method which uses the video index information, recording medium with audio index information recorded therein, audio information management method which uses the audio index information, video retrieval method which uses video index information, audio retrieval method which uses the audio index information and a video retrieval system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2242998 | 1998-02-03 | ||
JP10-22429 | 1998-02-03 | ||
JP24952698A JP3208116B2 (ja) | 1998-02-03 | 1998-09-03 | 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11288424A JPH11288424A (ja) | 1999-10-19 |
JP3208116B2 true JP3208116B2 (ja) | 2001-09-10 |
Family
ID=26359654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24952698A Expired - Lifetime JP3208116B2 (ja) | 1998-02-03 | 1998-09-03 | 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3208116B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7865833B2 (en) | 2001-12-28 | 2011-01-04 | Canon Kabushiki Kaisha | Data processing apparatus, data processing server, data processing system, method of controlling data processing apparatus, method of controlling data processing server, computer program, and computer readable storage medium |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001333353A (ja) * | 2000-03-16 | 2001-11-30 | Matsushita Electric Ind Co Ltd | データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム |
US7134074B2 (en) | 1998-12-25 | 2006-11-07 | Matsushita Electric Industrial Co., Ltd. | Data processing method and storage medium, and program for causing computer to execute the data processing method |
JP3478331B2 (ja) * | 1999-10-29 | 2003-12-15 | 株式会社リコー | 構造表示方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
EP1950673A3 (en) | 1999-12-03 | 2010-01-20 | Panasonic Corporation | Data adaption apparatus, data adaption method, recording medium, and program |
JP2001167109A (ja) * | 1999-12-08 | 2001-06-22 | Kddi Corp | オーディオビデオ情報の特徴記述群構成方法 |
JP3574606B2 (ja) * | 2000-04-21 | 2004-10-06 | 日本電信電話株式会社 | 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 |
JP2002149673A (ja) | 2000-06-14 | 2002-05-24 | Matsushita Electric Ind Co Ltd | データ処理装置およびデータ処理方法 |
KR100705900B1 (ko) * | 2000-08-21 | 2007-04-10 | 엘지전자 주식회사 | 개인 멀티미디어 라이브러리 시스템과 이러한 시스템을이용한 개인 멀티미디어 라이브러리 저장 및 브라우징 방법 |
JP4592171B2 (ja) * | 2000-10-20 | 2010-12-01 | シャープ株式会社 | 検索情報生成装置 |
KR100532558B1 (ko) * | 2000-10-20 | 2005-12-01 | 샤프 가부시키가이샤 | 동화상 컨텐츠를 검색하기 위한 검색정보를 관리하는 장치 및 방법, 및 검색정보를 이용하는 검색장치 |
KR100690945B1 (ko) * | 2000-10-20 | 2007-03-09 | 샤프 가부시키가이샤 | 동화상 콘텐츠 검색 정보 관리 장치 |
JP3704049B2 (ja) * | 2001-02-28 | 2005-10-05 | 日本電信電話株式会社 | マルチメディア情報再生方法、マルチメディア情報再生処理用プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US6859803B2 (en) * | 2001-11-13 | 2005-02-22 | Koninklijke Philips Electronics N.V. | Apparatus and method for program selection utilizing exclusive and inclusive metadata searches |
JP4065142B2 (ja) * | 2002-05-31 | 2008-03-19 | 松下電器産業株式会社 | オーサリング装置およびオーサリング方法 |
CN1695169A (zh) * | 2002-11-01 | 2005-11-09 | 索尼电子有限公司 | 基于图像和几何场景合成的统一表面模型 |
US20040169688A1 (en) * | 2003-02-27 | 2004-09-02 | Microsoft Corporation | Multi-directional display and navigation of hierarchical data and optimization of display area consumption |
JP5937630B2 (ja) * | 2014-01-31 | 2016-06-22 | ヤマハ株式会社 | 番組記録装置 |
CN117201873B (zh) * | 2023-11-07 | 2024-01-02 | 湖南博远翔电子科技有限公司 | 一种视频图像智能分析方法及装置 |
-
1998
- 1998-09-03 JP JP24952698A patent/JP3208116B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7865833B2 (en) | 2001-12-28 | 2011-01-04 | Canon Kabushiki Kaisha | Data processing apparatus, data processing server, data processing system, method of controlling data processing apparatus, method of controlling data processing server, computer program, and computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JPH11288424A (ja) | 1999-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3208116B2 (ja) | 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法 | |
EP0984367B1 (en) | Recording media with video, respectively audio index information, information management and retrieval methods for video, respectively audio information and a video retrieval system | |
JP3307613B2 (ja) | 映像検索システム | |
US7209942B1 (en) | Information providing method and apparatus, and information reception apparatus | |
Merialdo et al. | Automatic construction of personalized TV news programs | |
US7421455B2 (en) | Video search and services | |
US7181757B1 (en) | Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing | |
CN1993755B (zh) | 包括元数据的存储介质及其再现设备和方法 | |
KR100493674B1 (ko) | 멀티미디어 데이터 검색 및 브라우징 시스템 | |
US20020126143A1 (en) | Article-based news video content summarizing method and browsing system | |
JP2000250944A (ja) | 情報提供方法、情報提供装置、情報受信装置、並びに情報記述方法 | |
CN101398843B (zh) | 用于浏览视频概要描述数据的设备及方法 | |
JPWO2006019101A1 (ja) | コンテンツ関連情報取得装置、コンテンツ関連情報取得方法、およびコンテンツ関連情報取得プログラム | |
US7212972B2 (en) | Audio features description method and audio video features description collection construction method | |
JP2001028722A (ja) | 動画像管理装置及び動画像管理システム | |
KR100370247B1 (ko) | 등장인물 관계 기반 동영상 검색 방법 | |
Nitta et al. | Automatic personalized video abstraction for sports videos using metadata | |
Barbieri et al. | Video summarization: methods and landscape | |
EP2144240B1 (en) | Method of searching for meta data | |
Takahashi et al. | Automatic video summarization of sports videos using metadata | |
KR100518846B1 (ko) | 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법 | |
KR100361499B1 (ko) | 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법 | |
Lili | Hidden markov model for content-based video retrieval | |
JP2000076463A (ja) | 映像ストリームの構造解析方法,構造解析過程表示方法および構造表示方法 | |
Adami et al. | ToCAI: a framework for Indexing and Retrieval of Multimedia Documents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070706 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080706 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090706 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090706 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |