JP4053251B2 - 画像検索システムおよび画像蓄積方法 - Google Patents
画像検索システムおよび画像蓄積方法 Download PDFInfo
- Publication number
- JP4053251B2 JP4053251B2 JP2001086271A JP2001086271A JP4053251B2 JP 4053251 B2 JP4053251 B2 JP 4053251B2 JP 2001086271 A JP2001086271 A JP 2001086271A JP 2001086271 A JP2001086271 A JP 2001086271A JP 4053251 B2 JP4053251 B2 JP 4053251B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- pattern
- multimedia data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データ及び音声データを含めたマルチメディアデータを圧縮符号化して蓄積し、蓄積されたマルチメディアデータをクライアントの要求に応じて配送する画像検索システムに関するものである。
【０００２】
【従来の技術】
従来、マルチメディアデータの画像検索システムでは、画像要素情報から画像の特徴を利用して、画像そのものを検索している。近年、登録時に画像解析プログラムを併用して、エッジ情報、色情報等から一連の画像情報の中を静止画像と同様に画像を検索するシステムや、画像に現れる個々のコンテントに着目して検索することにより、画面上の個々の物体に対しても検索するシステムが実現されている。この従来技術は、特開平１１−３３８８７６号公報に記載されている。また、検索するための情報量の増大を抑制するために、代表フレームとその前後の音声データとを含むインデックスファイルを作成することでインデックスデータに登録された音声データ、画像データ、情報の復号情報にて画像を検索するシステムが特開平１１−３３１７７９号公報に記載されている。さらに、音声・画像を含むマルチメディアデータの蓄積装置にて、圧縮符号化されているデータを直接検索する方式が特開平２０００−２９８８１号公報に記載されている。
【０００３】
【発明が解決しようとする課題】
しかし、これらの検索システムでは、映像・音声・インデックスデータの登録時にユーザが検索キーワードを割り当てるか、検索時に検索画像・音声データを別途用意して比較することにより検索するなど、検索キーワードを入力する手段が、ユーザ側にて別途必要となる問題がある。また、検索データを管理するインデックスファイルは、別装置にて作成されたマルチメディアデータをコピーした場合にインデックスファイル内のキーワード情報が更新されずに、手動にて登録しなければならず手間がかかるという問題がある。
【０００４】
本発明は、上記課題を解決するために、マルチメディアデータを蓄積するときに、検索のときに利用するキーとなる情報をより簡単に登録することができる蓄積画像検索システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
画像検索システムは、画像データ及び音声データを含めたマルチメディアデータを圧縮符号化する符号化手段と、当該圧縮符号化されたマルチメディアデータを蓄積する蓄積手段とを有する。
【０００６】
記憶手段には、検索のときに利用するためのキーとなるあらかじめ定めた音声パターンと画像パターンとをあらかじめ記憶しておく。比較手段は、前記符号化手段で前記マルチメディアデータを圧縮符号化するときに、当該マルチメディアデータの音声データと、前記記憶手段に記憶する音声パターンとを比較し、当該マルチメディアデータの画像データと、前記記憶手段に記憶する画像パターンとを比較する。作成手段は、前記比較手段で比較した結果、一致した前記マルチメディアデータと前記音声パターンおよび／または画像パターンの識別情報とを関連づけるインデックス情報を作成する。
【０００７】
【発明の実施の形態】
以下図面を参照して、本発明の実施の形態を示す。
【０００８】
図１に本発明の実施形態のシステム構成図を示す。図１において、蓄積画像検索システムは、サーバ装置１、ビデオポンプ装置２、コンテンツ作成端末３、クライアント装置８とを備え、これらは各々パーソナルコンピュータで構成され、各装置はＬＡＮなどの通信手段７を介して通信を行う。クライアント装置８では所望するマルチメディアデータを選択し、配信要求を出すことにより、サーバ装置１はビデオポンプ装置２に対して、該当クライアント装置８の要求データを送信する。ビデオポンプ装置２はディスクドライブユニット５を備え、コンテンツ作成端末３で作成されたマルチメディアデータを蓄積することを可能とする。ユーザは、クライアント装置８の入力装置９のキーボードからキーワードを入力する。入力されたキーワードはサーバ装置１内の検索部４にて、一致するキーワードが存在するか判別し、合致した場合にマルチメディアデータをクライアント装置８に配信する。コンテンツ作成端末３のコンテンツ作成部６は、入力されたマルチメディアデータを圧縮符号化してファイル化する時にキーワード情報を予め登録したパターン情報と比較することにより、合致したキーワードを入力したコンテンツデータを作成する。作成されたマルチメディアデータのファイルはビデオポンプ装置２に蓄積され、検索キーワード情報とファイル名をリンクした情報はサーバ装置１の検索部４内の検索情報管理テーブルに記録される。
【０００９】
次に、コンテンツデータ作成方法について説明する。図２に、本実施の形態におけるコンテンツ作成端末３の内部に備えるコンテンツ作成部６のブロック図を示し、図３にコンテンツ作成部６のエンコーダ部３０及びパターン比較部６０のブロック図を示す。
【００１０】
図２に示すように、制御部８０は各ブロックの制御を行う。通信制御部１００は、外部通信手段とのインタフェース制御を行う。システムバス２０は、各制御データ及び画像データ、音声データのデータラインを含んでいる。映像・音声からなるマルチメディアデータとして、カメラからの画像データとマイクからの音声データとがそれぞれ入力部１０に入力される。入力された画像データ及び音声データは、Ａ／Ｄ部２０にてアナログ信号をディジタル信号に変換される。ディジタル信号化された画像データ及び音声データは圧縮符号化するためにエンコーダ部３０にて選択された符号化方式に従い符号化処理を行う。
【００１１】
音声データは、オーディオエンコーダ部３１０を介してオーディオメモリ部３４０に記録される。入力された画像データは図３に示すビデオエンコーダ部３１０にて、一時、ビデオメモリ部３２０に記録され、輝度と色差を持つ画素単位に分割して、複数の画素を１つのブロック（マクロブロック）として符号化される。符号化処理を行う上で、マクロブロック単位に動きベクトルを算出して、フレーム当たりの動き量を算出する動き量検出部６００にて動き量を算出する。算出された動き量の変化が閾値αより大きい場合に、制御部８０は音声のパターン比較を開始するために、パターン比較部６０に対して比較処理の開始指示を送る。比較処理が開始すると、制御部８０は、オーディオメモリ部３４０に記録された音声データを音声データ抽出部６１０で音声波形をフーリエ変換しスペクトル成分に変換させる。変換されたスペクトルの慨形をスペクトル包絡と称し、スペクトルからスペクトル包絡と音源情報を表す音声スペクトルの微細構造情報である残差信号と称する残差成分とに分解される。分解された各成分は、スペクトルパターンと音源パターンとしてマルチメディアメモリ部４０に記録される。同時に画像データは、ビデオメモリ部３２０に記録された画像データを画像データ抽出部６４０でフレーム毎にマクロブロック単位に分解して、画像構成情報を伴いマルチメディアメモリ部４０に記録される。マルチメディアメモリ部４０に記録された画像・音声データは、比較処理完了するまで記録される。さらに、ビデオエンコーダ部３１０は、符号化処理にて符号化されたデータの時刻管理情報値をマルチメディアメモリ部４０に記録する。時刻管理情報値は、画像データ、音声データをいつ復号再生するかの情報を示す情報値である。これは画像データと音声データがそれぞれ符号化する際に生じる遅延により、復号化の再生映像と再生音声ずれるような違和感をなくすための処理である。符号化されたマルチメディアデータは、この情報を元に画像データ及び音声データは復号化される。マルチメディアメモリ部４０に画像データ及び音声データを記録した後、記録した音声データと音声パターン記録部６３０に予め記録した音声パターンを音声パターン比較部６２０で比較する。
【００１２】
音声パターン記憶部６３０には、図１２に示すような音声パターンに対応するキーワードをあらかじめ記憶させておく。パターン記憶部６３０には、受付部６３５で音声パターンとキーワードとを受付けて登録することができる。音声パターンは、個別のキーワードに対応するパターンのほかに、複数のキーワードに対応するような音声パターンをあらかじめ登録しておくことができる。比較した結果、合致したパターンのキーワードをキーワード抽出部６７０に記録する。キーワードは複数あった場合でも全て、キーワード抽出部６７０に記録する。制御部８０は、キーワード抽出部６７０に記録されたキーワードから、画像パターン記録部６６０より画像パターンを選択する。画像パターン記録部６６０には、画像パターンに対応するキーワードがあらかじめ登録されている。画像パターンとしては、キーワードに対応する画像のエッジ処理を施した画像を登録しておく。１つのキーワードに複数の画像パターンが存在することもあり得るため、制御部８０は、前回検出したキーワードの画像パターンから類似頻度の高い画像パターンを選択する指示を出すようにしてもよい。画像パターン比較部６５０では、制御部８０より選択された画像パターンから順次マルチメディアメモリ部４０に記録された画像データを比較する。比較した結果、合致したパターンがある場合に、該当キーワードをキーワード検出部６８０に記録する。制御部８０はキーワードを検出したことを認識し、インデックスデータとしてキーワードと該当映像・音声部の時刻管理情報値とをマルチメディアメモリ部４０から抽出し、インデックスデータ生成部７００に記録させる。記録されたインデックスデータはキーワード毎に、各時刻管理情報値が記録される。算出された動き量の変化が閾値αより小さい場合には、制御部８０はパターン比較指示を出すことはなく、動き量の変化が閾値αより大きくなるまで、音声データ及び画像データの抽出を行わない。制御部８０は、音声パターン比較部６２０にて比較した結果、合致するキーワードが無い場合は、「音声パターン合致無し」というキーワードをキーワード検出部６８０に記録し、マルチメディアメモリ部４０に記録した時刻管理情報値と共に、インデックスデータ生成部７００に記録する。制御部８０は、画像パターン比較部にて合致したキーワードが無い場合は、「画像パターン合致無し」というキーワードをキーワード検出部６８０に記録し、マルチメディアメモリ部４０に記録した時刻管理情報値と共に、インデックスデータ生成部７００に記録する。
【００１３】
また、符号化された音声データと画像データは多重化部５０にて多重化される。多重化のフォーマット例を図４に示す。図４において、画像データ及び音声データをそれぞれパケットと称する４８バイトのストリームに分割する。これに５バイトのヘッダ部１６０に画像データあるいはオーディオデータの属性情報を含み、５３バイトのパケットを構成する。ここで、画像データを含むパケットをビデオパケット、音声データを含むパケットをオーディオパケットと称する。多重化部５０では、ビデオとオーディオのパケットを切り換えて時分割多重化を行う。マルチメディアデータの多重化完了時に、ファイル作成部７１０は、インデックスデータ生成部７００のインデックスデータの時刻管理情報を、検索後の所望映像の再生開始位置を示す情報値（タイムスタンプ値）としてキーワードとともに、多重化されたマルチメディアデータのデータの先頭部に記録する。
【００１４】
図５にデータフォーマット例を示す。図５に示すように、インデックスデータ、画像データおよび音声データは、それぞれパケットと称する４８バイトのストリームに分割される。これに５バイトのヘッダ部１５０にインデックスデータあるいは画像データ、オーディオデータの属性情報を含み、５３バイトのパケットを構成する。ここで、インデックスデータを含むパケットをインデックスパケット、画像データを含むパケットをビデオパケット、音声データを含むパケットをオーディオパケットと称する。インデックスパケットには、同一ファイル内のマルチメディアデータ全てのキーワードと、キーワードに対応したタイムスタンプ値を格納する。インデックスパケット、ビデオパケット、オーディオパケットはそれぞれ、ファイル作成部７１０にて、多重化されたマルチメディアデータの先頭部をインデックスパケットとするマルチメディアファイルが作成される。マルチメディアデータを再生する場合は、インデックスパケットのヘッダ部の情報を読みとり、パケットが再生すべきデータではないことを認識するため、ビデオパケットもしくはオーディオパケットのみを再生対象とする。
【００１５】
図６にマルチメディアデータ作成処理のフローチャートを示す。
【００１６】
図６において、マルチメディアデータを入力し、マルチメディアデータのファイル作成処理を開始する（ステップ４００）。動き量取得処理により画像データから動き量を取得する（ステップ４１００）。図７に動き量検出処理の概要を示す。図７において、図３に示すエンコーダ部３１０からの画像データを予測メモリ１（４７１０）または予測メモリ２（４７２０）に交互に蓄積する。予測メモリ１または予測メモリ２内の画像データ、または、予測メモリ１および予測メモリ２の平均値の画像データと、現在の画像データとのフレーム間の差分を差分検出部４７３０にて採取し、水平及び垂直方向にずらして、差分が小さくなる位置を動きベクトルとしてベクトル値を算出する。算出したベクトル値を動き量として変換し、フレーム単位で、動き量を決定する。取得された動き量と閾値αをステップ４２００により比較する。ステップ４２００により閾値αより動き量が大きい場合は、パターン比較処理を開始する（ステップ４３００）。パターン比較処理は、図３に示す音声データ比較部６２０と画像データ比較部６５０とで行い、一致するキーワードをキーワード検出部６８０に記録する（ステップ４３００）。パターン比較処理により比較抽出されたキーワードからインデックス作成処理にてインデックスを作成する（ステップ４４００）。図８にインデックス作成処理の例を示す。図３に示すキーワード検出部６８０に記録したキーワードと図２に示すマルチメディアメモリ部４０に記録した時刻管理情報値とを合わせてインデックスデータ７００として記録する。図３に示すキーワード検出部６８０では、検出したキーワード数を記録部の最初に記録する。動き量の変化が閾値より大きくならない限り、パターン比較・時刻管理情報値の更新を行わないため、キーワード検出部に記録するキーワードは、１つの時刻管理情報値で管理する。動き量が閾値を越え、新たなパターン比較処理を始めるまでに、図３に示すインデックスデータ生成部７００において、キーワード数、キーワードおよび時刻管理情報を記録する。新たなパターン比較の結果で生じるキーワードは、さらに次のパターン比較処理が始める前に、前回の時刻管理情報値の後に続けて記録する。記録を行う上で、前回と同一のキーワードが存在する場合は、そのキーワードを削除し、キーワード数を減らす処理を行うようにしてもよい。
【００１７】
インデックス作成処理後、ステップ４５００のマルチメディアデータの作成終了判別処理にて、マルチメディアデータの作成終了を判別する。また、ステップ４２００により閾値αより動き量が小さい場合は、比較対象画像の変化が無いと判断し、マルチメディアデータの作成終了判別処理にて（ステップ４５００）、マルチメディアデータの作成終了を判別する。終了時にはファイル作成処理にて、マルチメディアデータのファイルを作成する（ステップ４６００）。マルチメディア作成処理では、最終的なデータ量をインデックスデータの先頭に入れる処理を行い、図５に示すインデックスパケット１５１として４８バイト毎に区切る処理を行い、ビデオデータ・オーディオデータと合わせてマルチメディアデータを作成する。継続時には、ステップ４１００の動き量取得処理に戻る。
【００１８】
次に、複数のマルチメディアデータファイルを登録（検索情報登録）する場合の処理を、図９を参照して説明する。図９に検索情報登録処理のフローチャートを示す。
【００１９】
図９において、検索情報登録処理を開始すると、コンテンツ作成端末３にてファイル登録処理を行う（ステップ５１００）。ファイル登録処理は、コンテンツ作成端末３にて作成されたマルチメディアデータファイルにファイル名とタイトルを登録する処理である。これは、ユーザがキーボードから入力装置により、ファイル名称、タイトルを登録する。ファイル名称及びタイトルの登録が完了すると、コンテンツ作成端末３は、通信手段７により、ファイルデータをビデオポンプ装置２のディスクユニット部５に送信する。ビデオポンプ装置２へのファイル送信が完了すると、コンテンツ作成端末３は、ステップ５２００のインデックスデータ取得処理を開始する。インデックスデータ処理は、マルチメディアファイル内のインデックスデータを読みとり、サーバ装置１の検索部４に対して、インデックスデータを送信する。検索情報管理テーブル登録処理（ステップ５３００）にて、サーバ装置１の検索部４の検索情報管理テーブルにインデックスデータが登録される。検索情報管理テーブルは、図１０に示すように、インデックスデータに登録されたキーワードを示すキーワード名２５０と、キーワードの対象マルチメディアファイルのファイル名を示すファイル名称２５１と、該当キーワードに対応するマルチメディアデータの再生位置を示す時刻管理情報に対応するタイムスタンプ値２５２と、登録時に別途入力するマルチメディアファイルのタイトル名２５３とで構成される。
【００２０】
検索時には、検索情報管理テーブルを参照することにより、クライアント装置８の入力装置９からの入力されたキーワードを含むファイル名称を選択し、ファイルの再生位置をタイムスタンプ値から読みとることにより、所望する画像を検索することが可能となる。検索情報管理テーブルには、画像の作成年月などの検索情報を記録することも可能とする。
【００２１】
図１１に、第２の実施の形態におけるマルチメディアデータの検索情報登録処理のブロック図を示す。第２の実施の形態においては、すでに作成されたマルチメディアデータを受付けて、キーワードの登録を行う場合の構成を示す。
【００２２】
本システム以外にて作成されたマルチメディアデータは、マルチメディア分離部３５０にて画像データと音声データとに分離される。画像データは、ビデオデコーダ部３６０にて復号化され、復号化時の動き量を動き量検出部６００にて検出される。動き量が閾値αより大きい場合は、前述のマルチメディアデータを作成する場合と同様に、制御部８０がパターン比較処理を開始する。音声データは、オーディオデコーダ部３８０にて復号化される。制御部８０が比較処理を開始すると、オーディオ抽出部にて音声データを抽出し、予め記録してある音声パターンとの比較を行う。同様に、画像パターンとの比較も行い、キーワードと時刻管理情報を検出する。検出されたキーワードと時刻管理情報とはインデックスデータ作成部７００に記録される。マルチメディアデータの復号化処理終了時に、ファイル作成部７１０は、本システム以外で作成されたマルチメディアデータをマルチメディアデータ記録部４００から引き出し、インデックスデータ生成部７００のインデックスデータの時刻管理情報を、再生開始位置の情報値（タイムスタンプ値）としてキーワードとともに、引き出されたマルチメディアデータの先頭部に記録し、新規ファイルを作成する。このとき、新規ファイルの作成により、同一内容のマルチメディアファイルが２種類存在することになる。新規ファイルの作成を拒否した場合に於いても、ファイル生成部７１０は、ファイル名称とインデックスデータ情報を記録したインデックスファイルを作成し、ファイル登録時には、検索情報管理テーブルに記録することを可能とする。このことにより、別途システムで作成されたマルチメディアデータも自動的にキーワードを挿入することを可能とする。
【００２３】
【発明の効果】
本発明の画像検索システムを利用すれば、マルチメディアデータを検索する場合のキーワードや特徴データの登録を行わず、マルチメディア作成時にキーワードを自動的に登録することが可能となる。さらに、音声データと動き量によりキーワードを選択することにより、余剰な検索データを挿入することなく登録を可能とする。
【図面の簡単な説明】
【図１】画像検索システムのシステム構成図
【図２】コンテンツ作成部のブロック図
【図３】パターン比較部のブロック図
【図４】マルチメディアデータ多重化フォーマット例を示す説明図
【図５】マルチメディアファイルデータフォーマット例を示す説明図
【図６】ファイル作成処理フロー図
【図７】動き量検出処理ブロック図
【図８】インデックスデータ作成例を示す説明図
【図９】検索情報登録処理フロー図
【図１０】検索情報管理テーブル例を示す説明図
【図１１】本システム以外で作成されたファイルのパターン比較ブロック図。
【図１２】音声パターンと画像パターンとの説明図
【符号の説明】
１ サーバ装置
２ ビデオポンプ装置
３ コンテンツ作成端末
４ 検索部
５ ディスクユニット部
６ コンテンツ作成部
７ 通信手段
８ クライアント装置
９ 入力装置
１０ 入力部
２０ Ａ／Ｄ部
３０ エンコーダ部
４０ マルチメディアメモリ部
５０ マルチメディア多重化部
６０ パターン比較部
７０ ファイル作成部
８０ 制御部
９０ メモリ部
１００ 通信制御部
１１０ デコーダ部
１５０ ヘッダ部
１５１ インデックスデータ
１５２ ビデオデータ
１５３ オーディオデータ
１６０ ヘッダ部
２５０ キーワード名
２５１ ファイル名称
２５２ タイムスタンプ値
２５３ タイトル名
３００ エンコーダ入力部
３１０ ビデオエンコーダ部
３２０ ビデオメモリ部
３３０ オーディオエンコーダ部
３４０ ビデオメモリ部
３５０ マルチメディア分離部
３６０ ビデオデコーダ部
３７０ ビデオメモリ部
３８０ オーディオデコーダ部
３９０ オーディオメモリ部
４００ マルチメディア記録部
６００ 動き量検出部
６１０ 音声データ抽出部
６２０ 音声パターン比較部
６３０ 音声パターン記録部
６４０ 画像データ抽出部
６５０ 画像パターン比較部
６６０ 画像パターン記録部
６７０ キーワード抽出部
６８０ キーワード検出部
７００ インデックスデータ生成部
７１０ ファイル生成部
４０００ ファイル作成処理
４１００ 動き量取得処理
４２００ 閾値判別
４３００ パターン比較処理
４４００ インデックス作成処理
４５００ 終了判別
４６００ マルチメディアデータ作成処理
４７１０ 予測メモリ１
４７２０ 予測メモリ２
４７３０ 差分検出部
５０００ 検索情報登録処理
５１００ ファイル登録処理
５２００ インデックスデータ取得処理
５３００ 検索情報管理テーブル登録処理。
【発明の属する技術分野】
本発明は、画像データ及び音声データを含めたマルチメディアデータを圧縮符号化して蓄積し、蓄積されたマルチメディアデータをクライアントの要求に応じて配送する画像検索システムに関するものである。
【０００２】
【従来の技術】
従来、マルチメディアデータの画像検索システムでは、画像要素情報から画像の特徴を利用して、画像そのものを検索している。近年、登録時に画像解析プログラムを併用して、エッジ情報、色情報等から一連の画像情報の中を静止画像と同様に画像を検索するシステムや、画像に現れる個々のコンテントに着目して検索することにより、画面上の個々の物体に対しても検索するシステムが実現されている。この従来技術は、特開平１１−３３８８７６号公報に記載されている。また、検索するための情報量の増大を抑制するために、代表フレームとその前後の音声データとを含むインデックスファイルを作成することでインデックスデータに登録された音声データ、画像データ、情報の復号情報にて画像を検索するシステムが特開平１１−３３１７７９号公報に記載されている。さらに、音声・画像を含むマルチメディアデータの蓄積装置にて、圧縮符号化されているデータを直接検索する方式が特開平２０００−２９８８１号公報に記載されている。
【０００３】
【発明が解決しようとする課題】
しかし、これらの検索システムでは、映像・音声・インデックスデータの登録時にユーザが検索キーワードを割り当てるか、検索時に検索画像・音声データを別途用意して比較することにより検索するなど、検索キーワードを入力する手段が、ユーザ側にて別途必要となる問題がある。また、検索データを管理するインデックスファイルは、別装置にて作成されたマルチメディアデータをコピーした場合にインデックスファイル内のキーワード情報が更新されずに、手動にて登録しなければならず手間がかかるという問題がある。
【０００４】
本発明は、上記課題を解決するために、マルチメディアデータを蓄積するときに、検索のときに利用するキーとなる情報をより簡単に登録することができる蓄積画像検索システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
画像検索システムは、画像データ及び音声データを含めたマルチメディアデータを圧縮符号化する符号化手段と、当該圧縮符号化されたマルチメディアデータを蓄積する蓄積手段とを有する。
【０００６】
記憶手段には、検索のときに利用するためのキーとなるあらかじめ定めた音声パターンと画像パターンとをあらかじめ記憶しておく。比較手段は、前記符号化手段で前記マルチメディアデータを圧縮符号化するときに、当該マルチメディアデータの音声データと、前記記憶手段に記憶する音声パターンとを比較し、当該マルチメディアデータの画像データと、前記記憶手段に記憶する画像パターンとを比較する。作成手段は、前記比較手段で比較した結果、一致した前記マルチメディアデータと前記音声パターンおよび／または画像パターンの識別情報とを関連づけるインデックス情報を作成する。
【０００７】
【発明の実施の形態】
以下図面を参照して、本発明の実施の形態を示す。
【０００８】
図１に本発明の実施形態のシステム構成図を示す。図１において、蓄積画像検索システムは、サーバ装置１、ビデオポンプ装置２、コンテンツ作成端末３、クライアント装置８とを備え、これらは各々パーソナルコンピュータで構成され、各装置はＬＡＮなどの通信手段７を介して通信を行う。クライアント装置８では所望するマルチメディアデータを選択し、配信要求を出すことにより、サーバ装置１はビデオポンプ装置２に対して、該当クライアント装置８の要求データを送信する。ビデオポンプ装置２はディスクドライブユニット５を備え、コンテンツ作成端末３で作成されたマルチメディアデータを蓄積することを可能とする。ユーザは、クライアント装置８の入力装置９のキーボードからキーワードを入力する。入力されたキーワードはサーバ装置１内の検索部４にて、一致するキーワードが存在するか判別し、合致した場合にマルチメディアデータをクライアント装置８に配信する。コンテンツ作成端末３のコンテンツ作成部６は、入力されたマルチメディアデータを圧縮符号化してファイル化する時にキーワード情報を予め登録したパターン情報と比較することにより、合致したキーワードを入力したコンテンツデータを作成する。作成されたマルチメディアデータのファイルはビデオポンプ装置２に蓄積され、検索キーワード情報とファイル名をリンクした情報はサーバ装置１の検索部４内の検索情報管理テーブルに記録される。
【０００９】
次に、コンテンツデータ作成方法について説明する。図２に、本実施の形態におけるコンテンツ作成端末３の内部に備えるコンテンツ作成部６のブロック図を示し、図３にコンテンツ作成部６のエンコーダ部３０及びパターン比較部６０のブロック図を示す。
【００１０】
図２に示すように、制御部８０は各ブロックの制御を行う。通信制御部１００は、外部通信手段とのインタフェース制御を行う。システムバス２０は、各制御データ及び画像データ、音声データのデータラインを含んでいる。映像・音声からなるマルチメディアデータとして、カメラからの画像データとマイクからの音声データとがそれぞれ入力部１０に入力される。入力された画像データ及び音声データは、Ａ／Ｄ部２０にてアナログ信号をディジタル信号に変換される。ディジタル信号化された画像データ及び音声データは圧縮符号化するためにエンコーダ部３０にて選択された符号化方式に従い符号化処理を行う。
【００１１】
音声データは、オーディオエンコーダ部３１０を介してオーディオメモリ部３４０に記録される。入力された画像データは図３に示すビデオエンコーダ部３１０にて、一時、ビデオメモリ部３２０に記録され、輝度と色差を持つ画素単位に分割して、複数の画素を１つのブロック（マクロブロック）として符号化される。符号化処理を行う上で、マクロブロック単位に動きベクトルを算出して、フレーム当たりの動き量を算出する動き量検出部６００にて動き量を算出する。算出された動き量の変化が閾値αより大きい場合に、制御部８０は音声のパターン比較を開始するために、パターン比較部６０に対して比較処理の開始指示を送る。比較処理が開始すると、制御部８０は、オーディオメモリ部３４０に記録された音声データを音声データ抽出部６１０で音声波形をフーリエ変換しスペクトル成分に変換させる。変換されたスペクトルの慨形をスペクトル包絡と称し、スペクトルからスペクトル包絡と音源情報を表す音声スペクトルの微細構造情報である残差信号と称する残差成分とに分解される。分解された各成分は、スペクトルパターンと音源パターンとしてマルチメディアメモリ部４０に記録される。同時に画像データは、ビデオメモリ部３２０に記録された画像データを画像データ抽出部６４０でフレーム毎にマクロブロック単位に分解して、画像構成情報を伴いマルチメディアメモリ部４０に記録される。マルチメディアメモリ部４０に記録された画像・音声データは、比較処理完了するまで記録される。さらに、ビデオエンコーダ部３１０は、符号化処理にて符号化されたデータの時刻管理情報値をマルチメディアメモリ部４０に記録する。時刻管理情報値は、画像データ、音声データをいつ復号再生するかの情報を示す情報値である。これは画像データと音声データがそれぞれ符号化する際に生じる遅延により、復号化の再生映像と再生音声ずれるような違和感をなくすための処理である。符号化されたマルチメディアデータは、この情報を元に画像データ及び音声データは復号化される。マルチメディアメモリ部４０に画像データ及び音声データを記録した後、記録した音声データと音声パターン記録部６３０に予め記録した音声パターンを音声パターン比較部６２０で比較する。
【００１２】
音声パターン記憶部６３０には、図１２に示すような音声パターンに対応するキーワードをあらかじめ記憶させておく。パターン記憶部６３０には、受付部６３５で音声パターンとキーワードとを受付けて登録することができる。音声パターンは、個別のキーワードに対応するパターンのほかに、複数のキーワードに対応するような音声パターンをあらかじめ登録しておくことができる。比較した結果、合致したパターンのキーワードをキーワード抽出部６７０に記録する。キーワードは複数あった場合でも全て、キーワード抽出部６７０に記録する。制御部８０は、キーワード抽出部６７０に記録されたキーワードから、画像パターン記録部６６０より画像パターンを選択する。画像パターン記録部６６０には、画像パターンに対応するキーワードがあらかじめ登録されている。画像パターンとしては、キーワードに対応する画像のエッジ処理を施した画像を登録しておく。１つのキーワードに複数の画像パターンが存在することもあり得るため、制御部８０は、前回検出したキーワードの画像パターンから類似頻度の高い画像パターンを選択する指示を出すようにしてもよい。画像パターン比較部６５０では、制御部８０より選択された画像パターンから順次マルチメディアメモリ部４０に記録された画像データを比較する。比較した結果、合致したパターンがある場合に、該当キーワードをキーワード検出部６８０に記録する。制御部８０はキーワードを検出したことを認識し、インデックスデータとしてキーワードと該当映像・音声部の時刻管理情報値とをマルチメディアメモリ部４０から抽出し、インデックスデータ生成部７００に記録させる。記録されたインデックスデータはキーワード毎に、各時刻管理情報値が記録される。算出された動き量の変化が閾値αより小さい場合には、制御部８０はパターン比較指示を出すことはなく、動き量の変化が閾値αより大きくなるまで、音声データ及び画像データの抽出を行わない。制御部８０は、音声パターン比較部６２０にて比較した結果、合致するキーワードが無い場合は、「音声パターン合致無し」というキーワードをキーワード検出部６８０に記録し、マルチメディアメモリ部４０に記録した時刻管理情報値と共に、インデックスデータ生成部７００に記録する。制御部８０は、画像パターン比較部にて合致したキーワードが無い場合は、「画像パターン合致無し」というキーワードをキーワード検出部６８０に記録し、マルチメディアメモリ部４０に記録した時刻管理情報値と共に、インデックスデータ生成部７００に記録する。
【００１３】
また、符号化された音声データと画像データは多重化部５０にて多重化される。多重化のフォーマット例を図４に示す。図４において、画像データ及び音声データをそれぞれパケットと称する４８バイトのストリームに分割する。これに５バイトのヘッダ部１６０に画像データあるいはオーディオデータの属性情報を含み、５３バイトのパケットを構成する。ここで、画像データを含むパケットをビデオパケット、音声データを含むパケットをオーディオパケットと称する。多重化部５０では、ビデオとオーディオのパケットを切り換えて時分割多重化を行う。マルチメディアデータの多重化完了時に、ファイル作成部７１０は、インデックスデータ生成部７００のインデックスデータの時刻管理情報を、検索後の所望映像の再生開始位置を示す情報値（タイムスタンプ値）としてキーワードとともに、多重化されたマルチメディアデータのデータの先頭部に記録する。
【００１４】
図５にデータフォーマット例を示す。図５に示すように、インデックスデータ、画像データおよび音声データは、それぞれパケットと称する４８バイトのストリームに分割される。これに５バイトのヘッダ部１５０にインデックスデータあるいは画像データ、オーディオデータの属性情報を含み、５３バイトのパケットを構成する。ここで、インデックスデータを含むパケットをインデックスパケット、画像データを含むパケットをビデオパケット、音声データを含むパケットをオーディオパケットと称する。インデックスパケットには、同一ファイル内のマルチメディアデータ全てのキーワードと、キーワードに対応したタイムスタンプ値を格納する。インデックスパケット、ビデオパケット、オーディオパケットはそれぞれ、ファイル作成部７１０にて、多重化されたマルチメディアデータの先頭部をインデックスパケットとするマルチメディアファイルが作成される。マルチメディアデータを再生する場合は、インデックスパケットのヘッダ部の情報を読みとり、パケットが再生すべきデータではないことを認識するため、ビデオパケットもしくはオーディオパケットのみを再生対象とする。
【００１５】
図６にマルチメディアデータ作成処理のフローチャートを示す。
【００１６】
図６において、マルチメディアデータを入力し、マルチメディアデータのファイル作成処理を開始する（ステップ４００）。動き量取得処理により画像データから動き量を取得する（ステップ４１００）。図７に動き量検出処理の概要を示す。図７において、図３に示すエンコーダ部３１０からの画像データを予測メモリ１（４７１０）または予測メモリ２（４７２０）に交互に蓄積する。予測メモリ１または予測メモリ２内の画像データ、または、予測メモリ１および予測メモリ２の平均値の画像データと、現在の画像データとのフレーム間の差分を差分検出部４７３０にて採取し、水平及び垂直方向にずらして、差分が小さくなる位置を動きベクトルとしてベクトル値を算出する。算出したベクトル値を動き量として変換し、フレーム単位で、動き量を決定する。取得された動き量と閾値αをステップ４２００により比較する。ステップ４２００により閾値αより動き量が大きい場合は、パターン比較処理を開始する（ステップ４３００）。パターン比較処理は、図３に示す音声データ比較部６２０と画像データ比較部６５０とで行い、一致するキーワードをキーワード検出部６８０に記録する（ステップ４３００）。パターン比較処理により比較抽出されたキーワードからインデックス作成処理にてインデックスを作成する（ステップ４４００）。図８にインデックス作成処理の例を示す。図３に示すキーワード検出部６８０に記録したキーワードと図２に示すマルチメディアメモリ部４０に記録した時刻管理情報値とを合わせてインデックスデータ７００として記録する。図３に示すキーワード検出部６８０では、検出したキーワード数を記録部の最初に記録する。動き量の変化が閾値より大きくならない限り、パターン比較・時刻管理情報値の更新を行わないため、キーワード検出部に記録するキーワードは、１つの時刻管理情報値で管理する。動き量が閾値を越え、新たなパターン比較処理を始めるまでに、図３に示すインデックスデータ生成部７００において、キーワード数、キーワードおよび時刻管理情報を記録する。新たなパターン比較の結果で生じるキーワードは、さらに次のパターン比較処理が始める前に、前回の時刻管理情報値の後に続けて記録する。記録を行う上で、前回と同一のキーワードが存在する場合は、そのキーワードを削除し、キーワード数を減らす処理を行うようにしてもよい。
【００１７】
インデックス作成処理後、ステップ４５００のマルチメディアデータの作成終了判別処理にて、マルチメディアデータの作成終了を判別する。また、ステップ４２００により閾値αより動き量が小さい場合は、比較対象画像の変化が無いと判断し、マルチメディアデータの作成終了判別処理にて（ステップ４５００）、マルチメディアデータの作成終了を判別する。終了時にはファイル作成処理にて、マルチメディアデータのファイルを作成する（ステップ４６００）。マルチメディア作成処理では、最終的なデータ量をインデックスデータの先頭に入れる処理を行い、図５に示すインデックスパケット１５１として４８バイト毎に区切る処理を行い、ビデオデータ・オーディオデータと合わせてマルチメディアデータを作成する。継続時には、ステップ４１００の動き量取得処理に戻る。
【００１８】
次に、複数のマルチメディアデータファイルを登録（検索情報登録）する場合の処理を、図９を参照して説明する。図９に検索情報登録処理のフローチャートを示す。
【００１９】
図９において、検索情報登録処理を開始すると、コンテンツ作成端末３にてファイル登録処理を行う（ステップ５１００）。ファイル登録処理は、コンテンツ作成端末３にて作成されたマルチメディアデータファイルにファイル名とタイトルを登録する処理である。これは、ユーザがキーボードから入力装置により、ファイル名称、タイトルを登録する。ファイル名称及びタイトルの登録が完了すると、コンテンツ作成端末３は、通信手段７により、ファイルデータをビデオポンプ装置２のディスクユニット部５に送信する。ビデオポンプ装置２へのファイル送信が完了すると、コンテンツ作成端末３は、ステップ５２００のインデックスデータ取得処理を開始する。インデックスデータ処理は、マルチメディアファイル内のインデックスデータを読みとり、サーバ装置１の検索部４に対して、インデックスデータを送信する。検索情報管理テーブル登録処理（ステップ５３００）にて、サーバ装置１の検索部４の検索情報管理テーブルにインデックスデータが登録される。検索情報管理テーブルは、図１０に示すように、インデックスデータに登録されたキーワードを示すキーワード名２５０と、キーワードの対象マルチメディアファイルのファイル名を示すファイル名称２５１と、該当キーワードに対応するマルチメディアデータの再生位置を示す時刻管理情報に対応するタイムスタンプ値２５２と、登録時に別途入力するマルチメディアファイルのタイトル名２５３とで構成される。
【００２０】
検索時には、検索情報管理テーブルを参照することにより、クライアント装置８の入力装置９からの入力されたキーワードを含むファイル名称を選択し、ファイルの再生位置をタイムスタンプ値から読みとることにより、所望する画像を検索することが可能となる。検索情報管理テーブルには、画像の作成年月などの検索情報を記録することも可能とする。
【００２１】
図１１に、第２の実施の形態におけるマルチメディアデータの検索情報登録処理のブロック図を示す。第２の実施の形態においては、すでに作成されたマルチメディアデータを受付けて、キーワードの登録を行う場合の構成を示す。
【００２２】
本システム以外にて作成されたマルチメディアデータは、マルチメディア分離部３５０にて画像データと音声データとに分離される。画像データは、ビデオデコーダ部３６０にて復号化され、復号化時の動き量を動き量検出部６００にて検出される。動き量が閾値αより大きい場合は、前述のマルチメディアデータを作成する場合と同様に、制御部８０がパターン比較処理を開始する。音声データは、オーディオデコーダ部３８０にて復号化される。制御部８０が比較処理を開始すると、オーディオ抽出部にて音声データを抽出し、予め記録してある音声パターンとの比較を行う。同様に、画像パターンとの比較も行い、キーワードと時刻管理情報を検出する。検出されたキーワードと時刻管理情報とはインデックスデータ作成部７００に記録される。マルチメディアデータの復号化処理終了時に、ファイル作成部７１０は、本システム以外で作成されたマルチメディアデータをマルチメディアデータ記録部４００から引き出し、インデックスデータ生成部７００のインデックスデータの時刻管理情報を、再生開始位置の情報値（タイムスタンプ値）としてキーワードとともに、引き出されたマルチメディアデータの先頭部に記録し、新規ファイルを作成する。このとき、新規ファイルの作成により、同一内容のマルチメディアファイルが２種類存在することになる。新規ファイルの作成を拒否した場合に於いても、ファイル生成部７１０は、ファイル名称とインデックスデータ情報を記録したインデックスファイルを作成し、ファイル登録時には、検索情報管理テーブルに記録することを可能とする。このことにより、別途システムで作成されたマルチメディアデータも自動的にキーワードを挿入することを可能とする。
【００２３】
【発明の効果】
本発明の画像検索システムを利用すれば、マルチメディアデータを検索する場合のキーワードや特徴データの登録を行わず、マルチメディア作成時にキーワードを自動的に登録することが可能となる。さらに、音声データと動き量によりキーワードを選択することにより、余剰な検索データを挿入することなく登録を可能とする。
【図面の簡単な説明】
【図１】画像検索システムのシステム構成図
【図２】コンテンツ作成部のブロック図
【図３】パターン比較部のブロック図
【図４】マルチメディアデータ多重化フォーマット例を示す説明図
【図５】マルチメディアファイルデータフォーマット例を示す説明図
【図６】ファイル作成処理フロー図
【図７】動き量検出処理ブロック図
【図８】インデックスデータ作成例を示す説明図
【図９】検索情報登録処理フロー図
【図１０】検索情報管理テーブル例を示す説明図
【図１１】本システム以外で作成されたファイルのパターン比較ブロック図。
【図１２】音声パターンと画像パターンとの説明図
【符号の説明】
１ サーバ装置
２ ビデオポンプ装置
３ コンテンツ作成端末
４ 検索部
５ ディスクユニット部
６ コンテンツ作成部
７ 通信手段
８ クライアント装置
９ 入力装置
１０ 入力部
２０ Ａ／Ｄ部
３０ エンコーダ部
４０ マルチメディアメモリ部
５０ マルチメディア多重化部
６０ パターン比較部
７０ ファイル作成部
８０ 制御部
９０ メモリ部
１００ 通信制御部
１１０ デコーダ部
１５０ ヘッダ部
１５１ インデックスデータ
１５２ ビデオデータ
１５３ オーディオデータ
１６０ ヘッダ部
２５０ キーワード名
２５１ ファイル名称
２５２ タイムスタンプ値
２５３ タイトル名
３００ エンコーダ入力部
３１０ ビデオエンコーダ部
３２０ ビデオメモリ部
３３０ オーディオエンコーダ部
３４０ ビデオメモリ部
３５０ マルチメディア分離部
３６０ ビデオデコーダ部
３７０ ビデオメモリ部
３８０ オーディオデコーダ部
３９０ オーディオメモリ部
４００ マルチメディア記録部
６００ 動き量検出部
６１０ 音声データ抽出部
６２０ 音声パターン比較部
６３０ 音声パターン記録部
６４０ 画像データ抽出部
６５０ 画像パターン比較部
６６０ 画像パターン記録部
６７０ キーワード抽出部
６８０ キーワード検出部
７００ インデックスデータ生成部
７１０ ファイル生成部
４０００ ファイル作成処理
４１００ 動き量取得処理
４２００ 閾値判別
４３００ パターン比較処理
４４００ インデックス作成処理
４５００ 終了判別
４６００ マルチメディアデータ作成処理
４７１０ 予測メモリ１
４７２０ 予測メモリ２
４７３０ 差分検出部
５０００ 検索情報登録処理
５１００ ファイル登録処理
５２００ インデックスデータ取得処理
５３００ 検索情報管理テーブル登録処理。
Claims (5)
- 画像データ及び音声データを含めたマルチメディアデータを圧縮符号化する符号化手段と、当該圧縮符号化されたマルチメディアデータを蓄積する蓄積手段とを有する画像検索システムにおいて、
検索のときに利用するためのキーとなるあらかじめ定めた音声パターンと画像パターンとを記憶する記憶手段と、前記符号化手段で前記マルチメディアデータを圧縮符号化するときに、当該マルチメディアデータの音声データと、前記記憶手段に記憶する音声パターンとを比較し、当該マルチメディアデータの画像データと、前記記憶手段に記憶する画像パターンとを比較する比較手段と、前記比較手段で比較した結果、一致した前記マルチメディアデータと前記音声パターンおよび前記画像パターンとを関連づけるインデックス情報を作成する作成手段とを有し、
前記記憶手段は、前記音声パターンおよび前記画像パターンに対して１または２以上のキーワード情報をあらかじめ記憶し、
前記比較手段は、当該マルチメディアデータの音声データと、前記記憶手段に記憶する音声パターンとを比較し、一致した音声パターンに対応するキーワード情報を検出し、当該キーワード情報に対応する画像パターンと、前記マルチメディアデータの画像データとを比較し、
前記作成手段は、前記比較手段で一致した画像パターンのキーワード情報を含む前記インデックス情報を作成する、
ことを特徴とする画像検索システム。 - 請求項１に記載の画像検索システムにおいて、前記符号化手段で前記マルチメディアデータを圧縮符号化するときに、当該マルチメディアデータの画像の動き量があらかじめ定めた動き量以上であることを検出する検出手段をさらに有し、前記比較手段は、前記検出手段で前記検出が行われたときに前記比較を行うことを特徴とする画像検索システム。
- 請求項１に記載の画像検索システムにおいて、前記比較手段で前記音声パターンと画像パターンとを比較の結果、前記マルチメディアデータが、音声パターンと一致しない場合、または、画像パターンと一致しない場合に応じて、前記作成手段は、合致する音声パターンが無いことを示すデータ、または、合致する画像パターンが無いことを示すデータ、を含めたインデックス情報を作成する、ことを特徴とする画像検索システム。
- 画像データ及び音声データを含めたマルチメディアデータを圧縮符号化して蓄積する端末における画像蓄積方法であって、
前記端末は、検索のときに利用するためのキーとなるあらかじめ定めた音声パターンと、画像パターンと、前記音声パターンおよび前記画像パターンに対して１または２以上のキーワード情報とをあらかじめ記憶しておく記憶部と、制御部と、を備え、
前記制御部が、前記マルチメディアデータの音声データと、前記音声パターンとを比較し、一致した音声パターンに対応するキーワード情報を検出し、当該キーワード情報に対応する画像パターンと、前記マルチメディアデータの画像データとを比較し、一致した画像パターンのキーワード情報を当該マルチメディアデータと関連付けるインデックス情報を作成する、ことを特徴とする画像蓄積方法。 - 請求項４に記載の画像蓄積方法において、
前記制御部が、前記マルチメディアデータを圧縮符号化するときに、当該マルチメディアデータの画像の動き量があらかじめ定めた動き量以上であることを検出し、
前記制御部が、前記検出が行われたときに当該マルチメディアデータのインデックス情報を作成する、ことを特徴とする画像蓄積方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001086271A JP4053251B2 (ja) | 2001-03-23 | 2001-03-23 | 画像検索システムおよび画像蓄積方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001086271A JP4053251B2 (ja) | 2001-03-23 | 2001-03-23 | 画像検索システムおよび画像蓄積方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002288185A JP2002288185A (ja) | 2002-10-04 |
| JP4053251B2 true JP4053251B2 (ja) | 2008-02-27 |
Family
ID=18941678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001086271A Expired - Lifetime JP4053251B2 (ja) | 2001-03-23 | 2001-03-23 | 画像検索システムおよび画像蓄積方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4053251B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4621607B2 (ja) * | 2005-03-30 | 2011-01-26 | 株式会社東芝 | 情報処理装置及びその方法 |
| JP5124238B2 (ja) * | 2007-11-09 | 2013-01-23 | 株式会社日立製作所 | バックアップ実行可否判定システム |
| CN105157742B (zh) * | 2014-04-29 | 2021-03-23 | 杭州美盛红外光电技术有限公司 | 识别装置和识别方法 |
| JP6530357B2 (ja) * | 2016-09-06 | 2019-06-12 | 株式会社日立ビルシステム | 保全作業管理システム及び保全作業管理装置 |
-
2001
- 2001-03-23 JP JP2001086271A patent/JP4053251B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002288185A (ja) | 2002-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1357542B1 (en) | A video retrieval data generation apparatus and a video retrieval apparatus | |
| US6339760B1 (en) | Method and system for synchronization of decoded audio and video by adding dummy data to compressed audio data | |
| JP2004526372A (ja) | ストリーミング映像ブックマーク | |
| EP1081960A1 (en) | Signal processing method and video/voice processing device | |
| US20020051081A1 (en) | Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor | |
| KR100782286B1 (ko) | 정보의 검색 처리 방법, 검색 처리 장치, 저장 방법 및저장 장치 | |
| US20020009286A1 (en) | Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method | |
| JP2000516435A (ja) | 可視索引付けシステムのための重要情景検出及びフレームフィルタリング | |
| KR101812103B1 (ko) | 썸네일이미지 설정방법 및 설정프로그램 | |
| KR20100015666A (ko) | 데이터 스트림으로 비디오 데이터 및 관련 메타데이터를 전송하기 위한 방법 | |
| JP2868981B2 (ja) | 圧縮信号生成装置及び方法及び再生装置及び方法 | |
| CN1378178A (zh) | 图像搜索设备 | |
| JP4053251B2 (ja) | 画像検索システムおよび画像蓄積方法 | |
| JP6168453B2 (ja) | 信号記録装置、カメラレコーダおよび信号処理装置 | |
| JP2009225116A (ja) | ネットワーク伝送機能を備えた映像記録装置 | |
| US20030163480A1 (en) | Meta data creation apparatus and meta data creation method | |
| US7050700B2 (en) | Picture compression managing apparatus and picture compression managing method used therefor | |
| CN1728824B (zh) | 数据处理方法，及其*** | |
| JP2003289495A (ja) | 動画像処理装置 | |
| JP3607228B2 (ja) | 映像検索データ生成装置および映像検索データ生成方法並びに映像検索装置および映像検索方法 | |
| JP3166572B2 (ja) | 動画像音声圧縮装置 | |
| KR100239120B1 (ko) | 디지탈 카메라의 화상 기록 재생 장치와 방법 | |
| KR20030085671A (ko) | 영상파일 포맷 및 영상파일 생성 및 재생 방법 | |
| JP2000138900A (ja) | 動画像記録再生方法 | |
| JP2002077816A (ja) | 二次コンテンツ生成システム及びその方法並びに二次コンテンツ生成プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040810 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4053251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101214 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111214 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121214 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131214 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |