JP3198980B2 - 画像表示装置及び動画像検索システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は計算機上での動画検
索に関し、特にマルチ画面再生を用いた動画像検索に関
するものである。

【０００２】

【従来の技術】従来、マルチ画面同時再生は、例えば特
開平５−１９７３１号公報に開示されているものが一般
的である。そのマルチ画面同時再生方法は図３３に示す
ように同時に表示再生する動画像のデータ数によって復
号のレベルを識別するための復号化対象フレーム識別手
段3301と、前記復号化対象フレーム識別手段で決定した
復号化のレベルで映像データを復号する対象フレーム復
号手段3302と、復号した映像データごとにそれぞれ再生
する動画像再生手段3303とを備えたことを特徴とする画
像表示装置である。

【０００３】また、従来、動画像検索方法は、特開平２
−１１３７９０号公報に開示されている。その検索方法
は図３４に示すように検索画像の特徴を表す動画像情報
の部分をシーンとして抽出する代表シーン抽出手段3401
と、このシーンを時間軸上にならべてメニュー画像とし
て編集するメニュー画像生成手段3402と、検索するため
にメニュー画像を再生するメニュー画像再生手段3403と
を備えメニュー画像を見ながら検索目的と一致する映像
を検索することを特徴とする動画像検索方法である。

【０００４】さらに、従来、蓄積された動画像データの
中から、目的に沿ったデータを選択する方法として、特
開平５−８１３４８号公報に開示されている動画像検索
システムがある。図３５は、特開平５−８１３４８号公
報に開示されている動画像検索システムの構成を示すブ
ロック図である。縮小画像の作成部3502で動画像データ
の全こま又は一部のこまの画像データから動画的表示用
の画像データを作成すると共に、前記複数の動画像デー
タのそれぞれについて、各動画像データを代表する縮小
静止画像を各動画像データの一部から作成する。静止画
的表示器3504により、動画像データの代表画像をビット
マップディスプレイ3506の画面上に並べて表示する。画
面選択手段3507によりビットマップディスプレイ上の代
表画像を選択すると、動画的表示器3505により選択代表
画像で代表された動画像データの動画的表示用画像デー
タを、前記ビットマップディスプレイ3506上に順番に連
続的に表示することを特徴とするシステムである。

【０００５】

【発明が解決しようとする課題】しかし、従来の技術で
は、一般に、ネットワークを介してマルチ画面同時再生
を行う場合は再生動画像データ分だけ、ネットワークの
帯域を確保し、端末内でマルチ画面同時再生を行う場合
は再生動画数分のシステムリソースを消費する。本発明
は、このようなマルチ画面での同時再生において、ネッ
トワークの帯域及びシステムリソースを有効利用するこ
とを目的とする。

【０００６】また、一般に、動画像データを検索する場
合は動画像の特徴となる映像の集合を検索対象にするた
め、類似した映像に対しても検索を行うことになり、検
索効率が悪く、処理時間もかかる。本発明は、動画像デ
ータを静止画像をキーとして検索する場合の、検索処理
速度の向上と検出漏れの防止を目的とする。

【０００７】さらに、複数の端末から検索条件を指定
し、それぞれの端末毎に異なる複数の動画像を同時に再
生しようすると、端末やネットワークの負荷に加え、サ
ーバの負荷は端末数に比例して重くなり、なめらかな動
画の再生を複数の端末で行うことは困難であるという問
題点がある。本発明は、複数の端末において、それぞれ
の端末から指定した検索条件に合致する動画像データの
一覧をなめらかな動画データで再生する動画像検索シス
テムの提供を目的とする。

【０００８】さらに、従来の方法では、検索対象の動画
像データから目的の場面を見つけるためには、あらかじ
め作成した動画的表示用画像データの全体を再生して確
認する必要があり、検索にたいへんな時間や手間がかか
るという問題点もある。本発明は、動画像データの中か
ら目的に沿った場面を迅速かつ簡単に探し出すことがで
きる動画像検索システムの提供を目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に、本発明は第一に、再生する複数の動画像データをフ
レームごとに縮小し、合成して1つの動画像とし、その
合成画像を再生することを目的としたものである。これ
により、複数の動画像データをマルチ画面で同時再生し
た際に、送出するデータのストリーム数が少なくなるた
め、ネットワークの帯域を有効利用でき、また、再生す
る計算機端末のシステムリソースの消費を低減する効果
を奏するものである。

【００１０】また、第二に、キー画像による動画像デー
タの検索を行う際に、キー画像と動画像データ内の全て
のフレームを比較するのではなく、キー画像と動画像デ
ータの各シーンの代表フレームと比較することで検索処
理速度を向上することを目的としたものである。これに
より、動画像データに対して静止画像をキーとして検索
した際に、検索対象となるフレームデータが少なくなる
ため、検索処理速度が向上するという効果を奏するもの
である。

【００１１】また、第三に、キー画像による動画像デー
タの検索を行う際に、キー画像と動画像データの各シー
ンの代表フレームと比較するだけでなく、前記比較結果
で符合したシーンの代表フレームを新規にキー画像とし
て登録し、新規登録したキー画像でさらに検索を行うこ
とで検索漏れを防止することを目的としたものである。
これにより、動画像データに対して静止画像をキーとし
て検索した際に、検索キーとなる静止画像が増えるた
め、検索漏れを防止するという効果を奏するものであ
る。

【００１２】また、本発明は第四に、動画像検索サーバ
において、検索条件に合致する複数の動画像データを抽
出し、画像縮小手段により動画像記憶手段から抽出した
動画データから縮小画像を作成し、画像合成手段により
前記縮小画像を合成し、合成した画像を記憶する合成画
像記憶手段に記憶する。さらに、前記合成画像記憶手段
に記憶するデータを合成画像送出制御手段を用いて端末
へ送信し、動画像検索端末側では、受信した合成画像を
表示する。これにより、検索条件に合致する複数の動画
データを同時に画面上に表示する場合でも、動画像検索
サーバにおいて縮小及び合成した動画像データをネット
ワークを介して受け取り再生するため、メモリやディス
クなどの装置の資源やネットワークへの負荷は１つの動
画像データ分で済むという効果が得られる。

【００１３】また、本発明は第五に、合成画像の生成に
かかる時間を算出し、サーバの負荷に応じて合成する画
像データのフレーム間隔を調整することにより、サーバ
の負荷に応じて、途切れのない動画を動画像検索端末へ
送信できるという効果が得られる。

【００１４】また、本発明は第六に、動画像検索サーバ
の合成画像送出制御手段において、生成された合成画像
のフレーム番号と動画像検索端末へ送出した合成画像の
フレーム番号を比較し、送出が合成に追いついてしまっ
た場合、送出フレーム番号を先頭にし生成した合成動画
像の送出を繰り返し行い、次に送出が生成に追いつくま
での時間に合成動画像データを蓄積することにより、動
画像検索端末上の動画データを滞りなく再生できるとい
う効果が得られる。

【００１５】また、本発明は第七に、再生予定時間の合
成画像の生成に必要な時間を算出し、残りの合成画像の
生成に必要な時間が再生予定時間より短くなった時点
で、合成画像の送出を開始するようにしたものである。
これにより、検索条件に合致した複数の動画データの再
生が、再生予定時間の合成動画像データの生成の完了を
待たずに短い待ち時間で開始できるという効果が得られ
る。

【００１６】また、本発明は第八に、指定された任意の
動画像データの再生開始時間をずらして抽出した画像デ
ータを縮小し、時間経過順に並べて配置した合成画像を
生成し、動画像検索端末に合成した画像を表示するよう
にしたものである。これにより、選択した動画データを
さらに細かく検索することが可能になり、目的の場面を
迅速に見つけ出すことができるという効果が得られる。

【００１７】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図１〜図３２を用いて説明する。なお、本発明はこ
れら実施の形態に何等限定されるものではなく、本発明
の要旨を逸脱しない範囲においては、種々なる態様で実
施し得る。

【００１８】（実施の形態１）まず、請求項１に対応す
る第１の実施の形態について説明する．図1は、本実施
の形態における画像表示装置を示した構成図の一例であ
り、図1において、101は画像データを縮小する画像縮小
手段、102は画像縮小手段101により縮小した画像同士を
合成する画像合成手段、103は画像合成手段102により合
成した画像を表示する画像表示手段、104は画像合成手
段102により合成され、画像表示手段103により表示され
ている全ての画像をフレームごとに画像縮小手段101に
より縮小し、画像合成手段102によりフレームごとに合
成し、合成した画像について同時再生する多画面同時再
生手段を示す。

【００１９】図2-a、図2-bは、画像表示装置の処理の流
れを示したフローチャートで、図1とあわせて、以下そ
の動作を説明する。図2-a、図2-b において、まず一覧
表示する画像データ数を取得し(201)、取得した画像デ
ータ数から画像データの縮小率の算出し(202)、開始ス
テップ数(i)を０とし(203)、開始ステップ数(i)が一覧
表示する画像データ数と等しくなるまで(204)、画像縮
小手段101により画像データをステップ202で算出した縮
小率で縮小し(205)、開始ステップ数を1増加する(20
6)。開始ステップ数(i)が一覧表示する画像データ数と
等しくなったら(204)、画像合成手段１0２により縮小し
た全画像データを合成し(207)、画像表示手段103により
前記画像合成手段102で合成した画像を表示する(208)。

【００２０】ユーザから前記合成画像内に対応する全て
の動画像データの再生要求を取得した場合(209,210)、
再生を行う全ての動画像データの中でフレーム数が最大
の動画像データのフレーム数(m)を取得し(211)、開始ス
テップ数(i)を０とし(212)、開始ステップ数(i)が前記
フレーム数が最大の動画像データのフレーム数と等しく
なるまで(213)、全動画像データの中でフレーム数が開
始ステップ数(i)に満たない動画像データがあるかを調
べ(214)、フレーム数が開始ステップ数(i)に満たない動
画像データの最終フレームを開始ステップ数(i)フレー
ム目とし(215)、画像縮小手段101により全ての動画像デ
ータの開始ステップ数(i)フレーム目をステップ202で算
出した縮小率で縮小し(216)、画像合成手段102により縮
小した全ての動画像データの開始ステップ数(i)フレー
ム目の画像を合成し(217)、前記合成画像を開始ステッ
プ数-1(i-1)フレーム目の合成画像と同期をとり、画像
表示手段103により表示し(218)、開始ステップ数(i)を1
増加する(219)。

【００２１】再び、ステップ213へ戻り、i=m になるま
で、処理を繰り返す。なお、ステップ210で、Ｎｏの場
合は、処理を終了させるものとする。

【００２２】以上のように、本実施の形態では、縮小・
合成表示した全画像を同時再生する場合に、フレーム数
の異なる画像同士でも、フレーム数の少ない画像に関し
てはその画像の最終フレーム再生後もその最終フレーム
を再生し続けることにより、マルチ画面同時再生が１つ
の動画像データの再生として扱えるようになるため、ネ
ットワークを介して動画像データを複数再生する場合は
ストリーム数が低減でき、同一端末内ではシステムリソ
ースの消費が押さえられるため、システム資源を有効利
用することができ、その実用的効果は大きい。

【００２３】（実施の形態２）次に、請求項３に対応す
る第２の実施の形態について説明する．図3は、本実施
の形態における画像表示装置を示した構成図の一例であ
り、図3において、301は画像データを縮小する画像縮小
手段、302は画像縮小手段301により縮小した画像同士を
合成する画像合成手段、303は画像合成手段302により合
成した画像を表示する画像表示手段、304は画像表示手
段303により表示された画像内のどの画像を再生するか
を選択する再生画像選択手段、305は再生画像選択手段1
5により指定された画像を同時再生する選択画像同時再
生手段を示す。

【００２４】図4は、選択画像再生手段の処理の流れを
示したフローチャートで、図3、図2-aとあわせて、以下
その動作を説明する。図2-aにおいては、前記実施の形
態1と同様であり、図2-a、図4でユーザ要求が選択画面
再生要求の場合(209,401)、開始ステップ数(i)を0とし
(402)、前記合成画像内に対応する動画像データのう
ち、どの動画像データを再生すればよいかという情報を
取得し(403)、前記ステップ403で取得した情報を基に再
生範囲を矩形的に決定し(404)、再生を行う動画像デー
タの中でフレーム数が最大の動画像データのフレーム数
(m)を取得し(405)、開始ステップ数が前記フレーム数が
最大の動画データのフレーム数と等しくなるまで(40
6)、再生動画像の中でフレーム数が開始ステップ数(i)
に満たない動画像データがあるか調べ(407)、フレーム
数が開始ステップ数(i)に満たない動画像データの最終
フレームを開始ステップ数(i)フレーム目とし(408)、再
生範囲内で再生を行わない動画像データがあるか調べ(4
09)、再生を行わない動画像データは初期表示している
フレームのデータを開始ステップ数(i)とし(410)、画像
縮小手段301により全ての動画像データの開始ステップ
数(i)フレーム目をステップ202で算出した縮小率で縮小
し(411)、画像合成手段302により縮小した全ての動画像
データの開始ステップ数(i)フレーム目の画像を合成し
(412)、前記合成画像を開始ステップ数-1(i-1)フレーム
目の合成画像と同期をとり、画像表示手段303により表
示し(413)、開始ステップ数(i)を1増加し(414)、開始ス
テップ数(i)が前記フレーム数が最大の動画データのフ
レーム数と等しくなったら(406)、終了する。なお、ス
テップ410で、Ｎｏの場合は、処理を終了させるものと
する。

【００２５】以上のように、本実施の形態では、縮小・
合成表示した全画像の内、同時再生したい画像を全て含
むように画面上で矩形的に画像を選択し、前記選択画像
を再生する場合に、選択外の画像に関してはその第１フ
レームを再生し続け、選択画像同士でも、フレーム数の
少ない画像に関してはその画像の最終フレーム再生後も
その最終フレームを再生し続けること、つまり、それら
を縮小・合成表示した全画像についてだけではなく、そ
の一部を選択できることによって、実施の形態１の効果
に加え、無駄なデータ量を更に抑えることができ、その
実用的効果は大きい。

【００２６】（実施の形態３）次に、請求項２に対応す
る第３の実施の形態について説明する．図5は、実施の
形態１における画像縮小手段101の内部構成を示した一
例であり、図5において、501は画像データを任意の画素
単位に分割するマクロブロック化手段、502はマクロブ
ロック化手段501により分割されたマクロブロックごと
に直交変換（例えば、DCT変換など）を行う直交変換手
段、503は直交変換手段502を行い、第一低周波項を抽出
する画素抽出手段、504は画素抽出手段503により抽出し
た画素同士を合成する画素合成手段を示す。

【００２７】図6は、画像縮小手段の処理の流れを示し
たフローチャートで、図5とあわせて、以下その動作を
説明する。図6において、まずマクロブロック化手段501
により画像データを縮小率に応じたマクロブロックに分
割し(601)、開始ステップ数(i)を0とし(602)、開始ステ
ップ数(i)がステップ601で分割したマクロブロック数よ
り少ない場合は(603)、直交変換手段502によりマクロブ
ロックの直交変換を行い(604)、画素抽出手段503により
ステップ604の直交変換後の第一低周波項の画素を抽出
し(605)、開始ステップ数(i)を1増加し(606)、開始ステ
ップ数(i)がステップ601で分割したマクロブロック数と
等しくなったら(603)、画素合成手段504により抽出した
画素同士を合成し(607)、縮小画像を生成する。

【００２８】以上のように、本実施の形態では、マクロ
ブロックの分割数を変化させることで任意の縮小画像を
生成できるため、任意の任意の縮小画像を容易に生成す
ることができ、その実用的効果は大きい。

【００２９】（実施の形態４）次に、請求項４に対応す
る第４の実施の形態について説明する．図7は、本実施
の形態における画像表示装置を示した構成図の一例であ
り、図7において、701は動画像の検索を行うためのキー
画像を入力するキー画像入力手段、702は動画像データ
をキー画像と比較して検索する動画像検索手段、703は
検索結果の画像データを縮小する画像縮小手段、704は
画像縮小手段703により縮小した画像同士を合成する画
像合成手段、705は画像合成手段704より合成した画像を
表示する画像表示手段を示す。

【００３０】図8は、画像表示装置の処理の流れを示し
たフローチャートで、図7とあわせて、以下その動作を
説明する。図8において、まずキー画像入力手段701によ
り検索条件であるキー画像を入力し(201)、入力したキ
ー画像を基に動画像データの検索をし(802)、ステップ8
02により符合した動画像があった場合(803)、画像縮小
手段703により符合した動画像データについて動画像デ
ータの代表フレームを縮小し(804)、画像合成手段704に
より縮小した全代表フレームを合成し(805)、画像表示
手段705により前記画像合成手段704で合成した画像を表
示する(806)。

【００３１】以上のように、本実施の形態では、検索結
果を静止画像の一覧データとして表示するため、検索結
果の絞り込みを容易にすることができ、その実用的効果
は大きい。

【００３２】（実施の形態５）次に、請求項５に対応す
る第５の実施の形態について説明する．図9は、実施の
形態４における動画像検索手段702の内部構成を示した
一例であり、図9において、901は動画像データからシー
ンの変わり目となるカット点を検出するカット点検出手
段、902は動画像データ内の各シーンの代表フレームを
抽出するフレーム抽出手段、903は検索条件であるキー
画像を入力するキー画像入力手段、904はキー画像と各
動画像データの代表フレームとを比較して符合した動画
像データの代表フレームを出力する画像比較判定手段を
示す。

【００３３】図10は、図7の動画像検索手段701の処理の
流れを示したフローチャートで、図8、図9とあわせて、
以下その動作を説明する。図10において、まずカット点
検出手段901より検索対象の動画像データのカット点を
検出し(1001)、フレーム抽出手段902によりカット点か
ら算出したシーン内の代表フレームを抽出し(1002)、キ
ー画像入力手段903によりキー画像を入力し(1003)、ス
テップ1003で入力したキー画像を基に前記フレーム抽出
手段により抽出した代表フレームに対して検索をし(100
4)、以下図8のステップ803以降と同様の処理を行う。

【００３４】以上のように、本実施の形態では、キー画
像と動画像データの各シーンの代表フレームと比較する
ことにより、キー画像と動画像データの全てのフレーム
とを比較する必要がなくなるため、検索処理速度が向上
し、その実用的効果は大きい。

【００３５】（実施の形態６）次に、請求項６及び７に
対応する第６の実施の形態について説明する．図11は、
実施の形態５における動画像検索手段の内部構造の別の
例であり、図11において、1101は動画像データからシー
ンの変わり目となるカット点を検出するカット点検出手
段、1102は動画像データ内の各シーンの代表フレームを
抽出するフレーム抽出手段、1103は検索条件であるキー
画像を入力するキー画像入力手段、1104はキー画像と各
動画像データの各シーンの代表フレームとを比較して符
合した動画像データの代表フレームを出力する画像比較
判定手段、1105は比較して符合したフレームをキー画像
として登録するキー画像登録手段を示す。

【００３６】図12は、図7の動画像検索手段701の処理の
流れを示したフローチャートで、図11、図8とあわせ
て、以下その動作を説明する。図12において、まずカッ
ト点検出手段1101により検索対象の動画像データのカッ
ト点を検出し(1201)、フレーム抽出手段1102によりカッ
ト点から算出したシーン内の代表フレームを抽出し(120
2)、キー画像入力手段1103によりキー画像を入力し(120
3)、ステップ1203で入力したキー画像を基に前記フレー
ム抽出手段1102により抽出した動画像の各シーンの代表
フレームに対して検索をし(1204)、符合した代表フレー
ムがあった場合は(1205)、キー画像登録手段1105により
符合した全ての代表フレームをキー画像として登録し(1
206)、新たに登録したキー画像で代表フレームを再度検
索し(1207)、以下図8のステップ803以降と同様の処理を
行う。

【００３７】以上のように、本実施の形態では、符合し
たフレームをキー画像として登録するキー画像登録手段
を更に設けることによって、検索キーとなる画像が増え
るため、検索漏れを防止することができ、その実用的効
果は大きい。

【００３８】（実施の形態７）次に、請求項８に対応す
る第７の実施の形態について説明する．図13は、実施の
形態６における画像検索手段の内部構造の別の例であ
り、図13において、1301は動画像データからシーンの変
わり目となるカット点を検出するカット点検出手段、13
02は動画像データ内の各シーンの代表フレームを抽出す
るフレーム抽出手段、1303は検索条件であるキー画像を
入力するキー画像入力手段、1304はキー画像と各動画像
データの代表フレームとを比較して符合した動画像デー
タを出力する画像比較判定手段、1305は画像比較判定手
段1304により符合したフレームを含むシーン内の全ての
フレームからキー画像にもっとも類似したフレームを出
力する画像類似度出力手段、1306は画像類似度出力手段
1305により出力された類似度がもっとも高いものをキー
画像として登録するキー画像登録手段を示す。

【００３９】図14は、動画像検索手段の処理の流れを示
したフローチャートで、図13、図8とあわせて、以下そ
の動作を説明する。図14において、まずカット点検出手
段1301より検索対象の動画像データのカット点を検出し
(1401)、フレーム抽出手段1302によりカット点から算出
したシーン内の代表フレームを抽出し(1402)、キー画像
入力手段1303によりキー画像を入力し(1403)、ステップ
1403で入力したキー画像を基に前記フレーム抽出手段13
02により抽出した代表フレームに対して検索をし(140
4)、符合した代表フレームがあった場合は(1405)、フレ
ーム抽出手段1302により符合した代表フレームを含むシ
ーンの全フレームを抽出し(1406)、画像類似度出力手段
1305によりキー画像と前記抽出した全フレームを比較
し、キー画像登録手段1306により類似度の最も高いフレ
ームをキー画像として登録し(1407)、新たに登録したキ
ー画像で代表フレームを再度検索し(1408)、以下図8の
ステップ803以降と同様の処理を行う。

【００４０】以上のように、本実施の形態では、画像比
較判定手段により符合したフレームを含むシーン内の全
てのフレームからキー画像にもっとも類似したフレーム
を出力する画像類似度出力手段を更に設けることによ
り、新規に検索キーとなる画像がよりはじめのキー画像
に類似した画像になるため、検索結果の精度が向上し、
その実用的効果は大きい。

【００４１】（実施の形態８）次に、請求項９及び１０
に対応する第８の実施の形態について説明する．図１５
は、本実施の形態における動画像検索システムを示した
構成図の一例であり、動画像検索サーバ１５００と動画
像検索端末１５２０が、ネットワーク１５３０を介して
接続する構成をとる。

【００４２】動画検索サーバ１５００は、検索条件に合
致する動画像データの検索を行う動画像検索手段１５０
１、検索対象の動画データを記憶する動画記憶手段１５
０２、合成画像の生成の一連の処理の制御を行う合成画
像生成制御手段１５０３、動画像検索手段１５０１で検
索条件に合致した動画像データからフレーム毎の画像を
取り出す画像抽出手段１５０４、動画像データを縮小す
る画像縮小手段１５０５、縮小した画像を規則的に配置
し１つの画面に合成する画像合成手段１５０６、合成画
像を記憶する合成画像記憶手段１５０７、フレーム番号
や検索要求のあった端末の識別子などの作成した合成画
像の情報を出力する合成画像送出制御手段１５０８、端
末との通信を制御する通信手段１５０９から構成する。

【００４３】一方、動画像検索端末１５２０は、ユーザ
がキーワード等の検索条件を入力する検索条件入力手段
１５２１、動画検索サーバ１５００との通信を制御する
通信手段１５２２、検索結果の合成画像データを表示す
る合成画像再生手段１５２３から構成する。

【００４４】図１６は、動画像検索システムの動画像検
索サーバ１５００におけるマルチ動画合成処理の流れを
示したフローチャートで、図１５と合わせて以下その動
作を説明する。

【００４５】まず、動画像検索手段１５０１において、
動画記憶手段１５０２に記憶する動画データの中から、
検索条件に合致する動画データを検索する（１６０
１）。さらに、検索結果に合致する動画データの中で最
も時間が長いデータのフレーム数を求め、合成画像生成
制御手段１５０３へ出力する（１６０２）。さらに、読
み出しフレーム番号（ｉ）を０に初期化し、検索条件に
合致する動画データの識別子と合成画像の生成の開始を
画像抽出手段へ出力する（１６０３）。

【００４６】次に、画像抽出手段１５０４において、動
画像検索手段１５０１により求めた検索条件に合致する
動画データのそれぞれに対して、読み出しフレーム番号
のｉフレーム目の画像を抽出する（１６０４）。

【００４７】次に、画像縮小手段１５０５において、画
像抽出手段１５０４で抽出した動画データのｉフレーム
目の画像データを、あらかじめ設定した任意の縮小率で
縮小する（１６０５）。この縮小率は、例えば、縦４×
横４で合成する場合は各辺を１／４に縮小する。なお、
ここでは説明のため、１／４に縮小した場合について述
べたが、同時に表示する動画データの数に応じ任意の縮
小率で縦及び横方向に縮小しても、他の動作に影響を及
ぼさないことは明らかである。

【００４８】さらに、画像合成手段１５０６において、
画像縮小手段１５０５により縮小したｉフレーム目の縮
小画像を重ならないように配置し、１つの画像に合成す
る（１６０６）。図１７は、画像合成手段１５０６にお
ける画面合成の一例を示す図である。ここでは、縮小画
像を図１７に示す順序で配置したものを用いて説明した
が、縮小した画像が重ならないように並べれば、縦方向
に並べたり、別の方法を用いて規則的に並べても構わな
い。

【００４９】さらに、画像合成手段１５０６は、生成し
たｉフレーム目の合成画像を合成画像記憶手段１５０７
へ記憶させ（１６０７）、さらに合成画像記憶手段１５
０７に書込んだ合成動画像のファイル名やアドレス等の
記憶先と、フレーム番号（ｉ）と、検索要求のあった端
末の識別子を合成画像送出制御手段１５０８へ出力する
（１６０８）。

【００５０】さらに、読み出しフレーム番号（ｉ）を１
ずつ増加させ、次のフレームに対して処理を進める（１
６０９）。読み出しフレーム番号（ｉ）が、動画像検索
手段１５０１によって求めた検索条件に合致する動画デ
ータの中で最も長い動画データのフレーム数より小さい
間は、ステップ１６０４から１６０９を繰り返し行い、
検索条件に合致した動画データを縮小し合成した合成画
像データを生成する（１６１０−Ｙ）。

【００５１】読み出しフレーム番号（ｉ）が最も長い動
画データのフレーム数より大きくなった場合は、合成画
像データの作成を終了する（１６１０−Ｎ）。

【００５２】以上のようにして、端末毎に検索条件に合
致する複数の動画データを合成した１つの動画像を生成
し、検索要求のあった端末別に記憶するアドレスやファ
イル名等の識別子を付けて動画像検索サーバ１５００の
合成画像記憶手段１５０７に記憶する。

【００５３】次に、合成画像送出制御手段１５０８にお
ける検索要求を入力した端末への合成画像の送出制御に
関する処理の流れについて、図１８を用いて説明する。

【００５４】合成画像送出制御手段１５０８は、前記画
像合成手段１５０６から出力される合成画像記憶手段１
５０７に書込んだ合成動画像のアドレスまたはファイル
名等の記憶先を表わす識別子と、作成した合成画像のフ
レーム番号（ｉ）と、検索要求のあった端末の識別子を
入力とする（１８０１）。作成した合成画像のフレーム
番号（ｉ）が任意の値より大きくなった場合（１８０２
−Ｙ）、送出フレーム番号（ｊ）を０に初期化し（１８
０３）、検索要求のあった端末への合成画像の送信を開
始する。

【００５５】次に、合成画像送出制御手段１５０８は、
合成画像記憶手段１５０７に記憶する合成画像から送出
フレーム番号（ｊ）に対応する画像を取り出し（１８０
４）、取り出した合成画像データと検索要求のあった端
末の識別子を通信手段１５０９へ出力する（１８０
５）。さらに、送出フレーム番号（ｊ）を１ずつ増加さ
せ、次のフレームに対して処理を進める（１８０６）。
送出フレーム番号（ｊ）が、作成した合成画像のフレー
ム番号（ｉ）を超えるまでステップ１８０４から１８０
６を繰り返し実行する（１８０７−Ｙ）。

【００５６】通信手段１５０９は、合成画像送信制御手
段１５０８から出力された端末の識別子に対応する動画
像検索端末１５２０へ、合成動画像データを送信する。

【００５７】以上のようにして、合成画像送出制御手段
１５０８の制御により、前記識別子によって区別される
検索条件を入力した動画像検索端末１５２０へ、合成し
た動画像データを送信する。

【００５８】一方、動画像検索端末１５２０では、通信
手段１５２２において、動画検索サーバ１５００から送
信された合成動画像データを受信し、合成画像再生手段
１５２３に受信した合成動画像データを表示する。

【００５９】なお、請求項１０に記載の発明のように、
前記構成に加え検索結果である合成画像を更に圧縮した
上で送信し、受信側で伸長して表示する構成も当然考え
られる。また、その際に圧縮・伸長の方式は特に問わな
い。

【００６０】以上のように、本実施の形態では、検索対
象となる動画を複数同時に表示させる場合に、動画像検
索サーバ１５００で複数の動画像データを縮小し合成し
た１つの動画像を作成し、動画像検索端末１５１０では
合成された１つの動画のみを再生するため、ネットワー
クを流れるデータ量や端末側で処理するデータ量が合成
済みの動画像１個分だけで済む。したがって、ネットワ
ークや端末の負荷を大幅に軽減することができる。さら
に、複数の動画像データを同時に通信するためには通信
速度が遅いネットワークを介して動画像検索サーバ１５
００と動画像検索端末１５２０が繋がれている場合や、
動画像検索端末１５２０の処理能力が複数の動画像デー
タを同時に再生するためには不十分な場合でも、検索結
果である複数の動画データを１端末上に同時に再生する
ことが可能であり、また合成画像を圧縮した後に送受信
を行えば通信負荷が大幅に軽減でき、その実用的効果は
大きい。

【００６１】（実施の形態９）次に、請求項１１に対応
する第９の実施の形態について説明する．図１９は、本
実施の形態における動画像検索システムの構成図の一例
を示したものである。実施の形態８の構成に加え、動画
像検索サーバ１９００に、動画記憶手段１９０２に記憶
する動画データから取り出すフレームの間隔を設定する
フレーム間隔設定手段１９０９を備える。

【００６２】図２０は、本実施の形態における動画像検
索サーバ１９００における動画像合成の処理の流れを説
明するフローチャートである。

【００６３】まず、動画像検索手段１９０１において、
動画記憶手段１９０２に記憶する動画データの中から、
検索条件に合致する動画データを検索する（２００
１）。さらに、検索結果に合致する動画データの中で最
も時間が長いデータのフレーム数を求め、合成画像生成
制御手段１９０３へ出力する（２００２）。さらに、読
み出しフレーム番号（ｉ）を０に初期化し、検索条件に
合致する動画データの識別子と合成画像の生成の開始を
画像抽出手段１９０４へ出力する（２００３）。次に、
画像抽出手段１９０４において、動画像検索手段１９０
１により求めた検索条件に合致する動画データのそれぞ
れに対して、読み出しフレーム番号のｉフレーム目の画
像を抽出する（２００４）。

【００６４】画像縮小手段１９０５において、画像抽出
手段１９０４で抽出した動画データのｉフレーム目の画
像データを、あらかじめ設定した任意の縮小率で縮小す
る（２００５）。

【００６５】次に、画像合成手段１９０６において、画
像縮小手段１９０５により縮小したｉフレーム目の縮小
画像を重ならないように配置し、１つの画像に合成する
（２００６）。さらに、画像合成手段１９０６は、生成
したｉフレーム目の合成画像を合成画像記憶手段１９０
７へ出力し（２００７）、さらに合成画像記憶手段１９
０７に書込んだ合成動画像のファイル名やアドレス等の
記憶先と、フレーム番号（ｉ）と、検索要求のあった端
末の識別子を合成画像送出制御手段１９０８へ出力する
（２００８）。また、フレーム番号（ｉ）をフレーム間
隔制御手段１９０９へ出力する（２００９）。

【００６６】フレーム間隔制御手段１９０９は、前記画
像合成手段１９０６から出力されるフレーム番号と、前
記フレーム番号を受信した時刻を対に記憶し、前記フレ
ーム番号（ｉ）と任意のフレーム数分の前のフレーム番
号（ｉ−ｎ）の時刻から、任意のフレーム数（ｎ）フレ
ームの合成画像を作成するのに要した時間を求める（２
０１０）。さらに、１枚の合成画像を作成するのに必要
な時間を求め、元の動画データの１秒当たりのフレーム
数からフレームの読み飛ばし間隔（ｒ）を求める（２０
１１）。

【００６７】なお、本実施の形態では、合成画像を１枚
作成するたびにフレーム番号と前期フレーム番号のフレ
ームの合成が完了した時刻を記録して合成画像作成にか
かる時間を算出しているが、２枚以上の任意の枚数の合
成画像の生成が完了する間隔でステップ２０１０と２０
１１の処理を実行し、フレーム間隔の計算及び変更を行
っても構わない。

【００６８】次に、合成画像生成制御手段１９０３で
は、読み出しフレーム番号（ｉ）をフレーム間隔（ｒ）
ずつ増加させ、次のフレームに対して処理を進める（２
０１２）。読み出しフレーム番号（ｉ）が最長の動画の
フレーム数以下の場合は、ステップ２００４から２０１
２を繰り返し行い、検索条件に合致した動画データを縮
小し合成した合成画像データを生成する（２０１３−
Ｙ）。

【００６９】読み出しフレーム番号（ｉ）が最長の動画
データのフレーム数より大きくなった場合は、合成画像
データの作成を終了する（２０１３−Ｎ）。

【００７０】以上のように、本実施の形態では、複数の
端末からの検索要求を受けサーバの負荷が高くなった場
合や、サーバにおける画像合成処理が遅くなった場合
に、フレーム間隔を適宜調整しながら動画像を合成し、
作成した動画像を送出することにより、動画検索サーバ
側でリアルタイムに合成した動画を動画像検索端末側で
頻繁に途切れることなく再生できるようになり、その実
用的効果は大きい。

【００７１】（実施の形態１０）次に、請求項１２に対
応する第１０の実施の形態について説明する．図２１
は、本実施の形態の動画像検索サーバにおける合成画像
伝送制御手段の構成の一例を示す図面である。実施の形
態８で説明した動画像検索システムの動画像検索サーバ
１５００における合成画像送出制御手段１５０８の構成
をさらに詳しく説明するブロック図の一例を示したもの
である。図２１において、２１０１は画像合成手段１５
０６から出力される書き込みフレーム番号（ｉ）を記憶
する書込みフレーム記憶手段、２１０２は作成した合成
画像の端末への送信の開始および終了を制御する送出開
始制御手段、２１０３は送出フレーム番号（ｊ）を記憶
する送出フレーム記憶手段、２１０４は書込みフレーム
記憶手段２１０１に記憶した書き込みフレーム番号
（ｉ）と送出フレーム記憶手段２１０３に記憶した送出
フレーム番号（ｊ）を比較し次に送出するフレーム番号
を設定するフレーム比較手段、２１０５はフレーム比較
手段２１０４で設定した送出フレーム番号（ｊ）の合成
画像を合成画像記憶手段１５０７から読み込み、読み込
んだ送出フレーム番号（ｊ）の合成画像を通信手段１５
０９へ送信する合成画像送出手段である。

【００７２】図２２は、本実施の形態における合成画像
送出制御手段１５０８による合成画像の送出制御処理の
流れを示したフローチャートで、図２１と合わせて以下
にその動作を説明する。

【００７３】まず、書込みフレーム記憶手段２１０１
は、画像合成手段１５０６から出力される合成画像の書
込みフレーム番号（ｉ）を記憶する。送出開始制御手段
２１０２は、前期書き込みフレーム番号（ｉ）があらか
じめ設定した任意のフレーム番号より大きくなったら、
送出フレーム番号（ｊ）に先頭のフレームを設定し、合
成画像の送出を開始をフレーム比較手段２１０４へ指示
する（２２０１）。

【００７４】次に、フレーム比較手段では、送出フレー
ム番号（ｊ）と書込みフレーム番号（ｉ）を比較し、送
出フレーム番号（ｊ）が書込みフレーム番号（ｉ）より
小さい場合（２００２−Ｙ）は、次の送出フレーム番号
としてｊ＋１を設定し、合成画像送出手段２１０５およ
び送出フレーム記憶手段２１０３へ前記送出フレーム番
号を出力する（２００３）。

【００７５】逆に、送出フレーム番号（ｊ）が書込みフ
レーム番号（ｉ）より大きくなった場合（２００２−
Ｎ）は、次の送出フレーム番号として先頭のフレームを
設定し、合成画像送出手段２１０５および送出フレーム
記憶手段２１０３へ前記送出フレーム番号を出力する
（２００４）。

【００７６】なお、ここでは、全てのフレームを送出す
る場合を例に説明したが、ｎフレームおきに合成画像を
送出する場合は、次の送出フレーム番号にｊ＋ｎ＋１を
設定する。また、次の送出フレーム番号（ｊ＋ｎ＋１）
が、書込みフレーム番号（ｉ）より大きい場合は、次の
送出フレームとして先頭のフレーム番号の０をセットす
る。

【００７７】次に、合成画像送出手段２１０５は、前記
フレーム比較手段２１０４で設定した送出フレーム番号
の合成画像を合成画像記憶手段１５０７より取得し、取
得した合成画像を通信手段１５０９へ出力する（２２０
５）。以上のステップ２２０２から２２０５の処理を、
合成画像の送出停止要求が送出開始制御手段２１０２に
よってフレーム比較手段２１０４に通知されるまで行う
（２１０６−Ｙ）。

【００７８】なお、合成画像の送出を停止する方法に
は、合成した動画データのの元データの中で最長のデー
タの長さの合成画像の生成が完了し、かつ書き込みフレ
ーム番号（ｉ）と送出フレーム番号（ｊ）が等しくなっ
たかどうかを送出開始制御手段２１０２で判断する方法
や、通信手段１５０９を介して動画検索端末から合成画
像の送出の停止要求を受ける方法などが考えられるが、
本実施の形態におけるステップ２２０２から２２０５の
処理は、いかなる方法によって合成画像の送出を停止し
た場合にも影響を受けないことは明らかである。

【００７９】図２３は、本実施の形態における合成動画
像データの再生の様子を示す図である。図２３に示すよ
うに合成動画像データの作成が済んだフレーム番号まで
の再生が完了してしまった場合は、あらためて先頭のフ
レームから再生することにより、作成中の合成画像を最
大限に利用して、合成動画像データを繰り返し再生す
る。

【００８０】以上のように、本実施の形態では、合成画
像送出制御手段において、書き込みフレームと送出フレ
ームを比較し、送出フレーム番号が書き込みフレーム番
号と等しくなったかあるいは大きくなってしまった場
合、次に送出するフレーム番号を０にし、先頭からの動
画の再生を繰り返し行う。このように、合成中の動画を
最大限に利用して、合成画像の再生を繰り返し行うこと
により、同じ場面が繰り返し再生され、新たに生成され
た合成画像が少しずつ追加されていくことによって、目
的の場面が見つけやすくなるという効果がある。さら
に、合成動画像データの生成が全て完了する前から合成
画像データの送出及び検索端末上での再生を開始するこ
とができるため、検索条件に合致する複数の動画データ
の再生の開始までの待ち時間が少なくなり、その効果は
大きい。

【００８１】（実施の形態１１）次に、請求項１３に対
応する第１１の実施の形態について説明する．図２４
は、本実施の形態の動画像検索サーバ１５００における
合成画像伝送制御手段１５０８の構成の一例を示す図面
である。実施の形態８の合成画像画像伝送制御手段１５
０８において、２４０１は画像合成手段１５０６から出
力される書き込みフレーム番号（ｉ）を記憶する書き込
みフレーム記憶手段、２４０２は画像合成手段１０４に
よる合成画像の生成速度を算出する合成画像生成速度算
出手段、２４０３は検索用の合成動画像データの再生予
定時間を記憶する再生予定時間記憶手段、２４０４は合
成画像生成速度算出手段２４０２に記憶する合成画像の
生成速度と再生予定時間記憶手段２４０３に記憶する再
生予定時間から生成中の合成画像の送出の開始を制御す
る送出開始制御手段、２４０５は送出フレーム番号
（ｊ）を記憶する送出フレーム記憶手段、２４０６は書
込みフレーム記憶手段２４０１に記憶した書き込みフレ
ーム番号（ｉ）と送出フレーム記憶手段２４０５に記憶
した送出フレーム番号（ｊ）を比較し、送出するフレー
ム番号を設定するフレーム比較手段、２４０７はフレー
ム比較手段２４０６で設定した送出フレーム番号（ｊ）
の合成画像を合成画像記憶手段１５０７から読み込み、
読み込んだ送出フレーム番号（ｊ）の合成画像を通信手
段１５０９へ送信する合成画像送出手段である。

【００８２】図２５は、本実施の形態における動画像検
索システムによる画像合成処理の流れを示したフローチ
ャートであり、図２４と合わせてその動作を説明する。

【００８３】画像合成手段１５０６では、動画像検索手
段１５０１で求めた検索条件に合致した動画像データの
中で最も長い動画データの時間を検索用合成動画像デー
タの再生予定時間として再生予定時間記憶手段２４０３
に記憶させる（２５０１）。

【００８４】次に、書込みフレーム番号（ｉ）が再生予
定時間より短い間、以下の処理を繰り返し行う。（２５
０２）。画像合成手段１５０６では、書込みフレーム記
憶手段２４０１へ書込みフレーム番号（ｉ）とフレーム
番号０からｉ番目のフレームを書込むまでに要した時間
を対に記憶し（２５０３）、合成画像記憶手段１５０７
へ書込みフレーム番号（ｉ）の合成画像を合成画像記憶
手段１５０７へ記憶する（２５０４）。

【００８５】次に合成画像の送出がまだ開始されていな
ければ、送出開始チェック処理を行う（２５０５−
Ｙ）。

【００８６】以上のステップ２５０３から２５０６の処
理を書込みフレーム番号が再生予定時間のフレーム数よ
り大きくなるまで繰り返し行い、再生予定時間の長さの
合成画像データを生成する。

【００８７】図２６は、送出開始チェック処理の流れを
示すフローチャートであり、図２４と合わせて合成画像
の送出開始チェック処理を説明する。

【００８８】合成画像生成速度算出手段２４０２におい
て、書込みフレーム記憶手段２４０１に記憶した書込み
フレーム番号（ｉ）とｉ番目のフレームを書込むまでに
要した時間から、合成画像の生成に必要な時間を求める
（２６０１）。

【００８９】送出開始制御手段２４０４は、合成画像生
成速度算出手段２４０２により算出した合成画像の生成
に必要な時間と、再生予定時間記憶手段２４０３に記憶
する再生予定時間から、再生予定時間分の合成画像を生
成するために必要な時間を求める（２６０２）。

【００９０】さらに、送出開始制御手段２４０５では、
書込みフレーム記憶手段２４０１に記憶する書込みフレ
ーム番号（ｉ）と算出した再生予定時間分の合成画像を
生成するために必要な時間から、再生予定時間の残りの
合成画像を生成するために必要な時間を求める（２６０
３）。

【００９１】再生予定時間の残りの分の動画を生成する
ために必要な時間が、再生予定時間より短くなったら
（２６０３−Ｙ）、フレーム比較手段２４０６へ動画デ
ータの送出開始指示を出力する（２６０４）。

【００９２】図２７は、フレーム比較手段２４０６にお
ける動画の送出処理の流れを示すフローチャートであ
り、図２４と合わせて動画の送出処理を説明する。

【００９３】フレーム比較手段２４０６は、送出開始制
御手段２４０４から出力される送出開始指示を受信し、
送出フレーム番号（ｊ）を初期化する（２７０１）。

【００９４】さらに、フレーム比較手段２４０６は、送
出フレーム記憶手段２４０５に記憶する送出フレーム番
号が書込みフレーム記憶手段２４０１に記憶する書込み
フレーム番号より小さい間（２７０２−Ｙ）、送出フレ
ーム番号（ｊ）を合成画像送出手段２４０７へ出力する
（２７０３）。さらに、送出フレーム番号を１ずつ増加
させ（２７０４）、ステップ２７０２から２７０４まで
の処理を、送出フレーム番号（ｊ）が書込みフレーム番
号（ｉ）より小さい間、繰り返し行う（２７０２−
Ｙ）。

【００９５】合成画像送出手段２４０７は、フレーム比
較手段２４０６から出力される送出フレーム番号から、
合成画像記憶手段１５０７に記憶する前記送出フレーム
番号の合成画像データを動画像検索端末１５２０へ送出
する。

【００９６】以上のように、本実施の形態では、検索用
動画の再生予定時間と合成画像生成速度から、再生予定
時間の長さの検索用合成動画像データの生成にかかる時
間を算出し、検索用動画の再生予定時間の検索用合成動
画像データの再生が完了するまでに、全ての検索用合成
動画像データの生成が完了するように、一定時間が経過
してから合成画像の送出を開始するようにしたものであ
る。これにより、検索条件に合致した複数の動画データ
の再生が、再生予定時間の合成動画像データの生成の完
了を待たずに、短い待ち時間で開始でき、その実用的効
果は大きい。

【００９７】（実施の形態１２）次に、請求項１４及び
１５に対応する第１２の実施の形態について説明する．
図２８は、本実施の形態における動画像検索システムの
構成図の一例を示したものである。実施の形態８の構成
に加え、動画像検索端末２８２０において、検索条件に
合致した合成画像の中から所望の動画像データを選択す
る画像選択手段２８２４を備え、動画検索サーバ２８０
０において、動画像検索端末２８２０の合成画像再生手
段２８２３に再生する合成画像の画面の分割数を記憶す
る画面分割数記憶手段２８１１と、動画像検索端末２８
２０の画像選択手段２８１４を用いて選択した動画像デ
ータの再生開始時間をずらした動画データを動画記憶手
段２８０２から取り出す時分割抽出手段２８１０を備え
る。

【００９８】まず、動画像検索端末２８２０における画
像選択手段２８２４による動画像の選択方法について説
明する。動画像検索端末２８２０では、ユーザが画像選
択手段２８２４を用いて、合成画像再生手段２８２３で
再生中の合成画像の中から１つ所望のデータを選択す
る。その選択方法としては、再生している合成画像の画
面上の領域をマウスなどのポインティングデバイスを用
いてを指定して選択する方法や、合成画像を構成する動
画像データの個々の情報を表示したリストの中から選択
する方法などが考えられるが、選択方法についてはどの
ような方法を用いても構わない。

【００９９】動画検索端末２８２０の画像選択手段２８
２４により選択した動画像データの識別子は、ネットワ
ーク２８３０を介して動画像検索サーバ２８００へ送信
され、動画検索サーバ２８００の時分割手段２８０８へ
渡される。

【０１００】図２９は、画像縮小手段２８０５と画像合
成手段２８０６と時分割手段２８１０によって、選択さ
れた動画像データから少しづつ時間をずらして画像を抽
出したものを合成する画像合成処理の流れについて説明
するフローチャートである。

【０１０１】時分割手段２８１０では、動画検索端末２
８２０の画像選択手段２８２４により選択された動画像
データの長さを求め、画面分割数記憶手段２８１１に記
憶する画面の分割数に合わせた時間間隔を算出する（２
９０１）。以降の処理は、算出した時間間隔の長さの合
成画像データの生成が完了するまで繰り返し行う。

【０１０２】時分割手段２８１０では、動画記憶手段２
８０２に記憶する選択された動画像データから、算出し
た時間間隔おきのフレームの画像データを画面の分割数
に合わせて抽出し、時間順に画像縮小手段合成手段２８
０５に出力する（２９０２）。

【０１０３】画像縮小手段２８０５は、時分割手段２８
１０から出力される画面分割数の数の時間間隔おきの画
像データを縮小し、時間順に画像合成手段２８０６へ出
力する（２９０３）。

【０１０４】画像合成手段２８０６は、時分割手段２８
１０で分割した時間順に再生開始時間をずらしたて抽出
し縮小した画像を、図３０に示すように並べて画像を合
成し、合成画像記憶手段２８０７へ記憶させる（２９０
４）。

【０１０５】次に合成画像生成制御手段２８０３では、
作成した合成画像の長さが算出した時間間隔に達するか
どうか判断し、作成した合成画像が算出した時間間隔に
達しない場合は（２９０５−Ｙ）、次のフレームの画像
の抽出を画像抽出手段２８０３へ指示する（２９０
６）。以上のようにして、時分割手段２８１０で分割し
た時間順に再生開始時間をずらして抽出した画像データ
を縮小及び合成した合成画像を時間間隔分のフレーム数
作成し、動画像検索サーバ２８００の合成画像記憶手段
２８０７に記憶する。

【０１０６】合成画像記憶手段２８０７に記憶する合成
動画像データは、動画像検索サーバ２８００の合成画像
送出制御手段２８０８の制御により、動画像検索端末２
８２０へ送信され、動画像検索端末２８２０の合成画像
表示手段２８２３に表示される。

【０１０７】以上のようにして、本実施の形態では、実
施の形態８に加え、動画像検索端末２８００の画像選択
手段２８２４で指定した所望の動画像データから、時分
割抽出手段２８１０によって動画像データの長さに合わ
せ再生開始時間をずらした動画像データを縮小及び合成
した合成動画像を生成し、生成した合成動画像を合成画
像表示手段２８２３へ表示するようにしたものである。
これにより、選択した動画像データの内容をさらに細か
く同時に見ることが可能になり、目的の場面を迅速に検
索することができ、その実用的効果は大きい。

【０１０８】なお、請求項１５に対応する、即ち図３１
に示すような構成をとり、動画像検索手段３１０１によ
り求めた検索条件に合致する動画データのそれぞれに対
して、再生開始時間をずらした動画データを時分割抽出
手段３１０４で動画記憶手段３１０２から取り出し、図
３２に示すように検索条件に合致する動画像データから
抽出し縮小した画像データを縦方向に並べ、それぞれの
動画データの再生開始時間をずらして抽出し縮小した画
像データを横方向に並べた合成画像を生成し、生成した
合成画像を動画像検索端末３１２０の合成画像再生手段
３１２３で再生するようにすることも可能である。これ
により検索条件に合致した動画データをさらに細かく分
割して同時に見ることが可能になるため、検索条件に合
致した動画データを短い時間で全て見ることが可能にな
り、目的の場面を迅速に見つけることができ、その実用
的効果は大きい。

【０１０９】

【発明の効果】以上のように、第１の発明では、マルチ
画面で表示される全ての動画像データの同時再生を行う
場合に、再生する動画像データを各動画像の同一フレー
ムごとに縮小、合成して再生することにより、1つの動
画像データとして扱うことが可能 となり、ネットワー
ク資源、システムリソースの消費を低減できるという有
利な効果が得られる。

【０１１０】そして、マルチ画面で表示される一部の動
画像データの同時再生を行う場合に、再生する動画像デ
ータについては各動画像をフレームごとに縮小し、再生
しない動画像データについては再生時に表示されている
フレームのデータを縮小し、前記再生する縮小画像と前
記再生しない縮小画像を合成して再生することにより、
更に無駄なデータの削減が図れるという有利な効果が得
られる。

【０１１１】また、第２の発明では、静止画像をキーに
して動画像データを検索する場合に、キー画像と動画像
データの各シーンの代表フレームの画像とを比較するこ
とにより、検索処理速度が向上するという有利な効果が
得られる。

【０１１２】また、第３の発明では、静止画像をキーに
して動画像データを検索する場合に、キー画像と符合し
た動画像のフレームを新たにキー画像として登録し、新
たに登録したキー画像で再度検索を行うことで検出漏れ
を防止するという有利な効果が得られる。

【０１１３】そして、静止画像をキーにして動画像デー
タを検索する場合に、キー画像と動画像データの各シー
ンの代表フレームの画像とを比較して符合した動画像の
フレームを含むシーンについて前記シーン内でキー画像
にもっとも類似したフレームを新たにキー画像として登
録し、新たに登録したキー画像で再度検索を行うことで
更に検索の精度が高まるという有利な効果が得られる。

【０１１４】また、第４の発明では、動画像検索サーバ
において、検索条件に合致する複数の動画像データの抽
出・縮小及びそれらの合成並びに送信を行い、動画像検
索端末側では、受信した合成画像を表示する。これによ
り、検索条件に合致する複数の動画データを同時に画面
上に表示する場合でも、動画像検索サーバにおいて縮小
及び合成した動画像データをネットワークを介して受け
取り再生するため、メモリやディスクなどの装置の資源
やネットワークへの負荷は１つの動画像データ分で済む
という効果が得られる。

【０１１５】また、第５の発明では、動画像検索サーバ
において、一定のフレーム数の合成画像を作成するのに
要した時間から動画像検索手段による動画データ取り出
しのフレーム間隔を設定するフレーム間隔設定手段を備
え、前記フレーム間隔設定手段が設定したフレーム間隔
により検索条件に合致する複数の動画データを縮小及び
合成した合成画像のフレーム間隔を変更することによ
り、サーバの負荷に応じて、途切れのない動画を動画像
検索端末へ送信できるという効果が得られる。

【０１１６】また、第６の発明では、動画像検索サーバ
の合成画像送出制御手段において、生成された合成画像
のフレーム番号と動画像検索端末へ送出した合成画像の
フレーム番号を比較し、動画像検索端末へ送出した合成
画像のフレーム番号が生成された合成画像のフレーム番
号に等しいかまたは大きくなった場合、次に先頭のフレ
ームから送出を行い、生成された合成画像の再生を繰り
返し行うことにより、合成動画像データの生成が全て完
了するのを待たずに、検索条件に合致した動画像データ
を再生することができる。また、合成中の動画を最大限
に利用し再生を繰り返し行うことにより、同じ場面が繰
り返し再生され、新たに生成された合成画像が少しずつ
追加されていくことによって、目的の場面が見つけやす
くなるという効果がある。

【０１１７】また、第７の発明では、動画像検索サーバ
の合成画像送出制御手段において、書き込みフレーム記
憶手段と合成画像生成速度算出手段により再生予定時間
の合成画像の生成に必要な時間を算出し、残りの合成画
像の生成に必要な時間が再生予定時間より短くなった時
点で、合成画像の送出を開始することにより、検索条件
に合致した複数の動画データの再生が、再生予定時間の
合成動画像データの生成の完了を待たずに短い待ち時間
で開始できるという効果が得られる。

【０１１８】また、第８の発明では、指定された動画像
データの再生開始時間をずらした画像を動画記憶手段か
ら取り出す時分割抽出手段を備え、画像選択手段により
指定した任意の動画像データをさらに時間単位で分割
し、再生開始時間をずらして抽出した画像データを縮小
し、時間経過順に並べて配置して合成した合成画像を生
成することにより、選択した動画データをさらに細かく
検索することが可能になり、目的の場面を迅速に検索す
ることができるという有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における画像表示装置
を示す構成図

【図２】（ａ）本発明における画像データ表示までの処
理を表した流れ図 （ｂ）第１の実施形態における多画面同時再生の処理を
表した流れ図

【図３】本発明の第２の実施形態における画像表示装置
を示す構成図

【図４】第２の実施形態における選択画像再生の処理を
表した流れ図

【図５】第１の実施形態における画像縮小手段の構成図

【図６】画像縮小手段の処理の流れを表した流れ図

【図７】本発明の第４の実施形態における画像表示装置
を示す構成図

【図８】第４の実施形態における処理の流れを表した流
れ図

【図９】第４の実施形態における動画像検索手段の構成
図

【図１０】図９の動画像検索手段の処理の流れを表した
流れ図

【図１１】本発明の第６の実施形態における動画像検索
手段を示す構成図

【図１２】図１１の動画像検索手段の処理の流れを表し
た流れ図

【図１３】本発明の第７の実施形態における動画像検索
手段を示す構成図

【図１４】図１３の動画像検索手段の処理の流れを表し
た流れ図

【図１５】本発明の第８の実施の形態における動画像検
索システムを示す構成図

【図１６】本発明の第８の実施の形態における動画検索
サーバのマルチ動画合成処理の流れを表した流れ図

【図１７】本発明の第８の実施の形態における画像合成
の一例を示す図

【図１８】本発明の第８の実施の形態における合成画像
送出制御手段の処理の流れを示す流れ図

【図１９】本発明の第９の実施の形態における動画像検
索システムを示す構成図

【図２０】本発明の第９の実施の形態における動画像検
索サーバのマルチ動画合成処理の流れを表した流れ図

【図２１】本発明の第１０の実施の形態における動画像
検索サーバの合成画像伝送制御手段の構成を示す構成図

【図２２】本発明の第１０の実施の形態における動画像
検索サーバの合成画像伝送制御処理の流れを表した流れ
図

【図２３】本発明の第１０の実施の形態における合成画
像の再生の様子を示す図

【図２４】本発明の第１１の実施の形態における動画像
検索サーバの合成画像伝送制御手段の構成を示す構成図

【図２５】本発明の第１１の実施の形態における画像合
成処理の流れを表した流れ図

【図２６】本発明の第１１の実施の形態における送出開
始チェック処理の流れを表した流れ図

【図２７】本発明の第１１の実施の形態における動画の
送出処理の流れを表した流れ図

【図２８】本発明の第１２の実施の形態における動画像
検索システムの構成図

【図２９】本発明の第１２の実施の形態における合成画
像生成処理の流れを表す流れ図

【図３０】本発明の第１２の実施の形態における縮小画
像の配置の一例を示す図

【図３１】本発明の第１２の実施の形態における動画像
検索システムの構成図

【図３２】本発明の第１２の実施の形態における縮小画
像の配置の一例を示す図

【図３３】従来の技術における画像表示装置を示す構成
図

【図３４】従来の技術における動画像検索手段を示す構
成図

【図３５】従来の技術における動画像検索システムを示
す構成図

【符号の説明】

１０１ 画像縮小手段 １０２ 画像合成手段 １０３ 画像表示手段 １０４ 多画面同時再生手段 ３０４ 再生画像選択手段 ３０５ 選択画像同時再生手段 ５０１ マクロブロック化手段 ５０２ 直交変換手段 ５０３ 画素抽出手段 ５０４ 画素合成手段 ７０１ キー画像入力手段 ７０２ 動画像検索手段 ７０３ 画像縮小手段 ７０４ 画像合成手段 ７０５ 画像表示手段 ９０１ カット点検出手段 ９０２ フレーム抽出手段 ９０３ キー画像入力手段 ９０４ 画像比較判定手段 １１０５ キー画像登録手段 １３０５ 画像類似度出力手段 １５００ 動画像検索サーバ １５０１ 動画像検索手段 １５０２ 動画記憶手段 １５０３ 合成画像生成制御手段 １５０４ 合成画像抽出手段 １５０５ 画像縮小手段 １５０６ 画像合成手段 １５０７ 合成画像記憶手段 １５０８ 合成画像送出制御手段 １５０９ 通信手段 １５２０ 動画像検索端末 １５２１ 検索条件入力手段 １５２２ 通信手段 １５２３ 合成画像再生手段 １５３０ ネットワーク １９００ 動画像検索サーバ １９０１ 動画像検索手段 １９０２ 動画記憶手段 １９０３ 合成画像生成制御手段 １９０４ 合成画像抽出手段 １９０５ 画像縮小手段 １９０６ 画像合成手段 １９０７ 合成画像記憶手段 １９０８ 合成画像送出制御手段 １９０９ フレーム間隔設定手段 １９１０ 通信手段 １９２０ 動画像検索端末 １９２１ 検索条件入力手段 １９２２ 通信手段 １９２３ 合成画像再生手段 １９３０ ネットワーク ２１０１ 書込みフレーム記憶手段 ２１０２ 送出開始制御手段 ２１０３ 送出フレーム制御手段 ２１０４ フレーム比較手段 ２１０５ 合成画像送出手段 ２４０１ 書込みフレーム記憶手段 ２４０２ 合成画像生成速度算出手段 ２４０３ 再生予定時間記憶手段 ２４０４ 送出開始制御手段 ２４０５ 送出フレーム制御手段 ２４０６ フレーム比較手段 ２４０７ 合成画像送出手段 ２８００ 動画像検索サーバ ２８０１ 動画像検索手段 ２８０２ 動画記憶手段 ２８０３ 合成画像生成制御手段 ２８０４ 合成画像抽出手段 ２８０５ 画像縮小手段 ２８０６ 画像合成手段 ２８０７ 合成画像記憶手段 ２８０８ 合成画像送出制御手段 ２８０９ 通信手段 ２８１０ 時分割抽出手段 ２８１１ 画面分割数記憶手段 ２８２０ 動画像検索端末 ２８２１ 検索条件入力手段 ２８２２ 通信手段 ２８２３ 合成画像再生手段 ２８２４ 画像選択手段 ２８３０ ネットワーク ３１００ 動画像検索サーバ ３１０１ 動画像検索手段 ３１０２ 動画記憶手段 ３１０３ 合成画像生成制御手段 ３１０４ 時分割抽出手段 ３１０５ 画像縮小手段 ３１０６ 画像合成手段 ３１０７ 合成画像記憶手段 ３１０８ 合成画像送出制御手段 ３１０９ 通信手段 ３１１０ 画面分割数記憶手段 ３１２０ 動画像検索端末 ３１２１ 検索条件入力手段 ３１２２ 通信手段 ３１２３ 合成画像再生手段 ３１３０ ネットワーク

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 学 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平５−20368（ＪＰ，Ａ) 特開 昭61−2478（ＪＰ，Ａ) 特開 昭61−258578（ＪＰ，Ａ) 特開 平７−38842（ＪＰ，Ａ) 特開 平７−152779（ＪＰ，Ａ) 特開 平７−236153（ＪＰ，Ａ) 特開 平３−273363（ＪＰ，Ａ) 特開 平７−79399（ＪＰ，Ａ) 特開 平８−65637（ＪＰ，Ａ) 特開 平８−137912（ＪＰ，Ａ) 特開 平８−9310（ＪＰ，Ａ) 特開 平１−133481（ＪＰ，Ａ) 国際公開95／28794（ＷＯ，Ａ１) 栗田，外３名「印象語による絵画デー タベースの検索」情報処理学会論文誌, Ｖｏｌ．33，Ｎｏ．11，1992，ｐ．1373 −1383（平４−11−15) 糟谷，外２名「圧縮ビデオ中の動きベ クトルを利用した高速検索手法の提案」 1996年電子情報通信学会情報・システム ソサイエティ大会，Ｄ−276，ｐ．278 （平８−９−18) 野村，外２名「目的がに対する類似画 ／非類似画の指定による静止画像検索の 一手法」情報処理学会第45回（平成４年 後期）全国大会講演論文集（４）ｐ. 205−206（平４−10−11) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 H04N 5/45 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ) ＥＰＯＤＯＣ

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 動画像の検索を行う動画像検索サーバ
   と、前記動画像検索サーバへ動画像の検索を要求する動
   画像検索端末とから構成され、それらはネットワークを
   介して通信可能であり、 前記動画像検索サーバが、 検索対象の動画データを記憶する動画記憶手段と、前記
   動画記憶手段に記憶する動画データを検索する動画像検
   索手段と、前記動画像検索手段で検索条件に合致した動
   画像データからフレーム毎の画像を取り出す画像抽出手
   段と、前記動画像抽出手段により取り出した動画データ
   から縮小画像を作成する画像縮小手段と、前記縮小画像
   を合成した画像を作成する画像合成手段と、合成画像の
   生成処理を制御する合成画像生成制御手段と、合成した
   画像を記憶する合成画像記憶手段と、前記合成画像記憶
   手段に記憶する合成画像データの動画像検索端末への送
   出を制御する合成画像送出制御手段と、動画像検索端末
   との通信を制御する通信手段とを具備し、 前記動画像検索端末が、 動画データの検索条件を入力する検索条件入力手段と、
   前記動画検索サーバとの通信を制御する通信手段と、前
   記動画像検索サーバにより合成された合成画像データを
   表示する合成画像再生手段とを具備し、 前記動画像検索サーバが、検索条件に合致する複数の動
   画データを縮小しそれらを合成した合成画像データを生
   成し、前記生成した合成画像データをネットワークを介
   して送信し、前記動画像検索端末が、受信した前記合成
   画像データを動画として再生する装置であって、 動画像検索サーバが、 一定のフレーム数の合成画像を作成するのに要した時間
   から動画像検索手段による動画データ取り出しのフレー
   ム間隔を設定するフレーム間隔設定手段を備え、 前記フレーム間隔設定手段が設定したフレーム間隔によ
   り画像抽出手段における検索条件に合致する複数の動画
   データの抽出フレーム間隔を変更することにより、生成
   する合成画像のフレーム間隔を変更することを特徴とす
   る動画像検索システム。
2. 【請求項２】 動画像の検索を行う動画像検索サーバ
   と、前記動画像検索サーバへ動画像の検索を要求する動
   画像検索端末とから構成され、それらはネットワークを
   介して通信可能であり、 前記動画像検索サーバが、 検索対象の動画データを記憶する動画記憶手段と、前記
   動画記憶手段に記憶する動画データを検索する動画像検
   索手段と、前記動画像検索手段で検索条件に合致した動
   画像データからフレーム毎の画像を取り出す画像抽出手
   段と、前記動画像抽出手段により取り出した動画データ
   から縮小画像を作成する画像縮小手段と、前記縮小画像
   を合成した画像を作成する画像合成手段と、合成画像の
   生成処理を制御する合成画像生成制御手段と、合成した
   画像を記憶する合成画像記憶手段と、前記合成画像記憶
   手段に記憶する合成画像データの動画像検索端末への送
   出を制御する合成画像送出制御手段と、動画像検索端末
   との通信を制御する通信手段とを具備し、 前記動画像検索端末が、 動画データの検索条件を入力する検索条件入力手段と、
   前記動画検索サーバとの通信を制御する通信手段と、前
   記動画像検索サーバにより合成された合成画像データを
   表示する合成画像再生手段とを具備し、 前記動画像検索サーバが、検索条件に合致する複数の動
   画データを縮小しそれらを合成した合成画像データを生
   成し、前記生成した合成画像データをネットワークを介
   して送信し、前記動画像検索端末が、受信した前記合成
   画像データを動画として再生する装置であって、 合成画像送出制御手段が、 画像合成手段によって生成された合成画像のフレーム番
   号を記憶する書込みフレーム記憶手段と、前記書込みフ
   レーム記憶手段に記憶する書込みフレーム番号に基づき
   合成画像の送出開始を制御する送出開始制御手段と、動
   画像検索サーバから動画像検索端末へ送出した合成画像
   のフレーム番号を記憶する送出フレーム記憶手段と、前
   記書込みフレーム記憶手段に記憶する生成された合成画
   像のフレーム番号と前記送出フレーム記憶手段に記憶す
   る動画像検索サーバから動画像検索端末へ送出した合成
   画像のフレーム番号を比較し、次に送出するフレーム番
   号を設定するフレーム比較手段と、前記フレーム比較手
   段で設定した送出フレーム番号の合成画像を合成画像記
   憶手段から読み込み、通信手段へ出力する合成画像送出
   手段とを有し、 生成された合成画像のフレーム番号と動画像検索端末へ
   送出した合成画像のフレーム番号を比較し、動画像検索
   端末へ送出した合成画像のフレーム番号が生成された合
   成画像のフレーム番号より大きいかまたは等しくなった
   場合、次に送出するフレームの番号を先頭にして、生成
   された合成画像の再生を繰り返し行うことを特徴とする
   動画像検索システム。
3. 【請求項３】 動画像の検索を行う動画像検索サーバ
   と、前記動画像検索サーバへ動画像の検索を要求する動
   画像検索端末とから構成され、それらはネットワークを
   介して通信可能であり、 前記動画像検索サーバが、 検索対象の動画データを記憶する動画記憶手段と、前記
   動画記憶手段に記憶する動画データを検索する動画像検
   索手段と、前記動画像検索手段で検索条件に合致した動
   画像データからフレーム毎の画像を取り出す画像抽出手
   段と、前記動画像抽出手段により取り出した動画データ
   から縮小画像を作成する画像縮小手段と、前記縮小画像
   を合成した画像を作成する画像合成手段と、合成画像の
   生成処理を制御する合成画像生成制御手段と、合成した
   画像を記憶する合成画像記憶手段と、前記合成画像記憶
   手段に記憶する合成画像データの動画像検索端末への送
   出を制御する合成画像送出制御手段と、動画像検索端末
   との通信を制御する通信手段とを具備し、 前記動画像検索端末が、 動画データの検索条件を入力する検索条件入力手段と、
   前記動画検索サーバとの通信を制御する通信手段と、前
   記動画像検索サーバにより合成された合成画像データを
   表示する合成画像再生手段とを具備し、 前記動画像検索サーバが、検索条件に合致する複数の動
   画データを縮小しそれらを合成した合成画像データを生
   成し、前記生成した合成画像データをネットワークを介
   して送信し、前記動画像検索端末が、受信した前記合成
   画像データを動画として再生する装置であって、 合成画像送出制御手段が、 画像合成手段によって生成された合成画像のフレーム番
   号を記憶する書き込みフレーム記憶手段と、前記書込み
   フレーム手段に記憶するフレーム番号と書込んだ時刻か
   ら合成画像の生成速度を算出する合成画像生成速度算出
   手段と、前記合成画像生成速度算出手段により求めた合
   成画像の生成速度と再生予定時刻から送出開始を制御す
   る送出開始制御手段と、合成動画像データの再生予定時
   間を記憶する再生予定時間記憶手段と、動画像検索サー
   バから動画像検索端末へ送出した合成画像のフレーム番
   号を記憶する送出フレーム記憶手段と、前記書込みフレ
   ーム記憶手段に記憶する生成された合成画像のフレーム
   番号と前記送出フレーム記憶手段に記憶する動画像検索
   サーバから動画像検索端末へ送出した合成画像のフレー
   ム番号を比較し、次に送出するフレーム番号を設定する
   フレーム比較手段と、前記フレーム比較手段で設定した
   送出フレーム番号の合成画像を合成画像記憶手段から読
   み込み、通信手段へ出力する合成画像送出手段とを有
   し、 書き込みフレーム記憶手段と合成画像生成速度算出手段
   が、再生予定時間の合成画像の生成に必要な時間を算出
   し、残りの合成画像の生成に必要な時間が再生予定時間
   より短くなった時点で、合成画像の送出を開始すること
   を特徴とする動画像検索システム。