JP3529540B2 - 動画像検索装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は動画像検索装置お
よび方法に関し、特に、符号化された動画像情報からな
る動画像の検索を簡単にかつ数種類の方法を使って行う
ことを可能とする動画像検索装置に関する。

【０００２】

【従来の技術】従来から、ビデオテープ、磁気ディスク
等の磁気記憶媒体、あるいは光デイスク等の記憶媒体に
映像を格納しておき、必要に応じてこれらから映像を再
生できるようにした画像再生装置あるいは画像記録再生
装置が開発されている。これらの記憶媒体は大きな容量
を持っているので、数時間の映像を記憶することができ
るが、該記憶媒体をさらに有効利用するために、画像を
圧縮して記憶媒体に記憶させるようにしたものもある。

【０００３】これらの記憶媒体に記憶された画像情報
は、単体の画像再生装置で再生されたり、パソコンに接
続されてパソコン上で再生されたり、あるいはネットワ
ークに接続されて、ワークステーション上で再生された
りしている。ユーザは、該記憶媒体に記憶されている画
像情報を再生する場合、該画像情報のタイトル名等の文
字情報をもとに画像情報を検索し、所望の画像を再生す
るようにしている。

【０００４】

【発明が解決しようとする課題】前記したように、従来
は、再生したい画像情報をタイトル名等の文字情報をも
とに検索しているため、画像情報の頭出しはできるが、
選んだ画像情報の中の特定の画面（シーン）を検索しよ
うとすると、画像情報を例えば早送りで最初から再生
し、所望の特定の画面を見つけなければならず、時間と
手間がかかるという問題があった。また、検索のための
再生中にうっかりして所望の画面を見逃すと、再度最初
から画像情報を再生して、検索作業をやり直さなければ
ならないという問題があった。

【０００５】本発明の目的は、前記した従来技術の問題
点を除去し、映像を最初から最後まで再生することな
く、容易に映像内容の把握ができ、対話的に映像の検
索、再生を行って目的の映像を見つけることができる動
画像検索装置を提供することにある。また、類似検索機
能を備えることにより、所望の映像のみを表示、再生す
ることのできる動画像検索装置および方法を提供するこ
とにある。

【０００６】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、ユーザの要求に応じて、あらかじめ蓄積
されたビデオデータを再生、検索する動画像検索装置に
おいて、ビデオデータを蓄積するビデオデータ蓄積手段
と、検索画面上に、時間検索、シーン検索および類似検
索の少なくとも１つの検索項目を指定できる検索画面を
表示し、該検索項目の指定操作に従って検索結果を送出
するビデオデータ検索手段と、該ビデオデータ検索手段
によって検索された画面に基づいてビデオデータを再生
する再生手段とを具備し、前記ビデオデータ検索手段
は、前記時間検索とシーン検索の指定が行われると、指
定時間間隔で各時間の画面を表示し、さらに指定された
前記時間の画面からのシーン検索を行い各シーンの代表
画面を表示し、前記再生手段は該代表画面のどのシーン
からでも再生できるようにした点に第１の特徴がある。

【０００７】また、ビデオデータを蓄積する手段を有す
るサーバと、該サーバとクライアントとを接続するネッ
トワークと、該ネットワークに接続されたクライアント
とで構成され、前記サーバが送出する検索画面上に、時
間検索、シーン検索および類似検索の少なくとも１つの
検索項目を指定できる検索画面を表示し、該検索項目の
指定操作に従って検索結果を送出するビデオデータ検索
手段と、該ビデオデータ検索手段によって検索された画
面に基づいてビデオデータを再生する再生手段とを設
け、前記ビデオデータ検索手段は、前記時間検索とシー
ン検索の指定が行われると、指定時間間隔で各時間の画
面を表示し、さらに指定された前記時間の画面からのシ
ーン検索を行い各シーンの代表画面を表示し、前記再生
手段は該代表画面のどのシーンからでも再生できるよう
にした点に第２の特徴がある。

【０００８】第１の特徴によれば、検索画面上に、時間
検索、シーン検索および類似検索の少なくとも１つの検
索項目を指定できる検索画面を表示でき、前記時間検索
とシーン検索の指定が行われると、指定時間間隔で各時
間の画面を表示し、さらにユーザによって指定された前
記時間の画面からのシーン検索を行い各シーンの代表画
面を表示し、再生手段は該代表画面のどのシーンからで
も再生できる。このため、ユーザは該ビデオタイトル選
択手段によって選択されたビデオデータを最初から最後
まで再生しなくても、ビデオデータの検索をすることが
できる。また、短時間に検索をすることができる。ま
た、前記再生手段は該検索された画面に基づいてビデオ
データの再生を行うので、ユーザはビデオデータのう
ち、見たい画面からの再生を行うことができる。

【０００９】また、前記第２の特徴によれば、クライア
ントはネットワークを介してサーバに蓄積されているビ
デオデータを読み出し、該ビデオデータを検索した画面
を自身のモニタに表示することができる。このため、ク
ライアントは、サーバに共有されているビデオデータ
を、あたかも自分が所有しているのと同じ感覚で使用す
ることができる。

【００１０】

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。ここでは、動画像符号化の国際標準
方式、ＭＰＥＧ１（ＩＳＯ／ＩＥＣ １１１７２）によ
り圧縮された動画像符号化データからの動画像検索につ
いて説明するが、本発明はＭＰＥＧ１の圧縮方式で圧縮
された動画像の検索に限定されるものではない。

【００１１】本発明の一実施形態は、ビデオデータを格
納するハードディスク、圧縮動画像を再生する再生ボー
ド、ソフトウェアを内蔵したＰＣ（パソコン）、及びモ
ニタ等から構成されている。また、マウス等のポインテ
ィングデバイスを用いて、対話的な操作を実現してい
る。

【００１２】図１はこの実施形態の機能を表すブロック
図である。図のデータ蓄積部１は前記ハードディスクに
相当し、該データ蓄積部１には、予めジャンル選択画面
情報、ビデオタイトル選択画面情報、各種の映像ファイ
ルＡ，Ｂ，…、インデックスファイルが格納されてい
る。再生部２は前記データ蓄積部１から読み出された圧
縮動画像である映像ファイルａを復号化して再生するも
のであり、前記再生ボードに相当する。該再生部２は復
号化された映像データｂを、表示データ用バッファ７に
送出する。

【００１３】制御部３はＣＰＵ等で構成されており、前
記ソフトウェアを内蔵したＰＣに相当する。画面表示部
４は前記データ蓄積部１に格納されているジャンル選択
画面情報、ビデオタイトル選択画面情報、あるいは前記
再生部で復号化された映像ファイル等を表示する。ま
た、各種の制御ボタン等を表示する。操作入力部５はキ
ーボード、マウス等のポインティングデバイスに相当す
る。

【００１４】検索処理部６は、オペレータによる操作入
力部５からの操作手順により、画像検索の指示がなされ
ると、前記データ蓄積部１に格納されている各種の映像
ファイルから指定された映像ファイルｃを取り出し、複
数種類の方法（後述する時間検索、シーン検索、類似画
像検索等）で映像シーンの検索を行う。検索処理部６
は、また、後述するインデックス検索が選択された場合
には、データ蓄積部１中のインデックスファイルｄを取
り出し、これを用いて、映像シーンの検索を行う。検索
処理部６は検索結果の画面情報ｅを再生部２に送ると共
に、画面タイムコード等の検索画面に付随する情報ｆを
表示データ用バッファ７に送出する。表示データ用バッ
ファ７は、前記画面表示部４に表示するデータを一時的
に蓄積する。

【００１５】次に、本実施形態の動作を、図２のフロー
チャート、図３以下の画面表示等を参照して説明する。
まず、図２のステップＳ１にあるように、前記データ蓄
積部１には、ビデオデータが圧縮符号化され、その内容
に従ってジャンル毎に分類されて格納されているものと
する。ステップＳ２において、オペレータが、本システ
ムのアプリケーションソフトウェアを立ち上げると、制
御部３の作用により、前記データ蓄積部１からジャンル
選択画面情報が読み出され、表示データ用バッファ７に
転送される。この結果、画面表示部４には図３に示され
ているようなジャンル選択画面を表示する。ジャンル名
の表示は、ディレクトリ名をサーチして表示する。ステ
ップＳ３では、該ジャンル選択画面から、検索、再生す
る映像のジャンルが選択されたかどうかの判断がなされ
る。ジャンルが選択されると、ステップＳ４に進む。こ
の選択は、ポインティングデバイスを用いることにより
行うことができる。

【００１６】ステップＳ４では、データ蓄積部１からビ
デオタイトル選択画面情報が読み出され、図４(a) また
は(b) に示されているような、ビデオタイトル選択画面
が表示される。前記ジャンル選択画面情報およびビデオ
タイトル選択画面情報は、図９の(a) 〜(c) のいずれか
に示されているようなファイル構造をしている。(a)お
よび(b) はディレクトリをサーチしてタイトル名を表示
する場合のファイル構造を、(c) は識別子を利用してタ
イトル名を表示する場合のファイル構造を示している。

【００１７】ビデオタイトル選択画面に表示される内容
としては、図４に示されているように、ビデオデータの
タイトル名、代表画面、トータルタイムがある。タイト
ル名は、ジャンル名と同様、データファイル等が蓄積さ
れているディレクトリをサーチして表示するか、識別子
を利用して表示する。また、画面中の「Cancel」は、前
画面に戻る（ここでは、ジャンル選択画面）ことを指示
する時に選択される制御ボタンであり、「Previous」、
「Next」は、表示される代表画面が多い場合の画面の切
り替え、すなわち前の画面に戻るまたは次の画面に進む
時に使用される制御ボタンである。該制御ボタンは、後
述の再生画面、検索画面、検索結果表示画面においても
共通である。

【００１８】また、トータルタイムは以下の計算式で求
めることができる。 トータルタイム＝ビデオデータの容量／ビットレート［sec ］…（１） ビットレート＝(system bitstream multiplex rate) ×400 ［bit/sec ］…（ ２） ここで、system bitstream multiplex rate は、ＩＳＯ
／ＩＥＣ １１１７２ー３で規定されているＭＰＥＧ１
のシステムビットストリームのビットレート単位であ
る。

【００１９】さらに、代表画面としてはビデオデータの
先頭画面を利用することができ、その作成方法として
は、ＧＩＦ，ＪＰＥＧ等のフォーマットを利用してあら
かじめ代表画面ファイルを作成しておくか、ＭＰＥＧ１
で圧縮されたもとのビデオデータをランダムアクセスし
てその画面のみを表示する方法がある。後者のランダム
アクセスした画面を代表画面として表示する場合のラン
ダムアクセスの方法としては、タイムコードを利用する
方法とフレームフラグを利用する方法がある。

【００２０】それぞれのアクセス位置は以下の計算式で
求めることができる。 タイムコードを利用する場合： （トータル容量×アクセスタイム／トータルタイム）−αバイト…（３） フレームフラグを利用する場合： （トータル容量×アクセスフレーム／トータルフレーム）−αバイト…（４） なお、αは任意の整数で、正の値を用いることにより、
アクセス位置を少し手前にすることができる。これによ
り、少し手前からの再生を行って、再生タイムコードを
監視し、該当のタイムコードで一時停止して、該当画面
の表示を行うことができる。

【００２１】図４のビデオデータのタイトル選択画面に
おいてビデオタイトルが選択されると（ステップＳ５が
肯定）、選択したビデオデータを再生するか、検索する
かを選ぶことができる（ステップＳ６）。再生を選択す
る場合は再生ボタンを、検索を選択する場合は、検索ボ
タンをクリックする。また、この変形例として、ジャン
ル選択画面が表示される前の段階で、あらかじめ再生、
検索を選択することも可能である。

【００２２】選択したビデオデータを再生する場合は、
前記再生ボタンがクリックされる。そうすると、ステッ
プＳ７に進み、データ蓄積部１から選択されたビデオタ
イトルの映像ファイルを再生部２に送る。再生部２にお
いて、圧縮されて蓄積されていた画像データは復号化さ
れ、表示データ用バッファ７に記憶される。そして、ス
テップＳ８において、図５のような再生画面が表示され
る。この再生画面には、前記選択されたビデオタイトル
の画像データが最初から最後まで連続的に表示される。
この再生を途中で止めたい場合には、ＣＡＮＣＥＬボタ
ンをクリックすればよい。なお、通常の再生のほか、ス
ロー再生、スキップ再生、コマ送り等の特殊再生を行っ
たり、再生画面のサイズを変えることもできる。図中の
ＰＬＡＹ，ＣＵＥ，ＳＬＯＷ，ＳＳ，ＲＥＷ，ＦＦ，Ｐ
ＡＵＳＥ，ＳＴＯＰはそれぞれ通常再生、早送り再生、
低速再生、コマ送り、巻き戻し、早送り、一時停止、停
止を意味し、コマ送りの場合、マウス等のポインティン
グデバイスでクリックする毎に１コマずつ進むようにな
っている。

【００２３】ステップＳ９では、再生を継続するか否か
の判断がなされる。すなわち、他のビデオタイトルの画
像を再生するか否かの判断がなされる。この判断が肯定
の場合には、ステップＳ２に戻って、図３のジャンル選
択画面を表示する。一方、再生を継続しない場合には終
了する。

【００２４】次に、図４のタイトル選択画面で選択した
ビデオデータの内容を検索する場合には、検索ボタンが
クリックされる。そうすると、前記ステップＳ６からス
テップＳ１０に進み、図６の検索画面が表示される。す
なわち、前記検索処理部６（図１参照）が動作し、図６
の検索画面が表示される。該検索画面には、時間検索、
シーン検索、類似画像検索等が表示される。これらのう
ちの任意の検索が選択されると、選択された種類の検索
が該検索処理部６にて実行され、検索結果が図７のよう
に表示される（ステップＳ１１）。その後、該画面中の
検索画面またはタイムコードをポインティングデバイス
で指定し、再生を選択すると（ステップＳ１２が肯
定）、該当画面からの再生を行うことが可能である（ス
テップＳ８）。この場合、指定された場所からの再生に
ついては、前述の（３）式か（４）式を用いてランダム
アクセス再生することができる。

【００２５】次に、図６の画面に表示された各検索方法
について、詳細に説明する。時間検索は、指定された時
間間隔ごとにビデオデータを検索し、その画面とタイム
コードを表示する。時間の指定方法は、図６の検索画面
において、時間検索を選択すると同時に、開始および終
了時間（ＸＸ：ＸＸ〜ＸＸ：ＸＸ）と、検索間隔（ＸＸ
Ｓｅｃ．）を指定する。なお、前もって時間間隔を指
定したり、開始、終了時間をそれぞれビデオの開始、終
了時間に合わせることも可能である。この時間検索によ
れば、開始〜終了時間の間のビデオデータが、指定され
た検索間隔で抽出され、検索画面として画面表示部４に
表示される。

【００２６】シーン検索は、映像のシーン切り替わり点
（カット点）を自動的に検出して、各シーンの代表画面
とタイムコードを表示する。代表画面としては、各シー
ンの先頭画面を用いることができる。該カット点検出に
は、例えば氏原らの’動画像のカット点画像検出装置及
び方法’、情報処理学会第５１回後期全国大会６S −９
（１９９５）、特願平７ー２６３６８１号、特願平５−
２１６８９５号、あるいは特願平６−４６５６１号に開
示されている技術を用いることができる。

【００２７】この技術は、例えば、入力された動画像の
画面のデータから縮小画像を作る縮小画像作成手段と、
注目画面ｎ（ただし、ｎは正の整数）、および該注目画
面から時間的に、前後に、１フレームまたは複数フレー
ム離れた画面（ｎ−１）、（ｎ＋１）の縮小画像間の輝
度差分を総合して、各フレームに関するフレーム間輝度
差分を求めるフレーム間輝度差分演算手段と、前記画面
（ｎ−１）、ｎ、（ｎ＋１）の縮小画像間の色差信号の
ヒストグラムから、フレーム間の色差信号とヒストグラ
ム相関値を求める色差ヒストグラム相関演算手段と、前
記注目画面ｎのフレーム間輝度差分の、前記画面（ｎ−
１）、（ｎ＋１）のフレーム間輝度差分に対する時間的
な変化と、前記注目画面ｎの色差ヒストグラム相関値
の、前記画面（ｎ−１）、（ｎ＋１）の色差ヒストグラ
ム相関値に対する時間的な変化より、注目画面ｎのカッ
ト画面を判定するカット画面判定手段とを具備すること
により、カット点の検出を行うものである。

【００２８】類似画像検索は、シーン検索を行った後、
検索結果として表示されたシーンの代表画面から類似画
像検索を行うシーンを指定し、類似画像検索を選択す
る。すなわち、前記シーン検索を行うと、図８の画面が
表示される。そこで、該画面中の類似画像検索をしたい
シーンを選択し、次いで類似画像検索ボタンをクリック
する。そうすると、該選択されたシーンと類似したシー
ンが検索され、そのシーンの代表画面とタイムコードが
検索結果として表示される。例えば図７または図８のよ
うに表示される。該類似画像検索には、例えば中島ら
の’類似画像検索装置及び方法’、画像電子学会研究会
予稿（１９９４ー０６）、または特願平７ー７７０９８
号に記載された技術を用いることができる。

【００２９】この技術は、例えば、参照画像を設定する
手段と、入力画像から検索対象画像を選択する手段と、
該参照画像および各検索対象画像の特徴量から検索対象
画像毎に類似度を演算する手段と、該類似度が所定値以
上であるか否かを判定する手段と、該類似度が所定値以
上であると判定された各検索対象画像を同一クラスタと
して記録する手段と、該参照画像の特徴量を前記同一ク
ラスタと判定された検索対象画像の特徴量を用いて更新
する手段とを具備し、該参照画像の特徴量を順次更新さ
せて、後続の検索対象画像から類似画像を検索するよう
にしたものである。

【００３０】検索結果として表示された画面あるいはタ
イムコードを選択すると、そのポイントからのビデオ再
生が可能となる。特定されたポイントへのアクセス方法
は、前述のようにタイムコードを利用する方法や、フレ
ームフラグを利用する方法などが利用できる。

【００３１】また、これらの数種の検索を複合して、次
のような検索をすることができる。

【００３２】(1) 図６において、時間検索とシーン検索
とを続けて選択する。時間検索の選択時に時間指定を行
うと、指定された時間間隔で検索が行われ、例えば図７
のような検索画面が表示される。次に、この画面で特定
の検索画面が指定されると、該検索画面につき、それ以
降のビデオデータに対してシーン検索が行われ、各シー
ンの代表画面が表示される。このようにすると、例え
ば、１分単位で時間検索を行って、大まかな内容閲覧を
行った後、その代表画面の一つを選択して、そこからの
シーン検索を行うという検索ができる。

【００３３】(2) 図６において、時間検索と類似画像検
索とが続けて選択されると、指定された時間間隔で検索
が行われ、例えば図７のような検索画面が表示される。
次に、この画面の中で特定の検索画面が指定されると、
該検索画面につき、それ以降のビデオデータに対してシ
ーン検索が行われ、例えば図８のような各シーンの代表
画面が表示される。そこで、ユーザが所望のシーンを指
定すると、該シーンと類似したシーンの検索が行われ、
類似したシーンが画面上に表示される。

【００３４】(3) 図６において、シーン検索と類似画像
検索とが続けて選択されると、まず、シーン検索が行わ
れ、図８のような各シーンの代表画面が表示される。次
に、ユーザによって、その中の所望のシーンが指定さ
れ、類似検索ボタンが押されると、該所望のシーンに類
似したシーンが検索され表示される。

【００３５】インデックス検索の場合は、前記検索処理
部６（図１参照）はデータ蓄積部１に格納されているイ
ンデックスファイルをアクセスし、該インデックスファ
イルに基づいて代表画面を検索し、検索結果である代表
画面とタイムコードを画面表示部４に表示する。この時
の表示画面は、例えば、図８の画面のようになる。

【００３６】データ蓄積部１に格納するインデックスフ
ァイルの内容としては、例えば図１０に示されているよ
うな３つが考えられる。第１のインデックスファイル
は、同図(a) に示されているように、タイムコードだけ
を記録したインデックスファイルである。このインデッ
クスファイルは、時間とその時間に対応するフレーム番
号から構成されている。図示の例は、３０秒間隔のイン
デックスファイルである。この場合には、３０秒毎の検
索画面が選択されたビデオタイトルのビデオデータから
取り出され、再生部２で再生されて画面表示部４に表示
される。

【００３７】図１０(b) は第２のインデックスファイル
を示し、フレームフラグだけを記録したインデックスフ
ァイルである。このインデックスファイルには、取り出
されるフレームの番号が予め記録されている。例えば１
フレーム、１００フレーム、２００フレーム、…、５０
００フレームというふうにフレームの番号が記録されて
いる。データ蓄積部１にこのインデックスファイルが格
納されている場合には、該記録されたフレームの検索画
面が選択されたビデオタイトルのビデオデータから取り
出され、再生部２で再生されて画面表示部４に表示され
ることになる。

【００３８】次に、図１０(c) は第３のインデックスフ
ァイルを示し、代表画面データファイルとタイムコード
ファイルから構成されている。該代表画面データは圧縮
されていないビデオデータが好適であるが、圧縮されて
いるものであってもよい。このインデックスファイルの
場合には、代表画面データが予め作成されてデータ蓄積
部１に格納されているので、該代表画面データが対応す
るタイムコードと共に取り出され、画面表示部４に検索
画面として表示される。

【００３９】次に、インデックス検索をした画像からの
再生方法について説明する。検索画像からの再生は、タ
イムコードのみのインデックスファイルの場合には、前
述のように、選択されたタイムコード、トータルタイ
ム、容量を用いてビデオデータの該当位置を予測し、そ
の位置から再生を行う。フレームフラグのインデックス
ファイルの場合は選択されたフレームフラグ、トータル
フレーム、容量を用いてビデオデータの該当位置を予測
し、その位置からの再生を行う。画像ファイルとタイム
コードのインデックスファイルの場合には、選択された
タイムコードに対応するビデオデータにランダムアクセ
スして再生を行う。なお、再生は、前述の実施例１と同
様、特殊再生と再生画面サイズの変更が可能である。

【００４０】次に、前記データ蓄積部１に蓄積しておく
ファイルの構造を、図１１に示す。ファイルはディレク
トリ構造で蓄積される。同図(a) の場合、代表画面の表
示にはビデオ（映像）ファイルを利用し、検索画面の表
示にはインデックスファイルを利用する。この場合、代
表画面は、ビデオの先頭画面などの固定された位置の画
像を用いる。同図(b) の場合には、代表画面の表示に
は、タイトルファイルを利用し、検索画像の表示にはイ
ンデックスファイルを利用する。なお、タイトルファイ
ルは、タイトル画面そのものをファイルとして持つ場
合、代表画面のタイムコードを持つ場合、あるいは、代
表画面のフレームフラグを持つ場合が考えられる。イン
デックスファイルは、前述のようにインデックス画面そ
のもの、インデックスタイムコード、あるいは、インデ
ックスフレームフラグを持つ場合が考えられる。

【００４１】前記の実施形態は、本発明を、ハードディ
スクに格納されている画像データをパソコンから直接ア
クセスするシステムに適用した例であったが、本発明は
これに限定されず、図１２に示されているような、サー
バとクライアントをネットワークで接続したシステムに
も使用することができる。該システム構成を図１２を参
照して説明する。

【００４２】サーバ１１とクライアント１２ａ〜１２ｃ
は、例えばＬＡＮ，ＩＳＤＮなどのネットワーク１３で
接続され、サーバ１１側に映像データを格納し、画像検
索処理、クライアント１２ａ〜１２ｃへの映像データの
送信をサーバ１１側で行う。クライアント１２ａ〜１２
ｃ側では、サーバ１１から送信されたデータを用いて、
映像データの再生や、検索結果の表示などが行われる。
伝送制御手段としては、例えばＬＡＮではＮＦＳ（Ｎｅ
ｔｗｏｒｋ Ｆｉｌｅ Ｓｙｓｔｅｍ）を用いて、サー
バをクライアントの１つの仮想デバイスとして扱うこと
により、クライアント内蔵ハードディスクのデータのリ
ードライトと同様な手法でランダムアクセスが可能であ
る。なお、前記サーバはインターネットのＷＷＷサーバ
を用い、クラアント側にはＷＷＷビューアを備えて、再
生や検索結果の表示をするようにしてもよい。

【００４３】図１３は、前記システム構成を使用した場
合の動作を示すフローチャートである。ステップＳ１〜
Ｓ６は図２と同一または同等であるので説明を省略し、
ステップＳ２１以下について説明する。このシステム構
成では、前記データ蓄積部１（図１参照）はサーバ１１
のハードディスク１１ａに相当する。そこで、ステップ
Ｓ６にて再生が選択されると、ステップＳ２１に進み、
選択されたビデオタイトルのビデオデータがサーバ１１
側からクライアント１２側へ送信される。次いで、ステ
ップＳ２２に進み、クライアント１２側で、図５の再生
画面が表示され、該再生画面にビデオデータの再生画像
が表示される。ステップＳ２３では、再生を継続するか
否かの判断がなされ、この判断が肯定の場合には、ステ
ップＳ２に戻って、再度ジャンル選択画面が表示され
る。

【００４４】次に、ステップＳ６で検索が選択された場
合には、ステップＳ２４に進んで、図６の検索画面が表
示される。そして、前記と同様に、この画面にて、時間
検索、シーン検索、類似画像検索およびインデックス画
像検索の選択が行われる。ステップＳ２５では、サーバ
１１はステップＳ２４で選択された検索を開始し、その
検索結果をサーバ１１側からクライアント１２側へ送信
する。ステップＳ２６では、クライアント１２側は、受
信した検索結果を表示する。ステップＳ２７では、検索
画面の再生を行うか否かの判断がなされ、この判断が肯
定の場合にはステップＳ２８に進んで、サーバ１１は画
像の再生を行う。そして、再生したビデオデータをクラ
イアント１２側へ送信する。そして、ステップＳ２２に
進んで、クライアント１２側のモニタに再生画像が表示
される。

【００４５】以上のように、本実施形態によれば、圧縮
された画像データがデータ蓄積部１またはサーバのハー
ドディスク１１ａに格納されるので、データ量が小さい
という効果、また、該データ蓄積部１またはサーバのハ
ードディスク１１ａに格納されている画像データに対し
て、時間検索、シーン検索、類似画像検索またはインデ
ックス画像検索のうちの所望の検索を行うことができる
ので、ビデオデータから、短時間に所望のシーンを取り
出すことができる。また、該取り出したシーンから、必
要に応じて再生を開始することができるので、見たい場
面のみを簡単にかつ短時間に再生することができる。

【００４６】なお、前記の実施形態では、図６に示され
ているように、選択できる検索の種類を時間検索、シー
ン検索、類似画像検索およびインデックス画像検索の４
種類を設けたが、本発明はその内の１種類でもよく、ま
た任意の組み合わせの２種類または３種類であってもよ
い。

【００４７】

【発明の効果】以上の説明から明らかなように、本発明
によれば、従来のように、ビデオデータを最初から最後
まで再生しなくても、検索装置が自動的に検索し、検索
結果を表示するので、手間がかからず、短時間に検索で
きる。また、検索された画面に基づいて再生を開始する
ことができるので、ユーザは短時間に自分の見たい所を
見つけ、該見つけた所から再生することができ、操作性
が大いに向上するという効果がある。また、ビデオデー
タを蓄積する手段を有するサーバと、該サーバとクライ
アントとを接続するネットワークと、該ネットワークに
接続されたクライアントとで構成されるシステムにおい
ても、前記の検索と再生とを実現することができ、実用
的な価値が大きいという効果がある。さらに、本発明に
よれば、時間間隔指定の検索、シーン検索、類似したシ
ーンの検索、あるいはこれらを組み合わせた検索、ある
いはインデックス検索を行うことができるという効果が
ある。

【図面の簡単な説明】

【図１】 本発明の全体構成の機能を示すブロック図で
ある。

【図２】 本発明の一実施形態の動作の概要を示すフロ
ーチャートである。

【図３】 ジャンル選択画面の一例を示す図である。

【図４】 タイトル選択画面の一例を示す図である。

【図５】 再生画面の一例を示す図である。

【図６】 検索画面の一例を示す図である。

【図７】 検索結果画面の一例を示す図である。

【図８】 類似検索画面の一例を示す図である。

【図９】 ジャンル選択画面情報およびビデオタイトル
選択画面情報のファイル構造を示す図である。

【図１０】 インデックスファイルの内容を示す図であ
る。

【図１１】 データ蓄積部に蓄積するファイル構造を示
す図である。

【図１２】 本発明が適用されるネットワークの一例を
示すシステム図である。

【図１３】 該ネットワークにおける本発明の動作の概
要を示すフローチャートである。

【符号の説明】

１…データ蓄積部、２…再生部、３…制御部、４…画像
表示部、５…操作入力部、６…検索処理部、７…表示デ
ータ用バッファ、１１…サーバ、１２ａ〜１２ｃ…クラ
イアント、１３…ネットワーク。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平７−23369（ＪＰ，Ａ) 特開 平５−257989（ＪＰ，Ａ) 特開 平６−253255（ＪＰ，Ａ) 特開 平６−295565（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ユーザの要求に応じて、あらかじめ蓄積
   されたビデオデータを再生、検索する動画像検索装置に
   おいて、 ビデオデータを蓄積するビデオデータ蓄積手段と、検索画面上に、時間検索、シーン検索および類似検索の
   少なくとも１つの検索項目を指定できる検索画面を表示
   し、該検索項目の指定操作に従って検索結果を送出する
   ビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
   いてビデオデータを再生する再生手段とを具備し、前記ビデオデータ検索手段は、前記時間検索とシーン検
   索の指定が行われると、指定時間間隔で各時間の画面を
   表示し、さらに指定された前記時間の画面からのシーン
   検索を行い各シーンの代表画面を表示し、 前記再生手段は該代表画面のどのシーンからでも再生で
   きる ことを特徴とする動画像検索装置。
2. 【請求項２】 ビデオデータを蓄積する手段を有するサ
   ーバと、該サーバとクライアントとを接続するネットワ
   ークと、該ネットワークに接続されたクライアントとで
   構成される動画像検索装置であって、 前記サーバが送出する検索画面上に、時間検索、シーン
   検索および類似検索の少なくとも１つの検索項目を指定
   できる検索画面を表示し、該検索項目の指定操作に従っ
   て検索結果を送出するビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
   いてビデオデータを再生する再生手段とを設け、前記ビデオデータ検索手段は、前記時間検索とシーン検
   索の指定が行われると、指定時間間隔で各時間の画面を
   表示し、さらに指定された前記時間の画面からのシーン
   検索を行い各シーンの代表画面を表示し、 前記再生手段は該代表画面のどのシーンからでも再生で
   きる ことを特徴とする動画像検索装置。
3. 【請求項３】 ユーザの要求に応じて、あらかじめ蓄積
   されたビデオデータを再生、検索する動画像検索装置に
   おいて、 ビデオデータを蓄積するビデオデータ蓄積手段と、 検索画面上に、時間検索、シーン検索および類似検索の
   少なくとも１つの検索項目を指定できる検索画面を表示
   し、該検索項目の指定操作に従って検索結果を送出する
   ビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
   いてビデオデータを再生する再生手段とを具備し、 前記ビデオデータ検索手段は、前記時間検索と類似検索
   の指定が行われると、指定時間間隔で各時間の画面を表
   示し、さらに指定された前記時間の画面以降であって、
   指定されたシーンと類似したシーンを検索、表示し、 前記再生手段は、どの類似シーンからでも再生できる こ
   とを特徴とする動画像検索装置。
4. 【請求項４】 ビデオデータを蓄積する手段を有するサ
   ーバと、該サーバとクライアントとを接続するネットワ
   ークと、該ネットワークに接続されたクライアントとで
   構成される動画像検索装置であって、 前記サーバが送出する検索画面上に、時間検索、シーン
   検索および類似検索の少なくとも１つの検索項目を指定
   できる検索画面を表示し、該検索項目の指定操作に従っ
   て検索結果を送出するビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
   いてビデオデータを再生する再生手段とを設け、 前記ビデオデータ検索手段は、前記時間検索と類似検索
   の指定が行われると、指定時間間隔で各時間の画面を表
   示し、さらに指定された前記時間の画面以降であって、
   指定されたシーンと類似したシーンを検索、表示し、 前記再生手段は、どの類似シーンからでも再生できる こ
   とを特徴とする動画像検索装置。
5. 【請求項５】 ユーザの要求に応じて、あらかじめ蓄積
   されたビデオデータを再生、検索する動画像検索装置に
   おいて、 ビデオデータを蓄積するビデオデータ蓄積手段と、 検索画面上に、時間検索、シーン検索および類似検索の
   少なくとも１つの検索項目を指定できる検索画面を表示
   し、該検索項目の指定操作に従って検索結果を 送出する
   ビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
   いてビデオデータを再生する再生手段とを具備し、 前記ビデオデータ検索手段は、前記シーン検索と類似検
   索の指定が行われると、各シーンの代表画面を表示し、
   さらに指定されたシーンと類似したシーンを検索、表示
   し、 前記再生手段は、どの類似シーンからでも再生できる こ
   とを特徴とする動画像検索装置。
6. 【請求項６】 ビデオデータを蓄積する手段を有するサ
   ーバと、該サーバとクライアントとを接続するネットワ
   ークと、該ネットワークに接続されたクライアントとで
   構成される動画像検索装置であって、 前記サーバが送出する検索画面上に、時間検索、シーン
   検索および類似検索の少なくとも１つの検索項目を指定
   できる検索画面を表示し、該検索項目の指定操作に従っ
   て検索結果を送出するビデオデータ検索手段と、 該ビデオデータ検索手段によって検索された画面に基づ
   いてビデオデータを再生する再生手段とを設け、 前記ビデオデータ検索手段は、前記シーン検索と類似検
   索の指定が行われると、各シーンの代表画面を表示し、
   さらに指定されたシーンと類似したシーンを検索、表示
   し、 前記再生手段は、どの類似シーンからでも再生できる こ
   とを特徴とする動画像検索装置。