JP4240186B2 - 画像表示装置および方法 - Google Patents
画像表示装置および方法 Download PDFInfo
- Publication number
- JP4240186B2 JP4240186B2 JP2000571367A JP2000571367A JP4240186B2 JP 4240186 B2 JP4240186 B2 JP 4240186B2 JP 2000571367 A JP2000571367 A JP 2000571367A JP 2000571367 A JP2000571367 A JP 2000571367A JP 4240186 B2 JP4240186 B2 JP 4240186B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- display
- displayed
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/54—Browsing; Visualisation therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の概要を静止画像として表示することが可能な画像表示装置に係わり、例えば複数種類の動画像の中から所望の動画像を検索するシステムに適用される画像表示装置および方法に関する。
【０００２】
【従来の技術】
文字を対象とした情報検索技術は、従来より広く行われているが、映像を対象とした検索技術については、実現例が少なく、現在もなお、様々な試みがなされている。中でも、動画像の検索方法に関しては、例えば画像認識技術やシーン抽出技術を用いた方法等、様々な観点から研究が行われている。
【０００３】
例えば、動画サーバとデータベースサーバとを組み合わせて構成したＶＯＤ(Video On Demand) システムでは、タイトル名等を対象としたキーワード検索により、コンテンツ（動画像の内容）の検索が可能である。ところが、タイトル名は、必ずしもコンテンツ全体の内容を適切に表現しているとは限らず、実際に再生してみないと内容を確認できない場合が多いのが現状である。
【０００４】
かかる問題点の解決を図るべく、本出願人は、特開平２−２６００７５号公報に開示されているように、動画像の一覧性に主眼を置いたビデオブラウザ技術を提案している。このビデオブラウザ技術は、動画像を構成する一連の静止画像の各々から移動スリット窓によってサンプリングした部分画像を基に、いわばダイジェスト静止画像としての索引画像を生成し、この索引画像を時間軸の下に一覧表示することによって、動画像の概略の内容を一目で確認できるようにした技術である。
【０００５】
このビデオブラウザ技術によれば、不可視の状態で記録されている膨大な量の動画像の内容が時間軸の下に圧縮された静止画像の形で表示されるので、動画像の内容を直ちに把握することができる。
【０００６】
【発明が解決しようとする課題】
【０００７】
ここで、索引画像の表示のさせ方としては、例えば、索引画像表示用の画面に、生成された索引画像を全て表示する方法や、生成された索引画像のうち、あらかじめ決められた一定数の索引画像のみを先頭の索引画像から順に表示するという方法がある。
【０００８】
しかしながら、生成された索引画像を全て表示する方法の場合には、例えば、生成された索引画像が多いときに、表示環境（画面の大きさ等）によっては索引画像が一つの画面内に収まらず、動画像を効率よく確認することができなくなる虞がある。
【０００９】
また、あらかじめ決められた一定数の索引画像のみを先頭の索引画像から順に表示する方法の場合においては、常に一定数の索引画像を表示するため、表示環境によっては索引画像を一つの画面内に表示できなかったり、索引画像が表示されない無用な空間が生じたりする虞がある。この場合、画面の大きさを可変にできる場合であっても、あらかじめ決められた一定数の索引画像しか表示されないため、表示環境に応じて適切な表示が行われない。
【００１０】
更に、一定数の索引画像を先頭から順に表示する方法の場合には、例えば、動画像が長時間のものであるときに、生成された全索引画像のうちの先頭部分しか見ることができず、動画像を全体に渡って確認することができないという問題がある。
【００１１】
また、生成された索引画像を全て表示する方法の場合には、表示された索引画像の数から動画像の長さをある程度判断することが可能であるが、あらかじめ決められた一定数の索引画像のみを表示する方法の場合には、このような動画像の長さの判断を行うことはできないという問題がある。
【００１２】
本発明はかかる問題点に鑑みてなされたもので、その目的は、ビデオブラウザ技術によって生成された索引画像を、その表示環境や動画像の内容等に応じて適切に表示することを可能とする画像表示装置および方法を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の画像表示装置は、複数の動画像を格納する動画像格納手段と、動画像格納手段に格納された複数の動画像のそれぞれについて、その動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、動画像を静止画像として縮約して生成された索引画像を保持する索引画像保持手段と、この索引画像保持手段により保持された索引画像を表示するための表示手段と、この表示手段の表示環境および動画像の内容の少なくとも一つに応じて、表示手段に表示する索引画像の表示態様を決定する表示態様決定手段とを備えたものである。
そして、表示態様決定手段が、動画像の長さに応じた数の索引画像が表示されるよう索引画像の表示態様を決定する機能を少なくとも有し、動画像の長さに応じた索引画像の表示数を、動画像格納手段に格納されている全ての動画像の長さの分布に基づいて決定するようになされているものである。
【００１４】
本発明の画像表示方法は、複数の動画像を動画像格納手段が格納するステップと、動画像格納手段に格納された複数の動画像のそれぞれについて、その動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、動画像を静止画像として縮約して生成された索引画像を、索引画像保持手段が保持するステップと、索引画像保持手段により保 持された索引画像を表示手段が表示するステップと、表示手段の表示環境および動画像の内容の少なくとも一つに応じて、表示手段に表示する索引画像の表示態様を、表示態様決定手段が決定するステップとを含むようにしたものである。
そして、表示態様決定手段が、動画像の長さに応じた数の索引画像が表示されるよう索引画像の表示態様を決定する機能を少なくとも有し、動画像の長さに応じた索引画像の表示数を、動画像格納手段に格納されている全ての動画像の長さの分布に基づいて決定するようにしたものである。
【００１５】
本発明の画像表示装置および方法では、動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、静止画像として縮約して生成された索引画像が保持され、この保持された索引画像を表示するための表示手段の表示環境および動画像の内容の少なくとも一つに応じて、表示手段に表示する索引画像の表示態様が決定される。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
第２図は、本発明の一実施の形態に係る画像表示装置を適用して構成した動画像検索配信システムのハードウェア構成を、その構成要素であるウェブサーバ３および端末装置４の内部構成と共に表すものである。本実施の形態の動画像検索配信システムは、インターネット上の情報へのアクセスを可能とするシステムであるワールド・ワイド・ウェブ（ＷＷＷ）を用いて、動画像の検索および配信を可能としたシステムである。
【００１８】
この図に示したように、この動画像検索配信システムは、ＷＷＷをサポートするウェブサーバ３と、クライアントとしての端末装置４と、動画像を蓄積している動画像サーバ５と、動画像サーバ５に蓄積された動画像に関するデータを蓄積しているデータベースサーバ６とを含んでいる。これらの各要素は、インターネットの一部を構成するネットワーク２に接続されている。なお、ネットワーク２に接続されるウェブサーバ３、端末装置４、動画像サーバ５およびデータベースサーバ６の数や、ネットワーク２に対する物理的接続形態に特に制限はない。
【００１９】
ウェブサーバ３は、主として、端末装置４からの要求に応じて、動画像に関する検索や、動画像から生成した静止画像としてのビジュアル・ダイジェスト・インデックス画像（以下、ＶＤインデックス画像という。）の検索および配信等を行うものである。このＶＤインデックス画像は、動画像の内容を静止画像の形に縮約したもので、これを見るだけで動画像の概略的内容を把握できるようにしたものである。その生成方法は後述する。ここで、ＶＤインデックス画像が本発明における「索引画像」に対応する。
【００２０】
第２図に示したように、ウェブサーバ３は、コンピュータ本体１１と、このコンピュータ本体１１に接続された、ディスプレイ装置１２、キーボード１３、マウス１４およびハードディスク装置１５とを備えている。コンピュータ本体１１は、ＣＰＵ（中央処理装置）２１と、ＲＯＭ（リード・オンリ・メモリ）およびＲＡＭ（ランダム・アクセス・メモリ）等を含むメモリ部２２と、ディスプレイ装置１２を制御するためのディスプレイコントローラ２３と、キーボード１３およびマウス１４に接続され、入出力（Ｉ／Ｏ）動作を制御するＩ／Ｏコントローラ２４と、ハードディスク装置１５を制御するためのハードディスクコントローラ２５と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ２６とを備えている。これらの各要素間は、バス２７によって相互に接続されている。ＣＰＵ２１は、メモリ部２２内のＲＡＭを作業用記憶領域として利用して、ハードディスク装置１５に格納されたアプリケーションプログラムを実行するようになっている。
【００２１】
端末装置４は、例えば通常のパーソナルコンピュータとして構成されたもので、インターネット上の情報を閲覧可能とするためのソフトウェアであるインターネットブラウザと、ネットワーク２を介して配信された動画像の再生を可能とするためのソフトウェアである動画像再生プログラムとを保有している。インターネットブラウザとしては、例えば、ネットスケープナビゲータ(Netscape Navigator(米国 Netscape Communications社の商標))等の一般的な商用ブラウザが使用可能である。
【００２２】
第２図に示したように、端末装置４は、コンピュータ本体３１と、このコンピュータ本体３１に接続された、ディスプレイ装置３２、キーボード３３、マウス３４、スピーカ３５ａ，３５ｂおよびハードディスク装置３６とを備えている。コンピュータ本体３１は、ＣＰＵ４１と、ＲＯＭおよびＲＡＭ等を含むメモリ部４２と、ディスプレイ装置３２を制御するためのディスプレイコントローラ４３と、ＭＰＥＧ(Moving Picture Experts Group)規格による画像データの圧縮・伸長処理を行うＭＰＥＧ処理部４４と、キーボード３３およびマウス３４に接続され、入出力動作を制御するＩ／Ｏコントローラ４５と、スピーカ３５ａ，３５ｂからの音声出力を制御するサウンドコントローラ４６と、ハードディスク装置３６を制御するためのハードディスクコントローラ４７と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ４８とを備えている。これらの各要素間は、バス４９によって相互に接続されている。ＣＰＵ４１は、メモリ部４２内のＲＡＭを作業用記憶領域として、ハードディスク装置３６に格納されたアプリケーションプログラムを実行するようになっている。なお、ＭＰＥＧ処理部４４は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。
【００２３】
なお、端末装置４は、上記のようなインターネットブラウザ機能と動画像再生機能とを有するものであれば、ハードウェアとしての限定はない。
【００２４】
動画像サーバ５は、複数種類の動画像を蓄積し、要求に応じてこれをネットワーク２を介して提供したり、動画像からＶＤインデックス画像を生成するためのものである。
第３図は、動画像サーバ５のハードウェア構成を表すものである。この図に示したように、動画像サーバ５は、コンピュータ本体５１と、このコンピュータ本体５１に接続された、ディスプレイ装置５２、キーボード５３、マウス５４、および複数のハードディスクを用いて冗長に構成された大容量のＲＡＩＤ(Redundant Array of Inexpensive Disks)５５とを備えている。
【００２５】
コンピュータ本体５１は、ＣＰＵ６１と、ＲＯＭおよびＲＡＭ等を含むメモリ部６２と、ディスプレイ装置５２を制御するためのディスプレイコントローラ６３と、ＭＰＥＧ規格による画像データの圧縮・伸長処理を行うＭＰＥＧ処理部６４と、キーボード５３およびマウス５４に接続され、入出力動作を制御するＩ／Ｏコントローラ６５と、ＲＡＩＤ５５を制御するためのＲＡＩＤコントローラ６６と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ６７とを備えている。これらの各要素間は、バス６８によって相互に接続されている。ＣＰＵ６１は、メモリ部６２内のＲＡＭを作業用記憶領域として、ＲＡＩＤ５５に格納されたアプリケーションプログラムを実行するようになっている。なお、ＭＰＥＧ処理部６４は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。
【００２６】
次に、本実施の形態の動画像検索配信システムの機能構成を説明する。
第１図は、第２図に示した動画像検索配信システムにおける各要素の機能構成を表すものである。この図に示したように、ウェブサーバ３は、インターネットサーバ部７１と、データベース検索部７２と、インデックス検索部７３と、インデックス格納部７４と、インデックス関連処理部７５と、インデックス関連情報格納部７６と、ＧＵＩ(Graphycal User Interface)データ生成部７７と、ＧＵＩデータ格納部７８と、静止画像格納部７９とを有している。
【００２７】
インターネットサーバ部７１は、インターネット上で公開される情報の管理や配信等を行うためのもので、具体的には、端末装置４、動画像サーバ５およびデータベースサーバ６等とのやり取りを行う。
【００２８】
データベース検索部７２は、端末装置４からの要求に応じて、データベースサーバ６に動画像検索要求を発し、得られた検索結果をインデックス検索部７３に渡すという処理を行うものである。この検索結果には、該当する動画像のタイトル、動画像データのファイル名、その動画像ファイルが格納されている動画像サーバの名前（ここでは動画像サーバ５）、動画像サーバ内における、その動画像ファイルの格納位置等が含まれる。また、この検索結果には、該当する動画像の長さの情報が含まれる。
【００２９】
インデックス検索部７３は、データベース検索部７２から受け取ったデータベース検索結果を基に、インデックス格納部７４に格納されている複数のＶＤインデックスファイルの中から目的のファイルを検索するためのものである。ここで、ＶＤインデックスファイルとは、後述するように、動画像のタイトルごとに生成された画像データファイルであり、１または複数のＶＤインデックス画像データを含んでいる。
【００３０】
インデックス格納部７４は、動画像サーバ５から送られてきたＶＤインデックスファイルを格納するためのものである。
【００３１】
インデックス関連処理部７５は、ＧＵＩデータ生成部７７がＧＵＩデータを生成する際に必要な、ＶＤインデックス画像の表示態様を決定する処理等を行うためのものである。インデックス関連処理部７５は、例えば、端末装置４のディスプレイ装置３２のインターネットブラウザ画面（以下、単にブラウザ画面という。）のサイズに応じたＶＤインデックス画像の表示可能数、生成されたＶＤインデックス画像の数が上記の表示可能数を越える場合に取捨選択すべきＶＤインデックス画像の番号、および動画像の長さに応じたＶＤインデックス画像表示形式等を決定する。ここで、ＶＤインデックス画像表示形式は、動画像の長さに応じ、ＶＤインデックス画像を表示し得る領域の一部を選択的に使用したり使用しないようにして、端末装置４のユーザがディスプレイ装置３２のブラウザ画面に表示されたＶＤインデックス画像の表示形式を見ただけで、それに対応した動画像の長さを判断できるようにするためのものである。
ここで、インデックス関連処理部７５が、本発明における表示態様決定手段に対応する。
【００３２】
インデックス関連情報格納部７６は、動画像サーバ５のインデックス生成部８７において生成された後述のインデックス関連情報を格納するためのものである。
ＧＵＩデータ生成部７７は、端末装置４等に対して提供される動画像検索用のホームページを構成するＧＵＩデータの生成または更新を行うためのものである。この動画像検索用のホームページを構成するデータは、通常、ＨＴＭＬ(Hypertext Markup Language) 言語によって記述される。
【００３３】
ＧＵＩデータ格納部７８は、ＧＵＩデータ生成部７７によって生成されたＧＵＩデータを格納するための領域である。
【００３４】
静止画像格納部７９は、動画像サーバ５からＶＤインデックスファイルと共に送られてきた静止画像ファイルを格納するためのものである。この静止画像ファイルは、ＶＤインデックスファイルに含まれている各ＶＤインデックス画像ごとに１枚ずつ対応付けられた静止画像のデータで構成される。静止画像のデータとしては、例えばＧＩＦ(Graphics Interchange Format)形式で圧縮されたデータが用いられる。
【００３５】
以上のウェブサーバ３における各機能部のうち、インターネットサーバ部７１、データベース検索部７２、インデックス検索部７３、インデックス関連処理部７５およびＧＵＩデータ生成部７７は、それぞれ、主として第２図におけるハードディスク装置１５に格納されているアプリケーションプログラムおよびこれを実行するＣＰＵ２１によって実現される。また、インデックス格納部７４、インデックス関連情報格納部７６、ＧＵＩデータ格納部７８および静止画像格納部７９は、それぞれ、第２図におけるハードディスク装置１５の一部を用いて実現される。
【００３６】
端末装置４は、インターネットブラウザ部８１と、動画像再生部８２とを有している。
インターネットブラウザ部８１は、ＷＷＷを利用してインターネットにアクセスし、情報を受け取って表示するという機能を有するもので、上記したように、例えばネットスケープナビゲータ等の一般的な商用ブラウザにより実現される。
【００３７】
動画像再生部８２は、動画像サーバ５から配信された動画像データを伸長して表示するためのもので、主として第２図におけるＭＰＥＧ処理部４４によって実現される。但し、動画像再生部８２の機能は、動画像のコンテンツタイプ（例えば圧縮方式）に対応した動画像再生用プログラムによっても実現可能である。この動画像再生用プログラムは、例えば、インターネットブラウザのプラグイン・ソフトウェアとして提供される。
【００３８】
動画像サーバ５は、動画像格納部８５、動画像配信部８６およびインデックスト生成部８７を有している。
【００３９】
動画像格納部８５は、動画像ファイルを格納する部分であり、第３図におけるＲＡＩＤ５５によって実現される。動画像ファイルに含まれる動画像データは、ＭＰＥＧ形式で圧縮されたものである。
【００４０】
動画像配信部８６は、端末装置４等からの要求に応じて、動画像格納部８５から目的の動画像を取り出し、ネットワーク２を介して端末装置４に配信するという処理を行うものである。
【００４１】
インデックス生成部８７は、動画像格納部８５に格納された動画像の内容を視覚的に縮約して静止画像としてのＶＤインデックス画像を生成し、これをＶＤインデックスファイルとして、ネットワーク２を介してウェブサーバ３に送信するという処理を行うものである。具体的には、動画像格納部８５から取り出した動画像をＭＰＥＧ処理部６４（第３図）によって伸長すると共に、この伸長処理がなされた動画像に対して後述する処理（第５Ａ図〜第５Ｃ図および図６Ａ〜図６Ｄを参照）を施すことでＶＤインデックス画像を生成する。このＶＤインデックスファイルは、ウェブサーバ３のインデックス格納部７４に格納される。
【００４２】
また、インデックス生成部８７は、ＶＤインデックス画像の生成に伴う各種のパラメータ情報（以下、インデックス関連情報という。）を生成する。このインデックス関連情報には、生成されたＶＤインデックス画像の総数やＶＤインデックス画像の生成時の各種のパラータ情報、例えば、１つのＶＤインデックス画像を生成するのに用いたフレーム数や１つのフレームから切り出すスリット画像情報のライン数等が含まれる。
ここで、インデックス保持部７４が本発明における「索引画像保持手段」に対応する。
【００４３】
データベースサーバ６は、データベース９１と、検索処理部９２とを有している。
データベース９１は、動画像のタイトル、動画像ファイル名、その動画像ファイルが格納されている動画像サーバの名前（ここでは動画像サーバ５）、動画像サーバ内における、その動画像ファイルの格納位置等を含んでいる。また、データベース９１は、動画像の長さの情報を含んでいる。
【００４４】
検索処理部９２は、ウェブサーバ３のデータベース検索部７２からの要求に応じて、与えられたキーワードに基づいてデータベース９１を検索し、その検索結果をデータベース検索部７２に送るという処理を行うようになっている。検索処理部９２は、例えば、サイベース(Sybase ; 米国Sybase Inc社の登録商標) 等のデータベース管理システム(DBMS;Database Management System) プログラムにより実現される。
【００４５】
第４図は、端末装置４のディスプレイ装置３２に表示されたブラウザ画面の一例を表すものである。このブラウザ画面は、インターネットブラウザ部８１の機能により実現されるものである。ここで、主としてディスプレイ装置３２が本発明における「表示手段」に対応する。
【００４６】
このブラウザ画面は、ブラウザタイトルバー、メニューバーおよびツールバー等からなるシステム領域１０１と、検索結果としてのＶＤインデックス画像等を表示するためのインデックス表示領域１０２と、静止画像を表示するための静止画像表示領域１０３と、動画像を再生表示するための動画像表示領域１０４とを含んでいる。
【００４７】
システム領域１０１のメニューバーには、‘ファイル’，‘編集’，‘表示’等のメニュー項目があり、それぞれをマウスクリックすることにより、プルダウンメニューが表示されるようになっている。ツールバーには、‘戻る’，‘再読み込み’等のツールアイコンが配置され、それぞれをマウスクリックすることにより、対応するブラウザ動作が行われるようになっている。ここで、マウスクリックとは、マウスポインタ１０９を対象のアイテムに合わせた状態でマウス３４の例えば左クリックをすることを意味する。以下の説明では、この操作を、単に、クリックする、と記するものとする。
【００４８】
インデックス表示領域１０２には、検索に用いられたキーワードおよび検索された動画像のタイトル数１０６と、検索された動画像についてのＶＤインデックス画像１０７，１０８等とが表示されるようになっている。この図に示した例では、キーワード‘岡崎’に対して１１７個の動画像が検索され、このうち、‘桜どころ岡崎’、‘歴史と未来が息づく岡崎’、等のタイトルの動画像についてのＶＤインデックス画像グループ１０７，１０８が表示されている。ここで、１つのＶＤインデックス画像グループが、１つのタイトルの動画像に対応している。各ＶＤインデックス画像グループの下側には、それぞれ、対応する動画像の全体の長さ（全再生時間）に対応したインジケータバー１０７ａ，１０８ａが配置されている。これらのインジケータバー１０７ａ，１０８ａ等における黒塗のこま部分は、その上に表示されているＶＤインデックス画像が、すべてのＶＤインデックス画像のうちのどの位置のものであるかを示している。このインデックス表示領域１０２において、その右端部のスクロールバー１１０を操作することにより、複数のＶＤインデックス画像グループを上下方向にスクロールさせて順次表示することができるようになっている。
【００４９】
静止画像表示領域１０３には、インデックス表示領域１０２に表示されたＶＤインデックス画像のうちの選択されたものに対応した静止画像１０３ａが表示されるようになっている。この静止画像１０３ａが、後述するインデックス代表静止画像である。本実施の形態では、例えばマウス３４を操作してマウスポインタ１０９を所望のＶＤインデックス画像の上に移動させるだけで、そのＶＤインデックス画像が選択されるようになっている。
【００５０】
動画像表示領域１０４には、インデックス表示領域１０２に表示されたＶＤインデックス画像のうちの選択されたものに対応した動画像１０４ａが、タイトル名および動画像ファイル名１０４ｂと共に表示されるようになっている。本実施の形態では、例えばマウスポインタ１０９を所望のＶＤインデックス画像の上に移動させてクリックすることで、そのＶＤインデックス画像に対応した動画像が選択されるようになっている。この場合の再生開始点は、クリックされたＶＤインデックス画像に対応した動画像区間の先頭である。但し、動画像区間の先頭以外の位置を再生開始点としてもよい。ここで、動画像１０４ａの再生、停止、一時停止、高速再生、リバース再生および高速リバース再生等の操作は、操作部１０４ｃによって行うことが可能である。また、アイコン１０４ｄをクリックすることで、動画像１０４ａブラウザ画面に拡大表示することができるようになっている。
【００５１】
次に、以上のような構成の動画像検索配信システムの動作を説明する。
ここでは、まず、第５Ａ図〜第５Ｃ図および図６Ａ〜第６Ｃ図を参照して、動画像サーバ５のインデックスト生成部８７が行うＶＤインデックス画像の生成処理について説明する。ここで、第５Ａ図〜第５Ｃ図は、一連の動画像から複数のＶＤインデックス画像を生成する概略の手順を表し、図６Ａ〜第６Ｃ図は、ある一区間の動画像から１枚のＶＤインデックス画像を生成する手順を表すものである。
【００５２】
まず、第５Ａ図および図６Ａに示したように、動画像を、２次元の静止画像Ｆｉ（ｉ＝１，２，…）が時間軸ｔに沿って並んだ直方体モデルとして定義する。以後、２次元の静止画像をフレームとも称するものとする。例えばＮＴＳＣ (National Television System Committee)方式の場合は、各フレームは、６０分の１秒の長さの２枚のフィールドによって構成されるので、１フレームは３０分の１秒という長さをもつ。
【００５３】
次に、第５Ｂ図に示したように、一連の動画像全体からなる直方体モデルを一定の時間間隔で複数の区間直方体Ｓｉ（この図では、ｉ＝１〜４）に分割する。そして、各区間直方体Ｓｉを、その対角面に沿って斜めに切断し、各切断面における帯状の画像情報（以下、スリット画像情報という。）を抽出する。実際には、図６Ｂに示したように、１つの区間直方体からフレームＦｊ（ｊ＝１，２，…）を取り出し、さらに、第６Ｃ図に示したように、これらの各フレームＦｊから、時間と共に移動する移動スリット窓によって、スリット画像情報ＳＬｊを順次切り出す。
【００５４】
次に、図６Ｄに示したように、上記の切断面から抽出したスリット画像情報ＳＬｉを順次並べていき、一定サイズになったところで、これに所定の圧縮処理を行う。これにより、第５Ｃ図に示したように、各区間直方体Ｓｉごとに、それぞれ１枚のＶＤインデックス画像Ｉｉ（ｉ＝１〜４）が生成され、動画像全体としては、複数枚（この図では４枚）のＶＤインデックス画像が生成される。このとき、各ＶＤインデックス画像ごとに、それの元となった区間直方体Ｓｉに含まれていた１枚の完全な静止画像（すなわち、スリット窓による抽出処理が行われていない元の静止画像）を対応付け、これをインデックス代表静止画像として登録する。このインデックス代表静止画像としては、例えば、ＶＤインデックス画像の中央部分の生成に供せられた静止画像が選択される。但し、ＶＤインデックス画像の他の部分（例えば端部）の生成に供せられた静止画像を選択するようにしてもよい。
【００５５】
なお、第５Ａ図〜第５Ｃ図および図６Ａ〜第６Ｃ図に示した例では、動画像を構成する静止画像から、垂直方向（縦方向）に細長い移動スリット窓によってスリット画像情報ＳＬｉを抽出するようにしたが、水平方向（横方向）に細長い移動スリット窓によってスリット画像情報ＳＬｉを抽出するようにしてもよい。また、動画像を構成する静止画像Ｆｉから直接スリット画像情報ＳＬｉを抽出するのではなく、静止画像Ｆｉのうちの要部（例えば中央領域）のみを抽出対象範囲とし、その他の領域（例えば周辺領域）は抽出対象から外すようにしてもよい。さらには、ＶＤインデックス画像の中に、インデックス代表静止画像とは別に、元の完全な形の静止画像を取り混ぜるようにしてもよい。
【００５６】
次に、第７図および第８図を参照して、以上のような構成の動画像検索配信システムの全体動作を説明する。なお、第７図および第８図は、端末装置４、ウェブサーバ３およびデータベースサーバ６における一連の動作をそれぞれに区分して表すものである。ここでは、端末装置４からの検索要求に応じて、ウェブサーバ３およびデータベースサーバ６によって該当する動画像についてのＶＤインデックス画像を検索し、これを端末装置４のブラウザに表示する場合の動作を説明する。なお、ここでは、既に、動画像サーバ５の動画像格納部８５に格納された動画像についてのＶＤインデックス画像が、ウェブサーバ３のインデックス格納部７４に格納されているものとする。
【００５７】
端末装置４において、インターネットブラウザ部８１を起動すると（第７図のＳ１）、インターネットブラウザ部８１は、ネットワーク２を介して、ウェブサーバ３にアクセスする（Ｓ２）。ウェブサーバ３のインターネットサーバ部７１は、ＧＵＩデータ格納部７８から動画検索用ホームページを記述したＧＵＩデータを読み出して、端末装置４に配信する（Ｓ３）。
【００５８】
端末装置４のインターネットブラウザ部８１は、ウェブサーバ３から送られてきたＧＵＩデータを基に、ディスプレイ装置３２（第２図）のブラウザ画面に動画検索用ホームページの初期画面（図示せず）を表示する（Ｓ４）。
【００５９】
ここで、動画像検索キーワード（以下、単に、キーワードという。）を入力すると（Ｓ５）、インターネットブラウザ部８１は、入力されたキーワードを、動画像検索要求と共にウェブサーバに送信する（Ｓ６）。
【００６０】
ウェブサーバ３のインターネットサーバ部７１は、端末装置４から動画像検索要求およびキーワードを受けると、データベース検索部７２を起動する。データベース検索部７２は、インターネットサーバ部７１およびネットワーク２を介して、キーワードと共に動画像検索命令コードをデータベースサーバ６に送信する（Ｓ７）。
【００６１】
データベースサーバ６の検索処理部９２は、受け取ったキーワードに基づいてデータベース９１を検索し、検索結果をウェブサーバ３に送信する（Ｓ８）。
【００６２】
データベースサーバ６から検索結果を受け取ったウェブサーバ３は、インデックス検索部７３を起動する。インデックス検索部７３は、データベースサーバ６からの検索結果を基に、インデックス格納部７４を検索し、該当するＶＤインデックスファイルを抽出し（Ｓ９）、これをＧＵＩデータ生成部７７に渡す。
【００６３】
また、ウェブサーバ３のインデックス関連処理部７５は、端末装置４のインターネットブラウザ部８１の機能によってディスプレイ装置３２に表示されたブラウザ画面の大きさの確認要求を端末装置４に送信する（Ｓ１０）。端末装置４は、ブラウザ画面の大きさの確認要求を受けて、ブラウザ画面の大きさを示す情報をウェブサーバ３に送信する（Ｓ１１）。
【００６４】
次に、インデックス関連処理部７５は、データベースサーバ６からの検索結果から、検索された各動画像の長さの情報を取得する（Ｓ１２）。インデックス関連処理部７５は、ブラウザ画面の大きさを示す情報と動画像の長さの情報とに基づいて、ブラウザ画面に表示すべきＶＤインデックス画像の数を決定する（Ｓ１３）。
【００６５】
また、インデックス関連処理部７５は、ブラウザ画面に表示すべきＶＤインデックス画像の数に応じて、後述の所定の関数を用いて実際に表示すべきＶＤインデックス画像の番号を取捨選択して決定する（Ｓ１４）。次に、インデックス関連処理部７５は、決定された実際に表示すべきＶＤインデックス画像の番号の情報をＧＵＩデータ生成部７７に渡す（Ｓ１５）。
【００６６】
ＧＵＩデータ生成部７７は、データベースサーバ６からの検索結果、インデックス格納部７４の検索結果およびインデックス関連処理部７５によって決定された実際に表示すべきＶＤインデックス画像の番号の情報を基に、ＧＵＩデータを生成する（Ｓ１６）。このＧＵＩデータには、動画像のタイトル名、動画像ファイル名および動画像サーバ５における動画像ファイルの格納場所、およびＶＤインデックス画像等が含まれる。ＧＵＩデータ生成部７７は、生成したＧＵＩデータをＧＵＩデータ格納部７８に格納すると共に、検索結果として端末装置４に送信する（Ｓ１７）。
【００６７】
端末装置４のインターネットブラウザ部８１は、ウェブサーバ３から送られてきたＧＵＩデータを受信し、このデータに基づいて、第４図に示したように、検索結果表示画面のインデックス表示領域１０２に、検索結果の内容として、キーワードおよび該当する動画像の数１０６、ならびに動画像のタイトル名およびＶＤインデックス画像グループ１０７，１０８を表示する（Ｓ１８）。
【００６８】
また、端末装置４は、ブラウザ画面の大きさを変更した場合には、ブラウザ画面の大きさを変更したことを示す情報をウェブサーバ３に送信する（Ｓ１９）。 ウェブサーバ３は、端末装置４においてブラウザ画面の大きさが変更された場合には、インデックス画像の表示処理（Ｓ１０からの処理）を再び繰り返す（Ｓ２０）。このように、端末装置４において、ブラウザ画面の大きさが変更された場合には、インデックス画像の表示処理を再び行うようにしたので、ブラウザ画面の大きさに応じて常に最適な状態でＶＤインデックス画像の表示を行うことができる。
【００６９】
次に、本実施の形態におけるＶＤインデックス画像の表示態様の制御手法について詳細に説明する。
まず、第９Ａ図および第９Ｂ図を参照して、端末装置４のディスプレイ装置３２に表示されるブラウザ画面の大きさに応じたＶＤインデックス画像の表示態様の制御について説明する。これらの図は、第４図に示したブラウザ画面を簡略化して示したものであり、ブラウザ画面内には第４図におけるインデックス表示領域１０２に対応する部分のみが示されている。また、これらの図では、画面内のインデックス表示領域に４つのＶＤインデックス画像グループ１１１，１１２，１１３，１１４が表示されている例について示している。なお、これらの図では、１つのＶＤインデックス画像グループを表示するのに使用する縦方向の最大領域は、２列（ＶＤインデックス画像２つ分）であるものとする。但し、１つのＶＤインデックス画像グループを表示するのに使用する縦方向の最大領域は、２列に限定されるものではない。
【００７０】
まず、最初に表示された検索結果を示す表示画面が第９Ａ図に示したような表示態様であるものとする。すなわち、第９Ａ図では、画面内のインデックス表示領域にＶＤインデックス画像グループ１１１，１１２，１１３，１１４が表示されている。このとき、ＶＤインデックス画像グループ１１１および１１３は、比較的長い動画像に対応するＶＤインデックス画像グループであり、縦方向、横方向（幅方向）共に、１つのＶＤインデックス画像グループを表示するのに使用する表示可能な領域の全てを使用して表示されている。また、ＶＤインデックス画像グループ１１４は、ＶＤインデックス画像グループ１１１および１１３よりは短い動画像に対応するＶＤインデックス画像グループであり、１列目は横方向に表示可能な領域の全てを使用して表示されているが、２列目は表示可能な領域を部分的に使用して表示されている。また、ＶＤインデックス画像グループ１１２は、ＶＤインデックス画像グループ１１４より、更に短い動画像に対応するＶＤインデックス画像グループであり、１列目の表示可能な領域を部分的に使用して表示されている。
【００７１】
第９Ｂ図は、第９Ａ図の状態からブラウザ画面の大きさを横方向に拡大するように変更した場合における表示態様を示している。この場合には、ブラウザ画面の大きさを横方向に拡大したので、横方向に表示可能なＶＤインデックス画像の数が増加することになる。本実施の形態では、この表示可能なＶＤインデックス画像の数の変化に応じて、各ＶＤインデックス画像グループの表示形態が変化する。すなわち、第９Ｂ図の例では、ＶＤインデックス画像グループ１１１，１１３に関して、第９Ａ図の状態に比べて横方向に表示されるＶＤインデックス画像が増加する。なお、ＶＤインデックス画像グループ１１２に関しては、第９Ａ図の状態において、１列目の表示可能な領域を部分的にしか使用していないので、ブラウザ画面の大きさを横方向に拡大した場合にもその表示態様は変化しない。また、ＶＤインデックス画像グループ１１４に関しては、全てのＶＤインデックス画像が１列目のみで表示可能となる。
【００７２】
このように、本実施の形態では、ブラウザ画面の大きさに応じて、適切な数のＶＤインデックス画像を表示することができる。なお、以上で説明した表示態様の決定は、ウェブサーバ３のインデックス関連処理部７５において行われる。
【００７３】
次に、第１０図を参照して、動画像の長さに応じたＶＤインデックス画像の表示態様の制御について説明する。なお、この図においては、ブラウザ画面におけるインデックス表示領域１０２に複数のＶＤインデックス画像１２１が表示されていることを簡略化して示している。図中において、各ＶＤインデックス画像１２１内の数字は、インデックス表示領域１０２内におけるＶＤインデックス画像の表示位置の番号を示している。この表示位置の番号のうちｎ（整数）は、インデックス表示領域１０２に表示可能なＶＤインデックス画像の最大表示数に対応する。
【００７４】
本実施の形態においては、例えば、動画像の長さがＸ以内（例えば、１分以内）であった場合には、ＶＤインデックス画像を表示位置の番号が１〜ｎ−２までの領域内に表示するよう表示態様が決定される。また、例えば、動画像の長さがＸからＹの間（例えば、１分から３分の間）であった場合には、ＶＤインデックス画像を表示位置の番号が１〜ｎ−１までの領域内に表示するよう表示態様が決定される。また、例えば、動画像の長さがＹ以上（例えば、３分以上）であった場合には、ＶＤインデックス画像を表示位置の番号がｎまでの領域内、すなわち、インデックス表示領域１０２に表示可能なＶＤインデックス画像の最大表示数だけ表示するよう表示態様が決定される。
【００７５】
従って、ＶＤインデックス画像１２１が番号ｎの位置まで表示されていた場合には、動画像の長さがＹ以上であることが分かり、番号ｎ−１の位置まで表示されていた場合には、動画像の長さがＸからＹの間であることが分かる。また、ＶＤインデックス画像が番号１〜ｎ−２の位置までしか表示されていなかった場合には、動画像の長さがＸ以内であることが分かる。
【００７６】
このように、本実施の形態においては、ブラウザ画面に表示されたＶＤインデックス画像の数を見ただけで、おおよその動画像の長さを把握することが可能となっている。
【００７７】
なお、ＶＤインデックス画像の表示数の設定の基準となる時間の値Ｘ，Ｙの決め方としては、例えば、データベースサーバ６にある全ての動画像の長さの分布に基づいて、最も多い分布を示す動画像の長さ付近の値をＸまたはＹの値として設定するとよい。また、Ｘ，Ｙの値は、データベースサーバ６にある動画像の長さの分布に変化がない限りにおいては、固定された値でよいが、動画像の長さの分布に変化があった場合には、その分布の変化に応じて値を変えることが望ましい。これにより、データベースサーバ６にある動画像の長さの分布の傾向に応じた最適なＶＤインデックス画像の表示を行うことができる。なお、以上で説明した表示態様の決定は、ウェブサーバ３において行われる。
【００７８】
次に、第１１図および第１２図を参照して、生成されたＶＤインデックス画像の中から実際に表示すべきＶＤインデックス画像の取捨選択を行うやり方について説明する。なお、第１１図および第１２図において、横軸はＶＤインデックス画像の表示位置を示し、縦軸はＶＤインデックス画像の番号を示している。本実施の形態では、生成されたＶＤインデックス画像の数が実際に表示すべきＶＤインデックス画像の数を越える場合には、所定の関数を用いて生成されたＶＤインデックス画像に対して部分的に重み付けを行って、実際に表示すべきＶＤインデックス画像の取捨選択を行う。ここで、ＶＤインデックス画像の取捨選択とは、実際には、ＶＤインデックス画像の番号の取捨選択を行う処理のことである。
【００７９】
ＶＤインデックス画像の取捨選択の方法としては、例えば、動画像の内容に関わらず、生成されたＶＤインデックス画像を時間軸に沿って均等に間引いて、実際に表示すべきＶＤインデックス画像の数にまで画像を絞り込むという方法が考えられる。しかしながら、ＶＤインデックス画像を単純に時間軸に沿って均等に間引いてしまうと、動画像の重要と思われる場面が間引かれて表示されなくなる虞がある。本実施の形態では、動画像の重要と思われる場面を考慮してＶＤインデックス画像の取捨選択を行うようにしている。
【００８０】
動画像の重要と思われる場面を考慮したＶＤインデックス画像の取捨選択の方法としては、例えば、第１１図に示したような方法がある。第１１図において、「■」で示した部分に対応するＶＤインデックス画像の番号が、実際に表示されるＶＤインデックス画像の番号である。従って、この図では、例えば、１番の表示位置に番号が１のＶＤインデックス画像が表示されることになる。
【００８１】
この図の例では、動画像の最初と最後の部分には重要な場面があると考え、動画像の最初と最後の部分に対応するＶＤインデックス画像が必ず表示すべき画像に含まれるようにしている。より具体的には、ＶＤインデックス画像の番号の最初の２つと最後の２つに対して重み付けが行われ、必ず表示される番号として選択されるようになっている。また、動画像の中間部分に対応するＶＤインデックス画像に関しては、単純に時間軸に沿って均等に間引く処理が行われる。
【００８２】
第１２図は、第１１図に示したような取捨選択の方法を３次元関数で近似したものである。この図に示した３次元関数は、以下の式（１）によって表される。なお、以下の式（１）において、「total」は、生成されたＶＤインデックス画像の総数を示し、「view」は、表示すべきＶＤインデックス画像の数を示している。また、ｘは、ＶＤインデックス画像の表示位置を示し、ｙは、実際に表示するＶＤインデックス画像の番号を示している。また、「round」は、四捨五入を行うことを示す関数である。
ｙ＝ round［-2(total-view)x3/(view-3)3+
3(total-view)(view+1)x2/(view-3)3 +
｛(view-3)3-12(total-view)(view-1)x/(view-3)3｝
+ 4(total-view)(3view-5)/(view-3)3］ ……（１）
【００８３】
なお、重み付けに用いる関数は式（１）に限定されるわけではなく、他の関数であってもよい。また、上記においては、動画像の最初と最後の部分に重きが置かれるように重み付けの設定を行ったが、動画像の最初と最後以外の任意の位置に重きを置くように重み付けを行ってもよい。但し、重み付けは、動画像の重要と思われる場面の位置に対して重きを置くように設定することが望ましい。
【００８４】
なお、ここで説明したＶＤインデックス画像の取捨選択の処理は、ウェブサーバ３のインデックス関連処理部７５において行われる。
【００８５】
次に、上記において説明したブラウザ画面の大きさに応じたＶＤインデックス画像の表示態様の制御、動画像の長さに応じたＶＤインデックス画像の表示態様の制御およびこれらの表示態様の制御に伴うＶＤインデックス画像の取捨選択の処理について、第１３図の流れ図に従って説明する。
【００８６】
第１３図は、ＶＤインデックス画像の表示態様の制御動作を示す流れ図である。ウェブサーバ３のインデックス関連処理部７５は、端末装置４のディスプレイ装置３２に表示されたブラウザ画面の大きさを示す情報を取得する（ステップＳ１０１）。なお、ここでは、説明の簡略化のため、ブラウザ画面の大きさとして、画面の横方向のみの情報について取得し、１つのＶＤインデックス画像グループを横方向一列にのみ表示する場合における表示態様の制御について説明する。インデックス関連処理部７５は、取得したブラウザ画面の大きさを示す情報に基づいて、端末装置４におけるブラウザ画面に表示可能なＶＤインデックス画像の数を決定する（ステップＳ１０２）。
【００８７】
次に、インデックス関連処理部７５は、データベースサーバ６からの検索結果から、検索された動画像の長さの情報を取得し、取得した動画像の長さの情報に基づいて、ＶＤインデックス画像の表示可能数内で実際にブラウザ画面に表示すべきＶＤインデックス画像の数を決定する（ステップＳ１０３）。
【００８８】
次に、インデックス関連処理部７５は、実際にブラウザ画面に表示すべきＶＤインデックス画像の数が、生成されたＶＤインデックス画像の総数よりも少ないか否かを判断する（ステップＳ１０４）。インデックス関連処理部７５は、表示すべきＶＤインデックス画像の数が、生成されたＶＤインデックス画像の総数よりも少ない場合（Ｙ）には、上記式（１）で示されるような所定の関数を用いて、例えば、動画像の最初と最後の部分に対応するＶＤインデックス画像の番号に対して重きを置くように重み付けを行って、実際に表示するＶＤインデックス画像の番号を取捨選択する（ステップＳ１０５）。また、インデックス関連処理部７５は、表示すべきＶＤインデックス画像の数が、生成されたＶＤインデックス画像の総数よりも少なくない場合（ステップＳ１０４；Ｎ）には、生成されたＶＤインデックス画像の全ての番号を実際に表示べきＶＤインデックス画像の番号として選択する（ステップＳ１０６）。
【００８９】
インデックス関連処理部７５は、以上のように決定された実際に表示すべきＶＤインデックス画像の番号の情報をＧＵＩデータ生成部７７に渡す。ＧＵＩデータ生成部７７は、データベースサーバ６からの検索結果、インデックス格納部７４の検索結果およびインデックス関連処理部７５によって決定された実際に表示すべきＶＤインデックス画像の番号の情報を基に、ＧＵＩデータを生成する。ＧＵＩデータ生成部７７は、生成したＧＵＩデータをＧＵＩデータ格納部７８に格納すると共に、検索結果として端末装置４に送信する。端末装置４は、ウェブサーバ３から送られてきたＧＵＩデータを受信し、このデータに基づいて、第４図に示したように、検索結果表示画面のインデックス表示領域１０２に、ＶＤインデックス画像を表示する。
【００９０】
以上のようにして、端末装置４のディスプレイ装置３２に表示されたブラウザ画面の表示環境および動画像の内容（動画像の長さや重要と思われる場面の位置の情報）に応じて、表示するＶＤインデックス画像の表示態様が、最適に制御される。
【００９１】
以上説明したように、本実施の形態によれば、動画像の長さに応じて、インデックスの表示形式を決定するようにしたので、ＶＤインデックス画像の表示形式を見るだけで、動画像の長さをある程度把握することができる。
【００９２】
また、生成されたＶＤインデックス画像の全てを表示することができない場合においては、動画像の重要と思われる場面を考慮して、実際に表示すべきＶＤインデックス画像の取捨選択を行うようにしたので、重要と思われる場面のＶＤインデックス画像を少ない表示領域で効率的に表示できると共に、全てのＶＤインデックス画像を表示しなくても、動画像の概要を把握することが可能となる。
【００９３】
更に、ブラウザ画面の大きさに応じて、表示するＶＤインデックス画像の数を変えるようにしたので、利用する環境や目的等に応じてブラウザ画面の大きさを変えた場合においても、常にブラウザ画面の大きさに最適な状態でＶＤインデックス画像の表示を行うことができる。
【００９４】
以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されず、種々の変形が可能である。例えば、上記の実施の形態では、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて生成された索引画像としてのＶＤインデックス画像の表示形態に関して説明したが、本発明は、複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像を索引画像として利用するような場合においても適用することが可能である。
【００９５】
また、上記実施の形態では、インデックス生成部８７を動画像サーバ５内に配置するようにしたが、ウェブサーバ３内に配置してもよい。あるいは、インデックス生成部８７のみを独立したサーバとして構成し、ネットワーク２に接続するようにしてもよい。
【００９６】
また、上記実施の形態では、インデックス格納部７４と、静止画像格納部７９、動画像格納部８５またはインデックス関連情報格納部７６と、表示手段としてのディスプレイ装置３２と、インターネットブラウザ部８１とを、それぞれ、ウェブサーバ３、動画像サーバ５および端末装置４に分散配置し、各間をネットワーク２によって相互に接続するようにしたが、これらの要素をすべて同一の装置に内蔵させて、スタンドアローンタイプの画像表示装置として構成することも可能である。
【００９７】
【発明の効果】
以上説明したように、請求項１ないし請求項７のいずれかに記載の画像表示装置、または請求項８ないし請求項１４のいずれかに記載の画像表示方法によれば、動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、動画像を静止画像として縮約して生成された索引画像を保持し、この保持された索引画像を表示するための表示手段の表示環境および動画像の内容の少なくとも一つに応じて、表示手段に表示する索引画像の表示態様を決定するようにしたので、ビデオブラウザ技術によって生成された索引画像を、その表示環境や動画像の内容等に応じて適切に表示することが可能となるという効果を奏する。
【００９８】
特に、動画像の長さに応じた数の索引画像が表示されるよう索引画像の表示態様を決定するようにしたので、例えば、表示された索引画像の数を見るだけで、動画像の長さをある程度把握することができるという効果を奏する。
【００９９】
特に、請求項４記載の画像表示装置または請求項１１記載の画像表示方法によれば、表示手段における索引画像を表示するための表示領域の大きさに応じて、表示領域に最適な数の索引画像が表示されるよう索引画像の表示態様を決定するようにしたので、例えば、利用する環境や目的等に応じて表示領域の大きさを変えた場合においても、常に表示領域の大きさに最適な状態で索引画像の表示を行うことができるという効果を奏する。
【０１００】
特に、請求項５ないし請求項７のいずれかに記載の画像表示装置または請求項１２ないし請求項１４のいずれかに記載の画像表示方法によれば、表示手段の表示環境および動画像の内容の少なくとも一つに応じて、保持された索引画像の中から表示すべき索引画像を取捨選択し、表示すべき索引画像のみが表示手段に表示されるよう索引画像の表示態様を決定するようにしたので、例えば、動画像の重要と思われる場面を考慮して、実際に表示すべき画像の取捨選択を行うことで、重要と思われる場面の索引画像を少ない表示領域で効率的に表示できると共に、全ての索引画像を表示しなくても、動画像の概要を把握することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】 第１図は、本発明の一実施の形態の画像表示装置が適用される動画像検索配信システムにおける各構成要素の機能構成を表すブロック図である。
【図２】 第２図は、この動画像検索配信システムのハードウェア構成を、その構成要素であるウェブサーバおよび端末装置の内部構成と共に表すブロック図である。
【図３】 第３図は、動画像サーバのハードウェア構成を表すブロック図である。
【図４】 第４図は、端末装置のディスプレイ装置に表示されたインターネットブラウザ画面の一例を表す図である。
【図５】 第５Ａ図〜第５Ｃ図は、一連の動画像から複数のＶＤインデックス画像を生成する概略の手順を表す説明図である。
【図６】 図６Ａ〜第６Ｃ図は、ある一区間の動画像から１枚のＶＤインデックス画像を生成する手順を表す説明図である。
【図７】 第７図は、端末装置、ウェブサーバおよびデータベースサーバにおける一連の動画像検索配信動作をそれぞれに区分して表す流れ図である。
【図８】 第８図は、第７図に続く流れ図である。
【図９】 第９Ａ図および第９Ｂ図は、インターネットブラウザ画面の大きさに応じたＶＤインデックス画像の表示手法について示す説明図である。
【図１０】 第１０図は、動画像の長さに応じたＶＤインデックス画像の表示手法について示す説明図である。
【図１１】 第１１図は、ＶＤインデックス画像の取捨選択の手法について示す説明図である。
【図１２】 第１２図は、第１１図に示した取捨選択の手法を３次元関数で近似した例について示す説明図である。
【図１３】 第１３図は、ＶＤインデックス画像の表示動作を示す流れ図である。
【発明の属する技術分野】
本発明は、動画像の概要を静止画像として表示することが可能な画像表示装置に係わり、例えば複数種類の動画像の中から所望の動画像を検索するシステムに適用される画像表示装置および方法に関する。
【０００２】
【従来の技術】
文字を対象とした情報検索技術は、従来より広く行われているが、映像を対象とした検索技術については、実現例が少なく、現在もなお、様々な試みがなされている。中でも、動画像の検索方法に関しては、例えば画像認識技術やシーン抽出技術を用いた方法等、様々な観点から研究が行われている。
【０００３】
例えば、動画サーバとデータベースサーバとを組み合わせて構成したＶＯＤ(Video On Demand) システムでは、タイトル名等を対象としたキーワード検索により、コンテンツ（動画像の内容）の検索が可能である。ところが、タイトル名は、必ずしもコンテンツ全体の内容を適切に表現しているとは限らず、実際に再生してみないと内容を確認できない場合が多いのが現状である。
【０００４】
かかる問題点の解決を図るべく、本出願人は、特開平２−２６００７５号公報に開示されているように、動画像の一覧性に主眼を置いたビデオブラウザ技術を提案している。このビデオブラウザ技術は、動画像を構成する一連の静止画像の各々から移動スリット窓によってサンプリングした部分画像を基に、いわばダイジェスト静止画像としての索引画像を生成し、この索引画像を時間軸の下に一覧表示することによって、動画像の概略の内容を一目で確認できるようにした技術である。
【０００５】
このビデオブラウザ技術によれば、不可視の状態で記録されている膨大な量の動画像の内容が時間軸の下に圧縮された静止画像の形で表示されるので、動画像の内容を直ちに把握することができる。
【０００６】
【発明が解決しようとする課題】
【０００７】
ここで、索引画像の表示のさせ方としては、例えば、索引画像表示用の画面に、生成された索引画像を全て表示する方法や、生成された索引画像のうち、あらかじめ決められた一定数の索引画像のみを先頭の索引画像から順に表示するという方法がある。
【０００８】
しかしながら、生成された索引画像を全て表示する方法の場合には、例えば、生成された索引画像が多いときに、表示環境（画面の大きさ等）によっては索引画像が一つの画面内に収まらず、動画像を効率よく確認することができなくなる虞がある。
【０００９】
また、あらかじめ決められた一定数の索引画像のみを先頭の索引画像から順に表示する方法の場合においては、常に一定数の索引画像を表示するため、表示環境によっては索引画像を一つの画面内に表示できなかったり、索引画像が表示されない無用な空間が生じたりする虞がある。この場合、画面の大きさを可変にできる場合であっても、あらかじめ決められた一定数の索引画像しか表示されないため、表示環境に応じて適切な表示が行われない。
【００１０】
更に、一定数の索引画像を先頭から順に表示する方法の場合には、例えば、動画像が長時間のものであるときに、生成された全索引画像のうちの先頭部分しか見ることができず、動画像を全体に渡って確認することができないという問題がある。
【００１１】
また、生成された索引画像を全て表示する方法の場合には、表示された索引画像の数から動画像の長さをある程度判断することが可能であるが、あらかじめ決められた一定数の索引画像のみを表示する方法の場合には、このような動画像の長さの判断を行うことはできないという問題がある。
【００１２】
本発明はかかる問題点に鑑みてなされたもので、その目的は、ビデオブラウザ技術によって生成された索引画像を、その表示環境や動画像の内容等に応じて適切に表示することを可能とする画像表示装置および方法を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の画像表示装置は、複数の動画像を格納する動画像格納手段と、動画像格納手段に格納された複数の動画像のそれぞれについて、その動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、動画像を静止画像として縮約して生成された索引画像を保持する索引画像保持手段と、この索引画像保持手段により保持された索引画像を表示するための表示手段と、この表示手段の表示環境および動画像の内容の少なくとも一つに応じて、表示手段に表示する索引画像の表示態様を決定する表示態様決定手段とを備えたものである。
そして、表示態様決定手段が、動画像の長さに応じた数の索引画像が表示されるよう索引画像の表示態様を決定する機能を少なくとも有し、動画像の長さに応じた索引画像の表示数を、動画像格納手段に格納されている全ての動画像の長さの分布に基づいて決定するようになされているものである。
【００１４】
本発明の画像表示方法は、複数の動画像を動画像格納手段が格納するステップと、動画像格納手段に格納された複数の動画像のそれぞれについて、その動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、動画像を静止画像として縮約して生成された索引画像を、索引画像保持手段が保持するステップと、索引画像保持手段により保 持された索引画像を表示手段が表示するステップと、表示手段の表示環境および動画像の内容の少なくとも一つに応じて、表示手段に表示する索引画像の表示態様を、表示態様決定手段が決定するステップとを含むようにしたものである。
そして、表示態様決定手段が、動画像の長さに応じた数の索引画像が表示されるよう索引画像の表示態様を決定する機能を少なくとも有し、動画像の長さに応じた索引画像の表示数を、動画像格納手段に格納されている全ての動画像の長さの分布に基づいて決定するようにしたものである。
【００１５】
本発明の画像表示装置および方法では、動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、静止画像として縮約して生成された索引画像が保持され、この保持された索引画像を表示するための表示手段の表示環境および動画像の内容の少なくとも一つに応じて、表示手段に表示する索引画像の表示態様が決定される。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
第２図は、本発明の一実施の形態に係る画像表示装置を適用して構成した動画像検索配信システムのハードウェア構成を、その構成要素であるウェブサーバ３および端末装置４の内部構成と共に表すものである。本実施の形態の動画像検索配信システムは、インターネット上の情報へのアクセスを可能とするシステムであるワールド・ワイド・ウェブ（ＷＷＷ）を用いて、動画像の検索および配信を可能としたシステムである。
【００１８】
この図に示したように、この動画像検索配信システムは、ＷＷＷをサポートするウェブサーバ３と、クライアントとしての端末装置４と、動画像を蓄積している動画像サーバ５と、動画像サーバ５に蓄積された動画像に関するデータを蓄積しているデータベースサーバ６とを含んでいる。これらの各要素は、インターネットの一部を構成するネットワーク２に接続されている。なお、ネットワーク２に接続されるウェブサーバ３、端末装置４、動画像サーバ５およびデータベースサーバ６の数や、ネットワーク２に対する物理的接続形態に特に制限はない。
【００１９】
ウェブサーバ３は、主として、端末装置４からの要求に応じて、動画像に関する検索や、動画像から生成した静止画像としてのビジュアル・ダイジェスト・インデックス画像（以下、ＶＤインデックス画像という。）の検索および配信等を行うものである。このＶＤインデックス画像は、動画像の内容を静止画像の形に縮約したもので、これを見るだけで動画像の概略的内容を把握できるようにしたものである。その生成方法は後述する。ここで、ＶＤインデックス画像が本発明における「索引画像」に対応する。
【００２０】
第２図に示したように、ウェブサーバ３は、コンピュータ本体１１と、このコンピュータ本体１１に接続された、ディスプレイ装置１２、キーボード１３、マウス１４およびハードディスク装置１５とを備えている。コンピュータ本体１１は、ＣＰＵ（中央処理装置）２１と、ＲＯＭ（リード・オンリ・メモリ）およびＲＡＭ（ランダム・アクセス・メモリ）等を含むメモリ部２２と、ディスプレイ装置１２を制御するためのディスプレイコントローラ２３と、キーボード１３およびマウス１４に接続され、入出力（Ｉ／Ｏ）動作を制御するＩ／Ｏコントローラ２４と、ハードディスク装置１５を制御するためのハードディスクコントローラ２５と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ２６とを備えている。これらの各要素間は、バス２７によって相互に接続されている。ＣＰＵ２１は、メモリ部２２内のＲＡＭを作業用記憶領域として利用して、ハードディスク装置１５に格納されたアプリケーションプログラムを実行するようになっている。
【００２１】
端末装置４は、例えば通常のパーソナルコンピュータとして構成されたもので、インターネット上の情報を閲覧可能とするためのソフトウェアであるインターネットブラウザと、ネットワーク２を介して配信された動画像の再生を可能とするためのソフトウェアである動画像再生プログラムとを保有している。インターネットブラウザとしては、例えば、ネットスケープナビゲータ(Netscape Navigator(米国 Netscape Communications社の商標))等の一般的な商用ブラウザが使用可能である。
【００２２】
第２図に示したように、端末装置４は、コンピュータ本体３１と、このコンピュータ本体３１に接続された、ディスプレイ装置３２、キーボード３３、マウス３４、スピーカ３５ａ，３５ｂおよびハードディスク装置３６とを備えている。コンピュータ本体３１は、ＣＰＵ４１と、ＲＯＭおよびＲＡＭ等を含むメモリ部４２と、ディスプレイ装置３２を制御するためのディスプレイコントローラ４３と、ＭＰＥＧ(Moving Picture Experts Group)規格による画像データの圧縮・伸長処理を行うＭＰＥＧ処理部４４と、キーボード３３およびマウス３４に接続され、入出力動作を制御するＩ／Ｏコントローラ４５と、スピーカ３５ａ，３５ｂからの音声出力を制御するサウンドコントローラ４６と、ハードディスク装置３６を制御するためのハードディスクコントローラ４７と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ４８とを備えている。これらの各要素間は、バス４９によって相互に接続されている。ＣＰＵ４１は、メモリ部４２内のＲＡＭを作業用記憶領域として、ハードディスク装置３６に格納されたアプリケーションプログラムを実行するようになっている。なお、ＭＰＥＧ処理部４４は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。
【００２３】
なお、端末装置４は、上記のようなインターネットブラウザ機能と動画像再生機能とを有するものであれば、ハードウェアとしての限定はない。
【００２４】
動画像サーバ５は、複数種類の動画像を蓄積し、要求に応じてこれをネットワーク２を介して提供したり、動画像からＶＤインデックス画像を生成するためのものである。
第３図は、動画像サーバ５のハードウェア構成を表すものである。この図に示したように、動画像サーバ５は、コンピュータ本体５１と、このコンピュータ本体５１に接続された、ディスプレイ装置５２、キーボード５３、マウス５４、および複数のハードディスクを用いて冗長に構成された大容量のＲＡＩＤ(Redundant Array of Inexpensive Disks)５５とを備えている。
【００２５】
コンピュータ本体５１は、ＣＰＵ６１と、ＲＯＭおよびＲＡＭ等を含むメモリ部６２と、ディスプレイ装置５２を制御するためのディスプレイコントローラ６３と、ＭＰＥＧ規格による画像データの圧縮・伸長処理を行うＭＰＥＧ処理部６４と、キーボード５３およびマウス５４に接続され、入出力動作を制御するＩ／Ｏコントローラ６５と、ＲＡＩＤ５５を制御するためのＲＡＩＤコントローラ６６と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ６７とを備えている。これらの各要素間は、バス６８によって相互に接続されている。ＣＰＵ６１は、メモリ部６２内のＲＡＭを作業用記憶領域として、ＲＡＩＤ５５に格納されたアプリケーションプログラムを実行するようになっている。なお、ＭＰＥＧ処理部６４は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。
【００２６】
次に、本実施の形態の動画像検索配信システムの機能構成を説明する。
第１図は、第２図に示した動画像検索配信システムにおける各要素の機能構成を表すものである。この図に示したように、ウェブサーバ３は、インターネットサーバ部７１と、データベース検索部７２と、インデックス検索部７３と、インデックス格納部７４と、インデックス関連処理部７５と、インデックス関連情報格納部７６と、ＧＵＩ(Graphycal User Interface)データ生成部７７と、ＧＵＩデータ格納部７８と、静止画像格納部７９とを有している。
【００２７】
インターネットサーバ部７１は、インターネット上で公開される情報の管理や配信等を行うためのもので、具体的には、端末装置４、動画像サーバ５およびデータベースサーバ６等とのやり取りを行う。
【００２８】
データベース検索部７２は、端末装置４からの要求に応じて、データベースサーバ６に動画像検索要求を発し、得られた検索結果をインデックス検索部７３に渡すという処理を行うものである。この検索結果には、該当する動画像のタイトル、動画像データのファイル名、その動画像ファイルが格納されている動画像サーバの名前（ここでは動画像サーバ５）、動画像サーバ内における、その動画像ファイルの格納位置等が含まれる。また、この検索結果には、該当する動画像の長さの情報が含まれる。
【００２９】
インデックス検索部７３は、データベース検索部７２から受け取ったデータベース検索結果を基に、インデックス格納部７４に格納されている複数のＶＤインデックスファイルの中から目的のファイルを検索するためのものである。ここで、ＶＤインデックスファイルとは、後述するように、動画像のタイトルごとに生成された画像データファイルであり、１または複数のＶＤインデックス画像データを含んでいる。
【００３０】
インデックス格納部７４は、動画像サーバ５から送られてきたＶＤインデックスファイルを格納するためのものである。
【００３１】
インデックス関連処理部７５は、ＧＵＩデータ生成部７７がＧＵＩデータを生成する際に必要な、ＶＤインデックス画像の表示態様を決定する処理等を行うためのものである。インデックス関連処理部７５は、例えば、端末装置４のディスプレイ装置３２のインターネットブラウザ画面（以下、単にブラウザ画面という。）のサイズに応じたＶＤインデックス画像の表示可能数、生成されたＶＤインデックス画像の数が上記の表示可能数を越える場合に取捨選択すべきＶＤインデックス画像の番号、および動画像の長さに応じたＶＤインデックス画像表示形式等を決定する。ここで、ＶＤインデックス画像表示形式は、動画像の長さに応じ、ＶＤインデックス画像を表示し得る領域の一部を選択的に使用したり使用しないようにして、端末装置４のユーザがディスプレイ装置３２のブラウザ画面に表示されたＶＤインデックス画像の表示形式を見ただけで、それに対応した動画像の長さを判断できるようにするためのものである。
ここで、インデックス関連処理部７５が、本発明における表示態様決定手段に対応する。
【００３２】
インデックス関連情報格納部７６は、動画像サーバ５のインデックス生成部８７において生成された後述のインデックス関連情報を格納するためのものである。
ＧＵＩデータ生成部７７は、端末装置４等に対して提供される動画像検索用のホームページを構成するＧＵＩデータの生成または更新を行うためのものである。この動画像検索用のホームページを構成するデータは、通常、ＨＴＭＬ(Hypertext Markup Language) 言語によって記述される。
【００３３】
ＧＵＩデータ格納部７８は、ＧＵＩデータ生成部７７によって生成されたＧＵＩデータを格納するための領域である。
【００３４】
静止画像格納部７９は、動画像サーバ５からＶＤインデックスファイルと共に送られてきた静止画像ファイルを格納するためのものである。この静止画像ファイルは、ＶＤインデックスファイルに含まれている各ＶＤインデックス画像ごとに１枚ずつ対応付けられた静止画像のデータで構成される。静止画像のデータとしては、例えばＧＩＦ(Graphics Interchange Format)形式で圧縮されたデータが用いられる。
【００３５】
以上のウェブサーバ３における各機能部のうち、インターネットサーバ部７１、データベース検索部７２、インデックス検索部７３、インデックス関連処理部７５およびＧＵＩデータ生成部７７は、それぞれ、主として第２図におけるハードディスク装置１５に格納されているアプリケーションプログラムおよびこれを実行するＣＰＵ２１によって実現される。また、インデックス格納部７４、インデックス関連情報格納部７６、ＧＵＩデータ格納部７８および静止画像格納部７９は、それぞれ、第２図におけるハードディスク装置１５の一部を用いて実現される。
【００３６】
端末装置４は、インターネットブラウザ部８１と、動画像再生部８２とを有している。
インターネットブラウザ部８１は、ＷＷＷを利用してインターネットにアクセスし、情報を受け取って表示するという機能を有するもので、上記したように、例えばネットスケープナビゲータ等の一般的な商用ブラウザにより実現される。
【００３７】
動画像再生部８２は、動画像サーバ５から配信された動画像データを伸長して表示するためのもので、主として第２図におけるＭＰＥＧ処理部４４によって実現される。但し、動画像再生部８２の機能は、動画像のコンテンツタイプ（例えば圧縮方式）に対応した動画像再生用プログラムによっても実現可能である。この動画像再生用プログラムは、例えば、インターネットブラウザのプラグイン・ソフトウェアとして提供される。
【００３８】
動画像サーバ５は、動画像格納部８５、動画像配信部８６およびインデックスト生成部８７を有している。
【００３９】
動画像格納部８５は、動画像ファイルを格納する部分であり、第３図におけるＲＡＩＤ５５によって実現される。動画像ファイルに含まれる動画像データは、ＭＰＥＧ形式で圧縮されたものである。
【００４０】
動画像配信部８６は、端末装置４等からの要求に応じて、動画像格納部８５から目的の動画像を取り出し、ネットワーク２を介して端末装置４に配信するという処理を行うものである。
【００４１】
インデックス生成部８７は、動画像格納部８５に格納された動画像の内容を視覚的に縮約して静止画像としてのＶＤインデックス画像を生成し、これをＶＤインデックスファイルとして、ネットワーク２を介してウェブサーバ３に送信するという処理を行うものである。具体的には、動画像格納部８５から取り出した動画像をＭＰＥＧ処理部６４（第３図）によって伸長すると共に、この伸長処理がなされた動画像に対して後述する処理（第５Ａ図〜第５Ｃ図および図６Ａ〜図６Ｄを参照）を施すことでＶＤインデックス画像を生成する。このＶＤインデックスファイルは、ウェブサーバ３のインデックス格納部７４に格納される。
【００４２】
また、インデックス生成部８７は、ＶＤインデックス画像の生成に伴う各種のパラメータ情報（以下、インデックス関連情報という。）を生成する。このインデックス関連情報には、生成されたＶＤインデックス画像の総数やＶＤインデックス画像の生成時の各種のパラータ情報、例えば、１つのＶＤインデックス画像を生成するのに用いたフレーム数や１つのフレームから切り出すスリット画像情報のライン数等が含まれる。
ここで、インデックス保持部７４が本発明における「索引画像保持手段」に対応する。
【００４３】
データベースサーバ６は、データベース９１と、検索処理部９２とを有している。
データベース９１は、動画像のタイトル、動画像ファイル名、その動画像ファイルが格納されている動画像サーバの名前（ここでは動画像サーバ５）、動画像サーバ内における、その動画像ファイルの格納位置等を含んでいる。また、データベース９１は、動画像の長さの情報を含んでいる。
【００４４】
検索処理部９２は、ウェブサーバ３のデータベース検索部７２からの要求に応じて、与えられたキーワードに基づいてデータベース９１を検索し、その検索結果をデータベース検索部７２に送るという処理を行うようになっている。検索処理部９２は、例えば、サイベース(Sybase ; 米国Sybase Inc社の登録商標) 等のデータベース管理システム(DBMS;Database Management System) プログラムにより実現される。
【００４５】
第４図は、端末装置４のディスプレイ装置３２に表示されたブラウザ画面の一例を表すものである。このブラウザ画面は、インターネットブラウザ部８１の機能により実現されるものである。ここで、主としてディスプレイ装置３２が本発明における「表示手段」に対応する。
【００４６】
このブラウザ画面は、ブラウザタイトルバー、メニューバーおよびツールバー等からなるシステム領域１０１と、検索結果としてのＶＤインデックス画像等を表示するためのインデックス表示領域１０２と、静止画像を表示するための静止画像表示領域１０３と、動画像を再生表示するための動画像表示領域１０４とを含んでいる。
【００４７】
システム領域１０１のメニューバーには、‘ファイル’，‘編集’，‘表示’等のメニュー項目があり、それぞれをマウスクリックすることにより、プルダウンメニューが表示されるようになっている。ツールバーには、‘戻る’，‘再読み込み’等のツールアイコンが配置され、それぞれをマウスクリックすることにより、対応するブラウザ動作が行われるようになっている。ここで、マウスクリックとは、マウスポインタ１０９を対象のアイテムに合わせた状態でマウス３４の例えば左クリックをすることを意味する。以下の説明では、この操作を、単に、クリックする、と記するものとする。
【００４８】
インデックス表示領域１０２には、検索に用いられたキーワードおよび検索された動画像のタイトル数１０６と、検索された動画像についてのＶＤインデックス画像１０７，１０８等とが表示されるようになっている。この図に示した例では、キーワード‘岡崎’に対して１１７個の動画像が検索され、このうち、‘桜どころ岡崎’、‘歴史と未来が息づく岡崎’、等のタイトルの動画像についてのＶＤインデックス画像グループ１０７，１０８が表示されている。ここで、１つのＶＤインデックス画像グループが、１つのタイトルの動画像に対応している。各ＶＤインデックス画像グループの下側には、それぞれ、対応する動画像の全体の長さ（全再生時間）に対応したインジケータバー１０７ａ，１０８ａが配置されている。これらのインジケータバー１０７ａ，１０８ａ等における黒塗のこま部分は、その上に表示されているＶＤインデックス画像が、すべてのＶＤインデックス画像のうちのどの位置のものであるかを示している。このインデックス表示領域１０２において、その右端部のスクロールバー１１０を操作することにより、複数のＶＤインデックス画像グループを上下方向にスクロールさせて順次表示することができるようになっている。
【００４９】
静止画像表示領域１０３には、インデックス表示領域１０２に表示されたＶＤインデックス画像のうちの選択されたものに対応した静止画像１０３ａが表示されるようになっている。この静止画像１０３ａが、後述するインデックス代表静止画像である。本実施の形態では、例えばマウス３４を操作してマウスポインタ１０９を所望のＶＤインデックス画像の上に移動させるだけで、そのＶＤインデックス画像が選択されるようになっている。
【００５０】
動画像表示領域１０４には、インデックス表示領域１０２に表示されたＶＤインデックス画像のうちの選択されたものに対応した動画像１０４ａが、タイトル名および動画像ファイル名１０４ｂと共に表示されるようになっている。本実施の形態では、例えばマウスポインタ１０９を所望のＶＤインデックス画像の上に移動させてクリックすることで、そのＶＤインデックス画像に対応した動画像が選択されるようになっている。この場合の再生開始点は、クリックされたＶＤインデックス画像に対応した動画像区間の先頭である。但し、動画像区間の先頭以外の位置を再生開始点としてもよい。ここで、動画像１０４ａの再生、停止、一時停止、高速再生、リバース再生および高速リバース再生等の操作は、操作部１０４ｃによって行うことが可能である。また、アイコン１０４ｄをクリックすることで、動画像１０４ａブラウザ画面に拡大表示することができるようになっている。
【００５１】
次に、以上のような構成の動画像検索配信システムの動作を説明する。
ここでは、まず、第５Ａ図〜第５Ｃ図および図６Ａ〜第６Ｃ図を参照して、動画像サーバ５のインデックスト生成部８７が行うＶＤインデックス画像の生成処理について説明する。ここで、第５Ａ図〜第５Ｃ図は、一連の動画像から複数のＶＤインデックス画像を生成する概略の手順を表し、図６Ａ〜第６Ｃ図は、ある一区間の動画像から１枚のＶＤインデックス画像を生成する手順を表すものである。
【００５２】
まず、第５Ａ図および図６Ａに示したように、動画像を、２次元の静止画像Ｆｉ（ｉ＝１，２，…）が時間軸ｔに沿って並んだ直方体モデルとして定義する。以後、２次元の静止画像をフレームとも称するものとする。例えばＮＴＳＣ (National Television System Committee)方式の場合は、各フレームは、６０分の１秒の長さの２枚のフィールドによって構成されるので、１フレームは３０分の１秒という長さをもつ。
【００５３】
次に、第５Ｂ図に示したように、一連の動画像全体からなる直方体モデルを一定の時間間隔で複数の区間直方体Ｓｉ（この図では、ｉ＝１〜４）に分割する。そして、各区間直方体Ｓｉを、その対角面に沿って斜めに切断し、各切断面における帯状の画像情報（以下、スリット画像情報という。）を抽出する。実際には、図６Ｂに示したように、１つの区間直方体からフレームＦｊ（ｊ＝１，２，…）を取り出し、さらに、第６Ｃ図に示したように、これらの各フレームＦｊから、時間と共に移動する移動スリット窓によって、スリット画像情報ＳＬｊを順次切り出す。
【００５４】
次に、図６Ｄに示したように、上記の切断面から抽出したスリット画像情報ＳＬｉを順次並べていき、一定サイズになったところで、これに所定の圧縮処理を行う。これにより、第５Ｃ図に示したように、各区間直方体Ｓｉごとに、それぞれ１枚のＶＤインデックス画像Ｉｉ（ｉ＝１〜４）が生成され、動画像全体としては、複数枚（この図では４枚）のＶＤインデックス画像が生成される。このとき、各ＶＤインデックス画像ごとに、それの元となった区間直方体Ｓｉに含まれていた１枚の完全な静止画像（すなわち、スリット窓による抽出処理が行われていない元の静止画像）を対応付け、これをインデックス代表静止画像として登録する。このインデックス代表静止画像としては、例えば、ＶＤインデックス画像の中央部分の生成に供せられた静止画像が選択される。但し、ＶＤインデックス画像の他の部分（例えば端部）の生成に供せられた静止画像を選択するようにしてもよい。
【００５５】
なお、第５Ａ図〜第５Ｃ図および図６Ａ〜第６Ｃ図に示した例では、動画像を構成する静止画像から、垂直方向（縦方向）に細長い移動スリット窓によってスリット画像情報ＳＬｉを抽出するようにしたが、水平方向（横方向）に細長い移動スリット窓によってスリット画像情報ＳＬｉを抽出するようにしてもよい。また、動画像を構成する静止画像Ｆｉから直接スリット画像情報ＳＬｉを抽出するのではなく、静止画像Ｆｉのうちの要部（例えば中央領域）のみを抽出対象範囲とし、その他の領域（例えば周辺領域）は抽出対象から外すようにしてもよい。さらには、ＶＤインデックス画像の中に、インデックス代表静止画像とは別に、元の完全な形の静止画像を取り混ぜるようにしてもよい。
【００５６】
次に、第７図および第８図を参照して、以上のような構成の動画像検索配信システムの全体動作を説明する。なお、第７図および第８図は、端末装置４、ウェブサーバ３およびデータベースサーバ６における一連の動作をそれぞれに区分して表すものである。ここでは、端末装置４からの検索要求に応じて、ウェブサーバ３およびデータベースサーバ６によって該当する動画像についてのＶＤインデックス画像を検索し、これを端末装置４のブラウザに表示する場合の動作を説明する。なお、ここでは、既に、動画像サーバ５の動画像格納部８５に格納された動画像についてのＶＤインデックス画像が、ウェブサーバ３のインデックス格納部７４に格納されているものとする。
【００５７】
端末装置４において、インターネットブラウザ部８１を起動すると（第７図のＳ１）、インターネットブラウザ部８１は、ネットワーク２を介して、ウェブサーバ３にアクセスする（Ｓ２）。ウェブサーバ３のインターネットサーバ部７１は、ＧＵＩデータ格納部７８から動画検索用ホームページを記述したＧＵＩデータを読み出して、端末装置４に配信する（Ｓ３）。
【００５８】
端末装置４のインターネットブラウザ部８１は、ウェブサーバ３から送られてきたＧＵＩデータを基に、ディスプレイ装置３２（第２図）のブラウザ画面に動画検索用ホームページの初期画面（図示せず）を表示する（Ｓ４）。
【００５９】
ここで、動画像検索キーワード（以下、単に、キーワードという。）を入力すると（Ｓ５）、インターネットブラウザ部８１は、入力されたキーワードを、動画像検索要求と共にウェブサーバに送信する（Ｓ６）。
【００６０】
ウェブサーバ３のインターネットサーバ部７１は、端末装置４から動画像検索要求およびキーワードを受けると、データベース検索部７２を起動する。データベース検索部７２は、インターネットサーバ部７１およびネットワーク２を介して、キーワードと共に動画像検索命令コードをデータベースサーバ６に送信する（Ｓ７）。
【００６１】
データベースサーバ６の検索処理部９２は、受け取ったキーワードに基づいてデータベース９１を検索し、検索結果をウェブサーバ３に送信する（Ｓ８）。
【００６２】
データベースサーバ６から検索結果を受け取ったウェブサーバ３は、インデックス検索部７３を起動する。インデックス検索部７３は、データベースサーバ６からの検索結果を基に、インデックス格納部７４を検索し、該当するＶＤインデックスファイルを抽出し（Ｓ９）、これをＧＵＩデータ生成部７７に渡す。
【００６３】
また、ウェブサーバ３のインデックス関連処理部７５は、端末装置４のインターネットブラウザ部８１の機能によってディスプレイ装置３２に表示されたブラウザ画面の大きさの確認要求を端末装置４に送信する（Ｓ１０）。端末装置４は、ブラウザ画面の大きさの確認要求を受けて、ブラウザ画面の大きさを示す情報をウェブサーバ３に送信する（Ｓ１１）。
【００６４】
次に、インデックス関連処理部７５は、データベースサーバ６からの検索結果から、検索された各動画像の長さの情報を取得する（Ｓ１２）。インデックス関連処理部７５は、ブラウザ画面の大きさを示す情報と動画像の長さの情報とに基づいて、ブラウザ画面に表示すべきＶＤインデックス画像の数を決定する（Ｓ１３）。
【００６５】
また、インデックス関連処理部７５は、ブラウザ画面に表示すべきＶＤインデックス画像の数に応じて、後述の所定の関数を用いて実際に表示すべきＶＤインデックス画像の番号を取捨選択して決定する（Ｓ１４）。次に、インデックス関連処理部７５は、決定された実際に表示すべきＶＤインデックス画像の番号の情報をＧＵＩデータ生成部７７に渡す（Ｓ１５）。
【００６６】
ＧＵＩデータ生成部７７は、データベースサーバ６からの検索結果、インデックス格納部７４の検索結果およびインデックス関連処理部７５によって決定された実際に表示すべきＶＤインデックス画像の番号の情報を基に、ＧＵＩデータを生成する（Ｓ１６）。このＧＵＩデータには、動画像のタイトル名、動画像ファイル名および動画像サーバ５における動画像ファイルの格納場所、およびＶＤインデックス画像等が含まれる。ＧＵＩデータ生成部７７は、生成したＧＵＩデータをＧＵＩデータ格納部７８に格納すると共に、検索結果として端末装置４に送信する（Ｓ１７）。
【００６７】
端末装置４のインターネットブラウザ部８１は、ウェブサーバ３から送られてきたＧＵＩデータを受信し、このデータに基づいて、第４図に示したように、検索結果表示画面のインデックス表示領域１０２に、検索結果の内容として、キーワードおよび該当する動画像の数１０６、ならびに動画像のタイトル名およびＶＤインデックス画像グループ１０７，１０８を表示する（Ｓ１８）。
【００６８】
また、端末装置４は、ブラウザ画面の大きさを変更した場合には、ブラウザ画面の大きさを変更したことを示す情報をウェブサーバ３に送信する（Ｓ１９）。 ウェブサーバ３は、端末装置４においてブラウザ画面の大きさが変更された場合には、インデックス画像の表示処理（Ｓ１０からの処理）を再び繰り返す（Ｓ２０）。このように、端末装置４において、ブラウザ画面の大きさが変更された場合には、インデックス画像の表示処理を再び行うようにしたので、ブラウザ画面の大きさに応じて常に最適な状態でＶＤインデックス画像の表示を行うことができる。
【００６９】
次に、本実施の形態におけるＶＤインデックス画像の表示態様の制御手法について詳細に説明する。
まず、第９Ａ図および第９Ｂ図を参照して、端末装置４のディスプレイ装置３２に表示されるブラウザ画面の大きさに応じたＶＤインデックス画像の表示態様の制御について説明する。これらの図は、第４図に示したブラウザ画面を簡略化して示したものであり、ブラウザ画面内には第４図におけるインデックス表示領域１０２に対応する部分のみが示されている。また、これらの図では、画面内のインデックス表示領域に４つのＶＤインデックス画像グループ１１１，１１２，１１３，１１４が表示されている例について示している。なお、これらの図では、１つのＶＤインデックス画像グループを表示するのに使用する縦方向の最大領域は、２列（ＶＤインデックス画像２つ分）であるものとする。但し、１つのＶＤインデックス画像グループを表示するのに使用する縦方向の最大領域は、２列に限定されるものではない。
【００７０】
まず、最初に表示された検索結果を示す表示画面が第９Ａ図に示したような表示態様であるものとする。すなわち、第９Ａ図では、画面内のインデックス表示領域にＶＤインデックス画像グループ１１１，１１２，１１３，１１４が表示されている。このとき、ＶＤインデックス画像グループ１１１および１１３は、比較的長い動画像に対応するＶＤインデックス画像グループであり、縦方向、横方向（幅方向）共に、１つのＶＤインデックス画像グループを表示するのに使用する表示可能な領域の全てを使用して表示されている。また、ＶＤインデックス画像グループ１１４は、ＶＤインデックス画像グループ１１１および１１３よりは短い動画像に対応するＶＤインデックス画像グループであり、１列目は横方向に表示可能な領域の全てを使用して表示されているが、２列目は表示可能な領域を部分的に使用して表示されている。また、ＶＤインデックス画像グループ１１２は、ＶＤインデックス画像グループ１１４より、更に短い動画像に対応するＶＤインデックス画像グループであり、１列目の表示可能な領域を部分的に使用して表示されている。
【００７１】
第９Ｂ図は、第９Ａ図の状態からブラウザ画面の大きさを横方向に拡大するように変更した場合における表示態様を示している。この場合には、ブラウザ画面の大きさを横方向に拡大したので、横方向に表示可能なＶＤインデックス画像の数が増加することになる。本実施の形態では、この表示可能なＶＤインデックス画像の数の変化に応じて、各ＶＤインデックス画像グループの表示形態が変化する。すなわち、第９Ｂ図の例では、ＶＤインデックス画像グループ１１１，１１３に関して、第９Ａ図の状態に比べて横方向に表示されるＶＤインデックス画像が増加する。なお、ＶＤインデックス画像グループ１１２に関しては、第９Ａ図の状態において、１列目の表示可能な領域を部分的にしか使用していないので、ブラウザ画面の大きさを横方向に拡大した場合にもその表示態様は変化しない。また、ＶＤインデックス画像グループ１１４に関しては、全てのＶＤインデックス画像が１列目のみで表示可能となる。
【００７２】
このように、本実施の形態では、ブラウザ画面の大きさに応じて、適切な数のＶＤインデックス画像を表示することができる。なお、以上で説明した表示態様の決定は、ウェブサーバ３のインデックス関連処理部７５において行われる。
【００７３】
次に、第１０図を参照して、動画像の長さに応じたＶＤインデックス画像の表示態様の制御について説明する。なお、この図においては、ブラウザ画面におけるインデックス表示領域１０２に複数のＶＤインデックス画像１２１が表示されていることを簡略化して示している。図中において、各ＶＤインデックス画像１２１内の数字は、インデックス表示領域１０２内におけるＶＤインデックス画像の表示位置の番号を示している。この表示位置の番号のうちｎ（整数）は、インデックス表示領域１０２に表示可能なＶＤインデックス画像の最大表示数に対応する。
【００７４】
本実施の形態においては、例えば、動画像の長さがＸ以内（例えば、１分以内）であった場合には、ＶＤインデックス画像を表示位置の番号が１〜ｎ−２までの領域内に表示するよう表示態様が決定される。また、例えば、動画像の長さがＸからＹの間（例えば、１分から３分の間）であった場合には、ＶＤインデックス画像を表示位置の番号が１〜ｎ−１までの領域内に表示するよう表示態様が決定される。また、例えば、動画像の長さがＹ以上（例えば、３分以上）であった場合には、ＶＤインデックス画像を表示位置の番号がｎまでの領域内、すなわち、インデックス表示領域１０２に表示可能なＶＤインデックス画像の最大表示数だけ表示するよう表示態様が決定される。
【００７５】
従って、ＶＤインデックス画像１２１が番号ｎの位置まで表示されていた場合には、動画像の長さがＹ以上であることが分かり、番号ｎ−１の位置まで表示されていた場合には、動画像の長さがＸからＹの間であることが分かる。また、ＶＤインデックス画像が番号１〜ｎ−２の位置までしか表示されていなかった場合には、動画像の長さがＸ以内であることが分かる。
【００７６】
このように、本実施の形態においては、ブラウザ画面に表示されたＶＤインデックス画像の数を見ただけで、おおよその動画像の長さを把握することが可能となっている。
【００７７】
なお、ＶＤインデックス画像の表示数の設定の基準となる時間の値Ｘ，Ｙの決め方としては、例えば、データベースサーバ６にある全ての動画像の長さの分布に基づいて、最も多い分布を示す動画像の長さ付近の値をＸまたはＹの値として設定するとよい。また、Ｘ，Ｙの値は、データベースサーバ６にある動画像の長さの分布に変化がない限りにおいては、固定された値でよいが、動画像の長さの分布に変化があった場合には、その分布の変化に応じて値を変えることが望ましい。これにより、データベースサーバ６にある動画像の長さの分布の傾向に応じた最適なＶＤインデックス画像の表示を行うことができる。なお、以上で説明した表示態様の決定は、ウェブサーバ３において行われる。
【００７８】
次に、第１１図および第１２図を参照して、生成されたＶＤインデックス画像の中から実際に表示すべきＶＤインデックス画像の取捨選択を行うやり方について説明する。なお、第１１図および第１２図において、横軸はＶＤインデックス画像の表示位置を示し、縦軸はＶＤインデックス画像の番号を示している。本実施の形態では、生成されたＶＤインデックス画像の数が実際に表示すべきＶＤインデックス画像の数を越える場合には、所定の関数を用いて生成されたＶＤインデックス画像に対して部分的に重み付けを行って、実際に表示すべきＶＤインデックス画像の取捨選択を行う。ここで、ＶＤインデックス画像の取捨選択とは、実際には、ＶＤインデックス画像の番号の取捨選択を行う処理のことである。
【００７９】
ＶＤインデックス画像の取捨選択の方法としては、例えば、動画像の内容に関わらず、生成されたＶＤインデックス画像を時間軸に沿って均等に間引いて、実際に表示すべきＶＤインデックス画像の数にまで画像を絞り込むという方法が考えられる。しかしながら、ＶＤインデックス画像を単純に時間軸に沿って均等に間引いてしまうと、動画像の重要と思われる場面が間引かれて表示されなくなる虞がある。本実施の形態では、動画像の重要と思われる場面を考慮してＶＤインデックス画像の取捨選択を行うようにしている。
【００８０】
動画像の重要と思われる場面を考慮したＶＤインデックス画像の取捨選択の方法としては、例えば、第１１図に示したような方法がある。第１１図において、「■」で示した部分に対応するＶＤインデックス画像の番号が、実際に表示されるＶＤインデックス画像の番号である。従って、この図では、例えば、１番の表示位置に番号が１のＶＤインデックス画像が表示されることになる。
【００８１】
この図の例では、動画像の最初と最後の部分には重要な場面があると考え、動画像の最初と最後の部分に対応するＶＤインデックス画像が必ず表示すべき画像に含まれるようにしている。より具体的には、ＶＤインデックス画像の番号の最初の２つと最後の２つに対して重み付けが行われ、必ず表示される番号として選択されるようになっている。また、動画像の中間部分に対応するＶＤインデックス画像に関しては、単純に時間軸に沿って均等に間引く処理が行われる。
【００８２】
第１２図は、第１１図に示したような取捨選択の方法を３次元関数で近似したものである。この図に示した３次元関数は、以下の式（１）によって表される。なお、以下の式（１）において、「total」は、生成されたＶＤインデックス画像の総数を示し、「view」は、表示すべきＶＤインデックス画像の数を示している。また、ｘは、ＶＤインデックス画像の表示位置を示し、ｙは、実際に表示するＶＤインデックス画像の番号を示している。また、「round」は、四捨五入を行うことを示す関数である。
ｙ＝ round［-2(total-view)x3/(view-3)3+
3(total-view)(view+1)x2/(view-3)3 +
｛(view-3)3-12(total-view)(view-1)x/(view-3)3｝
+ 4(total-view)(3view-5)/(view-3)3］ ……（１）
【００８３】
なお、重み付けに用いる関数は式（１）に限定されるわけではなく、他の関数であってもよい。また、上記においては、動画像の最初と最後の部分に重きが置かれるように重み付けの設定を行ったが、動画像の最初と最後以外の任意の位置に重きを置くように重み付けを行ってもよい。但し、重み付けは、動画像の重要と思われる場面の位置に対して重きを置くように設定することが望ましい。
【００８４】
なお、ここで説明したＶＤインデックス画像の取捨選択の処理は、ウェブサーバ３のインデックス関連処理部７５において行われる。
【００８５】
次に、上記において説明したブラウザ画面の大きさに応じたＶＤインデックス画像の表示態様の制御、動画像の長さに応じたＶＤインデックス画像の表示態様の制御およびこれらの表示態様の制御に伴うＶＤインデックス画像の取捨選択の処理について、第１３図の流れ図に従って説明する。
【００８６】
第１３図は、ＶＤインデックス画像の表示態様の制御動作を示す流れ図である。ウェブサーバ３のインデックス関連処理部７５は、端末装置４のディスプレイ装置３２に表示されたブラウザ画面の大きさを示す情報を取得する（ステップＳ１０１）。なお、ここでは、説明の簡略化のため、ブラウザ画面の大きさとして、画面の横方向のみの情報について取得し、１つのＶＤインデックス画像グループを横方向一列にのみ表示する場合における表示態様の制御について説明する。インデックス関連処理部７５は、取得したブラウザ画面の大きさを示す情報に基づいて、端末装置４におけるブラウザ画面に表示可能なＶＤインデックス画像の数を決定する（ステップＳ１０２）。
【００８７】
次に、インデックス関連処理部７５は、データベースサーバ６からの検索結果から、検索された動画像の長さの情報を取得し、取得した動画像の長さの情報に基づいて、ＶＤインデックス画像の表示可能数内で実際にブラウザ画面に表示すべきＶＤインデックス画像の数を決定する（ステップＳ１０３）。
【００８８】
次に、インデックス関連処理部７５は、実際にブラウザ画面に表示すべきＶＤインデックス画像の数が、生成されたＶＤインデックス画像の総数よりも少ないか否かを判断する（ステップＳ１０４）。インデックス関連処理部７５は、表示すべきＶＤインデックス画像の数が、生成されたＶＤインデックス画像の総数よりも少ない場合（Ｙ）には、上記式（１）で示されるような所定の関数を用いて、例えば、動画像の最初と最後の部分に対応するＶＤインデックス画像の番号に対して重きを置くように重み付けを行って、実際に表示するＶＤインデックス画像の番号を取捨選択する（ステップＳ１０５）。また、インデックス関連処理部７５は、表示すべきＶＤインデックス画像の数が、生成されたＶＤインデックス画像の総数よりも少なくない場合（ステップＳ１０４；Ｎ）には、生成されたＶＤインデックス画像の全ての番号を実際に表示べきＶＤインデックス画像の番号として選択する（ステップＳ１０６）。
【００８９】
インデックス関連処理部７５は、以上のように決定された実際に表示すべきＶＤインデックス画像の番号の情報をＧＵＩデータ生成部７７に渡す。ＧＵＩデータ生成部７７は、データベースサーバ６からの検索結果、インデックス格納部７４の検索結果およびインデックス関連処理部７５によって決定された実際に表示すべきＶＤインデックス画像の番号の情報を基に、ＧＵＩデータを生成する。ＧＵＩデータ生成部７７は、生成したＧＵＩデータをＧＵＩデータ格納部７８に格納すると共に、検索結果として端末装置４に送信する。端末装置４は、ウェブサーバ３から送られてきたＧＵＩデータを受信し、このデータに基づいて、第４図に示したように、検索結果表示画面のインデックス表示領域１０２に、ＶＤインデックス画像を表示する。
【００９０】
以上のようにして、端末装置４のディスプレイ装置３２に表示されたブラウザ画面の表示環境および動画像の内容（動画像の長さや重要と思われる場面の位置の情報）に応じて、表示するＶＤインデックス画像の表示態様が、最適に制御される。
【００９１】
以上説明したように、本実施の形態によれば、動画像の長さに応じて、インデックスの表示形式を決定するようにしたので、ＶＤインデックス画像の表示形式を見るだけで、動画像の長さをある程度把握することができる。
【００９２】
また、生成されたＶＤインデックス画像の全てを表示することができない場合においては、動画像の重要と思われる場面を考慮して、実際に表示すべきＶＤインデックス画像の取捨選択を行うようにしたので、重要と思われる場面のＶＤインデックス画像を少ない表示領域で効率的に表示できると共に、全てのＶＤインデックス画像を表示しなくても、動画像の概要を把握することが可能となる。
【００９３】
更に、ブラウザ画面の大きさに応じて、表示するＶＤインデックス画像の数を変えるようにしたので、利用する環境や目的等に応じてブラウザ画面の大きさを変えた場合においても、常にブラウザ画面の大きさに最適な状態でＶＤインデックス画像の表示を行うことができる。
【００９４】
以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されず、種々の変形が可能である。例えば、上記の実施の形態では、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて生成された索引画像としてのＶＤインデックス画像の表示形態に関して説明したが、本発明は、複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像を索引画像として利用するような場合においても適用することが可能である。
【００９５】
また、上記実施の形態では、インデックス生成部８７を動画像サーバ５内に配置するようにしたが、ウェブサーバ３内に配置してもよい。あるいは、インデックス生成部８７のみを独立したサーバとして構成し、ネットワーク２に接続するようにしてもよい。
【００９６】
また、上記実施の形態では、インデックス格納部７４と、静止画像格納部７９、動画像格納部８５またはインデックス関連情報格納部７６と、表示手段としてのディスプレイ装置３２と、インターネットブラウザ部８１とを、それぞれ、ウェブサーバ３、動画像サーバ５および端末装置４に分散配置し、各間をネットワーク２によって相互に接続するようにしたが、これらの要素をすべて同一の装置に内蔵させて、スタンドアローンタイプの画像表示装置として構成することも可能である。
【００９７】
【発明の効果】
以上説明したように、請求項１ないし請求項７のいずれかに記載の画像表示装置、または請求項８ないし請求項１４のいずれかに記載の画像表示方法によれば、動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、動画像を静止画像として縮約して生成された索引画像を保持し、この保持された索引画像を表示するための表示手段の表示環境および動画像の内容の少なくとも一つに応じて、表示手段に表示する索引画像の表示態様を決定するようにしたので、ビデオブラウザ技術によって生成された索引画像を、その表示環境や動画像の内容等に応じて適切に表示することが可能となるという効果を奏する。
【００９８】
特に、動画像の長さに応じた数の索引画像が表示されるよう索引画像の表示態様を決定するようにしたので、例えば、表示された索引画像の数を見るだけで、動画像の長さをある程度把握することができるという効果を奏する。
【００９９】
特に、請求項４記載の画像表示装置または請求項１１記載の画像表示方法によれば、表示手段における索引画像を表示するための表示領域の大きさに応じて、表示領域に最適な数の索引画像が表示されるよう索引画像の表示態様を決定するようにしたので、例えば、利用する環境や目的等に応じて表示領域の大きさを変えた場合においても、常に表示領域の大きさに最適な状態で索引画像の表示を行うことができるという効果を奏する。
【０１００】
特に、請求項５ないし請求項７のいずれかに記載の画像表示装置または請求項１２ないし請求項１４のいずれかに記載の画像表示方法によれば、表示手段の表示環境および動画像の内容の少なくとも一つに応じて、保持された索引画像の中から表示すべき索引画像を取捨選択し、表示すべき索引画像のみが表示手段に表示されるよう索引画像の表示態様を決定するようにしたので、例えば、動画像の重要と思われる場面を考慮して、実際に表示すべき画像の取捨選択を行うことで、重要と思われる場面の索引画像を少ない表示領域で効率的に表示できると共に、全ての索引画像を表示しなくても、動画像の概要を把握することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】 第１図は、本発明の一実施の形態の画像表示装置が適用される動画像検索配信システムにおける各構成要素の機能構成を表すブロック図である。
【図２】 第２図は、この動画像検索配信システムのハードウェア構成を、その構成要素であるウェブサーバおよび端末装置の内部構成と共に表すブロック図である。
【図３】 第３図は、動画像サーバのハードウェア構成を表すブロック図である。
【図４】 第４図は、端末装置のディスプレイ装置に表示されたインターネットブラウザ画面の一例を表す図である。
【図５】 第５Ａ図〜第５Ｃ図は、一連の動画像から複数のＶＤインデックス画像を生成する概略の手順を表す説明図である。
【図６】 図６Ａ〜第６Ｃ図は、ある一区間の動画像から１枚のＶＤインデックス画像を生成する手順を表す説明図である。
【図７】 第７図は、端末装置、ウェブサーバおよびデータベースサーバにおける一連の動画像検索配信動作をそれぞれに区分して表す流れ図である。
【図８】 第８図は、第７図に続く流れ図である。
【図９】 第９Ａ図および第９Ｂ図は、インターネットブラウザ画面の大きさに応じたＶＤインデックス画像の表示手法について示す説明図である。
【図１０】 第１０図は、動画像の長さに応じたＶＤインデックス画像の表示手法について示す説明図である。
【図１１】 第１１図は、ＶＤインデックス画像の取捨選択の手法について示す説明図である。
【図１２】 第１２図は、第１１図に示した取捨選択の手法を３次元関数で近似した例について示す説明図である。
【図１３】 第１３図は、ＶＤインデックス画像の表示動作を示す流れ図である。
Claims (14)
- 複数の動画像を格納する動画像格納手段と、
前記動画像格納手段に格納された複数の動画像のそれぞれについて、その動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、前記動画像を静止画像として縮約して生成された索引画像を保持する索引画像保持手段と、
この索引画像保持手段により保持された索引画像を表示するための表示手段と、
この表示手段の表示環境および前記動画像の内容の少なくとも一つに応じて、前記表示手段に表示する索引画像の表示態様を決定する表示態様決定手段と
を備え、
前記表示態様決定手段は、前記動画像の長さに応じた数の索引画像が表示されるよう前記索引画像の表示態様を決定する機能を少なくとも有し、前記動画像の長さに応じた索引画像の表示数を、前記動画像格納手段に格納されている全ての動画像の長さの分布に基づいて決定する
ようになされている画像表示装置。 - 前記索引画像保持手段は、前記動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて生成された索引画像を保持する請求項１記載の画像表示装置。
- 前記表示態様決定手段は、前記動画像格納手段に格納された前記複数の動画像の長さの分布に変化があった場合には、その長さの分布の変化に応じて、前記動画像の長さに応じた索引画像の表示数を変化させる請求項１記載の画像表示装置。
- 前記表示態様決定手段は、さらに、前記表示手段における前記索引画像を表示するための表示領域の大きさに応じて、前記表示領域に最適な数の索引画像が表示されるよう前記索引画像の表示態様を決定する機能を有する請求項１記載の画像表示装置。
- 前記表示態様決定手段は、さらに、前記表示手段の表示環境および前記動画像の内容の少なくとも一つに応じて、前記索引画像保持手段により保持された索引画像の中から表示すべき索引画像を取捨選択し、表示すべき索引画像のみが前記表示手段に表示されるよう前記索引画像の表示態様を決定する機能を有する請求項１記載の画像表示装置。
- 前記表示態様決定手段は、さらに、重要と思われる画像が含まれる索引画像が、他の部分の索引画像より優先的に表示されるよう前記重要と思われる画像が含まれる索引画像に重み付けをして前記表示すべき索引画像の取捨選択を行う機能を有する請求項５記載の画像表示装置。
- 前記表示態様決定手段は、少なくとも動画像の最初または最後の部分に相当する索引画像が、他の部分の索引画像より優先的に表示されるよう前記少なくとも動画像の最初または最後の部分に相当する索引画像に重み付けをして、前記表示すべき索引画像の取捨選択を行う請求項５記載の画像表示装置。
- 複数の動画像を動画像格納手段が格納するステップと、
前記動画像格納手段に格納された複数の動画像のそれぞれについて、その動画像を構成するように時系列的に並べられた複数の静止画像に基づいて、前記動画像を静止画像として縮約して生成された索引画像を、索引画像保持手段が保持するステップと、
前記索引画像保持手段により保持された索引画像を表示手段が表示するステップと、
前記表示手段の表示環境および前記動画像の内容の少なくとも一つに応じて、前記表示手段に表示する索引画像の表示態様を、表示態様決定手段が決定するステップと
を含み、
前記表示態様決定手段が、前記動画像の長さに応じた数の索引画像が表示されるよう前記索引画像の表示態様を決定する機能を少なくとも有し、前記動画像の長さに応じた索引画像の表示数を、前記動画像格納手段に格納されている全ての動画像の長さの分布に基づ いて決定する画像表示方法。 - 前記索引画像保持手段が、前記動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて生成された索引画像を保持する請求項８記載の画像表示方法。
- 前記表示態様決定手段が、前記動画像格納手段に格納された前記複数の動画像の長さの分布に変化があった場合には、その長さの分布の変化に応じて、前記動画像の長さに応じた索引画像の表示数を変化させる請求項８記載の画像表示方法。
- 前記表示態様決定手段が、さらに、前記表示手段における前記索引画像を表示するための表示領域の大きさに応じて、前記表示領域に最適な数の索引画像が表示されるよう前記索引画像の表示態様を決定する機能を有する請求項８記載の画像表示方法。
- 前記表示態様決定手段が、さらに、前記表示手段の表示環境および前記動画像の内容の少なくとも一つに応じて、前記保持された索引画像の中から表示すべき索引画像を取捨選択し、表示すべき索引画像のみが前記表示手段に表示されるよう前記索引画像の表示態様を決定する機能を有する請求項８記載の画像表示方法。
- 前記表示態様決定手段が、重要と思われる画像が含まれる索引画像が、他の部分の索引画像より優先的に表示されるよう前記重要と思われる画像が含まれる索引画像に重み付けをして前記表示すべき索引画像の取捨選択を行う請求項１２記載の画像表示方法。
- 前記表示態様決定手段が、少なくとも動画像の最初または最後の部分に相当する索引画像が、他の部分の索引画像より優先的に表示されるよう前記少なくとも動画像の最初または最後の部分に相当する索引画像に重み付けをして、前記表示すべき索引画像の取捨選択を行う請求項１２記載の画像表示方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP1998/004191 WO2000017777A1 (fr) | 1998-09-17 | 1998-09-17 | Dispositif et procede de visualisation d'images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4240186B2 true JP4240186B2 (ja) | 2009-03-18 |
Family
ID=14209017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000571367A Expired - Fee Related JP4240186B2 (ja) | 1998-09-17 | 1998-09-17 | 画像表示装置および方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6734877B1 (ja) |
| JP (1) | JP4240186B2 (ja) |
| WO (1) | WO2000017777A1 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000017778A1 (fr) * | 1998-09-17 | 2000-03-30 | Sony Corporation | Dispositif et procede de generation d'images |
| US7145601B2 (en) * | 2000-01-14 | 2006-12-05 | Fuji Photo Film Co., Ltd. | Multi-modal reproducing apparatus and digital camera |
| EP1128656A3 (en) * | 2000-02-21 | 2002-01-09 | Fujitsu Limited | Image photographing system having data management function, data management device and storage medium |
| US7788686B1 (en) * | 2000-03-01 | 2010-08-31 | Andrews Christopher C | Method of and apparatus for describing, promoting, publishing, aggregating, distributing and accessing live content information |
| US20050280623A1 (en) * | 2000-12-18 | 2005-12-22 | Renesas Technology Corp. | Display control device and mobile electronic apparatus |
| US7176870B2 (en) | 2001-12-27 | 2007-02-13 | Renesas Technology Corp. | Display drive control circuit |
| JP2003009044A (ja) * | 2001-06-26 | 2003-01-10 | Canon Inc | 記録装置、再生装置及びその方法 |
| JP3940902B2 (ja) * | 2002-04-22 | 2007-07-04 | ソニー株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム及び情報処理装置の制御プログラムを記録した記録媒体 |
| JP4278434B2 (ja) * | 2003-05-19 | 2009-06-17 | パナソニック株式会社 | 通信装置、情報共有システムおよび情報共有方法 |
| US20050046727A1 (en) * | 2003-09-02 | 2005-03-03 | Nikon Corporation | Digital camera |
| US9042703B2 (en) * | 2005-10-31 | 2015-05-26 | At&T Intellectual Property Ii, L.P. | System and method for content-based navigation of live and recorded TV and video programs |
| US9020326B2 (en) | 2005-08-23 | 2015-04-28 | At&T Intellectual Property Ii, L.P. | System and method for content-based navigation of live and recorded TV and video programs |
| US7614018B1 (en) * | 2006-02-13 | 2009-11-03 | Google Inc. | Web based user interface for selecting options |
| JP4851839B2 (ja) * | 2006-05-09 | 2012-01-11 | シャープ株式会社 | 記録再生装置、番組表の表示方法 |
| JP2008236644A (ja) * | 2007-03-23 | 2008-10-02 | Fujifilm Corp | 撮影装置および画像再生装置 |
| JP2009076982A (ja) * | 2007-09-18 | 2009-04-09 | Toshiba Corp | 電子機器および顔画像表示方法 |
| JP5121367B2 (ja) * | 2007-09-25 | 2013-01-16 | 株式会社東芝 | 映像を出力する装置、方法およびシステム |
| JP2009080580A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 映像表示装置及び方法 |
| JP4834639B2 (ja) | 2007-09-28 | 2011-12-14 | 株式会社東芝 | 電子機器および画像表示制御方法 |
| JP4834640B2 (ja) | 2007-09-28 | 2011-12-14 | 株式会社東芝 | 電子機器および画像表示制御方法 |
| JP5388631B2 (ja) * | 2009-03-03 | 2014-01-15 | 株式会社東芝 | コンテンツ提示装置、及び方法 |
| US8717500B1 (en) | 2012-10-15 | 2014-05-06 | At&T Intellectual Property I, L.P. | Relational display of images |
| EP2840573A1 (en) * | 2013-08-21 | 2015-02-25 | Thomson Licensing | Method and apparatus for interactive review of multiple Datasets |
| CA2851826A1 (en) * | 2013-05-27 | 2014-11-27 | Thomson Licensing | Method and apparatus for interactive review of multiple datasets |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5437464A (en) * | 1991-08-30 | 1995-08-01 | Kabushiki Kaisha Sega Enterprises | Data reading and image processing system for CD-ROM |
| JPH0686166A (ja) * | 1992-09-02 | 1994-03-25 | Sony Corp | 画像データ処理方法と装置 |
| US5819103A (en) * | 1993-09-21 | 1998-10-06 | Kabushiki Kaisha Toshiba | Information recording/reproducing apparatus and method |
| US5596705A (en) * | 1995-03-20 | 1997-01-21 | International Business Machines Corporation | System and method for linking and presenting movies with their underlying source information |
| US6181867B1 (en) * | 1995-06-07 | 2001-01-30 | Intervu, Inc. | Video storage and retrieval system |
| JPH09312818A (ja) * | 1996-05-22 | 1997-12-02 | Hitachi Ltd | 動画提示方法 |
| US5963203A (en) * | 1997-07-03 | 1999-10-05 | Obvious Technology, Inc. | Interactive video icon with designated viewing position |
| JPH10228758A (ja) * | 1997-02-12 | 1998-08-25 | Sony Corp | 記録再生装置および方法 |
-
1998
- 1998-09-17 WO PCT/JP1998/004191 patent/WO2000017777A1/ja active Application Filing
- 1998-09-17 JP JP2000571367A patent/JP4240186B2/ja not_active Expired - Fee Related
-
2000
- 2000-05-15 US US09/571,052 patent/US6734877B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| WO2000017777A1 (fr) | 2000-03-30 |
| US6734877B1 (en) | 2004-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4240186B2 (ja) | 画像表示装置および方法 | |
| JP4240187B2 (ja) | 画像表示装置および方法 | |
| US6988244B1 (en) | Image generating apparatus and method | |
| US9990174B2 (en) | System and method for creating and navigating a linear hypermedia resource program | |
| US5884056A (en) | Method and system for video browsing on the world wide web | |
| US5905988A (en) | Method and apparatus for database transformation and adaptive playback | |
| JP3454764B2 (ja) | 内容ベースで映像を検索する検索システム及び検索方法 | |
| US6166735A (en) | Video story board user interface for selective downloading and displaying of desired portions of remote-stored video data objects | |
| US7849417B2 (en) | Image display system, image display method and image display program | |
| US8392834B2 (en) | Systems and methods of authoring a multimedia file | |
| KR101967036B1 (ko) | 비디오 콘텐츠를 검색하는 방법들, 시스템들, 및 매체들 | |
| US7428705B2 (en) | Web map tool | |
| US20020126143A1 (en) | Article-based news video content summarizing method and browsing system | |
| US20060288280A1 (en) | User-defined changing of page representations | |
| WO2011065285A1 (ja) | サーバ装置、端末装置、Ｗｅｂページ上への情報挿入方法、情報挿入プログラム、及びプログラムが記録された記録媒体 | |
| US20110099521A1 (en) | System for browsing through a music catalog using correlation metrics of a knowledge base of mediasets | |
| WO2009097492A1 (en) | Media navigation system | |
| KR20060052116A (ko) | 콘텐츠 매니지먼트 시스템 및 콘텐츠 매니지먼트 방법과,컴퓨터 프로그램 | |
| JP2004503854A (ja) | インターネット情報検索システム及びその方法 | |
| JP3982460B2 (ja) | コンテンツ連動型コメント表示方法、コメント表示システム、サーバ装置、コメント表示装置及びコメント表示プログラム及びコンピュータ読み取り可能な記録媒体 | |
| US20040088291A1 (en) | Retrieval condition setting method and retrieval condition setting apparatus | |
| WO2003098463A1 (en) | Transferring system for huge and high quality images on network and method thereof | |
| CN104584014A (zh) | 信息显示方法及程序 | |
| KR100319160B1 (ko) | 사건구간을기반으로하는동영상검색방법과검색데이타구성방법 | |
| JP2002175321A (ja) | コンテンツ提供システムおよび提供方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |