JP5662267B2 - 画像表示システム、情報処理装置、サーバ、および画像処理方法 - Google Patents

Description

本発明は、ディスプレイに表示する画像を拡大／縮小、または上下左右に移動させる画像処理技術に関する。

ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメント
システムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリ
ゴンを用いた三次元画像を生成する（例えば特許文献１参照）。

米国特許第６５６３９９９号公報

静止画、動画に関わらず、ユーザが操作する端末において様々な画像を表示させるためには、要求された画像のデータを格納するための記憶装置など十分なリソースの確保が必要となる。さらに、ユーザの指示入力により表示領域を移動させながら画像を表示する態様においては、高精細な画像であっても指示入力に対する十分な応答性が得られることが望ましい。一方で、端末が備える性能や画像表示の目的などによって、ユーザが考える最適な表示環境は多様化している。ネットワークを介して膨大な数のコンテンツを取得できる現代の環境において、コンテンツ、品質や応答性、課金体制、といった複数の要素の組み合わせを自由に選択することのできる技術が望まれている。

本発明はこのような課題に鑑みてなされたものであり、その目的は、ユーザの要求に合致した環境で多様な画像を表示することのできる技術を提供することにある。

本発明のある態様は画像表示システムに関する。この画像表示システムは、表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行うクライアント端末と、クライアント端末とネットワークを介して接続し、当該クライアント端末へ画像データを送信するサーバと、を備えた画像表示システムであって、クライアント端末は、少なくとも一部の画像の画像データを格納する第１記憶部と、表示領域移動要求信号に応じて、表示中の画像における表示領域の位置および大きさを表す領域パラメータを決定する領域パラメータ決定部と、領域パラメータによって定まる、表示に必要な画像データが第１記憶部に格納されている場合に、当該画像データを用いて表示領域の画像を描画し表示装置へ出力する表示画像処理部と、サーバへ表示領域の移動に係る情報を逐次送信する操作情報送信部と、表示に必要な画像データが第１記憶部に格納されていない場合に、サーバから送信された画像のデータを再生して表示装置へ出力するデータ再生部と、を備え、サーバは、少なくとも第１記憶部に格納されていない画像データを格納する第２記憶部と、操作情報送信部から送信された表示領域の移動に係る情報に基づき、第２記憶部に格納された画像データを用いて描画した表示領域の画像のデータをクライアント端末に送信するデータ送信部と、を備えたことを特徴とする。

本発明の別の態様は情報処理装置に関する。この情報処理装置は、表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行う情報処理装置であって、少なくとも一部の画像の画像データを格納する記憶部と、表示領域移動要求信号に応じて、表示中の画像における表示領域の位置および大きさを表す領域パラメータを決定する領域パラメータ決定部と、領域パラメータによって定まる、表示に必要な画像データが記憶部に格納されている場合に、当該画像データを用いて表示領域の画像を描画し表示装置へ出力する表示画像処理部と、ネットワークを介して接続したサーバへ表示領域の移動に係る情報を逐次送信する操作情報送信部と、表示に必要な画像データが記憶部に格納されていない場合に、サーバが表示領域の移動に係る情報に基づき描画し送信した表示領域の画像のデータを再生して表示装置へ出力するデータ再生部と、を備えたことを特徴とする。

本発明のさらに別の態様はサーバに関する。このサーバは、ネットワークを介して接続したクライアント端末であって表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行うクライアント端末から、表示領域の移動に係る情報を取得する操作情報受信部と、少なくともクライアント端末の記憶装置に格納されていない画像データを格納する記憶部と、表示領域の移動に係る情報によって定まる、表示に必要な画像データがクライアント端末の記憶装置に格納されていない場合に、記憶部に格納された画像データを用いて描画した表示領域の画像のデータをクライアント端末に送信するデータ送信部と、を備えたことを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、情報処理装置において、表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行う画像処理方法であって、表示領域移動要求信号に応じて、表示中の画像における表示領域の位置および大きさを表す領域パラメータを決定するステップと、領域パラメータによって定まる、表示に必要な画像データが情報処理装置の記憶部に格納されている場合に、当該画像データを用いて表示領域の画像を描画し表示装置へ出力するステップと、情報処理装置にネットワークを介して接続したサーバへ表示領域の移動に係る情報を逐次送信するステップと、表示に必要な画像データが情報処理装置の記憶部に格納されていない場合に、サーバが表示領域の移動に係る情報に基づき描画し送信した表示領域の画像のデータを再生して表示装置へ出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、ユーザの要求に合致した品質、応答性で多様な画像を表示できる。

本実施の形態における画像表示システムの構成を示す図である。 本実施の形態における情報処理装置の構成を示す図である。 本実施の形態における入力装置の外観構成例を示す図である。 本実施の形態のリンクを導入した態様において表示対象となる複数の画像の関係を模式的に示す図である。 本実施の形態において処理対象となる階層データの概念図である。 本実施の形態において階層データを含む複数の画像データにリンクを設定した様子を模式的に示す図である。 本実施の形態におけるクライアント端末の情報処理装置における制御部の構成を詳細に示す図である。 本実施の形態におけるサーバの機能ブロックの構成を示す図である。 本実施の形態においてクライアント端末が保持するリンク設定ファイルのデータ構造例を示す図である。 本実施の形態においてサーバが保持するリンク設定ファイルのデータ構造例を示す図である。 本実施の形態においてリンク領域に対し設定する切り替え領域の例を模式的に示す図である。 本実施の形態における画像表示システムによってクライアント端末に画像表示を行う処理手順示すフローチャートである。

図１は本実施の形態における画像表示システムの構成を示す。同図に示すように画像表示システム２においてクライアント端末１ａ、１ｂ、・・・、１ｎは、それぞれネットワーク３に接続可能に構成され、サーバ５とのデータの送受を行う。クライアント端末１ａ、１ｂ、・・・、１ｎは自らが保持する画像データを用いて画像表示を行うとともに、サーバ５から送信される画像データを用いた画像表示も行う。後述するように本実施の形態ではユーザによる表示領域移動要求によって、画像データの読み出し元をシームレスに切り替える。クライアント端末１ａ、１ｂ、・・・、１ｎはネットワーク３へ有線または無線で接続する。サーバ５との通信の確立に係る手続きは一般的な技術を適用することができる。

クライアント端末１ａ、１ｂ、・・・、１ｎはそれぞれ、サーバ５とのデータの送受信や画像処理を実行する情報処理装置１０ａ、１０ｂ、・・・、１０ｎと、情報処理装置１０ａ、１０ｂ、・・・、１０ｎによる画像処理の結果を出力する表示装置１２ａ、１２ｂ、・・・、１２ｎとを備える。表示装置１２ａ、１２ｂ、・・・、１２ｎは、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。以後の説明では各符号を総称し、クライアント端末１、情報処理装置１０、表示装置１２とする。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。

図２は情報処理装置１０の構成を示している。情報処理装置１０は、入力装置２０、スイッチ４２、表示処理部４４、音声処理部４５、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０、および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。

入力装置２０はユーザが表示装置１２に表示された画面を見ながら行った要求、例えばカーソルを移動させたり、ファイルやコマンドを選択したりする要求や、画面のスクロール、拡大／縮小の要求を受け付け、制御部１００に信号として伝送する。入力装置２０はポインティングデバイス、マウス、キーボード、タッチパネル、ゲームコントローラ、ボタンなど一般的な入力装置で実現できる。入力装置２０と制御部１００は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。またはケーブルを介して接続してもよい。

スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部のネットワーク３に接続し、サーバ５から画像データなどを受信できるように構成される。

ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読み出し専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。表示装置１２に表示する画像データ、各処理の実行に必要なプログラムや各種データは、ハードディスクドライブ５０や、リムーバブル記録媒体、ＲＯＭディスクなどに格納されていてよい。

制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（PowerPC Processor Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic Processor Unit）と呼ばれる。

制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。

メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができる。また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像データを出力する。音声処理部４５は、制御部１００で再生された音声信号をスピーカへ出力する。

図３は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。

情報処理装置１０において、入力装置２０の操作手段には、表示画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小要求を入力でき、また手前から押すことで、表示画像の拡大要求を入力できる。

また、上下左右方向へのスクロール要求の入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向への移動要求を入力できる。なおこれらの要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。以後、表示画像の拡大／縮小、および上下左右方向へのスクロールをまとめて「表示領域の移動」と呼ぶ場合もある。

本実施の形態ででは、複数の画像データを表示対象として用意し、ユーザが表示領域を移動させることにより表示画像が画像データ間を行き来することを可能にする。すなわちある画像を表示中、あらかじめ設定された領域内に表示領域が入ったとき、表示に用いる画像データを切り替える。切り替え前後の画像は同じ対象物を異なる解像度の範囲で表すデータでもよいし、全く異なる対象物を表すデータでもよい。

また静止画でも動画でもよい。このような態様を実現するため、画像自体のデータとともに、別の画像データへ切り替えるための領域および切り替え先の画像データを設定したデータを準備する。以後、このよう複数の画像データ間の関連づけを「リンク」、リンクによって画像データを切り替えることを「リンクの実行」、リンク実行のきっかけとなる画像上の領域を「リンク領域」と呼ぶ。

図４はそのような態様において表示対象となる複数の画像の関係を模式的に示している。同図では、画像１５６、１５８、１６０なる３つの画像を表示対象としている。そして画像１５６のリンク領域１６２と画像１５８のリンク領域１６３にリンクが設定されており、画像１５６のリンク領域１６４と画像１６０のリンク領域１６５にリンクが設定されているとする。画像１５６の画像データを用いて表示画像を生成中、ユーザの移動要求により表示領域がリンク領域１６２に重なると、画像１５６から画像１５８へ表示に用いる画像データを切り替え、画像１５８内のリンク領域１６３を表示する（矢印Ａ）。

図４の例では、画像１５６のうち主に５角形を中心とする領域を高解像度で表した画像を、別の画像１５８のデータとしてハードディスクドライブ５０に格納しておく。そしてリンク領域１６２とリンク領域１６３は同じ視野角を有するように設定する。すると、画像１５６より高解像度の画像を、画像１５８のデータを用いて連続的に表示することができる。このとき外観上は五角形にズームインしていくのみで、画像データが切り替えられるため、そのような切り替わりが行われたことをユーザが意識することはない。

またリンク領域１６２とリンク領域１６３は、図に示すように矢印Ａと逆方向のリンク、矢印Ｂも設定されている。この場合、矢印Ａの遷移後、画像１５８の所望の領域を表示したユーザが、表示領域を戻し、当該表示領域が再びリンク領域１６３に重なったとき、画像１５８から画像１５６へ表示に用いるデータを切り替え、画像１５６内のリンク領域１６２を表示する（矢印Ｂ）。この場合も、画像１５８における表示領域を戻していくのみで、画像データの切り替わりを意識することなく連続的な切り替えが可能となる。

リンク領域１６４からリンク領域１６５への遷移（矢印Ｃ）も同様に、画像１５６を表示中、楕円形をズームインしていき表示画像がリンク領域１６４に重なったときに、画像データを切り替え、画像１６０のリンク領域１６５を表示する。これにより、画像１５６より高解像度の画像表示が可能となる。なおここで２つの領域が「重なる」とは領域の境界線が厳密に重なっていなくてもよく、後述するように解像度方向、あるいは画像平面上で、設定された範囲内にあればよい。

このような画像データ間のリンクをより効果的に演出するため、画像データを、一つの画像を異なる解像度で表した複数のデータからなる階層構造とすることが考えられる。そしてユーザの指示入力によって画像を拡大／縮小処理する際は、解像度に応じて描画に使用するデータの階層を切り替える。このようにすると、１単位の画像データを用いて表すことのできる解像度の幅が格段に増加するため、リンク領域の設定に対する自由度が増し、画像を用いたコンテンツやサービスを多様化させることができる。以後、このような階層構造を有する画像データを「階層データ」と呼ぶ。

図５は階層データの概念図を示す。階層データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。

図５に示す階層データは４分木の階層構造を有し、各階層は１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、第３階層３６、第２階層３４、第１階層３２、第０階層３０の順で解像度が小さくなっている。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。

階層データは所定の圧縮形式で圧縮された状態でハードディスクドライブ５０に格納しておき、表示装置１２に表示される前にハードディスクドライブ５０から読み出してデコードする。ここで圧縮形式は限定されず、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式のいずれでもよい。

階層データの階層構造は、図５に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。情報処理装置１０は、入力装置２０から供給される、画面のスクロールや拡大／縮小の指示入力信号からフレームの変更量を導出すると、その変更量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。

仮想空間におけるフレーム座標は、後述するメインメモリへの圧縮データのロードおよびフレームの描画処理に利用される。例えば表示画像の解像度の変更に対しては、Ｚ軸上で各階層の間に切り替え境界を設定しておく。そして表示領域移動要求信号によりフレームのＺ座標が当該切り替え境界を越えたときに、表示画像の描画に使用する階層を切り替える。そして必要に応じてロードおよびデコードを行い、要求された解像度に合わせて拡大／縮小することにより表示画像を生成する。

なお、仮想空間におけるフレーム座標の代わりに、情報処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせもフレーム座標と呼ぶ。さらに処理対象の画像を階層構造としない場合は画像平面の２次元空間でフレーム座標を表してよい。またフレーム座標に代わり、フレーム、すなわち表示領域の位置および大きさが定まる別のパラメータを導入してもよい。例えば画像に対する視点の位置、フレームの重心座標と辺の大きさ、基準フレームからの相対位置および相対サイズなどでもよい。

フレーム座標はさらに、設定されたリンク領域との内外判定によって、リンク実行の可否を判断する際にも利用される。さらにリンク領域の近傍に設定された切り替え領域との内外判定によって、リンク実行可否を判断する主体を、クライアント端末１とサーバ５で切り替える際にも利用される。

情報処理装置１０は、画面の拡大／縮小処理やスクロール処理を行う際に表示をスムーズに更新するために、階層データの一部をハードディスクドライブ５０からメインメモリ６０にロードしておく。またそれまでの表示領域の移動方向をもとに、将来表示するであろう領域を先読みし、メインメモリ６０にロードした画像データのさらに一部をデコードしてバッファメモリ７０に格納してもよい。これにより、後の必要なタイミングで、表示領域の描画に使用する画像データを瞬時に切り替えることが可能となる。

図６は階層データを含む複数の画像データにリンクを設定した様子を模式的に示している。同図の例では３つの階層データ１７０、１７２、１７４および１つの動画データ１８２にリンクが設定されており、リンク領域の対応を点線矢印で示している。例えば、階層データ１７０を用いて画像を表示中、第２階層に設定されたリンク領域１７６に表示領域が重なったとき、階層データ１７２の第０階層を用いた表示に切り替える（リンクａ）。この場合、リンク先のリンク領域は階層データ１７２の第０階層の画像全体となる。

このような設定により、階層データ１７０を用いた画像表示においてリンク領域１７６付近をズームインしていくと、まず階層データ１７０の第０階層、第１階層、第２階層と、画像描画に用いるデータが切り替わり、さらに、階層データ自体が階層データ１７２に切り替わるため、リンク領域１７６内の対象物をより拡大していくことが可能となる。

逆に、階層データ１７２を用いて画像を表示中、第０階層の解像度までズームアウトしたら、階層データ１７０のリンク領域１７６へ画像を戻す。同様に、階層データ１７２を用いて画像を表示中、第２階層に設定されたリンク領域１７８に表示領域が重なったとき、階層データ１７４の第０階層を用いた表示に切り替える（リンクｂ）。その後、階層データ１７４の第０階層の解像度までズームアウトしたら、階層データ１７２のリンク領域１７８へ画像を戻す。

上述のようにこれらの階層データで表される対象物は同一の物でもよいし、全く別の物でもよい。後者の場合、画像データの切り替わりとともに別の画像世界が展開するような演出を実現できる。一方、階層データ１７０には別のリンク領域１８０が設定されており、そのリンク先を動画データ１８２としている（リンクｃ）。例えばリンク元のリンク領域１８０には当該動画のタイトル画像を埋め込んでおき、当該領域をズームアップしていくと動画再生が開始されるようにすることができる。

リンク先は階層データ、動画データに限らず、階層構造を持たない静止画データ、スライドショーによって順次表示される複数の静止画データ、音声データなどでもよい。リンク先を動画データ、音声データとした場合、ユーザが再生を停止させたときや再生が完了したときにリンク元の画像に戻るようにしてもよい。リンク先が動画データ、音声データなど、それまで処理していた画像データ以外の種類のデータである場合は、処理対象のデータを切り替えるのみならず、当該データを再生、処理するための機能を適宜起動させる。

このように本実施の形態では、階層データであるか否かに関わらず、また静止画データ、動画データ、音声データに関わらず、最初に表示する初期画像を起点として複数の電子データをリンクによって接続することにより、表示領域の移動をきっかけとした様々なコンテンツの実行を実現する。リンクの設定に必要な情報は基本的に、リンク元の領域を表す情報、リンク先のデータに係る情報、当該リンク先が画像であった場合のリンク先の領域を表す情報、のセットとなる。以後、このような設定を既述したファイルを「リンク設定ファイル」と呼ぶ。リンク設定ファイルの具体例は後に示す。

このようなしくみを利用して個々の電子データを多様に接続することにより、各データをノードとするネットワークを無限に展開していくことができる。しかしながらクライアント端末１における限られた記憶領域では格納できるデータ量は限られる。一方、ネットワーク３を介してデータを配信する場合は、応答性などの出力性能が、ネットワーク環境、クライアント端末が備えるリソース、データサイズなどによって変化しやすい。

本実施の形態では、リンクが設定された複数のデータの一部をクライアント端末１が保持し、クライアント端末１における表示領域の移動に伴い、必要に応じてサーバ５がデータ配信を行う態様とする。これにより統一された操作性の元、データネットワーク上でアクセス可能な範囲を広げつつ、クライアント端末１で保持されているか否かによってデータの区別を明確し、品質管理や課金制御を容易にする。

例えば図６で示したデータネットワークのうち、階層データ１７０および１７２をクライアント端末１のハードディスクドライブ５０に格納する。そしてクライアント端末１が保持しないデータをリンク先とするリンクｂやリンクｃを実行する際には、データの読み出し元を自らのハードディスクドライブ５０からサーバ５へ切り替える。同図において一点鎖線１８４がその切り替え境界を表している。切り替え境界を越えるデータについては、サーバ５がデータストリームの形式でクライアント端末１へ送信し、クライアント端末１は送信されたストリームを順次再生出力していく。

クライアント端末１とサーバ５とで、同一の画像データに対し同様のリンク設定ファイルを保持しておくことにより、クライアント端末１における表示領域の移動やリンクの実行をサーバ５側でトレースすることができる。ただしリンク先のデータの読み出し元を明確にするため、リンク設定ファイルにおけるリンク先のデータに係る情報は、データの読み出し元、および、どちらが保持するリンク設定ファイルかによってそのフォーマットを変化させる。この情報は、クライアント端末１でのデータの取得状況に応じて適応的に変化させる。

図７はクライアント端末１の情報処理装置１０における制御部１００の構成を詳細に示している。制御部１００は、入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、次に表示すべきフレームのフレーム座標を決定するフレーム座標決定部１１０、新たにロードすべきデータを決定しハードディスクドライブ５０からロードするロード部１１２、画像データをデコードするデコード部１１４、表示領域の画像を描画する表示画像処理部１１６、動画データを再生する動画再生部１１８、および音声データを再生する音声再生部１２０を含む。

制御部１００はさらに、リンクの実行およびサーバ５への情報送信の必要性を判定するリンク判定部１０６、クライアント端末１における操作情報をサーバ５へ送信する操作情報送信部２１０、サーバ５からデータを受信するデータ受信部１０８を含む。ハードディスクドライブ５０には、画像データ、動画データ、音声データ、リンク設定ファイルが格納されている。上述のとおりリンク設定ファイルはリンク元の画像データごとに作成しておく。

図７および後述の図８において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メインメモリ６０にロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協働して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

入力情報取得部１０２は、ユーザが入力装置２０に対して入力した、画像表示の開始／終了、画像ファイルの選択、表示領域の移動などの指示内容を取得する。フレーム座標決定部１１０は、現在の表示領域のフレーム座標とユーザが入力した表示領域移動要求の情報に従い、フレームレートで決定される各時刻のフレーム座標を決定する。すなわち入力装置２０から取得した表示領域移動要求信号から移動速度ベクトルを算出し、それに応じて各時刻のフレーム座標を決定する。当該フレーム座標の情報はまず、リンク判定部１０６に通知される。

リンク判定部１０６は、ハードディスクドライブ５０からあらかじめロードしておいた、その時点で表示対象となっている画像に対応するリンク設定ファイルを参照しながら、フレーム座標決定部１１０から通知されたフレーム座標がリンク領域と重なるか否かを監視する。ここでリンク設定ファイルに設定されるリンク先には、ハードディスクドライブ５０に格納されているデータと、サーバ５が保持するデータが混在していてよい。

リンク先がハードディスクドライブ５０に格納されているデータの場合、リンク先のデータに係る情報としてデータの識別情報を設定しておく。リンク先がサーバ５が保持するデータの場合は、サーバ５を識別する情報を設定し、具体的なデータの識別情報を設定しなくてもよい。これは、サーバ５が保持するデータへのリンクの実行を、実質的にはサーバ５側で行うためである。

そしてリンク判定部１０６は、ハードディスクドライブ５０に格納されているデータをリンク先とするリンク領域にフレームが重なったとき、リンクを実行すると判定し、リンク先のデータの識別情報をフレーム座標決定部１１０に返す。このようにして通知されたリンク先のデータが画像データであった場合、フレーム座標決定部１１０は、先に決定したフレーム座標を、リンク先の画像の座標系でのフレーム座標に変換する。リンク設定ファイルでは、リンク元の画像におけるリンク領域とリンク先の画像におけるリンク領域との対応づけがなされているため、座標変換は容易に行える。

フレーム座標決定部１１０はさらに、画像データの識別情報と決定したフレーム座標をロード部１１２、デコード部１１４、表示画像処理部１１６に通知する。ただしリンク判定部１０６においてリンクを実行すると判定された場合は、リンク先の画像データの識別情報と座標変換後のフレーム座標を通知する。リンク先が動画データまたは音声データであった場合は、その識別情報をロード部１１２に通知する。リンク先のデータの種別は、リンク設定ファイルにおけるリンク先のデータの識別情報にその情報を含めておくことによって判断する。識別情報をデータのファイル名とした場合、データの種別は一般的な拡張子を使用することによって判断できる。

一方、リンク判定部１０６は、サーバ５が保持するデータをリンク先とするリンク領域の所定の範囲内にフレームが入ったとき、リンク先の情報として設定されているサーバ５の識別情報、およびその時点で表示に用いられている画像データの識別情報を操作情報送信部１０４に通知する。操作情報送信部１０４はリンク判定部１０６からの通知を受け、サーバ５との通信を確立し、その時点で表示に用いられている画像データの識別情報を通知する。さらにフレーム座標決定部１１０からフレーム座標の取得を開始し、当該情報をサーバ５へ順次転送する。

表示領域がリンク領域に実際に重なる前、入ると予測できるほどリンク領域に近づいたときにサーバ５との通信を確立し、クライアント端末１における操作情報を送信しておく。これにより、実際にリンク領域に重なった際のサーバ５側でのリンクの実行を円滑に行うことができる。そのためリンク領域を含む所定の大きさの領域を切り替え領域として設定しておく。切り替え領域は、リンク設定ファイルにおいてリンク領域ごとに個別に設定してもよいし、全てのリンク領域に対し同じ範囲としてもよい。

リンク判定部１０６はさらに、フレームが切り替え領域から出た場合などにその旨の通知をサーバ５から取得し、それを操作情報送信部１０４に通知する。このとき操作情報送信部１０４は、サーバ５へのフレーム座標の送信を終了する。あるいはリンク判定部１０６自身が、フレームが切り替え領域から出たか否かを判定してもよい。

ロード部１１２は、フレーム座標決定部１１０からの情報に基づき、メインメモリ６０にロードしておくべきタイル画像を決定したうえ、まだロードされていないタイル画像がある場合に、当該タイル画像のデータをハードディスクドライブ５０からメインメモリ６０へロードする。メインメモリ６０にロードしておくべきタイル画像とは、フレーム座標決定部１１０から通知されたフレームに含まれるタイル画像のほか、その周囲の所定範囲内のタイル画像、および、過去のフレーム座標の推移から今後必要と予測される領域のタイル画像などである。

このようなタイル画像には、今後必要と予測されるリンク先の画像も含まれる。直後の表示画像の描画に必要なデータ以外のデータについては、例えば所定の時間間隔で定常的にロードしてもよい。ロード部１１２はさらに、フレーム座標決定部１１０から通知された動画データの識別情報、または音声データの識別情報に基づき、当該ファイルをハードディスクドライブ５０から動画再生部１１８または音声再生部１２０に供給する。

デコード部１１４はフレーム座標決定部１１０から取得したフレーム座標の情報に基づき、メインメモリ６０からタイル画像のデータを読み出してデコードし、バッファメモリ７０に格納する。このとき、直後に表示すべきフレームのデータのうちバッファメモリ７０に未格納のものを優先してデコードし、さらにその周囲や、今後表示すると予測される領域などを、所定の規則に則りデコードする。表示画像処理部１１６は、フレーム座標決定部１１０から取得した、次のフレームのフレーム座標に基づき、バッファメモリ７０から対応する画像データを読み出し、表示処理部４４のフレームメモリにフレームの画像を描画する。

データ受信部１０８は、クライアント端末１における表示領域の動きに応じてサーバ５から送信されたデータを受信する。ここで受信するデータは、表示領域移動要求に応じて静止画像における表示領域が移動していく動画、リンク先としてあらかじめ設定されている動画あるいは音声のデータを、サーバ５が低遅延コーデックでリアルタイムに送信したものである。このようにリンク先が階層データなどの静止画像であっても、その表示領域を移動させている模様を動画のストリームとしてリアルタイムに送信することにより、階層データそのものを送信する必要はなくなる。

動画再生部１１８は、ロード部１１２がハードディスクドライブ５０からロードした動画データ、あるいはデータ受信部１０８がサーバ５から受信した動画データを再生し、表示処理部４４に出力する。音声再生部１２０は、ロード部１１２がハードディスクドライブ５０からロードした音声データ、あるいはデータ受信部１０８がサーバ５から受信した音声データを再生し、音声処理部４５に出力する。

サーバ５からデータが送信されている期間は、当該データを優先して出力する。これにより出力データの読み出し元が切り替わることになる。このような構成により、データの読み出し元がハードディスクドライブ５０かサーバ５かに関わらず、表示領域の移動要求をきっかけとした表示画像の更新、リンク先の動画表示、音声再生を、見かけ上、同様に実現することができる。

サーバ５は基本的には図２で示した情報処理装置１０と同様の構成を有していてよい。図８はサーバ５の機能ブロックの構成を示している。サーバ５は、リンク設定ファイルを格納したリンク設定ファイル記憶部２４６、画像データ、動画データ、音声データを格納したデータ記憶部２４４を備える。

サーバ５はさらに、クライアント端末１から操作情報を受信する操作情報受信部２３０、リンクの実行、およびクライアント端末１からの情報受信の必要性を判定するリンク判定部２３２、各フレームのフレーム座標を決定するフレーム座標決定部２３４、新たにロードすべきデータを決定しデータ記憶部２４４からロードするロード部１１２、画像データをデコードし表示領域の画像を動画のフレームとして描画するフレーム描画部２３８、動画データまたは音声データをクライアント端末１へ送信するデータ送信部２４２を含む。

リンク設定ファイル記憶部２４６は、情報処理装置１０のハードディスクドライブ５０に格納されているリンク設定ファイルと同じ構造を有するリンク設定ファイルを記憶する。サーバ５は通常、全てのデータの情報を把握しているため、サーバ５が保持するリンク設定ファイルにおける、リンク先のデータに係る情報は、当該データの識別情報となる。ただしリンク先のデータをクライアント端末１でも保持する場合、その旨を表す情報をリンク先のデータに係る情報に含めることにより、読み出し元をクライアント端末１のハードディスクドライブ５０へ切り替える。

このようにすると、リンク設定ファイル記憶部２４６が記憶するリンク設定ファイルは、クライアント端末１がどのようなデータを保持しているかによって異なることになる。したがって図１に示す画像表示システム２のようにサーバ５が複数のクライアント端末１ａ、１ｂ、・・・、１ｎと接続する態様においては、クライアント端末ごとにリンク設定ファイルを準備する。

操作情報受信部２３０はクライアント端末１の操作情報送信部１０４からの要求に従い通信を確立し、その時点でクライアント端末１で表示されている画像データの識別情報を受信する。さらにフレーム座標をリアルタイムで受信する。リンク判定部２３２は、リンク設定ファイル記憶部２４６が記憶するリンク設定ファイルを参照しながら、当該フレームがリンク領域に重なるか否かを監視する。

そして、クライアント端末１が保持しないデータをリンク先とするリンク領域にフレームが重なったとき、リンク判定部２３２はリンクを実行すると判定する。そしてリンク先のデータが画像データであった場合、その識別情報をフレーム座標決定部２３４に通知する。一方、当該データが動画データまたは音声データであった場合は、当該データの識別情報をロード部２３６に通知する。

リンク判定部２３２はさらに、クライアント端末１からフレーム座標が送信されるきっかけとなった切り替え領域からフレームが出たとき、あるいはクライアント端末１が保持するデータをリンク先とするリンク領域へフレームが入ったときに、クライアント端末１のリンク判定部１０６にその旨を通知する。

リンク判定部２３２がリンクの実行を判定したとき、フレーム座標決定部２３４は操作情報受信部２３０から受信したフレーム座標を、リンク判定部２３２から通知されたリンク先の画像の座標系におけるフレーム座標に変換する。フレーム座標決定部２３４は、リンク先の画像データの識別情報と座標変換後のフレーム座標をロード部２３６およびフレーム描画部２３８に通知する。ロード部２３６はフレーム座標決定部２３４からの情報に基づき、データ記憶部２４４から必要なデータを図示しないメモリにロードする。

フレーム描画部２３８はフレーム座標に基づき、メモリからデータを読み出してデコードし、図示しないバッファメモリに格納するとともに、フレームの画像を描画する。ロード部２３６およびフレーム描画部２３８の動作は、上述した、情報処理装置１０におけるロード部１１２およびデコード部１１４、表示画像処理部１１６の動作と同じでよい。ただしフレーム描画部２３８は、描画した画像をフレームとする動画像データを所定の形式で圧縮符号化したうえ、データ送信部２４２に逐次供給する。

ロード部２３６はさらに、リンク判定部２３２から通知されたリンク先の動画データの識別情報、または音声データの識別情報に基づき、当該データをデータ記憶部２４４からロードし、データ送信部２４２に逐次供給する。データ送信部２４２は、ロード部２３６またはフレーム描画部２３８から供給された、動画データまたは音声データを、クライアント端末１のデータ受信部１０８に逐次送信する。

図９および図１０はリンク設定ファイルのデータ構造例を示す。図９に示すリンク設定ファイル２２ａはクライアント端末１のハードディスクドライブ５０に、図１０に示すリンク設定ファイル２２ｂはサーバ５のリンク設定ファイル記憶部２４６に、それぞれ格納され、同じ画像データに対応づけられたものである。リンク設定ファイル２２ａ、２２ｂは、一行の記述が一つのリンクに対応し、リンク元画像フレームフィールド３０２、有効スケール範囲フィールド３０４、リンク先ファイルフィールド３０６、およびリンク先画像フレームフィールド３０８、の４種類のフィールドによって構成される。

上述のとおり、クライアント端末１とサーバ５で同様のリンク設定ファイルを保持することにより、サーバ５においてクライアント端末１での表示に係る動きをトレースすることができる。したがって図９のリンク設定ファイル２２ａと図１０のリンク設定ファイル２２ｂにおいて、リンク元画像フレームフィールド３０２、有効スケール範囲フィールド３０４、およびリンク先画像フレームフィールド３０８はそれぞれ同じ設定となる。一方、上述のとおり、リンク先ファイルフィールド３０６におけるリンク先データに係る情報は、そのフォーマットが互いに異なる。

リンク元画像フレームフィールド３０２は表示中の画像において、別の画像データへの切り替えを発生させる領域、すなわちリンク領域を、所定のフレームパラメータで設定する。当該領域は、例えば図４のおける矢印Ｂのリンクにおけるリンク領域１６３に相当する。この例でフレームパラメータは、表示対象の画像の中心と同一の中心を有し、当該画像に外接する、縦横比が所定の値の矩形を基準フレームとしたときに、当該基準フレームからの横方向オフセット量の割合、縦方向オフセット量の割合、拡大率、および回転角、の４つのパラメータの値によって表されている。ただしリンク領域の設定手法はこれに限らず、図５で示した３次元空間における四隅の座標などでもよい。

有効スケール範囲フィールド３０４は、リンク元画像フレームフィールド３０２における拡大率を始点としてリンクが有効となる拡大率の幅を指定する。リンク設定ファイル２２ａ、２２ｂの１行目では、リンク元画像フレームフィールド３０２に示されたリンク領域の拡大率が「２．０」であり、有効スケール範囲フィールド３０４の値が「９８．０」であるため、拡大率が２．０〜１００．０までのフレームであればリンクを有効とし、画像データを切り替える、という設定となる。

例えば図４における矢印Ｂのリンクは、画像をズームアウト、すなわち画像１５８のリンク領域１６３より小さいフレームからフレームを拡大していき、リンク領域１６３と重なったときに画像１５６へと切り替わる。したがってフレームの拡大率が、リンク領域１６３の拡大率である「２．０」以上となったときにリンクを有効とするために、有効スケール範囲フィールド３０４の値を正の値とする。これにより、画像１５８の表示において拡大率を十分上げた後にリンク領域１６３を含む範囲に表示領域を移動させたとしてもリンクを有効とすることができる。

一方、図４における矢印Ａのリンクは、表示画像をズームイン、すなわち画像１５６のリンク領域１６２より大きいフレームからフレームを縮小していき、リンク領域１６２と重なったときに画像１５８へと切り替わる。したがって、リンク設定ファイル２２ａ、２２ｂの２行目のように、有効スケール範囲フィールド３０４を「−１．０」など負の値とする。リンク先ファイルフィールド３０６は、リンク先のデータに係る情報を設定する。例えばクライアント端末１側で保持するリンク設定ファイル２２ａにおいて、リンク先のデータをクライアント端末１側で保持する場合は当該データのファイル名を設定する。

リンク設定ファイル２２ａの１行目、２行目においては、「ｐａｒｅｎｔ＿０」、「ｃｈｉｌｄ＿０」なる名前の階層データが設定されている。したがって当該リンクが実行されるときは、情報処理装置１０のフレーム座標決定部１１０、ロード部１１２、デコード部１１４、表示画像処理部１１６の協働により、これらの階層データの画像がユーザの表示領域移動要求に従い表示される。

また３行目においては、リンク先のデータが「ＡＡＡ．ｍｐ４」と設定されている。その拡張子からＭＰＥＧ−４形式で圧縮された動画データであることがわかるため、リンク実行時、情報処理装置１０のロード部１１２は、「ｃｈｉｌｄ．ｍｐ４」なるファイル名の動画データをハードディスクドライブ５０から動画再生部１１８へ供給する。これにより当該動画が再生される。音声データも同様である。

一方、リンク先のデータをクライアント端末１側で保持しない場合は、リンク先ファイルフィールド３０６に、サーバ５のアドレス等を設定する。リンク設定ファイル２２ａの４行目においては、リンク先が「／ｓｅｒｖｅｒ１／ａａａ／」と設定されている。すなわち当該リンクにおけるリンク先のデータはクライアント端末１のハードディスクドライブ５０には格納されていないため、「／ｓｅｒｖｅｒ１／ａａａ／」で表されるサーバから出力データを取得する必要があることを意味している。

このようなリンクに対してクライアント端末１は、フレームが上述の切り替え領域に入った時点で、「／ｓｅｒｖｅｒ１／ａａａ／」で設定されたサーバ５と通信を確立し、フレーム座標を順次送信しておく。一方、サーバ５側で保持するリンク設定ファイル２２ｂのリンク先ファイルフィールド３０６には、リンク先のデータをクライアント端末１側で保持しない場合に当該データのファイル名を設定する。

すなわち図９のリンク設定ファイル２２ａで４行目のリンクに対する切り替え領域に入った時点で上述のとおりフレーム座標が送信されると、サーバ５では、図１０のリンク設定ファイル２２ｂを参照して、同じ４行目のリンクの実行可否を判断する。サーバ５が保持するリンク設定ファイル２２ｂでは、リンク先として「ＢＢＢ．ｍｐ４」なる名前の動画データが設定されているため、リンク実行時には当該動画データをクライアント端末１側へ送信することができる。

一方、リンク先のデータをクライアント端末１側が保持する場合は、リンク先ファイルフィールド３０６にはリンク先のデータのファイル名とともに、クライアント端末１が当該データを保持している旨の情報を付加する。図１０のリンク設定ファイル２２ｂでは、１行目〜３行目のリンクにおいて、それぞれのファイル名の前に「／ｃｌｉｅｎｔ１／」なる文字を加えることによって、当該データがクライアント端末１に保持されていることを示している。この文字情報はクライアント端末１のアドレスなどでもよい。

上述の例のようにフレームが４行目のリンクの切り替え領域に入ったためフレーム座標を受信していたサーバ５のリンク判定部２３２は、フレーム座標が当該リンクの切り替え領域から出た場合、あるいは１行目〜３行目のリンク領域、または当該リンクの切り替え領域に入った場合に、その旨をクライアント端末１のリンク判定部１０６へ通知する。これにより、クライアント端末１からのフレーム座標の送信を停止させる。

図９、１０で示す通り、リンク設定ファイルは、リンク先のデータをクライアント端末１で保持しているか否かによって設定内容が変化する。したがって、例えばクライアント端末１を操作するユーザがデータを購入してサーバ５から正式にダウンロードしたら、リンク設定ファイル２２ａ、２２ｂの双方を書き換える。このときクライアント端末１およびサーバ５は、ダウンロードを検知した際に、自らのリンク設定ファイルの書き換えを行う。

リンク先画像フレームフィールド３０８は、切り替え後のデータ、すなわちリンク先の画像におけるリンク領域のフレームを、当該画像に対するフレームパラメータで指定する。上述のとおりリンク設定ファイル２２ａ、２２ｂはリンク元の画像データごとに作成する。すなわち図４における矢印ＡおよびＣのリンクの情報は画像１５６のデータに対応するリンク設定ファイルに、矢印Ｂのリンク情報は画像１５８のデータに対応するリンク設定ファイルに、それぞれ記述する。このようにすることで、双方向にリンクが設定されていても、その動きは独立とすることができる。例えば図４において矢印Ａの遷移におけるリンク領域１６２、１６３と、矢印Ｂの遷移におけるリンク領域１６３、１６２は領域を異ならせることもできる。

図１１はリンク領域に対して設定する切り替え領域の例を模式的に示している。同図は図５で示したような３次元空間を構成する階層データに対し設定された、リンク領域２６０の部分を表している。このリンク領域２６０に対し、まず同じ解像度の画像平面（ＸＹ平面）上では、リンク領域２６０とその周囲の所定幅（ΔＸ，ΔＹ）の範囲を含む領域２６２を決定する。さらに当該領域２６２の画像を解像度方向（Ｚ軸方向）に所定の範囲（±ΔＺ）まで変化させた画像を解像度方向の上限／下限とする。

そのようにして構成される３次元の領域をリンク領域２６０の切り替え領域２６４とする。なお図９、１０で示したように、リンク領域そのものが解像度方向に幅を有する場合も同様に、当該解像度の上限、下限からさらに解像度を所定の範囲（±ΔＺ）まで変化させて切り替え領域を設定することができる。

次に、これまで述べた構成によって実現されるデータ供給システムの動作を説明する。図１２は画像表示システムによってクライアント端末に画像表示を行う処理手順示すフローチャートである。なお同フローチャートでは、継続して行う処理についても便宜上、１つの矩形で表している場合がある。まずユーザがクライアント端末１において初期画像の選択などを行い画像表示の開始を指示すると、クライアント端末１の情報処理装置１０において、ロード部１１２、デコード部１１４、表示画像処理部１１６などの協働によって初期画像が表示される（Ｓ３４）。

この状態においてユーザが表示領域移動の要求を入力すると（Ｓ３６）、リンク判定部１０６は、リンク設定ファイルに設定されたリンクのうち、クライアント端末１側でリンク先のデータを保持していないリンクの切り替え領域にフレームが入るか否かを判定する（Ｓ３８）。フレーム座標が切り替え領域に入っていない場合（Ｓ３８のＮ）、ロード部１１２、デコード部１１４、表示画像処理部１１６などの協働によって、当該フレーム座標によって定まる表示領域を表示することにより新たな表示画像が出力される（Ｓ４２）。

このとき、クライアント端末１側でリンク先のデータを保持するリンクのリンク領域にフレームが入っている場合は、当該リンク先の画像データへの切り替えを行う。リンク先が動画データまたは音声データであった場合は当該データを再生する。フレーム座標が切り替え領域に入っている場合（Ｓ３８のＹ）、操作情報送信部１０４はサーバ５との通信を確立し、その時点で表示している画像データの識別情報を送信したうえ、フレーム座標の送信を開始する（Ｓ４０）。

操作情報送信部１０４から送信された情報に基づき、サーバ５はクライアント端末１における表示領域のトレースを開始する（Ｓ４４）。このときロード部２３６、フレーム描画部２３８が、クライアント端末１のロード部１１２、デコード部１１４、表示画像処理部１１６と同様に動作することにより、実際の表示領域を描画するようにしてもよい。同時にリンク判定部２３２は、クライアント端末１で表示中の画像データに対応づけられたリンク設定ファイルを参照し、フレームが、クライアント端末１が保持しないデータをリンク先とするリンク領域へ入るか否か、および切り替え領域内にあるか否かを監視する（Ｓ４６、Ｓ５０）。

フレームが当該リンク領域へ入らず、切り替え領域から出ない場合は（Ｓ４６のＮ、Ｓ５０Ｎ）、その状態を維持する。この間、クライアント端末１では、新たなフレーム座標をサーバ５に送信しつつ、表示領域移動要求に応じて新たな表示画像を出力し続ける（Ｓ５４のＮ、Ｓ５６のＮ、Ｓ４０、Ｓ４２）。サーバ５においてリンク判定部２３２が、クライアント端末１が保持しないデータをリンク先とするリンク領域へフレームが入ったことを検知したら（Ｓ４６のＹ）、データ送信部２４２は、リンク先のデータをクライアント端末１へ送信する（Ｓ４８）。

送信するデータは上述の通り、リンク先の画像上を表示領域が移動していく動画像、リンク先として指定されている動画像、音声のいずれかまたはその組み合わせである。クライアント端末１では、サーバ５から送信されたデータが到達した時点から、当該データの再生を優先して行い出力する（Ｓ４２）。この間、サーバ５では、フレーム座標の移動に合わせた表示領域の移動画像、動画データ、音声データをストリームとして送信し続ける。クライアント端末１では表示領域の描画処理を中止し、フレーム座標のサーバ５への送信を継続する（Ｓ５４のＮ、Ｓ５６のＮ、Ｓ４０）。

このときクライアント端末１が送信するフレーム座標は、最初にＳ４０の処理によりフレーム座標を送信した時点で表示されていた画像に対するもののままでよい。サーバ５が当該フレーム座標を、リンク先の画像上のフレーム座標に変換することにより、リンク先がいかなる画像であるかをクライアント端末１が認識する必要がなくなる。あるいはフレーム座標に代わり、入力情報取得部１０２が取得した表示領域移動要求信号をそのまま転送するようにしてもよい。

クライアント端末１が保持しないデータをリンク先とするリンク領域からフレームが出たら、サーバ５はデータ送信を停止するが（Ｓ４６のＮ）、当該フレームが切り替え領域内にある間は（Ｓ５０のＮ）、リンク判定部２３２が監視を続ける。なお、リンク先の動画像や音声が最後まで再生された場合や、クライアント端末１が保持するデータへのリンクがさらに実行された場合などもＳ４６のＮと同様の処理手順へ進む。ただしクライアント端末１が保持するデータへのリンクが、元々表示していた画像と異なる画像や領域をリンク先とするものであった場合は、当該画像データの識別情報や、領域に係る情報をクライアント端末１へ送信する。

サーバからのデータ送信が停止したり、別の画像データまたは領域へのリンクの通知があった場合、クライアント端末１では自らが保持するデータを用いたデータ出力へ切り替える。フレームが切り替え領域から出た場合（Ｓ５０のＹ）、サーバ５のリンク判定部２３２はクライアント端末１にその旨の通知を行ったうえ、表示領域のトレースを終了する（Ｓ５２）。

クライアント端末１では当該通知を受け取ると（Ｓ５６のＹ）、サーバ５へのフレーム座標の送信を終了し（Ｓ５８）、フレームが再び切り替え領域に入るか否かを監視する（Ｓ３８）。以上の処理を繰り返すことにより、データがどこから読み出されているかに関わらず、クライアント端末１では同様の出力がなされる。その一方で、クライアント端末１が保持しないデータのみを、ストリーム形式でサーバ５から送信することにより、システム内部ではデータの区別がはっきりなされていることになる。

ネットワークサーバから画像データを送信してクライアント端末で表示する地図表示システムなどの従来技術では、画像データのネットワーク伝送およびクライアント端末でのキャッシング機構の双方を利用し、表示領域のデータがそろった時点で表示が更新されていた。このような形態では表示までの応答性が、ユーザの意図に関わらず一律に、伝送経路の帯域やキャッシュ機構の性能などに依存して決定される。

またクライアント端末でキャッシングされることにより、ユーザが本来所有しハードディスクドライブなどに格納しているデータとの区別があいまいである。そのため画像データの提供に対して課金しようとしても、そのための区切りを設定するのが困難である。

本実施の形態では、クライアント端末１における操作性は変化せず、シームレスにデータの読み出し元を切り替えることが可能な反面、クライアント端末１で保持しているか否かによってデータの区別がなされているため、その品質と課金管理をデータごとに容易に行える。例えばクライアント端末１で保持しない画像データをサーバ５から送信する場合は、本来の動画像や静止画像の予告編、抜粋、時間解像度や空間解像度の低いものとし、クライアント端末１では再生出力のみを行う。それを見たユーザが購入を決めたら、課金処理を経て本来の動画像や静止画像のデータをハードディスクドライブ５０にダウンロードする。

このようにすると、正規に購入したデータについては伝送経路の帯域やキャッシュ機構の性能などへの依存が少ない、品質や応答性の保証されたものとなり、購入前のデータは、その内容や品質が制御されたり、応答性が環境に依存したものとなる。結果としてユーザは、購入前のデータを程々に確認してから購入を決めることができるとともに、購入の如何に関わらず同じ操作での視聴が可能となる。またリソースの乏しい端末においてもリンクの機構によって膨大に広がるデータネットワークを辿り、様々なコンテンツを楽しむことができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば実施の形態では、クライアント端末１とサーバ５のいずれか一方がリンク実行の判定を行い、その結果を相手に通知することでその後のリンク実行処理を相手に委ねていた。一方、双方の装置において常にリンク実行の判定を行うことにより、相手の装置への通知を省略するようにしてもよい。この場合、表示領域が切り替え領域に入った時点などにサーバ５から前もってデータを送信しておき、クライアント端末１側でリンク実行の判定を行ったときに、サーバから送信されたデータへ出力を切り替える態様なども実現できる。

また実施の形態では、フレームが切り替え領域内にあるときのみ、サーバ５が、クライアント端末１における表示領域をトレースしていた。一方で、フレームの位置に関わらずサーバ５は常時、表示領域をトレースしてもよい。この場合、クライアント端末１が保持しないデータへのリンク実行時のみ、サーバ５がクライアント端末１へデータを送信してもよいし、クライアント端末１が保持しているか否かに関わらず全てのデータを送信し続けてもよい。後者の場合、クライアント端末１側で、自らがデータを保持しているか否かに応じてその読み出し元を切り替えるようにしてもよい。

１ クライアント端末、 ２ 画像表示システム、 ５ サーバ、 １０ 情報処理装置、 １２ 表示装置、 ２０ 入力装置、 ２２ａ リンク設定ファイル、 ２２ｂ リンク設定ファイル、 ３８ タイル画像、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 １００ 制御部、 １０２ 入力情報取得部、 １０４ 操作情報送信部、 １０６ リンク判定部、 １０８ データ受信部、 １１０ フレーム座標決定部、 １１２ ロード部、 １１４ デコード部、 １１６ 表示画像処理部、 １１８ 動画再生部、 １２０ 音声再生部、 ２３０ 操作情報受信部、 ２３２ リンク判定部、 ２３４ フレーム座標決定部、 ２３６ ロード部、 ２３８ フレーム描画部、 ２４２ データ送信部、 ２４４ データ記憶部、 ２４６ リンク設定ファイル記憶部。

Claims (14)

1. 表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行うクライアント端末と、前記クライアント端末とネットワークを介して接続し、当該クライアント端末へ画像データを送信するサーバと、を備えた画像表示システムであって、
   前記クライアント端末は、
   少なくとも一部の画像の画像データを格納する第１記憶部と、
   前記表示領域移動要求信号に応じて、表示中の画像における表示領域の位置および大きさを表す領域パラメータを決定する領域パラメータ決定部と、
   前記領域パラメータによって定まる、表示に必要な画像データが前記第１記憶部に格納されている場合に、当該画像データを用いて表示領域の画像を描画し表示装置へ出力する表示画像処理部と、
   前記サーバへ表示領域の移動に係る情報を逐次送信する操作情報送信部と、
   前記表示に必要な画像データが前記第１記憶部に格納されていない場合に、前記サーバから送信された画像のデータを再生して表示装置へ出力するデータ再生部と、
   を備え、
   前記サーバは、
   少なくとも前記第１記憶部に格納されていない画像データを格納する第２記憶部と、
   前記操作情報送信部から送信された表示領域の移動に係る情報に基づき、前記第２記憶部に格納された画像データを用いて描画した表示領域の画像のデータを前記クライアント端末に送信するデータ送信部と、を備え、
   前記第１記憶部および前記第２記憶部は、画像を表示中、表示領域が到達したときに別の画像へ表示を切り替えるためのリンク領域および切り替え後の画像に係る情報を設定したリンク設定ファイルを前記画像データに対応づけて格納し、
   前記クライアント端末の前記表示画像処理部は、表示中の画像のデータに対応づけられた前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記第１記憶部に格納されている場合に、当該画像のデータを用いて切り替え後の表示領域の画像を描画し表示装置へ出力し、
   前記サーバのデータ送信部は、前記切り替え後の画像のデータが前記第１記憶部に格納されていない場合に、前記領域パラメータを切り替え後の画像における領域パラメータに変換したうえ、当該画像のうち表示領域の画像のデータを送信することを特徴とする画像表示システム。
2. 前記クライアント端末の操作情報送信部は、前記領域パラメータによって定まる表示領域が、前記第１記憶部に格納されていない画像データを必要とする領域を含む所定の範囲に到達したとき、前記表示領域の移動に係る情報の送信を開始し、
   前記サーバのデータ送信部は、前記表示領域が、前記第１記憶部に格納されていない画像データを必要とする領域内にあるとき、前記画像のデータを前記クライアント端末に送信することを特徴とする請求項１に記載の画像表示システム。
3. 前記クライアント端末の前記操作情報送信部は、前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記第１記憶部に格納されていないリンク領域を含む所定範囲の切り替え領域に表示領域が到達したとき、前記領域パラメータの送信を開始し、
   前記サーバは、
   前記領域パラメータによって定まる表示領域が、切り替え後の画像のデータが前記第１記憶部に格納されていないリンク領域へ到達したことを検知するリンク判定部をさらに備え、
   前記データ送信部は、前記表示領域が当該リンク領域へ到達したことを前記リンク判定部が検知したとき、前記画像のデータを前記クライアント端末に送信することを特徴とする請求項１に記載の画像表示システム。
4. 前記第１記憶部に格納する画像データは、一つの画像を異なる解像度で表した複数の画像データを解像度順に階層化してなる階層構造を有し、前記リンク設定ファイルにおける前記リンク領域の設定は解像度の設定を含み、前記切り替え領域には、前記リンク領域の解像度を含む所定範囲の解像度が含まれることを特徴とする請求項３に記載の画像表示システム。
5. 前記サーバの前記リンク判定部は、前記表示領域が、切り替え後の画像のデータが前記第１記憶部に格納されているリンク領域へ到達したことをさらに検知し、
   前記データ送信部は、表示領域の画像のデータを前記クライアント端末に送信している状況において前記表示領域が当該リンク領域へ到達したことを前記リンク判定部が検知したとき、データの送信を停止し、
   前記クライアント端末の表示画像処理部は、前記データ送信部からのデータ送信が停止したとき、第１記憶部に格納されている切り替え後の画像のデータを用いて表示領域の画像を描画し表示装置へ出力することを特徴とする請求項３または４に記載の画像表示システム。
6. 前記クライアント端末の前記第１記憶部は、前記第１記憶部に格納されていない画像データを必要とする領域と、当該画像データを用いて描画した表示領域の画像のデータを送信可能なサーバの識別情報とを対応づけたサーバ情報を格納し、
   前記操作情報送信部は、当該サーバ情報に識別情報が記載されたサーバへ前記表示領域の移動に係る情報を送信することを特徴とする請求項２に記載の画像表示システム。
7. 前記リンク設定ファイルに設定された切り替え後の画像のデータは動画像データを含むことを特徴とする請求項１から３のいずれかに記載の画像表示システム。
8. 表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行う情報処理装置であって、
   少なくとも一部の画像の画像データを格納する記憶部と、
   前記表示領域移動要求信号に応じて、表示中の画像における表示領域の位置および大きさを表す領域パラメータを決定する領域パラメータ決定部と、
   前記領域パラメータによって定まる、表示に必要な画像データが前記記憶部に格納されている場合に、当該画像データを用いて表示領域の画像を描画し表示装置へ出力する表示画像処理部と、
   ネットワークを介して接続したサーバへ表示領域の移動に係る情報を逐次送信する操作情報送信部と、
   前記表示に必要な画像データが前記記憶部に格納されていない場合に、前記サーバが前記表示領域の移動に係る情報に基づき描画し送信した表示領域の画像のデータを再生して表示装置へ出力するデータ再生部と、
   を備え、
   前記画像データは、前記情報処理装置による画像表示中、表示領域が到達したときに別の画像へ表示を切り替えるためのリンク領域および切り替え後の画像に係る情報を設定したリンク設定ファイルと対応づけられ、
   前記表示画像処理部は、表示中の画像データに対応づけられた前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記記憶部に格納されている場合に、当該画像のデータを用いて切り替え後の表示領域の画像を描画し表示装置へ出力し、
   前記データ再生部は、前記切り替え後の画像データが前記記憶部に格納されていない場合に、前記サーバが前記領域パラメータを切り替え後の画像における領域パラメータに変換したうえ送信した、切り替え後の画像のうち表示領域の画像のデータを再生することを特徴とする情報処理装置。
9. ネットワークを介して接続したクライアント端末であって表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行うクライアント端末から、表示領域の移動に係る情報を取得する操作情報受信部と、
   少なくとも前記クライアント端末の記憶装置に格納されていない画像データを格納する記憶部と、
   前記表示領域の移動に係る情報によって定まる、表示に必要な画像データが前記クライアント端末の記憶装置に格納されていない場合に、前記記憶部に格納された画像データを用いて描画した表示領域の画像のデータを前記クライアント端末に送信するデータ送信部と、
   を備え、
   前記画像データは、前記クライアント端末による画像表示中、表示領域が到達したときに別の画像へ表示を切り替えるためのリンク領域および切り替え後の画像に係る情報を設定したリンク設定ファイルと対応づけられ、
   前記データ送信部は、前記クライアント端末において表示中の画像データに対応づけられた前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記クライアント端末の記憶装置に格納されていない場合に、前記表示領域の移動に係る情報から決定される表示領域の位置および大きさを表す領域パラメータを切り替え後の画像における領域パラメータに変換したうえ、当該画像のうち表示領域の画像のデータを前記クライアント端末に送信することを特徴とするサーバ。
10. 情報処理装置において、表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行う画像処理方法であって、
    前記表示領域移動要求信号に応じて、表示中の画像における表示領域の位置および大きさを表す領域パラメータを決定するステップと、
    前記領域パラメータによって定まる、表示に必要な画像データが前記情報処理装置の記憶部に格納されている場合に、当該画像データを用いて表示領域の画像を描画し表示装置へ出力するステップと、
    前記情報処理装置にネットワークを介して接続したサーバへ表示領域の移動に係る情報を逐次送信するステップと、
    前記表示に必要な画像データが前記情報処理装置の記憶部に格納されていない場合に、前記サーバが前記表示領域の移動に係る情報に基づき描画し送信した表示領域の画像のデータを再生して表示装置へ出力するステップと、
    を含み、
    前記画像データは、前記情報処理装置による画像表示中、表示領域が到達したときに別の画像へ表示を切り替えるためのリンク領域および切り替え後の画像に係る情報を設定したリンク設定ファイルと対応づけられ、
    前記画像を描画し表示装置へ出力するステップは、表示中の画像データに対応づけられた前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記情報処理装置の記憶部に格納されている場合に、当該画像のデータを用いて切り替え後の表示領域の画像を描画して出力し、
    前記画像のデータを再生して表示装置へ出力するステップは、前記切り替え後の画像データが前記情報処理装置の記憶部に格納されていない場合に、前記サーバが前記領域パラメータを切り替え後の画像における領域パラメータに変換したうえ送信した、切り替え後の画像のうち表示領域の画像のデータを再生して出力することを特徴とする画像処理方法。
11. 表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行う機能をコンピュータに実現させるコンピュータプログラムであって、
    前記表示領域移動要求信号に応じて、表示中の画像における表示領域の位置および大きさを表す領域パラメータを決定する機能と、
    前記領域パラメータによって定まる、表示に必要な画像データが前記コンピュータ内部の記憶装置に格納されている場合に、当該画像データを用いて表示領域の画像を描画し表示装置へ出力する機能と、
    ネットワークを介して接続したサーバへ表示領域の移動に係る情報を逐次送信する機能と、
    前記表示に必要な画像データが前記コンピュータ内部の記憶装置に格納されていない場合に、前記サーバが前記表示領域の移動に係る情報に基づき描画し送信した表示領域の画像のデータを再生して表示装置へ出力する機能と、
    をコンピュータに実現させ、
    前記画像データは、画像表示中、表示領域が到達したときに別の画像へ表示を切り替えるためのリンク領域および切り替え後の画像に係る情報を設定したリンク設定ファイルと対応づけられ、
    前記画像を描画し表示装置へ出力する機能は、表示中の画像データに対応づけられた前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記コンピュータ内部の記憶装置に格納されている場合に、当該画像のデータを用いて切り替え後の表示領域の画像を描画して出力し、
    前記画像のデータを再生して表示装置へ出力する機能は、前記切り替え後の画像データが前記コンピュータ内部の記憶装置に格納されていない場合に、前記サーバが前記領域パラメータを切り替え後の画像における領域パラメータに変換したうえ送信した、切り替え後の画像のうち表示領域の画像のデータを再生して出力することを特徴とするコンピュータプログラム。
12. ネットワークを介して接続したクライアント端末であって表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行うクライアント端末から、表示領域の移動に係る情報を取得する機能と、
    前記表示領域の移動に係る情報によって定まる、表示に必要な画像データが前記クライアント端末の記憶装置に格納されていない場合に、内部の記憶装置に格納された画像データを用いて描画した表示領域の画像のデータを前記クライアント端末に送信する機能と、
    をコンピュータに実現させ、
    前記画像データは、前記クライアント端末による画像表示中、表示領域が到達したときに別の画像へ表示を切り替えるためのリンク領域および切り替え後の画像に係る情報を設定したリンク設定ファイルと対応づけられ、
    前記送信する機能は、前記クライアント端末において表示中の画像データに対応づけられた前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記クライアント端末の記憶装置に格納されていない場合に、前記表示領域の移動に係る情報から決定される表示領域の位置および大きさを表す領域パラメータを切り替え後の画像における領域パラメータに変換したうえ、当該画像のうち表示領域の画像のデータを前記クライアント端末に送信することを特徴とするコンピュータプログラム。
13. 表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行う機能をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
    前記表示領域移動要求信号に応じて、表示中の画像における表示領域の位置および大きさを表す領域パラメータを決定する機能と、
    前記領域パラメータによって定まる、表示に必要な画像データが前記コンピュータ内部の記憶装置に格納されている場合に、当該画像データを用いて表示領域の画像を描画し表示装置へ出力する機能と、
    ネットワークを介して接続したサーバへ表示領域の移動に係る情報を逐次送信する機能と、
    前記表示に必要な画像データが前記コンピュータ内部の記憶装置に格納されていない場合に、前記サーバが前記表示領域の移動に係る情報に基づき描画し送信した表示領域の画像のデータを再生して表示装置へ出力する機能と、
    をコンピュータに実現させ、
    前記画像データは、画像表示中、表示領域が到達したときに別の画像へ表示を切り替えるためのリンク領域および切り替え後の画像に係る情報を設定したリンク設定ファイルと対応づけられ、
    前記画像を描画し表示装置へ出力する機能は、表示中の画像データに対応づけられた前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記コンピュータ内部の記憶装置に格納されている場合に、当該画像のデータを用いて切り替え後の表示領域の画像を描画して出力し、
    前記画像のデータを再生して表示装置へ出力する機能は、前記切り替え後の画像データが前記コンピュータ内部の記憶装置に格納されていない場合に、前記サーバが前記領域パラメータを切り替え後の画像における領域パラメータに変換したうえ送信した、切り替え後の画像のうち表示領域の画像のデータを再生して出力するコンピュータプログラムを記録したことを特徴とする記録媒体。
14. ネットワークを介して接続したクライアント端末であって表示領域移動要求信号に応じて表示中の画像における表示領域を移動させて表示を行うクライアント端末から、表示領域の移動に係る情報を取得する機能と、
    前記表示領域の移動に係る情報によって定まる、表示に必要な画像データが前記クライアント端末の記憶装置に格納されていない場合に、内部の記憶装置に格納された画像データを用いて描画した表示領域の画像のデータを前記クライアント端末に送信する機能と、
    をコンピュータに実現させ、
    前記画像データは、前記クライアント端末による画像表示中、表示領域が到達したときに別の画像へ表示を切り替えるためのリンク領域および切り替え後の画像に係る情報を設定したリンク設定ファイルと対応づけられ、
    前記送信する機能は、前記クライアント端末において表示中の画像データに対応づけられた前記リンク設定ファイルに設定された、切り替え後の画像のデータが前記クライアント端末の記憶装置に格納されていない場合に、前記表示領域の移動に係る情報から決定される表示領域の位置および大きさを表す領域パラメータを切り替え後の画像における領域パラメータに変換したうえ、当該画像のうち表示領域の画像のデータを前記クライアント端末に送信するコンピュータプログラムを記録したことを特徴とする記録媒体。

Images