JP2004527046A - 限定された帯域幅の通信チャネルに対して最適化された動的視錘台を用いたネットワーク画像送信システムおよび方法 - Google Patents
限定された帯域幅の通信チャネルに対して最適化された動的視錘台を用いたネットワーク画像送信システムおよび方法 Download PDFInfo
- Publication number
- JP2004527046A JP2004527046A JP2002584184A JP2002584184A JP2004527046A JP 2004527046 A JP2004527046 A JP 2004527046A JP 2002584184 A JP2002584184 A JP 2002584184A JP 2002584184 A JP2002584184 A JP 2002584184A JP 2004527046 A JP2004527046 A JP 2004527046A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parcel
- parcels
- client system
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000004891 communication Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims description 36
- 230000005540 biological transmission Effects 0.000 title description 4
- 238000009877 rendering Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 27
- 238000012800 visualization Methods 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 15
- 238000012546 transfer Methods 0.000 description 13
- 230000008901 benefit Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 229920001690 polydopamine Polymers 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Digital Computer Display Output (AREA)
Abstract
【選択図】図4
Description
【0001】
本発明は、ネットワークベースの画像送信システムに関し、特に、動的視錘台を用いる高解像度画像の提示をサポートするために、狭帯域幅あるいは限定された帯域幅の通信チャネルを介して画像パーセルを効率的に選択し、配信するためのシステムおよび方法に関する。
【背景技術】
【0002】
インターネットや他のネットワークシステムにより、複雑な画像、典型的には大規模なビットマップ(特に写真解像度レベルに近いもの)を、長距離間で送信することが可能となった。一般例としては、これらの画像は、地理的、地形的、あるいは他の高精細化されたマップである。これらの画像のデータ記憶に必要な容量やしばしば財産的価値のために、従来は、これらの画像は、必要な都度に送信されていた。
【0003】
従来の固定サイトでの適用例では、画像データは、比較的広帯域なネットワークを経由して、送信された画像を順に表示するクライアントコンピュータシステムに送信されている。クライアントシステムは、一般的に、ユーザとのやりとりに基づいてズームやパン機能を提供するために、ローカルイメージナビゲーションシステムを導入している。このような従来のシステムにおいて、全解像度の画像表示が、ネットワークに固有の転送待ち時間に影響されることが問題であることはよく認識されている。現状のクライアント視野内で画像の解像度を徐々に増加させることに対応した高密度圧縮フォーマットで画像を送信することによって待ち時間の影響を抑制する様々なシステムが、従来提案されている。圧縮画像送信機能を用いることにより、固定帯域幅のネットワーク経由で単位時間内に転送される画像のフィールドが増加する。解像度を徐々に増加させる画像転送は、一般的に差分解像度法を用い、概略画像をすばやく表示すると共に、画像の詳細部分を連続的にだんだんと追加していく方法である。
【0004】
Tzouは、米国特許第4,698,689号において、画像を描写するための差分係数を転送する二次元データ変換システムを開示している。後続する転送された係数セットは、先に転送されたセットに漸次累積され、連続的に微細化される画像を提供する。しかし、クライアントコンピュータで実行される逆変換は、極めて多くの計算を必要とする。変換の実施を簡略化し、概略画像の任意の部分を表示する際の待ち時間をさらに削減するために、画像は、標準アレイに分割される。これにより、スピードが重視されるクライアントの逆変換機能が取り扱う係数データセットを、実質的に小さくすることができる。Tzouにおけるアレイサイズは固定であるので、画像の詳細レベルが高くなるほど、係数データセットはだんだんと大きくなる。従って、細かい部分をより詳細なレベルに分解する際には、本質的に待ち時間が増加することとなる。
【0005】
Yapらによって提案された画像可視化システム(米国特許第6,182,114号)は、前述した問題のいくつかを解決するものである。Yapらのシステムは、画像転送ストリームを圧縮するために、プログレッシブ符号化変換を採用している。この変換は、分割された画像でも機能するが、この分割は、変換の符号化レベルに索引付けされている。符号化された変換係数データセットは、従って、一定のサイズであり、クライアントで要求される逆変換処理のアルゴリズム的なパフォーマンスにある程度の改良をもたらしている。
【0006】
Yapらは、中心視ベースの操作者が分割された画像ブロックの取得順序を操作することを支援するために、クライアント画像のパンやその他の画像の位置指示の入力情報を活用している。この二次元ナビゲーション情報は、クライアントシステムユーザの注視点であると見なされる中心視領域を特定するために用いられる。中心視操作者は、対応する画像ブロックを、可変解像度画像を表す係数セットの取得順序の中心点として定義する。注視点の画像ブロックは、画像解像度が最も高い領域を表し、解像度は、中心視操作者により決定された注視点から離れるほど、注視点からの距離の関数として減少する。このように、この技術は、注視点の画像解像度を徐々に構築し、比較的計算量の多い関数に基づいて、継続的に外側の解像度を構築する。注視点におけるシフトには、新しい中心視領域においておよびその近傍で優先的に係数セットを取得することにより、相対的速度で対応することができる。
【発明の開示】
【発明が解決しようとする課題】
【0007】
様々な種類のクライアントシステムにおいて複雑な画像の便利でかつ有効な利用を可能とするためには、種々の従来システムで提供された改良によっても、また顕著な問題が残っている。特に、従来の画像可視化システムの導入は、一般的に、画像可視化が明らかに有効であると思われる、より小さな、しばしば専用または埋め込み型のクライアントでは作動不可能である。従来のアプローチは、クライアントシステムは、事実上、余分なコンピュータ性能、メモリ、および記憶装置を有するものとの仮定に立ったものである。しかしながら、小さなクライアントは、通常、特に一般的な画像サイズに比較して、浮動小数点に専用に対応しない限られた性能のプロセッサと、小容量の多目的メモリと、極めて限られた持続的記憶容量を持つ。PDAは、特徴的な小さなクライアントである。埋め込み型で低コストのキオスクおよび自動車ナビゲーションシステムは、他の典型例である。このようなシステムは、仮にあったとしても、複雑で計算量の多いフーリエやウェーブレット変換を、特に極めて限られたメモリアドレススペース内で実行することは、容易ではない。
【0008】
クライアントが実質的なコンピュータシステムであると仮定した結果として、従来の画像可視化システムは、クライアントが完全なオペレーティングシステムにサポートされているとも仮定している。実際、多くは、送信された画像データの表示をサポートするために、グラフィック抽出レイヤの拡張セットがクライアントシステムによって提供されることを期待し要求している。一般に、これらの抽出レイヤは、従来、画像データの解像度の、クライアントシステムの表示解像度能力へのマッピングを取り扱うために必要とされていると見なされていた。つまり、解像度に分解され、クライアントへ供給された画像データは、対応する画像を実際に表示するクライアントシステムにおいては何の制約も受けない。従って、従来、実質的なプロセッサ性能とメモリが、表示されないあるいは表示できない画像データを扱うために充てられる可能性があった。
【0009】
小さなクライアントは、特にワイアレス状態で動作する場合に、一般に非常に限られたネットワーク帯域幅に制限されるという別の問題がある。このような限られた帯域幅の条件は、低域のデータチャネルを用いることに影響される直接的な技術的制限か、あるいは、比較的広域チャネルであることから生じるユーザ負荷の同時多発による間接的な制限のいずれかに起因する。PDAに接続された携帯電話やウェブ電話は、限られた帯域幅条件によって頻繁に制限される小さなクライアントの例である。このような小さなデバイスに対して従来実現可能な最大のネットワーク転送帯域幅は、1キロビット/秒以下から数十キロビット/秒である。Yapらは、開示したシステムは低域ライン上でも動作すると述べているが、低通信帯域で効果的な動作を可能とするとしてウェーブレットベースのデータ圧縮を利用することが優れているのとあまり代わりはない。サーバからクライアントへ運ばなければならないデータの量を削減することは顕著であるが、Yapらは、圧縮された画像データの効率的な転送を実現するために、単にデータパケット転送プロトコルに依存しているだけである。しかしながら、信頼できる転送プロトコルは、単にパケット損失をマスクするだけであり、結果として、リカバリ待ち時間を拡大する場合があった。しかし、このようなカバーされたエラーが発生すると、接続の統合された帯域幅が減少し、クライアントシステムは、処理すべき次の画像データを待つ状態に陥る可能性がある。
【0010】
従って、小さなクライアントシステムをサポートでき、そのクライアントのハードウェアおよびソフトウェア資源に多くを要求せず、低域および極めて低域帯域幅のネットワーク接続を有効利用する画像可視化システムの必要性は残っている。
【課題を解決するための手段】
【0011】
このように、本発明の一般的な目的は、限られた処理性能、資源、および通信帯域幅を用いて、画像データをクライアントシステムで最適に表示する効率的なシステムおよび方法を提供することにある。
【0012】
これは、本発明において、ネットワーク通信チャネルを介してパーセル要求サブシステムとパーセル描写サブシステムとを含むクライアントシステムから提供される画像データの動的可視化を実現することにより達成される。パーセル要求サブシステムは、パーセル要求待ち行列を含み、離散的な画像データパーセルを優先的な順序で要求し、受信した画像データパーセルをパーセルデータ記憶に記憶するように動作可能である。パーセル要求サブシステムは、指定された優先度の画像パーセル要求に応答し、その画像パーセル要求を、指定された優先度に応じて順序付けられたパーセル要求待ち行列の中に置く。パーセル描写サブシステムは、受信した画像データパーセルを選択的に取り出してディスプレイメモリに描写するパーセルデータ記憶と連結されている。パーセル描写システムは、パーセル要求サブシステムに、指定された優先度の画像パーセル要求を提供する。
【0013】
本発明の利点は、画像パーセルデータ要求と画像データの描写との両方が、ディスプレイをアドレスするために、クライアントシステムの表示解像度に基づいて最適化されることにある。
【0014】
本発明の他の利点は、画像パーセル要求の優先順位が、適応性のあるパラメータに基づいていることにある。このパラメータは、要求優先順位を決定するための計算の複雑さと、クライアントディスプレイに表示されている視野内の表示解像度の連続的な向上とを最小化する。
【0015】
本発明のさらなる利点は、クライアントソフトウェアシステムが、比較的最小のクライアント処理パワーと記憶容量を有していれば良いという点にある。コンピュータに負荷をかける数値計算は最小限しか要求されず、画像パーセルデータは効率的なデータ構造でコンパクトに格納される。クライアントソフトウェアシステムは、非常に小さく、従来のコンピュータシステムに容易にダウンロードされ、あるいは、PDAやウェブ電話等の携帯型機器を含む従来の専用機能デバイスに埋め込まれる。
【0016】
本発明のさらに他の利点は、画像パーセルデータ要求および表示を、低域から極めて低域ネットワーク接続を用いるように容易に最適化できる点にある。本発明のソフトウェアシステムは、視点ナビゲーションレートがデータ要求レートを超えた場合、画像パーセルデータ要求および表示の再優先順位を提供する。
【0017】
本発明のさらに他の利点は、複雑なハードウェアあるいはソフトウェアのディスプレイサブシステムを前提として必要とせずに、画像パーセルデータの表示が実行される点にある。本発明のクライアントソフトウェアシステムは、ディスプレイのビデオメモリへ直接書き込みを行うビットマップ描写エンジンを含んでおり、これにより、埋め込まれたシステムまたはディスク起動システムやディスプレイドライバに必要な条件を最小にできる。複雑なグラフィクスやアニメーション抽出レイヤは必要とされない。
【0018】
本発明のさらに他の利点は、画像パーセルブロックの圧縮が、固定サイズの転送データブロックを得るために用いられることにある。画像パーセルデータは、比較的単純なクライアント伸長アルゴリズムを用いて、転送データから再構成可能である。固定サイズの転送データブロックを用いることにより、画像データパーセルをクライアントへ有限の時間フレーム内に転送することが可能である。
【0019】
本発明のさらに他の利点は、複数のデータフォームを、同時に表示するために、クライアントソフトウェアシステムへ転送可能である点にある。画像パーセルデータに位置的に相関付けられ、一般的に画像パーセル解像度に無関係なスパース行列オーバレイデータが、構文解析およびクライアントディスプレイ画像ビューでの並行表示のために、初期的にあるいは漸次的にクライアントへ提供され得る。
【発明を実施するための最良の形態】
【0020】
本発明のこれらのおよび他の利点および特徴は、添付の図面を参照して以下の詳細な説明を考慮すれば、より良く理解されるであろう。前記図面において、全図を通して、同様の参照番号は同様の部材を示す。
【0021】
本発明の好ましい動作環境10は、概ね、図1に示されている。画像データのデータ記憶およびサーバとして動作するネットワークサーバシステム12は、通信ネットワークを介して受信した要求に応答する。この通信ネットワークは、一般的にはインターネット14および無線接続プロバイダ16を含むインターネットサービスプロバイダ(ISP)の様々な層等で構成される。従来のワークステーションやパーソナルコンピュータ18と、より小さい、通常はPDAやウェブ電話20や自動車ナビゲーションシステムなどの無線ネットワーク接続を経由してリンクされる専用機能デバイスとを含むクライアントシステムは、クライアントディスプレイを備え、クライアントシステムのユーザによる画像ナビゲーション入力が可能である。あるいは、専用機能クライアントシステム20は、別個のあるいはプラグインのローカルネットワークサーバ22(小さな、組み込みのウェブサーバを導入していることが好ましい)を経由して、固定または脱着可能なストレージローカル画像リポジトリ24に接続されていても良い。特質上、クライアントシステム18,20のディスプレイは、一般にクライアントシステム18,20を構成するディスプレイハードウェアに依存したある固定解像度で操作される。
【0022】
本発明によりサポートされる画像ナビゲーション能力は、三次元空間においてクライアント18,20に表示された画像上に配置された視錘台を包含する。クライアントユーザのナビゲーション入力は、画像平面に関するカメラの取り付け角だけでなく、視錘台の横方向の位置x,y、回転位置、高さ位置zを制御するためにサポートされる。これらの制御を実効化するために、クライアントシステム18,20は、サーバ12,22から供給された画像データの三次元変換をサポートする。
【0023】
本発明の好ましい実施形態によれば、図2に概略を示すように、ネットワーク画像サーバシステム30が、ソース画像データ32とソースオーバレイデータ34との組み合わせを格納する。ソース画像データ32は、典型的には、地理的領域の高解像度ビットマップの衛星画像であり、商業的な供給業者から入手することができる。オーバレイ画像データ34は、典型的には、ソース画像データ32に関して定義された座標における画像注釈情報を提供する別個のデータファイルである。本発明の好ましい実施形態において、画像注釈は、例えば、代表的な二次元および三次元オブジェクト、グラフィカルアイコン、ディーキャル(decal)、ラインセグメント、テキストおよび他の文字等の他に、通り、ビル、およびランドマークの名称を含む。
【0024】
ネットワーク画像サーバシステム30は、ソース画像データ32およびソースオーバレイ34に対して、格納およびネットワークサーバ12,22によるサービス提供に適した形式になるよう、前処理を行うことが好ましい。ソース画像データ32は、漸次的に画像解像度が低下する派生画像のK1-Nの系を得るために、前処理されることが好ましい。系画像K0に対応するソース画像データ32も、各々の結果として得られるアレイの画像パーセルが64×64画素解像度となるように、標準アレイに分割される。ここで、画像データは、8Kバイトのデータパーセルサイズを表す16ビットの画素深さ毎にカラーまたはビットを持つ。派生画像の系K1-Nの解像度は、ソース画像データ32または前記系の中で先行する画像の解像度に対して4分の1となるよう関係付けられていることが好ましい。アレイの分割は、同様に、各々の画像パーセルが8Kバイトの固定サイズとなるよう、4分の1に関連づけられている。
【0025】
本発明の好ましい実施形態において、画像パーセルは、ネットワークサーバ12,22によりさらに圧縮され格納される。圧縮アルゴリズムは、圧縮され格納された画像パーセルが2Kバイトの固定サイズとなるよう、4:1の固定圧縮比を用いることが好ましい。全ての画像パーセルが、画像セット解像度インデックスDと対応する画像アレイ座標を表すKD,X,Y値の記述により配置されるように、画像パーセルを、規定構造のファイルに格納することが好ましい。
【0026】
ソースオーバレイ34は、前処理36を施すことにより、オープンGISコンソーシウム(OGC; www.opengis.org)によって開発された地理的情報のXMLベースの符号化標準であるジオグラフィマークアップランゲージ(GML)のようなオープンXMLフォーマット、または、独自のバイナリ表現に変換することが好ましい。XML/GML表現は、異なる商業団体間での相互変換が容易となる点において好ましい。一方、バイナリ表現は、よりコンパクトであり、クライアントシステム18,20へ容易に転送可能である点において好ましい。いずれの場合においても、ソースオーバレイデータ34は、ソース画像データ32に関するディスプレイ座標記述と共に、好ましくは解像度とは独立した形式の記述データを含むように、前処理される。XML,GMLまたはバイナリのオーバレイデータを、ネットワークサーバ12,22に格納する前に圧縮しても良い。
【0027】
クライアントシステム18,20の好ましいアーキテクチャを、本発明の実施の目的で、図3に示す。アーキテクチャ40は、クライアントシステム18,20により実行されるソフトウェアプラグインまたはアプリケーションにより実施されることが好ましく、クライアントシステム18,20により提供される基本的なソフトウェアおよびハードウェアサービスを利用する。パーセル要求クライアント42は、クライアントシステム18,20により提供されるネットワークプロトコルスタックおよびハードウェアネットワークインタフェースを用いてサーバ12,22とのHTMLベースのやりとりをサポートするHTMLクライアントを導入していることが好ましい。中央パーセル処理制御ブロック44は、クライアントプロセスおよび制御アルゴリズムを実行することが好ましい。制御ブロック44は、ローカルパーセルデータ記憶46への、受信した画像パーセルとXML/GML/バイナリのオーバレイデータとの転送を指揮する。画像データパーセルは、従来の四分木データ構造で格納されることが好ましい。ここで、深さDの木ノードは、解像度KDの派生画像の格納画像パーセルに対応する。XML/GML/バイナリのオーバレイデータは、制御ブロック44の一部として導入されたXML/GML/バイナリの構文解析ツールによって連続的に読み取ることが可能なデータオブジェクトとして格納されることが好ましい。
【0028】
制御ブロック44は、描写エンジン48によるローカルディスプレイに対する画像パーセルの伸長および描写指揮の機能も担う。描写エンジン48は、一般的グラフィック加速化ハードウェア機能にのみ依存する潜在的なクライアントディスプレイハードウェアのビデオメモリへ書き込みを行うことが好ましい。通常、前記の依存される機能は、従来のディスプレイ制御ハードウェアによって容易にサポートされるビット−ビットおよびビット対応機能を含む。描写エンジン48は、画像パーセルテクスチャマッピングを、複雑な浮動小数点演算に依存せずに実行するために最適化され、比較的単純なプロセッサでも描写エンジン48を効率的に実行することを可能とする。
【0029】
視錘台の変換は、ユーザ入力のナビゲーションコマンドから、視錘台ナビゲーションブロック50により決定される。本発明の好ましい実施形態において、入力されたナビゲーション制御は、表示された画像の三次元上空通過(フライオーバー)ナビゲーションにモデル化される。ナビゲーション制御は、表示画像上で、視点回転、翻訳、姿勢、高度をサポートする。視錘台ナビゲーションブロック50により決定された視錘台の有効な変化は、制御ブロック44へ与えられる。
【0030】
制御ブロック44は、表示画像の漸次的な描写をサポートするために、視錘台の変化に部分的に基づいて、サーバ12,22から要求される画像パーセルの順序付けられた優先度を決定する。画像パーセル要求は、パーセル要求クライアント42による発行のために、要求待ち行列52に配置される。待ち状態の要求は優先順位に従って発行されることが好ましく、これにより、視錘台の変化を最小の待ち時間で動的に反映させることができる。
【0031】
本発明の好ましい実施形態で用いられるように構成された、最適画像パーセルデータフロー60を、図4に示す。クライアント18,20へ画像パーセルを送信するために、TCP/IPネットワークプロトコルを用いることが好ましい。本実施形態では、ネットワークの帯域幅が限定され、あるいは非常に限定されており、全体の画像パーセルは、対応するデータパケットにより送られることが好ましい。この好ましい態様によれば、実質的な待ち時間や、複数のネットワークパケットに分割された画像パーセルデータを管理する処理に要するオーバヘッドを生じずに、データ転送効率を最大化できる。これにより、2Kバイトの圧縮された画像パーセル62が、TCP/IPパケット64のデータペイロードとして転送される。圧縮されていない8Kバイトの画像パーセル62は、従来のマイクロプロセッサ68のL1データキャッシュ66の名目上最小のサイズであるとして、本発明の一部と見なされる。圧縮されていない画像パーセルがL1キャッシュに収まることを保証することにより、テクスチャマップ描写アルゴリズムは、最小のメモリ管理オーバヘッドで実行することができ、これにより、マイクロプロセッサ68の処理能力を最適に利用することができる。さらに、描写アルゴリズムの結果としてのビデオデータの書き込みは均一であり、これにより、ユーザに対する表示の見かけのビデオ安定性を向上させることができる。
【0032】
クライアントアーキテクチャ40は、複数の処理スレッド中で、個々のネットワークデータ要求トランザクション用に追加スレッドを利用しながら、実行することが好ましい。図5に示すように、画像パーセル管理プロセス80は、更新82の対象となる画像パーセルを決定し、対応する画像パーセルのダウンロード要求84を生成するループを実行する。視錘台を変更するナビゲーションイベントは、部分的に、現在の視野を決定するものと見なされる。四分木構造が、パーセルデータ記憶46において現時点で利用可能な解像度よりも高解像度の可視画像パーセルを特定するために検索される(86)。
【0033】
画像要求スレッドのプールを、画像パーセルダウン処理を管理するために利用することが好ましい。本発明の好ましい実施形態においては、4つのネットワーク要求スレッドのプールが利用される。プールスレッドの数は、ネットワーク接続の利用可能な帯域幅を与えられ、利用可能なシステム資源とネットワーク応答待ち時間とのバランスとして決定される。経験的に、多数の無線デバイスに対して、4つの同時スレッドがあれば、ディスプレイ処理のために、クライアント20へ、画像データパーセルの転送が比較的連続して生じても、この転送をサポートすることが可能である。画像パーセルがダウンロード用に漸次的に特定されるので、サーバ12,22へ対応するネットワーク要求を発行(88)するために、フリー要求スレッドが用いられる。ネットワーク応答を受信したとき、対応するスレッドは、画像パーセルデータを回収する(90)。受信された画像パーセルは、その後、対応する四分木構造ノードへ格納される(92)。
【0034】
小さなクライアント20の場合、パーセルデータ記憶46として利用可能なメモリは、通常、極めて限られている。利用可能なメモリを最適利用するために、現時点で可視状態の画像パーセルのみがダウンロードされる。パーセルデータ記憶46のサイズがあまり限定されない場合は、この制限は緩和できる。いずれの場合でも、メモリ管理プロセス94は、パーセルデータ記憶46の利用をモニタし、画像パーセルを選択的に除去して新たに要求される画像パーセル用の空きメモリを確保するために、実行される。メモリ管理プロセス94は、現在の視錘台から最も遠く、かつ、データ構造の深さが最も高い画像パーセルを、優先的に除去する機能を持つことが好ましい。子ノードの画像パーセルは、必ず、親ノードパーセルが除去される前に除去される。
【0035】
図6に、ネットワーク要求管理プロセス100の好ましい例を示す。プロセス100は、優先待ち行列52内にダウンロード要求が存在するのを待つ状態となる(102)。プロセス100は、その後、ネットワーク要求プールスレッドが空きになるのを待つ(104)。ネットワーク要求スレッドが利用可能になったとき、プロセス100は、優先要求待ち行列52内の全ての待ち要求を調べ(106)、割り当てられた優先度が最も高い要求を選択する(108)。これにより、待ち行列に順次入れられた要求を、独立して割り当てられた要求優先度に基づいて、順序に従わずに発行することができる。次に、その要求が発行され(110)、要求管理プロセス100は、要求スレッドを、ネットワーク応答を待つ状態にしておく。
【0036】
図7は、ディスプレイ管理プロセス120の好ましい例を示す。イベント起動されたユーザナビゲーション情報は、表示画像に関連する三次元空間において現在の視錘台の位置および方向を決定するために評価される(120)。次に描写される画像パーセルのアルゴリズム的な優先度選択(124)が、次に実行される。選択された画像パーセルは、ディスプレイメモリ70に描写される(126)。描写処理は、現在の視錘台位置および方向に対応するパーセルデータのテクスチャマップ変換を実行することが好ましい。その後、いずれかのオーバレイ記述の画像座標が現在の画像パーセル位置に対応するか否かを決定するために、オーバレイデータが、構文解析され、あるいは、予備的に構文解析される(128)。座標が一致したら、オーバレイ記述はビデオディスプレイメモリ70に描写される(130)。プロセス120は、その後、視錘台の位置および方向における変化の対象となる、描写すべき画像パーセルの次の選択(124)を続ける。
【0037】
本発明にかかる画像パーセルの選択(124)および描写(126)の好ましい態様を、図8〜図10に詳細に示す。最初に、図8に示すように、優先待ち行列52内の未処理の要求のいずれも、視錘台の位置および方向の変化に応じて、クリアされる(142)ことが好ましい。視錘台の有効高さおよびクライアントディスプレイの解像度は、表示される詳細部分の最適レベルLを決定する根拠として用いられる。詳細レベルLの値は、視錘台の位置および方向を与えられた場合にクライアントディスプレイにおいて有効に見ることのできる画像データの最大解像度KLを決定するための底(floor)として機能する。画像パーセル要求を解像度範囲KN〜KLに制限することにより(KNは、ネットワークサーバ12,22により格納される最も解像度の低い派生画像)、表示画像に知覚可能な改良を与えない画像パーセルのダウンロードおよび処理を防止することができる。
【0038】
詳細部分の最適レベルLの再帰的な評価の一部として、画像表示空間は、ポリゴンへの4分の1縮小により、漸次的に分割される(146)。パーセルデータ記憶46内に現存する画像パーセルデータを保持する四分木データ構造は、ポリゴンマップとの対応を明らかにするために、同時に探索される(148)。ポリゴンPに対するノードインデックスLの四分木データ構造の探索が完了(150)したところで、画像パーセルに対応するノードが、ポリゴンPに関連づけられる。このポリゴンPはこれ以上分割されず、ポリゴンPで表される領域内の画像のどの部分についても、より高い解像度の画像パーセルは要求されない。探索が、ポリゴンP’に対する最大ノードインデックスDまで達した(152)ところで(N≦D<L、かつ、Nは、ネットワークサーバ12,22に格納された最低解像度の派生画像のインデックス)、そのノードに関連付けられている画像パーセルは、ポリゴンP’に関連づけられる。このポリゴンP’は、後にさらに分割され、詳細レベルLに至るまで、より高い解像度の画像パーセルを漸次的に要求される。
【0039】
ここで、図9に示すように、表示画像は、既に見つかった最大深さのポリゴンから描写される(160)。最大深さのポリゴンのセットについて繰り返し処理を行いながら、視錘台の外部のポリゴンはいずれもスキップされる(162)。少なくとも一部が見えるポリゴンは、視錘台の適用可能な境界に留め付けられる(164)。画像パーセルデータに対応するポリゴンは、ビデオメモリ70の座標に対応するポリゴンにテクスチャマップされる(166)。描写される画像パーセルのノードインデックス深さが、その前に決定された最適詳細レベルLと少なくとも等しければ(168)、ポリゴンPについての繰り返しは継続する。
【0040】
ノードインデックス深さが最適詳細レベルL未満であれば(170)、ポリゴンP’は、4つのポリゴンに分割され、これに相当して、関連づけられた四分木データ構造内の4つの子ノードの生成により表現される(172)。そして、4つの画像パーセルダウンロード要求が生成される(174)。
【0041】
各要求に関連づけられたダウンロード優先度は、二次元ポリゴン引数(argument)Pで作用し、要求優先度を表す実数を返す関数Sの実行により、決定される(176)。関数の引数Pは、現在の視錘台内に適合するよう留め付けられた後のスクリーン座標における現在のポリゴンの頂点の実座標(x、y)のリストである。すなわち、関数Sは、
【0042】
【数1】
という系によって頂点が特定される、二次元空間内の一般的なポリゴン上で動作する。Sに送られる引数Pの頂点は、視錘台に留め付けられた後に、固定解像度(xRes,yRes)の表示空間内で見ることのできる各ポリゴンを構成する頂点の位置を表す。これにより、留め付けられたポリゴンは、全て、(0,xRes)×(0,yRes)の矩形内にあることとなる。
【0043】
関数Sの実行時に、P座標の各々は、最初に、スクリーン座標空間の線形写像により、
x(i):=(x(i)−xRes/2)/(xRES/2);
y(i):=(y(i)−yRes/2)/(yRES/2)
という演算によって、矩形(−1,1)×(−1,1)に変換される。各頂点(x(i),y(i);i=1〜n)のxおよびy座標値は、それから、関数T(a)=sgn(a)*pow(|a|,d)によって変換される。なお、制御パラメータdは、0〜1の範囲の定数、または、これと同等に、0<d≦1の間隔である。関数Sは、適用された座標変換の対象となった引数ポリゴンPの頂点で覆われる領域に等しい実数値を返す。これにより、ダウンロード待ちの画像パーセルに対して累積された優先度は、ポリゴンのテクスチャマップ描写のソースデータとして画像パーセルのある部分を必要とする可視ポリゴンの各々に対して関数Sから返された値の和になる。要求待ち行列52の優先度処理は、ダウンロード要求が、優先度が最大値をとる画像パーセルに対して優先的に発行されるように行われる。
【0044】
本発明の好ましい実施形態によれば、制御パラメータdの値は、ダウンロード要求優先度を決定するときに関数Sの作用に最大限に影響を与えるように、調整することができる。通常、より低い解像度レベルの画像パーセルは、与えられた低解像度の画像パーセルを描写データソースとして用いるポリゴンの数が多いため、より大きな優先度の値を累積する。このようなより低解像度の画像パーセルは、従って、優先的にダウンロードされる傾向にある。本発明によれば、このため、少なくとも低解像度で描写用に完全な画像を得られることが保証される。
【0045】
射影変換によって生成される領域変形と関数Sの実行とに適用される制御パラメータdは、関数Sにより返される値にも影響を与える。すなわち、画像視点の近くにある比較的高解像度の画像パーセルは、比較的離れた場所にあって一部が見える低解像度の画像パーセルよりも、高い優先度を持つことがある。1よりも小さい値を制御パラメータdに用いることにより、観察者の焦点近傍の領域(表示空間の中心点と見なされる)をカバーするパーセルに対して、絶対的な表現における中心点であって同じ解像度深さDを持つ中心点から遠い位置にあるパーセルに対する要求と比較して、より高い優先度を持つ要求を発行することができる。これにより、本発明によれば、画像パーセル要求に割当てられた優先度は、画像パーセルデータが全体画像表示品質に与える相対的な寄与に基づき、要求の順序に効果的に影響を与える。経験的には、PDAやウェブ電話のような小さな画面を持つデバイスに対しては、制御パラメータdの値を0.35とすれば、好ましい結果が得られることが分かっている。
【0046】
新たに生成された4つの画像パーセル要求のそれぞれについて計算された優先度は、割当てられ(178)、要求は、優先要求待ち行列52に入れられる。そして、画像パーセル描写プロセス160のループの中で、次のポリゴンPが考慮される。
【0047】
与えられた視錘台に対する詳細レベルLの値を決定するためのアルゴリズム180の好ましい例を、図10に示す。本発明によれば、最適詳細レベルLは、実効的に、画像パーセルデータの解像度が、クライアントディスプレイの解像度を関数的に超える限界である。最適詳細レベルLを決定するために、視錘台の視点またはカメラ位置が、表示画像に関連して決定される(182)。次に、深さDの最近のポリゴンPが、有効高度および視点の姿勢から決定される(184)。そして、ポリゴンPの最も近い点Aが決定される(186)。この点Aは、ほとんどの場合、ポリゴンPの頂点に位置するが、ポリゴンPの内部またはエッジにある場合もある。
【0048】
そして、四分木のルート画像であり全体画像マップをカバーする画像領域に対応する最低解像度KNの画像の画像パーセルからの単一の画素でカバーされる画面上の画素数の底4の対数として、点Aの最適詳細レベルLが計算される(188)。点Aの最適詳細レベルLは、点Aにおいて評価された、三次元画像座標空間を画面座標に変換するために用いられた射影変換の関数行列式(Jacobian)のローカル値から、分析的に計算されることが好ましい。
【0049】
ポリゴンPの深さDが、計算された最適詳細レベルLの深さよりも大きい場合、詳細レベルLは、最適詳細レベルLとして採用される(190)。このように、プロセス140により、画像パーセル、または、四分木データ構造において深さレベルLに関して親ノードに関連づけられた、最も近い解像度の画像パーセルの対応するセクションは、ポリゴンPを描写するためのテクスチャとして用いられる。その逆に、深さDが最適詳細レベルLの深さ未満である場合、ポリゴンPは、クワドラントに分割され、最適詳細レベルは再評価される。プロセス180は、このように、最適詳細レベルLが見つかるまで、再帰的に続けられる。
【0050】
以上のように、潜在力に制限された処理性能、資源、通信帯域幅を用いて、画像データをクライアントシステム上で最適に表示するためのシステムおよび方法は開示された。本発明は、特に、地理的画像データの通信および表示に関して説明したが、本発明は、その他の高解像度情報の効率的な通信および表示にも、同様に適用可能である。
【0051】
本発明の好ましい実施形態に関する上述の説明を鑑みれば、当業者によれば、開示された実施形態の様々な変更や変形は容易に理解できる。従って、添付の特許請求の範囲内で、本発明は、特に上述した以外の態様で実施可能であることは理解できるであろう。
【図面の簡単な説明】
【0052】
【図1】本発明の種々の実施形態が利用された好ましいシステム環境を示す。
【図2】本発明の好ましい実施形態にかかるネットワークサーバシステムにより記憶され提供される画像パーセルおよびオーバレイデータセットの準備を示すブロック図である。
【図3】本発明の好ましい実施形態にかかるクライアントシステム画像表示システムのブロック図である。
【図4】本発明の好ましい実施形態により構築された、最適化されたクライアント画像ブロックの処理経路を示すデータブロック図である。
【図5】本発明の好ましい実施形態で実施される主な処理スレッドを示す処理フロー図である。
【図6】本発明の好ましい実施形態で実施されるネットワーク要求スレッドを示す処理フロー図である。
【図7】本発明の好ましい実施形態で実施される表示画像描写スレッドを示す処理フロー図である。
【図8】本発明の好ましい実施形態により、画像データパーセルの描写に先だって実行されるパーセルマップ処理を示す処理フロー図である。
【図9】本発明の好ましい実施形態による、画像パーセルデータダウンロード要求の描写および漸次的優先順位を詳細に示す処理フロー図である。
【図10】本発明の好ましい実施形態による、現状の視錘台に対する画像パーセル表示の最適詳細レベルの決定の詳細を示す処理フロー図である。
Claims (20)
- ネットワーク通信チャネルを介して提供された画像データの動的可視化用のクライアントシステムであって、
前記クライアントシステムが、
a)パーセル要求待ち行列を含み、離散的画像データパーセルを優先順位に従って要求し、受信した画像データパーセルをパーセルデータ記憶へ格納する機能を持ち、割り当てられた優先度の画像パーセル要求に応答して、当該画像パーセル要求を、前記割り当てられた優先度に応じて順序付けられたパーセル要求待ち行列内に配置するパーセル要求サブシステムと、
b)受信した画像データパーセルを選択的に取得しディスプレイメモリへ描写するパーセルデータ記憶に連結されたパーセル描写サブシステムとを備え、
前記パーセル描写システムが、前記パーセル要求サブシステムへ、前記割り当てられた優先度の前記画像パーセル要求を供給する、クライアントシステム。 - 前記パーセル描写サブシステムが、決定された最適画像解像度レベルに基づいて、前記割り当てられた優先度を決定する、請求項1に記載のクライアントシステム。
- 前記ディスプレイメモリが所定解像度の画像ディスプレイに連結され、前記決定された最適画像解像度レベルが前記所定解像度に基づく、請求項2に記載のクライアントシステム。
- 前記割り当てられた優先度は、所定の焦点に対する前記画像パーセル要求により参照される前記画像パーセルの近接性をさらに反映する、請求項3に記載のクライアントシステム。
- 前記離散的画像データパーセルは、前記パーセル要求サブシステムにより受信された際は第1の固定サイズを持ち、前記パーセル描写サブシステムにより描写される際は第2の固定サイズを持つ、請求項4に記載のクライアントシステム。
- 前記離散的画像データパーセルの各々が、画素データの固定サイズアレイを含む、請求項5に記載のクライアントシステム。
- 無線ネットワーク通信チャネルを介して供給された画像データの動的可視化をサポートする携帯型ディスプレイクライアントシステムであって、
前記クライアントシステムが、
a)グラフィカル画像の視覚表示に適した規定解像度を持ち、前記グラフィカル画像を代表する画像データを格納するビデオメモリを含むディスプレイと、
b)画像データパーセルを要求し受信するために用いる無線ネットワークに連結可能なネットワークインタフェースと、
c)画像データパーセルの記憶場所を提供する画像パーセルデータ記憶と、
d)前記グラフィカル画像に関連した視点位置を定義する入力情報を供給するナビゲーション制御と、
e)前記ビデオメモリ、ネットワークインタフェース、画像パーセルデータ記憶、およびナビゲーション制御に連結され、前記ディスプレイの規定解像度に関連して計算された優先順位で、前記ネットワークインタフェースを介して規定解像度の画像データパーセルを選択的に要求する機能を持つプロセッサとを備えた、携帯型ディスプレイクライアントシステム。 - 前記プロセッサが、画像データパーセルの待ち要求の優先待ち行列を含み、前記プロセッサが、画像データパーセルに対する要求を、前記待ち要求のそれぞれの計算された優先度が反映された前記優先待ち行列へ追加する、請求項7に記載の携帯型ディスプレイクライアントシステム。
- 前記プロセッサが、前記画像パーセルデータ記憶からの前記画像データパーセルを前記ビデオメモリへ描写する機能を持つ、請求項8に記載の携帯型ディスプレイクライアントシステム。
- 前記画像データパーセルは、ネットワークデータパケットのそれぞれの中で、圧縮されたデータブロックとして受信される、請求項9に記載の携帯型ディスプレイクライアントシステム。
- 前記ネットワークデータパケットのそれぞれが、画素画像データパーセルの最小16ずつのアレイに対応する、固定ブロックサイズの圧縮された画像データパーセルを含む、請求項10に記載の携帯型ディスプレイクライアントシステム。
- 動的視点に関連した画像の三次元視を提供するクライアントシステムであって、
前記クライアントシステムが、
a)規定解像度の二次元ディスプレイに対応するディスプレイメモリと、
b)各画像パーセル解像度の画像データパーセルを要求し受信するために用いるネットワークインタフェースと、
c)画像視点の定義を提供するナビゲーション制御と、
d)画像データパーセルを前記ディスプレイメモリへ漸次的に描写し、画像データパーセルを、前記ネットワークインタフェースを介して、前記二次元ディスプレイの規定解像度および前記画像視点の位置について決定される優先順位で漸次的に要求する機能を持つプロセッサとを備えた、クライアントシステム。 - 前記プロセッサが、画像データパーセルの漸次的な要求を、前記規定解像度に対応する解像度に限定する機能を持つ、請求項12に記載のクライアントシステム。
- 前記優先順位内の所定の画像パーセルの優先度が、前記所定の画像パーセルの前記画像視点に関連する前記二次元ディスプレイ内の三次元投影領域に基づいて決定される、請求項13に記載のクライアントシステム。
- 前記所定の画像パーセルの優先度が、さらに、前記画像視点に関連して前記二次元ディスプレイ内の前記画像パーセルの位置に基づいて決定される、請求項14に記載のクライアントシステム。
- 通信チャネルを介して転送された画像データの動的可視化をサポートする方法であって、
前記方法が、
a)ユーザのナビゲーションコマンドに応答して、三次元空間に表示される画像に対する視点の方向を決定するステップと、
b)前記画像の対応する領域として描写可能な画像パーセルを、前記画像パーセルの各々が描写されるときに前記画像の漸次的な領域解像度の増大を提供するように決定された優先順位に従って要求するステップと、
c)複数の画像パーセルを前記通信チャネルを介して受信するステップと、
d)前記画像を提供するための前記複数の画像パーセルを描写するステップとを有する方法。 - 前記受信ステップが、前記複数の画像パーセルを画像記憶に格納するステップを含み、前記描写ステップが、前記画像の対応領域に対して最も高い関連解像度を持つ複数の画像パーセルの選択的な描写を提供する、請求項16に記載の方法。
- 前記描写ステップが、前記画像パーセルの前記選択的な描写を、所定レベル未満の関連解像度を持つ画像パーセルに限定する、請求項17に記載の方法。
- 前記描写ステップが、前記複数の画像パーセルを、前記画像の対応領域に対する均一なテクスチャで選択的に描写する、請求項18に記載の方法。
- 前記優先順位が、前記視点の方向変化に応じて再評価される、請求項19に記載の方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US25848900P | 2000-12-27 | 2000-12-27 | |
US25846600P | 2000-12-27 | 2000-12-27 | |
US25848800P | 2000-12-27 | 2000-12-27 | |
US25846800P | 2000-12-27 | 2000-12-27 | |
US25846500P | 2000-12-27 | 2000-12-27 | |
US25846700P | 2000-12-27 | 2000-12-27 | |
PCT/IL2001/001199 WO2002086733A1 (en) | 2000-12-27 | 2001-12-25 | System and methods for network image delivery with dynamic viewing frustum optimized for limited bandwidth communication channels |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004527046A true JP2004527046A (ja) | 2004-09-02 |
Family
ID=27559415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002584184A Ceased JP2004527046A (ja) | 2000-12-27 | 2001-12-25 | 限定された帯域幅の通信チャネルに対して最適化された動的視錘台を用いたネットワーク画像送信システムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (4) | US7139794B2 (ja) |
JP (1) | JP2004527046A (ja) |
KR (1) | KR20040035585A (ja) |
WO (3) | WO2002069275A1 (ja) |
Families Citing this family (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2216866T3 (es) * | 2000-03-09 | 2004-11-01 | Oz Vision Ltd | Procedimiento y sistema para trasferir imagenes de video en directo desde una camara de video a un dispositivo remoto de visualizacion de video a traves de una linea telefonica convencional. |
US8924506B2 (en) * | 2000-12-27 | 2014-12-30 | Bradium Technologies Llc | Optimized image delivery over limited bandwidth communication channels |
US7139794B2 (en) * | 2000-12-27 | 2006-11-21 | 3-D-V-U Israel (2000) Ltd. | System and methods for network image delivery with dynamic viewing frustum optimized for limited bandwidth communication channels |
US6605478B2 (en) * | 2001-03-30 | 2003-08-12 | Appleid Materials, Inc, | Kill index analysis for automatic defect classification in semiconductor wafers |
US7216294B2 (en) * | 2001-09-04 | 2007-05-08 | Microsoft Corporation | Method and system for predicting optimal HTML structure without look-ahead |
US7428725B2 (en) * | 2001-11-20 | 2008-09-23 | Microsoft Corporation | Inserting devices specific content |
US6704645B1 (en) * | 2001-12-11 | 2004-03-09 | Garmin Ltd. | System and method for estimating impedance time through a road network |
US6574554B1 (en) * | 2001-12-11 | 2003-06-03 | Garmin Ltd. | System and method for calculating a navigation route based on non-contiguous cartographic map databases |
US6581003B1 (en) * | 2001-12-20 | 2003-06-17 | Garmin Ltd. | Systems and methods for a navigational device with forced layer switching based on memory constraints |
US6847890B1 (en) * | 2001-12-21 | 2005-01-25 | Garmin Ltd. | Guidance with feature accounting for insignificant roads |
US7068273B2 (en) * | 2002-01-28 | 2006-06-27 | Konami Corporation | Recording medium which stores 3D image processing program, 3D image processor, 3D image processing method, and video game machine |
US6915310B2 (en) * | 2002-03-28 | 2005-07-05 | Harris Corporation | Three-dimensional volumetric geo-spatial querying |
US7439982B2 (en) * | 2002-05-31 | 2008-10-21 | Envivio, Inc. | Optimized scene graph change-based mixed media rendering |
US6833811B2 (en) * | 2002-10-07 | 2004-12-21 | Harris Corporation | System and method for highly accurate real time tracking and location in three dimensions |
US7574653B2 (en) * | 2002-10-11 | 2009-08-11 | Microsoft Corporation | Adaptive image formatting control |
US20040080533A1 (en) * | 2002-10-23 | 2004-04-29 | Sun Microsystems, Inc. | Accessing rendered graphics over the internet |
US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US9314691B2 (en) * | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
US8526490B2 (en) * | 2002-12-10 | 2013-09-03 | Ol2, Inc. | System and method for video compression using feedback including data related to the successful receipt of video content |
US9446305B2 (en) | 2002-12-10 | 2016-09-20 | Sony Interactive Entertainment America Llc | System and method for improving the graphics performance of hosted applications |
US10201760B2 (en) * | 2002-12-10 | 2019-02-12 | Sony Interactive Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
US8366552B2 (en) * | 2002-12-10 | 2013-02-05 | Ol2, Inc. | System and method for multi-stream video compression |
US8549574B2 (en) | 2002-12-10 | 2013-10-01 | Ol2, Inc. | Method of combining linear content and interactive content compressed together as streaming interactive video |
US9138644B2 (en) * | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
US20100166056A1 (en) * | 2002-12-10 | 2010-07-01 | Steve Perlman | System and method for encoding video using a selected tile and tile rotation pattern |
US8949922B2 (en) * | 2002-12-10 | 2015-02-03 | Ol2, Inc. | System for collaborative conferencing using streaming interactive video |
US20090118019A1 (en) * | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
US9192859B2 (en) | 2002-12-10 | 2015-11-24 | Sony Computer Entertainment America Llc | System and method for compressing video based on latency measurements and other feedback |
US9077991B2 (en) * | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
US9061207B2 (en) | 2002-12-10 | 2015-06-23 | Sony Computer Entertainment America Llc | Temporary decoder apparatus and method |
US8964830B2 (en) * | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
US20040125114A1 (en) * | 2002-12-31 | 2004-07-01 | Hauke Schmidt | Multiresolution image synthesis for navigation |
US7305396B2 (en) * | 2002-12-31 | 2007-12-04 | Robert Bosch Gmbh | Hierarchical system and method for on-demand loading of data in a navigation system |
JP4419393B2 (ja) | 2003-01-15 | 2010-02-24 | パナソニック株式会社 | 情報表示装置及び情報処理装置 |
US20040161153A1 (en) * | 2003-02-18 | 2004-08-19 | Michael Lindenbaum | Context-based detection of structured defects in an image |
DE10326168B4 (de) * | 2003-06-10 | 2010-01-28 | Siemens Ag | Verfahren und Funktionseinheit zur Optimierung der Darstellung progressiv kodierter Bilddaten |
FR2888962A1 (fr) * | 2003-11-14 | 2007-01-26 | Canon Kk | Creation et telechargement d'une animation comportant des images cles |
EP1531428A3 (en) * | 2003-11-14 | 2015-08-19 | Canon Kabushiki Kaisha | Methods and devices for creating, downloading and managing an animation |
US7737910B2 (en) * | 2003-12-04 | 2010-06-15 | Microsoft Corporation | Scalable display |
US20050156930A1 (en) * | 2004-01-20 | 2005-07-21 | Matsushita Electric Industrial Co., Ltd. | Rendering device and rendering method |
US7312505B2 (en) * | 2004-03-31 | 2007-12-25 | Intel Corporation | Semiconductor substrate with interconnections and embedded circuit elements |
US7890604B2 (en) | 2004-05-07 | 2011-02-15 | Microsoft Corproation | Client-side callbacks to server events |
US7436405B2 (en) * | 2004-05-14 | 2008-10-14 | Microsoft Corporation | Terrain rendering using nested regular grids |
US9026578B2 (en) | 2004-05-14 | 2015-05-05 | Microsoft Corporation | Systems and methods for persisting data between web pages |
KR100460009B1 (ko) | 2004-06-23 | 2004-12-04 | 엔에이치엔(주) | 이미지 리소스를 로딩하는 방법 및 이미지 리소스 로딩시스템 |
US8207964B1 (en) * | 2008-02-22 | 2012-06-26 | Meadow William D | Methods and apparatus for generating three-dimensional image data models |
US7388585B2 (en) * | 2004-09-20 | 2008-06-17 | My Virtual Reality Software | Method, system and device for efficient distribution of real time three dimensional computer modeled image scenes over a network |
US7664870B2 (en) * | 2005-02-25 | 2010-02-16 | Microsoft Corporation | Method and system for providing users a lower fidelity alternative until a higher fidelity experience is available |
US20070023987A1 (en) * | 2005-05-23 | 2007-02-01 | Kling Daniel H | Folding methods, structures and apparatuses |
US7535473B2 (en) * | 2005-09-20 | 2009-05-19 | Erdas, Inc. | Collaborative environments in a graphical information system |
US20070067106A1 (en) * | 2005-09-20 | 2007-03-22 | Antoine Lennox B | Streaming geometry using quasi-pyramidal structure |
US7925320B2 (en) | 2006-03-06 | 2011-04-12 | Garmin Switzerland Gmbh | Electronic device mount |
US20070263590A1 (en) * | 2006-04-25 | 2007-11-15 | Microsoft Corporation | Optimization scheme for routing based on data latency |
US8633927B2 (en) | 2006-07-25 | 2014-01-21 | Nvidia Corporation | Re-render acceleration of frame with lighting change |
WO2008026186A2 (en) * | 2006-09-01 | 2008-03-06 | Pacbyte Software Pty Limited | Method and system for transmitting a data file over a data network |
US7719568B2 (en) * | 2006-12-16 | 2010-05-18 | National Chiao Tung University | Image processing system for integrating multi-resolution images |
US20080175442A1 (en) * | 2007-01-22 | 2008-07-24 | Dennis Megarry | Method of displaying graphic images |
US9168457B2 (en) | 2010-09-14 | 2015-10-27 | Sony Computer Entertainment America Llc | System and method for retaining system state |
US8386560B2 (en) * | 2008-09-08 | 2013-02-26 | Microsoft Corporation | Pipeline for network based server-side 3D image rendering |
US8284192B2 (en) * | 2008-11-07 | 2012-10-09 | Landworks, Inc. | Polygon dissection in a geographic information system |
US20100198503A1 (en) * | 2009-01-30 | 2010-08-05 | Navteq North America, Llc | Method and System for Assessing Quality of Location Content |
US8554871B2 (en) * | 2009-01-30 | 2013-10-08 | Navteq B.V. | Method and system for exchanging location content data in different data formats |
US9454847B2 (en) * | 2009-02-24 | 2016-09-27 | Google Inc. | System and method of indicating transition between street level images |
US9129318B2 (en) * | 2009-07-24 | 2015-09-08 | International Business Machines Corporation | System and method for allocating suppliers using geographical information system and supplier capability |
US8886445B1 (en) * | 2010-03-05 | 2014-11-11 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Automatic aircraft collision avoidance system and method |
US8446411B2 (en) | 2010-06-11 | 2013-05-21 | Microsoft Corporation | Adaptive image rendering and use of imposter |
CN102385497B (zh) * | 2010-08-30 | 2014-07-02 | 联想(北京)有限公司 | 一种图像数据处理方法和*** |
KR20120058763A (ko) * | 2010-11-30 | 2012-06-08 | 삼성전자주식회사 | 영상 장치에서 영상 데이터를 송신하기 위한 장치 및 방법 |
US9165403B2 (en) | 2011-01-14 | 2015-10-20 | Intel Corporation | Planetary scale object rendering |
US8988468B2 (en) | 2011-01-21 | 2015-03-24 | Wishabi Inc. | Interactive flyer system |
US9542501B2 (en) * | 2011-01-28 | 2017-01-10 | Radware Ltd. | System and method for presenting content in a client/server environment |
US9727301B2 (en) * | 2011-06-03 | 2017-08-08 | Apple Inc. | Gesture-based prioritization of graphical output on remote displays |
US8780233B2 (en) * | 2011-12-19 | 2014-07-15 | Motorola Solutions, Inc. | Method and apparatus for maintaining a minimum pixel density across an object of interest |
KR102072731B1 (ko) * | 2012-12-18 | 2020-02-04 | 삼성전자주식회사 | 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 |
US9565229B2 (en) * | 2013-06-18 | 2017-02-07 | Vmware, Inc. | Systems and methods for transmitting data |
KR102104057B1 (ko) * | 2013-07-09 | 2020-04-23 | 삼성전자 주식회사 | 점별로 테셀레이션 팩터를 할당하는 방법과 상기 방법을 수행할 수 있는 장치들 |
AU2013267004A1 (en) | 2013-12-04 | 2015-06-18 | Canon Kabushiki Kaisha | Method, apparatus and system for tessellating a parametric patch |
US9577946B1 (en) * | 2014-01-03 | 2017-02-21 | hopTo, Inc. | Account-specific login throttling |
CN103888452B (zh) * | 2014-03-10 | 2017-04-05 | 百度在线网络技术(北京)有限公司 | 用于报文压缩的保序方法和装置 |
CN106248346A (zh) * | 2015-06-12 | 2016-12-21 | 中国科学院遥感与数字地球研究所 | 一种基于几何拓扑学的高精度遥感卫星对地覆盖分析方法 |
US10726619B2 (en) * | 2015-10-29 | 2020-07-28 | Sony Interactive Entertainment Inc. | Foveated geometry tessellation |
CN110114803B (zh) * | 2016-12-28 | 2023-06-27 | 松下电器(美国)知识产权公司 | 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置 |
US10628907B2 (en) | 2017-04-01 | 2020-04-21 | Intel Corporation | Multi-resolution smoothing |
US10404277B2 (en) * | 2017-07-07 | 2019-09-03 | iDensify LLC | Compression and decompression engines and compressed domain processors |
CN109064542B (zh) | 2018-06-06 | 2019-11-19 | 贝壳找房(北京)科技有限公司 | 三维模型表面空洞填补方法和装置 |
GB2578769B (en) | 2018-11-07 | 2022-07-20 | Advanced Risc Mach Ltd | Data processing systems |
GB2583061B (en) * | 2019-02-12 | 2023-03-15 | Advanced Risc Mach Ltd | Data processing systems |
JP7114082B2 (ja) * | 2019-03-20 | 2022-08-08 | 株式会社アクセルスペース | 情報処理装置、情報処理方法及びプログラム |
US11917205B2 (en) * | 2019-07-05 | 2024-02-27 | Tencent America LLC | Techniques and apparatus for scalable lifting for point-cloud attribute coding |
US20230222667A1 (en) * | 2022-01-13 | 2023-07-13 | Microsoft Technology Licensing, Llc | Mask for satellite image data |
CN114742837B (zh) * | 2022-06-14 | 2022-09-16 | 华南农业大学 | 基于深层信息影像互动的木材艺术品加工辅助仪器及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5724070A (en) * | 1995-11-20 | 1998-03-03 | Microsoft Corporation | Common digital representation of still images for data transfer with both slow and fast data transfer rates |
US5764235A (en) * | 1996-03-25 | 1998-06-09 | Insight Development Corporation | Computer implemented method and system for transmitting graphical images from server to client at user selectable resolution |
WO1998032076A1 (en) * | 1997-01-17 | 1998-07-23 | Koninklijke Philips Electronics N.V. | Personalizing hospital intranet web sites |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4698689A (en) * | 1986-03-28 | 1987-10-06 | Gte Laboratories Incorporated | Progressive image transmission |
US5963209A (en) * | 1996-01-11 | 1999-10-05 | Microsoft Corporation | Encoding and progressive transmission of progressive meshes |
US5850225A (en) * | 1996-01-24 | 1998-12-15 | Evans & Sutherland Computer Corp. | Image mapping system and process using panel shear transforms |
US6092091A (en) * | 1996-09-13 | 2000-07-18 | Kabushiki Kaisha Toshiba | Device and method for filtering information, device and method for monitoring updated document information and information storage medium used in same devices |
US5995109A (en) * | 1997-04-08 | 1999-11-30 | Lsi Logic Corporation | Method for rendering high order rational surface patches |
US5966672A (en) * | 1997-07-28 | 1999-10-12 | Knupp; Daniel F. | Visualization technology method |
US6608933B1 (en) * | 1997-10-17 | 2003-08-19 | Microsoft Corporation | Loss tolerant compressed image data |
US6182114B1 (en) * | 1998-01-09 | 2001-01-30 | New York University | Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images |
US6801665B1 (en) * | 1998-09-15 | 2004-10-05 | University Of Maryland | Method and apparatus for compressing and decompressing images |
US6326965B1 (en) * | 1998-04-14 | 2001-12-04 | International Business Machines Corp. | Interactive representation and retrieval of multi-dimensional data using view elements |
US6397259B1 (en) * | 1998-05-29 | 2002-05-28 | Palm, Inc. | Method, system and apparatus for packet minimized communications |
US6212301B1 (en) * | 1998-06-25 | 2001-04-03 | Accusoft Corporation | Systems and methods for digital image compression |
US6711297B1 (en) * | 1998-07-03 | 2004-03-23 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Methods and apparatus for dynamic transfer of image data |
US6359629B1 (en) * | 1998-07-06 | 2002-03-19 | Silicon Graphics, Inc. | Backface primitives culling |
US6313837B1 (en) * | 1998-09-29 | 2001-11-06 | Schlumberger Technology Corporation | Modeling at more than one level of resolution |
US6373489B1 (en) * | 1999-01-12 | 2002-04-16 | Schlumberger Technology Corporation | Scalable visualization for interactive geometry modeling |
US6345279B1 (en) * | 1999-04-23 | 2002-02-05 | International Business Machines Corporation | Methods and apparatus for adapting multimedia content for client devices |
US6346938B1 (en) * | 1999-04-27 | 2002-02-12 | Harris Corporation | Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model |
US6256773B1 (en) * | 1999-08-31 | 2001-07-03 | Accenture Llp | System, method and article of manufacture for configuration management in a development architecture framework |
US6314452B1 (en) * | 1999-08-31 | 2001-11-06 | Rtimage, Ltd. | System and method for transmitting a digital image over a communication network |
US6476813B1 (en) * | 1999-11-30 | 2002-11-05 | Silicon Graphics, Inc. | Method and apparatus for preparing a perspective view of an approximately spherical surface portion |
US6910001B2 (en) * | 2000-03-22 | 2005-06-21 | Schlumberger Technology Corp. | Distributed multiresolution geometry modeling system and method |
US6671424B1 (en) * | 2000-07-25 | 2003-12-30 | Chipworks | Predictive image caching algorithm |
US6563501B2 (en) * | 2000-07-28 | 2003-05-13 | Adrian Sfarti | Bicubic surface rendering |
US6704024B2 (en) * | 2000-08-07 | 2004-03-09 | Zframe, Inc. | Visual content browsing using rasterized representations |
US6935997B2 (en) * | 2000-09-14 | 2005-08-30 | Rutgers, The State University Of New Jersey | Patterning technology for folded sheet structures |
US6874012B1 (en) * | 2000-11-01 | 2005-03-29 | Sun Microsystems, Inc. | System and method for a display device using a priority messaging protocol |
US7139794B2 (en) * | 2000-12-27 | 2006-11-21 | 3-D-V-U Israel (2000) Ltd. | System and methods for network image delivery with dynamic viewing frustum optimized for limited bandwidth communication channels |
US6664960B2 (en) * | 2001-05-10 | 2003-12-16 | Ati Technologies Inc. | Apparatus for processing non-planar video graphics primitives and associated method of operation |
-
2001
- 2001-12-24 US US10/035,981 patent/US7139794B2/en not_active Expired - Lifetime
- 2001-12-24 US US10/036,193 patent/US6850235B2/en not_active Expired - Fee Related
- 2001-12-24 US US10/035,987 patent/US7644131B2/en not_active Expired - Fee Related
- 2001-12-25 KR KR10-2003-7008610A patent/KR20040035585A/ko not_active Application Discontinuation
- 2001-12-25 WO PCT/IL2001/001200 patent/WO2002069275A1/en not_active Application Discontinuation
- 2001-12-25 WO PCT/IL2001/001198 patent/WO2002095687A1/en not_active Application Discontinuation
- 2001-12-25 WO PCT/IL2001/001199 patent/WO2002086733A1/en not_active Application Discontinuation
- 2001-12-25 JP JP2002584184A patent/JP2004527046A/ja not_active Ceased
-
2009
- 2009-11-16 US US12/619,643 patent/US7908343B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5724070A (en) * | 1995-11-20 | 1998-03-03 | Microsoft Corporation | Common digital representation of still images for data transfer with both slow and fast data transfer rates |
US5764235A (en) * | 1996-03-25 | 1998-06-09 | Insight Development Corporation | Computer implemented method and system for transmitting graphical images from server to client at user selectable resolution |
WO1998032076A1 (en) * | 1997-01-17 | 1998-07-23 | Koninklijke Philips Electronics N.V. | Personalizing hospital intranet web sites |
Also Published As
Publication number | Publication date |
---|---|
US20100064002A1 (en) | 2010-03-11 |
US7644131B2 (en) | 2010-01-05 |
WO2002069275A1 (en) | 2002-09-06 |
WO2002086733A1 (en) | 2002-10-31 |
US20020118224A1 (en) | 2002-08-29 |
US7908343B2 (en) | 2011-03-15 |
US6850235B2 (en) | 2005-02-01 |
KR20040035585A (ko) | 2004-04-29 |
US20020145606A1 (en) | 2002-10-10 |
US20020120753A1 (en) | 2002-08-29 |
WO2002095687A1 (en) | 2002-11-28 |
US7139794B2 (en) | 2006-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004527046A (ja) | 限定された帯域幅の通信チャネルに対して最適化された動的視錘台を用いたネットワーク画像送信システムおよび方法 | |
US10356211B2 (en) | Optimized image delivery over limited bandwidth communication channels | |
US6594687B1 (en) | Apparatus for providing a realtime visualization of at least one image | |
US6278432B1 (en) | Image delivery and display system | |
US20080069458A1 (en) | Depth detail level adjustment of multi-dimensional image data with a client/server-based image rendering system | |
US20100321399A1 (en) | Maps from Sparse Geospatial Data Tiles | |
US20110153776A1 (en) | Method and system for receiving a local vector object and viewing a vector image | |
US20080082549A1 (en) | Multi-Dimensional Web-Enabled Data Viewer | |
WO2010013854A1 (en) | Three dimensional geographical information client apparatus, server apparatus and three dimensional geographical information system having the same | |
CN115065867B (zh) | 基于无人机视频金字塔模型的动态处理方法及装置 | |
Lei et al. | Image-based walkthrough over internet on mobile devices | |
US20050129322A1 (en) | Method and system for compressing, storing, and retrieving image data | |
Fathy et al. | Efficient framework for mobile walkthrough application | |
JPH11213002A (ja) | 地図図面表示切換え方法 | |
WalaaM et al. | Efficient Framework for Mobile Walkthrough Application | |
Yilmaza et al. | A PRACTICAL APPROACH FOR SERVING LARGE AMOUNTS OF GEOSPATIAL DATA VIA COMPUTER NETWORKS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070913 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071213 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071220 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080111 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080121 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080208 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080313 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081030 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081202 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090123 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20110726 |