JP2004213641A - 画像処理装置、画像処理方法、情報処理装置、情報処理システム、半導体デバイス、コンピュータプログラム - Google Patents

画像処理装置、画像処理方法、情報処理装置、情報処理システム、半導体デバイス、コンピュータプログラム Download PDF

Info

Publication number
JP2004213641A
JP2004213641A JP2003416435A JP2003416435A JP2004213641A JP 2004213641 A JP2004213641 A JP 2004213641A JP 2003416435 A JP2003416435 A JP 2003416435A JP 2003416435 A JP2003416435 A JP 2003416435A JP 2004213641 A JP2004213641 A JP 2004213641A
Authority
JP
Japan
Prior art keywords
data
image
processing
object image
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003416435A
Other languages
English (en)
Other versions
JP2004213641A5 (ja
Inventor
Masaaki Oka
正昭 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2003416435A priority Critical patent/JP2004213641A/ja
Priority to PCT/JP2003/016062 priority patent/WO2004057540A2/en
Priority to AU2003285781A priority patent/AU2003285781A1/en
Priority to EP03778938A priority patent/EP1573678A2/en
Priority to US10/739,960 priority patent/US7102639B2/en
Priority to TW092136281A priority patent/TWI238976B/zh
Publication of JP2004213641A publication Critical patent/JP2004213641A/ja
Publication of JP2004213641A5 publication Critical patent/JP2004213641A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 詳細さの異なる画像を出力するのに適した画像処理装置を提供する。
【解決手段】 所定の物体画像についてLODレベルの高い第1データが記憶される補助記憶装置19、第1データよりもLODレベルの低い第2データが記憶されるメインメモリ11、CPU10と、GPU18と、を備える画像処理装置である。CPU10は、物体画像の表示画面上における見かけの速さを算出して、この見かけの速さにより当該物体画像のジオメトリ処理に第1データ又は第2データのいずれを用いるかを決める。GPU18は、第1データを用いてジオメトリ処理が行われた場合には補助記憶装置19から第1データを取り込んでレンダリング処理を行い、第2データを用いてジオメトリ処理が行われた場合にはメインメモリ11から第2データを取り込んでレンダリング処理を行う。
【選択図】 図1

Description

本発明は、様々な詳細さで生成された情報を出力するための技術に関する。例えば、コンピュータ・グラフィクスにより、仮想3次元空間内で仮想的な物体を表す画像(以下、「物体画像」という)を様々な解像度で所定の表示装置に表示するための技術に関する。
コンピュータ・グラフィクスの分野では、より現実の世界に近い画像を得るために様々な処理が行われている。例えば、現実の世界では視点から遠い物体ほど小さく、見えにくいことを表現するために、視点から遠い物体画像ほどその解像度を落とし、簡略化して表示する。遠くの物体画像ほど簡略化するために、処理に用いる物体画像のデータ量を削減することができる。なお本明細書では、物体画像の詳細さをLOD(Level Of Detail)レベルで表し、最も解像度の高い詳細な物体画像をLOD(0)と表す。解像度が低くなり、簡略化されるほどLOD(n)(nは自然数)のn値が大きくなる。LODレベルの高い物体画像ほど詳細に表示するためにデータ量が多く、LODレベルが低くなるにつれデータ量が少なくなる。
また、情報処理装置の分野では、1つの事象に対して詳細さの異なる複数の情報を用意しておき、これらの情報を状況に応じて1つを選択して出力するようなものがある。例えば、辞書ソフトには、要約のような簡略化された情報と詳細な情報とが1つの語彙に対して用意されており、これら2つの情報の一方を選択的に出力できるようなものがある。この場合、例えば、簡略化された情報がLOD(1)の情報、詳細な情報がLOD(0)の情報になる。
本発明は、解像度の異なる画像を出力するのに適した画像処理技術を提供することを課題とする。
また本発明は、詳細さの異なる情報を出力するのに適した情報処理技術を提供することを課題とする。
上記課題を解決する本発明の画像処理装置は、仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させる画像処理装置であって、前記物体画像を表すための第1データが記憶された第1の記憶手段と、前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された第2の記憶手段と、前記物体画像についてのジオメトリ処理を前記第1データ又は前記第2データのいずれかを用いて行う第1の処理手段と、ジオメトリ処理の結果に応じて前記第1データによる画像又は前記第2データによる画像のいずれかを生成する第2の処理手段と、を備えている。前記第1の処理手段は、前記物体画像の属性に応じて、ジオメトリ処理に用いるデータを前記第1データ又は前記第2データのいずれかに決めるように構成されており、前記第2の処理手段は、前記第1の処理手段により決められたジオメトリ処理に用いる前記データが、前記第1データの場合には前記第1の記憶手段から前記第1データを取り込んで前記第1データによる画像を生成し、前記第2データの場合には前記第2の記憶手段から前記第2データを取り込んで前記第2データによる画像を生成するように構成されている。
物体画像の特性とは、例えば物体画像の視点からの奥行き距離であったり、物体画像の画面上における見かけの速さである。
前記物体画像の属性が物体画像の視点からの奥行き距離の場合には、前記第1の処理手段が、前記視点からの奥行き距離が所定の距離よりも小さいときにジオメトリ処理に用いる前記データを前記第1データに決め、前記視点からの奥行き距離が所定の距離よりも大きいときにジオメトリ処理に用いる前記データを前記第2データに決めるように構成される。
前記物体画像の属性が物体画像の画面上における見かけの速さの場合には、前記第1の処理手段が、前記画面上における見かけの速さが所定の速さより遅いときにジオメトリ処理に用いる前記データを前記第1データに決め、前記画面上における見かけの速さが所定の速さより速いときにジオメトリ処理に用いる前記データを前記第2データに決めるように構成される。この場合、前記第1の処理手段は、例えば、前記物体画像の画面上における前記見かけの速さを前記物体画像の動きに連動して動く代表点について求めるように構成される。このような代表点は、例えば、前記物体画像を表す各点の座標値を平均した座標値で表される。
前記物体画像の属性が、物体画像の画面上における見かけの速さ及び視点からの奥行き距離であれば、これらを組み合わせてジオメトリ処理に用いるデータを決めることができる。例えば、前記第1の処理手段が、前記画面上における見かけの速さと所定の速さとの比較結果、及び前記視点からの奥行き距離と所定の距離との比較結果に基づいて、ジオメトリ処理に用いる前記データを前記第1データ又は前記第2データのいずれかに決めるように構成される。
前記第2の記憶手段が、前記第1の記憶手段よりも前記第2の処理手段に対して速くデータを転送できるように構成される場合には、前記第2の処理手段が、前記第1データによる画像よりも前記第2データによる画像を先に生成するように構成される。第2データは第1データよりも簡略化された物体画像を表すので、そのデータ量が第1データよりも少ない。そのために前記第2の記憶手段は、前記第1の記憶手段よりも記憶容量が少なく構成されていてもよい。
前記第1データを簡略化して前記第2データを生成する簡略化手段をさらに備えるようにしてもよい。簡略化手段により生成された第2データを前記第2の記憶手段に記憶するようにする。このような構成では、第1データのみが予め与えられていればよい。また、前記第1データ及び前記簡略化手段により生成された前記第2データが前記第1の記憶手段に予め記憶され、前記第1の処理手段によりジオメトリ処理に用いる前記データが前記第2データに決められたときのみ、当該第2データが前記第1の記憶手段から前記第2の記憶手段に移されるようになっていてもよい。このような構成の場合、前記第2の記憶手段には表示に必要な物体画像の第2データしか記憶されないので、第2の記憶手段に必要な記憶容量が少なくすむ。
他の本発明の画像処理装置は、仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させる画像処理装置であって、前記物体画像を表すための第1データ及び前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された記憶手段と、前記物体画像についてのジオメトリ処理を、前記第1データ及び前記第2データのそれぞれについて行う第1の処理手段と、ジオメトリ処理の結果に応じて前記第1データによる画像及び前記第2データによる画像を生成する第2の処理手段と、を備えている。前記第2の処理手段は、動画像の更新のタイミングで前記第1データによる画像の生成が、終了しているときにはこの画像を前記所定の表示装置に表示させ、終了していないときには前記第2データによる画像及び過去のフレームの第1データによる画像、の少なくとも一方を前記所定の表示装置に表示させるように構成されている。
他の本発明の画像処理装置は、仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させる画像処理装置であって、前記物体画像を表すための第1データ及び前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された記憶手段と、前記物体画像の画面上における見かけの速さを算出して、この見かけの速さが所定の速さよりも速い場合には前記第2データについてジオメトリ処理を行い、前記物体画像の画面上における前記見かけの速さが前記所定の速さよりも遅い場合には前記第1データ及び前記第2データのそれぞれについてジオメトリ処理を行う第1の処理手段と、ジオメトリ処理の結果に応じて前記第1データによる画像及び/又は前記第2データによる画像を生成する第2の処理手段と、を備えており、前記第2の処理手段は、前記物体画像の画面上における前記見かけの速さが前記所定の速さよりも速い場合に、前記第2データによる画像を前記所定の表示手段に表示させ、前記物体画像の画面上における前記見かけの速さが前記所定の速さよりも遅い場合に、動画像の更新のタイミングで前記第1データによる画像の生成が、終了しているときにはこの画像を前記所定の表示装置に表示させ、終了していないときには前記第2データによる画像及び過去のフレームの第1データによる画像、の少なくとも一方を前記所定の表示装置に表示させるように構成されている。
また、前記記憶手段が、前記第1データが記憶される第1の記憶手段と、前記第2データが記憶される第2の記憶手段とから構成されていてもよい。
本発明の画像処理方法は、仮想的な物体についての物体画像を表す第1データ及び前記物体画像を前記第1データよりも簡略化して表す第2データが記憶された第1の記憶手段と、第2の記憶手段と、前記第1データ又は前記第2データについてジオメトリ処理を行う第1の処理手段と、前記第1の処理手段によるジオメトリ処理の結果に応じて前記第1データによる画像と前記第2データによる画像とのいずれかを生成する第2の処理手段とを備え、前記物体画像を含んだ動画像を、所定の表示装置に表示させる装置により実行される方法であって、前記第1の処理手段が、前記物体画像についての表示画面上における見かけの速さを導出して、この見かけの速さに応じて前記第1データ又は前記第2データのいずれか一方についてのジオメトリ処理を行い、ジオメトリ処理を前記第2データについて行ったときには当該第2データを前記第2の記憶手段に転送させるようにし、前記第2の処理手段が、ジオメトリ処理が前記第1データについて行われたときには前記第1の記憶手段から当該第1データを取り込んで前記第1データによる画像を生成し、前記ジオメトリ処理が前記第2データについて行われたときには前記第2の記憶手段から当該第2データを取り込んで前記第2データによる画像を生成する。
本発明の他の画像処理方法は、仮想的な物体についての物体画像を表す第1データ及び前記物体画像を前記第1データよりも簡略化して表す第2データが記憶された記憶手段と、前記第1データ及び前記第2データについてジオメトリ処理を行う第1の処理手段と、前記第1の処理手段によるジオメトリ処理の結果に応じて前記第1データによる画像と前記第2データによる画像とを生成する第2の処理手段とを備え、前記物体画像を含んだ動画像を、所定の表示装置に表示させる装置により実行される方法であって、前記第1の処理手段が、前記ジオメトリ処理の際に前記物体画像の画面上における見かけの速さを求め、前記第2の処理手段が、前記第1の処理手段により求められた前記物体画像の画面上における前記見かけの速さが、所定の速さより速いときには前記第2データによる前記画像を前記表示装置に表示させ、前記所定の速さより遅いときには前記第1データによる前記画像、前記第2データによる前記画像、及び過去のフレームの第1データによる画像、の少なくとも1つを前記表示装置に表示させる。
本発明の情報処理装置は、所定の事象を表すための第1データが記憶される第1の記憶手段と、前記所定の事象について前記第1データよりも簡略化して表すための第2データが記憶される第2の記憶手段と、前記第1データ及び前記第2データを出力する出力手段と、を備えている。前記第2の記憶手段は、前記第1の記憶手段よりも前記出力手段へデータを速く転送できるように構成されており、前記出力手段は、前記第2の記憶手段から前記第2データを取り込んで出力するとともに、前記第1の記憶手段から前記第1データを取り込み、前記第2データに換えて前記第1データを出力するように構成されている。
本発明の情報処理システムは、所定の事象を表すための第1データが記憶される第1の記憶手段を含んだ第1の処理装置と、前記所定の事象について前記第1データよりも簡略化して表すための第2データが記憶される第2の記憶手段を含んだ第2の処理装置と、前記第1データ及び前記第2データを出力する出力装置とがネットワークを介して接続されており、前記第1の処理装置と前記出力装置との間のデータ転送速度が、前記第2の処理装置と前記出力装置との間のデータ転送速度よりも遅くなるように構成されており、前記出力装置は、前記第2の処理装置から前記第2データを取り込んで出力するとともに、前記第1の処理装置から前記第1データを取り込み、前記第2データに換えて前記第1データを出力するように構成されている。
このような情報処理システムでは、前記第1の処理装置と前記出力装置との間のデータ転送速度、及び前記第2の処理装置と前記出力装置との間のデータ転送速度を測定する測定装置が前記ネットワークに接続して設けられていてもよい。これにより、データ転送速度が不明な処理装置がネットワーク上にある場合でも、適切なデータの出力が可能になる。
本発明の他の情報処理システムは、所定の事象を表すための第1データ及び前記第1データよりも簡略化して前記所定の事象を表すための第2データが記憶される第1の記憶手段を含んだ第1の処理装置と、前記第1データ及び前記第2データが記憶される第2の記憶手段を含んだ第2の処理装置と、前記第1データ及び前記第2データを出力する出力装置と、前記第1の処理装置と前記出力装置との間のデータ転送速度、及び前記第2の処理装置と前記出力装置との間のデータ転送速度を測定する測定装置とがネットワークを介して接続されており、前記測定装置によるデータ転送速度の測定の結果、データ転送速度が速いとされた処理装置から前記第2データを取り込んで出力するとともに、他方の処理装置から前記第1データを取り込んで、前記第2データに換えて前記第1データを出力するように構成されている。
本発明の半導体デバイスは、仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させるコンピュータシステムに搭載され、このコンピュータシステムが有する他の構成部品と協働で、該コンピュータシステム内に、前記物体画像を表すための第1データが記憶された第1の記憶手段、前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された第2の記憶手段、前記物体画像についてのジオメトリ処理を前記第1データ又は前記第2データのいずれかを用いて行う第1の処理手段、ジオメトリ処理の結果に応じて前記第1データによる画像又は前記第2データによる画像のいずれかを生成する第2の処理手段、を構築する半導体デバイスであって、前記第1の処理手段が、前記物体画像の属性に応じて、ジオメトリ処理に用いるデータを前記第1データ又は前記第2データのいずれかに決めるように構築し、前記第2の処理手段が、前記第1の処理手段により決められたジオメトリ処理に用いる前記データが、前記第1データの場合には前記第1の記憶手段から前記第1データを取り込んで前記第1データによる画像を生成し、前記第2データの場合には前記第2の記憶手段から前記第2データを取り込んで前記第2データによる画像を生成するように構築するものである。
本発明の他の半導体デバイスは、仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させるコンピュータシステムに搭載され、このコンピュータシステムが有する他の構成部品と協働で、該コンピュータシステム内に、前記物体画像を表すための第1データ及び前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された記憶手段、前記物体画像についてのジオメトリ処理を、前記第1データ及び前記第2データのそれぞれについて行う第1の処理手段、ジオメトリ処理の結果に応じて前記第1データによる画像及び前記第2データによる画像を生成する第2の処理手段、を構築する半導体デバイスであって、前記第2の処理手段が、動画像の更新のタイミングで前記第1データによる画像の生成が、終了しているときにはこの画像を前記所定の表示装置に表示させ、終了していないときには前記第2データによる画像及び過去のフレームの第1データによる画像、の少なくとも一方を前記所定の表示装置に表示させるように構築するものである。
本発明の他の半導体デバイスは、所定のコンピュータシステムに搭載され、このコンピュータシステムが有する他の構成部品と協働で、該コンピュータシステム内に、所定の事象を表すための第1データが記憶される第1の記憶手段、前記所定の事象について前記第1データよりも簡略化して表すための第2データが記憶される第2の記憶手段、前記第1データ及び前記第2データを出力する出力手段、を構築する半導体デバイスであって、前記第2の記憶手段が、前記第1の記憶手段よりも前記出力手段へデータを速く転送できるように構築し、前記出力手段は、前記第2の記憶手段から前記第2データを取り込んで出力するとともに、前記第1の記憶手段から前記第1データを取り込み、前記第2データに換えて前記第1データを出力するように構築するものである。
本発明のコンピュータプログラムは、仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させるコンピュータシステムに、前記物体画像を表すための第1データが記憶された第1の記憶手段、前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された第2の記憶手段、前記物体画像についてのジオメトリ処理を前記第1データ又は前記第2データのいずれかを用いて行う第1の処理手段、ジオメトリ処理の結果に応じて前記第1データによる画像又は前記第2データによる画像のいずれかを生成する第2の処理手段、を形成するためのコンピュータプログラムであって、前記第1の処理手段が、前記物体画像の属性に応じて、ジオメトリ処理に用いるデータを前記第1データ又は前記第2データのいずれかに決めるように形成し、前記第2の処理手段が、前記第1の処理手段により決められたジオメトリ処理に用いる前記データが、前記第1データの場合には前記第1の記憶手段から前記第1データを取り込んで前記第1データによる画像を生成し、前記第2データの場合には前記第2の記憶手段から前記第2データを取り込んで前記第2データによる画像を生成するように形成するものである。
本発明の他のコンピュータプログラムは、仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させるコンピュータシステムに、前記物体画像を表すための第1データ及び前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された記憶手段、前記物体画像についてのジオメトリ処理を、前記第1データ及び前記第2データのそれぞれについて行う第1の処理手段、ジオメトリ処理の結果に応じて前記第1データによる画像及び前記第2データによる画像を生成する第2の処理手段、を形成するためのコンピュータプログラムであって、前記第2の処理手段が、動画像の更新のタイミングで前記第1データによる画像の生成が、終了しているときにはこの画像を前記所定の表示装置に表示させ、終了していないときには前記第2データによる画像及び過去のフレームの第1データによる画像、の少なくとも一方を前記所定の表示装置に表示させるように形成するものである。
本発明の他のコンピュータプログラムは、コンピュータシステムに、所定の事象を表すための第1データが記憶される第1の記憶手段、前記所定の事象について前記第1データよりも簡略化して表すための第2データが記憶される第2の記憶手段、前記第1データ及び前記第2データを出力する出力手段、を形成するためのコンピュータプログラムであって、前記第2の記憶手段が、前記第1の記憶手段よりも前記出力手段へデータを速く転送できるように形成し、前記出力手段は、前記第2の記憶手段から前記第2データを取り込んで出力するとともに、前記第1の記憶手段から前記第1データを取り込み、前記第2データに換えて前記第1データを出力するように形成するものである。
以上のような本発明により、例えば、解像度が異なる画像のような詳細さの異なる情報を、効率よく出力することが可能になる。
以下に、本発明の実施形態を、図面を用いて詳細に説明する。
図1は、本発明の画像処理装置のハードウェア構成図である。
この画像処理装置1は、CD−ROM又はDVD−ROMなどのメディア141に記録されたプログラム及びデータを読み込んで処理することにより、図外の表示装置に画像を表示させるとともに、スピーカ等から音声を出力させるようにしたものである。このような画像処理装置1は、例えば、画像処理機能を有する汎用のコンピュータ、ビデオゲーム装置、エンタテインメント装置等により実現される。
画像処理装置1は、CPU(Central Processing Unit)10と、RAMで構成されるメインメモリ11と、DMAC(Direct Memory Access Controller)12と、MPEG(Moving Picture Experts Group)デコーダ(MDEC)13と、メディア141を装着するためのメディアドライブ14と、入力部15と、BIOSなどのプログラムが記録されているROM16と、サウンドメモリ171に蓄積された音データを読み出してオーディオ出力信号として出力する音声処理装置(Sound Processing Unit、以下、「SPU」)17と、フレームメモリ18aを有する描画処理装置(Graphic Processing Unit、以下、「GPU」)18と、補助記憶装置19とを含んで構成される。これらは、バスBを介して接続される。
GPU18には、ビデオ出力信号を生成するCRTC(CRT Controller)181が接続される。ビデオ出力信号は、NTSC(National Television Standards Committee)やPAL(Phase Alternation by Line)などの規格に準拠して生成され、CRTC181から表示装置に出力されるようになっている。
CPU10は、画像処理装置1の起動時に、ROM16から起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる半導体デバイスである。また、CPU10は、メディアドライブ14を制御して、メディアドライブ14に装着されたメディア141からアプリケーションプログラムを読み出してメインメモリ11に記憶させるとともに、メディア141から複数の基本図形(ポリゴン)で構成された3次元図形データ(ポリゴンの頂点の座標値など)、テクスチャデータ等の画像を生成するために必要なデータを読み出して、これを補助記憶装置19に記憶させる機能を有する。3次元図形データは、3次元画像内の物体画像を表す。
なお、CPU10は、メディア141からプログラム及びデータを読み出して補助記憶装置19に記憶させる他に、画像処理装置1が外部機器との間でネットワークを介してデータの送受を行うためのネットワークインタフェースを備えるものである場合には、当該外部機器からプログラム及びデータを取り込むように構成されていてもよい。
CPU10は、3次元図形データに対して、座標変換や透視変換などのジオメトリ処理を行い、ジオメトリ処理によるポリゴン定義情報(使用するポリゴンの頂点及び重心についての、位置、色、テクスチャ座標、フォグカラー、使用する3次元図形データ及びテクスチャデータのLODレベル、等の指定)、をその内容に含むディスプレイリストを生成する機能も有している。
また、CPU10は、3次元図形データ及びテクスチャデータを簡略化してLODレベルの低い3次元図形データ及びテクスチャデータを生成する機能を有していてもよい。生成されたLODレベルの低い3次元図形データ及びテクスチャデータは、補助記憶装置19に記憶される。
GPU18は、ディスプレイリストを用いてレンダリング処理を行い、フレームメモリ18aにポリゴンを描画して画像を生成する機能を有する半導体デバイスである。GPU18は、ディスプレイリストにより指定されたLODレベルの3次元図形データ及びテクスチャデータによりレンダリング処理を行う。フレームメモリ18aは、複数画面分の画像を描画できる容量がある。
GPU18は、フレームメモリ18aへの描画が終了しているか否かを判定する判定部を備えている。これによりフレーム更新の際に、フレームメモリ18aへの描画が終了しているか否かを判定して、描画の終了している画像を表示装置に表示できるようになる。
SPU17は、サウンドメモリ171から読み出した音データを合成してオーディオ出力信号を生成する半導体デバイスである。DMAC12は、バスBに接続されている各回路を対象としてDMA転送制御を行う半導体デバイスであり、MDEC13は、CPU10と並列に動作し、MPEG(Moving Picture Experts Group)方式あるいはJPEG(Joint Photographic Experts Group)方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。
入力部15は、操作装置151からの入力信号が入力される接続端子15aを備えている。操作装置151には、複数の操作ボタンが設けられており、操作者がこれらの操作ボタンを種々多様に操作することにより、表示装置に表示される物体画像を移動、変形させることができるようになっている。操作装置151には、例えば、キーボード、マウス、ビデオゲーム装置のコントローラ等を用いることができる。
補助記憶装置19は、ハードディスクドライブ等の大容量の記憶装置である。また、補助記憶装置19は、画像処理装置1の外部に設けられ、ネットワークを介して画像処理装置1との間でデータの送受が可能なネットワーク上のメモリのようなものであってもよい。ネットワーク上のメモリを補助記憶装置19として用いる場合、画像処理装置1は、ネットワーク上のメモリとの間でデータの送受を行うためのネットワークインタフェースを備えることになる。
メインメモリ11及び補助記憶装置19には、画像処理装置1による画像処理の過程で、それぞれに3次元図形データ及びテクスチャデータが記憶される。これらに記憶された3次元図形データ及びテクスチャデータは、GPU18によるレンダリング処理の際に用いられる。
メインメモリ11及び補助記憶装置19は、記憶容量、レイテンシ、スループットが図2に示すような関係になっている。
つまり、記憶容量はメインメモリ11が補助記憶装置19よりも小さく、レイテンシはメインメモリ11が補助記憶装置19よりも小さく、スループットはメインメモリ11が補助記憶装置19よりも高い。
そのために、メインメモリ11に記憶される3次元図形データ及びテクスチャデータには、データ量が少なく高フレームレートに対応する、LODレベルの低いものが適している。逆に、補助記憶装置19に記憶される3次元図形データ及びテクスチャデータには、データ量が多く低フレームレートに対応する、LODレベルの高いものが適している。
3次元図形データはメディア141から供給されるが、同じ物体画像についてLOD(0)〜(n)のものが、予めメディア141に用意されている場合には、これらが補助記憶装置19に記憶される。最も詳細なLOD(0)の3次元図形データしか用意されていない場合には、CPU10が、この3次元図形データを簡略化して他のLODレベルの3次元図形データを生成する。図3は、3次元図形データの簡略化を説明する図である。
図3では、物体画像は家を表す。この物体画像は、外壁部分、屋根部分、及び窓部分から構成される。
3次元図形データの簡略化は、例えば、これらの各部分をその大きさに応じて省略することにより行う。各部分の大きさは、概略の体積により決める。概略の体積とは、各部分の頂点のXYZそれぞれの方向への最大値と最小値とでできる直方体の体積である。図3の例では、屋根についてのこのような直方体を、点線で表している。このような概略の体積が所定の値よりも大きいか否かで、その部分を省略するか否かを決める。
図3では簡略化により、窓部分が省略されている。LOD(1)の3次元図形データは、窓が省略された家を表している。
なお、2次元図形の場合には、面積に応じて簡略化することができる。
テクスチャデータも、3次元図形データと同様に、メディア141に各LODレベルのテクスチャデータが用意されていない場合には、メディア141から読み出されたテクスチャデータが、CPU10により簡略化されて生成される。
図4は、テクスチャデータの簡略化を説明する図である。
テクスチャデータの簡略化は、例えば、テクスチャデータに既知の2次元ローパスフィルタをかけることにより行う。ローパスフィルタによりテクスチャデータの帯域は狭められてデータ量が削減される。図4の例では、LOD(0)の円、楕円、三角形のテクスチャが、ローパスフィルタにより簡略化されて輪郭部分が不鮮明なLOD(1)の円、楕円、三角形が生成されたことを表している。ローパスフィルタにより狭める帯域が大きいほど輪郭部分が不鮮明になり、データ量が削減される。
レンダリング処理の際にどのLODレベルの3次元図形データ及びテクスチャデータを用いるかは、例えば、物体画像の画面上における見かけの速さにより決めることができる。物体画像の画面上における見かけの速さは、例えばジオメトリ処理の際に求められる。図5は、このような見かけの速さを求める手法を説明する図である。
画面上における物体画像の見かけの速さは、当該物体画像の頂点のそれぞれについて求めてそれを平均したものでもよいが、この実施形態では物体画像の中心点(例えば、各頂点座標の平均値)などの代表点を一つ決め、これについて求める。一つの点について画面上における見かけの速さを求めるので、物体画像の各頂点について求めるよりも処理量が少なくなる。
代表点についてジオメトリ処理を行うことにより、代表点の画面上における位置を求めることができる。画面上における物体画像の見かけの速さは、例えば、現在の画面上における代表点の位置と、1フレーム前の画面上における代表点の位置とから求めることができる。
図5の例では、現在のフレームにおける家を表す物体画像の代表点の位置P2と、1フレーム前における家を表す物体画像の代表点の位置P1と、の差分をとることにより代表点の画面上における移動量を求める。この移動量により物体画像の画面上における見かけの速さを求めることができる。
物体画像の画面上における見かけの速さに応じて、CPU10は、使用する3次元図形データのLODレベルを決める。CPU10は、例えば、見かけの速さが所定の速さよりも速い場合には、高速に描画する必要があるので、使用する3次元図形データのLODレベルをデータ量の少ないLOD(1)に決める。高速に移動する物体なので、LODレベルの低い物体画像が表示されても違和感は感じられない。見かけの速さが所定の速さよりも遅い場合には、詳細に描画する必要があるので、使用する3次元図形データのLODレベルをデータ量の多いLOD(0)に決める。
なお、テクスチャデータのLODレベルは、それがマッピングされる3次元図形データのLODレベルに合わせて決められる。
LODレベルがLOD(1)に決まった物体画像を表示するための3次元図形データ及びテクスチャデータは、レンダリング処理の前に、補助記憶装置19からメインメモリ11に転送される。
図6は、メインメモリ11及び補助記憶装置19に記憶される3次元図形データ(家の物体画像)及びテクスチャデータ(円)による画像の例である。メインメモリ11にLOD(1)の3次元図形データ及びテクスチャデータ、補助記憶装置19にLOD(0)の3次元図形データ及びテクスチャデータが記憶される。
上記のように、メインメモリ11は補助記憶装置19よりもスループットが高い。またメインメモリ11に記憶される3次元図形データ及びテクスチャデータは、補助記憶装置19に記憶されるそれよりもデータ量が少ない。そのために、メインメモリ11からGPU18への3次元図形データ及びテクスチャデータの転送に掛かる時間は、補助記憶装置19からGPU18へのそれよりも短くなる。
以上のような画像処理装置1により、物体画像を含んだ3次元画像について行う画像処理を、図7の処理手順図により説明する。
画像処理装置1は、まず、メディアドライブ14によりメディア141から物体画像についての3次元図形データ及び描画の際にポリゴンなどに貼り付けられるテクスチャについてのテクスチャデータを取り込み、補助記憶装置19に書き込む(ステップS10)。
メディア141に、1つの物体画像についてLOD(0)、(1)の2つの3次元図形データが用意されている場合には、そのすべてを取り込んで補助記憶装置19に書き込む。1つの物体画像についてLOD(0)の3次元図形データしかない場合には、CPU10が、上記のように3次元図形データを簡略化してLOD(1)の3次元図形データを作成し、補助記憶装置19に書き込む。
テクスチャデータについても、同様に、メディア141に1つのテクスチャについてLOD(0)のテクスチャデータしかない場合には、CPU10が、上記のようにテクスチャデータを簡略化してLOD(1)のテクスチャデータを作成し、補助記憶装置19に書き込む。
次いで画像処理装置1は、3次元画像内の各物体画像について、CPU10によりジオメトリ処理を行う(ステップS20)。ジオメトリ処理の際には、上記のようにして各物体画像の画面上における見かけの速さを算出する。CPU10は、算出した見かけの速さに応じて、ジオメトリ処理の際に用いる3次元図形データ及びテクスチャデータのLODレベルを決める。そしてこのLODレベルの3次元図形データについてジオメトリ処理を行う。なお、CPU10は、物体画像の画面上における見かけの速さが所定の速さよりも遅いときに、LOD(0)及びLOD(1)の3次元図形データの双方についてジオメトリ処理を行うようにしてもよい。
CPU10は、ジオメトリ処理によりディスプレイリストを生成して、これをGPU18へ送る。LOD(0)及びLOD(1)の双方の3次元図形データにジオメトリ処理を行った場合には、1つの物体画像について2つのディスプレイリストが生成されて、これらがGPU18へ送られる。
CPU10は、ジオメトリ処理の対象となった物体画像について、LOD(1)の3次元図形データ及びテクスチャデータを補助記憶装置19からメインメモリ11に転送させる(ステップS30)。
なお、メインメモリ11の記憶容量に余裕がある場合には、予め補助記憶装置19からすべてのLOD(1)の3次元図形データ及びテクスチャデータをメインメモリ11に転送しておいてもよい。また、メディア141から直接メインメモリ11にLOD(1)の3次元図形データ及びテクスチャデータを転送するようにしてもよい。
GPU18は、CPU10から送られたディスプレイリストに基づいてレンダリング処理を行う(ステップS40)。GPU18は、レンダリング処理の際に用いる3次元図形データ及びテクスチャデータを、ディスプレイリストに示されたLODレベルに基づいてメインメモリ11又は補助記憶装置19から取り込んで用いる。レンダリング処理の結果、フレームメモリ18aには画像が描画される。GPU18は、内蔵の判定部により描画が終了していると判定された画像を選択する。CRTC181は、GPU18により選択されたフレームメモリ18aの描画像をビデオ信号に変換して出力し、表示装置に画像を表示させる(ステップS50)。このような処理を、動画像が終了するまで、或いは、操作装置151から終了の信号が入力されるまで繰り返す(ステップS60)。
ステップS20のジオメトリ処理及びステップ40のレンダリング処理について、図8のような動画を描画する場合を例に詳細に説明する。
図8は、4フレーム分の動画を重ねて表示しており、最初のフレーム(フレーム0)では画面の左下にある家の物体画像が、次のフレーム(フレーム1)で画面の中上、さらに次のフレーム(フレーム2)で画面の右上、最後のフレーム(フレーム3)で画面のさらに右上に移動する様子を表している。
フレーム0からフレーム1の間で家は画面上を所定の速さよりも速く移動しており、フレーム1からフレーム2、フレーム2からフレーム3の間では画面上を所定の速さよりも遅く移動している。
図9は、LOD(0)の3次元図形データについてのレンダリング処理に掛かる時間、すなわち補助記憶装置19からGPU18へLOD(0)の3次元図形データを転送してフレームメモリ18aに描画するまでに掛かる時間が、1フレームの表示時間よりも大きく、且つレンダリング処理の際に用いる3次元図形データがLOD(0)又はLOD(1)のいずれか一方に決められる場合である。なお、LOD(1)の3次元図形データについてのレンダリング処理に掛かる時間は、1フレームの表示時間よりも小さい。
CPU10は、ジオメトリ処理により、物体画像の画面上における見かけの速さをフレーム毎に求めて、レンダリング処理の際に描画される3次元図形データのLODレベルを決める。図8の例では、フレーム1のときに物体画像の画面上における見かけの速さが所定の速さよりも速いので、物体画像の3次元図形データをLOD(1)に決める。フレーム2、フレーム3のときは、物体画像の画面上における見かけの速さが所定の速さよりも遅いので、物体画像の3次元図形データをLOD(0)に決める。つまり、表示されるべき物体画像のLODレベルは、フレーム1から順にLOD(1)→LOD(0)→LOD(0)となる。
フレーム1ではLOD(1)の3次元図形データについてのディスプレイリスト、フレーム2、3ではLOD(0)の3次元図形データについてのディスプレイリストが生成される。
GPU18は、フレーム1用のディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画する。LOD(1)の3次元図形データは、1フレームの表示時間内に転送から描画までが終了するので、フレーム1にはLOD(1)の3次元図形データによる画像が表示される。
次いで、GPU18は、フレーム2用のディスプレイリストに基づいて、補助記憶装置19からLOD(0)の3次元図形データを読み込んで描画する。LOD(0)の3次元図形データは、1フレームの表示時間内に転送から描画までが終了しない。そのために、GPU18は、フレーム2用の画像を表示することができない。このような場合、GPU18は、先に表示したフレーム1用の画像を再び表示する。
次いで、GPU18は、フレーム3用のディスプレイリストに基づいて、補助記憶装置19からLOD(0)の3次元図形データを読み込んで描画する。LOD(0)の3次元図形データは、1フレームの表示時間内に転送から描画までが終了しない。そのために、GPU18は、フレーム3用の画像を表示することができない。このような場合、フレーム3の表示タイミングでは、フレーム2用の画像の描画が終了しているので、GPU18は、フレーム2用の画像を表示する。
このように、実際に表示される物体画像のLODレベルは、フレーム1から順にLOD(1)→LOD(1)→LOD(0)となる。フレーム2の画像が、表示されるべきものとは異なるが、フレーム1もLOD(1)の画像であるので問題にはならない。また、フレーム3でフレーム2に表示されるべき画像が表示されるが、フレーム2とフレーム3とでは、物体画像の画面上における移動量が比較的少ないので違和感はない。
図10は、LOD(0)の3次元図形データについてのレンダリング処理に掛かる時間が1フレームの表示時間よりも小さく、且つレンダリング処理の際に用いる3次元図形データがLOD(0)又はLOD(1)のいずれかに決められる場合である。なお、LOD(1)の3次元図形データについてのレンダリング処理に掛かる時間は、LOD(0)の3次元図形データについてのレンダリング処理に掛かる時間よりも小さい。
CPU10によるジオメトリ処理は、図9の説明の場合と同様である。表示されるべき物体画像のLODレベルは、フレーム1から順にLOD(1)→LOD(0)→LOD(0)となる。
GPU18は、フレーム1用のディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画する。LOD(1)の3次元図形データは、1フレームの表示時間に対して、転送から描画までの時間に余裕があるので複数重ね書きしてモーションブラーを付けるようにすると、フレーム1の画像における物体画像の速度感を表すことができる。
次いで、GPU18は、フレーム2用のディスプレイリストに基づいて、補助記憶装置19からLOD(0)の3次元図形データを読み込んで描画する。LOD(0)の3次元図形データは、1フレームの表示時間内に、転送から描画までが終了するので、フレーム2にはLOD(0)の3次元図形データによる画像が表示される。
次いで、GPU18は、フレーム3用のディスプレイリストに基づいて、補助記憶装置19からLOD(0)の3次元図形データを読み込んで描画する。LOD(0)の3次元図形データは、1フレームの表示時間内に、転送から描画までが終了するので、フレーム3にはLOD(0)の3次元図形データによる画像が表示される。
このように、実際に表示される物体画像のLODレベルは、フレーム1から順にLOD(1)→LOD(0)→LOD(0)となる。フレーム1の物体画像が、モーションブラーにより速度感を表しており、フレームレートが遅い場合でも従来のような表示が可能である。
図11は、LOD(0)の3次元図形データについてのレンダリング処理に掛かる時間が1フレームの表示時間よりも大きく、且つレンダリング処理の際に1つの低速の物体画像についてLOD(0)、LOD(1)の3次元図形データが並列にGPU18に転送される場合である。なお、LOD(1)の3次元図形データについてのレンダリング処理に掛かる時間は、1フレームの表示時間よりも小さい。
CPU10は、ジオメトリ処理により、物体画像の画面上における見かけの速さをフレーム毎に求める。CPU10は、物体画像の画面上における見かけの速さが所定の速さよりも速いときに、LOD(1)の3次元図形データについてのみディスプレイリストを生成し、物体画像の画面上における見かけの速さが所定の速さよりも遅いときに、LOD(0)、LOD(1)のそれぞれの3次元図形データについてのディスプレイリストを生成する。
図8の例では、フレーム1のときに物体画像の画面上における見かけの速さが所定の速さよりも速いため、LOD(1)の3次元図形データについてのディスプレイリストが生成される。フレーム2、3のときには、物体画像の画面上における見かけの速さが所定の速さよりも遅いために、LOD(0)、LOD(1)のそれぞれの3次元図形データについてのディスプレイリストが生成される。なお、表示されるべき物体画像のLODレベルは、フレーム1から順にLOD(1)→LOD(0)→LOD(0)である。
GPU18は、フレーム1用のディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画する。LOD(1)の3次元図形データは、1フレームの表示時間内に、転送から描画までが終了するので、フレーム1にはLOD(1)の3次元図形データが表示される。
次いで、GPU18は、フレーム2用の2つのディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画するとともに、補助記憶装置19からLOD(0)の3次元図形データを読み込んで描画する。LOD(1)の3次元図形データの描画は、1フレームの表示時間内に終了するが、LOD(0)の3次元図形データの描画は、1フレームの表示時間内に終了しない。本来フレーム2にはLOD(0)の3次元図形データによる画像が表示されるべきであるが、描画が終了していないためにそれはできない。そのためにGPU18は、描画が終了しているLOD(1)の3次元図形データによる画像を表示させることになる。
次いで、GPU18は、フレーム3用の2つのディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画するとともに、補助記憶装置19からLOD(0)の3次元図形データを読み込んで描画する。LOD(1)の3次元図形データの描画は、1フレームの表示時間内に終了するが、LOD(0)の3次元図形データの描画は、1フレームの表示時間内に終了しない。本来フレーム3に表示されるべき画像の描画が終了していないために、GPU18は、描画が終了している、フレーム3用のLOD(1)の3次元図形データによる画像、またはフレーム2用のLOD(0)の3次元図形データによる画像の少なくとも一方を表示することになる。
フレーム3用のLOD(1)の3次元図形データによる画像の場合、物体画像の画面上の位置は正しいが、簡略化された物体画像が表示される。
フレーム2用のLOD(0)の3次元図形データによる画像の場合、詳細な物体画像が表示されるが、物体画像の画面上の位置は不正確になる。しかし、物体画像の画面上における見かけの速さが遅いので問題とはならない。
また、フレーム3用のLOD(1)の3次元図形データによる画像と、フレーム2用のLOD(0)の3次元図形データによる画像とを重ね書きしてもよい。
実際に表示される物体画像のLODレベルは、フレーム1から順にLOD(1)→LOD(1)→LOD(0)又はLOD(1)、或いはLOD(1)→LOD(1)→LOD(0)及びLOD(1)となる。
図12は、LOD(0)の3次元図形データについてのレンダリング処理に掛かる時間が1フレームの表示時間以上且つ2フレームの表示時間以下で、レンダリング処理の際に1つの低速の物体画像についてLOD(0)、LOD(1)の3次元図形データが並列にGPU18に転送される場合である。なお、LOD(1)の3次元図形データについてのレンダリング処理に掛かる時間は、1フレームの表示時間よりも小さい。図12では、図8にはないフレーム4の画像を設定している。フレーム4の物体画像は、フレーム2、3と同じく所定の速さよりも遅く移動している。
CPU10は、ジオメトリ処理により、物体画像の画面上における見かけの速さをフレーム毎に求める。CPU10は、物体画像の画面上における見かけの速さが所定の速さよりも速いときに、LOD(1)の3次元図形データについてのみディスプレイリストを生成し、物体画像の画面上における見かけの速さが所定の速さよりも遅いときに、LOD(0)、LOD(1)のそれぞれの3次元図形データについてディスプレイリストを生成する。
図8の例では、フレーム1のときに物体画像の画面上における見かけの速さが所定の速さよりも速いため、LOD(1)の3次元図形データについてのディスプレイリストが生成される。フレーム2、3のときには、物体画像の画面上における見かけの速さが所定の速さよりも遅いために、LOD(0)、LOD(1)のそれぞれの3次元図形データについてのディスプレイリストが生成される。また、フレーム4についても、物体画像の画面上における見かけの速さが所定の速さよりも遅いために、LOD(0)、LOD(1)のそれぞれの3次元図形データについてのディスプレイリストが生成される。なお、表示されるべき物体画像のLODレベルは、フレーム1から順にLOD(1)→LOD(0)→LOD(0)→LOD(0)である。
GPU18は、フレーム1用のディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画する。LOD(1)の3次元図形データは、1フレームの表示時間内に、転送から描画までが終了するので、フレーム1にはLOD(1)の3次元図形データによる画像が表示される。
次いで、GPU18は、フレーム2用の2つのディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画するとともに、補助記憶装置19からLOD(0)の3次元図形データを読み込んで描画する。LOD(1)の3次元図形データの描画は、1フレームの表示時間内に終了するが、LOD(0)の3次元図形データの描画は、1フレームの表示時間内に終了しない。本来フレーム2にはLOD(0)の3次元図形データによる画像が表示されるべきであるが、描画が終了していないためにそれはできない。そのためにGPU18は、描画が終了しているLOD(1)の3次元図形データによる画像を表示させることになる。
次いで、GPU18は、フレーム3用の2つのディスプレイリストのうち、LOD(1)の3次元図形データについてのディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画する。LOD(0)の3次元図形データについては、フレーム2用のLOD(0)の3次元図形データによる描画が行われているので、ここでは読み込まない。フレーム3では、LOD(1)の3次元図形データの描画が、1フレームの表示時間内に終了する他、フレーム2用のLOD(0)の3次元図形データによる画像の描画が終了しているので、これらの少なくとも一方を表示することができる。
フレーム3用のLOD(1)の3次元図形データによる画像の場合、物体画像の画面上の位置は正しいが、簡略化された物体画像が表示される。
フレーム2用のLOD(0)の3次元図形データによる画像の場合、詳細な物体画像が表示されるが、物体画像の画面上の位置は不正確になる。しかし、物体画像の画面上における見かけの速さが遅いので問題とはならない。
また、フレーム3用のLOD(1)の3次元図形データによる画像と、フレーム2用のLOD(0)の3次元図形データによる画像とを重ね書きしてもよい。
次いで、GPU18は、フレーム4用の2つのディスプレイリストに基づいて、メインメモリ11からLOD(1)の3次元図形データを読み込んで描画するとともに、補助記憶装置19からLOD(0)の3次元図形データを読み込んで描画する。LOD(1)の3次元図形データの描画は、1フレームの表示時間内に終了するが、LOD(0)の3次元図形データの描画は、1フレームの表示時間内に終了しない。本来フレーム4に表示されるべき画像の描画が終了していないために、GPU18は、描画が終了している、フレーム4用のLOD(1)の3次元図形データによる画像、またはフレーム2用のLOD(0)の3次元図形データによる画像の少なくとも一方を表示する。
フレーム4用のLOD(1)の3次元図形データによる画像の場合、物体画像の画面上の位置は正しいが、簡略化された物体画像が表示される。
フレーム2用のLOD(0)の3次元図形データによる画像の場合、詳細な物体画像が表示されるが、物体画像の画面上の位置は不正確になる。しかし、物体画像の画面上における見かけの速さが遅いので問題とはならない。
また、フレーム4用のLOD(1)の3次元図形データによる画像と、フレーム2用のLOD(0)の3次元図形データによる画像とを重ね書きしてもよい。
図12のように表示する場合、LOD(0)の3次元図形データによる画像とLOD(1)の3次元図形データによる画像との更新の周期を変えているために、同じ画像内で異なるフレームレートによる表示が可能になる。例えば、同じ画像内の2つの物体画像について、一方が常にLOD(0)で表示され、他方が常にLOD(1)で表示されている場合には、この2つの物体画像は異なるフレームレートで表示されることになる。
また、上記のようにLOD(0)の3次元図形データとLOD(1)の3次元図形データとを重ね書きする場合、GPU18は、LOD(0)の物体画像とLOD(1)の物体画像とを所定の比率で混合したような物体画像を生成して表示するようにしてもよい。
例えば、LOD(0)の物体画像をG(0)、LOD(1)の物体画像をG(1)、混合した物体画像をG(v)とすると、
G(v)=G(0)*(1−α)+G(1)*α
で混合するようにしてもよい。
αは、例えば図13に示すような、物体画像の画面上における見かけの速さを変数とした関数f(v)で表される。
以上の説明では、3次元図形データ及びテクスチャデータについて、LODレベルを画面上における物体画像の見かけの速さにもとづいて決めている。しかし、これに限らず、物体画像の視点からの距離(Z値)などを用いて、視点からの距離が近い物体画像は詳細に表示し、遠い物体画像は簡略化して表示するようにしてもよい。なお、物体画像についての、画面上における見かけの速さ、Z値などを、本明細書では物体画像の属性という。画面上における見かけの速さと視点からの距離の両方を用いるようにしてもよい。
例えば、物体画像の見かけの速さと視点からの距離の両方を総合的に評価して、見かけの速さが所定の速さよりも遅く、且つ視点からの距離が所定の距離以下の物体画像についてはLOD(0)の物体画像とし、少なくともいずれか一方を満たさない場合にはLOD(1)の物体画像とする。
あるいは、見かけの速さと視点からの距離のいずれか一方によりLOD(1)(或いは、LOD(0))と判断されれば、LOD(1)(或いは、LOD(0))に決めるようにしてもよい。
また、例えば、視点からの距離が遠い物体画像は、画面上の見かけの速さに関係なく、視点から遠いために簡略化して表示されていても違和感はない。そこで、予め視点からの距離が所定の距離以上である物体画像についてはLOD(1)の3次元図形データとし、視点からの距離が所定の距離以下の物体画像について、画面上における見かけの速さにもとづいてLODレベルを決めるようにすると、見かけの速さを求める処理による負荷の低減になる。
なお、上記の実施形態では画像処理装置について説明したが、本発明はこれに限られるものではない。例えば、汎用のパーソナルコンピュータ等の情報処理装置で辞書ソフトを使用する場合にも用いることができる。
辞書ソフトでは、検索する項目毎に要約のような簡略化したデータ(LOD(1)のデータ)と詳細なデータ(LOD(0)のデータ)とを用意しておき、LOD(1)のデータをメインメモリに、LOD(0)のデータを補助記憶装置に、それぞれ記憶させておく。メインメモリと補助記憶装置とでは、上記のように、通常、メインメモリの方が記憶容量が小さく出力装置との間のスループットが高いので、LOD(1)のデータのように、データ量が少なく、出力の際に高速性が求められるデータを記憶することに向いている。
このような情報処理装置は、例えば、使用者が辞書ソフトの各項目を高速に閲覧するような場合に、各項目を高速に表示する必要はあるものの、使用者が1つの項目について目にする時間は短いので簡略化されたLOD(1)のデータを高速に転送して表示させる。
他方、使用者が各項目を低速で閲覧するような場合には、使用者が1つの項目について目にする時間が長い(表示される時間が長い)ため、データの取得に時間を掛けることができる。そのために、LOD(0)のデータを取得して表示することができる。
なお、LOD(1)のデータを表示させた後に、準備が出来次第LOD(0)のデータを表示させるようにしてもよい。
補助記憶装置19にLOD(0)のデータ及びLOD(1)のデータを記憶させておき、メインメモリ11の替わりにキャッシュメモリを使うようにしてもよい。キャッシュメモリには、動作の開始時にLOD(0)のデータ及びLOD(1)のデータのいずれも記憶されておらず、実際にLOD(1)のデータが使用されるときに、補助記憶装置19からキャッシュメモリにLOD(1)のデータが転送される。キャッシュメモリに記憶されたLOD(1)のデータは次回以降も使用可能であるが、所定期間使用しない場合には、キャッシュメモリから削除される。
図14は、上記のような画像処理装置1をLAN(Local Area Network)、WAN(Wide Area Network)、公衆回線などのような有線、或いは無線によるネットワークを介して構成した画像処理システム2の例である。
この画像処理システム2は、処理装置21、22、出力装置23、ネットワークN1〜N3から構成されている。処理装置21は、ネットワークN1により出力装置23に接続され、ネットワークN2により処理装置22に接続されている。処理装置22は、ネットワークN2により処理装置21に接続され、ネットワークN3により図外の他の処理装置に接続されている。
処理装置21、22は、それぞれメモリ21a、22aを有している。メモリ21aにはLOD(1)の3次元図形データ及びテクスチャデータが記憶されており、メモリ22aにはLOD(0)の3次元図形データ及びテクスチャデータが記憶されている。
出力装置23は、処理装置21、22からの3次元図形データ及びテクスチャデータを用いてジオメトリ処理を行ってディスプレイリストを生成し、これに基づく画像を生成、出力するものであり、図1のCPU10及びGPU18に相当するものである。
処理装置21が有するメモリ21aに記憶された3次元図形データ及びテクスチャデータは、ネットワークN1を介して出力装置23へ転送される。処理装置22が有するメモリ22aに記憶された3次元図形データ及びテクスチャデータは、ネットワークN2、処理装置21、ネットワークN1を介して出力装置23へ転送される。
各メモリ21a、22aに記録された3次元図形データ及びテクスチャデータは、それぞれ上記の経路で出力装置23へ送られるために、出力装置23までの転送速度は、速い順に、メモリ21a、メモリ22aとなる。
つまり、メモリ21a、22aの関係は、図1のメインメモリ11、補助記憶装置19の関係と同様となる。メモリ21aにLOD(1)の3次元図形データ及びテクスチャデータを記憶させ、メモリ22aにLOD(0)の3次元図形データ及びテクスチャデータを記憶させると、図1の画像処理装置と同様の構成をネットワークを介して実現できるようになる。また、上記の情報処理装置を、このようなネットワークを介した構成で形成することも、当然に可能である。
また、メモリ21a、メモリ22aの両方に、LOD(0)のデータ及びLOD(1)のデータの両方を記憶させるようにしてもよい。例えば、出力装置がネットワークN3側にも設けられたときに、この出力装置に対しての転送速度が、速い順にメモリ22a、メモリ21aとなり、ネットワークN1に設けられた出力装置23の場合とは逆になるが、メモリ21a、メモリ22aの両方に、LOD(0)のデータ及びLOD(1)のデータの両方が記憶されていれば、ネットワークN3側に設けられた出力装置に対しても、転送速度に応じてLOD(0)のデータ及びLOD(1)のデータを送ることができる。
なお、例えば図15に示すように処理装置31、32及び出力装置33が同じネットワークNに接続されている画像処理システム3の場合には、処理装置31内蔵のメモリ31aと処理装置32内蔵のメモリ32aのどちらの転送速度が速いか不明である。このような場合には、各処理装置31、32との間の転送速度などを測定する測定装置をネットワークN上に設けておき、その測定結果により、LOD(0)のデータ、LOD(1)のデータを記憶させるメモリを決めるようにする。
画像処理システム3全体の動作を制御する制御装置のようなものがネットワークN上に設けられている場合には、この制御装置に測定装置を設けておき、これにより、転送速度の測定を行い、データを記憶させるメモリを決める。
以上の説明では、出力されるデータ(3次元図形データ、テクスチャデータ等)のLODレベルがLOD(0)、LOD(1)の2種類であったが、さらに多くの種類が用意されていてもよい。
この場合、例えば、LODレベルの数と同じ数だけそれを記憶するためのメモリが用意される。各メモリから出力装置へのスループットが高いほどLOD(n)のn値が大きいデータを記憶させる。最もスループットの低いメモリには、LOD(0)のデータを記憶させる。
LODレベルの数以上のメモリが用意できない場合には、一つのメモリに複数のLODレベルのデータを記憶するようにしてもよい。例えば、LOD(0)〜LOD(2)のデータを2つのメモリに記憶させる場合、スループットの低いメモリにLOD(0)のデータを記憶させ、スループットの高いメモリにLOD(2)のデータを記憶させる。LOD(1)のデータは、どちらかのメモリに記憶される。また、LOD(1)でも比較的データ量の多いデータと少ないデータとに分けて、2つのメモリに分けて記憶させるようにしてもよい。
また、以上の説明ではいずれもLODレベルが複数存在する場合であったが、LODレベルを1種類として、LODレベルによらず、高速で表示させる必要があるかどうかにより、出力させるデータを出力装置へのスループットが高いメモリ、低いメモリに振り分けるようにしてもよい。
画像処理装置のハードウェア構成図。 メインメモリと補助記憶装置との関係を示す図。 3次元図形データの簡略化を説明する図。 テクスチャデータの簡略化を説明する図。 物体画像の画面上における見かけの速さを説明する図。 メインメモリ及び補助記憶装置に記憶される3次元図形データ及びテクスチャデータの例示図。 画像処理の処理手順図。 表示の例示図。 表示の例示図。 表示の例示図。 表示の例示図。 表示の例示図。 αを表す関数の例示図。 ネットワークを介して構成した画像処理システムの構成図。 ネットワークを介して構成した別の画像処理システムの構成図。
符号の説明
1 画像処理装置
10 CPU
11 メインメモリ
14 メディアドライブ
141 メディア
18 GPU
18a フレームメモリ
19 補助記憶装置
2、3 画像処理システム
21、22、31、32 処理装置
21a、22a、31a、32a メモリ
23、33 出力装置
N、N1、N2、N3 ネットワーク

Claims (25)

  1. 仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させる画像処理装置であって、
    前記物体画像を表すための第1データが記憶された第1の記憶手段と、
    前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された第2の記憶手段と、
    前記物体画像についてのジオメトリ処理を前記第1データ又は前記第2データのいずれかを用いて行う第1の処理手段と、
    ジオメトリ処理の結果に応じて前記第1データによる画像又は前記第2データによる画像のいずれかを生成する第2の処理手段と、を備えており、
    前記第1の処理手段は、前記物体画像の属性に応じて、ジオメトリ処理に用いるデータを前記第1データ又は前記第2データのいずれかに決めるように構成されており、
    前記第2の処理手段は、前記第1の処理手段により決められたジオメトリ処理に用いる前記データが、前記第1データの場合には前記第1の記憶手段から前記第1データを取り込んで前記第1データによる画像を生成し、前記第2データの場合には前記第2の記憶手段から前記第2データを取り込んで前記第2データによる画像を生成するように構成されている、
    画像処理装置。
  2. 前記物体画像の属性は、物体画像の視点からの奥行き距離であり、前記第1の処理手段は、前記視点からの奥行き距離が所定の距離よりも小さいときにジオメトリ処理に用いる前記データを前記第1データに決め、前記視点からの奥行き距離が所定の距離よりも大きいときにジオメトリ処理に用いる前記データを前記第2データに決めるように構成されている、
    請求項1記載の画像処理装置。
  3. 前記物体画像の属性は、物体画像の画面上における見かけの速さであり、前記第1の処理手段は、前記画面上における見かけの速さが所定の速さより遅いときにジオメトリ処理に用いる前記データを前記第1データに決め、前記画面上における見かけの速さが所定の速さより速いときにジオメトリ処理に用いる前記データを前記第2データに決めるように構成されている、
    請求項1記載の画像処理装置。
  4. 前記第1の処理手段は、前記物体画像の画面上における前記見かけの速さを前記物体画像の動きに連動して動く代表点について求めるように構成されている、
    請求項3記載の画像処理装置。
  5. 前記代表点は、前記物体画像を表す各点の座標値を平均した座標値で表される、
    請求項4記載の画像処理装置。
  6. 前記物体画像の属性は、物体画像の画面上における見かけの速さ及び視点からの奥行き距離であり、前記第1の処理手段は、前記画面上における見かけの速さと所定の速さとの比較結果、及び前記視点からの奥行き距離と所定の距離との比較結果に基づいて、ジオメトリ処理に用いる前記データを前記第1データ又は前記第2データのいずれかに決めるように構成されている、
    請求項1記載の画像処理装置。
  7. 前記第2の記憶手段は、前記第1の記憶手段よりも前記第2の処理手段に対して速くデータを転送できるように構成されており、
    前記第2の処理手段は、前記第1データによる画像よりも前記第2データによる画像を先に生成するように構成されている、
    請求項1〜6のいずれか1項に記載の画像処理装置。
  8. 前記第2の記憶手段は、前記第1の記憶手段よりも記憶容量が少なく構成されている、
    請求項1記載の画像処理装置。
  9. 前記第1データを簡略化して前記第2データを生成する簡略化手段をさらに備えており、前記第2の記憶手段には、この簡略化手段により生成された第2データが記憶されるように構成されている、
    請求項1記載の画像処理装置。
  10. 前記第1データ及び前記簡略化手段により生成された前記第2データが前記第1の記憶手段に記憶されており、前記第1の処理手段によりジオメトリ処理に用いる前記データが前記第2データに決められたときのみ、当該第2データが前記第1の記憶手段から前記第2の記憶手段に移されるようになっている、
    請求項9記載の画像処理装置。
  11. 仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させる画像処理装置であって、
    前記物体画像を表すための第1データ及び前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された記憶手段と、
    前記物体画像についてのジオメトリ処理を、前記第1データ及び前記第2データのそれぞれについて行う第1の処理手段と、
    ジオメトリ処理の結果に応じて前記第1データによる画像及び前記第2データによる画像を生成する第2の処理手段と、を備えており、
    前記第2の処理手段は、
    動画像の更新のタイミングで前記第1データによる画像の生成が、終了しているときにはこの画像を前記所定の表示装置に表示させ、終了していないときには前記第2データによる画像及び過去のフレームの第1データによる画像、の少なくとも一方を前記所定の表示装置に表示させるように構成されている、
    画像処理装置。
  12. 仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させる画像処理装置であって、
    前記物体画像を表すための第1データ及び前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された記憶手段と、
    前記物体画像の画面上における見かけの速さを算出して、この見かけの速さが所定の速さよりも速い場合には前記第2データについてジオメトリ処理を行い、前記物体画像の画面上における前記見かけの速さが前記所定の速さよりも遅い場合には前記第1データ及び前記第2データのそれぞれについてジオメトリ処理を行う第1の処理手段と、
    ジオメトリ処理の結果に応じて前記第1データによる画像及び/又は前記第2データによる画像を生成する第2の処理手段と、を備えており、
    前記第2の処理手段は、
    前記物体画像の画面上における前記見かけの速さが前記所定の速さよりも速い場合に、前記第2データによる画像を前記所定の表示手段に表示させ、前記物体画像の画面上における前記見かけの速さが前記所定の速さよりも遅い場合に、動画像の更新のタイミングで前記第1データによる画像の生成が、終了しているときにはこの画像を前記所定の表示装置に表示させ、終了していないときには前記第2データによる画像及び過去のフレームの第1データによる画像、の少なくとも一方を前記所定の表示装置に表示させるように構成されている、
    画像処理装置。
  13. 前記記憶手段は、前記第1データが記憶される第1の記憶手段と、前記第2データが記憶される第2の記憶手段とから構成されている、
    請求項11または12記載の画像処理装置。
  14. 仮想的な物体についての物体画像を表す第1データ及び前記物体画像を前記第1データよりも簡略化して表す第2データが記憶された第1の記憶手段と、第2の記憶手段と、前記第1データ又は前記第2データについてジオメトリ処理を行う第1の処理手段と、前記第1の処理手段によるジオメトリ処理の結果に応じて前記第1データによる画像と前記第2データによる画像とのいずれかを生成する第2の処理手段とを備え、前記物体画像を含んだ動画像を、所定の表示装置に表示させる装置により実行される方法であって、
    前記第1の処理手段が、
    前記物体画像についての表示画面上における見かけの速さを導出して、この見かけの速さに応じて前記第1データ又は前記第2データのいずれか一方についてのジオメトリ処理を行い、ジオメトリ処理を前記第2データについて行ったときには当該第2データを前記第2の記憶手段に転送させるようにし、
    前記第2の処理手段が、
    ジオメトリ処理が前記第1データについて行われたときには前記第1の記憶手段から当該第1データを取り込んで前記第1データによる画像を生成し、前記ジオメトリ処理が前記第2データについて行われたときには前記第2の記憶手段から当該第2データを取り込んで前記第2データによる画像を生成する、
    画像処理方法。
  15. 仮想的な物体についての物体画像を表す第1データ及び前記物体画像を前記第1データよりも簡略化して表す第2データが記憶された記憶手段と、前記第1データ及び前記第2データについてジオメトリ処理を行う第1の処理手段と、前記第1の処理手段によるジオメトリ処理の結果に応じて前記第1データによる画像と前記第2データによる画像とを生成する第2の処理手段とを備え、前記物体画像を含んだ動画像を、所定の表示装置に表示させる装置により実行される方法であって、
    前記第1の処理手段が、
    前記ジオメトリ処理の際に前記物体画像の画面上における見かけの速さを求め、
    前記第2の処理手段が、
    前記第1の処理手段により求められた前記物体画像の画面上における前記見かけの速さが、所定の速さより速いときには前記第2データによる前記画像を前記表示装置に表示させ、前記所定の速さより遅いときには前記第1データによる前記画像、前記第2データによる前記画像、及び過去のフレームの第1データによる画像、の少なくとも1つを前記表示装置に表示させる、
    画像処理方法。
  16. 所定の事象を表すための第1データが記憶される第1の記憶手段と、
    前記所定の事象について前記第1データよりも簡略化して表すための第2データが記憶される第2の記憶手段と、
    前記第1データ及び前記第2データを出力する出力手段と、を備えており、
    前記第2の記憶手段は、前記第1の記憶手段よりも前記出力手段へデータを速く転送できるように構成されており、
    前記出力手段は、前記第2の記憶手段から前記第2データを取り込んで出力するとともに、前記第1の記憶手段から前記第1データを取り込み、前記第2データに換えて前記第1データを出力するように構成されている、
    情報処理装置。
  17. 所定の事象を表すための第1データが記憶される第1の記憶手段を含んだ第1の処理装置と、
    前記所定の事象について前記第1データよりも簡略化して表すための第2データが記憶される第2の記憶手段を含んだ第2の処理装置と、
    前記第1データ及び前記第2データを出力する出力装置とがネットワークを介して接続されており、
    前記第1の処理装置と前記出力装置との間のデータ転送速度が、前記第2の処理装置と前記出力装置との間のデータ転送速度よりも遅くなるように構成されており、
    前記出力装置は、前記第2の処理装置から前記第2データを取り込んで出力するとともに、前記第1の処理装置から前記第1データを取り込み、前記第2データに換えて前記第1データを出力するように構成されている、
    情報処理システム。
  18. 前記第1の処理装置と前記出力装置との間のデータ転送速度、及び前記第2の処理装置と前記出力装置との間のデータ転送速度を測定する測定装置が前記ネットワークに接続して設けられている、
    請求項17記載の情報処理システム。
  19. 所定の事象を表すための第1データ及び前記第1データよりも簡略化して前記所定の事象を表すための第2データが記憶される第1の記憶手段を含んだ第1の処理装置と、
    前記第1データ及び前記第2データが記憶される第2の記憶手段を含んだ第2の処理装置と、
    前記第1データ及び前記第2データを出力する出力装置と、
    前記第1の処理装置と前記出力装置との間のデータ転送速度、及び前記第2の処理装置と前記出力装置との間のデータ転送速度を測定する測定装置とがネットワークを介して接続されており、
    前記測定装置によるデータ転送速度の測定の結果、データ転送速度が速いとされた処理装置から前記第2データを取り込んで出力するとともに、他方の処理装置から前記第1データを取り込んで、前記第2データに換えて前記第1データを出力するように構成されている、
    情報処理システム。
  20. 仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させるコンピュータシステムに搭載され、このコンピュータシステムが有する他の構成部品と協働で、該コンピュータシステム内に、
    前記物体画像を表すための第1データが記憶された第1の記憶手段、
    前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された第2の記憶手段、
    前記物体画像についてのジオメトリ処理を前記第1データ又は前記第2データのいずれかを用いて行う第1の処理手段、
    ジオメトリ処理の結果に応じて前記第1データによる画像又は前記第2データによる画像のいずれかを生成する第2の処理手段、を構築する半導体デバイスであって、
    前記第1の処理手段が、前記物体画像の属性に応じて、ジオメトリ処理に用いるデータを前記第1データ又は前記第2データのいずれかに決めるように構築し、
    前記第2の処理手段が、前記第1の処理手段により決められたジオメトリ処理に用いる前記データが、前記第1データの場合には前記第1の記憶手段から前記第1データを取り込んで前記第1データによる画像を生成し、前記第2データの場合には前記第2の記憶手段から前記第2データを取り込んで前記第2データによる画像を生成するように構築するものである、
    半導体デバイス。
  21. 仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させるコンピュータシステムに搭載され、このコンピュータシステムが有する他の構成部品と協働で、該コンピュータシステム内に、
    前記物体画像を表すための第1データ及び前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された記憶手段、
    前記物体画像についてのジオメトリ処理を、前記第1データ及び前記第2データのそれぞれについて行う第1の処理手段、
    ジオメトリ処理の結果に応じて前記第1データによる画像及び前記第2データによる画像を生成する第2の処理手段、を構築する半導体デバイスであって、
    前記第2の処理手段が、動画像の更新のタイミングで前記第1データによる画像の生成が、終了しているときにはこの画像を前記所定の表示装置に表示させ、終了していないときには前記第2データによる画像及び過去のフレームの第1データによる画像、の少なくとも一方を前記所定の表示装置に表示させるように構築するものである、
    半導体デバイス。
  22. 所定のコンピュータシステムに搭載され、このコンピュータシステムが有する他の構成部品と協働で、該コンピュータシステム内に、
    所定の事象を表すための第1データが記憶される第1の記憶手段、
    前記所定の事象について前記第1データよりも簡略化して表すための第2データが記憶される第2の記憶手段、
    前記第1データ及び前記第2データを出力する出力手段、を構築する半導体デバイスであって、
    前記第2の記憶手段が、前記第1の記憶手段よりも前記出力手段へデータを速く転送できるように構築し、
    前記出力手段は、前記第2の記憶手段から前記第2データを取り込んで出力するとともに、前記第1の記憶手段から前記第1データを取り込み、前記第2データに換えて前記第1データを出力するように構築するものである、
    半導体デバイス。
  23. 仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させるコンピュータシステムに、
    前記物体画像を表すための第1データが記憶された第1の記憶手段、
    前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された第2の記憶手段、
    前記物体画像についてのジオメトリ処理を前記第1データ又は前記第2データのいずれかを用いて行う第1の処理手段、
    ジオメトリ処理の結果に応じて前記第1データによる画像又は前記第2データによる画像のいずれかを生成する第2の処理手段、を形成するためのコンピュータプログラムであって、
    前記第1の処理手段が、前記物体画像の属性に応じて、ジオメトリ処理に用いるデータを前記第1データ又は前記第2データのいずれかに決めるように形成し、
    前記第2の処理手段が、前記第1の処理手段により決められたジオメトリ処理に用いる前記データが、前記第1データの場合には前記第1の記憶手段から前記第1データを取り込んで前記第1データによる画像を生成し、前記第2データの場合には前記第2の記憶手段から前記第2データを取り込んで前記第2データによる画像を生成するように形成するものである、
    コンピュータプログラム。
  24. 仮想的な物体を表す物体画像を含んだ動画像を、所定の表示装置に表示させるコンピュータシステムに、
    前記物体画像を表すための第1データ及び前記第1データよりも簡略化された前記物体画像を表すための第2データが記憶された記憶手段、
    前記物体画像についてのジオメトリ処理を、前記第1データ及び前記第2データのそれぞれについて行う第1の処理手段、
    ジオメトリ処理の結果に応じて前記第1データによる画像及び前記第2データによる画像を生成する第2の処理手段、を形成するためのコンピュータプログラムであって、
    前記第2の処理手段が、動画像の更新のタイミングで前記第1データによる画像の生成が、終了しているときにはこの画像を前記所定の表示装置に表示させ、終了していないときには前記第2データによる画像及び過去のフレームの第1データによる画像、の少なくとも一方を前記所定の表示装置に表示させるように形成するものである、
    コンピュータプログラム。
  25. コンピュータシステムに、
    所定の事象を表すための第1データが記憶される第1の記憶手段、
    前記所定の事象について前記第1データよりも簡略化して表すための第2データが記憶される第2の記憶手段、
    前記第1データ及び前記第2データを出力する出力手段、を形成するためのコンピュータプログラムであって、
    前記第2の記憶手段が、前記第1の記憶手段よりも前記出力手段へデータを速く転送できるように形成し、
    前記出力手段は、前記第2の記憶手段から前記第2データを取り込んで出力するとともに、前記第1の記憶手段から前記第1データを取り込み、前記第2データに換えて前記第1データを出力するように形成するものである、
    コンピュータプログラム。
JP2003416435A 2002-12-20 2003-12-15 画像処理装置、画像処理方法、情報処理装置、情報処理システム、半導体デバイス、コンピュータプログラム Pending JP2004213641A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003416435A JP2004213641A (ja) 2002-12-20 2003-12-15 画像処理装置、画像処理方法、情報処理装置、情報処理システム、半導体デバイス、コンピュータプログラム
PCT/JP2003/016062 WO2004057540A2 (en) 2002-12-20 2003-12-16 Display of images according to level of detail
AU2003285781A AU2003285781A1 (en) 2002-12-20 2003-12-16 Display of images according to level of detail
EP03778938A EP1573678A2 (en) 2002-12-20 2003-12-16 Display of images according to level of detail
US10/739,960 US7102639B2 (en) 2002-12-20 2003-12-17 Image processing apparatus, image processing method, information processing apparatus, information processing system, semiconductor device and computer program
TW092136281A TWI238976B (en) 2002-12-20 2003-12-19 Image processing apparatus, image processing method, information processing apparatus, information processing system, semiconductor device and recording medium for recording a computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002371017 2002-12-20
JP2003416435A JP2004213641A (ja) 2002-12-20 2003-12-15 画像処理装置、画像処理方法、情報処理装置、情報処理システム、半導体デバイス、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2004213641A true JP2004213641A (ja) 2004-07-29
JP2004213641A5 JP2004213641A5 (ja) 2007-03-08

Family

ID=32684203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003416435A Pending JP2004213641A (ja) 2002-12-20 2003-12-15 画像処理装置、画像処理方法、情報処理装置、情報処理システム、半導体デバイス、コンピュータプログラム

Country Status (6)

Country Link
US (1) US7102639B2 (ja)
EP (1) EP1573678A2 (ja)
JP (1) JP2004213641A (ja)
AU (1) AU2003285781A1 (ja)
TW (1) TWI238976B (ja)
WO (1) WO2004057540A2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072884A (ja) * 2005-09-08 2007-03-22 Mitsubishi Electric Corp 3次元図形表示装置および3次元図形表示方法
JP2008257431A (ja) * 2007-04-04 2008-10-23 Toppan Printing Co Ltd 画像表示装置及び画像表示方法
US9013509B2 (en) 2007-09-11 2015-04-21 Smart Internet Technology Crc Pty Ltd System and method for manipulating digital images on a computer display
US9047004B2 (en) 2007-09-11 2015-06-02 Smart Internet Technology Crc Pty Ltd Interface element for manipulating displayed objects on a computer interface
US9053529B2 (en) 2007-09-11 2015-06-09 Smart Internet Crc Pty Ltd System and method for capturing digital images
JP2020136882A (ja) * 2019-02-19 2020-08-31 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法
WO2024029275A1 (ja) * 2022-08-02 2024-02-08 株式会社Nttドコモ 表示制御システム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4077321B2 (ja) * 2001-02-23 2008-04-16 富士通株式会社 表示制御装置
US7667703B2 (en) * 2003-12-19 2010-02-23 Palo Alto Research Center Incorporated Systems and method for turning pages in a three-dimensional electronic document
US7548243B2 (en) * 2004-03-26 2009-06-16 Pixar Dynamic scene descriptor method and apparatus
US8432394B1 (en) 2004-05-14 2013-04-30 Nvidia Corporation Method and system for implementing clamped z value interpolation in a raster stage of a graphics pipeline
US8416242B1 (en) * 2004-05-14 2013-04-09 Nvidia Corporation Method and system for interpolating level-of-detail in graphics processors
US8411105B1 (en) 2004-05-14 2013-04-02 Nvidia Corporation Method and system for computing pixel parameters
US7079156B1 (en) 2004-05-14 2006-07-18 Nvidia Corporation Method and system for implementing multiple high precision and low precision interpolators for a graphics pipeline
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
TWI340359B (en) * 2005-09-08 2011-04-11 Sega Corp Image drawing program and image processing system using the same
JP4896761B2 (ja) * 2007-02-16 2012-03-14 株式会社日立製作所 立体地図表示システム、立体地図の表示方法、及びそのプログラム
US8441497B1 (en) 2007-08-07 2013-05-14 Nvidia Corporation Interpolation of vertex attributes in a graphics processor
JP2010539567A (ja) * 2007-09-11 2010-12-16 スマート・インターネット・テクノロジー・シーアールシー・プロプライエタリー・リミテッド 遠隔ファイル転送のためのシステム及び方法
AU2009250329A1 (en) * 2008-05-19 2009-11-26 Smart Internet Technology Crc Pty Ltd Systems and methods for collaborative interaction
JP5202584B2 (ja) * 2010-06-24 2013-06-05 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、コンテンツ作成支援装置、画像処理方法、コンテンツ作成支援方法、および画像ファイルのデータ構造
US8654124B2 (en) 2012-01-25 2014-02-18 Google Inc. Texture fading for smooth level of detail transitions in a graphics application
KR102313020B1 (ko) 2014-11-27 2021-10-15 삼성전자주식회사 그래픽스 프로세싱 유닛과 이를 포함하는 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL72685A (en) * 1983-08-30 1988-08-31 Gen Electric Advanced video object generator
US4586038A (en) * 1983-12-12 1986-04-29 General Electric Company True-perspective texture/shading processor
US5103499A (en) * 1986-07-18 1992-04-07 Commodore-Amiga, Inc. Beam synchronized coprocessor
US6049362A (en) * 1996-02-14 2000-04-11 International Business Machines Corporation Dual prime motion estimation system and method
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6003045A (en) * 1997-09-17 1999-12-14 International Business Machines Corporation Accessing stored files from multiple storage devices
JPH11195132A (ja) * 1997-10-31 1999-07-21 Hewlett Packard Co <Hp> テクスチャマッピング用バッファ、3次元グラフィクス処理装置、3次元グラフィクス処理システム、3次元グラフィクス処理方法および処理プログラムが記憶された記憶媒体
AU2680699A (en) * 1998-02-17 1999-08-30 Sun Microsystems, Inc. Estimating graphics system performance for polygons
US6300956B1 (en) * 1998-03-17 2001-10-09 Pixar Animation Stochastic level of detail in computer animation
US6373482B1 (en) * 1998-12-23 2002-04-16 Microsoft Corporation Method, system, and computer program product for modified blending between clip-map tiles
US6806876B2 (en) * 2001-07-11 2004-10-19 Micron Technology, Inc. Three dimensional rendering including motion sorting

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072884A (ja) * 2005-09-08 2007-03-22 Mitsubishi Electric Corp 3次元図形表示装置および3次元図形表示方法
JP4672493B2 (ja) * 2005-09-08 2011-04-20 三菱電機株式会社 3次元図形表示装置および3次元図形表示方法
JP2008257431A (ja) * 2007-04-04 2008-10-23 Toppan Printing Co Ltd 画像表示装置及び画像表示方法
US9013509B2 (en) 2007-09-11 2015-04-21 Smart Internet Technology Crc Pty Ltd System and method for manipulating digital images on a computer display
US9047004B2 (en) 2007-09-11 2015-06-02 Smart Internet Technology Crc Pty Ltd Interface element for manipulating displayed objects on a computer interface
US9053529B2 (en) 2007-09-11 2015-06-09 Smart Internet Crc Pty Ltd System and method for capturing digital images
JP2020136882A (ja) * 2019-02-19 2020-08-31 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法
US11146773B2 (en) 2019-02-19 2021-10-12 Media Kobo, Inc. Point cloud data communication system, point cloud data transmitting apparatus, and point cloud data transmission method
WO2024029275A1 (ja) * 2022-08-02 2024-02-08 株式会社Nttドコモ 表示制御システム

Also Published As

Publication number Publication date
AU2003285781A1 (en) 2004-07-14
US7102639B2 (en) 2006-09-05
TWI238976B (en) 2005-09-01
US20040150646A1 (en) 2004-08-05
EP1573678A2 (en) 2005-09-14
TW200426705A (en) 2004-12-01
WO2004057540A2 (en) 2004-07-08
WO2004057540A3 (en) 2004-12-02
AU2003285781A8 (en) 2004-07-14

Similar Documents

Publication Publication Date Title
JP2004213641A (ja) 画像処理装置、画像処理方法、情報処理装置、情報処理システム、半導体デバイス、コンピュータプログラム
JP4719363B2 (ja) 内部フレームバッファと主メモリ間でのコピーアウト変換を有するグラフィクスシステム
JP2002236934A (ja) グラフィックシステムにおいて改良されたフォグ効果を提供するための方法および装置
JP2009237680A (ja) プログラム、情報記憶媒体および画像生成システム
JP4039676B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20090009515A1 (en) Game machine, game machine control method, and information storage medium
JP4234089B2 (ja) エンタテインメント装置、オブジェクト表示装置、オブジェクト表示方法、プログラム、およびキャラクタ表示方法
US20090062000A1 (en) Game machine, game machine control method, and information storage medium
JP2007296218A (ja) ゲーム画像処理プログラムおよびゲーム画像処理装置
JP2004005452A (ja) 画像処理装置、画像処理方法、半導体デバイス、コンピュータプログラム、記録媒体
JP2002203255A (ja) 画像処理方法、画像処理装置、コンピュータプログラム、半導体デバイス
US6842183B2 (en) Three-dimensional image processing unit and computer readable recording medium storing three-dimensional image processing program
WO2015037169A1 (ja) 描画装置
US20090267942A1 (en) Image processing device, control method for image processing device and information recording medium
US20020101435A1 (en) Apparatus and method for rendering antialiased image
JP2005332195A (ja) テクスチャユニット、画像描画装置、テクセル転送方法
US6639600B2 (en) Image drawing method, image drawing apparatus, recording medium, and program
US6728420B2 (en) Image processing apparatus, image processing method, recording medium and its program
US6947041B2 (en) Image processing method
JP4683760B2 (ja) 再構成可能なピクセルフォーマットを有する組み込みフレームバッファを有するグラフィックスシステム
JP2006277772A (ja) 情報処理装置、情報処理方法、情報処理プログラム、記録媒体、及び情報提供装置
JP3706545B2 (ja) 画像の生成方法及びそれに用いるプログラム
JP3548648B2 (ja) 描画装置及び描画方法
JP3468985B2 (ja) グラフィック描画装置、グラフィック描画方法
JP2007267851A (ja) プログラム、情報記憶媒体及び画像生成システム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070416

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070515