JP3592168B2 - 画像データの符号化復号化方法及び装置 - Google Patents
画像データの符号化復号化方法及び装置 Download PDFInfo
- Publication number
- JP3592168B2 JP3592168B2 JP36503299A JP36503299A JP3592168B2 JP 3592168 B2 JP3592168 B2 JP 3592168B2 JP 36503299 A JP36503299 A JP 36503299A JP 36503299 A JP36503299 A JP 36503299A JP 3592168 B2 JP3592168 B2 JP 3592168B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- image
- pixel
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Discrete Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像データの符号化復号化方法及び装置に関し、特に符号化データを画素単位で復号化可能な画像データの符号化復号化方法及び装置に関する。
【０００２】
【従来の技術】
従来、任意の視点位置の３次元画像を生成する方法として、３次元物体を複数の３角形状の小平面（ポリゴン）で表現し、与えられた視点を元に各ポリゴンの輝度値を計算する方法が良く知られている。
【０００３】
しかしながら、３次元物体の形状が複雑になると、ポリゴンを用いた表現は困難になり、ポリゴンを小型化しても視覚的な違和感を消すまでには至らない。また、ポリゴンを小型化するに連れて物体を表現するためのデータ量も、任意視点の３次元画像を生成するために必要な計算量も増加する。
【０００４】
一方、データ量が物体の形状に依存しない３次元画像の生成方法として、光線空間を用いた方法がある。この方法は、複数の視点位置で撮像された実写画像群を用いて、任意の視点位置における画像を生成・表示する方法の１つであり、３次元物体を３次元空間中を飛来する光線の集合としてとらえるという光線空間の概念に基づく。
【０００５】
この概念によれば、３次元物体の可視領域を構成する各画素の輝度値を計算することによって、３次元物体の任意視点からの画像が生成されるため、物体を表現する際の計算量はその可視領域を表す画素数のみに依存し、形状には依存しない。また、画素により形状を表現できるため、複雑な形状の物体であっても正確な形状を再現できる上、実写画像を用いるため、３次元幾何形状を基にする手法からは得られない写実性の高い仮想空間を表現できる。
【０００６】
ここで、光線空間の概念についてさらに説明する。３次元空間内には、光源からの光線や物体の反射光等による光線が存在している。３次元空間内のある１点を横切る光線は、その位置（ｘ、 ｙ、 ｚ）と方向（θ、 φ）を表す５つの変数により一意に定められる。この光線の光強度を表す関数をｆと定義すると、３次元空間内の光線群データはｆ（ｘ、 ｙ、 ｚ、 θ、 φ ）と表される。さらに、光線群データの時間変化を考慮すると、ｆ （ｘ、 ｙ、 ｚ、 θ、 φ 、ｔ ）となり、３次元空間内の光線群は６次元の空間として記述される。この空間が光線空間と呼ばれている。
【０００７】
ここで、ｔ ＝０においてＺ ＝０ という平面（基準面）を通過する光線群に着目する。Ｙ 軸に垂直な水平面（Ｘ−Ｚ 平面）を考え、上下方向の視差を考慮しないことにすると（ｙ ＝０）、φの各値に対して実空間は図１３に示すようになる。基準面から発せられる光線群は、位置ｘと角度θ の２変数でｆ （ｘ、 θ ）と記述される。従って、実空間中のある一点Ｐ（Ｘ，０， Ｚ ）を通過する光線群には、各φに対して，
Ｘ ＝ ｘ ＋Ｚ ｔａｎθ （１）
という関係が成り立つ。
【０００８】
ここで、ｕ ＝ ｔａｎθ という変数を定義すると、式（１）は、
Ｘ ＝ ｘ ＋ｕＺ （２）
となる。従って、光線空間上では、実空間内の１本の光線が１点として写像され、そこに光強度すなわち色情報が記録される。また、式（２）から、実空間内のある１点を通過する光線群は、ｘ−ｕ空間上で直線に写像されることがわかる。
【０００９】
図１４には、実空間内の Ｐ（Ｘ、０， Ｚ） の視点位置で観察された光線及び、他の視点位置から観察された光線がｘ−ｕ空間に写像された様子を示す。なお、ｘ−ｕ空間は、前に述べた５次元の光線空間の部分空間をなすものである。このように、十分に多数の視点からの撮影を行うことによって、ｘ−ｕ空間を密にデータで埋めていくことができる。
【００１０】
この光線空間から任意の視点位置の画像を精度良く再構成するためには、本来はｙ軸方向すなわち、上下方向の次元も必要である。しかし、その場合、光線空間データは少なくともｘ−ｙ−θ−φ という４次元空間を形成しなければならず、非常に大きなデータ量を持つことになる。そこで今までは、光線空間の部分空間であるｘ−ｕ空間のみを考えていた。またさらに、光線空間の座標全体に色情報を持たせることは、非常に冗長であると考えられる。
【００１１】
なぜなら、たとえｘ−ｕ空間だけを考えるとしても、画像を再構成するためにはｙ軸方向の画素情報が必要となるため、光線空間は３次元となり、そこに各光線の光強度を記録しなければならないからである。そこで、再構成する画像のすべての画素について光線空間演算を行い、メモリ上に読み込んだ多視点画像（複数の異なる視点位置から撮像した画像）から輝度値を得る方法があった。なお、光線空間演算とは、多視点画像を基に任意の視点位置の画像を再構成するために、ｘ−ｕ空間で式（２）に基づいて行う計算のことである。
【００１２】
しかしながら、上記従来例では、ｘ−ｕ空間はｘ軸方向（横方向）の視差だけを考えたものであるから、ｙ軸方向については、すべてのスキャンラインで同じ光線空間演算を繰り返さなければならなかった。また、操作者の動きに応じてリアルタイムに、任意の視点位置における画像を生成・表示するためには、高速な光線空間演算を行わなければならない。その演算を行うためには、多視点画像にランダムにアクセスし、画素データを読み込む操作を行わなければならない。すなわち、多視点画像への高速なランダムアクセスが要求される。そこで上記の例では、ｘ−ｕ空間と多視点画像を演算前にメモリ上に読み込んでおく、という手法をとっていた。
【００１３】
このように、今までは、任意の視点位置の画像を生成・表示する際に、同じ光線空間演算を何度も繰り返す必要があり、さらに、非常に大きなワークメモリ容量を使用する必要があった。画素データを得るための計算回数が多いということは、リアルタイムな動きを損なう原因となってしまう。また、物体を記述した光線空間データが膨大なデータ容量を持ち、それをすべてメモリ上に読み込んでおかなければならないとなると、光線空間を用いて３次元仮想環境内に表現できる物体の数も限られたものとなってしまう。リアルタイムに画像表示を行うためにも、計算の繰り返しは避ける必要があるし、３次元仮想環境内に光線空間データで記述した物体をたくさん配置できるようにするためにも、光線空間データが占めるワークメモリ容量はできる限り小さくする必要がある。
【００１４】
そのため、例えば特開平１０ー１１１９５１号公報に記載されるように、ある３次元物体の任意視点画像を生成するために撮影した多視点画像データを符号化して、そのデータ量を削減する方法が提案されている。
【００１５】
光線空間理論を用いて任意視点の３次元物体画像データを生成するには、その物体の全周を撮影した多視点画像データが必要である。例えば、３次元物体を回転台に乗せ、水平方向に所定の角度ずつ回転させながら都度撮影し、３６０°分の多視点画像データを用意する。物体の上方及び下方から見たデータを作成する場合には、更に垂直方向にも物体を回転させて多視点画像を撮影する。
【００１６】
そのため、所定の角度が小さければ小さいほど、互いに相関性の高い画像が連続して撮影されることになる。特開平１０−１１１９５１号公報に記載の方法はこの相関性の高さを利用して、圧縮（符号化）前の多視点画像データのうち、符号化しないリファレンス画像を周期的に設定し、残りの画像データについては、その画像データに相関の強い（撮影角度の近い）２枚のリファレンス画像に含まれる画素データのうち、最も近い値を有する画素を示すポインタ値に符号化することにより、画像データの総量を削減している。
【００１７】
【発明が解決しようとする課題】
しかしながら、特開平１０−１１１９５１号公報記載の符号化方法においては、リファレンス画像は符号化されない生データであるため、リファレンス画像を多く設定すると画像データ量の削減効果は小さくなる。しかしながら、リファレンス画像を少なくすると、リファレンス画像と相関性の小さい画像データが増加するため、復号化した画像の品質が劣化するため、実質的なデータ量削減効果はそれほど大きくない。
【００１８】
また、相互に相関性が強く、かつ連続した画像データはテレビジョン信号やビデオ信号のような動画データと見なすことも可能であるため、公知の動画データ符号化方法を適用することも考えられる。しかしながら動画データの符号化方法として標準的に用いられるＭＰＥＧ方式では、画像データをブロック毎に符号化し、復号化もブロック単位であるため、異なる多視点画像から復号結果を画素単位にかつ高速に取り出す必要のある光線空間理論に基づく画像生成にそのまま適用することはできない。
【００１９】
本発明はこのような従来技術の問題点に鑑みなされたものであり、その目的は、同一物体を多視点から撮影した多視点画像データを高能率に符号化可能であり、かつ画素単位での復号化データを高速に得ることが可能な画像データの符号化復号化方法及び装置を提供することにある。
【００２０】
【課題を解決するための手段】
すなわち、本発明の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、リファレンス画像以外の画像データのそれぞれについて所定の大きさを有するブロックに分割するステップと、分割したブロックのそれぞれについて、リファレンス画像中に含まれる同じ大きさの領域で、ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出するステップと、ブロックの画素データと、位置関係を検出した領域の画素データとの差分データを算出するステップと、差分データに直交変換を行なう直交変換ステップと、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法に存する。
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換ステップと、ブロックを構成する画素毎に、直交変換の逆変換式を生成するステップと、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法に存する。
【００２１】
また、本発明の別の要旨は、所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、ブロック内の画素毎に予め用意された直交変換の逆変換用演算式とから、符号化画像データを画素単位で復号化する画像データの復号化方法であって、復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出しステップと、読み出された符号化画像データを復号化する第１の復号化ステップと、復号化ステップで得られた直交変換の係数のうち、演算式に適用する係数の数を決定する個数決定ステップと、個数決定ステップで決定された数の係数を逆変換用演算式に適用して、画素データを復号化する第２の復号化ステップとを有し、個数決定ステップが、動的に決定する数を変更することを特徴とする画像データの復号化方法に存する。
【００２２】
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、リファレンス画像以外の画像データのそれぞれについて所定の大きさを有するブロックに分割する分割手段と、分割したブロックのそれぞれについて、リファレンス画像中に含まれる同じ大きさの領域で、ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出する検出手段と、ブロックの画素データと、位置関係を検出した領域の画素データとの差分データを算出する算出手段と、差分データに直交変換を行なう直交変換手段と、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置に存する。
【００２３】
また、本発明の別の要旨は、所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、ブロック内の画素毎に予め用意された直交変換の逆変換用演算式とから、符号化画像データを画素単位で復号化する画像データの復号化装置であって、復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出し手段と、読み出された符号化画像データを復号化する第１の復号化手段と、復号化手段で得られた直交変換の係数のうち、演算式に適用する係数の数を決定する個数決定手段と、個数決定手段で決定された数の係数を逆変換用演算式に適用して、画素データを復号化する第２の復号化手段とを有し、個数決定手段が、動的に決定する数を変更することを特徴とする画像データの復号化装置に存する。
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換手段と、ブロックを構成する画素毎に、直交変換の逆変換式を生成する逆変換式生成手段と、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置に存する。
【００２６】
また、本発明の別の要旨は、本発明による画像データの符号化方法及び／又は画像データの符号化方法を、コンピュータ装置が実行可能なプログラムとして格納したことを特徴とする記憶媒体に存する。
【００２７】
【発明の実施の形態】
以下、図面を参照して、本発明をその好適な実施形態に基づき説明する。
（システム構成）
図１は、本発明による符号化復号化方法を適用可能な複合現実空間提示システムの構成例を示すブロック図である。以下の説明において、本実施形態における複合現実空間提示システムは、ユーザが装着する光学シースルー型ＨＭＤ等の表示装置に、光線空間理論を用いて生成した３次元物体画像を重畳表示することにより、ユーザに複合現実空間を提示するシステムとして述べるが、本発明による符号化復号化方法は相関性の比較的高い画像データが連続する画像データ群（動画を含む）に対する汎用的な方法であり、これ以外の用途にも応用可能であることは言うまでもない。
【００２８】
図１において、入力装置１は、キーボード、マウス等からなり、システムに対して設定等の入力を行なったり、指示を入力する際に用いる。ＲＡＭ２は、ＣＰＵ３が実行するプログラムを読み込んだり、ワークエリアとして使用される。ＣＰＵ３は本システム全体の制御を行なう。以下に説明する画像データの符号化及び復号化処理は、ＣＰＵ３がプログラムを実行することにより実現される。
【００２９】
ＲＯＭ４は、ＣＰＵ３が実行するプログラム等を記憶する。ＶＲＡＭ５は、表示用のビデオＲＡＭである。画像データベース７は予め取得した多値視点画像データを符号化した符号化画像データを蓄積する。光線空間データベース８は、予め取得した多値視点画像データと、２次元対応関係テーブルとの対応を示す光線空間データを蓄積する。外部記憶装置９は、ＣＰＵ３が実行するプログラムや、符号化前の多値視点画像データ等を記憶する。
【００３０】
画像データベース７、光線空間データベース８及び外部記憶装置９は、それぞれインタフェース１２、１３及び１４を介してＣＰＵバス１５に接続される。また、いずれもハードディスクドライブ（ＨＤＤ）やＤＶＤ−ＲＡＭドライブなど、書き換え可能な記憶装置で構成することができ、１つの装置の一領域として構成しても良い。表示装置６は本実施形態においてはユーザが装着するＨＭＤであり、インタフェース１１を介してＶＲＡＭ５に接続される。図１のシステムにおいて、表示装置６以外の表示装置をさらに有していても良い。
【００３１】
本実施形態におけるシステムは、多値画像データを光線空間に射影した状態で保持するのではなく、光線空間データを多視点画像と２次元対応関係テーブルの組としてとらえ、多視点画像を符号化（圧縮）することで全体のデータ量を削減することを特徴とする。
【００３２】
すなわち、多視点画像データを光線空間へ射影する式は、前述の式（２）の通りであり、この式には画像の高さ方向（Ｙ軸方向）の成分は含まれない。従って、図に示すように、多視点画像データの１画像データに含まれる同列の画素データのｘ−ｕ空間における写像は、同一の点になる。そこで、このときに光線空間ｆ（ｘ，ｕ）に画素値を記録するのではなく、その画素が存在する画像と、画像中の列位置を記録した対応関係テーブルを生成する。
【００３３】
一方、多視点画像データを画素単位でランダムに復号化可能に符号化しておくことによって、対応関係テーブルと符号化した多視点画像データの組を記憶しておけば、再構成時の光線空間から多視点画像への逆射影演算は、テーブルを参照することで実現でき、高速に処理可能である。また、対応関係テーブルと符号化によりデータ量が圧縮された入力多視点画像のみを用いればよいので、全ての多視点画像データを光線空間へ射影し、画素値を記憶する場合に比べて必要なデータ量が削減される。
【００３４】
すなわち、本実施形態におけるシステムでは、対応関係テーブルの作成及び多視点画像データの圧縮符号化を事前に行なってその結果を記憶しておき、その後実時間で与えられる視点位置（姿勢）情報を元に対応関係テーブルを参照し、必要な多視点画像データの画素データを復号して画像生成を行なう。
【００３５】
（全体処理）
図２は、本実施形態のシステムにおける処理の全体の流れを示すフローチャートである。
まず、ステップＳ１００において、ＣＣＤスチルカメラ等を用い、画像生成対象となる３次元物体の多視点画像（Ｅ枚とする）を撮影し、画像データベース７に記憶する。次いでステップＳ１０１では、画像データベース７に記憶したＥ枚の画像データから、光線空間と多視点画像データとの対応関係テーブルを生成する。対応関係テーブルの生成方法については後で詳述する。
【００３６】
光線空間データを画像データとの対応を示す対応関係テーブルの形で保持しておくと、後で述べる任意視点画像生成が対応関係テーブルを参照する形で行えるので、高速処理が可能となる。このようにして生成した対応関係テーブルは、光線空間データベース８に記憶する。
【００３７】
対応関係テーブルの生成が終わると、多視点画像データの圧縮符号化を行なう（図２、ステップＳ１０２）。本発明はこの圧縮符号化において、画素単位での復号が容易で、かつ十分なデータ量の圧縮が可能な符号化を実現することを目的とするものである。符号化処理については後で詳述する。圧縮符号化された多視点画像データは画像データベース７に記憶される。
【００３８】
ステップＳ１００〜Ｓ１０２までの処理は、視点位置姿勢情報に基づく画像生成処理前に行なっておく。
ステップＳ１０３において、ユーザが装着したＨＭＤ６に装着したセンサ等からの入力により、ユーザの視点位置・方向を検出する（ステップＳ１０３）。ついで、この視点位置、方向情報に基づき、光線空間データベース８を検索し、対応する多視点画像中の画素データを調べる。そして、画像データベース７に記憶してある符号化多値視点画像データから、所望のデータを画素毎に復号化して仮想空間画像を生成（ステップＳ１０４）して、ＨＭＤ６の適切な位置に表示する（ステップＳ１０５）。画像生成処理についても後で詳述する。
【００３９】
ステップＳ１０６において、複合現実空間提示システムのアプリケーションを終了するか否かを判定し、処理を継続する場合にはステップＳ１０３へもどる。処理を終了する場合には全体の処理を終了する。
【００４０】
（対応関係テーブル作成処理）
ここで、光線空間と多視点画像データとの対応関係テーブルの生成処理について図３〜図６を用いてさらに説明する。図３は、Ｚ軸に対する光軸のずれ角α、レンズ中心の位置Ｑ（ｘ０、 ｚ０）（これを視点位置とする）にカメラを置いて画像を撮影している状況を示したものである。図中、３０１は視点位置Ｑ（ｘ０、 ｚ０）、３０２は撮像面、３０３は撮像面中の任意ラインのｊ番目の画素、３０４はＸ軸、３０５はＺ軸、３０６は光軸がＺ軸となす角α、３０７は視点位置３０１と画素３０３を通過する光線がＺ軸となす角度θ、３０８はカメラの画角ω、３０９はｊ番目の画素を通過する光線がＸ軸と交差する点を表している。撮像面中の各ラインの画素数をｍとすれば、角度θ３０７は、以下の式を解くことにより求めることができる。
（ｍ／２） ｔａｎ（θ−α） ＝ （ ｊ − ｍ／２） ｔａｎ（ω／２） （３）
【００４１】
式（３）を使って、画像データベース７に記憶した各画像データ中の先頭１ライン分のデータ（Ｅ枚×ｍ画素分）の光線方向をそれぞれ求め、これらの光線群を式（１）（２）に従って光線空間に射影する。
【００４２】
光線空間に記録されるデータは、ｋ 番目（１≦ｋ≦Ｅ）の画像中の、１ライン目に含まれる主走査方向ｈ番目（１≦ｈ≦ｍ）の画素から生成された光線が光線空間（ｘ−ｕ空間）中の（ｘ１、 ｕ１）の位置に射影されたとすると、光線空間中の座標（ｘ１，ｕ１）に（ｋ、 ｈ）という値が記録される。すなわち、光線空間の位置と、多視点画像データ中の画素データとの対応関係を示す値が記録されることになる。
【００４３】
ここで、多視点画像データを構成する各画像データ中の先頭１ライン分のデータのみを光線空間に射影する理由であるが、式（１）（２）から分かるように、これらの式には、画像の高さ（ｙ）方向の項が入っていない。そのため、図４に示すように、各画像データの２ライン目以降のデータも先頭ラインのデータと同じ（光線空間中の）位置に射影される。従って、各画像中の先頭ラインのみを計算しておけば、その他のデータは計算しなくても自動的に光線空間中のどの位置に射影されるかを求めることができる。
【００４４】
このように先頭ラインのみを計算することにより、対応関係テーブルの生成処理の高速化を図ることができる。また、射影された光線空間データが、多視点画像データの解像度と同等の解像度を維持するよう、ｘ軸、ｕ軸を量子化する。
【００４５】
図５に、光線空間と多値画像データとの関係対応テーブルの一例を示す。説明を簡単にするためにこの例では、ｘ軸、ｕ軸は量子化されて、１１×５ 個の要素になっている。そして、それぞれの要素には、それぞれの光線に対応する〔画像番号、画素番号〕の組が記録されている。
【００４６】
しかしながら、離散的な視点位置（カメラ位置）において多視点画像を撮影しているため、テーブルには値が未定の要素（図５中の空白部）が存在する。そのため、値が未定な要素の値を推定する。推定方法には種々の方法があり、任意の方法を用いることができるが、例えばｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ法を採用することができる。推定した値は、〔画像番号、画素番号〕の組として対応する要素に記録する。
【００４７】
図６は、推定処理を行なって得られた最終的な対応関係テーブルの例を示す図である。テーブルの各要素に記載されている数値は、〔画像番号、主走査方向の画素番号〕の組み合わせである。各要素のｘ方向、ｕ方向の位置を図のように与える。例えば、要素（０、０）の値は〔２、３〕であり、要素（１、２）の値は〔３、２〕である。
【００４８】
（圧縮符号化処理）
次に、図２のステップＳ１０２で行なわれる多視点画像データの圧縮符号化処理について、図７に示すフローチャートを用いて説明する。
【００４９】
前述の通り、本発明における圧縮符号化に必要な特性は、
【００５０】
１）圧縮率が高いこと
２）画素単位で高速な復号化が可能なこと
の２点である。そのため、本発明においては、符号化を行なわないリファレンス画像以外の画像については、視差（動き）補償予測方式及びＤＣＴ符号化を用いて高能率符号化を行なうとともに、画素単位での復号化を可能にするためにベクトル符号化（固定長符号化）を行なっている。
まず、多視点画像を形成する複数の画像データから、符号化を行なわないリファレンス画像を選定する（ステップＳ７０１）。具体的には、隣接する画像データ間の相関が最も高くなるように並べ、所定枚数毎にリファレンス画像を選定すればよい。ただし、通常多視点画像を撮影する場合には、物体を回転台等に置いた状態で、所定角度ずつ回転させた状態で撮影を行なうため、基本的には撮影した順番に所定枚数毎にリファレンス画像を選定すればよい。
【００５１】
リファレンス画像は符号化を行なわないため、リファレンス画像の枚数を増やすと全体の圧縮率は低下するが、少なすぎると復号化データの精度も低下するため、生成した画像データの品質と、システムで求められる品質とを比較して何枚間隔でリファレンス画像とするかを設定する。
【００５２】
次に、リファレンス画像以外の画像データについて、圧縮符号化を行なう。まず、各画像を所定の大きさのブロックに分割し、ブロック毎にリファレンス画像とマッチングを行ない、二乗誤差が最小となるリファレンス画像のブロックとの相対位置情報（動きベクトル）を求める（ステップＳ７０２）。
【００５３】
具体的には、画像データをＹＵＶに変換し、Ｙ：Ｕ：Ｖ＝４：１：１にサブサンプリングして画素あたり１２ビットのデータにしたのち、８×８画素のブロックに分割し、リファレンス画像に対して１画素単位でブロックマッチングを行なう。ただし、Ｕ，Ｖについてはサブサンプリングされているため、縦横２倍に拡大して画像サイズをＹに合わせてからブロックマッチングを行なう。
【００５４】
動きベクトルの検出は、その画像に近い２つのリファレンス画像に対してのみ行い、他のリファレンス画像や別の画像データとのマッチングは行なわない。すなわち、図８に示すように、４枚おきに１枚のリファレンス画像（＃１、＃６、＃１１・・・）を設定した場合、隣接する２枚のリファレンス画像＃１及び＃６の間にある圧縮符号化の対象となる画像データ＃２〜＃５は、それぞれリファレンス画像＃１及び＃６とのみブロックマッチングを行なう。このように、符号化されないリファレンス画像との関係を検出することにより、復号化する画素を含む画像データ以外の画像データを復号化する必要が無くなるため、復号化処理を高速に行なうことができる。
【００５５】
動きベクトルは、例えばブロックマッチングを行なった２枚のリファレンス画像のどちらかを示す１ビットの情報と、そのリファレンス画像においてマッチングした８×８画素ブロックとの相対位置を示す情報（縦方向７ビット、横方向８ビット）の計１６ビットで表現することができる。
【００５６】
次に、圧縮符号化対象の画像データと、動きベクトルの対象としたリファレンス画像との差分（フレーム間差分）を求め（ステップＳ７０３）、求めた差分（誤差）データをＤＣＴ符号化する（ステップＳ７０４）。
【００５７】
ＤＣＴ演算を高速化するため、整数係数方式によるＤＣＴ演算を採用することもできる。整数係数方式によるＤＣＴ演算については、たとえば宮本らの、”簡略化した逆変換によるＤＣＴ圧縮動画像データの復号”、電子通信学会、’９４年春季大会 Ｄ−３０８，１９９４を参照のこと。
【００５８】
また、ＤＣＴ演算を行なった際、各ブロックを構成する６４の画素のそれぞれに対し、復号化時に行なうＤＣＴ係数とのマトリックス演算式を予め展開して保存しておく。その際、演算式は６４個のＤＣＴ係数のうち、ＤＣ成分から高周波成分へ順に、所謂ジグザグスキャンの順番で展開する。また、高周波領域の所定数の係数については演算式から省くことにより、復号時の演算量を削減することができる。また、ＤＣＴ成分は通常ＭＰＥＧ符号化で用いられている量子化テーブルを用いて量子化する。
【００５９】
次に、量子化されたＤＣＴ係数をＹＵＶの各成分毎にベクトル量子化する（ステップＳ７０５）。これは、可変長符号化を行なうと、復号化時に各ブロック（画素）毎のランダムアクセスが困難になるため固定長符号化であるベクトル量子化を採用したものである。
【００６０】
ベクトル量子化はＹＵＶの各成分毎に行なう。この際、ＤＣＴ係数の高周波成分については省略することができる。省略の程度は物体形状の複雑さや、システムに要求される画質の程度に応じて適宜設定すればよい。発明者がいくつかのサンプルについて実験的に求めた結果では、ジグザグスキャンの順番でいうと、Ｙ成分については約３０番目以降、Ｕ，Ｖ成分については約１５番目以降の成分について省略しても、静止状態で視覚的に問題となる画質劣化は認められなかった。
【００６１】
この場合、Ｙ成分については６４のＤＣＴ係数のうち最初の３０個を、Ｕ，Ｖ成分については同じく１５個をそれぞれベクトルとして取り扱ってベクトル量子化を行なえばよい。
【００６２】
ベクトル量子化における代表ベクトルの決定は、種々の方法を適用することができるが、例えばＹ． Ｌｉｎｄｅらが”Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｒ ｄｅｓｉｇｎ” （ＩＥＥＥ Ｔｒａｎｓ． Ｃｏｍｍ．，Ｖｏｌ． ＣＯＭ−２８， Ｎｏ． １， ｐｐ． ８４−９５， １９８０）において提案したＬＢＧアルゴリズムを用いることができる。なお、初期値として設定した代表ベクトルの数以下の場合には、出現したベクトルを全て代表ベクトルとして扱えばよい。
【００６３】
最後に、リファレンス画像のデータ及びベクトル量子化結果である符号化画像データ、ステップＳ７０２で検出した動きベクトル、ステップＳ７０４で求めた画素毎の展開式を、画像データベース７に記憶して、符号化処理を終了する（ステップＳ７０６）。
【００６４】
（画像生成処理）
次に、図２におけるステップＳ１０４で行なわれる画像生成処理について、図１１及び図１２に示すフローチャートを用いて詳細に説明する。
【００６５】
ステップＳ１０３（図２）において、ＨＭＤ６等に装着されたセンサなどにより、ユーザの視点位置及び方向を検出したら、検出した視点位置・方向に仮想カメラを設定し、仮想カメラ画像の先頭ラインの各画素を光線群に分解する（ステップＳ９０１）。
【００６６】
次にステップＳ９０２において、ステップＳ９０１で求まった光線群の各光線について、光線空間中のどの位置に射影されるかを前述の式（１）（２）を用いて求める。このとき符号化時と同様に、解像度の互換性を保つためにｘ軸、ｕ軸を量子化する。そして、光線空間データベース７から、各光線が射影された光線空間の位置に相当する対応関係テーブルの要素、すなわち多値画像データの画像番号と画素位置の組を読み出す（ステップＳ９０３）。
【００６７】
例えば、５本の光線が図６に示す対応関係テーブルにおいて、光線空間中の要素（−２、２）、（−１、１）、（０、０）、（１、−１）、（２、−２）の位置に射影されたとすると、その要素に記録されている値、〔５、１〕、〔２、２〕、〔２、３〕、〔４、５〕、〔３、４〕を読み出すことになる。
【００６８】
ここで、図９に示すように、ｋ番目の画像中の主走査方向ｈ画素、副走査方向ｊ画素の位置にある画素を｛ｋ、ｈ、ｊ｝と表記するとすると、生成画像（ｘ、ｙ）の（１、１）画素は｛５、１、１｝、（２、１）画素は｛２、２、１｝、・・・、（５、１）画素は｛３、４、１｝として１ライン目の画像を生成したら、２ライン目の（１、２）画素は｛５、１、２｝、（２、２）画素は｛２，２，２｝、（３、２）画素は｛２、３、２｝のように同じ列の値を順次与えれば良いように感じる。しかし、対応関係テーブルはデータ量を削減するため、光線空間への射影時に上下視差を無視した一ライン目のみの射影結果であるため、このように処理すると生成画像が大きく歪む。したがって、画像生成時にこの歪みを補正する必要がある。以下補正方法について説明する。
【００６９】
図１０は生成された画像の歪みを補正する原理を示す図である。図中、７０１は被写体、７０２は生成したい視点位置Ｐの画像、７０３は視点位置Ｓの入力画像である。
【００７０】
被写体７０１中の一点Ｂについて考える。点ＢがＹ軸に近いか、生成したい視点位置Ｐの画像７０２、視点位置Ｓの画像７０３のｚ座標値が十分に大きい、または、生成したい視点位置Ｐの画像７０２、視点位置Ｓの画像７０３のｚ座標値がほぼ同じ値であると仮定する。このとき、点Ｂから発する光線は生成したい視点位置Ｐの画像７０２中のｍ’ライン目と視点位置Ｓの画像７０３中のｎ’ライン目に記録される。
【００７１】
そこで、仮想カメラの画素ピッチをｄ、焦点距離をｆ、総ライン数をｎ、入力画像の撮影地点と基準面までの距離Ｓｚ、生成画像の位置と基準面までの距離Ｐｚとすれば、
Ｐｚ・ｔａｎγ＝ Ｓｚ・ｔａｎβ （４）
ｔａｎγ＝ ｄ・（ｎ／２−ｍ’）／ｆ （５）
ｔａｎβ＝ ｄ・（ｎ／２−ｎ’）／ｆ （６）
【００７２】
となる。そして、（４）式、（５）式、（６）式より、
ｎ’ ＝ ｎ／２ ＋ （ｍ’ − ｎ／２）・Ｓｚ／Ｐｚ （７）
が得られる。
このように、生成したい視点位置Ｐの画像７０２のｍ’番目のスキャンラインの値は、視点位置Ｓの画像７０３の（７）式で与えられるｎ’番目のスキャンラインの値と等価になる。故に、生成画像の（１、１）画素は｛５、１、Ｒ＿５＿１｝、（２、１）画素は｛２、２、Ｒ＿２＿１｝、・・・、（５、１）画素は｛３、４、Ｒ＿３＿１｝と同じ画素値を与えれば良い。
【００７３】
但し、Ｒ＿ｉ＿ｊはｉ番目の入力画像位置と生成画像位置と生成画像中の求めようとするライン位置から（７）式により計算される値である。また、生成画像の２ライン目以降の画素についても、例えば（２、４）画素ならば｛２、２、Ｒ＿２＿４｝、（３、７）画素ならば｛２、３、Ｒ＿２＿７｝で与えられる画素の値と等価になる。従って、すべての画素について上記のように画素値を求めれば歪みの補正された画像を生成することができる。但し、（７）式で与えられるｎ’の値が、ｎ’≦０またはｎ’＞ｎのときは予め決められた画素値を用いる。
【００７４】
このように補正された画素位置に基づき、ステップＳ９０４において、該当する画像データの該当する画素値を復号化して、任意視点位置、方向からの画像を生成する。
【００７５】
（復号化処理）
次に、図１１のステップＳ９０４における画素データ復号化処理について、図１２に示すフローチャートを用いて更に詳しく説明する。
【００７６】
まず、読み出すべき画素が含まれる画像データが、リファレンス画像であるかどうかを調べる（ステップＳ１００１）。リファレンス画像であれば復号化の必要はないので、画像データベース７から対応する画素の値をそのまま取り出し（ステップＳ１００９）、ステップＳ１００７へ移行する。
【００７７】
一方、リファレンス画像以外の画像データ、即ち圧縮符号化されている画像データに含まれる画素値を得る場合、復号化処理が必要となる。その場合、まず復号化すべき画素を含むブロックを特定し、そのブロックに対応する符号化データ（インデックスデータ）を画像データベース７から読み出す（ステップＳ１００２）。
【００７８】
次に、ベクトル量子化テーブル（コードブック）から、インデックスデータに対応するセットを調べ、ＹＵＶの各成分毎のＤＣＴ成分を取り出す（ステップＳ１００３）。本実施形態においては、符号化時にＹ成分は２８番目、Ｕ，Ｖ成分についてはそれぞれ１０番目までのＤＣＴ係数をベクトル量子化したので、同数の係数がベクトル量子化データの復号結果として得られる。
【００７９】
次いで、画素値の復号、即ち展開式を用いて演算する際に用いるＤＣＴ係数の数を決定する（ステップＳ１００４）。前述したように、展開式はＤＣＴ係数をＤＣ成分からジグザグスキャンの順番で積和演算がなされるように形成されているため、演算時に用いる係数の数を変化させることにより、復号して得られる画素値の精度を制御することができる。精度が要求される場合や、演算時間に余裕がある場合には使用する係数の数を多く、逆に精度よりは演算時間を優先する場合には少なく設定すればよい。
【００８０】
使用するＤＣＴ係数の数は固定である必要はなく、動的に変化させることもできる。例えばウォークスルータイプの復号現実感提示アプリケーションのように、ユーザが移動している場合には精度よりも演算速度を優先するように使用する係数の数を減らし、ユーザが移動していない場合には演算速度よりも画質を優先するように係数の数を増やすことにより、状況に応じた適切な処理が可能になる。
【００８１】
係数の数を決定したら、予め用意してある画素毎の展開式に係数を代入し、演算を行なう（ステップＳ１００５）。この結果は、視差補償（動き補償）符号化による誤差成分であるから、該当するブロックの動きベクトルを参照して、視差補償符号化の対象としたリファレンス画像から対応する画素値を取りだし、誤差成分を加えて最終的な画素値を得る（ステップＳ１００６）。
【００８２】
次に、ＹＵＶで表される画素値を画像表示のためにＲＧＢ形式に変換する（ステップＳ１００７）。ステップＳ１００８において全ての必要な画素について復号化が終了したかどうかを調べ、未処理画素が残っている場合にはステップＳ１００へ戻って上述の処理を繰り返す。全ての画素について復号が終了したら、画像生成処理を終了する。
【００８３】
（データ圧縮効果）
上述の符号化復号化条件を用い、圧縮率について検証した。撮影の被写体としてはポリゴンで表現するのが困難な形状を有する物体として、生花の入った篭と、動物のぬいぐるみを選定した。
【００８４】
多視点画像として、被写体を水平な回転台に置いた状態で、周囲から計９０枚の画像を撮影した。撮影時の水平画角は４０°、１枚あたりの解像度は６４０×４８０画素である。また、ブルーバックを用いて撮影し、撮影後のデータから被写体部分のみを切り出した。
【００８５】
このような多視点画像から、９０枚中１０枚をリファレンス画像として選択し、上述の条件で圧縮したところ、圧縮前と比較してデータ量が１／１５〜１／２０に減少した。ただし、この値は多視点画像データとの比較による値であり、多視点画像データを全て光線空間に射影した状態と比較した場合には圧縮率はさらに大きくなることは言うまでもない。
【００８６】
【他の実施形態】
なお、上述の実施形態においては、データ量を削減するために動きベクトルを用いたが、他の方法を用いることもできる。同様に、固定長符号化方法としてベクトル量子化を用いた例を説明したが、他の方法を用いても良い。
【００８７】
また、符号化時に逆ＤＣＴ演算用の展開式を生成する場合を説明したが、復号化時に展開式が使用できれば、他のタイミングで生成しても良い。
【００８８】
また、リファレンス画像に指定する画像は、各入力画像の相関を利用して求めてもよい。即ち、等間隔にリファレンス画像を指定する必要はなく、局所的にリファレンス画像の密度（この場合の密度とは、何枚おきにリファレンス画像を指定するかを表す）を変えてもよい。例えば、画像中に高周波成分を多く含むもの（写っているものの形状が複雑、色数が多いなど）に対しては、リファレンス画像を密に指定し、低周波成分が多い（画像間での変化が少ない）場合には、リファレンス画像を疎に指定することができる。
【００８９】
具体的に言えば、入力画像に対して、０からＮまでの番号を付加した場合、画像０から２０までは高周波成分が多いとすると、リファレンス画像として、０、３、６，９，１２，１５，１８，２１番の画像を指定し、画像２１からＮまでは、リファレンス画像として，３０，４０，・・・，Ｎというように指定すればよい。但し、これはあくまでも一例であり、これに限るものではない。
【００９０】
さらに、上述の実施形態では、一例として、各ブロックごとにＤＣＴ変換後の成分を、Ｙに対しては２８個、ＵＶに対しては１０個保持している。このとき、例えばＹの２８個の成分を各１バイトで表現した場合、ベクトル量子化のテーブルは、各インデックスに対して２８バイトの容量が必要となる。
【００９１】
通常、高周波成分は、画像の復元に影響を及ぼす割合が小さいため、各成分を１バイトで表現するのではなく、画像復元に寄与する割合が大きいもの、即ち、低周波成分ほど割り当てるビット数を大きくし、逆に高周波成分には、ビットの割り当てを少なくすることにより、ベクトル量子化テーブルの大きさを削減することができる。
【００９２】
例えば、２８個の成分をジグザグスキャン順に並べた場合、上位６個には各８ビットを割り当て、次の４個には各６ビット、残り１８個には各４ビットを割り当てる。このようにすると、２８個の成分を１８バイトで表現することが可能となり、ベクトル量子化のテーブルサイズを小さくすることが可能となる。ＵＶ成分に関しても、同様の考え方で、ビット割り当てを適用することにより、テーブルサイズを小さくすることができる。
【００９３】
また、上述の実施形態においては、レファレンス画像は符号化しない非圧縮のデータとして扱う場合のみを説明したが、ハードディスクなどに蓄積する場合は圧縮していてもよい。データを圧縮している場合は、ディスクなどからデータをコンピュータに読み込んだ時点で伸長し、その後実施形態で説明した方法を適用すればよい。
【００９４】
また、リファレンス画像および符号化されたデータをひとまとめにして、再度、可逆圧縮、例えば、Ｌｅｍｐｅｌ−Ｚｉｖ符号化などのエントロピー符号化を適用し、さらにデータ量を削減することも可能である。このようなデータ圧縮を適用するかしないかは、データを伸長する計算コストと、データを記憶するための容量あるいは通信のコストとの兼ね合いで決定すればよい。
【００９５】
例えば、帯域の狭い通信回線を使ってデータを送る場合は、計算コストよりもデータ量が多いことによる通信時間の増大のほうが問題となるから、その場合は、上記の再圧縮を適用する。また、十分にディスク容量があったり、帯域の広い通信回線を使用してデータ転送する場合は、転送時間よりも伸長に必要となる計算時間のほうが問題となるから、このような場合は、再圧縮は行わないというように、場合に応じて、圧縮手法を使い分ければよい。
【００９６】
【発明の効果】
以上説明したように、本発明の符号化復号化方法及び装置によれば、画素毎に逆ＤＣＴ演算式を予め展開しておき、またＤＣＴ係数を固定長符号化することにより、高能率な圧縮符号化が可能な上、画素単位での復号化が容易であるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施形態に係る複合現実空間提示システムの構成を示すブロック図である。
【図２】図１のシステムにおける全体の処理の流れを示すフローチャートである。
【図３】多視点画像の撮影について説明する図である。
【図４】多視点画像データと光線空間との関係を示す図である。
【図５】補間前の対応関係テーブルの様子を示す図である。
【図６】補間後の対応関係テーブルの様子を示す図である。
【図７】符号化処理を説明するフローチャートである。
【図８】リファレンス画像の利用について説明する図である。
【図９】画素の位置表記について説明する図である
【図１０】Ｙ軸方向の視差補正方法を説明する図である。
【図１１】任意視点位置、方向からの画像生成処理の全体の流れを説明するフローチャートである。
【図１２】図１１における復号処理ステップの処理を説明するフローチャートである。
【図１３】光線空間理論における実空間を示す図である。
【図１４】実空間における光線を光線空間に射影した状態を示す図である。
【発明の属する技術分野】
本発明は画像データの符号化復号化方法及び装置に関し、特に符号化データを画素単位で復号化可能な画像データの符号化復号化方法及び装置に関する。
【０００２】
【従来の技術】
従来、任意の視点位置の３次元画像を生成する方法として、３次元物体を複数の３角形状の小平面（ポリゴン）で表現し、与えられた視点を元に各ポリゴンの輝度値を計算する方法が良く知られている。
【０００３】
しかしながら、３次元物体の形状が複雑になると、ポリゴンを用いた表現は困難になり、ポリゴンを小型化しても視覚的な違和感を消すまでには至らない。また、ポリゴンを小型化するに連れて物体を表現するためのデータ量も、任意視点の３次元画像を生成するために必要な計算量も増加する。
【０００４】
一方、データ量が物体の形状に依存しない３次元画像の生成方法として、光線空間を用いた方法がある。この方法は、複数の視点位置で撮像された実写画像群を用いて、任意の視点位置における画像を生成・表示する方法の１つであり、３次元物体を３次元空間中を飛来する光線の集合としてとらえるという光線空間の概念に基づく。
【０００５】
この概念によれば、３次元物体の可視領域を構成する各画素の輝度値を計算することによって、３次元物体の任意視点からの画像が生成されるため、物体を表現する際の計算量はその可視領域を表す画素数のみに依存し、形状には依存しない。また、画素により形状を表現できるため、複雑な形状の物体であっても正確な形状を再現できる上、実写画像を用いるため、３次元幾何形状を基にする手法からは得られない写実性の高い仮想空間を表現できる。
【０００６】
ここで、光線空間の概念についてさらに説明する。３次元空間内には、光源からの光線や物体の反射光等による光線が存在している。３次元空間内のある１点を横切る光線は、その位置（ｘ、 ｙ、 ｚ）と方向（θ、 φ）を表す５つの変数により一意に定められる。この光線の光強度を表す関数をｆと定義すると、３次元空間内の光線群データはｆ（ｘ、 ｙ、 ｚ、 θ、 φ ）と表される。さらに、光線群データの時間変化を考慮すると、ｆ （ｘ、 ｙ、 ｚ、 θ、 φ 、ｔ ）となり、３次元空間内の光線群は６次元の空間として記述される。この空間が光線空間と呼ばれている。
【０００７】
ここで、ｔ ＝０においてＺ ＝０ という平面（基準面）を通過する光線群に着目する。Ｙ 軸に垂直な水平面（Ｘ−Ｚ 平面）を考え、上下方向の視差を考慮しないことにすると（ｙ ＝０）、φの各値に対して実空間は図１３に示すようになる。基準面から発せられる光線群は、位置ｘと角度θ の２変数でｆ （ｘ、 θ ）と記述される。従って、実空間中のある一点Ｐ（Ｘ，０， Ｚ ）を通過する光線群には、各φに対して，
Ｘ ＝ ｘ ＋Ｚ ｔａｎθ （１）
という関係が成り立つ。
【０００８】
ここで、ｕ ＝ ｔａｎθ という変数を定義すると、式（１）は、
Ｘ ＝ ｘ ＋ｕＺ （２）
となる。従って、光線空間上では、実空間内の１本の光線が１点として写像され、そこに光強度すなわち色情報が記録される。また、式（２）から、実空間内のある１点を通過する光線群は、ｘ−ｕ空間上で直線に写像されることがわかる。
【０００９】
図１４には、実空間内の Ｐ（Ｘ、０， Ｚ） の視点位置で観察された光線及び、他の視点位置から観察された光線がｘ−ｕ空間に写像された様子を示す。なお、ｘ−ｕ空間は、前に述べた５次元の光線空間の部分空間をなすものである。このように、十分に多数の視点からの撮影を行うことによって、ｘ−ｕ空間を密にデータで埋めていくことができる。
【００１０】
この光線空間から任意の視点位置の画像を精度良く再構成するためには、本来はｙ軸方向すなわち、上下方向の次元も必要である。しかし、その場合、光線空間データは少なくともｘ−ｙ−θ−φ という４次元空間を形成しなければならず、非常に大きなデータ量を持つことになる。そこで今までは、光線空間の部分空間であるｘ−ｕ空間のみを考えていた。またさらに、光線空間の座標全体に色情報を持たせることは、非常に冗長であると考えられる。
【００１１】
なぜなら、たとえｘ−ｕ空間だけを考えるとしても、画像を再構成するためにはｙ軸方向の画素情報が必要となるため、光線空間は３次元となり、そこに各光線の光強度を記録しなければならないからである。そこで、再構成する画像のすべての画素について光線空間演算を行い、メモリ上に読み込んだ多視点画像（複数の異なる視点位置から撮像した画像）から輝度値を得る方法があった。なお、光線空間演算とは、多視点画像を基に任意の視点位置の画像を再構成するために、ｘ−ｕ空間で式（２）に基づいて行う計算のことである。
【００１２】
しかしながら、上記従来例では、ｘ−ｕ空間はｘ軸方向（横方向）の視差だけを考えたものであるから、ｙ軸方向については、すべてのスキャンラインで同じ光線空間演算を繰り返さなければならなかった。また、操作者の動きに応じてリアルタイムに、任意の視点位置における画像を生成・表示するためには、高速な光線空間演算を行わなければならない。その演算を行うためには、多視点画像にランダムにアクセスし、画素データを読み込む操作を行わなければならない。すなわち、多視点画像への高速なランダムアクセスが要求される。そこで上記の例では、ｘ−ｕ空間と多視点画像を演算前にメモリ上に読み込んでおく、という手法をとっていた。
【００１３】
このように、今までは、任意の視点位置の画像を生成・表示する際に、同じ光線空間演算を何度も繰り返す必要があり、さらに、非常に大きなワークメモリ容量を使用する必要があった。画素データを得るための計算回数が多いということは、リアルタイムな動きを損なう原因となってしまう。また、物体を記述した光線空間データが膨大なデータ容量を持ち、それをすべてメモリ上に読み込んでおかなければならないとなると、光線空間を用いて３次元仮想環境内に表現できる物体の数も限られたものとなってしまう。リアルタイムに画像表示を行うためにも、計算の繰り返しは避ける必要があるし、３次元仮想環境内に光線空間データで記述した物体をたくさん配置できるようにするためにも、光線空間データが占めるワークメモリ容量はできる限り小さくする必要がある。
【００１４】
そのため、例えば特開平１０ー１１１９５１号公報に記載されるように、ある３次元物体の任意視点画像を生成するために撮影した多視点画像データを符号化して、そのデータ量を削減する方法が提案されている。
【００１５】
光線空間理論を用いて任意視点の３次元物体画像データを生成するには、その物体の全周を撮影した多視点画像データが必要である。例えば、３次元物体を回転台に乗せ、水平方向に所定の角度ずつ回転させながら都度撮影し、３６０°分の多視点画像データを用意する。物体の上方及び下方から見たデータを作成する場合には、更に垂直方向にも物体を回転させて多視点画像を撮影する。
【００１６】
そのため、所定の角度が小さければ小さいほど、互いに相関性の高い画像が連続して撮影されることになる。特開平１０−１１１９５１号公報に記載の方法はこの相関性の高さを利用して、圧縮（符号化）前の多視点画像データのうち、符号化しないリファレンス画像を周期的に設定し、残りの画像データについては、その画像データに相関の強い（撮影角度の近い）２枚のリファレンス画像に含まれる画素データのうち、最も近い値を有する画素を示すポインタ値に符号化することにより、画像データの総量を削減している。
【００１７】
【発明が解決しようとする課題】
しかしながら、特開平１０−１１１９５１号公報記載の符号化方法においては、リファレンス画像は符号化されない生データであるため、リファレンス画像を多く設定すると画像データ量の削減効果は小さくなる。しかしながら、リファレンス画像を少なくすると、リファレンス画像と相関性の小さい画像データが増加するため、復号化した画像の品質が劣化するため、実質的なデータ量削減効果はそれほど大きくない。
【００１８】
また、相互に相関性が強く、かつ連続した画像データはテレビジョン信号やビデオ信号のような動画データと見なすことも可能であるため、公知の動画データ符号化方法を適用することも考えられる。しかしながら動画データの符号化方法として標準的に用いられるＭＰＥＧ方式では、画像データをブロック毎に符号化し、復号化もブロック単位であるため、異なる多視点画像から復号結果を画素単位にかつ高速に取り出す必要のある光線空間理論に基づく画像生成にそのまま適用することはできない。
【００１９】
本発明はこのような従来技術の問題点に鑑みなされたものであり、その目的は、同一物体を多視点から撮影した多視点画像データを高能率に符号化可能であり、かつ画素単位での復号化データを高速に得ることが可能な画像データの符号化復号化方法及び装置を提供することにある。
【００２０】
【課題を解決するための手段】
すなわち、本発明の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、リファレンス画像以外の画像データのそれぞれについて所定の大きさを有するブロックに分割するステップと、分割したブロックのそれぞれについて、リファレンス画像中に含まれる同じ大きさの領域で、ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出するステップと、ブロックの画素データと、位置関係を検出した領域の画素データとの差分データを算出するステップと、差分データに直交変換を行なう直交変換ステップと、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法に存する。
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換ステップと、ブロックを構成する画素毎に、直交変換の逆変換式を生成するステップと、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法に存する。
【００２１】
また、本発明の別の要旨は、所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、ブロック内の画素毎に予め用意された直交変換の逆変換用演算式とから、符号化画像データを画素単位で復号化する画像データの復号化方法であって、復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出しステップと、読み出された符号化画像データを復号化する第１の復号化ステップと、復号化ステップで得られた直交変換の係数のうち、演算式に適用する係数の数を決定する個数決定ステップと、個数決定ステップで決定された数の係数を逆変換用演算式に適用して、画素データを復号化する第２の復号化ステップとを有し、個数決定ステップが、動的に決定する数を変更することを特徴とする画像データの復号化方法に存する。
【００２２】
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、リファレンス画像以外の画像データのそれぞれについて所定の大きさを有するブロックに分割する分割手段と、分割したブロックのそれぞれについて、リファレンス画像中に含まれる同じ大きさの領域で、ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出する検出手段と、ブロックの画素データと、位置関係を検出した領域の画素データとの差分データを算出する算出手段と、差分データに直交変換を行なう直交変換手段と、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置に存する。
【００２３】
また、本発明の別の要旨は、所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、ブロック内の画素毎に予め用意された直交変換の逆変換用演算式とから、符号化画像データを画素単位で復号化する画像データの復号化装置であって、復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出し手段と、読み出された符号化画像データを復号化する第１の復号化手段と、復号化手段で得られた直交変換の係数のうち、演算式に適用する係数の数を決定する個数決定手段と、個数決定手段で決定された数の係数を逆変換用演算式に適用して、画素データを復号化する第２の復号化手段とを有し、個数決定手段が、動的に決定する数を変更することを特徴とする画像データの復号化装置に存する。
また、本発明の別の要旨は、同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、各画素について、光線空間における座標と画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換手段と、ブロックを構成する画素毎に、直交変換の逆変換式を生成する逆変換式生成手段と、直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置に存する。
【００２６】
また、本発明の別の要旨は、本発明による画像データの符号化方法及び／又は画像データの符号化方法を、コンピュータ装置が実行可能なプログラムとして格納したことを特徴とする記憶媒体に存する。
【００２７】
【発明の実施の形態】
以下、図面を参照して、本発明をその好適な実施形態に基づき説明する。
（システム構成）
図１は、本発明による符号化復号化方法を適用可能な複合現実空間提示システムの構成例を示すブロック図である。以下の説明において、本実施形態における複合現実空間提示システムは、ユーザが装着する光学シースルー型ＨＭＤ等の表示装置に、光線空間理論を用いて生成した３次元物体画像を重畳表示することにより、ユーザに複合現実空間を提示するシステムとして述べるが、本発明による符号化復号化方法は相関性の比較的高い画像データが連続する画像データ群（動画を含む）に対する汎用的な方法であり、これ以外の用途にも応用可能であることは言うまでもない。
【００２８】
図１において、入力装置１は、キーボード、マウス等からなり、システムに対して設定等の入力を行なったり、指示を入力する際に用いる。ＲＡＭ２は、ＣＰＵ３が実行するプログラムを読み込んだり、ワークエリアとして使用される。ＣＰＵ３は本システム全体の制御を行なう。以下に説明する画像データの符号化及び復号化処理は、ＣＰＵ３がプログラムを実行することにより実現される。
【００２９】
ＲＯＭ４は、ＣＰＵ３が実行するプログラム等を記憶する。ＶＲＡＭ５は、表示用のビデオＲＡＭである。画像データベース７は予め取得した多値視点画像データを符号化した符号化画像データを蓄積する。光線空間データベース８は、予め取得した多値視点画像データと、２次元対応関係テーブルとの対応を示す光線空間データを蓄積する。外部記憶装置９は、ＣＰＵ３が実行するプログラムや、符号化前の多値視点画像データ等を記憶する。
【００３０】
画像データベース７、光線空間データベース８及び外部記憶装置９は、それぞれインタフェース１２、１３及び１４を介してＣＰＵバス１５に接続される。また、いずれもハードディスクドライブ（ＨＤＤ）やＤＶＤ−ＲＡＭドライブなど、書き換え可能な記憶装置で構成することができ、１つの装置の一領域として構成しても良い。表示装置６は本実施形態においてはユーザが装着するＨＭＤであり、インタフェース１１を介してＶＲＡＭ５に接続される。図１のシステムにおいて、表示装置６以外の表示装置をさらに有していても良い。
【００３１】
本実施形態におけるシステムは、多値画像データを光線空間に射影した状態で保持するのではなく、光線空間データを多視点画像と２次元対応関係テーブルの組としてとらえ、多視点画像を符号化（圧縮）することで全体のデータ量を削減することを特徴とする。
【００３２】
すなわち、多視点画像データを光線空間へ射影する式は、前述の式（２）の通りであり、この式には画像の高さ方向（Ｙ軸方向）の成分は含まれない。従って、図に示すように、多視点画像データの１画像データに含まれる同列の画素データのｘ−ｕ空間における写像は、同一の点になる。そこで、このときに光線空間ｆ（ｘ，ｕ）に画素値を記録するのではなく、その画素が存在する画像と、画像中の列位置を記録した対応関係テーブルを生成する。
【００３３】
一方、多視点画像データを画素単位でランダムに復号化可能に符号化しておくことによって、対応関係テーブルと符号化した多視点画像データの組を記憶しておけば、再構成時の光線空間から多視点画像への逆射影演算は、テーブルを参照することで実現でき、高速に処理可能である。また、対応関係テーブルと符号化によりデータ量が圧縮された入力多視点画像のみを用いればよいので、全ての多視点画像データを光線空間へ射影し、画素値を記憶する場合に比べて必要なデータ量が削減される。
【００３４】
すなわち、本実施形態におけるシステムでは、対応関係テーブルの作成及び多視点画像データの圧縮符号化を事前に行なってその結果を記憶しておき、その後実時間で与えられる視点位置（姿勢）情報を元に対応関係テーブルを参照し、必要な多視点画像データの画素データを復号して画像生成を行なう。
【００３５】
（全体処理）
図２は、本実施形態のシステムにおける処理の全体の流れを示すフローチャートである。
まず、ステップＳ１００において、ＣＣＤスチルカメラ等を用い、画像生成対象となる３次元物体の多視点画像（Ｅ枚とする）を撮影し、画像データベース７に記憶する。次いでステップＳ１０１では、画像データベース７に記憶したＥ枚の画像データから、光線空間と多視点画像データとの対応関係テーブルを生成する。対応関係テーブルの生成方法については後で詳述する。
【００３６】
光線空間データを画像データとの対応を示す対応関係テーブルの形で保持しておくと、後で述べる任意視点画像生成が対応関係テーブルを参照する形で行えるので、高速処理が可能となる。このようにして生成した対応関係テーブルは、光線空間データベース８に記憶する。
【００３７】
対応関係テーブルの生成が終わると、多視点画像データの圧縮符号化を行なう（図２、ステップＳ１０２）。本発明はこの圧縮符号化において、画素単位での復号が容易で、かつ十分なデータ量の圧縮が可能な符号化を実現することを目的とするものである。符号化処理については後で詳述する。圧縮符号化された多視点画像データは画像データベース７に記憶される。
【００３８】
ステップＳ１００〜Ｓ１０２までの処理は、視点位置姿勢情報に基づく画像生成処理前に行なっておく。
ステップＳ１０３において、ユーザが装着したＨＭＤ６に装着したセンサ等からの入力により、ユーザの視点位置・方向を検出する（ステップＳ１０３）。ついで、この視点位置、方向情報に基づき、光線空間データベース８を検索し、対応する多視点画像中の画素データを調べる。そして、画像データベース７に記憶してある符号化多値視点画像データから、所望のデータを画素毎に復号化して仮想空間画像を生成（ステップＳ１０４）して、ＨＭＤ６の適切な位置に表示する（ステップＳ１０５）。画像生成処理についても後で詳述する。
【００３９】
ステップＳ１０６において、複合現実空間提示システムのアプリケーションを終了するか否かを判定し、処理を継続する場合にはステップＳ１０３へもどる。処理を終了する場合には全体の処理を終了する。
【００４０】
（対応関係テーブル作成処理）
ここで、光線空間と多視点画像データとの対応関係テーブルの生成処理について図３〜図６を用いてさらに説明する。図３は、Ｚ軸に対する光軸のずれ角α、レンズ中心の位置Ｑ（ｘ０、 ｚ０）（これを視点位置とする）にカメラを置いて画像を撮影している状況を示したものである。図中、３０１は視点位置Ｑ（ｘ０、 ｚ０）、３０２は撮像面、３０３は撮像面中の任意ラインのｊ番目の画素、３０４はＸ軸、３０５はＺ軸、３０６は光軸がＺ軸となす角α、３０７は視点位置３０１と画素３０３を通過する光線がＺ軸となす角度θ、３０８はカメラの画角ω、３０９はｊ番目の画素を通過する光線がＸ軸と交差する点を表している。撮像面中の各ラインの画素数をｍとすれば、角度θ３０７は、以下の式を解くことにより求めることができる。
（ｍ／２） ｔａｎ（θ−α） ＝ （ ｊ − ｍ／２） ｔａｎ（ω／２） （３）
【００４１】
式（３）を使って、画像データベース７に記憶した各画像データ中の先頭１ライン分のデータ（Ｅ枚×ｍ画素分）の光線方向をそれぞれ求め、これらの光線群を式（１）（２）に従って光線空間に射影する。
【００４２】
光線空間に記録されるデータは、ｋ 番目（１≦ｋ≦Ｅ）の画像中の、１ライン目に含まれる主走査方向ｈ番目（１≦ｈ≦ｍ）の画素から生成された光線が光線空間（ｘ−ｕ空間）中の（ｘ１、 ｕ１）の位置に射影されたとすると、光線空間中の座標（ｘ１，ｕ１）に（ｋ、 ｈ）という値が記録される。すなわち、光線空間の位置と、多視点画像データ中の画素データとの対応関係を示す値が記録されることになる。
【００４３】
ここで、多視点画像データを構成する各画像データ中の先頭１ライン分のデータのみを光線空間に射影する理由であるが、式（１）（２）から分かるように、これらの式には、画像の高さ（ｙ）方向の項が入っていない。そのため、図４に示すように、各画像データの２ライン目以降のデータも先頭ラインのデータと同じ（光線空間中の）位置に射影される。従って、各画像中の先頭ラインのみを計算しておけば、その他のデータは計算しなくても自動的に光線空間中のどの位置に射影されるかを求めることができる。
【００４４】
このように先頭ラインのみを計算することにより、対応関係テーブルの生成処理の高速化を図ることができる。また、射影された光線空間データが、多視点画像データの解像度と同等の解像度を維持するよう、ｘ軸、ｕ軸を量子化する。
【００４５】
図５に、光線空間と多値画像データとの関係対応テーブルの一例を示す。説明を簡単にするためにこの例では、ｘ軸、ｕ軸は量子化されて、１１×５ 個の要素になっている。そして、それぞれの要素には、それぞれの光線に対応する〔画像番号、画素番号〕の組が記録されている。
【００４６】
しかしながら、離散的な視点位置（カメラ位置）において多視点画像を撮影しているため、テーブルには値が未定の要素（図５中の空白部）が存在する。そのため、値が未定な要素の値を推定する。推定方法には種々の方法があり、任意の方法を用いることができるが、例えばｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ法を採用することができる。推定した値は、〔画像番号、画素番号〕の組として対応する要素に記録する。
【００４７】
図６は、推定処理を行なって得られた最終的な対応関係テーブルの例を示す図である。テーブルの各要素に記載されている数値は、〔画像番号、主走査方向の画素番号〕の組み合わせである。各要素のｘ方向、ｕ方向の位置を図のように与える。例えば、要素（０、０）の値は〔２、３〕であり、要素（１、２）の値は〔３、２〕である。
【００４８】
（圧縮符号化処理）
次に、図２のステップＳ１０２で行なわれる多視点画像データの圧縮符号化処理について、図７に示すフローチャートを用いて説明する。
【００４９】
前述の通り、本発明における圧縮符号化に必要な特性は、
【００５０】
１）圧縮率が高いこと
２）画素単位で高速な復号化が可能なこと
の２点である。そのため、本発明においては、符号化を行なわないリファレンス画像以外の画像については、視差（動き）補償予測方式及びＤＣＴ符号化を用いて高能率符号化を行なうとともに、画素単位での復号化を可能にするためにベクトル符号化（固定長符号化）を行なっている。
まず、多視点画像を形成する複数の画像データから、符号化を行なわないリファレンス画像を選定する（ステップＳ７０１）。具体的には、隣接する画像データ間の相関が最も高くなるように並べ、所定枚数毎にリファレンス画像を選定すればよい。ただし、通常多視点画像を撮影する場合には、物体を回転台等に置いた状態で、所定角度ずつ回転させた状態で撮影を行なうため、基本的には撮影した順番に所定枚数毎にリファレンス画像を選定すればよい。
【００５１】
リファレンス画像は符号化を行なわないため、リファレンス画像の枚数を増やすと全体の圧縮率は低下するが、少なすぎると復号化データの精度も低下するため、生成した画像データの品質と、システムで求められる品質とを比較して何枚間隔でリファレンス画像とするかを設定する。
【００５２】
次に、リファレンス画像以外の画像データについて、圧縮符号化を行なう。まず、各画像を所定の大きさのブロックに分割し、ブロック毎にリファレンス画像とマッチングを行ない、二乗誤差が最小となるリファレンス画像のブロックとの相対位置情報（動きベクトル）を求める（ステップＳ７０２）。
【００５３】
具体的には、画像データをＹＵＶに変換し、Ｙ：Ｕ：Ｖ＝４：１：１にサブサンプリングして画素あたり１２ビットのデータにしたのち、８×８画素のブロックに分割し、リファレンス画像に対して１画素単位でブロックマッチングを行なう。ただし、Ｕ，Ｖについてはサブサンプリングされているため、縦横２倍に拡大して画像サイズをＹに合わせてからブロックマッチングを行なう。
【００５４】
動きベクトルの検出は、その画像に近い２つのリファレンス画像に対してのみ行い、他のリファレンス画像や別の画像データとのマッチングは行なわない。すなわち、図８に示すように、４枚おきに１枚のリファレンス画像（＃１、＃６、＃１１・・・）を設定した場合、隣接する２枚のリファレンス画像＃１及び＃６の間にある圧縮符号化の対象となる画像データ＃２〜＃５は、それぞれリファレンス画像＃１及び＃６とのみブロックマッチングを行なう。このように、符号化されないリファレンス画像との関係を検出することにより、復号化する画素を含む画像データ以外の画像データを復号化する必要が無くなるため、復号化処理を高速に行なうことができる。
【００５５】
動きベクトルは、例えばブロックマッチングを行なった２枚のリファレンス画像のどちらかを示す１ビットの情報と、そのリファレンス画像においてマッチングした８×８画素ブロックとの相対位置を示す情報（縦方向７ビット、横方向８ビット）の計１６ビットで表現することができる。
【００５６】
次に、圧縮符号化対象の画像データと、動きベクトルの対象としたリファレンス画像との差分（フレーム間差分）を求め（ステップＳ７０３）、求めた差分（誤差）データをＤＣＴ符号化する（ステップＳ７０４）。
【００５７】
ＤＣＴ演算を高速化するため、整数係数方式によるＤＣＴ演算を採用することもできる。整数係数方式によるＤＣＴ演算については、たとえば宮本らの、”簡略化した逆変換によるＤＣＴ圧縮動画像データの復号”、電子通信学会、’９４年春季大会 Ｄ−３０８，１９９４を参照のこと。
【００５８】
また、ＤＣＴ演算を行なった際、各ブロックを構成する６４の画素のそれぞれに対し、復号化時に行なうＤＣＴ係数とのマトリックス演算式を予め展開して保存しておく。その際、演算式は６４個のＤＣＴ係数のうち、ＤＣ成分から高周波成分へ順に、所謂ジグザグスキャンの順番で展開する。また、高周波領域の所定数の係数については演算式から省くことにより、復号時の演算量を削減することができる。また、ＤＣＴ成分は通常ＭＰＥＧ符号化で用いられている量子化テーブルを用いて量子化する。
【００５９】
次に、量子化されたＤＣＴ係数をＹＵＶの各成分毎にベクトル量子化する（ステップＳ７０５）。これは、可変長符号化を行なうと、復号化時に各ブロック（画素）毎のランダムアクセスが困難になるため固定長符号化であるベクトル量子化を採用したものである。
【００６０】
ベクトル量子化はＹＵＶの各成分毎に行なう。この際、ＤＣＴ係数の高周波成分については省略することができる。省略の程度は物体形状の複雑さや、システムに要求される画質の程度に応じて適宜設定すればよい。発明者がいくつかのサンプルについて実験的に求めた結果では、ジグザグスキャンの順番でいうと、Ｙ成分については約３０番目以降、Ｕ，Ｖ成分については約１５番目以降の成分について省略しても、静止状態で視覚的に問題となる画質劣化は認められなかった。
【００６１】
この場合、Ｙ成分については６４のＤＣＴ係数のうち最初の３０個を、Ｕ，Ｖ成分については同じく１５個をそれぞれベクトルとして取り扱ってベクトル量子化を行なえばよい。
【００６２】
ベクトル量子化における代表ベクトルの決定は、種々の方法を適用することができるが、例えばＹ． Ｌｉｎｄｅらが”Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｒ ｄｅｓｉｇｎ” （ＩＥＥＥ Ｔｒａｎｓ． Ｃｏｍｍ．，Ｖｏｌ． ＣＯＭ−２８， Ｎｏ． １， ｐｐ． ８４−９５， １９８０）において提案したＬＢＧアルゴリズムを用いることができる。なお、初期値として設定した代表ベクトルの数以下の場合には、出現したベクトルを全て代表ベクトルとして扱えばよい。
【００６３】
最後に、リファレンス画像のデータ及びベクトル量子化結果である符号化画像データ、ステップＳ７０２で検出した動きベクトル、ステップＳ７０４で求めた画素毎の展開式を、画像データベース７に記憶して、符号化処理を終了する（ステップＳ７０６）。
【００６４】
（画像生成処理）
次に、図２におけるステップＳ１０４で行なわれる画像生成処理について、図１１及び図１２に示すフローチャートを用いて詳細に説明する。
【００６５】
ステップＳ１０３（図２）において、ＨＭＤ６等に装着されたセンサなどにより、ユーザの視点位置及び方向を検出したら、検出した視点位置・方向に仮想カメラを設定し、仮想カメラ画像の先頭ラインの各画素を光線群に分解する（ステップＳ９０１）。
【００６６】
次にステップＳ９０２において、ステップＳ９０１で求まった光線群の各光線について、光線空間中のどの位置に射影されるかを前述の式（１）（２）を用いて求める。このとき符号化時と同様に、解像度の互換性を保つためにｘ軸、ｕ軸を量子化する。そして、光線空間データベース７から、各光線が射影された光線空間の位置に相当する対応関係テーブルの要素、すなわち多値画像データの画像番号と画素位置の組を読み出す（ステップＳ９０３）。
【００６７】
例えば、５本の光線が図６に示す対応関係テーブルにおいて、光線空間中の要素（−２、２）、（−１、１）、（０、０）、（１、−１）、（２、−２）の位置に射影されたとすると、その要素に記録されている値、〔５、１〕、〔２、２〕、〔２、３〕、〔４、５〕、〔３、４〕を読み出すことになる。
【００６８】
ここで、図９に示すように、ｋ番目の画像中の主走査方向ｈ画素、副走査方向ｊ画素の位置にある画素を｛ｋ、ｈ、ｊ｝と表記するとすると、生成画像（ｘ、ｙ）の（１、１）画素は｛５、１、１｝、（２、１）画素は｛２、２、１｝、・・・、（５、１）画素は｛３、４、１｝として１ライン目の画像を生成したら、２ライン目の（１、２）画素は｛５、１、２｝、（２、２）画素は｛２，２，２｝、（３、２）画素は｛２、３、２｝のように同じ列の値を順次与えれば良いように感じる。しかし、対応関係テーブルはデータ量を削減するため、光線空間への射影時に上下視差を無視した一ライン目のみの射影結果であるため、このように処理すると生成画像が大きく歪む。したがって、画像生成時にこの歪みを補正する必要がある。以下補正方法について説明する。
【００６９】
図１０は生成された画像の歪みを補正する原理を示す図である。図中、７０１は被写体、７０２は生成したい視点位置Ｐの画像、７０３は視点位置Ｓの入力画像である。
【００７０】
被写体７０１中の一点Ｂについて考える。点ＢがＹ軸に近いか、生成したい視点位置Ｐの画像７０２、視点位置Ｓの画像７０３のｚ座標値が十分に大きい、または、生成したい視点位置Ｐの画像７０２、視点位置Ｓの画像７０３のｚ座標値がほぼ同じ値であると仮定する。このとき、点Ｂから発する光線は生成したい視点位置Ｐの画像７０２中のｍ’ライン目と視点位置Ｓの画像７０３中のｎ’ライン目に記録される。
【００７１】
そこで、仮想カメラの画素ピッチをｄ、焦点距離をｆ、総ライン数をｎ、入力画像の撮影地点と基準面までの距離Ｓｚ、生成画像の位置と基準面までの距離Ｐｚとすれば、
Ｐｚ・ｔａｎγ＝ Ｓｚ・ｔａｎβ （４）
ｔａｎγ＝ ｄ・（ｎ／２−ｍ’）／ｆ （５）
ｔａｎβ＝ ｄ・（ｎ／２−ｎ’）／ｆ （６）
【００７２】
となる。そして、（４）式、（５）式、（６）式より、
ｎ’ ＝ ｎ／２ ＋ （ｍ’ − ｎ／２）・Ｓｚ／Ｐｚ （７）
が得られる。
このように、生成したい視点位置Ｐの画像７０２のｍ’番目のスキャンラインの値は、視点位置Ｓの画像７０３の（７）式で与えられるｎ’番目のスキャンラインの値と等価になる。故に、生成画像の（１、１）画素は｛５、１、Ｒ＿５＿１｝、（２、１）画素は｛２、２、Ｒ＿２＿１｝、・・・、（５、１）画素は｛３、４、Ｒ＿３＿１｝と同じ画素値を与えれば良い。
【００７３】
但し、Ｒ＿ｉ＿ｊはｉ番目の入力画像位置と生成画像位置と生成画像中の求めようとするライン位置から（７）式により計算される値である。また、生成画像の２ライン目以降の画素についても、例えば（２、４）画素ならば｛２、２、Ｒ＿２＿４｝、（３、７）画素ならば｛２、３、Ｒ＿２＿７｝で与えられる画素の値と等価になる。従って、すべての画素について上記のように画素値を求めれば歪みの補正された画像を生成することができる。但し、（７）式で与えられるｎ’の値が、ｎ’≦０またはｎ’＞ｎのときは予め決められた画素値を用いる。
【００７４】
このように補正された画素位置に基づき、ステップＳ９０４において、該当する画像データの該当する画素値を復号化して、任意視点位置、方向からの画像を生成する。
【００７５】
（復号化処理）
次に、図１１のステップＳ９０４における画素データ復号化処理について、図１２に示すフローチャートを用いて更に詳しく説明する。
【００７６】
まず、読み出すべき画素が含まれる画像データが、リファレンス画像であるかどうかを調べる（ステップＳ１００１）。リファレンス画像であれば復号化の必要はないので、画像データベース７から対応する画素の値をそのまま取り出し（ステップＳ１００９）、ステップＳ１００７へ移行する。
【００７７】
一方、リファレンス画像以外の画像データ、即ち圧縮符号化されている画像データに含まれる画素値を得る場合、復号化処理が必要となる。その場合、まず復号化すべき画素を含むブロックを特定し、そのブロックに対応する符号化データ（インデックスデータ）を画像データベース７から読み出す（ステップＳ１００２）。
【００７８】
次に、ベクトル量子化テーブル（コードブック）から、インデックスデータに対応するセットを調べ、ＹＵＶの各成分毎のＤＣＴ成分を取り出す（ステップＳ１００３）。本実施形態においては、符号化時にＹ成分は２８番目、Ｕ，Ｖ成分についてはそれぞれ１０番目までのＤＣＴ係数をベクトル量子化したので、同数の係数がベクトル量子化データの復号結果として得られる。
【００７９】
次いで、画素値の復号、即ち展開式を用いて演算する際に用いるＤＣＴ係数の数を決定する（ステップＳ１００４）。前述したように、展開式はＤＣＴ係数をＤＣ成分からジグザグスキャンの順番で積和演算がなされるように形成されているため、演算時に用いる係数の数を変化させることにより、復号して得られる画素値の精度を制御することができる。精度が要求される場合や、演算時間に余裕がある場合には使用する係数の数を多く、逆に精度よりは演算時間を優先する場合には少なく設定すればよい。
【００８０】
使用するＤＣＴ係数の数は固定である必要はなく、動的に変化させることもできる。例えばウォークスルータイプの復号現実感提示アプリケーションのように、ユーザが移動している場合には精度よりも演算速度を優先するように使用する係数の数を減らし、ユーザが移動していない場合には演算速度よりも画質を優先するように係数の数を増やすことにより、状況に応じた適切な処理が可能になる。
【００８１】
係数の数を決定したら、予め用意してある画素毎の展開式に係数を代入し、演算を行なう（ステップＳ１００５）。この結果は、視差補償（動き補償）符号化による誤差成分であるから、該当するブロックの動きベクトルを参照して、視差補償符号化の対象としたリファレンス画像から対応する画素値を取りだし、誤差成分を加えて最終的な画素値を得る（ステップＳ１００６）。
【００８２】
次に、ＹＵＶで表される画素値を画像表示のためにＲＧＢ形式に変換する（ステップＳ１００７）。ステップＳ１００８において全ての必要な画素について復号化が終了したかどうかを調べ、未処理画素が残っている場合にはステップＳ１００へ戻って上述の処理を繰り返す。全ての画素について復号が終了したら、画像生成処理を終了する。
【００８３】
（データ圧縮効果）
上述の符号化復号化条件を用い、圧縮率について検証した。撮影の被写体としてはポリゴンで表現するのが困難な形状を有する物体として、生花の入った篭と、動物のぬいぐるみを選定した。
【００８４】
多視点画像として、被写体を水平な回転台に置いた状態で、周囲から計９０枚の画像を撮影した。撮影時の水平画角は４０°、１枚あたりの解像度は６４０×４８０画素である。また、ブルーバックを用いて撮影し、撮影後のデータから被写体部分のみを切り出した。
【００８５】
このような多視点画像から、９０枚中１０枚をリファレンス画像として選択し、上述の条件で圧縮したところ、圧縮前と比較してデータ量が１／１５〜１／２０に減少した。ただし、この値は多視点画像データとの比較による値であり、多視点画像データを全て光線空間に射影した状態と比較した場合には圧縮率はさらに大きくなることは言うまでもない。
【００８６】
【他の実施形態】
なお、上述の実施形態においては、データ量を削減するために動きベクトルを用いたが、他の方法を用いることもできる。同様に、固定長符号化方法としてベクトル量子化を用いた例を説明したが、他の方法を用いても良い。
【００８７】
また、符号化時に逆ＤＣＴ演算用の展開式を生成する場合を説明したが、復号化時に展開式が使用できれば、他のタイミングで生成しても良い。
【００８８】
また、リファレンス画像に指定する画像は、各入力画像の相関を利用して求めてもよい。即ち、等間隔にリファレンス画像を指定する必要はなく、局所的にリファレンス画像の密度（この場合の密度とは、何枚おきにリファレンス画像を指定するかを表す）を変えてもよい。例えば、画像中に高周波成分を多く含むもの（写っているものの形状が複雑、色数が多いなど）に対しては、リファレンス画像を密に指定し、低周波成分が多い（画像間での変化が少ない）場合には、リファレンス画像を疎に指定することができる。
【００８９】
具体的に言えば、入力画像に対して、０からＮまでの番号を付加した場合、画像０から２０までは高周波成分が多いとすると、リファレンス画像として、０、３、６，９，１２，１５，１８，２１番の画像を指定し、画像２１からＮまでは、リファレンス画像として，３０，４０，・・・，Ｎというように指定すればよい。但し、これはあくまでも一例であり、これに限るものではない。
【００９０】
さらに、上述の実施形態では、一例として、各ブロックごとにＤＣＴ変換後の成分を、Ｙに対しては２８個、ＵＶに対しては１０個保持している。このとき、例えばＹの２８個の成分を各１バイトで表現した場合、ベクトル量子化のテーブルは、各インデックスに対して２８バイトの容量が必要となる。
【００９１】
通常、高周波成分は、画像の復元に影響を及ぼす割合が小さいため、各成分を１バイトで表現するのではなく、画像復元に寄与する割合が大きいもの、即ち、低周波成分ほど割り当てるビット数を大きくし、逆に高周波成分には、ビットの割り当てを少なくすることにより、ベクトル量子化テーブルの大きさを削減することができる。
【００９２】
例えば、２８個の成分をジグザグスキャン順に並べた場合、上位６個には各８ビットを割り当て、次の４個には各６ビット、残り１８個には各４ビットを割り当てる。このようにすると、２８個の成分を１８バイトで表現することが可能となり、ベクトル量子化のテーブルサイズを小さくすることが可能となる。ＵＶ成分に関しても、同様の考え方で、ビット割り当てを適用することにより、テーブルサイズを小さくすることができる。
【００９３】
また、上述の実施形態においては、レファレンス画像は符号化しない非圧縮のデータとして扱う場合のみを説明したが、ハードディスクなどに蓄積する場合は圧縮していてもよい。データを圧縮している場合は、ディスクなどからデータをコンピュータに読み込んだ時点で伸長し、その後実施形態で説明した方法を適用すればよい。
【００９４】
また、リファレンス画像および符号化されたデータをひとまとめにして、再度、可逆圧縮、例えば、Ｌｅｍｐｅｌ−Ｚｉｖ符号化などのエントロピー符号化を適用し、さらにデータ量を削減することも可能である。このようなデータ圧縮を適用するかしないかは、データを伸長する計算コストと、データを記憶するための容量あるいは通信のコストとの兼ね合いで決定すればよい。
【００９５】
例えば、帯域の狭い通信回線を使ってデータを送る場合は、計算コストよりもデータ量が多いことによる通信時間の増大のほうが問題となるから、その場合は、上記の再圧縮を適用する。また、十分にディスク容量があったり、帯域の広い通信回線を使用してデータ転送する場合は、転送時間よりも伸長に必要となる計算時間のほうが問題となるから、このような場合は、再圧縮は行わないというように、場合に応じて、圧縮手法を使い分ければよい。
【００９６】
【発明の効果】
以上説明したように、本発明の符号化復号化方法及び装置によれば、画素毎に逆ＤＣＴ演算式を予め展開しておき、またＤＣＴ係数を固定長符号化することにより、高能率な圧縮符号化が可能な上、画素単位での復号化が容易であるという効果を有する。
【図面の簡単な説明】
【図１】本発明の実施形態に係る複合現実空間提示システムの構成を示すブロック図である。
【図２】図１のシステムにおける全体の処理の流れを示すフローチャートである。
【図３】多視点画像の撮影について説明する図である。
【図４】多視点画像データと光線空間との関係を示す図である。
【図５】補間前の対応関係テーブルの様子を示す図である。
【図６】補間後の対応関係テーブルの様子を示す図である。
【図７】符号化処理を説明するフローチャートである。
【図８】リファレンス画像の利用について説明する図である。
【図９】画素の位置表記について説明する図である
【図１０】Ｙ軸方向の視差補正方法を説明する図である。
【図１１】任意視点位置、方向からの画像生成処理の全体の流れを説明するフローチャートである。
【図１２】図１１における復号処理ステップの処理を説明するフローチャートである。
【図１３】光線空間理論における実空間を示す図である。
【図１４】実空間における光線を光線空間に射影した状態を示す図である。
Claims (9)
- 同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、
前記画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、前記各画素について、光線空間における座標と前記画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、
前記複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、
前記リファレンス画像以外の画像データのそれぞれについて前記所定の大きさを有するブロックに分割するステップと、
前記分割したブロックのそれぞれについて、前記リファレンス画像中に含まれる同じ大きさの領域で、前記ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出するステップと、
前記ブロックの画素データと、前記位置関係を検出した前記領域の画素データとの差分データを算出するステップと、
前記差分データに直交変換を行なう直交変換ステップと、
前記直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、
前記符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法。 - 前記複数の画像データが所定の条件により番号付けされるとともに、前記リファレンス画像が前記番号の連続する複数の前記画像データの相関及び／又は周波数成分の分布に応じて動的に決定される間隔で選定されることを特徴とする請求項１記載の画像データの符号化方法。
- 前記固定長符号化ステップが、前記符号化対象のデータが表す周波数成分に応じて割り当てる符号化長を変化させることを特徴とする請求項１又は請求項２に記載の画像データの符号化方法。
- 同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化方法であって、
前記画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、前記各画素について、光線空間における座標と前記画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成ステップと、
前記複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定ステップと、
前記リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換ステップと、
前記ブロックを構成する画素毎に、前記直交変換の逆変換式を生成するステップと、
前記直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択するステップと、
前記符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化ステップとを有することを特徴とする画像データの符号化方法。 - 所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、前記ブロック内の画素毎に予め用意された前記直交変換の逆変換用演算式とから、前記符号化画像データを画素単位で復号化する画像データの復号化方法であって、
復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出しステップと、
前記読み出された符号化画像データを復号化する第１の復号化ステップと、
前記復号化ステップで得られた前記直交変換の係数のうち、前記演算式に適用する係数の数を決定する個数決定ステップと、
前記個数決定ステップで決定された数の係数を前記逆変換用演算式に適用して、画素データを復号化する第２の復号化ステップとを有し、
前記個数決定ステップが、動的に決定する数を変更することを特徴とする画像データの復号化方法。 - 同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、
前記画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、前記各画素について、光線空間における座標と前記画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、
前記複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、
前記リファレンス画像以外の画像データのそれぞれについて前記所定の大きさを有するブロックに分割する分割手段と、
前記分割したブロックのそれぞれについて、前記リファレンス画像中に含まれる同じ大きさの領域で、前記ブロックとデータの相関が所定番目に大きな領域を検出し、その領域との相対的な位置関係を検出する検出手段と、
前記ブロックの画素データと、前記位置関係を検出した前記領域の画素データとの差分データを算出する算出手段と、
前記差分データに直交変換を行なう直交変換手段と、
前記直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、
前記符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置。 - 所定の大きさを有するブロック毎に直交変換後に固定長符号化された符号化画像データと、前記ブロック内の画素毎に予め用意された前記直交変換の逆変換用演算式とから、前記符号化画像データを画素単位で復号化する画像データの復号化装置であって、
復号化すべき画素を含むブロックを固定長符号化した符号化画像データを読み出す読み出し手段と、
前記読み出された符号化画像データを復号化する第１の復号化手段と、
前記復号化手段で得られた前記直交変換の係数のうち、前記演算式に適用する係数の数を決定する個数決定手段と、
前記個数決定手段で決定された数の係数を前記逆変換用演算式に適用して、画素データを復号化する第２の復号化手段とを有し、
前記個数決定手段が、動的に決定する数を変更することを特徴とする画像データの復号化装置。 - 請求項１乃至請求項４のいずれか１項に記載の画像データの符号化方法及び／又は請求項５に記載の画像データの復号化方法を、コンピュータ装置が実行可能なプログラムとして格納したことを特徴とする記憶媒体。
- 同一の物体を多方向から撮影した複数の画像データから構成される画像データ群の符号化装置であって、
前記画像データのそれぞれについて、その画像データの所定領域に含まれる各画素を光線空間に射影し、前記各画素について、光線空間における座標と前記画像データの画素位置との対応関係を表す対応関係テーブルを生成し、記憶するテーブル生成手段と、
前記複数の画像データから、リファレンス画像を所定枚数選定するリファレンス画像選定手段と、
前記リファレンス画像以外の画像データのそれぞれについて、所定の大きさを有するブロック毎に直交変換を行なう直交変換手段と、
前記ブロックを構成する画素毎に、前記直交変換の逆変換式を生成する逆変換式生成手段と、
前記直交変換後に得られたデータから、予め設定された個数のデータを符号化対象として選択する選択手段と、
前記符号化対象のデータを固定長符号化して符号化画像データとして記憶する符号化手段とを有することを特徴とする画像データの符号化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36503299A JP3592168B2 (ja) | 1999-12-22 | 1999-12-22 | 画像データの符号化復号化方法及び装置 |
| US09/653,002 US6757441B1 (en) | 1999-12-22 | 2000-08-31 | Image data encoding/decoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36503299A JP3592168B2 (ja) | 1999-12-22 | 1999-12-22 | 画像データの符号化復号化方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001186516A JP2001186516A (ja) | 2001-07-06 |
| JP3592168B2 true JP3592168B2 (ja) | 2004-11-24 |
Family
ID=18483272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36503299A Expired - Fee Related JP3592168B2 (ja) | 1999-12-22 | 1999-12-22 | 画像データの符号化復号化方法及び装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6757441B1 (ja) |
| JP (1) | JP3592168B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004234476A (ja) * | 2003-01-31 | 2004-08-19 | Toshiba Corp | 画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置 |
| JP4839219B2 (ja) * | 2003-10-24 | 2011-12-21 | バイエル・ヘルスケア・エルエルシー | 酵素的電気化学的バイオセンサ |
| KR100579135B1 (ko) * | 2004-11-11 | 2006-05-12 | 한국전자통신연구원 | 수렴형 3차원 다시점 영상 획득 방법 |
| WO2006072993A1 (ja) | 2005-01-07 | 2006-07-13 | Fujitsu Limited | 圧縮符号化装置、伸張復号化装置 |
| CN101099392B (zh) * | 2005-01-07 | 2010-10-13 | 富士通株式会社 | 压缩编码装置、解压缩解码装置 |
| US20070092149A1 (en) * | 2005-10-24 | 2007-04-26 | Sung Chih-Ta S | Method and apparatus of high quality video compression |
| JP4605400B2 (ja) * | 2006-12-01 | 2011-01-05 | 富士フイルム株式会社 | 画像出力システム、画像生成装置および画像生成方法 |
| US20090022403A1 (en) * | 2007-07-20 | 2009-01-22 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
| KR20110025123A (ko) * | 2009-09-02 | 2011-03-09 | 삼성전자주식회사 | 비디오 영상 배속 재생 방법 및 장치 |
| JP2011082683A (ja) * | 2009-10-05 | 2011-04-21 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
| JP4823349B2 (ja) | 2009-11-11 | 2011-11-24 | パナソニック株式会社 | 三次元映像復号装置及び三次元映像復号方法 |
| JP2013258577A (ja) * | 2012-06-13 | 2013-12-26 | Canon Inc | 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム |
| US9094667B1 (en) * | 2013-10-31 | 2015-07-28 | Electronic Arts Inc. | Encoding of computer-generated video content |
| JP6609098B2 (ja) * | 2014-10-30 | 2019-11-20 | キヤノン株式会社 | 表示制御装置、表示制御方法、及びコンピュータプログラム |
| JP6474278B2 (ja) * | 2015-02-27 | 2019-02-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 |
| JP6088094B1 (ja) * | 2016-06-20 | 2017-03-01 | 株式会社Ｃｙｇａｍｅｓ | 複合現実環境を作成するためのシステム等 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6104754A (en) * | 1995-03-15 | 2000-08-15 | Kabushiki Kaisha Toshiba | Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system |
| JPH10111951A (ja) | 1996-10-04 | 1998-04-28 | Canon Inc | 画像処理方法および装置および記憶媒体 |
| US6031573A (en) * | 1996-10-31 | 2000-02-29 | Sensormatic Electronics Corporation | Intelligent video information management system performing multiple functions in parallel |
-
1999
- 1999-12-22 JP JP36503299A patent/JP3592168B2/ja not_active Expired - Fee Related
-
2000
- 2000-08-31 US US09/653,002 patent/US6757441B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6757441B1 (en) | 2004-06-29 |
| JP2001186516A (ja) | 2001-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7303992B2 (ja) | 点群表現を介したメッシュ圧縮 | |
| JP6501240B2 (ja) | 点群を圧縮する方法 | |
| JP3592168B2 (ja) | 画像データの符号化復号化方法及び装置 | |
| Briceño Pulido | Geometry videos: a new representation for 3D animations | |
| JP4759284B2 (ja) | ３次元体積データの符号化／復号化方法及び装置 | |
| JP4572010B2 (ja) | マスクおよび丸め平均値を使用したオブジェクトベースの符号化システムのためのスプライト生成に関する方法 | |
| EP3043320B1 (en) | System and method for compression of 3d computer graphics | |
| JP4166679B2 (ja) | ３次元オブジェクトデータの符号化及び復号化方法、並びに、その装置 | |
| JP4377455B2 (ja) | スプライト符号化 | |
| JP7425899B2 (ja) | 点群の符号化及び復号方法 | |
| JPH11502043A (ja) | フラクタル変換を使用するデジタルデータの圧縮伸張方法および装置 | |
| JPH10336680A (ja) | データ圧縮方法 | |
| KR19980024801A (ko) | 화상 데이터 전송 및 화상 처리를 위한 방법 및 장치와 기록 매체 | |
| CN117178297A (zh) | 微网格，用于计算机图形的结构化几何体 | |
| US20220321912A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| KR20010053286A (ko) | 화상부호／복호방법 및 그 프로그램을 기록한 기록매체 | |
| KR20210096234A (ko) | 호모그래피 변환을 사용하는 포인트 클라우드 코딩 | |
| JP4350504B2 (ja) | メッシュを導入した画像の符号化及び復号のための方法及び装置とそれに対応するプログラム | |
| KR20220011180A (ko) | 체적 비디오 인코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램 | |
| Chou et al. | Dynamic polygon clouds: Representation and compression for VR/AR | |
| JP2023541207A (ja) | ２次元正則化平面投影に基づくポイントクラウド符号化及び復号方法並びに装置 | |
| JP2001283201A (ja) | ３次元画像データ作成方法及び３次元画像データを用いた任意視点画像作成方法 | |
| JP2024503527A (ja) | 大規模点群指向の２次元正則化平面投影並びに符号化及び復号化方法 | |
| WO2012128209A1 (ja) | 画像符号化装置、画像復号装置、プログラムおよび符号化データ | |
| US6373989B1 (en) | Iterated image transformation and decoding apparatus and method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040611 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040824 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100903 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100903 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110903 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110903 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120903 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120903 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |