JP5238887B2 - 多視点画像生成方法および装置 - Google Patents

Description

本発明は、多視点画像の生成方法に関する。

従来から、インテグラルイメージング方式などにより多視点画像を用いて立体画像を表示させる場合、多視点画像を構成する複数の単視点画像をタイル状に配置して１の中間画像を形成する。中間画像に対して符号化などの処理を施す。表示の際には、中間画像の画素配列を並べ替えて、単視点画像の位置が対応する画素に対してインターリーブされた多視点合成画像に変換する（特許文献１）。この手法は、ＣＧ（コンピュータグラフィックス）の立体画像を描画する際にも用いて好適である（特許文献２）。

ＣＧを描画するには、予めオブジェクトを描画した多視点画像を四角形ポリゴンに貼り付けて、複数の視点からリアルタイムに描画する（特許文献３）。

特許第３３５８４６６号公報 特開２００９−７５８６９号公報 特開２００９−８０５７８号公報

しかし、複数の視点における複数の単視点画像を、多視点画像の各タイルに描画する処理が発生する。立体画像として表示するオブジェクトの数が増加するに連れ、当該オブジェクトの単視点画像が増加してタイル状の多視点画像への描画回数が増加し、多視点画像の描画速度が遅くなってしまう。

本発明は、上記に鑑みてなされたものであって、多視点画像の描画をより高速に行うことができる多視点画像生成方法および装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、合成部が、複数の画像それぞれに対応付けられた、画像の奥行き方向の位置を示すデプス値に基づき、複数の画像のうちデプス値が同一の画像を１の画像に合成する合成ステップと、シフト部が、合成ステップで合成された画像を、それぞれ異なる視差を与える複数の視点毎に、視点と画像に対応するデプス値とに応じたシフトベクトルに従い、シフトベクトルが示す方向および量でシフトさせて視差を与えた画像を生成するシフトステップと、生成部が、シフトステップでシフトされた複視差を与えた画像を予め決められたフォーマットで配置した多視点画像を生成する生成ステップとを有することを特徴とする。

本発明によれば、単多視点画像の描画をより高速に行うことができるという効果を奏する。

本実施形態に適用可能な表示部の構造。 多視点画像の説明。 単視点画像上のオブジェクトの例。 単視点画像上のオブジェクトの例。 単視点画像上のオブジェクトの例。 多視点スプライト。 単視点スプライト。 単視点スプライトの別の例。 オブジェクトを縦横方向にシフトさせた画像を生成する方法。 単視点スプライトによる複数オブジェクトの描画。 単視点スプライトによる複数オブジェクトの描画。 単視点スプライトによる複数オブジェクトの描画。 単視点スプライトによる複数オブジェクトの描画。 単視点スプライトによる複数オブジェクトの描画。 本実施形態による画像処理装置の機能を示すブロック図。 オブジェクトの配置位置とデプス値との関係。 シフト情報テーブルの説明。 本実施形態による画像処理装置のハードウェア構成。 本実施形態による単視点画像の合成処理のフローチャート。 本実施形態による単視点画像の合成処理のフローチャート。 本実施形態による単視点画像の合成処理。 本実施形態による単視点画像の合成処理。 本実施形態による単視点画像の合成処理。

以下に添付図面を参照して、この発明に係る画像処理方法の一実施の形態を詳細に説明する。先ず、本実施の形態に係る多視点画像生成方法により生成された多視点画像を表示可能な立体画像表示装置について説明する。

図１は、本実施の形態に係る多視点画像生成方法により生成された多視点画像を表示可能な立体画像表示装置における表示部３００の構造の一例を概略的に示した斜視図である。ここでは、視点数ｎ＝９として説明する。図１に例示されるように、表示部３００は、表示デバイス３０１と、当該表示デバイス３０１の表示面の前面に配置された光線制御素子としてのレンチキュラー板３０４とを備える。表示デバイス３０１としては、例えばＬＣＤ(Liquid Crystal Display)を用いることができる。

表示デバイス３０１の表示面には、縦横比が３：１のサブ画素３０２が横方向に直線状に１行に並んでいる。各サブ画素３０２は同一行内で横方向に赤（Ｒ）、緑（Ｇ）、青（Ｂ）が交互に並ぶようにマトリクス状に配列されている。一方、サブ画素３０２は、垂直方向にも直線上に一列に並んでいる。各サブ画素３０２は、同一列内でＲ、Ｇ、Ｂが交互に並ぶように配列されている。なお、サブ画素行の縦周期（３Ｐｐ）は、サブ画素３０２の横周期Ｐｐの３倍である。

一般的なカラー画像表示装置において１実効画素は、横に並んだＲＧＢの３個のサブ画素３０２を有する。輝度と色とが任意に設定できる最小単位が構成されることから、サブ画素３０２は縦横比が３：１となっている。図１の表示面では、縦に並んだＲＧＢの３個のサブ画素３０２で１実効画素が構成され、水平方向に隣接する９の実効画素で、１の単位画素群３０３（図１において枠を付して示す）が構成される。

なお、単位画素群３０３は、多視点画像を構成する複数の単視点画像における同一位置の画素による画像が表示される画素群である。すなわち、単位画素群３０３は、視差を発生させる１組の画素データが表示される。

レンチキュラー板３０４を構成するシリンドリカルレンズ３０５は、単位画素群３０３のほぼ正面に配置される。なお、図１の例では、シリンドリカルレンズ３０５の水平ピッチ（Ｐｓ）は、表示面内に配列されたサブ画素の横周期（Ｐｐ）の９倍となっている。このような構成により、シリンドリカルレンズ越しに拡大されて見えるサブ画素３０２が、水平位置の観察位置の変動に応じて切り替わる。各単位画素群３０３に表示される多視点合成画像の見え方が切り替わることで、観察者に立体映像を視認させることができる。なお、ここでいう多視点合成画像は、複数の単視点画像の位置が対応する画素に対してインターリーブされて１の画像とされたものをいう。

図２を用いて、図１に例示した構造の表示部３００に表示させる多視点画像について説明する。図２は、視点数ｎ＝９である多視点画像の例である。多視点画像は、それぞれ異なる視点＃０〜＃８による単視点画像を所定フォーマット（例えばタイル状）に配置した中間画像である。中間画像における単視点画像の配置は、図２に例示されるタイル状に限られない。例えば、各単視点画像を一列に並べてもよい。多視点画像を構成する複数の単視点画像を一纏まりに扱うことができれば、他の配置でもよい。

多視点画像の符号化、記憶、伝送および復号などの処理は、この中間画像に対して行われる。１の多視点画像を構成する各視点の単視点画像をタイル状に配置した中間画像は、画像の空間的な相関を利用した圧縮符号化方式（例えばＭＰＥＧ(Moving Pictures Experts Group)方式やＪＰＥＧ(Joint Photographic Experts Group)方式）の適用が可能となる。各タイルにおける同一位置の画素２０１Ａ〜２０１Ｉを、１の単位画素群３０３内の９の実効画素（図１）にそれぞれ表示させる。

図３Ａ〜図３Ｃを用いて、単視点画像上のオブジェクトの例について概略的に説明する。図３Ａに例示される単視点画像２６０は、画像情報を、画素毎に輝度Ｙおよび色差ＵＶ成分、あるいは、三原色ＲＧＢによる各色成分として持つと共に、属性情報Ａを持つ。属性情報Ａは、画素毎に、不透明度を示すα値を含む。α値は、その範囲を０≦α≦１とするとき、値が０でその画素が透明であり、値が１でその画素が完全に不透明であることを示す。図３Ａの例では、オブジェクト２６１は、構成する画素のα値が０以外の値、例えば１に設定される。単視点画像２１０のオブジェクト２６１以外の領域２６２の画素は、α値が０に設定され透明領域となっている。

このα値を用いて、画像の合成を行う。例えば、画像情報が輝度Ｙおよび色差ＵＶ成分で表現され、前景である第１の画像の画素ｎの輝度を輝度Ｙ₁とし、当該画素に所定のα値が設定されているものとする。また、背景である第２の画像における、画素ｎに位置が対応する画素ｍの輝度を輝度Ｙ₂とする。第１の画像と第２の画像とを合成した際の、画素ｎおよび画素ｍが合成された輝度Ｙは、０≦α≦１とするとき、例えば下記の式（１）のように求められる。このような、α値を用いた画像の合成を、アルファブレンディングと呼ぶ。
Ｙ＝(1−α)×Ｙ₂＋α×Ｙ₁ …（１）

図３Ｂは、α値が０に設定されている画素による領域を持つ複数の単視点画像２６０および２６３を重ねて合成する例を示す。手前側の単視点画像２６０は、オブジェクト２６１を構成する画素がα＝１とされ、オブジェクト２６１以外の領域２６２の画素がα＝０とされる。単視点画像２６３についても同様に、オブジェクト２６４を構成する画素がα＝１とされ、それ以外の領域２６５の画素がα＝０とされている。

図３Ｃは、図３Ｂに例示する単視点画像２６０および２６３を合成した例を示す。合成された単視点画像２６６に対して、合成前の単視点画像２６０のオブジェクト２６１が配置される。それと共に、単視点画像２６０に対して背面側から合成される単視点画像２６３のオブジェクト２６４が、手前側の単視点画像２６０（合成前）における透明領域２６２を透過して単視点画像２６６に配置される。

ＣＧによる多視点画像をタイル状に描画する第１〜第３の方法について、詳細に説明する。第１の方法は、ポリゴンメッシュなどによって表現されたオブジェクト（キャラクタ）を、複数の視点からリアルタイムに描画する。ポリゴンの形状をリアルタイムで変えることで、インタラクティブな表示が可能である。この方法は、家庭用ゲームソフトなどの高いインタラクティビティが要求されるアプリケーションに適している。一方で、処理量が多いためリアルタイムすなわち限られた時間内に高画質な多視点画像を描画することが難しい。

第２の方法は、図４に例示するように、四角形ポリゴンに対して予め作成された多視点画像を貼り付けて、複数の視点からリアルタイムに描画する。各視点の描画は、多視点画像から該当する視点に対応する画像が選択されて、四角形ポリゴンにテクスチャとして貼り付けられる。すなわち、視点によって異なるテクスチャが四角形ポリゴンに貼り付けられる。この第２の方法を、多視点スプライトと呼ぶ。

多視点スプライトは、ユーザの操作に応じてキャラクタの動作を変えるなどのインタラクティビティを表現するには適していない。一方で、作り込まれた高画質な多視点画像を高速に描画することができ、ムービーなどの用途に適している。この多視点スプライトでは、各視点の画像の各画素に異なる視差を付けることができるため、多視点画像に描画されるオブジェクトの立体感（膨らみや凹み）を再現することが可能である。一方で、事前に描画した多視点画像を全てメモリに記憶しておく必要があるため、大容量のメモリを必要とする。

第３の方法は、図５に例示するように、予め作成した１の単視点画像を四角形ポリゴンに貼り付けて、複数の視点からリアルタイムに描画する。各視点の描画においては、ある１の視点（典型的には中央の視点）から描画された単視点画像が四角形ポリゴンにテクスチャとして貼り付けられる。すなわち、全ての視点において同じテクスチャが四角形ポリゴンに貼り付けられる。この第３の方法を、単視点スプライトと呼ぶ。

この単視点スプライトでは、各視点における画像の全ての画素が同一の視差となる。多視点画像により表示されるオブジェクト自体の立体感を再現することはできない。しかし、単視点スプライトでは、オブジェクト全体の平面的な奥行き、すなわち、３次元空間に画像面として配置するときのデプス（奥行き）を表現することが可能である。また、単視点スプライトは、多視点スプライトに比べてメモリ消費量が少なくて済む。

アミューズメント施設の遊技機などで用いるコンテンツでは、予め多数のオブジェクトを別々の画像として描画しておき、それらを任意のタイミングで重ね合わせて観察者へ提示することにより、インタラクティビティを表現している。

このようなコンテンツを、インテグラルイメージング方式（以下、ＩＩ方式と略称する）などによる立体画像表示装置に表示する方法として、多視点スプライトを用いる方法が考えられる。しかし、既に述べたように、多視点スプライトはメモリ消費量が多い。多数のオブジェクトを全て多視点スプライトで描画すると、多くのメモリを消費するため現実的ではない。一方、多くのコンテンツにおいて、必ずしも全てのオブジェクトを立体的に表示する必要はない。したがって、例えばコンテンツを盛り上げたい場面で観察者の方向に飛び出して表示させたいオブジェクトだけを多視点スプライトで描画し、それ以外のオブジェクトを単視点スプライトで描画し、メモリ消費量と高いインタラクティビティを両立することができる。

＜本発明の実施の形態＞
次に、本発明の一実施形態について説明する。第３の方法による単視点スプライトの描画方法を実現するために、３次元ＣＧを描画可能なＬＳＩを用いる。すなわち、単視点画像を四角形ポリゴンに貼り付けて水平方向に順次ずらして描画する処理を高速に行うために、３次元ＣＧ用のＬＳＩによりハードウェア的に行う。近年では、例えば大部分の家庭用ゲーム機器には３次元ＣＧ用のＬＳＩが搭載されているので、図５を用いて説明した単視点スプライトと同等の描画に３次元ＣＧ用のＬＳＩを用いることが可能である。

一方、アミューズメント施設に設置される遊技機などには、より低コストで低消費電力な２次元ＣＧ用のＬＳＩが搭載されていることが多い。本実施の形態では、このような２次元ＣＧ用のＬＳＩでも単視点スプライトによる描画を行うことを可能とする。図６に例示するように、予め描画した１の単視点画像２１０を縦横方向にシフトさせて、タイル状の多視点画像２１１における各視点＃０〜＃８によるタイル２１２Ａ〜２１２Ｉにそれぞれコピーする。

視点（コピー先のタイル）、ならびに、単視点画像２１０によるオブジェクトを配置するデプス量（奥行き方向の位置）によってシフトの方向とシフト量とを変える。これにより、タイルにコピーされた単視点画像に対し、図５の如く３次元ＣＧ用ＬＳＩを用いて異なる視点から描画する場合と同様の視差を与えることができる。この、本実施形態による単視点スプライトを、以下では、２次元単視点スプライトと呼ぶ。

図６を用いて説明したような、単視点画像２１０によるオブジェクトを縦横方向にシフトさせた画像を生成する一例の方法について、図７を用いて説明する。各タイル２１２Ａ〜２１２Ｉのそれぞれよりも大きなサイズで中央の視点からの単視点画像２５０を作成しておく。当該単視点画像２５０からタイルの大きさの画像を切り抜いて、切り抜いた画像をタイルにコピーする。画像を切り抜く際に、切り抜く位置を各視点＃０〜＃８に応じて縦横方向にずらすことで、同一の画像を異なる視点から描画した画像を得ることができる。画像における有効な表示範囲を移動させることで、画像のシフトを行う。

表示部３００が水平方向の視差に対応している場合、図７に例示されるように、タイルより水平方向にサイズの大きい単視点画像２５０の中央部分から、タイルの大きさの画像２５１を切り抜く。中央視点の単視点画像２１０を得ることができる。また、単視点画像２５０の中心から水平方向（この例では右方向）に、視点およびデプス量に応じたベクトルｖ₁だけシフトさせた位置を中心としてタイルの大きさの画像２５２を切り抜く。水平方向に視点がシフトされた単視点画像を得る。こうして得られた単視点画像を、それぞれ各タイル２１２Ａ〜２１２Ｉのうち対応する視点のタイルにコピーする。

同様に、タイルより垂直方向にサイズが大きい単視点画像の中心から、垂直方向に、視点およびデプス量に応じたベクトルだけシフトさせた位置を中心としてタイルの大きさの画像を切り抜く。垂直方向に視点がシフトされた単視点画像を得ることができる。この場合は、垂直方向の視差に対応できる。また、この垂直方向に視点がシフトされた単視点画像の生成方法と、上述した水平方向に視点がシフトされた単視点画像の生成方法とを組み合わせることで、任意の方向の視差に対応可能にできる。

ここで、この本実施形態による２次元単視点スプライトによる描画を複数のオブジェクトに対して行う場合について、図８〜図１２を用いて説明する。例えば中央の視点の画像（オブジェクト）が予め描画された複数の単視点画像のそれぞれを、タイル状の多視点画像の各タイルに対し、デプス量および視点に応じてそれぞれシフトさせてコピーする。

ここで、図８〜図１２において、中央の視点による各単視点画像２３０Ａ〜２３０Ｅは、互いに異なるオブジェクトが描画され、オブジェクト以外の領域はα＝０とされ透明とされていると共に、それぞれデプス量が設定されている。

先ず、図８に例示されるように、単視点画像２３０Ａをデプス量および視点＃０〜＃８に応じてそれぞれシフトさせて、タイル状の多視点画像２３１の各タイル２３２Ａ〜２３２Ｉに対してそれぞれコピーする。次に、図９に例示されるように、単視点画像２３０Ｂをデプス量および視点＃０〜＃８に応じてそれぞれシフトさせて、タイル状の多視点画像２３１の各タイル２３２Ａ〜２３２Ｉに対してコピーする。このとき、各タイル２３２Ａ〜２３２Ｉに対してコピーする各画像が、当該各タイル２３２Ａ〜２３２Ｉに既にコピーされている各画像に対して、α値に基づきアルファブレンディングにより合成される。単視点画像２３０Ｃ〜２３０Ｅについても、図１０〜図１２にそれぞれ例示されるように、同様にしてデプス量に応じてシフトさせて、タイル状の多視点画像の各タイルに対してそれぞれコピーおよび合成する。

なお、多視点画像２３０Ａ〜２３０Ｅが互いに同期した動画像であれば、上述した多視点画像２３０Ａ〜２３０Ｅそれぞれから、タイル状の多視点画像の各タイルに対するコピーは、少なくとも動画像の１フレーム周期以内で完了する必要がある。

このように、本実施の形態による２次元単視点スプライトは、元の画像からタイルにコピーする画像を切り抜く位置を、視点およびデプス量に応じてずらす。２次元ＣＧ用ＬＳＩでも容易に実現可能である。その一方で、この２次元単視点スプライトでも、表示させるオブジェクト数が増えるのに従い単視点画像のコピー回数が増加する課題がある。したがって、表示させるオブジェクトが多くなると、多視点画像の描画速度が遅くなってしまう。例えば、表示に遅延を来したり、システムの負荷が大きくなったりするおそれがある。

そこで、本実施の形態では、同じデプスに配置されるオブジェクトが、各視点において同じ方向に、同じ量だけシフトされることに着目する。同じデプスに配置されるオブジェクトの単視点画像を１枚の画像に合成した後、その合成された１枚の画像をデプス量および視点に応じてシフトさせて、タイル状の多視点画像の各タイルにコピーする。これにより、単視点画像のコピー回数を大幅に削減し、より描画速度を向上させることが可能となる。

次に、このような処理を行うための、本実施形態による画像処理方法について説明する。図１３は、本実施形態による多視点画像生成方法を実行する多視点画像生成装置１００の機能を示す一例の機能ブロック図である。図１３に例示されるように、多視点画像生成装置１００は、入力部１１０、単視点画像記憶部１１１、デプス情報記憶部１１２、単視点画像合成部１１３、シフト情報取得部１１４、シフト情報記憶部１１５、複数の単視点画像シフト部１１６、多視点画像記憶部１１７、提示部１１８および制御部１１９を備える。制御部１１９は、この多視点画像生成装置１００の各部を制御する。

予めオブジェクトが描画された複数の単視点画像と、各オブジェクトのデプス量を示すデプス値とが入力部１１０に対して入力される。単視点画像およびデプス値は、ハードディスクや揮発性または不揮発性のメモリから入力部１１０に対して入力されてもよいし、カメラなどの画像生成装置から入力されるようにもできる。画像再生装置などのデコーダを介して入力されるようにしてもよい。また、単視点画像およびデプス値は、互いの対応関係が明確であれば、それぞれ別個のデータとして入力することができる。勿論、デプス値を、対応する単視点画像の属性情報Ａに含めて入力してもよい。

ここで、図１４を用いて、各オブジェクトの配置位置とデプス値との関係について、概略的に説明する。図１４に示されるように、単視点画像２７０Ａ、２７０Ｂおよび２７０Ｃのそれぞれに対して、オブジェクト２７１Ａ、２７１Ｂおよび２７１Ｃが描画される。図１４の例では、オブジェクト２７１Ａが最も手前側に配置され、オブジェクト２７１Ｃが最も奥側に配置される。オブジェクト２７１Ｂは、オブジェクト２７１Ａおよび２７１Ｃの間に配置される。このような場合に、最も手前側に配置されるオブジェクト２７１Ａのデプス量が最も小さく、最も小さい値のデプス値が設定される。また、奥側に向かうに連れ、デプス量が大きくなりより大きい値のデプス値が設定される。

入力部１１０に入力された複数の単視点画像は、単視点画像記憶部１１１に記憶される。各単視点画像は、描画されているオブジェクトのデプス値が、奥側を先頭として手前側へ向けて配置順に並ぶように整列されて単視点画像記憶部１１１に記憶される。これに限らず、手前側を先頭として奥側に向けてデプス値が並ぶように、各単視点画像を記憶してもよい。

例えば、デプス値に従った順番で入力部１１０に対して単視点画像を入力するように、予め決めておく。これに限らず、入力部１１０が単視点画像記憶部１１１のアドレス制御を行うようにし、入力された単視点画像を、デプス値に応じたアドレスに記憶させるようにもできる。

一方、入力部１１０に入力された複数のデプス値は、デプス情報記憶部１１２に記憶される。各デプス値は、描画されているオブジェクトのデプス値が、奥側を先頭として手前側へ向けて配置順に並ぶように整列されてデプス情報記憶部１１２に記憶される。これに限らず、手前側を先頭として奥側に向けてデプス値が並ぶようにしてもよい。

すなわち、各デプス値は、デプス情報記憶部１１２において、デプス値の大小に応じてソートされて記憶される。このとき、各デプス値の並び順が、上述した単視点画像記憶部１１１におけるオブジェクトの配置順と対応するようにソートされる。換言すれば、デプス値は、デプス情報記憶部１１２における並び順によって、単視点画像記憶部１１１に記憶される複数の単視点画像のそれぞれと対応付けられる。

単視点画像合成部１１３は、単視点画像記憶部１１１から単視点画像を先頭から順次読み出す。単視点画像合成部１１３は、デプス情報記憶部１１２からデプス値を先頭から順次読み出す。また、単視点画像合成部１１３は、デプス値が同一の単視点画像同士を合成して、合成単視点画像として出力する。合成処理は、例えばα値に基づくアルファブレンディングにより行われる。デプス値に対して１の単視点画像のみが対応する場合は、当該単視点画像がそのまま出力される。単視点画像合成部１１３から出力された合成単視点画像または単視点画像は、視点の数ｎだけ設けられた単視点画像シフト部１１６₁、１１６₂、…、１１６_nにそれぞれ供給される。

なお、以下では、特に記載のない限り、合成単視点画像または単視点画像を単視点画像で代表させて記述する。

単視点画像合成部１１３は、単視点画像を出力すると共に、出力する単視点画像に対応するデプス値をシフト情報取得部１１４に供給する。シフト情報取得部１１４は、供給されたデプス値に基づきシフト情報記憶部１１５を参照し、デプス値に対応する各視点＃０〜＃ｎのシフトベクトルをそれぞれ取得する。取得された各視点＃０〜＃ｎのシフトベクトルは、それぞれ視点が対応する単視点画像シフト部１１６₁、１１６₂、…、１１６_nに供給される。後述するように、単視点画像シフト部１１６₁、１１６₂、…、１１６_nにより、タイル状の多視点画像を生成する多視点画像生成部１３０が構成される。

図１５は、シフト情報記憶部１１５の一例の構成を示す。シフト情報記憶部１１５は、シフト情報テーブル１２０を記憶する。シフト情報テーブル１２０は、単視点画像のシフト量およびシフト方向を表すシフトベクトルが、各視点＃０〜＃８毎およびデプス値毎に予め格納される。シフトベクトルは、より具体的には、例えば中央視点による単視点画像を、多視点画像を構成する各視点のタイルにコピーする際に、当該単視点画像をシフトする方向を指し示す２次元ベクトルであり、その大きさがシフト量を表す。シフトベクトルは、視点と、オブジェクトを配置するデプス量を示すデプス値とにより異なる。シフト情報テーブルは、デプス値をインデクスとして、各視点＃０〜＃ｎそれぞれのシフトベクトルを参照できるように構成されている。

視点の数ｎと同じ数だけ設けられた単視点画像シフト部１１６₁〜１１６_nのそれぞれは、シフト情報取得部１１４から供給されたシフトベクトルに基づいて、単視点画像合成部１１３から供給された単視点画像をシフトさせる。シフトは、例えば図７を用いて説明したような方法を用いる。単視点画像シフト部１１６₁〜１１６_nでシフトされた単視点画像は、それぞれ後段の多視点画像記憶部１１７に供給され、タイル状の多視点画像における対応する視点のタイルにコピーされる。コピー対象のタイルに既に単視点画像がコピーされている場合は、アルファブレンディングによる合成を行うことができる。これにより、入力部１１０に入力された単視点画像に基づく多視点画像が生成される。

多視点画像記憶部１１７に記憶される多視点画像は、提示部１１８に供給される。提示部１１８は、多視点画像記憶部１１７から供給された多視点画像を立体画像表示装置に対して出力する。この場合、提示部１１８は、例えば、多視点画像を構成する各タイルの単視点画像を、単位画素群３０３毎にインターリーブして出力する。これに限らず、提示部１１８は、多視点画像記憶部１１７から供給された多視点画像を記録媒体に記録してもよいし、ネットワークやシリアルインターフェイスを介して他の機器に伝送してもよい。また、単位画素群３０３毎にインターリーブした多視点画像を、プリンタによりプリントアウトしてもよい。

本実施形態では、上述したように、単視点画像合成部１１３において、同じデプスに配置されるオブジェクトの単視点画像を１枚の画像に合成した後、その１枚の画像をデプス量に応じてシフトさせて、タイル状の多視点画像の各タイルにコピーする。

一例として、単視点画像合成部１１３は、最初に、単視点画像記憶部１１１から、デプス値順に整列されて記憶されている単視点画像のうち先頭の単視点画像を読み出す。それと共に、単視点画像合成部１１３は、デプス情報記憶部１１２から、デプス値順に整列されて記憶されているデプス値のうち先頭のデプス値を読み出す。

次に、単視点画像合成部１１３は、デプス情報記憶部１１２から２番目のデプス値を読み出す。単視点画像合成部１１３は、この２番目のデプス値と、先に読み出しておいたデプス値とを比較し、比較結果に基づき両者が同一であると判定されたら、単視点画像記憶部１１１から２番目の単視点画像を読み出して、先に読み出しておいた単視点画像と合成し、新たな単視点画像を生成する。

次に、単視点画像合成部１１３は、デプス情報記憶部１１２から、デプス値順に整列されて記憶されているデプス値のうち３番目のデプス値を読み出す。単視点画像合成部１１３は、この３番目のデプス値と、先に読み出した２番目のデプス値とを比較し、比較結果に基づき両者が同一であると判定されたら、単視点画像記憶部１１１から３番目の単視点画像を読み出して、直前に合成された単視点画像と合成し、新たな単視点画像を生成する。

単視点画像合成部１１３は、デプス情報記憶部１１２から読み出したデプス値が、直前に読み出したデプス値と異なる値になるまで、上述の処理を繰り返す。これにより、同じデプスに配置されるオブジェクトの単視点画像を１枚に合成することができる。この１枚に合成された単視点画像は、後段の単視点画像シフト部１１６₁、１１６₂、…、１１６_nのうち視点が対応する単視点画像シフト部に供給され、視点およびデプス値に応じてシフトされる。

図１６は、本実施形態による多視点画像生成装置１００を適用可能な画像処理装置４００の一例のハードウェア構成を示す。図１６において、画像処理装置４００は、ＣＰＵ(Central Processing Unit)４０１、ＧＰＵ(Graphic Processing Unit)４０２、ＲＯＭ(Read Only Memory)４０３、ＲＡＭ(Random Access Memory)４０４およびＶＲＡＭ(Video RAM)４０５を備える。

ＣＰＵ４０１は、図１３に示す制御部１１９に対応し、この画像処理装置４００の動作を制御する。ＣＰＵ４０１は、制御に際しＲＡＭ４０４をワークメモリとして用いる。ＣＰＵ４０１が動作するためのプログラムは、ＲＯＭ４０３に予め記憶されている。このプログラムは、ＲＯＭ４０３に予め記憶しておくのに限らず、ディスク記憶媒体や着脱可能で不揮発性の半導体メモリ、ネットワークを介してなど、他の方法で画像処理装置４００に対して供給してもよい。

ＣＰＵ４０１は、プログラムに従いＧＰＵ４０２に対してコマンドを渡す。ＧＰＵ４０２は、画像処理専用に設計されたプロセッサである。ＧＰＵ４０２は、ＣＰＵ４０１からのコマンドに従い動作し、画像処理を高速に実行する機能を有する。例えば、ＧＰＵ４０２は、ＣＰＵ４０１からのコマンドに従い、ＶＲＡＭ４０５に書き込まれた画像データに対する処理を行う。この図１６の例では、ＧＰＵ４０２は、特に２次元の画像データに対する処理に特に適応させて設計されているものとする。

一例として、ＣＰＵ４０１は、本実施形態による多視点画像生成方法を実行するプログラムが例えばＲＯＭ４０３から読み出され実行されると、当該プログラムに従いコマンドをＧＰＵ４０２に送り、ＧＰＵ４０２を上述した各部（単視点画像合成部１１３およびシフト情報取得部１１４、ならびに、単視点画像シフト部１１６₁〜１１６_n）として機能させる。

例えばＨ．２６４／ＡＶＣ方式で圧縮符号化された動画像データがデコーダ４５０で復号され、輝度Ｙ、色差ＵＶの各成分と、属性情報ＡとからなるＹＵＶＡ画像データとして画像処理装置４００に入力される。ここでは、属性情報Ａがα値およびデプス値を含むものとする。これに限らず、デプス値を、デコーダ４５０の出力と同期的に、別のデータとして画像処理装置４００に入力してもよい。画像処理装置４００に入力されたＹＵＶＡ画像データは、ＲＡＭ４０４の領域４１０に一時的に格納する。その後、ＹＵＶＡ画像データは、ＣＰＵ４０１の制御によりＶＲＡＭ４０５に転送される。

ＶＲＡＭ４０５に転送されたＹＵＶＡ画像データは、ＶＲＡＭ４０５の領域４１１に書き込まれる。この領域４１１は、上述した図１３の機能ブロック図における単視点画像記憶部１１１およびデプス情報記憶部１１２に対応する。ＧＰＵ４０２は、ＣＰＵ４０１のコマンドに従い、このＹＵＶＡ画像データを、三原色ＲＧＢの各成分と属性情報Ａとを含むＲＧＢＡ画像データに変換する。ＧＰＵ４０２は、ＲＧＢＡ画像データをＶＲＡＭ４０５上の領域であるワークバッファ４１２に書き込む。詳細は後述するが、このとき、ＧＰＵ４０２は、ＣＰＵ４０１のコマンドに従い、上述した、同一のデプス値を持つ単視点画像の合成処理を行う。

また、ＶＲＡＭ４０５には、シフト情報テーブル１２０が書き込まれる。シフト情報テーブル１２０は、例えば、ＲＯＭ４０３に予め記憶されている。シフト情報テーブル１２０は、この画像処理装置４００の起動に伴いＲＯＭ４０３から読み出され、ＲＡＭ４０４を介してＶＲＡＭ４０５に書き込まれる。

ＧＰＵ４０２は、ＣＰＵ４０１のコマンドに従い、コピーを行おうとする視点におけるシフトベクトルを取得する。ＧＰＵ４０２は、ワークバッファ４１２に書き込まれた単視点画像に対応するデプス値をインデクスとしてシフト情報テーブル１２０を参照する。ＧＰＵ４０２は、ＣＰＵ４０１のコマンドに従い、ワークバッファ４１２に書き込まれた単視点画像を、視点およびデプス値に応じたシフトベクトルに従いシフトさせる。ＧＰＵ４０２は、ＶＲＡＭ４０５の領域４１３における、タイル状の多視点画像のタイル４１４Ａ〜４１４Ｉのうち視点が対応するタイルに対してコピーする。

上述のように、ＣＰＵ４０１のコマンドに従い動作するＧＰＵ４０２は、図１３に示す単視点画像合成部１１３、シフト情報取得部１１４、単視点画像シフト部１１６₁〜１１６_nに対応する。また、ＶＲＡＭ４０５における領域４１３は、図１３に示す多視点画像記憶部１１７に対応する。

図１７Ａおよび図１７Ｂは、本実施形態による単視点画像の合成処理の一例を示すフローチャートである。以下に示す各処理は、例えばプログラムに基づくＣＰＵ４０１のコマンドに従い、ＧＰＵ４０２により実行される。

デコーダ４５０から出力された、単視点画像によるオブジェクトが画像処理装置４００に入力され、ＲＡＭ４０４の領域４１０に一時的に格納される。ここで、デコーダ４５０は、例えば動画の１フレーム周期に複数枚の単視点画像を出力可能とされ、当該複数の単視点画像は、デプス値順に、奥側から手前側に向けた順序で並べられて出力されるものとする。

先ず、ステップＳ１０において、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から最初のオブジェクトの単視点画像を入力する。最初のオブジェクトの単視点画像を、ＶＲＡＭ４０５の領域４１１を介してＲＧＢＡ画像データに変換してワークバッファ４１２に書き込む。それと共に、この最初の単視点画像に対応するデプス値を取得し、デプス値depth1とする。例えばＧＰＵ４０２は、当該単視点画像によるＲＧＢＡ画像データの属性情報Ａからデプス値を取得する。

次のステップＳ１１で、ＧＰＵ４０２は、次のオブジェクトの単視点画像があるか否かを判定する。例えば、ＣＰＵ４０１がＲＡＭ４０４における領域４１０の状態を監視する。領域４１０に次のオブジェクトの単視点画像があるか否かを判定し、その判定結果をＧＰＵ４０２に通知する。若し、次のオブジェクトの単視点画像がある場合、処理はステップＳ１２に移行され、当該次のオブジェクトの単視点画像のデプス値がＧＰＵ４０２によって取得される。例えば、ＣＰＵ４０１が領域４１０に格納される次のオブジェクトの単視点画像における属性情報Ａを抽出し、ＧＰＵ４０２に渡す。このステップＳ１２で取得されたデプス値を、デプス値depth2とする。

次のステップＳ１３で、デプス値depth1とデプス値depth2とが同一であるか否かを判定する。若し、同一である場合、処理はステップＳ１４に移行される。ステップＳ１４では、ＧＰＵ４０２は、デプス値depth2のオブジェクトの単視点画像を、ワークバッファ４１２に書き込まれている単視点画像に対してアルファブレンディングなどを用いて合成する。α値は、当該単視点画像の属性情報Ａから抽出する。そして、次のステップＳ１５でデプス値depth2をデプス値depth1に代入して、処理がステップＳ１１に戻される。

一方、上述のステップＳ１３で、デプス値depth1とデプス値depth2とが異なる場合、処理はステップＳ１６に移行される。ステップＳ１６では、ワークバッファ４１２に書き込まれている単視点画像を、視点およびデプス値に応じてシフトさせて、タイル状の多視点画像の各タイル４１４Ａ〜４１４Ｉにコピーする。このステップＳ１６の処理の詳細は、後述する。

ステップＳ１６でワークバッファ４１２の多視点画像の各タイル４１４Ａ〜４１４Ｉへのコピーが行われたら、処理はステップＳ１７に移行される。ステップＳ１７では、ＧＰＵ４０２は、デプス値depth2のオブジェクトの単視点画像をＲＡＭ４０４の領域４１０から読み出してＶＲＡＭ４０５に入力する。デプス値depth2のオブジェクトの単視点画像を、領域４１１を介してＲＧＢＡ画像データに変換して、ワークバッファ４１２に書き込む。そして、処理がステップＳ１５に移行され、デプス値depth2をデプス値depth1に代入して、処理がステップＳ１１に戻される。

上述のステップＳ１１で、次のオブジェクトが無い場合、処理はステップＳ１８に移行される。ステップＳ１８の処理は、上述したステップＳ１６の処理と同一である。すなわち、ステップＳ１８では、ワークバッファ４１２に書き込まれている単視点画像を、視点およびデプス値に応じてシフトさせて、タイル状の多視点画像の各タイル４１４Ａ〜４１４Ｉにコピーする処理が行われる。このステップＳ１８の処理の詳細は、後述する。

図１７Ｂは、上述したステップＳ１６およびステップＳ１８の、単視点画像をタイル状の多視点画像の各タイルにコピーする一例の処理を示すフローチャートである。ここでは、上述のステップＳ１０またはステップＳ１５に従い、デプス値depth1に対応する単視点画像が処理対象となる。また、視点数をｎとする。以下に示す各処理は、例えばプログラムに基づくＣＰＵ４０１のコマンドに従い、ＧＰＵ４０２により実行される。

先ず、最初のステップＳ２０で、ループ変数ｉが０に初期化される。次のステップＳ２１で、ＧＰＵ４０２は、視点＃ｉを選択し、ステップＳ２２で、デプス値depth1をインデクスとしてシフト情報テーブル１２０を参照し、視点＃ｉのシフトベクトルを取得する。

次のステップＳ２３で、ＧＰＵ４０２は、ステップＳ２２で取得したシフトベクトルに従い、ワークバッファ４１２に書き込まれている単視点画像をシフトさせる。シフトした単視点画像を、タイル状の多視点画像の視点＃ｉのタイルにコピーする。このとき、当該タイルに既に書き込まれている画像があれば、その画像に対し、当該単視点画像をアルファブレンディングなどを用いて合成する。

ステップＳ２３で単視点画像をタイルへコピーがする。ステップＳ２４でループ変数ｉに１を加算する。ステップＳ２５で、ＧＰＵ４０２は、ループ変数ｉと視点数ｎとが等しいか否かを判定する。若し、等しいと判定されたら、全ての視点での処理が終了したと判定し、図１７Ｂのフローチャートによる処理を抜け、上述の図１７Ａのフローチャートの処理に戻る。一方、ループ変数ｉが視点数ｎと異なり、全ての視点について処理が終了していないと判定されたら、処理がステップＳ２１に戻され、次の視点について処理が行われる。

上述した図１７Ａおよび図１７Ｂのフローチャートによる処理について、図１８、図１９および図２０を用いて具体的に説明する。以下では、例えば、それぞれ異なるオブジェクトによる、中央視点の単視点画像２５０Ａ〜２５０Ｅが画像処理装置４００に入力される。このとき、単視点画像２５０Ａのデプス値が１．０、単視点画像２５０Ｂ、２５０Ｃおよび２５０Ｄのデプス値がそれぞれ０．５、単視点画像２５０Ｅのデプス値が０．２であるものとする。これら単視点画像２５０Ａ〜２５０Ｅは、デプス値の大きい順に整列して入力される。また、視点数ｎ＝９であるものとする。

単視点画像２５０Ａ〜２５０Ｅが順次、画像処理装置４００に入力され、ＲＡＭ４０４の領域４１０にバッファリングされる。ＧＰＵ４０２は、領域４１０から最初のオブジェクトの単視点画像２５０Ａを読み出してＶＲＡＭ４０５に入力し、ワークバッファ４１２に書き込む。それと共に、ＧＰＵ４０２は、当該単視点画像２５０Ａのデプス値＝１．０を取得し、デプス値depth1とする（図１７ＡのステップＳ１０）。

ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像２５０Ｂが存在するので、ＧＰＵ４０２は、当該単視点画像２５０Ｂのデプス値＝０．５を取得し、デプス値depth2とする（図１７ＡのステップＳ１１、ステップＳ１２）。デプス値depth1とデプス値depth2とが異なるので、ＧＰＵ４０２は、ワークバッファ４１２に書き込まれている単視点画像２５０Ａを、タイル状の多視点画像の各タイル４１４Ａ〜４１４Ｉに対し、デプス値および視点に応じてシフトさせてコピーする（図１７ＡのステップＳ１３、ステップＳ１６）。

すなわち、デプス値depth1をインデクスとして視点＃０のシフトベクトルを取得し（ステップＳ２１、ステップＳ２２）、取得したシフトベクトルに従い単視点画像２５０Ａを例えば横方向にシフトさせた画像を生成する。そして、生成された画像をＶＲＡＭ４０５内の領域４１３における視点＃０のタイル４１４Ａに書き込む（ステップＳ２３）。この処理を、残りの視点＃１〜＃８に対してそれぞれ行う（ステップＳ２４、ステップＳ２５）。

単視点画像２５０Ａの各タイル４１４Ａ〜４１４Ｉへのコピーが完了したら、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から、デプス値depth2に対応する単視点画像２５０Ｂを読み出し、ワークバッファ４１２に書き込む（図１７ＡのステップＳ１７）。なお、各タイル４１４Ａ〜４１４Ｉへのコピーが完了した単視点画像２５０Ａは、例えばワークバッファ４１２から破棄される。ＧＰＵ４０２は、デプス値depth2＝０．５を新たなデプス値depth1とする（ステップＳ１５）。

ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像２５０Ｃが存在するので、ＧＰＵ４０２は、当該単視点画像２５０Ｃのデプス値＝０．５を取得し、新たなデプス値depth2とする（図１７ＡのステップＳ１１、ステップＳ１２）。

デプス値depth1とデプス値depth2とが等しいので、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から単視点画像２５０Ｃを読み出す。この単視点画像２５０Ｃと、ワークバッファ４１２に書き込まれている単視点画像２５０Ｂとをα値に基づきアルファブレンディングにより合成し、合成単視点画像２５３を生成する（図１７ＡのステップＳ１４）。その後、ＧＰＵ４０２は、デプス値depth2＝０．５を新たなデプス値depth1とする（図１７ＡのステップＳ１５）。

ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像２５０Ｄが存在するので、ＧＰＵ４０２は、当該単視点画像２５０Ｄのデプス値＝０．５を取得し、新たなデプス値depth2とする（図１７ＡのステップＳ１１、ステップＳ１２）。

デプス値depth1とデプス値depth2とが等しいので、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から単視点画像２５０Ｄを読み出す。この単視点画像２５０Ｄと、ワークバッファ４１２に書き込まれている合成単視点画像２５３とをα値に基づきアルファブレンディングにより合成し、合成単視点画像２５３を更新する（図１７ＡのステップＳ１４）。すなわち、合成単視点画像２５３は、オブジェクトの中央視点による単視点画像２５０Ｂ、２５０Ｃおよび２５０Ｄが合成されたものとなる。その後、ＧＰＵ４０２は、デプス値depth2を新たなデプス値depth1とする（ステップＳ１５）。

ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像２５０Ｅが存在するので、ＧＰＵ４０２は、当該単視点画像２５０Ｃのデプス値＝０．２を取得し、新たなデプス値depth2とする（図１７ＡのステップＳ１１、ステップＳ１２）。

デプス値depth1とデプス値depth2とが異なるので、ＧＰＵ４０２は、ワークバッファ４１２に書き込まれている合成単視点画像２５３を、タイル状の多視点画像の各タイル４１４Ａ〜４１４Ｉに対し、デプス値および視点に応じてシフトさせてコピーする（図１７ＡのステップＳ１３、ステップＳ１６）。

ここで、各タイル４１４Ａ〜４１４Ｉには、既に単視点画像２５０Ａがデプス値および視点に応じてシフトされて書き込まれている。ＧＰＵ４０２は、合成単視点画像２５３を各タイル４１４Ａ〜４１４Ｉにコピーする際に、各視点の合成単視点画像を、既に書き込まれている各視点の単視点画像２５０Ａに対して、α値に基づきアルファブレンディングによりそれぞれ合成する。

その後、ＧＰＵ４０２は、ＲＡＭ４０４の領域４１０から、デプス値depth2に対応する単視点画像２５０Ｅを読み出し、ワークバッファ４１２に書き込む（図１７ＡのステップＳ１７）。なお、各タイル４１４Ａ〜４１４Ｉへのコピーが完了した合成単視点画像は、例えばワークバッファ４１２から破棄される。ＧＰＵ４０２は、デプス値depth2＝０．２を新たなデプス値depth1とする（ステップＳ１５）。

ここで、ＲＡＭ４０４の領域４１０に次のオブジェクトの単視点画像が無い状態となる。そのため、ＧＰＵ４０２は、図２０に例示されるように、ワークバッファ４１２に書き込まれている単視点画像２５０Ｅを、タイル状の多視点画像の各タイル４１４Ａ〜４１４Ｉに対し、デプス値および視点に応じてシフトさせてコピーする（図１７ＡのステップＳ１８）。

各タイル４１４Ａ〜４１４Ｉには、既に単視点画像２５０Ａと合成単視点画像２５３とが、デプス値および視点に応じてシフトされ、視点毎に合成されて書き込まれている。ＧＰＵ４０２は、単視点画像２５０Ｅを各タイル４１４Ａ〜４１４Ｉにコピーする際に、図２０に例示されるように、各視点の単視点画像２５０Ｅを、既に書き込まれている各視点の合成単視点画像に対して、α値に基づきアルファブレンディングによりそれぞれ合成する。合成が行われると、一連の処理が終了される。

上述したように、本実施形態に係る画像処理装置４００によれば、同一のデプス値を持つオブジェクトの単視点画像を合成して１の合成単視点画像に纏める。そして、この合成単視点画像をデプス値および視点に応じてシフトさせて、タイル状の多視点画像の各タイルにコピーするようにしている。そのため、単視点画像をタイル状の多視点画像の各タイルにコピーする回数を大幅に削減することができる。その結果、多数のオブジェクトを含む多視点画像を高速に描画することが可能になる。

例えば、タイル状の多視点画像の各タイルに単視点画像のコピーを行う処理を、単視点画像毎に行う場合、コピー回数は、単視点画像数×視点数ｎとなる。図８〜図１２の例では、単視点画像数＝５、視点数ｎ＝９なので、コピー回数は、５×９＝４５回となる。この場合、オブジェクト数が増え、単視点画像の数が増えるに従い、コピー回数が増加することになる。視点数が増加すると、コピー回数の増加はより顕著なものとなる。

これに対して、本実施形態の方法によれば、例えば図１８〜図２０の例では、デプス値が同一の単視点画像２５０Ｂ〜２５０Ｄにおいて、これら単視点画像２５０Ｂ〜２５０Ｄを合成する際のコピー回数の３回と、合成単視点画像をタイル状の多視点画像の各タイルにコピーする際のコピー回数の９回との合計１２回で済むことになる。これは、単視点画像毎に各タイルへのコピーを行う際のコピー回数２７回（３×９回）に比べて格段に少ない。図１８〜図２０の例全体を通しても、３０回（１２回＋２×９回）で済むことになり、４５回に比べて格段に少なく、コピー回数が大幅に削減されている。

１００ 多視点画像生成装置
１１１ 単視点画像記憶部
１１２ デプス情報記憶部
１１３ 単視点画像合成部
１１４ シフト情報取得部
１１５ シフト情報記憶部
１１６₁〜１１６_n 単視点画像シフト部
１１７ 多視点画像記憶部
１２０ シフト情報テーブル
２００，２１１，２３１，２５１ 多視点画像
２１２Ａ〜２１２Ｉ タイル
２３２Ａ〜２３２Ｉ タイル
２５２Ａ〜２５２Ｉ タイル
３００ 表示部
４００ 画像処理装置
４０１ ＣＰＵ
４０２ ＧＰＵ
４０３ ＲＯＭ
４０４ ＲＡＭ
４０５ ＶＲＡＭ
４１２ ワークバッファ

Claims (6)

1. 合成部が、複数の画像それぞれに対応付けられた、画像の奥行き方向の位置を示すデプス値に基づき、該複数の画像のうち該デプス値が同一の画像を１の画像に合成する合成ステップと、
   シフト部が、前記合成ステップで合成された画像を、それぞれ異なる視差を与える複数の視点毎に、該視点と該画像に対応する前記デプス値とに応じたシフトベクトルに従い、該シフトベクトルが示す方向および量でシフトさせて視差を与えた画像を生成するシフトステップと、
   生成部が、前記シフトステップでシフトされた前記複視差を与えた画像を予め決められたフォーマットで配置した多視点画像を生成する生成ステップと
   を有する
   ことを特徴とする多視点画像生成方法。
2. 前記デプス値と、前記シフトベクトルとが対応付けられて格納されるシフト情報テーブルを、デプス情報記憶部に記憶される前記デプス値をインデックスとして参照して、前記シフトベクトルを取得するシフト情報取得ステップをさらに有し、
   前記シフトステップは、
   前記シフト情報取得ステップで取得された前記シフトベクトルに従い、該シフトベクトルが示す方向および量で、前記合成ステップにより合成された前記画像をシフトさせる
   ことを特徴とする請求項１に記載の多視点画像生成方法。
3. 制御部の制御に基づきメモリを用いて画像処理を行う画像処理部が、前記合成ステップと、前記シフトステップと、前記生成ステップとを実行する
   ことを特徴とする請求項１に記載の多視点画像生成方法。
4. 前記合成ステップは、画像記憶部に記憶された前記複数の画像それぞれと対応付けてデプス情報記憶部に記憶された前記デプス値に基づき、該画像記憶部に記憶される該複数の画像のうち該デプス値が同一の画像を１の画像に合成し、
   前記画像記憶部および前記デプス情報記憶部は、前記メモリ内に設けられる
   ことを特徴とする請求項３に記載の多視点画像生成方法。
5. 前記合成ステップは、
   バッファ記憶部に記憶された第１画像と前記デプス値が同一の第２画像を該バッファ記憶部上で該第１画像に対して合成し、合成された画像を新たな第１画像として合成し、
   前記シフトステップは、
   前記新たな第１画像を前記バッファ記憶部から読み出して、読み出した該新たな第１画像を、それぞれ異なる視差を与える複数の視線毎に、該視点と該第１画像に対応する前記デプス値とに応じたシフトベクトルに従い、該シフトベクトルが示す方向および量でシフトさせて視差を与えた画像を生成する
   ことを特徴とする請求項１に記載の多視点画像生成方法。
6. 制御部と、メモリと、該制御部の制御に基づき該メモリを用いて画像処理を行う画像処理部とを含む多視点画像生成装置であって、
   複数の画像を記憶する、前記メモリに設けられる画像記憶部と、
   前記画像記憶部に記憶された前記複数の画像それぞれの奥行き方向の位置を示すデプス値を、該複数の画像のそれぞれに対応付けられて記憶する、前記メモリに設けられるデプス情報記憶部と、
   前記デプス情報記憶部に記憶される前記デプス値に基づき、前記画像記憶部に記憶される前記複数の画像のうち該デプス値が同一の画像を１の画像に合成する、前記画像処理部に含まれる合成部と、
   前記合成部で合成された画像を、それぞれ異なる視差を与える複数の視点毎に、該視点と該画像に対応する前記デプス値とに応じたシフトベクトルに従い、該シフトベクトルが示す方向および量でシフトさせて視差を与えた画像を生成する、前記画像処理部に含まれるシフト部と、
   前記シフト部でシフトされた前記視差を与えた画像を、予め決められたフォーマットで配置して生成する、前記画像処理部に含まれる生成部と
   を有する
   ことを特徴とする多視点画像生成装置。

Images