JP6115676B2

JP6115676B2 - ライトフィールドの合成方法

Info

Publication number: JP6115676B2
Application number: JP2016089208A
Authority: JP
Inventors: 河合　直樹; 直樹河合; セドリックオドラ
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2016-04-27
Filing date: 2016-04-27
Publication date: 2017-04-19
Anticipated expiration: 2032-05-15
Also published as: JP2016178658A

Description

本発明は、ライトフィールドの合成方法に関し、特に、被写体の立体画像を提示するために利用される多視点画像情報を合成する技術に関する。

立体画像を提示するために、古くから様々な方法が提案されてきており、その一部については既に実用化が図られている。たとえば、下記の特許文献１には、同一の被写体を異なる方向に平行投影して得られる複数枚の平行投影画像を、多数の短冊領域に分割して所定の順序で並び替えて媒体上に印刷し、その上にレンチキュラーレンズを配置することにより、特定の視点位置から特定の平行投影画像が観察されるようにして立体画像を提示する方法が開示されている。

また、下記の特許文献２には、同一の被写体を複数方向から実写撮影することによって多視点画像を取得し、この実写多視点画像に基づいてディスプレイ画面上に立体画像を表示する技術が開示されている。このような実写撮影は、通常、被写体の近傍に直線状もしくは円弧状のレールを敷設し、このレールに沿ってカメラを移動させながら行われる。

これらの方法は、いずれも、同一の被写体を異なる方向に投影もしくは異なる方向から撮影して得られる複数枚の二次元画像群によって多視点画像情報を構成し、この多視点画像情報に基づいて被写体の立体画像を提示する、という手法を採用するものである。すなわち、特許文献１に係る方法は、印刷媒体とレンチキュラーレンズとの組み合わせにより多視点画像情報の具体的な提示を行っているのに対して、特許文献２に係る方法は、コンピュータによる画像処理を経てディスプレイ画面上に表示される画像として多視点画像情報の具体的な提示を行っていることになる。

最近では、被写体の異なる方向への平行投影像の集合体から構成される多視点画像情報を、様々な方向を向いた光線ベクトルを平面上に定義した「ライトフィールド（Light Field）」という概念で取り扱う手法が提案されている。たとえば、下記の非特許文献１には、空間内の光線のふるまいを完全に記述するために、「空間内の座標値（ｘ，ｙ，ｚ）で示される点を、方位角φおよび仰角θで示される方向に向かって、波長λをもつ光線が時刻ｔにおいて通過した」という現象を、Plenopticという７次元の関数Ｐを用いて、Ｐ（ｘ，ｙ，ｚ，φ，θ，λ，ｔ）という形式で記述する理論が開示されており、そのような記述形式を立体画像の提示技術に利用する一形態として、下記の非特許文献２には、「ライトフィールド（Light Field）」という概念の導入が提唱されている。更に、下記の特許文献３および４には、このようなライトフィールドを利用した三次元画像の具体的な取り扱い方法が開示されている。

特開２００７−１４７７３７号公報特開２０１０−２２６５００号公報特開２００４−１９９７０２号公報特開２００８−２５７６８６号公報

Edward H. Adelson and James R. Bergen "The Plenoptic Function and the Elements of Early Vision" Computational Models of Visual Processing (pp. 3-20). Cambridge, MA: MIT Press (1991). Marc Levoy and Pat Hanrahan "Light Field Rendering" Proceedings of ACM SIGGRAPH '96, ACM, 1996, pp.43-54.

上述したとおり、特定の被写体について多視点画像情報を用意することができれば、この多視点画像情報を利用して、当該被写体の立体表示が可能な印刷媒体を作成することもできるし、ディスプレイ画面上に当該被写体の立体表示を行うことも可能になる。

しかしながら、このような多視点画像情報を実写撮影によって用意するには、実物の被写体を様々な方向から撮影する作業が必要になり、上述したように、カメラを移動させるためのレールが敷設された大掛かりな設備が必要になる。また、実写撮影時にカメラの位置を正確に制御するための駆動制御装置なども必要になる。被写体が小さな物品である場合には、小規模なスタジオでの実写撮影が可能であるが、被写体が複数のメンバーからなる人物の集合体のような場合、体育館などの大型施設にレールや資材を搬入し、これらを組み立てて撮影設備を構築する必要がある。また、被写体の背景画像として、屋外の景色などを利用したい場合、屋外にレールを敷設して撮影する必要があるが、現実的には、そのような撮影は非常に困難である。

もちろん、多視点画像情報をＣＧ画像として用意する手法を採れば、実写撮影が不要になるため、上述した大掛かりな設備は不要になる。しかしながら、実写画像と同等品質の被写体画像をＣＧで作成するには、それなりの費用と制作時間が必要になる。このため、ＣＧ画像のみによって構成される多視点画像情報は、実用上、限定的な用途での利用にしか適していない。

そこで本発明は、それぞれ別個の被写体についての情報を含んだ複数組の多視点画像情報を相互に合成し、違和感のない合成立体画像を提示する方法を提供することを目的とする。

本発明は、ライトフィールドの合成方法に関するものであるが、当該発明の基本的な着想は、多視点画像情報を合成する新たな手法に端を発するものである。そこで、ここでは説明の便宜上、本発明に関連する多視点画像情報の合成方法および合成装置を参考態様として述べることにする。

本発明の第１の参考態様は、被写体をそれぞれ異なる方向に平行投影した複数ｎ枚の二次元画像によって構成される多視点画像情報を合成する多視点画像情報の合成方法において、
コンピュータが、第１の被写体αが記録された第１の多視点画像情報Ｅ（α）と、第２の被写体βが記録された第２の多視点画像情報Ｅ（β）と、を入力する画像情報入力段階と、
コンピュータが、第１の多視点画像情報Ｅ（α）と第２の多視点画像情報Ｅ（β）とを合成するための合成条件を設定する合成条件設定段階と、
コンピュータが、第１の多視点画像情報Ｅ（α）を構成する第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐαｉと、第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉと、を合成して、所定の合成面Ｗ上に第ｉ番目の合成二次元画像Ｐγｉを作成する処理を、ｉ＝１〜ｎについて繰り返し実行する画像合成段階と、
コンピュータが、画像合成段階で得られたｎ枚の合成二次元画像Ｐγ１〜Ｐγｎによって構成される多視点画像情報を、合成された多視点画像情報Ｅ（γ）として出力する画像情報出力段階と、
を行うようにし、
第１の多視点画像情報Ｅ（α）を構成する第ｉ番目の二次元画像Ｐαｉは、第１の被写体αを所定の投影面上に第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像をなし、第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉは、第２の被写体βを所定の投影面上に第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像をなし、
合成条件は、第１の多視点画像情報Ｅ（α）を構成する二次元画像の合成面Ｗに対する位置および第２の多視点画像情報Ｅ（β）を構成する二次元画像の合成面Ｗに対する位置を示す条件であり、第１の多視点画像情報Ｅ（α）を構成する二次元画像についての奥行値Ｚαと、第２の多視点画像情報Ｅ（β）を構成する二次元画像についての奥行値Ｚβと、を含んでおり、
画像合成段階では、第１の多視点画像情報Ｅ（α）を構成する第ｉ番目の二次元画像Ｐαｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚαとなるような所定位置に配置し、第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚβとなるような所定位置に配置し、合成面Ｗ上に、二次元画像Ｐαｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、二次元画像Ｐβｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、を形成し、これら平行投影像を奥行値Ｚα，Ｚβに基づく位置関係を考慮して合成することにより第ｉ番目の合成二次元画像Ｐγｉを作成するようにしたものである。

本発明の第２の参考態様は、上述した第１の参考態様に係る多視点画像情報の合成方法において、
所定の基準点Ｑを含む平面上に基準点Ｑを通る複数ｎ組の方向ベクトルを定義し、第１の多視点画像情報Ｅ（α）および第２の多視点画像情報Ｅ（β）として、ｎ組の方向ベクトルの方向を個々の観察方向とする多視点画像情報を用いるようにしたものである。

本発明の第３の参考態様は、上述した第１の参考態様に係る多視点画像情報の合成方法において、
ＸＹＺ三次元座標系の原点Ｏを通るベクトルであって、ＸＹ平面上への正射影投影像とＹ軸とのなす方位角φと、ＸＹ平面に対する仰角θと、によって特定される方向ベクトルＤ（φ，θ）を、θをａ通り、φをｂ通りに変化させることにより、ａ×ｂ通り定義し、第１の多視点画像情報Ｅ（α）および第２の多視点画像情報Ｅ（β）として、合計ｎ通り（但し、ｎ＝ａ×ｂ）の方向ベクトルの方向を個々の観察方向とする多視点画像情報を用いるようにしたものである。

本発明の第４の参考態様は、上述した第１〜第３の参考態様に係る多視点画像情報の合成方法において、
合成条件設定段階で、奥行値ＺαおよびＺβの値として、一方については正の値もしくは負の値または零を設定し、他方については正の値もしくは負の値を設定し、
画像合成段階では、奥行値の小さい画像についての平行投影像が手前に観察されるような合成を行うようにしたものである。

本発明の第５の参考態様は、上述した第４の参考態様に係る多視点画像情報の合成方法において、
画像合成段階で、合成面Ｗ上において、形成される平行投影像が重複しない領域については、形成される平行投影像をそのまま記録し、形成される平行投影像が重複する領域については、手前に観察される平行投影像のみを記録することにより合成を行うようにしたものである。

本発明の第６の参考態様は、上述した第５の参考態様に係る多視点画像情報の合成方法において、
第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎおよび第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎの少なくとも一方が、背景属性を示す画素値をもった画素を含む画像であり、
画像合成段階では、背景属性を示す画素値をもった画素からなる領域については平行投影像を形成しないようにし、合成面Ｗ上に平行投影像が形成されていない領域が存在する場合には、当該領域内の画素については背景属性を示す画素値を与えることにより合成二次元画像を作成するようにしたものである。

本発明の第７の参考態様は、上述した第１〜第６の参考態様に係る多視点画像情報の合成方法において、
第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎおよび第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎの少なくとも一方が、同一の共通画像によって構成されているようにしたものである。

本発明の第８の参考態様は、上述した第１〜第７の参考態様に係る多視点画像情報の合成方法を利用した立体画像提示方法において、
第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎおよび第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎを用意する多視点画像情報準備段階と、
多視点画像情報の合成方法を実行することにより、合成された多視点画像情報Ｅ（γ）を作成する多視点画像情報合成段階と、
多視点画像情報Ｅ（γ）を構成するｎ枚の合成二次元画像Ｐγ１〜Ｐγｎを、第ｉ番目（１≦ｉ≦ｎ）の合成二次元画像Ｐγｉが主として第ｉ番目の観察方向Ｄｉに提示されるような態様で提示する画像提示段階と、
を行うようにしたものである。

本発明の第９の参考態様は、上述した第８の参考態様に係る多視点画像情報の合成方法を利用した立体画像提示方法において、
多視点画像情報準備段階として、
第１の被写体αを複数ζ通りの方向から実写撮影することにより、合計ζ枚の第１の実写撮影像群を得る第１の撮影段階と、
第２の被写体βを複数η通りの方向から実写撮影することにより、合計η枚の第２の実写撮影像群を得る第２の撮影段階と、
合計ζ枚の第１の実写撮影像群に基づいて、第１の被写体αを所定の投影面上に、第１番目の観察方向Ｄ１〜第ｎ番目の観察方向Ｄｎのｎ通りの観察方向に平行な方向に投影して得られる平行投影像をそれぞれ求め、第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎを作成する第１の多視点画像情報作成段階と、
合計η枚の第２の実写撮影像群に基づいて、第２の被写体βを所定の投影面上に、第１番目の観察方向Ｄ１〜第ｎ番目の観察方向Ｄｎのｎ通りの観察方向に平行な方向に投影して得られる平行投影像をそれぞれ求め、第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎを作成する第２の多視点画像情報作成段階と、
を行うようにしたものである。

本発明の第１０の参考態様は、上述した第１〜７の参考態様に係る多視点画像情報の合成方法を利用した立体画像記録媒体の作成方法において、
第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎおよび第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎを用意する多視点画像情報準備段階と、
多視点画像情報の合成方法を実行することにより多視点画像情報Ｅ（γ）を作成する多視点画像情報合成段階と、
多視点画像情報Ｅ（γ）を構成するｎ枚の合成二次元画像Ｐγ１〜Ｐγｎを、それぞれ複数ｍ個の部分画像に分割し、記録媒体上の記録面を複数ｍ個の区画Ｋ１〜Ｋｍに分割し、記録媒体上の第ｉ番目の区画Ｋｉにｎ枚の合成二次元画像Ｐγ１〜Ｐγｎの第ｉ番目の部分画像をそれぞれ記録する媒体記録段階と、
記録媒体上の個々の区画上に、第ｉ番目の合成二次元画像Ｐγｉの部分画像が主として第ｉ番目の観察方向Ｄｉに提示されるような光学素子を配置する光学素子配置段階と、
を行うようにしたものである。

本発明の第１１の参考態様は、上述した第１〜第７の参考態様に係る多視点画像情報の合成方法を、コンピュータにプログラムを組み込んで実行させるようにしたものである。

本発明の第１２の参考態様は、被写体をそれぞれ異なる方向に平行投影した複数ｎ枚の二次元画像によって構成される多視点画像情報を合成する多視点画像情報の合成装置において、
第１の被写体αが記録された第１の多視点画像情報Ｅ（α）と、第２の被写体βが記録された第２の多視点画像情報Ｅ（β）と、を格納する画像情報格納部と、
オペレータの設定指示に基づいて、第１の多視点画像情報Ｅ（α）と第２の多視点画像情報Ｅ（β）とを合成するための合成条件を格納する合成条件格納部と、
第１の多視点画像情報Ｅ（α）を構成する第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐαｉと、第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉと、を合成して、所定の合成面Ｗ上に第ｉ番目の合成二次元画像Ｐγｉを作成する処理を、ｉ＝１〜ｎについて繰り返し実行する画像合成部と、
画像合成部で作成されたｎ枚の合成二次元画像Ｐγ１〜Ｐγｎによって構成される多視点画像情報を、合成された多視点画像情報Ｅ（γ）として格納する合成画像格納部と、
を設け、
画像情報格納部に格納されている第１の多視点画像情報Ｅ（α）は、ｎ枚の二次元画像の集合体によって構成され、そのうちの第ｉ番目の二次元画像Ｐαｉは、第１の被写体αを所定の投影面上に第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像をなし、
画像情報格納部に格納されている第２の多視点画像情報Ｅ（β）は、ｎ枚の二次元画像の集合体によって構成され、そのうちの第ｉ番目の二次元画像Ｐβｉは、第２の被写体βを所定の投影面上に第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像をなし、
合成条件設定部は、少なくとも、第１の多視点画像情報Ｅ（α）を構成する二次元画像の合成面Ｗに対する位置を示す奥行値Ｚαと、第２の多視点画像情報Ｅ（β）を構成する二次元画像の合成面Ｗに対する位置を示す奥行値Ｚβと、を格納し、
画像合成部は、画像情報格納部に格納されている第１の多視点画像情報Ｅ（α）を構成する第ｉ番目の二次元画像Ｐαｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚαとなるような所定位置に配置し、画像情報格納部に格納されている第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚβとなるような所定位置に配置し、合成面Ｗ上に、二次元画像Ｐαｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、二次元画像Ｐβｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、を形成し、これら平行投影像を奥行値Ｚα，Ｚβに基づく位置関係を考慮して合成することにより第ｉ番目の合成二次元画像Ｐγｉを作成して合成画像格納部に格納するようにしたものである。

以上、本発明に関連する多視点画像情報の合成方法および合成装置を参考態様として述べた。本発明は、これらの参考態様として述べた技術思想を利用して、新たなライトフィールドの合成方法を提供するものである。以下、本発明に係るライトフィールドの合成方法の態様を説明する。

(1) 本発明の第１の態様は、複数の点Ｐが配置された平面であって、個々の点Ｐのそれぞれには、当該点Ｐを通り互いに異なる方向を向いた複数本の光線ベクトルＬが定義され、個々の光線ベクトルＬについてそれぞれ特定の特徴値が付与されている平面として定義されるライトフィールドを合成するライトフィールドの合成方法において、
コンピュータが、ＸＹ二次元座標平面上の点Ｐの座標値（ｘ，ｙ）および当該点Ｐを通る光線ベクトルＬの向きＤを変数とする関数によって個々の特徴値を示す第１のライトフィールドＦα（ｘ，ｙ，Ｄ）および第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）を入力するライトフィールド入力段階と、
コンピュータが、第１のライトフィールドと第２のライトフィールドとを合成するための合成条件を設定する合成条件設定段階と、
コンピュータが、第１のライトフィールドＦα（ｘ，ｙ，Ｄ）と第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）とを合成して、ＸＹ二次元座標平面上の点Ｐの座標値（ｘ，ｙ）および当該点Ｐを通る光線ベクトルＬの向きＤを変数とする関数によって個々の特徴値を示す第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）を作成するライトフィールド合成段階と、
コンピュータが、ライトフィールド合成段階で得られた第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）を出力するライトフィールド出力段階と、
を行い、
合成条件には、所定の合成面Ｗに対して平行になるように、第１のライトフィールドおよび第２のライトフィールドを所定位置に配置するための配置条件が含まれており、
ライトフィールド合成段階では、配置条件に基づいて、第１のライトフィールドおよび第２のライトフィールドを配置し、合成面Ｗ上の特定点Ｐを通り特定方向Ｄを向いた特定光線ベクトルの特徴値を、当該特定光線ベクトルを含む参照直線と第１のライトフィールドとの交点を通り特定方向Ｄを向いた光線ベクトルの特徴値および参照直線と第２のライトフィールドとの交点を通り特定方向Ｄを向いた光線ベクトルの特徴値の少なくとも一方に基づいて決定し、個々の点を通る個々の光線ベクトルに対して所定の特徴値が付与された合成面Ｗを第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）とするようにしたものである。

(2) 本発明の第２の態様は、上述した第１の態様に係るライトフィールドの合成方法において、
ライトフィールド合成段階で、
参照直線と第１のライトフィールドとの交点および参照直線と第２のライトフィールドとの交点のいずれか一方のみが存在する場合には、当該存在する交点を通り特定方向Ｄを向いた光線ベクトルの特徴値に基づいて第３のライトフィールドの特徴値を決定し、
参照直線と第１のライトフィールドとの交点および参照直線と第２のライトフィールドとの交点の双方が存在する場合には、配置条件に基づいて選択されたいずれか一方の交点を通り特定方向Ｄを向いた光線ベクトルの特徴値に基づいて第３のライトフィールドの特徴値を決定するようにしたものである。

(3) 本発明の第３の態様は、上述した第１または第２の態様に係るライトフィールドの合成方法において、
第１〜第３のライトフィールドが、ＸＹ二次元座標平面上に配列された所定面積をもつ多数の画素のそれぞれについて、当該画素の代表点Ｐを通る複数本の光線ベクトルの各特徴値を画素値としてもつ画像データを構成しており、
ライトフィールド合成段階では、第３のライトフィールドを構成する個々の画素の画素値を、参照直線と第１のライトフィールドとの交点を含む第１のライトフィールド上の画素の画素値および参照直線と第２のライトフィールドとの交点を含む第２のライトフィールド上の画素の画素値の少なくとも一方に基づいて決定するようにしたものである。

(4) 本発明の第４の態様は、上述した第１〜第３の態様に係るライトフィールドの合成方法において、
個々の光線ベクトルに付与する特徴値として、三原色Ｒ，Ｇ，Ｂの画素値の組み合わせを用い、
第１のライトフィールドを、原色Ｒ成分Ｆαｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆαｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆαｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成し、
第２のライトフィールドを、原色Ｒ成分Ｆβｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆβｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆβｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成し、
第３のライトフィールドを、原色Ｒ成分Ｆγｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆγｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆγｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成し、
ライトフィールド合成段階では、個々の原色成分ごとに独立して特徴値の決定を行うようにしたものである。

(5) 本発明の第５の態様は、上述した第１〜第４の態様に係るライトフィールドの合成方法において、
第１のライトフィールドおよび第２のライトフィールドの少なくとも一方が、同一の点Ｐを通る光線ベクトルについては、向きＤにかかわらず同一の特徴値が付与されているライトフィールドであるようにしたものである。

(6) 本発明の第６の態様は、上述した第１〜第５の態様に係るライトフィールドの合成方法を、コンピュータにプログラムを組み込んで実行させるようにしたものである。

本発明に係るライトフィールドの合成方法によれば、所定の合成面Ｗに対して平行になるように、第１のライトフィールドおよび第２のライトフィールドを所定位置に配置し、合成面Ｗ上の特定点Ｐを通り特定方向Ｄを向いた特定光線ベクトルの特徴値を決定し、個々の点を通る個々の光線ベクトルに対して所定の特徴値が付与された合成面Ｗを第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）とするようにしたため、任意のライトフィールドの合成を行うことが可能になる。このため、それぞれ別個の被写体についての情報を含んだ違和感のない合成立体画像を提示することができる。

被写体αをそれぞれ異なる方向に平行投影した二次元平行投影画像Ｐ１〜Ｐ５によって構成される多視点画像情報Ｅの一例を示す正面図である。被写体αを投影面Ｓに対して平行投影している状態を示す上面図である。２つの被写体α１，α２を投影面Ｓに対して平行投影している状態を示す上面図である。２つの被写体α１，α２の平行投影像（図(a) ）と撮影像（図(b) ）との相違を示す平面図である。図１に示す多視点画像情報Ｅに基づいて、立体画像記録媒体を作成するプロセスを示す平面図（上段および中段）および上面図（下段）である。方向ベクトルＤを特定するための角度パラメータφ，θを示す斜視図である。被写体αを上下および左右の異なる方向に平行投影した二次元平行投影画像Ｐ１１〜Ｐ３５によって構成される多視点画像情報の一例を示す平面図である。図７に示す多視点画像情報に基づいて、立体画像記録媒体を作成するプロセスを示す平面図である。被写体αに対して実写撮影を行う設備の一例を示す上面図である。図９に示す実写撮影によって得られた多数の撮影画像から多視点画像情報を作成するプロセスを示すブロック図である。第１の多視点画像情報Ｅ（α）と第２の多視点画像情報Ｅ（β）とを合成して第３の多視点画像情報Ｅ（γ）を生成する基本原理を示す平面図である。図１１に示す二次元画像Ｐα３，Ｐβ３を合成して、合成画像Ｐγ３を得る一般的な方法を示す平面図である。本発明における各二次元画像の合成方法を示す上面図である。本発明に係る多視点画像情報の合成方法の基本手順を示す流れ図である。本発明に係る立体画像提示方法の基本手順を示す流れ図である。本発明に係る多視点画像情報の合成装置の基本構成を示すブロック図である。本発明による合成対象となる第１の多視点画像情報Ｅ（α）と第２の多視点画像情報Ｅ（β）との別な例を示す平面図である。一般的なライトフィールドの概念を示す斜視図および数式図である。本発明に係るライトフィールドの合成方法の基本原理を示す斜視図である。本発明に係るライトフィールドの合成方法の具体的な手法を示す斜視図である。

以下、本発明を図示する実施形態に基づいて説明する。なお、上述したとおり、本発明は、ライトフィールドの合成方法に関するものであるが、当該発明の基本的な着想は、多視点画像情報を合成する新たな手法に端を発するものである。そこで、ここでは説明の便宜上、まず、本発明に関連する多視点画像情報の合成方法についての説明を行うことにする。

＜＜＜ §１．多視点画像情報を利用した立体画像の提示方法＞＞＞
本発明は、多視点画像情報を用いて被写体の立体画像を提示するために利用可能な技術である。ここで、多視点画像情報とは、提示対象となる被写体をそれぞれ異なる方向に平行投影した二次元画像の集合体である。このような多視点画像情報を用いて立体画像を提示する技術自体は、前掲の特許文献１，２等に開示されているように公知であるが、ここでは、本発明の説明の便宜上、その基本原理を簡単に説明しておく。

図１は、被写体α（この例ではコーヒーカップ）をそれぞれ異なる方向に平行投影した二次元平行投影画像Ｐ１〜Ｐ５によって構成される多視点画像情報Ｅの一例を示す正面図である。この例の場合、被写体αの手前に有限の面積をもった投影面Ｓが配置されており、被写体αは、この投影面Ｓ上に投影される。基準点Ｑに端を発する矢印Ｄ１〜Ｄ５は、投影面Ｓ上への投影方向を示すものであり、その先端方向には、それぞれ視点Ｖ１〜Ｖ５が設定されている。結局、矢印Ｄ１〜Ｄ５は、基準点Ｑから各視点Ｖ１〜Ｖ５へ向かう方向を示していることになり、ここでは各矢印の示す方向を観察方向Ｄ１〜Ｄ５と呼ぶことにする。なお、図１では、基準点Ｑを被写体αの若干手前の位置に設定しているが、基準点Ｑを被写体αの中心点に設定すると、より効果的な立体感をもった被写体αを提示することが可能になる。

図１の下段に示す二次元画像Ｐ１〜Ｐ５は、被写体αをそれぞれ観察方向Ｄ１〜Ｄ５に平行投影したときに、投影面Ｓ上に得られる二次元画像であり、一般に「スライス」と呼ばれている。投影面Ｓを窓と考えれば、これらの二次元画像Ｐ１〜Ｐ５は、それぞれ視点Ｖ１〜Ｖ５の位置から当該窓を通して被写体αを観察することにより得られる画像ということができる。多視点画像情報Ｅは、これら二次元画像Ｐ１〜Ｐ５の集合体によって構成される情報であり、具体的には、これら５枚の二次元画像Ｐ１〜Ｐ５を示す画像データの集合体ということになる。

ここで留意すべき点は、各二次元画像Ｐ１〜Ｐ５は、各視点Ｖ１〜Ｖ５の位置から被写体αを撮影した二次元撮影画像ではなく、被写体αをそれぞれ異なる観察方向Ｄ１〜Ｄ５に平行投影した投影像になっている点である。図２は、被写体αを投影面Ｓに対して平行投影している状態を示す上面図である。図２(a) は、観察方向Ｄ３（図１において正面位置にある視点Ｖ３に向かう方向）に平行投影した状態を示しており、投影面Ｓ上の太線で示す部分に被写体αの平行投影像Ｐ３が得られることになる。同様に、図２(b) は、観察方向Ｄ２（図１において斜め左位置にある視点Ｖ２に向かう方向）に平行投影した状態を示しており、投影面Ｓ上の太線で示す部分に被写体αの平行投影像Ｐ２が得られることになる。

一般に、レンズなどの光学系を用いた撮影によって得られる撮影画像は、遠近法（Perspective ：透視図法）を用いて被写体を二次元平面上に表現した画像になるが、多視点画像情報Ｅを構成する個々の二次元画像Ｐ１〜Ｐ５は、このような遠近法を用いた表現にはならず、あくまでも被写体上の各点を所定の観察方向に向かって平行投影することにより、投影面Ｓ上に得られる画像ということになる。

たとえば、図３に示す例のように、全く同じサイズの２つの被写体α１，α２（図示の例では、同一のコーヒーカップを２組）を、被写体α１を手前、被写体α２を奥に配置して、観察方向Ｄ３に向けて投影面Ｓ上に平行投影すると、太線で示す部分に被写体α１，α２の平行投影像Ｐ３（被写体α１，α２の一部は相互に重なっている）が得られる。図４(a) は、このようにして投影面Ｓ上に得られた平行投影像を示している。これに対して、図４(b) は、２つの被写体α１，α２を正面から写真撮影して得られた撮影像を示している。この図４(b) に示す撮影像では、手前の被写体α１に比べて奥の被写体α２の方が小さく写っているが、これはレンズなどの光学系を用いた撮影を行ったため、遠近法が適用された二次元画像（いわゆる、パースがかかった画像）が形成されたためである。

さて、図１の下段に示すような５枚の二次元画像Ｐ１〜Ｐ５（平行投影像）によって構成される多視点画像情報Ｅが用意できたら、投影面Ｓの位置に個々の二次元画像Ｐ１〜Ｐ５を提示すれば、被写体αを立体画像として提示することができる。但し、このとき、何らかの手段を用いて、個々の二次元画像Ｐ１〜Ｐ５を、それぞれ対応する観察方向Ｄ１〜Ｄ５に対してのみ提示するようにする。たとえば、二次元画像Ｐ１は、対応する観察方向Ｄ１に対してのみ提示されるようにし、他の観察方向Ｄ２〜Ｄ５には提示されないようにする。そうすれば、図示の視点Ｖ１から観察した場合、投影面Ｓ上には二次元画像Ｐ１が表示されているように見え、図示の視点Ｖ２から観察した場合、投影面Ｓ上には二次元画像Ｐ２が表示されているように見え、... といった具合に、個々の視点から観察した場合に得られる二次元画像がそれぞれ異なることになり、立体視の効果が得られる。

なお、ここでは、説明の便宜上、５通りの観察方向Ｄ１〜Ｄ５を定義して、５枚の二次元画像Ｐ１〜Ｐ５を作成した例を示したが、実用上は、よりきめの細かな観察方向のバリエーションを定義し（たとえば、７０通りの観察方向Ｄ１〜Ｄ７０）、個々の観察方向に対応する平行投影像（たとえば、７０通りの二次元画像Ｐ１〜Ｐ７０）を作成することにより、視点を動かした場合にも違和感のない立体画像を提示することが可能になる。

要するに、被写体αをそれぞれ異なる観察方向Ｄ１〜Ｄｎに平行投影して、同一の投影面Ｓ上に二次元画像Ｐ１〜Ｐｎを形成し、これらｎ枚の二次元画像によって多視点画像情報Ｅを構成するようにすれば、この多視点画像情報Ｅを用いた立体画像の提示が可能になる。

具体的には、何らかの手段を用いて、投影面Ｓ上に形成された第ｉ番目の二次元画像Ｐｉが、第ｉ番目の観察方向Ｄｉに対してのみ提示されるようにすればよい。もっとも、現実的には、第ｉ番目の二次元画像Ｐｉを、厳密に第ｉ番目の観察方向Ｄｉだけに提示することは困難であり、また、その必要もない。したがって、実用上は、第ｉ番目の二次元画像Ｐｉは、第ｉ番目の観察方向Ｄｉだけでなく、その近傍方向にも提示されてかまわない。要するに、第ｉ番目の二次元画像Ｐｉが、主として第ｉ番目の観察方向Ｄｉに提示されるような手法を採れば、実用上、支障のない立体画像の提示が可能である。

続いて、第ｉ番目の二次元画像Ｐｉが、主として第ｉ番目の観察方向Ｄｉに提示されるような手法の一例として、レンチキュラーレンズを用いた具体例を説明しよう。ここでは、図１の下段に示すような５枚の二次元画像Ｐ１〜Ｐ５によって構成される多視点画像情報Ｅに基づいて立体画像記録媒体を作成する具体的なプロセスを、図５を参照しながら説明する。

図５の上段の図は、図１の下段に示す二次元画像Ｐ１〜Ｐ５をそれぞれ横方向に６等分して、６つの短冊型の部分画像を形成した例を示す平面図である。たとえば、二次元画像Ｐ１は、６つの部分画像Ｐ１ａ〜Ｐ１ｆに分割されており、二次元画像Ｐ２は、６つの部分画像Ｐ２ａ〜Ｐ２ｆに分割されており、以下同様である。なお、この図５では、説明の便宜上、二次元画像Ｐ１〜Ｐ５の構成領域に、それぞれ異なるハッチングを施して相互に区別できるようにしてある。

こうして、５枚の二次元画像Ｐ１〜Ｐ５をそれぞれ６等分することにより、合計３０組の短冊型の部分画像が用意できたら、これら３０組の部分画像を、図５の中段の図に示すように並び替えた状態で記録媒体Ｍ上に印刷する。ここで、５組の部分画像が隣接配置された領域を１区画として、図示のように、６つの区画Ｋａ〜Ｋｆを定義すると、最も左に位置する第１の区画Ｋａには、各二次元画像Ｐ１〜Ｐ５の最も左に位置する部分画像Ｐ１ａ，Ｐ２ａ，Ｐ３ａ，Ｐ４ａ，Ｐ５ａがこの順に配置されていることになる。同様に、第２の区画Ｋｂには、各二次元画像Ｐ１〜Ｐ５の左から２番目に位置する部分画像Ｐ１ｂ，Ｐ２ｂ，Ｐ３ｂ，Ｐ４ｂ，Ｐ５ｂがこの順に配置され、... 、第６の区画Ｋｆには、各二次元画像Ｐ１〜Ｐ５の最も右に位置する部分画像Ｐ１ｆ，Ｐ２ｆ，Ｐ３ｆ，Ｐ４ｆ，Ｐ５ｆがこの順に配置される。

結局、多視点画像情報Ｅが複数ｎ枚の二次元画像Ｐ１〜Ｐｎによって構成されており、個々の二次元画像をそれぞれ複数ｍ個の部分画像に分割したとすれば、記録媒体Ｍ上の記録面も複数ｍ個の区画Ｋ１〜Ｋｍに分割し、第ｉ番目の区画Ｋｉ内にｎ枚の二次元画像Ｐ１〜Ｐｎの第ｉ番目の部分画像をそれぞれ記録するようにすればよい（図５に示す例は、ｎ＝５、ｍ＝６に設定した例ということになる）。

続いて、このような印刷を施した記録媒体Ｍ上に、レンチキュラーレンズＬを配置すれば、被写体αが記録された立体画像記録媒体が得られる。図５の下段の図は、こうして作成された立体画像記録媒体の上面図である。レンチキュラーレンズＬは、個々の区画Ｋ１〜Ｋｍごとに配置された断面が蒲鉾状のレンズの集合体であり、１つの区画上に配置されているレンズは、当該区画に印刷されている第ｉ番目の二次元画像Ｐｉの部分画像が第ｉ番目の観察方向Ｄｉに提示されるように光を屈折させる機能を果たす。

たとえば、図５の下段に示す例の場合、左端の区画Ｋａには、５組の部分画像Ｐ１ａ，Ｐ２ａ，Ｐ３ａ，Ｐ４ａ，Ｐ５ａが印刷されているが、その上に配置されたレンチキュラーレンズＬの機能により、部分画像Ｐ１ａからの光は観察方向Ｄ１に屈折し、部分画像Ｐ２ａからの光は観察方向Ｄ２に屈折し、... 、部分画像Ｐ５ａからの光は観察方向Ｄ５に屈折することになる。このような屈折現象は、図示のすべての区画Ｋａ〜Ｋｆにおいて生じ、結局、第ｉ番目の二次元画像Ｐｉは、第ｉ番目の観察方向Ｄｉに提示されることになる。

なお、図５では、説明の便宜上、個々の二次元画像Ｐ１〜Ｐ５から取り出した短冊型の部分画像Ｐ１ａ〜Ｐ５ｆを、そのままの縮尺で記録媒体Ｍ上に印刷した例を示したが、実用上は、印刷時に任意の倍率で拡大縮小することができる。特に、横方向に関しては、そのままの縮尺で記録媒体Ｍ上に印刷すると、観察される被写体αの立体画像は横方向に５倍に引き伸ばされた画像になってしまう。したがって、実用上は、記録媒体Ｍ上に印刷する際には、短冊型の個々の部分画像Ｐ１ａ〜Ｐ５ｆを横方向に１／５に縮小する処理を行うのが好ましい。

このようにして作成された立体画像記録媒体では、図の横方向に視点を移動させることによって視差が生じる立体画像が提示されるが、図の縦方向に視点を移動させた場合には、視差が生じることはない。これは、図１に示すように、５通りの観察方向Ｄ１〜Ｄ５として、横に向きを変えた観察方向を設定し、図５の上段に示すように、各二次元画像Ｐ１〜Ｐ５を横方向に６分割して縦長の短冊型部分画像を形成し、図５の中段に示すように、各部分画像Ｐ１ａ〜Ｐ５ｆを横方向に並べて配置したためである。

もちろん、必要があれば、縦横いずれの方向に視点を移動させても視差が生じる立体画像を提示可能な立体画像記録媒体を作成することも可能である。そのためには、観察方向を横だけでなく、縦にも変えるバリエーションを設定すればよい。すなわち、図１に示す例の場合、観察方向Ｄ１〜Ｄ５をそれぞれ所定方向を示す方向ベクトルと考えると、すべての方向ベクトルが基準点Ｑを含む同一平面上に配置されていることになるが、三次元空間上の任意の方向を向いた方向ベクトルを観察方向として設定するようにすれば、縦横いずれの方向に視点を移動させても視差が生じる立体画像を提示可能な多視点画像情報Ｅを作成することができる。

一般に、ＸＹＺ三次元座標空間上で、原点Ｏを通り任意の方向を指す方向ベクトルは、図６に示すように、方位角φおよび仰角θという２つの角度パラメータφ，θを用いて、ベクトルＤ（φ，θ）という形で表すことができる（電子出願の制約上、明細書等ではベクトルを示す矢印記号は省略する）。ここで方位角φは、方向ベクトルＤのＸＹ平面上への正射影投影像Ｄ′とＹ軸とのなす角度（もちろん、Ｘ軸とのなす角として定義してもかまわない）として与えられ、仰角θは、方向ベクトルＤとＸＹ平面とのなす角度として与えられる。

図１に示す例は、原点Ｏの位置に基準点Ｑを定義し、ＸＹ平面上に含まれる方向ベクトルのみを用いて観察方向Ｄ１〜Ｄ５を定義した例ということができ、観察方向を示す方向ベクトルは、方位角φのみを用いてベクトルＤ（φ）で表される。これに仰角θを加えて定義した方向ベクトルＤ（φ，θ）は、三次元座標空間上の任意の方向を指すことできる。このような方向ベクトルＤ（φ，θ）を用いて観察方向のバリエーションを定義すれば、縦横いずれの方向に視点を移動させても視差が生じる立体画像を提示することが可能になる。

ここでは、横方向のバリエーションとして、図１に示す例と同様に、方位角φを５通りに変化させ、縦方向のバリエーションとして、仰角θを３通りに変化させた例を示しておく。この例では、結局、１５通りの観察方向Ｄ１１〜Ｄ１５，Ｄ２１〜Ｄ２５，Ｄ３１〜Ｄ３５が定義されることになる。すなわち、観察方向Ｄ１１〜Ｄ１５は、仰角θを第１の値θ１に固定した状態で、方位角φをφ１〜φ５に変化させることにより得られ、観察方向Ｄ２１〜Ｄ２５は、仰角θを第２の値θ２に固定した状態で、方位角φをφ１〜φ５に変化させることにより得られ、観察方向Ｄ３１〜Ｄ３５は、仰角θを第３の値θ３に固定した状態で、方位角φをφ１〜φ５に変化させることにより得られる。

図７は、このような１５通りの観察方向を設定することにより得られた１５通りの二次元画像Ｐ１１〜Ｐ３５によって構成される多視点画像情報Ｅを示す平面図である。各二次元画像Ｐ１１〜Ｐ３５は、図１に示す例と同様に、被写体αの手前に有限の面積をもった投影面Ｓを設置し、被写体αをそれぞれ観察方向Ｄ１１〜Ｄ３５によって示される方向に平行投影することによって投影面Ｓ上に形成された平行投影像である。このような多視点画像情報Ｅには、横方向（方位角φを変化させた方向）の視差情報だけでなく、縦方向（仰角θを変化させた方向）の視差情報も含まれているため、縦横いずれの方向に視点を移動させても視差が生じる立体画像を提示することが可能になる。

図８は、図７に示す多視点画像情報Ｅに基づいて、立体画像記録媒体を作成するプロセスを示す平面図である。図８の上半分の図は、図７に示す二次元画像Ｐ１１〜Ｐ３５をそれぞれ横方向に６等分、縦方向に４等分して、２４個の矩形状部分画像を形成した例を示す平面図である。こうして、１５枚の二次元画像Ｐ１１〜Ｐ３５をそれぞれ２４等分することにより、合計３６０組の矩形状部分画像が用意できたら、これら３６０組の部分画像を、図８の下半分の図に示すように並び替えた状態で記録媒体Ｍ上に印刷する。

ここで、記録媒体Ｍを構成する全領域は、横方向に６等分、縦方向に４等分され、合計２４個の区画Ｋａ〜Ｋｘが定義される。また、個々の区画は、更に、横方向に５等分、縦方向に３等分され、合計１５個の微小領域に分けられる。そして、１つ１つの微小領域に、二次元画像Ｐ１１〜Ｐ３５を構成する個々の矩形状部分画像が割り付けられる。たとえば、記録媒体Ｍの左上の区画Ｋａを構成する１行目の微小領域には、部分画像Ｐ１１ａ，Ｐ１２ａ，Ｐ１３ａ，Ｐ１４ａ，Ｐ１５ａが割り付けられ、２行目の微小領域には、部分画像Ｐ２１ａ，Ｐ２２ａ，Ｐ２３ａ，Ｐ２４ａ，Ｐ２５ａが割り付けられ、３行目の微小領域には、部分画像Ｐ３１ａ，Ｐ３２ａ，Ｐ３３ａ，Ｐ３４ａ，Ｐ３５ａが割り付けられる。

別言すれば、記録媒体Ｍ上の第１行第１列目の区画Ｋａには、各二次元画像Ｐ１１〜Ｐ３５の第１行第１列目の部分画像Ｐ１１ａ〜Ｐ３５ａが割り付けられることになる。同様に、記録媒体Ｍ上の第１行第２列目の区画Ｋｂには、各二次元画像Ｐ１１〜Ｐ３５の第１行第２列目の部分画像Ｐ１１ｂ〜Ｐ３５ｂが割り付けられることになる。要するに、記録媒体Ｍ上の第ｊ行第ｋ列目の区画には、各二次元画像Ｐ１１〜Ｐ３５の第ｊ行第ｋ列目の部分画像が割り付けられる。

続いて、このような印刷を施した記録媒体Ｍ上に、マイクロレンズアレイを配置すれば、被写体αが記録された立体画像記録媒体が得られる。このマイクロレンズアレイは、個々の区画Ｋａ〜Ｋｘごとに独立したマイクロレンズの集合体であり、１つの区画上に配置されているマイクロレンズは、当該区画に印刷されている第ｉ番目の二次元画像Ｐｉの部分画像が第ｉ番目の観察方向Ｄｉに提示されるように光を屈折させる機能を果たす。たとえば、図示の区画Ｋａには、１５組の部分画像Ｐ１１ａ〜Ｐ３５ａが印刷されているが、その上に配置されたマイクロレンズの機能により、部分画像Ｐ１１ａからの光は観察方向Ｄ１１に屈折し、部分画像Ｐ１２ａからの光は観察方向Ｄ１２に屈折し、... 、部分画像Ｐ３５ａからの光は観察方向Ｄ３５に屈折することになる。このような屈折現象は、図示のすべての区画Ｋａ〜Ｋｘにおいて生じ、結局、第ｉ番目の二次元画像Ｐｉは、第ｉ番目の観察方向Ｄｉに提示されることになる。

このようにして作成された立体画像記録媒体では、図の横方向に視点を移動させても、図の縦方向に視点を移動させても、視差が生じる立体画像が提示されることになる。

＜＜＜ §２．一般的な多視点画像情報の作成方法＞＞＞
§１で述べたとおり、多視点画像情報Ｅを構成する個々の二次元画像（たとえば、図１の下段に示す二次元画像Ｐ１〜Ｐ５）は、被写体αをカメラなどで撮影した通常の撮影画像ではなく、図２に例示するように、被写体αを特定の観察方向に平行投影することによって得られる平行投影像である。

このような平行投影像の集合体からなる多視点画像情報Ｅを作成するひとつの方法は、ＣＧの手法を用いる方法である。たとえば、図２に示すような被写体αを、コンピュータにより仮想のＣＧ画像として用意しておけば、仮想空間上に定義した投影面Ｓ上に、この被写体αを任意の方向に平行投影した投影像を演算によって求めることができる。したがって、図１の下段に示すような二次元画像Ｐ１〜Ｐ５を、コンピュータによる演算で生成することができる。

しかしながら、高品質の被写体画像をＣＧで作成するには、それなりの費用と制作時間が必要になるため、商業的な利用を考えると、その用途は限定的にならざるを得ない。そこで、実用上は、被写体αに対して様々な方向から実写撮影を行い、得られた多数の撮影画像データに基づく幾何学的な演算処理を行うことにより、実写画像と同等の品質をもった平行投影像の集合体からなる多視点画像情報Ｅを作成する方法が利用されている。

図９は、被写体αに対して、このような実写撮影を行う設備の一例を示す上面図である。この例では、被写体αの近傍に、撮影始点Ａから撮影終点Ｂに至るまで直線状の撮影経路Ｔが設けられている。実際には、この撮影経路Ｔに沿ってレールが敷設されており、このレール上をカメラが移動できるようになっている。撮影経路Ｔは、必ずしも直線状の経路にする必要はなく、任意曲線に沿った経路にしてもかまわないが、後述する変換演算処理をできるだけ単純化する上では、図示のような直線経路にするか、あるいは円弧状の経路にするのが好ましい。

このような撮影経路Ｔに沿って、カメラを撮影始点Ａから撮影終点Ｂへと移動させながら被写体αの撮影を行ってゆけば、撮影経路Ｔ上の任意の撮影ポイントから撮影した撮影画像を得ることができる。図には、第ｉ番目の撮影ポイントＴ（ｉ）から被写体αを撮影している状態が示されている。もちろん、このような撮影は、通常のレンズなどを用いたカメラで行われるため、得られた撮影画像は、遠近法を用いて表現した画像になる。

撮影経路Ｔ上の１０００箇所に撮影ポイントを設定すれば、撮影始点Ａを第１番目の撮影ポイントＴ（１）、撮影終点Ｂを第１０００番目の撮影ポイントＴ（１０００）として、合計１０００枚の撮影画像が得られることになる。ここでは、こうして得られた１０００枚の撮影画像を実写撮影画像Ｕ１〜Ｕ１０００と呼ぶことにする。撮影時にカメラの移動制御を正確に行うようにすれば、個々の実写撮影画像が得られた幾何学的な撮影条件を正確に把握することができるので、これら撮影条件を勘案して、実写撮影画像Ｕ１〜Ｕ１０００に対する幾何学的な演算処理を行うことにより、多視点画像情報Ｅを構成する複数枚の平行投影像を得ることができる。

図１０は、図９に示す実写撮影によって得られた実写撮影画像Ｕ１〜Ｕ１０００に基づく所定の変換演算処理により、多視点画像情報Ｅを構成する二次元画像Ｐ１〜Ｐ７０を作成するプロセスを示すブロック図である。この例の場合、１０００枚の実写撮影画像Ｕ１〜Ｕ１０００に基づいて、７０枚の二次元画像Ｐ１〜Ｐ７０が生成されている。この７０枚の二次元画像Ｐ１〜Ｐ７０は、被写体αを、それぞれ所定の観察方向Ｄ１〜Ｄ７０に向かって平行投影したときに、所定の投影面Ｓ上に得られる投影像になっている。

なお、実写撮影画像Ｕ１〜Ｕ１０００を二次元画像Ｐ１〜Ｐ７０に変換する処理は、たとえば、吉川博志，高木康博「指向性画像の高密度表示に用いる三次元カメラの開発」（３次元画像コンファレンス実行委員会発行：三次元画像コンファレンス予稿集巻2003 頁229-232）などの論文に発表されている公知技術であり、また、本発明の重要な特徴部分に直接関係した処理ではないため、ここでは詳しい説明は省略する。

結局、図９に示すような撮影設備を用いて任意の被写体αに対する実写撮影を行い、得られた多数の撮影画像に対して図１０に示すような変換演算処理を施せば、当該被写体αについての多視点画像情報Ｅ（平行投影像が記録された二次元画像群）を得ることができる。しかしながら、被写体αが大きくなればなるほど、必要な撮影設備は大掛かりなものにならざるを得ない。たとえば、被写体αとして人物の全身像を用いる場合、実写撮影に必要な設備を設置するために、ある程度の広さをもったスタジオが必要になる。したがって、被写体が複数のメンバーからなる人物の集合体のような場合、体育館ほどの大型施設を用意せざるを得ない。また、被写体の背景画像として、屋外の景色などを利用したい場合は、撮影設備を屋外に設ける必要があり、現実的には非常に困難である。

本発明は、このような課題を解決するための具体的な方法を提案するものであり、その目的は、それぞれ別個の被写体についての情報を含んだ複数組の多視点画像情報Ｅを相互に合成し、違和感のない合成立体画像を提示できるようにすることにある。

＜＜＜ §３．本発明に係る多視点画像情報の合成原理＞＞＞
図１には、コーヒーカップからなる被写体αを立体表示するための多視点画像情報を示した。そして、§２で述べたとおり、このような多視点画像情報は、図９に示すような撮影設備を用いて当該被写体αを撮影することによって作成することができる。もちろん、コーヒーカップからなる被写体αの代わりに、たとえば、リンゴからなる被写体βを用いて同様の撮影を行えば、当該被写体βを立体表示するための多視点画像情報が得られることになる。本発明の基本概念は、このような別個の被写体についての情報を含んだ複数組の多視点画像情報を相互に合成することにより、複数の被写体を立体表示するための多視点画像情報を得ることにある。

たとえば、コーヒーカップとリンゴとを併置した状態の立体画像を提示するための多視点画像情報を、実写撮影に基づいて作成することにすると、それだけ広い撮影スペースをもった撮影設備が必要になる。ところが、本発明を利用すれば、コーヒーカップのみについての多視点画像情報と、リンゴのみについての多視点画像情報とをそれぞれ別個に作成しておき、これらを合成すればよいので、実写撮影を行う場合でも、比較的小規模の撮影設備を準備すれば足りる。

したがって、たとえば、１クラス４０名からなる学級の生徒全員の集合体についての立体画像を提示する場合でも、比較的小規模の撮影設備を用いて１人１人の生徒を被写体とする実写撮影を行い、合計４０組の多視点画像情報を作成しておき、本発明を利用して、これら４０組の多視点画像情報を合成すれば、生徒全員の集合体についての立体画像を提示可能な合成多視点画像情報を得ることができるようになる。

以下、本発明に係る多視点画像情報の合成方法の一実施形態を、コーヒーカップからなる被写体αについての多視点画像情報Ｅ（α）と、リンゴからなる被写体βについての多視点画像情報Ｅ（β）とを合成する具体例について、図１１を参照しながら説明する。

図１１の上段に示す第１の多視点画像情報Ｅ（α）は、図１の下段に示す多視点画像情報Ｅと同じものであり、コーヒーカップからなる被写体αを５通りの観察方向Ｄ１〜Ｄ５に平行投影して得られる二次元画像Ｐα１〜Ｐα５によって構成される。ここで、二次元画像Ｐα１〜Ｐα５は、図１に示す二次元画像Ｐ１〜Ｐ５と同じ画像であるが、被写体αについての画像であることを示すため、Ｐα１〜Ｐα５なる符号を付している。なお、ここでは２組の画像についての合成処理を説明する便宜上、コーヒーカップからなる被写体αの投影像の周囲にある背景部分を、ハッチング領域として示している。

一方、図１１の中段に示す第２の多視点画像情報Ｅ（β）は、リンゴからなる被写体βを５通りの観察方向Ｄ１〜Ｄ５に平行投影して得られる二次元画像Ｐβ１〜Ｐβ５によって構成される。ここでも、リンゴからなる被写体βの投影像の周囲にある背景部分にハッチングを施している。

ここで、第１の多視点画像情報Ｅ（α）を得るための被写体αと投影面Ｓαとの位置関係と、第２の多視点画像情報Ｅ（β）を得るための被写体βと投影面Ｓβとの位置関係は、必ずしも同一である必要はない。もちろん、投影面Ｓαと被写体αとの距離や、投影面Ｓβと被写体βとの距離も、同一である必要はない。また、投影面ＳαとＳβのサイズも同一である必要はない。ただ、投影面ＳαやＳβに対する観察方向Ｄ１〜Ｄ５は、両者で共通するようにしておく。すなわち、図１において、投影面Ｓと観察方向Ｄ１〜Ｄ５の位置関係さえ固定しておけば、被写体αや被写体βを配置する位置は任意でかまわないことになる。

図１１の下段には、第１の多視点画像情報Ｅ（α）と第２の多視点画像情報Ｅ（β）とを合成することにより得られる第３の多視点画像情報Ｅ（γ）が示されている。この第３の多視点画像情報Ｅ（γ）は、コーヒーカップからなる被写体αとリンゴからなる被写体βとを並べた状態を、上記５通りの観察方向Ｄ１〜Ｄ５から観察した態様を示す二次元画像Ｐγ１〜Ｐγ５によって構成されている。この第３の多視点画像情報Ｅ（γ）は、合成処理によって得られた情報であるが、被写体α，βを併置した状態を違和感のない立体画像として提示ために利用することができる。

具体的には、たとえば、図５で説明した方法と同様の方法を用いて、二次元画像Ｐγ１〜Ｐγ５を記録媒体Ｍ上に印刷し、その上にレンチキュラーレンズＬを配置することにより、被写体α，βを併置した状態の立体画像を提示することができる立体画像記録媒体を作成することができる。すなわち、レンチキュラーレンズＬの機能により、観察方向Ｄ１には二次元画像Ｐγ１が提示され、観察方向Ｄ２には二次元画像Ｐγ２が提示され、... 、観察方向Ｄ５には二次元画像Ｐγ５が提示されることになり、コーヒーカップとリンゴとが併置された状態（図示の例では、コーヒーカップの奥にリンゴが配置されている状態）が立体画像として提示されることになる。

さて、第１の多視点画像情報Ｅ（α）と第２の多視点画像情報Ｅ（β）とを合成することにより第３の多視点画像情報Ｅ（γ）を生成するには、共通の観察方向に関する二次元画像同士を合成すればよいことは、直感的に理解できよう。たとえば、観察方向Ｄ１については、二次元画像Ｐα１とＰβ１とを合成して、新たな二次元画像Ｐγ１を生成し、観察方向Ｄ２については、二次元画像Ｐα２とＰβ２とを合成して、新たな二次元画像Ｐγ２を生成し、... 、観察方向Ｄ５については、二次元画像Ｐα５とＰβ５とを合成して、新たな二次元画像Ｐγ５を生成すればよい。図１１における白抜きの「＋」印と白抜きの矢印は、このような合成手順を示すものである。

一般に、二次元画像同士の合成は、２枚の画像を同じ位置に重ね合わせることによって行われ、画像が重複する領域については、両者の奥行きを考慮して、手前に配置された画像を優先する方法によって行われる。図１２は、図１１に示す二次元画像Ｐα３，Ｐβ３を合成して、合成画像Ｐγ３を得る一般的な方法を示す平面図である。ここでは、画像Ｐα３が画像Ｐβ３の手前に配置されているものとして合成を行っている。なお、上述したように、図１１においてハッチングを施した領域は、各二次元画像の背景領域であり、被写体の投影像とは無関係な領域である。したがって、二次元画像を合成する際にも、この背景領域は合成対象としては考慮されない。

背景領域を区別して画像合成を行う処理は、一般にクロマキー合成処理として知られている。被写体を実写撮影する場合、ブルーやグリーンなど、特定の背景色をもったスクリーンを背景に用いた撮影を行うことにより、撮影画像中の当該背景色の領域（背景属性をもった画素からなる領域）を背景領域として認識することができる。図１１にハッチングを施した領域は、このような方法で背景領域として認識された領域を示している。図１２に例示する例のように、二次元画像Ｐα３，Ｐβ３を合成する場合、画像Ｐα３の背景領域以外の部分（被写体αの部分）と画像Ｐβ３の背景領域以外の部分（被写体βの部分）とを合成し、この合成被写体以外の部分を背景領域として合成画像Ｐγ３を生成すればよい。

図１２に示す例は、合成対象となる２枚の二次元画像Ｐα３，Ｐβ３が、同じサイズの画像（同じ画素配列をもった画像）である場合の例であり、２枚の画素はぴったりと重なり合い、同じ位置の画素が１対１に対応する。ここで、画素Ｇ１は背景領域の画素、画素Ｇ２は被写体αの一部を構成する画素、画素Ｇ３は被写体α，βの重複領域（図ではドットによるハッチングを施している）内の画素、画素Ｇ４は被写体βの一部を構成する画素である。この場合、合成画像Ｐγ３において、画素Ｇ２の画素値としては被写体αの画素値を採用し、画素Ｇ４の画素値としては被写体βの画素値を採用すればよい。一方、ドットによるハッチングを施した領域内の画素Ｇ３の画素値としては、手前に位置する被写体（この例の場合は、被写体α）の画素値を採用し、画素Ｇ１の画素値としては、背景属性を示す画素値を採用すればよい。

もちろん、この図１２に示すような方法で、２枚の二次元画像を合成する方法は、ごく普通に行われている方法であり、様々な分野で広く利用されている。本願発明者も、当初は、この一般的な合成方法を用いて、共通の観察方向に関する二次元画像同士を合成して第３の多視点画像情報Ｅ（γ）を生成する処理を行ってみた。しかしながら、そのような合成方法で得られた第３の多視点画像情報Ｅ（γ）に基づいて、図５に示すような方法でレンチキュラーレンズを利用した立体画像記録媒体を作成したところ、観察される立体画像には不自然さが感じられた。具体的には、被写体α，βの奥行関係、特に、輪郭部分の奥行関係について違和感が生じる結果となった。

本願発明者は、このように違和感が生じる原因は、被写体の平行投影像である二次元画像Ｐα３，Ｐβ３を、通常の平面画像と同様の従来方法で合成してしまったためであると考えている。そこで本願発明者が、次のような新規な方法で合成を行ってみたところ、違和感のない良好な合成立体画像を提示することが可能な第３の多視点画像情報Ｅ（γ）を生成することができた。本発明の根幹となる技術思想は、この新規な合成方法にある。

以下、図１３を参照しながら、本発明に係る二次元画像の合成方法を説明する。図１３(a) は、二次元画像Ｐα１と二次元画像Ｐβ１とを合成面Ｗ上で合成して、合成二次元画像Ｐγ１を作成する原理を示す上面図である。ここで、画像Ｐα１，Ｐβ１，Ｐγ１は、図１１の左側に列に示す３枚の画像に対応するものであり、図１３の上面図では、いずれも図の紙面に対して垂直な平面画像になる。すなわち、二次元画像Ｐα１は、被写体αを観察方向Ｄ１へ平行投影することにより得られた投影画像であり、二次元画像Ｐβ１は、被写体βを観察方向Ｄ１へ平行投影することにより得られた投影画像である。なお、合成二次元画像Ｐγ１は、合成面Ｗ上に形成される画像であるが、便宜上、図では太線で示してある。画像Ｐα１，Ｐβ１は、いずれも合成面Ｗに対して平行となる位置に配置されているため、結局、画像Ｐα１，Ｐβ１，Ｐγ１は、いずれも互いに平行な平面上に形成された画像ということになる。

ここでは、図示のとおり、奥行値Ｚを定義し、画像Ｐα１，Ｐβ１，Ｐγ１に対して相互の奥行関係を定めることにする。具体的には、視点が、奥行値Ｚのマイナス側最大値に位置するものとし、奥行値Ｚが小さいほど手前に配置されていることを示し、奥行値Ｚが大きいほど奥に配置されていることを示すことにする。図示の例の場合、合成面Ｗの位置（合成二次元画像Ｐγ１の位置）を奥行値Ｚ＝０とし、画像Ｐα１の位置を奥行値Ｚ＝Ｚαとし、画像Ｐβ１の位置を奥行値Ｚ＝Ｚβとしている。ここで、奥行値Ｚαは負の値をとり、奥行値Ｚβは正の値をとる。したがって、画像Ｐα１が手前、画像Ｐβ１が奥に配置されていることになる。

奥行値Ｚα，Ｚβは、必ずしも一方を正、他方を負に設定する必要はなく、両者ともに正の値に設定してもよいし、両者ともに負の値に設定してもよい。あるいは、一方を零に設定してもかまわない。要するに、画像Ｐα１，Ｐβ１について、互いに異なる奥行値Ｚが設定されているようにすればよい。もちろん、奥行値Ｚα，Ｚβの絶対値も任意の値に設定することができる。これら奥行値Ｚα，Ｚβは、二次元画像Ｐα１，Ｐβ１を構成する平行投影像を作成したときの被写体α，βと投影面Ｓα，Ｓβとの距離とは全く無関係に設定することができる。別言すれば、奥行値Ｚα，Ｚβは、被写体α，βの配置を直接示すものではなく、あくまでも二次元画像Ｐα１，Ｐβ１の配置を示すパラメータとして機能する。

このように、二次元画像Ｐα１，Ｐβ１の図における上下方向の位置（合成面Ｗに対する距離）は、任意の値として設定した奥行値Ｚα，Ｚβによって決まることになる。同様に、二次元画像Ｐα１，Ｐβ１の図における左右方向の位置および図の紙面に対して垂直方向の位置（奥行軸Ｚに直交する方向に関する位置）も、任意に設定することができる。

なお、図１１では、二次元画像群Ｐα１〜Ｐα５と二次元画像群Ｐβ１〜Ｐβ５とについて、全く同じサイズの画像（同じ画素配列をもった画像）を用いた例を示したが、前者の画像群と後者の画像群とは異なるサイズの画像群であってもかまわない。すなわち、５枚の二次元画像Ｐα１〜Ｐα５は、同一の被写体αを同一の投影面Ｓαに平行投影した平行投影像であり、そのサイズは投影面Ｓαのサイズによって定まることになる。同様に、５枚の二次元画像Ｐβ１〜Ｐβ５は、同一の被写体βを同一の投影面Ｓβに平行投影した平行投影像であり、そのサイズは投影面Ｓβのサイズによって定まることになる。したがって、５枚の二次元画像Ｐα１〜Ｐα５は、相互に同一サイズの画像になり、５枚の二次元画像Ｐβ１〜Ｐβ５も、相互に同一サイズの画像になる。

しかしながら、投影面Ｓαのサイズと投影面Ｓβのサイズとが異なるような設定を行えば、二次元画像群Ｐα１〜Ｐα５のサイズと二次元画像群Ｐβ１〜Ｐβ５のサイズとは異なることになる。ここで述べる合成方法による合成対象は、このように互いに異なるサイズの二次元画像であってもかまわない。そこで、図１３(a) では、二次元画像Ｐα１と二次元画像Ｐβ１とが異なるサイズの画像である場合を例示してある。

また、必要があれば、合成前に、二次元画像Ｐα１，Ｐβ１を拡大したり、縮小したりする処理を行ってもよい。画像を拡大するには、画素を補間する処理が必要になり、画像を縮小するには、画素を間引く処理が必要になるため、当然、画像サイズが変更される。したがって、二次元画像Ｐα１，Ｐβ１に対して、それぞれ異なる変倍処理を施すと、もともとは同じサイズであったとしても、変倍処理後は異なるサイズの画像になるが、ここで述べる合成方法を実施する上では何ら支障は生じない。もちろん、必要があれば、二次元画像Ｐα１，Ｐβ１に対してトリミング処理を行ってもよい。

要するに、ここで述べる合成方法を実施するための必須要件は、二次元画像Ｐα１，Ｐβ１が、それぞれの被写体を同じ観察方向Ｄ１に平行投影して得られた平行投影像である点と、二次元画像Ｐα１，Ｐβ１を合成面Ｗに対して平行となるような所定位置に配置する点だけである。これらの必須要件が満たされれば、両画像の位置は任意に設定することができ、両画像のサイズは異なっていてもかまわない。

さて、図１３(a) に示すような配置を行えば、合成面Ｗ上に合成二次元画像Ｐγ１を生成する処理は非常に単純である。すなわち、合成面Ｗ上に、二次元画像Ｐα１を観察方向Ｄ１に平行な方向に投影して得られる平行投影像と、二次元画像Ｐβ１を観察方向Ｄ１に平行な方向に投影して得られる平行投影像と、を形成し、これら平行投影像を奥行値Ｚα，Ｚβに基づく位置関係を考慮して合成することにより合成二次元画像Ｐγ１を作成すればよい。図に示す破線の矢印は、各二次元画像の投影方向を示している。

このような投影を行うと、合成面Ｗ上には、画像Ｐα１の平行投影像と画像Ｐβ１の平行投影像とが形成されることになるので、合成面Ｗ上では、これら２つの平行投影像を、奥行値Ｚα，Ｚβに基づく位置関係を考慮して合成すればよい。ここでは、前述したように、奥行値Ｚが小さい画像を手前とする設定を行っているため、画像Ｐα１の方が手前に位置する画像ということになるので、手前に位置する画像Ｐα１を奥に位置する画像Ｐβ１よりも優先する合成が行われる。

具体的には、合成面Ｗ上において、画像Ｐα１の平行投影像と画像Ｐβ１の平行投影像とが重複する領域については、画像Ｐα１の平行投影像の画素値を採用し、画像Ｐα１の平行投影像のみが形成される領域については、画像Ｐα１の平行投影像の画素値を採用し、画像Ｐβ１の平行投影像のみが形成される領域については、画像Ｐβ１の平行投影像の画素値を採用すればよい。このような合成処理は、図１２を参照して説明したとおりである。

図１３(a) に示す例の場合、合成面Ｗ上に形成される画像Ｐβ１の平行投影像が画像Ｐα１の平行投影像の中に包含された形になっている。このような場合は、手前に位置する画像Ｐα１が優先されることになるので、合成面Ｗ上に形成される合成二次元画像Ｐγ１としては、画像Ｐα１の平行投影像の画素値が採用されることになる。したがって、図１３(a) において、黒い太線で示されている合成二次元画像Ｐγ１は、画像Ｐα１の平行投影像によって構成されることになる。

一方、図１３(b) に示す例は、被写体αを観察方向Ｄ３へ平行投影することにより得られた二次元画像Ｐα３と被写体βを観察方向Ｄ３へ平行投影することにより得られた二次元画像Ｐβ３とを合成面Ｗ上で合成して、合成二次元画像Ｐγ３を作成する原理を示す上面図である。この例の場合、合成面Ｗへの投影は、観察方向Ｄ３に平行な方向に行われるため、合成面Ｗ上に形成される画像Ｐα３の平行投影像と画像Ｐβ３の平行投影像とは一部分だけ重複する形になる。

そこで、この重複する領域に関しては、手前に位置する画像Ｐα３を優先して、画像Ｐα３の平行投影像の画素値を採用し、画像Ｐα３の平行投影像のみが形成される領域については、画像Ｐα３の平行投影像の画素値を採用し、画像Ｐβ３の平行投影像のみが形成される領域については、画像Ｐβ３の平行投影像の画素値を採用することになる。図１３(b) では、合成面Ｗ上に得られた合成二次元画像Ｐγ３のうち、画像Ｐα３の平行投影像の画素値を採用した部分については黒い太線で示し、画像Ｐβ３の平行投影像の画素値を採用した部分については白い太線で示してある。

また、図１３(c) に示す例は、被写体αを観察方向Ｄ５へ平行投影することにより得られた二次元画像Ｐα５と被写体βを観察方向Ｄ５へ平行投影することにより得られた二次元画像Ｐβ５とを合成面Ｗ上で合成して、合成二次元画像Ｐγ５を作成する原理を示す上面図である。この例の場合、合成面Ｗへの投影は、観察方向Ｄ５に平行な方向に行われるため、合成面Ｗ上に形成される画像Ｐα５の平行投影像と画像Ｐβ５の平行投影像とは重なりを生じない形になる。

そこで、合成面Ｗ上に得られる合成二次元画像Ｐγ５としては、画像Ｐα５の平行投影像が形成される領域については、画像Ｐα５の平行投影像の画素値を採用し、画像Ｐβ５の平行投影像のみが形成される領域については、画像Ｐβ５の平行投影像の画素値を採用した画像になる。図１３(c) では、合成面Ｗ上に得られた合成二次元画像Ｐγ５のうち、画像Ｐα５の平行投影像の画素値を採用した部分については黒い太線で示し、画像Ｐβ５の平行投影像の画素値を採用した部分については白い太線で示してある。

なお、合成面Ｗ上において、いずれの平行投影像も形成されていない領域（たとえば、図１３(c) において、黒い太線の領域と白い太線の領域とによって挟まれた領域）は、記録すべき画像が存在しない領域であるので、有効な画像が存在しないことを示す画素値や、背景属性を示す画素値を与えるようにすればよい。

また、図１３(a) ，(b) ，(c) に示す例は、合成対象となる二次元画像の全領域を合成面Ｗ上に平行投影した例であるが、クロマキー合成を行う場合は、合成対象となる二次元画像のうち、背景属性を示す画素値をもった画素からなる領域については平行投影像を形成しないようにし、合成面Ｗ上に平行投影像が形成されていない領域が存在する場合には、当該領域内の画素については背景属性を示す画素値を与えることにより合成二次元画像を作成すればよい。

以上、図１３を参照して、観察方向Ｄ１についての二次元画像Ｐα１，Ｐβ１を合成して合成二次元画像Ｐγ１を作成する例（図１３(a) ）、観察方向Ｄ３についての二次元画像Ｐα３，Ｐβ３を合成して合成二次元画像Ｐγ３を作成する例（図１３(b) ）、観察方向Ｄ５についての二次元画像Ｐα５，Ｐβ５を合成して合成二次元画像Ｐγ５を作成する例（図１３(c) ）を説明したが、観察方向Ｄ２についての二次元画像Ｐα２，Ｐβ２を合成して合成二次元画像Ｐγ２を作成する例や、観察方向Ｄ４についての二次元画像Ｐα４，Ｐβ４を合成して合成二次元画像Ｐγ４を作成する例も全く同様である。

要するに、一般論で説明すれば、第１の多視点画像情報Ｅ（α）を構成する第ｉ番目の二次元画像Ｐαｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚαとなるような所定位置に配置し、第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚβとなるような所定位置に配置し、合成面Ｗ上に、二次元画像Ｐαｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、二次元画像Ｐβｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、を形成し、これら平行投影像を奥行値Ｚα，Ｚβに基づく位置関係を考慮して合成することにより第ｉ番目の合成二次元画像Ｐγｉを作成すればよい。

ここで、第ｉ番目の二次元画像Ｐαｉの合成面Ｗに対する位置は、ｉ＝１〜ｎについて共通の同位置になるようにし、第ｉ番目の二次元画像Ｐβｉの合成面Ｗに対する位置も、ｉ＝１〜ｎについて共通の同位置になるようにする。図１３に示す例においても、画像Ｐα１，Ｐα３，Ｐα５の合成面Ｗに対する位置は共通しており、画像Ｐβ１，Ｐβ３，Ｐβ５の合成面Ｗに対する位置は共通している。また、ここでは、説明の便宜上、ｎ＝５に設定して、５通りの観察方向Ｄ１〜Ｄ５について、それぞれ二次元画像の合成を行う例を示したが、実用上は、ｎをより大きな値に設定することにより、よりきめの細かい立体画像を提示できるようにするのが好ましい。たとえば、ｎ＝７０に設定した場合、７０通りの観察方向Ｄ１〜Ｄ７０について、それぞれ図１３に示す方法と同様の方法で二次元画像の合成を行い、合計７０枚の合成二次元画像Ｐγ１〜Ｐγ７０からなる第３の多視点画像情報Ｅ（γ）が作成されることになる。

＜＜＜ §４．本発明に係る多視点画像情報の合成手順＞＞＞
ここでは、§３で説明した原理に基づいて、２組の多視点画像情報を合成する基本手順を、図１４の流れ図を参照しながら説明する。この流れ図に示す基本手順は、被写体をそれぞれ異なる方向に平行投影した複数ｎ枚の二次元画像によって構成される多視点画像情報を合成する方法の手順であり、コンピュータによって実行される手順である。したがって、実際には、このような手順を実行する専用のプログラムをコンピュータに組み込み、当該プログラムを実行することにより、図示する各処理が行われることになる。

まず、ステップＳ１では、コンピュータが、第１の被写体αが記録された第１の多視点画像情報Ｅ（α）と、第２の被写体βが記録された第２の多視点画像情報Ｅ（β）と、を入力する画像情報入力段階が実行される。ここで、第１の多視点画像情報Ｅ（α）は、たとえば、図１１の上段に示すように、第１の被写体αについての複数ｎ枚の二次元画像Ｐα１〜Ｐαｎの集合体によって構成され、第２の多視点画像情報Ｅ（β）は、たとえば、図１１の中段に示すように、第２の被写体βについての複数ｎ枚の二次元画像Ｐβ１〜Ｐβｎの集合体によって構成される。

ここで、第１の多視点画像情報Ｅ（α）を構成する第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐαｉは、第１の被写体αを所定の投影面Ｓα上に第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像をなし、第２の多視点画像情報Ｅ（β）を構成する第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐβｉは、第２の被写体βを所定の投影面Ｓβ上に第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像をなす。

次のステップＳ２では、コンピュータが、第１の多視点画像情報Ｅ（α）と第２の多視点画像情報Ｅ（β）とを合成するための合成条件（図１３に示すような配置を定めるための条件）を設定する合成条件設定段階が実行される。実際には、オペレータがコンピュータに与える設定指示に基づいて、所定の合成条件の設定が行われることになる。この合成条件は、第１の多視点画像情報Ｅ（α）を構成する二次元画像の合成面Ｗに対する位置および第２の多視点画像情報Ｅ（β）を構成する二次元画像の合成面Ｗに対する位置を示す条件であり、少なくとも、第１の多視点画像情報Ｅ（α）を構成する二次元画像についての奥行値Ｚαと、第２の多視点画像情報Ｅ（β）を構成する二次元画像についての奥行値Ｚβと、を含んでいる。

必要に応じて、上記奥行値Ｚα，Ｚβに加えて、二次元画像の奥行軸Ｚに直交する方向に関する位置を定める条件を合成条件として設定するようにしてもよい。たとえば、図１３に示す例において、画像Ｐα１〜Ｐα５および画像Ｐβ１〜Ｐβ５についての図の左右方向に関する位置を定める条件を設定するようにすれば、被写体α，βを合成する際に、奥行きに直交する方向に関する位置関係を任意に調整することができる。もちろん、そのような位置関係の調整が不要な場合は、画像の左上隅点の位置を合わせるとか、画像の中心点の位置を合わせる、といった配置を常に行うような取り決めをしておくことにより、奥行軸Ｚに直交する方向に関する位置を定める条件は不要になる。もちろん、合成時に各二次元画像に対して拡大縮小などの変倍処理を行う場合には、当該変倍処理に関する倍率を合成条件として設定すればよい。

続くステップＳ３〜Ｓ６では、コンピュータが、第１の多視点画像情報Ｅ（α）を構成する第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐαｉと、第２の多視点画像情報Ｅ（β）を構成する第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐβｉと、を合成して、合成面Ｗ上に第ｉ番目の合成二次元画像Ｐγｉを作成する処理を、ｉ＝１〜ｎについて繰り返し実行する画像合成段階が実行される。すなわち、まず、ステップＳ３で、パラメータｉの値が初期値１に設定され、ステップＳ４において、第ｉ番目の二次元画像Ｐαｉと第ｉ番目の二次元画像Ｐβｉとを合成して、合成面Ｗ上に第ｉ番目の合成二次元画像Ｐγｉを作成する処理が実行される。そして、ステップＳ５において、パラメータｉがｎに達したか否かが判断され、ｎに達するまでは、ステップＳ６においてパラメータｉの値を＋１とする更新が行われ、ステップＳ４の処理が繰り返し実行されることになる。

ステップＳ４で行われる画像合成段階の具体的な内容は、図１３を参照して§３で説明したとおりである。すなわち、第１の多視点画像情報Ｅ（α）を構成する第ｉ番目の二次元画像Ｐαｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚαとなるような所定位置に配置し、第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚβとなるような所定位置に配置し、合成面Ｗ上に、二次元画像Ｐαｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、二次元画像Ｐβｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、を形成し、これら平行投影像を奥行値Ｚα，Ｚβに基づく位置関係を考慮して合成することにより第ｉ番目の合成二次元画像Ｐγｉを作成する処理が行われる。

§３で説明した実施例の場合、ステップＳ２の合成条件設定段階では、奥行値ＺαおよびＺβの値として、一方については正の値もしくは負の値または零を設定し、他方については正の値もしくは負の値を設定するようにしており、ステップＳ４の画像合成段階では、奥行値の小さい画像についての平行投影像が手前に観察されるような合成を行うようにしている。より具体的には、ステップＳ４の画像合成段階では、合成面Ｗ上において、形成される平行投影像が重複しない領域については、形成される平行投影像をそのまま記録し、形成される平行投影像が重複する領域については、手前に観察される平行投影像のみを記録することにより合成を行えばよい。

また、クロマキー合成を行う場合は、第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎおよび第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎの少なくとも一方を、背景属性を示す画素値をもった画素を含む画像になるようにしておく。そして、ステップＳ４の画像合成段階では、背景属性を示す画素値をもった画素からなる領域については平行投影像を形成しないようにし、合成面Ｗ上に平行投影像が形成されていない領域が存在する場合には、当該領域内の画素については背景属性を示す画素値を与えることにより合成二次元画像を作成すればよい。

最後のステップＳ７では、コンピュータ上で、ステップＳ３〜Ｓ６としてｎ回にわたって繰り返されたの画像合成段階を経て得られたｎ枚の合成二次元画像Ｐγ１〜Ｐγｎによって構成される多視点画像情報を、合成された多視点画像情報Ｅ（γ）として出力する画像情報出力段階が実行される。なお、実用上は、各合成二次元画像Ｐγ１〜Ｐγｎには、それぞれ対応する観察方向Ｄ１〜Ｄｎを示す情報を付加して出力するようにするのが好ましい。各合成二次元画像Ｐγ１〜Ｐγｎそれ自身は、単なる平面画像であるが、多視点画像情報Ｅ（γ）は、これらの画像Ｐγ１〜Ｐγｎを、共通の被写体を観察方向Ｄ１〜Ｄｎに平行な方向に平行投影することにより、共通の投影面上に形成された投影像の集合体として束ねた情報であり、各画像Ｐγ１〜Ｐγｎがそれぞれ所定の観察方向Ｄ１〜Ｄｎに対応づけられていることが重要である。

このように、本発明における多視点画像情報Ｅ（α），Ｅ（β），Ｅ（γ）は、それぞれ所定の観察方向Ｄ１〜Ｄｎが対応づけられたｎ枚の二次元画像の集合体という点に重要な意味をもっている。このように観察方向Ｄ１〜Ｄｎが対応づけられているからこそ、図５もしくは図８に例示した方法によって、個々の二次元画像を、それぞれ対応する観察方向に提示するような工夫を施すことにより、媒体上に記録されている被写体を立体画像として提示することが可能になるのである。

ｎ通りの観察方向は、ｎ組の方向ベクトルによって定義することができる。たとえば、図１〜図５に示す実施例は、所定の基準点Ｑを含む平面上に基準点Ｑを通る複数ｎ組の方向ベクトルを定義し（図示の例は、ｎ＝５に設定した例）、第１の多視点画像情報Ｅ（α）および第２の多視点画像情報Ｅ（β）として、このｎ組の方向ベクトルの方向を個々の観察方向とする多視点画像情報を用いた例である。この場合、方位角φのみをパラメータとしてもつ方向ベクトルＤ（φ）によって各観察方向を示すことができる。

これに対して、図６〜図８に示す実施例は、ＸＹＺ三次元座標系の原点Ｏを通るベクトルであって、ＸＹ平面上への正射影投影像とＹ軸とのなす方位角φと、ＸＹ平面に対する仰角θと、によって特定される方向ベクトルＤ（φ，θ）を、θをａ通り、φをｂ通りに変化させることにより、ａ×ｂ通り定義し（図示の例は、ａ＝３、ｂ＝５に設定した例）、第１の多視点画像情報Ｅ（α）および第２の多視点画像情報Ｅ（β）として、合計ｎ通り（但し、ｎ＝ａ×ｂ）の方向ベクトルの方向を個々の観察方向とする多視点画像情報を用いた例である。

＜＜＜ §５．本発明に係る合成立体画像の提示方法＞＞＞
既に§１で述べたとおり、本願で取り扱う多視点画像情報は、被写体の立体画像を提示する用途に利用されるものである。そこで、ここでは、図１５に示す流れ図を参照しながら、本発明に係る合成立体画像の提示方法の手順を説明する。この方法は、図１４に示す多視点画像情報の合成方法を利用して立体画像を提示する方法ということになる。

この図１５に示す立体画像提示方法の手順は、ステップＳ１１〜Ｓ１４から構成される多視点画像情報準備段階と、ステップＳ１５から構成される多視点画像情報合成段階と、ステップＳ１６から構成される画像提示段階と、によって構成される。ここで、多視点画像情報準備段階（ステップＳ１１〜Ｓ１４）は、第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎおよび第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎを用意する段階であり、多視点画像情報合成段階（ステップＳ１５）は、用意された第１の多視点画像情報Ｅ（α）および第２の多視点画像情報Ｅ（β）に対して、図１４の各ステップＳ１〜Ｓ７によって構成される多視点画像情報の合成方法を実行することにより、合成された多視点画像情報Ｅ（γ）を作成する段階であり、画像提示段階（ステップＳ１６）は、この多視点画像情報Ｅ（γ）を構成するｎ枚の合成二次元画像Ｐγ１〜Ｐγｎを、第ｉ番目（１≦ｉ≦ｎ）の合成二次元画像Ｐγｉが主として第ｉ番目の観察方向Ｄｉに提示されるような態様で提示する段階である。

図１５に示すステップＳ１１〜Ｓ１４は、多視点画像情報準備段階として被写体に対する実写撮影を行う場合の手順を示している。まず、ステップＳ１１の第１の撮影段階では、第１の被写体α（前述の実施例の場合は、コーヒーカップ）を複数ζ通りの方向から実写撮影することにより、合計ζ枚の第１の実写撮影像群を得る処理が行われ、続くステップＳ１２の第２の撮影段階では、第２の被写体β（前述の実施例の場合は、リンゴ）を複数η通りの方向から実写撮影することにより、合計η枚の第２の実写撮影像群を得る処理が行われる。

いずれの撮影段階も、図９に示すような撮影設備を利用して実施することができる。もちろん、第１の撮影段階では、第１の被写体αのみを撮影し、第２の撮影段階では、第２の被写体βのみを撮影すれば足りる。なお、クロマキー合成を行う場合は、被写体の背景に、ブルーやグリーンなどの特定色（できるだけ被写体に含まれない色）のスクリーンを配置した状態で撮影を行うようにする。

続いて、ステップＳ１３の第１の多視点画像情報作成段階では、ステップＳ１１で得られた合計ζ枚の第１の実写撮影像群に基づいて、第１の被写体αを所定の投影面上に、第１番目の観察方向Ｄ１〜第ｎ番目の観察方向Ｄｎのｎ通りの観察方向に平行な方向に投影して得られる平行投影像をそれぞれ求め、第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎを作成する処理が行われる。また、ステップＳ１４の第２の多視点画像情報作成段階では、ステップＳＳ１２で得られた合計η枚の第２の実写撮影像群に基づいて、第２の被写体βを所定の投影面上に、第１番目の観察方向Ｄ１〜第ｎ番目の観察方向Ｄｎのｎ通りの観察方向に平行な方向に投影して得られる平行投影像をそれぞれ求め、第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎを作成する処理が行われる。このような処理は、図１０を参照して§２で述べたとおり、多数の実写撮影画像を変換する公知の方法によって実施できる。

ステップＳ１５の多視点画像情報合成段階は、こうして用意された第１の多視点画像情報Ｅ（α）および第２の多視点画像情報Ｅ（β）に対して、図１４の各ステップＳ１〜Ｓ７を適用して、多視点画像情報Ｅ（γ）を作成する段階であり、その詳細は、既に§４で説明したとおりである。

最後のステップＳ１６の画像提示段階では、こうして得られた多視点画像情報Ｅ（γ）を構成するｎ枚の合成二次元画像Ｐγ１〜Ｐγｎを、何らかの方法で、第ｉ番目（１≦ｉ≦ｎ）の合成二次元画像Ｐγｉが主として第ｉ番目の観察方向Ｄｉに提示されるような態様で提示すればよい。具体的な提示方法としては、図５や図８の実施例として説明したように、立体画像記録媒体を作成し、この立体画像記録媒体を用いて立体画像の提示を行うようにすればよい。

したがって、この図１５に示す立体画像提示方法において、ステップＳ１６の画像提示段階の代わりに、記録媒体Ｍ上に印刷などの方法で合成二次元画像を記録する媒体記録段階と、この記録媒体Ｍ上に光学素子を配置する光学素子配置段階と、を行うようにすれば、この図１５に示す手順は、多視点画像情報の合成方法を利用した立体画像記録媒体の作成方法を示す手順になる。

この場合、媒体記録段階では、多視点画像情報Ｅ（γ）を構成するｎ枚の合成二次元画像Ｐγ１〜Ｐγｎを、それぞれ複数ｍ個の部分画像に分割し、記録媒体Ｍ上の記録面を複数ｍ個の区画Ｋ１〜Ｋｍに分割し、この記録媒体Ｍ上の第ｉ番目の区画Ｋｉにｎ枚の合成二次元画像Ｐγ１〜Ｐγｎの第ｉ番目の部分画像をそれぞれ記録する処理（たとえば、図５の記録媒体Ｍや図８の記録媒体Ｍ上に部分画像を印刷する処理）を行えばよい。そして、光学素子配置段階では、記録媒体Ｍ上の個々の区画上に、第ｉ番目の合成二次元画像Ｐγｉの部分画像が主として第ｉ番目の観察方向Ｄｉに提示されるような光学素子を配置する処理（たとえば、図５の記録媒体Ｍ上にレンチキュラーレンズを配置する処理や図８の記録媒体Ｍ上にマイクロレンズアレイを配置する処理）を行えばよい。

＜＜＜ §６．本発明に係る多視点画像情報の合成装置＞＞＞
続いて、本発明に係る多視点画像情報の合成装置の構成を、図１６のブロック図を参照しながら説明する。この合成装置は、被写体をそれぞれ異なる方向に平行投影した複数ｎ枚の二次元画像によって構成される多視点画像情報を合成するための装置であり、図示のとおり、画像情報格納部１０、合成条件格納部２０、画像合成部３０、合成画像格納部４０によって構成される。これらの各構成要素は、実際には、コンピュータに専用プログラムを組み込むことにより構築される。

ここで、画像情報格納部１０は、第１の被写体αが記録された第１の多視点画像情報Ｅ（α）と、第２の被写体βが記録された第２の多視点画像情報Ｅ（β）と、を格納する機能を果たす。既に述べたとおり、第１の多視点画像情報Ｅ（α）は、ｎ枚の二次元画像の集合体によって構成される。ここで、第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐαｉは、第１の被写体αを所定の投影面上に第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像をなす。同様に、第２の多視点画像情報Ｅ（β）も、ｎ枚の二次元画像の集合体によって構成される。ここで、第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐβｉは、第２の被写体βを所定の投影面上に第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像をなす。

結局、画像情報格納部１０には、第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像の画像データと、第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像の画像データと、が格納されることになる。これら画像データは、どのような形式のものであってもかまわないが、たとえば、一般的なカラー画像の場合、縦横に配列された多数の画素についての三原色Ｒ，Ｇ，Ｂの色成分を示す画素値の集合体データによって構成することができる。

一方、合成条件格納部２０は、オペレータの設定指示に基づいて、第１の多視点画像情報Ｅ（α）と第２の多視点画像情報Ｅ（β）とを合成するための合成条件を格納する機能を果たし、少なくとも、第１の多視点画像情報Ｅ（α）を構成する二次元画像の合成面Ｗに対する位置を示す奥行値Ｚαと、第２の多視点画像情報Ｅ（β）を構成する二次元画像の合成面Ｗに対する位置を示す奥行値Ｚβと、を格納する。

画像合成部３０は、画像情報格納部１０内に格納されている第１の多視点画像情報Ｅ（α）を構成する第ｉ番目（１≦ｉ≦ｎ）の二次元画像Ｐαｉと、画像情報格納部１０内に格納されている第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉと、を合成して、合成面Ｗ上に第ｉ番目の合成二次元画像Ｐγｉを作成する処理を、ｉ＝１〜ｎについて繰り返し実行する機能を果たす。

より具体的には、§４で詳述したように、画像情報格納部１０に格納されている第１の多視点画像情報Ｅ（α）を構成する第ｉ番目の二次元画像Ｐαｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚαとなるような所定位置に配置し、画像情報格納部１０に格納されている第２の多視点画像情報Ｅ（β）を構成する第ｉ番目の二次元画像Ｐβｉを、合成面Ｗに平行かつ合成面Ｗに対する距離が奥行値Ｚβとなるような所定位置に配置し、合成面Ｗ上に、二次元画像Ｐαｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、二次元画像Ｐβｉを第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像と、を形成し、これら平行投影像を奥行値Ｚα，Ｚβに基づく位置関係を考慮して合成することにより第ｉ番目の合成二次元画像Ｐγｉを作成して合成画像格納部４０に格納する処理を行う。

合成画像格納部４０は、こうして画像合成部３０で作成されたｎ枚の合成二次元画像Ｐγ１〜Ｐγｎによって構成される多視点画像情報を、合成された多視点画像情報Ｅ（γ）として格納し、必要に応じて、この多視点画像情報Ｅ（γ）を外部に出力する機能を果たす。

＜＜＜ §７．本発明の変形例＞＞＞
ここでは、これまで述べてきた実施形態について、いくつかの変形例を述べておく。

(1) 被写体のバリエーション
これまで述べた実施形態では、第１の被写体αとしてコーヒーカップ、第２の被写体βとしてリンゴというように、三次元の形状をもった実在の物体を被写体として利用する例を説明したが、本発明で取り扱う被写体は、必ずしも三次元の形状をもったいわゆる立体である必要はない。たとえば、切手や絵葉書という物体は、厳密に言えば、三次元の形状をもった物体であるが、一般の観察者にとって、厚みの部分は実質的な意味をもたず、二次元の形状しかもたない物体として把握される。このような実質的に二次元の形状しかもたない物体であっても、本発明における被写体として利用することが可能である。この場合、もちろん、切手や絵葉書の絵柄については立体感を生じさせることはできないが、三次元空間上に配置された二次元物体という意味で、立体画像としての提示が可能になる。

また、§２でも述べたとおり、本発明で取り扱う被写体は、必ずしも実在の物体である必要はなく、コンピュータを用いて作成された仮想のＣＧ画像を被写体（原画像）として利用することも可能である。このようなＣＧ画像を被写体として用いる場合は、図１に示す被写体α，投影面Ｓをコンピュータ上の仮想空間に定義し、コンピュータによる演算処理により、図１の下段に示すような二次元画像Ｐ１〜Ｐ５を得ることができる。したがって、図９に示すような方法による実写撮影や、図１０に示すような方法による実写撮影像の変換処理を行う必要はなくなる。

もちろん、ＣＧ画像からなる被写体（原画像）は、必ずしも三次元の立体画像である必要はなく、二次元の平面画像であってもかまわない。また、合成対象となる２つの被写体は、双方とも実在の物体であってもよいし、双方ともにＣＧ画像であってもよいし、両者の混合であってもかまわない。

(2) 同一共通画像からなる多視点画像情報
本発明では、既に述べたとおり、第１の多視点画像情報Ｅ（α）を複数ｎ枚の二次元画像Ｐα１〜Ｐαｎによって構成し、第２の多視点画像情報Ｅ（β）を同じく複数ｎ枚の二次元画像Ｐβ１〜Ｐβｎによって構成し、第ｉ番目（１≦ｉ≦ｎ）の二次元画像ＰαｉおよびＰβｉを合成して合成二次元画像Ｐγｉを作成する作業を、ｉ＝１〜ｎについて繰り返し実行することになる。

ここで、ｎ枚の二次元画像Ｐα１〜Ｐαｎは、一般的には、互いに異なる二次元画像になる。同様に、ｎ枚の二次元画像Ｐβ１〜Ｐβｎも、一般的には、互いに異なる二次元画像になる。たとえば、図１１に示す例の場合、５枚の二次元画像Ｐα１〜Ｐα５は互いに異なる画像であり、５枚の二次元画像Ｐβ１〜Ｐβ５も互いに異なる画像である。これは、これらの二次元画像が、被写体αやβを、投影面Ｓ上に５通りの方向へ平行投影した平行投影像によって構成されているためである。

しかしながら、本発明によって取り扱われる多視点画像情報を構成するｎ枚の二次元画像は、必ずしも互いに異なる画像である必要はなく、同一の共通画像であってもかまわない。一般に、ある被写体をそれぞれ異なる方向へ投影すると、多くの場合、得られる投影像は互いに異なった画像になる。したがって、多視点画像情報を構成するｎ枚の二次元画像は、通常、それぞれ異なった画像になるのが普通である。ただ、特殊な条件下では、多視点画像情報がｎ枚の同一共通画像によって構成されるケースもあり得る。

たとえば、被写体として二次元画像（絵葉書のような実在物体でもよいし、ＣＧ画像でもよい）を用意し、この被写体を投影面Ｓ上に配置したとすると、当該被写体の投影面Ｓに対する投影像は、投影方向を問わず、当該被写体と同一の共通画像になる。したがって、この場合、多視点画像情報を構成するｎ枚の二次元画像は、当該被写体上の共通画像ということになり、どのような観察方向から観察しても、同一の共通画像が観察されることになる。これは、図１において、投影面Ｓ上に絵はがきを配置した状態を考えれば、容易に理解できよう。

したがって、本発明に係る多視点画像情報の合成方法を実施するにあたり、第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎもしくは第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎは、同一共通画像によって構成することができる。図１７は、第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像Ｐα１〜Ｐαｎを、これまでの実施形態と同様にそれぞれ異なる画像によって構成し、第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像Ｐβ１〜Ｐβｎを、同一共通画像によって構成した例である。

すなわち、この図１７に示す例では、第１の多視点画像情報Ｅ（α）は、コーヒーカップからなる被写体をｎ通りの方向に投影して得られるｎ枚の異なる二次元画像によって構成されているが、第２の多視点画像情報Ｅ（β）は、実質的には、景色が描かれた１枚の共通画像によって構成されている。もちろん、本発明に係る多視点画像情報の合成方法（図１４の流れ図に示す手順）を実行する上では、第１の多視点画像情報Ｅ（α）をｎ枚の二次元画像によって構成した場合、第２の多視点画像情報Ｅ（β）もｎ枚の二次元画像によって構成し、第ｉ番目の画像同士を合成する処理を行う必要がある。したがって、図１７に示す例の場合も、便宜上、第２の多視点画像情報Ｅ（β）を、ｎ枚の二次元画像によって構成されているものとする取り扱いを行うことになるが、これらｎ枚の二次元画像の実体は、景色が描かれた１枚の共通画像ということになる。

図１７に示す例において、第１の多視点画像情報Ｅ（α）を構成する二次元画像を、第２の多視点画像情報Ｅ（β）を構成する二次元画像の手前に配置するような合成条件を設定しておけば（たとえば、前者の奥行値Ｚαを負の値に設定し、後者の奥行値Ｚβを正の値もしくは零に設定すれば）、景色となる背景画像の手前にコーヒーカップが置かれた合成立体画像を提示することが可能になる。この場合、コーヒーカップについては立体画像としての提示が行われるが、背景となる景色については単なる平面画像としての提示が行われるだけである。それでも、手前のコーヒーカップと、奥の景色との間には、奥行感が醸し出され、違和感のない合成立体画像の提示が可能になる。

この図１７に示す変形例では、景色となる背景画像として、ごく一般的な二次元画像（たとえば、絵葉書の写真）を利用することができるので、主たる被写体であるコーヒーカップの背景に任意の景色を配置した合成立体画像を容易に作成することができる。

また、この図１７に示す変形例を更に単純化し、第１の多視点画像情報Ｅ（α）についても、コーヒーカップを被写体とした１枚の一般的な二次元画像（たとえば、コーヒーカップの写真）を共通画像として利用するようにしてもかまわない。この場合、第１の多視点画像情報Ｅ（α）は、実質的に１枚のコーヒーカップの二次元画像によって構成され、第２の多視点画像情報Ｅ（β）は、実質的に１枚の景色の二次元画像によって構成されることになる。もちろん、この場合、本発明に係る多視点画像情報の合成方法を実行する上では、便宜上、第１の多視点画像情報Ｅ（α）を構成するｎ枚の二次元画像が、コーヒーカップの写真からなる１枚の同一共通画像によって構成され、第２の多視点画像情報Ｅ（β）を構成するｎ枚の二次元画像が、景色の写真からなる１枚の同一共通画像によって構成されている、とする取り扱いを行うことになる。

このような合成処理を実行することにより得られた第３の多視点画像情報Ｅ（γ）に基づいて提示される立体画像では、コーヒーカップも景色も、いずれも単なる平面画像としての提示が行われるだけであるが、手前のコーヒーカップと、奥の景色との間には、奥行感（たとえば、遠景をバックとして、１枚のコーヒーカップの看板が配置されている状態）が醸し出されることになり、そのような意味で、立体画像としての提示が可能になる。

(3) 合成立体画像提示方法のバリエーション
本発明に係る合成処理を実行することにより得られた第３の多視点画像情報Ｅ（γ）に基づいて、観察者に対して実際に合成立体画像を提示する具体的な方法として、これまで、記録媒体上にレンチキュラーレンズやマイクロレンズアレイなどの光学素子を配置してなる立体画像記録媒体を作成する例を述べた。しかしながら、多視点画像情報Ｅ（γ）に基づいて、合成立体画像を提示する方法は、このような立体画像記録媒体を利用する方法に限定されるものではない。

既に述べたとおり、図１５の流れ図におけるステップＳ１６の画像提示段階では、何らかの手段を用いて、第ｉ番目の二次元画像Ｐγｉが、主として第ｉ番目の観察方向Ｄｉに提示されるようにすればよい。たとえば、立体画像提示方法として一般的に利用されているパララックスバリア方式やグラスレス３Ｄなどの技術を利用して、多視点画像情報Ｅ（γ）に基づく合成立体画像の提示を行うことも可能である。もちろん、提示に用いる媒体は、印刷物のような固定媒体だけでなく、ディスプレイ画面などを用いることも可能である。たとえば、ディスプレイ画面上に時分割でｎ枚の二次元画像を順次表示させてゆき、表示画像からの光が観察者の目に向かう方向を何らかの光学手段で順次切り替えるような方法を採ることも可能である。

また、本発明に係る立体画像提示方法は、単に１枚の立体画像を一方的に観察者に提示するだけでなく、観察者の操作に反応してインターラクティブに提示内容を変えてゆくような技術にも応用することができる。

(4) 合成方法のバリエーション
これまで述べてきた実施形態では、合成面Ｗ上において被写体αの平行投影像と被写体βの平行投影像とを合成する方法として、両者が重なった領域については、合成条件として設定された奥行値Ｚα，Ｚβに基づく位置関係を考慮して、手前にある被写体を優先する例を述べたが、被写体に透明度を設定することにより、手前の被写体を透して奥の被写体が透けて見えるような合成を行うようにすることも可能である。

たとえば、図１２に示す例において、図にドットによるハッチングを施した重複領域内の画素については、これまでの実施形態の場合、手前にあるコーヒーカップの画像の画素値を採用することになるが、コーヒーカップについて、たとえば、透明度２０％なる設定を行っておけば、当該重複領域内の画素については、手前にあるコーヒーカップの画像の画素値と奥にあるリンゴの画像の画素値とを８０：２０の割合でブレンドすることにより得られる画素値を採用することができる。これにより、半透明なコーヒーカップの奥にリンゴが配置されている状態の立体画像を提示することが可能になる。

また、これまでの実施形態では、被写体αについての多視点画像情報Ｅ（α）と被写体βについての多視点画像情報Ｅ（β）という２組の多視点画像情報を合成する例を述べてきたが、本発明を利用すれば、もちろん、３組以上の多視点画像情報を合成することも可能である。その基本概念は、これまで述べてきた２組の多視点画像情報を合成する方法と全く同じである。すなわち、３組以上の多視点画像情報を構成する第ｉ番目の二次元画像を、それぞれ合成条件として設定された奥行値に基づいて、合成面Ｗに平行となるように所定位置に配置し、合成面Ｗ上に、各二次元画像を第ｉ番目の観察方向Ｄｉに平行な方向に投影して得られる平行投影像を形成し、これら平行投影像を各奥行値に基づく位置関係を考慮して合成することにより第ｉ番目の合成二次元画像を作成する処理を、ｉ＝１〜ｎについて繰り返せばよい。

＜＜＜ §８．本発明に係るライトフィールドの合成方法＞＞＞
背景技術として述べたとおり、前掲の非特許文献１には、Plenopticという７次元の関数Ｐを用いて、Ｐ（ｘ，ｙ，ｚ，φ，θ，λ，ｔ）という形式で、「空間内の座標値（ｘ，ｙ，ｚ）で示される点を、方位角φおよび仰角θで示される方向に向かって、波長λをもつ光線が時刻ｔにおいて通過した」という現象を記述する理論が開示されており、前掲の非特許文献２には、そのような記述形式を立体画像の提示技術に利用する一形態として「ライトフィールド（Light Field）」という概念の導入が提唱されている。そして、前掲の特許文献３および４には、このような「ライトフィールド」を利用した三次元画像の具体的な取り扱い方法が開示されている。

このような観点から本発明を捉えると、本発明に係る多視点画像情報は「ライトフィールド」という概念で表現できる情報であり、本発明は、「ライトフィールドの合成方法」として捉えることも可能である。そこで、ここでは、本発明を「ライトフィールドの合成方法」として捉えた説明を行うことにする。

図１８は、一般的なライトフィールドの概念を示す斜視図および数式図である。いま、上段の斜視図に示すように、ＸＹ二次元座標平面上の任意の点Ｐ（ｘ，ｙ）を、光線ベクトルＬが通っているものとしよう。ここで、光線ベクトルＬの向きをＤとすれば、この光線ベクトルＬは、ＸＹ二次元座標で示される座標値（ｘ，ｙ）と向きＤをパラメータとして、（ｘ，ｙ，Ｄ）で特定されることになる。向きＤは、たとえば、図６に示す例のように、方位角φおよび仰角θによって表すことができるが、この他にも様々な方法で表すことが可能である。そこで、ここでは、単に「向きＤ」というパラメータを用いることにする。

さて、こうして特定される光線ベクトルに対して、何らかの特徴値を付与し、当該特徴値を３つのパラメータｘ，ｙ，Ｄを変数とする関数Ｆ（ｘ，ｙ，Ｄ）で表すことにする。すなわち、関数Ｆ（ｘ，ｙ，Ｄ）は、座標値（ｘ，ｙ）で示される所定の点Ｐを通り、向きＤの方向を向いた特定の光線ベクトルＬに対して付与された特徴値を示す関数ということになる。

ここで、ＸＹ平面上の閉領域内に複数の点Ｐを定義し、個々の点Ｐについて、当該点Ｐを通り互いに異なる方向を向いた複数本の光線ベクトルＬを定義し、個々の光線ベクトルＬについてそれぞれ特定の特徴値を付与すれば、そのような定義が行われた閉領域は、正に前掲の文献で言及されている「ライトフィールド」という概念の範疇に入るフィールドということになる。

そこで、ここでは、「ライトフィールド」を、複数の点Ｐが配置された平面であって、個々の点Ｐのそれぞれには、当該点Ｐを通り互いに異なる方向を向いた複数本の光線ベクトルＬが定義され、個々の光線ベクトルＬについてそれぞれ特定の特徴値が付与されている平面、と定義することにしよう。そうすると、本発明は、２組のライトフィールドを合成するライトフィールドの合成方法として捉えることができる。

ライトフィールドの特徴値としては、光線ベクトルの波長や輝度値などを用いることもできるが、光線ベクトルが観察者の目に届いたときに、画像を構成する１つの画素を認識させる機能をもっていることに着目すると、本発明との関連では、特徴値として画素値を用いるのが最も適当である。

こうして、これまで述べてきた多視点画像情報の合成方法を、ライトフィールドの合成方法として捉えると、当該方法は、ライトフィールド入力段階、合成条件設定段階、ライトフィールド合成段階、ライトフィールド出力段階の４段階から構成されることになる。実際には、これらの各段階は、コンピュータに組み込まれた専用プログラムの機能によって実行される。

まず、ライトフィールド入力段階は、コンピュータが、ＸＹ二次元座標平面上の点Ｐの座標値（ｘ，ｙ）および当該点Ｐを通る光線ベクトルＬの向きＤを変数とする関数によって個々の特徴値を示す第１のライトフィールドＦα（ｘ，ｙ，Ｄ）および第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）を入力する段階になる。たとえば、図１１に示す第１の多視点画像情報Ｅ（α）を構成する二次元画像Ｐα１は、投影面Ｓ上の点Ｐを第１の観察方向Ｄ１に向けて通る光線ベクトルＬ１に付与された特徴量（すなわち、当該点Ｐの位置にある画素の画素値）を示す情報を有しており、二次元画像Ｐα２は、投影面Ｓ上の点Ｐを第２の観察方向Ｄ２に向けて通る光線ベクトルＬ２に付与された特徴量（すなわち、当該点Ｐの位置にある画素の画素値）を示す情報を有している。したがって、図１１に示されている第１の多視点画像情報Ｅ（α）を構成する５枚の二次元画像Ｐα１〜Ｐα５は、第１のライトフィールドＦα（ｘ，ｙ，Ｄ）を示す情報ということになる。同様に、第２の多視点画像情報Ｅ（β）を構成する５枚の二次元画像Ｐβ１〜Ｐβ５は、第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）を示す情報ということになる。

次の合成条件設定段階は、コンピュータが、第１のライトフィールドＦα（ｘ，ｙ，Ｄ）と第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）とを合成するための合成条件を設定する段階である。この合成条件には、所定の合成面Ｗに対して平行になるように、第１のライトフィールドＦα（ｘ，ｙ，Ｄ）および第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）を所定位置に配置するための配置条件が含まれている（具体的には、奥行値Ｚα，Ｚβが合成条件として設定される）。

続くライトフィールド合成段階は、コンピュータが、第１のライトフィールドＦα（ｘ，ｙ，Ｄ）と第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）とを合成して、ＸＹ二次元座標平面上の点Ｐの座標値（ｘ，ｙ）および当該点Ｐを通る光線ベクトルＬの向きＤを変数とする関数によって個々の特徴値を示す第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）を作成する段階である。もちろん、この第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）は、図１１に示されている第３の多視点画像情報Ｅ（γ）を構成する５枚の二次元画像Ｐγ１〜Ｐγ５に対応するものである。

ここで、個々の光線ベクトルに付与する特徴値として、三原色Ｒ，Ｇ，Ｂの画素値の組み合わせを用いることにすると、図１８に示すとおり、第１のライトフィールドＦα（ｘ，ｙ，Ｄ）は、原色Ｒ成分Ｆαｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆαｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆαｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成することができ、第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）は、原色Ｒ成分Ｆβｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆβｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆβｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成することができ、第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）は、原色Ｒ成分Ｆγｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆγｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆγｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成することができる。この場合、ライトフィールド合成段階では、個々の原色成分ごとに独立して特徴値の決定を行うようにすればよい。

図１９は、本発明に係るライトフィールドの合成方法の基本原理を示す斜視図である。この図１９では、便宜上、原色Ｒ成分の合成方法のみが示されているが、原色Ｇ成分や原色Ｂ成分の合成方法も全く同様である。図１９に示す閉領域Ｆγｒは、合成処理により新たに作成される第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）の原色Ｒ成分のプレーンであり、合成面Ｗ上に配置されている。もちろん、この時点では、まだライトフィールドＦγｒの各光線ベクトルには、何ら特徴値（すなわち、原色Ｒの画素値）は付与されていない。

一方、閉領域Ｆαｒは、合成対象となる第１のライトフィールドＦα（ｘ，ｙ，Ｄ）の原色Ｒ成分のプレーンであり、合成面Ｗに対して平行となる所定位置（たとえば、奥行値Ｚαで示される位置）に配置される。同様に、閉領域Ｆβｒは、合成対象となる第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）の原色Ｒ成分のプレーンであり、合成面Ｗに対して平行となる所定位置（たとえば、奥行値Ｚβで示される位置）に配置される。

さて、このような配置が行われた状態において、第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）の原色Ｒ成分のプレーンＦγｒを作成する具体的な手順を説明しよう。ここでは、合成面Ｗ上の特定点Ｐ（ｘγ，ｙγ）を通り特定方向Ｄを向いた特定光線ベクトルＬγの特徴値（原色Ｒの画素値）を決定することを考える。そのために、当該特定光線ベクトルＬγを含む参照直線Ｒ（図に破線で示す直線）を定義し、この参照直線Ｒと第１のライトフィールドＦαｒとの交点Ｐ（ｘα，ｙα）を通り特定方向Ｄを向いた光線ベクトルＬαと、この参照直線Ｒと第２のライトフィールドＦβｒとの交点Ｐ（ｘβ，ｙβ）を通り特定方向Ｄを向いた光線ベクトルＬβとを特定する。そして、光線ベクトルＬαに付与されている特徴値（原色Ｒの画素値）と光線ベクトルＬβに付与されている特徴値（原色Ｒの画素値）との２組の特徴値の少なくとも一方に基づいて、特定光線ベクトルＬγの特徴値（原色Ｒの画素値）を決定する。

具体的には、図１９に示す例のように、参照直線Ｒと第１のライトフィールドＦαｒとの交点Ｐ（ｘα，ｙα）および参照直線Ｒと第２のライトフィールドＦβｒとの交点Ｐ（ｘβ，ｙβ）の双方が存在する場合には、配置条件に基づいて選択されたいずれか一方の交点を通り特定方向Ｄを向いた光線ベクトルの特徴値に基づいて第３のライトフィールドＦγｒの特徴値を決定すればよい。

すなわち、図１９に示す例の場合、上方に配置されている第１のライトフィールドＦαｒを優先する取り扱いを行う場合は、光線ベクトルＬαに付与されている特徴値（原色Ｒの画素値）を特定光線ベクトルＬγの特徴値（原色Ｒの画素値）とすればよいし、下方に配置されている第２のライトフィールドＦβｒを優先する取り扱いを行う場合は、光線ベクトルＬβに付与されている特徴値（原色Ｒの画素値）を特定光線ベクトルＬγの特徴値（原色Ｒの画素値）とすればよい。

また、特定光線ベクトルＬγの向きＤによっては、参照直線Ｒと第１のライトフィールドＦαｒとの交点および参照直線Ｒと第２のライトフィールドＦβｒとの交点のいずれか一方のみしか存在しない場合もある。そのような場合には、当該存在する交点を通り特定方向Ｄを向いた光線ベクトルの特徴値に基づいて第３のライトフィールドＦγｒの特徴値を決定すればよい。なお、参照直線Ｒと第１のライトフィールドＦαｒとの交点および参照直線Ｒと第２のライトフィールドＦβｒとの交点のいずれも存在しない場合には、そのような特定方向Ｄに関する特徴値は決定することができない。

なお、前述したような透明度を考慮した合成を行う場合には、光線ベクトルＬαに付与されている特徴値と光線ベクトルＬβに付与されている特徴値とを所定の割合でブレンドして得られる特徴値を、特定光線ベクトルＬγの特徴値とすればよい。

以上、合成面Ｗ上の特定点Ｐ（ｘγ，ｙγ）を通り特定方向Ｄを向いた特定光線ベクトルＬγの特徴値を決定する例を述べたが、特定方向Ｄを様々に変えて、同じような処理を行えば、特定点Ｐ（ｘγ，ｙγ）を通るすべての光線ベクトルについての特徴値を決定することができる。また、そのような処理を、合成面Ｗ上の閉領域Ｆγｒ内の多数の点について行えば、閉領域Ｆγｒ内の個々の点を通る個々の光線ベクトルに対して所定の特徴値が付与された第３のライトフィールドの原色Ｒ成分のプレーンＦγｒ（ｘ，ｙ，Ｄ）を得ることができる。同様の方法により、第３のライトフィールドの原色Ｇ成分のプレーンＦγｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分のプレーンＦγｂ（ｘ，ｙ，Ｄ）とを得ることができるので、最終的に、各原色成分のプレーンの集合体である第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）が得られることになる。これをコンピュータから出力すれば、合成されたライトフィールドとして、様々な用途に利用することができる。

以上、図１９を参照しながら、原色Ｒ成分に関して、第１のライトフィールドＦαｒと第２のライトフィールドＦβｒとを合成して、第３のライトフィールドＦγｒを作成する基本原理を述べたが、実際には、各ライトフィールドは、有限の面積をもった閉領域内に配置された有限個の点について、それぞれ有限通りの向きの光線ベクトルを定義し、各光線ベクトルに所定の特徴値（画素値）を付与した情報として与えられる。別言すれば、個々のライトフィールド上の各点Ｐは、実際には、微小面積をもって配列された画素の代表点として定義されることになり、画素配列のピッチに応じた位置に離散的に配置された点になる。このため、各ライトフィールドは、実際には、微小面積をもった画素の配列として取り扱う必要がある。

図２０は、このような画素の概念を取り入れたライトフィールドの合成方法の具体的な手法を示す斜視図である。図示のとおり、原色Ｒ成分に関する第１〜第３のライトフィールドＦαｒ，Ｆβｒ，Ｆγｒは、それぞれがＸＹ二次元座標平面上に配列された所定面積をもつ多数の画素のそれぞれについて、当該画素の代表点Ｐ（たとえば、画素を構成する微小領域の中心点）を通る複数本の光線ベクトルの各特徴値を画素値としてもつ画像データを構成している。

したがって、ライトフィールド合成段階では、第３のライトフィールドＦγｒを構成する個々の画素Ｇγｒ（代表点はＰ（ｘγ，ｙγ））の画素値を、参照直線Ｒと第１のライトフィールドＦαｒとの交点Ｐ（ｘα，ｙα）を含む第１のライトフィールドＦαｒ上の画素Ｇαｒの画素値および参照直線Ｒと第２のライトフィールドＦβｒとの交点Ｐ（ｘβ，ｙβ）を含む第２のライトフィールドＦβｒ上の画素Ｇβｒの画素値の少なくとも一方に基づいて決定するようにすればよい。

ここで、参照直線Ｒは、画素Ｇγｒの代表点Ｐ（ｘγ，ｙγ）を通り、特定方向Ｄを向いた特定光線ベクトルＬγを含む直線として定義され、参照直線Ｒと第１のライトフィールドＦαｒとの交点として点Ｐ（ｘα，ｙα）が定義され、参照直線Ｒと第２のライトフィールドＦβｒとの交点として点Ｐ（ｘβ，ｙβ）が定義されることになる。もちろん、交点Ｐ（ｘα，ｙα）は必ずしも画素Ｇαｒの代表点とは限らず、交点Ｐ（ｘα，ｙα）の位置に光線ベクトルＬαが定義されているとは限らない。同様に、交点Ｐ（ｘβ，ｙβ）は必ずしも画素Ｇβｒの代表点とは限らず、交点Ｐ（ｘβ，ｙβ）の位置に光線ベクトルＬβが定義されているとは限らない。ただ、画素Ｇαｒは、交点Ｐ（ｘα，ｙα）を微小領域内のいずれかの位置に含む画素として抽出され、画素Ｇβｒは、交点Ｐ（ｘβ，ｙβ）を微小領域内のいずれかの位置に含む画素として抽出されるので、図示されている光線ベクトルＬαやＬβが、参照直線Ｒから若干ずれた位置（画素を構成する微小領域の範囲内でのずれを生じた位置）に定義されているベクトルであっても、これらのベクトルに付与された特徴量（画素値）が支障なく抽出されるので、何ら問題は生じない。

なお、図１７に多視点画像情報Ｅ（β）として例示したとおり、本発明において用いる多視点画像情報を構成するｎ枚の二次元画像は、同一の共通画像であってもかまわない。したがって、ここで述べたライトフィールドの合成方法においても、第１のライトフィールドＦαおよび第２のライトフィールドＦβの一方もしくは双方が、同一の点Ｐを通る光線ベクトルについては、向きＤにかかわらず同一の特徴値（画素値）が付与されているライトフィールドであってもかまわない。

１０：画像情報格納部
２０：合成条件格納部
３０：画像合成部
４０：合成画像格納部
Ａ：撮影始点
Ｂ：撮影終点
Ｄ：方向ベクトル／光線ベクトルの向き
Ｄ′：方向ベクトルの投影像
Ｄ１〜Ｄ５：観察方向
Ｅ：多視点画像情報
Ｅ（α）：被写体αについての多視点画像情報
Ｅ（β）：被写体βについての多視点画像情報
Ｅ（γ）：被写体α，βについて合成された多視点画像情報
Ｆ：ライトフィールド
Ｆα（ｘ，ｙ，Ｄ）：第１のライトフィールド
Ｆαｒ（ｘ，ｙ，Ｄ）：第１のライトフィールドの原色Ｒプレーン
Ｆαｇ（ｘ，ｙ，Ｄ）：第１のライトフィールドの原色Ｇプレーン
Ｆαｂ（ｘ，ｙ，Ｄ）：第１のライトフィールドの原色Ｂプレーン
Ｆβ（ｘ，ｙ，Ｄ）：第２のライトフィールド
Ｆβｒ（ｘ，ｙ，Ｄ）：第２のライトフィールドの原色Ｒプレーン
Ｆβｇ（ｘ，ｙ，Ｄ）：第２のライトフィールドの原色Ｇプレーン
Ｆβｂ（ｘ，ｙ，Ｄ）：第２のライトフィールドの原色Ｂプレーン
Ｆγ（ｘ，ｙ，Ｄ）：第３のライトフィールド
Ｆγｒ（ｘ，ｙ，Ｄ）：第３のライトフィールドの原色Ｒプレーン
Ｆγｇ（ｘ，ｙ，Ｄ）：第３のライトフィールドの原色Ｇプレーン
Ｆγｂ（ｘ，ｙ，Ｄ）：第３のライトフィールドの原色Ｂプレーン
Ｇ１〜Ｇ４：画素
Ｇαｒ，Ｇβｒ，Ｇγｒ：画素
Ｋａ〜Ｋｘ：区画
Ｌ：レンチキュラーレンズ
Ｌ，Ｌα，Ｌβ，Ｌγ：光線ベクトル
Ｍ：記録媒体
Ｏ：座標系の原点
Ｐ１〜Ｐ７０：二次元画像（平行投影画像）
Ｐ１ａ〜Ｐ５ｆ：部分画像
Ｐ１１ａ〜Ｐ３５ａ：部分画像
Ｐ（ｘ，ｙ）：ライトフィールド上の１点
Ｐ（ｘα，ｙα），Ｐ（ｘβ，ｙβ），Ｐ（ｘγ，ｙγ）：ライトフィールド上の１点
Ｐα１〜Ｐα５：被写体αについての二次元画像（平行投影画像）
Ｐβ１〜Ｐβ５：被写体βについての二次元画像（平行投影画像）
Ｐγ１〜Ｐγ５：被写体α，βについて合成された二次元画像（平行投影画像）
Ｑ：基準点
Ｒ：参照直線
Ｓ：投影面
Ｓ１〜Ｓ１６：流れ図の各ステップ
Ｔ：撮影経路
Ｔ（ｉ）：第ｉ番目の撮影ポイント
Ｕ１〜Ｕ１０００：実写撮影画像
Ｖ１〜Ｖ５：視点
Ｗ：合成面
Ｘ，Ｙ，Ｚ：座標軸
ｘ，ｙ：座標値
Ｚα，Ｚβ：奥行値
α，α１，α２：被写体
β：被写体
θ：仰角
φ：方位角

Claims

複数の点Ｐが配置された平面であって、個々の点Ｐのそれぞれには、当該点Ｐを通り互いに異なる方向を向いた複数本の光線ベクトルＬが定義され、個々の光線ベクトルＬについてそれぞれ特定の特徴値が付与されている平面として定義されるライトフィールドを合成する方法であって、
コンピュータが、ＸＹ二次元座標平面上の点Ｐの座標値（ｘ，ｙ）および当該点Ｐを通る光線ベクトルＬの向きＤを変数とする関数によって個々の特徴値を示す第１のライトフィールドＦα（ｘ，ｙ，Ｄ）および第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）を入力するライトフィールド入力段階と、
コンピュータが、前記第１のライトフィールドと前記第２のライトフィールドとを合成するための合成条件を設定する合成条件設定段階と、
コンピュータが、前記第１のライトフィールドＦα（ｘ，ｙ，Ｄ）と前記第２のライトフィールドＦβ（ｘ，ｙ，Ｄ）とを合成して、ＸＹ二次元座標平面上の点Ｐの座標値（ｘ，ｙ）および当該点Ｐを通る光線ベクトルＬの向きＤを変数とする関数によって個々の特徴値を示す第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）を作成するライトフィールド合成段階と、
コンピュータが、前記ライトフィールド合成段階で得られた前記第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）を出力するライトフィールド出力段階と、
を有し、
前記合成条件には、所定の合成面Ｗに対して平行になるように、前記第１のライトフィールドおよび前記第２のライトフィールドを所定位置に配置するための配置条件が含まれており、
前記ライトフィールド合成段階では、前記配置条件に基づいて、前記第１のライトフィールドおよび前記第２のライトフィールドを配置し、前記合成面Ｗ上の特定点Ｐを通り特定方向Ｄを向いた特定光線ベクトルの特徴値を、当該特定光線ベクトルを含む参照直線と前記第１のライトフィールドとの交点を通り前記特定方向Ｄを向いた光線ベクトルの特徴値および前記参照直線と前記第２のライトフィールドとの交点を通り前記特定方向Ｄを向いた光線ベクトルの特徴値の少なくとも一方に基づいて決定し、個々の点を通る個々の光線ベクトルに対して所定の特徴値が付与された前記合成面Ｗを第３のライトフィールドＦγ（ｘ，ｙ，Ｄ）とすることを特徴とするライトフィールドの合成方法。
請求項１に記載のライトフィールドの合成方法において、
ライトフィールド合成段階で、
参照直線と第１のライトフィールドとの交点および参照直線と第２のライトフィールドとの交点のいずれか一方のみが存在する場合には、当該存在する交点を通り特定方向Ｄを向いた光線ベクトルの特徴値に基づいて第３のライトフィールドの特徴値を決定し、
参照直線と第１のライトフィールドとの交点および参照直線と第２のライトフィールドとの交点の双方が存在する場合には、配置条件に基づいて選択されたいずれか一方の交点を通り特定方向Ｄを向いた光線ベクトルの特徴値に基づいて第３のライトフィールドの特徴値を決定することを特徴とするライトフィールドの合成方法。
請求項１または２に記載のライトフィールドの合成方法において、
第１〜第３のライトフィールドが、ＸＹ二次元座標平面上に配列された所定面積をもつ多数の画素のそれぞれについて、当該画素の代表点Ｐを通る複数本の光線ベクトルの各特徴値を画素値としてもつ画像データを構成しており、
ライトフィールド合成段階では、第３のライトフィールドを構成する個々の画素の画素値を、参照直線と第１のライトフィールドとの交点を含む第１のライトフィールド上の画素の画素値および参照直線と第２のライトフィールドとの交点を含む第２のライトフィールド上の画素の画素値の少なくとも一方に基づいて決定することを特徴とするライトフィールドの合成方法。
請求項１〜３のいずれかに記載のライトフィールドの合成方法において、
個々の光線ベクトルに付与する特徴値として、三原色Ｒ，Ｇ，Ｂの画素値の組み合わせを用い、
第１のライトフィールドを、原色Ｒ成分Ｆαｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆαｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆαｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成し、
第２のライトフィールドを、原色Ｒ成分Ｆβｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆβｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆβｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成し、
第３のライトフィールドを、原色Ｒ成分Ｆγｒ（ｘ，ｙ，Ｄ）と原色Ｇ成分Ｆγｇ（ｘ，ｙ，Ｄ）と原色Ｂ成分Ｆγｂ（ｘ，ｙ，Ｄ）との組み合わせによって構成し、
ライトフィールド合成段階では、個々の原色成分ごとに独立して特徴値の決定を行うことを特徴とするライトフィールドの合成方法。
請求項１〜４のいずれかに記載のライトフィールドの合成方法において、
第１のライトフィールドおよび第２のライトフィールドの少なくとも一方が、同一の点Ｐを通る光線ベクトルについては、向きＤにかかわらず同一の特徴値が付与されているライトフィールドであることを特徴とするライトフィールドの合成方法。
請求項１〜５のいずれかに記載のライトフィールドの合成方法をコンピュータに実行させるプログラム。