JPH1027264A

JPH1027264A - 画像処理装置及び画像処理方法

Info

Publication number: JPH1027264A
Application number: JP17907896A
Authority: JP
Inventors: Akihiro Katayama; 昭宏片山; Shinji Uchiyama; 晋二内山; Masahiro Shibata; 昌宏柴田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-07-09
Filing date: 1996-07-09
Publication date: 1998-01-27

Abstract

(57)【要約】【課題】視点を移動して観察できる範囲が従来よりも
広く、かつその場合でも必要なデ−タ量があまり多くな
らないような画像処理方法及び画像処理装置を提供す
る。【解決手段】それぞれ異なる位置を視点とする複数の
画像を多視点画像データとして入力し、入力された多視
点画像を空間を飛来する光線群に変換し、変換された光
線群の各々を、放射状に並べられた複数の基準面と該光
線とのなす角度が最も垂直に近い平面に対応した光線空
間に、光線空間データとして記録し、生成すべき画像の
各画素毎に、前記光線空間データからその画素値を決定
するために必要な画像を導出し、導出された画像中の必
要なスキャンラインの位置と該スキャンライン中の画素
位置を導出し、生成すべき画像の各画素値を決定し、そ
して、導出された画像・画素位置・画素値とに基づい
て、所望の画像を生成して、生成された画像を表示画面
上に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視点の異なる複数
の画像を入力とし、観察者の、その時々の目の位置に応
じた視点位置を有する画像を出力する画像処理装置およ
び画像処理方法に関するものである。

【０００２】

【従来の技術】従来より、図７に示すような座標系にz
＝０の平面を仮定し、この平面（これを基準面７１と呼
ぶことにする）を通過する光線の集合として３次元空間
を表現する手法（光線空間による３次元空間表現）が提
案されている。この手法では、３次元空間内のz≧０に
ある視点位置Pで観察できる画像は、この基準面７１を
通過する光線の集合からPを通過する光線のみをサンプ
リングして得られる画像と等価になる（図８参照）。一
般的には、各光線は基準面７１を通過する位置（x、
y）、各光線がx軸、y軸のそれぞれとなす角度をφ、
ψ、光線が平面を通過した時間ｔ、光線の色（r、g、
b）で表されるが、実際には、計算量やデ−タ量が膨大
になるという問題から、対象は静止物体でy軸方向の視
差はないと仮定されることが多い。この仮定のもとでu=
tanφとおいて各光線を光線空間（この場合はx-u空間）
に射影し、この射影されたx-u空間で光線空間を扱う場
合、ある点Pを通過する光線は図９に示すように直線状
の軌跡をなす。この軌跡は以下の式で表される。

【０００３】x=X-Z・u （１） u=tanφ （２）ここで(X、Z)は観察視点位置を表し、xは光線がx-u空間
上のx軸と交差する位置を表す。また、φは光線がz軸と
なす角度を表す。

【０００４】まず、図１０に示すように多数の視点位置
で得られた画像から直線状の軌跡を求め、この軌跡群に
よりx-u空間が密に埋められていると仮定する。この
時、z≧０にある視点位置Qの画像は、図１１に示すよう
にx-u空間上でQを通過するの軌跡を求め、その軌跡上に
すでに記録されている光線の色を逆に求めることにより
得ることができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来例では基準面としてz=0に設定した１枚の平面を使用
しているため、観察できる視点位置はz ≧０に限られ、
視点移動して観察できる範囲が狭かった。また、一枚の
x-u空間で３次元空間を表現する場合、φが±90度に近
い時（あるいは基準面とこれを通過する光線が平行に近
いとき）にはtanφが発散するため、無限に広いx-u空
間、すなわち膨大なデ−タ量が必要となるという問題が
あった。

【０００６】本発明は、上記問題点に鑑みてなされたも
ので、視点を移動して観察できる範囲が従来よりも広
く、かつその場合でも必要なデ−タ量があまり多くなら
ないような画像処理方法及び画像処理装置を提供するこ
とにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理装置は、それぞれ異なる位置を視
点とする複数の画像を多視点画像データとして入力する
多視点画像入力手段と、前記入力された多視点画像を空
間を飛来する光線群に変換する画像変換手段と、前記変
換された光線群の各々を、放射状に並べられた複数の基
準面と該光線とのなす角度が最も垂直に近い平面に対応
した光線空間に、光線空間データとして記録する光線記
録手段と、生成すべき画像の視点位置及び視線方向を入
力する視点位置・視線方向入力手段と、生成すべき画像
の各画素毎に、前記光線空間データからその画素値を決
定するために必要な画像を導出する画像導出手段と、前
記導出された画像中の必要なスキャンラインの位置と該
スキャンライン中の画素位置を導出する画素位置導出手
段と、生成すべき画像の各画素値を決定する画素値決定
手段と、前記導出された画像と前記画素位置と前記画素
値とに基づいて、所望の画像を生成する画像生成手段
と、前記生成された画像を表示画面上に表示する表示手
段とを設けた。

【０００８】また、本発明の画像処理方法は、それぞれ
異なる位置を視点とする複数の画像を多視点画像データ
として入力する多視点画像入力工程と、前記入力された
多視点画像を空間を飛来する光線群に変換する画像変換
工程と、前記変換された光線群の各々を、放射状に並べ
られた複数の基準面と該光線とのなす角度が最も垂直に
近い平面に対応した光線空間に、光線空間データとして
記録する光線記録工程と、生成すべき画像の視点位置及
び視線方向を入力する視点位置・視線方向入力工程と、
生成すべき画像の各画素毎に、前記光線空間データから
その画素値を決定するために必要な画像を導出する画像
導出工程と、前記導出された画像中の必要なスキャンラ
インの位置と該スキャンライン中の画素位置を導出する
画素位置導出工程と、生成すべき画像の各画素値を決定
する画素値決定工程と、前記導出された画像と前記画素
位置と前記画素値とに基づいて、所望の画像を生成する
画像生成工程と、前記生成された画像を表示画面上に表
示する表示工程とを設けた。

【０００９】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１０】（第１実施形態）図１は第１実施形態の画
像処理装置の構成を示す図である。図中、１１は複数の
視点位置から被写体を撮影した多視点画像を入力する画
像入力装置、１２は観察者の視点位置・視線方向を検出
する視点位置・視線方向検出装置、１３は記憶装置１４
に記憶されている処理手順に従って処理を行う中央処理
装置、１４は中央処理装置１３を制御するプログラムや
データを記憶しておく記憶装置、１５はＦＤ（フロッピ
ーディスク）・ＣＤ−ＲＯＭ・ＲＯＭ・磁気テープ等に
記憶されたプログラムやデータを読み取る記憶媒体読み
取り装置、１６は中央処理装置１３にコマンドやデータ
を入力する入力装置、１７は中央処理装置１３が処理し
た結果を表示する表示装置である。

【００１１】ここで、記憶装置１４には、中央処理装置
１３を制御するプログラム１４ａの他、基準面数１４
ｂ、視点位置１４ｃ、視線方向１４ｄ、画像サイズ１４
ｅ、画角１４ｆ、画像パラメータ１４ｇ、画像１４ｈな
どが格納されている。

【００１２】次に、図２は第１実施形態の画像処理装置
の画像入力装置１１における多視点画像の取得方法の説
明図である。図中、２１は撮影に使用する物体被写体、
２２は被写体２１を周囲から撮影するために、被写体２
１を載せて回転する回転テ−ブル、２３は被写体２１の
撮影に使用するCCDカメラである。

【００１３】被写体２１を回転テ−ブル２２に載せて回
転させながら、CCDカメラ２３により多視点画像を撮影
する。CCDカメラ２３により撮影された多視点画像は、
記憶装置１４に記憶される。

【００１４】次に、本実施形態の動作について説明す
る。ここでは、説明を簡単にするために、y軸方向の視
差を省略した場合のみを説明するが、y軸方向の視差が
ある場合でも、同様に拡張できることは言うまでもな
い。まずこの動作の概略を図３を用いて説明する。

【００１５】図３は第１実施形態の画像処理装置の処理
の流れを示すフローチャートである。

【００１６】処理に先立ち、ステップＳ３１において記
憶装置１４中のワークエリアや使用する変数等の初期化
が行われる。

【００１７】次にステップＳ３２において光線空間の基
準面数とその配置を決定する。これは、予め決められた
値を使用しても良いし、処理の開始時に入力装置１６か
らオペレータが入力する方法をとってもよい。また、観
察可能な領域が制限されている場合は、それに合わせた
枚数の基準面を設定してもよく、上記に限らない。

【００１８】ここでは４枚の基準面のｕ軸が重なり、か
つｕ軸を中心に９０度づつずれるように配置する。この
配置をここでは、水車型配置と呼ぶことにし、この様子
を図４に示す。本実施形態では、4枚の基準面を使用す
る例を示したが、これに限らずnはn≧１の整数であれば
よい。

【００１９】ここで、第１実施形態の画像処理装置の光
線空間を表現するために放射状に配置された基準面を使
用する場合を説明する。

【００２０】放射状に配置するとは、すべての基準面
を、物体を通過する一本の直線（ここでは、この直線を
Ｙ軸とする）上で交叉させ、それぞれ隣り合う基準面が
なす角度がすべて同じになるように、かつ基準面のひと
つがZ軸に対してα／２（ただし、αは隣り合う基準面
がなす角度）の角度をなすように配置することである。
そして、このように配置されたそれぞれの基準面とその
基準面を通過する光線のなす角度を調べ、その角度が最
も直角に近くなる基準面に対応する光線空間にその光線
を記録する。ここでは、放射状に配置された４枚の基準
面を使用する場合について述べる。図４中、４１は被写
体２１から届く光線でその角度が0≦φ<90度の範囲にあ
る光線の軌跡を記録するための光線空間に対応する基準
面１、４２は被写体２１から届く光線でその角度が90≦
φ<180度の範囲にある光線の軌跡を記録するための光線
空間に対応する基準面２、４３は被写体２１から届く光
線でその角度が180≦φ<270度の範囲にある光線の軌跡
を記録するための光線空間に対応する基準面３、４４は
被写体２１から届く光線でその角度が270≦φ<360度の
範囲にある光線の軌跡を記録するための光線空間に対応
する基準面４である。

【００２１】そして、ステップS３２の処理に続いて、
ステップＳ３３において、視点位置・視線方向検出装置
１２により観察者の視点位置・視線方向を検出する。こ
こでは、観察者の視点位置・視線方向の画像を所望の画
像と考えているため、視点位置・視線方向検出装置１２
を利用したが、これに限らずオペレ−タの所望の画像
（視点位置、視線方向）を入力する別の手段を利用して
もよい。

【００２２】その後、ステップＳ３４において生成した
い画像のサイズ、画角が決定される。これは、オペレー
タが入力装置１６から入力することにより行ってもよい
し、記憶装置１４に予め記憶した値を用いてもよい。あ
るいは、表示装置１７の解像度や中央処理装置１３の処
理能力に応じて値を決定してもよく、上記に限らない。

【００２３】画像サイズや画角が決定されると、ステッ
プＳ３５に移り、ここで記憶装置１４に記憶された多視
点画像データと画像撮影時のパラメータ(光軸の方向
α、画角ω、ＣＣＤの走査線方向の画素数Ｎ、ライン数
Ｍ、撮影位置（x、z））が抽出される。そして抽出され
たパラメ−タからカメラのレンズ中心とＣＣＤの各画素
を通過する光線の方向φを求め、φの値により前記4枚
の基準面のどれに記録するかを決定する。（１）式、
（２）式に従って、決定された基準面に対応したx-u空
間に光線の色、光線に対応するもとの多視点画像の番号
と画素の番号を記録する。

【００２４】ここで、第１実施形態の画像処理装置の光
線空間デ−タの生成について、図５を用いて説明する。
図中、５１はカメラの光軸、５２はカメラの画角、５３
はカメラのレンズ中心、５４はカメラのCCD面、５５は
カメラのCCD面５４上のi番目の画素とカメラのレンズ中
心５３を結んだ直線とX軸との交点である。

【００２５】それでは、この図５をもとに、ステップS
３５に続く、ステップＳ３６の動作を具体的に説明す
る。

【００２６】図５に示すように、多視点画像中のある画
像の撮影条件としてカメラのレンズ中心５３の位置を
(x、z)、カメラの光軸５１の方向をα、カメラの画角５
２をω、カメラのCCD面５４の画素数をNとする。また、
図のようにカメラのCCD面５４上の各画素に番号を付け
る。

【００２７】まず、カメラのCCD面５４の第一ライン上
のi(-N/2 ≦i＜N/2)番目の画素とカメラのレンズ中心５
３を結んだ光線がどの基準面からの光線かを判定する。
この判定は、光線とz軸とのなす角度によりなされ、こ
の角度φは（３）式で与えられる。

【００２８】 φ=atan(i*tan(ω/2．0)/N/2)+α （３）但し、atanは逆正接を表す。この時、光線の角度(方
向）φが0≦φ<90の場合は基準面１４１、90≦φ<180の
場合は基準面２４２、180≦φ<270の場合は基準面３４
３、270≦φ<360の場合は基準面４４４からの光線であ
ると判定する。そして、その基準面に対応するx-u空間
上の（１）式、（２）式で与えられる位置にこの光線の
色を記録する。但し、（１）式、（２）式は基準面をz=
0に設定したときに対応する式なので、次のような前処
理を施しておく。

【００２９】もし、光線が基準面３４３からのものであ
るならば、カメラのレンズ中心５３の位置を225度回転
させ、光線の方向φを225度だけ差し引く。これによ
り、基準面３４３はz=0の平面となり、（１）式、
（２）式が適用可能となる。基準面１４１、基準面２４
２、基準面４４４の場合もそれぞれ45度、135度、315度
だけ同様の処理を行うことにより、（１）式、（２）式
が適用可能となる。（一般的には、回転角および差し引
く角度は、c1≦φ<c2としたとき、(c1+c2)/2で求め
る。）

【００３０】以上の処理を-N/2 ≦i＜N/2のすべての画
素を通過する光線に対して行い、対応するx-u空間に対
応する多視点画像の画像番号及びその画像の第一ライン
中の画素位置（画素番号）を記録する。さらにこれを入
力された全ての多視点画像に対して繰り返し行う。この
処理により入力された多視点画像から求められたすべて
の光線が4つのx-u空間に記録されることになる。ここで
は、多視点画像の第一ラインに対してのみ処理を行な
い、残りのラインに対しては処理していない。これは、
上下（y方向）の視差を省略する場合、第一ラインのみ
を処理すれば残りのラインはこれと同じx-u空間の同じ
位置にマッピングされるため、各画像中の第一ラインに
対して処理しておけば、他のラインも同様に求まるから
である。

【００３１】その後、ステップＳ３７において、各x-u
空間上で値が未定の部分を補間する。この処理は、もっ
とも近傍の値をとってくる方法でも、あるいはx-u空間
上で対応点検出を行ない、対応点の軌跡を求めてこれか
ら内挿するという方法でもよい。また、その他の補間手
法を用いてもよい。

【００３２】次にステップＳ３８において観察者の視点
位置および視線方向から、それに応じた画像が生成され
て、一連の処理を終了する。

【００３３】ここで、ステップS３８の画像の生成につ
いて、更に詳しく説明する。

【００３４】観察者の視点位置を(x、z)、視線方向を
α、視野角ωと仮定すれば、観察者に見える画像は、カ
メラのレンズ中心の位置が(x、z)、光軸方向がα、画角
ωの仮想カメラで撮影した画像と等価である。そこで、
この仮想カメラで撮影した画像を考え、前述の方法にし
たがってこの画像から求められる光線がx-u空間のどの
位置にマッピングされるかを計算する。この時の計算式
は、（１）式、（２）式と同じである。これにより、x-
u空間上の対応する位置に記録されている画像番号と画
素番号が分かるので、次に、ライン番号を計算する。こ
れを図６を用いて説明する。

【００３５】図６は第１実施形態の画像処理装置の対応
するライン番号を求める原理を示す図である。図中、６
１は被写体、６２は再構成したい視点位置Pの画像、６
３は画像入力装置１１より得られた多視点画像中の視点
位置Sの画像である。

【００３６】被写体６１中の一点Bについて考える。点B
がY軸に近いか、再構成したい視点位置Pの画像６２のz
座標値Ｐｚ、画像入力装置１１より得られた多視点画像
中の視点位置Sの画像６３のz座標値Ｓｚが十分に大き
い、または、再構成したい視点位置Pの画像６２のz座標
値Ｐｚ、画像入力装置１１より得られた多視点画像中
の視点位置Sの画像６３のz座標値Ｓｚがほぼ同じ値であ
ると仮定する。このとき、点Bから発する光線は再構成
したい視点位置Pの画像６２中のmライン目と画像入力装
置１１より得られた多視点画像中の視点位置Sの画像６
３中のnライン目に記録される。そこで、カメラのCCD面
５４の画素ピッチをd、CCDカメラ２３の焦点距離をf、
カメラのCCD面５４のライン数をNとすれば、 Pz・tanα= Sz・tanβ （４） tanα= d・(N/2-m)/ （５） tanβ= d・(N/2-n)/f （６）となる。（４）式、（５）式、（６）式より、 n = N/2 + (m - N/2)・Sz/Pz （７）が得られる。

【００３７】従って、再構成したい視点位置Pの画像６
２のm番目のスキャンラインの値は、画像入力装置１１
より得られた多視点画像中の視点位置Sの画像６３の
（７）式で与えられるn番目のスキャンラインの値と等
価になる。

【００３８】ライン番号が求まると入力画像群中の画素
が一意に決定されるので、その画素の色を先程の光線に
対応する仮想カメラ画像の画素に与える。もし一意に決
定された画素が存在しない場合は、x-u空間上の記録さ
れている光線の最も近いもので代用するか、又は、予め
決められた値を与える。

【００３９】以上の処理を仮想カメラ画像の全ての画素
に対して行うことにより、観察者の視点位置、視線方向
に対応した画像を生成することができる。

【００４０】以上のように構成することにより、1枚の
基準面では表現できなかった領域も表現することができ
るようになる。また、複数の基準面を使用することによ
り、各基準面とそこを通過する光線のなす角度が垂直に
近くなるため、各基準面に対応したx-u空間の面積が小
さくなり、その結果、保持しておくべきデ−タ量が少な
くなるという利点がある。

【００４１】なお、視点位置・視線方向検出装置１２に
は視点位置・視線方向が検出できるものであれば何でも
よい。また、表示装置１７に、レンチキュラ方式やメガ
ネ方式などの両眼立体視が可能な立体表示部を用い、か
つ、ステップＳ３８が観察者の左右おのおのの目の位置
に対応する画像を生成することにより、観察者の視点移
動に対応可能な両眼立体表示装置となる。

【００４２】（第２実施形態）第１実施形態中の基準面
の配置を変更した場合について次に示す。

【００４３】図１２は、第２実施形態の画像処理装置の
被写体を覆うように配置した複数の基準面を示す図であ
る。図中、１２１は被写体を囲むように配置した基準面
のひとつである基準面ａである。また、図１３は、この
図１２を上方から観察した様子を示す図である。

【００４４】図１３のように、基準面ａ１２１にY軸か
ら降ろした垂線とz軸のなす角度をθ、また、基準面ａ
１２１とY軸との距離をrとする。

【００４５】まず、第１実施形態の時と同様に、どの基
準面にどの方向の光線を記録するかを決定する。仮に、
光線とZ軸のなす角度ξ（図１３のθと同様に計測す
る）がｈ１≦ξ＜ｈ２の範囲にある光線を基準面ａ１２
１に記録すると仮定する。第１実施形態では、基準面と
カメラ位置、光線方向を回転させ、z＝０の位置に基準
面がくるようにすることで、（１）式、（２）式が使用
できるようにした。そこで、ここでも同様に、基準面と
カメラ位置、光線方向をーθ回転させ、かつ、ーr平行移
動させることにより、z＝０の位置に基準面がくるよう
にし、（１）式、（２）式が使用できるようにした。被
写体を囲んだすべての基準面に対してこの処理を行うこ
とにより、第１実施形態と同様の方法で処理を行い、任
意視点画像を生成することが可能となる。

【００４６】尚、ライン番号を求める際に使用するY軸
からカメラまでの距離は、回転と平行移動を行った後の
Y軸とカメラの距離を用いる。

【００４７】（第３実施形態）第１実施形態中では、
（１）式、（２）式により与えられるx-u空間上の位置
に記録されている光線が存在しない場合、この平面上の
記録されている光線の最も近いものを与えるという方法
をとっている。これを予め補間処理により求めておけ
ば、より精度のより画像を生成することができる。以下
にこの補間処理方法について述べる。

【００４８】x-u空間上では、実空間中の一点はステッ
プＳ３７に示すような直線状の軌跡をとる。そこで、こ
の性質を利用して、x-u空間上に直線を引き、この直線
上に存在する光線の色を調べ、それらが全て似たような
色であれば、この直線は実空間中の一点の軌跡であると
考え、直線上の光線の存在しない位置にそれらの色の平
均値を与える。この処理をx-u空間上に値の未定な(色が
与えられていない）領域が存在しなくなるまで、あらゆ
る直線を仮定して行う。

【００４９】このように補間処理を行うことにより、単
に近傍地点の光線の色で代用していたときよりも生成し
た画像の質が向上するという利点がある。

【００５０】（その他の実施形態）第１実施形態では、
複数の視点位置で撮影された画像が画像入力装置１１よ
り入力されるとしたが、これに限らず、データベースや
ＣＤ−ＲＯＭ等の蓄積メディアから記憶媒体読み取り装
置１５を介して記憶装置１４に入力しても良い。

【００５１】また、本発明は、複数の機器から構成され
るシステムに適用しても、ひとつの機器からなる装置に
適用しても良い。また、本発明はシステムあるいは装置
にプログラムを供給することによって実施される場合に
も適用されることはいうまでもない。この場合、本発明
に掛るプログラムを格納した記憶媒体が、本発明を構成
することになる。そして、該記憶媒体からそのプログラ
ムをシステムあるいは装置に読み出すことによって、そ
のシステムあるいは装置が、予め定められた方法で動作
する。

【００５２】

【発明の効果】以上説明したように本発明は、多視点画
像を複数の基準面に対応した光線空間デ−タに変換する
ため、1枚の基準面では表現できなかった領域も表現す
ることができる。また、複数の基準面を使用することに
より、各基準面とそこを通過する光線のなす角度が垂直
に近くなるため、各基準面に対応したx-u空間の面積が
小さくなり、その結果、保持しておくべきデ−タ量が少
なくなるという効果がある。

【図面の簡単な説明】

【図１】第１実施形態の画像処理装置の構成を示す図で
ある。

【図２】第１実施形態の画像処理装置の画像入力装置１
１における多視点画像の取得方法の説明図である。

【図３】第１実施形態の画像処理装置の処理の流れを示
すフローチャートである。

【図４】第１実施形態の画像処理装置の光線空間を表現
するために放射状に配置された４枚の基準面を使用する
場合の説明図である。

【図５】第１実施形態の画像処理装置の光線空間デ−タ
の生成の説明図である。

【図６】第１実施形態の画像処理装置の対応するライン
番号を求める原理を示す図である。

【図７】第１実施形態の画像処理装置の基準面の説明図
である。

【図８】第１実施形態の画像処理装置の点Ｐを通過する
光線の説明図である。

【図９】第１実施形態の画像処理装置のx-u空間の説明
図である。

【図１０】第１実施形態の画像処理装置の被写体と撮影
視点位置の関係の説明図である。

【図１１】第１実施形態の画像処理装置の撮影視点位置
を通過する光線群の軌跡と点Ｑを通過する光線群の軌跡
の説明図である。

【図１２】第２実施形態の画像処理装置の被写体を覆う
ように配置した複数の基準面を示す図である。

【図１３】第２実施形態の画像処理装置の図１２を上方
から観察した様子を示す図である。

【符号の説明】

１１画像入力装置１２視点位置・視線方向検出装置１３中央処理装置１４記憶装置１５記憶媒体読み取り装置１６入力装置１７表示装置

Claims

【特許請求の範囲】

【請求項１】それぞれ異なる位置を視点とする複数の
画像を多視点画像データとして入力する多視点画像入力
手段と、前記入力された多視点画像を空間を飛来する光線群に変
換する画像変換手段と、前記変換された光線群の各々を、放射状に並べられた複
数の基準面と該光線とのなす角度が最も垂直に近い平面
に対応した光線空間に、光線空間データとして記録する
光線記録手段と、生成すべき画像の視点位置及び視線方向を入力する視点
位置・視線方向入力手段と、生成すべき画像の各画素毎に、前記光線空間データから
その画素値を決定するために必要な画像を導出する画像
導出手段と、前記導出された画像中の必要なスキャンラインの位置と
該スキャンライン中の画素位置を導出する画素位置導出
手段と、生成すべき画像の各画素値を決定する画素値決定手段
と、前記導出された画像と前記画素位置と前記画素値とに基
づいて、所望の画像を生成する画像生成手段と、前記生成された画像を表示画面上に表示する表示手段と
を備えることを特徴とする画像処理装置。
【請求項２】前記放射状に並べられた複数の基準面
は、物体を通過する一本の直線上で交叉し、隣り合う平
面となす角度がすべて同じになるように配置され、かつ
基準面のひとつがZ軸に対して、隣り合う基準面がなす
角度の半分の角度をなすように配置されていることを特
徴とする請求項１記載の画像処理装置。
【請求項３】基準面がz=0の平面に一致するように回
転させた時の回転角度だけその基準面を通過する光線群
を回転させ、この状態で、回転させた光線がz=0の平面
を通過する位置とその時の光線方向を用いて、その基準
面に対応する光線空間に記録することを特徴とする請求
項２記載の画像処理装置。
【請求項４】それぞれ異なる位置を視点とする複数の
画像を多視点画像データとして入力する多視点画像入力
手段と、前記入力された多視点画像を空間を飛来する光線群に変
換する画像変換手段と、前記変換された光線群の各々を、被写体の少なくとも一
部を囲むように配置された複数の平面と該光線とのなす
角度が最も垂直に近い平面に対応した光線空間に、光線
空間データとして記録する光線記録手段と、生成すべき画像の視点位置及び視線方向を入力する視点
位置・視線方向入力手段と、生成すべき画像の各画素毎に光線空間データからその画
素値を決定するために必要な画像を導出する画像導出手
段と、導出された画像中の必要なスキャンラインの位置とスキ
ャンライン中の画素位置を導出する画素位置導出手段
と、生成すべき画像の各画素値を決定する画素値決定手段
と、前記導出された画像と前記画素位置と前記画素値とに基
づいて、所望の画像を生成する画像生成手段と、前記生成された画像を表示画面上に表示する表示手段と
を備えることを特徴とする画像処理装置。
【請求項５】それぞれ異なる位置を視点とする複数の
画像を多視点画像データとして入力する多視点画像入力
工程と、前記入力された多視点画像を空間を飛来する光線群に変
換する画像変換工程と、前記変換された光線群の各々を、放射状に並べられた複
数の基準面と該光線とのなす角度が最も垂直に近い平面
に対応した光線空間に、光線空間データとして記録する
光線記録工程と、生成すべき画像の視点位置及び視線方向を入力する視点
位置・視線方向入力工程と、生成すべき画像の各画素毎に、前記光線空間データから
その画素値を決定するために必要な画像を導出する画像
導出工程と、前記導出された画像中の必要なスキャンラインの位置と
該スキャンライン中の画素位置を導出する画素位置導出
工程と、生成すべき画像の各画素値を決定する画素値決定工程
と、前記導出された画像と前記画素位置と前記画素値とに基
づいて、所望の画像を生成する画像生成工程と、前記生成された画像を表示画面上に表示する表示工程と
を備えることを特徴とする画像処理方法。
【請求項６】前記放射状に並べられた複数の基準面
は、物体を通過する一本の直線上で交叉し、隣り合う平
面となす角度がすべて同じになるように配置され、かつ
基準面のひとつがZ軸に対して、隣り合う基準面がなす
角度の半分の角度をなすように配置されていることを特
徴とする請求項５記載の画像処理方法。
【請求項７】基準面がz=0の平面に一致するように回
転させた時の回転角度だけその基準面を通過する光線群
を回転させ、この状態で、回転させた光線がz=0の平面
を通過する位置とその時の光線方向を用いて、その基準
面に対応する光線空間に記録することを特徴とする請求
項６記載の画像処理方法。
【請求項８】それぞれ異なる位置を視点とする複数の
画像を多視点画像データとして入力する多視点画像入力
工程と、前記入力された多視点画像を空間を飛来する光線群に変
換する画像変換工程と、前記変換された光線群の各々を、被写体の少なくとも一
部を囲むように配置された複数の平面と該光線とのなす
角度が最も垂直に近い平面に対応した光線空間に、光線
空間データとして記録する光線記録工程と、生成すべき画像の視点位置及び視線方向を入力する視点
位置・視線方向入力工程と、生成すべき画像の各画素毎に光線空間データからその画
素値を決定するために必要な画像を導出する画像導出工
程と、導出された画像中の必要なスキャンラインの位置とスキ
ャンライン中の画素位置を導出する画素位置導出工程
と、生成すべき画像の各画素値を決定する画素値決定工程
と、前記導出された画像と前記画素位置と前記画素値とに基
づいて、所望の画像を生成する画像生成工程と、前記生成された画像を表示画面上に表示する表示工程と
を備えることを特徴とする画像処理方法。