JPH1027264A - Image processor and image processing method - Google Patents
Image processor and image processing methodInfo
- Publication number
- JPH1027264A JPH1027264A JP17907896A JP17907896A JPH1027264A JP H1027264 A JPH1027264 A JP H1027264A JP 17907896 A JP17907896 A JP 17907896A JP 17907896 A JP17907896 A JP 17907896A JP H1027264 A JPH1027264 A JP H1027264A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- ray
- deriving
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、視点の異なる複数
の画像を入力とし、観察者の、その時々の目の位置に応
じた視点位置を有する画像を出力する画像処理装置およ
び画像処理方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and an image processing method for inputting a plurality of images having different viewpoints and outputting an image having a viewpoint position corresponding to an eye position of an observer at each time. Things.
【０００２】[0002]
【従来の技術】従来より、図７に示すような座標系にz
＝０の平面を仮定し、この平面（これを基準面７１と呼
ぶことにする）を通過する光線の集合として３次元空間
を表現する手法（光線空間による３次元空間表現）が提
案されている。この手法では、３次元空間内のz≧０に
ある視点位置Pで観察できる画像は、この基準面７１を
通過する光線の集合からPを通過する光線のみをサンプ
リングして得られる画像と等価になる（図８参照）。一
般的には、各光線は基準面７１を通過する位置（x、
y）、各光線がx軸、y軸のそれぞれとなす角度をφ、
ψ、光線が平面を通過した時間ｔ、光線の色（r、g、
b）で表されるが、実際には、計算量やデ−タ量が膨大
になるという問題から、対象は静止物体でy軸方向の視
差はないと仮定されることが多い。この仮定のもとでu=
tanφとおいて各光線を光線空間（この場合はx-u空間）
に射影し、この射影されたx-u空間で光線空間を扱う場
合、ある点Pを通過する光線は図９に示すように直線状
の軌跡をなす。この軌跡は以下の式で表される。2. Description of the Related Art Conventionally, a coordinate system as shown in FIG.
A method of expressing a three-dimensional space as a set of light rays passing through this plane (referred to as a reference plane 71), assuming a plane of = 0 (three-dimensional space expression by a ray space) has been proposed. . In this method, an image that can be observed at a viewpoint position P at z ≧ 0 in a three-dimensional space is equivalent to an image obtained by sampling only light rays passing through P from a set of light rays passing through this reference plane 71. (See FIG. 8). In general, each ray passes through the reference plane 71 (x,
y), φ is the angle that each ray makes with the x-axis and y-axis, respectively.
ψ, the time t when the ray passed through the plane, the color of the ray (r, g,
In reality, it is often assumed that the target is a stationary object and there is no parallax in the y-axis direction because of the problem of a large amount of calculation and data. Under this assumption, u =
Let tanφ be each ray in ray space (in this case, xu space)
When the ray space is handled in the projected xu space, the ray passing through a certain point P forms a linear trajectory as shown in FIG. This locus is represented by the following equation.
【０００３】x=X-Z・u （１） u=tanφ （２） ここで(X、Z)は観察視点位置を表し、xは光線がx-u空間
上のx軸と交差する位置を表す。また、φは光線がz軸と
なす角度を表す。X = XZ · u (1) u = tanφ (2) where (X, Z) represents an observation viewpoint position, and x represents a position where a light ray intersects the x axis in the xu space. Φ represents an angle between the light beam and the z-axis.
【０００４】まず、図１０に示すように多数の視点位置
で得られた画像から直線状の軌跡を求め、この軌跡群に
よりx-u空間が密に埋められていると仮定する。この
時、z≧０にある視点位置Qの画像は、図１１に示すよう
にx-u空間上でQを通過するの軌跡を求め、その軌跡上に
すでに記録されている光線の色を逆に求めることにより
得ることができる。First, as shown in FIG. 10, a linear trajectory is obtained from images obtained at a number of viewpoint positions, and it is assumed that the xu space is densely filled with the trajectory group. At this time, for the image at the viewpoint position Q at z ≧ 0, the trajectory of passing through Q in the xu space is determined as shown in FIG. 11, and the color of the light beam already recorded on the trajectory is determined in reverse. Can be obtained.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、上記従
来例では基準面としてz=0に設定した１枚の平面を使用
しているため、観察できる視点位置はz ≧０に限られ、
視点移動して観察できる範囲が狭かった。また、一枚の
x-u空間で３次元空間を表現する場合、φが±90度に近
い時（あるいは基準面とこれを通過する光線が平行に近
いとき）にはtanφが発散するため、無限に広いx-u空
間、すなわち膨大なデ−タ量が必要となるという問題が
あった。However, in the above conventional example, since one plane set at z = 0 is used as the reference plane, the observable viewpoint position is limited to z ≧ 0.
The range that can be observed by moving the viewpoint was narrow. In addition, one piece
When expressing a three-dimensional space in xu space, when φ is close to ± 90 degrees (or when the reference plane and rays passing therethrough are close to parallel), tanφ diverges, so an infinitely wide xu space, that is, There is a problem that a huge amount of data is required.
【０００６】本発明は、上記問題点に鑑みてなされたも
ので、視点を移動して観察できる範囲が従来よりも広
く、かつその場合でも必要なデ−タ量があまり多くなら
ないような画像処理方法及び画像処理装置を提供するこ
とにある。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and has been made in view of the above circumstances. A method and an image processing apparatus are provided.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理装置は、それぞれ異なる位置を視
点とする複数の画像を多視点画像データとして入力する
多視点画像入力手段と、前記入力された多視点画像を空
間を飛来する光線群に変換する画像変換手段と、前記変
換された光線群の各々を、放射状に並べられた複数の基
準面と該光線とのなす角度が最も垂直に近い平面に対応
した光線空間に、光線空間データとして記録する光線記
録手段と、生成すべき画像の視点位置及び視線方向を入
力する視点位置・視線方向入力手段と、生成すべき画像
の各画素毎に、前記光線空間データからその画素値を決
定するために必要な画像を導出する画像導出手段と、前
記導出された画像中の必要なスキャンラインの位置と該
スキャンライン中の画素位置を導出する画素位置導出手
段と、生成すべき画像の各画素値を決定する画素値決定
手段と、前記導出された画像と前記画素位置と前記画素
値とに基づいて、所望の画像を生成する画像生成手段
と、前記生成された画像を表示画面上に表示する表示手
段とを設けた。To achieve the above object, an image processing apparatus according to the present invention comprises a multi-view image input means for inputting a plurality of images each having a different position as a viewpoint as multi-view image data; Image conversion means for converting the input multi-viewpoint image into a group of rays that fly in space, and each of the converted groups of rays is formed by a plurality of radially arranged reference planes and an angle between the rays. In a ray space corresponding to a nearly perpendicular plane, a ray recording unit that records as ray space data, a viewpoint position and a line-of-sight input unit that inputs a viewpoint position and a line-of-sight direction of an image to be generated, and each of an image to be generated. Image deriving means for deriving an image necessary for determining a pixel value from the ray space data for each pixel, a position of a required scan line in the derived image, and A pixel position deriving unit that derives a pixel position, a pixel value determining unit that determines each pixel value of an image to be generated, and a desired image based on the derived image, the pixel position, and the pixel value. An image generating means for generating the image and a display means for displaying the generated image on a display screen are provided.
【０００８】また、本発明の画像処理方法は、それぞれ
異なる位置を視点とする複数の画像を多視点画像データ
として入力する多視点画像入力工程と、前記入力された
多視点画像を空間を飛来する光線群に変換する画像変換
工程と、前記変換された光線群の各々を、放射状に並べ
られた複数の基準面と該光線とのなす角度が最も垂直に
近い平面に対応した光線空間に、光線空間データとして
記録する光線記録工程と、生成すべき画像の視点位置及
び視線方向を入力する視点位置・視線方向入力工程と、
生成すべき画像の各画素毎に、前記光線空間データから
その画素値を決定するために必要な画像を導出する画像
導出工程と、前記導出された画像中の必要なスキャンラ
インの位置と該スキャンライン中の画素位置を導出する
画素位置導出工程と、生成すべき画像の各画素値を決定
する画素値決定工程と、前記導出された画像と前記画素
位置と前記画素値とに基づいて、所望の画像を生成する
画像生成工程と、前記生成された画像を表示画面上に表
示する表示工程とを設けた。In the image processing method according to the present invention, a multi-viewpoint image input step of inputting a plurality of images each having a different position as a viewpoint as multi-viewpoint image data, and flying the input multi-viewpoint image in space. An image conversion step of converting into a group of light rays, and converting each of the converted groups of light rays into a ray space corresponding to a plane in which the angle between the plurality of reference planes arranged radially and the ray is closest to the vertical. A ray recording step of recording as spatial data, a viewpoint position / viewing direction input step of inputting a viewpoint position and a viewing direction of an image to be generated,
For each pixel of the image to be generated, an image deriving step of deriving an image necessary for determining the pixel value from the ray space data, a position of a required scan line in the derived image and the scan A pixel position deriving step of deriving a pixel position in a line, a pixel value determining step of determining each pixel value of an image to be generated, and a desired value based on the derived image, the pixel position, and the pixel value. And a display step of displaying the generated image on a display screen.
【０００９】[0009]
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。Next, embodiments of the present invention will be described with reference to the drawings.
【００１０】（第１実施形態）図１は第１実施形態の画
像処理装置の構成を示す図である。図中、１１は複数の
視点位置から被写体を撮影した多視点画像を入力する画
像入力装置、１２は観察者の視点位置・視線方向を検出
する視点位置・視線方向検出装置、１３は記憶装置１４
に記憶されている処理手順に従って処理を行う中央処理
装置、１４は中央処理装置１３を制御するプログラムや
データを記憶しておく記憶装置、１５はＦＤ（フロッピ
ーディスク）・ＣＤ−ＲＯＭ・ＲＯＭ・磁気テープ等に
記憶されたプログラムやデータを読み取る記憶媒体読み
取り装置、１６は中央処理装置１３にコマンドやデータ
を入力する入力装置、１７は中央処理装置１３が処理し
た結果を表示する表示装置である。(First Embodiment) FIG. 1 is a diagram showing a configuration of an image processing apparatus according to a first embodiment. In the figure, reference numeral 11 denotes an image input device for inputting a multi-viewpoint image obtained by photographing a subject from a plurality of viewpoint positions, reference numeral 12 denotes a viewpoint position / viewing direction detecting device for detecting a viewpoint position / viewing direction of an observer, and reference numeral 13 denotes a storage device 14.
, A storage device for storing programs and data for controlling the central processing unit 13, and 15 for an FD (floppy disk), CD-ROM, ROM, magnetic A storage medium reading device for reading programs and data stored on a tape or the like, an input device 16 for inputting commands and data to the central processing unit 13, and a display device 17 for displaying results processed by the central processing unit 13.
【００１１】ここで、記憶装置１４には、中央処理装置
１３を制御するプログラム１４ａの他、基準面数１４
ｂ、視点位置１４ｃ、視線方向１４ｄ、画像サイズ１４
ｅ、画角１４ｆ、画像パラメータ１４ｇ、画像１４ｈな
どが格納されている。The storage device 14 includes a program 14a for controlling the central processing unit 13 and a reference surface number 14a.
b, viewpoint position 14c, viewing direction 14d, image size 14
e, an angle of view 14f, an image parameter 14g, an image 14h, and the like are stored.
【００１２】次に、図２は第１実施形態の画像処理装置
の画像入力装置１１における多視点画像の取得方法の説
明図である。図中、２１は撮影に使用する物体被写体、
２２は被写体２１を周囲から撮影するために、被写体２
１を載せて回転する回転テ−ブル、２３は被写体２１の
撮影に使用するCCDカメラである。Next, FIG. 2 is an explanatory diagram of a method for acquiring a multi-viewpoint image in the image input device 11 of the image processing apparatus according to the first embodiment. In the figure, reference numeral 21 denotes an object subject used for shooting,
Reference numeral 22 denotes a subject 2 to photograph the subject 21 from the surroundings.
Reference numeral 23 denotes a rotating camera on which the camera 1 is mounted and which rotates.
【００１３】被写体２１を回転テ−ブル２２に載せて回
転させながら、CCDカメラ２３により多視点画像を撮影
する。CCDカメラ２３により撮影された多視点画像は、
記憶装置１４に記憶される。A multi-viewpoint image is captured by a CCD camera 23 while the subject 21 is placed on a rotating table 22 and rotated. The multi-view image captured by the CCD camera 23 is
It is stored in the storage device 14.
【００１４】次に、本実施形態の動作について説明す
る。ここでは、説明を簡単にするために、y軸方向の視
差を省略した場合のみを説明するが、y軸方向の視差が
ある場合でも、同様に拡張できることは言うまでもな
い。まずこの動作の概略を図３を用いて説明する。Next, the operation of this embodiment will be described. Here, for the sake of simplicity, only the case where the parallax in the y-axis direction is omitted will be described, but it goes without saying that the same can be applied to the case where there is parallax in the y-axis direction. First, an outline of this operation will be described with reference to FIG.
【００１５】図３は第１実施形態の画像処理装置の処理
の流れを示すフローチャートである。FIG. 3 is a flowchart showing the flow of processing of the image processing apparatus according to the first embodiment.
【００１６】処理に先立ち、ステップＳ３１において記
憶装置１４中のワークエリアや使用する変数等の初期化
が行われる。Prior to the process, in step S31, a work area in the storage device 14, variables to be used, and the like are initialized.
【００１７】次にステップＳ３２において光線空間の基
準面数とその配置を決定する。これは、予め決められた
値を使用しても良いし、処理の開始時に入力装置１６か
らオペレータが入力する方法をとってもよい。また、観
察可能な領域が制限されている場合は、それに合わせた
枚数の基準面を設定してもよく、上記に限らない。Next, in step S32, the number of reference planes in the ray space and their arrangement are determined. For this, a predetermined value may be used, or a method of inputting by the operator from the input device 16 at the start of the processing may be adopted. When the observable area is limited, the number of reference planes may be set according to the limited area.
【００１８】ここでは４枚の基準面のｕ軸が重なり、か
つｕ軸を中心に９０度づつずれるように配置する。この
配置をここでは、水車型配置と呼ぶことにし、この様子
を図４に示す。本実施形態では、4枚の基準面を使用す
る例を示したが、これに限らずnはn≧１の整数であれば
よい。Here, the four reference planes are arranged so that the u-axis of the reference plane overlaps and is shifted by 90 degrees about the u-axis. This arrangement is herein referred to as a water wheel type arrangement, and this is shown in FIG. In the present embodiment, an example in which four reference planes are used has been described. However, the present invention is not limited to this, and n may be an integer of n ≧ 1.
【００１９】ここで、第１実施形態の画像処理装置の光
線空間を表現するために放射状に配置された基準面を使
用する場合を説明する。Here, a description will be given of a case where reference planes arranged radially are used to represent the ray space of the image processing apparatus of the first embodiment.
【００２０】放射状に配置するとは、すべての基準面
を、物体を通過する一本の直線（ここでは、この直線を
Ｙ軸とする）上で交叉させ、それぞれ隣り合う基準面が
なす角度がすべて同じになるように、かつ基準面のひと
つがZ軸に対してα／２（ただし、αは隣り合う基準面
がなす角度）の角度をなすように配置することである。
そして、このように配置されたそれぞれの基準面とその
基準面を通過する光線のなす角度を調べ、その角度が最
も直角に近くなる基準面に対応する光線空間にその光線
を記録する。ここでは、放射状に配置された４枚の基準
面を使用する場合について述べる。図４中、４１は被写
体２１から届く光線でその角度が0≦φ<90度の範囲にあ
る光線の軌跡を記録するための光線空間に対応する基準
面１、４２は被写体２１から届く光線でその角度が90≦
φ<180度の範囲にある光線の軌跡を記録するための光線
空間に対応する基準面２、４３は被写体２１から届く光
線でその角度が180≦φ<270度の範囲にある光線の軌跡
を記録するための光線空間に対応する基準面３、４４は
被写体２１から届く光線でその角度が270≦φ<360度の
範囲にある光線の軌跡を記録するための光線空間に対応
する基準面４である。Arranging radially means that all the reference planes intersect on a single straight line passing through the object (here, this straight line is set as the Y axis), and the angles formed by the adjacent reference planes are all equal. In other words, one of the reference planes is arranged at an angle of α / 2 (here, α is an angle between adjacent reference planes) with respect to the Z axis.
Then, an angle between each of the reference planes arranged in this way and a light beam passing through the reference plane is checked, and the light ray is recorded in a light ray space corresponding to the reference plane whose angle is closest to a right angle. Here, a case where four reference planes radially arranged are used will be described. In FIG. 4, reference numeral 41 denotes a light beam arriving from the subject 21 and reference surfaces 1 and 42 corresponding to a light beam space for recording a trajectory of a light beam having an angle in the range of 0 ≦ φ <90 degrees. The angle is 90 ≦
The reference planes 2 and 43 corresponding to the ray space for recording the trajectory of the ray in the range of φ <180 degrees are the rays arriving from the subject 21 and the trajectory of the ray whose angle is in the range of 180 ≦ φ <270 degrees. Reference planes 3 and 44 corresponding to a light beam space for recording are reference planes 4 corresponding to a light beam space for recording a trajectory of light rays which reach the subject 21 and whose angles are in the range of 270 ≦ φ <360 degrees. It is.
【００２１】そして、ステップS３２の処理に続いて、
ステップＳ３３において、視点位置・視線方向検出装置
１２により観察者の視点位置・視線方向を検出する。こ
こでは、観察者の視点位置・視線方向の画像を所望の画
像と考えているため、視点位置・視線方向検出装置１２
を利用したが、これに限らずオペレ−タの所望の画像
（視点位置、視線方向）を入力する別の手段を利用して
もよい。Then, following the processing in step S32,
In step S33, the viewpoint position / line-of-sight direction of the observer is detected by the viewpoint position / line-of-sight direction detection device 12. Here, since the image of the observer's viewpoint position and gaze direction is considered as a desired image, the viewpoint position / gaze direction detection device 12
However, the present invention is not limited to this, and another means for inputting a desired image (viewpoint position, line-of-sight direction) of the operator may be used.
【００２２】その後、ステップＳ３４において生成した
い画像のサイズ、画角が決定される。これは、オペレー
タが入力装置１６から入力することにより行ってもよい
し、記憶装置１４に予め記憶した値を用いてもよい。あ
るいは、表示装置１７の解像度や中央処理装置１３の処
理能力に応じて値を決定してもよく、上記に限らない。Thereafter, in step S34, the size and angle of view of the image to be generated are determined. This may be performed by the operator inputting from the input device 16 or using a value stored in the storage device 14 in advance. Alternatively, the value may be determined in accordance with the resolution of the display device 17 or the processing capability of the central processing unit 13, and is not limited thereto.
【００２３】画像サイズや画角が決定されると、ステッ
プＳ３５に移り、ここで記憶装置１４に記憶された多視
点画像データと画像撮影時のパラメータ(光軸の方向
α、画角ω、ＣＣＤの走査線方向の画素数Ｎ、ライン数
Ｍ、撮影位置（x、z））が抽出される。そして抽出され
たパラメ−タからカメラのレンズ中心とＣＣＤの各画素
を通過する光線の方向φを求め、φの値により前記4枚
の基準面のどれに記録するかを決定する。（１）式、
（２）式に従って、決定された基準面に対応したx-u空
間に光線の色、光線に対応するもとの多視点画像の番号
と画素の番号を記録する。When the image size and the angle of view are determined, the process proceeds to step S35, where the multi-viewpoint image data stored in the storage device 14 and the parameters at the time of image shooting (optical axis direction α, angle of view ω, CCD , The number of pixels N, the number of lines M, and the imaging position (x, z)) in the scanning line direction are extracted. Then, the direction φ of the light beam passing through the center of the lens of the camera and each pixel of the CCD is determined from the extracted parameters, and the value of φ determines which of the four reference planes is to be recorded. Equation (1),
According to the equation (2), the color of the light beam, the number of the original multi-viewpoint image corresponding to the light beam, and the pixel number are recorded in the xu space corresponding to the determined reference plane.
【００２４】ここで、第１実施形態の画像処理装置の光
線空間デ−タの生成について、図５を用いて説明する。
図中、５１はカメラの光軸、５２はカメラの画角、５３
はカメラのレンズ中心、５４はカメラのCCD面、５５は
カメラのCCD面５４上のi番目の画素とカメラのレンズ中
心５３を結んだ直線とX軸との交点である。Here, generation of ray space data of the image processing apparatus of the first embodiment will be described with reference to FIG.
In the figure, 51 is the optical axis of the camera, 52 is the angle of view of the camera, 53
Is the camera lens center, 54 is the camera's CCD plane, and 55 is the intersection of the straight line connecting the i-th pixel on the camera's CCD plane 54 and the camera's lens center 53 with the X axis.
【００２５】それでは、この図５をもとに、ステップS
３５に続く、ステップＳ３６の動作を具体的に説明す
る。Then, based on FIG. 5, step S
The operation of Step S36 following Step 35 will be specifically described.
【００２６】図５に示すように、多視点画像中のある画
像の撮影条件としてカメラのレンズ中心５３の位置を
(x、z)、カメラの光軸５１の方向をα、カメラの画角５
２をω、カメラのCCD面５４の画素数をNとする。また、
図のようにカメラのCCD面５４上の各画素に番号を付け
る。As shown in FIG. 5, the position of the lens center 53 of the camera is set as a photographing condition of a certain image in the multi-viewpoint image.
(x, z), the direction of the optical axis 51 of the camera is α, the angle of view of the camera 5
2 is ω, and the number of pixels on the CCD surface 54 of the camera is N. Also,
As shown in the figure, a number is assigned to each pixel on the CCD surface 54 of the camera.
【００２７】まず、カメラのCCD面５４の第一ライン上
のi(-N/2 ≦i＜N/2)番目の画素とカメラのレンズ中心５
３を結んだ光線がどの基準面からの光線かを判定する。
この判定は、光線とz軸とのなす角度によりなされ、こ
の角度φは（３）式で与えられる。First, the i-th pixel (−N / 2 ≦ i <N / 2) on the first line of the CCD surface 54 of the camera and the lens center 5 of the camera
It is determined from which reference plane the ray connecting 3 is from.
This determination is made based on the angle between the light ray and the z-axis, and this angle φ is given by equation (3).
【００２８】 φ=atan(i*tan(ω/2．0)/N/2)+α （３） 但し、atanは逆正接を表す。この時、光線の角度(方
向）φが0≦φ<90の場合は基準面１４１、90≦φ<180の
場合は基準面２４２、180≦φ<270の場合は基準面３４
３、270≦φ<360の場合は基準面４４４からの光線であ
ると判定する。そして、その基準面に対応するx-u空間
上の（１）式、（２）式で与えられる位置にこの光線の
色を記録する。但し、（１）式、（２）式は基準面をz=
0に設定したときに対応する式なので、次のような前処
理を施しておく。Φ = atan (i * tan (ω / 2.0) / N / 2) + α (3) where atan represents an arc tangent. At this time, the reference plane 141 when the angle (direction) φ of the light ray is 0 ≦ φ <90, the reference plane 242 when 90 ≦ φ <180, and the reference plane 34 when 180 ≦ φ <270.
3. If 270 ≦ φ <360, it is determined that the light is from the reference plane 444. Then, the color of this light ray is recorded at the position given by the equations (1) and (2) on the xu space corresponding to the reference plane. However, in the equations (1) and (2), the reference plane is z =
Since the equation corresponds to the case where it is set to 0, the following preprocessing is performed.
【００２９】もし、光線が基準面３４３からのものであ
るならば、カメラのレンズ中心５３の位置を225度回転
させ、光線の方向φを225度だけ差し引く。これによ
り、基準面３４３はz=0の平面となり、（１）式、
（２）式が適用可能となる。基準面１４１、基準面２４
２、基準面４４４の場合もそれぞれ45度、135度、315度
だけ同様の処理を行うことにより、（１）式、（２）式
が適用可能となる。（一般的には、回転角および差し引
く角度は、c1≦φ<c2としたとき、(c1+c2)/2で求め
る。）If the light beam comes from the reference plane 343, the position of the lens center 53 of the camera is rotated by 225 degrees, and the direction φ of the light beam is subtracted by 225 degrees. Accordingly, the reference plane 343 becomes a plane at z = 0, and the equation (1)
Equation (2) becomes applicable. Reference surface 141, reference surface 24
2. In the case of the reference plane 444, the same processing is performed only at 45 degrees, 135 degrees, and 315 degrees, so that the expressions (1) and (2) can be applied. (Generally, when c1 ≦ φ <c2, the rotation angle and the subtraction angle are obtained by (c1 + c2) / 2.)
【００３０】以上の処理を-N/2 ≦i＜N/2のすべての画
素を通過する光線に対して行い、対応するx-u空間に対
応する多視点画像の画像番号及びその画像の第一ライン
中の画素位置（画素番号）を記録する。さらにこれを入
力された全ての多視点画像に対して繰り返し行う。この
処理により入力された多視点画像から求められたすべて
の光線が4つのx-u空間に記録されることになる。ここで
は、多視点画像の第一ラインに対してのみ処理を行な
い、残りのラインに対しては処理していない。これは、
上下（y方向）の視差を省略する場合、第一ラインのみ
を処理すれば残りのラインはこれと同じx-u空間の同じ
位置にマッピングされるため、各画像中の第一ラインに
対して処理しておけば、他のラインも同様に求まるから
である。The above processing is performed on light rays passing through all pixels of -N / 2 ≦ i <N / 2, and the image number of the multi-viewpoint image corresponding to the corresponding xu space and the first line of the image The middle pixel position (pixel number) is recorded. This is repeated for all the input multi-viewpoint images. With this processing, all the light rays obtained from the input multi-viewpoint image are recorded in four xu spaces. Here, processing is performed only on the first line of the multi-viewpoint image, and processing is not performed on the remaining lines. this is,
If the parallax in the vertical direction (y direction) is omitted, if only the first line is processed, the remaining lines are mapped to the same position in the same xu space, so the processing is performed on the first line in each image. This is because other lines can be similarly obtained.
【００３１】その後、ステップＳ３７において、各x-u
空間上で値が未定の部分を補間する。この処理は、もっ
とも近傍の値をとってくる方法でも、あるいはx-u空間
上で対応点検出を行ない、対応点の軌跡を求めてこれか
ら内挿するという方法でもよい。また、その他の補間手
法を用いてもよい。Thereafter, in step S37, each xu
Interpolate the undefined part in space. This processing may be a method of obtaining the nearest value, or a method of detecting a corresponding point in the xu space, finding a trajectory of the corresponding point, and then interpolating. Further, other interpolation methods may be used.
【００３２】次にステップＳ３８において観察者の視点
位置および視線方向から、それに応じた画像が生成され
て、一連の処理を終了する。Next, in step S38, an image corresponding to the viewpoint position and the line-of-sight direction of the observer is generated, and a series of processing ends.
【００３３】ここで、ステップS３８の画像の生成につ
いて、更に詳しく説明する。Here, the generation of the image in step S38 will be described in more detail.
【００３４】観察者の視点位置を(x、z)、視線方向を
α、視野角ωと仮定すれば、観察者に見える画像は、カ
メラのレンズ中心の位置が(x、z)、光軸方向がα、画角
ωの仮想カメラで撮影した画像と等価である。そこで、
この仮想カメラで撮影した画像を考え、前述の方法にし
たがってこの画像から求められる光線がx-u空間のどの
位置にマッピングされるかを計算する。この時の計算式
は、（１）式、（２）式と同じである。これにより、x-
u空間上の対応する位置に記録されている画像番号と画
素番号が分かるので、次に、ライン番号を計算する。こ
れを図６を用いて説明する。Assuming that the observer's viewpoint position is (x, z), the line-of-sight direction is α, and the viewing angle is ω, the image seen by the observer has a camera lens center position of (x, z), an optical axis This is equivalent to an image captured by a virtual camera having a direction α and an angle of view ω. Therefore,
Considering an image taken by this virtual camera, a position in the xu space to which a ray obtained from this image is mapped is calculated according to the above-described method. The calculation formula at this time is the same as the formulas (1) and (2). This gives x-
Since the image number and the pixel number recorded at the corresponding position in the u space are known, the line number is calculated next. This will be described with reference to FIG.
【００３５】図６は第１実施形態の画像処理装置の対応
するライン番号を求める原理を示す図である。図中、６
１は被写体、６２は再構成したい視点位置Pの画像、６
３は画像入力装置１１より得られた多視点画像中の視点
位置Sの画像である。FIG. 6 is a diagram showing the principle of obtaining a corresponding line number in the image processing apparatus according to the first embodiment. In the figure, 6
1 is a subject, 62 is an image at a viewpoint position P to be reconstructed, 6
Reference numeral 3 denotes an image at a viewpoint position S in the multi-view image obtained from the image input device 11.
【００３６】被写体６１中の一点Bについて考える。点B
がY軸に近いか、再構成したい視点位置Pの画像６２のz
座標値Ｐｚ、画像入力装置１１より得られた多視点画像
中の視点位置Sの画像６３のz座標値Ｓｚが十分に大き
い、または、再構成したい視点位置Pの画像６２のz座標
値Ｐｚ 、画像入力装置１１より得られた多視点画像中
の視点位置Sの画像６３のz座標値Ｓｚがほぼ同じ値であ
ると仮定する。このとき、点Bから発する光線は再構成
したい視点位置Pの画像６２中のmライン目と画像入力装
置１１より得られた多視点画像中の視点位置Sの画像６
３中のnライン目に記録される。そこで、カメラのCCD面
５４の画素ピッチをd、CCDカメラ２３の焦点距離をf、
カメラのCCD面５４のライン数をNとすれば、 Pz・tanα= Sz・tanβ （４） tanα= d・(N/2-m)/ （５） tanβ= d・(N/2-n)/f （６） となる。（４）式、（５）式、（６）式より、 n = N/2 + (m - N/2)・Sz/Pz （７） が得られる。Consider a point B in the subject 61. Point B
Is close to the Y axis or z of the image 62 at the viewpoint position P to be reconstructed.
The coordinate value Pz, the z coordinate value Sz of the image 63 at the viewpoint position S in the multi-viewpoint image obtained from the image input device 11 is sufficiently large, or the z coordinate value Pz of the image 62 at the viewpoint position P to be reconstructed, It is assumed that the z-coordinate value Sz of the image 63 at the viewpoint position S in the multi-viewpoint image obtained from the image input device 11 has substantially the same value. At this time, the light rays emitted from the point B are the m-th line in the image 62 at the viewpoint position P to be reconstructed and the image 6 at the viewpoint position S in the multi-view image obtained from the image input device 11.
Recorded on the n-th line in 3. Therefore, the pixel pitch of the CCD surface 54 of the camera is d, the focal length of the CCD camera 23 is f,
Assuming that the number of lines on the CCD surface 54 of the camera is N, Pz ・ tanα = Sz ・ tanβ (4) tanα = d ・ (N / 2-m) / (5) tanβ = d ・ (N / 2-n) / f (6). From Equations (4), (5) and (6), n = N / 2 + (m−N / 2) · Sz / Pz (7) is obtained.
【００３７】従って、再構成したい視点位置Pの画像６
２のm番目のスキャンラインの値は、画像入力装置１１
より得られた多視点画像中の視点位置Sの画像６３の
（７）式で与えられるn番目のスキャンラインの値と等
価になる。Therefore, the image 6 at the viewpoint position P to be reconstructed
The value of the m-th scan line of the image input device 11
This is equivalent to the value of the n-th scan line given by Expression (7) of the image 63 at the viewpoint position S in the obtained multi-viewpoint image.
【００３８】ライン番号が求まると入力画像群中の画素
が一意に決定されるので、その画素の色を先程の光線に
対応する仮想カメラ画像の画素に与える。もし一意に決
定された画素が存在しない場合は、x-u空間上の記録さ
れている光線の最も近いもので代用するか、又は、予め
決められた値を与える。When the line number is determined, a pixel in the input image group is uniquely determined, and the color of the pixel is given to the pixel of the virtual camera image corresponding to the light beam. If there is no uniquely determined pixel, substitute the closest one of the recorded light rays in the xu space, or give a predetermined value.
【００３９】以上の処理を仮想カメラ画像の全ての画素
に対して行うことにより、観察者の視点位置、視線方向
に対応した画像を生成することができる。By performing the above processing on all the pixels of the virtual camera image, an image corresponding to the observer's viewpoint position and line-of-sight direction can be generated.
【００４０】以上のように構成することにより、1枚の
基準面では表現できなかった領域も表現することができ
るようになる。また、複数の基準面を使用することによ
り、各基準面とそこを通過する光線のなす角度が垂直に
近くなるため、各基準面に対応したx-u空間の面積が小
さくなり、その結果、保持しておくべきデ−タ量が少な
くなるという利点がある。With the above configuration, it is possible to express an area that cannot be expressed by one reference plane. In addition, by using a plurality of reference planes, the angle between each reference plane and a ray passing therethrough becomes closer to vertical, so that the area of the xu space corresponding to each reference plane becomes smaller, and as a result, There is an advantage that the amount of data to be stored is reduced.
【００４１】なお、視点位置・視線方向検出装置１２に
は視点位置・視線方向が検出できるものであれば何でも
よい。また、表示装置１７に、レンチキュラ方式やメガ
ネ方式などの両眼立体視が可能な立体表示部を用い、か
つ、ステップＳ３８が観察者の左右おのおのの目の位置
に対応する画像を生成することにより、観察者の視点移
動に対応可能な両眼立体表示装置となる。The viewpoint position / viewing direction detecting device 12 may be any device that can detect the viewpoint position / viewing direction. In addition, by using a stereoscopic display unit capable of binocular stereovision such as a lenticular system or a glasses system as the display device 17 and generating images corresponding to the positions of the left and right eyes of the observer in step S38. Thus, the binocular stereoscopic display device can respond to the movement of the viewpoint of the observer.
【００４２】（第２実施形態）第１実施形態中の基準面
の配置を変更した場合について次に示す。(Second Embodiment) The case where the arrangement of the reference plane in the first embodiment is changed will be described below.
【００４３】図１２は、第２実施形態の画像処理装置の
被写体を覆うように配置した複数の基準面を示す図であ
る。図中、１２１は被写体を囲むように配置した基準面
のひとつである基準面ａである。また、図１３は、この
図１２を上方から観察した様子を示す図である。FIG. 12 is a diagram showing a plurality of reference planes arranged so as to cover a subject of the image processing apparatus according to the second embodiment. In the figure, reference numeral 121 denotes a reference plane a which is one of the reference planes arranged so as to surround the subject. FIG. 13 is a diagram showing a state in which FIG. 12 is observed from above.
【００４４】図１３のように、基準面ａ１２１にY軸か
ら降ろした垂線とz軸のなす角度をθ、また、基準面ａ
１２１とY軸との距離をrとする。As shown in FIG. 13, the angle between the z-axis and a perpendicular drawn from the Y axis to the reference plane a121 is θ, and the reference plane a121 is
Let r be the distance between 121 and the Y axis.
【００４５】まず、第１実施形態の時と同様に、どの基
準面にどの方向の光線を記録するかを決定する。仮に、
光線とZ軸のなす角度ξ（図１３のθと同様に計測す
る）がｈ１≦ξ＜ｈ２の範囲にある光線を基準面ａ１２
１に記録すると仮定する。第１実施形態では、基準面と
カメラ位置、光線方向を回転させ、z＝０の位置に基準
面がくるようにすることで、（１）式、（２）式が使用
できるようにした。そこで、ここでも同様に、基準面と
カメラ位置、光線方向をーθ回転させ、かつ、ーr平行移
動させることにより、z＝０の位置に基準面がくるよう
にし、（１）式、（２）式が使用できるようにした。被
写体を囲んだすべての基準面に対してこの処理を行うこ
とにより、第１実施形態と同様の方法で処理を行い、任
意視点画像を生成することが可能となる。First, as in the case of the first embodiment, it is determined which reference plane is to record a light beam in which direction. what if,
A ray whose angle ξ (measured in the same manner as θ in FIG. 13) between the ray and the Z axis is in the range of h1 ≦ ξ <h2 is referred to as a reference plane a12.
Suppose we record at 1. In the first embodiment, the equations (1) and (2) can be used by rotating the reference plane, the camera position, and the ray direction so that the reference plane comes to the position of z = 0. Therefore, similarly, the reference plane, the camera position, and the ray direction are rotated by -θ and translated by -r so that the reference plane comes to the position of z = 0. 2) Formula can be used. By performing this processing on all reference planes surrounding the subject, it is possible to perform processing in the same manner as in the first embodiment and generate an arbitrary viewpoint image.
【００４６】尚、ライン番号を求める際に使用するY軸
からカメラまでの距離は、回転と平行移動を行った後の
Y軸とカメラの距離を用いる。Incidentally, the distance from the Y axis to the camera used for obtaining the line number is determined after the rotation and the translation.
Use the distance between the Y axis and the camera.
【００４７】（第３実施形態）第１実施形態中では、
（１）式、（２）式により与えられるx-u空間上の位置
に記録されている光線が存在しない場合、この平面上の
記録されている光線の最も近いものを与えるという方法
をとっている。これを予め補間処理により求めておけ
ば、より精度のより画像を生成することができる。以下
にこの補間処理方法について述べる。(Third Embodiment) In the first embodiment,
When there is no light beam recorded at the position in the xu space given by the formulas (1) and (2), a method of giving the closest one of the light beams recorded on this plane is adopted. If this is obtained in advance by interpolation processing, a more accurate image can be generated. Hereinafter, this interpolation processing method will be described.
【００４８】x-u空間上では、実空間中の一点はステッ
プＳ３７に示すような直線状の軌跡をとる。そこで、こ
の性質を利用して、x-u空間上に直線を引き、この直線
上に存在する光線の色を調べ、それらが全て似たような
色であれば、この直線は実空間中の一点の軌跡であると
考え、直線上の光線の存在しない位置にそれらの色の平
均値を与える。この処理をx-u空間上に値の未定な(色が
与えられていない）領域が存在しなくなるまで、あらゆ
る直線を仮定して行う。In the xu space, one point in the real space takes a linear locus as shown in step S37. Therefore, using this property, a straight line is drawn on the xu space, the colors of the light rays existing on the straight line are examined, and if they are all similar colors, this straight line is Considering the trajectory, an average value of those colors is given to a position where no light ray exists on a straight line. This process is performed by assuming all straight lines until there is no more undetermined (uncolored) region in the xu space.
【００４９】このように補間処理を行うことにより、単
に近傍地点の光線の色で代用していたときよりも生成し
た画像の質が向上するという利点がある。By performing the interpolation processing as described above, there is an advantage that the quality of the generated image is improved as compared with the case where the color of the light ray at the nearby point is simply used instead.
【００５０】（その他の実施形態）第１実施形態では、
複数の視点位置で撮影された画像が画像入力装置１１よ
り入力されるとしたが、これに限らず、データベースや
ＣＤ−ＲＯＭ等の蓄積メディアから記憶媒体読み取り装
置１５を介して記憶装置１４に入力しても良い。(Other Embodiments) In the first embodiment,
Although images taken at a plurality of viewpoint positions are assumed to be input from the image input device 11, the present invention is not limited to this, and input is performed from a storage medium such as a database or a CD-ROM to the storage device 14 via the storage medium reading device 15. You may.
【００５１】また、本発明は、複数の機器から構成され
るシステムに適用しても、ひとつの機器からなる装置に
適用しても良い。また、本発明はシステムあるいは装置
にプログラムを供給することによって実施される場合に
も適用されることはいうまでもない。この場合、本発明
に掛るプログラムを格納した記憶媒体が、本発明を構成
することになる。そして、該記憶媒体からそのプログラ
ムをシステムあるいは装置に読み出すことによって、そ
のシステムあるいは装置が、予め定められた方法で動作
する。Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of one device. Needless to say, the present invention is also applied to a case where the present invention is implemented by supplying a program to a system or an apparatus. In this case, the storage medium storing the program according to the present invention constitutes the present invention. Then, by reading the program from the storage medium to a system or an apparatus, the system or the apparatus operates in a predetermined method.
【００５２】[0052]
【発明の効果】以上説明したように本発明は、多視点画
像を複数の基準面に対応した光線空間デ−タに変換する
ため、1枚の基準面では表現できなかった領域も表現す
ることができる。また、複数の基準面を使用することに
より、各基準面とそこを通過する光線のなす角度が垂直
に近くなるため、各基準面に対応したx-u空間の面積が
小さくなり、その結果、保持しておくべきデ−タ量が少
なくなるという効果がある。As described above, according to the present invention, since a multi-viewpoint image is converted into ray space data corresponding to a plurality of reference planes, an area which cannot be represented by one reference plane can be represented. Can be. In addition, by using a plurality of reference planes, the angle between each reference plane and a ray passing therethrough becomes closer to vertical, so that the area of the xu space corresponding to each reference plane becomes smaller, and as a result, This has the effect of reducing the amount of data to be stored.
【図１】第１実施形態の画像処理装置の構成を示す図で
ある。FIG. 1 is a diagram illustrating a configuration of an image processing apparatus according to a first embodiment.
【図２】第１実施形態の画像処理装置の画像入力装置１
１における多視点画像の取得方法の説明図である。FIG. 2 is an image input apparatus 1 of the image processing apparatus according to the first embodiment.
FIG. 2 is an explanatory diagram of a method for acquiring a multi-viewpoint image in FIG.
【図３】第１実施形態の画像処理装置の処理の流れを示
すフローチャートである。FIG. 3 is a flowchart illustrating a processing flow of the image processing apparatus according to the first embodiment.
【図４】第１実施形態の画像処理装置の光線空間を表現
するために放射状に配置された４枚の基準面を使用する
場合の説明図である。FIG. 4 is an explanatory diagram of a case where four reference planes arranged radially are used to represent a light beam space of the image processing apparatus according to the first embodiment.
【図５】第１実施形態の画像処理装置の光線空間デ−タ
の生成の説明図である。FIG. 5 is an explanatory diagram of generation of ray space data of the image processing apparatus according to the first embodiment.
【図６】第１実施形態の画像処理装置の対応するライン
番号を求める原理を示す図である。FIG. 6 is a diagram illustrating a principle of obtaining a corresponding line number of the image processing apparatus according to the first embodiment.
【図７】第１実施形態の画像処理装置の基準面の説明図
である。FIG. 7 is an explanatory diagram of a reference plane of the image processing apparatus according to the first embodiment.
【図８】第１実施形態の画像処理装置の点Ｐを通過する
光線の説明図である。FIG. 8 is an explanatory diagram of a light beam passing through a point P of the image processing apparatus according to the first embodiment.
【図９】第１実施形態の画像処理装置のx-u空間の説明
図である。FIG. 9 is an explanatory diagram of an xu space of the image processing apparatus according to the first embodiment.
【図１０】第１実施形態の画像処理装置の被写体と撮影
視点位置の関係の説明図である。FIG. 10 is an explanatory diagram of a relationship between a subject and a shooting viewpoint position of the image processing apparatus according to the first embodiment.
【図１１】第１実施形態の画像処理装置の撮影視点位置
を通過する光線群の軌跡と点Ｑを通過する光線群の軌跡
の説明図である。FIG. 11 is an explanatory diagram of a trajectory of a light ray group passing through a shooting viewpoint position of the image processing apparatus according to the first embodiment and a trajectory of a light ray group passing through a point Q;
【図１２】第２実施形態の画像処理装置の被写体を覆う
ように配置した複数の基準面を示す図である。FIG. 12 is a diagram illustrating a plurality of reference planes arranged so as to cover a subject of the image processing apparatus according to the second embodiment.
【図１３】第２実施形態の画像処理装置の図１２を上方
から観察した様子を示す図である。FIG. 13 is a diagram illustrating a state in which FIG. 12 of the image processing apparatus according to the second embodiment is observed from above.
１１ 画像入力装置 １２ 視点位置・視線方向検出装置 １３ 中央処理装置 １４ 記憶装置 １５ 記憶媒体読み取り装置 １６ 入力装置 １７ 表示装置 DESCRIPTION OF SYMBOLS 11 Image input device 12 Point-of-sight position / sighting direction detecting device 13 Central processing unit 14 Storage device 15 Storage medium reading device 16 Input device 17 Display device
Claims (8)
画像を多視点画像データとして入力する多視点画像入力
手段と、 前記入力された多視点画像を空間を飛来する光線群に変
換する画像変換手段と、 前記変換された光線群の各々を、放射状に並べられた複
数の基準面と該光線とのなす角度が最も垂直に近い平面
に対応した光線空間に、光線空間データとして記録する
光線記録手段と、 生成すべき画像の視点位置及び視線方向を入力する視点
位置・視線方向入力手段と、 生成すべき画像の各画素毎に、前記光線空間データから
その画素値を決定するために必要な画像を導出する画像
導出手段と、 前記導出された画像中の必要なスキャンラインの位置と
該スキャンライン中の画素位置を導出する画素位置導出
手段と、 生成すべき画像の各画素値を決定する画素値決定手段
と、 前記導出された画像と前記画素位置と前記画素値とに基
づいて、所望の画像を生成する画像生成手段と、 前記生成された画像を表示画面上に表示する表示手段と
を備えることを特徴とする画像処理装置。1. Multi-view image input means for inputting, as multi-view image data, a plurality of images each having a viewpoint at a different position, and image conversion means for converting the input multi-view image into a group of light beams flying in space. Ray recording means for recording each of the converted ray groups as ray space data in a ray space corresponding to a plane in which an angle between the plurality of reference planes arranged radially and the ray is closest to the vertical. A viewpoint position and line-of-sight direction input means for inputting a viewpoint position and a line-of-sight direction of an image to be generated; and for each pixel of the image to be generated, an image necessary to determine the pixel value from the ray space data Image deriving means for deriving a position of a required scan line in the derived image and a pixel position deriving means for deriving a pixel position in the scan line; each pixel of an image to be generated A pixel value determining unit that determines a value; an image generating unit that generates a desired image based on the derived image, the pixel position, and the pixel value; and displaying the generated image on a display screen. An image processing apparatus comprising:
は、物体を通過する一本の直線上で交叉し、隣り合う平
面となす角度がすべて同じになるように配置され、かつ
基準面のひとつがZ軸に対して、隣り合う基準面がなす
角度の半分の角度をなすように配置されていることを特
徴とする請求項１記載の画像処理装置。2. A plurality of radially arranged reference planes intersect on one straight line passing through an object, are arranged so that angles formed by adjacent planes are all the same, and 2. The image processing apparatus according to claim 1, wherein one of the image processing apparatuses is disposed so as to form an angle of a half of an angle between adjacent reference planes with respect to the Z axis.
転させた時の回転角度だけその基準面を通過する光線群
を回転させ、この状態で、回転させた光線がz=0の平面
を通過する位置とその時の光線方向を用いて、その基準
面に対応する光線空間に記録することを特徴とする請求
項２記載の画像処理装置。3. A group of rays passing through the reference plane is rotated by a rotation angle when the reference plane is rotated so as to coincide with the plane of z = 0. 3. The image processing apparatus according to claim 2, wherein the image is recorded in a light beam space corresponding to the reference plane using a position passing through the plane and a light beam direction at that time.
画像を多視点画像データとして入力する多視点画像入力
手段と、 前記入力された多視点画像を空間を飛来する光線群に変
換する画像変換手段と、 前記変換された光線群の各々を、被写体の少なくとも一
部を囲むように配置された複数の平面と該光線とのなす
角度が最も垂直に近い平面に対応した光線空間に、光線
空間データとして記録する光線記録手段と、 生成すべき画像の視点位置及び視線方向を入力する視点
位置・視線方向入力手段と、 生成すべき画像の各画素毎に光線空間データからその画
素値を決定するために必要な画像を導出する画像導出手
段と、 導出された画像中の必要なスキャンラインの位置とスキ
ャンライン中の画素位置を導出する画素位置導出手段
と、 生成すべき画像の各画素値を決定する画素値決定手段
と、 前記導出された画像と前記画素位置と前記画素値とに基
づいて、所望の画像を生成する画像生成手段と、 前記生成された画像を表示画面上に表示する表示手段と
を備えることを特徴とする画像処理装置。4. Multi-view image input means for inputting a plurality of images each having a viewpoint at a different position as multi-view image data, and image conversion means for converting the input multi-view image into a group of light beams flying in space. And converting each of the converted light beams into a light beam space corresponding to a plane in which the angle between the light beams and a plurality of planes arranged so as to surround at least a part of the subject is closest to the vertical. Means for inputting the viewpoint position and line-of-sight direction of an image to be generated; and viewpoint position and line-of-sight direction input means for inputting the line-of-sight direction of the image to be generated. Image deriving means for deriving an image necessary for the image processing; pixel position deriving means for deriving a necessary scan line position in the derived image and a pixel position in the scan line; A pixel value determining unit that determines each pixel value of the image; an image generating unit that generates a desired image based on the derived image, the pixel position, and the pixel value; and displaying the generated image. An image processing apparatus comprising: display means for displaying on a screen.
画像を多視点画像データとして入力する多視点画像入力
工程と、 前記入力された多視点画像を空間を飛来する光線群に変
換する画像変換工程と、 前記変換された光線群の各々を、放射状に並べられた複
数の基準面と該光線とのなす角度が最も垂直に近い平面
に対応した光線空間に、光線空間データとして記録する
光線記録工程と、 生成すべき画像の視点位置及び視線方向を入力する視点
位置・視線方向入力工程と、 生成すべき画像の各画素毎に、前記光線空間データから
その画素値を決定するために必要な画像を導出する画像
導出工程と、 前記導出された画像中の必要なスキャンラインの位置と
該スキャンライン中の画素位置を導出する画素位置導出
工程と、 生成すべき画像の各画素値を決定する画素値決定工程
と、 前記導出された画像と前記画素位置と前記画素値とに基
づいて、所望の画像を生成する画像生成工程と、 前記生成された画像を表示画面上に表示する表示工程と
を備えることを特徴とする画像処理方法。5. A multi-view image inputting step of inputting a plurality of images each having a viewpoint at a different position as multi-view image data, and an image converting step of converting the input multi-view image into a group of light beams flying in space. A ray recording step of recording each of the converted ray groups as ray space data in a ray space corresponding to a plane in which angles formed by a plurality of radially arranged reference planes and the rays are closest to the vertical. A viewpoint position and line-of-sight direction input step of inputting a viewpoint position and a line-of-sight direction of an image to be generated; and an image necessary for determining a pixel value from the ray space data for each pixel of the image to be generated. An image deriving step of deriving a position of a required scan line in the derived image and a pixel position deriving step of deriving a pixel position in the scan line; each pixel of an image to be generated A pixel value determining step of determining a value; an image generating step of generating a desired image based on the derived image, the pixel position, and the pixel value; and displaying the generated image on a display screen. An image processing method comprising:
は、物体を通過する一本の直線上で交叉し、隣り合う平
面となす角度がすべて同じになるように配置され、かつ
基準面のひとつがZ軸に対して、隣り合う基準面がなす
角度の半分の角度をなすように配置されていることを特
徴とする請求項５記載の画像処理方法。6. The plurality of radially arranged reference planes intersect on one straight line passing through the object, are arranged so that the angles formed by adjacent planes are all the same, and 6. The image processing method according to claim 5, wherein one of the plurality of reference planes is disposed so as to form an angle of a half of an angle between adjacent reference planes with respect to the Z axis.
転させた時の回転角度だけその基準面を通過する光線群
を回転させ、この状態で、回転させた光線がz=0の平面
を通過する位置とその時の光線方向を用いて、その基準
面に対応する光線空間に記録することを特徴とする請求
項６記載の画像処理方法。7. A group of rays passing through the reference plane is rotated by a rotation angle when the reference plane is rotated so as to coincide with the plane of z = 0. 7. The image processing method according to claim 6, wherein the image is recorded in a light beam space corresponding to the reference plane using the position passing through the plane and the light beam direction at that time.
画像を多視点画像データとして入力する多視点画像入力
工程と、 前記入力された多視点画像を空間を飛来する光線群に変
換する画像変換工程と、 前記変換された光線群の各々を、被写体の少なくとも一
部を囲むように配置された複数の平面と該光線とのなす
角度が最も垂直に近い平面に対応した光線空間に、光線
空間データとして記録する光線記録工程と、 生成すべき画像の視点位置及び視線方向を入力する視点
位置・視線方向入力工程と、 生成すべき画像の各画素毎に光線空間データからその画
素値を決定するために必要な画像を導出する画像導出工
程と、 導出された画像中の必要なスキャンラインの位置とスキ
ャンライン中の画素位置を導出する画素位置導出工程
と、 生成すべき画像の各画素値を決定する画素値決定工程
と、 前記導出された画像と前記画素位置と前記画素値とに基
づいて、所望の画像を生成する画像生成工程と、 前記生成された画像を表示画面上に表示する表示工程と
を備えることを特徴とする画像処理方法。8. A multi-view image inputting step of inputting a plurality of images each having a viewpoint at a different position as multi-view image data, and an image converting step of converting the input multi-view image into a light ray group flying in space. And converting each of the converted light beams into a light beam space corresponding to a plane in which the angle between the light beams and a plurality of planes arranged so as to surround at least a part of the subject is closest to the vertical. A ray recording step of recording as an image, a viewpoint position and a line of sight input step of inputting a viewpoint position and a line of sight direction of an image to be generated, and determining a pixel value from the light ray space data for each pixel of the image to be generated. An image deriving step of deriving an image necessary for the image processing; a pixel position deriving step of deriving a required scan line position in the derived image and a pixel position in the scan line; A pixel value determining step of determining each pixel value of an image; an image generating step of generating a desired image based on the derived image, the pixel position, and the pixel value; and displaying the generated image. A display step of displaying on a screen.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17907896A JPH1027264A (en) | 1996-07-09 | 1996-07-09 | Image processor and image processing method |
| US08/819,093 US6445807B1 (en) | 1996-03-22 | 1997-03-18 | Image processing method and apparatus |
| DE69734747T DE69734747T2 (en) | 1996-03-22 | 1997-03-18 | Method and device for image processing |
| EP97301798A EP0797171B1 (en) | 1996-03-22 | 1997-03-18 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17907896A JPH1027264A (en) | 1996-07-09 | 1996-07-09 | Image processor and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1027264A true JPH1027264A (en) | 1998-01-27 |
Family
ID=16059707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17907896A Pending JPH1027264A (en) | 1996-03-22 | 1996-07-09 | Image processor and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1027264A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11249772A (en) * | 1998-02-26 | 1999-09-17 | Dainippon Printing Co Ltd | Virtual environment presenting device |
| US6674922B1 (en) | 1999-03-26 | 2004-01-06 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and storage medium |
| US7620236B2 (en) | 2003-07-31 | 2009-11-17 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| JP2010033503A (en) * | 2008-07-31 | 2010-02-12 | Kddi Corp | Image generation device, method and program |
-
1996
- 1996-07-09 JP JP17907896A patent/JPH1027264A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11249772A (en) * | 1998-02-26 | 1999-09-17 | Dainippon Printing Co Ltd | Virtual environment presenting device |
| US6674922B1 (en) | 1999-03-26 | 2004-01-06 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, and storage medium |
| US7620236B2 (en) | 2003-07-31 | 2009-11-17 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| JP2010033503A (en) * | 2008-07-31 | 2010-02-12 | Kddi Corp | Image generation device, method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3338618B2 (en) | Display method and display device for real space image and virtual space image | |
| JP3593466B2 (en) | Method and apparatus for generating virtual viewpoint image | |
| US6445807B1 (en) | Image processing method and apparatus | |
| JP4803594B2 (en) | Apparatus and program for generating free viewpoint image by local region segmentation | |
| JP2874710B2 (en) | 3D position measuring device | |
| EP0680019B1 (en) | Image processing method and apparatus | |
| JP2998791B2 (en) | 3D structure estimation device | |
| JP4065488B2 (en) | 3D image generation apparatus, 3D image generation method, and storage medium | |
| JP2019510311A (en) | Method and computer program product for calibrating a stereo imaging system using a planar mirror | |
| JP2010039501A (en) | Method for generating free viewpoint video image in three-dimensional movement, and recording medium | |
| JP2009037301A (en) | Method for generating free viewpoint image by local area division | |
| JP2019100995A (en) | Measurement image display control unit, measurement image display control method, and program for measurement image display control | |
| US6256035B1 (en) | Image processing method and apparatus | |
| JPH07129792A (en) | Method and device for image processing | |
| JPH09245195A (en) | Image processing method and its device | |
| JP2849313B2 (en) | Image recording and playback device | |
| JPH10111951A (en) | Method and device for image processing and storage medium | |
| JP2001256482A (en) | Device and method for generating parallax image | |
| JP2019149777A (en) | Image processing apparatus and image processing program | |
| JPH08242469A (en) | Image pickup camera | |
| JPH1027264A (en) | Image processor and image processing method | |
| JP2013120435A (en) | Image processing apparatus and image processing method, and program | |
| JP2005351916A (en) | Binocular microscope device | |
| JP6595878B2 (en) | Element image group generation apparatus and program thereof | |
| JPH09237346A (en) | Method for composing partial stereoscopic model and method for preparing perfect stereoscopic model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041026 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050210 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050217 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050408 |