JP2006078291A - Omnidirectional three-dimensional measuring apparatus - Google Patents
Omnidirectional three-dimensional measuring apparatus Download PDFInfo
- Publication number
- JP2006078291A JP2006078291A JP2004261571A JP2004261571A JP2006078291A JP 2006078291 A JP2006078291 A JP 2006078291A JP 2004261571 A JP2004261571 A JP 2004261571A JP 2004261571 A JP2004261571 A JP 2004261571A JP 2006078291 A JP2006078291 A JP 2006078291A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- reflecting mirrors
- panoramic image
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、パノラマ画像を生成して該パノラマ画像の各画素の奥行きを計測する三次元計測装置に関する。 The present invention relates to a three-dimensional measurement apparatus that generates a panoramic image and measures the depth of each pixel of the panoramic image.
従来、パノラマ画像を生成して該パノラマ画像の各画素の奥行きを測定するために、所謂画像モザイキングを利用した方法がある。この方法では、カメラを回転台に載置、固定して、回転台を回転させてカメラにより全方位を撮影し、得られた画像をつなぎ合わせることによりパノラマ画像が生成される。このようにして２枚以上のパノラマ画像を取得し、ステレオ計測の原理で三次元計測が行われる。この方法は、比較的高い解像度のパノラマ画像が得られるので、高い測定密度の三次元計測が行える。 Conventionally, there is a method using so-called image mosaicing to generate a panoramic image and measure the depth of each pixel of the panoramic image. In this method, a panoramic image is generated by placing and fixing a camera on a turntable, rotating the turntable, photographing all directions with the camera, and joining the obtained images. In this way, two or more panoramic images are acquired, and three-dimensional measurement is performed based on the principle of stereo measurement. Since this method can obtain a panoramic image with a relatively high resolution, three-dimensional measurement with a high measurement density can be performed.
三次元計測を行うためには、２枚以上のパノラマ画像を取得しなければならないが、２枚のパノラマ画像を１台の回転カメラを用いて取得することが、非特許文献１〜３に開示されている。図１に従来技術によるパノラマ画像撮影装置を示す。 In order to perform three-dimensional measurement, two or more panoramic images must be acquired. However, it is disclosed in Non-Patent Documents 1 to 3 that two panoramic images are acquired using one rotating camera. Has been. FIG. 1 shows a panoramic image photographing apparatus according to the prior art.
この方法では、図１５に示すように、先ず、１台のカメラ１０を回転中心Ｏに関して半径方向外方へ向けて、回転中心Ｏ回りに回転自在の回転台１２に取付ける。このとき、カメラ１０は、その光軸が回転中心Ｏを通るように配置される。次いで、回転台１２を回転させて、カメラ１０により撮影する。こうして得られた撮影された画像データを、図１６に示すように、回転角度毎に順次並べて、左右対称の２つのスリットを通して画像データを抽出し、２枚のパノラマ画像を生成する。ただし、カメラの光学中心の位置が回転中心と一致していると、得られる２枚のパノラマ画像に視差が生じないため奥行きは推定できない。よって、カメラ配置は、光学中心の位置を回転中心からずらしておく必要がある。 In this method, as shown in FIG. 15, first, one camera 10 is attached to a turntable 12 that is rotatable about the rotation center O so as to be directed radially outward with respect to the rotation center O. At this time, the camera 10 is arranged so that its optical axis passes through the rotation center O. Next, the turntable 12 is rotated and the camera 10 takes a picture. As shown in FIG. 16, the captured image data obtained in this way is sequentially arranged for each rotation angle, and the image data is extracted through two symmetrical slits to generate two panoramic images. However, if the position of the optical center of the camera coincides with the center of rotation, the depth cannot be estimated because no parallax occurs in the two obtained panoramic images. Therefore, the camera arrangement needs to shift the position of the optical center from the rotation center.
この方法は、カメラを１台しか利用しないことに加え、ステレオ計測の際に行われる対応点探索が、パノラマの水平軸（θ軸）に限定されるため、画像間のマッチング計算が簡単（エピポーラ拘束が単純）であるという利点を持つ。 In this method, in addition to using only one camera, matching point search performed during stereo measurement is limited to the horizontal axis (θ-axis) of the panorama, so matching calculation between images is easy (epipolar). The constraint is simple).
然しながら一方で、(1)ステレオ計測の精度に影響するベースラインが短く推定精度が悪い、(2)１組のステレオペアのみを利用しているため画像ノイズやオクルージョン（隠れ）に弱い、という２つの問題がある。 However, on the other hand, (1) the baseline that affects the accuracy of stereo measurement is short and the estimation accuracy is poor, and (2) it is weak against image noise and occlusion (hiding) because it uses only one stereo pair. There are two problems.
まず、(1)のベースラインについて説明する。
この従来技術による方法では、図１７に示すように、空間内の点Ｐが左右のスリットに観測されたとき、点Ｐの奥行きλが計算できるという原理を利用して三次元計測が行われる。すなわち、パノラマ間の対応点が得られれば、角度方向の視差（２Δθ）が得られ、既知の回転半径ｒとスリット間画角ψから以下の式（１）により奥行きλが得られる。
In this prior art method, as shown in FIG. 17, three-dimensional measurement is performed using the principle that the depth λ of the point P can be calculated when the point P in the space is observed in the left and right slits. That is, if a corresponding point between panoramas is obtained, parallax (2Δθ) in the angular direction is obtained, and the depth λ is obtained from the known rotation radius r and the field angle ψ between slits by the following equation (1).
このとき、ステレオ計測における無限遠方の測定対象点に対するベースライン長は、図１８において長さＢで示され、以下の式（２）により得られる。
Ｂ＝２ｒｓｉｎθ …（２）
At this time, the baseline length for the measurement target point at infinity in stereo measurement is indicated by a length B in FIG. 18, and is obtained by the following equation (2).
B = 2rsin θ (2)
この長さが大きいほど、ステレオ計測の際の奥行き推定精度が高くなることが知られている。然しながら、このベースライン長は、スリットの画角ψに制限されており、一般的なカメラではψは高々２０°程度であるため、Ｂはカメラの回転半径ｒの７０％程度とかなり小さくなってしまう。 It is known that the greater the length, the higher the depth estimation accuracy during stereo measurement. However, this baseline length is limited to the angle of view ψ of the slit, and in a general camera, ψ is about 20 ° at most, so B becomes as small as about 70% of the rotation radius r of the camera. End up.
また、パノラマ画像を２枚しか利用しない場合、撮影時に画像中にノイズが入ったり、オクルージョンによって見えない部分が存在したりした場合、正しい対応点が得られないことがある。これが(2)の問題であり、この問題を解決するためには、より多くのパノラマ画像を取得して利用することが望ましい。 In addition, when only two panoramic images are used, a correct corresponding point may not be obtained if noise is included in the image at the time of shooting or a portion that cannot be seen due to occlusion exists. This is the problem (2). To solve this problem, it is desirable to acquire and use more panoramic images.
その他の従来技術による方法として、２枚以上のパノラマ画像を、複数の回転カメラから取得する方法が非特許文献４、５に開示されている。非特許文献４では、画像ノイズの問題を低減するために、複数のカメラを利用している。また、非特許文献５の方法では、ベースラインを大幅に向上することが可能である。然しながら、複数カメラを利用するこれらの方法の場合、カメラ間の配置に関するキャリブレーションや、カメラ特性の違いによって生じる画像の明るさや色ずれなどのキャリブレーションを正確に行わなければならないという問題が生じる。 As other conventional methods, Non-Patent Documents 4 and 5 disclose a method of acquiring two or more panoramic images from a plurality of rotating cameras. Non-Patent Document 4 uses a plurality of cameras in order to reduce the problem of image noise. In addition, the method of Non-Patent Document 5 can significantly improve the baseline. However, in the case of these methods using a plurality of cameras, there arises a problem that calibration relating to the arrangement between the cameras and calibration such as image brightness and color misregistration caused by differences in camera characteristics must be performed.
本発明は、複数のカメラを用いたときに発生するカメラキャリブレーション等の問題を回避するために、複数のカメラを用いることなく１台のカメラによる全方位三次元計測を可能とする全方位三次元計測装置を提供することを目的とする。 In order to avoid problems such as camera calibration that occur when using a plurality of cameras, the present invention provides an omnidirectional tertiary that enables omnidirectional three-dimensional measurement with a single camera without using a plurality of cameras. An object is to provide a former measuring device.
更に、本発明は、１台のカメラを用いて、ステレオ計測におけるベースライン長を増大すること、ステレオ計測における簡単なエピポーラ拘束を実現すること、ステレオ計測の際に問題となる画像ノイズ、オクルージョン、繰り返しパターンの影響を低減することを目的としている。 Furthermore, the present invention uses a single camera to increase the baseline length in stereo measurement, to realize simple epipolar constraint in stereo measurement, image noise, occlusion, which is a problem in stereo measurement, The object is to reduce the influence of repeated patterns.
請求項１に記載の本発明は、所定の軸線に関して所定の角度を以て交差するように光軸を前記軸線を中心として回転自在に設けられたカメラと、前記カメラに関して相対移動することなく、前記回転台および前記カメラと共に回転するように設けられた一対の反射鏡であって、該反射鏡は、反射した光が前記カメラの対物レンズに入射できるように、前記カメラの前方に前記光軸に関して所定の角度を以て配向された一対の反射鏡とを具備し、
前記カメラを前記軸線に関して所定の角度毎に回転して、前記カメラにより前記軸線回りのシーンを撮影するようにした全方位三次元計測装置を要旨とする。
According to the first aspect of the present invention, there is provided a camera in which an optical axis is rotatable about the axis so as to intersect with a predetermined angle with respect to a predetermined axis, and the rotation without relative movement with respect to the camera. A pair of reflecting mirrors provided to rotate together with a table and the camera, the reflecting mirrors having a predetermined axis with respect to the optical axis in front of the camera so that the reflected light can enter the objective lens of the camera. A pair of reflecting mirrors oriented at an angle of
The gist of the present invention is an omnidirectional three-dimensional measurement apparatus in which the camera is rotated at a predetermined angle with respect to the axis, and a scene around the axis is photographed by the camera.
本発明によれば、１台のカメラと、該カメラの前方に配置した一対の反射鏡と、前記カメラおよび反射鏡を回転させるための回転台によって複数のカメラを用いることなく全方位三次元計測が可能となる。 According to the present invention, one camera, a pair of reflecting mirrors arranged in front of the camera, and a rotating table for rotating the cameras and the reflecting mirrors, omnidirectional three-dimensional measurement without using a plurality of cameras. Is possible.
前記カメラを反射鏡と共に回転して撮影することにより得られた画像をモザイキングすることにより全方位パノラマ画像を生成し、ステレオ計測の原理を利用して三次元計測がなされる。この方法により、全方位画像センサを利用したときと比較して計測密度の高い全方位三次元計測が可能となる。 An omnidirectional panoramic image is generated by mosaicing an image obtained by rotating the camera together with a reflecting mirror, and three-dimensional measurement is performed using the principle of stereo measurement. This method enables omnidirectional three-dimensional measurement with a higher measurement density than when an omnidirectional image sensor is used.
反射鏡の配置を調節することにより、実カメラの回転半径より格段に大きなベースライン長を実現可能である。
また、反射鏡の配置を調節することにより、仮想的な対称配置の２台のカメラによる簡単なエピポーラ拘束が実現可能である。
By adjusting the arrangement of the reflecting mirrors, it is possible to realize a baseline length that is much larger than the turning radius of the actual camera.
Further, by adjusting the arrangement of the reflecting mirrors, it is possible to realize simple epipolar restraint by two cameras having a virtually symmetrical arrangement.
一対の反射鏡間に隙間を設けて画像を撮影することにより、ステレオ計測における基準パノラマ画像が取得される。また、反射鏡の配置を調節することにより、この基準パノラマ画像に対して左右対称となる、仮想カメラに撮影された画像と同等の参照パノラマ画像を得ることが可能となる。基準パノラマ画像と、２枚の参照パノラマ画像を利用して三次元計測を行うことにより、画像ノイズ、オクルージョン、繰り返しパターンの影響が低減される。 A reference panoramic image in stereo measurement is acquired by capturing an image with a gap provided between the pair of reflecting mirrors. Further, by adjusting the arrangement of the reflecting mirrors, it is possible to obtain a reference panoramic image equivalent to the image photographed by the virtual camera, which is symmetrical with respect to the standard panoramic image. By performing three-dimensional measurement using the standard panoramic image and the two reference panoramic images, the effects of image noise, occlusion, and repetitive patterns are reduced.
画像ノイズ、オクルージョン、繰り返しパターンの影響を低減するための別の方法として、上記装置を回転させることにより得られる画像全体を利用して、時空間画像中の軌跡を抽出することにより、三次元計測を行う。これにより、ステレオ計測の際に問題となる画像ノイズ、オクルージョン、繰り返しパターンの影響を低減する。 As another method for reducing the effects of image noise, occlusion, and repetitive patterns, three-dimensional measurement is performed by extracting the trajectory in the spatio-temporal image using the entire image obtained by rotating the device. I do. This reduces the effects of image noise, occlusion, and repetitive patterns that are problematic during stereo measurement.
以下、本発明による全方位三次元計測装置の好ましい実施形態を説明する。
先ず、図１を参照すると、全方位三次元計測装置１００は、回転中心Ｏｒを形成する鉛直軸線を中心として回転自在に設けられた回転台１０２と、該回転台１０２の周縁部に取付けられたカメラ１０４と、該カメラ１０４の前方または半径方向外側に配設された平板状の一対の反射鏡１０６ａ、１０６ｂとを主要な構成要素として具備している。カメラ１０４は、デジタルカメラであることが好ましい。然しながら、通常のカメラを用いて写真フィルムにシーンを撮影し、該フィルムを現像した後に、ネガフィルムまたは印画紙上に形成された画像を走査して、デジタル処理してもよい。
Hereinafter, preferred embodiments of the omnidirectional three-dimensional measuring apparatus according to the present invention will be described.
First, referring to FIG. 1, the omnidirectional three-dimensional measuring apparatus 100 is attached to a turntable 102 that is rotatable about a vertical axis that forms a rotation center Or, and a peripheral portion of the turntable 102. A camera 104 and a pair of reflecting mirrors 106 a and 106 b disposed in front of the camera 104 or on the outer side in the radial direction are provided as main components. The camera 104 is preferably a digital camera. However, after a scene is photographed on a photographic film using a normal camera and the film is developed, an image formed on a negative film or photographic paper may be scanned and digitally processed.
カメラ１０４は、その光軸ａが回転中心Ｏｒを通り、かつ前記鉛直軸線に対して垂直となるように回転台１００に固定されている。一対の反射鏡１０６ａ、１０６ｂはカメラの前方に配置され、各反射鏡１０６ａ、１０６ｂの各々の平面の法線が、前記鉛直軸線に対して垂直となるように配置される。反射鏡１０６ａ、１０６ｂの反射面はカメラ側にある。こうして、反射鏡１０６ａ、１０６ｂは、該反射鏡１０６ａ、１０６ｂで反射した光はカメラ１０４の対物レンズに入射できるように、回転中心Ｏｒに関する半径方向沿いにカメラ１０４の前方に、光軸Ｏｒに関して所定の角度αを以て配向される。また、一対の反射鏡１０６ａ、１０６ｂは、両者間に隙間ｇが形成されるように配置される。この構成により、カメラ１０４によって撮影される画像は、図２に示すように、左右一対の反射鏡１０６ａ、１０６ｂおよび隙間ｇに対応した３つの領域に分割される。こうした構成によって、回転台１０２を回転中心Ｏｒ回りに回転し、所定の回転角度θ毎に全方位３６０°に渡ってシーンを撮影する。そして、得られた画像を用いてステレオ計測の原理で三次元計測を行う。 The camera 104 is fixed to the turntable 100 so that its optical axis a passes through the rotation center Or and is perpendicular to the vertical axis. The pair of reflecting mirrors 106a and 106b are arranged in front of the camera, and the normal lines of the respective planes of the reflecting mirrors 106a and 106b are arranged so as to be perpendicular to the vertical axis. The reflecting surfaces of the reflecting mirrors 106a and 106b are on the camera side. In this way, the reflecting mirrors 106a and 106b are arranged in a predetermined manner with respect to the optical axis Or in front of the camera 104 along the radial direction with respect to the rotation center Or so that the light reflected by the reflecting mirrors 106a and 106b can enter the objective lens of the camera 104. Is oriented at an angle α. Further, the pair of reflecting mirrors 106a and 106b are arranged such that a gap g is formed between them. With this configuration, as shown in FIG. 2, the image captured by the camera 104 is divided into three regions corresponding to the pair of left and right reflecting mirrors 106a and 106b and the gap g. With such a configuration, the turntable 102 is rotated around the rotation center Or, and a scene is photographed over 360 ° at every predetermined rotation angle θ. Then, three-dimensional measurement is performed on the principle of stereo measurement using the obtained image.
この装置のように一対の反射鏡１０６ａ、１０６ｂによって視野分割を行うことにより、１台のカメラは、２台の仮想的なカメラの役割をも同時になし、結果として３台のカメラの役割を果たす。１台の実カメラと仮想的な２台の仮装的なカメラについて詳しく説明する。図３は、左の反射鏡１０６ａに対応する仮想カメラ１１０を示している。実カメラ１０４の回転半径ｒと、左の反射鏡１０６ａの位置と、角度αが正確にわかっている場合、図３に示した左反射鏡１０６ａに対応する仮想カメラ１１０の光学中心Ｃ1と、その光軸ａ′の方向は演算により得ることができる。また、仮想カメラ１１０の回転半径Ｒは以下の式（３）により得られる。
ここで、
Ｒ：仮想カメラの回転半径
ｒ：実カメラの回転半径
α：実カメラの光軸と反射鏡の平面がなす角度
Ｌ：光軸ａと反射鏡の平面の交点と回転中心との間の距離
である。
here,
R: rotation radius of the virtual camera r: rotation radius of the real camera α: angle formed by the optical axis of the real camera and the plane of the reflector L: distance between the intersection of the optical axis a and the plane of the reflector and the rotation center is there.
反射鏡１０６ａは実カメラ１０４の前方に配置されているので、Ｌ＞ｒである。従って、仮想カメラ１１０の回転半径Ｒは、実カメラ１０４の回転半径ｒよりも大きくなる。ただし、この左の反射鏡１０６ａに対応する仮想カメラ１１０は、右側半分以下の視界しか持たない。同様に、右の反射鏡１０６ｂに対応する仮想カメラも考えることができ、その仮想カメラは左半分以下の視界しか持たない。 Since the reflecting mirror 106a is disposed in front of the real camera 104, L> r. Accordingly, the rotation radius R of the virtual camera 110 is larger than the rotation radius r of the real camera 104. However, the virtual camera 110 corresponding to the left reflecting mirror 106a has a field of view less than the right half. Similarly, a virtual camera corresponding to the right reflector 106b can be considered, and the virtual camera has a field of view of the left half or less.
反射鏡の配置を決定する距離Ｌは、実カメラの回転半径ｒと該実カメラの大きさを加えた長さよりも十分大きくとる。また、反射鏡の角度αは実カメラの画角に依存し、仮想円１１２の接線方向からの光線反射が実カメラの視野領域に入るように調整する。 The distance L for determining the arrangement of the reflecting mirror is sufficiently larger than the length obtained by adding the rotation radius r of the real camera and the size of the real camera. Further, the angle α of the reflecting mirror depends on the angle of view of the real camera, and is adjusted so that the ray reflection from the tangential direction of the virtual circle 112 enters the visual field region of the real camera.
次に、上述した装置を用いたパノラマ画像の生成方法を説明する。
先ず、回転台１０２を回転させて、カメラ１０４により回転中心Ｏｒ回りに全方位３６０°にわたって所定の角度θ毎に複数の画像を撮影する。次いで、各θにおいて得られる画像を、図５に示すように、撮影の順にθ方向へ並べて３６０°に渡る時空間画像１３０を生成する。時空間画像１３０は、左の反射鏡１０６ａで反射してカメラ１０４により撮影された左画像領域１３２と、右の反射鏡１０６ｂで反射してカメラ１０４により撮影された右画像領域１３４と、中央の隙間ｇを通過してカメラ１０４により撮影された中央画像領域１３６とから成る。
Next, a panoramic image generation method using the above-described apparatus will be described.
First, the turntable 102 is rotated, and a plurality of images are taken for each predetermined angle θ over 360 ° around the rotation center Or by the camera 104. Next, as shown in FIG. 5, the images obtained at each θ are arranged in the θ direction in the order of shooting, and a spatiotemporal image 130 over 360 ° is generated. The spatiotemporal image 130 includes a left image region 132 reflected by the left reflecting mirror 106a and photographed by the camera 104, a right image region 134 reflected by the right reflecting mirror 106b and photographed by the camera 104, and a central image. And a central image area 136 photographed by the camera 104 through the gap g.
時空間画像１３０の左画像領域１３２の縦スリット１３２ａによって得られる部分を、回転角θ毎に順に抽出して左パノラマ画像１３２ｂが生成され、同様に、右画像領域１３４の縦スリット１３４ａから右パノラマ画像１３４ｂが生成され、中央画像領域１３６の縦スリット１３６ａから中央パノラマ画像１３６ａが生成される（図６参照）。時空間画像１３０を生成することなく、回転角θ毎に撮影された画像データ中の縦スリット１３４ａ、１３４ｂ、１３６ｂに相当する画像データを蓄積して左右および中央のパノラマ画像１３２ｂ、１３４ｂ、１３６ｂを生成してもよい。こうして得られた３枚のパノラマ画像、つまり左パノラマ画像、中央パノラマ画像、右パノラマ画像の例を図６に示す。 A portion obtained by the vertical slit 132a of the left image region 132 of the spatio-temporal image 130 is sequentially extracted for each rotation angle θ to generate a left panoramic image 132b. Similarly, the right panorama is generated from the vertical slit 134a of the right image region 134. An image 134b is generated, and a central panoramic image 136a is generated from the vertical slit 136a of the central image region 136 (see FIG. 6). Without generating the spatio-temporal image 130, the image data corresponding to the vertical slits 134a, 134b, 136b in the image data taken for each rotation angle θ is accumulated, and the left and right and center panoramic images 132b, 134b, 136b are stored. It may be generated. FIG. 6 shows an example of the three panoramic images thus obtained, that is, a left panorama image, a center panorama image, and a right panorama image.
ここで、縦スリット１３２ａ、１３４ａ、１３６ａは、回転中心Ｏｒを決定する軸線に平行に定義される。また、左右領域の縦スリット１３２ａ、１３４ａは、好ましくは、対応するカメラ視線が回転半径Ｒによって定まる円の接線方向になるように決定される。このとき、反射鏡１０６ａ、１０６ｂの角度αは、円の接線方向からの光線反射が実カメラ１０４の視野領域内に入るように調整しなければならない。 Here, the vertical slits 132a, 134a, and 136a are defined in parallel to the axis that determines the rotation center Or. The vertical slits 132a and 134a in the left and right regions are preferably determined so that the corresponding camera line of sight is in the tangential direction of a circle determined by the rotation radius R. At this time, the angle α of the reflecting mirrors 106 a and 106 b must be adjusted so that the light reflection from the tangential direction of the circle falls within the visual field region of the real camera 104.
以下、これらのパノラマ画像を利用して、ステレオ計測の原理で三次元計測を行う方法を説明する。
本発明の第１の実施形態による三次元計測方法では、左パノラマ画像１３２ｂと、右パノラマ画像１３４ｂの２枚のみを利用して三次元計測を行う。なお、以下の説明では、左パノラマ画像１３２ｂを基準パノラマ画像とし、右パノラマ画像１３４ｂを参照画像とする。
Hereinafter, a method of performing three-dimensional measurement based on the principle of stereo measurement using these panoramic images will be described.
In the three-dimensional measurement method according to the first embodiment of the present invention, three-dimensional measurement is performed using only the left panorama image 132b and the right panorama image 134b. In the following description, the left panorama image 132b is a standard panorama image, and the right panorama image 134b is a reference image.
先ず、左パノラマ画像１３２ｂにおいて、奥行きを求めたい注目画素を選択し、その注目画素に対する奥行きの候補λを決定する。λが決定されると、その注目画素の位置に対応する、右パノラマ画像１３４ｂ中の画素座標が計算できる。次いで、左パノラマ画像１３２ｂ上の注目画素と、右パノラマ画像１３４ｂ上の対応画素の各々の濃淡値を求め、注目画素と対応画素の濃淡値の差の二乗和（ＳＳＤ）を、あらかじめ設定したウィンドウに関して計算し、奥行き候補λに対する評価値とする。奥行き候補λが正しい奥行きであれば、ＳＳＤは小さくなる。こうして、λを変化させてＳＳＤを計算し、最小の値を得たλを、注目画素に対する奥行きとする。この操作を、左パノラマ画像１３２ｂ上の全ての画素に対して行い、全方位の三次元計測結果とする。 First, in the left panorama image 132b, a target pixel whose depth is to be obtained is selected, and a depth candidate λ for the target pixel is determined. When λ is determined, pixel coordinates in the right panoramic image 134b corresponding to the position of the target pixel can be calculated. Next, the gray value of each of the target pixel on the left panorama image 132b and the corresponding pixel on the right panorama image 134b is obtained, and a square sum (SSD) of the difference between the gray values of the target pixel and the corresponding pixel is set in advance. And the evaluation value for the depth candidate λ. If the depth candidate λ is the correct depth, the SSD is small. In this way, SSD is calculated by changing λ, and λ obtained the minimum value is set as the depth with respect to the pixel of interest. This operation is performed on all the pixels on the left panorama image 132b to obtain a three-dimensional measurement result in all directions.
この方法の場合、ステレオ計測におけるベースライン長は、図７中のＢ1で示すように、仮想カメラの回転直径となる。このベースライン長は、１台のカメラを利用した従来技術による方法におけるベースライン長よりも格段に大きくなる。また、ステレオ計測におけるエピポーラ拘束は、１台のカメラを利用した従来技術による方法と同様に非常に単純である。 In the case of this method, the baseline length in stereo measurement is the rotation diameter of the virtual camera as indicated by B 1 in FIG. This baseline length is much larger than the baseline length in the prior art method using one camera. In addition, epipolar constraint in stereo measurement is very simple as in the conventional method using one camera.
次に、第２の実施形態による三次元計測方法を説明する。
第２の実施形態では、第１の実施形態で用いた左右のパノラマ画像１３２ｂ、１３４ｂに加えて、中央領域のパノラマ画像１３６ｂを用いて各画素の奥行きを求める。すなわち、中央パノラマ画像１３６ｂが基準パノラマ画像となり、左右のパノラマ画像１３２ｂ、１３４ｂが参照画像となる。第１の実施形態と同様に、基準パノラマ画像において、奥行きを求めたい注目画素を選択する。また、その注目画素に対する奥行きの候補λを決定する。λが定まると、その注目画素の位置に対応する、左パノラマ画像１３２ｂ中の画素座標が計算できる。次いで、基準パノラマ画像上の注目画素と、左パノラマ画像１３２ｂ上の対応画素の各々の濃淡値を求め、注目画素と対応画素の濃淡値の差の二乗和（ＳＳＤ）を計算する。同様に、右パノラマ画像１３４ｂに対してもＳＳＤを計算する。
Next, a three-dimensional measurement method according to the second embodiment will be described.
In the second embodiment, in addition to the left and right panoramic images 132b and 134b used in the first embodiment, the depth of each pixel is obtained using the panoramic image 136b in the central region. That is, the center panorama image 136b is a standard panorama image, and the left and right panorama images 132b and 134b are reference images. Similar to the first embodiment, a target pixel whose depth is to be obtained is selected in the standard panoramic image. Also, a depth candidate λ for the target pixel is determined. When λ is determined, pixel coordinates in the left panorama image 132b corresponding to the position of the target pixel can be calculated. Next, the gray value of each pixel of interest on the reference panoramic image and the corresponding pixel on the left panorama image 132b is obtained, and the sum of squares (SSD) of the differences between the gray values of the pixel of interest and the corresponding pixel is calculated. Similarly, the SSD is calculated for the right panoramic image 134b.
こうして得られた２つのＳＳＤを加算してＳＳＳＤ(Sum of SSD)を求め、奥行き候補λに対する評価値とする。奥行き候補λが正しい奥行きであれば、左右パノラマ画像１３２ｂ、１３４ｂの各々のＳＳＤは小さくなり、得られるＳＳＳＤも小さくなる。よって、λを変化させてＳＳＳＤを計算し、最小の値を得たλを、注目画素に対する奥行きとする。この操作を、基準パノラマ画像上の全ての画素に対して行い、全方位の三次元計測結果とする。 The two SSDs thus obtained are added to obtain an SSSD (Sum of SSD), which is used as an evaluation value for the depth candidate λ. If the depth candidate λ is the correct depth, the SSD of each of the left and right panoramic images 132b and 134b is small, and the obtained SSSD is also small. Therefore, SSSD is calculated by changing λ, and λ obtained the minimum value is set as the depth for the target pixel. This operation is performed on all the pixels on the reference panorama image to obtain a three-dimensional measurement result in all directions.
ここで、本実施形態におけるステレオ計測におけるベースライン長は、図７中のＢ2で示すように、仮想カメラの回転半径Ｒとなる。この回転半径Ｒは、第１の実施形態のベースライン長Ｂ1、および実カメラ１０４の回転半径ｒよりも大きい。従って、本実施形態におけるベースライン長は、第１の実施形態による方法および１台のカメラを利用した従来技術による方法におけるベースライン長よりも大幅に大きくなる。 Here, the baseline length in stereo measurement in the present embodiment is the rotation radius R of the virtual camera, as indicated by B 2 in FIG. The turning radius R is larger than the baseline length B 1 of the first embodiment and the turning radius r of the real camera 104. Accordingly, the baseline length in the present embodiment is significantly larger than the baseline length in the method according to the first embodiment and the method according to the prior art using one camera.
また、３枚のパノラマを利用した場合では、右パノラマ画像１３２ｂ中に画像ノイズが存在した場合に、基準パノラマ画像（中央パノラマ画像１３６ｂ）と右パノラマ画像１３２ｂ間のＳＳＤ値が小さくならないことが生じ得る。然しながら、本実施形態では、左パノラマ画像１３４ｂで得られたＳＳＤも同様に利用するため、二つを加算したＳＳＳＤ値は、他のλにおけるＳＳＤよりも小さくなることが期待できる。これにより、画像ノイズの影響を低減できる。 Further, when three panoramas are used, the SSD value between the reference panorama image (center panorama image 136b) and the right panorama image 132b does not decrease when image noise is present in the right panorama image 132b. obtain. However, in the present embodiment, since the SSD obtained from the left panorama image 134b is also used in the same manner, the SSSD value obtained by adding the two can be expected to be smaller than the SSD at other λ. Thereby, the influence of image noise can be reduced.
更に、右パノラマ画像１３２ｂ中でオクルージョンが発生した場合も、基準パノラマ画像１３６ｂと右パノラマ画像１３２ｂ間のＳＳＤ値は小さくならない。然しながら、一般に、右パノラマ画像１３２ｂと左パノラマ画像１３４ｂで同時にオクルージョンが発生することは少ないので、二つを加算したＳＳＳＤ値は、他のλにおけるＳＳＤよりも小さくなることが期待できる。これにより、オクルージョンの影響も低減できる。 Furthermore, even when occlusion occurs in the right panorama image 132b, the SSD value between the reference panorama image 136b and the right panorama image 132b does not decrease. However, in general, there is little occurrence of occlusion in the right panorama image 132b and the left panorama image 134b. Therefore, the SSSD value obtained by adding the two can be expected to be smaller than the SSD in other λ. Thereby, the influence of occlusion can also be reduced.
次に、本発明の第３の実施形態による三次元計測方法を説明する。本実施形態では、特定のパノラマ画像間のＳＳＤを計算するのではなく、図５に示した時空間画像１３０全体から軌跡を抽出することにより三次元計測を行う。本実施形態では、第２の実施形態と同様に中央パノラマ画像１３６ｂを基準パノラマ画像とする。 Next, a three-dimensional measurement method according to the third embodiment of the present invention will be described. In the present embodiment, three-dimensional measurement is performed by extracting a trajectory from the entire spatiotemporal image 130 shown in FIG. 5 instead of calculating an SSD between specific panoramic images. In the present embodiment, the central panoramic image 136b is set as a reference panoramic image as in the second embodiment.
まず、基準パノラマ画像である中央パノラマ画像１３６ｂにおいて、奥行きを求めたい注目画素を選択し、該注目画素に対する奥行きの候補λを決定する。λが決定されると、その注目画素の位置に対応する、左画像領域１３２中の対応点の軌跡が計算できる。そこで、中央パノラマ画像１３６ｂ中の注目画素と、左画像領域１３２において対応する対応画素の濃淡値の差の二乗和（ＳＳＤ）を、対応点の軌跡に渡って加算しＳＳＳＤを求める。同様に、右画像領域１３４中の対応点の軌跡に関してもＳＳＳＤを計算する。この２つのＳＳＳＤを、異なるλについて全て計算する。例えば、合計Ｎ個のλについてＳＳＳＤを計算すると、合計２×Ｎ個のＳＳＳＤが得られる。このＳＳＳＤの中で、最も小さいＳＳＳＤに対応するλを、注目画素に対する奥行き推定結果λとする。この操作を、基準パノラマ画像上の全ての画素に対して行い、全方位の三次元計測結果とする。 First, in the central panorama image 136b that is a reference panorama image, a target pixel for which a depth is to be obtained is selected, and a depth candidate λ for the target pixel is determined. When λ is determined, the locus of the corresponding point in the left image region 132 corresponding to the position of the target pixel can be calculated. Accordingly, the sum of squares (SSD) of the difference between the gray values of the target pixel in the central panorama image 136b and the corresponding pixel corresponding in the left image region 132 is added over the trajectory of the corresponding point to obtain the SSSD. Similarly, the SSSD is calculated for the locus of corresponding points in the right image area 134. The two SSSDs are all calculated for different λ. For example, when SSSD is calculated for a total of N λ, a total of 2 × N SSSDs are obtained. Among the SSSDs, λ corresponding to the smallest SSSD is set as a depth estimation result λ for the target pixel. This operation is performed on all the pixels on the reference panorama image to obtain a three-dimensional measurement result in all directions.
第２の実施形態では、中央パノラマ画像１３６ｂを基準パノラマ画像とし、左右パノラマ画像１３２ｂ、１３４ｂを２枚の参照画像として利用して奥行き推定を行っているが、第３の実施形態では、より多くの参照画像を利用して奥行きを推定しているのと等価である。つまり、第３の実施形態では、左画像領域１３２に注目すると、左画像領域１３２全ての縦スリットで構成されるパノラマ画像を利用してＳＳＳＤを計算することと等価である。よって、左画像領域１３２だけで画像ノイズの影響を低減した三次元計測ができる。このとき、各縦スリットに対応するベースライン長が存在する。よって、第３の実施形態では、複数の異なるベースライン長のステレオ計測を利用した三次元計測となり、そのベースライン長の最大値は、第２の実施形態で述べたＢ2と同じになる。同様に、右画像領域１３４のみを利用して三次元計測ができるが、一方の反射鏡の領域でオクルージョンが発生した場合、その領域全体に渡って注目画素に対応する対応点の軌跡が失われる可能性があるため、それぞれの反射鏡領域のＳＳＳＤを別々に評価する。これにより、オクルージョンの影響を低減できる。さらに、多くのパノラマ画像を利用する効果として、画像に含まれる繰り返しパターンによる誤対応の問題も改善することができる。 In the second embodiment, the central panorama image 136b is used as a standard panorama image, and the left and right panorama images 132b and 134b are used as two reference images. However, in the third embodiment, more depth is estimated. This is equivalent to estimating the depth using the reference image. That is, in the third embodiment, paying attention to the left image area 132 is equivalent to calculating the SSSD using a panoramic image composed of all the vertical slits in the left image area 132. Therefore, it is possible to perform three-dimensional measurement with the influence of image noise reduced only by the left image region 132. At this time, there is a baseline length corresponding to each vertical slit. Therefore, in the third embodiment, three-dimensional measurement using a plurality of different baseline length stereo measurements is performed, and the maximum value of the baseline length is the same as B 2 described in the second embodiment. Similarly, three-dimensional measurement can be performed using only the right image region 134. However, when occlusion occurs in one of the reflecting mirror regions, the locus of the corresponding point corresponding to the target pixel is lost over the entire region. Since there is a possibility, the SSSD of each reflector region is evaluated separately. Thereby, the influence of occlusion can be reduced. Furthermore, as an effect of using a large number of panoramic images, it is possible to improve the problem of miscorrespondence due to repeated patterns included in the images.
既述した第１から第３の実施形態による方法によれば、１台のカメラを利用した従来技術による方法のものよりも大きなベースライン長を利用できる。例えば、図４においてα＝４５°、Ｌ＝２ｒとすると、(1)第１の実施形態では、Ｂ1＝２Ｒ＝２ｒ５1/2となるため、１台のカメラを利用した従来技術による方法（Ｂ＝２ｒｓｉｎψ、ψ＝２０°）よりも約６．５４倍のベースラインを持ち、(2)第２の実施形態では、Ｂ2＝Ｒ＝ｒ５1/2となるため、１台のカメラを利用した従来技術による方法（Ｂ＝２ｒｓｉｎψ、ψ＝２０°）よりも約３．２７倍のベースラインを持ち、(3)第３の実施形態では、複数のベースラインを持つステレオ計測の組み合わせになるが、その最大ベースライン長は第２の実施形態と同じである。 According to the above-described methods according to the first to third embodiments, it is possible to use a larger baseline length than that of the conventional method using one camera. For example, when α = 45 ° and L = 2r in FIG. 4, (1) In the first embodiment, B 1 = 2R = 2r5 1/2 , so that the conventional method using one camera is used. It has a base line that is approximately 6.54 times that of (B = 2rsin ψ, ψ = 20 °). (2) In the second embodiment, B 2 = R = r5 1/2 , so one camera (3) In the third embodiment, a combination of stereo measurements having a plurality of baselines has a baseline approximately 3.27 times that of the conventional method using B (B = 2rsinψ, ψ = 20 °). However, the maximum baseline length is the same as in the second embodiment.
また、第２と第３の実施形態による方法では、画像ノイズに対する影響を低減でき、その効果は第３の実施形態による方法において最も高い。さらに、第２と第３の実施形態による方法では、オクルージョンに対する影響を低減でき、その効果は第３の実施形態による方法において最も効果的である。 In addition, the method according to the second and third embodiments can reduce the influence on image noise, and the effect is the highest in the method according to the third embodiment. Furthermore, in the method according to the second and third embodiments, the influence on the occlusion can be reduced, and the effect is most effective in the method according to the third embodiment.
以下、シミュレーション実験を行った結果を示す。ＣＧを利用して一辺が２．５メートル四方の部屋を作成し、壁にテクスチャを貼り付けたものを生成した。また、部屋の中にボールと円柱を配置した。 The results of simulation experiments are shown below. A room with a side of 2.5 meters was created using CG, and a texture was pasted on the wall. A ball and cylinder were placed in the room.
図４に示したパラメータについて、それぞれ、ｒ＝１３３．３［mm］、Ｌ＝２００［mm］、α＝４７．９°として、第３の実施形態による方法を利用して三次元形状復元を行った。このとき仮想カメラ１１０の回転半径はＲ＝２１２．９［mm］であった。また、本発明の効果を示すため、１台のカメラを用いた従来方法（ψ＝２０°）との比較を行った。 With respect to the parameters shown in FIG. 4, r = 133.3 [mm], L = 200 [mm], and α = 47.9 °, respectively, and the three-dimensional shape restoration is performed using the method according to the third embodiment. went. At this time, the rotation radius of the virtual camera 110 was R = 212 [mm]. In order to show the effect of the present invention, a comparison was made with a conventional method (ψ = 20 °) using one camera.
図８は、従来方法と第３の実施形態による方法で得られたパノラマ画像を示している。図９は、２つの方法による三次元奥行き推定結果をモノクロ画像で示したものであり、近くの点ほど白く表示されるように表示してある。図１０は、２つの方法による三次元奥行き推定結果を断面図として表示したものである。これらの結果において、本発明システムを用いた第３の実施形態による方法の奥行き推定結果が、従来方法よりも良好であることがわかる。図１１は、このようにして得られた奥行き推定結果に、テクスチャを貼り付けたものである。 FIG. 8 shows panoramic images obtained by the conventional method and the method according to the third embodiment. FIG. 9 shows the three-dimensional depth estimation results by the two methods as a monochrome image, and is displayed so that the closer the point is, the more white it is displayed. FIG. 10 displays the three-dimensional depth estimation results by the two methods as sectional views. From these results, it can be seen that the depth estimation result of the method according to the third embodiment using the system of the present invention is better than the conventional method. FIG. 11 shows a texture obtained by pasting the depth estimation result thus obtained.
次に、実画像実験をおこなった結果を示す。
図４に示したパラメータについて、それぞれ、ｒ＝１９８．３４３［mm］、Ｌ＝２３０．０［mm］、左反射鏡のα＝４６．７２５°、右反射鏡のα＝４８．６８８°として、第３の実施形態による方法を利用して三次元形状復元を行った。また、本発明の効果を示すため、１台のカメラを用いた従来方法（ψ＝２０°）との比較を行った。
Next, the results of real image experiments are shown.
For the parameters shown in FIG. 4, r = 198.343 [mm], L = 230.0 [mm], α = 46.725 ° for the left reflector, and α = 48.688 ° for the right reflector, respectively. The three-dimensional shape restoration was performed using the method according to the third embodiment. In order to show the effect of the present invention, a comparison was made with a conventional method (ψ = 20 °) using one camera.
図１２は、従来方法と第３の実施形態による方法で得られたパノラマ画像を示している。図１３は、２つの方法による三次元奥行き推定結果をモノクロ画像で示したものであり、既述のものと同様に、近くの点ほど白く表示されるように表示している。図１４は、三次元奥行き推定結果を断面図として表示したものである。発明システムを用いた方法が、従来方法よりも良好な結果が得られていることがわかる。 FIG. 12 shows panoramic images obtained by the conventional method and the method according to the third embodiment. FIG. 13 shows the three-dimensional depth estimation results by the two methods as a monochrome image, which is displayed so as to be displayed in white as a nearby point is the same as described above. FIG. 14 shows a three-dimensional depth estimation result as a cross-sectional view. It can be seen that the method using the inventive system gives better results than the conventional method.
１００ 三次元計測装置
１０２ 回転台
１０４ カメラ
１０６ａ 反射鏡
１０６ｂ 反射鏡
DESCRIPTION OF SYMBOLS 100 Three-dimensional measuring apparatus 102 Turntable 104 Camera 106a Reflective mirror 106b Reflective mirror
Claims (4)
前記カメラに関して相対移動することなく、前記回転台および前記カメラと共に回転するように設けられた一対の反射鏡であって、該反射鏡は、反射した光が前記カメラの対物レンズに入射できるように、前記カメラの前方に前記光軸に関して所定の角度を以て配向された一対の反射鏡とを具備し、
前記カメラを前記軸線に関して所定の角度毎に回転して、前記カメラにより前記軸線回りのシーンを撮影するようにした全方位三次元計測装置。 A camera provided so that the optical axis is rotatable about the axis so as to intersect with a predetermined angle with respect to a predetermined axis;
A pair of reflecting mirrors provided so as to rotate together with the turntable and the camera without relative movement with respect to the camera, the reflecting mirrors allowing reflected light to enter the objective lens of the camera. A pair of reflecting mirrors oriented at a predetermined angle with respect to the optical axis in front of the camera,
An omnidirectional three-dimensional measurement apparatus in which the camera is rotated at predetermined angles with respect to the axis, and a scene around the axis is photographed by the camera.
基準パノラマ画像中の注目画素の奥行きの候補を定め、
前記注目画素に対応した参照パノラマ画像中の対応画素を求め、
基準パノラマ画像上の注目画素と、参照パノラマ画像中の対応画素の濃淡値の差が最小となる奥行き候補を前記注目画素の奥行きとして決定するようにした全方位三次元計測装置。 A standard panorama image and a reference panorama image are generated based on images taken at predetermined angles around the axis using the omnidirectional three-dimensional measurement apparatus according to claim 1.
Define the candidate depth of the pixel of interest in the reference panoramic image,
Obtaining a corresponding pixel in a reference panoramic image corresponding to the target pixel;
An omnidirectional three-dimensional measurement apparatus configured to determine a depth candidate having a minimum difference in gray value between a target pixel on a reference panoramic image and a corresponding pixel in a reference panoramic image as the depth of the target pixel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004261571A JP2006078291A (en) | 2004-09-08 | 2004-09-08 | Omnidirectional three-dimensional measuring apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004261571A JP2006078291A (en) | 2004-09-08 | 2004-09-08 | Omnidirectional three-dimensional measuring apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006078291A true JP2006078291A (en) | 2006-03-23 |
| JP2006078291A5 JP2006078291A5 (en) | 2007-09-06 |
Family
ID=36157883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004261571A Pending JP2006078291A (en) | 2004-09-08 | 2004-09-08 | Omnidirectional three-dimensional measuring apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006078291A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010107351A (en) * | 2008-10-30 | 2010-05-13 | Okuma Corp | Processing tool or apparatus for measuring shape of to-be-processed object |
| JP2012154862A (en) * | 2011-01-28 | 2012-08-16 | Hitachi Ltd | Three-dimensional dimension measuring device |
| US8483444B2 (en) | 2007-06-15 | 2013-07-09 | Kabushiki Kaisha Toshiba | Apparatus for inspecting and measuring object to be measured |
| CN108765667A (en) * | 2018-06-15 | 2018-11-06 | 重庆慧居智能电子有限公司 | The data acquisition device of building entrance guard management |
| WO2023166546A1 (en) * | 2022-03-01 | 2023-09-07 | 日立Astemo株式会社 | Stereo image processing device |
-
2004
- 2004-09-08 JP JP2004261571A patent/JP2006078291A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8483444B2 (en) | 2007-06-15 | 2013-07-09 | Kabushiki Kaisha Toshiba | Apparatus for inspecting and measuring object to be measured |
| JP2010107351A (en) * | 2008-10-30 | 2010-05-13 | Okuma Corp | Processing tool or apparatus for measuring shape of to-be-processed object |
| JP2012154862A (en) * | 2011-01-28 | 2012-08-16 | Hitachi Ltd | Three-dimensional dimension measuring device |
| CN108765667A (en) * | 2018-06-15 | 2018-11-06 | 重庆慧居智能电子有限公司 | The data acquisition device of building entrance guard management |
| WO2023166546A1 (en) * | 2022-03-01 | 2023-09-07 | 日立Astemo株式会社 | Stereo image processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2402229T3 (en) | Image fusion method and device | |
| JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
| US8259306B2 (en) | Single-lens, single-aperture, single-sensor 3-D imaging device | |
| US8576381B2 (en) | Method and apparatus for quantitative 3-D imaging | |
| JP2874710B2 (en) | 3D position measuring device | |
| WO2021140886A1 (en) | Three-dimensional model generation method, information processing device, and program | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| US7420750B2 (en) | Catadioptric single camera systems having radial epipolar geometry and methods and means thereof | |
| Kuthirummal et al. | Multiview radial catadioptric imaging for scene capture | |
| WO2009147814A1 (en) | Image processing device, method, and computer program for generating normal (line) information, and viewpoint-converted image generation device | |
| US20130249901A1 (en) | Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces | |
| CN110827392B (en) | Monocular image three-dimensional reconstruction method, system and device | |
| JP2019510311A (en) | Method and computer program product for calibrating a stereo imaging system using a planar mirror | |
| Ferreira et al. | Stereo reconstruction of a submerged scene | |
| JP6580761B1 (en) | Depth acquisition apparatus and method using polarization stereo camera | |
| CN111009030A (en) | Multi-view high-resolution texture image and binocular three-dimensional point cloud mapping method | |
| Lin et al. | A low-cost portable polycamera for stereoscopic 360 imaging | |
| JP2013101464A (en) | Image processing device and image processing method | |
| WO2008034942A1 (en) | Method and apparatus for stereopanoramic imaging | |
| JP2016114445A (en) | Three-dimensional position calculation device, program for the same, and cg composition apparatus | |
| JP2006078291A (en) | Omnidirectional three-dimensional measuring apparatus | |
| JP2004258775A (en) | Light beam space data processing method and space data processor | |
| Amini et al. | Development of a new stereo‐panorama system based on off‐the‐shelf stereo cameras | |
| KR20210112263A (en) | Method for generating virtual viewpoint image nad apparatus for the same | |
| Kudinov et al. | The algorithm for a video panorama construction and its software implementation using CUDA technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070719 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100302 |