JPH04203908A - Method and apparatus for acquiring three-dimensional data - Google Patents
Method and apparatus for acquiring three-dimensional dataInfo
- Publication number
- JPH04203908A JPH04203908A JP2335104A JP33510490A JPH04203908A JP H04203908 A JPH04203908 A JP H04203908A JP 2335104 A JP2335104 A JP 2335104A JP 33510490 A JP33510490 A JP 33510490A JP H04203908 A JPH04203908 A JP H04203908A
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- correlation calculation
- calculation
- parallax
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【発明の詳細な説明】
産業上の利用分野
本発明は、画像演算処理を用い、複数の２次元画像から
奥行きデータを得る、３次元データ獲得方法及び、３次
元データ獲得装置に関するものである。DETAILED DESCRIPTION OF THE INVENTION Field of the Invention The present invention relates to a three-dimensional data acquisition method and a three-dimensional data acquisition apparatus that use image arithmetic processing to obtain depth data from a plurality of two-dimensional images.
従来の技術
従来の奥行き検出処理方法としては、例えζｉ′「航空
写真図形の処理」 （第４回画像工学コンファレンス、
ｐｐ ２９−３２）があげられる。これらの方を去の
特徴とする点のひとつは、相関をとる範囲カイ画像の濃
淡だけで決定されているところである。Conventional technology Conventional depth detection processing methods include, for example,
pp 29-32). One of the features that makes these different is that they are determined only by the shading of the range chi image for which correlation is taken.
発明が解決しようとする課題
従って画像に濃淡が有る場合においても、オフルージョ
ン（視点の違いによりある物体が前の物体後ろに入り、
見えなくなった状態）が発生した場合には、適切な相関
をとる範囲が決定できず、正しい奥行きが求まらないと
いう課題が有った。Problems to be Solved by the Invention Therefore, even when there are shadings in the image, occlusion (when an object appears behind an object in front due to a difference in viewpoint) can occur.
When this occurs, it is not possible to determine the range for appropriate correlation, and the correct depth cannot be determined.
また相関演算量が莫大になるという課題もあった。Another problem was that the amount of correlation calculations became enormous.
本発明はかかる従来の奥行き検出処理方法の課題に鑑み
、オフルージョンが発生した場合にも、相関をとる範囲
を正しく決定でき、正しい奥行きが求められる、また相
関演算量を低減する、３次元データ獲得方法及び、３次
元データ獲得装置を提供することを目的とする。In view of the problems of the conventional depth detection processing method, the present invention provides three-dimensional data that can correctly determine the range for correlation even when an off-fusion occurs, obtain the correct depth, and reduce the amount of correlation calculation. The present invention aims to provide an acquisition method and a three-dimensional data acquisition device.
課題を解決するための手段
本発明は、相関演算手段によって、複数の視点より被写
体を撮像した複数の画像の相関を演算する相関演算工程
と、領域決定手段によって、その画像の相関演算を行う
画像の領域を決定する領域決定工程と、視差演算手段に
よ−）て、相関演算結果より視差を求める視差演算工程
と、奥行きデータ演算手段によって、その視差より奥行
き方向のデータを演算する奥行きデータ演算工程とを備
え、領域決定工程では、相関値の最低１１ａ、偏移に対
する相関値の傾き、相関１１αの平均に応じて相関演算
を行う領域を決定する３次元データ獲得方法である。Means for Solving the Problems The present invention provides a correlation calculation step in which a correlation calculation means calculates the correlation between a plurality of images of a subject taken from a plurality of viewpoints, and an image processing method in which a region determination means performs a correlation calculation on the images. a parallax calculation step in which parallax is determined from a correlation calculation result by a parallax calculation means; and a depth data calculation step in which data in the depth direction is calculated from the parallax by a depth data calculation means. This is a three-dimensional data acquisition method, which comprises a step of determining a region, in which a region for performing a correlation calculation is determined according to the lowest correlation value 11a, the slope of the correlation value with respect to the deviation, and the average of the correlation 11α.
また、本発明は、複数の２次元撮像手段と、その２次元
撮像手段を用い、複数の視点より被写体を撮像した複数
の画像の相関を°演算する相関演算手段と、その画像の
相関演算を行う画像の領域を決定する領域決定手段と、
相関演算結果より視差を求める視差演算手段と、その視
差より奥行き方向のデータを演算する奥行きデータ演算
手段とを備え、領域決定手段は、相関値の最低値、偏移
に対する相関値の傾き、相関値の平均に応じて相関演算
を行う領域を決定する３次元データ獲得装置である。The present invention also provides a plurality of two-dimensional imaging means, a correlation calculation means for calculating the correlation of a plurality of images obtained by capturing a subject from a plurality of viewpoints using the two-dimensional imaging means, and a correlation calculation means for calculating the correlation of the images. region determining means for determining the region of the image to be imaged;
The region determining means includes a parallax calculation means for calculating a parallax from the correlation calculation result, and a depth data calculation means for calculating data in the depth direction from the parallax, and the area determination means calculates the minimum value of the correlation value, the slope of the correlation value with respect to the deviation, the correlation This is a three-dimensional data acquisition device that determines a region for performing correlation calculations according to the average of values.
作用
本発明は、相関演算結果を領域決定手段により判定し、
相関１１αが十分てない場合には、相関演算を行う領域
の大きさや、位置を変更することにより、ｉＥＬ／ ＜
相開演算が行われる領域を決定して、相関顧を計算し正
しい奥行きを求める。Effect The present invention determines the correlation calculation result by the area determining means,
If the correlation 11α is not sufficient, by changing the size and position of the region where the correlation calculation is performed, iEL/<
Determine the area where the phase difference calculation will be performed, calculate the correlation coefficient, and find the correct depth.
実施例
以下、本発明の実施例について図面を参照して説明する
。Embodiments Hereinafter, embodiments of the present invention will be described with reference to the drawings.
第１図は、本発明の第１の実施例における３次元データ
獲得装置を、模式的に示した構成図である。第１図にお
いて、ｌは視覚の異なるステレオペアの画像信号を−Ｆ
ＴＩ蓄える画像メモリ、２はそれら画像信号の帯域を制
限するフィルタ、３は、それら帯域制限を受けた２つの
信号の相関を演算する相関演算器、４はその相関演算結
果をもとに相関演算の領域を決定する演算領域決定器、
５は前記相関演算結束より一視差を計算する視差演算器
、６はその視差から奥行きを計算する奥行きデータ演算
器である。FIG. 1 is a block diagram schematically showing a three-dimensional data acquisition device according to a first embodiment of the present invention. In Fig. 1, l denotes the image signal of a stereo pair with different visual senses as −F
2 is a filter that limits the band of these image signals; 3 is a correlation calculator that calculates the correlation between the two band-limited signals; 4 is a correlation calculator based on the results of the correlation calculation. an operation area determiner that determines the area of
Reference numeral 5 denotes a parallax calculator that calculates a parallax from the correlation calculation combination, and 6 a depth data calculator that calculates depth from the parallax.
以上のように構成された、本実施例の３次元データ獲得
装置について、以下その動作を説明し、それとともに、
本発明にかかる３次元データ獲得方法に付いても説明す
る。The operation of the three-dimensional data acquisition device of this embodiment configured as described above will be explained below, and along with that,
A three-dimensional data acquisition method according to the present invention will also be explained.
入力されたステレオベアの画像信号を画像メモリｌに蓄
積し、相関演算を行う前に、相関演算の領域の広さに応
じて帯域制限をフィルター２により行う。領域が広い場
合には帯域制限は十分に行い、領域が狭い場合には帯域
制限は少なくし、相関演算量を低減する。The input Stereo Bear image signal is stored in the image memory 1, and before correlation calculation is performed, band limitation is performed by filter 2 according to the width of the correlation calculation area. When the area is wide, the band limit is sufficiently applied, and when the area is narrow, the band limit is reduced to reduce the amount of correlation calculation.
フィルター２の具体的構成を第２図に示す。同図の１１
から１４は独立したフィルター要素で、１５は切り替え
スイッチである。各フィルター要素１１〜１４の帯域は
、
フィルターａｌＤフィルター１２〉フィルター０１３〉
フィルターｄ１４ −（＋）として、全てのフィル
ター要素１１〜１４を通過した信号は、最も帯域が制限
されたものとなるように構成する。フィルターの帯域は
、相関演算を行う代表点の間隔にほぼ反比例するように
構成する。帯域の切り替えは、演算領域決定器４により
後述するようにして定める。フィルター２により帯域制
限された画像信号を、相関演算器５により、相関の最も
強い場所を求める。A specific configuration of the filter 2 is shown in FIG. 11 in the same figure
14 are independent filter elements, and 15 is a changeover switch. The bands of each filter element 11 to 14 are as follows: filter ALD filter 12>filter 013>
The filter d14 -(+) is configured so that the signal that has passed through all the filter elements 11 to 14 has the most limited band. The band of the filter is configured to be approximately inversely proportional to the interval between representative points on which correlation calculations are performed. Band switching is determined by the computation area determiner 4 as will be described later. The image signal band-limited by the filter 2 is used to find the location where the correlation is strongest by the correlation calculator 5.
その相関演算器の構成を第３図に示す。同図において、
２１は代表点を記憶するメモリ、２２は差分絶対値演算
器、２３は累積加算器、２４は相関値メモリ、２５は代
表点選択器、２６は累積加ｙ器２；３と相関値メモリ２
４０制御器である。相関演算器３の演算は、次式（２）
により行う。ここで、 （Ｘｋ、Ｙｋ）は代表点メモリ
２１が記憶する信号の位置を示し、ｋは代表点の番号で
ある。また里とｊは相関演算を行う範ＩＪ１１を示し、
Ｐ（ｉ、ｊ）の最小になる点（ｉ、、ｉ）が相関の最も
強い点となる。Ｓ「と８１はステレオベアの画像信号の
右と左の信号を示す。The configuration of the correlation calculator is shown in FIG. In the same figure,
21 is a memory for storing representative points, 22 is a difference absolute value calculator, 23 is a cumulative adder, 24 is a correlation value memory, 25 is a representative point selector, 26 is a cumulative adder 2; 3 and correlation value memory 2
40 controller. The calculation of the correlation calculator 3 is performed by the following equation (2). Here, (Xk, Yk) indicates the position of the signal stored in the representative point memory 21, and k is the number of the representative point. In addition, ri and j indicate the range IJ11 in which the correlation calculation is performed,
The point (i, , i) where P(i, j) is the minimum is the point with the strongest correlation. S' and 81 indicate the right and left signals of the stereo bear image signal.
この演算は、第３図において、帯域制限された２つの画
像信号ｌ、２（ｍｍの異なるステレオベアの画像信号）
が入力され、右の画像信号を代表点メモリ２１に記憶し
て、 （２）式に示した差分絶対１１αと累積加算の演
算を、差分絶対値器２２と累積加算器２３で行い、得ら
れた相関値Ｐ（１゜Ｊ）を相関値メモリ２４に蓄積し、
最小値とその位置を示すデータ（ｉ、ｊ）を出力する。This calculation is performed using two band-limited image signals l and 2 (stereobear image signals with different mm) in FIG.
is input, the right image signal is stored in the representative point memory 21, and the absolute difference 11α and the cumulative addition shown in equation (2) are calculated by the absolute difference value unit 22 and the cumulative adder 23, and the result is obtained. The calculated correlation value P (1°J) is stored in the correlation value memory 24,
Output data (i, j) indicating the minimum value and its position.
制御器２６は、後述する演算領域決定器４の出力に対応
じて（２）式の演算が正しく行われるように、累積加算
器２３と相関値メモリ２４を制御する。また代表点選択
器２５は相関演算領域の大きさに応じて使用する代表点
を決定し、代表点メモリ２１を制御する。相関演算領域
の大きさと、代表点配置の関係を第４図に示す。The controller 26 controls the cumulative adder 23 and the correlation value memory 24 so that the calculation of equation (2) is performed correctly in accordance with the output of the calculation area determiner 4, which will be described later. Further, the representative point selector 25 determines a representative point to be used according to the size of the correlation calculation area, and controls the representative point memory 21. FIG. 4 shows the relationship between the size of the correlation calculation area and the arrangement of representative points.
第４図（ａ）は初Ｉ１１段階で、相関演算領域の大きさ
が最大のときの代表点配置であり、 （ｂ）は第２段階
で、相関演算領域の大きさが初回段階の１７４ときの代
表点配置であり、 （Ｃ）は第３段階で、相関演算領域
の大きさが初期段階の１／１６ときの代表点配置である
。それぞれの代表点配置は相似形であり、相関演算領域
の面積は、それぞれ１／４の関係にある。その初回段階
において相関演算領域の大きさは、入力される画像の大
きさの１／１６とする。Figure 4 (a) shows the representative point arrangement at the first stage I11 when the size of the correlation calculation area is the maximum, and (b) shows the representative point arrangement at the second stage when the size of the correlation calculation area is 174 at the initial stage. (C) is the representative point arrangement at the third stage when the size of the correlation calculation area is 1/16 of the initial stage. The respective representative point arrangements are similar, and the areas of the correlation calculation regions are 1/4 of each other. In the initial stage, the size of the correlation calculation area is set to 1/16 of the size of the input image.
各演算領域で相関値の演算を行った場合、入力される画
像の条件により相関値の状態が変化する。When a correlation value is calculated in each calculation region, the state of the correlation value changes depending on the conditions of the input image.
この状態を第５図に示す。縦軸は相関値であり、横軸は
相関演算を行うときの偏移であり、 （２）式の１とＪ
に対応する。第５図においてａで示したものは、相関値
の谷が鋭く現われており、相関値のいちばん小さい点が
左右画像の対応点である。This state is shown in FIG. The vertical axis is the correlation value, and the horizontal axis is the deviation when performing the correlation calculation, and 1 and J in equation (2)
corresponds to What is indicated by a in FIG. 5 shows a sharp valley in the correlation value, and the point with the smallest correlation value is the corresponding point in the left and right images.
この場合、相関演算領域内で、左右画像が非常に良く対
応しＣいる場合の例である。次に１）で示したものは、
相関演算領域内に位置がずれて対応じている部分がある
場合である。この場合、小さい谷が２個（一般には複数
個）でき、また谷の最小値がａの場合に比べて大きくな
る。またＣで示したものは、左右の画像内に信号の変化
がほとんど無く、相関値の十分な谷が出来ず、また偏移
に対する相関値の変化が小さくなる。このような場合左
右画像の正しい対応は求めることが出来ない。This is an example of a case where the left and right images correspond very well within the correlation calculation area. Next, what is shown in 1) is
This is a case where there are portions that correspond to each other with shifted positions within the correlation calculation area. In this case, two small valleys (generally, a plurality of valleys) are created, and the minimum value of the valley is larger than in the case of a. Further, in the case shown by C, there is almost no signal change in the left and right images, a sufficient valley in the correlation value is not formed, and the change in the correlation value with respect to deviation is small. In such a case, it is not possible to determine the correct correspondence between the left and right images.
相関演算領域が初期段階において、ａの場合は十分な対
応がとれており、相関演算領域の変更は必要ない。Ｃの
場合は入力された左右画像の相関演算領域内に十分な信
号の変化が無いため、これ以りの対応は演算出来ず、演
算領域の変更は行わない。ｂの場合には相関演算領域内
に、信号の変化があるがその領域の分割が適切でないた
め、鋭い相関の谷が得られていないものである。したが
ってｂの場合には相関演算領域を、再分割し相関演算を
再計算する。相関演算領域の再分割方法は、第４図に示
すように４等分（１／４）する。When the correlation calculation area is in the initial stage, if it is a, there is sufficient correspondence, and there is no need to change the correlation calculation area. In the case of C, since there is no sufficient signal change within the correlation calculation area of the input left and right images, no further correspondence can be calculated, and the calculation area is not changed. In case b, there is a change in the signal within the correlation calculation region, but the division of the region is not appropriate, so a sharp correlation valley is not obtained. Therefore, in case b, the correlation calculation area is redivided and the correlation calculation is recalculated. The correlation calculation area is divided into four equal parts (1/4) as shown in FIG.
以上のようにして相関演算領域の分割を行いながら、対
応点を調べ全ての相関演算領域において、ｂの状態が無
くなるまで行う。第６図に相関演算領域の変更方法を整
理して示す。ここで相関平均値は、相関値を偏移におい
て積算平均し・たものである。第６図において、Ｃの演
算領域の拡大は、初期段階を相関演算領域が最大のもの
から始めた場合、相関演算領域の更なる拡大変更は行わ
ない。While dividing the correlation calculation area as described above, corresponding points are checked until the state b disappears in all correlation calculation areas. FIG. 6 summarizes and shows how to change the correlation calculation area. Here, the correlation average value is the cumulative average of the correlation values with respect to the deviation. In FIG. 6, when expanding the calculation area of C, if the initial stage is started from the one with the largest correlation calculation area, the correlation calculation area is not further enlarged or changed.
またＣの状態は、入力された画像には相関が識別出来る
程度の、信号変化が無い条件を示しているものであり、
この場合は後述するように左右−Ｅ下の視差量により補
完を行う領域とする。またＤて示した分類は、要素の糾
合せとして存在するが、実際の状態としては存在しない
。またＢで示した状態は、視点の違いによりある物体が
前の物体後ろに入り、見えなくなった状態（オ／フルー
ジョン）を示すものである。Ａで示した状態では、領域
は固定したままとする。以上の制御を演算領域決定器へ
て行う。In addition, state C indicates a condition in which there is no signal change to the extent that correlation can be discerned in the input image.
In this case, as will be described later, the area is supplemented by the amount of parallax below -E on the left and right sides. Further, the classification indicated by D exists as a combination of elements, but does not exist as an actual state. The state indicated by B indicates a state in which an object is hidden behind the previous object due to a difference in viewpoint and is no longer visible (o/fusion). In the state shown by A, the area remains fixed. The above control is performed by the calculation area determiner.
決定された相関演算領域に対して、相関値のノイズによ
る対応点の誤りが少なくなるよう、相関演算領域の大き
さに対応じてフィルター２の帯域を制御する。以上のよ
うにしてステレオベアの画像を用いて、実際の画像を相
関演算領域に分離した例を第７図に示す。第７図（ａ）
、 （ｂ）は左画像と右画像と、初期段階の相関演算
領域の分割を示す。ＤＩ、Ｄ２、Ｄ ’ Ｌ Ｄ ’
２は画像の中心から木と人が、どれだけ離れているかを
示すものである。同図（Ｃ）、 （ｄ）は、木のある
相関演算領域の分割を進め、初期段階から更に３回分割
を行い、第４段階までの分割を示したものである。For the determined correlation calculation area, the band of the filter 2 is controlled in accordance with the size of the correlation calculation area so that errors in corresponding points due to noise in correlation values are reduced. FIG. 7 shows an example in which an actual image is separated into correlation calculation regions using stereo bear images as described above. Figure 7(a)
, (b) shows the left image, the right image, and the division of the correlation calculation area in the initial stage. DI, D2, D'LD'
2 indicates how far the tree and person are from the center of the image. Figures (C) and (d) show that the correlation calculation area with the tree is further divided, and the division is further performed three times from the initial stage, up to the fourth stage.
この例では左画像を代表点メモリ２１に記録して相関演
算の基準としている。右画像はこの左画像に対応した相
関の強いエリアを示したものである。In this example, the left image is recorded in the representative point memory 21 and used as a reference for correlation calculation. The right image shows an area with strong correlation corresponding to the left image.
図中において網掛けをした領域は、相関の平均１１αか
高くまた最小値が十分小さく、第６図におけるへの状態
で左右の画像の対応が正しくとれた事を示すものである
。また斜線の領域は相関の平均値は高いが、最小値は網
掛けの部分よりも少し大きいもので、左右の画像の対応
が一応正しくとれた事を示すものであるを示す。何も示
していない部分は相関値の最小値が大きく、第６薗のＢ
の状態である。−船釣にこの状態は被写体の後ろに目標
が隠れた場合であり、オフルージョンが発生している状
態であり、この分割の状態ては左右画像の正しい対応が
とれない部分である。また丸印を付けたところは、第４
段階の分割の位置を左右にずらずことにより、左右画像
の対応がとれる可能性がある部分である。 このように
分割状態が晟小の場合て［１つ第６図Ｂの状態であれば
、分割した領域の（ａ置を左右−Ｌ下に移動させて相関
の計算をもう一度行ってみる。分割した領域の位置を移
動することにより、オフルージョンの状態から抜は出し
、正しい対応関係が求まる場合が多い。The shaded area in the figure shows that the average correlation 11α is high and the minimum value is sufficiently small, indicating that the left and right images are correctly matched in the state shown in FIG. In the shaded area, the average correlation value is high, but the minimum value is slightly larger than the shaded area, indicating that the left and right images have been correctly matched. In the part where nothing is shown, the minimum value of the correlation value is large, and B of the 6th field
It is in a state of - In boat fishing, this condition occurs when the target is hidden behind the subject, and occlusion occurs, and in this state of division, correct correspondence between the left and right images cannot be achieved. Also, the circled areas are the 4th
This is a part where it is possible to match the left and right images by shifting the position of the stage division to the left and right. In this way, if the division state is small, and if it is in the state shown in Figure 6B, move the (a position of the divided area to the left and right - L down) and calculate the correlation again. By moving the position of the area, it is often possible to get out of the occlusion state and find the correct correspondence.
以−Ｌのように１〕で左右のステレオベアの画像間で対
応部分が求められる。ステレオへアの画像間で対応部分
を求めた後、更に相関演算単位以下の対応を次のように
して求める。As shown in (1) above, the corresponding portions between the left and right stereo bear images are found. After finding the corresponding parts between the stereo images, the correspondence below the correlation calculation unit is further found as follows.
第１３図は相関演算単位以下の対応を求める原理を示し
たもので、Ｍて示した相関値の仮想の最小点の偏移Ｓ１
を次式により求める。Figure 13 shows the principle of finding correspondences below the correlation calculation unit, and shows the deviation S1 of the virtual minimum point of the correlation value, denoted by M.
is calculated using the following formula.
Ｓ ｉ ＝ ｉ ’＋ （ａ−ｂ）／
（２［ｍａｘ（ａ、ｂ）−ｃ）） −−（３
）このようにして相関演算単位である単位偏移量以下ま
での対応を求め、データの精度の改善を行なった後、視
差に変換する。視差Δへの変換は、撮像素子上での相関
演算を行う単位距離をＤＯ１ステしオペア画像間での対
応点間の間隔（単位は相関演算間Ｆｉｉ）をＤｓとした
とき以下のようになる。S i = i'+ (a-b)/
(2[max(a,b)-c)) --(3
) In this way, the correspondence up to the unit deviation amount, which is the unit of correlation calculation, is obtained, and after the accuracy of the data is improved, it is converted into parallax. The conversion to parallax Δ is as follows, where DO1 is the unit distance for performing correlation calculation on the image sensor, and Ds is the interval between corresponding points between au pair images (unit is Fii between correlation calculations). .
Δ ＝ ＤＯ木Ｄ Ｓ −（４）以１−のよう
に左右画像の各部分における視差を（４）式で求める。Δ=DO tree D S - (4) As shown in 1- below, the parallax in each part of the left and right images is determined using equation (4).
この処理は視差演算器５で行う。視差を求めた後で奥行
き（距離）情報に変換する。変換方法は第９図に示す配
置としたとき、距離情ｆｉ！Ｉｚは（５）式より求める
。This process is performed by the parallax calculator 5. After determining the parallax, it is converted to depth (distance) information. The conversion method is as follows: When the arrangement shown in Fig. 9 is used, the distance information fi! Iz is obtained from equation (5).
Ｚ ＝ ２ａ＊ｆ／Δ −（５）Δ ＝ （Δ
１７＋ΔＲ） −（６）ここで、２ａは２つの光学
系の距離であり、ｆは光学系の焦点距離であり、ＡＬ、
ΔＲは光学像の対応点間の中心からの距離である。この
ようにして左右画像の対応関係から視差Δを求め、 （
５）式の関係より奥行き情報Ｚを求める。Z = 2a*f/Δ − (5) Δ = (Δ
17+ΔR) −(6) where 2a is the distance between the two optical systems, f is the focal length of the optical system, and AL,
ΔR is the distance from the center between corresponding points of the optical image. In this way, the parallax Δ is calculated from the correspondence between the left and right images, and (
5) Depth information Z is obtained from the relationship in equation.
更に左右の対応関係が明かでない第６図Ｃの条件の部分
では、その周囲の対応関係が明かなプロ、ツクより奥行
き情報を求める。Ｃの条件は画像の変化が殆と無い条件
であり、奥行きも当然なめらかに変化している。従って
このような条件の場合奥行き情報は周囲からの補間でほ
ぼ正１ノ＜求まる。Furthermore, in the condition part of FIG. 6C where the left-right correspondence is not clear, depth information is obtained from the professional, Tsuku, whose surrounding correspondence is clear. Condition C is a condition in which there is almost no change in the image, and the depth also naturally changes smoothly. Therefore, under such conditions, depth information can be determined by interpolation from the surroundings to approximately positive 1<<.
また左右の対応関係が明かでない第６図Ｂの条件の場合
、オフルージョンが発生し、前方にある物体のために後
方の物体が隠されている条件である。Furthermore, in the case of the condition shown in FIG. 6B where the left-right correspondence is not clear, occlusion occurs, and the object behind is hidden by the object in front.
従ってＺの大きなイ１αのブロックより奥行き情報を外
挿する。一般に画像のエツジ部分が画像の奥行き情報が
変化する部分であるので、奥行き情報の外挿は画像のエ
ツジ部分までとする。このようにする事にＪ、す、オフ
ルージョンにょて左右の対応関係が求まらない領域にお
いても、奥行きを推定することが可能となる。以上の処
理を奥行きデータ演算器６で行う。Therefore, depth information is extrapolated from the block of i1α with a large Z. Generally, the edge portion of the image is the portion where the depth information of the image changes, so the depth information is extrapolated up to the edge portion of the image. By doing this, it becomes possible to estimate the depth even in areas where left and right correspondences cannot be determined due to occlusion. The above processing is performed by the depth data calculator 6.
以−Ｌのように本実施例によれば、複数の視点より被写
体を撮像した複数の画像の相関を演算する相関演算器と
、画像の相関演算を行う画像の領域を決定する領域決定
器と、相関演算結果より視差を求める視差演算器と、視
差より奥行き方向のデータを演算する奥行きデータ演算
器とを設けることにより、相関演算結果を領域決定器に
より判定し、相関値が十分でない場合には、相関演算を
行う領域の大きさや、位置を変更することにより、オフ
ルージョンが発生している場合においても正し・く相関
演算が行われる領域を決定して、相関値を計算し正しい
奥行きを求めるものである。As shown in L below, according to this embodiment, there is a correlation calculator that calculates the correlation between a plurality of images of a subject taken from a plurality of viewpoints, and a region determiner that determines the area of the image where the image correlation calculation is performed. By providing a disparity calculator that calculates parallax from the correlation calculation result and a depth data calculator that calculates data in the depth direction from the parallax, the correlation calculation result is judged by the area determiner, and if the correlation value is insufficient, By changing the size and position of the area where the correlation calculation is performed, the area in which the correlation calculation can be performed correctly even when offfusion occurs is determined, and the correlation value is calculated and the correct depth is determined. This is what we seek.
また画像信号に変化がなく十分な相関演算結果が得られ
ない場合や、オフルージョンで物体が隠されている場合
には、周囲の相関演算結果をもとに奥行き情報を、内挿
及び外挿して奥行き情報を推定することを可能として、
いる。In addition, when there is no change in the image signal and sufficient correlation calculation results cannot be obtained, or when the object is hidden due to occlusion, depth information can be interpolated and extrapolated based on the surrounding correlation calculation results. This makes it possible to estimate depth information using
There is.
以上説明したように、本実施例によれば、相関演算結果
を領域決定器により判定し、相聞値が十分でない場合に
は、相聞演算を行う領域の大きさや、位置を変更するこ
とにより、正しく相関演算が行われる領域を決定して、
相関値を計算できるため、ステレオペア画像間の対応関
係が正しく求より、正しい奥行きを求めることができる
。また相関演算を行う前に、演算領域の大きさに対応じ
て画像信号の帯域を制限することにより、演算効率を改
善し画像間の相閏演Ｗ−量を低減できるものである。As explained above, according to this embodiment, the correlation calculation result is judged by the area determiner, and if the correlation value is insufficient, the size and position of the area for performing the correlation calculation are changed to correct the correlation calculation result. Determine the area where the correlation calculation will be performed,
Since the correlation value can be calculated, the correspondence between the stereo pair images can be accurately determined, and the correct depth can be determined. In addition, by limiting the band of the image signal in accordance with the size of the calculation area before performing the correlation calculation, calculation efficiency can be improved and the amount of correlation W- between images can be reduced.
Ｉ欠に本発明の第２の実施例として、相関をとる画像が
３枚以−し−に増加した場合を示す。As a second embodiment of the present invention, a case will be shown in which the number of images to be correlated increases to three or more.
第１０図はその本発明の第２の実施例を示す２１次元デ
ータ獲得装置の構成図である。同図において、１３は複
数の画像を記録する画像メモ１ハ ２は画像信号の帯域
を制限するフィルタ、３は２つの信号の相関を演算する
相関演算器、４は相関演算結果をもとに相関演算の領域
を決定する演算領域決定器、５は相関演算結果より視差
を計算する視差演賛器、６は視差から奥行きを計算する
奥行きデータ演算器、１１は複数の奥行きデータを合成
する奥行きデータ合成器、１２は奥行きデータ合成時の
重みを決定する重み決定器である。第１図の構成と異な
るのは１３の複数の画像を記録する画像メモリ、ＩＩの
複数の奥行きデータを合成する奥行きデータ合成器及び
１２の奥行きデータ合成時の重みを決定する重み決定器
を設け、各ステレオベアから得られた奥行きデータを再
合成する点である。FIG. 10 is a block diagram of a 21-dimensional data acquisition device showing a second embodiment of the present invention. In the figure, 13 is an image memo 1c that records multiple images; 2 is a filter that limits the band of the image signal; 3 is a correlation calculator that calculates the correlation between two signals; 4 is a correlation calculator that calculates the correlation between the two signals; 5 is a disparity calculator that calculates the parallax from the correlation calculation result; 6 is a depth data calculator that calculates depth from the parallax; 11 is a depth calculator that combines multiple pieces of depth data. The data synthesizer 12 is a weight determiner that determines the weight when composing depth data. The configuration differs from the one shown in FIG. 1 by the provision of an image memory (13) for recording a plurality of images, a depth data synthesizer (II) for synthesizing a plurality of depth data, and a weight determiner (12) for determining the weight when synthesizing depth data. , the depth data obtained from each stereo bear is recombined.
前記のように合成された第２の実施例の奥行きデータ獲
得装置について、以下その動作を説明するとともに、本
発明にかかる３次元データ獲得方法に付いても説明する
。The operation of the depth data acquisition device of the second embodiment synthesized as described above will be described below, as well as the three-dimensional data acquisition method according to the present invention.
入力された３枚以上の画像は−Ｈ画像メモリ１３に記録
される。各２枚のステレオベア画像に対して、第１の実
施例と同様に奥行きデータを求める。奥行きデータとと
もに、相関演算器３より求められた相関値を基に、奥行
きデータを再合成するための重みデータを重み決定器１
２で求める。Three or more input images are recorded in the -H image memory 13. Depth data is obtained for each of the two stereoscopic images in the same manner as in the first embodiment. Based on the correlation value obtained by the correlation calculator 3 together with the depth data, the weight determiner 1 generates weight data for resynthesizing the depth data.
Find it in 2.
重みの決定方法を第１１図に示す。相関値の最小値が小
さく、相関平均値が大きいときは、重みを大きくする。A method for determining weights is shown in FIG. When the minimum correlation value is small and the average correlation value is large, the weight is increased.
この条件から遠ざかるにしたがい、重みを小さくする。As the distance from this condition increases, the weight decreases.
この重みは相関演算の条件の良い部分から得られた奥行
きデータに大きな重みを付け、奥行きデータの信頼性を
改善する。このようにして重みを求め、奥行きデータ合
成器ｌｌにより、演算された各奥行きデータにたいして
重み付き平均を求め、最終の奥行きデータとする。This weight gives a large weight to depth data obtained from a portion with good conditions for correlation calculation, and improves the reliability of the depth data. In this way, the weights are determined, and the depth data synthesizer ll determines a weighted average for each calculated depth data to obtain final depth data.
以上のように、本実施例によれば、複数の奥行きデータ
を合成する奥行きデータ合成器１１、及び奥行きデータ
合成時の重みを決定する重み決定器１２を設けることに
より、奥行きデータの信頼性を改善することが可能とな
る。As described above, according to this embodiment, the reliability of depth data is improved by providing the depth data synthesizer 11 that synthesizes a plurality of depth data and the weight determiner 12 that determines the weight at the time of depth data synthesis. It becomes possible to improve.
なお本発明の上記実施例においては、相関値を求めるブ
ロックの大きさに対応じて帯域制限を行っているが、こ
れは少ない演算量で効率よく正しい動きベクトルを演算
するために必要となるものである。従って動きベクトル
を演算する効率が問題とならないときは、そのような帯
域制限の必要はない。In the above-described embodiment of the present invention, the bandwidth is limited depending on the size of the block for which the correlation value is to be obtained, but this is necessary to efficiently calculate the correct motion vector with a small amount of calculations. It is. Therefore, when the efficiency of calculating motion vectors is not an issue, there is no need for such band limitation.
また本発明の一ヒ記実施例は、専用の演算器を用いた構
成で示したが、汎用のコンピューターを用いてソフトウ
ェア的に演算を実現したり、専用のＣＩ） Ｕを用いた
ファームウェアで実現しても良いことは当然である。ま
た本発明の各演算器を、１チツプマイコンで実現しても
良いのも当然である。Furthermore, although the first embodiment of the present invention has been shown in a configuration using a dedicated arithmetic unit, it is also possible to implement the calculation using software using a general-purpose computer or using firmware using a dedicated CI). Of course it is okay to do so. It goes without saying that each arithmetic unit of the present invention may be realized by a single-chip microcomputer.
発明の詳細
な説明したように、本発明によれば、相関演算結果を領
域決定器により判定し、相関値が十分てない場合には、
相関演算を行う領域の大きさや、位置を変更することに
より、正しく相関演算が行われる領域を決定して、相関
値を計算できるため、ステレオベア画像間の対応関係が
正しく求まり、正しい奥行きを求めることができ、その
実用的効果は大きい。As described in detail, according to the present invention, the correlation calculation result is determined by the region determiner, and if the correlation value is insufficient,
By changing the size and position of the area where the correlation calculation is performed, the area where the correlation calculation is performed correctly can be determined and the correlation value can be calculated, so the correspondence between stereo bear images can be determined correctly and the correct depth can be calculated. The practical effects are great.
第１図は本発明における一実施例の３次元データ獲得装
置のブロック図、第２図は同実施例のフィルターの構成
を示すブロック図、第３図は同実施例の相関演算器の構
成を示すブロック図、第４図は同実施例の相関演算の代
表点の配室を示す構成図、第５図は同実施例の相関値の
変化を示すグラフ、第６図は同実施例の相関演算の領域
を制御する条件を示す関係図、第７図は同実施例の画像
の対応関係を示す画像図、第８図は同実施例の画像の対
応関係を求める演算のグラフ、第９図は同実施例の奥行
きデータ演算の原理を示す構成図、第１０図は本発明の
他の実施例の３次元データ獲得装置のブロック図、第１
１図は同実施例の奥行きデータの重みの決定条件の関係
図である。
３・・・相関演算器、４・・・演算領域決定器、５・・
・視差演算器、６・・・奥行きデータ演算器、１２・・
・重み決定器、１３・・・奥行きデータ合成器。
代理人 弁理士 松 １）正 道
ペ イ
／′−Ｎ＼
ど
÷
うぜ
→く
；亡＾（
「＼
第５図
偏移
第６図
条件Ｃ補間領域
条件Ｂニオクルージョン領域
第７図
（ｃ） （ｄ）し拡大
Ｒ拡大第８！
ｉ−１ｉ ｉ◆１ 偏移
Ｓ１仮想対応点
第９図
第１１図FIG. 1 is a block diagram of a three-dimensional data acquisition device according to an embodiment of the present invention, FIG. 2 is a block diagram showing the configuration of a filter in the same embodiment, and FIG. 3 is a block diagram showing the configuration of a correlation calculator in the same embodiment. FIG. 4 is a block diagram showing the arrangement of representative points for correlation calculation in the same embodiment, FIG. 5 is a graph showing changes in correlation values in the same embodiment, and FIG. 6 is a diagram showing the correlation in the same embodiment. A relational diagram showing the conditions for controlling the area of calculation, Fig. 7 is an image diagram showing the correspondence of images in the same embodiment, Fig. 8 is a graph of calculation for determining the correspondence of images in the same embodiment, Fig. 9 10 is a block diagram of a three-dimensional data acquisition device according to another embodiment of the present invention, and FIG.
FIG. 1 is a relationship diagram of conditions for determining weights of depth data in the same embodiment. 3... Correlation calculator, 4... Calculation area determiner, 5...
- Parallax calculator, 6... Depth data calculator, 12...
- Weight determiner, 13... depth data synthesizer. Agent Patent Attorney Matsu 1) Tadashi Michipei/'-N\ Do÷ Uze → Ku; Death ^( ``\ Figure 5 Deviation Figure 6 Condition C Interpolation area Condition B Niocclusion area Figure 7 (c ) (d) and enlarge
R expansion number 8! i-1i i◆1 Shift S1 Virtual corresponding point Fig. 9 Fig. 11
Claims (6)
撮像した複数の画像の相関を演算する相関演算工程と、
領域決定手段によって、その画像の相関演算を行う画像
の領域を決定する領域決定工程と、視差演算手段によっ
て、前記相関演算結果より視差を求める視差演算工程と
、奥行きデータ演算手段によって、その視差より奥行き
方向のデータを演算する奥行きデータ演算工程とを備え
、前記領域決定工程では、相関値の最低値、偏移に対す
る相関値の傾き、相関値の平均に応じて相関演算を行う
領域を決定することを特徴とする３次元データ獲得方法
。(1) a correlation calculation step of calculating a correlation between a plurality of images of a subject taken from a plurality of viewpoints by a correlation calculation means;
A region determining step in which the region determining means determines a region of the image on which a correlation calculation is to be performed; a parallax calculating step in which the parallax calculating means calculates a parallax from the correlation calculation result; and a depth data calculating means calculates the parallax based on the parallax. and a depth data calculation step for calculating data in the depth direction, and in the region determining step, a region for performing correlation calculation is determined according to the lowest value of the correlation value, the slope of the correlation value with respect to the deviation, and the average of the correlation values. A 3D data acquisition method characterized by:
決定工程の結果に応じて前記帯域制限の帯域を変化さす
ことを特徴とする請求項１記載の３次元データ獲得方法
。2. The three-dimensional data acquisition method according to claim 1, wherein the band of the image input to the correlation calculation is limited, and the band of the band limit is changed according to the result of the region determining step.
相関演算値より奥行きデータの重みを決定する重み決定
工程と、奥行きデータ合成手段によって、その重みによ
り奥行きデータを合成する奥行きデータ合成工程を備え
たことを特徴とする請求項１又は２記載の３次元データ
獲得方法。(3) A weight determining step in which the weight determining means determines the weight of the depth data from the correlation calculation value obtained in the correlation calculation step, and a depth data synthesizing step in which the depth data synthesizing means synthesizes the depth data based on the weight. The three-dimensional data acquisition method according to claim 1 or 2, characterized in that:
用い、複数の視点より被写体を撮像した複数の画像の相
関を演算する相関演算手段と、その画像の相関演算を行
う画像の領域を決定する領域決定手段と、前記相関演算
結果より視差を求める視差演算手段と、その視差より奥
行き方向のデータを演算する奥行きデータ演算手段とを
備え、前記領域決定手段は、相関値の最低値、偏移に対
する相関値の傾き、相関値の平均に応じて相関演算を行
う領域を決定することを特徴とする３次元データ獲得装
置。(4) A plurality of two-dimensional imaging means, a correlation calculation means for calculating correlation between a plurality of images obtained by capturing a subject from a plurality of viewpoints using the two-dimensional imaging means, and an area of the image for performing correlation calculation of the images. disparity calculation means for calculating parallax from the correlation calculation result; and depth data calculation means for calculating data in the depth direction from the parallax; , a three-dimensional data acquisition device that determines a region in which a correlation calculation is performed according to a slope of a correlation value with respect to a deviation, and an average of the correlation values.
フィルターを備え、前記領域決定手段の出力に応じて前
記フィルターの帯域を変化さすことを特徴とする請求項
４記載の３次元データ獲得装置。(5) Three-dimensional data acquisition according to claim 4, further comprising a filter that limits the band of the image input to the correlation calculating means, and changing the band of the filter according to the output of the region determining means. Device.
を決定する重み決定手段と、その重みに従って奥行きデ
ータを合成する奥行きデータ合成手段を備えたことを特
徴とする請求項４又は５記載の３次元データ獲得装置。(6) The apparatus according to claim 4 or 5, further comprising weight determining means for determining the weight of depth data based on the correlation value of the correlation calculating means, and depth data synthesizing means for synthesizing depth data in accordance with the weight. 3D data acquisition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2335104A JP2769387B2 (en) | 1990-11-29 | 1990-11-29 | Three-dimensional data acquisition method and three-dimensional data acquisition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2335104A JP2769387B2 (en) | 1990-11-29 | 1990-11-29 | Three-dimensional data acquisition method and three-dimensional data acquisition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04203908A true JPH04203908A (en) | 1992-07-24 |
| JP2769387B2 JP2769387B2 (en) | 1998-06-25 |
Family
ID=18284818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2335104A Expired - Lifetime JP2769387B2 (en) | 1990-11-29 | 1990-11-29 | Three-dimensional data acquisition method and three-dimensional data acquisition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2769387B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06229721A (en) * | 1993-02-08 | 1994-08-19 | Sanyuu Denshi Kk | Length measuring equipment |
| JP2002247604A (en) * | 2001-02-22 | 2002-08-30 | Olympus Optical Co Ltd | Parallax amount measuring device |
| JP2004333243A (en) * | 2003-05-06 | 2004-11-25 | Pasuko:Kk | Method for matching image |
| JP2007020130A (en) * | 2005-07-11 | 2007-01-25 | Ricoh Co Ltd | Moving image processing device and moving image processing method |
| JP2009168536A (en) * | 2008-01-15 | 2009-07-30 | Fujifilm Corp | Three-dimensional shape measuring device and method, three-dimensional shape regenerating device and method, and program |
-
1990
- 1990-11-29 JP JP2335104A patent/JP2769387B2/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06229721A (en) * | 1993-02-08 | 1994-08-19 | Sanyuu Denshi Kk | Length measuring equipment |
| JP2002247604A (en) * | 2001-02-22 | 2002-08-30 | Olympus Optical Co Ltd | Parallax amount measuring device |
| JP4537597B2 (en) * | 2001-02-22 | 2010-09-01 | オリンパス株式会社 | Parallax measuring device |
| JP2004333243A (en) * | 2003-05-06 | 2004-11-25 | Pasuko:Kk | Method for matching image |
| JP2007020130A (en) * | 2005-07-11 | 2007-01-25 | Ricoh Co Ltd | Moving image processing device and moving image processing method |
| JP2009168536A (en) * | 2008-01-15 | 2009-07-30 | Fujifilm Corp | Three-dimensional shape measuring device and method, three-dimensional shape regenerating device and method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2769387B2 (en) | 1998-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7894525B2 (en) | Method for compressing video information | |
| JP3551467B2 (en) | Parallax calculating device, parallax calculating method, and image combining device | |
| US9208396B2 (en) | Image processing method and device, and program | |
| JP5887267B2 (en) | 3D image interpolation apparatus, 3D imaging apparatus, and 3D image interpolation method | |
| KR101518531B1 (en) | System and method for measuring potential eyestrain of stereoscopic motion pictures | |
| KR100924716B1 (en) | Method for Rendering Virtual View for 2D/3D Free View Video Generation | |
| JP2011060216A (en) | Device and method of processing image | |
| JP2011504262A (en) | System and method for depth map extraction using region-based filtering | |
| JP7116262B2 (en) | Image depth estimation method and apparatus, electronic device, and storage medium | |
| KR101411568B1 (en) | A Hologram Generating Method using Virtual View-point Depth Image Synthesis | |
| EP1997072B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| TWI528783B (en) | Methods and systems for generating depth images and related computer products | |
| JPH04203908A (en) | Method and apparatus for acquiring three-dimensional data | |
| KR20100065037A (en) | Apparatus and method for extracting depth information | |
| KR100335617B1 (en) | Method for synthesizing three-dimensional image | |
| JP6494402B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2011204118A (en) | Three-dimensional image creation system and three-dimensional image creation method | |
| JP7136721B2 (en) | Arithmetic device, parallax calculation method | |
| JPH04329481A (en) | Method and device for acquisition three-dimensional data | |
| KR102469228B1 (en) | Apparatus and method for generating virtual viewpoint image | |
| JP6320165B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP6136748B2 (en) | 2D 3D display device | |
| KR102001255B1 (en) | Coordinated stereo image acquisition and viewing system | |
| US10825135B2 (en) | Method and device for determining a transition between two display images, and vehicle | |
| JP2870465B2 (en) | Three-dimensional reference image clipping method and device, and object determination device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080410 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090410 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100410 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110410 Year of fee payment: 13 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110410 Year of fee payment: 13 |