JPH08279045A - Device and method for searching for corresponding point - Google Patents
Device and method for searching for corresponding pointInfo
- Publication number
- JPH08279045A JPH08279045A JP7079089A JP7908995A JPH08279045A JP H08279045 A JPH08279045 A JP H08279045A JP 7079089 A JP7079089 A JP 7079089A JP 7908995 A JP7908995 A JP 7908995A JP H08279045 A JPH08279045 A JP H08279045A
- Authority
- JP
- Japan
- Prior art keywords
- corresponding point
- priority
- corresponding points
- points
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は、３次元画像入力装置
における、ステレオ画像入力時の対応点探索装置および
対応点探索方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a corresponding point searching device and a corresponding point searching method for inputting a stereo image in a three-dimensional image input device.
【０００２】[0002]
【従来の技術】従来のステレオ画像入力時に、左右の入
力画像のエピポーラライン上の各画素の対応を調べ、対
応する画素同士を対にしていく対応点探索方法の一例
が、文献：「情報処理学会研究報告 ＣＶ ７０ー３
ｐｐ．１５−２２ １９９１．１．２４」に開示されて
いる。この文献に開示の技術によれば、ローカルミニマ
ムによる誤対応を低減するために、多重スケールの弛緩
法（多重スケール法）を用いて反復的に視差を推定して
画像の対応点を探索する。多重スケール法では、ピラミ
ッド型データ構造を用い、粗い解像度から細かい解像度
へと処理を進める。この処理を進めるためには、反復演
算を行う必要がある。2. Description of the Related Art In the conventional stereo image input, an example of a corresponding point search method in which the correspondence between each pixel on the epipolar lines of the left and right input images is checked and the corresponding pixels are paired is described in Reference: "Information Processing". Scientific Research Report CV 70-3
pp. 15-22 1991.1.24 ". According to the technique disclosed in this document, in order to reduce erroneous correspondence due to a local minimum, a parallax is iteratively estimated using a multi-scale relaxation method (multi-scale method) to search for corresponding points in an image. The multi-scale method uses a pyramid-type data structure and proceeds from coarse resolution to fine resolution. In order to proceed with this processing, it is necessary to perform an iterative operation.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上述し
た多重スケール法による対応点探索方法では、反復演算
を行うため、対応点の探索に多大な処理時間を要すると
いう問題点があった。例えば、多重スケール法では、画
素サイズが２n ×２n の場合には、（ｎ＋１）回の反復
処理を行うことが必要であった。一方、反復演算を行わ
ずに対応点を決めたのでは、ローカルミニマムにより過
った対応点を探索してしまうため、誤対応が増加するお
それがある。また、誤対応が増加すれば、それだけ対応
点の検出率が低下するおそれがある。However, the above-described method of searching for corresponding points by the multi-scale method has a problem that it takes a lot of processing time to search for corresponding points because iterative calculation is performed. For example, in the multi-scale method, when the pixel size is 2 n × 2 n , it is necessary to perform (n + 1) times of iterative processing. On the other hand, if the corresponding points are determined without performing the iterative calculation, the corresponding points will be searched due to the local minimum, which may increase the number of incorrect correspondences. Further, if the number of false correspondences increases, the detection rate of corresponding points may decrease accordingly.
【０００４】このため、対応点の検出率が向上でき、且
つ、処理時間が短縮できる対応点探索方法および対応点
探索装置の実現が望まれていた。Therefore, it has been desired to realize a corresponding point searching method and a corresponding point searching apparatus which can improve the detection rate of corresponding points and shorten the processing time.
【０００５】[0005]
＜第１の発明＞この出願に係る第１の発明の対応点探索
装置によれば、ステレオ画像として入力された左右画像
中の同一のエピポーラライン上の各画素の特徴値どうし
を比較するための手段を具え、この特徴値どうしの差が
一定範囲内の画素どうしを対応点候補として選択するた
めの手段を具え、選択されたこの対応点候補を記憶する
ための手段を具え、エピポーラライン上の画素ナンバー
の小さい側または大きい側の順位が上位となる優先順位
を、左画像中の対応点候補の画素と右画像中の対応点候
補の画素とにそれぞれ設定することにより、左右画像の
それぞれの優先順位の組み合わせとして、優先順位組を
設定するための設定手段を具え、互いに異なる複数の優
先順位組の下でそれぞれ、優先順位の最も上位の画素ど
うしをこの対応点候補の中から仮対応点として選択し、
さらに、当該選択に漏れた対応点候補のみについて、当
該優先順位組みの下で優先順位の最も上位の画素どうし
を仮対応点として順次に選択するための手段を具え、選
択されたこの仮対応点を記憶するための手段を具え、互
いに異なる複数の優先順位組の下でそれぞれ選択された
仮対応点の位相差どうしを比較して、この位相差どうし
が実質的に一致している当該仮対応点どうしを対応点と
して選択するための手段を具えてなる対応点探索装置で
あって、対応点が選択された後、エピポーラライン毎
に、当該エピポーラライン上の対応点分布を左右画像で
それぞれ検出するための手段を具え、この対応点分布に
おいて、対応点の分布が最も少ない最低分布領域を左右
画像でそれぞれ検出するための手段を具え、この対応点
分布および最低分布領域を記憶するための手段を具え、
左右画像の最低分布領域の特徴値どうしを比較して、こ
の最低分布領域が、左右画像における死角によるもの
か、対応点の検出ミスによるものかを判断するための手
段を具え、この最低分布領域が検出ミスによる場合に、
当該最低分布領域の優先順位が上位となる修正優先順位
組を、各エピポーラライン毎に設定手段に設定させるた
めの手段を具えてなることを特徴とする。<First Invention> According to the corresponding point searching apparatus of the first invention of this application, for comparing the feature values of the respective pixels on the same epipolar line in the left and right images input as a stereo image, On the epipolar line, a means for selecting pixels corresponding to each other whose difference between the feature values is within a certain range as a corresponding point candidate, a means for storing the selected corresponding point candidate, By setting the priority in which the pixel number is smaller or higher is higher for the corresponding point candidate pixel in the left image and the corresponding point candidate pixel in the right image, respectively, As a combination of priorities, a setting means for setting a priority group is provided, and the highest-order pixels of each priority group under a plurality of priority groups different from each other are set as the corresponding points. Was selected as the temporary corresponding points from the complement,
Further, only the corresponding point candidates that have not been selected are provided with means for sequentially selecting the pixels with the highest priority in the priority set as temporary corresponding points, and the selected temporary corresponding points are selected. And comparing the phase differences of the provisional corresponding points respectively selected under a plurality of priority sets different from each other, and the phase differences are substantially the same. A corresponding point search device comprising means for selecting points as corresponding points, wherein after the corresponding points are selected, the corresponding point distribution on each epipolar line is detected in the left and right images respectively. In this corresponding point distribution, a means for detecting the lowest distribution area with the smallest distribution of corresponding points in the left and right images respectively is provided. Comprising means for storing the frequency,
The minimum distribution area is provided with a means for comparing the feature values of the minimum distribution areas of the left and right images and determining whether this minimum distribution area is due to a blind spot in the left and right images or a detection error of corresponding points. Is due to a detection error,
It is characterized in that it comprises means for causing the setting means to set the modified priority order set in which the priority order of the lowest distribution area is higher, for each epipolar line.
【０００６】＜第２の発明＞また、この出願に係る第２
の発明の対応点探索方法によれば、ステレオ画像として
入力された左右画像中の同一のエピポーラライン上の各
画素の特徴値どうしを比較して、この特徴値どうしの差
が一定範囲内の画素どうしを対応点候補として選択し、
エピポーラライン上の画素ナンバーの小さい側または大
きい側の順位が上位となる優先順位を、左画像中の対応
点候補の画素と右画像中の対応点候補の画素とにそれぞ
れ設定することにより、左右画像のそれぞれの優先順位
の組み合わせとして、優先順位組を設定し、そして、互
いに異なる複数の優先順位組の下でそれぞれ、優先順位
の最も上位の画素どうしをこの対応点候補の中から仮対
応点として選択し、さらに、当該選択に漏れた対応点候
補のみについて、当該優先順位組みの下で優先順位の最
も上位の画素どうしを仮対応点として順次に選択する 互いに異なる複数の優先順位組の下でそれぞれ選択され
た仮対応点の位相差どうしを比較して、この位相差どう
しが実質的に一致している当該仮対応点どうしを対応点
として選択するにあたり、対応点が選択された後、エピ
ポーラライン毎に、当該エピポーラライン上の対応点分
布を左右画像でそれぞれ検出し、この対応点分布におい
て、対応点の分布が最も少ない最低分布領域を左右画像
でそれぞれ検出し、左右画像の最低分布領域の特徴値ど
うしを比較して、この最低分布領域が、左右画像におけ
る死角によるものか、対応点の検出ミスによるものかを
判断し、この最低分布領域が検出ミスによる場合に、左
右画像の当該最低分布領域の優先順位がそれぞれ上位と
なる修正優先順位組を、各エピポーラライン毎に設定
し、この修正優先順位組の下で対応点を再度選択するこ
とを特徴とする。<Second Invention> The second invention of the present application
According to the corresponding point search method of the invention, the feature values of pixels on the same epipolar line in the left and right images input as a stereo image are compared, and the difference between the feature values is within a certain range. Select each other as corresponding point candidates,
By setting the priority in which the pixel number on the epipolar line with the smaller or larger pixel number is higher for the corresponding point candidate pixel in the left image and the corresponding point candidate pixel in the right image, A priority order set is set as a combination of the respective priority orders of the images, and the highest-order pixels of the priority orders are respectively tentatively selected from the corresponding point candidates under a plurality of different priority order sets. For the corresponding point candidates that have not been selected, the pixels with the highest priority in the priority set are sequentially selected as temporary corresponding points. In comparing the phase differences between the tentative corresponding points respectively selected in step S1, the tentative corresponding points having substantially the same phase difference are selected as the corresponding points. Or, after the corresponding points have been selected, the corresponding point distribution on each epipolar line is detected in the left and right images for each epipolar line, and in this corresponding point distribution, the lowest distribution area with the smallest corresponding point distribution is taken in the left and right images. Respectively, and compare the feature values of the lowest distribution area of the left and right images to determine whether this lowest distribution area is due to the blind spots in the left and right images or due to the detection error of the corresponding points. If is due to a detection error, a correction priority group in which the priority order of the lowest distribution area of the left and right images is higher is set for each epipolar line, and corresponding points are selected again under this correction priority group. It is characterized by
【０００７】また、第２の発明の対応点探索方法におい
て、好ましくは、対応点分布を積算してエピポーラライ
ン毎の対応点の検出率をもとめ、対応点の再度選択を行
う前後のこの検出率どうしを比較し、この検出率が最大
となるまで前記再度選択を繰り返し行うと良い。In the corresponding point searching method according to the second aspect of the present invention, preferably, the corresponding point distributions are integrated to obtain the corresponding point detection rate for each epipolar line, and this detection rate before and after the corresponding point is selected again. It is advisable to compare them and repeat the selection again until the detection rate becomes maximum.
【０００８】尚、ここで、エピポーララインとは、左右
カメラの水平方向の配置が同じラインのことである。
尚、仮対応点の位相差とは、左右画像の仮対応点の画素
の画素ナンバーどうしの差を意味する。The epipolar line is a line in which the left and right cameras are arranged in the horizontal direction.
The phase difference between the temporary corresponding points means the difference between the pixel numbers of the pixels at the temporary corresponding points in the left and right images.
【０００９】[0009]
【作用】この発明の対応点探索装置および対応点探索方
法によれば、先ず、同一エピポーラライン上の各画素の
所望の特徴値（例えば、濃淡等）を比較して左右画像の
中から対応点候補を選択する。このとき、通常複数の画
素どうしが対応点候補となる。そこで、対応点候補の中
から１画素につき１画素ずつ仮対応点を選択するため
に、左右画像中のそれぞれの画素の優先順位の組み合わ
せである優先順位組を設定する。そして、互いに異なる
複数の優先順位組下でそれぞれ選択された仮対応点の位
相差どうしを比較する。比較の結果、この位相差どうし
が実質的に一致している仮対応点を対応点として選択す
る。これは、正解の対応点では、優先順位組を変えても
その位相差が変化しないためである。この結果、誤対応
の低減を図ることが可能となる。According to the corresponding point searching apparatus and the corresponding point searching method of the present invention, first, desired feature values (for example, shading) of each pixel on the same epipolar line are compared, and corresponding points are selected from the left and right images. Select a candidate. At this time, a plurality of pixels are usually corresponding point candidates. Therefore, in order to select one tentative corresponding point for each pixel from the corresponding point candidates, a priority order set, which is a combination of the priority orders of the pixels in the left and right images, is set. Then, the phase differences of the provisional corresponding points respectively selected under a plurality of different priority groups are compared. As a result of the comparison, the tentative corresponding points where the phase differences substantially match each other are selected as the corresponding points. This is because at the correct corresponding points, the phase difference does not change even if the priority order set is changed. As a result, it is possible to reduce false correspondence.
【００１０】ところで、優先順位組の設定の仕方によっ
ては、近距離または遠距離の被写体を優先的に対応付け
ることになる。例えば、左右画像でそれぞれ大きい画素
ナンバー（画面右側）および小さい画素ナンバー（画面
左側）を優先させた場合は、近距離を優先することにな
り、一方、左右画像でそれぞれ小さい画素ナンバー（画
面左側）および大きい画素ナンバー（画面右側）を優先
させた場合は、遠距離を優先することになる。By the way, depending on the setting method of the priority group, short-distance or long-distance objects are preferentially associated with each other. For example, if a large pixel number (right side of the screen) and a small pixel number (left side of the screen) are prioritized in the left and right images respectively, the short distance is prioritized, while a small pixel number (left side of the screen) in the left and right images respectively. When a larger pixel number (on the right side of the screen) is prioritized, the far distance is prioritized.
【００１１】実画像においては、被写体はあらゆる距離
値の所に存在し得る。優先順位組によっては、近距離の
対応点の探索できる確率が比較的高くなる場合と、遠距
離の対応点の探索できる確率が比較的高くなる場合とが
ある。例えば、（大・小）の優先順位組の場合は、近距
離の対応点の探索できる確率が比較的高くなり、一方、
（小・大）の優先順位組の場合は、遠距離の対応点の探
索できる確率が比較的高くなる。従って、画面全体で同
一の優先順位組を設定して対応点探索を行うと、水平走
査ライン（エピポーラライン）毎に、さらには、１つの
水平走査ライン上の区間毎に、対応点の検出率のバラツ
キが生じる。例えば、実画像においては、ある水平走査
ラインでは対応点の検出率が高く、一方、別の水平走査
ラインでは、対応点の検出率が低くなる現象が現れてし
まう。In the real image, the object can be present at any distance value. Depending on the priority group, there is a case where the probability that a corresponding point of a short distance can be searched is relatively high, and a case where a corresponding point of a long distance can be searched is relatively high. For example, in the case of the (large / small) priority group, the probability of finding a corresponding point in a short distance is relatively high, while
In the case of the (small / large) priority group, the probability of finding a corresponding point at a long distance is relatively high. Therefore, if the same priority group is set on the entire screen and the corresponding points are searched, the detection rate of the corresponding points is determined for each horizontal scanning line (epipolar line), and further for each section on one horizontal scanning line. Variation occurs. For example, in an actual image, the detection rate of corresponding points is high in a certain horizontal scanning line, while the detection rate of corresponding points is low in another horizontal scanning line.
【００１２】そこで、この発明では、一旦対応点探索を
行った後、エピポーラライン毎に対応点分布を検出す
る。次に、対応点分布から最低分布領域を検出する。そ
して、左右画像で、この最低分布領域をそれぞれ優先さ
せた優先順位組を設定して、対応点の再度選択を行う。
この結果、対応点の検出率を向上させることができる。Therefore, according to the present invention, after the corresponding points are searched once, the corresponding point distribution is detected for each epipolar line. Next, the lowest distribution area is detected from the corresponding point distribution. Then, in the left and right images, a priority order set in which the lowest distribution area is prioritized is set, and corresponding points are selected again.
As a result, the detection rate of corresponding points can be improved.
【００１３】ところで、最低分布領域において対応点の
検出率が低い理由として、以下の２つの場合が考えられ
る。１つ目は、対応すべき画素が存在するにもかかわら
ず、検出ミスのために対応点が検出されなかった場合で
ある。２つ目は、左右いずれかの画像で死角となってい
るために対応点が存在しない場合である。そこで、この
出願に係る発明では、最低分布領域が、検出ミスに起因
するものか、死角に起因するものかを判定する。判定に
あたっては、左右画像の最低分布領域の例えば特徴値を
比較し、特徴値の差が一定範囲内ならば検出ミスとし、
一定範囲外ならば死角と判定すれば良い。By the way, the following two cases can be considered as the reason why the detection rate of corresponding points in the lowest distribution area is low. The first is a case where a corresponding point is not detected due to a detection error even though there is a pixel to be corresponding. The second case is that there is no corresponding point because the left or right image is a blind spot. Therefore, in the invention according to this application, it is determined whether the minimum distribution region is due to a detection error or a blind spot. In the determination, for example, the feature values of the lowest distribution area of the left and right images are compared, and if the difference between the feature values is within a certain range, it is determined as a detection error,
If it is outside the fixed range, it may be determined as a blind spot.
【００１４】そして、検出ミスによる場合には、最低分
布領域の優先順位が左右画像でそれぞれ上位となる優先
順位組を、各エピポーラライン毎に設定して、対応点を
再度選択する。Then, in the case of a detection error, a priority order group in which the priority order of the lowest distribution area is higher in the left and right images is set for each epipolar line, and the corresponding points are selected again.
【００１５】従って、エピポーラライン毎に、優先順位
を設定して対応点を再度選択するので、対応点の検出率
の向上を図ることができる。また、最低分布領域の対応
点のみを再度選択すれば良いので、処理時間の短縮を図
ることができる。Therefore, since the priority is set and the corresponding points are selected again for each epipolar line, the detection rate of the corresponding points can be improved. Further, since only the corresponding points in the lowest distribution area need to be selected again, the processing time can be shortened.
【００１６】ところで、検出ミスの領域が存在するとい
うことは、誤対応している可能性もある。全ての対応点
が正確に探索された場合には、対応点の検出率は最大と
なる。そして、通常、探索が不正確になって誤対応が増
加する程、検出率は低下する。By the way, the existence of the detection error area may be incorrect. When all the corresponding points are searched accurately, the detection rate of the corresponding points becomes maximum. And, as the search becomes inaccurate and the number of false correspondences increases, the detection rate usually decreases.
【００１７】そこで、対応点分布を積算してエピポーラ
ライン毎の対応点の検出率をもとめて、対応点の再度選
択を行う前後のこの検出率どうしを比較すれば、誤対応
が少ない程、検出率が高くなるはずである。従って、こ
の出願に係る発明において、この検出率が最大となるま
で再度選択を繰り返し行えば、誤対応をより低減させる
ことが可能となる。Therefore, when the corresponding point distributions are integrated to obtain the corresponding point detection rates for each epipolar line, and the detection rates before and after the corresponding points are selected again are compared, the smaller the erroneous correspondence is, the more the detection is performed. The rate should be high. Therefore, in the invention according to this application, it is possible to further reduce the erroneous correspondence by repeating the selection until the detection rate becomes maximum.
【００１８】[0018]
【実施例】以下、図面を参照して、この出願に係る第１
の発明の対応点探索装置および第２の発明の対応点探索
方法の実施例について併せて説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The first embodiment of the present application with reference to the drawings
Embodiments of the corresponding point searching device of the invention and the corresponding point searching method of the second invention will be described together.
【００１９】尚、参照する図面は、これらの発明が理解
できる程度に、各構成成分の大きさ、形状および配置関
係を概略的に示してあるにすぎない。従って、これらの
発明は図示例にのみ限定されるものでないことは明らか
である。It should be noted that the drawings to be referred to merely schematically show the sizes, shapes, and arrangement relationships of the respective constituent components to the extent that these inventions can be understood. Therefore, it is obvious that these inventions are not limited to the illustrated examples.
【００２０】＜構成について＞先ず、図１を参照して、
この実施例の対応点探索装置について説明する。図１
は、この実施例の対応点探索装置の機能ブロック図であ
る。<Structure> First, referring to FIG.
The corresponding point searching device of this embodiment will be described. FIG.
FIG. 3 is a functional block diagram of a corresponding point searching device of this embodiment.
【００２１】この実施例では、ステレオ画像の左右画像
を対応点探索装置１０に入力するために、右カメラ１２
および左カメラ１４を具えている。各カメラには、それ
ぞれ右画像記憶装置１６および左画像記憶装置１８が接
続されている。In this embodiment, in order to input the left and right images of the stereo image to the corresponding point searching device 10, the right camera 12
And a left camera 14. A right image storage device 16 and a left image storage device 18 are connected to each camera.
【００２２】そして、この実施例の対応点探索装置１０
では、各記憶装置１６および１８に接続された特徴値比
較部２０を具えている。また、この特徴値比較部２０に
は対応点候補選択部２２が接続されている。また、この
対応点候補選択部２２は、対応点候補記憶部２４に接続
されている。また、対応点候補記憶部２４は、第１仮対
応点選択部２６ａおよび第２仮対応点選択部２６ｂとに
それぞれ接続されている。また、第１および第２仮対応
点選択部には、優先順位設定部２６が接続されている。
また、第１および第２仮対応点選択部２６ａおよび２６
ｂには、それぞれ第１仮対応点記憶部３０ａおよび第２
仮対応点記憶部３０ｂが接続されている。また、第１お
よび第２仮対応点記憶部３０ａおよび３０ｂは、いずれ
も位相差比較部３２に接続されている。また、位相差比
較部３２は、対応点選択部３４に接続されている。ま
た、対応点選択部３４は、位相差記憶装置３６に接続さ
れている。Then, the corresponding point searching apparatus 10 of this embodiment.
In addition, a feature value comparison unit 20 connected to each of the storage devices 16 and 18 is provided. Further, a corresponding point candidate selection unit 22 is connected to the feature value comparison unit 20. Further, the corresponding point candidate selection unit 22 is connected to the corresponding point candidate storage unit 24. Further, the corresponding point candidate storage unit 24 is connected to the first temporary corresponding point selecting unit 26a and the second temporary corresponding point selecting unit 26b, respectively. A priority order setting unit 26 is connected to the first and second temporary corresponding point selection units.
In addition, the first and second temporary corresponding point selection units 26a and 26
In b, the first provisional corresponding point storage unit 30a and the second
The temporary corresponding point storage unit 30b is connected. The first and second temporary corresponding point storage units 30a and 30b are both connected to the phase difference comparison unit 32. Further, the phase difference comparison unit 32 is connected to the corresponding point selection unit 34. Further, the corresponding point selection unit 34 is connected to the phase difference storage device 36.
【００２３】また、位相差記憶装置３６には、対応点分
布検出部４０が接続されている。また、対応点分布検出
部４０には、最低分布領域検出部４２が接続されてい
る。また、最低分布領域検出部４２には、最低分布領域
記憶部４４および優先順位設定手段４６がそれぞれ接続
されている。また、最低分布領域記憶部４４および最適
優先順位設定部４６にはいずれも同期帰還部４８が接続
されている。また、この同期帰還部４８は、前述の優先
順位設定部２６に接続されている。A corresponding point distribution detector 40 is connected to the phase difference storage device 36. A minimum distribution area detection unit 42 is connected to the corresponding point distribution detection unit 40. A minimum distribution area storage unit 44 and a priority setting unit 46 are connected to the minimum distribution area detection unit 42. A synchronous feedback unit 48 is connected to both the lowest distribution area storage unit 44 and the optimum priority setting unit 46. The synchronous feedback unit 48 is connected to the priority setting unit 26 described above.
【００２４】以下、対応点探索装置１０内の各部につい
て説明する。上述の特徴値比較部２０は、ステレオ画像
として入力された左右画像中の同一のエピポーラライン
上の各画素の特徴値どうしを比較するための手段であ
る。The respective parts in the corresponding point searching device 10 will be described below. The feature value comparison unit 20 described above is a means for comparing the feature values of the respective pixels on the same epipolar line in the left and right images input as a stereo image.
【００２５】また、対応点候補選択部２２は、特徴値ど
うしの差が一定範囲内の画素どうしを対応点候補として
選択するための手段である。Further, the corresponding point candidate selecting section 22 is means for selecting pixels having a difference in feature value within a certain range as corresponding point candidates.
【００２６】また、対応点候補記憶部２４は、この対応
点候補選択部２２において選択されたこの対応点候補を
記憶するための手段である。The corresponding point candidate storage unit 24 is a means for storing the corresponding point candidates selected by the corresponding point candidate selecting unit 22.
【００２７】また、優先順位設定部２８は、エピポーラ
ライン上の画素ナンバーの小さい側または大きい側の順
位が上位となる優先順位を、左画像中の対応点候補の画
素と右画像中の対応点候補の画素とにそれぞれ設定する
ことにより、左右画像のそれぞれの優先順位の組み合わ
せとして、優先順位組を設定するための設定手段であ
る。そして、第１および第２仮対応点選択部２６ａおよ
び２６ｂは、互いに異なる複数の優先順位組の下でそれ
ぞれ、優先順位の最も上位の画素どうしをこの対応点候
補の中から仮対応点として選択し、さらに、当該選択に
漏れた対応点候補のみについて、当該優先順位組みの下
で優先順位の最も上位の画素どうしを仮対応点として順
次に選択するための手段である。Further, the priority setting unit 28 sets the priority order in which the pixel number on the epipolar line having the smaller or the larger pixel number is higher, as the corresponding point candidate pixel in the left image and the corresponding point in the right image. It is a setting means for setting a priority order set as a combination of the respective priority orders of the left and right images by setting the priority order for each of the candidate pixels. Then, the first and second tentative corresponding point selection units 26a and 26b select the pixels having the highest priority levels from among the corresponding point candidates as tentative corresponding points under a plurality of priority groups different from each other. Further, it is a means for sequentially selecting the highest-ranked pixels in the priority order under the priority set as the temporary corresponding points only for the corresponding point candidates that have not been selected.
【００２８】また、第１および第２仮対応点記憶部３０
ａおよび３０ｂは、第１および第２仮対応点選択部２６
ａおよび２６ｂにおいてそれぞれ選択された仮対応点を
記憶するための手段である。また、位相差比較部３２お
よび対応点選択部３４は、互いに異なる複数の優先順位
組の下でそれぞれ選択された仮対応点の位相差どうしを
比較して、この位相差どうしが実質的に一致している当
該仮対応点どうしを対応点として選択するための手段で
ある。The first and second temporary corresponding point storage units 30 are also provided.
a and 30b are the first and second provisional corresponding point selection units 26.
Means for storing the provisional corresponding points selected in a and 26b. Further, the phase difference comparison unit 32 and the corresponding point selection unit 34 compare the phase differences of the tentative corresponding points respectively selected under a plurality of priority groups different from each other, and the phase differences are substantially equal to each other. This is a means for selecting the corresponding temporary corresponding points as the corresponding points.
【００２９】また、対応点分布検出部４０は、対応点が
選択された後、エピポーラライン毎に、当該エピポーラ
ライン上の対応点分布を左右画像でそれぞれ検出するた
めの手段である。また、対応点分布検出部４０では、対
応点分布を積算してエピポーラライン毎の対応点の検出
率をもとめることもできる。Further, the corresponding point distribution detecting section 40 is means for detecting the corresponding point distribution on the epipolar line for each epipolar line after the corresponding point is selected in the left and right images. Further, the corresponding point distribution detection unit 40 can also obtain the detection rate of corresponding points for each epipolar line by integrating corresponding point distributions.
【００３０】また、最低分布領域検出部４２は、対応点
分布において、対応点の分布が最も少ない最低分布領域
を左右画像でそれぞれ検出するための手段である。The minimum distribution area detection unit 42 is means for detecting the minimum distribution area having the smallest distribution of corresponding points in the corresponding point distributions in the left and right images, respectively.
【００３１】また、分布領域記憶部４４は、対応点分布
および最低分布領域を記憶するための手段である。ま
た、この分布領域記憶部４４では、対応点の検出率を記
憶することもある。The distribution area storage unit 44 is means for storing the corresponding point distribution and the minimum distribution area. The distribution area storage unit 44 may also store the detection rate of corresponding points.
【００３２】また、最適優先順位設定部４６は、最低分
布領域が前記検出ミスによる場合に、当該最低分布領域
の優先順位が上位となる優先順位組を、各エピポーララ
イン毎に前記設定手段に設定させるための手段である。Further, when the lowest distribution area is caused by the detection error, the optimum priority setting section 46 sets a priority order group in which the priority of the lowest distribution area is higher in the setting means for each epipolar line. It is a means to make.
【００３３】また、この同期帰還部４８は、左右画像の
最低分布領域の前記特徴値どうしを比較して、該最低分
布領域が、左右画像における死角によるものか対応点の
検出ミスによるものかを判断するための手段である。ま
た、この同期帰還部４８では、対応点の再度選択を行う
前後の対応点の検出率どうしを比較することもある。そ
の場合、この検出率が最大となるまで前記再度選択を繰
り返し行うことによって、誤対応の一層の低減を図るこ
とができる。Further, the synchronous feedback section 48 compares the characteristic values of the lowest distribution areas of the left and right images with each other to determine whether the lowest distribution area is due to the blind spots in the left and right images or due to the detection error of the corresponding points. It is a means to judge. Further, the synchronous feedback unit 48 may compare the detection rates of corresponding points before and after the corresponding points are selected again. In that case, it is possible to further reduce the erroneous correspondence by repeating the selection again until the detection rate becomes maximum.
【００３４】＜動作について＞次に、図２を参照して、
この実施例の対応点探索方法の例について説明する。図
２は、この実施例の対応点探索装置を用いて対応点探索
方法の説明に供するフローチャートである。<Regarding Operation> Next, referring to FIG.
An example of the corresponding point search method of this embodiment will be described. FIG. 2 is a flow chart for explaining a corresponding point searching method using the corresponding point searching device of this embodiment.
【００３５】この実施例では、先ず、左右カメラ１２お
よび１４を用いてステレオ画像の左右画像（元画像とも
称する）を入力する。この元画像は、通常光刺激を電気
量で表してある。次に、入力された左右画像をそれぞれ
左画像記憶装置１６および右画像記憶装置１８に記憶す
る。In this embodiment, first, the left and right images (also referred to as original images) of stereo images are input using the left and right cameras 12 and 14. In this original image, the light stimulus is usually represented by an electric quantity. Next, the input left and right images are stored in the left image storage device 16 and the right image storage device 18, respectively.
【００３６】（ａ）そして、この記憶された画像を用い
て、以下、対応点を探索する。先ず、ステレオ画像とし
て入力された左右画像中の同一のエピポーラライン上の
各画素の特徴値どうしを比較する。(A) Then, using the stored image, the corresponding points are searched for. First, the feature values of each pixel on the same epipolar line in the left and right images input as a stereo image are compared.
【００３７】ここでは、図３の（Ａ）および（Ｂ）を参
照して、１つのエピポーララインに注目して説明する。Here, with reference to FIGS. 3A and 3B, one epipolar line will be focused and described.
【００３８】図３の（Ａ）は、左右画像のエピポーララ
インＩを示す。図３の（Ｂ）は、このエピポーラライン
の拡大図である。ここでは、左右画像中から、画素ナン
バー１〜１１の画素を示す。ここで画素ナンバーは、左
右各画像においてそれぞれ画像左端から画素数を数えた
値である。そして、このエピポーラライン上の左右画像
の各画素の特徴値を比較する。ここでは、特徴値として
濃淡を用いる。FIG. 3A shows the epipolar line I of the left and right images. FIG. 3B is an enlarged view of this epipolar line. Here, the pixels of pixel numbers 1 to 11 are shown from the left and right images. Here, the pixel number is a value obtained by counting the number of pixels from the left end of each of the left and right images. Then, the feature values of the pixels of the left and right images on this epipolar line are compared. Here, the shade is used as the feature value.
【００３９】（ｂ）次に、この特徴値どうしの差が一定
範囲内の画素どうしを対応点候補として選択する。(B) Next, pixels whose difference between the feature values is within a certain range are selected as corresponding point candidates.
【００４０】ここでは、図３の（Ｂ）において、斜線を
付した画素、即ち、左画像の画素ナンバー２、４および
６の画素と右画像の画素ナンバー６、８および１０の画
素の特徴値の差が一定範囲内となっている。従って、こ
れらの画素は、いずれもほぼ同一濃淡の特徴値の対応点
候補となる。Here, in FIG. 3B, the characteristic values of the shaded pixels, that is, the pixels of pixel numbers 2, 4 and 6 of the left image and the pixels of pixel numbers 6, 8 and 10 of the right image. The difference between is within a certain range. Therefore, each of these pixels is a candidate for corresponding points of feature values having almost the same shade.
【００４１】次に、図４に、対応点候補の左右画像の対
応図を示す。図４の升目の左側の数字は左画像の画素ナ
ンバーを表し、升目の上側の数字は右画像の画素ナンバ
ーを表す。図４の升目中の数字は、各対応点候補の位相
差である。対応点候補の組み合わせは、左右画像それぞ
れ３つ画素どうしの組み合わせであるので、図４に示す
ように、９通りである。しかし、１つの画素につき３つ
の画素が候補なっているので、９通り全てが対応点とな
ることはない。Next, FIG. 4 shows a correspondence diagram of left and right images of corresponding point candidates. The numbers on the left side of the square in FIG. 4 represent the pixel numbers of the left image, and the numbers on the upper side of the square represent the pixel numbers of the right image. The numbers in the squares in FIG. 4 are the phase differences between the corresponding point candidates. There are nine combinations of corresponding point candidates, as shown in FIG. 4, since each of the left and right images is a combination of three pixels. However, since three pixels are candidates for one pixel, not all nine patterns are corresponding points.
【００４２】（ｃ）次に、エピポーラライン上の画素ナ
ンバーの小さい側または大きい側の順位が上位となる優
先順位を、左画像中の対応点候補の画素と右画像中の対
応点候補の画素とにそれぞれ設定することにより、左右
画像のそれぞれの優先順位の組み合わせとして、優先順
位組を設定する。(C) Next, the priority order in which the order of the smaller or larger pixel number on the epipolar line is higher is the pixel of the corresponding point candidate in the left image and the pixel of the corresponding point candidate in the right image. By setting respectively and, a priority order set is set as a combination of respective priority orders of the left and right images.
【００４３】この実施例では、互いに異なる第１優先順
位組および第２優先順位組を設定する。第１優先組は、
左右画像中、いずれも画素ナンバーの小さい側の順位を
優先した優先順位の組（以下、この優先順位を「小・
小」とも略称する）とする。また、第２優先組は、左右
画像中、いずれも画素ナンバーの大きい側の順位を画素
ナンバーの小さい側の順位よりも上位とした優先順位
（以下、この優先順位を「大・大」とも略称する）とす
る。In this embodiment, a first priority group and a second priority group which are different from each other are set. The first priority group is
In the left and right images, a set of priorities that prioritize the order with the smaller pixel number (hereinafter, this priority order is
It is also abbreviated as "small"). Further, in the second priority set, in the left and right images, the order of priority in which the pixel number is larger is higher than that in the side of smaller pixel number (hereinafter, this priority order is also abbreviated as “large / large”). Yes).
【００４４】（ｄ）次に、第１および第２優先順位組の
下でそれぞれ、優先順位の最も上位の画素どうしをこの
対応点候補の中から仮対応点として選択し、さらに、当
該選択に漏れた対応点候補のみについて、当該優先順位
組みの下で優先順位の最も上位の画素どうしを仮対応点
として順次に選択する。(D) Next, under the first and second priority groups, the highest priority pixels are selected from the corresponding point candidates as tentative corresponding points, and further selected. With respect to only the leaked corresponding point candidates, the highest-order pixels of the priority order under the priority set are sequentially selected as the temporary corresponding points.
【００４５】先ず、画素ナンバーが小さい画素が優先さ
れる第１優先順位組の下で仮対応点を選択する場合につ
いて、図５の（Ａ）を用いて説明する。第１優先順位組
では、左右画像いずれも画素ナンバーが大きい画素が優
先される。従って、１回目の選択では、左画像中のでは
画素ナンバー２の画素が選択され、一方、右画像中では
画素ナンバー６の画素が選択される。従って、画素ナン
バー２と６の画素どうしが１番目の仮対応点２−６（位
相差は６−２＝４）として選択されることになる。図５
の（Ａ）中では、仮対応点２−６の位相差である４に丸
印を付してある。仮対応点２−６が選択されたことによ
り、対応点候補２−８（位相差６）、２−１０（位相差
８）、４−６（位相差２）および６−６（位相差０）
は、対応点候補から除外される。First, the case where the provisional corresponding points are selected under the first priority group in which the pixels having the smaller pixel numbers are prioritized will be described with reference to FIG. In the first priority group, the pixels having the larger pixel numbers in both the left and right images are prioritized. Therefore, in the first selection, the pixel of pixel number 2 is selected in the left image, while the pixel of pixel number 6 is selected in the right image. Therefore, the pixels having the pixel numbers 2 and 6 are selected as the first temporary corresponding point 2-6 (the phase difference is 6-2 = 4). Figure 5
In (A) of 4 above, a circle is added to 4 which is the phase difference between the temporary corresponding points 2-6. By selecting the temporary corresponding point 2-6, corresponding point candidates 2-8 (phase difference 6), 2-10 (phase difference 8), 4-6 (phase difference 2) and 6-6 (phase difference 0). )
Are excluded from the corresponding point candidates.
【００４６】次に、１回目の選択で選択漏れとなった画
素（左画像中の画素ナンバ４および６、右画像中の画素
ナンバー８および１０）どうしの対応点候補のみについ
て、１回目と同様に２回目の選択を行う。２回目の選択
では、左画像中のでは画素ナンバー４の画素が選択さ
れ、一方、右画像中では画素ナンバー８の画素が選択さ
れる。従って、画素ナンバー４と８の画素どうしが２番
目の仮対応点４−８（位相差４）として選択されること
になる。図５の（Ｂ）中では、仮対応点４−８の位相差
である４に丸印を付してある。仮対応点４−８が選択さ
れたことにより、対応点候補４−１０（位相差６）およ
び６−８（位相差２）は、対応点候補から除外される。Next, similar to the first time, only the corresponding point candidates of the pixels (pixel numbers 4 and 6 in the left image and the pixel numbers 8 and 10 in the right image) which are missed in the selection in the first time are selected. Make a second selection. In the second selection, the pixel of pixel number 4 is selected in the left image, while the pixel of pixel number 8 is selected in the right image. Therefore, the pixels having the pixel numbers 4 and 8 are selected as the second temporary corresponding point 4-8 (phase difference 4). In FIG. 5B, circles are added to 4 which is the phase difference of the temporary corresponding points 4-8. By selecting the temporary corresponding point 4-8, the corresponding point candidates 4-10 (phase difference 6) and 6-8 (phase difference 2) are excluded from the corresponding point candidates.
【００４７】次に、２回目の選択でも選択漏れとなった
画素（左画像中の画素ナンバ６、右画像中の画素ナンバ
ー１０）どうしの対応点候補のみについて、選択を行
う。この場合は、対応点候補が１組みだけなので（優先
順位が最上位である）仮対応点６−１０（位相差４）が
３番目の仮対応点として選択される。Next, selection is performed only for corresponding point candidates of pixels (pixel number 6 in the left image, pixel number 10 in the right image) that are not selected even in the second selection. In this case, since there is only one set of corresponding point candidates (the priority is the highest), the temporary corresponding points 6-10 (phase difference 4) are selected as the third temporary corresponding points.
【００４８】一方、第２優先順位組の下で仮対応点を選
択する場合について、図５の（Ｂ）を用いて説明する
と、第２優先順位組では、左右画像いずれも画素ナンバ
ーが大きい画素が優先される。従って、１回目の選択で
は、左画像中のでは画素ナンバー６の画素が選択され、
一方、右画像中では画素ナンバー１０の画素が選択され
る。従って、画素ナンバー６と１０の画素どうしが１番
目の仮対応点６−１０（位相差は１０−６＝４）として
選択されることになる。図５の（Ｂ）中では、仮対応点
６−１０の位相差である４に丸印を付してある。仮対応
点６−１０が選択されたことにより、対応点候補２−１
０（位相差８）、４−１０（位相差６）、６−８（位相
差２）および６−６（位相差０）は、対応点候補から除
外される。On the other hand, the case of selecting the tentative corresponding points under the second priority group will be described with reference to FIG. 5B. In the second priority group, the pixels having a large pixel number in both the left and right images. Has priority. Therefore, in the first selection, the pixel of pixel number 6 in the left image is selected,
On the other hand, the pixel with the pixel number 10 is selected in the right image. Therefore, the pixels having the pixel numbers 6 and 10 are selected as the first temporary corresponding point 6-10 (the phase difference is 10-6 = 4). In FIG. 5B, a circle is added to 4 which is the phase difference of the temporary corresponding points 6-10. Since the temporary corresponding points 6-10 are selected, the corresponding point candidates 2-1
0 (phase difference 8), 4-10 (phase difference 6), 6-8 (phase difference 2) and 6-6 (phase difference 0) are excluded from the corresponding point candidates.
【００４９】次に、１回目の選択で選択漏れとなった画
素（左画像中の画素ナンバ−２および４、右画像中の画
素ナンバー６および８）どうしの対応点候補のみについ
て、１回目と同様に２回目の選択を行う。２回目の選択
では、左画像中のでは画素ナンバー４の画素が選択さ
れ、一方、右画像中では画素ナンバー８の画素が選択さ
れる。従って、画素ナンバー４と８の画素どうしが２番
目の仮対応点４−８（位相差４）として選択されること
になる。図５の（Ｂ）中では、仮対応点４−８の位相差
である４に丸印を付してある。仮対応点４−８が選択さ
れたことにより、対応点候補２−８（位相差６）および
４−６（位相差２）は、対応点候補から除外される。Next, only the corresponding point candidates of the pixels (pixel numbers -2 and 4 in the left image and the pixel numbers 6 and 8 in the right image) that are not selected in the first selection are Similarly, the second selection is performed. In the second selection, the pixel of pixel number 4 is selected in the left image, while the pixel of pixel number 8 is selected in the right image. Therefore, the pixels having the pixel numbers 4 and 8 are selected as the second temporary corresponding point 4-8 (phase difference 4). In FIG. 5B, circles are added to 4 which is the phase difference of the temporary corresponding points 4-8. By selecting the temporary corresponding point 4-8, the corresponding point candidates 2-8 (phase difference 6) and 4-6 (phase difference 2) are excluded from the corresponding point candidates.
【００５０】次に、２回目の選択でも選択漏れとなった
画素（左画像中の画素ナンバ２、右画像中の画素ナンバ
ー６）どうしの対応点候補のみについて、選択を行う。
この場合は、対応点候補が１組みだけなので（優先順位
が最上位である）仮対応点２−６（位相差４）が３番目
の仮対応点として選択される。Next, only the corresponding point candidates of the pixels (pixel number 2 in the left image, pixel number 6 in the right image) which are not selected even in the second selection are selected.
In this case, since there is only one set of corresponding point candidates (the priority is the highest), the temporary corresponding point 2-6 (phase difference 4) is selected as the third temporary corresponding point.
【００５１】（ｅ）次に、互いに異なる複数の優先順位
組の下でそれぞれ選択された仮対応点の位相差どうしを
比較して、この位相差どうしが実質的に一致している当
該仮対応点どうしを対応点として選択する。(E) Next, the phase differences of the tentative corresponding points respectively selected under a plurality of priority groups different from each other are compared with each other, and the tentative correspondences in which the phase differences substantially match each other. Select points as corresponding points.
【００５２】図６の（Ａ）に、注目しているエピポーラ
ライン上の画素の拡大図を、第１優先順位組の下で選択
された１〜３番目の仮対応点の各画素の位相差と共に示
す。図６の（Ａ）では、左画像中の画素ナンバー２、４
および６の画素の位相差がいずれも４となっている。ま
た、右画像中の画素ナンバー６、８および１０の位相差
がいずれも４となっている。FIG. 6A shows an enlarged view of the pixel on the epipolar line of interest, showing the phase difference of each pixel of the first to third temporary corresponding points selected under the first priority group. Shown with. In FIG. 6A, pixel numbers 2 and 4 in the left image are
The phase difference between pixels 6 and 6 is 4. Further, the pixel numbers 6, 8, and 10 in the right image all have a phase difference of 4.
【００５３】次に、図６の（Ｂ）に、第２優先順位組の
下で選択された１〜３番目の仮対応点の各画素の位相差
を示す。図６の（Ｂ）では、左画像中の画素ナンバー
２、４および６の画素の位相差がいずれも４となってい
る。また、右画像中の画素ナンバー６、８および１０の
画素の位相差がいずれも４となっている。Next, FIG. 6B shows the phase difference of each pixel of the first to third temporary corresponding points selected under the second priority order set. In FIG. 6B, the phase differences of the pixels of pixel numbers 2, 4, and 6 in the left image are all 4. In addition, the phase differences of the pixels having pixel numbers 6, 8 and 10 in the right image are all 4.
【００５４】次に、図６の（Ａ）および（Ｂ）に示した
位相差で、同一画素ナンバーの位相差が等しい画素の位
相差を図６の（Ｃ）に示す。この場合は、選択された全
ての仮対応点の位相差が、第１および第２優先順位のも
ので一致している。従って、ここでは、選択された仮対
応点が全て対応点として選択される。Next, among the phase differences shown in FIGS. 6A and 6B, the phase difference between pixels having the same phase difference in the same pixel number is shown in FIG. 6C. In this case, the phase differences of all the selected provisional corresponding points are the same for the first and second priorities. Therefore, here, all the selected provisional corresponding points are selected as corresponding points.
【００５５】尚、小さい画素ナンバーを優先（即ち、画
像左側を優先）した場合と、大きい画素ナンバーを優先
（即ち、画像右側を優先）した場合との両方の優先順位
での位相差の合致をとるということは、画像の連続性を
重視してることに相当する。これは、被写体の連続体部
分については、左右どちらを優先してもその位相差が同
じになるという考えに基づくものである。It should be noted that the phase difference is matched in both the priority order when the small pixel number is prioritized (that is, the left side of the image is prioritized) and the large pixel number is prioritized (that is, the right side of the image is prioritized). Taking is equivalent to emphasizing the continuity of images. This is based on the idea that the phase difference of the continuum part of the subject will be the same regardless of whether the left or right side is prioritized.
【００５６】（ｆ）次に、一旦対応点が選択された後、
エピポーラライン毎に、当該エピポーラライン上の対応
点分布を左右画像でそれぞれ検出する。さらに、この実
施例では、対応点分布を積算してエピポーラライン毎の
対応点の検出率をもとめる。 （ｇ）次に、この対応点分布において、対応点の分布が
最も少ない最低分布領域を左右画像でそれぞれ検出す
る。(F) Next, after the corresponding points are once selected,
For each epipolar line, the corresponding point distribution on the epipolar line is detected in the left and right images, respectively. Furthermore, in this embodiment, the corresponding point distributions are integrated to obtain the detection rate of corresponding points for each epipolar line. (G) Next, in this corresponding point distribution, the lowest distribution areas having the smallest distribution of corresponding points are detected in the left and right images, respectively.
【００５７】ここで、図７を参照して、対応点分布およ
び最低分布領域の検出について説明する。図７は、対応
点検出後の対応点分布および最低分布領域の例を示す画
像である。図７では、模式的に３本のエピポーラライン
（ｌ1 、ｌ2 およびｌ3 ）上の対応点分布を丸印で示
す。そして、各エピポーララインにおいて、対応点（丸
印）の分布の最も少ない領域が集中している最低分布領
域Ｕに斜線を付して示す。Here, the detection of the corresponding point distribution and the minimum distribution area will be described with reference to FIG. FIG. 7 is an image showing an example of the corresponding point distribution and the minimum distribution area after the corresponding point detection. In FIG. 7, the corresponding point distributions on the three epipolar lines (l 1 , l 2 and l 3 ) are schematically indicated by circles. Then, in each epipolar line, the minimum distribution area U in which the areas having the smallest distribution of corresponding points (circles) are concentrated is shown by hatching.
【００５８】（ｈ）次に、左右画像の最低分布領域の特
徴値どうしを比較して、この最低分布領域が、左右画像
における死角によるものか、対応点の検出ミスによるも
のかを判断する。(H) Next, the characteristic values of the lowest distribution areas of the left and right images are compared with each other, and it is determined whether the lowest distribution area is due to a blind spot in the left and right images or due to a detection error of a corresponding point.
【００５９】（ｉ）そして、この最低分布領域が検出ミ
スによる場合に、左右画像の当該最低分布領域の優先順
位がそれぞれ上位となる修正優先順位組を、各エピポー
ラライン毎に設定する。(I) Then, when the lowest distribution area is due to a detection error, a modified priority order set in which the priority order of the lowest distribution area of the left and right images is higher is set for each epipolar line.
【００６０】（ｊ）次に、この修正優先順位組の下で対
応点を再度選択する。(J) Next, the corresponding points are selected again under this modified priority set.
【００６１】（ｋ）（ｌ）さらに、この実施例では、対
応点の再度選択を行う前後のこの検出率を検出し、この
検出率どうしを比較し、対応点の検出率が最大となるま
で再度選択を繰り返し行う。(K) (l) Further, in this embodiment, the detection rates before and after the corresponding points are selected again are detected, and the detection rates are compared with each other until the detection rate of the corresponding points becomes maximum. Repeat the selection again.
【００６２】[0062]
【発明の効果】この出願に係る第１および第２発明で
は、一旦対応点探索を行った後、エピポーラライン毎に
対応点分布を検出する。次に、対応点分布から最低分布
領域を検出する。そして、左右画像で、この最低分布領
域をそれぞれ優先させた優先順位組を設定して、対応点
の再度選択を行う。この結果、対応点の検出率を向上さ
せることができる。In the first and second inventions of this application, the corresponding point search is performed once, and then the corresponding point distribution is detected for each epipolar line. Next, the lowest distribution area is detected from the corresponding point distribution. Then, in the left and right images, a priority order set in which the lowest distribution area is prioritized is set, and corresponding points are selected again. As a result, the detection rate of corresponding points can be improved.
【００６３】そして、最低分布領域が、検出ミスに起因
するものか、死角に起因するものかを判定する。検出ミ
スによる場合には、最低分布領域の優先順位が左右画像
でそれぞれ上位となる優先順位組を、各エピポーラライ
ン毎に設定して、対応点を再度選択する。尚、死角に起
因する場合は、その最低分布領域の再度選択は行わな
い。Then, it is determined whether the lowest distribution area is due to a detection error or a blind spot. In the case of a detection error, a priority set in which the priority of the lowest distribution area is higher in the left and right images is set for each epipolar line, and the corresponding points are selected again. If the blind spot is caused, the lowest distribution area is not selected again.
【００６４】従って、エピポーラライン毎に、優先順位
を設定して対応点を再度選択するので、対応点の検出率
の向上を図ることができる。また、最低分布領域の対応
点のみを再度選択すれば良いので、処理時間の短縮を図
ることができる。Therefore, since the priority is set and the corresponding points are selected again for each epipolar line, the detection rate of the corresponding points can be improved. Further, since only the corresponding points in the lowest distribution area need to be selected again, the processing time can be shortened.
【００６５】ところで、検出ミスの領域が存在するとい
うことは、誤対応している可能性もある。全ての対応点
が正確に探索された場合には、対応点の検出率は最大と
なる。そして、通常、探索が不正確になって誤対応が増
加する程、検出率は低下する。By the way, the existence of the detection error area may be incorrect. When all the corresponding points are searched accurately, the detection rate of the corresponding points becomes maximum. And, as the search becomes inaccurate and the number of false correspondences increases, the detection rate usually decreases.
【００６６】そこで、対応点分布を積算してエピポーラ
ライン毎の対応点の検出率をもとめて、対応点の再度選
択を行う前後のこの検出率どうしを比較すれば、誤対応
が少ない程、検出率が高くなるはずである。従って、こ
の出願に係る発明において、この検出率が最大となるま
で再度選択を繰り返し行えば、誤対応をより低減させる
ことが可能となる。Therefore, the corresponding point distributions are integrated to obtain the corresponding point detection rates for each epipolar line, and the detection rates before and after the corresponding points are selected again are compared. The rate should be high. Therefore, in the invention according to this application, it is possible to further reduce the erroneous correspondence by repeating the selection until the detection rate becomes maximum.
【図１】実施例の対応点探索装置の機能ブロック図であ
る。FIG. 1 is a functional block diagram of a corresponding point searching device according to an embodiment.
【図２】対応点探索方法の説明に供するフローチャート
である。FIG. 2 is a flowchart for explaining a corresponding point search method.
【図３】（Ａ）は、左右画像のエピポーララインＩを示
す。（Ｂ）は、このエピポーララインの拡大図である。FIG. 3A shows an epipolar line I of left and right images. (B) is an enlarged view of this epipolar line.
【図４】対応点候補の左右画像の対応図である。FIG. 4 is a correspondence diagram of left and right images of corresponding point candidates.
【図５】（Ａ）および（Ｂ）は、実施例の仮対応点の選
択の説明に供する図である。5A and 5B are diagrams for explaining selection of temporary corresponding points in the embodiment.
【図６】（Ａ）〜（Ｃ）は、実施例の対応点の選択の説
明に供する図である。6A to 6C are diagrams for explaining selection of corresponding points in the embodiment.
【図７】この実施例対応点分布および最低分布領域の説
明に供する図である。FIG. 7 is a diagram for explaining a corresponding point distribution and a minimum distribution region in this embodiment.
１０：対応点探索装置 １２：左カメラ １４：右カメラ １６：左画像記憶装置 １８：右画像記憶装置 ２０：特徴値比較部 ２２：対応点候補選択部 ２４：対応点候補記憶部 ２６ａ：第１仮対応点選択装置 ２６ｂ：第２仮対応点選択装置 ２８：優先順位設定部 ３０ａ：第１仮対応点記憶部 ３０ｂ：第２仮対応点記憶部 ３２：位相差比較部 ３４：対応点選択部 ３６：位相差記憶装置 ４０：対応点分布検出部 ４２：最低分布領域検出部 ４４：分布領域記憶部 ４６：修正優先順位設定部 ４８：同期帰還部 10: Corresponding point search device 12: Left camera 14: Right camera 16: Left image storage device 18: Right image storage device 20: Feature value comparison unit 22: Corresponding point candidate selection unit 24: Corresponding point candidate storage unit 26a: First Temporary corresponding point selection device 26b: Second temporary corresponding point selection device 28: Priority setting unit 30a: First temporary corresponding point storage unit 30b: Second temporary corresponding point storage unit 32: Phase difference comparison unit 34: Corresponding point selection unit 36: Phase difference storage device 40: Corresponding point distribution detection unit 42: Minimum distribution region detection unit 44: Distribution region storage unit 46: Correction priority setting unit 48: Synchronous feedback unit
Claims (3)
中の同一のエピポーラライン上の各画素の特徴値どうし
を比較するための手段を具え、 該特徴値どうしの差が一定範囲内の画素どうしを対応点
候補として選択するための手段を具え、 選択された該対応点候補を記憶するための手段を具え、 前記エピポーラライン上の画素ナンバーの小さい側また
は大きい側の順位が上位となる優先順位を、左画像中の
前記対応点候補の画素と右画像中の前記対応点候補の画
素とにそれぞれ設定することにより、左右画像のそれぞ
れの優先順位の組み合わせとして、優先順位組を設定す
るための設定手段を具え、 互いに異なる複数の前記優先順位組の下でそれぞれ、前
記優先順位の最も上位の画素どうしを該対応点候補の中
から仮対応点として選択し、さらに、当該選択に漏れた
対応点候補のみについて、当該優先順位組みの下で前記
優先順位の最も上位の画素どうしを仮対応点として順次
に選択するための手段を具え、 選択された該仮対応点を記憶するための手段を具え、 互いに異なる複数の前記優先順位組の下でそれぞれ選択
された前記仮対応点の位相差どうしを比較して、該位相
差どうしが実質的に一致している当該仮対応点どうしを
対応点として選択するための手段を具えてなる対応点探
索装置であって、 前記対応点が選択された後、エピポーラライン毎に、当
該エピポーラライン上の対応点分布を左右画像でそれぞ
れ検出するための手段を具え、 該対応点分布において、対応点の分布が最も少ない最低
分布領域を左右画像でそれぞれ検出するための手段を具
え、 該対応点分布および最低分布領域を記憶するための手段
を具え、 左右画像の最低分布領域の前記特徴値どうしを比較し
て、該最低分布領域が、左右画像における死角によるも
のか対応点の検出ミスによるものかを判断するための手
段を具え、 該最低分布領域が前記検出ミスによる場合に、当該最低
分布領域の優先順位が上位となる修正優先順位組を、各
エピポーラライン毎に前記設定手段に設定させるための
手段を具えてなることを特徴とする対応点探索装置。1. A means for comparing feature values of respective pixels on the same epipolar line in left and right images input as a stereo image, wherein pixels having a difference between the feature values within a certain range are detected. A means for selecting as a corresponding point candidate is provided, a means for storing the selected corresponding point candidate is provided, and a priority order in which a side having a smaller or a larger pixel number on the epipolar line is higher. , A setting for setting a priority order set as a combination of respective priority orders of the left and right images by setting the corresponding point candidate pixel in the left image and the corresponding point candidate pixel in the right image, respectively. A plurality of mutually different priority groups, each of which has the highest priority pixel is selected as a provisional corresponding point from the corresponding point candidates. In addition, only the corresponding point candidates that have not been selected are provided with means for sequentially selecting the highest-order pixels of the priorities under the priority set as temporary corresponding points. Means for storing corresponding points, comparing the phase differences of the provisional corresponding points respectively selected under the plurality of priority sets different from each other, and the phase differences are substantially coincident with each other. A corresponding point search device comprising means for selecting the corresponding temporary corresponding points as corresponding points, wherein after the corresponding points are selected, the corresponding point distribution on the epipolar line is calculated for each epipolar line. The corresponding point distribution is provided with a means for detecting the lowest distribution area having the smallest distribution of corresponding points in the corresponding point distribution. A means for storing the lowest distribution area is provided, and the characteristic values of the lowest distribution areas of the left and right images are compared to determine whether the lowest distribution area is due to a blind spot in the left and right images or a detection error of corresponding points. A means for determining, for making the setting means set a modified priority group for which the priority of the lowest distribution area is higher when the lowest distribution area is due to the detection error, for each epipolar line. A corresponding point searching device comprising means.
中の同一のエピポーラライン上の各画素の特徴値どうし
を比較して、該特徴値どうしの差が一定範囲内の画素ど
うしを対応点候補として選択し、 前記エピポーラライン上の画素ナンバーの小さい側また
は大きい側の順位が上位となる優先順位を、左画像中の
前記対応点候補の画素と右画像中の前記対応点候補の画
素とにそれぞれ設定することにより、左右画像のそれぞ
れの優先順位の組み合わせとして、優先順位組を設定
し、 互いに異なる複数の前記優先順位組の下でそれぞれ、前
記優先順位の最も上位の画素どうしを該対応点候補の中
から仮対応点として選択し、さらに、当該選択に漏れた
対応点候補のみについて、当該優先順位組みの下で前記
優先順位の最も上位の画素どうしを仮対応点として順次
に選択する 互いに異なる複数の前記優先順位組の下でそれぞれ選択
された該仮対応点の位相差どうしを比較して、該位相差
どうしが実質的に一致している当該仮対応点どうしを対
応点として選択するにあたり、 前記対応点が選択された後、エピポーラライン毎に、当
該エピポーラライン上の対応点分布を左右画像でそれぞ
れ検出し、 該対応点分布において、対応点の分布が最も少ない最低
分布領域を左右画像でそれぞれ検出し、 左右画像の最低分布領域の前記特徴値どうしを比較し
て、該最低分布領域が、左右画像における死角によるも
のか、対応点の検出ミスによるものかを判断し、 該最低分布領域が前記検出ミスによる場合に、左右画像
の当該最低分布領域の優先順位がそれぞれ上位となる修
正優先順位組を各エピポーラライン毎に設定し、 該修正優先順位組の下で対応点の再度選択を行うことを
特徴とする対応点探索方法。2. A feature value of each pixel on the same epipolar line in the left and right images input as a stereo image is compared, and pixels having a difference between the feature values within a certain range are set as corresponding point candidates. Select, the priority of the smaller side or the larger side of the pixel number on the epipolar line is higher, to the corresponding point candidate pixel in the left image and the corresponding point candidate pixel in the right image, respectively. By setting, a priority order set is set as a combination of the respective priority orders of the left and right images, and the highest-order pixels of the priority orders are respectively set as the corresponding point candidates under the plurality of priority order sets different from each other. Only the corresponding point candidates that are not selected are selected as temporary corresponding points, and the highest-order pixels of the priorities under the priority set are temporarily selected. Sequential selection as response points Comparing the phase differences between the provisional corresponding points respectively selected under the plurality of priority groups different from each other, and the phase differences are substantially the same. When selecting points as corresponding points, after the corresponding points are selected, the corresponding point distribution on each epipolar line is detected in the left and right images for each epipolar line, and the distribution of the corresponding points in the corresponding point distribution is detected. Is detected in the left and right images respectively, and the characteristic values of the lowest distribution regions in the left and right images are compared, and the lowest distribution region is due to a blind spot in the left and right images, or due to a detection error of a corresponding point. If the lowest distribution area is due to the detection error, a correction priority group in which the priority order of the lowest distribution area of the left and right images is higher is set for each epipox. The corresponding point searching method is characterized in that the corresponding points are set for each error line and the corresponding points are selected again under the correction priority set.
て、 前記対応点分布を積算してエピポーラライン毎の対応点
の検出率をもとめ、 対応点の再度選択を行う前後の該検出率どうしを比較
し、 該検出率が最大となるまで前記再度選択を繰り返し行う
ことを特徴とする対応点探索方法。3. The corresponding point search method according to claim 2, wherein the corresponding point distributions are integrated to obtain a corresponding point detection rate for each epipolar line, and the corresponding detection rates before and after the corresponding points are reselected. And the selection is repeated again until the detection rate becomes maximum.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7079089A JPH08279045A (en) | 1995-04-04 | 1995-04-04 | Device and method for searching for corresponding point |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7079089A JPH08279045A (en) | 1995-04-04 | 1995-04-04 | Device and method for searching for corresponding point |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08279045A true JPH08279045A (en) | 1996-10-22 |
Family
ID=13680163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7079089A Withdrawn JPH08279045A (en) | 1995-04-04 | 1995-04-04 | Device and method for searching for corresponding point |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08279045A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009031086A (en) * | 2007-07-26 | 2009-02-12 | Shimadzu Corp | Marker image identification device and method for identifying marker image |
| US7697749B2 (en) | 2004-08-09 | 2010-04-13 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device |
| JP2013114505A (en) * | 2011-11-29 | 2013-06-10 | Fujitsu Ltd | Stereo image generating apparatus, stereo image generating method, and computer program for stereo image generation |
-
1995
- 1995-04-04 JP JP7079089A patent/JPH08279045A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7697749B2 (en) | 2004-08-09 | 2010-04-13 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device |
| JP2009031086A (en) * | 2007-07-26 | 2009-02-12 | Shimadzu Corp | Marker image identification device and method for identifying marker image |
| JP2013114505A (en) * | 2011-11-29 | 2013-06-10 | Fujitsu Ltd | Stereo image generating apparatus, stereo image generating method, and computer program for stereo image generation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8818077B2 (en) | Stereo image matching apparatus and method | |
| US7471809B2 (en) | Method, apparatus, and program for processing stereo image | |
| CN102025959B (en) | The System and method for of high definition video is produced from low definition video | |
| US20030123726A1 (en) | Scene change detection apparatus | |
| CN107277367A (en) | Take pictures processing method, device, equipment and storage medium | |
| JP2966248B2 (en) | Stereo compatible search device | |
| JPH08279045A (en) | Device and method for searching for corresponding point | |
| US20090304293A1 (en) | Motion estimation method and related apparatus for efficiently selecting motion vector | |
| JP2016126595A (en) | Image processing device, image processing method, and program | |
| WO2021186672A1 (en) | Image processing method | |
| US10383515B2 (en) | Method of detecting pupil center | |
| JPH08241410A (en) | Corresponding point searching device and method | |
| JPH1051793A (en) | Block matching device | |
| JP2019185615A (en) | Device, method and program for managing flow line | |
| RU2470368C2 (en) | Image processing method | |
| JPH04232575A (en) | Local hierarchical processing method for shift of focal point in image | |
| CN103650473A (en) | Auto-focus image system | |
| US20180336432A1 (en) | Method and system for matching stereo images | |
| KR101738269B1 (en) | Stereo matching method and system using of epipolar line expansion parameter | |
| JP3265171B2 (en) | Stereo image correction condition detection device | |
| JP7066580B2 (en) | Image processing equipment | |
| JP2000348175A (en) | Method and device for corresponding point detection | |
| JPH09120453A (en) | Method and unit for logical operation of data | |
| JPH07280560A (en) | Correlation computation evaluating method | |
| US20210063143A1 (en) | Multi-parameter calculation via modal power measurements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20020604 |