JP2004245701A - Distance distribution detecting apparatus - Google Patents
Distance distribution detecting apparatus Download PDFInfo
- Publication number
- JP2004245701A JP2004245701A JP2003036011A JP2003036011A JP2004245701A JP 2004245701 A JP2004245701 A JP 2004245701A JP 2003036011 A JP2003036011 A JP 2003036011A JP 2003036011 A JP2003036011 A JP 2003036011A JP 2004245701 A JP2004245701 A JP 2004245701A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- area
- image
- parallax
- collation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、車両前方監視等に利用されるステレオ視による距離分布検知装置に関する。
【0002】
【従来の技術】
車両前方監視等に利用されるステレオ視による距離分布検知装置としては、例えば、特許文献1に記載された車輌用車外監視装置が一般に知られている。
【0003】
特許文献1に記載の車輌用車外監視装置では、距離画像を求める際、領域サイズを固定にした相関法でステレオ照合を行っており、空間分解能は、遠方での物体検出に必要になる値に固定して距離を求めている。このため、領域サイズは4×4画素であり、視差の分解能も画像の1画素精度と高分解能に設定されている。
【0004】
また、視差を求める際の相関は、処理量の比較的少ない差分絶対値和(SAD)を用いて計っている。相関を計るその他の指標には、例えば、差の自乗和等があり、正規化相関等を用いる方法なども一般に広く使用されている。
【0005】
差分絶対値和(SAD)を用いてステレオ照合する際の点(x,y|0≦x<V,0≦y<H)における相関指数Sの計算式を次式(1)に示す。
【数1】
【0006】
ここで、
S : 相関指数(この値を最小にするdの値(0≦d≦Dmax)を点(x,y)における視差として求める。)
Ir: 右カメラで撮影された画像の各比較点における比較量(明度等)
Il: 左カメラで撮影された同時刻画像の各比較点における比較量
M : 相関領域サイズ(縦方向)
N : 相関領域サイズ(横方向)
H : 被解析画像サイズ(縦方向)
V : 被解析画像サイズ(横方向)
Dmax: 視差探索幅
【0007】
式(1)から判るように、画像解析の演算量は、ステレオ照合する際の相関の種類等に依存し、特に、相関領域(部分画像)の大きさ(M×N)、画像のサイズ(V×H)、及び、視差dの探索範囲の大きさDmax等に比例している。
【0008】
また、上記の従来技術による方法では、遠方の物体検出に必要な固定値の空間分解能で全距離レンジに渡り距離を求めるため、相関領域サイズは4×4画素と小さく、視差の分解能も画像の1画素精度になっている。
【0009】
特許文献2に記載の距離分布検知装置は、求まる距離に応じて視差の分解能を変化させて、計算コストの削減と照合誤りの低減を図っている。
【0010】
【特許文献1】
特開平5−265547号公報
【特許文献2】
特開2001−126065号公報
【0011】
【発明が解決しようとする課題】
しかしながら、物体の見かけ上の大きさは距離に反比例しているため、特許文献1のように視差の分解能を一定にすると、距離の分解能は近距離ほど細かくなるため、領域サイズを固定した場合、近距離の物体に対しては必要以上に高い分解能で距離を演算する事になる。その結果、距離画像から物体を検出する後処理においては、近距離の物体に対しては膨大な距離値を扱う必要が生じ、処理量が膨大になる。
【0012】
また、小さな領域サイズで相関演算を行うと、領域内のバターンの特徴が減少するため、照合誤りが発生しやすくなるという問題がある。また、分解能の高い距離値を求めること自体の計算コストが大きいという問題がある。
【0013】
即ち、従来の方法では、ステレオ照合処理を距離レンジに依らず遠方で必要とされる空間分解能で一括して行うため、即ち、相関の領域サイズを一定、示唆の探索分解能を一定で距離を求めるため、近い距離の物体は得られる距離画像の分解能(距離方向、視差角方向)が必要以上に細かくなってしまう点が、処理性能、及び、出力結果の信頼性の面で問題となっていた。
【0014】
本発明は、上記の課題を解決するために成されたものであり、その目的は、上記のように、必要以上に高い空間分解能で距離を求めることによって生じる、解析処理オーバーヘッド(メモリ・オーバーヘッド、CPU・オーバーヘッド等)を削減し、更に、それに伴う照合誤りを削減することである。
【0015】
【課題を解決するための手段】
上記課題を解決するため本発明の第1の手段は、空間的位置の相異なる複数の視点から撮影された画像を解析することにより、撮像された対象物の距離分布を求める距離分布検知装置において、前記画像の被解析単位となる部分画像を照合し、前記距離を計算する際の、距離方向又は視差角方向の空間分解能の高さを、前記部分画像が属すると推定される距離レンジに応じて選択する空間分解能選択手段を有し、前記空間分解能選択手段は、前記画像の下部領域を近距離レンジとし、上部領域を遠距離レンジとして、前記画像の上部になるにしたがって空間分解能の高さを高くするように連続的または段階的に設定することを特徴とする。
【0016】
また、第2の手段は、上記の空間分解能選択手段は、近距離レンジに属する部分画像の距離解析結果に基づいて、近距離レンジよりも遠い距離レンジに属する部分画像の照合の際の視差探索領域を設定することを特徴とする。
【0017】
【発明の作用及び効果】
従来方法では、ステレオ照合処理を距離エリアに依らず遠方で必要な分解能で一括して行う、すなわち相関の領域サイズを一定、相関の計算間隔を一定、視差の探索分解能を一定で距離を求めるため、近い距離の物体は得られる距離画像の分解能が必要以上に細かくなるという問題があった。
【0018】
本発明の上記手段によれば、求める距離に応じて必要十分な分解能で照合ができ、各距離に応じて必要十分な距離値を得ることが出来る。また、画像の上下位置に基づいて、距離エリアを設定し、各距離で必要十分な分解能で照合が行えるため、照合誤りを削減することが出来る。また、不必要に高い分解能で距離を計算する場合に比べて処理量を小さくでき、処理を高速化できる。
【0019】
さらに、上記第2の手段によれば、近い距離エリアの照合手段で遠方の距離値を求めそれを遠い距離エリア用の照合手段の予測値として探索視差範囲の制御(限定)を行い、また視差の分解能を制御(視差を計算する密度を変化)することにより、処理量をさらに小さくできる。また、視差の探索範囲を限定することにより、照合誤りによる距離値の誤りを削減できる
【0020】
本発明の全ての構成で、必要な分解能で距離値(距離画像)を得ることができるようになるので、距離画像に基づく物体検出や形状推定などの後処理が容易に行える。また、必要以上に高い分解能の距離値を求める従来手法と比べると処理時間が大幅に短縮化できる。また、距離の予測値による視差探索範囲の制御と照合の密度の制御によりさらなる高速化と照合誤りの削減が可能になる。
【0021】
【発明の実施の形態】
以下に図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1に距離計測装置の第1の実施の形態の全体構成を示す。2台のカメラ11,21から撮像された画像はA/D変換器12,22によりデジタル化される。カメラ11は右画像、カメラ21は左画像を撮影する。左右の画像は解像度変換30へ入力される。
【0022】
解像度変換器30は、入力された画像を距離レンジで必要十分な空間分解能とするために3つの解像度の画像に変換する。本実施の形態では、3つの距離エリアとするため、3つの解像度の画像を得る。即ち、遠距離エリア照合用に入力画像そのままの解像度の画像、中距離エリア照合用に1/2の解像度の画像、近距離エリア照合用に1/4の解像度の画像を得る。
【0023】
本実施の形態において、距離エリアは図2に示すように、撮影された画像を3種類の距離エリアに分ける。画像の下部分1/2を近距離エリア(領域1)とする。領域1よりも上に位置する画像1/4を中距離エリア(領域2)とする。残りの画像の上部分1/4を遠距離エリアとする。
【0024】
次に、空間フィルタ40で、左右画像間の明度差の補償や濃度変化の強調による照合の改善等を目的とした空間フィルタ処理を行う。このためには1次、2次微分フィルタや直流分除去フィルタ等が使われる。
【0025】
空間フィルタ処理された画像に対し、照合器60では左右画像の照合を行う。左右画像間での対応点(右画像と同じ左画像の点)を探索する。探索方法は比較的演算量の少ない差分絶対値和(SAD)を利用する。差分の二乗和や正規化相関を使ってもよい。相関の領域サイズは3×3画素としているが、必要に応じて2×2や5×5画素などのサイズを用いてもよい。距離画像を計算する画素間隔は1画素間隔とした。これについても必要とする距離画像の分解能に合わせて決めればよい。ステレオ照合位置は照合度合いを表すSADの残差(sCorr)の最小値、照合度合いの一意性を示すSADの最小値での残差の勾配値(sGrad)、対応の取れやすさを示すパターンの存在を表わす1次微分絶対値(sChdiv)等からその照合度合い(信頼度)を評価し、照合が得られた時、その位置の距離値を算出する。
【0026】
各距離エリア用の照合処理は、必要十分な距離画像の空間分解能を得るために、各距離エリアごとに視差探索領域を限定して照合を行う。例えば、視差探索範囲の限定は以下のように行う。必要十分な空間分解能(距離精度)を0.3mとし、焦点距離F=16mm、基調線B=0.30mm、セルサイズα=9.9μm(1/2インチCCD、640×480画素の場合)のステレオカメラの場合、視差128から112までは近距離エリア用の照合手段、視差112から56までは中距離用照合手段、視差56以下は遠距離エリア用の照合手段が担当して用いる。
【0027】
照合器50での処理の流れを図3のフローチャートに示す。始めに照合する画素がどの領域にあるのかを判定する。画素位置が領域1にある場合、近距離エリア用の照合処理を行う(S10)。
【0028】
近距離エリア用の照合処理は、視差探索領域を128から112までに限定する(S31)。照合に用いる、1/4解像度の画像を得る(S32)。照合処理(S33)によって、距離値を得る(S34)。画素位置が領域1にない場合には、領域2にあるかどうか判定する(S20)。領域2にある場合には、中距離エリア用の照合処理を行う。
【0029】
中距離エリア用の照合処理は、視差探索領域を112から56までに限定する(S41)。照合に用いる、1/2解像度の画像を得る(S42)。照合処理(S43)によって、距離値を得る(S44)。画素位置が領域2にもない場合、即ち領域3にある場合には、遠距離エリア用の処理を行う。
【0030】
遠距離エリア用の照合処理は、視差探索領域を56以下に限定する(S51)。照合には、原画像を用いる(S52)。照合処理(S53)によって、距離値を得る(S54)。全ての画素について終了したが場合(S60)、各距離エリア用照合手段で算出された距離を合わせ画像全体の距離分布を検出する。
【0031】
なお、本実施の形態では、照合器60で、画像内における画素位置を判定し、該当する領域ごとの処理を行っているが、解像度変換に先立ち、原画像を領域ごとに分割しておいてもよい。また、画素の存在位置を領域1から判定しているが、領域3から判定するようにしても構わない。
【0032】
(第2の実施の形態)
第2の実施の形態は、第1の実施の形態において、画面いっぱいに写るような近距離物体があるときにも対応できるようにするものである。近距離に大きな物体がある場合、領域3にも近距離の物体が写る(図4)。第1の実施の形態の場合、領域3に写った近距離物体は視差が限定されているため、照合が出来なくなる。第2の実施の形態では、まず近距離エリア(領域1)から照合を始め、中距離エリア(領域2)では、近距離エリア(領域1)での照合結果を参照して視差探索範囲を設定する。また同様に、遠距離エリア(領域3)では、中距離エリア(領域2)での照合結果を参照して視差探索領域を設定する。
【0033】
照合器60での処理の流れを図5のフローチャートに示す。始めに照合する画素がどの領域にあるのかを判定する(S10)。画素位置が領域1にある場合、近距離エリア用の照合処理を行う。
【0034】
近距離エリア用の照合処理は、視差探索領域を128から112までに限定して照合を行う(S31)。照合に用いる、1/4解像度の画像を得る(S32)。照合処理(S33)によって、距離値を得る(S34)。画素位置が領域1にない場合には、領域2にあるかどうか判定する(S20)。領域2にある場合には、中距離エリア用の照合処理を行う。
【0035】
中距離エリア用の照合処理は、近距離エリア用の照合処理で照合が得られた視差を参考にして、視差探索領域を確定する。例えば、近距離エリア用の照合処理において、照合が得られたかどうかを判定し(S70)、最も遠い距離として視差120で照合が得られた場合、視差探索領域を120から56までに限定して照合を行う(S45)。これは領域2に存在する物体は、領域1に存在する物体よりも遠い位置にあるという仮定からである。なお、領域120からとしたが、かならずしも領域1で照合が得られた視差からではなく例えば視差122からにするなど幅を持たせることはもちろん構わない。近距離エリア用の照合処理で照合が得られなかった場合には、あらかじめ定めておいた視差探索領域112から56を使用する(S41)。照合に用いる1/2解像度の画像を得る(S42)。照合処理(S43)によって、距離値(S44)を得る。画素位置が領域2にもない場合、即ち領域3にある場合には、遠距離エリア用の処理を行う。
【0036】
遠距離エリア用の照合処理は、中距離エリア用の照合処理で照合が得られた視差を参考にして、視差探索領域を確定する。例えば、近距離エリア用の照合処理において照合が得られたかどうか判定し(S80)、最も遠い距離として視差100で照合が得られた場合、視差探索領域を100以下に限定して照合を行う(S55)。これは領域3に存在する物体は、領域2に存在する物体よりも遠い位置にあるという仮定からである。なお、視差100以下としたが、かならずしも領域2で照合が得られた視差からではなく例えば視差102からにするなど幅を持たせることはもちろん構わない。中距離エリア用の照合処理で照合が得られなかった場合には、あらかじめ定めておいた視差探索領域56以下に限定して照合を行う(S51)。照合には、原画像を用いる(S52)。照合処理(S53)によって、距離値(S54)を得る。全ての画素について終了すると(S60)、各距離エリア用照合手段で算出された距離を合わせ画像全体の距離分布が検出される。。
【0037】
このように本実施の形態によれば、近距離エリアで得られた照合結果を基に視差探索範囲を求めているので、近距離にある大きな物体を対応を取ることが可能になる。
【0038】
尚、本発明の距離分布検知装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【図1】本発明の実施の形態の全体構成を示すブロック図。
【図2】本発明の第1の実施の形態での画像分割の例を示す図。
【図3】本発明の第1の実施の形態の照合器の動作を示すフローチャート。
【図4】本発明の第2の実施の形態で撮影された画像の例を示す図。
【図5】本発明の第2の実施の形態の照合器の動作を示すフローチャート。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a distance distribution detecting device based on stereo vision used for monitoring the front of a vehicle and the like.
[0002]
[Prior art]
As a distance distribution detecting device based on stereo vision used for monitoring the front of a vehicle, for example, a vehicle exterior monitoring device described in
[0003]
In the vehicle exterior monitoring device described in
[0004]
The correlation at the time of obtaining the parallax is measured by using a sum of absolute differences (SAD) having a relatively small processing amount. Other indices for measuring the correlation include, for example, the sum of squares of the difference, and a method using a normalized correlation or the like is generally and widely used.
[0005]
The following equation (1) shows the calculation formula of the correlation index S at the point (x, y | 0 ≦ x <V, 0 ≦ y <H) when performing stereo matching using the sum of absolute differences (SAD).
(Equation 1)
[0006]
here,
S: Correlation index (a value of d that minimizes this value (0 ≦ d ≦ D max ) is obtained as a parallax at the point (x, y).)
Ir: comparison amount (lightness, etc.) at each comparison point of the image taken by the right camera
Il: comparison amount M at each comparison point of the same time image taken by the left camera M: correlation area size (vertical direction)
N: Correlation area size (horizontal direction)
H: Analyzed image size (vertical direction)
V: Analyzed image size (horizontal direction)
D max : parallax search width
As can be seen from equation (1), the amount of calculation for image analysis depends on the type of correlation and the like when performing stereo matching, and in particular, the size (M × N) of the correlation area (partial image) and the size of the image ( V × H) and the size D max of the search range of the parallax d and the like.
[0008]
Further, in the method according to the prior art described above, since the distance is obtained over the entire distance range with a fixed value of spatial resolution required for detecting a distant object, the correlation area size is as small as 4 × 4 pixels, and the resolution of the parallax is also small. It has one pixel accuracy.
[0009]
The distance distribution detection device described in Patent Literature 2 changes the resolution of parallax according to the distance to be obtained, thereby reducing calculation cost and collation errors.
[0010]
[Patent Document 1]
Japanese Patent Application Laid-Open No. Hei 5-26547 [Patent Document 2]
JP 2001-126565 A
[Problems to be solved by the invention]
However, since the apparent size of the object is inversely proportional to the distance, if the resolution of the parallax is constant as in
[0012]
Further, when the correlation calculation is performed with a small region size, the pattern feature in the region is reduced, so that there is a problem that a matching error is likely to occur. In addition, there is a problem that the calculation cost of obtaining a distance value with high resolution itself is large.
[0013]
That is, in the conventional method, since the stereo matching process is collectively performed at a required spatial resolution at a long distance without depending on the distance range, that is, the distance is obtained while the correlation region size is constant and the suggestive search resolution is constant. Therefore, the resolution (distance direction, parallax angle direction) of an obtained distance image of an object at a short distance becomes unnecessarily fine, which has been a problem in terms of processing performance and reliability of an output result. .
[0014]
The present invention has been made to solve the above-described problems, and has as its object the analysis processing overhead (memory overhead, memory overhead, memory overhead, etc.) generated by obtaining a distance with an unnecessarily high spatial resolution as described above. CPU, overhead, etc.) and the associated matching errors.
[0015]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a distance distribution detecting apparatus for obtaining a distance distribution of a captured object by analyzing images captured from a plurality of viewpoints having different spatial positions. When comparing the partial images to be analyzed units of the image and calculating the distance, the height of the spatial resolution in the distance direction or the parallax angle direction depends on the distance range to which the partial image is estimated to belong. The spatial resolution selecting means, wherein the lower area of the image is a short distance range, the upper area is a long distance range, and the height of the spatial resolution increases toward the top of the image. Is set continuously or stepwise so as to increase.
[0016]
A second means is that the spatial resolution selecting means is configured to search for parallax at the time of collation of a partial image belonging to a distance range longer than the short distance range based on a distance analysis result of the partial image belonging to the short distance range. It is characterized in that an area is set.
[0017]
Function and effect of the present invention
In the conventional method, the stereo matching process is performed collectively at a required resolution at a distance irrespective of the distance area, that is, to obtain a distance with a fixed correlation region size, a fixed correlation calculation interval, and a fixed parallax search resolution. However, there is a problem that the resolution of a distance image obtained from an object at a short distance becomes unnecessarily fine.
[0018]
According to the above-described means of the present invention, matching can be performed with a necessary and sufficient resolution according to a required distance, and a necessary and sufficient distance value can be obtained according to each distance. In addition, a distance area is set based on the vertical position of the image, and matching can be performed at a necessary and sufficient resolution at each distance, so that matching errors can be reduced. Further, the processing amount can be reduced as compared with the case where the distance is calculated with an unnecessarily high resolution, and the processing can be speeded up.
[0019]
Further, according to the second means, the far-distance value is obtained by the close-range area collation means, and the obtained value is used as the predicted value of the far-distance area collation means to control (limit) the search parallax range. By controlling the resolution of (i.e., changing the density for calculating parallax), the processing amount can be further reduced. In addition, by limiting the parallax search range, it is possible to reduce the error in the distance value due to a matching error.
In all configurations of the present invention, a distance value (distance image) can be obtained with a required resolution, so that post-processing such as object detection and shape estimation based on the distance image can be easily performed. In addition, the processing time can be significantly reduced as compared with the conventional method for obtaining a distance value with a higher resolution than necessary. Further, the control of the parallax search range based on the predicted value of the distance and the control of the density of collation can further increase the speed and reduce collation errors.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
(First Embodiment)
FIG. 1 shows the overall configuration of the first embodiment of the distance measuring device. Images captured by the two
[0022]
The
[0023]
In the present embodiment, as shown in FIG. 2, the distance area divides a captured image into three types of distance areas. The lower half of the image is a short distance area (area 1). An
[0024]
Next, the
[0025]
The
[0026]
In the matching processing for each distance area, in order to obtain a necessary and sufficient spatial resolution of the distance image, the matching is performed by limiting the parallax search area for each distance area. For example, the parallax search range is limited as follows. The necessary and sufficient spatial resolution (distance accuracy) is 0.3 m, focal length F = 16 mm, base line B = 0.30 mm, cell size α = 9.9 μm (1/2 inch CCD, 640 × 480 pixels) In the case of the stereo camera described above, the matching means for the short distance area is used for the parallaxes 128 to 112, the matching means for the medium distance is used for the parallaxes 112 to 56, and the matching means for the long distance area is used for the parallaxes of 56 or less.
[0027]
The flow of the process in the collator 50 is shown in the flowchart of FIG. First, it is determined in which area the pixel to be compared is located. If the pixel position is in the
[0028]
The collation processing for the short distance area limits the parallax search area to 128 to 112 (S31). An image of 1/4 resolution used for comparison is obtained (S32). A distance value is obtained by the matching process (S33) (S34). If the pixel position is not in the
[0029]
The matching process for the middle distance area limits the parallax search area to 112 to 56 (S41). A 1/2 resolution image to be used for comparison is obtained (S42). The distance value is obtained by the matching process (S43) (S44). If the pixel position is not in the area 2, that is, if the pixel position is in the area 3, processing for a long-distance area is performed.
[0030]
The matching processing for the long-distance area limits the parallax search area to 56 or less (S51). The original image is used for collation (S52). The distance value is obtained by the matching process (S53) (S54). If the processing has been completed for all pixels (S60), the distances calculated by the distance area matching means are combined to detect the distance distribution of the entire image.
[0031]
In the present embodiment, the matching
[0032]
(Second embodiment)
The second embodiment is intended to cope with the case where there is a short-distance object that appears in the entire screen in the first embodiment. When there is a large object at a short distance, an object at a short distance is also captured in the area 3 (FIG. 4). In the case of the first embodiment, since the parallax of the short-distance object shown in the area 3 is limited, the collation cannot be performed. In the second embodiment, first, the matching is started from the short distance area (area 1), and in the middle distance area (area 2), the parallax search range is set with reference to the matching result in the short distance area (area 1). I do. Similarly, in the long distance area (area 3), the parallax search area is set with reference to the matching result in the middle distance area (area 2).
[0033]
The flow of the process in the
[0034]
In the collation processing for the short distance area, collation is performed with the parallax search area limited to 128 to 112 (S31). An image of 1/4 resolution used for comparison is obtained (S32). A distance value is obtained by the matching process (S33) (S34). If the pixel position is not in the
[0035]
In the matching process for the middle-range area, the parallax search area is determined with reference to the parallax obtained by the matching process in the close-range area. For example, in the collation processing for the short distance area, it is determined whether or not the collation is obtained (S70). If the collation is obtained with the parallax 120 as the farthest distance, the parallax search area is limited to 120 to 56. Collation is performed (S45). This is because the object existing in the area 2 is located at a position farther than the object existing in the
[0036]
In the matching process for the long-distance area, the disparity search area is determined with reference to the disparity obtained in the matching process for the middle-distance area. For example, it is determined whether or not the collation is obtained in the collation processing for the short distance area (S80). If the collation is obtained with the parallax of 100 as the farthest distance, the collation is limited to the parallax search area of 100 or less ( S55). This is because the object existing in the area 3 is located at a position farther than the object existing in the area 2. Although the parallax is set to 100 or less, it is of course possible to give a width, for example, from parallax 102 instead of parallax obtained by matching in region 2. If no matching is obtained in the matching process for the medium distance area, the matching is limited to the predetermined parallax search area 56 or less (S51). The original image is used for collation (S52). The distance value (S54) is obtained by the matching process (S53). When the processing is completed for all pixels (S60), the distances calculated by the respective distance area matching means are combined to detect the distance distribution of the entire image. .
[0037]
As described above, according to the present embodiment, since the parallax search range is obtained based on the matching result obtained in the short distance area, it is possible to deal with a large object at a short distance.
[0038]
It should be noted that the distance distribution detecting device of the present invention is not limited to the illustrated example described above, and it is needless to say that various changes can be made without departing from the gist of the present invention.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an embodiment of the present invention.
FIG. 2 is a diagram showing an example of image division according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing the operation of the collator according to the first embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of an image captured according to a second embodiment of the present invention.
FIG. 5 is a flowchart showing an operation of the collator according to the second embodiment of the present invention.
Claims (2)
前記画像の被解析単位となる部分画像を照合し、前記距離を計算する際の、距離方向又は視差角方向の空間分解能の高さを、前記部分画像が属すると推定される距離レンジに応じて選択する空間分解能選択手段を有し、
前記空間分解能選択手段は、前記画像の下部領域を近距離レンジとし、上部領域を遠距離レンジとして、前記画像の上部になるにしたがって前記空間分解能の高さを高くするように連続的または段階的に設定することを特徴とする距離分布検知装置。By analyzing images taken from a plurality of viewpoints having different spatial positions, in a distance distribution detecting device that obtains a distance distribution of a captured object,
When comparing the partial images to be analyzed units of the image and calculating the distance, the height of the spatial resolution in the distance direction or the parallax angle direction depends on the distance range to which the partial image belongs. Having a spatial resolution selecting means for selecting,
The spatial resolution selection means is continuous or stepwise so that the lower region of the image is a short distance range, the upper region is a long distance range, and the spatial resolution is increased toward the top of the image. A distance distribution detection device, characterized in that:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003036011A JP2004245701A (en) | 2003-02-14 | 2003-02-14 | Distance distribution detecting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003036011A JP2004245701A (en) | 2003-02-14 | 2003-02-14 | Distance distribution detecting apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004245701A true JP2004245701A (en) | 2004-09-02 |
Family
ID=33021224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003036011A Pending JP2004245701A (en) | 2003-02-14 | 2003-02-14 | Distance distribution detecting apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004245701A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004279031A (en) * | 2003-03-12 | 2004-10-07 | Toyota Central Res & Dev Lab Inc | Apparatus and method for detecting distance distribution |
JP2008039491A (en) * | 2006-08-02 | 2008-02-21 | Fuji Heavy Ind Ltd | Stereo image processing apparatus |
JP2008298532A (en) * | 2007-05-30 | 2008-12-11 | Konica Minolta Holdings Inc | Obstruction measurement method, device, and system |
WO2011111247A1 (en) * | 2010-03-12 | 2011-09-15 | 日立オートモティブシステムズ株式会社 | Stereo camera device |
JP2013108990A (en) * | 2012-12-13 | 2013-06-06 | Konica Minolta Inc | Obstruction measurement method, obstruction measurement device, and obstruction measurement system |
JP2013174494A (en) * | 2012-02-24 | 2013-09-05 | Ricoh Co Ltd | Image processing device, image processing method, and vehicle |
KR101516428B1 (en) * | 2013-12-26 | 2015-05-06 | 홍예브게니 | A object recognizing system for the robot and the method thereof |
JP2019071557A (en) * | 2017-10-10 | 2019-05-09 | キヤノン株式会社 | Imaging apparatus and method for controlling the same |
WO2019208544A1 (en) * | 2018-04-25 | 2019-10-31 | 株式会社小糸製作所 | Image-processing device, vehicle lamp, and image-processing method |
JPWO2021172256A1 (en) * | 2020-02-27 | 2021-09-02 |
-
2003
- 2003-02-14 JP JP2003036011A patent/JP2004245701A/en active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004279031A (en) * | 2003-03-12 | 2004-10-07 | Toyota Central Res & Dev Lab Inc | Apparatus and method for detecting distance distribution |
JP2008039491A (en) * | 2006-08-02 | 2008-02-21 | Fuji Heavy Ind Ltd | Stereo image processing apparatus |
JP2008298532A (en) * | 2007-05-30 | 2008-12-11 | Konica Minolta Holdings Inc | Obstruction measurement method, device, and system |
US9443313B2 (en) | 2010-03-12 | 2016-09-13 | Hitachi Automotive Systems, Ltd. | Stereo camera apparatus |
JP2011191905A (en) * | 2010-03-12 | 2011-09-29 | Hitachi Automotive Systems Ltd | Stereo camera device |
WO2011111247A1 (en) * | 2010-03-12 | 2011-09-15 | 日立オートモティブシステムズ株式会社 | Stereo camera device |
JP2013174494A (en) * | 2012-02-24 | 2013-09-05 | Ricoh Co Ltd | Image processing device, image processing method, and vehicle |
JP2013108990A (en) * | 2012-12-13 | 2013-06-06 | Konica Minolta Inc | Obstruction measurement method, obstruction measurement device, and obstruction measurement system |
KR101516428B1 (en) * | 2013-12-26 | 2015-05-06 | 홍예브게니 | A object recognizing system for the robot and the method thereof |
JP2019071557A (en) * | 2017-10-10 | 2019-05-09 | キヤノン株式会社 | Imaging apparatus and method for controlling the same |
JP7058971B2 (en) | 2017-10-10 | 2022-04-25 | キヤノン株式会社 | Image pickup device and its control method |
WO2019208544A1 (en) * | 2018-04-25 | 2019-10-31 | 株式会社小糸製作所 | Image-processing device, vehicle lamp, and image-processing method |
JPWO2021172256A1 (en) * | 2020-02-27 | 2021-09-02 | ||
WO2021172256A1 (en) * | 2020-02-27 | 2021-09-02 | ファナック株式会社 | Three-dimensional imaging device and imaging condition adjustment method |
JP7368590B2 (en) | 2020-02-27 | 2023-10-24 | ファナック株式会社 | 3D imaging device and imaging condition adjustment method |
US11943422B2 (en) | 2020-02-27 | 2024-03-26 | Fanuc Corporation | Three-dimensional image-capturing device and image-capturing condition adjusting method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3539788B2 (en) | Image matching method | |
JP5954668B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP4341564B2 (en) | Object judgment device | |
JP5752618B2 (en) | Stereo parallax calculation device | |
KR100938195B1 (en) | Method for distance estimation and apparatus for the same using a stereo matching | |
WO2011027564A1 (en) | Parallax calculation method and parallax calculation device | |
JP6307037B2 (en) | Obstacle detection method and apparatus | |
JP5776771B2 (en) | Corresponding point search device and distance measurement device | |
JP2001126065A (en) | Distance distribution detector | |
JP2004245701A (en) | Distance distribution detecting apparatus | |
JP2004028727A (en) | Monitoring system, monitoring method, distance correction device for the monitoring system, and distance correction method | |
TWI571099B (en) | Device and method for depth estimation | |
JP6602286B2 (en) | Image processing apparatus, image processing method, and program | |
JP2016192105A (en) | Stereo image processing method and device therefor | |
WO2020175063A1 (en) | Computation device and parallax calculation method | |
JP6346869B2 (en) | Stereo image processing method and apparatus | |
JP4605582B2 (en) | Stereo image recognition apparatus and method | |
KR101020921B1 (en) | Controlling Method For Rotate Type Camera | |
JP2004279031A (en) | Apparatus and method for detecting distance distribution | |
JPH1096607A (en) | Object detector and plane estimation method | |
KR20220145080A (en) | Apparatus and method for determining position of dual camera for vehicle | |
JP2021068356A (en) | Imaging apparatus, method and program | |
JP2006047252A (en) | Image processing unit | |
JP7066580B2 (en) | Image processing equipment | |
KR101823657B1 (en) | Stereo image rectification method for mono cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070911 |