JP4613139B2

JP4613139B2 - Edge detection system

Info

Publication number: JP4613139B2
Application number: JP2006073242A
Authority: JP
Inventors: 聡片平; 勉丹沢
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2006-03-16
Filing date: 2006-03-16
Publication date: 2011-01-12
Anticipated expiration: 2026-03-16
Also published as: JP2007249681A

Description

本発明は、データ領域の一部を構成する部分的な領域内に存在するエッジの有無を検出する技術に係り、特に、エッジ検出で用いられる判定しきい値の設定に関する。 The present invention relates to a technique for detecting the presence / absence of an edge existing in a partial area constituting a part of a data area, and more particularly to setting a determination threshold value used in edge detection.

従来より、データ領域の一部を構成する部分的な領域内に存在するエッジの有無を検出する技術が知られている。通常の画像では、エッジは画像の輝度変化量の大きい部分であり、物体の境界等がこれに当たる。例えば、特許文献１には、ステレオ画像の一方の画素領域において水平方向に隣接した画素対の輝度変化量のそれぞれを、判定しきい値とを比較することによって、この画素領域におけるエッジの有無を検出する手法が開示されている。判定しきい値は、状況に応じて可変に設定される。例えば、ステレオ画像からは距離データが生成されており、所定のフィルタリングが行われるが、その有効な距離データの数の増加に応じて、判定しきい値が上昇されるといった如くである。この設定された判定しきい値は、１フレームを構成するフレーム画像全体に対して一律に適用される。
特開２００１−６７４８４号公報 2. Description of the Related Art Conventionally, a technique for detecting the presence or absence of an edge existing in a partial area constituting a part of a data area is known. In a normal image, an edge is a portion where the luminance change amount of the image is large, and an object boundary or the like corresponds to this. For example, Patent Document 1 discloses the presence / absence of an edge in a pixel area by comparing each luminance change amount of a pixel pair adjacent in the horizontal direction in one pixel area of a stereo image with a determination threshold value. A technique for detection is disclosed. The determination threshold value is variably set according to the situation. For example, distance data is generated from a stereo image, and predetermined filtering is performed, but the determination threshold is increased as the number of effective distance data increases. The set determination threshold value is uniformly applied to the entire frame image constituting one frame.
JP 2001-67484 A

しかしながら、従来の技術では、フレーム画像（データ領域）全体に対して１つの判定しきい値が一律に適用されるので、フレーム画像の一部を構成する部分領域毎にエッジ検出を行う際、外乱としてのノイズの影響を十分に排除することが困難であった。 However, in the conventional technique, since one determination threshold value is uniformly applied to the entire frame image (data area), when performing edge detection for each partial area constituting a part of the frame image, disturbance It was difficult to sufficiently eliminate the influence of noise.

本発明は、かかる事情に鑑みてなされたものであり、その目的は、データ領域の一部を構成する部分的な領域でのエッジの検出において、検出精度の向上を図ることである。 The present invention has been made in view of such circumstances, and an object thereof is to improve detection accuracy in edge detection in a partial area constituting a part of a data area.

また、本発明の別の目的は、耐ノイズ性に優れたエッジ検出を可能にすることである。 Another object of the present invention is to enable edge detection with excellent noise resistance.

かかる課題を解決するために、本発明は、フレーム画像の一部を構成する部分的な領域内に存在するエッジの有無を検出するエッジ検出システムを提供する。このエッジ検出システムは、撮像部と、基礎値設定部と、代表値算出部と、補正値設定部と、判定しきい値設定部と、エッジ検出部とを有する。撮像部は、フレーム画像を撮像する。基礎値設定部は、フレーム画像の全体に適用される基礎値を設定する。代表値算出部は、フレーム画像の一部を構成する複数の第１のサブ領域のそれぞれを処理対象として、処理対象となる第１のサブ領域内の輝度の平均値または中間値を、第１のサブ領域を代表する代表値として算出する。補正値設定部は、処理対象毎に、第１のサブ領域の代表値に基づいて、第１のサブ領域の補正値を設定する。判定しきい値設定部は、基礎値を第１のサブ領域毎の補正値で補正することによって、第１のサブ領域の判定しきい値を個別に設定する。エッジ検出部は、フレーム画像の一部を構成する第２のサブ領域内において所定方向に互いに隣接した一対のデータの変化量のそれぞれを、当該第２のサブ領域に位置的に対応する第１のサブ領域の判定しきい値と比較する。この比較によって、エッジ検出部は、第２のサブ領域内におけるエッジの有無を検出する。 In order to solve such a problem, the present invention provides an edge detection system for detecting the presence or absence of an edge present in a partial region constituting a part of a frame image . The edge detection system includes an imaging unit, a basic value setting unit, a representative value calculation unit, a correction value setting unit, a determination threshold value setting unit, and an edge detection unit. The imaging unit captures a frame image. The basic value setting unit sets a basic value applied to the entire frame image. The representative value calculation unit treats each of the plurality of first sub-regions constituting a part of the frame image as a processing target, and calculates an average value or an intermediate value of luminance in the first sub-region to be processed as a first value. As a representative value representative of the sub-region . The correction value setting unit sets the correction value of the first sub region based on the representative value of the first sub region for each processing target. The determination threshold value setting unit individually sets the determination threshold value for the first sub-region by correcting the basic value with the correction value for each first sub-region. The edge detection unit first corresponds to each of the change amounts of a pair of data adjacent to each other in a predetermined direction in the second sub-region constituting a part of the frame image , corresponding to the second sub-region. It is compared with the judgment threshold value of the sub area. By this comparison, the edge detection unit detects the presence or absence of an edge in the second sub-region.

本発明において、マッチング処理部と、フィルタ処理部とをさらに設けてもよい。マッチング処理部は、互いに関連性を有する一対のフレーム画像のうち、一方のフレーム画像の一部を構成する上記第２のサブ領域を相関元として、当該相関元と相関を有する相関先を他方のフレーム画像内において特定する。また、マッチング処理部は、相関元と相関先との間における相関の程度を示す相関値を算出する。フィルタ処理部は、エッジ検出部によって検出された第２のサブ領域内におけるエッジの有無に基づいて、相関元と相関先との間における相関性を評価する。さらに、マッチング処理部の前段に、フレーム画像に対して所定の輝度補正を施す輝度補正部をさらに設けてもよい。この場合、判定しきい値設定部は、輝度補正の度合いに基づいて、判定しきい値を可変に設定することが好ましい。 In the present invention , a matching processing unit and a filter processing unit may be further provided. The matching processing unit uses, as a correlation source, the second sub-region that forms part of one of the pair of frame images that are related to each other, and sets the correlation destination that has a correlation with the correlation source as the other It is specified in the frame image . The matching processing unit calculates a correlation value indicating the degree of correlation between the correlation source and the correlation destination. The filter processing unit evaluates the correlation between the correlation source and the correlation destination based on the presence or absence of an edge in the second sub-region detected by the edge detection unit. Furthermore, a luminance correction unit that performs predetermined luminance correction on the frame image may be further provided before the matching processing unit. In this case, it is preferable that the determination threshold value setting unit variably sets the determination threshold value based on the degree of luminance correction.

本発明において、撮像部は、互いに関連性を有する一対のフレーム画像を同時または時系列的に撮像することが好ましい。判定しきい値設定部は、代表値によって示される第１のサブ領域内の輝度状態が高輝度になるほど、当該サブ領域の判定しきい値を大きく設定することが望ましい。または、補正値設定部は、代表値によって示される第１のサブ領域内の輝度状態が高輝度になるほど、当該第１のサブ領域の補正値として大きな値を算出することが望ましい。In the present invention, the imaging unit preferably captures a pair of frame images that are related to each other simultaneously or in time series. The determination threshold value setting unit desirably sets the determination threshold value of the sub-region larger as the luminance state in the first sub-region indicated by the representative value becomes higher. Alternatively, it is desirable that the correction value setting unit calculates a larger value as the correction value of the first sub-region as the luminance state in the first sub-region indicated by the representative value becomes higher.

また、本発明において、フレーム画像の明るさをゲインによって調整するアンプをさらに設けてもよい。この場合、判定しきい値設定部は、ゲインに基づいて、判定しきい値を可変に設定することが好ましい。 In the present invention , an amplifier for adjusting the brightness of the frame image with a gain may be further provided. In this case, it is preferable that the determination threshold value setting unit variably sets the determination threshold value based on the gain.

さらに、本発明において、周囲の温度を検出する温度センサをさらに設けてもよい。この場合には、判定しきい値設定部は、温度に基づいて、判定しきい値を可変に設定することが好ましい。 Further, in the present invention , a temperature sensor for detecting the ambient temperature may be further provided. In this case, it is preferable that the determination threshold value setting unit variably sets the determination threshold value based on the temperature.

ここで、本発明において、代表値算出部は、第２のサブ領域と同一のサイズを有する領域を第１のサブ領域として設定してよい。 Here, in the present invention , the representative value calculation unit may set an area having the same size as the second sub area as the first sub area.

また、本発明において、基礎値設定部は、フレーム画像の明るさを調整するゲイン、フレーム画像を輝度補正する度合い、および、周囲の温度の少なくとも一つに基づいて、基礎値を設定することが望ましい。 In the present invention , the basic value setting unit may set the basic value based on at least one of a gain for adjusting the brightness of the frame image, a degree of luminance correction of the frame image, and an ambient temperature. desirable.

本発明において、エッジ検出のための判定しきい値は、データ領域全体ではなく、データ領域の一部を構成する第１のサブ領域単位で個別に設定される。このエッジ検出は、第２のサブ領域毎に行われ、それぞれの第２のサブ領域に適用される判定しきい値は、これに位置的に対応する第１のサブ領域に関して設定された判定しきい値である。このように、判定しきい値を第１のサブ領域毎にきめ細かに設定することで、エッジの検出精度の向上を図ることができる。また、上記判定しきい値を、その第１のサブ領域に生じるノイズの傾向を考慮した上で、これを排除するように個別に設定すれば、耐ノイズ性に優れたエッジ検出が可能になる。 In the present invention, the determination threshold for edge detection is set individually for each first sub-area constituting a part of the data area, not the entire data area. This edge detection is performed for each second sub-region, and the determination threshold applied to each second sub-region is determined based on the first sub-region corresponding to the position. It is a threshold. Thus, by setting the determination threshold value finely for each first sub-region, it is possible to improve the edge detection accuracy. Further, if the determination threshold value is individually set so as to eliminate the noise tendency occurring in the first sub-region, edge detection with excellent noise resistance can be performed. .

（第１の実施形態）
図１は、本実施形態に係るエッジ検出システムのブロック構成図である。この検出システム２０は、データ領域の一部を構成する部分的な領域内に存在するエッジの有無を検出する。記憶部１には、データ領域を規定するデータが格納されている。第１のサブ領域は、データ領域の一部を構成し、例えばデータ領域を分割することによって得られる。第２のサブ領域は、データ領域の一部、より具体的には、第１のサブ領域の一部を構成し、例えば、第２のサブ領域は、第１のサブ領域の一部を構成し、例えば第１のサブ領域を分割することによって得られる領域として定義することができる。また、第１のサブ領域は、第２のサブ領域と同一のサイズを有する領域としてもよいし、所定数の第２のサブ領域の全部または特定の部分を包含する領域としてもよい。さらに、このような位置的関係に加えて、第２のサブ領域は、第１のサブ領域を包含するような、第１のサブ領域よりも大きな領域であってもよい。所定の入力部は、データ領域に相当するデータ群を記憶部１に出力する。データ領域の一例として、一対のフレーム画像（ステレオ画像）のうちの一方のフレーム画像が挙げられる。この場合、入力部には、ステレオカメラが用いられる。 (First embodiment)
FIG. 1 is a block diagram of an edge detection system according to this embodiment. The detection system 20 detects the presence / absence of an edge existing in a partial area constituting a part of the data area. The storage unit 1 stores data defining a data area. The first sub area constitutes a part of the data area and is obtained, for example, by dividing the data area. The second sub area constitutes a part of the data area, more specifically, a part of the first sub area. For example, the second sub area constitutes a part of the first sub area. For example, it can be defined as a region obtained by dividing the first sub-region. In addition, the first sub-region may be a region having the same size as the second sub-region, or may be a region including all or a specific portion of the predetermined number of second sub-regions. Furthermore, in addition to such a positional relationship, the second sub-region may be a region that is larger than the first sub-region, including the first sub-region. The predetermined input unit outputs a data group corresponding to the data area to the storage unit 1. An example of the data area is one frame image of a pair of frame images (stereo images). In this case, a stereo camera is used for the input unit.

エッジ検出部２は、第２のサブ領域内において水平方向に互いに隣接した一対のデータの変化量のそれぞれを、この第２のサブ領域に位置的に対応する第１のサブ領域の判定しきい値Ｔcxと比較する。この比較によって、第２のサブ領域内におけるエッジの有無が検出され、エッジの有無の検出結果が所定の記憶部等に格納される。判定しきい値Ｔcxは、後述する判定しきい値設定部３によって設定される。ここでは、変化量を算出する一対のデータの隣接する方向は、水平方向であるが、この方向は、鉛直方向または斜め方向等、任意の方向であってもよい。 The edge detection unit 2 determines a change amount of a pair of data adjacent to each other in the horizontal direction in the second sub-region as a first sub-region corresponding to the second sub-region. Compare with value Tcx. By this comparison, the presence / absence of an edge in the second sub-region is detected, and the detection result of the presence / absence of an edge is stored in a predetermined storage unit or the like. The determination threshold value Tcx is set by a determination threshold value setting unit 3 described later. Here, the adjacent direction of the pair of data for calculating the change amount is the horizontal direction, but this direction may be an arbitrary direction such as a vertical direction or an oblique direction.

判定しきい値設定部３は、処理対象とする第１のサブ領域毎に、第１のサブ領域の代表値Ｄrepに基づいて判定しきい値Ｔcxを個別に設定する。この判定しきい値Ｔcxの設定は、具体的には、基礎値設定部４でデータ領域毎に設定された基礎値Ｔbaseと、補正値設定部５で第１のサブ領域毎に設定された補正値Ｔamdとに基づいて行われる。補正値設定部５は、特に、第１のサブ領域毎の代表値Ｄrepに基づいて、補正値Ｔamdを設定する。すなわち、代表値算出部６が、第１のサブ領域内に含まれるデータＤ1〜Ｄnに基づいて、第１のサブ領域内のデータを代表する代表値Ｄrepを算出する。補正値設定部５は、この第１のサブ領域の代表値Ｄrepに基づいて、当該第１のサブ領域の補正値Ｔamdを設定する。判定しきい値設定部３は、基礎値Ｔbaseを補正値Ｔamdによって補正し、これによって得られる判定しきい値Ｔcxを第１のサブ領域毎に設定する。一例として、判定しきい値Ｔcxを、基礎値Ｔbaseと補正値Ｔamdとの和とすることができる。また、所定の計算式を設定し、この計算式に基礎値Ｔbaseと補正値Ｔamdとを代入することによって、判定しきい値Ｔcxを導出してもよい。例えば、本エッジ検出システムにおける処理によりデータに重畳するノイズを考慮して、基礎値Ｔbaseおよび補正値Ｔamdを予め設定しておくことが可能である。 The determination threshold value setting unit 3 individually sets the determination threshold value Tcx for each first sub-region to be processed based on the representative value Drep of the first sub-region. Specifically, the determination threshold value Tcx is set by the basic value Tbase set for each data region by the basic value setting unit 4 and the correction value set for each first sub-region by the correction value setting unit 5. Based on the value Tamd. In particular, the correction value setting unit 5 sets the correction value Tamd based on the representative value Drep for each first sub-region. That is, the representative value calculation unit 6 calculates the representative value Drep representing the data in the first sub-region based on the data D1 to Dn included in the first sub-region. The correction value setting unit 5 sets the correction value Tamd of the first sub region based on the representative value Drep of the first sub region. The determination threshold value setting unit 3 corrects the base value Tbase with the correction value Tamd, and sets the determination threshold value Tcx obtained thereby for each first sub-region. As an example, the determination threshold value Tcx can be the sum of the base value Tbase and the correction value Tamd. Alternatively, the determination threshold value Tcx may be derived by setting a predetermined calculation formula and substituting the basic value Tbase and the correction value Tamd into the calculation formula. For example, the basic value Tbase and the correction value Tamd can be set in advance in consideration of noise superimposed on data by processing in the edge detection system.

このように、本実施形態では、エッジ検出のための判定しきい値が、データ領域全体ではなく、データ領域を分割することによって得られる第１のサブ領域単位で個別に設定される。第２のサブ領域が、さらに第１のサブ領域を分割すること等によって得られ、このエッジ検出は、第２のサブ領域毎に行われる。それぞれの第２のサブ領域に適用される判定しきい値は、これに位置的に対応する第１のサブ領域に関して設定された判定しきい値である。このように、判定しきい値を第１のサブ領域毎にきめ細かに設定することで、エッジの検出精度の向上を図ることができる。また、第１のサブ領域毎の判定しきい値を、その領域に生じるノイズの傾向を考慮した上で、これを排除するように個別に設定すれば、耐ノイズ性に優れたエッジの検出が可能になる。 As described above, in this embodiment, the determination threshold for edge detection is individually set for each first sub-region obtained by dividing the data region, not the entire data region. The second sub-region is obtained by further dividing the first sub-region, and this edge detection is performed for each second sub-region. The determination threshold value applied to each second sub-region is a determination threshold value set for the first sub-region corresponding to the position. Thus, by setting the determination threshold value finely for each first sub-region, it is possible to improve the edge detection accuracy. In addition, if the determination threshold value for each first sub-region is individually set so as to eliminate this after considering the tendency of noise generated in that region, an edge with excellent noise resistance can be detected. It becomes possible.

（第２の実施形態）
図２は、上述したエッジ検出システム２０を組み込んだステレオ式監視装置のブロック構成図である。上述したエッジ検出システム２０と同一の機能を有する部分には同一の符号を付している。本監視装置は、例えば車両に搭載されており、一対のフレーム画像を処理して、自車両前方の道路や監視対象物（先行車や歩行者等）を監視する。この処理に際して、フレーム画像の一部を構成する部分的な領域（第２のサブ領域）内に存在するエッジの有無が検出される。特に、撮像部７、ゲインコントロールアンプ（以下「ＧＣＡ」という）８ａ，８ｂ、輝度補正部９、温度センサ１０、マッチング処理部１１、および、フィルタ処理部１２が設けられている。 (Second Embodiment)
FIG. 2 is a block diagram of a stereo type monitoring apparatus incorporating the edge detection system 20 described above. Parts having the same functions as those of the edge detection system 20 described above are denoted by the same reference numerals. The monitoring device is mounted on a vehicle, for example, and processes a pair of frame images to monitor a road in front of the host vehicle and a monitoring object (such as a preceding vehicle or a pedestrian). In this process, the presence / absence of an edge present in a partial area (second sub-area) constituting a part of the frame image is detected. In particular, an imaging unit 7, gain control amplifiers (hereinafter referred to as “GCAs”) 8a and 8b, a luminance correction unit 9, a temperature sensor 10, a matching processing unit 11, and a filter processing unit 12 are provided.

撮像部７は、ＣＣＤやＣＭＯＳセンサといったイメージセンサを内蔵した一対のカメラ７ａ，７ｂで構成されており、これらのカメラ７ａ，７ｂは、車幅方向において所定の間隔で取り付けられている。基準画像信号を出力するメインカメラ７ａは、車輌の進行方向に向かって右側に取り付けられている。一方、比較画像信号を出力するサブカメラ７ｂは、進行方向に向かって左側に取り付けられている。カメラ７ａおよびカメラ７ｂの同期が取れている状態において、一対のフレーム画像が同時に撮像される。フレーム画像の明るさは、ＧＣＡ８ａ，８ｂにおいて調整される。ここでは、第２のサブ領域が、基準画像上に設定されることを前提として、アンプ８ａにおけるゲインＧ（現在の設定値）が、後述の基礎値設定部４に随時出力されている。アンプ８ａ，８ｂから出力されたフレーム画像のそれぞれは、所定のＡ／Ｄコンバータによって所定の輝度階調（例えば、256階調のグレースケール）のデジタルデータに変換され、輝度補正部９に供給される。 The imaging unit 7 includes a pair of cameras 7a and 7b incorporating image sensors such as a CCD and a CMOS sensor, and these cameras 7a and 7b are attached at a predetermined interval in the vehicle width direction. The main camera 7a that outputs the reference image signal is attached to the right side in the traveling direction of the vehicle. On the other hand, the sub camera 7b for outputting the comparison image signal is attached on the left side in the traveling direction. In a state where the camera 7a and the camera 7b are synchronized, a pair of frame images are taken simultaneously. The brightness of the frame image is adjusted in the GCAs 8a and 8b. Here, on the assumption that the second sub-region is set on the reference image, the gain G (current set value) in the amplifier 8a is output to the basic value setting unit 4 to be described later. Each of the frame images output from the amplifiers 8a and 8b is converted into digital data of a predetermined luminance gradation (for example, 256 gray scales) by a predetermined A / D converter, and is supplied to the luminance correction unit 9. The

輝度補正部９は、基準画像および比較画像に対して、例えば暗部の輝度を高めるといった如く、所定の輝度補正を施す。この輝度補正は、入力輝度と出力輝度との関係が記述されたテーブルを参照することによって行われる。ここでの輝度補正は、後段での処理に適した適宜の特性に設定すればよく、その特性が非線形的であるか否か、或いは、連続的であるか否かを問わない。補正後の画像データは、記憶部１ａ，１ｂを介して、後段のマッチング処理部１１等に出力される。また、輝度補正部９は、ここで行われる輝度補正の度合いγ（現在の設定値）を基礎値設定部４に随時出力している。この補正の度合いγは、入力輝度に対する出力輝度の変化率に相当する。なお、輝度補正部９は、マッチング処理部１１の前段に設けられていれば足りる。したがって、Ａ／Ｄコンバータの後段ではなく、その前段に、輝度補正部９を設置することも可能である。温度センサ１０は、本監視装置の周囲の温度Ｔ（例えば、撮像部７内部の撮像素子周辺の温度または車室内の気温）を検出する。その現在の検出値が、基礎値設定部４に出力されている。 The brightness correction unit 9 performs predetermined brightness correction on the reference image and the comparison image, for example, to increase the brightness of the dark part. This luminance correction is performed by referring to a table in which the relationship between input luminance and output luminance is described. The luminance correction here may be set to an appropriate characteristic suitable for processing in the subsequent stage, regardless of whether the characteristic is non-linear or continuous. The corrected image data is output to the subsequent matching processing unit 11 and the like via the storage units 1a and 1b. Further, the luminance correction unit 9 outputs the degree of luminance correction γ (the current set value) performed here to the basic value setting unit 4 as needed. The degree of correction γ corresponds to the rate of change of output luminance with respect to input luminance. Note that it is sufficient if the luminance correction unit 9 is provided in front of the matching processing unit 11. Therefore, it is possible to install the luminance correction unit 9 not in the subsequent stage of the A / D converter but in the previous stage. The temperature sensor 10 detects the temperature T around the monitoring device (for example, the temperature around the image sensor inside the image capturing unit 7 or the temperature inside the passenger compartment). The current detection value is output to the basic value setting unit 4.

基礎値設定部４は、フレーム画像全体に対して、判定しきい値の基礎値Ｔbaseを設定し、補正値設定部５は、第１のサブ領域毎に、判定しきい値の補正値Ｔamdを設定する。基礎値Ｔbaseを、基準画像１フレーム毎に設定してよく、また、同一の基礎値Ｔbaseを、連続する複数の基準画像に設定してもよい。基礎値Ｔbaseおよび補正値Ｔamdは、例えば、次に示すようなノイズ要因を考慮して設定することができる。すなわち、ここでは、輝度Ｄに乗るノイズの大きさを決める要因が、輝度Ｄ自体、ゲインＧ、輝度補正の度合いγ、および、周囲温度Ｔであることを前提とする。図３〜６は、各ノイズ要因の状態を表す各値と、ノイズのばらつき（ノイズ分布における標準偏差）との対応関係の傾向を示す図である。一般に、記憶部１ａ，１ｂに格納される画像のすべてにノイズが重畳している。カメラ７ａ，７ｂおよび他の処理部の個々の特性は微妙に異なるが、ノイズのばらつきについての全体的な傾向に大きな相違はない。 The basic value setting unit 4 sets the basic value Tbase of the determination threshold for the entire frame image, and the correction value setting unit 5 sets the correction value Tamd of the determination threshold for each first sub-region. Set. The base value Tbase may be set for each frame of the reference image, and the same base value Tbase may be set for a plurality of continuous reference images. The base value Tbase and the correction value Tamd can be set in consideration of the following noise factors, for example. That is, here, it is assumed that the factors that determine the magnitude of noise on the luminance D are the luminance D itself, the gain G, the luminance correction degree γ, and the ambient temperature T. 3 to 6 are diagrams showing the tendency of the correspondence relationship between each value representing the state of each noise factor and noise variation (standard deviation in noise distribution). In general, noise is superimposed on all the images stored in the storage units 1a and 1b. Although the individual characteristics of the cameras 7a and 7b and other processing units are slightly different, there is no significant difference in the overall tendency of noise variation.

図３は、一例としての輝度Ｄとノイズのばらつきとの関係の傾向を示す図である。ここに示すように、輝度Ｄの値が大きくなるに従って、その輝度Ｄに乗るノイズのばらつきも増加する傾向がある。これは、カメラ７ａ，７ｂの撮像素子の各セルに入る光の量が増加すると、これに伴ってノイズも増大することによる。図４は、一例としてのゲインＧとノイズのばらつきとの関係の傾向を示す図である。ゲインＧが大きくなるに従って、ノイズのばらつきも増加する傾向がある。これは、データ信号をより大きく増幅すると、これに伴いノイズもより増大するからである。図５は、一例としての輝度補正後の輝度値とノイズのばらつきとの関係を示す図である。輝度補正部９においては、上述のように任意の補正を行うことができるが、輝度Ｄの値の小さな部分を、その値が大きな部分より大きな増加率（変化率）で補正をした場合、輝度Ｄの小さな部分でのノイズの増幅が顕著となる。増加率に応じてノイズが増大するからである。また、図６は、一例としての周囲温度Ｔとノイズのばらつきとの関係の傾向を示す図である。温度Ｔが上昇していくに従って、ノイズのばらつきも増加する傾向がある。これは、例えば、カメラ７ａ，７ｂの撮像素子に発生する暗電流（ノイズ）が、温度上昇に伴って増大することによる。 FIG. 3 is a diagram illustrating a tendency of the relationship between the luminance D and noise variation as an example. As shown here, as the value of the luminance D increases, the variation in noise on the luminance D tends to increase. This is because noise increases as the amount of light entering each cell of the image sensor of the cameras 7a and 7b increases. FIG. 4 is a diagram illustrating a trend of the relationship between gain G and noise variation as an example. As the gain G increases, the noise variation tends to increase. This is because if the data signal is amplified more greatly, the noise increases accordingly. FIG. 5 is a diagram illustrating a relationship between a luminance value after luminance correction and noise variation as an example. The luminance correction unit 9 can perform arbitrary correction as described above. However, when a portion with a small value of the luminance D is corrected with an increase rate (change rate) larger than a portion with a large value, the luminance is corrected. Amplification of noise in a small portion of D becomes remarkable. This is because noise increases in accordance with the increase rate. FIG. 6 is a diagram showing a tendency of the relationship between ambient temperature T and noise variation as an example. As the temperature T increases, the noise variation tends to increase. This is because, for example, dark current (noise) generated in the image sensors of the cameras 7a and 7b increases as the temperature rises.

基礎値設定部４における基礎値Ｔbaseの設定は、所定の基礎値テーブルを用いて行うことができ、補正値設定部５における補正値Ｔamdの設定は、所定の補正値テーブルを用いて行うことができる。つまり、基礎値設定部４は、ゲインＧ、輝度補正の度合いγおよび周囲温度Ｔの各値に基づいて基礎値テーブルを参照して、フレームに対する基礎値Ｔbaseを設定する。すなわち、基礎値テーブルには、ゲインＧ、輝度補正の度合いγおよび周囲温度Ｔの組み合わせと、判定しきい値の基礎値Ｔbaseとの対応関係が記述されており、この対応関係に基づいて上記基礎値Ｔbaseが設定される。対応関係は、予め行った実験やシミュレーション等を通じて適切に設定されている。この実験等においては、図４〜６に示したノイズのばらつきとノイズ要因の状態との関係が考慮されつつ、輝度のノイズ成分が推定されている。また、補正値設定部５による補正値Ｔamdの設定に先立って、代表値算出部６は、記憶部１ａから、第１のサブ領域内の画素の輝度値Ｄ1〜Ｄnを読み出し、当該第１のサブ領域における輝度の代表値Ｄrepを算出する。この代表値Ｄrepとして、第１のサブ領域内のすべての画素、或いは、一部の特定位置にある画素の輝度の平均、或いは、重み付け平均を用いることができる。これに代えて、第１のサブ領域内の画素の輝度の中間値等を用いてもよい。第１のサブ領域として、例えば、フレーム画像を分割して得られるｎ個の縦短冊状の領域（それぞれがフレーム画像の一部を構成する）を設定することができる。エッジ検出について、最右の第１のサブ領域に属する個々の第２のサブ領域に対して、最右の第１のサブ領域について算出された判定しきい値Ｔcxを用いる。補正値テーブルには、輝度の代表値Ｄrepと、判定しきい値の補正値Ｔamdとの対応関係が記述されており、補正値設定部５は、この対応関係に基づいて上記補正値Ｔamdを設定する。上述の基礎値テーブルと同様に、この対応関係は、図３の関係を考慮しつつ、予め行った実験やシミュレーション等を通じて適切に設定されている。 The base value Tbase in the base value setting unit 4 can be set using a predetermined base value table, and the correction value Tamd in the correction value setting unit 5 can be set using a predetermined correction value table. it can. That is, the base value setting unit 4 sets the base value Tbase for the frame by referring to the base value table based on the gain G, the brightness correction degree γ, and the ambient temperature T. That is, the basic value table describes a correspondence relationship between the combination of the gain G, the luminance correction degree γ, and the ambient temperature T, and the basic value Tbase of the determination threshold value. The value Tbase is set. The correspondence is appropriately set through experiments and simulations conducted in advance. In this experiment and the like, the noise component of the luminance is estimated while taking into account the relationship between the noise variation and the noise factor state shown in FIGS. Prior to the setting of the correction value Tamd by the correction value setting unit 5, the representative value calculation unit 6 reads out the luminance values D1 to Dn of the pixels in the first sub-region from the storage unit 1a, and the first value A luminance representative value Drep in the sub-region is calculated. As this representative value Drep, the average of the luminance of all the pixels in the first sub-region, or the pixels at some specific positions, or the weighted average can be used. Instead, an intermediate value of the luminance of the pixels in the first sub-region may be used. As the first sub-region, for example, n vertical strip-shaped regions (each of which constitutes a part of the frame image) obtained by dividing the frame image can be set. For edge detection, the determination threshold Tcx calculated for the rightmost first subregion is used for each second subregion belonging to the rightmost first subregion. In the correction value table, a correspondence relationship between the representative value Drep of luminance and the correction value Tamd of the determination threshold is described, and the correction value setting unit 5 sets the correction value Tamd based on this correspondence relationship. To do. Similar to the above-described basic value table, this correspondence relationship is appropriately set through experiments, simulations, and the like performed in advance while considering the relationship of FIG.

ここでは、基礎値テーブルを用いて、基礎値Ｔbaseを設定しており、補正値テーブルを用いて、補正値Ｔamdを設定している。しかしながら、これらのテーブルの全部或いは一部に代えて所定の計算式を用い、この計算式によって基礎値Ｔbaseまたは補正値Ｔamdを算出することも可能である。また、判定しきい値設定部３（または補正値設定部５）によって、第１のサブ領域内の輝度状態が高輝度になるほど、当該第１のサブ領域の判定しきい値Ｔcx（補正値Ｔamd）が増大するように、その対応関係を設定してもよい。これによって、耐ノイズ性を有効に向上させることができる。 Here, the base value Tbase is set using the base value table, and the correction value Tamd is set using the correction value table. However, it is also possible to use a predetermined calculation formula instead of all or part of these tables and calculate the base value Tbase or the correction value Tamd using this calculation formula. In addition, the determination threshold value setting unit 3 (or the correction value setting unit 5) determines the determination threshold value Tcx (correction value Tamd) of the first sub-region as the luminance state in the first sub-region becomes higher. ) May be increased so that the correspondence is set. Thereby, noise resistance can be improved effectively.

判定しきい値設定部３は、このようにして設定された基礎値Ｔbaseおよび補正値Ｔamdに基づいて、第２のサブ領域の判定しきい値Ｔcxを設定する。図７は、エッジ検出部２での処理についての説明図である。第２のサブ領域においては、各画素をＰnとし、画素Ｐnの輝度をＤnとする。一例として、第２のサブ領域を水平方向に４画素、鉛直方向に４画素の領域とすることができ、この場合、ｎ＝１，２，…，１６として、画素Ｐn、輝度Ｄnを特定する。エッジ検出部２は、まず、ある輝度パターンＤnを有する第２のサブ領域に関して、その第２のサブ領域内の隣接画素間における輝度変化量を算出して、輝度変化量パターンΔＤnを生成する（同図ａ）。第２のサブ領域内の隣接画素間における輝度変化量（絶対値）をΔＤnとし、ΔＤ1＝｜Ｄ2−Ｄ1｜，ΔＤ2＝｜Ｄ3−Ｄ2｜，…等が成立する。なお、輝度変化量ΔＤ4，ΔＤ8，ΔＤ12，ΔＤ16は、輝度Ｄ4，Ｄ8，Ｄ12，Ｄ16と、その右側に隣接する第２のサブ領域内の画素のうちの最も左側の列に並ぶ画素との差をそれぞれとることによって算出する。 The determination threshold value setting unit 3 sets the determination threshold value Tcx for the second sub-region based on the basic value Tbase and the correction value Tamd set in this way. FIG. 7 is an explanatory diagram of processing in the edge detection unit 2. In the second sub-region, each pixel is Pn, and the luminance of the pixel Pn is Dn. As an example, the second sub-region can be a region of 4 pixels in the horizontal direction and 4 pixels in the vertical direction. In this case, the pixel Pn and the luminance Dn are specified as n = 1, 2,. . The edge detection unit 2 first calculates a luminance change amount between adjacent pixels in the second sub-region having a certain luminance pattern Dn, and generates a luminance change amount pattern ΔDn ( Fig. A). The luminance change amount (absolute value) between adjacent pixels in the second sub-region is ΔDn, and ΔD1 = | D2-D1 |, ΔD2 = | D3-D2 |,. The luminance change amounts ΔD4, ΔD8, ΔD12, and ΔD16 are the differences between the luminance D4, D8, D12, and D16 and the pixels arranged in the leftmost column among the pixels in the second sub-region adjacent to the right side thereof. It calculates by taking each.

さらに、エッジ検出部２は、輝度変化量ΔＤnを、判定しきい値Ｔcxと比較することにより、エッジの有無を検出する（同図ｂ）。すなわち、上述の場合、１６個の輝度変化量ΔＤnはそれぞれ判定しきい値Ｔcxと比較され、この比較結果によって、輝度変化量ΔＤnが算出された画素対に、エッジが存在するか否かが判定される。すなわち、各画素対に、撮像された対象物による輝度エッジが存在するか否かが判定される。この判定しきい値Ｔcx以上の変化量ΔＤnを有する画素Ｐnに対して、判定結果”１”をセットする。また、この判定しきい値Ｔcxより小さい変化量ΔＤnを有する画素Ｐnに対し、判定結果”０”をセットする。判定結果パターンＲＰは、画素対毎の”０”または”１”のデータから構成され、フィルタ処理部１２に出力される。なお、ここでは、画素対毎にエッジの有無を検出しているが、これに代えて、判定しきい値Ｔcx以上の輝度変化量ΔＤnの数をカウントし、その値が所定値以上のとき、この第２のサブ領域にエッジが存在すると判定してもよい。この場合、判定結果パターンＲＰではなく、エッジの有無を示す”０”または”１”のデータがフィルタ処理部１２に出力される。 Further, the edge detection unit 2 detects the presence or absence of an edge by comparing the luminance change amount ΔDn with the determination threshold value Tcx (b in FIG. 4). That is, in the above-described case, the 16 luminance change amounts ΔDn are respectively compared with the determination threshold value Tcx, and it is determined whether or not an edge exists in the pixel pair for which the luminance change amount ΔDn is calculated based on the comparison result. Is done. That is, it is determined whether each pixel pair has a luminance edge due to the imaged object. The determination result “1” is set for the pixel Pn having the change amount ΔDn equal to or greater than the determination threshold Tcx. The determination result “0” is set for the pixel Pn having the change amount ΔDn smaller than the determination threshold value Tcx. The determination result pattern RP includes “0” or “1” data for each pixel pair, and is output to the filter processing unit 12. Here, the presence or absence of an edge is detected for each pixel pair, but instead, the number of luminance change amounts ΔDn equal to or greater than the determination threshold value Tcx is counted, and when the value is equal to or greater than a predetermined value, It may be determined that an edge exists in the second sub-region. In this case, instead of the determination result pattern RP, data “0” or “1” indicating the presence or absence of an edge is output to the filter processing unit 12.

マッチング処理部１１は、第２のサブ領域を相関元として、その相関先の候補となる複数の相関先候補を、比較画像上の所定の探索範囲内に設定し、相関値ＣＢを相関先候補毎に算出する。相関値ＣＢは、相関元領域と相関先領域との相関の程度を示す。また、マッチング処理部１１は、相関先候補毎の相関値ＣＢ同士を比較し、これによって、複数の相関先候補のいずれかを相関先領域として特定する。相関値ＣＢには、一例として、絶対差分和を用いることができる。この絶対差分和を用いた相関値ＣＢは、評価対象となる一対の画素領域において、位置的に対応する要素同士のデータの差（絶対値）を算出し、この値を全要素分加算した総和値として表される。また、相関値ＣＢとして、差分自乗和等の他の周知の評価関数を使用することも可能である。差分自乗和を用いた相関値ＣＢは、評価対象となる一対の画素領域において、位置的に対応する要素同士のデータの差の自乗を算出し、この値を全要素分加算した総和値として表される。これらの相関評価手法を用いた場合、一対の画素領域の相関が高くなるほど、換言すれば、両者のデータ特性が類似するほど、相関値ＣＢが小さくなり、完全に一致する画素領域に関しては、理論的には相関値ＣＢが０になる。ただし、実際には、各種のノイズが外乱として作用するため、本来完全に一致するはずの画素領域であっても、その相関値ＣＢが０になることは殆どない。さらに、マッチング処理部１１は、基準画像における相関元領域の位置と、比較画像においてこのように特定された相関先領域の位置とのズレ量である視差ｄを算出する。この第２のサブ領域毎の視差ｄが、フィルタ処理部１２に出力される。 The matching processing unit 11 sets a plurality of correlation destination candidates that are candidates for the correlation destination within the predetermined search range on the comparison image using the second sub-region as the correlation source, and sets the correlation value CB as the correlation destination candidate. Calculate every time. The correlation value CB indicates the degree of correlation between the correlation source region and the correlation destination region. Further, the matching processing unit 11 compares the correlation values CB for each correlation destination candidate, and thereby specifies any one of a plurality of correlation destination candidates as a correlation destination area. As an example, a sum of absolute differences can be used for the correlation value CB. The correlation value CB using this absolute difference sum is a sum obtained by calculating a difference (absolute value) of data between elements corresponding to each other in a pair of pixel regions to be evaluated, and adding this value for all the elements. Expressed as a value. Also, as the correlation value CB, other known evaluation functions such as a sum of squared differences can be used. The correlation value CB using the sum of squared differences is expressed as a sum value obtained by calculating the square of the data difference between the elements corresponding to each other in the pair of pixel areas to be evaluated, and adding this value for all the elements. Is done. When these correlation evaluation methods are used, the correlation value CB decreases as the correlation between the pair of pixel regions increases, in other words, the similarity between the data characteristics of the two pixel regions. Specifically, the correlation value CB becomes 0. However, in practice, since various noises act as disturbances, the correlation value CB rarely becomes 0 even in a pixel region that should originally be perfectly matched. Further, the matching processing unit 11 calculates a parallax d that is a deviation amount between the position of the correlation source region in the reference image and the position of the correlation destination region specified in this way in the comparison image. The parallax d for each second sub-region is output to the filter processing unit 12.

フィルタ処理部１２は、第２のサブ領域内におけるエッジの個数（またはエッジの有無）に基づいて、相関元と相関先との間における相関性（相関値、または、相関値に基づいて特定される視差ｄなど）を評価する。例えば、ある第２のサブ領域について算出された視差ｄの信頼度を、この第２のサブ領域に対応する判定結果パターンＲＰに基づいて判定する。判定結果パターンＲＰにおいて、エッジがあると判定された画素対（判定結果”１”が対応付けられた画素対）の個数が所定値以上であるか否かによって、この判定結果パターンＲＰに対応する視差ｄが有効か否かを判定することができる。視差ｄの有効性判定には、エッジがあると判定された画素対の位置を考慮してもよい。 The filter processing unit 12 is specified based on the correlation (correlation value or correlation value) between the correlation source and the correlation destination based on the number of edges (or presence / absence of edges) in the second sub-region. (E.g., parallax d). For example, the reliability of the parallax d calculated for a certain second sub-region is determined based on the determination result pattern RP corresponding to this second sub-region. The determination result pattern RP corresponds to this determination result pattern RP depending on whether or not the number of pixel pairs determined to have edges (pixel pairs associated with the determination result “1”) is equal to or greater than a predetermined value. It can be determined whether the parallax d is valid. In determining the validity of the parallax d, the position of the pixel pair determined to have an edge may be considered.

なお、マッチング処理および視差ｄのフィルタリング処理等の詳細については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。 Details of the matching process and the parallax d filtering process are disclosed in Japanese Patent Laid-Open No. 5-114099, and should be referred to if necessary.

フィルタ処理部１２によって有効（信頼度が高い）と判定された視差ｄは、所定の距離データメモリに出力される。所定の対象物認識部は、この距離データメモリから距離データを読み出し、必要に応じて基準画像データまたは比較画像データを参照することによって、車両前方に存在する先行車や歩行者等を認識し、その動きを監視する。また、対象物認識部は、認識された先行車等の挙動やその自車両までの距離などの監視情報に基づき、必要に応じ、ドライバに対して、所定の出力装置を介して警報を発する。ドライバには、この他の運転支援情報も伝達される。監視情報を各種の車両制御に用いてもよい。 The parallax d determined to be effective (high reliability) by the filter processing unit 12 is output to a predetermined distance data memory. The predetermined object recognition unit reads the distance data from the distance data memory and refers to the reference image data or the comparison image data as necessary, thereby recognizing a preceding vehicle or a pedestrian existing in front of the vehicle, Monitor that movement. In addition, the object recognition unit issues a warning to the driver via a predetermined output device as necessary based on the monitored information such as the recognized behavior of the preceding vehicle and the distance to the host vehicle. Other driving support information is also transmitted to the driver. The monitoring information may be used for various vehicle controls.

このように、本実施形態では、エッジの検出に用いられる判定しきい値を、データ領域（本実施形態ではフレーム画像）全体ではなく、その一部を構成する部分的な領域である第１のサブ領域単位で個別に設定している。すなわち、第１のサブ領域に対して判定しきい値を設定して、第２のサブ領域（視差の対応付けられる相関元の画素領域）におけるエッジ検出を行う。この第２のサブ領域は、第１のサブ領域に位置的に対応し、例えば、第１のサブ領域を分割することによって得られる。第１のサブ領域毎にきめ細かに判定しきい値を設定することによって、エッジの検出精度の向上を図ることができる。特に、第１のサブ領域毎の判定しきい値を、その部分に生じるノイズの傾向を考慮した上で、これを排除するように可変に設定すれば、耐ノイズ性に優れたエッジの検出が可能である。 As described above, in this embodiment, the determination threshold value used for edge detection is not the entire data area (frame image in this embodiment), but the first area which is a partial area constituting a part thereof. Set individually for each sub-area. That is, a determination threshold value is set for the first sub-region, and edge detection is performed in the second sub-region (correlation source pixel region associated with parallax). This second sub-region corresponds to the first sub-region in position, and is obtained, for example, by dividing the first sub-region. By finely setting the determination threshold value for each first sub-region, it is possible to improve edge detection accuracy. In particular, if the determination threshold value for each first sub-region is variably set so as to eliminate this in consideration of the tendency of noise occurring in that portion, edge detection with excellent noise resistance can be performed. Is possible.

また、本実施形態では、エッジ検出に影響を及ぼすノイズ要因として、（１）輝度Ｄ、（２）アンプのゲインＧ、（３）輝度補正の度合いγ、（４）周囲の温度Ｔを考慮している。これにより、どのようなノイズであってもきめ細かな対応が可能になり、ノイズ要因に依存しない最適な相関性の評価が可能になる。なお、これらのノイズ要因（１）〜（４）のうち、ノイズ要因（１）については考慮することが好ましいが、それ以外のノイズ要因（２）〜（４）については考慮しなくてもよい。ノイズ要因（２）〜（４）を考慮する場合であっても、これらのすべてを含める必要はなく、少なくとも一つ考慮すればよく、これら以外の要因を含めてもよい。すなわち、一つのノイズ要因の状態を表す値に対して個別に判定しきい値を設定し、また、複数のノイズ要因のそれぞれの状態を表す各値の組み合わせに対して判定しきい値を可変に設定してもよい。 Further, in the present embodiment, (1) luminance D, (2) amplifier gain G, (3) luminance correction degree γ, and (4) ambient temperature T are considered as noise factors that affect edge detection. ing. As a result, it is possible to meticulously cope with any noise, and it is possible to evaluate the optimum correlation independent of the noise factor. Of these noise factors (1) to (4), it is preferable to consider the noise factor (1), but other noise factors (2) to (4) may not be considered. . Even when considering the noise factors (2) to (4), it is not necessary to include all of them, and at least one of them may be considered, and other factors may be included. In other words, a judgment threshold is individually set for a value representing the state of one noise factor, and the judgment threshold is made variable for a combination of values representing the states of a plurality of noise factors. It may be set.

なお、上述した実施形態では、判定しきい値の設定単位となる第１のサブ領域のサイズを、視差ｄの算出単位（換言すれば相関値の算出単位）となる第２のサブ領域（画像領域に相当）より大きなサイズに設定している。しかしながら、本発明はこれに限定されず、第２のサブ領域と同一のサイズを有する領域を第１のサブ領域として設定し、両者を一対一に対応付けることが可能である。これにより、それぞれの第２のサブ領域に適用される判定しきい値を最適に設定することができる。 In the above-described embodiment, the size of the first sub-region serving as the determination threshold setting unit is set to the second sub-region (image) serving as the parallax d calculation unit (in other words, the correlation value calculation unit). It is set to a larger size. However, the present invention is not limited to this, and an area having the same size as the second sub-area can be set as the first sub-area, and the two can be associated one to one. Thereby, the determination threshold value applied to each second sub-region can be set optimally.

上述した実施形態では、同時に撮像された一対のフレーム画像（ステレオ画像）への適用例について説明したが、本発明はこれに限定されるものではなく、互いに関連性を有する一対のデータ領域に対して広く適用可能である。このようなデータ領域の別の例としては、いわゆるオプティカルフローの処理対象となる、異なる時刻に撮像された一対のフレーム画像が挙げられる。この場合、上述したステレオカメラの代わりに単眼カメラが撮像部として用いられ、フレーム画像が時系列的に出力される。また、パターンマッチング処理に用いられる画像にも適用可能である。さらに、このデータ領域は、輝度によって規定される画像（輝度分布）に限定されるものではなく、輝度以外の情報（例えば、遠赤外線カメラより得られる熱分布、レーザレーダやミリ波レーダより得られる反射強度の分布等）によって規定されるものであってもよい。 In the above-described embodiment, the application example to a pair of frame images (stereo images) captured at the same time has been described. However, the present invention is not limited to this, and a pair of data areas having relevance to each other is described. And widely applicable. Another example of such a data area is a pair of frame images that are captured at different times and are to be processed by a so-called optical flow. In this case, a monocular camera is used as the imaging unit instead of the stereo camera described above, and frame images are output in time series. It can also be applied to images used for pattern matching processing. Further, this data area is not limited to an image (luminance distribution) defined by luminance, but information other than luminance (for example, heat distribution obtained from a far-infrared camera, laser radar, or millimeter wave radar). It may be defined by a reflection intensity distribution or the like.

また、上述した実施形態では、基礎値テーブルと補正値テーブルとの２つのテーブルを用いている。これとは異なり、別の所定のテーブルを用いて判定しきい値を設定することも可能である。例えば、判定しきい値設定部３は、所定のテーブルを参照することによって、判定しきい値Ｔcxの非線形成分ｘのみを読み出すものとする。そして、この非線形成分ｘに係数ｓをかけて得られる値に、係数ｔを加えた値を、判定しきい値Ｔcxとして設定する。つまり、テーブルから参照された非線形成分ｘと判定しきい値ｙとの間に、ｙ＝ｓ・ｘ＋ｔの関係を持たせる。このように、輝度代表値Ｄrepと、非線形成分ｘとの対応関係のみをテーブルに記述しておくことによって、テーブルの記述作業を省力化することができる。 In the embodiment described above, two tables, a basic value table and a correction value table, are used. In contrast to this, it is also possible to set the determination threshold using another predetermined table. For example, the determination threshold value setting unit 3 reads only the nonlinear component x of the determination threshold value Tcx by referring to a predetermined table. Then, a value obtained by adding the coefficient t to the value obtained by multiplying the nonlinear component x by the coefficient s is set as the determination threshold value Tcx. That is, a relationship of y = s · x + t is provided between the nonlinear component x referenced from the table and the determination threshold value y. Thus, by describing only the correspondence between the luminance representative value Drep and the non-linear component x in the table, it is possible to save the work of describing the table.

このｓ，ｔを次のような係数として指示してもよい。すなわち、ｓの値を、ＧＣＡ８ａのゲインＧ、または、カメラ７ａ内の温度Ｔ等に基づいて可変に設定する。また、ｔの値を、画像処理における量子化誤差を推定し、この誤差に基づいて可変に設定する。これによって、種々のノイズ要因を加味し、より有効に判定しきい値を設定することができる。 These s and t may be specified as the following coefficients. That is, the value of s is variably set based on the gain G of the GCA 8a or the temperature T in the camera 7a. Also, the value of t is set to be variable based on this error by estimating the quantization error in the image processing. This makes it possible to set the determination threshold more effectively in consideration of various noise factors.

さらに、上述した実施形態では、すべての第２の領域について、判定しきい値Ｔcxを可変に設定した。これに代えて、データ領域（フレーム画像）上の位置を予め特定して、その特定された部分に含まれる第２のサブ領域のみについて、判定しきい値Ｔcxを可変に設定することができる。つまり、判定しきい値Ｔcxが可変に設定される領域以外のデータ領域上の部分的な領域については、固定的に判定しきい値Ｔcxが設定される。この場合、データ領域の必要な部分のみについて、判定しきい値Ｔcxが設定されるため、演算量を抑えることができる。 Further, in the above-described embodiment, the determination threshold value Tcx is variably set for all the second regions. Instead, the position on the data area (frame image) can be specified in advance, and the determination threshold value Tcx can be variably set only for the second sub-area included in the specified portion. That is, the determination threshold value Tcx is fixedly set for a partial area on the data area other than the area where the determination threshold value Tcx is variably set. In this case, since the determination threshold value Tcx is set only for a necessary part of the data area, the amount of calculation can be suppressed.

第１の実施形態に係るエッジ検出システムのブロック構成図Block configuration diagram of an edge detection system according to the first embodiment 第２の実施形態に係るステレオ式監視装置のブロック構成図The block block diagram of the stereo type monitoring apparatus which concerns on 2nd Embodiment. 輝度とノイズのばらつきとの対応関係の傾向を示す図Diagram showing the trend of correspondence between brightness and noise variation ゲインとノイズのばらつきとの対応関係の傾向を示す図Diagram showing the trend of the correspondence between gain and noise variation 輝度補正後の輝度値とノイズのばらつきとの対応関係を示す図The figure which shows the correspondence between the brightness value after brightness correction, and the variation of noise 周囲温度とノイズのばらつきとの対応関係の傾向を示す図Diagram showing the trend of correspondence between ambient temperature and noise variation エッジ検出部での処理についての説明図Explanatory drawing about processing in the edge detection unit

符号の説明Explanation of symbols

１ａ，１ｂ記憶部
２エッジ検出部
３判定しきい値設定部
４基礎値設定部
５補正値設定部
６代表値算出部
７撮像部
８ａ，８ｂＧＣＡ
９輝度補正部
１０温度センサ
１１マッチング処理部
１２フィルタ処理部
２０エッジ検出システム DESCRIPTION OF SYMBOLS 1a, 1b Memory | storage part 2 Edge detection part 3 Judgment threshold value setting part 4 Basic value setting part 5 Correction value setting part 6 Representative value calculation part 7 Imaging part 8a, 8b GCA
DESCRIPTION OF SYMBOLS 9 Brightness correction part 10 Temperature sensor 11 Matching process part 12 Filter process part 20 Edge detection system

Claims

フレーム画像の一部を構成する部分的な領域内に存在するエッジの有無を検出するエッジ検出システムにおいて、
前記フレーム画像を撮像する撮像部と、
前記フレーム画像の全体に適用される基礎値を設定する基礎値設定部と、
前記フレーム画像の一部を構成する複数の第１のサブ領域のそれぞれを処理対象として、前記処理対象となる第１のサブ領域内の輝度の平均値または中間値を、当該第１のサブ領域を代表する代表値として算出する代表値算出部と、
前記処理対象毎に、前記第１のサブ領域の代表値に基づいて、当該第１のサブ領域の補正値を設定する補正値設定部と、
前記基礎値を前記第１のサブ領域毎の前記補正値で補正することによって、前記第１のサブ領域の判定しきい値を個別に設定する判定しきい値設定部と、
前記フレーム画像の一部を構成する第２のサブ領域内において所定方向に互いに隣接した一対の輝度の変化量のそれぞれを、当該第２のサブ領域に位置的に対応する前記第１のサブ領域の前記判定しきい値と比較することによって、前記第２のサブ領域内におけるエッジの有無を検出するエッジ検出部と
を有することを特徴とするエッジ検出システム。 In an edge detection system for detecting the presence or absence of an edge existing in a partial region constituting a part of a frame image ,
An imaging unit that captures the frame image;
A basic value setting unit for setting a basic value applied to the entire frame image;
Using each of the plurality of first sub-regions constituting a part of the frame image as a processing target, the average value or intermediate value of the luminance in the first sub-region to be processed is determined as the first sub-region. A representative value calculation unit for calculating as a representative value representative of
A correction value setting unit that sets a correction value of the first sub-region based on a representative value of the first sub-region for each processing target;
A determination threshold value setting unit for individually setting a determination threshold value for the first sub-region by correcting the basic value with the correction value for each of the first sub-regions;
Each of a pair of luminance change amounts adjacent to each other in a predetermined direction in a second sub-region constituting a part of the frame image is a first sub-region corresponding to the second sub-region. An edge detection system comprising: an edge detection unit that detects the presence or absence of an edge in the second sub-region by comparing the threshold value with the determination threshold value.

互いに関連性を有する一対のフレーム画像のうち、一方のフレーム画像の一部を構成する前記第２のサブ領域を相関元として、当該相関元と相関を有する相関先を他方のフレーム画像内において特定するとともに、前記相関元と前記相関先との間における相関の程度を示す相関値を算出するマッチング処理部と、
前記エッジ検出部によって検出された前記第２のサブ領域内におけるエッジの有無に基づいて、前記相関元と前記相関先との間における相関性を評価するフィルタ処理部とをさらに有することを特徴とする請求項１に記載されたエッジ検出システム。 Among the pair of frame images that are related to each other, the second sub-region constituting a part of one of the frame images is used as a correlation source, and a correlation destination having a correlation with the correlation source is specified in the other frame image . And a matching processing unit that calculates a correlation value indicating a degree of correlation between the correlation source and the correlation destination;
A filter processing unit that evaluates the correlation between the correlation source and the correlation destination based on the presence or absence of an edge in the second sub-region detected by the edge detection unit; The edge detection system according to claim 1.

前記マッチング処理部の前段に設けられており、前記フレーム画像に対して所定の輝度補正を施す輝度補正部をさらに有し、
前記判定しきい値設定部は、前記輝度補正の度合いに基づいて、前記判定しきい値を可変に設定することを特徴とする請求項２に記載されたエッジ検出システム。 A brightness correction unit that is provided in a preceding stage of the matching processing unit and that performs a predetermined brightness correction on the frame image;
The edge detection system according to claim 2 , wherein the determination threshold value setting unit variably sets the determination threshold value based on a degree of the luminance correction.

前記撮像部は、互いに関連性を有する一対のフレーム画像を同時または時系列的に撮像することを特徴とする請求項１から３のいずれかに記載されたエッジ検出システム。 4. The edge detection system according to claim 1, wherein the imaging unit captures a pair of frame images that are related to each other simultaneously or in time series .

前記判定しきい値設定部は、前記代表値によって示される前記第１のサブ領域内の輝度状態が高輝度になるほど、当該サブ領域の前記判定しきい値を大きく設定することを特徴とする請求項１から４のいずれかに記載されたエッジ検出システム。 The determination threshold value setting unit sets the determination threshold value of the sub-region larger as the luminance state in the first sub-region indicated by the representative value becomes higher. Item 5. The edge detection system according to any one of Items 1 to 4 .

前記補正値設定部は、前記代表値によって示される前記第１のサブ領域内の輝度状態が高輝度になるほど、当該第１のサブ領域の前記補正値を大きく設定することを特徴とする請求項１から４のいずれかに記載されたエッジ検出システム。 The correction value setting unit sets the correction value of the first sub-region larger as the luminance state in the first sub-region indicated by the representative value becomes higher. The edge detection system described in any one of 1 to 4 .

前記フレーム画像の明るさをゲインによって調整するアンプをさらに有し、
前記判定しきい値設定部は、前記ゲインに基づいて、前記判定しきい値を可変に設定することを特徴とする請求項１から６のいずれかに記載されたエッジ検出システム。 An amplifier that adjusts the brightness of the frame image by a gain;
The determination threshold setting unit, based on the gain, edge detection system according to any one of claims 1 6, characterized by setting the determination threshold value variably.

周囲の温度を検出する温度センサをさらに有し、
前記判定しきい値設定部は、前記温度に基づいて、前記判定しきい値を可変に設定することを特徴とする請求項１から７のいずれかに記載されたエッジ検出システム。 A temperature sensor for detecting the ambient temperature;
The edge detection system according to any one of claims 1 to 7, wherein the determination threshold value setting unit variably sets the determination threshold value based on the temperature.

前記代表値算出部は、前記第２のサブ領域と同一のサイズを有する領域を前記第１のサブ領域として設定することを特徴とする請求項１から８のいずれかに記載されたエッジ検出システム。 The representative value calculation unit, edge detection system according to any one of claims 1 to 8, characterized in that sets an area having the same size as the second sub-region as the first sub-region .

前記基礎値設定部は、前記フレーム画像の明るさを調整するゲイン、前記フレーム画像を輝度補正する度合い、および、周囲の温度の少なくとも一つに基づいて、前記基礎値を設定することを特徴とする請求項１から９のいずれかに記載されたエッジ検出システム。 The basic value setting unit sets the basic value based on at least one of a gain for adjusting brightness of the frame image, a degree of luminance correction of the frame image, and an ambient temperature. An edge detection system according to any one of claims 1 to 9 .