JP4601376B2 - Image abnormality determination device - Google Patents
Image abnormality determination device Download PDFInfo
- Publication number
- JP4601376B2 JP4601376B2 JP2004290981A JP2004290981A JP4601376B2 JP 4601376 B2 JP4601376 B2 JP 4601376B2 JP 2004290981 A JP2004290981 A JP 2004290981A JP 2004290981 A JP2004290981 A JP 2004290981A JP 4601376 B2 JP4601376 B2 JP 4601376B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- vehicle
- exploration
- abnormality determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、自車室内に設けられた単眼カメラ等の撮像装置の撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを判定する画像異常判定装置に関し、さらには、撮影画像がフロントガラスの曇りによる異常画像か否かも判定する画像異常判定装置に関する。 The present invention determines whether or not a captured image of an imaging device such as a monocular camera provided in a vehicle interior is an abnormal image including an image of an attached object such as raindrops attached to the windshield of the vehicle in a scattered state. that relates images abnormality determining device, furthermore, captured images relating cloudy images abnormality determination device you determination be judges abnormal image either by the windshield.
従来、いわゆるＡＣＣと呼ばれる車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、被害軽減自動ブレーキシステム等を備えた車両にあっては、自車前方の先行車認識（障害物認識）や車間距離検出等を極力安価な構成で行なって自車のスロットル、ブレーキ等を制御するため、いわゆるステレオカメラより安価なＣＣＤカメラ構成の撮像装置を持車室内に設け、この撮像装置の毎フレームの自車前方の撮影画像を微分画像処理し、その水平、垂直エッジ成分のエッジ画像を得るようにしている（例えば、特許文献１参照。）。 Conventionally, in vehicles equipped with a so-called ACC vehicle driving support system (Adaptive Cruise Control), a damage reduction automatic brake system, etc., the preceding vehicle recognition (obstacle recognition) in front of the vehicle and the detection of the inter-vehicle distance are performed as much as possible. In order to control the throttle, brakes, etc. of the vehicle with an inexpensive configuration, an imaging device having a CCD camera configuration that is less expensive than a so-called stereo camera is provided in the vehicle interior, and the captured image of the imaging device in front of the vehicle for each frame Is subjected to differential image processing to obtain edge images of the horizontal and vertical edge components (see, for example, Patent Document 1).
この場合、走行環境の天候等によって自車のフロントガラスに散布状態に雨滴等の付着物が付着すると、前記撮像装置の撮影画像が雨滴等の付着物の画像を含んだ異常画像になり、この異常画像に基いて先行車の誤認識や車間距離の誤検出等が生じるおそれがある。 In this case, if a deposit such as raindrops adheres to the windshield of the vehicle due to the weather in the driving environment, the captured image of the imaging device becomes an abnormal image including an image of the deposit such as raindrop. There is a risk of erroneous recognition of the preceding vehicle, erroneous detection of the inter-vehicle distance, and the like based on the abnormal image.
そして、本出願人は、２台のＣＣＤカメラで構成されたステレオカメラを自車室内に設けた構成の場合に、そのステレオカメラの撮影画像の画素濃度を微分して２値化し、自車のフード、すなわちボンネットの前端部（前縁部）のエッジ画像を得、このエッジ画像が形成するボンネット前端部の輪郭線と、基準の輪郭各線との一致、不一致から、前記撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを判定して認識することを既に出願している（特許文献２参照。）。 Then, in the case of a configuration in which a stereo camera composed of two CCD cameras is provided in the vehicle interior, the present applicant differentiates and binarizes the pixel density of a captured image of the stereo camera, An edge image of the front end portion (front edge portion) of the hood, that is, the bonnet is obtained, and the photographed image is applied to the windshield from the coincidence or mismatch between the contour line of the bonnet front end portion formed by the edge image and each reference contour line. An application has already been filed for determining and recognizing whether or not the image is an abnormal image including an image of an adhering substance such as raindrops adhering to the sprayed state (see Patent Document 2).
前記従来の単眼カメラを設けた構成においては、その撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを判定することは行なわれていないが、単眼カメラを設けた構成においても、前記既出願のステレオカメラを設けた場合と同様に、撮影画像の輪郭線と基準の輪郭線との一致、不一致（パターンの一致、不一致）から、撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを判定することが考えられる。 In the configuration provided with the conventional monocular camera, it is determined whether or not the photographed image is an abnormal image including an image of an adhering matter such as raindrops adhering to the windshield of the own vehicle in a dispersed state. However, even in the configuration provided with a monocular camera, as in the case of providing the stereo camera of the already-filed application, from the coincidence and mismatch (pattern match, mismatch) between the contour line of the captured image and the reference contour line, It is conceivable to determine whether or not the photographed image is an abnormal image including an image of a deposit such as raindrops attached to the windshield in a sprayed state.
しかしながら、単眼カメラ、ステレオカメラのいずれを設けた構成にあっても、撮影画像を微分画像処理して得た自車のボンネット前端部（前縁部）全体のエッジ画像と、予め保持したボンネット前端部全体の基準のエッジ画像とを比較するため、膨大な計算量のパターン比較の画像処理が必要になり、そのためのメモリ容量等も大容量にする必要があり、安価な構成で迅速に前記の異常画像か否かの判定をすることができない問題がある。 However, regardless of whether a monocular camera or a stereo camera is provided, an edge image of the entire front end (front end) of the vehicle's bonnet obtained by differential image processing of the captured image and a bonnet front end held in advance In order to compare with the reference edge image of the entire section, it is necessary to perform image processing for pattern comparison with a huge amount of calculation, and it is also necessary to increase the memory capacity for that purpose. There is a problem that it is not possible to determine whether an image is abnormal.
また、とくに画像のボンネット前縁の左右端部はカーブしており、そのデザインによっては鮮明な輪郭像を得ることが困難な場合があり、このような場合、ボンネット前端部全体の輪郭線と基準の輪郭線との一致、不一致の判断では判定ミスが生じる問題もある。 In particular, the left and right ends of the bonnet front edge of the image are curved, and depending on the design, it may be difficult to obtain a clear contour image. There is also a problem that a determination error occurs in the determination of coincidence or non-coincidence with the contour line.
さらに、前記既出願の方法では、フロントガラスに雨滴等が付着した場合の異常画像と、フロントガラスが曇った場合の異常画像とを区別して判定し、認識することができない問題点もある。 Furthermore, the above-described method has a problem that it is impossible to distinguish and recognize an abnormal image when raindrops or the like adhere to the windshield and an abnormal image when the windshield is fogged.
そして、とくに単眼カメラを搭載した構成の場合、極力安価な構成でそれらの判定を行なうことが望まれ、その際、前記の輪郭線のパターン比較より容易で迅速な手法によって判定することも望まれる。 In particular, in the case of a configuration equipped with a monocular camera, it is desired to perform the determination with a configuration that is as inexpensive as possible, and in that case, it is also desirable to determine by an easier and quicker method than the pattern comparison of the contour line. .
本発明は、従来より安価な構成で迅速に、しかも、極力判断ミスが生じないようにして、撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かの判定を行なうことを目的とし、さらには、フロントガラスに雨滴等が付着した場合の異常画像と、フロントガラスが曇った場合の異常画像とを区別して判定し、認識できるようにすることも目的とする。 According to the present invention, whether or not a photographed image is an abnormal image including an image of an adhering matter such as raindrops adhering to the windshield in a sprayed state with a cheaper configuration than before and without causing a determination error as much as possible. In addition, it is possible to distinguish and recognize an abnormal image when raindrops or the like adhere to the windshield and an abnormal image when the windshield is fogged. Objective.
上記した目的を達成するために、本発明の画像異常判定装置は、自車室内に設けられて自車のボンネットを含む自車前方を撮影する撮像装置と、該撮像装置の撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出する初期探査手段と、前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から前記各初期探査領域のほぼ前記ボンネット前縁部を検出してそれぞれ主探査領域に設定する主探査領域設定手段と、前記各主探査領域を前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した複数個の部分領域とし、前記各主探査領域の垂直エッジ成分を前記各部分領域それぞれの垂直エッジ成分として検出する垂直エッジ成分検出手段と、前記各部分領域毎に、垂直エッジ成分の検出個数から前記撮影画像が自車のフロントガラスの雨滴等の散布状態に付着した付着物の画像を含んだ異常画像か否かを個別判定する個別異常判定手段と、前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定する総合異常判定手段とを備えたことを特徴としている（請求項１）。 In order to achieve the above-described object, an image abnormality determination device according to the present invention includes an imaging device that is provided in a vehicle interior and that images the front of the vehicle including the hood of the vehicle, and a differential image of a captured image of the imaging device. From the initial exploration means for exploring and detecting horizontal edge components of a plurality of initial exploration areas set by dividing the range including the bonnet front edge of the own vehicle of the captured image in the left-right direction, and each initial exploration area almost a main search area setting means for setting the main search area respectively detecting the bonnet leading edge, said respective main search area of the captured image from the peak portion of the histogram of the horizontal edge component of said each initial search area of vertical substantially the the bonnet leading edge plurality of partial regions set in the lateral direction, to detect a vertical edge components of the respective main search area as a vertical edge components of the respective partial areas Whether or not the photographed image is an abnormal image including an image of an adhering material attached to a scattering state such as raindrops on the windshield of the own vehicle from the detected number of vertical edge components for each partial region. Individual abnormality determining means for individually determining whether or not the photographed image is the abnormal image by a majority process of the result of the individual determination. Item 1).
また、本発明の画像異常判定装置は、自車室内に設けられて自車のボンネットを含む自車前方を撮影する撮像装置と、該撮像装置の撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出する初期探査手段と、前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から、前記各初期探査領域のほぼ前記ボンネット前縁部の範囲を検出してそれぞれ主探査領域に設定する主探査領域設定手段と、前記各主探査領域を前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した各部分領域とし、前記各主探査領域の水平、垂直エッジのエッジ画像を前記各部分領域それぞれの水平、垂直エッジの検出エッジ画像として形成する個別エッジ画像形成手段と、前記各部分領域それぞれの正常時の基準エッジ画像を保持する基準画像保持手段と、前記各部分領域それぞれの前記基準エッジ画像と前記現エッジ画像とをパターン比較し、該パターン比較に基づいて検出した前記各部分領域それぞれのパターンマッチング誤差により、前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定する個別異常判定手段と、前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定する総合異常判定手段とを備えたことを特徴としている（請求項２）。 The image abnormality determination device according to the present invention includes an imaging device that is provided in a cabin of the vehicle and photographs the front of the vehicle including a hood of the vehicle, and a differential image of the captured image of the imaging device. An initial exploration means for exploring and detecting horizontal edge components of a plurality of initial exploration areas set by dividing a range including a hood front edge of the vehicle in the left-right direction, and a histogram of horizontal edge components of each initial exploration area Main exploration area setting means for detecting a range of the bonnet leading edge of each initial exploration area from the peak portion and setting the range as the main exploration area, respectively, and each main exploration area in front of the bonnet of the captured image. and each partial region set in the lateral direction to the edge, each said main horizontal exploration area, of each of the partial areas an edge image of the vertical edge horizontal, form as a detected edge image vertical edge Pattern comparison of the individual edge image forming means, the reference image holding means for holding the normal reference edge image of each of the partial areas, and the reference edge image and the current edge image of each of the partial areas, Based on the pattern matching error of each partial area detected based on the pattern comparison, it is determined whether or not the captured image is an abnormal image including an image of an adhering matter such as raindrops adhering to the windshield of the own vehicle. An individual abnormality determining means for individually determining and a general abnormality determining means for comprehensively determining whether or not the photographed image is the abnormal image by majority processing of the result of the individual determination (claim 2) ).
さらに、本発明の画像異常判定装置は、請求項１または２の構成を備え、さらに、水平エッジ成分の無検出により、自車のフロントガラスの曇りによる撮影画像の異常画像を判定する曇り異常判定手段を備えたことを特徴としている（請求項３）。
Furthermore, the image abnormality determination device of the present invention comprises the configuration of
まず、請求項１の構成によれば、自車室内に設けられた撮像装置の撮影画像は自車のボンネットを含む自車前方の撮影画像であり、自車のフロントガラスに散布状態に雨滴等の付着物が付着すると、撮影画像にその付着物の画像が含まれる。
First, according to the configuration of
ところで、ボンネット前縁部は、通常は、左右方向の水平エッジ成分が存在するのみであり、垂直エッジ成分は検出されないが、フロントガラスに散布状態の雨滴等の付着物が付着し、撮影画像にその付着物の画像が含まれると、垂直エッジ成分が検出されるようになる。 By the way, the front edge of the bonnet usually has only a horizontal edge component in the left-right direction, and the vertical edge component is not detected, but an adhering substance such as raindrops on the windshield adheres to the photographed image. the inclusion of the image of the deposit, so that vertical edge components are detected.
そして、初期探査手段が撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域につき、主探査領域設定手段により、水平エッジ成分のヒストグラムのピーク部分を求めると、これらのピーク部分から、各初期探査領域毎に、ボンネット前縁部に該当する画像上の位置（縦方向の位置）を検出してそれぞれ主探査領域に設定でき、垂直エッジ成分検出手段により、各主探査領域を各部分領域に設定して、各部分領域毎に垂直エッジ成分が検出される。さらに、個別異常判定手段により、各部分領域毎に垂直エッジ成分の検出個数から撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かが個別判定され、この場合、前記既出願のような輪郭線の比較（パターン比較）は不要であり、簡単な垂直エッジ成分の検出個数の計数を行なえばよく、簡単かつ迅速であり、しかも、ボンネット前縁部の一部分ずつの垂直エッジ成分の計数でよく、大容量のメモリ等も必要としない。 Then, for a plurality of initial exploration areas set by the initial exploration means dividing the range including the bonnet front edge of the subject vehicle in the left-right direction, the peak portion of the histogram of the horizontal edge component by the main exploration area setting means From these peaks, for each initial exploration area, the position (vertical position) on the image corresponding to the front edge of the bonnet can be detected and set as the main exploration area. Vertical edge component detection The main exploration area is set to each partial area by the means, and the vertical edge component is detected for each partial area. Further, the individual abnormality determination means determines whether the photographed image is an abnormal image including an image of an adhering substance such as raindrops attached to the windshield of the vehicle from the number of detected vertical edge components for each partial area. In this case, it is not necessary to compare the contour lines (pattern comparison) as in the above-mentioned application, it is sufficient to simply count the number of detected vertical edge components, and the bonnet is simple and quick. The vertical edge component for each part of the leading edge may be counted, and a large-capacity memory or the like is not required.
さらに、総合異常判定手段により、各部分領域の個別判定の結果の多数決処理によって撮影画像が異常画像か否かが総合判定されるため、ボンネット前縁部のカーブした左右端部の部分領域の個別判定が残りの部分領域と異なる誤った判定結果になったりしても、前記の総合判定により判定ミスの発生を極力防止して雨滴等の付着物が付着した異常画像か否かを判定できる。 Furthermore, since the comprehensive abnormality determination means comprehensively determines whether or not the photographed image is an abnormal image by majority processing of the individual determination results of each partial area, the individual partial areas of the curved left and right end portions of the bonnet front edge are individually determined. Even if the determination results in an erroneous determination result different from the remaining partial areas, it is possible to determine whether or not the image is an abnormal image to which deposits such as raindrops have adhered by preventing the determination error from occurring as much as possible .
したがって、従来より安価な構成で迅速に、しかも、判断ミスが生じないようにして、撮影画像が、フロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かの判定を行なうことができる。 Therefore, whether the photographed image is an abnormal image including an image of an adhering substance such as raindrops adhering to the windshield in a swift manner with a cheaper configuration than before and without causing a determination error. Judgment can be made.
しかも、各部分領域を撮影画像のほぼ自車のボンネット前縁部の左右方向の各範囲に正確に設定することにより、各部分領域の個別判定精度が向上して精度の高い総合判定が行える。 Moreover, by setting accurately to approximately the range of the left-right direction of the bonnet leading edge of the host vehicle in the photographed image of the partial regions, enabling high overall judgment of accuracy and improved individual determination accuracy of each partial region .
つぎに、請求項２の構成によれば、この場合も、初期探査手段が撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域につき、主探査領域設定手段により、水平エッジ成分のヒストグラムのピーク部分を求め、これらのピーク部分から、各初期探査領域毎にボンネット前縁部に該当する画像上の位置（縦方向の位置）を検出して各検出位置の部分を、部分領域としての各主探査領域に設定することにより、各部分領域を撮影画像のほぼ自車のボンネット前縁部の範囲に正確に設定することができる。そして、個別異常判定手段により、前記の各部分領域それぞれにつき、基準画像保持手段の正常時の基準エッジ画像と個別エッジ画像形成手段の検出エッジ画像とをパターン比較し、各パターンマッチング誤差から、撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かが各部分領域毎に個別判定される。
Next, according to the configuration of
この場合、前記既出願のようにボンネット前縁部全体をパターン比較するのでなく、その一部分ずつをパターン比較するため、画像処理が簡単かつ迅速に行なえ、しかも、メモリ容量等も少なくてよい利点がある。 In this case, since the entire bonnet front edge is not compared with the pattern as in the above-mentioned application, pattern comparison is performed for each part, so that image processing can be performed easily and quickly, and the memory capacity and the like can be reduced. is there.
さらに、総合異常判定手段により、各部分領域の個別判定の結果を多数決処理して撮影画像が異常画像か否かが総合判定されるため、判定精度が向上し、ボンネット前縁のカーブした左右端の部分領域の個別判定が残りの部分領域と異なる検出結果になったりしても、前記の総合判定により判定ミスの発生を極力防止して雨滴等の付着物が付着した異常画像か否かを判定できる。 Furthermore, overall abnormality by judging means, for whether majority processing captured image is abnormal image results for individual determination of the partial regions is comprehensively determined to improve the determination accuracy, the bonnet leading edge of the curved right and left end Even if the individual determination of the partial area is different from that of the remaining partial areas, it is possible to determine whether or not the image is an abnormal image on which deposits such as raindrops have adhered by preventing the occurrence of a determination error as much as possible by the comprehensive determination. Can be judged.
したがって、このパターン比較の構成の場合も、従来より安価な構成で迅速に、しかも、判断ミスが生じないようにして、撮影画像がフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かの判定を行なうことができる。 Therefore, even in the case of this pattern comparison configuration, an image of deposits such as raindrops, etc., in which the photographed image adheres to the windshield in a swift manner with a cheaper configuration than in the past and without causing a determination error. It is possible to determine whether or not the image includes an abnormal image.
つぎに、請求項３の構成によれば、自車のフロントガラスが曇っていると、撮影画像も全体が輝度変化の少ない状態になり、各初期探査領域の水平エッジ成分の検出が行なえなくなることから、曇り異常判定手段により、水平エッジ成分の無検出に基き、自車のフロントガラスの曇りによる撮影画像の異常画像を、フロントガラスに雨滴等が付着した場合の異常画像と区別して判定し、認識することができる。
Next, according to the configuration of
つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図１１にしたがって詳述する。 Next, in order to describe the present invention in more detail, an embodiment thereof will be described in detail with reference to FIGS.
＜一実施形態＞
まず、垂直エッジ成分の検出個数に基いて判定する実施形態について、図１〜図９を参照して説明する。
<One Embodiment>
First, an embodiment in which determination is made based on the number of detected vertical edge components will be described with reference to FIGS.
図１はＡＣＣ、被害軽減自動ブレーキシステム等を備えた自車１の画像異常判定装置のブロック図、図２は自車１の撮像装置の搭載状態の説明図、図３は撮影画像の一例の説明図である。
FIG. 1 is a block diagram of an image abnormality determination device of the
また、図４は初期探査領域説明用の自車１のボンネット前縁部分の微分画像、図５は主探査領域説明用の図４の一部の拡大図、図６は部分領域（主設定領域）の配置説明図、図７、図８は雨滴等が付着していない場合、付着している場合それぞれの垂直エッジ成分検出状態の説明図、図９は動作説明用のフローチャートである。
4 is a differential image of the bonnet front edge portion of the
図１の画像異常判定装置において、いわゆるステレオカメラより安価な撮像装置としてのＣＣＤ単眼カメラ２は、図２に示すように自車１のフロントガラス１ａを通して自車前方を撮影するように、例えばセンタミラー（バックミラー）の基部に取り付けられて、自車１の車室内（自車室内）に搭載されている。
In the image abnormality determination device of FIG. 1, the CCD
そして、単眼カメラ２が時々刻々に自車前方を撮影し、図２のように、自車１のボンネット（フード）１ｂを一部に含んだ撮影画像Ｐｉの信号を毎フィールドに出力する。なお、単眼カメラ２の撮影姿勢は固定され、撮影画像Ｐｉの所定位置にボンネット１ｂの少なくとも前縁部（ボンネット前縁部）ｆを含む所定部分が位置する。図３のＣＡＲは撮影された前方の先行車である。
Then, the
また、この画像異常判定装置は、例えばレーザレーダ、ミリ波レーダまたは超音波センサからなる測距センサ３等の各種センサ、画像異常判定機能のオンオフ等を設定する制御スイッチ４等の種々の状態監視のセンサ、スイッチを備える。
The image abnormality determination device also monitors various states such as various sensors such as a
そして、単眼カメラ２の撮影画像の信号及び測距センサ３、制御スイッチ４等の各種のセンサ、スイッチの信号が、マイクロコンピュータ構成の制御ＥＣＵ５に供給される。
Then, a signal of a photographed image of the
この制御ＥＣＵ５は、予め設定された画像異常判定プログラムを実行することにより、つぎの（Ｍ−ｉ）〜（Ｍ−ｖｉ）のソフトウエア処理の各手段を備える。
The
（Ｍ−ｉ）初期探査手段
この手段は、撮影画像Ｐｉの微分画像から、撮影画像Ｐｉの前記の前縁部ｆが含まれる設定範（ほぼボンネット１ｂの前部）を左右方向に区切って設定した各初期探査領域の水平エッジ成分を探査して検出する。
(M-i) Initial exploration means This means divides a setting range (substantially the front part of the
すなわち、撮影画像Ｐｉの上下方向の隣接画素の輝度（濃度）変化から、その水平エッジ成分の微分画像を形成し、この微分画像に例えば図４に示すボンネット前縁部ｆを含む左右方向の複数個の初期探査領域ａを設定することにより、各初期探査領域ａの水平エッジ成分を探査して検出する。 That is, a differential image of the horizontal edge component is formed from a change in luminance (density) of adjacent pixels in the vertical direction of the captured image Pi, and a plurality of horizontal images including, for example, a bonnet front edge f shown in FIG. By setting the initial search areas a, the horizontal edge component of each initial search area a is searched and detected.
ここで、ボンネット前縁部ｆは、左右方向に線状に伸び、通常、水平エッジの微分画像に鮮明に現れる。 Here, the front edge f of the bonnet extends linearly in the left-right direction and usually appears clearly in the differential image of the horizontal edge.
（Ｍ−ｉｉ）主探査領域設定手段
この手段は、各初期探査領域ａそれぞれの例えば図５に示す水平エッジ成分のヒストグラムｈのピーク部分ｈｐから、各初期探査領域ａのほぼボンネット前縁部ｆの幅（画像上での上下幅）を特定して前縁部ｆを精度よく検出し、図５及び図６に示すように、各初期領域ａ内の検出幅の部分それぞれを主探査領域ｂに設定する。
(M-ii) Main exploration area setting means This means, for example, from the peak portion hp of the horizontal edge component histogram h shown in FIG. 5 for each initial exploration area a, substantially the bonnet front edge f of each initial exploration area a. The leading edge portion f is detected with high accuracy by specifying the width (the vertical width on the image), and as shown in FIGS. Set to.
このとき、周囲照度等による誤検出を防止して後述の判定精度の向上を図るため、検出幅の上限幅を設定し、主探査領域ｂの大きさ（幅）を設定した上限幅に規制（制限）することが好ましい。 At this time, in order to prevent erroneous detection due to ambient illuminance or the like and improve the accuracy of determination described later, an upper limit width of the detection width is set, and the size (width) of the main exploration region b is restricted to the set upper limit width ( Preferably).
（Ｍ−ｉｉｉ）垂直エッジ成分検出手段
この手段は、各主探査領域ｂをほぼボンネット前縁部ｆに左右方向に設定した複数個の部分領域それぞれとし、撮影画像Ｐｉの各主探査領域ｂの垂直エッジ成分を探査して検出する。
(M-iii) Vertical edge component detection means This means sets each main search area b as a plurality of partial areas set substantially in the left-right direction at the front edge f of the bonnet, and sets each main search area b of the captured image Pi. Search for and detect vertical edge components.
具体的には、撮影画像Ｐｉの左右方向の隣接画素の輝度変化から、各主探査領域ｂそれぞれの垂直エッジ成分を検出し、例えば、そのヒストグラムを求めて垂直エッジ成分の検出数を計数し、各主探査領域ｂ毎に垂直エッジ成分の出現数を計数して検出する。 Specifically, the vertical edge component of each main exploration region b is detected from the luminance change of adjacent pixels in the left-right direction of the captured image Pi, for example, the histogram is obtained to count the number of detected vertical edge components, The number of occurrences of vertical edge components is counted and detected for each main search area b.
ここで、ボンネット前縁部ｆの画像は、雨滴等の付着がなければ、図４、図６からも明らかなように前記した左右方向の線状の画像であり、水平エッジ成分は含むが垂直エッジ成分はほとんど含まない。 Here, the image of the front edge f of the bonnet is the above-described linear image in the left-right direction as apparent from FIGS. 4 and 6 if there is no raindrop or the like, and includes a horizontal edge component but is vertical. It contains almost no edge component.
一方、フロントガラス１ａに雨滴等が付着すると、撮影画像Ｐｉに雨滴等の微小な円形状或いは楕円形状の画像が含まれ、この円形画像の微分画像は水平、垂直エッジ成分を含む。 On the other hand, when raindrops or the like adhere to the windshield 1a, the captured image Pi includes a minute circular or elliptical image such as raindrops, and the differential image of the circular image includes horizontal and vertical edge components.
したがって、フロントガラス１ａに雨滴等が付着していなければ、図７に示すように部分領域である各主探査領域ｂには垂直エッジ成分ｖｇがほとんど出現しないが、フロントガラス１ａに雨滴等が付着すると、大半の主探査領域ｂにおいて、図８に示すように、複数個所に雨滴ｄｒｏｐの比較的大きな垂直エッジ成分ｖｇが出現する。 Therefore, if no raindrops or the like are attached to the windshield 1a, the vertical edge component vg hardly appears in each main exploration region b as shown in FIG. 7, but the raindrops or the like adhere to the windshield 1a. Then, in most main exploration regions b, as shown in FIG. 8, relatively large vertical edge components vg of raindrops appear at a plurality of locations.
（Ｍ−ｉｖ）個別異常判定手段
この手段は、部分領域である各主探査領域ｂ毎に、垂直エッジ成分の検出個数（計数個数）から撮影画像Ｐｉが自車１のフロントガラス１ａの雨滴の画像を含んだ異常画像か否かを個別判定する。
(M-iv) Individual abnormality determination means This means that, for each main exploration area b, which is a partial area, the photographed image Pi indicates the number of raindrops on the windshield 1a of the
具体的には、各主探査領域ｂ毎に、垂直エッジ成分の検出個数と設定した異常判定のしきい値の個数とを比較し、検出個数がしきい値の個数より大きいときに異常画像と判定する。 Specifically, for each main exploration area b, the number of detected vertical edge components is compared with the set number of abnormality determination thresholds. When the detected number is larger than the number of thresholds, judge.
この場合、例えばボンネット１ｂ全体の輪郭線をパターン比較する複雑な画像処理は不要であり、簡単な垂直エッジ成分の検出個数の計数処理を行なえばよく、簡単かつ迅速であり、しかも、その計数処理もボンネット１ｂの前端縁の一部ずつ行なえばよく、大容量のメモリ等も必要としない。
In this case, for example, complicated image processing for pattern comparison of the contour line of the
そして、前記の異常判定のしきい値の個数は、各主探査領域ｂに共通であってもよいが、左右端の主探査領域ｂ程、道路の白線等の影響によって垂直エッジ成分が発生し易くなるので、主探査領域ｂ毎に個別に設定し、左右端部に近い主探査領域ｂ程、中央の主探査領域ｂより多くして判定しきい値を高くすることが好ましい。 The number of threshold values for the abnormality determination may be common to each main exploration area b, but vertical edge components are generated due to the influence of white lines on the road in the main exploration area b at the left and right ends. Since it becomes easy, it is preferable to set it separately for each main exploration region b, and to increase the determination threshold by increasing the main exploration region b closer to the left and right ends than the central main exploration region b.
（Ｍ−ｖ）総合異常判定手段
この手段は、個別異常判定手段の個別判定結果の多数決処理により、撮影画像Ｐｉが、フロントガラス１ａの雨滴等を含んだ異常画像か否かを総合判定する。
(Mv) Comprehensive Abnormality Determination Means This means comprehensively determines whether or not the photographed image Pi is an abnormal image including raindrops on the windshield 1a by the majority process of the individual determination results of the individual abnormality determination means.
具体的には、異常の判定をした主探査領域ｂの個数が、設定した総合判定のしきい値の個数以上か否かに基き、撮影画像Ｐｉがフロントガラス１ａの雨滴等の付着物の画像を含んだ異常画像か否かを判定する。 Specifically, based on whether or not the number of main exploration regions b that have been determined to be abnormal is equal to or greater than the set total determination threshold value, the photographed image Pi is an image of an attachment such as raindrops on the windshield 1a. It is determined whether or not the image is an abnormal image.
このとき、前記の総合判定のしきい値の個数が主探査領域ｂの総数の半分以上に設定されて前記の多数決処理で異常画像か否かの総合判定が行なわれるため、各部分領域の個別判定の結果の多数決処理により、撮影画像Ｐｉが異常画像か否かが総合判定され、ボンネット前縁部ｆのカーブした左右端部に位置した主探査領域ｂの個別判定が残りの位置の主探査領域ｂと異なる誤った個別判定結果になったりしても、前記の総合判定が誤ったりせず、判定ミスの発生が極力防止されて撮影画像Ｐｉの精度の高い判定が行なえる。 At this time, since the number of the threshold values for the comprehensive determination is set to be half or more of the total number of the main search areas b and the comprehensive determination as to whether or not the image is an abnormal image is performed in the majority process, the individual determination of each partial area Based on the majority processing of the determination result, it is comprehensively determined whether or not the captured image Pi is an abnormal image, and the individual determination of the main search region b located at the curved left and right ends of the bonnet front edge f is the main search of the remaining positions. Even if an erroneous individual determination result different from the region b is obtained, the comprehensive determination is not erroneous, and the occurrence of a determination error is prevented as much as possible, and the captured image Pi can be determined with high accuracy.
（Ｍ−ｖｉ）曇り異常判定手段
この手段は、水平エッジ成分の無検出により、フロントガラス１ａの曇りによる撮影画像Ｐｉの画像異常を判定する。
(M-vi) Cloudiness abnormality determining means This means determines an image abnormality of the photographed image Pi due to fogging of the windshield 1a by detecting no horizontal edge component.
すなわち、この実施形態の場合、雨滴等の付着物による撮影画像Ｐｉの異常画像の認識を行なうだけでなく、この認識とフロントガラス１ａの曇りによる撮影画像１ａの異常画像の認識とを区別して行なう。 In other words, in the case of this embodiment, not only the abnormal image of the photographed image Pi is recognized by the deposits such as raindrops, but also the recognition is distinguished from the recognition of the abnormal image of the photographed image 1a due to the cloudy windshield 1a. .
そして、フロントガラス１ａが曇ると、撮影画像Ｐｉがいわゆる磨りガラスを通して撮影したような一様な輝度画像になり、水平、垂直エッジがほとんど出現しなくなることから、この曇り異常判定手段は、前記の初期探査手段が各初期探査領域ａの水平エッジ成分を検出するか否かを監視し、全部又は設定個数以上の初期探査領域ａで水平エッジ成分が検出されなければ、水平エッジ成分の無検出と判定してフロントガラス１ａの曇りによる異常画像を検出して認識する。 When the windshield 1a is clouded, the photographed image Pi becomes a uniform luminance image as photographed through so-called polished glass, and the horizontal and vertical edges hardly appear. Whether or not the initial exploration means detects horizontal edge components in each initial exploration area a is monitored. If no horizontal edge components are detected in all or a predetermined number of initial exploration areas a, no horizontal edge component is detected. Determination is made to detect and recognize an abnormal image due to fogging of the windshield 1a.
そして、以上の各手段の動作をフローチャートで示すと、図９のステップＳ１〜Ｓ１０のようになり、初期探査手段の動作に基き、ステップＳ１によって撮影画像Ｐｉの微分画像処理が行なわれ、ステップＳ２によって水平エッジ成分が検出され、水平エッジ成分が検出されると、主探査領域設定手段、垂直エッジ成分検出手段が動作し、ステップＳ４、Ｓ５によって各主探査領域ｂの垂直エッジ成分の検出が行なわれる。 The operation of each of the above means is shown in a flowchart as shown in steps S1 to S10 in FIG. 9. Based on the operation of the initial exploration means, differential image processing of the captured image Pi is performed in step S1, and step S2 When the horizontal edge component is detected by the above, the main search area setting means and the vertical edge component detection means operate when the horizontal edge component is detected, and the vertical edge components of each main search area b are detected in steps S4 and S5. It is.
さらに、個別異常判定手段、総合異常判定手段が動作し、ステップＳ６〜Ｓ９により前記の個別判定、総合判定が行なわれ、撮影画像Ｐｉがフロントガラス１ａに付着した雨滴等に基く異常画像か否かが判定されて認識される。 Further, the individual abnormality determining means and the comprehensive abnormality determining means are operated, and the individual determination and the comprehensive determination are performed in steps S6 to S9, and whether or not the photographed image Pi is an abnormal image based on raindrops or the like attached to the windshield 1a. Is recognized and recognized.
一方、ステップＳ３において、水平エッジ成分を検出しなければ、ステップＳ３からステップＳ１０に移行し、曇り異常判定手段が動作して撮影画像Ｐｉのフロントガラス１ａの曇りによる異常画像を検出して認識する。 On the other hand, if the horizontal edge component is not detected in step S3, the process proceeds from step S3 to step S10, and the cloudy abnormality determination unit operates to detect and recognize an abnormal image due to the cloudy windshield 1a of the photographed image Pi. .
つぎに、この実施形態の場合、前記の総合判定の結果が正常画像で、フロントガラス１ａの曇りによる異常画像も検出されなければ、制御ＥＣＵ５により、撮影画像Ｐｉから先行車ＣＡＲ等を認識してＡＣＣ、被害軽減自動ブレーキシステム等の制御が行なわれ、この制御に基き、スロットル制御ユニット６による加速制御、ブレーキ制御ユニット７による制動制御や、ＡＴ制御ユニット８の変速制御、ステアリング制御ユニット９の操舵制御が行なわれる。
Next, in the case of this embodiment, if the result of the comprehensive determination is a normal image and an abnormal image due to fogging of the windshield 1a is not detected, the
一方、天候悪化等によって前記の総合判定の結果が異常画像になると、撮影画像Ｐｉの異常に基く誤認識、誤制御を防止するため、制御ＥＣＵ５は、前記のＡＣＣ、被害軽減自動ブレーキシステム等において、画像処理結果を使用しないとともに、その状況を表示警報ユニット１０によってドライバに報知する。
On the other hand, when the result of the comprehensive determination becomes an abnormal image due to weather deterioration or the like, in order to prevent erroneous recognition and erroneous control based on the abnormality of the captured image Pi, the
また、自車１の室内外の温度差等に基づいてフロントガラス１ａが曇り、この曇りによる異常画像が認識されたときにも、撮影画像Ｐｉの異常に基く誤認識、誤制御を防止するため、制御ＥＣＵ５は、前記のＡＣＣ、被害軽減自動ブレーキシステム等において、画像処理結果を使用しないとともに、その状況を表示警報ユニット１０によってドライバに報知する。
Further, when the windshield 1a is clouded based on a temperature difference between the inside and outside of the
なお、表示警報ユニット１０の報知は、例えば、ランプの点灯・点滅、ブザ音出力あるいはメッセージ音声出力によって行なわれる。
The notification of the
したがって、フロントガラス１ａの雨滴、曇りによって撮影画像Ｐｉが異常画像になったときに、この異常画像に基づくＡＣＣ、被害軽減自動ブレーキシステム等の誤制御が防止されて安全性、信頼性が向上する。 Therefore, when the photographed image Pi becomes an abnormal image due to raindrops or cloudiness on the windshield 1a, erroneous control of the ACC, damage reduction automatic brake system, etc. based on the abnormal image is prevented, and safety and reliability are improved. .
＜他の実施形態＞
つぎに、エッジ画像のパターン比較に基づいて判定する実施形態について、図１〜図６及び図１０、図１１を参照して説明する。
<Other embodiments>
Next, an embodiment in which determination is made based on edge image pattern comparison will be described with reference to FIGS. 1 to 6, 10, and 11.
この実施形態の場合、図１に示すように自車１に基準エッジ画像記憶ユニット１１が追加され、このユニット１１が基準画像保持手段を形成し、部分領域としての各主探査領域ｂそれぞれの正常時の水平、垂直エッジの基準エッジ画像ｐ（ｒｅｆ）を保持する。
In the case of this embodiment, as shown in FIG. 1, a reference edge image storage unit 11 is added to the
この基準エッジ画像ｐ（ｒｅｆ）は、例えば、予め設定された標準テンプレートのエッジ画像、または、設定された周期毎に撮影して書き換えられる正常時の撮影画像Ｐｉの微分画像からなり、その画像情報には撮影画像Ｐｉでの各エッジ位置の情報等も含まれる。 The reference edge image p (ref) is composed of, for example, a preset standard template edge image or a differential image of a normal captured image Pi that is captured and rewritten every set period. Includes information on each edge position in the photographed image Pi.
つぎに、この実施形態の制御ＥＣＵ５は、予め設定された画像異常判定プログラムを実行することにより、つぎの（Ｎ−ｉ）〜（Ｎ−ｖ）のソフトウエア処理の各手段を備える。
Next, the
（Ｎ−ｉ）初期探査手段
この手段は、前記一実施形態の初期探査手段と同じであり、撮影画像Ｐｉの微分画像から、撮影画像Ｐｉの自車１のボンネット前縁部ｆを含む範囲を左右方向に区切って設定した図４の複数個の初期探査領域ａの水平エッジ成分を探査して検出する。
(Ni) Initial exploration means This means is the same as the initial exploration means of the above-described embodiment, and the range including the bonnet front edge f of the
（Ｎ−ｉｉ）主探査領域設定手段
この手段は、前記一実施形態の主探査領域設定手段と同じであり、各初期探査領域ａの水平エッジ成分のヒストグラムのピーク部分から各初期探査領域ａのほぼボンネット前縁部ｆを検出し、例えば図１０に示す主探査領域ｂを設定する。この領域ｂは前記の図５、図６の主探査領域ｂと同様である。
(N-ii) Main exploration area setting means This means is the same as the main exploration area setting means of the above-described embodiment, and each initial exploration area a is determined from the peak portion of the histogram of the horizontal edge component of each initial exploration area a. The bonnet front edge f is substantially detected, and a main search area b shown in FIG. 10 is set, for example. This area b is the same as the main exploration area b in FIGS.
（Ｎ−ｉｉｉ）個別エッジ画像形成手段
この手段は、各主探査領域ｂを撮影画像Ｐｉのほぼボンネット前縁部ｆに左右方向に設定した各部分領域とし、撮影画像Ｐｉの微分画像から、各主探査領域ｂそれぞれの水平、垂直エッジを含む図１０の検出エッジ画像ｐ（ｄｅｔ）を形成する。具体的には、撮影画像Ｐｉの各主探査領域ｂそれぞれの部分を水平、垂直両方に微分し、各検出エッジ画像ｐ（ｄｅｔ）を形成する。
(N-iii) Individual edge image forming means This means uses each main exploration area b as a partial area set in the left-right direction substantially at the front edge f of the bonnet of the captured image Pi, and from each differential image of the captured image Pi, The detected edge image p (det) of FIG. 10 including the horizontal and vertical edges of each main exploration region b is formed. Specifically, each main exploration area b of the captured image Pi is differentiated both horizontally and vertically to form each detected edge image p (det).
（Ｎ−ｉｖ）個別異常判定手段
この手段は、部分領域としての各主探査領域ｂそれぞれの基準エッジ画像ｐ（ｒｅｆ）と検出エッジ画像ｐ（ｄｅｔ）とをパターン比較し、このパターン比較に基づいて検出した各主探査領域ｂそれぞれの両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）のパターンマッチング誤差により、各主探査領域ｂ毎に撮影画像Ｐｉが自車１のフロントガラス１ａの雨滴の画像を含んだ異常画像か否かを個別判定する。
(N-iv) Individual abnormality determination means This means performs pattern comparison between the reference edge image p (ref) and the detected edge image p (det) of each main exploration area b as a partial area, and based on this pattern comparison. Due to the pattern matching error of both edge images p (ref) and p (det) of each main exploration area b detected in this way, the captured image Pi is an image of raindrops on the windshield 1a of the
具体的には、図１０に示す基準エッジ画像ｐ（ｒｅｆ）と検出エッジ画像ｐ（ｄｅｔ）との画像上下幅のセンタ位置のずれ量、すなわち、両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）の位置のオフセット量Δを測定し、画像処理により、同図に示すように、オフセット量Δが０になるように両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）のいずれか一方、例えば基準エッジ画像ｐ（ｒｅｆ）の位置をずらして両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）を重ね合わせ、その一致、不一致の程度から両エッジ画像ｐ（ｒｅｆ）、ｐ（ｄｅｔ）のパターンマッチング誤差の量（大きさ）を検出し、検出した誤差量が設定されたしきい値以上か否かによって前記の異常画像か否かをの個別判定を行なう。 Specifically, the shift amount of the center position of the image vertical width between the reference edge image p (ref) and the detected edge image p (det) shown in FIG. 10, that is, both edge images p (ref) and p (det). The offset amount Δ at the position of is measured, and by image processing, as shown in the figure, either one of the two edge images p (ref) and p (det), for example, the reference edge so that the offset amount Δ becomes 0 The position of the image p (ref) is shifted and the two edge images p (ref) and p (det) are superimposed, and the pattern matching error of the both edge images p (ref) and p (det) is determined based on the degree of coincidence or mismatch. An amount (size) is detected, and whether or not the image is abnormal is determined based on whether or not the detected error amount is equal to or greater than a set threshold value.
（Ｎ−ｖ）総合異常判定手段
この手段は、前記一実施形態の総合異常判定手段と同じであり、個別異常判定手段の個別判定結果の多数決処理により、撮影画像Ｐｉが異常画像か否かを総合判定する。
(N-v) Comprehensive abnormality determination means This means is the same as the general abnormality determination means of the above-described embodiment, and whether or not the captured image Pi is an abnormal image is determined by majority processing of the individual determination results of the individual abnormality determination means. Comprehensive judgment.
（Ｎ−ｖｉ）曇り異常判定手段
この手段は、前記一実施形態の曇り異常判定手段と同じであり、水平エッジ成分の無検出により、フロントガラス１ａの曇りによる撮影画像Ｐｉの画像異常を判定する。
(N-vi) Cloudiness abnormality determination means This means is the same as the cloudiness abnormality determination means of the embodiment described above, and determines the image abnormality of the photographed image Pi due to the fogging of the windshield 1a by no detection of the horizontal edge component. .
そして、以上の各手段の動作をフローチャートで示すと、図１１のステップＱ１〜Ｑ１０のようになり、図１１において、ステップＱ１〜Ｑ４、Ｑ６〜Ｑ１０の処理は図９のステップＳ１〜Ｓ４、Ｓ６〜Ｓ１０の処理と同様であり、ステップＱ５の処理が図９のステップＳ５の処理と異なる。なお、ステップＱ５は個別異常判定手段によるパターン比較の画像処理である。 The operation of each of the above means is shown by a flowchart in steps Q1 to Q10 in FIG. 11. In FIG. 11, the processes in steps Q1 to Q4 and Q6 to Q10 are performed in steps S1 to S4 and S6 in FIG. To S10, and the process of step Q5 is different from the process of step S5 of FIG. Step Q5 is image processing for pattern comparison by the individual abnormality determining means.
したがって、前記の個別異常判定手段によるボンネット前縁部ｆの複数個所のパターン比較からの個別判定に基き、総合異常判定手段により、多数決処理で撮影画像Ｐｉの異常画像か否かの総合判定が行なわれ、この実施形態の場合も、ボンネット前縁部ｆのカーブした左右端部に位置した主探査領域ｂの個別判定が残りの位置の主探査領域ｂと異なる誤った個別判定結果になったりしても、前記の総合判定により、判定ミスの発生が極力防止され、撮影画像Ｐｉがフロントガラス１ａの雨滴等の付着物の画像を含んだ異常画像か否かの精度の高い判定が行なえる。 Therefore, based on the individual determination from the pattern comparison of the bonnet leading edge portion f by the individual abnormality determination means, the comprehensive abnormality determination means performs a comprehensive determination as to whether or not the photographed image Pi is an abnormal image by majority processing. Even in this embodiment, the individual determination of the main search area b located at the curved left and right ends of the bonnet front edge f may be an erroneous individual determination result different from the remaining main search areas b. However, by the comprehensive determination, occurrence of a determination error is prevented as much as possible, and it is possible to determine with high accuracy whether or not the captured image Pi is an abnormal image including an image of a deposit such as raindrops on the windshield 1a.
しかも、曇り異常判定手段の判定結果に基づき、前記一実施形態の場合と同様、撮影画像Ｐｉについて、フロントガラス１ａの曇りによる異常画像の認識を、フロントガラス１の雨滴等の付着物に基く異常画像の認識と区別して行なうことができる。
Moreover, based on the determination result of the fogging abnormality determining means, as in the case of the above-described embodiment, the abnormal image recognition due to the fogging of the windshield 1a is recognized based on the attached matter such as raindrops on the
そして、天候悪化等によって前記の総合判定の結果が異常画像になると、制御ＥＣＵ５が、前記のＡＣＣ、被害軽減自動ブレーキシステム等において、画像処理結果を使用しないとともに、その状況を表示警報ユニット１０によってドライバに報知し、また、自車１の室内外の温度差等に基づいてフロントガラス１ａが曇ると、制御ＥＣＵ５は、前記のＡＣＣ、被害軽減自動ブレーキシステム等において、画像処理結果を使用しないとともに、その状況を表示警報ユニット１０によってドライバに報知することができ、フロントガラス１ａの雨滴、曇りによって撮影画像Ｐｉが異常画像になったときに、この異常画像に基づくＡＣＣ、被害軽減自動ブレーキシステム等の誤制御が防止されて安全性、信頼性が向上する。
When the result of the comprehensive determination becomes an abnormal image due to weather deterioration or the like, the
ところで、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。 By the way, the present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the gist thereof.
例えば、自車１の停止時は、路面白線等によって鮮明な微分画像が得られないおそれがあり、それに伴う判定ミスが生じ易くなるので、とくに前記他の実施形態において、例えば図示省略した車速センサ（車輪速センサ）等のセンサ出力から自車１の停止を検出する間は前記の判定を中止したり、判定のくり返しの周期を長くしたりして、判定ミスを極力防止するようにすることが好ましい。
For example, when the
つぎに、前記両実施形態においては、撮像装置を安価な単眼カメラ２としたが、撮像装置がステレオカメラ等であってもく、その場合にも同様の効果が得られるのは勿論である。
Next, in both the above-described embodiments, the cheap
また、フロントガラス１ａの付着物が、雨滴以外の種々の液滴或いは泥のよな種々の流動体や固形物であっても、この発明が同様に適用できるのは勿論であり、判定結果が自車１の種々の走行制御等に利用できるのも勿論である。
Moreover, even if the deposits on the windshield 1a are various droplets other than raindrops or various fluids and solids such as mud, the present invention can of course be similarly applied, and the determination result is Of course, it can be used for various travel controls of the
ところで、自車１の装備部品数を少なくするため、例えば図１の単眼カメラ２は自車１の追従走行制御等の他の制御のセンサに兼用する場合にも適用することができる。
By the way, in order to reduce the number of equipment parts of the
１ 自車
１ａ フロントガラス
１ｂ ボンネット
２ 単眼カメラ
５ 制御ＥＣＵ
１１ 基準エッジ画像記憶ユニット
ａ 初期探査領域
ｂ 主探査領域
ｄｒｏｐ 雨滴
ｆ ボンネット前縁部
ｖｇ 垂直エッジ成分
Ｐｉ 撮影画像
1
11 reference edge image storage unit a initial search area b main search area drop raindrop f bonnet front edge vg vertical edge component Pi photographed image
Claims (3)
該撮像装置の撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出する初期探査手段と、
前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から前記各初期探査領域のほぼ前記ボンネット前縁部を検出してそれぞれ主探査領域に設定する主探査領域設定手段と、
前記各主探査領域を前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した複数個の部分領域とし、前記各主探査領域の垂直エッジ成分を前記各部分領域それぞれの垂直エッジ成分として検出する垂直エッジ成分検出手段と、
前記各部分領域毎に、垂直エッジ成分の検出個数から、前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定する個別異常判定手段と、
前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定する総合異常判定手段とを備えたことを特徴とする画像異常判定装置。 An imaging device that is provided in the vehicle interior and that images the front of the vehicle including the hood of the vehicle;
Initially detecting and detecting horizontal edge components of a plurality of initial search areas set by dividing a range including the bonnet front edge of the own vehicle from the differential image of the captured image of the imaging device in the left-right direction Exploration means,
Main exploration area setting means for detecting substantially the bonnet leading edge of each initial exploration area from the peak portion of the histogram of the horizontal edge component of each initial exploration area and setting the main exploration area respectively;
The main search areas are a plurality of partial areas set in the left-right direction substantially at the front edge of the bonnet of the captured image, and the vertical edge components of the main search areas are detected as the vertical edge components of the partial areas, respectively. Vertical edge component detection means for
For each of the partial areas, individually determining whether or not the captured image is an abnormal image including an image of deposits such as raindrops attached to the windshield of the own vehicle from the number of detected vertical edge components. An abnormality determination means;
An image abnormality determination device, comprising: a comprehensive abnormality determination unit that comprehensively determines whether or not the photographed image is the abnormal image by majority processing based on the result of the individual determination.
該撮像装置の撮影画像の微分画像から、前記撮影画像の自車のボンネット前縁部を含む範囲を左右方向に区切って設定した複数個の初期探査領域の水平エッジ成分を探査して検出する初期探査手段と、
前記各初期探査領域の水平エッジ成分のヒストグラムのピーク部分から、前記各初期探査領域のほぼ前記ボンネット前縁部の範囲を検出してそれぞれ主探査領域に設定する主探査領域設定手段と、
前記各主探査領域を前記撮影画像のほぼ前記ボンネット前縁部に左右方向に設定した各部分領域とし、前記各主探査領域の水平、垂直エッジのエッジ画像を前記各部分領域それぞれの水平、垂直エッジの検出エッジ画像として形成する個別エッジ画像形成手段と、
前記各部分領域それぞれの正常時の基準エッジ画像を保持する基準画像保持手段と、
前記各部分領域それぞれの前記基準エッジ画像と前記現エッジ画像とをパターン比較し、該パターン比較に基づいて検出した前記各部分領域それぞれのパターンマッチング誤差により、前記撮影画像が自車のフロントガラスに散布状態に付着した雨滴等の付着物の画像を含んだ異常画像か否かを個別判定する個別異常判定手段と、
前記個別判定の結果の多数決処理により、前記撮影画像が前記異常画像か否かを総合判定する総合異常判定手段とを備えたことを特徴とする画像異常判定装置。 An imaging device that is provided in the vehicle interior and that images the front of the vehicle including the hood of the vehicle;
Initially detecting and detecting horizontal edge components of a plurality of initial search areas set by dividing a range including the bonnet front edge of the own vehicle from the differential image of the captured image of the imaging device in the left-right direction Exploration means,
From the peak portion of the histogram of the horizontal edge component of each initial exploration region, main exploration region setting means for detecting the range of the bonnet leading edge of each initial exploration region and setting the main exploration region, respectively,
Said substantially said a hood prior to each partial region set in the lateral direction to the edge, each said main horizontal exploration area, of each of the partial areas an edge image of the vertical edge horizontal Each main search area the captured image, Individual edge image forming means for forming a detection edge image of a vertical edge;
A reference image holding means for holding a normal reference edge image of each of the partial areas;
A pattern comparison is made between the reference edge image and the current edge image of each of the partial areas, and the captured image is reflected on the windshield of the vehicle by a pattern matching error of the partial areas detected based on the pattern comparison. An individual abnormality determination means for individually determining whether or not the image is an abnormal image including an image of an adhering substance such as raindrops adhering to the sprayed state;
An image abnormality determination device, comprising: a comprehensive abnormality determination unit that comprehensively determines whether or not the photographed image is the abnormal image by majority processing based on the result of the individual determination.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004290981A JP4601376B2 (en) | 2004-10-04 | 2004-10-04 | Image abnormality determination device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004290981A JP4601376B2 (en) | 2004-10-04 | 2004-10-04 | Image abnormality determination device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006107000A JP2006107000A (en) | 2006-04-20 |
| JP4601376B2 true JP4601376B2 (en) | 2010-12-22 |
Family
ID=36376688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004290981A Expired - Fee Related JP4601376B2 (en) | 2004-10-04 | 2004-10-04 | Image abnormality determination device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4601376B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160050741A (en) * | 2014-10-30 | 2016-05-11 | 현대모비스 주식회사 | Apparatus for vehicle alarm |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4625418B2 (en) * | 2006-03-29 | 2011-02-02 | 株式会社デンソーアイティーラボラトリ | Shadow detection method |
| JP5680436B2 (en) * | 2011-02-15 | 2015-03-04 | アルパイン株式会社 | Foreign matter adhesion determination device for in-vehicle camera lens |
| JP2013190416A (en) | 2012-02-13 | 2013-09-26 | Ricoh Co Ltd | Deposit detection device and in-vehicle equipment controller including the same |
| JP6597350B2 (en) * | 2016-02-03 | 2019-10-30 | トヨタ自動車株式会社 | Vehicle imaging system |
| JP7234630B2 (en) * | 2018-12-28 | 2023-03-08 | 株式会社デンソーテン | Deposit detection device |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0410173A (en) * | 1990-04-27 | 1992-01-14 | Seikosha Co Ltd | Picture monitoring method |
| JPH04301513A (en) * | 1991-03-28 | 1992-10-26 | Daihatsu Motor Co Ltd | Distance detection |
| JPH04303047A (en) * | 1991-03-29 | 1992-10-27 | Daihatsu Motor Co Ltd | Image processing |
| JPH05314312A (en) * | 1992-05-13 | 1993-11-26 | Konica Corp | Slip reader |
| JPH10148681A (en) * | 1996-11-15 | 1998-06-02 | Mitsuba Corp | Method for detecting raindrops |
| JPH11112968A (en) * | 1997-10-01 | 1999-04-23 | Harness Syst Tech Res Ltd | Monitor for environment inside and outside of vehicle |
| JP2001092979A (en) * | 1999-09-20 | 2001-04-06 | Fujitsu Ten Ltd | Unsuitable image detecting method |
| JP2001141838A (en) * | 1999-11-17 | 2001-05-25 | Nippon Seiki Co Ltd | Raindrop detector |
| JP2001147278A (en) * | 1999-11-19 | 2001-05-29 | Nippon Seiki Co Ltd | Raindrop detecting device |
-
2004
- 2004-10-04 JP JP2004290981A patent/JP4601376B2/en not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0410173A (en) * | 1990-04-27 | 1992-01-14 | Seikosha Co Ltd | Picture monitoring method |
| JPH04301513A (en) * | 1991-03-28 | 1992-10-26 | Daihatsu Motor Co Ltd | Distance detection |
| JPH04303047A (en) * | 1991-03-29 | 1992-10-27 | Daihatsu Motor Co Ltd | Image processing |
| JPH05314312A (en) * | 1992-05-13 | 1993-11-26 | Konica Corp | Slip reader |
| JPH10148681A (en) * | 1996-11-15 | 1998-06-02 | Mitsuba Corp | Method for detecting raindrops |
| JPH11112968A (en) * | 1997-10-01 | 1999-04-23 | Harness Syst Tech Res Ltd | Monitor for environment inside and outside of vehicle |
| JP2001092979A (en) * | 1999-09-20 | 2001-04-06 | Fujitsu Ten Ltd | Unsuitable image detecting method |
| JP2001141838A (en) * | 1999-11-17 | 2001-05-25 | Nippon Seiki Co Ltd | Raindrop detector |
| JP2001147278A (en) * | 1999-11-19 | 2001-05-29 | Nippon Seiki Co Ltd | Raindrop detecting device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160050741A (en) * | 2014-10-30 | 2016-05-11 | 현대모비스 주식회사 | Apparatus for vehicle alarm |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006107000A (en) | 2006-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8194998B2 (en) | Preceding vehicle detection system | |
| JP4420011B2 (en) | Object detection device | |
| CN106489174B (en) | Method, camera system and the motor vehicles of vehicle are tracked by camera system | |
| US8933797B2 (en) | Video-based warning system for a vehicle | |
| JP6246014B2 (en) | Exterior recognition system, vehicle, and camera dirt detection method | |
| US20140379233A1 (en) | Vehicle vision system with collision mitigation | |
| WO2015118806A1 (en) | Image analysis apparatus and image analysis method | |
| JP5680436B2 (en) | Foreign matter adhesion determination device for in-vehicle camera lens | |
| WO2001061669A1 (en) | Collision avoidance system utilizing machine vision taillight tracking | |
| JP2009265842A (en) | Warning device for vehicle and warning method | |
| US9308918B2 (en) | Object collision warning system and method for a motor vehicle | |
| JP4751894B2 (en) | A system to detect obstacles in front of a car | |
| JP2007293672A (en) | Photographing apparatus for vehicle and soiling detection method for photographing apparatus for vehicle | |
| JP4798576B2 (en) | Attachment detection device | |
| JP2011174794A (en) | Device and method for detecting state of road surface | |
| JP4601376B2 (en) | Image abnormality determination device | |
| JP2000011298A (en) | Read and side monitoring device for vehicle | |
| JP3972659B2 (en) | Rear side warning device for vehicles | |
| JP3729005B2 (en) | Vehicle rear monitoring device | |
| JP6429101B2 (en) | Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object | |
| US20240040222A1 (en) | In-vehicle camera shield state determination device | |
| JP4794764B2 (en) | Outside monitoring device | |
| JP7145227B2 (en) | sign recognition device | |
| JPH10129375A (en) | On-vehicle foregoing vehicle recognizing device | |
| US11600083B1 (en) | Highly-accurate and self-adjusting imaging sensor auto-calibration for in-vehicle driver monitoring system or other system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100928 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100928 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |