JP2011086097A - Obstacle detection device - Google Patents
Obstacle detection device Download PDFInfo
- Publication number
- JP2011086097A JP2011086097A JP2009238176A JP2009238176A JP2011086097A JP 2011086097 A JP2011086097 A JP 2011086097A JP 2009238176 A JP2009238176 A JP 2009238176A JP 2009238176 A JP2009238176 A JP 2009238176A JP 2011086097 A JP2011086097 A JP 2011086097A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- predetermined range
- bright
- normalization
- image img
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims description 32
- 238000010606 normalization Methods 0.000 claims abstract description 26
- 238000003909 pattern recognition Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
この発明は、車載カメラの撮影画像から障害物を検出する技術に関する。 The present invention relates to a technique for detecting an obstacle from a photographed image of a vehicle-mounted camera.
従来、横断歩道周辺に固定して設置されたカメラによる撮影画像の画像パターンと、歩行者が存在しないときの撮影画像の横断歩道部分の画像パターンとから、横断歩道上の歩行者を検出する技術が提案されている（例えば、特許文献１）。 Conventionally, a technology to detect pedestrians on a pedestrian crossing from the image pattern of the image taken by a camera fixed around the pedestrian crossing and the image pattern of the pedestrian crossing of the captured image when no pedestrian is present Has been proposed (for example, Patent Document 1).
特許文献１に記載の技術では、カメラが設置された場所の横断歩道上の障害物（歩行者）しか検出することができない。そこで、車載カメラを車両に搭載し、これにより横断歩道上の障害物を検出することも考えられる。このようにすれば、横断歩道周辺にカメラが設置されていなくとも、車両の走行路の横断歩道上の障害物を検出することができる。しかしながら、横断歩道上の障害物がヘッドライトにより一部分しか照射されておらず、障害物が部分的にしか明るくなっていない時点では、横断歩道の白色の部分と、部分的にしか明るくなっていない障害物とを区別することは困難であった。したがって、障害物の大部分がヘッドライトに照射されることにより障害物のほぼ全体が明るくなって、横断歩道の白色の部分と、ほぼ全体が明るくなった障害物とを区別することができるようになるまで障害物の検出が遅れるおそれがあった。 With the technique described in Patent Document 1, only an obstacle (pedestrian) on a pedestrian crossing where a camera is installed can be detected. Therefore, it is conceivable to mount an in-vehicle camera on the vehicle and thereby detect an obstacle on the pedestrian crossing. In this way, it is possible to detect an obstacle on the pedestrian crossing on the traveling path of the vehicle even if no camera is installed around the pedestrian crossing. However, when the obstacles on the pedestrian crossing are only partially illuminated by the headlights and the obstacles are only partially brightened, the white part of the pedestrian crossing and only partially brightened It was difficult to distinguish between obstacles. Therefore, most of the obstacles are illuminated by the headlights, so that almost the entire obstacles become bright, so that the white part of the pedestrian crossing can be distinguished from the obstacles that are almost entirely bright. The detection of obstacles could be delayed until
本発明は、障害物がライトにより部分的にしか照射されていないときであっても障害物を早期に検出できる技術を提供することを目的とする。 An object of this invention is to provide the technique which can detect an obstruction early, even when the obstruction is only partially irradiated with the light.
上記した目的を達成するために、本発明の障害物検出装置は、車載カメラの撮影画像から障害物を検出する障害物検出装置において、前記撮影画像のライトで照射されて明るい部分を認識する認識手段と、前記明るい部分が前記撮影画像の下部にあるか上部にあるかを判別する判別手段と、前記判別手段による判別が下部との結果であれば、前記明るい部分の上方の所定範囲内の明るさを前記所定範囲の階調が増えるように正規化し、前記判別手段による判別が上部との結果であれば、前記明るい部分の下方の前記所定範囲内の明るさを前記所定範囲の階調が増えるように正規化する正規化手段と、前記正規化が前記所定範囲内に施された前記撮影画像に基づいて障害物を検出する検出手段とを備えることを特徴としている（請求項１）。 In order to achieve the above-described object, the obstacle detection device of the present invention recognizes a bright portion that is irradiated with a light of the photographed image in the obstacle detection device that detects an obstacle from a photographed image of a vehicle-mounted camera. Means, a determination means for determining whether the bright portion is at the lower or upper portion of the captured image, and if the determination by the determination means is a result of the lower portion, the result is within a predetermined range above the bright portion. If the brightness is normalized so that the gradation of the predetermined range increases, and the determination by the determination means is the result of the upper part, the brightness within the predetermined range below the bright portion is converted to the gradation of the predetermined range. Normalization means for normalizing so as to increase, and detection means for detecting an obstacle based on the photographed image subjected to the normalization within the predetermined range (Claim 1). .
請求項１に記載の発明によれば、撮影画像のライトで照射されて明るい部分が認識手段により認識され、認識手段により認識された明るい部分が撮影画像の下部にあると判別手段により判別されれば、明るい部分の上方の所定範囲内の明るさが当該所定範囲の階調が増えるように正規化手段により正規化される。また、認識手段により認識された明るい部分が撮影画像の上部にあると判別手段により判別されれば、明るい部分の下方の所定範囲内の明るさが当該所定範囲の階調が増えるように正規化手段により正規化される。 According to the first aspect of the present invention, it is determined by the determining means that the bright portion irradiated with the light of the photographed image is recognized by the recognition means, and the bright portion recognized by the recognition means is below the photographed image. For example, the brightness within the predetermined range above the bright part is normalized by the normalizing means so that the gradation within the predetermined range increases. Further, if the discrimination means determines that the bright part recognized by the recognition means is above the captured image, the brightness within the predetermined range below the bright part is normalized so that the gradation of the predetermined range increases. Normalized by means.
ところで、例えば、障害物が部分的にしかライトにより照射されていないときには、ライトに照射されて明るくなった障害物の一部分が、撮影画像の明るい部分として認識手段により認識される。しかしながら、判別手段による判別結果に基づいて正規化手段により正規化される、明るい部分の上方または下方の所定範囲内には、ライトの光が障害物全体に及ばないことから、認識手段により明るい部分として認識されるほどには明るくなっていない障害物の残りの部分が存在するため、当該所定範囲内が正規化手段により正規化されてその明るさが増幅されれば、障害物の残りの部分のパターンが出現する。したがって、所定範囲内の明るさの階調が増えるように正規化が施された撮影画像に基づいて、ライトの光により一部分しか明るくなっていないにも関わらず障害物が検出手段により検出されるため、障害物がライトにより部分的にしか照射されていないときであっても障害物を早期に検出することができる。 By the way, for example, when the obstacle is only partially irradiated by the light, a part of the obstacle that is brightened by the light is recognized by the recognition means as a bright part of the photographed image. However, since the light of the light does not reach the entire obstacle within the predetermined range above or below the bright part, which is normalized by the normalization means based on the discrimination result by the discrimination means, the bright part is recognized by the recognition means. Therefore, if there is a remaining part of the obstacle that is not bright enough to be recognized as normal, the normalization means normalizes the predetermined range and the brightness is amplified. Pattern appears. Therefore, an obstacle is detected by the detecting means on the basis of the photographed image that has been normalized so that the gradation of brightness within a predetermined range is increased, although the light is only partially brightened. Therefore, even when the obstacle is only partially irradiated by the light, the obstacle can be detected early.
本発明の一実施形態について、図１〜図４を参照して説明する。 An embodiment of the present invention will be described with reference to FIGS.
図１は本発明の障害物検出装置２の一実施形態のブロック図である。図２は図１の単眼カメラ３の構成の一例を示す図である。図３は図２の単眼カメラ３による撮影画像ＩＭＧの一例であって、（ａ）は横断歩道１０上の歩行者１１の足元がヘッドライト８に照射された状態で単眼カメラ３により撮影された撮影画像ＩＭＧ、（ｂ）は歩行者１１の足元がヘッドライト８に照射されることによる撮影画像ＩＭＧの明るい部分ＢＰ上方の所定範囲ＰＲ内に正規化が施された撮影画像ＩＭＧである。図４は図１の動作説明用のフローチャートである。 FIG. 1 is a block diagram of an embodiment of the obstacle detection apparatus 2 of the present invention. FIG. 2 is a diagram showing an example of the configuration of the monocular camera 3 of FIG. FIG. 3 is an example of an image IMG taken by the monocular camera 3 of FIG. 2, and (a) is taken by the monocular camera 3 with the feet of the pedestrian 11 on the pedestrian crossing 10 being irradiated on the headlight 8. The photographed image IMG, (b), is a photographed image IMG that has been normalized within a predetermined range PR above the bright part BP of the photographed image IMG that is obtained when the foot of the pedestrian 11 is irradiated on the headlight 8. FIG. 4 is a flowchart for explaining the operation of FIG.
１．構成
図１に示す障害物検出装置２は、車両１に搭載された単眼カメラ（本発明の「車載カメラ」に相当）３の撮影画像ＩＭＧから障害物（歩行者１１）を検出するものであって、単眼カメラ３と、単眼カメラ３の撮影画像ＩＭＧを処理するマイクロコンピュータ構成のＥＣＵ５と、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの走行モニタ６と、警報用のスピーカ７とを備えている。
1. Configuration The obstacle detection device 2 shown in FIG. 1 detects an obstacle (pedestrian 11) from a photographed image IMG of a monocular camera (corresponding to an “in-vehicle camera” of the present invention) 3 mounted on a vehicle 1. A monocular camera 3, an ECU 5 having a microcomputer configuration for processing a captured image IMG of the monocular camera 3, a travel monitor 6 such as a CRT or a liquid crystal display attached to an instrument panel or the like, and an alarm speaker 7 It has.
単眼カメラ３は、本実施形態では車両１前方の路面撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、撮影した画像ＩＭＧの信号を出力する（図３参照）。また、図２に示すように、車両１前方の路面撮影を行なうため、単眼カメラ３は、車両１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。 In this embodiment, the monocular camera 3 is composed of a camera capable of monochrome or color photography capable of photographing the road surface in front of the vehicle 1 and outputs a signal of the photographed image IMG (see FIG. 3). Further, as shown in FIG. 2, in order to take a road surface image in front of the vehicle 1, the monocular camera 3 is provided at an upper position in the front of the vehicle 1 so as to aim an obliquely lower road surface from above at an appropriate angle. It has been.
ＥＣＵ５は、例えばイグニッションキーのオンにより、予め設定された障害物検出のプログラムを実行することにより以下の各手段を備えている。 The ECU 5 includes the following units by executing a preset obstacle detection program when, for example, the ignition key is turned on.
（１）認識手段５ａ
認識手段５ａは、車両１の走行中に単眼カメラ３により取得された図３（ａ）に示すような撮影画像ＩＭＧの、ヘッドライト（本発明の「ライト」に相当）８で照射されて明るい部分ＢＰを認識する。図３（ａ）に示すように、認識手段５ａは、撮影画像ＩＭＧ内で、所定の閾値以上の明るさを有する部分を明るい部分ＢＰとして認識する。認識手段５ａは、例えば、撮影画像ＩＭＧを所定の明るさを閾値として２値化することにより明るい部分ＢＰを認識することができるが、明るい部分ＢＰを認識する手法としては、所定の明るさ以上の部分を認識することができればどのような手法を採用してもよい。
(1) Recognition means 5a
The recognizing means 5a is illuminated with a headlight (corresponding to the “light” of the present invention) 8 of a photographed image IMG acquired by the monocular camera 3 while the vehicle 1 is traveling as shown in FIG. Recognize the partial BP. As shown in FIG. 3A, the recognizing unit 5a recognizes, as a bright part BP, a part having a brightness equal to or higher than a predetermined threshold in the captured image IMG. The recognizing unit 5a can recognize the bright part BP by binarizing the captured image IMG with a predetermined brightness as a threshold, for example. Any method may be adopted as long as the part can be recognized.
（２）判別手段５ｂ
判別手段５ｂは、撮影画像ＩＭＧの明るい部分ＢＰが、撮影画像ＩＭＧの下部にあるか上部にあるかを、認識手段５ａにより認識された明るい部分ＢＰのそれぞれについて判別する。判別手段５ｂは、ヘッドライト８がロービーム状態であり、明るい部分ＢＰが、車両１の進行方向の撮影画像ＩＭＧのほぼ下半分に存在する場合に、明るい部分ＢＰが撮影画像ＩＭＧの下部にあると判定する。また、判別手段５ｂは、ヘッドライト８がハイビーム状態であり、明るい部分ＢＰが、車両１の進行方向の撮影画像ＩＭＧのほぼ上半分に存在する場合に、明るい部分ＢＰが撮影画像ＩＭＧの上部にあると判定する。
(2) Discriminating means 5b
The discriminating means 5b discriminates for each bright part BP recognized by the recognizing means 5a whether the bright part BP of the photographed image IMG is at the lower part or the upper part of the photographed image IMG. The discriminating means 5b indicates that when the headlight 8 is in a low beam state and the bright portion BP is present in the lower half of the captured image IMG in the traveling direction of the vehicle 1, the bright portion BP is at the lower portion of the captured image IMG. judge. Further, the discriminating means 5b is configured such that when the headlight 8 is in a high beam state and the bright part BP is present in the upper half of the photographed image IMG in the traveling direction of the vehicle 1, the bright part BP is located above the photographed image IMG. Judge that there is.
なお、図３（ａ）に示す撮影画像ＩＭＧは、車両１のヘッドライト８がロービーム状態のときに単眼カメラ３により撮影されたものであり、認識手段５ａにより認識された図３（ａ）中の明るい部分ＢＰのそれぞれは、判別手段５ａにより撮影画像ＩＭＧの下部にあると判別される。また、判別手段５ａが、明るい部分ＢＰが撮影画像ＩＭＧの下部にあるか上部にあるかを判別する手法としては、ヘッドライト８の状態に関する情報および撮影画像ＩＭＧ中の明るい部分ＢＰの位置に関する情報のいずれか一方のみの情報に基づく手法であってもよい。また、判別手段５ａによる判別方法は、上記した手法に限られるものではない。 The photographed image IMG shown in FIG. 3 (a) is taken by the monocular camera 3 when the headlight 8 of the vehicle 1 is in the low beam state, and is recognized by the recognition means 5a in FIG. 3 (a). Each bright portion BP is determined to be below the captured image IMG by the determining means 5a. In addition, as a method for determining whether the bright portion BP is at the lower part or the upper part of the captured image IMG, the determination unit 5a includes information on the state of the headlight 8 and information on the position of the bright part BP in the captured image IMG A method based on only one of the information may be used. Further, the determination method by the determination means 5a is not limited to the above-described method.
（３）正規化手段５ｃ
正規化手段５ｃは、判別手段５ｂによる判別が下部との結果であれば、明るい部分ＢＰの上方の所定範囲ＰＲ内の明るさを所定範囲ＰＲの階調が増えるように正規化し、判別手段５ｂによる判別が上部との結果であれば、明るい部分ＢＰの下方の所定範囲ＰＲ内の明るさを所定範囲ＰＲの階調が増えるように正規化する。
(3) Normalizing means 5c
The normalizing means 5c normalizes the brightness within the predetermined range PR above the bright part BP so that the gradation of the predetermined range PR increases if the determination by the determination means 5b is a lower result, and the determination means 5b If the result of the determination is an upper result, the brightness within the predetermined range PR below the bright part BP is normalized so that the gradation of the predetermined range PR increases.
この実施形態では、正規化手段５ｃは、所定範囲ＰＲ内の明るさの階調が、予め定めた２５６階調（０（暗）〜２５５（明）、８ｂｉｔ）に増えるように、所定範囲ＰＲ内の正規化を行う。また、正規化手段５ｃは、正規化を施す所定範囲ＰＲを、
ａ）認識手段５ａにより認識された明るい部分ＢＰと同じ幅とする、
ｂ）予め定められた大きさとする、
ｃ）まず、予め定められた範囲で正規化を行ったあと、正規化後の状態に応じて範囲の大きさの微調整を行う、
のように設定することができ、設定された所定範囲ＰＲ内の明るさが増幅されるように正規化を行う。
In this embodiment, the normalizing means 5c is configured so that the gradation of brightness within the predetermined range PR increases to a predetermined 256 gradations (0 (dark) to 255 (bright), 8 bits). Normalize in. Further, the normalizing means 5c sets a predetermined range PR to be normalized,
a) The same width as the bright part BP recognized by the recognition means 5a.
b) a predetermined size;
c) First, normalization is performed in a predetermined range, and then the size of the range is finely adjusted according to the state after normalization.
Normalization is performed so that the brightness within the set predetermined range PR is amplified.
なお、図３（ａ）に示す例では、明るい部分ＢＰが撮影画像ＩＭＧの下部にあると判別手段５ｂにより判別される。したがって、認識手段５ａにより認識された明るい部分ＢＰそれぞれの上方の所定範囲ＰＲ内の明るさが増幅されるように正規化手段５ｃによる正規化が行われる（図３（ｂ）参照）。 In the example shown in FIG. 3A, it is determined by the determination unit 5b that the bright portion BP is below the captured image IMG. Therefore, normalization is performed by the normalizing means 5c so that the brightness within the predetermined range PR above each of the bright portions BP recognized by the recognizing means 5a is amplified (see FIG. 3B).
次に、図３（ａ），（ｂ）を参照して、認識手段５ａにより認識された撮影画像ＩＭＧの明るい部分ＢＰのうち、歩行者１１（障害物）の足元の部分がヘッドライト８に照射されることによる明るい部分ＢＰの上方の所定範囲ＰＲ内の明るさが増幅されるように正規化手段５ｃによる正規化が行われた例について説明する。図３（ａ）に示すように、歩行者１１の足元しかヘッドライト８により照射されていないときには、ヘッドライト８に照射されて明るくなった歩行者１１の足元が、撮影画像ＩＭＧの明るい部分ＢＰとして認識手段５ａにより認識される。 Next, referring to FIGS. 3A and 3B, the foot portion of the pedestrian 11 (obstacle) is the headlight 8 among the bright portions BP of the captured image IMG recognized by the recognition means 5 a. An example will be described in which normalization by the normalizing means 5c is performed so that the brightness within the predetermined range PR above the bright part BP due to irradiation is amplified. As shown in FIG. 3A, when only the foot of the pedestrian 11 is illuminated by the headlight 8, the foot of the pedestrian 11 that is brightened by being illuminated by the headlight 8 is a bright portion BP of the captured image IMG. Is recognized by the recognition means 5a.
ところが、判別手段５ｂによる判別結果に基づいて正規化手段５ｃにより正規化されるこの明るい部分ＢＰの上方の所定範囲ＰＲ内には、ヘッドライト８の光が歩行者１１全体に及ばないことから、認識手段５ａにより明るい部分ＢＰとして認識されるほどには明るくなっていない歩行者１１の上半身１２が存在する。したがって、この所定範囲ＰＲ内が正規化手段５ｃにより正規化されてその明るさが増幅されれば、上半身１２のパターンが撮影画像ＩＭＧの所定範囲ＰＲ内に出現する。 However, the light of the headlight 8 does not reach the entire pedestrian 11 within the predetermined range PR above the bright portion BP that is normalized by the normalizing unit 5c based on the determination result by the determining unit 5b. There is an upper body 12 of the pedestrian 11 that is not bright enough to be recognized as a bright part BP by the recognition means 5a. Therefore, if the predetermined range PR is normalized by the normalizing means 5c and its brightness is amplified, the pattern of the upper body 12 appears in the predetermined range PR of the captured image IMG.
なお、正規化手段５ｃにより増やされる明るさの階調は、上記したように２５６階調（８ｂｉｔ）に限られず、撮影画像ＩＭＧの全体の明暗などに応じて、５１２階調（０（暗）〜５１１（明）、９ｂｉｔ）とするなど、どのように設定してもよい。 Note that the brightness gradation increased by the normalization means 5c is not limited to 256 gradations (8 bits) as described above, and 512 gradations (0 (dark)) according to the overall lightness and darkness of the captured image IMG. ˜511 (bright), 9 bits) may be set in any way.
（４）検出手段５ｄ
検出手段５ｄは、正規化手段５ｃによる正規化が所定範囲ＰＲ内に施された撮影画像ＩＭＧに基づいて、パターン認識により障害物を検出する（図３（ｂ）参照）。すなわち、検出手段５ｄは、認識手段５ａにより認識された明るい部分ＢＰと、その明るい部分ＢＰの上方または下方の所定範囲ＰＲ内の明るさが正規化手段５ｃにより増幅されることにより出現するパターンとが、撮影画像ＩＭＧ上でつながっているかどうか、換言すれば、明るい部分ＢＰと新たに出願したパターンとが、一のパターンとして認識できるかどうかにより障害物を検出する。
(4) Detection means 5d
The detection unit 5d detects an obstacle by pattern recognition based on the captured image IMG that has been normalized by the normalization unit 5c within the predetermined range PR (see FIG. 3B). That is, the detection unit 5d has a bright portion BP recognized by the recognition unit 5a and a pattern that appears when the normalization unit 5c amplifies the brightness within the predetermined range PR above or below the bright portion BP. Are detected on the captured image IMG, in other words, whether the bright part BP and the newly filed pattern can be recognized as one pattern.
図３（ｂ）に示す例では、歩行者１１の足元の部分がヘッドライト８に照射されることによる明るい部分ＢＰの上方の所定範囲ＰＲ内の明るさが増幅されるように正規化手段５ｃによる正規化が行われるが、これにより、上半身１２のパターンが撮影画像ＩＭＧの所定範囲ＰＲ内に新たに出現する。検出手段５ｄは、明るい部分ＢＰと、その上方の所定範囲ＰＲ内に新たに出現した上半身１２とが一のパターンとして認識できるかどうかをパターン認識し、一のパターンとして認識できれば、これにより歩行者１１を検出する。 In the example shown in FIG. 3 (b), the normalizing means 5c so that the brightness within a predetermined range PR above the bright part BP caused by irradiating the headlight 8 with the foot part of the pedestrian 11 is amplified. In this way, the pattern of the upper body 12 newly appears within the predetermined range PR of the captured image IMG. The detection means 5d recognizes whether or not the bright part BP and the upper body 12 newly appearing within the predetermined range PR above the pattern can be recognized as one pattern. 11 is detected.
一方、正規化手段５ｃにより明るさが増幅された所定範囲ＰＲ内に新たなパターンが出現しないか、もしくは、新たなパターンが出現したとしても、新たなパターンと明るい部分ＢＰとが一のパターンとして認識できなければ、検出手段５は、当該明るい部分ＢＰが障害物によりヘッドライト８の光が反射されたものではないこと、すなわち、障害物が存在しないことを検出する。 On the other hand, even if a new pattern does not appear within the predetermined range PR whose brightness has been amplified by the normalizing means 5c, or a new pattern appears, the new pattern and the bright part BP are regarded as one pattern. If not recognized, the detecting means 5 detects that the bright portion BP is not the light reflected from the headlight 8 by the obstacle, that is, the obstacle is not present.
なお、検出手段５ｄによるパターン認識の手法としては、濃淡ヒストグラムによる手法や、エッジ検出による手法など、明るい部分ＢＰと、その明るい部分ＢＰの上方または下方の所定範囲ＰＲ内の明るさが増幅されることにより出現する新たなパターンとにより、何らかの一のパターンが形成されるか、形成されないかを認識できる手法であれば、どのような手法を採用してもよい。 As a pattern recognition method by the detection means 5d, a bright portion BP and a brightness within a predetermined range PR above or below the bright portion BP, such as a method using a density histogram or a method using edge detection, are amplified. Any method may be adopted as long as it can recognize whether a certain pattern is formed or not formed by a new pattern that appears.
（５）報知手段５ｅ
報知手段５ｅは、検出手段５ｄによる、障害物（歩行者１１）の検出に基づき、例えば走行モニタ６に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、障害物の存在を視覚的にドライバに報知する。また、スピーカ７から、検出結果の音声メッセージ、警告音を発生して障害物の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
(5) Notification means 5e
Based on the detection of the obstacle (pedestrian 11) by the detection means 5d, the notification means 5e displays, for example, a warning display superimposed on a map for car navigation being displayed on the travel monitor 6, thereby obstructing the obstacle. The driver is visually informed of the presence of. The speaker 7 generates a voice message and warning sound as a detection result to audibly notify the driver of the presence of an obstacle. The driver's driving assistance is performed by the visual or auditory notification to the driver.
２．動作
次に、上記したように構成された障害物検出装置２の動作について図４を参照して説明する。なお、本実施形態では、車両１が、夜間走行を行ったり、トンネル内などを走行することにより、ヘッドライト８を点灯して走行しているときを例に挙げて説明する。
2. Operation Next, the operation of the obstacle detection apparatus 2 configured as described above will be described with reference to FIG. In the present embodiment, an example will be described in which the vehicle 1 is traveling with the headlights 8 lit by traveling at night or traveling in a tunnel or the like.
まず、車両１のイグニッションキーのオンにより単眼カメラ３による撮影が開始されると、図３（ａ）示すような、単眼カメラ３による車両１前方の撮影画像ＩＭＧの信号がＥＣＵ５に取込まれる。そして、取込まれた撮影画像ＩＭＧのヘッドライト８で照射されて明るい部分ＢＰの認識が認識手段５ａにより行われる（ステップＳ１）。 First, when shooting by the monocular camera 3 is started by turning on the ignition key of the vehicle 1, a signal of the captured image IMG in front of the vehicle 1 by the monocular camera 3 as shown in FIG. Then, the recognition means 5a recognizes the bright portion BP that is irradiated with the headlight 8 of the captured image IMG that has been taken in (step S1).
次に、認識手段５ａにより認識された明るい部分ＢＰが撮影画像ＩＭＧの下部にあるか上部にあるかが判別手段５ｂにより判別される（ステップＳ２）。このとき、認識手段５ａにより複数の明るい部分ＢＰが認識されていれば、認識された複数の明るい部分ＢＰのうち、一の明るい部分ＢＰについての判別が判別手段５ｂにより行われる。そして、判別手段５ｂによる判別結果に応じて、判別が行われた一の明るい部分ＢＰの上方または下方の所定範囲ＰＲ内の明るさが増幅されるように正規化が正規化手段５ｃにより行われる（ステップＳ３）。 Next, it is discriminated by the discriminating means 5b whether the bright part BP recognized by the recognizing means 5a is below or above the captured image IMG (step S2). At this time, if a plurality of bright portions BP are recognized by the recognition unit 5a, the determination unit 5b determines one bright portion BP among the plurality of recognized bright portions BP. Then, normalization is performed by the normalizing unit 5c so that the brightness within the predetermined range PR above or below the one bright part BP subjected to the determination is amplified according to the determination result by the determination unit 5b. (Step S3).
続いて、正規化手段５ｃによる正規化が所定範囲ＰＲ内に施された撮影画像ＩＭＧのパターン認識により、障害物が存在するか、存在しないかが検出手段５ｄにより検出される（ステップＳ４）。そして、検出手段５ｄにより障害物（歩行者１１）が検出されれば、走行モニタ６による警告表示が行われたり、スピーカ７から音声メッセージや警報音が出力されたりすることにより、障害物が存在することがドライバに報知手段５ｅにより報知される（ステップＳ５）。 Subsequently, the detection unit 5d detects whether an obstacle exists or not by pattern recognition of the captured image IMG that has been normalized by the normalizing unit 5c within the predetermined range PR (step S4). If an obstacle (pedestrian 11) is detected by the detecting means 5d, an alarm is displayed by the travel monitor 6, or an audio message or alarm sound is output from the speaker 7, thereby causing an obstacle. This is notified to the driver by the notification means 5e (step S5).
次に、明るい部分ＢＰが、障害物がヘッドライト８の光を反射することによるものであるかどうかを検出する処理が、認識手段５ａにより認識された全ての明るい部分ＢＰについて実行されたかどうかがＥＣＵ５により判定され、全ての明るい部分ＢＰについての処理が終了していなければ（ステップＳ６でＮＯ）、全ての明るい部分ＢＰについての処理が終了するまでステップＳ２〜Ｓ５の処理を繰返し実行する。 Next, whether or not the process of detecting whether or not the bright part BP is caused by the obstacle reflecting the light of the headlight 8 has been executed for all the bright parts BP recognized by the recognition means 5a. If it is determined by the ECU 5 and the processing for all the bright portions BP is not completed (NO in step S6), the processing of steps S2 to S5 is repeatedly executed until the processing for all the bright portions BP is completed.
一方、全ての明るい部分ＢＰについての処理が終了したとＥＣＵ５により判定されれば（ステップＳ６でＹＥＳ）、単眼カメラ３により撮影された次の撮影画像ＩＭＧについて、ステップＳ１からの処理が実行される。これにより、障害物の存在が、ドライバに分かりやすく報知されて、特に夜間や、トンネル内など、ヘッドライト８が点灯されているときの運転支援を実現することができる。 On the other hand, if the ECU 5 determines that the processing for all the bright portions BP has been completed (YES in step S6), the processing from step S1 is executed for the next photographed image IMG photographed by the monocular camera 3. . Thus, the presence of an obstacle is easily notified to the driver, and driving assistance can be realized when the headlight 8 is turned on, particularly at night or in a tunnel.
以上のように、この実施形態によれば、撮影画像ＩＭＧのヘッドライト８で照射されて明るい部分ＢＰが認識手段５ａにより認識され、認識手段５ａにより認識された明るい部分ＢＰが撮影画像ＩＭＧの下部にあると判別手段５ｂにより判別されれば、明るい部分ＢＰの上方の所定範囲ＰＲ内の明るさが当該所定範囲ＰＲの階調が増えるように正規化手段５ｃにより正規化される。また、認識手段５ａにより認識された明るい部分ＢＰが撮影画像ＩＭＧの上部にあると判別手段５ｂにより判別されれば、明るい部分ＢＰの下方の所定範囲ＰＲ内の明るさが当該所定範囲ＰＲの階調が増えるように正規化手段５ｃにより正規化される。 As described above, according to this embodiment, the bright part BP irradiated with the headlight 8 of the photographed image IMG is recognized by the recognition means 5a, and the bright part BP recognized by the recognition means 5a is the lower part of the photographed image IMG. If it is determined by the determining means 5b, the brightness within the predetermined range PR above the bright part BP is normalized by the normalizing means 5c so that the gradation of the predetermined range PR increases. Further, if the determination unit 5b determines that the bright part BP recognized by the recognition unit 5a is above the captured image IMG, the brightness within the predetermined range PR below the bright part BP is the level of the predetermined range PR. Normalization is performed by the normalizing means 5c so as to increase the key.
このとき、例えば、障害物（歩行者１１）が部分的にしかヘッドライト８により照射されておらず、障害物の一部分しか撮影画像ＩＭＧの明るい部分ＢＰとして認識手段５ａにより認識されなくとも、判別手段５ｂによる判別結果に基づく正規化が明るい部分ＢＰの上方または下方の所定範囲ＰＲ内に施されることにより、正規化が施された所定範囲ＰＲ内に障害物の残りの部分（上半身１２）のパターンが出現する。したがって、所定範囲ＰＲ内の明るさの階調が増えるように正規化が施された撮影画像ＩＭＧのパターン認識により、ヘッドライト８の光により一部分しか明るくなっていないにも関わらず、障害物が検出手段５ｄにより検出されるため、障害物がヘッドライト８により部分的にしか照射されていないときであっても障害物を早期に検出することができる。 At this time, for example, even if the obstacle (pedestrian 11) is only partially illuminated by the headlight 8, and only a part of the obstacle is recognized by the recognition means 5a as the bright part BP of the captured image IMG, the determination is made. The normalization based on the determination result by the means 5b is performed within the predetermined range PR above or below the bright portion BP, so that the remaining part of the obstacle (upper body 12) within the predetermined range PR subjected to normalization. Pattern appears. Therefore, although the pattern recognition of the captured image IMG that has been normalized so that the brightness gradation within the predetermined range PR is increased, the obstacle is not brightened even though it is only partially brightened by the light of the headlight 8. Since the detection means 5d detects the obstacle, the obstacle can be detected at an early stage even when the obstacle is only partially irradiated by the headlight 8.
また、本実施形態では、障害物が存在すると想定される明るい部分ＢＰの上方または下方の所定範囲ＰＲ内のみ正規化を行うため、撮影画像ＩＭＧの全体を正規化するのに比べて処理の高速化を図ることができると共に、障害物の検出を効率よく行うことができる。また、撮影画像ＩＭＧの全体の明るさの階調が増えるように撮影画像ＩＭＧの全体を正規化すれば、障害物検出に必要のない背景部分の明るさまで増幅されて画像ノイズとなり、障害物の誤検出の原因となるおそれがあるが、撮影画像ＩＭＧの所定範囲ＰＲ内のみを部分的に正規化を行うことで、背景部分の明るさが増幅されることによる画像ノイズを原因とする障害物の誤検出を防止することができる。 Further, in the present embodiment, normalization is performed only within a predetermined range PR above or below the bright portion BP where an obstacle is assumed to exist, so that the processing speed is faster than normalizing the entire captured image IMG. The obstacle can be detected efficiently. Further, if the entire captured image IMG is normalized so that the overall brightness gradation of the captured image IMG increases, the brightness of the background portion that is not necessary for obstacle detection is amplified to become image noise, and the obstacle noise There is a risk of erroneous detection, but an obstacle caused by image noise due to the brightness of the background portion being amplified by partially normalizing only within the predetermined range PR of the captured image IMG False detection can be prevented.
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ３を、後進の際に後方の路面を撮影可能に車両１に後部に取付けてもよい。このとき、撮影画像ＩＭＧのバックライトで照射されて明るい部分ＢＰを認識手段５ａにより認識すればよい。 Note that the present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit thereof. For example, the monocular camera 3 is moved backward. Alternatively, the rear road surface may be attached to the rear of the vehicle 1 so that it can be photographed. At this time, the recognition unit 5a may recognize the bright portion BP irradiated with the backlight of the captured image IMG.
また、上記した実施形態では、判別手段５ｂによる判別結果に基づいて、認識手段５ａにより認識された明るい部分ＢＰの上方および下方のいずれか一方のみの所定範囲ＰＲ内の正規化が実行されるように構成されているが、これを、上方および下方両方の所定範囲ＰＲ内の正規化が正規化手段５ｃにより実行されるようにしてもよい。このように構成すれば、認識手段５ａにより認識された明るい部分ＢＰが、障害物がヘッドライト８などのライトの光を反射することによるものであるのかどうかを、すなわち、明るい部分ＢＰに障害物が存在するのかどうかを、さらに確実に検出手段５ｄにより検出することができる。 In the embodiment described above, normalization within the predetermined range PR is performed only on either the upper side or the lower side of the bright portion BP recognized by the recognition unit 5a based on the determination result by the determination unit 5b. However, normalization within both the upper and lower predetermined ranges PR may be performed by the normalizing means 5c. If comprised in this way, it will be judged whether the bright part BP recognized by the recognition means 5a is a thing by an obstacle reflecting light of lights, such as the headlight 8, ie, an obstacle to a bright part BP. Can be detected by the detecting means 5d more reliably.
また、検出手段５ｄによる撮影画像ＩＭＧのパターン認識は、撮影画像ＩＭＧのうち、明るい部分ＢＰおよび、この明るい部分ＢＰの上方または下方の所定範囲ＰＲを最低限含む領域で行うのが、処理の効率上望ましい。しかしながら、撮影画像ＩＭＧの全領域において検出手段５ｄによるパターン認識を行ってもよい。また、全ての明るい部分ＢＰについて、その上方または下方の所定範囲ＰＲ内の正規化が終了した後に、検出手段５ｄのパターン認識による障害物検出を行ってもよい。 In addition, the pattern recognition of the captured image IMG by the detection unit 5d is performed in a region including at least the bright portion BP and the predetermined range PR above or below the bright portion BP in the captured image IMG. Desirable above. However, pattern recognition by the detection means 5d may be performed on the entire region of the captured image IMG. Further, obstacle detection by pattern recognition of the detection means 5d may be performed after normalization within a predetermined range PR above or below all bright portions BP.
また、上記した実施形態では、夜間走行の際や、トンネル内を走行する際にヘッドライト８が点灯されている状態を例に挙げて説明したが、本発明が適用されるのは、夜間走行およびトンネル内走行のためにヘッドライト８が点灯されている状態に限られるものではない。 In the above-described embodiment, the state in which the headlight 8 is turned on when traveling at night or when traveling in a tunnel has been described as an example. However, the present invention is applied to traveling at night. In addition, the present invention is not limited to the state in which the headlight 8 is turned on for traveling in the tunnel.
また、上記した実施形態では、検出手段５ｄはパターン認識により障害物の検出を行うように構成されているが、例えば、単眼カメラ３により時系列に撮影されて正規化が施された撮影画像ＩＭＧを、メモリやハードディスクドライブなどにより構成される記憶手段に格納し、記憶手段に格納された時系列の撮影画像ＩＭＧから導出される、撮影画像ＩＭＧ内での位置を示す時系列の特徴点の動き（オプティカルフロー）などに基づいて、検出手段５ｄが障害物を検出するようにしてもよい。 In the above-described embodiment, the detection unit 5d is configured to detect an obstacle by pattern recognition. For example, the captured image IMG captured in time series by the monocular camera 3 and normalized. Of the time-series feature point indicating the position in the captured image IMG, which is derived from the time-series captured image IMG stored in the storage unit. The detecting means 5d may detect an obstacle based on (optical flow) or the like.
また、本発明は種々の車両の障害物検出に適用することができる。 Further, the present invention can be applied to obstacle detection of various vehicles.
３ 単眼カメラ（車載カメラ）
５ａ 認識手段
５ｂ 判別手段
５ｃ 正規化手段
５ｄ 検出手段
８ ヘッドライト（ライト）
１１ 歩行者（障害物）
ＩＭＧ 撮影画像
ＢＰ 明るい部分
ＰＲ 所定範囲
3 Monocular camera (vehicle camera)
5a recognition means 5b discrimination means 5c normalization means 5d detection means 8 headlight (light)
11 Pedestrians (obstacles)
IMG image BP Bright area PR Predetermined range
Claims (1)
前記撮影画像のライトで照射されて明るい部分を認識する認識手段と、
前記明るい部分が前記撮影画像の下部にあるか上部にあるかを判別する判別手段と、
前記判別手段による判別が下部との結果であれば、前記明るい部分の上方の所定範囲内の明るさを前記所定範囲の階調が増えるように正規化し、前記判別手段による判別が上部との結果であれば、前記明るい部分の下方の前記所定範囲内の明るさを前記所定範囲の階調が増えるように正規化する正規化手段と、
前記正規化が前記所定範囲内に施された前記撮影画像に基づいて障害物を検出する検出手段と
を備えることを特徴とする障害物検出装置。 In an obstacle detection device that detects an obstacle from a captured image of an in-vehicle camera,
Recognizing means for recognizing a bright part irradiated with light of the photographed image;
A discriminating means for discriminating whether the bright portion is at the bottom or the top of the captured image;
If the discrimination by the discrimination means is the result of the lower part, the brightness within the predetermined range above the bright part is normalized so that the gradation of the predetermined range increases, and the discrimination by the discrimination means is the result of the upper part If so, normalization means for normalizing the brightness within the predetermined range below the bright part so that the gradation of the predetermined range increases,
An obstacle detection apparatus comprising: a detection unit that detects an obstacle based on the photographed image subjected to the normalization within the predetermined range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009238176A JP2011086097A (en) | 2009-10-15 | 2009-10-15 | Obstacle detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009238176A JP2011086097A (en) | 2009-10-15 | 2009-10-15 | Obstacle detection device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011086097A true JP2011086097A (en) | 2011-04-28 |
Family
ID=44078997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009238176A Withdrawn JP2011086097A (en) | 2009-10-15 | 2009-10-15 | Obstacle detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011086097A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015148887A (en) * | 2014-02-05 | 2015-08-20 | 株式会社リコー | Image processing device, object recognition device, moving body instrument control system and object recognition program |
| CN105654778A (en) * | 2014-12-01 | 2016-06-08 | 星克跃尔株式会社 | Electronic apparatus and control method thereof |
| JP2018041209A (en) * | 2016-09-06 | 2018-03-15 | 本田技研工業株式会社 | Object recognition device, model information generation device, object recognition method, and object recognition program |
| US10497178B2 (en) | 2014-12-01 | 2019-12-03 | Thinkware Corporation | Electronic apparatus, control method thereof, computer program, and computer-readable recording medium |
| WO2020129517A1 (en) * | 2018-12-18 | 2020-06-25 | 日立オートモティブシステムズ株式会社 | Image processing device |
-
2009
- 2009-10-15 JP JP2009238176A patent/JP2011086097A/en not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015148887A (en) * | 2014-02-05 | 2015-08-20 | 株式会社リコー | Image processing device, object recognition device, moving body instrument control system and object recognition program |
| CN105654778A (en) * | 2014-12-01 | 2016-06-08 | 星克跃尔株式会社 | Electronic apparatus and control method thereof |
| CN110091798A (en) * | 2014-12-01 | 2019-08-06 | 星克跃尔株式会社 | Electronic device, the control method of electronic device and computer readable storage medium |
| US10497178B2 (en) | 2014-12-01 | 2019-12-03 | Thinkware Corporation | Electronic apparatus, control method thereof, computer program, and computer-readable recording medium |
| US11030816B2 (en) | 2014-12-01 | 2021-06-08 | Thinkware Corporation | Electronic apparatus, control method thereof, computer program, and computer-readable recording medium |
| JP2018041209A (en) * | 2016-09-06 | 2018-03-15 | 本田技研工業株式会社 | Object recognition device, model information generation device, object recognition method, and object recognition program |
| WO2020129517A1 (en) * | 2018-12-18 | 2020-06-25 | 日立オートモティブシステムズ株式会社 | Image processing device |
| CN113228130A (en) * | 2018-12-18 | 2021-08-06 | 日立安斯泰莫株式会社 | Image processing apparatus |
| JPWO2020129517A1 (en) * | 2018-12-18 | 2021-10-07 | 日立Astemo株式会社 | Image processing device |
| JP7201706B2 (en) | 2018-12-18 | 2023-01-10 | 日立Astemo株式会社 | Image processing device |
| CN113228130B (en) * | 2018-12-18 | 2023-01-17 | 日立安斯泰莫株式会社 | Image processing apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4496964B2 (en) | Tunnel detection device for vehicle and light control device for vehicle | |
| US7952490B2 (en) | Method for identifying the activation of the brake lights of preceding vehicles | |
| JP6447545B2 (en) | Vehicle lighting device | |
| KR101428236B1 (en) | vehicle housekeeping log system and method thereof | |
| JP5125798B2 (en) | Vehicle headlight control device | |
| JP2008094249A (en) | Vehicle detection system and headlamp controller | |
| KR101746746B1 (en) | A driver assistance system and method for a motor vehicle | |
| JP2011086097A (en) | Obstacle detection device | |
| JP2010113601A (en) | Vehicle warning apparatus | |
| JP2007323578A (en) | Vehicle periphery monitoring device | |
| JP2008065463A (en) | Image processor | |
| JP2008189148A (en) | Traveling state detection device | |
| JP5484123B2 (en) | Vehicle obstacle detection device | |
| JP4735090B2 (en) | Infrared imaging device | |
| JP2011227657A (en) | Device for monitoring periphery of vehicle | |
| JP2004341801A (en) | Chased vehicle lamp detection system and chased vehicle lamp detection method | |
| JP5333260B2 (en) | Vehicle approach sound control device | |
| JP2011103058A (en) | Erroneous recognition prevention device | |
| JP2009037542A (en) | Adjacent vehicle detection apparatus and adjacent vehicle detection method | |
| JP2009067240A (en) | Departure notification device | |
| JP2011258121A (en) | Obstacle recognition device | |
| JP2004051006A (en) | Intersection accident prevention device and program | |
| JP2005267030A (en) | Pedestrian outline extraction method and pedestrian outline extraction device | |
| JP2013025568A (en) | Approaching obstacle detecting device and program | |
| JP2003009140A (en) | Pedestrian detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130108 |