JP4909217B2 - 障害物認識装置 - Google Patents

Description

本発明は、撮像手段で撮像した自車周辺の画像中の物体像を障害物として認識する障害物認識装置に関する。

カメラで撮像した自車周辺の画像から障害物を識別する際に、路面が濡れて水が溜まった状態にあると、障害物が濡れた路面に反射して写り込むために、障害物の物体像とそれを上下反転した反射像とが一体になって撮像されてしまい、実際の障害物とは形状および位置が異なる障害物が誤認識されてしまう問題がある。

そこで、車両の左右方向に離間した位置に設けた２台のステレオカメラで視点の異なる二つの画像を撮像し、それらの二つの画像の物体像の相関値を比較して前記物体像が路面の反射による反射像を含むものか否かを判定することで、濡れた路面の反射の影響を除去して真の障害物だけを認識するものが、下記特許文献１により公知である。
特開２００２−３５２２２５号公報

しかしながら上記従来のものは、２台のステレオカメラを必要とするためにコストが増加するだけでなく、２台のステレオカメラで撮像した二つの画像を処理する演算が複雑であるためにコンピュータの演算負荷が増大する問題があった。

本発明は前述の事情に鑑みてなされたもので、単一の撮像手段および簡単な演算処理で、濡れた路面の反射の影響を除去して障害物を精度良く認識することを目的とする。

上記目的を達成するために、請求項１に記載された発明によれば、撮像手段で撮像した自車周辺の画像中の物体像を障害物として認識する障害物認識装置において、前記物体像のうちから障害物候補の物体像を抽出する障害物候補抽出手段と、前記障害物候補抽出手段で抽出した物体像を上側の物体像および下側の物体像に上下二分割するとともに、下側の物体像を上下反転した反転像を作成する反転像作成手段と、前記上側の物体像および前記反転像の類似度を判定する類似度判定手段と、前記類似度が第１閾値以上の場合に前記上側の物体像を障害物と認識するとともに、前記類似度が前記第１閾値よりも小さい第２閾値未満の場合に前記二分割前の物体像を障害物と認識する障害物認識手段とを備えることを特徴とする障害物認識装置が提案される。

また請求項２に記載された発明によれば、請求項１の構成に加えて、前記類似度が前記第２閾値以上で前記第１閾値未満の場合において、前記類似度が最も高くなる位置を路面位置として推定する路面位置推定手段を備え、前記障害物認識手段は前記路面位置よりも上側の物体像を障害物と認識することを特徴とする障害物認識装置が提案される。

また請求項３に記載された発明によれば、請求項２の構成に加えて、前記路面位置推定手段は、分割前の物体像の上下方向中心から所定範囲内で路面位置を推定することを特徴とする障害物認識装置が提案される。

また請求項４に記載された発明によれば、請求項２または請求項３の構成に加えて、前記路面位置推定手段は、分割前の物体像の上下方向中心から下側で路面位置を推定することを特徴とする障害物認識装置が提案される。

また請求項５に記載された発明によれば、請求項１〜請求項４の何れか１項の構成に加えて、前記類似度に基づいて路面の状態を判定する路面状態判定手段を備えることを特徴とする障害物認識装置が提案される。

尚、実施の形態のカメラＣは本発明の撮像手段に対応する。

請求項１の構成によれば、撮像手段で撮像した自車周辺の画像中の物体像を上側の物体像および下側の物体像に上下二分割するとともに、下側の物体像を上下反転した反転像を作成し、上側の物体像および反転像の類似度が第１閾値以上の場合に前記上側の物体像を障害物と認識し、また前記類似度が前記第１閾値よりも小さい第２閾値未満の場合に前記二分割前の物体像を障害物と認識するので、２台の撮像手段を必要とせずに１台の撮像手段を設けるだけで、また１台の撮像手段で撮像した画像に簡単な演算処理を施すだけで、濡れた路面の反射の影響を除去して障害物を精度良く認識することができる。

また請求項２の構成によれば、上側の物体像および反転像の類似度が第２閾値以上で第１閾値未満の場合に、類似度が最も高くなる位置を路面位置として推定し、路面位置よりも上側の物体像を障害物と認識するので、濡れた路面の状況により下側の物体像の一部が欠けている場合であっても、障害物を支障無く認識することができる。

また請求項３の構成によれば、分割前の物体像の上下方向中心から所定範囲内で路面位置を推定するので、路面位置を探す演算負荷を最小限に抑えることができる。

また請求項４の構成によれば、分割前の物体像の上下方向中心から下側で路面位置を推定するので、路面位置が存在し得ない画像の上下方向中心から上側で路面位置を探す無駄を回避することができる。

また請求項５の構成によれば、上側の物体像および反転像の類似度に基づいて路面が濡れているか否かの路面状態を精度良く判定することができる。

以下、本発明の実施の形態を添付の図面に基づいて説明する。

図１〜図６は本発明の実施の形態を示すもので、図１はカメラを装備した自動車の側面図、図２は障害物認識装置のブロック図、図３は路面が濡れていないときの障害物認識過程の説明図、図４は路面が広範囲に濡れているときの障害物認識過程の説明図、図５は路面が部分的に濡れているときの障害物認識過程の説明図、図６は障害物認識のフローチャートである。

図１に示すように、自動車のルーフの前端に単一のカメラＣが設けられており、そのカメラＣは自車の障害物となり得る物体を識別すべく、自車前方の道路を含む所定の領域を撮像する。

図２に示すように、電子制御ユニットＵは、障害物候補抽出手段Ｍ１と、反転像作成手段Ｍ２と、類似度判定手段Ｍ３と、路面位置推定手段Ｍ４と、障害物認識手段Ｍ５と、路面状態判定手段Ｍ６と、車両制御手段Ｍ７とを備えており、障害物候補抽出手段Ｍ１にはカメラＣが接続され、車両制御手段Ｍ７にはブザー、チャイム、音声等で運転者に警報を発する警報装置Ｗと、車輪ブレーキを自動的に作動させる制動装置Ｂとが接続される。

障害物候補抽出手段Ｍ１は、カメラＣで撮像した自車前方の画像から、エッジ検出処理等により物体像を抽出し、抽出した物体像にパターンマッチング等の手法を適用することにより、自車の障害物となり得る物体の物体像を抽出する。この物体像からは、路面に描かれた文字や図形は除かれる。その理由は、路面に描かれた文字や図形は自車の障害物となり得ないからである。また前記物体像からは、上下対称な形状のものは除かれる。その理由は、本実施の形態の手法では、上下対称な形状の物体像は路面の反射像を含むものであるか否かを識別できないからである。

障害物候補抽出手段Ｍ１により実際に抽出される自車の障害物となり得る物体は、例えば歩行者や車両である。以下、その一例として障害物として歩行者を認識する場合について説明する。

図３における符号Ｐ０は、路面が乾いている場合に障害物候補抽出手段Ｍ１が抽出した歩行者の物体像であり、図４における符号Ｑ０は、路面の広い範囲に水溜まりができている場合に障害物候補抽出手段Ｍ１が抽出した歩行者の物体像であり、図５における符号Ｒ０は、路面の一部に水溜まりができている場合に障害物候補抽出手段Ｍ１が抽出した歩行者の物体像である。路面が濡れて大きな水溜まりができていると歩行者の姿が路面に反射されるため、路面を境にして歩行者の真の物体像と、それに対して上下対称な歩行者の反射像とが一体になったものが、障害物候補抽出手段Ｍ１により物体像として抽出されてしまう（図４のＱ０参照）。このような場合に、歩行者の真の物体像と、それに対して上下対称な歩行者の反射像とが一体になったものを一人の歩行者の物体像であると誤認すると、反射像の下端（頭部に対応する位置）を基準として歩行者の位置を認識するため、自車から歩行者までの距離が実際の距離よりも近いように誤認されて無駄な警報や自動制動が行われる可能性がある。

このような不都合を回避するために、本実施の形態によれば、図３〜図５に示すように、反転像作成手段Ｍ２が物体像Ｐ０，Ｑ０，Ｒ０を上側の物体像Ｐ１，Ｑ１，Ｒ１と下側の物体像Ｐ２，Ｑ２，Ｒ２とに上下二分割するとともに、下側の物体像Ｐ２，Ｑ２，Ｒ２を上下反転して反転像Ｐ２′，Ｑ２′，Ｒ２′を作成する。その結果、反射像を含まない図３の物体像Ｐ０は歩行者の上半身に対応する上側の物体像Ｐ１と、歩行者の上下反転した下半身に対応する反転像Ｐ２′とに分割される。一方、反射像を含む図４の物体像Ｑ０は歩行者の全身に対応する上側の物体像Ｑ１と、同じく歩行者の全身に対応する反転像Ｑ２′とに分割される。更に、路面の一部に水溜まりがあるために下側の物体像Ｒ２の頭部が欠けている図５の物体像Ｒ０は、上下二分割することで上側の物体像Ｒ１の足部分が欠けてしまい、その足部分が頭部が欠けた反転像Ｒ２′側に付加されてしまう。

類似度判定手段Ｍ３は、図３の上側の物体像Ｐ１および反転像Ｐ２′間の相関値と、図４の上側の物体像Ｑ１および反転像Ｑ２′間の相関値と、図５の上側の物体像Ｒ１および反転像Ｒ２′間の相関値とを算出する。

図３の場合には、上側の物体像Ｐ１は歩行者の上半身に対応し、反転像Ｐ２′は歩行者の上下反転した下半身に対応するため、上側の物体像Ｐ１と反転像Ｐ２′との相関値Ａは第２閾値ｔｈ２未満になる。このように、
Ａ＜ｔｈ２
が成立するとき、類似度判定手段Ｍ３は上側の物体像Ｐ１および反転像Ｐ２′間の相関値Ａが低いと判定し、障害物認識手段Ｍ５は、上下二分割する前の物体像（図３のＰ０）を障害物の物体像であると認識する。

一方、図４の場合には、上側の物体像Ｑ１は歩行者の全身に対応し、反転像Ｑ２′も歩行者の全身に対応するため、上側の物体像Ｑ１と反転像Ｑ２′との相関値Ａは前記第２閾値ｔｈ２よりも大きい第１閾値ｔｈ１以上となる。このように、
Ａ≧ｔｈ１
が成立するとき、類似度判定手段Ｍ３は上側の物体像Ｑ１および反転像Ｑ２′間の相関値Ａが高いと判定し、障害物認識手段Ｍ５は、上下二分割した後の上側の物体像（図４のＱ１）を障害物の物体像であると認識する。

更に、図５の場合には、上側の物体像Ｒ１は歩行者の足部分が欠け、反転像Ｒ２′は頭部が欠けて足部分が付加されるため、上側の物体像Ｒ１と反転像Ｒ２′との相関値Ａは中程度となり、前記第２閾値ｔｈ２以上で前記第１閾値ｔｈ１未満となる。このように、
ｔｈ２≦Ａ＜ｔｈ１
が成立するとき、類似度判定手段Ｍ３は上側の物体像Ｒ１および下側の反転像Ｒ２′間の相関値Ａが中程度であると判定し、路面位置推定手段Ｍ４が物体像Ｒ０における路面位置（図５参照）を推定する。

具体的は、図５において物体像Ｒ０の上下方向中心位置を基準として上下分割線を上下方向に移動させ、その移動させた上下分割線を挟む物体像Ｒ１と反転像Ｒ２′との相関値Ａを算出し、算出された相関値Ａが最大になる位置に最終的な上下分割線を設定する。相関値Ａが最大になるとき、上下分割線の位置は物体像Ｒ１の足と反転像Ｒ２′の足との境目、つまり路面位置となる。何故ならば、路面位置で物体像Ｒ１と反転像Ｒ２′とを分割したとき、その相関値Ａが最大になるからである。そして障害物認識手段Ｍ５は路面位置の上側の物体像（図５のＲ１′）を障害物の物体像であると認識する。

路面位置（図５参照）を推定するとき、上下分割線を上下方向中心位置の近傍であって、かつ上下方向中心位置の下側で移動させることで、路面位置を推定するための演算負荷を最小限に抑えることができる。その理由は、下側の反転像Ｒ２は一部が欠けているため、路面位置は物体像Ｒ０の上下方向中心位置よりも僅かに下方にずれている筈だからである。

路面状態判定手段Ｍ６は、上下二分割する前の物体像（図３のＰ０参照）が障害物の物体像であると認識された場合、つまり路面における反射が発生していない場合には、路面が乾燥してると判定する。一方、路面状態判定手段Ｍ６は、上下二分割した後の上側の物体像（図４のＱ１参照）が障害物の物体像であると認識された場合、つまり路面における反射が発生している場合には、路面が広範囲に濡れていると判定する。更に、路面状態判定手段Ｍ６は、上下二分割した後の下側の反転像（図５のＲ２′参照）の一部が欠けていると認識された場合、つまり路面における反射が部分的に発生している場合には、路面が部分的に濡れていると判定する。

しかして、車両制御手段Ｍ７は、障害物認識手段Ｍ５で認識した障害物の距離および位置と、そのときの自車の運転状態（車速や操舵角）とを比較し、自車が障害物に接触する可能性があると判断したときには警報装置Ｗを作動させて運転者に制動を促したり、制動装置Ｂを自動的に作動させたりして障害物との接触を回避する。このとき、路面状態判定手段Ｍ６により路面状態が濡れていると判定されている場合には、その濡れ具合に応じて警報装置Ｗを作動させるタイミングや制動装置Ｂを作動させるタイミングを早めたりすることで、障害物との接触を一層確実に回避することができる。

上記作用を、図６のフローチャートに基づいて再度説明する。

先ずステップＳ１でカメラＣにより自車前方の画像を撮像し、ステップＳ２で前記画像中に歩行者や車両のような障害物候補となる物体の画像が抽出されれば、ステップＳ３で障害物候補の画像を上側の物体像と、下側の物体像を上下反転した反転像とに二分割する。ステップＳ４で上側の物体像および反転像の相互間の相関値Ａを算出し、ステップＳ５で相関値Ａが第２閾値ｔｈ２未満であれば、ステップＳ６で二分割前の物体像をそのまま障害物の画像として認識し、ステップＳ７で路面が濡れていないと判定する。一方、前記ステップＳ５で相関値Ａが第２閾値ｔｈ２未満でなく、かつステップＳ８で相関値Ａが第１閾値ｔｈ１以上であれば、ステップＳ９で反転像を切り捨てて上側の物体像だけを障害物の画像として認識し、ステップＳ１０で路面が広範囲に濡れていると判定する。

またステップＳ５，Ｓ８で相関値Ａが第２閾値ｔｈ２以上、第１位置ｔｈ１未満であれば、ステップＳ１１で物体像における路面位置を推定し、ステップＳ１２で前記路面位置よりも上側の物体像を障害物の画像として認識し、ステップＳ１３で路面が部分的に濡れていると判定する。

そしてステップＳ１４で路面の状況に応じた車両制御を実行する。

以上のように、本実施の形態によれば、２台のステレオカメラを必要とせずに、単一のカメラＣを用いるだけで、濡れた路面の反射の影響を排除して歩行者や車両のような障害物の形状や位置を精度良く識別することができる。しかも、２台のステレオカメラで撮像した２枚の画像を処理する必要がなく、１枚の画像を処理するだけで済むため、電子制御ユニットＵの演算負荷を軽減して素早い処理を可能にすることができる。

以上、本発明の実施の形態を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。

例えば、カメラＣで撮像した画像から物体像を抽出する処理には、公知の任意の手法を用いることができる。

また上側の物体像Ｐ１，Ｑ１，Ｒ１と反転像Ｐ２′，Ｑ２′，Ｒ２′との相関値Ａを算出する処理には、公知の任意の手法を用いることができる。

カメラを装備した自動車の側面図 障害物認識装置のブロック図 路面が濡れていないときの障害物認識過程の説明図 路面が広範囲に濡れているときの障害物認識過程の説明図 路面が部分的に濡れているときの障害物認識過程の説明図 障害物認識のフローチャート

Ｃ カメラ（撮像手段）
Ｍ１ 障害物候補抽出手段
Ｍ２ 反転像作成手段
Ｍ３ 類似度判定手段
Ｍ４ 路面位置推定手段
Ｍ５ 障害物認識手段
Ｍ６ 路面状態判定手段

Claims (5)

1. 撮像手段（Ｃ）で撮像した自車周辺の画像中の物体像を障害物として認識する障害物認識装置において、
   前記物体像のうちから障害物候補の物体像を抽出する障害物候補抽出手段（Ｍ１）と、 前記障害物候補抽出手段（Ｍ１）で抽出した物体像を上側の物体像および下側の物体像に上下二分割するとともに、下側の物体像を上下反転した反転像を作成する反転像作成手段（Ｍ２）と、
   前記上側の物体像および前記反転像の類似度を判定する類似度判定手段（Ｍ３）と、
   前記類似度が第１閾値（ｔｈ１）以上の場合に前記上側の物体像を障害物と認識するとともに、前記類似度が前記第１閾値（ｔｈ１）よりも小さい第２閾値（ｔｈ２）未満の場合に前記二分割前の物体像を障害物と認識する障害物認識手段（Ｍ５）と、
   を備えることを特徴とする障害物認識装置。
2. 前記類似度が前記第２閾値（ｔｈ２）以上で前記第１閾値（ｔｈ１）未満の場合において、前記類似度が最も高くなる位置を路面位置として推定する路面位置推定手段（Ｍ４）を備え、前記障害物認識手段（Ｍ５）は前記路面位置よりも上側の物体像を障害物と認識することを特徴とする、請求項１に記載の障害物認識装置。
3. 前記路面位置推定手段（Ｍ４）は、分割前の物体像の上下方向中心から所定範囲内で路面位置を推定することを特徴とする、請求項２に記載の障害物認識装置。
4. 前記路面位置推定手段（Ｍ４）は、分割前の物体像の上下方向中心から下側で路面位置を推定することを特徴とする、請求項２または請求項３に記載の障害物認識装置。
5. 前記類似度に基づいて路面の状態を判定する路面状態判定手段（Ｍ６）を備えることを特徴とする、請求項１〜請求項４の何れか１項に記載の障害物認識装置。

Images