JP5082923B2 - 車両障害物検出装置 - Google Patents

Description

本発明は、車両側方の溝や縁石等の障害物を検出する車両障害物検出装置に関する。

従来、この種の技術としては、例えばパターンマッチング等の画像処理技術を用いたものが知られている。この画像処理技術を用いて道路形状や障害物を検出する方法の一例としては、同じ高さで横方向に一定間隔に設置された２つのカメラで撮影された車両の前景画像の視差を用いて三角測量法で画像各領域に映された物体までの距離を算出する、所謂ステレオカメラという技術が知られている。このような技術を用いて車両前方の道路形状や障害物の位置を検出し、検出結果に基づいて車両が通行可能か否かを運転者に提示するシステムとして、例えば以下に示す文献に記載されたものが知られている（特許文献１参照）。
特開平９−１２８６８７号公報

画像処理技術を用いて車両の走行に障害となる障害物を検出する従来の手法においては、撮影された画像の時間的な差分を用いる、もしくは検出領域や検出方向を限定するなど検出する対象に応じて様々な処理方法が提案されているが、いずれの方法であっても撮影された画像における各画素の色や輝度、明度またはそれらの差の情報に基づいて検出処理を行っていた。このため、例えば検出対象の角が丸みを帯びている場合には、光の当たり方によってはその周辺の画素の輝度や明度の変化が少なくなり、その物体の輪郭を検出できず、障害物として認識できないおそれがあった。

そこで、本発明は、上記に鑑みてなされたものであり、その目的とするところは、車両側方の道路形状を含めた車両走行に障害となる障害物の検出精度を高めた車両障害物検出装置を提供することにある。

上記目的を達成するために、本発明の課題を解決する手段は、車両側方に車両側端から所定の長さの一条の障害物検出用光線を照射する光線照射手段と、前記光線照射手段から照射された障害物検出用光線を含む所定の範囲を撮影する撮影手段と、前記撮影手段で撮影された障害物検出用光線をトレースして得られる障害物検出用光線の色、輝度、明るさの少なくとも１つの状態が、前記光線照射手段から照射された障害物検出用光線のものと同じか否かを判別し、その判別結果に基づいて、車両側方の障害物を検出する検出手段とを有することを特徴とする。

本発明によれば、車体側方の溝や縁石などの障害物を検出する精度を向上することができる。

以下、図面を用いて本発明を実施するための最良の実施例を説明する。

図１は本発明の実施例１に係る車両障害物検出装置の構成を示す図である。図１に示す実施例１の検出装置は、光線照射手段１１、撮影手段１２、画像処理手段１３、制御手段１４ならびに表示手段１５を備えて構成されている。

光線照射手段１１は、車両側方の溝（側溝）や縁石等の道路形状を含めた車両の走行に障害となる障害物を検出する光線として、予め設定された特定波長の障害物検出用光線を車両側方に照射する。照射する障害物検出用光線は、例えば近赤外線や赤色レーザー光などの可視光を用いることが可能であり、照射された障害物検出用光線を撮影する撮影手段１２として例えば既存のＣＣＤカメラを採用した場合には、ＣＣＤカメラと比較的相性のよい近赤外線が好適である。

光線照射手段１１は、例えば車両の左前輪側の側方の障害物を検出する場合には、図２に示すように、例えば確実に車体と同じ平面上となる前輪外側の接地位置を始点に、車両中心線に対して垂直外側方向に所定距離、例えば１．５ｍ程度の長さの障害物検出用光線を照射する。このような照射の場合に、光線照射手段１１は、例えば図３に示すように、ドアミラー３１の内部に光線照射手段１１を構成する発光素子を設置し、ドアミラー３１の前面下側に障害物検出用光線の照射口となるスリット３２を設けることで実現される。光線の照射方法としては、光源として発光ダイオードなどを用いて所定の長さ分を一度に照射すようにしてもよく、もしくはスキャニングレーダーのように所定の長さに光が照射されるように高速で発光素子をスキャンさせるようにしてもよい。

なお、車両の右前輪側側方の障害物を検出する場合には、車両の右側のドアミラー３１に光線照射手段１１を設置して上記と同等にして障害物検出用光線を照射することで可能であり、左右後輪側側方の障害物を検出する場合であっても、ドアミラー３１の後方側に光線照射手段１１を設置して上記と同様にして障害物検出用光線を照射することで可能である。

撮影手段１２は、光線照射手段１１が照射する波長の障害物検出用光線を検知して撮影することができる車載のカメラ３３で構成され、障害物検出用光線の照射範囲を含む所定の範囲を撮影できるように設置され、例えば図３に示すように、車両側方を撮影した画像に基づいて車両側方を監視するサイドブラインドモニタシステムで採用されているカメラの取付位置と同様に、ドアミラー３１の下方に車載のカメラ３３が設置される。

なお、カメラ３３の設置位置は、障害物検出用光線の光源と同一線上でない位置に設置するのが望ましい。カメラ３３のレンズ中心と障害物検出用光線の光源が同一線上にあると、図４に示すように、障害物検出用光線の照射方向の線上に立体物が存在する場合には障害物検出用光線の画像上の位置が変化しないため、障害物の検出ができなくなってしまうためである。

画像処理手段１３は、撮影手段１２で撮影された画像における障害物検出用光線の色、輝度、明るさ等の少なくとも１つの光線の状態の変化に基づいて、車両側方の障害物までの距離を検出する処理を行う。具体的な処理内容については後述する図５の処理手順を示すフローチャートを参照して説明する。

制御手段１４は、光線照射手段１１における障害物検出用光線の照射動作、撮影手段１２における撮影動作、ならびに表示手段１５における表示動作を制御する機能を備え、表示手段１５に撮影手段１２で撮影された画像を表示する際の制御、光線照射手段１１における障害物検出用光線の照射のオン／オフ制御、障害物検出用光線の光源の移動や障害物検出用光線をスキャンさせる場合にはその動作の制御を行う。

制御手段１４は、画像処理手段１３で検出した障害物までの距離が所定距離、例えば５０ｃｍ程度以下になった場合や、撮影手段１２の動作スイッチ（カメラスイッチ）がオンになったときに表示手段１５に画像を表示する。

なお、画像処理手段１３は制御手段１４と一体化して、撮影手段１２を構成するカメラ３３の動作を統括制御する車載カメラコントローラとして構成してもよい。

表示手段１５は、例えば車載されたナビゲーション装置に用いられている液晶モニタなどで構成され、撮影手段１２で撮影された画像や、例えば障害物までの距離や障害物までの距離が近接した際の注意喚起等の障害物検出結果に関する情報を運転者に提示する。

次に、検出手順を示す図５のフローチャートを参照して、障害物の検出処理の手順を説明する。なお、この検出手順は、予め設定された所定の時間毎に繰り返し実行される。

図５において、先ず車載のカメラ３３で撮影された画像上における障害物検出用光線のトレース（解析）を開始する位置（初期位置）を設定する。障害物検出用光線は前輪外側の接地位置を始点に照射され、車載のカメラ３３の撮影画像上の車輪外側の接地位置が映る位置は、図２に示すように常に一定であるので、その座標（Ｓｘ，Ｓｙ）が障害物検出用光線のトレース開始位置となる（ステップＳ５０１）。

次に、図２に示すように、トレース開始位置（Ｓｘ，Ｓｙ）から障害物検出用光線の車両外側終端の位置（Ｅｘ，Ｓｙ）までをトレース対象範囲として横方向にトレースを進める。図２に示す例では、車体左側の画像のため左方向へトレースを進める。なお、走行中の振動による障害物検出用光線のブレを吸収するために、図２に示すようにトレース対象範囲を縦方向に△ｙ、例えば２〜３画素程度分だけ広げてもよい。

このようにして、障害物検出用光線のトレースを開始した後、現在のトレース座標（Ｔｘ（Ｓｘ≦Ｔｘ≦Ｅｘ），Ｓｙ）の画素の色または輝度、明度の内少なくとも１つの光線の状態が障害物検出用光線のものとほぼ同じか否かを判別する（ステップＳ５０２）。

判別の結果、同じ場合はトレース位置を１画素左側に移動した後（ステップＳ５０３）、先のステップＳ５０２で示した判別処理を行い、トレース位置Ｔｘが車両外側終端の位置Ｅｘに達するまで上記判別処理を繰り返し実行する（ステップＳ５０２〜Ｓ５０４）。

上記ステップＳ５０２に示す判別処理において、トレース座標（Ｔｘ，Ｓｙ）の画素の色または輝度、明度の内少なくとも１つが障害物検出用光線のものと異なる場合には、この位置で障害物検出用光線が途切れたもの（上下にずれたもの）と推定し、トレース開始位置から異なると判別されたトレース座標までの差を車両から障害物までの距離Ｌとして算出する（ステップＳ５０５）。

ここで、車両側方に車両走行に障害となる障害物としての例えば側溝６１または縁石７１がある場合の障害物検出用光線の撮影画像の一例をそれぞれ図６（ａ）、図７（ａ）に示し、その座標関係を図６（ｂ）、図７（ｂ）に示す。

側溝６１がある場合は、障害物検出用光線は図６に示すようになり、障害物検出用光線がトレース対象範囲の下側へずれて横方向に途切れることになる。したがって、トレース開始位置から途切れた位置までの長さＬが側溝６１の端部までの距離として算出される。

一方、縁石７１がある場合は、図７に示すようになり、障害物検出用光線がトレース対象範囲の上側に段差が生じて上方にずれ途切れることになる。したがって、トレース開始位置からずれた位置までの長さＬが縁石７１の端部までの距離として算出される。

次に、図８のフローチャートを参照して、車両側方の障害物の高さを検出する処理の手順を説明する。

車両側方に壁９１などの障害物がある場合には、壁９１に照射された障害物検出用光線の方向（光跡）は、図９に示すように壁９１がある位置から斜め左上方向に折れ曲がる。なお、検出できる高さの最大値は、障害物検出用光線の長さ（Ｓｘ−Ｅｘ）と障害物までの距離Ｌとの差となる。

先ず、ステップＳ８０１〜Ｓ８０５に示す処理は、先の図５のステップＳ５０１〜Ｓ５０５に示す処理と同様の処理を実行する。

次に、図９に示すようにステップＳ８０２において障害物検出用光線の左側へのトレースが途切れたと判定された座標（Ｈｘ）からトレースする方向を上方、左側の順に方向を変えて斜め左上方に進め、障害物検出用光線の上端までトレースを進める。なお、斜めに立った障害物に対応するために、図９に示すようにトレース対象範囲を横方向に△ｘ、例えば２〜３画素程度分だけ広げてもよい。

先ず、トレースする座標を１画素分上側へ進めた後（ステップＳ８０６）、進める前のトレース座標（Ｔｘ，Ｔｙ＝Ｓｙ）の画素の色または輝度、明度の内の少なくとも１つが障害物検出用光線のものとほぼ同じか否かを判別する（ステップＳ８０７）。判別の結果、両者が異なる場合は、トレース座標を１画素左側へ進め（ステップＳ８０８）、トレース座標のｘ座標が障害物検出用光線の終端の座標Ｅｘまで到達したと判定されるまで上記ステップＳ８０７、Ｓ８０８の処理を繰り返し実行してトレースを継続する（ステップＳ８０９）。

一方、先のステップＳ８０７の判別の結果、両者が同じ場合には、障害物検出用光線を検出した座標（Ｒｘ，Ｒｙ）を現在のトレース座標（Ｔｘ，Ｔｙ）に設定し（ステップＳ８１０）、トレース座標のｙ座標が画像上端の座標Ｅｙに到達したと判定されるまで上記のステップＳ８０６、Ｓ８０７、Ｓ８１０の処理を繰り返し実行してトレースを継続する（ステップＳ８１１）。

このような処理を繰り返し実行した後、現在のトレース座標のｙ座標が画像上端のｙ座標Ｅｙに至ると、図９に示すように最終的に障害物検出用光線を検出した座標（Ｒｘ，Ｒｙ）から壁９１の消失点９２に向かう直線９３と障害物検出光線のトレースが途切れた位置（Ｈｘ）から上方向へ引いた垂線の交点９４（Ｈｘ，Ｈｙ）を求め、（Ｈｙ−Ｓｙ）を障害物の高さＨとして算出する（ステップＳ８１２）。

このように、上記実施例１においては、照射された障害物検出用光線をトレースして光線の状態変化を検出するといった簡単な処理で、障害物の形状や模様、周囲の明るさなどの影響を受けにくく車体側方の溝や縁石などの障害物までの距離を検出することができる。

また、撮影された画像における障害物検出用光線が途切れてその状態が変化したときに、障害物検出用光線をトレースする方向を上方とし、上方にトレースして得られる障害物検出用光線のに基づいて、車両側方の障害物までの高さを検出することで、立体的な障害物の場合に、障害物までの距離に加えて障害物の高さを検出することが可能となる。

また、駐車や幅寄せ、狭い道の通り抜け等において車体近傍の障害物を検出して接近状況を認識し、接近状況を音声や画像等で運転者に提示することができる。

さらに、側溝や高さの低い縁石など、超音波センサやレーザーセンサーがカバーする画角外にある障害物を検知することが可能となる。

次に、この発明の実施例２について説明する。この実施例２の特徴とするところは、先の実施例１に比べて前方に障害物検出用光線の照射位置を設定したことにあり、他は先の実施例１と同様である。すなわち、障害物検出用光線の照射位置を図１０に示すように、前輪外側の接地位置を基点として車体中心線と平行に所定距離ＦＰ、例えばフロントバンパー前端から１ｍ程度前方に移動し、前輪接地位置より前方側方の障害物を検出するようにしている。

このように、障害物検出用光線の照射位置を前方に設定した場合には、撮影画像上で障害物検出用光線が表示される位置は路面の傾きが車両のピッチ方向およびロール方向の傾きと同じ場合は図１１に示すように常に一定となる。したがって、障害物検出用光線のトレース開始位置と終了位置の座標は、車両のピッチ方向およびロール方向の傾きが同じ平面上に障害物検出用光線を照射した場合の右端（Ｓｘ２，Ｓｙ２）および左端（Ｅｘ２，Ｓｙ２）となる（左側方の障害物を検知する場合）。これら２つの座標間における左側方の障害物検出の処理内容は、先の図５のフローチャートに示す手順と同様である。

また、障害物検出用光線の照射位置を車両前方とすることで、カメラ３３が光線照射手段１１の光源よりも下側に設置されて、図１２に示すように左側方前方に壁面１２１がある場合には、図１３に示すように障害物検出用光線の壁面１２１への照射位置とカメラ３３の設置位置とを結ぶ直線Ｌ１は、路面への照射位置とカメラ３３の設置位置とを結ぶ直線Ｌ２よりも上側となる。これにより、撮影画像上の障害物検出用光線の表示位置は路面への照射位置よりも上側となり、この関係を用いることで、車両前方にある壁面１２１などの立体物の有無も検出することができる。

次に、図１４のフローチャートを参照して、車両前方にある立体物の検出処理の手順を説明する。

先ず、ステップＳ１４０１〜Ｓ１４０５で示す一連の処理を実行するが、この一連の処理は先の図５に示すステップＳ５０１〜Ｓ５０５の処理と同様である。

次に、障害物検出用光線が路面上の照射位置（Ｓｙ２，Ｓｘ２〜Ｅｘ２）上に検出されない場合に、トレース座標のｙ座標を画像上側に移動しながら障害物検出用光線のトレース処理を実施する。

すなわち、ステップＳ１４０５の処理を実行した後、トレースするｙ座標を１画素上側へ移動し（ステップＳ１４０６）、画像上端のｙ座標Ｙｍａｘに到達したか否かを判別し（ステップＳ１４０７）、到達していない場合には、現在のトレース座標の画素の色または輝度、明度の内少なくとも１つが障害物検出用光線のものとほぼ同じか否かを判別する（ステップＳ１４０８）。

判別の結果、両者が異なる場合は、トレースするｙ座標がＹｍａｘに至るまで先のステップＳ１４０６〜Ｓ１４０８の処理を繰り返し実行する。一方、判別の結果、両者が同じ場合は、図１２に示すように上側に移動した障害物検出用光線が検出されたことになるので、前方に立体物が存在すると推定し（ステップＳ１４０９）、一連の検出処理を終了する。

なお、本実施例２では、障害物検出用光線を車両前方へ照射する場合について記載したが、障害物検出光線を前方に加えて後方にも照射できるように光源を設置又は移動可能に設置し、かつ広角カメラで車載のカメラ３３を構成し、車両前方に加えて車両後方も撮影範囲に含めた場合には、例えば後退や右左折の時に障害物検出用光線を車両側後方へ照射して、車両側後方の障害物の検出や右左折時の巻き込み検出などを実施することができる。

このように、上記実施例２においては、障害物検出用光線の照射位置を前方または後方に移動することで、車両前方または後方の側溝や縁石、壁などの障害物を検出することができる。

図１５は本発明の実施例３に係る車両障害物検出装置の構成を示す図である。図１５示す実施例３の検出装置は、実施例１、２で採用した光線照射手段１１に代えて照射状態を変えられる光線照射手段１５１を設け、さらに先の図１に示す実施例１で採用した構成に加えて照度検出手段１５２と照射制御手段１５３を設けて構成され、先の実施例１ならびに実施例２で説明した動作に加えて実施される。

光線照射手段１５１は、先の実施例１、２で説明したと同様に障害物を検出する際にはスリット状の照射口から線状（スリット状）の光線を照射（スリット照射）することに加えて、光源の形状又は照射口の形状を切り替えることで、撮影手段１２で撮影される撮影範囲全体に光を照射（全体照射）して撮影画像を明るくする。

照度検出手段１５２は、例えば明るさを感知して自動的に前照灯をオン／オフするオートライトに用いられているフォトダイオードを用いた照度センサーなどで構成され、前照灯のオン／オフを判定する際の照度を検出する。

照射制御手段１５３は、照度検出手段１５２で検出された照度に基づいて前照灯のオン／オフを判定する。なお、前照灯のオン／オフスイッチのオン状態またはオフ状態を検出することで、前照灯のオン／オフを判定するようにしてもよい。この場合には、照度検出手段１５２は不要となる。

照射制御手段１５３は、制御手段１４による表示手段１５の表示／非表示に応じて光線照射手段１５１の照射状態（スリット照射／全体照射）を切り替える。

なお、照度検出手段１５２と照射制御手段１５３は、先に触れた車載カメラコントローラが有する機能に含ませて一体化してもよい。

次に、図１６に示すフローチャートを参照して、光線照射手段１５１における照射状態の切り替え制御について説明する。

図１６において、先ず撮影手段１２で撮影された画像が表示手段１５に表示されているか否かを判別する（ステップＳ１６０１）。判別の結果、表示されていない場合には、光線照射手段１５１から障害物検出用光線を照射する（ステップＳ１６０２）。

一方。判別の結果、表示されている場合には、続いて照度検出手段１５２で検出された照度に基づいて前照灯が点灯しているか否かを判別する（ステップＳ１６０３）。判別の結果、前照灯が点灯している場合には、撮影範囲を明るくするために光線照射手段１５１で撮影範囲全体を照射する（ステップＳ１６０４）。一方、前照灯が点灯していない場合には、障害物検出用光線の照射を停止して（ステップＳ１６０５）、撮影された画像に余分な光線を映さず見易くする。なおこのとき、検出した障害物への接近限界を示すガイドライン表示用光線を照射する機能を光線照射手段１５１に付加し、障害物検出用光線に代えてガイドライン表示用の光線を照射し、表示手段１５の画像を介して運転者に注意を喚起するようにしてもよい。

このように、上記実施例３においては、表示手段１５が撮影された画像を表示しているときには、障害物検出用光線の照射を停止することで、障害物検出用光線に可視光線を用いた場合であっても、撮影された周囲の環境とは関係のない余分な障害物検出用光線を表示しないので、表示された画像を見やすくすることができる。

また、ガイドライン表示用光線を照射し、表示手段１５にガイドライン表示用光線を映すことで、車両の障害物への接近状況を運転者に提示し、運転者に注意を喚起することができる。

車両の前照灯が点灯している場合には、撮影手段１２が撮影する撮影範囲を照らす照明を照射することで、撮影範囲が暗い場合であっても、照明された状態で撮影することが可能となり、表示された撮影画像を見易くすることができる。

本発明の実施例１に係る車両障害物検出装置の構成を示す図である。 撮影画像における障害物検出用光線の映り方を示す図である。 車載のカメラとスリットの設置位置を示す図である。 障害物検出用光線の照射方向と撮影範囲を示す図である。 実施例１に係る障害物までの距離を検出する手順を示すフローチャートである。 障害物としての側溝の検出例を示す図である。 障害物としての縁石の検出例を示す図である。 実施例１に係る障害物の高さを検出する手順を示すフローチャートである。 障害物としての側方壁面の検出例を示す図である。 障害物検出用光線の照射方向を示す図である。 図１０に示す照射方向に障害物検出用光線を照射した際の撮影画像における障害物検出用光線の映り方を示す図である。 障害物としての前方壁面の検出例を示す図である。 図１２に示す検出例における障害物検出用光線の照射位置の様子を示す図である。 実施例２に係る障害物を検出する手順を示すフローチャートである。 本発明の実施例３に係る車両障害物検出装置の構成を示す図である。 実施例３に係る動作手順を示すフローチャートである。

符号の説明

１１，１５１…光線照射手段
１２…撮影手段
１３…画像処理手段
１４…制御手段
１５…表示手段
３１…ドアミラー
３２…スリット
３３…カメラ
６１…側溝
７１…縁石
９１…壁
９２…消失点
９３…直線
９４…交点
１２１…壁面
１５２…照度検出手段
１５３…照射制御手段

Claims (6)

1. 車両側方に車両側端から所定の長さの一条の障害物検出用光線を照射する光線照射手段と、
   前記光線照射手段から照射された障害物検出用光線を含む所定の範囲を撮影する撮影手段と、
   前記撮影手段で撮影された障害物検出用光線をトレースして得られる障害物検出用光線の色、輝度、明るさの少なくとも１つの状態が、前記光線照射手段から照射された障害物検出用光線のものと同じか否かを判別し、その判別結果に基づいて、車両側方の障害物を検出する検出手段と
   を有することを特徴とする車両障害物検出装置。
2. 前記検出手段は、撮影された画像における障害物検出用光線の前記状態が変化したときに、障害物検出用光線をトレースする方向を上方とし、上方にトレースして得られる障害物検出用光線の色、輝度、明るさの少なくとも１つの状態が、前記光線照射手段から照射された障害物検出用光線のものと同じか否かを判別し、その判別結果に基づいて、車両側方の前記障害物の高さを検出し、前記障害物の高さは、車輪接地面から障害物検出用光線の上端部までの高さである
   ことを特徴とする請求項１に記載の車両障害物検出装置。
3. 前記光線照射手段は、前輪と路面との接地点よりも車両の前方側又は後方側に障害物検出用光線の照射位置を移動する
   ことを特徴とする請求項１または２に記載の車両障害物検出装置。
4. 前記撮影手段で撮影された画像を表示する表示手段を備え、
   前記光線照射手段は、前記表示手段が撮影された画像を表示しているときには、障害物検出用光線の照射を停止する
   ことを特徴とする請求項１，２及び３のいずれか１項に記載の車両障害物検出装置。
5. 前記光線照射手段は、検出された障害物と車両側方との間に、検出された障害物への接近状況を運転者に提示する可視光のガイドライン表示用光線を照射する機能を備えている
   ことを特徴とする請求項４に記載の車両障害物検出装置。
6. 前記光線照射手段は、前記撮影手段で撮影された画像を前記表示手段に表示する際に、車両の前照灯が点灯している場合には、前記撮影手段が撮影する撮影範囲を照らす照明を照射する機能を備えている
   ことを特徴とする請求項４または５に記載の車両障害物検出装置。

Images