JP6314655B2 - 標示線検出装置、標示線検出方法 - Google Patents

Description

本発明は、標示線検出装置、及び標示線検出方法に関するものである。

特許文献１に記載の従来技術では、一つのカメラで進行方向の路面を撮像し、撮像した画像から路面に標示された停止線を検出し、その停止線までの距離を算出している。ここでは、横断歩道を構成する白線を停止線として誤って検出してしまうことを防ぐために、予め定めた検出領域から水平エッジを検出し、その連続性や太さに応じて、白線が停止線であるか否かを判定している。

特開２００７−６６００３号公報

しかしながら、一つの挟角カメラだけを用いると、取付け角度によっては、停止線が遠くにあるうちは検出することができても、停止線に近づくと画角から外れて検出できなくなることがある。そこで、挟角カメラと広角カメラを組み合わせて用いることが考えられる。このように、二つのカメラで同時に停止線を観測している場合、夫々の画像を同一座標系に変換した際に、カメラの僅かな組み付け誤差や、主に広角カメラで生じる画像の歪み等によって、停止線の検出に誤差が生じてしまう可能性がある。
本発明の課題は、路面に標示された標示線の検出精度を向上させることである。

本発明の一態様に係る標示線検出装置は、車両に搭載された第一の撮像部で第一の視点から車両の周囲を撮像することにより、第一の画像を取得する。また、車両に搭載された第二の撮像部で第一の視点とは異なる第二の視点から、第一の撮像部の撮像範囲と一部が重なり合う共通領域を有するように車両の周囲を撮像することにより、第二の画像を取得する。また、第一の画像及び第二の画像で、車両の周囲に標示された標示線の画像上のエッジの位置を検出し、検出したエッジの位置に応じて、車両に対する標示線の位置を検出する。また、車両に対する標示線の位置と車両の移動量とから標示線の位置を推定する。そして、第一の画像及び第二の画像のうち、重なり合う共通領域で標示線のエッジを検出しているときには、標示線の推定位置を基準としたときの、第一の画像及び第二の画像で検出した各エッジの位置に応じて、車両に対する標示線の位置を検出する。

本発明によれば、自車両の移動量に応じて標示線の位置を推定し、この推定位置を基準としたときの、第一の画像及び第二の画像で検出した各エッジの位置に応じて、自車両に対する標示線の位置を検出することができる。すなわち、撮像部の僅かな組み付け誤差や、画像の歪み等があるとしても、標示線の推定位置を基準にして標示線の位置を検出することにより、その検出精度を向上させることができる。

第１実施形態における標示線検出装置を示す概略構成図である。 挟角カメラ１２Ｎ及び広角カメラ１２Ｗの配置図である。 挟角カメラ１２Ｎで撮像した画像を示す図である。 広角カメラ１２Ｗで撮像した画像を示す図である。 挟角カメラ画像を俯瞰変換した画像を示す図である。 広角カメラ画像を俯瞰変換した画像を示す図である。 挟角カメラ俯瞰画像と広角カメラ俯瞰画像との重なり合う共通領域を示す図である。 挟角カメラ俯瞰画像における縦方向の走査線を示す図である。 広角カメラ俯瞰画像における縦方向の走査線を示す図である。 推定位置の算出を説明する図である 停止線ＬＥ_（ｎ）の推定位置に対する各エッジの分布例を示す図である。 エッジを並べたヒストグラムである。 エッジごとに尤度ｋｉを考慮してから並べたヒストグラムである。 第１実施形態の標示線検出処理を示すフローチャートである。 第２実施形態における標示線検出装置１１の構成図である。 前方カメラ１２Ｆ及び後方カメラ１２Ｒの配置図である。 左方カメラ１２ＳＬ及び右方カメラ１２ＳＲの配置図である。 各カメラ画像の重なり合う共通領域を示す図である。 重なり合う共通領域Ａｃ_ＲＬで駐車枠ＬＰのエッジを検出している状態を示す図である。 駐車枠モデルＭＰの座標位置ＰＰ及び傾きθＰを示す図である。 駐車枠モデルＭＰの推定位置に対する各エッジの分布例を示す図である。 第２実施形態の標示線検出処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
《構成》
本実施形態は、路面に標示された停止線の位置を検出するものである。
標示線検出装置１１の構成を、図１に基づいて説明する。
本実施形態の標示線検出装置１１は、挟角カメラ１２Ｎと、広角カメラ１２Ｗと、車速センサ１３と、コントローラ１４と、を備える。

挟角カメラ１２Ｎは、自車両における第一の視点から自車両の周囲を撮像し、挟角カメラ画像を取得する。広角カメラ１２Ｗは、自車両における第二の視点から自車両の周囲を撮像し、且つ挟角カメラ１２Ｎの撮像範囲と一部が重なるように自車両の周囲を撮像し、広角カメラ画像を取得する。挟角カメラ１２Ｎ及び広角カメラ１２Ｗは、夫々、撮像した画像データをコントローラ１４に出力する。各カメラの画角は、相対的に一方を狭くし、他方を広くしているが、これに限定されるものではなく、夫々、予め定めた領域を撮像することができれば任意のレンズを用いてよい。

挟角カメラ１２Ｎ及び広角カメラ１２Ｗの配置を、図２に基づいて説明する。
挟角カメラ１２Ｎは、例えば車室内のフロントウィンドウ上部に設けられており、その取付け位置は、レンズの位置が地面からｈ１の高さであり、取付け角度は、光軸が水平面に対して下向きにθ１だけ傾いている。この挟角カメラ１２Ｎの取付け位置や取付け角度が第一の視点である。広角カメラ１２Ｗは、例えばフロントグリルに設けられており、その取付け位置は、レンズの位置が地面からｈ２の高さであり、取付け角度は、光軸が水平面に対して下向きにθ２だけ傾いている。この広角カメラ１２Ｗの取付け位置や取付け角度が第二の視点である。

挟角カメラ１２Ｎで撮像した画像を図３に示す。
挟角カメラ１２Ｎでは、標準的なレンズを用いており、広角カメラ１２Ｗと比べると、画角は狭いが、遠くの被写体を大きく写すことができる。
ここでは、自車両が交差点の手前に位置している状態を示しており、この挟角カメラ画像では、路面に標示された停止線ＬＳを観測できている。

広角カメラ１２Ｗで撮像した画像を図４に示す。
広角カメラ１２Ｗでは、広角レンズを用いており、挟角カメラ１２Ｎと比べると、画角が広く、近くの被写体を大きく写すことができる。また、画像中央から外側に向かって膨らんだように見える樽型の歪曲収差（ディストーション）が生じる。
ここでも、自車両が交差点の手前に位置している状態を示しており、この広角カメラ画像でも、路面に標示された停止線ＬＳを観測できている。なお、図中のハッチング部は車体である。

図３に示した挟角カメラ画像と、図４に示した広角カメラ画像とは、自車両が交差点の手前の同一地点にいるとき、つまり同じタイミングで撮像したものである。このように、広角カメラ１２Ｗの撮像範囲の一部と、挟角カメラ１２Ｎの撮像範囲の一部とが重なるように、各カメラが設けられている。
車輪速センサ１３は、各車輪の車輪速度Ｖｗ_ＦＬ〜Ｖｗ_ＲＲを検出する。この車輪速センサ１３は、例えば車輪と共に回転し円周に突起部（ギヤパルサ）が形成されたセンサロータと、このセンサロータの突起部に対向して設けられたピックアップコイルを有する検出回路と、を備える。そして、センサロータの回転に伴う磁束密度の変化を、ピックアップコイルによって電圧信号に変換してコントローラ１４に出力する。コントローラ１４は、入力された電圧信号から車輪速度Ｖｗ_ＦＬ〜Ｖｗ_ＲＲを判断し、例えば非駆動輪（従動輪）の車輪速平均値や全輪の車輪速平均値を車速として演算する。

コントローラ１４は、例えばマイクロコンピュータで構成される。このコントローラ１４は、俯瞰画像生成部２１と、エッジ検出部２２と、座標変換部２３と、エッジ保持部２４と、標示線位置検出部２５と、運転支援２６と、標示線位置推定部２７と、偏差算出部２８と、尤度設定部２９と、を備える。
俯瞰画像生成部２１は、狭角カメラ１２Ｎで撮像した画像、及び広角カメラ１２Ｗで撮像した画像を、夫々、視点変換により俯瞰画像に変換する。俯瞰画像とは、上空から路面を見下ろした画像である。

挟角カメラ画像を俯瞰変換した画像を図５に示す。
ここでは、図３に示した挟角カメラ画像を俯瞰変換しており、路面に標示された停止線ＬＳを観測できている。俯瞰変換後の画像は、自車両から離れるほど幅が広くなる略台形となる。
広角カメラ画像を俯瞰変換した画像を図６に示す。
ここでは、図４に示した広角カメラ画像を俯瞰変換しており、やはり路面に標示された停止線ＬＳを観測できている。俯瞰変換後の画像は、略四角形となる。

挟角カメラ俯瞰画像と広角カメラ俯瞰画像との重なり合う共通領域を図７に示す。
ここでは、平面視（俯瞰）で、挟角カメラ１２Ｎの撮像範囲をＡ_Ｎで表し、広角カメラ１２Ｗの撮像範囲をＡ_Ｗで表す。挟角カメラ１２Ｎの撮像範囲Ａ_Ｎは、自車両前方の特に自車両から遠い範囲を写しており、広角カメラ１２Ｗの撮像範囲Ａ_Ｗは、自車両前方の特に自車両に近い範囲を写している。そして、撮像範囲Ａ_Ｎにおける後方側の一部と、撮像範囲Ａ_Ｗにおける前方側の一部とが重なっており、これら撮像範囲の重なり合う共通領域をＡｃ_ＮＷとして表す。

エッジ検出部２２は、各俯瞰画像で、停止線ＬＳの候補となるエッジを検出する。エッジの検出には、例えば特開２０１３−２１０９９１号公報で開示されている分離度に基づく手法などを用いればよい。実用上は、各俯瞰画像に対して、エッジ検出用の画像の縦方向の走査線を事前に用意し、その走査線でエッジ強度（分離度）が予め定めた閾値より高い座標を検出すればよい。また、ここでは分離度に基づく手法を述べたが、事前にｓｏｂｅｌフィルタで画像のエッジ強度を算出し、走査線に沿ってエッジ強度の極大値をエッジの検出結果として用いてもよい。

挟角カメラ俯瞰画像における縦方向の走査線を図８に示す。
広角カメラ俯瞰画像における縦方向の走査線を図９に示す。
座標変換部２３は、各画像座標系のエッジの座標を、自車両を基準とする世界座標系に変換する。カメラの内部パラメータと外部パラメータを予め測定しておけば画像中の任意の座標を、世界座標系に変換できる。外部パラメータとは、ヨー角、ピッチ角、ロール角といったカメラの姿勢や、カメラの取り付け高さ等である。世界座標系は、車体左右方向をＸｗ軸、車体前後方向をＹｗ軸、車体上下方向をＺｗ軸とし、車体前端の中央を座標原点Ｏとする。但し、Ｚｗ＝０とし、高さは無視するものとする。

画像座標系から世界座標系に変換するためには、変換のための計算を毎回実行してもよいが、本実施形態では、画像座標系から世界座標系への変換テーブルを利用するものとする。すなわち、カメラの内部パラメータは常に固定であり、外部パラメータは車両挙動によって変化するが（特にピッチ角）、この外部パラメータを便宜的に固定と考えるなら、画像座標系から世界座標系への変換テーブルを作成することができる。したがって、処理時間や演算負担を考慮して、ここでは変換テーブルを利用する。
エッジ保持部２４は、現時点の画像から検出された各エッジの、世界座標系での座標位置を、メモリに格納する。

標示線位置検出部２５は、先ず挟角カメラ１２Ｎの撮像範囲Ａ_Ｎ及び広角カメラ１２Ｗの撮像範囲Ａ_Ｗのうち、重なり合う共通領域Ａｃ_ＮＷ以外で、停止線ＬＳのエッジを検出しているときには、その検出したエッジに応じて、停止線ＬＳ_（ｎ）の位置を検出する。この停止線ＬＳ_（ｎ）の検出位置とは、世界座標系におけるＸｗ軸座標であり、Ｘｗ＝ＸＳ_（ｎ）で表す。世界座標系の原点Ｏは、車体前端であるため、停止線ＬＳ_（ｎ）の検出位置は、自車両の前端から停止線ＬＳ_（ｎ）までの距離に相当する。一方、重なり合う共通領域Ａｃ_ＮＷで、停止線ＬＳのエッジを検出しているときの、停止線ＬＳの位置検出については後述する。

運転支援２６は、停止線ＬＳまでの距離ＤＳや車速Ｖに応じて、運転者に警報を出力してブレーキ操作を促したり、制動力、駆動力、変速比等を制御して自動的に車両を減速させたりすることにより、運転支援を実施する。
標示線位置推定部２７は、演算周期に従った前回の演算で、停止線ＬＳ_{（ｎ−１）}の位置を検出してから、今回の演算までに自車両が移動した移動量の距離ΔＤに応じて、現在の停止線ＬＳの推定位置を算出する。なお、検出した停止線と、推定する停止線とを区別するために、推定する停止線をＬＥ_（ｎ）として表記する。この停止線ＬＥ_（ｎ）の推定位置とは、世界座標系におけるＸｗ軸座標であり、Ｘｗ＝ＸＥ_（ｎ）で表す。世界座標系の原点Ｏは、車体前端であるため、停止線ＬＥ_（ｎ）の推定位置は、自車両の前端から停止線ＬＥ_（ｎ）までの距離に相当する。

推定位置の算出を、図１０に基づいて説明する。
ここでは、Ｙｗ軸及びＸｗ軸からなる世界座標系において、演算周期に従った前回の演算で検出した停止線ＬＳ_{（ｎ−１）}を太い破線で示し、今回の演算で推定する停止線ＬＥ_（ｎ）を太い実線で示している。自車両が等速直進運動していると仮定した場合、停止線ＬＥ_（ｎ）の座標ＸＥ_（ｎ）は、下記の式に示すように、前回の演算で検出した停止線ＬＳ_{（ｎ−１）}の座標ＸＳ_{（ｎ−１）}から、今回の演算までに自車両が移動した移動量の距離ΔＤを減じた値で表される。
ＸＥ_（ｎ）＝ＸＳ_{（ｎ−１）}−ΔＤ
ここで、移動量の距離ΔＤは、下記の式に示すように、自車速Ｖ［ｋｍ／ｈ］、及び演算周期（１／ｆ）に応じて算出される。ｆは１秒間あたりの演算回数である。
ΔＤ＝Ｖ／（３.６×ｆ）［ｍ］

偏差算出部２８は、先ず停止線ＬＥ_（ｎ）の推定位置に対する、世界座標系における各エッジの位置偏差ｅｉを算出する。ここで、ｉはエッジの番号である。具体的には、下記の式に示すように、各エッジの座標Ｘｉと、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）との差分を二乗することにより、世界座標系におけるＸｗ軸方向、つまり車体前後方向の位置偏差ｅｉを算出する。
ｅｉ＝（Ｘｉ−ＸＥ_（ｎ））^２

停止線ＬＥ_（ｎ）の推定位置に対する各エッジの分布例を図１１に示す。
ここでは、Ｙｗ軸及びＸｗ軸からなる世界座標系において、今回の演算で推定した停止線ＬＥ_（ｎ）を示している。そして、挟角カメラ俯瞰画像で検出したエッジを「○」印で示し、広角カメラ俯瞰画像で検出したエッジを「△」印で示している。挟角カメラ俯瞰画像で検出した各エッジ、及び広角カメラ俯瞰画像で検出した各エッジにおいて、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）に対するＸｗ軸方向の僅かな差分（ばらつき）が生じており、その差分をエッジごとに算出する。

挟角カメラ俯瞰画像で検出した各エッジ、及び広角カメラ俯瞰画像で検出した各エッジに対して上記の演算を行い、下記に示すように、全ての偏差ｅｉの平均値ｅ_ＡＶＥを算出する。ここで、ｍは全エッジの個数である。なお、本実施形態では平均値ｅ_ＡＶＥのような統計量を用いているが、例えば分散等のより高次の統計量を算出し、その値を平均値ｅ_ＡＶＥの代用としてもよい。
ｅ_ＡＶＥ＝（１／ｍ）Σｅｉ

尤度設定部２９は、偏差ｅｉの平均値ｅ_ＡＶＥに応じて、各エッジの尤もらしさを表す尤度ｋｉを設定する。具体的には、異なる二つの尤度として、相対的に大きな値である高尤度αと、相対的に小さな値である低尤度βとを設定しておき（α＞β）、各エッジの偏差ｅｉが平均値ｅ_ＡＶＥ以下であるか否かを判定する。そして、エッジの偏差ｅｉが平均値ｅ_ＡＶＥ以下であるときには、そのエッジの尤度ｋｉを高尤度αに設定する。一方、エッジの偏差ｅｉが平均値ｅ_ＡＶＥより大きいときには、そのエッジの尤度ｋｉを低尤度βに設定する。
ｅｉ≦ｅ_ＡＶＥ → ｋｉ＝α
ｅｉ＞ｅ_ＡＶＥ → ｋｉ＝β

Ｘｗ軸座標ごとにエッジを並べたヒストグラムを図１２に示す。
ここでは、横軸がエッジの頻度を示し、縦軸がＸｗ軸座標を示す。エッジの頻度とは、Ｘｗ軸座標が同一となるエッジの個数に相当する。各エッジは、挟角カメラ俯瞰画像で検出したエッジを「○」印で示し、広角カメラ俯瞰画像で検出したエッジを「△」印で示している。ここでは、単にエッジの個数を投票しているため、どのエッジも均一の尤度である。そして、「○」や「△」印が最も多い位置（最頻位置）を、今回の停止線ＬＳ_（ｎ）の位置として検出することが考えられる。しかしながら、単にエッジの個数だけに注目すると、Ｘｗ軸座標がＸ１となる位置で「○」印がピークとなり、Ｘ２の位置でも「△」印がピークとなり、ピークが均衡してしまう。つまり、Ｘ１及びＸ２の二つの位置を検出してしまうので、検出精度が低下する可能性がある。

そのため、本実施形態では、重なり合う共通領域Ａｃ_ＮＷで停止線ＬＳのエッジを検出しているときには、下記の要領で、停止線ＬＳの位置を検出する。
標示線位置検出部２５は、重なり合う共通領域Ａｃ_ＮＷで、停止線ＬＳのエッジを検出しているときには、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を基準としたときの、各エッジの位置に応じて、停止線ＬＳ_（ｎ）の位置を検出する。すなわち、エッジごとに算出した尤度ｋｉに応じて、停止線ＬＳ_（ｎ）の位置を検出する。この停止線ＬＳ_（ｎ）の検出位置とは、世界座標系におけるＸｗ軸座標であり、Ｘｗ＝ＸＳ_（ｎ）で表す。世界座標系の原点Ｏは、車体前端であるため、停止線ＬＳ_（ｎ）の検出位置は、自車両の前端から停止線ＬＳ_（ｎ）までの距離に相当する。

エッジごとに尤度ｋｉを考慮して重み付けを加えて並べたヒストグラムを図１３に示す。
ここでは、横軸がエッジの頻度を示し、縦軸がＸｗ軸座標を示す。エッジの頻度とは、単にＸｗ軸座標が同一となるエッジの個数だけではなく、エッジごとに尤度ｋｉを考慮して重み付けを加えたものである。各エッジは、前述と同様に、挟角カメラ俯瞰画像で検出したエッジを「○」印で示し、広角カメラ俯瞰画像で検出したエッジを「△」印で示している。そして、高尤度αを設定したエッジについては、エッジの頻度を増大するように重み付けを与えて各印を幅方向に拡大して表記し、低尤度βを設定したエッジについては、エッジの頻度を減少するように重み付けを与えて各印を幅方向に縮小して表記している。

このように、位置偏差ｅｉが平均値ｅ_ＡＶＥ以下であるエッジの尤度ｋｉを高尤度αに設定し、位置偏差が平均値より大きいエッジの尤度ｋｉを低尤度βに設定することにより、各エッジに重み付けすることができる。この場合、Ｘ１の位置での「○」印の個数と、Ｘ２の位置での「△」印の個数とが同一であるとしても、上記の尤度により、Ｘ１の位置での「○」印の重み付けが増大し、Ｘ２の位置での「△」印の重み付けが低下する。これにより、尤度ｋｉを考慮して重み付けを加えたエッジの頻度が最も高い位置であるＸ１を、停止線ＬＳ_（ｎ）の位置ＸＳ_（ｎ）として検出することができる。

次に、コントローラ１４で所定時間（例えば１０ｍｓｅｃ）毎に演算する標示線検出処理を、図１４に基づいて説明する。
先ずステップＳ１０１では、挟角カメラ１２Ｎで撮像した挟角カメラ画像、及び広角カメラ１２Ｗで撮像した広角カメラ画像を取得する。
続くステップＳ１０２は、俯瞰画像生成部２１での処理に対応し、挟角カメラ画像及び広角カメラ画像を俯瞰変換し、挟角カメラ俯瞰画像及び広角カメラ俯瞰画像を生成する。

続くステップＳ１０３は、エッジ検出部２２での処理に対応し、挟角カメラ俯瞰画像及び広角カメラ俯瞰画像で、停止線ＬＳの候補となるエッジを検出する。
続くステップＳ１０４は、座標変換部２３での処理に対応し、各画像座標系のエッジの座標を、世界座標系に変換する。
続くステップＳ１０５は、エッジ保持部２４での処理に対応し、各エッジの世界座標系での座標位置をメモリに格納する。

続くステップＳ１０６では、挟角カメラ１２Ｎの撮像範囲Ａ_Ｎ及び広角カメラ１２Ｗの撮像範囲Ａ_Ｗのうち、重なり合う共通領域Ａｃ_ＮＷで停止線ＬＳのエッジを検出しているか否かを判定する。ここで、重なり合う共通領域Ａｃ_ＮＷ以外で、停止線ＬＳのエッジを検出しているときにはステップＳ１０７に移行する。一方、重なり合う共通領域Ａｃ_ＮＷで停止線ＬＳのエッジを検出しているときにはステップＳ１０８に移行する。

ステップＳ１０７は、標示線位置検出部２５での処理に対応し、検出したエッジに応じて、停止線ＬＳの位置を検出してから所定のメインプログラムに復帰する。
ステップＳ１０８では、前回の演算処理で検出した停止線ＬＳ_{（ｎ−１）}の位置ＸＳ_{（ｎ−１）}を読込む。
続くステップＳ１０９では、前回の演算から今回の演算までに自車両が移動した移動量の距離ΔＤを算出する。
続くステップＳ１１０は、推定位置推定部２７での処理に対応し、移動量の距離ΔＤに応じて、現在の停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を算出する。

続くステップＳ１１１は、偏差算出部２８での処理に対応し、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）に対する各エッジの位置偏差ｅｉと、全ての位置偏差ｅｉの平均値ｅ_ＡＶＥと、を算出する。
続くステップＳ１１２は、尤度設定部２９での処理に対応し、偏差ｅｉの平均値ｅ_ＡＶＥに応じて、各エッジの尤度ｋｉを設定する。
続くステップＳ１１３は、標示線位置検出部２５での処理に対応し、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を基準としたときの、各エッジの位置に応じて、停止線ＬＳ_（ｎ）の位置を検出してから所定のメインプログラムに復帰する。
上記が標示線検出処理である。

《作用》
次に、第１実施形態の作用について説明する。
本実施形態では、挟角カメラ１２Ｎが、自車両における第一の視点から前方の走行路を撮像している。また、広角カメラ１２Ｗが、自車両における第二の視点から前方の走行路を撮像し、挟角カメラ１２Ｎの撮像範囲と一部が重なるように前方の走行路を撮像している。これら挟角カメラ画像及び広角カメラ画像で、路面に標示された停止線ＬＳのエッジを検出する（ステップＳ１０３）。

そして、挟角カメラ画像及び広角カメラ画像のうち、重なり合う共通領域Ａｃ_ＮＷ以外で、停止線ＬＳのエッジを検出しているときには（ステップＳ１０６の判定が“No”）、その検出したエッジに応じて、停止線ＬＳの位置ＸＳ_（ｎ）を検出する（ステップＳ１０７）。
例えば、自車両が前進しながら停止線ＬＳに近づいているシーンでは、先ず挟角カメラ１２Ｎの撮像範囲Ａ_Ｎのうち、重なり合う共通領域Ａｃ_ＮＷ以外に停止線ＬＳのエッジが現れる。したがって、挟角カメラ俯瞰画像に基づいて停止線ＬＳの位置ＸＳ_（ｎ）を検出する。

そして、自車両がさらに前進すると、重なり合う共通領域Ａｃ_ＮＷに停止線ＬＳのエッジが移る（ステップＳ１０６の判定が“Yes”）。この場合、挟角カメラ俯瞰画像と広角カメラ俯瞰画像の双方で、停止線ＬＳのエッジを検出することができるが、各カメラの組み付け誤差や、主に広角カメラ１２Ｗで生じる画像の歪み等によって、停止線ＬＳの検出に誤差が生じてしまう可能性がある。
そこで、前回の演算で検出した停止線ＬＳ_{（ｎ−１）}の位置ＸＳ_{（ｎ−１）}を読込み（ステップＳ１０８）、前回の演算で停止線ＬＳ_{（ｎ−１）}を検出してからの自車両の移動量の距離ΔＤを算出する（ステップＳ１０９）。この移動量の距離ΔＤに応じて、現在の停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を算出する（ステップＳ１１０）。

そして、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）に対する、世界座標系における各エッジの位置偏差ｅｉと、全ての位置偏差ｅｉの平均値ｅ_ＡＶＥと、を算出する（ステップＳ１１１）。そして、偏差ｅｉの平均値ｅ_ＡＶＥに応じて、各エッジの尤度ｋｉを算出する（ステップＳ１１２）。具体的には、エッジの位置偏差ｅｉが平均値ｅ_ＡＶＥ以下であるときには、そのエッジの尤度ｋｉを高尤度αに設定する。一方、エッジの位置偏差ｅｉが平均値ｅ_ＡＶＥより大きいときには、そのエッジの尤度ｋｉを低尤度βに設定する。これは位置偏差ｅｉが小さいほど、信頼度が高く、逆に位置偏差ｅｉが大きいほど、信頼度が低いからである。

このように、各エッジに重み付けすることにより、尤度ｋｉを考慮したエッジの頻度が最も高い位置を、停止線ＬＳ_（ｎ）の位置ＸＳ_（ｎ）として検出することができる。したがって、挟角カメラ１２Ｎや広角カメラ１２Ｗの僅かな組み付け誤差や、主に広角カメラ１２Ｗで生じる画像の歪み等があるとしても、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を基準にして停止線ＬＳ_（ｎ）の位置ＸＳ_（ｎ）を検出することにより、検出精度を向上させることができる。
その後、自車両がさらに前進すると、広角カメラ１２Ｗの撮像範囲Ａ_Ｗのうち、重なり合う共通領域Ａｃ_ＮＷ以外に停止線ＬＳのエッジが移る。このときには、広角カメラ俯瞰画像に基づいて停止線ＬＳの位置ＸＳ_（ｎ）を検出する。

《対応関係》
本実施形態では、挟角カメラ１２Ｎ及び広角カメラ１２Ｗのうち、一方が「第一の撮像部」に対応し、他方が「第二の撮像部」に対応する。エッジ検出部２２、ステップＳ１０３の処理が「エッジ検出部」に対応する。標示線位置検出部２５、ステップＳ１０７、Ｓ１１３の処理が「標示線位置検出部」に対応する。標示線位置推定部２７、ステップＳ１１０の処理が「標示線位置推定部」に対応する。偏差算出部２８、ステップＳ１１１の処理が「偏差算出部」に対応する。尤度設定部２９、ステップＳ１１２の処理が「尤度設定部」に対応する。座標変換部２３、ステップＳ１０４の処理が「座標変換部」に対応する。

《効果》
次に、第１実施形態における主要部の効果を記す。
（１）本実施形態に係る標示線検出装置は、挟角カメラ１２Ｎが第一の視点から自車両の周囲を撮像し、挟角カメラ画像を取得する。また、広角カメラ１２Ｗが第一の視点とは異なる第二の視点から、挟角カメラ１２Ｎの撮像範囲と一部が重なり合う共通領域を有するように自車両の周囲を撮像し、広角カメラ画像を取得する。これら挟角カメラ画像及び広角カメラ画像から、自車両の周囲の路面に標示された停止線ＬＳの画像上のエッジの位置を検出する。そして、検出したエッジの位置から自車両に対する停止線ＬＳの位置ＸＳ_（ｎ）を検出する。また、停止線ＬＳの位置と自車両の移動量の距離ΔＤとから、停止線ＬＥ_（ｎ）の位置ＸＥ_（ｎ）を推定する。そして、狭角カメラ画像及び広角カメラ画像のうち、重なり合う共通領域Ａｃ_ＮＷで停止線ＬＳのエッジの位置を検出しているときには、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を基準としたときの、挟角カメラ画像及び広角カメラ画像で検出した各エッジの位置に応じて、自車両に対する停止線ＬＳの位置ＸＳ_（ｎ）を検出する。

このように、自車両の移動量の距離ΔＤに応じて停止線ＬＥの位置ＸＥ_（ｎ）を推定し、この推定位置ＸＥ_（ｎ）を基準としたときの、各エッジの位置に応じて、停止線ＬＳの位置ＸＳ_（ｎ）を検出することができる。すなわち、各カメラの僅かな組み付け誤差や、画像の歪み等があるとしても、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を基準にして停止線ＬＳの位置ＸＳ_（ｎ）を検出することにより、その検出精度を向上させることができる。

（２）本実施形態に係る標示線検出装置は、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）に対する、各エッジの位置の位置偏差ｅｉを算出し、この位置偏差ｅｉに応じて停止線ＬＳの位置を検出する。
このように、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）に対する各エッジの位置偏差ｅｉを利用することにより、停止線ＬＳの検出精度を向上させることができる。
（３）本実施形態に係る標示線検出装置は、位置偏差ｅｉに応じた各エッジの重み付けにより、停止線ＬＳの位置ＸＳ_（ｎ）を検出する。
このように、位置偏差ｅｉに応じた重み付けを加えたエッジの頻度により、停止線ＬＳの検出精度を向上させることができる。

（４）本実施形態に係る標示線検出装置は、エッジごとに、位置偏差ｅｉが、位置偏差ｅｉの平均値ｅ_ＡＶＥ以下であるか否かを判定する。そして、位置偏差ｅｉが平均値以下であるエッジの尤度ｋｉを高尤度αに設定し、位置偏差ｅｉが平均値より大きいエッジの尤度ｋｉを低尤度βに設定する。そして、尤度ｋｉに基づいて重み付けを加える。
このように、位置偏差ｅｉと平均値ｅ_ＡＶＥとを比較し、その大小関係に応じて、予め定めたα及びβによって重み付けすることにより、容易に、且つ的確に、エッジごとの尤度ｋｉを設定することができる。この尤度ｋｉを考慮することにより、停止線ＬＳの検出精度を向上させることができる。

（５）本実施形態に係る標示線検出方法は、挟角カメラ１２Ｎが第一の視点から自車両の周囲を撮像し、挟角カメラ画像を取得する。また、広角カメラ１２Ｗが第一の視点とは異なる第二の視点から、挟角カメラ１２Ｎの撮像範囲と一部が重なり合う共通領域を有するように自車両の周囲を撮像し、広角カメラ画像を取得する。これら挟角カメラ画像及び広角カメラ画像から、自車両の周囲の路面に標示された停止線ＬＳの画像上のエッジの位置を検出する。そして、検出したエッジの位置から自車両に対する停止線ＬＳの位置ＸＳ_（ｎ）を検出する。また、停止線ＬＳの位置と自車両の移動量の距離ΔＤとから、停止線ＬＥ_（ｎ）の位置ＸＥ_（ｎ）を推定する。そして、狭角カメラ画像及び広角カメラ画像のうち、重なり合う共通領域Ａｃ_ＮＷで停止線ＬＳのエッジの位置を検出しているときには、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を基準としたときの、挟角カメラ画像及び広角カメラ画像で検出した各エッジの位置に応じて、自車両に対する停止線ＬＳの位置ＸＳ_（ｎ）を検出する。

このように、自車両の移動量の距離ΔＤに応じて停止線ＬＥの位置ＸＥ_（ｎ）を推定し、この推定位置ＸＥ_（ｎ）を基準としたときの、各エッジの位置に応じて、停止線ＬＳの位置ＸＳ_（ｎ）を検出することができる。すなわち、各カメラの僅かな組み付け誤差や、画像の歪み等があるとしても、停止線ＬＥ_（ｎ）の推定位置ＸＥ_（ｎ）を基準にして停止線ＬＳの位置ＸＳ_（ｎ）を検出することにより、その検出精度を向上させることができる。

《第２実施形態》
《構成》
本実施形態は、路面に標示された駐車枠の位置を検出するものである。
標示線検出装置１１の構成を、図１５に基づいて説明する。
本実施形態の標示線検出装置１１は、前方カメラ１２Ｆと、後方カメラ１２Ｒと、左方カメラ１２ＳＬと、右方カメラ１２ＳＲと、車輪速センサ１３と、コントローラ１４と、ヨーレートセンサ１５と、を備える。

前方カメラ１２Ｆは、自車両における第三の視点から自車両の前方周囲を撮像し、前方カメラ画像を取得する。後方カメラ１２Ｒは、自車両における第四の視点から自車両の後方周囲を撮像し、後方カメラ画像を取得する。左方カメラ１２ＳＬは、自車両における第五の視点から自車両の左方周囲を撮像し、且つ前方カメラ１２Ｆの撮像範囲の一部、及び後方カメラ１２Ｒの撮像範囲の一部が重なるように自車両の左方周囲を撮像し、左方カメラ画像を取得する。右方カメラ１２ＳＲは、自車両における第六の視点から自車両の右方周囲を撮像し、且つ前方カメラ１２Ｆの撮像範囲の一部、及び後方カメラ１２Ｒの撮像範囲の一部が重なるように自車両の右方周囲を撮像し、右方カメラ画像を取得する。前方カメラ１２Ｆ、後方カメラ１２Ｒ、左方カメラ１２ＳＬ、及び右方カメラ１２Ｒは、夫々、撮像した画像データをコントローラ１４に出力する。なお、各カメラには魚眼レンズを用いているが、これに限定されるものではなく、夫々、予め定めた領域を撮像することができれば任意のレンズを用いてよい。

前方カメラ１２Ｆ及び後方カメラ１２Ｒの配置を、図１６に基づいて説明する。
前方カメラ１２Ｆは、例えばフロントグリルに設けられており、その取付け位置は、レンズの位置が地面からｈ３の高さであり、取付け角度は、光軸が水平面に対して下向きにθ３だけ傾いている。この前方カメラ１２Ｆの取付け位置や取付け角度が第三の視点である。後方カメラ１２Ｒは、例えばバックドアフィニッシャに設けられ、その取付け位置は、レンズの位置が地面からｈ４の高さであり、取付け角度は、光軸が水平面に対して下向きにθ４だけ傾いている。この後方カメラ１２Ｒの取付け位置や取付け角度が第四の視点である。

左方カメラ１２ＳＬ及び右方カメラ１２ＳＲの配置を、図１７に基づいて説明する。
左方カメラ１２ＳＬは、例えば左のドアミラーに設けられており、その取付け位置は、レンズの位置が地面からｈ５の高さであり、取付け角度は、光軸が水平面に対して下向きにθ５だけ傾いている。この左方カメラ１２ＳＬの取付け位置や取付け角度が第五の視点である。右方カメラ１２ＳＲは、例えば右のドアミラーに設けられ、その取付け位置は、レンズの位置が地面からｈ６の高さであり、取付け角度は、光軸が水平面に対して下向きにθ６だけ傾いている。この右方カメラ１２ＳＲの取付け位置や取付け角度が第六の視点である。

ヨーレートセンサ１５は、車体のヨーレートγを検出する。このヨーレートセンサ１５は、バネ上となる車体に設けられ、例えば水晶音叉からなる振動子を交流電圧によって振動させ、そして角速度入力時のコリオリ力によって生じる振動子の歪み量を電気信号に変換してコントローラ１４に出力する。コントローラ１４は、入力された電気信号から車両のヨーレートγを判断する。なお、コントローラ１４は、右旋回を正の値として処理し、左旋回を負の値として処理する。

その他の装置構成については、前述した第１実施形態と同様であるため、共通する部分については、詳細な説明を省略する。
俯瞰画像生成部２１は、前方カメラ画像、後方カメラ画像、左方カメラ画像、及び右方カメラ画像を、夫々、視点変換により俯瞰画像に変換する。
各カメラ画像の重なり合う共通領域を図１８に示す。
ここでは、平面視（俯瞰）で、前方カメラ１２Ｆの撮像範囲をＡ_Ｆで表し、後方カメラ１２Ｒの撮像範囲をＡ_Ｒで表し、左方カメラ１２ＳＬの撮像範囲をＡ_ＳＬで表し、右方カメラ１２ＳＲの撮像範囲をＡ_ＳＲで表す。

そして、撮像範囲Ａ_Ｆにおける左側の一部と、撮像範囲Ａ_ＳＬにおける前側の一部とが重なっており、これら撮像範囲の重なり合う共通領域をＡｃ_ＦＬとして表す。また、撮像範囲Ａ_Ｆにおける右側の一部と、撮像範囲Ａ_ＳＲにおける前側の一部とが重なっており、これら撮像範囲の重なり合う共通領域をＡｃ_ＦＲとして表す。また、撮像範囲Ａ_Ｒにおける左側の一部と、撮像範囲Ａ_ＳＬにおける後側の一部とが重なっており、これら撮像範囲の重なり合う共通領域をＡｃ_ＲＬとして表す。また、撮像範囲Ａ_Ｒにおける右側の一部と、撮像範囲Ａ_ＳＲにおける後側の一部とが重なっており、これら撮像範囲の重なり合う共通領域をＡｃ_ＲＲとして表す。

エッジ検出部２２は、各俯瞰画像で、駐車枠ＬＰの候補となるエッジを検出する。エッジの検出には、ｓｏｂｅｌフィルタやｈｏｕｇｈ変換等を利用してエッジを検出する。前述した第１実施形態では、停止線ＬＳが車体幅方向に延在することが想定されたため、分離度特徴量を用いたが、第２実施形態では、車体に対する駐車枠の位置関係が一様ではないためである。

次に、重なり合う共通領域Ａｃ_ＦＬ、Ａｃ_ＦＲ、Ａ_ＲＬ、Ａｃ_ＲＲの何れかで、駐車枠ＬＰのエッジを検出しているときの、駐車枠ＬＰの位置検出について説明する。ここでは、後方カメラ１２Ｒ、及び左方カメラ１２ＳＬの双方で同時に駐車枠ＬＰを撮像できているシーンを例に説明する。
重なり合う共通領域Ａｃ_ＲＬで駐車枠ＬＰのエッジを検出している状態を図１９に示す。
ここでは、自車両が左斜め後方に存在する駐車枠ＬＰへ駐車するために、左方向にステアリング操作しながら後退しているものとする。

標示線位置推定部２７は、演算周期に従った前回の演算で、駐車枠ＬＰ_{（ｎ−１）}の位置を検出してから、今回の演算までに自車両が移動した移動量の距離ΔＤ、及びヨー角変化量Δψに応じて、現在の駐車枠ＬＰの推定位置を算出する。なお、検出した駐車枠と、推定する駐車枠とを区別するために、推定する駐車枠をＬＥ_（ｎ）として表記する。駐車枠ＬＥ_（ｎ）は、予め定めた駐車枠モデルＭＰで表され、その推定位置とは、世界座標系における駐車枠モデルＭＰの座標位置ＰＰ_（ｎ）及び傾きθＰ_（ｎ）として算出する。

駐車枠モデルＭＰの座標位置ＰＰ_（ｎ）及び傾きθＰ_（ｎ）を図２０に示す。
駐車枠線モデルＭＰは、太い波線で示すように、平行に並んだ一対の長手線分と、これら長手線分と略直角方向に延在し、長手線分の一端側同士に連結される短手線分とで構成されており、長手方向の他端側に開いた略「コ」の字形をしている。ここで、駐車枠モデルＭＰの座標位置ＰＰ_（ｎ）とは、例えば長手線分の他端同士の中央とする。また、駐車枠モデルＭＰの傾きθＰ_（ｎ）とは、駐車枠モデルＭＰの長手方向と、世界座標系におけるＸｗ軸と、がなす角度である。

ここで、移動量の距離ΔＤは、下記の式に示すように、自車速Ｖ［ｋｍ／ｈ］、及び演算周期（１／ｆ）に応じて算出される。ｆは１秒間あたりの演算回数である。
ΔＤ＝Ｖ／（３.６×ｆ）[ｍ]
また、ヨー角変化量Δψは、下記の式に示すように、ヨーレートγ［ｄｅｇ／ｓ］、及び演算周期（１／ｆ）に応じて算出される。ｆは１秒間あたりの演算回数である。
Δψ＝γ／（３.６×ｆ）[deg]

偏差算出部２８は、駐車枠ＬＥ_（ｎ）の推定位置（ＰＰ_（ｎ）及びθＰ_（ｎ））に対する、世界座標系における各エッジの位置偏差ｅｉを算出する。ここで、ｉはエッジの番号である。具体的には、先ずエッジごとに、駐車枠モデルＭＰ上で最も近い座標［Ｘｍ，Ｙｍ］を求める。そして、下記の式に示すように、各エッジの座標Ｘｉと駐車枠モデルＭＰの座標Ｘｍとの差分を二乗した値と、各エッジの座標Ｙｉと駐車枠モデルＭＰ座標Ｙｍとの差分を二乗した値と、を加算することにより、各エッジの位置偏差ｅｉを算出する。
ｅｉ＝（Ｘｉ−Ｘｍ）^２＋（Ｙｉ−Ｙｍ）^２

駐車枠モデルＭＰの推定位置に対する各エッジの分布例を図２１に示す。
ここでは、Ｙｗ軸及びＸｗ軸からなる世界座標系において、今回の演算で推定した駐車枠モデルＭＰを示している。そして、左方カメラ俯瞰画像で検出したエッジを「○」印で示し、後方カメラ俯瞰画像で検出したエッジを「△」印で示している。左方カメラ俯瞰画像で検出した各エッジ、及び後方カメラ俯瞰画像で検出した各エッジにおいて、駐車枠モデルＭＰの推定位置に対する僅かな差分（ばらつき）が生じており、その差分をエッジごとに算出する。
その他の処理ブロックについては、停止線ＬＳ_（ｎ）の代わりに駐車枠ＬＰ_（ｎ）を検出していることを除けば、前述した第１実施形態と同様であるため、共通する部分については、詳細な説明を省略する。

次に、コントローラ１４で所定時間（例えば１０ｍｓｅｃ）毎に演算する標示線検出処理を図２２に示すが、ここでも、停止線ＬＳ_（ｎ）の代わりに駐車枠ＬＰ_（ｎ）を検出していることを除けば、前述した第１実施形態と同様であるため、詳細な説明を省略する。
先ずステップＳ１０１では、前方カメラ１２Ｆで撮像した前方カメラ画像、後方カメラ１２Ｒで撮像した後方カメラ画像、左方カメラ１２ＳＬで撮像した左方カメラ画像、及び右方カメラ１２ＳＲで撮像した右方カメラ画像を取得する。

続くステップＳ１０２は、俯瞰画像生成部２１での処理に対応し、前方カメラ画像、後方カメラ画像、左方カメラ画像、及び右方カメラ画像を俯瞰変換し、前方カメラ俯瞰画像、後方カメラ俯瞰画像、左方カメラ俯瞰画像、及び右方カメラ俯瞰画像を生成する。
続くステップＳ１０３は、エッジ検出部２２での処理に対応し、前方カメラ俯瞰画像、後方カメラ俯瞰画像、左方カメラ俯瞰画像、及び右方カメラ俯瞰画像で、駐車枠ＬＰの候補となるエッジを検出する。
続くステップＳ１０４は、座標変換部２３での処理に対応し、各画像座標系のエッジの座標を、世界座標系に変換する。

続くステップＳ１０５は、エッジ保持部２４での処理に対応し、各エッジの世界座標系での座標位置をメモリに格納する。
続くステップＳ１０６では、重なり合う共通領域Ａｃ_ＦＬ、Ａｃ_ＦＲ、Ａ_ＲＬ、Ａｃ_ＲＲで駐車枠ＬＰのエッジを検出しているか否かを判定する。ここで、重なり合う共通領域Ａｃ_ＦＬ、Ａｃ_ＦＲ、Ａ_ＲＬ、Ａｃ_ＲＲ以外で、駐車枠ＬＰのエッジを検出しているときにはステップＳ１０７に移行する。一方、重なり合う共通領域Ａｃ_ＦＬ、Ａｃ_ＦＲ、Ａ_ＲＬ、Ａｃ_ＲＲで駐車枠ＬＰのエッジを検出しているときにはステップＳ１０８に移行する。

ステップＳ１０７は、標示線位置検出部２５での処理に対応し、検出したエッジに応じて、駐車枠ＬＰの位置を検出してから所定のメインプログラムに復帰する。
ステップＳ１０８では、前回の演算処理で検出した駐車枠ＬＰ_{（ｎ−１）}の位置（ＰＰ_{（ｎ−１）}及びθＰ_{（ｎ−１）}）を読込む。
続くステップＳ１０９では、前回の演算から今回の演算までに自車両が移動した移動量の距離ΔＤ、及びヨー角変化量ψを算出する。

続くステップＳ１１０は、推定位置推定部２７での処理に対応し、移動量の距離ΔＤ、及びヨー角変化量ψに応じて、現在の駐車枠ＬＥ_（ｎ）の推定位置（ＰＥ_（ｎ）及びθＥ_（ｎ））を算出する。
続くステップＳ１１１は、偏差算出部２８での処理に対応し、駐車枠ＬＥ_（ｎ）の推定位置（ＰＥ_（ｎ）及びθＥ_（ｎ））に対する各エッジの位置偏差ｅｉと、全ての位置偏差ｅｉの平均値ｅ_ＡＶＥと、を算出する。

続くステップＳ１１２は、尤度設定部２９での処理に対応し、偏差ｅｉの平均値ｅ_ＡＶＥに応じて、各エッジの尤度ｋｉを設定する。
続くステップＳ１１３は、標示線位置検出部２５での処理に対応し、駐車枠ＬＥ_（ｎ）の推定位置（ＰＥ_（ｎ）及びθＥ_（ｎ））を基準としたときの、各エッジの位置に応じて、駐車枠ＬＰ_（ｎ）の位置（ＰＰ_（ｎ）及びθＰ_（ｎ））を検出してから所定のメインプログラムに復帰する。
上記が標示線検出処理である。

《作用》
次に、第２実施形態の作用について説明する。
本実施形態では、前方カメラ１２Ｆが、自車両における第三の視点から前方の走行路を撮像し、後方カメラ１２Ｒが、自車両における第四の視点から後方の走行路を撮像している。また、左方カメラ１２ＳＬが、自車両における第五の視点から左方の走行路を撮像し、且つ前方カメラ１２Ｆの撮像範囲の一部、及び後方カメラ１２Ｒの撮像範囲の一部が重なるように左方の走行路を撮像している。さらに、右方カメラ１２ＳＲが、自車両における第六の視点から右方の走行路を撮像し、且つ前方カメラ１２Ｆの撮像範囲の一部、及び後方カメラ１２Ｒの撮像範囲の一部が重なるように右方の走行路を撮像している。

これら前方カメラ１２Ｆ、後方カメラ１２Ｒ、左方カメラ１２ＳＬ、及び右方カメラ１２Ｒで、路面に標示された駐車枠ＬＰのエッジを検出する（ステップＳ１０３）。そして、重なり合う共通領域Ａｃ_ＦＬ、Ａｃ_ＦＲ、Ａ_ＲＬ、及びＡｃ_ＲＲを除く何れかの撮像範囲で、駐車枠ＬＰのエッジを検出しているときには（ステップＳ１０６の判定が“No”）、その検出したエッジに応じて、駐車枠ＬＰの位置（ＰＰ_（ｎ）及びθＰ_（ｎ））を検出する（ステップＳ１０７）。例えば、自車両が左斜め後方に存在する駐車枠ＬＰへ駐車するために、左方向にステアリング操作しながら後退しているシーンでは、先ず後方カメラ１２Ｒの撮像範囲Ａ_Ｒのうち、重なり合う共通領域Ａｃ_ＲＬ以外に駐車枠ＬＰのエッジが現れる。したがって、後方カメラ俯瞰画像に基づいて駐車枠ＬＰの位置（ＰＰ_（ｎ）及びθＰ_（ｎ））を検出する。

そして、自車両がさらに後退すると、重なり合う共通領域Ａｃ_ＲＬに駐車枠ＬＰのエッジが移る（ステップＳ１０６の判定が“Yes”）。この場合は、前回の演算で検出した駐車枠ＬＰ_{（ｎ−１）}の位置（ＰＰ_{（ｎ−１）}及びθＰ_{（ｎ−１）}）を読込み（ステップＳ１０８）、前回の演算で駐車枠ＬＰ_{（ｎ−１）}を検出してからの自車両の移動量の距離ΔＤ、及びヨー角変化量ψを算出する（ステップＳ１０９）。この移動量の距離ΔＤ、及びヨー角変化量ψに応じて、現在の駐車枠ＬＥ_（ｎ）の推定位置（ＰＥ_（ｎ）及びθＥ_（ｎ））を算出する（ステップＳ１１０）。

そして、駐車枠ＬＥ_（ｎ）の推定位置（ＰＥ_（ｎ）及びθＥ_（ｎ））に対する、世界座標系における各エッジの位置偏差ｅｉと、全ての位置偏差ｅｉの平均値ｅ_ＡＶＥと、を算出する（ステップＳ１１１）。そして、偏差ｅｉの平均値ｅ_ＡＶＥに応じて、各エッジの尤度ｋｉを算出する（ステップＳ１１２）。具体的には、エッジの位置偏差ｅｉが平均値ｅ_ＡＶＥ以下であるときには、そのエッジの尤度ｋｉを高尤度αに設定する。一方、エッジの位置偏差ｅｉが平均値ｅ_ＡＶＥより大きいときには、そのエッジの尤度ｋｉを低尤度βに設定する。これは位置偏差ｅｉが小さいほど、信頼度が高く、逆に位置偏差ｅｉが大きいほど、信頼度が低いからである。

このように、各エッジに重み付けすることにより、尤度ｋｉを考慮したエッジの頻度が最も高い位置を、駐車枠ＬＰ_（ｎ）の位置（ＰＰ_（ｎ）及びθＰ_（ｎ））として検出することができる。したがって、後方カメラ１２Ｒや左方カメラ１２ＳＬの僅かな組み付け誤差や、魚眼レンズに起因した画像の歪み等があるとしても、駐車枠ＬＥ_（ｎ）の推定位置（ＰＥ_（ｎ）及びθＥ_（ｎ））を基準にして駐車枠ＬＰ_（ｎ）の位置（ＰＰ_（ｎ）及びθＰ_（ｎ））を検出することにより、検出精度を向上させることができる。

その後、自車両がさらに後退すると、左方カメラ１２ＳＬの撮像範囲Ａ_ＳＬのうち、重なり合う共通領域Ａｃ_ＲＬ以外にも駐車枠ＬＰのエッジが現れる。この領域では、左方カメラ俯瞰画像に基づいて駐車枠ＬＰの位置（ＰＰ_（ｎ）及びθＰ_（ｎ））を検出すればよい。
本実施形態において、その他、前述した第１実施形態と共通する部分については、同様の作用効果が得られるものとし、詳細な説明は省略する。
以上、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく実施形態の改変は、当業者にとって自明のことである。また、各実施形態は、任意に組み合わせて採用することができる。

１１ 標示線検出装置
１２Ｎ 狭角カメラ
１２Ｗ 広角カメラ
１３ 車輪速センサ
１４ コントローラ
２１ 俯瞰画像生成部
２２ エッジ検出部
２３ 座標変換部
２４ エッジ保持部
２５ 標示線位置検出部
２６ 運転支援部
２７ 標示線位置推定部
２８ 偏差算出部
２９ 尤度設定部
１２Ｆ 前方カメラ
１２Ｒ 後方カメラ
１２ＳＬ 左方カメラ
１２ＳＲ 右方カメラ
１５ ヨーレートセンサ

Claims (5)

1. 車両に搭載され、第一の視点から前記車両の周囲を撮像し、第一の画像を取得する第一の撮像部と、
   前記車両に搭載され、前記第一の視点とは異なる第二の視点から、前記第一の撮像部の撮像範囲と一部が重なり合う共通領域を有するように前記車両の周囲を撮像し、第二の画像を取得する第二の撮像部と、
   前記第一の画像及び前記第二の画像から、前記車両の周囲の路面に標示された標示線の画像上のエッジの位置を検出するエッジ検出部と、
   前記エッジ検出部が、検出した前記エッジの位置に応じて、前記車両に対する前記標示線の位置を検出する標示線位置検出部と、
   前記標示線位置検出部で検出した前記車両に対する前記標示線の位置と前記車両の移動量とから、前記標示線の位置を推定する標示線位置推定部と、を備え、
   前記標示線位置検出部は、
   前記エッジ検出部が、前記第一の画像及び前記第二の画像のうち、前記重なり合う共通領域で前記標示線のエッジの位置を検出しているときには、前記標示線位置推定部で推定した前記標示線の推定位置を基準としたときの、前記第一の画像及び前記第二の画像で検出した各エッジの位置に応じて、前記車両に対する前記標示線の位置を検出することを特徴とする標示線検出装置。
2. 前記標示線位置推定部で推定した前記標示線の推定位置に対する、前記第一の画像及び前記第二の画像で検出した各エッジの位置の位置偏差を算出する偏差算出部を備え、
   前記標示線位置検出部は、
   前記エッジ検出部が、前記第一の画像及び前記第二の画像のうち、前記重なり合う共通領域で前記標示線のエッジの位置を検出しているときには、前記偏差算出部で算出した位置偏差に応じて、前記標示線の位置を検出することを特徴とする請求項１に記載の標示線検出装置。
3. 前記標示線位置検出部は、
   前記エッジ検出部が、前記第一の画像及び前記第二の画像のうち、前記重なり合う共通領域で前記標示線のエッジの位置を検出しているときには、前記偏差算出部で算出した位置偏差に基づく各エッジの重み付けを加えたエッジの頻度により、前記標示線の位置を検出することを特徴とする請求項２に記載の標示線検出装置。
4. 前記エッジごとに、前記位置偏差が、前記位置偏差の平均値以下であるか否かを判定し、前記位置偏差が前記平均値以下である前記エッジの尤度を高尤度に設定し、前記位置偏差が前記平均値より大きい前記エッジの尤度を前記高尤度より相対的に低い低尤度に設定する尤度設定部を備え、
   前記標示線位置検出部は、前記尤度設定部で設定した尤度に基づいて前記重み付けを加えることを特徴とする請求項３に記載の標示線検出装置。
5. 車両に搭載された第一の撮像部で第一の視点から前記車両の周囲を撮像することにより第一の画像を取得し、
   前記車両に搭載された第二の撮像部で前記第一の視点とは異なる第二の視点から、前記第一の撮像部の撮像範囲と一部が重なり合う共通領域を有するように前記車両の周囲路を撮像することにより第二の画像を取得し、
   前記第一の画像及び前記第二の画像で、前記車両の周囲の路面に標示された標示線の画像上のエッジの位置を検出し、
   検出したエッジの位置に応じて、前記車両に対する前記標示線の位置を検出し、
   前記車両に対する前記標示線の位置と前記車両の移動量とから、前記標示線の位置を推定し、
   前記第一の画像及び前記第二の画像のうち、前記重なり合う共通領域で前記標示線のエッジを検出しているときには、前記標示線の推定位置を基準としたときの、前記第一の画像及び前記第二の画像で検出した各エッジの位置に応じて、前記車両に対する前記標示線の位置を検出することを特徴とする標示線検出方法。
   

Images