JP5958366B2 - 車載画像処理装置 - Google Patents

Description

本発明は、車載画像処理装置に関するものである。

従来、駐車支援装置において、右側方カメラ、左側方カメラ、前方カメラ、および後方カメラによって目標駐車場を含む車両の周囲を撮像するとともに、この撮影した車両の周囲を鳥瞰変換して鳥瞰画像を表示するものがある（特許文献１参照）。

このものにおいては、カメラの死角による映像欠落部分の少ない車両周囲の映像を表示することにより、駐車範囲を区分する駐車枠の白線などが明確に映し出すことができる。

特開２０１２−１１８６５６号公報

本発明者等は、上述の鳥瞰変換した画像内の駐車枠によって駐車目標位置を決定することを検討したところ、次のような問題点が生じることが分かった。

すなわち、駐車場において駐車枠を形成する路面が傾斜している場合には、鳥瞰画像では、平行な２本の白線５２ａ、５２ｂから構成される駐車枠５２として、ハの字状に配置される白線５２ａ、５２ｂが表示される（図１３（ａ）参照）。

また、駐車場の路面に段差が形成されて路面上の駐車枠が段差を跨いでいる場合には、鳥瞰画像では、２本の白線５２ａ、５２ｂがずれて表示される（図１３（ｂ）参照）。

このように駐車場の路面が傾斜していたり、或いは駐車枠が段差を跨いでいる場合には、鳥瞰変換の変換誤差が起因して、鳥瞰画像では駐車枠が正確に表示されない。このため、鳥瞰画像内の駐車枠を用いて駐車目標位置を決定すると、駐車目標位置の位置誤差が大きくなる。

本発明は上記点に鑑みて、高い精度の駐車目標位置を取得することができる車載画像処理装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ（１０）が撮影する毎に前記自車の位置情報を取得する取得手段（Ｓ１１０）と、
前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に鳥瞰変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段（Ｓ１６０）と、
前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを判定する駐車枠判定手段（Ｓ１８０）と、
前記駐車枠を形成する駐車路面が傾斜しているか否かを判定する傾斜判定手段（Ｓ２０１）と、
前記駐車枠を形成する駐車路面が傾斜していると前記傾斜判定手段が判定した場合に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線に基づいて、前記駐車路面の傾斜情報を求める傾斜情報算出手段（Ｓ２０３）と、
前記傾斜情報算出手段によって求められる駐車路面の傾斜情報に基づいて、前記駐車路面の傾斜に起因する前記鳥瞰変換の変換誤差を無くした前記鳥瞰座標上の各エッジ点の座標を再計算する再計算手段（Ｓ２０４）と、
前記再計算手段によって再計算される前記鳥瞰座標上の各エッジ点をハフ空間に投票して、この投票した結果から前記駐車枠を構成する直線を抽出する直線抽出手段（Ｓ２０５）と、
前記直線抽出手段によって抽出される前記駐車枠を構成する直線と前記再計算される前記鳥瞰座標上の各エッジ点の座標とに基づいて前記自車の駐車目標位置を決める決定手段（Ｓ２１０）と、を備えることを特徴とする。

請求項１に記載の発明によれば、駐車路面の傾斜情報に基づいて再計算される各エッジ点の座標をハフ空間に投票して、この投票した結果から駐車枠を構成する直線を抽出する。このため、駐車枠を構成する直線を精度良く求めることができる。これに加えて、このように求められる駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて駐車目標位置を決めるので、高い位置精度の駐車目標位置を取得することができる。

また、請求項３に記載の発明では、路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ（１０）が撮影する毎に前記自車の位置情報を取得する取得手段（Ｓ１１０）と、
前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段（Ｓ１６０）と、
前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを前記撮影毎に判定する駐車枠判定手段（Ｓ１８０）と、
前記投票履歴に前記駐車枠を構成する直線が存在すると前記駐車枠判定手段が判定する毎に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線と、前記共通の鳥瞰座標上のエッジ点とに基づいて前記自車の駐車目標位置の瞬時値を算出する算出手段（Ｓ２５０）と、
前記算出手段によって前記駐車目標位置の瞬時値を算出する毎に、前記算出手段によって今回算出された前記瞬時値に第１の重みに掛けた値と、前記算出手段によって前回算出された前記瞬時値に第２の重みに掛けた値とを加算した加算値を前記駐車目標位置として求める加重平均手段（Ｓ２８０）と、
前記駐車枠を形成する路面の段差を前記駐車枠が跨いでいるか否かを段差判定手段（Ｓ２２０）と、を備え、
前記段差を前記駐車枠が跨いでいると前記段差判定手段が判定した場合には、前記段差を前記駐車枠が跨いでいないと前記段差判定手段が判定した場合に比べて、前記第１の重みが大きく、かつ前記第２の重みが小さくなっていることを特徴とする。

請求項３に記載の発明によれば、加算値を駐車目標位置として求める際に、駐車枠が段差を跨いでいると判定する前に算出される瞬時駐車目標位置の使用比率を、駐車枠が段差を跨いでいる判定する後に算出される瞬時駐車目標位置に比べて小さくすることができる。このため、加算値を駐車目標位置として求める際に、変換誤差を含む駐車目標位置の使用を少なくすることができる。したがって、加算値としての駐車目標位置を精度良く求めることができる。

なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

本発明の第１実施形態における駐車支援装置の構成を示す図である。 図１の駐車支援装置の作動を説明するための図である。 駐車場の路面の傾斜を示す図である。 図１のマイクロコンピュータが実行する駐車目標位置決定処理を示すフローチャートである。 図１のマイクロコンピュータが実行する駐車目標位置決定処理の一部の詳細を示すフローチャートである。 図１のマイクロコンピュータが実行する駐車目標位置決定処理の一部の詳細を示すフローチャートである。 駐車枠を示す４本の直線を示す図である。 駐車枠を示す４本の直線を示す図である。 上記駐車目標位置決定処理を説明するための図である。 図９中Ｘ−Ｘ断面図である 本発明の第２実施形態における駐車目標位置決定処理の一部を示すフローチャートである。 第２実施形態における駐車目標位置決定処理の一部を示すフローチャートである。 鳥瞰変換による白線の変換誤差を示す図である。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、説明の簡略化を図るべく、図中、同一符号を付してある。

（第１実施形態）
図１に本発明の車載画像処理装置が適用される駐車支援装置１の概略構成を示す。

駐車支援装置１は、図１に示すように、ＣＣＤカメラ１０、メモリ２０、およびマイクロコンピュータ３０から構成されている。

ＣＣＤカメラ１０は、自車の後方に配置されて、自車の後方の景色を撮影するリアカメラである。自車とは、駐車支援装置１が搭載されている自動車のことである。メモリ２０は、マイクロコンピュータ３０のコンピュータプログラムを記憶するとともに、マイクロコンピュータ３０がコンピュータプログラムを実行する際に生じるデータを保存するバッファとして機能する。

マイクロコンピュータ３０は、操舵角センサ４０、車速センサ４１、および駐車開始スイッチ４２のそれぞれの出力信号を用いて、ＣＣＤカメラ１０の撮影画像からハフ変換を用いて駐車枠を示す４本の直線を抽出するとともに、この抽出される４本の直線に基づいて自車の駐車目標位置を決定する駐車目標位置決定処理を実行する。

操舵角センサ４０は、自車の前輪の操舵角を検出するセンサである。車速センサ４１は、自車の速度を検出するセンサである。駐車開始スイッチ４２は、駐車目標位置決定処理の実行開始を指示する際に乗員によって操作されるスイッチである。Ｇセンサ４３は、天地方向（すなわち、重力方向）の加速度を検出する。

次に、本実施形態の作動の具体例として、図２において自車５０が駐車場６０の路面６１上の駐車枠５２の付近をＦ１点→Ｆ２点→Ｆ３→Ｆ４点の順で走行する際にＣＣＤカメラ１０の撮影画像内の駐車枠５２を用いて駐車枠５２内の駐車目標位置を決める例について説明する。

本実施形態の駐車場６０の路面６１は、自車５０側の部位Ｇから駐車枠５２の奥側に向けて徐々に高くなる傾斜が形成されている駐車路面である。駐車枠５２の奥側とは、駐車枠５２に対して自車５０の反対側のことである。本実施形態では、路面６１と水平方向との成す角度は、角度φ（図３参照）に設定されている。角度φは、路面６１の傾斜角度を表すものである。駐車枠５２は、路面６１上において平行に配置される２本の白線５２ａ、５２ｂからなるものであって、車両の駐車領域を示すものである。駐車枠５２は、駐車場６０内の駐車車両５３、５４の間に位置する。

まず、本実施形態の駐車目標位置決定処理の詳細の説明に先立って、本実施形態の駐車目標位置決定処理で用いるハフ空間について説明する。

まず、ハフ空間とは、直線を表すための３次元座標のことである。具体的には、Ｘ軸をρとし、Ｙ軸をθとし、Ｚ軸をエッジ点の投票数とする空間である。

ここで、エッジ点とは、ＣＣＤカメラ１０の撮影画像から抽出されるエッジ点のことである。ρおよびθは、二次元のＸＹ座標上の点（ｘｉ、ｙｉ）を通る直線Ｆ１を極座標表現にてρ＝ｘｉ・ｃｏｓθ＋ｙｉ・ｓｉｎθと表すために用いられるパラメータである。

ρは、直線Ｆ１へ原点から下ろした垂線の長さを示す第１パラメータである。θは、Ｘ軸と垂線とがなす角度を示す第２パラメータである。本実施形態のハフ空間は、駐車枠５２を含む撮影領域が対象となっている。撮影領域とはＣＣＤカメラ１０によって撮影される領域のことである。

次に、本実施形態の駐車目標位置決定処理の詳細について説明する。

マイクロコンピュータ３０は、図４、図５、図６のフローチャートにしたがって、駐車目標位置決定処理を実行する。駐車目標位置決定処理の実行は、駐車開始スイッチ４２をオンしたときに開始される。図５は、図４中のステップＳ２００の詳細を示すフローチャートであり、図６は図４中のステップＳ２１０の詳細を示すフローチャートである。

まず、図４のステップＳ１００において、ＣＣＤカメラ１０を制御して後方の景色を撮影させる。このとき、ＣＣＤカメラ１０が、自車５０の真後ろの景色、右後方の景色、および左後方の景色を含む後方画像を撮影することになる。

次に、ステップＳ１１０において、操舵角センサ４０の出力信号および車速センサ４１の出力信号に基づいて、自車５０の位置情報（すなわち、ＣＣＤカメラ１０の撮影位置）を算出する。

次に、ステップＳ１２０において、ＣＣＤカメラ１０の撮影画像からエッジ点を抽出する。本実施形態のエッジ点とは、ＣＣＤカメラ１０の撮影画像のうち輝度の変化を示す点である。このように撮影画像から抽出された複数のエッジ点に対してトップビュー変換を施す（ステップＳ１３０）。つまり、複数のエッジ点を自車５０の上側から視た鳥瞰座標上の複数のエッジ点に座標変換する。すなわち、撮影画像毎に複数のエッジ点を鳥瞰座標上の複数のエッジ点に座標変換することになる。

ここで、後述するように、駐車枠５２の検出には複数の撮影画像が用いられる。複数の撮影画像は、撮影画像毎にその撮影位置が異なる。これに加えて、撮影毎の鳥瞰座標はそれぞれ独立して設定されている。このため、撮影画像毎の鳥瞰座標の位置関係が定まっていない。

そこで、次のステップＳ１４０において、自車５１の位置情報を用いて上記鳥瞰座標をＣＣＤカメラ１０の撮影位置に対応付けるように鳥瞰座標を撮影毎に座標変換する。つまり、上記鳥瞰座標上の複数のエッジ点を撮影画像毎に共通の鳥瞰座標上に写像することになる。このことにより、撮影画像毎の鳥瞰座標の位置関係を撮影画像毎の位置情報を用いて設定することができる。

次に、このようにステップＳ１４０において座標変換された鳥瞰座標上の複数のエッジ点の座標をメモリ２０に保存する（ステップＳ１５０）。

次に、ステップＳ１６０において、上記ステップＳ１４０で座標変換された鳥瞰座標上の複数のエッジ点を共通のハフ空間に写像することになる。つまり、上記ステップＳ１４０で座標変換された鳥瞰座標上の複数のエッジ点を共通のハフ空間に投票する。つまり、このように共通のハフ空間に投票された投票履歴をメモリ２０に記憶させる。

その後、ステップＳ１７０〜ステップＳ１９０において、上記共通のハフ空間に写像された投票履歴（以下、単に、共通ハフ空間の投票履歴という）から駐車枠の直線を抽出する直線抽出処理を実行する。

具体的には、ステップＳ１７０において、共通ハフ空間の投票履歴から複数の直線を抽出する。なお、共通ハフ空間の投票履歴から直線を抽出する処理は周知であるため、その説明を省略する。

ここで、駐車枠５２は、駐車場の路上に平行に配置されている２本の白線５２ａ、５２ｂ（図２参照）から構成されている。白線５２ａ、５２ｂ間の間隔Ｗ１は、Ｆ１寸法からＦ２寸法までの所定寸法範囲内に入るように設定されている。そして、白線５２ａ（或いは、５２ｂ）のうち幅方向（すなわち、白線が延びる方向に対する直交する方向）の寸法Ｗ２は、Ｃ寸法からＤ寸法までの所定寸法範囲内に入るように設定されている。以下、本実施形態では、便宜上、白線５２ａ、５２ｂ間の間隔Ｗ１を定める所定寸法範囲を第１の寸法範囲とし、白線５２ａ（或いは、５２ｂ）のうち幅方向寸法Ｗ２を定める所定寸法範囲を第２の寸法範囲とする。

そして、共通ハフ空間の投票履歴では、白線５２ａ（或いは、５２ｂ）は、ほぼ平行に配置されている二本の直線によって表される。二本の直線は、アップエッジによる直線とダウンエッジによる直線とから構成されるものである。アップエッジによる直線とは、輝度の増大を示すエッジ点からなる直線のことである。 ダウンエッジによる直線とは、輝度の低下を示すエッジ点からなる直線のことである。つまり、アップエッジによる直線とダウンエッジによる直線との間の寸法Ｗ２が第２の寸法範囲に入いる場合には、アップエッジによる直線とダウンエッジによる直線とが白線を示していることになる。なお、以下、このように間隔が第２の寸法範囲内に入っているアップエッジによる直線とダウンエッジによる直線とからなる直線の対を単に平行直線という。

そこで、ステップＳ１８０において、上記ステップＳ１７０で抽出される複数の直線に、駐車枠５２を構成する４本の直線が含まれているか否かを判定する。このことにより、上記ステップＳ１７０で抽出される複数の直線に、駐車枠５２を構成する２対の平行線が含まれているか否かを判定することになる。

ここで、駐車枠５２を構成する２対の平行線は、４本の直線のうち内側の２本の直線の間の寸法（すなわち、図７中の直線６１、６２の間の寸法）が第１の寸法範囲内に入っているものである。図７は、駐車枠５２を示す直線６０、６１、６２、６３を示している。

このように２対の平行直線の間の寸法が第１の寸法範囲内に入っている２対の平行直線が上記ステップＳ１７０で抽出される複数の直線に含まれていない場合には、駐車枠を示す４本の直線が共通ハフ空間の投票履歴に存在しないとして、上記ステップＳ１８０でＮＯと判定する。これに伴って、ステップＳ１００に戻る。

その後、上記ステップＳ１８０でＮＯと判定される限り、ステップＳ１００、Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０、およびステップＳ１８０のＮＯ判定を繰り返す。このため、ハフ空間への写像（ステップＳ１６０）、直線抽出（ステップＳ１７０）、駐車枠の直線の有無判定（ステップＳ１８０）を繰り返すことになる。

その後、上記ステップＳ１７０で抽出される複数の直線に、駐車枠５２を構成する４本の直線が含まれている場合には、ステップＳ１８０においてＹＥＳと判定する。これに伴い、上記ステップＳ１７０で抽出される複数の直線から、駐車枠５２を構成する４本の直線を抽出する（ステップＳ１９０）。

駐車場６０の路面６１に、自車５０側の部位Ｇ（つまり、傾斜開始部位）から駐車枠５２の奥側に向けて徐々に高くなる傾斜が形成されている場合において、白線５２ａ、５２ｂが伸びる方向に鳥瞰座標の視点が位置する場合には、鳥瞰図では、駐車枠５２を構成する白線５２ａ、５２ｂは、平行にならず、ハの字状に表示される。

この場合、白線５２ａを示す直線６０と白線５２ｂ示す直線６２が所定角度θ以上の角度で交差し、かつ白線５２ａを示す直線６１と白線５２ｂ示す直線６３が所定角度θ以上で交差することになる（図８参照）。

なお、実際には、鳥瞰変換によって白線５２ａを示す直線６０、６１も平行にならず、ハの字状に表示される。白線５２ｂを示す直線６２、６３も平行にならず、ハの字状に表示されるが、図８では、このようなハの字状の表示を省略して、直線６０、６１を平行に表示し、かつ直線６２、６３を平行に表示している。

このように、駐車場６０の路面６１の傾斜が起因する鳥瞰変換による変換誤差によって、駐車枠５２を示す直線６０、６１、６２、６３が正確に表示されなくなる。このため、このような変換誤差を含んだ直線６０、６１、６２、６３を用いると、自車の駐車目標位置を精度良く決定することができない。

そこで、駐車場６０の路面６１が傾斜している場合には、図５のステップＳ２０１〜Ｓ２０７において、鳥瞰座標上において駐車枠５２を示す４本の直線を補正する。

まず、ステップＳ２０１において、駐車枠５２を構成する４本の直線を用いて
駐車場６０の路面６１に傾斜が形成されているか否かを判定する。本実施形態では、駐車枠５２を構成する４本の直線のうち内側の２本の直線（図８中の直線６２、６１）がなす角度θが所定値以上であるか否かを判定する。すなわち、白線５２ａ、５２ｂがなす角度θが所定値以上であるか否かを判定することになる。

このとき、駐車枠５２を構成する４本の直線のうち内側の２本の直線がなす角度θが所定値未満であるときには、駐車場６０の路面６１が傾斜していないとして、ステップＳ２０１においてＮＯと判定する。

また、駐車枠５２を構成する４本の直線のうち内側の２本の直線がなす角度θが所定値以上であるときには、駐車場６０の路面６１が傾斜しているとして、ステップＳ２０１においてＹＥＳと判定する。

例えば、駐車場６０の路面６１が傾斜しているとして、ステップＳ２０１においてＹＥＳと判定した場合には、次のステップＳ２０２では、自車５０の走行軌跡から路面６１が傾斜する方向を推定する。具体的には、駐車開始スイッチ４２がオンされてからステップＳ１８０でＹＥＳと判定されるまでに繰り返しステップＳ１１０で取得される位置情報に基づいて、自車５０の走行軌跡を推定する。本実施形態では、この推定される走行軌跡としては、図２中のＦ１点からＦ２点までの軌跡を想定する。そして、このように推定される走行軌跡（Ｆ１点〜Ｆ２点）に対して直交する方向に路面６１が傾斜していると推定する。つまり、Ｆ１点とＦ２点とを結ぶ線分に対して直交する方向に、路面６１が傾斜していると推定することになる。

次のステップＳ２０３では、駐車枠５２を構成する４本の直線に基づいて路面６１の傾斜情報を算出する。以下、図９、図１０を用いて路面６１の傾斜情報の算出について説明する。

図９の鳥瞰座標上において、符号５２ａ’、５２ｂ’は、傾斜が形成されている路面６１上の駐車枠の２本の白線を示す。符号５２ａ’、５２ｂ’は、路面６１の傾斜が起因する変換誤差によってハの字状に配置されている２本の白線を示す。図９中の符号５２ａ、５２ｂは、鳥瞰座標上にて本来表示されるべき白線５２ａ、５２ｂの座標を示している。図１０は図９中Ｘ−Ｘ断面図である。図１０において、路面６１が傾斜角φで傾斜している。

まず、カメラ１０の位置を原点Ｏとし、鳥瞰座標上で白線５２ａ’を構成する任意のエッジ点ａ’、ｂ’の座標を求める。カメラ１０の位置を原点Ｏとし、鳥瞰座標上で白線５２ａ’を構成する任意のエッジ点ｃ’、ｄ’の座標をそれぞれ求める。エッジ点ａ’、ｂ’は直線６２上に位置するエッジ点である。エッジ点ｃ’、ｄ’は直線６１上に位置するエッジ点である。

図９、図１０中のエッジ点ａ、ｂ、ｃ、ｄは、本来表示されるべき白線５２ａ、５２ｂを構成するエッジ点である。エッジ点ａはエッジ点ａ’に対応し、エッジ点ｂはエッジ点ｂ’に対応し、エッジ点ｃはエッジ点ｃ’に対応し、エッジ点ｄはエッジ点ｄ’に対応する。

次に、図１０において、エッジ点ａ’を含んで路面６１に平行な平行面６３に対して原点ｏを通る垂線６４を形成した場合に、垂線６４が平行面６３に交わる点ｖ’の座標を求める。さらに、垂線６４が路面６１に交わる点ｖの座標を求める。

次に、点ｖと原点ｏとの間の距離をｖｏとし、エッジ点ａと原点ｏとの間の距離をａｏとし、点ｖ’と原点ｏとの間の距離をｖｏとし、エッジ点ａ’と原点ｏとの間の距離をａ’ｏとする。距離ｖｏ、ｖ’ｏ、ａ’ｏを、点ｖの座標、点ｖ’の座標、およびエッジ点ａ’の座標から求めることができる。

ここで、距離ｖｏ、ａｏ、ｖ’ｏ、ａ’ｏの間には、ｖｏ：ａｏ＝ｖ’ｏ：ａ’ｏの比例関係が成立し、この比例関係からエッジ点ａの座標を求めることができる。これに加えて、エッジ点ａの場合と同様に、エッジ点ｂ，ｃ，ｄの座標を求める。

そして、エッジ点ａ、ｂ、ｃ、ｄの座標は、傾斜角度φ、および部位Ｇ（すなわち、路面６１の傾斜が始まる部位）の座標をそれぞれ変数とする以下の関数Ｆａ（φ、Ｇ）、Ｆｂ（φ、Ｇ）、Ｆｃ（φ、Ｇ）、Ｆｄ（φ、Ｇ）で表されるものとする。

ａ＝Ｆａ（φ、Ｇ）・・・・・数式１
ｂ＝Ｆｂ（φ、Ｇ）・・・・・数式２
ｃ＝Ｆｃ（φ、Ｇ）・・・・・数式３
ｄ＝Ｆｄ（φ、Ｇ）・・・・・数式４
まず、車両進行方向（図２中点Ｆ１とＦ２とを結ぶ方向）をＹ方向とし、以降すべて、ｚ＝０として、ｘｙ平面で考える。

エッジ点ａからエッジ点ｃに向かうベクトルをＡＣとし、エッジ点ｂからエッジ点ｄに向かうベクトルをＢＤとし、Ｙ方向の単位ベクトル（０、１）をＹｅとすると、ＡＣがＹｅと直交することから、数式５、数式６が成立する。

ＡＣ・Ｙｅ＝０・・・・・数式５
ＡＣ＝ｃ−ａ＝Ｆｃ（φ、Ｇ）−Ｆａ（φ、Ｇ）・・・・・数式６
同様に、ＢＤがＹｅと直交することから、数式７、数式８が成立する。

ＢＤ・Ｙｅ＝０・・・・・数式７
ＢＤ＝ｄ−ｂ＝Ｆｄ（φ、Ｇ）−Ｆｂ（φ、Ｇ）・・・・・数式８
以上により、数式５、数式７は、角度φ、Ｇの座標で表されるので、数式５、数式７を連立方程式として傾斜角φ、およびＧの座標を路面６１の傾斜情報として求めることができる。なお、上記数式５および数式７の「・」は内積を表している。

次に、ステップＳ２０４において、傾斜角φおよびＧの座標と上記ステップＳ１３０で求められる鳥瞰座標上の複数のエッジ点の座標とに基づいて、本来、ステップＳ１３０のトップビュー変換（鳥瞰変換）で取得されるべき鳥瞰座標上の各エッジ点の座標を再計算する。これにより、路面６１の傾斜を起因とする鳥瞰変換の変換誤差（表示誤差）を無くした鳥瞰座標上の各エッジ点の座標を取得することができる。

その後、ステップＳ２０４で求められた変換誤差を含まない鳥瞰座標上の各エッジ点をハフ空間に投票する（ステップＳ２０５）。このハフ空間に投票された投票履歴から複数の直線を抽出する（ステップＳ２０６）。この抽出される複数の直線から駐車枠を示す直線６０、６１、６２、６３（図７参照）を抽出する（ステップＳ２０７）。これに伴い、図４のステップＳ２１０において、ステップＳ２０６で抽出される駐車枠５２を示す直線６０、６１、６２、６３を用いて自車５０の駐車目標位置を決める。

一方、上記ステップＳ２０１において、駐車場６０の路面６１が傾斜していないとしてＮＯと判定した場合、図４のステップＳ２１０において、上記ステップＳ１９０で抽出される駐車枠５２を示す直線６０、６１、６２、６３を用いて自車５０の駐車目標位置を決める。

このように路面６１の傾斜の有無に応じて、ステップＳ１９０、Ｓ２０６のうち一方のステップで抽出される直線６０、６１、６２、６３を用いて自車５０の駐車目標位置を決める。

例えば、上記ステップＳ２０１でＹＥＳと判定したときには、上記ステップＳ２０４において再計算される鳥瞰座標上の各エッジ点のうち、駐車枠５２を示す直線６０、６１、６２、６３の上に位置する複数のエッジ点を直線毎に抽出してこの抽出した複数のエッジ点を直線毎にメモリ２０に保存する。

また、上記ステップＳ２０１でＮＯと判定したときには、図４のステップＳ１５０において取得される鳥瞰座標上の各エッジ点のうち、駐車枠５２を示す直線６０、６１、６２、６３の上に位置する複数のエッジ点を直線毎に抽出してこの抽出した複数のエッジ点を直線毎にメモリ２０に保存する。

次のステップ２１２において、このようにメモリ２０に保存される直線毎の複数のエッジ点を自車５０の位置を含む鳥瞰座標上にソートする。これに伴い、鳥瞰座標上の複数のエッジ点を直線毎に自車５０に近い側から走査し、鳥瞰座標上の複数のエッジ点において、駐車枠５２のうち自車５０側の端点（すなわち、手前側端点）となるエッジ点が有るか否かを直線毎に判定する（ステップＳ２１２、Ｓ２１３、Ｓ２１４）。

具体的には、鳥瞰座標上の複数のエッジ点において、自車５０側（すなわち、手前側）の第１所定距離内に位置するエッジ点の個数が第１の閾値未満で、かつ自車と反対側（すなわち、奥側）の第２所定距離内に位置するエッジ点の個数が第２の閾値以上であるエッジ点が有るか否かを直線毎に判定する。

本実施形態では、第１所定距離としては１メートルとし、第２所定距離を１メートルとし、第１の閾値を１個とし、第２の閾値を５個とする。

このため、４本の直線のうち一本の直線上に位置する複数のエッジ点を走査して、直線上の複数のエッジ点のうち、自車５０側の１メートル内に位置するエッジ点が零個で、かつ自車５０と反対側の１メートル内に位置するエッジ点の個数が５個以上であるエッジ点が存在するときには、この存在するエッジ点が駐車枠５２のうち自車５０側の端点であるとする。

これに加えて、４本の直線のうち一本の直線以外の３本の直線についても、同様に、直線上の複数のエッジ点に対して走査判定処理（ステップＳ２１２、Ｓ２１３、Ｓ２１４）を実施して、直線上の複数のエッジ点のうち、駐車枠５２のうち自車５０側の端点となるエッジ点が存在するか否かを判定する。

その結果、４本の直線について、直線上の複数のエッジ点のうち、自車５０側の１メートル内に位置するエッジ点が零個で、かつ自車５０と反対側の１メートル内に位置するエッジ点の個数が５個以上であるエッジ点が存在すると判定したときには、この存在すると判定される直線毎のエッジ点を駐車枠５２のうち自車５０側の端点６０ａ、６１ａ、６２ａ、６３ａとして決める（ステップＳ２１５）。

次に、ステップＳ２１６において、駐車枠５２のうち自車５０側の端点６０ａ、６１ａ、６２ａ、６３ａと駐車枠５２を示す４本の直線とに基づいて、目標駐車位置を決定する。

具体的には、駐車枠５２を示す４本の直線のうち、自車５０側の端点に対して自車５０と反対側で、かつ自車５０側の端点との間の距離が所定距離Ｌとなる位置を直線毎に決める。この直線毎に決められる４つの位置から定める位置を目標駐車位置として決定する。目標駐車位置は、操舵角等を制御して自車５０の駐車を支援する際に、自車５０を駐車させるための目標位置として用いられる。

以上説明した本実施形態によれば、マイクロコンピュータ３０は、駐車枠の付近を自車５０が走行する際に駐車枠側の景色を繰り返し撮影するためのＣＣＤカメラ１０が撮影する毎に自車５０の位置情報を取得する。撮影毎の位置情報に基づいてＣＣＤカメラ１０の撮影画像中のエッジ点の座標を共通の鳥瞰座標上のエッジ点に撮影毎に変換して、この変換された共通の鳥瞰座標上のエッジ点を撮影毎にハフ空間に投票する。ハフ空間に投票された投票履歴に駐車枠を構成する直線が存在するか否かを判定し、投票履歴に存在すると判定される駐車枠を構成する直線に基づいて、駐車枠を形成する駐車路面が傾斜しているか否かを判定する。投票履歴に存在すると判定される駐車枠を構成する直線に基づいて、駐車路面の傾斜情報を求め、この駐車路面の傾斜情報に基づいて、駐車場６０の路面６１の傾斜に起因する鳥瞰変換の変換誤差を無くした鳥瞰座標上の各エッジ点の座標を計算する。この再計算される鳥瞰座標上の各エッジ点をハフ空間に投票してこの投票した結果から駐車枠を構成する直線を抽出する。この抽出される駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて自車５０の駐車目標位置を算出することを特徴としている。

このように求められる駐車枠を構成する直線と再計算される鳥瞰座標上の各エッジ点の座標とに基づいて駐車目標位置を決めるので、高い位置精度の駐車目標位置を取得することができる。

（第２実施形態）
上記第１実施形態では、路面６１の傾斜が生じている場合に、高い精度の目標駐車位置を求める例について説明したが、これに代えて、本第２実施形態では、路面６１上の駐車枠５２が段差を跨いでいる場合でも、高い精度の目標駐車位置を求める例について説明する。

本実施形態のマイクロコンピュータ３０は、図４〜図６に代わる図１１、図１２のフローチャートに従って駐車目標位置決定処理を実行する。図１１中のステップＳ１００、Ｓ１１０、・・・・Ｓ２００は、図４中のステップＳ１００、Ｓ１１０、・・・・Ｓ２００と同一である。このため、ステップＳ１００、Ｓ１１０、・・・・Ｓ２００の説明を簡素化する。

次に、本実施形態の駐車目標位置決定処理の詳細について説明する。

マイクロコンピュータ３０は、図１１、図１２のフローチャートにしたがって、駐車目標位置決定処理を実行する。駐車目標位置決定処理の実行は、駐車開始スイッチ４２をオンしたときに開始される。駐車目標位置決定処理は、繰り返し実行される。

まず、図１１のステップＳ１００〜Ｓ１８０の処理を上記第１実施形態と同様に実行する。例えば、図２中Ｆ１点からＦ２点側に自車５０が近づくと、ステップＳ１８０において、駐車枠５２を示す４本の直線が共通ハフ空間の投票履歴に存在するとして、ＹＥＳと判定する。

これに伴い、次のステップＳ１９０において、上記ステップＳ１７０で抽出される複数の直線から、駐車枠５２を構成する４本の直線を抽出する。その後、この４本の直線を補正する枠線補正処理（ステップＳ２００）を実施する。このため、ハフ空間に投票された投票履歴から駐車枠５２を示す直線６０、６１、６２、６３（図７参照）を抽出することができる。

次に、図１２のステップＳ２２０において、Ｇセンサ４３の出力信号に基づいて、路面６１上の駐車枠５２が段差を跨いでいるか否かを判定する。このとき、Ｇセンサ４３によって所定値以上の天地方向の加速度を検出した場合には、駐車枠５２が段差を跨いでいるとして、ＹＥＳと判定する。つまり、駐車枠５２に段差が生じていると判定することになる。この場合、駐車目標位置の決定に用いる重みαを「ゼロ」とする。一方、Ｇセンサ４３によって所定値以上の天地方向の加速度が検出しなかった場合には、駐車枠５２が段差を跨いでいないとして、ＮＯと判定する。つまり、駐車枠５２に段差が生じていないと判定する。これに伴い、駐車目標位置の決定に用いる重みαを「０．８」とする。

次に、ステップＳ２５０において、駐車目標位置の瞬時値（以下、瞬時駐車目標位置という）を求める。瞬時駐車目標位置の算出は、図４中のステップＳ２１０と同様であるので、その説明を省略する。

その後、上記ステップＳ２５０において、瞬時駐車目標位置を算出する毎に、瞬時駐車目標位置の加重平均値を算出することになる（ステップＳ２６０〜Ｓ２９０）。

具体的には、ステップＳ２６０において、今回に算出される瞬時駐車目標位置の座標（Ｘ（ｍ）、Ｙ（ｍ）、Ｚ（ｍ））に対して（１−α）を掛けた座標（Ｘ（ｍ）×（１−α）、Ｙ（ｍ）×（１−α）、Ｚ（ｍ）×（１−α））を求める。ｍは、ステップＳ２５０の実行回数を示す値である。

次に、ステップＳ２７０において、前回に算出される瞬時駐車目標位置の座標（Ｘ（ｍ−１）、Ｙ（ｍ−１、Ｚ（ｍ−１）に対してαを掛けた座標（Ｘ（ｍ−１×α、Ｙ（ｍ−１×α、Ｚ（ｍ−１）×α）を求める。

次に、ステップＳ２８０において、上記ステップＳ２６０において算出される座標（Ｘ（ｍ）×（１−α）、Ｙ（ｍ）×（１−α）、Ｚ（ｍ）×（１−α））と、上記ステップＳ２７０において算出される座標（Ｘ（ｍ−１）×α、Ｙ（ｍ−１）×α、Ｚ（ｍ−１）×α）とを加算する。これにより、瞬時駐車目標位置の加重平均値を求めることができる。加重平均値のｘ成分は、｛Ｘ（ｍ）×（１−α）＋Ｘ（ｍ−１）×α｝であり、ｙ成分は、｛Ｙ（ｍ）×（１−α）＋Ｙ（ｍ−１）×α｝、ｚ成分は、｛Ｚ（ｍ）×（１−α）＋Ｚ（ｍ−１）×α｝である。このよう瞬時駐車目標位置の加重平均値は、ステップＳ２９０で出力される。その後、図１１のステップＳ１００に戻る。このため、ステップＳ１８０において、上記ステップＳ１７０で抽出される複数の直線に駐車枠５２を構成する４本の直線が含まれているとしてＹＥＳと判定される毎に、ステップＳ１９０、Ｓ２００の処理後、図１２のステップＳ２２０〜Ｓ２９０の処理を実行する。このため、瞬時駐車目標位置を算出する毎に、瞬時駐車目標位置の加重平均値が出力される。

以上説明した説明した本実施形態によれば、駐車枠５２を示す４本の直線が共通ハフ空間の投票履歴に存在するとして、ステップＳ１８０でＹＥＳと判定した後に、Ｇセンサ４３によって所定値以上の天地方向の加速度を検出した場合には、駐車枠５２が段差を跨いでいるとしてステップ２２０でＹＥＳと判定する。

そして、ステップＳ１８０でＹＥＳと判定される毎に、図１２のステップＳ２２０〜Ｓ２９０において瞬時駐車目標位置が算出される。このため、瞬時駐車目標位置の算出毎に、今回の瞬時駐車目標位置の座標に対して（１−α）を掛けた座標と、前回の瞬時駐車目標位置の座標に対してαを掛けた座標とを加算して瞬時駐車目標位置の加重平均値を算出する。

駐車枠５２が段差を跨いでいると判定したときには、重みαを「ゼロ」とする一方、駐車枠５２に段差が生じていないと判定した場合には重みαを「０．８」とする。このため、駐車枠５２が段差を跨いでいると判定したときには、駐車枠５２が段差を跨いでいないと判定する場合に比べて、前回の瞬時駐車目標位置の座標に掛ける重みα（第２の重み）を小さくし、かつ今回の瞬時駐車目標位置の座標に掛ける重み（１−α）（第１の重み）を大きくすることができる。

したがって、駐車目標位置の加重平均値を求める際に、駐車枠５２が段差を跨いでいると判定する前に算出される瞬時駐車目標位置の使用比率を、駐車枠５２が段差を跨いでいると判定する後に算出される瞬時駐車目標位置の使用比率に比べて小さくすることができる。これにより、駐車枠５２に生じている段差を起因とする鳥瞰変換の変換誤差を含む駐車目標位置の使用比率を減らすことができる。このため、加重平均値としての駐車目標位置を精度良く求めることができる。

（他の実施形態）
上記第１実施形態では、駐車場６０の路面６１に傾斜が形成されているか否かを判定する際に、駐車枠５２を構成する４本の直線を用いた例について説明したが、これに代えて、ＣＣＤカメラ１０のモーションステレオにより立体写真を取得し、この取得される立体写真から路面６１の斜面を検出してもよい。

上記第２実施形態では、Ｇセンサの出力信号に基づいて、路面６１の段差を駐車枠５２が跨いでいるか否かを判定した例について説明したが、これに代えて、次の（１）、（２）、（３）のようにしてもよい。
（１）ＣＣＤカメラ１０のモーションステレオにより立体写真を取得し、この取得される立体写真から路面６１の段差、および駐車枠５２を検出する。或いは、三次元カメラを用いて立体写真を取得し、この取得される立体写真から路面６１の段差および駐車枠５２を検出する。このように検出される段差および駐車枠５２によって路面６１の段差を駐車枠５２が跨いでいるか否かを判定してもよい。
（２）ＣＣＤカメラ１０により撮影される画像を鳥瞰変換した鳥瞰画像から路面の段差を跨ぐ白線のずれ（図１３（ｂ）参照）を検出したとき、路面６１の段差を駐車枠５２が跨いでいると判定する。
（３）超音波や電磁波を用いて障害物を検出するソナーによって障害物を探知する処理と、上記第１実施形態においてＣＣＤカメラ１０の撮影画像を用いて駐車目標位置を算出する処理とを並列的に実施する場合、ソナーにより探知される障害物と自車５０との間の距離が一定であるにも関わらず、上記第１実施形態におけるＣＣＤカメラ１０の撮影画像を用いて算出される駐車目標位置が大きくずれる場合には、路面６１の段差を駐車枠５２が跨いでいると判定する。

上記第１、第２実施形態では、操舵角センサ４０の出力信号および車速センサ４１の出力信号に基づいて、自車５０の位置情報を算出した例について説明したが、これに限らず、ＧＰＳによって自車５０の位置情報を算出してもよい。

上記第２実施形態では、重みαを「ゼロ」「０．８」とした例について説明したが、これに代えて、重みαを「ゼロ」、「０．８」以外の値にしてもよい。

上記第１、第２実施形態では、ステップＳ１３０において、複数のエッジ点を自車５０の上側から視た鳥瞰座標上の複数のエッジ点に座標変換した後に次のステップＳ１４０において、自車５１の位置情報を用いて上記鳥瞰座標をＣＣＤカメラ１０の撮影位置に対応付けるように鳥瞰座標を撮影毎に座標変換した例について説明したが、これに代えて、次のようにしてもよい。

すなわち、ＣＣＤカメラ１０の撮影画像中のエッジ点を自車５１の位置情報を用いてＣＣＤカメラ１０の撮影位置に対応付けるように撮影毎に座標変換し、この座標変換されたエッジ点を自車５０の上側から視た鳥瞰座標上の複数のエッジ点に座標変換してもよい。

なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。

１ 駐車支援装置
１０ ＣＣＤカメラ
３０ マイクロコンピュータ
４０ 操舵角センサ
４１ 車速センサ
４２ 駐車開始スイッチ
５０ 自車（自動車）
５２ 駐車枠
５１ａ、５１ｂ 白線
６０、６１、６２、６３ 直線

Claims (4)

1. 路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ（１０）が撮影する毎に前記自車の位置情報を取得する取得手段（Ｓ１１０）と、
   前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に鳥瞰変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段（Ｓ１６０）と、
   前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを判定する駐車枠判定手段（Ｓ１８０）と、
   前記駐車枠を形成する駐車路面が傾斜しているか否かを判定する傾斜判定手段（Ｓ２０１）と、
   前記駐車枠を形成する駐車路面が傾斜していると前記傾斜判定手段が判定した場合に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線に基づいて、前記駐車路面の傾斜情報を求める傾斜情報算出手段（Ｓ２０３）と、
   前記傾斜情報算出手段によって求められる駐車路面の傾斜情報に基づいて、前記駐車路面の傾斜に起因する前記鳥瞰変換の変換誤差を無くした前記鳥瞰座標上の各エッジ点の座標を再計算する再計算手段（Ｓ２０４）と、
   前記再計算手段によって再計算される前記鳥瞰座標上の各エッジ点をハフ空間に投票して、この投票した結果から前記駐車枠を構成する直線を抽出する直線抽出手段（Ｓ２０５）と、
   前記直線抽出手段によって抽出される前記駐車枠を構成する直線と前記再計算される前記鳥瞰座標上の各エッジ点の座標とに基づいて前記自車の駐車目標位置を決める決定手段（Ｓ２１０）と、を備えることを特徴とする車載画像処理装置。
2. 前記自車側から前記駐車枠に対して前記自車と反対側に向けて路面の高さが徐々に大きくなるように前記駐車路面が形成されている場合に、前記駐車路面の傾斜情報は、前記駐車路面の傾斜が開始される位置（Ｇ）の座標と前記路面の傾斜角度（φ）とを備えていることを特徴とする請求項１に記載の車載画像処理装置。
3. 路面上の駐車枠の付近を自車が走行する際に前記駐車枠側の景色を繰り返し撮影するためのカメラ（１０）が撮影する毎に前記自車の位置情報を取得する取得手段（Ｓ１１０）と、
   前記撮影毎の前記位置情報に基づいて前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から視た共通の鳥瞰座標上のエッジ点に前記撮影毎に変換し、この変換された共通の鳥瞰座標上のエッジ点を前記撮影毎にハフ空間に投票する投票手段（Ｓ１６０）と、
   前記ハフ空間に投票された投票履歴に前記駐車枠を構成する直線が存在するか否かを前記撮影毎に判定する駐車枠判定手段（Ｓ１８０）と、
   前記投票履歴に前記駐車枠を構成する直線が存在すると前記駐車枠判定手段が判定する毎に、前記投票履歴に存在すると前記駐車枠判定手段によって判定される前記駐車枠を構成する直線と、前記共通の鳥瞰座標上のエッジ点とに基づいて前記自車の駐車目標位置の瞬時値を算出する算出手段（Ｓ２５０）と、
   前記算出手段によって前記駐車目標位置の瞬時値を算出する毎に、前記算出手段によって今回算出された前記瞬時値に第１の重みに掛けた値と、前記算出手段によって前回算出された前記瞬時値に第２の重みに掛けた値とを加算した加算値を前記駐車目標位置として求める加重平均手段（Ｓ２８０）と、
   前記駐車枠を形成する路面の段差を前記駐車枠が跨いでいるか否かを段差判定手段（Ｓ２２０）と、を備え、
   前記段差を前記駐車枠が跨いでいると前記段差判定手段が判定した場合には、前記段差を前記駐車枠が跨いでいないと前記段差判定手段が判定した場合に比べて、前記第１の重みが大きく、かつ前記第２の重みが小さくなっていることを特徴とする車載画像処理装置。
4. 前記投票手段は、
   前記カメラの撮影画像中のエッジ点の座標を前記自車の上側から前記撮影毎に視た鳥瞰座標上のエッジ点に変換する鳥瞰座標変換手段（Ｓ１３０）と、
   前記鳥瞰座標変換手段によって変換される前記撮影毎の鳥瞰座標上のエッジ点を前記撮影毎の位置情報に対応付けるように前記撮影毎の鳥瞰座標上のエッジ点を変換して、前記共通の鳥瞰座標上のエッジ点を取得する座標変換手段（Ｓ１４０）と、を備えることを特徴とする請求項１ないし３のいずれか１つに記載の車載画像処理装置。

Images