JP2012158227A - 画像処理装置、駐車制御システム、及び、画像処理方法 - Google Patents

Abstract

【課題】駐車スペースの周りに物体が存在しない場合にも駐車スペースを判定することができる技術を提供する。
【解決手段】画像処理装置は、車両の速度に関する情報と車外画像に含まれる車両の左右方向に略沿って延びる第１ラインを認識したタイミングとに基づいて、車両を駐車可能なスペースの有無を判定するため、車外画像に基づいて車両を駐車可能なスペースを判定することができる。
【選択図】図１０

Description

本発明は、車両に搭載されるカメラが撮影した車外画像を処理する画像処理技術に関する。

近年、車両の挙動を制御して車両を駐車可能なスペース（以降、駐車スペースという）へ駐車させる駐車制御システムが開発されている。

この駐車制御システムが実行するその制御は、まず、検知手段（例えば、超音波やレーダなど）によって車両周辺の物体（例えば、駐車車両など）の有無を検知する。そして、駐車制御システムは、検知手段によって検知した物体に基づいて駐車スペースの有無を判定する。そして、駐車制御システムは、現在の車両の位置から認識した駐車スペースへ車両を誘導するルートを導出する。次に、駐車制御システムは、導出したルートを辿るように車両の挙動を制御して車両を駐車スペースへ駐車させる。

このような駐車制御システムに関する技術が、例えば、特許文献１に記載されている。

特開２００９−８３８０６号公報

しかし、駐車スペースの判定を、超音波やレーダなどの検知手段によって検知した物体に基づいて判定する場合には、駐車スペースの周りに物体が存在しなければ駐車スペースを判定することができないという問題がある。

本発明は、上記課題に鑑みてなされたものであり、駐車スペースの周りに物体が存在しない場合にも駐車スペースを判定することができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載されるカメラが撮影した車外画像を処理する画像処理装置であって、前記カメラから前記車両の側方外側が映る前記車外画像を取得する第１取得手段と、走行中の前記車両の速度に関する情報を取得する第２取得手段と、前記車両の走行中に取得された前記車外画像に基づいて、前記車両の左右方向に略沿って延びる第１ラインを認識する認識手段と、取得された前記速度に関する情報と前記第１ラインが認識されたタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定する判定手段と、を備えることを特徴とする。

また、請求項２の発明は、請求項１に記載の画像処理装置において、前記認識手段は、前記車両の所定位置から前記車両の左右方向に延びる直線上に略位置する第１ラインを認識することを特徴とする。

また、請求項３の発明は、請求項１又は２の何れかに記載の画像処理装置において、前記認識手段は、前記車両の走行中に取得された前記車外画像に基づいて、前記第１ラインと略直交する第２ラインを更に認識し、前記判定手段は、取得された前記速度に関する情報と前記第１ライン及び前記第２ラインを認識したタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定することを特徴とする。

また、請求項４の発明は、請求項１乃至３の何れかに記載の画像処理装置において、前記認識手段は、前記車両の走行中に取得された前記車外画像に基づいて、他の車両を更に認識するものであり、前記判定手段は、前記他の車両が認識された場合に、前記第１ラインが認識されないときは、取得された前記速度に関する情報と前記他の車両を認識したタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定することを特徴とする。

また、請求項５の発明は、請求項４又は５の何れかに記載の画像処理装置において、前記判定手段は、前記第１ラインと前記他の車両との双方が認識された場合は、取得された前記速度に関する情報と前記第１ラインが認識されたタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定することを特徴とする
また、請求項６の発明は、請求項１乃至５の何れかに記載の画像処理装置を備える駐車制御システムであって、前記スペースが有ると判定された場合に、前記車両の挙動を制御して前記スペースへ前記車両を駐車させる制御手段を備えることを特徴とする。

また、請求項７の発明は、車両に搭載されるカメラが撮影した車外画像を処理する画像処理方法であって、（ａ）前記カメラから前記車両の側方外側が映る前記車外画像を取得する工程と、（ｂ）走行中の前記車両の速度に関する情報を取得する工程と、（ｃ）前記車両の走行中に取得された前記車外画像に基づいて、前記車両の左右方向に略沿って延びるラインを認識する工程と、（ｄ）取得された前記速度に関する情報と前記ラインを認識したタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定する工程と、を備えることを特徴とする。

請求項１乃至７の発明によれば、車両の速度に関する情報と車外画像に含まれる車両の左右方向に略沿って延びる第１ラインを認識したタイミングとに基づいて、車両を駐車可能なスペースの有無を判定するため、車外画像に含まれる第１ラインに基づいて車両を駐車可能なスペースを判定することができるとともに、駐車スペースの周りに物体が存在しない場合にも駐車スペースを判定することができる。

また、請求項２の発明によれば、車両の所定位置から車両の左右方向に延びる直線上に略位置する第１ラインを車外画像に基づいて認識するため、第１ラインを認識する確度を高めることができる。結果、車両を駐車可能なスペースの有無を判定する精度を高くできる。

また、請求項３の発明によれば、第１ラインと略直交する第２ラインとを認識するため、車両を駐車可能なスペースの有無を判定する精度を高くできる。

また、請求項４の発明によれば、第１ラインが認識されない場合にも、他の車両に基づいて車両を駐車可能なスペースの有無を判定することができる。

また、請求項５の発明によれば、第１ラインと他の車両との両方が認識される場合は、認識する確度が比較的に高い第１ラインに基づいて車両を駐車可能なスペースの有無を判定するため、そのスペースの有無を判定する精度を高くできる。

また、請求項６の発明によれば、車両の挙動を制御して車外画像に基づいて判定した駐車スペースへ車両を駐車させるため、低コストでその制御を実行することができる。

図１は、駐車制御システムブロックを示す図である。 図２は、車両を示す図である。 図３は、車両を示す図である。 図４は、縦列駐車制御を説明する図である。 図５は、第１制御フローを示す図である。 図６は、車両及び車外画像を示す図である。 図７は、生成処理を説明する図である。 図８は、第２制御フローを示す図である。 図９は、導出処理を示す図である。 図１０は、第３制御フローを示す図である。 図１１は、駐車枠を示す図である。 図１２は、車外画像を示す図である。判定処理を説明する図である。 図１３は、認識処理及び判定処理を説明する図である。 図１４は、車外画像を示す図である。 図１５は、第４制御フローを示す図である。 図１６は、車外画像を示す図である。 図１７は、ヒストグラムを示す図である。 図１８は、認識処理及び判定処理を説明する図である。 図１９は、認識処理及び判定処理を説明する図である。 図２０は、車外画像を示す図である。 図２１は、車外画像を示す図である。 図２２は、タイヤのパターンを示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．構成＞
図１は、第１の実施の形態の画像処理装置２の構成を示す図である。この画像処理装置２は車両１に搭載されるカメラが撮影した車外画像を処理する。

より具体的に説明すると、まず、画像処理装置２は、左サイドカメラ４から車両１の側方外側が映る車外画像を取得するとともに、画像処理装置２は、走行中の車両１の速度に関する情報を取得する。

次に、画像処理装置２は、車両１の走行中に取得された車外画像に基づいて、車両１の左右方向に略沿って延びる第１ラインと、第１ラインと略直交する第２ラインを認識する。

次に、取得された速度に関する情報と第１ライン及び第２ラインが認識されたタイミングとに基づいて、車両１を駐車可能なスペース（以降、駐車スペースという）の有無を判定する。

そして、駐車制御装置１３は、画像処理装置２によって駐車スペースが有ると判定された場合に、車両１の挙動を制御して駐車スペースへ車両１を駐車させる制御を実行する。

以降、画像処理装置２、駐車制御装置１３、及び、ディスプレイ１２を含めて、駐車制御システムＳＹという。

この駐車制御システムＳＹが発揮するその機能を説明するために、まず、駐車制御システムＳＹの構成を図１に基づいて説明する。

駐車制御システムＳＹは、画像処理装置２、ディスプレイ１２、及び、駐車制御装置１３などを備える。

画像処理装置２は、フロントカメラ３、左サイドカメラ４、右サイドカメラ５、リヤカメラ６（以降において、カメラ３〜６という）、車速センサ７、インスツルメントパネル制御装置８、駐車制御装置１３、及び、ディスプレイ１２などとケーブルによって電気的に接続される。

駐車制御装置１３は、画像処理装置２、エンジン制御装置９、操舵装置１０、及び、ブレーキ装置１１などとケーブルによって電気的に接続される。

フロントカメラ３は、図２に示すように車両１の前端にあるナンバープレート取り付け位置の近傍に設けられ、その光軸は車両１の直進方向へ向けられている。

右サイドカメラ５は、図２に示すように右サイドミラーに設けられており、その光軸は車両１の左右方向に略沿って車両１の右側へ向けられている。従って、右サイドカメラ５は、車両１の側方外側の車外画像を撮影することができる。

左サイドカメラ４は、図２に示すように左サイドミラーに設けられており、その光軸は車両１の左右方向に略沿って車両１の左側へ向けられている。従って、左サイドカメラ４は、車両１の側方外側の車外画像を撮影することができる。

リヤカメラ６は、図２に示すように車両１の後端にあるナンバープレート取り付け位置の近傍に設けられ、その光軸は車両１の直進方向の逆方向へ向けられている。

なお、フロントカメラ３やリヤカメラ６の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ３〜６はそれぞれ魚眼レンズを備えている。魚眼レンズを備えたカメラ３〜６の画角は１８０度以上である。このため、カメラ３〜６を利用することで、図３に示すように、車両１の全周囲Ｈ１〜Ｈ４の撮影が可能となっている。

車速センサ７は、車両１の速度に関する情報を画像処理装置２へ出力する。車両１の速度に関する情報とは、例えば、車両１が備える車輪の回転状況を示すパルス信号である。車速センサ７は、車両１のエンジンルーム内に設置される。

インスツルメントパネル制御装置８は、インスツルメントパネルへ車速、ガソリンの残量、エンジン回転数、及び、時刻などを表示させる。

画像処理装置２は、取得部２０、画像処理部２１、制御部２２、及び、出力部２３などを備える。

取得部２０は、例えば、インターフェースであり、カメラ３〜６が撮影した車外画像、車速センサ７が出力する車速に関する情報、及び、インスツルメントパネル制御装置８が出力する時刻を示す信号などを取得する。

出力部２３は、例えば、インターフェースであり、画像処理部２１が生成した合成画像などをディスプレイ１２などの外部へ出力して表示させる。

画像処理部２１は、認識部３０、生成部３１、及び、表示部３２などを備える。画像処理部２１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア回路である。

認識部３０は、車両１の走行中にサイドカメラ４から取得した車外画像に基づいて、車両１の左右方向に略沿って延びる第１ライン及び第１ラインと略直交する第２ラインを認識する第１認識処理を実行する。認識部３０が実行するこの第１認識処理の詳細については後述する。

更に、認識部３０は、車両１の走行中にサイドカメラ４から取得した車外画像に基づいて、他の車両を認識する第２認識処理を実行する。認識部３０が実行するこの第２認識処理の詳細については後述する。

生成部３１は、カメラ３〜６が撮影して得た複数の車外画像に基づいて、仮想視点から見た車両１及び車両１の周辺の様子を示す合成画像を生成する。生成部３１が実行するこの生成処理の詳細については後述する。

表示部３２は、駐車制御の実行中に生成された合成画像をディスプレイ１２へ表示させる処理を実行する。表示部３２が実行するこの表示処理の詳細については後述する。

制御部２２は、例えば、ＣＰＵ、ＲＯＭ、及び、ＲＡＭなどを備えるマイクロコンピュータである。ＣＰＵは、ＲＯＭに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。この制御部２２は、導出部３３及び判定部３４などを備える。

導出部３３は、駐車制御が後進して開始される場合に、認識された駐車スペースに基づいて仮想マップ上の車両１の後進開始位置と駐車スペースの位置とを導出する。また、導出部３３は、導出した後進開始位置と駐車スペースの位置とに基づいて車両１を駐車スペースへと誘導する仮想マップ上のルートを導出する。導出部３３が実行するこの導出処理の詳細については後述する。

判定部３４は、取得された速度に関する情報に基づいて車両１の速度を導出する。そして、判定部３４は、導出した速度と第１ライン及び第１ラインと略直交する第２ラインが認識されたタイミングとに基づいて、駐車スペースの有無を判定する第１判定処理を実行する。判定部３４が実行するこの第１判定処理の詳細については後述する。

更に、判定部３４は、速度と他の車両が認識されたタイミングとに基づいて駐車スペースの有無を判定する第２判定処理を実行する。判定部３４が実行するこの第２判定処理の詳細については後述する。

駐車制御装置１３は、例えば、マイクロコンピュータなどの電子部品が実装された電子基板などを備える。この駐車制御装置１３は、駐車制御部３５などを備える。

駐車制御部３５は、エンジン制御装置９、操舵装置１０、及び、ブレーキ装置１１などと協働して車両１の速度、方向、及び、停止位置などを制御して駐車位置へ車両１を駐車させる。つまり、駐車制御部３５は、駐車スペースが有ると判定された場合に、仮想マップ上の車両１がルートを辿るように、車両１の挙動を制御して駐車スペースへ車両１を駐車させる駐車制御を実行する。

＜２．駐車方法＞
ここで、駐車制御システムＳＹが実行する駐車制御による駐車方法について説明する。駐車制御システムＳＹが実行する駐車方法は、所謂、「縦列駐車」である。駐車制御システムＳＹが実行する「縦列駐車」は次のような手順により実行される。

初めに、図４に示すような駐車場において、車両１が初期位置Ｐ１で、その駐車を開始させる指示をユーザから受け付けたときに、駐車制御システムＳＹは車両１を、初期位置Ｐ１から後進開始位置Ｐ２へと前進させる。そして、駐車制御システムＳＹは車両１を後進開始位置Ｐ２で一旦停車させる。そして、駐車制御システムＳＹは車両１を後進開始位置Ｐ２から後進させて駐車枠内の駐車スペース内の駐車位置Ｐ３へ駐車させる。

なお、このような縦列駐車において、初期位置Ｐ１は他の車両Ｃ１の隣に位置し、後進開始位置Ｐ２は他の車両Ｃ２の隣に位置する。もちろん、他の車両Ｃ１と他の車両Ｃ２とが駐車されてなくそれらの位置の隣には何も存在しない場合もある。

また、車両１が縦列駐車される様子をユーザへ見せるために、駐車制御システムＳＹはこの縦列駐車制御の実行中に車両１の周辺画像をディスプレイ１２へ表示させる。

＜３．第１制御フロー＞
そこでまず、その車両１の周辺画像がディスプレイ１２に表示される手順を図５に示す第１制御フローに基づいて説明する。

駐車制御システムＳＹは、ユーザにより「縦列駐車制御」を実行するボタンが操作された場合に、図５に示す第１制御フローを所定の周期（以降、第１の周期という）で実行する。なお、第１の周期は、例えば、２５ｍｓである。

駐車制御システムＳＹは、第１の周期ごとに第１制御フローのステップＳＡ１の処理を実行する。

まず、生成部３１は、後述する第１駐車制御が開始されたか否かを判定する（ステップＳＡ１）。具体的には、駐車制御の開始は、ユーザの操作に応答して「縦列駐車制御」を駐車制御部３５が実行する際の信号を検知した場合に、その制御が開始されたことを生成部３１が判定し、その信号を検知しない場合に、その制御が開始されたことを生成部３１が判定しない。

後述する第１駐車制御が開始されたと判定する場合（ステップＳＡ１においてＹＥＳの場合）に、生成部３１が生成処理を実行する（ステップＳＡ２）。

＜３−１．生成処理＞
生成部３１が実行する生成処理について詳細に説明する。画像処理装置２が備える取得部２０は、カメラ３〜６が撮影した、図６に示すような、車外画像Ｚ１〜Ｚ４をカメラ３〜６より取得する。取得部２０は、取得した車外画像Ｚ１〜Ｚ４を画像処理部２１へ出力する。

画像処理部２１は、入力した車外画像Ｚ１〜Ｚ４を図示しない揮発性記憶部へ記憶する。

生成部３１は、その揮発性記憶部に記憶された、車外画像Ｚ１〜Ｚ４を、図７に示すような、仮想的な三次元空間における立体曲面Ｐに投影する。立体曲面Ｐは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１が存在する位置として定められている。車外画像Ｚ１〜Ｚ４に含まれる各画素の位置と、この立体曲面Ｐの各画素の位置とは予め対応関係が定められている。このため、立体曲面Ｐの各画素の値は、この対応関係と車外画像Ｚ１〜Ｚ４に含まれる各画素の値とに基づいて決定される。

車外画像Ｚ１〜Ｚ４の各画素の位置と立体曲面Ｐの各画素の位置との対応関係は、車両１における４つのカメラ、即ち、カメラ３〜６の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、図示しない不揮発性記憶部に記憶された車種別データに含まれている。

また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両１の三次元形状を示すポリゴンモデルである車両１の像が仮想的に構成される。構成された車両１の像は、立体曲面Ｐが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面Ｐが存在する三次元空間に対して、生成部３１により仮想視点ＡＧＬが設定される。仮想視点ＡＧＬは、視点位置と視野方向とで規定され、この三次元空間における車両１の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＡＧＬに応じて、立体曲面Ｐにおける必要な領域が画像として切り出される。仮想視点ＡＧＬと、立体曲面Ｐにおける必要な領域との関係は予め定められており、テーブルデータとして図示しない不揮発性記憶部等に予め記憶されている。一方で、設定された仮想視点ＡＧＬに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両１の像が、切り出された画像に対して重畳される。これにより、車両１及びその車両１の周辺を任意の仮想視点ＡＧＬからみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両１の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＡＧＬ１を設定した場合は、車両１の略直上から車両１を見下ろすように、車両１及び車両１の周辺の領域を示す合成画像Ｇ１が生成される。また、図中に示すように、視点位置が車両１の位置の左後方で、視野方向が車両１における略前方方向とした仮想視点ＡＧＬ２を設定した場合は、車両１の左後方からその周辺全体を見渡すように、車両１及び車両１の周辺の領域を示す合成画像Ｇ２が生成される。

なお、実際に合成画像を生成する場合においては、立体曲面Ｐの全ての画素の値を決定する必要はなく、設定された仮想視点ＡＧＬに対応して必要となる領域の画素の値のみを車外画像Ｚ１〜Ｚ４に基づいて決定することで、処理速度を向上できる。

画像処理装置２では、このような生成部３１の機能を利用することで、車両１の周辺の任意の視点からみた合成画像を生成して、ディスプレイ１２へ生成した合成画像を表示させることができる。これにより、生成部３１は車両１を仮想的に俯瞰した合成画像を生成する。

次に、表示部３２が表示処理を実行する（ステップＳＡ３）。

＜３−２．表示処理＞
表示部３２が実行する表示処理について詳細に説明する。表示部３２は、駐車制御の実行中に生成された合成画像をディスプレイ１２へ表示させる処理を実行する。このため、車両１が駐車スペースへ駐車される様子をユーザはディスプレイ１２において見ることができる。

次に、駐車制御システムＳＹは第１制御フローの実行を終了する。なお、後述する第１駐車制御が開始されたと判定されない場合（ステップＳＡ１においてＮＯの場合）にも、駐車制御システムＳＹは第１制御フローの実行を終了する。

以上のような制御を実行することにより、駐車制御システムＳＹは、「縦列駐車制御」を実行中にディスプレイ１２へ時間的に生成された合成画像をリアルタイムに表示できる。

結果、ユーザは縦列駐車制御がされる車両１をディスプレイ１２においてリアルタイムに見ることができる。

＜４．第２制御フロー＞
また、駐車制御システムＳＹは、ユーザにより「縦列駐車制御」を実行するボタンが操作された場合に、図８に示す第２制御フローを第１の周期よりも長い周期（以降、第２の周期という）で実行する。なお、第２の周期は、例えば、３３ｍｓある。

駐車制御システムＳＹは、第２の周期ごとに図８に示す第２制御フローのステップＳＢ１の処理を実行する。

まず、駐車制御部３５は、図４に示す初期位置Ｐ１から後進開始位置Ｐ２へ車両１を移動させる制御（以降、第１駐車制御という）を開始するか否かを判定する（ステップＳＢ１）。つまり、「縦列駐車制御」を開始させる指示をユーザから受け付けたか否かを判定する。

第１駐車制御を開始させると判定した場合（ステップＳＢ１においてＹＥＳの場合）は、駐車制御部３５は、第１駐車制御処理を実行する（ステップＳＢ２）。

＜４−１．第１駐車制御処理＞
駐車制御部３５が実行する第１駐車制御処理の詳細について説明する。初めに「縦列駐車制御」を開始させる指示をユーザから受け付けたときに、駐車制御部３５は、車両１を図４に示す初期位置Ｐ１から一定の速度（例えば、５ｋｍ／ｈ）で直進させて後進開始位置Ｐ２で一旦停車させる第１駐車制御を実行する。

そのとき、即ち、車両１を初期位置Ｐ１から後進開始位置Ｐ２まで走行させているときに、後述する第１認識処理及び第２処理認識を認識部３０が実行するとともに、後述する第１判定処理及び第２判定処理を判定部３４が実行する。その結果、駐車スペースＰＳが有ると判定された場合に、制御部２２はユーザへその旨を通知する。

その通知を受けてその駐車スペースＰＳへ駐車させたい場合は、ユーザはその通知を受けたタイミングで所定の操作を行う。その所定の操作を受け付けた場合に、駐車制御部３５は、その駐車スペースＰＳを基準にして斜め前の位置、即ち、図４に示す後進開始位置Ｐ２で車両１を一旦停車させる。

一方で、第１駐車制御を開始すると判定しない場合（ステップＳＢ１においてＮＯの場合）は、駐車制御部３５は、第２制御フローに基づく処理を終了する。

次に、駐車制御部３５は、図４に示す後進開始位置Ｐ２から駐車位置Ｐ３へ車両１を移動させる制御（以降、第２駐車制御という）を開始するか否かを判定する（ステップＳＢ３）。つまり、第２駐車制御を開始させる指示をユーザから受け付けたか否かを判定する。

第２駐車制御を開始させると判定した場合（ステップＳＢ３においてＹＥＳの場合）は、駐車制御部３５は、第２駐車制御処理を実行する（ステップＳＢ４）。

＜４−２．第２駐車制御処理＞
駐車制御部３５が実行する第２駐車制御処理の詳細について説明する。初めに、ユーザは、後進開始位置Ｐ２で車両１を後進させて駐車スペースＰＳへ駐車させる第２駐車制御を開始させる操作を行う。

ユーザからその操作を受け付けたときに、導出部３３はその駐車スペースＰＳに基づいて導出処理を実行する。

前述したように、駐車制御部３５によって第１駐車制御が実行された際に、認識部３０によって後述する第１認識処理及び第２認識処理が実行され、更に、判定部３４によって第１判定処理及び第２判定処理が実行される。その結果、駐車スペースの有無が判定される。

そして、この駐車スペースＰＳと後進開始位置Ｐ２とに基づいて、導出部３３が車両１を駐車スペースＰＳへと誘導する仮想マップ上のルートＲを導出する。

この仮想マップ上のルートＲは、後進開始位置Ｐ２から駐車位置Ｐ３へ車両１を最短で誘導できるように導出される。更に、この仮想マップ上のルートＲは、車両１を誘導する際に他の車両Ｃ２などと車両１とが接触しないように導出される。

この仮想マップは、図９に示すように、車両１を仮想の視点から俯瞰した際のＸＹ座標によって定義される。この仮想マップにおいて、車両１の後進開始位置Ｐ２は座標の原点（Ｘ＝０、Ｙ＝０）に設定される。また、仮想マップ上のルートＲについても適切な座標が設定される。

このように導出部３３によって導出処理が実行されることによって、導出された仮想マップ上のルートＲに基づいて、駐車制御部３５が車両１を駐車させる。

つまり、仮想マップ上のルートＲを仮想マップ上の車両１が辿るように、駐車制御部３５が車両１の挙動を制御して車両１を駐車位置Ｐ３へ移動させる。

一方で、車両１を後進開始位置Ｐ２から駐車位置Ｐ３へ車両１を移動させる制御を開始すると判定しない場合（ステップＳＢ３においてＮＯの場合）は、駐車制御部３５は、第２制御フローに基づく処理を終了する。

＜５．第３制御フロー＞
また、駐車制御システムＳＹは、第１駐車制御を開始してから第２駐車制御を開始するまでにおいて、図１０に示す第３制御フローを第２の周期よりも長い周期（以降、第３の周期という）で実行する。なお、第３の周期は、例えば、４５ｍｓである。

まず、取得部２０は、左サイドカメラ４が撮影した車外画像を取得する（ステップＳＣ１）。そして、取得部２０は、認識部３０へ車外画像を送信する。これにより、認識部３０は走行中に左サイドカメラ４が撮影した車外画像を取得する。

次に、認識部３０は、第１認識処理を実行する（ステップＳＣ２）。

＜５−１．第１認識処理＞
認識部３０が実行する第１認識処理について詳細に説明する。初めに、認識部３０は、取得部２０から受信した車外画像の略中央に位置する領域に含まれる車両１の左右方向に略沿って延びる第１ラインを認識する。更に、認識部３０は、第１ラインと略直交する第２ラインを認識する。

なお、第１ライン及び第２ラインとは、駐車場などの路面に塗装されている駐車枠の一部である。駐車枠は、例えば、図１１に示すような、白線でＨ型の形態で構成される。この駐車枠ＦＲにおいて、車両１を駐車させた際に車両１の左右方向と略平行に位置するラインが第１ラインＬＣである。そして、この駐車枠ＦＲにおいて、車両１を駐車させた際に車両１の前後方向と略平行に位置するラインが第２ラインＬＬである。

第１ラインＬＣ及び第２ラインＬＬの認識処理について、図１２に基づいて詳細に説明する。第１ラインＬＣ及び第２ラインＬＬの認識は、車外画像の略中央に位置する領域に対してエッジ検出処理を実行することによって実現される。

そのエッジ検出処理は、取得した車外画像Ｇ３の略中央に位置する領域Ｆ１に対して実行される。認識部３０は、領域Ｆ１を抜き出して輝度情報のみのモノクロ画像とする。次に、認識部３０は、このモノクロの画像に対して、所定の微分フィルタを適用して画像中のエッジを抽出する。さらに、認識部３０は、エッジを抽出した画像に対して閾値処理を施し、各画素が０または１で表現される２値画像に変換する。この２値画像においては、例えば、エッジの部分が０の画素、他の部分が１の画素で表現される。

このようなエッジ検出処理により得られたエッジに基づいて、画像の縦方向（すなわち車両１の左右方向）に略沿って延びる縦ラインと、画像の横方向（すなわち、車両の前後方向）に略沿って延びる横ラインとを把握する。そして、これらの縦ラインと横ラインとが交差して交差点ＣＰ１及びＣＰ２の何れかが存在した場合は、認識部３０はこれらの縦ラインと横ラインとを第１ラインＬＣと第２ラインＬＬとであると認識する。

駐車枠ＦＲは路面に塗装されているため車外画像の上下の略中央へ出現する傾向が強い。従って、認識部３０は車外画像Ｇ３の略中央に位置する領域Ｆ１に対してエッジ検出をすればその認識を十分にでき、かつ、その処理負荷を低減させることができる。

領域Ｆ１は車外画像Ｇ３の左右の中央に位置していることから、領域Ｆ１において縦方向に延びる第１ラインＬＣを検出することで、左サイドカメラ４の光軸に略沿って延びる第１ラインＬＣを検出することができる。すなわち、車両１の左サイドカメラ４が設けられる位置（左サイドミラーの位置）から車両１の左右方向に延びる直線上に略位置する第１ラインＬＣを認識できることになる。

また、その領域Ｆ１に駐車枠ＦＲの特徴点である交差点ＣＰ１及びＣＰ２が把握された場合に、車外画像に第１ラインＬＣ及び第２ラインＬＬが存在すると認識すれば、認識部３０はその認識する確度を高めることができる。

次に、取得部２０は、車速センサ７が出力する車両１の速度に関する情報を取得する（ステップＳＣ３）。そして、取得部２０は、判定部３４へ速度に関する情報を送信する。これにより、判定部３４は走行中の車両１の速度に関する情報を取得して車両１の速度を導出する。

次に、判定部３４は、認識された結果が車両１の左右方向に略沿って延びる第１ラインＬＣ及び第１ラインＬＣと略直交する第２ラインＬＬを含む駐車枠ＦＲであるか否かを判定する（ステップＳＣ４）。

認識された結果が駐車枠ＦＲであると判定する場合（ステップＳＣ４においてＹＥＳ）は、判定部３４はその駐車枠ＦＲが１つ目の駐車枠ＦＲであるか否かを判定する（ステップＳＣ５）。

認識された駐車枠ＦＲが１つ目の駐車枠ＦＲであると判定する場合（ステップＳＣ５においてＹＥＳの場合）は、判定部３４は１つ目の駐車枠ＦＲが認識されたタイミングで時間の計測を開始する（ステップＳＣ６）。

次に、認識された駐車枠ＦＲが２つ目の駐車枠ＦＲか否かを判定する（ステップＳＣ７）。

認識された駐車枠ＦＲが２つ目の駐車枠ＦＲであると判定する場合（ステップＳＣ７においてＹＥＳ場合）は、判定部３４は２つ目の駐車枠ＦＲが認識されたタイミングで時間の計測を停止する（ステップＳＣ８）。

次に、判定部３４は、導出した走行中の車両１の速度と計測したその時間とに基づいて第１判定処理を実行する（ステップＳＣ９）。

＜５−２．第１判定処理＞
判定部３４が判定する第１判定処理について詳細に説明する。初めに、判定部３４は、車両１の速度と計測したその時間とに基づいて駐車スペースＰＳの有無を判定する。

つまり、判定部３４は、車両１の速度と計測されたその時間とを乗算することによって、１つ目の駐車枠ＦＲ１と２つ目の駐車枠ＦＲ２との距離を求める。そして、導出した距離が所定の閾値を超える場合は、判定部３４は駐車スペースＰＳがあると判定する。この閾値は、例えば、車両１の前後方向の長さに１ｍを加算した距離である。

このように、車両１の速度と車両１の左右方向に略沿って延びる第１ラインＬＣ及び第２ラインＬＬを認識したタイミングとに基づいて駐車スペースＰＳの有無を判定するため、車外画像のみに基づいて駐車スペースＰＳを判定することができる。更に、駐車スペースの周りに物体が存在しない場合にも駐車スペースを判定することができる。

ここで、第１判定処理が車両１の走行中に実行される例を図１３に基づいて説明する。

まず、車両１が図１３に示す初期位置Ｐ１から後進開始位置Ｐ２へと走行する際に、左サイドカメラ４が撮影した車両１の側方外側が映る車外画像を取得部２０を介して認識部３０が所定の周期（例えば、３３ｍｓ）で取得する。更に、車速センサ７から車両１の速度に関する情報を判定部３４が取得して車両１の速度を導出する。

そして、車外画像が取得された順に所定の周期（例えば、１００ｍｓ）で前述した認識処理を認識部３０が実行する。図１２に示す車外画像Ｇ３は、車両１がその走行中に図１３に示す途中位置Ｐ４に位置するときに取得された車外画像を変換した画像である。

この車外画像Ｇ３に含まれる領域Ｆ１に基づいて第１ラインＬＣ及び第２ラインＬＬを認識部３０が認識する。

つまり、走行する車両１が図１３に示す途中位置Ｐ４に移動したときに、認識部３０は、車外画像において車両１の所定位置、即ち、車両１の左サイドカメラ４が備わる位置から車両１の左右方向に延びる直線上に略位置する第１ラインを認識する。

そして、走行する車両１が途中位置Ｐ４において認識された第１ラインＬＣ及び第２ラインＬＬは１つ目の駐車枠ＦＲ１に属するラインであると判定部３４が判定する。

このとき、即ち、認識された第１ラインＬＣ及び第２ラインＬＬが１つ目の駐車枠ＦＲ１に属するラインであると判定したときに判定部３４は時間ｔの計測を開始する。

そして、走行する車両１が途中位置Ｐ４よりも先に位置する途中位置Ｐ５へ移動したときに、２つ目の駐車枠ＦＲ２に属する第１ラインＬＣ及び第２ラインＬＬを認識部３０が認識する。すなわち、認識部３０は、車両１の左サイドカメラ４が備わる位置から車両１の左右方向に延びる直線上に略位置する第１ラインＬＣを認識する。

なお、図１４に示す車外画像Ｇ４は、車両１がその走行中に図１３に示す途中位置Ｐ５に位置するときに取得された車外画像を変換した画像である。

そのとき、即ち、２つ目の駐車枠ＦＲ２に属する第１ラインＬＣ及び第２ラインＬＬが認識されたときに判定部３４は時間ｔの計測を停止する。

そして、判定部３４は、車両１の速度と計測した時間ｔとを乗算することによって、１つ目の駐車枠ＦＲ１と２つ目の駐車枠ＦＲ２との距離を求める。この距離に基づいて、判定部３４は、車両１を駐車スペースＰＳの有無を判定することができる。

そして、判定部３４は、駐車スペースＰＳがあると判断した場合は、駐車スペースＰＳがあるとする判定結果を駐車制御装置１３へ送信する。

一方で、認識された駐車枠ＦＲが１つ目の駐車枠ＦＲ１であると判定しない場合（ステップＳＣ５においてＮＯ場合）は、ステップＳＣ７へ移行する。認識された駐車枠ＦＲが２つ目の駐車枠ＦＲ２であると判定しない場合（ステップＳＣ７においてＮＯ場合）は、第３制御フローを終了する。

＜６．第４制御フロー＞
また、駐車制御システムＳＹは、第１駐車制御を開始してから第２駐車制御を開始するまでにおいて、図１５に示す第４制御フローを第３の周期よりも長い周期（以降、第４の周期という）で実行する。なお、第３の周期は、例えば、６５ｍｓである。

まず、取得部２０は、左サイドカメラ４が撮影した車外画像を取得する（ステップＳＤ１）。そして、取得部２０は、認識部３０へ車外画像を送信する。これにより、認識部３０は走行中に左サイドカメラ４が撮影した車外画像を取得する。

次に、認識部３０は、第２認識処理を実行する（ステップＳＤ２）。

＜６−１．第２認識処理＞
認識部３０が実行する第２認識処理を詳細に説明する。初めに、認識部３０は、受信した車外画像の中央より上方に設定される所定の領域Ｆ２に対してエッジ検出処理を実行する。

つまり、認識部３０は、取得した車外画像Ｇ５の中央より上方の領域Ｆ２に対してエッジ検出処理を実行する。このエッジ検出処理の手法は、上述した領域Ｆ１に対するエッジ検出処理の手法と同様である。したがって、エッジ検出処理によって得られる２値画像においては、例えば、エッジの部分が０の画素、他の部分が１の画素で表現される。

次に、検出したエッジが他の車両である確度が比較的高い場合は、他の車両が車外画像に存在すると認識部３０が認識する。

その確度が比較的高い場合とは、車両１が走行中に左サイドカメラ４が撮影した車外画像に対するエッジ検出処理の結果に基づいて他の車両が車外画像に存在すると推定される場合である。

例えば、認識部３０は、エッジ検出処理に基づいて図１７に示すヒストグラムを導出する。図１７に示すヒストグラムの縦軸は車外画像Ｇ５に含まれる領域Ｆ２の縦方向（ｙ軸方向）に対応している。そして、ヒストグラムの横軸に、領域Ｆ２の縦方向を所定間隔ごとに区分したデータ区間に存在するエッジを示す画素（０の画素）の数を度数として示している。

そして、度数が所定の閾値よりも大きいデータ区間の数が所定数よりも大きい場合は、他の車両が車外画像に存在すると推定される。

つまり、図１６に示す車外画像Ｇ５からも容易に推測できるように、他の車両を含む車外画像をエッジ検出処理した場合には、処理結果となる画像中に水平方向（ｘ軸方向）へ一定以上の長さのエッジが、縦方向（ｙ軸方向）において複数本存在する傾向が強い。

従って、車外画像をエッジ検出処理した場合に、処理結果となる画像中に水平方向へ一定以上の長さのエッジが縦方向へ複数本存在する場合に、車外画像に他の車両が存在すると推定する。

次に、取得部２０は、車速センサ７が出力する車両１の速度に関する情報を取得する（ステップＳＤ３）。そして、取得部２０は、判定部３４へ速度に関する情報を送信する。これにより、判定部３４は走行中の車両１の速度に関する情報を取得して車両１の速度を導出する。

次に、判定部３４は、認識された結果が他の車両であるか否かを判定する（ステップＳＤ４）。

認識された結果が他の車両であると判定する場合（ステップＳＤ４においてＹＥＳ）は、判定部３４はその他の車両が１つ目の他の車両Ｃ１であるか否かを判定する（ステップＳＤ５）。

認識された他の車両が１つ目の他の車両Ｃ１であると判定する場合（ステップＳＤ５においてＹＥＳの場合）は、判定部３４は１つ目の他の車両Ｃ１が認識されたタイミングで時間の計測を開始する（ステップＳＤ６）。

次に、認識された他の車両が２つ目の他の車両Ｃ２か否かを判定する（ステップＳＤ７）。

認識された他の車両が２つ目の他の車両Ｃ２であると判定する場合（ステップＳＤ７においてＹＥＳ場合）は、判定部３４は２つ目の他の車両Ｃ２が認識されたタイミングで時間の計測を停止する（ステップＳＤ８）。

次に、判定部３４は、導出した走行中の車両１の速度と計測したその時間とに基づいて第２判定処理を実行する（ステップＳＤ９）。

＜６−２．第２判定処理＞
判定部３４が実行する第２判定処理について詳細に説明する。判定部３４は、導出した車両１の速度とその計測した時間とに基づいて、駐車スペースＰＳの有無を判定する。

つまり、判定部３４は、車両１の速度と計測されたその時間とを乗算することによって、１つ目の他の車両Ｃ１と２つ目の他の車両Ｃ２との距離を求める。そして、導出した距離が所定の閾値を超える場合は、判定部３４は駐車スペースＰＳがあると判断する。この閾値は、例えば、車両１の前後方向の長さに５ｍを加算した距離である。

そして、判定部３４は、駐車スペースＰＳがあるとする判定結果を駐車制御装置１３へ送信する。

このように、車両１の速度と他の車両を認識したタイミングとに基づいて駐車スペースＰＳの有無を判定するため、車外画像のみに基づいて車両１を駐車スペースＰＳを判定することができる。

更に、判定部３４は、例えば、図１８に示すように駐車枠ＦＲが路面に塗装されていないために駐車枠ＦＲが認識されない場合にも、１を駐車スペースＰＳの有無を判定することができる。

また、図１９に示すように、１つ目の駐車枠ＦＲ１及び２つ目の駐車枠ＦＲ２の間に他の車両Ｃ３が認識された場合、又は、１つ目の他の車両Ｃ１及び２つ目の他の車両Ｃ２の間に他の車両Ｃ３が認識された場合は、判定部３４は駐車スペースＰＳを判定しない。

次に、判定部３４は、駐車枠ＦＲに基づく駐車スペースＰＳの判定（図１０の第３制御フローのステップＳＣ９の判定処理）が既にあったか否かを判定する（ステップＳＤ１０）。

駐車枠ＦＲに基づいて駐車スペースＰＳの判定が既にあったと判定する場合（ステップＳＤ１０においてＹＥＳの場合）は、他の車両に基づいて判定された駐車スペースＰＳではなく駐車枠ＦＲに基づいて判定された駐車スペースＰＳを前述した第２駐車制御において利用させる（ステップＳＤ１１）。

つまり、駐車枠ＦＲと他の車両との双方が認識された場合は、認識の確度が相対的に低い他の車両よりも、認識の確度が相対的に高い駐車枠ＦＲに基づいて判定された駐車スペースＰＳを第２駐車制御に利用させることによって、画像処理装置２は駐車制御装置１３に適切な駐車制御を実行させることができる。

なお、認識された結果が他の車両であると判定しない場合（ステップＳＤ４においてＮＯの場合）は、第３制御フローの実行を終了する。認識された他の車両が１つ目の他の車両Ｃ１であると判定しない場合（ステップＳＤ５においてＮＯ場合）は、ステップＳＤ７へ移行する。認識された他の車両が２つ目の他の車両Ｃ２であると判定しない場合（ステップＳＤ７においてＮＯ場合）は第３制御フローの実行を終了する。駐車枠ＦＲに基づいて駐車スペースＰＳの判定が既にあったと判定しない場合（ステップＳＤ１０においてＮＯの場合）は第３制御フローの実行を終了する。

以上のような制御を画像処理装置２が実行することによって、車両１の速度と駐車枠ＦＲ或いは他の車両を認識したタイミングとに基づいて、車両１を駐車スペースＰＳの有無を判定するため、車外画像のみに基づいて車両１を駐車スペースＰＳを判定することができる。

＜７．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

＜７−１．変形例１＞
上記第１の実施の形態における認識部３０は、第１ラインＬＣ及び第２ラインＬＬを認識すると説明したが、第１ラインＬＣのみを認識しても良い。

＜７−２．変形例２＞
上記第１の実施の形態における車外画像は、左サイドカメラ４が撮影すると説明したが、右サイドカメラ５が撮影したものであっても良い。

この場合は、車両１の右側に駐車スペースＰＳが存在し、車両１が駐車スペースＰＳの左側から縦列駐車される。

＜７−３．変形例３＞
上記第１の実施の形態における認識処理では、車両の車体全体に係るエッジに基づいて他の車両の存在を認識していたが、車両の一部の特徴的な形状を有する部位に係るエッジに基づいて他の車両の存在を認識するようにしてもよい。例えば、車両のタイヤの形状は特徴的であるため、このようなタイヤのエッジに基づいて他の車両の存在を認識することができる。

この場合は、まず、認識部３０は、車外画像に基づく図２１に示すような車外画像Ｇ７の中央より上方の領域Ｆ４に基づくモノクロ画像に対してエッジ検出処理を実行する。そして、エッジ検出を実行することにより把握される対象物が、図２２に示す車両のタイヤのパターンと類似する場合に、認識部３０は他の車両が備えるタイヤＴであると推定する。従って、認識部３０は、その推定によって他の車両を認識する。

＜７−４．変形例４＞
上記第１の実施の形態における判定処理では、車両１の速度と第１ラインＬＣ及び第２ラインＬＬを認識したタイミングとに基づいて駐車スペースＰＳの有無を判定部３４が判定すると説明した。

そして、そのタイミングは、第１ラインＬＣ及び第２ラインＬＬを認識した第１タイミングから、２つ目の駐車枠ＦＲ２が備える第１ラインＬＣ及び第２ラインＬＬを認識した第２タイミングまでの時間を判定部３４が計測すると説明した。

しかし、以降に説明するような方法を用いても良い。まず、判定部３４は、インスツルメントパネル制御装置８が有する時刻を示す情報を取得部２０を介して定期的に取得する。

そして、判定部３４は、第１ラインＬＣ及び第２ラインＬＬを認識した第１タイミングで取得した時刻（以降、第１時刻という）を一時的に記憶する。

そして、判定部３４は、２つ目の駐車枠ＦＲ２が備える第１ラインＬＣ及び第２ラインＬＬを認識した第２タイミングで取得した時刻（以降、第２時刻という）を一時的に記憶する。

そして、判定部３４は、記憶していた第２時刻と第１時刻との差を判定部３４が求める。

＜７−５．変形例５＞
上記第１の実施の形態における駐車枠ＦＲは、例えば、図１１に示すような、白線でＨ型の形態で構成されると説明したが、白線でハシゴ型の形態で構成されても良い。

つまり、駐車枠は、第１ラインＬＣ及び第２ラインＬＬが把握できればどのような形態で構成されても良い。

＜７−６．変形例６＞
上記第１の実施の形態における車両１の速度に関する情報は、車両１の速度そのものを示す信号であっても良い。

１ 車両
４ 左サイドカメラ
７ 車速センサ
１３ 駐車制御装置
２ 画像処理装置
２０ 取得部
２１ 画像処理部
２２ 制御部
２３ 出力部
３０ 認識部
３１ 生成部
３２ 表示部
３３ 導出部
３４ 判定部
３５ 駐車制御部

Claims (7)

1. 車両に搭載されるカメラが撮影した車外画像を処理する画像処理装置であって、
   前記カメラから前記車両の側方外側が映る前記車外画像を取得する第１取得手段と、
   走行中の前記車両の速度に関する情報を取得する第２取得手段と、
   前記車両の走行中に取得された前記車外画像に基づいて、前記車両の左右方向に略沿って延びる第１ラインを認識する認識手段と、
   取得された前記速度に関する情報と前記第１ラインが認識されたタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記認識手段は、前記車両の所定位置から前記車両の左右方向に延びる直線上に略位置する第１ラインを認識することを特徴とする画像処理装置。
3. 請求項１又は２の何れかに記載の画像処理装置において、
   前記認識手段は、前記車両の走行中に取得された前記車外画像に基づいて、前記第１ラインと略直交する第２ラインを更に認識し、
   前記判定手段は、取得された前記速度に関する情報と前記第１ライン及び前記第２ラインを認識したタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定することを特徴とする画像処理装置。
4. 請求項１乃至３の何れかに記載の画像処理装置において、
   前記認識手段は、前記車両の走行中に取得された前記車外画像に基づいて、他の車両を更に認識するものであり、
   前記判定手段は、前記他の車両が認識された場合に、前記第１ラインが認識されないときは、取得された前記速度に関する情報と前記他の車両を認識したタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記判定手段は、前記第１ラインと前記他の車両との双方が認識された場合は、取得された前記速度に関する情報と前記第１ラインが認識されたタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定することを特徴とする画像処理装置。
6. 請求項１乃至５の何れかに記載の画像処理装置を備える駐車制御システムであって、
   前記スペースが有ると判定された場合に、前記車両の挙動を制御して前記スペースへ前記車両を駐車させる制御手段を備えることを特徴とする駐車制御システム。
7. 車両に搭載されるカメラが撮影した車外画像を処理する画像処理方法であって、
   （ａ）前記カメラから前記車両の側方外側が映る前記車外画像を取得する工程と、
   （ｂ）走行中の前記車両の速度に関する情報を取得する工程と、
   （ｃ）前記車両の走行中に取得された前記車外画像に基づいて、前記車両の左右方向に略沿って延びるラインを認識する工程と、
   （ｄ）取得された前記速度に関する情報と前記ラインを認識したタイミングとに基づいて、前記車両を駐車可能なスペースの有無を判定する工程と、
   を備えることを特徴とする画像処理方法。

Images