JP7116613B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、詳細には画像処理により駐車枠の認識および管理を行う技術に関する。

特許文献１には、カメラが撮影して得られた画像から白線を検出し、２つの白線間の領域を駐車スペースとして検知することが開示される。また、特許文献１には、検知した駐車スペースの情報を、車両運動取得部により出力された直前の処理周期から現在の処理周期までの車両の移動量を用いて更新することが開示される。

特開２０１７－８７７５８号公報

特許文献１に開示される手法では、ＣＡＮバスを介して車両の進行方向や速度に関する情報を取得して、当該情報により車両の移動量を求めて駐車スペースの現在位置を推定する。この構成では、車両の移動量の推定誤差が蓄積した場合に、駐車スペースの位置が適切な位置からずれる可能性がある。また、レンズの歪等の影響により、カメラから離れた位置において、撮影画像から白線の検出を適切に行うことができず、適切な駐車スペースを検知できないことがある。

本発明は、上記課題に鑑みて、カメラの撮影画像に基づき得られる駐車枠に関する情報の信頼度を向上することができる技術を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、車両の周辺を撮影するカメラで得られた撮影画像に基づき駐車枠を認識する認識部と、過去に認識された前記駐車枠の位置情報を含む管理情報を、現在の撮影画像から得られる前記駐車枠の位置情報を含む観測情報に基づき更新する管理部と、を備え、前記管理部は、前記管理情報と前記観測情報とに基づき、管理対象となる前記駐車枠を構成する区画線ごとに更新種別を分類し、当該分類に基づき前記管理情報を更新する構成（第１の構成）になっている。

上記第１の構成の画像処理装置において、前記管理部は、前記車両の移動情報と前記管理情報とに基づき前記駐車枠の位置情報を含む推定情報を求める処理を行い、前記更新種別の分類は、前記推定情報と前記観測情報とに基づいて行われる構成（第２の構成）であることが好ましい。

上記第２の構成の画像処理装置において、前記管理部は、前記観測情報と前記推定情報との両方に位置情報が含まれる前記区画線を第１更新種別に分類し、前記観測情報にのみ位置情報が含まれる前記区画線を第２更新種別に分類し、前記推定情報にのみ位置情報が含まれる前記区画線を第３更新種別に分類する構成（第３の構成）であることが好ましい。

上記第３の構成の画像処理装置において、前記管理情報の更新に際して、前記第１更新種別の前記区画線の位置情報は、前記観測情報の値に更新され、前記第２更新種別の前記区画線の位置情報は、前記観測情報の値で仮登録され、前記第３更新種別の前記区画線の位置情報は、前記推定情報の値を、前記観測情報と前記推定情報とに基づき得られる補正値で補正した値に更新される構成（第４の構成）であることが好ましい。

上記第４の構成の画像処理装置において、前記管理部は、複数の前記第３更新種別の前記区画線の位置情報を含む前記推定情報の値を同一の前記補正値で一括して補正する構成（第５の構成）であることが好ましい。

上記第１から第５のいずれかの構成の画像処理装置において、前記カメラは、前記車両の側方に設けられるサイドカメラであり、前記認識部は、前記撮影画像の一部の領域を用いて前記駐車枠を認識する構成（第６の構成）であることが好ましい。

上記目的を達成するために本発明の画像処理方法は、画像処理装置で実行される画像処理方法であって、車両の周辺を撮影するカメラで得られた撮影画像に基づき駐車枠を認識する認識工程と、過去に認識された前記駐車枠の位置情報を含む管理情報を、現在の撮影画像から得られる前記駐車枠の位置情報を含む観測情報に基づき更新する管理工程と、を備え、前記管理工程は、前記管理情報と前記観測情報とに基づき、管理対象となる前記駐車枠を構成する区画線ごとに更新種別を分類し、当該分類に基づき前記管理情報を更新する処理を含む構成（第７の構成）になっている。

本発明によれば、カメラの撮影画像に基づき得られる駐車枠に関する情報の信頼度を向上することができる。

駐車支援システムの一構成例を示す図 区画線の探索領域について説明するための模式図 駐車枠を構成する区画線の更新種別例を示す表 管理処理を例示するフローチャート 管理処理を説明するための模式図 図４に示す更新処理の具体例を示すフローチャート 区画線の現在の認識イメージと、過去の認識イメージとを比較して示す模式図 補正値の算出方法を説明するための模式図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。また、本発明の画像処理装置を含む駐車支援システムを搭載している車両を「自車両」と呼ぶ。

＜１．駐車支援システム＞
本発明の画像処理装置は、例えば駐車支援システムに適用できる。図１は、本発明の画像処理装置１が適用される駐車支援システムの一構成例を示す図である。図１に示すように、駐車支援システムは、画像処理装置１と、撮影部２と、駐車制御ＥＣＵ（Electronic Control Unit）３と、ＥＰＳ（Electric Power Steering）－ＥＣＵ４と、車載ネットワーク５と、を備える。

画像処理装置１は、撮影部２に接続されるとともに、駐車制御ＥＣＵ３およびＥＰＳ－ＥＣＵ４にＣＡＮ（Controller Area Network）などの車載ネットワーク５を介して接続される。画像処理装置１は、撮影部２で撮影される撮影画像に基づき駐車枠の認識と、認識した駐車枠の管理とを行う。すなわち、画像処理装置１は駐車枠管理装置として機能する。その他、画像処理装置１は、例えば、自車両が停止した時点で自車両に最も近い空き駐車枠を駐車すべき場所として目標駐車位置の算出を行う。画像処理装置１の詳細については後述する。

なお、画像処理装置１には、例えば、液晶ディスプレイ等の表示装置が接続されてよい。画像処理装置１は、撮影画像に目標駐車位置を示す指標を重畳した表示画像を生成して、表示装置に表示させる処理を行ってよい。

撮影部２は、自車両の周辺を撮影するカメラを備える。本実施形態では、カメラは魚眼レンズを有する。撮影部２は、自車両の側方に設けられるサイドカメラ２０を備える。サイドカメラ２０は、自車両の周辺を撮影するカメラに含まれ、例えば自車両のドアミラー等に設けられる。サイドカメラ２０は、左サイドカメラと右サイドカメラとを含むことが好ましい。左サイドカメラは、光軸が自車両の左右方向に沿っており、自車両の左方向を撮影する。右サイドカメラは、光軸が自車両の左右方向に沿っており、自車両の右方向を撮影する。なお、撮影部２は、サイドカメラ２０の他に、自車両の前方を撮影するフロントカメラや、自車両の後方を撮影するバックカメラを備えることが好ましい。

駐車制御ＥＣＵ３は、画像処理装置１から受信した目標駐車位置と、不図示のクリアランスソナーセンサの出力とに基づいてステアリング操舵量を算出し、ステアリング操舵量に関する情報をＥＰＳ－ＥＣＵ４に送信する。

ＥＰＳ－ＥＣＵ４は、駐車制御ＥＣＵ３から受け取ったステアリング操舵量に関する情報に基づいて自車両の駐車動作時に自動操舵を行う。なお、本実施形態では、アクセル操作及びブレーキ操作はドライバーが担う。

＜２．画像処理装置＞
図１に示すように、画像処理装置１は、制御部１１と記憶部１２とを備える。制御部１１は、画像処理装置１の全体を制御する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）などを備えるコンピュータで構成される。記憶部１２は、制御部１１が動作するために必要なコンピュータプログラムおよびデータを不揮発的に記憶する。記憶部１２としては、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等を用いることができる。

図１に示す映像取得部１１１、探索部１１２、認識部１１３、および、管理部１１４は、記憶部１２に記憶されるコンピュータプログラムの実行により実現される制御部１１の機能である。換言すると、画像処理装置１は、映像取得部１１１と、探索部１１２と、認識部１１３と、管理部１１４とを備える。

なお、制御部１１が備える各機能部１１１～１１４の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、制御部１１が備える各機能部１１１～１１４は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。

映像取得部１１１は、サイドカメラ２０を含む撮影部２が備える各カメラからアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した時間的に連続した撮影画像（取得した映像）がアナログの場合には、映像取得部１１１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。

探索部１１２は、映像取得部１１１から出力されるサイドカメラ２０の撮影画像に基づき駐車枠を構成する区画線を探索する。なお、サイドカメラ２０が左サイドカメラと右サイドカメラとを含む場合、探索部１１２は、各カメラの撮影画像に対して区画線の探索を行う。

探索部１１２は、例えば自車両の車速が所定速度以下になった場合に区画線の探索を開始する。本実施形態では、探索部１１２は、サイドカメラ２０の撮影画像から、エッジ抽出などの画像処理を利用して例えば１００ｍｓ周期で区画線を検出する。なお、区画線は駐車場の舗装面に白線や黄線などで描かれる。

図２は、区画線の探索領域について説明するための模式図である。図２は、自車両Ｖが駐車場内に進入し、自車両Ｖの左側方に複数の区画線ＳＬが存在する状態を示す。各区画線ＳＬは左右方向に延びる。すなわち、各区画線ＳＬは、左サイドカメラ２０Ｌの光軸と平行な方向に延びる。複数の区画線ＳＬは、前後方向に所定間隔をあけて並ぶ。図２において、破線で囲まれる領域Ｒは、自車両Ｖの左サイドカメラ２０Ｌの撮影領域を模式的に示す。

左サイドカメラ２０Ｌの撮影画像は、左サイドカメラ２０Ｌの光軸に沿う正面方向において解像度が高く、光軸から前後方向に離れるにつれてレンズ歪の影響等により解像度が低下する。このために、図２にグラフで示すように、左サイドカメラ２０Ｌの撮影画像の全領域から区画線ＳＬを検出する場合、正面方向から検出される区画線ＳＬの情報は信頼度が高いが、光軸から前後方向に離れた位置から検出される区画線ＳＬの情報は信頼度が低くなる。このような傾向は、右サイドカメラの場合にも当てはまる。すなわち、サイドカメラ２０の撮影画像の全領域から区画線ＳＬを検出する構成では、信頼度の高い区画線ＳＬの情報と、信頼度の低い区画線ＳＬの情報とが混じる可能性がある。

この点を考慮して、本実施形態では、探索部１１２は、サイドカメラ２０の撮影画像のうち、信頼度の高い区画線情報を取得することができる領域に絞って区画線ＳＬの探索を行う構成としている。探索部１１２は、サイドカメラ２０の撮影画像のうち、サイドカメラ２０の光軸に沿う正面方向を中心とする狭い領域を探索領域として区画線ＳＬの探索を行う。探索領域は、例えば、駐車枠Ｐを構成する区画線ＳＬが３本程度入る広さを有する。

図１に戻って、認識部１１３は、探索部１１２で検出した区画線ＳＬに関する情報に基づき駐車枠Ｐを認識する。換言すると、認識部１１３は、サイドカメラ２０で得られた撮影画像に基づき駐車枠Ｐを認識する。認識部１１３は、２つの区画線ＳＬ間の平行度や区画線ＳＬ間の幅等を求め、これらの結果に基づき駐車枠を認識する。例えば、認識部１１３は、所定間隔をあけて平行配置される２本の区画線ＳＬ間の領域を駐車枠Ｐとして認識する。所定間隔は、例えば、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。

本実施形態では、上述のように、探索部１１２が、サイドカメラ２０の撮影画像のうち、画像の信頼度の高い狭領域に絞って区画線ＳＬの探索を行う。このために、認識部１１３は、サイドカメラ２０の撮影画像の中心部を含む一部の領域を用いて駐車枠Ｐを認識する。詳細には、認識部１１３は、サイドカメラ２０の撮影画像のうち、サイドカメラ２０の光軸に沿う正面方向を中心とする狭領域の画像を用いて駐車枠Ｐの認識を行う。狭領域は、例えば、駐車枠Ｐが１枠から２枠程度入る広さを有する領域としてよく、本実施形態では、狭領域は駐車枠Ｐが２枠程度入る広さを有する領域である。これによれば、認識部１１３は、撮影画像のうち、画像の信頼度の高い領域から得られる区画線ＳＬに絞って駐車枠Ｐを認識することができる。このために、認識部１１３によって認識される駐車枠Ｐの信頼度を向上することができる。

管理部１１４は、認識部１１３で認識された駐車枠Ｐに関する情報を管理情報１２１として時系列で管理する。管理情報１２１は、記憶部１２に記憶され、適宜更新される。なお、管理部１１４は、過去に認識部１１３で認識された駐車枠の全てを管理する必要はなく、例えば、時間的に直近に認識された複数の駐車枠Ｐのみを管理し、古い駐車枠Ｐの情報は管理対象から適宜除外する構成としてよい。これにより、記憶部１２に要求される記憶容量を低く抑えることができる。

本実施形態では、管理部１１４は、過去に認識された駐車枠Ｐの位置情報を含む管理情報１２１を、サイドカメラ２０の現在の撮影画像から得られる駐車枠Ｐの位置情報を含む観測情報に基づき更新する。なお、駐車枠Ｐの位置情報には、駐車枠Ｐを構成する区画線ＳＬの位置情報が含まれる。管理情報１２１は、駐車枠Ｐおよび区画線ＳＬに関する位置情報を、例えば、複数の頂点座標の組み合わせとして有する。各駐車枠Ｐは、当該駐車枠Ｐを構成する区画線ＳＬの頂点座標の組み合わせとして管理されてよい。

詳細には、管理部１１４は、管理情報１２１と観測情報とに基づき、管理対象となる駐車枠Ｐを構成する区画線ＳＬごとに更新種別を分類する。管理部１１４は、更新種別の分類に基づき管理情報１２１を更新する。これによると、管理対象となる駐車枠Ｐを構成する各区画線ＳＬに対して、分類に応じた適切な手法で更新処理を行うことができ、管理情報１２１の信頼度を向上することができる。

より詳細には、管理部１１４は、自車両Ｖの移動情報と管理情報１２１とに基づき駐車枠Ｐの位置情報を含む推定情報を求める処理を行う。推定情報は、自車両Ｖの移動により、管理情報１２１に含まれる各駐車枠Ｐの位置がいずれの位置に移動したかを推定するものである。推定情報には、駐車枠Ｐを構成する区画線ＳＬに関する情報が含まれる。自車両Ｖの移動情報は、例えば、車載ネットワーク５から取得される自車両Ｖの舵角、車速、シフトなどの情報である。この場合、管理部１１４は、自車両Ｖの移動情報から自車両Ｖの移動量を推定し、当該推定移動量と管理情報１２１とに基づき、過去に認識した各駐車枠Ｐの現在位置を推定する。管理情報１２１に複数の駐車枠Ｐの情報が含まれている場合には、管理部１１４は、複数の駐車枠Ｐのそれぞれに対して現在位置の推定を行う。

なお、自車両Ｖの移動情報は、舵角や車速等の実測情報に限らず、例えば、自車両Ｖの推定移動量等の実測情報を加工した情報であってもよい。この場合、自車両Ｖの推定移動量は、例えば駐車制御ＥＣＵ３によって求められてよい。そして、管理部１１４は、駐車制御ＥＣＵ３から取得される自車両Ｖの推定移動量と、管理情報１２１として過去に記憶された駐車枠Ｐの情報とに基づき、現在の駐車枠Ｐの位置を推定してよい。

本実施形態では、駐車枠Ｐを構成する区画線ＳＬの更新種別の分類は、推定情報と観測情報とに基づいて行われる。これによると、信頼度の高い観測情報の結果を優先して管理情報１２１の更新を行うことができ、管理情報１２１の信頼度を向上することができる。

図３は、駐車枠Ｐを構成する区画線ＳＬの更新種別例を示す表である。図３において、観測値が「○」とは、観測情報の中に区画線情報が存在する区画線ＳＬが対応する。図３において、観測値が「×」とは、観測情報の中に区画線情報が存在しない区画線ＳＬが対応する。図３において、推定値が「○」とは、推定情報の中に区画線情報が存在する区画線ＳＬが対応する。図３において、推定値が「×」とは、推定情報の中に区画線情報が存在しない区画線ＳＬが対応する。

観測情報および推定情報の中に区画線情報が存在する区画線ＳＬは、観測値「○」且つ推定値「○」となり、第１更新種別に分類される。観測情報の中に区画線情報が存在し、推定情報の中に区画線情報が存在しない区画線ＳＬは、観測値「○」且つ推定値「×」となり、第２更新種別に分類される。観測情報の中に区画線情報が存在せず、推定情報の中に区画線情報が存在する区画線ＳＬは、観測値「×」且つ推定値「○」となり、第３更新種別に分類される。なお、観測情報および推定情報の中に区画線情報が存在しない区画線ＳＬは、処理対象とできないために更新種別が与えられない。

すなわち、管理部１１４は、観測情報と推定情報との両方に位置情報が含まれる区画線ＳＬを第１更新種別に分類し、観測情報にのみ位置情報が含まれる区画線ＳＬを第２更新種別に分類し、推定情報にのみ位置情報が含まれる区画線ＳＬを第３更新種別に分類する。これによると、時系列で取得される複数の区画線ＳＬの位置情報を適切に分類することができ、駐車枠Ｐの管理情報１２１を適切に更新することができる。

本実施形態では、管理部１１４は、これら３つの更新種別に基づき管理情報１２１の更新を行う。図４は、管理部１１４によって実行される管理処理を例示するフローチャートである。なお、図４に示す管理処理の説明に際し、理解を容易にするために、図５に示す模式的な例を適宜参照しながら説明を行う。

図５は、管理処理を説明するための模式図である。駐車場内に進入した自車両Ｖは、第１区画線ＳＬ１、第２区画線ＳＬ２、第３区画線ＳＬ３・・・という順番で各区画線ＳＬ１～ＳＬ１０を通過する。自車両Ｖの前進に伴い、認識部１１３は、各区画線ＳＬ１～ＳＬ１０を、左サイドカメラ２０Ｌから順次取得される撮影画像に基づき駐車枠Ｐを構成する区画線として順次認識する。

図５に示す例では、第１区画線ＳＬ１から第９区画線ＳＬ９までは、認識部１１３によって駐車枠Ｐを構成する区画線ＳＬとして既に認識され、これらの区画線情報は管理情報１２１に含まれている。すなわち、管理部１１４は、第１区画線ＳＬ１から第９区画線ＳＬ９について推定情報を求めることができる。また、第８区画線ＳＬ８から第１０区画線ＳＬ１０は、左サイドカメラ２０Ｌの現在の撮影画像から駐車枠Ｐを構成する区画線として認識されている。

管理部１１４による管理処理（管理工程）は、例えば、認識部１１３によって現在の撮影画像に対する駐車枠Ｐの認識処理が完了した時点で開始される。まず、管理部１１４は観測情報を取得する（ステップＳ１）。図５に示す例では、管理部１１４は、ステップＳ１により第８～第１０の３つの区画線ＳＬ８～ＳＬ１０の情報を取得する。

次に、管理部１１４は推定情報を取得する（ステップＳ２）。管理部１１４は、現在の撮影画像より１つ前の撮影画像を取得した時点から現在の撮影画像を取得した時点までの自車両Ｖの推定移動量を算出する。そして、管理部１１４は、当該推定移動量と、現時点で記憶部１２に記憶される管理情報１２１とに基づいて推定情報を求める。図５に示す例では、管理部１１４は、ステップＳ２により、第１～第９の９つの区画線ＳＬ１～ＳＬ９の推定位置を求める。なお、ステップＳ２は、ステップＳ１より先に行われてもよいし、ステップＳ１と並行して行われてもよい。

管理部１１４は、観測情報と推定情報とを取得すると、各区画線ＳＬに対して更新種別の分類を行う（ステップＳ３）。詳細には、管理部１１４は、各区画線ＳＬが、第１更新種別と、第２更新種別と、第３更新種別とのうちのいずれに属するかを判断する。

図５に示す例では、第８区画線ＳＬ８および第９区画線ＳＬ９は、観測情報および推定情報の中に区画線情報が存在する区画線に該当する。このために、第８区画線ＳＬ８および第９区画線ＳＬ９は、第１更新種別に分類される。第１０区画線ＳＬ１０は、観測情報の中に区画線情報が存在し、推定情報の中に区画線情報が存在しない区画線に該当する。このために、第１０区画線ＳＬ１０は、第２更新種別に分類される。第１～第７区画線ＳＬ１～ＳＬ７は、観測情報の中に区画線情報が存在せず、推定情報の中に区画線情報が存在する区画線に該当する。このために、第１～第７区画線ＳＬ１～ＳＬ７は、第３更新種別に分類される。

なお、管理部１１４は、観測情報に含まれる各区画線ＳＬが過去に認識した区画線ＳＬのいずれかと同じであるか否かは、観測情報から得られる位置と、推定情報から得られる位置とを比較することにより判断する。本実施形態では、観測情報から得られる位置と、推定情報から得られる位置とが完全に一致していなくても、位置の差が所定の閾値内であれば、同一の区画線ＳＬであると判断する。

管理部１１４は、各区画線ＳＬの更新種別を分類すると、当該分類結果に基づき記憶部１２に現在記憶される管理情報１２１を更新する（ステップＳ４）。管理情報１２１の更新に際して、第１更新種別の区画線ＳＬの位置情報は、観測情報の値に更新される（観測更新）。また、第２更新種別の区画線ＳＬの位置情報は、観測情報の値で仮登録される（新規登録）。なお、仮登録の段階では、当該区画線ＳＬは、更新種別の分類において過去に認識された区画線ＳＬとして取り扱われず、後述の補正値の算出にも使用されない。仮登録が複数回されると、当該区画線ＳＬは本登録となる。これにより、管理情報１２１の信頼度を更に向上することができる。ただし、１回目の観測で仮登録とすることなく本登録とする構成としてもよい。この場合には、第１更新種別と第２更新種別とを２つに分けず、同じ分類としてよい。更に、第３更新種別の区画線ＳＬの位置情報は、推定情報の値を、観測情報と推定情報とに基づき得られる補正値で補正した値に更新される。

図５に示す例では、管理部１１４は、第８区画線ＳＬ８と第９区画線ＳＬ９の位置情報を観測情報の値に更新する。管理部１１４は、第１０区画線ＳＬ１０の位置情報を観測情報の値で仮登録する。管理部１１４は、第１～第７の７つの区画線ＳＬ１～ＳＬ７の位置情報について、各推定値を補正値で補正した値で更新する。これらの更新により、駐車枠Ｐの情報を含む管理情報１２１の更新が完了する。

本実施形態では、撮影画像の信頼度の高い領域を用いて観測情報が得られるために、観測情報に含まれる区画線情報の信頼度を高くすることができる。すなわち、観測値で更新される第１更新種別および第２更新種別の区画線の更新情報の信頼度を向上することができる。そして、撮影画像によって認識できず、自車両Ｖの移動量から推定した結果で更新する必要がある第３更新種別の区画線ＳＬの位置情報について、観測情報から得られる補正値で推定値の補正を行って更新情報を得る構成になっている。このために、第３更新種別の区画線について、更新処理の際に車両の移動量推定の誤差が蓄積して本来の位置からずれることを抑制することができる。すなわち、本実施形態によれば、駐車枠Ｐの管理情報１２１の信頼度を向上することができる。

図４に示す更新処理（ステップＳ４）の具体例について説明する。図６は、図４に示す更新処理の具体例を例示するフローチャートである。管理部１１４は、各区画線ＳＬの更新種別を分類すると、分類された更新種別の中に第１更新種別が存在するか否かを確認する（ステップＳ４１）。図５に示す例では、２つの区画線ＳＬ８、ＳＬ９が第１更新種別に分類されるために、管理部１１４は、第１更新種別が存在すると判断する。

第１更新種別が存在すると判断すると（ステップＳ４１Ｙｅｓ）、管理部１１４は、補正値の算出を行う（ステップＳ４２）。補正値は、推定情報を補正するために用いられる。補正値の算出方法について、図７および図８を参照して説明する。

図７は、区画線ＳＬの現在の認識イメージＩ（ｔ）と、過去の認識イメージＩ（ｔ－１）とを比較して示す模式図である。図７において、実線は現在の認識イメージＩ（ｔ）であり、破線は過去の認識イメージＩ（ｔ－１）である。現在の認識イメージＩ（ｔ）は、自車両Ｖ（ｔ）の左サイドカメラ２０Ｌの撮影画像から取得されるものであり、過去の認識イメージＩ（ｔ－１）は、自車両Ｖ（ｔ－１）の左サイドカメラ２０Ｌの撮影画像から取得されるものである。図７における過去とは、現在より１周期（カメラの撮影周期）前の時間を指す。図７に示すように、自車両Ｖの移動により、撮影画像によって認識される区画線ＳＬの位置も移動している。また、自車両Ｖの移動により撮影画像によって認識される区画線ＳＬの種類も変化している。すなわち、過去の認識イメージＩ（ｔ－１）は、第７～第９の３つの区画線ＳＬ７～ＳＬ９が認識されていたが、現在の認識イメージＩ（ｔ）では、第８～第１０の３つの区画線ＳＬ８～ＳＬ１０が認識されている。

図８は、補正値の算出方法を説明するための模式図である。図８は、図７の現在の認識イメージＩ（ｔ）のみを抽出し、補正値の算出方法の説明に必要となる事項を書き加えた図である。管理部１１４は、補正値の算出に際して、観測情報に含まれる区画線情報と、推定情報に含まれる区画線情報とを比較する。

図８に示す例で具体的に説明する。管理部１１４は、第８区画線ＳＬ８および第９区画線ＳＬ９について、現在（ｔ）の位置と、１周期前（ｔ－１）の位置から推定される推定位置（一点鎖線で示す位置）とを比較し、位置の差分値Δを算出する。管理部１４は、この差分値Δを補正値とする。

なお、第８区画線ＳＬ８を用いて求められる差分値Δと、第９区画線ＳＬ９を用いて求められる差分値Δとは同じである場合もあるし、同じとならない場合もある。値の異なる複数の差分値Δが取得された場合には、例えば、複数の差分値の平均値を補正値としてよい。また、別の手法として、複数の差分値Δのうち、信頼性が高いと判断される差分値Δを補正値としてもよい。例えば、撮影画像の中央で認識される区画線情報は中央からずれた位置で認識される区画線情報より信頼度が高いと推定される。このために、撮影画像の中央位置により近い位置から認識された区画線情報を信頼度が高いとして、当該区画線情報から得られる差分値Δを補正値としてよい。なお、本例では、求められる差分値の数が２つであるが、この数は適宜変わり、１つのこともあるし、３つ以上のこともある。

管理部１１４は、補正値を算出すると、補正処理を行う（ステップＳ４３）。詳細には、管理部１１４は、第３更新種別の区画線ＳＬの位置情報について、推定情報の値を補正値で補正した値とする。図８に示す例では、自車両Ｖの推定移動量Ｍが実際より小さく推定されていると判断され、推定移動量Ｍを大きくする補正が行われることになる。

なお、本実施形態では、管理部１１４は、複数の第３更新種別の区画線ＳＬの位置情報を含む推定情報の値を同一の補正値で一括して補正する。図５に示す例では、管理部１１４は、第１～第７の７つの区画線ＳＬ１～ＳＬ７の位置情報について、各推定情報の値を同一の補正値で一括して補正した値とする。これによると、予測更新が行われる第３更新種別の区画線ＳＬについて、効率良く信頼度の高い値に補正して更新を行うことができる。

管理部１１４は、補正処理を行うと、各区画線情報を各更新種別に応じて決まる更新値に更新し、駐車枠Ｐに関する管理情報１２１の更新登録を行う（ステップＳ４４）。各更新種別に応じて決まる更新値の求め方は上述したので、ここでは省略する。

ところで、ステップＳ４１で第１更新種別の区画線ＳＬが存在しないと判断される場合、観測情報に基づいて補正値を算出することができない。このために、管理部１１４は、第１更新種別の区画線ＳＬが存在しないと判断される場合（ステップＳ４１でＮｏ）には、補正値をゼロとしステップＳ４３に移行する。換言すると、管理部１１４は、第１更新種別の区画線ＳＬが存在しないと判断される場合には、推定情報の補正処理を実質的に行わない。

なお、第１更新種別の区画線ＳＬが存在しない状態は、観測情報の中に区画線ＳＬの認識情報がない場合の他、観測情報の中に新規に認識された区画線情報のみが存在する場合がある。前者は、例えば、自車両Ｖが駐車枠Ｐの存在する領域を通り過ぎた場合や、区画線ＳＬとサイドカメラ２０との間に物体（静止物又は移動物）が存在したり、区画線ＳＬが影に覆われたり、区画線ＳＬが消えかかったりして区画線ＳＬの認識ができない場合等が挙げられる。後者は、例えば、自車両Ｖが駐車枠Ｐの存在領域に接近し始めたばかりのタイミングである場合や、区画線ＳＬとサイドカメラ２０との間に物体が存在したり、区画線ＳＬが影に覆われたり、区画線ＳＬが消えかかったりして一部の区画線ＳＬの認識ができない場合等が挙げられる。

また、第１更新種別の区画線ＳＬが存在すると判断された場合でも、例えば物体や影等の存在によって、現在の撮影画像において認識されるべき区画線ＳＬが認識されていない状態が起り得る。ただし、このような区画線ＳＬは、第１更新種別の区画線ＳＬの存在により、車両の移動量推定から求められる推定値を補正値で補正した値で更新登録することができる。

＜３．留意事項＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

以上においては、認識部１１３がサイドカメラ２０を用いて駐車枠Ｐの認識を行う場合を例に説明したが、本発明は、認識部１１３がサイドカメラ２０以外のカメラ（例えばバックカメラ）を用いて駐車枠の認識を行う構成にも適用可能である。

１・・・画像処理装置
２０・・・サイドカメラ（カメラの一例）
１１３・・・認識部
１１４・・・管理部
１２１・・・管理情報
Ｐ・・・駐車枠
ＳＬ・・・区画線
Ｖ・・・自車両（車両）

Claims (7)

1. 車両の周辺を撮影するカメラで得られた撮影画像に基づき駐車枠を認識する認識部と、
   過去に認識された前記駐車枠の位置情報を含む管理情報を、現在の撮影画像から得られる前記駐車枠の位置情報を含む観測情報に基づき更新する管理部と、
   を備え、
   前記管理部は、前記管理情報と前記観測情報とに基づき、管理対象となる前記駐車枠を構成する区画線ごとに更新種別を分類し、当該分類に基づき前記管理情報を更新する、画像処理装置。
2. 前記管理部は、前記車両の移動情報と前記管理情報とに基づき前記駐車枠の位置情報を含む推定情報を求める処理を行い、
   前記更新種別の分類は、前記推定情報と前記観測情報とに基づいて行われる、請求項１に記載の画像処理装置。
3. 前記管理部は、
   前記観測情報と前記推定情報との両方に位置情報が含まれる前記区画線を第１更新種別に分類し、
   前記観測情報にのみ位置情報が含まれる前記区画線を第２更新種別に分類し、
   前記推定情報にのみ位置情報が含まれる前記区画線を第３更新種別に分類する、請求項２に記載の画像処理装置。
4. 前記管理情報の更新に際して、
   前記第１更新種別の前記区画線の位置情報は、前記観測情報の値に更新され、
   前記第２更新種別の前記区画線の位置情報は、前記観測情報の値で仮登録され、
   前記第３更新種別の前記区画線の位置情報は、前記推定情報の値を、前記観測情報と前記推定情報とに基づき得られる補正値で補正した値に更新される、請求項３に記載の画像処理装置。
5. 前記管理部は、複数の前記第３更新種別の前記区画線の位置情報を含む前記推定情報の値を同一の前記補正値で一括して補正する、請求項４に記載の画像処理装置。
6. 前記カメラは、前記車両の側方に設けられるサイドカメラであり、
   前記認識部は、前記撮影画像の中心部を含む一部の領域を用いて前記駐車枠を認識する、請求項１から５のいずれか１項に記載の画像処理装置。
7. 画像処理装置で実行される画像処理方法であって、
   車両の周辺を撮影するカメラで得られた撮影画像に基づき駐車枠を認識する認識工程と、
   過去に認識された前記駐車枠の位置情報を含む管理情報を、現在の撮影画像から得られる前記駐車枠の位置情報を含む観測情報に基づき更新する管理工程と、
   を備え、
   前記管理工程は、前記管理情報と前記観測情報とに基づき、管理対象となる前記駐車枠を構成する区画線ごとに更新種別を分類し、当該分類に基づき前記管理情報を更新する処理を含む、画像処理方法。

Images