JP7259309B2 - 画像処理装置および画像処理方法 - Google Patents

Description

開示の実施形態は、画像処理装置および画像処理方法に関する。

近年、自動運転技術の発展に伴い、車両の周囲を撮像した画像から車両を駐車させる駐車枠を検出する画像処理装置が普及しつつある。この種の画像処理装置では、画像から駐車枠を区画する区画線を検出し、検出した区画線に基づいて駐車枠を検出する(例えば、特許文献１参照)。

かかる画像処理装置は、例えば、画像を撮像するカメラが搭載された自車両が走行する路面に対して、区画線が設けられている路面が傾斜している場合、路面の傾斜角度を考慮して自車両に対する区画線の位置および角度を検出する必要がある。

特開２０１７－８７７５８号公報

しかしながら、従来技術では、路面の傾斜角度を検出するために、例えば、単眼カメラとレーダレーザやステレオカメラ等の他のセンサとを併用する必要があり、単眼カメラによって撮像される画像だけでは路面の傾斜角度を推定することが困難である。

実施形態の一態様は、上記に鑑みてなされたものであって、単眼カメラによって撮像された画像から区画線が設けられた路面の傾斜角度を推定することができる画像処理装置および画像処理方法を提供することを目的とする。

実施形態の一態様に係る画像処理装置は、検出部と、推定部とを備える。検出部は、画像から駐車枠を区画する区画線を検出する。推定部は、検出部によって検出された一対の区画線の路面上における振れ角度に基づいて一対の区画線が設けられている実路面の傾斜角度を推定する。推定部は、検出部によって検出された一対の区画線を傾斜角度が異なる複数の俯瞰視による想定路面上の区画線に変換した場合に、平行状態からのずれ度が最小となった一対の区画線に変換された場合の想定路面の傾斜角度を実路面の傾斜角度と推定する。

実施形態の一態様に係る画像処理装置および画像処理方法は、単眼カメラによって撮像された画像から区画線が設けられた路面の傾斜角度を推定することができる。

図１Ａは、画像処理装置の搭載例を示す図である。 図１Ｂは、画像処理方法の概要を示す図である。 図２は、画像処理装置のブロック図である。 図３は、駐車枠検出部のブロック図である。 図４は、傾斜角度の推定手順の説明図である。 図５は、傾斜角度の推定手順の説明図である。 図６は、駐車枠検出部が実行する処理の一例を示すフローチャートである。

以下、添付図面を参照して、実施形態に係る画像処理装置および画像処理方法について詳細に説明する。なお、本実施形態によりこの発明が限定されるものではない。

まず、図１Ａおよび図１Ｂを用いて実施形態に係る画像処理装置の概要について説明する。図１Ａは、画像処理装置の搭載例を示す図である。また、図１Ｂは、画像処理方法の概要を示す図である。なお、かかる画像処理方法は、図１Ａに示す画像処理装置１によって実行される。

図１Ａに示すように、実施形態に係る画像処理装置１は、車載カメラ１０が搭載された自車両（以下、車両Ｃと記載する）に搭載され、車載カメラ１０によって撮像された撮像画像（以下、単に画像と記載する）から駐車枠ＰＳを検出する。

車載カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、車両Ｃの周囲を撮像する単眼式の撮像装置である。また、車載カメラ１０のレンズには、例えば、魚眼レンズなどの広角レンズが採用される。これにより、車載カメラ１０は、図１Ａに示すような広角の撮像領域Ｒ内に存在する駐車枠ＰＳを撮像することができる。

なお、図１Ａに示す例では、車載カメラ１０が、車両Ｃの左側方を撮像する左サイドカメラである場合について示したが、車載カメラ１０には、車両Ｃの前方を撮像する前方カメラ、車両Ｃの後方を撮像するバックカメラ、車両Ｃの右側方を撮像する右サイドカメラが含まれる。

画像処理装置１は、駐車枠ＰＳの検出を行う場合、まず、画像から各駐車枠ＰＳを区画する区画線の候補となる区画線候補を検出し、検出した区画線候補に基づいて各駐車枠ＰＳを検出する。このとき、例えば、区画線候補が離散して検出される場合や、不連続的に検出される場合、駐車枠ＰＳを検出できないおそれがある。

そこで、実施形態に係る画像処理装置１は、検出した区画線候補を所定の統合条件に基づいて統合する。これにより、実施形態に係る画像処理装置１では、駐車枠の検出精度を向上させることが可能となる。

具体的には、図１Ｂに示すように、画像処理装置１は、まず、画像Ｉから区画線候補Ｌｃを検出する（ステップＳ１）。例えば、画像処理装置１は、画像Ｉに対してエッジ処理を行うことで得られるエッジ点を繋いだエッジ線に基づいて区画線候補Ｌｃを検出する。

そして、画像処理装置１は、画像Ｉにおいて、区画線と路面との境界に対応するエッジ線を区画線候補Ｌｃとして検出する。すなわち、区画線候補Ｌｃは、区画線の幅方向の左右両端に対応するエッジ線のペアである。

続いて、画像処理装置１は、ステップＳ１において検出した区画線候補Ｌｃを所定の統合条件に基づいて統合し、区画線Ｌｉ１，Ｌｉ２を検出する（ステップＳ２）。これにより、画像処理装置１では、一対の区画線Ｌｉ１，Ｌｉ２によって挟まれた領域を駐車枠ＰＳとして検出することができる。

こうして検出された駐車枠ＰＳに車両Ｃを自動運転によって駐車させる場合、画像処理装置１は、車両Ｃに対する区画線Ｌｉ１，Ｌｉ２の位置および角度を検出して、自動運転制御を行う後述の上位ＥＣＵ（Electronic Control Unit）へ通知する必要がある。

かかる場合、画像処理装置１は、検出した一対の区画線Ｌｉ１，Ｌｉ２を俯瞰視による一対の区画線ＬＩ１，ＬＩ２に変換して（ステップＳ３）、車両Ｃに対する区画線ＬＩ１，ＬＩ２の位置および角度を検出する。

このとき、一般的な画像処理装置は、車両Ｃが走行している路面に対して、区画線が設けられている路面が傾斜していないことを想定し、画像から検出した区画線を傾斜角度が０度の俯瞰視による想定路面上の区画線に変換する。

このため、一般的な画像処理装置では、車両Ｃが位置する路面に対して区画線が設けられている路面が傾斜していた場合、点線で示す一対の区画線Ｌ１，Ｌ２のように、路面が傾斜していなければ平行状態となるはずが、平行状態からずれた一対の区画線ＬＩ１，ＬＩ２に変換される。

かかる場合、上位ＥＣＵは、車両Ｃに対する位置および角度が実際とは異なる一対の区画線ＬＩ１，ＬＩ２に基づいて車両Ｃを駐車枠ＰＳへ駐車させることになるため、自動運転による正確な駐車を行うことができない。

ここで、変換後の俯瞰視による区画線ＬＩ１，ＬＩ２の路面上における振れ角度は、車両Ｃが走行している路面に対する区画線Ｌｉ１，Ｌｉ２が設けられた路面の傾斜角度に依存する。

そこで、実施形態に係る画像処理装置１は、路面上における区画線ＬＩ１，ＬＩ２の振れ角度に基づいて路面の傾斜角度を推定する（ステップＳ４）。これにより、画像処理装置１は、単眼カメラによって撮像された画像から区画線が設けられた路面の傾斜角度を推定することができる。かかる傾斜角度の推定手順の具体例については、図５を参照して後述する。

次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、画像処理装置１のブロック図である。なお、図２には、画像処理装置１を含む駐車支援システム１００を示す。

図２に示すように、駐車支援システム１００は、画像処理装置１と、車載カメラ１０と、センサ群Ｓｃと、上位ＥＣＵ５０とを備える。また、図２に示すように、画像処理装置１と、センサ群Ｓｃと、上位ＥＣＵ５０とは、それぞれＣＡＮ（Control Area Network）通信の通信規格の通信バスＢによって相互に通信することができる。

センサ群Ｓｃは、車両Ｃの走行状態を検出する各種センサであり、検出したセンサ値を画像処理装置１へ通知する。センサ群Ｓｃは、車両Ｃの車輪の回転数を検出する車速センサや、車両Ｃの舵角を検出する舵角センサ等を含む。

上位ＥＣＵ５０は、例えば、車両Ｃの自動駐車を支援するＥＣＵであり、例えば、画像処理装置１によって検出された駐車枠ＰＳに基づいて車両Ｃを駐車枠ＰＳへ駐車させる。例えば、上位ＥＣＵ５０は、車両Ｃの操舵角を制御するＥＰＳ（Electric Power Steering）-ＥＣＵであり、画像処理装置１によって検出された駐車枠ＰＳへの操舵角を制御することができる。なお、上位ＥＣＵ５０は、アクセル制御やブレーキ制御を行うＥＣＵを含むようにすることにしてもよい。

図２に示すように、画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、線分抽出部２１と、不適領域判定部２２と、区画線候補検出部２３と、除外判定部２４と、駐車枠検出部２５と、駐車枠管理部２６と、停車位置決定部２７とを備える。

制御部２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。

コンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７として機能する。

また、制御部２の線分抽出部２１、不適領域判定部２２、区画線候補検出部２３、除外判定部２４、駐車枠検出部２５、駐車枠管理部２６および停車位置決定部２７の少なくともいずれか一部または全部をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成することもできる。

また、記憶部３は、例えば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、各種情報や各種プログラムの情報を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

制御部２は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、後述する駐車枠の検出処理を行うことにしてもよいし、あるいは、車両Ｃが走行している全ての期間でかかる検出処理を行うことにしてもよい。

線分抽出部２１は、車載カメラ１０から入力される画像から各画素の輝度に基づくエッジ点を繋いだエッジ線を検出する。具体的には、線分抽出部２１は、車載カメラ１０から入力される画像をグレースケール化することでグレースケール画像へ変換する。グレースケール画像とは、画像における各画素を輝度に応じて白から黒までの各階調（例えば２５６階調）で表現するように変換する処理である。

続いて、線分抽出部２１は、グレースケール画像に対して例えば、ソベルフィルタを適用することで、各画素のエッジ強度および輝度勾配を求めることができる。続いて、線分抽出部２１は、エッジ強度が所定値を超える画素を抽出することで、上記のエッジ点を抽出し、隣接するエッジ点を繋ぐことで、エッジ線を抽出することができる。線分抽出部２１は、抽出したエッジ点およびエッジ線に関するエッジ情報を不適領域判定部２２へ通知する。

不適領域判定部２２は、線分抽出部２１によって抽出されたエッジ点およびエッジ線に基づき、駐車枠を構築する区画線の検出が困難となる不適領域の有無を判定する。例えば、不適領域判定部２２は、舗装された路面に比べて、エッジ点が多く抽出される舗装されていない路面領域(例えば、砂利)や、グレーチング領域を不適領域として判定することができる。

具体的には、不適領域判定部２２は、各エッジ点の密度が所定値以上であり、各エッジ点の輝度勾配が不均一である領域について、不適領域として判定することができる。不適領域判定部２２は、判定した不適領域に基づいて上記のエッジ情報から不適領域に関するエッジ情報を除去して後段の処理へ回す。

区画線候補検出部２３は、線分抽出部２１によって抽出されたエッジ線に基づいて駐車枠を区画する区画線の候補となる区画線候補を検出する。具体的には、区画線候補検出部２３は、互いに略平行であり、その間隔が区画線の幅に応じた所定範囲に収まるエッジ線同士を区画線候補として検出する。

すなわち、区画線候補検出部２３は、各区画線の幅方向の左右両端に対応するエッジ線を区画線候補として検出する。区画線候補検出部２３は、検出した区画線候補に関する区画線情報を生成し、除外判定部２４へ通知する。

なお、区画線候補検出部２３は、不適領域判定部２２によって検出された不適領域を除いて、区画線候補の検出処理を行うことができる。言い換えれば、区画線候補検出部２３は、不適領域について区画線候補の検出処理を行わない。これにより、制御部２の処理負荷の抑えることが可能となる。

除外判定部２４は、区画線候補検出部２３によって検出された区画線候補に基づいて車両Ｃの駐車が認められていない駐車不可領域の有無を判定する。例えば、除外判定部２４は、駐車不可領域として、ゼブラゾーン(導流帯)などの駐車不可領域の有無を判定する。

具体的には、ゼブラゾーンが、互いに略平行な区画線候補を区画線(支持区画線と記載する)と仮定した場合に、支持区画線に対して傾斜した区画線候補が所定の間隔をあけて３本以上存在する場合に、支持区画線に挟まれた領域を駐車不可領域と判定する。

また、除外判定部２４は、路面標識等の駐車枠の検出に不要な区画線候補の有無を判定することも可能である。例えば、除外判定部２４は、区画線候補検出部２３によって検出された区画線候補と、各路面標識のテンプレートモデルとのマッチング処理を行うことで画像に含まれる各路面標識を検出することができる。

除外判定部２４は、区画線情報から不要な区画線候補を除去するとともに、区画線情報に駐車不可領域に関する情報を付与して、駐車枠検出部２５へ通知する。

駐車枠検出部２５は、区画線候補検出部２３によって検出された区画線候補に基づき、駐車枠を検出する。具体的には、駐車枠検出部２５は、所定間隔をあけて配置される区画線候補について駐車枠として検出する。

ここで、所定間隔とは、駐車場に関する法令等で規定される一般公共用の標準的な駐車領域の幅である。また、このとき、駐車枠検出部２５は、除外判定部２４によって駐車不可領域として判定された領域を避けて、駐車枠を検出することができる。

すなわち、ゼブラゾーン等を避けて駐車枠を検出することができる。駐車枠検出部２５は、駐車枠を検出すると、駐車枠に関する駐車枠情報を駐車枠管理部２６へ通知する。なお、以下では、駐車枠検出部２５によって駐車枠を区画する区画線候補として検出された区画線候補について、区画線と記載する。また、駐車枠情報には、車両Ｃを基準とする各区画線の頂点座標が含まれる。

かかる駐車枠検出部２５は、画像から車両Ｃが走行している路面に対する区画線が設けられた路面の傾斜角度を推定し、傾斜角度の推定結果に基づき車両Ｃに対する区画線の位置および角度を算出して、各区画線の頂点座標を導出する。なお、駐車枠検出部２５の具体例については、図３を用いて後述する。

駐車枠管理部２６は、駐車枠検出部２５によって検出された駐車枠を時系列で管理する。駐車枠管理部２６は、センサ群Ｓｃから入力されるセンサ値に基づいて車両Ｃの移動量を推定し、かかる移動量に基づいて過去の駐車枠情報に基づく実際の各区画線の頂点座標を推定することができる。

また、駐車枠管理部２６は、新たに入力される駐車枠情報に基づいて、過去の駐車枠情報における区画線の座標情報を更新することも可能である。すなわち、駐車枠管理部２６は、車両Ｃとの駐車枠との相対的な位置関係を車両Ｃの移動に伴って随時更新する。

また、駐車枠管理部２６は、複数の駐車枠がそれぞれ連続して配置されると仮定して、駐車枠の検出範囲を設定することも可能である。例えば、駐車枠管理部２６は、駐車枠検出部２５によって検出された１つの駐車枠を基準とし、かかる駐車枠と連続して複数の駐車枠が存在すると仮定する。

そして、駐車枠管理部２６は、仮定した駐車枠の位置を検出範囲として設定する。これにより、上記の線分抽出部２１は、駐車枠管理部２６によって設定された検出範囲においてのみ、エッジ線の検出処理を行えばよいので、制御部２の処理負荷を抑えることが可能となる。

停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、車両Ｃが駐車枠へ駐車する際の停車位置を決定する。例えば、停車位置決定部２７は、線分抽出部２１によって検出されたエッジ線に基づき、輪留めや縁石、壁、車幅方向に延びる白線などを検出することで、車両Ｃの停車位置を決定する。

停車位置決定部２７は、輪留めを検出した場合、車両Ｃの後輪が輪留めの手前に来るように停車位置を決定し、輪留めに代えて、白線や壁等を検出した場合、白線の手前に車両Ｃの後端(例えば、リアバンパの先端)がくるように停車位置を決定する。

次に、図３～図５を用いて、実施形態に係る駐車枠検出部２５について具体的に説明する。図３は、駐車枠検出部２５のブロック図である。図４および図５は、傾斜角度の推定手順の説明図である。

図３に示すように、駐車枠検出部２５は、検出部２５１と、推定部２５２と、算出部２５３とを備える。また、駐車枠検出部２５が区画線の検出を行うにあたり、記憶部３は、想定路面情報３１を記憶する。

想定路面情報３１は、車両Ｃが走行している路面に対する区画線が設けられた路面を想定した想定路面の傾斜角度毎に、画像中の区画線を各想定路面上の俯瞰視による区画線に変換するための画像処理プログラムである。

検出部２５１は、画像から駐車枠を区画する一対の区画線を検出する処理部である。推定部２５２は、検出部２５１によって検出された一対の区画線の路面上における振れ角度に基づいて、一対の区画線が設けられている実路面の傾斜角度を推定する処理部である。

また、算出部２５３は、車両Ｃに対する実路面上の区画線の位置および角度を推定部２５２によって推定される傾斜角度に基づいて算出する処理部である。なお、以下の説明では、車両Ｃが走行している路面を走行路面Ｒｍ、区画線が設けられている路面を検出路面Ｒｘと記載する。

ここで、図４に示すように、車両Ｃは、走行路面Ｒｍに対して、例えば、傾斜角度θだけ登り勾配で傾斜している検出路面Ｒｘの前を走行する場合がある。かかる場合、車載カメラ１０によって、検出路面Ｒｘの画像Ｉが撮像される（ステップＳ１１）。

検出部２５１は、検出路面Ｒｘの画像Ｉから駐車枠ＰＳを区画する一対の区画線Ｌｉ１，Ｌｉ２を検出する（ステップＳ１２）。続いて、推定部２５２は、検出した一対の区画線Ｌｉ１，Ｌｉ２を俯瞰視による想定路面上の区画線ＬＩ１，ＬＩ２に変換する（ステップＳ１３）。

このとき、推定部２５２は、まず、画像Ｉから検出した区画線Ｌｉ１，Ｌｉ２を、例えば、傾斜角度の初期値である「０度」に設定した想定路面Ｒｍ（０）上の俯瞰視による区画線ＬＩ１，ＬＩ２に変換する。

そして、推定部２５２は、俯瞰視による一対の区画線ＬＩ１，ＬＩ２の平行状態からのずれ角度θ１，θ２を算出する（ステップＳ１４）。このとき、俯瞰視による区画線ＬＩ１，ＬＩ２は、検出路面Ｒｘが走行路面Ｒｍに対して傾斜していなければ略平行状態（ずれ角度θ１，θ２≒０度）となる。

しかし、ここでは、検出路面Ｒｘが走行路面Ｒｍに対して傾斜角度θだけ登り勾配で傾斜しているため、ずれ角度θ１，θ２≒０度とはならない。これにより、推定部２５２は、検出路面Ｒｘの傾斜角度が０度ではないと判定することができる。

このため、推定部２５２は、想定路面の傾斜角度を「０度」から「Ｘ度」に変更し（ステップＳ１５）、傾斜角度が「Ｘ度」の想定路面Ｒｍ（Ｘ）を使用して、上述したステップＳ１２、およびステップＳ１３の処理を行う。その後、推定部２５２は、ステップＳ１５における傾斜角度「Ｘ度」の値を順次変更して、ステップＳ１２、およびステップＳ１３の処理を繰り返す。

例えば、図５に示すように、推定部２５２は、想定路面の傾斜角度を「０度」から「＋７度」まで１度ずつ順次変更し、さらに、傾斜角度を「０度」から「－７度」まで１度ずつ順次変更する。

そして、推定部２５２は、各傾斜角度の想定路面Ｒｍ（－７）～Ｒｍ（＋７）上の俯瞰視による区画線ＬＩ１，ＬＩ２のずれ角度θ１，θ２を算出し、ずれ角度θ１，θ２が最小となった場合の想定路面の傾斜角度を検出路面Ｒｘの傾斜角度と推定する。

図５に示す例では、傾斜角度を「＋７度」にした想定路面Ｒｍ（＋７）では、区画線ＬＩ１，ＬＩ２の間隔が、車両Ｃから遠くなるにつれて狭くなっており、区画線ＬＩ１，ＬＩ２が平行状態から大きくずれた状態となっている。

これに対して、傾斜角度を「＋３度」にした想定路面Ｒｍ（＋３）では、区画線ＬＩ１，ＬＩ２の間隔が、車両Ｃから遠くなるにつれて狭くなっているが、区画線ＬＩ１，ＬＩ２が平行状態にはなっていない。

そして、傾斜角度を「＋２度」にした想定路面Ｒｍ（＋２）になると、区画線ＬＩ１，ＬＩ２が平行状態となっている。これに対して、傾斜角度を「＋１度」にした想定路面Ｒｍ（＋１）では、区画線ＬＩ１，ＬＩ２が平行状態からずれて、区画線ＬＩ１，ＬＩ２の間隔が、車両Ｃから遠くなるにつれて広くなっている。

さらに、傾斜角度を「＋０度」にした想定路面Ｒｍ（０）では、区画線ＬＩ１，ＬＩ２の平行状態からのずれが大きくなっている。そして、傾斜角度を「－７度」にした想定路面Ｒｍ（－７）では、区画線ＬＩ１，ＬＩ２の間隔が、車両Ｃから遠くなるにつれて広くなっており、区画線ＬＩ１，ＬＩ２が平行状態から大きくずれた状態となっている。

このため、図５に示す例の場合、推定部２５２は、ずれ角度θ１，θ２が最小となる想定路面Ｒｍ（＋２）の傾斜角度である「＋２度」を検出路面Ｒｘの傾斜角度として推定する。このように、推定部２５２は、画像Ｉから検出される区画線ＬＩ１，ＬＩ２の想定路面上における振れ角度に基づいて傾斜角度を推定するので、単眼カメラによって撮像された画像から区画線が設けられた路面の傾斜角度を推定することができる。

その後、図５に示す例では、算出部２５３は、車両Ｃに対する想定路面Ｒｍ（＋２）上の区画線ＬＩ１の角度θ１１および距離Ｄ１を算出し、車両Ｃに対する想定路面Ｒｍ（＋２）上の区画線ＬＩ２の角度θ１２および距離Ｄ２を算出する。

なお、図５には、車両Ｃに対する各区画線ＬＩ１，ＬＩ２の１つの頂点の角度θ１１，θ１２および距離Ｄ１，Ｄ２を図示しているが、算出部２５３は、各区画線ＬＩ１，ＬＩ２の残りの３つの頂点についても、車両Ｃに対する角度および距離を算出する。

これにより、算出部２５３は、車両Ｃに対する区画線ＬＩ１，ＬＩ２の角度および位置を算出することができる。このように、算出部２５３は、推定部２５２によって検出路面Ｒｘの傾斜角度が推定された想定路面Ｒｍ（＋２）上の区画線ＬＩ１，ＬＩ２を使用することで、車両Ｃに対する区画線ＬＩ１，ＬＩ２の正確な角度および位置を算出することができる。

次に、図６を参照し、駐車枠検出部２５が実行する処理について説明する。図６は、駐車枠検出部２５が実行する処理の一例を示すフローチャートである。駐車枠検出部２５は、例えば、車両Ｃが駐車場を走行していると想定される場合（例えば、車速３０Ｋｍ／ｈ以内）に、図５に示す処理を繰り返し実行する。

具体的には、図６に示すように、駐車枠検出部２５は、まず、画像から区画線を検出する（ステップＳ１０１）。その後、駐車枠検出部２５は、想定路面の傾斜角度を初期値に設定し（ステップＳ１０２）、検出した区画線を俯瞰視による想定路面上の区画線に変換する（ステップＳ１０３）。

続いて、駐車枠検出部２５は、変換後の区画線の平行状態からのずれ角度を算出する（ステップＳ１０４）。その後、駐車枠検出部２５は、全ての傾斜角度についてずれ角度を算出したか否かを判定する（ステップＳ１０５）。

そして、駐車枠検出部２５は、全ての傾斜角度についてずれ角度を算出していないと判定した場合（ステップＳ１０５，Ｎｏ）、想定路面の傾斜角度を変更し（ステップＳ１０６）、処理をステップＳ１０３へ移す。

また、駐車枠検出部２５は、全ての傾斜角度についてずれ角度を算出したと判定した場合（ステップＳ１０５，Ｙｅｓ）、ずれ角度が最小となった場合の想定路面の傾斜角度を検出路面の傾斜角度と判定する（ステップＳ１０７）。

その後、駐車枠検出部２５は、推定した傾斜角度に基づいて、車両に対する区画線の位置および角度を検出する（ステップＳ１０８）。最後に、駐車枠検出部２５は、算出した区画線の車両に対する位置および角度に基づいて駐車枠を検出し（ステップＳ１０９）、処理を終了する。

なお、上述した実施形態では、想定路面の初期値を「０度」としたが、これは一例である。推定部２５２は、想定路面の初期値を「－７度」とし、「＋７度」まで１度ずつ増大させてもよく、想定路面の初期値を「＋７度」とし、「－７度」まで１度ずつ減少させてもよい。

また、想定路面の角度範囲は、「－７度」から「＋７度」までに限定されるものではなく、任意の角度範囲であってもよい。また、想定路面の傾斜角度の変更量は、１度刻みに限定されるものではなく、任意の変更量であってもよい。

また、上述した実施形態では、推定部２５２は、想定した全傾斜角度について、区画線を想定路面上の俯瞰視による区画線に変換し、平行状態からのずれ角度を算出したが、最小となるずれ角度が判定できた時点で、想定路面の傾斜角度の変更を中止してもよい。

また、画像処理装置１は、画像における一対の区画線の路面上における振れ角度と、検出路面の傾斜角度とが対応付けられたテーブルを記憶部３に記憶しておく構成であってもよい。かかる構成の場合、推定部２５２は、車両Ｃの周囲が撮像された画像における一対の区画線の路面上における振れ角度を算出する。

そして、推定部２５２は、算出した振れ角度が対応付けられた傾斜角度をテーブルから選択し、選択した傾斜角度を検出路面の傾斜角度として推定する。これによれば、想定路面の傾斜角度の変更を繰り返しながら傾斜角度を推定する必要がなくなるため、処理負荷を低減できる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１００ 駐車支援システム
１０ 車載カメラ
１ 画像処理装置
２ 制御部
２１ 線分抽出部
２２ 不適領域判定部
２３ 区画線候補検出部
２４ 除外判定部
２５ 駐車枠検出部
２６ 駐車枠管理部
２７ 停車位置決定部
２５１ 検出部
２５２ 推定部
２５３ 算出部
３ 記憶部
３１ 想定路面情報
５０ 上位ＥＣＵ
Ｓｃ センサ群

Claims (3)

1. 画像から駐車枠を区画する区画線を検出する検出部と、
   前記検出部によって検出された一対の前記区画線の路面上における振れ角度に基づいて前記一対の区画線が設けられている実路面の傾斜角度を推定する推定部と
   を備え、
   前記推定部は、
   前記検出部によって検出された前記一対の区画線を傾斜角度が異なる複数の俯瞰視による想定路面上の区画線に変換した場合に、平行状態からのずれ度が最小となった一対の区画線に変換された場合の前記想定路面の傾斜角度を前記実路面の傾斜角度と推定することを特徴とする画像処理装置。
2. 前記画像を撮像する撮像装置が搭載された自車両に対する前記実路面上の前記区画線の位置および角度を前記推定部によって推定される傾斜角度に基づいて算出する算出部
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 画像から駐車枠を区画する区画線を検出する検出工程と、
   前記検出工程によって検出された一対の前記区画線の路面上における振れ角度に基づいて前記一対の区画線が設けられている実路面の傾斜角度を推定する推定工程と、
   を含み、
   前記推定工程は、
   前記検出工程によって検出された前記一対の区画線を傾斜角度が異なる複数の俯瞰視による想定路面上の区画線に変換した場合に、平行状態からのずれ度が最小となった一対の区画線に変換された場合の前記想定路面の傾斜角度を前記実路面の傾斜角度と推定することを特徴とする画像処理方法。

Images