JP6677141B2

JP6677141B2 - 駐車枠認識装置

Info

Publication number: JP6677141B2
Application number: JP2016219644A
Authority: JP
Inventors: 大輔杉浦
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-11-10
Filing date: 2016-11-10
Publication date: 2020-04-08
Anticipated expiration: 2036-11-10
Also published as: CN109923586B; DE112017005670T5; JP2018077705A; WO2018088262A1; CN109923586A

Description

本開示は、自車両が駐車可能な駐車枠を表す駐車可能枠を認識する技術に関する。

下記の特許文献１には、駐車可能枠を認識する技術として、自車両から観察可能な駐車枠を構成する白線のうち、自車両に近い側の白線よりも、自車両に遠い側の白線が長い場合に、駐車可能枠であると判断する技術が提案されている。

特開２０１６−０１６６８１号公報

上記特許文献１の技術では、軽自動車等の車長が短い車両が駐車枠に駐車している場合に、自車両に近い側の白線よりも自車両に遠い側の白線が長くなるように観察されることがあるので、他車両が駐車している駐車枠を駐車可能枠であると誤認識しやすいという問題があった。

本開示は、自車両が駐車可能な駐車枠を表す駐車可能枠を認識する駐車枠認識装置において駐車可能枠をより精度よく認識できるようにする技術を提供する。

本開示の駐車枠認識装置（２０）は、画像取得部（Ｓ１１０）と、線抽出部（Ｓ１２０、Ｓ１５０）と、可能枠認識部（Ｓ２１０、Ｓ２２０）と、を備える。画像取得部は、自車両の異なる位置に配置された複数の撮像装置が撮像したそれぞれの撮像画像を表す複数の撮像画像を取得するように構成される。

線抽出部は、複数の撮像画像から駐車枠を抽出し、該駐車枠の自車両からより遠い側の端部を規定する線を表す対象線を抽出するように構成される。可能枠認識部は、複数の撮像画像から抽出された同一の駐車枠について、対象線の形状が同一であるか否かを判定し、対象線の形状が同一と判定された駐車枠を駐車可能枠として認識するように構成される。

すなわち、本開示の駐車枠認識装置では、駐車枠に駐車車両が存在する場合には、対象線が駐車車両によって隠されることによって、異なる位置で撮像された同一の対象線の形状が異なるものとして観察されるという特性を利用する。なお、対象線の形状とは、線の角の数、線の長さ、アスペクト比、エッジの曲率等の比較用パラメータがどの程度一致するかによって判定されうる。どの程度一致するかについては、例えば、比較用パラメータの比と閾値と比較することによって判定できる。

このような駐車枠認識装置によれば、異なる位置で撮像された同一の対象線の形状が同一であるか否かによって駐車可能枠であるか否かを判定するので、駐車可能枠を精度よく認識できる。

なお、この欄および特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

撮像システムの構成を示すブロック図である。駐車可能枠認識処理を示すフローチャートである。フロントカメラによる撮像画像の一例を示す画像図である。左カメラによる撮像画像の一例を示す画像図である。対象線の見え方の一例を示す鳥瞰図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．実施形態］
［１−１．構成］
図１に示すように、本実施形態の撮像システム１は、乗用車等の車両に搭載されたシステムであり、制御ユニット１０を備える。また、フロントカメラ４Ｆ、リヤカメラ４Ｂ、右カメラ４Ｒ、左カメラ４Ｌ、表示部３０、車両制御部３２、等を備えてもよい。なお、撮像システム１が搭載された車両を自車両ともいう。

フロントカメラ４Ｆおよびリヤカメラ４Ｂは、それぞれ、自車両の前方および後方の道路を撮像するためのものであり、自車両の前部および後部に取り付けられている。また、右カメラ４Ｒおよび左カメラ４Ｌは、それぞれ、自車両の右側および左側の道路を撮像するためのものであり、自車両の右側面および左側面に取り付けられている。すなわち、フロントカメラ４Ｆ、リヤカメラ４Ｂ、右カメラ４Ｒ、左カメラ４Ｌは、それぞれ自車両の異なる位置に配置されている。ここで、異なる位置とは、撮像装置が同一鉛直線上に配置されていることなく、異なる鉛直線上に配置されていることを示す。

制御ユニット１０は、これら各カメラ４Ｆ、４Ｂ、４Ｒ、４Ｌによる撮像画像から、車両周囲の道路を鉛直方向から俯瞰した鳥瞰画像を生成する。そして、その生成した鳥瞰画像を、液晶ディスプレイ等にて構成されて車室内に配置される表示部３０に表示させる。

また、制御ユニット１０は、これら各カメラ４Ｆ、４Ｂ、４Ｒ、４Ｌによる撮像画像から駐車可能枠を認識する。なお、駐車枠とは、少なくとも予め設定された範囲内の幅を有する１本の線と、該線から車両の幅に応じた距離だけ隔てた位置に該線と平行な辺または線を有する物体との間の領域を表す。

また、駐車可能枠とは、自車両が駐車可能な駐車枠を表す。また、ここでいう「平行」には略平行を含む。また、ここでいう「線と平行な辺または線を有する物体」には、例えば、縁石、他の線、壁、樹木、ガードレール等が該当する。

制御ユニット１０は、撮像信号入力部１２、検出信号入力部１４、メモリ１６、表示制御部１８、および画像処理部２０を備える。
撮像信号入力部１２は、フロントカメラ４Ｆ、リヤカメラ４Ｂ、右カメラ４Ｒ、左カメラ４Ｌからの撮像信号を取り込み、撮像画像データとして画像処理部２０に入力するためのものである。

検出信号入力部１４は、自車両の各車輪の回転速度を検出する車輪速センサ６や、ステアリングの操舵角を検出する操舵角センサ８からの検出信号をそれぞれ取り込み、車輪速データ、操舵角データに変換して、画像処理部２０に入力するためのものである。

画像処理部２０は、ＣＰＵ１８と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ１６）と、を有する周知のマイクロコンピュータを中心に構成される。画像処理部２０の各種機能は、ＣＰＵ１８が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１６が、プログラムを格納した非遷移的実体的記録媒体に該当する。

また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、非遷移的実体的記録媒体とは、記録媒体のうちの電磁波を除く意味である。また、画像処理部２０を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理部２０は、ＣＰＵ１８がプログラムを実行することで実現される機能の構成として、図１に示すように、線検出部２２と、位置対応部２４と、枠推定部２６と、トラッキング部２８と、を備える。画像処理部２０を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部または全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、またはアナログ回路、あるいはこれらの組合せによって実現してもよい。

線検出部２２としての機能では、それぞれの撮像画像に対して周知のハフ変換等の画像処理を行うことによって白線や黄線のような線を検出する処理を行う。
位置対応部２４としての機能では、他のカメラとの共通する撮像範囲内に存在する線が同一の線であるかどうかを検出された線毎に判定し、同一のものを対応付ける処理を行う。なお、予めカメラ毎に他のカメラとの共通する撮像範囲および対応する座標が設定された対応情報がメモリ１６に格納されており、この対応情報を用いて同一の線か否かを判定する。

枠推定部２６としての機能は、撮像画像中に存在する１または複数の駐車枠を推定し、これらの駐車枠の中から駐車可能枠を推定する処理を行う。
トラッキング部２８としての機能は、自車両の移動量と撮像画像中の物体が移動する移動量とを対応付けることによって撮像画像中の物体を追跡する処理を行う。特に、本実施形態では、駐車枠を追跡し、駐車枠の位置を認識することになる。駐車可能枠の位置の情報は車両制御部３２に送られる。

また、トラッキング部２８としての機能では、自車両の移動量を加味しつつ駐車枠を示す画像を生成し、この画像は表示制御部１８に出力される。表示制御部１８は、画像処理部より送られた画像を表示部３０にて表示可能な映像信号に変換し、表示部３０に送る。

車両制御部３２は、駐車可能枠の位置を受けて、駐車可能枠に駐車するための自車両の軌道を生成し、この軌道に従って自車両を移動させるために、自車両の加減速、自車両の舵角等を制御する。

［１−２．処理］
次に、画像処理部２０が実行する駐車可能枠認識処理について、図２のフローチャートを用いて説明する。駐車可能枠認識処理は、例えば自車両の電源が投入されると開始され、その後、繰り返し実施される処理である。駐車可能枠認識処理はカメラの撮像周期毎に起動されてもよい。

駐車可能枠認識処理は、図２に示すように、まず、Ｓ１１０にて、カメラによる撮像画像を取得する。この処理では、フロントカメラ４Ｆ、右カメラ４Ｒ、左カメラ４Ｌが概ね同時に撮像したそれぞれの撮像画像を取得する。

フロントカメラ４Ｆにて撮像された撮像画像としては、例えば図３に示すような撮像画像が得られ、左カメラ４Ｌにて撮像された撮像画像としては、例えば図４に示すような撮像画像が得られる。なお、以後の処理では、車両に搭載された各カメラ４Ｆ、４Ｂ、４Ｒ、４Ｌによる２以上の撮像画像を任意に組み合わせて利用することができるが、本実施形態では、説明を簡素に行うためにフロントカメラ４Ｆおよび左カメラ４Ｌによる撮像画像を組み合わせて利用する例のみを説明する。

続いて、Ｓ１２０にて、取得した撮像画像毎に、白線や黄線等の線を検出する。この処理では、撮像画像を構成する多数の画素において、輝度や色の境界であるエッジを検出し、エッジに対して周知のハフ変換等の処理を実施することによって、撮像画像中に存在する全ての線を検出する。ここでの線は、幅を有するものであり、例えば路上のペイントが含まれる。なお、検出された線を検出線と呼ぶ。図３、図４に示す例では、全ての駐車枠を示す白線４０のうち、全ての線４１，４２，４３が検出線となる。

続いて、Ｓ１３０にて、それぞれの撮像画像に複数の検出線が存在するか否かを判定する。本処理では、２本の線で挟まれた領域を駐車枠とするため、２本以上の線が検出されない場合は駐車枠がないものと認識する。よって、Ｓ１３０では、駐車枠が存在する可能性があるか否かを判定しているともいえる。

複数の検出線が存在しなければ、Ｓ２４０にて使用可能な駐車枠が存在しない旨をメモリ１６において記録し、駐車可能枠認識処理を終了する。また、複数の検出線が存在すれば、Ｓ１４０にて得られた撮像画像の全体、或いは撮像画像のうちの少なくとも検出線を平面座標系に変換する。この処理は、撮像画像を鉛直方向から俯瞰した鳥瞰画像を生成する周知の処理にて実現すればよい。

続いて、Ｓ１５０にて駐車枠推定を行う。この処理では、複数の撮像画像から駐車枠を抽出する。駐車枠としては、少なくとも２本の線で挟まれた領域であって、２本の線の間隔が車両の幅を基準に設定される予め設定された範囲内となる領域を抽出する。この際、撮像画像中の存在する全ての駐車枠を抽出する。図３、図４に示す例では白線４１，４２の間の領域、白線４２，４３の間の領域が駐車枠として抽出されることになる。白線４１，４３の間の領域も駐車枠として抽出されうるが、本処理では白線間の距離が予め設定された範囲内となる領域のみを駐車枠とするため、白線４１，４３の間の領域は駐車枠から除外される。

なお、駐車枠を抽出する際には、自車両から見て最も手前の駐車枠、自車両の右側或いは左側のみに位置する駐車枠等、特定の駐車枠のみを抽出してもよい。また、この処理では、該駐車枠の自車両からより遠い側の端部を規定する線を表す対象線を抽出しておく。図３、図４に示す例では、白線４１，４２の間の駐車枠では白線４２が対象線となり、白線４２，４３の間の駐車枠では白線４３が対象線となる。

続いて、Ｓ１６０にて駐車枠の候補が存在するか否かを判定する。ここでの駐車枠の候補とは、駐車可能枠を含むが駐車可能枠とは限らず、他車両が既に駐車している駐車枠をも含む一般的な駐車枠を示す。

駐車枠の候補が存在しなければ、前述のＳ２４０に移行する。また、駐車枠の候補が存在すれば、Ｓ２１０にて複数の撮像画像の共通する撮像領域において対象線の形状が同一か否かを判定する。

この処理では、まず、複数の撮像画像から異なる位置から観察した同一の駐車枠を抽出し、この駐車枠を構成する同一の対象線の形状を比較する。同一の駐車枠は、複数の撮像画像が得られる条件、例えば、複数のカメラにおける配置のオフセット等によって複数の撮像画像中において同じ物体が写る共通領域を特定し、ある撮像画像での駐車枠と共通領域内となる駐車枠を抽出することで特定される。

また、対象線の形状を比較する際には、例えば、対象線の長さを比較する。ここで、線の長さとは、線の長手方向の長さを表す。長手方向とは線の幅方向と直交する方向である。対象線の長さを比較する場合、例えば、図３，４に示すように、同じ白線４２の長さＬ_１とＬ_２とを比較する。白線の長さは、平面座標系に座標変換したときの長さを比較する。

図５に示すように、駐車枠に車両が駐車している場合には、この車両によって白線４２の一部が隠され、カメラの撮像位置の差によって白線４２のうちの隠される部位が異なる。このため、カメラによって観察される白線４２の長さに差が生じる。

一方、駐車枠に車両が駐車していない駐車枠であれば、例えば白線４３等の対象線は比較的広い範囲で対象線の全てが車両に隠されることなく観察される。この場合、対象線の長さの差が小さくなる。

よって、本実施形態では、対象線の長さの差が予め設定された閾値以内であれば形状が同一であるものとする。Ｓ２１０にて対象線の形状が同一であれば、Ｓ２２０にて対象線の形状が同一と判定された駐車枠を駐車可能枠として認識する。また、対象線の形状が同一でなければ、Ｓ２３０にて対象線の形状が同一でないと判定された駐車枠を駐車可能枠でないものと認識する。

このような処理が終了すると、駐車可能枠認識処理を終了する。
［１−３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。

（１ａ）上記の撮像システム１において画像処理部２０は、自車両の異なる位置に配置された複数の撮像装置が撮像したそれぞれの撮像画像を表す複数の撮像画像を取得する。そして、画像処理部２０は、複数の撮像画像から駐車枠を抽出し、該駐車枠の自車両からより遠い側の端部を規定する線を表す対象線を抽出する。また、画像処理部２０は、複数の撮像画像から抽出された同一の駐車枠について、対象線の形状が同一であるか否かを判定し、対象線の形状が同一と判定された駐車枠を駐車可能枠として認識する。

このような撮像システム１によれば、異なる位置で撮像された同一の対象線の形状が同一であるか否かによって駐車可能枠であるか否かを判定するので、駐車可能枠を精度よく認識できる。

（１ｂ）上記の撮像システム１において画像処理部２０は、対象線の形状として、対象線の長さが同一であるか否かを判定する。
このような撮像システム１によれば、対象線の長さを比較することによって対象線の形状を判定するので、線全体の形状で判定する構成と比較して、簡素な構成で駐車可能枠を認識することができる。

（１ｃ）上記の撮像システム１において画像処理部２０は、駐車枠として、少なくとも２本の線で挟まれた領域を抽出する。
このような撮像システム１によれば、少なくとも２本の線で挟まれた領域を駐車枠として抽出するので、周知の白線認識の技術を用いて駐車枠を抽出することができる。よって、より簡素な構成で駐車可能枠を認識することができる。

（１ｄ）上記の撮像システム１において画像処理部２０は、それぞれの撮像画像を平面座標系に変換し、平面座標系に変換されたそれぞれの撮像画像から抽出された同一の駐車枠について、対象線の形状が同一であるか否かを判定し、対象線の形状が同一と判定された駐車枠を駐車可能枠として認識する。

このような撮像システム１によれば、平面座標系で対象線の形状が同一であるか否かを判定するので、撮像画像を得る位置が異なることによって対象線に変形が生じていたとしても良好に形状の判定を行うことができる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、対象線の形状が同一であるか否かを対象線の長さで判断したが、これに限定されるものではない。例えば、対象線の形状として、対象線の全体形状や、対象線において自車両から遠い側の端部の形状等が同一であるか否かを判定してもよい。

具体的に、対象線において自車両から遠い側の端部の形状が同一であるか否かを判定する場合には、図３、図４に示すように、白線４２の車両から遠い端部の形状、すなわち、領域［Ａ］および領域［Ｂ］内における白線４２の形状を比較する。駐車枠に車両が存在する場合には、白線４２の車両から遠い端部が車両によって隠され、カメラの位置に応じて白線４２が車両のどの部位に隠されるかが変化するため、白線４２の車両から遠い端部の形状が変化する。一方で、白線４２が隠されていない場合には、白線４２の車両から遠い端部の形状は変化しない。このため、対象線において自車両から遠い側の端部の形状が同一であるか否かによって駐車枠が駐車可能枠であるか否かを判定できる。

このような撮像システムによれば、対象線において自車両から遠い側の端部の形状を比較することによって対象線の形状を判定するので、線全体の形状で判定する構成と比較して、簡素な構成で駐車可能枠を認識することができる。

（２ｂ）上記撮像システム１では、駐車枠が駐車可能枠であるか否かを判定する際に、上記の駐車可能枠認識処理のみを用いて判定してもよいが、上記の駐車可能枠認識処理と周知の処理とを組み合わせて判定してもよい。例えば、周知の処理で駐車可能枠を仮に抽出しておき、最終的な判断のために駐車可能枠認識処理を用いてもよい。また、周知の処理と駐車可能枠認識処理との少なくとも一方、或いは過半数の処理等で駐車可能枠であると判定された場合に駐車枠が駐車可能枠であると判定してもよい。

（２ｃ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（２ｄ）上述した撮像システム１の他、当該撮像システム１の構成要素となる駐車枠認識装置等の各種装置、当該撮像システム１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、駐車枠認識方法など、種々の形態で本開示を実現することもできる。

［３．実施形態の構成と本開示の構成との対応関係］
上記実施形態において撮像システム１の画像処理部２０は本開示でいう駐車枠認識装置に相当する。また、画像処理部２０が実行する処理のうちのＳ１１０の処理は本開示でいう画像取得部に相当し、上記実施形態においてＳ１２０、Ｓ１５０の処理は本開示でいう線抽出部に相当する。また、上記実施形態においてＳ１４０の処理は本開示でいう座標変換部に相当し、上記実施形態においてＳ２１０、Ｓ２２０の処理は本開示でいう可能枠認識部に相当する。

１…撮像システム、４Ｂ…リヤカメラ、４Ｆ…フロントカメラ、４Ｌ…左カメラ、４Ｒ…右カメラ、６…車輪速センサ、８…操舵角センサ、１０…制御ユニット、１２…撮像信号入力部、１４…検出信号入力部、１６…メモリ、１８…表示制御部、１８…ＣＰＵ、２０…画像処理部、２２…線検出部、２４…位置対応部、２６…枠推定部、２８…トラッキング部、３０…表示部、３２…車両制御部、４０，４１，４２，４３…白線。

Claims

自車両が駐車可能な駐車枠を表す駐車可能枠を認識するように構成された駐車枠認識装置（２０）であって、
自車両の異なる位置に配置された複数の撮像装置が撮像したそれぞれの撮像画像を表す複数の撮像画像を取得するように構成された画像取得部（Ｓ１１０）と、
前記複数の撮像画像から駐車枠を抽出し、該駐車枠の自車両からより遠い側の端部を規定する線を表す対象線を抽出するように構成された線抽出部（Ｓ１２０、Ｓ１５０）と、
前記複数の撮像画像から抽出された同一の駐車枠について、前記対象線の形状が同一であるか否かを判定し、前記対象線の形状が同一と判定された駐車枠を前記駐車可能枠として認識するように構成された可能枠認識部（Ｓ２１０、Ｓ２２０）と、
を備えた駐車枠認識装置。
請求項１に記載の駐車枠認識装置であって、
前記可能枠認識部は、前記対象線の形状として、前記対象線の長さが同一であるか否かを判定する
ように構成された駐車枠認識装置。
請求項１または請求項２に記載の駐車枠認識装置であって、
前記可能枠認識部は、前記対象線の形状として、前記対象線において自車両から遠い側の端部の形状が同一であるか否かを判定する
ように構成された駐車枠認識装置。
請求項１から請求項３の何れか１項に記載の駐車枠認識装置であって、
前記線抽出部は、前記駐車枠として、少なくとも２本の線で挟まれた領域を抽出する
ように構成された駐車枠認識装置。
請求項１から請求項４の何れか１項に記載の駐車枠認識装置であって、
前記それぞれの撮像画像を平面座標系に変換するように構成された座標変換部（Ｓ１４０）、
をさらに備え、
前記可能枠認識部は、平面座標系に変換されたそれぞれの撮像画像から抽出された同一の駐車枠について、前記対象線の形状が同一であるか否かを判定し、前記対象線の形状が同一と判定された駐車枠を前記駐車可能枠として認識する
ように構成された駐車枠認識装置。
請求項１から請求項５の何れか１項に記載の駐車枠認識装置であって、
前記画像取得部は、前記複数の撮像画像として、概ね同時に撮像された複数の撮像画像を取得する
ように構成された駐車枠認識装置。