JP2018088144A - 区画線認識装置 - Google Patents

Abstract

【課題】区画線の認識精度を向上させることができる区画線認識装置を提供する。【解決手段】所定の処理周期で、現在の処理時に撮影された路面画像である現在画像から区画線を認識する区画線認識部（Ｓ１００）と、現在画像から認識された区画線の信頼度を判定する信頼度判定部（Ｓ１１０）と、過去に撮影された路面画像である過去画像が蓄積されている蓄積部（３７，１１０）から現在画像と同じ場所を撮影した過去画像を取得する画像取得部（Ｓ２０，Ｓ３０）と、現在画像において信頼度判定部により信頼度が予め設定された信頼度閾値よりも低いと判定された部分を、画像取得部により取得された過去画像を用いて補完して、補完画像を生成する補完部（Ｓ１２０〜Ｓ１９０）と、を備える。区画線認識部は、補完部により補完画像が生成された場合に、補完画像から改めて区画線を認識する。【選択図】図４

Description

本開示は、走行車線を区画する区画線を認識する区画線認識装置に関する。

カメラで撮影した路面画像から車線を区画する区画線を認識する装置として、特許文献１に記載の装置がある。特許文献１に記載の装置は、車両の周囲を撮影した撮影画像から抽出された区画線の候補点に基づいて、区画線を認識している。ここで、雨やヘッドライトの反射光で路面画像が不明瞭な場合には、区画線の候補点の抽出精度が低下し、区画線の認識精度が低下することがある。そこで、特許文献１に記載の装置は、認識結果が適正であるか否か判定し、認識結果が不適である場合には、認識結果を更新しないで、前回の処理時の認識結果を用いている。

特許第４２２５２４２号公報

特許文献１に記載の装置は、認識結果の信頼性が低い場合に、前回の処理時の認識結果、すなわち、今回の処理時の走行場所とは異なる場所で認識した結果を用いている。よって、カーブ等の車線の形状が大きく変化する場所では、区画線の認識精度が低下するおそれがある。

本開示は、上記実情に鑑みてなされたものであり、区画線の認識精度の高い区画線認識装置を提供する。

本開示は、少なくとも１台のカメラ（１１〜１４）により撮影された路面画像から車両（６０）が走行する車線を区画する区画線を認識する区画線認識装置（３０）であって、区画線認識部と、信頼度判定部と、画像取得部と、補完部と、を備える。区画線認識部（Ｓ１００）は、所定の処理周期で、現在の処理時に撮影された路面画像である現在画像から区画線を認識するように構成されている。信頼度判定部（Ｓ１１０）は、区画線認識部により現在画像から認識された区画線の信頼度を判定するように構成されている。像取得部（Ｓ２０，Ｓ３０）は、過去に撮影された路面画像である過去画像が蓄積されている蓄積部（３７，１１０）から現在画像と同じ場所を撮影した過去画像を取得するように構成されている。補間部（Ｓ１２０〜Ｓ１９０）は、現在画像において信頼度判定部により信頼度が予め設定された信頼度閾値よりも低いと判定された部分を、画像取得部により取得された過去画像を用いて補完して、補完画像を生成するように構成されている。そして、区画線認識部は、補完部により補完画像が生成された場合に、補完画像から改めて区画線を認識するように構成されている。

本開示によれば、現在の路面画像である現在画像から区画線が認識され、認識された区画線の信頼度が判定される。そして、現在画像の判定された信頼度が低い部分が、現在画像と同じ場所を撮影した過去画像を用いて補完され、補完画像から改めて区画線が認識される。したがって、区画線の高い認識精度を実現することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

区画線認識装置の構成を示すブロック図である。 画像の信頼度の低い部分を過去画像で補完する様子を示す説明図である。 予め過去画像を取得する処理手順を示すフローチャートである。 白線を認識する処理手順を示すフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。
＜１．構成＞
まず、本実施形態に係る区画線認識装置の構成について、図１を参照して説明する。本実施形態に係る区画線認識装置は、車両６０に搭載されて、道路の区画線を認識する装置である。本実施形態に係る区画線認識装置は、図１に示すように、ＥＣＵ３０から構成されており、ＥＣＵ３０には、カメラ１１〜１４、及びセンサ類２０が接続されている。なお、区画線は、道路の車線を区画するように路面に描かれた白線や黄線である。以下では、白色以外の色の区画線も含めて区画線を白線と称する。

カメラ１１〜１４は、それぞれ、フロントカメラ、左サイドカメラ、右サイドカメラ、及びリアカメラである。カメラ１１〜１４は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いて構成された周知のものである。カメラ１１は、車両前方の路面が撮影範囲となるように、例えば、車両前端のバンパーに設置され、路面の前方の部分画像を撮影する。カメラ１２は、車両左側の路面が撮影範囲となるように、例えば、左側のサイドミラーに設置され、路面の左側の部分画像を撮影する。カメラ１３は、車両右側の路面が撮影範囲となるように、例えば、右側のサイドミラーに設置され、路面の右側の部分画像を撮影する。カメラ１４は、車両後方の路面が撮影範囲となるように、例えば、車両後端のバンパーに設置され、路面の後方の部分画像を撮影する。カメラ１１〜１４は、それぞれ撮影した各部分画像を所定の周期でＥＣＵ３０へ出力する。

センサ類２０は、車両６０の走行に関する車両データを検出する各種のセンサである。具体的には、センサ類２０は、車両６０の車速を検出する車速センサ、車両６０の操舵角度を検出する操舵角センサ、車両６０のブレーキのオン・オフを検出するブレーキセンサを含む複数のセンサである。

また、ＥＣＵ３０は、サーバ１００と無線接続して、データを送受信する。サーバ１００は、センタに設置されており、種々の車両に搭載されたカメラで撮影された路面画像を収集する。サーバ１００が備えるデータベース１１０には、種々の車両から収集された路面画像が過去画像として、路面画像を撮影した日時、撮影時の位置、撮影時の車速、操舵角度、ブレーキのオン・オフ、車種又はカメラの設置位置とともに記憶されている。本実施形態では、データベース１１０が蓄積部に相当する。

ＥＣＵ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリ及びＩ/Ｏ等を備えた周知のマイクロコンピュータ、及びＥＣＵ３０の各部に電源を供給する電源部３８を備えて構成されている。ＥＣＵ３０を構成するマイクロコンピュータの数は１つでも複数でもよい。

ＥＣＵ３０は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより、又はハードウェアを用いることにより、入力信号処理部３１、画像処理部３２、及び出力信号処理部３６の各機能を実現する。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体である。

入力信号処理部３１は、カメラ１１〜１４により撮影された各部分画像を取得する。また、入力信号処理部３１は、センサ類２０により検出された検出値から、車両６０の車速、操舵角度、ブレーキのオン・オフを含む走行に関する車両データを取得する。本実施形態では、入力信号処理部３１の機能に、データ取得部の機能が含まれる。

画像処理部３２は、画像認識部３３、視点変換部３４、及び画像合成部３５の各機能を備える。視点変換部３４は、カメラ１１〜１４で撮影された各部分画像の視点を車両６０の上方に変換して、各部分の鳥瞰画像を生成する。画像合成部３５は、前方部分、左側部分、右側部分及び後方部分の鳥瞰画像を合成して、合成画像を生成する。生成された合成画像は、車両６０が存在する車両領域を取り囲む画像となる。

画像認識部３３は、所定の処理周期で、生成された合成画像から白線を認識する。その際、画像認識部３３は、現処理周期に撮影された部分画像から生成された合成画像（以下、現在画像）の信頼度が低い部分を、現在画像と同じ場所を撮影した過去画像を用いて補完して、補完画像を生成する。そして、画像認識部３３は、生成した補完画像から改めて白線を認識する。

例えば、図２のＣは現在画像、図２のＡ，Ｂは現在画像と同じ場所を撮影した過去画像である。図２のＣに示すように、車両６０の前方に障害物８０が存在し、白線が隠れている場合、現在画像の前方部分の信頼度が低くなる。よって、画像認識部３３は、図２のＢ，Ｄに示すように、過去画像の前方部分を取得し、現在画像の前方部分を過去画像の前方部分に置き換えて、補完画像を生成する。図３のＥは、生成された補完画像であり、前方に障害物８０が存在しない。ここで、過去画像を用いて現在画像を補完する際に、過去画像の処理に時間を要する。よって、次の白線の認識処理時の開始前に、次の認識処理時に用いる可能性のある過去画像を予め取得しておく。つまり、現在画像を補完するかどうかに関わらず、予め補完に用いる過去画像を取得しておく。なお、画像認識部３３の詳細は後述する。本実施形態では、画像認識部３３の機能に、画像取得部、区画線認識部、信頼度判定部、補完部、及び蓄積制御部の各機能が含まれる。

出力信号処理部３６は、画像認識部３３により認識された白線の認識結果を、車両６０の走行支援を行う車両制御装置へ出力する。車両制御装置は、白線の認識結果に基づいて、車両６０が車線内を走行するように、操舵等の制御を行ったり、車線を逸脱しそうな場合に警報を出力したりする制御装置である。

＜２．処理＞
次に、予め過去画像を取得する処理手順について、図３のフローチャートを参照して説明する。本処理手順は、画像認識部３３が所定の処理周期で繰り返し実行する。

まず、ステップＳ１０では、車速、操舵角度、ブレーキのオン・オフを含む車両データを取得する。
続いて、ステップＳ２０では、ステップＳ１０で取得した車両データを用いて、次の白線の認識処理時における車両６０の到達位置を推定する。車速が早いほど、到達位置は現在の位置よりも遠くになる。

続いて、ステップＳ３０では、推定した到達位置における過去画像をサーバ１００のデータベース１１０から予め取得しておく。
続いて、ステップＳ４０では、ステップＳ３０で取得した過去画像の角度を調整して、次の認識処理時における現在画像の角度に合わせた画像に変換する。操舵角度によって、車両６０に対する路面画像の相対的な向きが異なり、車両６０に対する路面画像上の白線の相対的な角度も異なる。また、車種によってカメラの設置位置が異なり、カメラの設置位置が異なると、車両６０に対する路面画像の相対的な向きや距離が異なる。よって、過去画像の撮影時の位置、操舵角度を用いて、過去画像の白線の角度が、現在画像の白線の角度と一致するように、過去画像を調整する。以上で本処理を終了する。

なお、本実施形態では、ステップＳ１０の処理を実行することにより実現される機能が、データ取得部に相当し、ステップＳ２０及びＳ３０の処理を実行することにより実現される機能が、画像取得部に相当する。

次に、白線を認識する処理手順について、図４のフローチャートを参照して説明する。本処理手順は、画像認識部３３が所定の処理周期で繰り返し実行する。
まず、ステップＳ１００では、生成された合成画像に対して、周知の白線認識アルゴリズムを実行し、白線を認識する。

続いて、ステップＳ１１０では、ステップＳ１００で認識された白線の信頼度を判定する。白線の信頼度は、画像の白線が不明瞭で認識しにくい状況ほど、信頼度を低下させる。具体的には、画像に障害物が映っている場合、画像が逆光の影響を受けている場合、路面反射の影響を受けている場合、雨や雪が降っている場合、白線の信頼度を低下させる。白線の信頼度の判定は、部分画像ごとに行う。なお、車両の周囲に障害物があるか否かについては、レーザレーダやミリ波レーダを用いて判定してもよい。

ステップＳ１１０において、いずれかの部分画像において認識された白線の信頼度が、予め設定された信頼度閾値よりも低い場合は、ステップＳ１２０へ進む。
続いて、ステップＳ１２０では、左側のカメラ１２で撮影された左側の部分画像の信頼度が高いか否か判定する。ステップＳ１２０において、左側の部分画像の信頼度が信頼度閾値よりも低い場合は、ステップＳ１３０において、合成画像の左側部分を、予め取得されている過去画像の左側部分に置き換えて、補完画像を生成する。そして、ステップＳ１００へ戻り、補完画像から改めて白線を認識する。その後、ステップＳ１１０へ進み、改めて認識した白線の信頼度を判定する。この時、補完した左側部分の信頼度は信頼度閾値よりも高くなる。

一方、ステップＳ１２０において、左側の部分画像の信頼度が信頼度閾値以上の場合は、ステップＳ１４０へ進む。ステップＳ１４０では、前方のカメラ１１で撮影された前方の部分画像の信頼度が高いか否か判定する。ステップＳ１４０において、前方の部分画像の信頼度が信頼度閾値よりも低い場合は、ステップＳ１５０において、合成画像の前方部分を、予め取得されている過去画像の前方部分に置き換えて、補完画像を生成する。そして、ステップＳ１００へ戻り、補完画像から改めて白線を認識する。

一方、ステップＳ１４０において、前方の部分画像の信頼度が信頼度閾値以上の場合は、ステップＳ１６０へ進む。ステップＳ１６０では、右側のカメラ１３で撮影された右側の部分画像の信頼度が高いか否か判定する。ステップＳ１６０において、右側の部分画像の信頼度が信頼度閾値よりも低い場合は、ステップＳ１５０において、合成画像の右側部分を、予め取得されている過去画像の右側部分に置き換えて、補完画像を生成する。そして、ステップＳ１００へ戻り、補完画像から改めて白線を認識する。

一方、ステップＳ１６０において、右側の部分画像の信頼度が信頼度閾値以上の場合は、ステップＳ１８０へ進む。ステップＳ１８０では、後方のカメラ１４で撮影された後方の部分画像の信頼度が高いか否か判定する。ステップＳ１８０において、後方の部分画像の信頼度が信頼度閾値よりも低い場合は、ステップＳ１９０において、合成画像の後方部分を、予め取得されている過去画像の後方部分に置き換えて、補完画像を生成する。そして、ステップＳ１００へ戻り、補完画像から改めて白線を認識する。ステップＳ１８０において、後方の部分画像の信頼度が信頼度閾値以上の場合は、本処理を終了する。

また、ステップＳ１１０で、すべての部分画像において認識された白線の信頼度が、信頼度閾値よりも高い場合は、ステップＳ２００へ進む。
ステップＳ２００では、現在画像である合成画像を過去画像で補完したか否か判定する。ステップＳ２００において、過去画像で補完している場合は、本処理を終了する。一方、ステップＳ２００において、過去画像で補完していない場合は、現在画像、ＧＰＳ衛星から受信した撮影時の日時及び場所、撮影時の車速、操舵角度、ブレーキのオン・オフ、車種又はカメラの設置位置をサーバ１００へ送信し、データベース１１０へ蓄積させる。データベース１１０に、既に同じ場所の路面画像のデータが記憶されている場合には、同じ場所の最新の路面画像のデータに更新される。その後、本処理を終了する。

なお、本実施形態では、ステップＳ１００の処理を実行することにより実現される機能が区画線認識部に相当し、ステップＳ１１０の処理を実行することにより実現される機能が信頼度判定部に相当する。また、ステップＳ１２０〜Ｓ１９０の処理を実行することにより実現される機能が補完部に相当し、ステップＳ２００及びＳ２１０の処理を実行することにより実現される機能が蓄積制御部に相当する。

＜３．効果＞
以上説明した第１実施形態によれば、以下の効果が得られる。
（１）過去の路面画像である過去画像がデータベース１１０に蓄積されているとともに、現在の路面画像である現在画像から白線が認識され、認識された白線の信頼度が判定される。そして、現在画像において白線の信頼度が低い部分が、現在画像と同じ場所を撮影した過去画像を用いて補完され、補完画像から改めて区画線が認識される。したがって、白線の高い認識精度を実現することができる。

（２）過去画像を用いて現在画像を補完する際には、過去画像を読み込む処理や車両６０に対する過去画像の向きを合わせる処理が必要となり時間を要する。よって、次の認識処理時点における車両６０の到達位置を推定し、推定した到達位置における過去画像を予め取得しておくことで、遅滞なく補完画像を生成して、補完画像から区画線を認識することができる。

（３）カメラ１１〜１４はそれぞれ向きが異なるため、カメラ毎に光の影響等も異なり、信頼度の高い画像が撮影できるカメラもあれば、信頼度の低い画像しか撮影できないカメラもある。よって、カメラ１１〜１４で撮影された部分画像ごとに、白線の信頼度を判定して補完することにより、信頼度の高い補完画像を生成することができる。

（４）現在画像における白線の信頼度が高く、過去画像を用いて補完されなかった場合に限って、現在画像を過去画像としてデータベース１１０に蓄積することにより、データベース１１０に信頼度の高い過去画像のみを蓄積することができる。ひいては、信頼度の高い過去画像を用いて補完画像が生成されるため、白線の認識精度を向上させることができる。

（５）サーバ１００が備えるデータベース１１０に過去画像が蓄積されていることで、車両６０が初めて走行する場所においても、過去にその場所を走行した他車両のカメラで撮影された過去画像を用いて、補完画像を生成することができる。

（他の実施形態）
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（ａ）上記実施形態では、サーバ１００のデータベース１１０に過去画像が蓄積されたが、これに限定されるものではない。図１に破線で示すように、ＥＣＵ３０が、フラッシュメモリやハードディスク等の不揮発性ストレージであるメモリ３７を蓄積部として備え、メモリ３７に、カメラ１１〜１４により過去に撮影された路面画像である過去画像を蓄積してもよい。この場合、他車両のカメラで撮影された過去画像を用いることはできないが、過去画像を取得する都度、サーバ１００と無線接続する必要がない。また、メモリ３７とデータベース１１０のどちらにも過去画像を蓄積し、メモリ３７に過去画像がない場合に、データベース１１０から過去画像を取得するようにしてもよい。

（ｂ）車両６０に搭載されたカメラは、前方を撮影するカメラ１１のみでもよい。この場合、カメラ１１で撮影された画像を、複数の領域に分割して、領域ごとに信頼度を判定して、補完すればよい。また、車両６０に搭載されたカメラは、２台、３台又は５台以上でもよい。

（ｃ）過去画像は、次の認識処理の開始前に予め取得しておくことが好ましいが、認識された白線の信頼度を判定して、補完が必要な場合に限って過去画像を取得するようにしてもよい。

（ｄ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（ｅ）上述した区画線認識装置の他、当該区画線認識装置を構成要素とするシステム、当該区画線認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、区画線認識方法など、種々の形態で本発明を実現することもできる。

１１〜１４…カメラ、３０…ＥＣＵ、６０…車両、８０…障害物。

Claims (5)

1. 少なくとも１台のカメラ（１１〜１４）により撮影された路面画像から車両（６０）が走行する車線を区画する区画線を認識する区画線認識装置（３０）であって、
   所定の処理周期で、現在の処理時に撮影された前記路面画像である現在画像から前記区画線を認識するように構成された区画線認識部（Ｓ１００）と、
   前記区画線認識部により前記現在画像から認識された前記区画線の信頼度を判定するように構成された信頼度判定部（Ｓ１１０）と、
   過去に撮影された路面画像である過去画像が蓄積されている蓄積部（３７，１１０）から前記現在画像と同じ場所を撮影した前記過去画像を取得するように構成された画像取得部（Ｓ２０，Ｓ３０）と、
   前記現在画像において前記信頼度判定部により前記信頼度が予め設定された信頼度閾値よりも低いと判定された部分を、前記画像取得部により取得された前記過去画像を用いて補完して、補完画像を生成するように構成された補完部（Ｓ１２０〜Ｓ１９０）と、を備え、
   前記区画線認識部は、前記補完部により前記補完画像が生成された場合に、前記補完画像から改めて前記区画線を認識するように構成されている、区画線認識装置。
2. 前記車両の走行に関する車両データを取得するデータ取得部（Ｓ１０）を更に備え、
   前記画像取得部は、前記データ取得部により取得された前記車両データを用いて、前記区画線認識部による次の認識処理時における前記車両の到達位置を推定し、推定した前記到達位置における前記過去画像を前記蓄積部から予め取得するように構成されており、
   前記補完部は、前記画像取得部により予め取得されている前記過去画像を用いて前記補完画像を生成するように構成されている、請求項１に記載の区画線認識装置。
3. 前記カメラとして、互いに異なる方向を撮影する複数のカメラを備え、
   前記複数のカメラにより撮影された部分画像を合成して前記現在画像を生成するように構成された画像合成部を更に備え、
   前記信頼度判定部は、前記現在画像における前記部分画像ごとに、認識された前記区画線の前記信頼度を判定するように構成されており、
   前記補完部は、前記信頼度が前記信頼度閾値よりも低い前記部分画像を、前記過去画像において対応する前記部分画像を用いて補完して、前記補完画像を生成するように構成されている、請求項１又は２に記載の区画線認識装置。
4. 前記補完部により前記現在画像が補完されなかったことを条件として、前記現在画像を前記過去画像として前記蓄積部に蓄積させるように構成された蓄積制御部（Ｓ２００，Ｓ２１０）を更に備える、請求項１〜３のいずれか１項に記載の区画線認識装置。
5. 前記蓄積部は、サーバ（１００）が備えるデータベース（１１０）であり、複数の車両に搭載された前記カメラにより撮影された前記過去画像が蓄積されている、請求項１〜４のいずれか１項に記載の区画線認識装置。

Images