JP5097681B2 - 地物位置認識装置 - Google Patents

Description

本発明は、車載カメラで撮像した画像に基づいて、路面標示、信号機、標識等の自車周囲に存在する対象地物の位置を認識する地物位置認識装置に関する。

従来より、自車位置の修正を行うために、車載カメラで撮像した画像から地物位置を認識する装置が提案されている（例えば特許文献１を参照）。

特開２００８−１６４３８４号公報

特許文献１に開示される装置の場合、路面標示の所定部位を測定点として、自車と路面標示との相対距離を測定する方法を採用する。路面標示の測定点とされる部位は、他の部位との識別が可能な形状を有しており、その形状を画像処理によって検出した場合に、かかる形状を有する部位が測定点であると判断している。

従って、例えば経年劣化や掠れ等によって路面標示の形状が変化し、測定点とは別の部位に、測定点に類似した形状を有する部分が形成された場合に、その誤った部位を測定点として誤検出するおそれがある。

本発明は、上記の点に鑑みてなされたものであり、自車に対する対象地物の正確な位置を認識することができる地物位置認識装置を提供することにある。

本発明の地物位置認識装置は、自車の移動に伴って撮像された複数の画像から対象地物の何処の部位が撮像されているかを推定し、その推定された撮像部位が対象地物に対して予め設定された測定点を含む部位であるか否かを判定する。

本発明の地物位置認識装置によれば、自車の移動に伴って撮像された複数の画像から対象地物の何処の部位が撮像されているかを推定し、その推定された撮像部位が、対象地物に対して予め設定された測定点を含む部位であるか否かを判定するので、例えば対象地物の測定点が存在しないとされる撮像部位で測定点が検出された場合に、かかる測定点の検出は誤検出であると判断することができる。従って、誤った点を測定点として自車位置の認識がなされるのを防ぐことができる。

以下に、本発明の実施の形態について図面を用いて詳細に説明する。
図１は、自車位置検出システムが適用されるシーンの一例を示す図、図２は、自車位置検出システムの全体構成を概念的に示す図である。本実施の形態では、図１に示すように自車Ｃの走行中に路面１を撮像して、その画像から横断歩道等の路面標示２の位置を認識し、自車Ｃの現在位置を求める自車位置検出システム１００の場合を例に説明する。

自車位置検出システム１００は、図２に示すように、カーナビゲーション装置１０１と路面標示位置認識装置（地物位置認識装置）１０３とを備えている。路面標示位置認識装置１０３は、路面１を撮像した画像を画像処理して路面標示２を検出し、路面標示２の種類と自車Ｃから路面標示２までの距離Ｌの情報からなる認識結果をカーナビゲーション装置１０１に出力する機能を有している。

路面１の撮像は、例えば図１に示すように、車両後部に取り付けられたリアカメラ１０８（車載カメラ）によって行われる。リアカメラ１０８は、自車後方の路面１を視野角範囲３内に亘って撮像する。路面標示位置認識装置１０３には、路面標示２における測定点Ｐの情報と、自車Ｃから測定点Ｐまでの距離Ｌの情報が予め記憶されている。距離Ｌは、画像内における測定点Ｐの位置に応じて予め設定されている。

カーナビゲーション装置１０１は、自車位置を演算して、運転手や乗員にその情報を提供し、また、自車位置から目的地までの経路案内を行う機能を備えている。カーナビゲーション装置１０１は、地図データ１０２と路面標示位置認識装置１０３の認識結果とを比較することで、路面標示２の位置を基準にした自車Ｃの正確な位置を求めることができる。

路面標示２は、路面１に描かれたペイントであり、例えば図１に示す横断歩道の他、一次停止線や、最高速度標示、進行方向別通行区分標示、転回禁止標示、車線区分標示等が含まれる。地図データ１０２には、一般的な地図情報に加えて、路面標示２の種類、形状、位置、方位等の情報が記憶されている。

図３は、自車位置検出システムの構成を模式的に示すブロック図である。路面標示位置認識装置１０３は、図３に示すように、画像処理部１１１、特徴量抽出部１１２、状態推定部１１３、認識結果出力判定部１１４の各機能部を有している。これらの各機能部は、ハードウェアまたはソフトウェア、あるいはその両方により実装されて構成されている。

画像処理部１１１は、リアカメラ１０８で自車の移動に伴って撮像された複数の画像をリアカメラ１０８から取得する。そして、各画像に対して路面標示２を認識するための画像処理を行い、その画像処理の結果に基づいて、認識対象物となる路面標示２の種類を決定し、その路面標示２が有する測定点Ｐを認識する処理を行う。これらの処理は、例えば公知のテンプレートマッチング等によって決定される。

認識対象物とされる路面標示２は、自車Ｃが進行する方向の前方に存在する路面標示２とすることもでき、その存在は、カーナビゲーション装置１０１の自車位置演算部１２１によって算出される自車位置と地図データ１０２に基づいて把握することができる。路面標示２の測定点Ｐの情報は、路面標示位置認識装置１０３内または地図データ１０２内に路面標示２の種類に応じて読み出し可能に格納されている。

測定点Ｐは、路面標示２の輪郭形状に応じて設定されており、例えば自車Ｃの進行方向に直交する輪郭線上や、角部を有する場合には当該角部上など、他の部位と識別可能な部位に設定されている。例えば横断歩道の場合、測定点Ｐは、自車Ｃの進行方向に沿って延在する複数の平行な帯状の輪郭線において、各前方の短辺をつないだ直線状のライン（例えば図６（ｃ）を参照）とされる。

そして、画像内に測定点Ｐが認識された場合、自車Ｃと測定点Ｐとの位置関係を導出する処理が行われる。路面標示位置認識装置１０３には、リアカメラ１０８の自車Ｃへの搭載位置と撮像方向に基づき測定点Ｐと自車Ｃとの位置関係が予め求められて記憶されている。従って、画像内における測定点Ｐの配置に基づいて、撮像時における自車Ｃと測定点Ｐとの位置関係を導出することができる。

特徴量抽出部１１２は、路面標示２の特徴が画像に含まれている量（以下、特徴量という）を抽出する。特徴量は、状態推定部１１３で状態を推定する際に用いられるものであり、路面標示２の特徴に基づいて抽出される。路面標示２の特徴は、路面標示位置認識装置１０３内に記憶されている。例えば路面標示２が横断歩道の場合は、所定間隔をおいて並ぶ白線の本数や、画像内における白線の長さが特徴とされ、白線の本数が多いほど、あるいは白線の長さが長いほど特徴量が多いとされる。

状態推定部（撮像部位推定部）１１３は、特徴量抽出部１１２により抽出した特徴量に基づいて、路面標示２の何処の部位が画像中において見えているか、換言すると、画像中に路面標示２の何処の部位が含まれているかという状態を推定する処理を行う。例えば横断歩道の場合、画像中に横断歩道の始端部位（車両進行方向後側に位置する部位）、中央部位、終端部位（車両進行方向前側に位置する部位）のいずれの部位が含まれているかという状態を大局的に推定する（例えば図６を参照）。

認識結果出力判定部１１４は、予め設定された出力条件を満たしているか否かを判定し、出力条件を満たしている場合には、認識結果をカーナビゲーション装置１０１に出力し、出力条件を満たしていない場合には、認識結果を出力しない。認識結果出力判定部１１４から出力される認識結果には、画像処理部１１１で決定された路面標示２の種類と、自車Ｃから路面標示２までの距離Ｌの情報が含まれている。

カーナビゲーション装置１０１は、ＧＰＳ１２０２等の位置計測手段からの検出信号に基づいて自車位置を演算する自車位置演算部１２１と、路面標示位置認識装置１０３の認識結果を利用して自車位置を補正する自車位置補正部１２２を有する。

自車位置補正部１２２は、自車位置演算部１２１によって演算された自車位置を、路面標示２の位置に合わせて補正する。自車位置の補正は、路面標示位置認識装置１０３から受信した認識結果と、地図データ１０２とを比較することによって行われる。

次に、図４〜図６を用いて、路面標示位置認識装置１０３における処理内容について説明する。図４は、路面標示位置認識装置１０３において実行される処理の内容を説明するためのフローチャート、図５は、図４のステップＳ２０５の処理の内容を説明するためのフローチャート、図６は、自車Ｃの移動に伴って撮像された複数の画像を示す図である。

まず、ステップＳ２０１の画像入力処理では、自車Ｃの移動に伴って撮像された複数の画像が入力される。そして、ステップＳ２０２の認識対象物決定処理では、各画像に画像処理が施されて、認識対象物が決定される。本実施の形態では、路面標示２が認識対象物とされ、二値化処理やノイズ除去処理等の画像処理がなされた後に、テンプレートマッチングが行われて路面標示２の種類が決定され、次いで路面標示２の予め設定された測定点Ｐを認識する処理がなされる。

そして、画像内に測定点Ｐの存在が認識された場合には、測定点Ｐから自車Ｃまでの距離Ｌを得る。これらステップＳ２０１の画像入力処理とステップＳ２０２の路面標示決定処理は、画像処理部１１１によって実行される。

尚、ステップＳ２０２の認識対象物決定処理において複数の路面標示が認識対象物として決定された場合は、以下のステップＳ２０３からステップＳ２０６までの処理が路面標示の数量分だけ繰り返し実行される。

次に、ステップＳ２０３の路面標示特徴量抽出処理では、ステップＳ２０１で取得した画像から路面標示２の特徴量を抽出する処理が行われる。この路面標示特徴量抽出処理は、特徴量抽出部１１２によって実行される。

ここでは、例えば画像内における路面１と路面標示２との間の輝度値の変化を検出することにより、路面標示２の輪郭を抽出する。そして、路面標示２の種類別に予め設定された抽出条件に基づいて路面標示２の輪郭を解析し、路面標示２の特徴量を抽出する。

例えば路面標示２が横断歩道の場合では、横断歩道の始端部位が含まれる画像（図６（ａ）を参照）及び横断歩道の終端部位が含まれる画像（図６（ｃ）を参照）よりも、横断歩道の中央部位が含まれる画像（図６（ｂ）を参照）の方が、画像中に横断歩道の白線の長さがより長く含まれている。従って、図６（ｂ）に示す画像の場合に、より多くの特徴量が抽出される。

ステップＳ２０４の状態推定処理では、ステップＳ２０３で抽出された特徴量に基づいて、画像内における路面標示２の状態（撮像部位）を推定する処理が行われる。時刻ｔにおける画像内の路面標示２の状態をＳ（ｔ）とする。状態推定処理は、状態推定部１１３によって実行される。画像内における路面標示２の状態Ｓ（ｔ）とは、路面標示２の何処の部位が見えているかを示す状態をいう。例えば横断歩道の場合、画像中に横断歩道の始端部位が見えている状態（図６（ａ）を参照）、横断歩道の中央部位が見えている状態（図６（ｂ）を参照）、横断歩道の終端部位が見えている状態（図６（ｃ）を参照）をいう。

時刻ｔで抽出した特徴量を観測値Ｙ（ｔ）とする。特徴量は、ステップＳ２０３の路面標示特徴量抽出処理にて抽出される。これらの状態Ｓ（ｔ）と観測値Ｙ（ｔ）のデータとダイナミックベイジアンネットワークの手法により、観測した路面標示２の特徴量の時間変化から、現在の状態（例えば横断歩道の何処の部位が見えているか）を以下の式（１）を用いて確率的に求めることができる。

この等式の左辺は、観測値Ｙ（ｔ）の時間変化が観測されたときの現在の状態Ｓ（ｔ）の確率である。また右辺の第１項目と第２項目は、多数のデータを学習させる等して、事前にその値を求めておく。

右辺の第１項目は、ある「状態」が観測された時に、どのような「観測値」を得る可能性があるかという確率である。例えば横断歩道の中央部位が見えている場合（図６（ｂ）の状態）は、横断歩道の特徴量（路面標示の輪郭）が多数観測される可能性が高いという関係を意味する。

第２項目は、前回の撮像にて所定の「状態」が観測された時に、次にどのような「状態」に遷移する可能性があるかという確率である。例えば、横断歩道の始端部位（図６（ａ）の状態）が見えた後は、横断歩道の中央部位が見えている状態（図６（ｂ）の状態）に遷移する可能性が高いという関係を意味する。これらの「状態」と「観測値」の確率的な関係を踏まえて、図５に示す状態推定処理フローにより、現在の状態Ｓ（ｔ）（横断歩道の何処が見えているか）を確率的に計算する。

まず、図５に示すステップＳ３０１の状態遷移確率読み込み処理にて状態遷移確率を読み込む。状態Ｓ（ｔ）の値は、図６（ａ）〜（ｃ）の状態を、それぞれ状態値１、状態値２、状態値３といったように予め定義しておく。

状態遷移確率は、各画像の間で画像の状態が遷移する確率として、前回の状態Ｓ（ｔ−１）と現在の状態Ｓ（ｔ）との間の関係を確率的に求めたものであり、すなわち、前回の状態Ｓ（ｔ−１）がある状態であった場合に、現在の状態Ｓ（ｔ）がどのような状態になるかを確率的に求めたものである。状態遷移確率は、事前に学習して路面標示位置認識装置１０３内にデータベースとして保持されており、本処理では、この学習済みのデータをデータベースから読み込むこととなる。

次に、ステップＳ３０２の観測確率読み込み処理にて観測確率を読み込む。観測確率は、画像から所定の特徴量が抽出された場合にその画像の状態が所定状態となる確率として、観測値Ｙ（ｔ）と状態Ｓ（ｔ）の関係を確率的に求めたものであり、すなわち、観測値Ｙ（ｔ）（路面標示の輪郭の見え方）が観測された時に、状態Ｓ（ｔ）がどのような状態であるかを確率的に求めたものである。観測確率は、事前に学習してデータベースとして路面標示位置認識装置１０３内に保持されており、本処理では、この学習済みのデータを読み込むこととなる。

そして、ステップＳ３０３の状態推定処理にて、ステップＳ３０１で読み込んだ状態遷移確率と、ステップＳ３０２で読み込んだ観測確率を用いて、上記の式（１）により現在の状態Ｓ（ｔ）を推定する。

再び、図４に示すフローの説明に戻り、ステップＳ２０５の認識結果出力処理では、予め設定されている出力条件を満たしている場合に、認識結果をカーナビゲーション装置１０１に出力する処理が行われる。認識結果出力処理は、認識結果出力判定部１１４によって実行される。

ここでは、ステップＳ２０４の路面標示特徴量抽出処理により抽出した路面標示２の輪郭が認識対象とする路面標示２の輪郭と一致し、且つ認識結果を出力しても良い状態である場合に出力条件を満たしていると判断される。

輪郭が一致しているか否かは、ステップＳ２０２の認識対象物決定処理で判断される。そして、認識結果を出力しても良い状態であるか否かは、ステップＳ２０５の状態推定処理により推定した現在の状態Ｓ（ｔ）に基づいて判断される。

例えば、状態推定部１１３で推定した状態が図６（ｃ）に示すように、画像内に測定点Ｐを含む状態である場合は、認識結果を出力しても良い状態（出力可能状態）と判断される。

一方、状態推定部１１３で推定した状態が図６（ａ）または図６（ｂ）に示すように、画像内に測定点Ｐを含まない状態である場合は、認識結果を出力してはいけない状態（出力不可状態）と判断される。

例えば、横断歩道の中央部位に道路幅方向に亘って白線が欠けた部分が存在しており、画像処理にて測定点Ｐが存在すると誤検出される状況において、従来は、そのまま、誤検出された位置に基づいて自車位置が補正されてしまうおそれがあった。

これに対して、本実施の形態における路面標示位置認識装置１０３では、路面標示２の何処の部位が画像中において見えているかを大局的に推定しているので、画像処理によって測定点Ｐがあると検出された場所は横断歩道の中央部位であり、測定点Ｐは存在せず、誤検出であると判断することができる。

従って、カーナビゲーション装置１０１に対する認識結果の出力が禁止され（出力不可状態）、誤検出された位置に基づいて自車位置が補正されるのを防ぐことができ、路面標示の測定点Ｐを正確に検出することができる。

最後に、ステップＳ２０８において、新しい画像入力信号があるか否かが判断され、新しい画像入力信号が来ていない場合（ＮＯ）はウエイトし、新しい画像入力信号が来ている場合（ＹＥＳ）は、処理２０１へ戻る。

次に、図７、図８を用いて、本発明を実現するハードウェア構成について説明する。
図７は、ハードウェア構成の第１実施例、図８は、ハードウェア構成の第２実施例である。

まず、第１実施例について説明する。リアカメラ１０８は、図７に示すように、レンズ１００１とＣＣＤ１００２を有している。ＣＰＵ１００４には、路面標示位置認識装置１０３とカーナビゲーション装置１０１が実装され、ハードディスク１００５には地図データ１０２が実装されている。ＣＰＵ１００４は、ハードディスク１００５の地図データ１０２を参照する。

リアカメラ１０８とＣＰＵ１００４は映像信号線１００３で接続され、リアカメラ１０８の映像は、映像信号線１００３を通じてＣＰＵ１００４の路面標示位置認識装置１０３に送信される。また、ＣＰＵ１００４は、ＣＡＮ（コントロールエリアネットワーク）１００６に接続され、自車Ｃが有する他のＣＰＵや制御装置と相互にデータの送受信を行うようになっている。

第１実施例の構成は、路面標示位置認識装置１０３とカーナビゲーション装置１０１との間のデータ送受信量が多い場合に適用すると、データ送受信速度や容量が大きくなりシステムのパフォーマンスが良い。

次に、第２実施例について説明する。リアカメラ１０８は、図８に示すように、レンズ１１０１と、ＣＣＤ１１０２と、ＣＰＵ１１０７を有している。ＣＰＵ１１０７には、路面標示位置認識装置１０３が実装される。

一方、リアカメラ１０８とは別個に設けられたＣＰＵ１１０４には、カーナビゲーション装置１０１が実装され、ハードディスク１１０５には地図データ１０２が実装されている。ＣＰＵ１１０４は、ハードディスク１１０５の地図データ１０２を参照する。

ＣＰＵ１１０７とＣＰＵ１１０４は、ＣＡＮ１１０６に接続され、路面標示位置認識装置１０３とカーナビゲーション装置１０１との間でデータの送受信を行うほか、自車Ｃが有する他のＣＰＵや制御装置と相互にデータの送受信を行うようになっている。

路面標示位置認識装置１０３とカーナビゲーション装置１０１との間のデータの送受信は、専用信号線によっても行うことができる。第２実施例の構成は、路面標示位置認識装置１０３やカーナビゲーション装置１０１の処理負荷が大きい場合に適用すると、路面標示認識やカーナビゲーション装置１０１の高負荷な処理が可能となりシステムのパフォーマンスが良い。

上記した路面標示位置認識装置１０３によれば、自車Ｃの移動に伴って撮像された複数の画像から路面標示２の何処の部位が撮像されているかを推定し、その推定された撮像部位が路面標示２に対して予め設定された測定点Ｐを含む部位であるか否かを判定する。

従って、画像処理部１１１が、対象地物の測定点の存在しない部位で測定点Ｐを検出したと判断した場合に、認識結果出力判定部１１４によってその検出結果は誤検出であると判断され、カーナビゲーション装置１０１に出力されない。従って、誤った点を測定点Ｐとして自車位置の認識がなされるのを防ぐことができる。

本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の実施の形態では、リアカメラ１０８を用いた場合について説明したが、車両の他の部分に設置した車載カメラを使用することでも実現できる。

例えば、リアカメラ１０８の代わりに、自車Ｃの後側方を撮影範囲とするドアミラー部分に設置した後側方カメラ、自車Ｃの前方を撮影範囲とするフロントカメラを使用することもできる。また、複数台のカメラを使用して、各カメラの映像の認識結果を相互に照合することにより、路面標示位置認識装置１０３の信頼性を向上させることができる。その場合、リアカメラ１０８と後側方カメラの組み合わせ、リアカメラ１０８とフロントカメラの組み合わせ、左右のドアミラーに設置した２台の後側方カメラの組み合わせ、後側方カメラとフロントカメラの組み合わせが可能である。

また、本発明の路面標示位置認識装置１０３は、車載カメラとカーナビゲーション装置１０１を搭載した自車Ｃにおいて、例えば信号機や道路標識等の路面標示以外の周囲の認識対象物を認識することもでき、また、衝突防止や運転支援を行う車両の予防安全システムにも適用可能である。

自車位置検出システムが適用されるシーンの一例を示す図。 自車位置検出システムの全体構成を概念的に示す図。 自車位置検出システムの構成を模式的に示すブロック図。 路面標示位置認識装置の処理内容を説明するフローチャート。 図４のステップＳ２０５の処理の内容を説明するフローチャート。 自車の移動に伴って撮像された複数の画像を示す図である。 ハードウェア構成の第１実施例。 ハードウェア構成の第２実施例。

符号の説明

１ 路面
２ 路面標示（横断歩道）
１００ 自車位置検出システム
１０１ カーナビゲーション装置
１０２ 地図データ
１０３ 路面標示位置認識装置（地物位置認識装置）
１０８ リアカメラ
１１１ 画像処理部
１１２ 特徴量抽出部
１１３ 状態推定部（撮像部位推定部）
１１４ 認識結果出力判定部（判定部）
１２１ 自車位置演算手段
１２２ 自車位置補正手段
Ｃ 自車
Ｌ 距離
Ｐ 測定点

Claims (2)

1. 車載カメラで撮像した画像を処理して自車周囲に存在する対象地物の位置を認識する地物位置認識装置であって、
   前記自車の移動に伴って撮像された複数の画像から前記対象地物の何処の部位が撮像されているかを推定する撮像部位推定部と、
   前記撮像部位推定部によって推定された撮像部位が、前記対象地物に対して予め設定された測定点を含む部位であるか否かを判定する判定部と、
   前記対象地物の特徴が前記画像に含まれている量を抽出する特徴量抽出部と、を有し、
   前記撮像部位推定部は、前記各画像の特徴量の時間変化から前記撮像部位を推定すると共に、前記各画像の間で前記画像の状態が遷移する確率である状態遷移確率と、前記画像から所定の特徴量が抽出された場合に該画像の状態が所定状態となる確率である観測確率と、を用いて前記撮像部位を推定することを特徴とする地物位置認識装置。
2. 前記状態遷移確率と前記観測確率は、事前に学習してデータベースとして記憶されていることを特徴とする請求項１に記載の地物位置認識装置。

Images