JP6222353B2 - 物標検出装置及び物標検出方法 - Google Patents

Description

本発明は、物標検出装置及び物標検出方法に関する。

従来から、車両前方の画像データから交通用表示器を検出する画像処理システムが知られている（特許文献１）。特許文献１では、車両の位置及び姿勢を検出することにより、交通用表示器の位置を予測し、この予測位置に基づき、画像データに対して画像処理領域を決定し、画像処理領域から交通用表示器を検出する。これにより、画像処理の負担を軽減している。

特開２００７−２４１４６９号公報

しかし、特許文献１の画像処理システムは、画像処理領域を決定する際に、検出した車両の位置及び姿勢に含まれる誤差を考慮していない。当該誤差は車両周囲の状況に応じて大きく変化する。誤差が大きければ画像処理領域から交通用表示器が外れてしまい、交通用表示器を検出できない。一方、画像処理領域が広すぎると、交通用表示器以外のものを誤検出する可能性が高まる。

本発明は、上記課題に鑑みてなされたものであり、物標を精度良く検出することができる物標検出装置及び物標検出方法を提供することを目的としている。

本発明の一態様に係わる物標検出装置は、車両の周囲を撮像して画像を取得し、車両の初期位置からの移動量に基づいて、車両の自己位置を検出し、車両の周囲の物標の地図上の位置情報及び自己位置から車両に対する物標の相対位置を推定する。車両に対する物標の相対位置から、画像における物標の検出領域を設定し、検出領域から物標を検出する。そして、自己位置に含まれる誤差を車両の初期位置からの移動量に基づいて推定し、誤差に応じて物標の検出領域の大きさを調整する。

図１は、実施形態に係わる物標検出装置１００へ入出力される情報を示すブロック図である。 図２は、実施形態に係わる物標検出装置１００の構成及びデータフローを示すブロック図である。 図３は、図２の自己位置検出部１２の構成及びデータフローを示すブロック図である。 図４は、図２の検出領域設定部１４の構成及びデータフローを示すブロック図である。 図５（ａ）は、地上ランドマークから車両５１の進行方向への移動量（距離）に対する車両５１の座標の誤差を示すグラフであり、図５（ｂ）は、地上ランドマークから各回転方向（ロール方向、ピッチ方向、ヨー方向）への車両５１の移動量（角度）に対する車両５１の姿勢の誤差を示すグラフである。 図６（ａ）は、地上ランドマークＬＭ１〜ＬＭ３が設置された直線道路ＬＤ１を走行する車両５１Ａ〜５１Ｃを示す図であり、図６（ｂ）は、誤差推定部１６が推定する誤差を示す表であり、図６（ｃ）は、自己位置検出部１２が検出する自己位置を示す表である。 図７（ａ）は、地上ランドマークＬＭ１が設置された直線道路ＬＤ１を走行する車両５１Ａ〜５１Ｃを示す図であり、図７（ｂ）は、誤差推定部１６が推定する誤差を示す表である。 図８（ａ）は、地上ランドマークＬＭ１、ＬＭ２が設置されたカーブＬＤ２を走行する車両５１Ａ、５１Ｂを示す図であり、図８（ｂ）は、誤差推定部１６が推定する誤差を示す表であり、図８（ｃ）は、自己位置検出部１２が検出する自己位置を示す表である。 図９（ａ）は、地上ランドマークＬＭ１が設置されたカーブＬＤ２を走行する車両５１Ａ、５１Ｂを示す図であり、図９（ｂ）は、誤差推定部１６が推定する誤差を示す表である。 図１０は、画像（Ｉｍｇ）上の二次元座標（xl,yl）を示す平面図であって、誤差を考慮していない物標の座標（Ｇ_１）と誤差が最大に生じた場合の物標の座標（Ｇ_２）を示す。 図１１は、図１０に示す検出領域（Ｚ_１）の大きさを比較した表である。 図１２は、物標検出装置１００を用いた物標検出方法の一例を示すフローチャートである。

以下、本発明の実施形態を複数の図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。

（第１実施形態）
図１を参照して、実施形態に係わる物標検出装置１００のへ入出力される情報を説明する。物標検出装置１００は、車両５１に搭載された撮像部（カメラ）により撮像された画像から、道路周辺に設置された物標を検出する。物標は、地上に固定されたものであって、例えば、信号機、道路標識が含まれる。本例では、信号機を例に取り説明を続ける。

物標検出装置１００には、地図情報Ｄ０２と、ランドマーク情報Ｄ０１と、カメラ情報Ｄ０３とが入力される。地図情報Ｄ０２には、予め実環境と地図の間で対応付けされた物標の位置情報を含まれる。ランドマーク情報Ｄ０１は、実環境上の車両５１の自己位置を算出するために用いられる。ランドマークには、地上に設けられた特徴物（地上ランドマーク）、及び車両５１が受信可能なＧＰＳ信号を発信するＧＰＳ衛星が含まれる。第１実施形態では、地上ランドマークを例に取り説明する。ランドマーク情報Ｄ０１には、例えば、地上ランドマークの位置情報が含まれる。カメラ情報Ｄ０３は、撮像部から車両５１の周囲（例えば前方）の映像を抽出するために用いられる。物標検出装置１００は、これらの情報Ｄ０１〜Ｄ０３に基づいて、物標の一例である信号機の認識結果を信号機情報Ｄ０４として出力する。

図２を参照して、実施形態に係わる物標検出装置１００の構成及びデータフローを説明する。物標検出装置１００は、撮像部１１と、自己位置検出部１２と、物標位置推定部１３と、検出領域設定部１４と、物標検出部１５と、誤差推定部１６とを備える。

撮像部１１は、車両５１に搭載され、車両５１の周囲を撮像して画像を取得する。撮像部１１は、固体撮像素子、例えばＣＣＤ及びＣＭＯＳを備えるカメラであって、画像処理が可能な画像を取得する。撮像部１１は、カメラ情報Ｄ０３に基づいて、画像の画角、カメラの垂直方向及び水平方向の角度を設定し、取得した画像を画像データＤ０８として出力する。

自己位置検出部１２は、ランドマーク情報Ｄ０１に基づいた車両５１の地図情報Ｄ０２上の初期位置からの移動量から車両５１の自己位置を検出する。ランドマーク情報Ｄ０１は、例えば、車載のカメラ或いはレーザレーダ等のセンシング手段により検出された地上ランドマーク（店舗、名所、観光スポット）の車両５１に対する相対位置の情報である。地図情報Ｄ０２の中には、地上ランドマークの位置情報が予め登録されている。ランドマーク情報Ｄ０１と地上ランドマークの相対位置の情報とを照合することにより、車両５１の自己位置を検出することができる。ここで、「位置」には、座標及び姿勢が含まれる。具体的には、地上ランドマークの位置には、地上ランドマークの座標及び姿勢が含まれ、車両５１の位置には、車両５１の座標及び姿勢が含まれる。自己位置検出部１２は、基準となる座標系における座標(x, y, z)及び、各座標軸の回転方向である姿勢(ピッチ、ヨー、ロール)を自己位置情報Ｄ０５として出力する。

物標位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両５１に対する物標の相対位置を推定する。地図情報Ｄ０２の中には、物標の位置情報（座標情報）が予め登録されている。物標の座標と車両５１の座標及び姿勢とから、車両５１に対する物標の相対座標を求めることができる。物標位置推定部１３は、推定した物標の相対位置を相対位置情報Ｄ０６として出力する。

誤差推定部１６は、自己位置検出部１２により検出された自己位置に含まれる誤差を、車両の初期位置からの移動量に基づいて推定する。誤差推定部１６の詳細は、図５〜図９を参照して後述する。

検出領域設定部１４は、物標の相対位置から、画像における物標の検出領域を設定する。撮像部１１は車両５１に固定されているため、撮像部１１が撮像する画角が定まれば、画像の中で、物標が撮像されるであろう画像上の位置を特定することができる。検出領域設定部１４は、この画像上の位置に基づいて、画像における物標の検出領域を設定する。

検出領域設定部１４は、誤差推定部１６により推定された誤差に応じて、物標の検出領域の大きさを調整する。検出領域設定部１４は、設定及び調整した検出領域を検出領域情報Ｄ０９として出力する。検出領域設定部１４の詳細は、図１０〜図１１を参照して後述する。

物標検出部１５は、設定及び調整された検出領域から物標を検出する。具体的には、検出領域に含まれる画像データＤ０８に対して、物標を検出するための画像処理を実施する。画像処理の方法は特に問わない。例えば、物標が信号機である場合、信号機が有する信号灯を、商用電源の交流周期に基づく同期検波処理、又は色相及び形状の類似判定処理を用いて、検出することができる。その他、物標を検出するための既知の画像処理を適用することができる。画像データＤ０８全体ではなく、その一部分（検出領域）に対して画像処理を実施することにより、物標検出のための情報処理負担を軽減して、早期に物標を検出することができる。物標検出部１５は、物標の検出結果を物標情報Ｄ０４として出力する。

なお、自己位置検出部１２、物標位置推定部１３、誤差推定部１６、検出領域設定部１４、及び物標検出部１５は、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラを用いて実現することができる。具体的に、ＣＰＵは、予めインストールされたコンピュータプログラムを実行することにより、マイクロコントローラが備える複数の情報処理部（１２〜１６）を構成する。マイクロコントローラが備えるメモリの一部は、地図情報Ｄ０２を記憶する地図データベースを構成する。なお、マイクロコントローラは、車両にかかわる他の制御（例えば、自動運転制御）に用いるＥＣＵと兼用してもよい。

図３を参照して、図２の自己位置検出部１２の構成及びデータフローを説明する。自己位置検出部１２は、初期位置検出部２１と、移動量加算部２２とを備える。初期位置検出部２１は、ランドマーク情報Ｄ０１を用いて車両５１の初期位置を検出する。初期位置とは、車両５１の自己位置が検出できる位置であり、ランドマーク情報Ｄ０１から直接求めることができる車両５１の位置、すなわち座標及び姿勢である。なお、道路側に設置されており、設置されている道路区間において、走行している車両の位置を検出する装置があり、路車間通信等によって、自車両の位置情報が得られる場合、道路側の車両位置検出装置から車両５１の位置を受信することで、車両５１の自己位置が検出できる位置が得られる。

移動量加算部２２は、初期位置検出部２１により検出された初期位置に、車両の移動量を累積加算することで車両５１の自己位置を算出する。例えば、センシング手段により地上ランドマークが検出されている場合、車両の移動量を累積加算することなく、自己位置検出部１２は初期位置の情報を自己位置情報Ｄ０５として検出する。一方、地上ランドマークが検出されていていない場合に、自己位置検出部１２は、最後に検出された初期位置に車両の移動量を累積加算した位置の情報を、自己位置情報Ｄ０５として出力する。車両の移動量の推定方法は、特に問わず、既知の方法を用いて行うことができる。例えば、移動量加算部２２は、オドメトリ、レーダ装置、ジャイロセンサ、ヨーレイトセンサ、舵角センサを用いて、単位時間当たりの車両の移動量、つまり、座標及び姿勢の変化量を推定することができる。

なお、図３の自己位置検出部１２の構成に対して、図２の誤差推定部１６は、移動量加算部２２により累積加算された車両５１の移動量に基づいて自己位置の誤差を推定する。移動量加算部２２により推定される車両の移動量の精度は、ランドマークを用いて検出される初期位置の精度に比べて低い。初期位置に車両の移動量を累積加算することにより、自己位置に含まれる誤差も同時に累積加算される。よって、ランドマークを用いて検出された初期位置からの移動量に応じて、車両の自己位置に含まれる誤差は大きく変化する。初期位置からの移動量に基づいて誤差を推定することにより、誤差を精度良く推定することができる。詳細は、図５〜図９を参照して後述する。

図４を参照して、図２の検出領域設定部１４の構成及びデータフローを説明する。検出領域設定部１４は、物標位置誤差推定部３１と、座標変換部３２と、領域決定部３４とを備える。

物標位置誤差推定部３１は、自己位置に含まれる誤差により、物標の相対位置に生じる誤差を推定する。具体的に、物標位置誤差推定部３１には、相対位置情報Ｄ０６と誤差情報Ｄ０７とが入力される。そして、車両５１の座標及び姿勢の各々に、誤差推定部１６により推定された誤差が生じた場合に、車両５１に対する物標の相対座標に生じる誤差を推定する。物標位置誤差推定部３１は、物標の相対座標に生じる誤差を物標位置誤差情報Ｄ１１として出力する。

座標変換部３２は、物標の相対座標及びその誤差を、物標を撮像した画像上の座標へそれぞれ変換する。具体的に、座標変換部３２には、相対位置情報Ｄ０６及び物標位置誤差情報Ｄ１１が入力される。座標変換部３２は、撮像部１１が有するレンズ光学系に基づき、物標の三次元座標(x, y, z)を画像上の二次元座標（xl,yl）へ変換する座標変換処理を行う。座標変換方法は特に問わず、既知の方法を用いることができる。座標変換部３２は、誤差を考慮していない物標の二次元座標、及び誤差が最大に生じた場合の物標の二次元座標を、レンズ座標情報Ｄ１２として出力する。

領域決定部３４は、誤差を考慮していない座標と誤差が最大に生じた場合の座標との差に基づいて検出領域の大きさを決定し、誤差を考慮していない座標に基づいて検出領域の中心座標を決定する。詳細は、図１０を参照して後述する。検出領域の大きさ及び中心座標は、検出領域情報Ｄ０９として出力される。

図５〜図９を参照して、移動量加算部２２により累積加算される車両５１の移動量に基づいて推定される自己位置の誤差について説明する。図５（ａ）の横軸は、初期位置から進行方向（ｚ方向）への車両５１の移動距離を示し、図５（ａ）の縦軸は、車両５１の座標に含まれる誤差（ｇｘ、ｇｙ、ｇｚ）を示す。ｇｚは車両５１の進行方向の誤差を示し、ｇｘは車両５１の幅方向の誤差を示し、ｇｙは車両５１の高さ方向の誤差を示す。

車両５１の座標に含まれる誤差（ｇｘ、ｇｙ、ｇｚ）は、初期位置からの移動距離に比例して増加する。初期位置からの移動距離がゼロの場合、誤差（ｇｘ、ｇｙ、ｇｚ）もゼロである。なお、図５（ａ）において、初期位置検出部２１が検出する初期位置に含まれる誤差は考慮していない。車両５１の座標は、初期位置に対して、単位時間あたりの座標の変化量を累積加算することにより算出される。このため、初期位置からの移動距離が長くなれば、累積加算される座標の変化量も大きくなり、よって、車両５１の座標に含まれる誤差（ｇｘ、ｇｙ、ｇｚ）も大きくなる。ｚ方向（進行方向）への移動距離に対して、車両５１の幅方向の誤差（ｇｘ）が最も大きく、車両の高さ方向の誤差（ｇｙ）が最も小さい。

図５（ｂ）の横軸は、初期位置から各回転方向（ロール方向、ピッチ方向、ヨー方向）への車両５１の移動量（角度の変化量）を示し、図５（ｂ）の縦軸は、車両５１の姿勢に含まれる誤差（ｇｒ、ｇｐ、ｇｙａ）を示す。ｇｒは車両５１のロール方向の誤差を示し、ｇｐは車両５１のピッチ方向の誤差を示し、ｇｙａは車両５１のヨー方向の誤差を示す。

車両５１の姿勢に含まれる誤差（ｇｒ、ｇｐ、ｇｙａ）は、初期位置における車両の５１の姿勢（初期姿勢）からの変化量に比例して増加する。初期姿勢からの変化量がゼロの場合、予め定めた誤差（ｇｒ、ｇｐ、ｇｙａ）が生じる。つまり、図５（ｂ）において、初期位置検出部２１が検出する初期姿勢に含まれる誤差が考慮されている。車両５１の姿勢は、初期姿勢に対して、単位時間あたりの姿勢の変化量を累積加算することにより算出される。このため、初期姿勢からの変化量が大きくなれば、累積加算される姿勢の変化量も大きくなり、よって、車両５１の姿勢に含まれる誤差（ｇｒ、ｇｐ、ｇｙａ）も大きくなる。各回転方向への変化量に対して、ロール方向及びピッチ方向の誤差（ｇｒ、ｇｐ）が最も大きく、ヨー方向の誤差（ｇｙａ）が最も小さい。ヨー方向に回転した場合には、ヨー方向にのみ誤差（ｇｙａ）が生じる。ロール方向及びピッチ方向についても同様である。

次に、図６〜図９に示す道路形状及び地上ランドマークの具体的な事例に沿って、誤差推定部１６が推定する誤差、及び自己位置検出部１２が検出する自己位置を説明する。

図６（ａ）は、地上ランドマークＬＭ１〜ＬＭ３が設置された直線道路ＬＤ１を走行する車両５１Ａ〜５１Ｃを示す。図６（ｂ）は、誤差推定部１６が推定する誤差を示す表であり、図６（ｃ）は、自己位置検出部１２が検出する自己位置を示す表である。車両５１Ａは、地上ランドマークＬＭ１に最も接近した時の車両の位置を示す。車両５１Ｂ及び５１Ｃも同様にして、地上ランドマークＬＭ２及びＬＭ３に最も接近した時の車両の位置を示す。また、物標Ｔｇｔの一例である信号機は、車両５１Ａ、５１Ｂ及び５１Ｃから、進行方向へ２００ｍ、１２０ｍ、及び４０ｍだけ離れている。

車両５１Ａ、５１Ｂ及び５１Ｃの各地点において、自己位置検出部１２は、車両の移動量を累積演算することなく、車両５１の初期位置をそのまま自己位置として算出することができる。よって、図６（ｂ）に示すように、車両５１Ａ、５１Ｂ及び５１Ｃの各地点において、誤差推定部１６が推定する誤差は、初期位置検出部２１が検出する初期姿勢に含まれる誤差と等しい。なお、直線道路ＬＤ１を走行するため、図６（ｃ）に示すように、自己位置検出部１２が検出する自己位置は、進行方向（ｚ方向）の座標（ｚ）のみが変化している。図６（ｃ）に示す座標は、物標Ｔｇｔを原点とする座標である。それぞれ単位は、ｇｘ［ｍ］、ｇｙ［ｍ］、ｇｚ［ｍ］、ｇｐ［°］、ｇｙａ［°］、ｇｒ［°］、ｘ［ｍ］、ｙ［ｍ］、ｚ［ｍ］、ｐｉｃｈ［°］、ｙａｗ［°］、ｒｏｌｌ［°］である。

これに対して、図７（ａ）は、直線道路ＬＤ１に、地上ランドマークＬＭ１のみが設置されている事例を示す。自己位置検出部１２は、車両５１Ａの地点において、車両の移動量を累積演算することなく、車両５１の初期位置をそのまま自己位置として算出することができる。このため、図７（ｂ）に示すように、車両５１Ａの地点において、図６（ｂ）と同様な座標及び姿勢の誤差が生じる。しかし、地上ランドマークＬＭ２及びＬＭ３が設置されていないため、車両５１Ｂ及び５１Ｃにおける自己位置は、車両５１Ａからの移動量を累積加算することにより算出される。よって、車両５１Ｂ及び５１Ｃにおける座標の誤差は、図６（ｂ）とは異なる。誤差推定部１６は、図５（ａ）に示すデータを参照して、車両５１Ａからの移動量（８０ｍ、１６０ｍ）から、座標の誤差を算出する。車両５１Ａからの移動量が大きくなるほど、座標（ｇｘ、ｇｙ、ｇｚ）の誤差が大きくなる。なお、本事例では、車両５１は各回転方向に移動していないため、車両５１Ｂ及び５１Ｃにおける姿勢の誤差は、図６（ｂ）と同じである。

図８（ａ）は、地上ランドマークＬＭ１、ＬＭ２が設置されたカーブＬＤ２を走行する車両５１Ａ、５１Ｂを示す。図８（ｂ）は、誤差推定部１６が推定する誤差を示す表であり、図８（ｃ）は、自己位置検出部１２が検出する自己位置を示す表である。車両５１Ａ及び５１Ｂは、地上ランドマークＬＭ１及びＬＭ２に最も接近した時の車両の位置を示す。

車両５１Ａ及び５１Ｂの各地点において、自己位置検出部１２は、車両の移動量を累積演算することなく、車両５１の初期位置をそのまま自己位置として算出することができる。よって、図８（ｂ）に示すように、車両５１Ａ及び５１Ｂの各地点において、誤差推定部１６が推定する誤差は、初期位置検出部２１が検出する初期姿勢に含まれる誤差と等しい。図８（ｃ）に示す座標は、物標Ｔｇｔを原点とする座標である。

これに対して、図９（ａ）は、カーブＬＤ２に、地上ランドマークＬＭ１のみが設置されている事例を示す。自己位置検出部１２は、車両５１Ａの地点において、車両の移動量を累積演算することなく、車両５１の初期位置をそのまま自己位置として算出することができる。このため、図９（ｂ）に示すように、車両５１Ａの地点において、図８（ｂ）と同様な座標及び姿勢の誤差が生じる。しかし、地上ランドマークＬＭ２が設置されていないため、車両５１Ｂにおける自己位置は、車両５１Ａからの移動量を累積加算することにより算出される。車両５１Ａから車両５１Ｂの間に、車両５１はヨー方向に９０°回転移動している。誤差推定部１６は、図５（ｂ）に示すデータを参照して、車両５１Ａからの移動量から、ヨー方向の誤差（ｇｙａ）を算出する。図９（ｂ）に示すように、車両５１Ｂにおけるヨー方向の誤差（ｇｙａ）が増加している。なお、車両５１Ａから車両５１Ｂの間に、車両の姿勢のみならず、車両の座標も変化しているが、図９の事例では、姿勢の変化のみを考慮し、座標の変化は考慮しない。

図１０を参照して、検出領域の大きさ及び中心座標を決定する方法の一例を説明する。図１０は、画像（Ｉｍｇ）上の二次元座標（xl,yl）を示す平面図である。座標（Ｇ_１）は、座標変換部３２により座標変換された、誤差を考慮していない物標の二次元座標を示す。座標（Ｇ_２）は、座標変換部３２により座標変換された、誤差が最大に生じた場合の物標の二次元座標を示す。座標（Ｇ_１）と座標（Ｇ_２）との差（Ｘｍ、Ｙｍ）は、座標変換部３２により座標変換された、物標の相対座標に含まれる誤差に相当する。

検出領域設定部１４は、座標（Ｇ_１）を中心座標とし、物標の大きさに対して、Ｘ方向及びＹ方向にそれぞれ２×Ｘｍ及び２×Ｙｍの長さを加えた４辺を有する検出領域（Ｚ_１）を設定する。これにより、誤差が最大に生じた場合であっても、検出領域（Ｚ_１）内に物標の座標（Ｇ_２）が収まるため、物標が検出領域から外れ難くすることができる。また、検出領域（Ｚ_１）を広げ過ぎることが無くなるので、物標以外のものが誤検出され難くなり、且つ演算負荷を下げた状態で物標を検出できる。

或いは、検出領域設定部１４は、予め用意された複数の異なる大きさの検出領域（Ｚ_１）の中から、最も近い大きさの検出領域（Ｚ_１）を選択してもよい。

図１１を参照して、図６〜図９に示す事例における検出領域（Ｚ_１）の大きさを比較する。ここでは、図６の車両５１Ｃ及び図８の車両５１Ｂにおける検出領域（Ｚ_１）の大きさをそれぞれ基準値（ｘ）とする。図６の車両５１Ｂでは、自己位置（座標および姿勢）に含まれる誤差は、図６の車両５１Ｃと同じであるが、物標までの距離が異なる。このため、検出領域（Ｚ_１）の大きさは、基準値（ｘ）の３倍となる。図７の車両５１Ｂでは、地上ランドマークが無いため、移動量の累積加算による誤差が発生する。このため、検出領域（Ｚ_１）の大きさは、更に大きくなり、基準値（ｘ）の５倍となる。図７の車両５１Ｃでは、移動量の累積加算による誤差は更に増加するが、物標までの距離は縮まる。このため、検出領域（Ｚ_１）の大きさは、小さくなり、基準値（ｘ）の２倍となる。同様に、図９の車両５１Ｂでは、移動量の累積加算による誤差が発生するため、検出領域（Ｚ_１）の大きさは、基準値（ｘ）の２倍となる。

このように、物標からの距離が離れると、ヨー方向及びピッチ方向の誤差（ｇｙａ、ｇｐ）の影響が強くなり、大きな検出領域が必要となる。また、物標との距離が近づくと座標の誤差（ｇｘ、ｇｙ、ｇｚ）の影響が強くなるため、ランドマーク情報の有無によって検出領域（Ｚ_１）の大きさに差が生じる。

図１２を参照して、物標検出装置１００を用いた物標検出方法の一例を説明する。

ステップＳ０１において、撮像部１１は、カメラ情報Ｄ０３に基づいて車両５１の周囲を撮像して画像を取得する。ステップＳ０３に進み、自己位置検出部１２は、ランドマーク情報Ｄ０１から車両５１の初期位置を求めた上、車両５１の初期位置からの移動量に基づき、車両５１の自己位置を検出し、検出された自己位置を自己位置情報Ｄ０５として出力する。

ステップＳ０５に進み、物標位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両５１に対する物標の相対位置を推定する。ステップＳ０７に進み、誤差推定部１６は、ステップＳ０３で検出された自己位置に含まれる誤差（Ｄｓ）を、自己位置に基づいて推定する。具体的には、車両５１の自己位置に含まれる誤差（ｇｘ、ｇｙ、ｇｚ、ｇｒ、ｇｐ、ｇｙａ）を、図５（ａ）及び（ｂ）を参照して、初期位置からの移動量（距離或いは角度）に応じて推定する。

ステップＳ０９に進み、推定した誤差（Ｄｓ）が所定のしきい値（Ｄｔｈ）よりも大きいか否かを判断する。誤差（Ｄｓ）がしきい値（Ｄｔｈ）よりも大きい場合（Ｓ０９でＹＥＳ）、物標の相対位置に生じる誤差も大きくなるため、誤差に応じて検出領域（Ｚ_１）の大きさを調整する必要性が高まる。そこで、ステップＳ１３へ進み、物標位置誤差推定部３１は、自己位置に含まれる誤差により、物標の相対位置に生じる誤差を推定する。

なお、しきい値（Ｄｔｈ）は、車両の座標に含まれる誤差（ｇｘ、ｇｙ、ｇｚ）及び車両の姿勢に含まれる誤差（ｇｒ、ｇｐ、ｇｙａ）の各々に設定することができる。そして、各誤差のうち、いずれか１つがしきい値よりも大きい場合に、ステップＳ０９でＹＥＳと判断することができる。或いは、全ての誤差がしきい値よりも大きい場合に限り、ステップＳ０９でＹＥＳと判断しても構わない。

ステップＳ１５に進み、座標変換部３２は、物標の相対座標及びその誤差を、図１０に示すように、物標を撮像した画像（Ｉｍｇ）上の座標（xl,yl）へそれぞれ変換する。ステップＳ１７に進み、領域決定部３４は、誤差を考慮していない座標（Ｇ_１）と誤差が最大に生じた場合の座標（Ｇ_２）との差（Ｘｍ、Ｙｍ）に基づいて、図１１に示すように、検出領域（Ｚ_１）の大きさを設定する。ステップＳ１９に進み、領域決定部３４は、誤差を考慮していない座標（Ｇ_１）に基づいて検出領域（Ｚ_１）の中心座標を決定する。これにより、検出領域（Ｚ_１）が決定される。

一方、誤差（Ｄｓ）がしきい値（Ｄｔｈ）以下である場合（Ｓ０９でＮＯ）、物標の相対位置に生じる誤差も小さくなる。このため、検出領域（Ｚ_１）の大きさを、誤差に応じて調整する必要性も低い。そこで、ステップＳ１１に進み、ステップＳ０５で推定した物標の相対位置を座標変換して、誤差を考慮していない座標（Ｇ_１）を求める。ステップＳ１９に進み、誤差を考慮していない座標（Ｇ_１）に基づいて、検出領域（Ｚ_１）の中心座標を決定する。この場合の検出領域（Ｚ_１）の大きさは、予め定めた値、例えば、図１１の基準値（ｘ）である。つまり、誤差（Ｄｓ）がしきい値（Ｄｔｈ）以下である場合、誤差（Ｄｓ）に応じて検出領域（Ｚ_１）の大きさを調整せずに、検出領域（Ｚ_１）を決定する。

ステップＳ２１に進み、前回からの誤差（Ｄｓ）の変化量が所定の基準値以上であるか否かを判断する。誤差（Ｄｓ）の変化量が所定の基準値以上であれば（Ｓ２１でＹＥＳ）、ステップＳ２３に進み、領域決定部３４は、検出領域情報Ｄ０９の一例として、検出領域の大きさの調整量をメモリに記憶する。誤差（Ｄｓ）の変化量が所定の基準値未満であれば（Ｓ２１でＮＯ）、領域決定部３４は、検出領域の大きさの調整量を更新しない。そして、ステップＳ２５に進み、物標検出部１５は、設定及び調整された検出領域に含まれる画像データＤ０８に対して、物標を検出するための画像処理を実施する。

以上説明したように、第１実施形態によれば、以下の作用効果が得られる。

車両５１の自己位置に含まれる誤差（Ｄｓ）を当該車両の初期位置からの移動量に基づいて推定し、誤差（Ｄｓ）に応じて物標の検出領域（Ｚ_１）の大きさを調整する。これにより、誤差（Ｄｓ）を考慮して物標の検出領域（Ｚ_１）の大きさを調整することができる。よって、車両周囲の状況に応じて誤差（Ｄｓ）が大きく変化しても、誤差（Ｄｓ）に応じて適切な大きさの検出領域（Ｚ_１）を設定することができる。例えば、誤差が大きければ検出領域を大きくして、物標が検出領域から外れ難くすることができる。一方、誤差が小さければ検出領域を小さくして、物標以外のものが誤検出され難くすることができる。また、画像処理の負担も軽減される。このように、車両の自己位置に含まれる誤差を考慮して物標の検出領域の大きさを適切に調整することにより、物標を精度良く検出することができる。誤差が生じた場合でも、物標の認識に必要な検出領域を確保し、かつ検出領域を最低限に狭めることで、演算負荷を下げた状態で物標を検出できる。

ランドマーク（例えば、地上ランドマークＬＭ１〜ＬＭ３）を用いて検出された初期位置に累積加算される移動量に応じて、車両５１の自己位置に含まれる誤差（Ｄｓ）は大きく変化する。初期位置からの移動量に基づいて誤差を推定することにより、誤差を精度良く推定することができる。

地上にある特徴物（地上ランドマークＬＭ１〜ＬＭ３）の位置情報と地図情報Ｄ０２とを照合することにより自己位置を精度良く検出することができる。よって、ランドマークから自己位置までの移動量に基づいて誤差（Ｄｓ）を精度良く推定することができる。

自己位置検出部１２は、自己位置として、車両の座標及び車両の姿勢を検出する。誤差推定部１６は、車両の進行方向への移動量に基づいて、車両の座標に含まれる誤差を推定し、車両の回転方向への移動量に基づいて、車両の姿勢に含まれる誤差を推定する。これにより、車両の自己位置に含まれる誤差（Ｄｓ）を正確に推定することができるので、誤差（Ｄｓ）に起因して物標の相対位置に生じる誤差も正確に推定することができる。

領域決定部３４は、誤差（Ｄｓ）の変化量が所定の基準値以上である場合、検出領域の大きさの調整量を保持する。これにより、最新の検出領域情報Ｄ０９を保持することができる。

（第２実施形態）
第２実施形態では、自己位置を検出するためのランドマークとして、車両５１が受信可能なＧＰＳ信号を発信するＧＰＳ衛星を例に取り説明する。自己位置検出部１２は、ランドマーク情報Ｄ０１としてＧＰＳ信号を受信し、ＧＰＳ信号から車両５１の初期位置（初期座標及び初期姿勢）を検出する。

ＧＰＳ信号は、車両５１周囲の状況、例えば車両周囲に多数の建物がある状況によって遮断され、車両５１はＧＰＳ信号を受信できない場合がある。この場合、自己位置検出部１２は、初期位置検出部２１により検出された初期位置に、車両の移動量を累積加算することで車両５１の自己位置を算出する。

図３の初期位置検出部２１は、ＧＰＳ信号を用いて車両５１の初期位置を検出する。初期位置とは、ＧＰＳ信号から直接求めることができる車両５１の位置、すなわち座標及び姿勢である。移動量加算部２２は、ＧＰＳ信号が受信されていない場合に、最後に受信したＧＰＳ信号から求めた初期位置に、車両の移動量を累積加算することで車両５１の自己位置を算出する。

例えば、ＧＰＳ信号が受信されている場合、車両の移動量を累積加算することなく、自己位置検出部１２は初期位置の情報を自己位置情報Ｄ０５として検出する。一方、ＧＰＳ信号が受信されていない場合に、自己位置検出部１２は、最後に検出された初期位置に車両の移動量を累積加算した位置の情報を、自己位置情報Ｄ０５として出力する。

図６（ａ）〜図９（ａ）に示す事例において、地上ランドマークＬＭ１〜ＬＭ３に最も近づく車両５１Ａ〜５１Ｃの位置は、ＧＰＳ信号を受信して車両５１の初期位置を検出した地点に相当する。

その他、物標検出装置１００及び物標検出方法に関する構成は、第１実施形態と同じであり、説明を省略する。

以上説明したように、自己位置検出部１２は、ＧＰＳ衛星をランドマークとして用いて自己位置を検出し、誤差推定部１６は、ＧＰＳ衛星から送信される信号を最後に受信した時の車両の位置から自己位置までの移動量に基づいて、誤差を推定する。これにより、ＧＰＳ衛星から送信されるＧＰＳ信号を用いることにより初期位置を精度良く検出することができる。よって、ＧＰＳ信号を受信してから自己位置までの移動量に基づいて誤差（Ｄｓ）を精度良く推定することができる。

以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。

例えば、自己位置検出部１２は、地上ランドマーク及びＧＰＳ衛星の両方を、ランドマークとして用いて自己位置を検出してもよい。この場合、誤差推定部１６は、最後に、地上ランドマークを検出してから、或いはＧＰＳ信号を受信してから自己位置までの移動量に基づいて誤差（Ｄｓ）を推定すればよい。

また、地上ランドマークと車両５１との間で通信を行える場合には、地上ランドマークと車両５１との相対位置関係を、ＧＰＳ衛星を利用する場合と同様に、通信によって得ることができる。この場合、誤差推定部１６は、最後に、地上ランドマークから位置を受信してから自己位置までの移動量に基づいて誤差（Ｄｓ）を推定すればよい。

また、道路側に設置されており、設置されている道路区間において、走行している車両の位置を検出する装置があり、路車間通信等によって、自車両の位置情報が得られる場合がある。この場合、自己位置検出部１２は、車両５１の自己位置を、路車間通信等によって、道路側の車両位置検出装置より、検出するようにしてもよい。この場合、誤差推定部１６は、最後に、道路側の車両位置検出装置から車両５１の位置（初期位置）を受信してから自己位置までの移動量に基づいて誤差（Ｄｓ）を推定すればよい。

１１ 撮像部
１２ 自己位置検出部
１３ 物標位置推定部
１４ 検出領域設定部
１５ 物標検出部
１６ 誤差推定部
２１ 初期位置検出部
２２ 移動量加算部
Ｚ_１ 検出領域

Claims (6)

1. 車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
   前記車両の初期位置からの移動量に基づいて、前記車両の自己位置を検出する自己位置検出部と、
   前記車両の周囲の物標の地図上の位置情報と前記自己位置とから、前記車両に対する前記物標の相対位置を推定する物標位置推定部と、
   前記車両に対する前記物標の相対位置から、前記物標の画像上の位置を特定し、前記画像上の位置に基づいて、前記物標の検出領域を設定する検出領域設定部と、
   前記検出領域から前記物標を検出する物標検出部と、
   前記自己位置検出部により検出された前記自己位置に含まれる誤差を、前記車両の初期位置からの移動量に基づいて推定する誤差推定部と、を備え、
   前記検出領域設定部は、前記誤差推定部により推定された前記誤差に応じて、前記物標の検出領域の大きさを調整する
   ことを特徴とする物標検出装置。
2. 前記自己位置検出部は、
   ランドマークを用いて前記車両の初期位置を検出する初期位置検出部と、
   前記初期位置に、前記車両の移動量を累積加算することで前記自己位置を算出する移動量加算部と、を備え、
   前記誤差推定部は、前記車両の初期位置からの前記車両の移動量に基づいて前記誤差を推定する
   ことを特徴とする請求項１に記載の物標検出装置。
3. 前記初期位置検出部は、ＧＰＳ衛星をランドマークとして用いて前記初期位置を検出し、
   前記誤差推定部は、ＧＰＳ衛星から送信される信号を最後に受信した時の前記初期位置からの前記車両の移動量に基づいて、前記誤差を推定する
   ことを特徴とする請求項２に記載の物標検出装置。
4. 前記自己位置検出部は、前記自己位置として、前記車両の座標及び前記車両の姿勢を検出し、
   前記誤差推定部は、前記車両の進行方向への移動量に基づいて、前記車両の座標に含まれる誤差を推定し、前記車両の回転方向への移動量に基づいて、前記車両の姿勢に含まれる誤差を推定する
   ことを特徴とする請求項１〜３のいずれか一項に記載の物標検出装置。
5. 前記検出領域設定部は、前記誤差の変化量が所定の基準値以上である場合、検出領域の大きさの調整量を保持することを特徴とする請求項１〜４のいずれか一項に記載の物標検出装置。
6. 車両に搭載された撮像部と、自己位置検出部と、物標位置推定部と、検出領域設定部と、物標検出部と、誤差推定部とを備える物標検出装置を用いた物標検出方法であって、
   前記撮像部を用いて、前記車両の周囲を撮像して画像を取得し、
   前記自己位置検出部が、前記車両の初期位置からの移動量に基づいて、前記車両の自己位置を検出し、
   前記物標位置推定部が、前記車両の周囲の物標の地図上の位置情報と前記自己位置とから、前記車両に対する前記物標の相対位置を推定し、
   前記検出領域設定部が、前記車両に対する前記物標の相対位置から、前記物標の画像上の位置を特定し、前記画像上の位置に基づいて、前記物標の検出領域を設定し、
   前記誤差推定部が、前記自己位置に含まれる誤差を、前記車両の初期位置からの移動量に基づいて推定し、
   前記検出領域設定部が、前記誤差に応じて、前記物標の検出領域の大きさを調整し、
   前記物標検出部が、前記検出領域から前記物標を検出する
   ことを特徴とする物標検出方法。

Images