JP4631750B2 - 画像処理システム - Google Patents

Description

本発明は、車両前方の交通表示器を認識する画像処理システムに関する。

車両に搭載されるカメラや情報処理の能力の向上に伴って、自車両が走行する周囲の環境を認識して、ドライバーに危険回避操作を促したり、車両に制動を加える等の自動制御を行う技術が提案されている（例えば、特許文献１参照。）。

特許文献１では、走行経路を運転者に案内する場合、車両の走行位置を検出して経路となる分岐点等が近づくと車両の進行方向を撮影した画像データから信号機などの交通用表示器を検出する。そして、検出した交通用表示器を用いて運転者に経路を案内する。画像処理する領域を分岐点付近の範囲に限定できるので、処理速度を向上できる。

また、信号機を検出する場合、信号機の位置を道路から数メートル上にあるものとして、画像データの中央より上部から信号機を検出する画像処理方法が提案されている（例えば、特許文献２参照。）。
特開平１０−１７７６９９号公報 特開２００５−０９８８５３号公報

しかしながら、特許文献１では分岐点付近の交通用表示器として信号機を検出するとしているが、信号機の空間的な位置を推定する方法については記載されていない。信号機は、交差点や横断歩道毎に設置されている場合が多いが、分岐点付近の画像全体を処理の対象としてしまうと未だ画像処理の負荷が大きい。

また、画像データから交通用表示器を検出する場合、予め交通用表示器の座標位置がある程度既知であれば、画像処理が高速に行われる。そこで、画像データや車両の位置から交通用表示器の三次元的な座標位置を決定することが考えられる。この場合、交通用表示器の位置の初期値が重要なパラメータとなるが、例えば初期値を道路から数メートル上にあるものと固定してしまうと座標位置の演算処理が発散してしまうことがある。

本発明は、上記問題に鑑み、車両前方の画像データから交通用表示器を精度よく検出することができる画像処理システムを提供することを目的とする。

上記課題を解決するため、本発明は、車両の走行方向前方を認識する前方認識装置と、車両の位置及び姿勢を検出する車両位置検出装置（例えば、ＧＰＳ／ＩＮＳ装置２）と、道路地図を格納した地図データベースと、車両位置検出装置が取得した車両位置に応じて前記地図データベースから抽出した走行方向前方の交差点形状に基づき交通用表示器の位置を予測する表示器位置予測部（例えば、信号機位置予測部７）と、前方認識装置が撮影した画像データに、表示器位置予測部が予測した交通用表示器の位置に基づき画像処理領域を決定する画像処理領域演算部と、記画像処理領域演算部が決定した画像処理領域から交通用表示器を検出する交通用表示器検出部（例えば、信号機検出部９）と、を有し、前記表示器位置予測部は、前記車両位置検出装置が取得した車両位置に応じて前記地図データベースから抽出した走行方向前方に存在する交差点の手前の道路の曲率又は交差点の手前の勾配の勾配率から前記交通用表示器の位置を算出する、ことを特徴とする画像処理システムを提供する。

本発明によれば、車両前方の画像データから交通用表示器を精度よく検出することができる画像処理システムを提供することができる。

車両前方の画像データから交通用表示器を精度よく検出することができる画像処理システムを提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。なお、以下では、交通用表示器の一例として信号機を用いるが、道路標識などその他の交通用表示器にも好適に適用できる。

図１は、本実施例における画像処理システムの全体構成図の一例を示す。画像処理システム１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）／ＩＮＳ（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）装置２、地図データベース３、前方認識装置４、画像処理装置５及び出力装置６を有するように構成される。また、画像処理装置５は信号機位置予測部７、画像処理領域演算部８及び信号機検出部９を有する。

ＧＰＳ／ＩＮＳ装置２は、ＧＰＳ衛星から受信した航法メッセージに基づき車両の座標情報を取得し、また、自立航法により車両の位置を高精度に推定する。

より具体的には、ＧＰＳ／ＩＮＳ装置２は、ＧＰＳ衛星から送信される電波を受信して自車両の位置を検出する。ＧＰＳ衛星から送信される電波の伝播時間に光速を乗じることでＧＰＳ衛星との距離を算出できるので、３つ以上のＧＰＳ衛星との距離を算出し、３つのＧＰＳ衛星との距離を半径とする球体の交点を車両の位置座標として演算する。また、より好ましくは４つ目のＧＰＳ衛星から航法データを受信することで車両側の時刻を補正し、精度よく自車両の座標を検出できる。

また、ＧＰＳ／ＩＮＳ装置２は、ＧＰＳにより検出した自車両の座標情報に基づき自立航法により車両の位置を高精度に推定する。ＧＰＳ／ＩＮＳ装置２には、車速センサ及びジャイロセンサが接続されており、車速センサにより測定された車速及びジャイロセンサにより測定された自車両の走行方向に基づいて、走行距離と走行方向による走行経路を累積しながら自律航法により車両の現在位置を推定する。なお、ジャイロセンサによる車両の向いている方向（以下、姿勢という）は画像処理装置５に送出され、画像処理に使用される。

ＧＰＳ／ＩＮＳ装置２は、また、地図データベース３を利用して、航法メッセージによる座標情報と自律航法による位置推定に対して、地図データベース３から抽出した道路地図の道路と車両の位置とを対応づけるマップマッチング法により最終的に現在位置を精度よく推定する。

地図データベース３は、道路地図情報が格納されたデータベースであり、ＨＤＤやＣＤやＤＶＤ−ＲＯＭ等により構成される。地図データベース３は、道路網や交差点などの道路地図情報が、緯度経度に対応づけて格納されている。地図データベース３は、実際の道路網に対応して、ノード(道路と道路が交差する点、すなわち交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報とからなるテーブル状のデータベースである。

ノードテーブルは、ノードの番号、座標、そのノードから流出するリンク数及びそれらのリンク番号を有する。また、リンクテーブルは、リンクの番号、リンクを構成する始点ノードと終点ノード及びリンク長を有する。ノード番号及びリンク番号は、互いに重複しないように定められている。したがって、ノード番号とリンク番号をそれぞれ辿ることで道路網が形成される。

地図データベース３には、道路の幅長、車線数等の道路情報が格納されている。なお、この他にも、高速道路，一般国道，地方道というような道路種別情報や、デパートや陸橋などの建築物、制限速度や一方通行、Ｕターン禁止などの交通規則が記憶されている。

前方認識装置４について説明する。前方認識装置４は、カメラやレーダにより前方の状態を認識する装置である。

前方認識装置４がカメラの場合、カメラは、ＣＣＤやＣＭＯＳなど光電変換素子を有し、車両前方から入射した光をフォトダイオードで光電変換し、蓄積した電荷を電圧として読み出し増幅してＡ／Ｄ変換されて所定の輝度階調（例えば、２５６階調）のデジタル画像（以下、単に画像データという）に変換する。カメラは、例えば３０〜６０回／秒程度のフレームレートで画像を撮影し、撮影された画像データを所定のバッファ等に保持しながら順次画像処理５に出力する。

カメラが１つであっても画像処理により被写体との距離情報を得ることもできるが、ステレオカメラであった場合、同時に撮影された２つの画像データを解析することで２つのカメラの視差が得られる。視差が取得されれば、視差、カメラの焦点距離、２つのカメラの距離に基づき、三角測量の原理から各画素毎に距離情報が得られる。なお、本実施の形態では、画像処理の負荷を考慮して１つのカメラに撮影された画像データを使用する。

図２はカメラに撮影される画像データの一例を示す。図２では画像データに信号機２１、２２が撮影されている。ＧＰＳ／ＩＮＳ装置２により車両の位置及び姿勢は判明しているので、信号機２１又は２２の位置が予測されれば、画像データ内の信号機のある画像領域はある程度の範囲で予測できる。

また、前方認識装置４がレーダであった場合、レーダパルスを発してから受信されるまでの時間を計測することで前方の障害物の形状及び距離情報が得られる。レーダ装置は、レーザダイオードにパルス電流を流すと共に、タイマカウンタの計測をスタートさせる。パルス電流を流されたレーザダイオードは、電流に比例したレーザパルスを前方へ向けて照射する。前方の障害物に反射されたレーザパルスが受光部により受信されると共に、タイマカウンタの計測をストップさせる。計測された時間は障害物までの距離に比例するので、この値に適当な係数を乗算すれば、障害物までの距離情報も取得される。

レーダ装置は、車両の進行方向前方の所定範囲をレーザが走査するように、レーザパルスの発信方向を変えながら連続的にレーザパルスを発信するので、上記した動作を繰り返すことにより、各走査点において障害物までの距離情報が得られる。この情報はマイコン等の処理装置に蓄積され、マイコンは走査方向、障害物までの距離及び姿勢に基づき、画像データを生成する。

したがって、レーダ装置による前方認識装置４によっても図２のような画像データが取得される。なお、レーダ装置による画像データから色（例えば信号機の状態）を判別することは困難である。

画像処理装置５の信号機位置予測部７は、交差点の形状に応じて交差点のどこに信号機が配置されているかを予測する。車両の現在の位置はＧＰＳ／ＩＮＳ装置２により取得されるので、車両の周辺、特に進行方向の道路地図も地図データベース３から取得でき、車両前方の道路形状は既知となる。道路に沿って多くの信号機が配設されているが、信号機が配設される位置はおよそ定まっている。後述するように、信号機の位置は、交差点の有無、道路形状等に応じて予測することができる。

画像処理装置５の画像処理領域演算部８は、信号機位置予測部７が予測した信号機の位置、車両の位置及び姿勢に基づき、画像データに信号機の検出処理を施す領域を設定する。

図３（ａ）は地図データベース３から抽出された道路形状及び現在の車両の位置を、図３（ｂ）は図３（ａ）のように車両の位置が検出された場合に撮影された画像データを、それぞれ示す。

図３（ａ）の道路形状によれば、信号機位置予測部７は車両の前方に交差点があることとその距離が推定できる。例えば、信号機位置予測部７は、交差点があることが判明した場合、交差点の手前の角に信号機が配設されていると推定する。信号機位置予測部７は、道路地図から位置を推定した信号機までの距離を推定できる。また、信号機の高さは路面から数ｍである。

画像処理領域演算部８は車両の姿勢（図では信号機に対するカメラの角θ）を取得しているので、図３（ｂ）のような画像データが、図３（ａ）の交差点のどの方向を向いて撮影されたものか検出できる。すなわち、画像処理領域演算部８は、信号機の位置が予測されれば、車両の位置及び姿勢に基づき、画像データにおいて信号機があると推定される領域を決定できる。信号機と車両との距離に応じて認識枠の大きさを変えてもよい。

図３（ｂ）では矩形で囲って示した領域が、画像処理領域演算部８が信号機があると推定した認識枠５１である。したがって、画像処理装置５の信号機検出部９は認識枠５１の範囲で信号機を検出すればよいこととなる。

信号機検出部９は、画像データから画像処理により信号機を検出する。信号機検出部９は、例えば、テンプレートマッチングにより信号機を検出する。テンプレートマッチングは、標準の信号機の画像をテンプレートとして、それを１画素ずつずらしながら認識枠５１又は画像データの全体を走査し、例えば輝度の分布の相関を計算する。そして、相関が最も高い値となった場合にテンプレートがある画像上の位置に信号機があると検出する。赤、青又は黄の識別は、３つの円のうち、最も輝度レベルの高い位置が点灯しているとして行う。なお、信号機検出の画像処理は、サポートベクターマシンやニューラルネットワークなどの機械学習を利用してもよい。信号機を検出する場合、予め大きさの異なる信号機のテンプレートが格納された学習データベースを備えておき、信号機までの距離に応じて参照する学習データベースを使い分けることで認識率の向上が図れる。

出力装置６は、液晶や有機ＥＬ、ＨＵＤ（Head Up Display）等であり、道路地図や交通情報、目的地までのルートを表示する。また、出力装置６にはスピーカが接続されており、スピーカにより信号機の位置や注意を促す音声を出力する。

続いて、画像処理領域演算部８の認識枠の決定方法についてより詳細に説明する。以下の推定方法は、競合しない範囲で組み合わせて使用することができる。また、競合する推定方法については、その内の１つを予め設定しておき、信号機が検出されなければ推定方法を順に切り替えて、信号機が検出される決定方法を使用するようにする。

ｉ）信号機を道路上に推定する場合
図４（ａ）は地図データベース３から抽出された車両前方の道路形状を、図４（ｂ）は図４（ａ）のように車両の位置が検出された場合に撮影された画像データを、それぞれ示す。

信号機を道路上に推定する推定方法の場合、画像処理領域演算部８は、認識枠を道路の幅員と同程度に設定する。道路の幅員は、地図データベース３に格納されている。地図データベース３に格納されていない場合、画像処理領域演算部８は画像データを画像処理して画像データ上の道路の幅員がどこからどこまでかを検出する。

道路の左端と右端にガードレール又は白線がある場合、画像データの上下方向に一様の輝度の領域が連続するため、左右の一様の輝度の領域に挟まれた領域が道路の幅員となる。また、縁石がある場合、駐車禁止又は停車禁止のペイントが施されているので、同様に、道路の幅員を検出できる。レーダにより前方を認識する場合には、ガードレールや縁石の形状が検出されるので、同様に道路の幅員を決定できる。

道路の幅員を検出した画像処理領域演算部８は、ＧＰＳ／ＩＮＳ装置２から取得した車両の位置、交差点までの距離、及び、姿勢に基づき道路幅と同程度の認識枠５２を決定する。これにより、画像データ全体から信号機を検出する場合に比べ、対象の領域を小さくできる。

ｉｉ）信号機は交差点の手前と奥に位置すると推定する場合
図５（ａ）は地図データベース３から抽出された車両前方の道路形状を、図５（ｂ）は図５（ａ）のように車両の位置が検出された場合に撮影された画像データを、それぞれ示す。

信号機を交差点の手前と奥に位置すると推定する推定方法の場合、信号機位置予測部７は、交差点の手前側と奥側に信号機が位置すると予測する。画像処理領域演算部８は、ＧＰＳ／ＩＮＳ装置２から取得した車両の位置、交差点の手前と奥までのそれぞれの距離、及び、姿勢に基づき、画像データに手前側用の認識枠５３と奥側用の認識枠５４を設定する。

これにより、画像データ全体から信号機を検出する場合に比べ、対象の領域を小さくできる。

なお、この場合の認識枠の横方向の大きさは、ｉ）のように道路の幅員程度としてもよいし、余裕をみて若干大きめにしてもよい。また、手前側用の認識枠５３と奥側用の認識枠５４の大きさは、車両からの距離の違いに応じて奥側用の認識枠５４を小さくすることで画像処理の領域を小さくできる。

ｉｉｉ）交差する道路がある場合、信号機は交差する道路の幅員を挟んでその手前と奥に位置すると推定する場合
図６（ａ）は地図データベース３から抽出された車両前方の道路形状を、図６（ｂ）は図６（ａ）のように車両の位置が検出された場合に撮影された画像データを、それぞれ示す。

信号機を交差する道路の手前と奥に位置すると推定する推定方法の場合、信号機位置予測部７、交差点の手前側と、交差点の手前側から交差する道路の幅員程度奥側に信号機があると予測する。画像処理領域演算部８は、ＧＰＳ／ＩＮＳ装置２から取得した車両の位置、交差点までの距離、姿勢、及び、地図データベース３から抽出した交差する道路の幅員に基づき、画像データに手前側用の認識枠５５と奥側用の認識枠５６を決定する。

これにより、画像データ全体から信号機を検出する場合に比べ、対象の領域を小さくできる。

なお、この場合の認識枠の横方向の大きさは、ｉ）のように道路の幅員程度としてもよいし、余裕をみて若干大きめにしてもよい。また、手前側用の認識枠５３と奥側用の認識枠５４の大きさは、車両からの距離の違いに応じて奥側の認識枠５４を小さくすることで画像処理の領域を小さくできる。

ｉｖ）幅員の大きい道路を走行している場合、信号機は交差点の各コーナに位置すると推定する場合
図７（ａ）は地図データベース３から抽出された車両前方の道路形状を、図７（ｂ）は図７（ａ）のように車両の位置が検出された場合に撮影された画像データを、それぞれ示す。

幅員の大きい道路を走行している場合とは、例えば、車線数又は幅員が所定以上である場合をいう。このような道路では、運転者の信号機の認識を向上させるため、交差点の各コーナに信号機が設けられることがある。

信号機を交差点の各コーナに位置すると推定する推定方法の場合、信号機位置予測部７は、交差点の各コーナにコーナの数だけ信号機があると予測する。図７（ａ）の道路形状によればコーナは４つなので、４つの認識枠が設定される。

画像処理領域演算部８は、ＧＰＳ／ＩＮＳ装置２から取得した車両の位置、各コーナまでのそれぞれの距離、及び、姿勢に基づき、画像データの各コーナに認識枠５７〜６０を決定する。

この場合の認識枠の横方向の大きさは、道路の幅員の半分程度や１車線分程度としてもよいし、余裕をみて若干大きめにしてもよい。また、コーナの手前側用の認識枠５７、５９と奥側用の認識枠５８，６０の大きさは、車両からの距離の違いに応じて奥側用の認識枠５４を小さくすることで画像処理の領域を小さくできる。

これにより、幅員が大きい場合には、各コーナに信号機の位置を限定することで、画像データ全体から信号機を検出する場合や道路幅員全体から信号機を検出する場合に比べ、対象の領域を小さくできる。

ｖ）道路に曲率がある場合
図８（ａ）は地図データベース３から抽出された車両前方の道路形状を、図８（ｂ）は図８（ａ）のように車両の位置が検出された場合に撮影された画像データを、それぞれ示す。

道路に曲率がある場合、車両が道路に沿って進行していても進行方向と信号機の位置にずれが生じるため、曲率に応じて認識枠の位置を設定する。図８（ａ）に示すように、交差点までの道路がカーブしている場合、交差点の手前から信号機が認識可能なように、信号機は交差点から所定のオフセットの距離、手前に設定されている。オフセット距離Ｌ１（ｏｆｆｓｅｔ）は、一般的にはカーブの曲率Ｋの関数として既知であり、Ｃ１を任意の定数として次のように決定できる。
Ｌ１（ｏｆｆｓｅｔ）＝Ｃ１×Ｋ 〜（１）
信号機位置予測部７は、オフセット距離Ｌ１（ｏｆｆｓｅｔ）を算出して信号機の位置を予測する。

画像処理領域演算部８は、ＧＰＳ／ＩＮＳ装置２から取得した車両の位置、車両の姿勢と交差点のなす角θ、交差点までの距離、に基づき認識枠６１の位置を決定する。

また、画像処理領域演算部８は、Ｌ１（ｏｆｆｓｅｔ）、ＧＰＳ／ＩＮＳ装置２から取得した車両の位置、交差点までの距離、に基づき認識枠６２の位置を決定する。

この場合の認識枠の横方向の大きさは、道路の幅員に応じて幅員程度、半分又は１車線分程度としてもよいし、余裕をみて若干大きめにしてもよい。また、車両からの距離の違いに応じて認識枠６１、６２の大きさを調整することで画像処理の領域を小さくできる。

これにより、道路に曲率があっても、曲率に応じて信号機の位置を限定することで、画像データ全体から信号機を検出する場合に比べ、対象の領域を小さくできる。

ｖｉ）道路に勾配がある場合
図９（ａ）は地図データベース３から抽出された、走行している道路の勾配の様子を、図９（ｂ）は図９（ａ）のように車両の位置が検出された場合に撮影された画像データを、それぞれ示す。

道路に勾配がある場合、運転者による認識性が向上するように、信号機は交差点から所定のオフセット距離、手前に配設される。
オフセット距離Ｌ２（ｏｆｆｓｅｔ）は、一般的には勾配αの関数として既知であり、Ｃ２を任意の定数として次のように決定できる。
Ｌ２（ｏｆｆｓｅｔ）＝Ｃ２×α 〜（２）
信号機位置予測部７は、カーブの勾配αに基づきＬ２（ｏｆｆｓｅｔ）を算出する。また、画像処理領域演算部８は、ＧＰＳ／ＩＮＳ装置２から取得した車両の位置、交差点までの距離、に基づき認識枠６３の位置を決定する。なお、勾配のある道路を走行していても、車両は路面に平行に走行しており、信号機は路面から数ｍの高さにあるので、車両から見た信号機の高さ方向の位置は大きく変わらない。

この場合の認識枠の横方向の大きさは、道路の幅員に応じて幅員、半分又は１車線分程度としてもよいし、余裕をみて若干大きめにしてもよい。

このように、道路に勾配があっても、勾配に応じて信号機の位置を限定することで、画像データ全体から信号機を検出する場合に比べ、対象の領域を小さくできる。

ｖｉｉ）幅員が小さい道路の場合
図１０（ａ）は地図データベース３から抽出された車両前方の道路形状を、図１０（ｂ）は図１０（ａ）のように車両の位置が検出された場合に撮影された画像データを、それぞれ示す。

道路の幅員が小さい場合、交差点の中央に信号機がある場合がある。交差点の中央とは、走行している道路の幅員の略中央である。走行している道路の幅員は地図データベース３に格納されている。

画像処理領域演算部８は、ＧＰＳ／ＩＮＳ装置２から取得した車両の位置、交差点までの距離、姿勢、及び、地図データベース３から抽出した２つの道路の幅員に基づき、画像データに認識枠６４を決定する。

これにより、画像データ全体から信号機を検出する場合に比べ、対象の領域を小さくできる。

なお、この場合の認識枠の横方向の大きさは、ｉ）のように道路の幅員程度としてもよいし、余裕をみて若干大きめにしてもよい。

以上のように、本実施例の画像処理システム１は交差点において、道路の幅員や形状に応じて信号機の位置を推定して認識枠を設定することができる。

図１１は、画像処理システムが信号機を認識する処理の手順を示すフローチャート図である。図１１のフローチャート図は、ＩＧ（イグニション）がオンになった場合や車両が走行を開始するとスタートする。

車両が走行中、ＧＰＳ／ＩＮＳ装置２は車両の位置及び姿勢を取得している（Ｓ１）。画像処理装置５は、車両の位置に基づき車両の周辺、特に進行方向の道路地図を取得する（Ｓ２）。

また、前方認識装置４は所定のフレームレートで画像データを取得し画像処理装置５に出力する（Ｓ３）。

ついで、信号機位置予測部７は道路地図の形状に基づき、信号機の位置を予測する（Ｓ４）。すなわち、交差点があるか否かを判定し、交差点があれば、道路幅、交差する道路の幅員、曲率の有無、勾配の有無に基づき、信号機の位置を予測する。

信号機の位置を予測したら、画像処理領域演算部８は画像データに信号機が含まれると推定される認識枠を設定する（Ｓ５）。信号機の位置に複数の候補がある場合、適当な優先順位を設け、それらを順に認識枠として設定してもよい。

信号機検出部８は、テンプレートマッチング等により認識枠から信号機を検出する（Ｓ６）。

信号機が検出されなければ（Ｓ７のＮｏ），画像データの全体、すなわち交差点付近全てを画像処理して信号機を検出する（Ｓ８）。

信号機が検出された場合（Ｓ７のＹｅｓ）、車速を検出して車速が所定より速い場合等に運転者に報知するなど、所定の制御を行う。

〔実施例１による信号機検出の検出結果〕
車両が時速６０ｋｍ／ｈで走行している場合に、本実施例の画像処理システム１により信号機を検出する処理を行った結果について説明する。

図１６（ａ）及び（ｂ）は、片側一車線の道路において車両から撮影された交差点の画像データである。枠で囲まれた領域は、従来例として交差点付近の全体を画像処理領域としたものである。

また、図１６（ｂ）では、（ｉ）信号機は道路上にあり、（ｉｉ）又は（ｉｉｉ）交差点の手前と奥側に位置すると推定して設定した認識枠を示した。

図１２は、従来の画像処理方法と信号機の位置を推定して認識枠を設定した場合の画像処理時間を比較したものである。図１２では、交差点付近の全体を画像処理領域とした場合の処理時間を白抜きの棒グラフで、認識枠を設定した場合の処理時間を塗りつぶした棒グラフでそれぞれ示した。

図１２（ａ）に示すように、図１６（ａ）及び（ｂ）のような状況で画像処理すると、交差点付近の全体を画像処理領域とした場合は信号機を検出するのに１２０ミリ秒必要であったが、認識枠を設定した場合８０ミリ秒で信号機が検出された。

図１７（ａ）及び（ｂ）は、幅員の大きい道路において車両から撮影された交差点の画像データである。図１７（ａ）及び（ｂ）の道路は３車線となっている。

図１７（ａ）において枠で囲まれた領域は、従来例として交差点付近の全体を画像処理領域としたものである。

また、図１７（ｂ）では、（ｉｖ）信号機は交差点の各コーナに位置すると推定して、認識枠を設定した。したがって、認識枠は４つ設定されている。

図１２（ｂ）に示すように、図１７（ａ）及び（ｂ）のような状況で画像処理すると、交差点付近の全体を画像処理領域とした場合は信号機を検出するのに１１０ミリ秒必要であったが、認識枠を設定した場合５０ミリ秒で信号機が検出された。

図１８（ａ）及び（ｂ）は、曲率のある道路において車両から撮影された交差点の画像データである。

図１８（ａ）において枠で囲まれた領域は、従来例として交差点付近の全体を画像処理領域としたものである。

また、図１８（ｂ）では、（ｖ）信号機は交差点からオフセット距離Ｌ１（ｏｆｆｓｅｔ）手前に位置すると推定して認識枠を設定した。

図１２（ｃ）に示すように、図１８（ａ）及び（ｂ）のような状況で画像処理すると、交差点付近の全体を画像処理領域とした場合は信号機を検出するのに１００ミリ秒必要であったが、認識枠を設定した場合４０ミリ秒で信号機が検出された。

図１９（ａ）及び（ｂ）は、勾配のある道路において、車両から撮影された交差点の画像データである。

図１９（ａ）において枠で囲まれた領域は、従来例として交差点付近の全体を画像処理領域としたものである。

また、図１９（ｂ）では、（ｖｉ）信号機は交差点からオフセット距離Ｌ２（ｏｆｆｓｅｔ）手前に位置すると推定して認識枠を設定した。

図１２（ｄ）に示すように、図１９（ａ）及び（ｂ）のような状況で画像処理すると、交差点付近の全体を画像処理領域とした場合は信号機を検出するのに１００ミリ秒必要であったが、認識枠を設定した場合４５ミリ秒で信号機が検出された。

図１２に示すように、本実施例によれば、交差点の信号機の位置を推定して認識枠を設定するので、信号機を検出するための画像処理の時間を短縮することができる。

本実施例では、信号機位置予測部７が予測した道路地図上の信号機の位置（以下、座標位置という。緯度、経度、標高により表される。）を初期値にして、所定の演算により信号機の真の座標位置を推定し、信号機の座標位置をデータベースに登録しておくことができる画像処理システムについて説明する。該画像処理システムでは、データベースに信号機の座標位置が登録されるので、画像データから信号機を検出する画像処理が高速になる。

図１３は、本実施例における画像処理システムの全体構成図の一例を示す。なお、図１３において、図１と同一部分には同一の符号を付しその説明は省略する。図１３の画像処理システム１は信号位置演算部１１及び空間モデルデータベース１０を有する点で図１と異なる。

信号位置演算部１１は、例えばカルマンフィルタにより信号機の座標位置を推定する。カルマンフィルタは、雑音を含む観測値から真の値に最適な推定値を求めるフィルタ（アルゴリズム）である。カルマンフィルタは、１つ前の推定値に現在の推定値を算入することでより真の値に近い値を推定していく系の状態推定フィルタである。本実施例では画像データにより観測された値並びに位置及び姿勢を利用して、信号機の真の座標位置を、フレーム毎に繰り返して推定する。

信号位置演算部１１には車両の位置及び姿勢が入力されているので、画像データから信号機が検出された際の車両と信号機の三次元的な関係が明らかとなる。したがって、車両の位置及び姿勢が分かれば、検出された信号機の座標が推定できる。車両の位置及び姿勢は誤差を含むので推定された信号機の座標も誤差を含むが、上記のように画像データは１秒間に数十枚撮影されているので、推定を繰り返す毎に真の座標位置に収束することが期待できる。また、交差点を通過するまでに取得した最終的に推定された座標位置を保存しておけば、同じ交差点を次回以降通過する際に、保存した値を初期値にするのでより真の座標位置に近い値を推定できる。

空間モデルデータベース１０は、信号位置演算部１１が演算した信号機の座標位置を登録しておくデータベースである。車両が交差点を通過する際に推定した信号機の座標位置が、交差点ノードの座標位置や走行日時に対応づけて登録される。次回以降、同じ交差点を通過する場合、推定された信号機の座標位置が既知であるので、画像データ内の信号機の位置をより精度よく予測して、画像処理領域を設定できる。

図１４は、画像処理システムが信号機を認識する処理の手順を示すフローチャート図である。なお、図１４において、図１１のフローチャート図と同一ステップには同一の符号を付した。

車両が走行中、ＧＰＳ／ＩＮＳ装置２は車両の位置及び姿勢を取得している（Ｓ１）。画像処理装置５は、車両の位置に基づき車両の周辺、特に進行方向の道路地図を取得する（Ｓ２）。

また、前方認識装置４は所定のフレームレートで画像データを取得し画像処理装置５に出力する（Ｓ３）。

ついで、信号機位置予測部７は道路地図の形状に基づき、信号機の位置を予測する（Ｓ４）。すなわち、交差点があるか否かを判定し、交差点があれば、道路幅、交差する道路の幅員、曲率の有無、勾配の有無に基づき、信号機の位置を予測する。

信号機の位置を予測したら、画像処理領域演算部８は画像データに信号機が含まれると推定される認識枠を設定する（Ｓ５）。信号機の位置に複数の候補がある場合、適当な優先順位を設け、それらを順に認識枠として設定してもよい。

信号機検出部８は、テンプレートマッチング等により認識枠から信号機を検出する（Ｓ６）。

ついで、信号機位置演算装置９はステップＳ６で検出した信号機が、当該信号機として初めての画像データから検出されたものか否かを判定する（Ｓ７）。すなわち、始めてその交差点を走行する場合であって、前方認識装置４が連続的に取得する画像データから初めて信号機が検出された場合に当該信号機として初めての画像データとなる。

当該信号機として初めての画像データであった場合（Ｓ７のＹｅｓ）、信号機位置演算装置９はステップＳ４で予測した信号機の座標位置を、信号機の真の座標位置を推定するための初期値に設定する（Ｓ８）。このように、初期値を設定することで信号機位置演算装置９が繰り返す演算結果が真の位置に到達することが容易になる。

初期値として設定される座標位置は、例えば次のようになる。
・信号機が道路上に位置すると予測する場合、道路の幅員の中央かつ路面から５ｍの位置の座標位置
・信号機が交差点の手前と奥に位置すると予測する場合、交差点の端部で道路の幅員の中央かつ路面から５ｍの位置の座標位置
・幅員の大きい道路において交差点の各コーナに位置すると予測する場合、各交差点の端部で各交差点から１車線分の道路の幅員の中央かつ路面から５ｍの位置の座標位置
・カーブしている道路の場合、交差点からオフセット距離Ｌ１手前で道路の幅員の中央かつ路面から５ｍの位置の座標位置
・勾配のある道路の場合、交差点からオフセット距離Ｌ２手前で道路の幅員の中央かつ路面から５ｍの位置の座標位置
・幅員の小さい道路の場合、道路の幅員の中央かつ路面から５ｍの位置の座標位置
ついで、信号機位置演算装置９は信号機の真の座標位置を推定する（Ｓ９）。この場合、信号機の座標位置は未だ一度も推定されていないので、信号機位置演算装置９はステップＳ４において信号機の位置として予測した座標位置を初期値として設定する。

信号機位置演算装置９は、道路形状に応じてこれらの座標位置を初期値に設定し、車両の位置及び姿勢、画像データにおける信号機の位置に基づき、信号機の座標位置を推定する。

また、初めて予測した信号機でない場合（Ｓ７のＮｏ）、既に推定された信号機の座標位置に、現在の車両の位置及び姿勢、画像データにおける信号機の位置を算入して座標位置の推定を繰り返す（Ｓ９）。

ついで、画像処理装置５は、交差点を通過したか否かを判定する（Ｓ１０）。交差点を通過したか否かは、ＧＰＳ／ＩＮＳ装置２により取得した車両の位置に基づいて判定する。

交差点を通過していない場合（Ｓ１０のＮｏ）、ステップＳ１に戻り信号機の検出及び信号機の座標位置の推定を繰り返す。

交差点を通過した場合（Ｓ１０のＹｅｓ）、画像処理装置５は推定された信号機の座標位置を空間モデルデータベースに保存する（Ｓ１１）。以上で、図１４のフローチャート図による処理が終了する。

〔実施例２による信号機検出の検出結果〕
図１５（ａ）はステップ数と信号機の座標位置の演算結果の一例を示す。図１５（ａ）はステップ数と緯度の関係を、図１５（ｂ）はステップ数と経度の関係を、図１５（ｃ）はステップ数と標高の関係をそれぞれ示す。

図１５において、点線は測量した真の座標位置を、線Ａは予測した信号機の位置を初期値とした場合を、線Ｂは地図データベース３に格納された交差点ノードの標高５ｍを初期とした場合を示す。

図１５に示すように、地図データベースの交差点ノードを初期値とした場合は緯度及び経度の演算値が発散してしまうことがあるが、予測した信号機の位置を初期値とすることで、真の値に収束することが分かる。

以上のように、本実施例の画像処理システムは、予測した信号機の座標位置を初期値とすることで演算結果の発散を防止して信号機の真の座標位置を精度よく推定できる。精度よく推定されれば、推定された座標位置に信号機があるものとして画像データにおける信号機の認識領域を狭めより高速に信号機を検出できることとなる。

実施例１における画像処理システムの全体構成図の一例である。 カメラに撮影される画像データの一例である。 地図データベースから抽出された道路形状と撮影された画像データの一例を示す図である。 地図データベースから抽出された道路形状と撮影された画像データの一例を示す図である。 地図データベースから抽出された道路形状と撮影された画像データの一例を示す図である。 地図データベースから抽出された道路形状と撮影された画像データの一例を示す図である。 地図データベースから抽出された道路形状と撮影された画像データの一例を示す図である。 地図データベースから抽出された道路形状と撮影された画像データの一例を示す図である。 地図データベースから抽出された道路形状と撮影された画像データの一例を示す図である。 地図データベースから抽出された道路形状と撮影された画像データの一例を示す図である。 画像処理システムが信号機を認識する処理の手順を示すフローチャート図である。 従来の画像処理方法と信号機の位置を推定して認識枠を設定した場合の画像処理時間を比較したものである。 実施例２における画像処理システムの全体構成図の一例を示す。 画像処理システムが信号機を認識する処理の手順を示すフローチャート図である。 ステップ数と信号機の座標位置（緯度、経度、標高）の演算結果の一例を示す。 片側一車線の道路において車両から撮影された交差点の画像データである。 幅員の大きい道路において車両から撮影された交差点の画像データである。 曲率のある道路において車両から撮影された交差点の画像データである。 勾配のある道路において車両から撮影された交差点の画像データである。

符号の説明

１ 画像処理システム
２ ＧＰＳ／ＩＮＳ装置
３ 地図データベース
４ 前方認識装置
５ 画像処理装置
６ 出力装置
７ 信号機位置予測部
８ 画像処理領域演算部
９ 信号機検出部
１０ 空間モデルデータベース
１１ 信号機位置演算部

Claims (4)

1. 車両の走行方向前方を認識する前方認識装置と、
   車両の位置及び姿勢を検出する車両位置検出装置と、
   道路地図を格納した地図データベースと、
   前記車両位置検出装置が取得した車両位置に応じて前記地図データベースから抽出した走行方向前方の交差点形状に基づき交通用表示器の位置を予測する表示器位置予測部と、
   前記前方認識装置が撮影した画像データに、前記表示器位置予測部が予測した前記交通用表示器の位置に基づき画像処理領域を決定する画像処理領域演算部と、
   前記画像処理領域演算部が決定した画像処理領域から前記交通用表示器を検出する交通用表示器検出部と、を有し、
   前記表示器位置予測部は、
   前記車両位置検出装置が取得した車両位置に応じて前記地図データベースから抽出した走行方向前方に存在する交差点の手前の道路の曲率又は交差点の手前の勾配の勾配率から前記交通用表示器の位置を算出する、
   ことを特徴とする画像処理システム。
2. 車両の走行方向前方を認識する前方認識装置と、
   車両の位置及び姿勢を検出する車両位置検出装置と、
   道路地図を格納した地図データベースと、
   前記車両位置検出装置が取得した車両位置に応じて前記地図データベースから抽出した走行方向前方の交差点形状に基づき交通用表示器の位置を予測する表示器位置予測部と、
   前記前方認識装置が撮影した画像データ内に、前記表示器位置予測部が予測した前記交通用表示器の位置に基づき画像処理領域の配置を決定する画像処理領域演算部と、
   前記画像処理領域演算部が決定した画像処理領域から前記交通用表示器を検出する交通用表示器検出部と、を有し、
   前記表示器位置予測部は、
   前記車両位置検出装置が取得した車両位置に応じて前記地図データベースから抽出した走行方向前方に存在する交差点の手前の道路の曲率又は交差点の手前の勾配の勾配率から前記交通用表示器の位置を算出する、
   ことを特徴とする画像処理システム。
3. 前記交差点形状に応じて、前記表示器位置予測部は、
   ａ）走行している道路の道路上
   ｂ）交差点の手前及び奥
   ｃ）交差する道路の幅員の手前及び奥
   ｄ）各コーナから所定の範囲内の位置
   ｅ）カーブの曲率に応じて定まる距離手前の位置
   ｆ）勾配率に応じて定まる距離手前の位置
   ｇ）走行している道路の略中央
   のいずれかの位置に前記交通用表示器があると予測する、
   ことを特徴とする請求項１又は２項記載の画像処理システム。
4. 前記車両位置検出装置が検出した車両の位置及び姿勢、並びに、前記交通用表示器検出部が検出した画像データにおける前記交通用表示器の位置に基づき当該交通用表示器の座標位置を推定する表示器位置演算部に、前記表示器位置予測部が予測した前記交通用表示器の位置を初期値として設定する、
   ことを特徴とする請求項１〜３いずれか１記載の画像処理システム。