JP6822815B2 - 道路標示認識装置 - Google Patents

Description

本発明は、自車両が走行している道路の路面の道路標示を認識する道路標示認識装置の技術分野に関する。

この種の装置として、例えば、路面を撮像した画像から道路標示の複数の特徴部位を検出し、各特徴部位の検出自信度が閾値よりも高い場合に検出対象の道路標示を認識したと判定し、検出自信度が閾値よりも低い特徴部位については検出条件を変更して再検出を行う装置が提案されている（特許文献１参照）。また、自車両の周辺に認識対象の道路標示と形状が類似している道路標示があるか否かに応じて、例えば検出すべき特徴量の数等の道路標示認識に係る判定条件を変更する装置が提案されている（特許文献２参照）。

特開２０１０−１０８０４９号公報 特開２００９−１３９３０６号公報

上述の背景技術では、自車両が比較的高速で走行している場合、例えば複数の特徴部位を検出したり、再検出を行ったりすること等に起因して、道路標示の認識処理に係る演算負荷が高くなる可能性があるという技術的問題点がある。

本発明は、上記問題点に鑑みてなされたものであり、演算負荷を抑制しつつ、認識精度を向上することができる道路標示認識装置を提供することを課題とする。

本発明の道路標示認識装置は、上記課題を解決するために、自車両が走行している道路の路面を撮像した画像から道路標示を認識する認識処理を実行可能な道路標示認識装置であって、前記自車両の位置である自車位置を検出する検出手段と、地図情報を記憶する第１記憶手段と、（ｉ）各道路標示の位置を示す位置情報、及び、（ｉｉ）認識対象の道路標示の複数の特徴部位の一部に対応する一又は複数の第１のテンプレートと、前記複数の特徴部位の他の一部に対応し、前記第１のテンプレートとは種別の異なる複数の第２のテンプレートとを含んでなるテンプレートセットを記憶する第２記憶手段と、前記検出された自車位置、前記地図情報及び前記位置情報に基づいて、自車両と一の道路標示との間の距離が所定の範囲内である場合に、前記一の道路標示を認識対象とした前記認識処理として、（ｉ）前記画像から、前記一の道路標示に係る前記一又は複数の第１のテンプレートに対応する特徴部位の検出を行い、（ｉｉ）前記画像から前記一又は複数の第１のテンプレートの少なくとも一つに対応する特徴部位が検出されたことを条件に、前記複数の第２のテンプレートのうち、前記検出された特徴部位よりも前記自車両の進行方向前側に位置する一又は複数の第２のテンプレートに対応する特徴部位の検出を行う認識手段と、を備え、前記一又は複数の第１のテンプレートと前記複数の第２のテンプレートとは、互いの相対的な位置関係が既知であり、且つ、前記複数の第２のテンプレートは、前記認識対象の道路標示が設けられている車線に係る進行方向において、前記一又は複数の第１のテンプレートより奥側に位置しており、前記一又は複数の第１のテンプレート各々は、前記画像から対応する特徴部位が検出されることにより、前記認識手段に前記画像から前記複数の第２のテンプレートの少なくとも一つに対応する特徴部位の検出を開始させるテンプレートであり、前記認識対象の道路標示は、複数の数字の組合せからなるパターンであり、前記一又は複数の第１のテンプレートには、前記パターンを構成する複数の数字のうち一の数字に係る特徴部位の一部にのみ対応するテンプレートが含まれており、前記複数の第２テンプレートには、前記パターンを構成する複数の数字のうち一の数字に係る特徴部位の一部にのみ対応するテンプレートが含まれている。

当該道路標示認識装置は、路面を撮像した画像から、認識対象の道路標示の複数の特徴部位うち一の特徴部位が検出されたことを条件に（即ち、第１のテンプレートに対応する特徴部位が検出されたことを条件に）、該検出された一の特徴部位との相対的な位置関係が既知である他の特徴部位（即ち、第２のテンプレートに対応する特徴部位）の検出が行われる。つまり、当該道路標示認識装置は、道路標示全体を一度に認識しようとはせず、路面を撮像した画像から、認識対象の道路標示の一部に対応する部分を検出し、該部分が検出されたことを条件に、認識対象の道路標示の他の部分に対応する部分を検出する。従って、当該道路標示認識装置によれば、道路標示全体を一度に認識しようとする場合に比べて、認識処理に係る演算負荷を低減することができる。

加えて、例えば道路標示の一部が擦れていたり、建物等の影が道路標示の一部にかかっていたりする等の外乱が存在する場合であっても、当該道路標示認識装置は部分的（局所的）な特徴部位に着目するために、外乱の影響を全く又は殆ど受けることなく、認識処理を行うことができる。このため、当該道路標示認識装置によれば、道路標示全体を一度に認識しようとする場合に比べて、認識処理の精度を向上させることができる。

本発明の道路標示認識装置の一態様では、前記認識手段は、前記一又は複数の第２のテンプレートに対応する特徴部位が検出されたことを条件に、前記認識対象の道路標示を認識したと判定する。当該道路標示認識装置は、互いの相対的な位置関係が既知であるテンプレートを用いて認識対象の道路標示の検出を行っている。このため、検出された第１及び第２のテンプレート各々に対応する特徴部位間の相対的な位置関係も、第１及び第２のテンプレート間の相対的な位置関係と同じである。このため、第１及び第２のテンプレートに夫々対応する二つの特徴部位が検出された場合、認識対象の道路標示が認識された可能性は比較的高いと考えられる。従って、この態様によれば、比較的容易にして、演算負荷を抑制しつつ、認識処理の精度を向上させることができる。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

実施形態に係る車両の構成を示すブロック図である。 実施形態に係る道路標示認識を実現する構成を示すブロック図である。 実施形態に係るテンプレートの一例を示す図である。 実施形態に係るセットテンプレートを用いたマッチング方法を示す概念図である。 実施形態に係る道路標示認識処理の一部を示すフローチャートである。 図５に示すフローチャートに続く工程の一部を示すフローチャートである。 図５に示すフローチャートに続く工程の他の部分を示すフローチャートである。 図６及び図７に示すフローチャートに続く工程を示すフローチャートである。

本発明の道路標示認識装置に係る実施形態について、図１乃至図８を参照して説明する。以下の実施形態では、本発明の道路標示認識装置が搭載された車両Ｍを用いて説明を進める。

（車両の構成）
車両Ｍの構成について、図１を参照して説明する。図１は、実施形態に係る車両の構成を示すブロック図である。

図１において、車両Ｍは、車両制御装置１を備えて構成されている。車両制御装置１は、車両Ｍの走行を制御する。具体的には例えば、車両制御装置１は、地図情報に基づく車両Ｍの現在位置から目的地までの経路に沿って、自動運転により走行するように車両Ｍを制御する。

車両制御装置１は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２、外部センサ３、内部センサ４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部５、地図関連情報提供部６及びアクチュエータ７を備えて構成されている。

外部センサ３は、カメラ３１及びレーダ３２を有している。カメラ３１は、例えば車両Ｍのフロントガラスの裏側及び車両Ｍの後面に設けられている。カメラ３１は、車両Ｍの前方及び後方に関する撮像情報をＥＣＵ２へ送信する。尚、カメラ３１は、単眼カメラであってもよいし、ステレオカメラであってもよい。カメラ３１がステレオカメラである場合には、撮像情報に視差情報（即ち、距離情報）が含まれてよい。

レーダ３２は、例えばミリ波等の電波を利用して車両Ｍの外部の障害物（例えば、他車両、歩行者、自転車、構造物等）を検出する。レーダ３２は、検出した障害物を示す障害物情報をＥＣＵ２へ送信する。尚、レーダ３２に代えて、光を利用するライダ（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）が用いられてもよい。

内部センサ４は、車両Ｍの走行状態を検出する検出機器である。内部センサ４は、例えば車速センサ、加速度センサ、ヨーレートセンサ等を有する。内部センサ４は、例えば車速、加速度、ヨーレート等を示す情報をＥＣＵ２へ送信する。

ＧＰＳ受信部５は、３個以上のＧＰＳ衛生から信号を受信することにより、車両Ｍの位置（例えば車両Ｍの緯度及び経度）を測定する。ＧＰＳ受信部５は、測定した車両Ｍの位置を示す位置情報をＥＣＵ２へ送信する。

地図関連情報提供部６は、車両Ｍに搭載されている情報提供システムである。地図関連情報提供部６は、ＥＣＵ２からの要求により、例えば地図情報、操舵変更ポイント、車速目標ポイントに関するデータをＥＣＵ２に送信する。ここで、操舵変更ポイント及び車速目標ポイント各々は、地図情報に関連付けられている。操舵変更ポイントとは、車線上で車両Ｍの操舵変更が設定される箇所（例えばカーブ、交差点等）を意味する。車速目標ポイントとは、車線上で車両Ｍの目標車速が設定された箇所（例えば一時停止線や横断歩道が設置されている地点等）を意味する。

地図関連情報提供部６は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、地図情報記憶部６１、ポイント情報記憶部６２及びターゲット記憶部６３を有している。

地図情報記憶部６１は、地図情報を記憶するデータベースである。ポイント情報記憶部６２は、地図情報に関連付けられた操舵変更ポイント及び車速目標ポイントを記憶するデータベースである。

ターゲット記憶部６３は、ランドマークターゲットに関するターゲット情報を記憶するデータベースである。ターゲット情報には、ランドマークターゲットの位置情報（例えば車線に応じた車線進行距離の情報）、ランドマークターゲットの検出特徴情報が含まれる。

ランドマークターゲットの検出特徴情報とは、カメラ３１及びレーダ３２によるランドマークターゲットの検出に用いられる情報である。検出特徴情報には、例えばカメラ３１による検出で用いられる形状情報、レーダ３２による検出で用いられる反射特性情報等が含まれる。

尚、地図関連情報提供部６は、外部の情報管理センタ等の施設のコンピュータと無線通信を行う機能を有していてもよい。この場合、地図関連情報提供部６は、必要に応じて無線通信を行うことにより、地図情報、操舵変更ポイント及び車速目標ポイントを更新することができる。

アクチュエータ７は、車両Ｍの走行を制御する装置である。アクチュエータ７は、例えばスロットルアクチュエータ、ブレーキアクチュエータ、操舵アクチュエータ等を有する。

（車両制御装置による自動運転の概要）
上述の如く構成された車両制御装置１が実施する車両Ｍの自動運転の概要について説明する。

車両制御装置１は、車両Ｍが走行すべき経路が設定された場合、地図情報、操舵変更ポイント及び車速目標ポイントに基づいて、車両Ｍの走行に用いる車線走行マップデータを生成する。「経路」は、車両Ｍが現在位置から目的地に至るために走行する道路（車線）から構成される。経路は、車両Ｍの運転者により手動で設定されてもよいし、車両制御装置１により自動で設定されてもよい。

車線走行マップデータは、経路に沿って走行する車両Ｍの目標位置の情報、目標向きの情報及び目標車速の情報を含んでいる。車線走行マップデータは、車線毎に生成される。車線走行マップデータは、車線進入位置から車両Ｍが当該車線を進行する距離である車線進行距離を基準として生成される。

車線走行マップデータには、例えばウェイポイントマップ、ランドマークマップ及びコントロールターゲットマップが含まれる。ウェイポイントマップは、経路に沿って走行する車両Ｍの目標位置及び目標向きに関するデータ配列である。ここで、地図情報上において目標位置及び目標向きが関連付けられた地点をウェイポイントと呼ぶ。ウェイポイントマップは、車線毎の車線進行距離を基準として、一定距離毎にウェイポイントが設定されたデータ配列となる。

車両制御装置１は、車両Ｍの走行中に、車両Ｍの経路、車両Ｍの現在値及び操舵変更ポイントを用いてウェイポイントマップの動的な生成を行う。尚、車両制御装置１は、経路を構成する車線のうち操舵変更ポイント以外は直線形状であると仮定して、ウェイポイントマップを生成する。つまり、ウェイポイントマップは、操舵変更ポイント以外の箇所においては、車線に沿って直線状に連なるウェイポイントから構成される。

ランドマークマップは、車両Ｍの位置補正に用いるランドマークターゲットに関するデータ配列である。ランドマークターゲットとは、車線に対し位置が固定された検出対象である。ランドマークターゲットには、路面上に描かれた、例えば数字やダイヤマーク等の道路標示が含まれる。ランドマークターゲットには、他にも、例えばガードレール等の道路脇の構造物が含まれる。車両制御装置１は、例えばカメラ３１によりランドマークターゲットが検出された場合、ランドマークターゲットと車両Ｍとの距離に基づき、地図情報上におけるランドマークターゲットの位置を基準として車両Ｍの位置を補正する。

コントロールターゲットマップは、経路に沿って走行する車両Ｍの目標車速に関するデータ配列である。コントロールターゲットマップは、例えば、車線毎の車速目標ポイントを車線進行距離に応じて並べたデータ配列である。

車両制御装置１は、生成された車線走行マップデータに基づいて、車両Ｍを制御することによって経路に沿った車両Ｍの走行を実現する。具体的には、車両制御装置１は、ウェイポイントマップに基づいて、車両Ｍの操舵を制御しつつ、ウェイポイントマップ及びコントロールターゲットマップに基づいて、車両Ｍの車速を制御する。

（ＥＣＵの構成）
車両制御装置１において、当該車両制御装置１を統括的に制御するＥＣＵ２は、車両Ｍの自動運転を実現するために、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、位置検出部２１、ターゲット検出部２２、ターゲット距離検出部２３、位置補正部２４、進行方向検出部２５、車線進行距離算出部２６、データ生成部２７、前方注視点算出部２８及び車両制御部２９を有する。

位置検出部２１は、車両Ｍの位置を検出する。位置検出部２１は、例えばＧＰＳ受信部５の測定した車両Ｍの位置情報に基づいて、既存の方法により、車線に応じた車両Ｍの位置を検出する。位置検出部２１は、カメラ３１の撮像情報に基づいて、車両Ｍが走行する車線に係る白線を認識することにより、車両Ｍの横位置（即ち、車線の幅方向における位置）を検出してもよい。

ターゲット検出部２２は、外部センサ３の検出結果と地図関連情報提供部６のターゲット情報に基づいて、具体的にはターゲット記憶部６３のターゲット情報を参照して、カメラ３１の撮像情報及びレーダ３２の障害物情報の少なくとも一方から、車両Ｍの前後のランドマークターゲットを検出する。

ターゲット距離検出部２３は、ターゲット検出部２２がランドマークターゲットを検出した場合、ランドマークターゲットと車両Ｍとの距離を検出する。

位置補正部２４は、ターゲット距離検出部２３がランドマークターゲットと車両Ｍとの距離を検出した場合、ランドマークターゲットと車両Ｍとの距離と、地図情報におけるランドマークターゲットの位置とに基づいて、該ランドマークターゲットの位置（この場合、ｘｙ座標上の位置として表される）を基準として、位置検出部２１の検出した車両Ｍの位置情報の補正を行う。位置補正部２４は、更に、ランドマークターゲットと車両Ｍとの距離と、地図情報におけるランドマークターゲットの位置とに基づいて、該ランドマークターゲットの位置（この場合、車線進行距離として表される）を基準として、車線進行距離算出部２６により算出された車線進行距離を補正する。

進行方向検出部２５は、内部センサ４のヨーレート情報及び位置検出部２１により検出された車両Ｍの位置情報の時間変化の少なくとも一方に基づいて、車両Ｍの進行方向を検出する。

車線進行距離算出部２６は、位置検出部２１により検出された車両Ｍの位置情報に基づいて、走行中の車線における車両Ｍの車線進行距離の候補となる第１車線進行距離候補を算出する。車線進行距離算出部２６は、更に、走行中の車線の車線進入位置から現在値までの内部センサ４の車速情報に基づいて、車線進行距離の候補となる第２車線進行距離候補を算出する。

車線進行距離算出部２６は、第１車線進行距離候補と第２車線進行距離候補との差分が所定閾値以上であるか否かを判定する。車線進行距離算出部２６は、上記差分が所定閾値以上ではないと判定された場合、第１車線進行距離候補を車線進行距離とする。他方、車線進行距離算出部２６は、上記差分が所定閾値以上であると判定された場合、第２車線進行距離候補を車線進行距離とする。

データ生成部２６は、車線走行マップデータを生成する。データ生成部２６は、車線走行マップデータを生成するために、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、ウェイポイントマップ生成部２７１、ランドマークマップ生成部２７２及びコントロールターゲットマップ生成部２７３を有する。

ウェイポイントマップ生成部２７１は、車両Ｍの経路及び車両Ｍの位置（現在地）に基づいて、地図関連情報提供部６のポイント情報記憶部６２の操舵変更ポイントを参照して、ウェイポイントマップを生成する。ランドマークマップ生成部２７２は、車両Ｍの経路及び車両Ｍの位置（現在地）に基づいて、地図関連情報提供部６のターゲット記憶部６３のターゲット情報を参照して、ランドマークターゲットに関するランドマークマップを生成する。コントロールターゲットマップ生成部２７３は、車両Ｍの経路及び車両Ｍの位置（現在地）に基づいて、ポイント情報記憶部６２の車速目標ポイントを参照して、コントロールターゲットマップを生成する。

前方注視点算出部２８は、内部センサ４の車速情報に基づいて、車両Ｍの前方注視点を算出する。前方注視点とは、車両Ｍの前方に設定された地点であり、例えば運転者が車両Ｍを手動で運転する場合に注視する地点に相当する地点である。前方注視点算出部２８は、車両Ｍの車速が大きくなるほど、車両Ｍから離れた前方の位置に前方注視点を設定する。

車両制御部２９は、車両Ｍの位置、車両Ｍの車線進行距離、ウェイポイントマップ及び前方注視点に基づいて、車両Ｍの操舵制御を行う。車両制御部２９は、車両Ｍの位置、車両Ｍの車線進行距離、ウェイポイントマップ及びコントロールターゲットマップに基づいて、車両Ｍの車速制御を行う。

尚、車両制御装置１による車両Ｍの自動運転の詳細については、本願出願人による特許願（特願２０１５−１００２８７）を参照されたし。

（道路標示認識）
本発明に係る道路標示認識装置の一具体例としての、ターゲット検出部２２による、ランドマークターゲットの一例としての道路標示の認識（検出）方法について説明する。

道路標示は、上述の如く、車両Ｍの位置の補正に用いられる。走行している車両Ｍの現在値は時々刻々と変化するので、道路標示が比較的速やかに認識されることが求められる。加えて、車両Ｍの位置の補正に用いることができる程度の認識精度が求められる。他方で、道路標示認識を行うターゲット検出部２２への要求性能が比較的高くなると、例えばコストの増大を招いてしまう。

従って、道路標示の認識に係る処理には、要求される認識精度を満たすと共に、処理負荷（演算負荷）を抑制しつつ比較的高速に道路標示を認識できる処理であることが求められる。そこで、本実施形態に係る道路標示認識では、認識対象の道路標示の局所的な（部分的な）特徴に着目した道路標示の認識が行われる。具体的には、認識対象の道路標示の局所的な特徴を示す画像パターン（即ち、テンプレート）を用いたテンプレートマッチングにより道路標示の認識が行われる。

ここで、認識対象である道路標示は、その大きさ及び形状が法令で定められている。加えて、車両Ｍが道路標示を通過する方向はほぼ一定である。つまり、道路標示の認識に当たり認識対象の大きさや向きの変化は考慮しなくてよい。このため、テンプレートマッチングは道路標示の認識に適した認識方法であると言える。

道路標示認識のための構成
先ず、道路標示認識（更には、車両Ｍの位置補正）を行うための構成について、図２を参照して説明する。図２は、実施形態に係る道路標示認識を実現する構成を示すブロック図である。図２において、矢印は情報の流れを示している。

図２において、ターゲット検出部２２は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、システム起動部２２０１、歪み補正部２２０２、投影変換部２２０３、マッチング部２２０４、２２０６及び２２０８、検出信頼度算出部２２０５及び２２０９、マッチング範囲算出部２２０７並びに検出結果選択部２２１０を有する。

ターゲット距離検出部２３は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、自車−標示間距離算出部２３０１及び誤差補正部２３０２を有する。位置補正部２４は、その内部に論理的に実現される処理ブロックとして又は物理的に実現される処理回路として、自車位置算出部２４０１を有する。

ターゲット検出部２２のシステム起動部２２０１は、位置補正部２４により補正された車両Ｍの位置情報と、ランドマークマップ生成部２７２により生成されたランドマークマップに含まれるランドマークターゲットとしての道路標示とに基づいて、認識対象の道路標示から所定の範囲内に車両Ｍが入ったことを条件に、道路標示の検出システム（言い換えれば、検出プログラム）を起動する。

歪み補正部２２０２は、カメラ３１の撮像情報から得られる画像に対し、例えばターゲット記憶部６３に相当する記憶部６３０１に予め記憶されている歪み補正係数に基づいて、既存の方法により画像の歪みを補正する。投影変換部２２０３は、歪み補正部２２０２により歪みが補正された画像に対し、記憶部６３０１に予め記憶されている投影変換パラメータに基づいて、既存の方法により投影変換を行い、道路真上から鳥瞰した画像を生成する。投影変換部２２０３により生成された画像を、以降、適宜「探索対象画像」と称する。

ここで、歪み補正部２２０２及び投影変換部２２０３は、システム起動部２２０１により検出システムが起動された後は、カメラ３１の撮像情報から逐次得られる複数の画像各々に対して、逐次、歪み補正及び投影変換を行う。この結果、探索対象画像が逐次生成されることとなる。尚、「歪み補正係数」及び「投影変換パラメータ」は、例えばカメラ３１に係るキャリブレーション結果等に基づいて求めればよい。

記憶部６３０１には、ランドマークターゲットの検出特徴情報として、認識対象の道路標示の局所的な特徴を示す画像パターンであるテンプレートが予め記憶されている。ここで、本実施形態に係るテンプレートについて、図３を参照して説明する。図３は、実施形態に係るテンプレートの一例を示す図である。図３では、道路標示の一例として「最高速度４０ｋｍ」（図３（ａ））及び「横断歩道又は自転車横断帯あり」（図３（ｂ））を挙げているが、これに限定されないことは言うまでもない。

図３（ａ）上段において、道路標示（最高速度４０ｋｍ）のうち点線で囲まれた部分が、該道路標示の特徴的な部位である。この結果、図３（ａ）下段に示す、５つの画像４０＿１〜４０＿５がテンプレートとして設定される。同様に、図３（ｂ）上段において、道路標示（横断歩道又は自転車横断帯あり）のうち点線で囲まれた部分が、該道路標示の特徴的な部位である。この結果、図３（ｂ）下段に示す、４つの画像ｄｉａ＿１〜ｄｉａ＿４がテンプレートとして設定されている。

テンプレートは、次の４つの条件、即ち、（ｉ）直線等の単純な部位ではなく、幾何学的に特徴のある部位であること、（ｉｉ）一の道路標示についての複数のテンプレートが、該一の道路標示全体にまんべんなく分布していること、（ｉｉｉ）摩耗による道路標示の劣化の影響を抑制するため、タイヤの通過機会が少ないと考えられる部位を含めること、（ｉｖ）道路標示の敷設の際に塗料が重なる部位を含めること、を満たすように設定されることが望ましい。

本実施形態では、一の道路標示についての複数のテンプレート各々に、次の３種類の役割、即ち、（ｉ）ダイレクトテンプレート、（ｉｉ）トリガテンプレート及び（ｉｉｉ）セットテンプレート、のうち少なくとも一つの役割を持たせている。

ダイレクトテンプレートとは、テンプレートとして設定された画像に含まれる特徴部位のみで、一の道路標示を特定可能なテンプレートを意味する。トリガテンプレート及びセットテンプレートは、テンプレート間の相対的な位置関係が既知のテンプレートである。トリガテンプレートは、そのテンプレートが検出されることにより、セットテンプレートの検出が開始されるテンプレートを意味する。トリガテンプレートは、典型的には、道路標示のうち前進走行する車両が接近する側の特徴部位を含むテンプレート（例えば画像４０＿１、画像ｄｉａ＿４）である。セットテンプレートとは、テンプレート間の相対的な位置関係を用いて検出されるテンプレートを意味する。セットテンプレートは、道路標示のうち、トリガテンプレートに対応する特徴部位よりも車両の進行方向前方に位置する特徴部位を含むテンプレート（例えば画像４０＿２〜４０＿５、画像ｄｉａ＿１〜ｄｉａ＿３）である。トリガテンプレート又はセットテンプレートとして用いられる画像が、ダイレクトテンプレートとして用いられてもよい。

再び図２に戻り、マッチング部２２０４は、認識対象の道路標示に対応するダイレクトテンプレートを記憶部６３０１から取得して、該取得されたダイレクトテンプレートによるマッチングを行う。

ランドマークマップ生成部２７２により生成されるランドマークマップは、上述の如く、ランドマークターゲット（ここでは、道路標示）に関するデータ配列である。つまり、マッチング部２２０４は、認識すべき道路標示に関するデータ（例えば種別等）を予め取得している。このため、マッチング部２２０４は、例えば認識すべき道路標示が「最高速度４０ｋｍ」である場合には、「最高速度４０ｋｍ」に係るダイレクトテンプレートのみを記憶部６３０１から取得する。（後述のマッチング部２２０６及び２２０８についても同様）
尚、テンプレートマッチングは、例えば、輝度に基づいてテンプレートと探索対象画像との相関度を算出する相関度算出方法や、エッジ特徴量に基づくマッチング方法等の既存の方法により行われてよい。テンプレートマッチングにおいてマッチングしたか否かを判定するための閾値は、例えば天候や時間帯等の複数の状況に夫々対応可能なように複数用意されていることが望ましい。

検出信頼度算出部２２０５は、ダイレクトテンプレートによるマッチングが成功した場合に、マッチング結果の信頼度を算出する。「信頼度」は、テンプレートマッチングに相関度算出方法が用いられた場合には、例えば“信頼度＝相関度／所定閾値”とされてよい。

マッチング部２２０６は、認識対象の道路標示に対応するトリガテンプレートを記憶部６３０１から取得して、該取得されたトリガテンプレートによるマッチングを行う。

マッチング範囲算出部２２０７は、マッチング部２２０６によるマッチングが成功した場合に、上記トリガテンプレートと、認識対象の道路標示に対応するセットテンプレートとの相対的な位置関係に基づいて、セットテンプレートを探索する範囲を設定する。

マッチング部２２０８は、認識対象の道路標示に対応するセットテンプレートを記憶部６３０１から取得して、該取得されたセットテンプレートによるマッチングを、マッチング範囲算出部２２０７により設定された範囲内で行う。

検出信頼度算出部２２０９は、セットテンプレートによるマッチングが成功した場合に、マッチング結果の信頼度を算出する。

ここで、セットテンプレートを用いたマッチングについて、図４を参照して説明を加える。図４は、実施形態に係るセットテンプレートを用いたマッチング方法を示す概念図である。図４において、車両Ｍは、図面下から上に向かって走行しているものとする。

図３（ａ）の画像４０＿１がトリガテンプレートであり、図３（ａ）の画像４０＿２〜４０＿５がセットテンプレートであるとする。図４では、画像４０＿１を“ＧｒｏｕｐＡ”、画像４０＿３及び４０＿４を“ＧｒｏｕｐＢ”、画像４０＿２及び４０＿５を“ＧｒｏｕｐＣ”としている。

図４（ａ）において、マッチング部２２０６により、一の探索対象画像から、トリガテンプレートとしての画像４０＿１に対応する特徴部位が検出された場合、マッチング範囲算出部２２０７は、トリガテンプレートとしての画像４０＿１とＧｒｏｕｐＢに含まれるセットテンプレート（即ち、画像４０＿３及び４０＿４）との相対的な位置関係に基づいて、車両Ｍの進行方向（即ち、図４の下から上に向かう方向）のＧｒｏｕｐＢの探索範囲、及びトリガテンプレートとしての画像４０＿１とＧｒｏｕｐＣに含まれるセットテンプレート（即ち、画像４０＿２及び４０＿５）との相対的な位置関係に基づいて、車両Ｍの進行方向のＧｒｏｕｐＣの探索範囲を決定する。

マッチング部２２０８は、ＧｒｏｕｐＢの探索範囲について、道路標示のうちＧｒｏｕｐＢの探索範囲に対応する部分を含む探索対象画像（上記一の探索対象画像と同一とは限らない）に対し、セットテンプレートとしての画像４０＿３及び４０＿４を用いてマッチングを行う。マッチング部２２０８は、ＧｒｏｕｐＣの探索範囲について、道路標示のうちＧｒｏｕｐＣの探索範囲に対応する部分を含む探索対象画像（上記一の探索対象画像と同一とは限らない）に対し、セットテンプレートとしての画像４０＿２及び４０＿５を用いてマッチングを行う。

例えば、探索対象画像から画像４０＿２に対応する特徴部位が検出された場合、マッチング部２２０８は、トリガテンプレートとしての画像４０＿１とセットテンプレートとしての画像４０＿２との相対的な位置関係に基づいて、検出された特徴部位の車両Ｍの幅方向（即ち、図４の左右方向）の位置が妥当であるか否かを判定する。具体的には、マッチング部２２０８は、図４（ｂ）の“４０＿２の存在許容範囲”内に検出された特徴部位が存在するか否かを判定する。

“４０＿２の存在許容範囲”内に検出された特徴部位が存在する場合のみ、セットテンプレートとしての画像４０＿２によるマッチングが真に成功したことになる。仮に、図４（ｂ）の点線枠ｗ１又はｗ２で囲まれた範囲に、検出された特徴部位が存在したとしても、その特徴部位は、トリガテンプレートとしての画像４０＿１とセットテンプレートとしての画像４０＿２との相対的な位置関係を満たさないので、検出された特徴部位は見せかけのマッチングによるものであると言える。

尚、本実施形態では、セットテンプレートとしての画像４０＿２〜４０＿５の少なくとも一つに対応する特徴部位が検出された場合に、セットテンプレートによるマッチングが成功したと判定される。

再び図２に戻り、検出結果選択部２２１０は、検出信頼度算出部２２０５及び２２０９各々により算出された信頼度を比較して、信頼度の最も高いマッチング結果を選択する。

ターゲット距離検出部２３の自車−標示間距離算出部２３０１は、検出結果選択部２２０１により選択されたマッチング結果に基づいて、記憶部６３０１に予め記憶されている座標変換のためのパラメータを用いた座標変換により、車両Ｍの重心と道路標示の中心との距離を算出する。

誤差補正部２３０２は、マッチング対象の画像（即ち、探索対象画像の元の画像）が撮像された時刻と、現在時刻と、内部センサ４から取得した車速情報とに基づいて、道路標示認識に係る処理等が行われた期間に車両Ｍが移動した距離を算出して、自車−標示間距離算出部２３０１により算出された距離を補正する。例えば、車両Ｍが時速３６ｋｍで走行しており、道路標示認識に０．１秒かかった場合の車両Ｍの移動距離は１ｍとなる。誤差補正部２３０２により該移動距離が考慮されることにより、車両制御装置１による車両Ｍの自動運転が適切に行われるのである。

位置補正部２４の自車位置算出部２４０１は、誤差補正部２３０２により補正された車両Ｍの重心と道路標示の中心との距離と、地図情報におけるランドマークターゲット（ここでは、道路標示）の位置とに基づいて、地図上における車両Ｍの重心位置を算出する。該算出された車両Ｍの重心位置が、位置補正部２４により補正された車両Ｍの位置情報に相当する。

道路標示認識処理
次に、道路標示認識処理について、図５乃至図８のフローチャートを参照して説明する。

図５において、ターゲット検出部２２のシステム起動部２２０１は、ランドマークマップ生成部２７２により生成されたランドマークマップに含まれるランドマークターゲットとしての道路標示のうち、車両Ｍの現在地に最も近い道路標示に係る情報（例えば、位置及び種別）を取得する（ステップＳ１０１）。ステップＳ１０１の処理と並行して、システム起動部２２０１は、位置補正部２４により補正された車両Ｍの位置情報（即ち、前回処理により求められた車両Ｍの位置情報）を取得する（ステップＳ１０２）。

次に、システム起動部２２０１は、認識すべき道路標示に係る情報と車両Ｍの位置情報に基づいて、車両Ｍと認識すべき道路標示との間の距離が設定条件を満たすか否か（即ち、認識すべき道路標示から所定の範囲内に車両Ｍが入ったか否か）を判定する（ステップＳ１０３）。この判定において、設定条件を満たしていないと判定された場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０２の処理が再び行われる。

他方、ステップＳ１０３の判定において、設定条件を満たすと判定された場合（ステップＳ１０３：Ｙｅｓ）、システム起動部２２０１は、道路標示の検出システムを起動する（ステップＳ１０４）。

次に、歪み補正部２２０２は、カメラ３１の撮像情報から撮像画像を取得する（ステップＳ１０５）。続いて、歪み補正部２２０２は、記憶部６３０１に予め記憶されている歪み補正係数を呼び出し（ステップＳ１０６）、撮像画像の歪みを補正する（ステップＳ１０７）。

次に、投影変換部２２０３は、記憶部６３０１から投影変換パラメータを呼び出し（ステップＳ１０８）、歪み補正部２２０２により歪みが補正された画像に対し投影変換を行い、探索対象画像を生成する（ステップＳ１０９）。尚、「道路標示認識のための構成」で述べたように、探索対象画像は逐次生成される。つまり、検出システムが起動された後は、ステップＳ１０５〜Ｓ１０９の処理が、ステップＳ１１０以降の処理の状況によらずに繰り返し行われる。

次に、マッチング部２２０４は、記憶部６３０１から、認識すべき道路標示に対応するダイレクトテンプレートを呼び出す。マッチング部２２０６は、記憶部６３０１から、認識すべき道路標示に対応するトリガテンプレートを呼び出す（ステップＳ１１０）。

図６において、マッチング部２２０４は、ダイレクトテンプレートを用いたマッチングに成功したか否かを判定する（ステップＳ１１１）。この判定において、マッチングに成功していないと判定された場合（ステップＳ１１１：Ｎｏ）、後述するステップＳ１２６の処理（図８参照）が行われる。

他方、ステップＳ１１１の判定において、マッチングに成功したと判定された場合（ステップＳ１１１：Ｙｅｓ）、マッチング部２２０４は、探索対象画像のうちダイレクトテンプレートに対応する特徴部位として検出された部分を、検出信頼度算出部２２０５に示す（ステップＳ１１２）。

次に、検出信頼度算出部２２０５は、マッチング部２２０４によるマッチング結果の信頼度を算出する（ステップＳ１１３）。その後、後述するステップＳ１２６の処理（図８参照）が行われる。

図７において、マッチング部２２０６は、トリガテンプレートを用いたマッチングに成功したか否かを判定する（ステップＳ１１４）。この判定において、マッチングに成功していないと判定された場合（ステップＳ１１４：Ｎｏ）、後述するステップＳ１２６の処理（図８参照）が行われる。尚、トリガテンプレートによるマッチングに用いられる探索対象画像は、ダイレクトテンプレートによるマッチングに用いられる探索対象画像と同じとは限らない。

ステップＳ１１４の判定において、マッチングに成功したと判定された場合（ステップＳ１１４：Ｙｅｓ）、マッチング範囲算出部２２０７は、トリガテンプレートとセットテンプレートとの相対的な位置関係に基づいて、セットテンプレートを探索する縦方向（即ち、車両Ｍの進行方向）の探索範囲を設定する（ステップＳ１１５）。

ステップＳ１１５の処理と並行して、マッチング部２２０６は、探索対象画像のうちトリガテンプレートに対応する特徴部位として検出された部分を、マッチング部２２０８に示す（ステップＳ１１６）。マッチング部２２０８は、トリガテンプレートに対応する特徴部位が検出された時刻を記録する（ステップＳ１１７）と共に、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して、内部センサ４の車速情報を呼び出す（ステップＳ１１８）。

マッチング部２２０８は、ステップＳ１１７の処理で記録された時刻からの経過時間と、車速情報とに基づいて、車両Ｍが、認識すべき道路標示のうちトリガテンプレートに対応する特徴部位が敷設された地点を通過してからの距離を算出する（ステップＳ１１９）。

次に、マッチング部２２０８は、ステップＳ１１９の処理で算出された距離に基づいて、車両Ｍが、ステップＳ１１５の処理で設定された探索範囲を通過していないか否かを判定する（ステップＳ１２０）。つまり、カメラ３１が、認識すべき道路標示のうち、ステップＳ１１５の処理で設定された探索範囲に対応する特徴部位を撮像可能な地点を、車両Ｍが通過していないか否かを判定する。この判定において、車両Ｍが探索範囲を通過したと判定された場合（ステップＳ１２０：Ｎｏ）、後述するステップＳ１２６の処理（図８参照）が行われる。

他方、ステップＳ１２０の判定において、車両Ｍが探索範囲を通過していないと判定された場合（ステップＳ１２０：Ｙｅｓ）、マッチング部２２０８は、ステップＳ１１９の処理で算出された距離に基づいて、車両Ｍが探索範囲に到達したか否かを判定する（ステップＳ１２１）。つまり、カメラ３１が、認識すべき道路標示のうち、ステップＳ１１５の処理で設定された探索範囲に対応する特徴部位を撮像可能な地点に、車両Ｍが到達したか否かを判定する。この判定において、車両Ｍが探索範囲に到達していないと判定された場合（ステップＳ１２１：Ｎｏ）、ステップＳ１１９の処理が再び行われる。

他方、ステップＳ１２１の判定において、車両Ｍが探索範囲に到達したと判定された場合（ステップＳ１２１：Ｙｅｓ）、マッチング部２２０８は、セットテンプレートを用いたマッチングに成功したか否かを判定する（ステップＳ１２２）。この判定において、マッチングに成功していないと判定された場合（ステップＳ１２２：Ｎｏ）、ステップＳ１１９の処理が再び行われる。尚、セットテンプレートによるマッチングに用いられる探索対象画像は、ダイレクトテンプレート及び／又はトリガテンプレートによるマッチングに用いられる探索対象画像と同じとは限らない。

他方、ステップＳ１２２の判定において、マッチングに成功したと判定された場合（ステップＳ１２２：Ｙｅｓ）、マッチング部２２０８は、マッチングに成功したセットテンプレートに対応する特徴部位の横位置（即ち、車両Ｍの幅方向の位置）が、セットテンプレートに対応する特徴部位として妥当であるか否かを判定する（ステップＳ１２３）。この判定において、横位置が妥当でないと判定された場合（ステップＳ１２３：Ｎｏ）、誤検出の可能性が高いので、ステップＳ１１９の処理が再び行われる。

他方、ステップＳ１２３の判定において、横位置が妥当であると判定された場合（ステップＳ１２３：Ｙｅｓ）、マッチング部２２０８は、探索対象画像のうちセットテンプレートに対応する特徴部位として検出された部分を、検出信頼度算出部２２０９に示す（ステップＳ１２４）。次に、検出信頼度算出部２２０９は、マッチング部２２０８によるマッチング結果の信頼度を算出する（ステップＳ１２５）。

図８において、検出結果選択部２２１０は、ダイレクトテンプレート又はセットテンプレートに対応する特徴部位が検出されたか否かを判定する（ステップＳ１２６）。この判定において、ダイレクトテンプレートに対応する特徴部位も、セットテンプレートに対応する特徴部位も検出されてないと判定された場合（ステップＳ１２６：Ｎｏ）、後述するステップＳ１３６の処理が行われる。

他方、ステップＳ１２６の判定において、ダイレクトテンプレート又はセットテンプレートに対応する特徴部位が検出されたと判定された場合（ステップＳ１２６：Ｙｅｓ）、検出結果選択部２２１０は、検出信頼度算出部２２０５及び２２０９各々により算出された信頼度を比較して、信頼度の最も高いマッチング結果を選択する（ステップＳ１２７）。尚、ダイレクトテンプレートに対応する特徴部位のみ、又は、セットテンプレートに対応する特徴部位のみが検出された場合は、検出された特徴部位に係るマッチング結果が自動的に選択される。

次に、ターゲット距離検出部２３の自車−標示間距離算出部２３０１は、記憶部６３０１から座標変換のためのパラメータを呼び出す（ステップＳ１２８）。続いて、自車−標示間距離算出部２３０１は、座標変換のためのパラメータを用いて、検出結果選択部２２０１により選択されたマッチング結果から、車両Ｍの重心と道路標示の中心との距離を算出する（ステップＳ１２９）。

次に、誤差補正部２３０２は、車両Ｍの重心と道路標示の中心との距離が算出された時刻（現在時刻）を記録する（ステップＳ１３０）と共に、ＣＡＮを介して、内部センサ４の車速情報を呼び出す（ステップＳ１３１）。

次に、誤差補正部２３０２は、マッチング対象の画像（即ち、探索対象画像の元の画像）が撮像された時刻と、現在時刻と、内部センサ４から取得した車速情報とに基づいて、道路標示認識に係る処理等が行われた期間に車両Ｍが移動した距離を算出して、自車−標示間距離算出部２３０１により算出された距離を補正する（ステップＳ１３２）。

次に、位置補正部２４の自車位置算出部２４０１は、地図情報におけるランドマークターゲットとしての道路標示の位置を呼び出す（ステップＳ１３３）。続いて、自車位置算出部２４０１は、道路標示の位置と、誤差補正部２３０２により補正された車両Ｍの重心と道路標示の中心との距離とに基づいて、地図上における車両Ｍの重心位置を算出し（ステップＳ１３４）、算出結果を位置補正部２４に出力する（ステップＳ１３５）。

その後、ターゲット検出部２２のシステム起動部２２０１は、ランドマークマップ生成部２７２により生成されたランドマークマップに含まれるランドマークターゲットとしての道路標示のうち、車両Ｍの現在地に最も近い新たな道路標示に係る情報を取得する（ステップＳ１３６）。その後、ステップＳ１０２以降の処理が行われる。

（技術的効果）
実施形態に係る道路標示認識では、道路標示の部分的な特徴部位に着目して（即ち、ダイレクトテンプレート、トリガテンプレート、セットテンプレートを用いて）道路標示の認識が行われる。このため、例えば、道路標示の一部が擦れていたり、建物等の影が道路標示の一部にかかっていたりする場合、或いは、道路標示の一部が他車両により覆われている場合等の外乱が存在する場合にも、認識対象の道路標示を認識することができる。

当該道路標示認識では、上述の如く、道路標示の部分的な特徴部位に着目して道路標示の認識が行われるので、道路標示全体を一度に認識しようとする場合に比べて、処理負荷を軽減することができる。また、テンプレートマッチングに用いる探索対象画像は、道路標示全体を含む画像でなくてよいので、例えば路面を撮像した画像を複数枚累積することなく、道路標示の認識を行うことができる。更に、当該道路標示認識は、認識すべき道路標示の近辺に車両Ｍが到達したときのみ探索対象画像の生成やマッチングが行われるので、常に探索対象画像の生成等が行われる場合に比べて、処理負荷を著しく軽減することができる。

当該道路標示認識では特に、互いの相対的な位置関係を利用する、トリガテンプレート及びセットテンプレートを用いたテンプレートマッチングが行われる。つまり、当該道路標示認識では、特徴部位と相対的な位置関係との２つの観点から道路標示の認識が行われるので、道路標示の認識精度を向上させることができる。

実施形態に係る「マッチング部２２０８」及び「記憶部６３０１」は、夫々、本発明に係る「認識手段」及び「記憶手段」の一例である。実施形態に係る「トリガテンプレート」及び「セットテンプレート」は、夫々、本発明に係る「第１のテンプレート」及び「第２のテンプレート」の一例である。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う道路標示認識装置もまた本発明の技術的範囲に含まれるものである。

１…車両制御装置、２…ＥＣＵ、３…外部センサ、４…内部センサ、５…ＧＰＳ受信部、６…地図関連情報提供部、７…アクチュエータ、２１…位置検出部、２２…ターゲット検出部、２３…ターゲット距離検出部、２４…位置補正部、２５…進行方向検出部、２６…車線進行距離検出部、２７データ生成部、２８…前方注視点算出部、２９…車両制御部、２２０４、２２０６、２２０８…マッチング部、６３０１…記憶部、Ｍ…車両

Claims (2)

1. 自車両が走行している道路の路面を撮像した画像から道路標示を認識する認識処理を実行可能な道路標示認識装置であって、
   前記自車両の位置である自車位置を検出する検出手段と、
   地図情報を記憶する第１記憶手段と、
   （ｉ）各道路標示の位置を示す位置情報、及び、（ｉｉ）認識対象の道路標示の複数の特徴部位の一部に対応する一又は複数の第１のテンプレートと、前記複数の特徴部位の他の一部に対応し、前記第１のテンプレートとは種別の異なる複数の第２のテンプレートとを含んでなるテンプレートセットを記憶する第２記憶手段と、
   前記検出された自車位置、前記地図情報及び前記位置情報に基づいて、自車両と一の道路標示との間の距離が所定の範囲内である場合に、前記一の道路標示を認識対象とした前記認識処理として、（ｉ）前記画像から、前記一の道路標示に係る前記一又は複数の第１のテンプレートに対応する特徴部位の検出を行い、（ｉｉ）前記画像から前記一又は複数の第１のテンプレートの少なくとも一つに対応する特徴部位が検出されたことを条件に、前記複数の第２のテンプレートのうち、前記検出された特徴部位よりも前記自車両の進行方向前側に位置する一又は複数の第２のテンプレートに対応する特徴部位の検出を行う認識手段と、
   を備え、
   前記一又は複数の第１のテンプレートと前記複数の第２のテンプレートとは、互いの相対的な位置関係が既知であり、且つ、前記複数の第２のテンプレートは、前記認識対象の道路標示が設けられている車線に係る進行方向において、前記一又は複数の第１のテンプレートより奥側に位置しており、
   前記一又は複数の第１のテンプレート各々は、前記画像から対応する特徴部位が検出されることにより、前記認識手段に前記画像から前記複数の第２のテンプレートの少なくとも一つに対応する特徴部位の検出を開始させるテンプレートであり、
   前記認識対象の道路標示は、複数の数字の組合せからなるパターンであり、
   前記一又は複数の第１のテンプレートには、前記パターンを構成する複数の数字のうち一の数字に係る特徴部位の一部にのみ対応するテンプレートが含まれており、
   前記複数の第２テンプレートには、前記パターンを構成する複数の数字のうち一の数字に係る特徴部位の一部にのみ対応するテンプレートが含まれている
   ことを特徴とする道路標示認識装置。
2. 前記認識手段は、前記一又は複数の第２のテンプレートに対応する特徴部位が検出されたことを条件に、前記認識対象の道路標示を認識したと判定することを特徴とする請求項１に記載の道路標示認識装置。