JP7470024B2 - 画像認識装置及び画像認識方法 - Google Patents

Description

本発明は、画像認識装置及び画像認識方法に関する。

カメラ画像に基づいて、自車両が走行する道路の道路標識を適切に認識するための技術が知られている（特許文献１）。特許文献１では、自車両が走行する道路の車線の数が複数の場合であっても、車線毎に、道路標識を適切に認識している。

特開２０１８－１５６３８９号公報

ところで、自車両が走行する道路が、例えば高速道路のように自動車専用道路の場合、通常、自動車専用道路から一般道に降りるための分岐路が存在する。分岐路では、減速を促すために、自動車専用道路とは異なる制限速度を示す分岐路の道路標識がその分岐路の上方に設けられていることが多い。

このような分岐路は、自動車専用道路とは離れていくため、そのうち、カメラ画像からでは、分岐路の存在を検知することが困難となる。その一方、分岐路の存在を検知することが困難となった場合であっても、道路標識は、分岐路の上方に設けられていることが多いため、分岐路の道路標識を認識できてしまう場合がある。

このような場合、上記特許文献１では、自車両が走行する道路の道路標識であると誤認して表示されてしまう場合があった。

本発明は、上記事情に鑑みてなされたものであり、道路標識を適切に認識できる画像認識装置及び画像認識方法を提供することを主たる目的とする。

上記課題を解決する画像認識装置は、車両が走行する走行路を撮像した画像情報を取得する画像情報取得部と、前記画像情報に基づいて、道路標識を認識する標識認識部と、前記画像情報に基づいて、前記走行路の車線を認識する車線認識部と、前記車線認識部により認識された車線に係る車線情報を時系列で記憶する記憶部と、前記標識認識部により認識された道路標識が、自車線に対応するか否かを判定する判定部と、を備え、前記判定部は、時系列で記憶された車線情報に基づいて、予め決められた期間に認識された車線のうち、前記道路標識が最もふさわしい車線を選択することにより、前記道路標識が自車線に対応するか否かを判定する。

上記構成によれば、車線が撮影画像から認識できないような状態になったとしても、時系列で車線情報を記憶しているため、予め決められた期間内であれば、道路標識に対応する車線を適切に選択することができる。

運転支援システムの構成を示すブロック図。 判定処理の流れを示すフローチャート。 認識処理の流れを示すフローチャート。 撮影画像の模式図。 撮影画像の模式図。 車線と道路標識の位置関係を示す図。 車線と道路標識の位置関係を示す図。

以下、本発明にかかる画像認識装置を具体化した実施形態を図面に基づいて説明する。なお、以下の実施形態及び変形例相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

本実施形態にかかる画像認識装置が適用される運転支援システムについて、図面を参照しつつ説明する。運転支援システム１００は、車両に備えられ、運転支援を実行する。

図１に示すように、運転支援システム１００は、撮影装置としての単眼のカメラ１０と、画像認識装置としての制御装置２０と、表示装置３０と、を備える。制御装置２０は、カメラ１０と通信可能に接続されている。カメラ１０は、ＣＣＤやＣＯＭＳ等の撮像素子が用いられているカメラである。カメラ１０は、例えば車両のフロントガラスの上端付近に配置されており、自車両の前方の道路（走行路）を含む周辺環境を撮影（撮像）する。カメラ１０で撮影された撮影画像は、制御装置２０に出力される。なお、カメラ１０を備えたが、複数台のカメラ（複眼カメラ）を備えてもよい。

制御装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ（メモリ）、入出力インターフェース等を備えたコンピュータである。制御装置２０は、各種機能を備える。例えば、制御装置２０は、画像情報取得部２１としての機能と、標識認識部２２としての機能と、車線認識部２３としての機能と、を備える。また、制御装置２０は、記憶部２４としての機能と、判定部２５としての機能と、表示制御部２６としての機能と、を備える。

各種機能は、制御装置２０が備えるＲＯＭなどに記憶されたプログラムが実行されることで、実現される。制御装置２０は、撮影画像に基づき、自車両が走行する走行路を認識し、認識結果を出力するように構成されている。なお、各種機能は、ハードウェアである電子回路によって実現されてもよく、あるいは、少なくとも一部をソフトウェア、すなわちコンピュータ上で実行される処理によって実現されてもよい。これらの制御装置２０の各種機能については後述する。また、制御装置２０は、車両の表示装置３０に接続されており、認識結果や各種情報を表示させることができる。

次に、制御装置２０の各種機能について説明する。

画像情報取得部２１は、カメラ１０により撮影された撮影画像（画像情報）を所定周期で取得する。標識認識部２２は、画像情報取得部２１により取得された撮影画像から、道路標識を識別する。具体的には、標識認識部２２は、取得された撮像画像と予め用意された道路標識識別用の辞書情報とに基づいて、自車両前方に存在する道路標識の種類を判定する。道路標識識別用の辞書情報は、例えば案内標識、警戒標識、規制標識、指示標識、補助標識といった道路標識の種類に応じて個別に用意され、ＲＯＭなどのメモリに予め記憶されている。

標識認識部２２は、撮像画像と辞書情報とをパターンマッチングにより照合することで、道路標識の種類を判定する。また、標識認識部２２は、撮像画像と辞書情報とに基づいて、自車両の進行方向およびこれに略直交する横方向における道路標識の位置情報を取得する。道路標識の認識方法は、これに限らず任意に変更してもよい。また、道路標識の種類を認識する際、ディープニューラルネットワーク（ＤＮＮ）などの機械学習を利用してもよい。

車線認識部２３は、まず、画像情報取得部２１により取得された撮影画像から、車両が走行する走行路の道路端、及び車線を区画する区画線（例えば、白色実線、白色破線、黄色実線、導流帯など）を検出する。具体的には、車線認識部２３は、撮影画像の輝度に基づいて、車線を区切る区画線と路面とのコントラスト（エッジ強度）の変化点をエッジ候補点として抽出する。そして、抽出したエッジ候補点の連なりから区画線の候補線を抽出する。より具体的には、撮影画像を所定のサンプリング周期で連続的に処理しており、画像の水平方向において、急激に輝度が変化する複数の点をエッジ候補点として抽出する。そして、抽出した複数のエッジ候補点にハフ変換を施してエッジ候補点の連なりを取得し、取得したエッジ候補点の連なりを左右の輪郭とする候補線を複数抽出する。

そして、車線認識部２３は、複数の候補線のそれぞれについて、各エッジ候補点において、車線を区画する区画線としての特徴を備えている度合いを算出し、特徴を備えている度合いが最も大きい候補線を、車線を区画する区画線であるとして検出する。

なお、車線認識部２３は、区画線を検出する際、区画線の種類を認識することが望ましい。区画線の種類は、区画線の色や、配置、形状などから認識することができる。その際、機械学習を利用してもよい。また、車線認識部２３は、道路端も区画線と同様にして検出する。道路端は、白線などの区画線に限らず、道路（路面）の境界を示すもの（例えば、縁石や、ガードレール、中央分離帯など）が含まれる。

また、車線認識部２３は、認識した道路端及び区画線から車線領域、車線の種類、及び車線の位置情報を認識可能に構成されている。車線の種類とは、例えば、自車両が走行する自車線、自車両と同一進行方向の隣接車線、進行方向が反対の対向車線、自車両が走行する走行路から分岐する分岐車線（分岐路）、自車両が走行する走行路に合流する合流車線、自車両が走行する走行路に沿って設けられた側道、自車線と交差する交差車線（交差路）などがある。また、車線の位置情報とは、車線領域の幅方向における中心座標のことである。

例えば、車線認識部２３は、認識した道路端に基づいて、自車両が走行する走行路を特定する。より詳しくは、車線認識部２３は、検出した道路端のうち、自車両に近接し、且つ、自車両を含むように配置された左右の道路端を、自車両が走行する走行路の道路端として認識する。そして、車線認識部２３は、認識した区画線に基づいて、自車両の走行路における車線の車線領域及び位置情報を特定するとともに、区画線の種類、区画線の形状などから車線の種類を特定する。

具体的には、車線認識部２３は、検出した区画線のうち、自車両に近接し、且つ、自車両を含むように配置された左右の区画線を、自車線を区画する区画線として認識する。そして、当該左右の区画線の間が、自車線の車線領域として認識し、当該車線領域を自車線として分類する。また、車線認識部２３は、横方向における左右の区画線の中心座標を自車線の位置情報として認識する。

また、例えば、車線認識部２３は、検出した区画線に基づいて、自車両の走行路において複数の車線を確認できる場合であって、他車線が自車線と平行に設けられている場合、特定する車線の種類が、隣接車線であると認識する。その際、自車線と隣接車線とを区画する区画線が、白色破線である場合や、特定する車線において自車線と同一方向に進行する他車両が存在する場合には、隣接車線であるとの認識を肯定する材料とする。また、車線認識部２３は、隣接車線の車線領域を特定し、その隣接車線の車線領域の幅方向における左右の区画線の中心座標を隣接車線の位置情報として認識する。

なお、自車両の走行路において複数の車線を確認できる場合であって、他車線が自車線と平行に設けられている場合であっても、認識対象とする車線の区画線が、対向車線であることを示す黄色実線や中央分離帯である場合や、認識対象とする車線において自車線と反対方向に進行する他車両が存在する場合には、隣接車線であることを否定し、対向車線であるとの認識を肯定する材料とする。また、自車両の走行路以外の走行路が確認できない場合であって、自車両の走行路において他車線が自車線と平行に設けられている場合、当該他車線は、対向車線である可能性が高いと認識する。

また、車線認識部２３は、各車線の種類を特定する際、特定する車線が自車線又は隣接車線から離れていく場合、当該車線の種類が、分岐車線であると認識する。その際、当該車線の区画線が導流帯である場合や、区画線の形状から、車線の分岐が確認可能な場合には、分岐車線であるとの認識を肯定する材料とする。また、車線認識部２３は、分岐車線を認識した場合、分岐車線の車線領域を特定し、その分岐車線の車線領域の幅方向における左右の区画線の中心座標を分岐車線の位置情報として認識する。

同様に、車線認識部２３は、各車線の種類を特定する際、特定する車線が自車線又は隣接車線に合流していく場合、当該車線の種類が、合流車線であると認識する。その際、当該車線の区画線が導流帯である場合や、区画線の形状から、車線の合流が確認可能な場合には、合流車線であるとの認識を肯定する材料とする。また、車線認識部２３は、合流車線を認識した場合、合流車線の車線領域を特定し、その合流車線の車線領域の幅方向における左右の区画線の中心座標を合流車線の位置情報として認識する。

また、車線認識部２３は、道路端から自車両が走行する走行路の外側に、自車両の走行路と平行する走行路が存在することを認識した場合、当該走行路を側道として認識する。その際、自車両の進行方向と同一方向に進行する他車両を確認した場合、側道であるとの認識を肯定する材料とする。また、車線認識部２３は、側道を認識した場合、側道の車線領域を特定し、その側道の車線領域の幅方向における左右の区画線（又は道路端）の中心座標を側道の位置情報として認識する。

また、車線認識部２３は、他車線が自車線に交差する場合、当該他車線を交差路として認識する。車線認識部２３は、交差路を認識した場合、交差路の車線領域を特定し、その交差路の車線領域の幅方向における区画線（又は道路端）の中心座標を交差路の位置情報として認識する。

なお、車線の認識方法は、これに限らず任意に変更してもよい。また、車線の種類を認識する際、ディープニューラルネットワーク（ＤＮＮ）などの機械学習を利用してもよい。また、本実施形態では、対向車線、合流車線、側道、及び交差路を認識したが、認識しなくてもよい。

記憶部２４は、車線認識部２３の認識結果を時系列的にＲＡＭなどのメモリに記憶させる。つまり、記憶部２４は、認識した時間（又は画像を撮影した時間）と対応付けて認識結果（車線の位置情報や種類など）を記憶させる。

判定部２５は、標識認識部２２により認識された道路標識が最もふさわしい車線を選択することにより、道路標識が自車線に対応するか否かを判定する。判定部２５における判定方法の詳しい内容については、後述する。

表示制御部２６は、判定部２５による判定結果に基づいて、自車線に対応する道路標識を表示装置３０に表示させるように表示装置３０を制御する。

次に、標識認識部２２により認識された道路標識に対応する車線として最もふさわしい車線を判定するための判定処理について図２及び図３を参照して説明する。判定処理は、制御装置２０が所定の実行周期（例えば、１フレーム）ごとに繰り返し実行する。

まず、制御装置２０は、カメラ１０から撮影画像を取得し、撮影画像に基づいて、道路標識を認識する（ステップＳ１０１）。このとき、前述したように、制御装置２０は、道路標識の種類及び位置情報を認識する。ステップＳ１０１の処理により、制御装置２０は、画像情報取得部２１として機能する。また、制御装置２０は、標識認識部２２として機能する。また、ステップＳ１０１が、画像情報取得ステップであり、標識認識ステップである。

次に、制御装置２０は、自車両からステップＳ１０１で認識された道路標識までの距離（進行方向における距離）が、第１閾値以下であるか否かを判定する（ステップＳ１０２）。なお、第１閾値として任意の値が設定可能であり、例えば、３０ｍ～２００ｍのいずれかの値が第１閾値として設定される。また、第１閾値は、車速や走行路の種類（自動車専用道路等）に応じて、変更してもよい。また、ステップＳ１０１において認識された道路標識が複数ある場合には、判定対象となる道路標識ごとに別個に実行する。また、ステップＳ１０１において認識された道路標識が複数ある場合（判定対象が複数ある場合）、以下の各ステップにおいても同様に、判定対象となる道路標識ごとに別個に実行する。

ステップＳ１０２の判定結果が否定の場合、つまり、道路標識までの距離が第１閾値よりも大きいの場合、制御装置２０は、判定対象となる道路標識が対応する車線を、判定できない（以下、判定不可）と判定する（ステップＳ１１１）。そして、制御装置２０は、その結果（以下、判定不可の結果）をメモリに記憶して、判定処理を終了する。

一方、ステップＳ１０２の判定結果が肯定の場合、つまり、道路標識までの距離が第１閾値以下の場合、制御装置２０は、区画線及び道路端を認識する（ステップＳ１０３）。ステップＳ１０３では、前述したように、制御装置２０は、区画線及び道路端を検出するとともに、区画線の種類を特定する。

そして、制御装置２０は、自車両が走行する走行路の道路端の位置情報と、判定対象となる道路標識の位置情報とを比較し、横方向における道路端から当該道路標識までの距離が第２閾値以下であるか否かを判定する（ステップＳ１０４）。つまり、道路端を中心として所定範囲内に道路標識が存在するか否かを判定する。なお、道路端が複数存在する場合には、道路端毎に判定を行う。また、第２閾値には、任意の値（例えば、１～４ｍのいずれかの値）を設定することができる。

ステップＳ１０４の判定結果が否定の場合、つまり、自車両の走行路の道路端から当該道路標識までの距離が第２閾値よりも大きい場合、制御装置２０は、判定対象の道路標識が他車線に対応するものであると判定し、その結果（以下、他車線向けの判定結果）をメモリに記憶する（ステップＳ１１０）。そして、判定処理を終了する。

一方、ステップＳ１０４の判定結果が肯定の場合、つまり、いずれかの道路端から当該道路標識までの距離が第２閾値以下の場合、制御装置２０は、区画線及び道路端に基づいて、車線情報を認識する認識処理を実施する（ステップＳ１０５）。認識処理では、車線情報として、車線領域や、車線の種類、車線の位置情報を特定し、車線情報を記憶する処理である。

ここで、ステップＳ１０５の認識処理について図３に基づいて説明する。制御装置２０は、まず、区画線及び道路端に基づいて、前述したように、車線情報として、車線領域や、車線の種類、車線の位置情報を特定し、認識する（ステップＳ２０１）。その際、制御装置２０は、自車線、隣接車線、及び分岐車線を少なくとも分類して、認識する。このステップＳ２０１により、制御装置２０は、車線認識部２３としての機能する。また、ステップＳ２０１が、車線認識ステップである。

次に、制御装置２０は、ステップＳ２０１において、分岐車線を認識したか否かを判定する（ステップＳ２０２）。この判定結果が肯定の場合、制御装置２０は、分岐車線を一定期間継続して（つまり、複数フレームに亘って）認識したか否かを判定する（ステップＳ２０３）。なお、制御装置２０は、ステップＳ２０１において、分岐車線を認識した場合、分岐車線が初めて認識された時刻などの時間情報を記憶するようになっている。当該時間情報は、分岐車線が認識され続ける限り、継続して記憶され続けるようになっている。つまり、次回以降の判定処理のステップＳ２０１において、分岐車線が認識されなかった場合、当該分岐車線の時間情報は、消去される。

ステップＳ２０２の判定結果が肯定の場合、制御装置２０は、分岐車線の車線領域や、分岐車線の位置情報をメモリに記憶する（ステップＳ２０４）。なお、当該分岐車線の位置情報がすでに記憶されている場合、ステップＳ２０１において認識された結果に基づいて分岐車線の位置情報を更新して記憶することとなる。このステップＳ２０４により、制御装置２０は、記憶部２４として機能する。また、ステップＳ２０４が記憶ステップに相当する。

ステップＳ２０３の判定結果が否定の場合、若しくはステップＳ２０４の処理後、制御装置２０は、自車線の位置情報をメモリに記憶する（ステップＳ２０５）。隣接車線が存在する場合、制御装置２０は、隣接車線の位置情報を記憶する。そして、認識処理を終了し、判定処理のステップＳ１０６の処理に移行する。

一方、ステップＳ２０２の判定結果が否定の場合、つまり、ステップＳ２０１で分岐車線を認識していない場合、制御装置２０は、メモリに分岐車線の位置情報が記憶されているか否かを判定する（ステップＳ２０６）。すなわち、前回以前の判定処理のステップＳ２０４が実行されて、メモリに分岐車線の位置情報がすでに記憶されたか否かを判定する。

ステップＳ２０６の判定結果が否定の場合、制御装置２０は、ステップＳ２０５の処理に移行する。一方、ステップＳ２０６の判定結果が肯定の場合、つまり、分岐車線の位置情報が記憶されている場合、制御装置２０は、最後に分岐車線を認識してから所定期間を経過したか否かを判定する（ステップＳ２０７）。つまり、ステップＳ２０４にて分岐車線の位置情報を記憶した後、分岐車線を認識しなくなってから所定期間を経過したか否かを判定する。なお、メモリには、分岐車線の位置情報を記憶した時刻などの時間情報が記憶されており、制御装置２０は、当該時間情報に基づいて分岐車線の位置情報を最後に記憶した時刻から、所定期間経過したか否かを判定する。この判定結果が肯定の場合、すなわち、分岐車線の位置情報を最後に記憶した時刻から、所定期間、その分岐車線を認識しなかった場合、制御装置２０は、分岐車線の位置情報を消去する（ステップＳ２０８）。そして、ステップＳ２０５の処理に移行する。

一方、ステップＳ２０７の判定結果が否定の場合、つまり、分岐車線を認識しなくなってから所定期間を経過していない場合、制御装置２０は、前回の判定処理の実行時から自車両が移動した移動量（横方向における移動量）を推定する（ステップＳ２０９）。具体的には、判定処理の実行周期、自車両の速度、自車両の旋回時の角速度などに基づいて横方向における移動量を算出する。なお、制御装置２０は、速度センサにより検出された自車両の速度、及びヨーレートセンサにより検出された角速度など移動量算出に必要な情報を取得可能に構成されている。また、ステップＳ２０９において、制御装置２０は、自車両の横方向における移動方向も検出する。

そして、制御装置２０は、ステップＳ２０９で推定された移動量及び移動方向に基づいて、メモリに記憶されている分岐車線の位置情報を更新（補正）する（ステップＳ２１０）。すなわち、分岐車線の位置情報は、自車両を基準とする相対位置で特定されているため、基準となる自車両の移動量及び移動方向に基づいて、分岐車線の位置情報を更新する。そして、ステップＳ２０５の処理に移行する。

次に、図６の判定処理のステップＳ１０６以降の処理について説明する。ステップＳ１０５の認識処理を終了すると、制御装置２０は、横方向において、道路標識との距離が最も短い車線を特定する（ステップＳ１０６）。ステップＳ１０６において、制御装置２０は、ステップＳ１０５においてメモリに記憶された自車線の位置情報、隣接車線の位置情報、及び分岐車線の位置情報の中から、判定対象となる道路標識との距離が最も短い車線を特定する。

そして、制御装置２０は、ステップＳ１０６において特定された車線（道路標識との距離が最も短い車線）と道路標識との距離が、第３閾値以下であるか否かを判定する（ステップＳ１０７）。第３閾値として、任意の値（例えば、１～３ｍのうちいずれか値）が設定可能に構成されている。

一方、ステップＳ１０７の判定結果が肯定の場合、制御装置２０は、ステップＳ１０６において特定された車線が自車線又は同一進行方向の隣接車線であるか否かを判定する（ステップＳ１０８）。この判定結果が肯定の場合、制御装置２０は、判定対象の道路標識が自車線に対応するものであると判定し、その結果（以下、自車線向けの判定結果）をメモリに記憶する（ステップＳ１０９）。そして、判定処理を終了する。

一方、ステップＳ１０８の判定結果が肯定の場合、制御装置２０は、判定対象の道路標識が他車線に対応するものであると判定し、その結果（以下、他車線向けの判定結果）を記憶する（ステップＳ１１０）。そして、判定処理を終了する。

また、ステップＳ１０７の判定結果が否定の場合、制御装置２０は、判定対象となる道路標識が対応する車線を、判定できない（以下、判定不可）と判定し、その結果（以下、判定不可の結果）を記憶する（ステップＳ１１１）。そして、判定処理を終了する。ステップＳ１０６～Ｓ１０８を実施することにより、制御装置２０は、判定部２５として機能する。また、ステップＳ１０６～Ｓ１０８が判定ステップに相当する。また、判定処理を実施することにより、制御装置２０は、画像認識方法を実施することとなる。

判定処理を終了すると、制御装置２０は、複数回の判定処理の判定結果に基づいて、多数決を行い、最終的な判定結果を決定する。具体的には、制御装置２０は、最新の判定結果から順番に過去に遡って複数回数（例えば１０回～３０回）分の判定結果を取得する。そして、制御装置２０は、判定対象となる道路標識に対応付けられた判定結果として、自車線向けの判定結果の回数が、他車線向けの判定結果の回数及び判定不可の回数よりも多い場合、判定対象の道路標識が自車線に対応するものであると最終的に決定（判定）する。そして、制御装置２０は、判定対象の道路標識が自車線に対応するものであると最終的に判定した場合、表示装置３０に、判定対象の道路標識を表示させる。

一方、制御装置２０は、自車線向けの判定結果の回数が、他車線向けの判定結果の回数又は判定不可の回数以下の場合、判定対象の道路標識が自車線に対応するものでないと最終的に判定する。この場合、制御装置２０は、道路標識を表示させない。

以上のように説明した判定処理に基づく作用について説明する。なお、図４～図７では、判定対象の道路標識は、制限速度が６０ｋｍ／ｈであることを示す道路標識６０であることを前提とする。また、自車両５０から道路標識６０までの距離Ｌ１が第１閾値以下であって、道路標識６０から自車両５０の走行路７０の道路端７１ａ，７４（左側のガードレール）までの距離Ｌ２が、それぞれ第２閾値以下であることを前提とする。また、分岐車線８３の位置情報（中心座標）から道路標識６０までの距離Ｌ３が、第３閾値の範囲内であることを前提とする。

図４は、撮影画像の模式図である。図４では、自車両５０が走行する走行路７０に、自車線８１、隣接車線８２、並びに分岐車線８３が設けられていることを示す撮影画像である。また、図４の撮影画像では、分岐車線８３の道路標識６０が認識可能となっている。なお、図４の撮影画像では、走行路７０の左側の道路端７１ａ、右側の道路端７１ｂ、自車線８１及び隣接車線８２の区画線７２、導流帯７３が認識可能となっている。

図６は、図４の鳥瞰図である。図６に示すように、制御装置２０は、図４の撮影画像から、自車線８１、隣接車線８２、及び分岐車線８３を認識し、各車線の位置情報を認識することができる。このため、制御装置２０は、一定期間（複数フレーム）継続して分岐車線を認識した後、道路標識６０は、前提より、道路標識６０が、分岐車線の道路標識であると認識する。

一方、図５は、図４に示す状況から所定時間、自車両が進行した後に撮影された撮影画像の模式図である。図５では、自車両が走行する走行路７０に、自車線８１及び隣接車線８２が設けられていることが認識できる一方で、ガードレール等の道路端７４により、分岐車線８３を認識することができないことを示している。また、図５の撮影画像では、分岐車線８３の道路標識６０が、依然として認識可能となっている。なお、図５の撮影画像では、走行路７０の左側の道路端７４（左側のガードレール）、右側の道路端７１ｂ、自車線８１及び隣接車線８２の区画線７２が認識可能となっている。

この場合、図５の撮影画像のみから道路標識６０を認識する場合、隣接車線８２又は自車線８１から道路標識６０までの距離Ｌ３が近ければ、自車線８１に対応する道路標識であると誤認識する可能性がある。

しかしながら、本実施形態の判定処理では、分岐車線８３が認識できなくなってから所定期間が経過するまで、メモリに、分岐車線の位置情報が記憶されるようになっている（ステップＳ２０６～Ｓ２１０参照）。したがって、分岐車線８３が認識できなくなってから所定期間が経過する前であれば、前提より、分岐車線８３の道路標識６０であると認識することができる。

次に、本実施形態の効果について説明する。

分岐車線の道路標識は、図４のように分岐車線の上方に設けられていることが多い。このため、分岐車線が、自車両の走行路とは離れていってしまい、図５に示すように、ガードレール等に邪魔されて撮影画像からでは認識できなくなる場合であっても、分岐車線の道路標識だけを認識できる場合がある。この場合、分岐路の道路標識の位置によっては、自車線の道路標識として誤認識する可能性がある。

そこで、制御装置２０は、認識された車線に係る車線情報を時系列で記憶し、時系列で記憶された車線情報に基づいて、予め決められた期間において認識された車線のうち、道路標識が最もふさわしい車線を選択することにより、道路標識が自車線に対応するか否かを判定する。具体的には、本実施形態の判定処理において、分岐車線８３が認識できなくなってから所定期間が経過するまで、メモリに分岐車線の位置情報が記憶されるようになっている（ステップＳ２０６～Ｓ２１０参照）。そして、制御装置２０は、メモリに記憶されている自車線、隣接車線及び分岐車線の位置情報の中から、道路標識に対応する車線として最もふさわしい車線を選択する。したがって、分岐車線を撮影画像から認識できないような状態になったとしても、分岐車線の道路標識が、分岐車線に対応するものであると適切に認識することができる。

制御装置２０は、道路標識の位置情報と各車線の位置情報とを比較することにより、道路標識が最もふさわしい車線を選択する。より詳しくは、制御装置２０は、メモリに記憶された自車線の位置情報、隣接車線の位置情報、及び分岐車線の位置情報の中から、判定対象となる道路標識との距離が最も短い車線を特定する。そして、制御装置２０は、特定された車線（道路標識との距離が最も短い車線）と道路標識との距離が、第３閾値以下であるか否かを判定することにより、道路標識に対応する車線として最もふさわしい車線を選択する。このため、道路標識が自車線に対応するか否を適切に判定することができる。

制御装置２０は、分岐車線が認識できなくなった後、自車両の移動量に基づいて分岐車線の位置情報を補正し、補正後の車線の位置情報と道路標識の位置情報とを比較する。つまり、判定処理のステップＳ２０９，Ｓ２１０によって、分岐車線８３が認識できなくなった後でも、自車両の移動量を推定し、分岐車線８３の位置情報を更新する。このため、自車両が横方向に移動したとしても、分岐車線８３の位置を誤認識してしまう可能性を低くすることができる。したがって、道路標識が自車線に対応するか否を適切に判定することができる。

制御装置２０は、道路標識が自車線に対応するか否かの判定を、所定期間繰り返し実行し、最終的な判定結果を多数決で決定する。具体的には、制御装置２０は、最新の判定結果から順番に過去に遡って複数回数（例えば１０回～３０回）分の判定結果を取得する。そして、制御装置２０は、判定対象となる道路標識に対応付けられた判定結果として、自車線向けの判定結果の回数が、他車線向けの判定結果の回数及び判定不可の回数よりも多い場合、判定対象の道路標識が自車線に対応するものであると最終的に決定（判定）する。これにより、道路標識が自車線に対応するか否を適切に判定することができる。

制御装置２０は、道路標識に対応する車線として最もふさわしい車線が、自車線又は同一進行方向の隣接車線である場合、道路標識が自車線に対応すると判定する。これにより、道路標識が自車線に対応するか否を適切に判定することができる。

（他の実施形態）
上記実施形態の構成の一部を変更してもよい。以下、上記実施形態の構成の一部を変更した他の実施形態（変形例）について説明する。

・上記実施形態では、分岐車線の位置情報を、所定期間記憶しておいて、分岐車線を、道路標識に対応する車線の選択対象の１つとしていた。この変形例として、分岐車線と同様に、合流車線の位置情報を、所定期間記憶しておいて、合流車線を、道路標識に対応する車線の選択対象の１つとしてもよい。

また、他の変形例として、分岐車線と同様に、側道の位置情報を、所定期間記憶しておいて、側道を、道路標識に対応する車線の選択対象の１つとしてもよい。また、他の変形例として、分岐車線と同様に、交差車線の位置情報を、所定期間記憶しておいて、交差車線を、道路標識に対応する車線の選択対象の１つとしてもよい。また、分岐車線、合流車線、側道、及び交差車線のうち、２以上の位置情報を所定期間記憶しておいて、道路標識に対応する車線の選択対象としてもよい。

・上記実施形態において、ステップＳ２０３の処理を実行しなくてもよい。つまり、分岐車線を一定期間継続して認識したか否かを判定せずに、分岐車線を認識した場合（ステップＳ２０２：ＹＥＳ）には、分岐車線の位置情報を記憶（ステップＳ２０４）してもよい。

・上記実施形態において、ステップＳ２０９，Ｓ２１０の処理を実行しなくてもよい。つまり、自車線の移動量を推定し、分岐車線の位置情報を補正しなくてもよい。

・上記実施形態において、制御装置２０は、多数決により、最終的な判定結果を決定したが、判定処理の結果をそのまま表示させてもよい。

・上記実施形態のステップＳ２０８において、自車両の移動量は、撮影画像の特徴点の時系列変化から推定してもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

２０…制御装置、２１…画像情報取得部、２２…標識認識部、２３…車線認識部、２４…記憶部、２５…判定部、６０…道路標識、７０…走行路、８１…自車線、８２…隣接車線、８３…分岐車線。

Claims (4)

1. 車両が走行する走行路を撮像した画像情報を取得する画像情報取得部（２１）と、
   前記画像情報に基づいて、道路標識（６０）を認識する標識認識部（２２）と、
   前記画像情報に基づいて、前記走行路（７０）の車線（８１～８３）を認識する車線認識部（２３）と、
   前記車線認識部により認識された車線に係る車線情報を時系列で記憶する記憶部（２４）と、
   前記標識認識部により認識された道路標識が、自車線に対応するか否かを判定する判定部（２５）と、を備え、
   前記判定部は、時系列で記憶された車線情報に基づいて、予め決められた期間に認識された車線のうち、前記道路標識が最もふさわしい車線を選択することにより、前記道路標識が自車線に対応するか否かを判定するものであって、
   前記車線情報には、認識された各車線の位置情報が含まれ、
   前記判定部は、前記道路標識の位置情報と各車線の位置情報とを比較することにより、前記道路標識が最もふさわしい車線を選択するものであり、
   前記各車線の位置情報は、自車両を基準とする相対的な位置であり、
   前記判定部は、予め決められた期間に認識された車線のうち、前記画像情報から認識できない車線の位置情報を、自車両の移動量に基づいて補正し、補正した後、前記各車線の位置情報と前記道路標識の位置情報とを比較するものである画像認識装置（２０）。
2. 前記判定部は、前記道路標識が自車線に対応するか否かの判定を、所定期間繰り返し実行し、最終的な判定結果を多数決で決定する請求項１に記載の画像認識装置。
3. 前記車線認識部は、前記画像情報に基づいて、車線の種類を認識し、
   前記記憶部は、認識された各車線の種類を、前記車線情報に含ませて記憶し、
   前記判定部は、前記道路標識の位置情報と各車線の位置情報とを比較する際、前記車線情報に含まれる前記各車線の種類に基づいて、前記道路標識に対応する車線として最もふさわしい車線が、自車線又は同一進行方向の隣接車線である場合、前記道路標識が自車線に対応すると判定する請求項１又は２に記載の画像認識装置。
4. 画像認識装置により実行される画像認識方法において、
   車両が走行する走行路を撮像した画像情報を取得する画像情報取得ステップ（Ｓ１０１）と、
   前記画像情報に基づいて、道路標識を認識する標識認識ステップ（Ｓ１０１）と、
   前記画像情報に基づいて、前記走行路の車線を認識する車線認識ステップ（Ｓ１０３，Ｓ２０１）と、
   前記車線認識ステップにより認識された車線に係る車線情報を時系列で記憶する記憶ステップ（Ｓ２０４）と、
   前記標識認識ステップにより認識された道路標識が、自車線に対応するか否かを判定する判定ステップ（Ｓ１０６～Ｓ１０８）と、を備え、
   前記判定ステップは、時系列で記憶された車線情報に基づいて、予め決められた期間に認識された車線のうち、前記道路標識が最もふさわしい車線を選択することにより、前記道路標識が自車線に対応するか否かを判定するステップであって、
   前記車線情報には、認識された各車線の位置情報が含まれ、
   前記判定ステップは、前記道路標識の位置情報と各車線の位置情報とを比較することにより、前記道路標識が最もふさわしい車線を選択するステップであり、
   前記各車線の位置情報は、自車両を基準とする相対的な位置であり、
   前記判定ステップは、予め決められた期間に認識された車線のうち、前記画像情報から認識できない車線の位置情報を、自車両の移動量に基づいて補正し、補正した後、前記各車線の位置情報と前記道路標識の位置情報とを比較するステップである画像認識方法。

Images