JP5327241B2 - 物体識別装置 - Google Patents

Description

本発明は、交通標識等の物体を識別する物体識別装置に関する。

従来、車載カメラで撮影した画像から、画像処理の技術を用いて交通標識等の物体を識別する物体識別装置が開示されている（特許文献１参照）。この物体識別装置では、まず、車載カメラで撮影した画像から、画像処理により、交通標識の候補領域を抽出する。次に、この交通標識の候補領域を、複数のマッチング対象のそれぞれとマッチングして一致度を算出する。ここで、マッチング対象とは、交通標識を表す画像データであり、複数の交通標識のそれぞれについて予め記憶されている。交通標識の候補領域と、特定のマッチング対象との一致度が所定値以上であれば、その交通標識の候補領域は、そのマッチング対象に対応する交通標識であると認識される。

特表２００２−５３０７５９号公報

特許文献１の技術では、常に、交通標識の候補領域と、全てのマッチング対象とのマッチングを順次行う。そのため、マッチングの回数が多くなり、本来は交通標識の候補領域に対応するものではない交通標識を、対応する交通標識であると誤検出してしまうおそれが高くなる。

本発明は以上の点に鑑みなされたものであり、誤検出を生じにくい物体識別装置を提供することを目的とする。

本発明の物体識別装置は、車外の画像を取得し、その画像から、道路における区間の開始又は終了を表す物体の候補領域を、画像処理により抽出する。また、本発明の物体識別装置は、前記候補領域と、それぞれが前記物体のいずれかに対応する複数のマッチング対象とのマッチングの結果に基づき、前記候補領域を前記物体として認識する。また、本発明の物体識別装置は、前記物体認識手段により認識された前記物体を記憶する物体記憶手段を備え、前記複数のマッチング対象のうち、前記物体記憶手段に記憶された前記物体の種類に応じて予め定められた一部のマッチング対象を選択して前記マッチングに用いる。すなわち、複数のマッチング対象のうち、選択されなかったマッチング対象は、マッチングに用いないようにする。

本発明の物体識別装置によれば、複数のマッチング対象のうち、物体記憶手段に記憶された物体の種類に応じて予め定められた一部のマッチング対象を選択して用いるので、マッチングの回数を減少させることができる。そのことにより、本来は候補領域に対応するものではない物体を、誤って候補領域に対応する物体であると誤検出してしまうようなことが起こり難くなる。

予め定められた一部のマッチング対象として選択されないマッチング対象は、例えば、物体記憶手段に記憶された物体が直前に認識された状態では、出現しない（又は出現しない可能性が高い）物体に対応するものとすることができる。こうすることにより、上記のようにマッチングに用いるマッチング対象を制限しても、物体の認識において問題が生じない。

前記物体は、交通標識を含む。この交通標識は、（１）速度規制標識、（２）速度規制解除標識、（３）追い越し禁止標識、（４）追い越し禁止解除標識、（５）高速道路又は自動車専用道路の出入口を表す標識、（６）街入口又は街出口を表す標識、及び（７）レジデンツエリアの入口又は出口を表す標識のうちのいずれか１以上である。また、交通標識は、例えば、路面表示とすることができる。

前記車外の画像は、例えば、車載カメラにより取得することができる。
道路における区間とは、例えば、速度規制区間、追い越し禁止区間、高速道路の区間、自動車専用道路の区間、街の区間、レジデンツエリアの区間が挙げられる。

前記物体認識手段は、例えば、物体の候補領域と、複数のマッチング対象のそれぞれとのマッチングを行い、その物体の候補領域を、マッチングの一致度が最も高かったマッチング対象に対応する物体として認識することができる。

前記マッチング対象制限手段は、例えば、物体記憶手段に新たに物体が記憶されるか、記憶された物体が更新されるごとに、マッチングに用いないようにするマッチング対象を変更することができる。

標識識別装置１の構成を表すブロック図である。 標識識別装置１の各構成の車両１５における配置を表す説明図である。 標識識別装置１が識別可能な交通標識を表す説明図である。 標識識別装置１が実行する標識認識処理の全体を表すフローチャートである。 標識識別装置１が実行する模様マッチング処理を表すフローチャートである。 記憶標識と除外標識との対応関係を表す説明図である。 記憶標識と除外標識との対応関係を表す説明図である。

１．標識識別装置１の構成
標識識別装置（物体識別装置）１の構成を図１〜図３基づいて説明する。図１は、標識識別装置１の構成を表すブロック図であり、図２は、標識識別装置１の各構成の車両１５における配置を表す説明図であり、図３は、標識識別装置１が識別可能な交通標識を表す説明図である。

標識識別装置１は車両１５（図２参照）に搭載される車載装置であって、交通標識の識別を行う装置である。標識識別装置１は、図１及び図２に示すように、カメラ（画像取得手段）３、車速センサ５、電子制御装置７、表示装置９から構成される。

カメラ３は、図２に示すように、車両１５のフロントガラス１７付近に設置され、車両１５の前方（車外）を撮影した画像を取得する。カメラ３で取得された画像は、電子制御装置７に出力される。

電子制御装置７は、画像認識部（候補領域抽出手段、物体認識手段、マッチング対象制限手段）１１と検出結果記憶部（物体記憶手段）１３とを備える。画像認識部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のコンピュータである。画像認識部１１は、カメラ３で取得した画像を取り込み、後述する処理を実行する。また、画像認識部１１は、後述する処理に用いるマッチング対象を記憶している。このマッチング対象とは、交通標識を表す画像データであり、図３に示す各交通標識のそれぞれに対応するものがある。

図３に示す交通標識には、速度規制標識であるＡ１〜Ａ１２、速度規制の解除標識であるＢ１〜Ｂ１３、市街地入口の標識であるＣ１、市街地出口の標識であるＣ２、レジデンツエリア入口の標識であるＤ１、レジデンツエリア出口の標識であるＤ２、高速道路入口の標識であるＥ１、高速道路出口の標識であるＥ２、自動車専用道路入口の標識であるＦ１、自動車専用道路出口の標識であるＦ２が含まれる。また、画像認識部１１は車速センサ５の検出結果を取り込む。

検出結果記憶部１３は、周知の記憶素子により構成され、画像認識部１１で認識した交通標識を記憶する機能を有する。
表示装置９は周知の液晶ディスプレイであり、車両１５の車室内に設置される。表示装置９は、画像認識部１１で認識した交通標識、及び車速センサ５の検出結果を表示することができる。

２．標識識別装置１が実行する処理
標識識別装置１が実行する処理を図４、図５のフローチャート、及び図６、図７の説明図に基づいて説明する。
（１）まず、標識識別装置１が実行する標識認識処理の全体を図４のフローチャートに基づいて説明する。この処理は所定時間ごとに繰り返し実行される。

ステップ１０では、カメラ３で取得した車両１５の前方の画像からエッジ（画像において輝度が急峻に変化している部分）を抽出する。エッジの抽出は周知の方法で行うことができ、例えば、Sobelフィルタと２値化処理により行うことができる。エッジを抽出した画像を以下ではエッジ画像とする。

ステップ２０では、前記ステップ１０で作成したエッジ画像から、一般化ハフ変換等を利用して、円形状、又は矩形の輪郭を持つ領域（以下では、円形／矩形領域とする）を抽出する。

ステップ３０では、前記ステップ２０で抽出した円形／矩形領域を、色別の領域に分け、それぞれの色の領域の位置関係を取得する。そして、各色の領域の位置関係が、交通標識に対応するパターンに該当すれば、その円形／矩形領域を、標識候補領域として抽出する。交通標識に対応するパターンとしては、以下のものがある。
・円の端に赤の領域が多く分布し、中心付近に白の領域及び黒の領域が分布する。
・円の端と中心に白の領域と黒の領域が分布し、その他の色の領域は少ない。
・全体的に青の領域が多く分布し、中心付近に白の領域が分布する。その他の色の領域は少ない。
・全体的に黄色の領域が分布し、中心付近に黒の領域が分布する。その他の色の領域は少ない。

ステップ４０では、後述するステップ５０の処理で用いるマッチング対象を決定する。具体的には、後述するステップ６０の処理により、検出結果記憶部１３に最も直近に記憶された１つの交通標識（以下、記憶標識とする）を読み出し、その読み出した記憶標識に予め対応付けられた交通標識（以下、除外標識とする）を決める。そして、画像認識部１１に記憶された全てのマッチング対象から、除外標識に対応するマッチング対象を除き、残ったマッチング対象（選択したマッチング対象）を、後述するステップ５０の処理で用いるマッチング対象とする。

記憶標識と、除外標識との対応関係は、図６、及び図７に示すように予め決められており、画像認識部１１はその対応関係のマップを備えている。
なお、除外標識は、それに対応する記憶標識が直前に検出された状態では通常出現せず、探す必要がないものである。

すなわち、時速６０ｋｍの速度規制標識であるＡ５が直前に検出された状態では、時速６０ｋｍ以外の速度制限を解除する標識であるＢ１〜Ｂ４、Ｂ６〜Ｂ１２は通常出現せず、探す必要がない。

また、市街地入口の標識であるＣ１が直前に検出された状態では、市街地入口の標識であるＣ１、及び全ての速度制限を解除する標識であるＢ１〜Ｂ１３は通常出現せず、探す必要がない。なお、市街地入口の標識であるＣ１は時速５０ｋｍの速度制限を表し、その速度制限の解除は市街地出口の標識Ｃ２で行うため、Ｂ１〜Ｂ１３が出現することはない。

また、自動車専用道路入口の標識であるＦ１が直前に検出された状態では、自動車専用道路入口の標識であるＦ１、及び全ての速度制限を解除する標識であるＢ１〜Ｂ１３は通常出現せず、探す必要がない。なお、自動車専用道路入口の標識であるＦ１は時速１００ｋｍの速度制限を表し、その速度制限の解除は自動車専用道路出口の標識であるＦ２で行うため、Ｂ１〜Ｂ１３が出現することはない。

また、高速道路入口の標識であるＥ１が直前に検出された状態では、高速道路入口の標識であるＥ１、及び全ての速度制限を解除する標識であるＢ１〜Ｂ１３は通常出現せず、探す必要がない。なお、高速道路入口の標識であるＥ１は速度制限無しを表すので、Ｂ１〜Ｂ１３が出現することはない。

また、レジデンツエリア入口の標識であるＤ１が直前に検出された状態では、レジデンツエリア入口の標識であるＤ１、及び全ての速度制限を解除する標識であるＢ１〜Ｂ１３は通常出現せず、探す必要がない。なお、レジデンツエリア入口の標識であるＤ１は徐行を表し、その速度制限の解除はレジデンツエリア出口の標識であるＤ２で行うため、Ｂ１〜Ｂ１３が出現することはない。

また、時速１３０ｋｍの速度規制解除標識であるＢ１２が直前に検出された状態では、全ての速度制限を解除する標識であるＢ１〜Ｂ１３は通常出現せず、探す必要がない。また、Ｂ１２以外の速度規制解除標識が直前に検出された場合でも、上と同様に、全ての速度制限を解除する標識であるＢ１〜Ｂ１３は通常出現せず、探す必要がない
また、高速道路出口の標識であるＥ２が直前に検出された状態では、高速道路出口の標識であるＥ２は通常出現せず、探す必要がない。

また、自動車専用道路出口の標識であるＦ２が直前に検出された状態では、自動車専用道路出口の標識であるＦ２は通常出現せず、探す必要がない。
また、レジデンツエリア出口の標識であるＤ２が直前に検出された状態では、レジデンツエリア出口の標識であるＤ２は通常出現せず、探す必要がない。

また、市街地出口の標識であるＣ２が直前に検出された状態では、市街地出口の標識であるＣ２は通常出現せず、探す必要がない。
ステップ５０では、前記ステップ３０で抽出した標識候補領域と、前記ステップ４０で決定したマッチング対象とで模様マッチングを行い、算出した一致度がしきい値以上であれば、標識候補領域は、そのマッチング対象に対応する交通標識であると認識する。処理に用いるマッチング対象が複数ある場合は、それぞれのマッチング対象との模様マッチングを順次行い、その結果、標識候補領域は、一致度がしきい値以上であり、且つマッチングらしさが最も高かったマッチング対象に対応する交通標識であると認識する。なお、本ステップ５０における模様マッチングの処理については後に詳述する。

ステップ６０では、前記ステップ５０で認識した交通標識を検出結果記憶部１３に記憶する。なお、前記ステップ５０で交通標識を認識できなかった場合は記憶を行わない。また、既に検出結果記憶部１３に交通標識が記憶されていた場合は、新たに認識した交通標識を上書きし、古い交通標識の記憶は消去される。

ステップ７０では、前記ステップ５０で認識した交通標識を表示装置９に表示する。
（２）次に、模様マッチング処理の詳細を図５のフローチャートに基づいて説明する。
ステップ１１０では、直前の前記ステップ４０で決定したマッチング対象の１つであるマッチング対象Ｍｉを選択し、選択したマッチング対象Ｍｉの事前学習しておいた辞書情報Ｄiを抽出する。なお、前記ステップ４０で決定したマッチング対象を、Ｍ１、Ｍ２、・・・Ｍｉ・・・として、本ステップ１１０を繰り返し実行するたびに、Ｍ１、Ｍ２、Ｍ３・・・の順に１つずつ選択する（ｉは整数）。

ステップ１２０では、前記ステップ３０で抽出した標識候補領域における画像上の位置である探索座標（Ｘ、Ｙ）を決定する。なお、模様マッチング処理では、矩形領域を画像上で走査しながらスコアを算出することで、マッチング対象が存在するかを判定する。探索座標（Ｘ、Ｙ）は、走査する矩形領域の画像上での位置である。

ステップ１３０では、探索サイズＳを決定する。探索サイズＳは、走査する矩形領域の画像上での大きさである。
ステップ１４０では、前記ステップ１２０で決定した探索座標（Ｘ、Ｙ）、及び前記ステップ１３０で決定した探索サイズＳにおけるマッチング対象らしさのスコアであるマッチングスコアＳＣｉ（Ｘ、Ｙ、Ｓ）を算出する。マッチングスコアＳＣｉ（Ｘ、Ｙ、Ｓ）の算出方法は周知の方法を使用でき、例えば、「Paul Viola and Michael Jones, "Robust real-time object detection",International Journal of Computer Vision - to appear, 2002」に開示された方法を用いることができる。

ステップ１５０では、直前の前記ステップ１４０で算出したマッチングスコアＳＣｉ（Ｘ、Ｙ、Ｓ）が所定のしきい値以上であるか否かを判断する。しきい値以上である場合はステップ１６０に進み、しきい値未満である場合はステップ１８０に進む。

ステップ１６０では、直前の前記ステップ１４０で算出したマッチングスコアＳＣｉ（Ｘ、Ｙ、Ｓ）が、マッチング対象Ｍｉについてそれまでに算出したマッチングスコアＳＣｉ（Ｘ、Ｙ、Ｓ）の中での最大値であるＳＣｍａｘより大きいか否かを判断する。ＳＣｍａｘより大きい場合はステップ１７０に進み、ＳＣｍａｘ以下である場合はステップ１８０に進む。

ステップ１７０では、その時点において標識候補領域に該当するマッチング対象をＭｉとする。また、ＳＣｍａｘを、直前の前記ステップ１４０で算出したマッチングスコアＳＣｉ（Ｘ、Ｙ、Ｓ）に更新する。

ステップ１８０では、探索サイズＳについて、対象サイズ範囲を全て実施したか否かを判断する。対象サイズ範囲を全て実施した場合はステップ１９０に進み、未だ全ての対象サイズ範囲を実施していない場合はステップ１３０に戻る。

ステップ１９０では、探索座標（Ｘ、Ｙ）について、走査範囲全てを走査したか否かを判断する。走査範囲全てを走査した場合はステップ２００に進み、未だ全ての走査範囲を走査していない場合はステップ１２０に戻る。

ステップ２００では、全てのマッチング対象を取り出して前記ステップ１２０〜１９０の処理を行ったか否かを判断する。ＹＥＳの場合は本処理を終了する。このとき、標識候補領域は、最終的に前記ステップ１７０で標識候補領域に該当するとされたマッチング対象に対応する交通標識であると認識される。一方、未だ全てのマッチング対象を取り出していない場合はステップ１１０に戻る。

３．標識識別装置１が奏する効果を説明する。
標識識別装置１によれば、画像認識部１１に記憶された複数のマッチング対象のうち、検出結果記憶部１３に記憶された（最も新しく認識された交通標識である）記憶標識に応じて予め定められた除外標識に対応するマッチング対象は、模様マッチングの処理に用いないようにする。そのことにより、模様マッチングの処理におけるマッチングの回数を減少させることができる。その結果、本来は標識候補領域に対応するものではない交通標識を、誤って対応する交通標識であると誤検出してしまうようなことが起こり難くなる。

また、除外標識は、そのときの状態において通常出現せず、探す必要がない交通標識であるので、除外標識に対応するマッチング対象を模様マッチングにおいて用いないようにしても、交通標識の認識において問題になることがない。

尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、検出結果記憶部１３には、２以上の交通標識を順次記憶しておいてもよい。そして、図６、図７のマップにおいて、その２以上の交通標識のいずれかに対応する交通標識を全て除外標識としてもよい。

また、特定の交通標識が新たに認識されると、検出結果記憶部１３に記憶された交通標識のうち、その特定の交通標識に予め対応付けられた交通標識を消去するようにしてもよい。そして、検出結果記憶部１３から消去された交通標識に対応する除外標識のマッチング対象は、それ以降、模様マッチングに用いるようにすることができる。

また、検出結果記憶部１３に記憶できる交通標識の数に制限を設け、その制限を越えれば、先に記憶された交通標識から順次消去するようにしてもよい。
また、記憶標識と除外標識との関係は、標識識別装置１を実施する国、地域、地方等の事情に応じて適宜設定することができる。

また、交通標識は、路面表示であってもよい。
また、標識識別装置１は、交通標識以外の各種物体の識別にも用いることができる。
また、前記ステップ１０〜５０の処理は、上述した方法には限定されず、周知の各種方法を用いることができる。

１・・・標識識別装置、３・・・カメラ、５・・・車速センサ、７・・・電子制御装置、
９・・・表示装置、１１・・・画像認識部、１３・・・検出結果記憶部、
１５・・・車両、１７・・・フロントガラス

Claims (2)

1. 車外の画像を取得する画像取得手段と、
   道路における区間の開始又は終了を表す物体の候補領域を画像処理により前記画像から抽出する候補領域抽出手段と、
   前記候補領域と、それぞれが前記物体のいずれかに対応する複数のマッチング対象とのマッチングの結果に基づき、前記候補領域を前記物体として認識する物体認識手段と、
   前記物体認識手段により認識された前記物体を記憶する物体記憶手段と、
   前記複数のマッチング対象のうち、前記物体記憶手段に記憶された前記物体の種類に応じて予め定められた一部のマッチング対象を選択して前記マッチングに用いるマッチング対象制限手段と、
   を備え、
   前記物体は、（１）速度規制標識、（２）速度規制解除標識、（３）追い越し禁止標識、（４）追い越し禁止解除標識、（５）高速道路又は自動車専用道路の出入口を表す標識、（６）街入口又は街出口を表す標識、及び（７）レジデンツエリアの入口又は出口を表す標識のうちのいずれか１以上である交通標識を含むことを特徴とする物体識別装置。
2. 前記交通標識は、路面表示であることを特徴とする請求項１記載の物体識別装置。