JP2006003994A - 道路標識認識装置 - Google Patents

Abstract

【課題】 CPU、撮像装置の能力、コストを抑制し、車両へ現実的に搭載でき、確実に道路標識を認識することができる道路標識認識装置を提供すること。
【解決手段】 自車前方を撮像するステレオカメラ５と、撮像した画像を撮像対象までの距離を示す距離画像に変換する距離画像作成部２１と、撮像した画像から道路標識部分を認識するデータ探索部４２と、複数の道路標識のデータを有するテンプレートデータと、画像の道路標識部分とテンプレートデータとのマッチングを行い、道路標識を認識する画像判定部４４とを備える道路標識認識装置１において、自車と道路標識との距離により段階的にテンプレートサイズを変更するテンプレート拡大縮小部４４を設け、画像判定部４４は、自車と道路標識との距離により段階的に認識処理を行う。
【選択図】 図１

Description

本発明は、運転支援を行うために、自車前方に設置されている道路標識を認識して、道路標識認識装置の技術分野に属する。

従来では、自車の前方を撮像し、テンプレートマッチングにより道路標示、道路標識を認識している（例えば、特許文献１参照。）。
特開２００３−１２３１９７号公報（第２−１４頁、全図）

しかしながら、従来にあって画像に撮像されたテンプレートマッチングを行うには、撮像範囲を各種ある標識のテンプレートと照合処理しなければならず、対象物の遠近も考慮してテンプレートの拡大、縮小を行わなければならない。しかも、道路標識が近傍に位置しないと正確な種類を見分けることができなかった。しかし、望遠レンズを使用し、遠方から認識するには、画角が狭く使用が困難であった。
そのため、道路標識を認識する処理では、CPU、撮像装置が非常に高価な物になってしまっていた。また、これにより車両への搭載が現実的に困難であった。

本発明は、上記問題点に着目してなされたもので、その目的とするところは、CPU、撮像装置の能力、コストを抑制し、車両へ現実的に搭載でき、確実に道路標識を認識することができる道路標識認識装置を提供することにある。

上記目的を達成するため、本発明では、自車前方を撮像する撮像手段と、撮像した画像を撮像対象までの距離を示す距離画像に変換する変換手段と、撮像した画像から道路標識部分を認識する手段と、複数の道路標識のデータを有するテンプレートデータと、画像の道路標識部分とテンプレートデータとのマッチングを行い、道路標識を認識するマッチング手段とを備える道路標識認識装置において、自車と道路標識との距離により段階的にテンプレートサイズを変更する手段を設け、マッチング手段は、自車と道路標識との距離により段階的に認識処理を行うことを特徴とする。

よって、本発明にあっては、CPU、撮像装置の能力、コストを抑制し、車両へ現実的に搭載でき、確実に道路標識を認識することができる。

以下、本発明の道路標識認識装置を実現する実施の形態を、請求項１，２，３に係る発明に対応する実施例１に基づいて説明する。

まず、構成を説明する。
図１は実施例１の道路標識認識装置のブロック図である。図３は実施例１の道路標識認識装置の画像処理の説明図である。
道路標識認識装置１は、ASIC２、画像メモリ３、プロセッサ４を主な構成にし、ステレオカメラ５（撮像手段に相当する）が接続されている。
ASIC２は、ステレオカメラ５で撮像した画像のA/D変換を行い、内部に有する距離画像作成部２１（距離画像変換手段に相当する）で距離画像を作成し、画像メモリ３へ出力する。
画像メモリ３は、距離画像を一時的に記憶する。
プロセッサ４は、距離画像撮り込み部４１、データ探索部４２（道路標識部分を認識する手段に相当する）、テンプレート拡大縮小部４３（テンプレートサイズを変更する手段に相当する）、画像判定部４４（マッチング手段に相当する）、表示部４５（警告伝達手段に相当する）を主な構成にしている。

距離画像撮り込み部４１は、画像メモリ３に記憶している距離画像をプロセッサ４にデータで撮り込む。
データ探索部４２は、画像データの特定エリア内に特定の距離データがあるかどうかを探索する。
テンプレート拡大縮小部４３は、データ探索部４２で確認した距離データに対応する画像データを参照し、距離に合わせてテンプレートのサイズ変更を行う。
画像判定部４４は、対象となる画像データとテンプレートマッチングを行う。
表示部４５は、ドライバに警告などの表示を行う。
ステレオカメラ５は、車両の左右にそれぞれ設けるようにし、自車前方の画像を撮像する。すると、画像は、その水平位置の違いにより視差を生じるため、その視差により撮像した対象物までの距離が分かることとなる。

［画像処理］
図２は実施例１の道路標識認識装置の道路認識の画像処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップＳ１では、距離画像の特定エリアに特定の距離データがあるかどうかを探索する。

ステップＳ２では、画像の特定エリアに特定の距離データを確認したかどうかを判断し、確認したならばステップＳ３へ移行し、確認しないならばステップＳ１へ移行する。

ステップＳ３では、フレーム間引き処理として、該当する認識処理を行う認識可能距離に達したかどうかを判断し、認識可能距離に達したならばステップＳ４に移行し、認識可能距離に達しないならばステップＳ３に移行して待つようにする。

ステップＳ４では、ステップＳ３の認識可能距離にあわせてテンプレートの拡大縮小を行う。

ステップＳ５では、画像の特定エリアに特定の距離データを確認したかどうかを判断し、確認したならばステップＳ６へ移行し、確認しないならばステップＳ１へ移行する。

ステップＳ６では、フレーム間引き処理として、該当する認識処理を行う認識可能距離に達したかどうかを判断し、認識可能距離に達したならばステップＳ７に移行し、認識可能距離に達しないならばステップＳ６に移行して待つようにする。

ステップＳ７では、標識形状を判断し、標識形状が丸であるならばステップＳ１４へ移行し、標識形状が三角であるならばステップＳ１１へ移行し、標識形状がひし形であるならばステップＳ８へ移行する。

ステップＳ８では、ステップＳ６の認識可能距離にあわせてテンプレートの拡大縮小を行う。

ステップＳ９では、テンプレートマッチングにより、該当する標識データがあるかどうかを判断し、ある場合にはステップＳ１０へ移行し、ない場合にはステップＳ１へ移行する。

ステップＳ１０では、認識した道路標識の内容に応じて警告の表示を行い、ステップＳ１へ移行する。

ステップＳ１１では、ステップＳ６の認識可能距離にあわせてテンプレートの拡大縮小を行う。

ステップＳ１２では、テンプレートマッチングにより、該当する標識データがあるかどうかを判断し、ある場合にはステップＳ１３へ移行し、ない場合にはステップＳ１へ移行する。

ステップＳ１３では、認識した道路標識の内容に応じて警告の表示を行い、ステップＳ１へ移行する。

ステップＳ１４では、ステップＳ６の認識可能距離にあわせてテンプレートの拡大縮小を行う。

ステップＳ１５では、テンプレートマッチングにより、該当する標識データがあるかどうかを判断し、ある場合にはステップＳ１６へ移行し、ない場合にはステップＳ１へ移行する。

ステップＳ１６では、認識した道路標識の内容に応じて警告の表示を行い、ステップＳ１へ移行する。

［道路標識認識作用］
実施例１の道路標識認識装置１では、ステレオカメラ５で撮像し、距離画像に変換したものにおいて、特定のエリアに特定距離データが存在するかを、まず確認する。
ここで、特定のエリアとは、道路標識においては、その大きさや位置は概ね決まっているため、路側式の道路標識では、図３(a)のエリア６ａ、片持ち式、門型式、添架式の道路標識では、図３(b)のエリア７ａを特定のエリアとして距離データの探索を行うようにする。

まず、所定の遠い距離では、その距離に対応した面積となるエリア６ａ、又はエリア７ａにテンプレートの大きさを合わせ、道路標識に該当する距離データが存在するかどうかの判定のみを行う。これを第１段階とする（ステップＳ１，Ｓ２）。
次に、第１段階よりも近い所定の距離に達すると、その距離に対応した面積となるエリア６ｂ、又はエリア７ｂにテンプレートの大きさを合わせ、道路標識の形状に該当するデータとマッチングするかどうかの判定のみを行う。これを第２段階とする（ステップＳ３〜Ｓ５）。道路標識の形状を認識することによって、ある程度、道路標識の種類を絞り込むことになる。例としては、丸ならば、制限速度表示、駐車規則、指定方向進行等、三角ならば、一時停止等、ひし形ならば横断歩道、踏み切り等が挙げられる。

次に、第２段階よりも近い所定の距離に達すると、その距離に対応した面積となるエリア６ｃ、又はエリア７ｃにテンプレートの大きさを合わせ、道路標識の種類に該当するデータとマッチングするかどうかの判定のみを行う。これを第３段階とする（ステップＳ６〜Ｓ１６）。
距離により段階を分けることは、画像処理上は、画像フレームを間引く処理になる。このように距離により、段階を分けて認識処理を行うことによって、プロセッサ４やASIC２の処理負担は、軽くなり、コストを抑制して車両への搭載が実現可能となる。また、段階を分けたことにより認識処理を確実に行う。

このようにして、道路標識の認識を行ったならば、表示部４５によりその道路標識の内容に応じて表示で警告を行う。
次に、効果を説明する。
実施例１の道路標識認識装置１にあっては、下記に列挙する効果を得ることができる。
(1)自車前方を撮像するステレオカメラ５と、撮像した画像を撮像対象までの距離を示す距離画像に変換する距離画像作成部２１と、撮像した画像から道路標識部分を認識するデータ探索部４２と、複数の道路標識のデータを有するテンプレートデータと、画像の道路標識部分とテンプレートデータとのマッチングを行い、道路標識を認識する画像判定部４４とを備える道路標識認識装置１において、自車と道路標識との距離により段階的にテンプレートサイズを変更するテンプレート拡大縮小部４４を設け、画像判定部４４は、自車と道路標識との距離により段階的に認識処理を行うため、CPU、撮像装置の能力、コストを抑制し、車両へ現実的に搭載でき、確実に道路標識を認識することができる。

(2)画像判定部４４は、道路標識の有無を認識する処理を第１段階とし、テンプレートマッチングにより標識の形状を認識する処理を第２段階とし、テンプレートマッチングにより標識の種類を認識する処理を第３段階とし、道路標識と自車との距離が近づくに従って、第１段階から順に段階的に処理を行うため、処理負担を３つの段階に分けることにより、CPU、撮像装置の能力、コストを抑制し、確実に道路標識を認識することができる。

(3)認識した道路標識の内容に応じて、ドライバに警告を伝達する表示部４５を備えたため、認識した道路標識に応じてドライバに警告を表示で行うことができる。

以上、本発明の道路標識認識装置を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１の道路標識認識装置のブロック図である。 実施例１の道路標識認識装置の道路認識の画像処理の流れを示すフローチャート図である。 実施例１の道路標識認識装置の道路認識の処理画像の説明図である。

符号の説明

１ 道路標識認識装置
２ ASIC
２１ 距離画像作成部
３ 画像メモリ
４ プロセッサ
４１ 距離画像撮り込み部
４２ データ探索部
４３ テンプレート拡大縮小部
４４ 画像判定部
４５ 表示部
５ ステレオカメラ
６ （路側式の道路標識のある）処理画像
６ａ （距離画像により特定距離データが存在するか確認する）エリア
６ｂ （テンプレートマッチングを行い標識の形状を認識する）エリア
６ｃ （テンプレートマッチングを行い標識の種類を確定する）エリア
７ （片持式、門型式、添架式の道路標識のある）処理画像
７ａ （距離画像により特定距離データが存在するか確認する）エリア
７ｂ （テンプレートマッチングを行い標識の形状を認識する）エリア
７ｃ （テンプレートマッチングを行い標識の種類を確定する）エリア

Claims (3)

1. 自車前方を撮像する撮像手段と、
   撮像した画像を撮像対象までの距離を示す距離画像に変換する変換手段と、
   撮像した画像から道路標識部分を認識する手段と、
   複数の道路標識のデータを有するテンプレートデータと、
   画像の道路標識部分とテンプレートデータとのマッチングを行い、道路標識を認識するマッチング手段と、
   を備える道路標識認識装置において、
   自車と道路標識との距離により段階的にテンプレートサイズを変更する手段を設け、
   前記マッチング手段は、
   自車と道路標識との距離により段階的に認識処理を行う、
   ことを特徴とする道路標識認識装置。
2. 請求項１に記載された道路標識認識装置において、
   前記マッチング手段は、
   道路標識の有無を認識する処理を第１段階とし、
   テンプレートマッチングにより標識の形状を認識する処理を第２段階とし、
   テンプレートマッチングにより標識の種類を認識する処理を第３段階とし、
   道路標識と自車との距離が近づくに従って、第１段階から順に段階的に処理を行う、
   ことを特徴とする道路標識認識装置。
3. 請求項１または請求項２に記載された道路標識認識装置において、
   認識した道路標識の内容に応じて、ドライバに警告を伝達する警告伝達手段を備えた、
   ことを特徴とする道路標識認識装置。

Images