JP5962442B2 - Sign recognition system, sign recognition method, and sign recognition program - Google Patents
Sign recognition system, sign recognition method, and sign recognition program Download PDFInfo
- Publication number
- JP5962442B2 JP5962442B2 JP2012243159A JP2012243159A JP5962442B2 JP 5962442 B2 JP5962442 B2 JP 5962442B2 JP 2012243159 A JP2012243159 A JP 2012243159A JP 2012243159 A JP2012243159 A JP 2012243159A JP 5962442 B2 JP5962442 B2 JP 5962442B2
- Authority
- JP
- Japan
- Prior art keywords
- sign
- recognition
- recognition target
- feature
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、標識認識システム、標識認識方法、及び標識認識プログラムに関する。 The present invention relates to a sign recognition system, a sign recognition method, and a sign recognition program.
従来、車両から道路上に設置された標識を撮影し、当該撮影した画像を利用して標識を画像認識する物体識別装置が提案されている（例えば、特許文献１参照）。この物体識別装置は、カメラによって撮影された画像から標識の外枠を抽出し、この抽出された標識の外枠が所定形状に該当するか否かを判定する。そして、所定形状に該当する場合には、当該標識の外枠の内部から色の領域の位置関係を取得し、この取得した色の領域の位置関係が所定の標識パターンに該当する場合に、当該色の領域を標識候補領域として特定する。そして、この標識候補領域と、記憶部から選択されたマッチング対象となる標識とを用いてマッチングを行い、マッチングスコアが閾値以上であった場合に、この標識候補領域をマッチング対象に対応する標識として認識する。 2. Description of the Related Art Conventionally, there has been proposed an object identification device that captures a sign placed on a road from a vehicle and recognizes the sign using the photographed image (see, for example, Patent Document 1). The object identification device extracts an outer frame of the sign from an image captured by the camera, and determines whether or not the extracted outer frame of the sign corresponds to a predetermined shape. And when it corresponds to the predetermined shape, the positional relationship of the color area is acquired from the inside of the outer frame of the sign, and when the acquired positional relationship of the color area corresponds to the predetermined sign pattern, A color area is specified as a marker candidate area. Then, matching is performed using this marker candidate region and a marker to be matched selected from the storage unit, and when the matching score is equal to or greater than a threshold value, the marker candidate region is used as a marker corresponding to the matching target. recognize.
しかしながら、特許文献１に記載の如き従来の装置においては、カメラによって撮影された画像において、標識の外枠と背景との色合いや輝度が酷似している等の理由によって、標識の外枠と背景とのコントラストがとれないことにより、標識の外枠を抽出できない場合があった。このような場合には、上記標識候補領域の特定や、上記標識候補領域とマッチング対象とのマッチングを行うことができないので、カメラによって撮影された画像から標識を認識することができなかった。
However, in the conventional apparatus as described in
本発明は、上記に鑑みてなされたものであって、標識の外枠を認識し難い状況においても、標識を確実に認識することが可能となる、標識認識システム、標識認識方法、及び標識認識プログラムを提供することを目的とする。 The present invention has been made in view of the above, and a sign recognition system, a sign recognition method, and a sign recognition that can reliably recognize a sign even in a situation where it is difficult to recognize the outer frame of the sign. The purpose is to provide a program.
上述した課題を解決し、目的を達成するために、請求項１に記載の標識認識システムは、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識手段を備える標識認識システムであって、地物の位置を特定する地物特定手段と、前記地物特定手段にて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定手段と、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得手段と、をさらに備え、前記地物は、前記非認識対象標識であり、前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得手段にて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、前記標識認識手段は、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定手段により設定された前記存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
In order to solve the above-described problems and achieve the object, the sign recognition system according to
請求項２に記載の標識認識システムは、請求項１に記載の標識認識システムにおいて、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための種類情報を取得する種類情報取得手段を備え、前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、前記標識認識手段は、前記地物特定手段にて特定された前記非認識対象標識の種類と、前記種類情報取得手段にて取得された種類情報とに基づいて、前記認識対象標識の種類を特定する。
The sign recognition system according to
請求項３に記載の標識認識システムは、請求項１又は２に記載の標識認識システムにおいて、当該標識認識システムが設置された車両の走行環境と、当該走行環境において当該車両の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための環境情報を取得する環境情報取得手段と、前記走行環境を特定する走行環境特定手段と、を備え、前記標識認識手段は、前記走行環境特定手段にて特定された走行環境と、前記環境情報取得手段にて取得された環境情報とに基づいて、前記認識対象標識の種類を特定する。
The sign recognition system according to
請求項４に記載の標識認識システムは、請求項１から３のいずれか一項に記載の標識認識システムにおいて、前記地物特定手段は、前記標識認識手段が前記非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した前記非認識対象標識を、前記地物として特定し、前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において前記認識対象標識が存在することが予測される領域である存在予測領域を設定し、前記標識認識手段は、前記領域設定手段にて前記存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
The sign recognition system according to claim 4 is the sign recognition system according to any one of
請求項５に記載の標識認識方法は、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識ステップを含む標識認識方法であって、地物の位置を特定する地物特定ステップと、前記地物特定ステップにおいて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定ステップと、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得ステップと、をさらに含み、前記地物は、前記非認識対象標識であり、前記地物特定ステップにおいて、前記非認識対象標識の位置及び種類を特定し、前記領域設定ステップにおいて、前記地物特定ステップにおいて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得ステップにおいて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、前記標識認識ステップにおいて、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定ステップにおいて設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。 The sign recognition method according to claim 5 , wherein the sign recognition method includes a sign recognition step of recognizing the sign by recognizing the outer frame of the sign and recognizing a symbol inside the recognized outer frame. And, based on the feature specifying step for specifying the position of the feature, and the position of the feature specified in the feature specifying step, it is predicted that there is a recognition target sign around the feature. A region setting step for setting a presence prediction region that is a region to be detected, a type of the feature, and a position of the recognition target sign that is predicted to exist around the feature. Relative position of the recognition target label relative to a non-recognition target label that is a label other than the recognition target label, according to a distance corresponding to the label size upward, downward, left, or right A position information acquisition step of acquiring position information specifying these combinations, wherein the feature is the non-recognition target sign, and in the feature specification step, the position of the non-recognition target sign and Specifying the type, and in the region setting step, based on the position and type of the non-recognition target sign specified in the feature specifying step and the position information acquired in the position information acquisition step When a prediction area is set and the outer frame of the recognition target mark cannot be image-recognized in the sign recognition step, a symbol inside the presence prediction area set in the area setting step is image-recognized. Then, the recognition target sign is recognized.
請求項６に記載の標識認識プログラムは、請求項５に記載の方法をコンピュータに実行させる標識認識プログラムである。 A sign recognition program according to a sixth aspect is a sign recognition program that causes a computer to execute the method according to the fifth aspect.
請求項１に記載の標識認識システム、請求項５に記載の標識認識方法、及び請求項６に記載の標識認識プログラムによれば、標識認識手段は、認識対象標識の外枠を画像認識することができない場合には、領域設定手段により設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識対象標識の外形を認識し難い状況においても、認識対象標識を確実に認識することが可能になり、認識対象標識の認識精度を向上させることができる。
また、領域設定手段は、地物特定手段にて特定された地物の位置及び種類と、位置情報取得手段にて取得された位置情報とに基づいて、存在予測領域を設定するので、存在予測領域を一層正確に設定することが可能になり、認識対象標識の認識精度を一層向上させることができる。
また、地物は、認識対象標識以外の標識である非認識対象標識であるので、非認識対象標識以外の地物に比べて、存在予測領域を正確に設定することが可能になり、認識対象標識の認識精度をさらに一層向上させることができる。
According to the sign recognition system according to
Further, since the region setting unit sets the presence prediction region based on the position and type of the feature specified by the feature specifying unit and the position information acquired by the position information acquisition unit, the presence prediction The region can be set more accurately, and the recognition accuracy of the recognition target sign can be further improved.
In addition, since the feature is a non-recognition target sign that is a sign other than the recognition target sign, the presence prediction region can be set more accurately than the feature other than the non-recognition target sign, and the recognition target The recognition accuracy of the sign can be further improved.
請求項２に記載の標識認識システムによれば、標識認識手段は、地物特定手段にて特定された地物の種類と、種類情報取得手段にて取得された種類情報とに基づいて、認識対象標識の種類を特定するので、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。
According to the sign recognition system of
請求項３に記載の標識認識システムによれば、標識認識手段は、走行環境特定手段にて特定された走行環境と、環境情報取得手段にて取得された環境情報とに基づいて、認識対象標識の種類を特定するので、自車の走行環境に応じた認識対象標識を様々な状況に合わせて選択することができ、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。
According to the sign recognition system of
請求項４に記載の標識認識システムによれば、地物特定手段は、標識認識手段が非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した非認識対象標識を、地物として特定し、領域設定手段は、地物特定手段としての標識認識手段にて特定された非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、標識認識手段は、領域設定手段にて存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識された非認識対象標識の位置に基づいて存在予測領域を設定することができ、存在予測領域をさらに一層正確に設定することが可能になる。 According to the sign recognition system of claim 4 , the feature identifying means recognizes the image of the outer frame of the non-recognition target sign by the sign recognition means, and recognizes the image of the symbol inside the recognized outer frame. The non-recognition target sign recognized by the above is specified as a feature, and the region setting means determines the position of the non-recognition target sign based on the position of the non-recognition target sign specified by the sign recognition means as the feature specification means. A presence prediction region that is a region where a recognition target marker is predicted to be present in the vicinity is set, and when the presence prediction region is set by the region setting unit, the marker recognition unit sets the presence prediction region that has been set Recognizing the recognition target sign by recognizing the image of the symbol inside the area, the presence prediction area can be set based on the position of the recognized non-recognition target sign. It is possible to set the probability.
以下、本発明に係る標識認識システム、標識認識方法、及び標識認識プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、この実施の形態によって本発明が限定されるものではない。なお、本発明に係る標識認識システム、標識認識方法、及び標識認識プログラムの適用対象は任意であるが、例えば、車載用ナビゲーション装置や携帯用ナビゲーション装置に適用することが考えられる。以下の本実施の形態では、標識認識システムが車載用ナビゲーション装置（以下、ナビゲーション装置と称する）として構成された場合を例に挙げて説明する。 Hereinafter, embodiments of a sign recognition system, a sign recognition method, and a sign recognition program according to the present invention will be described in detail with reference to the drawings. However, the present invention is not limited by this embodiment. In addition, although the application object of the sign recognition system, the sign recognition method, and the sign recognition program according to the present invention is arbitrary, it may be applied to, for example, an in-vehicle navigation device or a portable navigation device. In the following embodiment, a case where the sign recognition system is configured as an in-vehicle navigation device (hereinafter referred to as a navigation device) will be described as an example.
（構成）
まず、本実施の形態に係る標識認識システムの構成を説明する。図１は、本実施の形態に係る標識認識システムを例示するブロック図である。図１に示すように、標識認識システム１は、カメラ１０、操作部２０、ディスプレイ３０、スピーカ４０、及び標識認識装置５０を備えている。ここで、「標識」とは、車両の走行を案内するための標識であって、所定形状の外枠の内側に、案内に対応した所定の記号（例えば文字や図形）を表示することによって構成されており、一時停止等を案内する「道路標識」や、一時停止の時間帯等を案内する「補助標識」等を含む概念である。なお、以下において、標識の「外枠形状」とは、標識を構成する板状体の外縁の形状と、この板状体の表面にペイントされた枠線の形状とを含む。
(Constitution)
First, the configuration of the sign recognition system according to the present embodiment will be described. FIG. 1 is a block diagram illustrating a sign recognition system according to this embodiment. As shown in FIG. 1, the
（構成−カメラ）
カメラ１０は、自己の車両（以下、自車と称する）の前方を撮影する撮影手段である。このカメラ１０は、例えば自車の前端部に少なくとも１台設置され、自車の前方を撮影する。カメラ１０が撮影した画像データ（例えば２次元の画像データ等）は、制御部６０に入力される。なお、カメラ１０の具体的な構成は任意で、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の公知の撮像素子、及びレンズやプリズム等の公知の光学系部品を用いて構成されている。
(Configuration-Camera)
The
（構成−操作部）
操作部２０は、ユーザによる操作入力を受け付ける操作手段である。この操作手段としては、例えば、タッチパネル、リモートコントローラの如き遠隔操作手段、あるいはハードスイッチ等、公知の操作手段を用いることができる。
(Configuration-operation unit)
The
（構成−ディスプレイ）
ディスプレイ３０は、制御部６０の制御に基づいて各種の画像を表示する表示手段である。このディスプレイ３０としては、例えば、公知の液晶ディスプレイや有機ＥＬディスプレイの如きフラットパネルディスプレイを用いることができる。
(Configuration-Display)
The
（構成−スピーカ）
スピーカ４０は、制御部６０の制御に基づいて各種の音声を出力する出力手段である。スピーカ４０より出力される音声の具体的な態様は任意であり、必要に応じて生成された合成音声や、予め録音された音声を出力することができる。
(Configuration-Speaker)
The speaker 40 is an output unit that outputs various sounds based on the control of the
（構成−標識認識装置）
標識認識装置５０は、標識を画像認識するための装置であり、制御部６０、及びデータ記録部７０を備えている。
(Configuration-sign recognition device)
The
（構成−標識認識装置−制御部）
制御部６０は、標識認識装置５０を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、本実施の形態に係る標識認識プログラムは、任意の記録媒体又はネットワークを介して標識認識システム１にインストールされることで、制御部６０の各部を実質的に構成する。尚、本実施の形態では、標識認識システムとしてナビゲーション装置を適用しているため、制御部６０もナビゲーション装置のコンピュータである。従って、図示されてはいないが、ナビゲーション装置において周知である現在地の検出、施設検索、ルート探索、及びルート案内などの機能も備えている。無論、これらの機能において必要なセンサ類（例えば、ＧＰＳやジャイロセンサ、速度センサなど）やデータ類（地図データベース、施設データベースなど）も図示されていないが備えている。
(Configuration-sign recognition device-control unit)
The
この制御部６０は、機能概念的に、情報取得部６１、画像認識部６２、及び案内部６３を備えている。
The
情報取得部６１は、標識に関する情報を取得するための情報取得手段である。本実施の形態において、情報取得部６１は、標識に関する情報を後述する標識基本情報テーブル７１、後述する標識関連情報テーブル７２、又は後述する環境情報テーブル７３から取得するが、この情報の取得の具体的な方法は任意に変更することができる。例えば、標識認識システム１にインターネットの如きネットワークと通信を行う通信手段を持たせ、情報取得部６１は、必要に応じてこの通信手段を介して、車両の外部のサーバから取得してデータ記録部７０に揮発的又は不揮発的に記録するようにしてもよい。すなわち、標識に関する情報の少なくとも一部は、いわゆるオフラインとオンラインのいずれの方法で入手されてもよい。
The
この情報取得部６１は、さらに、位置情報取得部６１ａと、種類情報取得部６１ｂと、環境情報取得部６１ｃとを備えている。位置情報取得部６１ａは、後述する位置情報を取得するための位置情報取得手段である。種類情報取得部６１ｂは、後述する種類情報を取得するための種類情報取得手段である。環境情報取得部６１ｃは、後述する環境情報を取得するための環境情報取得手段である。
The
画像認識部６２は、カメラ１０によって撮影された画像に関する画像認識を行う画像認識手段である。
The
この画像認識部６２は、さらに、走行環境特定部６２ａと、標識認識部６２ｂと、地物特定部６２ｃと、領域設定部６２ｄとを備えている。走行環境特定部６２ａは、自車の走行環境を特定する走行環境特定手段である。ここで、「走行環境」とは、自車が走行している周辺の環境、又はユーザに対する運転支援の環境を意味するものであり、例えば、道路環境（例えば地域、道路の種類等）や、ナビゲーション装置による走行経路案内が行われている場合におけるサービス（例えば、一時停止の標識が検出された旨を知らせる一時停止支援モードや、最高速度の標識又は追越し禁止の標識が検出された旨を知らせる高速走行モード等）の環境等を含む概念である。標識認識部６２ｂは、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、標識を認識する標識認識手段である。ここで、「標識認識部にて認識される標識」としては、認識対象標識と非認識対象標識とに大別される。「認識対象標識」とは、認識の対象として特定された標識を意味し、例えば走行環境特定部６２ａにて特定された走行環境に対応する標識や、操作部２０を介してユーザによって設定された標識等を含む概念である。より具体的には、ナビゲーション装置において、走行環境に応じてサービスが対応付けられている場合、現在の走行環境に対応するサービスを行うための標識が、「認識対象標識」である。例えば、現在の走行環境が、車両が交差点から所定距離以内に位置している状況である場合、この走行環境に対しては一時停止を案内することがサービスとして対応付けられており、この場合における「認識対象標識」は一時停止である。また、「非認識対象標識」とは、認識対象標識以外の標識を意味する。地物特定部６２ｃは、地物の位置を特定する地物特定手段である。ここで、「地物」とは、道路又はその周辺に存在する物であって、後述する認識対象標識以外のものを意味し、例えば、非認識対象標識、信号、横断歩道等を含む概念である（なお、本実施の形態では、地物が非認識対象標識である場合について説明する）。領域設定部６２ｄは、地物特定部６２ｃにて特定された非認識対象標識の位置に基づいて、存在予測領域を設定する領域設定手段である。ここで、「存在予測領域」とは、非認識対象標識の周辺において認識対象標識が存在することが予測される領域を意味する。なお、本実施の形態では、上述したように、地物を非認識対象標識として説明するので、標識認識部６２ｂ及び地物特定部６２ｃは、標識の画像認識機能を兼ね備えるものとする。
The
案内部６３は、標識認識部６２ｂにて認識対象標識が認識された旨を出力手段としてのディスプレイ３０又はスピーカ４０を介してユーザに案内するための制御を行う案内手段である。これらの制御部６０の各構成要素によって実行される処理の詳細については後述する。
The
（構成−標識認識装置−データ記録部）
データ記録部７０は、標識認識装置５０の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。
(Configuration-sign recognition device-data recording unit)
The
また、図１に示すように、このデータ記録部７０は、標識基本情報テーブル７１、標識関連情報テーブル７２、及び環境情報テーブル７３を備えている。
As shown in FIG. 1, the
標識基本情報テーブル７１は、標識基本情報を格納する標識基本情報格納手段である。ここで、「標識基本情報」は、標識を特定するのに必要な基本情報を意味し、例えば種別データ（例えば、一時停止、最高速度、駐車禁止等の標識の種別を示す情報等）、外枠形状データ（例えば、標識の外枠形状を示す画像等）、記号データ（例えば、標識の外枠の内部における記号を示す画像等）がそれぞれ対応付けられて構成されている。 The sign basic information table 71 is sign basic information storage means for storing sign basic information. Here, the “basic basic information” means basic information necessary for identifying the sign, for example, type data (for example, information indicating the type of the sign such as temporary stop, maximum speed, parking prohibition, etc.), external Frame shape data (for example, an image showing the outer frame shape of the sign) and symbol data (for example, an image showing the symbol inside the outer frame of the sign) are associated with each other.
標識関連情報テーブル７２は、標識関連情報を格納する標識関連情報格納手段である。ここで、「標識関連情報」は、認識対象標識と非認識対象標識との関連を示す情報を意味する。図２は、標識関連情報の構成例を示す図である。図２に示すように、標識関連情報は、項目「非認識対象標識の種類」、項目「認識対象標識の種類」、項目「相対的な位置」と、各項目に対応する情報とを、相互に関連付けて構成されている。項目「非認識対象標識の種類」に対応して格納される情報は、非認識対象標識の種類を特定する非認識対象標識種類情報である。項目「認識対象標識の種類」に対応して格納される情報は、認識対象標識の種類を特定する認識対象標識種類情報である（後述する環境情報テーブル７３の項目「認識対象標識の種類」に対応して格納される情報も同様とする）。項目「相対的な位置」に対応して格納される情報は、非認識対象標識に対する認識対象標識の相対的な位置を特定する相対的位置情報である。即ち、道路上に設置される複数の標識は互いに規則性をもって設置されている場合があり、「標識関連情報」はこの規則性に基づいて生成されている。例えば、横断歩道の標識が設置されている場合、その周辺には、一時停止、最高速度、及び／又は、駐車禁止の標識が設置されている可能性があるという種類的な規則性や、一時停止の標識であれば、横断歩道の標識の上下どちらかに、駐車禁止の標識であれば、横断歩道の標識の左右どちらかに設置されているという位置的な規則性などがある。このような規則性は、法令などにより規定されているものや実際に設置されている状況を計測車両などにより調査した結果によるものなど、種々の方法により特定された規則性であればよい。なお、非認識対象標識種類情報と相対的位置情報とを相互に対応させた情報は、位置情報に対応する。また、非認識対象標識種類情報と認識対象標識種類情報と相互に対応させた情報は、種類情報に対応する。 The sign related information table 72 is sign related information storage means for storing sign related information. Here, “label related information” means information indicating a relationship between a recognition target label and a non-recognition target label. FIG. 2 is a diagram illustrating a configuration example of the sign related information. As shown in FIG. 2, the sign related information includes an item “type of non-recognition target sign”, an item “type of recognition target sign”, an item “relative position”, and information corresponding to each item. It is configured in association with. The information stored corresponding to the item “type of non-recognition target sign” is non-recognition target sign type information that identifies the type of non-recognition target sign. The information stored corresponding to the item “recognition target sign type” is recognition target sign type information that identifies the type of recognition target sign (in the item “recognition target sign type” in the environment information table 73 described later). The same applies to information stored correspondingly). The information stored corresponding to the item “relative position” is relative position information that specifies the relative position of the recognition target sign with respect to the non-recognition target sign. That is, a plurality of signs installed on the road may be installed with regularity, and “sign related information” is generated based on this regularity. For example, if there is a sign for a pedestrian crossing, there may be a kind of regularity that there may be a sign for stopping, maximum speed, and / or no parking in the vicinity. If it is a stop sign, there is a positional regularity that it is placed either above or below the pedestrian crossing sign, and if it is a parking prohibition sign, it is placed on either the left or right side of the pedestrian crossing sign. Such regularity may be regularity specified by various methods, such as those prescribed by laws and regulations, or results obtained by examining the actual installation situation with a measuring vehicle or the like. Note that information in which the non-recognition target marker type information and the relative position information are associated with each other corresponds to the position information. Further, the information associated with the non-recognition target label type information and the recognition target label type information corresponds to the type information.
環境情報テーブル７３は、環境情報を格納する環境情報格納手段である。ここで、「環境情報」とは、走行環境と認識対象標識の種類とを相互に対応させた情報である。図３は、環境情報の構成例を示す図である。図３に示すように、環境情報は、項目「走行環境」、項目「認識対象標識の種類」と、各項目に対応する情報とを、相互に関連付けて構成されている。項目「走行環境」に対応して格納される情報は、走行環境を特定する走行環境情報である。この環境情報は、上述のように、ナビゲーション装置において走行環境に応じたサービスが行われる場合における、「走行環境」と、これに対応する「認識対象標識」とが相互に対応付けて生成される。 The environment information table 73 is an environment information storage unit that stores environment information. Here, “environment information” is information in which the driving environment and the type of the recognition target sign are associated with each other. FIG. 3 is a diagram illustrating a configuration example of environment information. As shown in FIG. 3, the environment information is configured by associating an item “running environment”, an item “type of recognition target sign”, and information corresponding to each item. The information stored corresponding to the item “travel environment” is travel environment information for specifying the travel environment. As described above, the environment information is generated by associating the “travel environment” and the “recognition target sign” corresponding to each other when a service corresponding to the travel environment is performed in the navigation device. .
（処理）
次に、このように構成される標識認識システム１によって実行される標識認識処理について説明する。図４は、標識認識処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。図５、図６は、存在予測領域のパターンを例示した図である。この標識認識処理は、認識対象標識を画像認識するための処理であり、例えば標識認識システム１への電源投入後に所定周期にて繰り返し実行される。なお、以下の処理の説明において、制御主体を特記しない処理については、制御部６０にて実行されるものとし、情報の取得元や取得経路を特記しない場合については、公知のタイミング及び公知の方法にて、データ記録部７０に予め格納されており、あるいは、操作部２０を介してユーザ等によって入力されるものとする。
(processing)
Next, the sign recognition process executed by the
標識認識処理が起動されると、図４に示すように、認識対象標識の種類を特定するために、制御部６０は、ＳＡ１〜ＳＡ３の処理を行う。
When the sign recognition process is activated, as shown in FIG. 4, the
まず、画像認識部６２は、カメラ１０によって撮影された画像であって、自車の前方の画像を当該カメラ１０から取得する（ＳＡ１）。
First, the
次に、走行環境特定部６２ａは、ナビゲーション装置から出力される信号に基づいて、走行環境を特定する（ＳＡ２）。具体的には、自車が走行している道路の地域又は種別を特定する情報を含む信号がナビゲーション装置から出力された場合、当該自車が走行している道路の地域又は種別を走行環境として特定する。あるいは、ナビゲーション装置による走行経路案内が行われている場合におけるサービスを特定する情報を含む信号が当該ナビゲーション装置から出力された場合、当該サービスを走行環境として特定する。図５の例では、自車が走行している道路の種別（例えば、細街路等）を特定する情報を含む信号がナビゲーション装置から出力された場合、走行環境＝細街路として特定される。尚、ナビゲーション装置においては、制御部６０において、図示しない現在位置検出部が検出した車両の現在地と、図示しない地図データベースに格納された情報とに基づいて、自車が走行している道路の地域又は種別を特定する情報を含む信号、及び／又は、ナビゲーション装置による走行経路案内が行われている場合におけるサービスを特定する情報を含む信号を出力する。
Next, the traveling
図４に戻り、環境情報取得部６１ｃは、ＳＡ２にて特定された走行環境に基づいて、環境情報テーブル７３から環境情報を取得し、標識認識部６２ｂは、環境情報取得部６１ｃにて取得された環境情報に基づいて、認識対象標識の種類を特定する（ＳＡ３）。図５の例では、走行環境＝細街路であるので、認識対象標識の種類＝駐車禁止が特定される。
Returning to FIG. 4, the environment
図４に戻り、情報取得部６１は、ＳＡ３にて特定された認識対象標識の種類に基づいて、当該認識対象標識に対応する標識基本情報を標識基本情報テーブル７１から取得し、標識認識部６２ｂは、ＳＡ１にて取得された画像と、情報取得部６１にて取得された標識基本情報の外枠形状データとをマッチングすることにより、当該認識対象標識の外枠形状を検出したか否かを判定する（ＳＡ４）。具体的には、ＳＡ１にて取得された画像から、公知の画像処理（例えばハフ変換等）により円形状又は矩形状の輪郭を有する形状が抽出され、当該抽出された形状と、情報取得部６１にて取得された標識基本情報の外枠形状データとのマッチングの度合い（以下、外枠照合度と称する）が閾値より高い場合、認識対象標識の外枠形状が検出されたと判定される。一方、上記円形状又は矩形状の輪郭を有する形状が抽出されず、又は抽出されても上記外枠照合度が閾値より低い場合、認識対象標識の外枠形状が検出されなかったと判定される（なお、後述するＳＢ１の処理についても同様とする）。図５の例では、ＳＡ１にて取得された画像における駐車禁止の外枠と背景とのコントラストがとれないことにより、上記外枠照合度が閾値より低いため、認識対象標識の外枠形状が検出されなかったと判定される。
Returning to FIG. 4, the
図４に戻り、認識対象標識の外枠形状が検出されたと判定された場合（ＳＡ４、Ｙｅｓ）、ＳＡ１にて取得された画像内に認識対象標識が存在する可能性が高いとして、画像認識部６２は、ＳＡ１にて取得された画像に基づいて、第１の読取領域を設定する（ＳＡ５）。ここで、「第１の読取領域」は、認識対象標識の外枠の内部における記号を読み取るための領域を意味する。具体的には、ＳＡ１にて取得された画像のうち、認識対象標識の外枠によって囲まれた範囲内の領域が、第１の読取領域として設定される。 Returning to FIG. 4, when it is determined that the outer frame shape of the recognition target sign has been detected (SA4, Yes), the image recognition unit assumes that the recognition target sign is likely to exist in the image acquired in SA1. 62 sets a first reading area based on the image acquired in SA1 (SA5). Here, the “first reading area” means an area for reading a symbol inside the outer frame of the recognition target sign. Specifically, in the image acquired in SA1, an area within the range surrounded by the outer frame of the recognition target sign is set as the first reading area.
一方、認識対象標識の外枠形状が検出されなかったと判定された場合（ＳＡ４、Ｎｏ）、実際には、ＳＡ１にて取得された画像に当該認識対象標識が存在している可能性があるため、この認識対象標識を確実に認識することが可能となるように、制御部６０は、存在予測領域設定処理を起動する（ＳＡ６）。
On the other hand, when it is determined that the outer frame shape of the recognition target sign has not been detected (SA4, No), the recognition target sign may actually exist in the image acquired in SA1. The
（処理−存在予測領域設定処理）
次に、存在予測領域設定処理について説明する。図７は、存在予測領域設定処理のフローチャートである。存在予測領域設定処理は、存在予測領域を設定するための処理である。
(Processing-Presence prediction area setting process)
Next, the presence prediction area setting process will be described. FIG. 7 is a flowchart of the presence prediction region setting process. The presence prediction area setting process is a process for setting the presence prediction area.
図７に示すように、まず、情報取得部６１は、標識基本情報を標識基本情報テーブル７１から取得し、標識認識部６２ｂは、ＳＡ１にて取得された画像と、情報取得部６１にて取得された標識基本情報の外枠形状データとをマッチングすることにより、非認識対象標識の外枠形状を検出したか否かを判定する（ＳＢ１）。この処理では、標識基本情報の外枠形状データのうち、認識対象標識の種類に対応する外枠形状データ以外の外枠形状データを取得し、当該取得した外枠形状データのそれぞれについて、ＳＡ１にて取得された画像から抽出された外枠形状のうち、外枠照合度が閾値より高い外枠形状があるかを判定する。図５の例では、ＳＡ１にて取得された画像から抽出された外枠形状と、標識基本情報の外枠形状データのうちの略五角形状の輪郭を有する外枠形状との外枠照合度が閾値より高いため、非認識対象標識の外枠形状が検出されたと判定される。
As shown in FIG. 7, first, the
図７に戻り、非認識対象標識の外枠形状が検出されなかったと判定された場合（ＳＢ１、Ｎｏ）、非認識対象標識の位置が不明のために、存在予測領域の設定ができないことから、認識対象標識を認識することが困難であるとして、制御部６０は、存在予測領域設定処理を終了し、図４の標識認識処理を終了する。
Returning to FIG. 7, when it is determined that the outer frame shape of the non-recognition target sign is not detected (SB1, No), since the position of the non-recognition target sign is unknown, the presence prediction region cannot be set. As it is difficult to recognize the recognition target sign, the
一方、非認識対象標識の外枠形状が検出されたと判定された場合（ＳＢ１、Ｙｅｓ）、画像認識部６２は、ＳＡ１にて取得された画像と、ＳＢ１にて検出された非認識対象標識の外枠形状とに基づいて、第２の読取領域を設定する（ＳＢ２）。ここで、「第２の読取領域」は、非認識対象標識の外枠の内部における記号を読み取るための領域を意味する。具体的には、ＳＡ１にて取得された画像のうち、ＳＢ１にて検出された非認識対象標識の外枠によって囲まれた範囲内の領域が、第２の読取領域に設定される。図５の例では、ＳＢ１にて抽出された略五角形状の外枠によって囲まれた範囲内の領域が、第２の読取領域に設定される。
On the other hand, when it is determined that the outer frame shape of the non-recognition target sign is detected (SB1, Yes), the
図７に戻り、標識認識部６２ｂは、ＳＢ２にて設定された第２の読取領域とＳＢ１にて取得された標識基本情報の記号データとをマッチングすることにより、非認識対象標識の外枠の内部における記号を検出したか否かを判定する（ＳＢ３）。具体的には、ＳＢ２にて設定された第２の読取領域と、ＳＢ１にて取得された標識基本情報のうちの記号データとのマッチングの度合い（以下、記号照合度と称する）が閾値より高い場合、非認識対象標識の外枠の内部における記号が検出されたと判定される。一方、上記記号照合度が閾値より低い場合、非認識対象標識の外枠の内部における記号が検出されなかったと判定される。図５の例において、ＳＢ２にて設定された第２の読取領域に存在する記号と、ＳＢ１にて取得された標識基本情報の記号データのうちの横断歩道の標識を示す記号との記号照合度が閾値より高い場合には、非認識対象標識の外枠の内部における記号が検出されたと判定される。
Returning to FIG. 7, the
図７に戻り、非認識対象標識の外枠の内部における記号が検出されなかった場合（ＳＢ３、Ｎｏ）、画像認識部６２は、ＳＢ３の処理に用いられた第２の読取領域以外の他の第２の読取領域があるか否かを判定する（ＳＢ４）。具体的には、ＳＢ１にて複数の非認識対象標識の外枠形状が検出されて、ＳＢ２にて複数の第２の読取領域が設定された場合において、未だＳＢ３の処理にて用いられていない第２の読取領域があった場合に、上記他の第２の読取領域があると判定される。一方、ＳＢ２にて設定された第２の読取領域が単数である場合、又はＳＢ２にて設定された複数の第２の読取領域の全てがＳＢ３の処理に用いられていない場合に、上記他の第２の読取領域がないと判定される。
Returning to FIG. 7, when the symbol inside the outer frame of the non-recognition target sign is not detected (SB3, No), the
ここで、上記他の第２の読取領域があると判定された場合（ＳＢ４、Ｙｅｓ）、制御部６０は、ＳＢ３に移行し、非認識対象標識の外枠の内部における記号が検出されるまで、ＳＢ３、ＳＢ４の処理を繰り返す。一方、上記他の第２の読取領域がないと判定された場合（ＳＢ４、Ｎｏ）、非認識対象標識の種類が不明のために、仮に存在予測領域が設定されたとしても、認識対象標識を正確に認識することが困難であるとして、制御部６０は、存在予測領域設定処理を終了し、図４の標識認識処理を終了する。
Here, when it is determined that there is the other second reading area (SB4, Yes), the
また、非認識対象標識の外枠の内部における記号が検出された場合（ＳＢ３、Ｙｅｓ）、制御部６０は、存在予測領域を設定するために、後述するＳＢ５〜ＳＢ７の処理を行う。
In addition, when a symbol inside the outer frame of the non-recognition target sign is detected (SB3, Yes), the
まず、地物特定部６２ｃは、ＳＢ１、ＳＢ３の検出結果に基づいて非認識対象標識を特定する（ＳＢ５）。ここで、ＳＢ５における「非認識対象標識の特定」とは、非認識対象標識の位置、又は非認識対象標識の位置及び種類を特定することを意味する。図５の例では、ＳＢ１にて検出された非認識対象標識の外枠形状の位置に基づいて、非認識対象標識の位置＝図５の中央の位置が特定され、ＳＢ３にて検出された横断歩道の標識を示す記号に基づいて、非認識対象標識の種類＝横断歩道が特定される。
First, the
図７に戻り、位置情報取得部６１ａは、ＳＢ４にて特定された非認識対象標識の位置及び種類に基づいて、位置情報を標識関連情報テーブル７２から取得し、領域設定部６２ｄは、位置情報取得部６１ａにて取得された位置情報に基づいて、存在予測領域を特定する（ＳＢ６）。そして、画像認識部６２は、ＳＢ６にて特定された存在予測領域を第１の読取領域として設定し（ＳＢ７）、その後、存在予測領域設定処理を終了する。ここで、この存在予測領域の特定については、例えば、非認識対象標識に対する認識対象標識の相対的な位置に、存在予測領域が特定されてもよい。具体的には、相対的位置情報＝左の位置の場合、非認識対象標識の左の位置に存在予測領域が特定される（なお、相対的位置情報＝右の位置、上の位置、下の位置についても同様とする）。また、相対的位置情報＝左上斜めの位置の場合、非認識対象標識の左上斜めの位置に存在予測領域が特定される（なお、相対的位置情報＝左下斜めの位置、右上斜めの位置、右下斜めの位置についても同様とする）。また、この存在予測領域の大きさについては、例えば、一般的な標識の外枠を包含する所定の大きさ及び所定の形状（図５の例では方形状）として設定される。図５の例では、標識関連情報テーブル７２に格納されている非認識対象標識の種類＝横断歩道に対応する位置情報のうち、ＳＡ３にて特定された認識対象標識の種類に対応する位置情報である、認識対象標識種類情報＝駐車禁止、相対的位置情報＝左の位置、及び右の位置に基づいて、非認識対象標識の左右の位置に存在予測領域Ｓ１が特定される（図５では、存在予測領域Ｓ１の境界線を点線で示す。なお、後述する存在予測領域Ｓ２〜Ｓ６の境界線についても同様とする。）。そして、この存在予測領域Ｓ１が第１の読取領域として設定される。あるいはこれに限られず、例えば、図６に示すように、図５の存在予測領域Ｓ１よりも左右の方向に沿って拡大された存在予測領域Ｓ２が特定され、当該存在予測領域Ｓ２が第１の読取領域として設定されてもよい。
Returning to FIG. 7, the position
図４に戻り、ＳＡ５又はＳＡ６の処理後、標識認識部６２ｂは、ＳＡ５又はＳＢ６にて設定された第１の読取領域とＳＡ４にて取得された標識基本情報の記号データとをマッチングすることにより、認識対象標識の外枠の内部における記号を検出したか否かを判定する（ＳＡ７）。具体的には、ＳＡ５又はＳＢ６にて設定された第１の読取領域と、ＳＡ４にて取得された標識基本情報の記号データとの、記号照合度が閾値より高い場合、認識対象標識の外枠の内部における記号が検出されたと判定される。一方、上記記号照合度が閾値より低い場合、認識対象標識の外枠の内部における記号が検出されなかったと判定される。図５の例では、ＳＢ６にて設定された第１の読取領域に存在する記号と、ＳＡ４にて取得された標識基本情報の記号データのうちの駐車禁止の標識を示す記号との記号照合度が閾値より高いため、認識対象標識の外枠の内部における記号が検出されたと判定される。
Returning to FIG. 4, after the processing of SA5 or SA6, the
図４に戻り、認識対象標識の外枠の内部における記号が検出されたと判定された場合（ＳＡ７、Ｙｅｓ）、標識認識部６２ｂは、ＳＡ７の検出結果に基づいて認識対象標識を特定する（ＳＡ８）。図５の例では、ＳＡ７にて検出された駐車禁止の標識を示す記号に基づいて、認識対象標識＝駐車禁止が特定される。これにて標識認識処理を終了する。
Returning to FIG. 4, when it is determined that the symbol inside the outer frame of the recognition target sign is detected (SA7, Yes), the
その後、ＳＡ８にて特定された認識対象標識に基づいて、所定の制御を行う。例えば、案内部６３は、ＳＡ８にて特定された認識対象標識を示すマークを、地図表示データに基づいて描画された地図に重畳して、ディスプレイ３０に表示させる。あるいは、認識対象標識が認識された旨をディスプレイ３０によって表示させたり、又はスピーカ４０によって音声出力させてもよい。
Thereafter, predetermined control is performed based on the recognition target sign specified in SA8. For example, the
一方、認識対象標識の外枠の内部における記号が検出されなかったと判定された場合（ＳＡ７、Ｎｏ）、画像認識部６２は、ＳＡ７の処理に用いられた第１の読取領域以外の他の第１の読取領域があるか否かを判定する（ＳＡ９）。具体的には、ＳＡ４にて複数の認識対象標識の外枠形状が検出されて、ＳＡ５にて複数の第１の読取領域が設定された場合において、未だＳＡ７の処理にて用いられていない第１の読取領域がある場合に、上記他の第１の読取領域があると判定される。一方、ＳＡ５にて設定された第１の読取領域が単数である場合、又はＳＡ５にて設定された複数の第１の読取領域の全てがＳＢ３の処理に用いられている場合に、上記他の第１の読取領域がないと判定される（ＳＢ６にて設定された第１の読取領域についても同様とする）。
On the other hand, when it is determined that the symbol inside the outer frame of the recognition target sign has not been detected (SA7, No), the
ここで、上記他の第１の読取領域があると判定された場合に（ＳＡ９、Ｙｅｓ）、制御部６０は、ＳＡ７に移行して、認識対象標識の外枠の内部における記号が検出されるまで、ＳＡ７、ＳＡ９の処理を繰り返す。
Here, when it is determined that there is the other first reading area (SA9, Yes), the
一方、上記他の第１の読取領域がないと判定された場合（ＳＡ９、Ｎｏ）、例えば、ＳＡ１〜ＳＡ５、ＳＡ７の処理により認識対象標識を認識することができなかった場合に、ＳＡ６にて設定される存在予測領域に基づいてＳＡ７の処理が行えるように、画像認識部６２は、非認識対象標識の外枠形状が検出済みか否かを判定する（ＳＡ１０）。具体的には、すでにＳＢ１の処理がなされている場合、非認識対象標識の外枠形状が検出済みであると判定され、未だＳＢ１の処理がなされていない場合、非認識対象標識の外枠形状が検出済みでないと判定される。
On the other hand, when it is determined that there is no other first reading area (SA9, No), for example, when the recognition target label cannot be recognized by the processing of SA1 to SA5 and SA7, in SA6 The
ここで、非認識対象標識の外枠形状が検出済みでないと判定された場合（ＳＡ１０、Ｎｏ）、存在予測領域処理を実行するために、制御部６０は、ＳＡ６に移行する。一方、非認識対象標識の外枠形状が検出済みであると判定された場合（ＳＡ１０、Ｙｅｓ）、認識対象標識が認識されなかったとして、制御部６０は、標識認識処理を終了する。
Here, when it is determined that the outer frame shape of the non-recognition target sign has not been detected (SA10, No), the
また、この他にも、標識認識処理は、任意の認識対象標識を処理対象として処理可能である。図８〜図１１は、存在予測領域のパターンを例示した図である。 In addition to this, the label recognition processing can be performed using any recognition target label as a processing target. 8 to 11 are diagrams illustrating patterns of the presence prediction area.
図８に関して、例えば、一時停止支援モードに関するサービスが行われている場合、図４の標識認識処理では、ＳＡ１において、自車の前方の画像が取得された後、ＳＡ２において、走行環境＝一時停止支援モードであることが特定される。そして、この場合、ＳＡ３において、認識対象標識の種類＝一時停止が特定される。 8, for example, when a service related to the suspension support mode is being performed, in the sign recognition process of FIG. 4, after an image in front of the vehicle is acquired in SA1, in SA2, the driving environment = pause The support mode is identified. In this case, the type of recognition target label = pause is specified in SA3.
また、ＳＡ４において、ＳＡ１にて取得された画像における一時停止の外枠と背景とのコントラストがとれないことにより、上記外枠照合度が閾値より低いため、認識対象標識の外枠形状が検出されなかったと判定されると、その後ＳＡ６の処理が行われる。 In SA4, since the contrast between the temporarily stopped outer frame and the background in the image acquired in SA1 cannot be obtained, the outer frame matching degree is lower than the threshold value, so that the outer frame shape of the recognition target sign is detected. If it is determined that there is not, then SA6 processing is performed.
また、ＳＡ６の処理では、ＳＢ１において、ＳＡ１にて取得された画像から抽出された外枠形状と、標識基本情報の外枠形状データのうちの略五角形状の輪郭を有する外枠形状との外枠照合度が閾値より高いと判定されると、非認識対象標識の外枠形状が検出されたと判定される。そして、ＳＢ２において、ＳＢ１にて抽出された略五角形状の外枠によって囲まれた範囲内の領域が、第２の読取領域として設定される。 Also, in the process of SA6, in SB1, the outer frame shape extracted from the image acquired in SA1 and the outer frame shape having a substantially pentagonal outline in the outer frame shape data of the basic sign information are extracted. If it is determined that the frame matching degree is higher than the threshold value, it is determined that the outer frame shape of the non-recognition target sign is detected. In SB2, the area within the range surrounded by the substantially pentagonal outer frame extracted in SB1 is set as the second reading area.
また、ＳＢ３において、ＳＢ２にて設定された第２の読取領域に存在する記号と、ＳＢ１にて取得された標識基本情報の記号データのうちの横断歩道の標識を示す記号との記号照合度が閾値より高いと判定されると、非認識対象標識の外枠の内部における記号が検出されたと判定される。その後、図５の例と同様に、ＳＢ５において、非認識対象標識の位置＝図８の中央の位置が特定され、非認識対象標識の種類＝横断歩道が特定される。また、ＳＢ６において、位置情報を標識関連情報テーブル７２に格納されている非認識対象標識の種類＝横断歩道に対応する位置情報のうち、ＳＡ３にて特定された認識対象標識の種類に対応する位置情報である、認識対象標識種類情報＝一時停止、相対的位置情報＝上の位置、及び下の位置に基づいて、非認識対象標識の上下の位置に存在予測領域Ｓ３が特定される。あるいはこれに限られず、例えば、図９に示すように、非認識対象標識の上の位置に第１の補助標識が存在し、且つ当該非認識対象標識の下の位置に第２の補助標識が存在する場合には、非認識対象標識から間隔を隔てた位置であって、当該第１の補助標識よりもさらに上の位置と、当該第２の補助標識よりもさらに下の位置とに、存在予測領域Ｓ４が特定されてもよい（なお、補助標識が非認識対象標識の左の位置又は右の位置にある場合についても同様とする）。そして、ＳＢ７において、この存在予測領域Ｓ３が第１の読取領域として設定される。 In SB3, the symbol matching degree between the symbol existing in the second reading area set in SB2 and the symbol indicating the pedestrian crossing sign in the symbol data of the basic sign information acquired in SB1 is If it is determined that the value is higher than the threshold value, it is determined that a symbol inside the outer frame of the non-recognition target sign has been detected. Thereafter, as in the example of FIG. 5, in SB5, the position of the non-recognition target sign = the center position in FIG. 8 is specified, and the type of the non-recognition target sign = the crosswalk is specified. In SB6, the position information corresponding to the type of the recognition target sign specified in SA3 among the position information corresponding to the pedestrian crossing is stored in the sign related information table 72. Based on the information, ie, recognition target marker type information = pause, relative position information = upper position, and lower position, the presence prediction region S3 is specified at the upper and lower positions of the non-recognition target marker. Alternatively, for example, as shown in FIG. 9, the first auxiliary sign is present at a position above the non-recognition target sign, and the second auxiliary sign is present at a position below the non-recognition target sign. If present, it is located at a position spaced apart from the non-recognition target sign, further above the first auxiliary sign, and further below the second auxiliary sign. The prediction area S4 may be specified (the same applies to the case where the auxiliary sign is at the left position or the right position of the non-recognition target sign). In SB7, the presence prediction area S3 is set as the first reading area.
また、ＳＡ７において、ＳＢ６にて設定された第１の読取領域に存在する記号と、ＳＡ４にて取得された標識基本情報の記号データのうちの一時停止の標識を示す記号との記号照合度が閾値より高いため、認識対象標識の外枠の内部における記号が検出されたと判定される。そして、ＳＡ８において、ＳＡ７にて検出された一時停止の標識を示す記号に基づいて、認識対象標識＝一時停止が特定され、認識対象標識＝一時停止が認識された旨の案内がなされた後に、標識認識処理が終了される。 In SA7, the symbol matching degree between the symbol existing in the first reading area set in SB6 and the symbol indicating the stop sign in the symbol data of the sign basic information acquired in SA4 is Since it is higher than the threshold value, it is determined that a symbol inside the outer frame of the recognition target sign has been detected. Then, in SA8, based on the symbol indicating the stop sign detected in SA7, recognition target sign = pause is identified, and after the guidance that the recognition target sign = pause is recognized, The sign recognition process is terminated.
また、図１０に関して、例えば、高速走行モードに関するサービスが行われている場合、図４の標識認識処理では、ＳＡ１において、自車の前方の画像が取得された後、ＳＡ２において、走行環境＝高速走行モードであることが特定される。そして、この場合、ＳＡ３において、認識対象標識の種類＝最高速度、追越し禁止が特定される。 Further, with respect to FIG. 10, for example, when a service related to the high-speed driving mode is performed, in the sign recognition processing of FIG. 4, after an image ahead of the host vehicle is acquired in SA1, the driving environment = high-speed in SA2. The travel mode is specified. In this case, in SA3, the type of the recognition target sign = the maximum speed and the overtaking prohibition are specified.
また、ＳＡ４において、ＳＡ１にて取得された画像における最高速度の外枠と背景とのコントラストがとれず、また当該画像中に追越し禁止がないことにより、上記外枠照合度が閾値より低いため、認識対象標識の外枠形状が検出されなかったと判定されると、その後ＳＡ６の処理が行われる。 Further, in SA4, the contrast between the outermost frame and the background in the image acquired in SA1 cannot be obtained, and since there is no overtaking prohibition in the image, the outer frame matching degree is lower than the threshold value. If it is determined that the outer frame shape of the recognition target sign has not been detected, then the process of SA6 is performed.
また、ＳＡ６の処理では、ＳＢ１において、ＳＡ１にて取得された画像から抽出された外枠形状と、標識基本情報の外枠形状データのうちの略五角形状の輪郭を有する外枠形状との外枠照合度が閾値より高いと判定されると、非認識対象標識の外枠形状が検出されたと判定される。そして、ＳＢ２において、ＳＢ１にて抽出された略五角形状の外枠によって囲まれた範囲内の領域が、第２の読取領域として設定される。 Also, in the process of SA6, in SB1, the outer frame shape extracted from the image acquired in SA1 and the outer frame shape having a substantially pentagonal outline in the outer frame shape data of the basic sign information are extracted. If it is determined that the frame matching degree is higher than the threshold value, it is determined that the outer frame shape of the non-recognition target sign is detected. In SB2, the area within the range surrounded by the substantially pentagonal outer frame extracted in SB1 is set as the second reading area.
また、ＳＢ３において、ＳＢ２にて設定された第２の読取領域に存在する記号と、ＳＢ１にて取得された標識基本情報の記号データのうちの横断歩道の標識を示す記号との記号照合度が閾値より高いと判定されると、非認識対象標識の外枠の内部における記号が検出されたと判定される。その後、ＳＢ５において、非認識対象標識の位置＝図１０の中央の位置が特定され、非認識対象標識の種類＝横断歩道が特定される。また、ＳＢ６において、標識関連情報テーブル７２に格納されている非認識対象標識の種類＝横断歩道に対応する位置情報のうち、ＳＡ３にて特定された認識対象標識の種類に対応する位置情報である、認識対象標識種類情報＝最高速度、相対的位置情報＝左の位置、上の位置、及び左上斜めの位置と、ＳＡ３にて特定された認識対象標識の種類＝追越し禁止の位置が不明であることに基づいて、非認識対象標識の周囲を囲む位置に存在予測領域Ｓ５が特定される。あるいはこれに限られず、例えば、図１１に示すように、上記ＳＡ３にて特定された認識対象標識の種類に対応する位置情報である、認識対象標識種類情報＝最高速度、相対的位置情報＝左の位置、上の位置、及び左上斜めの位置に基づいて、非認識対象標識の左の位置、上の位置、及び左上斜めの位置に、存在予測領域Ｓ６が特定されてもよい。そして、ＳＢ７において、この存在予測領域Ｓ５が第１の読取領域として設定される。 In SB3, the symbol matching degree between the symbol existing in the second reading area set in SB2 and the symbol indicating the pedestrian crossing sign in the symbol data of the basic sign information acquired in SB1 is If it is determined that the value is higher than the threshold value, it is determined that a symbol inside the outer frame of the non-recognition target sign has been detected. Thereafter, in SB5, the position of the non-recognition target sign = the center position in FIG. 10 is specified, and the type of the non-recognition target sign = the crosswalk is specified. In SB6, the type of non-recognition target sign stored in the sign related information table 72 = position information corresponding to the type of the recognition target sign specified in SA3 among the position information corresponding to the pedestrian crossing. , Recognition target sign type information = maximum speed, relative position information = left position, upper position, upper left oblique position, and recognition target sign type specified in SA3 = passing prohibition position is unknown. Based on this, the presence prediction region S5 is specified at a position surrounding the non-recognition target sign. Alternatively, for example, as shown in FIG. 11, recognition target label type information = maximum speed, relative position information = left, which is position information corresponding to the type of recognition target label specified in SA3. The presence prediction region S6 may be specified at the left position, the upper position, and the upper left diagonal position of the non-recognition target sign based on the upper position, the upper position, and the upper left diagonal position. In SB7, the presence prediction area S5 is set as the first reading area.
また、ＳＡ７において、ＳＢ６にて設定された第１の読取領域とＳＡ４にて取得された標識基本情報の記号データとをマッチングすることにより、認識対象標識の外枠の内部における記号が検出されたか否かが判定される。ここで、この第１の読取領域と標識基本情報の記号データとのマッチングについては、例えば、ＳＡ３にて複数の認識対象標識の種類が特定されている場合において、標識認識部６２ｂは、ＳＡ４にて取得された複数の標識基本情報の記号データと、この第１の読取領域とをそれぞれマッチングしてよい。あるいは、種類情報取得部６１ｂは、ＳＢ５にて特定された非認識対象標識の種類に基づいて、種類情報を取得し、標識認識部６２ｂは、種類情報取得部６１ｂにて取得された種類情報（特に認識対象標識種類情報）に対応する認識対象標識の種類の標識基本情報の記号データと、第１の読取領域とをマッチングしてもよい。これにより、ＳＡ７において、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。図１０の例では、非認識対象標識の種類＝横断歩道に対応する種類情報が取得され、当該取得された種類情報に対応する認識対象標識の種類（例えば最高速度の標識）の標識基本情報の記号データと、ＳＢ６にて設定された第１の読取領域に存在する記号とがマッチングされる。そして、これらのマッチングの記号照合度が閾値より高いため、認識対象標識の外枠の内部における記号が検出されたと判定される。
In SA7, whether the symbol inside the outer frame of the recognition target sign is detected by matching the first reading area set in SB6 with the sign data of the sign basic information acquired in SA4. It is determined whether or not. Here, regarding the matching between the first reading area and the symbol data of the basic sign information, for example, when a plurality of types of recognition target signs are specified in SA3, the
そして、ＳＡ８において、ＳＡ７にて検出された最高速度の標識を示す記号に基づいて、認識対象標識＝最高速度が特定され、認識対象標識＝最高速度が認識された旨の案内がなされた後に、標識認識処理が終了される。 Then, in SA8, based on the symbol indicating the maximum speed sign detected in SA7, the recognition target sign = the maximum speed is specified, and the guidance that the recognition target sign = the maximum speed is recognized is given. The sign recognition process is terminated.
（効果）
このように本実施の形態によれば、標識認識部６２ｂは、認識対象標識の外枠を画像認識することができない場合であっても、領域設定部６２ｄにより設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識対象標識の外形を認識し難い状況においても、認識対象標識を確実に認識することが可能になり、認識対象標識の認識精度を向上させることができる。また、取得した画像内の領域の全てに対して、標識の内部における記号を画像認識する場合と比較して、処理負荷を低減することができる。
(effect)
As described above, according to the present embodiment, even if the
また、領域設定部６２ｄは、地物特定部６２ｃにて特定された非認識対象標識の位置及び種類と、位置情報取得部６１ａにて取得された位置情報とに基づいて、存在予測領域を設定するので、存在予測領域を一層正確に設定することが可能になり、認識対象標識の認識精度を一層向上させることができる。
Further, the
また、標識認識部６２ｂは、走行環境特定部６２ａにて特定された走行環境と、環境情報取得部６１ｃにて取得された環境情報とに基づいて、認識対象標識の種類を特定するので、自車の走行環境に応じた認識対象標識を様々な状況に合わせて選択することができ、一層適切な認識対象標識を認識することができる。
Further, the
また、地物特定部６２ｃは、標識認識部６２ｂが非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した非認識対象標識を、地物として特定し、領域設定部６２ｄは、当該特定された非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、標識認識部６２ｂは、領域設定部６２ｄにて存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、正確に認識された非認識対象標識の位置に基づいて存在予測領域を設定することができ、存在予測領域をさらに一層正確に設定することが可能になる。
Further, the
〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
[Modifications to Embodiment]
Although the embodiments of the present invention have been described above, the specific configuration and means of the present invention can be arbitrarily modified and improved within the scope of the technical idea of each invention described in the claims. Can do. Hereinafter, such a modification will be described.
（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。例えば、標識認識部６２ｂが従来より認識対象標識を正確に認識できない場合であっても、認識対象標識の認識を従来とは異なる技術により従来と同様に達成できている場合には、本願発明の課題が解決されている。
(About problems to be solved and effects of the invention)
First, the problems to be solved by the invention and the effects of the invention are not limited to the above contents, and may vary depending on the implementation environment and details of the configuration of the invention. May be solved, or only some of the effects described above may be achieved. For example, even if the
（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散や統合して構成できる。例えば、標識認識システム１の各構成要素の一部を端末に配置すると共に、標識認識システム１の各構成要素の他の一部をサーバに配置して、これら端末とサーバを任意のネットワークを介して相互に接続してもよい。また、制御部６０に備えられたＣＰＵがカメラＣＰＵと、ナビＣＰＵとを備えて構成されている場合に、例えば制御部６０の各構成要素の一部をカメラＣＰＵに配置し、制御部６０の各構成要素の他の一部をナビＣＰＵに配置してもよい。
(About distribution and integration)
Further, each of the electrical components described above is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution and integration of each part is not limited to the one shown in the figure, and all or a part thereof may be functionally or physically distributed or integrated in arbitrary units according to various loads or usage conditions. Can be configured. For example, a part of each component of the
（カメラについて）
上記の実施の形態では、カメラ１０は、自車の前方を撮影すると説明したが、自車の前方以外の方向を撮影してもよく、例えば、自車の後方、右方、又は左方を撮影してもよい。あるいは、自車の前方、後方、右方、左方のすべてを撮影してもよい。
(About the camera)
In the above embodiment, the
（標識認識処理について）
上記の実施の形態では、認識対象標識の種類を特定するために、ＳＡ１〜ＳＡ３の処理が行われると説明したが、認識の対象として特定された標識であればよいので、例えば、これらＳＡ１〜ＳＡ３の処理に代えて、操作部２０を介してユーザによって設定された標識の種類が、対象認識標識の種類として特定されてもよい。
(About sign recognition processing)
In the above-described embodiment, it has been described that the processing of SA1 to SA3 is performed in order to specify the type of the recognition target label. However, any label that is specified as a recognition target may be used. Instead of the process of SA3, the type of sign set by the user via the
また、上記の実施の形態では、ＳＡ１〜ＳＡ５、ＳＡ７、ＳＡ８の処理が行われることにより、認識対象標識が特定された場合には、ＳＡ６の処理が行われることなく、標識認識処理が終了すると説明したが、例えば、ＳＡ１〜ＳＡ５、ＳＡ７、ＳＡ８の処理後、ＳＡ６に移行して、ＳＡ６〜ＳＡ１０の処理が行われてもよい。これにより、例えば、ＳＡ１にてカメラ１０にて撮影された画像に基づく認識対象標識の画像認識を行うことができた場合であっても、認識対象標識の外枠及び当該外枠の内部の記号を画像認識することで特定される認識対象標識と、非認識対象標識との位置や種類との関係から特定される認識対象標識との整合性があるか否かを判定し、整合性があると判定された場合にのみ、カメラ１０にて撮影された画像に基づく認識対象標識の画像認識結果を正しいものと判定することにより、認識対象標識の認識精度を一層向上させることができる。
In the above embodiment, when the recognition target label is specified by performing the processes SA1 to SA5, SA7, and SA8, the process of SA6 is not performed and the label recognition process is completed. As described above, for example, after the processing of SA1 to SA5, SA7, and SA8, the processing may be shifted to SA6 and the processing of SA6 to SA10 may be performed. Thereby, for example, even when the image recognition of the recognition target sign based on the image captured by the
（存在予測領域処理について）
上記の実施の形態では、ＳＢ１において、非認識対象標識の外枠形状が検出されたか否かを判定されると説明したが、例えば非認識対象標識以外の地物の外枠形状、あるいは非認識対象標識及び非認識対象標識以外の地物の外枠形状が検出されてもよい。この場合において、例えば、ＳＢ２〜ＳＢ４の処理が省略され、ＳＢ５において、ＳＢ１の検出結果に基づいて非認識対象標識以外の地物が特定される。そして、ＳＢ６において、ＳＢ５にて特定された非認識対象標識以外の地物の位置に基づいて、存在予測領域が特定される。
(About existence prediction area processing)
In the above embodiment, it has been described that it is determined in SB1 whether or not the outer frame shape of the non-recognition target sign is detected. For example, the outer frame shape of a feature other than the non-recognition target sign or non-recognition The outer frame shape of the feature other than the target sign and the non-recognized target sign may be detected. In this case, for example, the processing of SB2 to SB4 is omitted, and in SB5, a feature other than the non-recognition target marker is specified based on the detection result of SB1. And in SB6, a presence prediction area | region is pinpointed based on the position of features other than the non-recognition object label | marker pinpointed in SB5.
また、上記の実施の形態では、非認識対象標識を特定するために、ＳＢ１〜ＳＢ５の処理が行われると説明したが、例えば、ＳＢ２〜ＳＢ４の処理を省略してもよい。この場合において、ＳＢ５において、ＳＢ１にて検出された非認識対象標識の外枠形状に基づいて、非認識対象標識の位置が特定され、当該特定された非認識対象標識の位置以外の位置に、存在予測領域が設定される（例えば、非認識対象標識の位置が画像の中央の位置である場合には、非認識対象標識の上下の位置、左右の位置、又は左右斜めの位置に、存在予測領域が設定される）。 In the above-described embodiment, it has been described that the processing of SB1 to SB5 is performed in order to specify the non-recognition target label. However, for example, the processing of SB2 to SB4 may be omitted. In this case, in SB5, the position of the non-recognition target sign is specified based on the outer frame shape of the non-recognition target sign detected in SB1, and at a position other than the position of the specified non-recognition target sign, Presence prediction area is set (for example, if the position of the non-recognition target sign is the center position of the image, the presence prediction region is set at the upper, lower, left, or right or left oblique position of the non-recognition target sign Area is set).
また、上記の実施の形態では、ＳＢ１〜ＳＢ７の処理にて、非認識対象標識＝道路標識とした場合の存在予測領域の設定について説明したが、これに限られない。例えば、標識基本情報として、道路標識の情報に加えて補助標識の情報も含めておく。そして、ＳＢ１〜ＳＢ５において、道路標識に加えて、補助標識も非認識対象標識として特定された場合に、ＳＢ６、ＳＢ７において、道路標識から補助標識の所定形状分だけ間隔を空けた位置に、存在予測領域が設定されて、当該存在予測領域が第１の読取領域として設定される。
（付記）
付記１の標識認識システムは、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識手段を備える標識認識システムであって、地物の位置を特定する地物特定手段と、前記地物特定手段にて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定手段と、をさらに備え、前記標識認識手段は、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定手段により設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記２の標識認識システムは、付記１に記載の標識認識システムにおいて、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報を取得する位置情報取得手段を備え、前記地物特定手段は、前記地物の位置及び種類を特定し、前記領域設定手段は、前記地物特定手段にて特定された地物の位置及び種類と、前記位置情報取得手段にて取得された位置情報とに基づいて、前記存在予測領域を設定する。
付記３の標識認識システムは、付記１又は２に記載の標識認識システムにおいて、前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための種類情報を取得する種類情報取得手段を備え、前記地物特定手段は、前記地物の位置及び種類を特定し、前記標識認識手段は、前記地物特定手段にて特定された地物の種類と、前記種類情報取得手段にて取得された種類情報とに基づいて、前記認識対象標識の種類を特定する。
付記４の標識認識システムは、付記１から３のいずれか一項に記載の標識認識システムにおいて、当該標識認識システムが設置された車両の走行環境と、当該走行環境において当該車両の周辺に存在することが予測される前記認識対象標識の種類とを、相互に対応させるための環境情報を取得する環境情報取得手段と、前記走行環境を特定する走行環境特定手段とを備え、前記標識認識手段は、前記走行環境特定手段にて特定された走行環境と、前記環境情報取得手段にて取得された環境情報とに基づいて、前記認識対象標識の種類を特定する。
付記５の標識認識システムは、付記１から４のいずれか一項に記載の標識認識システムにおいて、前記地物は、認識対象標識以外の標識である非認識対象標識である。
付記６の標識認識システムは、付記５に記載の標識認識システムにおいて、前記地物特定手段は、前記標識認識手段が前記非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した前記非認識対象標識を、前記地物として特定し、前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置に基づいて、当該前記非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、前記標識認識手段は、前記領域設定手段にて前記存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記７の標識認識方法は、標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することで、前記標識を認識する標識認識ステップを含む標識認識方法であって、地物の位置を特定する地物特定ステップと、前記地物特定ステップにおいて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定ステップと、をさらに含み、前記標識認識ステップにおいて、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定ステップにおいて設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する。
付記８の標識認識プログラムは、付記７に記載の方法をコンピュータに実行させる標識認識プログラムである。
（付記の効果）
付記１に記載の標識認識システム、請求項７に記載の標識認識方法、及び請求項８に記載の標識認識プログラムによれば、標識認識手段は、認識対象標識の外枠を画像認識することができない場合には、領域設定手段により設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識対象標識の外形を認識し難い状況においても、認識対象標識を確実に認識することが可能になり、認識対象標識の認識精度を向上させることができる。
付記２に記載の標識認識システムによれば、領域設定手段は、地物特定手段にて特定された地物の位置及び種類と、位置情報取得手段にて取得された位置情報とに基づいて、存在予測領域を設定するので、存在予測領域を一層正確に設定することが可能になり、認識対象標識の認識精度を一層向上させることができる。
付記３に記載の標識認識システムによれば、標識認識手段は、地物特定手段にて特定された地物の種類と、種類情報取得手段にて取得された種類情報とに基づいて、認識対象標識の種類を特定するので、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。
付記４に記載の標識認識システムによれば、標識認識手段は、走行環境特定手段にて特定された走行環境と、環境情報取得手段にて取得された環境情報とに基づいて、認識対象標識の種類を特定するので、自車の走行環境に応じた認識対象標識を様々な状況に合わせて選択することができ、例えば、記号を画像認識するためのロジックが複数設けられている場合でも、特定された認識対象標識の種類に応じたロジックを選択して処理することができ、認識対象標識を一層正確に認識することが可能になる。
付記５に記載の標識認識システムによれば、地物は、認識対象標識以外の標識である非認識対象標識であるので、非認識対象標識以外の地物に比べて、存在予測領域を正確に設定することが可能になり、認識対象標識の認識精度をさらに一層向上させることができる。
付記６に記載の標識認識システムによれば、地物特定手段は、標識認識手段が非認識対象標識の外枠を画像認識し、当該画像認識した外枠の内部における記号を画像認識することにより認識した非認識対象標識を、地物として特定し、領域設定手段は、地物特定手段としての標識認識手段にて特定された非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定し、標識認識手段は、領域設定手段にて存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、認識対象標識を認識するので、認識された非認識対象標識の位置に基づいて存在予測領域を設定することができ、存在予測領域をさらに一層正確に設定することが可能になる。
In the above-described embodiment, the setting of the presence prediction region in the case where the non-recognition target sign = the road sign is described in the processing of SB1 to SB7, but the present invention is not limited thereto. For example, as basic sign information, auxiliary sign information is included in addition to road sign information. In addition, in SB1 to SB5, in addition to road signs, auxiliary signs are also identified as non-recognition target signs, and in SB6 and SB7, they exist at positions spaced from the road signs by a predetermined shape of the auxiliary signs. A prediction area is set, and the presence prediction area is set as the first reading area.
(Appendix)
The sign recognition system according to
The sign recognition system according to
The sign recognition system according to
The sign recognition system according to supplementary note 4 is the sign recognition system according to any one of
The sign recognition system according to supplementary note 5 is the sign recognition system according to any one of
The sign recognition system according to appendix 6 is the sign recognition system according to appendix 5, wherein the feature identifying means recognizes the outer frame of the non-recognition target sign by the sign recognition means, and The non-recognition target sign recognized by image recognition of an internal symbol is specified as the feature, and the region setting means is based on the position of the non-recognition target sign specified by the feature specifying means. A presence prediction region that is a region where a recognition target marker is predicted to be present around the non-recognition target marker, and the marker recognition unit sets the presence prediction region in the region setting unit. In the case of being recognized, the recognition target sign is recognized by recognizing the symbol inside the set presence prediction region.
The sign recognition method according to appendix 7 is a sign recognition method including a sign recognition step of recognizing the sign by recognizing the outer frame of the sign and recognizing the image inside the recognized outer frame. A feature specifying step for specifying the position of the feature, and a region where a recognition target sign is predicted to exist around the feature based on the position of the feature specified in the feature specifying step. A region setting step for setting a certain presence prediction region, and when the outer frame of the recognition target marker cannot be recognized in the sign recognition step, the presence prediction set in the region setting step The recognition target sign is recognized by image recognition of a symbol inside the region.
The sign recognition program of appendix 8 is a sign recognition program that causes a computer to execute the method described in appendix 7.
(Additional effects)
According to the sign recognition system according to
According to the sign recognition system described in the
According to the sign recognition system described in
According to the sign recognition system described in appendix 4, the sign recognition unit is configured to recognize the recognition target sign based on the travel environment specified by the travel environment specification unit and the environment information acquired by the environment information acquisition unit. Since the type is specified, the recognition target sign corresponding to the driving environment of the host vehicle can be selected according to various situations. For example, even if there are multiple logics for image recognition of symbols It is possible to select and process a logic according to the type of the recognition target sign thus made, and to recognize the recognition target sign more accurately.
According to the sign recognition system described in appendix 5, since the feature is a non-recognition target sign that is a sign other than the recognition target sign, the presence prediction region is more accurately compared with a feature other than the non-recognition target sign. It becomes possible to set, and the recognition accuracy of the recognition target sign can be further improved.
According to the sign recognition system described in appendix 6, the feature identifying means recognizes the outer frame of the non-recognized target sign by the sign recognition means, and recognizes the image inside the outer frame recognized by the image. The recognized non-recognition target sign is identified as a feature, and the region setting unit is configured to determine the area around the non-recognition target sign based on the position of the non-recognition target sign identified by the sign recognition unit as the feature identification unit. If the presence prediction region is set in the region setting unit and the presence prediction region is set by the region setting unit, the presence prediction region is set. Recognizing the recognition target sign by recognizing the image inside the symbol, the presence prediction area can be set based on the position of the recognized non-recognition target sign, and the presence prediction area is further corrected. It is possible to set in.
１ 標識認識システム
１０ カメラ
２０ 操作部
３０ ディスプレイ
４０ スピーカ
５０ 標識認識装置
６０ 制御部
６１ 情報取得部
６１ａ 位置情報取得部
６１ｂ 種類情報取得部
６１ｃ 環境情報取得部
６２ 画像認識部
６２ａ 走行環境特定部
６２ｂ 標識認識部
６２ｃ 地物特定部
６２ｄ 領域設定部
６３ 案内部
７０ データ記録部
７１ 標識基本情報テーブル
７２ 標識関連情報テーブル
７３ 環境情報テーブル
DESCRIPTION OF
Claims (6)
地物の位置を特定する地物特定手段と、
前記地物特定手段にて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定手段と、
前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得手段と、をさらに備え、
前記地物は、前記非認識対象標識であり、
前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、
前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得手段にて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、
前記標識認識手段は、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定手段により設定された前記存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、
標識認識システム。 A sign recognition system comprising a sign recognition means for recognizing the sign by recognizing the outer frame of the sign and recognizing the image of the symbol inside the recognized outer frame,
A feature identifying means for identifying the position of the feature;
Based on the position of the feature specified by the feature specifying unit, a region setting unit that sets a presence prediction region that is a region where a recognition target marker is predicted to exist around the feature;
Position information for associating the type of the feature with the position of the recognition target sign that is predicted to exist around the feature, the upper, lower, left, or right Position information acquisition means for acquiring position information specifying a relative position of the recognition target label with respect to a non-recognition target label that is a label other than the recognition target label, or a combination thereof, by a distance corresponding to a label size toward And further comprising
The feature is the unrecognized target sign,
The feature specifying means specifies the position and type of the non-recognition target sign,
The region setting means determines the presence prediction region based on the position and type of the non-recognition target sign specified by the feature specifying means and the position information acquired by the position information acquisition means. Set,
When the sign recognition unit cannot recognize the outer frame of the recognition target sign, the sign recognition unit recognizes the symbol within the presence prediction region set by the region setting unit, thereby recognizing the recognition target. Recognize the sign,
Sign recognition system.
前記地物特定手段は、前記非認識対象標識の位置及び種類を特定し、
前記標識認識手段は、前記地物特定手段にて特定された前記非認識対象標識の種類と、前記種類情報取得手段にて取得された種類情報とに基づいて、前記認識対象標識の種類を特定する、
請求項１に記載の標識認識システム。 Type information acquisition means for acquiring type information for making the types of the features and the types of the recognition target signs predicted to be present around the features correspond to each other,
The feature specifying means specifies the position and type of the non-recognition target sign,
The sign recognition means identifies the type of the recognition target sign based on the type of the non-recognition target sign specified by the feature specifying means and the type information acquired by the type information acquisition means. To
The sign recognition system according to claim 1.
前記走行環境を特定する走行環境特定手段と、を備え、
前記標識認識手段は、前記走行環境特定手段にて特定された走行環境と、前記環境情報取得手段にて取得された環境情報とに基づいて、前記認識対象標識の種類を特定する、
請求項１又は２に記載の標識認識システム。 Acquire environment information for making the traveling environment of the vehicle in which the sign recognition system is installed and the type of the recognition target sign predicted to exist around the vehicle in the traveling environment correspond to each other Environmental information acquisition means;
A driving environment specifying means for specifying the driving environment;
The sign recognition means specifies the type of the recognition target sign based on the driving environment specified by the driving environment specifying means and the environment information acquired by the environment information acquisition means.
The sign recognition system according to claim 1 or 2.
前記領域設定手段は、前記地物特定手段にて特定された前記非認識対象標識の位置に基づいて、当該非認識対象標識の周辺において前記認識対象標識が存在することが予測される領域である存在予測領域を設定し、
前記標識認識手段は、前記領域設定手段にて前記存在予測領域が設定された場合には、当該設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、
請求項１から３のいずれか一項に記載の標識認識システム。 The feature identifying means is configured to recognize the non-recognition target sign recognized by the sign recognition means image-recognizing an outer frame of the non-recognition target sign and image recognizing a symbol inside the outer frame recognized by the image. Identified as the feature,
The region setting means is a region where the recognition target sign is predicted to exist around the non-recognition target sign based on the position of the non-recognition target sign specified by the feature specifying means. Set the presence prediction area,
When the presence prediction region is set by the region setting unit, the marker recognition unit recognizes the recognition target marker by image recognition of a symbol inside the set presence prediction region.
The sign recognition system according to any one of claims 1 to 3.
地物の位置を特定する地物特定ステップと、A feature identification step for identifying the location of the feature;
前記地物特定ステップにおいて特定された地物の位置に基づいて、当該地物の周辺において認識対象標識が存在することが予測される領域である存在予測領域を設定する領域設定ステップと、A region setting step for setting a presence prediction region that is a region where a recognition target marker is predicted to be present around the feature based on the position of the feature specified in the feature specifying step;
前記地物の種類と、当該地物の周辺に存在することが予測される前記認識対象標識の位置とを、相互に対応させるための位置情報であって、上方、下方、左方、又は右方への標識サイズに対応した距離による、前記認識対象標識以外の標識である非認識対象標識に対する前記認識対象標識の相対的な位置又はこれらの組合せを特定する位置情報を取得する位置情報取得ステップと、をさらに含み、Position information for associating the type of the feature with the position of the recognition target sign that is predicted to exist around the feature, the upper, lower, left, or right A position information acquisition step of acquiring position information specifying a relative position of the recognition target label with respect to a non-recognition target label that is a label other than the recognition target label, or a combination thereof, by a distance corresponding to a label size toward And further including
前記地物は、前記非認識対象標識であり、The feature is the unrecognized target sign,
前記地物特定ステップにおいて、前記非認識対象標識の位置及び種類を特定し、In the feature specifying step, the position and type of the non-recognition target sign are specified,
前記領域設定ステップにおいて、前記地物特定ステップにおいて特定された前記非認識対象標識の位置及び種類と、前記位置情報取得ステップにおいて取得された前記位置情報とに基づいて、前記存在予測領域を設定し、In the region setting step, the presence prediction region is set based on the position and type of the non-recognition target sign specified in the feature specifying step and the position information acquired in the position information acquiring step. ,
前記標識認識ステップにおいて、前記認識対象標識の外枠を画像認識することができない場合には、前記領域設定ステップにおいて設定された存在予測領域の内部における記号を画像認識することで、前記認識対象標識を認識する、In the sign recognition step, when the outer frame of the recognition target sign cannot be image-recognized, the recognition target sign is recognized by image-recognizing a symbol inside the presence prediction area set in the area setting step. Recognize
標識認識方法。Sign recognition method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012243159A JP5962442B2 (en) | 2012-11-02 | 2012-11-02 | Sign recognition system, sign recognition method, and sign recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012243159A JP5962442B2 (en) | 2012-11-02 | 2012-11-02 | Sign recognition system, sign recognition method, and sign recognition program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014092936A JP2014092936A (en) | 2014-05-19 |
| JP5962442B2 true JP5962442B2 (en) | 2016-08-03 |
Family
ID=50936967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012243159A Active JP5962442B2 (en) | 2012-11-02 | 2012-11-02 | Sign recognition system, sign recognition method, and sign recognition program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5962442B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6833750B2 (en) * | 2018-03-19 | 2021-02-24 | 株式会社東芝 | Recognition devices, vehicle systems and programs |
| JP7138718B2 (en) | 2018-10-30 | 2022-09-16 | 三菱電機株式会社 | Feature detection device, feature detection method, and feature detection program |
| JP6799091B2 (en) * | 2019-01-11 | 2020-12-09 | 名古屋電機工業株式会社 | Display device and display method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4557288B2 (en) * | 2005-01-28 | 2010-10-06 | アイシン・エィ・ダブリュ株式会社 | Image recognition device, image recognition method, position specifying device using the same, vehicle control device, and navigation device |
| JP5327241B2 (en) * | 2011-02-02 | 2013-10-30 | 株式会社デンソー | Object identification device |
-
2012
- 2012-11-02 JP JP2012243159A patent/JP5962442B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014092936A (en) | 2014-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4940168B2 (en) | Parking space recognition device | |
| JP5569365B2 (en) | Guide device, guide method, and guide program | |
| JP6688090B2 (en) | Object recognition device and object recognition method | |
| CN104778190B (en) | Method for obtaining map and electronic device | |
| JP2018501543A (en) | Method and apparatus for identifying the current driving situation | |
| JP2015146119A (en) | Sign recognition device, and method of determining transit division and distance unit | |
| US20200062173A1 (en) | Notification control apparatus and method for controlling notification | |
| EP3812231A1 (en) | Travel information processing device and processing method | |
| JP2009210431A (en) | Navigation system | |
| JP5962442B2 (en) | Sign recognition system, sign recognition method, and sign recognition program | |
| KR102074209B1 (en) | Apparatus and method for guiding caution information of driving | |
| JP2006317286A (en) | Onboard navigation device | |
| JP2007064894A (en) | Object detector, object detecting method, and object detection program | |
| JP2018072069A (en) | Map data structure, transmitter, and map display device | |
| JP2017062706A (en) | Travel support system, travel support method, and computer program | |
| JP5327241B2 (en) | Object identification device | |
| JP2007071539A (en) | On-vehicle navigation device | |
| JP2020119515A (en) | Installation object recognition system and program thereof | |
| JP2011174723A (en) | Guidance apparatus and guidance method | |
| TWI451990B (en) | System and method for lane localization and markings | |
| JP5573266B2 (en) | Vehicle object image recognition apparatus, vehicle object image recognition method, and computer program | |
| JP2008139157A (en) | Vehicle-mounted navigation device | |
| JP4220354B2 (en) | Other vehicle position display device and other vehicle information presentation method | |
| JP2014145666A (en) | Travel guide system, travel guide method, and computer program | |
| JP2008292279A (en) | Navigation device for performing database updating by character recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150320 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160613 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5962442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |