JPH0652554B2 - Road sign recognition device - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、走行する車両の前方の風景をカラー撮像手
段によって取込み、道路に対して設置された道路標識を
読み取って実時間で運転者に対して報知する道路標識認
識装置に関する。DETAILED DESCRIPTION OF THE INVENTION [Industrial field of application] The present invention captures a scene in front of a traveling vehicle by a color imaging means, reads a road sign installed on a road, and gives a driver in real time. The present invention relates to a road sign recognition device that notifies the user.

［背景技術］ 走行する車両から道路沿いに設置された道路標識を認識
するには、テレビジョンカメラによってこれら標識を撮
像し、この撮像画像をパターン認識によって認識すれば
よいものであるが、これまで通常に行われているパター
ン認識は、濃淡画像処理が主体である。このため、この
ようなパターン認識は、照明条件等の整った場所、例え
ば特定される工場内等で使用する場合には有効である
が、明暗の変動があり、また影の影響の大きい自然界の
風景のような画像パターンの認識を実行することは困難
である。[Background Art] In order to recognize road signs installed along a road from a traveling vehicle, it is sufficient to image these signs with a television camera and recognize the picked-up image by pattern recognition. The pattern recognition that is normally performed is mainly based on grayscale image processing. For this reason, such pattern recognition is effective when used in a place where lighting conditions and the like are prepared, for example, in a specified factory, but there is a change in brightness and darkness, and there is a great influence of shadows in the natural world. It is difficult to perform recognition of image patterns such as landscapes.

また、カラーテレビジョンカメラを用いてカラー画像と
して風景を取り込み、カラー画像処理によって上記明暗
や影の影響に対して対処するようにすることも考えられ
るが、カラー画像情報は濃淡画像と比較してそのデータ
量が３倍となるものであり、処理時間が著しく増大する
ようになる。したがって、実時間処理が困難となって、
車両運転者に対して報知する情報としては不適当なもの
となる。It is also possible to capture a landscape as a color image using a color television camera and to cope with the influence of the above-mentioned light and shade and shadow by color image processing, but color image information is compared with a grayscale image. The amount of data is tripled, and the processing time is significantly increased. Therefore, real-time processing becomes difficult,
This is inappropriate as information to be notified to the vehicle driver.

このようなパターン認識の手段としては種々のものが提
案おり、例えば特開昭５９−５３９７９号公報、および
特開昭５９−５３９８０号公報に示されるようなものが
ある。しかし、ここで示されている手段にあっては、各
色のアナログ値を積分するようにしているものであり、
複雑な道路標識のようなパターンを認識することは困難
である。また、特開昭５９−１２７２００号公報に示さ
れるような手段も提案されているものであるが、この手
段にあっても自然界の明暗や影の影響を取り除くことが
できず、道路標識の認識動作を実行することができな
い。Various means for such pattern recognition have been proposed, for example, those disclosed in JP-A-59-53979 and JP-A-59-53980. However, in the means shown here, the analog value of each color is integrated,
It is difficult to recognize patterns such as complicated road signs. Further, a means as disclosed in Japanese Patent Laid-Open No. 59-127200 has also been proposed, but even with this means, it is not possible to remove the effects of light and darkness and shadows in the natural world, and recognition of road signs is not possible. The operation cannot be executed.

［発明が解決しようとする問題点］ この発明は上記のような点に鑑みなされたもので、自然
界の風景の中に埋没した状態で存在する道路標識を、走
行する車両からカラー撮像手段の映像によって実時間で
確実に認識することができ、この車両の運転者を効果的
に補助できるようにする道路標識認識装置を提供しよう
とするものである。[Problems to be Solved by the Invention] The present invention has been made in view of the above points, and an image captured by a color image pickup means from a traveling vehicle on a road sign existing in a state of being buried in a natural landscape. Therefore, it is intended to provide a road sign recognition device capable of surely recognizing in real time and effectively assisting the driver of this vehicle.

［問題点を解決するための手段］ すなわち、この発明に係る道路標識認識装置にあって
は、カラー撮像手段によって車両前方の風景を撮影し、
そのカラー画像から第１の色および第２の色の画像を選
択して２値データとして抽出し、これを画像メモリに対
して記憶設定されるようにする。また、予めリファレン
ス用メモリに対して第１の色および第２の色のリファレ
ンスデータを記憶設定しておき、このリファレンスデー
タと上記画像メモリに記憶された２値画像データとを対
比して、リファレンス用メモリに記憶設定された道路標
識を認識するものであり、この認識結果を運転者に対し
て報知するようにしているものである。[Means for Solving Problems] That is, in the road sign recognition device according to the present invention, a scene in front of the vehicle is photographed by the color image pickup means,
Images of the first color and the second color are selected from the color image and extracted as binary data, which is stored and set in the image memory. Further, the reference data of the first color and the second color are stored and set in the reference memory in advance, and the reference data is compared with the binary image data stored in the image memory to obtain the reference. The road sign stored and set in the vehicle memory is recognized, and the recognition result is notified to the driver.

［作用］ 上記のような道路標識認識装置にあっては、カラー撮像
手段によって撮影したカラー画像から、道路標識を表現
する第１の色および第２の色の画像パターンが２値デー
タとして読み取られ記憶されるようになる。そして、こ
の道路標識の特徴パターンのみがリファレンスデータと
比較されるようになるものであり、非常に単純なパター
ン比較動作によって道路標識が認識されるようになり、
そのため記憶データ量も特に増大させることなく、明暗
や影等の影響を受けることなく道路標識の認識が実行さ
れるようになるものである。すなわち、走行する車両の
運転者に対して実時間で道路標識の内容等を報知するこ
とができ、効果的な運転補助動作が実行されるようにな
る。[Operation] In the road sign recognition device as described above, the image patterns of the first color and the second color expressing the road sign are read as binary data from the color image taken by the color image pickup means. It will be remembered. Then, only the characteristic pattern of this road sign will be compared with the reference data, and the road sign will be recognized by a very simple pattern comparison operation,
Therefore, the recognition of road signs can be executed without particularly increasing the amount of stored data and without being affected by light and darkness or shadows. That is, it is possible to notify the driver of the traveling vehicle of the contents of the road sign and the like in real time, and an effective driving assistance operation is executed.

［発明の実施例］ 以下、図面を参照してこの発明の一実施例を説明する。
第１図はその構成を示したもので、車両の前方の風景を
撮影するカラー撮像手段となるカラーテレビジョンカメ
ラ11を備えている。このテレビジョンカメラ11は、例え
ば第２図で示すように自動車等の車両10の前部に対して
取り付け設定されているもので、例えば道路の左側に設
置される道路標識を効果的に撮影できるように、車両10
の前部左側に取り付けられている。上記カラー撮像手段
としては、カラー撮像管、固体イメージセンサ等のカラ
ー画像を電気信号に変換するものであれば適宜使用でき
る。[Embodiment of the Invention] An embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 shows the configuration thereof, which is provided with a color television camera 11 which serves as a color image pickup means for photographing the scenery in front of the vehicle. The television camera 11 is attached to the front portion of a vehicle 10 such as an automobile as shown in FIG. 2, and can effectively photograph a road sign installed on the left side of the road, for example. So that the vehicle 10
It is attached to the front left side of the. As the above-mentioned color image pickup means, a color image pickup tube, a solid-state image sensor or the like which can convert a color image into an electric signal can be appropriately used.

このテレビジョンカメラ11で撮影された赤（Ｒ）青
（Ｂ）、および緑（Ｇ）のカラー映像信号は、アナログ
・ディジタル（Ａ／Ｄ）変換器12に供給し、例えば６ビ
ットあるいは８ビットのディジタルデータに変換する。
そして、このディジタル映像信号は高速変換メモリ13の
アドレスラインに対してアドレスデータとして入力され
るようになる。The red (R), blue (B), and green (G) color image signals photographed by the television camera 11 are supplied to an analog / digital (A / D) converter 12, for example, 6 bits or 8 bits. To digital data.
Then, this digital video signal comes to be input as address data to the address line of the high speed conversion memory 13.

この高速変換メモリ13に対しては、制御処理装置14から
の指令によって予めカラー信号の特徴を抽出できるよう
にするデータパターンが記憶設定される。ここで道路標
識の場合は赤、青、および白によって構成される場合が
ほとんどであり、したがってこの変換メモリ13に対して
は赤および青が強調できるパターンを記憶設定してお
く。そして、この変換回路13に入力されるディジタルデ
ータは上記記憶されたデータパターンに対応した、すな
わち赤、青の色が強調されたディジタル２値画像データ
がこの変換回路13から出力されるようにしているもので
ある。The high-speed conversion memory 13 is preliminarily stored and set with a data pattern by which a characteristic of the color signal can be extracted in response to a command from the control processing device 14. Most of the road signs are composed of red, blue, and white. Therefore, a pattern in which red and blue can be emphasized is stored and set in the conversion memory 13. The digital data input to the conversion circuit 13 is adapted to be output from the conversion circuit 13 as digital binary image data corresponding to the stored data pattern, that is, red and blue colors are emphasized. There is something.

第３図は上記高速変換メモリ13部分を取り出して示すも
ので、このメモリ13に対しては、赤色の画像に対応する
ディジタルデータＤr 、青色の画像に対応するディジタ
ルデータＤb 、さらに緑色の画像に対応するディジタル
データＤg が入力される。この入力データはそれぞれ
赤、青、緑の各色のレベルに対応した例えば６ビットの
ディジタルデータによって構成されるもので、このデー
タはメモリ13に対してアドレスデータとして供給される
ようになる。一方上記高速変換メモリ13には、赤色およ
び青色を抽出するために （Ｄr ＞Ｄg ）and（Ｄr ＞Ｄb ）…（１） （Ｄb ＞Ｄr ）and（Ｄb ＞Ｄg ）…（２） の第１および第２の条件を満足するアドレスに対して
「１」のデータが記憶設定されているものであり、上記
入力データＤr 、Ｄb 、Ｄg が上記第１および第２の条
件を満足する状態で、この変換メモリ13から赤および青
の特徴を抽出した出力信号Ｃr およびＣb が得られるよ
うになる。すなわち、テレビジョンカメラ11で撮像した
カラー画像から、高速変換メモリ13の出力データライン
から赤および青の特徴が強調されたディジタルデータが
得られ、この特徴抽出画像を表現する２値データＣr お
よびＣb が画像メモリ15にストアされるようになる。FIG. 3 shows the high-speed conversion memory 13 portion taken out and shown. For this memory 13, digital data Dr corresponding to a red image, digital data Db corresponding to a blue image, and further a green image are formed. Corresponding digital data Dg is input. This input data is composed of, for example, 6-bit digital data corresponding to the respective levels of red, blue and green, and this data is supplied to the memory 13 as address data. On the other hand, the high-speed conversion memory 13 has the first (Dr> Dg) and (Dr> Db) ... (1) (Db> Dr) and (Db> Dg) ... (2) for extracting red and blue. And data of "1" is stored and set for an address that satisfies the second condition, and the input data Dr, Db, Dg satisfy the first and second conditions, Output signals Cr and Cb from which red and blue features are extracted can be obtained from the conversion memory 13. That is, from the color image captured by the television camera 11, digital data in which the red and blue features are emphasized is obtained from the output data line of the high speed conversion memory 13, and the binary data Cr and Cb expressing the feature extraction image are obtained. Will be stored in the image memory 15.

リファレンス用メモリ16には、予め標識の特徴となる赤
色のパターン（赤枠）がリファレンスデータとして記憶
設定されているもので、このリファレンスデータは演算
処理装置14からの指令にしたがって読み出される。そし
て、この演算処理装置14は画像メモリ15の記憶画像パタ
ーンとリファレンス用メモリ16からのリファレンスデー
タとを走査線毎に比較し、その一致度が高い状態で標識
が存在したと判断するようにし、次にこの標識内に描か
れている文字あるいはパターンの標識を行なうようにな
る。In the reference memory 16, a red pattern (red frame) that is a feature of the sign is stored in advance as reference data, and this reference data is read in accordance with a command from the arithmetic processing unit 14. Then, the arithmetic processing unit 14 compares the stored image pattern of the image memory 15 and the reference data from the reference memory 16 for each scanning line, and determines that the marker exists in a state where the degree of coincidence is high, Next, the characters or patterns drawn in this sign will be marked.

文字あるいはパターンの標識は、予め上記リファレンス
用メモリ16に対して「駐車禁止パターン」「速度制御文
字パターン」等のリファレンスパターンを記憶設定して
おき、画像メモリ13に記憶された画像パターンとパター
ンマッチング演算を順次実行させるようにしている。そ
して、例えばマッチングが８０％以上の状態で、その認
識結果を出力装置17によって運転者に報知するようにし
ている。As the character or pattern marker, reference patterns such as “parking prohibition pattern” and “speed control character pattern” are stored and set in the reference memory 16 in advance, and pattern matching is performed with the image pattern stored in the image memory 13. The calculations are executed sequentially. Then, for example, when the matching is 80% or more, the output device 17 notifies the driver of the recognition result.

第４図は３０Ｋｍ／ｈの速度制限の標識の例を示すもの
であって、この標識がテレビジョンカメラ11によって撮
影されたとすると、この標識の赤枠21がまず認識され、
その後この赤枠21内に描かれた「３０」の文字22が認識
されるようになるものであり、運転者に対して３０Ｋｍ
／ｈの速度制限を報知するようになるものである。そし
て、この標識の場合この赤色および青色で表現された標
識パターン以外の部分の映像は、赤色および青色以外の
色で表現されているものであるため、画像メモリ15に対
してその映像パターンが記憶されることがなく標識パタ
ーンのみが効果的にパターンマッチングに共されるよう
になる。また、上記標識以外の部分に赤色あるいは青色
の風景色が存在したとしても、その量は非常に限定され
たものとなり、リファレンスデータとのリファレンス動
作において簡単に標識とは別個のものであると認識さ
れ、標識の認識動作に影響を与えることはない。FIG. 4 shows an example of a sign with a speed limit of 30 km / h. If this sign is photographed by the television camera 11, the red frame 21 of this sign is first recognized,
After that, the character "22" of "30" drawn in the red frame 21 will be recognized, and it will be 30 km to the driver.
The speed limit of / h is notified. In the case of this sign, since the image of the portion other than the sign pattern expressed in red and blue is expressed in a color other than red and blue, the image pattern is stored in the image memory 15. Therefore, only the marking pattern is effectively used for pattern matching. Also, even if there is a red or blue landscape color in the part other than the above sign, the amount is very limited, and it is easily recognized that it is different from the sign in the reference operation with the reference data. It does not affect the recognition operation of the sign.

尚、上記のようなマッチング演算を実行する場合、リフ
ァレンスメモリ16に記憶されているリファレンスパター
ンを、認識の出現限度の順に優先設定しておくことによ
り、上記パターンマッチングによる標識処理を効果的に
実行することができるようになり、実時間処理が効果的
に実現できるようになる。When performing the matching operation as described above, the reference pattern stored in the reference memory 16 is preferentially set in the order of the appearance limit of recognition, thereby effectively performing the labeling process by the pattern matching. It becomes possible to effectively realize real-time processing.

第５図は上記のような道路標識の認識動作の流れを示し
ているもので、まずステップ101 で初期設定され、赤色
および青色を抽出する変換テーブルがセットされる。そ
して、ステップ102 でテレビジョンカメラ11から撮影画
像にしたがって映像信号が得られ、この映像信号はＡ／
Ｄ変換してディジタルデータとされて高速変換メモリ13
で特徴抽出され、画像メモリ15に記憶されるようにな
る。そして、ステップ103 で上記画像メモリ15に記憶さ
れた画像パターンと、リファレンス用メモリ16に記憶さ
れたリファレンスデータとを対比して標識認識処理を実
行し、ステップ104 で標識の存在を判断する。このステ
ップ104 で標識の存在が確認されたならば、ステップ15
に進んで認識した標識の出力を実行するものであり、こ
の標識の認識内容を運転者に対して報知するようにな
る。また、ステップ104 で標識が存在しないと判定され
た場合には、ステップ102 に戻るようになる。FIG. 5 shows the flow of the road sign recognizing operation as described above. First, in step 101, a conversion table for initializing the red and blue colors is set. Then, in step 102, a video signal is obtained from the television camera 11 according to the captured image, and the video signal is A /
High-speed conversion memory 13 converted into digital data by D conversion 13
Then, the features are extracted and stored in the image memory 15. Then, in step 103, the image pattern stored in the image memory 15 is compared with the reference data stored in the reference memory 16 to execute the marker recognition processing. In step 104, the presence of the marker is determined. If this step 104 confirms the presence of the sign, step 15
Then, the output of the recognized sign is executed, and the driver is notified of the recognized content of the sign. If it is determined in step 104 that the sign does not exist, the process returns to step 102.

第６図は上記認識動作の流れの中の特にステップ102 お
よび103 の部分のパターン認識動作の流れをより詳細に
示したもので、ステップ201 で初期設定した後、ステッ
プ202 でテレビジョンカメラ11からの撮影画像を取り込
み、これをディジタルデータに変換した後次のステップ
203 で高速変換メモリ13によって赤色および青色の特徴
抽出を行なう。そして、この特徴抽出によって得られた
画像は画像メモリ15に記憶設定されるようになるもので
あり、ステップ204 でリファレンス用メモリ16に記憶さ
れた赤枠のリファレンスデータとのマッチング演算を実
行し、ステップ205 で赤枠ありか否かを判定する。この
ステップ205 で赤枠無しと判定された場合には上記ステ
ップ202 に戻るものであり、赤枠有りと判定された場合
にはステップ206 に進み、さらに青色のパターンのマッ
チング演算を実行する。この場合、青色パターンは例え
ば速度制限等の文字パターンに対応するものであり、ス
テップ207 でリファレンス用メモリ16にマッチングパタ
ーンが存在するか否かを判定し、マッチングパターンが
存在した場合には、ステップ28でそのマッチングされた
パターンの内容にしたがった報知を運転者に対して実行
するようにしている。FIG. 6 shows in more detail the flow of the pattern recognition operation in the steps 102 and 103 in the flow of the recognition operation described above. Capture the captured image of, convert it to digital data, and then proceed to the next step.
At 203, the red and blue features are extracted by the high speed conversion memory 13. Then, the image obtained by this feature extraction is to be stored and set in the image memory 15, and the matching calculation with the reference data in the red frame stored in the reference memory 16 in step 204 is executed, In step 205, it is determined whether or not there is a red frame. If it is determined in step 205 that there is no red frame, the process returns to step 202. If it is determined that there is a red frame, the process proceeds to step 206, and the matching calculation of the blue pattern is executed. In this case, the blue pattern corresponds to a character pattern such as speed limit, and it is determined in step 207 whether or not a matching pattern exists in the reference memory 16, and if the matching pattern exists, the step At 28, the driver is informed according to the content of the matched pattern.

上記実施例の説明では、例えば赤枠内に描かれた文字を
パターン比較によって認識するようにしたが、これは例
えばディジタル的な演算によって認識することも可能で
ある。例えば第７図に示すようにそのステップ301 〜30
5 で第６図のステップ201 〜205 と同様にして赤枠有り
の判定を行なう。そしてその後、ステップ306 で画像メ
モリ15に記憶された青色の特徴抽出された画像のデータ
を取り出し、その横方向および縦方向のデータ量をそれ
ぞれ加算する。すなわち、横方向および縦方向の度数分
布を計算するようにしているもので、ステップ307 でこ
の度数分布パターンをリファレンス用メモリ16に記憶設
定されたリファレンスデータと比較して、リファレンス
データが存在するか否かを判定する。このステップ307
でリファレンスデータが存在すると判定されたならばス
テップ308 で運転者に対して報知する。In the above description of the embodiment, for example, the characters drawn in the red frame are recognized by pattern comparison, but this can also be recognized by digital calculation, for example. For example, as shown in FIG.
In step 5 as in steps 201 to 205 shown in FIG. 6, it is determined that a red frame is present. Then, after that, in step 306, the data of the blue feature-extracted image stored in the image memory 15 is taken out, and the horizontal and vertical data amounts are respectively added. That is, the horizontal and vertical frequency distributions are calculated. In step 307, the frequency distribution pattern is compared with the reference data stored in the reference memory 16 to determine whether reference data exists. Determine whether or not. This Step 307
If it is determined that the reference data exists, the driver is notified in step 308.

ここで、運転者に対する報知手段であるが、例えば駐車
禁止の標識は頻繁に現れる。このため、この標識の認識
毎に運転者に対してランプあるいは音声によって報知し
たのでは、運転操作に煩わしい状態となる。このため、
特定される標識に関しては、標識を認識する度に運転者
に報知するのではなく、例えば２回の認識に対して１回
の報知、さらにその報知頻度を下げるように制御するよ
うにしてもよい。また、速度制限標識の認識に際して
は、車両の走行速度とその認識内容とを対比し、車両速
度が制限速度以下の状態では運転者に対する報知を省略
するようにしてもよい。さらに、車両の走行速度が例え
ば認識した制限速度により１０Ｋｍ／ｈ以上オーバして
いるときのみ、制限速度から何Ｋｍ／ｈオーバしている
かを音声によって報知するようにしてもよい。Here, although it is a means for informing the driver, for example, a parking prohibition sign frequently appears. Therefore, if the driver is informed by a lamp or voice every time the sign is recognized, the driving operation becomes inconvenient. For this reason,
Regarding the specified sign, instead of notifying the driver each time the sign is recognized, for example, once recognition is performed for two recognitions, the notification frequency may be controlled to be lowered. . Further, when recognizing the speed limit sign, the traveling speed of the vehicle may be compared with the content of the recognition, and the notification to the driver may be omitted when the vehicle speed is equal to or lower than the speed limit. Further, only when the traveling speed of the vehicle exceeds 10 km / h or more due to the recognized speed limit, how many km / h the speed exceeds the speed limit may be notified by voice.

［発明の効果］ 以上のようにこの発明に係る道路標識認識装置にあって
は、カラー映像から標識を認識するに必要な特徴色を抽
出し、その抽出画像にしたがって認識動作を実行するよ
うにした。したがって、カラー情報を伴った認識動作が
実行されて特に道路に沿って多数存在する道路標識を、
明暗の状態や影の状態に関係なく実時間で認識できるよ
うになるものであり、自動車等の運転補助手段として非
常に効果的に利用できるようになるものである。[Advantages of the Invention] As described above, in the road sign recognition device according to the present invention, the characteristic color necessary for recognizing the sign is extracted from the color image, and the recognition operation is executed according to the extracted image. did. Therefore, the recognition operation with the color information is executed, and in particular, a large number of road signs along the road are
This makes it possible to recognize in real time regardless of the state of light and darkness and the state of shadow, and can be used very effectively as a driving assistance means for automobiles and the like.

【図面の簡単な説明】[Brief description of drawings]

第１図はこの発明の一実施例に係る道路標識認識装置を
説明する構成図、第２図は上記認識装置を構成するテレ
ビジョンカメラの取付け状態を説明する図、第３図は上
記装置の高速変換メモリを説明する図、第４図は道路標
識の例を示す図、第５図は上記装置の動作の流れを説明
するフローチャート、第６図は同じく認識動作の流れを
説明するフローチャート、第７図はこの発明の他の実施
例を説明するフローチャートである。 10……車両、11……カラーテレビジョンカメラ、12……
アナログ・ディジタル変換器、13……高速変換メモリ、
14……演算処理装置。15……画像メモリ、16……リファ
レンス用メモリ。FIG. 1 is a configuration diagram illustrating a road sign recognition device according to an embodiment of the present invention, FIG. 2 is a diagram illustrating a mounting state of a television camera that constitutes the recognition device, and FIG. FIG. 4 is a diagram illustrating a high-speed conversion memory, FIG. 4 is a diagram illustrating an example of a road sign, FIG. 5 is a flowchart illustrating a flow of operation of the above-described device, and FIG. 6 is a flowchart illustrating a flow of recognition operation. FIG. 7 is a flow chart for explaining another embodiment of the present invention. 10 …… vehicle, 11 …… color television camera, 12 ……
A / D converter, 13 ... High speed conversion memory,
14 ... Processor. 15 …… Image memory, 16 …… Reference memory.

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】車両の前方に設置され、この車両の前方の
風景を撮影するカラー撮像手段と、 このカラー撮像手段で撮影したカラー画像から第１の色
および第２の色の画像を選択して２値データで抽出する
特徴抽出手段と、 この特徴抽出手段で抽出された２値画像データを記憶す
る画像メモリと、 予め道路標識の枠に対応した第１の色および第２の色の
色彩パターン、さらに文字等の形状特徴パターンのリフ
ァレンスデータを記憶設定したリファレンス用メモリ
と、 このリファレンス用メモリに記憶された前記色彩パター
ンのリファレンスデータと前記画像メモリに記憶された
２値画像データとを対比して道路標識の枠の存在を認識
する枠認識手段と、 前記認識された枠の内部のパターンを前記形状特徴パタ
ーンのリファレンスデータとを対比してその標識内容を
識別する枠内パターン認識手段とを具備し、 前記枠認識手段での枠認識結果並びに前記枠内パターン
認識手段での文字等の認識結果を前記車両の運転者に対
して報知できるようにしたことを特徴とする道路標識認
識装置。1. A color image pickup device which is installed in front of a vehicle and photographs a landscape in front of the vehicle, and images of a first color and a second color are selected from color images photographed by the color image pickup device. Extracting means for extracting the binary image data using the binary data, an image memory for storing the binary image data extracted by the feature extracting means, and a color of the first color and the second color corresponding to the frame of the road sign in advance. A reference memory in which reference data of a pattern and a shape characteristic pattern such as a character is stored and set, and the reference data of the color pattern stored in the reference memory is compared with the binary image data stored in the image memory. A frame recognition means for recognizing the presence of a frame of the road sign, and a pattern inside the recognized frame with reference data of the shape feature pattern. In comparison with the in-frame pattern recognition means for identifying the contents of the sign, the frame recognition result by the frame recognition means and the recognition result of characters and the like by the in-frame pattern recognition means to the driver of the vehicle. A road sign recognition device, which is characterized in that it can be notified by means of. 【請求項２】前記枠認識手段およびパターン認識手段
は、リファレンス用メモリに記憶されたリファレンス用
画像パターンと画像メモリに記憶された２値画像のパタ
ーンとを比較する手段によって構成されるようにした特
許請求の範囲第１項記載の道路標識認識装置。2. The frame recognizing means and the pattern recognizing means are constituted by means for comparing the reference image pattern stored in the reference memory with the binary image pattern stored in the image memory. The road sign recognition device according to claim 1. 【請求項３】前記枠認識手段およびパターン認識手段
は、前記画像メモリに記憶された２値画像データの横方
向および縦方向のデータ量を加算して度数分布をとる演
算手段によって構成され、この演算手段の演算結果によ
って、前記リファレンスデータとのマッチングを取って
道路標識を認識するようにした特許請求の範囲第１項記
載の道路標識認識装置。3. The frame recognizing means and the pattern recognizing means are composed of a calculating means for adding a horizontal and a vertical data amount of the binary image data stored in the image memory to obtain a frequency distribution. The road sign recognition device according to claim 1, wherein the road sign is recognized by matching with the reference data according to the calculation result of the calculation means.